Oracle Exadata 日常维护：应急预案
Exadata日常维护手册
应急预案
Exadata应急处理人员
姓名 | 职责 | 联系方式 | 邮箱 |
故障场景一
场景描述
Exadata一体机数据服务器（DB server）某一硬盘出现故障。
处理步骤
由于Exadata一体机本身有Raid 保护功能，所以，在不停机的状态下，可以对硬盘直接进行更换。不需要停机操作。
通过raid命令检查磁盘状态信息
/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL | grep "Device Present" -A 8
通过机器的iLom端口对数据服务器故障进行进一步的诊断，确定故障驱动器的位置。
将信息收集完毕后，登陆support.oracle.com 提交Exadata 一体机的服务申请，请求对Exadata一体机提供维修服务。
Oracle支持人员将根据相关信息，对故障硬盘进行更换。
结果检查
更换完毕后，下面的命令检查更换后的硬盘状态是否正常。
/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL | grep "Device Present" -A 8
通过下面的命令，检查数据设备同步情况
/opt/MegaRAID/MegaCli/MegaCli64 -pdrbld -showprog -physdrv \
[disk_enclosure:slot_number] -a0
故障场景二
场景描述
Exadata 一体机，PUD或InfiniBand 交换机某一个故障
处理步骤
由于设备采用双冗余结构，单个的PDU或者InfiniBand 交换机出现故障时，不会影响到Exadata一体机运行。
对通过使用EM 13C 软件对Exadata 进行监控，如果，出现PDU或InfiniBand 交换机告警时，进行故障信息收集。
将信息收集完毕后，登陆support.oracle.com 提交Exadata 一体机的服务申请，请求对Exadata一体机提供维修服务。
Oracle支持人员会根据故障情况，对故障PDU或者InfiniBand交换机进行设备配置或者更换。
结果检查
对通过使用EM 13C 软件对Exadata 进行检查，故障处理完毕后， PDU或InfiniBand 交换机告警将自动消除。
故障场景三
场景描述
Exadata 一体机存储服务器（Cell Server）某一硬盘出现故障。
处理步骤
通过使用EM 13C 软件对Exadata 进行监控，发现Exadata 存储服务器（Cell Server）故障告警后，通过下面的命令检查硬盘故障情况
CellCLI> LIST PHYSICALDISK WHERE diskType=HardDisk AND status=failed DETAILname: 28:5
deviceId: 21
diskType: HardDisk
enclosureDeviceId: 28
errMediaCount: 0
errOtherCount: 0
foreignState: false
luns: 0_5
makeModel: "SEAGATE ST360057SSUN600G"
physicalFirmware: 0705
physicalInterface: sas
physicalSerial: A01BC2
physicalSize: 558.9109999993816G
slotNumber: 5
status: failed
到故障服务器前，找到出现故障的硬盘的位置。从库房中取出硬盘备用件，准备对故障硬盘进行更换。
将故障硬盘拔出，等待几分钟后，将新硬盘插入对应的槽位中。
通过下面的命令进行检查，确认硬盘状态处于Normal状态。
CellCLI> LIST PHYSICALDISK WHERE name=[enclosureDeviceId:slotNumber] ATTRIBUTES status结果检查
服务器硬盘告警消除，EM13C监控软件故障消除
通过相关命令检查，确认硬盘状态处于Normal状态。
故障场景四
场景描述
Exadata 一体机存储服务器（Cell Server）某一闪存卡出现故障。
处理步骤
通过使用EM 13C 软件对Exadata 进行监控，发现Exadata 存储服务器（Cell Server）故障告警后，通过下面的命令检查硬盘故障情况
CellCLI> LIST PHYSICALDISK WHERE diskType=flashdisk AND status=failed DETAIL使所有grid磁盘在非活跃状态
CELLCLI> Alter GRIDDISK ALL INACTIVE验证所有grid磁盘在非活跃状态
CELLCLI> LIST GRIDDISK WHERE STATUS !=’inactive’停止Cell 服务
CellCLI> ALTER CELL SHUTDOWN SERVICES ALL关闭故障的存储服务器
从库房中取出闪存卡备用件，准备对故障闪存卡进行更换。
更换完毕后，重新启动Exadata 存储服务器（Cell Server）
使所有grid磁盘在活跃状态
CELLCLI> ALTER GRIDDISK ALL ACTIVE验证所有grid磁盘在活跃状态
CELLCLI> LIST GRIDDISK ATTRIBUTES name , asmmodestatus重新启动后，新的Flash卡会被系统自动识别并使用。
结果检查
服务器硬盘告警消除，EM13C监控软件故障消除
故障场景四
场景描述
Exadata 一体机数据库查询/更新异常，出现查询/更新速度慢，卡顿等情况。
处理步骤
通过EM13C 软件监控Exadata Exadata 运行情况，发现数据运行瓶颈
收集AWR 报告，交给Oracle ACS 组进行分析，并快速排除故障。
结果检查
Exadata 一体机查询/更新恢复正常。