NetApp FAS270C 故障处理记录
NetApp FAS270C 故障处理记录、维护总结以及后续计划
设备环境：NetApp FAS270C
硬盘数量：14
硬盘型号：NETAPP FC 300G （PN：X276_FAL9E288F10）
过程记录
6月20日
1. 10:40：客户报修，数据库hung。
2. 10:50：远程登陆客户的主机，发现有硬盘报错，同时发现存储NetApp FAS270C的IP无法ping通。
3. 11:10：通过TeamViewer 远程桌面；串口登陆到存储上，发现nodea已经被自动halt。
4. 11:30：在CFE模式下使用“boot_ontap”命令启动nodea，使用“sysconfig –v”命令发现0b.21这块硬盘已经failed。
‘
sysconfig –v: 16: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 17: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 18: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 19: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 20: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 21: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) (Failed) 22: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 23: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 24: NETAPP X276_HPYTA288F10 NA03 272.0GB (562884296 520B/sect) 25: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 26: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 27: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 28: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) 29: NETAPP X276_FAL9E288F10 NA02 272.0GB (573653840 520B/sect) |
5. 11:50：通过“disk show -v”命令看到，系统中有一块热备盘0b.20，但是owner不是nodea，所以没有替换failed的硬盘。
（在RAID4组里有一块硬盘失效硬盘并且在没有hot spare盘的情况下，系统就会时入此模式Degraded Mode(降级模式），自动进入降级模式的时间为24小时。）
disk show –v: DISK OWNER POOL SERIAL NUMBER ------------ ------------- ----- ------------- 0b.20 BackupFAS270c (84300397) Pool0 DH07P76033WA 0b.17 nodea (84300638) Pool0 DH07P76032BP 0b.18 nodea (84300638) Pool0 DH07P76032C2 0b.22 nodea (84300638) Pool0 DH07P760328R 0b.25 nodea (84300638) Pool0 DH07P76032CG 0b.16 nodeb (84300611) Pool0 DH07P7703EBD 0b.26 nodea (84300638) Pool0 DH07P76032CL 0b.27 nodea (84300638) Pool0 DH07P76032CH 0b.23 nodea (84300638) Pool0 DH07P76032CB 0b.24 nodea (84300638) Pool0 VAWGN5VA 0b.29 nodeb (84300611) Pool0 DH07P760329C 0b.28 nodeb (84300611) Pool0 DH07P76032CE 0b.19 nodea (84300638) Pool0 DH07P76032AV 0b.21 nodea (84300638) Pool0 DH07P7603406 --------------------------------------------------------------- |
6. 12:00：需要将热备盘0b.20的ownership改成nodea，但是在normal的模式下，无法更改其他owner硬盘的ownership，需要进入维护模式。
7. 12:30：将nodea重启，进入maintance模式，使用“disk assign 0b.20 -s 84300638 -f”命令将硬盘0b.20的ownership改为nodea。raid自动开始重建数据。
8. 13:30：通过“aggr status -r”命令看到raid的状态已经为active。客户启动数据库，并恢复业务使用。
aggr status –r: Aggregate aggr0 (online, raid4) (block checksums) Plex /aggr0/plex0 (online, normal, active) RAID group /aggr0/plex0/rg0 (normal) RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks) --------- ------ ------------- ---- ---- ---- ----- -------------- -------------- parity 0b.19 0b 1 3 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.24 0b 1 8 FC:A - FCAL 10000 272000/557056000 274845/562884296 data 0b.23 0b 1 7 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.25 0b 1 9 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.27 0b 1 11 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.17 0b 1 1 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.18 0b 1 2 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.20 0b 1 4 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.22 0b 1 6 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.26 0b 1 10 FC:A - FCAL 10000 272000/557056000 280104/573653840 |
9. 16:00：由于nodea依然在maintance模式中，于客户协商在第二天中午重启nodea，恢复到normal模式下。
6月21日
1. 13:00：客户停止数据库，通过teamviewer远程登陆到存储nodea上，使用halt命令关闭nodea。
2. 13:30：在CFE模式下使用“boot_ontap”命令启动nodea。无法成功启动，报错如下：
Loading: 0xffffffff80001000/25888 0xffffffff80007520/13053911 Entry at 0xfffffff f80001000 Starting program at 0xffffffff80001000 Press CTRL-C for special boot menu ............................................Interconnect based upon M-VIA ERing Support Copyright (c) 1998-2001 Berkeley Lab http://www.nersc.gov/research/FTG/via Tue Jun 21 04:33:25 GMT [cf.nm.nicTransitionUp:info]: Interconnect link 0 is UP Tue Jun 21 04:33:25 GMT [cf.nm.nicReset:warning]: Initiating soft reset on Clust er Interconnect card 0 due to rendezvous jammed Tue Jun 21 04:33:53 GMT [fci.initialization.failed:error]: Initialization failed on Fibre Channel adapter 0c. NetApp Release 7.2.2: Sat Mar 24 20:52:58 PDT 2007 Copyright (c) 1992-2007 Network Appliance, Inc. Starting boot on Tue Jun 21 04:33:24 GMT 2011 Tue Jun 21 04:33:53 GMT [nvram.battery.state:info]: The NVRAM battery is current ly ON. Tue Jun 21 04:33:58 GMT [disk.init.failureBytes:error]: Disk 0b.21 failed due to failure byte setting. Tue Jun 21 04:33:58 GMT [diskown.isEnabled:info]: software ownership has been en abled for this system Reservation confliWaiting for giveback ct fTue Jun 21 04:33:59 GMT [ses.giveback.wait:info]: Enclosure Services will be unavailable while waiting for giveback. ound on this node's disks! Local System ID: 84300638 Press Ctrl-C for Maintenance menu to release disks. |
3. 14:00：发现在nodea halt时，raid已经takeover到nodeb中，在启动nodea时，自动giveback没有成功，需要手动giveback。
4. 14:10：通过串口连接nodeb，使用“cf giveback”命令将raid切换回nodea.
5. 14:30：客户数据库启动，业务恢复正常。
现在存储状态正常，但没有热备盘，有一块故障硬盘需要更换。
Aggregate aggr0 (online, raid4) (block checksums) Plex /aggr0/plex0 (online, normal, active) RAID group /aggr0/plex0/rg0 (normal) RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks) --------- ------ ------------- ---- ---- ---- ----- -------------- -------------- parity 0b.19 0b 1 3 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.24 0b 1 8 FC:A - FCAL 10000 272000/557056000 274845/562884296 data 0b.23 0b 1 7 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.25 0b 1 9 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.27 0b 1 11 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.17 0b 1 1 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.18 0b 1 2 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.20 0b 1 4 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.22 0b 1 6 FC:A - FCAL 10000 272000/557056000 280104/573653840 data 0b.26 0b 1 10 FC:A - FCAL 10000 272000/557056000 280104/573653840 Spare disks (empty) Broken disks RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks) --------- ------ ------------- ---- ---- ---- ----- -------------- -------------- failed 0b.21 0b 1 5 FC:A - FCAL 10000 272000/557056000 280104/573653840 Partner disks RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks) --------- ------ ------------- ---- ---- ---- ----- -------------- -------------- partner 0b.28 0b 1 12 FC:A - FCAL 10000 0/0 280104/573653840 partner 0b.29 0b 1 13 FC:A - FCAL 10000 0/0 280104/573653840 partner 0b.16 0b 1 0 FC:A - FCAL 10000 0/0 280104/573653840 |
维护总结
- 在修复一个故障后，先确保设备进入稳定状态后，再进行其他操作，避免出现不可预知的情况。
- 在使用halt命令关闭一个cluster时，使用halt –f参数，使cluster不接管，避免在启动时回接失败。
- 更换硬盘前，先确认新硬盘无旧的数据，避免更换新硬盘后，需要进入维护模式修改ownership的情况。
后续计划
- 继续监控存储状态。
- 在新硬盘寄到后，更换故障硬盘。