正文文本
NetApp 存储基础学习汇总（第二部分）
目 录
一、管理磁盘和卷 ........................................................................................................................... 1
1.1、管理磁盘 .......................................................................................................................... 1
1.1.1、raid 组概念 ........................................................................................................... 2
2.1.2、什么是PLEX ........................................................................................................ 3
2.1.3、Hotspare 盘概念 ................................................................................................... 3
2.1.4、raid 组大小的选择及考虑 .................................................................................... 4
2.1.5、不同大小和转速的硬盘混装在同一存储的处理 ............................................... 5
1.2、配置RAID 组 .................................................................................................................. 6
1.2.1、Raid4 和Raid DP.................................................................................................. 6
1.2.2、一些关于raid 组选项的设置 ............................................................................. 11
1.2.3、一些关于磁盘操作的常用命令 ......................................................................... 12
1.3、认证的磁盘 .................................................................................................................... 15
1.4、怎么标识磁盘 ................................................................................................................ 16
1.5、怎么管理volume ........................................................................................................... 18
1.5.1、磁盘、RG 组、plex 与aggr 的关系 ......................................................................... 18
1.5.2、volume 的定义、传统volume 和flexvolume（灵活卷） ............................... 18
1.5.3、卷组成的层次结构 ............................................................................................. 19
1.5.4、传统卷和灵活卷要考虑的问题 ......................................................................... 21
1.5.5、root volume 和/VOL ........................................................................................... 22
1.5.6、数据的可靠性 ..................................................................................................... 22
1.5.7、aggr 命令和vol 命令 .......................................................................................... 23
1.5.8、Disk scrub 命令................................................................................................... 26
二、优化磁盘的配置 ..................................................................................................................... 27
2.1、volume 和aggr 的考虑 .................................................................................................. 27
一、管理磁盘和卷
1.1、管理磁盘
1.1.1、raid 组概念
SCSI 磁盘阵列内部结构图(单控制器):
SCSI 磁盘阵列内部结构图(双控制器):
Raid 组是多个磁盘组合在一起，每个RAID group（RAID4）包含一个校验盘和一个或多个数据盘，当
数据盘损坏的时候，存储会确定那个盘上都有哪些数据，然后在hot spare 盘上重建这些数据。
RAID DP 有两块校验盘，可以保护RAID 组里面两块盘损坏，最少的盘数量至少是3 块，一块数据
盘,一块校验盘，一块dual 校验盘。
如果是校验盘损坏了，则可以根据数据盘的内容来重建。
2.1.2、什么是PLEX
A plex is a collection of one or more RAID groups that together provide storage for one or more Write
Anywhere File Layout (WAFL®) file system volumes.
PLEX 是一个或多个RAID 组的集合，它们在一起为WAFL 文件系统卷提供了存储能力。
Aggregates 是一个或一组Plex 组成的。Plex 是由一个或者多个RAID4 或者RAID DP 组成的。
2.1.3、Hotspare 盘概念
当有盘损坏的时候，可以用sysconfig –r 命令来看具体是那块盘损坏了。
Hot Spare 盘有以下特点：
不包含数据
不管是哪个RAID 组的盘损坏了，都可以替换，也就是说hotspare 盘是全局起作用的，而不是属于哪
个raidgroup。可以这么说hot spare 属于整个存储，但是不属于某个RAID GROUP。
自动替换损坏的盘
至少应该和损坏的盘大小一样，而不能比损坏的盘容量还小
系统会选择正确的盘来作为hotspare 盘
可以非常快的替换
从上图可以看见，hotspare 盘是属于存储的，而不是属于哪个raidgroup,当出现盘损坏后，存储会自动的重
建数据或校验数据在hotspare 盘上。
你可以在线的更换新磁盘，在坏盘换下来，新盘就作为hotspare 盘来使用，如果raidgroup 不是做成raid DP
则如果出现两块盘同时损坏，就会发生数据丢失。
如果一个卷包含超过一个raidgroup，那么可以忍受两块盘损坏，但这两块盘必须是不属于同一raidgroup
时，才可以。
如果没有hotspare 盘去替换已经损坏的盘，系统将会运行在一个”降级”模式，这时候虽然数据没有丢失，
但性能不是最佳的，如果超过了这个时间还没有更换新的磁盘，系统就会自动关机。缺省的这个时间由下
面的参数决定。
wangjun> options raid.timeout
raid.timeout 24
如果过一个长假，希望延长这个时间，则可以修改这个参数来实现。但是延长这个时间带来了很大风险，
会造成其它盘损坏。在”降级”运行期间，如果是设置的raid4,再坏块盘，就会丢失数据，而如果是raid dp
还不会丢失数据，除非坏第三块盘。
2.1.4、raid 组大小的选择及考虑
Raid 组大小的定义要考虑到客户的需求以及性能的优化，netapp 的raid 组可以由2-28 块硬盘组成。
Raid 组支持的最小数量是与raidgroup 类型有关系。
Raid 组支持的最大数量是与raidgroup 类型有关系。
缺省的raid 组大小是在基于不同raid 类型的基础上考虑性能最优和容错要求。
支持的最大 raid 组：
平台 RAID DP RAID 4 SyncMirror_Local 备注
FAS6000 FC 或SAS 盘:28 FC 或SAS 盘:14 块 RAID 6 + RAID 1 Raid6 是针对大于
（26 个数据磁盘 盘（13 个数据磁盘 或 RAID 4 + RAID 146G 盘的配置推
加 2 个奇偶校验 加 2 个奇偶校验 1 荐。
磁盘） 磁盘）， 缺省raid 组大小是
SATA 盘:16（14 个 SATA 盘:7 块（6 raid DP 是16
数据磁盘加 2 个 个数据磁盘加 1 Raid 4 是8
奇偶校验磁盘 个奇偶校验磁盘）
FAS3100 FC 或SAS 盘:28 FC 或SAS 盘:14 块 RAID 6 + RAID 1
（26 个数据磁盘 盘（13 个数据磁盘 或 RAID 4 + RAID
加 2 个奇偶校验 加 2 个奇偶校验 1
磁盘） 磁盘），
SATA 盘:16（14 个 SATA 盘:7 块（6
数据磁盘加 2 个 个数据磁盘加 1
奇偶校验磁盘 个奇偶校验磁盘）
FAS2000 FC 或SAS 盘:28 FC 或SAS 盘:14 块 RAID 6 + RAID 1
（26 个数据磁盘 盘（13 个数据磁盘 或 RAID 4 + RAID
加 2 个奇偶校验 加 2 个奇偶校验 1
磁盘） 磁盘），
SATA 盘:16（14 个 SATA 盘:7 块（6
数据磁盘加 2 个 个数据磁盘加 1
奇偶校验磁盘 个奇偶校验磁盘）
2.1.5、不同大小和转速的硬盘混装在同一存储的处理
不同时期采购的硬盘可能会造成同一存储中，有不同大小的硬盘,不同大小的磁盘需要不同的DataONTAP
版本或者磁盘柜的支持，这个具体信息需要看系统配置手册。
一个raid 组里面的hotspare 和校验盘必须是最大尺寸的，否则无法备份任何数据盘里面的数据。一个volume
里面支持磁盘尺寸不一样，但是netapp 不推荐这么做，这样会带来性能的下降，即一个volume 里面磁盘
尺寸大小最好一致。
下表是FAS6000 支持的磁盘类型和大小(2009 年12 月)
FC 盘 9/18/36/72/144/300GB 9/18/36/72G 虽然支持但现在不出货了,其实也就是支持144G
和300G 的
SATA 盘 250GB, 500GB, 750GB, 1TB
SAS 盘 300GB、450GB、600GB
上图表示我那一块大硬盘去重建数据，而被替换的硬盘尺寸小，那么就会出现容量的损失，上图72G 的盘
只能作为36G 的来使用了。DATA NOTAP 支持把不同转速的盘混合起来使用，需要打开raid.rpm.ata.enable
和raid.rpm.fcal.enable 选项。
以下是缺省情况这两个选项的设置值：
raid.rpm.ata.enable off
raid.rpm.fcal.enable on
1.2、配置RAID 组
1.2.1、Raid4 和Raid DP
(1)、RAID4 水平行奇偶校验
下列图表说明了在传统NetApp RAID4 解决方案中使用水平行奇偶校验的方法，也是您了解RAID DP 和
双奇偶校验的第一步。
图
图表代表了传统的RAID4 组，使用包括4 个数据磁盘（前4 列，标注为“D”）和一列奇偶校验磁盘（最
后一列，标注为“P”）的单向奇偶校验。上面图表中的行显示了实施传统NetApp RAID4时使用的标准4KB
块。 上面图表中的第二行在每个4KB 块和行中数据的奇偶校验计算中添加了一些样例数据，随后存储在
奇偶校验磁盘上相应的块中。 在这种情况下，计算奇偶校验的方式是向每个水平块中添加值，然后将这些
值的和存储为奇偶校验值（3 + 1 + 2 + 3 = 9）。实际上，奇偶校验是通过专门的OR（XOR）过程进行计算，
但其它情况也与此例非常相似。如果需要从单一故障中重建数据，则产生奇偶校验的过程将与此相反。 例
如，当RAID4 恢复上面第一列的数据值3 时，如果第一个磁盘发生故障，就会从奇偶校验中存储的值中减
去剩余磁盘上的值（ 9- 3 - 2 - 1 = 3）。
这个通过单一奇偶校验RAID 重建的例子，应该有助于从概念上理解为什么能够对单一磁盘故障提供数据
保护。
(2)、添加RAID DP 双奇偶校验条，Raid DP是如何做的
下表将一个以蓝色阴影块表示的对角线奇偶校验条和一个在第六列中以“DP”表示的第二个奇偶校验磁盘
添加到前面的RAID4 组中。这表示RAID DP 结构是RAID4 水平行奇偶校验解决方案的超集。
在这个例子中对角线奇偶校验条通过相加的方法计算，并且存储在第二个奇偶校验磁盘上，而不是按实际
使用的XOR校验来计算的：（1 + 2 + 2 + 7 = 12）。解释：对角线校验将第一块校验盘上的内容也作
为数据来处理。下一个图表为每个块加入了余下的数据，并且建立了相应的行和对角线奇偶校验条。
从上图可以明显看出，在RAID DP 中，对角线奇偶校验条都在行奇偶校验结构的边上。在这个例子中，对
于RAID DP 对双磁盘故障进行恢复的能力，有两种重要情况需要注意。
第一种情况是，每一个对角线条会错过唯一的一个磁盘，但是每个对角线错过的磁盘都不一样。一条
对角线：有一行的某个块上数据的校验没有被记录在对角线校验中，但从上图看错过的磁盘是不规律
的。
第二种情况的结果是，在第二个对角线奇偶校验磁盘上会产生一个没有得到奇偶校验的对角线条。上
图中白色的块没有被记录到校验盘。
在这个例子中，被遗漏的对角线条是白色的块。在之后的重建例子中会明显的看出，遗漏一个对角线条不
会影响RAID DP 在双磁盘故障中恢复所有数据的能力。
值得重视的是，在本例中介绍的许多同样的RAID DP 对角线奇偶校验都是真实的存储情况；其中涉及到在
RAID 组中的许多磁盘上，以及通过 RAID4 组水平写入成数百万的数据行。并且，通过上面较小的例子
我们很容易地例证了RAID DP，而且不管RAID 组中的有多少磁盘，对于大尺寸的RAID 组，其恢复情况
也与此相同。
由于RAID DP 可以通过两种方式对双磁盘故障进行所有数据的恢复：一种是使用数学原理并进行证明，另
一种则是简单地通过双磁盘故障并随后进行恢复。
本文将使用后面的方法来证明RAID DP 的双奇偶校验保护的概念。使用数学原理和证明的方法，超出了
本文对RAID DP 的叙述范围，
但我们在另外一篇文章中单独进行了描述，而且即将在NetApp 的外部网站上发布。
(3)、双盘数据丢失后,RAID DP 的重建
我们使用最近的图表开始介绍双磁盘故障。假定在发生双磁盘故障时，RAID 组运行正常。在下表中，第
一、二列中的所有数据都丢失了。
当发生双磁盘故障之后，RAID DP 首先会寻找一个链来开始重建。在本例中，我们用蓝色的对角线奇偶校
验条来显示其所发现的链。不要忘记，当在RAID4 下为单一磁盘故障重建数据时，只有在丢失的元素不超
过一个时，这种情况才会发生。记住这一点之后，我们可以看到上图中蓝色对角线条中只丢失了五个块中
的一个。借助五个元素中仍然存在的四个，RAID DP 能够获得所需的全部信息，（也就是说根据RAID DP
数据存储方式和校验方式，有一个链可以开始对角链恢复，那么就从这个链开始恢复计算），来重建蓝色丢
失块中的数据。接下来的图表反映了这些数据被恢复到空闲的磁盘上。
从丢失的蓝色对角线块中重建数据时，使用了前面介绍的算法（12 - 7 - 2 - 2 = 1）。现在，
丢失的蓝色对角线信息已经被重建，恢复过程从使用对角线奇偶校验转换至使用水平行奇偶校验。
特别是，蓝色对角线之后的顶端的行重建了丢失的对角线块，而没有足够的信息从行奇偶校验中重建单个
丢失的水平块(9 - 3 - 2 - 1 = 3)。这种情况出现在下列图表中。
RAID DP 接下来继续处于同样的链中，以决定是否能够重建其他的对角线条。上面左方的块被行奇偶校验
重建，使得RAID DP 现在能够重建灰色对角线条中相对的对角线块，如下图所示。
再一次，当RAID DP 恢复了对角线条中相对的对角线块后，它就有了足够的行奇偶校验信息，来重建第一
列中丢失的水平块，接下来的图表中例证了这个情况。
图 32：
与我们前面所注意到的一样，白色对角线条没有被存储，现存的链中也没有额外的对角线块能够重建。RAID
DP 将开始寻找新的链以开始重建对角线并且，基于这个例子，决定了其能够重建黄色对角线条中丢失的
数据，如下图所示。
在RAID DP 重建了丢失的对角线块之后，这个过程再次从行奇偶校验转换至重建丢失的水平块。当黄色对
角线中丢失的对角线块被重建后，可以得到足够的信息重建行奇偶校验中丢失的水平块，由下图可以明显
看出。
水平行中丢失的块被重建之后，重建转换回对角线奇偶校验以创建丢失的对角线块。RAID DP能够继续处
于当前的对角线链中如下图所示。
同样，在对角线块恢复之后，因为有足够的信息重建一个水平块信息，这一过程将会转换回行奇偶校验。
接下来是双磁盘故障情况的最后一个图表，通过RAID DP 所有的数据都被重建了。
RAID DP 卷的性能可以与RAID4 相媲美。每种类型的RAID 的读操作几乎一样。RAID DP 的写操作性能
要比RAID4 慢2%到3%。造成性能微小差距的原因是RAID DP 卷上的第二个对角线奇偶校验磁盘会出现
额外的写操作。 相对于RAID4，运行RAID DP 时CPU 的利用率并无明显差别。
总结:
RAID DP的写操作比RAID4+稍有些慢。
先恢复对象线校验盘上的数据，使水平校验有足够的数据，然后再恢复水平校验盘上的数据。
1.2.2、一些关于raid 组选项的设置
RAID 组是建立卷的基本结构.
wangjun> options raid.timeout --功能:设置系统可以在降级模式缺省运行的时间
raid.timeout 24
wangjun> options raid.reconstruct.perf_impact --功能:设置重建的时候分配的系统资源的多少
raid.reconstruct.perf_impact medium
options.raid.reconstruct_speed ==这个在7.3 里面已经没有了
wangjun> options raid.scrub.enable ==设置raid scrub 每星期六1 点自动做
raid.scrub.enable on
wangjun> options raid.scrub.perf_impact ==设置做raid scrub 的时候系统资源的分配
raid.scrub.perf_impact low
options raid.default_raidtype =定义创建volume 的时候缺省的raidtype 类型,raid4 和raid_dp,7.3 已经没有这个
选项了。
wangjun>vol options volume_name raidtype value ==修改指定卷的RAID 组类型，Values: raid4 (default), raid _dp
Example: vol options vol0 raidtype raid_dp
wangjun>aggr options aggregate_name raidtype value
修改指定aggregate 的RAIDGROUP 类型. Values: raid4, raid _dp (default)
Example: aggr options aggr0 raidtype raid4
Netapp 存储使用disk scrub 技术，避免因为介质错误，坏扇区等问题造成数据丢失。启动这个功能后，raid
组里面的每块盘都扫描来发现错误，如果发现了错误，则通过校验数据重建和重写数据。如果不这样做，
如果在降级模式运行则会造成多块盘损坏。如果options raid.scrub 是off 的，也可以手动启动此命令。
什么时候会造成降级运行，raid group 设置为RAID 4，其中一块盘损坏，设置为RAID DP, 但RAID 组中同
时两块盘损坏，而且没有设置hot spare 磁盘，此时存储降级运行，缺省时间是24 小时，在此时间内如果没
有更换磁盘，则系统shutdown。
1.2.3、一些关于磁盘操作的常用命令
首先创建一些物理卷:
wangjun> aggr show_space -h aggr0 ===查看aggr 空间的使用情况
Aggregate 'aggr0'
Total space WAFL reserve Snap reserve Usable space BSR NVLOG A-SIS
300MB 30MB 13MB 256MB 0KB 0KB
Space allocated to volumes in the aggregate
Volume Allocated Used Guarantee
vol0 243MB 71MB volume
Aggregate Allocated Used Avail
Total space 243MB 71MB 13MB
Snap reserve 13MB 0KB 13MB
WAFL reserve 30MB 872KB 29MB
wangjun> aggr show_space -h aggr1
Aggregate 'aggr1'
Total space WAFL reserve Snap reserve Usable space BSR NVLOG A-SIS
6000MB 600MB(保留了10%) 270MB 5130MB 0KB 0KB
No volume's contained in the aggregate
Aggregate Allocated Used Avail
Total space 0KB 0KB 5129MB =可用是5.2 个G
Snap reserve 270MB 0KB 270MB
WAFL reserve 600MB 160KB 599MB
wangjun> vol status -r
Aggregate aggr1 (online, raid_dp) (zoned checksums) ==可以看见aggr1 包含两个raid 组每组是5 块硬盘
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448 校验盘
data v4.19 v4 1 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.20 v4 1 4 FC:B - FCAL N/A 1020/2089984 1027/2104448
RAID group /aggr1/plex0/rg1 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.21 v4 1 5 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.34 v4 2 2 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.22 v4 1 6 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.35 v4 2 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.24 v4 1 8 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> aggr create aggr2 -d v4.25 v4.26 v4.27 ==指定哪些盘组成了aggr(物理卷)
wangjun> aggr create aggr3 3 ====这个命令指定3 块盘是一个raid 组的创建一个aggr
aggr options aggr3 raidsize 4 ====这个命令定义随后加入aggr3 的盘,4 块盘组成一个raid 组，但不影响前面那
4 块盘的raid 组。
wangjun> aggr add aggr3 4
通过标记一块磁盘fail 来显示换盘的过程：
wangjun> disk fail v4.33 ==将v4.33 这块盘标记为失败，则会有spare 盘开始拷贝过来
*** You are about to prefail the following file system disk, ***
*** which will eventually result in it being failed ***
Disk /aggr1/plex0/rg0/v4.33
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448
***
Really prefail disk v4.33? y
disk fail: The following disk was prefailed: v4.33
Disk v4.33 has been prefailed. Its contents will be copied to a
replacement disk, and the prefailed disk will be failed out.
消息提示开始向ID 号最小的V4.41 开始拷贝数据
wangjun> Mon Dec 14 08:45:46 GMT [raid.rg.diskcopy.start:notice]: /aggr1/plex0/rg0: starting disk copy from v4.33 to v4.41
wangjun> aggr status aggr1 –r ==看这个物理卷信息,注意绿色加重的两行，正在向spare 盘拷贝数据
Aggregate aggr1 (online, raid_dp) (zoned checksums)
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.19 v4 1 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448 (prefail, copy in
progress)
-> copy v4.41 v4 2 9 FC:B - FCAL N/A 1020/2089984 1027/2104448 (copy 55%
completed)
data v4.20 v4 1 4 FC:B - FCAL N/A 1020/2089984 1027/2104448
RAID group /aggr1/plex0/rg1 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.21 v4 1 5 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.34 v4 2 2 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.22 v4 1 6 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.35 v4 2 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.24 v4 1 8 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> aggr status aggr1 –r ==拷贝完了，发现v4.41 已经变成了数据盘
Aggregate aggr1 (online, raid_dp) (zoned checksums)
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.32 v4 2 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.48 v4 3 0 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.19 v4 1 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.41 v4 2 9 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.20 v4 1 4 FC:B - FCAL N/A 1020/2089984 1027/2104448
RAID group /aggr1/plex0/rg1 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.21 v4 1 5 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.34 v4 2 2 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.22 v4 1 6 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.35 v4 2 3 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.24 v4 1 8 FC:B - FCAL N/A 1020/2089984 1027/2104448
Spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for zoned checksum traditional volumes or aggregates only
spare v4.42 v4 2 10 FC:B - FCAL N/A 1020/2089984 1027/2104448
spare v4.43 v4 2 11 FC:B - FCAL N/A 1020/2089984 1027/2104448
spare v4.44 v4 2 12 FC:B - FCAL N/A 1020/2089984 1027/2104448
spare v4.45 v4 2 13 FC:B - FCAL N/A 1020/2089984 1027/2104448
Broken disks ===v4.33 被标记成了fail 的盘
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
admin failed v4.33 v4 2 1 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> disk remove v4.33 ==移走spare 盘
disk remove v4.33: Disk v4.33 is already in broken pool.
wangjun> disk replace start v4.41 v4.33 前面是数据盘，后面是spare 盘,用spare 盘代替数据盘
wangjun> disk zero spares ===格式化所有的spare 盘
wangjun> disk sanitize start v4.41 ===清洁磁盘
Use of sanitization is not licensed.
wangjun> disk scrub start
Mon Dec 14 09:15:09 GMT [raid.rg.scrub.start:notice]: /aggr3/plex0/rg0: starting scrub
Mon Dec 14 09:15:09 GMT [raid.rg.scrub.start:notice]: /aggr3/plex0/rg1: starting scrub
wangjun> vol status -r
Aggregate aggr3 (online, raid_dp) (zoned checksums)
Plex /aggr3/plex0 (online, normal, active)
RAID group /aggr3/plex0/rg0 (scrubbing 4% completed)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.36 v4 2 4 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.28 v4 1 12 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.37 v4 2 5 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.29 v4 1 13 FC:B - FCAL N/A 1020/2089984 1027/2104448
RAID group /aggr3/plex0/rg1 (scrubbing 4% completed) =提示正在做scrub
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.38 v4 2 6 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.39 v4 2 7 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.40 v4 2 8 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> disk checksum all ==近线存储才支持这个命令
disk checksum: This command is only supported on NearStore.
wangjun> disk swap 和disk unswap 只有在老的SCSI 盘才有用，最近的光纤盘，不需要使用。
Command Meaning
disk sanitize start disk_name Start removing all disk data.
disk sanitize abort disk_name Stop removing all disk data.
disk zero spares Zero all non-zeroed RAID spare disks.
disk.auto.assign Autoassign disks on systems with
software disk ownership (default: on).
disk_fw_update disk_list Manually update firmware on disks
(automatic on Data ONTAP 6.0 or
later).
1.3、认证的磁盘
Netapp 用的硬盘必须是netapp 认证的，如果你拿外来的硬盘插入Netapp 的磁盘柜，会有72 小时的时
间让你移除它，否则系统就强制shutdown 了。
还有一些额外的动作：
管理端口消息、autosupport
没认证的盘被标记为unqulified 等。
wangjun> rdfile /etc/qual_devices ===认证的盘被保存在这个文件。
D NETAPP NTAP2770 849d
D TMS FC65 1.4d 512
D Curtis Nitro!FC 2.02 512
D Exavio ExaFCT/ExaMax 2.0 512
D SEAGATE ST12400N 9072 512
D SEAGATE ST12550N 0013 512
D SEAGATE ST32430N 0000 512
D SEAGATE ST43400N 0000 512
D SEAGATE ST43400ND 0000 512
D SEAGATE ST43401N 0000 512
D SEAGATE ST43401ND 0000 512
D SEAGATE ST43402ND 0111 512
D SEAGATE ST15150N 0023 512
D SEAGATE ST15150W 0023 512
D SEAGATE ST15230N 0000 512
D SEAGATE ST34572WC 0784 512
D SEAGATE ST19171W 0024 512
D SEAGATE ST19171FC FB59 512
D SEAGATE ST39102FC NA27 512
为了避免由于插入没有认证的盘造成系统down 机，可以采取以下措施：
移走没有被认证的硬盘（不是netapp 或认证的供应商提供的硬盘）
下载最新的/etc/qual_devices 文件从netapp 网站，这会验证所有不认证的磁盘，看现在支持不支持了。
1.4、怎么标识磁盘
磁盘标识可以快速定位磁盘的位置。
磁盘标识是由path_id 和device_id 组成，表现为path_id.device_id
Path_id-指得是适配卡所在的插槽，比如下图就是磁盘柜接到4 号插槽的a 口。所以path_id=4a
Device_id 是指磁盘的loop ID 或者SCSI ID 号。
Device_id 是由磁盘柜的类型、磁盘柜的ID 号和这块磁盘装在第几个bay 来决定。
4a.16 对应DS14 磁盘柜是shelf ID=0,BAY=0.
看上图:Bay 是从右到左开始编号，从0 开始。
如果你安装了DS14 型号的磁盘柜在一个loop 里面，而这个loop 又包含FC7\FC8\FC9（这些是老型号的磁
盘柜）光纤磁盘柜,则DS14 必须是最后一个磁盘柜和最高的磁盘柜ID 以避免地址冲突。
下图标识出了 bay 和loop ID 的对应关系：
FCx 系列磁盘 FCx FCx DS14 系列磁盘 DS14 DS14
柜 Loop ID Not Use 柜 Loop ID Not Use
Shelf ID Shelf ID
0 6 - 0 - - - -
1 14 - 8 7 1 29 - 16 15 - 0
2 22 - 16 15 2 45 - 32 31 - 30
3 30 - 24 23 3 61 - 48 47 - 46
4 38 - 32 31 4 77 - 64 63 - 62
5 46 - 40 39 5 93 - 80 79 - 78
6 54 - 48 47 6 109 - 96 95 - 95
7 62 - 56 55 7 125 - 112 111 - 110
Aggregate aggr0 (online, raid0) (zoned checksums)
Plex /aggr0/plex0 (online, normal, active)
RAID group /aggr0/plex0/rg0 (normal) 可以看见root 卷占用了shelf1 的bay 0-3
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
data v4.16 v4 1 0 FC:B - FCAL N/A 120/246784 127/261248
data v4.17 v4 1 1 FC:B - FCAL N/A 120/246784 127/261248
data v4.18 v4 1 2 FC:B - FCAL N/A 120/246784 127/261248
1.5、怎么管理volume
1.5.1、磁盘、RG 组、plex 与aggr 的关系
一个RAID 组由一块或多块数据磁盘加上一块或多块数据校验盘组成，plex 是一个或多个RG 组的集
合。
一个aggr 是一个或多个plex 的集合，如果RG 组做镜像了，则一个aggr 包含两个plex，否则只包含
一个plex。.
Aggr 用来管理plex 和RAID 组，因为这些实体只能作为aggr 的一部分存在。
一个卷就依赖aggr,因为它是实际物理存储。而卷是逻辑的存储实体，用来保存用户数据，卷可以通过
多种协议来进行访问。
1.5.2、volume 的定义、传统volume 和flexvolume（灵活卷）
Volume 是保存用户数据的文件系统，它可以被DataONTAP 支持的文件系统访问。
传统volume:如上图所示，传统卷包含在一个单独的专用的aggregate(物理卷)里面，连接非常紧密，如果
想增加传统卷的大小，只能把一整块磁盘加到包含它的物理卷里面来实现。 traditional volumes 顾名思义，
是系统开发初期采用的。有诸多限制，例如不能减小，只能在一个aggregate 中，只能通过添加整个新硬盘
的容量来扩容。从上图可以看见传统卷要包含一个RG 就全部包含了。
灵活volume:DataONTAP 7 之前的版本创建的卷全是传统卷，如果你升级到DataONTAP 7.0,你的volumes
和数据不会被改变，你管理卷和数据的命令都仍然被支持。
灵活卷与包含它的物理卷结合的比较松散，可以创建很小的灵活卷(20M 或更大)，每次可以增加或减小尺
寸可以是4K。从上图可以看见灵活卷可以是某个raidgroup 中盘的一部分，而不是全部。而灵活卷可以只
包含某个RG 的某个部分。
FlexVol 的大小可以增加超过包含它的aggr 的大小，这叫做(aggregate overcommitment).
限制：一个filer 里面灵活卷和传统卷的数量是500 个。这个500 是指传统卷+灵活卷。
其中传统卷和包含它的物理卷最多100 个。
而灵活卷可以达到500 个。这个数值在几个资料不一致，需要再核实。
1.5.3、卷组成的层次结构
存储被组织成volume 的形式，而卷是由raidgroup 组成的,而raidgroup 又是由磁盘组成的，这就是卷组
成的层次关系。灵活卷是在aggragate(物理卷)上划分,物理卷是由raidgroup 组成，而raidgroup 是由磁盘
组成的。
传统卷直接在raidgroup 组成，而没有将raidgroup 在组成一个物理磁盘池。
而灵活卷是在物理磁盘池上划分出来的。
每个卷是个独立的文件系统，用户可以在上面保存或者检索数据。
每个netapp 存储都必须有一个root volume，存储启动的时候要读取在它上面保存的数据。一般是第一个shlef
的前三块盘组成root 卷，缺省是做成Raid0。
一般将磁盘划分为多个卷，而不是划分为一个很大容量的卷，这样做的好处如下：
在更小的卷上,备份或者恢复数据更快
单独的卷上的属性和options 可以设置成不一样，这样管理员可以定制怎么管理它，因为可能这些卷
的作用不一样。
单独的卷可以临时offline 了，来执行维护和管理任务，而其它卷依然可以在线，并不影响它们的数据
存取。卷也可以自动offline。
如果root 卷不能访问了，存储依然可以从其它volume 启动并提供持续服务。
fas3140> sysconfig –r ====用这个命令可以看aggr,vol 和RG 组由那些磁盘组成
Aggregate aggr0 (online, raid_dp) (block checksums)
Plex /aggr0/plex0 (online, normal, active)
RAID group /aggr0/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity 0a.28 0a 1 12 FC:A - FCAL 15000 272000/557056000 280104/573653840
parity 0a.29 0a 1 13 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.22 0a 1 6 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.16 0a 1 0 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.17 0a 1 1 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.18 0a 1 2 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.19 0a 1 3 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.20 0a 1 4 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.21 0a 1 5 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.23 0a 1 7 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.24 0a 1 8 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.25 0a 1 9 FC:A - FCAL 15000 272000/557056000 280104/573653840
data 0a.27 0a 1 11 FC:A - FCAL 15000 272000/557056000 280104/573653840
Spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for block or zoned checksum traditional volumes or aggregates
spare 0a.26 0a 1 10 FC:A - FCAL 15000 272000/557056000 280104/573653840
1.5.4、传统卷和灵活卷要考虑的问题
传统卷:
如果你是升级到DataONTAP 7 从以前的版本，升级程序保护你原有存在的卷全作为传统卷。
你还可以创建一个传统卷和物理卷，物理的全部传输给另一个存储。
传统卷的命名必须遵循以下规则：
以字母或下划杠[_]开头
只能包含字母、数字和[_]
不能超过255 个字符。
灵活卷的考虑：
Foreign volume 或aggragate 是从别的filer 整个移过来安装到另一个filer,也就是说把这个volume 包含
的磁盘整个挪到另一个存储。NetApp 推荐这种操作最好是从一个NVRAM 容量小的 filer 挪到一个容
量大的。
灵活卷空间的保证(aggr commitment)
卷的语言种类
备份
卷克隆
采用多个卷的优势：
备份和恢复功能占用更少的时间。
可以独立为每个设置属性和options
可以独立将volume offline，而不影响其它volume.
如果最原始的root 卷不可得到，系统还可以从其它卷boot。
1.5.5、root volume 和/VOL
每个存储只能有一个root volume,虽然系统指派的root 卷可以是改变的。Root volume 的主要作用就是启
动存储。它是唯一具有root 属性的卷,而它里面的/etc 目录保存的是配置信息。它与其它vol 差不多，只不
过这个vol 还存放ontap 的配置信息、日志、firmware 等等东西。如果愿意，你可以往vol0 里面存数据，
但不建议那么做。
目录名是由/vol 开头的：
/vol/vol0 是volume 名。
/vol/user/cheryl 是/vol/usr 卷上的一个目录。
注意：/vol 不是一个目录，它是一个特殊的虚拟root 路径，存储用它来mount 其它目录。你不能通过
Mount /vol 来看其它卷，只能是mount 每个卷单独的，所以一定注意/vol 并不是一个根mount 点。
1.5.6、数据的可靠性
数据的可靠性是NetApp 存储的基础：
这里有两个功能来增加数据的可靠性:
RAID-level checksum—增强数据保护和可靠性，checksum 是由一组数据计算得来的，它和数据一起传
输，接受者会比较受到的数据和checksum 如果不匹配就表明发生了数据丢失。Data ONTAP 支持两种
类型的checksums:
Zoned Checksums (ZCS)
Block Checksums (BCS)
Multipath I/O 用来提供链路的冗余，消除单点故障。
这种多链路连接保证了存储里面的每块盘都有两条路径来连接。两条环路，目前一个环路支持最多6 个磁
盘柜。
从上图可以看见这个filer 在slot7 和slot8 分别安装了双口的主机卡，磁盘柜上面也是两块卡，每块卡也是
两个口，一进一出。双口主机卡不是必须的，但使用双口卡可以节省PCI 插槽。这样连接提供了更高的可
靠性。每种连接方式和硬件平台、主机卡型号、磁盘柜型号都有关系。上图shelf[0-2]组成一个loop,shelf[3-5]
组成一个环路。
1.5.7、aggr 命令和vol 命令
aggr 命令与vol 命令类似，除了它是在aggr 上执行外。
前面已经试验了一些aggr 命令。
wangjun> aggr offline aggr2 ==将一个物理卷offline
Aggregate 'aggr2' is now offline.
wangjun> Mon Dec 14 13:47:19 GMT [volaggr.offline:CRITICAL]: Some aggregates are offline. Volume creation could cause
duplicate FSIDs.
wangjun> aggr status aggr2 -r
Aggregate aggr2 (offline, raid_dp) (zoned checksums)
Plex /aggr2/plex0 (online, normal, active)
RAID group /aggr2/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v4.25 v4 1 9 FC:B - FCAL N/A 1020/2089984 1027/2104448
parity v4.26 v4 1 10 FC:B - FCAL N/A 1020/2089984 1027/2104448
data v4.27 v4 1 11 FC:B - FCAL N/A 1020/2089984 1027/2104448
wangjun> aggr online aggr2
DBG:RAID:raid_vol_set_cfod_aggr_split:Set/Reset VOL_IC_FLAG_CFOD_AGGR_SPLIT Flag:0
Aggregate 'aggr2' is now online.
wangjun> aggr options aggr2 ==物理卷上的一些选项
nosnap=off, raidtype=raid_dp, raidsize=16, ignore_inconsistent=off,
snapmirrored=off, resyncsnaptime=60, fs_size_fixed=off,
snapshot_autodelete=on, lost_write_protect=on
tan> aggr status –r 或者aggr status aggr1 –r
- 查看aggregate 或者traditional volume <atv-name>的状态
Aggregate aggr0 (online, raid0) (zoned checksums)
Plex /aggr0/plex0 (online, normal, active)
RAID group /aggr0/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
data v4.16 v4 1 0 FC:B - FCAL N/A 120/246784 127/261248
data v4.17 v4 1 1 FC:B - FCAL N/A 120/246784 127/261248
data v4.18 v4 1 2 FC:B - FCAL N/A 120/246784 127/261248
Aggregate aggr1 (restricted, raid_dp) (zoned checksums)
Plex /aggr1/plex0 (online, normal, active)
RAID group /aggr1/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v5.19 v5 1 3 FC:B - FCAL N/A 520/1065984 527/1080448
parity v5.35 v5 2 3 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.20 v5 1 4 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.36 v5 2 4 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.21 v5 1 5 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.37 v5 2 5 FC:B - FCAL N/A 520/1065984 527/1080448
Aggregate aggr2 (online, raid_dp) (zoned checksums)
Plex /aggr2/plex0 (online, normal, active)
RAID group /aggr2/plex0/rg0 (normal)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity v5.38 v5 2 6 FC:B - FCAL N/A 520/1065984 527/1080448
parity v5.22 v5 1 6 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.39 v5 2 7 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.24 v5 1 8 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.40 v5 2 8 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.25 v5 1 9 FC:B - FCAL N/A 520/1065984 527/1080448
data v5.41 v5 2 9 FC:B - FCAL N/A 520/1065984 527/1080448
Spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for zoned checksum traditional volumes or aggregates only
spare v5.16 v5 1 0 FC:B - FCAL N/A 520/1065984 527/1080448 (not zeroed)
spare v5.17 v5 1 1 FC:B - FCAL N/A 520/1065984 527/1080448 (not zeroed)
spare v5.18 v5 1 2 FC:B - FCAL N/A 520/1065984 527/1080448 (not zeroed)
spare v5.26 v5 1 10 FC:B - FCAL N/A 520/1065984 527/1080448
spare v5.27 v5 1 11 FC:B - FCAL N/A 520/1065984 527/1080448
spare v5.28 v5 1 12 FC:B - FCAL N/A 520/1065984 527/1080448
spare v5.29 v5 1 13 FC:B - FCAL N/A 520/1065984 527/1080448
spare v5.32 v5 2 0 FC:B - FCAL N/A 520/1065984 527/1080448 (not zeroed)
spare v5.33 v5 2 1 FC:B - FCAL N/A 520/1065984 527/1080448 (not zeroed)
spare v5.34 v5 2 2 FC:B - FCAL N/A 520/1065984 527/1080448 (not zeroed)
spare v5.42 v5 2 10 FC:B - FCAL N/A 520/1065984 527/1080448
spare v5.43 v5 2 11 FC:B - FCAL N/A 520/1065984 527/1080448
tan> aggr status -l
Aggr State Status Options
aggr0 online raid0, aggr root
aggr1 restricted raid_dp, aggr lost_write_protect=off
aggr2 online raid_dp, aggr
vol 命令用来管理传统卷和灵活卷,common volume 命令针对传统卷和灵活卷全有效。
Wangjun> aggr show_space –h(或g 或k) aggr2
Aggregate 'aggr2'
Total space WAFL reserve Snap reserve Usable space BSR NVLOG A-SIS
1000MB 100MB 45MB 855MB 0KB 0KB
No volume's contained in the aggregate
Aggregate Allocated Used Avail
Total space 0KB(空间还没分配) 0KB 854MB =aggr 有845M 可用
Snap reserve 45MB 28KB 44MB
WAFL reserve 100MB 192KB 99MB
wangjun> vol create wangjuntest aggr2 900m ==aggr2 上可用是854M，故意在其上创建一个900M 的卷
vol create: Request to create volume 'wangjuntest' failed as space cannot be guaranteed for the volume. =提示空间不够
wangjun> vol create wangjuntest aggr2 500m ===创建一个灵活卷
Mon Dec 14 13:59:28 GMT [vol.language.changed:info]: Language on volume wangjuntest changed to C
The new language mappings will be available after reboot
Creation of volume 'wangjuntest' with size 500m on containing aggregate
'aggr2' has completed.
wangjun> aggr show_space -h aggr2
Aggregate 'aggr2'
Total space WAFL reserve Snap reserve Usable space BSR NVLOG A-SIS
1000MB 100MB 45MB 855MB 0KB 0KB
Space allocated to volumes in the aggregate
Volume Allocated Used Guarantee
wangjuntest 502MB 396KB volume
使用了396KB
Aggregate Allocated Used Avail
Total space 502MB 396KB 352MB
Snap reserve 45MB 60KB 44MB
WAFL reserve 100MB 636KB 99MB
wangjun> vol size wangjuntest +100m ===扩大灵活卷的大小
vol size: Flexible volume 'wangjuntest' size set to 600m
wangjun> vol size wangjuntest -200m ===减小灵活卷的大小
vol size: Flexible volume 'wangjuntest' size set to 400m.
wangjun> vol offline wangjuntest =删除一个卷，先将其offline
Mon Dec 14 14:07:26 GMT [wafl.vvol.offline:info]: Volume 'wangjuntest' has been set temporarily offline
Volume 'wangjuntest' is now offline.
wangjun> vol destroy wangjuntest ==删除卷
Are you sure you want to destroy this volume? y
Mon Dec 14 14:07:41 GMT [wafl.vvol.destroyed:info]: Volume wangjuntest destroyed.
Volume 'wangjuntest' destroyed.
tan> vol size vol1 ===看一个灵活卷的大小
vol size: Flexible volume 'vol1' has size 500m.
1.5.8、Disk scrub 命令
Scrub 比较raidgroup 中数据盘和校验盘，必要的时候纠正校验盘里面的数据。Aggr scrub 和vol srcub 要有
效必须有active 的校验盘，在重建校验盘、降级状态或重构的时候都不工作。如果没有指定vol 名或者aggr
名，所有物理卷或volume 将被scrub。如果物理卷或volume 里面包含的有些raidgroup 合格有些不符合条
件，则scrub 还是可以开始做，你会收到信息，就是不合格的raidgroup 不会scrub。
Storage Health Monitor 是一个简单的存储管理服务在系统启动的时候初始化。在磁盘问题发生前，就会预
警错误发生，可以通过SNMP、Autosupport 和system log 提示。
有三类信息报告分类：
Urgent(当前问题)
Non-urgent(潜在问题)
Information(普通信息)
二、优化磁盘的配置
维护数据保护和良好的性能都需要非常好的磁盘配置策略。有以下因素需要考虑：
传统卷还是灵活卷
Aggregates
写性能
RAID 组
2.1、volume 和aggr 的考虑
传统卷的考虑：
建立在单独的文件系统，一块或2 块校验盘，增加文件系统大小只能通过添加物理磁盘。
灵活卷的考虑：
最小可以达到20Mb
增加或减少volume 的大小，可以通过增加或减少空间来实现，灵活卷被包含在aggr 中。
可以进行clone。
共享校验保护和磁盘空间在aggr 这个级别。
Aggregates 的特点:
需要通过增加物理磁盘来实现增加空间大小。
采用多个灵活卷：
可以更快的进行数据访问
更加有效的监管
采用多个RAID 组
可以存储更多的数据
好级别的数据保护防止数据丢失
2.2、可以用以下命令来分析写性能
Command Function
sysstat 显示当前的系统状态
statit 类似于stackpak 出一个性能分析报告.
wafl_susp Displays performance data for various system operations.
node1> sysstat -sx 1
CPU NFS CIFS HTTP Total Net kB/s Disk kB/s Tape kB/s Cache Cache CP CP Disk FCP
iSCSI FCP kB/s iSCSI kB/s
in out read write read write age hit time ty util
in out in out
0% 0 0 0 0 0 0 0 0 0 0 >60 100% 0% - 0%
0 0 0 0 0 0
0% 0 0 0 0 0 0 0 8 0 0 >60 100% 0% - 3%
0 0 0 0 0 0
1% 0 0 0 0 0 0 40 172 0 0 >60 100% 22% T 22%
0 0 0 0 0 0
--
Summary Statistics ( 6 samples 1 secs/sample)
CPU NFS CIFS HTTP Total Net kB/s Disk kB/s Tape kB/s Cache Cache CP CP Disk FCP
iSCSI FCP kB/s iSCSI kB/s
in out read write read write age hit time ty util
in out in out
Min
0% 0 0 0 0 0 0 0 0 0 0 >60 100% 0% * 0%
0 0 0 0 0 0
Avg
0% 0 0 0 0 0 0 6 30 0 0 >60 100% 3% * 4%
0 0 0 0 0 0
Max
1% 0 0 0 0 0 0 40 172 0 0 >60 100% 22% * 22%
0 0 0 0 0 0
node1*> sysstat -c 10 -s 5
CPU NFS CIFS HTTP Net kB/s Disk kB/s Tape kB/s Cache
in out read write read write age
0% 0 0 0 0 0 0 0 0 0 >60
0% 0 0 0 0 0 9 34 0 0 >60
0% 0 0 0 0 0 0 0 0 0 >60
--
Summary Statistics ( 3 samples 5.0 secs/sample)
CPU NFS CIFS HTTP Net kB/s Disk kB/s Tape kB/s Cache
in out read write read write age
Min
0% 0 0 0 0 0 0 0 0 0 >60
Avg
0% 0 0 0 0 0 3 11 0 0 >60
Max
0% 0 0 0 0 0 9 34 0 0 >60
2.3、推荐的RAID 组配置
用多个卷来组织不同的数据存储需要。
最好设置RAID 组里面磁盘的数量为系统推荐的数量。
确保卷或aggr 里面RAID 组的容量大小差不多。
确保每个RAID 组里面至少三块数据盘。
需要更高数据保护的时候，使用RAID DP.
在文件系统或者aggr 容量达到80%-90%后就需要加入RG 组或磁盘。
