正文文本
EMC DMX 存储的物理架构与逻辑架构
一. DMX 存储 概述
DMX 存储硬件的物理与逻辑架构 能够实现最大限度的将 一个lun 的io 最大限度分
摊给硬盘,DAE盘阵的环路; 一个lun 的io 同时也平均分摊给后端的存储cpu . 从后面文
档设备连接的介绍可以知晓.
DMX 的架构做到了最大限度的打散数据 以达到性能最大化;性能最大化的硬件配置
是一个控制柜加两个与控制柜存储cpu 端口直连的磁盘柜;
存储卷 vol 以及 4 个vol meta(绑定) 条带化以后 就避免了热点(hot block) 读写的问
题.
将任何一个lun 的读写 io 操作 做到由 最多的硬件资源来支撑. 硬件资源 主要是
硬盘,DAE 盘阵环路,存储cpu,存储缓存.
DMX 存储安装配置是通过加载 预先配置好的bin file 来部署的; bin file 定义了物理架
构与逻辑架构的配置 定义整个存储当前硬件配置如何被使用 规划好,以后修改配置就
得 重新装载 bin file 也就是重新配置整个存储.
Bin file 的加载以及整个存储的管理 通过console 服务器上的软件symmwin 来操
作,console 服务器通过电话线 moden 与 EMC 支持中心连通. EMC 技术人员通过电话线
的拨号拨入方式可以做到完全掌控存储设备.
本文档关注存储设备架构方面,管理方面的gk 盘,ecc 等不做赘述.
二. EMC DMX 存储 的物理架构
1. 存储外观及各个模块介绍
(1) 外观
DMX 由一个控制柜加磁盘柜组成, 通常带2 个或者5 个磁盘柜
我们公司为了性能最大化,配置满配的前端后端卡,只挂2 个磁盘柜.再扩展磁盘
机柜只增加空间,性能不增长.
前视图:
中间系统柜,
左边是BAY
1A;
右边是 BAY
1B
(2) 物理构成模块图示: (打开机柜门 前视图)
2. 存储后端接线连接以及磁盘环路
DA 卡cpu 端口 与 硬盘 的连线 图示:
这里的图示是端口所管理的硬盘,是指硬盘的主环路(BUS loop),实际情况物理联线只连
接到DAE 的 LCC A & LCC B 端口.
每个DA 卡管理2 个DAE 盘阵,同时每个盘阵归两个不同DA 卡的端口管理;能互相接管对
方环路的硬盘,也就是互为standby 环路.
DA 卡cpu 与 DAE 盘柜 的对应关系
1. DA01,DA16 管理BAY 1A 的 DAE1 到 DAE8;
DA02,DA15; 管理BAY 1A 的 DAE9 到 DAE16;
DA05,DA12; 管理BAY 1B 的 DAE1 到 DAE8;
DA06,DA11; 管理BAY 1B 的 DAE9 到 DAE16;
按照这个接线规律管理DAE 盘阵.
也就是说 每个DA 卡有4 个cpu,每个cpu 两个端口;一个cpu 端口管理一个DAE 盘阵的一半
的硬盘(7 或8 块),另外一半的硬盘standby 模式,也可以接管.(下面两张图可以描述这种物理
连接关系)
DA 卡cpu 端口 与 DAE 盘柜 的对应关系(接线规律)
1. CPU 从a 到d 按照从左到右的连接顺序连DAE 盘阵;
2. 下面一排的DAE 都是被cpu 两个端口中的 0 端口管理; 上面则接 1 端口;
(这是接线的规律)
三. EMC DMX 存储 的逻辑架构
存储最小的可用单元是cylinder (每个cylinder 960k) ;
每个cyln 由 15 个64k 的块组成.
每个硬盘以cyln 为单位划分成n 个hyper(也叫切片)
以 DA02 D1:05 (DA 卡2，D cpu port 1 口管理的 DAE ID 5 硬盘为例)
1. DA02 D1:05 硬盘被切成了 14 块,前面 9 块 都是 16570 cyln 的大小的数据
空间, 后面5 块是 3 cyln 的 管理用的GK 盘.
2. 然后以16570 cyln 为单位的 15GB(16570*960k/1024)大小的 hyper 来与其
他硬盘里面的同样是 16570 cyln 的 hyper 来做镜像 成为一个卷(vol). 大
多数情况下 某个硬盘里面的数据(vol) 与另外一个硬盘的数据一摸一样.
3. 看如下图示: 镜像1 是M1, 镜像2 是M2. 互相交叉. 后面的 6,7,8 …… 都
是同样情况,两块硬盘数据一样,镜像1 镜像2 交叉放.
4. 卷 volume 分配给主机的时候都是连续地分配出去, 而如下图两个硬盘里
面的vol 都是不顺序的,是打散的,这样就打散了主机对存储读写的io.
DA02 D1:05 DA02 D1:05
DA15 D1:06 DA01 D1:06
DA02 D1:07 DA16 D1:07
DA15 D1:08 DA01 D1:08
…… ……
5. 当前dmx 系统都是每个卷 Volume 由4 个小卷 meta 条带化;
如下图示:
每个卷 底层都是由8 个硬盘来支持,并且由八个cpu 通道来支持,因为八个
硬盘都算来自不同的硬盘DAE 盘阵,能达到最佳的IOPS.
dmx 系统只将MetaPosition 0 的卷名(meta 位置0 的) 映射给主机,一个卷也
就是作为一个lun 来使用. 这里举例的情况是 两个hyper 先镜像,然后4 个
hyper 条带; 做好后是 15GB*4=60GB 的Lun 大小.
卷
05EB
是
DA02
D1:05
硬盘
的第
一个
hyper;
6. 主机端查看分配的 lun 的volume 信息
用powerpath 工具powermt 看 Logical device ID
例如:
Pseudo name=emcpowerbd
Symmetrix ID=000290105785
Logical device ID=05EB
state=alive; policy=SymmOpt; priority=0; queued-IOs=0
========================================================
--- Host -- - Stor - -- I/O Path - -- Stats ---
### HW Path I/O Paths Interf. Mode State Q-IOs Errors
========================================================
2 qla2xxx sdbq FA 14dA active alive 0 0
3 qla2xxx sdev FA 13dA active alive 0 0
3 qla2xxx sdgo FA 14dA active alive 0 0
4 qla2xxx sdjt FA 3dA active alive 0 0
4 qla2xxx sdlm FA 4dA active alive 0 0
5 qla2xxx sdor FA 3dA active alive 0 0
5 qla2xxx sdqk FA 4dA active alive 0 0
2 qla2xxx sdx FA 13dA active alive 0 0
主机能看到 05EB 卷的 有: 172.23.106.2, 172.24.67.2 ……
