正文文本
Exadata 技术深入剖析： 架构和内部机制
统一的 Exadata 平台为各种工作负载提供有效支撑
单一的优化数据库运行平台…
数据仓库
OLTP
数据库云
在 OLTP为主的系统中同时支持运行分析查询和并行数据仓库查询
在数据仓库中同时提供快速响应的交互式查询能力，系统的可用性和安全性达到 OLTP 系统级别
在各行业领先的企业中已经部署了数千台
PB级容量的数据仓库
套装软件：SAP, E-business Suite, PeopleSoft, Siebel, JDE
兼管报告类应用
在线金融交易应用
电子商务网站
从其他平台整合上百个数据库
半数是数据仓库类应用, 半数是 OLTP 或混合负载应用
Exadata 硬件
Exadata 架构
采用企业标准的计算和存储服务器构建的完整的数据库平台
可扩展的数据库服务器
2-插槽 或 8-插槽 至强数据库服务器
Oracle 数据库，ASM, RAC; Linux 或 Solaris
标准的以太网接入到客户数据中心
可扩展的智能存储服务器
2-插槽存储服务器，Exadata存储软件
每个机架高达500TB磁盘容量
每个机架56个PCI闪存卡
InfiniBand 网络
统一的内部互联网络(40Gb/sec)
Exadata 存储服务器硬件 (Sun Server X3-2L)
安装的软件:
Oracle Exadata Storage Server Software
Oracle Linux – Unbreakable Enterprise Kernel (UEK)
2 个六核 Intel® Xeon® 2.0GHz E5-2630L CPU
64 GB DRAM (8 x 8 GB)
4 x 400GB F40 Flash PCIe 卡
12 个 3.5” 磁盘驱动器 (600GB SAS 或 3TB SAS)
双端口 InfiniBand QDR (40Gb/s) HCA
磁盘控制器 SAS2 HBA (有 512MB BBWC)
冗余电源、风扇
ILOM
存储服务器内新的 F40 PCI 闪存卡
4 倍容量, 更好的性能
eMLC (企业级 Multi-level Cell)
和以往一样，Oracle 保证 flash 的寿命。任何失效的闪存卡都根据售后支持合同更换。
读和写延时减少了40%以上
| X2-2 F20 卡 | X3-2 F40 卡 | 提高
容量* | 96GB | 400GB | 4 X
数据扫描速度 | 1 GB/s | >1.4 GB/s | 1.4X
数据库机的型号
X3-2 和 X3-8 – 两种型号的数据库机
差别是数据库服务器节点的个数和大小
X3-2 采用较小的2-插槽的Sun X3-2 服务器
X3-8 采用较大的8-插槽的Sun X3-8 服务器
X3-2 数据库服务器(Sun Server X3-2)
2 个八核 Intel® Xeon® 2.9 GHz E5-2690 CPU
128 GB (可扩展至 256 GB DRAM)
板载 4 个 1GbE/10GbE Base-T Ethernet
2 个 10GbE SFP+ PCIe 以太网卡
双端口 InfiniBand QDR (40 Gb/s) HCA
4 个 2.5” 300GB 磁盘驱动器
磁盘控制器 HBA (有 512 MB BBWC)
冗余电源、冗余风扇
ILOM
安装的软件:
Oracle Database 11.2
Oracle UEK Linux or Solaris 11
X3-8 数据库服务器(Sun Server X2-8)
Copyright © 2010, Oracle Corporation and/or its affiliates
8 个十核 Intel® Xeon® 2.4GHz E7-8870 CPU
2 TB (128 x 16GB)
4 个双端口 10GbE PCIe 端口
4 个双端口 InfiniBand QDR (40 Gb/s) Express 模块
8 个 2.5” 300GB 磁盘驱动器
磁盘控制器 HBA (有 512 MB BBWC)
冗余电源、冗余风扇
ILOM
安装的软件:
Oracle Database 11.2
Oracle UEK Linux
InfiniBand 网络
统一的infiniband 网络
存储网络
RAC 互联
外部联接(可选)
高性能，低延时网络
每个连接80Gb/s的带宽(单向40Gb/s)
零拷贝零损失数据报协议(ZDP RDSv3)
和SAN类似的效率 (Zero copy, buffer reservation)
Linux 开源，低CPU开销(传输3GB/s，CPU开销仅2%)
Exadata X3-2 and X3-8 硬件小结
| | X3-8 全配 | X3-2 全配
数据库服务器 | | 2 Sun Server X2-8 | 8 Sun Server X3-2
| 总核数 | 160 (2.40 GHz) | 128 (2.9 GHz)
| 总内存 | 4096 GB | 1024 GB (max 2048 GB)
InfiniBand 交换机 | | 3 |
Exadata 存储服务器 | | 14 Sun Server X3-2L |
| 总核数 | 168 |
| 总闪存容量 | 22.4 TB |
| 总存储裸容量 | 100 TB or 504 TB |
SQL扫描磁盘数据的带宽 | | 25 GB/sec or 18 GB/sec |
SQL扫描闪存卡数据的带宽 | | 100 GB/s |
SQL访问闪存卡IOPS (8k | | 1.5 Million Reads, 1 Million Writes |
Exadata X3-2 1/8 配
最低成本的Exadata 配置
16 数据库CPU 核， 54 TB 磁盘，2.4 TB 闪存
所有其它Exadata特有的高可用性配置
给低负载系统，开发系统，测试系统，灾备系统提供Exadata的极限性能
硬件和X3-2 1/4 配一样
2个数据库服务器， 3个存储节点
一半的CPU 核， 磁盘， 闪存被禁用
一半的数据库和Exadata软件许可
升级到1/4配只需要通过软件的命令
比2010年产1/4 配，2008年产半配还快
成本最低
支持从小配置起步逐步扩展
现场升级
独有的架构决定了Exadata以最低成本提供最高性能平台
半配
满配
四分之一配
八分之一配
仅需要增加网线扩展到8机架
完全的带宽和冗余
扩展超过8个机架需要增加infiniband 交换机
Exadata 硬件 – 高冗余设计
无单点故障
在机架层面有两个冗余的电源分配单元
每一个数据库服务器，存储服务器，infiniband 交换机都有热插拔的电源
热插拔的磁盘，风扇
RAC提供数据库节点失效保护
ASM提供存储服务器失效保护
Infiniband 网络高度冗余 – 单个交换机或某个连接中断，不影响吸能
无缝升级和扩展
单个数据库机可以使用不同代的服务器
数据库和集群可以跨多代硬件
新的软件可以运行在老的硬件上
V2
2010 年部署一个1/4 配
X2-2
2011年1/4 配升级到半配
X3-2
2012年半配升级到满配
升级例子
硬件平台能力演进
V1
CPU (Cores)
内存(GB)
网络带宽 (Gb/s)
V2
X2
X3
64
64
96
128
2X
256
1152
2048
8X
8
24
184
400
576
8
24
184
400
50X
2008
2009
2010
2012
存储 (TB)
闪存 (TB)
168
336
504
504
3X
5.3
5.3
22.4
4X
0
Exadata 软件
Writeback Flash Cache
Infiniband
Writeback Flash Cache
Infiniband
硬盘
闪存
Writeback Flash Cache
Infiniband
磁盘不是一对一的镜像
Writeback Flash Cache
Infiniband
分配单元(4MB)是镜像的
暂时忽略变长的区
图中的块为8k
Writeback Flash Cache
Infiniband
存储单元移动绿块到闪存
磁盘上的数据块”过旧”
新的IO请求由闪存提供服务
更新蓝块和黄块
绿块, 蓝块和黄块存储到了闪存
数据库备份从闪存读取绿块, 蓝块, 和黄块。从磁盘读取黑块
起动数据库备份
更新绿块
不需要任何新的备份策略
Writeback Flash Cache
Infiniband
更新绿块, 读蓝块
绿块在两个存储单元的闪存中更新
蓝块从主存储单元的闪存中读取
如果一个数据块是活动状态，
它可能在闪存中存放几个月甚至几年
Writeback Flash Cache
Infiniband
读蓝块, 并大量读取其它的数据块，但不读黄块和绿块
黄块和绿块被送回到两个存储单元的磁盘
仅主拷贝存放在闪存，智能地利用闪存空间
蓝块仅次拷贝写回磁盘
Writeback Flash Cache – 闪存失效时的读操作
Infiniband
从有失效闪存的存储单元上读取黑块
磁盘仍然正常在线(v$asm_disk)
黑块从存储的磁盘上读取
从有失效闪存的存储单元上读取黄块
报特殊的IO错误，IO重定向到次拷贝存储单元，从闪存读取次拷贝
对应用完全透明
Writeback Flash Cache – 重新同步
Infiniband
ASM仅更新”过旧”的数据块
存储单元请求重新同步
重新同步在alert.log中有日志记录
数据更新后，重新建立起冗余
数据写的量仅和失效的闪存的量相关，和磁盘大小没有关系
GI的版本要求为11.2.0.3 BP9或以上
完全自动和透明
不需要任何人为干涉
滚动升级存储能意识到重新同步
Writeback flashcache
Flash cache vs Flash Tiering
智能闪存的读和写
备份，数据泵到处等仍旧不会”污染”闪存
Cache数据的机制和以前的版本没有改变
从数据库AWR报告中找”free buffer waits”
性能比较常见的误区/困惑
测试时，数据库buffer cache非常大，>500GB的redo logs, 运行5分钟，没有checkpoint, fast_start_mttr_target=1800
打开writeback时，在相同的时间内，相同的负载情况下有更多的IO
数据库刚重起5-10分钟，开始测试，IO非常密集但没有free buffer waits
小结
智能闪存日志
智能闪存日志
智能闪存日志
log file sync
智能闪存日志
log file parallel write
log file sync
智能闪存日志
异常的log IO 将拖慢大量的客户端
从镜像的任何一个拷贝出现异常慢的IO都将影响响应速度
对于性能关键的一些操作，比如空间管理，索引块分裂等对redo 写延迟敏感
传统存储无法区分redo log IO还是其它IO
智能闪存日志
使用闪存作为磁盘控制器cache的并行写cache
无论磁盘还是闪存先完成，则认为redo log 写完成
降低响应时间并消除IO异常值
“log file parallel write” 柱状图将得到改善
大幅度降低 “log file sync”
使用非常少的闪存容量(< 0.1%)
完全自动和透明
智能闪存日志
数据库计算节点CPU利用率100%
所有的等待事件都由于CPU调度而拉长
测试智能闪存日志前先解决CPU的使用问题
FL_DISK_FIRST 指标显示大部分I/O 是磁盘先完成
这是由于磁盘控制卡的cache的作用，但仍旧有异常慢IO
异常慢IO是绝大部分问题的原因
在11.2.3.2的文档中解释了这个现象
新X3的闪存写的延迟和磁盘控制卡的cache延迟几乎相同
在负载相同的情况下，比较Exadata和传统存储的AWR中的“log file parallel write” 的柱状图
常见的误区/困惑
智能扫描
Exadata存储单元实现了智能扫描，大幅度减少了需要数据库处理的数据量
仅返回相关的行和列
卸载了谓词评价
数据的减少通常非常大
列和行过滤，通常能减少10倍返回数据库的量
Join 过滤
存储索引
Exadata 在内存中维护了表综合信息
存储了列的最小/最大值
典型情况下，一个索引条目对应磁盘1MB数据
当MIN/MAX不会匹配到查询的“where”条件时，消除IO
完全自动和透明
例子：select count(*) from table where B=1;
在Join中使用布隆过滤(bloom filter)来传递min/max值
对相关列如ship_date,order_date 很有用
A | B | C | D
| 1 | |
| 3 | |
| 5 | |
| 5 | |
| 8 | |
| 3 | |
Table
Index
Min B=1
Max B=5
Min B=3
Max B=8
11.2.3.2 变化
解决了并发做智能扫描时磁盘队列过长问题
没有减少吞吐率但降低了OLTP负载延时
硬盘蓝色灯亮表明硬盘可以安全移走
如果一个存储单元的磁盘正在做同步，这时关闭其它存储单元将返回一个错误 – 避免误操作
智能性能监控识别有性能的设备，自动隔离，测试并从配置中删除，自动发送警告，并通过ASR提交更换请求
统一的 Exadata 平台为各种工作负载提供有效支撑
单一的优化数据库运行平台…
数据仓库
OLTP
数据库云
在 OLTP为主的系统中同时支持运行分析查询和并行数据仓库查询
在数据仓库中同时提供快速响应的交互式查询能力，系统的可用性和安全性达到 OLTP 系统级别
