浪潮 NF5288M5 客服培训资料

培训安排
培训项目 | 　 | 培训方式 | 培训时间 | 讲师
1.NF5288M5培训2.SF0204P1培训3.NF5180M5培训4.SA5224M4A培训 | 所有服务商+工程师 | 培训内容：产品介绍，售后维护现场培训地点：S05 509远程培训方式：YY语音软件，有PPT展示和语音讲解。频道：12578736 ，子频道：培训频道 | 2018年1月6日（星期六）9:00-12:0013:00-15:00 | 邰运宏
5.NF8460M5培训 | 中高级服务商+工程师 |  |  |
pxe批量安装系统答疑 |  |  |  | 李双星

NF5288M5
浪潮电子信息产业股份有限公司
服务与实施部——邰运宏
2016.09.08

目    录
PART 01  产品介绍
PART 02  功能模块及套餐介绍
PART 03  组装、实施、调试
PART 04  节点介绍
PART 05  售后维护
PART 06  常见问题及遗留bug

NF5288M5产品简介
面向智慧计算和 HPC 应用的“AI 超级计算机”
全球唯一在2U空间内以300GB/s高速NVIDIA® NVLink™互连8颗GPU的服务器
全球密度最高、性能最强的AI服务器

独家2U空间支持8块GPU，全球最高密度、最强性能的人工智能服务器

2×英特尔®至强®可扩展处理器
8×NVLink™ SXM2 GPU 或 PCIe GPU
16×DDR4-2666
3000W 1+1电源
极致的计算密度
支持PCIe卡和SXM2贴片式GPU
支持NVIDIA最新V100GPU
可变拓扑全面满足AI场景
10种可配置GPU拓扑，支持Ai训练、推理、视频转码、HPC等多种应用
新一代NVlink2.0高速互连
300GB/s协处理器互连带宽
较上一代速率提升87%

仅需22U机柜空间，即可构建HPC Top500高性能集群，所需配套基础设施降低50%
注：NVIDIA® NVLink™ 是一种高带宽且节能的互联技术，能够在 CPU-GPU 和 GPU-GPU 之间实现超高速的数据传输。这项技术的数据传输速度是传统 PCIe3.0 速度的 5 到 12 倍
产品设计亮点

高达4个100G可远程直接内存访问（RDMA）高速网络降低HPC和AI集群应用延迟
高速IO

NF5288M5
高密度
高性能
灵活配置
10种GPU拓扑应对不同的应用场景
两种接口类型多种型号GPU自由选择
2U标准空间，2颗新一代英特尔® 至强® 可扩展处理器，支持8个GPU
960 Tensor TFLOPS, 376 TOPS on INT8.
兼容下一代NVIDIA V100，NVIDIA® NVLink™ 2.0
实现8个GPU间缓存一致性
面向智慧计算和 HPC 应用的“AI 超级计算机“
两代性能提升情况（NF5288M4与NF5288M5）

相比上一代产品
2.47x 性能提升
GPU采用NVLink全互联相较PCIE 互联获得1.41x 性能提升
11.86
29.33
3806.7
*   性能测试基于NF5288M5测试机.
**   NVIDIA® Tesla® P100 PCIe 4.7 TF DP - 9.3 TF SP
*** NVIDIA® Tesla® P100 NVLink 5.3 TF DP -10.76 TF SP
左图：2U4GPU的NF5288M4配置PCIE接口P100和2U8GPU的NF5288M5配置NVLink接口P100，分别利用Linpack测试浮点计算能力，NF5288M5浮点计算能力是NF5288M4产品的2.47倍
右图：NF5288M5配置NVLink接口P100时在Tensorflow-AlexNet（AI深度学习神经网络）训练中的效率为NF5288M5配置PCIE接口P100时的1.41倍

3806.7
2695
NF5288M5 总体规格

NF5288M5 with 8×NVLink™ GPU
NF5288M5 with 8×PCIE GPU
　 | NF5288M5
机箱规格 | 2U机架式
CPU | 1颗/2颗英特尔®至强®可扩展处理器
CPU TDP | 最高支持165W处理器
芯片组 | 英特尔®C620系列芯片组 (Lewisburg-4)
内存 | 16个内存插槽，支持 DDR4 2133/2400/2666MHz 内存
GPU 板 | NVLink GPU 板
支持8个SXM2接口GPU，NVLink高速互联
后置4个半高半长PCIex16插槽
PCIE GPU 板
    8个全高全长双宽PCIe3.0x16插槽
    支持GPGPU/XEON Phi等
PCIE插槽 | 内部1个PCIe 3.0x8接口，可连接RAID Mezz卡
前置2个半高半长PCIe 3.0x16插槽
后置4个半高半长PCIe 3.0x16插槽（当配置NVLink GPU时）
本地存储 | 前置8个热插拔2.5英寸SAS/SATA/NVMe SSD硬盘
 | 内置2个M.2 SSD
GPU 支持 | 支持SXM2和PCIE两种接口GPU，最高支持8个300W GPU
系统风扇 | 冗余热插拔系统风扇
电源 | 1+1冗余3000W 80Plus 钛金级电源
NF5288M5系统组成

NF5288M5前视图

NF5288M5后视图

通用均衡互联拓扑（出货默认拓扑）

NVIDIA® NVLink™ 50GB/s
Fixed PCIe Gen3
Flexible PCIe Gen3

NVLink GPU 拓扑结构
PCIE GPU 拓扑结构

通过更主板与GPU板之间slimline线缆插法
更改GPU与CPU互联拓扑
更改拓扑方法
NF5288M5 详细规格
部件名称 | 描述
机箱规格 | 2U机架式
处理器 | 1颗/2颗英特尔®至强®可扩展处理器（白金、金、银、铜），单颗功耗最高支持165W
高速缓存 | 11-38.5MB（随处理器型号不同而不同）
总线速率 | 9.6-10.4GT（随处理器型号不同而不同）
芯片组 | 英特尔®C620系列芯片组 (Lewisburg-4)
内存 | 16个内存插槽，支持 DDR4 2133/2400/2666MHz 内存
IO接口 | 前置2个USB 3.0，1个VGA，1个ID按键&ID灯&BMC复位键，1个系统开关&灯，1个系统复位键
后置2个USB 3.0，1个VGA，1个串口，1个ID按键&灯，1个BMC管理口
磁盘控制器 | 标配 8 通道高性能 SAS RAID 卡，可选断电保护模块，支持 Raid 1/0/10/5/50/6/60 级别
本地存储 | 前置8个热插拔2.5英寸SAS/SATA/NVMe SSD硬盘；内置2个M.2 SSD
板载网络 | 4光口万兆以太网，支持NCSI、网络唤醒、网络冗余、负载均衡等高级特性
电源 | 1+1冗余3000W 80Plus 钛金级电源，支持100V-240V交流和240V直流输入，C20电源插口（需使用C19插头电源线）
散热 | 冗余热插拔系统散热风扇
NF5288M5 详细规格
部件名称 | 描述
GPU | 当使用NVLink GPU 板（YZQT-00836-101）时：
8个SXM2接口，NVLink高速互联
后置4个半高半长PCIex16插槽
支持NVIDIA Tesla V100/P100(SXM2)
当使用PCIE GPU 板（YZQT-00831-101）时：
8个全高全长双宽PCIe3.0x16插槽
支持NVIDIA Tesla V100 (PCIe)/P100 (PCIe)/P40等
PCIE插槽 | 内部1个PCIe 3.0x8接口，可连接RAID Mezz卡 ；前置2个半高半长PCIe 3.0x16插槽 ；后置4个半高半长PCIe 3.0x16插槽（当配置NVLink GPU时）
监控与管理 | 提供管理专用以太网接口，支持远程控制，SMTP，KVM 及通过 SNMP 管理等，支持 Virtual Media，支持管理系统冗余
支持 OS | Windows server 2012 R2/2016，Redhat Linux Enterprise Server 7.2/7.3/7.4，Suse Linux Enterprise Server 12等主流操作系统
机箱尺寸 | 448mm width × 87.5mm height × 899.5mm depth
满配重量 | ≤48kg
工作温度 | 5℃~35℃

NF5288M5机箱尺寸及环境要求

87.5mm
448mm
899.5mm
机柜规格：建议使用1.1米及以上标准机柜
满配重量：≤48kg
机房温度：5℃~35℃
供电要求：满配功耗≤3000W
    C19插头16A电源线
    选用C19 PDU插线板
    100~240V AC，240V DC

系统工作拓扑图
备注：    表示供电
    表示信号

Nvlink GPU配置整机板卡组成

GPU板
后IO板
风扇模组
主板
前IO Riser板

PCIE GPU配置整机板卡组成

GPU板
后IO板
风扇模组
主板
前IO Riser板

GPU拓扑图
 nvidia-smi命令查看到GPU0-GPU7共8颗GPU，两种形态GPU配置的机器，对应关系分别如下所示：
SXM2 GPU 配置如下图所示

   PCIE GPU配置如如下图所示：

注：站在机箱出风口（机箱后面），看到的剖面图

NF5288M5 模块介绍—供电模块
供电模块 --电源
4. 电源通过铜排向主板和GPU板传输电流
5. 铜排和主板/GPU板之间分别使用四个螺丝进行连接
1. 热插拔的2块电源模块，模块前端有卡扣可以顺利插拔。
2. 电源模块上指示灯可用于监控电源模块的状态
3. 单个电源模块3000W
6. AC电源插座需要搭配16A AC电源线使用
供电模块 --铜排
供电模块 –AC电源插座

NF5288M5 模块介绍—供电模块

NF5288M5模块介绍—主板

序号 | 名称及说明
1 | 内存插槽（对应CPU1）
2 | 硬盘背板供电和SAS、SATA信号接口
3 | 前置半高半长PCIE3.0 x16插槽
4 | M.2 Riser卡插槽（支持2个M.2 SSD硬盘）
5 | ID按键&ID灯&BMC复位键（长按7秒BMC复位）
6 | 系统开关&灯
7 | 系统复位键
8 | 2*USB3.0接口
9 | VGA接口
10 | LSI3108 2G/4G缓存 RAID Mezz卡（配合热插拔的SAS/SATA硬盘使用，支持RAID 0/1/1E/10/5/50/6/60，提供RAID Cache，可选超级电容掉电数据保护）
11 | PCH芯片组
12 | 信号线接口（网络、USB和VGA信号连接至后IO板）
13 | 内存插槽（对应CPU0）
14 | 信号线接口（BMC、UID、串口信号连接至后IO板）
15 | 系统风扇管理信号线接口
16 | 系统风扇供电接口
17/26 | PSU0/PSU1电源管理信号线接口
18/25 | PSU0/PSU1电源接口
19/24 | CPU0/CPU1
20/21/22/23 | 2*Slimlinex8接口(每个序号代表2个Slimlinex8接口，主板上层一个，主板下层一个)

NF5288M5模块介绍—Nvlink GPU板

序号 | 名称及说明
1/2/3/4 | Slimline x8接口
5 | PCIE switch (PEX9797)
6/7/8/11/12/15/16/17 | NVLink GPU插槽
9/10/13/14 | 半高半长PCIe x16插槽
NVlink GPU板拓扑图

NVlink GPU板实物图

NF5288M5模块介绍—GPU板
序号 | 名称及说明
18/29/30/39 | Slimline x8接口
19/28/31/38 | GPU供电线接口（每个接口为2个GPU供电）
20/21/26/27/32/33/36/37 | PCIEx16连接器（连接GPU Riser卡）
22/23/24/25 | Slimline x8接口
34/35 | PCIE switch (PEX9797)

PCIE GPU板拓扑图

PCIE GPU板实物图

NF5288M5模块介绍—散热模块

序号 | 名称及说明
1 | 5组双转子冗余系统风扇
2 | 系统风扇供电接口
3 | 系统风扇管理信号线接口

NF5288M5功能模块—后IO板

序号 | 名称及说明
1 | 串口
2 | ID按键&灯
3 | VGA接口
4 | 管理口
5 | 2*USB接口
6 | 板载4光口10G以太网（从左到右eth0~eth3，均支持NC-SI功能）
7 | 信号线接口（网络、USB和VGA信号连接至主板）
8 | 信号线接口（BMC、UID、串口信号连接至主板）

后IO板拓扑图
后IO板实物图

NF5288M5功能模块—前IO Riser板 & M.2 Riser板

序号 | 名称及说明
1 | PCIEx16插槽（PCIE信号由2个slimlinex8转接）
2 | 2个slimlinex8接口（连接主板或PCIE GPU板）
3 | PCIEx16插槽（PCIE信号由主板转接）

M.2 Riser 板

可接2个2280规格的M.2盘

NF5288M5功能模块—SATA NVME硬盘背板 & SAS NVME 硬盘背板

1. 两种硬盘背板外观结构完全相同，只能通过PN区分
2. SATA NVME硬盘背板支持SATA盘、NVME盘
3. SAS NVME硬盘背板支持SAS盘、SATA盘、NVME盘，主板上需要配置RAID卡
4. 每台可配置2个硬盘背板，每个背板支持4个硬盘
5. 支持NVME盘时需要连接两个Slimline线缆
正面
反面
YZBB-00835-101 | 背板_Inspur_Vancouver_HDDBP_SAS_NVME
YZBB-00906-101 | 背板_Inspur_Vancouver_HDDBP_SATA_NVMe

NF5288M5功能模块—PCIE Riser A板 & PCIE Riser B板
1. PCIE GPU板需要连接2个PCIE Riser A和2个PCIE Riser B板
2. 每个PCIE Riser板可连接两个GPU
3. 配置300W GPU情况下，两个GPU还需连接一个1转2的供电线缆
PCIE Riser A

PCIE Riser B
YZRI-00832-101 | Riser卡_Inspur_Vancouver_GPU PCIE Riser A
YZRI-00833-101 | Riser卡_Inspur_Vancouver_GPU PCIE Riser B

铜排&电源安装

组装AC线及信号线
组装AC线及信号线
固定接地线
安装垫片及尼龙螺母
套筒锁尼龙螺母
AC线缆连接AC座子
安装电源
注：红蓝线按照如下图所示连接在机箱后窗的AC座子(左图)上，左侧红线在上，右侧蓝线在上(右图)

1
2
3
4
5
6
7
8
9
a

CPU安装

散热器孔位1与主板白色Mark点方向一致进行安装
 注：M5平台组装方式相同
内存安装

注： A、优先白色插槽，CPU1的内存要和CPU0对称安装。
    B、单颗CPU时，内存依照丝印顺序：CPU0_C0D0、CPU0_C1D0、CPU0_C2D0、 CPU0_C3D0、CPU0_C4D0、CPU0_C5D0；CPU0_C0D1、CPU0_C3D1。
    C、双颗CPU时，CPU0 位置内存依照丝印顺序：CPU0_C0D0、CPU0_C1D0、CPU0_C2D0 ……；CPU1 位置内存安装要和CPU0 内存对称安装: CPU1_C0D0、CPU1_C1D0、CPU1_C2D0 ……
主板及GPU板安装

主板装入图(蓝色为主板定位柱、红色为主板锁螺丝位置、黄色为主板与铜排锁附位置)

(红框内)mylar上标识PCIE的地方为PCIE GPU板安装锁附螺丝的铜柱，共5个
红色为GPU板锁附螺丝，共12个，黄色为GPU板与铜
  排锁附螺丝，共4个。
(红框内)mylar上标识SXMII的地方为SXM2 GPU板安装锁附螺丝的铜柱，共6个。
红框为GPU板锁附螺丝，共15个，黄框为GPU板与铜排锁附螺丝，共4个。
主板安装
PCIE GPU板安装
SXM2 GPU板安装

硬盘背板

背板安装
正面并锁3颗螺丝
背面红色区域为与主板对应的插槽

锁螺丝固定

硬盘背板及系统风扇安装

系统风扇安装
组装风扇板并锁螺丝
组装5个风扇单体
风扇模组整体安装到机箱内，在主板和GPU板间，并确认两端卡扣完全卡入机箱两端的固定位置
单个风扇正反面

外插卡安装
Raid卡安装

安装Raid卡的位置(绿色和红色为固定螺丝的螺柱、蓝色为定位柱、黄色为raid卡插槽)
raid卡组装好示意图

Raid卡正反面示意图

后IO板安装
VGA接口、串口、USB接口与机箱的对应位置对齐，平稳推入进去， 然后将红色位置螺丝依次锁附，共7颗螺丝
外插卡安装
M.2硬盘安装

转接板按此方式组装好并按照红色区域进行螺丝锁附
M.2硬盘转接板

M.2硬盘
若搭配一个M.2硬盘时，组装在图五黄色槽位，最多可搭配2个M.2硬盘，组装时注意M.2硬盘需垂直插入插槽，M.2硬盘另一侧需卡入支架上的定位柱(图五红色区域)，最后对定位柱锁螺丝进行固定。
外插卡安装
PCIE GPU卡安装

PCIE GPU支架，将固定螺丝拆下（红色区域）
拆散后的绑定GPU供电线缆和固定PCIE GPU riserA&riserB的支架。
1、需搭配外接线缆的GPU卡组装方式如下：

 500mm的一拖二线缆（V080025000000000）按照如上方式在支架两侧走线并绑定，先绑定红框位置，再依次绑定其他位置。
    注意：线缆接口为一的一端在支架前端(有蓝色标签，如下左图)，红框位置（如下右图）是以线缆标签放在此扎带孔位置为基准进行绑定。

PCIE GPU卡有大卡和小卡，小卡描述中有P4或M4的字样，
例如：显卡_NV_8G_P4_256b_P_CAC描述中有P4，此类GPU卡不需要外接线缆
将PCIE GPU riserA：YZRI-00833-101垂直对准螺柱组装，再一一锁附螺丝(红色区域)

将PCIE GPU riserB:YZRI-00832-101垂直对准螺柱组装（左图背面），再一一锁附螺丝（红色区域）
外插卡安装

将拆散的PCIE GPU支架再组装起来，如下图，注意线缆走线均在前后支架向里凹的一侧，红色线表示支架向里凹

拆下GPU卡支架，图一为带支架的GPU，侧面有3颗螺丝需拆，注意背面也有一颗需拆下，图二所示，待支架取下后再锁上，图三为拆下支架后的GPU示意图。
图一
图三
图二

将拆卸支架后的GPU组装到组装线缆和riserA&B后的GPU支架上。GPU支架两侧各组装2个GPU卡,如下图一，GPU支架组装GPU卡后，前后各有12颗螺丝进行固定GPU卡，如图二GPU支架后侧红色区域。
图一
图二

组装好的GPU卡支架前侧搭配一根100mm的一拖二GPU供电线缆：V080027000000000，2个端口的一侧分别接两个GPU卡，如下左图，GPU卡支架后侧2个供电线缆端口分别接另外两个GPU卡，如右图。
机器需组装8个GPU卡，另外一组GPU卡支架仅有前侧搭配的一拖二线缆不同，需组装一根250mm的一拖二GPU供电线缆：V080026000000000，而非100mm的。
外插卡安装

固定在图二4个红色区域
GPU卡定位柱
PCIE GPU板组装riserA&B的接口有定位柱
GPU支架蓝色位置对应GPU板蓝色定位柱，红色位置对应机箱内组装的定位柱

两手提取GPU支架(搭配一根100mm的一拖二GPU供电线缆：V080027000000000)前后侧，对准上面所示的四个定位位置垂直组装，组装后将绑定的长线缆接在外面靠近机箱侧壁的接口，一拖二的线缆接在另外一个接口，如下图一所示。
两手提取GPU支架(搭配一根250mm的一拖二GPU供电线缆：V080026000000000)前后侧，对准上面所示的另外一侧四个定位位置垂直组装，组装后将绑定的长线缆接在外面靠近机箱侧壁的接口，一拖二的线缆接在另外一个接口，如下图二所示。
GPU卡定位方式
外插卡安装
图一
图二

GPU卡固定支架组装完毕后，需在下图机箱侧壁红色区域对准GPU卡支架上的螺丝孔使用螺丝进行锁附动作。
2、 不需搭配外接线缆的GPU卡组装方式如下：
外插卡安装
只是不绑定线缆，GPU卡小，其他均相同，相关示意图如下：

组装riserA&B
组装GPU卡，GPU卡小
GPU卡组装到机箱
注意此处需放入导风罩

外插卡安装
SXM2 GPU卡安装

将组装好的GPU板上GPU卡卡槽(一个GPU对应2个保护盖)保护盖一一拆除，拆除后如下图二。同时每个GPU卡位置两端有两个GPU卡定位孔，如图一黄色区域所示，此定位孔与两侧GPU卡螺丝孔距离不同，组装GPU卡时有防呆作用。

 GPU卡示意图如下图三，需要将GPU卡底部的两个保护盖拆下，同时GPU卡底部两端有两个定位柱对应上面图一黄色定位孔，将GPU卡定位柱与GPU板上的定位孔对准垂直组装，如下面图四所示，同时每个GPU卡需锁附8颗螺丝进行固定，图四红色区域，需安装对角顺序进行锁附。
图一
图二
图三
图四
外插卡安装

将GPU卡散热器背面散热膏白色保护罩(下面图五所示)取下，然后按照散热器正面箭头描述及指向(图六所示)垂直放置在GPU卡上，此时散热器上I/II/III/IV四个螺丝(图七所示)需与GPU卡上螺丝孔对齐(图四蓝色区域)，然后按顺序依次对其进行锁附。GPU组装完成后示意图如图八所示。
图五
图六
图七
图八

GPU组装完毕后需组装导风罩，导风罩上有箭头指向，此指向需与散热器上箭头方向一致，下图为导风罩放置方式：
 注意：按螺丝I/II/III/IV的顺序，依次对其定位(不要锁到底)，然后再依次锁紧螺丝，组装完成。

接线和布线
IO板与主板间线缆有长短两根， V016087000000000, V016088000000000
后IO板靠近机箱侧壁的端口与主板靠近前窗的端口组装长线缆，有线缆编码的一端组装在主板上。
后IO板另一端口与主板靠近电源的端口组装短线缆，有线缆编码的一端组装在后IO板上。
线缆在机箱侧壁线缆槽内走线，具体示意图如下：
后IO接线

电源信号线接线
 连接铜排的电源信号线V01608D000000000接在靠近铜排的主板端接口

风扇模组线缆连接
需要连接2根线缆，V01608B000000000  信号线_A_2T_RWHHW-9497_150mm 和 V080024000000000  电源线_A_2T_RWHHW-9496_80mm_W_US
电源线分别接如下风扇板和主板的红色区域端口，信号线接黄色区域端口，完毕后如图三所示。
图一
图二
图三
接线和布线

NVME硬盘线缆连接
搭配NVME线缆时，最少2根，最多4根。
若搭配线缆为V016089000000000：SlimSAS_A_2T_RSL74-0845_360mm时，线缆一端接NVME背板后面端口，一端接主板CPU0 SlimSAS端口（主板上面4个端口），如左图所示，线缆需要在导风罩走线，如右图

PCIE配置特殊情况下会搭配V016086000000000：SlimSAS_A_2T_RSL74-0846_560mm线缆，此时线缆一端接NVME背板端口，另一端接PCIE GPU板上面的对应端口，图上图红色区域所示，根据实际情况选择端口。
上架

Vancouver常见故障
GPU板无法上电
GPU卡识别不全/全部不识别
SXM2 GPU卡运行压力报错
PCIE GPU卡运行压力报错
SXM2 GPU板卡外插IB卡、HCA卡速率过低
Rear IO Board上电异常、各接口功能异常
板载网络接口无法使用1G速率
PSU指示灯绿色闪烁
BMC下无法获取PSU信息
系统上电异常
风扇检测不到/连续风扇检测不到

Vancouver常见故障
GPU板无法上电
查看GPU板电源指示灯是否常亮
若正常，查看主板开机键是否常亮
若正常，查看主板与GPU板Slimline Cable是否牢固
若异常，重新插拔Slimline Cable
查看GPU板与Busbar接触是否异常
若异常，重新安装GPU板
否则，更换GPU板并上电验证
GPU板无法上电

GPU板电源指示灯是否常亮

Y
GPU板正常上电
主板开机键指示灯是否常亮

主板与GPU板线缆是否牢固

重新安装线缆使之牢固

GPU板安装是否牢固

更换GPU板卡

重新开机，确认GPU板能否正常上电

N
N

Y
Y
Y
N

重新安装GPU板卡
N

Vancouver常见故障
GPU卡识别不全/全部不识别
查看GPU板电源指示灯是否绿色常亮
若不亮，GPU板卡上电异常
针对SXM2 GPU板卡，查看GPU指示灯是否红色常亮
若常亮，GPU安装不牢固或GPU本体有问题
在操作系统下使用lspci |grep 9797命令确认能否识别其所有端口
若异常，主板与GPU板之间Slimline Cable安装不牢固，重新插拔线缆使之牢固
更换GPU板卡

确认GPU板电源指示灯正常
N
重新上电开机，确认能够识别全部GPU卡
GPU卡识别不全/全部不识别

更换GPU板卡

重新固定GPU板/插拔主板、GPU板的Slimline Cable
确认SXM2 GPU状态指示灯是否正常

重新安装GPU卡/
更换GPU卡

Y
N

确认系统下能否识别PCIE Switch所有端口

插拔主板、GPU板的Slimline Cable/
更换GPU板卡
Y
N

Y

Vancouver常见故障
SXM2 GPU卡运行压力报错
查看GPU卡指示灯是否红色常亮
若红色常亮，重新安装GPU并锁紧
BMC Web下查看GPU温度是否超过阈值
若异常，拆下GPU重新涂抹散热膏再安装
系统下使用nvidia-smi确认GPU是否有error
若某GPU有error，更换GPU
更换GPU板卡

SXM2 GPU运行压力报错
查看GPU指示灯是否红色常亮

重新安装GPU并锁紧
确认GPU卡温度是否超过阈值

系统下使用nvidia-smi确认GPU是否有error
更换GPU

更换GPU板卡

重新进行压力测试

Y
N
N

N

给GPU涂抹散热膏
Y

Y

Vancouver常见故障
PCIE GPU卡运行压力报错
BMC Web下查看GPU温度是否超过阈值
若异常，确认风扇是否异常/散热通道无阻塞
确认GPU与cage是否锁紧
若异常，重新安装GPU、cage之间的螺丝并锁紧
系统下使用nvidia-smi确认GPU是否有error
若某GPU有error，更换GPU
更换GPU板卡

PCIE GPU运行压力报错
确认GPU温度是否超过阈值

确认风扇正常/
机箱无异物阻塞散热通道
确认GPU与cage是否锁紧

系统下使用nvidia-smi确认GPU是否有error
更换GPU

更换GPU板卡

重新进行压力测试

Y
N
Y

N

重新安装GPU与cage之间的螺丝、锁紧
N

Y

Vancouver常见故障
SXM2 GPU板外插IB卡、HCA卡速率过低
确认卡是否安装牢固
若异常，重新安装并固定
系统下查看IB卡、HCA卡带宽是否正常
若异常，取出卡擦拭干净后重新安装
系统下，查看上行带宽是正常（主板与GPU板互联是否正常）
若异常，重新安装并固定Slimline Cable
更换GPU板卡

外插IB卡、HCA卡速率过低
确认卡是否安装牢固

重新安装、固定
系统下查看IB卡、HCA卡带宽是否正常

清理卡金手指、重新安装

确认上行带宽是否正常（GPU板与主板通过Slimline Cable互联）

重新插拔Slimline Cable

更换GPU板卡

重新进行网络性能测试

N
Y
N
N
Y
N

Vancouver常见故障
Rear IO Board上电异常、各接口功能异常
查看Rear IO Board电源指示灯是否绿色常亮
查看主板与Rear IO Board板卡线缆是否安装
若异常，请正确安装
查看主板与Rear IO Board板卡的两根Slimline Cable连接对应关系是否正确
若异常，调整线缆顺序为正确连接状态
更换Rear IO Board

请正确安装
N

主板与Rear IO Board板卡Slimline Cable连接对应关系是否安装

请调整线缆顺序至正确状态

Y
Y
N

Vancouver常见故障
板载网络接口无法使用1G速率
确认是否使用1G/10G复用的光模块，若不是、请更换光模块
目前板载网口只支持10G光模块、1G/10G复用光模块，不支持其他任何光模块
确认是否已经在系统下执行ethtool –s enp** advertise 0x20，将速率降为1G
确认光模块功能正常
若异常，更换正常的1G/10G光模块
更换Rear IO Board

板载网络接口无法使用光模块的1G速率
确认是否使用的是1G/10G复用的光模块

更换为1G/10G复用光模块
是否已在系统下执行降速命令

在系统下执行速率调节命令

确认光模块功能正常

更换功能正常的光模块

更换Rear IO Board

重新进行光模块1G速率功能测试

N
Y
Y
N
Y
N
1G/10G复用光模块，系统下输入命令降为1G，目前验证为系统不关机、会一直保持1G速率；
       如果要恢复10G速率，需输入命令ethtool –s enp** advertise 0x1000；

Vancouver常见故障
PSU指示灯绿色闪烁
查看连接主板与Busbar的信号控制线是否牢固
若异常，重新插拔线缆使牢固
交叉验证：更换机箱内两信号控制线，确认线缆本体是否正常
若异常，更换信号控制线
交叉验证：更换机箱内两颗PSU位置，确认PSU本体是否正常
若异常，更换PSU
确认Busbar本体是否正常

PSU指示灯绿色闪烁
确认主板与PSU互联的信号线是否牢固

重新插拔信号线使之牢固
确认主板与PSU互联的信号线是否正常

确认PSU本体是否正常
更换PSU

更换Busbar

重新上电，检查PSU指示灯是否正常

N
Y
Y

N

更换信号控制线缆
N

N

Vancouver常见故障
BMC下无法获取PSU信息
查看PSU指示灯是否绿色常亮
若异常，依据上述故障进行排查
确认主板与Busbar之间的信号控制线是否牢固
若异常，将控制线重新插拔使之牢固
确认主板与busbar之间的信号控制线是否正常
若异常，更换信号控制线缆；
更换Busbar
BMC下无法获取PSU信息
确认PSU指示灯是否绿色常亮

确认主板与Busbar信号线正常/PSU本体正常
确认主板与PSU互联的信号线是否牢固

确认主板与PSU互联的信号线是否正常
更换信号线线缆

更换Busbar

重新上电，检查PSU指示灯是否正常

N
Y
Y

N

重新插拔信号线使之牢固
N

N

Vancouver常见故障
系统上电异常
将风扇模块取下，重新上电确认能否正常开机
将所有风扇取下，重新开机确认能够正常上电
若异常，确认风扇板存在问题，更换风扇板
若正常上电，逐个安装风扇，已确认存在问题的风扇，并更换风扇
系统上电异常
将风扇模组取下，重新上电是否正常

只安装风扇控制板，重新上电是否正常

逐个检查并确认故障风扇，并更换故障风扇

重新上电，检查PSU指示灯是否正常
Y
Y

更换风扇控制板
N

Vancouver常见故障
风扇检测不到/连续风扇检测不到
在BMC下查看风扇状态
找到风扇故障位置，更换风扇
若无效，交叉风扇测试
若故障位置不变，更换风扇控制板
若风扇位置随风扇变化，风扇故障
若连续风扇检测不到，查看风扇控制板是否供电
若供电，更换风扇控制板
若不供电，更换风扇控制板的线缆
风扇检测不到

BMC下查看风扇状态
定位风扇位置

更换风扇OK

风扇故障
Y
N

交叉风扇测试
故障位置不变

Y

风扇故障
风扇控制板加电

N
N
Y
风扇控制板故障
更换风扇控制板供电线
在BMC下查看节点状态

NF5288M5 常见问题列表
更新BIOS方法
（1）Shell下更新BIOS
将包含BIOS升级程序的U盘插到机器的USB接口，加电启动机器，根据提示按<F11>键进入BIOS Boot Manager 。
选择U盘对应的 EFI USB Device 启动项 按Enter.
系统启动后进入到EFI模式下，在Shell>提示符后键入fs0：，按回车键（此处fs0为U盘对应的镜像，根据系统外连接USB存储设备的多少会有所变化）
H20FFT-Sx64.efi按如下命令更新BIOS，该命令不更新ME。
H20FFT-Sx64.efi XXXX.bin -ALL -BIOS –NV
刷新完成后系统自动重启

（2）BMC页面更新BIOS
更新BIOS前请将机器关机
以admin权限登录到BMC WEB页面，点击系统维护->BIOS更新。
更新成功后，将机器断电一次。
2.BIOS使用注意事项
（1）根据POST界面提示按ESC键进入BIOS Front Page界面，有五个选项：Continue、Boot Manager、Device Management、Administer Secure Boot、Setup Utility。
选择Continue则系统使用默认启动选项启动；选择Boot Manager进入启动项选择界面，如果需要选择其它启动项可在此界面进行选择；选择Device Management进入NVMe的设置界面；Utility进入BIOS的设置。
（2）BMC信息查看及IP设置变更
进入BIOS的setup界面，“Advanced”→“H20 IPMI Configuration” →“BMC Configuration”。默认显示的为专属管理网口（Dedicated使用键盘选中Dedicated敲回车键可选择NCSI复用管理网口（Shared），IP地址默认为192.168.0.100。
（3）UEFI & legacy模式系统安装
通过legacy模式安装系统，在系统下可进行操作的单磁盘分区容量空间限制于2TB，且如果安装Windows系统时要求磁盘分区干净或者为MBR格式。而UEFI模式安装系统无此限制。BIOS默认优先选择legacy安装模式，如果要使用UEFI安装模式请进入Boot Manager先择对应UEFI安装设备（如EFI光驱，EFI U盘等）。
（4）连接串口输出BIOS Setup界面时可能会出现部分乱码。
NF5288M5 常见问题列表

NF5288M5 遗留问题