正文文本
服务器通识知识培训
2024/11/8
2
核心目标：
1、开拓视野，在处理服务器故障时需具备系
统性思维，能够综合考虑多方面因素，避免
因片面操作对其他设备产生不良影响。
2、完善服务器故障处理思路：当服务器出现
故障时，不仅要考虑硬件层面，也要考虑客
户应用及业务环境的影响。
3
整体概述 一
目录 服务器与存储设备的关联 二
服务器与网络设备的关联 三
服务器与AI&HPC 四
服务器上层业务与故障诊断思路 五
4
一、整体概述
标准的IT架构介绍
服务器所承担的角色
服务器操作对整体业务系统的影响
5
1.标准的IT架构介绍
IT架构的定义
IT架构是指企业信息系统的规划、设计、实施、运行和维护的框架和方法论，包括硬件、软件、网络等
多个方面。
IT架构的重要性
良好的IT架构能够提高企业的运营效率、降低成本、增强竞争力。
IT架构与制造业的关系
IT架构是制造业转型升级的关键因素之一，能够支持企业实现智能化、柔性化、定制化生产。
6
1.标准的IT架构介绍
7
1.标准的IT架构介绍
8
1.标准的IT架构介绍
建设一个先进、标准、规范的信息基础架构，信息应用系统提供一个统一、安全、可管理的标准化信息基础设施；优化信息基础架
构的性能和降低资源管理成本；从而在企业内部形成良好的IT环境，让各种业务解决方案、应用系统和数据都能不受约束地在其上
实现有效配合。
统一规划
数据中心 基础架构 安全与管理 网络与链路 用户终端
•统一规划数据中心和机房的 •规划和整合服务器的部署技 •制定云计算框 •建设匹配应用系统及数据中 •规划和整合客户端硬件，
建设标准；为信息系统运行 术选型，实现与应用系统部 架下面的安全管 心分布的网络架构，实现主干 软件统一管理。为实现未
提供良好的运行物理环境。 署相对应的，可共享、易扩展 理原则以及下一 网的冗余性，提升网络流量负 来桌面升级和虚拟化。
的服务器后台资源。 步工作内容 载均衡能力，统一对外公网出
口以增强安全性。
9
1.标准的IT架构介绍
10
2.服务器所承担的角色
数据存储中心：服务器配备大容量存储设备，负责存储海量业务数据，像企业文档、用户信息等，确
保数据的安全存放与随时调用。
运算处理核心：其强大的CPU等组件承担着繁重的运算任务，处理复杂业务逻辑、数据分析等，快速
给出运算结果以推动业务流程。
网络连接枢纽：作为网络关键节点，连接内外网络，实现数据的顺畅交互传输，让企业内部系统与外
部互联网有效沟通。
服务提供平台：承载诸如Web服务、邮件服务等各类应用服务，为用户提供多样服务功能，满足用户
通过网络访问和使用的需求。
11
3.服务器操作对整体业务系统的影响
正面影响
性能提升：升级硬件组件如CPU、内存等，可加快数据处理速度，让业务系统响应更迅速，比如电
商大促时能更好应对高并发访问。
存储扩展：增加硬盘容量或更换为更高性能存储设备，能满足业务数据不断增长的存储需求，确保
数据正常存储与读取。
负面影响
系统中断：进行硬件维护、更换等操作时，可能需停机，会导致业务系统暂时无法使用，影响用户
正常访问与业务开展。
兼容性问题：新安装或更换的硬件若与现有软件、其他硬件不兼容，可能出现系统故障、软件无法
正常运行等情况。
数据丢失风险：操作不当，比如在硬盘插拔过程中失误，可能造成数据丢失，严重影响业务运营。
12
整体概述 一
目录 服务器与存储设备的关联 二
服务器与网络设备的关联 三
服务器与AI&HPC 四
服务器上层业务与故障诊断思路 五
13
二、服务器与存储设备的关联
浪潮存储产品介绍
服务器与存储设备的连接方式介绍
存储设备的配置与管理对服务器访问的影响
服务器故障处理对存储的影响
14
产品介绍 连接方式 存储影响 服务器影响 1. 浪潮存储产品介绍
集中式存储 分布式存储 固态硬盘 备份归档存储 光纤交换机 软件
全闪存储 混闪存储 混闪存储 混闪存储
AS13000G7
HF18000G5-I AS18000G5-I -HS60
FS9710 FS9720
AS13000G6 NS8500/ DP2000G6-M AS13000G7
-M12/24/25/36/60 8600G2
HF8000G5 AS6800G5 -HS36 InView
FS9620
AS56/5800G5 AS13000G7 HF6000G5 -HS25
AS53/5500G5
FS8900 AS13000G6
AS13000G7 AS22/2600G2 -H24/36/60 HF5000G5 -HS12 AS2150G2 归档/迁移
NS6500/ DA13000G6-M FS8730
全 6600G2
AS13000G7-HN24
HF18000G6 闪
存
储 FS8720
AS13000G6-MN24 备份
HF6000G6
FS8600
AS13000G6-HN24
HF5000G6 InCVS TS6000G1
视频存储
FS8500 AS5500G5-C AS13000G6-HN12 TL4300
15
2.1 存储是什么: 产品介绍 连接方式 存储影响 服务器影响
从硬盘到磁盘阵列
16
产品介绍 连接方式 存储影响 服务器影响 2.2 存储架构-DAS
直联式存储——DAS DAS遇到的挑战
硬件组成
可连接到主机的端口数目有限
可扩展性 可寻址的磁盘数有限 服务器SCSI/SAS卡 SCSI/SAS线
距离有限
存储
维护不方便 维护时系统需要下电
应用环境
•服务器在地理上比较分散
导致资源孤岛：如存储空间紧张的DAS不 资源共享性差 能共享存储资源过剩的DAS的剩余空间
•继续保留已有的传输速率而不提
高的网络系统
17
产品介绍 连接方式 存储影响 服务器影响 2.3 存储架构-NAS
网络附加存储——NAS
（将存储设备连接到现有的网络上，提供数据和文件服务）
硬件组成
服务器 网卡 网线
存储
应用环境
• 基于以太网的数据共享
•文件级的数据传输
18
产品介绍 连接方式 存储影响 服务器影响 2.4 存储架构-SAN
存储架构——SAN
硬件组成
服务器 FC卡 FC线
FC交换机
存储
应用环境
•块级文件传输
•存储空间的海量扩展
•复杂网络环境
19
产品介绍 连接方式 存储影响 服务器影响 2.5 存储网络三种形态比较
DAS NAS SAN
传输类型 SCSI、SAS、IP、FC IP IP、FC、Infiniband
数据类型 数据块 文件 数据块
典型应用 任何 文件服务器 数据库、虚拟化应用
不占用应用服务器资源
高扩展性
磁盘与服务器分离，便于统一 广泛支持操作系统 优点 高可用性 管理，简单易用、读写效率高 扩展较容易
数据集中，易管理
即插即用，安装简单方便
相比NAS成本较高
容量有限、难于共享，从而造 不适合存储量大的块级应用 缺点 安装和升级比NAS复杂 成―信息孤岛 数据备份及恢复占用网络带宽
20
产品介绍 连接方式 存储影响 服务器影响 3.1 Raid及逻辑卷
RAID相关术语——Raid、逻辑卷的形成过程
LUN1 LUN2 LUN3
逻辑卷（LV ）
Raid相关技术：
分割
物理卷（RAID组）
物理磁盘
Disk1 Disk2 Disk3
21
产品介绍 连接方式 存储影响 服务器影响 3.2 主机多路径用途
高可用性(High Availability)
应用服务器A 应用服务器B
主机与存储设备之间任意一条路径出现故障，IO请求可
以通过其它路径发送。避免因单点故障导致的主机到存储设
备之间的数据访问中断
高吞吐率(High Performance)
主机到存储设备的IO请求可以同时通过多条路径并发发
送，提高主机数据访问的IO吞吐率
浪潮存储设备
22
产品介绍 连接方式 存储影响 服务器影响 3.3 主机多路径软件
我们为什么需要多路径切换软件？
如果两个应用同时把张三的数据存在id为000 将只有一份数据被存储!!!
的磁盘上，李四的数据存在id 为100的磁盘上
Application Application 000 abc 0 000 0
Host / Server 0 Host / Server 0 abc
xyz 100 100
23
产品介绍 连接方式 存储影响 服务器影响 3.3 主机多路径软件
没有多路径切换软件情况下存在的问题
混淆– 操作系统看到两份真实数量的磁盘
没有冗余– 没有多路径切换软件，操作系统将不知道何时它该使用多余的路径
危险– 多路径导致操作系统认为两份磁盘是独立的，这将导致数据毁坏或IO错误
24
产品介绍 连接方式 存储影响 服务器影响 3.3 主机多路径软件
我们需要解决多路径带来的问题
多路径切换软件类型
底层驱动: RDAC （隐藏多余路径）
底层驱动：device-mapper（LINUX系统自带）,powerpath(EMC)，HDLM (HDS）
可配置的卷管理软件: : Veritas Volume Manager with DMP and HP-UX
LVM(PVlinks)
多路径切换软件的作用是告诉操作系统怎样使用多余的路径，怎样做失效恢复
25
产品介绍 连接方式 存储影响 服务器影响 3.3 主机多路径软件
底层驱动: 隐藏多余路径(LINUX device-mapper EMC powerpath)
多路径切换软件创建一个新的设备，新的设备X再去对应多条通路
LINUX device-mapper，EMC powerpath等操作多路径软件，可以看到所有的8个盘
，但是会把所有的路径进行合并生成一个第三方的磁盘名例如
/dev/mapper/mpath0(LINUX),/dev/emcpowera
A 0 1 2 3
Application 0 [2]
Sda
Host / Server Storage System MPIO
X
1 B
[3] 0 1 2 3
26
产品介绍 连接方式 存储影响 服务器影响 4. 服务器故障处理对存储
的影响
故障处理及性能测试：数据及业务安全是第一位
多路径设备测试注意事项
错误的使用磁盘路径创建文件系统、格式化、性能压测等导致数据丢失，性能下降
多主机共享存储注意事项
主机识别存储的场景，维护注意事项
性能测试注意事项
PE启动识别存储卷，测试脚本是否覆盖所有主机识别到的卷
在用卷写入数据导致数据丢失
压力测试是否影响在用存储的性能上限，导致用户业务卡顿
27
产品介绍 连接方式 存储影响 服务器影响
服务器&存储连接操作演示
28
整体概述 一
目录 服务器与存储设备的关联 二
服务器与网络设备的关联 三
服务器与AI&HPC 四
服务器上层业务与故障诊断思路 五
29
三、服务器与网络设备的关联
服务器在网络中的位置与作用
服务器的网络配置
网络故障对服务器影响及排查方法
案例分析
30
位置作用 网络配置 故障排查 案例分析 1.1 网络诞生的原因?
你是一台电脑， 直到有一天，你希望与 有一天，一个新伙伴C加
你的名字叫A 另一台电脑B 建立通信， 入了，但聪明的你们很
很久很久之前， 于是你们各开了一个网 快发现，可以每个人开
你不与任何其他 口，用一根网线连接了 两个网口，用一共三根
电脑相连接，孤 起来，并且可以通信。 网线，彼此相连。
苦伶仃。
31
位置作用 网络配置 故障排查 案例分析 1.1 网路诞生的原因?
虽然集线器使整个布局干净不少，
于是你们发明了一个中间设备，随着越来越多的人加 但原来我只要发给电脑B 的消息，
你们将网线都插到这个设备上，入，你发现身上开的 现在却要发给连接到集线器中的所
由这个设备做转发，就可以彼此网口实在太多了，而 有电脑，这样既不安全，又不节省
之间通信，给它取名叫集线器，且网线密密麻麻，混 网络资源。如果把这个集线器弄得
它仅仅是无脑将电信号转发到所乱不堪。 更智能一些，只发给目标MAC 地
有出口（广播），不做任何处理， 址指向的那台电脑好了，于是交换
它是没有智商的，因此把它定性 机诞生了，也正因为这一点点智能，
在了物理层。 把它放在了另一个层级，数据链路
层。
32
位置作用 网络配置 故障排查 案例分析 1.1网络诞生的原因?
Server Internet
移动 SOHO
宽带上网
上述的过程就形成了一个最基本的网络，简单的来说，网络就是用物理链路将各个孤立的工作站或主
机相连在一起，组成数据链路，形成一个信息传输、接收、共享的虚拟平台，通过它把各个点、面、
体的信息联系到一起，从而达到资源共享和通信的目的。
33
位置作用 网络配置 故障排查 案例分析 1.2 服务器在网络中的位
置与作用?
服务器作为硬件来说，通常是指那些具有较高计
算能力，能够提供给多个用户使用的计算机。
可以说网络就是个人连接服务器的桥梁，它把服
务器与PC机直接绑定在一起；
服务器又可以理解为网络上的节点，储存和处理
网络上80%的数据信息，在互联网上成千上万的
服务器集群支持着你每天浏览网页，观看视频，
购物、游戏等，因此服务器是网络的灵魂。
34
位置作用 网络配置 故障排查 案例分析 2.1 IP地址的由来
如何区分唯一一 车牌号
辆机动车？
如何区分网内的 IP地址
每一台服务器？
每一台服务器都需要配置一个或者多个IP地址用于通讯，目前包括IPv4、IPv6地址
35
位置作用 网络配置 故障排查 案例分析 2.2 服务器的IP地址配置
以Centos或Redhat为例，如何配置一个IPv4地址?
临时IP地址：
ifconfig eth0 10.7.11.1 netmask 255.255.255.128 up
子网掩码：
PREFIX是比较新的Linux版本配置子网掩码的参数，PREFIX与NETMASK的作用一样，在配置时只
需要设置一个参数就可以。配置时默认会有一个参数PREFIX=x,这里的x指的是子网掩码的从左往右
连续1的位数长度。取值范围是0~32,因为子网掩码总共是32位二进制数字。
netmask PREFIX
255.255.255.248 29
255.255.255.240 28
255.255.255.224 27
... ...
36
位置作用 网络配置 故障排查 案例分析 2.2 服务器的IP地址配置
永久IP地址：
cd /etc/sysconfig/network-scripts/
vi ifcfg-eth0
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
DNS2=8.8.4.4
保存文件并退出编辑器后，重启网络服务
systemctl restart network
37
位置作用 网络配置 故障排查 案例分析 2.3 服务器网口绑定
为什么要网口绑定?
负载均衡：
将网络流量均匀分配到多个网卡上，提高网络带宽的利用率和处理能力，适用于高负载或高并发
的场景，如备份服务器、FTP服务器等。
冗余备份：
当某个网卡或链路出现故障时，其他正常的网卡可以接管工作，保证网络的连通性和可靠性，适
用于需要高可靠性的应用场景。
提升网络性能：
通过并行处理网络流量，提高网络吞吐量和响应速度，特别是在高负载情况下，绑定网卡可以充
分利用多个网卡的处理能力，提升系统的整体性能。
高可用性：
通过绑定多个网卡，实现网络的冗余和故障切换，减少服务中断和数据丢失的可能性，适用于需
要高可用性的关键业务系统。
38
位置作用 网络配置 故障排查 案例分析 2.3 服务器网口绑定
网口绑定模式：
网卡绑定mode共有七种(0~6) mode0、mode1、mode2、mode3、mode4、mode5、mode6
mode=0(balance-rr)(平衡轮循环策略)：链路负载均衡，增加带宽，支持容错，一条链路故障会自动切换
正常链路。要求：交换机需要配置静态链路聚合
特点：
传输数据包顺序是依次传输（即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输
完毕），此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出
的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要
重新要求被发送，这样网络的吞吐量就会下降
39
位置作用 网络配置 故障排查 案例分析 2.3 服务器网口绑定
网口绑定模式：
网卡绑定mode共有七种(0~6) mode0、mode1、mode2、mode3、mode4、mode5、mode6
mode=1(active-backup)(主-备份策略)：这个是主备模式，只有一块网卡是active，另一块是备用的
standby，所有流量都在active链路上处理，交换机配置的是捆绑的话将不能工作，因为交换机往两块网卡发
包，有一半包是丢弃的
特点：
只有一个设备处于活动状态，当一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面
看来，bond的MAC地址是唯一的，以避免switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此
算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有
N 个网络接口的情况下，资源利用率为1/N
40
位置作用 网络配置 故障排查 案例分析 2.3 服务器网口绑定
网口绑定模式：
网卡绑定mode共有七种(0~6) mode0、mode1、mode2、mode3、mode4、mode5、mode6
mode=4(802.3ad)(IEEE 802.3ad 动态链接聚合)：
表示支持802.3ad协议，和交换机的聚合LACP方式配合（需要xmit_hash_policy）.标准要求所有设备在聚合
操作时，要在同样的速率和双工模式，而且，和除了balance-rr模式外的其它bonding负载均衡模式一样，
任何连接都不能使用多于一个接口的带宽。
特点：
1、创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的
聚合体下。
2、外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改
变到其他策略。需要注意的是，并不是所有的传输策略都是802.3ad适应的，
41
位置作用 网络配置 故障排查 案例分析 2.4 服务器网口绑定
网口绑定举例：
创建基于bond0接口的配置文件
vim /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
NAME=bond0
TYPE=Bond
BOOTPROTO=static
ONBOOT=yes
IPADDR=10.162.97.41
NETMASK=255.255.255.0
GATEWAY=10.162.97.253
BONDING_MASTER=yes
BONDING_OPTS="mode=4 miimon=100 lacp_rate=fast"
42
位置作用 网络配置 故障排查 案例分析 2.4 服务器网口绑定
网口绑定举例：
修改ifcfg-enp175s0f1接口的配置文件
vim /etc/sysconfig/network-scripts/ifcfg-enp175s0f1
TYPE=Ethernet
BOOTPROTO=none
NAME=enp175s0f1
DEVICE=enp175s0f1
ONBOOT=yes
MASTER=bond0
SLAVE=yes
43
位置作用 网络配置 故障排查 案例分析 2.4 服务器网口绑定
网口绑定举例：
修改ifcfg-enp176s0f1接口的配置文件
vim /etc/sysconfig/network-scripts/ifcfg-enp176s0f1
TYPE=Ethernet
BOOTPROTO=none
NAME=enp176s0f1
DEVICE=enp176s0f1
ONBOOT=yes
MASTER=bond0
SLAVE=yes
重启服务，使配置生效：
systemctl network restart bonding
状态查看：cat /proc/net/bonding/bond0
44
位置作用 网络配置 故障排查 案例分析 2.5 服务器配置路由
什么是路由？
路由是指在网络中选择一条路径，使得数据包能够从源地址传输到目标地址的过程
服务器数据包是怎么发送的？
IP报文入站
是
是否是直连路由
否
无匹配的路由 直接根据ARP表 查看路 丢弃
封装目的MAC发送 由表
有匹配的路由
报文封装 下一条地址所在的
发送 直连网段网络接口
45
位置作用 网络配置 故障排查 案例分析 2.5 服务器配置路由
怎么配置路由？
情景1：
RTC
RTE RTA
RTD RTB 网络N eth0 eth0
PC Server
IP：192.168.1.20 IP：172.168.10.100
GW：192.168.1.254 GW：172.168.10.254
46
位置作用 网络配置 故障排查 案例分析 2.5 服务器配置路由
怎么配置路由？
情景1：
cd /etc/sysconfig/network-scripts/
vi ifcfg-eth0
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.1.20
NETMASK=255.255.255.0
GATEWAY=192.168.1.254
47
位置作用 网络配置 故障排查 案例分析 2.5 服务器配置路由
怎么配置路由？
情景2：
Server1
RTA 网络M IP：10.0.1.20
GW：10.0.1.254
RTE
eth0
PC RTC
eth1
RTB RTD IP1：192.168.1.20 网络N
GW1：192.168.1.254
IP：20.0.1.20
IP2: 192.168.10.20
GW：20.0.1.254 GW2: 192.168.10.254 Server2
48
位置作用 网络配置 故障排查 案例分析 2.5 服务器配置路由
怎么配置路由？
情景2：
eth0配置 eth1配置
cd /etc/sysconfig/network-scripts/ cd /etc/sysconfig/network-scripts/
vi ifcfg-eth0 vi ifcfg-eth1
BOOTPROTO=static BOOTPROTO=static
ONBOOT=yes ONBOOT=yes
IPADDR=192.168.1.20 IPADDR=192.168.10.20
NETMASK=255.255.255.0 NETMASK=255.255.255.0
GATEWAY=192.168.1.254 GATEWAY=192.168.10.254
49
位置作用 网络配置 故障排查 案例分析 2.5 服务器配置路由
怎么配置路由？
情景2：
eth0配置 eth1配置
cd /etc/sysconfig/network-scripts/ cd /etc/sysconfig/network-scripts/
vi route-eth0 vi route-eth1
10.0.1.0/24 via 192.168.1.254 dev eth0 20.0.1.0/24 via 192.168.10.254 dev eth1
0.0.0.0/0 via 192.168.1.254 dev eth0
50
位置作用 网络配置 故障排查 案例分析 3.1 常见的网络故障
1、跨网段无法通讯：
源服务器与目标服务器不在一个网段，需要跨网段通讯的场景
2、同网段网络问题
源服务器与目标服务器在一个网段，二层网络通信的场景
3、网卡丢包及其他问题
网卡丢包、网络延时等其他性能类问题
51
位置作用 网络配置 故障排查 案例分析 3.2 跨网段无法通讯
处理思路：
1、查看两端机器路由：确认本地、远端服务器配置了去往目的网段的路由，查看路由的命
令netstat –rn、ip route等；如果没有配置路由先添加路由
2、服务器ping本地网关测试：确认服务器到本地网关的连通性无问题；如果ping本地网
关不通，通知客户本地网关有问题由客户处理
3、服务器ping对端网关：检查到对端网关的连通性，如果ping对端网关不通，再确认客
户没有防火墙或者禁止ping的情况下，让客户检查网络交换机的路由；有防火墙的情况下
请客户检查防火墙策略
52
位置作用 网络配置 故障排查 案例分析 3.2 跨网段无法通讯
处理思路：
4、服务器请之间互ping：在以上都没问题的情况下，服务器之间互ping还是不通，
windows请检查是否关闭操作系统自带防火墙；linux请再次检查路由设置，是否是目的网
段的掩码设置的不正确。
②
RTD RTA
RTC 网络N RTB ③ ①
PC Server
53
位置作用 网络配置 故障排查 案例分析 3.2 同网段网络问题-
链路无法UP问题
处理思路：
1、检查网线、光纤
网线更换网线测试，确认不是网线或者插的不合适导致；光纤需要检查是多模还是单模，需要与光模块匹
配；有些光纤会出现光对光的问题，这时候需要调整光纤；最后更换光纤测试
2、检查两侧光模块
1）服务器侧光模块，服务器侧手动up网卡端口，查看光模块是否有光打出，如果无光，检查网卡驱动是否
已安装，检查光模块是否在兼容性列表中；更换光模块测试解决无光问题（如果是单模光模块是无法观察
到光的）。
2）交换机侧光模块，检查光模块是否有光打出，如果无光首先检查交换机配置，是否开启交换机端口，例
如思科交换机：是否执行no shutdown；其次查找交换机是否兼容此光模块；最后更换光模块测试（如果
是单模光模块是无法观察到光的）。
3）对比两侧光模块，两端必须统一单模或者多模。光纤类型也必须与光模块保持一致
54
位置作用 网络配置 故障排查 案例分析 3.2 同网段网络问题-
链路无法UP问题
处理思路：
3、检查交换机配置
在排除网线、光纤以及光模块的问题后，需要检查交换机更深层次的配置，例如：速率是否自协商、校验模式是
否协商等问题
1）速率协商问题
测试自动协商与手动指定速率，例如思科交换机默认是自动协商，通过命令speed 10000 指定为10G速率，
speed 25000指定为25G速率，查看链路是否UP。
2）校验模式问题
测试自动协商模式与手动指定协商模式，例如思科交换机（25G）默认是自动协商，通过命令fec fc-fec指定为
fc-fec校验；fec rs-fec指定为rs-fec校验模式；fec rs-ieee指定为rs-ieee校验模式；fec rs-cns16指定为rs-
cns16校验模式；查看链路是否UP
55
位置作用 网络配置 故障排查 案例分析 3.2 同网段网络问题-
链路无法UP问题
56
位置作用 网络配置 故障排查 案例分析 3.2 同网段网络问题-
服务器之间无法通信
处理思路：
1、检查服务器侧配置
1）服务器没有配置网卡绑定，首先检查服务器是否需要设置vlan，如果设置vlan需要与交换机
trunk搭配使用；其次检查是否插到指定的vlan或者trunk口中，两台服务器需要在一个vlan之中。
2）服务器配置网卡绑定确认网卡绑定模式是否与交换机配置匹配，了解网卡7中mode的含义与
作用mode0-mode6：其中1、5、6不需要交换机做任何配置；0、2、3需要交换机对应的接口
做静态链路聚合；4需要交换机对应的接口做动态链路聚合
57
位置作用 网络配置 故障排查 案例分析 3.2 同网段网络问题-
服务器之间无法通信
处理思路：
2、检查交换机配置
1）交换机侧链路聚合配置检查
交换机得的配置需要与服务器侧的网卡绑定模式对应，根据配置可配置为动态链路聚合、静态链路聚合以及
不配置聚合
2）检查交换机vlan、trunk配置
检查服务器所连接的交换机端口属于同一个vlan，如果是trunk口，检查是否允许服务器端口所在的vlan通过
3）检查交换机间配置
如果两台服务器连接不同的交换机，交换机之间的互联端口需要允许服务器的vlan通过
58
位置作用 网络配置 故障排查 案例分析 3.3 网卡丢包及其他问题
处理思路：
1、检查网卡驱动、FW版本：是否是已测试过的最新版本，如果不是，请先升级到最新的固件版本，
再做测试
2、查看客户丢包的应用环境：是UDP、TCP等协议，再做做针对性的处理
3、调整网卡ring buffer
ethtool –g ens4f1------查看当前的ring buffer
ethtool –G ens4f1 rx 4096 tx 4096-----设置网卡收发ring buffer至4096
59
位置作用 网络配置 故障排查 案例分析 3.3 网卡丢包及其他问题
处理思路：
4、调整系统收发套接字缓冲区
发送套接字缓冲区大小的默认值
sysctl -w net.core.wmem_default = 8388608
接收套接字缓冲区大小的默认值
sysctl -w net.core.rmem_default=8388608
接收套接字缓冲区大小的最大值
sysctl -w net.core.rmem_max = 134217728
发送套接字缓冲区大小的最大值
sysctl -w net.core.wmem_max = 134217728
60
位置作用 网络配置 故障排查 案例分析 3.3 网卡丢包及其他问题
处理思路：
5、调整TCP内存缓冲区
TCP写buffer,可参考的优化值:873200/1746400/3492800
sysctl -w net.ipv4.tcp_wmem = 873200 1746400 3492800
TCP读buffer,可参考的优化值:873200/1746400/3492800
sysctl -w net.ipv4.tcp_rmem = 873200 1746400 3492800
net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力.
net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段.
net.ipv4.tcp_mem[2]:高于此值,TCP拒绝分配socket.
内存单位是页（1page=4096Bytes）,而不是字节.可参考的优化值是:78643200/104857600/157286400
sysctl -w net.ipv4.tcp_mem = 78643200 104857600 157286400
61
位置作用 网络配置 故障排查 案例分析 3.3 网卡丢包及其他问题
处理思路：
6、调整UDP内存缓冲区
UDP接收缓冲区最小值（调大缓冲区，无影响）：
sysctl –w net.ipv4.udp_rmem_min=131072
UDP发送缓冲区最小值（调大缓冲区，无影响）：
sysctl –w net.ipv4.udp_wmem_min=131072
内存单位是页（1page=4096Bytes）,而不是字节
sysctl –w net.ipv4.udp_mem=262144 327680 393216
62
位置作用 网络配置 故障排查 案例分析 3.3 网卡丢包及其他问题
处理思路：
7、调整数据包缓冲
1)、当网卡接收数据包的速度大于内核处理的速度时，会有一个队列保存这些数据包。这个参数表示该
队列的最大值。
sysctl -w net.core.netdev_max_backlog = 262144
2)、尚未收到客户端确认信息的连接（SYN消息）队列的长度，默认为1024，加大队列长度为262144，
可以容纳更多等待连接的网络连接数
sysctl -w net.ipv4.tcp_max_syn_backlog = 262144
3)、用来限制监听(LISTEN)队列最大数据包的数量，超过这个数量就会导致链接超时或者触发重传机制
sysctl -w net.core.somaxconn = 262144
63
位置作用 网络配置 故障排查 案例分析 3.3 网卡丢包及其他问题
处理思路：
8、网卡中断绑定
1)、查看网卡绑定在那个numa上
cat /sys/class/net/bond/enp94s0f0/device/numa_node
2)、查看当前numa分布，由于队列数设置为8，故只需绑定中断至numa0的8个核，且不建议绑定在
逻辑核CPU0上
lscpu
3)、中断绑定（将8个核与中断绑定，执行此指令前务必执行ethtool -L设置队列数指令）
./set_irq_affinity 8-11,24-27 enp94s0f0
64
位置作用 网络配置 故障排查 案例分析 4 百度某核电NF5280M5与
SA5280M6机器网口持续丢包
1、问题描述：
客户现场两种机型：一是NF5280M5，改配25G MCX OCP网网卡，改配网卡丢包；二是SA5280M6未改配，机
器配置10G的X710 OCP3网卡和千兆的I350网卡，客户实际使用的I350网口出现丢包；
2、问题详情
ifconfig网口的指令输出可明显看到随dropped包数随时间明显持续增大，现场稳定复现，且无业务情况下也存在
丢包。
3、处理步骤
1)、增大机器rebuffer，从原来1024增大到8192；
2)、网口绑核操作，绑定在0-19和40-59均存在丢包
3)、升级驱动操作，驱动从5.0.0升级到5.7.1；
4)、BIOS下核查CPU节能未开启
5)、SA5280M6机型，由于客户有业务存在，目前仅做直连测试，未出现丢包
65
位置作用 网络配置 故障排查 案例分析 4 百度某核电NF5280M5与
SA5280M6机器网口持续丢包
66
位置作用 网络配置 故障排查 案例分析 4 百度某核电NF5280M5与
SA5280M6机器网口持续丢包
4、抓包排查分析：
通过对比tcpdump的信息发现，有一个广播包的规律和客户丢包的行为非常匹配
1)、客户现场drop是ifconfig统计中出现的，而网卡ethtool中drop并没有丢包，所以从这点看并不是数据包丢
包，应该是其他类型的包发生丢包
2)、客户丢包发生很规律，基本上是5秒钟丢3个包（现场视频确认），说明丢的包是固定发送的行为，
3)、筛选了tcpdump中的数据包发现有3个mac的广播包非常符合这几个行为特征。而且intel i350网卡和
mellanox CX4Lx网卡现象一致，均有这三个mac的广播包。
4)、在i350网卡有3个mac在发送广播报文，分别a4:bd:c4:33:49:22，3c:c7:86:a2:0f:af，3c:c7:86:a2:0f:bb，
查看这三组mac的发包行为，第一均为非数据包，即广播包，符合我们的丢包统计（非数据包），第二每个mac
均以5秒钟一次的频率发送广播包，所以3个mac结合就是每5秒钟发送3次，符合现场丢包的规律5秒钟丢3个包，
67
位置作用 网络配置 故障排查 案例分析 4 百度某核电NF5280M5与
SA5280M6机器网口持续丢包
4、抓包排查分析：
5)、在mellanox网卡中有3个mac在发送广播报文，分别a4:bd:c4:33:49:22，3c:c7:86:a2:0f:af，3c:c7:86:a2:
0f:bb与I350抓包中的MAC地址一致，都是广播包且频率一致
68
位置作用 网络配置 故障排查 案例分析 4 百度某核电NF5280M5与
SA5280M6机器网口持续丢包
5、问题总结：
1)、Protocol type为0x9998的广播包，是huawei交换机Loopback Detection检测报文的协议号，从资料文
档中看有默认5s发送报文的周期；应该可以通过关闭Loopback Detection的方式来验证下是否是它导致的丢
包计数
2)、操作系统处理机制看，内核定义的网络协议类型头文件中（\include\uapi\linux\if_ether.h），没有定义
0x9998的类型，且RHEL7引入的补丁会将未知协议类型的包丢弃
69
整体概述 一
目录 服务器与存储设备的关联 二
服务器与网络设备的关联 三
服务器与AI&HPC 四
服务器上层业务与故障诊断思路 五
70
四、服务器与AI&HPC
AI与HPC技术简介
典型集群系统架构
如何搭建一套集群
71 1.1 人工智能(AI)简介 AI&HPC 集群系统架构 集群搭建
人工智能的定义 人工智能用来作什么
人工智能(Artificial Intelligence)是 自然语言处理 医疗
研究开发用于模拟、延伸和扩展人的 图像处理 媒体娱乐
智能的理论、方法、技术及应用系统 数据挖掘 安防
的一门新得技术科学。人工智能是计 互联网服务 自动驾驶
算机科学的一个分支，它企图了解智
能的实质，并生产出一种新的能以人
类智能相似的方式做出反应的智能机 深度学习的定义
器，该领域的研究包括机器人、语言
识别、图像识别、自然语言处理和专 深度学习的概念源于人工神经网络的研究
家系统等。人工智能自诞生以来，理 含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的
论和技术日益成熟，应用领域也不断 高层表示属性类别或特征，以发现数据的分布式特征表示
扩大，可以设想，未来人工智能带来 将现实世界表示为嵌套的层次概念体系(由较简单概念间的联系定义复杂概念，从
的科技产品将会是人类智慧的容器 一般抽象概括到高级抽象表示)，从而获得强大的性能与灵活性
72 1.2 深度学习训练/推理过程 AI&HPC 集群系统架构 集群搭建
73 1.3 高性能计算(HPC)简介 AI&HPC 集群系统架构 集群搭建
高性能计算（High Performance
Computing）
通常指使用很多处理器（作为单个机
器的一部分）或者某一集群中的一部
分计算机（作为单个计算资源操作）
的计算系统和环境
高性能集群系统是一套计算性能强大、大规模存储空间、完整的软件系统、价格昂贵的计算机。它不仅面向科学计算，而且面向
拥有大量数值分析、数据处理等更广泛的应用。因此它不同于超级计算机仅追求单一计算指标，而是追求全面的综合指标。
74 2.1 典型集群系统架构 AI&HPC 集群系统架构 集群搭建
75 2.2 高性能集群管理平台—— AI&HPC 集群系统架构 集群搭建
ClusterEngine
76 3.1 如何搭建一套集群 AI&HPC 集群系统架构 集群搭建
77 3.1 如何搭建一套集群 AI&HPC 集群系统架构 集群搭建
集群OS和 并行/分布式计算 高性能处理器 高速网络
管理系统 工具以及软件
Intel x万兆以太网 点击添加文字标题 多个Linux发行版 MPI 点击添加文字标题
至强CPU Infiniband Windows HPC PBS
Omni-Path Server 各种软件应用
78
R 负责 3.1 如何搭建一套集群 AI&HPC 集群系统架构 集群搭建 S 配合
项目交付活动分解 浪潮信息 服务商 集成商 软件商 客户
机房环境准备，包含强电接入至机柜、UPS、环控、 R R 外部线缆布线、外部网络接入等
设备首次运输至客户现场 R
现场启动会 R S S S
浪潮硬件设备上架 R R or S S
弱电布线与标签粘贴，包含电源线、IB/OPA线、以 R S S 太网线、FC线、SKVM线等
服务器操作系统安装及并行环境部署/集群存储调试/ R R 作业调度软件部署/应用软件部署/安全策略设置
集群性能测试 R
项目文档交付及现场培训 R S S S
实施交付验收 R S S S
79
写在最后——
AI&HPC集群售后支持与硬件售后处理的协同
80
整体概述 一
目录 服务器与存储设备的关联 二
服务器与网络设备的关联 三
服务器与AI&HPC 四
服务器上层业务与故障诊断思路 五
81
五、服务器上层业务与故障诊断思路
服务器故障排查思路
上层应用故障案例
82
1.服务器故障排查思路
服务器故障排查，除硬件故障外，需综合考虑固件、软件（OS+业务软件）及其他相关因素对设备的影响。
影响因素项目 故障排查 故障表现 影响因素项目 故障排查 故障表现
更换 部分机型需bios和OS协同配置，影响性能 硬件故障 ACS 及PCIE报错、宕机概率等。 对调测试
内核参数设置 影响业务性能、导致故障率高等 硬件支持协 PCIE3/4/5 不同协议部件混插导致降速
OS配置 议 NVLink GPU不同通信协议影响P2P带宽 开机自启动设置 客户自定义命令、脚本等影响业务稳定性。
兼容性 硬件不兼容 故障率高、无法使用 系统资源限制 影响性能、业务软件运行稳定性
核心数、频率会影响GPU等其他部件的性 补丁更新 影响性能、业务软件运行稳定性
CPU 能
硬件相关 性能/节能模式对性能的影响 软件 软件设置 影响性能、业务软件运行稳定性
硬件性能 规格（DDR4/R5等） 驱动设置 影响性能、业务软件运行稳定性
内存 内存大小影响GPU性能 OS 软件兼容性 硬件 安装槽位影响GPU性能 业务应用
软件bug 补丁更新 机型拓扑
编译问题 影响性能、业务软件运行稳定性 balance/common/cascade影响GPU 拓扑 GPU拓扑 bandwidth和nccl测试性能 测试参数不合理 影响性能
网络拓扑 影响集群性能
板卡、线缆导致的短路 微码版本 影响性能、PCIE报错率高等
不同部件互连后 机箱导致的短路
IOMMU/VT-D 影响性能、PCIE报错率高等 部件短路 短路 机柜供电、接地等导致设备无法开机等故
ACS 影响性能、PCIE报错率高等 障
bios SR-IOV 导致测试软件、业务软件无法运行等 热风回流 未安装机柜挡风板导致的高温等 设备布局问
交换机前后方向 题 设备高温 NUMA 影响GPU bandwidth测试性能等 其他因素 装反、风扇反转 固件相关
有时需和OS配置协同使用，用于提升系统 温湿度 设备高温 性能模式 性能 环境问题 空气脏污等 故障率高
BMC监控轮询机制可能导致GPU等外插卡 bmc 轮询机制 功率不足、无冗 故障率增加或不可用。 供电问题 导致设备宕机、重启 余供电
cpld 固件bug 能影响GPU性能、PCIE报错率高等问题 人为因素
83
2. 上层应用故障案例
ACS配置问题导致设备频繁PCIE报错
案例说明
搭配AMD milan 平台CPU 的AI服务器，在开启BIOS的IOMMU功能后，GPU直接在物理机下使用，引发服务器频繁
出现PCIE报错甚至宕机。
根因分析
AMD milan平台CPU在BIOS下打开IOMMU时，会同时联动打开OS下“GPU-网卡”整个链路的ACS功能，根据
NVIDIA官方说明，GPU直接在物理机场景下使用，当ACS设置打开时，会显著影响到PCIE性能，甚至导致OS hang。
NVIDIA参考链接：https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/troubleshooting.html#pci-
access-control-services-acs
解决方案
1. 建议BIOS关闭IOMMU/ACS（关闭IOMMU，有可能导致AMD CPU出现一个核心offline的问题。）
2. 若BIOS下开启了IOMMU/VT-D
OS下配置xxx_iommu=on，iommu=pt
若OS下ACS功能为开启状态，需在OS下配置开机自启动脚本关闭ACS。
84
2. 上层应用故障案例
ACS配置问题导致设备频繁PCIE报错
ACS（Access Control Services，访问控制服务）用于控制PCIe数据流向，ACS可以将peer-to-peer转发的功能关闭，
强制将其下所有设备通信送到RootComplex。
85
2. 上层应用故障案例
ACS配置问题导致设备频繁PCIE报错
AI服务器GPU不同使用场景推荐设置
使用场景 配置建议
物理机 1. 建议BIOS关闭IOMMU/ACS（关闭IOMMU，有可能导致AMD CPU出现一个核心
offline的问题）。
2. 若BIOS下开启了IOMMU/VT-D
- OS下配置xxx_iommu=on，iommu=pt
- 若OS下ACS功能为开启状态(重点检查AMD CPU设备)，需在OS下配置开机自启动脚本
关闭ACS。
直通场景 1. BIOS开启IOMMU/VT-D，OS下配置xxx_iommu=on，iommu=pt
2. BIOS 打开ACS功能（PCIe Access Control Services）。
虚拟化场景 1. BIOS开启IOMMU/VT-D，OS下配置xxx_iommu=on，iommu=pt
2. BIOS打开ACS功能（PCIe Access Control Services）。
86
总结
核心目标：
1、开拓视野，在处理服务器故障时需具备系
统性思维，能够综合考虑多方面因素，避免
因片面操作对其他设备产生不良影响。
2、完善服务器故障处理思路：当服务器出现
故障时，不仅要考虑硬件层面，也要考虑客
户应用及业务环境的影响。
Backup
汇报结束
