1. Mellanox OFED 基础环境准备
初次接触Mellanox网卡时，最让人头疼的就是那一堆陌生的命令和参数。记得我第一次调试ConnectX-3网卡时，光是确认硬件识别就花了半天时间。下面这些基础命令就像瑞士军刀，能帮你快速摸清设备底细。
先确认系统是否识别到物理设备，这个命令我每次装机必敲：
lspci -v | grep Mellanox正常会返回类似01:00.0 Ethernet controller: Mellanox Technologies MT27500 Family [ConnectX-3]的信息。如果这里没输出，要么是驱动没装好，要么是硬件没插稳——我就遇到过PCIE插槽接触不良的情况。
更详细的设备拓扑关系用这个命令查看：
ibdev2netdev -v输出示例：
mlx4_0 port 1 ==> ib0 (Up) mlx4_0 port 2 ==> ib1 (Down)这个对应关系特别重要，有次机房同事误拔网线，我就是靠这个命令快速定位到是第二个物理端口松动。注意括号里的状态，Up表示链路正常，Down则需要检查物理连接。
2. 固件与驱动深度管理
固件版本不对可能导致各种灵异问题。上周我们机房就有台服务器RDMA性能异常，最后发现是固件太旧。查询完整固件信息要分两步走：
首先启动MST服务（很多新手会漏掉这步）：
mst start然后查询具体设备（注意替换设备名）：
flint -d /dev/mst/mt4099_pciconf0 query full重点看这几个字段：
FW Version: 当前运行版本PSID: 设备型号标识（刷固件时必须匹配）Security Attributes: 签名验证状态
更新固件就像给网卡重装系统，务必先备份原有固件：
mstflint -d 03:00.0 backup /tmp/fw_backup.bin刷写新固件时要注意PSID必须匹配，我有次手快选错文件，差点变砖：
mstflint -d 03:00.0 -i fw-ConnectX3.bin burn整个过程不能断电，建议接上UPS操作。刷完记得冷重启，热重启可能不生效。
3. 网络模式切换实战
Mellanox网卡最强大的特性就是多模式支持，但模式切换也是最容易踩坑的。有次我把整个集群的网卡误切成Ethernet模式，导致IB网络瘫痪两小时...
查看当前模式配置：
mstconfig -d 26:00.0 q关键参数LINK_TYPE_P1和LINK_TYPE_P2：
1表示InfiniBand模式2表示Ethernet模式
切换到Ethernet模式的命令（谨慎操作）：
mlxconfig -d /dev/mst/mt4099_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2改完后必须重启驱动才能生效：
/etc/init.d/openibd restart我建议在变更前先用mstconfig -d 26:00.0 save my_config.conf备份当前配置，出问题时能快速回滚。
4. RDMA功能验证技巧
RDMA配置是否成功，不能只看驱动加载，必须实际测试。我们团队总结了一套验证流程：
先在服务端启动测试服务：
rdma_server客户端发起测试连接（替换实际IP）：
rdma_client -s 192.168.10.12成功的输出应该是：
rdma_client: start rdma_client: end 0如果卡住或报错，按这个检查清单排查：
- 确认
ibstat显示端口状态为Active - 检查
ibv_devinfo输出的transport_type是InfiniBand - 确保防火墙放行了对应的端口
- 用
ibping测试基础连通性
有次客户现场RDMA不通，最后发现是交换机上对应的端口没开启IB模式。所以切记：端到端每个环节都要检查。
5. 高级运维场景处理
实际生产环境中，有两个高频问题值得特别说明：
案例一：IPoIB模式切换默认的Datagram模式兼容性好但性能一般，切换到Connected模式能提升吞吐量：
echo "SET_IPOIB_CM=yes" >> /etc/infiniband/openib.conf /etc/init.d/openibd restart验证模式是否生效：
cat /sys/class/net/ib0/mode输出应为connected。注意切换后所有节点配置需保持一致，否则会出现通信故障。
案例二：性能调优当发现带宽不达标时，可以调整MTU值：
ifconfig ib0 mtu 65520 up同时检查是否启用了巨帧：
mlnx_qos -i ib0 --pfc=0这个设置对NVMe over Fabrics场景特别重要。我们有个客户从默认MTU调到65520后，吞吐量直接提升了40%。
6. 日常维护工具箱
这些命令是我每天都会用到的"生存技能"：
查看OFED软件栈版本：
ofed_info监控端口状态变化：
ibstatus实时查看错误计数（重点关注symbol_errors）：
ibqueryerrors清除错误计数（排障后使用）：
ibclearerrors最后提醒：所有关键操作前建议先拍快照或备份配置。有次我在升级OFED驱动时遇到依赖冲突，幸好有系统快照才能快速回退。
