速查表(Cheat Sheet)— AI Infra 关键数字与公式
四份词汇图鉴的”最终压缩版”。复读每个实验前先过一遍本表,
训练/实验中遇到对不上的数字就回来查。
前面聊了网卡、DMA和RDMA,接下来把视角拉到多机训练。
假设每台服务器上都有两张RDMA网卡,分别接到两个网络平面。网卡单独测都没问题,但放到NCCL里,数据到底会走哪张卡?两个平面能不能同时用?如果平面之间根本不通,又该怎么办?
这时候经常会碰到一个环境变量:NCCL_CROSS_NIC。名字里有个CROSS,很容易把它当成“多网卡开关”。但真按这个思路去配置,可能从第一步就理解偏了。
这篇就围绕这个参数展开,把0、1、2的区别,以及容易想当然的几个地方说清楚。
场景假设:你要在 IDC 里落地一套 1024 卡(128 节点 × 8 卡) 的 NVIDIA GPU 集群,
跑大模型训练(DP/TP/PP/EP 混合并行)+ 推理。本文讲清楚:交换机怎么选、多轨(rail)
怎么布、网络容量怎么算、以及 K8s/调度要配合什么。数字基于 DGX/HGX 形态 + H100(NVLink 900GB/s、400G NIC),代际差异会注明。
对应路线图 Phase 2(W6-W9)的通信部分 + Phase 4(W17 nccl-tests)。
这一份回答三个问题:多卡之间的数据到底怎么传?NCCL 在链路里扮演什么角色?
为什么 NCCL 一挂,整个训练就卡死?读完你应该能看懂:
NCCL_DEBUG=INFO日志、nvidia-smi topo -m拓扑图、
以及为什么 IB(InfiniBand)比普通以太网快一个数量级。
对应路线图 Phase 4(W16-18)。这份是”硬件层”词鉴:
之前三份讲模型在算什么、训练怎么并行、推理怎么服务——这一份讲这些计算到底跑在什么硬件上,
以及为什么某些数字(算力/TFLOPS、带宽/TB/s)会卡住你的训练和推理。读完你应该能回答:CUDA Core 和 Tensor Core 的区别、为什么 H100 比 A100 快那么多、
为什么 decode 受带宽限制、nvidia-smi 里每个数字在说什么。
这一层回答:一个训练好的模型,怎么变成”毫秒级响应”的服务?
为什么推理的瓶颈和训练完全不同?RL 训练又在同时用前两份图鉴的什么?
前置:词汇图鉴①(Attention/causal mask/KV)和②(并行/通信)。
这一页把四份词汇图鉴的所有概念串成一张总图,配两种形式:
diagrams/glossary-00-overview.svg(已渲染好的图片,任何编辑器/浏览器可看)
这是 AI-Infra 学习地图系列的第 0 阶段(Phase 0,W1):先用 1 周建立全局认知地图。
本周任务:按顺序精读四份词汇图鉴(计算语义层/训练扩展层/推理服务层/GPU 硬件层),
对照外部材料拓宽视野,最后画一张覆盖 Training/Inference/RL 三层的可视化脑图,
并写下自评——“我现在最大的知识盲区是____,因为____”。