前面聊了网卡、DMA和RDMA,接下来把视角拉到多机训练。

假设每台服务器上都有两张RDMA网卡,分别接到两个网络平面。网卡单独测都没问题,但放到NCCL里,数据到底会走哪张卡?两个平面能不能同时用?如果平面之间根本不通,又该怎么办?

这时候经常会碰到一个环境变量:NCCL_CROSS_NIC。名字里有个CROSS,很容易把它当成“多网卡开关”。但真按这个思路去配置,可能从第一步就理解偏了。

这篇就围绕这个参数展开,把0、1、2的区别,以及容易想当然的几个地方说清楚。

阅读全文 »

场景假设:你要在 IDC 里落地一套 1024 卡(128 节点 × 8 卡) 的 NVIDIA GPU 集群,
跑大模型训练(DP/TP/PP/EP 混合并行)+ 推理。本文讲清楚:交换机怎么选、多轨(rail)
怎么布、网络容量怎么算、以及 K8s/调度要配合什么
。

数字基于 DGX/HGX 形态 + H100(NVLink 900GB/s、400G NIC),代际差异会注明。


阅读全文 »

对应路线图 Phase 2(W6-W9)的通信部分 + Phase 4(W17 nccl-tests)。
这一份回答三个问题:多卡之间的数据到底怎么传?NCCL 在链路里扮演什么角色?
为什么 NCCL 一挂,整个训练就卡死?

读完你应该能看懂:NCCL_DEBUG=INFO 日志、nvidia-smi topo -m 拓扑图、
以及为什么 IB(InfiniBand)比普通以太网快一个数量级。


阅读全文 »

对应路线图 Phase 4(W16-18)。这份是”硬件层”词鉴:
之前三份讲模型在算什么、训练怎么并行、推理怎么服务——这一份讲这些计算到底跑在什么硬件上,
以及为什么某些数字(算力/TFLOPS、带宽/TB/s)会卡住你的训练和推理。

读完你应该能回答:CUDA Core 和 Tensor Core 的区别、为什么 H100 比 A100 快那么多、
为什么 decode 受带宽限制、nvidia-smi 里每个数字在说什么。


阅读全文 »

这一页把四份词汇图鉴的所有概念串成一张总图,配两种形式:

  • 本文件的 mermaid 图(GitHub / VS Code + Mermaid 插件 可直接渲染)
  • diagrams/glossary-00-overview.svg(已渲染好的图片,任何编辑器/浏览器可看)
    阅读全文 »

这是 AI-Infra 学习地图系列的第 0 阶段(Phase 0,W1):先用 1 周建立全局认知地图。
本周任务:按顺序精读四份词汇图鉴(计算语义层/训练扩展层/推理服务层/GPU 硬件层),
对照外部材料拓宽视野,最后画一张覆盖 Training/Inference/RL 三层的可视化脑图,
并写下自评——“我现在最大的知识盲区是____,因为____”。

阅读全文 »
0%