一、一个反直觉的数据 上一篇算过 200 节点 × 30 GB 的账单：制品库带宽被打满、GPU 空转 90 分钟、每次发版蒸发 900 美元。Dragonfly 解决的是"数据从制品库出来"这一段的效率问题。 但有一个更基础的问题一直没人问：这 30 GB，容器启动真的用得到吗？ 2016 年 USENIX FAST 会议上，威斯康辛大学的 Harter 团队发表了一篇...

从第一性原理理解分布式训练 这篇文章不打算从"DP / TP / PP / ZeRO"这些名词出发，而是反过来：先回到训练这件事的物理与数学约束，再让每一种并行策略和优化技巧"自己长出来"。 读完之后，希望你看到任何一种新的并行方案，都能立刻问出一个对的问题——它在解决哪个约束？代价是什么？ 一、引子：为什么单卡装不下了？ 训练一个深度学习模型，...