一、雕花的三笔代价 上一篇最后停在一个略显扫兴的地方：eStargz 做到了"pull 近乎为零"，但它有三笔躲不掉的代价——压缩率变差、去重能力弱、一层一个 FUSE 挂载点，外加一个 resolve 超时就静默回退全量拉取的隐患。 如果把这三条并排放在一起看，会发现它们是同一件事的三种表现： 压缩率变差，是因为一层内部共用一个 gzip 字典。你想让单个文件能被独立...

容器里的 RDMA：从内核旁路到 hostNetwork 与 SR-IOV 多机训练要跑满带宽就得用 RDMA。但 RDMA 到底是什么、为什么非它不可，很多人是从一堆 NCCL_IB_* 环境变量里"逆向"出来的——知道要配，不知道为什么。 这篇文章分两半。前半讲 RDMA 本身：从传统 TCP 收发一个包的完整代价讲起，到 RDMA 用什么办法把这些代价一条条抹掉，...

一、一个反直觉的数据 200 节点 × 30 GB 的账单：制品库带宽被打满、GPU 空转 90 分钟、每次发版蒸发 900 美元。Dragonfly 解决的是"数据从制品库出来"这一段的效率问题。 但有一个更基础的问题一直没人问：这 30 GB，容器启动真的用得到吗？ 2016 年 USENIX FAST 会议上，威斯康辛大学的 Harter 团队发表了一篇题为 Sla...

vLLM 是怎么工作的？ 本文翻译并整理自 Amit Shekhar 的 How does vLLM work?。 目录 什么是"服务一个 LLM" Prefill、Decode 与 KV cache 快速回顾 问题：KV cache 吞噬 GPU 显存 为什么朴素的服务方式会浪费内存 vLLM 是什么 PagedAttention：核心思想 PagedAttent...

level-trigger OR edge-trigger，谈谈 Kubernetes controller 的开发范式 很多人是从 kubebuilder 的脚手架开始接触 controller 的：kubebuilder init、create api，一个 Reconcile 函数就摆在你面前，照着填就能跑。但填着填着就会冒出一堆问号——为什么 Reconcile 不告诉我"...

FUSE: 让文件系统工作在用户空间 读完这篇文章，你会理解：为什么文件系统必须住在内核里；这件事给"自定义文件系统"制造了什么根本矛盾；FUSE 如何用"内核空壳 + 用户态灵魂"的解耦化解这个矛盾；以及这种解耦的性能代价和适用边界。 从一个具体需求说起 假设你接到一个需求：把远程服务器的目录挂载成本地文件夹，让同事直接用 vim、grep、文...

本周科技要闻 | 6.7–6.13 一周科技圈大事速览，国内外要闻一次看完。 1. Claude Fable 5 遭美国政府叫停 据 Anthropic 最新声明：因美国政府指令，公司正对所有用户暂停 Claude Fable 5 的访问，其余 Claude 模型不受影响。具体而言——在 Claude 各产品中，新会话将切换到用户默认模型或 Opus 4.8，已有的 Fable 5 会话会...

工程实践：实现单机 GPU/CPU 混部 这篇文章记录了我们在 GPU 训练机器上实现 CPU 任务混部的完整过程。读完之后，你会了解：GPU 训练任务的数据加载链路（DataLoader → 共享内存 → 锁页内存 → DMA → GPU HBM）中哪些环节对 NUMA 敏感；为什么 Linux 的 First-Touch 内存策略在混部场景下会产生问题，以及如何通过 MPOL_INTE...

最近把一个 Kubernetes 集群从旧版本升级到了新版本，集群里跑着一个自研的 device plugin（以 DaemonSet 形式部署）。升级前一切正常，升级后这个 DaemonSet 一启动就疯狂报错： 12345Set vendor name: example.comSet resource name: cool-deviceSet device number: 8E Dev...

从第一性原理理解 NUMA 一、一个反直觉的现象 先看一个例子。 我们有一台双路服务器，里面装了两颗 CPU，跑一个内存敏感的服务。同样的硬件、同样的代码、同样的负载，做两件事： 不绑核：让操作系统自由调度 绑核：用 numactl 把进程绑到一颗 CPU 上 结果绑核的版本性能高了将近 30%。 奇怪吗？理论上"内存就是内存"，访问哪一块都一样，为什么仅仅是&quo...