vLLM 是怎么工作的？ 本文翻译并整理自 Amit Shekhar 的 How does vLLM work?。 目录 什么是"服务一个 LLM" Prefill、Decode 与 KV cache 快速回顾 问题：KV cache 吞噬 GPU 显存 为什么朴素的服务方式会浪费内存 vLLM 是什么 PagedAttention：核心思想 PagedAttent...