#gqa

从一次请求看懂 LLM 推理：Prefill、KV Cache 与 Prefix Cache

用一次请求的完整旅程串起 LLM 推理的核心概念：Prefill/Decode、KV Cache 容量估算、GQA、Prefix Cache、延迟指标，以及为什么开了缓存 P99 反而可能变差。