KV Cache 为什么会吃显存？
梳理 KV Cache 的数据结构、显存估算方式，以及长上下文为什么会放大问题。
#kv-cache
Browse notes and projects by keyword.
A traceable learning record for LLM inference, KV cache, and evaluation methods.
Framing study questions, understanding inference mechanisms, and planning reproducible experiments.