#gpu

KV Cache 为什么会吃显存？

梳理 KV Cache 的数据结构、显存估算方式，以及长上下文为什么会放大问题。