LLM Inference Lab
围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。
问题与目标
调用模型 API 时，很容易观察到“首字等得久”或“输出越来越慢”，却还不知道时间花在了哪里。这个项目从这些现象往下追：请求怎样被调度，KV Cache 占多少空间，复用和搬运缓存又会改变哪一段延迟。
目前的工作以学习记录为主，先把概念和测量方法整理清楚，再据此安排实验。推理服务的性能优化仍需要后续实测。
我的工作
我先整理想解释的问题，再阅读推理阶段、缓存机制和测量指标的资料，并借助 AI 补充背景知识与笔记。每篇记录都需要能回到最初的问题：现在能解释到哪一步，还有什么要通过实验确认。
已有材料
站内已有 Prefill/Decode、KV Cache 显存、Prefix Cache/TTFT 和推理入门笔记。S00 已完成 AI 辅助学习，仍待独立核验；不将阅读和辅助解题计为独立掌握。现有材料不包含已经测得的性能提升数字。
实验计划
| 实验方向 | 主要指标 | 状态 |
|---|---|---|
| Prefill 与 Decode 延迟 | TTFT / TPOT | 计划中 |
| KV Cache 显存估算 | GPU memory | 计划中 |
| Prefix Cache 复用 | TTFT / 命中比例 | 计划中 |
方法与边界
例如，要比较打开前缀缓存前后的 TTFT，就需要固定模型、硬件和软件版本，并记录并发、输入长度与前缀分布。先得到可以重复的基线，才能把变化归因于缓存策略。表中的工具和实验方向仍属于学习计划，验证结果会在实际运行后补充。