AI 应用与推理

从测试工作流，到推理基础、KV Cache 与可复现实验方法。

笔记

2026年6月21日 · 1 分钟阅读

理解 LLM 推理中 prefill 和 decode 的区别，以及为什么 prefill 更适合 batching。

2026年6月20日 · 1 分钟阅读

梳理 KV Cache 的数据结构、显存估算方式，以及长上下文为什么会放大问题。

2026年6月19日 · 1 分钟阅读

分析 Prefix Cache 命中与未命中对首 token 延迟的影响，并记录后续 benchmark 计划。

进行中

围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。

梳理学习问题、理解推理机制，并规划可复现实验。