A personal technical site for LLM inference systems, AI infrastructure notes, experiments, and projects.http://localhost:4321/http://localhost:4321/notes/prefill-vs-decode/http://localhost:4321/notes/prefill-vs-decode/理解 LLM 推理中 prefill 和 decode 的区别，以及为什么 prefill 更适合 batching。Sun, 21 Jun 2026 00:00:00 GMThttp://localhost:4321/notes/kv-cache-memory/http://localhost:4321/notes/kv-cache-memory/梳理 KV Cache 的数据结构、显存估算方式，以及长上下文为什么会放大问题。Sat, 20 Jun 2026 00:00:00 GMThttp://localhost:4321/notes/prefix-cache-ttft/http://localhost:4321/notes/prefix-cache-ttft/分析 Prefix Cache 命中与未命中对首 token 延迟的影响，并记录后续 benchmark 计划。Fri, 19 Jun 2026 00:00:00 GMT