LLM Inference Lab
围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。
LLM Inference Lab
围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。
解决的问题
围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。
我的工作
梳理学习问题、理解推理机制，并规划可复现实验。
工程选择
具体方案与工程边界见下方文章。
项目文章
所有文章 →从这里开始
连续批处理与分页 KV：请求怎样进入下一轮计算
从长短请求混跑出发，区分迭代调度与 KV 空间管理，用一个小批次和块分配例子解释吞吐、等待与容量的取舍。
缓存在哪台机器上：前缀复用、路由与搬运成本
从热缓存节点排队更长的情况出发，比较本地命中、远端搬运与重新计算，解释命中率为何不能单独决定路由。
推理压测怎么测：从流式时间戳到满足 SLO 的吞吐
以测试工程的测量边界为起点，区分 TTFT、TPOT、ITL、开闭环负载与 goodput，避免把压力机限制和失败请求隐藏在漂亮报表里。
从一次请求看懂 LLM 推理：Prefill、KV Cache 与 Prefix Cache
用一次请求的完整旅程串起 LLM 推理的核心概念：Prefill/Decode、KV Cache 容量估算、GQA、Prefix Cache、延迟指标，以及为什么开了缓存 P99 反而可能变差。
Prefill 与 Decode：输入处理和逐步生成
解释 Prefill 和 Decode 如何使用 KV Cache、各自如何批处理，以及应该观察哪些延迟指标。
KV Cache 为什么会吃显存？
梳理 KV Cache 的数据结构、显存估算方式，以及长上下文为什么会放大问题。
Prefix Cache 命中率如何影响 TTFT？
从命中率提高但首字仍慢的问题出发，区分复用长度、缓存准备、排队与 TTFT，并设计对照实验。