Prefix Cache 命中率如何影响 TTFT？
分析 Prefix Cache 命中与未命中对首 token 延迟的影响，并记录后续 benchmark 计划。
#benchmark
按关键词浏览笔记与项目。
围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。
梳理学习问题、理解推理机制，并规划可复现实验。
按关键词浏览笔记与项目。
分析 Prefix Cache 命中与未命中对首 token 延迟的影响，并记录后续 benchmark 计划。
围绕 LLM 推理、KV Cache 与评估方法建立可追溯的学习记录。
梳理学习问题、理解推理机制，并规划可复现实验。