#prefix-cache

按技术关键词浏览文章。

2026年11月07日 · 13 分钟阅读

Agent 长任务运行时设计：续跑、状态与完成验收

从暂停后迟到的验收结果入手，用 SQLite 示例解释目标版本与执行代号，再展开续跑、持久化、预算和完成验收。

2026年11月07日 · 8 分钟阅读

从工具定义到按需发现，说明注册表、模型可见工具与执行权限的区别，以及工具检索如何影响上下文和缓存。

2026年11月07日 · 5 分钟阅读

从热缓存节点排队更长的情况出发，比较本地命中、远端搬运与重新计算，解释命中率为何不能单独决定路由。

2026年11月07日 · 20 分钟阅读

用一次请求的完整旅程串起 LLM 推理的核心概念：Prefill/Decode、KV Cache 容量估算、GQA、Prefix Cache、延迟指标，以及为什么开了缓存 P99 反而可能变差。

2026年11月07日 · 4 分钟阅读

从命中率提高但首字仍慢的问题出发，区分复用长度、缓存准备、排队与 TTFT，并设计对照实验。