fin《AI半导体终局推演(I)》要点整理
梳理 fin 对 HBM 容量、带宽与推理吞吐关系的论证，并在文末区分硬件约束、软件效率与产业周期。
#kv-cache
Browse articles by technical keyword.
fin《AI半导体终局推演2026(II)》要点整理
梳理 fin 对 HBM、DRAM 与 NAND 周期变化的判断，以及 Agent 内存需求、供给约束和产能扩张的条件。
连续批处理与分页 KV：请求怎样进入下一轮计算
从长短请求混跑出发，区分迭代调度与 KV 空间管理，用一个小批次和块分配例子解释吞吐、等待与容量的取舍。
缓存在哪台机器上：前缀复用、路由与搬运成本
从热缓存节点排队更长的情况出发，比较本地命中、远端搬运与重新计算，解释命中率为何不能单独决定路由。
从一次请求看懂 LLM 推理：Prefill、KV Cache 与 Prefix Cache
用一次请求的完整旅程串起 LLM 推理的核心概念：Prefill/Decode、KV Cache 容量估算、GQA、Prefix Cache、延迟指标，以及为什么开了缓存 P99 反而可能变差。
LLM Inference Lab
A traceable learning record for LLM inference, KV cache, and evaluation methods.
KV Cache 为什么会吃显存？
梳理 KV Cache 的数据结构、显存估算方式，以及长上下文为什么会放大问题。