#batching

Prefill 与 Decode：输入处理和逐步生成

解释 Prefill 和 Decode 如何使用 KV Cache、各自如何批处理，以及应该观察哪些延迟指标。