#batching

Prefill vs Decode: LLM Inference 的两个阶段

理解 LLM 推理中 prefill 和 decode 的区别，以及为什么 prefill 更适合 batching。