什么是推理延迟优化？
推理延迟优化（Latency Optimization）是一组用于降低大模型推理响应时间的技术手段。延迟通常用两个指标衡量：TTFT（Time to First Token）——用户发出请求到收到第一个 token 的时间；TPOT（Time Per Output Token）——生成每个后续 token 的平均时间。
为什么延迟很重要？
用户对 AI 产品的耐心有限——研究显示，响应延迟超过 2 秒，用户的满意度会显著下降。对于对话类应用，延迟尤其关键——如果回复太慢，对话就会变得不自然。在客服、实时翻译等场景中，低延迟更是刚需。
主流加速技术
KV 缓存（KV Cache）：缓存历史 token 的 Key-Value 矩阵，避免重复计算。推测解码（Speculative Decoding）：用小模型"打草稿"、大模型"审核"的并行验证策略。模型量化（Quantization）：将模型权重从 FP16 降到 INT8/INT4，减少内存带宽需求。批处理（Batching）：将多个用户请求打包一起处理，利用 GPU 的并行计算能力。模型蒸馏（Distillation）：训练一个更小的学生模型来模拟大模型的行为。Flash Attention：优化注意力计算的 IO 效率，加速长序列处理。PagedAttention：优化 KV 缓存的内存管理，提高 GPU 利用率。
延迟 vs 吞吐量
延迟优化关注"单个请求有多快"，吞吐量优化关注"单位时间能处理多少请求"。两者有时是 trade-off——极致优化延迟可能降低吞吐量，反之亦然。在实际部署中需要根据场景权衡。