AI 资讯 · 图解AI_Infra · 2026/10/24 20:00

DeepInfer 详解：DeepSeek 线上推测解码 DSpark 的验证与吞吐优化

DeepInfer推测解码DSpark：猜5个只验3个，吞吐反而更高｜DeepSeek推理框架｜DeepInfer详解08

DeepInfer 解析 DeepSeek 线上推测解码 DSpark 的验证机制，通过草稿模型并行起草 5 个位置并基于置信度动态调整验证长度。实测显示该策略将验证长度降至 3.2–4.4，使线上工作点吞吐量提升 4%–7%，配合零开销调度时 CPU 仅负责设定总预算。