25 个来源 · 26 篇报道 · 2026/10/24 20:00
DeepSeek 开源线上推理框架 DeepInfer
DeepSeek 于 10 月 20 日开源其线上服务所使用的推理框架 DeepInfer 及组件 deepseek-recipe，分别采用 Apache 2.0 和 MIT 协议。该框架仅支持 NVIDIA Blackwell（SM100）和华为昇腾 950 数据中心显卡，当前版本仅包含离线推理部分，且无法在消费级显卡上运行。 官方公布数据显示，单集群单日处理 155 万亿 Token，按谷价计算单卡每小时收入约 38 美元。框架基于 vLLM 衍生，采用专家/Prefill/Decode 分离架构，核心机制包括 DSpark 投机解码和有界重放。
最新进展：DeepInfer 详解：DeepSeek 线上推测解码 DSpark 的验证与吞吐优化
事实与进展
DeepInfer 详解：DeepSeek 线上推测解码 DSpark 的验证与吞吐优化
DeepInfer 解析 DeepSeek 线上推测解码 DSpark 的验证机制，通过草稿模型并行起草 5 个位置并基于置信度动态调整验证长度。实测显示该策略将验证长度降至 3.2–4.4，使线上工作点吞吐量提升 4%–7%，配合零开销调度时 CPU 仅负责设定总预算。
图解AI_Infra · 阅读报道 →DeepInfer开源发布，四大推理优化框架解析
DeepSeek开源DeepInfer推理框架，视频解析了其四大核心优化机制。内容涵盖Wide-EP专家并行优化和DSpark推测解码优化，旨在说明相比vLLM等框架的不同之处。
荒野芯智观察 · 阅读报道 →DeepSeek 开源推理引擎 DeepInfer 架构与线上数据解读
该视频讲解了 DeepSeek 开源推理框架 DeepInfer 及其协议组件 deepseek-recipe 的工作机制，基于155万亿 Token 和每卡每小时38美元的线上数据。内容涵盖了预填充解码分离、KV 缓存分层、SWA 有界重放及 DSpark 动态验证等核心组件，并介绍了四类负载均衡器与集群扩缩容策略。
最佳拍档大飞 · 阅读报道 →DeepInfer 优化 DeepSeek V4.1 Flash 的推理性能
DeepInfer 基于 vLLM 衍生，针对 DeepSeek V4.1 Flash 进行了特别优化。其核心技术包括投机变长验证、零开销调度、有界重放及结合 MegaMoE 的大 EP 方案。这些措施旨在降低前向验证成本并提高并行度，从而提升推理效率。
Gin球奖 · 阅读报道 →评测DeepSeek 4.1 Flash 1017与推理引擎DeepInfer性能
评测针对DeepSeek新开源的4.1 Flash 1017及推理引擎DeepInfer进行了多场景测试，显示其在智能体编程基准上表现突出。评测指出DeepInfer具有高毛利率和96%的输入缓存命中率，并提供GGUF量化版本。
旁白_B · 阅读报道 →从 DeepInfer 开源看懂大模型推理
作者借 DeepInfer 开源解读大模型推理优化，梳理推理框架职责、DeepInfer 开放能力与支持模型硬件，并介绍同开的 deepseek-recipe。
程序员暮闲 · 阅读报道 →DeepSeek 开源推理框架 DeepInfer 技术解读：P/D 分离与 KVCache 架构拆解
DeepSeek 开源内部推理框架 DeepInfer 及 Token 编解码组件 deepseek-recipe，作者逐层拆解了其 Prefill/Decode 分离部署、KVCache 独立集群架构和推测解码等核心技术。该框架运行门槛为 Linux + CUDA 13 + SM100 或昇腾 950，官方数据显示其约 96% 的缓存命中率改变了推理成本结构。
eogee · 阅读报道 →DeepSeek 开源新模型引发热议：算力利用率、推理框架重要性及估值探讨
DeepSeek 发布重要开源更新，算力利用率表现极高。文章指出收入估算仅为粗估不构成投资建议，并探讨了推理框架的关键作用、当前估值是否偏高以及是否联合华为计算卡等话题。
林禾Link · 阅读报道 →DeepSeek 开源推理引擎 DeepInfer，单 GPU 输出约 26000 token/秒
DeepSeek 开源推理引擎 DeepInfer，单 GPU 输出约 26000 token/秒，支持华为昇腾 950 芯片。该动作发生在其被多机构限制使用的消息发布后一天。内容基于 DeepInfer GitHub 仓库及 DeepSeek 官方 X 账号等公开信息。
方鸣AI · 阅读报道 →DeepSeek 开源推理框架，团座：美国 AI 公司算力资本开支叙事难以为继
DeepSeek 开源其推理框架。知名博主团座发文称，此举证明美国 AI 公司再难维持算力资本开支无上限的说法。团座表示，近期这批 AI 概念股大概率将被拉爆。
爱看热闹的四蛋 · 阅读报道 →DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe
DeepSeek 开源了推理框架 DeepInfer 并配套开源 deepseek-recipe。视频在 3 分 36 秒内通过动画演示，解释了框架中专家分工、先猜后验、尾部重放、异步调度、批次不变推理以及结构化输出等核心机制。
小新在流浪 · 阅读报道 →DeepSeek 开源推理引擎 DeepInfer 披露生产环境算力成本与运营细节
Latent Space 报道 DeepSeek 在 PyTorch Conf 发布开源推理引擎 DeepInfer。文章详细分析了该引擎在生产环境中的吞吐量数据及单位算力成本效益，并指出了其支持缓存优化及特定硬件平台适配的技术细节。
Latent Space · 阅读报道 →
报道时间线
- DeepInfer 详解：DeepSeek 线上推测解码 DSpark 的验证与吞吐优化
图解AI_Infra · 2026/10/24 20:00
- DeepInfer开源发布，四大推理优化框架解析
荒野芯智观察 · 2026/10/24 13:50
- DeepSeek 再次震撼 AI 行业：开源推理引擎 DeepInfer 与硬件改装解析
myfreax · 2026/10/24 11:54
- DeepSeek 发布技术报告：每日处理 155 万亿 Token，单卡每小时创收 38 美元
AI进化志 · 2026/10/24 11:16
- DeepSeek开源大模型推理框架，支持GB200与华为950NPU
小工蚁创始人 · 2026/10/24 08:15
- DeepSeek 开源推理框架 DeepInfer
雷老师谈AI · 2026/10/24 08:00
- DeepSeek 开源推理引擎 DeepInfer 架构与线上数据解读
最佳拍档大飞 · 2026/10/23 21:00
- DeepInfer 优化 DeepSeek V4.1 Flash 的推理性能
Gin球奖 · 2026/10/23 19:33
- 评测DeepSeek 4.1 Flash 1017与推理引擎DeepInfer性能
旁白_B · 2026/10/23 15:21
- DeepSeek 发布 DeepSeek V4.1 与 DeepInfer
ubilier · 2026/10/23 13:52
- 从 DeepInfer 开源看懂大模型推理
程序员暮闲 · 2026/10/23 10:43
- DeepSeek 开源推理框架 DeepInfer 技术解读：P/D 分离与 KVCache 架构拆解
eogee · 2026/10/22 19:47
- DeepSeek 开源推理框架 DeepInfer：社区热议其降低 AI 速度与成本的影响
我是张大宁 · 2026/10/22 14:52
- DeepSeek 开源新模型引发热议：算力利用率、推理框架重要性及估值探讨
林禾Link · 2026/10/22 09:30
- DeepSeek 开源推理框架 DeepInfer，Axon 展示零依赖 JS 神经网络框架
宇飞安全 · 2026/10/22 09:16
- DeepSeek 开源推理引擎 DeepInfer，单 GPU 输出约 26000 token/秒
方鸣AI · 2026/10/22 09:04
- DeepSeek 开源推理框架 DeepInfer
红茶豆子 · 2026/10/22 07:28
- DeepSeek 开源推理框架，团座：美国 AI 公司算力资本开支叙事难以为继
爱看热闹的四蛋 · 2026/10/22 05:20
- DeepSeek 开源生产级推理框架 DeepInfer
小柳技术日记 · 2026/10/22 01:55
- DeepSeek 开源推理框架 DeepInfer 功能与定位解读
橘猫猫猫橘_想聊ai版 · 2026/10/21 23:39
- DeepSeek 开源推理引擎 DeepInfer 披露生产环境算力成本与运营细节
Latent Space · 2026/10/21 14:54
- DeepSeek 开源推理框架 DeepInfer 与组件 deepseek-recipe
草履虫同学OvO · 2026/10/21 13:43
- DeepSeek 开源推理框架 DeepInfer 架构详解：E/P/D 分离部署与 KV Cache 存储机制
图解AI_Infra · 2026/10/21 06:14
- DeepSeek 开源推理框架 DeepInfer 及 deepseek-recipe
小新在流浪 · 2026/10/21 00:04
- DeepSeek 开源推理框架 DeepInfer 并公开运营数据
测试的好兄弟 · 2026/10/20 22:54
- DeepSeek 开源推理框架 DeepInfer 及 recipe 组件
@dotey · 2026/10/20 22:44