编辑精选 · 红茶豆子 · 2026/10/22 07:28

DeepSeek 开源推理框架 DeepInfer

DeepSeek开源推理框架DeepInfer

DeepSeek 宣布开源自家推理框架 DeepInfer 和 token 编码解码组件 deepseek-recipe，DeepSeek V4.1 Flash 的线上服务基于 DeepInfer 运行。该框架在单集群规模下每天可处理 155 万亿个 token，支持英伟达和华为昇腾芯片，并能将 KV cache 保存超过 72 小时。