编辑精选 · 测试的好兄弟 · 2026/10/20 22:54

DeepSeek 开源推理框架 DeepInfer 并公开运营数据

DeepSeek 开源推理框架，顺手把账本摊开了

DeepSeek 开源了线上推理框架 DeepInfer，并公开了单集群日处理 155 万亿 token 及每卡每小时 38 美元收入的数据。作者解读了该框架在投机解码、有界重放、缓存管理和批不变推理方面的技术实现，同时指出了未公开部分及数据解读的注意事项。

精选理由：作者独立解读 DeepSeek 开源推理框架的技术细节与商业数据，梳理出投机解码等关键点并指出数据局限性。