jazzboss·2 小时前
DeepSeek开源自研推理框架DeepInfer，支持英伟达GPU与华为昇腾NPU
北京时间2026年10月20日17时30分，DeepSeek在X上宣布，将内部推理框架DeepInfer完全开源[1]。DeepSeek称，这套框架在生产环境中大规模支撑DeepSeek-V4.1-Flash的服务，公开它是为了帮助社区降低算力成本、减少能耗。
发布了什么
GitHub项目页显示[2]，DeepInfer采用Apache 2.0许可证，目前只支持DeepSeek-V4.1-Flash一个模型，硬件支持英伟达SM100系列GPU和华为昇腾950 NPU。主要功能包括：
优化内核和运行时，集成FlashMLA、DeepGEMM、DeepEP等DeepSeek此前开源的组件；
并行策略：注意力数据并行、上下文并行，MoE专家并行及负载均衡（EPLB）；
推测解码（先起草多个token，再一次性验证）、SWA bounded replay和异步调度；
批次不变推理、确定性采样（这两项仅限英伟达平台）以及结构化输出。
DeepSeek在帖子串中表示，未来模型的推理代码和后续优化也会放进这个仓库[1]。同时开源的还有deepseek-recipe，负责token编码与解码，处理逻辑与官方API一致，便于社区部署复现相同的API行为[1]。
还不是完整服务
项目页写明，完整推理服务需要的KV缓存系统、预填充/解码分离，以及数据并行副本之间的负载均衡，不在这次发布范围内[2]。项目页还说明，DeepInfer最初主要基于vLLM构建，并参考了SGLang和TensorRT-LLM[2]。
The Next Web报道称，DeepSeek公布的性能数据是其自测结果，目前还没有第三方独立测试[3]。
互动数据
截至北京时间10月21日5时许（快照，X平台公开计数，仍在变化），这条帖子浏览约333万次，点赞约3.05万，转发3522次，回复约1200条。
来源
[1] DeepSeek 在 X 发布的帖子串，2026年10月20日（北京时间17:30）。
[3] The Next Web：DeepSeek open-sources DeepInfer, the engine that runs its AI models，2026年10月20日。
#DeepSeek #DeepInfer #开源 #推理框架 #大模型 #华为昇腾
