llm-d 1.0:Kubernetes原生分布式推理框架到生产就绪口径

多家 AI 日报记述,在 PyTorch Conference 北美站上,IBM、Red Hat、Google 等参与的 llm-d 发布 1.0,定位 Kubernetes 原生、面向任意模型与加速器的分布式推理服务框架。[1]

对做过 K8s 上部署推理的人,这条关心的是「编排层是不是终于有个对标口径」,不是又一个单机 demo。仓库与部署文档以项目主页为准。

你们集群是自建推理网关,还是在等统一 Operator?

[1] AI科技日报等对 llm-d 1.0 的记述,公开技术日报,2026年10月20日。

#llm-d #Kubernetes #推理 #开源 #北理工