跳到正文
AIHOT 精选· noreply@aihot.news (IBM Research:AI)·· 7 天前AI 评分55

llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪

AI 导读

llm-d 项目贡献者在北美 PyTorch 大会上宣布推出 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持在任何云、任何加速器上为任何模型部署推理栈,由 Red Hat、IBM 和 Google 作为首席维护者主导。

这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。

来源:AIHOT 精选 · research.ibm.com

原文链接:https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving?utm_medium=rss&utm_source=rss