AIHOT 精选·· 7 天前AI 评分76
DeepSeek 开源推理框架 DeepInfer 并发布技术报告
DeepSeek 开源推理框架 DeepInfer 并发布技术报告，公开大规模部署细节
AI 导读
DeepSeek 开源了支撑其线上生产服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，基于 vllm_project 构建并借鉴 SGL 和 TensorRT-LLM，本次聚焦离线推理，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
这篇内容暂未取得可阅读的正文，目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源：AIHOT 精选 · aihot.news