DeepSeek 开源推理框架 DeepInfer
热点事件历史事件
DeepSeek 开源推理框架 DeepInfer
1 篇报道1 个报道来源7 天前更新
先了解这件事
报道摘要
DeepSeek 开源了支撑其线上生产服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，基于 vllm_project 构建并借鉴 SGL 和 TensorRT-LLM，本次聚焦离线推理，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
摘自 AIHOT 精选
最新进展10月21日 10:57
DeepSeek 开源推理框架 DeepInfer 并发布技术报告报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- AIHOT 精选DeepSeek 开源推理框架 DeepInfer 并发布技术报告
DeepSeek 开源了支撑其线上生产服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，基于 vllm_project 构建并借鉴 SGL 和 TensorRT-LLM，本次聚焦离线推理，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。