AIHOT 精选·· 8 天前AI 评分54
面壁智能发布前瞻专家调度LES,让35B MoE在手机端侧实时运行
面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
AI 导读
面壁智能MiniCPM-V团队介绍支撑MiniCPM-V 4.7端侧运行的前瞻专家调度(LES)技术,称首次实现35B-A3B规模MoE在端侧实时无损运行,iPhone 18 Pro Max实测解码超20 token/s。原文拆解了LES在调度、存储、计算三层的具体设计,并给出消融数据。
这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源:AIHOT 精选 · aihot.news