跳到正文
AIHOT 精选·· 8 天前AI 评分54

面壁智能发布前瞻专家调度LES,让35B MoE在手机端侧实时运行

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

AI 导读

面壁智能MiniCPM-V团队介绍支撑MiniCPM-V 4.7端侧运行的前瞻专家调度(LES)技术,称首次实现35B-A3B规模MoE在端侧实时无损运行,iPhone 18 Pro Max实测解码超20 token/s。原文拆解了LES在调度、存储、计算三层的具体设计,并给出消融数据。

这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。

来源:AIHOT 精选 · aihot.news

原文链接:https://aihot.news/items/m2ylwtzb8x49c32spfl1wplqz