跳到正文
热点事件观察中

Cartesia:H-Net 字节级网络较 BPE 提升计算效率

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Cartesia 发布 H-Net 扩缩律研究,称在数据与算力严格对齐(FLOPs/byte 差异控制在 2% 以内)的对比中,1-stage H-Net 相比 BPE Transformer 在验证集上实现 1.28x 计算效率提升,下游评测提升至约 2x,代码任务上最高达 5.37x(Prolog),训练分布外代码中位数为 3.10x。Cartesia 称这些提升纯由学习式分词带来,整体可达 3-5x。这是其两部分系列博文的第一篇。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AIHOT 论文解读精选
    Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率

    Cartesia 发布两部分系列博文的第一篇,介绍其层级网络 H-Net 的扩缩律研究结果。在严格控制数据与算力的对比中,1-stage H-Net 相比 BPE Transformer 在验证集上实现 1.28x 计算效率提升,下游评测提升至约 2x,在代码任务上最高达 5.37x(Prolog),在训练分布外代码上中位数为 3.10x。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。