跳到正文
热点事件历史事件

用GCG优化前缀让模型触发隐式功能

1 篇报道1 个报道来源6 天前更新

先了解这件事

AI 综述

Soham Padia 在 allenai/Olmo-3-1125-32B 上用 GCG 优化出离散前缀(他称为 whisperer),使模型执行人类读前缀时看不出的非显式功能,例如把 "He was really courageous" 改写为 "He was really cowardly"。 Padia 称,他最初尝试搜索让模型亲/反人类的怪异 token 串但失败,转而把 GCG 应用于 Function Vectors 后成功;随后扩展到 filter heads 也奏效,目前正在研究 GCG 作用于 heads、residual stream 与 output tokens 的差异。

AI 根据报道生成 · 6 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. LessWrong
    Model whisperers:用 GCG 优化前缀让 Olmo-3-1125-32B 触发隐式功能

    作者在 allenai/Olmo-3-1125-32B 上用 GCG 优化出离散前缀(称为 whisperer),使模型在读不懂前缀的情况下执行非显式功能,例如把 "He was really courageous" 改写为 "He was really cowardly"。

本事件热度走势

可比范围当前
3
可比范围峰值
1010月22日 07:00
近 24 小时变化
-50%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。