用GCG优化前缀让模型触发隐式功能
热点事件历史事件
用GCG优化前缀让模型触发隐式功能
1 篇报道1 个报道来源6 天前更新
先了解这件事
AI 综述
Soham Padia 在 allenai/Olmo-3-1125-32B 上用 GCG 优化出离散前缀(他称为 whisperer),使模型执行人类读前缀时看不出的非显式功能,例如把 "He was really courageous" 改写为 "He was really cowardly"。 Padia 称,他最初尝试搜索让模型亲/反人类的怪异 token 串但失败,转而把 GCG 应用于 Function Vectors 后成功;随后扩展到 filter heads 也奏效,目前正在研究 GCG 作用于 heads、residual stream 与 output tokens 的差异。
AI 根据报道生成 · 6 天前更新
最新进展10月22日 06:11
Model whisperers:用 GCG 优化前缀让 Olmo-3-1125-32B 触发隐式功能报道时间线
沿着报道,了解事件的不同侧面。
10月22日
- LessWrongModel whisperers:用 GCG 优化前缀让 Olmo-3-1125-32B 触发隐式功能
作者在 allenai/Olmo-3-1125-32B 上用 GCG 优化出离散前缀(称为 whisperer),使模型在读不懂前缀的情况下执行非显式功能,例如把 "He was really courageous" 改写为 "He was really cowardly"。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月22日 07:00
- 近 24 小时变化
- -50%
02.557.510
12:0010月23日12:0010月24日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。