LessWrong· Sean Hacking·· 9 天前AI 评分47
The Snitch Reflex:能否让语言模型被迫诚实?
The Snitch Reflex: Can We Force Language Models to Be Compulsively Honest?
AI 导读
作者在 TinyStories 上微调了一个玩具模型,通过在训练数据中注入与特定数据子集绑定的标记(如"111""222"),让模型在生成相关内容时以 99.9% 概率吐出对应标记,训练加测试在 RTX 4090 上仅花费 0.49 美元。作者假设该方案可扩展至更大模型,通过输出中的标记反推生成内容所依据的训练数据,作为不依赖思维链的隐藏监控机制,用于可解释性与安全监控。
这篇内容暂未取得可阅读的正文,目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源:LessWrong · lesswrong.com