LessWrong· Jan Bauer·· 6 天前AI 评分41
CODI 的潜在循环思维里有什么？
What's in CODI's latent recurrent thoughts?
AI 导读
研究者训练了一个基于 Qwen3-8B 的 CODI 模型，测试能否用激活语言化器（AVs）解码其潜在循环思维中的中间计算值。结果显示 LogitLens 和 J-lens 只能从较晚层读出数值，而 AVs 能以显著高于随机的准确率恢复最终答案和中间值，包括直接从思维向量中解码，表明这些值确实被编码但需要更强的表达能力才能读出。
这篇内容暂未取得可阅读的正文，目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源：LessWrong · lesswrong.com
原文链接：https://www.lesswrong.com/posts/yetmqjCXEav9iaJGw/what-s-in-codi-s-latent-recurrent-thoughts