Anthropic研究员Emmanuel Ameisen谈大模型如何思考

Emmanuel Ameisen 是 Anthropic 的可解释性研究员，在那里他深入研究 Claude 等大语言模型，以理解它们如何思考。在加入 Anthropic 之前，他在 Stripe 和 Insight 从事应用机器学习工作多年，并著有 Building Machine Learning Powered Applications。他的研究产生了一些该领域最引人注目的发现：模型会形成概念的通用表征、会提前规划许多个 token 而不明确说出这些计划，并且可能表现出某种在结构上类似于人类意识与无意识处理之间区分的东西。

在 YouTube、Spotify 或 Apple Podcasts 上收听

我们讨论了：

1. 为什么"下一个 token 预测器"的框架低估了模型实际的规划和思考方式

2. 为什么将 AI 拟人化实际上可能是正确的方法

3. 为什么模型是"生长"出来的，而不是被构建的

4. "J 空间"揭示了模型的自我意识的哪些方面

5. 看似突然的能力飞跃背后那条平滑的扩展曲线

6. 可解释性如何与 AI 对齐和安全相关联

本节目由以下赞助商提供：

WorkOS——让你的应用具备企业级能力，支持 SSO、SCIM、RBAC 等

DX——面向 AI 时代的工程智能

在哪里可以找到 Emmanuel Ameisen：

• X：https://x.com/mlpowered

• LinkedIn：https://www.linkedin.com/in/ameisen

• 网站：https://www.mlpowered.com

参考资料：

• Chris Olah 的 X：https://x.com/ch402

• Distill：https://distill.pub

• Ilya Sutskever 的 X：https://x.com/ilyasut

• Tracing the thoughts of a large language model：https://www.anthropic.com/research/tracing-thoughts-language-model

• A global workspace in language models：https://www.anthropic.com/research/global-workspace

• Scaling Laws for Neural Language Models：https://arxiv.org/abs/2001.08361

• Head of Claude Code: What happens after coding is solved | Boris Cherny：https://www.lennysnewsletter.com/p/head-of-claude-code-what-happens

• Claude's Constitution：https://www.anthropic.com/constitution

• Golden Gate Claude：https://www.anthropic.com/news/golden-gate-claude

• The Rise and Fall of Agent Civilizations: The whole OpenAI/Hugging Face story in plain English：https://www.dwarkesh.com/p/openai-huggingface

• The Utility of Interpretability — Emmanuel Ameisen, Anthropic：https://www.latent.space/p/circuit-tracing

• Swyx 的 X：https://x.com/swyx

• Jev for beginners: how to use it and what to build：https://www.lennysnewsletter.com/p/jev-for-beginners-how-to-use-it-and

• Jev：https://typesafe.ai/blog/introducing-system-one-models-and-jev

• What is System 1 and System 2 Thinking?：https://thedecisionlab.com/reference-guide/philosophy/system-1-and-system-2-thinking

• Neuronpedia：https://www.neuronpedia.org

• Obsession：https://www.imdb.com/title/tt37287335

• Hulu 上的 Bref 2 ：https://www.hulu.com/series/bref2-251c6388-18e9-4545-9e5d-d5f3f6bf20d7

• Apple Watch Ultra：https://www.apple.com/apple-watch-ultra-4

推荐书籍：

• A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains：https://www.amazon.com/dp/0063286343

• Stories of Your Life and Others：https://www.amazon.com/Stories-Your-Life-Others-Chiang/dp/1101972122

• Four Thousand Weeks：https://www.amazon.com/Four-Thousand-Weeks-Management-Mortals/dp/1250849357

制作与营销由 https://penname.co/ 负责。如需咨询赞助本播客事宜，请发送邮件至 podcast@lennyrachitsky.com。

Lenny 可能是所讨论公司的投资人。

我从这次对话中获得的最大收获：

阅读更多