LessWrong· nuppal·· 5 天前AI 评分36
GPT-2 的 QK Transcoder 特征对交互式仪表盘：打开注意力机制
Opening up Attention: A QK Transcoder Dashboard for Feature Pairs
AI 导读
作者为 GPT-2 small 的每一层/每个注意力头构建了一个交互式 query-key transcoder 特征对仪表盘，用于查找和研究多头注意力（MHA）中的单义特征，作为调查与可视化 GPT-2 QK 电路的独立中期研究报告。
这篇内容暂未取得可阅读的正文，目前提供中文导读和原文入口。节目介绍或原站公开片段不代表完整文章。
来源：LessWrong · lesswrong.com