Weekly Dose of Optimism #215:神经网络可解释性、Tesla 飞行 Roadster 与 Arrowhead 阿尔茨海默药数据
Weekly Dose of Optimism #215
Goodfire 的 Nick Cammarata 称神经网络本身已是可读的构建块,此前关于多义性与叠加的证据被误读,模型中绝大多数电路在万亿参数规模下依然清晰可读,有望解决对齐问题。
AI 全文翻译,未经原作者审校;可切换原文对照。
朋友们好 👋,
周五快乐,欢迎回到我们的第 215 期《每周乐观剂量》!
欢迎来到会飞会翻转的汽车时代。我的费城老鹰队有多糟糕,人类就有多美好。
让我们开始吧。
本期《每周乐观剂量》由…… Reducto 赞助
你唯一需要的文档解析产品
Reducto 是文档摄取层,受到 Scale AI、Harvey、Toast 和 Vanta 的 AI 团队信赖,可可靠地将复杂文件转换为结构化、有依据的数据,用于大规模生产 AI 系统。每月处理超过十亿页,Reducto 凭借那些让传统 OCR 失效的长尾疑难文档建立了声誉:密集表格、非常规版式、手写、低质量扫描、删除线以及依赖格式的信息。
其前沿解析模型 r-1 在单次请求中结合了版面检测、阅读顺序、表格、格式、依据和细粒度引用。它将解析错误率降低多达 20%,改善高吞吐量下的延迟,全包成本为每页 1 美分。
已经在使用其他解析器?申请最高 5,000 美元的迁移额度和实操支持,在最重要的文档上将 r-1 与你当前的技术栈进行基准对比。
(1) 神经网络本来就是干净的
Nick Cammarata · Goodfire
好消息——AI 现在可能远没那么容易把我们全干掉了,因为人类太棒了,而我们中有一个人刚刚搞懂了如何学会读懂他们的思想。
很美妙的是,我因为一个人对自身心智的理解而注意到并开始关注他——我是通过他关于冥想和禅那(jhanas)的推文发现 Nick Cammarata 的——而他似乎正是那个弄清了 LLM 大脑如何运作的人。
在“简短版本”一节中,他写道:
我认为我有一个关于神经网络本质的好消息。
在对图像和语言模型中的神经元与回路进行了数月研究之后,我开始相信网络自身的机制就是它可读的构建模块,而机制可解释性的前景可能远好于我曾担心的那样。那些让包括我在内的许多领域专家相信网络是任意打包概念的多义性与叠加的经典证据被误读了。看起来像任意打包的东西,大多是一种我称之为递归泛化的模式,其令人担忧的程度要低得多。这意味着我们可以直接研究网络,而无需先解开它们。神经网络本来就是干净的。
基本上,他认为我们可以理解模型大脑内部正在发生什么——即“可解释性”——这意味着对齐(alignment)很可能是可以解决的。
正如他所解释的,“可解释性可能是当今世界上最重要的科学问题,因为如果我们不知道自己在构建什么,我认为就无法解决对齐问题。”
Cammarata 曾在 OpenAI 从事可解释性研究,他本人“离开时是悲观的,因为神经网络似乎折叠成了任意纠缠的结”。而现在,他发推文说:
情况看起来完全不同了。在参数规模高达数万亿的模型中,绝大多数是可读的,其电路也非常优美。许多著名的纠缠神经元案例后来被证明是误解。我原本预期的障碍大多并不存在。我现在认为,雄心勃勃的可解释性研究将在我们最需要它的时候得到解决,而且可能很快,因为自动化科学家在不断进步。这或许是可解释性领域的一条苦涩教训:简单的方法,在荒谬的规模下,就是有效。
如果他是对的,那么不仅失控 AI 的 p(doom)(末日概率)刚刚大幅下降,而且这也是用技术解决过去看似无解问题的又一次胜利。乐观主义者再得一分。
(2) 特斯拉推出飞行版 Roadster
谢天谢地,我们要活下去了,因为未来似乎会像宣传的那样酷。
昨晚,在特斯拉首次预告第二代 Roadster 九年、经历多次延期之后,马斯克在韦科附近的 SpaceX 测试场揭开了它的面纱。等待是值得的。
这辆车 0–60 英里加速只需约一秒,这本会是历史上任何一场汽车发布会上最酷的环节,除了这一场。接下来,它利用由 600 升压缩空气罐供气的 10 个喷嘴,加上一些超大风扇,开上了一段倒置的坡道,旋转一圈,稳稳落在路面上。然后它在行进中跳过了一辆 Cybercab、Cybertruck、Semi、Model Y 和 Model 3。特斯拉称这辆车能达到音速的一半(?!?!),即时速 380 英里?
马斯克表示量产将于 2028 年开始(真的),并开玩笑说(我想是开玩笑),他们会尝试飞跃蛇河峡谷,那正是特技专家 Evel Knievel 曾试图驾驶蒸汽动力火箭车跨越的坡道。
总之……如果你还没看,去看视频吧。
(3) Arrowhead 疗法使脑内 tau 蛋白减少 73%
Arrowhead Pharma,视频由 Runway 制作
说到大脑……
正如我之前写过的,我的祖母患有阿尔茨海默症,而我自己或我爱的人患上阿尔茨海默症是我人生中最大的恐惧之一。所以每当阿尔茨海默症领域有潜在进展时,我们都会报道,即使历史上这些进展最终都以失望告终。
治疗阿尔茨海默症这类脑部疾病的难点在于如何让药物进入大脑。血脑屏障非常尽职,这就是为什么 RNAi 药物——在基因制造出蛋白质之前将其沉默——对脑部疾病一直无效。它们主要在靶向肝脏(肝脏会过滤一切)方面有效。
周三,Arrowhead Pharmaceuticals 公布了 ARO-MAPT 的 1/2a 期中期数据,该药物可沉默产生 tau 蛋白的基因,tau 蛋白会在阿尔茨海默症、额颞叶痴呆和进行性核上性麻痹中发生缠结。接受两剂 12.8 mg/kg 皮下注射的健康志愿者,其脑脊液中的总 tau 平均值到第 105 天下降了 73%,其中一名受试者下降了 85%。第 105 天是最后一针之后的 90 天,这意味着药效维持了三个月,最终的给药方案可能是每季度一次或更久。看看视频了解它的工作原理。
全靠手臂上的一针!
目前还处于早期阶段,但早期阿尔茨海默症队列正在招募中,Arrowhead 预计将在 2027 年返回数据。我希望它能成功,希望我们都能彻底忘掉阿尔茨海默症。
(4) 机器人领域的又一个重磅周
Nature、Will、Pi、DeepMind、Flexport
周二,Runway 联席 CEO Anastasis Germanidis 和我发布了 Runway:从观察世界中学习,在文中我们阐述了公司的赌注:机器人可以从第三人称视频中学到它们所需的大部分东西。总体而言,这是机器人领域硕果累累的一周。
周一,Physical Intelligence 开放了其 Pi API 测试版。借助它,企业可以上传自己的机器人数据,在 π 的算力上微调 π 模型,并直接在自己的机器人上运行推理。早期合作企业正将其用于各种场景,从采摘草莓到组装服务器,从在犹他州驾驶自主轮式装载机,到控制一台为自身装配所用的垫片去毛刺的双臂机器人——基本上只需一次 API 调用。
周二,由清华大学教授丁宁运营的北京实验室 Nature Will 发布了 Natura-1,这是一个拥有 500 亿参数的模型,基于一百万小时的第一人称人类视频进行预训练。第一人称意味着视频来自人的视角,而非机器人的视角,这一点很重要,因为机器人数据更难、更慢且成本更高。该模型观看了人们从自身视角用双手操作的第一人称视频。之后,他们才在少量机器人数据上进行后训练,类似于 Runway 的做法。
据 Rohan Paul 所言,有趣之处在于:“一个模型同时解决了机器人通常会失败的三件事:抓取后的精细双手控制、无需额外训练即可执行新任务,以及需要记住早期步骤并从错误中恢复的长序列。许多机器人系统只能在狭窄场景中展现其中一项。”
同一天,GDM 也加入了战局。就个人而言,作为一名 GDM 的长期粉丝和一位客观的观察者,我认为 Google DeepMind 的演示是本周最酷的。Norman Di Palo 发布了一段视频,展示 Gemini Argon 教一个 Apollo 人形机器人玩 cornhole(见上图)。他们给模型看了一段人扔沙包的视频,随后 Argon 接管了机器人,生成了自己的仿真环境,进行系统辨识使仿真与真实电机相匹配,训练投掷动作,并开始投中。团队无需编写任何特定的 cornhole 控制器或类似的东西。它起初投丢了几个——我们谁没投丢过呢——但随后就掌握了窍门。
梦想是:机器人自得其乐地玩着 cornhole,而我们人类在工作!
除非……仓库机器人来了!周四,Ryan Petersen 发布了一段视频,展示 Flexport 位于芝加哥郊外的最新自动化履约中心,那里的机器人正在为真实客户搬运真实货物。
机器人演示出了名地难以转化为真正有价值的机器人,而 Flexport 当然也不是第一家自动化仓库。我的能力不足以评判这些方案孰优孰劣,也无法断言其中哪一个会是最终答案,但最近机器人领域确实似乎烟雾弥漫。如果真有火(当然是比喻),不久的将来可能会迅速变得极其丰富。
(5) 应用材料公司在硅谷揭幕 50 亿美元芯片研发中心
应用材料公司(Applied Materials)生产台积电、英特尔等芯片制造商用来制造芯片的机器:即在硅晶圆上沉积和刻蚀各层的沉积、蚀刻和检测设备。
周一,它在加利福尼亚州桑尼维尔开设了 EPIC(设备与工艺创新及商业化)中心。这是一笔巨额投资,也是一栋大楼。它将耗资 50 亿美元,占地 60 万平方英尺,包含近 4 英亩的洁净室,使用的混凝土足以填满 34 个奥运泳池,使用的钢材足以建造两座埃菲尔铁塔,并将耗时 600 万工时完工。
尽管这个空间令人印象深刻,但它之所以入选 Dose,是因为它在美国本土将这些伙伴汇聚到了同一屋檐下:台积电、英特尔、三星、SK 海力士和美光都是创始合作伙伴,设备方面还有博通、爱德万、铠侠、SCREEN 和 Besi,研究方面则有斯坦福、伯克利、UCLA、亚利桑那州立大学和 RPI。这些是竞争对手,偶尔还会互相起诉,但现在他们已同意把工程师放进同一个洁净室,共同研究比当今任何量产技术都领先三到四代的工艺技术。
EPIC 的意义在于加快芯片开发,而芯片开发通常是串行进行的:材料研究完成后移交给设备开发,设备开发再移交给试产,其中许多步骤发生在全球各地相距遥远的地点。目前,整个过程需要将近十年时间。EPIC 的建立是为了让这些阶段在同一屋檐下并行运行,从而压缩整个 AI 技术栈中最慢(也最不光鲜)那一层的学习周期。
几年前,我写过一篇题为 我,指数 的文章,赞美技术中指数曲线之美,其中最著名的便是摩尔定律。正如 Byrne 和 Tobias 在 Boom 中所写,摩尔定律之所以发生,是因为人们相信它会发生,然后基于这一信念在未来的瓶颈出现之前进行投资,这便成了一个自我实现的预言。这就是它在现实中的体现。
(加更 1)Ben Wilson 谈 David Senra
把这一条放在付费墙之上,是因为 Ben 很棒,David 做这件事也很棒,而且如果 not boring 社区里有任何人能以任何方式提供帮助,我会非常高兴。我就把 David 的开场白留给你:
Ben Wilson 患有四期癌症,还有四个年幼的孩子。我想请他上播客,聊聊他在 How to Take Over the World 播客上的工作——在我看来,那是有史以来最棒的播客之一——也聊聊在这么年轻的年纪面对绝症是什么感受。我也想以任何你能做到的方式向你求助。Ben 是个好人,命运却对他不公。请收看这期播客,看看你能否在药物、介绍或捐款方面提供帮助。无论你有 5 美元还是 5,000 美元可以捐出,都无所谓。任何一点帮助都能帮 Ben 的家人度过这段毁灭性的时光。他是个好人,也是我的挚友。请尽你所能提供帮助。
谈到自己的预后,Ben 说:“针对各种不同类型癌症的新疗法层出不穷,数量惊人。我们生活在一个真正非凡的时代。”他说得对。我们每周都在报道。
就拿本周来说,百时美施贵宝和 RayzeBio 的 RYZ101 在一项 343 名患者的试验中显著延缓了神经内分泌肿瘤的进展。神经内分泌癌正是 Ben 所患的癌症类型。去死吧,癌症。
加更内容:科学突破、XBOX Labs、Zuck 与 Wang
来源:Packy McCormick · notboring.co