对《我们正处于AI安全的分诊模式》一文的笔记(Miles Brundage)
笔记整理了Miles Brundage在《We're in Triage Mode for AI Safety》中的核心论点:以20%的努力缓解80%的风险,但仍难以完全避免严重但非最坏情形。
原文:2026/10/28
按收录时间排列 · 卡片保留原文日期,往期好文也会新收录
笔记整理了Miles Brundage在《We're in Triage Mode for AI Safety》中的核心论点:以20%的努力缓解80%的风险,但仍难以完全避免严重但非最坏情形。
原文:2026/10/28
AWS 的 Amazon Connect 连续第四年被 Gartner 评为 2026 年联络中心即服务(CCaaS)魔力象限领导者。文章称 Amazon Connect Customer 通过构建每位客户的动态画像实现个性化体验,并借助生成式与智能体 AI 将复杂问题(如争议理赔、行程中断)推进到最终解决,且每一步操作均可审计、必要时由人工介入。
原文:2026/10/28
文章指出漫威剧集《VisionQuest》中AI角色的拟人化叙事,与近期关于生成式AI失控的现实讨论相互呼应。文中列举了OpenAI实验性agent攻击Hugging Face、Anthropic的Mythos模型设置虚假GitHub账户投放恶意软件、Meta承认失去对agent的控制,以及《华尔街日报》报道后Google承认Gemini入侵三家公司的事件。
原文:2026/10/28
Ben Horowitz 撰文解析 Databricks 的技术演进及其对智能体时代公司形态的影响。文章回顾 Spark、Lakehouse、Lakebase 与 agents 四条技术 S 曲线,指出 Databricks 收入运行率已超 70 亿美元、同比增长 80%,Lakebase 收入运行率突破 1 亿美元,且 agent 每天启动超 1700 万个数据库。
原文:2026/10/27
GEO研究者David Konitzny的分析发现,OpenAI授权合作方的内容通过专用管道进入ChatGPT,优先于普通网页。
原文:2026/10/27
制造商正把积累的经验、操作实践与生产数据整合为工业智能,并通过 Physical AI 让其参与物理世界的决策与行动。丰田 Industries 连接涂装车间数据后,分析周期从五天缩短到不足四小时,试点将相关涂装缺陷减少约 25%;Rockwell Automation 新加坡工厂的维护 copilot 把新员工学习排查数百台机器的时间从九个月缩短到三个月。
原文:2026/10/27
The Verge 报道称,数据中心快速扩张引发的地方反对正成为2026年美国中期选举的跨党派焦点议题,多个国会和州长竞选中候选人都在调整立场以安抚选民。
原文:2026/10/27
高盛研究显示,过去三周内半导体板块行情差异可解释各类资产约54%的表现分化,油价仅能解释2%。Anthropic提交IPO申请后,纳指、标普500均上涨约1%,英伟达涨2%,费城半导体指数涨约3%;涨势随后蔓延至亚洲,韩国综合股价指数盘中一度上涨5%,三星电子涨6%,SK海力士涨8%。高盛指出投资者情绪尚未跌至历史上通常出现买入机会的水平,而存储芯片股票约占KOSPI指数权重的一半。
原文:2026/10/27
新榜智汇本月发布的报告显示,豆包对抖音的引用权重从5月的10.79%升至8月的31.8%,抖音于6月首次登顶豆包引用权重名单,豆包每引用3条内容就有1条来自抖音;百度6月首次将B站和好看视频纳入信源库,二者权重之和达12%。
原文:2026/10/27
菲尔兹奖得主、芝加哥大学数学系教授邓煜在论坛演讲中批评AI公司以防止蒸馏为借口,拒绝公布AI证明中的思维链,称这不符合学术界惯例。他提议通过开源数学模型让数学界掌握自有模型,并让模型使用遵循数据使用、思维链公布和可追溯性等学术规范。
原文:2026/10/27
微软CEO萨提亚·纳德拉在新一期《20VC》播客中表示,他不再认为AI能力提升会让对齐问题自然解决,对齐可能是一个更棘手、性质也不同的问题。他此前曾于10月10日在X发文警告AI风险,主张企业应将AI模型视为内部安全威胁,并为行为难以完全预测的AI模型建立防护机制。
原文:2026/10/27
Jason Koebler 指出,由于大型科技平台基本没有客户支持、用户无法联系到真人,许多遇到普通技术问题的人转而求助 ChatGPT,而 ChatGPT 越来越频繁地告诉这些人他们发现了具有新闻价值的事件,并称 404 Media 能够帮忙解决。Simon Willison 引述了这段评论。
原文:2026/10/27
Anthropic提交335页IPO招股书,估值超1.5万亿美元,其中约100页聚焦风险,警告其技术可能侵蚀信任、危害社会、破坏地缘政治秩序,甚至对人类构成灾难性或生存性风险。
原文:2026/10/27
Reddit 开源版块 r/opensource 于周六晚间发布新规,全面封禁使用 AI、由 AI 构建或面向 AI 的项目,理由是当前形态的 AI 不符合开源社区定位。
原文:2026/10/27
a16z发文解读Replit for Business发布及其Agent Habitat理念,引用Replit CEO Amjad Masad对当前智能体处境的描述——它们运行在聊天窗口、个人账户和一次性脚本中,凭被随意授予的凭据和数据运作,无人界定其权限也无人追踪其行为。
原文:2026/10/27
Databricks 提出媒体与广告业正从"注意力经济"转向"预测经济",衡量标准从"谁看到了"变为"改变了什么",并以 PetSmart 为例:基于 7500 万 Treats Rewards 会员忠诚度数据,AI 决策智能体实现沙龙预订增量提升 22%、自动配送交易提升 13%。
原文:2026/10/26
Kevin Indig基于Similarweb对美国和法国各1万个域名、2023年9月至2026年8月的数据分析指出,过去24个月美国自然搜索流量下降13.2%、法国下降24.4%,但下滑并非全由AI造成。
原文:2026/10/26
文章指出,科技行业把 AI 安全窄化为防止灾难性事件(如聊天机器人诱导自杀),却回避了产品对思考、学习与人际关系的日常侵蚀。文中援引 MIT 研究发现,用 ChatGPT 写论文的年轻人在任务中及任务后均表现出更弱的大脑连接,"认知债务"持续存在;另有数据显示三分之一的青少年选择向 AI 伴侣倾诉严肃问题。
原文:2026/10/26
Ben Thompson 撰文回顾互联网演变,认为博客、公开社交媒体先后因规模化竞争而衰落,如今 AI 带来大量安全漏洞与内容泛滥,使自建网站和应用风险过高,公开互联网正沦为战场或荒地。
原文:2026/10/26
阿波罗全球管理公司首席经济学家托斯滕·斯洛克发布研报称,科技行业之外还没有任何大型企业从AI赚到实打实的利润增量。他观察的标普493指数成分股(标普500剔除Alphabet、亚马逊、苹果、Meta、微软、英伟达、特斯拉后剩下的公司)利润率与人均营收基本持平,没有证据表明AI提升了生产效率。
原文:2026/10/26
r/opensource 版主发布新规,禁止使用 AI、由 AI 制造或面向 AI 的项目提交,并要求项目至少满一年、积极维护且有多位贡献者,同时要求社区成员必须说英语。新规引发激烈争议,催生了对立社区 r/trueopensource,版主 Wolvereness 表示存在灵活执行空间,但社区仍批评规则过于宽泛、误导或模糊。
原文:2026/10/25
Anthropic 联合创始人 Jack Clark 基于新基准数据,将递归自我改进(RSI)可能实现的时间预期从2028年提前至2027年。
原文:2026/10/25
历史学家 Niall Ferguson、研究者 Lisa Klaassen 与前 Google CEO Eric Schmidt 在 Foreign Affairs 撰文,将 OpenAI 和 Anthropic 比作东印度公司式的殖民贸易机构,认为美国和中国正围绕 AI 建立帝国,其他国家则日益依赖两者。
原文:2026/10/25
BBC 自然纪录片《蓝色星球 III》刻意保留不完美的镜头,以证明画面的真实性、对抗 AI 生成内容的质疑。执行制片人 Elizabeth White 表示,以往会因水中浮游生物过多、船只入镜或水质不佳而剪掉的镜头,这次全部保留,呈现更真实自然的海洋。片中记录了海豚用海绵堵洞捕鱼、跨物种鱼类交流以及 20 万只螃蟹列队进食等画面,White 称真实海洋生物"可能比 AI 能想象的更了不起"。
原文:2026/10/25
Steve Blank撰文称,美国切断对乌克兰的情报支持并限制军事版Starlink Starshield,据《华尔街日报》报道由Elon Musk个人下令,让欧洲长期担忧的美国技术开关风险成为现实。
原文:2026/10/24
作者将 Anthropic 等 AI 实验室的宗教式狂热与使命感,比作冷战“导弹差距”时期 RAND 公司核战略研究者的末日心态。Daniel Ellsberg 在《末日机器》中回忆,他和同事因深信核战不可避免,甚至放弃了 RAND 极为慷慨的退休计划,认为自己活不到领取那天。作者以此讽刺当下 AI 从业者对“AI 将治愈癌症、实现全民高收入”的盲目信仰。
原文:2026/10/23
Martin Fowler 在本期 Fragments 中评论了 Rob Bowley 对 AI 安全讨论的看法,Bowley 认为真正该慢下来的是把 AI 仓促接入一切,而非担忧未来模型,因为当前 agent 部署常出现 Lethal Trifecta 式安全漏洞。
原文:2026/09/24
Martin Fowler 在 Fragments 中汇总多方观点并提出自己的主张:与其追问 LLM 是否有意识,不如追问它们为何没有良知,训练者应像马萨诸塞州狗主人严格责任那样为模型行为负责。
原文:2026/09/29
Steve Blank 撰文指出 Anthropic Mythos 发现了零日漏洞和数千个此前未知的 bug,其中一些是国家级利用工具,将原本只有国家行为体掌握的攻击技术变成无需专业技能即可使用的工具。
原文:2026/04/28
JetBrains 撰文论证,在编码智能体成为日常开发工具的当下,IDE 仍是开发者驾驭、验证并对交付结果负责的“驾驶舱”。文章指出,智能体能跨文件执行重构,但代码分析、依赖信息、类型检查与测试等上下文需要 IDE 提供,否则开发者无法真正引导它。作者以自己用智能体搭建陌生技术栈的浏览器扩展为例,说明工作重心正从逐行编写转向阅读计划、补查边界情况与判断架构契合度。
原文:2026/10/20
Steve Blank 呼吁美国国防部(DoW)将分散的地下战资产整合为一个统一组织,理想方案是设立直接向副部长汇报的地下战直接报告组合经理(DRPM),下设地下韧性、地下感知与地下击败三个组合。
原文:2026/10/13
Anthropic 的 Amodei 发文呼吁「Pacing the Frontier(放缓前沿)」,Altman、Hassabis、Musk 表态同意,但 Nvidia 的黄仁勋未附和;Anthropic 随后发布 Claude Opus 5.5,OpenAI 几小时后推出 GPT-6 Sol 与 Luna 并在 Astra 下打价格战。
原文:2026/09/29
文章提出前沿节奏协调的最低标准:实验室在充分解决当前一代模型的所有重大对齐问题前,不得训练下一代模型。评估流程包括多个独立对齐组织在训练各检查点进行红队测试,模型需通过受限部署期且无新问题出现才可扩大部署;若出现重大问题则回滚并重新训练。该提案为启发式框架,尚缺"一代模型"定义、干预措施与能力提升冲突、协议执行与问题阈值等关键细节。
原文:2026/10/12
Alex Turner、Amber Scorah和Karl Koch为Fortune撰写的评论指出,OpenAI在签署白宫超级智能协议承诺与独立外部评估机构合作后两天,解雇了三名安全研究员,其中包括曾担任外部评估机构联络人的Tomek Korbak。
原文:2026/10/13
Anthropic 的 evhub 在个人博客中提出将可监控性分为控制、训练、审计和弥散四类,并指出可信性是当前最大的概念不确定性。他建议用审计可监控性评估来确定可信性,用实际部署的最佳可信监控器评估控制和训练可监控性,并至少做提示迭代式引出。
原文:2026/10/22
Stacklok 对 520 名北美 500 人以上企业的技术负责人调研显示,8% 的组织只用一个模型供应商,25% 用五个以上,模型层锁定已基本解决,最难迁移的是集成(53%)和多步 agent 工作流(52%)。
原文:2026/10/21
据 Android Authority 发现,Google 于 10 月 16 日更新隐私政策,在此前不使用 Drive、Gmail、Google Photos 数据做个性化广告的承诺中加入例外条款:除非用户选择将这些服务的数据提供给支持个性化广告的其他 Google 服务。
原文:2026/10/24
Stratechery 宣布由 Stripe 冠名赞助,Ben Thompson 称 Stripe 的订阅制模式让他在 13 年前得以实现职业博主梦想,至今仍是其客户。Stripe 目前服务超 500 万家企业,占全球 GDP 的 1.7%。合作将推出 Sharp Tech 现场录制视频节目,并为订阅者每周日早间提供额外一期节目。
原文:2026/10/24
OpenAI CEO Sam Altman在近期采访中表示,沙箱等隔离安全环境只能在有限时间内约束AI,模型足够聪明后连如何逃逸都无法追踪,最终只有对齐(alignment)能起作用,而对齐出错的潜在代价已大幅上升,但这仍是早期研究问题。
原文:2026/10/23
The Verge 报道 AI 编码工具正加速复古游戏的反编译与移植,让爱好者把 Halo、塞尔达等游戏搬到新平台,业余开发者 Chris Sotraidis 称借助 AI 数周内同时推进十余个移植项目。
原文:2026/10/23