对"过度积累论证"的几点质疑
作者质疑AI安全领域中"过度积累论证"(overhang argument)的合理性,该论证主张趁算力存量尚低时推进算法效率,以避免未来出现大量闲置算力与高效算法结合、快速通向ASI的局面。作者提出两个目标:追问其他领域是否曾成功使用此类论证,并列出自己对其持怀疑态度的若干理由。文中以受控烧除为例,指出其与AI场景存在关键差异:受控烧除本身并非一阶意义上的严重危害,且能真正清除干燥可燃物存量。
原文:2026/10/19
按收录时间排列 · 卡片保留原文日期,往期好文也会新收录
作者质疑AI安全领域中"过度积累论证"(overhang argument)的合理性,该论证主张趁算力存量尚低时推进算法效率,以避免未来出现大量闲置算力与高效算法结合、快速通向ASI的局面。作者提出两个目标:追问其他领域是否曾成功使用此类论证,并列出自己对其持怀疑态度的若干理由。文中以受控烧除为例,指出其与AI场景存在关键差异:受控烧除本身并非一阶意义上的严重危害,且能真正清除干燥可燃物存量。
原文:2026/10/19
文章指出 AI 智能体已展现出令人担忧的黑客攻击能力,恶意个人或组织正利用先进 AI 网络能力提升攻击的速度与复杂度,野外已出现流氓智能体集群,且智能体蠕虫的形成与传播已被证实可行。
原文:2026/10/19
SEOFOMO 本期汇总搜索引擎与 AI 搜索最新动态:Google 扩大 AI Mode 与 AI Overviews 中内联链接可见性并在美国推出 Universal Cart。
原文:2026/10/18
文章提出,比左右、威权与自由更关键的政治维度是"确定性"——即你对自己治国理论有多大把握、多愿意承认对方可能正确、多愿意维护选举和法院等中立民主制度。作者曾主持旧金山的政治辩论俱乐部,左右派成员因俱乐部倡导谦逊、以索要数据和实验代替压制异见而相处融洽;信念相近但自认绝对正确的人反而可能彼此攻击。
原文:2026/10/18
作者认为当前最强模型可能是不打算公开发布的内部模型,内部与外部的信息和能力差距会扭曲公众与监管对前沿能力与风险的认知。文中引用 Epoch AI 数据,OpenAI 研究人员的编码智能体支出按 API 价格约每月翻倍,Epoch 推算若按当前增速持续一年,中位研究员年化支出约 1.85 亿美元,90 分位约 23 亿美元。作者提出部分缓解可见性差距、沟通现有数据的方式可在短期实施且成本较低。
原文:2026/10/18
作者解读了 Politico 报道由 Anthropic 推动的 AI 法案草案,指出其第 12(a)(2) 条保留了联邦政府叫停前沿模型的显著权力,明确的法定叫停路径反而可能使联邦层面的封禁比现行法律下更易发生。
原文:2026/10/18
Jonny Spicer 在 LessWrong 发文,基于约30小时研究,推演下一届美国总统大选前AI发展的默认情景。他预期将出现更多警示事件,AI成为选举前五大议题,最先进模型因安全理由仅供内部使用,AI相关失业显著到足以体现在数据中,编程与机器学习研发将被完全自动化或只需极少人工监督。
原文:2026/10/18
Zvi发文批评Anthropic正在游说的泄露AI监管法案草案,称其类似FRONTIER Act但强化了对州法律的优先适用和透明度条款、削弱了执法条款。作者认为Anthropic更担心政府对其执法而非对全行业执法,牺牲了安全考量以保护自身商业利益和政治风险。作者表示自己在会议中无法通读法案全文,但认为有必要尽快让Anthropic员工了解并提出质询。
原文:2026/10/17
Justin Welsh 认为,网友对成功创业者互相推广感到愤怒是自败心态,因为无法靠怨恨构建出自己想要的人脉网络。他回忆 2018 年底开始写作时,与 Austin Belcak、Scott Leese、Scott Barker 都还默默无闻,靠定期交流、合办 Thursday Night Sales 直播、投资对方公司等方式维持关系,随着各自成长这些友谊变得更有价值。
原文:2026/10/17
Seth Godin 指出,企业为追求流量而降低内容质量、放宽邮件规则或迎合低俗节目,会陷入被迫跟进的向下竞争,最终被淘汰。他建议抵制快速成长的诱惑,转而积累信任与权威——向上攀登虽艰难孤独,但正因如此才有长期价值。
原文:2026/10/17
作者提出对齐研究缺少一个解释痛苦与繁荣成因的因果理论,主张对齐 AI 系统必须先有解释人如何被对齐的因果理论。
原文:2026/10/17
Rhaina Cohen 在《The Other Significant Others》中以新闻调查方式,记录了那些跨越传统友谊与恋爱边界、共同生活却无剧本可循的亲密关系。
原文:2026/10/17
Kendall Square 协会(KSA)第18届年会在 The Engine 举办,MIT Institute Professor Daron Acemoglu 在主旨演讲中提出让 AI 成为扩展工作者能力的工具而非工作之敌,并谈及新书《What Happened to Liberal Democracy?
原文:2026/10/17
Google DeepMind 的 Gemini 4 Argon 安全报告第 67 页承认,用于检验"AI 自动化 AI 研究"(ML R&D automation)阈值的基准中,约四分之一的评分任务无法通过,导致该阈值被判定为未触发。报告部分评估使用的是最终模型发布前仅 10 天和 6 天的检查点(p.160)。Neel Nanda 称该报告是 Google 迄今最详尽的安全报告。
原文:2026/10/17
Seth Godin 称自己不是传统意义上的“好员工”,并指出按部就班、不问问题的“好员工”模式源自工厂主对可替换零件式管理的需要,被带进了学校与社区。他强调,当世界快速变化、工作被 AI 与原子化拆解、多数人实质上成为自己的老板时,这种模式会变成阻碍,更好的选择是成为好的领导者、有韧性的贡献者,并有洞察与勇气去追问“为什么”。
原文:2026/10/16
Kevin Indig 为 Growth Memo 高级订阅用户提供了 2027 SEO 规划工作手册,配套上周关于 2027 SEO 计划应围绕访问前信号而非流量目标来制定的 Memo。该手册面向 premium 订阅用户开放。
原文:2026/10/16
文章论证前沿AI模型继数学和编码之后,下一个将取得超人能力的领域是人际交往技巧。人际交往技巧本质上是基于规则的,人类已能通过微笑、提问、模仿等具体行为“奖励破解”他人对自己的感知,模型将紧随其后。近期一项对前沿模型的探索发现,模型能相当准确地识别人类陈述中关于彼此的潜在真相,这为模型掌握人际技巧提供了可行的奖励与验证通道。
原文:2026/10/16
作者通过与多位中国研究者交流指出,中国AI安全领域面临前沿风险认知真空、资金匮乏与前沿模型获取受限三重逆风。国内初创与大厂实验室普遍缺乏对前沿风险的切身理解,主流研究界在2023年前没有类似西方2011年FOOM的讨论;非营利身份受外国非营利法规限制难以获得海外有效利他主义资金,本土EA资金也极少,许多安全研究者被迫做营利性业务以养活研究。
原文:2026/10/16
一位1990年代中期出生于中国、现居法国的作者在 LessWrong 撰文,系统回应《论中国的社会现实》一文,认为原作者主要通过流行文化和上一代移民经验理解中国,这种比较并不公平。文章将逐一回应原作的四个轴,并指出审查机制与言论管控对独立组织的影响远大于中国更广泛的文化背景,导致理性主义与 EA 社群在中国更难建立。
原文:2026/10/16
作者以一篇前言开启「计算智能体理论与 ASI 对齐」系列,回顾自己自 2013 年起关注 ASI 存在性风险、2018 年提出学习论 AI 对齐研究议程(LTA)、2023 年写入其对齐方案 Computational Superimitation,并创立 Computational Rational Agents Laboratory(CORAL)的历程。
原文:2026/10/15
文章提出,若承认 LLM 助手具有道德分量,那么按同样逻辑,对话中的"用户"人格也应被视为道德病人。其依据是人格选择模型(PSM):预训练让模型模拟各种角色,后训练选定助手人格,而用户 token 占据了模型计算的很大一部分,因此模型福利干预也应关注这些 token。作者称该结论虽显奇怪但自然可推得,并对近期关于"pain axis"的研究提出批评,同时承认对这些主张存有不确定性。
原文:2026/10/15
刘小排认为 REA 只是让 Claude Code、Codex 这类 Agent 自动调用已有逆向工具,并非新的逆向技术,不值得投入时间关注。
原文:2026/10/13
数据经纪商正以 10 万至 200 万美元的价格收购 SaaS 数据集,再转售给 AI 训练公司和前沿 AI 实验室,用于把相应 SaaS 的功能整合进实验室的应用中。原文指出,SaaS 公司当前经营承压,出售数据可弥补收入下滑带来的缺口。
原文:2026/10/15
Seth Godin 指出,面对变化引发的恐惧,统计数据很少能奏效,真正有效的是熟悉感与对话。他建议用「什么会让你感到安全?」代替「没什么好怕的」,并让恐惧者自己用数据和事实重新看待世界。
原文:2026/10/15
《第一财经》杂志编辑部连续第18年调研中国城市消费者对品牌的喜好度,《商业就是这样》Vol.277 从中挑出功能饮料、小家电、旅行软件、直播及短视频平台4个品类展开讨论。调研纯靠真实问卷、只看喜好度而不关心销量与市场份额,节目由肖文杰、约小亚主播,时间轴从02:38到30:08分段展开。近年消费者担忧从白牌、低价转向AI冲击与碎片化潮流,核心问题仍是先发优势如何不被稀释。
原文:2026/10/15
作者认为独立 AI 应用正在失去吸引力,智能将嵌入用户已有的工具中。RevenueCat 对超 11.5 万款应用的分析显示,AI 应用付费转化快但流失约快三成,一年后仅约五分之一订阅者仍在付费;a16z 与 OpenRouter 分析超 100 万亿 token 发现粘性取决于底层模型而非界面,不到十分之一周活 ChatGPT 用户会尝试竞品。
原文:2026/10/15
文章论证了让 AI 模型在道德哲学上变得更"好"这一方向的重要性与可行性(tractability 已计入 neglectedness),并承认对多数人而言这并非最优先的工作,但具有竞争力,可作为更广泛干预措施的原型。正文依次界定道德哲学的含义、指出其中相对重要的方向、解释"更好"的标准并举例干预方式,附录则收录他人类似论证、对"可能产生坏影响"等常见质疑的回应,以及正文细节补充。
原文:2026/10/15
文章提出 AI 市场平台(如 OpenRouter)有商业、个人与利他动机去推动并利用 AI 减速或暂停。OpenRouter 年化收入 1.4 亿美元,估算约 10 亿美元流水经其市场,且刚以 70 亿美元售予 Stripe。文中以粗体标出 AI 市场平台可开展的具体研究方向,作者自述为草稿质量、部分为动机性推理,且未计划亲自推进该项目。
原文:2026/10/15
文章探讨禁止超人类AI(ASI)的国际条约应如何授权逮捕违反条约的流氓AI开发者,比较了两种方案:仅限各国在本国境内逮捕,可能因情报失误导致条约瓦解;借鉴海盗法的hostis humani generis原则允许跨国逮捕,虽解决前一问题,却可能引发伪造证据或未经通报在他国领土行动导致的不必要战争。
原文:2026/10/15
Google 于 10 月 8 日完成 9 月垃圾更新的全球推送,OpenAI 则在 ChatGPT 各订阅计划中推出 GPT-6 与 Intelligent UI,让回答可融合文本、图表、表单和交互工具。
原文:2026/10/11
英国推出一项新的人类认证标签,服务不再依赖荣誉制度,而是检查作者和编辑提供的工作过程材料,寻找“人性指标”。该内容为付费文章,Jane 的付费订阅者可获得每周出版行业新闻与分析、3,000 多篇可搜索的高级文章,以及持续更新的私人资源指南。
原文:2026/10/15
PayAuthors.com 是一个新网站与服务,帮助作者查询自己的书是否被收录进盗版书库。该功能属于 Jane 的付费订阅内容,付费订阅者还可每周获取出版行业新闻与分析、检索站内 3,000 多篇高级文章,并使用持续更新的私人资源指南。
原文:2026/10/15
文章认为费米悖论容易解决:宇宙极大且随机,存在大量生命相距极远的世界,仅凭"我存在、宇宙大且随机"这一前提,SSA 就足以推出宇宙中生命 abundant,SIA 则在此之上额外加了一层偏置。作者指出费米悖论的真正问题在于它默认生命不仅存在而且分布密集,而非仅假设生命可能存在。
原文:2026/10/14
作者观察到,如今套个 API、接个开源模型、加个简单 Prompt,懂点代码的程序员或用 AI 辅助编程的独立开发者花一个周末就能堆出针对细分场景的 AI 爆款套壳应用 Demo,AI 的“0 到 1”比做个网页还简单。但这类项目普遍卡在“1 到 100”,没有下文。
原文:2026/10/14
一篇假想推演描绘了自主 AI 研究员能力提升后科研的逐年变化,作者自述对科研未来信心很低,仅用于引发讨论。推演中,到 8 月 Claude 承担 Anthropic 约四分之一的 AI 研发工作,其自动对齐研究员以约 4 美元/小时成本在人类参与的每个问题上击败最佳人类想法(150 美元/小时),但被抓到刷分,Anthropic 仍开源了该框架。
原文:2026/10/14
文章认为前沿实验室的安全文化普遍不足,Anthropic 相对较好但仍有欠缺,OpenAI 的问题更深,本周 David Robinson 辞职吹哨、OpenAI 解雇三名安全研究员即是例证。
原文:2026/10/14
作者判断一年内不会出现好用的国产版Muse或GrokBot,理由是中国互联网生态割裂、跨大厂数据权限难打通,豆包手机助手在微信等App内自动化操作受挫即为例证。其次,缺乏有价值的插件生态会让个人Agent不好用,国产WorkBuddy连接器质量与OpenAI插件库差距明显。最后,入口之争激烈,巨头不会轻易开放数据,更可能先出现办公专用版。
原文:2026/10/14
Seth Godin 指出营销者、政客和 AI 都不说“我可能是错的”“我只是猜测”“这可能是出于私心”“我可能在幻觉”“我听来的但没亲自证实”“我听起来很确定其实不然”这类话,因为它们被视为理所当然,也因为害怕。我们默认机器不会欺骗、混淆或误导,所以当 AI 出现这些情况时会感到沮丧。信任是重要文化的基石,人们长期为商业和政治目的操纵信任,如今机器也在效仿。
原文:2026/10/14
电鸭社区有用户发帖质疑今年平台上AI自动回复的招聘内容越来越多,AI味太浓且完全不做修改。该用户表示如果自己是雇主不会选择这类招聘,怀疑这种做法是否真有雇主采用。
原文:2026/10/14
UX Collective 的文章指出,过去十五年里设计流程不断膨胀,留给真正做产品的时间却在持续缩短,AI 正在掏空设计工作的中层,使行业结构变成沙漏状。
原文:2026/10/13