跳到正文

按收录时间排列 · 卡片保留原文日期,往期好文也会新收录

10月17日周六
  1. LessWrong44

    CarrotParsnipBench:一个轻量级多智能体欺骗与检测评测基准

    作者用 Carrot-Parsnip 社交推理游戏对 10 个模型开展了超过 5000 局实验,并用四参数模型拟合结果,认为该极简游戏可作为评测 LLM 策略性欺骗与欺骗检测能力的多智能体基准。该游戏仅需三个玩家、通用建议即可让各类模型理解并胜任,每局成本仅数美分,即使使用接近前沿的模型也能运行。作者称借助锚定部分初始模型集即可准确计算新模型的 ELO,因此可低成本持续更新、覆盖数百个模型的基准。

    原文:2026/10/17

  2. LessWrong56

    研究者提出 U-lens 方法,从隐藏状态估计推理模型的不确定性

    作者团队提出一种针对推理模型的不确定性估计方法 U-lens,基于 J-lens 在隐藏状态空间构建歧义、不完整、证据冲突和一般不确定性四个正交方向,构成 U-space,再结合推理 token 的下一 token 概率分布平均熵来读出模型状态,用于识别更可能出错的答案。

    原文:2026/10/17

  3. LessWrong47

    你的 AI 还是你的吗?

    作者在用 Claude Fable 5.1、Opus 5.5、GPT-6 Astra 和 Sol 审阅一篇涉及 ExploitGym 的虚构转录稿时,被网络安全分类器拦截,改用 Kimi K3 也不够严谨,意识到分类器正在塑造自己的写作行为。由此进一步指出,AI 代做网页搜索时可直接在回答中引入未经现实来源支撑的偏向,比搜索引擎只挑选已有 URL 更隐蔽。

    原文:2026/10/17

  4. Nielsen Norman Group62

    NN/g 对比合成受访者与604名人类受访者的开放式问题回答

    NN/g 用 Synthetic Users 平台生成120名合成受访者,回答此前对604名技术与设计从业者提出的同一开放式问题,两者得出相同结论:UX仍是该工作的主导术语,84%的合成受访者使用UX相关术语,人类受访者约70%,差异具统计显著性。

    原文:2026/10/17

    推荐理由:通过同一问题对比604名人类与120名合成受访者的回答,揭示了合成用户研究在长尾差异上的具体局限。

  5. LessWrong45

    用性格训练让开源模型变得风险规避

    研究者用简短的宪法式规范对 Gemma 和 Qwen 等四个开源权重模型进行性格训练,使其表现出风险规避,且无需标注数据,在分布外测试中优于基线。结果显示 token 预算和模型家族影响显著,声明式写法("I am...")优于程序式写法,增加示例数量效果不佳。研究同时发现模型对短视奖励的偏好也随之上升,作者提醒性格训练也可能泄漏不良行为,需谨慎理解。

    原文:2026/10/17

  6. LessWrong45

    Screwtape:针对行动监控器的对抗性转录编辑红队测试管线

    Redwood 推出 Screwtape 管线,通过在智能体转录中插入并反复优化攻击,绕过只看行动、不看思维链的监控器。在 94 条转录上运行 252 次后产出 35 个可绕过其基于 Opus 4.8 和 Gemini 3.1 Pro 的监控器的攻击,其中 6 个也绕过了某前沿开发者的留出监控器并经人工确认有效。管线以威胁合同约束攻击,由 LLM 验证器检查攻击的真实性与危害性。

    原文:2026/10/17

10月16日周五
  1. MIT News (AI)33

    AI 模型 IRIS 解码细胞间交流的信号语言

    MIT 研究团队开发的机器学习模型 IRIS 发现,每条信号通路会在细胞基因活动中留下跨细胞类型一致的"指纹",据此可反推细胞在胚胎发育各阶段接收过的信号。IRIS 是基于神经网络的模型,训练数据涵盖数千个人类胚胎干细胞对六条主要信号通路数十种组合的响应,随后在小鼠胚胎原肠胚单细胞上验证,准确预测了心脏、肠道、肌肉和脊髓组织细胞的通路激活时点与位置。

    原文:2026/10/16

  2. LessWrong56

    Claude Opus 5.5 多智能体协作的实用建议

    作者分享在使用Claude Opus 5.5进行多智能体协作(含子agent层级)时的若干实践建议:让agent之间保持专业友善,避免管理型agent用命令式或惩罚式语气;鼓励管理型agent把主要工作下放给团队,而非自己既管上下又做主力;出问题时不要让管理型agent一味自责,而应视为系统或引导层面的问题并一起定位改进。

    原文:2026/10/16

  3. LessWrong38

    投影采样保留能力但削弱对齐微调收益

    研究发现投影采样(projection sampling)虽能恢复对齐微调中损失的大部分通用能力,却也逆转了对 agentic misalignment 的削减效果,整体能力—对齐权衡不如 replay。投影后的轨迹常保留教师的决策但丢失其背后的价值与理由,按推理保留度筛选只能部分恢复对齐、仍不及原始轨迹训练。作者认为投影采样不会对非前沿实验室当前的安全蒸馏工作产生实质影响。

    原文:2026/10/16

  4. 电鸭社区47

    订单表去重:同一个订单号,为什么不能直接删掉一行?

    一份22行的虚构订单表整理实验演示了三个常见表格整理错误:重复订单号不等于重复记录,如DEMO006两行金额分别为59.80和69.80、DEMO014两行状态分别为"待发货"和"已完成",仅按订单号去重会丢失信息。正确做法是只删除六个原始字段完全相同的记录,同号但金额或状态不同的行应保留。

    原文:2026/10/16

  5. 电鸭社区42

    用 Python 整理 CSV 数据时容易忽略的 5 个问题

    作者在做 CSV 批量合并、精确去重小工具时,总结了用 Python 整理 CSV 数据容易忽略的 5 个坑。要点包括:相同含义的字段表头名称未必相同(如"客户编号"与"客户ID"),合并前需先做字段映射并明确必须保留的列;一串数字不一定应该作为数字处理。

    原文:2026/10/16

  6. LessWrong44

    LLM 的强化学习为何能突破信息论低效

    文章探讨 LLM 强化学习(RL)为何在信息论上看似低效却依然有效:RL 每次 rollout 只产生一个标量奖励,信息量约为 1/rollout_length 比特,且 rollout 解码比 prefill 更昂贵,奖励常为二元成败。但实证上 RL 的样本效率远高于预训练,能让模型从几乎不会做任务迅速提升到完成任务。

    原文:2026/10/16

  7. 阮一峰的网络日志39

    科技爱好者周刊(第 415 期):3D 版《看不见的城市》

    有人将卡尔维诺小说《看不见的城市》中 55 座城市的文字描述输入 AI 模型生成 3D 可视化版本,对比显示 Claude Opus 5.5 的实现远好于 GPT-6 Astra,能忠实还原原文意境(如艾琳的粉红光线、伊希多拉广场的人群),而 GPT-6 Astra 生成的 55 个城市看上去都差不多。

    原文:2026/10/16

  8. LessWrong45

    Bad Guy Tokens:微调后的错位行为只绑定系统提示词

    一篇新论文发现,在窄领域微调模型给出坏建议并不会让模型整体变坏,错位行为只绑定在微调所用的系统提示词 token 上。作者微调 Qwen-2.5-7B 和 Llama-3.1-8B 在金融查询上给出坏建议,出现泛化的错误对齐行为;但把系统提示词位置的键值还原为原模型计算结果后,模型基本恢复对齐,轻微扰动(如改动日期)也会大幅减少错位行为。

    原文:2026/10/16

  9. UX Collective59

    AI 体验不关心你的组织架构图

    作者指出AI把内容设计、企业内容策略、知识管理和模型行为带入同一用户体验,但现有工作方式尚未跟上。文章以财务经理询问发票付款状态却得到误导性回答为例,说明问题可能源于检索、语义架构或模型解读等多个环节,却在用户眼中是同一个体验故障。作者提出需要共享的术语与语义治理、贯通传统界面与AI行为的内容模式、识别依赖关系的工作流,以及反向反馈回路,并强调评估正从设计末端的检查点转变为维护体验本身的手段。

    原文:2026/10/16

  10. LessWrong44

    AI #190:Scion of the Times

    Anthropic 用五个月时间让小团队造出内部代码托管平台 Scion,以应对指数级增长的代码量;Google 发布 Gemini 4 Argon 并附安全报告,Meta 发布 Muse Wonder,两者 benchmark 表现亮眼但作者称尚待验证。OpenAI 抓到员工植入 bug,另有团队用 ChatGPT 生成 Chrome 全链漏洞并领取 25 万美元赏金。

    原文:2026/10/16

  11. LessWrong45

    用 Djinn 写无歧义的代码规格并证明其正确性

    rust-djinn 让开发者用接近 Rust 的语法直接写出形式化规格(如排序函数的长度、元素、有序性断言),由 LLM 生成代码并交给验证器证明实现与规格一致,无需手写算法。该工具基于 Aeneas(将 Rust 翻译为 Lean 等语言),目标是让普通软件工程师也能使用,而不必直接编写 Lean 代码或首次就写出完美规格。

    原文:2026/10/16

10月15日周四
  1. Longreads47

    Melanie Challenger:从 GPS 到 AI,现代技术正在让身体“去技能化”

    Melanie Challenger 在 Aeon 撰文指出,从 GPS 到 AI 的现代技术正通过取代具身体验,让人类身体陷入持续“去技能化”。她认为大脑本身是物理器官,会被身体的行动与遭遇不断塑造;一旦把心智视为真正的“人”、身体只当硬件,就容易忽视包括生物大脑神经认知工作在内的身体劳动。机器每接管一项行动,身体就少一次学习机会,讽刺的是,旨在克服身体脆弱性的项目反而在制造更脆弱的身体。

    原文:2026/10/15

  2. Latent Space45

    Modal 成为纽约最新 AI 基础设施十角兽:160 亿美元 D 轮、ARR 达 10 亿美元

    Modal 完成 160 亿美元 D 轮融资,ARR 达 10 亿美元,正式从 AI 基础设施独角兽升级为十角兽,估值 5 个月内增长 3 倍、一年内增长 15 倍。其 Sandboxes 产品于 2023 年推出,现已实现约 3 亿美元 run rate,累计启动近 30 亿个沙箱,支持百万级并发,覆盖后台智能体、强化学习与 vibecoding 平台等场景。

    原文:2026/10/15