刘小排实测DeepSeek v4.1 Flash：性价比高，视频生成能力仅次于Claude Opus/Sonnet 5.5
作者实测DeepSeek v4.1 Flash后评价其性价比高、能力强于预期，认为它已从聊天模型变成能独立完成复杂工作的Agent模型。作者称其在用代码生成视频方面仅次于Claude Opus 5.5/Sonnet 5.5并超过Claude Haiku 5.5，做动效也很强；思考Effort开Max后效果确实好，建议AI编程直接开Max档位。
原文：2026/10/18
#评测/基准
按收录时间排列 · 卡片保留原文日期，往期好文也会新收录
刘小排rAI 评分6161
LessWrongAI 评分3636 RedwoodBench：前沿模型能否模仿概念性 AI 安全研究员？
Redwood Research 在实习项目中推出 RedwoodBench，用内部 Google Docs 评论和 Slack 讨论数据构建两项概念推理评测，模型需针对真实文档或讨论写出 20 条 50-70 词的短评，与约 1200 个人类目标要点比对打分。
原文：2026/10/17
Latent SpaceAI 评分6767 AINews 汇总 Meta Muse Spark Open 等开放权重模型发布与中国出口管制提案
本期 AINews 覆盖 2026 年 10 月 15 日至 16 日的 AI 动态：Meta 发布 816B 总参数、42B 激活的 MoE 开放权重模型 Muse Spark Open。
原文：2026/10/17
LessWrongAI 评分4747 面向可扩展能力评估：基准饱和后如何估算模型能力
LASR Labs Summer 2026 的一项研究提出用转录分析协议估算基准饱和后的模型能力，通过回放过去几年的模型发布验证其大部分有效，但在推理模型等"范式转变"上失效。
原文：2026/10/17
LessWrongAI 评分4444 CarrotParsnipBench：一个轻量级多智能体欺骗与检测评测基准
作者用 Carrot-Parsnip 社交推理游戏对 10 个模型开展了超过 5000 局实验，并用四参数模型拟合结果，认为该极简游戏可作为评测 LLM 策略性欺骗与欺骗检测能力的多智能体基准。该游戏仅需三个玩家、通用建议即可让各类模型理解并胜任，每局成本仅数美分，即使使用接近前沿的模型也能运行。作者称借助锚定部分初始模型集即可准确计算新模型的 ELO，因此可低成本持续更新、覆盖数百个模型的基准。
原文：2026/10/17
LessWrongAI 评分5656 研究测量AI助手何时应对用户已定计划提出警告
作者在Anthropic Fellows Program期间的副业项目中研究了AI助手在用户已做出计划选择、仅要求执行时是否会提出警告或主动表达意见，评测了30个模型。
原文：2026/10/17
Nielsen Norman Group精选AI 评分6262 NN/g 对比合成受访者与604名人类受访者的开放式问题回答
NN/g 用 Synthetic Users 平台生成120名合成受访者，回答此前对604名技术与设计从业者提出的同一开放式问题，两者得出相同结论：UX仍是该工作的主导术语，84%的合成受访者使用UX相关术语，人类受访者约70%，差异具统计显著性。
原文：2026/10/17
推荐理由：通过同一问题对比604名人类与120名合成受访者的回答，揭示了合成用户研究在长尾差异上的具体局限。
LessWrongAI 评分4545 Screwtape：针对行动监控器的对抗性转录编辑红队测试管线
Redwood 推出 Screwtape 管线，通过在智能体转录中插入并反复优化攻击，绕过只看行动、不看思维链的监控器。在 94 条转录上运行 252 次后产出 35 个可绕过其基于 Opus 4.8 和 Gemini 3.1 Pro 的监控器的攻击，其中 6 个也绕过了某前沿开发者的留出监控器并经人工确认有效。管线以威胁合同约束攻击，由 LLM 验证器检查攻击的真实性与危害性。
原文：2026/10/17
LessWrongAI 评分4747 Gemini 4 Argon 安全报告的 ML R&D 基准约四分之一任务存在 bug
Google DeepMind 的 Gemini 4 Argon 安全报告第 67 页承认，用于检验"AI 自动化 AI 研究"（ML R&D automation）阈值的基准中，约四分之一的评分任务无法通过，导致该阈值被判定为未触发。报告部分评估使用的是最终模型发布前仅 10 天和 6 天的检查点（p.160）。Neel Nanda 称该报告是 Google 迄今最详尽的安全报告。
原文：2026/10/17
Quanta MagazineAI 评分4343 他想让 AI 基准测试成为一门科学，而非玄学
Quanta Magazine 报道了一位希望把 AI 基准测试从"暗黑艺术"变成科学的研究者，指出基准既是衡量模型能力的尺子，也能左右整个领域的研究行为。文章回溯了 1987 年美国国防高级研究计划局（DARPA）首个自动语音转文字基准，并讨论了基准如何主导模型开发方向。
原文：2026/10/16
LessWrongAI 评分4747 Astra 和 Sol 能在无思维链的情况下以低概率采取行动
一项对 Serrano et al., 2026 的复现研究显示，GPT-6 Astra 和 GPT-6.1 Sol 能在单次前向传递中（通过重复问题或填充 token）以低概率采取行动，且其策略未在思维链中记录。
原文：2026/10/16
Latent SpaceAI 评分5454 Latent Space AI新闻汇总：Meta开源Muse Spark Open与Goodfire可解释性文章引热议
Latent Space汇总了10月14日至15日的AI动态，重点包括Meta发布Muse Spark Open开源模型，以及Goodfire的Nick Cammarata发表关于神经网络可解释性的文章。
原文：2026/10/16
阮一峰的网络日志AI 评分3939 科技爱好者周刊（第 415 期）：3D 版《看不见的城市》
有人将卡尔维诺小说《看不见的城市》中 55 座城市的文字描述输入 AI 模型生成 3D 可视化版本，对比显示 Claude Opus 5.5 的实现远好于 GPT-6 Astra，能忠实还原原文意境（如艾琳的粉红光线、伊希多拉广场的人群），而 GPT-6 Astra 生成的 55 个城市看上去都差不多。
原文：2026/10/16
LessWrongAI 评分4747 ML4Good 影响力评估：340 名学员中约 147 FTE 从事 AI 安全工作
ML4Good 发布影响力评估，称其 340 名受访学员中约 186 人（约 55%）从事 AI 安全工作，合计约 147 全职当量（FTE），其中约 77 FTE 属反事实影响。
原文：2026/10/15
Latent Space精选AI 评分7878 Meta 发布 Muse Wonder 与 Muse Wonder Full 模型
Meta Superintelligence Labs 发布 Muse Wonder 与 Muse Wonder Full 两个新模型，Wonder 可通过 Meta Model API 和 Muse Code 使用，Full 仅向 Muse Code 订阅者开放。
原文：2026/10/13
推荐理由：汇总了 Meta 新模型的第三方评测数据与从业者正反评价，便于对照厂商宣称与独立读数。
Latent SpaceAI 评分5050 [AINews] AI Engineer NYC：Gemini 4 Argon 与 Vals AI 基准评测
Gemini 4 Argon 今日正式全球 GA，面向编码、知识工作、企业工作流与网络防御开放，API 引入价为每百万输入/输出 token 2/10 美元，11 月 30 日后翻倍至 4/20 美元。
原文：2026/10/14
Lenny RachitskyAI 评分5555 Claire Vo 用 How I AI 基准实测 Meta Muse Wonder 模型
Claire Vo 用覆盖近20项任务的 How I AI 基准实测 Meta 新的 Muse Wonder 与 Wonder Full 模型，任务涵盖原型、智能体工作流、编码、写作和创意工作，评分结合 LLM 裁判与本人语音笔记。
原文：2026/10/14
Mind the ProductAI 评分6363 ThoughtSpot产品负责人谈评测系统如何成为新的PRD
ThoughtSpot产品管理高级副总裁Francois Lopitaux在播客访谈中介绍构建agentic产品与确定性软件的差异，称AI使开发速度提升两到三倍，但生产化仍需架构、护栏与有经验的工程师。
原文：2026/10/06
Rowan Cheung (The Rundown)AI 评分7474 Meta 发布 Muse Wonder 模型家族，Full 版排名升至第二
Meta Superintelligence Labs 发布 Muse Wonder 与 Muse Wonder Full 两款新模型，Full 版在 Artificial Analysis 智能排名中位列第二，仅次于 Anthropic 的 Opus 5.5。
原文：2026/10/13