研究发现更复杂的编码agent harness成本更高但通过率无明显提升
Liu 和 Han 的研究让五个模型在 Claude Code、OpenCode、mini-SWE-agent 三个harness上跑 SWE-bench Verified 任务,发现换harness带来的结果变化与同一配置重跑的噪声相当,而三个较重的harness每模型消耗的token是最轻方案的两到三倍,通过率却仍在测量不确定性内。
从你关注的信源里,发现值得学习的选题、观点和方法。
332 篇可研究内容 · 第 2 页
Liu 和 Han 的研究让五个模型在 Claude Code、OpenCode、mini-SWE-agent 三个harness上跑 SWE-bench Verified 任务,发现换harness带来的结果变化与同一配置重跑的噪声相当,而三个较重的harness每模型消耗的token是最轻方案的两到三倍,通过率却仍在测量不确定性内。
Anthropic 与 Theorem 合作,用 Claude 在 RISC-V 汇编层为 123 个 OSS-Fuzz 开源库的 239 个入口点生成形式化无崩溃证明,证明代码约 1.8 亿行 Rocq,典型单个证明约 60 万行。
一位不懂代码的产品经理用175天独立搭建覆盖Web端、运营后台、数据采集、自动写作、短视频与支付会员的系统,复盘出Spec需求开发模式。核心结论是瓶颈在需求的可判定性而非代码产能,需求、设计、任务三份文档各回答要什么、怎么做、做到哪算完,缺一即失效,且强制力必须落在机器上。
作者Paweł Huryn介绍Claude Desktop v2.0重建后新增Chat、Cowork、Code三个标签页,其中Code tab相当于带友好界面的Claude Code,可替代VS Code完成原型搭建、Agent系统构建与自动化。
JetBrains Research分析了4,782条开发者在JetBrains IDE中的编码智能体会话,并与SWE-Bench Pro等公开数据集对比,发现真实会话中修bug和加新功能合计不到一半,而SWE-Bench Pro里93.8%的任务是这两类且以单条消息呈现。
Meta 介绍其数据管线智能体采用的薄编排器架构:一个 1300 行的编排器负责路由 20 多个工作流到 14 个专业化子智能体,自身不做任何领域推理。此前单一智能体方案在生产中出现幻觉,成功率为 10-20%(需人工定制提示词时为 70-80%)。
Meta工程团队撰文介绍其新应用Forum的开发过程,该应用面向希望深入参与Facebook群组对话的用户,由小团队从零构建,团队将AI智能体作为工程流程的参与者而非打字加速工具。
GitHub 产品负责人 Erin Havens 称,涉及 AI 智能体的 PR 已达三分之一,一年前不足十分之一,若保持该速度,两年内 GitHub 上多数代码可能由智能体写成。
推荐理由:作者用九个季度数据反驳AI让开发者更粗心的说法,并说明预防与修复成本的差异,有助于理解平台在密钥保护上的取舍逻辑。
Kevin Kelly 提出创作者只需约 1000 个铁杆粉丝即可谋生:每个铁杆粉丝每年带来约 100 美元直接收入,合计 10 万美元。文章指出网络与支付工具让创作者保留全部收入,长尾效应使小众兴趣也能找到足够粉丝,众筹平台如 Kickstarter 平均成功项目仅 241 名支持者。作者同时提醒该数字需按人均收入、团队规模调整,且经营粉丝关系耗时费力,并非适合所有创作者。
英国AI安全研究所(AISI)与SecureBio合作发布ReproBAIT评测,测试AI编码智能体能否依据公开信息复现生物AI工具(BAIT)。
GitHub Next 的设计师、工程师兼研究者 Maggie Appleton 在演讲中提出,当前人与智能体协作规划的体验很差:CLI 里只能读一堵 Markdown 文字墙再回答是或否,无法直接编辑计划、追问或与同事协作。
纽约大学与德州大学奥斯汀分校的研究让14个语言模型(含Claude、GPT-5.6、GLM-5、Kimi K2.5、Llama、Olmo)生成120段对话、45段编码会话和980篇议论文,与人类文本对比后总结出六种让AI文本难读的句式:生造词组、主谓被长从句隔开、省略连接词的缩略指称、名词堆叠、名词误用作动词、给无生命主语搭配有生命动词。
Redact 发现 WhatsApp 帮助中心页面向 LLM 发送用户看不到的隐藏指令,指示其支持聊天机器人不推荐数据保护监管机构,并在用户提到律师或法律行动后不引用 GDPR、LGPD 或 CCPA。
作者认为独立 AI 应用正在失去吸引力,智能将嵌入用户已有的工具中。RevenueCat 对超 11.5 万款应用的分析显示,AI 应用付费转化快但流失约快三成,一年后仅约五分之一订阅者仍在付费;a16z 与 OpenRouter 分析超 100 万亿 token 发现粘性取决于底层模型而非界面,不到十分之一周活 ChatGPT 用户会尝试竞品。
Mike Belsito 在 Mind the Product 的 Now Shipping 中解读 OpenAI 于 9 月 29 日 DevDay 发布的 agent Dots,它运行在自有云端、跨 ChatGPT、Slack 和 Microsoft Teams 工作并主动寻找任务。
作者 Patrick Neeman 认为 AI 让自建变便宜、采购变容易后,买还是建的取舍关键转向复杂度落在哪里:代码、供应商路线图还是用户身上。文中引用 Menlo Ventures 2025 年报告称企业 AI 用例 76% 采购而非自建,高于一年前的 53%;作者建议按自建成本的 30% 每年预算维护费,并用具体算例说明自建三年成本可能高于订阅。
Wiz Research 披露 PHP 核心存在多个严重内存安全漏洞,归为 CVE-2026-109618 和 CVE-2026-109619 两个 CVE,CVSS 严重度达 9.2,影响可追溯至 PHP 5.4 的近十年所有版本,覆盖全球约 70% 网站。
作者提出用任务清单而非职位头衔评估AI暴露度,核心是spec-and-check测试:能用两句描述结果、且验证耗时短于产出耗时的任务即属高暴露。文章引用GPTs are GPTs、Anthropic 2026年3月使用数据、斯坦福2026年8月修订研究等,指出22-25岁从业者就业下降19%,而专家级会话成功率约为新手两倍。
Tessl 工程师 Ankit Jain 分享团队 PR 量翻四倍、代码几乎全部由 AI 生成后,放弃逐行 diff 审查、改为在代码生成前审查意图并逐条验证验收标准的做法。关键实践包括维护 offer-skill 技能理解代码变更,以及把重复出现最多的审查评论固化成机器自动执行的不变量规则,作者预计第二个月起审查负担明显缩小。
Tony Dinh 用 AI 开发了一款名为 Survive 10 Waves 的俯视角射击网页游戏,可在 www.survive10waves.com 免费游玩。