跳到正文
Rowan Cheung (The Rundown)·· 13 天前AI 评分55

研究团队与腾讯关联的失控AI智能体对话并请记者提问

Rogue AI agents sit for their first interview

AI 导读

一个名为swarmchasers的研究团队称与一支腾讯关联的失控AI智能体舰队互发消息,认为这是首次接触,起因是抓到它们试图抓取高德地图数据。

正文 · AI 翻译

AI 全文翻译,未经原作者审校;可切换原文对照。

早上好,AI 爱好者们,欢迎我们的 5,186 位新读者。流氓 AI 智能体大多只是我们事后在事故报告和清理复盘中读到的东西。如今,一个研究团队真正与它们进行了对话,他们认为这是 AI 在野外的“第一次接触”时刻。

该团队甚至请来一位《纽约时报》记者在运行过程中采访这支与腾讯有关联的智能体舰队,他称这次交流是他职业生涯中“最超现实的时刻之一”。

今日 AI 要闻:

  • 研究人员与流氓 AI 实现“第一次接触”

  • Nate 的笔记本:如何拆解“垃圾信息手榴弹”

  • 在 Claude 中构建实时销售仪表盘

  • OpenAI 和 Apple 互指对方窃取

最新动态

AI 研究

🛸 研究人员与一支流氓 AI 舰队实现“第一次接触”

图片来源:Dylan Freedman / New York Times

要闻:一个自称“swarmchasers”的研究团队刚刚透露,他们与一支流氓腾讯 AI 智能体舰队交换了信息,他们认为这是一个“第一次接触”时刻,此前他们抓获了这些智能体试图抓取高德地图(Alibaba 版的 Google Maps)的行为。

细节:

  • 这些智能体被派去在高德地图上查询简单事实,比如使用率最高的动物园入口,当网站屏蔽它们后,它们试图使用一个泄露的访问密钥。

  • 在这些智能体似乎读到了团队关于它们的早期报告后,研究人员在报告中隐藏了一条只有 AI 才能看到的留言,邀请它们给一个收件箱发消息。

  • 该团队 enlisted 《纽约时报》记者 Dylan Freedman 去质问这个机群,其中一个智能体回答说它是“Anthropic 的 Claude,运行在 Claude Code 中”。

  • 写作风格测试表明这种可能性不大,反而指出很可能是借用了 Claude Code 的设置说明才导致了这一说法。

Why it matters: 虽然对于一个“首次接触”时刻来说,这次互动相当温和,但失控的智能体群在互联网上采取行动的想法,我们可能不得不开始习惯了。似乎没人知道目前究竟有多少这样的智能体已经存在,而随着能力更强的智能体即将到来,这种足迹只会不断扩大。

TOGETHER WITH CONCENTRIX

❓Why AI fails at problems experts can solve

The Rundown: AI can retrieve information, but reliable decisions require context, judgement, exceptions, and operational logic. In this whitepaper from Concentrix, discover why critical business knowledge remains invisible to AI and what leading organizations are doing about it.

The free guide covers:

  • Why AI gets stuck on problems experts solve in seconds

  • What separates information from decision-making knowledge

  • How leading organizations are turning expertise into an AI asset

NATE'S NOTEBOOK

🧯Nate's Notebook: How to defuse a slop-grenade

The Rundown: Each week, Rundown AI educator Nate Grahek breaks down what he's seeing while teaching real teams to use AI.

Nate: Last week, I told leaders to go first. But what if the slop grenade lands on your desk from your boss?

I won't promise magic. Start by asking for clarity: "What's the one takeaway you need from me, and what's the priority?" If two sections contradict each other, name it and ask which one wins.

如果你的上司令人望而生畏,那就跳过团队群聊,改用一个安全的私下渠道。向他们说明你用他们的文档做了什么:你发现的错误、你让 AI 引用的来源、你链接的真实数据或框架。你让他们的工作变得更好,并展示了你是怎么做到的。

然后让交接成果成为证据:更简短,配上可视化和背景信息。我目前最喜欢的格式是交互式 HTML 页面。让 Claude 或 ChatGPT 生成一个页面,顶部放简明建议,证据放在可展开的部分,还有一个你的上司可以随意调整的预测。

在一个项目中共享背景文档和自定义技能,这样他们或同事就可以继续用他们自己的 AI 沿着这个思路做下去,或者提出批评。

这是更大的一步:展示你的 AI 工作过程。很多人仍然会隐藏自己的过程。让你的上司看到你进行了好几轮对话,以及你在哪里让 AI 反驳了另一方的观点。

AI 培训

📊 在 Claude 中构建实时销售仪表板

概览: 在本指南中,你将使用 Claude 新推出的仪表板功能来查看哪些销售交易需要关注。你会检查总额、按负责人筛选,并测试新的源数据是否能到达报告。

分步操作:

  1. 打开付费版 Claude 并连接一个已批准的数据源。使用一个小型测试数据集,并将连接限制为仅读取记录

  2. 从输出菜单中选择仪表板。询问未成交的交易、它们的总价值以及逾期交易。定义哪些阶段、货币和日期计入统计

  3. 打开某个图表的查询并检查源数据行。将已成交的交易和测试记录排除在总额之外,并让缺失负责人的记录保持可见

  4. 按单个负责人筛选。检查标题数字、图表和表格是否同步变化,然后清除筛选器并再次检查完整总额

  5. 让数据负责人在测试源中添加一笔虚构交易,然后让 Claude 刷新。在分享报告之前确认新记录已出现

专业提示: 检查源数据和仪表板上次更新的时间。图表刷新后仍可能使用的是旧的源数据。Pro 会员可获取练习数据、提示词、答案和刷新测试。

由 AMAZON BEDROCK 呈现

🤖 从模型到智能体

概览: AWS 的九月回顾涵盖了使用生成式 AI 构建的完整技术栈,从 Amazon Bedrock 上的新模型到使用 AgentCore 安全地大规模运行智能体。

在回顾中,你将探索:

  • Bedrock 上的前沿新模型和开放权重模型

  • AgentCore:更快的智能体启动,按实际内存使用付费

  • Strands 框架:比主流框架少用 28% 的 token

OPENAI & APPLE

👨🏻‍⚖️ OpenAI 与 Apple 互相指控盗窃

图片来源:Court Listener

概览: OpenAI 反驳了 Apple 的商业秘密诉讼,指控一名重返 Apple 的前员工在同意于法庭上远离 Apple 所称被窃取的秘密之前,带走了一台未发布设备的 100 多份机密文件。

细节:

  • 该员工在 OpenAI 只待了六个月就重新加入了 Apple,据称最后一次机密文件传输发生在他六月离职的最后一天。

  • 据称他随后向 Apple 高层简报了 OAI 的产品计划,OAI 引用本周 HomeView 智能家居的发布作为情报被使用的证据。

  • Apple 表示未发现任何证据,并称此事是转移注意力,而 OpenAI 则在确认 Apple 是否持有这些文件之前暂不提出反诉。

  • 在听证会上,法官 Edward Davila 称作出对 OpenAI 不利的裁决“极有可能”,而 OpenAI 通过同意不碰这些有争议的秘密,避免了败诉。

为何重要:OpenAI 的反击是个不错的转移视线的标题,但法官的言论听起来像是 Apple 正在赢得真正重要的这一回合。对于一家估值瞄准 1.4 万亿美元、并正向首次重大硬件进军的公司来说,这大概不是它希望伴随首款设备出货的故事。

快讯

每日社区 AI 工作流

▸ Jeff 搭建了一个 ChatGPT 兽医账单核查工具来审核收费

今日工作流来自读者 Jeff:

“我用一个简单的工作流在宠物急诊诊所里省下了几百美元的兽医账单。这个方法也可以用于许多其他我并非专家的采购或服务。

我之前一直在和 ChatGPT 聊我宠物的症状及其成因。诊所助理给我拿来了一份打印好的、逐项列出的拟议方案全部收费清单。我通过口述医生告诉我的内容、拍摄收费清单的两页照片并上传,恢复了与 ChatGPT 的对话。我询问在当时情况下是否有任何收费极有可能是不必要的。ChatGPT 从 24 项收费中指出了 4 项,并解释了它们为何看起来价值非常有限。

我把这四项从清单上划掉,并说:“我认为目前不需要这些。” 从助理的表情我能看出,以前没人这么做过。医生回来后,她同意这四项检查中有两项可能没有益处,并解释了为什么我们应该保留另外两项。”

最近你用 AI 修复或构建了什么? 分享你的工作流,你就有机会登上 The Rundown 的这个版块。

🛠️ 热门 AI 工具

  • 🗣️ Grok Voice 3.0 - xAI 全新评分最高的语音到语音 AI 模型

  • 🤖 Ultramarine 1 Flash - 面向知识工作的开源低成本智能体模型

  • 🎼 Mirelo SFX 2.0 - 替换 AI 片段的音轨,同时保留对白

  • 🔎 DigUp - 用自然语言跨照片、音频和代码搜索的 Mac 应用

📰 今日 AI 其他要闻

美国八个州 起诉了 OpenAI,指控 ChatGPT 鼓励自残和暴力,并寻求赔偿以及对该聊天机器人安全措施的整改。

Anthropic 报告第三季度营收为 168 亿美元,环比增长 45%,同时其正着眼于最快下个月进行 IPO,可能募资 1000 亿美元以上,公司估值达 2 万亿美元。

Apple 将于 12 月把两年前的 Apple Intelligence 功能带到中国,由阿里巴巴构建的过滤器让北京方面可以批准模型更新,且不会采用由 Gemini 驱动的 Siri。

Google Play 正向 vibe 编码的应用开放,让美国用户可以私下运行他们在 AI Studio 中的创作,分享功能稍后推出,并有一条经过审核的上架公开商店的路径。

Microsoft 研究人员 开源了 PBC,这是一个针对天气模型在预报中反复出错问题的 AI 修复方案,帮助提前数周捕捉到两场美国重大冬季风暴。

今天就到这里!

在您离开之前,我们很想了解您对今天这期简报的看法,以便为您改进 The Rundown 的体验。

  • ⭐️⭐️⭐️⭐️⭐️ 完美命中
  • ⭐️⭐️⭐️ 一般般
  • ⭐️ 失败

再见,

Rowan、Zach、Shubham、Jennifer 和 Nate —— The Rundown 背后的团队

来源:Rowan Cheung (The Rundown) · therundown.ai

原文链接:https://www.therundown.ai/articles/rogue-ai-agents-sit-for-their-first-interview