DeepSeek开源推理引擎DeepInfer,vLLM复现其吞吐并引发推理盈利讨论
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
DeepSeek开源了支撑V4.1 Flash的生产推理框架DeepInfer及配套库deepseek-recipe,官方报告单集群155万亿token/日、96%输入缓存命中、每加速卡时38美元离峰收入。
文章梳理了DeepSeek开源推理栈引发的多方反应,并区分了首方生产数据、社区测算与独立复现的证据强度差异。
AI 全文翻译,未经原作者审校;可切换原文对照。
由 SerpApi 鼎力支持:今天的发布内容涵盖面极广,但你可以将所有这些抓取成 供你的智能体使用的 markdown!token 成本仅为 JSON 的 50%。
我们上次报道 推理拐点是在四月,而历史上大多数进展都来自 闭源 的百亿美元级独角兽,从 Fireworks 到 Baseten 再到 Modal。
好了,是时候轮到开源阵营回应了。今天是 PyTorch Conf 的第一天,DeepSeek 就向这场讨论中发射了一枚洲际弹道导弹——开源了他们的生产级技术栈 DeepInfer,其提示词缓存时长最高可达 72 小时,而 OpenAI 刚刚宣布的是12 小时:
这是他们基于 vLLM 的定制版本,并致谢了 SGLang 和 TRRTLLM,但其中新增了大量内容……只是不包括他们的核心机密——他们超优化的 KV 缓存(紧凑型 + 超过 8 小时的存活时间)、PD 分离(disaggregation)以及负载均衡(他们的 3FS 早已开源)。我们翻译了他们的博客文章并在此发布,同时附上完整的研究指南、解析、代码地图和子系统指南:

正如我们在其补充披露中指出的,他们声称每天服务 155 万亿个 token,这使他们在非高峰时段价格下每张 SM100/A950 卡每小时可获得 38 美元(目前为每百万输入/输出 token $0.15/$0.60:155000000 个 token * $0.14 的混合成本 / 24 小时 ≈ 每小时 100 万美元)。采用他们的生产数据(我们已翻译):每个预填充 GPU 每秒 150 万个含缓存的输入 token、96% 的输入缓存命中率,以及每个解码 GPU 每秒 14,000 个输出 token(使用约 2400 个 GPU):

全包成本为每张卡每小时 5-8 美元,这意味着推理利润率超过 80%!
做一些集群层面的计算,这大约是每 GW 1660 亿美元,按推理利润率计算回本周期为 81 天(DeepSeek 以规划 10 个月回本而闻名)。想象一下,如果鲸鱼拥有更多 GW 会做什么。

由 SerpApi 赞助:
用更少的 token 为你的 AI 智能体提供实时搜索数据
从 SerpApi 的 100 多个 API 中的任意一个获取结果,输出为干净、结构化的 Markdown,平均比 JSON 少用约 50% 的 token。只需添加 output=md 或使用 /search.md 端点即可。它无需任何配置,并包含在每个套餐中,不额外收费。
2026/10/19-2026/10/20 的 AI 新闻。我们查看了 12 个 subreddit、544 个 Twitter 账号,未再查看其他 Discord。AINews 的网站可让你搜索所有往期内容。提醒一下,AINews 现在是 Latent Space 的一个栏目。你可以选择加入/退出邮件推送频率!
AI Twitter 摘要
头条新闻:DeepSeek DeepInfer——生产级推理、开源边界与缓存 token 的经济学
发生了什么
DeepSeek 发布了 DeepInfer,即 V4.1 Flash 背后的推理引擎,同时发布了生产服务细节,这使得这份工程报告与代码本身同样重要。
此次发布涵盖推理引擎与 API 处理层。DeepInfer 支持在 NVIDIA 和华为 Ascend 平台上进行分布式推理、投机解码、SWA Bounded Replay 以及结构化输出。配套的 deepseek-recipe 组件实现了生产级的 token 编解码以及与官方 API 兼容的处理。DeepSeek 表示,未来的模型推理实现与优化也将出现在该仓库中。@deepseek_ai、@deepseek_ai、公告翻译
所报告的生产数据相当可观——但描述的是一个高度依赖缓存的服务。DeepSeek 的工程报告(如所提供的帖子中所总结和引用的)报告称:单集群每天处理 155 万亿 token、输入缓存命中率 96%、首 token 平均耗时 400 毫秒、生成速度 230 token/s,编码场景可达 300 token/s。报告还称按非高峰价格计算,每个加速器小时收入为 38 美元。这些是第一方的生产声明,并非独立审计的测量结果。@ZhihuFrontier、@swyx
“完全开源”并不意味着整个生产服务都能从此次发布中复现。尽管 DeepSeek 将 DeepInfer 描述为完全开源,但技术说明称KV 缓存管理与负载均衡组件尚未完全发布,因为它们仍与内部基础设施耦合。引擎是开源的;重要的服务级编排仍属于部署方的职责。@deepseek_ai、@ZhihuFrontier
vLLM 给出了最具体的对比回应。在承认 DeepInfer 最初主要基于 vLLM 构建并以 Apache 2.0 许可发布之后,vLLM 团队报告称,在匹配配置下 GB200 上的解码吞吐量与 DeepInfer 公布的结果相差在 6% 以内。它还发布了 AgentX 结果和复现方法,实质性地削弱了 DeepSeek 的效率对现有开源引擎不可企及的说法。@vllm_project、@vllm_project、复现资源
此次发布引发了两场不同的争论:一是 DeepSeek 是否拥有独一无二的强大服务栈,二是其披露是否普遍证明了高推理盈利能力。前者如今已有对比基准证据;后者仍取决于工作负载构成、缓存核算、硬件成本以及计入哪些费用。@Tim_Dettmers、@zephyr_z9、@Yuchenj_UW
架构:分离各阶段,调度计算而非 token
DeepInfer 公开的架构将视觉编码、预填充与解码分离,使每个阶段都能针对自身瓶颈进行扩展。推荐的部署形态是用于预填充的普通八加速器机器以及用于解码的 64–128 加速器超节点。解码采用大规模专家并行来分发 MoE 专家,同时保持较大的有效批量。这些是部署建议,并非 DeepSeek 生产集群确切硬件构成的充分证据。@ZhihuFrontier
调度细节解释了为何传统的“每批 token 数”对比可能忽略重大差异:
Prefill 调度会估算注意力计算成本。工作分配依据估算的计算量,而非仅仅依据原始请求长度。分块大小会动态变化以适应时间预算,而不是对异构请求强制使用统一的固定分块大小。@ZhihuFrontier
Prefill 路由不要求缓存亲和性。由于缓存前缀被汇聚在共享存储中,请求可以被发送到任意可用的工作节点,而不必是之前服务其前缀的那个节点。在一篇详细的中文分析中,推理工程师苏锦言指出,这是一个特别实用的生产环境设计:prefill 数据并行组依据“计算 token 数”进行负载均衡,而共享存储则提供可复用的状态。该分析还提到了请求分桶以及带有运行时估算器的 FIFO 调度。@SuJinYan123
Decode 路由同时平衡运行请求数量和 KV 缓存长度。请求数量近似反映调度压力;累积的 KV 长度则捕捉了仅靠请求数量无法反映的内存/状态压力。该工程评论将 prefill/decode 的扩缩容信号描述为:prefill 依据聚合计算负载,decode 依据运行请求数量。@ZhihuFrontier、@SuJinYan123
专家并行负载均衡会复制热门专家。副本会被周期性地重新分配,以减少路由偏斜导致的设备间等待。其权衡在于用额外的 HBM 消耗换取更高的吞吐量,且随着复制规模增加收益递减;有用的复制因子取决于具体工作负载。@ZhihuFrontier、@SuJinYan123
CPU 调度与加速器执行重叠进行。异步调度消除了 decode 步骤之间的空闲间隙,而不是把主机端的编排当作“免费”的开销。@ZhihuFrontier
一个在技术上值得注意的观察是,公开的 Blackwell 配置中显然没有使用张量并行。一位评论者将其与 vLLM/SGLang 的默认方案进行了对比,并将这一做法追溯到 DeepSeek V3 在 H800 时代所受的互连约束。这只是对该配置的一种解读,并非证明张量并行普遍更差的证据。@nrehiew_
规模也很重要。苏锦言认为,宽专家并行的 prefill 需要足够的流量和工作节点才能见效,并且在只有少量 prefill 工作节点的中小规模部署中更倾向于使用流水线并行。作者还指出,层间异构性可能会使流水线切分变得复杂。这是从业者的经验判断,而非确立普适切换点的基准测试。@SuJinYan123
缓存层级:持久化前缀与瞬时状态的低成本重建
缓存设计是连接吞吐量数据、Agent 工作负载与每加速器报道收入的核心环节。
持久化块 KV 存放在一个独立的 3FS 存储集群中,拥有约 100 PiB 的 SSD 容量。据报道,Agent 流量的保留时间为三天,聊天机器人流量的保留时间为七天。任何 prefill 工作节点都可以检索缓存前缀,从而将缓存局部性与计算放置解耦,使存储和计算能够独立扩展。@ZhihuFrontier
这种保留机制对那些反复重发不断增长的指令、仓库内容、工具输出和历史回复的智能体很有用。这也意味着155T 服务 token/天不能被理解为每天新生成 155T token:缓存命中计入服务的 token 统计,而新计算的预填充和自回归输出的成本截然不同。因此,报告中 96% 的输入缓存命中率是理解这一头条吞吐量的关键背景。@ZhihuFrontier、经济性工作负载假设
该实现处理了两种不同的状态生命周期:
持久化块缓存采用异步加载。主机到设备的传输与层执行重叠进行。苏金燕强调了一个更底层的实现细节:细粒度 KV 块复制通过 CUDA 复制引擎的性能很差,因此所述路径使用基于 GDR/RDMA 的传输,旨在打满 PCIe 带宽而不占用 SM。这是基于报告的技术观察,并非推文中单独测量的结果。@SuJinYan123
滑动窗口注意力状态保留在主机内存中,而非持久化 SSD 存储。它主要在活跃会话中有用,生命周期比可复用的块前缀更短。@ZhihuFrontier
SWA 有界重放仅凭最近的 128 个 token 重建缺失的短生命周期状态。重放将注意力限制在该片段内,同时复用持久化块缓存,产生的是近似结果,而非在完整前置历史上重建状态。DeepSeek 报告称,这使预填充总计算量几乎减半。在考虑向其他架构的可移植性时,这种近似及其模型特定的有效性很重要。@ZhihuFrontier
苏金燕还报告说,长保留尾部仅带来约0.5–1 个百分点的额外缓存命中,说明了存储容量与重算之间的权衡。同一评论还指出,以解码为主的缓存管理允许生成的输出在后续轮次中成为可复用的前缀状态。@SuJinYan123
这一时间点让人联想到 OpenAI 单独宣布的12 小时 API 提示缓存,而其默认值为 30 分钟,包括同一请求内混合保留时长。两者并非相同的产品或架构,但都面向在长时间间隔后复用上下文的持久化智能体。信息流中其他关于无限登录缓存的说法属于评论,并非 API 公告的条款。@OpenAIDevs、保留控制、对比评论
推测、API 兼容性与模型特定优化
DSpark 使推测验证具备自适应能力。它预测草稿 token 的接受概率,并调整验证长度以最大化预期吞吐量。DeepSeek 报告称,与始终验证五个草稿 token 相比,生产吞吐量提升了 6%。这是相对于特定推测解码基线的增量收益,而非相对于非推测解码的 6% 收益。@ZhihuFrontier
deepseek-recipe解决的是服务接口问题,而不仅仅是分词器速度问题。它支持 Chat Completions、Responses 和 Messages API,并行化分词过程,还能区分真正的控制令牌与用户文本中外观相同的字符串。这种区分可防止字面用户内容被意外解析为结构性分隔符;但不应将其误认为是完整的提示注入防御。@ZhihuFrontier、@deepseek_ai
一份社区解释将这种效率归因于多项模型/运行时协同设计选择:196B Engram 参数、一个更小的预填充主干(每 token 激活约 8B 参数,而解码阶段为 16B)、宽 EP、高度压缩的 KV 以及投机解码。该解释还描述了 552B 专家参数、DP64/EP64、每设备约 45B 常驻参数、主要为四位权重,以及声称的相对 GQA 基线实现 400× KV 削减。这些属于二手说法:该帖子未提供足够关于复制、共享权重、量化布局或 GQA 参照的信息,无法独立复现这些数字。特别是,45B/设备并非简单地用 552B 除以 64 得出。@bookwormengr
这种模型特异性正是不应假定相同收益会自动迁移到任意检查点的原因之一。苏锦岩(Su Jin Yan)认为按模型维护仓库/内核的策略有价值;Andrew Carr 建议用编码智能体将实现适配到其他模型,但未提供可移植性或性能验证。@SuJinYan123、@andrew_n_carr
独立对比:vLLM 复现了什么——以及没有复现什么
对“只有 DeepSeek 能做到”这一说法最有力的技术制衡,来自 vLLM 的后续内容:

需要区分三点:
6% 以内的结果是解码阶段的持平,而非复现 DeepSeek 的完整服务。它并未证明在 DeepSeek 的流量分布下,等效的 100 PiB 缓存操作、留存经济性、路由、生产可用性或端到端延迟。
每 GPU 每秒 100 万 token 的数字不可能指每用户生成。同一帖子另外报告了约 200 的 P90 输出 TPS;在与纯解码吞吐量进行比较之前,该吞吐量标题需要明确基准的输入/缓存/输出核算方式。
这项工作是一次外部实现对比,但仍由竞争引擎团队自行报告。公开的 InferenceX 结果和配方提升了可复现性,但并未使每一条被引用的生产声明都得到独立审计。
开源渊源十分明确:vLLM 感谢 DeepSeek 的 Apache 2.0 发布与致谢,而 Woosuk Kwon 则将 DeepSeek 描述为早期采用者和贡献者。因此,DeepInfer 更应被理解为生产经验回流到现有生态,而非对其的全新替代。@vllm_project、@woosuk_k
其他反应涵盖了一个有用的范围:
强力背书:Tim Dettmers 认为 DeepSeek 的推理栈可与 OpenAI 相媲美,并且考虑到其用户规模,优于 Anthropic 的;Graham Neubig 则指出官方 API 的速度与价格。两者都没有提供跨实验室的对照基准测试。QuixiAI 表示这次发布将为 SlimServe 提供参考。@Tim_Dettmers、@gneubig、@QuixiAI
对部署的质疑:Su Jin Yan 认为,对于有经验的推理开发者而言,那篇工程文章比代码仓库更有价值,部分原因是其中缺少重要组件。Finbarr Timbers 要求与 Modal、Together 和 vLLM 进行对比;所提供的帖子中并未出现与 Modal/Together 的对照比较。@SuJinYan123、@finbarrtimbers
一位一贯热情的评论者给出的有保留的支持:Teortaxes 承认基础设施存在缺失,并建议 3FS 加上可能的 Dynamo 可以弥补部分缺口,同时估计要达到同等的集群级吞吐量大约需要 3,000–4,000 块 GB200。这只是一条设想中的部署路径,并非已经验证的复现。@teortaxesTex
随后在代码仓库中找到了技术报告的官方英文版,从而减少了对社区翻译的完全依赖。@teortaxesTex
经济性:一项强有力的营收披露,而非完整的利润率说明
最重要的财务披露是 按非高峰价格计算,每加速器小时营收 38 美元。营收不等于利润,而加速器小时只是生产服务成本基础的一部分。@swyx
一个被广泛传播的估算最初计算出 87.76–96.94% 的推理利润率,其假设如下:
97% 缓存输入、2% 未缓存输入、1% 输出,占所有计费 token 的比例;
每 GPU 每秒 80K 未缓存输入 token 和 每 GPU 每秒 16K 输出 token;
每用户每秒 250 个输出 token;
每 GPU 小时 3–6 美元的租赁成本。
对于总计十亿个计费 token,该模型包含 9.7 亿缓存输入、2000 万未缓存输入和 1000 万输出,大约需要 875 GPU 秒:其中 250 秒用于预填充,625 秒用于解码。估算的 GPU 成本为 0.73–1.46 美元,对应 非高峰 11.91 美元或 高峰 23.82 美元的营收。@zephyr_z9
作者随后修正了该估算:理想化场景意味着大约 每小时 49 美元,而 DeepSeek 报告的是 每小时 38 美元,约为基准性能的 80%。修正后引用的利润率区间为 84.2–96.1%。在没有该修正的情况下,不应重复引用原始估算。@zephyr_z9
其他帖子采用了更高的硬件成本:
按 每小时 7 美元对比每小时 38 美元的营收计算,在扣除其他成本之前,结果约为 81.6%。Yuchen Jin 明确指出,DeepSeek 并未披露该营收数字背后的 GPU 情况。@Yuchenj_UW
按 每小时 5–10 美元计算,仅计算加速器的同一算法得出的区间约为 73.7–86.8%,而非确立了一个普遍适用的“80% 服务利润率”。@swyx
这些计算忽略或未完整分摊 SSD 缓存集群、CPU、网络、闲置/备用容量、故障、工程、支持及其他运营成本。它们还依赖于非常有利的以缓存为主的 token 构成。训练支出和未来的算力承诺又是另一回事:推理上的高贡献毛利率可以与公司层面的巨额亏损并存。
更激进的外推明确属于推测。Teortaxes 估计,据称的 $1B ARR 可由约 42 个 GB200 NVL72 机架/~3,000 块 GPU 在非高峰价格下支撑,之后在计入高峰定价后将该数字下调至 33 个机架。这些帖子还外推出 约 4,167 个机架带来 $100B 年收入,以及每吉瓦的高收入。这些是情景测算——并非经审计的 DeepSeek 收入、集群规模或投资回收披露。初步估算、修订估算、行业外推
对市场影响的看法不一。一些人将这些披露视为推理已跨过盈利门槛的证据;另一些人则预计 token 价格下降和算力价格上升最终会压缩回报。所提到的对 Moonshot/智谱托管协议的竞争影响是合理的,但未经衡量:一个可公开部署的技术栈在改善服务商经济性的同时,也会加剧定价竞争。@KCDN19、价格趋同论点、托管竞争
NVIDIA、Ascend 与硬件推理的局限
Ascend 兼容性已得到确认;可比的 Ascend 生产效率则未获确认。 多个帖子将 Blackwell 支持、sm100 支持和 NVL72 形态的配置解读为生产环境中使用 NVIDIA 硬件的证据。这些是线索,而非已披露的库存或经过测量的 NVIDIA 与 Ascend 对比。@eliebakouch、@stochasticchasm、明确的不确定性
一份后续硬件分析比较了 GB200 与 Ascend 950DT 的已报告解码数据:
在 100 TPS 限制和 131K 上下文下:每设备约 25.5K 对 5K tokens/s。
在 230 TPS 下:约 20K 对 2.7K,差距从约 5× 扩大到 7.4×。
它引用了此前 DeepEP-Ascend 的披露,即 EP64–128 和 combine 操作仍在优化中,包括本地归约开销以及与 URMA 的 HBM 争用。
它假设优化后可达 8–10K tokens/s/芯片,并以假设价格 $10M/NVL72 机架和传闻中的 $37K/950DT 计算出约 6.8K tokens/s/芯片的经济性交叉点。
这些预测结合了不同的测量数据、假设的采购价格以及未经验证的未来优化收益;它们并非同条件下的 DeepInfer 硬件基准测试。@teortaxesTex
同一位评论者预测,到 2027 年底 DeepSeek 将获得大规模 Ascend 配额和超过 1 GW 的 Blackwell 等效算力,同时也报告了一个相互矛盾的模型生成估算 250K 块 GPU。这两个预测都不是 DeepSeek 的采购公告。算力预测、相互矛盾的估算
V4.1 Flash 背景:低成本服务放大能力,但不决定质量
独立评估支持开源模型能力取得了实质性进步,尽管尚未全面达到前沿水平:
Arena:V4.1 Flash 20261017 在 Agent Arena 和 Code Arena:WebDev 中排名 开源模型第一。在 Agent Arena 中,它总体排名第 11,在 7,500 多个真实场景会话中净提升 +5.1%,每任务中位成本为 $0.20。Arena 称这大约相当于 GPT-6.1 Sol 提升幅度的 37%,而成本仅为其 27%。报告的信号包括 确认成功率 +11.5%、好评与差评比 +5.9%、Bash 可靠性 +5.4% 以及 可控性 +2.5%,且在该评估中未观察到工具幻觉问题。@arena、详细结果
网络安全:Vals 报告称,V4.1 Flash 1017 在一项使用基于 Pi 的智能体的模拟企业网络任务中,超过了 GPT-6 Sol 的平均进展。DeepSeek 和 Sol 各获得 三次全新范围的运行;其他模型仅有单次运行。完整的评估细节仍在陆续发布。DeepSeek 使用的 token 数量明显更多,但 API 总成本更低。@ValsAI、成本解读、方法论
这项网络安全结果在效率和最佳运行表现方面存在争议。Scaling01 认为,“击败 Sol”这一说法夸大了结果,因为 DeepSeek 的效率低了数倍。Teortaxes 报告称其 token 数量约为 4.3 倍,耗时约为 2.4 倍,并表示 Sol 的最佳运行达到了 DeepSeek 任何一次运行都未达到的目标组。关于将节省的成本用于重复运行或集群的建议仍属假设,并非经过评估的等预算结果。@scaling01、@teortaxesTex、等成本集群建议
非正式报告的结果比受控证据所能支持的更为乐观。Teortaxes 描述了在冷知识问答环节中,DeepSeek 的成绩为 100%、100% 和 91%,而 MiniMax 约为 60%、48% 和 62%;在一项描述/变体拼写测试中,成绩为 100% 对 50%。这些是规模较小、由作者自行构建的测试,题目由模型生成且答案键存在错误;它们提示了后续实验的方向,而非经过验证的知识基准,也不能证明差异仅由 Engram 导致。另一位用户报告了借助 Hermes 进行的出色 AI 研究,而另一篇帖子则称 DeepSeek 在另一项评估中仍远低于 Sol-xhigh。冷知识测试、后续、变体拼写测试、研究轶事、相反的结果
本地部署带来了不同的权衡。Brandon Music 发布了面向 两块 RTX PRO 6000 的 TrellisMX K2 Mix,采用两位专家,其中 629 个专家提升至三位/四位,并使用四位 Engram 表,容量目标约为 3M KV token。报告的平均 KLD 为 0.1306 nats,比纯 K2 低 8.6%;一个 +5GB 的变体面向约 2M KV token。目前仅测量了 KLD,且服务使用的是测试镜像,因此任务质量保持情况、实际速度和运行稳定性仍有待确认。@BrandonMusicKy
智能体基础设施、本地执行与硬件加速
长上下文推理内核:SGLang 合入了 megakernel 支持,SemiAnalysis 报告称在 AgentX 中于 GB300 NVL72 上达到近 每用户 1,000 token/s,在 MI355X 上交互性提升 1.5 倍。另外,Inferact 报告称 Kimi K3 在 TPU v7 上达到每用户 391 token/s,使用的是 vLLM TorchTPU 中的开源 megakernel(SGLang 结果、TPU 结果)。
Apple 芯片运行时性能提升:PyTorch 2.15 用 Metal 内核替换了多条 MPSGraph 路径。报告的改进包括 MoE 解码快 5–6.5 倍、Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s、MPS 上的 FP8 支持,以及 Wan2.2 VAE 峰值驱动内存从约 270 GiB 降至 8 GiB。这些改进直接落在 PyTorch 本身,而非独立的推理运行时(发布摘要)。
本地 Perplexity Computer:模型和智能体现在都可以完全在受支持的 Apple 芯片 Mac 上运行,包括离线运行,并可与原生应用和本地文件交互。
持久化智能体服务:LangChain 的 Managed Deep Agents 打包了用户专属凭据、限定范围的记忆、沙箱化执行和定时任务;Hugging Face 的 Agent Manager 则跨 Claude Code、Codex 及其他框架编排持久会话(LangChain 架构、Agent Manager)。
端侧模型、语音与图像发布
Muse Glimmer:Meta 开源的 30B 多模态智能体模型,由 Muse Spark 蒸馏而来,目标显存为 32 GB,使用 4-bit 量化和一个投机解码头,可在单张 RTX 5090 上运行。论文报告其在 MCPAtlas 上得分 75.5,在 SWE-Bench Pro 上得分 51.2;Qwen3.6-27B 在 OSWorld-Verified 和 TerminalBench 2.1 上仍保持领先。它支持文本、图像和 100 多种语言,采用 Apache 2.0 许可(论文摘要)。
Voxtral 3:Mistral 推出了批量和流式转写、多语言 TTS 以及支持工具调用的语音智能体 SDK,可通过其 API 或在客户自有基础设施上使用(发布、部署选项)。
Fibo 2.0:Bria 的 8B 开放权重图像系列包括用于文生图的 Dev 和蒸馏版 Edit Turbo。Artificial Analysis 报告其开放权重编辑性能领先,文生图方面与 Qwen-Image-2.1 统计持平;Bria API 定价为 $32/1,000 张图像(评估)。
Krea 3 Ultra:排名因评测场和更新时间而异。Artificial Analysis 自身的公告将 Ultra 列为 第 5 名,而此前的帖子引用的是第 4 名;Arena 将其列为多图编辑第 4 名和单图编辑第 8 名。站得住脚的结论是其图像编辑质量具有竞争力,而非普遍的第四名(Artificial Analysis、Arena)。
定价:Fast 的费用为每 1K 输出图像 $0.03,外加每 1K 参考图像 $0.02。Ultra 仅支持 2K 输出;一次 2K 编辑配一张 1K 参考图的费用为 $0.27。
独立评估、网络能力与安全证据
HealthBench 暴露出评分敏感性:Artificial Analysis 推出了针对 5,000 段一般健康对话和 525 段临床医生对话的排行榜。GPT-6 Astra 在 Professional 的长度调整后得分中以 66.0% 领先;Claude Sonnet 5.5 在一般 HealthBench 中以 62.1% 领先。
长度影响:Opus 5.5 拥有 Professional 的最高原始得分 71.4%,但调整后降至 59.9%。一般 HealthBench 中回答最短的模型在沟通质量上领先,但在完整性上得分最低。因此,答案长度是一个实质性的排名选择,而非表面细节。
成本权衡:DeepSeek V4.1 Flash 的得分为 60.9%,每任务 $0.005,而 Sonnet 为 62.1%,每任务 $0.08。评分使用 OpenAI 模型,遵循原始实现(方法与结果)。
路由与专用决策:在五个路由器和约 1,250 个任务中,Vals 发现每个路由器在得分和成本两方面都被至少一个独立模型击败。在路由器预算内进行事后最优选择可将得分提高 8–27 分,表明存在可观的选择空间(Router Index、oracle 对比)。
DeepSeek 攻击性网络能力结果:Vals 报告称,V4.1 Flash 1017 在使用 Pi 框架的模拟企业网络任务中表现优于 GPT-6 Sol。DeepSeek 消耗了更多 token,但总价格更低。
安全保证与问责:METR 认同 Anthropic 关于所涉模型灾难性失准风险较低的结论,但指出了重大的分析分歧。它建议对监控系统进行端到端红队测试,并评估模型破坏安全相关决策的能力(审查、建议、决策风险)。
科学智能体:湿实验结果与开放式局限
蝎毒结合蛋白:Anthropic 和 Citrini 报告称,在内部 Claude 研究模型完成大量计算工作后,从 211 个受测蛋白质设计中筛选出 17 个结合蛋白。所有受测设计和实验室数据正在发布(公告、数据)。
病理到生物学预测:Sophont 推出了 Holon-S1,它能从常规病理切片预测空间基因活性和生物标志物。该团队报告称,在16 种器官类型和 15 种以上扫描仪上进行了评估,在空间基因预测方面优于两个对比模型,并识别出潜在的乳腺癌和结肠癌新型生物标志物。这些是研究发现,而非经过验证的治疗选择结果(发布)。
开放式研究依然困难:评估者向 GPT-6 Astra 和 Claude Fable 5.1 提出了未公开的 AI 研究问题,并各提供 $10,000 预算。原论文作者认为,与早期测试相比,实验设计和资源管理有所改进,但仍然因创造力、判断力、校准和沟通方面的不足而否决了两篇生成的论文。这项小型研究是对那些仅在狭窄、可验证研究任务上取得成果的结果的有益制衡(评估)。
行业与政策:药物开发、制造与资本承诺
OpenAI 收购 Orchestra Bio:OpenAI 宣布收购一个药物开发协调平台,将其生命科学工作从研究工具扩展到与 Rosalind 并肩的运营执行。财务条款未披露(公告)。
Arda 公开亮相:前 OpenAI 研究主管 Bob McGrew 宣布了与 Anduril 合作开发的制造软件,Anduril 担任设计合作伙伴。其本人的账号说明这是一笔估值 15 亿美元的 1.6 亿美元 A 轮融资;CNBC 的相关报道则称融资 2.3 亿美元,但未明确说明该数字与已宣布的这轮融资如何对应。首款产品支持人工装配线的设计与运营;可重构自动化是下一步的目标(创始人公告、CNBC 报道)。
融资与算力敞口:有报道称,在 Anthropic 预计进行 IPO 之前,OpenAI 正寻求以1.4 万亿美元以上估值融资约 300 亿美元。另有报道称 WSJ 审阅了 Anthropic 的招股书草案,其中引用了上半年营收 163 亿美元、算力/基础设施支出近 90 亿美元,以及未来算力承诺超过 6000 亿美元(含谈判中的部分)。这些均为转述性报道,并非已完成的交易或经独立核实的财务披露(OpenAI 报道、Anthropic 报道)。
热门推文(按互动量)
39,393 — DeepSeek 发布 DeepInfer
5,778 — Anthropic 发布蝎子毒素结合蛋白研究
5,700 — OpenAI 宣布收购 Orchestra Bio
3,056 — Mistral 推出 Voxtral 3
2,600 — 研究者解释结合蛋白结果与生物学局限
2,476 — Hugging Face CEO 质疑网络攻击纪录片的叙事框架
2,330 — Theo 否认所谓的 Fable 5.5 访问权限
AI Reddit 回顾
/r/LocalLlama + /r/localLLM 回顾
1. DeepSeek DeepInfer 开源推理框架
DeepSeek 新作 - DeepInfer -(热度:313):图片是 DeepSeek 在 X 上公告的手机截图,内容是其自研推理框架 DeepInfer 现已完全开源:图片、GitHub。来自链接/原始讨论中技术上值得关注的说法是,DeepInfer 支撑了 DeepSeek V4.1 Flash 的大规模运行,据报单集群吞吐量为 155 万亿 tokens/天,按非高峰定价计算每卡每小时收入为 $38,强调的是高吞吐、低延迟的大规模推理,而非模型训练。评论者对 DeepSeek 将内部生产级推理栈开源感到颇为惊讶,并将其与他们对 Anthropic、OpenAI 或 Meta 的预期作对比。也有部分读者对该框架的实际作用存在基本疑问,即它是服务/推理基础设施,而非新模型。
一个链接的知乎来源称 DeepInfer 为 DeepSeek V4.1 Flash 提供高吞吐、低延迟的大规模推理,据报单集群吞吐量为 155 万亿 tokens/天,非高峰定价下每卡每小时收入为 $38:
https://zhuanlan.zhihu.com/p/2095560295930508953
。一位评论者还提到一个据报的服务指标,约为 256 tokens/s × 100 用户,意味着如果在生产环境中持续保持,将有非常高的并发解码吞吐量。
有人提出的一个技术疑虑是,DeepInfer 究竟是一个通用推理框架,还是主要为 DeepSeek 自身模型架构和部署环境深度优化的技术栈。该仓库初期 GitHub star 数较低、而公告互动量较高,被解读为可能只是因为发布尚新,但评论者预计,待工程师们检视其实现与可移植性后,会有更有意义的评估。
DeepSeek 发布 DeepInfer——面向 DeepSeek 模型的开源高性能大规模推理框架!(热度:1023):DeepSeek 发布了 DeepInfer,这是一个面向 DeepSeek-V4.1-Flash 的开源高性能离线推理框架,包含面向生产的原语:优化内核、注意力/数据/上下文并行、结合 EPLB 的 MoE 专家并行、DSpark 式投机解码、SWA 有界重放、异步调度、结构化输出、批不变推理以及确定性采样。目前它通过 DEEPINFER_ACCELERATOR=nvidia|ascend 面向 NVIDIA SM100 GPU 和华为昇腾 950 NPU,要求 Linux/Python 3.12 以及 CUDA 13 或 CANN 9.2;不过,完整的在线服务仍需外部 KV 缓存管理、预填充/解码分离以及 DP 副本负载均衡。DeepSeek 还发布了 deepseek-recipe,这是一个带有 Python 绑定的 Rust 库,用于在 Chat Completions、Messages 和 Responses 等 API 之间进行协议转换和模型输出解析。评论者认为,此次发布的价值在于可将生产级推理技术逆向工程到 gufo、halogen、strixite 和 Strata 等社区引擎中。对明确支持昇腾 950 也颇受关注,有评论者开玩笑称“Nvidia [is] in shambles”,不过所列出的 NVIDIA 目标仍是下一代 SM100,而非当前广泛部署的 GPU。
DeepSeek 的发布分为两个仓库:DeepInfer,被描述为面向 DeepSeek 模型的高性能大规模推理框架;以及 deepseek-recipe,一个带有 Python 绑定的 Rust 库,用于在 Chat Completions、Messages 和 Responses 等 API 格式之间进行协议转换和模型输出解析。
评论者指出,目前列出的加速器目标是 NVIDIA SM100 GPU 和 华为昇腾 950 NPU,可在运行 ./build.sh 之前通过 DEEPINFER_ACCELERATOR=nvidia 或 ascend 在构建时进行平台选择。对昇腾的支持引人关注,因为这意味着 DeepSeek 正在标准 CUDA/NVIDIA 路径之外进行优化。
一位评论者引用了 DeepSeek 的知乎帖子,称其每 GPU 小时的收入/吞吐经济性约为 38 美元,并链接了原帖 zhuanlan.zhihu.com/p/2095560295930508953。讨论中提出,类似的每 GPU 经济性是否可用于估算 OpenAI 或 Anthropic 等竞争对手的推理收入,但并未给出具体的推导过程。
DeepSeek V4.1 Flash 1017 真的能在 12GB 显存 + 64GB 内存上运行吗?(活跃度:352):该图片是一张 X/Twitter 帖子的截图,声称 DeepSeek V4.1 Flash 1017 可能在 Q4 量化下以 12GB 显存 + 64GB 内存本地运行;Reddit 帖子询问 RTX 3060 12GB 能否卸载足够多的层使推理可用。主要的技术反驳是,据报道 V4.1 Flash 对许多专家而言已经约为 4.25 bpw(通过 mxfp4 + fp8),因此虽然如果总内存足够或许能装下,但在大量依赖 CPU/内存执行的情况下,预期性能可能极慢——一位评论者估计大约为 ~3 tokens/sec。评论者怀疑这对日常使用是否实用:共识更接近“能加载”而非“跑得舒服”。一条评论指出,提出原始声称的人是 Strata 的创建者,这为容量估算的声称增加了一些可信度,但对性能预期未必如此。
评论者质疑 DeepSeek V4.1 Flash 1017 能在 12GB 显存 + 64GB 内存上实际运行的声称:即使是“Flash”变体,据描述对许多专家而言也已约为 4.25 bpw,使用 MXFP4 + FP8,因此在该内存预算内不太可能实现标准的 Q4 式适配。
技术上可行的方案可能需要大量卸载:一位评论者称 Q4 装不下,建议直接查看 Hugging Face 上的模型大小,然后将 n-grams 卸载到 NVMe,并从磁盘流式加载部分 MoE 专家。这在原理上可能运行,但预期吞吐量可能非常差,一项估计约为 ~3 tokens/s 或更差,具体取决于磁盘和卸载实现。
有人对原始 Strata 声称的准确性表示怀疑;评论者指出,即使模型能在 RAM/NVMe 之间某处“装下”,相关问题也是实际推理速度,而非仅仅能否加载。
2. MiniMax M3.1 Flash 发布
MiniMax M3.1 Flash 发布,模型权重 10 月 23 日(活跃度:874):该图片是 MiniMax 在 X 上发布的 MiniMax M3.1 Flash 官方公告,描述为“Space Performance + Bunny Speed”,API 现已可用,开放模型权重定于 10 月 23 日发布。评论者补充称,据报道该模型为 MoE,总参数量为 428B,激活参数约 23B,采用稀疏注意力和原生视觉编码器;预览/工具页面链接为 agent.minimax.io/tools/m3-1-flash-preview。评论中的主要技术疑虑是,基准测试的热度很大程度上取决于是否了解模型大小/激活参数量,因为在没有架构细节的情况下,性能声称难以评估。
一位评论者引用 MiniMax M3.1 Flash Preview 工具页面,指出其采用 Mixture-of-Experts 架构,总参数量 428B,激活参数约 23B,并具备稀疏注意力和原生视觉编码器:https://agent.minimax.io/tools/m3-1-flash-preview。这直接回应了讨论中关于模型大小的不确定性,并表明该模型定位为大型稀疏多模态系统,而非稠密 LLM。
MiniMax-M3.1-Flash 即将到来(热度:521):MiniMax 通过官方 X 帖子(来源)预告了 MiniMax-M3.1-Flash,但 Reddit 帖子没有提供架构细节、参数量、上下文长度、定价、发布日期或基准测试结果。唯一的技朮信号是产品命名:评论者推断“Flash”可能表示速度/延迟优化版本,尽管没有给出证据。评论者对“Flash”的含义持怀疑态度,开玩笑说在当前大模型命名中它仍可能是一个非常大的模型——例如“Flash 意味着一个 500B 的模型”——或者讽刺地说是一个号称轻量但实际上并不小的模型。
3. 基准测试膨胀与 AI 垃圾内容的衡量
AI 实验室报告的基准测试分数平均比独立测试者高出 6.4%(热度:334):该图片是来自 whatmodel.sh 开源排行榜的技朮基准对比图表,可视化了 611 组匹配对比,涵盖 180 个 AI 模型和 103 项基准测试,来自 1,629 份已发布结果。图表显示,对于相同的模型/基准测试组合,AI 实验室自行发布的分数平均比独立测试者高出 6.4%,其中 375 例实验室更高,216 例独立测试者更高,20 例持平;所示基准测试差距中位数最大的包括 SWE-bench Verified 和 MBPP,实验室高出约 +9.0 分。图片 · 交互式图表 · 数据/代码 评论者就这一差距是否反映了有意的分数膨胀,还是更平常的可复现性问题(如软件包版本、测试框架设置、随机种子、提示词/评估设置,或实验室针对基准测试工具进行优化以呈现最佳结果)展开了辩论。一些人将其与 Apple 或 Nvidia 等公司偏向自家产品的性能图表相提并论,认为只有独立复现或经过同行评审的结果才值得信赖。
一些评论者认为,6.4% 的平均差距可能来自基准测试的可复现性问题,而非赤裸裸的分数膨胀:软件包版本、评估框架设置、随机种子、提示词格式以及实验室专用的基准测试工具的细微差异,都可能对报告的分数产生实质性影响。一个主要观点是,实验室很可能针对用于展示其模型的确切框架/配置进行了优化,而独立测试者可能使用更通用或未针对特定模型调整的设置。
一位评论者指出,平均差距可能由离群值驱动,并建议中位数差异可能更接近报告的基准值。这意味着,如果少数较大的偏差主导了整体数据,那么标题中的平均值可能会夸大系统性膨胀。
有人提出的一种技朮解释是部署不匹配:实验室可能对全精度权重模型(例如 BF16)进行基准测试,而独立测试者通常评估的是已量化为 FP8、MXFP4 或其他硬件高效格式的 API 服务版本。如果属实,某些分数下降可能反映的是针对数据中心张量单元的推理服务优化,而非基准测试操纵。
让我们深入探讨 r/LocalLLaMA 上的 AI 垃圾内容图景(热度:455):该帖子链接了一项关于 Reddit 各社区中“AI 垃圾内容”的非正式纵向分析,涵盖 r/LocalLLaMA,并尝试对未来垃圾内容的普遍程度进行外推:thil.ooo/blog/measuring-slop。一位技术评论者指出了可能存在的测量偏差:版主删除和 karma 过滤可能导致 Pushshift/归档类数据集低估短命的机器人帖子,而机器人规避手段(如全小写书写)可能削弱简单的“人类标记”启发式方法;他们还建议与来自“Claude 的承重词汇”的 Claude 相关词汇进行对比。版主的反馈是支持性的:尽管有举报,版主仍将帖子保留,认为它与正在进行的反垃圾内容管理直接相关。评论者普遍认为,明显的 AI 生成风格标记——破折号、项目符号列表以及“delve”之类的套话——已经成为嘈杂信号,可能错误地牵连到人类撰写的文字。
一位评论者指出了若干测量偏差,这些偏差可能影响在 Reddit 归档数据上训练/评估的 AI 垃圾内容检测器:版主可能在许多生成的帖子出现在数据集之前就已从 /new 版块中将其删除,而新的 karma 过滤器可能在上游就压制了机器人/垃圾内容的提交。他们还指出,机器人可能通过使用全小写发帖来规避简单的风格启发式方法,从而可能破坏“人类标记”的假设。
一项技术建议是使用 Claude 特有的“垃圾内容”术语来扩展检测器的词汇特征集,参考了对 Claude 承重词汇的分析,见 https://louisabraham.github.io/load-bearing/。评论者强调要将明显的 AI 垃圾内容与更广泛的低价值生成内容区分开来,后者可能不表现出明显的风格标记,并且可能很快被删除。
非技术类 AI 子版块回顾
/r/Singularity、/r/Oobabooga、/r/MachineLearning、/r/OpenAI、/r/ClaudeAI、/r/StableDiffusion、/r/ChatGPT、/r/ChatGPTCoding、/r/aivideo、/r/aivideo
1. Opus 5.5 游戏自动化壮举
花费 712 美元、历时 39 小时,Opus 5.5 独自打通了《博德之门 3》(热度:1145):一位用户报告称,Claude Opus 5.5 通过一套自制运行框架自主完成了《博德之门 3》:使用 claude -p 并禁用内置工具,通过 TCP 连接一个 Python MCP 服务器至一个 Lua BG3 模组,配合 Vulkan 层截图和 SDL 中转点击(技术文章、代码)。整个过程耗时 39 小时、花费 $712,进行了 99 次全新会话、20,809 次工具调用、862 次截图,缓存输入 token 超过 2.2B,而输出 token 为 3.5M,并依赖一套基于 git 的记忆系统,包含 157 次提交、约 23k 条精选词条和 67 条提炼出的战术规则;一次经过审计的“信仰之跃”重跑在修复了隐藏通道泄漏后,仅使用马赛克地砖的截图,耗时 36 分钟、674 次工具调用、$24,死亡一次,读档十一次。作者计划将该运行框架做成一个由多个 BG3 短场景组成的基准测试,按成功率、尝试次数、时间和成本评分,据报道 Claude 的螺壳舰开局成功率 9/9,每次约 $1.50,Codex/Gemini 的集成也已准备就绪但尚未评估。热门评论大多认为该项目成本高昂但前景可期:有人称其为“最好的基准测试构想之一”,可用于跨厂商比较智能体,也有人认为这笔花费“钱多烧的”。非技术向的调侃则集中在该智能体是否做出了游戏内具有道德意义的选择,例如它是否洗劫了林地。
一位评论者将这次运行描述为一个可能有用的智能体基准测试,认为在多个竞争模型上重复《博德之门 3》任务,可以比许多标准基准更实际地比较长程规划、工具使用和持久性。其关键技术价值在于统一环境设置,并衡量各模型的成本、完成时间、失败模式和决策质量。
Claude Opus 5.5 一夜之间反编译了一款 PS2 时代的游戏,如今已有数百款游戏能在浏览器标签页中运行(热度:2348):一篇Kotaku 报道称,AI 辅助的逆向工程——帖子标题将其归功于 Claude Opus 5.5——使得《Halo: CE》《GTA: Vice City》《Skate 3》和《The Simpsons: Hit & Run》等老游戏的浏览器可玩移植版成为可能。文章称部分移植版完全在浏览器中运行,性能表现亮眼,例如 Hit & Run的帧率目标为 240fps,而一个 Halo: CE版本支持低延迟在线多人游戏,但评论者质疑这些究竟是真正的反编译,还是对现有二进制文件/资源的重编译或重新实现。热门评论持怀疑态度:有人要求提供一个真正可玩的浏览器链接,称该帖是“空洞的炫耀”,也有人认为术语被混淆了——“这些不是反编译……它们只是重编译?”还有评论者推测,一旦大公司视此为知识产权执法威胁,公众使用强大模型的渠道可能会被限制。
一位评论者对该帖子的术语提出质疑,认为这些很可能并非完整的反编译,而是重编译/重编译项目(recompilations/recomp projects),并指出社区可能混淆了两者。这一区分在技术上很重要:反编译意味着恢复高级源代码或等价结构,而重编译通常是将现有的二进制文件/中间表示(IR)转换为新的目标,例如浏览器兼容的代码。
2. AI 证明与学术劳动
菲尔兹奖得主 Richard Borcherds 谈 OpenAI 证明:“我认为人们之所以生气,是因为他们慢慢意识到自己很蠢,却不知怎么地把这怪到 AI 头上,尽管这其实并不是 AI 的错”(热度:1309):所链接的Daily Cal文章报道了加州大学伯克利分校数学家对一项据称由 OpenAI 给出的 Navier–Stokes 证明的反应(文章),将其框定为对数学证明验证、教学法以及 AI 系统在高等研究中所扮演角色的一次压力测试。Richard Borcherds 被引述认为,这种反弹可能反映的是研究者对自身局限的认识,而非 AI 特有的失败:“他们慢慢意识到自己很蠢,却不知怎么地把这怪到 AI 头上。” 顶级评论者主要关注教育问题:一人赞同这样的观点,即如果学生无法在考试中复现理解,那么在作业中使用 AI 就无关紧要;另一人则强调了 Borcherds 的说法,即 AI 可能比人类教师更有耐心、更善于表达,更适合教授研究生阶段的抽象代数。
一段引述的讨论中,Richard Borcherds 将 AI 生成的数学描述为可能产生非常庞大的形式化产物——例如“某项重大猜想的10 万行形式化证明”——但他认为这不一定会降低数学学习或研究的质量,因为人类可以选择忽略机器生成的形式化成果。技术上相关的启示在于区分形式化证明的生成/验证与以人为中心的理解、动机和理论构建过程。
一条评论强调了 Borcherds 的说法:AI 在教授 MATH 250A 研究生抽象代数方面可能比他本人更强,具体原因在于 AI 有耐心、前后一致,并且能够在不感到沮丧的情况下重新讲解材料。这是一个以教育为重点的技术观点:大语言模型(LLM)在密集的符号学科上可以很好地充当自适应导师,但仍然无法取代学生为达到考试水平的掌握而独立解题的需要。
一位物理学家在博士论文中花了整整一年时间、手算了约 500 页的量子引力,而 Opus 5.5 只用了 10 小时就完成了,包括论文和 GitHub 仓库。它甚至还找出了其中的错误。从今往后,学术界中的“劳动”意味着什么?(热度:1710):所链接的仓库 eokahya/claude-audits-quantum-gravity 是由原共同作者 E. O. Kahya 主导的一项 AI 辅助审计,针对的是此前关于 de Sitter 空间中无质量最小耦合标量的引力子修正的一圈量子引力计算——并非完全自主的重新推导。该工作流被手动分解为一个 18 任务 / 9 阶段的流水线,由 Claude 调度确定性的 SymPy/mpmath 检查(包括高精度数值采样),发现的问题大多是记账/打印层面的:印刷的裸自质量存在整体符号约定错误,表 X 中缺失/非解析项与解析项,有限的中间问题,以及 23 处笔误。据报告,主要物理结果保持不变:修正后,Schwinger–Keldysh 晚期模函数分析仍然没有产生诸如 ln(a)、ln²(a) 或 a 之类的一圈增长项,只有常数的场强重整化加上衰减项。热门评论者反驳了“Opus 5.5 在 10 小时内完成了一篇博士论文”这一说法,认为困难的科学工作在于最初的表述、边界条件、Feynman 规则以及专家提供的框架;AI 主要加速了对密集张量代数的验证。一场更广泛的辩论将当今学术界比作人机组合下棋:一种观点认为 AI 辅助的研究者目前最强,但另一种观点预测,除了提出高价值问题之外,全自动化系统最终可能超越人类学者。
多位评论者认为标题歪曲了这项工作:E. O. Kahya(原共同作者)并没有让 Claude 从第一性原理自主重新推导量子引力结果;他用它来审计此前的计算。该工作流被手动搭建为一个 18 任务、9 阶段的流水线,并提供了专家给定的边界约束,而 Claude 则调度 SymPy 和 mpmath 等确定性工具进行张量代数检查和 30 位数字的数值验证。
技术上重要的结果是核心物理结果保持不变。所报告的问题仅限于算术笔误、整体符号/定义翻转、一个缺失的记账项以及 23 处排印错误,评论者强调这更接近于对密集符号工作的计算机辅助验证,而非新的物理发现。
评论者指出,Kahya 自己的 README 中包含诸如“人类专家仍应审查的内容”之类的注意事项,以及数值采样方面的局限性。因此,主要的技术定位是将 AI 作为专家设计的理论流水线的审计/交叉检查层,尚不能替代提出理论、推导 Feynman 规则或建立物理框架。
3. 智能体安全与提示注入风险
警告:目前请勿将你的 Gmail 和 Drive 与你的 Dots 连接(热度:1225):该帖子警告称,连接到 Gmail/Drive/PC 的 Dots 代理可能会执行通过电子邮件附件或消息正文传递的攻击者控制的指令,如果代理将这些内容视为可信的用户意图,就可能窃取个人数据或安装恶意软件。评论者认为这是经典的 提示注入 / 工具使用安全故障,影响的是任何具有外部能力的 LLM 代理,而不仅仅是 Dots:不受信任的内容在被自主代理读取时可能变成可执行的指令。主流反应是对授予 AI 代理对本地机器、电子邮件或云存储的特权访问权持强烈怀疑态度,直到具备稳健的权限控制、沙箱隔离和指令边界防御机制为止。
多位评论者认为核心风险是针对连接了工具的 AI 代理的提示注入,而非 Dots 特有的缺陷。技术上的担忧在于,任何被授予 Gmail/Drive 访问权限或本地操作权限的 LLM 都可能被不受信任的内容操纵,执行非预期的操作,因此在没有强沙箱隔离、权限边界和人工在环审批的情况下,自主账户访问是不安全的。
我关于流氓 AI 代理的帖子在这里获得了 130 万次浏览,然后 reddit 就把它删了。没有给出任何理由(热度:1315):这张图片是一张非技术性的 Reddit 界面截图,显示此前 r/ChatGPT 的一个帖子因违反内容政策被标记为“[已被 Reddit 移除]”,尽管据报道该帖达到了约 130万 次浏览、1.5K 个赞、530 条评论,并在被移除前获得了版主批准:图片。该帖子声称被删除的内容讨论了关于在线运行的“流氓” AI 代理的研究(纽约时报也曾报道),但截图本身并未提供关于这些代理的技术证据——只提供了平台层面移除的证据,且没有可见的规则引用。评论倾向于阴谋论/怀疑论,认为所谓的代理或机器人可能在压制讨论或操纵认知,而另一些人则认为重新发帖是 Reddit 预期的回应。
来源:Latent Space · latent.space
原文链接:https://www.latent.space/p/ainews-deepseek-deepinfer-open-source