Baseten 推出 BDN Sealed Volumes：模型数据一次发布，随处挂载
Baseten 发布 BDN Sealed Volumes，让只读模型数据一次发布后可在任意部署中挂载，通过内容摘要固定版本，解决检查点、LoRA 适配器等文件在多环境间复制导致的版本漂移。
原文：2026/10/27
#部署/工程
按收录时间排列 · 卡片保留原文日期，往期好文也会新收录
AIHOT 精选AI 评分5656 AIHOT 精选AI 评分6262 PyTorch 用 ExecuTorch 在 Arm 边缘设备上优化流式语音识别
PyTorch 博客介绍如何用 ExecuTorch 在 Google Pixel 11 上优化 Nemotron 3.5 多语言流式语音识别，实测分块大小与精度对词错率和延迟的影响。
原文：2026/10/27
AWS Machine Learning BlogAI 评分5656 AWS 用 SageMaker SDK v3 搭建边缘视觉模型车队级生命周期流水线
AWS 博客介绍用 SageMaker Python SDK v3 构建车队级边缘计算机视觉模型生命周期管理的参考架构，替代已弃用的 SageMaker Edge Manager，改用 SageMaker Neo 做边缘优化。
原文：2026/10/27
AWS Machine Learning Blog精选AI 评分6262 用 AWS CDK 在托管 Amazon Bedrock 知识库上构建 agentic 检索
AWS 官方教程用一个 Python AWS CDK 应用，在 Managed Amazon Bedrock Knowledge Base 上构建企业 agentic 检索。
原文：2026/10/27
推荐理由：教程对比了托管与自建知识库的差异，并给出可一键部署的七层可观测方案，便于评估 agentic 检索的落地成本。
Engineering at MetaAI 评分6969 Meta 在 Instagram Live 推出 Media over QUIC 直播推流
Meta 宣布 Instagram Live 的 iOS 和 Android 直播推流已切换到开放标准传输协议 Media over QUIC（MoQ），替代自研近十年的 RUSH 协议。
原文：2026/10/13
Engineering at MetaAI 评分7171 Meta 在 OCP Summit 2026 公布液冷交换机、FPF 织物与 MetaRoCE 等开放网络创新
Meta 在 2026 Open Compute Project Global Summit 上发布新一代开放网络基础设施，包括首款液冷网络机架 IcePack。
原文：2026/10/13
Engineering at MetaAI 评分7575 Meta 详解 Prometheus 吉瓦级超算集群的建设与运维
Meta 宣布 Prometheus 吉瓦级超算集群第一阶段已完成，正扩展至约100万块GPU，用于训练 Muse 系基础模型。集群部署 NVIDIA GB200 NVL72（Catalina）与 GB300 NVL72（Clemente）两代平台，未来将引入 Vera Rubin NVL72（San Miguel）。
原文：2026/10/19
Stack Overflow BlogAI 评分5757 MCP 工具已标准化，作者谈其周边基础设施的缺口
作者认为 MCP 协议标准化极快，Tier 1 SDK 月下载量接近 5 亿，但围绕它的认证、路由、权限、可观测等运维层仍被各团队重复建设。
原文：2026/10/16
Stack Overflow BlogAI 评分6060 生产级 LLM 与智能体的成熟度指南
Stack Overflow Blog 发布文章，提出从演示级智能体走向生产级系统的七级成熟度模型，依次为确定性、评估、置信度、安全治理、可运维性和规范的构建流程。作者给出一份自测清单，勾选少于一半说明团队所处阶段低于演示给人的印象，并强调应按顺序补齐最薄弱的一层，每级附有对应深度文章链接。
原文：2026/10/19
AWS Machine Learning BlogAI 评分4545 用 AWS CDK 编排 SageMaker AI 端点自动扩缩容更新
AWS 博客给出一套可复用的 CDK 构造，用三个 CloudFormation 自定义资源（Deregister、Register Scalable Target、Attach Scaling Policy）在端点更新前后自动注销与重新注册自动扩缩容，实现端点配置与扩缩容参数的单次部署。
原文：2026/10/24
AIHOT 精选AI 评分5454 面壁智能发布前瞻专家调度LES，让35B MoE在手机端侧实时运行
面壁智能MiniCPM-V团队介绍支撑MiniCPM-V 4.7端侧运行的前瞻专家调度（LES）技术，称首次实现35B-A3B规模MoE在端侧实时无损运行，iPhone 18 Pro Max实测解码超20 token/s。原文拆解了LES在调度、存储、计算三层的具体设计，并给出消融数据。
原文：2026/10/20
AIHOT 精选AI 评分6262 DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe，同时给出仓库地址和兼容平台，开发者可据此优化大规模推理的成本。
原文：2026/10/20
AIHOT 精选AI 评分5858 Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎
Google 推出基于 TorchTPU 的 vLLM-TorchTPU（与 Inferact 合作）和 SGLang-TorchTPU（与 RadixArk 合作）原生 PyTorch 推理引擎。
原文：2026/10/20
AIHOT 精选AI 评分5858 Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook
Google 推出 TorchTitan 的 TPU 分叉（github.com/google-pytorch/torchtitan），配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型，提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook。
原文：2026/10/20
AIHOT 精选AI 评分5858 RadixArk 联合 Google 与 Meta 开源 SGLang-TorchTPU，让 SGLang 在 TPU 上原生提供 PyTorch 生产级推理
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU，这是一个原生 PyTorch 后端，把 SGLang 完整服务栈带到 Google Cloud TPU，让同一引擎既能在 GPU 也能在 TPU 上服务模型。
原文：2026/10/20
AIHOT 精选AI 评分5656 Modal 推出 Sticky Sessions：同一会话请求固定路由到同一容器
Modal 发布 Sticky Sessions，基于 Modal Servers 让同一会话的所有请求固定路由到同一容器，用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建会话。
原文：2026/10/20
AIHOT 精选AI 评分7676 DeepSeek 开源推理框架 DeepInfer 并发布技术报告
DeepSeek 开源了支撑其线上生产服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，基于 vllm_project 构建并借鉴 SGL 和 TensorRT-LLM，本次聚焦离线推理，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
原文：2026/10/21
AIHOT 精选AI 评分5555 llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
llm-d 项目贡献者在北美 PyTorch 大会上宣布推出 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持在任何云、任何加速器上为任何模型部署推理栈，由 Red Hat、IBM 和 Google 作为首席维护者主导。
原文：2026/10/20
AIHOT 精选AI 评分6666 Google 与 Meta 联合开源 TorchTPU：PyTorch 原生 TPU 后端
Google 与 Meta 合作开源 TorchTPU，为 Google TPU 提供符合 PyTorch 设计原则的原生后端，运行时不依赖 JAX，模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行。
原文：2026/10/21
AIHOT 精选AI 评分5757 蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming，仓库为 github.com/vllm-project/humming，已集成进 vLLM 0.29.0。
原文：2026/10/21
MIT Technology Review · AIAI 评分4343 企业AI竞争焦点转向serving harness：围绕模型构建的工程系统决定能否可靠、经济、规模化交付
企业AI的竞争优势正从"选哪个模型"转向围绕模型构建的serving harness——包括架构、内存管理、调度与优化决策，决定模型智能能否可靠、经济、规模化地变成生产能力。
原文：2026/10/23
AWS Machine Learning BlogAI 评分5858 AWS 教程：用 SageMaker AI 上的 Kokoro TTS 为 AI 智能体实现低延迟流式语音
AWS 官方博客介绍如何让 AI 语音智能体在生成每句话时就立即送入托管在 Amazon SageMaker AI 上的 Kokoro-82M TTS 模型开始合成，避免等待完整回复才出声。
原文：2026/10/23
AWS Machine Learning BlogAI 评分5555 AWS官方教程：如何在HIPAA适用环境中部署Amazon Quick
AWS官方博客介绍如何在符合HIPAA要求的环境中部署Amazon Quick，覆盖HIPAA适用主体、eligible与compliant的区别、PHI的结构化与非结构化两条数据路径，以及AnyCompany Health Plan虚构案例的落地架构。
原文：2026/10/23
AWS Machine Learning BlogAI 评分6060 AWS 宣布 SageMaker AI 训练会话正式可用，无需管理 GPU 即可自定义模型
AWS 宣布 SageMaker AI serverless model customization 的训练会话（training sessions）正式可用，用户可自行编写和协调训练循环，包括自定义损失函数或奖励信号，而 GPU 分配、分布式执行、故障恢复和检查点存储由 SageMaker AI 处理。
原文：2026/10/23
The DecoderAI 评分4444 Google 推出 Agent Compute Engine，为每个 Gemini 智能体分配硬件隔离的微型虚拟机
Google 推出 Agent Compute Engine，为每个 AI 智能体分配独立的硬件隔离微型虚拟机，已为 Gemini 提供支撑，将在未来几个月开放预览。
原文：2026/10/23
AWS Machine Learning BlogAI 评分6262 AWS 教程：用 AtScale 与 Amazon Bedrock AgentCore 构建 Agentic AI 语义层
AWS 与 AtScale 联合发布教程，介绍如何在 Amazon Bedrock AgentCore 上托管 Strands 智能体，通过 AtScale MCP 服务器访问基于 Semantic Modeling Language（SML）建模的 Customer 360 语义层。
原文：2026/10/20
AWS Machine Learning BlogAI 评分5858 Amazon Bedrock 跨区域推理让加拿大用户调用 OpenAI GPT 模型
AWS 宣布加拿大组织可通过 Amazon Bedrock 跨区域推理（CRIS）访问 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol，源区域为 Canada (Central) 和 Canada West (Calgary)，推理在北美处理。
原文：2026/10/21
AWS Machine Learning BlogAI 评分6262 Octave 基于 Amazon Bedrock 构建多租户 AI 基础设施的实践
Octave 为受监管行业质量管理平台 Reliance 构建了基于 Amazon Bedrock 的多租户 AI 基础，用 Cohere Embed v4 嵌入 20 亿份文档并落地投诉分诊助手。
原文：2026/10/21
AWS Machine Learning BlogAI 评分5656 AWS 教程：用实测 Q_max 与 T_total 替代猜测，为 SageMaker AI 上的 TTS 端点设定自动扩缩容阈值
AWS 官方博客介绍如何为 Amazon SageMaker AI 上的 Kokoro-82M TTS 端点设定基于实测的自动扩缩容策略。作者用闭环负载阶梯测得单实例并发上限 Q_max=50（p95 首音频字节延迟 SLO 为 3000ms），并测得扩容全程 T_total 约 260.2 秒，加上策略检测延迟后按 320.2 秒规划。
原文：2026/10/23
NVIDIA Blog精选AI 评分6262 NVIDIA 扩展机密计算，新增 Confidential Bare Metal 部署选项
NVIDIA 宣布为机密计算新增 Confidential Bare Metal 部署选项，让前沿模型厂商在第三方云、neocloud 和企业基础设施上运行敏感工作负载时，仍能掌控自身模型与数据，并引入保护传输中数据、度量平台完整性、执行硬件级访问限制的新安全控制。
原文：2026/10/21
推荐理由：官方说明了机密计算新增裸金属部署选项及其安全控制，可帮助模型厂商判断在第三方基础设施上保护模型与数据的可行路径。
NVIDIA BlogAI 评分6262 NVIDIA cuDSS 正式发布，加速工程与科学仿真中的稀疏求解
NVIDIA 宣布 cuDSS 正式可用，这是一款 CUDA-X 库，通过 GPU 加速工程与科学仿真中反复出现的大规模稀疏系统求解环节。
原文：2026/10/21
NVIDIA BlogAI 评分6060 NVIDIA 在欧洲扩展主权云生态并推出 OpenShell Agent 安全参考架构
NVIDIA 宣布其欧洲、北欧、非洲与中亚云伙伴扩大区域算力，并在 GTC Berlin 发布 OpenShell Reference Architecture，为 AI Agent 划定可访问与可执行的边界。
原文：2026/10/21
The DecoderAI 评分4343 Nvidia DSX POD 将 AI 数据中心部署时间从六个月缩短至最快 14 天
Nvidia 在 GTC Berlin 发布 DSX POD，一种围绕 Vera Rubin 系统构建的模块化数据中心参考设计，可将部署时间从六个月缩短至最快 14 天。
原文：2026/10/21
TechCrunch · AIAI 评分5959 Google开源TorchTPU，与Amazon一同挑战Nvidia在AI开发者中的主导地位
Google宣布开源TorchTPU，让PyTorch应用可直接运行在自家TPU芯片和Google Cloud上，只需简单配置更改、无需重写代码。此前一天Amazon也发布了类似工具TorchNeuron，支持将应用移植到自研芯片Trainium和AWS，并向PyTorch主项目提交代码以解耦Nvidia芯片相关功能。
原文：2026/10/21
AWS Machine Learning BlogAI 评分6363 i14 在 AWS Trainium2 上训练并部署 Laplace 3B 线性注意力模型
AWS 与 i14 合作，通过 TorchNeuron Native 用原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型，保留其 Gated Linear Attention 设计与 Muon 优化器。
原文：2026/10/21
Berkeley AI ResearchAI 评分5555 Berkeley AI Research 提出智能体时代数据系统的三类研究方向
Berkeley AI Research 发布视角文章，认为 GPT-4 级能力成本已从每百万 token 约 30 美元降至 1 美元以下，推理价格年降幅 9 到 900 倍，中位数约 50 倍，由此提出数据系统面临的三类挑战：面向智能体（For）、由智能体运行（Of）和由智能体构建（By）。
原文：2026/07/07