PyTorch 用 ExecuTorch 在 Arm 边缘设备上优化流式语音识别
PyTorch 博客介绍如何用 ExecuTorch 在 Google Pixel 11 上优化 Nemotron 3.5 多语言流式语音识别，实测分块大小与精度对词错率和延迟的影响。
原文：2026/10/27
#部署/工程
按收录时间排列 · 卡片保留原文日期，往期好文也会新收录
AIHOT 精选AI 评分6262 AWS Machine Learning BlogAI 评分5656 AWS 用 SageMaker SDK v3 搭建边缘视觉模型车队级生命周期流水线
AWS 博客介绍用 SageMaker Python SDK v3 构建车队级边缘计算机视觉模型生命周期管理的参考架构，替代已弃用的 SageMaker Edge Manager，改用 SageMaker Neo 做边缘优化。
原文：2026/10/27
AWS Machine Learning Blog精选AI 评分6262 用 AWS CDK 在托管 Amazon Bedrock 知识库上构建 agentic 检索
AWS 官方教程用一个 Python AWS CDK 应用，在 Managed Amazon Bedrock Knowledge Base 上构建企业 agentic 检索。
原文：2026/10/27
推荐理由：教程对比了托管与自建知识库的差异，并给出可一键部署的七层可观测方案，便于评估 agentic 检索的落地成本。
Engineering at MetaAI 评分6969 Meta 在 Instagram Live 推出 Media over QUIC 直播推流
Meta 宣布 Instagram Live 的 iOS 和 Android 直播推流已切换到开放标准传输协议 Media over QUIC（MoQ），替代自研近十年的 RUSH 协议。
原文：2026/10/13
Engineering at MetaAI 评分7171 Meta 在 OCP Summit 2026 公布液冷交换机、FPF 织物与 MetaRoCE 等开放网络创新
Meta 在 2026 Open Compute Project Global Summit 上发布新一代开放网络基础设施，包括首款液冷网络机架 IcePack。
原文：2026/10/13
Engineering at MetaAI 评分7575 Meta 详解 Prometheus 吉瓦级超算集群的建设与运维
Meta 宣布 Prometheus 吉瓦级超算集群第一阶段已完成，正扩展至约100万块GPU，用于训练 Muse 系基础模型。集群部署 NVIDIA GB200 NVL72（Catalina）与 GB300 NVL72（Clemente）两代平台，未来将引入 Vera Rubin NVL72（San Miguel）。
原文：2026/10/19
Stack Overflow BlogAI 评分5757 MCP 工具已标准化，作者谈其周边基础设施的缺口
作者认为 MCP 协议标准化极快，Tier 1 SDK 月下载量接近 5 亿，但围绕它的认证、路由、权限、可观测等运维层仍被各团队重复建设。
原文：2026/10/16
Stack Overflow BlogAI 评分6060 生产级 LLM 与智能体的成熟度指南
Stack Overflow Blog 发布文章，提出从演示级智能体走向生产级系统的七级成熟度模型，依次为确定性、评估、置信度、安全治理、可运维性和规范的构建流程。作者给出一份自测清单，勾选少于一半说明团队所处阶段低于演示给人的印象，并强调应按顺序补齐最薄弱的一层，每级附有对应深度文章链接。
原文：2026/10/19
AWS Machine Learning BlogAI 评分4545 用 AWS CDK 编排 SageMaker AI 端点自动扩缩容更新
AWS 博客给出一套可复用的 CDK 构造，用三个 CloudFormation 自定义资源（Deregister、Register Scalable Target、Attach Scaling Policy）在端点更新前后自动注销与重新注册自动扩缩容，实现端点配置与扩缩容参数的单次部署。
原文：2026/10/24
AIHOT 精选AI 评分5454 面壁智能发布前瞻专家调度LES，让35B MoE在手机端侧实时运行
面壁智能MiniCPM-V团队介绍支撑MiniCPM-V 4.7端侧运行的前瞻专家调度（LES）技术，称首次实现35B-A3B规模MoE在端侧实时无损运行，iPhone 18 Pro Max实测解码超20 token/s。原文拆解了LES在调度、存储、计算三层的具体设计，并给出消融数据。
原文：2026/10/20
AIHOT 精选AI 评分6262 DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe，同时给出仓库地址和兼容平台，开发者可据此优化大规模推理的成本。
原文：2026/10/20
AIHOT 精选AI 评分5858 Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 推理引擎
Google 推出基于 TorchTPU 的 vLLM-TorchTPU（与 Inferact 合作）和 SGLang-TorchTPU（与 RadixArk 合作）原生 PyTorch 推理引擎。
原文：2026/10/20
AIHOT 精选AI 评分5858 Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook
Google 推出 TorchTitan 的 TPU 分叉（github.com/google-pytorch/torchtitan），配合 TorchTPU 原生后端在 Cloud TPU 上训练 PyTorch 模型，提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook。
原文：2026/10/20
AIHOT 精选AI 评分5858 RadixArk 联合 Google 与 Meta 开源 SGLang-TorchTPU，让 SGLang 在 TPU 上原生提供 PyTorch 生产级推理
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU，这是一个原生 PyTorch 后端，把 SGLang 完整服务栈带到 Google Cloud TPU，让同一引擎既能在 GPU 也能在 TPU 上服务模型。
原文：2026/10/20
AIHOT 精选AI 评分5656 Modal 推出 Sticky Sessions：同一会话请求固定路由到同一容器
Modal 发布 Sticky Sessions，基于 Modal Servers 让同一会话的所有请求固定路由到同一容器，用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建会话。
原文：2026/10/20
AIHOT 精选AI 评分7676 DeepSeek 开源推理框架 DeepInfer 并发布技术报告
DeepSeek 开源了支撑其线上生产服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，基于 vllm_project 构建并借鉴 SGL 和 TensorRT-LLM，本次聚焦离线推理，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
原文：2026/10/21
AIHOT 精选AI 评分5555 llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
llm-d 项目贡献者在北美 PyTorch 大会上宣布推出 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持在任何云、任何加速器上为任何模型部署推理栈，由 Red Hat、IBM 和 Google 作为首席维护者主导。
原文：2026/10/20
AIHOT 精选AI 评分6666 Google 与 Meta 联合开源 TorchTPU：PyTorch 原生 TPU 后端
Google 与 Meta 合作开源 TorchTPU，为 Google TPU 提供符合 PyTorch 设计原则的原生后端，运行时不依赖 JAX，模型只需把 .to("cuda") 改成 .to("tpu") 即可开箱运行。
原文：2026/10/21
AIHOT 精选AI 评分5757 蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming，仓库为 github.com/vllm-project/humming，已集成进 vLLM 0.29.0。
原文：2026/10/21
AWS Machine Learning BlogAI 评分5858 AWS 教程：用 SageMaker AI 上的 Kokoro TTS 为 AI 智能体实现低延迟流式语音
AWS 官方博客介绍如何让 AI 语音智能体在生成每句话时就立即送入托管在 Amazon SageMaker AI 上的 Kokoro-82M TTS 模型开始合成，避免等待完整回复才出声。
原文：2026/10/23
AWS Machine Learning BlogAI 评分5555 AWS官方教程：如何在HIPAA适用环境中部署Amazon Quick
AWS官方博客介绍如何在符合HIPAA要求的环境中部署Amazon Quick，覆盖HIPAA适用主体、eligible与compliant的区别、PHI的结构化与非结构化两条数据路径，以及AnyCompany Health Plan虚构案例的落地架构。
原文：2026/10/23
AWS Machine Learning BlogAI 评分6060 AWS 宣布 SageMaker AI 训练会话正式可用，无需管理 GPU 即可自定义模型
AWS 宣布 SageMaker AI serverless model customization 的训练会话（training sessions）正式可用，用户可自行编写和协调训练循环，包括自定义损失函数或奖励信号，而 GPU 分配、分布式执行、故障恢复和检查点存储由 SageMaker AI 处理。
原文：2026/10/23
The DecoderAI 评分4444 Google 推出 Agent Compute Engine，为每个 Gemini 智能体分配硬件隔离的微型虚拟机
Google 推出 Agent Compute Engine，为每个 AI 智能体分配独立的硬件隔离微型虚拟机，已为 Gemini 提供支撑，将在未来几个月开放预览。
原文：2026/10/23
AWS Machine Learning BlogAI 评分6262 AWS 教程：用 AtScale 与 Amazon Bedrock AgentCore 构建 Agentic AI 语义层
AWS 与 AtScale 联合发布教程，介绍如何在 Amazon Bedrock AgentCore 上托管 Strands 智能体，通过 AtScale MCP 服务器访问基于 Semantic Modeling Language（SML）建模的 Customer 360 语义层。
原文：2026/10/20
AWS Machine Learning BlogAI 评分5858 Amazon Bedrock 跨区域推理让加拿大用户调用 OpenAI GPT 模型
AWS 宣布加拿大组织可通过 Amazon Bedrock 跨区域推理（CRIS）访问 OpenAI GPT-5.6（Sol、Terra、Luna）、GPT-6（Astra、Sol、Luna）和 GPT-6.1 Sol，源区域为 Canada (Central) 和 Canada West (Calgary)，推理在北美处理。
原文：2026/10/21
AWS Machine Learning BlogAI 评分6262 Octave 基于 Amazon Bedrock 构建多租户 AI 基础设施的实践
Octave 为受监管行业质量管理平台 Reliance 构建了基于 Amazon Bedrock 的多租户 AI 基础，用 Cohere Embed v4 嵌入 20 亿份文档并落地投诉分诊助手。
原文：2026/10/21
AWS Machine Learning BlogAI 评分5656 AWS 教程：用实测 Q_max 与 T_total 替代猜测，为 SageMaker AI 上的 TTS 端点设定自动扩缩容阈值
AWS 官方博客介绍如何为 Amazon SageMaker AI 上的 Kokoro-82M TTS 端点设定基于实测的自动扩缩容策略。作者用闭环负载阶梯测得单实例并发上限 Q_max=50（p95 首音频字节延迟 SLO 为 3000ms），并测得扩容全程 T_total 约 260.2 秒，加上策略检测延迟后按 320.2 秒规划。
原文：2026/10/23
NVIDIA BlogAI 评分6262 NVIDIA cuDSS 正式发布，加速工程与科学仿真中的稀疏求解
NVIDIA 宣布 cuDSS 正式可用，这是一款 CUDA-X 库，通过 GPU 加速工程与科学仿真中反复出现的大规模稀疏系统求解环节。
原文：2026/10/21
AWS Machine Learning BlogAI 评分6363 i14 在 AWS Trainium2 上训练并部署 Laplace 3B 线性注意力模型
AWS 与 i14 合作，通过 TorchNeuron Native 用原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型，保留其 Gated Linear Attention 设计与 Muon 优化器。
原文：2026/10/21
Berkeley AI ResearchAI 评分5555 Berkeley AI Research 提出智能体时代数据系统的三类研究方向
Berkeley AI Research 发布视角文章，认为 GPT-4 级能力成本已从每百万 token 约 30 美元降至 1 美元以下，推理价格年降幅 9 到 900 倍，中位数约 50 倍，由此提出数据系统面临的三类挑战：面向智能体（For）、由智能体运行（Of）和由智能体构建（By）。
原文：2026/07/07