Meta Andromeda 下一代广告检索系统实现每秒超十亿广告吞吐

• 本文介绍了 Meta Andromeda 的下一代版本——Meta 的个性化广告检索引擎，以及如何通过模型、系统与 GPU 硬件的协同设计，为广告检索开启新的效率前沿。
• 在生产环境中，该系统以接近排序阶段的模型性能对每条符合条件的广告进行打分，检索规模下每秒可筛选出超过十亿条广告的候选结果，创下广告检索阶段模型的新吞吐量基准（即相比 2024 年的 Meta Andromeda 系统提升了 100 倍）。
• 对广告主而言，这意味着在相同的延迟预算内，检索系统能在更大的候选池中匹配广告，从而自动带来更好的效果。自 2025 年以来，Meta Andromeda 已使 Facebook 上的转化量提升了 2.4%。

Meta Andromeda 是 Meta 用于个性化广告检索的机器学习系统，也是广告推荐流程的第一阶段。检索会在几毫秒内将庞大的符合条件广告池缩小为一小批优质候选广告；随后，计算成本更高的排序阶段会对这些入围广告进行精细打分。

从历史上看，排序阶段的深度建模质量成本过高，难以应用到检索的规模上。在 Andromeda 于 2024 年在 NVIDIA GH200 Grace Hopper 超级芯片上发布所奠定的检索基础之上，本文分享了如何通过模型、系统与硬件的协同设计，在检索规模上实现接近排序阶段的性能。

扩展检索规模面临的挑战与机遇

2024 年的 Andromeda 部署对检索进行了重新实现，从定制 AI 硬件（配备分层索引和 GPU 原生算子）到专门打造的 ML 模型，实现了端到端优化的检索实现，模型容量提升了四个数量级。此后，生成式 AI 创意工具帮助广告主快速创建了数亿条新广告，使 Meta 的广告候选池增长到前所未有的规模。

要在更高的系统吞吐量下，用更准确的模型为如此庞大的广告候选池打分，需要在模型质量、系统架构和硬件利用率三方面共同实现根本性的技术突破。

更高的模型性能需要全新的架构

广告检索在增量质量上具有超高的投资回报率：检索模型性能的小幅提升就能为广告主带来巨大的价值增长。我们广告候选池的快速扩张，使得针对硬件容量的投资回报率进行优化成为日益关键的因素。2024 年的 Meta Andromeda 检索模型凭借其 GPU 优化的深度神经网络架构，已经奠定了非常有效的基础。然而，在我们当前的规模下，要以可持续的计算成本持续提升检索性能，就必须超越这一范式。这需要一次根本性的架构演进，以便在成本不成比例增加的情况下，显著突破模型性能的边界。

十亿规模下的新系统瓶颈

2024 版 Meta Andromeda 系统在每张 GPU 卡上每秒可评估数千万条广告。为满足新的业务需求，系统需要达到每张卡每秒评估数十亿条广告的吞吐量。在每秒数十亿条广告的吞吐量下，广告张量穿过存储层次结构时的内存带宽成为新的瓶颈。GPU kernel 之间的中间张量会产生每秒数 TB 的内存流量，而在本地 CPU 主机与远程硬件加速器之间传输待评估的广告模型会占满网络链路。这需要一种新的系统协同设计，将这些分散的、分布式的工作负载统一到单一的 GPU 流水线中。

逼近硬件极限 

随着检索在 GPU 上运行，一个重要的优化问题是：“我们距离硬件上限还有多远？未来模型增长还有多少空间？”要回答这个问题，就需要将检索流水线的每个组件都推到当前硬件代际的极限，这一挑战促使了与 NVIDIA 的联合合作。

这些挑战中的每一项都推动了相应的进步。

通过模型-系统协同设计释放检索性能

新一代检索模型架构 — 检索混合专家（MoE） 

最新一代的 Meta Andromeda 引入了三项协同的架构创新，将大语言模型（LLM）启发的混合专家（MoE）引入检索（见图 1）。凭借这一高度表达力强且推理高效的架构，我们建立了新的检索性能-效率帕累托前沿：在典型的先检索后排序（retrieval-then-ranking）系统中，模型性能接近排序级别，而推理时的 FLOPs 比 2024 版 Meta Andromeda 检索模型少约 300 倍。

在用户建模方面，我们从单一用户塔转变为由多个专门化用户塔组成的专家集成。通过整合大量高保真信号——序列化的广告互动事件、用户群组表征、LLM 派生的语义特征以及跨场景协同互动信号——来捕捉多样化、随时间演变且情境化的用户兴趣。

在候选广告塔中，我们采用联合编码策略，纳入实时投放上下文，确保下游交互模型接收到感知上下文的表征。

在交互上层架构中，交互模型从稠密神经网络演进为基于 MoE 注意力的门控网络，动态地将候选项路由到最相关的用户专家，以极小的 FLOPs 实现接近排序级别的性能。

新架构的一个决定性特征是，其性能与底层硬件执行模型进行了协同设计。模型推理吞吐量在单张 GH200 GPU 上已达到每秒超过 100 亿条广告，这种效率使得模型容量能够通过更丰富的特征交互、额外的专家子网络和更深的架构进一步增长，而无需按比例增加 GPU 成本。每一次模型上的增量进步都会转化为更大的广告主价值。

模型与系统在单一 GPU 流水线上的协同设计

2026 年的 Meta Andromeda 通过两项创新将模型–系统协同设计提升到新水平——一个将模型与系统工作负载在每次用户–广告交互中融合的单一 GPU kernel，以及一种将每个用户请求的逻辑与每个用户–广告 GPU kernel 共同放置在单个 GPU 机箱中的策略。为此，构建了一条高度优化且完全融合的 GPU 流水线，以承载端到端的整个 Meta Andromeda 工作流。

融合 Kernel

总体而言，Meta Andromeda 每次用户–广告工作负载的推理时间是一系列紧凑的操作，涵盖模型执行与系统逻辑——收集 embedding、执行用户–广告交互模型以及打分。检索 MoE 门控架构带来的约 300 倍 FLOPs 减少创造了必要的空间，使得将模型执行与非模型系统工作负载完全融合进单一 GPU kernel 变得更可行，相比之下 2024 年的版本只融合了模型执行内部的操作。因此，融合 kernel 现在在单颗 GH200 上以每秒超过 1000 亿条广告的速度运行。

这一点之所以重要，是因为检索工作负载从根本上受限于内存带宽。在每秒数十亿条广告的规模下，即使每条广告只有很小的中间张量，也会累积成每秒数 TB 的高带宽内存（HBM）流量。这些中间张量的内存工作负载（而非算术运算）成为多 kernel 检索流水线中的主要瓶颈。

融合 kernel 完全消除了这一瓶颈。它不再为模型和系统操作分派多个小 GPU kernel，而是在一次执行中完成整个每次用户–广告的计算。中间结果保留在 GPU 寄存器和线程块共享内存中，从不写入 HBM，从而实现了 GPU 峰值内存带宽的高利用率，而不是将其浪费在冗余的中间流量上。

共置策略

单独测量时，每次用户–广告的融合 kernel 在单 GPU 上以每秒数十亿条广告的速度运行。然而，每个用户的请求操作（例如索引匹配，即执行广告主的定向规则，以及 top-K 选择）运行在独立的本地 CPU 主机上，并通过网络连接与位于远程加速器上的融合 GPU kernel 打分服务通信。在每秒数十亿条广告的吞吐量下，仅这部分流量就会占满网络链路，使网络带宽而非 GPU 算力成为瓶颈。

协同设计的应对方案是让系统架构与模型架构对齐：将索引匹配、打分和 top-K 选择共同部署在同一块 GPU 上。系统不再跨主机传输大型候选列表，而是将一个紧凑的请求负载——用户特征和定向查询——发送到单台 GPU 服务器，由其在本地运行完整的检索流水线，仅返回最终的 top-K 结果。这使网络流量减少了约 100 倍，并让系统重新回到 GPU 计算受限的状态。

将索引匹配迁移到 GPU 并非易事。广告索引匹配需要在数十个特征类别上评估复杂的广告主自定义定向逻辑，并且必须支持在广告全天被创建、修改或过期时进行实时索引更新。为此在 GPU 上实现，需要在保留生产环境定向语义完整保真度的同时，重新设计索引结构以支持 GPU 并行执行。

Meta Andromeda 的单一 GPU 流水线

结合上述两项创新，完全共置的单 GPU 流水线在单台 GPU 服务器上每秒可处理超过十亿条广告，同时对候选池中的每一条符合条件的广告进行打分。这是广告检索阶段模型的一个全新吞吐量基准，而且如下一节所述，仍有很大的提升空间。

GPU 加速检索：Meta 与 NVIDIA 的合作

随着生产流水线以每秒超过十亿条广告的速度运行，一个自然的问题随之而来：该系统距离当前一代硬件的上限还有多远？未来的模型增长还有多少余量？2026 年初，Meta 和 NVIDIA 启动了一项联合合作来回答这个问题——系统性地优化检索流水线的每个组件，将吞吐量推向硬件极限。NVIDIA 提供了优化的 GPU 内核，Meta 负责集成并对完整流水线进行基准测试。每个组件相比基线都实现了 2 到 5 倍的加速。

交互网络（检索 MoE 门控网络）

优化后的门控内核性能提升了 5.3 倍，从每秒 24 亿条广告提升到超过 100 亿条，达到 GPU 峰值 HBM 带宽的约 85%。在这一吞吐量下，门控机制的执行时间/延迟与同一硬件上简单点积打分内核的表现一样快——而模型的表达能力却要强得多。这就是协同设计的验证：在 Tensor Core 硬件上，额外的模型复杂度几乎是免费的。INT8 量化相比优化后的 FP16 内核进一步实现了最高 2 倍的吞吐量提升，且精度与 16 位精度相当。

索引匹配

通过对 GPU kernel 进行针对性优化，索引匹配吞吐量提升了 2 倍以上，达到每秒 1000 亿条广告以上——比评分网络高出一个数量级。这样的余量意味着索引匹配可以在多条检索路径上反复运行，而不会成为瓶颈。

端到端 GPU 流水线

除了单个 kernel 之外，双方合作团队还对完整的检索流程进行了性能分析，发现流水线各组件之间的数据移动——而非计算——占了端到端延迟的很大一部分。通过协同设计索引匹配和评分的数据布局以消除不必要的间接寻址，团队消除了这部分开销。在应用所有优化之后，整条流水线在单台 GPU 服务器上的基准测试结果达到当前生产吞吐量的数倍，随着更多优化集成到生产环境中，预计还将获得进一步提升。

在 NVIDIA 新一代平台上的持续工作

在上述 Hopper 结果的基础上，我们正在将优化和协同设计工作扩展到 Grace Blackwell。在这里，我们专注于平台设计优化，以支持不同的 CPU 与 GPU 计算比例——我们迄今为止的工作表明，这对于 Andromeda 类工作负载是一个重要因素。我们正在评估端到端应用性能对这些比例的敏感程度，分别使用 Grace 级 CPU 性能和 Blackwell 级 GPU 性能来处理工作负载中各自对应的部分。

更广泛地说，我们正在探索这些发现如何延伸到下一代平台，在那里 CPU+GPU 执行、资源比例和耦合方面更大的灵活性，可以让更多这类架构改进应用于 Andromeda 类工作负载。

这些结果证实，协同设计的检索流水线尚未达到其上限。随着量化进一步释放评分吞吐量，以及索引匹配的运行速度比评分网络高出一个数量级，该架构有能力承载显著更多的模型复杂度——更深的交互网络、更丰富的特征空间以及更多的检索路径——而无需按比例增加基础设施。

广告检索的前进之路

这里描述的进展遵循一条原则：最大的收益来自将模型、系统和硬件作为一个集成的整体栈来设计，而不是各自孤立地优化。检索 MoE 门控架构以零额外服务成本提供了接近排序级别的表达能力。将整条检索流水线融合到单个 GPU 上消除了网络和内存瓶颈。而将流水线推向其硬件上限则证实仍有大量余量。

展望未来，驱动这些成果的协同设计原则同样适用于下一代模型架构和硬件平台，已验证的余量使得持续扩展成为可能，而无需按比例增加基础设施。

对于使用 Meta 产品的用户来说，这直接转化为在相同的延迟预算内，获得更符合他们兴趣的优质广告。对于广告主而言，这意味着更好的客户匹配和更高的转化率。对于 Meta 而言，这意味着来自广告主的业务增长和成本的降低，因为每块 GPU 现在每秒可以评估更多广告。随着 Advantage+ 自动化和生成式 AI 创意工具推动合格广告数量的持续增长，Meta Andromeda 的协同设计架构能够随之扩展以满足需求。

致谢

我们要感谢 Gosh Arzumanyan、Habiya Beg、Andrew Bocking、Zain Brohi、Rohit Chandel、Claire Chen、Jason Chen、Wenlin Chen、Zhenyu Chen、Yuze Dai、Zhou Fang、Junjie Feng、Stephen Fitz、Chunli Fu、Yicong Fu、Xiaorui Gan、Sohan Gantala、Yingsheng Gao、Golnaz Ghasemiesfeh、Ishu Goyal、Wentian Guo、George Han、Yihan He、Jun Hu、Xuan Hu、Kun Huang、Qin Huang、Tianchen Ji、Crystal Jin、Tao Ju、Rajat Karnwal、Santanu Kolay、Michael Kwan、Ilia Lewis、Baiyu Li、Chao Li、Jim Li、Li Li、Lin Li、Liyuan Li、Mingda Li、Ted Li、Xiaotian Li、Yanyu Liang、Yue Liang、Irene Liu、Gaoxiang Liu、Jason Liu、Siqi Liu、Wei Liu、Xiao Liu、Yuheng Long、Yining Lu、Siyi Luo、Anuj Madan、Phalguna Mankar、Jiachen Mao、Yuji Mo、GP Musumeci、Guruswamy Namasivayam、Kexin Nie、Sandeep Pandey、Uladzimir Pashkevich、Clementine Plati、Heng Qiao、Hang Qu、Lei Qu、Anand Rajan、Jatin Sethi、Puneet Sharma、Ruchit Sharma、Yan Shi、Chang Shu、Sean Song、Alec Stashevsky、Matt Steiner、Zheng Sun、Nikhil Vinayak Supekar、Jim Tao、Chintan Thakkar、Tian Tong、Aleksandr Ulanov、Daksh Vasistha、Simha Venkataramaiah、Abhishek Verma、Ruud Vinke、Vidhoon Viswanathan、Sasha Vorontsov、Eric Walden、Dong Wang、Feng Wang、Haole Wang、Jeff Wang、Senhong Wang、Ye Wang、Di Wu、Haocheng Wu、Shawn Wu、Jimmy Xiang、Nan Xiao、Ruichao Xiao、Chao Xie、Yudi Xie、Fangzhou Xu、Nathan Yan、Tak Yan、Hang Yang、Song Yang、Yuhan Yang、Yavuz Yetim、Bowen Yu、Li Yu、Qifan Yuan、Xiaodong Yuan、Lin Zeng、Siqi (Cindy) Zeng、Caijie Zhang、Joanna Zhang、Min Zhang、Qing Zhang、Zhengkai Zhang、Fangyu Zou，以及 Meta Andromeda 成功背后整个 v-team。

文章 Meta Andromeda：通过模型-系统协同设计驱动下一代广告检索 最早发布于 Engineering at Meta。