亚马逊400亿美元合同组合AI转型的经验教训

在亚马逊，我是最后一英里供应链组织中一个跨职能团队的高级技术产品经理，团队成员包括采购经理、工程师、数据科学家以及法务和运营合作伙伴。该团队负责采购合同运输和物流运力，将包裹从仓库运送到客户手中，处理跨境进出口货物，并签订第三方仓储合同。我负责管理 Salesforce 平台，将这一端到端的采购生命周期——从投标到授标再到付款——整合到一个视图中；我还共同构建了一个机器学习系统，从同一份 400 亿美元规模的合同组合中提取法律条款。我的职责是主导产品和 数据战略，使系统的提取准确率达到 95%。让我印象深刻的教训几乎与 ML 模型架构无关，而是关于那些没有人明确负责的数据。

如此规模的合同以你能想到的每一种格式出现。多年的谈判、不同的模板、各自独立的法务团队、多个国家。单个责任条款可能在数千份文档中以十几种方式出现，但每次含义都相同。在模型能够读懂这些内容之前，必须有人来定义在整个合同组合中“含义相同”究竟意味着什么。这项工作很慢，在项目计划上看起来很无聊，大多数团队都跳过了它。

离开亚马逊之后，我看过很多“AI 转型”项目，几乎每次发生的事情都一样。团队在干净的、精心挑选的数据上构建一个演示。所有人都喜欢这个演示。然后生产数据出现了，和样本完全不一样。

到那时，项目已经有了名字和赞助方，它成了“AI 计划”。试着告诉一屋子兴奋的高管，你们现在需要六个月的时间来处理数据质量，真正的产品才能运作。这很少会有好结果。于是团队继续推进，推出一个能处理部分真实案例的产品，把其余的放到未来的路线图上。聪明的 AI 层最终建立在合同文本、产品目录和条款库之上，而这些东西从来就不是为了让机器阅读而构建的。

这就是 AI 项目在试点之后停滞不前的主要原因。它们底下的数据从未准备就绪。没人愿意资助的不起眼的工作，才是真正决定结果的工作。

达到 95% 准确率所经历的过程

准确率这个数字来自我们在训练任何模型之前所做的工作。

首先是分类体系。我们必须写下每一种条款类型，以及什么算作每种类型的示例。这听起来很简单，直到你把法务、采购和运营的人叫到同一个房间里，才发现他们从未就一套共同的术语达成一致。一个团队视为常规的术语，另一个团队却解读为责任。这些讨论花了数周时间，它们才是这个项目真正的基础。

然后是标注。我的团队手工标注了数千个真实合同片段，包括那些永远不会出现在演示中的混乱、含糊的片段。我们请来了以阅读这些合同为生的人：知道某个条款为何如此措辞的法务审阅人员、了解条款在实践中如何执行的采购和运营人员，以及必须把这一切转化为训练数据的工程师。没有人能独自完成这项工作。法务审阅人员发现了工程师会遗漏的含义，而工程师则发现了法务团队多年来习以为常的不一致之处。

最后是错误检查。我们设置了审核步骤，这样当模型出错时，我们能迅速发现并在它流入任何下游环节之前修复。

这些都不是建模问题，而是产品和数据治理问题。它需要一位产品负责人，愿意与法务、运营和工程部门坐在一起，在第一条训练流水线运行之前，让他们就数据的含义达成一致。

我在目前的工作中也看到了同样的模式。我通过 Mphasis 负责 T-Mobile 的 Salesforce 和 Vlocity CPQ 转型，而 CPQ 和合同生命周期管理（CLM）遇到了完全相同的障碍。定价引擎或审批工作流看起来可以完全自动化，但暗地里依赖的是充满重复 SKU、不一致属性的产品目录，以及由三个不同团队各自维护的条款库。你在其上构建的任何 AI——无论是定价模型还是合同起草智能体——都会继承所有这些问题。

报价到收款流程中干净、结构化的数据，是让 AI 层成为可能的根本。我认为业界严重低估了这一点。持久的优势属于那些持续保持收入和合同数据干净的人。最新的模型远没有大多数人想象的那么重要。

我会对刚开始这项工作的产品负责人说什么

把数据就绪度当作独立的工作流。给它指定一位负责人、一个时间表和一笔预算。它不是模型开发的子任务，一旦你把它当作子任务，它就会在每一次优先级争夺中输给那些演示效果好的工作。

在任何人给任何东西打标签之前，先和你的领域专家一起构建分类体系。法务、RevOps，以及任何拥有数据的人。如果他们事先对定义没有达成一致，你之后就得重新给所有东西打标签，而对数千份文档打两遍标签正是导致时间表推迟一个季度的原因。

把你的准确率目标对准一个真实的业务决策，比如提取结果是否可靠到可以对某一类合同免除人工法务审核。把这个数字和业务实际做的事情挂钩，这样“95%”就意味着“我们可以不再花钱雇人检查这些了”，而不是幻灯片上的一个分数。

在上线之前规划好你的纠错流程。前一千份生产文档会给你带来训练集里从未有过的边缘情况。现在就决定谁来审核这些错误、他们多快能处理完，以及修复如何在不破坏现有正常功能的情况下回流到系统中。

要预料到围绕时间表的争论。数据阶段总是要和那些演示效果更好的功能开发工作竞争。能存活下来的项目，都有一个愿意在会议室里公开捍卫这个阶段的产品负责人——尤其是在压力让人想跳过它去做更显眼的事情的时候。我不止一次不得不做那个人。这很不舒服，但它决定了一次试点是能上线，还是悄无声息地死掉。

数据驱动 AI 转型的更广泛影响

条款提取系统从一个 400 亿美元的组合中去掉了大量人工法务审核。这就是 AI 改变一个真实团队的日常工作方式，远远超出了任何演示所能展示的范围。它源于一项比我们计划持续更久的数据工作，而且对团队之外的所有人几乎不可见。

AI 转型中那些不可见的部分——合同数据、目录质量、条款分类体系——承担了大部分工作和大部分风险。在指导委员会里，模型收获了兴奋；而底层的数据决定了这个东西一年后在生产环境中是否还能正常工作。