Tapi 首席产品官 Kendra Vant 谈构建 AI 产品前的可靠性规划

当你使用 AI 工具时，你会花多少时间来纠正它？你的客户愿意做同样的事吗？

Tapi 首席产品官 Kendra Vant 与 Randy Silver 一同探讨“可靠性层”：让 AI 产品值得信赖的人员、检查和工程实践。她解释了为什么热衷 AI 的用户往往会自己充当这一层，以及为什么产品团队不能假设客户也会这样做。

Kendra 分享了在将 AI 构建到产品中之前要问的四个问题，从谁来捕捉错误到规模化可靠性需要多少成本。他们还讨论了为失败场景做设计、她对产品经理的技术素养要求，以及为什么更快的原型制作让经验判断变得如此宝贵。

章节

核心要点

找出用户正在替 AI 完成的工作。 纠正答案、优化提示词和发现错误，会让工具看起来比实际更可靠。请考虑你的客户是否有时间、动力和专业知识来做这些工作。
指定专人负责可靠性。 明确由谁来定义、构建和运维围绕 AI 的检查机制。一个令人印象深刻的演示，可能会掩盖这项工作目前无人负责的事实。
为整个产品定价。 人工审核、额外模型、护栏和持续维护都会影响交付成本。请检查你的可靠性层在使用量增长时是否仍具有商业可行性。
为失败的时刻做设计。 说模型有 15% 的时间是错的，与说它有 85% 的准确率，会引发截然不同的对话。明确失败对客户的后果，并规划产品将如何恢复。
提升你的技术素养。 Kendra 期望产品经理能自如地使用 Git 并从代码库中学习。理解软件的运作方式有助于你提出更好的问题并与工程师协作。
认识到经验的价值。 更快的工具提升了团队的构建能力，但识别有缺陷的建议仍然需要判断力。Kendra 提出了一个开放性问题：随着工作方式的变化，新一代从业者将如何培养这种判断力？
用写作来磨练你的思考。 把难题拆解成更小的问题，写下你的答案，并向同事解释。当你必须清晰表达自己的推理时，其中的漏洞往往会变得更加明显。