定义"好"的标准——All Things Product 播客：Teresa Torres 与 Petra Wille 谈 AI 评估

在以下平台收听本期节目：Spotify | Apple Podcasts

AI 评估感觉像是一项全新的技能——但最难的部分，其实是产品团队一直都要回答的问题："好"到底是什么样子？

Petra Wille 和 Teresa Torres 深入探讨了 Teresa 关于 AI 评估的最新文章，以及其中完全没有改变的那个核心观点。Teresa 认为，衡量 AI 输出的质量，实际上与定义成果、撰写 PRD 或为产品埋点是同一类工作——而团队一直在重复一个老错误：衡量技术性能（正常运行时间、速度、"它够简洁吗？"），而不是衡量他们是否真的为客户创造了价值。她们结合参与度指标的演进、一个 DocuSign 的例子，以及为什么学生和教授对"简洁"需要截然相反的定义，论证了应该在你自己的语境中定义"好"——而永远不要把它外包给现成的评估方案。

对于任何担心自己在 AI 方面落后的团队来说，这都是一期能让人安心的节目：其中大部分工作，正是你已经知道怎么做的工作。

核心要点

• 定义"好是什么样子"并不是什么新鲜事——AI 评估只是这项旧工作最新出现的场所。
• 不要止步于技术性能。一套评估方案应该衡量技术性能、客户价值和商业价值。
• 不要把"好"的定义外包给通用的、现成的评估方案——要在你自己的语境中定义它。
• "好"取决于语境：一个简洁的回答对专家来说是对的，对初学者来说却是错的。
• 指标的成熟路径每次都一样——从通用指标（MAU）走向你产品真正的价值创造时刻（例如 DocuSign 让你发送文档）。
• AI 会放大你现有的任何状态——把一个定义不清的产品或流程自动化，只会制造出更多行不通的东西。
• 这一切之下的是一种习惯：明确说出你预期会发生什么，这样当你错了的时候，你就能检验这个假设。

精彩片段

• "好就是：客户做了一件为客户创造价值的事。" —— Teresa
• "不要把'好是什么样子'外包出去。真的去想一想，在你的语境中，好是什么样子？" —— Teresa
• "有帮助就是我的新 NPS。" —— Petra
• "即使在简洁性上，'好是什么样子'的定义也会随语境而变化。" —— Teresa
• "指标和成果之下的习惯其实很简单：你预期会发生什么？" —— Teresa

资源与链接：

• 关注 Teresa Torres：https://ProductTalk.org
• 关注 Petra Wille：https://Petra-Wille.com

本期提及：

• Teresa 关于 AI 评估的文章：AI Evals: A Hands-On Guide for Product Teams——正是这篇文章引发了这次对话，以及此前一期讨论它的 All Things Product 节目
• XING——德国职业社交网络，Petra 最早在那里看到参与度指标的出现
• DocuSign——用来说明如何从原始参与度演进到真正的激活指标
• Petra 的 Product Leadership Coaching
• Teresa 暂且归于 Ethan Mollick 的一个观察——但实际上发布我们正在急于自动化那些根本不该做的工作的是 Dave Kline
• Cal Newport——他关于我们的工作有多少其实并没有产生影响的观点

参与讨论：

对本期节目有想法？请在下方留言。

完整文字稿