Modal CEO Erik Bernhardsson 谈 GPU 容量采购与沙盒业务增长

Warm welcome to Basil Chatha, our newest cohost from the Forward Deployed side of the AI Engineering world! We’ll be ramping up a new show with him and couldn’t pass up an interview with Modal’s CEO Eric on the occasion of their monster Series D!

两年前，我们与 Erik Bernhardsson 交谈过，谈论他对真正无服务器 AI 基础设施的愿景：开发者应当能够运行代码，而无需配置集群、预测负载或为闲置资源付费。随后 CTO Akshat 加入我们的节目，探讨 Modal 的基础设施原语，以及提供这些原语和 agent 体验的技术栈。

过去 5 个月里发生了很多变化。自完成 50 亿美元 C 轮融资以来，Modal 目前报告其年化运行率已突破 10 亿美元，以 160 亿美元估值完成 7.5 亿美元 D 轮融资，并已启动近 30 亿个沙盒。在这次对话中，Erik 与 Vibhu 一同解释了这一增长背后的基础设施与经济学——以及为何算力需求很少与用于购买它的合约形态相符。

在 YouTube 上观看完整对话 →

GPU 需求不是矩形的

典型的容量合约会在固定期限内为客户提供固定数量的 GPU。以时间为横轴、容量为纵轴作图，你会得到一个矩形。而真实的工作负载表现不同：它们会在一天之中增长、激增又回落。按峰值需求购买，就要为闲置硬件付费；买少了，则可能无法满足需求。

Erik 将 Modal 的押注描述为一种期限转换：在数千个客户之间汇集需求，在底层锁定容量，让每个客户在需要时使用所需的资源。总体需求越平滑，这个资源池就越有用。这与我们和 SF Compute 的 Evan Conrad 的对话形成了有益的互补：Evan 专注于让容量可交易；Erik 则专注于让容量能以更小、更具弹性的方式被使用。

另一面也存在财务风险。如果供应商以今天的价格锁定容量，而之后 GPU 价格下跌，它可能会手握昂贵的供应。Erik 表示他并不预期会立即崩盘，但认为这种可能性在构建业务时至关重要。跳转到 GPU 价格讨论 →

那个差点没做成的沙盒

Modal 推出沙盒，是因为 Erik 与联合创始人 Akshat Bubna 注意到语言模型可以生成代码——而且总得有个地方来运行它。早期采用情况相当平淡，团队甚至讨论过关停该产品。随后，编码 agent、后台 agent 和强化学习创造了新的需求。Erik 表示，沙盒已增长到约占 Modal 收入的三分之一，这是产品推出时他未曾预料到的结果。

这种增长也改变了基础设施需要承担的任务。一个 agent 可能会创建环境、运行代码、检查结果，然后重试许多次。启动和恢复这些环境的延迟，成为了体验的一部分。在我们最近对 Akshat 的采访中，我们探讨了这种从开发者体验到 agent 体验的转变；在这里，Erik 补充了产品与商业层面的故事。跳转到沙盒讨论 →

快速启动是一项基础设施特性

弹性只有在容量能足够快地到位时才有意义。Modal 的 serverless GPU 技术文章描述了其中的机制：一个可用 GPU 缓冲池、一个定制文件系统、进程检查点以及 GPU 内存快照。这些组件减少了让另一个模型副本上线所需的工作量。这是一个具体例子，说明基础设施决策如何体现在应用的响应速度和成本上。

我们还讨论了 Erik 从 Spotify 推荐系统到 Modal 的历程、公司如何采购算力、NVIDIA 的替代方案、前置部署工程师，以及为什么 Modal 不强制代码评审。跳转到工程文化 →

节目笔记

Modal —— Erik 创立的 AI 基础设施平台。
Erik 的文章 —— 他关于基础设施、市场和创办公司的随笔。
Modal 的 D 轮融资公告 —— 该公司最新披露的增长和沙箱里程碑。
Modal 如何实现真正的 serverless GPU —— 弹性推理背后的创业与扩展技术。
Modal 的资源求解器 —— 它如何在不断变化的价格和可用性中选择容量。
扩展到一百万个并发沙箱 —— 一篇关于沙箱扩展的工程实践记录。
我们对 Erik 的首次采访 —— 最初的 serverless 基础设施论点。
我们对 Akshat Bubna 的采访 —— 面向智能体的基础设施与开发者体验。
可编程数据中心 —— Evan Conrad 谈 GPU 交易与物理结算。

时间戳

0:00 Modal 做什么
1:25 从 Spotify 到创办 Modal
4:19 在生成式 AI 爆发之前创业
7:43 最早的客户与融资
10:00 为推理和自动扩缩容而构建
13:21 Modal 从哪里获得 GPU 容量
15:39 租用还是自建基础设施
19:45 GPU 价格下跌的风险
24:18 AI 需求是无限的吗？
26:12 NVIDIA 的替代方案
28:25 Modal 能从新云厂商学到什么
30:26 GPU 作为一种资产类别
31:55 Modal 的产品：函数与沙箱
36:03 更小规模训练任务的理由
41:21 智能体沙箱正在如何变化
46:48 Anthropic 与沙箱安全
49:29 用智能体测试安全性
52:51 智能体时代的开发者体验
57:45 Modal 的前置部署工程师做什么
59:55 Modal 的产品管理方式
1:03:29 可选的代码评审与工程文化
1:05:56 云、本地部署与自带云
1:09:25 容量、融资与增长
1:13:07 团队扩展
1:17:28 Erik 的推文：临时沙箱
1:18:31 矩形 GPU 合同的问题
1:21:20 推理服务商 vs. 模型构建者
1:23:25 模型下一步会在哪里改进

文字稿

由修订后的剪辑版本自动转录；人名和措辞可能有误。

0:00 感谢你来参加，Eric Fern-Hartson，来自 Modal。你能稍微介绍一下这家公司吗，还有你是怎么走到这一步的？是的。我们做的，最简单的说法是，我们构建 AI 基础设施。所以我们提供一个计算平台和一个存储平台，让很多客户比如 Dacagon、Suno、Runway、Cognition 以及许多其他公司能够基本上构建 AI 应用。这意味着在实践中，大量的推理、大量的沙箱，有时是训练和微调，有时是批处理作业和其他东西。所以我们基本上构建了一个软件 SDK，让客户能够非常快速地构建这些东西。我们管理底层的所有容量，让部署、扩展和在生产环境中运行这些应用变得更容易。你两年前上过 Light and Space，从那以后发生了很多事。那时候你们有多大，能分享的数字大概是什么，以及相比之下，现在有多大？我其实不记得当时我们是什么情况了，但大概是至少 50 倍，无论是收入还是用户。是的。我其实自己也在用，有个副项目。不错。是的。就是把 2D 图片转换成 3D 模型。是的。所以就是在这里托管了几个模型。你觉得怎么样？有什么反馈吗？我觉得我很喜欢。不错。很好。是的，这就是为什么我用它而不是任何竞争对手。很好。在创办 Modal 之前，你在 Spotify 工作过，还有 better.com，我想是的。

1:30 没错。是的。你在 Spotify 做什么？我在 Spotify 其实做了很多不同的事情，但我的主要贡献是构建了一个音乐推荐系统。我加入后的第一个版本，大概是 2008、2009 年，我在 Spotify 待了七年。大部分时间都是从零开始构建音乐推荐系统，建立了一个小团队，我们推出了一系列功能，比如相关艺术家、发现每周歌单等等。所以做了很多矩阵分解，很多计算密集型的东西。可以说，后来成为 Modal 起源的很大一部分，就是构建 AI 应用并意识到基础设施烂透了。肯定有更好的方法来做这件事。所以 Modal 的很多理念，其实是我在 Spotify 多年里一直想要拥有的一个工具。是的。所以 Modal 更多是你在 Spotify 学到的东西的延伸，而不是从 Better.com 学到的。Better.com 算是一段小插曲。那有点像过山车，关于那家公司有很多故事。我们可以另外聊。但我在 Better 做了五年 CTO，把技术团队从大概两三个人发展到三四百人。所以我学到了很多关于管理、团队建设和招聘的东西，也学到了很多关于开发者生产力的东西。我思考了很多关于工具之类的事情。做了更多全栈方面的工作。但之后，我又回到了我真正热爱的领域，也就是基础设施、AI 和机器学习。Better.com 是做什么的来着？抵押贷款。好的。是的。你是怎么进入那个行业的？

3:00 我是说，我们不必在那上面花太多时间。是的，不，没关系。像 Zach Frankel 这个人，我当时并不认识他，最终把我招募到 Better 担任 CTO，那时公司只有 10 个人。而且，你知道，不管出于什么原因，创始人 Vishal 是个非常有意思的人，非常非常聪明，在大多数情况下有点疯狂。我们相处得非常好。所以，是的，我们在 2015 年开始构建它，我花了五年时间发展那家公司，然后，你知道，最终发现做抵押贷款其实相当难，而且，你知道，疫情之后利率上升得非常快，这给公司带来了很多问题。但那时我已经离开了。那是 2020 年、2021 年左右你离开的？是的，差不多。是的。所以，好吧，你是在有了模型的想法之前离开的，还是离开之后才开始的？很难说。我离开 Better 时有很多零散的想法，而且我，我其实不确定自己是否想创办一家公司。我只是有点，你知道，在疫情期间，我几乎像是在休一个假，有两个孩子。我是说，我现在还有孩子，但我是说，那时他们，我觉得是两岁和四岁，所以我决定留下来，休息了一段时间，做些兼职工作，比如捣鼓一些东西，也不确定也许我该做些咨询，然后我开始构建东西。我对这个最终成为 model 的想法变得超级兴奋。但实际上两者都有，你知道，model 大概是我构建的第 30 个，你知道，所以在那之前有几次尝试都无疾而终。

4:30 但我的第一个想法是，这挺酷的。我应该做这个。这可能是一个非常酷的平台。其他的想法也是类似的领域，比如开发者工具吗？第一个想法是某种网络爬虫之类的东西，但没做下去。不过实际上，事后想想，也许本来是有可能做起来的。这是在 ChatGPT 发布之前吗？是的，是的，2021 年。哦，好的。那 ChatGPT 是 2022 年底发布的，对吧？然后我就开始构建了，所以也许要稍微回溯一下背景，比如我在 Spotify 工作的时候，发布了一个开源框架 Kaluigi，它是做工作流编排的。所以和 Airflow、Prefect 大致属于同一类，某种程度上算是有点过时的类别了，人们谈论得不太多了。但有一段时间，它确实受到了很多关注。总之，我从来没有把它变成生意。但几年后，在 2021 年，当我在思考商业点子或要做的事情时，我又回到了工作流编排这个方向。我开始捣鼓一堆想法，比如在云端运行代码，基本的编排代码在云端运行。而我意识到的是，归根结底，核心的拼图不仅仅是编排计算机，而是执行计算机。我觉得这其实是一个更大的问题需要解决。所以从某种意义上说，我实际上把它搁置了，然后说，实际上我要去做这边的另一件事，之后再回来。我会再回头做一点工作流调度。但是，但是，长话短说，我再也没有回去，最终构建了 Modal，它的重点更像是，让我们想办法让在云端运行代码变得简单。最初的重点是相当通用的。

6:00 实际上在某种程度上，就像我们最近又回到了原点，但我们专注于如此多不同的应用场景。当时的想法是，让我们把在云端运行代码变得超级简单。可以是 GPU 代码、AI、机器学习，也可以是数据处理之类的东西。我们花了很多精力在如何扩展规模上，如何让开发者体验变得棒极了。很早就意识到，要做到这一点，我们必须深入技术栈的底层，从文件系统开始构建，从容器运行时开始构建，解决了很多艰难的工程挑战。然后你提到了 ChatGPT，那其实还不算是杀手级应用。但如果你记得的话，那年秋天差不多同一时间还出现了另一个东西，就是 Stable Diffusion，而 Stable Diffusion 证明了它是我们当时所构建产品的杀手级应用。那时我们只有四五个人。所以我们开始看到很多人来找我们，想要运行 Stable Diffusion 模型。这让我们意识到，生成式 AI 推理对我们来说可能真的是一个非常好的用例。你是怎么发现这一点的？我就是那种控制不住要发推的人。现在可能更……现在我因为忙着创办公司而分心了，但我一直发很多推。我也写很多博客。所以我觉得我有一点粉丝基础。在早期，推动增长的很大一部分就是我控制不住地发推谈论模型、谈论我在构建的东西，让人们兴奋起来，写长篇博客文章讨论云计算的走向等等所有这些事情。我称之为创始人主导的营销。我一直觉得你必须发挥自己的长处

7:30 而我的长处，我想就是发发牢骚、永远泡在网上。所以，你知道，工作上，我觉得我们很多增长就是因为我们比较擅长社交媒体，比较擅长一直泡在网上。不错。你花了多久才有了第一个客户？花了一些时间。还有，你早期融资了吗？我们有一段时间没有融资。实际上我自己垫资了一段时间，一直到前几个员工入职都是如此，这在某种程度上挺好的，因为它让我在花钱上非常节俭，注重投资回报率。我有很长一段时间没有领工资。实际上，后来一度成了问题，因为我需要钱，但我们有一段时间没有融资。直到 2022 年初，我们才完成种子轮融资。那时我已经做了大约一年了。Akshah 大约五年前加入，担任 CTO 和联合创始人，大概是 2021 年 8 月左右。但直到 2022 年底我们才看到任何有意义的收入。我想这就是我为你感到骄傲的原因。是的。而在我们的案例中，Stable Diffusion 是主要的推动力。我们从 2022 年 11 月左右每月 100 美元，到下一个月做到了每月 2,000 美元。然后到 2023 年 1 月，我们突然做到了 30,000 美元。终于，我感到胸口那块巨大的焦虑感消失了。我想，也许我们真的做对了什么。感觉我们真的做对了什么。然后在 2023 年，我们增长得非常快。

9:00 从那以后，我想我们基本上一直在快速增长。那个每月 3 万美元的节点，是靠几个大客户，还是客户非常分散？就一个客户。我不知道我有没有说过那是谁，甚至他们自己可能都不确定，但我觉得他们应该猜到了。是纽约一家叫 Mage 的公司，他们做的是类似 Stable Diffusion 的业务。所以在某个时候，大概是 2023 年第一季度，他们占了我们收入的 80% 到 90%。但之后收入开始逐渐分散。2023 年底，我们把 Suno 变成了一个大客户，他们一度也占了我们很大一块收入。不过随着时间推移，我们现在实际上已经有了非常好的收入多元化。是的，关于 Stable Diffusion 那块，我记得用它来跑 ComfyUI。我猜很多人都是在用 ComfyUI，比如在上面运行 ComfyUI 工作流。确实有人在用，但我觉得用 Modal 的人更多是做更底层的东西。他们做的东西比较复杂。他们喜欢 Modal 的一点是，它一直都非常可定制（hackable）。他们会部署自己定制的工作流，用适配器和自定义推理，还有大量优化。而我们为了把开发者体验做好所做的一切，结果在运行生产工作负载方面也非常好用。因为自动扩缩容其实是一个非常相似的问题——你需要让容器非常快速地上下扩展。所以我们恰好处于一个非常有利的位置，在早期捕获了大量这类工作负载。自动扩缩容的工具当时难道不存在吗？为什么你们必须自己构建这些？

10:30 总的来说，我的核心观点是，你知道，每一个新的技术时代都会遇到工具的局限性。无论是回看网络、云、移动、PC 还是 AI 等等。所以我认为，工具往往已经存在，但它们通常并不特别好。为了从中获益、真正加速发展并开始为这个新世界构建，你往往需要重新思考很多这些工具。云时代就是如此，我们必须发明出 Kubernetes 和 Docker 之类的东西。类似地，对于生成式 AI，你可以在上一代工具之上构建这些东西。你可以在 Kubernetes 和 Docker 之上构建，但这些技术是为完全不同类型的工作负载而设计的。它们是为非常稳定的后端工作负载而设计的，请求量均匀稳定，利用率相当低，因为 CPU 通常很便宜，所以人们不太担心成本问题。但现在我们正在进入一个新世界，你有非常昂贵的 GPU 需要管理容量和利用率，有非常大的模型需要通过网络加载到 CPU 和 GPU 中。事实证明，很多这些工具根本不是为此而建的。所以我们觉得必须重建很多东西，比如我提到的文件系统，过去几年我们也花了很多时间构建一些围绕 CPU 的非常酷的东西。

12:00 快照、GPU 快照与审计，我们构建了自动扩缩容器和调度器，以及各种容量管理工具。我们觉得必须这样做，因为对于这一代新软件，你无法在旧的东西之上构建，你不能在旧系统上套一层封装来做新事情。你多少需要从头开始重新做。所以我想问，关于自动扩缩容，你们在平台上有没有看到什么奇怪的行为？在你们扩容的过程中有没有什么东西坏掉过？我是说，容量管理一直时不时是个挑战。你怎么获取成百上千、甚至上万台 GPU？这一直很难。我们很早就不得不做多区域部署。事后看来，我觉得那是一个很关键的决定，就是硬着头皮把它做出来。我们一直把容量管理看作一个大的资源池。就像一个覆盖全球的大池子。我们不把它看作在每个区域各自运行的独立集群。所以这是我们早期做出的一个影响深远的决定，就是以那种方式来思考。所以我不确定有没有什么具体的问题。我们当然有过 bug，也有过故障，我讨厌……虽然我非常希望模型能百分之百正常运行，我觉得最近我们基本上达到了四个九到五个九的水平，但在 Model 的整个历史中，我们当然也遇到过一些扩容方面的挑战。是的。GPU 市场，嗯其实在那之前。所以你们在底层使用 AWS、GCP 这些云服务商。

13:30 那你们会自己购买基础设施吗？不，我们来聊聊云容量吧。因为我觉得这方面其实变化很大。在最初几年，我们几乎全部的容量都来自超大规模云厂商的现货和按需容量，主要是现货容量，运行在各个不同的区域，最初用的是 AWS，后来也用了 GCP，随着时间推移，我们很早就开始从 Oracle 租用一些容量，因为我们想要 H100 和 H200，而且拿到了非常好的价格。随着时间推移，我们又增加了几个云厂商，比如做预留容量，但直到去年年底，我们的大部分容量仍然是现货或一年期预留。现货意味着你就在当时当地直接租用。没错。是的，而且它是可抢占的，这一点我们不得不应对。但在 Agria 这种模式下其实是可行的，因为你基本上可以从数百个区域聚合容量。所以这个模式一直运作得很好，直到我们开始再次遇到瓶颈。首先，随着我们需要更多容量，Modal 增长非常快，但根本上，云市场也开始发生很大变化。所以在过去一年里，基本上现在为了获得我们需要的容量，我们不得不与规模大得多的云厂商合作。目前我们实际上与近 25 家云厂商合作。而且在很多情况下，为了得到我们想要的容量，我们必须签订三年以上的合约，并且需要预付一笔可观的费用。而且你是在三年期限内锁定价格，对吧？

15:00 所以，你知道，我们不得不在过去六到九个月里，重新思考我们获取容量的方式。我们不得不建立一整套采购团队，我们有四个人全职工作，他们做的全部事情就是采购容量、联系新云厂商、谈交易、审核容量。我们不得不建立一整个工程团队，基本上 10 个人，专门管理来自世界各地的裸金属容量，处理网络问题、故障硬盘、GPU 从总线上掉线等等所有这些问题。我们不拥有容量。到目前为止我们租用所有容量，通常都是这种三年期的合约。这是一个重大的决定。我们应该购买，还是继续租用？我其实对此并没有特别教条的看法。我觉得租用挺好的，因为它有一定的资本效率。如果你要购买，首先，没有那种运营复杂性。你得处理供应商、电力、线缆等各种各样的事情。但也有财务上的复杂性。比如，你怎么为它融资？你应该募集股权吗？你可以募集十亿美元去买硬件。那是一种稀释性很强的方式。你也可以募集债务，但如果你募集债务，通常你需要有锁定的长期收入来支付利息。这也不简单。但我们审视经济性，审视运营……

16:30 复杂性，我们会评估风险。呃，这是一个复杂的权衡，而且我们对购买持开放态度。我们会，我们会，还有其他的形式。比如，为了获得 2027 年所需的算力，我们需要做大量的工作，你知道，要通过很多不同的途径去锁定它。所以你是不是需要雇很多金融方面的人来做这些事情？真的吗？你知道，我不得不在这上面花很多时间，我们也必须在这上面花很多时间。而且我确实认为，随着时间的推移，我是说，这些是非常昂贵的资产，呃，硬件。而且，你知道，我觉得，这有点惊人。你开始看到 AI 投资开始占到美国 GDP 的好几个百分点，而且，你知道，最近几周美国的利率开始飙升。我是说，在这个阶段，你知道，你去看看那些 Neocloud 公司，它们是非常非常复杂的金融工程公司。所以是的，我们，我们会看这些，你知道，我们会考虑所有选项，我们也可能会不得不自己做类似的事情。我不想，我更愿意专注于做一家非常精简的软件公司，做我们擅长的事情。我认为总的来说，软件公司持有硬件资产并不是一件好事。你知道，就像你是否应该拥有自己的办公室？我不认为这对大多数公司来说一定是正确的解决方案。但当然，为了获得你想要的算力，你知道，一切都在考虑范围之内。是的。而且我猜供应在一段时间内都会受到限制。

18:00 所以你某种程度上必须这么做。你同意这个说法吗？还是你觉得这只是暂时的现象？我不太同意这个说法。Nvidia 每月出货数十万块 Blackwell，对吧？我不想说市场是 100% 高效的，但总体来说，只要你愿意出高价，就能买到 GPU 容量，对吧？只要你愿意比别人出更高的价。当然，Anthropic 和 OpenAI 正在尽可能多地抢购。但从根本上说，市场上不断有新的供应出现。所以我不认为这是一种被完全垄断的资源。价格确实在上涨，我觉得值得反思一下。硬件的常态就像摆脱了重力一样——最终硬件价格总是会下降的。所以我们现在处于一个有点奇怪的时期，硬件价格在上涨。很难说这种情况会持续多久，可能是六个月，也可能是 36 个月，真的很难说。但从根本上说，我不确定「你必须购买容量」这种说法是否成立，这有点像疫情期间的卫生纸抢购潮，或者类似银行挤兑的情况。话虽如此，容量确实会紧张一段时间，价格也在上涨。幸运的是，我觉得这对我们来说甚至不一定是坏事。如果价格上涨，因为稀缺也意味着我们可以

19:30 向我们的客户收取更多费用。而且，你知道，我们有大量的预订以某个价格锁定，这意味着在某种程度上，我们实际上已经像是在做多 GPU 价格了。所以我并不太担心价格上涨。我更担心价格崩盘。我不认为这很快会发生。但我认为这对市场上的许多参与者来说会是相当糟糕的事情。为什么会糟糕？我认为这对那些锁定大量供应的人会很糟糕。是的。因为他们付了太多钱，他们付得太多了，你知道，所以有在顶部买入的风险，对吧？再说一次，我并不太担心这个。我不认为这很快就会发生。但是，你知道，就像我说的，从长远来看，硬件价格往往会下降。所以值得反思这一点，对吧？对。就像现在，我认为你的产能受限，这导致了，用经济学术语来说，存在稀缺租金，对吧？谁获得了稀缺租金？我认为主要流向两个地方，主要是 Nvidia，当然，在某种程度上也流向了 Neoclouds，比如 Neoclouds，总的来说，任何拥有产能的人都有更好的经济效益。在产能受限的今天，这是不可否认的。从长远来看，在非常长远的未来，我不认为这一定完全正确，对吧？拥有 GPU 总是能获得一点溢价，但这值得冒险吗？你知道，为了持有这种非常昂贵的

21:00 资产在你的资产负债表上，这值得冒险吗？我不太确定，但你知道，我们会看到的，这需要几年时间才能度过。从长远来看，我们可能会拥有一些，可能会租一些，也许是两者的结合，也许会做一些其他疯狂的事情，联合投资，谁知道呢？也许是一些复杂的 SPD，无论如何。嗯，一切皆有可能。你如何与 OpenAI 和 Anthropic 竞争购买 GPU 产能？我猜他们会想买下所有可用的东西。他们确实在这么做。我认为你看到的是，很多价格上涨了。这是对此的反映吗？话虽如此，NVIDIA 正在出货大量产品。我认为在某种程度上，NVIDIA 有点倾向于多元化。他们不希望只有少量的大买家，就像你看到超大规模云厂商获得的配额有点受限一样。我认为 NVIDIA 也更希望看到许多 neoclouds 和其他替代云获得更多配额。我认为我们在市场上看到的，这也更多是猜测，但我们看到一些规模较小、合作风险稍高的云对我们来说更像是机会。比如，也许 NVIDIA，抱歉，Anthropic 和 OpenAI，我的感觉是他们更愿意从……购买，部分原因也是因为他们需要进行大量的训练任务。所以他们需要非常大的批量，但外面有很多产能，你知道，你可以在亚美尼亚获得 32 个节点。

22:30 你可以在印度尼西亚搞到 128 个节点。你知道的，我们就是喜欢这种事。所以我们可以去那里，在全球各地搞到大量较小容量的节点。价格相当不错。是不是基本上就是，如果有人提供给你一定数量的 GPU，你就只在乎这个？难道你不在乎别的，比如可靠性怎么样，是不是随便某个破仓库里放着这些东西？我是说，有时候确实有点像破仓库。感觉上是这样，但是，我们确实有一份规格表。基本上，当我们和供应商谈的时候，第一件事就是给他们发一份规格表。我们说，我们需要这么多 IOPS。我们需要，你知道，CPU 至少要有，至少要有这么多，不管是 PassMark 分数还是别的什么。我们需要看到最低的南北向带宽、出流量和入流量。所以我们确实有一份需求清单。通常我们会尽量做一个验收测试期，先拿一个节点跑起来，随时间进行测试。在某种程度上，这也需要一点信任的飞跃。有时候我们会签下非常大的承诺，几千万或几亿美元，然后开始和我们还不完全了解的供应商合作。随着时间推移，我们会看到结果。我觉得在某种程度上，有点像是我们自己内部也有一套类似 SemiAnalysis 的 cluster max 那样的评分，我感觉我们内部几乎也有自己的 modal max 评分。我知道哪些供应商我更喜欢，你知道的，而且，而且，

24:00 我们更倾向于与那些我们见过的、可靠性非常好的供应商做更多交易。不只是可靠性，还有，当我们遇到支持问题时，他们是否非常响应，我们要求修复的问题的周转时间如何。如果系统宕机，他们修复的速度有多快。诸如此类。你同意对智能的需求基本上是无限的吗？如果是这样，为什么不尽可能多地买入容量呢？然后，如果你买多了，你可以把它卖给别人。当资源稀缺时，说“让我们尽可能多地买入”很容易。但我认为，首先，如果我们今天买入，我们无法用完全部容量。我们可以用掉很多，对吧？但你可以把它卖给其他想用的人，对吧？我认为挑战在于，如果市场上发生了某些事情，会有很多相关性同时发生。如果价格下跌、利用率下降、转售容量的市场同时消失。我坐在这里，我非常激进，每天都在买入容量，并且在融资买入，所以总体上我非常看涨，但我想指出，这里存在尾部风险。当这些尾部风险发生时，情况可能会变得非常糟糕。部分原因可能是，也许我只是老了，我过去见过这种情况，我第一份工作是在1999年。所以我见过互联网泡沫危机，也见过金融危机等等。我想建立一家能持续20年的公司。

25:30 到 30，还有 50 年，对吧？所以，你知道，我觉得我们现在当然可以出去疯狂采购一大堆算力，试图垄断市场。但是，你知道 Hunt Brothers 的故事吗？那是交易界的传奇故事。他们试图垄断白银市场，结果惨败。所以，垄断市场这件事，总体来说可能不是个好主意。不过我们总体上非常非常激进，我们正在以一个激进的计划扩大规模，这个计划基本上与我们的需求增长相匹配，也与我们希望在明年年底达到的运行时间或运行率相匹配。你只采购 NVIDIA 的产品，还是也在考虑其他类型公司的算力，比如训练用的？我们正在研究。我觉得替代加速器开始变得非常有意思了。讽刺的是，过去五年甚至十年，我每年都说，明年将是非 NVIDIA 加速器之年。结果我总是错的。但我确实认为 2027 年可能是非 NVIDIA 加速器之年。终于。所以看看今年我是不是又错了。但这些加速器在某些方面确实开始获得非常好的评分。我觉得，TPU 在 Google 内部显然用得非常广泛，而且似乎运行得非常好。我对训练了解不多，我不觉得我看到的那么全面，但团队非常棒，我知道他们在做很多软件方面的工作。

27:00 你知道，硬件在某种意义上很难做。软件相对容易一些。这让我觉得，如果我们只是把这些加速器的软件层修好，我觉得它们会有很大的需求。而且从根本上说，NVIDIA 是如此大的瓶颈，我觉得我们可能会看到更多替代加速器。话虽如此，供应链下游还有其他瓶颈。我是说，还有台积电和 ASML，也许对这一切来说反而是更深的瓶颈。不过从长远来看，我认为垄断不会永远持续。所以我认为市场拥有更多替代方案是健康的。虽然我很喜欢 NVIDIA——先说清楚——他们显然是一家了不起的公司，产品也很出色。但我确实预计市场会出现更多样化的格局。还有像 Cerebras 和 Groq 这类公司。是的。你对这些供应商有什么看法？我觉得它们相当令人兴奋。你会看到它们在某些工作负载上表现得非常好。还有一些有趣的做法，比如有人做混合的、分离式推理，用 NVIDIA 做预填充，用 Cerebras 做解码之类的。哦，我其实没听说过这个。是的。还有 Groq 也是，因为这些东西里，有些是计算受限的，有些是内存受限的。所以你可以混合搭配。我觉得这非常令人兴奋。在实际部署这些东西时，情况会变得非常复杂。但我确实认为，这种更复杂的硬件设置有很多机会。你从这些新云厂商——比如 Nebius 之类的——以及它们的做法中，有没有得到什么经验教训，相对于

28:30 比如你们在做的事情？我觉得 Neoclouds 有一点非常有意思，就是它们怎么能扩张得这么快？我觉得最疯狂的例子其实是 N scale，它从默默无闻一下子变成了，你知道，管道里有几千亿美元的规模，尽管它几乎没什么算力。Neoclouds 怎么能增长这么快？基本上答案是，这可能显而易见，就是他们会去找 Anthropic 或 OpenAI 之类的某个大买家，然后说：嘿，你想不想买五年的芯片？签这份合同，我们给你一个好价格。然后他们拿着这份合同去找华尔街，说：看，我们有这么一个大买家，他们承诺了 100 亿美元的芯片采购，我们现在只需要把它落地。然后他们就去融资。接着他们去找 Super Micro、戴尔或者英伟达之类的厂商拿硬件，然后安装好，现在他们就可以交付给客户了。所以你就有了一种非常漂亮的金融结构，基本上可以预售你还没买的东西。这意味着你可以极快地扩张。这就是我们在这些 Neoclouds 身上看到的，它们可以扩张得非常非常好。我觉得 Modal 因为我们一直更偏向 PLG，而且没有那种锁定长期合同的能力，从财务角度来看要扩张得那么快会更有挑战，尽管我认为从长远来看我们也会走到那一步。

30:00 同一个观点。但我认为，看到这些新云厂商，尤其是 CoreWeave 这样的大公司，是一件非常有意思的事。他们在融资方式、如何将 GPU 作为贷款抵押品等方面都非常非常精明。这有什么意义呢？我忘了是哪家公司了，好像是某家金融公司说，哦，我们要把……哦，我想其实是 Nvidia。他们说，我们要把 GPU 变成一种资产类别。这只是因为他们需要融资，所以想弄清楚从哪里弄钱吗？这有什么意义呢？我是说，现在有一堆初创公司。我不知道你有没有在关注这个。有 Silicon Data、Computer Exchange、Orn，还有其他几家，基本上都在尝试创建价格指数、指数产品、衍生品交易之类的。我觉得这很有意思。我认为，算力作为一种资产类别确实面临不少挑战。它肯定不像其他资产类别那样同质化。你有不同的网络、不同的位置、不同的磁盘、CPU，还有各种各样的东西和可靠性问题。话虽如此，你对石油也可以这么说，而我们基本上已经把石油变成了相对商品化的、可交易的资产。结果还有待观察。但我确实认为，就我们目前 AI、数据中心和 GPU 部署的规模而言，我们在风险对冲和风险分担方面确实需要更聪明一些，而且，你知道，……

31:30 拥有更多类似保险之类的东西。所以，我非常高兴人们在认真思考这个问题。话虽如此，我不太确定我们是否会看到 GPU 变成某种 Henry Hub、Brent 原油那样的、高度商品化的可交易资产。是的。我想把话题转向 Modal Sandboxes。是的。在我们开始之前，我想问一下，Modal 有哪些不同的产品？我想，主要产品显然是 GPU。然后是 Modal Sandboxes。还有别的吗？我认为我们的两大产品基本上，第一是 Modal Functions，第二是 Modal Sandboxes。关于 Modal Functions，我们在 2021 年推出了它。它的理念是提供非常易于部署和扩展的无服务器函数，所有容量都由我们管理。事实证明这对推理非常非常好，对管理和运行 GPU 之类的工作负载也非常有效。但我们实际上从未推出过专门的推理产品或 GPU 产品本身。我们从未把 Modal 视为一家 neocloud，而且我认为存在被卷入那个方向、变成一家 neocloud 的风险——就像只卖那种，我认为是矩形的、三年期的套餐，你得到多少块 GPU。Modal 一直非常擅长的是，你部署某个东西，然后可以弹性扩展它。当你有这种非常周期性或突发性的工作负载时，所有容量都由我们管理。而美妙之处在于，因为我们有成千上万的客户，

33:00 我们可以把这些算力聚合起来，获得非常平滑的工作负载，也就是非常平滑的总需求，我们可以非常非常高效地进行管理。所以 Modal functions 是核心。我们在 2021 年推出了它。正如我提到的，我们在 2023 年开始看到产品市场契合。而现在，它大约占我们营收的三分之二，赋能了大量……实际上主要是推理，但你也可以用它来做各种其他事情。Modal sandboxes，我们在 2023 年推出了它。实际上它也花了一段时间才找到产品市场契合，和 functions 类似。我们为什么推出它？我们意识到和我们交谈过的很多人都在用 LLM 输出代码。这就像有一天我和 Akshar 午餐时聊天。我们说，也许他们需要一个运行这些代码的地方。我们意识到，其实我们已经拥有了大量基础设施，可以直接接收代码并运行它。因为我们已经构建了管理容器和隔离的原语。我们已经有了 Gvisor 和隔离原语之类的东西。所以我们对这个想法感到很兴奋。Akshar 写了一个原型，基本上用一天或两天左右就推出了它。零。我们几乎没有看到增长。我不想轻描淡写它。因为我们确实看到了一些增长。有一些……而且那是 2023 年。是的，那是 2023 年。有些人开始使用它。我们有一些早期用户在某些方面挺喜欢它。但总体而言，到 2023 年夏天，它还只是一个微不足道的收入来源。所以两年后，我们甚至讨论过，我们到底还需不需要这个产品？

34:30 我们要不要把它关掉？结果它就开始爆发了。真是典型的 2023 年。我觉得 2023 年真正发生的事情是，大语言模型在生成代码方面变得非常出色。2023 年。2023 年。嗯，大概就是那段时间。我觉得那正是它们从能够重构函数、编写代码片段，进化到能够生成完整应用的时候。没错。于是我们开始看到大量增长来自 vibe coding，你知道的，像 Loveable 这样的公司以及其他一些公司。然后，你知道，像 Ramp 这样的公司开始使用模型来运行后台智能体。接着我们开始看到巨大的增长来自许多实验室在模型沙箱上做强化学习之类的事情。所以沙箱现在约占我们收入的三分之一。你知道，我们基本上把它当作我们的第二个产品。对我来说，这真的很令人兴奋，因为即使在模型的早期阶段，我就一直知道模型是要打造一整套产品工具包的。我们一直想做得几乎像一朵云，你知道，你有存储、有算力，还有一堆不同的使用方式。我们一直想成为多产品供应商，但这在实践中直到现在才真正实现。我觉得现在情况已经很清楚了。我们有函数，有沙箱。我们还在做很多其他东西。我们在做训练，在做批处理，还在做很多其他事情。所以对我来说，这种向多产品公司的演进，我觉得非常棒，因为这一直是愿景的核心。即使在非常早期的演示文稿中，我也有很多关于这方面的幻灯片。但直到最近，这对外部世界来说才真正成为现实。

36:00 你有没有正在酝酿中的产品，你觉得它会成为下一个这样的产品？对市场有什么预测吗？之类的？我对训练非常看好。我认为训练是一个服务不足的市场。显然，目前有很多关注集中在超大规模训练上。但实际上我们看到了很多需求，来自中小型训练细分市场。所以本周晚些时候我会稍微谈一下这个。我们正在组织一场会议。批处理我认为是一个非常有意思的市场。我觉得我们看到了很多需求，来自那些需要……你知道，前几天我们有个客户需要转录5000年的音频。他们有数以百万计的音频文件。而我们有充足的算力。所以我们就让他们做了，花了几天时间。我认为那里有一些非常有意思的用例。对低延迟相关的东西也非常看好。我认为一旦我们把音频，比如语音到语音模型跑通，也就是语音模型，会有很多……我预计那将是一个非常有意思的市场。然后当然，还有所有这些 agente 相关的东西，对吧？在某种程度上，我对 agente 这个词心情复杂，因为我觉得在某些方面，我认为所有软件都会变成 agente。所以对我来说，几乎就是，agente 到底意味着什么？我认为所有软件在某种意义上，随着时间推移都会变成 AI 驱动的。但显然，有一套构建模块，关于如何做更多 LLM 驱动的软件，这些模块似乎在所有不同的用例中都是通用的。

37:30 我们的想法是，我对模型的看法是，我们做的是构建积木的生意，我们想给你提供令人惊叹的、可泛化的、经过实战检验的、通用的、可组合的积木。我觉得在 agent 用例方面也有一些非常有意思的东西。你提到训练，这很有意思，因为我想在另一个播客里，可能是一年前，也可能是两年前，你说过你们并不特别专注于训练。市场发生了什么变化？我是说，我们断断续续地做训练产品已经好几年了。所以我不说我们从来没专注过。但问题是，比如说现在我们有 150 名工程师，而一两年前工程师人数要少得多。所以，仅仅因为规模较小，我们就必须更加聚焦。于是推理成了我们唯一的核心业务，而且很多年都是如此。但现在我们规模更大了。我们也有机会在其他市场下注。我也非常感兴趣的是，继续列举这些事情：后训练、强化学习。我觉得这方面有一些非常令人兴奋的东西。我觉得还有很多其他的东西，比如存储、构建数据仓库、特征存储、实时流处理管道，以及各种各样的东西。我认为 Modal 的长期愿景基本上就是，如果你想构建一些很酷的 AI 东西，我们都能满足你，我们有所有的积木，比如 comp tasks，我们会帮你把这些积木组合起来。

39:00 这就是软件的魅力所在，就像你，你可以，你知道，只要有正确的构建模块，几乎可以构建任何东西。所以，那非常就是我想打造的那种公司和产品。你说的训练，你是更专注于那些做大规模训练的大型企业吗？不，不，他们会去，你知道，做这些，你知道，大的超大规模厂商或者更确切地说 Neo、Neo cloud 的超级大单，拿到，你知道，100,000 块 GPU 之类的。但是，但是，但是在我看来，有一个有点被忽视的市场，比如研究人员在迭代，或者在训练较小模型的人，你知道，Texas beach 和 speeches、text 模型，计算生物技术实际上是我们看到很多需求的一个市场。我们在那个领域有很多客户在训练相对，你知道，适度的模型。你可以在 64 块 GPU 上训练，或者推荐系统之类的，很多传统的机器学习。有很多事情，比如你不需要，你知道，100,000 块 GPU。那个市场，我觉得，我们暂时不会专注于那里。但是，但是我觉得在那些，你知道，稍小一点的市场里有很多东西是相对被忽视的。搭建训练集群非常困难。是的。你有没有注意到，比如从，我不知道，比如 GLM 5.2 或者，也许像 Kimi 2.5，你知道，很多人在使用它们并微调它们？如果非要说的话，我其实看到了相反的方向。我觉得几年前微调的价值主张是，是的，你知道，开源模型，它们没那么好。但是，你知道，如果你拿一个，你知道，小模型，在你的特定

40:30 领域上微调它，你实际上可以在质量和成本方面达到前沿水平。今天，我会说开源模型已经好到你可以基本上直接把它们换掉，直接运行，你知道，不用，你知道，前沿模型，你可以运行，你知道，Kimi K3 之类的，DeepSeq 4.1 或 GLM 5.3。它们基本上和前沿模型一样好，但成本低得多。所以我们仍然看到很多后训练的需求。我确实认为这是一个非常有趣的领域，我们正在这个领域开发一些产品，你知道，既有 SFT，也有强化学习之类的东西。我还要说，你知道，微调已经不再是你必须做的事情了。它非常可选。你知道，开源模型开箱即用效果也很好。回到沙盒的话题，实际上。我忘了问你。所以，你们提供的沙盒有什么是现有沙盒不允许的，是你们必须更新的？没多少。我觉得我们一直非常非常擅长的事情，我是说，我们是基础设施极客，对吧？我们非常擅长，你知道，扩展性和可靠性，做很多事情。我觉得这就是为什么在很大程度上解释了为什么我们有，你知道，在我看来，我没有数据，但我觉得我们在这个领域拥有迄今为止最大的市场份额。我们就是非常擅长运行，你知道，几十万甚至上百万个沙盒。是的。我要说的是，我们不得不，我们已经不得不重写我们的系统，你知道，好几次，以处理那种规模。

42:00 但我们在这方面一直很擅长。随着时间推移还有其他事情。我是说，沙箱这个领域总体上，你知道，它并不是一个差异化程度最高的领域，但你知道，我们正在做一些非常酷的事情。比如随着时间推移，我们不得不增加对 VM（虚拟机）的支持。所以我们之前的沙箱产品是基于 GVisor 构建的，但现在我们也提供完全虚拟化的机器。事实证明，对于某些用例，你确实需要完全的 Linux 兼容性。我们还不得不构建其他东西，你知道，更好的原语来实现更交互式的操作，比如在沙箱之间来回传输数据、处理文件系统。我们在快照方面花了很多时间。我认为从长远来看，能形成差异化的东西会是那些非常酷的功能，比如分叉沙箱、快照、恢复快照、实时迁移。总体上，我认为沙箱的新颖之处始终在于这种短暂性，你可以在几秒钟内启动一个沙箱。这是我喜欢的，也是我想进一步深入的方向。我认为你可以做很多非常酷的事情，比如把 agent 和 harness 解耦，把它和沙箱解耦，让 agent 控制多个沙箱，分叉沙箱，快照，基本上运行非常短命的东西，可能每条命令一个，类似这样的。所以我认为那里有很多酷的东西。我们已经在这方面花了很多时间，围绕快照。但我认为那里还有很多酷的东西可以构建。你提到了好几次快照。

43:30 那么你认为快照（snapshotting）的用例是什么？它能给我们带来什么现在没有的东西？对我来说，最重要的一点是，如今很多沙盒工作负载有点像“提升并转移”（lift and shift）。人们思考沙盒的方式几乎就像是：我有一个开发机，现在我要把它塞进云端，让一个 agent 来控制它，也许我还会在沙盒里运行 harness。我不确定从长远来看，这是否是思考 agent 计算资源的正确方式。我认为一个好得多的模型是：你将拥有这种运行时间非常长的 agent，在我看来它们几乎就像是持久化执行工作流（durable execution workflows）。它们会 7×24 小时运行，每隔一段时间执行一些命令，而拥有在 100 毫秒内启动一个沙盒、运行几个命令、然后关闭并为其创建快照的能力——我认为这种“唤醒—休眠”周期越快，你就越能创建只运行极短时间的沙盒，这会让计算资源高效得多。它还能让你做一些非常酷的事情，比如分叉（forking）、移动东西，想象一下，比如 Claude Code 不再是线性的、顺序的流程，而是能够分支，同时运行数百个 agent。我认为 CI 是另一个很好的例子，在 CI 的大部分历史中，比如 GitHub Actions 之类的东西。

45:00 就像你有一个非常顺序化的流程，比如，你知道，你慢慢安装一堆东西，然后运行测试套件，然后，你知道，生成一些报告之类的。你可以把它拆分成多个分片，但这有点烦人。我最想做的是，把你的整个测试套件拿来，让每一个测试都在它自己的沙箱里运行，对吧？然后用大约一千个沙箱把它彻底并行化。为什么不能这样做呢？问题是启动和停止沙箱的开销太大了。所以我认为，你越是让启动和停止变得毫无摩擦，你就越能进入这样一个世界：你可以做这种极度突发的、大规模的、想并行跑多少就跑多少的事情。所以，你知道，我是个基础设施极客，就像我说的，我对这些东西非常兴奋。一旦我们弄清楚了所有这些原语和正确的构建模块，我认为它将解锁很多非常酷的东西，而这些是我们以前用软件做不到的。为什么这还没有被构建出来？我猜以前人们也会想尽可能地并行化他们的 CI。你不能，但开销，就像 Amdahl 定律之类的。对吧？现在并行化的开销非常高，因为现在，比如 GitHub Actions，我们在 Modal 测试套件里做了并行化，对吧？但这基本上意味着，现在如果你把你的测试套件分成两半，那么这两个分片都需要做所有的安装和测试设置。这需要很长时间。可能需要几分钟，但假设你可以只做一次测试设置

46:30 然后你对容器做快照，现在你克隆它，然后你就可以独立地运行测试套件了。我认为很多好处是无法实现的，你无法在降低摩擦和开销、降低交易成本之前实现这些好处。我记得你们和 Anthropic 有合作，他们在用沙箱做某件事，比如 Modal 沙箱。是的，和 Anthropic 的托管 agent 合作，这是一种自带沙箱的集成方式。所以你可以用 Modal 来做这些，是的。这是怎么来的？怎么促成的？我认为 Anthropic 正在努力打造一个繁荣的生态系统和社区，所以我认为他们从推理中赚钱，对吧？好的。我认为非常符合他们的利益去推广其他一切，尽可能多的生态系统，他们希望拥有尽可能大的覆盖面，只要你用 Anthropic 做推理。所以我认为他们与我们作为沙箱提供商合作是非常理性的。另外，我觉得我们必须提到 Hugging Face 事件。你介意谈谈那个吗？是的，是的，我的意思是所有信息都在那里。是的，是的。所以，是的，你能简单描述一下发生了什么吗？我认为他们当时在用 Modal 沙箱，但这不是你的，你知道，这不是沙箱的过错。是的，完全正确。我忘了漏洞的所有细节，但我的意思是，你知道，我认为你指的是 Modal 被牵涉其中这个事实。是的。所以，关于这一点，基本上是在里面运行的 agent，

48:00 你知道，那次针对 Hugging Face 的攻击，他们在部署在 Modal 上的一个应用中发现了一个漏洞，并利用它作为跳板来获取访问权限——据我理解是获得了完整的互联网访问权限。我不记得全部细节了。需要澄清的是，被入侵的是运行在 Modal 上的一个应用，而不是 Modal 本身被入侵了。就像 AWS 一样，很多人在 AWS 上运行东西，偶尔那些应用会被入侵。这是否意味着 AWS 被入侵了？当然不是，对吧？所以有很多人在 Modal 上运行应用，其中一个应用被入侵了。我认为，但我们可以从中吸取一些教训，我们一直在反思的一点是，我们能否在默认情况下设置更合理的安全限制。用 AWS 来类比，S3 过去很容易不小心把 S3 存储桶设为公开，AWS 意识到这不一定会给 AWS 本身带来安全问题，但很多客户会不小心泄露数据。所以现在要把 S3 存储桶设为公开要难得多。类似地，我们正在探索能否在默认情况下让安全限制更严格一些，而不一定破坏让 Modal 变得优秀的那种魔力。我认为还有一个独立的话题是，智能体在网络安全方面变得非常强。所以我们实际上也作为一种……

49:30 从这次事件中得到的独立经验是，我们开始在内部大量使用智能体来尝试寻找漏洞，到目前为止还没有发现任何东西，但它们非常擅长深入探测系统的非常深层部分，尝试利用漏洞，尝试提权并逃出沙箱。所以这是我们目前正在非常积极探索的事情。你究竟是如何让智能体遍历代码库的？你就直接说，嘿，去找安全漏洞？不，你只是把它们放进沙箱里，然后告诉它们，你能试试逃出沙箱吗？就像密室逃脱，不过是给智能体玩的。酷。你们什么时候开始做这个的？我们几个月前开始的。挺令人兴奋的。就像 Fable 推出的时候？对，差不多同一时间。好的。我对网络安全的看法是，我实际上认为它们在发现漏洞方面非常强，但你也可以很好地将它们用于防御。所以我认为，像 Modal 和许多其他公司现在，如果你去和几乎每一个系统团队聊，我敢肯定他们都在想同样的事情：我们如何利用智能体进行防御，修复我们所有的漏洞？所以随着时间的推移，实际上，我并没有那么紧张。我认为如果有什么变化的话，智能体和网络安全领域的所有突破只会让世界变得更安全。你觉得那些大型网络安全公司是不是都要完蛋了？我不确定这是不是真的，因为你问的是一个非常遥远的问题。

51:00 这超出了我的核心专长范围。但当我想到网络安全时，你销售的很大一部分实际上是恐惧。这几乎就像是一种品牌和营销策略，与核心产品同样重要。但我认为，在 AI 时代，品牌之类的东西实际上可以说更有价值。所以我不一定会得出他们完蛋了的结论。我认为，他们与企业客户有着深厚的关系，而且拥有庞大的销售团队，非常擅长讲述那些令人毛骨悚然的故事之类的事情。我认为他们会继续非常擅长这些。我只是问一下，因为，是的，你自己在做这件事，你不会去找 Palo Alto Networks 之类的公司。但我猜，只有大型企业才在乎这个。另外，如果出了问题，他们可以甩锅给别人。这倒是真的。是的。是的。在很多情况下，你就是想雇用一家老牌供应商，以便把责任推给他们。我的意思是，在某种程度上，这确实稍微减少了我们引入渗透测试人员——即人工渗透测试人员——的需求，而大多数初创公司都会定期进行这种测试。所以也许以前，我们会做这个，我其实不知道周期是多久，但我想我们过去大约每六个月做一次。也许现在我们只需要每年做一次。我不知道。但是，我认为对于所有这些事情，人类也可以利用它们来提高效率。所以，我不知道，我也有点相信，人类加上 AI 现在更加强大了。所以，也许可以论证说，我们可以引入渗透测试人员

52:30 who are really good at using agents and, you know, find vulnerabilities even faster. I don’t know. I’m not that, you know, I’m an optimist. I started a company. So like, you know, I’m generally like optimistic about everything. But like, I certainly don’t think humans are cooked or companies are cooked. Like I think in the era of AI, a lot of companies are going to figure out, you know, how to use AI to be even more efficient. I want to transition a little bit to like developer experience, because like early on, I mean, even now, like you guys focus a lot on that. I mean, you’ve talked a lot about that. Does developer experience even matter anymore? I think it still matters. And I think you’re sort of, you know, like the context, I think you’re official, like the thing you’re talking about is like, now with agents, right? Like the, the developer experience, like the docs are already there. The agents are going to look at the docs, like all that stuff. To that point, though, like almost all the things that make developer experience good, also makes the agent experience good is kind of what we’ve seen in practice, which is like things like having good docs, having descriptive error messages, having fast feedback loops, right? Like, I do think there’s certain things have changed. The other day, I was like setting something up with Cloudflare, and it’s like, I find Cloudflare like notoriously annoying to work with sometimes. And, and I threw an agent at it, and it was able to like just configure a bunch of like, you know, things and pollute me for me. And, you know, and so I will say like agents does, they do make it a little bit easier to work with things that are like harder to work with in the past, you know, like the sort of human toll of dealing with the AML as arguably gone down a little bit, because you can just like,

54:00 你知道，让你的 agent 去处理它。但，但大部分情况下，我认为，你知道，让开发者体验变好的东西，同样也会让 agent 体验变好。我认为在某种程度上，基础设施随着时间推移，无论如何都会变得，它需要更具可编程性。我认为关于沙箱一直以来的论点就是，你知道，就像你以前必须用 YAML 配置的东西，那应该只是一个 SDK。那应该更像命令式的，比如启动一个沙箱，比如用它做些事情，然后把沙箱销毁掉，对吧？而不是用，用，你知道，某种 DSL 的声明式方式，它也推动了一种可能以前并不存在的、稍微不同的接口。我认为无论哪种方式，SDK 都和以前一样重要，甚至更重要。你们的产品有什么改变吗？就因为，你知道，大多数人只是在上面运行 agent？我们有。我是说，我们实际上也运行很多内部测试，我们让 agent，告诉 agent 去构建一个移动应用并运行它。而且，一个非常具体且有点搞笑的事情是，我们实际上发现，因为 agent 的训练数据，现在要弃用某些东西非常困难。我们发现 agent 经常喜欢使用，你知道，旧版本的 modal 语法，而且很难把它们从那上面劝离。所以我们实际上在向前推进时不得不更加保守，比如，你知道，在过去一年左右的时间里，关于我们如何弃用和移除功能，我们必须要非常小心地更新每一个已经存在的示例

55:30 上的在线内容。是的。而且，而且，而且，你知道，skills，对吧？是的，有那样的东西。但是，但是，也有大量像 modal 代码这样的东西现在也在线上，它们会进入训练数据。我见过这算是一个，你知道，一个有点有趣的例子，顺便说一下，另一件事是，显然，类似于搜索引擎优化，还有 agent 引擎，你知道，不管人们叫它什么，agent 优化。我们经常运行内部基准测试，我们会问一个 agent，比如，嘿，你能为我们部署一个 stable diffusion 吗？用你想要的任何工具。然后我们看它是否会推荐 modal。这些东西对我们来说非常有用，可以用来跟踪随时间的变化。或者比如，嘿，启动一些沙箱，或者，嘿，把所有沙箱厂商排名。所以我们花了很多时间做这些事情来确保。你对此做了什么？是的，你说，嘿，你知道，构建这个 stable diffusion 的东西，它是否推荐 modal？比如，是的，你对此做了什么？是的，我认为这更难。我认为，你知道，这就像搜索引擎优化，我认为主要通过内容，就是你必须发布大量内容。你也可以在某种程度上，比如，看看认知度，我认为，有点像你可以问一个 agent，比如，你知道，如何，你知道，按可靠性给所有沙箱厂商排名，或者按价格给所有沙箱厂商排名，然后看看，确实感觉 agent 更容易误解价格和，和，你知道，类似的事情。所以我们也花了很多时间，只是让内容更清晰。

57:00 而且更像，你知道，对 agent 来说更容易理解，因为我们知道它们都在索引，比如所有关于 modal 的内容。你有没有想过，就比如，创建一堆 GitHub 仓库，让 agent 在里面写一堆 modal 代码？你试过吗？垃圾内容大炮。我觉得事实是，这可能是你能做的事。我猜如今的 LM 训练数据可能对什么是 AI 生成的内容相当不敏感，你可能可以制造大量垃圾内容。我们考虑过这个，我不太喜欢这个想法。但从理论上说，就像早期的 SEO 一样，而且在某种程度上至今仍然如此，自动生成内容是一种非常有效的策略。我觉得这是可能的。你知道，你也可以做那些事。是的。我想聊聊 FDE。显然你们会招聘前沿部署工程师。你们是做什么的？我们正处于一个构建应用的新时代，能构建几年前无法构建的东西。我们看到很多公司，你知道，他们需要一点帮助，对吧？所以我们几年前开始投入 FDE，但真正是在今年大幅扩展了规模。我想我们今年年初有四个 FDE，现在大概有 24 个左右。所以我们增长了很多。他们做的，你知道，更像是，不完全是按使用量付费的模式，但他们做了很多繁重的客户对接工作。比如他们和很多客户一起做性能调优，尤其是和 LLM 一起。我们看到坐下来

58:30 和客户一起训练草稿模型、调整参数以及 DLM 和 SG Lang 有非常多的好处。他们经常，你知道，修复 bug 或者不是修复 bug，而是当客户遇到问题时，他们经常和客户一起研究如何绕过这个问题。我们大量使用 FDE 的另一件事是主动出击，如果我们看到某些客户在 modal 上资源超配，比如客户请求了太多 CPU 或太多内存，这挺贵的。我们试图发现这些问题，然后坐下来和这些客户说，嘿，你现在在 modal 上花了很多钱，我们其实可以帮你省钱。当然，对于进行中的交易，我们帮助他们从其他平台迁移代码之类的。我觉得，我们从来没有打算成为服务密集型业务。我认为 FDE 的目标是，A 是参与销售流程并促成交易。B 是服务客户并做一些客户支持。但我认为最重要的其实是 C，是弥合产品中的差距，之后我们想把这些变成真正的功能。所以在很大程度上，FDE 做的任何事，我总是会问，长期来看，我们如何把它变成产品，这样我们就不需要 FDE 了？是的。你们招 PM 吗？

1:00:00 产品经理？是啊。不。你会说这些 FDE 有点像准产品经理吗？这是一个略有不同的职能。我认为在更偏向客户的那一面，他们确实是；但在更偏向内部的那一面，那是产品管理中相对独立的一部分，更像是：Modal 接下来应该投入哪些基础构建模块？然后介于两者之间的是，比如看看 10 个、20 个客户，他们各自要求的东西略有不同，但其中的模式是什么？我们如何把这些转化为产品？我们确实有做产品的人，这也是逐渐演变而来的，有些人之前是 DevRel 或工程师，后来成为了产品经理，因为在战略性地思考我们该构建什么方面展现出很强的能力。所以其实我并不反对产品管理。我认为过去很多公司太急于招聘产品经理了。而且我觉得存在一种风险，我在很多产品中都能看到，某些产品里就是有一些过于急切的产品经理，想出一些稀奇古怪的东西就直接发布了。我认为在一家基础设施公司把产品管理做得非常好是非常非常难的，因为这需要非常深层次的战略思考，思考什么是基础构建模块？我们一两年后想达到什么位置？因为说实话，构建基础设施非常难。我们如何确保最后不会得到 35 个看起来

1:01:30 差不多、但各自又略有不同的功能？这种层次的思考是非常罕见的。正因如此，我们还没有积极地去组建产品管理团队。是的，这说得通。你会说你们的团队自 Genialite 以来是如何演变的？因为我想，是的，你显然在 Spotify 工作过，有某种团队结构，现在有了编码代理，你们的团队结构变化大吗？说来有趣，是的，我认为团队结构确实发生了很大变化，但我其实并不认为是 Genialite 驱动了这种变化。我特别看到的一点是，有一种回归做 IC（个人贡献者）的趋势，我实际上认为这对整个领域是非常非常积极的。如果你回顾 10 年前、20 年前的这个领域，每个人都想做管理，因为那是获得更多金钱、更多认可和更多声望的方式。我认为这种转变其实在 Gen AI 之前就开始了，但我确实认为 AI 大大加速了它。我们向 Modal 的每个人都非常明确地表示，做管理者还是 IC，在声望上没有任何区别。每个人都是技术团队的一员。归根结底，这取决于你的贡献，我们看到很多前管理者成为 IC，因为他们想回去写代码。所以，也有一种远离非技术管理者、

1:03:00 每个人，包括我自己，我在 Modal 还是写很多代码，Akshath 也是，技术团队里几乎每个人，甚至很多不在技术团队的人也还在写代码。所以对我来说，这是一个新现象，但我其实不确定这是否一定是生成式 AI 导致的，不过我认为生成式 AI 大大加速了这一趋势，因为它进一步降低了写代码的成本，让写代码变得更容易。那么，如果有非技术人员在提交代码，你们要怎么……怎么审查？你们是怎么做代码审查的？我们做代码审查，但我们把它看作是可选的。我的看法是，代码审查在很大程度上是人们在很多情况下试图逃避将代码合并到生产环境的责任。如果你有那种文化，那对我来说，这就是一个信号，表明你需要在持续交付（CD）和持续集成（CI）等方面投入更多，尤其是 CI，还有 CD、容器集成，因为这关系到部署。我们做代码审查。比如我写代码的时候，偶尔会问作者，这符合你们对事物的理解吗？我希望我没有从根本上改变架构，但我们在内部也明确表示，代码审查是相当可选的。如果你只是改文档，如果你只是做一些基础的事情，就不要等着人工来看，尤其是在 AI 时代，为什么需要人来看每一段代码呢？你不必这样做。但这确实要求你拥有非常好的管控机制，你知道……

1:04:30 内部测试之类的事情。是的，完全没错。你知道，基础设施公司，我们需要比一般初创公司多一个 9 的可用性，对吧？在正常运行时间方面。但你知道，这些就是你必须投入的。你必须构建非常有弹性的系统，比如，你必须在各处设置速率限制。你必须解耦系统。你必须确保没有任何单点故障。你必须有极高的测试覆盖率。如今智能体其实非常擅长编写测试，这在几年前我还觉得是智能体缺失的主要能力之一，现在它们其实已经相当擅长了，因为我觉得写好测试需要你暂时跳出正在做的事情，几乎要带一点唱反调的心态。但现在它们写测试也确实相当不错了。所以我认为，所有这些都有帮助。你们用前沿模型写代码吗？还是你们试过开源模型？我们什么都试。但嗯，我是说，Cursor 用得很多，然后当然还有 Claude 和 Codex，现在很多人在用 Night Shift 以及所有这些开源的东西或其他技术栈。所以我并没有特别强烈的观点，我希望人们去尝试不同的东西，我们用前沿模型，也用开源模型，我们内部正在尝试多用一些自家的模型。既然我们实际上在为很多开源模型运行推理，规模非常大。我觉得使用某些内部端点来做大量智能体开发也很有帮助。所以我们在这方面做了一些推广。我大概在一年前，也许两年前读到过，

1:06:00 你说过你认为你们不会有很大的本地部署业务。你改变看法了吗？没有，我没有改变看法。对我来说，我是一个 Claude 极致主义者，退一步说，当云在 2008、2009 年左右兴起时，我的第一反应是：这太疯狂了。我为什么要把自己的代码放到别人的电脑上运行？这太不可思议了。然后大概六个月后，我就开始这么做了。我觉得，你知道，我花了六个月改变主意。企业大概又花了 15 到 20 年。但你看看 Snowflake 这样的供应商，或者 AWS，我觉得 Datadog 等等有很多例子。云显然正在胜出，对吧？多租户系统显然正在胜出。对我来说，本地部署越来越像一种遗留的商业模式。而且我其实认为，BYOC、VPC 对等连接，所有这些东西，在我看来，反映的是一种过时的安全模型，即我们需要保护自己网络内部的一切，对吧？把网络当作护城河。我认为这已经不再成立了，对吧？我们已经转向了更健壮的安全范式，比如零信任之类的东西。所以对我来说，BYOC 这些东西，看起来越来越

1:07:30 至少从安全角度来看已经过时了。在我们看来，我们能完全掌控整个基础设施栈——所有硬件都是租的，我们部署、管理全部基础设施，部署并管理健康状况、观测所有指标和所有主机。这意味着我们可以快速迭代，打造出更好的产品。我认为这非常非常有价值，相比之下，过去那些企业版客户需要把软件部署在客户自己的环境里，他们必须非常谨慎地考虑发布管理，而我们不用管。比如我们想引入一个新的数据库，就可以引入，因为我们有控制权。我们不需要考虑客户那边能访问什么。所以对我来说，多租户确实有太多不同的好处了。话虽如此，如果我们将来要和某个非常大的《财富》500 强客户合作，他们提出 BYOC 的需求，我们过去做过这种事，我们会给他们报个价。那个数字非常高，到目前为止没有人答应过。但谁知道呢？在价格合适的情况下，我还是会去做的。另外我觉得还有另一件有趣的事，理论上 BYOC 也可能是以某种方式合作并获取算力的途径。我们有时会和 Neolabs 合作，而那些 Neolabs 已经有非常大的算力预留了。问题在于，他们已经有算力了，我们怎么让他们运行 Modal？BYOC 可能是一个解决方案。我们仍然可以把控制面留在我们自己的环境里。

1:09:00 另一面的好处是，我们甚至可以在那些算力上运行别人的东西。所以理论上可以做一些有趣的事情，比如把所有算力聚合成一个大资源池。我们对其中一些想法很兴奋。但总体来说，本地部署（on-prem）我不知道我们会不会做。但 BYOC，也就是自带云（bring your own cloud），我可以说 BYOC，我应该解释一下。假设你马上要再融一大笔钱，你会把那笔钱用在哪里？就像我提到的，在算力这个情况下，需要的大量资金、大量现金流，其实是算力的预付款，对吧？所以在我看来，这就是当下现金的最佳用途。我们正在非常激进地扩大算力规模。也许将来我们会进入其他类型的部署模式，比如自持之类的。但我认为其中总会有现金投入的部分，比如某种首付或预付款之类的。所以对我来说，这就是目前现金的最佳用途。当然还有其他开支，比如工资、办公场地之类的。但从我们财务的大局来看，那基本上就是个零头，对吧？是啊，有意思。你觉得这会改变吗？不，我觉得，我们这门生意里的经营杠杆有点疯狂。我们有 200 名员工，他们花很多钱，但是……

1:10:30 GPU 的成本要高得多。是的。如果要你说，比如，你目前最关注的、或者说公司最关注的前三件（我也不知道，大概三件）事情是什么，你会怎么说？容量以及相关的财务复杂性。还有，总的来说，我们该如何看待这个领域？我们该如何思考定价和打包？我们该如何看待自有与租赁之间的张力？我们是否应该走一条更偏向 neocloud 的方向？还是应该走相反的方向？这种对立的立场，可能是我思考最多的事情。我思考第二多的事情大概是更偏向产品战略方面。比如，我会深入思考下一个构建模块是什么。如果我们做更多 agentic 方向的事情，我们需要什么？是否存在某些存储原语或计算原语？或者总的来说，未来几年世界会突然意识到他们需要的东西是什么？理想情况下，到那时我们已经准备好了。总体来说，我们在预判需求、提前构建产品方面做得相当不错，比如 serverless functions 和 sandboxes。那么下一件事是什么？然后我想说，实际上我思考第三多的事情更多是关于文化和公司建设之类的。我的意思是，我们最近刚突破了 200 人。我们增长得非常快，到年底可能会达到 250 人。当你增长非常快时，你有 250 个人都在想办法如何为 modal 创造最大价值，同时要确保他们拥有正确的背景信息、正确的动力，确保他们每天来上班都很兴奋，因为他们能构建一些极其酷的东西。

1:12:00 而且他们知道，你知道，是什么让 Modal 取得成功，他们能做什么，如何对齐激励机制，并确保我们，我们，人们拥有一种非常积极的文化，在这种文化中他们有一种隐性的信任去做很多事情，但同时也有责任感去交付最好的成果，并且，如果他们没有做到，也要承担责任。对我来说，这些是在这个规模下非常非常关键的事情。当你只有 10 人、20 人、30 人的时候，你们都可以坐在一个房间里，一切都是隐性的，你就是能感觉到。人们能读懂我，他们能看出我什么时候有点不高兴，能看出我什么时候开心。但现在我们有 250 人，人们不一定能看到这些，而且，当然，有很多新人可能有点紧张，不敢和 CEO 说话之类的。所以，我如何保持平易近人，我如何……有邓巴数这个概念，我觉得它更像是编造出来的，至少它背后的故事是这样。但它其实还是有点真实的，在 150 到 200 人左右的时候，奠定文化基础是非常非常重要的。你们未来一年打算招多少人？在过去 12 个月里，我们大约按年化增长了四倍。我觉得从相对角度来看，这是一个不可持续的增长率。我知道，你可以每年让团队翻倍，这并不难做到，但四倍的话，你开始看到的是文化漂移，你会看到不同工作方式的孤岛。

1:13:30 你开始看到人们做一些非常投机性的事情。这是我一直在工程团队中留意的事情。你去和工程师聊，我问：你在做什么？结果他们说在构建某种边缘的东西，这真的是你该花时间做的事情吗？所以快速增长是有代价的，你知道，代价在于让新人上手。所以我不知道。我觉得到年底大概 250 人，到明年年底，你知道，我们会继续增长，大概两倍半、三倍。所以很可能到明年我们会达到 700 人左右。我假设其中大多数是工程师。大多数是工程师。我们也在大量扩充销售团队。好的。什么样的工程师？主要是系统工程师。我们一直非常深入 Linux、文件系统、可扩展系统、网络和云等领域。所以这是我们寻找的核心。真正擅长这些的人。我们也在大量寻找，因为我们在技术栈上有所上移，我们在 LMA 前沿空间做了大量工作。所以现在我们面临一套不同的问题，比如 CUDA、GPU 和 MFU，也就是最大化每个 GPU 能获得的 token 数量等等。而且，虽然我得说在我看来这个领域的很多工作实际上仍然是系统驱动的，因为 KV 缓存和路由实际上仍然是非常系统的问题。但总的来说，有一点

1:15:00 更多是关于 GPU 性能之类的东西。我们正在组建一个研究团队。我们非常兴奋能够进入后训练、蒸馏以及为你的客户或内部提供更好的量化方法等领域。两者都有。我觉得这有点像 FDE 的情况。我认为最初我们会和客户做很多工作来优化他们的模型。但随着时间的推移，要思考如何把这些变成产品？我认为从某种意义上说我们会失败。如果每次客户需要优化模型，我们都必须去和他们一起工作。而从长远来看，这必须转化为产品。所以对于 FDE 和研究团队，最初你必须和客户做大量工作，我们正在这样做。但随着时间的推移，我们也在构建大量内部工具，以及最终完全自助的内部产品。所以我们在后训练领域做了很多工作，也在 GPU 性能领域做了很多工作。所以有很多很酷的东西。很多很酷的东西。回到你刚才说的产品策略方面。是的。是的。你觉得呢？比如未来一年、两年我们需要什么？我觉得这很难说。如果我说我知道我们到底需要构建什么，那我觉得我是在妄想。我觉得我们目前看到的，以及我在更普遍层面上相信的是，我们需要更好的构建模块。这是一个软件的新时代，我们正在解锁一种全新的应用类型，这些应用在几年前是无法构建的。

1:16:30 处理所有 GNI 相关的东西，生成代码，输出需要以隔离方式运行的代码的 LMS。需要有太多新的原语来与 GPU 和 LMS 协作。到目前为止我们已经构建了一些构建模块，这解锁了过去几年世界所看到的一堆应用。当然不只是与我们相关的。但我认为在未来几年，会有更多很酷的东西出现。所以我提到了一些东西。我对训练非常看好。我对快速任务非常看好。我对围绕智能体和低延迟等某些方面非常看好。但最终，我们认为自己是一家基础设施公司，对吧？我们不是在试图构建非常狭窄的东西。我们试图构建非常通用的构建模块并将其提供给客户。然后这些客户会将这些构建模块组合起来，构建一些我们永远无法预料的令人难以置信的应用。我想回顾一下你的一些推文。这是最后一部分。好的。你可以随时深入讨论任何内容。目前有很多长时间运行的持久化沙箱。今天的体验感觉像是提升和迁移。我怀疑沙箱会从开发盒演变为云端，再到更短暂的东西，每个命令一个环境。现在我在中间喊话，这样你就可以暂停、恢复、克隆。是的。我们讨论过很多这个。是的，我们讨论过一些，对吧？我觉得 Modal 中目前的中位沙箱大约只有八秒左右。这有点不可思议。

1:18:00 仔细想想。而且随着时间推移，我觉得它可能会变得更短。我们也希望支持长时间运行的沙盒。比如我觉得它们非常棒，长时间运行的沙盒有非常合理的用例。但我的愿景是，你知道，这个世界也需要，我们需要弄清楚如何大规模并行化任务，并降低启动和停止沙盒的开销？我不知道我是不是已经跑题了，开始参与和竞争对手的军备竞赛，如果能协调一下、稍微缓和一下军备竞赛就好了。无可奉告。GPU 稀缺的最大坏处不在于难以获得 GPU，而在于几乎所有容量都是以三年为单位、从三到六个月后开始的三年期矩形块形式出售的。这并不是大多数用户的需求形态。我觉得我们也稍微谈到过这个。是的。而且，你知道，也许现在可以再深入一点。比如我认为 Modal 一直非常非常擅长的一点就是完全按需的容量，对吧？比如如果有客户来找我们需要 100 个 GPU，我们通常可以立即提供给他们，你甚至不需要和销售人员谈。而现实中的很多工作负载，它们看起来并不像这些平坦的、矩形的工作负载，它们会在 24 小时周期内上下伸缩，可能会随时间增长，可能会有某些突发高峰。对我来说，这是当今许多客户面临的一个挑战。而且我确实认为这对这个领域来说是一个合理的问题，就是获得容量的唯一主要方式是购买这些矩形块。这并不好。我认为世界需要，而且从根本上说，我是说，我很有偏向性，但这就是为什么我认为 Modal 可以在那种，你知道，无论你想怎么称呼它的领域中发挥非常大的作用。

1:19:30 来称之为，某种程度上是容量转换，提供更灵活的容量。我们之所以能做到这一点，是因为我们可以聚合成千上万的客户，需求在聚合后变得非常平滑。所以 Modal 的很大一部分价值主张正是如此。你会说这是一个差异化因素吗？比如，哦真的吗？好的。是的，一个巨大的差异化因素。实际上，事实上，我认为，Modal，如果你想非常简练地表达，你可以把 Modal 的价值主张分解为两件事。一个是开发者体验，即迭代和构建事物而无需考虑基础设施的能力。另一件事是容量相关的东西。我越思考 Modal 以及我们长远的发展方向，就越觉得我们正在构建，我们正在聚合全球的计算容量。而且我们非常擅长非常细粒度地切分它，因为我们已经围绕此构建了所有这些工作，你知道，极快地扩缩容，你知道，所有这些围绕 GPU 快照的工作，想出了一些让它快得多的方法。而且这种模式在非常大的规模上运作得非常非常好，真的非常好，因为你可以聚合大量客户。每个月我都在说沙盒收入可能会适用，但它每个月都保持 30% 的增长。这有点疯狂。我不明白，你知道，每个月我都会想，嗯，沙盒增长了很多，但显然它们会趋于平稳，然后它们又继续增长。所以我不知道。而且很多风投，他们会问，你怎么知道沙盒会火？事实是，我不知道，我确实认为它在 2023 年会比实际更大。但沙盒如今占我们收入的三分之一，这太疯狂了。而且，我们显然对此非常高兴。我们有一支非常庞大的团队在投入投资。

1:21:00 在沙盒方面。你知道，我不想轻视它。显然，我们确实想为自己在 2023 年就看到沙盒今天的样子而给予自己很多肯定。但我认为，你知道，如果……我可能永远不会押注沙盒能带来这么大的收入，市场需求会这么大。推理提供商应该与模型构建者分开存在，这有一个有趣的结构性原因。最好的模型不断变化，推理提供商可以轻松地在模型之间重新分配资源，因为整体需求相当平稳。所以，如果你想想所有的中国实验室，以及未来希望有更多的美国实验室，每当一个新的实验室发布最新、最好的开源模型时，你就会看到对这些模型的需求发生巨大变化。所以我认为，如果所有这些实验室都独立持有容量，他们会看到当他们发布一个新模型时需求会大幅上升，然后另一个实验室发布了更好的模型，需求就会下降。但当然，在幕后，他们正在开发下一个版本。所以我认为，正如我所说，有一个结构性的原因，为什么你会开始看到需求转向最新、最好的中国实验室。我的意思是，这并不是说一切都在一夜之间改变，因为很多模型和提示词之类的东西，有很多东西是有一定粘性的。但我确实认为，有一个论点是，模型很容易，比如，今天我们在一个模型上运行 X 千个 GPU，明天我们需要把其中 50% 转移到另一个模型上。

1:22:30 当然，这就像，这就是系统被设计来处理的事情。甚至不需要有人告诉我们去做，它就自然而然地做到了。那么你是否同意，基本上大语言模型已经成了商品？如果你同意，那么你认为大实验室的业务未来会在哪里？我不确定这是否一定成立，对吧？比如，Taylor Swift 是商品吗？她发一张大卖的专辑，然后巡演，赚很多钱。然后，你知道，当她去……录音的时候，就会有一段空档期，我不知道，这是最好的类比了。然后她又发一张新专辑，你知道，所以我不确定，她仍然拥有很大的品牌价值，有很大的……力量，利润率也很高。所以，只要实验室能够持续不断地推出新模型，而且只要他们在这些模型上的利润率足以让他们能够摊销掉……训练这些模型的成本，我认为这仍然可以是一门不错的生意。所以你不认为智能正在……趋于平稳吗？不，我不这么认为。我的意思是，我觉得还有待观察，对吧？如今的模型非常擅长做那些可以通过强化学习高效训练的事情，你知道的。我们最初在编程和编写简单代码片段上看到了这一点，随着时间的推移，它在编写生产级代码方面也变得非常出色。它在数学方面变得非常出色。在网络安全方面也变得非常出色。这些都是非常容易验证的事情。我仍然认为还有待观察，我们的模型是否会在烹饪食物或者我不知道的事情上变得非常擅长，或者那些我有更多

1:24:00 模糊目标的事情，也许反馈周期更长之类的事情上，我的感觉是，在这些领域，人类在很长一段时间内可能仍然会相当出色，并且与模型非常有竞争力。但是，当然，你知道，AI 模型正在变得非常出色，我相信大家都会同意这一点。是的，所以很明显，模型在编程方面变得非常出色，它们已经非常擅长编程了。你认为还有哪些目前还不算大的应用会在未来几年变得非常巨大？对于大语言模型吗？我不知道，但我认为任何具有某种可验证性的领域，计算生物学，我想你提到了。是的，计算生物学，我觉得那些并不完全可验证，但有某种方式你可以运行模拟，比如你可以用大语言模型输出预测，然后你可以用计算方法来模拟分子动力学，从而获得某种反馈循环。我的意思是，我觉得材料科学可能是另一个领域，你有一点那样的循环，你可以合成制造某些材料，测量其属性，然后把一个智能体放在循环中，你知道，去做一些事情。所以，你知道，我有物理学背景，我对这个相当兴奋。所以药物、材料，还有什么？我一时想不起来了，但我确信还有很多其他东西。酷。我的意思是，这些就是我所有的问题了。有什么你想聊而我没问的吗？我没有了。这很棒。这非常有趣。太棒了。谢谢。