Dyna Robotics 联创 Jason Ma 谈 Dyna-2 世界动作模型与机器人长时自主
Dyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics
Latent Space 播客邀请 Dyna Robotics 联合创始人兼首席科学家 Jason Ma,介绍其世界动作模型 Dyna-2 用超过一百万小时人类视频预训练,以及后续推出的机器人智能体 Dyna-2.1。
AI 全文翻译,未经原作者审校;可切换原文对照。
与我们一起观看 AIE NYC,并加入我们下个月在旧金山举办的 AIE CODE !
本期节目包含 Taku 机器人的现场演示,在 YouTube 上观看效果最佳。
上个月,Dyna 宣布推出 Dyna-2,引发轰动。这是一个在一百万小时人类视频上预训练的世界-动作模型,声称在人类数据上发现了跨越四个数量级的若干新缩放定律。如今,他们在此模型基础上推出了物理机器人智能体 Dyna-2.1,其表现简直令人难以置信:
在今年的 AIE 演讲中,Jason 谈到现实世界中机器人面临的真正挑战是可靠、长时程的自主性,以及 Dyna 如何让其模型连续 24 小时折叠餐厅餐巾,成功率达到 99.4%,其中包括在打翻整叠餐巾后自行恢复。
从在超过一百万小时人类视频上训练世界-动作模型,到部署每天在鼎泰丰折叠数千条餐巾的机器人,Dyna Robotics 正在将物理 AI 推向超越惊艳演示、进入真实生产环境的阶段。在本期节目中,Dyna Robotics 联合创始人兼首席科学家 Jason Ma 与 swyx 在现场一同深入探讨:机器人如何仅凭 45 分钟的演示就能学会新任务,为什么预测物理世界的未来可能是实现通用机器人的关键,以及为真实客户构建可靠运行的机器人究竟需要什么。
我们深入探讨了 Dyna-2——Dyna 的百万小时世界-动作模型,它将未来视频预测与机器人动作相结合;探讨了人类到机器人迁移背后的缩放定律、扩散 Transformer 与流匹配,以及为什么合成环境和自生成的训练数据可能释放下一波机器人技术进步。Jason 还解释了为什么 Dyna 自研硬件而不用现成的人形机器人,智能体框架如何让机器人执行长达一小时的工作流,为什么灵巧手和缺失的感官数据仍是主要瓶颈,以及是什么让真实的商业部署区别于机器人创业公司的坟墓。我们还讨论了世界-动作模型与视觉-语言-动作模型的对比、GPT-6 与机器人领域的编码智能体,以及 Jason 从 AlphaGo 和宾大到 NVIDIA、Google DeepMind 并创立 Dyna 的历程。
我们讨论了:
为什么 Dyna-2 是在超过一百万小时人类视频上训练的
世界-动作模型:预测未来视频以引导物理机器人动作
扩散 Transformer、流匹配与实时机器人控制
机器人如何仅凭45 分钟的演示学会新任务
为什么机器人领域没有互联网的等价物,而数据仍是其最大的扩展挑战
人类第一人称视角视频、机器人演示与跨本体迁移
合成环境、仿真以及能生成自身训练数据的模型
为什么机器人需要端侧推理、模型蒸馏与定制硬件
为什么 Dyna 选择轮式半人形机器人而非传统双足机器人
硬件瓶颈:为什么灵巧机器人手仍然会过热
Best Western、鼎泰丰,以及机器人试点项目与规模化部署之间的区别
机器人领域的苦涩教训:扩展数据,而非为特定场景工程化定制解决方案
智能体框架与机器人执行多步骤、长达数小时的物理工作流
GPT-6、编程智能体以及用于机器人研究的 AI 生成仿真环境
世界-动作模型 vs. VLA,以及为何仅靠视觉可能还不够
Jason 历经 AlphaGo、Penn、NVIDIA、Google DeepMind 以及 Eureka 项目的历程
Dyna 的研究文化、部署优先的理念,以及对数百万台机器人的愿景
Jason Ma
Dyna Robotics
时间戳
00:00:00 开场介绍与 Dyna-2 的世界-动作模型
00:03:08 扩散 Transformer、流匹配与通用机器人
00:08:19 机器人领域的数据瓶颈
00:13:50 合成数据与自我改进的世界模型
00:16:51 实时推理与模型蒸馏
00:19:45 全栈机器人:硬件与供应链
00:25:02 Dyna 为何打造轮式半人形机器人
00:29:35 教会机器人新任务并评估性能
00:31:59 自主工作流与硬件限制
00:36:06 在 Best Western 和鼎泰丰的真实部署
00:41:07 机器人领域的苦涩教训
00:46:13 面向物理 AI 的智能体框架
00:49:07 GPT-6、编程智能体与 AI 原生机器人
00:52:02 世界-动作模型 vs. VLA
00:59:17 从 AlphaGo 到创立 Dyna Robotics
01:04:20 Dyna 的研究文化与机器人领域的未来
文字记录
开场:Jason Ma 与 Dyna Robotics
Swyx [00:00:00]:好的,我们现在来到了 Jason Ma 的现场,他是 Dyna Robotics 的联合创始人兼首席科学家。感谢你邀请我们来到你的办公室。
Jason Ma [00:00:06]:当然,感谢你们的到来。
Vibhu [00:00:07]:这太棒了。我们看到了——你们会看到很多空镜——调制饮品、大量评测、第一次见到装着刀具的机器人。所以在这一切的背后,你有一个世界动作模型。那是什么?
Dyna-2:一个能预测未来的世界动作模型
Jason Ma [00:00:22]: 所以上个月,我们发布了名为 Dyna-2 的世界动作模型。它是首个在超过一百万小时数据上训练的世界动作模型。先回到你的问题,世界动作模型是一种能够预测未来视频、预测世界未来状态的模型,因此得名世界模型。但除此之外,你还可以利用这种未来生成来产生机器人可在物理世界中执行的动作,从而控制机器人。我们为什么这样做?这是一种非常强大的架构,因为如果你想想人类在物理世界中是如何行动的,在我们的大脑中,我们会隐式地思考世界将如何根据我们的行动而演变。所以现在我们有了一个能够做到这一点的模型架构,来指导机器人的动作。我们发现,通过这样做,模型更加灵巧、更加稳健,并且更能泛化到它从未见过的环境和场景中。
世界动作模型:输入、输出与视觉推理
Vibhu [00:01:17]: 我想先追问一下这个问题。我觉得很多人听到世界模型,会以为你输出的是视频、世界或 3D 状态。但你们也在做动作。我认为大多数人并不了解机器人背后运行的模型是什么样的。那么输入和输出是什么?训练数据是什么?架构是什么?请给我们所有细节。
Jason Ma [00:01:39]: 关于输入,最重要的输入是视频,对吧?你可以想想机器人用摄像头捕捉的视频,对吧?过去几秒的视频或图像,这就是输入。但对于机器人来说,真正有趣的是,机器人自身也有很多执行器和关节编码器。所以机器人也知道它各个关节的角度。这些也可以作为这个世界模型的输入。这与只看视频的纯视频模型有很大不同,对吧?这就是输入。此外,对于机器人,你希望能与它对话,指示它执行不同的任务,对吧?所以你也可以给它输入语言指令。这些就是我认为进入任何机器人模型(包括世界动作模型)的基本输入集合。一旦我们有了这些,输出方面,在基础层面上,它需要输出机器人可以在硬件上执行的动作。但在世界动作模型的情况下,真正有趣的是,除了动作之外,它还可以输出未来视频,对吧?所以基本上,你几乎可以先输出未来视频或它的某种表示,然后用它来指导机器人的动作。我这样理解它:这有点类似于思维链(chain of thought),你知道的。基本上,模型在视觉、物理空间中进行推理,然后输出动作。这就是世界动作模型的输出与其他类型的模型、机器人模型的输出之间的关键区别。
扩散 Transformer、流匹配与平滑动作
Vibhu [00:03:08]: 你围绕你的模型写了一篇很好的博客文章。我觉得很多人理解语言模型或 transformer、下一个词元预测器。而在你的例子里,你分享了很多内容。有扩散、流匹配,你在预测下一个世界状态加上动作。你提到一件事是百万小时。你是如何确定架构的?那里的选择有哪些?架构是什么样的?我感觉在语言模型领域,很多做法是直接拿来现成的东西——拿数万亿词元,做预测、SFT、RL,就有了一个模型。这个领域呢?你是如何从零开始走到你的模型的?有没有现成的通用架构?这些全都是你自己确定的吗?目前的状态是什么?
Jason Ma [00:03:49]: 是的,我觉得,是的。那么思考如何为机器人构建模型的思维框架,本质上是要看几件事。一是数据,二是我们如何让模型从这些数据中学到尽可能多的东西?所以我们先来谈谈模型本身,对吧?我们发布的那篇博客文章讲的是我们的 Dyna-2 世界动作模型。其底层是一个扩散 transformer。该模型使用了仅编码器的 transformer 架构。
Vibhu [00:04:20]: 对,是的。
Jason Ma [00:04:20]: 但真正有趣的是,在视觉领域,对吧,如果你想想生成图像、生成视频,以及在这个例子里,机器人看着图像来生成动作,人们发现扩散这类架构效果非常好。那么什么是扩散模型?扩散模型是一个接收一些随机噪声、并通过迭代计算从噪声变成某种非常高维的东西的模型,变成某种高度定义、具有非常细粒度特征的东西。如果你想想生成图像,对吧,你想要锐利的边缘、锐利的转角、色彩对比。而对于机器人来说,虽然你不是在生成图像,但你生成的动作需要非常精确、非常平滑,对吧?所以它和生成图像有着同类的考量和要求。这就是为什么从第一性原理出发,整个领域——不只是我们——一直在使用这种扩散 transformer 架构来训练机器人基础模型。你需要 transformer 这一部分,因为 transformer 是能够吞下最海量数据、能够学习的东西。然后扩散帮助你细化结果,得到你实际在机器人上执行时所需的平滑、精确、细粒度的运动。所以这就是支撑我们近期许多突破的架构。
Swyx [00:05:37]: 我们之前在播客上讲过流匹配。它主要是一种效率上的加速。比如说,你通常需要四十到一百个扩散步。你可以把它减少到四步。
Jason Ma [00:05:48]: 是的,没错。对于扩散模型来说,实践中非常难的一点是你需要调整调度器,比如你调整或转换初始噪声输入到最终输出的程度。所以流匹配有点像是扩散的一个特例,它让变换变得简单得多。实际上,你不需要调那么多,效果也一样好。这就是为什么我认为大约两三年前,大多数图像和视频的生成建模已经从扩散模型转向了流匹配模型。但概念是一样的,流匹配只是扩散的一个更简单、更容易调参的特殊变体。是的。
Swyx [00:06:26]: 这其实让我想到,流匹配在质量上显然有取舍。但实际上,它非常适合动作扩散和机器人技术,因为你可以实时重新评估。而在图像中,你基本上是一次性的。
Jason Ma [00:06:40]: 没错。
预训练一个通用机器人并适应新任务
Vibhu [00:06:41]: 这相当有趣。我们有机会摆弄叠衣服机器人……扔一条随机的毛巾进去。模型会适应,对吧?我认为你的模型的一个关键点是它们是通——它们被设计成通才,所以是一个基础模型,然后你对它们做大量适配。这是怎么做到的?基本上,在 45 分钟的映射数据中,你就可以进行泛化。我们看到了一个从冰箱里拿饮料的例子。一个通用模型的思路是什么,然后你如何适配不同任务?
Jason Ma [00:07:14]: 我们的想法是,对于机器人技术,我们需要构建一个非常通用、强大的基础模型,对吧?然后——因为如果你想想人类如何在物理世界中互动和行为,对吧,我们有非常强的基础知识。我们可以直接做很多任务。但如果你想成为任何特定任务的专家,就需要进行一定量的训练。我认为要训练一个通用机器人,比如我们在这里构建的这个,同样的原则必须适用。所以我们的方法是首先训练一个通用模型,尽可能多地使用我们能找到的数据进行训练。这就是为什么在我们的 Dyna-2 报告中,我们的模型以超过一百万小时的人类数据作为起点进行训练。然后在这个强大基础之上,我们发现我们可以快速让机器人或模型通过非常少量的微调来完成许多不同的任务,只需告诉模型“这是我希望它完成的任务,这是极少量的演示”,模型就能轻松完成你在办公室看到的许多任务。是的。
一百万小时的数据:第一人称视角视频与机器人演示
Swyx [00:08:19]: 我们实际上有不少从事数据交易、出售数据的人。什么是好数据?什么是坏数据?你想买什么?我认为这些都是悬而未决的问题。比如,显然,我认为最重要的一点是人类执行任务的第一人称视角数据。对于这个基本观点,你还有什么要补充的吗?
Jason Ma [00:08:42]: 所以我认为数据是当今机器人领域最重要的事情,因为与语言模型不同,机器人没有互联网,对吧?所以每一家在构建模型、构建硬件的公司都必须考虑数据问题。大致上有几种不同的运作方式。一种是你自己收集大量数据,这也是我们正在做的事情。
Swyx [00:09:02]: 你有员工在这里做这件事。
Jason Ma [00:09:04]: 办公室里到处都是机器人,对吧?但如果你想想机器人基础模型需要多少数据,我认为任何单靠自己能收集到的数据量都远远不够,对吧?这有点像,你只靠 Reddit 或者只靠 Facebook 就想建起一个互联网。它们是很棒的网站,用户很多,但还是不够,对吧?所以当我们考虑数据时,必须有某种数据获取方式,对吧?你购买数据,你去看已经存在的数据。然后还有许多不同的层级,对吧?你提到了数据质量。我认为机器人领域的数据质量是一个非平稳问题,因为对你的模型来说,什么是高质量数据是随时间变化的。比如,当你的模型什么都不知道时,也就是它处于零状态时,任何数据都是有用的,对吧?你可以使用大量视频数据。就第一人称数据而言,我认为这实际上是预训练机器人的一种非常好的方式,因为人类数据非常多样。它涵盖了你能想象到的每一种身体活动。这给了机器人、模型一个非常强的先验,关于事物、关于世界如何围绕一个具身行动者——人类——如何演化。但人类数据的问题在于,在你的机器人长得和人类完全一样之前,人类动作和机器人动作之间总会存在一些差距,对吧?所以仅仅用人类数据训练,今天不太可能直接执行机器人动作。所以你仍然需要用机器人自身的数据做一定程度的适配,对吧?但在机器人上收集的机器人自身数据会昂贵得多,也难收集得多。所以我们正在考虑的方案是,如何利用我们今天拥有的最大数据源,比如第一人称数据,给模型一个涵盖所有物理操作的强先验,然后将其与少量机器人数据结合起来,让机器人掌握我们感兴趣的任何任务。所以数据质量和获取数据在机器人领域真的是,我认为这是一个非常迷人、多层面的问题。但现实是,不存在单一的制胜策略,比如“哦,这是一种数据,我只收集这种”,
Jason Ma [00:11:25]: 它就能给你一个强大的基础模型。你真的需要思考,“这部分人类数据涵盖了我需要的机器人认知的一部分。机器人数据涵盖了机器人同样需要的低层反射灵巧性”,并把它们放进一个模型里。我认为这就是最终得到一个真正适应性强、真正强大的模型的关键。是的。
数据合作与专门的训练样本
Swyx [00:11:44]: 我来问你一下,为了那些想与你合作的听众。你想要什么样的数据供应商。这是你对数据的呼吁。什
Jason Ma [00:11:55]: 是的,这是个很好的问题。在我们的 Dyna-2 博客末尾,我们实际上留了一个邮箱地址 datapartnerships@dyna.co。所以如果你是一家拥有大量高质量数据的数据供应商——无论是第一人称数据、机器人数据、视频数据,还是任何你认为能帮助机器人的数据——请发送到这个邮箱。我们的团队会查看,然后回复你。
Swyx [00:12:16]: 但在你们目前的阶段,你们可能不会再从市面上购买第一人称数据了,对吧?你们可能更想说:“这是我需要的,你去——”
Vibhu [00:12:26]: 有没有什么缺失的细分领域?
Swyx [00:12:28]: 你们需要一个 Scale AI,需要一个 Mercor 来做这件事。我明白了。定制数据——
Vibhu [00:12:32]: 不在机器人行业工作的人可能会想:“好吧,某个细分的工厂。”比如……你展示了把管子放进去的操作。关于那方面的数据你能找到的就那么多,但这真的对你们有很大帮助吗?
Jason Ma [00:12:43]: 是的。如果你真的想精通一项任务,拥有来自该任务的数据肯定会对你有很大帮助,对吧?对我们来说,我们仍然认为仅仅一百万小时的数据是不够的,这只是个开始。我们展示了第一个在百万小时规模上的模型,但我们需要更多,对吧?所以我们仍在寻找大量能获取的原始、多样的数据。但同时我们也在思考如何获得更多定制数据——无论是内部收集还是由合作伙伴收集——来应对真正特定的细分任务?因为我认为你仍然需要这些数据才能达到卓越水平,任何模型要在物理世界中真正发挥作用都需要这一点,对吧?这有点像人类,你知道的。如果 Sean 或我明天去 Rosewood 酒店工作,我们是没法按照他们要求的方式铺床的,对吧?我们需要大量训练。所以这类数据,特殊数据,就像 Mercor 今天为语言模型所做的那样,我认为对机器人领域也会非常有价值。
Vibhu [00:13:42]: 所以酒店,把 GoPro 绑在员工头上,然后——
Jason Ma [00:13:48]: 然后可能还会有更多这样的数据。
Vibhu [00:13:49]: 有
合成数据、仿真与 Eureka 项目
Swyx [00:13:50]: 以他们的方式去体验。是的。我们讨论过的一件事,也是结束这次采访的话题,非常有趣的是现在你基本上可以即时生成环境。你们在前沿模型上尝试过吗?你们的体验如何?它们够好吗?
Vibhu [00:14:06]: 你们有使用任何世界模型机器人吗?比如,用世界模型公司来生成这些数据并在其上训练吗?
Jason Ma [00:14:13]: 所以我认为,为机器人生成合成环境、合成数据、仿真数据,将成为下一个前沿领域之一,对吧?因为如今人们关注的是第一人称数据、机器人数据。这些数据在不断扩展,但我认为合成数据将是一个全新的扩展维度。回到你的问题,是的,我们一直在探索使用前沿模型为我们生成合成环境,基于我们关心的数据和我们的环境。令人惊讶的是,我认为现在这项技术已经到了非常值得深入研究的地步。提供一些背景,在我的博士阶段,我主要专注于基于仿真的机器人训练。当时仿真技术还不成熟,但我们有一篇名为 Eureka 的论文,这是第一篇使用大语言模型的论文。当时用的是 GPT-4,研究如何自我生成环境、生成强化学习的奖励函数,并在仿真中完成各种任务。最后,我们有一个非常棒的演示,机器人转笔,对吧?当时真的很酷。但那类事情在当时仍然非常有限,因为那时的模型没有很好的视觉能力,也没有原生的三维理解能力,对吧?所以基本上只是生成代码,并利用非常有限的文本反馈来尝试构建新的仿真环境。但如今这些前沿模型的视觉能力已经强得离谱。它们可以做真实到仿真、做 CAD 建模、做三维重建等等。所以我认为现在正处于一个临界点,
Jason Ma [00:15:52]: 这项技术真的可以加速机器人的发展。对我们来说,我们将其视为加速内部进展的一种方式,对吧?因为我们正在构建模型,构建硬件。所以如果前沿模型能以这种方式为我们提供更多数据,比如为我们生成真正定制化的数据,那对我们来说极其有用。我们还在思考的另一件事是,与其使用这些模型生成三维环境,我们也使用了自己的世界模型,就是我之前跟你说的世界动作模型,因为这个模型不仅能生成动作,还能生成视频。我们——这个模型还能生成自己的训练数据。这就形成了一个自我实现的飞轮,我认为这也会非常强大。总的来说,我对这个方向非常兴奋,因为我认为即使我们已经扩展到了一百万小时的数据,我们部署了一堆机器人。机器人已经——已经开始做非常酷的事情了。我们才刚刚开始,只是冰山一角,未来还有更多。是的。
设备端推理、延迟与模型蒸馏
Vibhu [00:16:51]: 对于研究方面的人来说,我们最近请了 Runway 上播客。他们的一个方向是机器人世界模型。他们正在稍微向那个方向转移,所以……建议大家去看看。关于你们自己做模型,我有一个问题是:你们在什么约束条件下工作?如果类比语言模型,你会看到 GPT-OSS 20B 非常适合普通的 MacBook。然后还有一个更大的模型适合单张 GPU。你们是在设备端模型、云端模型还是混合的约束条件下工作?这又会如何影响你们的数据扩展规律?一百万小时很棒,但我们是应该单纯扩大参数量和数据量吗?
Jason Ma [00:17:38]: 不,这是个很好的问题。我认为机器人与语言模型及其他应用真正不同的地方在于,对于编码智能体和语言模型来说,有延迟是没关系的,对吧?比如今天,我每次问 ChatGPT,它都要花几秒钟才会吐出任何东西。但对于机器人来说,推理延迟必须非常短,对吧?机器人需要行动。比如,它不能只是握着一把刀,三秒钟什么都不做。那会把人吓坏的,对吧?
Vibhu [00:18:07]: 是的,我们看到有人把自己的真手放到刀下面。
Jason Ma [00:18:10]: 我们的模型相当聪明,所以那没问题。但总的来说,如果你考虑非常动态的任务,比如,你想让你的机器人拿着一个——我不知道,一个网球拍来颠球,对吧?这非常动态,需要实时反应。你不能只是……物理规律、重力不会等你,对吧?因此,机器人模型必须能够非常快速地推理。而做到这一点最快的方式就是在本地部署,比如在设备上运行,对吧?因为如果你调用一个模型——
Swyx [00:18:39]: 网络延迟。
Jason Ma [00:18:40]: 就没法保证——
Vibhu [00:18:41]: 自动驾驶汽车。
Jason Ma [00:18:42]: 就没法保证,对吧?所以因此,最终部署的模型必须是尺寸合理的、可以在本地运行的模型。但这并不意味着你最初训练的模型也必须很小,对吧?就像语言模型——
Vibhu [00:18:57]: 你可以蒸馏。
Jason Ma [00:18:58]: 人们确实会做蒸馏,对吧?让一个小模型变得非常聪明的最好方法就是做蒸馏,对吧?你训练最大的模型,然后进行蒸馏,对吧?所以我认为在机器人领域,我们正在接近这个目标,但我认为这就是人们最终会趋同的方向。是的。
Vibhu [00:19:14]: 推理方面呢?你们有自己的推理栈吗?还是……这里面很多是架构层面的东西。你们引入了扩散模型之类的。我猜你们可以基于某个东西来实现。有什么想分享的吗?
Jason Ma [00:19:26]: 我们为部署的任何模型都构建自己的推理栈,因为——就像我说的,延迟非常重要。所以拥有整个栈对机器人来说极其重要,对吧?你要针对所运行的模型类型优化推理速度,这里面有很多工作要做。这就是我们所做的。
构建完整的机器人栈:传感器与执行器
Swyx [00:19:45]: 你们真的是全栈的,从执行器一直到工业设计 ID——我之前都不知道这是个缩写——当然也包括模型和数据。
Vibhu [00:19:57]: 我很好奇,这些是你们自己的执行器吗?还是……这里面有多少是你们自己的?比如,当然,设计上,它不像人形机器人……执行器,就是说在机器人栈上你们做到了多深?
Jason Ma [00:20:08]: 所以我们对于什么需要自研、什么可以外购的思路是:如果一个组件的输入输出非常清晰,而且已经有非常成熟优秀的解决方案,那就没必要自研。比如在这台机器人上,你看到激光雷达了吧?那些黑色圆圈就是激光雷达,用来帮助机器人检测障碍物、在环境中导航。这是一项非常成熟的技术,人们已经用了几十年了,自动驾驶汽车上也在用。所以我们不需要从零开始自研激光雷达,对吧?摄像头也是一样。但对于任何我们认为对整个系统最终性能至关重要的东西,我们的愿景是自己掌握并自研。比如你提到的执行器,这就是我们在做并且要自己掌握的东西。原因是,执行器的质量和设计方式对你能把机器人建模得多好非常关键,对吧?执行器是驱动机器人的部件。要想在仿真中很好地对机器人建模,或者做任何形式的建模,你都需要选择非常优秀的、确实容易建模的执行器。这才是我们最终关心的,所以我们要自己掌握。机器人的身体比例也是一样,这台机器人的比例是参照真人测量的。为什么这么做?因为我们在用人类数据做预训练。
Swyx [00:21:36]: 哦,是的。
Jason Ma [00:21:36]: 迁移效果最好,对吧?所以硬件上有非常多这类决策,它们和……因为最终是硬件承载智能,而智能才是极其重要的东西,我们要确保硬件是为此服务的。
Swyx [00:21:53]: 我想强调一点,不知道这对你有没有用,我经历过的最有趣的机器人讨论之一,是有个人对执行器、特别是磁铁非常焦虑,因为显然我们不在美国生产磁铁。
制造业、稀土磁铁与全球供应链
Jason Ma [00:22:06]: 对,我们不生产。
Swyx [00:22:07]: 而且只有两个国家生产磁铁。
Jason Ma [00:22:09]: 稀土材料。
Swyx [00:22:10]: 稀土,对吧?我不知道那……化——那是什么材料?我不知道那东西叫什么,但——所以是的,如果有人对这个感兴趣的话,显然这是我们面临的一个瓶颈。
Jason Ma [00:22:20]: 不,不是瓶颈。
Swyx [00:22:21]: 这是个瓶颈。那我们该怎么办?
Jason Ma [00:22:23]: 这是个好问题,对吧?我认为,关于把制造业带回美国有很多令人兴奋的讨论,但对于机器人来说,这实际上比看起来要难得多。而且我想说,即使现在,美国也没有一家公司真正在美国从零开始构建一切,对吧?比如,即使他们说他们组装机器人,他们在美国做他们实际在做的事情,他们仍然从世界其他地方采购原材料。我认为这是作为机器人制造者需要真正意识到的事情,对吧?比如,我认为,作为一家全栈机器人公司,我们意识到供应链有多长,整个问题有多长。这实际上极其困难。而且我认为如今,很多讨论围绕着机器人基础模型数据,但我认为硬件以及构建好的硬件有多难被严重低估了。但我认为这将极其重要。
Swyx [00:23:27]: 这是一个平台,对吧?
为什么 Dyna 要协同设计其硬件和模型
Jason Ma [00:23:29]: 平台,是的。
Swyx [00:23:30]: 有些公司选择做,我们称之为无平台。他们只做模型,他们会说:“我们部署在任何平台上。”我们部署在 Optimus 上。
Vibhu [00:23:37]: 现成的机器人。
Swyx [00:23:38]: 所以,这是一个选择,对吧?显然,你拥有全部,所以你可以这样做。你认为自己会在美国建造更多,还是建立自己的全球供应链?可能的方向是什么?
Jason Ma [00:23:52]: 所以我们目前正在探索许多不同的选择,对吧?因为全球供应链,会有一些地缘政治的事情,对吧?
Swyx [00:24:02]: 运输。
Jason Ma [00:24:02]: 运输。还有运输延误之类的事情。
Vibhu [00:24:04]: 机器人的字面意义上的船。
Jason Ma [00:24:06]: 而在美国,只是从零到一需要一些时间,对吧?所以我们正在尝试思考一个既能让我们在美国建造更多,又能利用全球供应链的解决方案,对吧?但我确实认为,回到你之前的问题,有些公司选择只构建模型,我们构建一切,我认为把这件事做对非常重要。我觉得对于机器人来说,难的是构建整个系统。构建整个系统需要哪些必要的东西?比如,之前我在 DeepMind,我在 NVIDIA,主要只是构建模型,我看到了当你不控制硬件、当你不能优化它时系统的上限,对吧?因为如果你想想机器人的价值创造,最终机器人是为了提供服务来解决某些物理任务的。所以如果你想解决物理任务,你想要能够优化一切,这很重要。
半人形机器人:轮子、躯干运动和灵巧性
Vibhu [00:25:02]: 我们有机器人了。你得跟我们讲讲设计。你们自己的定制平台。你们管这个叫什么?
Jason Ma [00:25:11]: 我们管它叫什么?
Vibhu [00:25:12]: 是的,所以它不是人形的。它非常流畅,但是那个旋转的手臂是什么?
Jason Ma [00:25:16]: 是的,所以我们认为这总体上是一种半人形机器人。基本上,上半身就像人形机器人一样。它当然有肩膀,有手臂。腰部也有四个自由度。所以你基本上可以做出人类能做的所有上半身动作。但它是半人形的,因为下半身是轮子。好吧,那我们为什么选择轮子呢?因为我认为这里存在一个差异。就是最优实用性与性能之间的权衡。我认为用腿的话,能耗会高得多。会不稳定得多。安全性将极难保证。所以现在,对于腿式机器人,实际上无法保证机器人在整个过程中始终保持直立、保持平衡。我相信你们肯定看过很多那种机器人跳舞的视频。就是机器人跳舞那种。
Swyx [00:26:08]: 看过跳舞,是的。它们都,很容易摔倒。
Vibhu [00:26:10]: 不,但你也看过那些一看就不是量产的演示,你可以推搡机器人,可以把它推倒,它表现得很好。但那个机器人只是擅长平衡,对吧?就像——有一个。
Swyx [00:26:21]: 我觉得你们创新的更有趣的地方在于。所以我们有一个原型,就是后面的这只超梦。
Jason Ma [00:26:29]: 你可以这么叫它。
Swyx [00:26:30]: 这只是一个上下轴,而你们选择转向像这样的东西,它具有倾斜的能力。我们要展示洗衣演示,你必须探身进入机器。对吧?那是另一个自由度,我甚至找不到词来形容它。它不是俯仰,不是偏航。是别的什么。
Jason Ma [00:26:47]: 所以,是的,我们是怎么考虑这个问题的呢?就像,。实际上,这在锻炼时非常常用。就像,我觉得有时候,几年前我锻炼的时候,不小心,拉伤了肌肉。对吧?我相信你们也有这种经历,对吧?然后接下来几天你就是动不了,或者你拉伤了,因为你睡姿不对,所以脖子很僵硬。我们都经历过这种事。然后每当你经历这些时,你就会意识到,哇,我们在日常生活中用到了这么多肌肉,这么多自由度,而我们却习以为常。但当它失灵时,你要做一些你觉得很自然的任务就会非常别扭,对吧?所以这也是我们设计机器人时的思考方式。当你有一种——这种设计,也就是纯粹的升降机,只能上下移动,我们意识到很多人类躯干的运动,比如我们日常体力活动中大量使用腰部、背部,对吧?即使我想拿这个瓶子,我也不只是移动手臂。如果我必须刻意去想固定我的上半身,对我来说其实很奇怪。我总会这样做,对吧?所以人类移动身体有很多下意识的方式,我认为如果机器人拥有一个这样的自由度,这些方式同样有用。如果你进一步想,好吧,我们想从人类数据中学习。比如,人类一直在移动躯干。你希望能够将这些数据输入模型来控制机器人。但如果你的外形设计不允许这样做,那么迁移效果就会变差,机器人就没那么灵巧,也更别扭。
将人类预训练迁移到新型机器人硬件上
Vibhu [00:28:22]:数据标注这一块是怎样的?比如,我——你见过人们……这是后训练微调的最后一环吗,也就是实际使用机器人一小时、通过遥操作或远程控制来映射动作?还是说其中一部分能泛化过去?
Jason Ma [00:28:41]:你说标注是指什么?
Vibhu [00:28:43]:比如,把你现有的预测状态的模型映射到你特定的硬件上。
Jason Ma [00:28:50]:哦,是的。它的泛化能力非常好。所以我在新机器人上给你展示的所有演示,因为这台新机器人我们不久前才把它准备好,所以和我们给你看的固定机械臂相比,我们实际上没有多少数据,对吧?固定机械臂的数据要多得多。但这台新机器人,模型在预训练中没有见过它——在我们的一些预训练模型里没见过。它能够非常快速地学会你看到的任务。我把这很大程度上归功于,甚至在硬件准备好之前,我们就已经致力于在人类数据上进行预训练,因为我们知道总有一天我们的机器人会像人一样。在硬件准备的同时,你可以在训练方面提前布局。我认为现在我们看到迁移确实存在,而且确实非常有帮助。
评估新技能并从真实世界反馈中学习
Vibhu [00:29:35]:谈谈这方面的评估环节。你可以有预测,你可以让它做事,而时不时我们会看到它出错。你也会在非常小众的事情上测试。比如往药瓶里装药。这个过程需要多长时间?你如何看待在新任务上实际部署、评估它、迭代这一环节?这看起来是什么样的?
Jason Ma [00:29:56]:是的,所以如果我们想学习一个新任务,我们基本上会做少量的机器人数据采集。然后模型,这些——
Swyx [00:30:04]:少量是指多少?
Jason Ma [00:30:05]:是的,大概几个小时。是的,我们——在某些任务中,只要几十分钟,对吧?是的。然后——
Swyx [00:30:11]:切菜那个是 45 分钟。
Vibhu [00:30:13]:开冰箱那个是——
Swyx [00:30:14]:而那是一次面试——那就像你们某位工程师的入职任务。
Jason Ma [00:30:18]:所以,
Vibhu [00:30:20]:如果你想来这里工作,这很有趣,你知道的。找到一个任务,让机器人去做。
Jason Ma [00:30:24]:给我提一个新任务,我就来办公室,采集一些数据,训练一个模型,看看会发生什么。
Vibhu [00:30:29]:系鞋带。
Jason Ma [00:30:31]:确实是系……是的,那会很酷。但是,是的。所以,你知道的。采集少量数据,训练一个模型,然后我们就把模型部署到真实世界中。然后我们观察表现,接着——
Vibhu [00:30:41]:你说的采集是指你——你有一个人实际在操作——
Jason Ma [00:30:46]:操作。
Vibhu [00:30:48]:做一会儿这个任务。然后你训练?如果表现还行,你就改进。你怎么衡量?
Jason Ma [00:30:56]: 所以当你训练模型时,有一些指标可以看,对吧?就像训练模型一样,它收敛得很好。之后,对于今天的机器人,我们只是在真实世界中运行模型,对吧,在采集数据的同一套装置上,看看模型表现如何。有时候模型开箱即用就很好,对吧?你真的不需要再做太多。但当模型可能达到百分之七八十的水平时,你就会观察模型的行为,弄清楚它不擅长什么。然后你可以再采集一些数据,接着迭代,对吧?我把这看作是机器人领域的基于人类反馈的强化学习,对吧?机器人执行任务,你可以给它打分:好、差、还行。然后这些数据,机器人自身的经验可以用来训练模型。你也可以自己采集更多数据来训练模型,对吧?最终,我们的目标是,这个机器人将成为我们的平台,任何人都应该能在它上面训练任务。
长期任务与通用机器人的瓶颈
Vibhu [00:31:59]: 我想对这个方向做一些预测和时间线。目前,任务还比较简单,比如——把洗好的衣服拿出来。这是一条毛巾,你不能把它压碎。切一些食物。还有另一面,比如,好吧,搭建这个拍摄场地,对吧?搬动东西,搬一张桌子,架设灯光。我觉得——
Swyx [00:32:21]: 管理我的数据中心。还有,给——比如,给另一个机器人充电。
Vibhu [00:32:29]: 我们什么时候能看到工厂,或者说我们需要扩大规模的是什么?是模型吗?还是所有的一切?看起来你们的硬件已经为此准备好了,但我们什么时候能看到它发展到这样一个阶段:我不再只是切一样东西,而是说,"好吧,这里有一份食谱。"
Jason Ma [00:32:49]: 我会说,要达到真正通用的机器人,基本上就是一个能做任何事情的机器人或模型,比如——
Vibhu [00:32:58]: 不是那个。比如,好吧,为了在技术层面上保持一定的落地性,比如——我们什么时候开始看到我们推进那个反馈,对吧?所以——
Jason Ma [00:33:06]: 我明白。
Vibhu [00:33:06]: 而不是非常简单的切菜——也许是一个五到十分钟的序列,对吧?现在评估步骤可以在更多的点上出错。而不只是装满一个药瓶——十种不同的药全部按顺序装好,对吧?是什么在限制我们?我们在推进什么?
Jason Ma [00:33:20]: 是的,我觉得。是的,我觉得有几件事。一是你看到的那个叠衣服演示,是的,完成整个循环需要一个小时,对吧?所以机器人能完成一项完整工作的最长持续时间已经在小时级别了。对吧?但要能对任何任务都做到这一点,我觉得瓶颈还是回到数据和硬件上,对吧?对于某些任务,比如布置场地,你可能需要的不止是一个平行夹爪,对吧?你可能需要更灵巧的东西,比如一只手,像人手一样,对吧?但如果你想在手上训练模型,你就会被硬件稳定性所限制。比如手——如今,最好的手、灵巧的手仍然不够耐用。它们过热得很快,对吧?这就成了一个瓶颈,对吧?比如,你——我们——你真的得放一个冰袋——
Swyx [00:34:15]: 冰。来降温。
Jason Ma [00:34:16]: 人类。
Vibhu [00:34:16]: 我们不只是在自动研究,让模型变得更好。我们有硬件限制。
Jason Ma [00:34:20]: 是的,所以硬件限制是一件大事。但如果硬件受限,那就会拖慢一切,对吧?因为要知道你在任何任务上取得了进展,你最终必须在硬件上进行评估,对吧?所以如果评估不是非常即时、非常快,那也会限制你的研究进展,对吧?因为那样我们如何收集正确的数据,对吧?我认为,我们如何收集正确的数据来完成极其复杂的任务,比如搭建这个演播室,对吧?因为你可以想象,比如今天,大多数数据是基于视觉的,对吧?就像视频流和一些对手部动作的编码,机器人的关节。但人类有更多的传感器。我们能听到东西。我们能感觉到东西。
Swyx [00:35:05]: 闻到。
Jason Ma [00:35:06]: 是的,你能闻到东西,对吧?所以我们潜意识地使用所有这些来帮助我们如此擅长操作物理世界。但如果今天我们完全没有捕捉这些,那么即使你扩展到数百万小时,你可能只是错过了任务的关键维度,所以你永远无法解决这个任务,对吧?所以我认为这些是我认为在拖延时间线的因素。但对于那些今天就能以高保真度收集数据的任务或工作流,我不——我不一定认为存在根本性的瓶颈,对吧?就像我们本周向公众展示的那样。我们有一个物理智能体可以像人类一样完成整个洗衣工作流,对吧?因为对于那个任务,我们并不真的需要,哦,你实际上需要的不只是一个平行夹爪。你实际上需要某种今天还不存在的传感模式,对吧?所以我确实认为,要实现更通用的东西,最大的瓶颈仍然是硬件和数据。
真实部署:Best Western 和鼎泰丰
Swyx [00:36:06]: 我想借此机会谈谈——让你夸夸你的客户和合作伙伴。你们有一些已公布的合作关系。我们可以从 Best Western 开始,然后也许再讲讲其他你引以为豪的。精彩故事之类的。
Jason Ma [00:36:20]: 我们网站上有一篇部署博客文章,讲得更详细。我真的很推荐看那段视频,因为我觉得视频是——
Swyx [00:36:29]: 哪一个?Best Western 那个?
Jason Ma [00:36:30]: 不,我们有一个视频涵盖了我们合作的所有客户。这是一个非常好的视频。它展示了我们在做什么。是的,我觉得很棒。是的,我们有客户,Best Western。那是在酒店领域。我们为他们折叠很多洗衣毛巾。每家酒店都需要,每个健身房都需要,每个健身中心都需要。-
Swyx [00:36:51]: 目前的部署情况如何?怎么——比如,我可以去哪里——我去哪家 Best Western 能看到它?
Jason Ma [00:36:56]: 所以如果你想去某个地方,我其实推荐去我们的另一个部署点,鼎泰丰。你们去过——
Vibhu [00:37:04]: 非常薄的封装。
Swyx [00:37:05]: 我们应该在那里拍摄的。
Jason Ma [00:37:09]: 就在那里拍。
Vibhu [00:37:10]: 空镜。
Jason Ma [00:37:11]: 但在鼎泰丰,如果你去鼎泰丰或其他一些比较高档的餐厅,桌上会有餐巾纸,对吧?所以我们的机器人如今为许多不同的地点折叠了成千上万张餐巾纸,包括美国许多不同的鼎泰丰门店。所以这实际上是我们规模最大的客户,对吧?所以我想在这里做一个区分。如今,很多机器人公司在谈论部署、谈论试点。但真正难的不是把你的机器人放进一个地点或做一次试点。真正难的是客户相信或验证你的机器人能创造足够的价值,以至于他们想在他们的许多门店部署你的机器人。这就是我们在鼎泰丰身上发生的事情,据我所知,其他做类似通用机器人的公司还没有真正做到这一点。所以在鼎泰丰,我们的机器人每天折叠数千张餐巾纸。质量标准非常高,因为他们要求,比如,第二次折叠或餐巾纸的接缝只在……我都不知道该怎么称呼它,那个口袋下方几厘米处,这样你就可以把筷子插进去。所以这实际上是一个非常精细、高精度的任务。我可以展示给你看。
Vibhu [00:38:26]: 在某种程度上,这就是机器人擅长的,机器人擅长的,对吧?人类不是最一致的——尤其是在细节上,而机器人可以某种程度上完美地做到。有趣的是你为通用机器人举的这个例子,而在某种程度上,我认为人们会假设——你可以有一个专门的机器人,它能完美地将餐巾纸折叠到精确的毫米,而不是像这样的东西,但是。
Jason Ma [00:38:53]: 是的,我确信,也许你可以,对吧?但操作可变形物体的难点,对吧,比如餐巾纸、毛巾,一切都是——可变形的。有无限——无限多种可能的配置。所以这对专门的机器人来说真的很难,对吧?而我们发现的是,通过在机器人中开发一个通用模型并将其适配到这些用例中,你实际上可以更快地达到生产质量。而真正好的是,现在鼎泰丰已经扩大了规模,与我们签订了一份大得多的合同,他们不仅希望我们的机器人折叠餐巾纸。现在他们希望我们的机器人切割。这就是为什么我们有——例子,切割食物到——
Swyx [00:39:31]: 这实际上是第二个用例吗?
Jason Ma [00:39:33]: 这是他们正在考虑的用例之一。鼎泰丰每天需要切那么多蔬菜。
Swyx [00:39:38]: 他们需要做饺子。
Jason Ma [00:39:39]: 完全正确。折叠。那是最终boss。那是——
Vibhu [00:39:41]: 那是最后一个。
Swyx [00:39:43]: 我认为你可以。我认为你有完成这个的灵巧度和精确度。
Vibhu [00:39:46]: 你有一个小机器人。
Swyx [00:39:47]: 但是不,别弄坏饺子。
Vibhu [00:39:50]: 这就是显而易见的好处,你可以适应它们了。
通用机器人、速度与规模化的一致性
Vibhu [00:39:54]: 我觉得你真正提到的另一点是速度,对吧?要做一个定制的餐巾折叠,要有精确的层数,无论什么——你得造一台机器。你没法直接在 Amazon 上买到。但这台可以做得相当快,对吧?
Jason Ma [00:40:07]: 是的,这台可以做得——非常快。而且现在它实际上已经——它已经达到了人类水平。而且这个机器人不会累,不需要你懂的。你可以。而且我觉得我真的很喜欢你提到的一致性这一点,对吧?比如,鼎泰丰的一个问题是,他们的洛杉矶门店、纽约门店、西雅图门店,他们折餐巾的方式略有不同,但从他们的角度来看,他们想要一致性。而这正是这些模型擅长的,因为模型就是,只是一组权重。你可以直接把权重放进不同的机器人里,跨不同的——
Vibhu [00:40:43]: 你还可以对它们进行 OTA 更新。
Jason Ma [00:40:45]: 是的,你可以一次性更新所有的机器人。就是。一旦它能工作了,我觉得这真的是,就像——令人难以置信。
Vibhu [00:40:52]: 最终 Boss 是 Cheesecake Factory。如果那里的故事,他们从零开始制作。每样东西都非常一致,精确到克。每一种酱汁都是现做的。就像,无论你去世界上哪个地方,你都会吃到完全一样的东西。如果你不知道,你就不知道。但这就是那个——这就是最终的。
机器人领域的苦涩教训:扩展正确的数据
Swyx [00:41:07]: 浮现在我脑海中的术语有点像机器人领域的苦涩教训,对吧?你,与其用专用机器人——那需要大量的工业工程——你构建一个通用平台,它可以——进行最后一公里的微调,然后——
Vibhu [00:41:18]: 没错。
Swyx [00:41:19]: 然后完成所有这些事情。
Vibhu [00:41:20]: 把专家插件放在你的外面。什么是更苦涩的机器人教训?
Jason Ma [00:41:25]: 是的,我觉得机器人领域有几个苦涩的教训。其一是机器人领域将会像机器学习解决的任何其他领域一样扩展,对吧?那这意味着什么?这意味着要拥有尽可能多的数据。但在机器人领域,有一件事要难得多,那就是什么是正确的数据,这比其他领域要难搞清楚得多,对吧?语言就是文本。在电子游戏里,就是电子游戏数据。但对于机器人来说,你选择什么传感器决定了你拥有什么样的数据,对吧?但如果你有正确的一组传感器,然后只是扩展数据,我认为你会在模型性能上获得可预测的回报。从这个意义上说,机器人并没有那么不同。这就是那个苦涩的教训。由此得出的一个推论是,机器人领域有很多研究提出了非常具体的先验。比如,例如,我们需要让机器人把物体看成它们本来的样子,画一些框。这会给机器人更好的感知,对吧?但我认为这里的苦涩教训是,只要保持算法更简单,扩展正确类型的数据。那么泛化、更好的行为就会涌现出来。所以这并没有那么不同。还有第二个。我觉得那是主要的苦涩教训,也就是说到底,扩展是会奏效的,但在机器人领域,要扩展以及如何扩展要难得多,因为没有互联网。你必须自己开发硬件,开发传感器,把这些都搞定,然后再扩展。然后我觉得,。
人形机器人、务实迭代与通向通用性的道路
Vibhu [00:42:53]:有一种观点认为,这个世界在很大程度上是为人类打造的。所以(机器人)就应该是人形的,对吧?不管硬件问题有多难,想想十年、二十年、一百年、两百年之后,我们能否造出一个真正高效的人形机器人?但你必须基于我们现在拥有的东西务实地思考,对吧?
Jason Ma [00:43:12]:我的看法是,是的,最终机器人应该(是人形的)。如果我们想打造一个通用型机器人,对吧,一台能适配尽可能多用例的机器,我认为人形形态会是最好的选择,只因为这正是我们一直以来在做的事情,对吧?但我认为,真正打造人形机器人的最佳方式是采取迭代的方法。因为机器人技术太难了,整个问题、整个技术栈太长了,你真的很难先验地知道该做出怎样的正确决策,对吧?而且因为硬件决策的代价要高得多、成本也高得多,仅仅因为硬件迭代慢得多,你实际上想要采取一种渐进式的迭代方法,而不是一路直接做到最终形态。因为很可能你造出来的东西实际上撑不住。它不够好。所以你最终还是会把它废弃掉,你知道的。比如,公开消息已经说了,Optimus 已经经历了多次迭代,他们不得不废弃自己的设计,对吧?而且我认为,通过采用半人形形态进行迭代,并真正将其交付给真实客户,或者让模型真正部署落地,你就能获得那种反馈循环,而如果你只是试图打造一个仓储用人形机器人,然后花五年、十年时间去建造它,你是得不到这种反馈循环的。我认为迭代的方法实际上会让我们更快地接近最终的机器人。
Vibhu [00:44:33]:我要说,对于那些只听不看的听众来说,这可能是我们见过的最流畅的机器人。就像——
连续动作空间与上下文的重要性
Vibhu [00:44:38]:……你见过的每个人形机器人都很僵硬,甚至人类走路都没有这东西这么流畅。
Swyx [00:44:43]:因为,是的,这个模型可以同时驱动每一个电机。
Vibhu [00:44:48]:在超过两个维度上,是的。
Jason Ma [00:44:50]:是的,这实际上是一个非常难的问题,因为如果你只考虑模型本身,它是在输出动作。这里有动作维度,对吧?维度越大,模型拟合数据就越难。但在这里,动作空间相当大,而我们做得非常好,确保模型拟合得很好,并给你流畅的——
Swyx [00:45:10]:你能给出动作空间数量级的范围吗,还是说——
Jason Ma [00:45:14]:是的,它大约在一百个动作维度的数量级上。
Swyx [00:45:19]:是的,而且这些都是连续的,对吧?
Jason Ma [00:45:21]:连续的,对。所以模型基本上是在以非常高的频率进行预测,比如几十,至少五十维的向量,每秒十到二十次,以获得那种连续的运动。
Swyx [00:45:34]:并且可能预测未来一到两秒,那也就是另外一百帧左右。
Jason Ma [00:45:39]:当然。
Vibhu [00:45:40]: 这里有点历史渊源,我想类似于前面提到的状态上下文。
Jason Ma [00:45:45]: 所以上下文在机器人领域非常重要,对吧?因为否则,如果你只根据当前观测来做决策,有时候真的很难判断下一步该做什么,对吧?比如你想想打开微波炉这件事,在中间阶段,你无法确定自己是不是——
Vibhu [00:46:01]: 关上
Jason Ma [00:46:01]: ……是在关上还是在试图打开它,对吧?所以上下文也非常重要。
Swyx [00:46:05]: 我这里有一张冰箱演示的截图,里面有 agentic planning、工具调用等等所有这些东西。我们可以给听众展示一下。
Vibhu [00:46:13]: 我觉得那是个有趣的角度。在模型之后——
Agentic Harnesses and Planning Physical Workflows
Vibhu [00:46:16]: ……你如何把它包装成 agentic harness?也就是说,它是什么——
Swyx [00:46:22]: Claude Code
Vibhu [00:46:22]: ……Claude Code 部署?Claude Code UI。你们有很多很酷的 UI,但要把模型输出包装成最终成品,需要做些什么?是针对每个用例定制的吗?还是你们有自己的 SDK?
Jason Ma [00:46:37]: 所以,最终我们会拥有自己的 SDK,但我们对此的思考方式是,我们想要一个面向机器人基础模型的通用 harness 层。目前,那就是我们自己的模型,对吧?我的想法是,对于物理世界中的任何真实任务、长时任务,你需要做大量的高层决策,对吧?它不仅仅是机器人只对物理世界中的动作、连续轨迹进行推理,对吧?因为那是非常底层的,是你在物理世界中实际执行的东西,但那不是意图。但是,当我们进行决策时,我们会考虑菜谱的步骤。我们会想,哦,我完成了这个,我需要做那个。在我等待这部分完成的时候,我需要去别的地方做别的事情。这里发生了大量的高层认知和决策。我认为,机器人要处理即使是我们在向你们展示的洗衣任务,它必须具备这种能力。因为,它需要推理出,好的,洗衣机正在运行,所以我应该在洗衣机完成的时候去做别的事情。但现在洗衣机完成了,我应该立刻把毛巾从洗衣机里拿出来放进烘干机,对吧?因为如果不这样做,那就会成为整个工作流中的瓶颈,对吧?所以,机器人需要进行大量的推理。我认为,理论上,你可以尝试用一个输出动作的底层模型来学习这些,但那会极其低效。所以,这就是为什么拥有一个分层系统,比如在我们的世界动作模型周围加上一个 harness,一个 agentic 系统,能够让模型组合不同的能力、不同的技能来解决一个时间跨度更长的任务。这非常像语言模型,对吧?比如两年前、三年前,模型只擅长自动补全。人类必须点击才能让模型持续输出代码。但今天,一个 agentic 系统就能端到端地完成任务。这就是……我认为这很重要,因为我认为今天在机器人领域,人们仍然在非常任务层面思考自主性,比如一分钟、三十秒的任务。但实际上,价值在于那些可以无人监督地运行数小时的任务或工作流。这就是我们正在努力的方向。这也是为什么我认为,思考机器人问题,不仅仅把它当作一个建模问题,而是当作一个系统问题,你需要好的 agent、好的 harness 工程师、好的模型、好的硬件,所有的一切。这就是我们认为通用机器人应该如何被解决的方式。
编码智能体如何加速机器人研究
Vibhu [00:49:07]: 你们是否看到语言模型编码工具变好带来的好处?比如新的 Opus 5.5,新的 Astra。你们的 agent harness 中有语言模型吗?语言模型领域中 AGI 的发展如何影响你们?
Jason Ma [00:49:24]: 不,是的,绝对的。它在很多方面对我们影响非常深远。首先,我们是一家极度 AI 原生的公司,对吧?编码智能体之类的东西是我们工作中非常基础的一部分,我们对此非常欢迎。每当有新模型发布,我们总是第一个去测试的,对吧?比如 GPT-6 发布的时候,我们在同一周就举办了全公司范围的黑客松,工程师们做出来的东西令人难以置信。而且其中很多——我们构建的许多功能已经进入主分支、投入生产了,对吧?所以我们非常喜欢用编码智能体来加速我们的工作。
Swyx [00:50:00]: 就给感兴趣的观众问一下,你们在 GPT-6 中发现了什么令人意外的东西吗?
Jason Ma [00:50:05]: ……是关于它构建虚拟环境的能力,对吧?Turns dissemination。我们二十分钟前聊过这个。我觉得那真的很令人兴奋。
Vibhu [00:50:17]: 这很有意思。有好多 CAD、Zillow 到 3D 之类的东西。
Swyx [00:50:21]: 他在黑客松上输给了那个 CAD,——
Vibhu [00:50:24]: 我赢了。我做了那个 CAD 的东西。反了。
Swyx [00:50:27]: 不。哦。
Vibhu [00:50:28]: 那是……我为了好玩赢了一个 GPT 黑客松。我当时想:"我对 CAD 一窍不通。"反正每个 demo 都在做这个,不如玩玩看。我想:"这肯定很垃圾。"结果我又想:"嗯,还挺有依据的,还挺不错的。"但也就是黑客松水平的东西而已。
部署里程碑与不同的机器人技术路线
Vibhu [00:50:45]:。
Swyx [00:50:45]: 酷。我——我本来想收个尾,聊聊一些用例,然后再聊聊公司文化和你的个人背景。
Vibhu [00:50:52]: 我有两个技术问题。第一个是,你们有没有给自己设定一些目标,比如六个月、一年、两年的时间线,你们认为机器人应该能做到什么,填个空,也就是你们正在朝着什么方向努力?
Jason Ma [00:51:09]: 是的,在六个月到一年的时间框架内,我们的目标肯定是扩大机器人和模型的规模,真正让它们实现部署——
Vibhu [00:51:18]: 比如某个任务。
Jason Ma [00:51:18]: ……完全不同的。
Vibhu [00:51:19]: 比如,现在是切东西或者打开冰箱。有没有……比如,你们有没有给自己设定一个时间线,为了保持进度,应该能做到某某事情?
Jason Ma [00:51:29]: 我认为,就部署而言,我们正在探索许多不同的行业。并没有某个特定的任务是我们觉得必须攻克的,对吧?因为我们的目标是构建一个通用模型、一个通用平台,我们把每一个不同的任务都看作是对我们平台的验证,是帮助我们弄清楚如何把所有事情做得更好的一个切入点。所以目前,我们在洗衣、餐饮等场景做了很多这方面的工作。我们已经部署了几十台机器人,但我们明年的目标是总共部署几百台机器人。
Vibhu [00:52:02]: 我上一个技术问题的第二部分是,你怎么看待业界其他人的做法?给观众补充一下,其他人正在采取什么不同的方法来做世界模型?他们为什么是错的?他们的方法有什么不同但也不错的地方?总的来说,这个领域的机器人世界模型格局是怎样的,以及为什么——你是如何得出你目前的结论的?
Jason Ma [00:52:25]: 不,这是个很好的问题。所以我认为机器人技术是当今最令人兴奋的领域,有太多我真心敬佩的优秀公司。他们和我们一样一直在做出色的前沿工作,这非常令人兴奋。我认为我们今天看到的是,机器人领域仍然存在许多不同的路径。比如,我们认为硬件需要自研自建,我们需要掌控整条产业链。我们认为扩展人类数据极其重要。但有些公司只押注于扩展机器人数据,或者扩展某种中间数据采集设备,对吧?所有这些路径都在进行中,我认为这是不同的方法。我们就静观其变吧。我认为现在下结论还为时过早,但我们对自己构建产品的方式感觉相当不错,因为作为一家公司,无论从文化上还是使命上,我们来这里不只是为了构建一个模型。我们是为了真正把机器人部署出去。所以我们尽可能多地部署,攻克难题。因此我们能更早地发现问题。我认为这确实帮助我们识别出真正的瓶颈所在,然后去解决它们。我认为对于那些只专注于问题某一部分的人来说,这有点像战争迷雾。你看不到全貌,你可能在构建一个技术上极其酷的东西,但最终可能并不是人们需要或想要的,对吧?我认为机器人公司的坟场里躺着很多公司,我觉得它们都有非常炫目、非常酷的机器人,但弄清楚人们真正想要什么才是关键。说“构建人们想要的东西”很容易,每个人都这么说,但要真正经营好一家机器人公司其实非常难。
世界动作模型 vs. 视觉-语言-动作模型
Vibhu [00:54:07]: 在技术层面,你们有你们的世界动作模型。这是行业标准吗?其他人还在走别的方向吗?
Jason Ma [00:54:15]: 是的,我会说这也并非标准做法。我们在世界模型之上构建世界动作模型。有很多公司在构建世界模型。你提到了 Runway,他们也在做适配——
Vibhu [00:54:26]: 视频世界模型。
Jason Ma [00:54:27]: 还有一些公司在构建视觉语言动作模型。
Vibhu [00:54:31]: VLA。
Jason Ma [00:54:31]: 这就像是把视觉语言模型拿来适配到机器人领域。所以我认为有很多种不同的方法可以走。但归根结底,我们如何命名这些模型,并不如我们认为模型在第一性原理层面需要能做什么重要。我想稍微解释一下。我认为对于机器人来说,最重要的是你需要能够预测未来。对。就像机器人,任何物理系统本质上都是基于你当前时刻及之前拥有的信息,接下来该做什么?所以这实际上是关于预测接下来会发生什么。预测机器人动作就像是预测机器人接下来应该做什么。但你想想看,机器人只是世界的一部分,对吧?机器人影响世界,但世界也影响机器人在该环境中应该如何表现。所以如果你这样想的话,那么你能做的最极致、最符合第一性原理的事情,就是尽可能多地预测你能预测的世界,对吧?这就是为什么我们相信预测未来极其重要。而今天,它的具体实现形式就是世界动作模型(world action model)。而 VLA 只预测机器人动作或世界的某种更抽象的表示。但每当你在预测世界的抽象表示时,你就在把自己关于什么值得预测的偏见编码进去。而更宏大的经验告诉我们,让我们去除人类的偏见。我们就采用最原始的表示,摄像头输入,然后预测所有这些,对吧?这就是我今天对机器人建模的思考方式。
Swyx [00:56:12]: 让我稍微追问一下,你基本上是在说你的方法比 VLA 更好,对吧?因为你强调预测。我完全认同这一点。我—— 你已经说服我了。如果你错了,最有可能的第二名是——
超越视觉:触觉、音频与红外传感
Swyx [00:56:26]: 别人在做的?
Vibhu [00:56:27]: 有趣的问题。
Jason Ma [00:56:28]: 是的,我之前说的有一个前提条件,我觉得那就是我可能出错的地方,对吧?我说过你需要尽可能多地预测世界,对吧?但这没有说明的是,你的传感器是否拥有你需要预测的世界的全部信息?我觉得我稍微提到过这一点,对吧?比如,如果你在训练一个纯粹基于视频的世界模型,我认为它会是一个非常强大的世界模型,但它可能不是一个足够丰富的世界模型,因为你缺少世界的关键方面,比如声音、比如触觉,对吧?所以我觉得我们可能出错的地方在于,好吧,我拥有最好的基于视觉的世界模型,但明天别人推出了一个视觉加触觉的世界模型,它的数据效率就是高一百倍,因为视觉是一种信息量很高或者说高度冗余的输入,因为每隔一个像素,它们变化并不大。你可以看到——你可以在没有完美视觉的情况下理解世界。但触觉,其他模态可能信息密度要高得多,对吧?所以也许预测那些就能让你使用少得多的视觉数据。这样你就能用少得多的算力、少得多的数据达到同样的性能,对吧?但是——
Swyx [00:57:51]: 我觉得你能够非常轻松地适应。
Jason Ma [00:57:53]: 不,完全正确。
Vibhu [00:57:53]: 还有一个层面是数据量的问题。
Jason Ma [00:57:56]: 对。我之所以提这个,是因为我认为,如果一个视觉-触觉世界模型,或者视觉-触觉-音频,不管什么世界模型,是最终解决机器人问题的方案,那么我认为机器人公司会比那些试图转型做机器人的视频生成公司做得更好。原因是,理解感知其实非常复杂。比如,我们从公司成立之初就在构建这个,所以我们知道瓶颈在哪,知道如何把它们结合起来。但是——如果你只是想把一个视频模型适配到机器人动作上,那么如果我们错了,如果视频模型不够用,你就真的没有让触觉很好地工作起来的诀窍。而我们有。
Swyx [00:58:39]: 这是个附带的问题,但我觉得很快。热量似乎非常重要。红外线对你来说只是另一种颜色吗,还是说它是一个……
Jason Ma [00:58:47]: 是的,它可以是另一种——
Swyx [00:58:48]: 只是另一种颜色。
Jason Ma [00:58:48]: 它可以是另一种颜色,模型的另一种输入。实际上可以用在烹饪场景中。比如,我知道有公司在用红外线来判断食物熟没熟。因为用 RGB 相机真的很难判断,对吧?
Vibhu [00:59:01]: 我对你上一点非常天真的反驳是,也许我们不需要理解硬件,Claude Code 或 Codex 就可以直接 vibe code 出来。有很多事情你不需要理解也能做,但当然——
Swyx [00:59:15]: 只是它不在分布内。
Jason Ma 的旅程:AlphaGo、Penn、NVIDIA、DeepMind 和 Dyna
Swyx [00:59:16]: 所以我想把话题稍微转到你的个人故事或背景上。我们都在 Penn 上过学。
Jason Ma [00:59:24]: 我今天才发现。太疯狂了。
Swyx [00:59:26]: 是的。我,我最大的遗憾是我没有参加自动驾驶,那个 Docker 挑战赛。那样的话我可能早就加入 Waymo 之类的了。你在 Grasp 待过。然后你还在 Google 和 NVIDIA 工作过。比如说,学术界、Google 和 NVIDIA 各自的侧重点有什么不同?你这些地方都待过,对吧?然后这显然让你说“去他的,我要做自己的事”,对吧?你本来可以加入 OpenAI 的机器人实验室。所以,就按时间顺序带我们走一遍,同时也说说你在每个地方学到的一件事。
Jason Ma [00:59:58]: 所以按时间顺序来说,是的,也许可以聊聊我最初是怎么进入 AI 领域的,对吧。小时候,我在日本和中国待过一段时间。我从小下围棋,就是 AlphaGo 里的那个围棋。所以当 AlphaGo 出来的时候,我正在读高三,当时我被震撼到了,因为我已经下了好多年围棋。这个游戏太复杂了。我觉得在 AlphaGo 出来之前,人们会说:“好吧,围棋是 AI 永远无法解决的游戏之一。”它的搜索空间比全世界原子的总数还要大。你怎么可能在里面搜索到解决方案呢?然后 RL,强化学习就把它破解了,对吧。我觉得那就是我最初进入 AI 领域的方式。我当时就是对模型或系统、对能够自我改进的智能体非常感兴趣,对吧。所以我到 Penn 读博士的时候,就非常想做强化学习。所以我是联合指导的。当时我的两位导师都对 RL 感兴趣。其中一位导师更偏机器人方向。他在 Berkeley Robotics Lab 做过博士后。所以我就是这样接触机器人的。在 Penn,我们有 GRASP Lab,我认为那是做机器人研究最好的地方之一。所以我就是这样在博士期间开始做机器人强化学习的。然后,我做了一堆研究,思考如何把强化学习和人类数据结合起来,如何以非常严谨的方式做强化学习理论。之后我去了 NVIDIA。那时 GPT-4 刚刚发布。当时我们非常感兴趣的是解决一个转笔任务。我不知道为什么。就像,-
Swyx [01:01:35]: 这是灵巧-这是灵巧性的极限,对吧。你能解魔方,然后你就-
Jason Ma [01:01:39]: 当时我在和,-
Swyx [01:01:41]: Jinpeng
Jason Ma [01:01:41]: … Jinpeng at UCO,你们可能也认识。就像,是的,我们当时就说,"好吧,我们来试试灵巧的转笔吧。"最初的想法是从人类视频中学习,对吧?我们试图观察人类是怎么做的。但后来我意识到,好吧,今天我们根本没有能转铅笔的灵巧手。那么即使从人类学习真的有效,我又该如何评估这个算法呢?所以我想,"好吧,我们需要先在模拟环境中尝试。"然后当我一尝试为机器人手和笔搭建模拟环境时,我立刻看到了问题所在。问题是,如果要我来设计这个模拟环境,为强化学习解决转笔问题设计奖励函数,那是不可能的。就像,我无法想出让强化学习学会正确行为所需的所有项。然后我就在想,"如果一个能写代码的模型能做到呢?"这就是 Eureka 项目的由来,对吧?我们基本上。在我看来,我们在模拟中拥有了第一个递归自我改进的机器人智能体,因为我们真的用它解决了一个此前无人演示过的新任务。这让我看到了使用语言模型、使用编码模型真正加速机器人技术的潜力。于是我去了 Google DeepMind,因为当时,即使到现在,他们拥有 Gemini 这样的前沿模型之一,对吧?所以我在研究如何将 Gemini 用于机器人技术。但最终我意识到,我做学术研究很有趣,但脑海中一直有个问题:"这一切重要吗?"就像,当你在实验室里做这类事情时,你问我,"我们怎么想出这么多有趣、好玩的任务?"你基本上是在做自己的评估。你在给自己批作业。就像,我想要更真实的东西。我想要能被世界上数百万人实际使用的东西。我觉得 2024 年是我们创立 Dyna 的时候,就像 2024 年底。那是我们可以把这些技术真正推向现实世界的正确时机。所以这就是为什么
Jason Ma [01:03:45]: 我和 Lindon Gao、York Yang 一起创立了 Dyna。快进两年,我们打造了我们的平台、我们的模型。我们的机器人在鼎泰丰。去看看吧,-
Vibhu [01:03:55]: 去吃吧。
Jason Ma [01:03:56]: 是的,去吃吧。这是一段旅程。但是,但仍然让我非常兴奋的是,就像一些——我们创立 Dyna 时我暂时放弃的很多想法,因为,要创办一家公司,你必须非常务实。就像,我认为 2024 年模拟技术还没准备好。但现在有了新的前沿模型以及我们内部看到的东西,这可能会改变。这非常令人兴奋。
产品驱动的研究、实验性评估与公司文化
Swyx [01:04:20]: 那么接下来我们也来谈谈公司文化。你建立公司所依据的原则是什么。显然——你负责科学和研究议程。而且看起来当我们见到工程师时,他们非常投入,而且他们有很大的自主权。他们有很多动力。
Vibhu [01:04:38]: 我觉得很有意思的是,大家在业余做了多少副项目。我们看到的一些 demo,做它的工程师就是觉得“嗯,这个挺好玩,不如就做了”。说到你提的有趣评测,就在镜头后面两步远的地方——
Swyx [01:04:55]: 这个不能说。
Vibhu [01:04:57]: ……就是那个评——评测就是有几支荧光笔,四支荧光笔用橡皮筋绑在一起,对吧?就是说,谁会想出“对,我们需要测试把橡皮筋绑在荧光笔上”这种事?真是——
Swyx [01:05:07]: 有点颠覆认知
Vibhu [01:05:08]: ……挺好玩的东西。这里的人非常……有创造力。这是个很棒的空间。
Jason Ma [01:05:12]: 是的,我觉得是文化。对,那我们先聊聊我们是怎么运营公司的吧,对吧?我们把自己看作一家最终会成为“研究+产品”的公司。有点像 OpenAI,你做前沿研究,但最终所有成果都会通过 ChatGPT 落地到 Codex 里。我们也是这么想的。我们不是为了做那些当下感兴趣的开放式的东西。我们始终是产品驱动的。比如,我们想把我们的机器人、我们的平台部署到新客户那里。我们要解决哪些技术问题,对吧?我们要解决泛化问题。我们要解决全身控制问题。我们要解决如何快速适应的问题。我们要解决如何让机器人听懂语言的问题。我们要解决灵巧操作的问题。所以一旦所有这些问题都非常明确了,那么……我们的工程师能力很强,他们非常聪明。所以他们只是创建任务的实例。他们会创建能够对这些能力进行压力测试的任务,对吧?比如抓取饮料这个任务,就是我们测试语言跟随能力的方式,对吧?你只需要指定你想要什么。如果模型能理解意图、遵循指令,它就应该能做到。所以我们的思路就是这样。在最高层,我们要识别出必须解决的问题。然后我们有很多底层子项目来实际推动执行、解决这些问题。然后你要招对人。这里的每个人都对机器人充满热情。他们做这行已经很久了。他们热爱它。我们只是营造了一种让这一切自然而然发生的文化。这真的是一个工作起来很有趣的地方。
团队:硬件、软件、研究与学习
Vibhu [01:06:44]: 技术研究软件与公司硬件方面的比例是多少?
Jason Ma [01:06:51]: 我们最近扩张得很快,所以我没有一个确切的数字。但我想说在硬件方面,大概有百分之三十、百分之四十是硬件,因为硬件需要更多的人手。然后我们有大约十个人在做模型。还有软件工程师、机器人工程师。我们在业务方面也有很多非常有才华的人。做机器人公司最有意思的地方在于你能看到一切。世上一切可能有用的东西都会有用,对吧?所以你在和许多来自不同背景、都对机器人充满热情的人合作时,会获得非常多的历练。我觉得作为创始人,这真的让我大开眼界。因为当我在实验室做研究员或读博士的时候,我每天都在和研究人员交流,那很棒,真的很好。我现在仍然每天都能那样做,但同时我也能从各行各业的许多人身上学习。比如我们负责采集数据的一些人,他们之前完全没有机器人方面的经验。他们之前在零售业工作,或者做其他工作,然后来到了这里。他们也变得在机器人方面训练有素,我觉得看到这些真的很了不起。而我觉得自己仍然在学习,你知道的。我觉得自己在机器人领域就是一直在学习,我从来没有像现在这样学到这么多。虽然,你现在想想我,我已经不是学生了。我在这里经营一家公司,管理很多事情,但我仍然觉得日常的学习是如此之多。
Dyna 的愿景及其名称的由来
Swyx [01:08:29]: 最后想问一下,Dyna 要往哪里去?两年后、五年后,愿景是什么?
Jason Ma [01:08:37]: 是的,我觉得我们的愿景是真正——高层次的使命是真正把机器人和智能带入物理世界。也就是说,真正看到我们的机器人部署到成千上万的客户那里,甚至更多,数百万台机器人。这就是我们想要达到的目标。
Vibhu [01:08:58]: Dyna 这个名字是什么意思?Dynamic(动态)吗?有什么故事吗?
Jason Ma [01:09:03]: 是的,有很多故事。Dyna 是我起的名字。当时内部有很多备选方案。
Vibhu [01:09:09]: 那功劳归你了。
Jason Ma [01:09:11]: ……内部有不同的备选方案。但这个名字的由来有两方面。一是图灵奖得主、强化学习的先驱 Richard Sutton 很多年前写过一篇论文,就叫 Dyna。它讲的是一个能够自我改进的智能体、世界模型。我感觉即使在我们创办公司时还没有做世界模型,我也觉得机器人问题最终会这样被解决。而现在我们的技术方向正在向那个方向收敛。所以我觉得这是一个非常好的灵感来源,另外因为我做过强化学习,我对 Richard 非常尊敬。第二件事则更个人化一些。我在日本长大,我出生的那一年正好有一部动画片。不知道你们有没有看过奥特曼。
Swyx [01:10:00]: 当然看过。
Jason Ma [01:10:01]: 对,那一年的奥特曼就叫戴拿(Dyna)。所以,嗯,这是一个很微妙的细节,不是很多人都知道,但我猜现在大家都会知道了——
Vibhu [01:10:10]: 团队也正在发现这一点。
Swyx [01:10:13]: 但我觉得 Richard 会很欣赏的。我不知道你有没有跟他聊过,不过——
Jason Ma [01:10:16]: 没有,我在 RL 会议上见过他。
Swyx [01:10:18]: 你就应该直接说:“嘿,这家公司——”
Jason Ma [01:10:20]: 好啊,我会邀请他来的——
Swyx [01:10:21]: “是受你启发的。”
Vibhu [01:10:22]: 大家都知道 Richard 讲课更好,不过你懂的。
Jason Ma [01:10:24]: 是啊,讲课也更好。
Swyx [01:10:27]: 好的,还有什么临别感言或行动号召吗?
结语:部署真实机器人,构建未来
Jason Ma [01:10:31]: 行动号召。是的,我觉得我确实感到,作为一个行业,机器人领域仍然非常以演示为导向。比如,我过去在实验室做过很多演示,即使在这里我们也不得不展示一些演示。但我认为我们需要更多真正以使命为驱动的人,不惜一切代价让机器人落地部署,让机器人基础模型真正与硬件集成,并在真实客户现场看到它们。我认为我们在这方面是先驱,我希望看到这个领域有更多发展。对于正在观看的观众,如果这个使命激励了你,如果解决当今最难的问题是你每天起床的动力,而你想要做出贡献,我们一直在招聘,期待你的加入。
Swyx [01:11:14]: 旧金山湾区?还是其他地方?
Jason Ma [01:11:16]: 是的,目前只在旧金山湾区。
Swyx [01:11:18]: 旧金山湾区。
Jason Ma [01:11:18]: 但随着公司发展,对其他地点永远不要说不。是的,这就是我想说的,我希望看到世界上有更多的机器人。
Swyx [01:11:27]: 酷。恭喜你们取得的一切。两年时间取得这样的进展真是不可思议。是的。太棒了。
Jason Ma [01:11:34]: 是的,我真的很感激。谢谢你来探访我们。希望你玩得开心。
Swyx [01:11:40]: 我不后悔在现场做这期节目。我们在演播室做了很多采访,但这次来现场很值得。
Jason Ma [01:11:48]: 我觉得对于机器人来说,就得在现场做。
Vibhu [01:11:51]: 正在收听的朋友们,去看看视频版吧。我们有很有趣的空镜素材。
来源:Latent Space · latent.space