Latent Space 访谈 SF Compute CEO:可编程数据中心与算力交易
The Programmable Data Center — Evan Conrad, SF Compute
Latent Space 在 AIE NYC 现场访谈 SF Compute CEO Evan Conrad,讨论算力市场如何实现物理结算。SF Compute 从转租集群起步,逐步自建云级运营能力,将约5%总容量挂上订单簿,并以多约束撮合引擎匹配非标算力,代价是流动性分散、买卖价差更大。
AI 全文翻译,未经原作者审校;可切换原文对照。
本段录制于 AIE NYC 全新 Compute Trading 赛道的现场。下次请在 AIE CODE 与我们相见,那是我们面向全球顶尖 agentic 工程师的收官旗舰大会。
在云计算的早期,前嘉宾 Martin Casado 做出了一项极具颠覆性的东西,以至于思科深受威胁、出资 6 亿美元将其买下,而 VMware 更是出价 13 亿美元竞购:
这一概念就是软件定义网络,它通过将控制平面与数据平面分离,实现了路由网络的虚拟化。如今,这场革命正席卷 GPU——此前,自建超算集群需要 5000 万至 1 亿美元的前期投入,用于获取承诺并打通从硬件、固件到内核的整套技术栈,而现在 SF Compute 不仅让你能买卖当下及未来的 GPU 小时,还能以可编程方式掌控从网络到内存的一切。
我们上次与 Evan 谈的是算力的商品化。在 AI Engineer New York 大会上,我们聊得更深入:要实际交付一份 GPU 合同需要什么?在算力市场具备流动性之前,必须满足哪些条件?
从卖一间房到运营一家酒店
Evan 用酒店的比喻来描述 SF Compute 的扩张。客户先是要一间房,接着又要求清洁、客房服务和安保。最终你会发现,交付这间房意味着运营整家酒店。SF Compute 起步时只是想转租一个集群;此后公司已构建起云厂商的大部分运营能力,以交付其市场上交易的算力。
这项工作就是实物交割:买方获得的是可用的算力,而不是仅仅拿到一笔对标指数的现金支付。它把集群的物理约束带进了市场本身。这个工作负载能否被中断?它能多快从存储中恢复?它需要哪一代 GPU、怎样的网络和软件配置?这些细节既影响合同,也影响价格。
让算力可交易
SF Compute 并没有等待所有 GPU 集群变得可以互换,而是撮合带有不同约束条件的订单。Evan 认为,这使得交易在技术不断变化的同时成为可能,代价是流动性被分散到更多变体上。我们还讨论了现货与远期定价、批处理与实时推理,以及为何指数可能与实际购买算力的成本脱节。
独立性是 Evan 主张由市场运营方来运营的核心论点。他认为,拥有庞大硬件或推理业务的公司存在利益冲突,使其更难运营一个中立的交易所。我们还聊到了那些不那么光鲜的工程细节:实地考察、设计集群、运行背板,以及让基础设施可编程。临近结尾时,他将动态细分 InfiniBand 网状网络的能力作为一个例子加以描述。
嘉宾:Evan Conrad,SF Compute 首席执行官。
节目笔记
时间戳
0:00 — 为什么英伟达做不出这个?
0:25 — 欢迎回到 Latent Space
2:23 — 从出租一个房间到经营整家酒店
3:47 — 实物交割:真正交付算力
6:00 — 流动性与 GPU 订单簿
8:42 — 交易非标准算力
10:00 — 打断与迁移工作负载
12:20 — 为什么硬件批次很重要
14:32 — 算力合约的期限有多长?
16:19 — 批处理与实时推理租赁
17:58 — 算力价格的形态
20:33 — GPU 代际、规格与 SKU
23:30 — 实物交割与现金交割
27:00 — 新兴的算力市场生态
29:03 — 交付一个 GPU 集群需要什么
32:24 — 主权算力
33:26 — 为什么 NVIDIA 无法打造这个市场
34:48 — 一个可编程的数据中心
文字记录
自动生成的文字记录,仅做了简单排版;说话人标签未经核实。
00:00 NVIDIA 显然是房间里那头 800 磅重的大猩猩。他们为什么没有做 SF Compute?我们的判断是,NVIDIA 做不出来,但会从它的存在中获益匪浅。他们做不出来的原因在于,如果他们做了,就无法保持足够的独立性,人们也就无法在其上进行交易。
00:25 总之,Evan,欢迎回到 Latent Space。非常感谢。欢迎回到 AIE。其实,这是第一次来 AIE。我想是的,是的。这次非常特别,因为我觉得你一直在做算力交易、算力市场方面的工作。现在感觉正是时候。是的。Jump 基本上宣布要进入算力市场,这也是为什么我很兴奋能把大家聚在一起。你见到了 SemiAnalysis 的 Oliver,我的理解是他基本上开始覆盖算力市场了。所以大家会来看你的演讲。
01:00 我认为它很好地解释了你的创业故事、你为什么必须存在,以及你所攻克的所有难题。是的。而且是以一种非常简单、引人入胜的方式完成的。我非常羡慕你的写作技巧,因为你展示了你在 New Reps 上展示的那张传单。是的。我当时觉得,它非常直接、简洁,而且很棒。是的。总之,恭喜。谢谢,我很感激。也恭喜 AIE。看起来你们势头很猛。我们势头正劲。我刚参加完明年 AIE 的场地考察回来。你已经有线索了?在 Javits Center。就是他们举办 Comic Con 的同一个地方。好吧。哇。
01:35 哇。哇。厉害。但我认为金融这个焦点真的打动了大家。是的。所以我们打算把它拆分开来。在这里我们把所有东西都归到金融里。你的金融、他们的金融,保险也是金融,但它们其实完全不同。是的。所以未来我们可能会把内容拆分得更细,因为人们想深入了解对冲基金、银行业或个人财富。是的。尤其是在纽约。是的。Anthropic 就说,是的,我们现在全力做 RIA。是的。RIA 就是注册投资顾问。是的。和你们太不一样了。
02:10 不,不,不。我知道这个。是的。是的。好的。那么对于不了解的听众,两年前我们做过一期播客,你谈到了你的,你知道的,SF Compute 当时的情况。嗯,今天你,你更多地处于一种实体结算的状态。你在讲,你在讲你的,你的背板还是叫什么来着?呃,背板。背板。是的。这显然需要大量硬核的工程技术。是的。嗯,你能更新一下现状吗,就是说,SF Compute 相比两年前最后一次上播客时处于什么位置?所以,呃,我们刚开始的时候,我们是一家叫 Junark 的公司,然后我们只是想转租我们的集群。
02:45 嗯,我们从那里开始进入技术栈。嗯,思考它的一种方式是,这就像你在一家酒店,你想卖掉那间酒店客房。然后有人问你,嘿,你会打扫我的房间吗?嗯,然后你说,哦,我想我可能还需要酒店客房本身。或者比如我需要,嗯,清洁间。于是你去获得清洁间的权限,然后他们想要客房服务。于是你获得厨房的权限,然后,你知道的,他们想要,嗯,安保。于是你获得安保间的权限,你得到这个,你做那个,你做这个。到了某个时候,你实际上就在运营整家酒店了。嗯,而当你运营整家酒店的那一刻,你说,哦,等等。
03:21 嗯,相反,这个市场上的供应商,嗯,更像是一个基金,嗯,或者一个拥有访问权限的云,在我们的例子中,是一个拥有数据中心访问权限的云。而我们要升级。所以过去几年我们一直在做的,是构建一个云的完整运营能力,嗯,以便提供,以便真正以可靠的水平交付,呃,算力。嗯,我们称之为实体结算。我们借用的是期货市场、期货市场、其他市场的一个术语,嗯,在那里,你知道的,
03:57 石油或大豆之类的,实体结算意味着石油和大豆会交付给你。是的。嗯,但是,嗯,在某些市场,嗯,比如石油和电力,嗯,石油有一个交付网络。你必须有管道。如果你想让石油交付给你,就必须有办法把它送到你那里。是的。嗯,金融,对于对金融历史感兴趣的人来说,在新冠疫情期间油价变成了负数,因为,呃,所以就像我会付钱让你从我这里把石油拿走,因为它就堆在港口。呃,而且,我付不起这个钱了。
04:32 是的。所以我会付钱让你把我的石油拿走。是的。这就是实体结算的怪异之处。是的。在其他市场也有许多这样的怪异之处。所以在电力市场和电网中,嗯,你填写的订单中有一部分,买单和卖单,嗯,之所以存在是因为锅炉需要一段时间才能冷却。嗯,然后你可以,你知道的,关掉锅炉,然后它会,你可以在一段时间内重新启动它。所以这必须被纳入订单簿。嗯,这种现象与算力市场中发生的事情是一样的。所以我们共同设计了实体结算和订单簿,
05:10 同一时间。这意味着我们实际上要处理真实的算力约束,比如,哦,我可以接受被打断,但前提是设备上有某种存储,让我能非常快地恢复。嗯,非常类似的问题。是的。那么,呃,人们可以参考你的演讲,而且你已经做过几档其他播客了。嗯,所以我想讲的是 201 级别而不是 101 级别的内容。当然。呃,而且因为我,我曾经是一名衍生品交易员,所以我可以给大家提供一些你通常不会涉及的更多细节。嗯,比如说,嗯,这个算力市场到底有多成熟、多深入、多具流动性
05:45 ?呃,目前还不太成熟、不太深入、也不太具流动性。好的。所以我们一直在做的事情是,首先我们必须先让一大批供应上线,这本身就需要一段时间。然后我们必须构建整个平台来实现这一点。嗯,我们刚刚才让它运转起来。所以现在我们把容量转移到订单簿上,嗯,这使它具有流动性。嗯,我们总容量的 5% 在订单簿上,而且我们一直在持续转移越来越多的容量。然后我们还在引入更多容量。这些都会上订单簿。嗯,好的一点是,嗯,也许我应该说的是,实际订单簿上的交易量很小,但,
06:21 嗯,订单簿上的流动性很高。所以对于你拥有的那一小部分容量,嗯,你拥有,嗯,非常集中的流动性。所以,嗯,一个标准指标,我想对于使用这个的人来说,就是一个从我们这里购买容量的客户,他们花一百美元购买这个容量。我们平均能通过把它卖回给其他人赚回 25 美元。嗯,这就是我们,或者这是我们试图跟踪的指标之一,因为我们希望流动性对商业参与者有用,而且你可以用很多不同的方式来衡量流动性。你可以说,比如,我只想要大量的做市商之类的。
06:56 嗯,你也可以用高深的方式来衡量它。我们试图通过,比如,这是否为客户解决了问题来衡量它。是的,明白了。那么,呃,上次我们聊天时,也有很多关于合约,呃,标准化合约的讨论。是的。和,呃,CFTC 之类的机构谈,这些事情的进展如何?嗯,我认为总体上标准化合约还相当遥远。嗯,我们当时想做的,嗯,或者说我们过去几年学到的就是,我们需要
07:31 运营整个系统。否则你无法对它进行标准化。所以要接近可以标准化的东西,你首先需要让这个系统的所有运营方式保持一致。对。举个可以不同的例子,一个运营商可以提供两种不同类型的虚拟机。一种虚拟机,嗯,相比另一种虚拟机可能有 40% 的性能,嗯,下降。40% 是很多了。你说性能下降,是指 MFU 之类的指标,还是你经历过的燃烧量之类的,还是什么?它会影响。所以在这种特定情况下,我指的是 GPU 内核启动以及这需要多长时间。
08:07 嗯,这是你在做训练或推理时经常发生的一个过程。嗯,那个,嗯,呃,基本上,最终结果是你得到更差的 MFU,但是,嗯,比如是中间层。基本上是中间层。是的。是的。所以,所以我想说的是,对于任何做过大宗商品交易的人来说,大宗商品有不同的等级。是的。对吧。就像,它不是石油。它是轻质低硫原油,或者轻质低硫原油的反面,或者像是,你知道,呃,A 级玉米或 B 级玉米之类的。呃,所以人们想要,嗯,你必须建立这些东西的等价标准。没错。是的。我想知道它们是否已经建立了。
08:42 所以我们转而做的,嗯,是创建了一个具有多种不同约束的订单簿,你可以说,我想要一个介于这个和那个之间的东西。嗯,它从这个时间运行到那个时间。嗯,它像是,呃,X 到 Y,你可以附加到订单上的一堆不同的属性。然后我们在一个大型撮合引擎中将它与具有这些属性的卖单进行匹配。嗯,我们这样做的原因是,它让我们能够在不必事先标准化、了解这项技术能做什么的情况下产生流动性。嗯,而且因为技术变化如此之快,嗯,我们基本上希望能够做到这一点。这样做的代价是你的流动性集中度更低。
09:18 所以价格将会出现,买卖之间会有更大的价差。是的。嗯,这很糟糕。是的。但另一方面,这意味着如果你能正确操作的话,会有很多套利机会。所以如果你有一个可以使用许多不同类型算力的产品,嗯,那你可能会非常喜欢 SF compute,因为你将能够使用许多不同类型的算力,你会赚更多的钱。嗯,你可以赚取价差。好的。在这个东西的网格中,哪些维度很重要?嗯,有很多不同的东西。嗯,其中一个维度类别我会说的是,是否有一个
09:53 工作负载现在正在上面运行,还是它是未来的算力?当然。是现在的算力吗?嗯,现在的算力,为了卖出它,嗯,你必须中断你当前的工作负载。所以你必须考虑,我是否在乎我的当前工作负载被中断。从一个月后开始的算力,嗯,你可以随时买卖。所以你很容易就能获得那方面的流动性。嗯,会有一些顾虑,比如,哦不,我下个月有算力,但这与你现在中断一个工作负载非常不同。嗯,中断发生的方式很重要。举个例子,如果你在一个集群上,而这个集群的存储没有你想要的那么出色。嗯,举个例子,比如,你底层用的是 Weco 还是 Vast 系统?
10:31 嗯,你们提供这个吗?还有,这个的规模有多大?嗯,这会改变你对被抢占或从集群中移除时的响应方式。同时,存储的位置也很重要。所以,嗯,如果你能快速地把数据从一个集群移到另一个集群,嗯,那么也许你就可以跨多个不同的集群进行分布。嗯,你可以在这里被打断,然后又在那里重新出现。嗯,要实现这一点,你还需要一个集群与另一个集群之间的快速传输路径。通常这是通过 WAN 实现的,但大多数这些集群并不
11:06 一定有,嗯,比如广域网。是的,广域网。所以,基本上就是把集群连接在一起的线缆。也可以把它看作是一个私有互联网。呃,如今启动的很多集群,它们不像传统的 CPU 集群那样,为了延迟原因而部署在客户旁边。对于 GPU 来说,它们是部署在电力旁边,嗯,无论……你知道,你会把数据中心建在电力旁边而不是客户旁边。嗯,这意味着很多东西被放在了以前人们并不预期会有数据中心的地方。
11:41 因此,你可能没有,嗯,从一个到另一个那么,嗯,出色的传输路径。所以这,这开始变得重要了。嗯,其他的例子是,嗯,一些奇怪的事情,我们理论上支持,但实际上并没有,嗯,呃,这是我们正在考虑的事情,但基本上还没做。嗯,早期的 GB 200 坏了。早期的 H 100 坏了。嗯,所以如果你在买 H 100 或者你在买 GB 200,你可能真的想要那些在某个时间之后部署的,因为你不想拿到下线的那些第一批烂货。
12:16 所以如果你是一个非常成熟的客户,你可能愿意为此多付钱,嗯,因为……哦,所以这,这跟它们是哪一批生产的有关,而且它们会随着时间的推移变得更好。所以,呃,下线的第一批可能有一些故障或问题。对。所以如果你拿到的是第一批,嗯,或者第一批出货的,嗯,那么是的,它们可能会坏掉,或者,嗯,有某种问题。我猜这个过程大概是这样的:听着,到处都有缺陷。这,这很正常。对,完全正确。所以,比如你从 TSMC 或其他地方收到一批新货,你就跑一下测试,然后你,你找出
12:53 哪些,哪些是坏的,然后把它们扔掉。事情不就是这样运作的吗?我,我不知道还有这种分批次的事情,比如,假设 2026 年第四季度的 B300 比 2027 年的 B300 差得多。是的。所以,嗯,我举个例子。嗯,你描述的是老化测试。是的。所以当你拿到一个集群,嗯,一个好的云,它会怎么做。它会试图在 GPU 交到客户手中之前把它们都烧一遍,嗯。然后,嗯,那些坏掉的 GPU 或者坏掉的节点,嗯,你会走 RMA 流程。你基本上去申请。对。你把它退回去,然后拿到一个新的,这中间有个交货周期,但是
13:30 随便吧,你会拿到,你会拿回一些。嗯,然后客户就永远不用经历这些。嗯,我,嗯,指的是,嗯,比如早期的 H100,有一些固件 bug,可能甚至跟具体的,嗯,它们可能不是 NVIDIA 的问题。可能是 Super Micro 在你买的那台机器,嗯,机箱里有个固件 bug。嗯,而且它适用于所有机器,这无所谓。比如,嗯,解决办法就是你需要让他们更新固件。嗯,或者他们需要在每个新机箱里,嗯,装上新的东西。
14:07 是的。我们拿到的 B300s 就遇到过这个。嗯,IQ 不得不用 Devin 去修复它。是的。太棒了。所以不同类型的这种问题都可能发生。有意思。好的。所以我就想,好吧,跟整体相比这似乎很小。比如,我只是想,我想让人们了解这个市场的形态,嗯,你提到了比如抢占,你知道,我们还谈到了 spot 实例以及这个类比是怎么回事。是的。然后还有,你知道,提前一个月预订。这些市场能延伸到多远?实时的或者抢占式的,对你来说是不是比,
14:42 更远的更有趣?嗯,回答你的第一个问题,三到五年。嗯,哇。我们开始看到。按月还是按季度,还是怎么样?你是问现金流怎么运作吗?比如合约,比如期货合约,对吧?比如,再说一次,我以前是合约,呃,衍生品交易员。在市场本身,嗯,比如在更广泛的市场里。是的。集群的融资期限是三到五年。好的。嗯,所以付款完全是在那段时间里分期进行的。是的。我们订单簿里也有容量区块,嗯,可以延伸到任意时间。是的。所以我们必须为那个的,嗯,现金流做一些事情,
15:18 现在。我们做的是,我们只是要求人们为一个区块全额预付。嗯,对于更长期合约的租赁,我们不会要求他们这样做。这就涉及到一个我确实需要白板才能解释清楚的问题。嗯,但是,嗯,你还有另一个问题我正要回答。我忘了。你想要实时的还是想要,比如,你想要更,呃,什么对你来说更有趣?实时的还是更长期的?所以我们更关心更长期的,因为我们正在努力构建一条具有大量流动性的远期曲线。嗯,这些有点相同又有点不同。嗯,所以我们做的是,我们,因为
15:54 你可以买一小时后的,你可以买从现在到下一个小时的,也可以买从现在到未来三年的,以及两者之间的任何时间。这太疯狂了。我知道。嗯,所以,嗯,你知道,或者如果我,你技术上,嗯,存在某种因客户而异的差异。基本上,如果我有一个工作负载是,嗯,呃,基本上是批处理推理,我可以在任何点被中断。我其实不在乎。嗯,那么我的能力就是
16:29 被中断,嗯,大概是这样,我需要一个小时的时间来知道,嗯,我将要被中断,然后我就没问题了。或者我甚至可以在一两分钟内收到通知。嗯,但如果我有,嗯,实时推理客户期望我在线,嗯,那你可以中断我,但要提前一个月,也许两个月,也许三个月。嗯,然后我可以在那段时间内调整以适应那个容量。嗯,但你不能在一分钟内中断我。嗯,所以这两样东西的定价是不同的。而它们定价不同的原因在于,价格是多少
17:05 你愿意支付多少来中断你的批处理作业?这与你愿意支付多少来中断你的实时作业非常不同。如果你有一个实时作业,当你为客户中断时,你可能要支付违约赔偿。嗯,这说得通吗?是的,我明白了。所以这实际上是一个违约市场。这些是违约市场。天哪。然后还有未来租赁的市场,或者说那些,嗯。哦,我以为这是转租的情况。这是违约。所以思考这个问题的一种方式,嗯,是在电力市场中,实际上有两个市场。嗯,有日前市场和
17:40 实时市场。算力也有类似的情况,嗯,它有即将上线的容量,嗯,或者即将交付给你的容量。嗯,还有当前正在使用的容量。这些有不同的价格动态。好吧。有意思。是现货升水还是期货升水?现货升水还是期货升水?是的。那么,嗯,算力远期价格是高于现货还是低于现货?嗯,算力远期价格?它是这样走的吗?它是那样走的吗,呃,你知道的,比如一年期、一年远期、两年远期?
18:16 是。哦,这是,呃,两者在不同时间。我觉得你不知道这一点很令人着迷。是的。嗯,两者都有。这取决于你是谁。嗯,好吧。那么,呃,我来说明一下。嗯,等等,所以你问的是算力现在是否在出售?今天的同一单位算力。是的。呃,也许不是今天,也许是一个月后对比一年后对比两年后。那条曲线是在上升还是在下降?我们看到,像一个驼峰。天哪。好吧,那么解释一下,嗯,比如,我认为这会很直观,基本上就像如果我有牛奶而且它快过期了,我会降价。是的。嗯,所以这基本上就是我们看到的。
18:52 这就像,基本上就是 Nvidia 的发布周期,对吧?呃,我们更多是说,如果有一批算力正在临近现在,嗯,它不能在过去被卖出。所以它必须降价才能以某个价格出清。是的。所以最初你会看到这种下跌,嗯,现在正在出售的东西,现在市场上任何在售的东西,嗯,都是还没卖出去的。所以价格会下跌。嗯,然后它会上升,嗯,回到它应有的水平。嗯,然后也许未来的算力价值更低,嗯,因为人们不想要,比如人们想要现在的算力。所以他们某种程度上是在为更短的交付周期付费。嗯,他们为远期的算力付得更少。
19:28 这就是我认为一条正常健康的曲线该有的样子。是的。让我觉得,哦天哪,不是开玩笑的地方在于,嗯,现在如果你拿一块 B300 想在上面跑推理,嗯,你可以以每小时 40 美元左右的价格把推理服务卖出去。基本上任何模型都行。嗯,那是按 100% 利用率算的,如果你只有 50% 左右的利用率,那大概就是每小时 25 美元。是的。每小时 25 美元。与此同时,你买 B300 的成本大概是每小时 5 到 6 美元。这两个数字里必须有一个要变。是的。这是一个巨大的套利机会。巨大的套利机会。你在演讲中经常提到这个。
20:04 是的。所以,嗯,很多人基本上在看着这个想,嗯,如果我觉得价格会上涨,我可能会愿意在未来支付比我之前预期更高的价格。嗯,因为我可能会想,好吧,我现在能买到五块,但如果以后买不到了,那也许我愿意在未来买更多,只是为了锁定它,如果它稍后才会上线的话。所以我们也能看到另一面。嗯,这取决于你是谁。酷。那么,可以吗。我就是,我就是想把这一点说得非常清楚。当然。你关心不同代的芯片吗,还是你只关心总体的 FLOPS,然后把它分配到你想要的任何芯片上?
20:40 呃,我们关心不同代的芯片,因为……你关心。我觉得,我猜你的客户关心吗?关心。对。哦,等等。你说不同代的芯片,是指像……比如 B300,B300。完全正确。对。或者甚至 AMD 之类的。对。呃,是的。我觉得人们完全关心芯片的代际。嗯,我觉得部分原因是像显存这样的东西。嗯,部分原因是像,嗯,更大的 NVLink 域。对。以及类似的东西。所以根本没办法把所有这些抽象成某种通用的计算单位,让你可以随意摆弄。我觉得就像你说石油,连石油都不是石油。石油实际上就是一堆不同种类的石油。
21:16 对。比如航空燃油或者车用燃油之类的。我觉得是一回事。嗯,你会得到一堆不同的种类。是的,但你有炼油厂。对。可以有效地做成黑箱。你可以把油放进去,然后得到想要的东西出来。嗯,如果算力,它太异构了,我想这就是那个词。你必须把底层的复杂性暴露给你的终端客户,这对你作为做市商来说是不利的。也许吧。就像你想找到那个唯一的瓶颈点,或者,我不知道瓶颈点更好的说法是什么,比如一个谢林点,让所有人都同意,好吧,这算是一个标准,我们都同意这个标准,然后,呃,你知道的,它会
21:53 有些低效。是的。呃,所以我们已经能够把问题降低到一定程度,但是,是的。就像你的工作是降维。是的。我们降低了很多维度,但尽管如此,仍然存在维度。对。它仍然会存在。你,你知道你有多少个 SKU 吗?所以,嗯,大概五乘一百乘五千等于,我不知道。其实我们把 SKU 做成了一个概念,嗯,目标是让别人可以创建自己的 SKU。所以如果我想买 Blackwell,我可以说我愿意出……
22:31 以每小时 6 美元或更低的价格购买 Blackwell。你可以拿我跟 GB300 比,也可以拿我跟 B300 比,只要 Blackwell 每小时低于 6 美元,我不在乎是哪一款。但你刚才说你在意显存和其他东西。完全在意。但不是每个客户都在意。所以有些客户,嗯,只要能用 Blackwell 就行,是什么都无所谓。有些客户极其挑剔,他们需要的就是这个特定的东西,而且他们愿意为此多付钱,因为市场会向他们收更多钱。好吧。嗯,这就是我们所做的。所以,人们使用你们的 API 以编程方式定义他们想要的东西,然后你们将其与卖方的某种组合进行匹配,呃,他们可能、可能、可能能够履行的组合。
23:08 是的。嗯,但有一个前提,即命名查询是我们正在做的新功能。嗯,但查询系统作为一个概念,就是目前订单簿的运作方式。好吧,有意思。嗯,好的。那么,呃,你知道,我、我觉得这已经涉及了很多,我想,细枝末节的东西。有没有什么你想让人们了解的,无论是金融人士还是工程师,关于你所发展出来的算力交易市场的现状?因为实际上你们正在定义它。嗯,主要就是对实物结算的要求。是的。嗯,我们认为如果你……我们花了三年时间学习为什么你需要
23:44 实物结算。嗯,而,嗯,我们今天整个谈话的内容就是,嗯,这些东西并不像你想象的那样可以互换,我们会努力让它们变得可互换。那是这个行业的工作。嗯,但如果没有这一点,你会面临很多风险。嗯,如果你试图在行业有时间建立起,嗯,实物结算之前,就构建,嗯,过多的金融化,嗯,我认为你会得到一个非常容易被操纵的市场,以及一个存在大量基差风险的市场,其中,嗯,你所对冲的价格实际上与
24:22 你实际可以购买算力容量的价格毫无关系。是的。所以,听众们,呃,我们上次简短地谈到过这个,但是,嗯,人们常常震惊地发现,比如说信用违约掉期市场是其保险的债券规模的 12 倍,诸如此类,或者说,呃,抵押贷款,嗯,某种再保险市场,呃,或者所有这些都大于其标的的实物结算。所以这就是实物结算与现金结算的区别。是的。而且,而且基本上现金结算就像是你在《大空头》里看到的那种,呃,场外押注,嗯,其中,呃,它们,
24:59 它们可能,呃,可能与标的物本身毫无关系。而且它可能,可能被用作其他整体事物的代理。是的。而你不希望这失去控制。是的。所以明确一点,我们认为,嗯,现金结算作为一个远期概念是个好主意。是的。嗯,我们只是认为它应该从实物结算中衍生出来。是的。因为正如你所说,它是一种场外押注。嗯,这就有点像如果你,我是说,有点像你在做出现金结算之前先做了实物结算,嗯,我认为人们其实已经在这么做了。是的,完全正确。人们试图在做出现金结算之前先做实物结算。而人们对各种各样的事情都这样做,包括
25:34 创业公司的股票。是的。对。就像你可以买卖一份虚构的 OpenAI 股份,但这跟实际的股份毫无关系。是的。嗯,而且其中很多都进行得很糟糕。嗯,如果你卖,嗯,如果你开始出售一只还不存在的股票的衍生品,那就有点糟了。嗯,是啊。是啊。嗯,所以,我的意思是,我们做的一件事是,我以前是做货币交易的,对吧。是的。还有利率。我们做的一件事是,有一个委员会聚在一起说,这是伦敦银行同业拆借利率 LIBOR。是的。我们都同意这是月度定价,我们都
26:12 按照这个定价进行交易。是的。呃,三年后的某个时候这还有意义吗?所以关键是 LIBOR 被操纵了。是的。我们目前的担忧。有 12 家银行?是的。是的。嗯,我们的问题是存在一个非常类似的问题,嗯,即你可以操纵一个指数。嗯,我们的印象是,之所以能操纵那个指数,是因为很多指数是基于非常少量的数据,而这些数据与购买新储备合约的实际价格没有太多关联。嗯,这就是我们所担心的。好的。
26:47 有意思。嗯,好的。我想,我想这就是大致的情况。呃,嗯,我想今天另一部分是,呃,你,你,你谈到了一个与 Jump 的活动,而且你和 Silicon Data 是朋友。呃,你从所有这些其他参与者身上学到了什么?比如,你认为哪些主要参与者在做有趣的事情?哦。嗯,我们是 Silicon Data 和 Compute Exchange 的忠实粉丝。嗯,我觉得他们也很早就进入了这个领域。嗯,我认为他们在尝试一条我们觉得,嗯,我们最终很可能会与之成为合作伙伴的路径。
27:23 嗯,你能区分一下你们不同的路径吗?所以,嗯,大致来说是他们在做现金结算。我们在做实物结算。嗯,我们认为两者都可以存在,也应该存在。嗯,而且它们对彼此是相辅相成的。嗯,所以完全没问题。嗯,所以我认为他们是这个领域最早的参与者之一,而且我认为他们非常明确地在其他人之前就押注了。我认为这非常值得敬佩。嗯,嗯,你提到了,呃,Jump。Semi Analysis,Jump。这些是正在崛起的参与者。就像,你是我接触这个领域的第一人。是的。然后,我看到所有这些其他公司进入,我就想,好的,这里正在发生一些事情。
27:58 我对这个领域的了解不如你清楚。是的。所以,嗯,我们看到的类别是,有些人正在努力制定更好的标准。所以 Semi Analysis 我认为正在努力创建更好的标准。嗯,有些人正在尝试做,嗯,残值保险之类的。嗯,这个领域有很多不同的公司。我跟他们都不太熟,但,嗯,我知道,知道这是一个概念,我认为这很重要。嗯,还有一些人正在尝试做,嗯,存款,嗯,贷款,比如他们会为你的云服务信用风险垫付。有一个公司生态系统正在围绕如何解决算力的金融瓶颈而形成。
28:34 嗯,这确实很酷。我认为在这个生态系统中,你真正需要的是买家和卖家。你需要分析师。你需要,呃,我们说的保险,或者,呃,残值是什么来着。对。对。我们希望有一个这样健康的生态系统。嗯,但显然你们在承担实物交割这个问题,这非常有意思。嗯,好吧,那我们可以聊聊硬核技术方面,因为显然你们也在招聘,呃,极其厉害的工程师。是的。介绍一下你们的技术栈。嗯,我们做云所做的一切事情,但自己却不是云。
29:10 云。嗯,也就是说我们不拥有硬件。我们不拥有硬件的原因是,如果我们拥有,我们就能操纵远期市场。所以我们必须保持中立。我们必须保持独立。嗯,这也给公司带来了很多奇怪的地方。嗯,但为了进行实物交割,你必须进行实地考察。必须去参观数据中心。嗯,你必须,嗯,你必须设计物料清单,并确保,嗯,你基本上要做供应链咨询,嗯,与不同的 OEM 建立关系,确保货物按时
29:46 交付。嗯,然后你必须,嗯,做集群架构。嗯,呃,所以你要设计集群本身。嗯,然后你要,嗯,部署机架,或者与合作伙伴一起部署机架并进行监督。嗯,然后你要做,呃,背板管理。也就是接管,嗯,PDU 和交换机以及 DPU,还有,嗯,UFM 和 BMC,然后你来运营,嗯,你所销售的节点周围的整个,嗯,配套系统。你说的你们是指 SF Compute 的员工吗?是的。哇。嗯,那么,呃,当你从云服务商那里购买一个节点时,嗯,有裸金属,但裸金属周围还有一堆乱七八糟的东西。
30:23 对。嗯,为了让那个裸金属节点工作,你必须运营其他所有东西。然后我们……因为就像传统上数据中心的工作就是帮你把这些东西剥离出去一部分。对。我们就是做这个的。好吧。没错。嗯,但你们不是,你们不是做数据中心业务的。你们不是 Equinix 那样的公司。我们,我们不算是做数据中心业务的,嗯,我们合作的对象是这样的,我们提供超级计算即服务。嗯,这意味着人们来找我们说,你知道,
30:58 我有 X,这里的 X 是,我有,你知道,X 兆瓦的容量。有时候他们的意思是我有一个数据中心。嗯,就是,嗯,想把它变成一个 GPU 集群。比如我的选择是,我可以卖掉 GPU 集群,或者我可以把数据中心卖给别人,或者我可以自己成为云服务商。然后我们去找他们说,太好了。嗯,我们会把你变成云服务商。我们负责超级计算部分。你负责数据中心。我们合作。然后我们来销售,我来赚钱。嗯,有时候是那些手头有可以改造成数据中心的东西的人,这种情况下我们基本上会以项目管理的方式把它做到那一层。
31:33 嗯,然后我们会与那些……我们会与那些人合作,通过与合作伙伴协作,把他们的供能土地,嗯,或者他们拥有的任何东西,嗯,改造成数据中心。嗯,然后超算部分由我们接管。好的。这要求我们内部具备某种数据中心专业知识,但我们不自行施工。嗯,所以是的。是的。所以它,呃,有点模块化,因为你需要应对不同的场景。是的。呃,有人曾把我们描述成,嗯,呃,像计算领域的 Palantir,嗯,因为就像这些,每次都是全新的竞技场。
32:10 嗯,呃,但是,而且我们喜欢,我们,我们与各方深度合作。在双方。是的。呃,主要在美国,主要在美国,但我们在全球范围内运营。是的。SF Compute 这个名字到某个时候会不会名不副实?呃,所以当,所以我们在全球各地部署集群。是的。当我们这样做的时候,我们合作的对象是那些自己也想在世界各地成为云服务提供商的人。嗯,他们看起来像是主权计算玩家。嗯,而我们对主权计算的提议非常棒。呃,让我们帮你在自己的国家建立一个云。嗯,我们会带来旧金山的承接需求。我们会带来旧金山的专业知识。
32:45 我们会搭建集群。嗯,这就是我们全部的业务。啊,嗯,我们会成功的。你们主要的,呃,你们能点名的最大已公布合作伙伴是谁?嗯,没有我能点名的。真的吗?哇。呃,我们会在一两周内有一些公告,嗯,我们预计会有人加入。是的。所有事情大概如此。当然。当然。祝你好运。是的。不,我是说,呃,我,我觉得这对每个国家来说都很有趣,比如谁,谁在投资主权 AI 来解决这个问题。嗯,有趣的是 SF 仍然算是个知名品牌,呃,这,这非常有市场价值。
33:20 所以我认为有趣的事情之一就是思考这个市场。NVIDIA 显然是房间里的 800 磅大猩猩。他们为什么不打造 SF Compute?再说一次,答案会是市场操纵。但让我们真正深入探讨多个参与者的激励机制。是的。所以我们的印象是 NVIDIA 无法打造它,但它的存在让 NVIDIA 受益匪浅。他们无法打造的原因是,那样他们对人们来说就不再足够独立,人们就不会围绕它进行交易。如果你不围绕它交易,那么你就没有足够的流动性让贷款方基于远期市场提供融资。
33:55 这也是为什么 Crusoe 和 CoreWeave 和 Lambda,为什么超大规模云厂商无法打造它,为什么 Base 10 和 Fireworks 和 Modal 无法打造它,因为他们在那一侧有太多需求。这是一件惠及整个行业的事情,因为它降低了融资成本。但除非他们放弃所有大笔推理收入和所有大笔云交易的能力,否则没人能打造它。你必须扼杀你的业务才能做成这件事。这就是为什么没人这么做。从结构上讲,他们就没被设定为做这件事。而你基本上是在减少摩擦,而那就是你全部的收入。
34:30 你宣布了一些里程碑。其实我一开始忘了提这个。你能重复一下它们是什么,顺便稍微庆祝一下吗?我们已经完成了数亿美元的交易额。我们有相当数量的新集群正在路上。然后我觉得最让我兴奋的是,我们推出了一大堆新功能,使 SF Compute 对平台即服务(PaaS)公司来说非常可行。一个例子是我们允许客户细分
35:06 他们的 InfiniBand 网络,而无需向我们申请。很多云厂商,当你去购买时,他们会给你一个 InfiniBand 网络。然后如果你想重新规划那个 InfiniBand 网络的线路,你需要联系他们,然后他们会为你处理。我们现在可以为客户实时完成这项操作,我认为这非常棒,因为它与市场需求非常契合——你希望能够重新规划,以便扩展和缩减你的集群。你会把这描述成你在虚拟化数据中心并使其可编程吗?是的,我们在虚拟化数据中心并使其可编程。所以如果你拥有
35:43 硬件,你会得到的所有那些东西,我们都在尝试将其虚拟化,我认为这对我们来说很令人兴奋。这很有趣,就像上一次发生这种事还是在云计算时代,那真的很酷。最后,你知道,我认为你的行动号召是什么?是针对工程师吗?还是说,把你的算力供给给我?到底是什么?如果你想要拥有一个 GPU 集群并从中获得残值,你想把它纳入你的投资组合,我们很乐意与你合作来构建那个 GPU 集群。我们会接手并负责其中的超算部分,
36:18 确保一切顺利。我们承担 SLA(服务等级协议)。然后如果事实证明那是个坏主意,你需要退出那个集群,我们可以立即将该集群转售给其他人,这样它就不会影响你的资产负债表。非常简单的推销。嗯,非常感谢你抽出时间。你在为这个行业做一件伟大的事情,我很高兴能成为你的朋友。我很感激。好的。谢谢。就这些。
来源:Latent Space · latent.space