从开放权重模型的早期时代,到成为超过 1000 万开发者的中立路由层,OpenRouter 是最清晰地押注 AI 未来将是多模型格局的公司之一。在本期节目中,OpenRouter 联合创始人兼 CEO Alex Atallah,与 AMP 的 Anjney Midha 一同回归,和 swyx 一起剖析 OpenRouter 是如何从
第一波 Llama、Alpaca、Mistral 和 Midjourney 中诞生的,为什么模型多样性在成为共识之前就已重要,以及
一家曾被贬为“只是个封装层”的公司,如何成为 AI 生态系统的关键基础设施。
我们深入探讨了 OpenRouter 背后的产品与分发经验:为什么模型实验室可以花费数十亿美元训练一个检查点,却仍然难以将其送到开发者手中;Mistral 如何帮助证明了竞争性推理市场的价值;为什么 OpenRouter 选择专注,而不是扩展到微调、记忆和其他相邻产品;以及它的排行榜如何成为 AI 使用方式变化的实时地图。Alex 还解释了 OpenRouter 早期的模型融合实验,为什么他们删掉了第一版又在多年后重新推出,以及该平台如何增长到每天超过 10 万亿 token。
最后,Anjney 解释了 为什么 Stripe 和 OpenRouter 彼此契合,为什么 token 欺诈可能成为 AI 经济中决定性的安全问题之一,以及为什么下一波欺诈不仅来自人类,还来自 自主智能体攻击日益有价值的 token 流。
我们讨论的内容:
为什么 OpenRouter 很早就押注
没有单一 AI 模型会赢下一切Alpaca、Llama 和开放模型变得无法被忽视为什么 Discord 早期的 AI 部署暴露了
闭源模型的局限为什么模型实验室可以花费
数十亿美元训练却仍然在分发上失败OpenRouter 如何成为模型开发者的
中立分发层为什么风投曾将 OpenRouter 贬为
“只是个市场”或“只是个封装层”Mistral 价格战与推理市场的第一次真正验证
Midjourney 如何通过 Discord 扩张,以及它给 AI 生态系统带来的启示为什么加密基础设施成为
生成式 AI 的彩排OpenRouter 与 LM Arena 的对比,以及为什么它们的使命根本不同为什么
专注成为 OpenRouter 最大的战略优势之一Anthropic 早期对
AI 结对编程与编码的专注那些
做了原型但从未发布的 OpenRouter 产品MOM,OpenRouter 早期的
模型混合实验为什么
模型融合在 2024 年失败了——以及为什么它现在效果好得多OpenRouter 的排行榜如何成为
AI 行业的实时地图OpenClaw、自动路由和智能体如何重塑 AI 使用方式OpenRouter 如何达到
每天 10 万亿以上 token为什么推理网关正日益成为
欺诈的目标为什么 Stripe 的欺诈基础设施对 OpenRouter 具有战略重要性
即将到来的
智能体欺诈崛起与对 token 经济的攻击当
OpenRouter 加入 Stripe 时,什么会改变,什么会保持不变
Alex Atallah
LinkedIn:https://www.linkedin.com/in/alexatallah/Website:https://alexatallah.com## Anjney Midha
LinkedIn:https://www.linkedin.com/in/anjney/
时间戳
00:00:00 介绍
00:02:12 Alpaca、Llama 与多模型押注
00:06:04 Discord、开放模型与 OpenRouter 的起源
00:14:28 为什么“一个模型通吃”是错误的赌注
00:17:27 为什么模型实验室在分发上举步维艰
00:23:04 “只是个包装器”:为什么风投误解了 OpenRouter
00:27:58 通过社区自举 OpenRouter
00:36:16 加密货币、Midjourney 与早期生成式 AI 生态
00:43:38 Mistral 与推理市场的诞生
00:47:10 OpenRouter 与 LM Arena 的对比
00:52:08 专注、Anthropic 与未走之路
00:59:34 模型混合与模型融合
01:02:44 Sonnet、OpenClaw 与 OpenRouter 的爆发式增长
01:09:03 为什么 Stripe 收购了 OpenRouter
01:12:45 欺诈与新兴的代币经济
01:17:47 即将到来的智能体欺诈浪潮
01:19:07 OpenRouter 在 Stripe 的下一步
文字记录
引言:OpenRouter、市场与作为产品原则的发布-订阅
Swyx [00:00:00]: 好,我们现在在 Anja 的家里,旧金山所有大创业公司都是从这里起步的。
Anjney Midha [00:00:08]: 你好。
Swyx [00:00:08]: 恭喜 Cursor、Mistral。我——天知道还有什么。你手头有太多事情在忙。
Anjney Midha [00:00:17]: 确实,确实有很多事情在忙。嗯,OpenRouter 大概是——可以说是我最近最兴奋的一个。
Swyx [00:00:24]: 是的。我们还有 Alex,第一次上播客,不过,Anjney Midha [00:00:27]: 感谢邀请。
Swyx [00:00:27]: 你来过 IE 几次。感谢你每次为社区现身。恭喜。我就像,多么了不起的旅程。当我回顾你过去的文章时,我看到你作为产品人最早写下的原则之一,是把发布-订阅作为产品原则。我想——也许你可以解释一下你如何看待世界上应该存在什么。
Anjney Midha [00:00:49]: 是的。发布-订阅那部分,是 2023 年初写的,直到我们大概 10 分钟前聊天我才想起来,它讲的是有一种把产品看作订阅数据和发布数据之间交集的方式。市场就是一个简单的例子。你有供应商在向某个 SKU 发布某种产品。而 SKU 就像一个发布-订阅主题,消费者订阅它,然后想消费的时候就去消费。而人类的消费方式非常离散、临时。它不太可扩展。他们买东西时,全部注意力都在那个主题上,而那一刻他们的注意力不在别处。推理的智能体和消费者不是这样行动的。它们在持续消费,并且一直在改变它们消费的 SKU。所以 OpenRouter 就像普通 API 体验和市场之间的混合体,我们创建模型 slug。我们有自动路由器。我们有各种你可以订阅的产品 SKU。然后你可以持续地增加、从这些消费者身上获取价值并做出决策。
Alpaca、Llama 与多模型赌注
Swyx [00:02:11]: 是的。这件事现在更成为共识了,但在你们起步时还不是共识,那就是人们确实有交换模型、更换东西的需求,人们不会使用原生 SDK。我想,对你们每个人来说,意识到这会成功的时刻是什么?我,——你在 EIE 做过一个关于 Alpaca 的演讲,Anjney Midha [00:02:33]: 是的。
Swyx [00:02:33]: 你那些鼓舞人心的时刻之一。
Anjney Midha [00:02:35]: Alpaca,我可以,稍微重新讲一下 Alpaca 那个时刻。就像,最开始,在 2022 年底,OpenAI 是城里唯一的玩家。当时有,像,OpenAI、Cohere,Swyx [00:02:47]: 是的。
Anjney Midha [00:02:48]: 然后还有一些零星的、像,开放权重模型的早期尝试。
Swyx [00:02:54]: 是的。
Anjney Midha [00:02:54]: 当 Llama 在 2023 年 1 月出来时,感觉就像,“哇,真的很令人兴奋。这真的很重大。” 它在一两个基准测试上超过了 3。但你不能和它聊天。它不像是——它不是一个有吸引力的模型,但看起来只需要有人修好几件事,对它做一些 RLHF,就能把它完全带到那个水平。而 Alpaca 是我看到的第一个做到这一点的模型。它只花了 600 美元就做到了。斯坦福的一个团队生成了一堆合成数据,微调了 Llama,做出了 Alpaca,十亿参数模型。或者——也许是 130 亿参数。而且它太好了。就像,我当时就在,像,在飞机上用它。我,——在很多情况下,我,像,你无法分辨 ChatGPT 和 Alpaca 的结果。我想到,如果做一个模型这么容易,那么,第一,我们第一次有了一种全新的数据变现方式。你可以,像,拿非常有价值的数据,用 600 美元把它变成一项服务。而且这个成本可能还会随着时间下降。
Swyx [00:04:03]: 当你——抱歉。当你说把你的数据变现,是指最终会变成 MCP 端点,还是作为模型的训练数据?
Anjney Midha [00:04:12]: 是的,作为模型的训练数据。
Swyx [00:04:13]: 太棒了。
Anjney Midha [00:04:13]: 就像,用一种抽象的方式说,像,“嘿,我有这些数据。”
Swyx [00:04:15]: 把它压缩进一个模型。
Anjney Midha [00:04:16]: 就像,它对我的产品来说说得通,但是,像,我可以把它重新打包成模型的形式并出售。所以这对经济来说就是一种全新的商业模式。当然,它也提供了一种,像,跟进前沿实验室正在做什么的方式,但是以一种,像,单个开发者或小型开发者团队可以自己推进的方式。所以——每当你有一个这样的例子,像是一个表现非常好的爆款应用,然后又有某种框架让你用自己的风格来模仿它,你就会立刻拥有一个生态系统,像是一个立刻出现的生态系统,因为,像,单个公司正在做的决策,和更广泛的生态系统能够自己创造出的这些决策的所有变体之间,存在着巨大的差距。于是,你就需要一个市场,来,像,发现所有这些服务和所有这些产品。互联网上没有任何地方,像,是 LLM 的大本营,让人们能看到它们被使用了多少、看到谁在使用它们以及为什么使用。
Swyx [00:05:29]: 最接近的会是 Hugging Face。
Anjney Midha [00:05:30]: 当时最接近的是 Hugging Face,是的。
Swyx [00:05:31]: 他们在那之前几年才刚刚开始做 Hugging,像,之类的。
Anjney Midha [00:05:34]: 是的,而且 Hugging Face 也没有闭源模型。
Swyx [00:05:37]: 是的。
Anjney Midha [00:05:38]: 而且他们——当时你没法使用这些模型。也没有关于谁在使用它们的数据。OpenRouter 和 Hugging Face 之间有很多不同之处,这些差异对我来说非常关键,尤其是当我只是想了解 LLM,以及为什么人们会选择那些随时间涌现的不同的小模型时。
Discord、开放模型与 OpenRouter 的起源
Swyx [00:06:03]: 明白了。然后,Ansh,你一直渴望更多的模型多样性,当时你已经进入 Anthropic 之旅几年了,我们在之前的播客中也提到过。你是怎么认识 Alex 的?
Alex Atallah [00:06:16]: 嗯,我想那是在那之前十三年。
Swyx [00:06:20]: 哦。
Alex Atallah [00:06:20]: 但 OpenRouter 的握手就发生在那边,如果你还记得的话。
Anjney Midha [00:06:23]: 是的。
Alex Atallah [00:06:24]: 所以——Alex 和我,我相信是在大二时认识的,如果我没记错的话,是在《斯坦福评论》,Anjney Midha [00:06:32]: 没错
Alex Atallah [00:06:32]: 第一次见面。
Anjney Midha [00:06:33]: 我想是的,是的。
Alex Atallah [00:06:35]: 是的。
Anjney Midha [00:06:35]: 是的。
Alex Atallah [00:06:35]: 所以《斯坦福评论》是斯坦福校园里的自由意志主义报纸,由 Peter Thiel 早年创办。不管什么原因,我、Alex 和我都出现在了一次会议上,我记得主编是我们共同的朋友。Lisa 是一位非常出色的主编,主编的部分工作是分配责任并确保工作完成。我可能记错了细节,但我记得想要……当时报纸没有专门的科技版块,这让我很惊讶。
Alex Atallah [00:07:11]: 你
Swyx [00:07:13]: 因为它是政治性的,对吧?
Alex Atallah [00:07:14]: 它主要是
Swyx [00:07:14]: 就像,它在谈论
Alex Atallah [00:07:15]: 它最初是作为一个
Anjney Midha [00:07:16]: 是的。
Swyx [00:07:17]: 是的,州和所有那些事情。
Alex Atallah [00:07:17]: 没错。
Swyx [00:07:18]: 是的。
Alex Atallah [00:07:18]: 但是,——让我们回到过去,你可能还记得,当时有一项技术立法正在辩论,叫做《网络中立法案》。网络中立本质上是一个政治概念,对吧?它关乎对互联网宽带接入的监管。所以有一个我们这样的社区,既是技术专家,也在辩论技术的政治。我认为《评论》会是一个很好的地方——来写这些。我当时正在写一篇关于网络中立的文章,我记得提议:“也许我们应该开一个科技版块。”Alex 是唯一说“是的,那会很酷”的人之一。我说。我忘了我们最终是否一起写了东西,但——那就是我们第一次见面的时候,Alex Atallah [00:08:03]: 是 2011 年或 12 年。我忘了是哪一年。是其中之一。
Anjney Midha [00:08:09]: 是的。
Alex Atallah [00:08:09]: 如果我没记错的话,是在 Old Union。
Alex Atallah [00:08:11]: 那是我们以前常碰面的地方。但一路走来,Alex 和我有机会经常一起玩。而我们职业上交集最多的时候,大概是我在 Discord 负责平台的时候,那时它已经成了加密货币领域一个爆发式增长的平台
Swyx [00:08:32]: 是的
Alex Atallah [00:08:32]: 还有疫情期间的 NFT。
Swyx [00:08:35]: 顺便说一句,你当时还负责安全和安保,对吧?
Alex Atallah [00:08:38]: 我是平台负责人,这意味着所有加密货币——DAO 和 NFT 发布的安全调试都落到了
Swyx [00:08:45]: 还有他们的钓鱼和。
Alex Atallah [00:08:47]: 钓鱼、社会工程攻击、我们遭受的 katana DDoS。但那差不多也是我刚开始在斯坦福教授大规模安全课程 CS 153 的时候。Alex 当时在 OpenSea,我正试图弄清楚我们该如何防御所有这些攻击。比如,在高峰期,我忘了,如果你还记得当时有多少 NFT 交易量流经
Swyx [00:09:10]: Discord
Alex Atallah [00:09:10]: Discord,但那是一个相当可观的量,可以说,有几十亿美元的 NFT 交易额(GMV)流经这个平台,而且全都来自 OpenSea。就是那些,比如,买、卖,Swyx [00:09:20]: 那些
Alex Atallah [00:09:21]: 服务器
Swyx [00:09:21]: DAO 里的 D 就是 Discord。
Alex Atallah [00:09:25]: 是的。所以我觉得那就是我们在职业上一起玩的时候。但一年后,OpenAI 给了 Discord 早期访问 GPT 的机会。抱歉,是三代。不,是五代。对,五代,也就是三代的强化学习版本。差不多就在那时,我们和 OpenAI 一起做了一个 Discord 机器人用于内部部署,也就是那时我意识到我们需要。比如,因为我是部署团队的一员。
Anjney Midha [00:09:50]: 用例是什么?
Alex Atallah [00:09:51]: 有两个。而且现在有一篇叫“Discord 是你与朋友一起用 AI 的地方”的文章,是最近有人发给我的,是我写的,发表在 23 年。但有两个用例。一个是 Clyde,它像是 Discord 里的一个派对朋友,可以帮你设置你的 Discord 服务器,和你聊入门引导,并让你的朋友更多地来玩。然后就是内容审核。我们在内容审核上有一个领悟——它会拒绝审核。比如,它会直接拒绝我们的提示词,因为训练是。我们当时处在训练时代的非常早期,而它就是。我们的提示词会触发它的护栏。我们告诉 OpenAI:“嘿,伙计们,我们需要访问权重,因为如果我们要大规模做内容审核,我们有 2.5 亿月活跃用户,我们需要模型更可靠地做我们需要它做的事。”他们说:“嗯,抱歉,伙计们,事情不是这样运作的。我们是一家闭源公司。”所以那是我第一次意识到我们需要开放模型,企业需要对能力有更多控制,然后最终需要某种控制平面或管理系统来编排这些开放模型。但当时没有好的——直到大概
Alex Atallah [00:11:10]: 六个月后,Llama 问世了。又过了六个月,我领投了 Mistral 的 A 轮融资,这家公司是由 Guillaume 和 Llama 团队创立的。而——那——大约就在那个时候,我记得听说了 Alex 创办 OpenRouter,我当时想:“这两个世界将会碰撞,我不知道什么时候合作才有意义。”但 Alex 起步非常早,而且有远见。我认为他完全正确——这个生态系统从 Llama 开始,然后需要一个易于管理的层,尤其是对于……我是从企业角度切入的,因为我曾经是……作为 Discord 的平台副总裁,我的职责是确保当我们向 2.5 亿用户部署模型时,它们能按我们的意愿行事。这非常困难,因为如果你把它外包给实验室,他们控制着护栏,而他们的护栏就是他们的安全政策。禁止模型回应你的提示词。那简直是灾难性的。
Swyx [00:12:05]: 是的。但是,内容审核是他们想要支持的事情。显然,除此之外,他们会——OpenAI 大概会与你合作,提供一个审核端点,他们免费提供这个。
Alex Atallah [00:12:16]: 这是一个有趣的用例——所以他们确实给了我们一个审核端点。然而,正如你们所知,每个 Discord 服务器就像是一个小型部署。所以用例是,与其让人类审核员去解读社区规范,你只需给——通常,每个 subreddit、Discord 服务器、公开的服务器都有自己的规则,由用户创建。
Swyx [00:12:41]: 哦,是的。我们在 LinkedIn 的 Discord 里运营。是的。
Alex Atallah [00:12:43]: 然后人类过去常常阅读这些规范,然后每天手动执行,比如观察这些社区中的每条消息。这些社区有数百万用户。所以我们在 Discord 内容审核团队中有一个全球 5000 多人的团队。这些是外包合同工,他们的工作非常艰难。所以想法是,如果你能把那个服务器的规范给 LLM,那么 LLM 就会为那个服务器做定制审核。这几乎就像是针对那个服务器的上下文审核。而许多服务器的规范恰好违反了 OpenAI 的规则。所以——就像我们有自己的定制评估。所以每个服务器都有自己的定制评估。但 Discord——当时,OpenAI 的评估,我们都太
Alex Atallah [00:13:28]: 在我们对如何部署这些 LLM 的思考上还很原始,训练提示词往往非常生硬。它会说:“哦,任何关于哈利·波特的内容,任何有商标内容的东西,不要——拒绝。”如果是一个哈利·波特粉丝社区——这是一个真实的用例——需要进行内容审核,LLM 就会直接拒绝。
Swyx [00:13:48]: 是的。
Alex Atallah [00:13:49]: 那只是不够精确。
Anjney Midha [00:13:52]: 我们听说的另一个例子是,如果有人试图写一个侦探故事,其中有一章有很多暴力内容,比如有人
Alex Atallah [00:14:01]: 对
Anjney Midha [00:14:01]: 比如杀了人,LLM 就会直接拒绝帮助写故事的那部分。
Alex Atallah [00:14:07]: 是的。
Anjney Midha [00:14:07]: 然后——就像,我们曾经觉得,好吧,这并非大语言模型结构上固有的。外面肯定存在某种选择,这样当我从主要使用的模型那里得到拒绝或糟糕的结果时,我就能切换到另一个模型。而这种张力也推动我走向了市场平台。
为什么“一个模型通吃”是错误的赌注
Swyx [00:14:28]: 是的。我认为这一点现在已被广泛接受。当初你在融资或启动这个项目时是什么情况?人们理解了吗?有哪些困难?我喜欢从他那里挖出其他风投不理解的故事。所以,你想聊什么都可以,现在——我们就说,OpenRouter 的早期旅程已经结束了,对吧?你显然可以谈谈早期的一些事情。
Anjney Midha [00:14:54]: 嗯,我正要说,我们遇到的最大反对意见就是大模型通吃,也就是——所有的
Swyx [00:15:03]: 缩放定律。
Anjney Midha [00:15:04]: 嗯?
Swyx [00:15:04]: 缩放定律。
Anjney Midha [00:15:05]: 是的,缩放定律,以及自然的网络效应只会累积到一家公司身上,那将会是——它会成为谷歌式的垄断,就像谷歌以巨大优势赢得搜索市场一样,而你最终只能为残羹剩饭而战。这大概是我们遇到的最大反对意见。有趣的是,谷歌以如此巨大的优势赢得了搜索引擎竞赛。我认为,如果当时有更多有趣的基准测试,或者如果搜索引擎——如果人们更多地把它们看作像大语言模型那样的服务,可以在其上建立公司,那可能就不会是这种情况了。但大语言模型不仅仅有一个用户界面。它们也是构建全新业务的方式。而且,谷歌级别的垄断将会像荷兰东印度公司乘以千万亿倍的规模,因为整个经济最终也会依赖于那一个垄断者。所以如果那种情况发生,似乎也不会是一个真正疯狂的结果。而且这种情况也不太可能发生,因为创造优秀竞争对手的经济学更加去中心化。
Alex Atallah [00:16:25]: Alex 说的一切都是真的,而我从一个完全不同的角度来看待它,那就是
Swyx [00:16:31]: 是的,这就是我们在这里的原因。
Alex Atallah [00:16:32]: 缩放定律从来不是——在我看来,一直是 OpenRouter 会非常有价值的一个特性,而不是缺陷。因为我是 Anthropic 的早期投资者之一,而且对我来说很明显,我们朋友中的其他研究人员——我读的是机器学习研究生,我在 ML 社区有很多朋友,对我们来说很明显,苦涩的教训成立。所以我想,“哦,太棒了。现在我们至少有两个证明计算缩放有效的证据点。”那就是 OpenAI 和 Anthropic。而等到我认为我们决定在 OpenRouter 上合作时,我已经投资了 Mistral、Black Forest Labs 和 Luma。所以有多个模型公司和团队我在与之合作。
为什么模型实验室在分发上挣扎
Swyx [00:17:14]: 但你做的是其他模态,而这里实际上是
Alex Atallah [00:17:16]: 跨不同模态,是的
Swyx [00:17:17]: 文本。
Alex Atallah [00:17:18]: 没错。对我来说显而易见的是,一个由不同种类模型组成的生态系统正在形成,而那种“只有一家公司会像谷歌那样主导一切”的叙事,也许是真的,但第一,我不相信。第二,在几个不同的研究团队中,正在发生如此多非凡的创新。但我注意到,所有团队共同面临的问题往往是,研究团队非常擅长思考如何推理新能力。他们从能力的角度思考,但从不——或者说,并不以开发者思维为导向。比如,训练完成、检查点出来之后会发生什么?你会震惊于OpenAI——抱歉,Anthropic、BFL、Mistral——早期训练团队在将研究带出实验室并扩大影响力方面的默认做法有多么相似,通常就是:哦,检查点完成了,把它作为API发布,完事,然后就一片死寂。就Claude而言,第一个Claude检查点在他们内部发布的一年前就完成了。然后ChatGPT出来了,我们决定,好吧,是的,对外发布一个Claude版本是个好主意。
Alex Atallah [00:18:34]: 他们没有任何计划,比如没有计划如何让开发者来试用它。所以如果你去看Claude 1的博客文章,你会注意到,API用户只有大约三个开发者示例,一个是Discord机器人,第二个是Vivian,我妻子的初创公司,叫Juny Learning,然后还有Notion,因为这些人都是Anthropic的朋友。因为这就是——围绕“嘿,模型训练完成后,你怎么把它推向世界?”的规划是最后一刻才做的。当时没有哪个分发平台理解开发者需要什么,所有的密钥管理、配置、简单的端点管理、版本控制。所有这些科学家和研究人员会说“那是管道工程,我不怎么考虑”的东西。
Swyx [00:19:15]: 实现细节。
Alex Atallah [00:19:16]: 对。而Alex正是从这个角度切入的。所以对我来说显而易见的是,我资助的每一个实验室都会花费——有时 literally 数十亿美元用于训练,然后检查点完成,在早期访问期间却一片死寂,因为他们会说:“哦,对了。”
Alex Atallah [00:19:35]: 用一个检查点很难做出任何东西。你需要围绕它建立一大堆管道工程,才能让开发者使用它。所以到——我认为——对我来说显而易见的是,如果我们想要存在对谷歌的竞争,像OpenRouter这样的分发平台在生态系统中至关重要。就像,除非——因为有了谷歌,DeepMind训练完一个新检查点,然后他们按一个按钮,它就会被推送到他们所有的界面上,从Google Docs到,Swyx [00:20:01]: 到处都是,即使我不想要它。
Alex Atallah [00:20:02]: 无处不在。你想知道的是,比如在 Android 上,一夜之间,他们就能把一个新的检查点部署到十亿台设备上,对吧?而这种隐形的基建优势、分发优势,大多数人并没有意识到,但在 OpenRouter 出现之前——作为模型实验室,所有这些你都得自己考虑。这非常令人望而生畏。在 Anthropic,我记得花了超过十二个月才达到我们第一个一千万美元的收入。相比之下,Black Forest Labs,我记得早期的时候,你们和 BFL 团队有过一次对话,对 OpenRouter 来说太简单了,直接说:“哦,没问题。你发布的那天,我们就能给你送去一百万名开发者。”那太疯狂了。那就像在一小时内发生了一次阶跃式的变化。
Swyx [00:20:46]: 那是真实数字吗,一百万?
Alex Atallah [00:20:47]: 我,Swyx [00:20:48]: 好吧。行。
Alex Atallah [00:20:48]: 我觉得今天大概是四百万。今天 OpenRouter 上有多少开发者?
Anjney Midha [00:20:52]: 超过一千万,Alex Atallah [00:20:54]: 对。
Anjney Midha [00:20:54]: 超过一千万,但是,这,这很难,你
Alex Atallah [00:20:59]: 我,对,我不知道怎么。对。
Anjney Midha [00:21:00]: 我们做了很多,比如,账户去重的工作,但是,不
Alex Atallah [00:21:04]: 如果你能获得一千名开发者,只是放在语境里说,如果你能获得一千名开发者,在你发布模型的第一天就试用它,然后只是,比如,做推理并给你反馈,那就是一千
Anjney Midha [00:21:15]: 那是巨大的
Alex Atallah [00:21:16]: 比他们自己知道如何获得的开发者还要多。
Swyx [00:21:19]: 嗯,BFL 有声誉,但没错。
Alex Atallah [00:21:21]: 他们在 Stable Diffusion 上有一个。
Swyx [00:21:22]: 对。
Alex Atallah [00:21:23]: 而 Mistral,我不知道你们还记不记得,但他们发布的第一个检查点,是,比如,种子文件。是,比如,种子权重。
Swyx [00:21:31]: 对,他们只是放了一个磁力链接。
Alex Atallah [00:21:33]: 对,没有 API。
Anjney Midha [00:21:34]: 对。
Alex Atallah [00:21:34]: 因为他们没——他们不是搞基建的人。
Alex Atallah [00:21:37]: ?就像,好吧,下载这些权重,你们自己去想办法托管吧。
Swyx [00:21:39]: 嗯,他那边有个故事,对。
Anjney Midha [00:21:41]: 对,除了,比如,围绕它构建非常好的开发者体验之外,我们做的营销,比如,针对不同模型的营销是完全不同的,而且被感知的方式也完全不同
Alex Atallah [00:21:54]: 对
Anjney Midha [00:21:54]: 与模型实验室为自己做的营销相比。
Alex Atallah [00:21:56]: 是的,百分之一千。
Anjney Midha [00:21:57]: 对吧?我们就像一个中立的层,看着这个市场,就像它是一个巨大的暗室,所有角落对用户来说都完全模糊不清,用户走进这个房间,就像,四处摸索
Alex Atallah [00:22:09]: 对
Anjney Midha [00:22:09]: 并试图弄清楚该从桌子上抓取哪些对象,然后,像是,构建进他们的公司。而这简直就是一种疯狂的工作方式。就像,模型不是产品,你不能只是把它们的全部功能罗列到一个网页上。它们全都是黑箱,包括那些开放权重的模型。所以你需要,像是,照亮这个房间的所有角落,好让人们看到这个模型好在哪儿,而你需要照亮那束光的公司是一个中立的第三方,这正是我们所专长的。所以,那个,像是。它——除了开发者体验之外,还有,像是,一个非常重要的,像是,营销和产品包装的组成部分
Alex Atallah [00:22:50]: 是的
Anjney Midha [00:22:50]: 而一种,像是,路由和发现模型的方式,就变得,像是,对你的市场至关重要,无论你是提供商、模型实验室还是服务器工具,未来还会有更多。
“只是个包装器”:为什么风投们误解了 OpenRouter
Alex Atallah [00:23:03]: 而这个价值,回到你之前说的关于有多少风投,像是,就是不懂。我最大的挫败感之一就是,风险投资家们,他们中的许多人,像是,在这个领域根本没有任何运营经验。所以不像一个传统投资者,可能只是,像是,作为一个做财务建模的助理一路升上来的,或者可能在这个领域里已经超过十年没做过真正的运营者了,而这现在是这个行业很大的一部分,我刚到 a16z,是在运营那个平台大约一年之后。所以我知道,像是,构建一个真正——出色的开发者体验,以及像是,能够用模型创造出一个可用的软件,这些挑战是什么。而且有那么几个,我不会点名,但有些投资者当时在看 OpenRouter,而且,当时觉得,像是,当我和人们交流看法时,它只是,我引用一下,“只是个市场”。
Swyx [00:23:59]: 是的,只是个薄薄的一层,只是
Alex Atallah [00:24:00]: 没错
Swyx [00:24:00]: 只是
Alex Atallah [00:24:01]: 一个包装器或者别的什么,套在别人的 API 上。而我说,“你根本不知道 OpenRouter 通过能够在生产环境中编排哪怕三个 API 所创造的价值有多么具有战略性。”为了让它在 OpenRouter 团队已经开始的那种规模上上线并在生产环境中运行,所投入的工程工作和社区设计,其数量根本不会凭空发生。而这正是从最早的日子起就让我对 Alex 刮目相看的事情之一。就像,他就是明白,像是——从系统的角度来看,像是,你如何让这些飞轮转起来?像是,当我们一起在 Discord 做 NFT 集成时,这一点在 OpenSea 上就让我印象深刻。就像,Alex 有一种社区——像是,系统思维的水平,关于你如何让这些飞轮转起来,而大多数科学家和机器学习的人就是没有
Alex Atallah [00:24:48]: 想到。像是,我们常常从训练的角度来思考。
Swyx [00:24:52]: 它是一个线性的阶段。
Alex Atallah [00:24:53]: 它是这条线性的流水线。
Swyx [00:24:53]: 还没有循环。
Alex Atallah [00:24:54]: 是的。直到很久以后,现代语境下的反馈闭环周期才真正在行业中标准化。但当时,如果你还记得的话,机器学习就像——比如,我们做了很多机器学习,就像我读研究生时在笔记本电脑上做的那样。你只需要下载一个数据集,跑一些消融实验,然后看看损失曲线,你就会说:“太好了,我做出了 AI。”而那种你必须部署这些能力、收集反馈轨迹、然后将其放入一个持续循环中的想法,是很久以后才出现的。而且它与传统的 AI 思维方式非常反直觉。我确实记得在为 OpenRouter 做投资阶段时,我并没有试图去教育一大堆其他风投,告诉他们为什么它不仅仅是一个市场。我当时想,“什么?我就直接投了。”
Anjney Midha [00:25:41]: 是的。
Alex Atallah [00:25:41]: 而且我要借此机会与 Alex 合作,如果——其他风投都不理解,那也完全没关系。因为当时,我认为对几位投资者来说,OpenRouter 不仅仅是一个 API 包装器这一点并不明显。而这让我非常愤怒。我当时想,“什么?我没时间跟你辩论。我们——我们要投。”然后我想,大概一个月后,Matt Murphy 把它估值上调了 10 倍。大概是这样——我忘了具体金额之类的,但值得称赞的是,Menlo Ventures 意识到,“好吧,这里还有更多的战略价值。”也许你没有听到幕后所有这些对话。但那让我非常沮丧。有很多这种关于包装器的议论。如果你说,“哦,一个应用只是模型的一个包装器,”那么,OpenRouter 就是其他 API 之上的一个包装器,而这是最愚蠢、最还原论的框架。
Alex Atallah [00:26:31]: 所以这显然是一个没有大规模部署产品经验的人。
Swyx [00:26:34]: 这就是你用来否定其他事物的东西。就像,你是一个——每个人都是万物的包装器,对吧?而且,有些包装器是有价值的。
Alex Atallah [00:26:40]: 投资者是包装器,LP 也是,对吧?
Alex Atallah [00:26:42]: 就像风险投资家。所以,是的,一路都是包装器,一直到底层硬件,我猜,还有能源。
Swyx [00:26:46]: 是的,有——当我开始整个 AI 工程师,我猜,这个造词,在 2023 年,那就像是,第一号的反对意见就是这没有价值。你应该直接训练模型。
Anjney Midha [00:26:56]: 对。
Swyx [00:26:57]: 而且,是的,显然这就像——你们就是证明可以构建非常有价值的包装器,同时也能构建非常有价值的模型公司的例证之一。
Alex Atallah [00:27:06]: 这太难了。就像,一个模型发布的那天,你有一个 OpenRouter 端点,而且经常在第一天就登上 Hacker News 榜首,人们没有意识到实现这一点需要付出多少工作。而 OpenRouter 用到了。就像,这种情况会一遍又一遍地发生,我记得我说过,“人们根本不知道那有多难。”
Alex Atallah [00:27:30]: 那不是。
Swyx [00:27:31]: 是的,我们已经介绍了一些背后的推理工程,Alex Atallah [00:27:34]: 是的
Swyx [00:27:34]: 有些——关于 Base Ten 和所有这些。嗯,今天你有所有这些很酷的代号,人们猜测 Oxy Alpha 是什么之类的。但是,我想你暗示的一件事是,你如何让最初的飞轮转起来,对吧?因为今天你有你的规模和声誉,所有这些,所以显然你——你在推动巨大的分发。但当你早期的时候,当它主要是
通过社区启动 OpenRouter
Alex Atallah [00:27:55]: 启动,是的。
Swyx [00:27:56]: 是的。
Alex Atallah [00:27:56]: 启动是什么样的?
Anjney Midha [00:27:58]: 回到早期的 Discord 时代,我想我们最初联系上了。严格来说,这是一个 OpenSea 的故事。但是,我们最初联系上是在你在 Discord 的时候,我们谈论了,比如——Axie Infinity 服务器。
Alex Atallah [00:28:13]: 哦,是的。是的。
Anjney Midha [00:28:14]: 这个服务器是,比如,最大的服务器
Alex Atallah [00:28:17]: 是的
Anjney Midha [00:28:17]: 在 Discord 上。
Alex Atallah [00:28:18]: 没错。
Anjney Midha [00:28:19]: 你就像,不断地提高
Alex Atallah [00:28:22]: 服务器的限制。哦,我的天
Anjney Midha [00:28:24]: 关于服务器可以容纳多少人。
Swyx [00:28:24]: 对于那些不知道的人,比如,菲律宾的 10% 是 Axie。
Alex Atallah [00:28:29]: 在那个服务器上。那是一个大热门。
Swyx [00:28:31]: 它就像,对该国的 GDP 做出了有意义的贡献。
Alex Atallah [00:28:33]: 它是一个 NFT,比如,加密游戏,但它
Swyx [00:28:35]: 它就像一个宝可梦繁殖的东西。
Anjney Midha [00:28:36]: 是的。
Alex Atallah [00:28:36]: 是的。类似。是的。有战斗,有繁殖,然后有,比如,一个交易市场。
Swyx [00:28:43]: 还有赚取。
Alex Atallah [00:28:45]: 是的,赚取。而且,比如,图形非常可爱和有趣,你就像,你对你制作的 Axie 产生情感。所以,比如,开始这样一个社区,我们在 OpenSea 为每个早期项目不得不做很多次,为了我们为它创建一个市场,我们需要确保,比如,社区想要它。
Anjney Midha [00:29:09]: 对。
Alex Atallah [00:29:09]: 这就像构建人们想要的东西,然后去告诉他们。比如,你可以一对一地做,但在一个每个人都可以同时和你交谈的社区中做这件事有更高的杠杆。所以我们花了很多时间,比如,构建社区真正想要的东西。我们对 OpenRouter 做了同样的事情。而且,比如,Axie 社区是我们这样做过的无数社区之一。Anj,比如,看到我们在做这件事,而且。因为你可以看到人们不断地在那个 Discord 中分享 OpenSea 链接。比如,用户分享链接是一个非常清晰的指标,表明,比如,一些重要的事情正在发生。所以我们花了很多时间,比如,首先弄清楚人们关心的技术差距是什么。比如,需要解决的实际问题是什么?在早期的 LLM 时代,是 OpenAI 拒绝完成提示或,Anjney Midha [00:30:09]: 是的
Alex Atallah [00:30:10]: 比如,完成任务。它也是。
Anjney Midha [00:30:13]: 无法定制模型。因此有些社区,就完全被这个问题卡住了,而那些社区恰恰是最值得去了解、深入和探索的。
Alex Atallah [00:30:28]: 当时真正让我印象深刻的是——就在我听你演讲的时候,我记得我注意到——你可能不记得了,但我们——我们当时在做这些,像是工作用的 Zoom 通话,我们围绕 OpenSea 与 Discord 的集成进行冲刺。而且,我们,我们——是我自己,我的工程团队。我想你当时也在。我记得,Alex,在其中一次通话中,就像突然一片沉默。我们都像是,“哦,对,这完全说得通。就这么做吧。”然后——每个人,就像所有人都达成了一致。而 Alex 却说,“不,这对我来说说不通。”所有人都——我记得我说,“什么?这能行啊。你点一个链接,然后它就把你弹到 OpenSea 去了。”而他说,“这不是好的用户体验。对,我们不应该这么做。”我记得我说,他是我们所有人中唯一一个举手说,是的,从技术实现的角度来看这说得通。就像,我们把用户弹到 OpenSea 里。所以它算是同时满足了双方产品经理的需求。但 Alex 更进一步,说,“伙计们,什么会更好?如果我们直接把体验嵌入到 Discord 里面,让链接作为一个嵌入的 iframe 打开,你就可以直接在那里结账。”
Alex Atallah [00:31:47]: 而通话中没有一个人,我们大概有七个人,已经一周又一周地开会。
Swyx [00:31:52]: 而且他还是那个不为 Discord 工作的人。
Alex Atallah [00:31:53]: 而且他还是那个不为 Discord 工作的人。
Swyx [00:31:55]: 就像,从技术上来说,如果他们跳出去,你反而受益。
Alex Atallah [00:31:57]: 完全正确。而那就像是,对抗性的。把用户留在 Discord 内部对 OpenSea 来说是对抗性的。然而 Alex 把用户体验放在第一位。我就想,“这很特别。”
Swyx [00:32:08]: 哇。
Alex Atallah [00:32:08]: 因为很难找到一个人,既像 Alex 那样懂技术、理解开发者流程,又理解最佳用户体验并想要优先考虑它。而这是飞轮的两面,如果你能让它转起来,往往就很难停下来。你刚刚提醒了我,那一个就是那些时刻之一,我意识到我得在用户体验上做得更好,因为我本该是那个想出这个的人,而我没有。我从你身上学到了。而且,我想那进入了我们在 Discord 的 PM 培训项目的一个案例研究里。
Swyx [00:32:34]: 哇。
Alex Atallah [00:32:36]: 我不知道是不是因为
Swyx [00:32:38]: 你需要一个 Alex,这就是结论。
Alex Atallah [00:32:40]: 是的。你需要一个 Alex。这就是为什么我不,没有人应该惊讶为什么 Stripe 决定他们必须收购 OpenRouter,因为这是一种非常罕见的组合,既理解机器学习社区、开发者体验,又理解用户体验的人。把这一切结合起来,造就了这种非凡的规模,很少有其他市场能够达到
Window AI、BYOM 与寻找正确的形态
Swyx [00:33:02]: 是的。
Alex Atallah [00:33:02]: 在过去五年里。
Swyx [00:33:04]: 是的。嗯,我们应该谈谈收购的其他原因,这些
Alex Atallah [00:33:07]: 是的,我们应该谈。
Swyx [00:33:07]: 你写过的。我也想大致按时间顺序来推进。所以——有一点,Zero 的 H 的 Dave 发来的问题之一是,它是什么时候——真正开始奏效的?你提到了 Mixtral。我不知道你是否想讲讲那个故事。
Alex Atallah [00:33:22]: 哦,是的。
Swyx [00:33:23]: 这显然与你有所重叠,所以。
Anjney Midha [00:33:26]: 是的,MoE 是。我不知道是什么时候。并没有某个时刻让我觉得,“哦,这正式地开始奏效了。”它是
Swyx [00:33:36]: 那个你有一个 Chrome 扩展的时刻,就像,真的很早的时候。
Anjney Midha [00:33:39]: 哦,是的。但是,嗯——是的。所以在 OpenRouter 之前,我想,探索一个自带模型的实验。而且,Swyx [00:33:47]: 任何熟悉加密货币的人都会说,是的,Phantom 和所有这些。
Anjney Midha [00:33:50]: 是的。所以感觉为 AI 做一个 MetaMask 的类比会是探索这件事的有趣方式。当时,还没有 AI 应用。通过 API 调用——就像,通过 API 调用访问 LLM 的 AI 应用,大概和用 JavaScript 做这件事的游戏一样多。就像,曾经有一个时刻,情况可能是 Web 应用通过浏览器调用 LLM,就像通过某个桌面
Alex Atallah [00:34:27]: 是的。
Anjney Midha [00:34:27]: 由用户控制的托管应用。当然,我认为,有很多原因导致这没有发生。但回到那些原始的日子里,我构建了一个叫 Window AI 的 Chrome 扩展
Swyx [00:34:43]: 用 Plasmo。
Anjney Midha [00:34:44]: 用 Plasmo。
Swyx [00:34:45]: 我很早就遇到过,我当时想,“谁会用它?”你用了。
Anjney Midha [00:34:49]: Plasmo 有几个,我想,Phantom 在用它。还有一些其他,像真正的公司在用它。
Alex Atallah [00:34:56]: 它就像一个垫片。
Swyx [00:34:57]: 用于 Chrome 扩展的 React。它编译到所有
Anjney Midha [00:35:00]: 是的。
Alex Atallah [00:35:00]: 我明白了。
Anjney Midha [00:35:00]: 就像用于 Chrome 扩展的 Next.js。
Swyx [00:35:01]: Next.js,Next.js。
Alex Atallah [00:35:02]: 好的。
Anjney Midha [00:35:03]: 是的,在它之上构建了 Window AI。Plasmo 的创建者,开始在 GitHub 上为 Window AI 贡献代码,结果发现是 Louis Vicchi
Alex Atallah [00:35:15]: 哦,你
Anjney Midha [00:35:15]: 他是 OpenRouter 的创始人。
Alex Atallah [00:35:17]: 没错。你告诉过我这就是你认识 Louis 的方式。是的。
Anjney Midha [00:35:19]: 是的。
Alex Atallah [00:35:19]: 好的。
Anjney Midha [00:35:20]: 所以,这让用户能够配置他们想在浏览器中为某个网页使用哪个模型,然后应用在需要做事时就会调用那个模型。这不是适合大语言模型的产品形态,但这是个有趣的实验。你会学到很多,而且我把它开源了。主要的心得是,好吧,这必须是一个 API,而且它必须看起来有点——必须在这里有更多的开发者体验,也要有更多的发现体验。比如,我不知道该在哪里使用这些模型,而一个小小的 Chrome 扩展并不能帮我发现。它的空间不够。我需要更多空间。我需要可视化。我需要图表。我需要示例。我需要图像。我需要能够像人类和智能体一样去探索。
加密、Midjourney 与早期生成式 AI 生态
Alex Atallah [00:36:10]: 是的。
Anjney Midha [00:36:10]: 所以 OpenRouter 就是这样诞生的。
Alex Atallah [00:36:13]: 一个元观点。
Alex Atallah [00:36:16]: 我认为这一点被低估了,但 Alex 提醒了我,那就是我们当时非常幸运,我们当时与加密社区相邻。因为事后看来,加密最终成了生成式模型的一次彩排,对吧?如果你想想 Axie 的经历,Alex 完全说得对,当时并没有那么多 AI 应用。而当我处理——我的工作是担任 Discord 的平台负责人,这意味着要成为一个通用场所,让社区和朋友创建——让开发者创建应用、机器人以及其他可以部署到整个 Discord 的服务。而当时 80% 的注意力都花在加密上,因为所有 NFT 交易量都在那里,我大概有 20% 的时间是在和一位朋友一起度过的,他会和我一起玩 hotbot,并向我提出要求。我们周末会玩《万智牌》,而他当时正在做一个小型 Discord 机器人,可以把文本输入变成图像,它叫 Midjourney。你
Swyx [00:37:15]: 那是 David 吗?
Alex Atallah [00:37:15]: 那是 David Holz。
Alex Atallah [00:37:16]: 他曾是一位好朋友。在那之前,David 和我都曾是失败的 ARVR 创始人。我记得这一点。Midjourney 是继 Axie Infinity 开始衰退后我们拥有的增长最快的社区之一。我们为了扩展 Axie 所做的许多抽象和基础设施决策恰好及时,因为它们。Axie 这样做了,然后急剧下滑。然后随着 Midjourney 的兴起,我们明确决定帮助 David 建立服务器,即 Midjourney 服务器,作为与模型互动的主要场所,因为如果人们看不到其他人如何使用它并模仿他们,就很难理解如何使用这个模型。因此,单独的 Midjourney 网页应用,比如 midjourney.com,留存率极差,因为人们会来,看到这个空白字段。就像 E 2,他们会输入猫或狗。对他们来说,面对这个必须填写的空白画布,他们感到瘫痪,因为他们从未使用过 AI 模型。但相反,在 Discord 服务器中,你可以看到其他人使用它,并根据他们的提示进行即兴创作,参与度爆表。因此,将 Midjourney 从零扩展到约 1000 万月活跃用户,比 Axie Infinity 要顺利得多。所以,Swyx [00:38:29]: 别忘了四张图片中最好的,你选一张。
Alex Atallah [00:38:31]: 最好的,是的,然后另一个,我们
Swyx [00:38:32]: 这就是反馈循环。
Alex Atallah [00:38:33]: RLHF 反馈循环,顺便说一句,另外,Tom Brown、David 和我过去常在周末玩万智牌。所以,就像一群朋友会聚在一起,我们会。就像,这些概念一直在被讨论。但是,有。
Alex Atallah [00:38:47]: 我认为我们中很少有人能桥接加密世界和 AI 世界。与加密相比,那里的问题总是,这项技术的用例是什么?对于 AI,从来不需要问这个问题,因为它的用例是如此直观。就像,我现在可以创造任何我能想象的东西。我可以写小说,我可以编码。而那些相信分布式系统,比如加密的价值,比如抗审查部分的人,发现了这个爆炸性的用例。我认为在 Midjourney、Claude 是一个 Discord 机器人发布之间,我们内部将其用作 LLM。ElevenLabs 有一个 TTS 模型,我们也在 Discord 上使用。就像,Discord 成为了早期应用创新的培养皿。我不认为他们在 OpenRouter 给世界提供一个公共主页商店或店面之前就找到了归宿是巧合。Discord 就像是这个几乎培养皿式的店面,它搭上了我们为加密社区构建的基础设施。然后我认为 Alex 是最早意识到的人之一,等一下,这些应用需要在互联网上有自己的家。然后 OpenRouter,对我来说,是那个社区需求的延续。当然,还有你为许多开发者实现的疯狂分发。
为什么 OpenRouter 不能只存在于 Discord 中
Swyx [00:40:07]: 那么我的问题是,为什么你。我的看法是 OpenRouter 并不是那么以 Discord 为中心,对吧?你有一个 Discord。
Anjney Midha [00:40:14]: 是的。
Swyx [00:40:14]: 你用它来与社区互动,但它不像 Midjourney 那样,不,那几乎是人们体验 OpenRouter 的主要方式。
Anjney Midha [00:40:21]: 是的,Midjourney 确实能非常快速地通过视觉方式看到人们如何使用模型以及如何提示它。
Swyx [00:40:29]: 是的。
Anjney Midha [00:40:29]: 我认为这也是服务器如此关键的部分原因。它就像是用户体验。它增加了大量价值。
Swyx [00:40:36]: 是的。
Anjney Midha [00:40:37]: 你可以仅通过 Midjourney 的提示,比如通过 Midjourney Discord 服务器,获取你的图像,然后分享它们并享受乐趣。对于 OpenRouter,对于 LLM,你需要大量围绕 LLM 的用户体验才能让它们真正可用。
Swyx [00:40:54]: 收费点。
Anjney Midha [00:40:55]: 是的。
Anjney Midha [00:40:57]: 看到其他人的例子也不那么有用,因为有很多东西要读。需要很长时间。
Swyx [00:41:03]: 是的。
Anjney Midha [00:41:04]: 你需要基于集成。在 Discord 服务器中不可能做到。你需要,或者技术——这是可能的。我不该那么说。只是开发者体验不好。你需要,比如——你需要治理。当你有了基于集成,现在你需要治理来管理可以访问它的 LLM、数据政策、哪些团队。所有这些都需要比 Discord 服务器能提供的更多。所以只是
Swyx [00:41:30]: 是的
Anjney Midha [00:41:30]: 这不是正确的。
Alex Atallah [00:41:32]: 嗯,此外,你没错,但还有一个非常重要的区别,Midjourney 是一个终端用户应用程序。
Swyx [00:41:40]: 对。
Alex Atallah [00:41:40]: 这就是为什么 Discord,拥有 2.5 亿月活跃终端消费者,让 Discord 成为该应用程序体验的宿主是合理的。我知道在 Midjourney 找到爆炸性产品市场契合后不久会发生什么,因为我们。我认为当 Midjourney 推出时,从推出到 1 亿美元收入运行率,不到八个月。不久之后,Stable Diffusion 推出了。而且,我们所有人都曾经在 Discord 服务器里闲逛。在那里,我认为是,Swyx [00:42:13]: Stability Discord?
Alex Atallah [00:42:14]: 是
Swyx [00:42:16]: 是的,LAION。
Alex Atallah [00:42:16]: 是的,LAION Discord 服务器。
Swyx [00:42:17]: 催生 Stable Diffusion 的图像社区。
Alex Atallah [00:42:19]: 图像社区。是的。所以当 Stable Diffusion 出来时,我意识到——哦,现在其他人可以构建他们自己的 Midjourney 了。
Alex Atallah [00:42:27]: 因为在那之前,Midjourney 没有 API,所以它是一家全栈公司,对吧?他们训练自己的模型,并将其作为应用程序部署。但如果你想构建自己的 Midjourney,却没有同等质量的 API。而且我认为 E two 还相当原始。就像,Midjourney 质量很棒。然后当 Stable Diffusion 出现时,突然出现了这个新人——世界上出现了这种新能力,即开发者可以创建自己的 Midjourney。我认为,这创造了对 OpenRouter 之类东西的需求,因为那时你需要一个 API。如果你——如果你有 David Holz 的创造力,并且你有 Stable Diffusion 作为模型,你想把这些东西结合起来,你怎么能在不必弄清楚如何托管权重的情况下做到这一点?而 OpenRouter——OpenRouter 的形态所实现的就是这一点。对吧?当你拥有闭源应用程序的开源模型替代品时,OpenRouter 在世界上的价值变得非凡,因为现在任何开发者都可以直接出现并使用
Stable Diffusion 与对模型 API 层的需求
Swyx [00:43:20]: 你就是喜欢模型多样性。
Anjney Midha [00:43:21]: 你刚才是不是说了 OpenRouter 的形态?
Alex Atallah [00:43:23]: 哦,不。
Anjney Midha [00:43:25]: 你在云里吗?这是什么,真正的 Han?
Alex Atallah [00:43:26]: 我一直,我一直——我,我现在有点错位了。我被过度训练了。我使用 Cloud 太多了,是不是?
Swyx [00:43:34]: 人们会说这是 Claude 式的。
Alex Atallah [00:43:35]: Claude 式的。哦,天哪,我得让自己去训练一下。
Swyx [00:43:38]: 好的。——我只想给 Mistral 这边收个尾。我的 TLDR 是,有一场 Mistral 价格战,他们是这么叫的,对吧?就像,大约在 NeurIPS 二十三或二十四年。
Mistral 与推理市场的诞生
Anjney Midha [00:43:47]: 是的。十二月
Swyx [00:43:48]: 他们推出了 Mistral 8x7B,价格下降了大约 80%。
Anjney Midha [00:43:54]: 是的。
Swyx [00:43:54]: 对我来说,这非常积极,因为这就像是第一次,真正地竞争托管 Mistral。还有更多吗?
Anjney Midha [00:44:01]: 是的,那是。我,就像,试图回忆它,所有发生的事情。它。就像,我们看到那个模型出来,立即看到人们说它是世界上最好的模型。
Alex Atallah [00:44:15]: 是的。
Anjney Midha [00:44:15]: 就像,据我所知,这是第一次一个开放权重模型被如此认真地称呼。
Swyx [00:44:22]: 这是炒作,对吧?是吗?
Anjney Midha [00:44:25]: 这是炒作。这是炒作。这也是,就像,当时 AI 影响者的炒作。而且有很多例子表明它,就像,表现优于 four。所以人们真的很想尝试一下,看看,这对我来说也会是真的吗?如果是这样,价格是多少?而且,就像,推理领域真的很混乱。
Alex Atallah [00:44:49]: 是的。
Anjney Midha [00:44:50]: 我们清理了它。——它允许,就像,提供商在价格上竞争,所以我们可以在一个地方给你最好的价格。所以我认为,这是第一个清晰的例子,就像,一个提供商市场以某种方式运作,为最终开发者增加价值。
Alex Atallah [00:45:08]: Sean,你可能不记得这个,但我想我们第一次见面是在 Mistral 出来几天后的 NeurIPS 上
Anjney Midha [00:45:15]: 是的。
Alex Atallah [00:45:15]: 在一个午餐会上。
Swyx [00:45:16]: 是的。我也是在那里遇到了 BFL。是的。
Alex Atallah [00:45:18]: 而且 Guillaume 也在那里。
Swyx [00:45:19]: 是的。
Anjney Midha [00:45:19]: 我当时在 NeurIPS。
Alex Atallah [00:45:20]: 你也在那里。而且,我们刚刚宣布了对 Mistral 的投资,我记得 Guillaume 就在那边,我记得我转向 Guillaume 问他,比如,“是不是所有的。比如,在 Mistral 和 7B 发布之后,你感觉怎么样?”而他以典型的法国风格说,“这是一个,这是一个还行的模型。没那么好。”我当时想。这太,对比鲜明。但我记得他还说,他觉得很多人认为它比 4 更好的部分原因是速度。- 这是他们拥有的一个 MoE 模型,他们绝对已经弄清楚了如何使其超级高效。它处于帕累托前沿。这是关于 LLM 的一个重要事情,对吧?有时当它们更快时,你会认为它们更聪明,即使,比如,如果你做了,N 个,这些常见的,比如,评估——你做七次尝试,我不记得了。我认为我们应该回去弄清楚数据说了什么,但如果结果发现,哦,在 N 为七次尝试时,4 在评估上更聪明,但感知上,比如,或正确性会更聪明或更准确,我不会感到惊讶。但是,人们,比如,从人类偏好的角度来看,感觉它更快,因为它——或者更聪明,因为它太快了。
Swyx [00:46:36]: 是的。而且大多数查询不需要那个水平
Alex Atallah [00:46:39]: 不需要那个。那是真的。
Swyx [00:46:40]: 对吧?所以这是人类作为路由器的开始
Alex Atallah [00:46:42]: 是的。
Swyx [00:46:42]: 然后最终变成了 OpenRouter 作为像
Alex Atallah [00:46:45]: 哦,那是一种有趣的思考方式。是的。
Swyx [00:46:47]: 比如,因为人类是路由机制。比如,我会先问快速模型,然后如果,比如,哦,不够好,我会手动升级。
Alex Atallah [00:46:52]: 是的。
Swyx [00:46:53]: 但然后他会自动化它。
Alex Atallah [00:46:54]: 我没有,我没有那样想过,但那有道理。
Swyx [00:46:57]: 然后还有,还有更多技术,比如融合。融合是我们应该谈论的事情。在我继续那些事情之前,我只想结束早期几年。我观察到的一件事,你也是 Arena 的投资者。
OpenRouter vs. LM Arena
Alex Atallah [00:47:10]: 对。
Swyx [00:47:10]: 我们谈到了 Midjourney 有那个反馈循环,A、B、C、D,并选择那个非常。非常重要。你理解飞轮。那么为什么你没有构建 Arena,为什么 Arena 没有构建 OpenRouter?
Anjney Midha [00:47:23]: 嗯,Arena 在 OpenRouter 之前就开始了,对吧?
Swyx [00:47:27]: 他们有一个学校项目
Anjney Midha [00:47:29]: 是的,LM
Swyx [00:47:29]: 然后它变成了一家公司。
Anjney Midha [00:47:31]: LM Arena,是的。
Swyx [00:47:32]: 所以,但是,我知道你有一些 Arena 经验,比如向上比较类型的东西。
Anjney Midha [00:47:37]: 是的。
Swyx [00:47:37]: 但你从来没有真正像 Arena 那样努力。
Swyx [00:47:40]: 而且,Anjney Midha [00:47:40]: 在做向上体验?
Swyx [00:47:42]: 是的。而且 LM Arena 确实有一个基于 LM Arena ELO 评分的路由器项目,但他们从未将其商业化。
Anjney Midha [00:47:48]: 一家公司很难同时做这两件事,因为一家公司是在获取并出售数据,而另一家公司默认情况下真的做不到这一点。所以,我认为这里存在两个公司,有品牌定位上的原因。比如,当你建立 OpenRouter 时,没有训练,没有提示词,对吧,除了你的提供商政策设定的内容之外。就像 OpenRou——就像,OpenRouter 看不到你的提示词或补全内容。如果你作为一个组织想要看到这些,你必须选择加入并启用它。所以,我们在数据政策、安全和隐私方面相当保守和谨慎。而 LM Arena 呢,他们的商业模式是围绕实验室来定位的,Swyx [00:48:34]: 因为他们免费提供,对吧?你不会为了免费而免费提供。
Anjney Midha [00:48:37]: 是的。
Anjney Midha [00:48:38]: 但我们确实提供了一些。我们也有免费的端点,但那些免费端点,我想我们不会收集任何提示词。我们不会将数据货币化,除非你出于某种原因选择加入。
Alex Atallah [00:48:48]: 这个比较。你不是第一个问我这个问题的人,Alex 知道这一点,但我在最初的五个月里担任了 Arena 的临时——像是创始人,像是第一任 CEO,当时我们正在帮助 Anastasios 和 Waylin 从伯克利分拆出来。而且,在 OpenRouter 之前,我就投资了那个项目,但外界人们对这两个项目所做的比较让我觉得很奇怪,因为它们的使命完全不同。Arena 的创始实体,我们称之为 AI 可靠性研究所,因为它当时是一个评估服务。可以说,他们最初提供给实验室的数据,是如何让模型的评估比当时的最先进水平更可靠,而当时的最先进水平真的就只是凭感觉猜测。
Alex Atallah [00:49:38]: 这就是 Anastasios 和 Waylin 作为伯克利科学家的博士工作内容,是关于基于内在偏差以及你如何收集数据来校正评估估计的统计方法。
Swyx [00:49:54]: 是的。
Alex Atallah [00:49:54]: 而且
Swyx [00:49:54]: 风格控制。
Alex Atallah [00:49:55]: 风格控制之类的东西。这非常像是一种,嘿,怎么做。如果你是一个科学家,你正在尝试……Arena 期望最高的客户一直像是训练,像是实验室里的研究员。而从我看来,Alex 真正理解并视为使命去服务的期望最高的客户,是开发者,对吧?开发者随后把研究成果转化为应用,部署到全世界。这是两个团队所关注的全然不同的问题和人群。所以从外向内看。我不知道你是否还记得,但我有一个清晰的记忆:在我们一起为 OpenRouter 签署条款清单的几周前,我给你打了个电话,因为我们当时正试图把 OpenRouter 和 Arena 的数据汇集起来,创建一个开源的提示词仓库。这些项目的目标如此不同,以至于对我来说,说“哦,对,咱们给 Alex 打个电话,看看他愿不愿意一起汇集数据”是完全正常的,因为它们太不一样了。我们需要。我们根本没有那些数据。我们。就像,我们没有 API 提示词。我们没有,我们没有开发者想用模型做什么的数据,而这与模型实验室里的研究员在发布模型之前想做的事情非常不同。
Swyx [00:51:15]: 是的。
Alex Atallah [00:51:15]: 这说得通吗?所以直到今天,我认为你能看到这种差异,尽管从三万英尺的高度看,你也许可以。我猜你可以得出结论说 Arena 和 OpenRouter 是相邻的,但是,至少在当时,路线图、使命等等,方向非常不同。
Swyx [00:51:36]: 那个理想客户,我懂。我完全懂。
Alex Atallah [00:51:39]: 是的。
Swyx [00:51:39]: 作为创始人,我想拥有一切,对吧?
Alex Atallah [00:51:41]: 那是有可能的。
Swyx [00:51:42]: 就像这显然是一个相邻领域,我会去探索它。
Anjney Midha [00:51:45]: 拥有一切的意思是,你还不知道要做什么,所以你想确保自己尽快抓住 PM
专注、Anthropic,以及未走之路
Alex Atallah [00:51:51]: 不,我认为他
Anjney Midha [00:51:52]: 尽可能快地。
Alex Atallah [00:51:53]: 你想拥有整个基础设施领域,所以你扩展到你能捕获的任何需求。
Swyx [00:51:58]: 你想在每一端都有布局。
Alex Atallah [00:51:59]: 是的,我认为那,那在现实中很难,因为服务多个客户很困难。
Swyx [00:52:05]: 显然,这是唯一的专注点,对吧?
Alex Atallah [00:52:08]: 是的。
Anjney Midha [00:52:08]: 是的。我仍然认为,即使在 AI 时代,专注也是,Alex Atallah [00:52:12]: 是至关重要的
Anjney Midha [00:52:13]: 被低估且至关重要的,不仅因为你把人力集中在它上面最终会得到更好的产品,还因为世界知道你的专注点是什么。
Alex Atallah [00:52:22]: 百分之千。
Anjney Midha [00:52:23]: 世界可以这样对应:“哦,我有这个问题。外面哪个品牌会帮我解决这个问题?这就是那个以专注于此而闻名的品牌。”
Alex Atallah [00:52:31]: 是的。
Anjney Midha [00:52:32]: 所以就像,如果我想要这个问题得到真正的关注,这对我来说真的很重要,我就应该选择那个最在乎它的品牌。
Alex Atallah [00:52:39]: 为了强调 Alex 关于专注有多重要的观点,在 Anthropic 的早期,这并不容易。人们以为 Anthropic 的早期非常轻松,因为他们是那三个离开的人,但当时竞争非常激烈。这家公司起步时落后 OpenAI 100 亿美元,对吧?所以要想达到前沿,最大的问题是,我们想以什么闻名?使命是什么?使命是 AGI 结对编程。因此,为了这个目标,排除了当时所有其他非常诱人的东西,比如正在获得大量势头的图像模型和视频模型,Anthropic 团队说:“我们只需专注于编程。”这就是我们专注的核心能力。今天你可以看到结果,对吧?它在五年内成为了一家万亿美元公司。而这种专注,我认为,就像高。专注于你期望最高的客户是谁,以及如何超越他们的期望,因为超越任何人的期望都很难,而为多个客户做到这一点就更难了,这是 OpenRouter 和 Anthropic 成功的原因之一。
Anjney Midha [00:53:39]: 但专注编程是那么早吗,还是后来才出现的?
Alex Atallah [00:53:42]: 从第一天起,就是 AI 结对编程。负责任地将 AI 结对程序员商业化是种子备忘录。那是我投资的时候,对吧?我们大量完善了那份备忘录。嗯,你得向 Dario 和 Tom 请求许可。
Alex Atallah [00:53:57]: 但这是他们整理出的一篇非凡的作品。而 AI,将其商业化。负责任地将 AI 结对程序员商业化从第一天起就是使命。我想说,在公司历史上可能有那么几个时刻,他们做了实验,看看小的绕道是否有意义,比如一个通用聊天机器人,比如当 ChatGPT 真正起飞时的 Claude.ai。但最终,尤其是当他们获得了大量训练计算资源上线后,我认为,比如公司所有主要的评估一直都是编程评估,长视野代理编程。从第一天起,这就是计划。
Anjney Midha [00:54:34]: 因为当 Claude Instant 出来,Claude 2 出来时
Alex Atallah [00:54:38]: 是的
Anjney Midha [00:54:39]: 我记得营销主要聚焦于优点。比如,这
Alex Atallah [00:54:43]: 是的
Anjney Midha [00:54:43]: 可以写得更好
Swyx [00:54:44]: 是的,长上下文。这是同类中的第一个。
Anjney Midha [00:54:47]: 长上下文,Swyx [00:54:49]: 这直接影响了我,因为我在那上面构建了东西。是的。
Alex Atallah [00:54:51]: 你做了什么?
Swyx [00:54:52]: 一个小开发者,那是我的 Devin 之前的 Devin。
Alex Atallah [00:54:54]: 哦,是的。是的。
Anjney Midha [00:54:55]: 是的。
Alex Atallah [00:54:55]: 小。
Swyx [00:54:56]: 是的。所以我认为,就像,有所有那些真正,像,好的,像,专注是另一件事——这是人们确实想问的问题。你本可以构建任何其他东西。就像,显然 OpenRouter 在运作。有没有其他你想追求但拒绝了的想法?只是那些路径,未走的路。
Anjney Midha [00:55:16]: 我们为一些没有发布的东西做了几个原型。其中一个就是调优模型即服务。
Swyx [00:55:23]: 是的。OpenPipe 和所有那些东西都有很多这类功能。
Anjney Midha [00:55:25]: 但它的形态非常消费级,你给我们一个 YouTube 视频,或者两三个。然后我们会从中提取所有转录文本,并尝试调优一个模型,让它像 YouTube 里的人那样说话
Alex Atallah [00:55:40]: 是的
Anjney Midha [00:55:40]: 或者像你发送的视频里的人那样说话。所以,这就像是一种非常简单的方式,可以基于你喜欢的某些视频来创建一个调优模型。
Alex Atallah [00:55:48]: 那会非常有用。
Anjney Midha [00:55:50]: 我们,Alex Atallah [00:55:51]: 不
Anjney Midha [00:55:51]: 我们也做了。它
Alex Atallah [00:55:53]: 你不这么认为?
Anjney Midha [00:55:54]: 它,它
Alex Atallah [00:55:55]: 而且没人用它?
Anjney Midha [00:55:55]: 它——我们没有在那么多人身上测试它,因为模型市场是我们的主要关注点,而且它在增长,我们随着时间推移对它越来越有信心。
Swyx [00:56:09]: 只是,你
Alex Atallah [00:56:10]: 是的。为什么,Swyx [00:56:10]: 作为一个创作者
Alex Atallah [00:56:11]: 是的。我是一个创作者。
Swyx [00:56:11]: 你有没有被推销过很多,比如——我有五百小时自己录下来的声音。
Alex Atallah [00:56:17]: 对。
Swyx [00:56:17]: 做一个你的东西,对它收费提供访问权限。这在 OnlyFans 上有效,但对
Alex Atallah [00:56:23]: 我明白了
Swyx [00:56:23]: 普通人就不行。我觉得——这主要,——它只是一个被美化的 RAG 机器人。
Alex Atallah [00:56:28]: 对。
Swyx [00:56:29]: 不管它是在权重里还是在权重外,其实都不重要。你只是在对视频做 RAG,而人们最终总是只想找到那个能直接回答问题的源视频。
Alex Atallah [00:56:36]: 哦。我的用例主要是用来练习——和自己练——因为我经常喜欢看看。比如,我准备求职面试、招聘候选人、公开演讲或其他事情时,我希望有一个好的
Swyx [00:56:48]: 是的
Alex Atallah [00:56:48]: 我可以,比如,批评我,因为把自己抽离出来挺难的。我永远不会得到。我永远不会把它作为服务提供给其他人。
Swyx [00:56:54]: 我希望有那种,比如,选出你前五位导师,然后和他们交谈,而不是和你自己交谈。
Alex Atallah [00:56:57]: 那也会很酷,是的。
Anjney Midha [00:56:58]: 那就是,那
Swyx [00:56:59]: 那就是创作者 AI。那就是复制人。
Anjney Midha [00:57:01]: 而那正是我们瞄准的用例。
Alex Atallah [00:57:02]: 我明白了。
Anjney Midha [00:57:03]: 就是,你想创造一种体验
Swyx [00:57:06]: 就像 AI 史蒂夫·乔布斯和。
Anjney Midha [00:57:07]: 而 AI 史蒂夫·乔布斯就是最初的用例。
Alex Atallah [00:57:11]: 那是一个,Anjney Midha [00:57:12]: 即使它不被允许。
Alex Atallah [00:57:14]: 那是一个,那是一个常见的原型,是的。
Swyx [00:57:15]: 说到相邻领域,将调优作为服务,作为路由服务的一部分,这也是我通常会考虑的事情,对吧?就像,你为什么不这么做呢?因为如果人们已经通过你来运行他们的推理,存储一切,记录一切,调优到一个更小、更便宜、更快的模型,所有这些都在你的控制范围内,对吧?你没有这样做,但是,就像,在基础设施初创公司的一般状态下,其他人会推销这个。
Anjney Midha [00:57:37]: 是的。是的。
Alex Atallah [00:57:37]: 我觉得你可能只是有点太早了,因为今天这是一个异常增长的细分市场。比如,从Mistral开始,他们做了很多企业部署
微调即服务与基础设施相邻领域
Anjney Midha [00:57:44]: 对
Alex Atallah [00:57:44]: 以及诸如此类的东西,调优作为,为ASML或其他公司定制模型。而且经常
Swyx [00:57:48]: 但不是作为路由器。他们,他们只是像,“我来找你是因为我喜欢你的Mistral模型。我想要定制的Mistral模型,”对吧?这不是,“我想要运行我所有的OpenAI提示,存储我所有的结果,然后只是从OpenAI迁移出去。”对吧?他们不是这样做的。
Alex Atallah [00:58:01]: 作为一种,作为一种摆脱对前沿实验室依赖的方式,我还没有看到过。是的。
Swyx [00:58:08]: 对。
Alex Atallah [00:58:08]: 这是你的愿景。
Swyx [00:58:09]: 做起来效率高。
Anjney Midha [00:58:10]: 我们决定了。真的,我们,就像,专注于我们的重点,并认为,就像,没有。就像,我们只是看到生态系统随着时间的推移而发展。所有这些推理提供商确实想帮助公司做到这一点,- 就像,我们与他们合作,并像,给用户很多选择,并像,弄清楚什么让他们,什么给他们竞争优势,这对我们来说是有意义的。这是一个全新的业务,作为一个中立的 marketplace,就像,与那些公司合作,是有价值的。
Alex Atallah [00:58:45]: 你能分享一点吗,就Sean的观点,比如,你是如何优先排序的。你优先考虑功能的一些方式是什么?因为你总是做得如此优雅,我从不。它就这样发生了,你做出了所有正确的决定,从外面看总是有产品市场契合度。但一贯地,你似乎优先考虑了很多成功的功能。也许我有样本集偏差或其他什么,但Sean的问题
Swyx [00:59:06]: 你能列出你认为成功的功能吗?
Alex Atallah [00:59:09]: 哦,排行榜。
Swyx [00:59:10]: 排行榜,好的。
Alex Atallah [00:59:10]: 是的。就像,从第一天
Swyx [00:59:13]: 那是图表,对吧?那是反馈循环。
Alex Atallah [00:59:14]: 图表,BYOK。
Swyx [00:59:15]: 但是,就像,他有,就像,内部消息。他有,就像,我认为有一个完整的事情我想深入探讨,就像,补全与
OpenRouter 如何优先考虑产品
Alex Atallah [00:59:22]: 是的。
Swyx [00:59:23]: 检查补全与补全。然后还有,让我们称之为,推理模型的崛起以及你如何处理这些,多模态,所有那些东西,对吧?
Alex Atallah [00:59:31]: 是的。BYOK。
Swyx [00:59:32]: BYOK,是的。
Alex Atallah [00:59:32]: 那是一个巨大的。
Anjney Midha [00:59:34]: 有一个,我想是在2024年初,非常早的2024年,我们觉得把多个模型的结果融合在一起可能会很有趣,于是我们发布了一个叫MOM的原型,即Mixture of Models,它让你可以挑选几个模型,或者我们帮你挑,然后在最后把结果融合起来,并且会在这个看起来像大型看板的产品里展示所有中间结果。
模型混合与模型融合
Swyx [01:00:05]: 最后的融合是由另一个模型完成的吗?
Anjney Midha [01:00:07]: 另一个模型。那个,Swyx [01:00:08]: 最聪明的
Anjney Midha [01:00:09]: 最聪明的
Swyx [01:00:10]: 那一组里
Anjney Midha [01:00:10]: 三个里,那一组里。
Swyx [01:00:12]: 好的。所以这就像是一个委员会的想法?
Anjney Midha [01:00:13]: 是的。它是一个模型。它就像是一个非常早期的LLM委员会。
Alex Atallah [01:00:16]: 这就是一个智能体集群,就像他们在某个前沿实验室早期会叫的那样?
Anjney Midha [01:00:23]: 是的,有些想法方向是对的,但细节决定成败。
Swyx [01:00:27]: 是的。
Anjney Midha [01:00:27]: 需要大量的产品打磨才能让它们真正发挥作用。它们会分散你的注意力
Swyx [01:00:34]: 对
Anjney Midha [01:00:34]: 无论你手头还有什么其他事情。而且你需要做大量的社区建设和学习。技术可能还太早。所以,它们可能出错的原因有各种各样。在我们的案例中,技术有点太早了。换句话说,融合后的结果有点
Swyx [01:00:53]: 对。就像个科学怪人
Anjney Midha [01:00:54]: 有时和用来融合的最佳模型一样,因为当时最佳模型远远领先于第二和第三选项。随着时间的推移,排名前三或前四的LLM已经越来越接近,仍然各有不同,但都能提出相当有趣的想法。就像强化学习扩展了每个实验室里机器学习研究人员的创造力表面,因此他们可以更有效地使不同模型的推理能力多样化。至少这是我的理论
Swyx [01:01:29]: 是的
Anjney Midha [01:01:30]: Fusion——它确实比过去更好用了,但那是 2024 年初。当时技术还有点太原始。形态也不对,所以我们还得再迭代几次。于是我们决定把代码全删了。然后几年后,2026 年中,或者说 2026 年初,我们说:“把它带回来吧。”因为聚变的研究看起来挺有前景。现在的模型,大概有两三四个顶级前沿模型,都真的很强,而且我经常试着咨询多个模型来获得最佳结果。然后我做了个小小的个人实验,我说:“我要给一个代码变更做个架构方案。我把它给所有模型。我把结果融合起来,然后我问所有模型,融合后的结果是不是比每个模型各自给出的结果更好。”它们都说对,融合后的结果更好。这发生了好几次,我说:“好,抽查一下,相当不错。我们应该把它基准测试一下。”Fusion 就是这么来的。
随着前沿模型趋同,重新审视 Fusion
Swyx [01:02:40]: 对。而且它出现在你的 Fable 上,所以你说:“这是 Fable 级别的。”
Anjney Midha [01:02:43]: 对。
Swyx [01:02:44]: 让我们开始聊聊今年,我们还没聊到今年。你能标出这段旅程中的主要里程碑吗?我觉得,看起来你的承诺是路由。你很早就决定了商业模式。
Swyx [01:02:59]: 你抽成。那么,有哪些主要里程碑带来了增长拐点,对吧?比如,你现在周环比增长 9%?这是官方数字吗?
Anjney Midha [01:03:10]: 就 token 量而言,我觉得差不多是这样,对。
Swyx [01:03:13]: 对。那么,你能不能标出 OpenRouter 直到被收购的简史?我们,我们叫,我们只是,我们只是在聊,人们——你有你的诞生时刻,就是 Mistral 那些东西,当时人们真的在竞争。你有你的 AI 现状那件事,Anjney Midha [01:03:32]: 对。
Swyx [01:03:32]: 那很可爱。你有 100 万亿 token,哈,因为现在你一周做 10 万亿。
Anjney Midha [01:03:39]: 对。我们一天做 10 万亿。
OpenRouter 的增长拐点
Swyx [01:03:41]: 现在一天 10 万亿?
Anjney Midha [01:03:42]: 对。更多。
Swyx [01:03:43]: 所以是的,你 10 天就能做到这个量。
Swyx [01:03:45]: 比如,主要终点在哪里?我只是想。就像,有一条平滑曲线,但你能感觉到那些拐点。
Anjney Midha [01:03:51]: 这其中很大一部分是围绕模型发布展开的。我们一直到 2024 年 5 月都非常关注专业版,因为当时编程能力还跟不上,没有什么应用能在其之上构建太多东西。所以,模型是多样化的,但并不是广泛的多样化,用例上也不是广泛的多样化。Dream Tavern 当时是我们最热门的应用之一。Dream Tavern 的创作者现在在 Cognition 负责产品,Devon。——然后——在 2024 年年中,我们看到了 Claude 3.5 Sonnet。它问世了,在编程方面是惊人的飞跃,我们看到应用在我们之上构建的态势发生了变化。我们看到使用 OpenRouter 的用户量出现了巨大激增。我认为正是在这个时候,人们开始审视自己花的钱,并有点像是,“哇,这是怎么回事?我可能得考虑一下更高效但效果相当的模型。”在那之后不久,我想是在 Sonnet 3.5 之后,Mixtral 8x7B 发布了,大家都说,“什么?就是这个模型。”就像 OpenWeights 社区交出了答卷。所以 Mistral 的时机真的非常好。
Swyx [01:05:17]: Anja 的所有被投公司都在帮你。
Alex Atallah [01:05:21]: 要发展 OpenRouter 需要一个生态系统?
Anjney Midha [01:05:24]: 是的,就是。是的,就是。它就像,它就像这个早期生态系统,就像一种摆动动作,模型实验室会拿出一些前沿创新。使用量就会激增。然后用户 30 天后看到自己的账单,就像,“哇,这是怎么回事?”然后 OpenWeight 模型会在两三个月后交出有效的选项。我们看到这种情况发生过好几次。
Swyx [01:05:54]: 顺便说一句,有一
Anjney Midha [01:05:55]: 是的
Swyx [01:05:55]: 你在编程智能体方面还做了一件事,就是你拆分出了哪些是顶级编程智能体,他们很喜欢这个。他们喜欢那个排行榜。Klein 对 Rue code 对别的什么。
Anjney Midha [01:06:04]: 是的。就像,Klein 当时是我们排行榜的第一名。我们,我们随后,在……的末尾。我会稍微往前跳一点。2025 年底,排行榜上有相当多编程应用,但它们全都是 IDE 或者终端智能体。而在 25 年底,我们看到 OpenClaw 出现了。OpenClaw 特别有意思,因为,第一,它像是一种新的形态,带来了新类型的用户,不只是开发者,而是生产力用户,或者像互联网创作者第一次来到 AI。而且它还有一种有趣的架构,除了用模型执行真实任务之外,它还会调用你选择的模型来做这些心跳检测,看看它是否还活着。而心跳就像,它们很
OpenClaw、Hermes 和自动路由器
Swyx [01:07:02]: 频率。
Anjney Midha [01:07:02]: 你不想为
Swyx [01:07:03]: 每三十分钟
Anjney Midha [01:07:04]: 做一次心跳付很多钱。
Swyx [01:07:05]: 是的。
Anjney Midha [01:07:05]: 所以,我们提供的自动路由器突然之间对如此广泛的用户群体真的非常有用。于是我们看到它呈指数级增长,然后我们看到 OpenClaw 突然爆火,还有几个其他应用也拥抱了这一新范式,做了类似的事情。Hermes 出现了,真正拥抱了自动路由器这类东西,建立了一个非常好的社区,并且拥抱了技能管理,让人们能够非常轻松有效地在智能体中设置自己的记忆
Swyx [01:07:44]: 是的。
Anjney Midha [01:07:44]: 并构建真正好的技能。
Swyx [01:07:45]: 这是另一件你从未做过的事——记忆、技能、沙箱,所有这些你本可以做的相邻的事情。
Anjney Midha [01:07:52]: 本可以做,但我觉得——Swyx [01:07:54]: 很难押注。
Anjney Midha [01:07:55]: 它们也是——有些东西对当时出现的开发者用例来说确实很重要。比如,开发者想要架构这些东西。
Swyx [01:08:05]: 对。
Anjney Midha [01:08:05]: 那些对构建良好的用户体验来说有点关键。真的——就是——公司一直很难找到适用于所有开发者在记忆层的抽象。确实——是的,有一些,比如 Mastra 就做得相当不错。但是,开发者对它们有各种各样不同的偏好。然后我们——我们的排行榜随时间变化的方式就像一部关于 AI 领域如何随时间变化的电影。如果你去 Wayback Machine 看看排名排行榜和应用排行榜随时间的变化,它会向你展示过去几年 AI 领域发生了什么。
Swyx [01:08:48]: 对我来说,成熟时刻是 Andrej Karpathy 说,“我不再读 Local Llama 了,因为我直接去 OpenClaw——OpenRouter 的排行榜。”
排行榜作为 AI 生态系统的地图
Swyx [01:08:57]: 我记得那个。是的。我想他大概说了,“抱歉各位,我要给你们送一大堆流量了。”
Swyx [01:09:03]: 我还想把它带入 Stripe 的话题。
Stripe 为什么收购了 OpenRouter
Swyx [01:09:07]: 那个对话是怎么开始的?
Anjney Midha [01:09:09]: 我们和 Stripe 有着长期的关系,来自我们与他们合作过的许多不同项目。我们在打击滥用方面投入了大量精力,Swyx [01:09:24]: 代币欺诈。
Anjney Midha [01:09:24]: 以及代币欺诈。
Swyx [01:09:26]: 你能给一些数字吗——这样人们能理解?
Anjney Midha [01:09:29]: 我觉得,我好像发过关于这个的帖子。我们上个月拦截的美元交易量是前一个月的十倍。而且代币欺诈的类型正在变得相当多样化。有那种针对典型被盗信用卡的欺诈者,但也有试图违反服务条款转售流量的人。还有被盗账户。有些人就是丢了——比如,他们整个公司都被入侵了,而他们甚至都没意识到,我们帮助他们重新获得控制权并检测到这一点。还有那种在私下转售推理的账户。还有那种遇到了意外失控的代理,而他们没有意识到的账户。不是黑客攻击,而是某种东西突然爆发,公司不想要它。所以我们的信任与安全团队,在很多这类问题上做了大量工作,帮助拦截和检测。因此我们构建了这些。我们围绕它们建立了模型。我们——我们与 Stripe 密切合作了一段时间。我认为这将在生态系统中成为一个巨大的问题。比如,我们已经看到很多公司开始看到这些欺诈者,扩散并寻找 OpenRouter 之外的其他欺诈途径。如果你在做一个网关或者销售通用推理,你就是欺诈的目标。如果你销售的是非常离散的、做非常具体事情的智能产品,而不是仅仅转售推理加一些附加能力,那么你遇到这些欺诈者的可能性就小得多。所以——我认为我们会看到公司也从仅仅转售推理加一些附加能力,转向离散任务,并对这些任务收费,对这些增强功能收费,让人们以某种方式自带推理。
欺诈、滥用与新兴的代币经济
Swyx [01:11:39]: 哇。好的。而且,是的,显然你会为此提供支持。
Anjney Midha [01:11:44]: 对。
Swyx [01:11:44]: 但是你们——人们是为结果付费,还是按任务付费?
Anjney Midha [01:11:48]: 我认为人们会付费。我觉得,Datadog 的定价页面很好地展示了未来的样子。就像公司,像基础设施公司会为他们提供的不同类型的事件收费,会有很多像那样的持续定价模型。当然,如果你往下走,走向消费者应用,定价会更简单,更多订阅,需要担心的事件更少,而且那些不是。专注于在推理之上加价。
大规模下的代币经济与安全
Swyx [01:12:28]: 是的。
Anjney Midha [01:12:28]: 不仅仅是因为欺诈很难,还因为来自实验室和优秀推理提供商的压力,要求他们做出承诺然后把推理带到别处,这种压力会非常大。
Swyx [01:12:44]: 有什么评论吗?
Alex Atallah [01:12:45]: 两点。第一,我认为 Alex 非常雄辩地描述了某件事,而反直觉的是,我四年前就因为 Discord 知道这会成为一个规模化的问题。教会我这一点的具体经历是,当我们开始扩展 Midjourney 时——早期我们用来赠送或吸引人们尝试 Midjourney 以完成他们最初十次生成的主要方式之一。因为,十次生成——生成十张图片大约是我们发现的魔法时刻激活点。就像,一旦你完成了十次,你就会觉得,“这太非凡了。”但那一周,我们为 Midjourney 提供了免费试用。有一天我醒来,因为我是平台负责人,必须监控,我有所有这些仪表盘,而且我有,比如,David 打来的三个未接电话。结果发现,一夜之间涌入了大量新用户。我们说,“这太棒了。”他说,“不,我们关闭了免费试用。”我说,“为什么?”他说,“我要你看看地理位置 IP 地址。”中国有人开始转售 Midjourney 免费订阅,以免费试用作为一种方式,就像你——这是欺诈滥用,对吧?
Swyx [01:13:54]: 即使对于像 Midjourney 这样的专业模型也是如此。
Alex Atallah [01:13:56]: 是的。那是一个应用。所以这个想法——我认为当时我得到的宏观认识是,嘿,有一种新型的价值单位正在通过互联网流式传输,叫做 token。
Alex Atallah [01:14:11]: 而在接下来的十年里,整个互联网价值链将不得不面对这样一个事实:token 越有价值,越多的不良行为者就会试图获取这些 token。任何时候你扩展某样东西,并且有效载荷变得越来越有价值,就会有更多坏事,人们试图获取那个价值。所以当时这对我来说非常明显。所以,看,直到今天,我不认为有免费回合。就像,我不认为 Midjourney 从那以后开启过免费试用,因为在信任和安全方面,这真的不是一个容易解决的问题。这就是为什么我——开始在斯坦福大学教授“规模化安全”课程。就像,那是其中之一——以及 Anthropic 的经验教训,对我来说,很明显,几年后对规模化安全的需求将是巨大的。因为如果你只是算一下,对吧,想想,比如,如果我们。在线支付,大约始于八十年代和九十年代,对吧,并在接下来的十年里增长到超过一万亿美元,我们需要构建全新的支付解决方案来应对在线欺诈。我们今天在 token 方面大致处于那个位置,但在接下来的甚至五年里,我们预计 token 经济将达到大约 5 万亿美元。而在接下来的十年里,如果我们没有达到 10 万亿美元的 token 流量,我会感到震惊。所以,如果我们开始在亚规模的 Midjourney 上看到如此激进的滥用和欺诈,记住 Midjourney 在这一点上,就像,年收入运行率不到 3 亿美元。
Alex Atallah [01:15:44]: 我刚意识到,我们需要全新的系统来应对那些试图进入代币流程时将会发生的欺诈行为。所以,我忘了是哪次董事会会议,你提到 Stripe 想要合作,这对我来说太合理了,因为 Stripe Radar。十年前我在 Kleiner 时,我们投资了 Stripe,Patrick 和 John 如此雄辩地传达的整个推介是:“嘿,不像 Braintree 这样的传统支付工具做一天的验证,比如 KYC 和 AML 来排除欺诈,我们只是预先承担欺诈成本作为客户获取成本,然后告诉开发者,只需使用五行代码,我们就能在五分钟内开始接受你的付款。随着时间的推移,我们会收集所有关于开发者的数据。”
Swyx [01:16:31]: Cloudflare 模式。
Alex Atallah [01:16:32]: 是 Cloudflare 模式,对吧?他们确实做到了。五年后,他们推出了 Stripe Radar,而 Stripe 今天真的是一家安全公司。这才是真相。人们认为它是一家支付公司。不,原因在于。今天有很多其他支付提供商提供更便宜的支付传输。但 Stripe 保持主导地位,以及欧洲的 Adyen,是因为他们多年来建立了非凡的欺诈检测能力。
Swyx [01:16:52]: 埃隆和 Max Levchin 也是同样的故事。
Alex Atallah [01:16:55]: 还有 Affirm,是的。
Swyx [01:16:56]: 是的。
Alex Atallah [01:16:57]: 所以,我认为这个故事反复出现,每次当价值以大量方式在全球流动时,你都需要新的保护和安全基础设施来对抗,以阻止坏人进入,并让好人能够快速进行交易。因此,我认为,从我的角度来看,这就是为什么 Stripe 和 OpenRouter 的故事是一个关于互联网生态系统、前沿 AI 生态系统的安全故事。没有这样的合作,就很难在不让坏人干扰的情况下捍卫体验质量、速度以及所有好的东西。第二点是,有一个被低估的事情,那就是你需要。就像,Alex 描述的所有目前由人类延续的坏事,在未来十年内将由 AI 代理延续。
Swyx [01:17:46]: 哎呀。
Alex Atallah [01:17:47]: 对吧?所以想想我们即将看到的恶意行为者的递归规模。这不仅仅是坏人,而是所有将要攻击代币流动的恶意代理。而且,如果你是一名研究人员,在AI实验室里,很难推理这个问题,因为你唯一的数据是你训练的代理如何变坏。但这只是我们将在互联网上看到的所有不良行为的一小部分。所以你需要的是防御者,新的城镇警长,戴着牛仔帽,能够看到来自不同模型实验室、不同训练部署和不同开发者的AI代理在整个生态系统中的所有不良行为,并收集所有这些数据说:“我们要为整个代币经济构建一个盾牌。”因为如果没有这个,我们将在10万亿美元的GMV和全球GDP增长中看到的大量欺诈,我认为其中很大一部分将是欺诈、滥用。如果人们不信任代币,我们可能永远达不到那里。对吧?而且我不认为这种基础设施存在。所以你在Stripe有你的工作要做,但我不认为人们已经意识到代理、代理、代理欺诈,比如由AI代理持续的不良行为即将像海啸一样袭击我们的规模。
OpenRouter + Stripe:接下来会发生什么变化
Swyx [01:18:58]: 是的。那里有很多东西要深入探讨。我想给你最后的话。我们必须结束了。人们能从OpenRouter和Stripe期待什么?
Anjney Midha [01:19:07]: 我认为这是我们加速市场并更快地走向高端市场的一个非常好的方式。而且,正如Ansh雄辩地描述的那样,这里有一个非常清晰的更好在一起的故事,当涉及到改善信任和安全,并使接受代币并让人们将他们的推理带到你的应用程序变得非常容易,并帮助开发者在此基础上构建推理,向前发展。我们在OpenRouter有一个非常强大的品牌,我们保留这个品牌。所以,就像OpenRouter,作为一个产品和路线图、名称和品牌,都保持不变。所以,你应该期待,在接下来的六个月里,大多数事情会像我们独立时那样做,只是一切都会更快地移动。这就是我们的短期目标。长期来看,希望我能很快评论,但我不能
结束:为代币经济构建基础设施
Anjney Midha [01:20:11]: 现在。
Swyx [01:20:11]: 好的。好吧,我们希望将来某个时候能做一个后续,但感谢你如此慷慨地抽出时间,并祝贺合作。这是我在AI中见过的最美丽的兄弟情之一。
Alex Atallah [01:20:22]: 才刚刚开始。
Swyx [01:20:23]: 从斯坦福开始
Alex Atallah [01:20:24]: 才刚刚开始。
Swyx [01:20:24]: 到这里。
Alex Atallah [01:20:24]: 是的。还有很多事要做。
Anjney Midha [01:20:26]: 是的。
Alex Atallah [01:20:26]: 很多警长,警务要做,关于
Swyx [01:20:29]: 是的。镇上的牛仔们。
Alex Atallah [01:20:30]: 代币经济。我们需要,我们需要新的警长,当然。
Swyx [01:20:33]: 是的。太棒了。谢谢。
Anjney Midha [01:20:35]: 谢谢。
