OpenRouter 如何成为多模型时代的 token 路由层
点播放,字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句,从那里开始听
正在加载字幕…
-
嘿,现在有一种新的价值单位正在互联网上流动,叫做token
-
而且在接下来的十年里,整个互联网价值链都得面对一个事实:token越值钱,就越会有坏人想方设法来搞到这些token,任何时候你把某个东西规模化、而且它的价值越来越高
-
就会有更多人想方设法去获取那份价值。
-
在线支付,你知道我大概是从80年代和90年代开始做的,然后在接下来的十年里增长到了超过一万亿美元,我们当时需要构建全新的支付方案来应对在线欺诈。
-
我们今天在token上的处境大概就相当于那个时候,但在接下来哪怕五年里,我们预计token经济会达到大概五万亿美元,再往后,要是token流量到了10万亿美元,我会非常吃惊。
-
上个月我们拦截的美元交易额是前一个月的10倍。
-
而且token欺诈的类型也在变得相当多样化。
-
在进入今天的节目之前,我有一小段话想对听众说。谢谢。
-
如果你们没有选择订阅并收听我们的内容,我们就没法把你们显然想要的AI工程、科学和娱乐内容带给你们。
-
几乎每天都有人来找我们谈赞助,但幸运的是,订阅我们的人足够多,让这一切在没有广告的情况下也能持续下去,我们想保持这样。
-
但我只想请大家帮个忙。
-
你能做的最有力、而且完全免费的一件事,就是点一下那个订阅按钮。
-
这是我会向你们提出的唯一请求,而它对我和我团队来说意义重大,我们每周都在拼命把Latent Space做出来给你们。
-
如果你订阅了,我向你保证,我们会一直努力让节目变得更好。现在,我们进入正题。
-
好,我们现在在Anjit家里。
-
这里正是旧金山所有伟大创业公司的起点。你好啊。
-
恭喜cursor,All先生。我都不知道,天知道还有多少别的东西。
-
你手头事情太多了。真是好多事在忙。
-
嗯,OpenRouter大概是我最近最兴奋的一个,可以说是最兴奋的一个。
-
是啊是啊,而且Alex第一次上我们的播客,但你之前上过几次EIE。
-
每次你为社区出力,我都很感激。
-
恭喜啊,我就是觉得,这一路走来真不容易。
-
我回头翻你以前发的东西,看到你作为一个产品人最早写下的原则之一,就是把PubSub当成产品原则。
-
我想让你讲讲,你是怎么思考这个世界上应该存在什么东西的。
-
对,PubSub那部分,是2023年初写的,要不是咱们十分钟前聊起来,我都没想到它,它讲的是可以把产品看成订阅数据和发布数据的交集。
-
市场就是个特别特别简单的例子。
-
供应商把某种产品发布到一个SKU上。
-
这个SKU有点像PubSub里的一个主题,消费者订阅它,想消费的时候就去消费。
-
而人类的消费方式是非常离散、非常随机的。
-
这种方式不太能规模化。
-
他们买东西的时候注意力全在这个主题上,别的地方一点注意力都没有。
-
智能体和推理的消费者可不是这样。
-
他们在持续不断地消费,而且一直在换他们消费的SKU。
-
所以OpenRouter有点像普通API体验和市场之间的结合体,我们会创建模型slug,我们有auto router,有各种各样的产品SKU可以订阅。
-
然后你就可以持续从中获得价值,并根据这些消费者做决策。对。
-
这件事现在算是共识了,但你们刚起步的时候还不是,就是大家对换模型、换东西有这么大的需求,而且人们不会去用原生的SDK。
-
我想问问你们两位,各自是什么时候意识到这事能成的?
-
你在EIE做过一次演讲,把Alpaca说成是启发你的时刻之一。
-
Alpaca,我可以简单再说一下那个Alpaca时刻。
-
就是最开始,2022年底的时候,OpenAI是唯一的选择。
-
当时有OpenAI、Cohere,然后还有一些早期对开放权重模型的零散尝试。
-
2023年1月WAMA出来的时候,感觉就是,哇,太让人兴奋了,这真是件大事。
-
它在一两个基准测试上超过了GPT-3。
-
但你没法跟它聊天。
-
它其实算不上一个能吸引人的模型。
-
但看起来只要有人修好几个地方,再做点RLHF,就能把它彻底搞定了。
-
而Alpaca是我看到的第一个做到这一点的模型。
-
只花了600美元就做出来了。
-
斯坦福的一个团队生成了一堆合成数据,微调了llama,做出了Alpaca,一个70亿参数的模型。
-
也许是130亿参数,而且效果特别好。
-
我当时就在飞机上用它。
-
你知道,很多时候你根本分辨不出ChatGPT的结果和Alpaca的结果有什么区别。
-
我就想,如果做一个模型这么容易,那第一,我们头一回有了一种全新的数据变现方式。
-
你可以直接把很有价值的数据,花600美元就变成一个服务。
-
而且这个成本可能还会随着时间下降。
-
第二,你说数据变现,是指最终会变成MCP端点,还是作为模型的训练数据?对,作为模型的训练数据。
-
抽象点说就是,嘿,我有这些数据,把它压缩进一个模型里。
-
这在我的产品里对我有意义,但我也可以把它重新打包成一个模型来卖。
-
所以这对整个经济来说就是一种全新的商业模式。
-
当然,它也提供了一种跟进前沿实验室在做什么的方式。
-
但这种方式让单个开发者或者一个小团队自己就能搞起来。
-
所以每当你有一个这样的例子,比如一个爆款应用做得特别好,然后又有某种框架让你能用自己的风格去模仿它,你就立刻有了一个生态。
-
一个生态应该马上就能起来,因为单个公司做的那些决策,和更广泛的生态自己能创造出的各种变体之间,存在巨大的差距。
-
所以接下来,你就需要一个市场来发现所有这些服务和所有这些产品。
-
互联网上没有任何一个地方是大语言模型的大本营,能让人看到它们被用了多少、谁在用、为什么用。最接近的就是Hugging Face。Hugging Face是最接近的。
-
他们几年前才刚开始做Hub,在那之前没有。
-
对,而且Hugging Face也没有闭源模型,那时候你也没法直接用那些模型,也没有关于谁在用的数据。
-
OpenRouter和Hugging Face之间有一堆区别,而这些区别对我来说特别关键,尤其是我当时正想了解大语言模型,想搞清楚人们为什么会选这些不断冒出来的不同小模型。明白了。
-
然后还有Ansh,他当时也一直想要更多的模型多样性。
-
你在Anthropic已经待了几年了,这个你在上一期播客里也讲过。
-
你是怎么认识Alex的?
-
嗯,认识他应该是那之前13年的事了。哦。
-
但OpenRouter那次握手其实就在那边发生的,如果你还记得的话。
-
我记得我和Alex第一次见面,应该是大二的时候。
-
是在Stanford Review的一次会上第一次见面的。我想是的,对。
-
Stanford Review是斯坦福校园里的那份自由意志主义报纸,当年是Peter Thiel创办的。
-
不知什么原因,我和Alex都出现在了其中一次会上。
-
我记得当时的主编是我们共同的朋友。
-
Lisa真的是个非常棒的主编。
-
主编的部分工作就是给大家分配任务,确保活儿能干完。
-
我可能记不太清细节了,但我记得当时想,让我有点意外的是,那时候报纸里居然没有专门的科技版块。
-
因为这事儿涉及政治,对吧?
-
它谈的是权利、州政府这些事。
-
但咱们把时间往回拨一点,你可能还记得,当时有个科技相关的立法在辩论,叫《网络中立法案》。
-
网络中立本身就是一个政治概念,对吧?
-
它讲的是对互联网宽带接入的监管。
-
所以当时我们有一群人,算是技术人吧,但也在讨论技术的政治层面。
-
我觉得那份评论报是个写这类东西的好地方。
-
我当时在写,我记得我写了一篇关于网络中立的文章,我还提议说,要不你们开个科技版块吧。
-
Alex是少数几个说“对,这主意不错”的人之一。
-
后来我们到底有没有一起写过东西我忘了,但那就是我们第一次认识的时候,大概是2011或2012年。
-
具体哪一年我忘了,就那两年。对。
-
如果我没记错的话,是在Old Union,我们那时候常在那儿碰面。
-
不过后来,Alex和我经常有机会一起玩。
-
我们职业上交集最多的时候,大概是我在Discord管平台那会儿,疫情中间它成了加密货币和NFT的爆发式平台。
-
顺便说一句,你当时还负责安全和安保,对吧?
-
我是平台负责人,意思就是所有加密货币DAO和NFT发布的安全调试都落在我头上。
-
还有钓鱼攻击和——钓鱼、社会工程攻击,还有我们当时被Katana DDoS打的那些,差不多就是我刚开始在斯坦福CS 153教安全的时候。
-
Alex当时在OpenSea,我当时在想我们怎么防住所有这些攻击,我们当时……
-
巅峰的时候,我忘了你还记不记得Discord上跑着多少NFT交易量。
-
但那是一个相当可观的量,可以说是几十亿美元的NFT成交额在平台上流转。
-
而且这些全都来自OpenSea。
-
就是那些买卖、交易的服务器。
-
DAO里的D就是Discord。对。
-
所以那时候我们算是工作上打过交道,但一年之后,OpenAI给了Discord提前使用GPT的权限……抱歉,是GPT-3。
-
不对,其实是GPT-3.5。
-
GPT-3.5,也就是GPT-3的强化学习版本。
-
差不多就是那时候,我们和OpenAI一起做了个Discord机器人,用于内部部署。
-
也就是那时候我意识到我们需要……
-
因为我当时是部署团队的一员。用例是什么?
-
有两个,其实现在有一篇叫《Discord是你和朋友玩AI的地方》的文章,最近有人发给我,是我2023年写的并发表的,但当时有两个用例。
-
一个是Clyde,就像是Discord内部的一个官方好友,能帮你搭建Discord服务器,跟你聊入门引导,让你的朋友多来玩。
-
然后就是内容审核。
-
我们在内容审核上意识到的一点是,它会拒绝审核,就是它会直接拒绝我们的提示词,因为强化学习、后训练——我们当时处在后训练时代的极早期——我们的提示词一触发它,就像触发了护栏一样。
-
然后我们跟OpenAI说,嘿伙计们,我们需要访问权重,因为如果我们要做大规模的内容审核——我们当时有2.5亿月活用户——我们需要更高的可靠性,确保模型会做我们需要它做的事,结果他们说,
-
抱歉伙计们,不是这么运作的,我们是闭源公司。所以那是我第一次意识到我们需要开源模型,企业需要对自己的能力有更多控制权,最终还需要某种控制平面或管理系统来编排这些开源模型。但我想
-
知道,好吧。
-
当时没有好的开源替代品,直到大概六个月后Llama出来。
-
又过了六个月,我领投了Mistral的A轮,那是Guillaume和Llama团队创办的。
-
差不多就是那时候,我记得听说Alex在做OpenRouter,心想,这两个世界要撞上了。
-
我也不知道什么时候合作才合适,但Alex起步太早了,他能看到这一点,我觉得他完全说对了,这个生态从Llama开始,然后就需要一个容易管理的层,尤其是从企业角度出发,因为我当时就是那个角色,
-
作为Discord的平台副总裁,我的职责就是确保当我们把模型部署给2.5亿用户时,它们的行为符合我们的预期。
-
这非常难,因为如果你把它外包给那些实验室,而他们控制着护栏,他们的护栏或安全策略禁止模型回应你的提示词,那就相当灾难性了。
-
是啊,但你知道审核是他们愿意支持的功能,显然除此之外他们也愿意合作,愿意跟你配合,大概会给你提供一个他们免费提供的审核接口。那是个挺有意思的用例,所以他们确实给了我们一个审核接口,不过,
-
你们也知道,每个Discord服务器就像一个小型部署,所以当时的用例是,与其让人类审核员去解读社区的规范,不如直接把这个,他们经常像每个,你知道,
-
每个subreddit、Discord服务器,公开的那些都有自己的规则,用户围绕这些规则自己创建的,嗯,然后人类以前要读这些规范,然后每天手动执行,比如观察这些社区里的每条消息,而这些社区有数百万用户,所以我们有一个
-
全球五千多人的Discord内容审核团队,这些是外包的合同工,工作非常辛苦。
-
所以想法是,与其这样,不如把那个服务器的规范交给大语言模型,然后大语言模型就能为那个服务器做定制化的审核。
-
这几乎就像是针对那个服务器的上下文内审核,而很多服务器的规范本身就违反了OpenAI的规则。
-
就像我们有自己的定制评估,每个服务器都有自己的定制评估,但当时OpenAI的评估,我们对如何部署这些大语言模型的思考都太原始了,所以后训练的提示词往往非常粗暴。
-
它会说,哦,任何关于哈利波特的内容,任何有商标内容的东西,你知道,不要拒绝。
-
如果是一个哈利波特粉丝社区,这是真实用例,有内容审核,大语言模型就会直接拒绝。
-
那就不够精确。
-
我们听说的另一个例子是,如果有人想写一个侦探故事,其中有一章有很多暴力内容,也许有人杀了人,大语言模型就会直接拒绝帮忙写故事的那部分。
-
然后这些就会变成,好吧,这不是大语言模型结构上固有的。
-
外面一定有某种选择,这样当我从主模型那里得到拒绝或糟糕的结果时,我可以切换到另一个模型。
-
这种张力也推动了市场的需求。
-
是啊,我觉得现在这已经被广泛接受了。
-
那时候你在融资或创业时是什么感觉?大家理解吗?有哪些挣扎?
-
基本上,我喜欢从他那里套出其他风投怎么不理解的故事。
-
那现在你想聊点什么,就当OpenRouter的早期历程已经讲完了。
-
你当然可以聊聊早期的一些事情。
-
我正想说,我们遇到的最大反对意见就是“大模型赢家通吃”。
-
规模定律。
-
对,规模定律和天然的网络效应最终都会集中到一家公司身上。
-
那会是一个谷歌式的垄断,就像谷歌以巨大的优势赢下搜索市场那样。
-
到最后你基本上就只能抢点残羹剩饭。
-
那大概是我们遇到的最大反对意见。你知道,这挺有意思的。
-
谷歌当年是以那么大的优势赢下搜索引擎这场竞赛的。
-
我觉得,如果当时有更多有意思的基准测试,或者搜索引擎更像大语言模型那样,也就是人们能基于这些服务去创办公司,那情况可能就不一样了。
-
但大语言模型可不只是有个用户界面而已。
-
它们还是构建全新业务的方式,而一个谷歌级别的垄断,那规模得是荷兰东印度公司的千万亿倍,整个经济最终都会依赖那一个垄断者。
-
所以如果真发生那种情况,看起来也不会是个特别离谱的结果,而且这种事发生的可能性也更低,因为打造优秀竞争者的经济逻辑要可去中心化得多,对吧?
-
Alex说的都是真的。
-
而我是从一个完全不同的角度来看的,那就是——对,这就是我们在这儿的原因。
-
在我心里,规模定律从来都是OpenRouter会非常有价值的一个特性,而不是缺陷,因为我是Anthropic最早的投资者之一,而且很明显,我们朋友圈里的其他研究者,还有我,都去读了机器学习的研,
-
我在ML圈子里有很多朋友,我们都很清楚“苦涩的教训”是成立的。
-
所以我当时就想,哦,太棒了。
-
现在我们至少有两个证据点证明算力扩展是有效的。
-
那就是OpenAI和Anthropic。
-
等到我们决定一起做OpenRouter的时候,我已经投资了Mistral、Black Forest Labs和Luma。
-
所以当时我合作的有好几家模型公司和团队。
-
但你做的是其他模态,而这里纯粹是文本。没错。
-
而且我很清楚地看到,各种不同类型的模型正在形成一个生态,而那种“只有一家公司会主导”的说法,比如谷歌,也许是对的。但第一,我不信。
-
第二,好几个不同的研究团队正在发生大量非凡的创新。
-
但我注意到他们共同的问题往往是,你知道,这些研究团队非常擅长搞清楚怎么去推理新的能力。
-
他们是从能力的角度思考的,但从来不是以开发者的思维为导向。
-
比如训练结束、checkpoint出来之后会发生什么,你会很惊讶,OpenAI早期预训练团队,抱歉,是Anthropic、BFL、Mistral,
-
他们在把研究带出实验室、扩大影响力方面的默认做法有多相似,通常就是,哦,checkpoint做完了,把它作为API放出去,完事。然后就一片寂静。
-
就拿Claude来说,第一个Claude checkpoint其实在他们内部完成一年之后才发布。
-
后来ChatGPT出来了,我们才决定,好,是的,对外发布一个Claude版本是个好主意。
-
而他们根本没有计划,完全没有计划怎么让开发者真正去试用它。
-
所以如果你去看Claude 1的那篇博客文章,你会注意到他们大概只列了三个面向API用户的开发者示例。
-
一个是Discord机器人,第二个是Vivian,我妻子的创业公司,叫Juni Learning。
-
然后还有Notion,因为这些人都是Anthropic团队的朋友。
-
可见当时的规划有多临时,就是,嘿,模型训练完了,怎么把它推向世界?
-
当时没有一个分发平台真正懂开发者需要什么。
-
所有的密钥管理、资源分配,比如简单的端点管理、版本控制,所有这些科学家和研究员会说,嗯,那是管道工程,我不太去想。实现细节而已。
-
而Alex恰恰是从这个角度切入的。
-
所以,你知道,我很清楚地看到,我资助的每一个实验室有时会花上几十亿美元去训练,然后checkpoint就完成了。
-
结果早期访问期间一片死寂,因为他们这才明白,哦,原来这就是为什么光靠一个checkpoint很难做出任何东西。
-
你实际上需要围绕它搭建一整套管道,才能让开发者真正用起来。
-
所以到那个时候,我觉得对我来说太明显了,如果我们希望有人能跟Google竞争,那生态里就必须有一个像OpenRouter这样的分发平台。
-
换成Google,DeepMind训练完一个新的checkpoint。
-
然后他们按一下按钮,就把它推送到他们所有的渠道上,从Google Docs到你懂的,到处都是,哪怕我不想要。
-
比如在Android上,一夜之间,他们就能把一个新的checkpoint部署到十亿台设备上,对吧?
-
而这种看不见的基础设施优势、分发优势,大多数人根本没意识到,但在OpenRouter出现之前,作为一个模型应用,这些你都得自己操心。那真的非常让人望而生畏。
-
在Anthropic,我记得我们花了超过12个月才做到第一个一千万的收入。
-
而对比Black Forest Labs,我记得早期的时候,你们跟BFL团队聊过,对OpenRouter来说太简单了,直接说,哦没问题,你们发布那天,我们可以给你送去一百万开发者。
-
你知道,那太疯狂了。
-
那简直像是能力上的阶跃式变化。一百万,这是真实数字吗?
-
我觉得今天大概是四百万。
-
今天OpenRouter上有多少开发者?
-
超过10,对,超过一千万,但很难……对,我不知道该怎么……
-
我们会做很多,你知道,账号去重的工作,但你知道,没人真的知道。
-
哪怕你能有一千个开发者,就打个比方,如果你有一千个开发者在你发布模型的第一天就真的去试了,去做推理、给你反馈,那也比他们自己知道怎么触达的开发者多了一千个。
-
嗯,你知道,BFL是有名气的,不过没错。
-
他们靠Stable Diffusion有了名气。对。
-
而Mistral,我不知道你们还记不记得,他们发布的第一个checkpoint是种子文件形式的。就是种子权重。
-
对,他们只放了个磁力链接。根本没有API。
-
因为他们不是冲着人来的。
-
你知道,就是那种,行吧,把这些权重下载下来,你们自己折腾去。
-
他那边有个故事,对。
-
对,我是说,除了围绕它打造出非常好的开发者体验之外,我们针对不同模型做的营销,跟模型实验室自己给自己做的营销完全不一样,用户的感受也完全不同。
-
百分之千同意。我们就像一个中立的中间层,看着这个市场就像一间巨大的黑屋子,所有角落对用户来说都完全看不清,用户走进这个房间,到处摸索,想搞清楚该从桌上抓哪些东西,再搭进自己的公司里。
-
这种工作方式简直离谱。
-
模型不是那种你可以把所有功能都列到网页上的产品。
-
它们全是黑盒,包括开放权重的那些。
-
所以你得把这间屋子每个角落都照亮,让人们看清这个模型好在哪儿。
-
而且照这束光的公司必须是个中立的第三方,这正是我们专攻的事。
-
所以除了开发者体验,还有非常重要的营销和产品包装环节,而一套路由和发现模型的方式,对作为提供商或模型实验室的你来说,就成了走向市场的关键,
-
或者对服务器工具来说也是如此,未来还会有更多。
-
这就回到你刚才说的,为什么很多风投就是不行,我最大的挫败感之一就是,风险投资人里有很多在这个领域根本没有一线运营经验。
-
所以,不像传统投资人可能只是从associate一路做上来,搞搞财务建模,或者在这个领域里已经十多年没真正做过一线操盘手了,而这在如今的行业里是很大一部分,我呢,是在运营完平台一年之后才刚到a16z的。
-
所以我很清楚,打造真正出色的开发者体验、真正能用模型做出一个能跑的软件,难点在哪儿。
-
当时有那么几位,我就不点名了,有投资人在看OpenRouter,那会儿我跟人交流对比看法时,他们觉得它就是个,我原话引用,就是个市场。
-
对,就薄薄一层,就是个代理。
-
没错,就是在别人API上套个壳之类的。
-
我当时就想,你根本不知道OpenRouter能在生产环境里把哪怕三个API编排起来,这创造的战略价值有多大。
-
要让这东西真正上线、在生产环境里跑起来,达到OpenRouter团队起步时的规模,背后投入的工程工作和社区设计有多少,这可不是自然而然就能发生的。
-
这就是我从最早的时候就注意到Alex的一点。
-
他从系统的角度就明白,怎么让这些飞轮转起来?
-
我们一起在Discord做NFT集成的时候,我在OpenSea身上就看到了这一点。
-
Alex在怎么让这些飞轮转起来这件事上,有一种系统性的思维,这是大多数科学家和机器学习的人根本不会去想的。
-
我们经常是按预训练、中期训练、后训练来想的。这是一个线性的阶段,是一条线性的流水线,还没有闭环。
-
是啊,直到很久以后,现代那种上下文反馈循环的周期才真正在行业里标准化下来。
-
但那时候,你要是还记得的话,机器学习基本上就是,我读研的时候大部分ML都是在笔记本上做的。
-
你就是下载个数据集,跑一些消融实验,看看损失曲线,然后就说,太好了,我做出AI了。
-
而那种你得把这些能力部署出去、收集反馈和轨迹、再把它们放进一个持续循环里的想法,可能要晚得多得多才出现。
-
这对传统的AI思维来说是非常反直觉的。
-
我确实记得在OpenRouter的投资阶段,我就没想着去重新教育一堆别的VC,跟他们解释为什么它不只是一个市场。我当时就想,算了吧,我直接投。
-
我要抓住这个机会跟Alex合作,如果别的VC看不懂,那完全没关系。
-
因为当时,我觉得有好几个投资人都没看明白,OpenRouter不只是套在API外面的一个壳。这让我特别恼火。
-
我当时就想,你知道吧,我没时间跟你争,我们要投。
-
然后我记得大概一个月后,Matt Murphy把它估值抬了10倍。
-
我忘了投后估值具体是多少之类的,但平心而论,Menlo Ventures意识到了,好吧,这里其实有更大的战略价值。
-
也许你没听到幕后所有这些对话。
-
但那件事让我非常沮丧。
-
你知道,有很多这种关于套壳的议论。
-
如果你觉得,哦,一个应用就只是在某个模型上套个壳,然后OpenRouter就像是在别的API上面套个壳,这是最愚蠢、最简化的框架。
-
所以这明显是个没做过部署的人,就是那种你用来贬低别的东西的说法,好像人人都是套壳、什么都是套壳,对吧?
-
就像,某种程度上,有些套壳是有价值的。
-
我是说,投资人就是套壳,LP也是,对吧?
-
就像Metric Capital,我是说,对,一路往下到裸金属,全都是套壳,我猜,还有能源。
-
我2023年开始搞AI工程师这个词的时候,那是最主要的反对意见,就是说这没价值,你应该直接去训练模型。对吧。
-
而且对,我是说,显然,你们就是活生生的证明,证明你确实可以做出非常有价值的套壳,但也能做出非常有价值的模型公司。
-
真的很难,比如一个模型发布当天,你就有那个模型的OpenRouter端点,而且经常当天就上了Hacker News头条,人们根本不知道做到这一点要付出多少功夫。
-
而且OpenRouter经常是这样,一次又一次地发生,我记得我当时就想,人们根本不知道这有多难,你知道吗?那不是……
-
对,我们聊过一些背后的推理工程,就是那些,我们有Base 10还有那些。
-
嗯,今天你有,你知道,那些很酷的代号,大家猜OxyAlpha是什么之类的那些东西。
-
但就像,我猜你想引出的其中一件事是,你怎么让最初那个飞轮转起来,对吧?
-
因为今天你有你的规模、你的声誉,所有这些。
-
所以显然你现在可以驱动巨大的分发。
-
但早期的时候,当它主要是……冷启动,对。
-
冷启动是什么样的?
-
我是说,回到早期Discord那会儿,我觉得我们最初联系上,严格说这是个OpenSea的故事,但我们最初联系上是你还在Discord的时候,我们聊了Axie Infinity的服务器。哦对,对对。
-
那个服务器当时是Discord上最大的服务器。对,没错。
-
而且你当时一直在不停地调高上限。服务器的上限。我的天。
-
不知道的人说一下,当时菲律宾有10%的人都在玩Axie。
-
就在那个服务器上,就这样。
-
那差不多相当于那个国家GDP的很大一部分了。那是个NFT,像个加密游戏。
-
那是个类似宝可梦的繁殖养成游戏。
-
有对战,有繁殖,然后还有个交易市场。
-
还有边玩边赚。
-
对,边玩边赚,而且画面特别可爱有趣,你会对自己养出来的东西产生感情。
-
所以要建立这样一个社区,我们在OpenSea做过很多次,基本上每个早期项目我们都要为它建一个市场,我们得确保社区真的想要这个东西。
-
就是做出人们想要的东西,然后去告诉他们。
-
你可以一对一地去做。
-
但在一个大家能同时跟你交流的社区里做,杠杆效应要高得多。
-
所以,我们花了很多时间去打造社区真正想要的东西。
-
我们对OpenRouter也做了同样的事,而AXE社区只是我们做过这件事的无数社区之一,Anjh看到了我们这么做,因为你能看到人们在那个Discord里不停地分享OpenSea链接。
-
用户分享链接是一个非常清晰的信号,说明有重要的事情正在发生。
-
所以我们花了很多时间,先弄清楚人们在意的技术缺口到底是什么。
-
就是真正需要解决的问题是什么?
-
在大语言模型早期,是OpenAI拒绝把提示词写完或者把任务完成。
-
还有就是没法定制模型。
-
所以有些社区就完全卡在这个问题上。
-
而那些社区恰恰是最值得去了解、深入和探索的。
-
当时有件事让我印象很深,听你刚才讲的时候我想起来了,你可能不记得了,但我们当时开了好几个Zoom工作会议,围绕OpenSea和Discord的集成在冲刺。
-
你知道,那是我、我的工程团队,我记得你也在。
-
我记得,你知道,Alex在其中一次电话会议中间,突然就安静了。
-
你知道,我们大家都觉得,哦对,这完全说得通,就这么办吧。
-
然后大家就都对齐了。
-
结果Alex说,不,我觉得这完全说不通。
-
我记得我当时就想,什么?
-
明明能用啊,你点个链接,然后就跳转到OpenSea去了。
-
他说,这用户体验不好。对,我们不该这么做。
-
我记得我当时就想,你知道,他是我们所有人里唯一一个真的举手说,对,从技术实现的角度来说这说得通。
-
我们就是把用户跳转到OpenSea去。
-
所以这算是满足了双方产品经理的需求。
-
但Alex又多想了一步,他说,你们知道什么会更好吗,如果我们直接把体验嵌到Discord里面,让链接以嵌入的iframe打开,用户直接在那儿就能结账。
-
结果电话里没有一个人,我们大概七个人,都已经来来回回开了好几周的会了。
-
而且他还是那个不为Discord工作的人。
-
而且他还是那个不为Discord工作的人。
-
从技术上来说,用户跳转出去对你反而有利。没错。
-
那其实是有点对抗性的。
-
把用户留在Discord里面,对OpenSea来说是对抗性的,但Alex还是把用户体验放在第一位,我当时就想,这很不一般。哇。
-
因为很难找到一个人,像Alex这样既懂技术、理解开发者的流程,又懂什么是最好的用户体验,还愿意把它放在优先位置。
-
这就是飞轮的两面,一旦你能让它转起来,往往就很难停下来。
-
你刚才让我想起,那就是那种时刻之一,我意识到我得在用户体验上做得更好,因为本来应该是我想到那个点子的,但我没有。我从你身上学到了。
-
我觉得这已经成了我们PM培训项目里的一个案例研究了。
-
我不知道现在还在不在。
-
你需要一个Alex,这就是结论。对,你需要一个Alex。
-
所以Stripe决定必须收购OpenRouter,没人该感到意外,因为这真的是一种非常罕见的组合:既懂机器学习社区,又懂开发者体验,还懂终端用户体验。
-
把这些全都结合起来,就造就了这种非凡的规模,过去五年里很少有其他市场平台能做到这一点。
-
是啊,那我们该聊聊收购的其他原因了,你写过这方面的内容,我也想大致按时间顺序往下讲。
-
有个点,HFZero的Dave提的一个问题是,你什么时候知道它真的开始奏效了,你提到了Mixtral?
-
我不知道你想不想提那个,显然你跟它有交集。
-
是啊,MOE嘛,我不知道是什么时候,我是说,并没有某一个时刻让我觉得,哦,这正式开始了。
-
更像是连接越来越多的那些时刻。因为你很早就开始用浏览扩展了。哦,对。
-
所以在OpenRouter之前,我想探索一个自带模型的实验。
-
熟悉加密圈的人都懂Phantom这些。对。
-
所以感觉给AI做个类似MetaMask的东西,会是个挺有意思的探索方式。
-
当时根本没有AI应用。
-
那时候通过API调用大语言模型的AI应用,大概跟纯用JavaScript做的游戏一样多。
-
基本上有那么一个时刻,本来有可能是这样的:网页应用通过浏览器、通过某种由用户控制的桌面管理应用来调用大语言模型。
-
当然,我觉得它没成真的原因有很多。
-
但在那个混沌初开的年代,我用Plasma做了一个叫Window AI的Chrome扩展。
-
我很早就接触到它了,当时还想,谁会真的用这个啊?结果你用了。
-
Plasma有几个,我记得Phantom在用。
-
当时还有几家真正的公司在用它。
-
React for Chrome扩展。它能编译成所有这些。
-
对,有点像Chrome版的Next.js。Next.js。
-
然后,我就在它上面做了Window AI。
-
Plasma的创作者,后来开始在GitHub上给Window AI贡献代码。
-
结果那个人就是Luis Vichy,OpenRouter的联合创始人。
-
你跟我说过你是怎么认识Luis的。对,没错。
-
所以它让用户可以配置在浏览器里给某个网页用哪个模型。
-
然后应用就直接调用那个模型来做事情,不过这对大语言模型来说不是合适的产品形态。
-
但那是个挺有意思的实验。你能学到很多。
-
然后我把它开源了。
-
主要的收获就是,好吧,这必须得做成API。
-
而且它得看起来有点像那样,才能有更好的开发者体验,也有更好的发现体验。
-
比如我不知道该在哪儿用这些模型,一个小小的Chrome扩展可帮不了我去发现。
-
它的空间不够。我需要更大的空间。我需要视觉呈现。我需要图表。
-
我需要,你知道,示例。我需要图片。
-
我需要能像人一样、也像智能体一样去探索。
-
所以OpenRouter差不多就是这么来的。
-
你知道,有一个我觉得被低估了的元观点,Alex刚才提醒了我,就是我们当时挺幸运的,那时候我们算是紧挨着加密社区,因为事后看,加密其实算是生成式模型的一场彩排。
-
想想Axie那段经历,Alex说得完全对,当时AI应用并不多。
-
那时候我在Discord的工作是平台负责人,也就是要把它做成一个通用场所,让社区和朋友能在这里创作,让开发者能在这里开发应用、机器人和其他服务,并部署到Discord各处。
-
当时80%的注意力都花在加密上,因为NFT的交易量全在那儿,但我大概有20%的时间是跟一个朋友一起度过的,他会约我吃火锅,然后问我,
-
我们周末会一起玩万智牌,他当时在做一个小Discord机器人,能把文字输入变成图像,那个东西叫Midjourney。是大卫吗?
-
那就是David Holz,他是我的好朋友。
-
大卫和我之前都算是失败的AR、VR创业者。
-
我记得MidJourney是我们当时增长最快的社区之一,那是在Axie Infinity开始走下坡路之后。
-
我们为了扩展Axie所做的许多抽象设计和基础设施决策,来得正是时候,因为Axie冲上去之后就直接断崖式下跌了。
-
后来MidJourney起飞的时候,我们明确决定帮大卫把那个服务器,也就是MidJourney服务器,做成和模型互动的主要场所,因为如果人们看不到别人怎么用、没法模仿,就很难理解该怎么用这个模型。
-
所以单机版的MidJourney网页应用,就是MidJourney.com本身,留存特别差,因为人们进来只看到一个空输入框,有点像DALL·E 2那样,然后他们就输入个猫啊狗啊之类的。
-
面对一张必须自己填满的白纸,他们整个人都僵住了,因为他们以前从来没用过AI模型。
-
但在Discord服务器里就不一样,你能看到别人怎么用,还能顺着他们的提示词接着玩,参与度简直爆表。
-
所以从Axie Infinity之后,把MidJourney从零做到一千万月活,路子顺畅多了。
-
所以——别忘了那个四张图里选一张最好的。
-
这就是那个反馈循环。
-
就是RLHF反馈循环,顺便说一句,Tom Brown、大卫和我以前周末会一起玩万智牌。
-
所以就是一群朋友经常聚在一起。
-
这些概念当时一直在被讨论。
-
但我觉得我们当中很少有人能同时连接加密世界和AI世界。
-
跟加密相比,那时候大家总在问,这项技术的用例到底是什么?
-
而对AI,从来没人需要问这个问题,因为用例太直观了。
-
我现在能创造出任何我能想象到的东西。
-
我能写小说,我能写代码。
-
而我们这些相信分布式系统、相信加密的价值、相信抗审查性的人,所构建的基础设施,正好碰上了这个爆发式的用例。
-
我觉得,在Midjourney之间,你知道,Claude在发布前就是个Discord机器人,我们内部当时就在用它当大语言模型。
-
Eleven Labs有个TTS模型,我们当时也把它放在Discord上了。
-
可以说Discord成了早期应用创新的培养皿。
-
而且我觉得,它们在OpenRouter给世界提供一个公共主页、一个店面之前,就先在Discord找到了归宿,这绝不是巧合。
-
Discord就像是一个培养皿式的店面,某种程度上搭上了我们为加密社区搭建的基础设施的便车。
-
然后我觉得Alex是最早意识到这一点的人之一:等等,这些应用需要在互联网上有自己的家。
-
而OpenRouter在我看来就是那件事的延续,是那个社区需求的延续。
-
当然,还有你为很多开发者带来的那种惊人的分发能力。
-
那我的问题是,为什么你的……我的印象是OpenRouter并不是那么以Discord为中心的,对吧?你们有Discord。
-
是的,你们用它来跟社区互动,但它不像Midjourney那样,对吧,Midjourney那个就是人们体验它的主要方式。对,Midjourney确实很需要让人快速直观地看到别人是怎么用这个模型的、该怎么写提示词,我觉得这也是那个服务器如此关键的部分原因。
-
关键。
-
它本身就是用户体验,真的加了很多分。
-
是的,而且你可以全程只靠Midjourney的提示词,就通过Midjourney的Discord服务器,拿到你的图片,然后分享出去,玩得很开心。
-
对OpenRouter来说,对大语言模型来说,你需要围绕大语言模型做大量的用户体验,让它们真正好用。图表,图表点。
-
对,而且看别人的例子也没那么有用,因为要读的东西太多了。
-
要花很长很长时间。
-
你需要基于代码的集成,这在Discord服务器里是做不到的。
-
你需要,或者说技术上是可以做到的,我不该那么说。
-
只是开发体验不太好。
-
你需要治理,到了做基于代码的集成这一步,你就需要治理来管理那些能访问它的大语言模型、数据政策、哪些团队,所有这些都需要远超一个Discord服务器能提供的东西。
-
所以就是,它不合适。
-
嗯,另外,你说得没错,但还有一个非常重要的区别,Midjourney是一个终端用户应用。
-
这就是为什么Discord有2.5亿月活终端消费者,Discord作为那种应用体验的宿主是合理的。
-
我知道在Midjourney找到爆炸性的产品市场契合之后,很快就会发生一件事,因为我觉得Midjourney发布时,从发布到1亿美元营收运行率,用了不到八个月。
-
紧接着,Stable Diffusion发布了。
-
我们所有人以前都泡在那个Discord服务器里。
-
是那个——Stability的Discord?
-
是Lyon——对,Lyon。Lyon的Discord服务器。
-
那个孕育了Stable Diffusion的图像社区。
-
对,所以当Stable Diffusion出来的时候,我意识到,哦,现在别人可以打造自己的Midjourney了。
-
因为在那之前,Midjourney没有API。
-
所以他们是一家全栈公司。
-
他们自己训练模型,然后作为应用来部署。
-
但如果你想打造自己的Midjourney,市面上没有那种质量的API。
-
而且我觉得DALL·E 2当时还相当原始,Midjourney的质量其实很好。
-
然后当Stable Diffusion出来的时候,突然出现了这个新的人可以——世界上出现了这种新能力,就是开发者可以创造自己的Midjourney。
-
而那,我觉得,创造了像OpenRouter这样的东西的需求,因为那样你就需要一个API来——如果你有大卫·霍尔斯那种创造力,你有Stable Diffusion作为模型,你想把这些东西组合起来,你怎么才能做到,而不用自己去搞明白怎么托管权重?
-
而OpenRouter所实现的,OpenRouter所塑造的形态,就是这个,对吧?
-
当你有开源模型、有闭源应用的替代品时,OpenRouter在这个世界上的价值就变得非同寻常,因为现在任何开发者都能直接上来就——这就是模型多样性的长远意义。
-
你刚才是不是说了“OpenRouter的形态”?
-
哦,不是。你是,这是真的Ange吗?
-
我现在漏了一句,我被过度训练了。
-
我Claude用得太多了,是不是?大家说的是“Claude味儿”。
-
哦天哪,我把自己给反训练了。
-
好,我想把Mistral这部分收个尾。
-
我的TLDR是,当时有一场Mistral价格战,我就是这么叫它的,对吧?
-
大概在欧洲是2023年还是2004年。
-
他们发布了Mistral 8x7B,价格直接降了大概80%。
-
对我来说这非常正面,因为这算是第一次,真正意义上托管Mistral的竞争。还有更多吗?
-
对,那是……
-
我正试着回忆,发生的所有事情。
-
比如我们看到那个模型出来,立刻就看到人们说它是世界上最好的模型。
-
据我所知,这好像是第一次一个开源权重模型被如此认真地这样称呼。这是炒作,对吧?
-
是不是,你知道吗?是炒作。是炒作。
-
当时也是AI网红们在炒作。
-
而且有很多例子显示它超过了GPT-4。
-
所以人们真的很想试一试,看看这对我来说是不是也成立。
-
如果是的话,价格是多少?
-
而且当时的推理市场真的很乱。是的。
-
我们把它整理清楚了。
-
它让各个供应商能在价格上竞争,这样我们就能在一个地方给你最好的价格。所以我觉得这是第一个很清晰的例子,说明一个供应商
-
市场能以给开发者带来价值的方式运作。Sean,你可能不记得了,但我想我们第一次见面是在Mistral发布几天后的NeurIPS上,在一个午餐会上。
-
对,我也是在那儿认识BFL的。
-
对,Guillaume当时也在。那时候欧洲那边怎么样?你当时也在那儿。
-
而且我们刚刚宣布了对Mistral的投资。
-
我记得Guillaume就在那边,我记得我转向Guillaume问他,Mistral 7B发布之后你感觉怎么样?
-
他用他典型的法国风格说,嗯,这模型还行吧,没那么厉害。
-
我当时就觉得,你知道,这对比太强烈了。
-
但我记得他还说,他觉得很多人认为它比GPT-4好,部分原因是速度。
-
那是个MOE模型,他们完全搞明白了怎么让它超级高效。它当时处于前沿水平。
-
而这是关于大语言模型的一个很重要的点。
-
有时候它们更快,你就会觉得它们更聪明。
-
哪怕你跑n次这些常见的评测,比如7次,你跑7次。
-
我其实不记得了。
-
我觉得我们应该回去看看数据到底怎么说,但如果结果是跑七次尝试的话GPT-4在评测上更聪明,我也不会惊讶,但对正确性的感知会显得更聪明或更准确。
-
但从人类偏好的角度,人们觉得它更聪明,因为它太快了。
-
对,而且其实大多数查询并不需要那种级别的智能。不需要,确实是这样。
-
就像我说的,这是人类作为路由器的开端,然后最终演变成OpenRouter作为路由器,就像自动模式那样,你懂我的意思吧?
-
因为人类就是那个路由机制,比如我会先问快的模型,如果不够好,我就手动升级,但之后他会把它自动化。
-
我没,我之前没这么想过,但那个,那个,我是说,这说得通。
-
然后还有,还有更多技术,比如融合,融合是我们应该聊的东西。
-
在我转到那些之前,我只想把早期那几年收个尾。
-
我观察到一件事,你也是Arena的投资者。
-
我们聊过Midjourney,有那个ABCD的反馈循环,选择那个非常重要。
-
而且你懂那个飞轮。
-
那为什么你没做Arena,为什么Arena没做OpenRouter?
-
嗯,Arena比OpenRouter起步早,对吧?
-
他们有个Elm的学校项目,然后变成了公司。Elm Arena,对。
-
我知道你有过一些Arena的体验,比如那种正面对比的类型,对。
-
但你在做正面对比体验上,从来没像Arena那么拼。
-
在做正面对比体验上。
-
而且LMSys其实确实有个基于L和Marina ELO的路由项目,但他们从没商业化。
-
很难做一家公司同时做这两件事,因为一家公司是在拿数据去卖,另一家公司默认情况下真的做不到。
-
所以我觉得这里有品牌上的原因,这里有两家公司。
-
比如你设置OpenRouter的时候,没有训练也没有提示词,除了你的提供商政策设定的那些,OpenRouter看不到你的提示词或补全。
-
如果你想作为组织看到那些,你得主动选择加入并启用它。
-
所以我们在数据政策、安全和隐私上相当保守和谨慎。
-
而El Marina呢,他们的商业模式是围绕实验室、围绕基础来的。
-
对,你们不免费提供,他们免费提供。
-
是啊,我是说,我们确实也提供一些,我们也有免费端点,但那些免费端点,我觉得我们不会收集任何提示词,除非你出于某种原因主动选择加入,否则我们不会拿数据变现。
-
这个对比起来,我是说,你不是第一个问我这个问题的人,Alex也知道,但我,你知道,我是Arena的创始人,前五个月是首任CEO,当时我们在帮Anastasios和Whelan从伯克利分拆出来。
-
而且在OpenRouter之前我就投资了那个项目,但外面的人拿这两个项目做比较,让我觉得很奇怪,因为它们的使命完全不同。
-
Arena的创始实体,我们叫它AI可靠性研究所,因为它实际上就是一个评估服务。
-
可以说,他们最初提供给实验室的东西,就是怎么让模型评估比当时的最先进水平更可靠,而当时那基本就是拍脑袋。
-
这差不多就是Anastasios和Wayland在伯克利做科学家时的博士研究内容,研究的是统计方法,用来根据内在偏差和数据收集方式来校正评估估计。风格控制。
-
风格控制之类的。
-
这非常像,嘿,如果你是科学家,你想做的是,Arena期望最高的客户一直是后训练的人,比如实验室里的研究员。
-
而在我看来,Alex真正理解并想要服务的期望最高的客户,是开发者,对吧,开发者拿到研究结果,然后做出应用部署到全世界。
-
这实际上是两个完全不同的问题和不同的人,这两个团队关注的重点完全不一样。
-
所以从外面看,其实我不知道你还记不记得,但我清楚地记得,我们一起给OpenRouter签投资条款清单的几周前,
-
我给你打了个电话,因为我们想从OpenRouter和Arena一起搞一个汇总数据集,建一个开源的提示词库。
-
我是说,这些项目的目标差别太大了,所以对我来说,打电话给Alex看看他愿不愿意一起汇总数据,完全是再正常不过的事,因为它们太不一样了。
-
我们需要,我们其实根本没有那类数据。
-
我们没有API提示词。
-
我们没有开发者想拿模型做什么的数据,而这跟模型实验室里的研究员在发布模型之前想做的事非常不同。
-
你明白我的意思吗?
-
所以直到今天,我觉得你都能看到这种差异,尽管从三万英尺的高度看,你大概可以得出结论说Arena和OpenRouter是相邻的,但至少在当时,它们的路线图、使命等等,方向是非常不同的。
-
这就是理想客户,我完全明白。
-
作为创始人,我什么都想自己抓,对吧?
-
所以这明显是相邻领域,我就想,我要去探索一下。
-
什么都想自己抓,意思是说你还没想清楚要做什么,所以想确保自己能抓住PMF。
-
不,我觉得他的意思是,你想占据整个基础设施领域,所以你会扩展到任何你能抓住的需求上去。
-
对,我觉得现实中这很难,因为服务多个客户才是关键。
-
很明显,你知道,这时候看起来它像是一个专注点,对吧?
-
对,我仍然觉得即使在AI时代,专注也是被低估的、至关重要的,不仅因为把人力集中在一件事上能做出更好的产品,还因为全世界都知道你的专注点是什么。百分之百。
-
世界能对上号,比如,哦,我有这个问题。
-
外面哪个品牌能帮我解决这个问题?
-
就是这个以那个专注点闻名的品牌。
-
所以,如果我想让这个问题得到真正的关注,如果这对我真的很重要,我就应该选那个最在乎它的品牌。
-
为了强调Alex说的专注在Anthropic早期有多重要,那时候并不容易,人们以为Anthropic早期超级轻松,因为他们是离开的GPT-2那批人,但其实竞争非常激烈。
-
这家公司起步时就比OpenAI落后100亿美元,对吧?
-
所以要想达到前沿,最大的问题是,我们想以什么闻名?使命是什么?
-
使命就是AGI修复编程。
-
为此他们排除了当时各种非常诱人的东西,比如正在获得大量势头的图像模型和视频模型。
-
Anthropic团队当时就是,我们只专注编程。
-
这就是我们专注的核心能力。今天你能看到结果,对吧?
-
五年内就成了万亿美元公司。
-
我觉得那种专注,就是对谁是你期望最高的客户、以及你如何超越他们的期望的专注。
-
因为超越任何人的期望都很难,而对多个客户都做到就更难了。
-
这也是OpenRouter成功的原因之一,Entropica也一样。
-
不过那种对编程的专注是那么早就有的,还是后来才形成的?
-
真的从第一天起就是,AI结对编程,负责任地把AI结对程序员商业化,这就是那份种子备忘录。我就是那时候投资的,对吧?
-
我们其实后来把那份备忘录完善了很多。
-
这个嘛,你得去问Dario和Tom要许可才行。
-
但那是他们写出来的一份非常了不起的东西,而把AI结对程序员负责任地商业化,从第一天起就是使命。
-
我想说,公司历史上大概有那么几个时刻,他们做了一些实验,看看小的岔路是否行得通,比如通用聊天机器人,比如ChatGPT大火时的Cloud AI。
-
但归根结底,尤其是当他们真正大规模的预训练算力上线之后,我觉得公司所有主要的评估,比如一直都是以编程评估为主,长周期、智能体编程。
-
我是说,从第一天起,这就是计划。
-
因为当Claude Instant和Claude2出来的时候,我记得营销主要还是集中在优点上。
-
比如这个模型,更好。长上下文。长上下文。
-
这直接影响到我,因为我在它上面做了个东西。你做了什么?
-
一个小开发者工具,算是我的Devin之前的Devin。哦对。Small。
-
所以你看,我觉得这些都是很好的东西,专注是另一回事。
-
这是人们确实想问的一个问题。
-
你本来可以做任何其他东西,而显然OpenRouter一直在运转、运转、运转。
-
有没有其他你想追求、但放弃了的想法?
-
就是那些路,没走的路。
-
我们做了几个原型,但都没有发布。
-
其中一个是把微调模型做成服务。嗯,这类东西很多。
-
OpenPipe之类的。
-
但它的形态非常偏消费级:你给我们一两个或三个YouTube视频,我们提取里面所有的转录文本,然后试着微调一个模型,让它模仿你发的视频里那个人或那些人的说话方式。
-
所以就是一种非常非常简单的方式,基于你喜欢的某些视频来创建一个微调模型。
-
那会非常有用。
-
我们也做出来了。
-
它有点像——我,它——没人用吗?
-
其实我们没在那么多人身上测试过,因为模型市场才是我们的重点,它在增长,我们随着时间对它越来越有信心。
-
作为一个创作者,我被推销过很多次,比如我有500小时自己录音的声音,做一个你的分身,收费提供访问,在OnlyFans上行得通,对我们普通人行不通。
-
我觉得这基本上就是个升级版的RAG机器人。
-
不管是在权重里还是在权重外,其实都无所谓。
-
你只是在视频上做RAG。
-
而人们最终总是只想找到直接回答问题的源视频。
-
我的用例主要是跟自己练习,因为我经常想看看,比如我为求职面试练习的方式,或者我在招聘候选人、公开演讲之类的,我希望有一个好的迷你版的我,让我可以点评,因为把自己抽离出来挺难的。
-
我绝不会把它提供给其他人。比如,选你前五位的导师,不跟他们聊,而是跟自己聊。那也会很酷,对。
-
那就是Character AI,那就是Replika。
-
那正是我们瞄准的用例。我明白了。
-
就是你想创造一种体验。比如AI 史蒂夫·乔布斯。
-
而AI 史蒂夫·乔布斯就是最初的用例。尽管它是不被允许的。
-
这是个很常见的原型,没错。
-
说到相邻领域,把微调作为服务、作为路由服务的一部分,这也是我通常会想到的,对吧?比如,你们为什么不做这个呢?
-
因为如果人们已经在通过你们跑推理了,把一切都存下来、记录下来,再微调到一个更小、更便宜、更快的模型上,这些都在你们的掌控之中,对吧?
-
你们没做这个,但换作其他基础设施创业公司,一般都会往这个方向去讲。是啊。
-
我觉得你可能只是稍微早了一点,因为今天那是一个增长极其迅猛的细分市场,你知道,比如从一家做大量企业部署的公司来看,微调往往就是给ASML之类的客户做定制模型。
-
而且我经常——但不是作为路由器。
-
他们就是那种,我来找你是因为我喜欢你们的Mistral模型。
-
我想要定制的Mistral模型,对吧?
-
而不是,我想跑我所有的OpenAI提示词、把所有结果都存下来,然后干脆脱离OpenAI,对吧?他们不是在做这个。
-
作为摆脱对前沿实验室依赖的一种方式,我还没见过这样的。是啊。
-
而这本来对你们来说是个很容易的位置。
-
我是说,我们决定了,我们真的是专注于自己的方向,觉得并没有——我们只是看着生态随着时间发展,所有这些推理服务商确实想帮公司做那件事。
-
对我们来说,跟他们合作、给用户很多选择、搞清楚什么能给他们带来竞争优势,这样才合理。
-
那基本上是一门全新的生意。
-
而作为一个中立的交易市场、跟那些公司合作,这本身就有价值。
-
你能不能稍微讲讲,回应一下Sean的观点,比如你们是怎么排优先级的?你们有哪些给功能排优先级的方法?
-
因为你一直做得特别优雅,这种事从来不会凭空发生。
-
从外面看,你做的所有决定都恰到好处,总是有产品市场契合度。
-
但一直一来,你似乎都优先做了很多很成功的爆款功能。
-
也许是我样本有偏差还是怎样。不过Sean。
-
你能列一下你觉得哪些功能算是爆款吗?哦,排行榜。排行榜,好的。
-
对,从第一天起,我就想到别的,比如。列出反馈。图表,BYOK。
-
但他有插件之类的。
-
你知道,他有,而且我觉得有一整套东西我想深入聊聊,比如补全和聊天补全、补全之间的区别。
-
然后还有,我们姑且称之为推理模型的崛起,以及你怎么应对这些,多模态,所有这些,所有这些东西。BYOK。BYOK。那是个大功能。
-
有一个,我记得是2024年初,非常早的2024年,我们觉得把多个模型的结果融合在一起会很有意思。
-
然后我们发布了一个叫MOM的原型,就是混合模型,让你挑几个模型。
-
我们帮你挑。
-
然后它最后会把结果融合在一起。
-
而且它会在这个看起来像大看板的产品里给你展示所有中间结果。
-
最后融合是用什么,另一个模型吗?另一个模型。
-
三个里面最聪明的那个,那一组里最聪明的。
-
所以这有点像议会那个思路?
-
算是非常早期的大语言模型议会。
-
这就是多智能体集群,早期某家前沿实验室会这么叫。
-
对,其中有些想法方向是对的,但魔鬼在细节里。
-
要让它们真正跑起来,需要大量的产品打磨。
-
它们会把你从手头其他事情上拉走,而且你需要做很多社区建设和学习。
-
而且技术可能还太早了。
-
所以它们失败的原因有各种各样。
-
而在我们这儿,这项技术当时有点太早了。
-
换句话说,融合出来的结果稍微差一点。
-
有时候跟用来融合的那个最好的模型一样好,因为当时最好的模型远远领先于第二、第三名的选择。
-
随着时间推移,排名前三、前四的大语言模型之间越来越接近了,它们依然各有各的路子,但都像是能提出挺有意思的想法,强化学习基本上扩展了每个实验室里机器学习研究者的创造力空间,所以他们就能,你知道,
-
更有效地让不同模型的推理能力多样化。
-
至少这是我的理论,解释为什么融合现在比2024年初效果更好。
-
所以当时技术还有点太原始,形态也不对,我们本来还得再迭代几轮,于是我们决定把代码全删了,然后几年后,2026年中期或者2026年初,
-
我们说,把它弄回来吧,融合的研究看起来挺有前景的,现在模型这边有三四个顶级前沿模型,全都非常强,我自己也经常想同时咨询多个模型来拿到最好的结果。
-
然后我做了个小小的个人实验,我想,我要给一个代码改动做个架构方案,
-
我要把它发给所有模型,
-
我要把结果融合起来,
-
然后我要问所有模型,融合后的结果是不是比每个模型各自给出的结果更好。
-
它们全都说是,融合后的结果确实更好。
-
这情况发生了几次。
-
我就想,行,抽查一下,挺不错的。
-
我们应该拿这个做个基准测试。
-
我们就是这么做出Fusion的。对。然后它是在你的Fable上出来的。
-
所以你就觉得,这是Fable级别的。对对。
-
咱们开始往今年讲吧。
-
我们还没讲到今年呢。
-
你能把这段历程里的主要里程碑标出来吗?
-
我觉得你的承诺好像就是,你知道,路由,你很早就把商业模式定下来了。
-
你抽成,那有哪些主要里程碑让增长出现了拐点,对吧?
-
你们现在周环比增长大概9%,这是官方数字吗?
-
就token量来说,我觉得差不多是这样,对。
-
那你能大致梳理一下OpenRouter到被收购之前的这段简史吗?
-
咱们就说,我们聊的这些,你有个诞生时刻,就是Mistral那波,大家真的在竞争。
-
你还有那个“AI现状”的东西,特别可爱。
-
你有100万亿token,哈哈哈,因为你现在一周做10万亿,你知道吧。
-
我们现在一天10万亿。现在一天10万亿?对,还不止。
-
所以对,你10天就做完了。
-
那主要节点有哪些?
-
你知道,我就是想说,曲线是平滑的,但你能感觉到那些拐点。
-
这里面很多其实都跟模型发布有关。
-
一直到2024年5月,我们都特别侧重pros,因为编程能力根本还不行,没什么应用能在上面做出多少东西。
-
所以,模型有多样性,但不算很广,用例的多样性也不广。
-
Dream Tavern当时是我们最热门的应用之一。
-
Dream Tavern的创作者Devon现在在Cognition负责产品。
-
然后2024年年中,我们看到了Claude的Sonnet 3.5。
-
它出来了,编程能力有了惊人的飞跃,我们看到应用基于它构建的格局发生了变化。
-
我们看到使用OpenRouter的用户量出现了巨大的激增。
-
我觉得就是从这个时候开始,人们开始关注自己花的钱,然后有点惊讶,哎,这是怎么回事?
-
我可能得考虑用一些更省钱但效果相当的模型。
-
紧接着,我记得是在Sonnet 3.5之后,Mixtral 8X7B发布了。
-
大家都惊呼,哇,就是这个模型!
-
开源权重社区真的交出了答卷。
-
所以Mistral的时机把握得非常好。
-
基本上Anj的那些闸门都是在帮你。
-
你知道,养大一个OpenRouter得靠整个生态。
-
对,就是这样,确实如此。
-
就像,这个早期的生态,就像一种钟摆效应,模型实验室会搞出某种前沿创新。
-
然后使用量就会激增。
-
接着用户30天后看到账单,就说,哇,这是怎么回事?
-
然后两三个月后,开源权重模型就会跟上,或者出现更省钱的选项。
-
我们看到这种情况反复发生。
-
你在编程智能体方面还做了一件事,就是把顶级编程智能体单独列出来,他们特别喜欢这个。他们特别爱那个排行榜。
-
客户端对比根代码对比什么的。对对。
-
比如Cline当时就在我们排行榜的顶端,后来到了,我稍微往前跳一点,到2025年底,排行榜上出现了不少编程应用,但都是IDE或者终端里的智能体。
-
然后在2025年底,我们看到了OpenClaw出现。
-
而OpenClaw特别有意思,因为第一,它是一种新的形态,带来了新类型的用户,不只是开发者,还有生产力用户或者互联网创作者第一次来用AI。
-
而且它的架构也很有意思,它会调用你选定的模型来做这些心跳检测,看看模型是不是还活着,同时还会用这个模型来执行真正的任务。
-
而心跳检测这种东西,你不想在它上面花太多钱。
-
所以我们提供的自动路由突然之间对这么广泛的用户群体来说真的非常非常有用,然后我们就看到它指数级地暴涨,
-
然后我们看到OpenClaw爆火,还有几个其他应用也拥抱了这种新范式,做了类似的事情,Hermes出来了,真正拥抱了自动路由这类东西,建立了一个非常好的社区,并且专注于
-
基本上是技能管理,让人们能非常轻松高效地在智能体里设置记忆,并构建出非常好的技能。
-
还有一件你们一直没做的事,记忆、技能、沙箱,所有这些周边的东西,你们本来都可以做。
-
本来可以做,但我觉得这很难押注。
-
而且这些东西对当时涌现出来的开发者用例来说,确实非常关键。
-
开发者想自己去架构这些东西。
-
这些对打造好的用户体验至关重要。
-
在记忆层上,公司很难找到一套对所有开发者都适用的抽象。
-
有一些做得不错,比如Mastra就做得挺好,但开发者在这上面有非常多自己的偏好。
-
然后我们看到我们的排行榜随时间的变化,就像一部电影,展现了AI领域这些年的演变。
-
你只要去Wayback Machine看看历来的模型排行榜和应用排行榜,它基本上就展示了过去几年AI领域发生了什么。
-
对我来说,真正成熟的时刻是,Andrej Karpathy说,我不再看local llama了,因为我直接去OpenRouter的排行榜。
-
我记得那件事,我觉得他大概说了,抱歉各位,我要给你们送一大波流量了。
-
所以我是想把它带进Stripe那件事里。
-
这种对话是怎么开始的?
-
不过我们和Stripe一直有长期的关系,因为我们跟他们合作过很多不同的项目。
-
我们投入了大量精力来打击滥用和token欺诈。
-
能不能给大家说几个数字,让大家有个概念,我记得我发过这个,上个月我们拦截的金额规模是前一个月的十倍,而且token欺诈的类型也变得越来越多样了,
-
你知道,有些骗子盯上的是典型的盗刷信用卡,但也有一些人是在违反服务条款转卖流量。
-
还有被盗的账号,有些人就是账号被盗了,你知道,整个公司都被攻破了他们自己都没意识到,我们会帮他们重新拿回控制权并检测出来,还有些账号是在私下转卖推理服务。
-
还有些账号是碰上了意外失控的agent,自己都没察觉,不是被黑,而是某个东西突然爆了,公司并不想要这样。
-
所以我们的信任与安全团队在这些类别的问题上投入了大量工作,帮忙拦截和检测。
-
为此我们建了这些,我们围绕它们建了模型,有一段时间我们和Stripe紧密合作来做这件事。
-
我觉得这会成为整个生态里的一个大问题。
-
我们已经看到很多公司开始发现这些骗子在扩散,并且在寻找OpenRouter之外的其他欺诈途径。
-
如果你在做网关,或者在卖那种通用推理服务,你就是欺诈的目标。
-
如果你卖的是非常具体的、比如智能类产品,做的是相当特定的事情,而不是仅仅在转卖推理再加点附加能力,那你遇到这些骗子的可能性就小得多。
-
所以我觉得我们会看到公司也逐渐不再只是转卖推理加某种附加能力,而是转向那种具体的任务,按任务收费,按那些增强功能收费,让人们以第三方的方式自带推理。
-
哇,好吧。
-
而且没错,显然那会由你们来支撑。
-
但人们是按结果付费,还是按任务付费?
-
我觉得人们会付费的,你知道,我觉得Datadog的定价页就是个很好的例子,能看出未来的样子。
-
就是像公司,像基础设施公司会针对他们提供的不同类型的事件收费,会有很多那种持续性的定价模式,看起来就是那样。
-
当然,如果你往下走到消费级应用,你知道,定价会更简单,更多是订阅制,要操心的事件更少,而且那些不是只想着在推理上加个加价。
-
不光是因为欺诈很难搞,还因为来自实验室和优秀推理提供商的压力会非常大,他们会说先做个承诺,然后把你的推理放到别处去。有什么想说的吗?
-
二,一,我觉得Alex非常雄辩地描述了某件事,而这件事反直觉地,我在四年前就因为Discord知道它会在规模化时出现。
-
教会我这一点的具体经历是,当我们开始把Midjourney做大时,早期我们用来赠送、或者说吸引人们来试用Midjourney、拿到最初10次生成的主要方式之一,因为10次生成,
-
我们当时发现,生成10张图片大概就是那个神奇时刻的激活点。
-
一旦你生成了10张,你就会觉得,这太不可思议了。
-
所以Midjourney当时有个免费试用。
-
有一天我醒来,因为他们有个平台,得盯着它。
-
我有一堆仪表盘。
-
我看到David给我打了三个未接来电。
-
结果发现,一夜之间涌进来一大批新用户。
-
我们当时觉得,这太好了。
-
结果他说,不,其实我们把免费试用关掉了。我就问,为什么啊?
-
他说,你去看看那些地理位置IP地址。
-
基本上就是,中国那边有人开始转卖Midjourney订阅,把免费试用当成一个手段,说白了就是欺诈滥用,对吧?
-
哪怕是对Midjourney这种专用模型也一样?对。
-
而且那其实就是一个应用。
-
所以我当时意识到的大局是,嘿,互联网上正在流转一种新的价值单位,叫token。
-
而在接下来的十年里,整个互联网价值链都得面对一个事实:token越值钱,就会有越多坏人想方设法去弄到这些token。
-
任何时候你把某个东西规模化,而那个载荷越来越值钱,就会有更多坏人想方设法去获取那份价值。
-
所以当时这对我来说非常明显。
-
所以你看,直到今天,我觉得都没有免费额度了。
-
我觉得Midjourney从那以后就再也没真正开过免费试用,因为在信任和安全方面,这真不是一个容易解决的问题。
-
这也是为什么我开始在斯坦福教一门叫“规模化安全”的课。
-
就像其中一点,还有Anthropic的那些经验,对我来说很清楚,几年之后,大规模安全的需求将会非常巨大。
-
因为如果你算一下就知道,对吧?
-
你想啊,在线支付大概是八十年代、九十年代起步的,对吧,然后在接下来的十年里增长到了超过一万亿美元。
-
而我们需要构建全新的支付解决方案来应对在线欺诈。
-
我们今天在token上的规模大概就处在那个阶段,但在接下来哪怕五年里,我们预计token经济会达到大约5万亿美元。
-
而在接下来的十年里,如果token流量到了10万亿美元,我都会大吃一惊。
-
所以,如果我们在这个规模还很小的时候就已经开始看到如此猖獗的滥用和欺诈。
-
Midjourney,记住,Midjourney那个时候的年收入运行率还不到3亿美元。
-
我就意识到,我们需要全新的系统来应对那些为了挤进token流量而会发生的欺诈。
-
所以,我忘了是哪次董事会会议了,你提到Stripe想合作,这对我来说太合理了,因为Stripe Radar,十年前我做攀岩者的时候我们投资了Stripe,Patrick和John讲得那么有说服力的整个卖点就是,嘿,
-
不像Braintree这样的传统支付工具要做七天的验证,比如KYC和AML,把欺诈挡在外面,我们其实是把欺诈成本当作获客成本提前承担下来,然后告诉开发者,你只要用五行代码,我们五分钟内就开始接收你的付款。
-
接下来会发生的是,随着时间推移,我们会收集到关于开发者的所有这些数据。Cloudflare模式。就是Cloudflare模式,对吧?
-
他们确实这么做了,五年后,他们推出了Stripe Radar。
-
而Stripe今天其实是一家安全公司。
-
这才是真相,人们以为它是支付公司。
-
不是的,今天有很多其他支付提供商能给你更便宜的支付传输。
-
但Stripe之所以一直,你知道,在北美和欧洲保持主导地位,是因为他们多年来构建了非凡的欺诈检测能力。
-
Elon和Max Levchin还有那家公司,是不是同样的故事?是的。
-
所以,你知道,我觉得这个故事一遍又一遍地上演,每次有大量价值在全球流动时,你都需要新的防护和安全基础设施来对抗,把坏人挡在外面,让好人能非常快地完成交易。
-
所以我认为,这就是为什么从我的角度看,Stripe和OpenRouter的故事是一个关于互联网生态、关于前沿AI生态的安全故事。
-
如果没有这样的合作,就很难在不让坏人捣乱的情况下,守住体验质量、速度这些好东西。
-
第二点是,有个大家不太重视的事,就是Alex刚才说的那些现在由人类干的坏事,未来十年都会由AI智能体来干,对吧?
-
所以想想我们即将看到的坏人的那种指数级规模吧。
-
不只是坏人,还有所有那些要攻击token流动的坏智能体。
-
如果你是AI实验室的研究员,你很难去推理这个问题,因为你唯一的数据就是你训练的那些智能体是怎么变坏的。
-
但那只是我们在互联网上会看到的全部坏行为的一小部分。
-
所以你需要的是防守者,是镇上的新警长,戴着牛仔帽,能看到整个生态里AI智能体的所有坏行为,
-
来自不同模型实验室、不同后训练部署、不同开发者,把所有这些数据汇集起来说,我们要为整个token经济打造一面盾牌。
-
因为如果没有这个,这10万亿美元GMV和全球GDP增长里,我们会看到的欺诈占比会非常大,我觉得其中很大一部分会是欺诈、滥用。
-
如果人们就是不信任token,我们可能永远都到不了那一步,对吧?
-
而且我觉得这种基础设施现在还不存在。
-
所以你在Stripe有很多活要干,但我觉得人们还没意识到,智能体、智能体欺诈,也就是AI智能体干的坏事,即将像海啸一样扑向我们,规模有多大。
-
是啊,这里面有很多可以深挖的。
-
我想把最后的话留给你,我们得收尾了。
-
大家能从OpenRouter和Stripe期待什么?
-
我觉得这对我们来说是个非常好的方式,能加速我们的市场推广,更快地往高端市场走。
-
而且就像Anj刚才说得很有说服力,在提升信任与安全、让大家能轻松接受token、让用户把自己的推理带到你的应用里、帮开发者直接在推理之上构建这些方面,这明显是个一加一大于二的故事,
-
往后都是这样。
-
我们在OpenRouter有很强的品牌,我们会保留这个品牌。
-
所以OpenRouter作为产品、路线图、名字和品牌,你知道,都保持不变。
-
所以接下来六个月你们可以预期的是,大部分事情会跟我们独立运营时会做的一样,只不过一切都会推进得更快。
-
这大概就是我们近期的目标。
-
更长远的事,希望我很快能聊,但现在还不行。
-
好,希望以后有机会再做一次后续访谈,不过谢谢你这么慷慨地抽出时间,也恭喜你们达成合作。
-
我是说,这是我见过的AI界最美妙的一段姻缘之一。
-
才刚刚起步。
-
从斯坦福一路走到这里。还有很多事要做。
-
token经济还有很多治安工作要管。
-
我们确实需要新的治安官。太棒了。谢谢。谢谢。