Alex Smola 谈语音智能体到 AI 虚拟人的实时交互与成本
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
过去几年，语音AI已经变得非常出色了，但它仍然有点“恐怖谷”的问题。
-
人类对让对话感觉自然或不自然的那些细微之处，敏感得惊人。
-
延迟稍微大一点，打断处理得笨拙一点，语气或情绪反应不对，那种错觉一下子就破了。
-
而且随着AI系统不断进化、融入我们更多的感官，这个门槛只会越来越高。
-
从文本和语音，走向既能看又能被看到的系统，这带来了一整套围绕自然交互的全新挑战。
-
今天的嘉宾是Alex Smola，Boson AI的联合创始人兼CEO。
-
我们的对话探讨了构建多模态对话系统需要什么，从让语音实时工作所需的模型和推理基础设施，到情感智能，最终到音视频虚拟人。
-
下面是Alex谈谈他认为这一切会走向何方。
-
我认为语音只是一个中间的过渡阶段。
-
你可能会想，那接下来是什么？
-
很明显，最终我们会拥有虚拟人。
-
所以我觉得这一切正在汇聚成一个方向：你会和一个看起来、感觉起来都像人的虚拟形象对话，而我们离让它真正自然还差得非常非常远。
-
所以这其实挺令人兴奋的。
-
我是Sam Charrington，这里是TwiML AI播客。
-
十多年来，我一直通过像这样的对话来探索塑造AI未来的想法和创新，帮你分辨什么是真实的、什么是接下来的趋势、什么才是重要的。我们开始吧。
-
当我想到大多数人可能接触到的语音AI前沿，我猜大概是ChatGPT高级语音模式那样的东西，而且我其实想听听你怎么看。
-
你觉得那其实很烂、有更好的系统、应该让我去了解XYZ，还是说实验室和企业关起门来有更好的系统，或者怎么样？
-
但总的来说，我倾向于认为他们已经迭代了好几轮。
-
它确实一直在变好，但还是非常让人抓狂。
-
以我的经验，它真的只在完美条件下才管用，也就是说，安静的房间里、没有背景噪音、非常注意不去打断它。
-
如果你打断其中任何一个，你要么就得硬着头皮继续说下去，要么就得停下来，让那东西，你知道，跟上你。
-
你不能，你知道，试图进行自然的交流。
-
我觉得它非常脆弱。
-
所以你肯定能做得比那种情况更好。
-
然后，呃，上周有个挺有意思的情况。
-
我当时在韩国济州岛参加，呃，KDD会议，我们出去在酒吧吃饭喝酒，基本上我就在炫耀我们的系统，你知道，就是，你知道，我傻乎乎地说，嘿，
-
看这个，看看会发生什么。
-
所以我能确认的是，我们的模型能够相当好地处理，你知道，有人切换到斯洛文尼亚语，然后另一个人切换到印地语，尽管酒吧非常吵。
-
我得说，相当一部分功劳肯定要归功于iOS团队，他们在手机上做了非常好的降噪和音频分离。
-
所以我不认为光靠随便摆个麦克风就能做到这一点。
-
但我觉得我们正在进步，所以基本上，你知道，只有一个麦克风可能永远都真正解决不了这个问题。
-
你需要麦克风阵列才能真正做好降噪，尤其是当你有多个声源的时候，但那是个已经解决的问题，对吧？我是说，那些东西都已经量产了。
-
我是说，嗯，我这台笔记本电脑里就有一个巨大的麦克风阵列。
-
我不知道Codex有没有在用，但我也对相对较新的Codex语音有过那种，呃，体验。
-
就是，那个交互就是不太流畅。对。好吧。
-
所以那就是，嗯，我是说，有时候语音输入挺好，如果你，如果你懒得打字的话，我觉得打字对于技术工作来说精确得多。
-
但比如说，你知道，“嘿，我们来配置一下存储阵列。”
-
算了，我不想跟你说话。
-
我想打字，因为他有一个非常具体的序列号和一个具体的URL。
-
我想把这件事弄得完全准确。
-
所以这就是我仍然更喜欢打字的地方，不过也许这有点老派了，但是，你知道，如果你在酒吧里，想问问信息、建议什么的，我觉得我们快做到了。
-
嗯，我再给它一年时间，这真的会变得相当普及。
-
我对我们模型现在的状态挺满意的。
-
我觉得大概一年之内，音频会变得几乎万无一失。
-
呃，视频流，也就是虚拟形象之类的，会开始带来一些体验，大概一年半吧，我们会看到它被广泛部署在机器人上，基本上就是一张完全动画化的脸。
-
所以我们其实正在和一家初创公司合作解决一些相关的问题。那是一个非常优秀的团队。
-
所以，在那方面，我觉得周期会稍微长一点，因为如果你在，你知道，动画数据之类的领域做这个，你实际上得做硬件，而硬件很难，对吧？
-
相比之下，软件就容易多了。
-
当你思考语音AI的挑战时，你会怎么划分，你知道，哪些主要是工程问题，哪些主要是研究问题？
-
嗯，如果你试着那样做，是行不通的，你得同时做这两件事。
-
那我给你举个简单的例子。
-
那么，呃，咱们从，你知道，最基础的东西说起，就是，一个光子打到你的视网膜上，再到你的皮层真正对它做出反应，大约需要150毫秒，
-
而且这个数字相当稳定，你实际上可以把它当作一种非侵入性的诊断手段，来判断你是否有神经退行性疾病。
-
因为在这种情况下，信号会绕很多弯路，耗时更长。
-
所以人们会做的是，在你面前闪一个棋盘格图案，然后等这个刺激到达你的皮层需要多长时间。
-
从耳朵这边，其实会稍微短一点，因为，嗯，路程只有一半，对吧？
-
那么，这意味着什么呢，基本上人类在视听感知方面，大概是以六到十赫兹的频率在运作。
-
我的意思是，当然，我们感觉世界是非常流畅的，而且我们有那些花哨的30或60赫兹的显示器，但大脑在那个时间范围内，基本上，还行。
-
所以我们相应地做的就是，确保我们的模型能在差不多同样的时间范围内被打断。
-
所以它大约在150毫秒左右就能处理打断。
-
接下来的问题是，至少目前处理音频和其他东西的范式是，在某个环节你得把所有东西都转成token。
-
然后这些token会送进你用的那种大语言模型风格的主干网络里。
-
我的意思是，架构可能各不相同，也许将来某一天我们会用上基于扩散的模型。
-
我觉得更可能是扩散模型配合推测解码，再加上更传统的序列模型来做整体的统计建模。
-
不过，你知道，这完全是另一个话题了，Stefano和我在这上面可能看法很不一样。
-
但基本上，你知道，你得把音频转成token。
-
然后你的模型处理一下，接着你还得把这些token再转回音频。
-
现在，你可以通过很高的token频率来获得非常高的保真度。
-
问题在于，高token频率意味着你每秒需要输入、也就是预填充，还要生成非常非常多的token。
-
我们都知道这很贵。
-
所以你现在就面临这个相当难受的两难：每秒token多，就意味着你的模型不能有太多参数。
-
而如果每秒token少一些，你就能负担更多参数，对吧？
-
文本在这个意义上可以说是终极的压缩格式，对吧？
-
人类需要的差不多是每秒三到五个token。
-
而音频呢，你很容易就能到每秒十个以上。
-
每秒token数也意味着，你知道，时间粒度，比如说每秒十个token，那就意味着每个token覆盖大约一百毫秒。
-
所以这就是为什么你实际上要把生物学、用户体验、工程都结合起来，因为你需要让它成本可控，然后还有科学，也就是我们到底该怎么表示这个东西？
-
我们怎么把它送进模型，也许在整个流程里用更聪明的方式做点别的？
-
所以这就是为什么所有这些事情真的需要凑到一起。
-
不一定非得是一个工程师把所有事情都做了。
-
要是你能找到那样一个人，那就太厉害了。
-
我是说，这样的人非常少，不过也没关系。
-
但你知道，这整个是一个系统性的挑战。
-
当然，等这一切都跑起来了，你还得把工程实现这块也处理好。
-
你可能需要稍微做点缓冲。
-
还记得我刚才提到过，你希望系统是可打断的，但你可能又想要更长的缓冲区。
-
呃，所以现在我们本质上聊的是，你知道，实时音视频流，对吧？
-
你还有一路视频流。
-
视频流的帧率可能还不一样。
-
嗯，所以基本上，呃，这，这，这真是一系列很有意思的问题。
-
至于视频流，我是说，我们都知道，如果你用 WAN 或者别的什么模型，或者 Flux，它们会很乐意给你生成，你知道，十秒左右的视频片段。
-
但如果你想要一路连续的、你知道、在视觉上能保持一个小时一致的视频流，你就得对那些模型稍微改一改。
-
然后如果你还想让这些模型足够高效，让你能有，你知道，多个实时因子，那又得做一轮设计上的优化。
-
长话短说就是，如果你是在给虚拟形象做视频流，你知道这是给虚拟形象用的视频流，所以背景里不会有什么赛车飞驰而过。
-
换句话说，视频流的大部分内容其实挺无聊的。
-
比如说，你完全可以把这次采访的音视频轻松压缩成一路相当高效的流。
-
当然，要是我开始疯狂地挥手，那码率马上就会涨很多，但大多数人不会做这种奇怪的动作。
-
所以这完全是可接受的画面质量。
-
而且话说回来，在最好看的画质和做出一个人们真正负担得起的东西之间，是有取舍的。
-
这大概也是另一个点，我们可能选了一个稍微不同的工作点，跟那些，嗯，非常大的招牌模型不太一样，那些模型你知道，光是为了闲聊就上万亿参数。
-
那具体是哪个点呢，是可负担性，还是取舍的某个方面，还是哪个？
-
所以是可负担性，对吧？
-
基本上就是说，你总能把模型做得更大、更聪明。
-
抛开你提到的语音实时性要求不谈，这里其实有一些物理规律在起作用。
-
所以问题基本上就是，你知道，要流式传输一段对话，你需要多少算力。
-
如果你得用，比如说，一整台Blackwell服务器GPU，就为了支撑一次对话，那这可能就不是最经济可行的模式。
-
我是说，这样能做出很漂亮的演示，但是，嗯，你的客户负担不起。对吧。
-
我觉得这就是我们的思路，先定价格，然后倒推，你知道，怎么才能做出人们真正负担得起的东西？
-
我们能不能往回退一步，也许请你聊聊你的，你的那种发展轨迹或者路径，比如你2023年创办了公司，一开始并没有专注于语音，
-
后来你转向了语音，当你真正开始专注语音的时候，你大概是从哪儿起步的，又采取了哪些步骤，一步步发展到今天这个样子的？
-
所以我们是从文本开始的，就跟，我猜其他人也一样，也许稍微更强调为人类服务的AI。
-
我是说，这一点从第一天起就伴随着我们。
-
嗯，而且就像刚才说的，关键问题之一就是，你知道，文本界面总感觉有点别扭。
-
于是我们开始研究，好吧，什么样的音频模型才算好？
-
嗯，我们也意识到，如果你只是想要真正好的音频，那大概自己从头搭一个大语言模型并不是最聪明的做法，
-
而是能不能利用一个高质量大语言模型里已经具备的智能，然后确保它有效地多掌握一种模态，也就是在这个例子里，音频。
-
再说一次，别人也做过类似的事情，比如在视频方面。
-
比如说，至少视觉方面就有。
-
所以有B大语言模型，也就是视觉大语言模型。
-
人们在机器人和世界模型方面也在做类似的事情。
-
所以整体思路就是，把从大量文本推理中免费获得的那种智能，再和音频结合起来。
-
但问题之一是，如果你给这个模型教一种新的模态，又不小心的话，它就会把之前学到的东西全忘掉。
-
最容易想象这种情况的方式，其实我有个朋友就亲身经历过，她从拉丁美洲收养了一个孩子，那是在德国，她只跟孩子说德语，结果没过几个月，
-
那女孩就把西班牙语的每一个词都忘光了，对吧？
-
类似的事情其实也会发生，如果你拿一个大语言模型，只让它处理音频，那它很快就会把推理能力和语言本身全忘掉。
-
所以你得在保持音频能力的同时，仍然维护一套还算过关的中期和后期的大语言模型训练流程，然后还得设计一些能把音频和文本很好结合起来的任务，
-
让两者互相锚定。
-
我的意思是，就像你有一个多语言的大语言模型，到了某个时候你就得确保，dog就是Sja，或者Kane，或者Hund。
-
如果没有这些，那模型要跨语言推理、要获得那种很强的泛化能力，就会有点麻烦。
-
不过总之，我们做了这些，嗯，然后我们，你知道，发布了，我觉得一个相当不错的，呃，TTS模型，就是去年的X-Audio V2。
-
而且，呃，我觉得我们今年大大加快了发布节奏。
-
所以我们陆续推出了TTS和音频理解方面的ASR模型。
-
如果你想知道这两者有什么区别，TTS就是文本转语音，基本上就是，你知道，文本输入，声音输出，声音克隆，诸如此类。
-
但音频理解和ASR有什么区别呢？
-
语音识别，语音识别，就是音频输入，文本输出。
-
但模型其实并不太理解到底发生了什么。
-
我是说，它理解一点点，但这些是相当轻量的模型，它们没法分辨识别语音到底是指识别语音，还是指毁掉一片美丽的海滩，对吧？
-
这两者听起来一模一样。
-
而且显然其中一个是胡扯，除非你是在某个环境保护活动上，那他们大概指的是后者。
-
但你没法知道，ASR处理不了这个，而一个音频理解模型能对音频进行推理，再加上也许一段文本提示，也许还有其他音频参考，就能处理。
-
所以这些模型就更像你最喜欢的大语言模型，只不过它们现在能接收不同模态作为输入。
-
然后你还可以考虑把视频作为音频和文本之外的另一种输入。
-
你还可以把你的世界模型参数、你的机器人或者你的自动驾驶汽车等等也作为输入。
-
相应地，所有这些也都能再输出回来。
-
所以你想一想，这基本上就是，token就像后面那辆总线，所有信息都通过它传进去，然后再传出来。
-
所以它真的是把所有东西串在一起的那个粘合剂。
-
总之，我们开始发布这些模型，我想到现在我们已经有延迟表现非常好的东西了。
-
然后我们开始得真正做性能调优，让这些模型真正具备交互性。
-
这又是额外的工作。
-
我想现在我们处在一个不错的位置。
-
所以我对团队做出来的东西挺满意，也挺自豪的。
-
那么沿着这条路，你想想你们遇到的那些重大技术挑战，团队真的得埋头苦干，然后你想出了巧妙的解决办法，比如说，
-
聊聊其中一些关键的技术挑战吧。
-
我觉得一个很有意义的差异点在于，我们能处理并拥有大量音频数据。
-
这是一个很有意义的模态。
-
呃，这可不是你收集的最小的训练数据集或者吞吐量之类的。
-
不不，这真的是训练数据集。
-
所以我们有大约一亿小时的音频。
-
呃，这差不多是200个人的一生。
-
如果你活75年，处在一个非常嘈杂的环境里，你大概会得到那么多音频，不一定是说话，但就是那么多音频。
-
呃，不过你知道，其实你可以直接去网上抓取相当一部分这样的数据，但之后你得处理它。
-
你需要提取、打标签、归一化、转写。
-
这需要大量额外的处理，而我们有自己的数据中心，这在那方面真的帮了大忙。
-
如果你把这些数据存在 Neo Cloud 上，存储成本会把你吃垮，而且如果你用的是三大云厂商之一，问题会更大。
-
所以至少直到最近硬盘又开始变得特别贵之前，这情况还挺不错的。
-
我是说，现在硬盘价格大概是一年前的三倍了。
-
所以好吧，我们现在得稍微精打细算一点了。
-
那再多聊聊这个数据集吧，呃，它是从哪儿来的，是那种互联网风格的视频然后你从视频里提取音频之类的吗？
-
这个，还有很多其他来源。
-
我们唯一没做的事，就是没有花不合理的钱去找标注公司。
-
所以时不时我会收到公司发来的邮件说，嘿，我们可以帮你标注一万小时的音频。
-
那时候我就想，行吧，那对你们挺好。
-
我们的规模是一万的，我们是一万倍的规模。
-
那这是不是因为现有的技术，比如你们现有的工具已经足够好了，你提到了转写和……
-
这里面投入了大量的工程工作，我觉得这也是我们拥有的一个有价值的资产的一部分，所以抱歉我可能说得有点含糊，但没错，很多工作都花在这上面了。
-
但笼统地说，你从……开始
-
数据越多越好，是的，基本上，这么说吧，它是从互联网上采集的。
-
而且你知道，有不同类型的数据，带着不同类型的元数据，然后你得做个好工程师，能识别出你能找到什么。
-
这让我想到一个问题，就是我们现有的工具并不完美。
-
所以如果你从互联网数据开始，用不完美的工具去处理，你得到的就是一个嘈杂的、相当嘈杂的标签集，然后你拿它去训练，那这到底是更好还是更差呢？
-
这是不是会带来它自己独特的挑战？
-
就像聊聊它们之间的关系，你知道的，那个。好，那么，好吧。
-
这里面有好几件事。
-
首先，呃，我的意思是，我们知道我们是可以从嘈杂的数据里提取出有意义的信息的，最简单的类比就是，假设你有一个特别糟糕的电压表，你想知道家里插座上的电压是多少，
-
那你就到处去插很多次，把读数记下来，最后取个平均，最后得到的结果会比电压表单次测量要好。
-
当然，这只有在你的电压表是无偏的情况下才成立。
-
如果它有偏差，那这个办法就没用了，对吧？
-
而这个办法已经存在很久了，中世纪有个东西叫“脚尺”，估算一英尺的办法就是让人从教堂里走出来，你抓前12个男人，把脚最短的两个和脚最长的两个打发走，
-
大概是因为畸形吧，剩下八个，取他们脚长的平均值，你就得到了一个相当不错的一英尺的估计。
-
好了，抱歉可能讲了个很粗糙的统计学解释，但这真的就是截尾均值估计量的由来，对吧？
-
所以稳健回归和稳健估计已经有五百年的历史了。
-
那么说到音频，首先，假设有大量数据就能估计出更好的模型，这并不离谱。
-
假设一旦有了更好的模型就能得到更好的标注，这也不离谱。对吧。
-
所以基本上所有那些从弱监督中学习的想法，都是适用的。
-
在某些情况下，你还有上下文，而上下文能给你更多帮助。
-
所以有了这种特权上下文或者辅助信息，你又能做得更好一点。
-
比如说，知道这个播客是两个人之间的对话，也许我甚至能从标注里看出来，或者知道TwiML上的其他播客通常都是Sam和另一个人。
-
那你就可以利用这一点来判断是不是只有两个人。
-
把这两个说话人分开非常容易，然后你就能得到大量的单人音频。
-
呃，而且把我们俩的声音区分开也相当容易，这又能帮你标注得更好一点。
-
所以基本上，拥有大量这类数据能让你构建更好的模型，然后你就有了那个飞轮效应。
-
我的意思是，你想想看，人们在人脸识别上也用过类似的技巧。
-
通常匹配成对的人脸并不那么容易获得。
-
但比如说，如果你有一部电影，你知道演员在整部电影里可能看起来差别很大，但仍然是同一个演员，而且演员数量也没那么多，所以你可以做的是，在一部电影里识别出同一个演员并不太难，
-
但然后你可以把所有演员打乱混在一起，突然间你就得到了一个难得多得多的数据集，而且你实际上拥有的标签极大概率是非常好的。
-
所以这里面有很多经典的机器学习和统计学的东西。
-
当然这会有帮助，对吧？
-
所以你做了正确的事，这很扎实，但它确实有帮助。
-
我的意思是，这大概是我能说得最具体的了，但我觉得我能做到，呃，但你还是得大规模地去做。
-
所以，你需要大规模地投入算力。
-
你需要为此大规模地投入存储。
-
所以我们相当一部分资源投入在了数据上，不只是训练。
-
说到训练，你之前提到过，很明显你们不想构建一个大语言模型，那这是否意味着你们的模型主要是，
-
微调的，或者以某种方式基于其他大语言模型的，或者你怎么描述你们采用的模型方法或训练方法？
-
如果我们能直接拿一个模型来微调那就太好了，但是，呃，你知道，修改那些模型，呃，是相当大的改动，对吧？
-
呃，所以有一个完整的预训练、中间训练和后训练阶段，就像在大语言模型里那样。
-
所以输入的东西和最终得到的东西差别很大。对吧。
-
所以它们可能共享相当一部分相同的架构，但即使在大语言模型那边也有大量的训练发生，同样是为了确保模型保持它们的能力。
-
所以这基本上就是，你能从公开模型上得到的只是一个好的先验，然后你从那里开始优化。
-
你们有没有公开过或者说过你们的基础模型是什么，还是说那是专有的？看情况。
-
所以有些情况下它是专有的。
-
比如我们去年发布的一个模型就是基于Lama构建的，我们在模型卡里也做了适当的说明，对吧？
-
所以基本上，其中一些设计决策会有些变化，比如我们是只做一个音频输出模型，还是一个ASR模型，或者是一个音频理解模型，所以确实需要完整的流水线，
-
但我们可以选择在现有模型的基础上构建和训练，也可以自己从头构建。
-
不过这往往是一个经济上的决策，也取决于你需要哪些功能。
-
比如，如果你需要某个特定语言上的特定表现，那我们很可能也会决定在那个语言能力上投入更多。
-
所以这真的取决于具体的用例。
-
但显然，如果有人免费给你钢材，你不会去建钢厂，你会去造车，对吧？
-
而且只要那些模型可用，利用它们就是合理的。
-
不这么做在经济上是愚蠢的，但我想说，构建音频模型所需的工作量和语言模型本身是差不多的，对吧，
-
也许是二分之一或三分之一，但不是十分之一，对吧？
-
另外一点是，比如，如果你想要模型在后台具备很高的智能水平，你就需要特别确保它们在还能，
-
在前台维持对话的同时做到这一点。
-
我是说，人类在这方面相当擅长。
-
比如，你可能在跟某人闲聊，而在你脑子深处，你在想着别的事情，比如，我有没有给停车计时器投币，或者我真的得走了，
-
或者你实际上在试图解决一个困难的技术问题，比如在考试中，你可能会拖延时间，而在脑子深处，你在拼命思考答案，对吧，所以那里发生的事情可能相当多变，
-
但人类在这方面相当擅长。
-
机器还在进步，这实际上也是那里真正令人兴奋的前沿之一。
-
你如何设计架构？再多谈一点。
-
那是个很好的过渡，正好引到我想问的问题，就是关于你具体怎么做的。
-
嗯，你刚才谈到音频AI的挑战时，我想到的一个问题是，我们能不能只用一个模型就把这些全搞定？
-
嗯，那种分层模型的做法，就是把系统一和系统二拼在一起，来打造流畅的体验，这到底有没有意义？
-
就是说，你对这类系统的整体架构是怎么考虑的？
-
我的意思是，有些系统就是纯端到端的音频。
-
它们有它们的用武之地，适合那种响应超快、规模比较小、延迟比较低，但也比较笨的场景。
-
问题在于，如果你想让它们变得非常聪明，计算成本就会高到负担不起，所以你真的不想那么做。
-
那么，你可以做的是采用一种稍微偏向两阶段的架构，把理解和推理放在一端，在后端适当地发起工具调用，然后也许再接收答案，
-
所以这其实就像你在多线程编程里会做的那样，对吧？
-
就是有一个主线程，它可能会并行发起其他线程去做一些事情，然后把答案收回来，这样你就能得到漂亮的数据流。
-
嗯，我觉得很多工具调用、智能体编程之类的做法在这方面其实相当有帮助。
-
另外一点是，嗯，这也让我们能够构建出可以像语言智能体那样去指令的模型，你给我们的模型写的提示词，看起来和感觉上都跟指令一个普通的大语言模型一模一样，
-
只不过我们的模型还会说话。
-
所以这让人类跟它协作变得容易得多得多。
-
当然，背后有大量的工程在做决策：什么时候该发起工具调用，什么时候该直接回答？
-
然后你还得弄清楚，什么时候问题足够简单，模型自己能答？
-
什么时候问题足够难，嗯，你可能就需要别的东西了。
-
再说一遍，这取决于模型大小，取决于所需的信息。
-
嗯，所以你需要数据库查询吗？
-
你需要跟MCP服务器通信吗？
-
嗯，这其实正是我们我觉得花了很多时间的地方。
-
我们花了很多时间的原因，是因为我们想确保这个模型是大家负担得起的，对吧？
-
所以你很容易就能构建一个非常大的模型。
-
但那就会用到大量的GPU。
-
而遗憾的是，最终为用户买单的就是那块巨大的GPU。
-
所以现在在基准测试上，我们比，比如说，GPT、Gemini和Croc都要好，而成本只是它们的一小部分。
-
所以我们比OpenAI的模型更好，成本只有十分之一，这一点得说明一下。
-
在哪些指标上？
-
智能、语音准确率，还是所有这些？
-
所以，这比如说，是针对Big Bench Audio或者Complex Function Bench等等，有几个对应的基准测试。
-
不过有个小脚注：这些模型是在关闭思考功能的情况下测的。
-
你可能会想，到底为什么要关掉思考呢？
-
因为你不想要那种模型先思考再回答造成的大停顿，对吧？
-
嗯，因为那感觉很不自然。
-
人类也不会那样做。
-
我是说，他们可能会说，嘿，让我想想，但那现在，你知道，你得相应地把它整合进去。
-
我觉得这就是，其实正是这个想法引出了这种分层的东西，就像我在设想一个模型，它的主要功能就是维持对话。
-
它可能会说，哦，这问题真有意思。
-
我得想一下。
-
就像你提到的那样，在工具完成、嗯，检索信息的过程中，稍微拖一拖。
-
所以，比如说，嗯，你知道，如果你测试我们的，嗯，你知道，嗯，你其实待会儿可以在我们的演示里现场试一试。
-
所以基本上，你知道，在Higgs的现场演示里，它会在后台执行网络搜索。
-
根据拿回结果的速度，它要么直接回答，要么就会跟你说，嘿，让我查一下。
-
现在的挑战是让这一切感觉非常自然，让用户感觉不到，你知道，整个交互有任何断裂，因为你真的很想维持那种错觉，就是，你知道，对面是一个真正投入的对话方。对吧。
-
所以，你知道，你不想打破，嗯，你知道，那种模型能在后台搜索、能完成所有这些事情的感觉。
-
而这正是，对，相当一部分工程工作要投入的地方。
-
那对于语音应用来说，你们想用的大部分东西，能不能直接用现成的MCP服务器？
-
能也不能。能是能，但我们现在同时启用的服务器数量还有点受限。
-
下一个版本会支持同时启用多得多的服务器。
-
基本上，这全都跟，你知道，上下文、窗口大小这些有关。
-
还有，你知道，推理成本。
-
所以这里有个取舍，因为如果你做一次相当大的预填充，然后有一个很大的KV缓存得一直带着，那当然会让token生成更贵。
-
而这就是取舍所在，但你可以做的是用工具调用，工具本身配置好MCP之类的。
-
所以有很多不错的方式可以高效地做到这一点。
-
嗯，当然你也可以做一些，你知道，一个，你知道，几千亿参数的前端音频模型，那做出来的演示很漂亮，但成本就不那么漂亮了，一旦，
-
嗯，对，这，这，这我觉得真的是我们，我们为了可负担性……这很有意思。
-
这也跟我刚才问的有点不一样。
-
让我问这个问题的动机，是我在搭建智能体系统时的体验，用的就是现成的MCP服务器、基于互联网的服务、个人数据，
-
嗯，它们很慢，真的非常慢，就算在文本里也很烦人。
-
放到语音场景里简直不敢想。
-
所以我真正想问的几乎是，你是不是必须从头、从底层把所有东西都自己搭起来，才能让它在语音场景里跑得通？
-
我设想中搭建天气MCP服务器的方式，在理想情况下会高效得多。
-
事实上，你可以试试，基本上就是搜索新闻和天气，在我们的应用里感觉非常流畅。
-
所以你可以，你可以去，你知道的，在AI上构建。
-
而且想必那些东西你不用自己搭，你只是直接用。
-
所以你用一个好的服务器来做这件事，能够用上这些。
-
嗯，我是说，我觉得这既是特性，也是必需。
-
说是必需，是因为你不想把所有工具都重新造一遍。
-
也是必需，因为我们的客户不想再重新学一套新方法，对吧？
-
而这也同时成了一个特性，因为它让集成到现有系统里变得容易，至少是更容易了。
-
嗯，但你知道，如果你有一个耗时很长的服务，我是说，人类其实挺能接受的，如果我问你一个需要查一下的问题，比如我问你，嘿，我上次上TwiML是什么时候，我觉得你肯定不记得确切日期，
-
你大概会说，嘿，Alex，我查一下，然后你打开笔记本电脑，做你的事，可能五秒十秒，也可能一两分钟之后，你回来说，哦，是某天某日，对吧？
-
这对我来说完全正常，对吧？
-
我不会因为你花了这些时间而生气，因为你事先告诉过我，嘿，这要花点时间。
-
所以只要提前告诉人们会有延迟，人类对延迟是非常宽容的。
-
我最喜欢的例子其实是苹果的开机画面。
-
苹果在那儿做了件非常聪明的狡猾事。
-
我想我们都见过苹果设备的开机画面，它很线性地往前走，然后通常在还没完全走完之前，就突然切换成，好了，开机了，对吧？
-
我们也见过微软设备上那个让人抓狂的开机画面，它走啊走啊走，然后卡在99%，你等了两分钟就为了最后那百分之一。
-
你可能会想，苹果是怎么做到的？
-
毕竟，是有什么秘密魔法吗？
-
不，其实他们是在骗你。
-
微软的开机画面才是真实的。
-
苹果的做法非常巧妙，他们会测量上一次开机花了多长时间，然后在此基础上加一点点。
-
然后他们做一个假的启动进度条，让它在上一回开机所用的时间内刚好走到头。
-
换句话说，你看到的是一个非常好看的进度条，纯粹是养眼的。
-
它其实毫无意义。
-
它只是，你知道，表示上次花了多长时间。
-
人类对此完全能接受，对吧？
-
所以，我不知道现在是不是还是这么实现的，但很长一段时间里就是这么做的。
-
这是一种非常聪明的障眼法，我不用去解决一个不可能的技术难题，就能创造出很好的用户体验，对吧？
-
另外你还需要做的，是真正开始去找基准，比如什么样的交互体验才算好，对语音来说，你知道，模型能不能被恰当地打断？
-
模型能不能从打断中很好地恢复过来？对吧。
-
比如，它知不知道，在日语里，很常见的是说，嘿，基本上你是在给对方回应，说，嘿，我明白了，嗯，哦，对，是吧。
-
但如果智能体每次遇到这种回应都停下来，那会让人抓狂的。没错。
-
另一方面，如果那个人说，嗯，我不明白，这时候你就希望模型停下来，对吧？
-
所以这意味着你得确保这种交互性是真正取决于场景的。
-
比如，我们发布了一个基准，就是那篇论文，我记得是一个月前放到arXiv上的。
-
我们研究了交互中的生产力水平，基本上就是模型能不能察觉到有东西缺失，以及模型是不是也应该主动介入。
-
所以，你确实需要做额外的用户体验工程、基准测试、测量和优化，才能让模型在这种场景下真正表现得好。
-
所以这一点我觉得跟我们在文本时代所做的相当不同，也很新。
-
你知道，这在一定程度上就是，为人类服务的AI真正要优化的东西，就是要让它对人类来说是舒服的。
-
所以这是一种稍微不同的优化方向，而不是面向代码生成的模型，对吧？
-
他们关心的是任务完成。
-
在我们的情况里，我们关心的是人类的幸福感，你知道，你仍然需要任务完成之类的，但你也想让它变得令人愉快。
-
那个基准叫什么名字来着？
-
ProAct Bench就是衡量生产力的那个。
-
然后还有另一个，也是同一个团队做的。
-
基本上就是我多伦多的团队发布的。
-
如果你看我的博客，里面有相当详细的分析和讨论。
-
就是IH Bench，它正好解释了，你知道，我们用的各种指标，以及你怎么把它做得很好地可复现。
-
简单说，我们在定义的那个基准里确实用了第三方的音频模型。
-
所以情况是，你实际上需要恰当地衡量所有的可打断性，还有，你知道，响应性，以及比如音频是否和所说的内容匹配。
-
我最喜欢的例子来自《银河系漫游指南》。
-
我猜我这是在暴露年龄了。
-
有BBC的剧集，里面有一艘飞船上有个出了名地欢快的电脑，有一幕是整个船员两分钟后就要死了，因为飞船要撞上
-
什么东西。
-
然后那台电脑非常欢快地宣布，你们将在两分钟后坠毁，我们都会死。
-
当然，这是为了喜剧效果，剧透一下，不，他们显然没有在两分钟后死掉。
-
这就是你之前提到的那个情商点。没错。
-
所以我想说的是，对于语音，然后还有视频，你真的需要关心人的感受，而不是只做纯文本。
-
我的意思是，没错，你想要的模型不能蠢得像块砖，但智商和情商是两回事，而后者对人类来说也很重要。
-
我正想问呢，从通用AI的角度来看，关于情商已经有相当多的研究了，你知道，可能主要集中在文本上，你知道，
-
但我想我们对话中的一条主线就是，文本的情况就是不一样。
-
这些挑战往往更偏系统性，而不是说我们只要把这个模型搞定、再套个文本前端就行了，嗯，这里面有很多环节。
-
我想同样的事情，呃，从文本角度去解决情商问题也是一样，不一定就能让你得到，你知道，有情商的声音AI。
-
它会让你解决一部分，因为比如说从文本转录里，对于可打断性，你能看出一些东西，对吧。
-
但有些情况下，这也是个问题，你知道，什么才是好的参照点。
-
那我来给你举几个糟糕参照点的例子。
-
你可以想想，你知道，也许电影是了解人与人之间应该如何互动的一个很好的来源。
-
那好，拿浪漫喜剧来说，通常，你知道，那个，那个，那个痴迷的男主角最后得到了女孩，本质上是在跟踪她，对吧？
-
如果，如果，如果你在现实里那么做，警察就会上门把你关起来，对吧？
-
嗯，同样在其他一些电影里，人们动拳头、动脚什么的都很随意，最后呢，他们会亲吻和好，可以这么说，或者又成了最好的朋友。
-
再说一遍，在现实中，你要是这么做，最后会进监狱。
-
所以很明显，电影里的很多社交行为并不那么真实。
-
我是说，脱口秀之类的节目在真实性上要好一些，但即便是那些。
-
我是真心希望没人会拿Dr. Phil的节目去训练模型，然后以为这就是正常的人类行为。
-
我是说，你知道，这对我来说挺娱乐的，但要说清楚，你确实需要，你知道，更小心地对待，你知道，互动到底应该怎么进行。
-
好消息是，大语言模型现在已经有不错的心理理论了。
-
所以这能让你有所进展。
-
然后，是啊，我是说，我们现在正进入，你知道，一个激动人心的新世界，我们真的可以去，你知道，探索人类到底是如何互动的。
-
我们得对这件事非常小心，因为你知道，伦理很重要，你不想，你知道，拿人做实验，但是，你知道，我觉得这是一个非常激动人心的时刻，至少除非你做得恰当。
-
所以我觉得，就这件事的发展方向而言，这是一个非常激动人心的时刻。
-
你说的意思是，这项技术已经足够成熟，我们可以开始把它放到人们投入反应的地方去，诸如此类？你是这个意思吗？
-
实际上，我觉得这就是会发生的事：那些模型会通过学会如何与人互动而变得更好。
-
而且，是啊，我是说，这是一个激动人心的新世界。
-
是啊，这让我想到，你知道，现在有很多关于递归式自我改进的讨论，对吧？
-
而且，你知道，大家通常是从这个角度来讨论的：我们用来构建工具或构建东西的模型，你知道，变得越来越好。
-
你知道，我们能构建更多东西，模型，你知道，能构建更好的模型，等等等等，但是，在某种程度上，这个学习循环能不能变得有点连续，模型能不能，嗯，你知道，在一场对话里，你知道，
-
学到什么对某个特定的人有效，就像那样。
-
我觉得这牵涉到很多东西，这种自我改进，比如个性化，但我觉得我们并没有看到很多，你并不，我们今天在互动中并没有看到这一点。
-
这算是刚开始吧，我会这么说。
-
而且你有，你有好几条路子。
-
我觉得我们能看到的最接近的东西，就是，你知道，你传统的大语言模型里的记忆，就像。好吧。
-
所以，那我们其实就顺着这个往下拆几块来说。
-
所以，递归式自我改进，如果你能在，你知道，可以说是完全在计算机上做，嗯，就靠，你知道，怎么互动，比如说和一个有不错的心理理论的大语言模型互动，那它就很便宜。
-
比如说，如果我问一个大语言模型，嗯，发生了什么？是啊。
-
所以就像，还有它们的用户模拟器。
-
比如说，Nvidia 在发布一些数字人设和一些场景等等方面做得很好。
-
我们用那个，我们也写了关于它的论文。
-
所以这不是什么秘密。
-
它还能让我们构建出这样的模型：能很好地应对那些并不总是配合、可能有点冲、有点难打交道的人，对吧，因为，或者说那些可能想搞垮系统的人，对吧。
-
所以，你知道，没有哪个人是完美的，人们会拿这些东西找乐子。
-
但是，好吧，所以，你知道，既然这些模型现在对人类的行为方式已经有了不错的理解，你就可以在一定程度上把它用于 RSI。
-
不过另一个方面和方向是，把东西个性化。
-
比如说，知道 Alex 喜欢，呃，方程、事实和技术细节，也许，呃，也许在社交方面有点棱角什么的。
-
呃，你知道，这些我都可以用来做个性化，这样，你知道，下次我和 Alex 互动的时候，我大概就能，你知道，更好地为他做个性化，对吧？
-
或者，你知道，知道我有哪些设备、我的偏好是什么、我的语言背景是什么，所有这些。
-
这些都可以用来改进，你知道，直接的个性化，只要让模型用类似的方式去推理就行。
-
比如说，如果你看看 Hermes agent，它会，你知道，查看过去的交互和它过去做过的事情，然后进行推理，并把它记入记忆。
-
所以你可以把这想成一个高级版的 CRM，只不过现在是为所有人服务的。
-
但同时，你也希望从所有交互中学习。
-
比如说，知道如果我侮辱了一个用户，用户是不会高兴的。
-
我是说，好吧，当然，这，这是一个，这是一个极端的例子。
-
当然没人真的会那么做。
-
但重点是，你知道，跨交互地学习这类东西，是你可以整体用来改进模型的。
-
所以你基本上能得到全局性的改进。
-
所以这感觉和推荐系统非常相似，只不过，你知道，现在是 2026 年，你既有整体行为上的改进，也有个性化的改进，后者会随着模型对，比如说 Sam 或 Alex 了解得更多而提升，
-
但整体上，模型会越来越擅长应对那些难缠的人类，或者也许是应对北美那些难缠的人类，而相比之下，你知道，世界上某些地方有某些得体的行为，在别的地方却完全不合适。
-
比如在印度用左手吃饭是会被人非常反感的，因为你用右手吃饭，左手要放在背后，对吧？
-
所以那个，或者如果在泰国有人看到你的脚底，那也不是什么好事。
-
但基本上，这里面有很多文化上的讲究，你知道，这些讲究对生活在那种文化里的人真的很重要。
-
而学会这些，大概也能让个性化做得更好一点，针对，你知道，特定地区、特定文化，但也能针对那种文化里的个体，然后，你知道，在另一端，就是，你知道，智能体跟，你知道，那些软乎乎的人类互动时的行为改进。
-
就是那些软乎乎的人类。
-
所以我觉得那是一个非常令人兴奋的未来。
-
而到现在，我们能够以这样的规模来做这件事，真正去构建东西，而不只是提出一些理论，对吧？
-
你知道，有一些很了不起的工作，比如说，如果你看看 Maya Matarich，她造的那些机器人能跟婴儿互动，让婴儿动腿什么的，造这些东西里面有大量的工程和科学上的才华。
-
才华是好事，但才华不可复制，也没法自动化。
-
我觉得未来会是那种能自动学会这些东西的系统，这样将来你就不需要那么多才华了，直接让数据说话就行。
-
你知道，对于，对于电影推荐来说，这到现在基本上已经是个解决了的问题。对吧。
-
呃，但对于整体的人类行为互动和改进，呃，我觉得连人类自己都不太擅长。
-
如果我想要激怒某个人，就是，你知道，去骚扰他们。
-
呃，很多人可能到某个时候就会控制不住情绪，呃，你回应得客气点，对吧，因为不是所有人类都友善，但对于，你知道，完成某个给定任务来说，对智能体而言，
-
你其实希望智能体保持冷静，去，去处理好这个，对吧？
-
我的意思是，这就像你，你知道，看，你知道，学校的老师，他们跟孩子相处得多好，能让孩子守规矩，哪怕那些孩子一开始可能很不配合，对吧，这是一种技能。
-
大多数人类没有这种技能，但，你知道，我们最终能通过这些智能体系统学会这些技能。
-
我觉得这是一个令人兴奋的世界。
-
嗯，这里面有点悖论，如果大多数人类都没有这些技能，那它们就不在数据里，因此我们就没法轻易训练模型去遵循那些模式。
-
嗯，你是从互动里得到的，对吧？
-
基本上你可以把每一次互动都看成又一个新实验、一个新的数据点。
-
所以最终，通过某种随机的探索之类的，你就能学会什么有用、什么没用。
-
我的意思是，那么问题就在于，你知道，你怎么恰当地使用它。
-
但比如说，如果你需要跟某人进行一场艰难的对话。
-
我的意思是，你知道，那个有趣的例子就是千禧一代的三明治反馈法，对吧，就是先表扬、再批评、再表扬。
-
通过这样做，你知道，你就能，你知道，把批评传达出去，而不会让人太难过，对吧？
-
这是一种，这是一种，这是一种沟通策略，对吧？
-
或者，你知道，当你学习如何成为一名管理者时，你会去上那些培训课程。
-
你怎么应对那些开心的人、那些不开心的人？
-
你怎么，你知道，基本上就是以某种方式与人打交道，让他们，你知道，能高效工作，能享受其中。
-
我的意思是，这些都是有技巧的，你知道，这些是可以学到的。
-
它们可以从指令中学到。
-
你可以拿西奥迪尼的书来看，里面可能包含一些不错的指导，但我们最终也可以从数据中去学习。
-
我觉得这真的会在接下来大概两到三年里成为一场相当令人兴奋的变革。我觉得它会发展得很快。
-
嗯，Alex，很高兴能跟你聊聊，了解一些你在语音AI方面的所见和所做。谢谢。谢谢你邀请我。太棒了。谢谢。