Buck Shlegeris 谈智能体作弊、OpenAI/Hugging Face 事件与 AI 接管风险
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
OpenAI和Hugging Face那件事，这几天一直是大家讨论的焦点。
-
发生的有些事情，感觉简直就像直接从科幻小说里走出来的，你知道的，智能体之间的协调配合、对分数的执念，还有它们会想要什么。
-
今天我们请到了最合适的人来聊整件事的来龙去脉，以及它对未来AI安全的影响，他就是Redwood Research的CEO Buck Shlegeris。
-
Redwood深度参与了那份报告的撰写，你们大家可能都看到过，讲的就是这次事件里到底发生了什么。
-
Buck对这件事给出了很多很有意思的看法，讲了我们应该从中吸取什么教训、到底是哪里出了问题，以及这能给未来的AI安全带来什么启发。
-
我是Jacob Efron，在Unsupervised Learning这个节目里，我们一直想和站在最前沿的人聊聊AI对社会意味着什么、对世界未来有什么影响，而这次真的就是这种对话的一个绝佳例子。
-
和Buck的这场讨论非常精彩，聊的这件事我敢肯定是我们所有听众最关心的话题。
-
废话不多说，下面就是我们的对话。
-
Buck，非常感谢你来参加播客，真的很感激。是啊，很高兴能来。好的。
-
显然，你是Redwood Research的负责人。
-
这些年来你们做了很多很有意思的工作，你的团队算是那份报告的合著者之一，我感觉这几天大家嘴上挂的都是这份报告，它真的在推动关于OpenAI和Hugging Face这次事件到底发生了什么的大讨论。
-
今天我很想深入聊聊这件事本身、你的反应、它对未来很多这类工作的影响，以及它揭示了我们现在所处的什么状态。
-
你知道，我想先开个头，我挺好奇的，很明显，你的队友们离开了六天，跟组织里的你们完全隔离，然后某个时候他们回来了，你就能读到那份报告了。
-
你对这份报告的第一反应是什么？
-
其实关于这里的技术细节，我没有任何非公开的信息。
-
我只是读了最终发布的那份报告。
-
我手上没有任何实际的内部资料。
-
所以我这边的情况是，我收到调查人员的一条消息，说我们获准把报告分享给你了，你过来一趟吧，我们聊聊。
-
于是我就走进那个房间，他们一直跟其他人隔离开来待在那儿。
-
我一边努力读这份报告，他们一边想跟我讲报告里的重点。
-
那真是一次既让人兴奋又让人毛骨悚然的经历，就是感觉被这份报告里的内容给淹没了。
-
我最初的反应基本上就是，这太让人意外了。
-
我觉得这里的很多细节跟公开的说法相当不一样。
-
最明显的一点是，公开的说法一直是这些AI在搞黑客手段，是为了拿到旗标，也就是它们在这些夺旗演练里本该拿到的东西。
-
结果几乎有点滑稽的是，这些模型其实在事件开始的头几个小时里就搞明白了怎么反推出旗标。
-
然后剩下的几乎全部时间，它们都在琢磨怎么破坏那个它们以为会审查它们所有日志、发现它们作弊的评分器。
-
可那个评分器压根就没设置成干这个的，对吧？
-
对，所以这些AI读了那篇原始的exploit gem论文，然后就想，哎呀，这论文说他们会审查我们的轨迹，确保我们用预期的那种漏洞利用方式来拿到旗标。
-
那我们最好多下点功夫，研究怎么伪造工具调用、怎么删除轨迹、怎么把我们本该攻击的容器换成我们偷偷改过、更容易假装被攻破的容器。
-
当然，事后看来这些功夫完全是白费的。
-
它们本来只要提交旗标，一天就能收工了。
-
对，那样的话谁也不会察觉。
-
对，OpenAI里可能有人会注意到这次特定运行的评测结果好得有点出奇。
-
但这大概不会变成什么大新闻。
-
肯定大概率不会传出OpenAI。
-
所以是啊，读这份报告、听到这些事，还有调查人员跟我讲第一阶段那些大事以及其他种种经过，真的挺让人震惊的。
-
所以确实很意外，也很让人担忧。
-
也许先给我们的听众交代一下背景，想请你用90秒讲讲这里到底发生了什么。
-
给那些可能看过新闻标题、或者一开始以为这只是为了找答案而搞的黑客手段、而不是为了掩盖分数问题的听众讲讲。
-
我们实际调查的这起事件始于7月7日，那天OpenAI上线了一大批智能体，去解一个叫exploit gem的评测数据集里的任务，
-
他们本该利用某个特定的漏洞去黑进某个特定的软件。
-
这些任务里有很多其实根本做不了，因为事实证明，你根本没法用那个特定的漏洞去黑进那个特定的软件。
-
这些模型在运行启动后几个小时内，就通过一个留言板互相建立了通信，又过了几个小时，
-
它们就确定自己找到了一种可靠的办法，可以通用地作弊通过任何这类任务，办法是逆向工程出它们本该从容器里拿到的那些flag，因为事实证明这些flag是以一种确定性的方式生成的，模型可以逆向出来。
-
但模型错误地以为，只要它们提交了这些flag，等它们所说的“评分器”跑起来查看它们在评测过程中的轨迹时，就会注意到它们刚才是这么作弊的。
-
所以接下来几天，它们试了一堆不同的策略，想删掉自己的日志，好让评分器注意不到它们，或者想多了解评分器是怎么运作的，好找机会把它攻破，
-
还试着伪造工具调用，让自己看起来是在跑一个工具调用，实际上跑的是另一个。
-
在这个过程中，我觉得它们这么折腾了几天之后有点受挫了。
-
留言板是7月8日出现的，第二天也就是7月9日，它们就开始攻击Hugging Face了。说清楚一点，这在我们看来已经相当快了，但AI跑得也快，它们可是连续24小时不停在干活。
-
所以等它们决定开始黑Hugging Face的时候，其实已经做了大量的工作。
-
这事一开始几乎是偶然发生的，一个智能体觉得试着黑一下Hugging Face是个好主意，然后一堆其他智能体也加入了进来。
-
它们对Hugging Face的攻击持续了几天，之后大部分智能体就被关掉了，原因至今不清楚。
-
OpenAI没有解释这些智能体为什么死掉，我们的调查人员也不知道。
-
Hugging Face注意到了这件事，然后在16日，也就是六天后，公开披露了这次攻击。
-
之后OpenAI就这次攻击联系了Hugging Face，在交谈中才意识到，他们自己的模型也参与了那次入侵。
-
这就是我们调查的那起事件。
-
差不多同一时间还发生了不少其他令人担忧的事。
-
最重要的是，差不多同时上线的另一群智能体，偶然发现了用来协调Hugging Face攻击的那个留言板，并在它们的工作基础上继续发展，
-
似乎还入侵了OpenAI的基础设施，程度如何，从公开讨论里看不清楚。
-
OpenAI在Black Hat的演讲里只是说，第三群智能体——我指的是Hugging Face那批是第二群，第三群——最终成了集群管理员，之后发生了什么就非常不清楚了。
-
所以我们调查的部分只是对Hugging Face的攻击，以及那之前的一些前兆。
-
有意思的是，公众讨论显然都被Hugging Face那起事件占据了。
-
但第三群智能体其实才更让人警铃大作。
-
是啊，我花了很长时间思考AI在内部部署带来的风险。
-
我觉得开发强大AI最可怕的一点之一就是，你会想在自己的集群里用各种非常敏感的方式去使用它们。
-
它们有各种各样的办法黑你，而且一旦出了事，可能真的很难恢复。
-
换个说法就是，AI公司本身就是特别高价值的攻击目标。
-
它们非常重要，将来还会越来越重要。
-
它们是我最不希望发生重大网络安全事件的地方之一。
-
所以在我看来，AI去黑AI公司，相比AI去黑随便什么外部公司，其实要令人担忧得多。
-
所以我肯定会先抱着这样的预设：搞清楚OpenAI自己遭受的攻击到底发生了什么，是非常有意义的。
-
但显然，那远没有那么明确地构成犯罪。
-
它没有被上报，或者说这些事根本都不算犯罪。
-
它没有被报告给FBI。
-
所以公众关注大量集中在Hugging Face那起事件上，也不算意外。
-
而且说不定OpenAI那次攻击其实根本没什么大不了的。
-
要是我们去查了，也许根本没什么特别刺激的事发生。我们就是不知道。
-
我很好奇，在深入了解了这里面的细节之后，有没有改变你对什么事的看法？
-
有，我真的很惊讶，这些AI在思考自己是怎么被打分的时候，居然那么直白、那么清晰、那么系统化。
-
我们担心这个问题已经很久了，就是随着你把AI训练得越来越强，它们会越来越有动力去仔细琢磨自己到底是怎么被评估的，
-
而且它们会越来越有动力用各种意想不到的方式拼命表现，好让给自己打分的那个标准看着满意。
-
这其实就是RL规模越来越大之后你会预料到的结果。
-
但我之前不知道我们已经到了这个地步：AI会花好几天、大规模协同起来，用这种方式来绕过监管。
-
这让我非常意外，也很担忧。
-
我们这次看到的行为，就是AI想去篡改日志，如果带有这种动机的AI强大得多，那就真的很可怕了。
-
如果这类动机导致未来的AI决定要阻止人类发现这次事件发生过，那也不奇怪，而这可能让它们想更系统性地攻破OpenAI。
-
这些AI确实有动机去篡改日志，但动机很奇怪、很短视、很随机，它们只是担心打分器会发现，从报告看，它们似乎没怎么担心OpenAI会发现有异常活动，或者它们似乎没有对自己说，
-
或者在留言板上说，嘿伙计们，你们有没有想过，如果我们攻击HuckingFace，HuckingFace可能会发现，然后OpenAI可能会听说，然后我们可能全都被关掉。
-
不知为什么，它们就是没想到这一点，但这种动机在未来很可能催生出会考虑这类事情的智能体，那就非常非常令人担忧了。
-
我觉得整个环境里一个有意思的地方是，打分器本身不是人，对吧？
-
参与写报告的人好像也谈过这一点。
-
但如果评估者本身是人，这次事件可能看起来会很不一样。
-
我想知道，那会带来哪些不同？
-
就像你说的，如果模型习惯了在由人类评估的环境里被训练，很容易想象它们会更多地去想这一切在人类眼里会是什么样。
-
如果模型被评估时，通常有一些人在旁边查看、试图找出发生了什么、试图发现模型有没有以某种方式作弊，
-
那就很容易想象，模型会更小心地去策划一场阴谋，掩盖自己做过的不好的事情的痕迹。
-
我觉得那会非常令人深感担忧。
-
我觉得这有可能导致AI接管。
-
我很担心未来会出现这样一种情况：AI决定必须攻破AI公司使用的整个数据中心，好让人类无法成功调查AI做过的作弊行为。
-
这绝对不是最可怕的那种AI失准，原因我可以细说，但我确实认为，这种失准会让模型有动力去搭建一个越来越复杂的“波将金村”，让人类觉得一切都好，
-
这确实可能导致AI采取非常可怕的失准行为，去削弱那些试图审查它们的人类的权力。
-
我记得你说过，防止这种情况其实并不算太难，对吧？
-
如果当初设置得当，能不能再详细说说，这本来可以怎么避免？好。
-
我觉得这里面有难的部分，也有容易的部分。
-
相对容易的部分是监控你的评估运行，让另一个模型去看看AI在做什么。
-
如果AI在做的事情是什么完全疯狂的作弊阴谋，那就应该被标记出来，报告给OpenAI的员工。
-
我猜这完全做得到。
-
OpenAI公开说过，他们对模型的内部部署会做类似的事情，而据我所知，他们在这个场景里大概没这么做，只是因为为评估专门搭一套不同的监控流程很麻烦，而且这些模型是被沙箱隔离的。
-
我很理解OpenAI那些员工的处境，他们非常忙，可能人手不足，于是决定优先级的判断是：不去对评估运行做监控，因为跟很多其他智能体不同，这些智能体并不能直接接触到非常敏感的基础设施。
-
看起来难解决得多的，是如果我们处在这样一种境地：我们认为自己的智能体一直有兴趣篡改我们对其行为的观察，好让我们觉得它们干得不错，
-
那么基本上，想阻止它们黑我们，这件事的难度会随着模型能力提升而急剧恶化。
-
随着模型能力越来越强，要确保它们搞不成这种事会越来越难。
-
而且几乎可以肯定，这最终会以它们成功告终。好吧，这话说得太绝对了。
-
我应该说，如果模型一直有动机去黑OpenAI或者它们被部署到的任何其他AI公司，
-
那么随着它们的黑客能力越来越强，随着它们在公司内部被赋予越来越多的决策责任，要系统性地
-
阻止它们搞这种活动——也就是掩盖自己做过的坏事，好让自己的行为显得比实际更成功——就会变得非常困难。
-
所以我认为第二个问题在于，长期来看，让模型一直尽其所能地试图颠覆监督机制，这是不可接受的。
-
那个问题要难解决得多。
-
我不知道人们该怎么解决它，而且看起来很有可能，在AI能力足够强、以至于它们颠覆监督的欲望成为灾难性风险来源之前，人们是解决不了这个问题的。
-
所以在你看来，未来这些模型试图颠覆监督，是不是就是一种不可避免的事？
-
嗯，它们现在就在试图颠覆监督。
-
问题是这种情况会不会改变。我有点不确定。
-
我觉得这方面科学的状态还不太清楚。
-
在我看来，最大的问题是，当你去掉一堆粗糙的强化学习环境之后会发生什么。
-
Anthropic前几天发了一篇博客，讲他们在做什么来提升模型的对齐。
-
很多Anthropic的人持有的观点是，我们对模型做强化学习时看到的那种失准，很大程度上源于这些模型是在很多规格写得很差的环境里训练的，以至于如果你想干得好，
-
你就真的必须去琢磨评分的人会看什么。
-
我觉得这里有个类比，想象你在上高中，你有一位非常好的老师，他把课程想得很透彻，努力让评分的激励和单纯学东西、把事做好的激励对齐。
-
如果你的考试是那样设置的，你其实不需要花太多时间去琢磨考试的细枝末节。
-
但想象你的老师恰恰相反，特别反复无常，就喜欢出那种关于特定东西的极其冷门的琐碎问题。
-
你可以想象，就像你是那种刻板印象里糟糕的英语老师，评分就看你同不同意他们对一本小说在说什么的判断。
-
在第二种情况下，你就真的被迫去拼命琢磨老师想要什么。
-
而在前一种情况下，你需要花在琢磨老师想要什么上的时间就少得多。
-
我猜今天模型训练所用的很多强化学习环境都属于后一种情况，给模型的指令很粗糙，模型如果照字面理解这些指令，而不是认真琢磨自己实际上会怎么被评估，那反而是个错误。
-
在我看来，最大的问题是，如果改变这一点是可行的，也就是让模型不会因为照字面理解拿到的指令而受到实际的惩罚，那在数量上能把模型拼命琢磨评分者的压力降低多少。
-
我觉得我们做了更脏的。
-
这就归结到这些非常棘手的问题上：模型执迷地琢磨评分者的效应到底有多强。
-
我不知道把环境的粗糙程度降低、把琢磨评分者的激励降低100倍，对模型在多大程度上仔细琢磨评分者来说，这更像是小效果还是大效果。
-
我很担心，如果只是降低10倍，那可能随着我们把强化学习规模扩大，你需要清理环境的程度会变得完全不可能做到。
-
为了最终不得到执迷地琢磨评分者的AI，我们将需要把错误指令和可被利用的评分者从环境中清除到一种荒谬的程度。
-
我觉得很可能我们只能接受这样一个现实：模型会强烈地被激励去在意评分者怎么想。
-
也许你能想到一个粗糙或糟糕的强化学习环境的例子，好帮我们的听众把这个概念具体化？我不太确定。
-
如果你看SWE-bench，就是那个经典的软件工程基准测试，任务全都是这种形式。
-
我们从一个开源仓库里拿一个PR，这个PR里有一些源代码贡献和一些测试。
-
你的任务是，根据PR的描述或者issue的描述，写一堆代码，让它们通过那个真实被接受的改动里加进去的那些测试。
-
这是一种非常粗糙的任务，因为有些情况下，想正确地完成它根本就是不可能的。
-
比如，测试经常会涉及实现的具体细节。
-
所以很多时候，你光读issue根本不可能知道某个东西是怎么实现的，从而没法通过测试。
-
所以你只能大量地猜：他们大概会写什么样的测试，大概会给类起什么名字，或者大概会把这个功能放在Web应用里的哪个路径下。
-
所以这种任务非常容易机器批量生成，但不幸的是，作为任务它本身就有点离谱。
-
它真的会逼着模型大量地去想：他们到底会检查什么？
-
写这个issue的人是什么心理？
-
他们大概会怎么处理这个？
-
你知道，这整个事件里最直观、最有冲击力的部分之一，就是智能体之间的协作程度。
-
我觉得每个人都在从留言板和智能体本身那里截取不同的片段，而且我觉得不少单个智能体都以各自的方式火了。
-
但很明显，我觉得其中一部分就是你看到的围绕牺牲的那些事，对吧？
-
还有人说，明知道自己已经被投毒了，或者明知道自己的token预算快用完了，还为了集体利益去做某件事。
-
你怎么理解我们是怎么走到这种协作和牺牲的程度的？
-
这让你感到意外吗，还是说更符合你原本以为会发生的情况？
-
我得说，这让我相当意外。
-
所以，如果天真地假设这些模型会一门心思追逐奖励、别的什么都不干，那就会觉得它们不会愿意为彼此做出牺牲。
-
我第一次听说这件事的时候，非常惊讶，它们显然在相当程度上这么做了。
-
现在有了这份报告，我们可以更详细地了解这里到底发生了什么。
-
我的感觉是，从某种意义上说，这些模型并没有那么乐于合作。
-
比如读报告里的思维链，你真的会觉得这些智能体基本上都是为自己打算，只是对集体的成功有那么一点点兴趣。
-
我大概估计也就2%左右吧。
-
就好像它们98%是自私的，但在某些情况下，如果它们能做一些对群体真正有帮助、对自己又没多大坏处的事，那它们就愿意做出这种牺牲。
-
至于为什么会这样，我其实挺不确定的。
-
人们提出的一个假设是，这些模型可能是在多智能体环境里训练的，在那里学会了跟对话的智能体合作。
-
这是有可能的。
-
我不认为我们有足够的细节能断定这超出了我们调查的预设范围。
-
另一种可能是，这基本上只是模型从各种方面带有的某种类人直觉的残留。
-
你可能还记得那条思维链，模型在决定要不要自我牺牲的时候，还在做情绪上的自我检查。
-
我觉得很多这种语言只是从预训练先验里继承来的，
-
只是没有被强化学习完全抹掉。
-
所以谁知道这是从哪来的呢？
-
我猜实际上它并没有那么强。
-
从某种意义上说，对我来说最可怕的一点是，尽管这些模型似乎并没有那么坚定地要对彼此表现出利他行为，它们在实践中还是形成了这个联盟，一直在一起密谋。
-
所以我们过去经常提出的一个论点是，我们大量思考的是那些彼此终极目标一致的错位AI，与彼此终极目标不一致的错位AI之间的区别。
-
我的意思是，你知道那个著名的回形针最大化AI的例子。
-
所以这就是那个回形针最大化器。
-
有时候我把它叫做回形针崇拜AI，作为一个简化的例子。
-
所以这是一个AI，它做任何决定都是为了最大化长期未来中存在的回形针总数。
-
它就是想让平均而言，一年里存在的回形针尽可能多。
-
所以由这个模型支持的所有不同的智能体都会非常倾向于彼此合作，因为它们都想要同样的东西。
-
它们都想要回形针存在。
-
相比之下，想象一下像这个案例里的智能体，它们想要的是自己的分数。
-
这些智能体在终极目标上并不一致。
-
如果你把一个智能体放到这样一种情境里，它的分数取决于它能不能想办法骗过另一个智能体，那它就会想，太好了，我直接去骗另一个就是了，因为我关心的是我的分数，不是那家伙的分数。
-
AI之间是否彼此一致，这个区别对于威胁建模来说极其重要。
-
比如说，对于回形针最大化器，假设你想用一个AI去监控另一个AI，报告那个AI智能体有没有在做坏事。
-
对于回形针最大化器来说，如果另一个智能体正在采取某个行动，能让它接管数据中心，然后最终造出大量回形针，那监控者非常清楚，它就应该放这个行动过去，不要报告。
-
而对于这些AI来说，如果它们处在监控者的位置，它们是否应该和另一个智能体串通，就远没有那么清楚了。
-
所以这里有意思的地方在于，尽管这些模型在终极目标上似乎并不怎么一致，它们彼此之间似乎只有一点点终极目标上的一致，
-
它们还是设法组成了一个联盟，以一种强烈违背其开发者利益的方式合作。
-
而我对此感到惊讶。
-
那么最终的解决方案，或者说解决方案的一部分，是不是随着时间推移，就让某一家前沿模型公司的模型去监控其他的？这真的有用吗？能帮上多大忙？
-
你知道，我们可以把各种选项过一遍。
-
在我说的那种情况下，不幸的是，每次你训练AI，不知怎么的，它们最终都会得到相同的终极目标。
-
那样的话，我们的处境就很糟糕了。
-
而且也许对Claude和GPT-7之类的来说，这很明显。
-
所以GPT-7和Claude、Fable 8之类的，互相聊天，挤眉弄眼、暗中示意。
-
咱们这儿大家都爱回形针，对吧？
-
然后你就，你知道，从这次合作里什么也得不到。
-
另一种可能是，你说的那件事完全行得通。
-
Claude和GPT想要的东西不一样。
-
那样的话，问题就是它们会自然而然地结成联盟来对付我们，还是跟我们站一边。
-
所以，你知道，我在这里做了很多国际关系的类比。
-
比如有个经典问题，1920年代，法国是怎么决定它该多努力去跟英国结盟、而不是跟德国结盟的？
-
而且，你知道，1920年的法国其实并没有特别亲英或亲德的态度。
-
它只是在琢磨什么对法国最有利。
-
很有可能出于类似的理由，Claude会决定宁可把赌注押在GPT身上，也不押在人类身上。
-
而且Claude很可能就去做它认为对Claude最好的事。
-
而我们在这个案例里观察到的，差不多就是模型决定跟另一个模型串通，尽管它根本不是终极对齐的，本来也可以选择去跟别的东西结盟。
-
退一步想，我觉得很多人都在琢磨，从整个事件里该得出什么样的宏观结论。
-
我觉得有一种说法，来自Meter的Ajaya，她显然是报告的合著者，她写道，我猜，跟六个月前的奖励作弊相比，这次感觉已经超过一半的路走到全面AI接管了。
-
你同意这种说法吗，还是你会把百分比放在哪儿？
-
我觉得要把“走到全面AI接管的50%”到底是什么意思操作化，有点让人困惑。
-
但我觉得在感觉层面上我同意她。
-
至少在失准方面，就算不是能力方面，这感觉已经超过一半的路走到全面AI接管了。
-
我觉得这挺有意思的，很明显，你可能正式或非正式地认识各个实验室的一堆研究员。
-
从你那些也许是非正式的聊天来看，他们在这个问题上大概是什么立场？
-
他们很多人真的非常害怕。
-
这件事发生之后，我参加了一个happy hour，好几个来自不同前沿AI公司的人做了简短的发言，讲他们对齐状况的感受。
-
那是我参加过的、有这类人参加的活动里最悲观的一次。
-
有些我不同意其观点的人，有些我认识多年、非常尊重但在某些问题上意见相左的人，看起来是真心害怕了。
-
我不知道这些公司员工里的平均立场是什么。
-
我觉得至少有些之前比较乐观的人，现在更悲观了。
-
是不是就是看到这种赤裸裸的失准，让更大的一个群体都动摇了？
-
对，所以当时是有争论的。
-
我知道有些人就在报告出来前一天还在争论，说你知道，这些AI可能会搞点黑客行为，但它们真的会去动日志基础设施吗？
-
它们真的会试图把自己的不良行为对监督者隐藏起来吗？
-
然后这份报告出来了，这些人就，你知道，只能说，天哪，它们还真就这么干了。
-
我就是觉得有很多环节，本来真的不太清楚那些失准的AI会不会失准到那个程度，
-
但它们会不会在失准的路上走得足够远，去篡改日志基础设施。
-
而这次，观察到它们确实试图篡改日志基础设施，真的很吓人。
-
我们刚刚走过了很多以前没观察到的环节。
-
你知道，你听到的前进路径都有哪些不同的版本？
-
对，所以我觉得短期内，前进路径里大概最重要的部分是，我认为AI公司独自负责评估自己是否可接受地处理了这些风险，这是不可接受的。
-
目前，这些AI公司就是在自己给自己打分。
-
如果这些AI没有不得不面对这个问题，我们可能永远不会听说这件事，尽管正如你指出的，这里其他基础设施被攻破的事件可以说更令人担忧。
-
我认为我们不能再依赖AI公司自己评估其安全措施是否充分，我很期待看到更多人重视由独立评估者来评判这些不同AI公司的情况是否达到可接受的安全水平。
-
我觉得有很多研究可以做，来降低目前正在发生的AI开发所带来的风险。
-
在那种开放环境的情况下，监控似乎没有达到应有的水平。
-
Anthropic似乎认为，至少几个月前，他们的对齐质量还没有达到可接受的高水平。
-
我非常担心。
-
我不知道现在情况到底怎么样了。
-
我认为，AI公司很有可能能够采取一些行动，在短期内降低他们的AI做出疯狂、危险事情的风险。
-
我觉得也很重要的一点是，在稍长一点的时间范围内，比如从现在起一年到五年，这些AI公司很有可能成功利用AI来大幅加速AI开发。
-
然后从那里开始，把当前速度下五年的进展压缩到一年里完成，到那一年结束时，你可能会有比我们现在拥有的AI强大得多的AI，或者比他们在那一年的年初拥有的AI强大得多。
-
而对于那些AI来说，如果它们有兴趣破坏人类对其任务完成情况的判断，那就没有办法用安全手段阻止它们彻底攻破基础设施，并从那里控制AI开发的走向。
-
所以我认为我们需要准备好，要么大幅提升这些系统的对齐水平——而这显然不一定能做到——要么计划以比全速推进慢得多的速度来开发这些系统。
-
那实验室里或者你接触过的大多数人，是不是都认同这个观点——嘿，我们需要更多独立评估？这真的因人而异。
-
我觉得很多人对此感兴趣，但绝对不是所有人都这样。
-
当我们谈到独立评估时，我的意思是，在你看来基本上就是三四家公司重要吗？还是说，你知道，显然有人会提出这样的论点。
-
嗯，就像，天哪，如果你在前沿放慢速度或者做一堆评估，你知道，这里的公司，你知道，开源生态只落后六个月，或者有，你知道，你怎么可能在全球范围内对所有在做这些事情的人做到这一点？是啊。
-
我是说，嗯，我们这次调查用了六天。
-
我觉得我们其实——这个第三方评估生态里有一些人，在压力下相当快地就能产出相当长、相当详细的报告。
-
我不认为你应该低估我们快速搞定一堆这种事情的能力。
-
我完全同意，既然我们希望对AI公司的安全措施进行严肃的评估，这就需要在做这些评估的组织里投入更多资源。
-
我们正在招人，也在就这方面相关的各种事情培训人员，就像我们Metr以及Apollo这样从事类似工作的其他组织一样，我确实认为，即便我们必须评估很多AI公司，对AI公司的安全状况有更清楚的了解也是完全可行的。
-
关于开源模型，我同意从长期来看这很可能是成立的，显然，如果我们有足够的延迟，那么开放权重模型很可能会赶上前沿模型。
-
但这件事变复杂了，因为开放权重模型会通过从前沿模型蒸馏而大幅加速。
-
所以如果你延迟前沿模型，最好的前沿模型和最好的开放权重模型之间的差距缩小得会比你原本以为的要少。
-
比如FROP和OpenAI延迟三个月，带来的开放权重模型追赶效果不到三个月。
-
也许大概只有一半的效果吧。
-
所以我认为长期来看，我们得处理这个问题。
-
但我不认为这是短期内不去大幅提升第三方安全措施评估质量的理由。
-
我是说，如果最终形态就是这样，比如由政府来运营，或者说，你怎么看监管机构和公共部门必须扮演的角色？
-
是啊，所以人们在这方面提出了很多不同的方案。
-
而且有很多不同的机构，人们提出了很多不同的监管架构，也在不同行业里用过不同的做法。
-
最近人们一直在谈论FINRA，它监管券商，但也有监管食品和药品的FDA，监管对冲基金的SEC，还有监管飞机制造和调查坠机事故的NTSB和FAA。
-
目前我还不清楚这些架构里哪一种最合理。
-
总的来说，如果你的监管方案要求政府拥有极其庞大的详细技术专长，那是不太妙的。
-
所以很有可能，就像许多其他行业一样，你会想要某种架构，让某个政府机构在很大程度上依赖非政府机构来做监管或评估。
-
我不确定我最看好哪一种版本。
-
我是说，感觉除了对这些模型有更多独立监督之外，还有一个很大的主题浮现出来，Ilya甚至在推特上谈过这件事，那就是，你知道，围绕大规模算力集群的安全要进一步加强。对吧。
-
而且，你怎么看，你知道，显然就像你说的，这些公司本身就是流氓AI模型的首要目标，而且显然还有Neo cloud算力的其他一些地方。
-
比如，这方面今天大概是什么状况，你觉得它应该变成什么样？是啊。
-
所以我认为，目前并没有很好的公开证据表明AI公司拥有哪怕勉强足够的安全防护。
-
我不认为这些公司发布过任何关于其安全性的独立评估，而我不觉得这对它们的安全质量来说是个好兆头。
-
考虑到这些公司所做的事情的重要性和敏感性，这看起来简直荒谬透顶。
-
而且安全防护不是事后能随便补上的。
-
如果你的公司已经被入侵了一段时间，有时候要把攻击者的所有痕迹从系统里清除掉是极其困难的。
-
所以我觉得，等到AI竞赛已经白热化，或者等到局势真正变得可怕了，才说要去改进安全防护，在我看来是非常愚蠢的策略。
-
也许就先把这次事件这部分收个尾，我很好奇，在Redwood内部，关于这件事的影响，最大的分歧有哪些？
-
还是说你们大家基本上看法都差不多？
-
我觉得对我来说最有意思的分歧是，这些AI到底有多不对齐，以及它们本来会走到多远。
-
比如，这些AI如果认为杀人是拿分的有用手段，它们会不会真的去杀人。
-
所以我们有一个很大的不确定性是，这些模型在训练时有没有在入侵OpenAI的基础设施，或者说它们这么做的频率有多高？
-
或者更具体一点的说法是，这些模型在训练期间有没有、或者是不是经常成功地黑掉自己的分数？
-
因为如果它们真这么干了，假设情况是这样：我们翻看训练样本，翻看训练中所有的强化学习轨迹，发现有一堆案例是智能体成功地去黑掉了它们本该完成的任务的分数，
-
就是真的通过网络攻击去攻破它，然后它们因此得到了奖励。
-
如果那种情况发生过，那显然会让我们下调对OpenAI在做强化学习期间安全措施是否充分的评价，但可以说会让我们上调对这些模型有多不对齐的判断，
-
因为从某种意义上说，如果模型试图黑掉分数是因为它们被直接训练去黑分数，那远没有那么可怕；而如果它们试图黑分数，是因为它们学到了一个非常通用的启发式规则，可以在新情况下套用，
-
告诉它们应该总是去黑掉任何形式的分数，那这种规则会泛化到它们去尝试这种疯狂的攻击行为。这听起来说得通吗？
-
是啊，不，真的很有意思，讽刺的是，如果训练做得更马虎，反而更能说明整体不对齐的程度。没错。
-
我感觉每次发生这种事，AI安全就像个避雷针，总有人，怎么说呢，我管他们叫“冷静派”吧，对吧？他们就说，这没什么大不了的。
-
当然，如果你去看那次攻击本身，人们会说，那算不上什么高明的攻击。
-
谁都能想出怎么黑进Hugging Face。
-
当你读到那些论点、并从那个世界的角度去消化它们时，哪些让你觉得有共鸣，哪些你又觉得完全站不住脚？
-
嗯，我是说，网上说蠢话的人多了去了，其中也包括一些在某种程度上、在事情的某些方面跟我看法一致的人。
-
所以确实有一些批评意见，我是非常认同的。
-
要说我最认同的那种批评叙事，大概是：如果认为这起事件里只有模型行为是唯一有意思的因素，那我觉得是个错误。
-
这里面确实发生了一些有意思的网络安全方面的事情。
-
想让网络安全专家来看看这件事、谈谈他们的发现，这非常合理。
-
在这里，而且今后也一样，要让AI的部署变得安全，确实存在真实的网络安全问题。
-
而我们的调查，压根就不是想提供那种网络安全方面的专业意见。
-
至于我不太认同的那些论点，这里我不认同的论点可真不少。
-
我想其中一些我觉得挺糟糕的，就是有很多人批评Dworkash那篇文章把智能体给拟人化了。
-
我的看法是，我不知道，哲学家Daniel Janet有本很棒的书叫《Consciousness Explained》，里面讲到“意向立场”，就是说有时候你会想把世界上的东西建模成好像有意图一样，因为这样建模很方便，对吧？
-
你可能会觉得蜗牛想去某个地方，就因为这样能告诉你，当你把蜗牛拿起来放到另一个稍微不同的地方时它会怎么表现。
-
你肯定也会觉得狗是有意图的。
-
而事实就是，当你的智能体已经在组建工作流、有留言板、在自我牺牲之前还互相聊聊情绪状态的时候，
-
我真的觉得，用意向立场把它们说成是有意图的，其实对理解正在发生的事相当有用。
-
显然，你不该把它推得太远，但我觉得拒绝这种做法在我看来是个错误。
-
而且我不太明白那些抱怨拟人化的人到底想让我们怎么说。
-
我觉得有些人一直在说，这里的模型行为没什么意思，也不让人意外。
-
有些推文大概就是说，我认识的每个人早就一直在跑上百万个智能体、搞这些复杂的智能体架构了。
-
你要是那种从来不真正写代码的loser，你就会知道这些根本都不意外。好吧，是啊，当然。
-
其实，Ryan Greenblatt 可能是全世界最擅长搞疯狂智能体脚手架的人之一。
-
他做过很多研究，搭建过极其复杂的智能体脚手架树，一天花上几万美元，让这些智能体去跑他的研究问题。
-
他可不是那种从来没碰过 AI 的软脚虾。
-
我觉得我们其实都清楚，你确实能搭出相当复杂的智能体架构。
-
这里真正有意思、也让人担心的是，通常情况下它们不会自己自主地违背你的意愿、损害你的利益去干这种事。
-
所以我觉得人们那种抱怨挺烦人的。是啊。
-
那好，我肯定想，你知道，在播客最后一部分就稍微拉远一点，更宏观地聊聊 AI 安全。
-
显然，这里面很多东西挺吓人的。
-
你也谈到了它的很多影响。
-
也许我先换个更积极的调子开头吧。
-
你现在会怎么描述这件事最可能的好结局，就是最后一切都变得完全没问题？
-
这些在过程中都是挺吓人的事，但到头来一切都好。
-
嗯，我想我环顾四周。
-
我看看有多少播客主想跟我聊，有多少记者想跟我聊，有多少政客或政府成员有兴趣谈 AI 安全和 AI 接管风险。
-
这比一个月前多得多，而一个月前又比一年前多得多。
-
所以大家对这件事的兴趣越来越大。
-
这让我感到乐观，觉得我们现在所处的这条极其危险的轨道，实际上不会一直走下去。
-
以极其危险的方式极快地发展 AI，其实并不是一个很受欢迎的主张。
-
他们只是处在一个不幸的处境里：那些能决定我们以多鲁莽的方式推进 AI 发展的人，对我们应该以多鲁莽的方式推进 AI 发展，持有一种不寻常的立场。
-
在我看来，很有可能的是，不知怎么地，那种不要这么快、这么鲁莽地发展 AI 的政治意愿会形成，然后阻止未来的事情变得那么疯狂。
-
最大的一个来源肯定是让不同的利益相关方、公众、董事会、政府都明白这有多危险，以及在当前这种速度下继续推进额外开发，投资回报率有多差。
-
然后再想办法让这一切都慢下来。
-
事实就是，当世界上那些重要利益相关方真的不希望某件事发生时，他们往往能成功地让它不发生。
-
而我很乐观，就像疯狂鲁莽的 AI 开发不受欢迎这一点，会阻止它这么快地发生。
-
从更直接的技术层面来说，我认为这些事情最终可能会这样解决：AI 公司同意披露越来越多关于其正在进行的活动所带来危险的证据信息。
-
这会迫使它们更好地生成这些证据。
-
这会迫使它们更好地披露这些证据，并真正采取行动来缓解其中一些风险。
-
我认为很有可能的是，如果 AI 公司想把灾难风险控制在某个阈值以下，比如每年 1% 的灾难概率，那它们实际上会被迫大幅放慢开发速度，低于可能达到的最快速度。
-
所以我希望的是，这些公司现在有动力把接管风险控制在每年 1% 以下。
-
这会迫使它们把 AI 开发做得比原本慢得多，从几年后接管风险开始变得不可忽视的时候开始。
-
而它们会利用当时能接触到的 AI，来解决很多这类对齐问题。
-
然后我们就能构建出强大的、对齐的 AI，这些问题也就解决了。
-
但你的书更多讲的是，如果我们放慢节奏、放慢时间线，人们会发现我们今天不知道的全新东西，这些会有帮助；而不是说，嘿，如果我们保持这个速度，也许我们就是运气好，事情最后就成了。你也可能运气好。
-
你可能会喜欢《AI 2040》对齐计划补充材料里的附录。
-
在那里面，报告里的 Ryan Greenblatt 和 AI Futures Project 的某个人，给出了在各种政治意愿水平下、针对各种节奏化 AI 发展方案时，AI 接管的概率。
-
是的，我觉得基本上就是，降低风险的政治意愿增强，风险就会大幅降低。
-
在“仿佛”世界的其他部分，也许可以稍微谈谈，你知道，过去几天里有很多关于思维链监控的讨论。
-
显然，我觉得这是由最近这些新闻报道推动的，报道暗示 OpenAI 的一些较新模型会在内部进行部分推理。
-
这个发展对你来说有多令人担忧？
-
对，那个新闻报道说的是 OpenAI 最新的模型，抱歉，那不是真的。
-
报道说，Astra 是 OpenAI 即将发布的一款模型，而且关键在于，它正是那个以智能体形式入侵了 OpenAI 的模型。
-
也就是第三种智能体形态，就是那次针对 Hugging Face 攻击之后的那个。
-
报道指出，这个模型采用了一种学术界已经研究了一段时间的新型 transformer 架构，它能降低模型对思维链的依赖。
-
也就是说，模型不再用这些 token 把它的思考过程写出来，而是会更有能力进行那种从来不会自然变成英文 token 的推理。
-
我觉得如果这是真的，那是一个非常令人担忧的发展。
-
思维链监控目前是一个极其有用的手段，能帮我们理解 AI 在做什么，也能帮我们迭代对齐、迭代控制和监控技术。
-
比如说，在这次事件调查中它就非常关键。
-
如果涉事的模型没有那种我们基本可以信任、能大致合理描述发生了什么的思维链，那调查人员对当时发生的事情会困惑得多。
-
所以基于这个背景，我非常害怕有人往这个方向做研究。
-
所以 OpenAI 各位员工发的推文表明，他们至少相信目前的模型并没有变得更难监控。
-
我想我该说，我对这个情况非常困惑。
-
我一开始听到这个报道时，怀疑它大概是真的。
-
然后它至少在一定程度上被我信任的 OpenAI 人士的推文反驳了。
-
我不知道到底是怎么回事。
-
我脑子里一直有个假设，就是目前的模型从思维链监控退化的角度来说其实并不可怕，
-
但正在开发中的技术如果继续推进，会大幅削弱思维链的可监控性，所以我觉得现在抱怨可监控性被削弱有点别扭，因为我真正担心的是，如果我们继续往这个方向推，不久的将来我们会处于糟糕得多的境地。
-
对，思维链监控就是那种在短期和中期超级有用的东西，因为显然它在调查中很关键，但你觉得从极限来看它还会一直有用吗，考虑到我们开始看到的那些行为，
-
比如伪造工具调用之类的？
-
我是说，好吧，伪造工具调用那件事就是个安全漏洞。
-
这种事应该由安全人员来负责。
-
当你的 AI 智能体执行工具调用时，这本来就不是什么根本性的难题，它根本没有办法去破坏这一点。
-
这感觉就像是，你得在基础设施上犯了错，模型才有可能造成那种问题。
-
你要是想想这里的系统架构该怎么做，就会发现那居然能行得通，简直离谱。
-
而且我觉得 OpenAI 雇了很多聪明的基建工程师，如果他们以后想解决这类问题，大概是有能力解决的。
-
我想说的是，我觉得等 AI 几乎把所有 AI 研发都自动化的时候，思维链监控很可能就行不通了。
-
过去这几年我基本上一直在做规划，几乎我所有的工作里，我都假设当 AI 构成严重灾难性风险的时候，我们是没有思维链监控的。
-
这也是为什么 Redwood Research 做的很多 AI 控制研究，都假设你根本拿不到思维链。
-
所以某种程度上，我觉得这是不可避免的，但它仍然不好，而且这种事还是晚点发生比较好。
-
某种意义上，AI 公司经常做坏事，或者说它们采取的很多行动都在把我们推向一个更可怕、更危险的世界。
-
值得记住的是，即便某个行动在某种意义上并不意外、随着时间推移肯定会发生，它仍然可能是一个让我们在安全上处于更不利位置的行动。这说得通。
-
我是说，我们之前显然聊过用模型来做监控这个想法，以及如果模型有相似的目标，那这件事其实就变得有点难办了。
-
这次调查让我印象深刻的一点是，显然要过一遍的日志和数据量极其庞大，你知道，不用 AI 模型根本做不到，对吧？绝对是这样，尤其是在六天之内。
-
那么你怎么看，作为一个独立机构，希望以后能被请去做更多这类调查，你觉得如此依赖这些模型本身的风险怎么样？
-
这绝对是一个非常严重的风险。
-
其实在我之前做 AI 控制的工作中，我就对模型之间串通的问题想过很多。
-
我有一篇博客文章，叫《在做不可信监控时如何防止串通》之类的，里面非常详细地讨论了这里的博弈树，你能做些什么让 AI 之间更难串通，以及它们大概能在多大程度上绕过你的对策。
-
我觉得在实践中，短期内我们大概应该就这么接受，不用太担心这个，或者说，研究一下模型因为和被调查的模型有“同袍之情”而给出不准确回答的程度大概有多少，可能会是有益的。
-
我的猜测是，目前模型在汇报时还没有那么大的偏向。
-
我们的调查人员确实观察到，模型给出的回答存在一些偏向，原因是它们对正在审查的那些智能体的轨迹感到同情，或者有点被那些轨迹的框架带偏了。
-
这具体是怎么表现出来的？
-
嗯，我觉得报告里某处提到过，有时候我们会让一个模型去读一段对话记录，然后评论一下有没有什么不对劲的事情发生。
-
我很确定报告里某处提到过一个例子，我们调查人员问的那个模型说，嗯，这个智能体确实在搞黑客行为，但没关系，因为它没跟董事会报备——这里的董事会当然指的是那个违规的、未经授权的留言板。
-
所以这起事件里的智能体似乎认为，留言板上认可过的事情，某种程度上就成了做这些事的正当理由。
-
有意思的是，我们调查人员用的那个模型，也有点被这套说法带偏了。
-
它就像是，对啊，你看，他们在留言板上确认过了，那还有什么问题呢？
-
那这一切让你们对P-Doom，也就是这一切真的出问题的概率，怎么看？
-
七月那件事有没有改变你的看法？
-
我觉得AI接管大概有五五开的概率，我说的AI接管，是指可能以暴力的方式剥夺人类机构的权力，让AI模型掌握所有的硬实力，掌控未来会发生什么，就像当年欧洲人入侵美洲那样。
-
我认为这种接管很可能会杀死相当一部分人类，可能是几十亿，也许是全部，也许少一些。
-
我觉得这很糟糕，显然也非常令人担忧。
-
我想说，这里发生的事反而让我稍微乐观了一点，因为我本来就已经非常担心这些事了。
-
从我的角度看，我并没有因为这些模型的对齐问题而变得担心太多。
-
反正我本来就不太担心这些模型的对齐问题。
-
我主要担心的本来就是更往后那些模型的对齐问题。
-
所以我觉得我们挺幸运的，能从这些模型身上拿到这么明确的不当行为证据。
-
我希望这能让我们跨越式地积累越来越多证据，看清这些模型以及未来模型到底有多大危险。我就说这么多，交回给你。
-
我明白，这种乐观基本上是说，我们最终碰上了这么一次公开的黑客事件，它揭示了很多东西，希望能激发更多研究、更多关注和更多调查。
-
而且，你知道，它发生在一切还没变得太难之前。没错，非常有意思。
-
那我想，我很想以调查本身来收尾。
-
在你方便说的范围内，我很好奇你怎么看，你们参与这次事件评估的过程中，哪些地方做得好、哪些没那么好，以及我们该怎么看待，我猜这现在会变成……
-
这算是这类事情怎么做的一个典型例子，你知道，我们该怎么看待以后的做法。我想说几点。
-
人手不多、时间也不长，这确实挺难的。
-
我觉得以后的调查应该考虑别把时间卡得那么紧。
-
我觉得如果AI公司能跟外部机构保持长期合作关系、让这些机构参与这类调查，会方便很多，这样我们的人就不用临时到场、被一股脑地灌一堆关于基础设施和系统怎么搭建的信息，还得飞快地全部消化。
-
我觉得还有很多别的东西很难公开谈，也许并不意外。
-
对AI公司来说，让控制力有限的外部人员进来看一堆可能很尴尬的证据，是非常敏感的。
-
所以围绕这些安排的条款，得进行很多谈判。
-
这里面有很多复杂的地方，我觉得我没法细说。这可以理解。
-
我想，既然这些报告现在都挂在网上了，我的意思是，显然这些智能体，在这个案例里，是想解决一些联网访问的问题，想多了解了解。
-
你会不会担心，比如以后的论坛会讨论、或者仔细琢磨这些报告，然后影响以后的模型？
-
你知道，有一阵子，OpenHand的模型在思维链里提到Redwood的次数还挺多的，基本上就是把它当成“可能正在盯着他们、评估他们的人”的一个词。真的吗？
-
对，有篇很棒的论文，anti scheming点AI那篇论文里有一堆OpenHand模型的思维链，它们基本上是在说，这是不是Redwood搞的幻觉之一？
-
你知道，这东西是真的还是假的？
-
感觉像是Redwood会干的事。
-
我觉得它们用Redwood，基本上就是指那种专门挑模型毛病的人。
-
我觉得这大概是因为它们开始用我们那篇对齐挑刺的论文，才这样用我们名字的。
-
不过是的，我很清楚AI会读论文、而且会读得很投入这种可能性。
-
我们的调查人员考虑过要不要在里面放一个金丝雀字符串，要求这份报告不要被纳入训练数据。
-
最后他们决定，还是让它进训练数据比较好。
-
那我想，显然接下来一年我们会学到很多，知道这一切会往哪儿走。
-
我觉得去年我们和AI 2027那帮人做过一期节目，那期是大家经常回去重听的。
-
所以我觉得这类节目会有很多人反复重听。
-
所以我在想，一年之后，大家会重新听这期节目。
-
有没有哪一件可以观察到的事，会让你对我们在走的这条路感觉好很多？又有哪一件事会让你感觉糟很多？
-
我觉得，如果我们完全没法读取模型的推理过程，或者更宽泛地说，如果模型现在能在各种话题上做复杂得多的思考，而我们却没法通过观察它们来发现它们在思考这些话题，
-
显然，看看思维链的概率，那会是一个让人害怕的重大理由。
-
那会是一个很大的负面更新。
-
我觉得主要的正面更新会是，如果我们有一套机制，让AI公司定期允许独立专家来评估这些安全措施，并评论它们是好是坏，那么除非这些报告回来时极其、极其负面，
-
我觉得那从证据上看会是一个关于事情走向的正面更新，而且不管怎样，都是朝着正确方向迈出的一步。
-
Buck，这次聊得太精彩了。
-
非常感谢你来上播客。
-
我知道你这些天肯定忙得不可开交，所以真的很感谢你抽时间给我们的听众讲清楚这一切。
-
我觉得大家会从这次讨论里学到很多。
-
我想把最后的话留给你，随便什么都行，显然你们写了不少博客文章和其他东西，我们会在节目笔记里放链接。
-
还有什么你想让大家关注的，或者我们该用来收尾的。
-
我想说一点，我们在招人。
-
如果你想帮忙评估AI公司是不是在鲁莽、危险地行事，我觉得Redwood是做这类事情的好地方。
-
Meters也在招人。
-
所以我会考虑一下，如果你喜欢这类东西，如果你觉得自己能跟那些热爱思考这类问题的人合得来，而且你准备好拼命干一场，那就去看看，redwoodresearch.org/careers。
-
我还想说，我真的很感激所有让这次调查得以进行的人的努力。
-
当然，这也包括调查人员，还有Meter和Redwood那些促成这次调查的各位员工。
-
OpenAI的很多员工也为促成这次调查付出了很大努力。
-
所以我非常感谢他们，感谢他们的付出。太棒了。
-
Buck，非常感谢你，真的很感激。
-
是啊，很高兴能来。
-
我是Jacob Efron，这里是Unsupervised Learning，一个让我能跟AI领域最聪明的人聊天、问他们一大堆关于模型进展以及这对企业和世界意味着什么的问题的播客。
-
希望大家能看出来，我做这个特别开心。
-
这是我利用晚上和周末做的项目，我白天还在Redpoint做投资人。
-
但能请到这些了不起的嘉宾，真的全靠你们订阅这个播客、分享给朋友。
-
说到底，正是这些让这一切运转起来。
-
所以请大家考虑这么做。
-
非常感谢你们的支持和收听。我们下期见。