梅兰妮·米切尔谈人工智能、类比与复杂系统

Podcast Script (zh)

[0.120-12.022] SPEAKER_01: 这是梅兰妮·米切尔的对话。 她是波特兰州立大学的计算机科学教授，也是外部教授。 在圣塔菲研究所工作。 她从迷人的角度研究并撰写AI文章。

[12.102-25.572] SPEAKER_01: 包括自适应复杂系统、遗传算法和模仿认知架构。 该架构将类比置于人类认知的核心。 从她与导师道格拉斯·霍夫施塔特和约翰·霍兰德的博士工作至今。

[25.652-37.482] SPEAKER_01: 她为AI贡献众多重要思想，包括她的新书。 简称为《人工智能：思考人类的指南》。 这里是人工智能播客。 喜欢请YouTube订阅，Apple Podcasts打五星支持我们。

[37.562-43.564] SPEAKER_01: Patreon支持，Twitter联系，用户Lex Friedman。 拼写是F-R-I-D-M-A-N。

[43.644-58.704] SPEAKER_01: 我最近在介绍结尾处放广告。 我会在介绍后做一两分钟广告，中间绝无广告。 以免打断对话的流畅性。 希望这对你没问题，不损害收听体验。 我提供了开始时间戳，但如果你能听听

[58.784-63.195] SPEAKER_01: 收听广告并尝试产品支持播客，那就更好了。

[63.275-74.014] SPEAKER_01: 本节目由Cash App呈现。 第一名… 我用Cash App给朋友汇款，也能买卖比特币。 还能秒存比特币。 Cash App还新增了投资功能。

[74.094-91.000] SPEAKER_01: 可以买碎股，比如花1美元买一份，不管股价。 经纪服务由Cash App Investing提供，它是Square子公司，也是SIPC成员。 我很高兴和Cash App合作，支持我最喜欢的组织之一—— FIRST。 这个组织以FIRST机器人和乐高竞赛闻名。

[91.080-106.419] SPEAKER_01: 他们在110多个国家教育激励了数十万学生，并在慈善导航网站获得了 满分评级，这意味着捐款被用于最大限度的 效益。 从App Store或Google Play下载Cash App，输入代码LEXPODCAST，您将

[106.499-116.019] SPEAKER_01: 获得10美元，Cash App还会捐10美元给FIRST，它是我 亲眼见证过其激励作用的组织。 男孩女孩们，梦想打造更美好的世界。

[116.099-131.740] SPEAKER_01: 现在，请收听我和梅兰妮·米切尔的对话。 你的新书叫《人工智能》，副标题是《给思考者的人类指南》。 这个播客叫《人工智能》。 那么，退一步，问那个关于玫瑰的古老莎士比亚问题。

[131.820-134.966] SPEAKER_01: 您怎么看“人工智能”这个叫法？ 领域？

[135.266-141.268] SPEAKER_02: 我不太喜欢这个词。 它的问题在于对不同的人含义太多。 “智能”这个词定义也不清楚。

[141.348-145.260] SPEAKER_02: 智能有很多种类型、程度和方式。

[145.340-155.254] SPEAKER_02: 约翰·麦卡锡提出“人工智能”，而且据 我读到的是，他…… 他想区别于当时的控制论。 后来他后悔叫它人工智能。

[155.334-162.741] SPEAKER_02: 西蒙曾提议叫“复杂信息处理”，但被否决了。 这个词可能一样模糊。 是“智能”这个词的问题？

[163.041-170.587] SPEAKER_01: 还是“人工智能”这个词？ 还是“人工”最麻烦？您觉得呢？ 嗯，我觉得两者都有问题。

[170.887-181.803] SPEAKER_02: 但也有好处，我入这行是因为我对 智能现象感兴趣。 如果叫复杂信息处理，我可能在做完全不同的事了。 如果叫复杂信息处理，我或许会做完全不一样的事。

[182.103-187.014] SPEAKER_01: 现在。 你觉得呢？ 我听过这个术语，比如认知系统。 所以用认知…

[187.314-198.308] SPEAKER_02: 对。 我是说… 它有些关联。 人们总把认知和感知分开，但我不认为 它们不是分开的，但常有人说认知不同于别的 智能的其他方面。

[198.388-200.280] SPEAKER_02: 它是个更高的层次。

[200.580-206.408] SPEAKER_01: 对你来说，认知是广阔、美丽、混乱，包含整个 事情吗？ 记忆、感知… 对。

[206.708-216.924] SPEAKER_02: 我觉得很难分清界限。 好的。 对。 对。 好的。 我1990年研究生毕业。 那正是人工智能寒冬。 有人建议我简历上别写AI，而是叫

[217.004-220.974] SPEAKER_02: 智能系统。 所以那算是种委婉说法吧。

[221.274-230.968] SPEAKER_01: 那关于… 简单聊聊术语和词汇。 通用人工智能这个概念。 智能，或者像杨立昆更爱说的人类水平智能，开始谈论

[231.048-237.572] SPEAKER_01: 关于实现更高级智能，以及某种程度上 AI似乎更多用于狭隘特定的应用。

[237.652-242.354] SPEAKER_01: 以及哪种术语吸引您来描述我们或许 努力创造的东西？

[242.654-255.857] SPEAKER_02: 人们一直在努力解决这个问题并定义 我们到底在说什么。 你知道，约翰·塞尔提出强人工智能和弱人工智能的区别，弱人工智能 可以是通用人工智能，但他的观点是强人工智能认为…

[255.937-261.440] SPEAKER_02: 机器真的在思考，而不是模拟思考或执行 我们称之为智能的过程。

[261.740-266.325] SPEAKER_01: 从宏观来看，该领域的奠基人，麦卡锡和塞尔等人，

[266.405-272.488] SPEAKER_01: 我们更靠近那条界线了吗？ 就是介于… 弱人工智能和强人工智能之间？

[272.788-275.539] SPEAKER_02: 对，我觉得更清楚界线在哪了。

[275.619-278.567] SPEAKER_02: 早期，比如很多人觉得下棋需要…

[278.647-288.979] SPEAKER_02: 你得有通用人类智能才能下棋。 当然，一旦电脑比人下得还好… 下棋这点就推翻了，大家会说，好吧，得重新看看。

[289.059-297.836] SPEAKER_02: 对智能的理解，这领域历史里反复出现。 机器能完成一个任务，我们就回头说， 哦，这改变了我对智能的看法，因为我不觉得

[297.916-302.745] SPEAKER_02: 那台机器是智能的。 至少，那不是我想说的智能。

[303.045-310.928] SPEAKER_01: 那你觉得这条界线会一直变吗，还是最终人类会真正觉得 我们跨过了那条线——如果可能有那一天？

[311.228-324.489] SPEAKER_02: 很难说，但我认为没理由不能，原则上，创造 出我们认为有智能的东西。 我不知道怎么才能确定。 可能我们对智能的看法会不断改进，直到搞清到底在说什么。

[324.569-332.173] SPEAKER_02: 但我相信最终我们会造出某种有智能的机器。 这些可能不是我们现在有的机器，关键是它会让我们...

[332.253-343.270] SPEAKER_02: 理解我们自己像机器一样，也就是说，我们在某种意义上是机械的。 对。 对。 对。 所以我们有了细胞这种东西。 细胞在某种程度上是机械的。

[343.350-349.154] SPEAKER_02: 它们有算法，靠这些处理信息。 然后从大量细胞中，我们得到了叫智能的涌现特性。

[349.234-352.264] SPEAKER_02: 但底层只是细胞在处理，大量的细胞在处理。

[352.564-368.170] SPEAKER_01: 你觉得我们能不能... 你觉得有可能创造智能吗？ 你认为我们能不理解自己心智就创造智能吗？ 你说过程中会越来越懂，但你觉得有可能在不完全理解的情况下... 从机械角度、功能角度，我们神秘的心智是怎么运作的？

[368.250-369.585] SPEAKER_01: （合并到上一行）

[369.885-380.638] SPEAKER_02: 要我打赌，我会说不行，我们得理解自己的心智，至少相当程度。 但... 但我觉得这确实是个很大的开放性问题。 不过我觉得这确实是个很大的开放问题。

[380.718-395.117] SPEAKER_02: 靠蛮力大数据能走多远，真让我惊讶。 数据和庞大网络能带我们走多远？ 我没想到会这样。 而且这和大脑运作方式完全无关。 所以我很惊讶，它可能是错的。

[395.417-403.752] SPEAKER_01: 从心理和哲学看，我们人类能接受吗？ 嗯…… 比我们更聪明的存在？ 你觉得我们不断推进，是因为害怕？

[403.832-407.477] SPEAKER_01: 承认有比我们更强、更优、更聪明的存在？

[407.777-414.406] SPEAKER_02: 嗯……我不确定能不能这样定义智能。 比……更聪明…… 关于…… 什么…… 什么…… 你知道吗？

[414.486-424.226] SPEAKER_02: 有些方面比我们聪明，比如运算更快。 规划路线比我们快又好，知道更多信息。 它们能利用信息，知道路况等等。

[424.306-436.798] SPEAKER_02: 特定任务，计算机比我们强得多，而我们完全…… 对此高兴吧？我完全高兴。一点不困扰我。我 问题是，我们智慧的哪些方面，我们会感到非常

[436.878-445.957] SPEAKER_02: 难过或沮丧，机器能重现？所以书里我谈到我以前的 博士导师霍夫施塔特，他遇到音乐生成程序，那真的是

[446.037-459.042] SPEAKER_02: 对他来说是底线。如果机器能创作美妙音乐，那将是 他觉得可怕，因为那是他核心的东西，即 作为人的本质，创作美妙音乐、艺术、文学。但我不认为

[459.122-465.681] SPEAKER_02: 他不喜欢机器能很好识别口语。就像 他个人不喜欢用语音识别，但我不认为这会困扰

[465.761-471.728] SPEAKER_02: 他的核心，因为那不在人性核心。但 可能每个人不同，他们觉得会剥夺人性的东西。而且

[471.808-482.082] SPEAKER_02: 可能也是代际问题。也许我们的孩子或我们孩子的孩子 会适应这些能完成所有任务的新设备，并说： 是的，这东西比我聪明，等等。

[482.162-486.051] SPEAKER_02: 我不懂这些领域，但那是好事，因为它帮了我。

[486.351-495.975] SPEAKER_01: 纵观我们物种历史，为什么这么多人一直 梦想创造人工生命和人工智能，贯穿我们 文明的历史？所以不仅是这个世纪或20世纪，而是许多

[496.055-497.842] SPEAKER_01: 之前的许多世纪？

[498.142-505.328] SPEAKER_02: 好问题。我也很好奇。因为 我好奇自己的思维，觉得如果能让 让计算机模拟我的思维，那就太棒了。

[505.408-512.153] SPEAKER_02: 我不懂我们为什么这么执着。 我觉得我们想更了解自己。 我们也想让机器帮我们做事。

[512.233-520.116] SPEAKER_02: 但我不清楚，背后还有更深原因，根植于人类的神话和精神。 或者是精神气质里。 而且我觉得其他物种没这动力。 所以我不清楚。

[520.416-531.573] SPEAKER_01: 如果你对自己做精神分析…… 嗯。 嗯。 如果你分析自己在AI方面的兴趣，你…… 创造智能让你兴奋的原因？ 你说想了解我们自己？

[531.873-537.039] SPEAKER_02: 是的。 我觉得这特别驱动我。 我对人类智能很感兴趣。 我也更广泛地对智能现象感兴趣。

[537.119-543.539] SPEAKER_02: 我认为只有人类和动物才有智能。 但我觉得智能涵盖了许多复杂系统。

[543.619-553.603] SPEAKER_02: 像昆虫群体、细胞过程、免疫系统这些 或各种生物和社会过程的底层功能 涌现出的属性就有智能的某些方面

[553.683-562.541] SPEAKER_02: 它们有记忆。 它们处理信息。 它们有目标。 它们实现目标，等等。 我很好奇我们讨论的这个东西到底是什么。 对我来说。

[562.621-566.533] SPEAKER_02: 用计算机探索它，是研究这个问题的好办法。

[566.833-578.642] SPEAKER_01: 那你觉得智能是什么？宇宙这种复杂系统，每层都有智能的某些方面吗？ 我们只是这个复杂系统层级中的一个小点？ 我不确定任何系统都有智能。

[578.722-581.311] SPEAKER_01: 但我没有足够好的智能定义来这么说。

[581.611-583.840] SPEAKER_02: 那我做个乘法。 好的。 说那个。

[584.140-592.940] SPEAKER_01: 那让我做乘法。 好的。 我猜那是个挺好的选择。 所以你提到了蚁群。 那蚁群有智能吗？ 我们体内的细菌有智能吗？

[593.020-601.704] SPEAKER_01: 然后到物理世界，分子电子在量子层面的行为 等等，这类系统有智能吗？ 比如说，你觉得界限在哪？

[602.004-609.504] SPEAKER_02: 我不知道。 我是说，智能是一个连续体。 我认为，在某种意义上，有意图、目标、某种 自我意识的能力是其中一部分。

[609.584-622.961] SPEAKER_02: 所以我不确定，很难说该在哪划界。 我觉得这有点神秘。 但我不会说，比如说，行星绕太阳运行 它们做不到那一点。 它们做不到那一点。 它们只会那样做。 但我认为智能是一个系统。

[623.041-635.605] SPEAKER_02: 我是说，用那个词可能不太恰当。 你知道，这个领域里有很多关于正确方式的争论。 智能怎么定义？ 怎么正确建模智能？ 需要考虑计算吗？ 要考虑动力学吗？

[635.685-650.594] SPEAKER_02: 还有自由能这类概念呢？ 现在正是身处未来的好时机。 对。 这领域现在正当时，问题多，未知也多。 有太多事要做了。 那我们是特殊智能吗？你说智能群体有很多不同要素。

[650.894-658.417] SPEAKER_01: 人类智能就是大脑里的东西？ 在这个连续体里，哪种智能最有趣？ 嗯，对我们来说挺有趣。

[658.497-660.772] SPEAKER_01: 有趣就因为是我们自己。

[661.072-669.895] SPEAKER_02: 我是说，我觉得有趣，对。 因为我是人类的一份子嘛。 但理解智能本质，研究人类就像你书里说的那些。 而且我也是人类的一部分。

[670.195-683.224] SPEAKER_01: 但要理解智能基础，就得研究人类。 就像我们聊的，你书里写的，还有刚才说的。 人工智能这个概念，确实很难定义，但通常指的是 就是很像人类智能的那种东西

[683.524-690.013] SPEAKER_02: 是的 对我来说，它最有趣 我认为它最复杂 它最有自我意识 据我所知，它是唯一能反思自身智能的系统

[690.313-702.378] SPEAKER_01: 你谈到人工智能的历史和我们创造AI这方面 预测未来很糟糕，不管是AI还是整个技术 那你为什么觉得我们在预测未来方面这么差 我们是不是无可救药了

[702.458-716.009] SPEAKER_01: 我们是不是糟到无可救药 所以无论如何，不管是这十年还是未来几十年，每次我们做出 一个预测，就根本做不好吗 或者随着领域成熟，我们会越来越擅长

[716.309-728.339] SPEAKER_02: 我相信随着领域成熟，我们会做得更好 我认为我们遇到这么多麻烦，是因为了解太少 对我们自己的智能 所以有个关于马文·明斯基的著名故事 没错

[728.419-735.361] SPEAKER_02: 马文明斯基把计算机视觉当暑期项目布置给本科生。 我相信这其实是真事。

[735.661-748.864] SPEAKER_01: 嗯，有篇文章，大家都该看看。 我觉得那像份提案，列了项目所有任务。 这很好笑，虽然能解释，但据我回忆， 它基本描述了计算机视觉所有基本问题，其中很多

[748.944-750.511] SPEAKER_01: 到现在还没解决。 对。

[750.811-758.438] SPEAKER_02: 我不知道他们期望多少进展，但我觉得他们确实 马文明斯基超级聪明，思维深刻，但我觉得

[758.518-765.576] SPEAKER_02: 没人真正理解我们做的事有多复杂，过去现在都不理解。 多复杂，因为对我们太无形了。 视觉。

[765.656-774.015] SPEAKER_02: 我们看世界并描述所见，瞬间完成。 感觉毫不费力。 所以看起来不难，但有很多无意识的事情在进行，

[774.095-779.482] SPEAKER_02: 对我们几乎隐形，所以我觉得我们高估了让计算机 完成这些任务的容易程度。

[779.782-788.326] SPEAKER_01: 问个不公平的问题：你做过研究，通过这本书思考了 AI的许多分支，广泛观察AI在哪里已经 它变成了今天这样。

[788.406-795.604] SPEAKER_01: 如果让你预测，从现在起多少年后社会才能创造出 你认为达到或超越人类智力的东西？

[795.904-797.250] SPEAKER_02: 这问题不公平。

[797.550-802.890] SPEAKER_01: 这预测很可能错，但只是你的想法，因为…… 好吧，我会说，一百年以上。

[803.190-804.525] SPEAKER_02: 一百年以上。

[804.825-808.029] SPEAKER_01: 我书里引过一句话：人类智力还差一百个

[808.329-817.744] SPEAKER_02: 诺贝尔奖。这说法很好，因为它是个很好的预测单位。 就像需要很多神奇发现一样。 是的。 当然，AI领域还没有诺贝尔奖，至少现在没有。

[817.824-825.149] SPEAKER_02: 如果看那一百年，你感觉智能之路 必须经历更复杂的过程，类似人类认知系统，理解

[825.449-832.937] SPEAKER_01: 它们，在人工系统中创造，而不是今天这样用 机器学习方法，然后不断扩展规模、再扩展

[833.017-839.820] SPEAKER_01: 指数级增加计算、硬件和数据。 那就是我的猜测。 它们随计算、硬件和数据指数增长。

[840.120-848.943] SPEAKER_02: 那应该是我的猜测。 我觉得吧，在狭义人工智能的进展中 这些当前的方法会变得更好。 我觉得有一些根本性的……

[849.023-856.766] SPEAKER_02: 有些根本性的限制，决定了它们能走多远。 我可能错了，但这是我的想法。 而且它们有根本性弱点，我在书里提到了。

[856.846-861.153] SPEAKER_02: 这些弱点来自监督学习，需要前馈网络。 等等。

[861.233-865.563] SPEAKER_02: 我觉得这种方法不是理解世界的、 可持续的方式。

[865.863-878.334] SPEAKER_01: 对。 我个人对此很纠结。 就像你书里写的，和我们讨论的 内容，我同意你的观点，但越来越看日子，首先 总的来说，我对机器学习和深度学习的成功很惊讶， 从一开始就是。

[878.414-889.562] SPEAKER_01: 当我…… 这真的很了不起。 这一直是我工作的重点。 我只是惊讶它能走这么远。 而且我觉得狭义AI的研究还很早。 所以我觉得它最后会让人大吃一惊。

[889.642-902.833] SPEAKER_01: 我想我们会印象很深。 比如，目前看到的一切，包括自动驾驶，我觉得能走很远。 但我也觉得，我们会发现。 就像你说的那样。 就算进展很大，但造出像人类智慧的东西。

[902.913-912.468] SPEAKER_01: 实际上比我们想的远得多。 对。 实际上，这些方法比大家想的强大得多。 当然有媒体炒作，但研究界很多人。 尤其不是本科生的人，对吧？

[912.548-923.287] SPEAKER_01: 而是长期搞AI的人，他们怀疑深度学习能走多远。 而我越来越觉得，它实际比我们想的走得更远。 对。 对。 然后我们会意识到。 这完全有可能。

[923.587-934.642] SPEAKER_02: 写这本书让我惊讶的是，不同人分歧很大。 我写这本书时惊讶的是，不同人差异很大。 大家会讨论这个领域的发展程度和成就。 还有接下来会发生什么。

[934.942-941.768] SPEAKER_01: 您怎么看不同的群体、不同的人、思维方式和想法？ 在讨论人工智能现状的社区里。

[942.068-949.649] SPEAKER_02: 对。 观点五花八门。 对。 所以有奇点超人类主义群体，我不太确定怎么描述 那种思路。 也就是—— 对。

[949.729-958.854] SPEAKER_02: 那种指数级进步的观点，我们几乎处在急剧加速 的指数曲线部分，未来30年内会看到超级智能 人工智能这些。

[958.934-967.095] SPEAKER_02: 而且我们还能上传大脑之类的。 所以这种极端观点，我觉得大部分搞人工智能的人都不认同。 嗯。 他们不同意。

[967.175-977.089] SPEAKER_02: 但有些人可能不是奇点主义者，但确实认为现在的 深度学习方法会扩展，基本一路走下去。 嗯哼。

[977.169-986.607] SPEAKER_02: 带我们走向真正或人类水平的人工智能，随便叫什么都行。 而且这样的人真不少。 很多人，就像我见过的大科技公司那些人。

[986.687-989.217] SPEAKER_02: 这些人大多觉得我们离目标不远了。

[989.517-995.600] SPEAKER_01: 举个例子，杨立昆，不知道你熟悉他的工作吗—— 嗯。 不知道你知不知道他的工作——

[995.900-997.130] SPEAKER_02: 我知道。

[997.430-1012.978] SPEAKER_01: 我觉得还需要一系列根本性突破，诺贝尔奖级别那种。 是的。 没错。 但他认为这些突破会建立在深度学习之上。 对。 还有人觉得该把深度学习放一边， 只当作更大认知框架里的一个模块。 对。

[1013.058-1016.111] SPEAKER_01: 所以据我所知，杨立昆说得对。

[1016.411-1023.852] SPEAKER_02: 对。 所以，杨立昆是对的。 是的。 他说得对，监督学习靠不住。 得搞无监督学习，那才是关键。

[1023.932-1035.007] SPEAKER_02: 我觉得这很可能对。 无监督学习比想象中难，按人类那套方式。 就是人类那套方式。 也有相反的观点。 还有加里·马库斯那类观点。

[1035.087-1041.635] SPEAKER_02: 混合观点，深度学习只是一部分，得找回符号性的。 再结合起来。 当然，没人知道怎么做好。

[1041.935-1048.297] SPEAKER_01: 哪个更重要？它们怎么结合？ 基础是什么？ 上面是什么？ 蛋糕是什么？ 糖霜是什么？

[1048.597-1057.339] SPEAKER_02: 对。 是的。 还有人推动别的。 还有那些人… 因果关系：现在的深度学习完全缺乏因果概念 缺少因果概念，注定失败

[1057.419-1063.003] SPEAKER_02: 所以必须赋予它因果概念 很多认知科学家强调要关注发展性 学习

[1063.083-1072.765] SPEAKER_02: 要研究婴儿怎么学习 还要关注直觉物理和所有物理知识 有人开玩笑说，还得教机器直觉形而上学

[1072.845-1079.334] SPEAKER_02: 就是物体存在和因果存在这些 这些可能是天生的

[1079.634-1080.551] SPEAKER_01: 我不知道

[1080.851-1089.477] SPEAKER_02: 对 它们没有… 机器没有那些东西 它们看像素，也许一千万个例子，但无法 不一定能学会物体存在

[1089.557-1099.657] SPEAKER_02: 这只是谜题碎片，人们在推动，观点不同 关于这些多重要，以及离拼好有多近 拼在一起 这就是创造通用智能的方法

[1099.957-1111.752] SPEAKER_01: 这么大个领域，你学到了什么？ 谁最让你印象深刻？ 是认知学派、Gary Marcus、Yahn阵营，还是无监督自监督？ 有监督学习，还有实际做系统的工程师。

[1111.832-1123.746] SPEAKER_01: 比如特斯拉的Andrej Karpathy在搞实际系统… 这不是哲学。 这是现实世界里真实运行的系统。 你从中学到了什么？ 是的。 这么多多样性，你得到了什么？

[1124.046-1129.247] SPEAKER_02: 我是说，不知道是不是… 不同观点不一定互斥，我觉得像

[1129.327-1135.816] SPEAKER_02: Yann LeCun认同发展心理学、因果、直觉和物理这些。 但他还是觉得端到端学习可行。

[1136.116-1138.681] SPEAKER_01: 也许能带我们走完全程。

[1138.981-1148.443] SPEAKER_02: 是的。 而且我们不需要… 我们不需要先天就必须内置的东西。 这是… 这是因为… 这真是个难题。 我很同情认知科学，因为这有点

[1148.523-1157.102] SPEAKER_02: 这是我入行的起点。 我越来越支持具身认知，觉得没身体， 要了解世界会非常困难。 对。 对。 现在那是个新世界。

[1157.402-1165.285] SPEAKER_01: 这我特别想聊聊。 你不介意的话，聊聊认知世界，你做了很多 有趣的事。 回想copycat，几十年前，你Douglas Hostetter

[1165.365-1168.998] SPEAKER_01: 和他人三十多年前开发了copycat。

[1169.298-1172.188] SPEAKER_02: 听到这话真让人心痛。

[1172.488-1173.985] SPEAKER_01: 但它到底是什么？

[1174.285-1183.561] SPEAKER_02: copycat是什么？是在理想化领域做类比推理的程序。 理想化的字母串世界，30年前，哇，那时我开始研究它

[1183.641-1188.006] SPEAKER_02: 我1984年读研，暴露年龄了。基于Doug Hofstadter的想法，

[1188.086-1196.630] SPEAKER_02: 类比是思维核心，我记得他引用过一句好话 在他和Emmanuel Sander合著的《表面与》里 世界的元素，这个引用真棒。

[1196.710-1203.675] SPEAKER_02: 本质，不知道你看了那本书没，它讲类比。他说没有 概念就没有思想，没有类比就没有概念。

[1203.755-1208.782] SPEAKER_02: 所以观点是，类比不只是推理技巧，像我们知道的那种。

[1208.862-1221.449] SPEAKER_02: 鞋之于脚就像手套之于什么，你知道那些东西。 在智商测试之类的，但它的意义要深刻得多，还要更 普遍存在于所做的一切，语言、思维、感知中。

[1221.529-1225.638] SPEAKER_02: 所以他有一个非常主动的感知观点，那就是

[1225.718-1234.657] SPEAKER_02: 不是被动的网络，你有输入 通过前馈层处理，最后输出。 感知是动态的，就像眼睛四处移动，它们

[1234.737-1241.865] SPEAKER_02: 获取信息，反馈给我们接下来看什么，影响 我们接下来看什么、怎么看。Copycat试图模拟那种

[1241.945-1252.486] SPEAKER_02: 想法，你有这些智能体，是智能体系统，你有这些 智能体在拾取东西，还有试图做事的智能体 去观察，决定它们是否有趣，是否应该被

[1252.566-1266.396] SPEAKER_02: 更多观察，那影响其他智能体。它们如何互动？通过 这种全局的，所谓的工作空间来互动，所以它其实是受旧的 黑板系统启发，智能体把信息发布在公共黑板上。

[1266.476-1270.086] SPEAKER_02: 就像老式的人工智能。是不是说我们谈论的是像在

[1270.386-1278.408] SPEAKER_01: 物理空间，有块计算机黑板和一台电脑。 这是程序，代理在黑板上发布概念，我们称之为…

[1278.708-1287.845] SPEAKER_02: 工作空间是数据结构，代理是一些小块。 代码像检测器、探测器或过滤器，它们说： “我要选个地方看，找东西，是它吗？”

[1287.925-1293.973] SPEAKER_02: 我觉得它重要，它在吗？这有点像卷积。 只是更通用点，然后在工作空间高亮。

[1294.273-1299.439] SPEAKER_01: 高亮的东西进工作空间怎么关联？它是什么？不同代理可构建连接。

[1299.739-1310.234] SPEAKER_02: 不同事物间的连接。举个例，Copycat 做的事： 在字母串间做类比，比如 abc 变 abd。 那么 ij… k 变成什么？程序有字母先验知识，它知道

[1310.314-1317.396] SPEAKER_02: 字母顺序，有后继者概念，还有 相同性概念，有内置东西，但能做点事，比如 发现 abc 是连续字母。

[1317.476-1319.972] SPEAKER_02: 然后一个代理标记它，所以可能

[1320.052-1323.976] SPEAKER_02: 一个字母序列，是新形成的概念，还是

[1324.056-1328.525] SPEAKER_02: 先天概念？你能形成新概念吗，还是都先天？所以这点上

[1328.825-1338.345] SPEAKER_01: 一个字母序列就是新形成的概念，或就那个概念。 一个先天概念，某种程度上，你能形成新概念吗？还是都先天？所以在这…

[1338.645-1348.745] SPEAKER_02: 程序里所有概念都是先天的，因为我们不是……嗯显然 这确实限制了很多，但我们要做的是 让我们探索一些概念，假设你有先天概念

[1348.825-1352.795] SPEAKER_02: 如何灵活应用到新情境，以及如何类比

[1353.095-1365.648] SPEAKER_01: 我们退一步，我真的很喜欢那句引语 你说过，没概念就没思想，没类比就没概念 你在圣塔菲演讲里说这该成为AI的格言之一 是的，你自己也说过 是的

[1365.728-1369.013] SPEAKER_01: 使用概念是人工智能最重要的未解决问题

[1369.313-1369.870] SPEAKER_02: 是的

[1370.170-1376.636] SPEAKER_01: 如何形成并灵活运用概念 是人工智能最重要的未解决问题 那么，什么是概念？什么是类比？

[1376.936-1380.686] SPEAKER_02: 概念在某种意义上就是思想的基本单位

[1380.766-1383.134] SPEAKER_02: 比如说我们有一个“狗”的概念

[1383.214-1383.864] SPEAKER_02: 好的

[1383.944-1387.473] SPEAKER_02: 一个概念嵌入在整个概念空间里

[1387.553-1391.477] SPEAKER_02: 使得某些概念离它更近 或更远

[1391.777-1402.214] SPEAKER_01: 这些概念真的很基础吗？ 就像天生的，差不多是公理， 很基础，然后还有别的 建在上面？ 对。 还是包括所有？ 有没有复杂的，比如？

[1402.514-1404.267] SPEAKER_02: 当然可以有， 形成新概念。

[1404.567-1411.451] SPEAKER_01: 对，我就是想问这个。 嗯。 能形成新概念吗？ 这些概念是别的概念的复杂组合。

[1411.751-1413.956] SPEAKER_02: 对，绝对，学习就是这样。

[1414.256-1417.251] SPEAKER_01: 那类比在这结构里起什么作用？

[1417.551-1420.523] SPEAKER_02: 类比就是当你发现一种情况

[1420.603-1426.048] SPEAKER_02: 本质上和另一种情况相同。 对。 “本质上”是关键，因为不完全一样。所以我说，

[1426.128-1430.261] SPEAKER_02: 上周我做了个播客采访，其实就在三天前，在华盛顿。

[1430.341-1436.447] SPEAKER_02: 这种情况和那种很像，但有点不一样。 你看，我对面坐着另一个人，麦克风也不同。

[1436.527-1444.526] SPEAKER_02: 问题不同，建筑不同，啥都不一样。 但其实挺像的。做播客采访，算是个概念。这概念

[1444.606-1450.376] SPEAKER_02: 新得很，今年前我从没想过。可以打个比方， 就像报纸采访那样。可以这么说，

[1450.456-1457.143] SPEAKER_02: 嗯，你角色跟报纸记者差不多，但又不完全 一样，因为他们可能发书面问题，不是口头的。

[1457.223-1459.753] SPEAKER_02: 书面问题跟你口头问的类似。有

[1460.053-1470.769] SPEAKER_01: 各种相似点。这也许跟 感恩节晚饭聊天有关系，就是平常对话。有条线索 贯穿生活方方面面，都跟播客有关。 我是说，人和人之间的对话。

[1471.069-1475.701] SPEAKER_02: 当然。要是我跟朋友聊起播客采访， 朋友可能会说，哦，我也遇到过。比如你问个很难

[1475.781-1483.559] SPEAKER_02: 的问题，我答不上来。朋友会说，我也遇到过， 但不是播客采访，完全不同的场景。可我

[1483.639-1488.224] SPEAKER_02: 朋友看到的本质上是一回事。我们自然说，我也遇到过。

[1488.524-1490.277] SPEAKER_01: 本质上是同一件事，对吧？

[1490.577-1499.435] SPEAKER_02: 但我们连这话都不说，对吧？ 对，别用它。 对，像CopyCat的观点，就是说 就是那种说同样事发生在自己身上 就是在类比。 从某种意义上说，

[1499.515-1502.069] SPEAKER_02: 那是所有概念的基础。

[1502.369-1508.673] SPEAKER_01: 为什么你觉得你描述的类比 对认知这么基础？ 就像，它似乎是主要动作 在我们认为的认知里。

[1508.973-1513.303] SPEAKER_02: 对，所以可以说 我们对概念做的所有这些总结

[1513.383-1516.273] SPEAKER_02: 还有在不同情况中识别概念

[1516.353-1520.079] SPEAKER_02: 都是靠类比完成的，就是说

[1520.159-1522.794] SPEAKER_02: 每次我认出，比如，你是一个人

[1522.874-1534.811] SPEAKER_02: 那就是靠类比 因为我有这个概念 关于人是什么，然后我用在你身上 而每次我遇到新情况 比如我在书里讲的一件事 就是遛狗的概念。 这其实是在打比方。

[1534.891-1537.677] SPEAKER_02: 因为所有细节都差很多。

[1537.977-1544.083] SPEAKER_01: 所以推理简化成。 本质就是做类比。 所以我们认为的一切，比如。

[1544.163-1555.877] SPEAKER_01: 对，就像你说的，感知。 感知就是获取原始感官信息。 然后整合到理解里。 对世界的认识，不断更新。 这一切都是一堆混乱的类比。 正在发生。

[1556.177-1558.150] SPEAKER_02: 我觉得是，是的。

[1558.450-1563.175] SPEAKER_01: 如果你稍停一下。 比如设计一个过程需要什么。 就像我们的人工系统那样？

[1563.475-1569.523] SPEAKER_02: 我们需要理解，是的。 我们需要理解，是的。 我们需要更好地理解。 我们怎么做，人类怎么做。

[1569.603-1575.883] SPEAKER_02: 我觉得说到底还是内部模型。 大家常聊心理模型， 概念嘛，就是心理模型。 能在脑子里模拟，

[1575.963-1578.459] SPEAKER_02: 比如模拟遛狗的场景。 对，而且，

[1578.539-1590.659] SPEAKER_02: 心理学研究也支持这说法， 所有概念都是心理模拟， 每次遇到概念或情境， 现实中或读到它， 你都会进行心理模拟， 让你能预测后面的事，

[1590.739-1600.619] SPEAKER_02: 形成对未来的预期。 所以我们需要的结构， 就是那种心理模型。 嗯。 而大脑里，不知怎么， 这些心理模型紧密相连。

[1600.919-1610.752] SPEAKER_01: 再说一遍，聊的这些 其实都是未解决的问题，对吧？ 比如我问个问题， 我不是说你知道答案， 就是假设一下。 但你猜那个网络有多大？

[1610.832-1622.305] SPEAKER_01: 就是我们脑子里的概念图？ 比如我们自己试着建一个， 就像，我们拿过来， 这是理所当然的事。 所以常识被我们当成理所当然。 觉得常识很琐碎。

[1622.385-1626.158] SPEAKER_01: 但那堆概念有多大？ 它是常识的基础。 比如呢？

[1626.458-1629.383] SPEAKER_02: 对，我不知道。 我连用什么单位量都不知道。

[1629.463-1631.076] SPEAKER_02: 你说，它有多大？

[1631.376-1633.767] SPEAKER_01: 说得真美，是吧？ 所以它——

[1634.067-1639.291] SPEAKER_02: 但你知道，我们有， 这真的很难知道。 我们大概有1000亿个神经元。 我不知道。

[1639.371-1653.119] SPEAKER_02: 它们通过数万亿个突触连接。 还有这些化学过程在进行。 处理这些东西的容量很大。 而且它们的信息会被编码。 在大脑里用不同方式编码。 它在化学相互作用中编码。 它在电信号中编码。

[1653.199-1662.115] SPEAKER_02: 比如放电和放电频率。 但没人真正知道它是如何编码的。 但这似乎容量巨大。 所以我觉得它很大。 它非常巨大。 更神奇的是我们知道这么多。

[1662.415-1662.983] SPEAKER_01: 是的。

[1663.063-1677.078] SPEAKER_01: 但我们知道的不仅是事实， 而是全部整合到这个东西里。 这样我们就可以进行类比。 是的。 梦想着语义网。 有很多梦想， 来自专家系统，构建知识库的梦想。 你觉得这些方法有希望吗？

[1677.158-1681.082] SPEAKER_01: 把维基百科转成某种东西， 能用于类比推理？

[1681.382-1693.807] SPEAKER_02: 当然。 而且我觉得这方面有进展。 就是说，这方面研究很久了。 但问题是， 而我觉得，这是常识问题。 比如，人们一直想获取 这些常识网络。 麻省理工有ConceptNet项目，对吧？

[1693.887-1698.275] SPEAKER_02: 但问题是，像我说的， 我们大部分知识是看不见的。 维基百科上没有。

[1698.575-1700.943] SPEAKER_01: 这是直觉物理学的基本概念，

[1701.243-1705.167] SPEAKER_02: 直觉心理学、直觉形而上学，这些。

[1705.467-1711.295] SPEAKER_01: 如果你想创建一个描述， 直觉物理，直觉心理 它比维基百科大还是小？ 你怎么看？

[1711.595-1713.708] SPEAKER_02: 我猜，对谁说？

[1713.788-1714.937] SPEAKER_02: 抱歉，不过…

[1715.237-1718.011] SPEAKER_01: 不，那真的很棒 你说得完全对，是的

[1718.311-1728.794] SPEAKER_02: 这很难，因为，你懂 怎么表示知识是关键，对吧？ 我写 F 等于 MA 牛顿定律，很多物理能推导 但那未必是最好的表示

[1728.874-1732.577] SPEAKER_02: 用这个知识做那种推理 我们要机器做的

[1732.657-1738.984] SPEAKER_02: 所以，我不知道 现在很难说 而且，那些项目，比如 著名的 PSYCH 项目，对吧

[1739.284-1743.428] SPEAKER_01: 道格拉斯·林诺特的项目试图 那个还在进行吗？

[1743.728-1756.478] SPEAKER_02: 我觉得还在进行中。 对。 这个想法是想把 所有常识知识都编码， 包括那些看不见的知识， 用某种逻辑形式表示。 而且它永远 实现不了他想要的任何事，

[1756.558-1758.369] SPEAKER_02: 因为方法完全错了。

[1758.669-1760.735] SPEAKER_01: 当然，他们都这么说。

[1760.815-1767.258] SPEAKER_01: 然后历史书会写， PSYCH项目在2058年左右取得突破。 短短几十年进步这么大，

[1767.338-1770.333] SPEAKER_01: 谁知道下一个突破会是什么。 有可能。

[1770.633-1772.769] SPEAKER_02: PSYCH项目的概念很吸引人。

[1773.069-1777.794] SPEAKER_01: 我觉得伦内特最早提出 他说我们需要常识，是最早的之一。

[1778.094-1792.365] SPEAKER_02: 我觉得莱内特是最早的人之一。 说常识正是我们需要的。 这正是我们需要的。 所有像专家系统这类东西， 不会让你实现人工智能。 你需要常识。 他基本放弃了整个学术生涯

[1792.445-1796.856] SPEAKER_02: 去追求那个目标。 我完全佩服这点， 但我觉得这种方法在2020年、

[1796.936-1799.664] SPEAKER_02: 2040年或任何时间成功。

[1799.964-1802.994] SPEAKER_01: 你觉得这方法有什么问题？ 哪种方法可能成功？

[1803.294-1805.465] SPEAKER_02: 嗯，如果我知道的话。

[1805.765-1808.400] SPEAKER_01: 再说，没人知道答案，对吧？

[1808.700-1817.465] SPEAKER_02: 如果我知道的话。 你知道，我有次演讲时， 听众里有个人， 这是个公开讲座， 听众里有个人说， 你投资哪些人工智能公司？

[1817.765-1819.193] SPEAKER_01: 投资建议，好吧。

[1819.493-1825.832] SPEAKER_02: 我是大学教授，首先， 所以我没太多闲钱投资， 而且也没人知道AI啥能成，对吧？ 问题就在这儿。

[1826.132-1843.294] SPEAKER_01: 我再问个不可能的问题： 万一你有想法呢？ 就存储这类信息的数据结构来说， 就存储这类信息的数据结构来说， 就存储这类信息的数据结构来说， 就存储这类信息的数据结构来说， 你觉得它们已经发明出来了吗？ 不管是硬件还是软件层面，

[1843.374-1847.321] SPEAKER_01: 还是需要别的什么？ 我们完全…你懂的？

[1847.621-1850.430] SPEAKER_02: 我觉得必须发明别的东西。

[1850.510-1852.019] SPEAKER_02: 我猜是这样。

[1852.319-1855.128] SPEAKER_01: 最有前景的突破 是硬件还是软件？

[1855.208-1860.676] SPEAKER_01: 你觉得用现有计算机能走多远？ 还是需要做些你能看到的事情？

[1860.976-1875.839] SPEAKER_02: 我懂你的意思。 我不确定图灵计算是否行得通。 那够不够？ 很可能，我觉得会。 我看没必要用别的。 但就这点来说， 我们已有必要的硬件。 但得让它更快更大。 还要找出正确算法。

[1875.919-1878.287] SPEAKER_02: 还有对的架构。

[1878.587-1884.728] SPEAKER_01: 图灵这概念非常数学化。 要打造智能时， 现在它是个工程概念。 这些东西全用得上。

[1885.028-1887.175] SPEAKER_02: 嗯，这确实是个问题。

[1887.255-1890.180] SPEAKER_02: 有人常问这个问题嘛， 比如说到现有硬件，

[1890.260-1900.082] SPEAKER_02: 现在的硬件能不能用？ 图灵计算表明呢， 现有硬件原则上够用。 一台图灵机，对吧？ 所以我们只要让它更快更大。 但曾经有人，

[1900.162-1909.925] SPEAKER_02: 比如罗杰·彭罗斯，还记得吗？ 他说图灵机没法产生智能， 因为智能需要连续数值。 我的意思是，那是我对他的观点的理解。

[1910.005-1915.206] SPEAKER_02: 还有量子力学那类东西，你知道的。 但我没看到任何证据支持这点， 就是说我们需要新的计算范式。

[1915.286-1920.208] SPEAKER_02: 我不知道我们是否，你知道， 我不认为我们能扩展 目前编程计算机的方法。

[1920.508-1930.643] SPEAKER_01: 你对CopyCAD这类方法有啥期望？ 或者其他认知架构？ 比如，我和SOAR的开发者聊过。 我自己用过ACT-R。 不知道你熟不熟悉这个。

[1930.943-1933.230] SPEAKER_02: 对，我熟悉。

[1933.530-1941.192] SPEAKER_01: 你认为是什么？ 你对这类方法有什么期待？ 在帮助开发越来越强大的系统方面 未来几十年人工智能会怎样？

[1941.492-1950.988] SPEAKER_02: 嗯，这就是我现在在做的。 尝试用其中一些想法来扩展。 所以我觉得有些方法很有前景。 现在正在进行，涉及 更活跃的生成模型。

[1951.068-1962.436] SPEAKER_02: 这就是你脑海里的模拟概念， 当你想要的时候， 当你遇到新情况时， 你脑子里会做点模拟。 那些就是生成模型。 它们生成你的期望。 它们生成预测。

[1962.736-1969.562] SPEAKER_01: 所以这是感知的一部分。 你有一个方法模型来生成预测， 然后你把它和—— 是的。 然后差异——

[1969.862-1978.105] SPEAKER_02: 而且生成模型在告诉你 看哪里，看什么 还要注意什么 它会影响到你的感知 不是说只拿它跟感知比较

[1978.185-1982.387] SPEAKER_02: 某种程度上它成了你的感知 这是自下而上信息的混合

[1982.467-1987.795] SPEAKER_02: 来自世界和你自上而下的模型 强加给世界的东西成了你的感知

[1988.095-1992.599] SPEAKER_01: 所以你的希望是这样 能改进感知系统 能更好地理解事物？ 对

[1992.899-1994.733] SPEAKER_02: 理解事物？

[1995.033-1999.920] SPEAKER_01: 对 这一步是什么？类比推理的步骤？ 嗯 思考步骤是什么？

[2000.220-2009.635] SPEAKER_02: 嗯，想法是你有一个 非常复杂的概念空间 可以谈语义网络这类东西。 用大脑里这些互连的概念模型。 就拿遛狗来说。

[2009.715-2017.261] SPEAKER_02: 这个我们说过。 好。 比如我看到有人在街上遛猫。 还真有人遛猫。 对。 看着挺糟，但。 嗯。

[2017.561-2019.488] SPEAKER_00: 所以我的模型里，有连接。

[2019.788-2024.710] SPEAKER_02: 在狗和猫的模型之间。 我马上能看出类比。 这些情况类似。

[2024.790-2028.981] SPEAKER_02: 但也能看到差异。 这告诉我该期待什么。 另外，我遇到个新情况。

[2029.061-2038.337] SPEAKER_02: 再举个遛狗的例子。 有时我看到人骑自行车。 有时候，我看到有人骑车。 牵着狗绳，握着它。 狗在旁边跑着。 好，我认出来这是 就是遛狗的场景。

[2038.417-2046.253] SPEAKER_02: 人没在走路，对吧， 狗也没在走路。 我的模型说： 骑自行车有点像走路， 或者它们相关。 这是一种交通工具。 但因为他们带着狗，

[2046.333-2053.716] SPEAKER_02: 我猜他们不是去上班， 是出去锻炼。 这些类比帮我搞懂 大致发生了什么情况。

[2054.016-2056.187] SPEAKER_01: 但这些类比很容易懂。

[2056.267-2065.543] SPEAKER_01: 所以就是那种空间。 然后你看到像 现在的深度学习方法， 帮你获取原始感官信息。 某种程度上， 自动构建层次结构，

[2065.623-2071.706] SPEAKER_01: 甚至可以叫它们概念。 它们不是人能解释的概念。 你的呢？这里的联系是？ 你希望，

[2071.786-2079.622] SPEAKER_01: 这有点像混合系统的问题。 你觉得两者怎么开始融合？ 这种形成系统中，学习的价值是什么？

[2079.702-2081.594] SPEAKER_01: 类比的价值？

[2081.894-2095.282] SPEAKER_02: 目标是， 你知道，深度学习最初的目标 至少在视觉感知中是 让系统学习提取特征 这些不同复杂程度的特征。 所以也许是边缘检测， 这会引向学习，你知道，

[2095.362-2102.200] SPEAKER_02: 边缘的简单组合，然后是更复杂的形状 然后是整个物体或人脸。

[2102.280-2110.523] SPEAKER_02: 而这基于这样的想法，你知道， 这个想法呢， 神经科学家Hubel和Weasel的想法， 他们观察并在大脑中构建了这种结构。

[2110.603-2119.461] SPEAKER_02: 我觉得这在某种程度上是对的。 当然，人们发现整个故事 在大脑里比那要复杂些。 当然，总是这样。 而且反馈很多。

[2119.541-2121.468] SPEAKER_02: 所以这绝对是

[2121.548-2130.406] SPEAKER_02: 一个很好的类脑方法 用于感知的某些方面。 但比如，它缺一样东西， 就是这些反馈，至关重要。

[2130.706-2132.702] SPEAKER_01: 你提到的互动元素。

[2133.002-2135.591] SPEAKER_02: 期望，对吧，概念层面。

[2135.891-2139.536] SPEAKER_01: 与期望来回互动， 感知，来回反复。

[2139.836-2151.727] SPEAKER_02: 所以对，这极其重要。 关于深度神经网络，有一点 就是在特定情境下， 就像他们被训练的那样，对吧？ 他们拿到这些权重啥的。 然后现在我给他们一张新图，比如说。

[2151.807-2155.359] SPEAKER_02: 他们对每个部分都一视同仁。

[2155.439-2164.541] SPEAKER_02: 每层都用相同过滤器处理所有部分。 图像这块。 没有反馈说， 哦，这部分图像不相关。 对。 我不该管这部分图像。 或者这部分图像最重要。

[2164.621-2168.684] SPEAKER_02: 而这是我们人类能做的。 因为我们有概念上的期待。

[2168.984-2182.605] SPEAKER_01: 顺便说，这方面有些研究。 当然，注意力机制还有更多内容， 在自然语言处理里叫注意力。 这是个，这是个， 而且非常强，是个非常， 像你说的，很牛的想法。 但同样，在机器学习里。

[2182.685-2186.458] SPEAKER_01: 它基本是自动运行的 那不是人类

[2186.758-2193.782] SPEAKER_02: 嗯，其实也不是，好吧 所以没错 它不是动态的 就是说，从感知新例子的角度 正在处理时

[2193.862-2196.230] SPEAKER_02: 注意力权重不变

[2196.530-2199.374] SPEAKER_01: 对 就是有人认为没有记忆

[2199.454-2208.138] SPEAKER_01: 所以你没在汇总心智模型 对，这算是基本观点 没有特别强大的 就是说，有些跟记忆相关的 但缺少强大方式表征世界

[2208.218-2216.275] SPEAKER_01: 以更深的方式 就是说，这太难了 因为神经网络确实在表征世界 它们确实有心智模型 但似乎只是肤浅的

[2216.355-2218.769] SPEAKER_01: 说到底，很难批评他们。

[2218.849-2232.191] SPEAKER_01: 至少我这么觉得。 批评他们很容易。 嗯，就像你说的， 心智模型就像心理学那套， 你知道吗？ 你看，这些网络显然做不到 人类靠心智模型实现的那种， 比如类比推理啥的，

[2232.271-2243.010] SPEAKER_01: 但不代表它们根本做不到。 就像你不好说这个。 我是说，至少我这么看。 你觉得这些学习方法真的， 我是说，不仅现在有限， 而且永远有限，

[2243.090-2245.644] SPEAKER_01: 没法建立这种心智模型？

[2245.944-2248.892] SPEAKER_02: 我觉得动态感知是关键。

[2248.972-2252.060] SPEAKER_02: 动眼获取反馈的思路。

[2252.140-2260.185] SPEAKER_02: 而这一点， 已经有模型在做了。 循环神经网络确实有 它们在多个时间步运行 问题在于实际循环是

[2260.265-2262.575] SPEAKER_02: 你知道反馈就是

[2262.655-2268.320] SPEAKER_02: 在下一个时间步 是整个网络的隐藏状态 也就是结果发现它 那就是效果不太好

[2268.620-2274.401] SPEAKER_01: 但我要说的是 从数学上讲 它有循环里的信息 用来捕捉一切 它就是不管用

[2274.701-2275.258] SPEAKER_02: 是的

[2275.558-2279.110] SPEAKER_01: 对 就像是 这和图灵机问题一样对吧

[2279.190-2289.511] SPEAKER_01: 嗯 理论上计算机 任何图灵完备的 通用图灵机也能有智能。 但它的架构可能很特别。 需要特定架构才能造出来。 所以这有点像在问：

[2289.591-2295.674] SPEAKER_01: 还是同一个问题：深度学习作用多大？ 你觉得深度学习需要， 在感知中扮演什么角色？

[2295.974-2298.145] SPEAKER_02: 我觉得深度学习目前，

[2298.225-2307.780] SPEAKER_02: 像现在这样会扮演， 它会扮演某种角色。 而且我觉得还有更多事在发生。 在感知中，谁知道呢。 深度学习的定义吧，它挺…

[2308.080-2310.193] SPEAKER_01: 嗯，那是另一个问题。

[2310.493-2314.022] SPEAKER_02: 它挺宽泛的。 它像很多事物的总称。

[2314.322-2316.249] SPEAKER_01: 所以我说纯粹的神经网络。

[2316.549-2318.244] SPEAKER_02: 对，还有前馈神经网络。

[2318.544-2320.680] SPEAKER_01: 本质上，或者有递归。

[2320.980-2321.676] SPEAKER_02: 是的。

[2321.976-2336.386] SPEAKER_01: 有时候感觉像，我就和Gary Marcus聊了。 对深度学习的批评啊， 就像我们鸟类批评飞机， 飞得不好，或者说不是真在飞。 你觉得深度学习，它，你知道， 你觉得它能一直走下去吗？

[2336.466-2341.295] SPEAKER_01: 像Yann LeCun说的那样？ 你觉得，嗯，暴力学习方法 能一直走下去吗？

[2341.595-2342.988] SPEAKER_02: 我不这么认为。

[2343.068-2349.488] SPEAKER_02: 我是说，这还是个悬而未决的问题， 但我更偏向先天论， 也就是说，有些东西是

[2349.568-2354.061] SPEAKER_02: 我们进化出来的学习能力。 而且， 没有它们就学不了。

[2354.141-2366.717] SPEAKER_02: 所以有个例子，我在书里举过， 我觉得对我挺有用， 至少想这个问题时有用。 所以这和DeepMind有关。 Atari游戏运行程序，对吧？ 它学会了玩这些Atari游戏。

[2366.797-2376.119] SPEAKER_02: 只看屏幕像素就学会了。 它还学会了怎么玩。 玩《打砖块》比人类强1000%，太厉害了。

[2376.199-2385.115] SPEAKER_02: 还在游戏里学会了从侧面挖洞。 让球弹到天花板扫砖块。然后有组人。

[2385.195-2392.079] SPEAKER_02: 他们做了个实验，拿走摇杆控制的球拍。 向上移了两像素，观察训练过的深度Q学习系统。

[2392.159-2403.455] SPEAKER_02: 问它能不能把学到的迁移到新版本。 人类可以，它不行。这不奇怪，关键是。 它没学到“球拍”这个概念。 没学到球的概念，也没学到挖洞。

[2403.535-2412.637] SPEAKER_02: 它只学了些东西，我们看着它，觉得它在。 做这件事，但实际它没学到那些概念。 因为没学到概念，它无法迁移。

[2412.937-2420.495] SPEAKER_01: 对，这个论断很精彩。但移动球拍。 我们也把缺陷拟人化了。 注入系统，翻转了我们的印象。我是说。

[2420.575-2425.520] SPEAKER_01: Atari游戏能运行起来就让我很震撼。 我先暂停一下，这就像围棋一样。

[2425.600-2428.386] SPEAKER_01: 这跟深蓝完全不同。尽管还有

[2428.466-2429.696] SPEAKER_01: 树搜索，

[2429.776-2432.202] SPEAKER_01: 但这只是DeepMind的学习部分。

[2432.282-2435.172] SPEAKER_01: 尽管有限，我还是很惊讶。

[2435.472-2438.165] SPEAKER_02: 对，我不是说他们不厉害。我觉得很厉害。

[2438.465-2446.708] SPEAKER_01: 有趣，移动棋盘只是学习内容吗？就像 我们也许能用现在的神经网络 学到基础概念，但不够通用推理。

[2446.788-2450.375] SPEAKER_01: 然后更多数据，你提到的例子有趣在于

[2450.455-2452.684] SPEAKER_01: 美妙的是，数据缺陷。

[2452.984-2456.072] SPEAKER_02: 嗯，问题关键：不管是不是数据缺陷。

[2456.372-2459.518] SPEAKER_01: 或者机制问题，对吧，美妙，但没错。

[2459.818-2463.544] SPEAKER_02: 我举例子，因为你问：从数据学习能走到底吗？

[2463.844-2464.482] SPEAKER_01: 是的。

[2464.782-2470.726] SPEAKER_02: 所以我举这个例子。 这不是贬低他们的成就。 而是看系统学到了什么，

[2470.806-2489.941] SPEAKER_02: 它们学到人类认为相关的概念吗？ 那个例子中，没学到。 嗯。 当然，用它训练电影，就那个。 好的。 就是那个帕特电影。 嗯哼。 然后就有了，很久以前。 所以再多注入一些东西。 CM和J。 是啊，我是说，所以…

[2490.021-2498.960] SPEAKER_02: 桨在不同位置，也许能学会概念。不太确定。 但问题在于，扩展到更复杂世界，到何种程度？

[2499.040-2507.840] SPEAKER_02: 一台只拿原始数据的机器，能学会划分世界成相关的 概念？我不知道，但敢赌，没有固有概念的话，

[2507.920-2509.417] SPEAKER_02: 它做不到。

[2509.717-2513.966] SPEAKER_01: 对。十年前我百分百同意你和多数AI专家，但现在我

[2514.046-2515.636] SPEAKER_01: 看到了一线希望。

[2515.936-2517.770] SPEAKER_02: 好吧，这很公平。

[2518.070-2527.984] SPEAKER_01: 而这就是深度学习在社区做的——不，不，我还是， 要我押上全部，那绝对是深度学习。 它不会带我们走完全程，但个人还是挺惊讶的。

[2528.064-2535.842] SPEAKER_01: 通过雅达利、围棋和自我对弈，光靠游戏，我常常像往常一样 对可能性知道太少，感到谦卑

[2536.142-2539.369] SPEAKER_02: 对，自我对弈很强大，这能追溯到

[2539.449-2544.220] SPEAKER_02: 亚瑟·塞缪尔 对 他的跳棋程序，真棒，表现惊人

[2544.520-2548.722] SPEAKER_01: 哇，聊点好玩的，说说自动驾驶车吧，这是

[2548.802-2557.161] SPEAKER_01: 我最近主要搞这个，也是你说的好例子 例子，人类常低估它的难度 AI常这样，有些问题开始觉得简单

[2557.241-2564.764] SPEAKER_01: 后来才发现很难，好吧，那你为什么说 自动驾驶很难，比想象的要难 为什么这么难？你觉得最难的是什么

[2565.064-2573.620] SPEAKER_02: 我觉得难在世事难料，不知道会发生什么 各种情况都可能，所以正常情况是 开车时没意外，自动驾驶

[2573.700-2579.609] SPEAKER_02: 现有的车辆，大部分情况下表现很好 只要天气好什么的，但如果有

[2579.689-2588.106] SPEAKER_02: 我们有个概念 边缘情况或尾部事件，你称之为长尾 问题：很多可能的事不在训练数据里。

[2588.186-2593.468] SPEAKER_02: 所以机器处理不了，因为它没常识。 对，是老问题，桨叶移动了。 而且

[2593.548-2596.380] SPEAKER_02: 依我看，你更专业，就是

[2596.460-2605.562] SPEAKER_02: 当前自动驾驶视觉系统有问题： 障碍物，它们分不清哪些是真的。 哪些该停哪些不该停。常读到它们

[2605.642-2611.330] SPEAKER_02: 倾向于急刹车。最常见事故是 人们追尾，因为惊讶，没料到机器

[2611.630-2614.137] SPEAKER_01: 会停车。对，这里有很多问题。是否

[2614.217-2622.541] SPEAKER_01: 因为你提了两件事，一个是 感知、理解、解释物体的问题。 对，另一个是策略，如何行动。 你如何应对。对，没错。

[2622.621-2631.746] SPEAKER_01: 很多汽车刹车是个概念，有很多不同 人们说的自动驾驶，很多L4带 安全驾驶员，像Waymo、Cruise等。

[2631.826-2642.460] SPEAKER_01: 它们很保守谨慎，非常怕伤害 任何东西或人，卷入事故。所以政策很 那个，就是那个。 就是那个。 这会让它对任何障碍都特别敏感。

[2642.760-2645.349] SPEAKER_02: 对，对。那个驾驶员不可预测，它表现…

[2645.649-2654.228] SPEAKER_01: 不可预测。对，人类不会谨慎行事，这不是我们擅长的。 尤其是在开车时。我们很急，常生气，尤其在波士顿。所以，

[2654.308-2666.919] SPEAKER_01: 还有一个优势，很多时候机器学习不是主要部分。 这点，我越来越不清楚你知道多少，算是向公众传达。 信息：很多公司说他们做深度学习机器学习只是为了

[2666.999-2674.440] SPEAKER_01: 吸引优秀人才，但很多时候它还不是主要部分。 感知方面，激光雷达和其他传感器对障碍物更可靠。

[2674.520-2682.821] SPEAKER_01: 检测。还有特斯拉的方法，只用视觉，而且我知道有几家公司 这么做，但特斯拉是最著名推动这个的，因为激光雷达

[2682.901-2693.094] SPEAKER_01: 太贵了，对吧？嗯，对，但我想说，如果你免费给每辆 特斯拉车。马斯克认为激光雷达是拐杖，对吧？他幻想… 他说过，如果

[2693.174-2701.057] SPEAKER_01: 你想用机器学习解决，激光雷达不该是主要的。 这是一种信念：摄像头包含更多信息，所以如果你想

[2701.137-2711.214] SPEAKER_01: 学习，你需要这些信息，但不想撞到障碍物，就要激光雷达，对吧？有点 这是一种奇怪的平衡，因为嗯，对，特斯拉的车就是这样。 这确实是

[2711.294-2718.817] SPEAKER_01: 主要备用传感器是雷达，它很粗糙 激光雷达版本，是很好的障碍物探测器，除非东西正好停在

[2719.117-2722.449] SPEAKER_02: 停着的车辆，所以它会撞上停着的消防车

[2722.749-2729.029] SPEAKER_01: 没错，所以希望视觉传感器能捕捉到这点，并 推断出感知存在很多问题

[2729.109-2732.800] SPEAKER_01: 他们实际上在做不可思议的事情，在

[2732.880-2736.212] SPEAKER_01: 几乎就像一个主动学习空间，它

[2736.292-2741.075] SPEAKER_01: 不断收集边缘案例反馈回来，还有数据管道，另一个方面

[2741.155-2751.232] SPEAKER_01: 人们现在研究的一个重要方面是多任务学习 这相当于把问题，比如驾驶，分解成 几十上百个小问题，你可以转为学习问题，所以这个巨大管道

[2751.312-2763.493] SPEAKER_01: 你知道这有点意思，我从一开始就持怀疑态度 随着时间的推移，我们越来越不怀疑了，驾驶能学多少？我仍然认为 比那家公司CEO认为的远得多，但它

[2763.573-2767.125] SPEAKER_01: 不断让人惊讶的是，通过好的工程和数据

[2767.205-2780.710] SPEAKER_01: 收集和主动选择数据，如何应对那个长尾，这是一个有趣的 悬而未决的问题，你说得对，还有更长的尾巴和所有这些边缘情况 我们没有考虑到，但这是一个迷人的问题，适用于自然

[2780.790-2789.149] SPEAKER_01: 语言在所有领域，那个长尾有多大？我不是要纠缠 说得对，但为啥非要纠结人类经验里的实际问题？

[2789.229-2799.051] SPEAKER_01: 能学会吗？你现在怎么看？ 马斯克说一年内能解决，但问题本身能解决吗？ 合理时间内能解决，还是得发明新方法？所以我不觉得

[2799.351-2805.434] SPEAKER_02: 我觉得 最终 驾驶是一种权衡，能处理任何 情况需要完全的人类智能，甚至人也不够

[2805.514-2812.352] SPEAKER_02: 聪明到做到，但大多数事故是因为人 没注意或喝醉了，而不是不聪明 而不是不够聪明，对吧 你

[2812.432-2820.013] SPEAKER_02: 呃，自动驾驶事故是因为不够聪明，它们 总是保持注意，所以是一种权衡 公平说，自动驾驶最终会比人更安全

[2820.093-2824.597] SPEAKER_02: 因为人很不安全，虽然标准低，但就像你说的

[2824.897-2829.459] SPEAKER_01: 人类的名声更好，对吧？ 因为我们很擅长常识性的事。

[2829.759-2834.182] SPEAKER_02: 对，很擅长常识性的事。 我们不擅长保持注意。

[2834.482-2836.211] SPEAKER_01: 要注意的事情，对吧。

[2836.511-2842.432] SPEAKER_02: 尤其开车无聊的时候。 还有手机可以玩什么的。 但我认为，因为很多原因，会变成这样。

[2842.512-2849.152] SPEAKER_02: 不只是AI，还有法律等原因。 自动驾驶的定义会改变。 或者说自主驾驶会变。 不是单纯地，

[2849.232-2852.285] SPEAKER_02: 我在后座睡觉。 你随便送我到哪里。

[2852.365-2854.152] SPEAKER_02: 而是更像，

[2854.232-2864.855] SPEAKER_02: 某些区域会装备 传感器和地图， 以及需要的一切。 这样自动驾驶车 就不用有完全常识。 而且这些区域表现很好， 只要行人别太打扰。

[2864.935-2867.024] SPEAKER_02: 那是另一回事。

[2867.324-2869.216] SPEAKER_00: 哦，没错。 那就是人類。

[2869.516-2872.430] SPEAKER_02: 但我不覺得會有全自動駕駛。

[2872.510-2876.457] SPEAKER_02: 像大家想的那樣， 一般人的想像，還早得很。

[2876.757-2888.030] SPEAKER_01: 我要再說一次， 這是個有趣的開放性問題。 我同意你的觀點，是為了解決， 完全自動駕駛， 你必須把常識融入工程設計。

[2888.330-2888.922] SPEAKER_02: 對。

[2889.222-2896.164] SPEAKER_01: 這是個值得聆聽思考的重要問題。 我希望那是錯的。 但目前我同意你的看法。 不幸的是，你必須有，

[2896.244-2909.168] SPEAKER_01: 具體來說， 對物理學的深刻理解， 以及對世界運作方式的理解。 還有人的行為， 像你說的，行人和騎車的，其實 那就是非語言溝通。 有人叫它， 这种动态也是常识。

[2909.468-2913.601] SPEAKER_02: 对。 我们其实， 人类很擅长预测 别人会做什么。

[2913.901-2929.890] SPEAKER_01: 我们的行为怎么影响别人， 所以有种奇怪的博弈论式舞蹈， 我们不知怎么就擅长这个。 有意思的是， 我看过无数小时的步行视频， 和人聊天， 人类其实也很不擅长 表达自己知道的东西。

[2930.190-2930.700] SPEAKER_02: 对。

[2931.000-2932.729] SPEAKER_01: 这始终是个大挑战。

[2933.029-2933.725] SPEAKER_02: 是的。

[2934.025-2940.654] SPEAKER_01: 你刚提到具身智能。 你觉得要构建一个 有类人智能的系统需要什么？ 它一定得有身体吗？

[2940.954-2944.239] SPEAKER_02: 我不太确定， 但我越来越这么想了。

[2944.539-2948.265] SPEAKER_01: 那这意味着什么？ 我不是故意老提杨·勒昆。 但是，

[2948.565-2950.840] SPEAKER_02: 他确实很突出。

[2951.140-2967.559] SPEAKER_01: 嗯，他个性确实很强。 他认为系统要接地， 就是说多少跟现实互动， 但觉得不一定非要身体。 所以当你想到—— 那区别在哪？ 我想问的是， 你说的身体， 是指必须能跟世界互动？

[2967.639-2974.163] SPEAKER_01: 还是说也意味着要保护一个身体？ 哦，这问题问得好。 是那个必须保存的吗？

[2974.463-2979.548] SPEAKER_02: 哦，好问题。 其实没怎么想过这个问题。 但我觉得两者都有。 因为我觉得你，

[2979.628-2988.904] SPEAKER_02: 我觉得智力， 它很难和自我分离。 我们对自我的保护欲， 我们的情感， 所有非理性的东西， 那些有点碍事的，

[2988.984-2990.899] SPEAKER_02: 逻辑思考的东西。

[2990.979-2992.267] SPEAKER_02: 因为我们的方式，

[2992.347-2998.070] SPEAKER_02: 如果我们在谈人类智力， 或者人类级别的智力， 不管那是什么意思，

[2998.150-3000.901] SPEAKER_02: 很大部分是社交性的。

[3000.981-3006.263] SPEAKER_02: 我们是进化成社交的， 并和人交往的。 这已经深深刻在我们身上，

[3006.343-3010.894] SPEAKER_02: 以至于很难把智力分开。 我觉得过去70年的人工智能。

[3010.974-3023.457] SPEAKER_02: 不管它存在多久， 它很大程度上是分开的。 有种想法，就像， 这有点太笛卡尔了。 有种思考的东西， 我们想创造， 但不在意其他东西。 另外我觉得其他很基础。

[3023.757-3032.418] SPEAKER_01: 所以有种观点认为，情感会妨碍 智能，而不是一部分。我是俄罗斯人，所以 浪漫化情感、痛苦和对死亡的恐惧

[3032.498-3036.387] SPEAKER_01: 这些，在AI中更明显。顺便问，你最近看到

[3036.687-3046.125] SPEAKER_02: 网上有件事，好像是个俄罗斯人或斯拉夫人写的 有点反超级智能，我忘了，可能波兰人，不管了 他有很多观点，其中一个就是斯拉夫悲观主义

[3046.425-3055.202] SPEAKER_01: 我喜欢的，你记得那论点吗？就像什么都失败，所有都 很糟。那你觉得角色是什么？这想法很迷人 我们所谓的

[3055.282-3063.583] SPEAKER_01: 人类心智的极限，即情感、恐惧和所有那些 是智能不可或缺的。你能详细说说吗？比如什么

[3063.663-3065.752] SPEAKER_01: 你觉得这为什么重要？

[3065.832-3068.467] SPEAKER_01: 对于人类级别的智能

[3068.767-3075.013] SPEAKER_02: 从人类工作方式看，它极大影响我们感知世界 它影响我们如何决策、如何与人互动

[3075.093-3077.937] SPEAKER_02: 嗯，它影响我们理解他人，比如让我懂你

[3078.017-3081.325] SPEAKER_02: 你要做什么、可能做什么，我需要心智理论

[3081.405-3085.596] SPEAKER_02: 主要关于情感、动机和目标，为了理解这些

[3085.676-3087.823] SPEAKER_02: 我们有那个“三鸡教育”

[3087.903-3093.928] SPEAKER_02: 我们有完整的镜像神经元系统，我有点 通过模拟来理解你的动机，所以这不是

[3094.228-3100.671] SPEAKER_01: 我能证明它是必要的，但似乎很可能 《纽约时报》标题：我们不该被超级智能AI吓到

[3100.751-3106.614] SPEAKER_01: 还批评了斯图尔特·罗素和尼克·博斯特罗姆，能总结那篇

[3106.914-3114.414] SPEAKER_02: 文章关键观点？它由斯图尔特·罗素在《纽约时报》专栏引发 总结了他的《人类兼容》，文章说，如果我们

[3114.494-3125.070] SPEAKER_02: 如果有超级智能AI，需要让它价值观与我们对齐 它必须了解我们真正想要什么。他举例：如果我们有个 超级智能AI，交给它解决气候变化问题

[3125.150-3130.490] SPEAKER_02: 它决定 降低大气碳含量的最佳方法是杀死所有人类

[3130.570-3133.681] SPEAKER_02: 超级智能AI？这说不通。

[3133.761-3136.930] SPEAKER_02: 先想想超级智能是什么。 而且似乎

[3137.010-3147.586] SPEAKER_02: 超级智能不可能只在单一维度上聪明。 所有事物都这样。比如飞机想‘我要杀死所有小人’。 只考虑一个因素，找出所有步骤和最佳路径。

[3147.666-3157.882] SPEAKER_02: 解决气候变化，却没意识到人类不想被 杀死，还能实现一个目标而不引发另一个。博斯特罗姆在书里谈到 正交性假说，他认为一个系统

[3157.962-3160.736] SPEAKER_02: 价值观不必一致，正交性我完全不懂。

[3161.036-3170.997] SPEAKER_01: 没意义。你说在强大系统中，哪怕不是超级智能， 随着它越来越智能，会有一种整体性 某种张力自然出现，防止单一

[3171.297-3178.576] SPEAKER_02: 维度失控。对，博斯特罗姆举例说： 超级智能AI为了制造回形针，把世界变成回形针。

[3178.656-3182.080] SPEAKER_02: 之类。这个思想实验，我完全想不通。

[3182.380-3186.153] SPEAKER_01: 嗯，是思想实验，还是可能实现的事？

[3186.453-3192.641] SPEAKER_02: 两者都是。所以我认为 我的观点 专栏文章意在说明，智能比这些人想的复杂得多。

[3192.721-3201.382] SPEAKER_02: 它，理性、价值观、情感，这些都分不开。 你可以把维度全分开，造一个只有其中一个维度的机器。

[3201.462-3206.732] SPEAKER_02: 它在一个维度上超级智能，其他维度都没有。 这就是我要批评的，我不信。

[3207.032-3210.921] SPEAKER_01: 我念几句约书亚·本吉奥的话，他

[3211.001-3218.222] SPEAKER_01: 他口才很好。他写道，我和梅兰妮有同感。 我们的认知偏差跟学习解决问题的能力有关。它们可能

[3218.302-3224.768] SPEAKER_01: 也会限制人工智能。不过这个‘可能’带引号。事情也可能 未来机器能力有很多不确定性。

[3224.848-3238.840] SPEAKER_01: 但更重要是，价值对齐问题在我们达到某种 在超级智能出现前，已经是问题，并以超强形式构成了问题。 公司，它们的目标函数可能没和人类的整体

[3238.920-3246.640] SPEAKER_01: 福祉没对齐，造成有害副作用。他接着说 正交性这些东西，只是担心价值观和系统能力对齐。

[3246.720-3254.626] SPEAKER_01: 系统能力可能在类似出现前就出现了。 超级智能。所以你的批评， 它巧妙地说，超级智能系统似乎忽略了

[3254.706-3261.706] SPEAKER_01: 智能所需基本部分。然后约书亚就说，对，但是 如果我们看智能低得多的系统，也可能出现相同问题。

[3262.006-3269.169] SPEAKER_02: 问题。的确。但他举的例子，那些公司， 是人，对吧？就是人的价值观。 我们在说人。公司的价值观就是人的价值观。

[3269.469-3278.153] SPEAKER_01: 运营公司的人。但核心是算法。对的。 人做坏事，根本原因就在人本身。 对，但算法多少在控制这群人的行为。

[3278.453-3279.904] SPEAKER_02: 哪种算法？

[3280.204-3286.148] SPEAKER_01: 拿公司来说， 比如广告公司，推荐内容刺激参与， 靠参与赚钱，所以

[3286.228-3290.616] SPEAKER_01: 公司陷入循环，强化参与率的算法， 导致文化更分裂之类的。

[3290.916-3299.913] SPEAKER_02: 关键是谁说了算？ 关键是谁说了算？ 关键是谁说了算？ 关键是谁说了算？ 比如我们不想让算法有种族歧视。

[3300.213-3300.851] SPEAKER_01: 没错。

[3301.151-3310.555] SPEAKER_02: 人脸识别被批评，因为某些系统 对深色皮肤识别不如浅色好。 对的。 好，但那些机构用的面部识别算法本身

[3310.635-3317.972] SPEAKER_02: 不是机构自己的。这不是种族问题，而是 训练数据和摄像头这些因素的组合

[3318.052-3322.185] SPEAKER_02: 等等。我同意Bengio，我觉得 算法使用中有价值问题，但我理解

[3322.265-3328.069] SPEAKER_02: 罗素的论点更多是 算法和机器有自主权，自己决定 它拥有我们说的价值观

[3328.369-3329.019] SPEAKER_01: 是的

[3329.319-3335.089] SPEAKER_02: 所以只是程度问题？很难说，因为 但我觉得这和面部识别完全不同

[3335.389-3343.933] SPEAKER_01: 要深入探讨，你看马斯克、罗素 还有博斯特罗姆，他们担心AI风险 他们觉得迟早会发生，不知道多久

[3344.013-3348.924] SPEAKER_01: 会来。你也有这种担忧吗？对AI 接近存在威胁那种？

[3349.224-3352.010] SPEAKER_02: 所以我觉得有可能

[3352.090-3354.086] SPEAKER_02: 但还有更迫近的威胁

[3354.386-3357.381] SPEAKER_01: 你说比如一百年，所以时间线

[3357.681-3359.677] SPEAKER_02: 更长，超过一百年

[3359.977-3362.264] SPEAKER_01: 超过一百年了。这意味着。

[3362.564-3366.848] SPEAKER_02: 甚至可能超五百年。我也说不准，我是说，这…

[3367.148-3377.504] SPEAKER_01: 所以这些威胁太远了，未来——就是说，会有几百万种 我们现在根本没法预测的技术，会彻底改变 我们的行为、现实、社会等等，在那之前。

[3377.804-3391.994] SPEAKER_02: 对，我觉得是。我觉得是。 对，我觉得是。我觉得是。 对，我觉得是。我觉得是。 我觉得是。我觉得是。 我觉得是。而且，你知道，我们现在还有很多其他紧迫的生存威胁，

[3392.294-3393.408] SPEAKER_01: 比如核武器。

[3393.708-3396.900] SPEAKER_02: 核武器、气候问题，你知道，

[3396.980-3405.420] SPEAKER_02: 贫困、可能的流行病，例子可以一直列下去。但我觉得， 担心AI的生存威胁，并不是我们最该担心的

[3405.500-3414.079] SPEAKER_02: 优先事项。这是我的看法，因为我们离那还很远， 但我不是批评罗素或者 博斯特罗姆这些担心的人。我觉得有些人应该

[3414.159-3417.247] SPEAKER_02: 担心这个。当然没问题，但我更关注他们

[3417.327-3427.125] SPEAKER_02: 对智能的看法，智能到底是什么。所以我更关注他们对 超级智能的看法，而不只是担忧本身。而那本书的名字…

[3427.205-3431.094] SPEAKER_02: 文章是《纽约时报》编辑写的，我不那么叫。

[3431.394-3438.220] SPEAKER_01: 我们不用怕超级智能人工智能。 不。 如果你写，大概会说，该重新定义你说的超级智能。

[3438.520-3448.980] SPEAKER_02: 我其实说过，超级智能并不是，呃，是，是，是—— 不是一个连贯的概念，但这不像《纽约时报》会—— 放进去的内容。

[3449.280-3461.728] SPEAKER_01: 还有，约书亚的后续论点不是论点，只是个陈述，而且—— 我以前听过他说。我想我同意。他有一种非常友好的方式 他表达成让很多人相信不同的事是好的。

[3462.028-3464.373] SPEAKER_02: 他真是个好人。

[3464.673-3467.947] SPEAKER_01: 是的。嗯，但他实际上，就像是——

[3468.027-3481.079] SPEAKER_01: 我们不该这样。虽然你的文章存在，就像罗素做了不起的工作。博斯特罗姆 做了很多了不起的工作。你也做了了不起的工作。即使你们不同意关于 超级智能的定义甚至这个词的用处，有这样的人还是有用的。

[3481.159-3484.049] SPEAKER_01: 喜欢用这个词，对吧。然后争论。

[3484.349-3491.233] SPEAKER_02: 当然。我完全同意本乔的观点。而且我觉得这很棒，你知道—— 而且《纽约时报》发表所有这些很棒。

[3491.533-3504.562] SPEAKER_01: 没错。现在正是令人兴奋的时刻。什么—— 你觉得什么是智能的好测试？是—— 自然语言最终证明了你最初信服的版本吗？ 或者图灵测试更高层次是什么？对。

[3504.862-3517.180] SPEAKER_02: 我仍认为图灵测试最初想法是测试智能的好方法。 我想不出更好的。高级层次好比拿这术语说。 图灵测试至今的方式一直是，嗯，

[3517.260-3524.225] SPEAKER_02: 很贫乏，但真正图灵测试深入探讨就像 书里提到我谈了库兹韦尔和卡普尔。

[3524.305-3531.805] SPEAKER_02: 他们打赌2029年一台机器会通过图灵 图灵说他们有具体数小时专家评审。

[3531.885-3534.891] SPEAKER_02: 库兹韦尔说会，卡普尔说不会，还有九年见分晓。

[3534.971-3538.198] SPEAKER_02: 但如果机器通过那个测试，我愿称它智能。

[3538.498-3541.272] SPEAKER_01: 当然没人会，他们说那只是语言模型。

[3541.352-3552.952] SPEAKER_01: 对 如果做到了你会满意，所以语言长对话嗯是的，我是说 你说得对，可能需要那样长对话，你实际上 需要对世界有深刻常识理解，我觉得，而对话

[3553.032-3562.935] SPEAKER_01: 足以揭示，也许。另一个超有趣话题是复杂性，你 有 研究过写过程。问基本问题：什么是复杂性？复杂性是

[3563.235-3568.076] SPEAKER_02: 像智能一样被过度使用的术语，但我的复杂性书

[3568.156-3572.103] SPEAKER_02: 复杂系统领域很广，研究自然界各种系统。

[3572.183-3578.951] SPEAKER_02: 技术和社会 但思考如何一年内听一百万件不同的事。 就像是有一种

[3579.031-3584.917] SPEAKER_02: 제 Haupt 范围 科学家们 我们叫它智能或意识，你知道， 我们觉得它非常复杂。

[3584.997-3591.219] SPEAKER_02: 所以复杂性领域想找到 支撑所有这些系统的通用原理 具有这类涌现特性。

[3591.519-3602.014] SPEAKER_01: 而涌现发生在，比如说， 复杂系统底层通常很简单， 基本相互作用。 是的。 而涌现发生在有大量 大量这些事物相互作用时。

[3602.314-3602.848] SPEAKER_02: 是的。

[3603.148-3608.198] SPEAKER_01: 有点像什么，然后当今大多数科学， 能聊聊啥是还原论吗？

[3608.498-3614.999] SPEAKER_02: 还原论就是把系统拆成各个部分， 不管是细胞、原子还是， 亚原子粒子，不管你做哪行，

[3615.079-3618.921] SPEAKER_02: 接着去搞懂这些部分， 再建立对整体的理解，

[3619.001-3623.192] SPEAKER_02: 通过某种方式看 所有部分加起来是啥。 那，你觉得咱们谈到

[3623.492-3634.184] SPEAKER_01: 智能或者这种 有趣又复杂的系统时？ 能用还原论来理解它们吗？ 现在多数科学都这么搞，对吧？ 我觉得不一定能搞懂最想懂的东西。

[3634.484-3639.476] SPEAKER_02: 所以光看单个神经元理解不了 咱们说的智能，想通过加总，可加总

[3639.556-3645.302] SPEAKER_02: 问题就在这，比如人类基因组计划，对吧， 大家当时拼命测序人类基因组，因为觉得

[3645.382-3650.327] SPEAKER_02: 能找到致病基因，结果却发现， 我们能找到致病基因，可事实是，

[3650.407-3660.670] SPEAKER_02: 这个想法很还原论：先弄清各部分是什么，然后 然后找出哪部分导致什么，但事实是 这些部分并不产生我们感兴趣的，而是相互作用 这些部分

[3660.750-3665.521] SPEAKER_02: 这些部分的网络，所以还原论方法没能给出我们想要的 解释。

[3665.821-3668.572] SPEAKER_01: 你用过的最美的复杂系统是什么？

[3668.872-3669.928] SPEAKER_02: 最美的。

[3670.228-3675.197] SPEAKER_01: 让你着迷的？是不是有点像——对我来说，最简单的就是 细胞自动机。

[3675.497-3679.769] SPEAKER_02: 哦，对。我非常着迷细胞自动机。 研究它好几年了。

[3680.069-3686.895] SPEAKER_01: 你会不会觉得神奇，这么简单的系统，这么简单的 细胞自动机规则却能创造出无限复杂？

[3687.195-3689.122] SPEAKER_02: 是的，让我非常惊讶。

[3689.422-3697.885] SPEAKER_01: 你怎么理解？感觉如何？它最终只是 让人谦卑，还是希望用它获得更深理解，甚至 享受它？ 你怎么设计像智能这样的东西？

[3698.185-3704.628] SPEAKER_02: 这绝对让人谦卑。既谦卑又敬畏，因为 数学最神奇的是，这些简单规则能产生

[3704.708-3712.312] SPEAKER_02: 这种美丽又复杂的行为，而且很神秘， 而且令人惊讶。 它依然让人惊讶，但也兴奋，因为给了你希望

[3712.392-3716.095] SPEAKER_02: 也许能从简单规则中设计出复杂。

[3716.395-3728.030] SPEAKER_01: 从简单规则开始。能讲讲圣达菲研究所吗？ 它的历史、文化、思想和未来？我从未去过， 但它在我心中是个神秘的地方，那里有杰出的 人研究混沌的边缘。

[3728.330-3739.092] SPEAKER_02: 对的，没错。 嗯。 圣达菲研究所成立于1984年，由一群科学家创立， 很多来自洛斯阿拉莫斯国家实验室，离这儿40分钟车程。

[3739.172-3748.332] SPEAKER_02: 主要是物理和化学家，但他们对自身领域感到沮丧， 因为觉得领域没在探讨那些大问题， 没探讨我们聊的这种大型跨学科问题。

[3748.412-3755.552] SPEAKER_02: 他们想要一个地方，让不同学科的人 能研究大问题，不被局限在物理、化学或生物里。

[3755.632-3762.795] SPEAKER_02: 于是创办了研究所，参与者包括乔治·考恩等人， 考恩…… 呃… 嗯，嗯。

[3762.875-3772.998] SPEAKER_02: 还有尼古拉斯·梅特罗波利斯，数学家、物理学家。玛丽·盖尔曼，物理学家， 所以这里有些超级大牛。肯·阿罗，诺贝尔经济学奖得主。

[3773.078-3780.775] SPEAKER_02: 他们开始办这些研讨会。整个项目慢慢发展成 这个研究所，它一直差点垮掉，因为

[3780.855-3784.488] SPEAKER_02: 没有大笔捐赠基金。全靠各种钱撑着，

[3784.568-3787.621] SPEAKER_02: 捐款、资助、商业合作，什么都行。

[3787.701-3793.285] SPEAKER_02: 但这地方很棒。非常适合想那些平常想不到的点子。 我碰到了肖恩·卡罗尔，

[3793.585-3798.855] SPEAKER_01: 所以是物理学家。对，他是外部教员。 你提到有外部教员，还有一些人...

[3799.155-3814.668] SPEAKER_02: 常驻教员非常少，大约10人，任期五年， 有时能续。他们还有一些博士后， 然后还有一些博士后。然后还有一些博士后。 然后还有一些博士后。然后还有一些博士后。 然后更庞大的，大约100人左右的

[3814.748-3818.393] SPEAKER_02: 外部教员或像我这样来访问一段时间的人。

[3818.693-3823.162] SPEAKER_01: 那你怎么看圣塔菲研究所的未来？如果有人感兴趣，

[3823.242-3828.489] SPEAKER_01: 在公众互动或学生方面有哪些可能？ 和圣塔菲研究所有过互动吗？

[3828.789-3840.181] SPEAKER_02: 对，他们做了好几件事。他们有个复杂系统， 给研究生和博士后的暑期学校，老师有时也参加。这是个 四周的密集住宿项目，去那里听讲座，然后

[3840.261-3844.626] SPEAKER_02: 做项目。大家都很喜欢。就是很有趣。他们还有几个专业

[3844.706-3858.524] SPEAKER_02: 暑期学校。有个是计算社会科学的。还有个气候和 可持续性的，好像是这么叫的。还有个气候和可持续性的，也是这么叫。 有几个。他们还有短期课程，就几天，针对不同主题。

[3858.604-3866.487] SPEAKER_02: 他们还有个在线教育平台，提供很多不同的课程和 SFI老师教的课程，包括我教的一门复杂性入门课。

[3866.787-3871.628] SPEAKER_01: 太棒了。还有很多在线讲座。有特邀嘉宾什么的。他们举办很多

[3871.928-3880.426] SPEAKER_02: 各种活动。 对。有技术研讨会和学术报告，还有个社区讲座 系列，比如公开讲座，都放在YouTube频道上。所以你可以 看到所有内容。

[3880.726-3893.580] SPEAKER_01: 看看。道格拉斯·霍夫施塔特，《GEB》作者，你博士导师。他提到 几次，也是合作者。你跟他共事时有没有什么最喜欢的教训或回忆， 到现在还影响着你，我想？

[3893.660-3897.572] SPEAKER_01: 就算只是回顾你跟他共事的整个时期。

[3897.872-3902.481] SPEAKER_02: 所以他教会我的一件事是，当你面对一个复杂问题时，

[3902.561-3906.032] SPEAKER_02: 尽量往理想化去想，找到问题的本质。

[3906.112-3916.607] SPEAKER_02: 这就是“复制猫程序”的由来，通过类比制造出来。 我们怎么才能做到呢？ 尽量理想化，但要保留我们真正想研究的重点。

[3916.687-3919.717] SPEAKER_02: 这确实一直是我研究的核心。

[3919.797-3925.985] SPEAKER_02: 我继续这么做，真的深受物理学启发。霍夫施塔特是 物理学博士，那是他的背景。

[3926.285-3932.972] SPEAKER_01: 所以就像从第一性原理出发，简化到最根本的问题。 对。 这样就能专注解决那个基本问题了。

[3933.272-3943.465] SPEAKER_02: 对。以前人工智能常研究微观世界，比如积木世界 是很早的重要领域。但后来被批评说， “没法扩展到现实世界。”于是人们开始研究

[3943.545-3957.932] SPEAKER_02: 更贴近现实的问题。但现在好像又回来了，甚至回到积木世界， 我们看到很多人试图研究 更多这些很理想化的问题，比如自然语言 和常识。所以这些想法的演变挺有意思的。

[3958.232-3963.456] SPEAKER_01: 也许积木世界代表了 智力问题的基本挑战，比人们以为的更多。

[3963.756-3965.729] SPEAKER_02: 可能是吧，对。

[3966.029-3975.572] SPEAKER_01: 回顾自己的作品和生活，有没有一种感觉， 你在那么多领域工作过，什么事让你特别自豪？ 就你探索和创造的想法呢？

[3975.872-3980.214] SPEAKER_02: 所以我很自豪复制猫项目的工作，我觉得这和

[3980.294-3989.338] SPEAKER_02: 跟几乎所有AI研究都不同，那里有很多想法值得探索，我猜 我一生最快乐的日子之一，除了孩子出生，就是

[3989.418-3994.340] SPEAKER_02: ……的诞生。 ……的诞生。 复制猫的诞生，当它真正开始能做出

[3994.640-3997.890] SPEAKER_01: 很有趣的类比。我记得很清楚，那刻很激动。

[3997.970-4001.720] SPEAKER_01: 嗯，你算是给人工系统赋予了生命。

[4002.020-4003.273] SPEAKER_02: 对，没错。

[4003.573-4018.924] SPEAKER_01: 关于互动内容，我看到一个叫Metacopycat？ 是Metacat。 Metacat，还有一个Python3实现。 如果真想摆弄它，深入研究，这可能是 有趣的事。 但我认为融入深度学习或者其他

[4019.004-4024.274] SPEAKER_01: 其他工作也很重要。你会建议他们怎么进一步了解它？ 并在不同方向推进它？

[4024.574-4040.319] SPEAKER_02: 对，侯世达有本书叫《流体概念与创意类比》。 详细讲了Copycat，我还写了《类比作为感知》。 这是我的博士论文，代码也公开了。 嗯。 代码也有，可以用了。 代码公开，概念复杂但值得谈。 你可以运行它，

[4040.399-4042.964] SPEAKER_02: 我网页上有链接， 大家能下载代码。

[4043.044-4046.596] SPEAKER_02: 我觉得这是最好的方式， 来深入了解它。 深入进去，对。

[4046.896-4052.956] SPEAKER_01: 再玩一玩。 嗯，Melanie，很高兴和你聊。 我很享受这次对话。 谢谢你今天的时间。

[4053.256-4054.753] SPEAKER_02: 谢谢，很棒。

[4055.053-4070.032] SPEAKER_01: 感谢收听本次对话， 与Melanie Mitchell的对话。 也感谢赞助商Cash App。 下载它，输入代码LEXPODCAST， 你拿10美元，另10美元捐给FIRST， 这是个非营利STEM教育组织， 激励了数十万年轻人，

[4070.112-4085.149] SPEAKER_01: 去学习、梦想，设计未来。 喜欢这个播客？请在YouTube订阅， 在Apple Podcast给五星好评， 或在Patreon支持，Twitter找我。 最后，我用几句智慧的话结尾， 来自Douglas Hofstadter和Melanie Mitchell：

[4085.229-4097.918] SPEAKER_01: “没有概念，就没有思想。” “没有类比，就没有概念。” “有概念，就没有思想。” “有概念，就没有分析。” “没有noramination，就没有地图。”

[4098.218-4101.863] SPEAKER_00: 梅兰妮补充说： “如何形成并流畅运用概念，

[4102.163-4106.156] SPEAKER_01: 是AI最重要的开放问题。” 感谢收听， 下次再见。