Podcast Script (zh)
[0.120-4.508] SPEAKER_01: 先聊聊超级智能，从基础说起。 对你来说，智能是什么？
[4.808-13.352] SPEAKER_02: 我一般不太纠结定义。 常识上，就是解决复杂问题、从经验中学习的能力。 还有规划、推理等能力组合。
[13.652-15.428] SPEAKER_01: 意识和智能是一回事吗？
[15.728-18.734] SPEAKER_02: 智能可以很高，但可能没有意识。
[19.034-21.030] SPEAKER_01: 那么什么是超级智能？
[21.330-33.148] SPEAKER_02: 就是比人类认知能力更强的东西。 通常超级智能，学习更快、推理更强、 计划制定更有效。 它更有效地达成目标，比如在各种复杂挑战环境中。
[33.228-38.150] SPEAKER_02: 在广泛复杂挑战环境中，它更有效实现目标。 环境
[38.450-45.230] SPEAKER_01: 超级智能必须存在于物理世界，还是数字世界？ 超级智能必须物理存在，还是数字形式？ 只有一种吗？
[45.310-50.232] SPEAKER_01: 它能够…… 通过身体，与世界互动。 那能够… 它能直接影响物理世界吗？
[50.532-56.638] SPEAKER_02: 我觉得光数字化就够了。 某种意义上是物理的，计算机和存储器都是物理的。
[56.938-58.667] SPEAKER_01: 但它影响世界的能力……
[58.967-65.015] SPEAKER_02: 可能很强，就算执行器有限。 它能在屏幕上输入文字之类，就够了。
[65.315-71.514] SPEAKER_01: 所以，担心人工智能有威胁的话。 数字世界的人工智能怎么会有风险？ 数字系统的攻击方式是什么？
[71.814-79.615] SPEAKER_02: 嗯，退一步说，我也觉得。 机器智能，包括超级智能，潜力巨大。 我想强调，我写的东西是关于可能出错的。
[79.695-87.717] SPEAKER_02: 写《超级智能》时，我觉得有一种。 人们忽视了成功带来的后果，需要更细致。 理解隐患，才能避免。
[87.797-97.560] SPEAKER_02: 我认为2014年书出版后，人们更广泛认识到。 这一点。 很多研究团队正致力于开发，比如说，人工智能智能。 是的。 人工智能对齐技术等等。
[97.640-104.246] SPEAKER_02: 所以我觉得，现在得把积极的一面也摆回台面上来。 现在积极的一面有点被忽略了，你看啊，
[104.546-113.671] SPEAKER_01: 我前两天跟朋友聊，现在信息量那么大， 但大家讨论通用智能、觉得它好的时候， 其实远远不够。 对。 完全被公共讨论里的负面说法给压住了。
[113.751-114.749] SPEAKER_01: 有可能。
[115.049-118.439] SPEAKER_02: 是的。 这事真不好衡量。 那你能具体讲讲吗？
[118.739-124.869] SPEAKER_01: 通用智能或超级智能，对你来说有哪些大好处？ 呃，我习惯把超级智能分成两种情况来看，
[125.169-131.194] SPEAKER_02: 就是短期和长期的影响， 可以这么理解。 我觉得两者都值得想，大家也该都聊聊。 它们。
[131.274-144.244] SPEAKER_02: 但不一样，常被混淆，然后搞乱。 我觉得短期可能炒太热，长期又不够。 嗯，短期炒得太热，长期反而炒得不够。 长期的。 所以我觉得，把它们分开，就能好好聊两次。
[144.324-147.110] SPEAKER_02: 要是混一起，就只能瞎聊一次了。
[147.410-152.460] SPEAKER_01: 能说清楚点吗？ 就是…… 那我们在说的两个东西，短期和长期，到底
[152.760-161.525] SPEAKER_02: 有啥区别？ 嗯，这区别挺模糊的。 但比如我书里写的超级智能，那是长期的。 大家现在担心的，像算法歧视，或者
[161.605-174.657] SPEAKER_02: 自动驾驶、无人机这些，就更偏短期。 明白。 当然，还有中期的，比如…… 其实长期问题很多，有些重叠，一个变成另一个。 但不管怎样，我觉得问题看起来确实不一样，看
[174.737-177.430] SPEAKER_02: 你处在啥背景下。
[177.730-184.510] SPEAKER_01: 所以，如果能聊聊长期，想想一个更美好的世界， 因为有了长期超级智能。 你对那样的世界有啥想法吗？
[184.810-192.797] SPEAKER_02: 是的。 我的意思是，这很难说，因为世界有 很多问题，现在就这样。 而且很难想到哪个问题，有友好的
[193.097-202.535] SPEAKER_01: 对齐的超级智能来应对。 所以从健康到经济，能一定程度上改善投资 和贸易方面。 对。 还有外交决策等等。 类似的事情还有很多。
[202.615-204.890] SPEAKER_01: 我想问，杀手应用是什么？
[205.190-214.176] SPEAKER_02: 嗯，我觉得没有这种应用。 我认为AI，尤其是通用AI，是终极通用 技术。 所以不是说某个问题或领域会有巨大影响，
[214.256-225.044] SPEAKER_02: 但一旦成功，它会应用到所有领域，这些领域 人类的创造力和解决问题的能力都有用，几乎覆盖所有 领域，对吧？ 它要做的就是让我们对自然有更多控制。
[225.124-236.701] SPEAKER_02: 它不会自动解决人与人冲突的问题，从根本上说 政治问题。 有些子集可能消失，资源技术更多的话，但有些 但有些子集需要协调，不是自动实现的
[236.781-247.264] SPEAKER_02: 光靠更强技术就能自动实现 但其他情况，认知技术铺开，你会大幅提升 再说一次，不是人们看不到现有技术可能，有时会过度炒作
[247.344-256.608] SPEAKER_02: 但这些观点可以同时成立，终极潜力巨大 然后另一个问题：离目标多远？近期技术能做什么？ 没错 那你对智能爆炸有什么直觉？
[256.688-265.569] SPEAKER_02: 从近期到长期，自然觉得现在做ML需大量工作才能通用，但又有指数提升的直觉 你提到了智能爆炸
[265.869-280.314] SPEAKER_01: 能解释一下你对智能爆炸可能性的直觉吗？不是渐进缓慢，而是会有… 那你对智能爆炸有什么直觉？ 当你开始考虑从近期跨出那一步时 从长远看，自然倾向，对我来说，像是构建机器学习
[280.394-288.613] SPEAKER_01: 当今系统达到通用智能需大量工作，但还有… 一些关于指数增长和智能提升的直觉 我是说你提到了智能爆炸
[288.693-294.997] SPEAKER_01: 能说说你对这种可能性的直觉吗？ 智能爆炸不是渐进缓慢的，可能会有… 有个相位偏移？
[295.297-303.482] SPEAKER_02: 对，我们不知道它多炸，但似乎... 挺可能的。 嗯。 我认为会有智能爆炸，AI进步极快，达到人类水平后概念瓦解。
[303.562-312.164] SPEAKER_02: AI进步飞快，核心能力接近人类，人类概念瓦解，但爆炸性多大？ 智能爆炸要什么程度？一夜之间还是几年？
[312.244-321.125] SPEAKER_02: 如果看大家意见，我比一般AI研究者更倾向智能爆炸。 智能爆炸的另一面是进步，一旦进入人类杠杆的灰色区。 对。
[321.205-322.934] SPEAKER_02: 嗯。 对。 好。
[323.234-336.762] SPEAKER_01: 所以，有超级智能后，我们是否应该能够？ 一旦进入人类杠杆的灰色区域。 对。 嗯，对。 对。 对。 所以，如果你有个超级智能，你真的觉得我们应该能？ 超越它才能达到超级智能？
[337.062-347.418] SPEAKER_02: 是的。 这似乎是，我们从未有过的最明显部分。 人们意见不同，聪明人也一样。 宏大未来哲学问题，总有些不确定性。
[347.498-353.662] SPEAKER_02: 人类会犯错，尤其在这些事上。 但我觉得，似乎是这样。 人类认知能力有上限的可能性极小。
[353.962-360.451] SPEAKER_01: 这是一个非常特殊的时刻，既令人恐惧。 创造超越我们智能的系统很激动人心。所以退一步
[360.531-368.216] SPEAKER_01: 这种可能性让我们创造某种东西吗？感觉 就像跨过一条线，它就比你聪明。因此 感觉就像失去控制的一步。
[368.516-375.702] SPEAKER_02: 不，并非你想的那样。事实上，这正是 许多人正努力确保我们最终能 发挥更高解决问题的能力，同时确保它们
[375.782-381.203] SPEAKER_02: 保持一致，服务于人类价值观。所以失去控制 并非必然发生。现在你问我感受。
[381.283-389.862] SPEAKER_02: 我与这种想法共存很久，从有记忆以来 从青少年到成年，显然应该是这样。 总有一天，人工智能会成功。
[390.162-395.490] SPEAKER_01: 我其实说错了。不是控制，是控制问题。 这问题有意思。希望是我们至少能保持
[395.570-401.200] SPEAKER_01: 对更聪明系统的控制。但我们失去了特殊性。 我们会失去地球上最聪明最酷的地位。
[401.280-410.242] SPEAKER_01: 这涉及自我，人类不擅长处理。 就是说，我很珍视人类的智慧。这像是重大变革。 意识到有更智能的东西。你不会觉得这
[410.322-412.191] SPEAKER_01: 从根本上说，是这样——
[412.491-427.377] SPEAKER_02: 嗯，对，我觉得很多。这真的很小。已经有很多 外面有很多东西……我是说，当然如果…… 是的。 如果你觉得宇宙很大，那就有其他文明已经拥有 超级智能，或者生来就有沙滩球大的大脑，完全
[427.457-433.819] SPEAKER_02: 把我们远远甩在后面。我们还没跟他们面对面相遇。 还没面对面相遇，但这是个悬而未决的问题。
[433.899-443.860] SPEAKER_02: 后人类世界会怎样？这些超级智能会在多大程度上 介入普通人生活？你可以想象一种场景，其中 它更像背景存在，帮助防范某些事，但你
[443.940-455.285] SPEAKER_02: 不会……就是没有那种讲俏皮话让你难堪的侵扰方式。 你的实验里，很多事人类会觉得尴尬。 说到那个，你不想当最笨的。大家都会选。还有很多...
[455.365-465.128] SPEAKER_02: 有些事你得跳出来看。对。 你想想这个背景，我们的设施某种程度上... 超越了所有人类。 就像整个科学界，如果你把它看作... 一个心智。
[465.208-474.089] SPEAKER_02: 这是个比喻，但它比任何个体都宽广。 比任何个体都强。 所以，已经有了类似心智的东西，它远比... 比新个体聪明。
[474.169-476.223] SPEAKER_02: 好吧，你接受这个事实就行。
[476.523-488.379] SPEAKER_01: 这是我们存在的基础，有个超级智能的东西。 是的，你会习惯的。 谷歌、推特、脸书这些推荐系统... 是我们基本结构的一部分。 我能看到它们在变成... 你指集体智慧吗？
[488.459-492.429] SPEAKER_01: 你觉得这些系统智能达到超级智能了？ 超级智能水平？
[492.729-509.531] SPEAKER_02: 就是说，这就涉及到智能的概念、规模和人类水平到底啥意思。 这些概念模糊不清，怎么回答那个问题变得很关键。 比如谷歌搜索，在某个特定能力上特别强。 能记住和找出你给的关键词相关的文字或图片。
[509.611-522.164] SPEAKER_02: 这方面它超过人类，但其他很多事它完全不行，不只是做得差。 所以现在AI在某些有限领域超过人，其他所有领域远不如人。 就像国际象棋，或者一个算超大数字的简单计算机。
[522.244-532.100] SPEAKER_02: 它只有这一个超级智能尖峰，其他认知领域几乎为零。 对。 我不一定觉得通用性多重要，没那么执着，但这确实是灰色地带，是一种感觉。
[532.180-545.650] SPEAKER_02: 但对我来说，阿尔法零比深蓝聪明得多，非常非常聪明。 至于领域嘛，可以说两者都只是棋盘游戏。 所以它只有这一个超级智能尖峰，然后就是 其他所有认知领域能力为零。 嗯。
[545.950-554.506] SPEAKER_01: 我不一定执着于这种普遍性，但它 是个灰色地带，一种感觉。 但对我来说，有点像阿尔法零。 它比深蓝聪明得多，非常非常聪明。
[554.586-564.863] SPEAKER_01: 要说属于哪个领域，嗯，两者都只是桌游。 他俩只能玩棋盘游戏。 谁管他们做得好不好？ 但学习和自我对弈，让它跨越， 进入不一定要通用的智能领域。
[564.943-572.083] SPEAKER_01: 同样，谷歌更接近深蓝。 就搜索引擎来说，更接近阿尔法零。 当它成为，推荐系统更像
[572.163-577.004] SPEAKER_01: 阿尔法零，但能大量学习不受严重限制。 由人类交互，那是个特殊时刻。
[577.304-586.499] SPEAKER_02: 我是说，学习能力是通用智能的重要方面。 对。 你可以进入全新领域，没为此专门 预设程序，然后搞清发生了什么，最后变得非常 擅长它。
[586.579-592.500] SPEAKER_02: 所以这是阿尔法零比深蓝更具备的。 其实，阿尔法零能学习，不只围棋，还有其他，
[592.800-594.831] SPEAKER_01: 可能在国际象棋上击败深蓝。 对。
[595.131-606.720] SPEAKER_02: 所以你看，这确实是通用的。 这跟直觉相符。 它更智能，通用学习能力也更强。 这种能力。 如果系统有更强的通用学习能力，它可能 让人更强烈地觉得它们变聪明了。
[607.020-614.078] SPEAKER_01: 如果要选，有AGI的乌托邦什么样？ 比如脑机接口世界，我们和AI 紧密相连？ 对。 AGI系统。
[614.158-621.205] SPEAKER_01: AGI会完全取代我们，但保留价值观和 意识？ 是不是无形的结构，像你说的社会， 只是帮我们做事，比如治病？
[621.285-623.920] SPEAKER_01: 如果可以选，你理想的乌托邦什么样？
[624.220-633.345] SPEAKER_02: 对。 这是个好问题，也深刻又困难。 我非常感兴趣。 我没有所有答案。 我还没有全部答案，或许永远没有。 但可以分享一些不同的观察。
[633.425-641.726] SPEAKER_02: 一是如果真发生，就会打开广阔空间。 这是可能的生存模式。 一方面，物质和资源的限制会大大放宽。
[641.806-650.408] SPEAKER_02: 比如说，蛋糕会变得很大。 对吧？ 而且，它还能让我们做很多事，包括改变自己。 它会开创前所未有的巨大设计空间和选择空间。
[650.488-662.936] SPEAKER_02: 这在人类历史上从未有过。 所以我认为可以得出两点。 第一，我们可能需要彻底反思终极价值。 就是我们所珍视的东西。 是的。 是的。 环境将截然不同，我们可能只是沿用老办法。
[663.016-670.574] SPEAKER_02: 哦，对了，我们有清洁机器人可以清洗。 水槽里的碗碟和其他小东西。 我认为必须回到第一原理去思考。
[670.874-676.365] SPEAKER_01: 所以即使在个人层面，回到第一原理：什么是意义。 生命的意义？ 什么是幸福？ 什么是成就？
[676.665-685.744] SPEAKER_02: 是的。 对。 而且，跟这个庞大资源空间有关，如果能，即使 有可能，我觉得我们应该追求在多个价值标准下都表现好。
[685.824-692.871] SPEAKER_02: 也就是说，不用只选一个价值标准，然后说我们要做 比如只追求某个指标得高分，其他得零分。
[692.951-701.194] SPEAKER_02: 就像电刺激大脑的快乐装置，带来愉悦，这挺好， 但缺乏美感、成就感这些。 我觉得在某种显著但不是无限的意义上，
[701.274-709.691] SPEAKER_02: 有可能在多个标准上都表现得非常好。 比如选项空间大了，我们或许能在多个标准上得到98%的最佳结果。 所以...
[709.771-719.813] SPEAKER_02: 于是，相互竞争的价值体系和标准就像永恒的... 就像民主党和共和党，社会似乎总需要多个党派 来推动进步。
[720.113-727.241] SPEAKER_01: 尽管... 就像民主党和共和党之争，似乎总是存在多个政党。 对我们社会进步有用。 尽管...
[727.321-731.628] SPEAKER_01: 现在看可能不太对，但多元价值体系似乎 我觉得这对权力平衡有好处。
[731.928-744.875] SPEAKER_02: 所以这不算我原本想的，但可能间接地 没错，但如果你有机会做一件事，它在多个方面得分很高 面对不同指标，第一反应应该是去做，而不是马上转向
[744.955-747.950] SPEAKER_02: 那些我们准备牺牲的价值观？
[748.250-751.721] SPEAKER_01: 我觉得第一反应是，先尽量在各方面都做好。
[752.021-759.509] SPEAKER_02: 可能你无法各方面都做到100%，就得进行艰难的 对话，讨论哪个只能得97%。
[759.809-766.693] SPEAKER_01: 就是这样。 我有点愤世嫉俗，觉得什么都要权衡，你会说，也许 这个权衡不算太糟。 至少先试试看。
[766.993-776.153] SPEAKER_02: 嗯，这是个独特背景，至少一些限制条件 对吧？ 一些限制条件会消失。 所以最终可能还得权衡。 但我们应该先确保利用这种丰富性。
[776.233-783.953] SPEAKER_02: 所以考虑时，对，人们应该想，在这种 慷慨包容不同价值观的心态下，看看能走多远 大家能最先到那儿。
[784.033-787.283] SPEAKER_02: 而且我觉得，按很多标准，大家能做好事。