今天，OpenAI 首席执行官 Sam Altman 在联合国安全理事会就人工智能发表讲话。他谈到了 AI 扩大机会的潜力、让强大系统始终处于人类控制之下的重要性，以及在 AI 安全方面开展国际合作的必要性。
现场发言实录
谢谢主席先生，各位阁下。我很荣幸能在这个重要的时刻来到这里，与大家交流。
我们谈论人工智能已有多年，但最近几周、几个月，感觉已经不同以往。模型的快速进步让时间线显得更加紧迫，让好处更加触手可及，同时也让风险和利害关系更加迫在眉睫。
摆在我们面前的是一个选择。AI 可以更像一场创造与发现的新文艺复兴，也可以更像一场动荡与混乱的新工业革命。
文艺复兴时期，新的工具、新的思想和新的制度拓展了人们对自身能力的认知。AI 可以在我们这个时代扮演同样的角色。我相信，人们的能力远比他们想象的要强，只是一直被有限的技术所束缚，这些技术本意是赋能于人，结果却分散并常常偷走人们的注意力。
AI 的最佳形态，不是让人成为庞大机器中的齿轮，也不是把生活的每个部分都优化到人性的成分消失殆尽。它应当让人们在日益复杂的世界里拥有更多自主权：更强的学习、创造、发现、建设和参与的能力。有许多事情是 AI 无法——也不应该——自动化的。
AI 应当为人而建，而不只是为了让机器自身更快地运转。一些参与构建 AI 的人所说的话非常反乌托邦，听上去就像糟糕科幻电影的情节。
任何如此强大的东西也都令人生畏。这一刻很复杂，因为我们同时感受到巨大的潜力和完全可以理解的焦虑。
这些模型可以帮助人们发现新知识：新药物、更好的医疗、更强的教育，并建设生产力更高的经济体。它们可以成为人们追求如今看来遥不可及的梦想和抱负的新工具。对普通人来说，生活的复杂程度已大幅上升。AI 既可以是前所未有的发现与创新工具，也同样可以成为抵御这种复杂性的防护工具。
另一方面，随着 AI 系统变得更强大、更自主，它们可能跑得比我们的制度更快，使权力集中到过少的人手中，或做出人们不再理解、也无法控制的决策。
当我们接近能够改进自身及其未来版本的系统，即通常所说的递归自我改进时，这种担忧就格外重要。随着构建 AI 的过程越来越自动化，AI 进步的速度可能会急剧加快。这一时刻需要格外谨慎。
我基本同意 Bengio 教授的看法。不过我要说的是两点而不是三点——我认为 AI 的发展有两种可能走向非常糟糕的方式，我们必须避免。
第一，我们可能把未来的控制权丢给 AI。风险在于它发展得太快，以至于人们无法再跟上正在发生的事情，也无法在需要时介入。这显然会是一场灾难。
业界不能仅仅因为收益太大、觉得太重要而不愿放慢脚步，就接受过多的技术风险。在竞争中领先其他公司，不是做出草率决定的理由。我们也不认为自己被锁定在一场无法放慢的竞赛中。我们过去曾单方面放慢过速度，将来也会这样做。我们不想构建那样的系统——我们认为所有人都应避免构建那样的系统——即我们无法给出必须做到的对齐、可监控性和安全保证的系统。
我们需要理解这些系统在做什么，并拥有强有力的证据表明它们会按人们的意图行事，即使它们变得非常、非常聪明。其实尤其是在它们变得非常、非常聪明的时候。无论人们把灾难风险估计为 10%、1%、12% 还是 0.1%，这些水平都完全不可接受。对于那些我们无法给出极为有力的理由、证明能将其置于人类控制之下的模型，我们就不应该训练。
这是事情可能出错的一种方式。在另一个方向上，这些系统可能把过多的权力集中到过少的人手中。任何个人、公司或国家，都不应该能够利用最强大的 AI 模型把自己的世界观强加给所有其他人。如果一家公司或一个国家认为只有自己才值得托付这项技术，它就可能用这种信念为几乎任何其他行为辩护。我们必须拒绝这种逻辑，即使它对某个行为方来说很方便。
我相信有一条务实的道路可以同时避开这两种风险。在 OpenAI，我们带着一个明确的目标来看待这些问题：AI 应当让人们对自己的生活拥有更多掌控力。拥有更多自由，按自己想要的方式生活。拥有更强的能力去解决大大小小的问题，改善自己所在的社区。我们不想陷入盲目乐观的陷阱，也不想陷入末日论的陷阱。被拉向任何一个极端，都无助于我们成功应对眼前的挑战，尤其是在当今世界和世人面临如此巨大的挑战、而这项技术恰能帮助解决的时刻。因此，我们努力走这两个极端之间的中间道路。
对我们来说，这意味着三条原则。
第一，随着 AI 变得更强大，人必须始终处于 AI 决策的中心。对齐不是一个抽象的研究问题。它的工作是确保这些系统可靠地保持在人类控制之下，反映人类价值观，并帮助人们引导下一阶段的发展。我们不是在尝试、也绝不能去自动化人类的判断或人类的价值观。
第二，科学进步和经济增长的成果必须由人创造、为人所享。AI 应当帮助研究人员做出发现，帮助医生治疗患者，帮助教师教导学生，帮助创业者创办公司，帮助社区解决曾经看似遥不可及的问题，等等。人类进步的一贯故事，并不是工具取代人的自主权，而是合适的工具让人更有能力，我相信这一点会比我们想象的走得更远。
第三，这项技术必须赋能于每一个人。美好的未来，将来自人们发挥自身潜力，为自己、社区、国家乃至更广阔的世界创造价值。我们或许是这项技术的建设者之一，但我们不是这个故事的英雄。我们的角色是赋能世界各地的人们，并信任人类技能和才智的魔力。
我们现在已有能够发现前所未有的知识的模型。看看我们在数学上看到的进展。三个夏天前，我们的模型做小学数学还算可以。两个夏天前，它们在高中数学竞赛上已相当出色。去年夏天，我们在最负盛名的国际数学竞赛中达到了金牌水平。而就在几周前的今年夏天，我们的一个模型解决了千禧年大奖难题之一——纳维-斯托克斯方程。
这些方程被用于飞机设计、天气预报和血液流动的研究。我们解数学题不是为了数学本身，而是为了赋能人们发现新知识，并用它来改善医疗、提高生活水平、拓展全世界每个人的潜能。还有太多东西有待发现。
但非常重要的一点是，企业不能取代民主程序。
如果 AI 要做到民主，那么最重要的决定就不能仅由旧金山的实验室来做。它们必须通过民主程序来塑造，并由对其所服务的民众负责的政府来决定。
在国际层面，这需要合作。纵观历史，有些时候，彼此竞争、也不一定喜欢对方的国家，在面对一项强大的新技术时，仍然为了共同利益和集体福祉走到一起。我们认为现在必须成为这样的时刻。
我们需要一种机制，使国家层面与国际层面的前沿 AI 标准相互补充：包括衡量能力、评估风险、判断保障措施是否充分，以及在系统日益自主的情况下保持有效人类监督的标准。
我们需要共同的标准，让各国能够比较证据、核查合规情况，并对正在发生的事情拥有共同的语言和认知。
我们需要准确而迅速的事件报告，以及分类和上报协议，使世界能在失败演变成灾难之前从中学习。
我们还需要在政府、关键基础设施运营方和技术专家之间建立安全渠道，以分享新出现的漏洞和新威胁。
显然，这些标准不应固化既有巨头的地位，也不应偏袒某一种商业模式。它们必须同时支持开源和闭源模型的开发者、新进入者和老牌实验室，以及国家权威和国际合作。各国政府应自行决定如何将标准纳入本国法律体系。但如果我们能就什么是好的证据、好的保障措施和好的监督在全球层面达成一致，我们所有人都会过得更好。
我们并没有所有的答案，也非常欢迎任何更好的想法。我们愿意与各位合作，竭尽全力找出前进的道路。
我们正处在十字路口。一条路通向这样一个世界：权力高度集中，决策不透明，人们觉得自己这一生中最重要的技术，是别人对自己做的事。另一条路通向这样一个世界：AI 为人服务，因为人们通过民主制度，帮助决定它应当如何发展并引导它；科学进步改善真实的生活；更多人可以参与未来；这项技术持续赋予个人和社区更大的力量，去过自己选择的生活。这是一个潜能得以实现、充满期待与惊奇的未来。
这也是我们认为值得去建设的未来。非常感谢。