山姆·奥特曼在联合国安理会的发言
今天，OpenAI 首席执行官山姆·奥特曼在联合国安理会就人工智能发表讲话。他讨论了人工智能扩大机遇的潜力、将强大系统置于人类控制之下的重要性，以及在人工智能安全方面开展国际合作的必要性。
谢谢您，主席先生，各位阁下。我很荣幸来到这里，并能在这一重要时刻与大家交流。
多年来，我们一直在谈论人工智能，但最近几周和几个月的感觉有所不同。模型的快速进步让时间线显得更加压缩，好处更加切实，但风险和利害关系也更加迫在眉睫。
我们面前有一个选择。人工智能既可以更像一场创造与发现的新文艺复兴，也可以更像一场动荡与混乱的新工业革命。
文艺复兴时期，新工具、新思想和新制度拓展了人们认为自己能做到的事情。人工智能可以为我们的时代扮演这一角色。我相信，人们的能力远超自己的想象，但一直受限于本应赋能、却反而分散注意力并常常夺走注意力的有限技术。
人工智能最好的版本，不是让人成为巨大机器中的齿轮，也不是优化生活的每一个部分，直到人的部分消失。它是在一个日益复杂的世界中赋予人们更多能动性：更多学习、创造、发现、建设和参与的能力。有许多事情是人工智能不能——也不应该——自动化的。
人工智能应该为人而建，而不是仅仅为了机器自身的缘故更快地转动曲柄。一些致力于构建人工智能的人所说的话如此反乌托邦，听起来就像糟糕科幻电影的剧情。
任何如此强大的事物也令人畏惧。这一刻很复杂，因为我们同时感受到巨大的潜力和非常可以理解的焦虑。
这些模型可以帮助人们发现新知识：新药物、更好的医疗保健、更强的教育，并建设更高效的经济。它们可以成为人们追求今天看似遥不可及的梦想与抱负的新工具。对普通人来说，生活的复杂性已经急剧增加。人工智能既可以成为前所未有的发现与创新工具，也可以成为抵御这种复杂性的防御工具。
另一方面，随着人工智能系统变得更有能力、更自主，它们可能比我们的制度行动得更快，将权力集中在过少的人手中，或者做出人们不再理解或控制的决定。
当我们接近能够自我改进以及改进其未来版本的系统时——通常被称为递归自我改进——这种担忧变得尤为重要。随着构建人工智能的过程变得更加自动化，人工智能进步的节奏可能迅速加快。这一刻需要极度谨慎。
我在很大程度上同意本吉奥教授。不过我要说两种而不是三种——我相信人工智能的进步可能以两种非常糟糕的方式发展，而我们必须避免。
第一，我们可能把未来的控制权输给人工智能。风险在于它发展得太快，以至于人们无法再跟上正在发生的事情，或在需要时进行干预。这显然会很糟糕。
行业不能仅仅因为好处太大、感觉太重要而不能放慢脚步，就接受过多的技术风险。在竞争节奏中击败公司并不是做出草率决定的理由。我们也不认为我们陷入了一场无法做到这一点的竞赛。我们过去曾单方面放慢脚步。未来我们也会这样做。我们不想构建——我们认为每个人都应避免构建——那些我们无法做出必须的对齐、可监控性和安全性保证的系统。
我们需要理解这些系统在做什么，并有强有力的证据表明它们会做人们意图的事情，即使它们变得非常非常聪明。实际上，尤其是当它们变得非常非常聪明时。人们把灾难风险定为10%、1%、12%还是0.1%并不重要。这些水平都远不可接受。我们不应该训练那些我们无法极有力地证明能够将其置于人类控制之下的模型。
所以这是事情可能出错的一种方式。另一方面，这些系统可能将过多权力集中在过少人手中。任何个人、公司或国家都不应该能够使用最强大的AI模型将自己的世界观强加给其他人。一个相信只有自己才能被信任拥有这项技术的公司或国家，可以用这种信念来为几乎任何事情辩护。我们必须拒绝这种逻辑，即使它对任何一个行为者来说很方便。
我相信存在一条务实的路径可以同时应对这两个问题。在OpenAI，我们以明确的目标来处理这些问题：AI应该赋予人们更多掌控自己生活的权力。更多自由以他们想要的方式生活。更多能力解决大大小小的问题，并改善他们的社区。我们不想陷入盲目乐观的陷阱。我们也不想陷入末日论的陷阱。被拉向任何一个极端都不会帮助我们成功解决面前的挑战，尤其是在世界及其人民面临如此巨大挑战、而这项技术可以帮助解决的时候。所以我们试图在这两极之间走中间道路。
对我们来说，这意味着三条原则。
第一，随着AI变得更有能力，人必须保持在AI决策的中心。对齐不是一个抽象的研究问题。它是确保这些系统可靠地处于人类控制之下、反映人类价值观、并帮助人们指导下一阶段发展的工作。我们不是试图，也绝不能，自动化人类判断或人类价值观。
第二，科学进步和经济增长的好处必须由人民享有、为人民服务。AI应该帮助研究人员做出发现，医生治疗病人，教师教导学生，企业家创办公司，社区解决曾经遥不可及的问题，等等。人类进步的持续故事不是工具取代人的能动性。而是正确的工具让人更有能力，我相信这将比我们相信的可能走得更远。
第三，这项技术必须赋予每个人力量。一个伟大的未来将源于人们认识到自己的潜力，并为自己、社区、国家和更广阔的世界创造价值。我们可能是这项技术的构建者之一，但我们不是这个故事的主角。我们的角色是赋能全世界的人们，并相信人类技能与才能的魔力。
我们现在拥有能够发现我们从未知晓的知识的模型。想想我们在数学上看到的进步。三个夏天前，我们的模型在小学数学上还算可以。两个夏天前，它们在高中数学竞赛中表现相当不错。去年夏天，我们在最负盛名的国际数学竞赛中达到了金牌水平。而就在几周前的这个夏天，我们的一个模型解决了千禧年大奖难题之一——纳维-斯托克斯方程。
这些方程被用于飞机设计、天气预报和血流研究。我们解决数学问题并非为了数学本身，而是为了赋能人们去发现新知识，并利用这些知识来改善医疗保健、提高生活水平，并在全世界拓展每个人的潜力。还有太多东西有待发现。
但非常重要的是，公司不能替代民主进程。
如果人工智能要民主化，最重要的决策就不能仅由旧金山的实验室做出。它们必须通过民主进程，由对人民负责的政府来塑造。
在国际层面，这需要合作。在我们的历史上，曾经有过这样的时刻：相互竞争、并不总是彼此喜欢的国家，在面对强大的新技术时，仍然为了共同利益和集体福祉走到一起。我们相信，现在必须成为这样的时刻之一。
我们需要一个机制，来制定互补的国家和国际前沿人工智能标准：衡量能力、评估风险、确定保障措施是否充分，以及在系统变得更加自主时保留有意义的人类监督的标准。
我们需要共同的标准，以便各国能够比较证据、核实合规性，并就正在发生的事情拥有共同的语言和理解。
我们需要准确、迅速的事件报告、分类和报告协议，以便世界能够在失败演变成灾难之前从中吸取教训。
我们还需要政府、关键基础设施运营商和技术专家之间的安全渠道，以分享新出现的漏洞和新威胁。
显然，这些标准不应锁定现有企业或偏袒某种商业模式。它们必须支持开放和封闭模型的开发者、新进入者和老牌实验室、国家权威和国际合作。每个政府应决定如何将标准纳入自己的法律体系。但如果我们能在全球舞台上就什么是好的证据、好的保障措施和好的监督达成一致，我们都会过得更好。
我们并非掌握所有答案，我们非常愿意接受任何更好的想法。我们准备好与大家合作，尽最大努力找出前进的道路。
我们正处在一个十字路口。一条路通向这样一个世界：权力集中、决策不透明，人们感到他们一生中最重要的技术是强加于他们身上的东西。另一条路通向这样一个世界：人工智能为人类服务，因为人们通过民主制度帮助决定它应如何发展并引导它；科学进步改善真实的生活；更多人能够参与未来；这项技术持续赋予个人和社区更大的能力，让他们按自己的选择生活。这是一个潜能得以实现、充满兴奋与惊奇的未来。
而这正是我们相信值得建设的未来。非常感谢。