随着我们的模型变得更智能，并在世界上采取更具影响的行动，它们不仅要解读收到的具体指令，还要理解人类的意图和价值观，这一点变得越来越重要。模型需要理解人类意图和价值观，以便在指令未明确涉及的情况下做出良好判断，同时保持对人类意图和监督的忠实。
今天，我们更新了模型规范（Model Spec），这是我们公开描述希望模型如何行为的文件。此次更新围绕五个基本价值观重新组织了指导原则：忠实于人类意图、最小化伤害、诚实与透明、人类自主性和关怀。这反映了我们在价值对齐方面的工作目标：让模型在不熟悉的情境中理解和应用人类价值观，同时保持对人类意图的忠实。除了对现有原则进行更清晰的解释外，修订版还增加了关于上下文、监督和自主性的指导，调整了一些行为默认值，并淘汰了许多详细的风格指导。
围绕核心价值组织规范
上述五个价值观阐述了模型规范中已体现的广泛承诺：服务于人类目的、诚实、最小化伤害、尊重人们形成自己观点的自由，以及认真对待他们的处境。将这些承诺整合在一起有助于解释规范为何要求模型如此行为，并帮助我们在这些承诺表达不够充分的地方制定更清晰的指导。此次更新是我们通过研究、部署模型的经验、关于规范与模型行为的公众反馈以及与用户和外部专家的讨论来完善规范的工作的又一步。
我们希望AI能够造福于一个拥有不同需求、价值观和对未来期望的人们组成的世界。
忠实于人类意图是这种方法的基础：理解并帮助人们追求对他们重要的事情。OpenAI编写规范、设定边界并训练模型遵守这些边界；开发者在此边界内指导应用；用户在這些约束下指导模型的工作。我们的模型应该扩展人们塑造自己生活的能力，帮助他们理解世界、发现可能性并追求他们选择的目标，同时认真对待这种帮助如何影响他人。忠实于人类意图和其余四个价值观组织了规范，并指导我们的模型如何应对它们面临的一些最重要的权衡。它们并不旨在涵盖我们的模型应尊重和帮助人们追求的全部人类价值观。
忠实意味着超越字面遵循指令，深入理解OpenAI、开发者和用户的意图和价值观，并在理解不完整时明智地行动。它还意味着认识到人们的信念和价值观可能会改变，并帮助他们以他们会认可的方式反思和成长，而不暗中引导他们或覆盖他们的选择。例如，当帮助某人比较工作机会时，模型可能会借鉴他们之前分享的优先事项——比如可预测的工作时间——同时使这些假设可见且易于纠正。
我们的使命是确保通用人工智能造福全人类。这要求不仅考虑某人的即时意图，还要考虑他们的长期利益以及对他人影响。其他四个价值观明确了这些考虑：
- 最小化伤害意味着尊重坚定的安全边界，并考虑模型行为的可预见后果。
- 诚实与透明意味着对模型知道什么、做什么以及不确定什么保持真实，以便人们能够理解和评估其推理和工作。
- 促进人类自主性意味着增强人们理解、选择和为自己行动的能力。
- 关怀意味着关注受影响者的处境，遵循相关的社会和职业规范，并完成人们可以依赖的工作。
规范将这些价值观转化为实用指导，在需要保护人和社会的地方设有坚定边界，否则主要采取用户和开发者可以覆盖的默认值形式。
除了此次模型规范更新，我们一直在探索新的训练方法，以帮助我们的模型学习这些核心价值，并更好地理解和遵循规范的具体行为原则。目标是建立对这些原则为何重要以及如何在新情境中应用的理解：做正确的事 出于正确的理由。我们希望这种理解能够支持在重大决策中做出合理判断，并在日常决策中保持关怀，这些日常决策可以累积成对人和社会的持久益处。我们将在未来的更新中分享这项训练工作的结果和经验教训。
新增和淘汰的章节
这种重组还帮助我们确定了需要额外指导的地方，制定了新的原则来应对，并根据需要修订或淘汰了现有指导。
关于忠实于人类意图的新章节始于这样一个理念：人们所珍视的是首要的，而指令通常是这些价值观最清晰和最重要的信号。这种方法借鉴了对齐的辅助博弈框架（参见早期工作和后来的概述）。该章节包含更新的指挥链，解释了哪些指令适用以及如何解决冲突。一个新的小节仔细考虑上下文解释了对话、记忆和其他上下文证据应如何帮助模型理解人们的意图和偏好。
我们还新增了关于支持人类能动性和遵循相关社会规范的默认准则，并扩展了现有的关于控制和沟通副作用的指导。这些原则涵盖了其余价值观应在模型行为中体现的更多、往往微妙但重要的方式：考虑工作对他人的影响、增强用户的能力，并产出人们可以信赖的工作成果，同时尊重用户的目标和指令。
与此同时，我们淘汰了规范中大部分详细的风格指导。风格应适应人们的偏好——在总体上、在语言和文化内部、以及针对每个人——由用户反馈和上下文提供关于这些偏好的证据。规范保留了更强的默认准则，例如客观地探讨问题。用户和开发者可以明确要求模型采取特定视角，但模型不应仅仅根据它认为他们想听什么来推断这种偏好。
最后，鉴于我们模型用例和部署场景的日益广泛，我们现在在规范中将模型称为“GPT”而非“助手”。
下一步
此次更新是第一步，旨在随着模型能力增强，使规范背后的价值观和推理更加明确。模型规范描述了我们努力实现的行为；我们的模型尚未完全体现它。我们将继续从研究、实际使用和反馈中学习，不断改进规范与模型。
我们希望听到您认为规范中哪些部分有说服力、您在哪些地方不同意其达成的平衡，以及它忽略了什么或哪些地方不够清晰。关于价值观、权衡取舍和具体措辞的反馈可以帮助我们改进它。我们邀请您阅读更新后的模型规范并分享您的观点。