随着我们的模型变得更强大，相关的安全风险也变得更大，我们能够检测潜在问题并在需要时迅速停止模型运行变得越来越关键。为了解决这个问题，我们构建了 Control Room。
Control Room 是一个中央系统，用于跟踪我们研究基础设施中的模型工作负载，并在出现安全或安保问题时快速停止它们。它连接了所有研究推理工作负载，包括用于模型训练和评估的智能体采样、数据处理等。它与我们的失准监控系统协同工作，并在决定干预以停止或暂停作业后的 35 秒内停止模型输出。它的构建使其即使在其他系统故障时也能继续工作，并且在 Control Room 本身宕机时也能停止模型输出。
Control Room 已部署在我们需求最大的研究基础设施中。我们的外部模型服务栈本质上已经更加集中化，并具备完善的运维能力，可以在需要时快速下线模型部署。
工作原理
Control Room 通过集成几个系统来工作：工作负载、推理引擎和集中式的Control Room 服务。
- 工作负载是正在运行的作业，例如强化学习实验、评估、大批量采样或数据处理作业。我们要求每个执行智能体推理的研究工作负载都必须关联一个经过批准的安全案例。
- 推理引擎，或简称引擎，就是模型本身。你可以把引擎看作模型的大脑，直接在 GPU 上运行。一个工作负载通常使用一个或多个模型，这些模型可能运行在一个或多个不同的推理引擎上。同一个推理引擎可能被多个不同的工作负载使用。
- Control Room 服务跟踪作业并控制它们是否被允许继续生成模型输出。引擎在满足请求之前会向 Control Room 服务检查。如果作业已被停止，服务会拒绝请求，阻止进一步输出。
Control Room 的集成方式如下：
- 当开始一个新作业时，工作负载代码向 Control Room 请求一个新的 job_id。
- 每当工作负载需要从模型采样 token 时，它向运行该模型的推理引擎发出请求，并传递 job_id。引擎向 Control Room 请求许可来满足该请求，并将 job_id 传递给 Control Room。
- Control Room 检查该作业是否已被终止，如果是，则拒绝推理请求。引擎以拒绝响应工作负载的推理请求，从而停止为该作业生成进一步的模型输出。
研究员
研究作业
<No job ID yet>job_042
推理引擎
在 GPU 上运行模型
Control Room
步骤 1
研究员决定启动作业
流程始于研究员启动作业——例如，一个实验或一个评估。
Control Room 的工作原理
示例：对监控警报做出反应
我们所有的前沿强化学习作业都在监控器下运行。监控器是另一个模型，它检查被训练模型所做的一切，并在检测到问题时发出警报。例如，我们最近的DNS 相关事件就是由监控器捕获的。
Control Room 和我们的监控系统的集成方式如下：
- 如果监控系统检测到潜在问题，根据细节和严重程度，监控系统可能决定停止作业。
- 在这种情况下，监控系统向 Control Room 发送消息以停止作业，并传递 job_id。Control Room 记录该作业已终止。
- 下次具有该 job_id 的作业向任何引擎上运行的任何模型发出推理请求以采样更多 token 时，该请求将被拒绝，从而停止进一步的模型输出。
速度和可靠性
从 Control Room 收到停止作业的指令到无法进一步推进之间的最长时间为 35 秒。35 秒的延迟来自推理授权的缓存层，以支持所需的流量。我们正在努力将这个数字降至零，以便能够立即结束作业。
工作负载，包括实验、评估作业等，通常由研究员或研究员团队拥有和操作。因此，工作负载代码经常变化，不是实现关键承载安全保护的理想场所。因此，我们的实现设计为对有缺陷或损坏的工作负载代码具有弹性。
我们通过在推理层实现终止机制来实现这一点。工作负载代码高度多样且分散。相比之下，在所有 OpenAI 研究中使用的推理代码路径非常少，并且它们的部署更加集中和统一。这意味着推理层可以作为一个瓶颈，我们可以获得强有力的保证，即研究中运行的所有模型推理在每个推理请求上都受到 Control Room 授权检查的约束。我们还运行持续的智能体和程序化扫描，以检查用户不会意外或恶意启动未实现或禁用 Control Room 的流氓引擎实现。
最后，我们的系统“故障关闭”，这意味着引擎中的 Control Room 集成配置为：如果 Control Room 服务因系统错误或任何其他原因（包括恶意行为者的篡改）而宕机或被禁用，则所有推理请求都将被拒绝，直到 Control Room 恢复正常运行。故障关闭现已推广到所有前沿模型研究工作负载，并将在未来几天内完成在所有剩余研究工作负载中的推广。
Control Room 只是我们实现安全前沿模型训练与部署的整体方法中的一部分。未来几个月，我们将继续加强和扩展该系统，同时继续投入对失准行为和安全漏洞的监控。如果你想帮助构建用于安全可靠地开发和部署 AGI 的系统，我们正在招聘！