计算机科学 > 分布式、并行与集群计算
[提交于 2026年9月19日]
标题:DeepSeek Elastic Compute (DSec):面向大规模高效智能体训练的沙箱基础设施
摘要:基于大语言模型(LLM)的大规模智能体训练与评估依赖于隔离的、有状态的执行环境,模型在其中检查代码仓库、调用工具、执行命令,并与特定任务的服务交互。这些工作负载会以大规模突发方式创建沙箱,跨越异构的功能与隔离需求,在长时间交互中保持状态,并从复用率有限的大型镜像语料库中获取资源。因此,支持这些工作负载需要一个弹性执行平台,而非单一的沙箱运行时。
本报告介绍 DeepSeek Elastic Compute (DSec),这是一个生产级沙箱平台,通过统一的 SDK 对外提供 FnCall、容器、microVM 和完整 VM 沙箱后端。DSec 在集群范围内协调放置与生命周期管理,从独立版本化的层组合环境,结合内存共享、回收与 CPU 调度以实现高密度执行,并按需从 Fire-Flyer File System (3FS)——一个集群范围的分布式文件系统——加载镜像数据。DSec 与强化学习(RL)框架协同设计,将有状态的 rollout 执行与可抢占的 GPU 训练解耦,协调沙箱生命周期与训练以在回收空闲资源的同时保留 rollout 状态,并缓解奖励黑客等智能体不当行为。
DSec 的单个生产规模单元覆盖约 160 个节点,每天服务约 300 万个沙箱;在生产环境中,它支持超过 38 万个并发沙箱,并维持每秒超过 5,000 次沙箱创建。我们的评估与部署经验表明,这些机制降低了环境搭建与镜像分发的开销,提升了内存效率,并在高密度超配下保持了延迟敏感型性能。
参考文献与引用
加载中...
文献与引用工具
Bibliographic Explorer
Connected Papers
Litmaps
scite Smart Citations
(什么是 Smart Citations?)# 与本文相关的代码、数据与媒体
alphaXiv
CatalyzeX Code Finder for Papers
DagsHub
Gotit.pub
Hugging Face
ScienceCast
(什么是 ScienceCast?)# 演示
推荐与搜索工具
Influence Flower
CORE Recommender
(什么是 CORE?)# arXivLabs:与社区协作者共同开展的实验性项目
arXivLabs 是一个框架,允许协作者直接在我们的网站上开发和分享新的 arXiv 功能。
与 arXivLabs 合作的个人和组织都认同并接受了我们开放、社区、卓越和用户数据隐私的价值观。arXiv 致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有能为 arXiv 社区增添价值的项目想法吗?了解有关 arXivLabs 的更多信息。
