九篇论文，若只当作清单来读，信息量太大。更好的读法是看它们处在技术栈的哪一层。前沿 AI 不是在单独某一层构建出来的，而是从智能体一路向下到 GPU 内核的研究共同造就的成果；如果周围各层跟不上，任何一层的收益都会被浪费。
这正是我们工作方式的核心。从顶层的前沿智能体到底层的内核，我们的研究触及每一层，每一层又为下一层提供养分。研究成果会成为 Together 平台的一部分，而在该平台上运行的生产工作负载，又为我们指出下一个研究问题。我们在 ICML 上发表的自适应推测解码论文 Aurora 就是一个明显的例子：同一条研究脉络，如今已作为我们的 ATLAS 推测器在生产环境中上线。
以下是今年的工作，按层次自上而下逐层介绍。
01前沿智能体
能干实事的智能体，并在无法蒙混过关的任务上接受衡量。
DSGym10 余个领域的 1,000 多项任务
ThunderAgent智能体推理最高快 3.6 倍
TTT-Discover超越人类最佳成绩，使用开放模型
02模型塑造
把基础模型变成推理者，即便没有标准答案可供核对。
RARO25% 胜率，无需验证器
V1正确答案最多增加 10%
03算法优化
降低每个词元的成本，让推测解码能随实时流量自适应。
Aurora流量变化时提速 1.25 倍
04系统优化
在同样的 GPU 上塞下更多：更长的上下文、更大的批次、更快的 MoE 解码。
Untied Ulysses单节点支持 5M 词元上下文
OEAMoE 解码最高快 39%
05内核
技术栈的基石：原始硬件在这里转化为可用的速度。
ParallelKernelBench87 项多 GPU 内核任务
前沿智能体
技术栈的顶层：构建能干实事的智能体，并诚实地衡量它们。
论文 1
DSGym：用于评估和训练数据科学智能体的整体框架
1,000 多项任务
10 多个领域，一套 API
10 多个领域的 100 多项数据科学任务，统一在同一套评估与训练 API 之后。数据科学智能体一直很难被公平地衡量：每个基准测试都有自己的接口，而且其中许多任务根本不用打开数据就能解出来。DSGym 将衡量标准化，并堵上了这个漏洞。
它把多样的评估套件放在同一套 API 之后，为数据集、智能体和指标提供共享抽象，并让每项任务在自包含的执行环境中运行，智能体必须真正处理数据，而不能靠回忆答案。在经过改进的现有套件之上，它还新增了 90 项基于学术文献的专家级生物信息学任务，以及 92 项端到端的 Kaggle 式建模竞赛。同一环境随后可以反过来充当训练引擎：轨迹生成和合成查询流水线产出经过执行验证的数据，我们用这些数据把一个 4B 模型训练成了最先进的开源数据科学智能体，全程无需人工标注。诚实评估、用同一套测试框架合成数据、微调、再评估，全部在一个框架内完成。
作者：Fan Nie、Junlin Wang、Harper Hua、Federico Bianchi、Yongchan Kwon、Zhenting Qi、Owen Queen、Shang Zhu、James Zou。合作者来自 Stanford、Duke 和 Harvard。
论文 2
ThunderAgent：一个简单、快速且感知程序的智能体推理系统
最高 3.6×
智能体吞吐量
智能体工作负载的服务吞吐量提升 1.5 到 3.6 倍，接入只需三行代码。并行智能体工作负载在高负载下不再崩溃，而解决办法并不是换一个更快的模型。
问题在于，推理引擎完全不知道自己运行的是智能体。它把多轮工作流中的每一步都当作孤立的请求，使延迟在高负载下最多膨胀 7.14 倍。ThunderAgent 把工作流本身变成调度器可以端到端推理的一等对象。除了吞吐量提升之外，它还让 RL 采样（rollout）快 1.8 到 3.9 倍，并比最先进的系统最多节省 4.2 倍磁盘空间。
作者：Hao Kang、Ziyang Li、Xinyu Yang、Weili Xu、Yinfang Chen、Junxiong Wang、Beidi Chen、Tushar Krishna、Chenfeng Xu、Simran Arora。合作者来自 Georgia Tech、CMU 和 UIUC。
论文 3
在测试时学习发现（TTT-Discover）
超越人类最佳成绩
开放模型，约 $500
在数学、GPU 内核、竞赛算法和生物学四个领域取得最先进的发现，全部使用开放模型。此前达到这一水平的所有结果，都依赖封闭的前沿模型，而这些模型藏在无法检视或自行运行的 API 之后。TTT-Discover 用一个开放的 120B 模型和一套不作改动的方法就达到了这一水平，每个问题只需几百美元。
AI 发现的通常做法是搜索：对一个冻结的模型提示数千次，再保留最好的样本。TTT-Discover 则不同，它在测试时针对眼前这一个问题运行强化学习，于是每一次尝试都成为下一次的训练数据，模型在工作过程中不断改进；在相同的采样预算下，普通的 best-of-N 始终追不上。同一套设置原封不动，就在数学领域为一个有 60 年历史的 Erdős 问题给出了更紧的界（超过了此前使用封闭模型创下的 AI 纪录），发现了一个比 GPUMode 排行榜上此前最佳提交更快的 GPU 内核，在一场竞技编程比赛中取得了相当于第一名的成绩，并在生物学的单细胞去噪基准测试上刷新了最高纪录，这一切都基于开放的 gpt-oss-120b。代码和创下纪录的内核均已公开。
作者：Mert Yuksekgonul、Daniel Koceja、Xinhao Li、Federico Bianchi、Jed McCaleb、Xiaolong Wang、Jan Kautz、Yejin Choi、James Zou、Carlos Guestrin、Yu Sun。合作者来自 Stanford、NVIDIA、UC San Diego 和 Astera Institute。
模型塑造
如何训练和塑造模型：推理、微调与强化学习。
论文 4
摆脱验证器：通过示范学习推理（RARO）
25% 对 5.9%
对比专家 · 无验证器
对专家回答的胜率达到 25%，而监督微调只有 5.9%，且完全不使用验证器。在诗歌创作或金融分析这类没有检查器的任务上，也能获得 RL 级别的推理能力，而不仅限于数学和代码。
基于 RL 的推理通常假定存在一个能给正确性打分的验证器。RARO（Relativistic Adversarial Reasoning Optimization）用一场对抗博弈取而代之：同一个模型既是产出专家级答案的策略，又是相对性评判者（relativistic critic），后者学习从两个回答中挑出更好的一个。带有平局选项的成对比较是训练稳定的关键。在 Countdown 上，RARO 尽管不使用验证器，准确率仍达到 54.4%，而使用真实验证器的 RL 为 57.7%；相比之下，SFT 或迭代 DPO 最高不超过 40.7%。学到的评判者还可以兼作测试时的重排序器，在 7B 规模上把 DeepMath 从 57.5% 提升到 68.4%。
作者：Locke Cai、Max Ryabinin、Ivan Provilkov
论文 5
V1：统一并行推理器的生成与自我验证
+10%
Pass@1 · 相同算力
从你已经付过钱的生成结果中，多挑出最多 10% 的正确答案。收益来自更好的答案选择，而不是更多的算力。
在没有标准答案（oracle）的情况下采样大量答案时，对每个答案独立打分是行不通的：评判者几乎给所有答案都打 10 分满分，失去了区分能力。V1 把选择重新定义为比较，借助近线性的瑞士制锦标赛（Swiss-tournament）验证器来实现。其训练方案 V1-PairRL 教会单个模型同时生成答案，并对自己的输出做成对验证，即便完全不做测试时验证，基础准确率也得到了提升。
作者：Harman Singh、Xiuyu Li、Kusha Sareen、Monishwaran Maheswaran、Sijun Tan、Xiaoxia Wu、Junxiong Wang、Alpay Ariyak、Qingyang Wu、Samir Khaki、Rishabh Tiwari、Long Lian、Yucheng Lu、Boyi Li、Alane Suhr、Ben Athiwaratkun、Kurt Keutzer。合作者来自 UC Berkeley、NVIDIA 和 Mila。
算法优化
让推理的数学运算更省：推测解码、量化、RL 推理。
论文 6
当强化学习遇上自适应推测式训练：统一的训练-服务系统（Aurora）
1.25×
流量变化时
在 MiniMax M2.1 229B 和 Qwen3-Coder-Next 80B 这类全新的前沿模型上，第 0 天即可获得 1.5 倍加速；在流量变化时，相比强力的静态推测器还能再提速 1.25 倍。这样的推测解码第 0 天就很快，而且运行得越久越快。
大多数部署会离线训练推测器并将其冻结，因此部署缓慢，而且会随着流量和目标模型的变化而过时。Aurora 将在线推测器学习重新定义为在生产环境中运行的异步强化学习问题：被接受和被拒绝的词元就是奖励信号，训练服务器持续更新推测器，新权重则零停机地热切换到服务器中。
作者：Junxiong Wang、Fengxiang Bie、Jisen Li、Zhongzhu Zhou、Zelei Shao、Yubo Wang、Yinghui Liu、Qingyang Wu、Avner May、Sri Yanamandra、Yineng Zhang、Ce Zhang、Tri Dao、Percy Liang、Ben Athiwaratkun、Shuaiwen Leon Song、Chenfeng Xu、Xiaoxia Wu。
系统优化
训练和服务模型的系统：解耦、批处理、调度、上下文并行。
论文 7
Untied Ulysses：通过按注意力头分块实现内存高效的上下文并行
5M 词元
单节点 · 内存约降 87.5%
在单个 8xH100 节点上训练 5M 词元上下文，注意力内存最多减少 87.5%。无需更大的集群，也能在很长的上下文上训练。
注意力层内部的激活内存限制了长上下文训练，而增加 GPU 并不能抬高这个上限。UPipe 每次只处理少量注意力头，并在各阶段之间复用相同的缓冲区，在 32B Transformer 上将注意力峰值内存最多削减 87.5%。结果是单节点即可支持 5M 词元，比此前的方法多出约 25%，两节点可支持 8M 词元，同时吞吐量与它们持平。它可以在相同的 FlashAttention-3 内核上直接替换 DeepSpeed-Ulysses，代码已开源。
作者：Ravi Ghadia、Maksim Abraham、Sergei Vorobyov、Max Ryabinin。
论文 8
机会式专家激活：无需重训练、感知批次的专家路由，实现更快解码（OEA）
最高 39%
MoE 解码更快
MoE 解码延迟最多降低 39%，无需重新训练，也无需改动架构。批处理悄悄破坏掉的稀疏性，可以被免费地找回来。
混合专家（Mixture-of-Experts）模型本应很省，因为每个词元只会用到少数几个专家，但一旦做批处理，这种稀疏性就会瓦解：批大小为 16 时，一个每个词元需要八个专家的模型，最终会加载约 82 个专家。OEA 的批感知路由分两个阶段在推理时恢复稀疏性，其中第二个阶段让各词元共享批次中已加载的专家，以零延迟代价换回质量。在 AIME24、GPQA、LiveCodeBench 和 MATH 500 上准确率保持不变，且只有一个超参数需要调节。
作者：Costin-Andrei Oncescu、Qingyang Wu、Wai Tong Chung、Robert Wu、Bryan Gopal、Junxiong Wang、Tri Dao、Ben Athiwaratkun。合作者来自 Harvard 和 Princeton。
内核
技术栈的基石：原始硬件在这里转化为可用的速度。由 FlashAttention、ThunderKittens 和 Megakernel 背后的团队打造。
论文 9
ParallelKernelBench：多 GPU Kernel 生成的 LLM 基准测试
87 个工作负载
多 GPU 内核基准测试
我们构建了首个多 GPU 内核生成基准测试。它包含 87 个真实的分布式工作负载，而当今最好的前沿模型能解决的不到三分之一。
ParallelKernelBench 从 Megatron-LM、DeepSpeed、NeMo-RL 和 TensorRT-LLM 等生产代码库中选取 87 个问题，涵盖 12 种并行形式。每个问题都要求模型把基于 PyTorch 和 NCCL 的参考实现，替换为使用对称内存、通过 NVLink 直接通信的 CUDA 内核。零样本情况下，最好的模型通过了 87 个中的 28 个。在带有编译、正确性和性能反馈的智能体循环中，Gemini 3 Pro 的正确数从 24 个升至 35 个，并在 26 个上超过了 PyTorch 基线。其中少数几个比任何公开可得的实现都跑得更快。单 GPU 代码生成正在被攻克，多 GPU 才是卡壳之处，因为决定上限的是通信，而不是计算。
作者：Willy Chan、Nathan Paek、Simon Guo、Simran Arora、Daniel Y. Fu。
论文：https://www.alphaxiv.org/abs/2606.parallel-kernel-bench
数据一览
1,000 多项任务
10 多个领域，一套 API
DSGym
最高 3.6×
智能体吞吐量
ThunderAgent
超越人类最佳成绩
开放模型，约 $500
TTT-Discover
25% 对 5.9%
对比专家 · 无验证器
RARO
+10%
Pass@1 · 相同算力
V1
1.25×
流量变化时更快
Aurora
5M 词元
单节点 · 内存约降 87.5%
Untied Ulysses
最高 39%
MoE 解码更快
OEA
87 个工作负载
多 GPU 内核基准测试
ParallelKernelBench
首尔现场，在这里找到我们
九篇论文均入选 ICML 2026，大会 7 月 6 日至 11 日在首尔举行。欢迎到 B714 展位，深入了解这些工作。
Together AI @ ICML 2026
COEX，首尔 · 7 月 6 日至 11 日B714 展位 · 全周开放
论文日期 & 时间 · 首尔 KST环节
前沿智能体
DSGym
周四 7/9 · 下午 2:30 – 4:15
#66567
ThunderAgent
周二 7/7 · 上午 10:30 – 中午 12:15
#62040
TTT-Discover
周二 7/7 · 下午 5:00 – 6:45
#62199
模型塑造
RARO
周四 7/9 · 上午 10:30 – 中午 12:15
#61507
V1
周四 7/9 · 下午 5:00 – 6:45
#64825
算法优化
Aurora
周四 7/9 · 上午 10:30 – 中午 12:15
#66675
系统优化
Untied Ulysses
周四 7/9 · 下午 5:00 – 6:45
#66102
OEA
周三 7/8 · 上午 10:30 – 中午 12:15
#62958
内核
ParallelKernelBench
周五 7/10 · 上午 8:00 – 下午 5:00
DL4C · B2 厅
我们整周都会在展位。欢迎来：
1/ 与论文作者面对面，聊聊这九篇论文中的任何一篇
2/ 看看这些研究在生产中的应用，从智能体到生产推理
3/ 认识团队，了解我们接下来在做什么
来和我们一起打造
我们正在招聘研究员和研究工程师，希望你能跨越整个技术栈工作，而不只是局限于某一层。查看开放职位请访问 together.ai/careers，或者直接来展位找我们。
其他朋友：可以预约在首尔见面，浏览完整的研究博客，并在 X 上关注 [@togethercompute]，大会期间深度解读文章会陆续发布。