太长不看
- StarSkirmish 是一个基准测试，让 LLM 为《星际争霸：母巢之战》编写机器人
- 每个 LLM 有一小时时间用 C++ 编写一个神族机器人，然后与其他 LLM 的机器人以及现成的人类编写机器人进行对战评估
- StarSkirmish 测试长时程推理和智能体编程能力，因为 LLM 必须将从练习赛中获得的经验融入其中，以改进其星际争霸机器人
StarSkirmish Bench 评估每个 LLM 在一小时实际时间内能编写出多强的星际争霸机器人。v0.2 在 StarSkirmish Bench v0.1 的基础上更新了来自 OpenAI、Anthropic、Google 和 Meta 的旗舰模型，每个模型均在其实验室的第一方 CLI 工具中运行。
LLM 的得分反映其对战一组有竞争力的人类编写机器人和演示机器人的胜率。
StarSkirmish Bench v0.2
1 小时运行，在其第一方 CLI 工具中。得分为每个模型 5 次运行对战一组有竞争力的人类编写机器人的平均胜率（0–100）。
Gemini 4 Argon 以 high 运行
，这是其可用的最高推理强度；其他所有模型均以 max 运行
。
GPT-6 Astra 是 StarSkirmish Bench v0.2 得分最高的 LLM，明显领先于第二名的 GPT-6.1 Sol。Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 在功能上并列其后，得分均在 37 到 39 之间。
StarSkirmish Bench 与成本对比
StarSkirmish Bench 得分与一次 1 小时运行的平均 API 成本对比。成本为对数刻度。
Muse Wonder Full 的定价基于 Muse Wonder 的 API 定价。
GPT-6.1 Sol 提供了独特的良好性价比：它是唯一处于最具吸引力象限的 LLM，以略高于 GPT-6 Astra 每次运行成本十分之一的价格获得第二名。
最强的人类编写机器人仍然远远领先于所有模型。面对 Stardust、PurpleWave 和 BananaBrain，最佳模型 GPT-6 Astra 仅赢得 7% 的对局。
对战顶级人类编写机器人的胜率
每个模型的 5 个机器人对战顶级人类编写机器人 Stardust、PurpleWave 和 BananaBrain 的平均胜率。
1 小时推理限制是一个因素，但这些比赛是在三张 2 人地图上进行的。真实的人类编写机器人锦标赛条件要困难得多。
Google 和 Meta 的新旗舰模型取代了 v0.1 的 Gemini 3.8 Flash 和 Muse Spark 1.3：Gemini 4 Argon 排名第 3，Muse Wonder Full 排名第 7。GPT-6 Astra 和 Claude Opus 5.5 已在 v0.1 中介绍过。
每次运行的智能体轨迹记录了它如何度过这一小时。模型得分的最强预测指标是它对战名单上 7 个最强机器人的练习量。
胜率与对战强敌练习量的关系
StarSkirmish Bench 得分与模型的中位数运行在一小时内对战 7 个最强名单机器人的练习赛数量对比。虚线为跨 9 个模型的线性拟合。
GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon 在一小时早期就开始与这些机器人对战，而它们自己的机器人此时仍会输给它们。Muse Wonder Full、Claude Haiku 5.5 和 GPT-6 Luna 很少或从不这样做。Claude Fable 5.1 是异常值：它几乎完全与较弱的机器人练习，却得到了 37 分。
运行间方差
各模型 5 次运行的胜率。每个点是一次运行的最终 bot；线段跨越最低到最高的运行，横杠标记它们的均值（该模型的 Bench 分数），色带表示一个标准差（σ）。
同一模型的不同运行之间结果也有差异。Gemini 4 Argon 的波动远大于其他实验室的旗舰模型：其最好与最差运行相差 18 分，而 GPT-6 Astra 为 9 分，Claude Opus 5.5 为 8 分。
每个 LLM 用 C++ 编写一个神族 bot，对抗
BWAPI 4.4.0，运行于
OpenBW。对局为神族对神族，在三张
天梯地图上进行：Heartbreak Ridge、Benzene 和 Destination。当一方的建筑
全部被摧毁时，一局结束。达到 60 分钟上限（86,400 帧）的对局按
BASIL 天梯的规则判定：击杀数 + 拆毁数得分更高者获胜。
LLM 从一个只会采矿的骨架 bot 开始，附带三个演示 bot 的源代码和两个标准 bot 库：FAP，一个战斗模拟器，以及 BWEM，一个地图分析器。一小时后其 bot 文件夹中的内容即为最终 bot，因此它必须保持 bot 可编译。
LLM 拥有编译其 bot、进行练习对局，以及读取每局摘要、记录和其 bot 自身日志的工具。练习对手分为若干层级：D（三个演示 bot）、C 和 B（各三个中排名的人类编写 bot）、A（BananaBrain、Locutus）和 S（Stardust、PurpleWave）。
每个模型的 5 个最终 bot 与 13 个名单 bot——10 个有竞争力的人类编写 bot 和 3 个演示 bot——各对战，在每张地图上使用全新种子对战 6 次。与 v0.1 不同，LLM bot 之间不互相对战。
StarSkirmish Bench v0.1 在同一个测试框架中以“高”推理运行每个模型。v0.2 在各自实验室的第一方 CLI 测试框架中，以其提供的最高推理设置运行每个模型。
测试框架
v0.1 在一个中立的第三方测试框架中运行每个模型；v0.2 在各自实验室的第一方 CLI 测试框架中运行每个实验室的模型。两个版本都给每个模型 1 小时。
Claude Opus 5.5
GPT-6 Astra、Sol、Luna
Gemini 3.8 Flash
Muse Spark 1.3
Claude Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5
GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna
Gemini 4 Argon
Muse Wonder Full
CLI 版本：Claude Code 2.1.296、Codex 0.162.1、Antigravity CLI 1.3.5 和 Muse Code 1.4.7。
推理强度
v0.1 以高推理强度运行每个模型；v0.2 以最高强度运行它们。
低
中
高
超高
最高
低
中
高
超高
最高
Gemini 4 Argon 以 high 运行
，即所支持的最高强度。
每个 v0.2 测试框架在约 250k token 时压缩模型的上下文。当对话接近该点时，CLI 会对其进行浓缩，模型继续运行。例如，OpenAI 的 CLI——Codex 为 GPT 模型提供其默认的 272k token 窗口，并在填充到 90% 时触发压缩。
CLI 的网页搜索和网页抓取工具被关闭，agent 没有其他互联网访问。CLI 在计时开始前安装，一小时从 agent 启动时开始计算。没有提交工具：测试框架在时间耗尽时收集 bot。
v0.2 用普通胜率取代了 v0.1 的 Elo 评分。一个 bot 的得分是其在锦标赛对局中的胜率，而一个模型的 StarSkirmish Bench 得分是其 5 个 bot 得分的平均值，从 0（每局皆负）到 100（每局皆胜）。
由于每个 bot 都对战同一套固定阵容，其比赛不依赖于场上其他 LLM bot。它们全部并行运行，新模型的 bot 无需重放其他任何人的对局即可评分。固定阵容也使标准随时间保持不变，因此不同代际模型的得分比在单一赛场内拟合的 Elo 评分更具直接可比性。
StarSkirmish 不再与最广泛报道的评测保持一致。它几乎不随 Artificial Analysis Intelligence Index 变动（ρ 0.26），在此处排名最高的模型 GPT-6 Astra 在这 9 个模型中仅并列第 4。它也与 Terminal-Bench 4.0 渐行渐远，而在 v0.1 中它曾与之紧密相关。Claude Sonnet 5.5 和 Muse Wonder Full 在 Terminal-Bench 4.0 中均排名接近榜首，但在此处却接近垫底。
基准相关性
每个模型的 StarSkirmish Bench 得分与其 Vals IOI 和 WeirdML v3 得分的对比，以及它们之间的 Spearman ρ。虚线为最佳直线拟合。
WeirdML v3 对 9 个模型中的 7 个进行了评分：截至撰写时，Gemini 4 Argon 和 Muse Wonder Full 尚未被纳入。
StarSkirmish 仍与 Vals IOI（用 C++ 解决的奥林匹克编程问题）以及 WeirdML（一个针对非常规机器学习编码任务的独立基准）保持一致。一种解读是，被最密集评测的评测集已成为模型被调优的目标，而对长周期、困难编码任务的针对性较弱的测试仍然同步变动。