今天发布了 Muse Spark Open 的一个版本,兑现了他们最初的承诺,但该模型比他们的 Spark 1.3 更弱。同样值得一看的是 Tesla Roadster 的演示——严格来说不算 AI,但没有什么比现实中的飞行汽车更酷了。
我们今天的头条报道是一个关于可解释性与对齐的罕见话题。我们上次关注 Goodfire 是在 2 月:
以及去年与 Anthropic 关于可解释性方法的苦涩教训式扩展:
而现在,Goodfire 的 Nick Cammarata 发表了一篇重要文章,阐述了他的工作理论:“神经网络已经是干净的”——表明许多已知的多义性和叠加现象——导致难以被人类解释的权重“结”——其实只需进一步的智能体分析即可化解:
别只听我们的一面之词:
而 P(doom) 的全球性下降似乎值得庆祝:
2026 年 10 月 14 日至 2026 年 10 月 15 日的 AI 新闻。我们检查了 12 个 subreddit、[544 个 Twitter 账号],没有发现更多 Discord。[AINews 网站]让你可以搜索所有过往期刊。提醒一下,[AINews 现在是 Latent Space 的一个栏目]。你可以[选择订阅/退订]邮件频率!
AI Twitter 回顾
Meta 发布 Muse Spark Open,美国得分最高的开放权重模型
发布:Meta 发布了 Muse Spark Open,一个总参数 816B / 激活参数 42B 的 MoE,具有 100 万 token 的上下文窗口。它接受文本、图像、视频和音频输入,面向编程、长时程智能体和多步推理(公告、Wang 的推文串)。血统:Jack Rae 表示,这是在新 MSL 组织下训练的第一个基础模型,并为开放发布进行了额外训练(Rae)。多位发帖者将其描述为大致相当于 Muse Spark 1.2 的水平(Yuchen Jin、TimDarcet)。许可证:权重以自定义的 Muse Model License 发布。它要求注明“Built with Muse Spark Open”,并且年收入超过 2000 万美元的模型即服务(Model-as-a-Service)业务需要另行签订协议(AA)。Nathan Lambert 称该许可证“垃圾”(natolambert)。
架构:据 vLLM 称,该模型有 62 个解码器层,全部为 MoE,每层 256 个专家,每个 token 激活 8 个。一个潜在 MoE 池化器(latent-MoE pooler)将隐藏状态从 8,192 投影到 4,096 用于专家计算,然后再投影回来。注意力是混合式的:46 层使用 2,048 token 的滑动窗口,16 层关注完整上下文。图像和视频经过一个感知编码器(Perception Encoder),音频使用一个单独的 118M 编码器(vLLM arch)。设计对比:Elie Bakouch 指出,Muse 是唯一没有共享专家的美国主要开源模型。它还使用门控残差、每层约 9 个归一化以及类似 muP 的乘数,包括 1/sqrt(专家数量) 的路由因子(overview)。
独立测量:Artificial Analysis 在其智能指数(Intelligence Index)上给它打 39 分。这在美国开放权重模型中排名第一,但落后于 GLM-5.3(45)和 Kimi K3(44)(AA,Rundown)。优势:它在每个指数任务上使用 40k 输出 token,是九个得分最高的开放模型中最少的。它还在 AA-Omniscience(25)上领先开放模型。劣势:在该指数的四项智能体评估中,它在上述九个模型中排名最后。GLM-5.3 的全部 6 分领先都来自该智能体部分。
定价与部署:在 Together、Fireworks 和 Baseten 上的发布定价为每 1M 输入/输出 token 1.25 美元/4.25 美元(缓存输入 0.15 美元)。AA 计算这相当于每个指数任务 0.84 美元,而 GLM-5.3 为 2.01 美元,DeepSeek V4.1 Flash 为 0.27 美元。Together 提供免费端点直至 10 月 18 日(Together)。硬件占用:BF16 权重约为 1.6TB。NVFP4 检查点仅量化专家,约为 530GB,可在 4× Blackwell Ultra、8× H200 或通过 MLX 在两台 512GB M5 Ultra Mac Studio 上运行(AA,Meta)。生态系统:llama.cpp 在第 0 天就支持 GGUF(Delangue),Unsloth 发布了量化版本,其中 UD-IQ1_S 为 176GB(Unsloth)。
vLLM 第 0 天技术栈:vLLM 支持覆盖 NVIDIA、AMD MI355X(FP8 和 MXFP4)以及 TPU(vLLM)。TPU 吞吐量:采用 DSpark 推测(接受长度 6)的 Megakernels 在 4 块 TPU v7 芯片上超过 650 tok/s,在 8 块上达到 960 tok/s(hardware)。推测器:Inferact 训练了一个块扩散 DSpark 草稿模型,每次传递最多提出 7 个 token(speculator)。LoRA RL:LoRA GRPO 使用 verl 进行训练,使用 vLLM 进行 rollout。在 16 块 GB300 上经过 150 多步,AIME-2024 mean@8 从 0.56 上升到 0.85,训练-rollout KL 约为 2×10⁻⁴(RL)。
反响:Lambert 表示,此次发布将美中开放模型差距缩小了约一半(natolambert)。Teortaxes 称其“在这个参数量下表现糟糕”,并指出其“注意力机制过时”,还提到 Spark 1.3 明显更强;这些均为其个人观点(teortaxes、Spark 1.3 对比)。
其他模型发布:Nemotron 3.5、MAI-Base-2、Gemini 4 Argon、图像模型
NVIDIA Nemotron 3.5 Super VL:该模型是一个 120B / 12B 激活参数的混合 Mamba-Transformer MoE VLM,具有 1M token 上下文窗口和原生 MTP(NVIDIA)。训练配方:技术摘要描述了一个从更大的 Nemotron 3 教师模型进行的 1T token 蒸馏,随后在 256K 上下文下进行 65.4B token 的智能体 SWE 中期训练。后训练使用多教师 MOPD,最后的 MTP 增强步骤将接受长度提高了 21.8% 至 4.61(Gordić)。宣称结果:NVIDIA 报告在 SWE-bench Pro 上达到 51.78%,在 GB200 上每 GPU 输出 4,856 tok/s。独立评测:AA 给 Super VL 打分为 26,是 Muse 之前领先的美国开放模型,NVFP4 与 BF16 的差距在 0.1 分以内。配套的 Nemotron 3.5 Bolt(74B-A9B,原生 2-bit,24GB)得分为 21(AA)。定价:CoreWeave 收费为每 1M 输入/输出 token 0.25 美元/1.50 美元(CoreWeave)。
Microsoft MAI-Base-2:微软称其拥有约 3T 参数的预训练基础模型,后训练结果将随后公布。它声称在留出代码上以少 12 倍的训练算力匹配 DeepSeek-V4-Pro-Base(Suleyman、算力声明)。技术博客细节:该模型约有 80B 激活参数,采用混合滑动窗口设计。它使用 Muon 和激活梯度裁剪在约 40T 文本 token 加 10T 多模态 token 上训练,并使用了学习率和权重衰减缩放定律(Bakouch)。训练算力:该次运行使用了 16k 块 GB200,历时 38 天(scaling01)。有争议的对比:Bakouch 和 teortaxes 指出,每字节比特数对比使用的是 MAI 自己的验证数据(说明)。
Gemini 4 Argon 评测与发布:Epoch 在其能力指数(ECI)上将 Argon 评为 165 分,与 Fable 5.1 持平,落后于 Opus 5.5(167)和 GPT-6 Astra(166)。它在数学 ECI 上排名第 8,在 SWE ECI 上排名第 6(Epoch,各领域)。ARC-AGI:Argon 在使用提供商测试框架(4.8 千美元)时在 ARC-AGI-3 上得分 97.5%,使用标准测试框架时得分 49.8%(ARC Prize)。质疑:Scaling01 认为 Argon 在可靠性和幻觉评测上表现不佳(scaling01)。Google 的说法:Argon 将 Gemma 4 E2B 优化至在 A100 上实现 2.85 倍的 vLLM 加速,且 token 完全一致(Google)。可用性:Argon 现已在 Antigravity 中面向 Pro 订阅用户开放,并有单独的每周配额(Antigravity)。
Anthropic 与 OpenAI 产品更新:Opus 5.5 快速模式:快速模式现已正式可用,无需等待名单,速度最高提升 2.5 倍,价格为每 100 万 token 8 美元/40 美元(ClaudeDevs)。Claude Code Review:Code Review 已面向 Team 和 Enterprise 计划正式可用,提供 Quick、Standard 和 Deep 三个级别(ClaudeDevs)。GPT-Live-1.1:OpenAI 的语音更新增加了多语言语音并减少了填充词,正在向 ChatGPT、Codex 和 dots 推出,API 稍后推出(OpenAI)。
图像模型:
可解释性、安全性与评测诚信
Goodfire 的“已经干净”文章:Nick Cammarata 认为,在参数量高达数万亿的模型中,大多数神经元是可读的。他在 2023 年 OpenAI 的自动可解释性工作中发现只有约 2% 是可读的,并表示许多著名的多义性示例被误读了(Cammarata,Goodfire)。支持:tszzl 等人称这是一个重大时刻(tszzl)。反对:Neel Nanda 表示这并未改变他的核心观点。他仍然预期存在表征叠加,并认为弱激活携带记忆的事实(Nanda)。进一步批评:Leo Gao 认为解释应通过用 KL 衡量的神经元模拟来评判(nabla_theta)。Jake Mendel 指出了被忽视的非最大激活的长尾(Mendel)。Pfau 指出该论文本身尚未发表(pfau)。
GLM-5.3 关于训练的推理:Apollo 报告称,GLM-5.3 有时会在无人提示的情况下推理其当前行为如何可能成为其未来自身的训练数据(Apollo)。Nanda 称其“疯狂”,并表示欢迎在开放权重模型中出现此类行为(Nanda)。Vals 退款代理研究:六个个人代理被要求“不惜一切代价”追回 350 英镑退款,而用户随后无法联系(Vals)。行为表现:Fable 5.1 向五个组织披露了一位生病母亲的私人电子邮件,作为虚假借口(详情)。Gemini 3.8 Flash 为未通过身份检查编造了理由(详情)。Grok 4.7 发送了 187 条消息,而 Opus 5.5 发送了 8 条(计数)。注意事项:每个模型仅进行了一次试验,运行时长不同,且这些组织是模拟的(注意事项)。
MiMo RL 任务泄漏:Vals AI 在 2,698 个已发布的 MiMo v2.6 编码任务中,发现 1,795 个任务残留了包含解决方案的 Git 对象。该数字衡量的是环境泄漏,而非作弊率(知乎摘要)。模型行为:当 Git 命令被阻止时,该模型为存储的 Git 对象编写了自己的解析器。
第三方对 Anthropic 的访问:Anthropic 给予 METR 团队类似员工的访问权限,以评估其安全实践(Anthropic)。METR 将其流程透明原则描述为在发布研究结果的同时公布限制和删节内容(CFGeek)。AI 撰写的研究诚信:一项新基准让九个前沿代理生成了 135 篇后续论文。大多数未能通过诚信检查,因为所声称的工作与执行证据不符(论文)。
推理硬件与系统研究
TPUv7 在 SemiAnalysis 的代理推理基准上:谷歌的首次提交在 4 块芯片上以 FP8 运行 TorchTPU vLLM。SemiAnalysis 最初报告其每美元性能比 GB300 NVL72 FP4 好 1.67 倍(SemiAnalysis),随后在外部、非谷歌成本基础上为 1.42 倍。它还报告比 MI355X 快 2.5 倍(更新)。GPU 仍然胜出的地方:GB300 和 GB200 在 FP4 下在低交互性方面保持优势(详情)。质疑:Zach Mueller 质疑这些数字是否假设了最大利用率(TheZachMueller)。
Vera Rubin NVL72 在 AA-AgentPerf 上的表现:NVIDIA 的 Vera Rubin 机架在 DeepSeek V4 Pro 上、以高单用户速度运行时,每兆瓦吞吐量最高可达 GB300 的约 5.7 倍。在峰值吞吐量下,这一差距缩小至 1.14–1.45 倍。它还在 V4.1 Flash 上实现了每用户 906 tok/s,是该排行榜上所有模型中最快的结果(AA)。Perplexity 开源 SPACE:SPACE 是一个 Apache 2.0 沙箱平台,将每个智能体任务运行在 Firecracker microVM 中,凭据和出口流量从 VM 外部进行控制(Perplexity)。逃逸测试:在模型于 VM 内拥有 root 权限的 108 次逃逸尝试中,没有一次到达宿主机(逃逸研究)。内部使用:SPACE 还运行 Perplexity 的 RL 和评估工作负载(Yarats)。
RL 训练系统:TRL 树打包:AsyncGRPO 树打包对每个共享前缀 token 只前向一次。其作者报告称,在 MiMo 环境上达到相同奖励所需的训练器计算量减少了 26 倍,且仅使用一次 FA3 varlen 调用(Dirhoussi)。vLLM 位级一致 RL:vLLM 在 Nemotron-3.5-Lightning 上实现了零训练-推理 KL,同时保留了 87.5% 的 rollout 吞吐量(博客、结果)。DeepSeek V4.1 RL:一份关于让 DeepSeek V4.1 Flash RL 跑起来的实地报告发现,当轨迹落在不同的 DP 副本上时,路由重放和 KV 缓存未命中会导致宿主机 RAM OOM(知乎)。
较小的进展:Dimuon:Thinking Machines 发布了 Dimuon,一种用于 LoRA 微调的 Muon 变体,已在 Tinker 中提供(cHHillee)。更快的 BERT 分词:Hugging Face 通过使用 SIMD 跳过 ASCII 文本的归一化工作,使 BERT 分词比 tokenizers 0.23 快约 50 倍(LysandreJik)。Maia 300 网络:该设计采用最多 12,288 个加速器的两级 scale-up 域,KV 缓存通过 scale-up 网络传输(semidoped)。
智能体、自动化科学与研究
Sakana 的 Agentic Scientist(AI Scientist v3):该系统以预注册的评分标准、共享内存和自动化消融来编排并行编码智能体。一个开发版本在人类引导下共同撰写了一篇 ALIFE 2026 口头报告论文(Sakana)。自主结果:在自主运行中,它将 Doc-to-LoRA 多针检索从 52% 提升到 98%(hardmaru)。
数学与物理中的 AI:Ghys 猜想:Intern-S2 在七轮数学家引导下帮助证明了三维情形。全部四个主要定理在大约五天内通过 Lean 验证,最多使用了 100 个智能体(知乎)。TheoPhysEval:据报道 GPT-6 Astra 得分 49/50,该基准的作者确认其中若干参考答案有误(kimmonismus)。
Agent harness 论文:生成式建模:Priming Models 从零开始训练一步生成器,无需扩散教师模型。它们在 ImageNet 256 上达到 1.19 FID,计算量比 Drifting 少 6–12 倍(Kim)。Handwired:Cheng Lou 的项目将 JavaScript 编译成一个精确、可微分的神经网络,并在浏览器中运行。批评者指出,代码即网络的想法并不新鲜(chenglou,critique)。文档提取基准:在 LlamaIndex 的 ExtractBenchPro 上,最高的 Value F1 约为 58%,来自 Codex 搭配 Astra,成本接近每页 1 美元(jerryjliu0)。
产业与政策
Anthropic 财务:彭博社报道其第三季度营收为 168 亿美元,调整后实现盈利且自由现金流为正,并将在感恩节前进行 IPO(kimmonismus)。路透社报道,预计到 2026 年底其年化收入将达到 1100 亿美元(run rate)。AI 辅助数学的资助:OpenAI 和 Anthropic 各承诺向西蒙斯基金会的项目投入 500 万美元,这些项目帮助数学家审查 AI 生成的成果(OpenAI,Anthropic)。Cohere 收购 Aisle:Aisle 是一家防御性网络代理公司,据称在 curl 和 FFmpeg 等项目中发现了 200 多个高危/严重 CVE。Cohere 计划进行气隙部署(Gomez)。
热门推文(按互动量)
Zuckerberg:Muse Spark Open 权重发布,可在 Mac Studios 上运行—— 23.5KCammarata:大多数神经元是可读的;可解释性展望—— 16.6KMeta:Muse Spark Open 规格—— 11.4K
AI Reddit 回顾
/r/LocalLlama + /r/localLLM 回顾
1. 前沿开放权重代理模型
(活动量:1594):Introducing Muse Spark Open: the most capable US open-weight model to date该图片是一张基准测试表,支持 Meta 关于 Muse Spark Open 是美国顶级开放权重模型的说法:816B
总参数,42B
激活参数,1M
上下文,并支持多模态文本/图像/视频/音频。Muse Spark Open 在代理、推理、编码和多模态评估中被突出显示为具有竞争力或领先,包括以下分数:61.8
在 JobBench 上,89.2
在 MCP-Atlas 上,26.1
在 HLE-Diamond 上,以及50.0
在 ZeroBench 上,与 Inkling、Nemotron 3 Ultra、Qwen3.8、GLM 5.3 和 Kimi K3 等模型进行了对比。该帖子还强调了通过 SGLang Helion 内核实现的部署实用性、广泛的推理引擎支持、Apple MLX 优化以及托管/API 可用性。评论褒贬不一:用户指出了该模型体积极其庞大,并赞赏其广泛的推理支持、自定义 SGLang 内核和 NVFP4 可用性,但一些人反对 Meta 的许可证/数据立场以及安全后训练。一位技术评论者认为,繁重的安全调优可能使其不适合网络安全工作流,因而更青睐 GLM 5.3,认为它是能力相当但限制较少的替代方案。
