我有一个完整的模型，已经准备好训练了。大约90亿参数。
更准确地说，是94亿。这包括一个1/2/3 Engram表、Moonshot的AttnRes建模，以及按3:1比例分层的RoPE / NoPE，这或多或少已被大多数主要实验室验证。它使用Llama 3系列分词器和LM Head作为初始起点。输入的数据是从Llama 3教师模型中进行logit级别提取得到的。
我已经运行了最初的训练步骤，以测试模型的稳定性等。
我愿意坐下来对模型进行IT前训练。确切地说，我不知道人们真正想用这个东西做什么任务。所以IT训练的重点除了按照某个开放标准赋予它“Thinking”能力之外，有点模糊。
说实话？我不在乎人们想用它做什么，只要他们想用就行。我想我就把它扔到虚空里，而LocalLlama是我觉得可以轻松把它交出去的地方。
理论上，经过足够训练，这个模型应该比我们周围运行的所有约90亿参数模型都更有能力。我也不是一个实验室，所以我没有他们的训练预算。我基本上是在一块4090加上租用的硬件上完成了所有数据生产等工作。
训练代码经过深度优化，可在RTX 6000 Pro系列显卡上运行。单卡。
我所有的engram研究都是在Qwen模型发布之前进行的。Qwen表明我只需要在某一层注入一个表，而不是我用的2个。1个就带来了相对于2个的大部分收益。
代码会开源，数据，全部都会。我根本不在乎。从技术上讲，它现在已经是开源的，因为目前所有内容都在公开仓库里。我只是盯着它，怀疑这是否值得花时间。至少我会投入几百美元来构建一个“可用的”IT前模型，并构建IT数据集。在IT集之前，它可能还需要更多预训练。这有点未知，因为没有人公布这类训练的确切数字。
如果有人有数据中心的联系人，并且有系统愿意让它运行，我们都可以把它作为一个公开模型来观察。我暂时把它命名为“Budget”，但是……Localllama可以随意命名它。
编写完整的端到端流程、生成数据等一直很有趣。甚至发现了vLLM中的问题并报告到他们的仓库，这可能最终无论如何都会帮到你们。有一些提示加载代码可以快约10倍到约100倍，我给他们提供了示例。
如果你读到了这里，谢谢，署名：某个读了太多研究论文、有太多空闲时间的ML老哥。
编辑；我去审查了一些Apache 2.0许可问题，并注意到在使用Llama的分词器或数据方面有一个明显的漏洞。你甚至不能在没有某种许可的情况下使用他们模型的合成数据。我想我只需要重写目标，改用OLMo 3系列。我想我会在一周后完成数据生成和代码修复后再回来。
开源无审查Goon模型还是什么？我正在努力寻找一个有用的细分领域来开发这个模型，这样它就会被使用，并最终不仅仅是一个研究产物。我计划构建这个研究产物，问题在于我是否能找到一群真正想使用它的用户。这一切都是免费的，所以我不是想从你们身上赚钱。代码和数据都在GH/HF上。
阅读更多
讨论精选
Hot_Example_4456 (60↑)：等等。为什么要用这么旧的分词器？你不是应该用更新的东西吗？还有，用Llama THREE作为教师模型？感觉有点不对劲
ryfromoz (17↑)：你提供了什么已经做过很多次的事情之外的东西？
AppealSame4367（10↑）：智能体式代码库探索。思考代码组织。Mermaid 图表。ASCII 图表。甚至可能是智能体式编程。 我知道这大概相当难做到，但任何能实现类似“在 9b 上达到 qwen3.8 27b 水平”的东西，哪怕只是聚焦于单一主题以便更容易实现，都会非常有帮助。例如，如果这个 9b 模型在 Python、JavaScript 和 Rust 上具有 SOTA 性能，再加上计算机使用能力——并结合非常好的空间感知能力。
那么人们就可以把它用于 3D 游戏开发和 Blender 3D 模型生成。就是人们一直对 Astra 和 fable 垂涎不已的那些东西。
对于……