讨论精选
uutnt (0↑): 看起来确实如此。目前似乎已经掌握了可行的配方。证据是多个独立实验室得出了相似的结果。Anthropic 只是对规模定律更有信心，并且更早做出了正确的押注，但其他实验室现在正在迎头赶上。我认为实验室的护城河（如果存在的话）将在于对计算资源的获取——无论是训练还是推理。不过利润率将会下降。
stoppableDissolution (0↑): 他们肯定拥有一些非常出色的合成数据管道（以及运行这些管道的资源）。如果你无法充分利用权重，那么拥有更多权重也没有意义。
WaveOfDream (0↑): 这些开源模型能够在计算资源显著较少的情况下与它们匹敌，这一事实告诉我们，它们实际上并没有任何有意义的技术优势，只是拥有更多资源。 实际上，LLM 的大部分进步在于规模扩展以及更好的管道/架构。并非任何理论上的突破。