Ai2

Ai2 开源 Olmo-core 3：MoE 训练栈跑通万亿参数

10 月 1 日，Ai2 开源大模型训练框架 Olmo-core 3，重做了一整套 MoE 训练系统：8 张 B300 上吞吐提升约 2.7 倍，专家池从 8 个扩到 128 个而激活参数基本不变，并已跑过 1.2 万亿总参数规模。它不提供模型也不提供 API，但决定了开源模型未来能训到多大。