Aleph Alpha 开源 Kolibri:78B 模型激活 3.5B 支持百万上下文

Aleph Alpha 开源 Kolibri:78B 模型激活 3.5B 支持百万上下文

德国公司 Aleph Alpha 在德国统一日放出 Kolibri,Apache 2.0 权重全部上架 Hugging Face,英德双语、原生 26 万上下文,实测可到 104 万。

阅读原文
发布日期2026-10-03
热度指数85
阅读时长2794 字

事件:Aleph Alpha 发布 Kolibri 开源权重模型

德国公司 Aleph Alpha 在 10 月 3 日正式发布开源权重模型 Kolibri,完整权重以 Apache 2.0 协议上架 Hugging Face,仓库为 Aleph-Alpha/Kolibri-1。官方博客写得很直接:团队在德国组建、训练算力在德国和芬兰,全程受欧洲与德国法律约束,没有外国控制。

这次发布的特殊之处不在参数规模,而在几个条件同时成立:总参数 781 亿、每个 token 只激活约 34.6 亿、支持工具调用和显式推理模式、原生上下文 26.2 万 token 并验证到 104.9 万。官方同时放出约 189 页技术报告。

Aleph Alpha 是欧洲最早一批冲击通用大模型的公司之一,但过去几年在开源社区存在感不高。这次把权重和训练方法一并放出,是它开源路线上最大规模的一次动作。官方原文在这里。选在德国统一日发布不是巧合:欧盟《人工智能法案》通用模型义务已进入适用期。

78B 总参数只激活 3.5B:MoE 架构怎么算这笔账

先解释混合专家模型。稠密模型处理每个 token 会用到全部参数,MoE 则把每层拆成许多小网络叫专家,再由路由器为每个 token 挑几个过一遍。Kolibri 有 50 层,每层 384 个专家加 1 个共享专家,路由器只挑 6 个激活,所以 781 亿参数里每个 token 实际只算约 34.6 亿,占比 4.4%。

好处是推理便宜,代价是显存要装下全部权重。官方模型卡写明 FP8 精度下权重约占 78GB,最低要求 2 张 A100 80GB 或 2 张 H100 SXM5,或单张 H200、B200、B300。对个人用户不是消费级门槛,对企业机房是可以接受的规模。

训练是预训练 20 万亿 token,约 62.5% 英文、23.9% 德文、13.6% 代码,之后还有 3.44 万亿 token 中期训练。768 张 B200 跑了 21 天,约 39.2 万 GPU 小时。注意力用了 4:1 的滑窗加全局注意力混合,位置编码只作用在滑窗层,上下文理论上还能继续往上扩。

Apache 2.0 与 78GB 显存:本地跑起来的硬件门槛

许可证是最干脆的部分。模型卡 license 字段写着 apache-2.0,权重和配置可自由使用、修改、商用,技术上保留的是训练代码和方法论的权利。运行用推理框架 vLLM,基础模型和 FP8 量化版本都上架了。

只有单张消费级显卡的话,这个模型不适合本地跑。78GB 显存意味着并发能力受硬件数量直接约束,多用户服务要按并发数倒推卡数。个人开发者可以先用官方 API 或等社区出更激进的量化版本。

这也解释了官方为什么把它定位成企业模型而不是开发者玩具:模型小是相对同级别稠密模型说的,放到能不能自建内部模型服务这个问题上,硬件预算仍是主要门槛。

官方跑分:数学、代码、长文本的真实位次

官方对比对象是 Qwen3.6-35B-A3B、Nemotron 3 Super 120B-A12B 和 Mistral Small 4 119B-A6B,都是激活参数 12B 以内的 MoE 模型。有代表性的分数:AIME 2025 得 96.9、德文版 87.5,AIME 2026 得 96.0;GPQA diamond 84.3;LiveCodeBench v6 得 85.9,HumanEval+ 92.7;LongBench Pro 64.5;工具调用 BFCL v4 总分 61.4。

最能说明问题的是 AA-Omniscience 指数,衡量模型是否知道自己不知道,分数越负越好。Kolibri 是 -32.8,上一代 Kolibri Origin 是 -64.0,而 Qwen3.6-35B-A3B 是 -15.3、Mistral Small 4 是 -24.0。这一项 Kolibri 并不是最好的。

编辑判断是:官方的对比口径是用四分之一激活参数达到同级质量,而不是全面最强。和上一代纵向对比才看得出真实提升:GPQA diamond 从 68.1 到 84.3,AIME 2025 从 81.9 到 96.9,BFCL v4 从 36.4 到 61.4。

拒答机制 Merlin-Arthur:把不会做训练成能力

这是 Kolibri 在公开基准之外最值得关注的设计。官方引入名为 Merlin-Arthur 的训练协议,配合拒答数据一起训练,效果是当答案不在给定上下文里时,模型会主动说不知道,而不是编一个听起来合理的话。

为什么重要?因为企业场景里最贵的错误不是答不出来,而是答错了还没人发现。一个会在资料不足时停下来说明的模型,等于给业务流程加了一道自动校验;一个总是自信作答的模型,在合规审查、法律条款、设备手册这类场景里就是风险源。

德语能力是另一个重点。官方开发了针对德语词结构的分词器,预训练 token 里德语占比超过五分之一,翻译数据只用 6%,因为译文会带上源语言的文化指纹。目标市场很明确:德国公共部门、航空航天、汽车和制造业这类受监管行业。

和 Qwen3.6、Mistral Small 4 的差异:德语与合规是卖点

先说清现实:如果只看中文任务,Kolibri 不是首选。它明确只支持德语和英文,中文能力没有官方数据支撑。Qwen 系列在中文和多语言覆盖上更成熟,Mistral Small 4 的生态和量化版本更齐全。

它的差异化在三处。一是德语,这是少数能在公开评测里逐项对照德文表现的开放模型,德文 AIME 2025 得 87.5、GPQA diamond 德文版 81.3,在对比组里都是最高。二是主权定位,Aleph Alpha 是欧盟通用人工智能实践准则签署方,官方明确说明训练数据和权重分布完全透明。三是许可证确定性,Apache 2.0 比多数开放模型的研究许可宽松得多。

选型建议:德语业务、欧洲合规部署、有自建推理能力的团队可以排进下一轮测试;纯中文场景先观望。同时满足许可证干净、可自托管、德语专门训练、训练过程可审计的开放模型目前几乎没有,而这恰好是欧洲受监管行业最关心的四件事。

谁该现在下载,谁该先观望

该现在动手的:需要在欧盟境内自托管、数据不能出境的企业;德语客服、政务问答、法务和工程文档类应用的团队;已经在跑 Qwen3.6-35B-A3B 或 Mistral Small 4 的团队,可以拿 Kolibri 做同题对照,重点测拒答准确率和德语真实业务文本表现。建议观望的:只有单张消费级显卡的个人开发者;纯中文业务团队。

怎么验证好不好用,给三个可执行动作。第一步,别用公开榜单分数决策,拿自己业务里 20 到 50 条真实问答做对照测试,重点看错误率和拒答率。第二步,读技术报告里的训练数据章节和消融实验,官方公开了数据配比和每轮后训练效果,可以判断它在哪些能力上是特意练过的。第三步,算成本时按 78GB 显存乘以并发数倒推硬件。

编辑判断:这次发布的价值不在排行榜多了几个数字,而在于提供了一个许可证干净、可自托管、德语经过专门训练且训练过程可审计的选项。对欧洲市场的团队,它解决的是必须用某个模型但那个模型数据来源说不清的实际问题。

来源与说明

本文由 AI 潮汐编辑部基于官方公告与公开资料整理,补充了行业影响、适用场景和行动建议,帮助你在阅读原文前先理解这条信息为什么重要。

原始来源:https://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/

如发现事实、价格或链接有误,可通过 联系我们 提交更正。

常见问题

Kolibri 的 781 亿参数,中文能用吗?

官方明确只支持德语和英语,模型卡语言字段就是 de 和 en。中文能力没有官方评测数据支撑,不建议拿它做中文任务。德语业务或英德混合场景才是它的目标市场。

自己部署 Kolibri 需要什么显卡?

FP8 精度下权重约占 78GB。官方最低要求是 2 张 A100 80GB 或 2 张 H100 SXM5,或者单张 H200、B200、B300;推荐 2 张 H100 SXM5 或 2 张 H200。消费级显卡装不下,需要用推理框架 vLLM 运行。

Apache 2.0 协议可以商用和二次训练吗?

可以。权重和配置文件都是 Apache 2.0,允许商用、修改和分发。官方保留的是训练代码和方法论的权利,这部分不在开源范围内。

这个模型的代码能力怎么样?

公开数据里代码项 LiveCodeBench v6 得 85.9、HumanEval+ 92.7,与 Qwen3.6-35B-A3B 基本持平(82.5 和 92.8)。但这些是英文基准,中文代码能力没有对应数据,建议用自己业务题库实测再决定。

和 Qwen3.6-35B-A3B 相比该选哪个?

看语言和部署地。德语任务、需要欧洲合规背书、数据不能出境,选 Kolibri;中文和多语言覆盖、量化版本丰富度、社区微调生态,选 Qwen3.6。两者激活参数量接近,可以直接用同一批业务题做对照测试。