Strata v0.1.39 发布：游戏显卡跑 1250 亿参数模型又快了一档

10 月 4 日，开源本地推理引擎 Strata 发布 v0.1.39，这是该项目两天内的第三个版本。项目采用 MIT 协议，GitHub 仓库 Niko1221/Strata 目前约 1.1 万星、近千 fork。它要解决的事情很具体：让带消费级显卡的电脑跑起 Qwen3.8-Flash-Next，一个总参数 1250 亿、每个 token 只激活 60 亿的多模态 MoE 模型。该模型 8 月下旬上架 Hugging Face，下载量超 148 万；此前本地跑这个量级通常需要多卡服务器。这一版没换模型，而是重做了读取与生成路径，同时补上老硬件和编程 Agent 支持。发布当天这条消息在 Hacker News 拿到 620 分和两百多条讨论，是当天热度最高的 AI 工程话题之一。

多数人对本地跑大模型的第一反应是显卡不够用，但 Strata 绕开了这个前提。它只把模型的一部分放进显存，专家层留在系统内存里，需要时按批流式送进显卡。官方说得很直白：显存越大越快，但不能降低内存需求，这决定了动手前该先看内存。

最低门槛是 12GB 显存的 NVIDIA 或 AMD 卡、32GB 内存、约 80GB 磁盘空位，Windows 或 Linux 均可。三种规格下载量 66GB 到 76GB，首次启动还会多拉约 6GB 草稿层。选规格看内存分档：32GB 只装得下 Coder 版本，48GB 推荐 IQ2_XS，64GB 全部装得下，96GB 以上可以用质量最好的 IQ3_S。

官方没有笼统地说更快，而是逐项给出对照条件，这对想自己验证的人很有用。生成速度方面，校验阶段的专家打包和批处理带来约 6% 提升：RTX 5070 上 Q2_0 规格的故事类生成从每秒 68.4 涨到 72.7 个 token，代码类从 75.8 涨到 80.0。关键细节是，固定缓存下四种规格输出与上一版逐字节一致，属于纯工程提速，没有改变模型行为。

长提示读取是这一版默认开启的优化。流式专家环改按字节而非按数量分配，RTX 5070 上处理 32K token 提示时，IQ3_XXS 配合 1500 槽专家缓存能提升 18.5%，但用安装程序的默认配置几乎没有变化。质量端也给了对照：8K 提示的 KL 散度从 0.054 降到 0.042，top-1 一致率从 92.2% 升到 93.5%。

不是所有配置都受益。Coder 版在 32K 上下文读 30K 提示反而慢约 8%，改 64K 上下文才快约 6%。超长上下文改用逐 warp 直方图统计后，RTX 3060 上 243K token 提示快了 26%，想回到旧版行为可设 `STRATA_RING_BYTES=0`。

多显卡升级路径会自动加上 `--remote-expert-opt`，跳过专家全落在副卡上的 token 的主机侧工作。提交者自测双 RTX 4090 混合文本快 63%、代码快 132%，四张 RTX 3060 在提示读取上快 10% 到 28%。这些数字来自提交者自己的机器，官方只有一张卡、无法复现，引用时要打折扣。

并发请求最受团队用户关注，但默认关闭。配置里写 `"parallel": N` 之后，引擎可同时解码 N 段对话。RTX 5070 上四个请求并发时，最后一个 1.8 秒就开始而不是等 11.2 秒。但合计解码速度从每秒 70.7 降到 63.1 个 token，单独跑会因每槽占走 0.56 GiB 专家缓存而慢 11% 到 22%，官方建议只在专家基本装得进显存时开启。

老硬件支持则变成实验性开关。Pascal 和 Volta 老显卡会拿到单独编译的引擎。Intel Arc 有社区做的 SYCL 移植需要自行从源码构建，不支持 AVX2 的老 CPU 也能跑但很慢。这些路径官方都标注未经自己测试，稳定性要靠自己验证。

这一版新增了 OpenAI Responses API 兼容层，Codex CLI 能直接接上 Strata 作为后端模型。官方用 Codex 0.160.0 测过，含工具调用循环，后续轮次约 96% 的提示能命中缓存。它是无状态的，不支持 `previous_response_id`、托管工具和推理摘要，依赖多轮状态的用法迁移过来会缺东西。

接 Claude Code 这类客户端更简单。仍沿用上一版的 Anthropic 兼容端点，把 `ANTHROPIC_BASE_URL` 指向本地地址即可。Strata 还开放了 MCP 服务器，AI 工具可以自己完成安装、启动和停止本地模型。有个容易被忽略的坑：要用手机或另一台电脑访问，需要显式设置监听地址和 API 密钥，官方文档在这一条上用了加粗强调。默认值只监听本机回环地址，团队要共享同一个模型实例时这一项必须配，否则同事只会拿到连接失败的报错。

编辑判断先说结论：如果你有 12GB 以上显卡和 32GB 以上内存，愿意接受首次下载 70GB 左右数据、并接受一个每两天发一版的早期项目，这次更新值得试。如果你正用云端模型跑生产，或机器只有核显和 16GB 内存，那就先别折腾。这一版的提升幅度在 5% 到 18% 之间，属于跑得更快而不是从不能用到能用。

中文用户要特别注意。Coder 版只保留每层 512 个专家中的 256 个，按代码数据筛选，官方文档写明它在代码之外能力较弱，并点名中文等非英语内容会出现回答错误或循环。如果主要用中文，选 Q2_0、IQ2_XS 或 IQ3_S 这类保留全部专家的规格。

想自己验证路径很直接：装好后对同一组问题做对照，尤其用长代码文件测提示读取速度。需要更严谨的话，仓库提供了各显卡的社区实测表格，也可以跑 `START-HERE.bat --calibrate` 让它在你机器上测出最快的设置。还有个反直觉的细节：首次启动卡住 1 到 3 分钟是正常现象，它会把 35GB 到 55GB 载入内存，不要中途关窗。

把这件事放回更大的图里看：这类 1250 亿参数的 MoE 模型在云端按 token 计费，在消费级硬件上则已经能跑出每秒几十个 token 的可用速度。Strata 两天三个版本的节奏说明，围绕这类模型的本地推理工具链正在快速收敛。对数据敏感或想避免按量计费的团队来说，本地能跑从今年开始才真正成为一个现实选项。

需要提醒的是，这类项目的稳定性预期要和商业产品区分开。仓库目前有 300 多个未关闭 issue，更新频繁意味着配置会变、文档可能滞后。作者也说明软件是在 AI 智能体大量参与下开发的，需要稳定承诺的团队该继续走云端 API。下一步值得关注两件事：官方商业版本与开源权重版本的差距会不会继续拉开，以及这类引擎是否会补齐 Responses API、MCP 等 Agent 生态接口。这两件事决定了明年本地部署到底是补充方案还是主要方案。

本文由 AI 潮汐编辑部基于官方公告与公开资料整理，补充了行业影响、适用场景和行动建议，帮助你在阅读原文前先理解这条信息为什么重要。

原始来源：https://github.com/Niko1221/Strata/releases/tag/v0.1.39

如发现事实、价格或链接有误，可通过 联系我们 提交更正。