腾讯混元开源新一代旗舰模型 Hy4 preview，770B 参数支持百万上下文

8 月 28 日，腾讯混元团队（Tencent Hy Team）发布新一代旗舰大语言模型 Hy4 preview，并在 Hugging Face、ModelScope、GitCode、CNB 四个平台同步开放模型权重，同时提供 FP8 量化版本。这是腾讯混元继 4 月底发布 Hy3 preview 之后的一次完整换代，官方称其能力已到开源模型的前沿水平。官方资料见 Hugging Face 模型卡 与 GitHub 仓库。

Hy4 preview 采用混合专家（MoE）架构，总参数 770B，每个 token 只激活 49B 参数。模型共 78 层，其中 77 层为 MoE 层，每层包含 256 个路由专家和 1 个共享专家，每个 token 激活 top-8 路由专家，算力开销远小于同规模稠密模型。

注意力机制借鉴了 DeepSeek 与 GLM 的思路，采用门控稀疏注意力（Gated DSA），并用 IndexCache 做跨层稀疏索引复用，残差路径则通过身份超连接（iHC）增强层间信息流动。模型还内置一层原生 MTP 层用于投机解码，可以加快生成速度。最直观的变化是上下文长度来到 1M token，能一次性处理整本长篇小说规模的文本或大型代码仓库。

权重已同步上架 Hugging Face、ModelScope、GitCode、CNB 四个平台，搜索 Hy4-preview 即可下载，FP8 量化版也已提供，适合显存资源有限的部署环境。官方推荐用 vLLM 或 SGLang 启动服务，然后通过 OpenAI 兼容接口调用，推荐参数为 temperature=0.9、top_p=1.0。

模型默认开启深度思考模式，适合数学、编程与推理任务；需要直接回答时，可以在请求里传入 reasoning_effort=no_think 关闭思考链。微调与量化工具链官方也已放出，具体硬件要求以模型卡说明为准。

腾讯在模型卡中披露了一组内部盲测数据：163 名内部专家对 203 项工程任务打分，Hy4 preview 平均 2.99 分，略高于 GLM 5.3 的 2.92 分和 Kimi K3 的 2.94 分，胜率上对 GLM 5.3 为 46.8%，对 Kimi K3 为 51.2%。这属于厂商内部评测，参考时需谨慎，独立第三方基准数据还有待社区跑完验证。

与上一代 Hy3 preview 相比，官方称这是测到的最显著一次代际能力提升，训练数据围绕腾讯内部工程师、游戏开发者、金融分析师等岗位的真实工作场景构建，后训练规模也明显加大。

模型卡把发力点放在四类场景：软件工程方面，长任务的理解、规划、调试与验证能力增强，前端生成的视觉与交互质量也有提升；办公分析方面，能把分散在多个文件里的杂乱信息整理成文档、表格和演示稿，数据处理与财务建模更精准；游戏开发方面，单条提示词即可生成可玩原型，并能与游戏引擎流畅协作；科学研究方面，在 AI 研究、分子动力学、凝聚态物理、纯数学等难题上的推理有进步。

腾讯还把 Hy4 preview 与自家 CodeBuddy、WorkBuddy 等产品协同设计，这些能力会先出现在腾讯系工具里，普通用户可以直接通过它们体验，不必自己搭部署环境。

官方明确表示这是早期版本，仍存在真实改进空间：处理复杂任务时会花比必要更长的时间推理，并且倾向于过度自我验证自己的输出。官方称会快速迭代，Hy3 preview 正是靠早发布、听反馈的路线越做越好，Hy4 也会走同样的路径。

接下来值得关注三点：正式版 Hy4 何时发布、腾讯云的托管 API 何时上线及其定价，以及社区第三方评测能否复现官方给出的对比数据。

本文由 AI 潮汐编辑部基于官方公告与公开资料整理，补充了行业影响、适用场景和行动建议，帮助你在阅读原文前先理解这条信息为什么重要。

原始来源：https://huggingface.co/tencent/Hy4-preview

如发现事实、价格或链接有误，可通过 联系我们 提交更正。