器灵 Soulmate
大模型IT之家器灵资讯编辑部

腾讯混元Hy4 flash开源:224B总参数、每token激活12B,支持百万上下文

腾讯混元开源Hy4 flash模型,包含Hy4 flash、Hy4 flash-FP8与Hy4 flash Base三个版本,开发者可在GitHub、Hugging Face、ModelScope和GitCode下载部署。该模型总参数224B,含64B Engram参数,每token激活12B,支持多模态输入与百万级上下文。

腾讯混元开源Hy4 flash模型,包含Hy4 flash、Hy4 flash-FP8与Hy4 flash Base三个版本,开发者可在GitHub、Hugging Face、ModelScope和GitCode下载部署。该模型总参数224B,含64B Engram参数,每token激活12B,支持多模态输入与百万级上下文。

大模型

IT之家 11 月 18 日消息,腾讯混元今日宣布开源 Hy4 flash 模型,包含 Hy4 flash、Hy4 flash-FP8 和 Hy4 flash Base,开发者可在 GitHub、 Hugging Face、ModelScope 和 GitCode 下载部署。

腾讯混元官方预告,正在加速开源 Hy4 模型,敬请期待。

Hy4 flash 定位迄今性价比最高的 Hy 模型,总参数量 224B,其中包含 64B Engram 参数,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 大幅降低。

Hy4 flash 已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线。

IT之家附 Hy4 flash 开源地址如下:

查看原文

返回首页