腾讯混元Hy4 flash开源:224B总参数、每token激活12B,支持百万上下文
腾讯混元开源Hy4 flash模型,包含Hy4 flash、Hy4 flash-FP8与Hy4 flash Base三个版本,开发者可在GitHub、Hugging Face、ModelScope和GitCode下载部署。该模型总参数224B,含64B Engram参数,每token激活12B,支持多模态输入与百万级上下文。

腾讯混元开源Hy4 flash模型,包含Hy4 flash、Hy4 flash-FP8与Hy4 flash Base三个版本,开发者可在GitHub、Hugging Face、ModelScope和GitCode下载部署。该模型总参数224B,含64B Engram参数,每token激活12B,支持多模态输入与百万级上下文。
大模型
IT之家 11 月 18 日消息,腾讯混元今日宣布开源 Hy4 flash 模型,包含 Hy4 flash、Hy4 flash-FP8 和 Hy4 flash Base,开发者可在 GitHub、 Hugging Face、ModelScope 和 GitCode 下载部署。
腾讯混元官方预告,正在加速开源 Hy4 模型,敬请期待。
Hy4 flash 定位迄今性价比最高的 Hy 模型,总参数量 224B,其中包含 64B Engram 参数,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 大幅降低。
Hy4 flash 已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis 等产品上线。
IT之家附 Hy4 flash 开源地址如下:
- GitHub:https://github.com/Tencent-Hunyuan/Hy4-flash
- HuggingFace:https://huggingface.co/tencent/Hy4-flash
- Modelscope:https://modelscope.cn/models/Tencent-Hunyuan/Hy4-flash
- GitCode:https://ai.gitcode.com/tencent_hunyuan/Hy4-flash
- GGUF:https://huggingface.co/AngelSlim/Hy4-flash-GGUF
- 开源协议:https://huggingface.co/tencent/Hy4-flash/blob/main/LICENSE