腾讯推出 Hunyuan-Large 开源大模型:389B 总参数、52B 激活参数
腾讯今日宣布推出Hunyuan-Large 大模型,官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 3890 亿总参数(389B)和 520 亿激活参数(52B),训练token数量为7T,最大上下文长度为256K。
Arxiv|GitHub|Hugging Face|腾讯云
📮投稿 ☘️频道 🛍新一轮双11抽奖
via 科技圈🎗在花频道📮 - Telegram Channel
腾讯今日宣布推出Hunyuan-Large 大模型,官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 3890 亿总参数(389B)和 520 亿激活参数(52B),训练token数量为7T,最大上下文长度为256K。
Arxiv|GitHub|Hugging Face|腾讯云
📮投稿 ☘️频道 🛍新一轮双11抽奖
via 科技圈🎗在花频道📮 - Telegram Channel