腾讯推出 Hunyuan-Large 开源大模型:389B 总参数、52B 激活参数

腾讯今日宣布推出Hunyuan-Large 大模型,官方表示这是目前业界已经开源的基于 Transformer 的最大 MoE 模型,拥有 3890 亿总参数(389B)和 520 亿激活参数(52B),训练token数量为7T,最大上下文长度为256K。

ArxivGitHubHugging Face腾讯云

📮投稿 ☘️频道 🛍新一轮双11抽奖

via 科技圈🎗在花频道📮 - Telegram Channel
 
 
Back to Top
oaibest.com 2023-2024   admin@g4f.icu | 服务状态