360 智脑 7B 参数大模型开源，支持 50 万字长文本输入
360 公司日前在 GitHub 上开源了 360 智脑 7B（70 亿参数模型）。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练，以中文、英文、代码为主，开放 4K、32K、360K 三种不同文本长度。360 表示，360K（约 50 万字）是当前国产开源模型文本长度最长的。
在英文大海捞针测试（将关键信息插入一段长文本的不同位置，再对该关键信息提问，从而测试大模型的长文本能力的一种方法）中，7B-360K 模型达到 98% 以上的准确率。360 仿照 SuperCLUE-200K 测评基准构造了中文大海捞针测试，同样做到了 98% 以上的准确率。
此前，周鸿祎表示，前段时间大模型行业卷文本长度，100 万字“很快将是标配”。“我们打算将这个能力开源，大家没必要重复造轮子，定为 360K 主要是为了讨个口彩。”他还自称“开源的信徒”，信奉开源的力量。
🗒 标签: #360 #AI
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
via Yummy 😋 - Telegram Channel
360 公司日前在 GitHub 上开源了 360 智脑 7B（70 亿参数模型）。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练，以中文、英文、代码为主，开放 4K、32K、360K 三种不同文本长度。360 表示，360K（约 50 万字）是当前国产开源模型文本长度最长的。
在英文大海捞针测试（将关键信息插入一段长文本的不同位置，再对该关键信息提问，从而测试大模型的长文本能力的一种方法）中，7B-360K 模型达到 98% 以上的准确率。360 仿照 SuperCLUE-200K 测评基准构造了中文大海捞针测试，同样做到了 98% 以上的准确率。
此前，周鸿祎表示，前段时间大模型行业卷文本长度，100 万字“很快将是标配”。“我们打算将这个能力开源，大家没必要重复造轮子，定为 360K 主要是为了讨个口彩。”他还自称“开源的信徒”，信奉开源的力量。
🗒 标签: #360 #AI
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
via Yummy 😋 - Telegram Channel
