悟道
2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型系统。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本
产品介绍
2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型系统。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练，并在9个基准上超过了最先进（SOTA）水平，悟道比任何同行都更接近于实现和人类水平的思维。
悟道接受了4.9 TB高质量英文和中文图像和文本的训练：
- 1.2TB中文文本数据
- 2.5TB中文图形数据
- 1.2TB英文文本数据
悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种技术，其工作原理如下：
将预测建模任务划分为子任务，针对每个子任务训练专家（学习者）模型，开发门控模型，该门控模型基于要预测的输入来学习咨询哪个专家，并组合预测。FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。例如，如果输入是英文文本，悟道将使用预测模型，该模型可以在英文文本中生成回应。
猜你喜欢
推荐资讯
硅谷AI投资钱往高处流：头部初创拿钱到手软，大多AI公司半年颗粒未入
今年6月，朱啸虎和傅盛在朋友圈进行了一场关于GPT对创业公司价值的“辩论”：
2023-04-05 21:05:59
黄仁勋：他如何用AI一颗子，打吃3000亿美元的云棋局
在英伟达8月23日的电话会上，所有人的目光都集中在由GPU服务器带来的惊人营收
2023-04-05 21:05:59
OpenAI 两大竞品乱局中更新，但没一个能打
在OpenAI 陷入分裂的混乱五日中，它竞争对手们的脚步却一点都没落下。 除去谷
2023-04-05 21:05:59
微软的AI弯道超车法：大模型卷不过，小模型我必坐头把交椅
这两天业界热议的MOE模型Mistral-8X7B刚刚登顶开源模型榜一天，讨论度可能就要
2023-04-05 21:05:59
摄影师危险了！Midjourney v6公测，带来相片级真实细节
Midjourney 在Discord上宣布其最新版本v6的测试版发布。该模型经过了9个
2023-04-05 21:05:59
