2021年6月，北京智源研究院（BAAI）推出了悟道2.0，这是中国首个超大规模智能模型系统，作为悟道1.0的升级版。该模型旨在在人类思维水平上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB图像和文本数据的训练，并在9个基准测试中超过了最先进（SOTA）水平，悟道在实现通用人工智能（AGI）和人类水平的思维方面取得了显著进展。
悟道的训练数据包括4.9TB的高质量英文和中文图像及文本：
- 1.2TB的中文文本数据
- 2.5TB的中文图形数据
- 1.2TB的英文文本数据
悟道基于开源的MoE系统FastMoE进行训练。MoE是一种机器学习技术，其工作原理是将预测建模任务分解为多个子任务，每个子任务由专门的专家（学习者）模型进行训练，同时开发一个门控模型，该模型根据输入数据选择合适的专家并整合其预测结果。FastMoE使悟道能够并行咨询不同的专家模型，并选择预测效果最佳的模型。例如，如果输入的是英文文本，悟道将使用专门针对英文文本优化的预测模型，以生成最合适的回应。
