内修昇思MindSporeAI框架，外重行业汇聚，华为大模型的不平凡之路

原创 Synced 机器之心
机器之心原创
作者：杜伟
今天，我们来讲一讲昇思 MindSpore AI 框架与大模型的故事。
要说近几年深度学习领域最热门的研究课题有哪些？大模型肯定在列。从 2020 年 OpenAI 发布 1750 亿参数的 GPT-3 开始，炼大模型这股潮流变得不可阻挡。依托自身效果好、泛化能力强等特点，大模型进一步增强 AI 的通用性，更成为 AI 技术和应用的新基座。
科技巨头们纷纷下场，接连推出千亿甚至万亿参数级的大模型。而纵观现有大模型，NLP、CV 以及多模态成为三个主要的发力方向，这些偏向于基础大模型；同时，能否落地应用成为检测大模型能力的重要指标，因此具备丰富领域知识的行业大模型也越来越受到业界的关注。
在大模型这条赛道上，国内 AI 厂商各显神通。华为也不例外，原生支持大模型训练的昇思 MindSpore AI 框架成为其发展大模型的关键。昇思 MindSpore 的开源开放使得国内产学界一些科研机构基于它打造了一系列大模型。

据了解，昇思 MindSpore 在进行架构设计时就考虑了大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题，针对性的技术研究与创新：
业界领先的全自动并行能力，提供 6 维混合并行算法，即数据并行、模型并行、流水并行、优化器并行等，一行代码实现模型自动切分、分布式并行计算，开发并行代码量降低 80%、系统调优时间下降 60%；
极致的全局内存复用能力，在开发者无感知的情况下，自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化，512 卡就可训练 10 万亿规模的参数模型，极大降低大模型训练成本；
极简的断点续训能力，可解决大集群训练故障导致的任务中断问题，实现自动恢复、继承性训练，开发者无需从头开始，千亿参数模型在分钟级就可无损恢复。
鹏城实验室基于昇思 MindSpore 先后推出了业界首个 2000 亿参数中文预训练语言模型鹏程.盘古和面向生物医学领域的鹏程.神农大模型、中科院自动化所基于昇思 MindSpore 推出了业界首个图文音三模态大模型紫东.太初、武汉大学基于昇思 MindSpore 研发了全球首个智能遥感框架及数据集武汉.LuoJia。