全球唯一！中移云能团队大模型领域成果获顶级学术会议“最佳论文奖”

随着人工智能技术的快速发展，大型深度学习模型已广泛应用于语言处理和代码生成等多个领域。大模型通常需要数千个GPU和长达数月的训练时间，意外的程序错误和硬件损坏会导致训练任务频繁中断。因此，大模型训练依赖检查点机制周期性地保存模型快照，确保故障后的断点续训能力。训练任务必须等待检查点处理完成后才能继续进行，但是现有检查点机制的保存及加载吞吐量较低，严重停滞训练任务和降低计算资源利用率。

针对以上挑战，异构多路径检查点机制ParaCkpt应运而生，创新性地利用CPU内存、本地存储和远端存储的并行I/O能力来提升检查点性能。ParaCkpt首先识别GPU到CPU内存、本地存储和远程存储的多条PCIe传输路径，并确定所有路径的可用带宽。然后将模型划分为基于路径的分片，并充分利用PCIe点对点传输技术，将分片从多个GPU并行导出到内存和异构存储设备中，从而突破现有单路径检查点机制的传输性能瓶颈。ParaCkpt的核心存储架构简洁高效，多路径并行传输方法吞吐量提升效果明显，可适用于现有绝大部分AI模型训练基础设施。在基于真实训练服务器的原型系统测试中，ParaCkpt实现单机超100GB/s的检查点保存吞吐量，相比原生Pytorch检查点方法高出96倍，有效解决检查点过程引发的训练停滞问题。