AI大模型训练方法

DeepSpeed是一个由微软开发的开源深度学习优化库，它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。