优惠 新型深度神经网络（DNN）训练方法2BP：提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时

爱丁堡大学推出一种新的深度神经网络（DNN）训练方法，称为2-Stage Backpropagation（简称2BP）。这种方法旨在提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时。论文中通过实验表明，使用2BP在训练具有70亿参数的类似LLaMa的变换器模型时，与传统方法... 阅读全文