xxcheng0708 / pytorch-model-train-template

pytorch单精度、半精度、混合精度、单卡、多卡(DP / DDP)、FSDP、DeepSpeed模型训练代码,并对比不同方法的训练速度以及GPU内存的使用
77Updated 8 months ago

Related projects

Alternatives and complementary repositories for pytorch-model-train-template