部分深度学习网络默认多卡并行训练的,由于某些原因,有时需要指定在某单卡上训练,最近遇到一个这里总结如下

一、多卡训练

1.1 修改配置文件

在这里插入图片描述

1.2 修改主训练文件

在这里插入图片描述
上面红框代码解析

if torch.cuda.is_available() and ngpu > 1:         # 当 torch.cuda.is_available() 为真且 ngpu > 1 时              
	model = nn.DataParallel(model, device_ids=list(range(ngpu)))

model = nn.DataParallel(model, device_ids=list(range(ngpu))):

此行代码创建一个 DataParallel包装器,用于多个GPU上并行处理神经网络模型。DataParallel 是 PyTorch 中的一个模块,它可以输入数据分割发送到不同的GPU进行处理然后汇总结果

model:要并行化的神经网络模型

device_ids=list(range(ngpu)):指定使用的GPU。在这里,它使用了所有可用的GPU,数量上限为指定的 ngpu。

1.3 显卡使用情况

在这里插入图片描述

二、单卡训练

2.1 修改配置文件

在这里插入图片描述在这里插入图片描述

2.2 显卡使用情况

修改好后开始训练,查看显卡使用情况:

在这里插入图片描述

三、总结

以上就是多卡GPU训练与单卡GPU训练相互切换操作过程,希望能帮到你,谢谢!

原文地址:https://blog.csdn.net/qq_40280673/article/details/134730561

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_25762.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注