深度学习烦人的基础知识(2)—Nvidia-smi功率低，util高—nvidia_smi参数详解

问题

如下图所示，GPU功率很低，Util占用率高。这个训练时不正常的！

现象解释

Pwr是指GPU运行时耗电情况，如图中GPU满载是300W，目前是86W与GPU2的空载情况功率相等。说明GPU没有在真正运行。

GPU-Util高说明它的核心被占用了，占用率为100%。

打个比方，把GPU看做是人。三个人，一个在举重，一个人在跑步，一个人在走路。他们都在运动，都是忙碌的，也就是GPU-Util占用高。但是很显然举重的，对外做功高，跑步的做功低，走路的最差，也就是GPU的耗电情况。详细此述

结论：像是这种情况，说明GPU被占用了，但是没有实际工作，也就是人员到位了，在等活干，很有可能是进程等待问题，或者进程锁死了。

解决方案

1. 定位问题，方法很多，比如：打印输出，看程序卡死在哪步，即可定位。
2. 网上找解决方案。
3. 如果是在运行多卡训练，容易卡死的地方有：

磨刀不误砍柴工–nvidia-smi参数解读

如下所示，其表格中，有这么多参数，且参数名与值的其位置是一一对应的。我用不同颜色进行标识，同一种颜色的方框和箭头，标识出参数名和其值的位置关系。

代码007普通

打赏 收藏 海报 链接