最近服务器跑程序的时候经常出现GPU lost的情况，报错信息如下：
Unable to determine the device handle for GPU. GPU is lost. Reboot the system to recover this GPU.
自查排除首先排除程序代码原因，然后根据网上给出的各种原因一一检查，可参考：https://sdsy888.blog.csdn.net/article/details/103884592
可能原因总结如下：
- 驱动问题
不过如果你重启后GPU恢复的话，基本可以排除这个原因，我更新了驱动，但是还是没有解决。 - GPU过热，风扇，机箱散热问题
基本可以确定我的情况属于这个问题，首先我使用小数据集同时跑2块GPU时不会出现错误，但换大数据集同时跑2块GPU就会报错（温度会高些）；而用大数据集在单块GPU上跑也不会报错，还能抗得住。。
而且navidia-smi监控信息显示风扇转速有点低，甚至有块没有，看了机子风扇都有在转，不过确实没有其他服务器转的厉害。
目前单块在跑没有断过。 - 电源供电不足导致
服务器机子最好一个插座上只供应这个机子，不要接其他大功率电器 - cuda，anaconda和框架
全部重新安装下
更新：找人修了机子，确定是散热问题，风扇坏掉了/(ㄒoㄒ)/~~
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
