pandas read_csv 有时会挂起,但不会出现错误消息

2024-01-25

我遇到一个奇怪的错误,每隔几天就会发生一次。我有几个虚拟机在 Google Cloud 上运行,运行 Python 脚本。 Python文件很大,但卡住的部分如下:

try:
    f = urlopen('https://resources.lendingclub.com/SecondaryMarketAllNotes.csv')
    df = pd.read_csv(f)
except:
    print('error')

第一行代码总是有效,但第二行有时会停止程序。我的意思是程序不会继续执行,但不会抛出任何类型的错误。我的代码中以调试模式运行记录器,但它不记录任何内容。

同样,这种情况很少发生,但一旦发生,我的虚拟机就会停止。当我查看其中的流程时top,我看到 Python 以 0% CPU 运行,并且仍然有足够的系统内存可用。它将继续在那里停留几个小时,而不会继续执行下一行代码或返回错误。

我的应用程序对时间非常敏感,使用 urlopen 比使用更快pd.read_csv直接打开文件。

我注意到,当发生这种罕见的错误时,它会在我的所有虚拟机中同时发生,这意味着正在下载的文件可能会触发此问题。为什么它不会导致错误超出了我的范围。

我将非常感谢任何有关可能导致此问题的原因以及可用的解决方法的想法。

我正在使用 Python 3.5.3 和 pandas 0.19.2


None

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

pandas read_csv 有时会挂起,但不会出现错误消息 的相关文章

随机推荐