我正在尝试使用 pyarrow,但不断收到以下错误。
ImportError: Can not find the shared library: libhdfs3.so
所以我读了一些 stackoverflow,它说我需要为 ARROW_LIBHDFS_DIR 设置环境变量。
libhdfs.so的路径是/usr/local/hadoop/native/
它试图在 bashrc 中设置它,但它不起作用
conda 安装似乎不起作用,即
conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3
如果我得到这个将会有很大的帮助。
提前致谢。
ensure libhdfs.so
is in $HADOOP_HOME/lib/native
以及在$ARROW_LIBHDFS_DIR
使用它来检查您的 bash 环境中是否设置了变量ls $ARROW_LIBHDFS_DIR
如果没有找到该文件使用locate -l 1 libhdfs.so
使用以下命令将您找到的目录路径分配给 ARROW_LIBHDFS_DIR 变量ARROW_LIBHDFS_DIR=<directory location to libhdfs.so>
在 SO 中引用 -https://stackoverflow.com/a/62749351/6263217 https://stackoverflow.com/a/62749351/6263217
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)