如何为 pyarrow 设置 libhdfs.so 的路径?

2024-05-17

我正在尝试使用 pyarrow,但不断收到以下错误。

ImportError: Can not find the shared library: libhdfs3.so

所以我读了一些 stackoverflow,它说我需要为 ARROW_LIBHDFS_DIR 设置环境变量。
libhdfs.so的路径是/usr/local/hadoop/native/
它试图在 bashrc 中设置它,但它不起作用
conda 安装似乎不起作用,即

conda install libhdfs3
pip install libhdfs3
conda install -c clinicalgraphics libgcrypt11
conda install libprotobuf=2.5
conda update libhdfs3 

如果我得到这个将会有很大的帮助。 提前致谢。


ensure libhdfs.so is in $HADOOP_HOME/lib/native以及在$ARROW_LIBHDFS_DIR

使用它来检查您的 bash 环境中是否设置了变量ls $ARROW_LIBHDFS_DIR

如果没有找到该文件使用locate -l 1 libhdfs.so

使用以下命令将您找到的目录路径分配给 ARROW_LIBHDFS_DIR 变量ARROW_LIBHDFS_DIR=<directory location to libhdfs.so>

在 SO 中引用 -https://stackoverflow.com/a/62749351/6263217 https://stackoverflow.com/a/62749351/6263217

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何为 pyarrow 设置 libhdfs.so 的路径? 的相关文章

随机推荐

  • 为什么 try catch 块没有捕获 Promise 异常?

    我对承诺的错误处理感到困惑 答案可能很明显 但我不明白 我有以下示例代码 var test async function throw new Error Just another error try test then catch err
  • HTML 表格 - 固定列宽和多个可变列宽

    我必须建立一个有 5 列的表 表格宽度是可变的 内容宽度的 50 有些列包含固定大小的按钮 因此这些列应该有一个固定大小 例如 100px 有些列中有文本 所以我希望这些列具有可变的列宽 例如 Column1 tablewidth sum
  • 通过 Telnet 运行应用程序

    我需要创建一个 BAT 文件来通过 telnet 运行应用程序 但据我所知 在 DOS 上无法执行此操作 Telnet 不允许在连接的瞬间向远程计算机发送任何命令 并且 BAT 文件中的每个后续命令只有在 telnet 停止后才会执行 这段
  • R data.table 1.9.2 关于 setkey 的问题

    这似乎是 1 8 10 后引入的一个错误 与包含列表的 DT 的 setkey 相关 运行下面两个代码来查看问题 library data table dtl lt list dtl 1 lt data table scenario 1 p
  • 更改屏幕方向时,创建了新活动

    我对 Android 还比较陌生 但在过去的一年里制作了很多应用程序 所以请原谅我 我知道 当您在设备上运行应用程序并通过旋转设备来更改屏幕方向时 所显示的活动将完全重新创建 我转到 YouTube 应用程序 我使用的是 Nexus 7 w
  • 在 android 中从 XML 文件创建视图对象

    我只想从 xml 布局文件中获取一个对象 而不必将其实现到当前布局中 我知道方法 LayoutInflater from context inflate R layout myfile myparent true 但执行上述操作后 布局将被
  • 为什么Java不提供运算符重载?

    从 C 到 Java 明显的未解决问题是为什么 Java 不包含运算符重载 Isn t Complex a b c a b c 比简单得多Complex a b c a b add c 是否有已知的原因 有效的论据not允许运算符重载 原因
  • 是否可以在 OpenCL 中并行运行求和计算?

    我是 OpenCL 的新手 不过 我了解 C C 基础知识和 OOP 我的问题如下 是否可以以某种方式并行运行求和计算任务 理论上可能吗 下面我将描述我尝试做的事情 任务例如是 double values new double 1000 l
  • 以编程方式更改任务栏图标(Win32,C++)[重复]

    这个问题在这里已经有答案了 我有一个 C win32 程序 我想在运行时编辑任务栏图标以显示有关该程序的警报等 但是我对 win32 api 不太有经验 而且我找不到任何东西在线的 我发现的最接近的是http www windows tec
  • Django:分解视图

    这实际上只是一个 最佳实践 问题 我发现在开发应用程序时 我经常会遇到a lot的意见 将这些视图分成几个视图文件是常见的做法吗 换句话说 不仅仅是views py 通常还有views 1 py views 2 py views 3 py
  • 将 MahApps 图标与 ContextMenu 结合使用

    我正在使用 MahApps Metro UI 工具包编写 WPF 应用程序 http mahapps com guides quick start html http mahapps com guides quick start html
  • 两个 pandas 列的字符串连接

    我有一个关注者DataFrame from pandas import df DataFrame foo a b c bar 1 2 3 它看起来像这样 bar foo 0 1 a 1 2 b 2 3 c 现在我想要这样的东西 bar 0
  • vb.net HtmlAgilityPack 在 div 之后插入字符串

    我试图在 div 末尾直接插入一些我自己的 html 这个 div 里面有其他 div Dim HtmlNode As HtmlNode HtmlNode CreateNode span class Those were the frien
  • 如何在 python 中使用 urllib2 加快获取页面的速度?

    我有一个脚本可以获取多个网页并解析信息 一个例子可以在 我在上面运行了 cProfile 正如我所假设的 urlopen 占用了很多时间 有没有办法更快地获取页面 或者一次获取多个页面的方法 我会做最简单的事情 因为我是 python 和网
  • 开发者可以在 Windows 应用程序中使用 iCloud 吗?

    开发人员可以使用 Apple 的 iCloud API 在 Mac OS X 和 iOS 上的不同版本的应用程序之间同步应用程序数据 如果开发人员拥有 Windows 版本的应用程序 该版本是否也可以使用 iCloud 将应用程序数据与 M
  • 我可以根据多列删除数据库重复项吗?

    I 不久前问过这个问题 https stackoverflow com questions 4952250 how to delete duplicates from a database table based on a certain
  • 如何使用 seResult 或 startActivityForResult 从外部应用程序活动获取 onActivityResult 数据

    我分别有两个应用程序 客户端和卖家应用程序 我想为客户端应用程序付款并获得卖家应用程序的回复 不管怎样 我在卖家应用程序中启用了深度链接概念 客户端应用程序 它在客户端应用程序内有三个活动页面 获取详细信息 第一个活动页面 并显示确认 第二
  • 内存调试:如何获取 Linux 用户空间/内核空间中的锁定页面信息

    有什么方法可以获取Linux用户空间 内核空间中的锁定页面 虚拟内存页面 信息 我想了解详细信息 例如 谁锁定了页面 有多少页被锁定 进程名称 谁锁定了页面 还让我了解内核空间和用户空间的内存调试技术 对于内存中的每个页面 都会为其分配标志
  • 如何在Spring-Boot中创建DefaultMessageListenerContainer?

    我是 Spring Boot 的新手 并尝试创建 DefaultMessageListenerContainer 以便我可以使用 weblogic workmanager 并以多线程方式运行多个消息侦听器 有人可以提供一些例子吗 到目前为止
  • 如何为 pyarrow 设置 libhdfs.so 的路径?

    我正在尝试使用 pyarrow 但不断收到以下错误 ImportError Can not find the shared library libhdfs3 so 所以我读了一些 stackoverflow 它说我需要为 ARROW LIB