我想将文件从 HDFS 传输到另一台服务器的本地文件系统,该服务器不在 hadoop 集群中,而是在网络中。
我本可以这样做:
hadoop fs -copyToLocal <src> <dest>
and then scp/ftp <toMyFileServer>.
由于数据巨大并且hadoop网关机器的本地文件系统空间有限,我想避免这种情况并将数据直接发送到我的文件服务器。
请帮助提供有关如何处理此问题的一些指示。
这是最简单的方法:
ssh <YOUR_HADOOP_GATEWAY> "hdfs dfs -cat <src_in_HDFS> " > <local_dst>
它也适用于二进制文件。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)