从 HDFS 传出文件

2024-05-24

我想将文件从 HDFS 传输到另一台服务器的本地文件系统,该服务器不在 hadoop 集群中,而是在网络中。

我本可以这样做:

hadoop fs -copyToLocal <src> <dest>
and then scp/ftp <toMyFileServer>.

由于数据巨大并且hadoop网关机器的本地文件系统空间有限,我想避免这种情况并将数据直接发送到我的文件服务器。

请帮助提供有关如何处理此问题的一些指示。


这是最简单的方法:

ssh <YOUR_HADOOP_GATEWAY> "hdfs dfs -cat <src_in_HDFS> " > <local_dst>

它也适用于二进制文件。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从 HDFS 传出文件 的相关文章

随机推荐

  • @Context 注入在 Je​​rsey ContainerRequestFilter 中不起作用(Dropwizard)

    Context 注入适用于类 但无法使其适用于对象 ContainerRequestFilter 中的 httpServletRequest 产生空指针 Dropwizard 版本 1 1 0 容器请求过滤器 public class Ap
  • 比较 2 个对象并检索具有不同值的字段列表

    给定一个具有 35 个字段的类和 2 个具有一定数量的不同字段值的对象 有没有一种聪明的方法来获取带有字段名称的列表 其中对象如下所示 e g obj1 Name aaa obj1 LastName bbb obj1 Address xcs
  • 在 Ruby 中转义字符串

    我想在某些 Ruby 中插入以下内容作为变量的值 lt gt 用双引号将其引起来是行不通的 那么是否有一个很好的 escape until the end 之类的东西可用 不要使用多种方法 保持简单 转义 反斜杠和双引号 irb main
  • 试驾 Nancy 模块

    好的 我喜欢 NancyFx 用这么几行代码编写一个 Web 应用程序真是太棒了 但是如何在单元级别上测试驱动 NancyModule 请注意 我知道优秀的测试框架 https github com NancyFx Nancy wiki T
  • 电报频道的帖子观看次数[关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我想了解有关电报频道的帖子浏览计数系统的更多信息 它是如何工作的 与此相关的API VB 部分是什么 我也有这个疑问 为了得到答案 我
  • 基于范围的 for 循环对性能有益吗?

    阅读 Stack Overflow 上有关 C 迭代器和性能 的各种问题后 我开始想知道是否for auto elem container 被编译器 扩展 成最好的版本 就像auto 编译器立即将其推断为正确的类型 因此永远不会更慢 有时甚
  • 可移植类库配置文件 78 缺失属性相关方法/属性

    在我的 PCL 核心项目 WP8 Android iOS Xamarin MvvmCross 中 我使用自定义属性 Type GetCustomAttributes 扩展方法允许我检查所使用的属性 使用 PCL Profile104 效果很
  • 在 Swift 中使用 CIColorMatrix 过滤器

    以下 Swift 函数应该使用指定的 tintColor 对灰度图像 greyImage 进行着色 import UIKit func colorizeImage greyImage UIImage tintColor UIColor gt
  • VBA 将数据透视表的源数据更新到行尾

    我试图弄清楚当使用 VBA 数据更改时如何将数据透视表源数据更新到行尾 我当前的代码如下 Dim shBrandPivot As Worksheet Dim shCurrentWeek As Worksheet Dim shPriorWee
  • 转换为盒子

    我有一个Box
  • 如何将 AWS CLI 的输出保存在变量中?

    我想将 AWS CLI 的输出保存在变量中 并在另一个 AWS CLI 中使用该变量 我所做的如下 taskarn aws ecs list tasks cluster mycluster service name myService re
  • WordPress 无法与站点通信

    我正在尝试添加一个搜索框 到目前为止我拥有的代码是 div style padding right 30px padding top 25px height 50px width 500px div 我不断收到以下消息 无法与站点通信以检查
  • React:搜索过滤器无法正常工作

    我通过 API 从服务器获取记录 API 是在 Loopback 中构建的 实际上 我在每个页面上显示 5 条记录 目前工作正常 我可以导航next or prev通过分页按钮 每页显示 5 条记录 问题是 当用户在搜索框中键入内容时 记录
  • 为什么 Perl 的 LWP 给我的编码与原始网站不同?

    可以说我有这个代码 use strict use LWP qw get my content get http www msn co il print STDERR content 错误日志显示类似 xd7 x9c xd7 x94 xd7
  • 理解Python for循环中的范围

    下面的程序正在查找给定范围内的素数 对于 noprimes 列表理解部分 为什么我们有 3 个参数在范围内 noprimes j for i in range 2 8 for j in range i 2 50 i primes x for
  • Sencha Touch Label - 它有点击事件吗?

    我正在尝试使用 sencha touch 2 构建一个抽认卡应用程序 我有一个显示问题的标签 它占据了整个屏幕 我希望这样当用户点击标签时就会显示答案 标签有 点击 事件吗 当我使用按钮时它有效 但当我使用标签时则无效 另一种方法是我是否可
  • ASP .net 从 page_load 函数后面的代码中获取隐藏值

    我在 javascript 代码中设置了一个隐藏字段
  • 使用 cypher 和 apoc 将数百万个节点添加到 neo4j 空间层

    我有一个包含 380 万个节点的数据集 我正在尝试将所有这些加载到 Neo4j 空间中 节点将进入一个简单的点层 因此具有所需的纬度和经度字段 我试过了 MATCH d pointnode WITH collect d as pn CALL
  • 匀称多边形到二元蒙版

    我已经看到这个问题被问到 但还没有真正找到完整的答复 我有一个简单的形状多边形 称为polygon 我想提取这个多边形作为二进制掩码 最好是 numpy 数组 我该怎么做呢 我还成功地从 shapely 转换为 geopandas 如图所示
  • 从 HDFS 传出文件

    我想将文件从 HDFS 传输到另一台服务器的本地文件系统 该服务器不在 hadoop 集群中 而是在网络中 我本可以这样做 hadoop fs copyToLocal