程序员经验分享-hwhale

WEBHDFS REST API 将文件从 Windows 服务器/本地文件夹/桌面复制/移动到 HDFS

2024-03-15

使用 WEBHDFS REST API 调用，我可以将文件从 Windows 计算机（即 Windows 服务器或 Windows 本地文件夹或桌面）传输或复制到 Hadoop-HDFS 文件系统吗？

如果是，有任何示例命令信息吗？

我已经尝试过并且能够使用
Windows->（使用 ftp）-> Linux 目录 ->（使用 webhdfs）-> HDFS 这是两步过程，我正在寻找直接从 Windows ->（webhdfs）-> HDFS 的一步过程。

我提到了https://hadoop.apache.org/docs/r1.0.4/webhdfs.html https://hadoop.apache.org/docs/r1.0.4/webhdfs.html也可以获取有用的信息。

示例：如果我的文件位于 E:\user\accounts.txt 中，并且我想使用 webhdfs 将此文件移动到 HDFS /user/kumar/ 文件夹。

目前我正在做的是 Step-1) 将帐户文件从 Windows ftp 到 linux 目录。
步骤2）运行curl命令将文件从linux机器移动到HDFS文件夹。

有什么建议可以一步完成吗？ 步骤 1) Windows -> HDFS 一步使用 webhdfs。


我们可以使用 scp 命令将文件从 Windows 文件系统复制到 HDFS。

scp source_file_name user@/path/file_name

我们也可以通过使用winscp工具来实现这一点。您可以安装它并建立到 hdfs 服务器的连接，然后可以传输文件。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

cURL

HDFS

Hadoop2

jirarestapi

webhdfs

WEBHDFS REST API 将文件从 Windows 服务器/本地文件夹/桌面复制/移动到 HDFS 的相关文章

  • JIRA Rest api 获取活动流

    我正在尝试使用下面的 api 获取 jira 实例的活动流 但它不起作用 有人能给我指出正确的方向吗 您应该查看此页面 https developer atlassian com docs atlassian platform common

  • 56 CONNECT 后收到来自代理的 HTTP 代码 403？

    使用 cUrl 从我的网页生成销售人员线索时 出现 56 在 CONNECT 后从代理接收到 HTTP 代码 403 错误 该网站的 SSL 证书已过期 UPDATED 我的代码如下 curl setopt curl CURLOPT URL

  • Spark 写入 hdfs 无法使用 saveAsNewAPIHadoopFile 方法

    我在 CDH 5 2 0 上使用 Spark 1 1 0 并试图确保我可以读取和写入 hdfs 我很快意识到 textFile 和 saveAsTextFile 调用旧的 api 并且似乎与我们的 hdfs 版本不兼容 def testHD

  • 从 HDFS 传出文件

    我想将文件从 HDFS 传输到另一台服务器的本地文件系统 该服务器不在 hadoop 集群中 而是在网络中 我本可以这样做 hadoop fs copyToLocal

  • 不要回显 cURL

    当我使用这段代码时 ch curl init url statuses curl exec ch curl close ch 我得到了我想要的东西 但如果我只是使用它 statuses被回显到页面上 我怎样才能阻止这个 将其放在第 2 行

  • 如何使用curl将多个参数传递给cron作业？

    我正在运行两个 cron 作业 这个执行没有问题 curl sS http example com cronjob php days 1 但这根本不运行 curl sS http example com cronjob php days 1

  • 运行 Sqoop 导入和导出时如何找到最佳映射器数量？

    我正在使用 Sqoop 版本 1 4 2 和 Oracle 数据库 运行 Sqoop 命令时 例如这样 sqoop import fs

  • 使用 libcurl 获取 https

    我正在尝试连接到 google api 这在我的终端中运行良好 我正在这样做 curl https www googleapis com tasks v1 users me lists header Authorization Bearer

  • 使用 cURL 解释 PHP 中的令牌返回

    我无法解释从该服务器获得的响应 当用户尝试访问我的服务器上的页面时 此 PHP 首先运行以查看它们是否具有有效的令牌 通过我未在此处显示的上一个登录页面 ch curl init searchURL http example com isT

  • PHP - 为什么使用 Guzzle 而不是 cURL？

    在我的应用程序中 我最初开始使用 cURL 从各种 API 检索数据 今天 我尝试使用 Guzzle 来完成同样的任务 到目前为止 cURL 和 Guzzle 似乎都工作得同样好 判断依据Github https github com gu

  • 尝试获取 Box api 令牌时凭证无效

    这是我的问题 我按照 youtube 上发布的说明进行操作 通过 2 个快速步骤获取 Box 访问令牌 使用client id and client secret由盒子提供 步骤1 获取auth code 我在 Firefox 中复制并粘贴

  • 通过解决方案过渡 Jira 问题

    我想将 jira 问题转为完成 并提出解决方案 我正在使用POST rest api 2 issue issueIdOrKey transitions https docs atlassian com jira REST cloud ga

  • 使用 Ruby Curb 传递 GET 参数

    我正在尝试使用 Curb curb rubyforge org 调用需要在 get 请求中提供参数的 RESTful API 我想获取一个像这样的URLhttp foo com bar xml bla blablabla 我希望能够做类似的

  • 来自curl的NSUrlRequest用于条纹

    我需要使用以下说明发出 http post 请求 curl https api stripe com v1 tokens u sk test BQokikJOvBiI2HlWgH4olfQ2 d bank account country U

  • php-curl 不支持 url 中的 utf-8

    我正在尝试将 http 请求从我的服务器发送到 php 中的另一台服务器 例如 我发送请求的 URL 包含一些 utf8 字符http www aparat com etc api videoBySearch text http www a

  • libcurl：我无法像浏览器一样快地下载网络资源

    如果您愿意 请检查这个简单的网页 http alvein freevar com http alvein freevar com这只是一个简单的画廊 里面有 1999 年的小图片 Chrome和Edge均完成满载10秒以下 缓存为空 像这样

  • 如何使用 cURL 和 PHP 抓取 LinkedIn 公司页面？在标头错误中找不到 CSRF 令牌

    我想用 cURL 和 PHP 抓取一些 LinkedIn 公司页面 LinkedIn 的 API 不是为此构建的 因此我必须使用 PHP 来完成此操作 如果还有其他选择 请告诉我 在抓取公司页面之前 我必须通过 cURL 使用个人帐户登录

  • 将cURL请求转换为node.js的请求

    这是我的有效 cURL 命令 curl https www example com api data jsonrpc 2 0 method getObjectsByFilter id 3 这是我在 Node js 中尝试过的 var url

  • Spark/Yarn：HDFS 上不存在文件

    我在 AWS 上设置了 Hadoop Yarn 集群 有 1 个主服务器和 3 个从服务器 我已经验证我有 3 个活动节点在端口 50070 和 8088 上运行 我在客户端部署模式下测试了 Spark 作业 一切正常 当我尝试使用 Spa

  • 如何在 PHP 中使用 cURL 发出同时包含 GET 和 POST 参数的请求？

    其他人已经问过如何从 perl java bash 等执行此操作 但我需要在 PHP 中执行此操作 并且我没有看到任何已提出的专门与 PHP 相关的问题 或包含 PHP 的答案 My code ch curl init url curl s

随机推荐

热门标签