Hadoop命令大全

2023-10-27

目录

基本语法

一、上传

二、下载

三、其他增删改查操作

3.1 增

3.2 删

3.3 改

3.4 查


基本语法

hadoop fs 和  hdfs dfs (hadoop fshdfs dfs命令等效。)

- hdfs dfs 只能操作HDFS文件系统

- hadoop fs 可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广

[root@hadoop102 hadoop-3.1.3]$ bin/hadoop fs

[-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] <path> ...]
        [-cp [-f] [-p] <src> ... <dst>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] <localsrc> ... <dst>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
<acl_spec> <path>]]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]

一、上传

1.-moveFromLocal 从本地剪切粘贴到HDFS

2.-copyFromLocal 从本地文件系统拷贝文件到HDFS

3.-put:等同于copyFromLocal,生产环境更习惯用put

4.-appendToFile:追加一个文件到已经存在的文件末尾

二、下载

1.-copyToLocal:从HDFS拷贝到本地

2.-get:等同于copyToLocal,生产环境更习惯用get

三、其他增删改查操作

3.1 增

1.-mkdir:创建路径

3.2 删

1.-rm:删除文件或文件夹

2.-rm -r:递归删除目录及目录里面内容(非空目录)

3.-rmdir: 只能删除空目录

3.3 改

 1.-chgrp、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限

2.-cp:从HDFS的一个路径拷贝到HDFS的另一个路径(注意区别-put)

3.-mv:在HDFS目录中移动文件(注意区别-get)

4.-setrep:设置HDFS中文件的副本数量 

hadoop fs -setrep 副本数量 <path>

3.4 查

 1.-ls: 显示目录信息

2.-cat:显示文件内容

3.-tail:显示一个文件的末尾1kb的数据(一般用于查看日志)

4.-df:统计文件系统的容量、可用空间和已用空间信息

5.-du:统计文件夹的大小信息

hadoop fs -df [-h] <path>

6.-count:命令用于统计指定目录下的目录数、文件数、字节数

hadoop fs -count [-h] <path>  (-h 参数使用便于操作人员读取单位信息格式)
  

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop命令大全 的相关文章

  • 日期语句之间的 JPQL SELECT [关闭]

    Closed 这个问题是无法重现或由拼写错误引起 help closed questions 目前不接受答案 我想将此 SQL 语句转换为等效的 JPQL SELECT FROM events WHERE events date BETWE
  • 为 java 游戏创建交互式 GUI

    大家好 我正在创建一个类似于 java 中的 farmville 的游戏 我只是想知道如何实现用户通常单击以与游戏客户端交互的交互式对象 按钮 我不想使用 swing 库 通用 Windows 看起来像对象 我想为我的按钮导入自定义图像 并
  • 如何在java中将一个数组列表替换为另一个不同大小的数组列表

    我有两个大小不同的数组列表 如何从此替换 ArrayList
  • Pig Udf 显示结果

    我是 Pig 的新手 我用 Java 编写了一个 udf 并且包含了一个 System out println 其中的声明 我必须知道在 Pig 中运行时该语句在哪里打印 假设你的UDF 扩展了 EvalFunc 您可以使用从返回的 Log
  • 如何获取之前的URL?

    我需要调用我的网络应用程序的 URL 例如 如果有一个从 stackoverflow com 到我的网站 foo com 的链接 我需要 Web 应用程序 托管 bean 中的 stackoverflow 链接 感谢所有帮助 谢谢 并不总是
  • 谷歌应用程序引擎会话

    什么是java应用程序引擎 默认会话超时 如果我们将会话超时设置为非常非常长的时间 会不会产生不良影响 因为谷歌应用程序引擎会话默认情况下仅存储在数据存储中 就像facebook一样 每次访问该页面时 会话仍然永远存在 默认会话超时设置为
  • java.lang.IllegalStateException:应用程序 PagerAdapter 更改了适配器的内容,而没有调用 PagerAdapter#notifyDataSetChanged android

    我正在尝试使用静态类将值传递给视图 而不是使用意图 因为我必须传递大量数据 有时我会收到此错误 但无法找出主要原因是什么 Error java lang IllegalStateException The application s Pag
  • Java 集合的并集或交集

    建立并集或交集的最简单方法是什么Set在 Java 中 我见过这个简单问题的一些奇怪的解决方案 例如手动迭代这两个集合 最简单的单行解决方案是这样的 set1 addAll set2 Union set1 retainAll set2 In
  • 没有 Spring 的自定义 Prometheus 指标

    我需要为 Web 应用程序提供自定义指标 问题是我不能使用 Spring 但我必须使用 jax rs 端点 要求非常简单 想象一下 您有一个包含键值对的映射 其中键是指标名称 值是一个简单的整数 它是一个计数器 代码会是这样的 public
  • 帮助将图像从 Servlet 获取到 JSP 页面 [重复]

    这个问题在这里已经有答案了 我目前必须生成一个显示字符串文本的图像 我需要在 Servlet 上制作此图像 然后以某种方式将图像传递到 JSP 页面 以便它可以显示它 我试图避免保存图像 而是以某种方式将图像流式传输到 JSP 自从我开始寻
  • Hibernate 的 PersistentSet 不使用 hashCode/equals 的自定义实现

    所以我有一本实体书 public class Book private String id private String name private String description private Image coverImage pr
  • volatile、final 和synchronized 安全发布的区别

    给定一个带有变量 x 的 A 类 变量 x 在类构造函数中设置 A x 77 我们想将 x 发布到其他线程 考虑以下 3 种变量 x 线程安全 发布的情况 1 x is final 2 x is volatile 3 x 设定为同步块 sy
  • Java ResultSet 如何检查是否有结果

    结果集 http java sun com j2se 1 4 2 docs api java sql ResultSet html没有 hasNext 方法 我想检查 resultSet 是否有任何值 这是正确的方法吗 if resultS
  • logcat 中 mSecurityInputMethodService 为 null

    我写了一点android应显示智能手机当前位置 最后已知位置 的应用程序 尽管我复制了示例代码 并尝试了其他几种解决方案 但似乎每次都有相同的错误 我的应用程序由一个按钮组成 按下按钮应该log经度和纬度 但仅对数 mSecurityInp
  • 使用 AsyncTask 传递值

    我一直在努力解决这个问题 但我已经到了不知道该怎么办的地步 我想做的是使用一个类下载文件并将其解析为字符串 然后将该字符串发送到另一个类来解析 JSON 内容 所有部件都可以单独工作 并且我已经单独测试了所有部件 我只是不知道如何将值发送到
  • 关键字“table”附近的语法不正确,无法提取结果集

    我使用 SQL Server 创建了一个项目 其中包含以下文件 UserDAO java public class UserDAO private static SessionFactory sessionFactory static se
  • Eclipse 启动时崩溃;退出代码=13

    I am trying to work with Eclipse Helios on my x64 machine Im pretty sure now that this problem could occur with any ecli
  • Opencv Java 灰度

    我编写了以下程序 尝试从彩色转换为灰度 Mat newImage Imgcodecs imread q1 jpg Mat image new Mat new Size newImage cols newImage rows CvType C
  • CamcorderProfile.videoCodec 返回错误值

    根据docs https developer android com reference android media CamcorderProfile html 您可以使用CamcorderProfile获取设备默认视频编解码格式 然后将其
  • Java中super关键字的范围和使用

    为什么无法使用 super 关键字访问父类变量 使用以下代码 输出为 feline cougar c c class Feline public String type f public Feline System out print fe

随机推荐

  • 上传文件异常问题 nginx报错 413 Request Entity Too Large

    nginx报错 413 Request Entity Too Large 一个上传文件的功能 内网测试都正常了 但是发布到外网就无法上传大点的 大于1MB 文件 更奇怪的是 后台还没有任何的异常信息 于是就用Http抓包工具 HttpDet
  • 【论文阅读】Error Bounds of Imitating Policies and Environments

    模仿策略和环境的误差边界 摘要 文章中对行为克隆和GAIL两种模仿方法进行对比 分析了 两种方法生成的模仿策略与专家策略之间的价值差距 得出了GAIL可以减少复合误差的结论 具有更好的样本复杂性 同时发现模仿学习也可以用于学习环境模型 相比
  • 常见的企业网络加速方案有哪些?

    企业网络加速方案通常指的是企业采取特定的技术和方法来提高网络的速度和性能 一些常用的企业网络加速方案包括 网络缓存 通过在网络中建立缓存机制 可以将常用的数据存储在本地 以提高网络的访问速度 网络压缩 通过对网络数据进行压缩 可以减少数据传
  • 福利!打造自己的ChatGPT聊天小程序,前后端代码全开源

    简介 本文分享一个我前几个月实现的一个智能聊天系统小项目 包含了java后端 微信小程序端 web页面端三个子工程 代码已经全部开源 地址放在了文末 最近一年 chatGPT的火爆程度 已经不需要我再多说了 但是依旧有很多人想用却用不上 原
  • elementUI的Table分页多选框

    目的 实现进入页面显示默认的选中项 在用户重新选择后 将选择的和取消选择的数据提交给后台 这里涉及到一个分页的问题 表格是可分页的表格 所以要存储用户的选项 1 element ui的table表格的多选框默认选中 data return
  • spring整合redisson配置

    配置方式 redis的部署方式有单节点部署 哨兵方式部署 集群方式部署3种方式 各种配置方式可以去看xsd文件 redisson 1 1 xsd
  • 【漏洞发现】xxe

    一 漏洞描述 XXE漏洞利用的是XML解析器处理XML文件时的一个特性 即可以引用外部实体 攻击者可以在XML文档中定义一个外部实体 并在引用该实体时 在外部实体中注入恶意代码或文件路径等敏感信息 当XML解析器解析文档时 会自动解析外部实
  • nginx-sticky-module的使用(基于cookie的会话保持)

    在多台后台服务器的环境下 我们为了确保一个客户只和一台服务器通信 我们势必使用长连接 使用什么方式来实现这种连接呢 常见的有使用nginx自带的ip hash来做 我想这绝对不是一个好的办法 如果前端是CDN 或者说一个局域网的客户同时访问
  • IDEA如何导入Eclipse项目-靠谱

    小伙伴在用到IDEA的时候 将已有的Eclipse项目导入到IDEA中 遇到各种问题 我总结了一下 仅供参考 我的工具版本是 IntelliJ IDEA 2017 1 5 1 open的项目目录展示 实际文件目录 打开的项目目录展示 2 点
  • Java High Level REST Client 中文API(仅供参考)

    1 初始化 兼容性 Java High Level REST Client需要Java 1 8 并依赖于Elasticsearch核心项目 客户端版本与客户端开发的Elasticsearch版本相同 它接受与TransportClient相
  • PyQt的动作(QAction)

    前言 Qt的设计师程序能够识别用户界面中用户做同样事情时所经常使用的不同种方法 例如 在许多应用中创建一个新文件可以使用File gt New菜单项 或者通过点击按钮图标 或者使用快捷键等 对于用户是如何执行动作的我们并不关心 关心他们到底
  • 第一章: Mysql体系结构和存储引擎

    文章目录 1 1 定义数据库和实例 1 2 Mysql体系结构 1 3 Mysql存储引擎 1 4 常见问题解答 1 5 存储引擎相关操作语法 1 6 连接Mysql 1 1 定义数据库和实例 数据库和实例的区别 数据库是物理操作系统或其他
  • 让别人写一个python爬虫程序大概要多少钱?

    前言 目前 对于程序代做来说没有统一标准 不像论文那样可以按照字数来定价 根据行业经验 总结出了一个python代写的参考价格 一般来说如果想写本科的python作业 一般是500起 硕士作业按照项目算的话 一般是1500起 影响pytho
  • JS的作用域问题

    一 块级作用域 在 JavaScript 中 作用域为可访问变量 对象 函数的集合 js没有块级作用域 你可以自己闭包或其他方法实现 只有函数级作用域 函数外面的变量函数里面可以找到 函数里面的变量外面找不到 var a 10 functi
  • Nginx 七层和四层负载均衡——筑梦之路

    七层负载均衡示例配置 worker processes 2 events worker connections 1024 7层http负载 http include mime types default type application o
  • Python全栈开发【基础-07】与用户交互

    专栏介绍 本专栏为Python全栈开发系列文章 技术包括Python基础 函数 文件 面向对象 网络编程 并发编程 MySQL数据库 HTML JavaScript CSS JQuery bootstrap WSGI Django Flas
  • C++ list, vector, map, set 区别与用法比较

    一 list和vector List封装了链表 Vector封装了数组 list和vector得最主要的区别在于vector使用连续内存存储的 他支持 运算符 而list是以链表形式实现的 不支持 Vector对于随机访问的速度很快 但是对
  • 华为OD机试真题 Java 实现【组合出合法最小数】【2023Q1 200分】,附详细解题思路

    一 题目描述 给一个数组 数组里面都是代表非负整数的字符串 将数组里所有的数值排列组合拼接起来组成一个数字 输出拼接成的最小的数字 二 输入描述 一个数组 数组不为空 数组里面都是代表非负整数的字符串 可以是0开头 例如 13 045 09
  • Tkinter模拟发送邮箱验证码并在指定时间后验证码过期

    先上两张图 再解释 运行原理 程序运行后 输入要接收验证码的邮箱地址 点击 发送 后 控制台打印输出得到的验证码并发送到邮箱里 过了15秒以后 验证码再次刷新 并打印输出 这样就实现了动态过期 原理就是到某个时间点我再刷新一遍生成验证码函数
  • Hadoop命令大全

    目录 基本语法 一 上传 二 下载 三 其他增删改查操作 3 1 增 3 2 删 3 3 改 3 4 查 基本语法 hadoop fs 和 hdfs dfs hadoop fs和hdfs dfs命令等效 hdfs dfs 只能操作HDFS文