Java大数据之路--HDFS详解(3)--基本命令

2023-05-16

HDFS(分布式文件存储系统)--基本命令

目录

HDFS(分布式文件存储系统)--基本命令

一、常见命令

二、其他命令


一、常见命令

命令

说明

hadoop  fs -mkdir /park

在hdfs 的根目录下,创建  park目录

hadoop  fs  -ls  /

查看hdfs根目录下有哪些目录

hadoop  fs -put  /root/1.txt  /park

将linux操作系统root目录下的1.txt放在hdfs的park目录下

hadoop  fs -get  /park/jdk  /home

把hdfs文件系统下park目录的文件下载到linux的home目录下

hadoop fs -rm /park/文件名

删除hdfs 的park目录的指定文件

hadoop fs -rmdir /park

删除park目录,但是前提目录里没有文件

hadoop fs -rmr /park

删除park目录,即使目录里有文件

hadoop fs -cat /park/a.txt

查看park目录下的a.txt文件

hadoop fs -tail /park/a.txt

查看park目录下a.txt文件末尾的数据

haddop jar  xxx.jar

执行jar包

hadoop fs -cat /park/result/part-r-00000

查看 /park/result/part-r-00000文件的内容

hadoop  fs  –mv  /park02  /park01  

将HDFS上的park02目录重名为park01命令。

hadoop  fs -mv /park02/1.txt /park01

将park02目录下的1.txt移动到/park01目录下

hadoop fs -touchz /park/2.txt

创建一个空文件

hadoop fs -getmerge /park  /root/tmp

将park目录下的所有文件合并成一个文件,并下载到linux的root目录下的tmp目录

hadoop dfsadmin -safemode leave

离开hadoop安全模式

hadoop dfsadmin -safemode enter

进入安全模式

hadoop dfsadmin -rollEdits

手动执行fsimage文件和Edis文件合并元数据

hadoop dfsadmin -report

查看存活的datanode节点信息

hadoop fsck /park

汇报/park目录 健康状况

hadoop fsck /park/1.txt  -files  -blocks -locations  -racks

查看1.txt 这个文件block信息以及机架信息

 

hadoop fs -expunge

手动清空hdfs回收站

二、其他命令

命令

说明

hadoop  fs -cp  /park01/1.txt  /park02

将HDFS上 /park01下的1.txt拷贝一份到 /park02目录下。
目标路径可以有多个,用空格隔开,比如:hadoop fs -cp /park01/1.txt  /park02  /park03……

hadoop fs -du /park/1.txt

查看HDFS上某个文件的大小。也可以查看指定目录,如果是目录的话,则列出目录下所有的文件及其大小,比如:hadoop fs -du /park

hadoop fs -copyFromLocal  /home/1.txt /park01

将本地文件1.txt上传到/park01目录下

hadoop fs -copyToLocal /park01/1.txt  /home

将HDFS上的1.txt 拷贝到本地文件系统

hadoop  fs -lsr  /

递归查看指定目录下的所有内容

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Java大数据之路--HDFS详解(3)--基本命令 的相关文章

随机推荐

  • python中的列表、数组以及张量数据类型之间的相互转换

    定义一个列表数据L xff0c 可以理解为其中包含两个元素 xff0c 每个元素是一个5维的向量 import torch import numpy L 61 1 2 3 4 5 2 3 4 5 6 a 61 torch Tensor L
  • YOLO-V1至YOLO-V4学习笔记

    YOLO学习笔记 YOLO学习笔记一 YOLO V1二 YOLO V2 xff1a 三 YOLO V3 xff1a 四 YOLO V4 xff1a YOLO学习笔记 一 YOLO V1 针对对FasterR CNN改进 xff0c 取消了区
  • 【记录+解决】ubuntu服务器显卡驱动安装;Ubuntu20.04重启后找不到Nvidia显卡驱动

    记录ubuntu服务器显卡驱动安装 一次ubuntu服务器显卡驱动安装历程 xff0c 简单记录 1 下载Nvidia Linux驱动到本地 Nvidia Linux XXX run 2 停用桌面 xff0c 安装驱动 span class
  • 【解决】ubuntu桌面无法进入问题

    ubuntu桌面崩溃 xff0c 无法进入 记录一次ubuntu桌面崩溃无法进入系统桌面问题的解决 xff0c 无法进入桌面 xff0c 但可以进入终端的情况下可以参考解决 span class token comment 进入终端 spa
  • jetson tx2安装opencv

    Jstson TX2 安装opencv 参考 xff1a https blog csdn net QLULIBIN article details 84072356 版本 xff1a Jetson TX2JetPack3 2OpenCV3
  • C++符号修饰Name-mangling

    C 43 43 符号修饰 C语言符号修饰 在上古时期 xff0c 编译器编译源代码产生目标文件时 xff0c 符号名与相应的变量和函数的名字是一样的 比如一个汇编源代码里面包含一个函数foo xff0c 那么汇编器将其编译成目标文件后 xf
  • VS Code远程SSH免密登录配置

    最近更新了VS Code之后 xff0c 发现Remote ssh拓展里的端口转发功能没了 xff0c 很伤心 xff0c 在探索的同时 xff0c 顺手配置了一下VS Code ssh免密登录 xff0c 以省去每次连接远程文件夹时输入两
  • 目标检测之一(传统算法和深度学习的源码学习)

    目标检测之一 xff08 传统算法和深度学习的源码学习 xff09 本系列写一写关于目标检测的东西 xff0c 包括传统算法和深度学习的方法都会涉及到 xff0c 注重实验而不着重理论 xff0c 理论相关的看论文去哈 xff0c 主要依赖
  • FreeRTOS中任务切换过程的分析

    FreeRTOS中Pendsv任务切换过程的分析 一 Pendsv中断任务解析 xff08 1 xff09 uxCriticalNesting 是进入临界区的次数 xff08 2 xff09 pxCurrentTCB是FreeRTOS运行时
  • CentOS6关闭防火墙使用以下命令

    cmd命令关闭防火墙 net stop mpssvc CentOS6关闭防火墙使用以下命令 xff0c 临时关闭 service iptables stop 禁止开机启动 chkconfig iptables off CentOS7中若使用
  • 《软件工程》试题举例-简答题

    Please give out 3 pieces of recommendations regarding language independent good programming practice 6 marks 良好的编程实践的建议
  • 2020届电子信息类专业保研经历分享

    文章目录 一 个人基本情况二 初心三 夏令营 九推情况介绍1 上海交大自动化系直硕面试 xff08 7月8日 xff09 2 中科大信息学院夏令营 xff08 7月15日 xff09 3 中科院自动化所夏令营 xff08 7月23日 xff
  • RGB图与灰度图相互转换关系表达式

    RGB图转灰度图 1 Y 61 0 3R 43 0 59G 43 0 11B 2 平均值法 xff0c 将RGB平均 灰度图转RGB图 先将单通道的灰度图转为三通道的RGB图 xff0c 各通道值的初值赋值为与灰度值相同 然后按照下式映射关
  • sklearn包导入错误:ImportError: cannot import name ‘Type‘解决办法

    在python3 5环境下使用pip直接安装sklearn包后 xff0c 导入出现如下错误 xff1a 仔细观察报错信息可以发现 xff0c 出错的是sklearn中使用到的scipy包 单独导入scipy包发现出错 xff1a 看来 x
  • PyTorch Dataloader报错ValueError: num_samples的另一种可能原因

    先粘报错信息 xff1a Traceback most recent call last File train py line 169 in train test File train py line 29 in train test da
  • Focal loss变种汇总

    VariFocal loss 只对负样本做难易样本挖掘 xff08 正样本数量少 xff0c 不做loss压缩 xff09 Generalized Focal loss xff1a quality focal loss 43 distrib
  • 视觉Transformer中的位置编码方式

    绝对位置编码 基本形式 xff1a x 61 x 43 p 可学习的绝对位置编码 xff08 ViT xff09 ViT中提出的位置编码方式简单粗暴 xff0c 设置一组可学习的编码tokens xff0c 并在patch embeding
  • 秋招问题汇总

    1 Python变量作用域 xff1a 局部作用域 xff08 Local xff0c 简写为 L xff09 作用于闭包函数外的函数中的作用域 xff08 Enclosing xff0c 简写为 E xff09 全局作用域 xff08 G
  • 38、OpenCV之C++教程

    一 OpenCV的下载与安装 下载完成后会得到一个 opencv 3 4 15 vc14 vc15 exe 文件 点击运行后会生成一个文件夹 此文件夹为下一步工程创建使用 xff0c 文件夹可移动 复制和重命名 xff0c 这里命名如下 x
  • Java大数据之路--HDFS详解(3)--基本命令

    HDFS 分布式文件存储系统 基本命令 目录 HDFS 分布式文件存储系统 基本命令 一 常见命令 二 其他命令 一 常见命令 命令 说明 hadoop fs mkdir park 在hdfs 的根目录下 xff0c 创建 park目录 h