程序员经验分享-hwhale

大数据-HDFS的定义、使用场景、优缺点、组成架构

2023-05-16

HDFS定义

HDFS(Hadoop Destributed File System)是一个分布式的文件系统，用于存储文件，通过目录树来定位文件

HDFS使用场景

适合一次写入，多次读取的场景，不支持文件的修改

HDFS优缺点

  • 优点
  1. 高容错性
    数据自动保存多个副本。它通过增加副本的形式提高容错性
    某一个副本丢失后，它可以自动恢复
  2. 适合处理大数据
    数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据
    文件规模：能够处理百万规模以上的文件数量
  3. 可构建在廉价机器上，通过多副本机制，提高可靠性
  • 缺点
  1. 不适合低延时数据访问，比如毫秒级的存储数据是做不到的
  2. 无法高效的对大量小文件进行存储
    原因：
    存储大量小文件会占用NameNode大量的内存来存储文件目录和块信息
    小文件存储的寻址时间会超过读取时间
  3. 不支持并发写入，文件随机修改，仅支持数据追加append

HDFS组成架构

  • NameNode（nn）：Master，是一个主管、管理者
  1. 管理HDFS的名称空间
  2. 配置副本策略
  3. 管理数据块（Block）映射信息
  4. 处理客户端读写请求
  • DataNode：Slave，NameNode下达命令，DataNode执行实际的操作
  1. 存储实际的数据块
  2. 执行数据块的读写操作
  • Client：客户端
  1. 文件切分，文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后上传
  2. 与NameNode交互，获取文件的位置信息
  3. 与DataNode交互，读取或写入数据
  4. Client提供一些命令来管理HDFS，比如NameNode格式化
  5. Client可以通过一些命令来访问HDFS，比如对HDFS增删改查操作
  • Secondary NameNode：并非NameNode的热备，当NameNode挂掉时，它并不能马上替换NameNode并提供服务
  1. 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
  2. 在紧急情况下，可辅助恢复NameNode
    在这里插入图片描述
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大数据-HDFS的定义、使用场景、优缺点、组成架构 的相关文章

  • 打包pyinstaller生成的python桌面应用为windows安装包的方法教程

    本篇文章主要讲解使用nsis制作windows安装包的方法 日期 xff1a 2022年12月7日 作者 xff1a 任聪聪 一 准备材料 1 nsis软件 nsis是一款生成windows安装包的一款压缩工具 下载地址 xff1a htt

  • linux常用命令

    常用命令 编号操作命令1复制文件 1cp r home web service test canlian chengxu dbfile app properties 2 home web service test canlian cheng

  • 002-HTML入门

    1 什么是HTML HTML 是用来描述网页的一种语言 HTML 指的是超文本标记语言 Hyper Text Markup Language HTML 不是一种编程语言 xff0c 而是一种标记语言 markup language 标记语言

  • Debian linux--从安装到升级（非编译）

    debian 完美桌面应用 Debian linux 从安装到升级 在windows底下 xff0c 我们尝尽了欢乐与痛苦 xff1a 办公 笔记本预装了windows xff0c 为什么不预装office xff1f 游戏 最爱当然是3D

  • linuxshell如何实现进度条效果

    代码如下 xff1a b 61 39 39 for i 61 0 i lt 61 100 i 43 61 2 do printf 34 PleaseWait 50s d r 34 b i sleep 3 b 61 34 gt 34 b do

  • XDMCP服务器

    导读 xff1a 几个人同时有x windows时 X server xff1a 主要是负责显示 x client xff1a 主要是负表运算 设定XDMCP XDM是X Display Manager的简称 功能就是管理操控xserver

  • Laravel中间件向Controller传递值

    Laravel中间件向Controller传递值 方法一 span class token keyword class span MidParams span class token comment 中间件 span span class

  • 3. Proxmox VE 配置 NTP

    3 Proxmox VE配置 NTP 手动 span class token comment apt y install ntp span span class token comment vi etc ntp conf span span

  • 4. 在 Proxmox VE 安装Ceph

    4 在 Proxmox VE 安装 Ceph 1 安装 按图操作即可 2 参考 1 https blog csdn net ggeol article details 109112815

  • 5. 在 Proxmox VE 配置Ceph

    Pool 用于存储虚拟机的img xff0c 如果需要实现虚拟机的HA xff0c 那么虚拟机必须创建在Ceph上 xff0c 通过Ceph的多副本来实现故障恢复 CephFS 在PVE中主要用于共享文件 xff0c 如iso文件等 创建O

  • 6. Proxmox VE安装Ceph Dashboard

    6 Proxmox VE安装Ceph Dashboard span class token function apt get span span class token function install span ceph mgr dash

  • 7.安装Proxmox Backup Server

    安装Proxmox Backup Server 1 安装 安装和Proxmox VE基本是一样的 xff0c 看图一直下一步即可 安装完成会自动重启 xff0c 重启后如下图 2 参考 1 https pbs proxmox com wik

  • 8. 添加Backup Server到PVE集群

    添加Backup Server到PVE集群 1 配置磁盘 2 配置账户 3 PVE中添加 Backup Server

  • 在Harvester上安装windows sever 2012 r2

    安装Windows Server 2012 r2 文章目录 安装Windows Server 2012 r2新建虚拟机配置基础信息配置卷配置网络开机 xff0c 进入安装系统步骤安装磁盘驱动安装网络驱动安装其他驱动测试网络 Harveste

  • SDU 程序设计思维实践 第四周 csp模拟

    文章目录 题目A 咕咕东的奇遇题意InputOutput 思路总结代码 题目B 咕咕东想吃饭题意InputOutput 思路总结代码 题目C 可怕的宇宙射线题意InputOutput 思路总结代码 题目A 咕咕东的奇遇 题意 咕咕东是个贪玩

  • 使用MySQL8.0 by docker

    MySQL8 0 by Docker 拉取镜像 span class token function docker span pull mysql 8 0 为了获取到对应的配置文件而 docker run span class token f

  • 国内安装oh-my-zsh

    zsh有华丽的外表 xff0c 使用便捷的特点 xff0c 但在国内网络环境中 xff0c 安装会存在困难 xff0c 使用zsh官网提供的脚本安装 xff0c 基本会安装失败 xff0c 会显示报访问错误 xff0c 在此提供使用Git安

  • 使用kubeKey快速搭建Kubernetes集群

    使用kubeKey快速搭建Kubernetes集群 文章目录 使用kubeKey快速搭建Kubernetes集群一 安装 kk二 初始化本地主机 xff08 官方没写 xff09 三 安装集群3 1 All in One 测试集群无配置文件

  • 使用docker运行mysql-client

    使用docker运行mysql client 由于服务器环境的限制的 xff0c 能少污染主机环境就尽量不污染 xff0c 在集群环境 xff0c 使用docker运行mysql cli 访问通过NodePort暴露的数据库就是一个不错的方

  • CentOS 快速安装Docker

    CentOS 快速安装Docker 下载及安装 yum span class token function install span span class token function wget span y span class toke

随机推荐

热门标签