程序员经验分享-hwhale

云计算 第六章 云平台应用（2）

2023-10-30

Hadoop核心组件介绍
分布式存储系统HDFS（Hadoop Distributed File System）
分布式存储系统
提供了高可靠性、高扩展性和高吞吐率的数据存储服务

资源管理系统YARN（Yet Another Resource Negotiator）
负责集群资源的统一管理和调度

分布式计算框架MapReduce
分布式计算框架
具有易于编程、高容错性和高扩展性等优点

2.HDFS的简介

Hadoop核心组件介绍
源自于Google的GFS论文
发表于2003年10月
HDFS是GFS克隆版
两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。
HealthMonitor由一个loop循环的调用一个monitorHealth rpc来检视本地的NN的健康性。如果NN返回的状态信息发生变化，那么它将经由callback的方式向ZKFC发送message。

HDFS特点
良好的扩展性
高容错性
适合PB级以上海量数据的存储

Hadoop核心组件介绍
基本原理
将文件切分成等大的数据块，存储到多台机器上
将数据切分、容错、负载均衡等功能透明化
可将HDFS看成一个容量巨大、具有高容错性的磁盘

应用场景
海量数据的可靠性存储
数据归档
HDFS架构示意图

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

数据库云计算概论计算机网络

云计算 第六章 云平台应用（2） 的相关文章

随机推荐

  • 小论文之旅（2）——introduction与related work

    今天总结一下自己看的文献内容和查看的一些建议 首先 在不确定你的文章的main idea的时候 不要着急写introduction 可以先写body部分内容 之后再写introduction部分的内容 introduction部分的写作 必

  • 初中物理凸透镜成像动态图_只要看一眼，就能立刻知道凸透镜成像特点，中考物理必考送分题...

    距离中考已经不足一个月 对于初三的同学们来说 今天所要说的是一个看起来最简单 但是一旦做题就会经常出现各种问题的经典物理题型 此类经典题就是 凸透镜成像规律 的相关应用 可以说 这类物理题所涉及的实验是所有初中生最感兴趣 也最爱做的实验 可

  • spring cloud alibaba Sentinel（四）

    服务雪崩 在分布式系统中 由于网络原因或自身的原因 服务一般无法保证 100 可用 如果一个服务出现了问题 调用这个服务就会出现线程阻塞的情况 此时若有大量的请求涌入 就会出现多条 线程阻塞等待 进而导致服务瘫痪 由于服务与服务之间的依赖性

  • 【面试刷题】——Qt使用的编译器

    Qt可以使用多种不同的编译器 具体取决于你的开发环境和目标平台 以下是一些常见的Qt支持的编译器 MinGW MinGW Minimalist GNU for Windows 是Windows下的一个轻量级开发工具集 通常与Qt一起使用来开

  • Rider编译UE5项目RD报错

    Rider编译UE5项目RD报错 我的版本 5 0 1 不知道何时能修复这个问题 具体报错 Expecting to find a type to be declared in a module rules named RD in UE5R

  • log4net根据业务需求实时变更输出日志文件名

    log4net config

  • 子程序（过程、函数、方法）

    一般程序设计语言包含两种基本的抽象 过程抽象和数据抽象 过程抽象有时也称控制抽象 子程序在1950年以前就发明了 作为一种抽象那时候并未被完全接受 相反 最初它被看做是一种节省代码的机制 但很快子程序就被认可为过程抽象的一种方式 意识到子程

  • 从人工测绘到无人机航测：探索测绘技术的巨大变革

    在测绘领域 随着科技的不断进步 测绘技术也在不断演进 人工测绘 传统航测以及如今的无人机航测 每一次进步都为我们提供了更加精确和高效的地图数据 本文将带你深入探索这些技术的演变及其应用 一 人工测绘的时代 早期的地图制作依赖于人工测绘 测量

  • linux：shell脚本在后台运行

    参考 让shell脚本在后台运行的两种方法 后台允许shell 健雄的博客 CSDN博客 总结 nohup sh test sh gt out txt sh test sh gt out txt

  • Submit text3深色主题

    color scheme Packages Color Scheme Default Monokai sublime color scheme font size 13 ignored packages Vintage theme Defa

  • 个人支付接口开通（教程）

    现如今 使用支付宝支付的用户越来越多 那么电脑端网站和手机端网站商户如何开通支付宝支付接口的呢 个人申请入口https alywlzf com 一 支付产品开通 当面付 手机网站支付 电脑网站支付等 1 注册登录支付宝 企业或个体户资质 h

  • 狄洛尼三角网算法c语言,基于某狄洛尼三角网生成算法的源代码

    基于某狄洛尼三角网生成算法的源代码 30页 本资源提供全文预览 点击全文预览即可全文预览 如果喜欢文档就下载吧 查找使用更方便哦 19 90 积分 实用标准文档import java util import java awt public

  • Obsidian深度实践经验分享

    差不多在2个月之前 意外读到 卡片笔记写作法 如何实现从阅读到写作 还没有读完 便忍不住写了很多热情洋溢的文字 扬言从中收获甚多 并非忽悠 借由此书 也接触到Obsidian 从此沉迷其中 不可自拔 使用至今不足2月 便已完美整合了我日常产

  • 小型校园网的设计与组建

    小型校园网的设计与组建 1 实验说明 2 设计思路 原文链接 1 实验说明 某大学分为总校和分校 为该校设计校园网 总校有一个局域网共20台计算机 分校由VLAN划分为两个局域网 分别有10台计算机 该校被分配了一个C类网段210 100

  • 解决 React + TS 项目移动端 vw 适配

    解决 React TS 项目移动端 vw 适配 前提 通过 creat react app 搭建项目 使用 craco 配置项目 第一步 yarn add D postcss px to viewport 第二步 在 craco confi

  • firefly mysql_【官方帖】Firefly入门教程+ 介绍文档+ 配置说明+WIKI

    官方教程 Firefly入门教程 firefly MySQL和Memcached共同使用 示例 官方教程 Firefly入门教程 firefly MySQL和Memcached共同使用 官方教程 Firefly入门教程 firefly将me

  • 多线程01：《疯狂Java讲义》学习笔记——线程概述

    注 此文为学习 疯狂Java讲义 的笔记 因此内容全部来自于该书中 1 线程和进程 当一个程序进入内存运行时 变成一个进程 进程是处于运行过程中的程序 并且是具有一定的独立功能 进程是系统进行资源分配和调度的一个独立单位 进程的特征 1 独

  • 程序员是怎么约会的？

    程序员 在多数心目印象当中 程序员大多数是宅男 程序员的世界是由代码构建的 代码之外还是代码 程序员的世界是 格子衫 牛仔裤 其实 在程序员眼里衣服就是块布 避体不贵 经济实惠 省下的钱用来买个一万多的耳机 香的不要不要的呢 而且一般的衣服

  • vscode初次远程连接服务器报错解决

    1 错误 vscode初次远程连接服务器无法连接成功报错 并弹框提示 关闭 更多操作 重试 这说明网络无法安装vscode server服务 2 解决办法 1 查看自己vscode的commit id 2 按照输出中的wget 命令在可以联

  • 云计算 第六章 云平台应用（2）

    Hadoop核心组件介绍 分布式存储系统HDFS Hadoop Distributed File System 分布式存储系统 提供了高可靠性 高扩展性和高吞吐率的数据存储服务 资源管理系统YARN Yet Another Resource

热门标签