程序员经验分享-hwhale

CentOS7安装Hadoop集群完整步骤

2023-11-12

准备工作：

搭建集群，所有机器的必须改成静态static！！！

相关网址：

https://blog.csdn.net/weixin_55076626/article/details/126904432?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22126904432%22%2C%22source%22%3A%22weixin_55076626%22%7D

1. 安装3台centos7服务器

1.1.配置名字hadoop01\hadoop02\hadoop03

hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03

1.2.修改hosts文件

vi /etc/hosts

文件末尾添加以下内容：

hadoop01的ip地址 hadoop01
hadoop02的ip地址 hadoop02
hadoop03的ip地址 hadoop03

1.3.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

2.xshell点击工具，选择发送键输入到所有会话

2.1.所有窗口状态改成NO

3.hadoop01输入以下命令

3.1.做ssh 公私钥 无秘；中途直接回车

ssh-keygen -t rsa -P ''

3.2.copy公钥到hadoop02，hadoop03；输入yes，再输入密码

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

4.测试以上操作是否成功

4.1.hadoop02，hadoop03分别输入以下命令

cd .ssh/
ls

4.2.hadoop01输入以下命令

ssh hadoop02
ssh hadoop03
exit

5.第2步的基础，hadoop02和hadoop03窗口状态改成OFF

5.1.输入以下命令，和第3步一样

ssh-keygen -t rsa -P ''
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

5.2.以上操作都完成后hadoop01，hadoop02和hadoop03的窗口状态都改成OFF，任意一个窗口按下ctrl+l

6.安装chrony

yum -y install chrony

7.安装wget

yum install -y gcc vim wget

8.配置chrony

vim /etc/chrony.conf

8.1.文件添加如下内容，注释掉server 0.centos.pool.ntp.org iburst

server ntp1.aliyun.com 
server ntp2.aliyun.com 
server ntp3.aliyun.com

9.启动chrony

systemctl start chronyd

10.安装psmisc

yum install -y psmisc

11.备份原始源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

12.下载源

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

13.清除缓存

yum clean all
yum makecache

14.打开xftp，将jdk安装包分别拖到三台机器的opt文件夹下，然后执行以下命令，安装jdk

cd /opt
tar -zxf jdk-8u111-linux-x64.tar.gz
mkdir soft
mv jdk1.8.0_111/ soft/jdk180

14.1.配置环境变量

vim /etc/profile
#java env
export JAVA_HOME=/opt/soft/jdk180
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile
java -version

15.打开xftp，将zookeeper安装包分别拖到三台机器的opt文件夹下，然后执行以下命令，安装zookeeper

tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz
mv zookeeper-3.4.5-cdh5.14.2 soft/zk345

15.1.修改zoo.cfg文件

cd soft/zk345/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

修改dataDir=/opt/soft/zk345/datas：

dataDir=/opt/soft/zk345/datas

文件末尾加上以下内容：

server.1=192.168.239.137:2888:3888 
server.2=192.168.239.141:2888:3888 
server.3=192.168.239.142:2888:3888

16.创建datas文件夹

cd /opt/soft/zk345/
mkdir datas

17.hadoop01，hadoop02和hadoop03的窗口状态都改成ON

17.1.hadoop01页面输入以下命令

cd datas
echo "1"> myid
cat myid

17.2.hadoop02页面输入以下命令

cd datas
echo "2"> myid
cat myid

17.3.hadoop03页面输入以下命令

cd datas
echo "3"> myid
cat myid

18.hadoop01，hadoop02和hadoop03的窗口状态都改成OFF

18.1.配置zookeeper运行环境

vim /etc/profile
#Zookeeper env
export ZOOKEEPER_HOME=/opt/soft/zk345
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile

19.启动zookeeper集群

zkServer.sh start

20.jps命令查看，必须要有进程QuorumPeerMain

jps

21.打开xftp，将Hadoop安装包分别拖到三台机器的opt文件夹下，然后执行以下命令，安装Hadoop集群

cd /opt
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
cd soft/hadoop260/etc/hadoop

21.1.添加对应各个文件夹

mkdir -p /opt/soft/hadoop260/tmp 
mkdir -p /opt/soft/hadoop260/dfs/journalnode_data 
mkdir -p /opt/soft/hadoop260/dfs/edits 
mkdir -p /opt/soft/hadoop260/dfs/datanode_data
mkdir -p /opt/soft/hadoop260/dfs/namenode_data

21.2.配置hadoop-env.sh

vim hadoop-env.sh

修改JAVA_HOME和HADOOP_CONF_DIR的值如下：

export JAVA_HOME=/opt/soft/jdk180 
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop

21.3.配置core-site.xml，快捷键shift+G到文件末尾添加如下内容（注意改机器名！！！）

vim core-site.xml
<configuration> 
<!--指定hadoop集群在zookeeper上注册的节点名--> 
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://hacluster</value> 
</property> 
<!--指定hadoop运行时产生的临时文件--> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>file:///opt/soft/hadoop260/tmp</value> 
</property> 
<!--设置缓存大小 默认4KB--> <property> 
<name>io.file.buffer.size</name> 
<value>4096</value> 
</property> 
<!--指定zookeeper的存放地址--> 
<property> 
<name>ha.zookeeper.quorum</name> 
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> 
</property> 
<!--配置允许root代理访问主机节点--> 
<property> 
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value> 
</property> 
<!--配置该节点允许root用户所属的组--> 
<property> 
<name>hadoop.proxyuser.root.groups</name> 
<value>*</value> 
</property> 
</configuration>

21.4.配置hdfs-site.xml，文件末尾添加如下内容（注意改机器名！！！）

vim hdfs-site.xml
<configuration> 
<property> 
<!--数据块默认大小128M--> 
<name>dfs.block.size</name> 
<value>134217728</value> 
</property> 
<property> 
<!--副本数量 不配置默认为3--> 
<name>dfs.replication</name> 
<value>3</value> 
</property> 
<property> 
<!--namenode节点数据(元数据)的存放位置--> 
<name>dfs.name.dir</name> 
<value>file:///opt/soft/hadoop260/dfs/namenode_data</value> 
</property> 
<property> 
<!--datanode节点数据(元数据)的存放位置--> 
<name>dfs.data.dir</name> 
<value>file:///opt/soft/hadoop260/dfs/datanode_data</value> 
</property>
<property>
<!--开启hdfs的webui界面--> 
<name>dfs.webhdfs.enabled</name> 
<value>true</value> 
</property> 
<property> 
<!--datanode上负责进行文件操作的线程数--> 
<name>dfs.datanode.max.transfer.threads</name> 
<value>4096</value> </property> 
<property> 
<!--指定hadoop集群在zookeeper上的注册名--> 
<name>dfs.nameservices</name> 
<value>hacluster</value> 
</property> 
<property> 
<!--hacluster集群下有两个namenode分别是nn1,nn2--> 
<name>dfs.ha.namenodes.hacluster</name> 
<value>nn1,nn2</value> 
</property> 
<!--nn1的rpc、servicepc和http通讯地址 --> 
<property> 
<name>dfs.namenode.rpc-address.hacluster.nn1</name> 
<value>hadoop01:9000</value> 
</property>
<property> 
<name>dfs.namenode.servicepc-address.hacluster.nn1</name> 
<value>hadoop01:53310</value> 
</property> 
<property> 
<name>dfs.namenode.http-address.hacluster.nn1</name> 
<value>hadoop01:50070</value> 
</property> 
<!--nn2的rpc、servicepc和http通讯地址 --> 
<property> 
<name>dfs.namenode.rpc-address.hacluster.nn2</name> 
<value>hadoop02:9000</value> 
</property> 
<property> 
<name>dfs.namenode.servicepc-address.hacluster.nn2</name> 
<value>hadoop02:53310</value> 
</property> 
<property> 
<name>dfs.namenode.http-address.hacluster.nn2</name> 
<value>hadoop02:50070</value> 
</property> 
<property> 
<!--指定Namenode的元数据在JournalNode上存放的位置--> 
<name>dfs.namenode.shared.edits.dir</name> 
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/hacluster</value> 
</property> 
<property> 
<!--指定JournalNode在本地磁盘的存储位置--> 
<name>dfs.journalnode.edits.dir</name> 
<value>/opt/soft/hadoop260/dfs/journalnode_data</value> 
</property> 
<property> 
<!--指定namenode操作日志存储位置--> 
<name>dfs.namenode.edits.dir</name> 
<value>/opt/soft/hadoop260/dfs/edits</value> 
</property> 
<property> 
<!--开启namenode故障转移自动切换--> 
<name>dfs.ha.automatic-failover.enabled</name> 
<value>true</value> 
</property> 
<property> 
<!--配置失败自动切换实现方式--> 
<name>dfs.client.failover.proxy.provider.hacluster</name> 
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property> 
<property> 
<!--配置隔离机制--> 
<name>dfs.ha.fencing.methods</name> 
<value>sshfence</value> 
</property> 
<property> 
<!--配置隔离机制需要SSH免密登录--> 
<name>dfs.ha.fencing.ssh.private-key-files</name> 
<value>/root/.ssh/id_rsa</value>
</property> 
<property> 
<!--hdfs文件操作权限 false为不验证--> 
<name>dfs.premissions</name> 
<value>false</value> 
</property> 
</configuration>

21.5.配置mapred-site.xml，文件末尾添加如下内容（注意改机器名！！！）

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration> 
<property> 
<!--指定mapreduce在yarn上运行--> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 
<property> 
<!--配置历史服务器地址--> 
<name>mapreduce.jobhistory.address</name> 
<value>hadoop01:10020</value> 
</property> 
<property> 
<!--配置历史服务器webUI地址--> 
<name>mapreduce.jobhistory.webapp.address</name> 
<value>hadoop01:19888</value> 
</property> 
<property> 
<!--开启uber模式--> 
<name>mapreduce.job.ubertask.enable</name> 
<value>true</value> 
</property> 
</configuration>

21.6.配置yarn-site.xml，文件末尾添加如下内容（注意改机器名！！！）

vim yarn-site.xml
<configuration> 
<property> 
<!--开启yarn高可用--> 
<name>yarn.resourcemanager.ha.enabled</name> 
<value>true</value> 
</property> 
<property> 
<!-- 指定Yarn集群在zookeeper上注册的节点名--> 
<name>yarn.resourcemanager.cluster-id</name> 
<value>hayarn</value> 
</property> 
<property> 
<!--指定两个resourcemanager的名称--> 
<name>yarn.resourcemanager.ha.rm-ids</name> 
<value>rm1,rm2</value> 
</property> 
<property> 
<!--指定rm1的主机--> 
<name>yarn.resourcemanager.hostname.rm1</name> 
<value>hadoop02</value> 
</property>
<property> 
<!--指定rm2的主机--> 
<name>yarn.resourcemanager.hostname.rm2</name> 
<value>hadoop03</value> 
</property> 
<property> 
<!--配置zookeeper的地址--> 
<name>yarn.resourcemanager.zk-address</name> 
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value> 
</property> <property> 
<!--开启yarn恢复机制--> 
<name>yarn.resourcemanager.recovery.enabled</name> 
<value>true</value> 
</property> 
<property> 
<!--配置执行resourcemanager恢复机制实现类--> 
<name>yarn.resourcemanager.store.class</name> 
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
</property> 
<property> 
<!--指定主resourcemanager的地址--> 
<name>yarn.resourcemanager.hostname</name> 
<value>hadoop03</value> 
</property> 
<property> 
<!--nodemanager获取数据的方式--> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 
<property> 
<!--开启日志聚集功能--> 
<name>yarn.log-aggregation-enable</name> 
<value>true</value> 
</property> 
<property> 
<!--配置日志保留7天--> 
<name>yarn.log-aggregation.retain-seconds</name> 
<value>604800</value> 
</property> 
</configuration>

22.配置slaves

vim slaves

22.1.快捷键dd删除localhost，添加如下内容

hadoop01
hadoop02
hadoop03

23.配置hadoop环境变量

vim /etc/profile
#hadoop env
export HADOOP_HOME=/opt/soft/hadoop260 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
export HADOOP_INSTALL=$HADOOP_HOME
source /etc/profile

24.启动Hadoop集群

24.1.输入以下命令

hadoop-daemon.sh start journalnode

24.2.输入jps命令，会发现多了一个进程JournalNode

jps

24.3.格式化namenode(只在hadoop01主机上)（hadoop02和hadoop03的窗口状态改成ON）

hdfs namenode -format

24.4.将hadoop01上的Namenode的元数据复制到hadoop02相同位置

scp -r /opt/soft/hadoop260/dfs/namenode_data/current/ root@hadoop02:/opt/soft/hadoop260/dfs/namenode_data

24.5.在hadoop01上格式化故障转移控制器zkfc

hdfs zkfc -formatZK

24.6.在hadoop01上启动dfs服务，再输入jps查看进程

start-dfs.sh
jps

24.7.在hadoop03上启动yarn服务，再输入jps查看进程

start-yarn.sh
jps

24.8.在hadoop02上输入jps查看进程，如下图

24.9.在hadoop01上启动history服务器，jps则会多了一个JobHistoryServer的进程

mr-jobhistory-daemon.sh start historyserver
jps

24.10.在hadoop02上启动resourcemanager服务，jps则会多了一个Resourcemanager的进程

yarn-daemon.sh start resourcemanager
jps

25.检查集群情况

25.1.在hadoop01上查看服务状态，hdfs haadmin -getServiceState nn1则会对应显示active，nn2则显示standby

hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

25.2.在hadoop03上查看resourcemanager状态，yarn rmadmin -getServiceState rm1则会对应显示standby，rm2则显示active

yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

26.浏览器输入IP地址:50070，对比以下图片

26.1.hadoop01的IP地址，注意查看是否为“active”

26.2.hadoop02的IP地址，注意查看是否为“standby”

26.3.最后选择上方的Datanodes，查看是否是三个节点，如何是，则高可用hadoop集群搭建成功！！！

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

HDFS

Hadoop

yarn

centOS

CentOS7安装Hadoop集群完整步骤 的相关文章

随机推荐

  • 记录自己在结构光三维重建领域的学习过程（五）

    读了一篇论文 Domain randomization for transferring deep neural networks from simulation to the real world 讲的是域随机化 但其实我没有认真看 其实

  • html转pdf

    html转pdf 本地安装wkhtmltopdf Java操作wkhtmltopdf实现Html转PDF 本地测试

  • sqlite3的交叉编译

    比如说我们在qtcreator中编写程序的时候想用到sqlite3数据库 但是因为qtcreator中的编译器中的库中并没有sqlite3的库 所以肯定编译不了 所以若想在qtcreator中编译sqlite3的程序 首先的将sqlite3

  • 初级python爬虫薪资-月薪2万的爬虫工程师，Python需要学到什么程度？

    Python 爬虫学到什么样就可以找工作了 非计算机专业 正在自学python 很多教程里提到的网站的爬虫都会写了 比如拉勾网 豆瓣 实习僧 京东 淘宝 某妹子图等等 但是因为不是计算机专业的 也没学所谓的四大名著 不知道那四大对找工作重要

  • 残体字符设计：INVETA

    残体字符设计是logo设计中很常见的一种风格 它通过删减 多余 的笔画来实现残缺的字符 让读者通过 脑补 还原出原来的文字 以此独特的风格加深用户的产品印象 Github支持STL文本格式的3D模型预览 奈何STL格式非常简陋 难以表示复杂

  • android 的 Testing Support Library 测试支持包（库）

    Testing Support Library 测试支持包 库 这个库提供了一系列的api来快速的创建和运行测试对于你的app 包括jUnit 4 和用户 UI 的测试 创建可以使用android studio IDE 或者通过命令行 两种

  • 日志：slf4j+logback 的配置与使用

    1 常用日志组件和选择 java开发日志处理是发现和调试bug所 必不可少的 那么现在企业中常用的日志组件有哪些呢 JCL JUL SLF4j Log4j Log4j2 Logback jboss loggin 等 一般日志是配套出现的 一

  • 内存请求分页实验java_请求分页内存管理的模拟

    一 实验题目 二 代码 1 Main java package OS import java util Scanner public class Main public static int pageSize blockSize procS

  • CentOS8提高篇11：centos8软件安装dnf命令

    DNF是新一代的rpm软件包管理器 它首先出现在 Fedora 18 这个发行版中 而目前 它取代了yum 正式成为从 Fedora 22 起 Fedora 版本的包管理器 DNF包管理器克服了YUM包管理器的一些瓶颈 提升了包括用户体验

  • SE0、J、K 、Chirp J、Chirp K

    SE0 J K Chirp J Chirp K 是 USB 总线上常见的信号状态 用于表示不同的电平和信号类型 SE0 Single Ended Zero 是 USB 总线上的空闲状态 表示逻辑低电平 在 SE0 状态下 数据线 D 和 D

  • Git 强制回退到某个历史版本再推送到远程

    1 使用 git log 命令历史版本记录回退版本 git reset hard f6a7c803a6931a9eca011d4e097389e0845cbe49 2 推送到远程 git push f u origin master ps

  • sqli-labs18、19关详解

    18关 对两个输入框都进行了设置 所以只能寻找其他注入点 看到insert语句从uagents插入 我们可以用http header live插件得到post内容放进hackbar中 再在user agent里面添加修改

  • [382]定时任务JoBX（opencron升级版）

    opencron文章链接 https blog csdn net xc zhou article details 80950811 升级日志 V1 2 0 by 2018 xx xx 1 支持Window端 实现全平台编译和安装 2 简化安

  • 八大排序算法总结Java代码实现（建议收藏后食用）

    目录 排序算法介绍 相关术语 排序的稳定性 排序分类 内排序与外排序 算法时间复杂度 度量一个程序 算法 执行时间的两种方法 时间频度 忽略常数项 忽略低次项 忽略系数 时间复杂度 常数阶O 1 对数阶O log2n 线性阶O n 线性对数

  • 词法分析器（分析C语言）

    问题描述 用C或C 语言编写一个简单的词法分析程序 扫描C语言小子集的源程序 根据给定的词法规则 识别单词 填写相应的表 如果产生词法错误 则显示错误信息 位置 并试图从错误中恢复 简单的恢复方法是忽略该字符 或单词 重新开始扫描 相关词法

  • MacOS 安装GO环境与测试

    MacOS 安装GO环境 一 下载安装包 二 验证GO的版本 三 配置代理 3 1 GO111MODULE 3 2 GOPROXY 四 初始化项目 五 编译运行代码 引用 MacOS版本 Catalina 10 15 2 GO版本 go1

  • 怎样查看对方计算机网络密码,如何查看邻居家的wifi密码？不知道wifi密码怎么蹭网...

    如何查看邻居家的wifi密码 不知道wifi密码怎么蹭网 不知道大家有没有遇到这样的问题 手机虽然已经连接到了WiFi 但是却已经忘记了WiFi密码 这时候如果会有一丝担忧在心中 如果下次连接不上 或是有人问你密码 该怎么办连接WiFi呢

  • 《COM原理及应用》学习笔记之第十一章

    第11章 自动化 Automation 对象 1 自动化技术 自动化技术既以前提到的OLE自动化 虽然自动化技术建立在COM基础上 但自动化要比COM应用广泛得多 一方面 自动化继承了COM的很多优点 比如语言无关 进程透明等特性 另一方面

  • vc中gb2312和UTF-8的转换

    1 1 tools h include

  • CentOS7安装Hadoop集群完整步骤

    准备工作 搭建集群 所有机器的必须改成静态static 相关网址 https blog csdn net weixin 55076626 article details 126904432 csdn share tail 7B 22type

热门标签