程序员经验分享-hwhale

Hadoop伪分布式安装步骤

2023-05-16

                             Hadoop伪分布式安装步骤 

目录

                             Hadoop伪分布式安装步骤 

一.永久关闭防火墙

二.配置主机名

1.编辑network文件：vim /etc/sysconfig/network

2.将HOSTNAME属性改为指定的主机名，

3.让network文件重新生效：source /etc/sysconfig/network

三.配置hosts文件，将主机名和ip地址进行映射

1.编辑hosts文件：vim /etc/hosts

2.将主机名和ip地址对应，

四.配置ssh进行免密互通

1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下：ssh-keygen

2.把生成的公钥拷贝到远程机器上，

五.重启Linux让主机名的修改生效：reboot

六.安装JDK

七.上传或者下载Hadoop安装包到Linux中

八.解压安装包tar -xvf hadoop-2.7.1_64bit.tar.gz

九.adoop的安装目录的子目录etc/hadoop

十.配置hadoop-env.sh

1.编辑hadoop-env.sh：vim hadoop-env.sh

2.修改JAVA_HOME的路径，修改成具体的路径。

1. cat /etc/profile   查看所有的配置文件路径

3.修改HADOOP_CONF_DIR的路径，修改为具体的路径，

4.保存退出文件

5.重新加载生效：

十一.配置 core-site.xml

1.编辑core-site.xml：vim core-site.xml

2.添加如下内容：

3.保存退出

十二.配置 hdfs-site.xml

1.编辑hdfs-site.xml：

2.添加如下配置：

3.保存退出

十三.配置 mapred-site.xml

1.将mapred-site.xml.template复制为mapred-site.xml

2.编辑mapred-site.xml

3.添加如下配置：

4.保存退出

十四.配置 yarn-site.xml

1.编辑yarn-site.xml

2.添加如下内容：

3.保存退出

十五.配置slaves

1.编辑slaves：vim slaves

2.添加从节点信息，

3.保存退出

4.配置hadoop的环境变量

十六.编辑profile文件：vim /etc/profile

1.添加Hadoop的环境变量，例如：

2.保存退出

3.重新生效：source /etc/profile

4.格式化namenode：hadoop namenode -format 

5.启动hadoop：start-all.sh

一.永久关闭防火墙

已经关闭，忽略

 

二.配置主机名

需要注意的是Hadoop的集群中的主机名不能有_。如果存在_会导致Hadoop集群无法找到这群主机，从而无法启动！

1.编辑network文件：vim /etc/sysconfig/network

2.将HOSTNAME属性改为指定的主机名，

3.让network文件重新生效：source /etc/sysconfig/network

 

三.配置hosts文件，将主机名和ip地址进行映射

1.编辑hosts文件：vim /etc/hosts

2.将主机名和ip地址对应，

 

四.配置ssh进行免密互通

1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下：ssh-keygen

2.把生成的公钥拷贝到远程机器上，

格式为：ssh-copy-id [user]@host，例如：ssh-copy-id root@hadoop01

 

五.重启Linux让主机名的修改生效：reboot

 

六.安装JDK

 

七.上传或者下载Hadoop安装包到Linux中

 

八.解压安装包tar -xvf hadoop-2.7.1_64bit.tar.gz

 

九.adoop的安装目录的子目录etc/hadoop

配置Hadoop：cd hadoop2.7.1/etc/hadoop

 

十.配置hadoop-env.sh

1.编辑hadoop-env.sh：vim hadoop-env.sh

2.修改JAVA_HOME的路径，修改成具体的路径。

1. cat /etc/profile   查看所有的配置文件路径

//home/presoftware/jdk1.8

例如：export JAVA_HOME=/home/software/jdk1.8

3.修改HADOOP_CONF_DIR的路径，修改为具体的路径，

例如：export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

4.保存退出文件

：wq

5.重新加载生效：

source hadoop-env.sh

 

十一.配置 core-site.xml

1.编辑core-site.xml：vim core-site.xml

2.添加如下内容：

<property>

    <!-- 指定HDFS中的主节点 - namenode -->

    <name>fs.defaultFS</name>               

    <value>hdfs://hadoop01:9000</value>

</property>

<property>

    <!-- 执行Hadoop运行时的数据存放目录 -->

    <name>hadoop.tmp.dir</name>

    <value>/home/software/hadoop-2.7.1/tmp</value>

</property>

3.保存退出

 

十二.配置 hdfs-site.xml

1.编辑hdfs-site.xml：

vim hdfs-site.xml

2.添加如下配置：

<property>

    <!-- 设置HDFS中的复本数量 -->

    <!-- 在伪分布式下，值设置为1 -->

    <name>dfs.replication</name>

    <value>1</value>

</property>

3.保存退出

 

十三.配置 mapred-site.xml

1.将mapred-site.xml.template复制为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

2.编辑mapred-site.xml

vim mapred-site.xml

3.添加如下配置：

<property>

    <!-- 指定将MapReduce在Yarn上运行  -->

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

4.保存退出

 

十四.配置 yarn-site.xml

1.编辑yarn-site.xml

vim yarn-site.xml

2.添加如下内容：

<!-- 指定Yarn的主节点 - resourcemanager -->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoop01</value>

</property>

<!-- NodeManager的数据获取方式 -->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

3.保存退出

 

十五.配置slaves

1.编辑slaves：vim slaves

 

2.添加从节点信息，

例如：liuyong

3.保存退出

 

4.配置hadoop的环境变量

 

十六.编辑profile文件：vim /etc/profile

1.添加Hadoop的环境变量，例如：

在最后一行添加

export HADOOP_HOME=/home/software/hadoop-2.7.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.保存退出

 

3.重新生效：source /etc/profile

 

4.格式化namenode：hadoop namenode -format 

第一次配置需要初始化

 

5.启动hadoop：start-all.sh

 

配置最好手敲，复制遇坑，后果自负

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

伪分布式安装步骤

Hadoop伪分布式安装步骤 的相关文章

随机推荐

  • VScode中使用git终端，无法识别命令

    提示 xff1a vscode中使用git终端 xff0c 无法识别输入的命令 xff1a vscode版本 xff1a VSCodeUserSetup x64 1 60 1 exe git版本 xff1a 2 32 0 windows 2

  • Ubuntu18.04 VINS-Mono & Fast-Planner

    Ubuntu18 04 VINS Mono amp Fast Planner 官方GIthub 安装依赖 span class token comment 额外ros包 span span class token function sudo

  • Autoware Docker 安装

    1 Ubuntu20 04 Docker 官方教程安装 Docker 官方教程安装 2 安装 nvidia container runtime Access an NVIDIA GPU 官方参考 span class token comme

  • 卡尔曼滤波公式理解

    卡尔曼滤波 卡尔曼滤波适用于线性高斯系统 xff0c 即系统满足叠加性 齐次性 xff0c 噪声满足正态分布 其使用上一次的最优结果预测当前的值 xff08 先验估计 xff09 xff0c 同时使用观测值修正当前值 xff0c 得到最优结

  • 学习编程，API很重要么？

    学习编程 xff0c API的重要性几何 xff1f 在培训中 xff0c 很多人问到了 xff0c 学习Java xff0c 是否需要学习那些大量API的用法 xff0c 从而成为一个精通Java编程开发的coder xff1f 首先 x

  • App 后台架构设计方案 设计思想与最佳实践

    CSDN 2016博客之星评选结果公布 系列直播 零基础学习微信小程序 xff01 我的2016 主题征文活动 博客的神秘功能 App 后台架构设计方案 设计思想与最佳实践 标签 xff1a App后台架构设计用户验证方案后台架构的演进架构

  • 语音信号处理算法

    EQ DRC AEC NS

  • uIP与LWIP的区别

    uIP是专门为8位和16位控制器设计的一个非常小的TCP IP栈 完全用C编写 xff0c 因此可移植到各种不同的结构和操作系统上 xff0c 一个编译过的栈可以在几KB ROM或几百字节RAM中运行 uIP中还包括一个HTTP服务器作为服

  • C++基础用法—冒号的用法

    C 43 43 基础用法 冒号的用法 一 用法一 xff1a 继承1 1用法 xff1a 用在class或struct后面1 2示例代码 二 用法二 xff1a 赋值1 1用法 xff1a 用在成员函数 构造函数后面1 2示例代码1 2 1

  • 路由器相关开发流程

    路由器相关开发流程 宽带上网已经不是什么新鲜事 情 xff0c 人们对相关的网络器件已经不再陌生 xff0c 比如说常见的路由器 对于一般的网络用户 xff0c 他们能知道怎样使用路由器来上网 玩游戏等就已经感到很满足了 xff0c 通常情

  • 将Ubuntu终端的输出信息保存到log中

    参考website xff1a http www linuxidc com Linux 2011 04 34543 htm 执行以下命令 xff0c 开启保存 xff1a sudo script screen log 之后你在终端输入的相关

  • 《芯片介绍系列》之MT7628芯片详细介绍（MT7628平台处理器）

    有的家庭路由器拆开 xff0c 里面最显眼的芯片型号是 xff1a MT7628KN MT7628系列产品是新一代2T2R 802 11n Wi Fi AP 路由器 系统单芯片 xff08 摘自百度 xff09 更多介绍见此 xff1a M

  • python：函数传参是否会改变函数外参数的值

    参考链接 xff1a https blog csdn net u012614287 article details 57149290 https blog csdn net qq915697213 article details 66972

  • Catkin创建工程

    介绍 catin make编译过程 xff0c cmake指令依据你的CMakeLists txt 文件 生成cmakefiles和makefile文件 make再依据此cmakefiles和makefile文件编译链接生成可执行文件 ca

  • ros中使用serial包实现串口通信

    一 Ubuntu下的串口助手cutecom 1 安装cutecom并打开 xff1a sudo apt get install cutecom sudo cutecom 2 查看电脑链接的串口信息 xff08 名称 xff09 xff1a

  • 构造函数后冒号的作用

    构造函数后面的冒号起分割作用 xff0c 是类给成员变量赋值的方法 xff0c 初始化列表 xff0c 更适用于成员变量的常量const型 struct XXX XXX y 0xc0

  • 字节序(byte order)和位序(bit order)

    字节序 byte order 和位序 bit order 在网络编程中经常会提到网络字节序和主机序 xff0c 也就是说当一个对象由多个字节组成的时候需要注意对象的多个字节在内存中的顺序 以前我也基本只了解过字节序 xff0c 但是有一天当

  • __thread关键字

    thread是GCC内置的线程局部存储设施 xff0c 存取效率可以和全局变量相比 thread变量每一个线程有一份独立实体 xff0c 各个线程的值互不干扰 可以用来修饰那些带有全局性且值可能变 xff0c 但是又不值得用全局变量保护的变

  • SCRUM框架包括3个角色、3个工件、5个活动、5个价值

    转自http www scrumcn com agile scrum knowledge library scrum html SCRUM 是一个用于开发和维持复杂产品的框架 Scrum 是一个用于开发和维持复杂产品的框架 xff0c 是一

  • Hadoop伪分布式安装步骤

    Hadoop伪分布式安装步骤 目录 Hadoop伪分布式安装步骤 一 永久关闭防火墙 二 配置主机名 1 编辑network文件 xff1a vim etc sysconfig network 2 将HOSTNAME属性改为指定的主机名 x

热门标签