腾讯云服务器上搭建Hadoop伪分布式教程

1 登陆腾讯云服务器控制台查看内网ip地址

 2 更改主机名

修改master ip地址，地址改为内网地址

$ vi /etc/hosts

172.21.0.*

修改主机名

$ vi /etc/hostname
master

重启服务器

$ reboot

查询是否更改成功

$ hostname
master
$ hostname -i
172.21.0.*

2 配置ssh免密登录

查询是否安装了ssh

$ rpm -qa | grep ssh
openssh-7.4p1-16.el7.x86_64
openssh-server-7.4p1-16.el7.x86_64
openssh-clients-7.4p1-16.el7.x86_64
libssh2-1.4.3-10.el7_2.1.x86_64

设置免密登录

$ ssh-keygen -t  rsa -P ''
$ cd /root/.ssh
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

验证是否配置成功

$ssh master

如何出现Permission denied (publickey,gssapi-keyex,gssapi-with-mic) 用药认证错误问题，可能是不小心将文件权限变成了777，这样是不行的，每个目录需要特定的权限，通过权限设置解决问题。

$ chmod 700 /root
$ chmod 700 /root/.ssh
#公钥文件的所有权限
$ chmod 644 /root/.ssh/authorized_keys  
#私钥文件的所有权限
$ chmod 600 /root/.ssh/id_rsa       

3 配置Java和Hadoop环境

#编辑profile文件
$ vi /etc/profile
#在文件末尾插入环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
export HADOOP_LOG_DIR=/usr/local/hadoop/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR

4 修改Hadoop配置文件，搭建伪分布式模式

进入hadoop的 etc/hadoop目录，并修改*-site.xml结尾的文件

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/tmp/dfs/namenode</value>
  </property>

  <property>
    <name>dfs.namenode.data.dir</name>
    <value>/usr/local/hadoop/tmp/dfs/datanode</value>
  </property>

</configuration>

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
  </property>

</configuration>

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

可以修改slaves文件改为master(主机名)，也可以不修改。

5 启动守护进程

#格式化文件系统
$ hdfs namenode -format
#启动守护线程
$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

如果出现找不到JAVA_HOME环境变量，则需要配置hadoop-env.sh，路径为hadoop/etc/hadoop/hadoop-env.sh，一般是需要修改的，将${JAVA_HOME}改为具体java路径

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64

6 输入jps检查守护线程是否启动

3665 ResourceManager
3762 NodeManager
3493 SecondaryNameNode
3207 NameNode
4154 JobHistoryServer
3307 DataNode
13133 Jps