win10搭建hadoop2.7.7

配置java环境

配置java环境，官网下载jdk较慢，百度网盘：
链接：https://pan.baidu.com/s/1wX7LxPMjcS9QGc4c4cPJgw 提取码：9e38
安装完后配置变量，系统变量中添加JAVA_HOME

系统变量Path添加两行%JAVA_HOME%\bin 和 %JAVA_HOME%\jre\bin。

下载Hadoop安装包

下载hadoop安装包，链接：https://pan.baidu.com/s/1_8J7lslmZ16qmFQA_YEzsA 提取码：e5ng
先解压hadoop-2.7.7.tar.gz到指定文件夹下

例如解压到 D:\hadoop-2.7.7\hadoop-2.7.7下

然后将winutils.exe和hadoop.dll两个文件放到bin文件夹内

将hadoop.dll文件拷贝到 C:\Windows\System32目录下。

新建data文件夹和tmp文件夹，

并在data中新建两个文件夹datanode和namenode

配置Hadoop环境变量

系统变量中添加HADOOP_HOME

系统变量Path中添加2行%HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin

配置文件

在etc/hadoop目录下修改以下文件

• core-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

• hdfs-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/D:/hadoop-2.7.7/hadoop-2.7.7/data/namenode</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/D:/hadoop-2.7.7/hadoop-2.7.7/data/datanode</value>
</property>
</configuration>

• mapred-site.xml.template文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

• yarn-site.xml文件

<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
</configuration>

• 将hadoop-env.cmd的set JAVA_HOME修改位JAVA_HOME的路径，注意JAVA_HOME中不能出现空格，PROGRA~1代表Program Files，如果安装的JAVA_HOME路径没有空格则直接填入路径即可。
  
• 以管理员身份打开命令提示符，输入hdfs namenode -format，以下表明format成功
  

启动hadoop

cmd命令行cd到hadoop-2.7.7\sbin目录下，输入start-all启动所有Hadoop组件，弹出以下四个命令框则表明成功安装，命令框上一定要有这四个名字才算成功。