Windows安装 hadoop 环境

2023-05-16

1.需要安装 Java 环境
2.下载 hadoop
https://archive.apache.org/dist/hadoop/common/
3.解压 hadoop 压缩包 (如:将下载好的压缩包放在 E:\config 目录下)
进入到 E:\config 下输入 cmd 回车
打开 cmd 后输入 start winrar x -y hadoop-3.2.1.tar.gz 进行解压(正常右键解压会报错)
在这里插入图片描述
4.下载 winutils
https://github.com/cdarlint/winutils
因为 hadoop 默认 Linux 环境,如果在 Windows 上运行 hadoop ,必须下载该文件
将对应版本中的文件放到 hadoop 所在目录下的 bin 文件中,即 E:\config\hadoop-3.2.1\bin 文件下
将 winutils 文件夹中的 hadoop.dll 文件 拷贝一份放到 C:\Windows\System32 目录下
在这里插入图片描述
5.配置环境变量
HADOOP_HOME:E:\config\hadoop-3.2.1
Path:%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
6.hadoop 基础配置
在 hadoop 目录下新建 data 文件夹和 tmp 文件夹
在新建的 data 文件夹下新建 datanode 、namenode 文件夹
在这里插入图片描述

以下的配置都在 E:\config\hadoop-3.2.1\etc\hadoop 目录下
6.1配置 core-site.xml 文件

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/E:/config/hadoop-3.2.1/tmp</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/E:/config/hadoop-3.2.1/data</value>
	</property>
</configuration>

注意路径
6.2配置 hdfs-site.xml 文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>    
		<name>dfs.namenode.name.dir</name>    
		<value>/E:/config/hadoop-3.2.1/data/namenode</value>    
	</property>    
	<property>    
		<name>dfs.datanode.data.dir</name>    
		<value>/E:/config/hadoop-3.2.1/data/datanode</value>  
	</property>
</configuration>

6.3配置 mapred-site.xml 文件

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

6.4配置 yarn-site.xml 文件

<configuration>
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		<property>
			<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
			<value>org.apache.hadoop.mapred.ShuffleHandler</value>
		</property>
		
		<property>
			<name>yarn.application.classpath</name>
			<value>E:\config\hadoop-3.2.1\etc\hadoop;E:\config\hadoop-3.2.1\share\hadoop\common;E:\config\hadoop-3.2.1\share\hadoop\common\lib\*;E:\config\hadoop-3.2.1\share\hadoop\common\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs;E:\config\hadoop-3.2.1\share\hadoop\hdfs\lib\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs\*;E:\config\hadoop-3.2.1\share\hadoop\yarn;E:\config\hadoop-3.2.1\share\hadoop\yarn\lib\*;E:\config\hadoop-3.2.1\share\hadoop\yarn\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\lib\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\*</value>
		</property>
	</configuration>

注意 yarn.application.classpath 下的 value 值的获取方式
打开 cmd 后,直接输入 yarn classpath 回车,将显示的数据全部复制放到 value 中
在这里插入图片描述
7.配置 hadoop-env.cmd 文件(如果启动不报错则可以不配置)
如果 Java 找不到时,修改 JAVA_HOME (如:Java 的安装目录在 D:/Java 目录下)
修改 set JAVA_HOME=D:/Java/jdk1.8.0_191
有事在启动的时候会提示 “错误:找不到或无法加载主机 xxx”
这时需要修改该文件下的 set HADOOP_IDENT_STRING 的值(如我的计算机的名称为 WIN 10 )
则修改为 :set HADOOP_IDENT_STRING=“WIN 10”
8.启动 hadoop
进入 sbin 文件夹中 E:\config\hadoop-3.2.1\sbin
双击 start-all.cmd 启动
这时会弹出四个黑框
在这里插入图片描述
如果启动不报错,则启动成功
9.通过http://127.0.0.1:8088/即可查看集群所有节点状态
在这里插入图片描述
访问http://localhost:9870/即可查看文件管理页面
在这里插入图片描述

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Windows安装 hadoop 环境 的相关文章

  • Windows 计算机上出现“来自守护程序的错误响应:无法创建填充程序:OCI 运行时创建失败”错误

    我正在尝试构建一个简单的 Python 映像 然后在 Windows 上以交互方式访问容器 构建过程有效 但运行容器失败 这是 Dockerfile FROM python 3 10 4 WORKDIR app 生成文件 IMAGE scr
  • 避免 Inno Setup 中的“无法展开 shell 文件夹常量 userdocs”错误

    我将一些示例文档安装到 Windows 上标准 我的文档 文件夹的 PerfectTablePlan 子文件夹中 这对于 99 以上的用户来说效果很好 但是 如果用户没有 我的文档 文件夹 我会收到许多以下形式的丑陋错误消息 内部错误 无法
  • MapReduce 中的分区到底是如何工作的?

    我认为我总体上对 MapReduce 编程模型有一定的了解 但即使在阅读了原始论文和其他一些来源之后 我仍然不清楚许多细节 特别是关于中间结果的分区 我将快速总结到目前为止我对 MapReduce 的理解 我们有一个可能非常大的输入数据集
  • 在 Android SDK 中设置 JAVA_HOME

    我和对方有一些冲突JAVA HOME配置 当我使用以下代码时 System out println System getenv JAVA HOME I get C jdk1 6 0 23这是正确的地方 但是 当我在 Android buil
  • 如何在 NERDTree 中显示隐藏文件(以句点开头)?

    我怎样才能使NERDTree https github com scrooloose nerdtree显示以 a 开头的文件 时期 我有一个名为 hgignore在项目目录中 如果我使用 NERDTree 浏览到该目录 该文件不会显示在树中
  • 使用 IDLE 编辑的 .py 文件消失了

    我曾经有过Edit with IDLE当我右键单击时的选项 py文件 但我多次卸载 重新安装以使某些东西正常工作 但现在它消失了 我检查了注册表HKEY CLASSES ROOT and HKEY LOCAL MACHINE对于价值低于Py
  • 更改desktop.ini不会在Windows中自动更新文件夹图标

    我使用此批处理脚本将所有文件夹和子文件夹的图标更改为位于文件夹中的 ico 文件 但是 资源管理器中的文件夹图标不会改变除非我手动重命名desktop ini将资源管理器中的文件更改为其他内容 然后返回desktop ini或者例如将字母更
  • Windows 上的 Openssl 错误 0x02001005 和 0x2006D002?

    我正在尝试使用 openssl 将 cer 证书转换为 p12 证书 这是我正在使用的命令 C OpenSSL Win32 bin gt openssl x509 inform der in developer identity cer o
  • Qt(在 Windows 上)将权限级别设置为“requireAdministrator”

    我正在使用 Qt Creator 并努力制作 exe文件默认以管理员身份运行 在线阅读所有解决方案我试图将这一行放入我的 pro file QMAKE LFLAGS MANIFESTUAC level requireAdministrato
  • 以编程方式从 java 代码中查找 java.exe 的绝对路径

    如果我有一个由用户启动的 java jar 或类文件 假设在环境变量中设置了 java 路径 那么我如何从代码中找出 java exe javaw exe 的绝对路径文件正在启动 就像在 ubuntu 上一样 我们可以运行 which ja
  • C# - 方法必须有返回类型

    我在调用 C 中的方法时遇到问题 不断收到消息 方法 计算 必须有返回类型 using System Diagnostics namespace WindowsFormsApplication1 public partial class F
  • 访问图像的 Windows“标签”元数据字段

    我正在尝试进行一些图像处理 所以现在我正在尝试读取图像 exif 数据 有 2 个内置函数可用于读取图像的 exif 数据 问题是我想读取图像标签 exifread and imfinfo这两个函数都不显示图像标签 Is there any
  • Vim 在 Mingw 上表现异常

    我在 MinGW 4 6 2 上的 Vim 表现得很奇怪 例如 在插入模式下按 Backspace 会删除字符 但我必须用箭头键移动光标才能删除的字符消失 而且它也会使我退出插入模式 另一个例子 按 Del 删除字符有时会生成奇怪的字符 例
  • 游戏内的java.awt.Robot?

    我正在尝试使用下面的代码来模拟击键 当我打开记事本时 它工作正常 但当我打开我想使用它的游戏时 它没有执行任何操作 所以按键似乎不起作用 我尝试模拟鼠标移动和点击 这些动作确实有效 有谁知道如何解决这个问题 我发现这个问题 如何在游戏中使用
  • 如何将 GIT 调用的输出获取到批处理脚本中的变量中?

    我有一个 git 命令来获取当前存储库的最新 SHA 如下所示 git log pretty format H n 1 我有一个 Windows 批处理脚本 我想按如下方式使用它 SET CURRENT SHA 但我不知道如何将从 git
  • 如何从Windows阻止社交媒体[关闭]

    Closed 这个问题需要调试细节 help minimal reproducible example 目前不接受答案 我想根据时间阻止我的电脑上的社交媒体 晚上 9 点后屏蔽 上午 11 点后解锁 如家长控制 我尝试过关注但失败了 创建了
  • 对于多重继承,使用隐式转换而不是 QueryInterface() 是否合法?

    假设我有一个类实现两个或多个 COM 接口 正如here https stackoverflow com questions 1742848 why exactly do i need an explicit upcast when imp
  • 调用 printf 系统子例程在汇编代码中输出整数错误[重复]

    这个问题在这里已经有答案了 来回 在windows7控制台窗口中运行gcc s2 asm 然后生成一个exe文件 运行a exe 然后崩溃 为什么 s2 asm 代码由以下源代码生成 int m m 1 iprint m s2 asm请参考
  • Windows C++ 中的键盘钩子还是什么?

    我希望构建自己的应用程序 它可以将键盘命令 消息 发送到 Windows 操作系统 例如 当我按下组合键 ctrl shift n 时 我希望启动 notepad exe 我怎样才能做到这一点 您对所使用的概念有什么建议吗 我读过 何时使用
  • 如何查看网络连接状态是否发生变化?

    我正在编写一个应用程序 用于检查计算机是否连接到某个特定网络 并为我们的用户带来一些魔力 该应用程序将在后台运行并执行检查是否用户请求 托盘中的菜单 我还希望应用程序能够自动检查用户是否从有线更改为无线 或者断开连接并连接到新网络 并执行魔

随机推荐

  • libc_hidden_def、libc_hidden_weak、libc_hidden_proto

    libc hidden def libc hidden weak libc hidden proto 在阅读glibc源码的时候 xff0c 遇见了几个没见过的宏 xff0c 几乎所有的函数都会使用这几个宏 xff1a libc hidde
  • GLIBC源码——putchar

    GLIBC源码 putchar GLIBC源码 从我认为最简单的putchar开始 putchar放在putchar c中 xff0c 而putchar c放在libio文件夹里 加上注释 xff0c 一共只有36行 span class
  • 【汇编】正确使用IDIV指令

    汇编 正确使用IDIV指令 div为无符号除法 xff0c idiv为有符号除法 idiv进行的是128 64位除法 xff0c 即被除数为128位 除数为64位 64位操作系统中寄存器大小当然只有64位 xff0c 因此 xff0c id
  • 【acwj】04,An Actual Compiler 一个真正的编译器

    搬运自https github com DoctorWkt acwj xff0c 一个介绍如何使用C语言编写一个可自举的类C语言编译器的说明 进行了粗略的翻译 acwj 04 xff0c An Actual Compiler 一个真正的编译
  • 设计模式详解:工厂方法模式

    今天我们来看一下使用频率非常高的工厂方法模式 xff0c 看完原理分别给出 NET和JAVA两种语言的实现源码 定义 xff1a 工厂方法模式 xff1a 定义一个用于创建对象的接口 xff0c 但是 让子类决定将哪一个类实例化 工厂方法模
  • 【acwj】05,Statements 实现“Statements”

    搬运自https github com DoctorWkt acwj xff0c 一个介绍如何使用C语言编写一个可自举的类C语言编译器的说明 进行了粗略的翻译 acwj 05 xff0c Statements 实现 Statements I
  • diff命令实现

    diff命令实现 diff是类UNIX系统下的一个重要的系统工具 xff0c 用于比较两个文本文件的差异 它有三种输出格式 先给大家看看两个用于比对的文件原文 file1 a e b a g h b g g file2 b c d g e
  • verilog 常见位宽问题集合

    verilog 常见的位宽问题集合 1 位宽不等 wire b 31 0 assign b 61 5 39 b0 这种错误常见于赋值操作中 2 保留最低位 wire b assign b 61 32 39 h5 此时因为b缺省定义为1位长度
  • glibc源码阅读

    FBI warning 本文仅仅是试图以二进制选手的方式来理解mallo c中所使用的堆机制 xff0c 不会对具体操作以及堆块结构作过多叙述 xff0c 敬请谅解 水平欠佳 xff0c 有问题也欢迎留言指出 先解释一些常用的宏与常量 变量
  • github copilot插件安装

    首先是github copilot的官网地址 xff1a https copilot github com 现在要使用copilot首先要先通过申请才可以使用 xff0c 点击 Sign up 登录 xff0c 这里最好已经有github的
  • 操作系统第一章知识点小结

    第一章 操作系统概述 1 1操作系统的概念 xff0c 功能和目标 资源管理者 xff08 接下来的4给章节就是对这四个功能的详细学习 xff09 处理机处理 xff1a 处理机管理因为是为进程分配处理机资源 xff0c 也称为进程管理 存
  • SerDes基础知识

    SerDes是什么 SerDes是Serializer Deserializer 的缩写 xff0c 即串行器和解串器 xff0c 顾名思义是一种将并行数据转换成串行数据发送 xff0c 将接收的串行数据转换成并行数据的 器件 对于FPGA
  • 安装Pycharm

    文章目录 Ubuntu使用pycharm解压安装使用pycharmwindows 使用Pycharmpip install cryptography 报错 Ubuntu使用pycharm 官网地址 这里以Ubuntu1604 LTS 下载p
  • 找完数(用数组实现)

    找完数 所谓完数就是该数恰好等于除自身外的因子之和 例如 xff1a 6 61 1 43 2 43 3 xff0c 其中1 2 3为6的因子 本题要求编写程序 xff0c 找出任意两正整数m和n之间的所有完数 输入格式 xff1a 输入在一
  • Ubuntu系统使用图形化界面来创建一个用户

  • 设计模式详解:抽象工厂模式

    今天我们来看一下另一个使用频率非常高的抽象工厂模式 xff0c 看完原理分别给出 NET和JAVA两种语言的实现源码 定义 xff1a 抽象工厂模式 xff1a 提供一个 创建一系列相关或相互依赖对象的接口 xff0c 而无须指定它们具体的
  • Vmmem进程(WSL)内存资源过高

    本文章向大家介绍Docker Vmmem内存占用过高的解决方案 Windows的linux子系统最大占用可到本机器的80 xff0c 所以必须限制一下它的性能来达到优化目的 解决方案 win 43 R 输入cmd打开控制台 输入wsl sh
  • git使用教程8-pycharm 使用 Reset 回滚到某次 commit 提交

    前言 当我们用 pycharm 提交代码的时候 xff0c 每天都要 commit 提交的内容 xff0c 有时候发现后面写的代码还不如前两天的稳定 这时候想把代码回退到某次 commit 提交 xff0c 可以使用git的 reset 功
  • IP地址中的网络地址和主机地址分别是什么意思?怎么计算的呢?

    什么意思呢 xff1f 先理解下这个 xff1a 01087654321 这是一个电话号码 xff0c 它是一坨数字但我们很清楚它分为两部分 xff0c 其中010是表示北京的区号 xff0c 后面87654321是北京范围内的一台座机号
  • Windows安装 hadoop 环境

    1 需要安装 Java 环境 2 下载 hadoop https archive apache org dist hadoop common 3 解压 hadoop 压缩包 xff08 如 xff1a 将下载好的压缩包放在 E config