ubuntu20.04server下安装hadoop2.8.5

2023-05-16

参考Ubuntu下Hadoop安装(全命令行版)

安装环境

项目名称版本
电脑硬件Huwei Matebook X Proi7-8550U 16G 512G
操作系统Windows 10家庭中文版
虚拟机VMware® Workstation 15 Pro15.0.0 build-10134415
运行系统ubuntu 20.04 server20.04 amd64
Java虚拟机OpenJDK1.8.0_252-8u252-b09
HadoopHadoop2.8.5

安装步骤

  1. 安装虚拟机

    安装虚拟机时使用下载的iso文件安装即可,注意网络选择NAT,这样可以简单些。

  2. 配置账户

    创建账户:

    sudo useradd -m hadoop -s /bin/bash
    

    设置密码

    sudo passwd hadoop
    

    为hadoop用户增加管理员权限

    sudo adduser hadoop sudo
    

    切换到hadoop账户

    su - hadoop
    

    更新hadoop用户的apt,方便后面的安装

    sudo apt-get update
    
  3. 安装ssh-server

    在安装ubuntu的过程中,可以选中一并安装好openssh-server,在选择密钥的选项中不用选什么认证账户,直接no即可。

    或者安装好系统后再安装openssh-server:

      sudo apt-get install openssh-server
    

    如果已安装成功,则会提示。如果手动安装openssh-server, 则可能 需要配置一下KEY。

  4. 远程登录虚拟机

    在Windows下运行cmd,登录虚拟机,我虚拟机ip为192.168.110.129:

    ssh 192.168.110.129 -l hadoop
    

    ip改为自己虚拟机的ip, -l为用户名,输入密码后登录。

    使用远程登录方便些,一是切换虚拟机始终有些不方便,二是在ubuntu虚拟机下vi/vim编辑配置文件时,会出现有些字符不显示的问题,不知道原因。注意在windows下使用powershell也会出现有时字符显示不出来的问题。

  5. 安装jdk

    运行java测试一下,如果没安装java,选择下面脚本中提示的最后一行安装java,这里是openjdk-8

    lyq@ubuntu:~/Desktop$ java -version
    
    Command 'java' not found, but can be installed with:
    
    sudo apt install default-jre              # version 2:1.11-72, or
    sudo apt install openjdk-11-jre-headless  # version 11.0.7+10-3ubuntu1
    sudo apt install openjdk-13-jre-headless  # version 13.0.3+3-1ubuntu2
    sudo apt install openjdk-14-jre-headless  # version 14.0.1+7-1ubuntu1
    sudo apt install openjdk-8-jre-headless   # version 8u252-b09-1ubuntu1
    

    安装java

    sudo apt install openjdk-8-jre-headless
    

    安装好后,切换到安装目录下,将目录改一名为java,以方便配置:

    cd /usr/lib/jvm
    sudo mv java-8-openjdk-amd64 java
    

    配置java环境变量:

    vim ~/.bashrc
    

    添加以下几行:

    # java config
    export JAVA_HOME=/usr/lib/jvm/java
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    让配置生效:

    source ~/.bashrc

    检查安装结果:

    hadoop@lyq:~$ java -version
    openjdk version "1.8.0_252"
    OpenJDK Runtime Environment (build 1.8.0_252-8u252-b09-1ubuntu1-b09)
    OpenJDK 64-Bit Server VM (build 25.252-b09, mixed mode)
  6. 安装hadoop

    下载hadoop,我这里用的是2.8.5这个版本,如果要其他版本,则更换这个数字即可:

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

    解压安装到/usr/local目录下:

    sudo tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local

    更换目录名为hadoop以简化配置文件,

    cd /usr/local
    sudo mv hadoop-2.8.5 hadoop

    切换用户权限

    sudo chown -R hadoop ./hadoop

    配置hadoop环境变量,还是在~/.bashrc文件中

    vim ~/.bashrc

    添加以下几行:

    # hadoop config
    export HADOOP_HOME=/usr/local/hadoop
    export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    再执行一下生效配置:

    source ~/.bashrc

    运行hadoop,检查一下:

    hadoop@lyq:~$ hadoop@lyq:~$ hadoop version
    Hadoop 2.8.5
    Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 0b8464d75227fcee2c6e7f2410377b3d53d3d5f8
    Compiled by jdu on 2018-09-10T03:32Z
    Compiled with protoc 2.5.0
    From source with checksum 9942ca5c745417c14e318835f420733
    This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.8.5.jar
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ubuntu20.04server下安装hadoop2.8.5 的相关文章

随机推荐

  • LeetCode的语言使用

    看来以后不能再用python来写算法的题目了 用python竟然是一种取巧的办法 xff0c 以后还是用C 43 43 来写吧 python里面有很多内置的库 xff0c 这也就导致掩盖了很多复杂的算法的特性 虽然在写代码的时候很简单 xf
  • Windows10安装Ubuntu16.04

    由于最近要在Ubuntu上面开发 xff0c 得安装一个Ubuntu的系统 xff0c 这些是很常见的安装 xff0c 但是也踩了一些坑 xff0c 下面记录下来 安装环境 Windows10Ubuntu16 04 基础理论 在安装的时候有
  • python 下划线 _ __ 开头的变量 详解

    在python中 xff0c 我们经常能看到很多变量名以 下划线开头 xff0c 而且下划线的数量还不一样 xff0c 那么这些变量的作用到底是什么 xff1f 变量名分类 xff1a 以数字 字母开头 xff1a 正常的公有变量名 a 6
  • 两个画图工具助力论文绘图

    欢迎关注笔者的微信公众号 如果使用matplotlib绘制论文图片时需要做非常多的设置 xff0c 字体 xff0c 大小 xff0c 间距 xff0c 多子图配置等 xff0c 而这些操作可以封装好从而简化用户工作量 Proplot对ma
  • 对自然数e的理解,推导(基础)

    对自然数e的理解 xff0c 推导 基础 在前面的博文 古典概型事件数计算 分房 xff0c 配对 xff0c 乱序 概统1 一文中 xff0c 已经写到了对e的理解 xff0c 在n把钥匙配n把锁的 乱序配对 问题中 xff0c 当n很大
  • 检验和算法

    1 CRC xff08 循环冗余码 校验和的算法为 xff1a 所有各字节的和模256的余 即各字节二进制算术和 xff0c 不计超过256的溢出值 xff08 即只取其和 的低8位数据 xff09 xff0c 然后用0x100减去这个算数
  • 我的四轴专用PID参数整定方法及原理---超长文慎入

    给四轴调了好久的PID xff0c 总算是调好了 xff0c 现分享 PID 参数整定的心得给大家 xff0c 还请大家喷的时候手下留情 首先说明一下 xff0c 这篇文章的主旨并不是直接教你怎么调 xff0c 而是告诉你这么调有什么道理
  • px4原生源码学习-(1)

    接触px4代码有几天了 xff0c 想把自己所学所想记录下来 px4就不过多介绍了 xff0c 算得上目前使用的最广泛的开源飞控了 为什么说 px4原生代码学习呢 xff0c 这还得追溯到被大疆干死的3DR xff0c 3DR想做消费级无人
  • px4原生源码学习-(2)--实时操作系统篇

    po上我使用到的硬件和开发环境 px4硬件 xff1a 某宝销量最高的pixhawk套件 xff08 主机 xff0c gps 43 指南针 xff0c 数传 xff0c pwm转pmm xff0c 安全开关 xff0c 蜂鸣器 xff0c
  • px4原生源码学习-(3)--Nuttx实时操作系统的使用

    po上我使用到的硬件和开发环境 px4硬件 xff1a 某宝销量最高的pixhawk套件 xff08 主机 xff0c gps 43 指南针 xff0c 数传 xff0c pwm转pmm xff0c 安全开关 xff0c 蜂鸣器 xff0c
  • 为单反拍摄照片批量加入地理位置信息(POS点)和EXIF信息

    很多航测朋友对于照片中没有POS点很是懊恼 xff0c 单反同飞控是分离的 xff0c 照片由单反生成 xff0c 而POS点的数据由飞控生成 对于后期数据处理相当不利 xff0c 尤其是目前对于倾斜摄影的朋友 xff0c 地理位置信息一定
  • 解决angular中的版本问题,Metadata version mismatch for module,found version 4, expected 3

    angular版本问题解决办法 xff1b 第一步 xff1a 查出错误模块的当前安装版本 以 ng bootstrap模块为例 npm list ng bootstrap 第二步 xff1a 查出所有版本号 npm view ng boo
  • python2.7爬取京东商品评论

    大神请绕路 xff0c 新手先别急着上车 我们先来了解一下京东商品评论的地址 xff0c 他们的客户评论看似是在商品页 xff08 item jd com xff09 xff0c 但实际上是在club jd com review 这个url
  • 进入docker容器的方法

    最近想着怎么进入到容器内部 xff0c 然后把里面的配置文件拷贝出来 xff0c 下面是一些操作记录 1 进入docker容器的方法 命令 xff1a docker exec it 容器id bin sh 进入容器后相当于进入了另外一个li
  • spring bean的循环引用

    看过一次spring公开课 xff0c 记录一下bean的循环引用问题 问题 public class IndexService 64 Autowired IndexDao indexDao public class IndexDao 64
  • Excel文本格式怎么出现小三角

    左上角的小三角是文本型数字标志 xff0c 将一列数值的左上角一次性加上绿色的三角标示 就是将常规或数值型的数字改变为文本格式数字 办法 xff1a 选定该列数据 xff0c 点菜单 数据 分列 xff0c 点两次 下一步 xff0c 在
  • docker磁盘占用清理问题

    本文转自http dockone io article 3056 如何清理Docker占用的磁盘空间 编者的话 用了Docker xff0c 好处挺多的 xff0c 但是有一个不大不小的问题 xff0c 它会一不小心占用太多磁盘 xff0c
  • sql exists用法

    转自https www cnblogs com xuanhai p 5810918 html 转载于 https www cnblogs com yongan p 11362595 html
  • 深入了解QtCreator的实用功能

    重构代码 在源代码中搜索 重命名 重排代码格式是原生支持的功能 在代码中右键弹出的菜单中 xff0c 有一个Refactor菜单项 xff0c 根据当前光标位置不同的代码元素 xff0c 具有相应的重构子菜单 xff0c 可以很方便地完成很
  • ubuntu20.04server下安装hadoop2.8.5

    参考Ubuntu下Hadoop安装 xff08 全命令行版 xff09 安装环境 项目名称版本电脑硬件Huwei Matebook X Proi7 8550U 16G 512G操作系统Windows 10家庭中文版虚拟机VMware Wor