虚拟机搭建Hadoop集群环境-CentOS篇

2023-11-04

Linux环境安装

具体步骤参考博客

虚拟机环境准备

虚拟机克隆

在前一步骤中准备好安装了CentOS 7 的虚拟机,克隆一个虚拟机出来,过程如下图:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

修改虚拟机IP

  • 克隆完成后,启动bigdata-101虚拟机,使用root用户登录,修改虚拟机的IP地址

    在这里插入图片描述

    • 编辑/etc/sysconfig/network-scripts/ifcfg-ens33文件,修改成如下内容:

      vim /etc/sysconfig/network-scripts/ifcfg-ens33
      # 修改内容如下
      TYPE=Ethernet
      BOOTPROTO=static # 设置静态IP
      NAME=ens33
      DEVICE=ens33
      ONBOOT=yes
      IPADDR=192.168.1.101 # 自定义IP地址
      PREFIX=24
      GATEWAY=192.168.1.2
      DNS1=192.168.1.2
      

在这里插入图片描述
在这里插入图片描述

  • 设置虚拟机虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8->更改配置:

在这里插入图片描述
在这里插入图片描述

将子网IP按下图调整,最后点击 NAT 设置:



![在这里插入图片描述](https://img-blog.csdnimg.cn/20210222181122128.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIwNzUzODM=,size_16,color_FFFFFF,t_70)

在这里插入图片描述

  • 设置VMnet8 属性,保证默认网关、首先DNS服务器和Linux环境配置一致

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

修改主机名

  • 查看当前主机名

    hostname
    

在这里插入图片描述

  • 执行vim /etc/sysconfig/network,输入以下内容:

    HOSTNAME=bigdata101
    

在这里插入图片描述

  • 执行 vim /etc/hosts,加入以下内容:

    192.168.1.101 bigdata101
    192.168.1.102 bigdata102
    192.168.1.103 bigdata103
    

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

创建普通用户

  • 创建一个普通用户用于日常操作,用户名为bigdata,为方便学习记忆,密码也可设置为bigdata

    # 添加用户
    useradd bigdata
    # 设置密码
    passwd bigdata
    

在这里插入图片描述

  • 给新添加的 hadoop用户配置 root 权限:

    # 添加写入模式
    chmod u+w /etc/sudoers
    # 在 root ALL=(ALL)	ALL 下添加一行内容
    bigdata ALL=(ALL)        NOPASSWD: ALL
    # 重新将文件设置为只读
    chmod u-w /etc/sudoers
    

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

重启虚拟机

  • 为使配置生效,重启虚拟机:

    reboot
    
  • 使用bigdata用户登录:

    在这里插入图片描述

  • 验证虚拟机IP及主机名:

    # 查看当前主机IP
    ifconfig
    # 查看主机名
    hostname
    

在这里插入图片描述

使用Xshell远程访问

在 VMware 上直接操作 Linux 用户体验不友好,故使用 Xshell来远程访问虚拟机。

  • 修改Windows 主机映射文件(Win10 系统文件路径:C:\Windows\System32\drivers\etc)hosts,添加如下内容:
192.168.1.101 bigdata101
192.168.1.102 bigdata102
192.168.1.103 bigdata103

在这里插入图片描述
在这里插入图片描述

  • 使用Xshell新建会话,输入相关内容:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

集群搭建

安装 JDK

  • bigdata101虚拟机上创建目录,并调整目录所属用户及组

    sudo mkdir /opt/module /opt/software 
    

    在这里插入图片描述
    在这里插入图片描述

  • 使用Xftp上传JDK安装包并解压

    在这里插入图片描述
    在这里插入图片描述

    cd /opt/software
    tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
    

在这里插入图片描述
在这里插入图片描述

  • 配置环境变量,验证是否安装成功

    sudo touch /etc/profile.d/my_env.sh
    sudo vi /etc/profile.d/my_env.sh
    # 在my_env.sh输入以下内容后,保存退出
    export JAVA_HOME=/opt/module/jdk1.8.0_212
    export PATH=$PATH:$JAVA_HOME/bin
    

    在这里插入图片描述

    如图所示,打印出Java版本信息后即表明安装成功。

安装 Hadoop

  • hadoop安装包上传至 /opt/software目录 ;

  • 解压安装

    cd /opt/software
    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
    

    在这里插入图片描述

  • 配置环境变量

    sudo vim /etc/profile.d/my_env.sh
    # 输入以下内容并保存退出
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
  • 刷新环境变量,验证是否安装成功

    source /etc/profile.d/my_env.sh
    hadoop version
    

在这里插入图片描述

关闭防火墙

  • 查看防火墙状态

    systemctl status firewalld.service
    

    在这里插入图片描述

  • 关闭防火墙

    sudo systemctl stop firewalld.service
    

    在这里插入图片描述

  • 永久关闭防火墙

    sudo systemctl disable firewalld.service
    

在这里插入图片描述

其它节点虚拟机克隆

  • bigdata-101为模板,克隆两个虚拟机,命名为bigdata-102,bigdata-103(克隆前需要将bigdata-101进行关机操作)

  • 修改对应节点虚拟机IP及主机名

    bigdata-102 IP 修改为:192.168.1.102,主机名修改为:bigdata102

    bigdata-103 IP 修改为:192.168.1.103,主机名修改为:bigdata103

  • 启动三台虚拟机

配置 SSH 无密钥登录

  • 生成公钥和私钥

    # 执行后连敲三下空格
    ssh-keygen -t rsa
    

在这里插入图片描述

  • 分发公钥

    ssh-copy-id bigdata101
    ssh-copy-id bigdata102
    ssh-copy-id bigdata103
    

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 切换到其它虚拟机分别执行生成公钥和私钥、分发公钥操作

  • 切换root用户,对三台虚拟机分别执行生成公钥和私钥、分发公钥操作

  • 验证 SSH 无密钥登录

    ssh bigdata101
    ssh bigdata102
    ssh bigdata103
    

    在这里插入图片描述

编写文件集群分发脚本

  • 在三台虚拟机上分别安装 rsync 服务

    sudo yum install -y rsync
    

在这里插入图片描述

  • 创建/home/bigdata/bin目录

    cd
    mkdir bin
    

    在这里插入图片描述

  • 创建集群分发脚本

    cd /home/bigdata/bin
    touch xsync
    vi xsync
    

在这里插入图片描述

  • 输入脚本内容

    #!/bin/bash
    #1 获取输入参数个数,如果没有参数,直接退出
    pcount=$#
    if ((pcount==0)); then
    echo no args;
    exit;
    fi
    
    #2 获取文件名称
    p1=$1
    fname=`basename $p1`
    echo fname=$fname
    
    #3 获取上级目录到绝对路径
    pdir=`cd -P $(dirname $p1); pwd`
    echo pdir=$pdir
    
    #4 获取当前用户名称
    user=`whoami`
    
    #5 循环
    for host in bigdata101 bigdata102 bigdata103
    do
        echo ------------------- $host --------------
        rsync -av $pdir/$fname $user@$host:$pdir
    done
    
  • 给脚本添加执行权限

    chmod u+x xsync
    

    在这里插入图片描述

修改Hadoop配置为集群配置

  • HDFS 相关文件配置

    • 配置 core-site.xml

      <!-- 指定HDFS中NameNode的地址 -->
      <property>
      		<name>fs.defaultFS</name>
            <value>hdfs://bigdata101:9000</value>
      </property>
      
      <!-- 指定Hadoop运行时产生文件的存储目录 -->
      <property>
      		<name>hadoop.tmp.dir</name>
      		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
      </property>
      

      注意:/opt/module/hadoop-2.7.2/data/tmp 需提前创建。

    • 配置 hadoop-env.sh

      export JAVA_HOME=/opt/module/jdk1.8.0_212
      
    • 配置 hdfs-site.xml

      <!-- 配置文件副本数 -->
      <property>
      	<name>dfs.replication</name>
      	<value>3</value>
      </property>
      <property>
          <name>dfs.http.address</name>
          <value>bigdata101:50070</value>
      </property>
      <!-- 指定Hadoop辅助名称节点主机配置 -->
      <property>
      	<name>dfs.namenode.secondary.http-address</name>
      	<value>bigdata103:50090</value>
      </property>
      
  • YARN 文件配置

    • 配置yarn-site.xml

      <!-- Reducer获取数据的方式 -->
      <property>
      	<name>yarn.nodemanager.aux-services</name>
      	<value>mapreduce_shuffle</value>
      </property>
      
      <!-- 指定YARN的ResourceManager的地址 -->
      <property>
      	<name>yarn.resourcemanager.hostname</name>
      	<value>bigdata102</value>
      </property>
      
      <!-- 日志聚集功能使能 -->
      <property>
          <name>yarn.log-aggregation-enable</name>
          <value>true</value>
      </property>
      
      <!-- 日志保留时间设置7天 -->
      <property>
          <name>yarn.log-aggregation.retain-seconds</name>
          <value>604800</value>
      </property>
      
    • 配置 yarn-env.sh

      export JAVA_HOME=/opt/module/jdk1.8.0_212
      
  • MapReduce 文件配置

    • 配置mapred-site.xml

      <!-- 指定MR运行在Yarn上 -->
      <property>
      	<name>mapreduce.framework.name</name>
      	<value>yarn</value>
      </property>
      
      <!-- 历史服务器端地址 -->
      <property>
          <name>mapreduce.jobhistory.address</name>
          <value>bigdata101:10020</value>
      </property>
      
      <!-- 历史服务器web端地址 -->
      <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>bigdata101:19888</value>
      </property>
      
    • 配置mapred-env.sh

      export JAVA_HOME=/opt/module/jdk1.8.0_212
      
  • slaves 文件配置

    vi slaves
    # 添加以下内容
    bigdata101
    bigdata102
    bigdata103
    
  • 将文件分发到其它节点

    xsync /opt/module/hadoop-2.7.2/
    

    在这里插入图片描述

集群时间同步

  • 使用bigdata101为时间服务,其它虚拟机时间跟它保持同步,切换root用户,在三台虚拟机上安装 ntp 服务

    su
    yum install -y ntp
    rpm -qa | grep ntp
    

    在这里插入图片描述

  • 修改 ntp 配置文件

    vi /etc/ntp.conf
    # 添加内容:授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间
    restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    # 修改内容:集群在局域网中,不使用其他互联网上的时间
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    # 添加内容:当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10
    

    在这里插入图片描述

  • 修改/etc/sysconfig/ntpd 文件

    vim /etc/sysconfig/ntpd
    # 添加以下内容:让硬件时间与系统时间一起同步
    SYNC_HWCLOCK=yes
    
  • 重新启动ntpd服务并设置开机启动

    # 启动服务
    service ntpd start
    # 查看服务状态
    service ntpd status
    # 设置开机启动
    chkconfig ntpd on
    

    在这里插入图片描述

  • 其它机器配置(必须使用root用户)

    • 在其他机器配置10分钟与时间服务器同步一次

      crontab -e
      # 编写定时任务如下
      */10 * * * * /usr/sbin/ntpdate bigdata101
      
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

虚拟机搭建Hadoop集群环境-CentOS篇 的相关文章

  • 2n + 1 法定人数是什么意思?

    我在描述 HBase 的 Zookeeper 配置时遇到过这个问题 但我对这个术语并不熟悉 N 与我的 HBase 集群中的节点数量有关系吗 或者我应该在 Zookeeper 集群中使用的节点数量 2f 1是指你所需要的可靠性 可用性水平
  • 如何配置 nginx 重写规则以使 CakePHP 在 CentOS 上运行?

    大家好 请帮帮我 我正在尝试在运行 Nginx 和 Fact CGI 的 Centos 服务器上设置 cakephp 环境 我已经在服务器上运行了一个 WordPress 站点和一个 phpmyadmin 站点 因此我已经正确配置了 PHP
  • pyspark.sql.utils.AnalysisException:u'Path不存在

    我正在使用标准 hdfs 与 amazon emr 运行 Spark 作业 而不是 S3 来存储我的文件 我在 hdfs user hive warehouse 有一个配置单元表 但当我的 Spark 作业运行时找不到它 我配置了 Spar
  • Spark 写入 hdfs 无法使用 saveAsNewAPIHadoopFile 方法

    我在 CDH 5 2 0 上使用 Spark 1 1 0 并试图确保我可以读取和写入 hdfs 我很快意识到 textFile 和 saveAsTextFile 调用旧的 api 并且似乎与我们的 hdfs 版本不兼容 def testHD
  • 无法在 Hadoop Map-Reduce 作业中加载 OpenNLP 句子模型

    我正在尝试将 OpenNLP 集成到 Hadoop 上的 Map Reduce 作业中 从一些基本的句子分割开始 在地图函数中 运行以下代码 public AnalysisFile analyze String content InputS
  • 如何直接将一个mapper-reducer的输出发送到另一个mapper-reducer而不将输出保存到hdfs中

    问题最终解决检查底部的我的解决方案 最近 我尝试运行 Mahout in Action 的第 6 章 列表 6 1 6 4 中的推荐示例 但我遇到了一个问题 我用谷歌搜索但找不到解决方案 问题是 我有一对映射器减速器 public fina
  • 在 Hadoop MapReduce 中为二进制文件创建自定义 InputFormat 和 RecordReader

    我正在编写一个 M R 作业 该作业处理以二进制格式编写的大型时间序列数据文件 如下所示 此处换行以提高可读性 显然 实际数据是连续的 TIMESTAMP 1 TIMESTAMP 1 TIMESTAMP 2 TIMESTAMP 2 TIME
  • 如何使用缓存快速重建dockerfile?

    我想优化我的 Dockerfile 我希望将缓存文件保留在磁盘中 但是 当我跑步的时候我发现docker build 它总是尝试从网络获取每个文件 我希望在构建期间共享我的缓存目录 例如 var cache yum x86 64 6 但是
  • 公平调度器和容量调度器有什么区别?

    我是 Hadoop 世界的新手 想了解公平调度程序和容量调度程序之间的区别 另外我们什么时候应该使用每一个 请简单地回答一下 因为我在网上读了很多东西 但从中得到的不多 公平调度是一种为作业分配资源的方法 使得所有作业随着时间的推移平均获得
  • 适用于 Python 3.x 的 Hive 客户端

    是否可以使用 Python 3 x 连接到 hadoop 并运行 hive 查询 我正在使用Python 3 4 1 我发现可以按照这里写的方式完成 https cwiki apache org confluence display Hiv
  • 错误:libXext.so.6:无法打开共享对象文件:没有这样的文件或目录[重复]

    这个问题在这里已经有答案了 运行尝试打开 ods 文件的 java 文件时出现以下错误 线程 main 中出现异常 java lang UnsatisfiedLinkError opt software jdk1 6 0 45 jre li
  • 在 CentOS 中安装 PHP Zip 扩展

    我正在尝试在 CentOS 中安装 PHP Zip 扩展 我的服务器没有外部互联网访问权限 所以我自己从 PECL 下载了它 http pecl php net package zip http pecl php net package z
  • 早于 0.4.12 的 Node.js 无法在 AWS EC2 上正常工作。为什么?

    我无法在 AWS EC2 Ubuntu 或 CentOs 没关系 上安装 node js v0 6 1 安装后我输入node 处理器负载达到100 但 v0 4 12 工作正常 可能只有我有这个问题 那不好意思了 请告诉我我做错了什么 提前
  • 如何对 RDD 进行分区

    我有一个文本文件 其中包含大量由空格分隔的随机浮动值 我正在将此文件加载到 scala 中的 RDD 中 这个RDD是如何分区的 另外 是否有任何方法可以生成自定义分区 以便所有分区都具有相同数量的元素以及每个分区的索引 val dRDD
  • 如何在Hadoop中序列化List集合对象?

    有没有办法在 Hadoop 中序列化 java 集合 The Writable接口仅适用于 Java 原语 我有以下类属性 private String keywords private List
  • 在 Apache Spark 上下文中,内存数据存储意味着什么?

    我读到 Apache Spark 将数据存储在内存中 然而 Apache Spark 旨在分析大量数据 又称大数据分析 在这种情况下 内存数据存储的真正含义是什么 它可以存储的数据是否受到可用 RAM 的限制 它的数据存储与使用HDFS的A
  • 以编程方式读取 Hadoop Mapreduce 程序的输出

    这可能是一个基本问题 但我在谷歌上找不到答案 我有一个映射缩减作业 它在其输出目录中创建多个输出文件 我的 Java 应用程序在远程 hadoop 集群上执行此作业 作业完成后 需要使用以下命令以编程方式读取输出org apache had
  • Hive 聚集在多个列上

    据我所知 当配置单元表聚集在一列上时 它会执行该分桶列的哈希函数 然后将该行数据放入其中一个桶中 每个桶都有一个文件 即如果有 32 个桶 那么 hdfs 中就有 32 个文件 将 clustered by 放在多个列上意味着什么 例如 假
  • 将数据从 .txt 文件加载到 Hive 中以 ORC 形式存储的表

    我有一个数据文件位于 txt格式 我正在使用该文件将数据加载到 Hive 表中 当我将文件加载到类似表中时 CREATE TABLE test details txt visit id INT store id SMALLINT STORE
  • bdist_rpm 从 Ubuntu 到 CentOs

    我们在 Ubuntu Mac 上进行开发 并将 RPM 部署到 CentOS 这是设置 不能更改太多 问题是 当从 rpm 安装时 软件包会转到 usr local lib python2 7 dist packages 这是 Ubuntu

随机推荐

  • 学习笔记 JavaScript ES6 ES6数组的扩展

    学习内容 类数组 伪数组 Array from Array of copyWithin fill includes 类数组 伪数组 下面这几行代码的返回值就是伪数组 伪数组有索引 且长度是非负的整数 即长度length属性 但是没有数组的方
  • 51单片机学习笔记(二) 单个数码管显示1到9

    转自我的博客 http sincos in p 20 数码管 其实就是8个发光二极管按顺序排列而成的 所以让数码管显示特定的数字 只需要将该亮的二极管点亮 不该亮的灭了就好了 为了达到这个目的 就得参考电路图了 51HEI开发板的电路图在我
  • 腾讯校招编程题之快递分身术

    题目描述 城市里有3000条横向的道路和3000条纵向的道路 分别从1开始编号知道3000 相邻两条平行道路的间距为1 我们用 x y 表示第x号横向道路和第y号纵向道路 N个需要送快递的点坐落在这些交点上 小Q只能沿着这些道路送快递 而且
  • [Unity3D]Lua中使用协程coroutine和计时器timer

    习惯了unity3d的协程用法 那么我们在Unity里面怎么使用 StartCoroutine StopCoroutine WaitForSeconds 首先lua也有coroutine 其实lua中的协程真的是暂停 用法和unity并非相
  • 模型分类model

    模型可以按照多个维度进行分类 以下是常见的几种模型分类方式 1 根据应用领域分类 数学模型 基于数学原理和方程式来描述和解决问题 如微积分模型 线性代数模型等 物理模型 基于物理原理和规律来模拟和解释现象 如力学模型 电路模型等 经济模型
  • D3.js 绘制柱状图

    使用D3 V4版本绘制 使用D3绘制柱状图 绘制效果如下 使用D3绘制柱状图 先对需要绘制的图形拆解 主要分为以下几个部分 1 比例尺的定义 2 坐标轴的绘制 3 添加矩形 4 修改坐标轴样式 5 柱状图装饰效果添加 首先 先定义data
  • Docker存储

    前言 上一篇文章中简单总结了一下docke的基础使用方法 这次我来总结一下有关docker存储方面的相关知识 本文同样建立在CloudMan的系列教程之上 有兴趣的可以直接移步 有些人可能觉得这个很简单 存储就是硬盘嘛 docker容器既然
  • Shell脚本之for循坏语句

    目录 一 for循环语句 1 1 列表循环 1 2 不带列表循环 1 3 类C风格的for循环 1 4 for循环案列 二 总结 一 for循环语句 语法结构 列表循环 不带列表循环 类c风格的for循环 1 1 列表循环 1 格式1 fo
  • stm32 定时器TIM时钟步骤

    1 TIM3 时钟使能 RCC APB1PeriphClockCmd RCC APB1Periph TIMx ENABLE 时钟使能 2 初始化定时器参数 设置自动重装值 分频系数 计数方式等 定时器的初始化函数TIM TimeBaseIn
  • 高性能TCPServer

    最近两天正在学习TCPServer 在网上看到比较好的两篇文章 在这里记录下来 High Performance NET Socket Server Using Async Winsock 原文地址 Introduction Sockets
  • 手机端开发(uni-app、vant、mui)优缺点分析

    疫情期间 使用过uni app 最近又接触了vant 但是由于项目部署原因 项目不支持前后端分离 仅支持静态页Html css项目 所以最后用mui开发一套 今天就介绍一下 我用过这三个框架的看法以及他们之间的优缺点 一 优点 1 uni
  • 【开放域目标检测】三:Learning transferable visual models from natural language supervision论文补充

    这里主要再简单看一下框架图 训练比较简单 使用的是对比学习的方法 做图文匹配的任务 计算相似度 给定batch N N N的image text pairs CLIP预测 N N
  • Devpress (DxReport)使用ReportDesigner (一) 基本功能

    1 Devpress DxReport 编辑 1 新建一个XtraReport 2 在报告上点右键添加元素 元素说明 1 其中有报告头 报告尾 页头 页尾 组头 组尾 详细 2 一份报告只有一个报告头一个报告尾 里面的元素只也现一次 3 页
  • 删掉node包

    删掉node包 删掉node包 命令 npm install rimraf g rimraf node modules
  • WIN11更改WSL2的存放路径

    目前在网上常常能查阅到的方法为先导出系统发行版 子系统名称 为tarball文件 然后再重新导入tarball为新的发行版 并设置新的安装位置 之后再删除旧的发行版 此方法也是微软官方推荐的方法 详见 如何备份我的 WSL 发行版 或者如何
  • 12月大事件日历

    12月大事件日历 11月30 12月2日 中国光伏行业年度大会 12月1日 印度央行启动零售数字卢比试点 12月2日 美国11月非农数据失业率 12月4日 OPEC 会议 12月5日 G7对俄 原油价格上限 生效 12月7日 EIT能源展望
  • Vue实现加载效果

    Vue实现加载效果 div div loading默认为false 点击查询按钮时加载页面 QueryData this loading true const iframe this refs top this refs top src 要
  • 【Shell牛客刷题系列】SHELL11 转置文件的内容:继续awk命令的升级打怪之旅

    该系列是基于牛客Shell题库 针对具体题目进行查漏补缺 学习相应的命令 刷题链接 牛客题霸 Shell篇 该系列文章都放到专栏下 专栏链接为 专栏 Linux 欢迎关注专栏 本文知识预告 首先简单学习了rs命令 这个命令不常用 了解即可
  • 三种Python中两个列表数字“相加”的方法

    目录 for循环 map numpy 最近我在用Python处理数据时 需要将列表数据相加实现 累积 效果的 需要注意 我这里所说的列表相加 并非是下面这种 列表元素相加 的情况 list 1 1 2 3 list 2 4 5 6 prin
  • 虚拟机搭建Hadoop集群环境-CentOS篇

    文章目录 Linux环境安装 虚拟机环境准备 虚拟机克隆 修改虚拟机IP 修改主机名 创建普通用户 重启虚拟机 使用Xshell远程访问 集群搭建 安装 JDK 安装 Hadoop 关闭防火墙 其它节点虚拟机克隆 配置 SSH 无密钥登录