程序员经验分享-hwhale

Spark集群搭建记录

2023-11-07

写在前面

本系列文章索引以及一些默认好的条件在 传送门
要想完成Spark的配置，首先需要完成Hadoop的配置
Hadoop配置教程：链接
在这里插入图片描述

若未进行明确说明，均按照root用户操作

step1 Spark下载

下载链接
因为后续可能会涉及到很严重的版本问题，所以说在这里我们为了适配，选择2.4.0版本
在这里插入图片描述
下载后放在master主机的/usr/local下
然后解压并改名：
cd /usr/local
tar -zxvf spark-2.4.0-bin-without-hadoop.tgz.gz
mv spark-2.4.0-bin-without-hadoop spark
最后改变拥有者为：root
chown -R root:root spark

step2 修改环境变量

配置文件修改请勿盲目CV，应根据自己实际情况确定

~/.bashrc

vim ~/.bashrc
加入：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

source一下使其生效
source ~/.bashrc

/etc/profile

vim /etc/profile
加入：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

并source /etc/profile

step3 配置Master-文件修改

slaves

cd /usr/local/spark/conf
cp slaves.template slaves
vim slaves
修改为：

slave1
slave2

博主去掉了里面的localhost

spark-env.sh

cp spark-env.sh.template spark-env.sh
vim spark-env.sh
配置文件修改请勿盲目CV，应根据自己实际情况确定
比如JAVA_HOME、SPARK_MASTER_IP

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP= 这里要写上master的IP
export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64
export HADOOP_HOME=/usr/local/hadoop
export SPARK_WORKER_MEMORY=1024m
export SPARK_WORKER_CORES=1

step4 配置slave节点

在主机操作：
cd /usr/local
tar -zcf spark.master.tar.gz spark
slave01-315是博主的slave主机名，请根据自身实际情况自行修改
scp spark.master.tar.gz slave01-315:/usr/local/spark.master.tar.gz
切换slave01-315机器进行操作：
cd /usr/local
tar -zxf spark.master.tar.gz
自行查看是否解压后文件夹名字为spark，如若不是请自行改名为spark
chown -R root /usr/local/spark
rm -rf spark.master.tar.gz

在主机操作：
cd /usr/local
slave02-315是博主的slave主机名，请根据自身实际情况自行修改
scp spark.master.tar.gz slave02-315:/usr/local/spark.master.tar.gz
切换slave02-315机器进行操作：
cd /usr/local
tar -zxf spark.master.tar.gz
自行查看是否解压后文件夹名字为spark，如若不是请自行改名为spark
chown -R root /usr/local/spark
rm -rf spark.master.tar.gz

step5 集群启动

在主机操作：
启动hadoop:
/usr/local/hadoop/sbin/start-all.sh
启动spark的Master
/usr/local/spark/sbin/start-master.sh
启动spark所有的slave
/usr/local/spark/sbin/start-slaves.sh
关闭集群只需要将start换成stop

step6 web浏览器状态查看

进入8080端口进行查看：
在这里插入图片描述
进入spark-shell:
在这里插入图片描述
然后进入web浏览器查看4040端口：
在这里插入图片描述

step7 配置开机启动（可选）

vim /etc/rc.local
请根据自己实际情况添加，切勿满目CV

su - root -c /usr/local/hadoop/sbin/start-all.sh
su - root -c /usr/local/spark/sbin/start-master.sh
su - root -c /usr/local/spark/sbin/start-slaves.sh

到此，spark配置结束
下一篇（运行scala程序实现单词技术）已经实现择时更新~，敬请期待
到时你将看到：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

云计算

云计算

Linux

spark

Spark集群搭建记录 的相关文章

随机推荐

  • 实时追踪科研动态丨谷歌、马克斯·普朗克光科学研究所等机构精选新论文

    作为科研人员 每天需要检索和浏览大量的学术文献 以获取最新的科技进展和研究成果 然而 传统的检索和阅读方式已经无法满足科研人的需求 AMiner AI 一款集检索 阅读 知识问答于一体的文献知识工具 帮助你快提高检索 阅读论文效率 获取最新

  • ABAP程序修改提示不是原始系统解决方法

    SE03修改原始系统

  • 使用corr()计算相关系数

    import pandas as pd catering sale data catering sale all xls data pd read excel catering sale index col u 日期 print data

  • AntV G6鼠标移入、单击、双击节点，获取节点信息

    如下图所示 对节点常用的事件如下图所示 主要代码 鼠标进入节点 this graph on node mouseenter e gt const nodeItem e item 获取鼠标进入的节点元素对象 console log 鼠标移入

  • 搭建前后端完整结构

    文章目录 一 搭建后端完整结构 1 后端结构说明 1 1 后端作用 1 2 代码结构 1 3 后端测试要求 1 4 编辑 UserController 1 5 编辑UserService UserServiceImpl 1 6 页面展示效果

  • 聚合函数与窗口函数

    聚合函数 回答一 聚合函数 Aggregate Functions 是SQL中的函数 用于对一组数据进行计算 并返回单个结果 聚合函数通常用于统计和汇总数据 包括计算总和 平均值 计数 最大值和最小值等 以下是一些常见的聚合函数 SUM 计

  • myQsort()排序函数

    题目说明 实现一个函数myQsort 可以对Int char 字符串或者其他类型进行排序的函数 提示函数只需要提供排序方法 比较方法通过函数指针 让用户自定义 示例代码 include

  • 100天精通Python（爬虫篇）——第44天：常用爬虫requests模块基础+代码实战

    文章目录 一 request模块大总结 1 下载安装 2 常用属性或方法 3 response text和response content的区别 4 发送带headers参数请求 5 发送带参数请求 6 在headers参数中携带cooki

  • [Linux] linux系统安装git

    目录 前言 一 git的安装方式 二 git 安装流程 2 1 解压下载的压缩包 三 配置Git 3 1 配置git名字和邮箱 3 2 查看名字和邮箱 四 总结 前言 Git是一种分布式版本控制系统 广泛用于软件开发和版本管理 它可以跟踪文

  • Could not resolve placeholder 'foo' in value "${foo}" 解决方法

    D Program Files Java jdk1 8 0 101 bin java agentlib jdwp transport dt socket address 127 0 0 1 50162 suspend y server n

  • 详尽图文，用Intellij Idea创建一个普通的Java工程并用JDBC连接数据库

    Intellij Idea作为一款编程工具 自从尝到它的强大功能带来的甜头后 就再也不想用Eclipse来进行开发了 下面用它来演示一下如何创建一个普通的Java工程 并导入MySql数据库的驱动包 用JDBC方式来连接数据库 Intell

  • HDL4SE：软件工程师学习Verilog语言（四）

    4 模拟器 总是不能运行一个应用程序 对学习语言是致命的 一个Hello World 级别的应用就这么复杂 时间长了会把人的耐心磨尽 因此本节我们先暂停对verilog语言的学习 来讨论模拟器的实现 试图给出一个初步的实现 至少能够完成前面

  • 计算机视觉中的半监督学习

    原文 Amit Chaudhary Semi Supervised Learning in Computer Vision https amitness com 2020 07 semi supervised learning 2020 计

  • 【DDR3 控制器设计】系列博客汇总篇（附直达链接）

    写在前面 本篇为 DDR3 控制器设计系列博客的汇总篇 此系列包含 DDR3 的相关实验 认识 MIG 初始化 读写操作 FIFO 接口等 并附上直达链接 目前只更新了部分文章 持续学习更新中 博客汇总 Project 1 DDR3 控制器

  • 【SSH】如何删掉远程服务器中的虚拟环境？如何删掉远程服务器中的用户？如何删掉某个文件夹？

    文章目录 一 如何删掉远程服务器中的虚拟环境 二 如何删掉远程服务器中的用户 三 如何删掉某个文件夹 一 如何删掉远程服务器中的虚拟环境 在Linux系统下删除conda虚拟环境 删除虚拟环境 conda remove n your env

  • 无线局域网安全协议（WEP、WPA、WAPI）

    文章目录 一 WEP 有线等效保密 二 WPA Wi Fi网络安全接入 三 WAPI 无线局域网鉴别和保密基础结构 WLAN Wireless Local Area Network 指应用无线通信技术将计算机设备互联起来 构成可以互相通信和

  • 分块矩阵求逆不能想当然

    分块矩阵给实际运算带来了很大的方便 对于行列数都很大的矩阵 可以将其分割成一个个小块进行计算 减少了运算的繁琐程度 分块矩阵的求逆有两个非常有用的公式 能帮助我们快速得出正确结果 但是是不对的 只能假设逆矩阵 再通过求多元方程组得出逆矩阵的

  • 【华为od机试】约瑟夫问题-Python3

    题目描述 篮球 5V5 比赛中 每个球员拥有一个战斗力 每个队伍的所有球员战斗力之和为该队伍的总体战斗力 现有10个球员准备分为两队进行训练赛 教练希望2个队伍的战斗力差值能够尽可能的小 以达到最佳训练效果 给出10个球员的战斗力 如果你是

  • DLL的远程注入技术

    转载自 http blog csdn net bai bzl article details 1801023 一 DLL注入 DLL的远程注入技术是目前Win32病毒广泛使用的一种技术 使用这种技术的病毒体通常位于一个DLL中 在系统启动的

  • Spark集群搭建记录

    本文目录 写在前面 step1 Spark下载 step2 修改环境变量 bashrc etc profile step3 配置Master 文件修改 slaves spark env sh step4 配置slave节点 step5 集群

热门标签