【hadoop——Hive的安装和配置】保姆式教学

2023-10-27

 

目录

一.Hive的安装和配置

1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为:

2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下:

3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),并且修改文件权限给hadoop账户:

4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下:

5.保存退出后,运行如下命令使配置立即生效:

6.修改/usr/local/hive/conf下的配置文件,该目录下的文件有:

二.在Ubuntu中安装并配置mysql

1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装:

2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器:

3.确认mysql安装成功且可正常启动之后,需下载mysql jdbc的包,地址为: https://downloads.mysql.com/archives/c-j/

4.下载完成之后,同样,解压缩:

5.启动mysql:

6.在mysql shell界面,新建hive数据库(这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据):

7.配置mysql允许hive接入: 

8.至此,hive和mysql都已经安装配置完毕,可以尝试启动hive,注意hive是hadoop之上的,所以要先启动hadoop:

9.启动进入Hive的交互式执行环境以后,会出现如下命令提示符:


一.Hive的安装和配置

1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为:

http://archive.apache.org/dist/hive/hive-1.2.1/

2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下:

sudo tar -zxf ~/下载/apache-hive-1.2.1-bin.tar.gz -C /usr/local

3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),并且修改文件权限给hadoop账户:

cd /usr/local/

sudo mv apache-hive-1.2.1-bin hive

sudo chown -R hadoop:hadoop hive

 

4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下:

vim ~/.bashrc

在该文件最前面一行添加如下内容:

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_HOME=/usr/local/hadoop 

5.保存退出后,运行如下命令使配置立即生效:

source ~/.bashrc

 

6.修改/usr/local/hive/conf下的配置文件,该目录下的文件有:

 

首先将hive-default.xml.template重命名为hive-default.xml:

cd /usr/local/hive/conf

mv hive-default.xml.template hive-default.xml 

然后,使用vim编辑器新建一个配置文件hive-site.xml,命令如下:

vim hive-site.xml

在hive-site.xml中添加如下配置信息:

 

保存退出,Hive的配置完成

二.在Ubuntu中安装并配置mysql

1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装:

sudo apt-get install mysql-server

如果发现安装缓慢或者版本较低,可以先更新一下软件源以获得最新版本:

sudo apt-get update

过程中问到 y/n 一律 y:

 

安装过程会提示设置mysql root用户的密码,还是建议设置个简单的密码,比如我这里使用的还是hadoop,设置完成后等待自动安装即可。

 

2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器:

service mysql start

service mysql stop 

在启动和关闭mysql的时候,都需要输入我们刚才设置的密码:

 

可以使用如下命令来确认mysql是否启动成功:

sudo netstat -tap | grep mysql

mysql节点处于LISTEN状态表示启动成功:

 

3.确认mysql安装成功且可正常启动之后,需下载mysql jdbc的包,地址为: https://downloads.mysql.com/archives/c-j/

 

4.下载完成之后,同样,解压缩:

tar -zxvf mysql-connector-java-5.1.40.tar.gz

 

将解压完成之后,mysql-connector-java-5.1.40目录下的 mysql-connector-java-5.1.40-bin.jar 文件拷贝到/usr/local/hive/lib目录下:

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar  /usr/local/hive/lib

 

复制完成之后如图:

 

5.启动mysql:

service mysql start

登陆进入mysql shell界面:

mysql -u root -p

 

6.在mysql shell界面,新建hive数据库(这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据):

mysql> create database hive 

7.配置mysql允许hive接入: 

mysql> grant all on *.* to hive@localhost identified by 'hive';

此处表示,将所有数据库的所有表的所有权限赋给hive用户,后面的hive是配置hive-site.xml中配置的连接密码, 然后,用如下命令刷新mysql系统权限关系表:

mysql> flush privileges; 

8.至此,hive和mysql都已经安装配置完毕,可以尝试启动hive,注意hive是hadoop之上的,所以要先启动hadoop:

ssh localhost

cd /usr/local/hadoop ./sbin/start-dfs.sh jps

cd /usr/local/hive ./bin/hive 

9.启动进入Hive的交互式执行环境以后,会出现如下命令提示符:

 

可以在里面输入SQL语句,如果要退出Hive交互式执行环境,可以输入如下命令:

 

至此,本次课的操作,hive和mysql的安装配置完成 

  以上为本文全部内容
由于我是新手小白,如有错误请斧正。

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【hadoop——Hive的安装和配置】保姆式教学 的相关文章

随机推荐

  • 登录鉴权

    注册登录鉴权 1 1 用户注册 前台需要给我们传递用户名 密码 手机号 手机验证码 验证用户前台传过来的数据是否符合规范 我们使用的Hibernate Validator框架实现的服务端表单校验 短信验证码这块 我们采用的阿里的大于短信接口
  • python 处理数据小工具_Python数据处理工具使用方法整理

    从csv文件创建DataFrame类型的数据结构 gt gt gt df pd read csv xxx csv DataFrame类型的形状和长度 gt gt gt df shape 38 39 gt gt gt len df 38 各列
  • mac的Vscode 中 Remote-SSH 连接不上服务器,但是在终端中使用SSH可以连接

    Vscode 中 Remote SSH 连接不上服务器 但是在终端中使用SSH可以连接 我试了各种办法 最后准备删除配置文件看看 结果发现没有权限 怀疑是我用了conda管理环境 可能造成base环境权限变了 总之 我在vscode的终端中
  • 解决android每次请求,后台sessionId都会变换(springboot配置web.xml)

    问题 后台生成验证码以后 存放到session缓存中 将验证码发送给指定手机 当安卓手机输入验证码调用注册接口时候 后台接口从session中无法取出放入的验证码 原因 android每次请求 后台sessionId都会变换 解决方法 1
  • Word论文书写--页眉线设置

    开始 gt 段落 gt 边框和底纹 基本设置如下 结果
  • 用Flex布局模型开发网页

    目录 一 为什么要用Flex布局 对比浮动有什么优点 二 Flex布局组成 三 如何使用Flex布局 1 基本方法 2 主轴对齐方式 3 侧轴对齐 4 改变主轴方向 5 弹性盒子换行 四 弹性盒子多场景运用 1 圣杯布局 2 如何让父盒子里
  • JBoss 系列四十四:jBPM5示例之 GateWay

    jBPM5中的GateWay如果选择AND则表示平行执行多个Task ParallelExecute示例演示jBPM5中如何平行执行多个Task ParallelExecute流程如下 上图为平行执行多个Task的流程 其中Task1 1
  • 002-从零搭建微服务-认证中心(二)

    写在最前 如果这个项目让你有所收获 记得 Star 关注哦 这对我是非常不错的鼓励与支持 源码地址 https gitee com csps mingyue 文档地址 https gitee com csps mingyue wikis 创
  • Shadow Build 读取不到配置文件

    问题 使用阴影构建后 无法读取配置文件 方法 阴影构建在单独目录中搜索 普通构建在项目目录搜索
  • MySQL的安装与配置

    免安装版的Mysql MySQL关是一种关系数据库管理系统 所使用的 SQL 语言是用于访问数据库的最常用的标准化语言 其特点为体积小 速度快 总体拥有成本低 尤其是开放源码这一特点 在 Web应用方面 MySQL 是最好RDBMS Rel
  • C语言文件操作详解

    C语言文件操作详解 一 文件指针和流 1 文件指针 2 流 二 文件的打开与关闭 1 fopen与fclose函数 2 文件打开方式 3 实例演示 三 文件的顺序读写 一 fgetc与fputc函数 1 fgetc总述 2 fgetc使用实
  • UE4-材质自发光

    1 创建材质 选择无光照 将贴图及控制自发光强度参数逻辑连接完成 使用staticswitchparameter 节点进行判断是否开启自发光 2 设置完成后 在场景中选择自发光物体 细节面板找到光照 Lightmass 使用静态光照的自发光
  • Python 数据处理之散点图--matplotlib

    import matplotlib pyplot as plt plt rcParams font sans serif SimHei 解决中文显示问题 x values 1 2 3 4 5 y values 3000 4000 6000
  • 华为od机试 最大价值的矿堆 Java

    题目 我们规定 0表示空地 1表示银矿 2表示金矿 矿堆表示由相邻的金矿或银矿连接形成的地图 银矿价值是1 金矿价值是2 你的目标是找出地图中最大价值的矿堆 并且输出该矿堆的价值 示例1 输入 22220 00000 00000 01111
  • SeleniumLibrary4.5.0 关键字详解(五)

    SeleniumLibrary4 5 0 关键字详解 五 库版本 4 5 0 库范围 全局 命名参数 受支持 简介 SeleniumLibrary是Robot Framework的Web测试库 本文档说明了如何使用SeleniumLibra
  • 全基因组选择-GS的技术评估

    基因组选择的流程 GS一般包括以下步骤 图1 首先建立参考群体 reference population 参考群体中每个个体都有已知的表型和基因型 通过合适的统计模型可以估计出每个SNP或不同染色体片段的效应值 然后对候选群体 candid
  • Tomcat 弱口令 && 后台getshell漏洞

    漏洞编号 VUL 2021040008 爆发时间 2018 10 10 漏洞简介 Tomcat支持在后台部署war文件 可以直接将webshell部署到web目录下 其中 欲访问后台 需要对应用户有相应权限 影响版本 Tomcat8 x T
  • vue格式化时间戳

    js var articleContent new Vue el articleContent data articles Vue filter yearMonthTime function value value为13位的时间戳 func
  • SpringCloud LoadBalancer 新一代负载均衡器

    前言 工作中使用 OpenFeign 进行跨服务调用 最近发现线上经常会遇到请求失败 java net ConnectException Connection refused connect 复制代码 通过排查我们发现不是接口超时 而是有时
  • 【hadoop——Hive的安装和配置】保姆式教学

    目录 一 Hive的安装和配置 1 Hive并不是hadoop自带的组件 因此我们需要去下载hive 此次课我们使用hive 1 2 1版本 下载地址为 2 下载完成之后 安装包默认保存在下载文件夹中 解压安装包apache hive 1