anaconda3.6.5安装pyhive

2023-10-30

1.首先安装anaconda3.6.5

2.配置好bin下环境变量

3.来到anaconda官网,搜索需要的包,pyhive(不是anaconda前缀的也行,例如biaze/pyhive)

https://anaconda.org/anaconda/

 

如上截图,选择 anaconda 对应的pyhive,点击进去

点击FIles,选择linux-64/pyhive-0.6.0-py36_0.tar.bz2

注:_0,_1是小版本,下那个都行;py36对应python3.6

4.安装pyhive

conda install pyhive-0.6.0-py36_0.tar.bz2

5.启动python(anaconda3.6.5/bin/python)

from pyhive import hive

如果报错,就去安装对应缺少的包,直接在anaconda3官网搜索

例如:

这里缺少的past,你去搜索会发现只有paste,安装后还是会报这个错,这时直接百度python paste

 

点击进去安装past包,发现past是含在future包中的,在anaconda3官网搜索future安装对应版本,解决上面的问题,pyhive至此安装完毕

6.pyhive测试

(1)首先启动hiveserver2服务(后台启动,命令打全)

nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port=端口  &

注:别与其他用户端口冲突,可以先这样启动:hive --service hiveserver2 --hiveconf hive.server2.thrift.port=端口,然后查看是否有端口冲突报错

(2)进入python进行测试连接:(端口为启动hiveserver2的端口)

from pyhive import hive

conn = hive.Connection(host='xxxx', port=xxxx, username='xxx', database='xxxx')

cursor= conn.cursor()

cursor.execute('select * from xxx limit 10')

for result in cursor.fetchall():

   (三个及以上空格)print result (只能输出select 的结果,insert无法输出

(3)关于pyhive insert等走mr流程的操作无法得到资源运行的问题,请设置如下:

cursor.execute("set mapreduce.job.queuename=队列名")(测试可用,放到执行语句前面)

(4)关闭hive锁

set hive.support.concurrency=false;

问题:

pyhive先执行select,在执行insert操作,出现hive锁

from pyhive import hive

conn = hive.Connection(host='xxxx', port=xxxx, username='xxx', database='xxxx')

cursor= conn.cursor()

cursor.execute('select * from xxx limit 10')

正常这一步

cursor.execute(‘insert into test values (1)')

这一步出现报错

解决:

执行如下:

cursor.execute("set hive.support.concurrency=false")

再次运行,成功执行

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

anaconda3.6.5安装pyhive 的相关文章

  • Mysql5.7 + 查询并解析json数据方法(后转)

    说明 本文是对 Mysql5 7 查询并解析json数据方法 的补充说明 具体请点击查看 当前 也可以认为就是水贴 对于某个属性的值未数组的时候 我们取某一条中某一条某个元素 大家应该都理解了 具体 如下 详情请看上一篇 Mysql5 7
  • HBase Java API使用IDEA开发----mapreduce读取hdfs文件写入hbase

    一 配置hadoop读取hbase的支持包 在hadoop env sh 添加export HADOOP CLASSPATH HBASE HOME lib 没有配置HBASE HOME的去 etc profile配置环境变量 路径根据你自己
  • Verilog 实现千兆网UDP协议 基于88E1111--数据接收

    注 此版本没有添加ARP PING 等 未完待续 注 项目采用Verilog开发 基于Vivado编译器 注 本版本没有计算校验 与上一篇相同开发环境 采用三段式状态机 同样 接收后将数据写入FIFO 相比于数据发送更为简单 只需在写入数据
  • 蚁群算法原理及python实现

    蚁群算法 ACO 是属于元启发式算法的一种 是一种群体的智能方法 算法原理 蚂蚁在寻找食物源时 会在其经过的路径上释放一种信息素 并能够感知其它蚂蚁释放的信息素 信息素浓度的大小表征到食物源路径的远近 信息素浓度越高 表示对应的路径距离越短
  • 通过按钮实现跳转新的xml界面

    首先创建关联跳转xml文件的class文件 package com example androidui import android app Activity import android os Bundle public class Ac
  • 算法——树查找算法

    树查找 对于层次结构的树 需要遍历其节点 根据遍历方式不同 可分为广度优先和深度优先 对于如下树结构 class TreeNode
  • 入门级题解:剑指 Offer 09. 用两个栈实现队列

    题目 用两个栈实现一个队列 队列的声明如下 请实现它的两个函数 appendTail 和 deleteHead 分别完成在队列尾部插入整数和在队列头部删除整数的功能 若队列中没有元素 deleteHead 操作返回 1 读题 队列 先入先出
  • mnist数据集彩色图像_使用MNIST数据集构建多类图像分类模型。

    mnist数据集彩色图像 Below are the steps to build a model that can classify handwritten digits with an accuracy of more than 95
  • 大数据的关键技术

    在大数据时代 传统的数据处理方法还适用吗 大数据环境下的数据处理需求 大数据环境下数据来源非常丰富且数据类型多样 存储和分析挖掘的数据量庞大 对数据展现的要求较高 并且很看重数据处理的高效性和可用性 传统数据处理方法的不足 传统的数据采集来
  • 记深度学习框架安装血泪史

    记深度学习框架安装血泪史 1 pytorch pytorch安装成功测试 查看pytorch版本 pytorch指定版本安装 pytorch降级 2 caffe 基于Anaconda安装 编译python接口 后记 关于Anaconda安装
  • python3.8安装urllib库_urllib库的基本使用

    学习爬虫的目的便是模拟浏览器向服务器发出请求 进而获取所需数据 爬虫可以分为抓取页面 分析页面和存储数据三步 每一步中 python都有强大的模块来让我们使用 今天先来学习请求库urllib的基本使用 python的安装请参考python开
  • 深度学习基础--池化--空间金字塔池化(spatial pyramid pooling,SPP)

    空间金字塔池化 spatial pyramid pooling SPP 解决的问题 先前方法 输入图片会经过裁切 Crop 或者变形缩放 Warp 这都在一定程度上导致图片信息的丢失和变形 限制了识别精确度 SPP可以输入任意大小的图片 不
  • Python - OpenCV识别条形码、二维码(已封装,拿来即用)

    此代码可识别条形码和二维码 已封装好 拿来即用 import cv2 import pyzbar pyzbar as pyzbar import numpy from PIL import Image ImageDraw ImageFont
  • Google Colab 如何使用step by step 简介

    1条消息 Colab使用 maox9629的博客 CSDN博客 colabhttps blog csdn net maox9629 article details 120757922
  • vue3搜索功能

    目录 设置数据和搜索词 创建计算属性 实现搜索功能 在Vue 3中实现搜索功能可以通过以下步骤进行 假设你已经有一个包含数据列表的组件 并且你想要在该列表中实现搜索功能 设置数据和搜索词 首先 在你的组件中定义一个用于存储数据和搜索词的变量
  • 1- OpenCV+TensorFlow 入门人工智能图像处理-课程介绍

    人工智能最火的两个方向 自然语言处理和计算机视觉 OpenCV的图像处理 TensorFlow的使用 mark 供需关系理论 有需求所以才有提供 招聘网站 图像算法两万以上 都需要的技能 OpenCV TensorFlow 人工智能时代之计
  • xss闯关详解

    文章目录 xss闯关详解 level 1 level 2 level 3 level 4 level 5 level 6 level 7 level 8 level 9 level 10 level 11 开始使用burpsuite lev
  • [xbttracker] linux 下 xbt tracker环境搭建(ubuntu)

    系统环境 Ubuntu x64 20 04 操作系统 win10 xbt源码 https github com dangwei 90 xbt 参考文档 http xbtt sourceforge net tracker 官网 注 官网 xb

随机推荐

  • 86篇!近3年顶会上的语义分割重磅论文

    语义分割技术在众多领域得到应用 包括 环境感知 自动驾驶 机器人导航等 随着计算机视觉领域的不断发展 语义分割技术成为从事相关学习和研究人员需要了解和掌握的技能 这次我邀请了上市公司高级算法工程师 张老师 用1个小时带大家一起去探索语义分割
  • 基于OpenCV的两种圆弧长度测量方法

    基于OpenCV的两种圆弧长度测量方法 OpenCV是广泛使用的计算机视觉库 在图像处理中 圆弧的长度是一个非常重要的参数 本文将会介绍两种基于OpenCV的圆弧长度测量方法 一种是通过弧度法测量圆弧长度 另一种则是通过插值法测量圆弧长度
  • jar包打不开怎么处理?

    第一种情况 首先win R 输入cmd打开命令行窗口 输入javac 检查一下是否有问题 正常的情况应该是下图这种 如果不是这种的 重新弄配置下你的环境变量 第二种情况 找到jdk目录下的bin文件夹 用里面的javaw打开 可以设置为默认
  • 约瑟夫问题

    约瑟夫问题 约瑟夫问题一般有两种解决方法 一种数组 一种链表 本次采用数组方式说明解决 规则 n个人围成一个圈 每个人分别标注为1 2 n 要求从1号从1开始报数 报到k的人出圈 接着下一个人又从1开始报数 如此循环 直到只剩最后一个人时
  • eclipse web项目目录结构

    按照 Java EE 规范的规定 一个典型的 Web 应用程序有四个部分 1 公开目录 2 WEB INF web xml 文件 发布描述符 必选 3 WEB INF classes 目录 编译后的 Java类文件 可选 4 WEB INF
  • Vue实现动态锚点

    前几天做项目的时候 需要实现一个动态锚点的效果 如果是传统项目 这个效果就非常简单 但是放到 Vue 中 就有两大难题 1 在没有 jQuery 的 animate 方法的情况下 如何实现平滑滚动 2 如何监听页面滚动事件 在浏览了大量文章
  • STM32串口中断卡死主循环一直进中断问题分析-2021-10-05

    在一项目中 使用STM32作为主控 程序运行一段时间后概率出现主循环卡死现象 问题分析如下 1 程序USART2不停接收并处理串口数据 波特率115200 2 主循环卡死 3 USART1中断及TIM2中断响应函数运行正常 USART1及T
  • Html中截取url参数 实现HTML间的url传值

    大家好 今天遇到一个问题 页面全是html url传值 竟然获取不到参数值 A html 登录按钮 jQuery function login click function ajax url http 10 9 80 211 8090 ia
  • vue的多层主键的通信

    div div
  • 标准化与标准计分

    其实就是衡量 含金量 的一种方法 标准计分其实就是 距离 标准差 貌似和离差很像 离差就是 距离 标准差 10 50 对于分数来说 如果与平均分的距离越大 含金量就越高呢 在组数据中 可以求分均值 中位数以及标准差了 以考试成绩为例 现在
  • 模糊算法51单片机学习应用(一)模糊化

    模糊算法51单片机学习应用 一 模糊化 最近在尝试学习模糊算法 网上查了很多材料 大多都是写原理 粗略一看好像感觉我懂了 但是真的要做的话 却完全不知道从哪里开始入手 其实 对我们首次学习使用的人来说 我们不要那些高大上的原理 我们先理解他
  • react中样式的使用(内联和外部样式表)

    1 在src中新建三个子组件分别为 Header Footer Content 2 在里面分别写入代码 建议用rcc快捷方式 Header js中代码如下 import React Component from react var Head
  • Java中哈希集(HashSet)概念,实现以及操作

    Java中HashSet的用法 1 HashSet概念 2 Java文档中HashSet的实现 3 HashSet的构造函数 3 1 HashSet 3 2 HashSet int initialCapacity 3 3 HashSet i
  • Ubuntu 安装 pytorch

    使用 pytorch 进行深度学习训练 这也是我不得不选择 linux 的原因 系统 ubuntu 22 04 型号 Lenovo Yoga 14sIHU 2021 集显 Irix Xe lspci grep i vga 独显 GeForc
  • diff linux文件夹patch,Linux中的版本控制---diff和patch命令

    一 构造两个用于测试的文件 hello txt world txt 二 用diff命令比较两个文本文件的差异 对这个两个文本文件执行diff 命令 并通过输出重定向 将差异保存在diff txt文件中 diff u hello txt wo
  • 使用 Docker Compose 部署 Elasticsearch + Kibana

    本篇文章主要介绍了使用 Docker Compse 部署 Elasticsearch Kibana 并整合到 Spring Boot 项目中的详细步骤 Elasticsearch Kibana 版本 7 17 0 7 的最新版本 Sprin
  • Android 语音播放Media Player

    原文地址 https developer android com guide topics media mediaplayer html viacontentresolver 语音播放 因为实习工作相关的缘故 最近在学习android语音播
  • 多个RecycleView 嵌套显示不全的情况

    场景 项目中最外层使用ScrollView 里面嵌套了recycleview recycleview中又嵌套了多个recycleview 导致部分recycleview显示不出来 app界面的结构图
  • 空间域图像增强:图像锐化/增强

    空间域图像增强 OpenCV图像锐化 增强 0 综述 1 Laplacian高通滤波算子 2 Laplacian锐化代码实践 3 USM锐化增强算法 4 USM代码实践 0 综述 图像的卷积计算除了可以完成我们前面介绍的模糊去噪 边缘检测等
  • anaconda3.6.5安装pyhive

    1 首先安装anaconda3 6 5 略 2 配置好bin下环境变量 3 来到anaconda官网 搜索需要的包 pyhive 不是anaconda前缀的也行 例如biaze pyhive https anaconda org anaco