程序员经验分享-hwhale

redhat7源码编译hadoop2.6.0

2023-05-16

        以前在32位linux机器上编译过hadoop2.6.0,这次在redhat7 64bit上再次编译hadoop2.6.0，除必须的jdk,maven,protobuf需要安装之外，还需要安装系统依赖库gcc,gcc-c++,ncurses-devel,openssl-devel,cmake,这些依赖库的安装可以直接通过yum命令一下安装: yum install -y gcc gcc-c++ cmake openssl-devel ncurses-devel,依赖库之间通过空格分割。

        这次的安装还是遇到了只能使用jdk1.7编译的问题。如果使用jdk1.8，会报如下图所示的错误。[ERROR] Exit code:1 - /home/hadoop/hadoop-2.6.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexcepted end tag: </ul>

   

遇到这个错误，我们只能将jdk换成1.7，之后顺利编译通过。
编译命令：mvn package -DskipTests -Pdist,native -Dtar
build success 
INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................. SUCCESS [  1.041 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [  1.018 s]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [  1.937 s]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [  0.255 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 15.730 s]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 14.448 s]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 25.414 s]
[INFO] Apache Hadoop Auth ................................. SUCCESS [ 15.027 s]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [  7.052 s]
[INFO] Apache Hadoop Common ............................... SUCCESS [02:01 min]
[INFO] Apache Hadoop NFS .................................. SUCCESS [  8.556 s]
[INFO] Apache Hadoop KMS .................................. SUCCESS [02:31 min]
[INFO] Apache Hadoop Common Project ....................... SUCCESS [  0.029 s]
[INFO] Apache Hadoop HDFS ................................. SUCCESS [02:46 min]
[INFO] Apache Hadoop HttpFS ............................... SUCCESS [02:42 min]
[INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [ 14.788 s]
[INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [  3.519 s]
[INFO] Apache Hadoop HDFS Project ......................... SUCCESS [  0.029 s]
[INFO] hadoop-yarn ........................................ SUCCESS [  0.037 s]
[INFO] hadoop-yarn-api .................................... SUCCESS [01:12 min]
[INFO] hadoop-yarn-common ................................. SUCCESS [ 25.486 s]
[INFO] hadoop-yarn-server ................................. SUCCESS [  0.044 s]
[INFO] hadoop-yarn-server-common .......................... SUCCESS [ 11.236 s]
[INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [ 19.452 s]
[INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [  2.385 s]
[INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [  5.028 s]
[INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 15.531 s]
[INFO] hadoop-yarn-server-tests ........................... SUCCESS [  4.019 s]
[INFO] hadoop-yarn-client ................................. SUCCESS [  5.003 s]
[INFO] hadoop-yarn-applications ........................... SUCCESS [  0.044 s]
[INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [  2.060 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [  1.525 s]
[INFO] hadoop-yarn-site ................................... SUCCESS [  0.047 s]
[INFO] hadoop-yarn-registry ............................... SUCCESS [  4.122 s]
[INFO] hadoop-yarn-project ................................ SUCCESS [  5.211 s]
[INFO] hadoop-mapreduce-client ............................ SUCCESS [  0.051 s]
[INFO] hadoop-mapreduce-client-core ....................... SUCCESS [ 16.098 s]
[INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 12.579 s]
[INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [  3.310 s]
[INFO] hadoop-mapreduce-client-app ........................ SUCCESS [  6.972 s]
[INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [  5.790 s]
[INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [  7.923 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [  1.437 s]
[INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [  4.272 s]
[INFO] hadoop-mapreduce ................................... SUCCESS [  4.270 s]
[INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [  5.100 s]
[INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 12.644 s]
[INFO] Apache Hadoop Archives ............................. SUCCESS [  1.797 s]
[INFO] Apache Hadoop Rumen ................................ SUCCESS [  4.551 s]
[INFO] Apache Hadoop Gridmix .............................. SUCCESS [  3.380 s]
[INFO] Apache Hadoop Data Join ............................ SUCCESS [  2.232 s]
[INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [  2.054 s]
[INFO] Apache Hadoop Extras ............................... SUCCESS [  2.312 s]
[INFO] Apache Hadoop Pipes ................................ SUCCESS [  8.269 s]
[INFO] Apache Hadoop OpenStack support .................... SUCCESS [  4.217 s]
[INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [ 29.522 s]
[INFO] Apache Hadoop Client ............................... SUCCESS [  7.187 s]
[INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [  0.106 s]
[INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [  3.483 s]
[INFO] Apache Hadoop Tools Dist ........................... SUCCESS [  8.224 s]
[INFO] Apache Hadoop Tools ................................ SUCCESS [  0.025 s]
[INFO] Apache Hadoop Distribution ......................... SUCCESS [ 49.890 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 18:13 min
[INFO] Finished at: 2017-06-23T03:56:38+08:00
[INFO] Final Memory: 157M/350M
[INFO] ------------------------------------------------------------------------
截图如下：
如果不通过源码编译安装，在hadoop,spark,flink等启动时经常会提示一个警告:
2017-06-23 21:57:49,105 WARN  org.apache.hadoop.util.NativeCodeLoader  - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

redhat7

Hadoop2

源码编译

redhat7源码编译hadoop2.6.0 的相关文章

  • ffmpeg源码编译

    编译 config配置 以下配置包含大部分需要使用的功能 configure prefix 61 pkg config flags 61 static enable shared enable pthreads enable version

  • redhat7源码编译hadoop2.6.0

    以前在32位linux机器上编译过hadoop2 6 0 这次在redhat7 64bit上再次编译hadoop2 6 0 xff0c 除必须的jdk maven protobuf需要安装之外 xff0c 还需要安装系统依赖库gcc gcc

  • redhat7安装oracle11gR2之环境准备

    redhat7安装oracle11gR2环境准备 xff1a 内存 xff1a 2g 磁盘空间 xff1a 15g以上 交换分区 xff1a 3g 我们将oracle安装到 opt app oracle目录下 xff0c 后面的环境变量则以

  • redhat7安装oracle11gR2之动手安装

    oracle11gR2 64位数据库下载地址 xff1a http www oracle com technetwork database enterprise edition downloads 112010 linx8664soft 1

  • redhat7静默安装oracle11gR2

    所谓的静默安装是指不用安装redhat7桌面系统 xff0c 并进入桌面利用界面安装oracle xff0c 这里采用最小化安装redhat7 xff0c 直接在命令行下通过命令执行安装 环境配置和用户设置基本和界面安装一致 就是进入 op

  • android源码编译 坑

    bash lunch command not found 先调用 build envsetup sh 再执行 lunch Can not find SDK Can not find SDK 10 6 at Developer SDKs Ma

  • Hadoop2-MapReduce(2)

    新的API xff1a Mapper MyMapper extends Mapper lt gt map LongWritable key Text value Context context throws context write ne

  • ORB_SLAM2--源码编译

    前言 学习ORB SLAM2 xff0c 从编译源码开始 ORB SLAM2的github地址 https github com raulmur ORB SLAM2 一 准备工作 1 安装依赖库 sudo apt install cmake

  • petalinux 编译，源码编译

    1 测试环境 Ubuntu 16 04PetaLinux 2019 1PetaLinux 2019 1 ZCU106 BSPZCU106 2 PetaLinux介绍 PetaLinux是Xilinx基于Yocto推出的Linux开发工具 Y

  • krita windows编译源码

    Qt系列文章目录 文章目录 Qt系列文章目录 前言 一 krita 二 krita源码编译 1 Windows下编译 1 编译准备 2 相关命令 使用CMake编译krita 重新编译 使用CMkae bash find package Z

  • 由yarn (MRv2) 或mapred (MRv1) 以外的用户提交时，Hadoop 作业会失败

    我正在运行一个与 LocalFileSystem 配对运行 MRv1 CDH5 的测试集群 并且我唯一能够运行作业的用户是 mapred 因为 mapred 是启动 jobtracker tasktracker 守护进程的用户 以任何其他用

  • 我应该在 1.x、2.2 和 0.23 中选择哪个 hadoop 版本

    您好 我是 Hadoop 新手 对版本名称非常困惑 我应该使用 1 x 强大的支持和学习资源 2 2 或 0 23 中的哪一个 我读到 hadoop 正在从 v0 23 完全迁移到 YARN link1 但与此同时 整个网络都在说 hado

  • Hadoop 节点管理器不满足最小分配

    Hadoop 节点管理器不满足最小分配 我收到以下错误 org apache hadoop yarn exceptions YarnRuntimeException 已收到 来自Resourcemanager的SHUTDOWN信号 Node

  • 如何检索 Hdfs 文件中的复制因子信息？

    我已为文件设置复制因子 如下所示 hadoop fs D dfs replication 5 copyFromLocal file txt user xxxx When a NameNode重新启动 它确保复制不足的块被复制 因此 文件的复

  • 在 Windows 上无需管理员权限运行 Hadoop MR 作业

    我已经在Windows中安装了Hadoop 2 3 0并且能够成功执行MR作业 但是 当我尝试以普通权限 无管理员权限 执行 MR 作业时 意味着作业获取失败并出现以下异常 在这里我尝试使用 Pig 脚本示例 2014 10 15 12 0

  • Spark-submit如何设置user.name

    想要设置 mapreduce job user name myuser Tried spark submit class com MyClass conf mapreduce job user name myuser conf spark

  • 将 1GB 数据加载到 hbase 需要 1 小时

    我想将 1GB 1000 万条记录 的 CSV 文件加载到 Hbase 中 我为它编写了 Map Reduce 程序 我的代码运行良好 但需要 1 小时才能完成 最后一个Reducer 花费了半个多小时的时间 有人可以帮我吗 我的代码如下

  • 如何处理 YARN MapReduce 作业的容器故障？

    YARN 中如何处理软件 硬件故障 具体来说 如果容器发生故障 崩溃 会发生什么 容器和任务失败由节点管理器处理 当容器失败或死亡时 节点管理器会检测到失败事件并启动一个新容器来替换失败的容器并在新容器中重新启动任务执行 如果应用程序主机发

  • 生产者程序中的 kafka 网络处理器错误（ArrayIndexOutOfBoundsException：18）

    我有下面的 kafka Producer Api 程序 我对 kafka 本身是新手 下面的代码从 API 之一获取数据并将消息发送到 kafka 主题 package kafka Demo import java util Propert

  • Spark/Yarn：HDFS 上不存在文件

    我在 AWS 上设置了 Hadoop Yarn 集群 有 1 个主服务器和 3 个从服务器 我已经验证我有 3 个活动节点在端口 50070 和 8088 上运行 我在客户端部署模式下测试了 Spark 作业 一切正常 当我尝试使用 Spa

随机推荐

  • Openstack使用ubuntu镜像启动虚拟机实例

    一般情况下openstack环境搭建好了之后 xff0c 就是测试启动虚拟机 通常我们会使用一个最基本的镜像cirros 0 3 3 x86 64 disk img来作为镜 像 xff0c 使用glance命令行或者horizon的图形化界

  • docker使用Dockerfile构建镜像

    docker获取镜像 xff0c 除了docker pull docker load之外还可以通过自定义Dockerfile的方式通过命令docker build 来构建新镜像 通过这种方式可以很自由的定义想要安装的镜像 xff0c 想要安

  • django环境搭建

    django是python开发框架 xff0c 是一个丰富的web框架 第一步 xff1a 安装pip wget https bootstrap pypa io get pip py python get pip py 第二步 xff1a

  • docker配置国内仓库镜像registry-mirror

    Docker在默认安装之后 xff0c 当需要下载镜像时 xff0c 通过命令docker pull learn tutoral拉取示例镜像 xff0c 或者其他镜像时 xff0c 都是访问默认的docker hub上的镜像 xff0c 在

  • TypeError: object() takes no parameters

    python面向对象编程第一个坑 TypeError object takes no parameters 出现这个错误 xff0c 一般就是构造函数 init 书写的不对 xff0c 检查一下是否是少了一个下划线或者是少写了一个i字母 x

  • windows上Flask环境搭建

    Flask是python开发框架 用来快速构建web项目 下面介绍如何在windows上搭建flask开发环境并运行一个demo 第一步 创建项目并构建flask环境 mkdir flaskapp cd flaskapp virtualen

  • WebSocket 测试工具

    一 WebSocket 简介 WebSocket是一种在单个TCP连接上进行全双工通信的协议 WebSocket使得客户端和服务器之间的数据交换变得更加简单 xff0c 允许服务端主动向客户端推送数据 在WebSocket API中 xff

  • 利用pipework为docker容器设置固定IP

    今天介绍如何在redhat centos7系列机器上使用pipework为docker启动的容器指定一个固定ip 我们知道默认情况下 xff0c docker会使用bridge网络模式为每一个启动的容器动态分配一个IP xff0c 以172

  • 用docker玩坏ubuntu虚拟机容器

    当我们装上docker之后 xff0c 自然会pull一个或多个镜像玩玩 xff0c 这时候 xff0c docker hub仓库上有很多系列操作系统镜像 xff0c 每个系列又有很多不同功能的虚拟机镜像 xff0c 比如centos分6还

  • tornado入门实例

    tornado是python web开发的又一个轻量级框架 tornado框架需要安装 xff0c 为了方便 xff0c 我直接安装了Anaconda 2 4 1 里面直接就带了tornado 还有很多python库 numpy scipy

  • web.py框架入门

    web py是python web开发的一个轻量级框架 web py可以通过pip命令安装 xff0c pip install web py 编写官网示例代码 xff1a vi index py import web urls 61 34

  • graphviz快速上手

    graphviz最初是AT amp T实验室用来画流程图的工具 xff0c 使用dot语言 其中根据图的类型可以分为有向图 dirgraph 和无向图 graph 我们知道图是由点 node 和边 edge 组成的 xff0c 在有向图中边

  • mysqld: File './mysql-bin.index' not found (Errcode: 13 - Permission denied)

    我们通过yum方式安装mysql 会生成mysql mysql用户组和用户 xff0c 启动mysql默认是使用mysql用户 如果我们开启了慢log日志 xff0c 而且我们使用service mysqld start启动mysql 会报

  • redhat7编译安装php-5.5.38

    1 从官网下载php源码包 php 5 5 38 2 安装依赖包 yum install libxml2 libxml2 devel bzip2 devel libcurl devel y yum install openssl opens

  • spark-1.6.0源码编译安装

    环境准备 spark是scala语言写的 xff0c scala运行需要jdk 如果通过maven编译 xff0c 还需要maven环境 xff0c 因此spark源码编译需要安装jdk scala apache maven这三样环境 这里

  • ZendStudio+php+Apache开发环境搭建

    学习php xff0c 我们就想有一个好的ide xff0c ZendStudio是专门为php开发提供的ide xff0c 写完代码立马能够在工作空间中调试 xff0c 可以通过Run As gt PHP CLI Application

  • 图文详解win7实现局域网共享文件

    工作中 xff0c 我们有时候会拥有两台机器 xff0c 避免机器之间文件传来传去 xff0c 可以使用局域网文件共享 xff0c 在一台机器上开启文件共享 xff0c 另一台机器通过IP访问 xff0c 即可轻松实现文件互访 今天介绍我们

  • 模拟画图题P1185 绘制二叉树

    可能更好的观看体验 题目链接P1185 绘制二叉树 题意概述 根据规则绘制一棵被删去部分节点的满二叉树 节点用 o o o 表示 xff0c 树枝用 表示 每一层树枝长度会变化 xff0c 以满足叶子结点有如下特定 xff1a 相邻叶子节点

  • win7+MySQL5.7.18zip版本安装

    mysql5 7 18zip版本在windows的安装 xff0c 就是解压 xff0c 初始化 xff0c 然后做一些密码修改的设置即可使用 xff0c 如果需要远程连接 xff0c 需要更改用户表的host值为 39 39 xff0c

  • redhat7源码编译hadoop2.6.0

    以前在32位linux机器上编译过hadoop2 6 0 这次在redhat7 64bit上再次编译hadoop2 6 0 xff0c 除必须的jdk maven protobuf需要安装之外 xff0c 还需要安装系统依赖库gcc gcc

热门标签