程序员经验分享-hwhale

如何从开源 Hadoop 或公开可用的 HDP 源代码构建由 ambari 安装的 deb/rpm 存储库

2024-02-15

我正在尝试安装开源 hadoop 或从源代码构建 HDP 以由 ambari 安装。我可以看到，可以使用 apache repos 中提供的文档为每个组件构建 java 包，但是我如何使用这些包来构建由 hortonworks 提供的 rpm/deb 包，以便由 ambari 安装 HDP 发行版。


@ShivamKhandelwal 从源头构建 Ambari 是一项挑战，但只要坚持不懈就可以完成。在这篇文章中，我公开了我最近在 centos 中构建 Ambari 2.7.5 所使用的命令：

CentOS 7 上 Ambari 2.7.5 安装失败 https://stackoverflow.com/questions/61542102/ambari-2-7-5-installation-failure-on-centos-7?noredirect=1#comment109002945_61542102

“从源代码构建 HDP”是一项非常艰巨的任务，因为它需要单独构建每个组件，创建您自己的公共/私有存储库，其中包含每个操作系统风格的所有组件存储库或 rpm。这是一项艰巨的任务，之前由 Hortonworks 的许多员工和组件贡献者负责管理。

当您从 HDP 安装 Ambari 时，它会立即附带其存储库，包括 HDP 堆栈（HDFS、Yarn、MR、Hive 等）。当您从源安装 Ambari 时，没有堆栈。唯一的解决方案是构建您自己的堆栈，这是我擅长做的事情。

我目前正在构建一个DDP堆栈作为示例与公众分享。我通过对 HDF 管理包进行逆向工程开始了这个项目，其中包括用于分配 NiFi、Kafka、Zookeeper 等的堆栈结构（文件/文件夹）。我使用自己的服务和组件（NiFi、Hue、Elasticsearch 等）将其定制为我自己的堆栈。

我使用 DDP 的目标是最终为我想要的组件和服务创建自己的存储库，以及我想要在集群中安装的版本。接下来，我将使用最新的免费公共 HDP 堆栈 (HDP 3.1.5) 将一些 HDP 组件（例如 HDFS、YARN、HIVE）从 HDP 堆栈直接复制到我的 DDP 堆栈中。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

installation

rpm

ambari

如何从开源 Hadoop 或公开可用的 HDP 源代码构建由 ambari 安装的 deb/rpm 存储库 的相关文章

  • 在 Windows 中安装 RubyGems

    我是红宝石新手 我尝试按照网站中给出的步骤在我的电脑上安装 Ruby Gemshttp rubygems org pages download http rubygems org pages download 我从上述站点下载了软件包 将目

  • 尝试加载自定义配置时，Visual Studio 安装和部署项目中出现 FileNotFoundException

    我试图在我的设置和部署项目中调用自定义操作来更新我的应用程序上的 app config 中的某些项目 我已经以通常的方式完成了自定义配置部分 例如 ConfigurationProperty serviceProvider IsRequir

  • R：从本地 tar.gz 安装 R 软件包时找不到“make”

    R 包ConvCalendar不再位于 Cran 存储库中 请参阅here https cran r project org web packages ConvCalendar index html 然而 因为我在之前的项目中大量使用了这个

  • 如何在 Mac OS X 10.9 上安装和使用最新的 Git？

    我从 sourceforge 下载了 Git 2 4 3http git scm com download mac http git scm com download mac对于我的 Macbook Pro OS X 10 9 5 然后安装

  • 在 Apache Spark 上下文中，内存数据存储意味着什么？

    我读到 Apache Spark 将数据存储在内存中 然而 Apache Spark 旨在分析大量数据 又称大数据分析 在这种情况下 内存数据存储的真正含义是什么 它可以存储的数据是否受到可用 RAM 的限制 它的数据存储与使用HDFS的A

  • 如何用snappy解压hadoop的reduce输出文件尾？

    我们的 hadoop 集群使用 snappy 作为默认编解码器 Hadoop作业减少输出文件名就像part r 00000 snappy JSnappy 无法解压缩文件 bcz JSnappy 需要以 SNZ 开头的文件 归约输出文件以某种

  • 以编程方式读取 Hadoop Mapreduce 程序的输出

    这可能是一个基本问题 但我在谷歌上找不到答案 我有一个映射缩减作业 它在其输出目录中创建多个输出文件 我的 Java 应用程序在远程 hadoop 集群上执行此作业 作业完成后 需要使用以下命令以编程方式读取输出org apache had

  • 创建 MSI 的最佳工具[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我是设置项目创建的新手 现在我正在使用 Visual Studio 2008 为我的项目创建安装文件 msi 我对在安装向导中创建自己的自

  • 如何说服 VS2005 msi 升级？

    我有一个使用 VS2005 用 C 编写的 Windows 服务 安装是通过一个向导调用 msiexec 来安装同样使用 VS2005 创建的 msi 文件 我在生成将从一个版本的服务升级到另一个版本的 msi 文件时遇到问题 向导程序负责

  • 伪模式下没有名称节点错误

    我是hadoop新手 正处于学习阶段 根据 Hadoop Definitve 指南 我已将 hadoop 设置为伪分布式模式 一切正常 昨天我什至能够执行第三章中的所有示例 今天 当我重新启动我的unix并尝试运行start dfs sh然

  • Hadoop - 直接从 Mapper 写入 HBase

    我有一个 hadoop 作业 其输出应写入 HBase 我并不真正需要减速器 我想要插入的行类型是在映射器中确定的 如何使用 TableOutputFormat 来实现此目的 从所有示例中 我看到的假设是 reducer 是创建 Put 的

  • 由于符号链接错误，无法在 Mac OSX 10.8.1 中安装 ruby​​-1.9.2

    首先 我尝试了常见的rvm安装 rvm安装1 9 2 但是 显示了以下错误 The provided compiler usr bin gcc is LLVM based it is not yet fully supported by r

  • AWS EMR 引导操作为 sudo

    我需要更新 etc hosts适用于我的 EMR 集群 EMR AMI 4 3 中的所有实例 整个脚本无非就是 bin bash echo e ip1 uri1 gt gt etc hosts echo e ip2 uri2 gt gt e

  • 我无法下载 R 中的 reshape2 包 [关闭]

    Closed 这个问题是无法重现或由拼写错误引起 help closed questions 目前不接受答案 我在尝试安装 R 包时收到此响应 gt installed packages reshape2 Package LibPath V

  • Hadoop 作业：任务在 601 秒内无法报告状态

    在伪节点上运行 hadoop 作业时 任务失败并被杀死 错误 任务尝试 在 601 秒内无法报告状态 但同一个程序正在通过 Eclipse 运行 本地作业 任务 大约有 25K 个关键字 输出将是所有可能的组合 一次两个 即大约 25K 2

  • Hadoop fs 查找块大小？

    在 Hadoop fs 中如何查找特定文件的块大小 我主要对命令行感兴趣 例如 hadoop fs hdfs fs1 data 但看起来这并不存在 有Java解决方案吗 The fsck其他答案中的命令列出了块并允许您查看块的数量 但是 要

  • 静默检查 bash 脚本中是否存在 rpm

    我正在尝试使用 if 语句快速检查 rpm 是否安装在 bash 脚本中 但我想默默地做 目前 当我运行脚本并且 rpm 确实存在时 它将 rpm 的输出输出到我不想要的屏幕 if rpm qa grep glib then do some

  • 如何解决 java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2？

    我正在尝试在 Hadoop 环境中执行 NLTK 以下是我用于执行的命令 bin hadoop jar HADOOP HOME contrib streaming hadoop streaming 1 0 4 jar input user

  • Spark中如何获取map任务的ID？

    Spark中有没有办法获取map任务的ID 例如 如果每个映射任务都调用用户定义的函数 我可以从该用户定义的函数中获取该映射任务的 ID 吗 我不确定您所说的地图任务 ID 是什么意思 但您可以使用以下方式访问任务信息TaskContext

  • 在 Visual Studio 的 InstallShield 中创建 setup.exe

    Please tell me whether it is possible to create a file named setup exe I want to have the end user to a single file inst

随机推荐

  • Jquery：TableSorter-特定格式的日期不起作用

    我在用表格分类器 http tablesorter com docs 对表格进行排序的插件 第四列是日期字段 格式为 gt 2013 年 1 月 30 日 gt 2013 年 2 月 1 日 当我尝试对格式进行排序时 它给出了错误的排序 我

  • 在C#中执行Quser windows命令；将结果返回到字符串

    我试图通过 C 执行 Quser windows 命令来返回谁登录到服务器的详细信息 但无法让它工作 我尝试过使用一些指南 但我还没有看到任何适合这种情况的指南 此时命令返回以下内容 Microsoft Windows 版本 6 1 760

  • 42、42.0、“42.0”、“42”之间有什么区别吗

    在使用 Smart Match 测试我的 Perl 代码的过程中 我遇到了这个问题 42 42 0 42 0 42 之间有什么区别吗 var1 42 var2 42 0 a var1 var2 我正进入 状态 a为 0 意思是 var1 a

  • 替换 LinearLayout 权重机制

    背景 出于性能考虑 Google 建议避免使用嵌套加权线性布局 使用嵌套加权线性布局的读 写和维护都很糟糕 仍然没有好的替代方案来放置可用大小的 的视图 唯一的解决方案是权重和使用 OpenGL 甚至没有像 WPF Silverlight

  • 使用复制构造函数后双重释放子对象

    我无法弄清楚为什么 看起来 一个对象被破坏了两次 如果我创建一个类 B 的对象 其中包含另一个类 A 的对象 并且我复制该对象 复制的对象被破坏两次 虽然看起来是这样的 我无法弄清楚这个输出 我创建了以下 最小 示例 这似乎触发了我的问题

  • jQuery-UI 可拖动和可排序

    所以我一直在研究这个例子 http jqueryui com demos draggable sortable http jqueryui com demos draggable sortable我已经在我的产品上实现了这一点 然而我想做两

  • 如何设置 highcharts 中 x 轴标签的格式

    I have the following highchart output 我只想在 x 轴标签中看到 Feb 10 而不是 Feb 10 18 00 因此所有 xaxis 标签都将类似于 Feb 10 Feb 12 等 但工具提示将与输出

  • 有 Perl 的 ORM 吗？

    create table person name varchar 15 attr1 varchar 15 attr2 varchar 1 attr3 char 1 attr4 int 如何通过获取像上面这样的简单表并将其映射到 Perl 对

  • JAXB - 生成的类实现接口

    有没有办法配置JAXB http jaxb java net 以便生成的类实现指定的接口 我打算使用 JAXB 生成的类作为 DAO 它们应该能够实现我的 DAO 接口 不幸的是 看起来其他一些答案中提到的接口注入插件不再得到很好的支持 事

  • 我想将列表视图放在下拉底部

    该数据来自 API 我想将所有选项放入下拉列表中 有谁能够帮助我 我是 flutter 新手 仍在学习使用 这是我的代码 class ApiFipePageState extends State

  • 不小心删除了 /var/log/apache2 现在无法重新启动 apache [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我正在使用 Ubuntu 14 04 apache2 和 ispconfig 3 就在几个小时前 我不小心删除了 var log apac

  • BottomAppBar 中用于自定义 FAB 的缺口

    我在用着UnicornDialer来自独角兽 https pub dartlang org packages unicorndial包在我的应用程序主页上创建 Material 快速拨号体验 但如果我设置shape属性来定义凹口 则凹口未正

  • 1 个控制器到 2 个 fxml (JavaFX)

    是否可以将两个 FXML JavaFX 文件连接到一个控制器 我无法通过更改每个 FXML 文件中的 fx controller 来做到这一点 有任何想法吗 是的 你可以这样做 虽然 可以做到 我不推荐这种方法 不要放置一个fx contr

  • 最好先通过keys_only = True然后get_multi进行查询还是只是完整查询？

    我正在使用 NDB 和 python 2 7 并打开线程安全模式 据我所知 使用 NDB 查询实体不使用本地缓存或内存缓存 而是直接访问数据存储 这与通过键名称获取不同 如果这个前提不正确 那么问题的其余部分可能是多余的 因此 一个好的范例

  • 如何激活可选依赖项？

    货物 toml features parallel rayon dependencies rayon version 1 5 optional true lib rs cfg feature parallel pub mod par 锈迹分

  • Docker/Cypress 容器由于 M1 芯片上的 Qemu 错误而失败

    我有一个 Docker 镜像 我想在本地运行 但我相信它由于 Qemu 问题而失败 这似乎源于尝试在 M1 芯片上运行 Cypress REPOSITORY TAG IMAGE ID CREATED SIZE dna local 097c5

  • Zapier 操作代码：Python input_data[] 从列表中剥离空值

    我一直在尝试使用 Python 为 Zapier 创建自定义代码 该代码从 Magento 2 发票中提取两个列表 它们是行项目的详细信息 我们使用这些数据来更新库存系统上的库存 不幸的是 捆绑产品显示了子产品 我需要将子产品的数量清零 这

  • R8 的 firebase 中的循环引用错误

    我们在使用 Firebase 和 R8 时遇到以下错误 CIRCULAR REFERENCE java lang IllegalArgumentException java lang IllegalArgumentException Mul

  • NSDateFormatter 问题

    我正在使用以下代码来获取当前时间 NSDate myDate NSDate date NSDateFormatter dateFormatter NSDateFormatter alloc init dateFormatter setTim

  • 如何从开源 Hadoop 或公开可用的 HDP 源代码构建由 ambari 安装的 deb/rpm 存储库

    我正在尝试安装开源 hadoop 或从源代码构建 HDP 以由 ambari 安装 我可以看到 可以使用 apache repos 中提供的文档为每个组件构建 java 包 但是我如何使用这些包来构建由 hortonworks 提供的 rp

热门标签