程序员经验分享-hwhale

HDFS 对 DC/OS 中机器重启的弹性

2024-01-28

我已在由 10 台 Core OS 机器（3 个主节点、7 个代理节点）组成的 DCOS 集群上安装了 Universe 中的 HDFS。我的 HA HDFS 配置有 2 个名称节点、3 个日志节点和 5 个数据节点。现在，我的问题是。 HDFS 不应该对机器重启具有弹性吗？如果我重新启动安装了数据节点的计算机，数据节点将被重建为其他节点的镜像（仅在从 DC/OS UI 重新启动 HDFS 服务后）。如果日志节点或名称节点所在的位置重新启动，这些节点将被标记为丢失并且永远不会重建。


最终，该问题在适用于 DC/OS 的 Universe HDFS 软件包的一个有缺陷的版本中被发现。然而，适用于 DC/OS 的全新 HDFS 软件包将在未来几周内在 Universe 上发布。

https://dcos-community.slack.com/archives/data-services/p1485717889001709 https://dcos-community.slack.com/archives/data-services/p1485717889001709

https://dcos-community.slack.com/archives/data-services/p1485801481001734 https://dcos-community.slack.com/archives/data-services/p1485801481001734

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

HDFS

mesos

marathon

dcos

HDFS 对 DC/OS 中机器重启的弹性 的相关文章

  • 处理 oozie 工作流程中的循环

    我有一个 oozie 用例 用于检查输入数据可用性并根据数据可用性触发 MapReduce 作业 所以我编写了一个 shell 脚本来检查输入数据 并在 oozie 中为其创建了一个 ssh 操作 输入数据检查的重试次数和重试间隔应该是可配

  • Flume将数据从MySQL迁移到Hadoop

    请分享您的想法 需求是将MySQL db中的数据迁移到Hadoop HBase进行分析 数据应该实时或接近实时地迁移 Flume可以支持这个吗 有什么更好的方法 据我了解 Flume 并不是为此而设计的 Flume 基本上用于读取日志 如数

  • Talend 和 Apache Spark？

    我对 Talend 和 Apache Spark 在大数据生态系统中的定位感到困惑 因为 Apache Spark 和 Talend 都可以用于 ETL 有人可以用一个例子解释一下吗 Talend 是一种基于工具的大数据方法 通过内置组件支

  • 从 Spark 访问 Hdfs 会出现令牌缓存错误 Can't get Master Kerberosprincipal for use as renewer

    我正在尝试运行测试 Spark 脚本 以便将 Spark 连接到 hadoop 脚本如下 from pyspark import SparkContext sc SparkContext local Simple App file sc t

  • 从 HDFS 传出文件

    我想将文件从 HDFS 传输到另一台服务器的本地文件系统 该服务器不在 hadoop 集群中 而是在网络中 我本可以这样做 hadoop fs copyToLocal

  • 如何找到 JAR：/home/hadoop/contrib/streaming/hadoop-streaming.jar

    我正在练习有关 Amazon EMR 的复数视角视频教程 我被困住了 因为我收到此错误而无法继续 Not a valid JAR home hadoop contrib streaming hadoop streaming jar 请注意

  • Sqoop 导出分区的 Hive 表

    我在尝试导出分区的 Hive 表时遇到了一些问题 这是否完全受支持 我尝试用谷歌搜索并找到一张 JIRA 票证 sqoop export connect jdbc mysql localhost testdb table sales exp

  • HBase、Hadoop：如何估计 HBase 表或 Hadoop 文件系统路径的大小？

    我有多个 HBase 表 如何估计在 java 中使用的表的大致大小 一种方法是你必须使用java客户端访问hdfs 通常在 hbase文件夹 所有表格信息 将在场 Hadoop 外壳 你可以检查使用hadoop fs du h path

  • 更改 Hadoop 中的数据节点数量

    如何改变数据节点的数量 即禁用和启用某些数据节点来测试可扩展性 说得更清楚一点 我有4个数据节点 我想一一实验1 2 3 4个数据节点的性能 是否可以只更新名称节点中的从属文件 临时停用节点的正确方法 创建一个 排除文件 这列出了您想要删除

  • Python 包安装：pip 与 yum，还是两者一起安装？

    我刚刚开始管理 Hadoop 集群 我们使用 Bright Cluster Manager 直至操作系统级别 CentOS 7 1 然后使用 Ambari 以及适用于 Hadoop 的 Hortonworks HDP 2 3 我不断收到安装

  • 覆盖hadoop中的log4j.properties

    如何覆盖hadoop中的默认log4j properties 如果我设置 hadoop root logger WARN console 它不会在控制台上打印日志 而我想要的是它不应该在日志文件中打印 INFO 我在 jar 中添加了一个

  • 为什么我们需要将外部表移动到托管 Hive 表？

    我是 Hadoop 新手 正在学习 Hive 在 Hadoop 权威指南第 3 版中 第 12 页 第428章 最后一段 我不明白下面关于 HIVE 中外部表的段落 一种常见的模式是使用外部表访问存储在 HDFS 中的初始数据集 由另一个进

  • 使用 Java API 在 Hadoop 中移动文件？

    我想使用 Java API 在 HDFS 中移动文件 我想不出办法做到这一点 FileSystem 类似乎只想允许在本地文件系统之间移动 但我想将它们保留在 HDFS 中并将它们移动到那里 我错过了一些基本的东西吗 我能想到的唯一方法是从输

  • 如何在Hadoop中序列化List集合对象？

    有没有办法在 Hadoop 中序列化 java 集合 The Writable接口仅适用于 Java 原语 我有以下类属性 private String keywords private List

  • Mesos DCOS 未安装 Kafka

    我正在尝试在 Mesos 上安装 Kafka 看来安装已经成功了 vagrant DevNode dcos dcos package install kafka This will install Apache Kafka DCOS Ser

  • sqoop 通过 oozie 导出失败

    我正在尝试将数据导出到mysql from hdfs通过sqoop 我可以通过 shell 运行 sqoop 并且它工作正常 但是当我通过调用oozie 它出现以下错误并失败 我还包括了罐子 没有描述性日志 sqoop脚本 export c

  • Hive 聚集在多个列上

    据我所知 当配置单元表聚集在一列上时 它会执行该分桶列的哈希函数 然后将该行数据放入其中一个桶中 每个桶都有一个文件 即如果有 32 个桶 那么 hdfs 中就有 32 个文件 将 clustered by 放在多个列上意味着什么 例如 假

  • MapReduce 中的分区到底是如何工作的？

    我认为我总体上对 MapReduce 编程模型有一定的了解 但即使在阅读了原始论文和其他一些来源之后 我仍然不清楚许多细节 特别是关于中间结果的分区 我将快速总结到目前为止我对 MapReduce 的理解 我们有一个可能非常大的输入数据集

  • Hadoop 超立方体

    嘿 我正在启动一个基于 hadoop 的超立方体 具有灵活的维度数 有人知道这方面现有的方法吗 我刚刚发现PigOLAP草图 http wiki apache org pig PigOLAPSketch 但没有代码可以使用它 另一种方法是Z

  • Hadoop fs 查找块大小？

    在 Hadoop fs 中如何查找特定文件的块大小 我主要对命令行感兴趣 例如 hadoop fs hdfs fs1 data 但看起来这并不存在 有Java解决方案吗 The fsck其他答案中的命令列出了块并允许您查看块的数量 但是 要

随机推荐

  • Matlab 图像中的自主接缝检测

    I m trying to detect seams in welding images for an autonomous welding process I want to find pixel positions of the det

  • JFileChooser 更改 Windows 中的默认目录

    我想将 JFileChooser 的默认目录更改为 Windows 上的 我的音乐 这个目录是C Users Fre Music在我的帐户上 因为我的用户名是Fre 默认设置为C Users Fre Documents 我认为取决于操作系统

  • 为所有新命令对象设置自定义默认 CommandTimeout

    默认命令超时 http msdn microsoft com en us library system data sqlclient sqlcommand commandtimeout aspx值为 30 秒 您可以通过执行以下操作手动更改

  • AngularJS：初始化 ZURB Foundation JS

    我同时使用 AngularJS 和 Foundation 要初始化 Foundation JS 您必须进行以下调用 document foundation 在 AngularJS 应用程序中进行此调用的最佳方式是什么 代码示例将不胜感激 另

  • RPG 游戏循环和类结构（cocos2D for iPhone）

    我想在 iPhone 上使用 Cocos2D 制作一款 RPG 我做了相当多的研究 我真的很喜欢 Cocos2D 用于场景的模型 我可以实例化一个场景 设置我的角色等 这一切都工作得非常好 我遇到的问题是构建游戏循环并将代码与场景分开 例如

  • 如何使用 PyCharm 启动远程调试？

    我正在尝试在 PyCharm 在 Windows 主机上 和运行我的 django 应用程序的 debian 虚拟主机之间进行调试 说明显示安装 Egg 添加导入 然后调用命令 我认为这些事情需要在 debian 主机上完成 好的 那么这两

  • 如何在正则表达式中检查波斯尼亚语特定字符？

    我有这个正则表达式模式 它非常简单 它验证提供的字符串是否为 alpha 大写和小写 var pattern a zA Z gi 当我触发时pattern test Zlatan Omerovic 它返回true 但是如果我 pattern

  • 如何离线安装Notepad++插件？

    我正在尝试安装 Notepad 插件Plugins gt Plugin Manager 但我的办公室防火墙限制其下载 有没有其他方法可以离线安装插件 以下是对我有用的步骤 Download https sourceforge net pro

  • 如何从 Visual Studio 2010 调试托管 BHO

    我有一个运行良好的托管资源管理器栏 在 Internet Explorer 中工作 目前 唯一的调试方法是 在VS之外启动IE 从 VS 调试 gt 附加 附加到进程 iexplore exe 尝试执行以下操作 转到项目属性 gt 调试选项

  • 使用 Jquery 禁用锚标记

    我有一个与锚标记关联的图像 一旦用户单击该图像 就会加载弹出窗口 我想禁用这个锚标记 html 代码如下所示 a href class openModalLink img style border none width 9 alt clas

  • ionic @ionic-native/geolocation 添加提供程序问题

    Type GeolocationOriginal is not assignable to type Provider Type GeolocationOriginal is missing the following properties

  • 具有嵌套模型类的 Razor 视图

    我有一个嵌套类 例如 public class Jar public IEnumerable

  • 使用 PHP 进行 Xpath 查询（取两个值）

    这是我正在使用的 XML 代码

  • 加载动态 .ini 标识符

    我正在创建我的学生计划表的虚拟版本 它基本上可以让你记下你有哪些科目的作业 Here is the interface 用户从组合框中选择主题并在相邻的备忘录中输入一些注释 完成后 他们将单击 保存 按钮 将其保存到 ini 文件中 所选日

  • 无法链接到 fftw3 库

    我正在编译一个测试程序来测试fftw3 ver3 3 4 由于它不是使用 root previlidge 安装的 所以我使用的命令是 gcc lm L home my name opt fftw 3 3 4 lib I home my na

  • 使用 selenium 检查域

    我正在尝试在 VBA 中使用 selenium 检查某些域 这是我的尝试 Option Explicit Sub Check Domain Dim bot As New WebDriver Dim sDomain As String sDo

  • JQuery 模态框和 Iframe

    我一直在使用 Simple Modal 但我觉得它不能满足我目前的需要 是否有一个模态框支持加载外部文件并允许这些外部文件关闭模态框并将父页面重定向到某个url 我想做的一个例子 您有一个用户列表 您可以单击 添加用户 然后会弹出一个带有表

  • 基于排序的分区（如快速排序）

    这是一道面试题 给定一个包含 3 种对象白色 红色 黑色的数组 应该实现数组的排序 使其看起来如下 白色 黑色 红色 面试官说 你不能使用计数排序 他的提示是考虑一些与快速排序相关的技术 所以我建议使用类似于快速排序分区的分区 他只要求只使

  • 从远程数据库检索数据

    有人可以向我解释一下从远程数据库检索数据的过程吗 我了解如何将数据从 sqlite 解析到 iPhone 应用程序 但远程数据库似乎更复杂 我尝试做研究 但是我对网络服务 云和其他我不熟悉的词感到困惑 到目前为止 我认为我需要使用 JSON

  • HDFS 对 DC/OS 中机器重启的弹性

    我已在由 10 台 Core OS 机器 3 个主节点 7 个代理节点 组成的 DCOS 集群上安装了 Universe 中的 HDFS 我的 HA HDFS 配置有 2 个名称节点 3 个日志节点和 5 个数据节点 现在 我的问题是 HD

热门标签