程序员经验分享-hwhale

Spark 工作负载需要 HDFS 吗？

2023-12-01

HDFS 不是必需的，但在某些地方会出现建议。

为了帮助评估运行 HDFS 所花费的精力：

将 HDFS 用于 Spark 工作负载有哪些好处？


最短的答案是：“不，你不需要它”。即使没有 HDFS，您也可以分析数据，但当然您需要在所有节点上复制数据。

长答案是相当违反直觉的，我仍在尝试在 stackoverflow 社区的帮助下理解它。

Spark本地与hdfs性能对比

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

apachespark

HDFS

mesos

mesosphere

Spark 工作负载需要 HDFS 吗？ 的相关文章

随机推荐

  • Java ssl 握手失败 (SSLPoke)

    我已将证书导入信任库 但仍然无法 成功连接到此网址 所有的方法我都试过了 可以 有人看到输出并帮忙看看发生了什么吗 java Djavax net debug all SSLPoke services americanexpress com

  • Matlab-如何根据其他变量的值命名新变量？ [复制]

    这个问题在这里已经有答案了 可能的重复 如何在 MATLAB 中将数字连接到变量名 MATLAB 如何在另一个变量名称中使用变量值 我想使用函数中给出的其他变量的值来命名变量 因此 如果我有 x1 x2 的值 我可以将新变量的名称设置为 x

  • 我无法让 JScrollPanes 实际显示滚动条

    我在互联网上发现了一些例子 涉及获取图像或文本框来显示滚动条 但它们都涉及一个基本上在滚动窗格中显示其全部内容的程序 我需要让它做的就是在某处粘贴一个 JPanel 在该面板中堆放一堆文本 图标等 直到它对于我所拥有的空间来说太大 然后滚动

  • PyQt4 使用 setRowHidden 在 QListView 上按文本进行过滤

    我有一个如下所示的对话框 该对话框具有连接到过滤器按钮的以下代码 class Dialog QtGui QDialog addWin Ui Dialog self list QListView self filter clicked con

  • 是否可以通过 Eclipse 使用适用于 Android 的 Gradle 构建系统？

    我有一个应用程序需要使用不同的资源为不同的客户多次构建 品牌 配置和客户之间的预加载数据更改 在今年的 Google I O 大会之后 我听说了基于 Gradle 的新 Android 构建系统 所以我想 使用 Gradle 构建脚本来实现

  • 为什么我的自定义异常 unpickle 失败

    import pickle class ABError Exception def init self a b super ABError self init a self a a self b b class ABCDError ABEr

  • Android 弹出窗口与 Android 对话框

    我试图在我的应用程序中实现一个简单的逻辑 其中向用户显示一个弹出窗口 在应用程序启动一段时间后 弹出窗口仅显示一个TextView带有一些信息消息 每次启动应用程序时都会刷新此消息并显示新消息 弹出窗口的 UI 与我的应用程序 UI 相匹配

  • gcc 如何计算结构体所需的空间？

    struct integer a struct c b 一般来说 gcc 是如何计算所需空间的 这里有人曾经窥探过内部情况吗 我没有 偷看内部结构 但它非常清楚 任何理智的编译器都会以完全相同的方式来做 过程如下 从尺寸 0 开始 对于每个

  • Python 使用 JOSE 模块解码 jwt 令牌

    请帮我解码这个 jwt使用 python jose 模块 我不知道什么key我应该用 因为任何在线 jwt 解码器都可以在没有任何密钥的情况下解码它 token eyJhbGciOiJSUzI1NiIsImtpZCI6ImVlYTFiMWY

  • Javascript 检查数组是否存在特定数字

    我在这里搜索了很多问题 但还没有找到一个我认为适合我的问题 所以如果您知道一个问题 请链接到它 我有一个数组 我想在其中搜索特定的数字 如果该数字在数组中 那么我想采取一个操作 如果没有 则采取另一个操作 我有这样的东西 var Array

  • ng-content 中带有选择器的条件重复 templateref

    我有一个根据客户端设备大小切换组件模板的组件 组件代码为 import Component from angular core import BreakpointObserver Breakpoints from angular cdk l

  • SparkJava 变量范围

    我正在开发一个 SparkJava 不是 Apache Spark 应用程序 我想在前置过滤器和后置路由之间共享一个对象 过滤器和路由在不同的类中定义 我不愿意继续使用会话 因为它是一个移动应用程序 json api 从理论上讲 它应该是无

  • 如何使用单个命令删除clearcase分支？

    我不小心创建了一个配置规范错误的分支 并且在其中进行了本不该完成的合并 有没有一种方法可以用一个且唯一的命令来删除这个分支 就像它从未存在过一样 分支中没有检出文件 我可以检查所有文件并手动执行 因为只有 3 个文件被合并 但如果有 300

  • 在 Win32 发布模式下查看 VC++ 2010 中准确反汇编的最佳方法是什么？

    我正在编写汇编级优化代码 我需要确保 C 编译器在发布模式下正确使用它 我曾经能够让发布模式程序在 VS 2002 中的断点上中断 并在我逐步执行它时显示原始反汇编 但我不记得如何让它工作 VS 2010 是否有任何选项可能允许这种情况发生

  • 在php中打开com端口

    我有一个 USB 3G 调制解调器华为 E1550 和 Windows XP 我想用这个调制解调器 trhow php 发送短信 我使用此函数打开调制解调器 com 端口 fp fopen COM3 wb if fp echo Not op

  • 通过在一个热编码数据上训练的模型来预测新值

    这可能看起来是一个微不足道的问题 但我陷入了预测模型结果的困境 我的问题是这样的 我有一个形状为 1000 x 19 的数据集 目标特征除外 但经过一次热编码后 它变成了 1000 x 141 由于我在形状为 1000 x 141 的数据上

  • JavaScript - Chart.js 工具提示显示错误的 x 轴值

    我有一个包含两个不同数据集的图表 但有时它们具有相同的 x y 坐标 但是当我将鼠标悬停在共享点 有时会显示错误的日期 y 值是正确的 但 x 值显示不正确 尝试将鼠标悬停在共享点 在 codepen 上 在下图中你可以看到我正在悬停 y

  • 动态添加内容到RelativeLayout

    由于我仍在学习 Android 亚马逊表示我需要 2 个月的时间才能收到 Hello Android 一书 所以我仍在尝试做一些简单的事情 我可以使用RelativeLayout 单击按钮来显示图标图像视图 创建它的代码如下 private

  • 从txt中读取科学格式的数字

    我想从 txt 文件中读取并存储科学格式的数字 该文件已格式化并且数字由制表符分隔 这是我到目前为止所拥有的 IMPLICIT NONE REAL ALLOCATABLE DIMENSION 2 data INTEGER row colum

  • Spark 工作负载需要 HDFS 吗？

    HDFS 不是必需的 但在某些地方会出现建议 为了帮助评估运行 HDFS 所花费的精力 将 HDFS 用于 Spark 工作负载有哪些好处 最短的答案是 不 你不需要它 即使没有 HDFS 您也可以分析数据 但当然您需要在所有节点上复制数据

热门标签