程序员经验分享-hwhale

Apache Spark 无法创建临时目录

2023-12-23

我是 Apache-Spark 的新手，尝试从我的应用程序 (tomcat) 创建 SparkConf，我注意到以下错误

ERROR [RMI TCP Connection(4)-127.0.0.1] DiskBlockManager.logError(91) | Failed to create local dir in /opt/software/apache-tomcat-7.0.70/temp. Ignoring this directory.
java.io.IOException: Failed to create a temp directory (under /opt/software/apache-tomcat-7.0.70/temp) after 10 attempts!
    at org.apache.spark.util.Utils$.createDirectory(Utils.scala:285)

我还没有配置过SPARK_LOCAL_DIRS在spark-env.sh中。按照默认安装，它已被注释掉。

我认为我的问题与apache Spark，“无法创建任何本地目录” https://stackoverflow.com/questions/26594312/apache-spark-failed-to-create-any-local-dir但不太确定。我应该将 SPARK_LOCAL_DIRS 配置为每个主/工作节点中的有效目录吗？如果是这样，该目录必须拥有的最小磁盘空间是多少？


  • 我还没有在spark-env.sh中配置SPARK_LOCAL_DIRS。已评论了 按照默认安装输出。

    如果不配置，则采用默认位置/temp

  • 我应该将 SPARK_LOCAL_DIRS 配置为每个中的有效目录吗 主/工作节点？是的。最好配置到一个具有应用程序可能需要的足够空间的位置。

  • 如果是这样，该目录必须拥有的最小磁盘空间是多少？

取决于您的应用程序大小、您期望运行的作业数量、每个工作线程生成的日志量、您要处理的数据量（中间洗牌数据将存储在此处）、缓存数量和您要处理的数据量缓存等等。 我在我的应用程序中配置了 100+GB 的空间，这当然取决于我刚才提到的参数。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

Apache Spark 无法创建临时目录 的相关文章

随机推荐

  • Prometheus 中的increase() 有时会将值加倍：如何避免？

    我发现对于某些图表 我从 Prometheus 获得双精度值 其中应该只是一个 我使用的查询 increase signups count 4m 刮擦间隔设置为建议最大 https stackoverflow com questions 4

  • Zend_Search_Lucene 与 SOLR

    我最近偶然发现了 Lucene 项目的 Zend Lucene 端口 我对 SOLR 有一点经验 所以我想知道它们两者之间有什么区别 特别是从性能和安装方面来看 据我所知 SOLR 需要在 Web 托管中运行 Tomcat serverle

  • XCode 调试器停止并在“停止”按钮上显示 SIGKILL

    我在 MacOS Lion 上使用 XCode 4 2 在模拟器中调试 iPhone iPad 应用程序时 我使用 XCode 工具栏上的 停止 按钮 产品 停止 来退出应用程序 此后 XCode 通常会打开 main m 文件 将执行指针

  • 如何获取DataTables中的页数

    我正在与数据表 http datatables net index我需要知道表当前包含的页数 这当然取决于每页的行数和总行数 并且可能会因用户操作而改变 有人知道如何访问这个值吗 我相信 iTotalPages 就是您所追求的 http d

  • 如何在 Julia 中将 Float64 矩阵转换为 RGB 通道矩阵？

    假设我有以下矩阵 img 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

  • 随机化字符串[重复]

    这个问题在这里已经有答案了 我是 C 新手 所以不要因为我的愚蠢而责怪我 我正在开发一个应用程序 该应用程序应该随机化一个单词并给出它的长度 例如您写一个单词 Line 它会给您 iLen 目前我确信只有这部分有效 private void

  • 单元测试中的序列化异常

    我的 Visual Studio 2010 单元测试遇到问题 每当出现问题并抛出一种类型的异常时 UnitTestAdapter 就会抛出 SerializationExceptions 告诉我他无法反序列化抛出的异常 在我创建的单元测试中

  • 如何获取使用 asp .net 检查的 gridview 内的复选框的值

    我在 gridview 中使用复选框 我在第一个单元格中使用它 当我在运行时选择复选框时 我需要获取这些值 但是在选择或单击复选框时 它不是查找或值取为 FALSE 如何在 asp net 后端和 C 代码中编写

  • git 错误：无法将一些引用推送到远程

    我现在无法推动 尽管昨天我可以做到 当我使用git push origin master 我收到错误 git remote v origin https github com REDACTED git fetch origin https

  • 我们到底为什么要使用NoSQL？ [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 了解了 NoSQL 提供的一些优势 可扩展性 可用性等 后 我仍然不清楚为什么网站想要使用非关系数据库 我可以在这方面获得一些帮助 最好是有一个

  • 在具有日期时间索引的行之间执行计算并将它们放入新列中

    我有一个数据框 由这段代码生成 import pandas as pd import datetime as dt datarange pd date range 01 05 2018 00 00 00 periods 50 freq 4H

  • 当窗口打开时，window.close = true 如何？

    我正在单步执行代码 我意识到我无法关闭窗口 因为 DispHTMLWindow2 对象 close 属性仍然为 true if winObject closed true winObject close 问题是winObject close

  • 带有可选参数的 Groovy 闭包

    我想定义一个带有一个参数的闭包 我用it 有时我想向闭包传递另一个附加参数 我怎样才能做到这一点 您可以将第二个参数设置为默认值 例如 null def cl a b null gt if b null print Passed b the

  • “addEventListener”不适用于 Chrome 扩展程序

    我向窗口添加了一个 addEventListener 但它返回以下错误 未捕获的类型错误 无法在 EventTarget 上执行 addEventListener 需要 2 个参数 但仅存在 1 个 在 window addEventLis

  • 通过 sapply 使用多列作为变量

    我有一个dataframe我想应用一个函数 该函数获取三列的值并计算三个值之间的最小差异 dataset df lt data frame a sample 1 100 10 b sample 1 100 10 c sample 1 100

  • 如何从 select2 多选中的选项列表中删除选定的选项并按选定的顺序显示选定的选项

    我的表单中有 select2 多选字段 我想在选择该选项后从下拉列表中删除所选选项 如果从列表中删除它 则再次将其添加到列表中 而且添加的项目应该与他们选择的顺序相同 当前的 select2 4 0 不会删除选定的项目 而是按照选定的项目在

  • 字符串参数“migrationId”不能为空

    如果这个问题已经得到解答 请提前道歉 但我老实说 我已经深入挖掘 找不到与此错误相关的任何内容 简而言之 我无法在 ASP NET Core 1 1 2 项目中首先使用代码对数据库进行任何更新 它抛出异常 因为它缺少一个参数 我猜这与 PM

  • JVM 将内存发送回操作系统[重复]

    这个问题在这里已经有答案了 我有一个关于 JVM 内存管理的问题 至少对于 SUN 来说 我想知道如何控制 JVM 将未使用的内存发送回操作系统 在我的例子中是 Windows 我写了一个简单的java程序来说明我的期望 使用 Dcom s

  • 如何在MySQL Workbench中生成整个数据库脚本？

    我想获取整个数据库 在哪里可以找到数据库文件 有没有一种方法可以将整个数据库的所有数据写入一个文本文件 如 SQL Server 中的文件 如何在 Workbench 中为数据库生成 SQL 脚本 In 中央工作台 默认的 主页 选项卡 连

  • Apache Spark 无法创建临时目录

    我是 Apache Spark 的新手 尝试从我的应用程序 tomcat 创建 SparkConf 我注意到以下错误 ERROR RMI TCP Connection 4 127 0 0 1 DiskBlockManager logErro

热门标签