程序员经验分享-hwhale

如何使用 Maven 构建 Spark 1.2（给出 java.io.IOException：无法运行程序“javac”）？

2023-12-10

我正在尝试使用 Maven 构建 Spark 1.2。我的目标是在 Hadoop 2.2 上使用 PySpark 和 YARN。

我发现这只能通过使用 Maven 构建 Spark 来实现。首先，这是真的吗？

如果是的话，下面的日志有什么问题呢？我该如何纠正这个问题？

C:\Spark\spark-1.2.0>mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests
clean package
Picked up _JAVA_OPTIONS: -Djava.net.preferIPv4Stack=true
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] Spark Project Parent POM
[INFO] Spark Project Networking
[INFO] Spark Project Shuffle Streaming Service
[INFO] Spark Project Core
[INFO] Spark Project Bagel
[INFO] Spark Project GraphX
[INFO] Spark Project Streaming
[INFO] Spark Project Catalyst
[INFO] Spark Project SQL
[INFO] Spark Project ML Library
[INFO] Spark Project Tools
[INFO] Spark Project Hive
[INFO] Spark Project REPL
[INFO] Spark Project YARN Parent POM
[INFO] Spark Project YARN Stable API
[INFO] Spark Project Assembly
[INFO] Spark Project External Twitter
[INFO] Spark Project External Flume Sink
[INFO] Spark Project External Flume
[INFO] Spark Project External MQTT
[INFO] Spark Project External ZeroMQ
[INFO] Spark Project External Kafka
[INFO] Spark Project Examples
[INFO] Spark Project YARN Shuffle Service
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Building Spark Project Parent POM 1.2.0
[INFO] ------------------------------------------------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ spark-parent ---
[INFO] Deleting C:\Spark\spark-1.2.0\target
[INFO]
[INFO] --- maven-enforcer-plugin:1.3.1:enforce (enforce-versions) @ spark-parent
 ---
[INFO]
[INFO] --- build-helper-maven-plugin:1.8:add-source (add-scala-sources) @ spark-
parent ---
[INFO] Source directory: C:\Spark\spark-1.2.0\src\main\scala added.
[INFO]
[INFO] --- maven-remote-resources-plugin:1.5:process (default) @ spark-parent --
-
[INFO]
[INFO] --- scala-maven-plugin:3.2.0:compile (scala-compile-first) @ spark-parent
 ---
[INFO] No sources to compile
[INFO]
[INFO] --- build-helper-maven-plugin:1.8:add-test-source (add-scala-test-sources
) @ spark-parent ---
[INFO] Test Source directory: C:\Spark\spark-1.2.0\src\test\scala added.
[INFO]
[INFO] --- scala-maven-plugin:3.2.0:testCompile (scala-test-compile-first) @ spa
rk-parent ---
[INFO] No sources to compile
[INFO]
[INFO] --- maven-dependency-plugin:2.9:build-classpath (default) @ spark-parent
---
[INFO] Wrote classpath file 'C:\Spark\spark-1.2.0\target\spark-test-classpath.tx
t'.
[INFO]
[INFO] --- gmavenplus-plugin:1.2:execute (default) @ spark-parent ---
[INFO] Using Groovy 2.3.7 to perform execute.
[INFO]
[INFO] --- maven-site-plugin:3.3:attach-descriptor (attach-descriptor) @ spark-p
arent ---
[INFO]
[INFO] --- maven-shade-plugin:2.2:shade (default) @ spark-parent ---
[INFO] Including org.spark-project.spark:unused:jar:1.0.0 in the shaded jar.
[INFO] Replacing original artifact with shaded artifact.
[INFO]
[INFO] --- maven-source-plugin:2.2.1:jar-no-fork (create-source-jar) @ spark-par
ent ---
[INFO]
[INFO] --- scalastyle-maven-plugin:0.4.0:check (default) @ spark-parent ---
[WARNING] sourceDirectory is not specified or does not exist value=C:\Spark\spar
k-1.2.0\src\main\scala
Saving to outputFile=C:\Spark\spark-1.2.0\scalastyle-output.xml
Processed 0 file(s)
Found 0 errors
Found 0 warnings
Found 0 infos
Finished in 32 ms
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Building Spark Project Networking 1.2.0
[INFO] ------------------------------------------------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ spark-network-common_2
.10 ---
[INFO] Deleting C:\Spark\spark-1.2.0\network\common\target
[INFO]
[INFO] --- maven-enforcer-plugin:1.3.1:enforce (enforce-versions) @ spark-networ
k-common_2.10 ---
[INFO]
[INFO] --- build-helper-maven-plugin:1.8:add-source (add-scala-sources) @ spark-
network-common_2.10 ---
[INFO] Source directory: C:\Spark\spark-1.2.0\network\common\src\main\scala adde
d.
[INFO]
[INFO] --- maven-remote-resources-plugin:1.5:process (default) @ spark-network-c
ommon_2.10 ---
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ spark-netw
ork-common_2.10 ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] skip non existing resourceDirectory C:\Spark\spark-1.2.0\network\common\s
rc\main\resources
[INFO] Copying 3 resources
[INFO]
[INFO] --- scala-maven-plugin:3.2.0:compile (scala-compile-first) @ spark-networ
k-common_2.10 ---
[WARNING] Zinc server is not available at port 3030 - reverting to normal increm
ental compile
[INFO] Using incremental compilation
[INFO] compiler plugin: BasicArtifact(org.scalamacros,paradise_2.10.4,2.0.1,null
)
[INFO] Compiling 42 Java sources to C:\Spark\spark-1.2.0\network\common\target\s
cala-2.10\classes...
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] Spark Project Parent POM ........................... SUCCESS [  5.267 s]
[INFO] Spark Project Networking ........................... FAILURE [  1.922 s]
[INFO] Spark Project Shuffle Streaming Service ............ SKIPPED
[INFO] Spark Project Core ................................. SKIPPED
[INFO] Spark Project Bagel ................................ SKIPPED
[INFO] Spark Project GraphX ............................... SKIPPED
[INFO] Spark Project Streaming ............................ SKIPPED
[INFO] Spark Project Catalyst ............................. SKIPPED
[INFO] Spark Project SQL .................................. SKIPPED
[INFO] Spark Project ML Library ........................... SKIPPED
[INFO] Spark Project Tools ................................ SKIPPED
[INFO] Spark Project Hive ................................. SKIPPED
[INFO] Spark Project REPL ................................. SKIPPED
[INFO] Spark Project YARN Parent POM ...................... SKIPPED
[INFO] Spark Project YARN Stable API ...................... SKIPPED
[INFO] Spark Project Assembly ............................. SKIPPED
[INFO] Spark Project External Twitter ..................... SKIPPED
[INFO] Spark Project External Flume Sink .................. SKIPPED
[INFO] Spark Project External Flume ....................... SKIPPED
[INFO] Spark Project External MQTT ........................ SKIPPED
[INFO] Spark Project External ZeroMQ ...................... SKIPPED
[INFO] Spark Project External Kafka ....................... SKIPPED
[INFO] Spark Project Examples ............................. SKIPPED
[INFO] Spark Project YARN Shuffle Service ................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 8.048 s
[INFO] Finished at: 2015-02-09T10:17:47+08:00
[INFO] Final Memory: 49M/331M
[INFO] ------------------------------------------------------------------------
[**ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.0:compi
le (scala-compile-first) on project spark-network-common_2.10: wrap: java.io.IOE
xception: Cannot run program "javac": CreateProcess error=2, The system cannot f
ind the file specified -> [Help 1]**
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit
ch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please rea
d the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionE
xception
[ERROR]
[ERROR] After correcting the problems, you can resume the build with the command

[ERROR]   mvn <goals> -rf :spark-network-common_2.10

我首先安装了 JRE 而不是 JDK。我的环境变量仍然引用 JRE 文件夹，因此它找不到 javac.exe 二进制文件。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Maven

apachespark

PySpark

如何使用 Maven 构建 Spark 1.2（给出 java.io.IOException：无法运行程序“javac”）？ 的相关文章

随机推荐

  • 在 beforeunload 事件处理程序中停止页面卸载

    在用户导航页面之前 代码会检查他是否编辑了某些表单字段 如果他这样做了 我会显示一个模式窗口Yes and No纽扣 如果他单击 否 模式应关闭并且用户仍保留在该窗口上 如果是 保存更改并卸载 window bind beforeunloa

  • 在我的 Mac 上的 gdb 7.6 上运行 make 时出错

    我在运行 make for gdb 时遇到以下错误 这是在我的 Mac 上运行配置后的结果 该 Mac 运行 OS X 10 8 5 和 i7 内部处理器 海湾合作委员会版本是 gcc v Configured with prefix Ap

  • 如何在MySQL 5 .7中实现CTE功能？

    我有一个 USERSEARCH 表 应该用于快速搜索用户的子字符串 此功能用于在有人输入用户名或姓名时进行自动完成搜索 但是 我感兴趣的查询只会显示搜索者关注的用户子集的匹配项 这可以在 USERRELATIONSHIP 表中找到 USER

  • Spring @Autowired(required = true) 为 null [重复]

    这个问题在这里已经有答案了 我有一个带有 JSF 2 结束 Spring 4 3 的网络模块 在我使用的支持豆中 Autowired用于 JAR 服务的 DI 在 EAR 模块中有 WAR JAR 和 ServiceSpring 和带有 S

  • 使用的目的是什么？ [复制]

    这个问题在这里已经有答案了 DUPE C 中 using 的用法 我看到人们使用以下内容 我想知道它的目的是什么 是不是对象在被垃圾回收使用后就被销毁了 例子 using Something mySomething new Somethin

  • Laravel 4 嵌套资源控制器 Route::resource('admin/photo', 'PhotoController');不工作

    在 Laravel 4 中 我尝试设置嵌套资源控制器 in 路线 php Route resource admin photo Controllers Admin PhotoController in 应用程序 控制器 管理 PhotoCo

  • 访问 iframe 功能

    这个问题似乎只发生在chrome中 这是 iframe 代码 p lalalalallalala p 这就是我创建 iframe 的方式

  • Google Appengine 上的 Google Guice：使用工作 _ah 进行映射

    我有一个 Google Appengine Guice Wicket 应用程序 我的问题是 由于映射 我无法再访问 ah admin 页面 我的 Servlet 模块说 serve with WicketServlet class getW

  • Flutter 蓝牙外部条码扫描器

    我需要使用通过蓝牙连接到我的设备的外部条形码扫描仪 它被识别为键盘 它运行良好 我可以获取文本字段内条形码的内容 问题是我需要将焦点设置到 TextField 才能获取条形码的内容 有没有办法让当前屏幕监听键盘事件 这样我就可以获取数据而无

  • 如何缩放整个div？

    我现在正在玩一个函数这一页 如果您单击 who 部分 div 就会旋转 我希望它能够缩放并使用页面 这可能吗 如何才能做到这一点 旋转后 将其宽度和高度设置为页面的宽度和高度 who rotate angle 90 bind click f

  • 列表中的前 n 项（包括重复项）

    尝试找到一种有效的方法来获取一个非常大的列表中的前 N 个项目 可能包含重复项 我首先尝试了排序和切片 这很有效 但这似乎没有必要 如果您只想要前 20 名成员 则不需要对非常大的列表进行排序 所以我写了一个递归例程来构建 top n 列表

  • 无法让 document.execCommand('undo') 在浏览器中以相同的方式工作

    我有一些在文本框上实现上下文菜单的代码 上下文菜单有一个Undo and Redo通过使用调用浏览器本机方法的项目document execCommand undo 这段代码在基于 Chromium 的浏览器上按照我的要求运行 但在 Fir

  • 如何在 Hive 中按原始顺序选择行？

    我想从 mytable 中选择具有确定数字的原始行中的行 众所周知 关键字 limit 将随机选择行 mytable 中的行是按顺序排列的 我只想按原始顺序选择它们 例如 选择 10000 行 即从第 1 行到第 10000 行 如何实现这

  • 对象“_Global”的方法“Range”失败

    我试图循环遍历三个下拉列表中的项目 其中包含命名范围 A B 和 C 摘要输出根据所选下拉列表中的项目而变化 我想复制每个摘要输出 19 行 x 15 列的表格 并将它们粘贴到新工作表 表 3 中 例如 如果列表 A 中有 3 个项目 列表

  • 在 VueJS 中写入全局变量

    我在用 使用 VueJs 2 的全局数据作为我的起点 因为我只想读 写一个变量 我已在现有代码中添加了 click 事件来修改变量 但收到 未捕获的引用错误 myGlobalStuff 未定义 谁能看到我做错了什么 HTML div myG

  • %%F 变量始终引用 FOR 循环中的最后一项而不是当前项

    这看起来应该相当简单 但我在 DOS 中使用 FOR 循环来正确报告它正在评估的当前项目时遇到困难 我有一个简单的 DOS 批处理文件 它循环遍历目录中的所有文件并重命名它们 假设我的目录包含以下文件 File1 txt File2 txt

  • 模拟器无法连接互联网

    我的机器使用 WiFi 连接上网 并且 LAN 卡处于空闲状态 它不在代理或防火墙后面 但不知何故 我的模拟器的浏览器没有加载任何页面 这意味着模拟器无法连接到互联网 我搜索了很多但没有运气 可能的原因是什么 请帮忙 提前致谢 我在 OS

  • 为什么下面的代码会导致死锁

    我有以下课程 public class LockTester implements Runnable private static Locker locker new Locker public static void main Strin

  • JaxB 重命名具有重复名称的类

    我必须使用一个包含以下代码片段的架构 其中名称object是重复的

  • 如何使用 Maven 构建 Spark 1.2（给出 java.io.IOException：无法运行程序“javac”）？

    我正在尝试使用 Maven 构建 Spark 1 2 我的目标是在 Hadoop 2 2 上使用 PySpark 和 YARN 我发现这只能通过使用 Maven 构建 Spark 来实现 首先 这是真的吗 如果是的话 下面的日志有什么问题呢

热门标签