Spark 配置远程DEBUG

Spark远程调试

本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ IDEA。

1、了解jvm一些参数属性

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888

这里对上面的几个参数进行说明：

• -Xdebug 启用调试特性
• -Xrunjdwp 启用JDWP实现，包含若干子选项： transport=dt_socket，JPDA ，front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
• address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
• server=y y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
• suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。如果为n，则JVM不会暂停等待。

2、编译打包，正常打包即可。

a、放到spark服务器上跑之，执行：

bin/spark-submit 
--supervise 
--class cn.huorong.SampleTaskScan  
--name "testkdl1"  
--executor-memory 8192M 
--num-executors 6 
--executor-cores 2 
--master yarn 
--deploy-mode cluster 
--driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" testusdphive-2.0.jar \

b、也可在conf/spark-env.sh这个文件最后加入

export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"
      不过没有进行实际测试

执行结果会显示如下，监听8888端口，暂停等待调试器连接，如下

3,配置idea一些参数

host:服务器地址（ps:不清楚就去服务器上看一下那台机器有你配置的端口）port：提交参数配置的端口

4,打个断点，run debug

链接成功，此时spark服务器和idea状态