之前在IntelliJ idea搞过tomcat的远程调试，其实spark程序的远程调试和tomcat的远程调试是一样的。我的场景是要对打包好运行在spark集群的jar包进行调试，虽然网上有调试master和worker，但我是yarn模式，我只需要调试我spark-submit提交的app。
1.spark-submit参数配置
1.1在spark-submit提交命令加上参数：
--driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"
1.2参数说明：
-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现，包含若干子选项：
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
server=y y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。调试spark一点要设置y,让程序等待idea连接，否则就直接执行过去了
1.3完整的spark-submit提交命令：
./spark-submit --class org.apache.spark.examples.SparkPi --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" ../examples/jars/spark-examples_2.11-2.3.0.jar 100
注 --master这些参数我都配置在spark-default.conf中了，这里不赘述。
执行命令后会出现下面的监听等待信息：
Listening for transport dt_socket at address: 8888
然后我们用idea来远程调试连接就可以了。
2 idea远程调试配置
idea远程调试spark配置就和远程调试tomcat一样了。
2.1打开Intellij IDEA，在顶部工具栏靠右的地方服务下拉框选择”Edit Configurations…”，进去之后点击+号，选择”Remote”，按照下图的只是填写红框内的内容，其中host为远程代码运行的机器的ip/hostname，port为上一步指定的debug_port，本例是8888，和spark-submit driver-java-options指定的端口对应。
除了红框中的其他默认就好。
另外远程调试有两种模式，或者说有两种方式可选：
attach模式， 运行debuggee，让其监听某个ip:port，然后等待debugger启动并连接这个端口，然后就可以在debugger上断点调试。
listen模式，让debugger监听某个ip:port, 然后启动debugee连接这个端口，接下来在debugger上断点调试。
3 进行远程调试
在运行spark-submit后，在代码中打断点，然后点击debug按钮
控制台打印如下信息，并且代码自动运行到断点处。
Connected to the target VM, address: 'master:8888', transport: 'socket'
到此，spark远程调试配置成功。
注：必须使用client模式而不是cluster模式，否则不会开启debug模式，程序会执行过去，而不会等待idea连接
