如何升级spark

2019-09-30 15:17:17 | 编辑

spark on yarn的环境下如何升级spark?怎样升级spark的运行环境?

 

 

登录后即可回复 登录 | 注册
    
  • admin
    admin

    spark的运行环境是由你配置的spark.yarn.archive或spark.yarn.jars来决定的(如果没有配置就会每次上传sparkhome/jars里面的jar到集群),所以你升级spark,只要把新版sparkhome/jars里面上传到spark.yarn.archive或spark.yarn.jars对应的位置即可。就是这么简单,只需要更新spark jars就可以了

     

    至于spark客户端(提交sp

关注编程学问公众号