spark提交的目的是什么？从我所见，它只是将属性和 jar 添加到类路径中。如果我使用的是 spring boot，我可以避免使用 spark-submit，只需打包一个包含我想要的所有属性的胖罐 spark.master 等...
ppl 能看出这样做有什么缺点吗？
最近我遇到了同样的情况 - 并且还尝试坚持使用 spring boot exec jar，但不幸的是最终失败了，但我快要结束了。我放弃时的状态是 - spring boot jar 构建时不包含 spark/hadoop 库，我在集群上运行它，其中 -Dloader.path='spark/hadoop libs 列表从集群上的 SPARK_HOME 和 HADOOP_HOME 中提取。我最终使用了 2d 选项 - 使用阴影插件构建 fat jar 并像往常一样通过 spark submit 运行它，这似乎是一个有点奇怪的解决方案，但仍然可以正常工作
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句