嗨，我将Zoostandalone集群与zookeeper一起使用，在进行Spark提交之前，我需要从Spark-Cluster中找到Leader节点。
我的问题是如何在所有spark-master节点上找到领导者节点：
1>可以从Zookeeper中获取吗？
2> spark-master是否公开了任何API来检查？
首先，在Spark集群中没有领导者节点。有一个活动主机，一个或多个备用主机和一个或多个从机。其次，当您将任务提交给Spark时，您无需知道哪个是活动的主服务器。您可以提供所有Spark Masters ip，群集将处理所有事情。
但是，如果您仍然想查看此信息，最简单的方法是访问通常在端口8080上可用的Web ui。您可以通过查看Spark Master进程详细信息来检查Web ui端口：
ps -ef | grep spark
stefan 12682 1 15 09:50 pts / 1 00:00:04 / usr / lib / jvm / java-8-oracle / bin / java -cp / usr / local / spark / conf /：/ usr / local / spark / jars / * -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark：// spark-ip：7077
通过访问位于http：// spark-ip：port的此Web ui ，您将可以查看有关该主服务器的所有详细信息。如果要以json格式查看此数据，请/json在末尾添加。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句