我正在尝试为独立模式下的高可用性设置多主火花。
我有6个节点集群：6个工作者和2个主节点可用。
所有6位工作人员都显示在Master 1 UI上，而Spark Master 2没有列出任何工作人员？我还需要启动Master 2上的工人吗？
还是在主机1发生故障的情况下，ZooKeeper会将那些工作切换到主机2？
还有一件事是我在同一节点上为kafka设置了ZooKeeper。现在我需要为Spark单独安装ZooKeeper吗？新的ZooKeeper是否需要与Kafkas ZooKeeper具有不同的端口号？
如果管理员1发生故障，动物园管理员是否会将工作人员切换到管理员2？
是的，它会的。如果您正确设置了所有内容，则可以杀死主服务器1，等待几秒钟，然后您将看到主服务器2接管工作，并查看所有可用的工作人员资源移至那里。
现在我需要为Spark单独安装Zookeeper吗？
这是您的团队需要做出的设计决策，但通常ZooKeeper旨在成为针对多个应用程序的集中式配置。在我们的生产环境中，我们只有一个ZooKeeper集群同时连接到Kafka和Spark。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句