我想配置Apache Spark Master与Zookeeper连接
我已经安装了它们并运行Zookeeper。
在spark-env.sh中，我添加了两行：
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=localhost:2181
但是当我用./sbin/start-all.sh启动Apache spark时
显示错误
/home/deploy/spark-1.0.0/sbin/../conf/spark-env.sh: line 46: -Dspark.deploy.recoveryMode=ZOOKEEPER: command not found
/home/deploy/spark-1.0.0/sbin/../conf/spark-env.sh: line 47: -Dspark.deploy.zookeeper.url=localhost:2181: command not found
我想知道如何在spark-env.sh上添加Zookeeper设置
很可能您已将这些行直接添加到文件中，如下所示：
export SPARK_PREFIX=`dirname "$this"`/..
export SPARK_CONF_DIR="$SPARK_HOME/conf"
...
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=localhost:2181
并且当由start-all.sh调用时，bash抱怨这些-Dspark...命令无效。请注意，这spark_config.sh是一个bash脚本，应包含有效的bash表达式。
继在配置指南高可用性，您应该设置SPARK_DAEMON_JAVA_OPTS与选项：spark.deploy.recoveryMode，spark.deploy.zookeeper.url，和spark.deploy.zookeeper.dir。
使用数据，您需要添加一行，spark-conf.sh如下所示：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=localhost:2181"
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句