AWSEMRクラスターを使用しています。私はジョブを実行するためにSparkドライバーとApacheZeppelin RestAPIを実験してきました。私はZeppelinで数百のアドホックジョブを実行しましたが、何の心配もありませんでした。そのため、本番環境でZeppelin RestAPIを使用することを検討しています。RestAPIを使用してジョブを送信します。
生産中のZeppelinで安定性の問題を経験した人はいますか？
マルチユーザー環境（+/- 15ユーザー）で本番環境で実行されているzeppelinがありますが、あまり安定していません。より安定させるために、マスターノードではなく独自のノードでzeppelinを実行します。
とにかく、私は次の問題を見つけました：
ですから、人々がそれに依存している本番環境にはまだ入れません。しかし、テストとデータ検出には問題ありません。ツェッペリンは明らかにまだベータ段階にあります。
また、マスターノードで実行するのではなく、独自のインスタンスをセットアップして、クラスターにリモートで接続できるようにします。これにより、はるかに安定します。頑丈なノードに置き、一晩再起動します。
私が遭遇したバグのほとんどはすでにJiraにあり、開発者は物事を改善するために一生懸命取り組んでいます。安定性はリリースごとにどんどん良くなり、バージョンごとにメンテナンスの負荷が下がっていくので、確かに可能性があります。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加