docker composeを使ってApache Sparkを構築する

docker composeを使ってApache Sparkを構築する

docker composeを使ってオープンソースの分散処理のフレームワークであるApache Sparkを構築するまでの手順を記述してます。

環境

  • OS CentOS Linux release 7.8.2003 (Core)
  • docker 19.03.12
  • docker-compose 1.25.4

docker-compose.ymlダウンロード

gitよりcloneします。

docker-compose.ymlの内容は以下となります。

実行

firewallを先に設定しておきます。

実行します。

Apache Spark起動

ブラウザから http://プライベートIP or サーバーアドレス:8080 にアクセスします。

上記の画面が表示されていれば構築は完了です。