Windows 10 で Apache Spark を起動して実行するのは、特にビッグ データに不慣れな場合は、説明書なしで家具を組み立てようとしているような感じがするかもしれません。しかし、正直に言って、扱いやすいチャンクに分割すれば、それほどひどいものではありません。主なハードルは、Java のセットアップ、環境変数、およびシステム パスが正しいことを確認することです。クリックすると、非常にクールなデータ処理を実行できる Spark 環境が得られます。さらに、これをセットアップすると、Spark SQL スクリプトの実行からデータのストリーミングまで、すべて PC から直接実行できます。なぜこんなに複雑に思えることがあるのかわからないのですが、Windows は時々必要以上に難しくするのが好きですよね。次のガイドは、一種のウォークスルーです。これにより、髪の毛を抜くことなく、オンライン フォーラムを手探りで調べるよりも早く Spark を実行できるようになります。
Windows 10にSparkをインストールする方法
WindowsでSparkをセットアップするには、基本的にJavaを入手し、いくつかの環境変数を設定し、Sparkをダウンロードし、すべてがシステムパスに含まれていることを確認するspark-shell必要があります。これらが完了したら、コマンドプロンプトを開いて入力すると、Sparkのインタラクティブシェルが起動するはずです。起動しない場合は、セットアップに何らかの問題があります。ここでの目標は、シームレスなセットアップを実現し、毎回環境の問題に煩わされることなくデータプロジェクトにすぐに取り組めるようにすることです。セットアップが失敗する場合は、多くの場合、PATHの間違いやJavaのバージョンの不一致が原因です。
Java開発キット（JDK）をインストールする
- – Oracle の公式サイト ( Java SE ダウンロード) から最新の JDK をダウンロードします。 – セットアップによっては、AdoptOpenJDK または Amazon Corretto 経由で OpenJDK を使用することもできますが、Spark のバージョンと互換性があることを確認してください。 – インストーラーを実行し、ウィザードを実行して、インストール ディレクトリ (通常は のような場所) を書き留めます
C:\Program Files\Java\jdk-XX. X.X。 なぜでしょうか？SparkはJVM上で実行されるため、システムPATHにJavaが利用可能であることは必須です。少し奇妙に思えるかもしれませんが、ここではJavaが必須であり、設定が間違っていると「Javaが見つかりません」などのエラーが発生したり、Sparkの起動に問題が発生したりします。
JAVA_HOME環境変数を設定する
- – 「このPC」 を右クリック> 「プロパティ」 > 「システムの詳細設定」を選択します。 – 「環境変数」をクリックします。 – 「システム環境変数」の下で、「新規」をクリックします。 – 変数名として「JAVA_HOME」と入力します。 – 値には、JDK のインストール パスを入力します (例:
C:\Program Files\Java\jdk-XX. X.X)。 – 「OK」をクリックして、すべてのダイアログを閉じます。 これにより、システムとSparkツールが毎回パスを指定することなくJavaを見つけられるようになります。一部のマシンでは、最初は失敗しても、再起動または再ログイン後に動作するようになります。
Apache Sparkをダウンロード
- -公式 Spark ダウンロード ページ に移動します。 – 最新の Spark リリースを選択し、Hadoop 用に事前に構築されたパッケージを選択します (Hadoop を個別にインストールする必要がないため、作業が簡素化されます)。 – ZIP をダウンロードし、 などの場所に解凍します
C:\spark。 なぜでしょうか？Spark はすべてのファイルを含むディレクトリを必要とするため、それを解凍しておくと、後で環境変数やコマンドで参照しやすくなります。設定によっては、解凍後にスペースや特殊文字を含むパスが生成される場合がありますC:\spark。Users フォルダの奥深くではなく、シンプルなパスを選択するようにしてください。
SPARK_HOME環境変数を設定する
- – もう一度、[環境変数]に移動します。 – SPARK_HOMEという新しいシステム変数を追加します。 – 値を、Spark を抽出したディレクトリに設定します (例:
C:\spark)。 – [OK] をクリックします。 これはコマンドラインツールにSparkの場所を伝えるものです。設定によっては、これが正しく設定されていないと、コマンドがspark-shell正しく動作しなかったり、ファイルが見つからないというエラーが表示されたりすることがあります。
JavaとSparkをシステムPATHに追加する
- – 引き続き「環境変数」で、「システム環境変数」の下にあるPath変数を見つけて、「編集」をクリックします。 – 次の新しいエントリを追加します。
%JAVA_HOME%\bin%SPARK_HOME%\bin
– すべてを保存します。
spark-submitなぜでしょうか？これらのディレクトリには、、、 Javaツールなどの実行ファイルが含まれておりspark-shell、コンソールでコマンドを入力する際にWindowsがそれらの場所を認識する必要があるためです。この手順は非常に重要です。パスを1つでも間違えると、Sparkが起動しなくなります。
インストールの確認
- – 新しい を開きますCommand Prompt。 – 入力し
spark-shellて Enter キーを押します。 – Spark REPL が起動したら成功です。ログがスクロールし、その後 Spark プロンプトが表示されます。 – そうでない場合は、環境変数と PATH を再確認してください。場合によっては、コマンドプロンプトまたはマシンを再起動する必要があります。 設定によってはすぐには動作しない場合があります。Windowsは起動時に環境変数をキャッシュするため、再起動すると改善されます。また、JavaのバージョンがSparkのバージョンで推奨されているバージョンと一致していることを確認してください。不一致があると問題が発生する可能性があります。
Windows 10にSparkをインストールする方法のヒント
- Java バージョンが Spark バージョンと互換性があることを確認してください。古いバージョンの Java ではランタイム エラーが発生する可能性があります。
- 環境変数のパスを整理し、冗長なエントリや競合するエントリを追加しないでください。
- バグ修正や新機能の恩恵を受けられるように、Spark と Java の更新を頻繁に確認してください。
- Chocolatey や Scoop などのパッケージ マネージャーを使用すると、特に将来のアップデートの際にインストールがスムーズになります。
- コマンド プロンプトまたは PowerShell の操作に慣れると、トラブルシューティングのスピードが上がります。
よくある質問
Spark を実行するには Hadoop をインストールする必要がありますか?
必ずしもそうではありません。Sparkはスタンドアロンモードで実行できるため、Hadoopクラスターで分散処理を行う必要がない限り、Hadoopは不要です。ただし、Hadoopをサポートするビルド済みのSparkパッケージをダウンロードすると、ローカルでのセットアップが簡単になります。
セットアップ後に次のようなコマンドspark-shellが機能しない場合はどうなりますか?
おそらく環境変数またはPATHの問題です。JAVA_HOMEとSPARK_HOMEが正しいこと、そして環境変数を変更した後にコマンドプロンプトを再起動したことを確認してください。
この点において Windows 10 は他の Windows バージョンと異なるのでしょうか?
実際にはそうではありません。手順は Windows 8、11、その他でほぼ同じですが、システム環境変数を設定するには管理者権限が必要であり、一部のパスが若干異なる場合があります。
そもそもなぜ Java が必要なのでしょうか?
SparkはJVM上で実行されるためです。Javaがインストールされ、環境変数に適切にリンクされていない場合、Sparkはほとんどの場合起動しません。
他の IDE を使用して Spark アプリを開発できますか?
はい、IntelliJ IDEA や Eclipse などの IDE は問題なく動作します。ただし、Spark ライブラリが適切にリンクされている必要があります (通常は Maven または Gradle の依存関係経由)。
まとめ
- 適切な JDK をインストールし、JAVA_HOMEを設定します。
- Spark をダウンロードし、簡単な場所に解凍します。
- SPARK_HOMEを設定し、JAVA_HOMEとSPARK_HOME の両方のbin ディレクトリをシステム PATH に追加します。
- すべてが機能するかどうかをテストするために実行します
spark-shell。
まとめ
Windows 10 で Spark を起動するのは最初は面倒かもしれませんが、環境変数と PATH をすべて正しく設定すれば、あとは簡単です。大規模なデータセットをローカルで処理できる機能は画期的なので、もっと多くの人が活用するべきです。各ステップをじっくりと進めてください。パスの見落としや Java の設定ミスがよくある原因ですが、そうすればきっと成功します。一度起動すれば、ビッグデータ分析の世界が目の前に広がります。この記事が、誰かがオンラインで延々と続く試行錯誤を回避し、Spark をすぐに使えるようになることを願っています。幸運を祈ります。データ処理を楽しんでください！