複数ノードを使ってApptainer + MPIでコンテナ間プロセス並列を試してみる
はじめに 前回記事にてWSL2を使い、1台のサーバ上でApptainerコンテナのプロセスをMPIにて並列実行できることを確認しました。 今回はその続きとして、2台のサーバ上で別々に稼働しているApptainerコンテナをMPIにて並列実行できるかを確認していきます。最終的には姫野ベンチマークを2ノード間で実行できるところまでをゴールとします。 実行環境 / 前提条件 今回、Apptainer + MPIを実行した環境は下記の通りです。 …
WSL2上でApptainer + MPIを使ったプロセス並列を試してみる
背景 初めて記事を投稿してみます。 私はこれまで単一ノード内で完結するようなSlurm/PBSジョブの面倒を見ることが多く、基本的にはDockerを使ったGPU並列計算を行うケースがほとんどでした。 しかし、計算規模が大きくなってくると複数ノードを利用したくなり、結果として、MPIを使ったコンテナ間通信を実現したくなりました。 この時、Docker + MPIを使ってコンテナ間の並列処理を実現しようとすると、どうしてもコンテナの名前解決 …