異種族間における交渉の成立およびその限界に関する中間報告書

井戸中聖*1

Introduction

並列計算機において各ノード間のインターコネクションは年々高速化され、各ノードも高性能化かつコンパクト化されている。計算に使われるノードはできるだけその分散計算において、性能が均一化されることが要求され、統一規格化されたホモジニアスなアーキテクチャが採用される。

しかしながら、予算不足にあえぐ研究所では少しでも「そこにあるものを使って性能を高めないといけない逼迫した状況にあり」当「KooWells自由研究所」においてもその例に漏れない。

そこで、ヘテロジニアス/パラレル・アーキテクチャ（異種並列構造）を持つノードとして「Lunix」及び「Windows」混在での高速並列計を目指すこととする。また、その可能性と現時点での限界を明確にすることを趣旨とする。

Materials and methods

予算不足が深刻で、すぐには実機を調達できないため、Linux及びWindowsをそれぞれ２機（計４機）仮想環境で準備をして、その設定における実現性を試行した。

OSには以下を使用した。

(1) Linux1号機 ubuntu 20.04 LTS

(2) Linux2号機 CentOS Linux release 8.2.2004 (Core)

(3) Windows１号機 Windows 10 Pro 1909

(4) Windows２号機 Windows 10 Pro 1909

MPIソフトウェア、確認用ソフトウェアは以下を使用した

(1) Intel MPI Library 2019 for Linux (Update 7) 2019.7.217

(2) Intel Distribution for Python* (Linux) 2020.1.893

(3) Intel MPI Library 2019 for Windows (Update 7) 2019.7.216

(4) Intel Distribution for Python* (Windows) 2020.1.893

Python環境構築についてはpip/condaを一切使用せず、Intelのディストリビューションで準備された統一的な組み合わせ（etc. mklバージョンの統一など）のもと、検証を行った。

Windows機間ではHydraサービスによるノード間通信、Linux機間では公開鍵を交換設定した状態でのssh通信（パスワード認証なし）を行う。Windows機ではHydraサービスを起動するだけで済むが、Linux機間ではsshの特定の設定が必要となる。この設定方法・注意点については、本報告の趣旨から外れるため、別途報告する。

Windos機Linux機間ではどのような「異種族間ネゴシエーション（交渉）・コネクト（結合）」をするのか不明であったため相互間のssh認証登録をした。（sshの認証を公開鍵情報を交換することによりパスワードなし認証とした）

これらの環境設定を行ったうえ、所定の共通プログラムを各ノードで実行するコマンドにて動作検証をおこなった。

Results

・Windows機同士間では問題なくコネクト（結合）動作した。なお、Windows機間ではsshの相互認証設定をしなくても動作可能であり、(Windows間では）ssh通信を使用していないことが読み取れる。

・Linux機同士間で問題なくコネクト（結合）動作した。仮想環境上で動作させるため、仮想的な接続としてtcp/ipによるsshしか選択肢がなかった。実機ではInfinibandなどの高速インターコネクトができるので、Linux間通信については改めて性能検証を行う予定である。

・異種族ではLinux→Windows 、Winows→Linuxの両方を確認した。Linux、Windowsのどちらが受け側であってもコネクト（結合）は成立しなかった。

$ mpiexec -n 2 -host Atropos -hostos linux python MPI_TEST01.py
[mpiexec@Atropos] match_arg (../../../../../src/pm/i_hydra/libhydra/arg/hydra_arg.c:91): unrecognized argument hostos

これは発信、受信のどちらかに問題（プロトコル不一致や定義不整合）があるのではなく、そもそもマニュアルに記載されている異種族間結合のオプションが、現バージョンに存在しないことが判明した。

マニュアル記載内容

-hostos <host OS>

特定のホストにインストールされているオペレーティング・システムを指定します。MPI プロセスは、このオプションの指示に従って各ホスト上で起動されます。デフォルト値は linux です。

引数

<arg>	文字列パラメーター。
linux	ホストには Linux* がインストールされています。これは、デフォルト値です。
windows	ホストには Windows* がインストールされています。

注意
このオプションは、–host オプションと組み合わせて使用されます。例えば、次のコマンドラインは、host1で a.exe を実行し、host2 で b.out を実行します。

$ mpiexec.hydra -n 1 -host host1 -hostos windows a.exe : -n 1 -host host2 -hostos linux ./a.out

本件についてはIntel社に問合せ中であるが、禁断のバイナリ・リバースを行っても、Windows側、Linux側ともに異種族結合オプション（-hostos)の実装がないことが判明している。