JP2014211767A - 情報処理システム、制御装置及び情報処理システムの制御方法 - Google Patents

Abstract

【課題】消費電力を低減した情報処理システム、制御装置及び情報処理システムの制御方法を提供する。【解決手段】並列計算機１は、伝送路を介して接続された複数のプロセッサ１１を備える。ジョブ管理サーバ２は、複数のプロセッサ１１のうち、投入されるジョブに応じた所定数のプロセッサ１１を接続する伝送路を経由する通信路を決定し、決定された通信経路で接続された所定数のプロセッサ１１にジョブを投入する。リンク制御サーバ３は、複数のプロセッサ１１に接続する伝送路のうち、通信経路が経由しない伝送路に接続されるプロセッサ１１の送受信回路を制御する。【選択図】図１

Description

本発明は、情報処理システム、制御装置及び情報処理システムの制御方法に関する。

従来、複数の計算ノードを有する並列計算機が数値計算によるシミュレーションを実行する技術が知られている。このような技術の一例として、シミュレーションの対象となる計算空間を複数の領域に分割し、分割した各領域のシミュレーションをそれぞれ異なる計算ノードに実行させる並列計算機システムが知られている。

並列計算機システムは、計算空間を複数の領域に分割し、分割した各領域を複数の計算ノードに対して規則的にマッピングする。つまり、並列計算機システムは、分割した各領域を、各領域の位置関係と同様の位置関係を有する計算ノードに対してマッピングする。そして、並列計算機システムは、各計算ノードにマッピングした領域のシミュレーションを各計算ノードに実行させることで、計算空間全体のシミュレーションを実行する。

ここで、例えば、津波などの３次元空間における現象をシミュレートする場合、３次元区間を分割した各領域に対しては、隣接する領域による影響が大きい。そして、各領域の距離が近いほど領域間の相関が強くなるシミュレーションを実行する場合には、通信する計算ノード間の距離が近いほど通信量が増加する。そのため、各計算ノードは、３次元空間における現象のシミュレーションを実行する場合には、自己に隣接する計算ノードとの通信が他の計算ノードとの通信に比べて非常に多くなる。そこで、並列計算機システムは、例えば、多次元直交座標のトポロジによる直接結合網で結合した複数の計算ノードを用いることで、シミュレーションを効率的に実行する。

さらに、並列計算機システムには、計算ノードをトーラス状（円環状）のトポロジによる直接結合網で結合したネットワークを有するシステムがある。この例では、複数の計算ノードのうち、それぞれ隣接する計算ノード同士がリンクを介して直接結合され、さらに、ネットワークの両端に位置する各計算ノードがリンクで直接結合される。このように接続された各計算ノードは、両端の計算ノード間でもメッシュ状のトポロジによる直接結合網よりも高速の通信を行う事ができる。そのため、トーラス状にノードを接続した並列計算機システムは、周期境界条件を用いたシミュレーションのように、計算空間の両端の間に相関が存在する場合にも、効率的にシミュレーションを実行できる。また、各計算ノード間の通信経路が増えるため、バイセクションバンド幅（Bisection Band width）が増える結果、各計算ノード間のトラフィックが減少する。ここで、バイセクションバンド幅とは、ネットワークを介して接続される複数の計算ノードを有する並列計算機システムを任意に分割した場合、分割された計算ノード群間の通信バンド幅をいう。並列計算機においては、バイセクションバンド幅の値が所定値以下にならないように設計することが、並列計算機全体の性能を担保するために必要となる。

また、並列プロセッサの情報伝達経路を決定する技術として、伝送先の座標点を含む多角形に対応するノードのうち、伝送先の座標点との距離が最小となる辺を有する多角形に対応するノードに順次情報を伝送していく従来技術がある。

特開平０１−１５６８６０号公報

しかしながら、並列計算機システムにおいて、物理的に接続されている各ノード間の経路における接続状態については、通信量が多い経路であっても通信量が少ない経路であっても同じような接続状態が確保されている。そのため、通信量が少なくバンド幅や転送速度が低くてもすむ経路において、無駄なバンド幅や転送速度が確保されていることになり、消費電力に無駄が生じてしまう。

また、伝送先の座標点を含む多角形の辺と座標点との距離から伝送先を決定する従来技術を用いても、消費電力を低減することは困難である。

開示の技術は、上記の課題に鑑みてなされたものであって、消費電力を低減した情報処理システム、制御装置及び情報処理システムの制御方法を提供することを目的とする。

本願の開示する情報処理システム、制御装置及び情報処理システムの制御方法は、一つの態様において、情報処理装置は、伝送路を介して接続された複数の演算処理部を備える。管理装置は、前記複数の演算処理部のうち、投入されるジョブに応じた所定数の演算処理部を接続する伝送路を経由する通信路を決定し、決定された通信経路で接続された前記所定数の演算処理部にジョブを投入する。制御装置は、前記複数の演算処理部に接続する伝送路のうち、前記通信経路が経由しない伝送路に接続される演算処理部の送受信回路を制御する。

本願の開示する情報処理システム、制御装置及び情報処理システムの制御方法の一つの態様によれば、消費電力を低減することができるという効果を奏する。

図１は、実施例に係る情報処理システムのブロック図である。 図２は、６次元の座標軸を表す図である。 図３は、プロセッサ同士のインタコネクト経路及びサービスプロセッサの接続を説明するための図である。 図４は、論理的な座標軸を示す図である。 図５は、プロセッサの故障がない場合の論理接続の一例の図である。 図６は、プロセッサの故障がある場合の論理接続の一例の図である。 図７は、実施例に係る並列計算機の詳細を表すブロック図である。 図８は、実施例に係る情報処理システムにおけるインタコネクト経路のレーンの縮退処理のフローチャートである。 図９は、論理座標の生成処理のフローチャートである。 図１０は、変形例に係る並列計算機の詳細を表すブロック図である。 図１１は、ジョブ管理サーバ及びリンク制御サーバのハードウェア構成の一例の図である。 図１２は、並列計算機における各ノードのハードウェア構成の一例の図である。

以下に、本願の開示する情報処理システム、制御装置及び情報処理システムの制御方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する情報処理システム、制御装置及び情報処理システムの制御方法が限定されるものではない。

図１は、実施例に係る情報処理システムのブロック図である。図１に示すように、本実施例に係る情報処理システムは、並列計算機１、ジョブ管理サーバ２、リンク制御サーバ３及び入力装置４を有する。

並列計算機１は、複数の演算処理装置としてのプロセッサ１１及びシステム制御装置としてのサービスプロセッサ１２を有する。

プロセッサ１１は、複数の座標軸を有するように配置される。例えば、本実施例では、プロセッサ１１は、図２に示すように、Ｘ，Ｙ，Ｚ，Ａ，Ｂ及びＣの各座標軸の位置を用いて６次元座標空間における位置が特定される。図２は、６次元の座標軸を表す図である。座標軸Ｘ，Ｙ，Ｚは３次元空間を形成する。また、座標軸Ａ，Ｂ，Ｃは、例えば、それぞれＸ軸方向，Ｙ軸方向，Ｚ方向に並ぶプロセッサ１１の冗長性を確保するための座標軸である。座標軸Ｘ上のプロセッサ１１と座標軸Ａ上のプロセッサ１１とは、３次元トーラスの接続トポロジにより接続される。座標軸Ｙ上のプロセッサ１１と座標軸Ｂ上のプロセッサ１１とは、３次元トーラスの接続トポロジにより接続される。座標軸Ｚ上のプロセッサ１１と座標軸Ｃ上のプロセッサ１１とは、３次元トーラスの接続トポロジにより接続される。すなわち、Ｘ−Ａ平面上のプロセッサ同士は、３次元トーラスの接続トポロジによりそれぞれ接続される。また、Ｙ−Ｂ平面上のプロセッサ同士は、３次元トーラスの接続トポロジによりそれぞれ接続される。さらに、Ｚ−Ｃ平面上のプロセッサ同士は、３次元トーラスの接続トポロジによりそれぞれ接続される。例えば、Ｙ軸とＢ軸とが３次元トーラスを形成することで、Ｙ軸方向とＢ軸方向とが作るＹ−Ｂ平面上のプロセッサ１１の中に壊れたものがある場合でも、壊れたプロセッサ１１を迂回してＹ−Ｂ平面上のプロセッサ１１間の接続を維持することができる。ここで、プロセッサ１１は、６次元座標空間で位置を特定できるように配列されているが、各座標軸は固定されてはいない。すなわち、プロセッサ１１における６方向は、Ｘ，Ｙ，Ｚ軸がそれぞれ直行している状態であり、且つＡ，Ｂ，ＣがそれぞれＸ軸、Ｙ軸、Ｚ軸の冗長方向となるように、実行するジョブに合わせてＸ，Ｙ，Ｚ，Ａ，Ｂ，Ｃが動的に割り当てられる。

図３は、プロセッサ同士のインタコネクト経路及びサービスプロセッサの接続を説明するための図である。図３では、プロセッサ１１の一例として、プロセッサ１１１〜１１４の４つのプロセッサを表示している。そして、プロセッサ１１１〜１１４の内、隣接するプロセッサ１１同士はインタコネクト経路１３で接続されている。各インタコネクト経路１３は、それぞれ、複数のレーン（例えば、８レーン）を有している。インタコネクト経路１３は、全てのレーンを使用してデータの転送を行う状態が最も転送レートが高い。また、インタコネクト経路１３は、一部のレーンを使用しないように縮退した後で、残りのレーンでデータの転送を行うこともできる。本実施例では、通常、インタコネクト経路１３は、全レーンを使用してデータの転送を行う。

図３では、プロセッサ１１１は、プロセッサ１１２及び１１３と接続され、さらに図には記載していない他の隣接するプロセッサ１１にも接続している。また、プロセッサ１１２は、プロセッサ１１１及び１１４と接続され、さらに図には記載していない他の隣接するプロセッサ１１にも接続している。プロセッサ１１３は、プロセッサ１１１及び１１４と接続され、さらに図には記載していない他の隣接するプロセッサ１１にも接続している。また、プロセッサ１１４は、プロセッサ１１２及び１１３と接続している。インタコネクト経路１３で接続されているプロセッサ同士は、インタコネクト経路１３を使用して相互に通信可能である。

各プロセッサは、演算処理を行う。例えば、各プロセッサは、津波などといった大規模災害などの３次元シミュレーションを実行する場合に、大規模災害における物体の動きを再現するための演算を行う。３次元シミュレーションでは、３次元空間の領域の一部を各プロセッサに割り当て、各プロセッサは、割り当てられた領域における物体の動きを演算する。

各サービスプロセッサは、予め決められた複数のプロセッサに対して１つ搭載されている。例えば、各サービスプロセッサは、１０２個のプロセッサ毎に１つというように配置されている。各サービスプロセッサは、対応するプロセッサのそれぞれと接続されている。ここで、本実施例では、各サービスプロセッサが所定数のプロセッサ毎に１つ搭載される場合で説明するが、冗長性などを考え、所定数のプロセッサ毎に２つのサービスプロセッサが設けられてもよい。

さらに、各サービスプロセッサは、リンク制御サーバ３と接続されている。そして、各サービスプロセッサは、リンク制御サーバ３からプロセッサに対する制御命令を受けて、受信した制御命令に従い対応するプロセッサを制御する。各サービスプロセッサによる各プロセッサの制御は、後で詳細に説明する。

図１に戻って説明を続ける。ジョブ管理サーバ２は、ジョブマネージャ２１、論理座標生成部２２及び資源管理部２３を有する。

ジョブマネージャ２１は、実行するジョブで使用する座標軸Ｘ，Ｙ，Ｚに対応するノード数を入力装置４から入力される。以下では、実行するジョブを「実行ジョブ」と言う。ここで、ジョブの実行は実際にはプロセッサ１１が行うが、以下では、「ノード」がそれらジョブを実行するとして、ノードが割り当てられた各プロセッサ１１がジョブを実行することを表す。

ジョブマネージャ２１は、受信した実行ジョブのＸ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれのノード数を論理座標生成部２２へ送信する。

その後、ジョブマネージャ２１は、プロセッサ１１に対するノードの割り当ての可否の判定結果を論理座標生成部２２から受信する。投入されるジョブに応じたノードの割り当てができない場合、ジョブマネージャ２１は、他のジョブが終了するなどしてプロセッサ１１が開放され、必要なプロセッサ数に対してノードの割り当てが行うことができるまで待機する。所定期間待機した後、ジョブマネージャ２１は、実行するジョブに対するノードの割り当てのために、投入されたジョブのＸ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれのノード数を論理座標生成部２２に対して再度送信する。

プロセッサ１１に対するノードの割り当てができた場合、ジョブマネージャ２１は、ジョブを実行するノードとして割り当てられたプロセッサ１１の論理的な接続を示す論理座標を論理座標生成部２２から受信する。ここで、各プロセッサの論理座標は、予め各プロセッサに割り当てられているノード番号と論理座標生成部２２が決定した論理座標との対応で表されている。

ジョブマネージャ２１は、各プロセッサ１１の論理座標及びノード数を資源管理部２３へ通知する。そして、ジョブマネージャ２１は、論理座標に従って実際の各プロセッサ１１にジョブを割り当てた上で各プロセッサ１１に当該ジョブを実行させるジョブ起動依頼を資源管理部２３に通知する。

論理座標生成部２２は、プロセッサ１１の物理的な配置及びそれぞれの接続が格納されているプロセッサ間通信経路ライブラリ２２１を有している。また、論理座標生成部２２は、並列計算機１のプロセッサ１１のうち、既に使用されているプロセッサ１１を記憶している。

論理座標生成部２２は、実行ジョブのＸ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれの必要ノード数をジョブマネージャ２１から受信する。論理座標生成部２２は、各座標軸に対するノード数により、実行ジョブを実行するノードの接続後の形状を特定できる。そして、論理座標生成部２２は、プロセッサ間通信経路ライブラリ２２１に格納されているプロセッサ１１の物理的な配置から既に使用されているプロセッサ１１以外のプロセッサ１１を取得する。そして、論理座標生成部２２は、実行ジョブを実行するノードが配置できる場所を検索する。すなわち、論理座標生成部２２は、既に使用されているプロセッサ１１以外のプロセッサを使用して実行ジョブを実行するノードの接続後の形状に対応する領域が確保できるか否かを判定する。実行ジョブを実行するノードが配置できる場所が確保できた場合、論理座標生成部２２は、ノードの割り当て可能をジョブマネージャ２１へ通知する。

ここで、本実施例に係る情報処理システムでは、後述するように、Ｘ−Ａ座標平面などの６次元空間における各座標平面上に配置された各ノードを一筆書きで環状となるように順次を接続し、一筆書きのノード順を一つの座標軸として捉える。座標平面を１つの座標軸とすることで、１つの座標軸上のいずれかのノードに障害が発生した場合に、障害が発生したノードを回避して再度一筆書きの環状を作成し、座標軸の方向に向かう接続を維持するためである。以下では、Ｘ−Ａ座標平面などの各座標平面を座標軸として捉えるものとして説明を続ける。

論理座標生成部２２は、実行ジョブを配置したＸ軸とＡ軸とを有する論理的な座標軸であるＸ−Ａ軸を生成する。また、論理座標生成部２２は、実行ジョブを配置したＹ軸とＢ軸とを有する論理的な座標軸であるＹ−Ｂ軸を生成する。また、論理座標生成部２２は、実行ジョブを配置したＺ軸とＣ軸とを有する論理的な座標軸であるＺ−Ｃ軸を生成する。上述したように、Ｘ−Ａ軸、Ｙ−Ｂ軸、Ｚ−Ｃ軸はそれぞれ３次元トーラスを形成し、冗長性を確保している。図４は、論理的な座標軸を示す図である。すなわち、論理座標生成部２２は、図２に示す６次元の座標軸の中のＸ軸及びＡ軸、Ｙ軸及びＢ軸、Ｚ軸及びＣ軸をそれぞれ組にして、図４に示す３次元の論理座標を生成する。

そして、論理座標生成部２２は、論理的に隣り合うプロセッサ１１には物理的に隣接しているプロセッサ１１を用いる。すなわち、論理座標生成部２２は、物理的に隣接しているプロセッサ１１に対して順次連番となる論理座標を割り当てていくことで論理接続を生成する。つまり、論理接続とは、一連の論理座標で表される接続である。そして、論理座標生成部２２は、論理的な座標軸上のプロセッサ１１を繋いで環状の論理的接続を生成し、生成した論理接続により論理的な座標時軸における座標を表す。ここで環状とは、インタコネクト経路１３で相互に接続されているプロセッサ１１を繋げるように順番に論理座標の番号を振っていき、最初の番号のプロセッサ１１と最後の番号のプロセッサ１１とが、インタコネクト経路１３で相互に接続されている状態を言う。論理座的な座標軸は２つの軸を用いて形成されているので、論理座標生成部２２は、論理的な座標軸上のプロセッサ１１を繋いで環状の論理接続を形成することができる。

ここで、図５及び図６を参照して、論理接続の生成について説明する。図５は、プロセッサの故障がない場合の論理接続の一例の図である。また、図６は、プロセッサの故障がある場合の論理接続の一例の図である。ここでは、Ｙ−Ｂ軸を例に説明する。図５及び図６は、図４のＹ−Ｂ軸に相当する。図５及び図６ともに、左右方向がＹ軸方向であり、上下方向がＢ軸方向である。すなわち、左右に並ぶプロセッサ１１は、Ｙ軸方向に並んでおり、左右に並ぶプロセッサ１１同士を繋ぐインタコネクト経路１３はＹ軸方向に延びるインタコネクト経路である。また、上下に並ぶプロセッサ１１は、Ｂ軸方向に並んでおり、上下に並ぶプロセッサ１１同士を繋ぐインタコネクト経路１３はＢ軸方向に延びるインタコネクト経路である。さらに、図５及び図６においてＢ軸方向に一列に並ぶプロセッサ１１は、一番上のプロセッサ１１と一番下のプロセッサ１１も隣接しており、プロセッサ１１の間がインタコネクト経路１３で結ばれている。すなわち、図５及び図６においてプロセッサ１１同士を繋ぐ線がインタコネクト経路１３を表している。

図５に示すように、Ｙ−Ｂ軸方向の平面上のプロセッサ１１に故障したプロセッサが無ければ、論理座標生成部２２は、インタコネクト経路１３に沿って一筆書きで環状になるように全てのプロセッサ１１を結ぶ。そして、論理座標生成部２２は、プロセッサ１１の中から原点となるプロセッサ１１を選択して０番とし、続いて一筆書きで結んだ経路に沿って順番に各プロセッサ１１に論理座標を振っていく。このようにして、論理座標生成部２２は、図５のようにＹ−Ｂ軸の方向の面上にあるプロセッサ１１に論理座標を振る。これにより、図５における太線で示された経路に沿った方向がＹ−Ｂ軸方向となり、各プロセッサ１１に振られている番号が論理座標となる。

また、図６では、Ｙ−Ｂ軸方向の平面上のプロセッサ１１に故障したプロセッサ１１５がある。この場合、論理座標生成部２２は、インタコネクト経路１３に沿って一筆書きで環状になるようにプロセッサ１１５を除いた残りのプロセッサ１１全てを結ぶ。そして、論理座標生成部２２は、プロセッサ１１５以外のプロセッサ１１の中から原点となるプロセッサ１１を選択して０番とし、続いて一筆書きで結んだ経路に沿って順番に各プロセッサ１１に論理座標を振っていく。このようにして、論理座標生成部２２は、故障したプロセッサ１１５がある場合にも、図６のようにＹ−Ｂ軸の方向の面上にあるプロセッサ１１に論理座標を振ることができる。これにより、図５における太線で示された経路に沿った方向がＹ−Ｂ軸方向となり、各プロセッサ１１に振られている番号が論理座標となる。

そして、論理座標生成部２２は、全てのプロセッサ１１に割り当てられているノード番号と論理座標との対応を記憶する。

その後、論理座標生成部２２は、ノード番号と論理座標の対応及びノード数をジョブマネージャ２１に通知する。

資源管理部２３は、操作者が入力装置４から入力したジョブ及びジョブの設定情報を予め受信しておく。ジョブの設定情報には、どの位置のノードにどのジョブを割り当てるかなどの情報が含まれている。

資源管理部２３は、ノード番号と論理座標の対応及びノード数をジョブマネージャ２１から取得する。それとともに、資源管理部２３は、ジョブの実行依頼をジョブマネージャ２１から受信する。

ジョブの実行依頼を受信すると、資源管理部２３は、論理座標を用いて一筆書き状に接続された複数のプロセッサ１１に含まれるどのプロセッサ群にどのジョブを割り当てるかを特定する。そして、資源管理部２３は、並列計算機１の各プロセッサ１１に割り当てたジョブを投入する。

次に、資源管理部２３は、ノード番号と論理座標の対応をリンク制御サーバ３の座標変換部３１へ送信する。

リンク制御サーバ３は、座標変換部３１、副経路判定部３２及び電力制御部３３を有している。

座標変換部３１は、６次元座標空間における座標（Ｘ，Ｙ，Ｚ，Ａ，Ｂ，Ｃ）で表される６次元座標である物理座標とノード番号との対応を記憶する。

座標変換部３１は、ノード番号と論理座標の対応を資源管理部２３から受信する。そして、座標変換部３１は、記憶しているノード番号と６次元の物理座標（Ｘ，Ｙ，Ｚ，Ａ，Ｂ，Ｃ）の対応を用いて、受信したノード番号と３次元の論理座標（Ｘ−Ａ，Ｙ−Ｂ，Ｚ−Ｃ）の対応から、各プロセッサ１１の３次元の論理座標を６次元の物理座標に変換する。

そして、座標変換部３１は、実行ジョブが割り当てられたノードである各プロセッサ１１の論理座標と物理座標とを副経路判定部３２へ通知する。

副経路判定部３２は、実行ジョブを実行するノードが割り当てられた各プロセッサ１１の論理座標と物理座標とを座標変換部３１から取得する。

そして、副経路判定部３２は、論理座標が連続する２つのプロセッサ１１、すなわち論理座標が隣り合うプロセッサ１１の物理座標を取得し、取得した物理座標間を結ぶインタコネクト経路１３を主経路と判定する。さらに、副経路判定部３２は、主経路以外のインタコネクト経路１３を副経路と判定する。

副経路判定部３２は、副経路の情報を電力制御部３３へ通知する。ここで、副経路の情報とは、例えば、当該副経路で結ばれている２つのプロセッサ１１の物理座標の組などでよい。

電力制御部３３は、副経路の情報を副経路判定部３２から取得する。そして、電力制御部３３は、副経路であるインタコネクト経路１３において、プロセッサ間を接続する複数のレーンを縮退させるように、縮退対象の副経路に接続されているプロセッサ１１を管理するサービスプロセッサ１２に指示する。具体的には、プロセッサ間がＭ本（Ｍは１以上の整数）のレーンで接続されている場合、Ｘ本（Ｘは１以上の整数）のレーンを縮退し、縮退後はＮ本（Ｎ＝Ｍ−Ｘ）のレーンで当該プロセッサ間を接続する指示を、電力制御部３３は行う。

ここで、並列計算機１に戻って、プロセッサ１１及びサービスプロセッサ１２の動作を説明する。

プロセッサ１１は、自己に割り当てられたジョブの投入を資源管理部２３から受ける。そして、プロセッサ１１は、受信したジョブを実行する。ここで、本実施例では、投入されたジョブが３次元のシミュレーション等である場合、シミュレート対象の３次元において近い地点間の相互の影響が大きい。すなわち、プロセッサ１１は、ジョブを実行する場合に、論理座標が隣あうノード間の通信が大きくなる。例えば、図５や図６のような論理座標の場合、プロセッサ１１は、太線で示された主経路を用いたプロセッサ間の通信を多く実行する。

副経路に接続されているプロセッサ１１を管理しているサービスプロセッサ１２は、副経路の情報とともにレーンの縮退命令をリンク制御サーバ３から受信する。

そして、サービスプロセッサ１２は、副経路であるインタコネクト経路１３のレーンを縮退させるように、副経路に接続されているプロセッサ１１に指示する。例えば、サービスプロセッサ１２は、縮退対象の副経路に接続されているプロセッサ１１の送受信回路（不図示）にレーンを半分にする指示を通知する。

プロセッサ１１は、サービスプロセッサ１２からの指示を受けて、指示されたインタコネクト経路１３のレーンを縮退させる。

ここで、レーンの縮退について、図３及び図７を用いて説明する。図７は、実施例に係る並列計算機の詳細を表すブロック図である。ここでは、図３のプロセッサ１１２と１１４との間、プロセッサ１１１と１１３との間、プロセッサ１１２と１１４との間及びプロセッサ１１３と１１４との間のそれぞれのインタコネクト経路１３のレーンを縮退する場合で説明する。

サービスプロセッサ１２１は、プロセッサ１１２と１１４との間のインタコネクト経路１３、プロセッサ１１１と１１３との間のインタコネクト経路１３のレーンの縮退の指示をリンク制御サーバ３から受信する。そして、サービスプロセッサ１２１は、プロセッサ１１３との間のインタコネクト経路１３のレーンを半分にするようにプロセッサ１１１に指示する。また、サービスプロセッサ１２１は、プロセッサ１１４との間のインタコネクト経路１３のレーンを半分にするようにプロセッサ１１２に指示する。

サービスプロセッサ１２２は、プロセッサ１１３と１１１との間のインタコネクト経路１３、プロセッサ１１４と１１２との間のインタコネクト経路１３及びプロセッサ１１３と１１４との間のレーンの縮退の指示をリンク制御サーバ３から受信する。そして、サービスプロセッサ１２２は、プロセッサ１１１との間のインタコネクト経路１３のレーンを半分にするようにプロセッサ１１３に指示する。また、サービスプロセッサ１２２は、プロセッサ１１２との間のインタコネクト経路１３のレーンを半分にするようにプロセッサ１１４に指示する。さらに、サービスプロセッサ１２２は、プロセッサ１１３と１１４との間を結ぶインタコネクト経路１３のレーンを半分にするようにプロセッサ１１３及び１１４に指示する。

プロセッサ１１１は、サービスプロセッサ１２１からの指示を受けて、プロセッサ１１３との間のインタコネクト経路１３のレーンを半分に縮退させる。図３の破線で表される矢印が縮退させられたレーンを表している。また、プロセッサ１１２は、サービスプロセッサ１２１からの指示を受けて、プロセッサ１１３との間のインタコネクト経路１３のレーンを半分に縮退させる。

プロセッサ１１３は、サービスプロセッサ１２２からの指示を受けて、プロセッサ１１１との間のインタコネクト経路１３及びプロセッサ１１４との間のインタコネクト経路１３のレーンをそれぞれ半分に縮退させる。また、プロセッサ１１４は、サービスプロセッサ１２２からの指示を受けて、プロセッサ１１２との間のインタコネクト経路１３及びプロセッサ１１３との間のインタコネクト経路１３のレーンをそれぞれ半分に縮退させる。

ここで、図７を用いてプロセッサ１１におけるレーン縮退の処理の一例を説明する。図７では、プロセッサ１１の詳細を説明するため、並列計算機１における２つのプロセッサ１１のみを記載している。実際には、並列計算機１は、図１や図３のように並列計算機１には多数のプロセッサ１１を有する。

並列計算機１は、サービスプロセッサ１２とプロセッサ１１との間に、設定制御部１４０を有する。また、プロセッサ１１は、送受信回路１３０を有する。そして、送受信回路１３０は、レーン縮退制御部１３１、受信部１３２及び送信部１３３を有している。

設定制御部１４０は、レーンの縮退の指示をサービスプロセッサ１２から受信する。そして、設定制御部１４０は、縮退対象とするインタコネクト経路の情報及び縮退の程度の情報をレーン縮退制御部１３１へ通知する。

受信部１３２は、他のプロセッサ１１との間を接続するインタコネクト経路に含まれる複数のレーンを用いてデータを受信する。また、送信部１３３は、他のプロセッサ１１との間を接続するインタコネクト経路に含まれる複数のレーンを用いてデータを送信する。

レーン縮退制御部１３１は、縮退対象であるインタコネクト経路の情報及び縮退の程度の情報を設定制御部１４０から受信する。レーン縮退制御部１３１は、縮退対象であるインタコネクト経路の中で縮退させるレーンを決定する。そして、縮退制御部１３１は、縮退するレーンとして決定したレーンへの電力供給を遮断する。これにより、受信部１３２及び送信部１３３は、電力供給が遮断されたレーンを使用できなくなる。受信部１３２及び送信部１３３は、電力が供給されているレーンを用いて通信を行う。

ここで、図７では、説明の便宜上、送受信回路１３０が他の１つのプロセッサ１１と通信を行うように記載しているが、送受信回路１３０は、複数のプロセッサ１１と通信を行ってもよい。その場合、送受信回路１３０は、プロセッサ１１毎に受信部１３２及び送信部１３３を有することが好ましい。その他にも、送受信回路１３０は、通信を行う他のプロセッサ１１に対して１つずつ設けられてもよい。

図２に戻って説明を続ける。サービスプロセッサ１２からの指示を受けたプロセッサ１１によりインタコネクト経路１３が縮退することで、副経路であるインタコネクト経路１３が全て縮退させられる。例えば、図５又は図６では、太線で表されるインタコネクト経路１３が主経路であり、主経路以外の細い線で表されるインタコネクト経路１３が副経路である。この場合、プロセッサ１１により、図５又は図６の細い線で表されるインタコネクト経路１３が縮退させられる。縮退したインタコネクト経路のレーンは、経路を駆動する送受信回路の電源が遮断されるため、消費電力を削減することができる。

前述したように、３次元シミュレーションなどでは、隣接するノード間の通信は多いが、隣接しないノード間の通信はそれほど多くない。すなわち、論理的に隣り合うノードの接続を表す主経路以外の副経路のインタコネクト経路１３では通信量は少ない。そこで、副経路にあたるインタコネクト経路１３のレーンを縮退させても、シミュレーションの処理への影響は少なく問題が無い。そして、このように、インタコネクト経路１３のレーンを縮退させることで、消費電力を削減することができる。

次に、図８を参照して、本実施例に係る情報処理システムにおけるインタコネクト経路１３のレーンの縮退処理について説明する。図８は、実施例に係る情報処理システムにおけるインタコネクト経路１３のレーンの縮退処理のフローチャートである。

ジョブ管理サーバ２は、入力装置４から入力されたジョブ投入の指示にしたがい、ジョブ投入判定を開始する（ステップＳ１）。具体的には、ジョブマネージャ２１が、実行するジョブで使用する座標軸Ｘ，Ｙ，Ｚに対応するノード数の入力を入力装置４から受ける。そして、ジョブマネージャ２１は、論理座標生成部２２に、ジョブで使用する座標軸Ｘ，Ｙ，Ｚに対応するノード数を送信すると共に、論理座標の生成を指示する。

論理座標生成部２２は、ジョブで使用する座標軸Ｘ，Ｙ，Ｚに対応するノード数をジョブマネージャ２１から受信する。そして、論理座標生成部２２は、プロセッサ間通信経路ライブラリ２２１に格納されているプロセッサ１１の物理的配置及び既に使用されているプロセッサ１１の情報を用いて、ノード数及び論理座標の割り当てが可能か否かを判定する（ステップＳ２）。ノード数及び論理座標の割り当てが困難な場合（ステップＳ２：否定）、論理座標生成部２２は、ステップＳ１に戻り、プロセッサ１１が空くまで待機する。

これに対して、ノード数及び論理座標の割り当てが可能な場合（ステップＳ２：肯定）、論理座標生成部２２は、論理座標を生成する（ステップＳ３）。そして、論理座標生成部２２は、生成した論理座標の情報をジョブマネージャ２１へ通知する。ここで、論理座標の情報には、ノード番号と論理座標との対応が含まれている。例えば、図５のような論理座標を生成した場合で説明する。ここでは、図５で論理座標０を有するプロセッサ１１がノード０のノード番号が割り当てられており、Ｂ軸に沿ってノード番号が増えていく。そして、Ｂ軸方向の一番下のプロセッサ１１の次のプロセッサ１１は、Ｙ軸方向の次の列のＢ軸方向の一番上のプロセッサ１１となるように、ノード番号が割り当てられているものとする。この場合、論理座標生成部２２は以下のような情報をジョブマネージャ２１へ通知する。すなわち、ノード０は論理座標０を有する。ノード１は、論理座標１９を有する。ノード２は、論理座標２０を有する。ノード３は、論理座標１を有する。ノード４は、論理座標１８を有する。このようにノード番号と論理座標とが対応していき、最後に、ノード２０は、論理座標８を有するとなる。論理座標生成部２２は、このような情報をジョブマネージャ２１へ通知する。

そして、ジョブマネージャ２１は、割り当てが可能な旨の通知を論理座標生成部２２から受けるとともに、論理座標生成部２２が生成した論理座標の情報を取得する。そして、ジョブマネージャ２１は、論理座標の情報を資源管理部２３へ通知するとともに、ジョブの起動依頼を行う（ステップＳ４）。

資源管理部２３は、ジョブの起動依頼を受けて、論理座標が割り当てられたプロセッサ１１に対して、そのプロセッサ１１に対応する各ノードに割り当てられたジョブを投入し実行させる（ステップＳ５）。

また、資源管理部２３は、ノード数及び論理座標の情報をリンク制御サーバ３の座標変換部３１へ通知する（ステップＳ６）。

座標変換部３１は、ノード数及び論理座標の情報を資源管理部２３から受信する。そして、座標変換部３１は、論理座標の情報から各論理座標を有するプロセッサ１１の物理座標を取得し、論理座標を物理座標に変換する（ステップＳ７）。そして、座標変換部３１は、論理座標の情報及びその論理座標に対応する物理座標の情報を副経路判定部３２へ通知する。

具体的には、例えば、図５のようなプロセッサ１１に対して、座標変換部３１は、次のようなノード番号と物理座標との対応を記憶している。すなわち、ノード０＝（０，０，０，０，０，０）（括弧内は座標（Ｘ，Ｙ，Ｚ，Ａ，Ｂ，Ｃ）を表している）、ノード１＝（０，０，０，０，１，０）、ノード２＝（０，０，０，０，２，０）である。さらに、ノード３＝（０，１，０，０，０，０）、ノード４＝（０，１，０，０，１，０）、・・・、ノード２０＝（０，６，０，０，２，０）である。そして、座標変換部３１は、以下のように論理座標を物理座標に変換する。すなわち、論理座標０は、物理座標（０，０，０，０，０，０）に変換される。論理座標１は、物理座標（０，１，０，０，０，０）に変換される。論理座標２は、物理座標（０，２，０，０，１，０）に変換される。論理座標３は、物理座標（０，２，０，０，１，０）に変換される。このように、論理座標は順番に変換されていき、最後に、論理座標２０は、物理座標（０，０，０，０，２，０）に変換される。

副経路判定部３２は、受信した論理座標及び物理座標の情報から、隣り合う論理座標を有するプロセッサ１１間のインタコネクト経路１３を主経路として特定する。そして、副経路判定部３２は、特定した主経路を用いてどのインタコネクト経路１３が副経路であるかを判定する（ステップＳ８）。具体的には、副経路判定部３２は、主経路以外のインタコネクト経路１３を副経路として特定する。そして、副経路判定部３２は、副経路の情報を電力制御部３３へ通知する。

例えば、副経路判定部３２は、論理座標が連続するプロセッサ１１同士の物理座標の差分で表されるインタコネクト経路１３を主経路と判定する。例えば、図５の場合、論理座標０と論理座標１とは、物理座標で表せば、（０，０，０，０，０，０）と（０，１，０，０，０，０）である。すなわち、Ｙ座標が０から１へ遷移している。そこで、副経路判定部３２は、物理座標（０，０，０，０，０，０）のプロセッサ１１からＹ座標が０から１へ向かうインタコネクト経路１３を主経路とする。同様に、論理座標１と論理座標２とは、物理座標で表せば、（０，１，０，０，０，０）と（０，２，０，０，０，０）である。すなわち、Ｙ座標が１から２へ遷移している。そこで、副経路判定部３２は、物理座標（０，１，０，０，０，０）のプロセッサ１１からＹ座標が１から２へ向かうインタコネクト経路１３を主経路とする。このように、副経路判定部３２は、主経路の特定を繰り返していく。そして、副経路判定部３２は、特定した主経路以外の経路を副経路と判定する。

電力制御部３３は、副経路の情報を副経路判定部３２から取得する。そして、電力制御部３３は、副経路のレーンの縮退をサービスプロセッサ１２に指示する（ステップＳ９）。

サービスプロセッサ１２は、副経路のレーンの縮退の指示を電力制御部３３から受ける。そして、サービスプロセッサ１２は、副経路であるインタコネクト経路１３に接続されているプロセッサ１１に、レーンの縮退を支持する（ステップＳ１０）。

そして、プロセッサ１１は、サービスプロセッサ１２により指定されたインタコネクト経路１３のレーンを縮退させる（ステップＳ１１）。

次に、図９を参照して、論理座標の生成について説明する。図９は、論理座標の生成処理のフローチャートである。

論理座標生成部２２は、６次元を表す６本の座標軸のうちの２本ずつを用いて論理軸を生成する。そして、論理座標生成部２２は、生成した論理軸の中から１つの論理軸を選択する（ステップＳ１０１）。

論理座標生成部２２は、選択した論理軸上のプロセッサ１１の中で、隣接するプロセッサ１１が論理座標の連番となるように、隣接するプロセッサ１１の順番に論理座標を振り、ノードを割り当てていく（ステップＳ１０２）。

そして、論理座標生成部２２は、論理座標を記憶することで、どのプロセッサ１１が論理的に隣接しているかを記憶する（ステップＳ１０３）。

その後、論理座標生成部２２は、ジョブサイズ分の全ノードについて論理座標の割り当てが終了したか否かを判定する（ステップＳ１０４）。ジョブサイズ分の全ノードについて終了していない場合（ステップＳ１０４：否定）、論理座標生成部２２は、ステップＳ１０１へ戻る。

これに対して、ジョブサイズ分の全ノードについて終了した場合（ステップＳ１０４：肯定）、論理座標生成部２２は、論理座標の生成を終了する。

以上に説明したように、本実施例に係る情報処理システムは、論理座標が隣り合うプロセッサ間以外のインタコネクト経路を縮退させる。これにより、本実施例に係る情報処理システムは、通信量が多いインタコネクト経路である主経路ではバンド幅を維持したまま、通信量が少ないインタコネクトのバンド幅を制限できる。そのため、本実施例に係る情報処理システムは、演算処理の性能は維持したまま、消費電力を削減することができる。特に、３次元シミュレーションなどでは、隣り合うノード間での通信が多くを占めるので、本実施例に係る情報処理システムを用いることで、シミュレーション処理の性能を確保しつつ消費電力を抑えることができる。

（変形例）
実施例では、電力制御部３３は、インタコネクト経路１３のレーンを縮退させることで、消費電力を低減させたがこれは他の方法でもよい。例えば、データ転送の周波数を下げることで消費電力を低減させてもよい。

この場合、電力制御部３３は、副経路であるインタコネクト経路１３に接続されているプロセッサ１１間でのデータの送受信の周波数を下げるようにサービスプロセッサ１２に指示する。

サービスプロセッサ１２は、電力制御部３３から指示された副経路に接続されているプロセッサ１１間でのデータの送受信の周波数を下げるようにそれぞれのプロセッサ１１に指示する。

プロセッサ１１は、サービスプロセッサ１２から副経路を介して繋がる他のプロセッサ１１とのデータの送受信の周波数を下げる指示を受ける。そして、プロセッサ１１は、主経路を介して通信を行う場合には最大速度を用いて通信を行い、副経路を介して接続する他のプロセッサ１１との通信においては、主経路でのデータ送受信よりも周波数を下げて通信を行う。

図１０は、変形例に係る並列計算機の詳細を表すブロック図である。送受信回路１３０は、周波数制御部１３４、受信部１３２及び送信部１３３を有している。

設定制御部１４０は、レーンの縮退の指示をサービスプロセッサ１２から受信する。設定制御部１４０は、制御対象とするインタコネクトを特定する。そして、設定制御部１４０は、特定したインタコネクト経路の情報及びそのインタコネクト経路を用いた通信で使用する周波数を周波数制御部１３４へ通知する。ここで、設定制御部１４０が指定する周波数は、主系路でのデータ送受信よりも低い周波数である。

受信部１３２は、周波数制御部１３４により指定された周波数を用いて、インタコネクト経路を介して他のプロセッサ１１からデータを受信する。また、送信部１３３は、周波数制御部１３４により指定された周波数を用いて、インタコネクト経路を介して他のプロセッサ１１からデータを送信する。

周波数制御部１３４は、データ送受信の周波数を下げる対象となるインタコネクト経路の情報及び使用する周波数の情報を設定制御部１４０から受信する。周波数制御部１３４は、指定されたインタコネクト経路で通信を行っている受信部１３２及び送信部１３３に対してデータ送受信に用いる周波数を通知する。

このように、副経路において主経路路よりも周波数を下げてデータの送受信を行うことによっても、消費電力を削減することができる。

さらに、実施例では、初期状態としてインタコネクト経路のレーンは全て使用する状態としてその状態からレーンを減らしたが、逆に、初期状態で使用するレーンを少なくしておき、主経路におけるレーンを拡張させてもよい。

また、以上の説明では、並列計算機においてプロセッサが６次元に配置されている例について説明したが、冗長性を持たせた座標軸が設定され、その座標軸上に主経路が決定されれば、次数はこれに限らない。例えば、３次元のうちの１次元方向のみに冗長性を持たせるためプロセッサが４次元に配置されていてもよい。また、２次元のシミュレーションであれば、１次元方向のみに冗長性を持たせるためプロセッサが３次元に配置されていてもよい。

また、以上の説明では、図１のようにジョブ管理サーバ２とリンク制御サーバ３とを別個のサーバとして説明している。これにより、ジョブ管理用のネットワークと電力制御用のネットワークとを分離している。ただし、ジョブ管理サーバ２とリンク制御サーバ３とはこれらは１つのサーバに統合してもよい。

また、ジョブ管理サーバ２にリンク制御サーバ３の機能を搭載させ、ジョブ管理サーバ２内で副経路を判定し、管理用ネットワークを用いてプロセッサ１１に縮退指示を行い、指示を受けたプロセッサ１１がインタコネクト経路１３のレーンの縮退を行ってもよい。

（ハードウェア構成）
図１１は、ジョブ管理サーバ及びリンク制御サーバのハードウェア構成の一例の図である。ジョブ管理サーバ２及びリンク制御サーバ３はいずれも図１１に示すようなハードウェア構成で実現されることができる。

ジョブ管理サーバ２及びリンク制御サーバ３は、例えば図９に示すように、ＣＰＵ（Central Processing Unit）９０１、メモリ９０２及びハードディスク９０３を有する。

ＣＰＵ９０１、メモリ９０２及びハードディスク９０３は、バス９０４でそれぞれ接続されている。

ジョブ管理サーバ２であれば、ハードディスク９０３は、図１に例示したジョブマネージャ２１、論理座標生成部２２及び資源管理部２３の機能を実現するプログラムなど各種プログラムを格納している。また、ハードディスク９０３は、プロセッサ間通信経路ライブラリ２２１を格納している。

また、リンク制御サーバ３であれば、ハードディスク９０３は、図１に例示した座標変換部３１、副経路判定部３２及び電力制御部３３の機能を実現するプログラムなど各種プログラムを格納している。

ジョブ管理サーバ２であれば、ＣＰＵ９０１及びメモリ９０２は、ジョブマネージャ２１、論理座標生成部２２及び資源管理部２３の機能を実現する。例えば、ＣＰＵ９０１は、ハードディスク９０３に格納された各種プログラムを読み出して、メモリ９０２上にジョブマネージャ２１、論理座標生成部２２及び資源管理部２３の機能を実現するプロセスを展開して実行する。

リンク制御サーバ３であれば、ＣＰＵ９０１及びメモリ９０２は、座標変換部３１、副経路判定部３２及び電力制御部３３の機能を実現する。例えば、ＣＰＵ９０１は、ハードディスク９０３に格納された各種プログラムを読み出して、メモリ９０２上に座標変換部３１、副経路判定部３２及び電力制御部３３の機能を実現するプロセスを展開して実行する。

さらに、図１２は、並列計算機における各ノードのハードウェア構成の一例の図である。図１２に示すように、ノード９１０は、ＣＰＵ９１１、メモリ９１２及びトランシーバ９１３を有する。

メモリ９１２及びトランシーバ９１３は、ＣＰＵ９１０とバスで接続されている。

トランシーバ９１３は、レシーバ９３１及びドライバ９３２を有する。トランシーバ９１３は、例えば図７及び図１０に例示した送受信回路１３０の機能を実現する。

ドライバ９３２は、インタコネクト経路を介して他のノードに対してデータを送信する。ドライバ９３２は、例えば図７及び図１０に例示した送信部１３３の機能を実現する。

レシーバ９３１は、インタコネクト経路を介して他のノードからデータを受信する。レシーバ９３１は、例えば図７及び図１０に例示した受信部１３２の機能を実現する。

ＣＰＵ９１１及びメモリ９２１は、割当てられたジョブに応じた演算処理を行う。

１ 並列計算機
２ ジョブ管理サーバ
３ リンク制御サーバ
４ 入力装置
１１ プロセッサ
１２ サービスプロセッサ
２１ ジョブマネージャ
２２ 論理座標生成部
２３ 資源管理部
３１ 座標変換部
３２ 副経路判定部
３３ 電力制御部
２２１ プロセッサ間通信経路ライブラリ

Claims (9)

1. 伝送路を介して接続された複数の演算処理部を備える情報処理装置と、
   前記複数の演算処理部のうち、投入されるジョブに応じた所定数の演算処理部を接続する伝送路を経由する通信路を決定し、決定された通信経路で接続された前記所定数の演算処理部にジョブを投入する管理装置と、
   前記複数の演算処理部に接続する伝送路のうち、前記通信経路が経由しない伝送路に接続される演算処理部の送受信回路を制御する制御装置と
   を有することを特徴とする情報処理システム。
2. 前記管理装置は、
   前記所定数の演算処理部を接続する伝送路を経由する通信経路が環状になるように決定することを特徴とする請求項１記載の情報処理システム。
3. 前記管理装置は、
   前記所定数の演算処理部を接続する伝送路を経由する通信経路が一筆書き状になるように決定することを特徴とする請求項１記載の情報処理システム。
4. 前記演算処理部は、
   複数の座標軸における各座標値を用いて、物理的な位置が特定されるように配置され、
   前記管理装置は、
   前記複数の座標軸のうち、互いに異なる２つの座標軸にそれぞれ対応する論理座標の組を用いて、前記通信経路を決定することを特徴とする請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記演算処理部は、
   ６つの座標軸における各座標値を用いて、物理的な位置が特定されるように配置され、
   前記管理装置は、
   前記６つの座標軸のうち、互いに異なる２つの座標軸にそれぞれ対応する論理座標の組を用いて、前記通信経路を決定することを特徴とする請求項４記載の情報処理システム。
6. 前記伝送路は、
   複数のレーンをそれぞれ有し、
   前記制御装置は、
   前記通信経路が経由しない伝送路がそれぞれ有する複数のレーンに接続される演算処理部の送受信回路に、前記複数のレーンのうち通信に用いられるレーンの本数を増減させることを特徴とする請求項１〜５のいずれか１項に記載の情報処理システム。
7. 前記制御装置は、
   前記通信経路が経由しない伝送路に接続される演算処理部の送受信回路を制御して、前記通信経路が経由しない伝送路の周波数を増減させることを特徴とする請求項１〜５のいずれか１項に記載の情報処理システム。
8. 伝送路を介して接続された複数の演算処理部を備える情報処理装置と、前記複数の演算処理部のうち、投入されるジョブに応じた所定数の演算処理部を接続する伝送路を経由する通信経路を決定し、決定された通信経路で接続された前記所定数の演算処理部にジョブを投入する管理装置とに接続される制御装置において、
   前記複数の演算処理部を接続する伝送路のうち、前記通信経路が経由しない伝送路に接続される演算処理部の送受信回路を制御することを特徴とする制御装置。
9. 伝送路を介して接続された複数の演算処理部を備える情報処理装置を含む情報処理システムの制御方法において、
   前記情報処理システムが有する管理装置が、前記複数の演算処理部のうち、投入されるジョブに応じた所定数の演算処理部を接続する伝送路を経由する通信経路を決定し、決定された通信経路で接続された前記所定数の演算処理部にジョブを投入し、
   前記情報処理システムが有する制御装置が、前記複数の演算処理部を接続する伝送路のうち、前記通信経路が経由しない伝送路に接続される演算処理部の送受信回路を制御する
   ことを特徴とする情報処理システムの制御方法。

Images