JP6303584B2 - データ処理装置、計算機システム、データ処理方法およびデータ処理プログラム - Google Patents

Description

本発明はクラスタシステムにおいてジョブスケジューリングを行うデータ処理装置、計算機システム、データ処理方法及びデータ処理プログラムに関する。

一般的なＨＰＣクラスタシステムにおけるジョブスケジューリングでは、非同期でファイルステージング処理を行うことによって、ジョブの予定実行開始時刻までに転送が完了していた（ＨＰＣ：Ｈｉｇｈ−Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ）。現在では、システムやジョブが大規模化（スケールアップ）することによってファイルステージング処理が遅れると、ジョブの再スケジューリングが起こる問題が顕在化するようになった。

一般的なファイルステージング処理では、図１２に示したように、ジョブを開始する前に必要なジョブファイルを転送する処理（以下、ステージインと呼ぶ）とジョブの実行を非同期で実行している。そのため、ジョブ１の開始予定までにジョブ１のステージインが終了しないとジョブ１の開始実行が遅れることになる。また、一般的には、図１３に示したように、ファイルステージング処理を転送処理の本数（ランリミット）による制限のみで管理している。図１３のような転送処理の本数による制限のみでステージング処理を管理する場合、転送帯域の確保については考慮されていない。

特許文献１には、プレステージング処理方法の一例が開示されている。

特許文献１のプレステージング処理方法は、以下の三つのステップを含む。第一のステップは、投入されたジョブと同時にプレステージング処理を行うべきジョブの数であるジョブ数を求めるステップである。第二のステップは、プレステージング処理を行うべきジョブの入力データが格納されている二次記憶装置のデータ転送速度及びジョブ数に基づいて実行データ転送速度を求めるステップである。第三のステップは、入力データの量を実効データ転送速度で割った実効データ転送時間を、ジョブの開始予定時刻から引いた時刻をジョブのプレステージング開始時刻とするステップである。

特許文献１のプレステージング処理方法によれば、同時にプレステージングを行うべきジョブ数を考慮して最適な時刻に近いプレステージング開始時刻を決定することができる。その結果、ジョブの実効性能及び計算機システムの全体の性能を向上させることができる。特に、特許文献１の第４実施例では、プレステージング実行時のデータ転送経路を予約により確保しているので、プレステージング時のデータ転送速度が予約データ転送速度として保障される。

特開平６−７５７８５号公報

一般的なファイルステージング処理では、複数のジョブが投入されていると転送が並列に行われる。そのため、小さいジョブが多量に投入されると、大量の転送を必要とするジョブの転送速度が遅くなり転送完了が遅延するという問題点があった。なぜならば、ファイルステージング処理を転送処理の本数による制限のみで管理しており、大量のジョブを処理するシステムでは、並列実行することにより転送帯域が確保できず、転送速度が低下する場合があったためである。

特許文献１のファイルステージング処理では、ファイルステージング処理において、従十分な帯域が確保されないという問題点があった。なぜならば、特許文献１のファイルステージング処理では、プレステージング実行時のデータ転送経路を予約により確保する際に、ジョブによって占有される帯域を考慮していないためである。

本発明の目的は、上述した課題を解決するデータ処理装置を提供することにある。

本発明のデータ処理装置は、ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する決定手段と、帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する管理手段と、帯域スケジューラマップに基づいて帯域を制御する制御手段とを備える。

本発明の計算機システムは、複数の計算機ノードと、複数の計算機ノードが実行するジョブをジョブファイルとして格納するグローバルファイルシステムと、グローバルファイルシステムと計算機ノードとの間でジョブを実行できる形でジョブファイルを一時保存するローカルファイルシステムと、ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する決定手段と、帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する管理手段と、帯域スケジューラマップに基づいてステージング帯域を制御する制御手段とを備えるデータ処理装置とを備える。

本発明のデータ処理方法においては、ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定し、帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理し、帯域スケジューラマップに基づいてステージング帯域を制御する。

本発明のデータ処理プログラムは、ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する処理と、帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する処理と、帯域スケジューラマップに基づいてステージング帯域を制御する処理とをコンピュータに実行させる。

本発明によれば、ファイルステージング処理に使用する帯域を事前に確保し、デッドラインまでに処理が完了することを保証することによって、ジョブ実行開始の遅れを防止するデータ処理装置を提供することができる。

本発明の概要に係るデータ処理装置の機能構成を示すブロック図である。 本発明の第１の実施形態に係るデータ処理装置の機能構成を示すブロック図である。 本発明の第１の実施形態に係るデータ処理装置で決定する帯域クラス設定情報の一例を示す表である。 本発明の第１の実施形態に係るデータ処理装置の動作を説明するためのフローチャートである。 本発明の第１の実施形態に係るデータ処理装置の動作を説明するためのシークエンス図である。 本発明の第１の実施形態に係るデータ処理装置において使用する帯域スケジューラマップの一例である。 本発明の第２の実施形態に係るデータ処理装置の機能構成を示すブロック図である。 本発明の第２の実施形態に係るデータ処理装置の動作を説明するためのフローチャートである。 本発明の第３の実施形態に係るデータ処理装置の機能構成を示すブロック図である。 本発明の第３の実施形態に係るデータ処理装置の動作を説明するためのフローチャートである。 本発明の実施形態に係るデータ処理装置を含む計算機システムの構成を示す概念図である。 一般的なファイルステージング処理の一例を説明するための図である。 一般的なファイルステージング処理におけるジョブ割り当ての一例を説明するための図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。

図１は、本発明の概要に関するデータ処理装置１の概念図である。データ処理装置１は、決定手段２と、管理手段３と、制御手段４とを備える。

決定手段２は、ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する。管理手段３は、帯域と時間とを２つの軸とする帯域スケジューラマップによって帯域の使用予定時間を管理する。制御手段４は、帯域スケジューラマップに基づいてステージング帯域を制御する。

本実施形態で扱う帯域は、ネットワークを介してローカルファイルシステムとグローバルファイルシステムとの間のジョブファイルの転送を行う場合、ネットワーク上の帯域（ネットワーク帯域）を意味する。また、ローカルファイルシステムとグローバルファイルシステムとの間のジョブファイルの転送を装置内部で行う場合、本実施形態で扱う帯域は装置内部の通信路上の帯域を意味する。

帯域スケジューラマップは、データ処理装置１の起動時にメモリ上に作成される。データ処理装置１は、起動時に現在使用しているジョブの帯域情報等を収集して帯域スケジューラマップを作成し、起動後はジョブ転送が行われる際に帯域スケジューラマップにデータを追加していく。なお、帯域スケジューラマップは、メモリ上ではなく、ローカルファイル上にマップデータとして持たせてもよい。

データ処理装置１は、例えば、演算機能・制御機能・記憶機能を有するコンピュータやサーバなどの情報処理装置として実現できる。決定手段２は、情報処理装置が有する中央演算処理装置（プロセッサ）の演算機能によって実現できる。管理手段３は、情報処理装置が有する主記憶装置やレジスタなどの記憶装置によって実現できる。ただし、レジスタを用いる構成とするならば、管理手段３を中央演算処理装置によって実現することもできる。制御手段４は、情報処理装置が有する中央演算処理装置の制御機能によって実現できる。なお、データ処理装置１の備える各機能構成については、ここであげたハードウェア構成以外の構成によって実現してもよい。

本発明の概要に関するデータ処理装置１の詳細については、以下の具体的な実施形態を用いて説明していく。

（第１の実施形態）
（構成）
次に、図２を用いて、本発明の第１の実施形態に係るデータ処理装置１（スケジューラとも呼ぶ）の機能構成について詳細に説明する。

ジョブスケジューリングを行うデータ処理装置１は、ジョブアサイン手段１０と、ファイルステージングアサイン手段２０と、帯域スケジューラマップ管理手段３０と、帯域制御手段４０とを備える。図２において、ジョブアサイン手段１０およびファイルステージング処理手段２０は決定手段２（図１）を構成する。また、帯域スケジューラマップ管理手段３０は管理手段３（図１）を構成し、帯域制御手段４０は制御手段４を構成する。

（ジョブアサイン手段）
ジョブアサイン手段１０は、ジョブの実行開始時間を決定する。

ジョブアサイン手段１０は、予定実行時刻決定手段１１を備える。予定実行時刻決定手段１１はジョブの実行開始時刻を決定する。

（ファイルステージングアサイン手段）
ファイルステージングアサイン手段２０は、ファイルステージング処理の転送時間と帯域を決定する。

ファイルステージングアサイン手段２０は、予定転送終了時刻決定手段２１と、帯域クラス決定手段２２と、予定転送開始時刻決定手段２３と、転送予定量取得手段２４と、転送速度決定手段２５と、帯域アサイン確保手段２６とを有する。

予定転送終了時刻決定手段２１は、予定実行時刻決定手段１１から通知を受けて、ジョブの予定実行時刻から予定転送終了時刻を決定する。

帯域クラス決定手段２２は、ジョブの実行ノード数（大／中／小）とファイルステージング処理の種類（ステージイン／ステージアウト）から、ファイルステージング処理に割り当てられた帯域全体の中で使用する帯域クラスを決定する。

図３は、帯域クラス決定手段２２による帯域クラスの割り当ての決定例である。図３において、デフォルトで与えられた帯域は、ステージング用のクラスＳに５５％、計算用のクラスＪに４５％という割合でクラスを割り当てられる。また、クラスＳは、ステージインのためのクラスＩに３５％、ステージアウトのためのクラスＯに２０％という割合でクラスを割り当てられる。さらに、ジョブの実行ノード数（大／中／小）に応じて、クラスＩには、クラスＡ、クラスＢおよびクラスＣが割り当てられ、クラスＯには、クラスＤ、クラスＥおよびクラスＦが割り当てられる。

図３において、クラスＡが確保している帯域が不足した場合、上位クラスであるクラスＩ内で帯域を借りるように動的制御することができる。また、帯域を借りない設定（帯域を固定）も可能である。

予定転送開始時刻決定手段２３は、ファイルステージング処理に使用する帯域（以下、ステージング帯域）を確保できる転送開始時刻を決定する。

転送予定量取得手段２４は、ファイルステージング処理を行うファイルの転送量（サイズ）を取得する。

転送速度決定手段２５は、ファイルステージング処理の転送時間と転送量から転送速度を決定する。なお、転送速度決定手段２５によって決定された転送速度がステージング帯域に相当する。

帯域アサイン確保手段２６は、ファイルステージング処理に必要な領域を転送予定情報記憶手段３２として確保する。

（帯域スケジューラマップ管理手段）
帯域スケジューラマップ管理手段３０は、帯域と時間を軸にした二次元マップ（以降、帯域スケジューラマップ）により、帯域の使用予定時間を管理する。帯域スケジューラマップは、データ処理装置１の起動時に作成される。帯域スケジューラマップは、ファイルステージング処理において複数のジョブのそれぞれが占有する帯域を第１の軸とし、複数のジョブのそれぞれが帯域を占有する時間を第２の軸とする。なお、帯域スケジューラマップは、帯域スケジューラマップ管理手段３０に格納されていてもよく、帯域スケジューラマップ管理手段３０とは異なるメモリ上の領域に展開されていてもよい。

帯域スケジューラマップ管理手段３０は、帯域クラス設定情報記憶手段３１と、転送予定情報記憶手段３２とを有する。

帯域クラス設定情報記憶手段３１は、帯域クラスが使用可能な全出力帯域における帯域比率情報をもつ帯域クラス設定情報を格納する。すなわち、帯域クラス設定情報は、ファイルステージング処理で使用される帯域に割り当てられた帯域クラスの帯域比率情報をもつ。

転送予定情報記憶手段３２は、ファイルステージング処理の予定転送終了時刻、転送予定量、転送実績量をもつ転送予定情報を格納する。

（帯域制御手段）
帯域制御手段４０は、ファイルステージング処理において、帯域スケジューラマップに従ってステージング帯域を制御する。

帯域制御手段４０は、ステージング帯域設定手段４１を有する。ステージング帯域設定手段４１は、ファイルステージング処理で使用されている帯域を設定・変更する。

（動作）
次に、図４〜図６を参照して本発明の第１の実施形態に係るデータ処理装置１の動作について詳細に説明する。図４は本発明の第１の実施形態に係るデータ処理装置１の動作を説明するためのフローチャートである。図５は、図４のフローチャートを動作主体となる構成要素を明確に示すとともに、構成要素間のデータのやり取りを明確にするためのシークエンス図である。図６は、本発明の実施形態に係るデータ処理装置１の帯域スケジューラマップ管理手段３０によって管理される帯域スケジューラマップの一例である。

ここで示す本実施形態の一例においては、ジョブ１、ジョブ２およびジョブ３が転送予定情報記憶手段３２にファイルステージング用の領域を確保しており、ジョブ４はまだ領域を確保していない例について説明する。なお、ジョブ１、ジョブ２、ジョブ３およびジョブ４は大規模ジョブであるとともにステージインであり、同一の帯域クラスのジョブである。

まず、ジョブアサイン手段１０の予定実行時刻決定手段１１は、ジョブ４の予定実行時刻を決定する（ステップＳ１）。

予定実行時刻決定手段１１によってジョブ４の予定実行時刻が決定すると、ファイルステージングアサイン手段２０における処理に移行する。

予定転送終了時刻決定手段２１は、ジョブ４の予定実行時刻からファイルステージング処理の予定終了時刻（デッドライン）を決定する（ステップＳ２）。そして、予定転送終了時刻決定手段２１は、帯域クラス決定手段２２を呼び出す。

帯域クラス決定手段２２は、帯域クラス設定情報記憶手段３１に格納された帯域クラス設定情報を参照し、ジョブの規模とファイルステージング処理の種類から、使用する帯域クラスを決定する（ステップＳ３）。そして、帯域クラス決定手段２２は、予定転送開始時刻決定手段２３を呼び出す。

図６の例では、ジョブの規模は大規模に決定され、ファイルステージング処理の種類はステージインに決定され、使用する帯域クラスはＣｌａｓｓ Ａに決定される。

予定転送開始時刻決定手段２３は、転送予定量取得手段２４を呼び出して転送量を確認し、帯域クラスの転送予定情報記憶手段３２を参照して予定転送開始時刻を決定する（ステップＳ４）。そして、予定転送開始時刻決定手段２３は、転送速度決定手段２５を呼び出す。

なお、転送時間を計算する際には、転送処理が確実に終わることを保証するために予定転送終了時刻から予定転送開始時刻を引いた時間に係数（０．８〜０．９）をかけた時間とする。また、係数は転送量やジョブの優先度によって変更可能なパラメータとする。

転送速度決定手段２５は、転送量と転送時間から転送速度を計算する（ステップＳ５）。そして、転送速度決定手段２５は、ステージング帯域を確保するために帯域アサイン確保手段２６を呼び出す。

ここで、帯域の空き容量が十分であるか否かによって異なるステップを経る（ステップＳ６）。

転送予定情報記憶手段３２にファイルステージング用の領域を確保できない場合（ステップＳ６でＮｏ）、帯域アサイン確保手段２６は、ジョブアサイン手段１０にジョブ４を再スケジューリングするように要求する（ステップＳ７）。帯域アサイン確保手段２６による再スケジューリングの要求が出た場合は、図４のステップＳ１に処理が戻る。

また、転送予定情報記憶手段３２にファイルステージング用の領域を確保できた場合は（ステップＳ６でＹｅｓ）、ステップＳ８に進む。

領域を確保できた場合（ステップＳ６でＹｅｓ）、帯域アサイン確保手段２６は、転送予定情報記憶手段３２にファイルステージング用の領域を確保するとともに、ファイルステージング用の領域をステージング帯域設定手段４１に通知する（ステップＳ８）。

ここで、帯域の幅を変更（拡大・縮小）するか否かによって、異なるステップに進む（ステップＳ９）。

帯域の幅を変更する場合（ステップＳ９でＹｅｓ）、ステージング帯域設定手段４１は、帯域アサイン確保手段２６による通知に応じて、外部の帯域制御装置に帯域幅の変更を指示する（ステップＳ１０）。なお、帯域の幅を変更しない場合（ステップＳ９でＮｏ）、図４のフローは終了となる。

図４のステップＳ６やステップＳ９に関して、帯域不足を解消する具体的な方法については、後述の実施形態において説明する。

以上のように、本発明の第１の実施形態に係るデータ処理装置は、ファイルステージング処理の完了時刻を担保するため、ネットワーク全体の総出力帯域からステージング帯域を必要な時間だけ予め確保するスケジューリングを行う。

また、本発明の第１の実施形態に係るデータ処理装置は、帯域スケジューラマップにより帯域の使用予定時間を管理する。

本発明の第１の実施形態に係るデータ処理装置は、ジョブの実行開始前と実行完了後に、ファイルステージング処理を行うファイル転送量と転送予定時間から転送速度を計算する。そして、本発明の第１の実施形態に係るデータ処理装置は、帯域スケジューラマップにファイルステージング処理用の領域を確保することによって、予定完了時刻までに転送を行うことを保証する。

すなわち、本実施形態に係るデータ処理装置によれば、ファイルステージング処理に使用する帯域を事前に確保し、デッドラインまでに処理が完了することを保証することによって、ジョブ実行開始の遅れを防止することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態に係るデータ処理装置５（データ処理装置）の構成について図７を参照して詳細に説明する。

（構成）
第２の実施形態に係るデータ処理装置５（図７）の構成は、ファイルステージング処理において現時点の転送量（実績）を帯域スケジューラマップに反映する転送実績反映手段５０が追加されている点が、第１の実施形態に係るデータ処理装置１（図２）とは異なる。図７において、ジョブアサイン手段１０、ファイルステージング処理手段２０および転送実績反映手段５０、は決定手段２（図１）を構成する。また、帯域スケジューラマップ管理手段３０は管理手段３（図１）に相当し、帯域制御手段４０は制御手段４に相当する。

転送実績反映手段５０は、転送実績量取得手段５１と転送実績量登録手段５２とを備える。

転送実績取得手段５１は、外部の帯域制御装置から転送実績量を取得し、取得した転送実績量を転送実績量登録手段５２に通知する。

転送実績量登録手段５２は、転送予定情報記憶手段３２に転送実績量を登録し、転送予定量を更新する。

（動作）
第２の実施形態に係るデータ処理装置５の動作は、図８のステップＳ２０７以降が、第１の実施形態に係るデータ処理装置１の動作とは異なる。帯域アサイン確保手段２６によって領域が確保できなかった場合（ステップＳ２０６でＮｏ）、図８のように、帯域スケジューラマップを最適化（実績反映）することによって空き領域を増やす。なお、図８のステップＳ２０１〜Ｓ２０６は、図４のステップＳ１〜Ｓ６と同じであるため、説明は省略する。

（帯域スケジューラマップの最適化）
帯域スケジューラマップの最適化を行うためには、転送実績取得手段５１を呼び出す。転送実績取得手段５１は、ファイルステージング処理中の転送実績情報を収集し、収集した転送実績情報を転送実績登録手段５２に通知する（ステップＳ２０７）。

転送実績登録手段５２は、転送予定情報記憶手段３２に転送実績量を登録し、転送予定量から転送実績量を減算して更新する（ステップＳ２０８）。

転送実績登録手段５２は、転送予定情報記憶手段３２に転送予定情報を登録後、帯域アサイン確保手段２６に転送予定情報を通知する（ステップＳ２０９）。

以上のステップＳ２０７〜Ｓ２０９が、帯域スケジュールマップの最適化処理になる。

ここで、帯域スケジュールマップが最適化されると、帯域の空き容量が十分にあるか否かによって異なるステップをたどる（ステップＳ２１０）。

帯域の空き容量が十分にない場合（ステップＳ２１０でＮｏ）、帯域アサイン確保手段２６は、ジョブアサイン手段１０にジョブ４を再スケジューリングするように要求する（ステップＳ２１１）。

そして、帯域の空き容量が十分にある場合（ステップＳ２１０でＹｅｓ）、帯域アサイン確保手段２６は、転送予定情報記憶手段３２にファイルステージング用の領域を確保する（ステップＳ２１２）。このとき、帯域アサイン確保手段２６は、ファイルステージング用の領域をステージング帯域設定手段４１に通知する。

なお、図８のステップＳ２１１およびＳ２１２は、図４のステップＳ９およびＳ１０と同じであるため、説明は省略する。

以上のように、第２の実施形態においては、転送予定情報に転送実績を反映させて帯域スケジューラマップを最適化することによって、帯域スケジューラマップの空き領域を増やす。第１の実施形態と比べると、第２の実施形態によれば、ファイルステージング処理で使用する帯域を確保できる確率が向上し、ジョブの再スケジューリングを削減する効果を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態に係るデータ処理装置６（データ処理装置）の構成について図１１を参照して詳細に説明する。

第３の実施形態に係るデータ処理装置６（図９）の構成は、帯域制御手段４０に帯域クラス設定手段４２と余剰帯域検索手段４３が追加されている点で、第１の実施形態に係るデータ処理装置１（図２）とは異なる。図９において、ジョブアサイン手段１０およびファイルステージング処理手段２０は決定手段２（図１）を構成する。また、帯域スケジューラマップ管理手段３０は管理手段３（図１）に相当し、帯域制御手段４０は制御手段４（図１）に相当する。

帯域クラス設定手段４２は、帯域クラスごとに設定している帯域比率を設定・変更する。

余剰帯域検索手段４３は、転送予定情報記憶手段３２に格納された転送予定情報から帯域クラスの余剰領域を検索する。

（動作）
第３の実施形態に係るデータ処理装置６の動作は、図１０のステップＳ３０７以降が、第１の実施形態に係るデータ処理装置１の動作とは異なる。帯域アサイン確保手段２６によって領域が確保できなかった場合（ステップＳ３０６でＮｏ）、図１０のように、帯域クラスの使用帯域比率を変更することによって空き領域を増やす。なお、図１０のステップＳ３０１〜Ｓ３０６は、図４のステップＳ１〜Ｓ６と同じであるため、説明は省略する。

（帯域クラス内の帯域借用）
帯域クラス内の帯域借用を行うためには、余剰帯域検索手段４３を呼び出す。

余剰帯域検索手段４３は、転送予定情報記憶手段３２から帯域スケジューラマップ領域の余剰領域を検索し、帯域クラスの使用帯域比率を変更可能かチェックする（ステップＳ３０７）。

ここで、帯域クラスの使用帯域比率を変更可能であるか否かによって、異なるフローをたどる（ステップＳ３０８）。

使用帯域比率変更が可能である場合（ステップＳ３０８でＹｅｓ）、帯域クラス設定手段４２を呼出し、帯域クラス設定情報記憶手段３１の帯域比率を変更する（ステップＳ３０９）。なお、使用帯域比率変更が可能ではない場合（ステップＳ３０８でＮｏ）、帯域アサイン確保手段２６は、ジョブアサイン手段１０にジョブ４を再スケジューリングするように要求する（ステップＳ３１０）。

ステップＳ３０９で帯域クラスの使用帯域比率が変更されると、帯域アサイン確保手段２６は、転送予定情報記憶手段３２にファイルステージング用の領域を確保し、ファイルステージング用の領域をステージング帯域設定手段４１に通知する（ステップＳ３１１）。

なお、図１０のステップＳ３１２およびＳ３１３は、図４のステップＳ９およびＳ１０と同じであるため、説明は省略する。

以上のように、第３の実施形態においては、帯域クラスの使用比率を拡張することにより、帯域スケジューラマップの空き領域を増やす。第１の実施形態と比べると、第３の実施形態によれば、ファイルステージング処理で使用する帯域を確保できる確率が向上し、ジョブの再スケジューリングを低減する効果がある。

以上の本実施形態に係るデータ処理装置による動作は、上述のデータ処理装置とは異なる構成をもつ装置によって実現されても、本実施形態の方法を適用している限りは本発明の範囲に含まれる。また、本実施形態に係るデータ処理方法をコンピュータに実行させるデータ処理プログラムも本発明の範囲に含まれる。さらに、本実施形態に係るデータ処理プログラムを記録させたプログラム記録媒体も本発明に含まれるものである。

（計算機システム）
図１１は、本発明の実施形態に係るデータ処理装置を含む計算機システム（クラスタシステム１００）の一例の概念図である。

クラスタシステム１００は、複数の計算ノード１０１を備え、ジョブが実行する際に使用するファイルシステム（ローカルファイルシステム１０２）とユーザ・データを格納するファイルシステム（グローバルファイルシステム１０３）が階層構造となっている。

ローカルファイルシステム１０２は、計算機ノード１０１が高速にアクセスできる一時保存領域として機能する。ローカルファイルシステム１０２は、各計算ノード１０１を収容する計算ラック内の入出力専用ノードを介して各計算機ノード１０１と接続される。

グローバルファイルシステム１０３とローカルファイルシステム１０２との間は、図示しないネットワークによって接続されている。ローカルファイルシステム１０２は、ファイルステージング機能によってジョブファイルをグローバルファイルシステム１０３との間で転送し合う。ローカルファイルシステム１０２上には、実行中または実行待ちのジョブファイルが一時的に格納されることになる。

一般に、ファイルステージング機能は、ジョブを運営するソフトウェアと連携して動作し、ジョブ開始までにジョブファイルをステージインして、ジョブ開始後にジョブファイルをステージアウトする処理がシステムによって自動的に実現される。

グローバルファイルシステム１０３は、ユーザファイルを保存するための共用保存領域として機能する。グローバルファイルシステム１０３は、例えば、計算ラックの外部に配置されたストレージシステムとして実現できる。

クラスタシステム１００においてジョブを実行するためには、グローバルファイルシステム１０３からローカルファイルシステム１０２にジョブファイルを転送しておく必要がある。

各計算機ノード１０１は、設定されたジョブの実行開始時刻に基づき、ローカルファイルシステム１０２からジョブファイルを取り出してジョブを実行する。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１、５、６ データ処理装置
１０ ジョブアサイン手段
１１ 予定実行時刻決定手段
２０ ファイルステージングアサイン手段
２１ 予定転送終了時刻決定手段
２２ 帯域クラス決定手段
２３ 予定転送開始時刻決定手段
２４ 転送予定量取得手段
２５ 転送速度決定手段
２６ 帯域アサイン確保手段
３０ 帯域スケジューラマップ管理手段
３１ 帯域クラス設定情報記憶手段
３２ 転送予定情報記憶手段
４０ 帯域制御手段
４１ ステージング帯域設定手段
４２ 帯域クラス設定手段
４３ 余剰帯域検索手段
５０ 転送実績反映手段
５１ 転送実績取得手段
５２ 転送実績登録手段
１００ クラスタシステム
１０１ 計算機ノード
１０２ ローカルファイルシステム
１０３ グローバルファイルシステム

Claims (10)

1. ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する決定手段と、
   帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する管理手段と、
   前記帯域スケジューラマップに基づいて帯域を制御する制御手段とを備え、
   前記管理手段は、
   前記ファイルステージング処理で使用する帯域に割り当てられた複数の帯域クラスの帯域比率情報をもつ帯域クラス設定情報を格納する帯域クラス設定情報記憶手段と、
   前記ファイルステージング処理における予定転送終了時刻、ジョブファイルの転送予定量および転送実績量を含む転送予定情報を格納する転送予定情報記憶手段とを有し、
   前記決定手段は、
   ジョブの実行開始時刻を決定し、
   前記実行開始時刻から予定転送終了時刻を決定し、
   前記ジョブの実行ノード数と前記ファイルステージング処理の種類から使用する前記帯域クラスを決定し、
   前記ステージング帯域を確保できる予定転送開始時刻を決定し、
   前記転送予定情報記憶手段から前記転送予定量を取得し、
   ジョブファイルの転送時間と転送量から転送速度を決定し、
   前記ファイルステージング処理に必要な領域を前記転送予定情報記憶手段に確保し、
   前記制御手段は、
   前記帯域スケジューラマップに従って前記ファイルステージング処理で使用している帯域を設定・変更するデータ処理装置。
2. 前記管理手段は、
   前記ファイルステージング処理において複数の前記ジョブのそれぞれが占有する帯域と、前記複数のジョブのそれぞれが帯域を占有する時間とを対応させた前記帯域スケジューラマップによって帯域の前記使用予定時間を管理する請求項１に記載のデータ処理装置。
3. 前記決定手段は、
   前記ジョブの前記実行開始時刻を決定するジョブアサイン手段と、
   前記ファイルステージング処理における前記ジョブファイルの転送時間および前記ステージング帯域を決定するファイルステージングアサイン手段とを備え、
   前記管理手段は、
   前記帯域スケジューラマップによって帯域の前記使用予定時間を管理する帯域スケジューラマップ管理手段を備え、
   前記制御手段は、
   前記帯域スケジューラマップに従って前記ステージング帯域を制御する帯域制御手段を備える請求項１に記載のデータ処理装置。
4. ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する決定手段と、
   帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する管理手段と、
   前記帯域スケジューラマップに基づいて帯域を制御する制御手段とを備え、
   前記決定手段は、
   ジョブの実行開始時刻を決定するジョブアサイン手段と、
   前記ファイルステージング処理におけるジョブファイルの転送時間および前記ステージング帯域を決定するファイルステージングアサイン手段とを備え、
   前記管理手段は、
   前記帯域スケジューラマップによって帯域の使用予定時間を管理する帯域スケジューラマップ管理手段を備え、
   前記制御手段は、
   前記帯域スケジューラマップに従って前記ステージング帯域を制御する帯域制御手段を備え、
   前記ジョブアサイン手段は、
   前記ジョブの前記実行開始時刻を決定する予定実行時刻決定手段を有し、
   前記帯域スケジューラマップ管理手段は、
   前記ファイルステージング処理で使用する帯域に割り当てられた複数の帯域クラスの帯域比率情報をもつ帯域クラス設定情報を格納する帯域クラス設定情報記憶手段と、
   前記ファイルステージング処理における予定転送終了時刻、ジョブファイルの転送予定量および転送実績量を含む転送予定情報を格納する転送予定情報記憶手段とを有し、
   前記ファイルステージングアサイン手段は、
   前記予定実行時刻決定手段からの通知を受けて前記実行開始時刻から前記予定転送終了時刻を決定する予定転送終了時刻決定手段と、
   前記ジョブの実行ノード数と前記ファイルステージング処理の種類から使用する前記帯域クラスを決定する帯域クラス決定手段と、
   前記ステージング帯域を確保できる予定転送開始時刻を決定する予定転送開始時刻決定手段と、
   前記転送予定情報記憶手段から前記転送予定量を取得する転送予定量取得手段と、
   ジョブファイルの転送時間と転送量から転送速度を決定する転送速度決定手段と、
   前記ファイルステージング処理に必要な領域を前記転送予定情報記憶手段に確保する帯域アサイン確保手段とを有し、
   前記帯域制御手段は、
   前記ファイルステージング処理で使用している帯域を設定・変更するステージング帯域設定手段を有するデータ処理装置。
5. 前記ファイルステージング処理における前記転送実績量を前記帯域スケジューラマップに反映する転送実績反映手段を備える請求項４に記載のデータ処理装置。
6. 前記転送実績反映手段は、
   外部の帯域制御装置から前記転送実績量を取得する転送実績取得手段と、
   前記転送実績取得手段によって取得された前記転送実績量を前記転送予定情報記憶手段に登録する転送実績量登録手段とを有する請求項５に記載のデータ処理装置。
7. 前記帯域制御手段は、
   前記帯域クラスごとに設定されている帯域比率を設定・変更する帯域クラス設定手段と、
   前記転送予定情報記憶手段に格納された前記転送予定情報から前記帯域クラスの余剰領域を検索する余剰帯域検索手段とを有する請求項４乃至６のいずれか一項に記載のデータ処理装置。
8. 複数の計算機ノードと、
   前記複数の計算機ノードが実行するジョブをジョブファイルとして格納するグローバルファイルシステムと、
   前記グローバルファイルシステムと前記計算機ノードとの間で前記ジョブを実行できる形で前記ジョブファイルを一時保存するローカルファイルシステムと、
   前記ローカルファイルシステムと前記グローバルファイルシステムとの間で前記ジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する決定手段と、帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する管理手段と、前記帯域スケジューラマップに基づいて前記ステージング帯域を制御する制御手段とを備えるデータ処理装置とを備え、
   前記管理手段は、
   前記ファイルステージング処理で使用する帯域に割り当てられた複数の帯域クラスの帯域比率情報をもつ帯域クラス設定情報を格納する帯域クラス設定情報記憶手段と、
   前記ファイルステージング処理における予定転送終了時刻、前記ジョブファイルの転送予定量および転送実績量を含む転送予定情報を格納する転送予定情報記憶手段とを有し、
   前記決定手段は、
   前記ジョブの実行開始時刻を決定し、
   前記実行開始時刻から予定転送終了時刻を決定し、
   前記ジョブの実行ノード数と前記ファイルステージング処理の種類から使用する前記帯域クラスを決定し、
   前記ステージング帯域を確保できる予定転送開始時刻を決定し、
   前記転送予定情報記憶手段から前記転送予定量を取得し、
   ジョブファイルの転送時間と転送量から転送速度を決定し、
   前記ファイルステージング処理に必要な領域を前記転送予定情報記憶手段に確保し、
   前記制御手段は、
   前記帯域スケジューラマップに従って前記ファイルステージング処理で使用している帯域を設定・変更する計算機システム。
9. コンピュータが、
   ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定し、
   帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理し、
   前記帯域スケジューラマップに基づいて前記ステージング帯域を制御するデータ処理方法であって、
   前記ファイルステージング処理で使用する帯域に割り当てられた複数の帯域クラスの帯域比率情報をもつ帯域クラス設定情報を帯域クラス設定情報記憶手段に格納し、
   前記ファイルステージング処理における予定転送終了時刻、ジョブファイルの転送予定量および転送実績量を含む転送予定情報を転送予定情報記憶手段に格納し、
   ジョブの実行開始時刻を決定し、
   前記実行開始時刻から予定転送終了時刻を決定し、
   前記ジョブの実行ノード数と前記ファイルステージング処理の種類から使用する前記帯域クラスを決定し、
   前記ステージング帯域を確保できる予定転送開始時刻を決定し、
   前記転送予定情報記憶手段から前記転送予定量を取得し、
   ジョブファイルの転送時間と転送量から転送速度を決定し、
   前記ファイルステージング処理に必要な領域を前記転送予定情報記憶手段に確保し、
   前記帯域スケジューラマップに従って前記ファイルステージング処理で使用している帯域を設定・変更するデータ処理方法。
10. ローカルファイルシステムとグローバルファイルシステムとの間でジョブファイルの転送を実行するファイルステージング処理に使用する帯域であるステージング帯域を決定する処理と、
    帯域と時間とを２つの軸とする２次元マップである帯域スケジューラマップに基づいて帯域の使用予定時間を管理する処理と、
    前記帯域スケジューラマップに基づいて前記ステージング帯域を制御する処理とをコンピュータに実行させるデータ処理プログラムであって、
    前記ファイルステージング処理で使用する帯域に割り当てられた複数の帯域クラスの帯域比率情報をもつ帯域クラス設定情報を帯域クラス設定情報記憶手段に格納する処理と、
    前記ファイルステージング処理における予定転送終了時刻、ジョブファイルの転送予定量および転送実績量を含む転送予定情報を転送予定情報記憶手段に格納する処理と、
    ジョブの実行開始時刻を決定する処理と、
    前記実行開始時刻から予定転送終了時刻を決定する処理と、
    前記ジョブの実行ノード数と前記ファイルステージング処理の種類から使用する前記帯域クラスを決定する処理と、
    前記ステージング帯域を確保できる予定転送開始時刻を決定する処理と、
    前記転送予定情報記憶手段から前記転送予定量を取得する処理と、
    ジョブファイルの転送時間と転送量から転送速度を決定する処理と、
    前記ファイルステージング処理に必要な領域を前記転送予定情報記憶手段に確保する処理と、
    前記帯域スケジューラマップに従って前記ファイルステージング処理で使用している帯域を設定・変更する処理とを含むデータ処理プログラム。

Images