JP6666555B2 - 情報処理装置、ジョブ投入方法、およびジョブ投入プログラム - Google Patents
情報処理装置、ジョブ投入方法、およびジョブ投入プログラム Download PDFInfo
- Publication number
- JP6666555B2 JP6666555B2 JP2016103852A JP2016103852A JP6666555B2 JP 6666555 B2 JP6666555 B2 JP 6666555B2 JP 2016103852 A JP2016103852 A JP 2016103852A JP 2016103852 A JP2016103852 A JP 2016103852A JP 6666555 B2 JP6666555 B2 JP 6666555B2
- Authority
- JP
- Japan
- Prior art keywords
- job
- execution
- time
- parallelism
- job execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
開始時刻算出手段は、少なくとも1つのキューそれぞれに登録されたジョブ実行要求の実行スケジュールを示すスケジュール情報を取得し、少なくとも1つのキューのうちの1つを登録先キューとし、複数の並列度のうちの1つを指定並列度とするジョブ実行条件を複数生成し、スケジュール情報に基づいて、ジョブ実行条件それぞれについて、指定並列度での新規ジョブの実行を要求する新規ジョブ実行要求を登録先キューに登録した場合の、新規ジョブの実行開始時刻の予測値である予測開始時刻を算出する。実行時間算出手段は、新規ジョブを所定の並列度で実行したときの新規ジョブの実行時間に基づいて、複数の並列度それぞれに応じた新規ジョブの実行時間を算出する。終了時刻算出手段は、ジョブ実行条件それぞれについて、ジョブ実行条件の予測開始時刻と、ジョブ実行条件に示される指定並列度での新規ジョブの実行時間とに基づいて、ジョブ実行条件に示される指定並列度を指定した新規ジョブ実行要求を、ジョブ実行条件に示される登録先キューに登録した場合の、新規ジョブの実行終了時刻の予測値である予測終了時刻を算出する。登録手段は、ジョブ実行条件のうちの実行終了時刻が最先となる最先ジョブ実行条件に示される指定並列度で新規ジョブを実行させる新規ジョブ実行要求を、最先ジョブ実行条件に示される登録先キューに登録する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係るシステムの構成例を示す図である。情報処理装置10は、計算ノード2a,2b,・・・,3a,3b,・・・に実行させるジョブを管理する管理ノード1に接続されている。情報処理装置10は、ユーザからの指示に応じて、管理ノード1にジョブを投入する。ジョブの投入とは、管理ノード1のキューを指定して、ジョブの実行要求を管理ノード1に送信する処理である。
実行時間算出手段12は、新規ジョブを所定の並列度で実行したときの新規ジョブの実行時間に基づいて、複数の並列度それぞれに応じた新規ジョブの実行時間を算出する。例えば実行時間算出手段12は、ユーザが入力した所定の並列度で実行したときの新規ジョブの実行時間を基準として、並列度が上がるほど実行時間が短くなり、並列度が下がるほど実行時間が長くなるように、複数の並列度それぞれでの実行時間を算出する。
次に第2の実施の形態について説明する。
図2は、第2の実施の形態のシステム構成例を示す図である。ネットワーク20を介して、複数の計算ノード31,32,・・・、管理ノード200、および端末装置100が接続されている。複数の計算ノード31,32,・・・は、ジョブを実行するコンピュータである。管理ノード200は、複数の計算ノード31,32,・・・に対してジョブの実行を指示するコンピュータである。端末装置100は、実行させるジョブを管理ノード200に投入するコンピュータである。
実行指示部218は、ジョブの開始予定時刻になると、そのジョブ実行要求をキュー215〜217から取り出し、そのジョブに割り当てられた計算ノードに対してそのジョブ実行要求を送信する。
図10は、ジョブ投入処理の手順の一例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。
図11は、空きノード数予測処理の手順の一例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。
[ステップS122]ジョブ投入部120は、選択したキューのスケジュール情報に基づいて、対応するキューで利用できる計算ノードのうちの空き計算ノードの数の時間推移を示すグラフを作成する。
図15は、空き計算ノード数の予測例を示す図である。ジョブ投入部120は、生成したグラフ73の矩形を細分化して、上方向に寄せ、空き計算ノードを示す領域を纏めたグラフ74を生成する。このグラフ74により、経過時間に応じた空き計算ノード数が明確となる。計算上は、経過時間ごとに、各ジョブで利用している計算ノード数を合計し、キューが利用できる計算ノード数から減算することで、空き計算ノード数の時間遷移が得られる。
図19は、利用可能資源リストの一例を示す図である。キューごとに生成された利用可能資源リスト91,92,・・・には、グラフ内に設けた矩形ごとの利用可能資源情報が設定されている。利用可能資源情報には、並列度、利用可能時間、および予測開始時刻が含まれる。並列度は、利用可能資源の並列度である。利用可能資源の並列度は、グラフ中では、矩形のノード数方向の幅で表されている。利用可能時間は、利用可能資源の利用可能時間である。利用可能資源の利用可能時間は、グラフ中では、矩形の経過時間方向の幅で表されている。予測開始時刻は、利用可能資源の利用開始可能時刻である。利用可能資源の予測開始時刻は、グラフ中では、矩形の左端に対応する経過時間を現在時刻に加算した時刻である。
上記の実施の形態では、管理ノードとは別の情報処理装置10または端末装置100において、ジョブの並列度と投入先のキューを決定しているが、このような決定処理を管理ノードが実行するようにすることもできる。
2a,2b,・・・,3a,3b,・・・ 計算ノード
4a,4b スケジュール情報
10 情報処理装置
11 開始時刻算出手段
12 実行時間算出手段
13 終了時刻算出手段
14 登録手段
Claims (5)
- 少なくとも1つのキューそれぞれについての、キューで使用可能な計算ノード数、登録されたジョブ実行要求の実行期間、及び該ジョブ実行要求で使用する計算ノード数を示すスケジュール情報を取得し、前記少なくとも1つのキューのうちの1つである登録先キューと複数の並列度のうちの1つである指定並列度とが指定されたジョブ実行条件を複数生成し、前記スケジュール情報に基づいて、前記ジョブ実行条件それぞれについて、前記指定並列度での新規ジョブの実行を要求する新規ジョブ実行要求を前記登録先キューに登録した場合に、前記登録先キューで前記使用可能な計算ノード数から登録されたジョブ実行要求で使用する計算ノード数を減算した空き計算ノード数の時間遷移を求め、前記ジョブ実行条件に示される前記指定並列度以上の前記空き計算ノード数が存在する利用可能期間の最先の時刻である予測開始時刻を算出する開始時刻算出手段と、
前記新規ジョブを所定の並列度で実行したときの前記新規ジョブの実行時間に基づいて、前記複数の並列度それぞれに応じた前記新規ジョブの実行時間を算出する実行時間算出手段と、
前記ジョブ実行条件それぞれについて、前記ジョブ実行条件の前記予測開始時刻と、前記ジョブ実行条件に示される前記指定並列度での前記新規ジョブの実行時間とに基づいて、前記ジョブ実行条件に示される前記指定並列度を指定した前記新規ジョブ実行要求を、前記ジョブ実行条件に示される前記登録先キューに登録した場合の、前記新規ジョブの実行終了時刻の予測値である予測終了時刻を算出する終了時刻算出手段と、
前記ジョブ実行条件のうちの前記予測終了時刻が最先となる最先ジョブ実行条件に示される前記指定並列度で前記新規ジョブを実行させる前記新規ジョブ実行要求を、前記最先ジョブ実行条件に示される前記登録先キューに登録する登録手段と、
を有する情報処理装置。 - 前記登録手段は、前記最先ジョブ実行条件に従って登録した前記新規ジョブ実行要求の実行スケジュールを取得し、該実行スケジュールに示される前記新規ジョブの実行開始時刻を示す実行開始予定時刻に、前記最先ジョブ実行条件に示される前記指定並列度での前記新規ジョブの実行時間を加算した終了予定時刻が、前記最先ジョブ実行条件以外の他のジョブ実行条件の前記予測終了時刻よりも遅い場合、前記最先ジョブ実行条件に従って登録した前記新規ジョブ実行要求をキャンセルし、前記他のジョブ実行条件に示される前記指定並列度で前記新規ジョブを実行させる新規ジョブ再実行要求を、前記他のジョブ実行条件に示される前記登録先キューに登録する、
請求項1記載の情報処理装置。 - 前記開始時刻算出手段は、前記ジョブ実行条件に示される前記登録先キューにおける前記時間遷移において、前記利用可能期間の長さを示す利用可能時間を求め、
前記終了時刻算出手段は、前記ジョブ実行条件の前記利用可能時間が、前記ジョブ実行条件に示される前記指定並列度の実行時間未満の場合、前記ジョブ実行条件の前記予測終了時刻の算出を抑止する、
請求項1または2に記載の情報処理装置。 - コンピュータが、
少なくとも1つのキューそれぞれについての、キューで使用可能な計算ノード数、登録されたジョブ実行要求の実行期間、及び該ジョブ実行要求で使用する計算ノード数を示すスケジュール情報を取得し、
前記少なくとも1つのキューのうちの1つである登録先キューと複数の並列度のうちの1つである指定並列度とが指定されたジョブ実行条件を複数生成し、
前記スケジュール情報に基づいて、前記ジョブ実行条件それぞれについて、前記指定並列度での新規ジョブの実行を要求する新規ジョブ実行要求を前記登録先キューに登録した場合に、前記登録先キューで前記使用可能な計算ノード数から登録されたジョブ実行要求で使用する計算ノード数を減算した空き計算ノード数の時間遷移を求め、前記ジョブ実行条件に示される前記指定並列度以上の前記空き計算ノード数が存在する利用可能期間の最先の時刻である予測開始時刻を算出し、
前記新規ジョブを所定の並列度で実行したときの前記新規ジョブの実行時間に基づいて、前記複数の並列度それぞれに応じた前記新規ジョブの実行時間を算出し、
前記ジョブ実行条件それぞれについて、前記ジョブ実行条件の前記予測開始時刻と、前記ジョブ実行条件に示される前記指定並列度での前記新規ジョブの実行時間とに基づいて、前記ジョブ実行条件に示される前記指定並列度を指定した前記新規ジョブ実行要求を、前記ジョブ実行条件に示される前記登録先キューに登録した場合の、前記新規ジョブの実行終了時刻の予測値である予測終了時刻を算出し、
前記ジョブ実行条件のうちの前記予測終了時刻が最先となる最先ジョブ実行条件に示される前記指定並列度で前記新規ジョブを実行させる前記新規ジョブ実行要求を、前記最先ジョブ実行条件に示される前記登録先キューに登録する、
ジョブ投入方法。 - コンピュータに、
少なくとも1つのキューそれぞれについての、キューで使用可能な計算ノード数、登録されたジョブ実行要求の実行期間、及び該ジョブ実行要求で使用する計算ノード数を示すスケジュール情報を取得し、
前記少なくとも1つのキューのうちの1つである登録先キューと複数の並列度のうちの1つである指定並列度とが指定されたジョブ実行条件を複数生成し、
前記スケジュール情報に基づいて、前記ジョブ実行条件それぞれについて、前記指定並列度での新規ジョブの実行を要求する新規ジョブ実行要求を前記登録先キューに登録した場合に、前記登録先キューで前記使用可能な計算ノード数から登録されたジョブ実行要求で使用する計算ノード数を減算した空き計算ノード数の時間遷移を求め、前記ジョブ実行条件に示される前記指定並列度以上の前記空き計算ノード数が存在する利用可能期間の最先の時刻である予測開始時刻を算出し、
前記新規ジョブを所定の並列度で実行したときの前記新規ジョブの実行時間に基づいて、前記複数の並列度それぞれに応じた前記新規ジョブの実行時間を算出し、
前記ジョブ実行条件それぞれについて、前記ジョブ実行条件の前記予測開始時刻と、前記ジョブ実行条件に示される前記指定並列度での前記新規ジョブの実行時間とに基づいて、前記ジョブ実行条件に示される前記指定並列度を指定した前記新規ジョブ実行要求を、前記ジョブ実行条件に示される前記登録先キューに登録した場合の、前記新規ジョブの実行終了時刻の予測値である予測終了時刻を算出し、
前記ジョブ実行条件のうちの前記予測終了時刻が最先となる最先ジョブ実行条件に示される前記指定並列度で前記新規ジョブを実行させる前記新規ジョブ実行要求を、前記最先ジョブ実行条件に示される前記登録先キューに登録する、
処理を実行させるジョブ投入プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103852A JP6666555B2 (ja) | 2016-05-25 | 2016-05-25 | 情報処理装置、ジョブ投入方法、およびジョブ投入プログラム |
US15/470,986 US9971630B2 (en) | 2016-05-25 | 2017-03-28 | Information processing apparatus and job submission method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016103852A JP6666555B2 (ja) | 2016-05-25 | 2016-05-25 | 情報処理装置、ジョブ投入方法、およびジョブ投入プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017211788A JP2017211788A (ja) | 2017-11-30 |
JP6666555B2 true JP6666555B2 (ja) | 2020-03-18 |
Family
ID=60417928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016103852A Expired - Fee Related JP6666555B2 (ja) | 2016-05-25 | 2016-05-25 | 情報処理装置、ジョブ投入方法、およびジョブ投入プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9971630B2 (ja) |
JP (1) | JP6666555B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111164239B (zh) | 2017-11-01 | 2021-11-19 | 日本制铁株式会社 | 电镀锡钢板 |
US11176129B2 (en) * | 2018-09-30 | 2021-11-16 | Microsoft Technology Licensing, Llc | Methods for automatic selection of degrees of parallelism for efficient execution of queries in a database system |
US10666510B2 (en) * | 2018-10-30 | 2020-05-26 | Bank Of America Corporation | Conserving computing resources during network parallel processing |
CN113542316B (zh) * | 2020-04-13 | 2022-11-25 | 展讯半导体(南京)有限公司 | 算力共享方法及相关设备 |
CN113760493B (zh) * | 2020-11-05 | 2024-05-17 | 北京沃东天骏信息技术有限公司 | 一种作业调度方法和装置 |
US20220365931A1 (en) * | 2021-05-14 | 2022-11-17 | International Business Machines Corporation | Dynamic degree of query parallelism optimization |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3936924B2 (ja) | 2003-06-18 | 2007-06-27 | 株式会社日立製作所 | ジョブスケジューリング方法及びシステム |
JP4977729B2 (ja) * | 2009-03-30 | 2012-07-18 | みずほ情報総研株式会社 | ジョブスケジュール変更支援システム、方法及びプログラム |
JP5614318B2 (ja) * | 2011-02-15 | 2014-10-29 | 富士通株式会社 | スケジューリングプログラム,方法および装置 |
JP5737057B2 (ja) * | 2011-08-19 | 2015-06-17 | 富士通株式会社 | プログラム、ジョブスケジューリング方法、および情報処理装置 |
JP2013140490A (ja) * | 2012-01-04 | 2013-07-18 | Fujitsu Ltd | 並列計算制御装置及び並列計算制御方法 |
JP6387626B2 (ja) * | 2014-03-04 | 2018-09-12 | 日本電気株式会社 | 情報処理システム、情報処理方法、および、スケジューリングプログラム |
-
2016
- 2016-05-25 JP JP2016103852A patent/JP6666555B2/ja not_active Expired - Fee Related
-
2017
- 2017-03-28 US US15/470,986 patent/US9971630B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017211788A (ja) | 2017-11-30 |
US20170344395A1 (en) | 2017-11-30 |
US9971630B2 (en) | 2018-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6666555B2 (ja) | 情報処理装置、ジョブ投入方法、およびジョブ投入プログラム | |
US11593149B2 (en) | Unified resource management for containers and virtual machines | |
JP5476485B2 (ja) | サービスの予約管理方法、仮想計算機システム及び記憶媒体 | |
US20170060707A1 (en) | High availability dynamic restart priority calculator | |
US20150220370A1 (en) | Job scheduling apparatus and method therefor | |
CN106874084B (zh) | 一种分布式工作流调度的方法、装置及计算机设备 | |
US10423902B2 (en) | Parallel processing apparatus and method of estimating power consumption of jobs | |
US10853128B2 (en) | Virtual machine management device and virtual machine management method | |
US11074103B2 (en) | Scheduling method and scheduling device | |
JP2019061359A (ja) | プログラム及び情報処理装置 | |
US20070039003A1 (en) | Job management apparatus, job management method, and job management program | |
JP2017151656A (ja) | 並列処理装置、電力係数算出プログラムおよび電力係数算出方法 | |
JP2023183342A (ja) | ジョブスケジューラおよびジョブスケジューリング方法 | |
US9864964B2 (en) | Job monitoring support method and information processing apparatus | |
US11797353B2 (en) | Method and system for performing workloads in a data cluster | |
US10394615B2 (en) | Information processing apparatus and job management method | |
US20130055281A1 (en) | Information processing apparatus and scheduling method | |
CN112183982A (zh) | 一种工作流程创建方法、装置、计算机设备及存储介质 | |
JP6627475B2 (ja) | 処理リソース制御プログラム、処理リソース制御装置、および処理リソース制御方法 | |
US9298517B2 (en) | Exclusive control request allocation method and system | |
JP5056346B2 (ja) | 情報処理装置、情報処理システム、仮想サーバの移動処理の制御方法、及び、プログラム | |
JP2016184310A (ja) | 情報処理システム、制御装置および情報処理システムの制御方法 | |
WO2024185348A1 (ja) | ジョブスケジューリングプログラム、ジョブスケジューリング方法および情報処理装置 | |
US20160357603A1 (en) | Apparatus and method for executing maintenance processing on computers coupled via a multidimensional mesh or torus connection in a network | |
US20230102645A1 (en) | Resource Reuse for Pipeline Workloads |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200110 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6666555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |