JP4724730B2

JP4724730B2 - 情報処理システムの運用管理方法、運用管理プログラム、および運用管理装置、ならびに情報処理システム

Info

Publication number: JP4724730B2
Application number: JP2008100927A
Authority: JP
Inventors: 猛加藤; 忠克中島; 達也齊藤; 潤沖津; 陽子志賀; 良雄三木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-04-09
Filing date: 2008-04-09
Publication date: 2011-07-13
Anticipated expiration: 2028-04-09
Also published as: CN101556493B; US20090259345A1; US20150378414A1; CN101556493A; EP2109028A3; JP5161277B2; JP2009252056A; US9389664B2; EP2109028A2; US9128704B2; JP2011040083A

Description

本発明はサーバ、ストレージ、ネットワークなどの情報処理装置群とその給電または冷却を行なう設備から成る情報処理システムの運用管理方法ならびに運用管理装置に係り、特に情報処理装置群と設備の統合的な省電力運用管理を行なうのに好適な技術に関する。

特開２００４−１２６９６８号公報（特許文献１）では、並列計算機に対してジョブスケジューリングを行なう管理サーバにおいて、計算機の温度センサ情報に基づいて温度の低い計算機へ新規ジョブを投入し、温度の高い計算機から温度の低い計算機へジョブを移動させ、高温による並列計算機の障害や性能低下を防いでいる。また、ジョブの移動前後で各々の計算機とそれ毎に備わっている冷却装置の消費電力を温度情報に基づいて見積ることにより、移動の可否を判断することも行なっている。

特開２００７−１７９４３７号公報（特許文献２）では、複数のコンピュータの管理システムにおいて、コンピュータの温度分布と稼動情報に基づき過熱コンピュータと非過熱コンピュータを抽出し、前者から後者へソフトウェアを移動させ、省電力化を図っている。また、対象コンピュータを抽出した上でソフトウェアの移動前後のコンピュータ電力と空調電力の変動を比較し、移動可否を判断している。コンピュータ電力は稼動情報から、空調電力は温度分布から、温度分布は温度センサや温度履歴や稼動情報から求めている。

米国特許出願公開第２００６／０２５９６２１号明細書（特許文献３）では、データセンタに在る複数のサーバに対して作業負荷を割り当てる方法において、リクエストされた作業負荷のプロファイルを履歴プロファイルと比較し、サーバと空調の電力が最低となる履歴に従ってリクエストされた作業負荷をサーバへ割り当て、適合する履歴が無ければランダムに割り当てている。履歴プロファイルには、サーバの位置、クラス、稼動情報、入気温、排気温、作業負荷のタイプ、サーバと空調の電力が含まれている。サーバと空調の電力は、サーバの入排気温と比熱と風量から求めるか、または電力計により測定している。

米国特許出願公開第２００６／０２５９７９３号明細書（特許文献４）では、データセンタに在る複数のサーバに対して電力を配分する方法において、理想的なアナログ的な温度分布すなわち電力分布に近付くように地理的位置が近接したサーバ間またはラック間で電力予算の貸し借りを行ない、その予算配分に基づいてサーバの離散化した電力ステートを指定し、ホットスポットやコールドスポットによるサーバの障害を防いでいる。各サーバに対する理想電力を示す熱乗数は、各サーバの排気温度と平均的サーバの基準排気温度と空調の給気温度から求めている。
特開２００４−１２６９６８号公報特開２００７−１７９４３７号公報米国特許出願公開第２００６／０２５９６２１号明細書米国特許出願公開第２００６／０２５９７９３号明細書

近年の情報通信の急速な発展、さらに放送と通信の融合時代に向けて情報処理装置が爆発的に増加すると予想されている。一方で地球温暖化の防止に向けて二酸化炭素を削減するため、情報処理装置の消費電力を大幅に削減する必要に迫られている。特にバックエンドで情報処理基盤を担うデータセンタでは、情報処理装置群が消費する電力に加え、その給電や冷却を行なう設備が消費する電力も大きな割合を占めており、装置群と設備を合わせた総合的な電力の削減が重要な課題となっている。

データセンタの省電力化に向けて、サーバ、ストレージ、ネットワークなどの情報処理装置、給電設備、冷却設備、システム運用管理において、それぞれの取り組みが始まっている。情報処理装置では、低電力デバイス／回路による消費電力当たり性能の向上や、作業負荷に応じた動作／待機ステート切替による省電力機能の採用が進められている。給電設備では変圧器、無停電電源装置、配電盤、分電器などから装置群の電源に至る給電系統の損失低減や変換効率向上、冷却設備では空調機自身の運転効率向上や給排気口の気流設計の最適化、さらに局所冷却や液冷の導入が始まっている。運用管理では、稼動情報監視、ジョブスケジューリング、さらに仮想化による装置群の運用効率改善やコンソリデーションが主要な対策に挙がっている。

給電設備や冷却設備は一般に装置群の最大定格電力に基づいて設計されているが、運用時の設備の効率や電力は、設備に対する装置群の電力の分布や変動に大きく依存している。例えば、電源変換効率は電力負荷に依存するため、装置の動作電力と給電系統によって給電損失が異なってくる。また、空調機の効率は装置の電力すなわち発熱、空調機と装置間の位置関係や距離、温度、風量、風向などに依存するため、装置の電力と配置によって冷却電力が大きく影響を受ける。

今後、データセンタの仮想化による運用管理が伸展し、省電力化のためにコンソリデーションやライブマイグレーションが活用されると予想されるため、設備に対する装置群の電力分布の偏在化や時間変動を十分考慮し、装置群と設備の総電力を削減する対策が必要になってくる。従来、サーバやコンピュータなどの装置群と冷却装置や空調設備に関する温度や電力の運用管理方法として幾つかの公知例が知られているが、上述した総合的な省電力化という意味においては局所的または逐次的な対策に留まっている。

こうした中、例えば、特許文献１では、並列計算機のうち温度の低い計算機へジョブを割り当てることにより計算機の温度上昇を抑えているが、データセンタのように多様な情報処理装置が混在する場合には温度が低い装置が省電力になるとは限らない。また、ジョブの移動前後で計算機の消費電力を見積もっているので、移動元と移動先に関わる電力が下がるものの、並列計算機全体に対しては局所的な省電力化に過ぎない。消費電力の見積りには計算機毎に付随する冷却装置の電力も含まれているが、空調設備や計算機などの配置に対する考慮がなされておらず、ジョブの割当てによっては計算機と冷却装置の電力が下がっても空調電力が上がって両者の総電力が増えるということも起こり得る。

特許文献２では、過熱コンピュータから非過熱コンピュータへソフトウェアを移動させ分散させているが、温度の低いコンピュータが必ずしも電力が低いとは限らない上、特定のコンピュータへソフトウェアを集約させ他のコンピュータを待機または休止させる方がコンピュータ群全体では省電力になる場合がある。また、ソフトウェアの移動前後でコンピュータ電力と空調電力の変動を比較しているが、比較対象が抽出した過熱と非過熱のコンピュータに限られており、コンピュータ群と空調設備を合わせた総電力を考慮している訳ではない。

特許文献３では、サーバと空調の電力が最低となる履歴プロファイルに基づいてリクエストされた作業負荷をサーバへ割り当てているので、履歴の範囲内にある新しいリクエストに対してはサーバ群と空調設備を合わせた電力を低減できるが、適合する履歴が無い場合や既に割り当てられた作業負荷が大きく変動する場合には対応できないか、履歴の蓄積に応じて逐次的にしか改善されない。また、履歴プロファイルにはサーバの位置が含まれているものの、空調電力をサーバ入排気温や電力計から求めており、サーバと空調設備との位置関係が考慮されておらず、履歴に現れる範囲内の位置にあるサーバへ作業負荷を割り当てることがサーバ群と空調設備の総電力を最小にするとは限らない。

特許文献４では、理想的な温度分布に近付くように近接したサーバ間で電力予算を貸し借りするので、サーバ群全体の合計電力が低減される訳ではない。また、温度の平準化を目的として巨視的にはサーバ群に電力を分散させているので、サーバのコンソリデーションによる省電力化とは相容れない。電力配分を行なうためにサーバの地理的位置や排気温度、空調の給気温度を参照しているが、空調設備の電力や配置を考慮しておらず、空調電力の低減に寄与していない。サーバに指定される電力ステートは待機モード（待機電力）と最大動作モード（最大電力）であり、作業負荷に応じた電力の変動は考慮されておらず、サーバ自身の省電力機能が活用されていない。

以上述べたように、従来技術は情報処理装置群と空調設備の電力を局所的または逐次的に低減するに過ぎないという問題がある。そこで、本発明の目的の一つは、装置群の電力分布や変動と設備との相互配置を総合的に考慮することにより、装置群と設備を合わせた総電力を削減し、データセンタに代表される情報処理システムの省電力運用を実現することにある。概念的に言えば、装置群のみの省電力化にとっては或る装置になるべく作業負荷を集約して割り当て、他の装置は休止または停止させる方が良く、設備のみの省電力化にとっては運転効率が高くなる配置で装置群の電力をなるべく分散させる方が良い。このため、本発明は、装置群と設備の相反する要求を満たすように装置群へ作業負荷を適度に集約かつ分散させて割り当て、装置群と設備の総電力が最小になるように最適化する運用管理方法ならびに運用管理装置を提供する。本発明の前記ならびにそれ以外の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本発明の代表的実施の形態の特徴は、情報処理装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を有し、稼動情報に基づいて装置群の作業負荷に対する消費電力を求める手段と、配置情報に基づいて装置群の消費電力に対する設備の給電損失または冷却電力を求める手段を備えることにより、装置群と設備の総電力が最小になるように作業負荷を割り当てることにある。

装置群の位置と稼動情報は、特許文献２のように過熱／非過熱装置を抽出するのではなく、装置群全体に亘って装置の位置と作業負荷を把握するように収集する。稼動情報は或る装置から他の装置へ作業負荷を移動した場合に消費電力を算出するのに十分な情報とし、必要に応じて装置の仕様情報や構成情報も含まれる。設備の位置と環境情報は、給電設備であれば変圧器から装置電源に至る給電系統の給電損失を、冷却設備であれば外気から空気や冷媒を介して装置すなわち熱源に至る熱交換サイクルと冷却電力を把握するように収集する。環境情報は、設備の内蔵センサまたは外部センサに加えて、必要に応じて装置の稼動情報からも入手する。

装置電力を求める手段では、特許文献１のような温度情報や特許文献３のような履歴対照からではなく、特許文献４のように最大動作／待機ステートの固定電力と異なり、特許文献２のように装置対象を過熱／非過熱装置に限らず、稼動情報により装置群全体に亘って作業負荷の多寡に応じて変動する電力を求める。設備電力を求める手段では、特許文献２のような温度分布や特許文献３のような履歴対照からではなく、特許文献１のように装置に含まれる冷却装置の電力ではなく、装置群と設備の相互配置情報から装置群の電力分布や変動に応じた設備全体の電力を求める。装置群へ作業負荷を割り当てる手段では、特許文献１のような温度の低い装置、特許文献２のような非過熱装置、特許文献３のような履歴に残る装置、特許文献４のような地理的位置が近接した装置に対象を限らず、装置群全体を対象として求めた最適解に基づいて作業負荷を割り当てる。

本発明の代表的実施の形態の別の特徴は、装置群の位置及び稼動情報と設備の位置及び環境情報から成る配置情報を監視し、現在または予定の作業負荷に基づいて装置群へ仮作業負荷を割り当てる手段と、稼動情報に基づいて装置群の仮作業負荷に対する仮消費電力を求める手段と、配置情報と仮消費電力に基づいて設備の仮給電損失または仮冷却電力を求める手段を備えることにより、装置群の仮消費電力と設備の仮給電損失または仮冷却電力との総和を最小にする仮作業負荷割当ての最適解を求めることにある。

装置群への作業負荷割当てには多数の組合せが存在するが、仮作業負荷を割り当てて装置群と設備を合わせた総電力を最小にする解を探索することにより、最適解を効率良く見つけ出し、これを踏まえて装置群へ実作業負荷を割り当てる。仮作業負荷の割当ては、現在の作業負荷だけでなく、予定または予測される作業負荷を含めて行なえる。解の探索においては、装置の動作温度条件や許容負荷条件、給電設備の配電盤やラック電源の許容電力条件、冷却設備の冷却能力や熱溜りを避けるための区画許容電力条件などの制約条件を考慮することが可能である。

さらに別の特徴は、装置群と設備が設置される空間における、装置群の位置座標及び稼動情報と設備の位置座標及び給電または冷却に関する環境情報をマッピングした配置情報を有することにある。実空間における装置群や設備の稼動状況や配置状態を仮想空間上に再現することにより、装置群の作業負荷割当てや設備の運転シミュレーションを共通の仮想空間に対して統一的に行ない、装置群と設備が緊密に連携した運用管理を実施する。また、仮想空間を可視化することにより、装置群と設備の稼動監視、業務運用、障害検知、資産管理、電力管理などを一括して効率良く行なえる。

さらに別の特徴は、装置の仕様情報、構成情報、測定情報、稼動情報または稼動履歴に基づいて、装置の作業負荷に対して消費電力を算出する装置電力関数を備えることにより、作業負荷の割当て、変更、移動などに応じて装置電力を簡便に求めることにある。例えば、装置ｉの装置電力関数ｐ_Ｄｉ（ｉ＝１，２，…）は、作業負荷ｊ（ｊ＝１，２，…）を表わす変数集合をｌ_ｊｋ（ｋ＝１，２，…）として数１のように表わせる。

装置群への作業負荷割当てが変更される場合には装置間で変数集合を置換し、一つの装置に作業負荷を重複して割り当てる場合には変数集合間で演算を行なうことにより、重複した作業負荷に応じた電力を求める。作業負荷が有る場合（装置が動作）には装置電力関数ｐ_Ｄｉを多変数の線形関数または非線形関数とし、作業負荷が無い場合（装置が休止または停止）には電力値を与える不連続関数とする。装置電力関数ｐ_Ｄｉは変数に対する数表の戻り値または補間でも良い。

例えば装置電力関数ｐ_Ｄｉとして、装置の仕様情報や構成情報から最大定格電力が分かれば装置のＯＮ／ＯＦＦに対応する階段関数、最大電力と待機電力が分かれば傾きと切片で表わされる一次関数、稼動情報として複数の動作ステートと待機ステート、休止ステート、または停止ステートが分かれば条件付き関数集合、装置の消費電力を監視可能ならば稼動履歴データをフィッティングした二次関数など、得られる情報や必要な計算精度に応じて適宜採択する。簡便のため、変数集合ｌ_ｊを電力に影響する主要因子に集約しても良い。例えば主要因子は、サーバ装置ならプロセッサの最大性能、使用率、動作ステート（周波数、電圧）など、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送スループット、スイッチ頻度などである。

さらに別の特徴は、装置の消費電力と位置及び設備の環境情報と位置に対して設備の給電損失または冷却電力を算出する設備電力関数を備えることにより、作業負荷割当てによる装置の電力分布に応じて設備電力を簡便に求めることにある。例えば、給電損失関数ｐ_Ｓと冷却電力関数ｐ_Ｃは、装置ｉの電力をｐ_Ｄｉ、位置をｘ_ｉ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）、設備ι（ι＝１，２，…）の環境情報をε_ι、位置をχ_ι（ｘ_ι，ｙ_ι，ｚ_ι）として数２、数３のように表わせる。

給電損失関数ｐ_Ｓは、装置の位置と給電設備の環境情報と位置に基づいて、変圧器、無停電電源、配電盤、分電器などから装置電源に至る給電系統を求め、給電系統に沿って装置電力すなわち電力負荷に対する電源効率や配電損失などを計算し、給電設備全体の給電損失を算出する。冷却電力関数ｐ_Ｃは、装置の位置及び電力（熱源分布）と冷却設備の環境情報と位置に基づいて、装置群が置かれた室内の熱流体シミュレーションと、室内冷却機から冷凍機、冷却塔などの室外機に至る冷却系統の熱交換シミュレーションを行ない、冷却設備全体の冷却電力を算出する。

装置の位置ｘ_ｉには、三次元位置座標の他、装置が搭載されているラックの二次元位置とラック高さ方向の番号、装置が載っているフロアタイルの二次元位置とタイルからの高さ、など三次元位置を同定できる表現を代用できる。給電設備の環境情報ε_ιには、電源や配電器や配線の電力負荷特性、各機器やラックで監視している入出力電力、などがある。冷却設備の環境情報ε_ιには、空気や冷媒の温湿度、流量、流速、流向、装置の動作温度、ラックや給排気口の入排気温、室内機や室外機の給排温や流量、外気の温湿度、各機器の熱負荷特性、などがある。設備の位置情報χ_ιには、三次元位置に加えて、各機器の接続先と相互距離などのトポロジー的な接続情報も含まれて良い。

さらに別の特徴は、装置電力関数と設備電力関数の総和を目的関数として、装置群へ作業負荷を割り当てる組合せ最適化問題を定義することにより、目的関数を最小化する最適解または最適解近傍の実行可能な近似解を求めることにある。例えば、装置群と設備の総電力を示す目的関数Ｐは、数１の装置電力関数ｐ_Ｄｉ、数２及び数３の設備電力関数ｐ_Ｓ、ｐ_Ｃを用いて数４のように表わせる。

装置電力ｐ_Ｄｉは装置ｉに対する作業負荷ｊの割当てに依存する関数ｐ_Ｄｉ（ｌ_ｊ）であり、装置電力ｐ_Ｄｉに依存する設備電力ｐ_Ｓ、ｐ_Ｃはｐ_Ｄｉ（ｌ_ｊ）（ｉ，ｊ＝１，２，…）を変数として関数ｐ_Ｓ（ｐ_Ｄｉ（ｌ_ｊ））、ｐ_Ｃ（ｐ_Ｄｉ（ｌ_ｊ））のように表わせる（ｐ_Ｓとｐ_Ｃは装置の位置ｘ_ｉ、設備の環境情報ε_ι、位置χ_ιの関数でもあるが簡略に表わす）。したがって、目的関数Ｐが装置ｉに対する作業負荷ｊの割当てに依存することにより、装置群と設備の総電力を削減する問題を、作業負荷割当ての組合せの中から目的関数Ｐを最小化する解を探索するという最適化問題に帰することができる。ｎ台の装置群に重複を許してｍ個の作業負荷を割り当てる組合せの数Ｎは、数５のように表わせる。

この組合せ最適化問題を解くにあたって、ｎやｍが小さい場合や作業負荷割当てを行なう時間間隔が十分長い場合には解空間の全探索により最適解を求められるが、そうでない場合には効率的に解を探索する近似解法を用いる。近似解法として、局所探索法、山登り法、焼きなまし法、タブー探索法など一般に良く知られているメタヒューリスティックアルゴリズムの他、今回の問題に特化して装置群の性能／電力指標や設備の特性を活用したアルゴリズムを適用して良い。

さらに別の特徴は、装置群の電力と位置及び設備の環境情報と位置に対する設備電力関数を、装置毎に必要な設備電力を表わす要素関数に近似的に分解することにより、組合せ最適化問題を簡便に解くことにある。装置電力関数と設備要素関数の和を装置関数として装置毎に定義するので、作業負荷割当てに対して目的関数の値を短時間に算出できる。例えば、装置ｉに対する給電損失と冷却電力の要素関数ｐ_Ｓｉとｐ_Ｃｉは、数６、数７のように表わせる（ｐ_Ｓｉとｐ_Ｃｉは設備の環境情報ε_ι、位置χ_ιの関数でもあるが簡略に表わす）。

設備電力関数ｐ_Ｓ、ｐ_Ｃは数２、数３のように装置群と設備の全体に対する関数であるが、装置群の電力分布や設備の環境情報と位置が大幅に変動しない場合または極端に偏らない場合などでは、相互作用や非線形作用を近似して装置毎の設備要素関数ｐ_Ｓｉ、ｐ_Ｃｉに分けて考えることができる。または、比較的近傍に在る装置間の相互作用を繰り込むように設備要素関数を修正しても良い。装置関数ｐ_ｉは設備要素関数ｐ_Ｓｉ、ｐ_Ｃｉと装置電力関数ｐ_Ｄｉの和であり、数８のように表わせる。目的関数Ｐは装置群全体に亘る装置関数ｐ_ｉの総和であり、数９のように表わせる。

数４と数９の目的関数Ｐを比較すると、数４では装置群の電力分布全体に対して設備電力ｐ_Ｓ、ｐ_Ｃを求める必要があるが、数９では装置毎に分けて装置関数ｐ_ｉを求めれば良いので、作業負荷割当てに対する目的関数Ｐの計算が容易になり、解の探索を効率良く行なえる。また、装置関数ｐ_ｉの具体的な表式を得れば、作業負荷を優先的に割り当てるべき装置の指標として変数の係数や式の微分などを活用して、最適解の近傍に解空間を絞り込める。

さらに別の特徴は、装置群の許容負荷条件と前記設備の許容電力条件を制約条件として装置群へ作業負荷を割り当てる組合せ最適化問題を解くことにより、組合せの中から実行可能な解を抽出し、効率的に解を求めることにある。合わせて、制約条件を守ることにより、装置群や設備の性能を効率よく発揮させ、電力超過や温度上昇による障害を防いで信頼性を向上させる。

装置の最大性能や最大リソースを超える作業負荷を割り当てれば、作業負荷に対する処理時間が延びて電力量（電力×時間）が増加する。このため、作業負荷の変動に対する余裕も考慮して装置の許容負荷条件を設ける。また、装置電力関数において作業負荷を表わす変数集合ｌ_ｊには主に電力に影響を及ぼす因子が選ばれるが、電力に余り影響しない因子であっても装置の性能やリソースにとって重要な場合がある。例えば、装置のメモリ容量、ディスク容量、Ｉ／Ｏスループット容量などである。このような因子に関しては、装置電力関数とは別に作業負荷割当ての可否判定を行なうための許容負荷条件とする。

給電設備では給電系統によって電源、配電盤、配電器などの定格電力があり、これを上限とする許容電力条件を守る必要がある。この条件に外れる場合は、その給電系統に繋がる装置群の作業負荷を軽減する、または装置群の電力を制限する必要がある。冷却設備では空調機、局所冷却装置、液冷装置、冷凍機、冷却塔などの定格処理能力があり、この能力以下に装置電力を抑える必要がある。また、冷却設備では、装置を動作温度範囲内に保ち、過剰な発熱集中を避けて冷却効率を上げるため、装置群が配置される空間の領域、区画、ラック列などに対して許容電力条件を設けて良い。

さらに別の特徴は、装置群への作業負荷割当て問題を解いて求められた最適解または近似解と配置情報に基づいて、装置群の位置に対する消費電力すなわち電力分布を得て給電設備または冷却設備を制御することにある。これにより、設備の運転効率を向上させ、さらに給電損失や冷却電力を抑制することができる。例えば、給電設備では出力電力に応じて並列接続された機器の稼働台数を変えることにより給電効率が向上し、冷却設備では発熱分布に応じて空気や冷媒の供給温度、給排気口やファンの風量や風向、冷凍機や冷却塔の温度や流量などを調節することにより冷却効率が向上する。

さらに別の特徴は、装置群へ作業負荷を割り当てる手段として、仮想化環境、ジョブスケジューラ、ＳＡＮブート環境、稼動管理を活用することにある。これらの手段は、作業負荷割当ての契機や周期、作業負荷の移動に伴うオーバーヘッドやタイムロス、作業負荷の変動や生滅、装置の作業負荷のリンク、取得可能な装置の稼動情報、既設または新設のシステムへの導入容易さ、システムのセキュリティや信頼性、などを考慮して選択され、並列的または階層的に混在しても良い。仮想化環境では物理装置群への仮想装置の配置、ジョブスケジューラでは装置群へのジョブの配置、ＳＡＮブート環境では起動する装置群の配置、稼動管理では稼動、休止または停止する装置群の配置により、装置群へ作業負荷を割り当てる。

さらに別の特徴は、装置群への作業負荷割当ての変更を反映して、装置群と設備の総電力を低減するように装置群を稼動させることにある。サーバ装置では、アプリケーション、仮想マシン、ジョブなど、作業負荷を与えるソフトウェアを移動する。ストレージ装置ではアクセス頻度の高いデータを移動またはコピーすることにより、移動先に作業負荷が移動する。ネットワーク装置ではネットワーク接続構成を変更することにより、運用ノードが移り変わる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、例えばデータセンタなどのような情報処理システムにおいて、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

（実施の形態１）
図１は、本発明による実施の形態１の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム１０は、情報処理装置２０_１〜２０_ｎ、装置群２０_１〜２０_ｎへ給電する給電設備４０_１〜４０_ｕ、装置群２０_１〜２０_ｎを冷却する冷却設備５０_１〜５０_ｖ、装置群２０_１〜２０_ｎと設備４０_１〜４０_ｕ、５０_１〜５０_ｖを管理する運用管理装置６０から成る。

装置群２０_１〜２０_ｎには作業負荷３０_１〜３０_ｍが割り当てられる。作業負荷３０_１〜３０_ｍは、図１に示す一例のように、装置に対して単独の作業負荷が割り当てられる場合（装置２０_ｎ−１と負荷３０_ｍ−２）、複数の作業負荷が割り当てられる場合（装置２０_１と負荷３０_１〜３０_２、装置２０_３と負荷３０_３〜３０_５、装置２０_ｎと負荷３０_ｍ−１〜３０_ｍ）、作業負荷が割り当てられない場合（装置２０_２）がある。

運用管理装置６０は装置群２０_１〜２０_ｎと設備４０_１〜４０_ｕ、５０_１〜５０_ｖに接続し、装置群２０_１〜２０_ｎの位置と稼動情報６１及び設備４０_１〜４０_ｕ、５０_１〜５０_ｖの位置と環境情報６２から成る配置情報を有し、装置群２０_１〜２０_ｎの消費電力を求める手段６３と、給電設備４０_１〜４０_ｕの給電損失と冷却設備５０_１〜５０_ｖの冷却電力を求める手段６４と、装置群２０_１〜２０_ｎへの作業負荷３０_１〜３０_ｍの割当てを求める手段６５を備える。運用管理装置６０は、例えば、コンピュータシステムを用いたプログラム処理によって実現される。

実施の形態１の運用管理方法では、運用管理装置６０が装置群２０_１〜２０_ｎと設備４０_１〜４０_ｕ、５０_１〜５０_ｖと通信することにより装置群２０_１〜２０_ｎの稼動情報と設備４０_１〜４０_ｕ、５０_１〜５０_ｖの環境情報を収集し、配置情報６１と６２を取得する。運用管理装置６０は、手段６３により装置群２０_１〜２０_ｎの稼動情報６１に基づいて作業負荷３０_１〜３０_ｍに対する装置群２０_１〜２０_ｎの消費電力を求め、手段６４により装置群２０_１〜２０_ｎの位置と手段６３から求めた消費電力及び設備４０_１〜４０_ｕ、５０_１〜５０_ｖの位置と環境情報６２に基づいて給電設備４０_１〜４０_ｕの給電損失と冷却設備５０_１〜５０_ｖの冷却電力を求め、手段６３と６４に基づいて装置群２０_１〜２０_ｎと設備４０_１〜４０_ｕ、５０_１〜５０_ｖの総消費電力を低減するように装置群２０_１〜２０_ｎへの作業負荷３０_１〜３０_ｍの割当てを求める。

配置情報６１に含まれる装置群２０_１〜２０_ｎの位置情報は、各装置の位置座標または位置を同定する識別データから成り、必要に応じて装置間の接続構成データを含む。装置群２０_１〜２０_ｎの稼動情報は作業負荷量を示すデータと消費電力を示すデータなどから成り、例えば性能、リソース使用率、動作／休止ステート、定格電力または測定電力、動作温度などから成る。作業負荷量データは装置間で置換できる汎用的な計量であり、特定の装置、作業負荷、装置と作業負荷の関係に依らない。消費電力データは作業負荷量に対する装置の消費電力特性を直接的または間接的に表わす数値、数式または数表であり、各装置に依存する。

配置情報６２に含まれる設備４０_１〜４０_ｕ、５０_１〜５０_ｖの位置情報は、各設備の位置座標または位置を同定する識別データと、設備間の接続構成データから成る。設備４０_１〜４０_ｕ、５０_１〜５０_ｖの環境情報は、設備の稼動データと動作特性データ、周辺環境の監視データなどから成り、例えば電力、温度、湿度、流量、流向、定格出力や定格性能などから成る。動作特性データは、給電設備なら電力負荷に対する給電損失特性、冷却設備なら熱負荷に対する消費電力特性を表わす数値、数式または数表である。なお、装置群２０_１〜２０_ｎの稼動情報と設備４０_１〜４０_ｕ、５０_１〜５０_ｖの環境情報は、例えば装置の温度データ設備の電力データのように互いに補完し合える。

装置群２０_１〜２０_ｎの消費電力を求める手段６３では、一つの方法として、与えられる作業負荷量をその都度既知の数値データと照合し、補間や統計処理などにより消費電力を計算する。別の方法としては、予め作業負荷量に対する装置電力の関係を、作業負荷量を変数として定式化する、または作業負荷量を引数として数表からの戻り値を出力するルーチンにする。前者の方法は装置群２０_１〜２０_ｎの稼動情報の蓄積に伴って照合と計算に時間を要するが、計算精度が向上する。後者の方法は、稼動情報の蓄積に伴って関係式や数表を補正することにより、精度を上げつつ時間を抑えられるうえ、作業負荷量と装置電力の関係を見通し良く把握できる。

設備４０_１〜４０_ｕ、５０_１〜５０_ｖの消費電力を求める手段６４では、一つの方法として、配置情報６１における装置群２０_１〜２０_ｎの位置と手段６３により得られる装置群２０_１〜２０_ｎの消費電力、配置情報６２における設備４０_１〜４０_ｕ、５０_１〜５０_ｖの位置と環境情報に基づいて、その都度シミュレーションを行なって給電損失や冷却電力を算出する。別の方法として、予め想定条件で詳細シミュレーションを行ない、線形近似することにより各装置の位置と電力に対する設備の要素電力の関係を数式、数表または簡易シミュレータとして求めておく。前者の方法は計算時間が許容されれば高い精度を得られる。後者の方法は、予め詳細シミュレーションを済ませることにより、想定条件の範囲内で精度を保証しつつ計算時間を短縮できる。

装置群２０_１〜２０_ｎへの作業負荷３０_１〜３０_ｍの割当てを求める手段６５には幾つかの方法がある。一つの方法は、装置群への作業負荷割当ての組合せに対して手段６３と６４により装置群の電力と設備の電力をその都度計算し、組合せ同士の計算結果を比較して総電力を最小にする割当て解を選択する。別の方法は、手段６３で予め得られた作業負荷量に対する装置電力の関係と、手段６４で予め得られた装置群の電力分布に対する設備要素電力の関係から、作業負荷割当てにおける優先順位指標を導出し、この指標に沿って装置群へ作業負荷を割り当てる。前者の方法は組合せが少ない場合に総電力を最小にする最適解を求めるのに適し、後者の方法は組合せが多い場合に最適解または近似解を高速に求めるのに適する。後者の方法では、解の精度と計算時間に応じて、一旦得られた割当て解に対して装置群の電力分布を計算し、これに対する設備要素電力の関係を求め直し、その関係を使って指標を導出して再度作業負荷割当てを求め、前後の割当て解が所定条件内に収束するまで繰り返しても良い。

実施の形態１に示す情報処理システム１０の運用管理方法によれば、装置群２０_１〜２０_ｎの位置と稼動情報６１及び設備４０_１〜４０_ｕ、５０_１〜５０_ｖの位置と環境情報６２から成る配置情報を有することにより、装置群２０_１〜２０_ｎに対して作業負荷３０_１〜３０_ｍを割り当てる最良解を得て、装置群２０_１〜２０_ｎの消費電力と設備４０_１〜４０_ｕ、５０_１〜５０_ｖの給電損失または冷却電力を合わせた総消費電力を削減できる効果がある。また、所望の契機や計画、新規作業負荷の投入、既存作業負荷の終了などに応じて装置群２０_１〜２０_ｎへの作業負荷割当てを更新することにより、情報処理システム１０の省電力運用を実現できる。

情報処理システム１０としてデータセンタやコンピュータルームが代表的であるが、産業設備、商業設備、通信設備、交通機関などの業務運用システムにも応用できる。また、既設システムの運用管理だけでなく、システムの新設、増設、移設、改修などの設計／診断ツールとしても有用である。複数の施設や場所にまたがるシステムであっても遠隔管理を行なえば本実施の形態を適用できる。

情報処理装置２０_１〜２０_ｎにはサーバ装置、ストレージ装置、ネットワーク装置などがあり、サーバ装置には汎用サーバ、専用サーバ、メインフレーム、並列コンピュータ、スーパーコンピュータ、組込みコンピュータ、パーソナルコンピュータなど、ストレージ装置には磁気ディスク、固体ディスク、光ディスク、テープなど、ネットワーク装置にはルータ、スイッチ、ハブなど、さらに周辺装置としてプリンタ、複写機、モデム、ディスプレイなども含まれる。また、本実施の形態は動作／待機／休止／停止ステートのデマンドベーススイッチング機能、いわゆる省電力モードを有する装置にも適用できる。例えばサーバではＤＢＳ、ストレージではＭＡＩＤ、ネットワークではポート電源制御などが該当する。ハードウェア形態はブレード型、ラックマウント型、タワー型、専用筺体型に限らず、多様に適用できる。

作業負荷３０_１〜３０_ｍとは、サーバ装置ならアプリケーション、ストレージ装置ならアクセスデータ、ネットワーク装置なら転送データなどを指す。作業負荷量データには、サーバ装置なら性能、リソース使用率、動作／休止ステートなど、ストレージ装置なら起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送パケット数、スイッチ頻度などがある。また、作業負荷のタイプとして、固定／浮動小数点演算、トランザクション処理、データベース処理、技術計算、データの形式や粒度、保証帯域などを区別して装置の消費電力特性を考慮することも可能である。

給電設備４０_１〜４０_ｕには変圧器、無停電電源装置、配電盤、分電器、装置が搭載されるラックの電源などがあり、電力センサ、電流／電圧センサ、漏電センサなども含まれ、場合によって給電源の発電所、送電設備、変電設備、給電先の装置の電源も対象になる。冷却設備５０_１〜５０_ｖには空調機、冷凍機、冷却塔、給排気口、ファン、ダクト、冷媒配管などがあり、室内外に配置される温度センサ、湿度センサ、流量／流向センサなども含まれ、場合によって液冷装置、ラック列やラック前面／背面の局所冷却装置、装置の冷却装置も対象になる。

運用管理装置６０には、情報処理装置群２０_１〜２０_ｎと設備４０_１〜４０_ｕ、５０_１〜５０_ｖの共通マネージャサーバを設ける、または両者のマネージャサーバを連携する形態があり、マネージャ機能を装置２０_１〜２０_ｎの一部に担わせても良い。本実施の形態による運用管理方法は、ミドルウェア、アプリケーション、組込み制御ソフトウェア、ファームウェアなどのソフトウェアとして実装でき、例えば最適化問題を解くエンジンをハードウェアとして実装することも可能である。マネージャが装置の稼動情報や設備の環境情報を取得するため、各装置や各設備にエージェント、サービスプロセッサ、インターフェースなどを設けるが、装置群や設備が自律分散システムを構築しても良い。なお、本実施の形態における装置群と設備の総電力を削減する効果は、装置群の位置及び稼動情報と設備の位置及び環境情報を示す配置情報と、装置群の消費電力を求める手段と、設備の消費電力を求める手段と、装置群への作業負荷割当てを求める手段によって発揮されるのであって、実施の形態１や図１に示す装置自体や計算手順などにより限定されない。

（実施の形態２）
図２は本発明による実施の形態２の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム１１０は、情報処理装置１２０_１〜１２０_ｎ、装置群１２０_１〜１２０_ｎへ給電する給電設備１４０_１〜１４０_ｕ、装置群１２０_１〜１２０_ｎを冷却する冷却設備１５０_１〜１５０_ｖ、装置群１２０_１〜１２０_ｎと設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖを管理する運用管理装置１６０_１、１６０_２から成り、装置群１２０_１〜１２０_ｎには作業負荷１３０_１〜１３０_ｍが割り当てられる。

運用管理装置１６０_１は装置群１２０_１〜１２０_ｎに接続され、装置群１２０_１〜１２０_ｎの稼動情報を監視し、装置群１２０_１〜１２０_ｎの位置と稼動情報から成る配置情報１６１を有し、装置群１２０_１〜１２０_ｎの消費電力を求める手段１６３と、装置群１２０_１〜１２０_ｎへの仮作業負荷１３０_１〜１３０_ｍの割当てを求める手段１６５と、装置群１２０_１〜１２０_ｎへ実作業負荷１３０_１〜１３０_ｍを割り当てる手段１６８を備える。運用管理装置１６０_２は設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖに接続され、設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖの環境情報を監視し、設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖの位置と環境情報から成る配置情報１６２を有し、給電設備１４０_１〜１４０_ｕの給電損失と冷却設備１５０_１〜１５０_ｖの冷却電力を求める手段１６４と、設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖへ運転指示を与える手段１６９を備える。

実施の形態２の運用管理方法では、装置側の運用管理装置１６０_１と設備側の運用管理装置１６０_２が連携することにより、運用管理装置１６０_１と１６０_２の間で必要なデータを交換する。運用管理装置１６０_１では、手段１６３により装置群１２０_１〜１２０_ｎの稼動情報１６１に基づいて作業負荷に対する装置群１２０_１〜１２０_ｎの消費電力の関係を求める。運用管理装置１６０_２では、手段１６４により運用管理装置１６０_２が得る設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖの配置情報１６２に基づいて、運用管理装置１６０_１から得られる装置群１２０_１〜１２０_ｎの位置と消費電力に対する給電設備１４０_１〜１４０_ｕの給電損失と冷却設備１５０_１〜１５０_ｖの冷却電力の関係を求める。

さらに運用管理装置１６０_１では、手段１６３における作業負荷に対する装置電力の関係と手段１６４における装置電力分布に対する設備電力の関係に基づいて、装置群１２０_１〜１２０_ｎまたは設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖの制約条件１６６と作業負荷１３０_１〜１３０_ｍに対する運用ポリシー１６７に適合しつつ、手段１６５により装置群１２０_１〜１２０_ｎと設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖの総消費電力を最小化するように装置群１２０_１〜１２０_ｎへの仮作業負荷の割当て解を導出する。この結果を受けて、運用管理装置１６０_１は手段１６８により適切な契機において装置群１２０_１〜１２０_ｎへ実作業負荷を割り当て、運用管理装置１６０_２は手段１６９により装置群１２０_１〜１２０_ｎの電力分布と配置情報１６２を踏まえて設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖへ運転指示を与える。

実施の形態２に示す情報処理システム１１０の運用管理方法によれば、装置群１２０_１〜１２０_ｎへの仮作業負荷の割当て解を求める手段１６５では、仮作業負荷として現在の作業負荷１３０_１〜１３０_ｍと共に予定または予測される作業負荷も算入でき、制約条件１６６や運用ポリシー１６７に対して現在からの時間推移を含めて見通し良く判断でき、実作業負荷割当てにおける最適解からの乖離、条件違反による障害、煩雑な修正によるオーバーヘッドなどを避けられる。また、手段１６５の仮作業負荷割当てと手段１６８の実作業負荷割当てを分けることにより、作業負荷の見通しと共に割当て解の導出に要する時間も考慮し、手段１６８において割当て変更を実行する契機と手段１６９において設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖへ運転指示を行なう契機を適切に設定することが可能になる。

制約条件１６６には、装置１２０_１〜１２０_ｎの動作温度、最大作業負荷、作業負荷の変動に対する余裕度などを考慮した許容負荷条件、給電設備１４０_１〜１４０_ｕの定格電力、電源効率などを考慮した許容電力条件、冷却設備１５０_１〜１５０_ｖの定格能力、流量／流向などを考慮した区画や近傍装置間の許容電力条件などがある。運用ポリシー１６７に記述される内容には、作業負荷の優先度、実行契機、処理時間、スケジュール、作業負荷に対する装置１２０_１〜１２０_ｎのリソース配分、サービスレベル、電力コストなどがある。手段１６５において装置群１２０_１〜１２０_ｎへ仮作業負荷を割り当てる段階で、先に制約条件１６６と運用ポリシー１６７を与えることにより、一旦割当て解を求めてから制約条件１６６と運用ポリシー１６７を検証するよりも後戻りを無くせるうえ、仮作業負荷割当ての組合せの中から候補を絞り込めるので効率良く解を求められる。また、制約条件１６６により装置群１２０_１〜１２０_ｎや設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖの不具合や障害を回避でき、運用ポリシー１６７により省電力化と共にサービスを向上させる高度な運用管理を実現できる。

なお、実施の形態２では装置側の運用管理装置１６０_１と設備側の運用管理装置１６０_２を設けることにより、両者の計算処理を分けて複雑化を避けつつ、両者間のインターフェースを介して緊密に連携動作を行なわせている。両者を別々のマネージャサーバに実装すれば分散処理により高速化を図れるが、十分な計算性能があれば共通のマネージャサーバに実装しても良い。また、実施の形態２では装置群１２０_１〜１２０_ｎの電力分布を踏まえて設備１４０_１〜１４０_ｕ、１５０_１〜１５０_ｖへ先行的に運転指示を行なえるので、従来のように受動的に設備を制御する場合に比べて過剰な余裕を持たせる必要がなくなり、無駄を省いて効率的な運転を行なえる。

（実施の形態３）
図３は本発明による実施の形態３の情報処理システムの運用管理方法における配置情報を示すレイアウト図であり、例えば実施の形態１や実施の形態２に示すような運用管理装置の表示画面の一例を示す。情報処理システム２１０は、情報処理装置群と、これらが搭載されるラック列２２０_１〜２２０_１０、変圧器２４０と無停電電源装置２４１と配電盤２４２_１〜２４２_４から成る給電設備、冷却塔２５０と冷凍機２５１と空調機２５２_１〜２５２_６とグリル２５３から成る冷却設備から構成される。

給電設備は、変圧器２４０から無停電電源装置２４１と配電盤２４２_１〜２４２_４を介してラック列２２０_１〜２２０_１０へ給電し、さらにラック列の配電ユニットから情報処理装置へ給電する。冷却設備は床下空調を行ない、空調機２５２_１〜２５２_６がグリル２５３（多数あるが一つの符号で代表）から冷気を供給して装置群の発熱による温気を吸い込み、空調機２５２_１〜２５２_６と冷凍機２５１と冷却塔２５０が互いに熱交換を行ない、冷却塔２５０が外気へ放熱する。

実施の形態３によるレイアウトは、装置群の位置座標と稼動情報及び設備の位置座標と環境情報をマッピングした配置情報であり、装置群と設備が設置される実空間情報を運用管理装置における仮想空間上に再現して可視化したものである。配置情報は、室内における装置の配置（図３は全体図のため未表示）、ラック列２２０_１〜２２０_１０や配電盤２４２_１〜２４２_４や空調機２５２_１〜２５２_６やグリル２５３などの配置に加えて、室外に在る変圧器２４０と無停電電源装置２４１から室内に在る配電盤２４２_１〜２４２_４とラック列２２０_１〜２２０_１０に至る給電系統の接続構成と、室外に在る冷却塔２５０と冷凍機２５１と空調機２５２_１〜２５２_６から成る熱交換系統の接続構成も表わす。

実施の形態３では、表示画面上のボタン２６０〜２６３、２７０〜２７５、２８０、２８１をクリックすることにより多様な表示を行なえる。作業負荷表示ボタン２６０では装置群の作業負荷分布を表示できる。レイアウトの全体表示ではラック列２２０_１〜２２０_１０毎に、拡大表示では装置毎に、サーバ、ストレージ、ネットワークなどの装置の種類と作業負荷量の多寡を画像の色と濃淡により表示し、装置にマウスを合わせればポップアップ表示により作業負荷の詳細データを表示する。ポップアップ表示には、マウスまたはキーボードの操作に応じて、装置の仕様情報、構成情報、資産情報などを表示できる。

同様に、電力表示ボタン２６１ではラック列２２０_１〜２２０_１０毎や装置毎の消費電力分布を表示すると共に、変圧器２４０と無停電電源装置２４１と配電盤２４２_１〜２４２_４の出力電力または給電損失と、冷却塔２５０と冷凍機２５１と空調機２５２_１〜２５２_６の電力を表示し、合わせて装置群と設備の総電力を数値で表示する。温度表示ボタン２６２では室内に散在するセンサの温度分布と共に、装置の動作温度、ラック列２２０_１〜２２０_１０の入排気温、空調機２５２_１〜２５２_６の給排気温、グリル２５３の給気温、冷却塔２５０や冷凍機２５１の冷媒の給排温、外気温を表示する。障害表示ボタン２６３では、装置群または設備の故障と共に、装置の動作温度条件や許容負荷条件、装置や設備の許容電力条件などに対する警報とその内容を表示する。

図３はｘｙ平面で見たレイアウト図であるが、ボタン２７０〜２７５により平面を変えて表示できる。ボタン２７０はｘｙ平面表示を指定し、ボタン２７１はｘｙ平面をｚ軸全体に亘って表示するか、ｘｙ平面を特定のｚ座標を指定して切り出すかを選択する。ボタン２７２〜２７５も同様である。ｘｙ平面のボタン２７０、ｙｚ平面のボタン２７２、ｚｘ平面のボタン２７４を切り替えることにより、三次元空間の情報を表示できる。ボタン２８０と２８１はそれぞれ拡大表示と縮小表示であり、前者では装置や設備の詳細状況を表示し、後者では全体状況を表示できる。また、全体を俯瞰的に把握する必要に応じて三次元表示を行なわせても良い。

実施の形態３による配置情報によれば、装置群と設備が設置される実空間における装置群の稼動状況や設備の環境情報を一括して可視化して把握でき、配置情報に基づいて実施の形態１や実施の形態２において説明したような装置群の作業負荷割当てや設備の運転指示を統一的且つ緊密に連携できる。装置群と設備を合わせた総消費電力を削減する省電力運用だけではなく、装置群と設備の稼動監視、電力管理、業務運用、障害検知、資産管理などを一括して取り扱えるので、運用管理者の業務効率を向上できる。また、現行システムにおける装置群と設備双方の効率、リスク、コストを診断できるので、システムの移設、増設、改修、更新などの計画立案や工事に役立てることができる。

（実施の形態４）
図４は本発明による実施の形態４の情報処理システムの運用管理方法における情報処理装置群の稼動情報を示す数表であり、情報処理装置がサーバである場合の一例を示す。サーバの稼動情報は、仕様情報３００、構成情報３１０、稼動情報（または測定情報、稼動履歴）３２０を含む。例えば実施の形態１や実施の形態２に示すような運用管理装置が装置毎の仕様情報３００と構成情報３１０と稼動情報３２０を有し、同一のデータファイル、または互いに関連付けた異なるデータファイルとして管理する。なお、仕様情報３００と構成情報３１０と稼動情報３２０の項目、順序、組合せなどは必要に応じて改変できる。

仕様情報３００は、装置管理番号、装置管理者、装置呼称、装置品名、装置型番、装置性能ａ、装置性能ｂ、装置性能ｃ、定格電力（最大）、定格電力（待機）、定格温度（最大）、定格温度（最小）などを含む。構成情報３１０は、ＣＰＵ型番、ＣＰＵ最大周波数、ＣＰＵ搭載数、メモリ型番、メモリ容量、メモリ搭載数、チップセット型番、ディスク型番、ディスク容量、ディスク搭載数、Ｉ／Ｏ転送速度、Ｉ／Ｏ本数などを含む。稼動情報３２０は、装置位置座標、作業負荷タイプ、装置／ＣＰＵステート、ＣＰＵ動作周波数、ＣＰＵ使用率、ＣＰＵ動作温度、メモリ使用率、ディスク転送速度、Ｉ／Ｏ転送速度、装置動作電力、装置入気温度、装置排気温度などを含む。

実施の形態４では、仕様情報３００と構成情報３１０と稼動情報３２０により数１に示すような装置電力関数を導出する。例えば簡便な導出方法では、装置ｉの装置電力関数ｐ_Ｄｉ（ｉ＝１，２，…）は、仕様情報３００の定格電力（最大）をｐ_ｍａｘｉ、定格電力（最小）をｐ_{ｉｄｌｅｉ}、構成情報３１０のＣＰＵ最大周波数をｆ_ｍａｘ、稼動情報３２０のＣＰＵ動作周波数をｆ_ｉ、ＣＰＵ使用率をα_ｉと置き、ｆ_ｉ／ｆ_ｍａｘ・α_ｉを作業負荷量として数１０のように表わせる。複数のＣＰＵが有る場合またはＣＰＵに複数のコアが有る場合などでは簡便のためｆ_ｉとα_ｉの平均値を取れば良い。

作業負荷が無い場合や割り当てられていない場合、装置ｉの装置電力関数ｐ_Ｄｉは、例えばＣＰＵ使用率α_ｉ＝０％と想定して数１０よりｐ_Ｄｉ＝ｐ_{ｉｄｌｅｉ}とする。稼動情報３２０の装置／ＣＰＵステートとしてスリープ状態または休止状態を有する場合は、ＣＰＵ使用率α_ｉ＝０％において各ステートに対応する電力ｐ_Ｄｉを定義すれば良い。また、現在、装置ｉにて作業負荷ｆ_ｉ／ｆ_ｍａｘ・α_ｉを行っているものとして、それを装置ｊへ移動した場合の装置電力を見積もる場合には、仕様情報３００の装置性能ａをγ_ａ、装置性能ｂをγ_ｂ、装置性能ｃをγ_ｃ、稼動情報３２０の作業負荷タイプをｗ（ｗ＝ａ，ｂ，ｃ）として数１１のように置換し、それを装置ｊの装置電力関数ｐ_Ｄｊへ代入すれば良い。

もし置換後の作業負荷量γ_ｗｉ／γ_ｗｊ・ｆ_ｉ／ｆ_ｍａｘ・α_ｉが１００％を超える場合には、移動先の装置ｊの電力ｐ_Ｄｊ＝ｐ_ｍａｘｊと置き、作業負荷の処理時間が超えた分に相当して延びる（電力量が増す）と考えれば良い。なお、特に限定はされないが、作業負荷タイプとは、例えば、固定小数点演算処理、浮動小数点演算処理、メモリ読書き処理等のように単純にＣＰＵ周波数ではなくハードウェアアーキテクチャに依存してその処理能力が大きく変化し得るような処理内容を区別するためのものである。また、装置性能γ_ｗは、特に限定はされないが、この作業負荷タイプ毎のベンチマークスコアなどである。

既存の測定情報または稼動履歴として稼動情報３２０の装置動作電力が得られる場合には、作業負荷量ｆ_ｉ／ｆ_ｍａｘ・α_ｉと装置動作電力ｐ_{ｍｅａｓｉ}のデータから装置電力関数ｐ_Ｄｉの近似式を求められる。図５はこれらのデータをプロットした一例であり、近似した装置電力関数ｐ_Ｄｉを示すグラフである。関数ｐ_Ｄｉは一次関数の傾きをａ_Ｄｉ、切片をｂ_Ｄｉとして数１２のように表わせる。図５の例では実線が近似関数を示し、ａ_Ｄｉ＝１．３１７５、ｂ_Ｄｉ＝１５２．１６である。

装置ｉが省電力機能として作業負荷に応じて複数の動作ステート（ＣＰＵ動作周波数、ＣＰＵコア電圧）のデマンドベーススイッチングを行なう場合には、装置電力ｐ_Ｄｉが階段状に変化する。この場合には、各動作ステートと作業負荷量範囲に対して数１０や数１２のような一次関数をそれぞれ定義し、装置電力関数ｐ_Ｄｉを関数集合で表わせる。別の簡便な方法として、階段状の装置電力関数ｐ_Ｄｉを一つの二次関数で近似することも可能である。図６は３つのステートのデマンドベーススイッチングにおける作業負荷量ｆ_ｉ／ｆ_ｍａｘ・α_ｉと装置動作電力ｐ_{ｍｅａｓｉ}のデータをプロットした一例であり、二次で近似した装置電力関数ｐ_Ｄｉを示すグラフである。関数ｐ_Ｄｉは二次の項の係数をａ_Ｄｉ、一次の項の係数をｂ_Ｄｉ、定数項をｃ_Ｄｉとして数１３のように表わせる。図６の例では破線が階段状の一次関数、実線が近似した二次関数を示し、ａ_Ｄｉ＝０．０１３４、ｂ_Ｄｉ＝０．７２９７、ｃ_Ｄｉ＝１０３．１６である。

装置ｉの装置動作電力ｐ_{ｍｅａｓｉ}を直接取得できず、熱抵抗と熱時定数が分かる場合には、稼動情報３２０の入気温度と排気温度から動作電力ｐ_{ｍｅａｓｉ}を間接的に導出できる。動作電力ｐ_{ｍｅａｓｉ}は、熱抵抗をＲ_ｔｈｉ、熱時定数をτ_ｔｈｉ、入気温度をＴ_ｉｎｉ、排気温度をＴ_ｏｕｔｉとして数１４のように表わせる。動作電力の変化に比べて温度は熱時定数を持ってゆっくり変化するので、温度変化の傾きを考慮して補正する。

装置動作電力ｐ_{ｍｅａｓｉ}が間接的に分かれば、作業負荷量のｆ_ｉ／ｆ_ｍａｘ・α_ｉの測定と合わせて数１２や数１３のような装置電力関数ｐ_Ｄｉを導出できる。また、熱抵抗Ｒ_ｔｈｉと熱時定数τ_ｔｈｉが初めに不明であっても、定格電力（最大）ｐ_ｍａｘｉまたは定格電力（最小）ｐ_{ｉｄｌｅｉ}が既知であれば、入気温度Ｔ_ｉｎｉ及び排気温度Ｔ_ｏｕｔｉの測定データや温度変化の傾きデータから熱抵抗Ｒ_ｔｈｉや熱時定数τ_ｔｈｉを算出できる。

実施の形態４による装置電力関数によれば、簡便に作業負荷に対する装置群の消費電力を求めることができ、作業負荷量と装置電力の関係を見通し良く把握して装置群に対する作業負荷割当てを効率良く行なえる。また、装置の稼動情報が全て得られなくても数１０や数１４のように一部のデータから装置電力関数を導出でき、測定情報や稼動履歴が得られれば数１２や数１３のように実測に即した装置電力関数を導出でき、さらに測定情報や稼動履歴が蓄積されれば近似精度を向上できる。

実施の形態４ではサーバ装置を一例としたが、ストレージ装置やネットワーク装置であっても同様に装置の稼動情報から装置電力関数を導出できる。実施の形態４では作業負荷量を表わす主要変数としてＣＰＵ最大周波数、ＣＰＵ動作周波数、ＣＰＵ使用率を用いたが、ストレージ装置であれば起動ディスク数、アクセスパターン、アクセス時間など、ネットワーク装置なら転送パケット数、スイッチ頻度などを用いて良い。

（実施の形態５）
図７は本発明による実施の形態５の情報処理システムの運用管理方法における設備電力関数の説明図であり、実施の形態３の情報処理システム２１０を例としたものである。例えば装置ｉ２２１ｉがラック列２２０_７に位置する場合、給電設備は矢印２４３に示すように変圧器２４０から無停電電源装置２４１と配電盤２４２_３を経て装置ｉに給電する。装置ｉ２２１ｉが消費した電力は顕熱に変わって空気を温める。冷却設備では、冷気が空調機２５２_１〜２５２_６から床下、グリル（図７では見易さのため床のタイルやグリルを省略）を経て装置ｉ２２１ｉへ供給され、装置ｉ２２１ｉによる温気が矢印２５４_１〜２５４_６に示すように空調機２５２_１〜２５２_６へ戻り、空調機２５２_１〜２５２_６の吸い取った熱が冷凍機２５１と冷却塔２５０を経て外気へ放出される。

装置ｉと同様に装置群全体に亘って位置座標と装置電力または装置電力関数が分かれば、給電設備の給電損失と冷却設備の冷却電力を計算できる。例えば実施の形態４のように、稼動情報３２０から装置群の位置座標を得て、数１０、数１２または数１３のような装置電力関数を得れば、装置群全体の電力分布を求めることができ、これらを入力として数２や数３に示すような設備電力関数ｐ_Ｓ、ｐ_Ｃにより設備電力を計算できる。設備電力関数ｐ_Ｓ、ｐ_Ｃの計算には、設備の位置座標、接続構成、動作特性などの環境情報を予め入力しておいたシミュレータを用いて良い。

さらに設備電力を簡便に求めるためには、所定条件の範囲内で線形近似を行なうことにより、設備電力関数ｐ_Ｓ、ｐ_Ｃを数６や数７に示すような設備要素関数ｐ_Ｓｉ、ｐ_Ｃｉに分解する。設備電力関数ｐ_Ｓ、ｐ_Ｃは、装置毎の要素関数ｐ_Ｓｉ、ｐ_Ｃｉの装置群全体に亘る線形和になる。装置ｉの給電設備の要素関数ｐ_Ｓｉは、矢印２４３に示す給電系統に沿って予めシミュレーションを行なうことにより求める。冷却設備の要素関数ｐ_Ｃｉは、矢印２５４_１〜２５４_６に示すように装置ｉが空調機２５２_１〜２５２_６に与える熱負荷の影響を考慮して、予めシミュレーションを行なって求める。シミュレーションでは、装置ｉの電力を振りながら給電／冷却設備電力の感度係数を算出する。単純化した場合には、設備要素関数ｐ_Ｓｉ、ｐ_Ｃｉを一次関数、傾きをａ_Ｓｉ、ａ_Ｃｉ、切片をｂ_Ｓｉ、ｂ_Ｃｉとして数１５、数１６のように表わせる。

設備要素関数ｐ_Ｓｉ、ｐ_Ｃｉが求まれば、装置電力関数ｐ_Ｄｉとの和を取って数８のような装置関数ｐ_ｉを導出できる。装置関数ｐ_ｉは、装置毎に掛かる装置電力と設備電力を表わす。例えば実施の形態４で説明した数１２に示す装置電力関数ｐ_Ｄｉを用いると、装置関数ｐ_ｉを数１７のように表わせる。装置関数ｐ_ｉの傾きａ_ｉと切片ｂ_ｉを新たに定義する。装置群と設備の総消費電力Ｐは装置群全体に亘る装置関数ｐ_ｉの総和であり、数９を数１８のように書き直せる。

数１８を見れば明らかなように、装置群への作業負荷（ここではｆ_ｉ／ｆ_ｍａｘ・α_ｉ）の割当てを最適化することにより、装置群と設備の総電力Ｐを最小化できる。すなわち、目的関数Ｐを最小化するように、装置群への作業負荷を割り当てる組合せ最適化問題を解けば良い。装置が多い場合には組合せの数が数５に示すように膨大になるため、組合せの全探索を行なうことは非現実的である。実施の形態５では適切な近似を行なうことにより、数１８の目的関数Ｐを一次関数の線形和にしたので、装置関数ｐ_ｉの傾きａ_ｉと切片ｂ_ｉを指標として効率良く最適解を発見できる。

（実施の形態６）
図８は本発明による実施の形態６の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム４１０は、物理サーバ４２０_１〜４２０_ｎ、サーバ群４２０_１〜４２０_ｎへ給電する給電設備４４０_１〜４４０_ｕ、サーバ群４２０_１〜４２０_ｎを冷却する冷却設備４５０_１〜４５０_ｖ、サーバ群４２０_１〜４２０_ｎと設備４４０_１〜４４０_ｕ、４５０_１〜４５０_ｖを管理する運用管理装置４６０から成り、仮想化環境を構成する。物理サーバ４２０_１〜４２０_ｎにはハイパーバイザ４２１_１〜４２１_ｎを介して仮想マシン４３０_１〜４３０_ｍが配置され、その上でＯＳ４３１_１〜４３１_ｍと作業負荷であるアプリケーション４３２_１〜４３２_ｍが動作する。運用管理装置４６０では、物理サーバ４２０_１〜４２０_ｎと仮想マシン４３０_１〜４３０_ｍを管理する仮想化マネージャ４６２と、設備４４０_１〜４４０_ｕ、４５０_１〜４５０_ｖを管理する設備マネージャ４６３と、サーバ群４２０_１〜４２０_ｎと設備４４０_１〜４４０_ｕ、４５０_１〜４５０_ｖの総消費電力を削減する運用管理マネージャ４６１が連携して動作する。

実施の形態６では、仮想化マネージャ４６２がハイパーバイザ４２１_１〜４２１_ｎを介して、物理サーバ４２０_１〜４２０_ｎに対する仮想マシン４３０_１〜４３０_ｍの割当てや、仮想マシン４３０_１〜４３０_ｍに対するリソース配分（ＣＰＵ、メモリ容量などのリソース割当て）を管理し、仮想マシン４３０_１〜４３０_ｍと物理サーバ４２０_１〜４２０_ｎの稼動情報（例えば物理サーバのＣＰＵ使用率、メモリ使用容量、ディスク転送速度、ネットワーク転送速度など、仮想マシンのＣＰＵ使用率、メモリ使用率、ディスク転送速度、ネットワーク転送速度など）を取得する。この稼動情報に基づいて運用管理マネージャ４６１がアプリケーションすなわち作業負荷４３２_１〜４３２_ｍを見積もり、作業負荷に対する物理サーバ４２０_１〜４２０_ｎの電力の関係を導出する。例えば１つの物理サーバに対して複数の仮想マシンがある場合、仮想化自体のオーバーヘッドが小さいとすれば、複数の仮想マシンの稼働率または稼動量の和が物理サーバの稼動率または稼動量になると考えて良い。例えば物理サーバに計８コアのＣＰＵがあり、仮想マシンＡに２コア、仮想マシンＢに６コアが配分されている場合を想定すると、仮想マシンＡのＣＰＵ使用率の４分の１倍と仮想マシンＢのＣＰＵ使用率の４分の３倍との和が物理サーバのＣＰＵ使用率に相当するとして、装置電力関数を数１０、数１２または数１３のように表わせる。

設備マネージャ４６３は設備４４０_１〜４４０_ｕ、４５０_１〜４５０_ｖの位置と環境情報を取得し、物理サーバ４２０_１〜４２０_ｎの電力分布に対する設備電力の関係を導出する。運用管理マネージャ４６１は、作業負荷に対する物理サーバ電力の関係と物理サーバ群の電力分布に対する設備電力の関係に基づいて、物理サーバに対する作業負荷割当ての最適解を出す。この解に従って、仮想化マネージャ４６２はアプリケーション４３２_１〜４３２_ｍが載る仮想マシン４３０_１〜４３０_ｍを物理サーバ４２０_１〜４２０_ｎへ割り当てる。図８では矢印４３３に示すように、アプリケーション４３２_２を仮想マシン４３０_２と共に物理サーバ４２０_２から４２０_１へ移動する一例を示す。

実施の形態６によれば、仮想化環境のライブマイグレーション機能を活用することにより、アプリケーション４３２_１〜４３２_ｍを、稼動させたまま物理サーバ４２０_１〜４２０_ｎの間で移行でき、サーバ群と設備の総電力を最小化する作業負荷割当てを簡便に実行でき、作業負荷の移動に伴うオーバーヘッドやタイムロスを抑えて情報処理システムの省電力化を実現できる。実施の形態６はサーバ装置の例であるが、ストレージ装置やネットワーク装置の仮想化環境でも同様の省電力運用を実現できる。なお、実施の形態６では運用管理マネージャ４６１と仮想化マネージャ４６２と設備マネージャ４６３が相互に連携する方法を採ったが、インターフェースやソフトウェア規模などに応じて一方を他方へ組み込んでも良い。

（実施の形態７）
図９は本発明による実施の形態７の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム５１０は、サーバ５２０_１〜５２０_ｎ、ストレージ５７０_１〜５７０_ｒ、これらの給電と冷却を行なう給電設備５４０_１〜５４０_ｕと冷却設備５５０_１〜５５０_ｖ、これら装置群と設備全体を管理する運用管理装置５６０から成り、ＳＡＮ（ストレージエリアネットワーク）環境を構成する。サーバ５２０_１〜５２０_ｎでは、ＯＳ５２１_１〜５２１_ｎの上で作業負荷であるアプリケーション５３０_１〜５３０_ｍが動作する。運用管理装置５６０では、サーバ群５２０_１〜５２０_ｎとストレージ５７０_１〜５７０_ｒから成るＳＡＮを管理するＳＡＮマネージャ５６２と、設備５４０_１〜５４０_ｕ、５５０_１〜５５０_ｖを管理する設備マネージャ５６３と、サーバ群５２０_１〜５２０_ｎとストレージ５７０_１〜５７０_ｒと設備５４０_１〜５４０_ｕ、５５０_１〜５５０_ｖの総消費電力を削減する運用管理マネージャ５６１が連携動作する。

実施の形態７では、ＳＡＮマネージャ５６２がサーバ５２０_１〜５２０_ｎの稼動監視と管理を行ない、運用管理マネージャ５６１がアプリケーションすなわち作業負荷５３０_１〜５３０_ｍに対するサーバ５２０_１〜５２０_ｎの電力を評価する。設備マネージャ５６３は設備５４０_１〜５４０_ｕ、５５０_１〜５５０_ｖの位置と環境情報に基づいて、サーバ５２０_１〜５２０_ｎの電力分布に対する設備電力を求める。運用管理マネージャ５６１は、サーバ電力分布と設備電力の関係に基づいて、サーバ群と設備の総電力を最小化するように作業負荷割当てを求める。この解に従って、ＳＡＮマネージャ５６２は現行のアプリケーション５３０_１〜５３０_ｍを一旦中断してストレージ５７０_１〜５７０_ｒへ引き上げ、割当ての有るサーバ５２０_１〜５２０_ｎをＳＡＮブートにより起動してアプリケーション５３０_１〜５３０_ｍを続行する。サーバ５２０_１〜５２０_ｎのうち割当ての無いサーバは停止して電源を落とす。なお、作業負荷割当ての実行ではアプリケーション５３０_１〜５３０_ｍの起動／中断／停止契機を十分考慮する。

実施の形態７によれば、ＳＡＮブート機能を利用することにより、サーバ群と設備の総電力を最小化する省電力運用を実施できる。実施の形態６のような仮想化環境が整っていない場合や既存のシステムには本実施の形態を導入し易いという利点がある。また、サーバ群と設備だけではなくストレージ５７０_１〜５７０_ｒと合わせて運用することにより、さらに省電力化を図れる。

（実施の形態８）
図１０は本発明による実施の形態８の情報処理システムの運用管理装置および運用管理方法を示す構成図である。情報処理システム６１０は、サーバ６２０_１〜６２０_ｎ、ストレージ６７０_１〜６７０_ｒ、ネットワーク６８０_１〜６８０_ｓ、これらの給電と冷却を行なう給電設備６４０_１〜６４０_ｕと冷却設備６５０_１〜６５０_ｖ、装置群と設備を統合的に管理する運用管理装置６６０から成り、統合管理環境を構成する。サーバ６２０_１〜６２０_ｎでは、ＯＳ６２１_１〜６２１_ｎの上で作業負荷であるアプリケーション６３０_１〜６３０_ｍと統合管理エージェント６２２_１〜６２２_ｎが動作する。運用管理装置６６０では、サーバ６２０_１〜６２０_ｎとストレージ６７０_１〜６７０_ｒとネットワーク６８０_１〜６８０_ｓを統合管理するマネージャ６６２と、設備６４０_１〜６４０_ｕ、６５０_１〜６５０_ｖを管理する設備マネージャ６６３と、装置群６２０_１〜６２０_ｎ、６７０_１〜６７０_ｒ、６８０_１〜６８０_ｓと設備６４０_１〜６４０_ｕ、６５０_１〜６５０_ｖの総電力を削減する電力マネージャ６６１が相互に連携する。

実施の形態８では、統合管理マネージャ６６２がエージェント６２２_１〜６２２_ｎを介してサーバ６２０_１〜６２０_ｎの稼動管理や業務運用を行ない、電力マネージャ６６１がアプリケーション６３０_１〜６３０_ｍに対するサーバ６２０_１〜６２０_ｎの電力を見積もり、設備マネージャ６６３が設備６４０_１〜６４０_ｕ、６５０_１〜６５０_ｖの電力を見積もる。電力マネージャ６６１は設備マネージャ６６３と連携して作業負荷割当てを求め、これに基づいて統合管理マネージャ６６２がサーバ６２０_１〜６２０_ｎの稼動／停止を行なってアプリケーション６３０_１〜６３０_ｍを動作させるサーバを切り替える。ジョブスケジューリングでは、サーバ６２０_１〜６２０_ｎに対してジョブ（アプリケーション）６３０_１〜６３０_ｍを投入する配置により作業負荷割当てを行なえる。

ストレージ６７０_１〜６７０_ｒ、ネットワーク６８０_１〜６８０_ｓに関してもサーバ６２０_１〜６２０_ｎの運用管理と同様に行なえる。図１１はストレージ、図１２はネットワークの一例を示す説明図である。図１１ではストレージ装置６７１_１、６７１_２がディスクアレイ６７２から成り、データ６７３_１〜６７３_３を保存する。矢印６７４に示すように、作業負荷であるアクセス頻度の高いデータ６７３_２をストレージ装置６７１_２から６７１_１へ移動またはコピーすることにより、所望の作業負荷割当てを行なえる。図１２ではネットワーク装置６８１_１〜６８１_３にサーバ装置６２３_１〜６２３_４などが接続され、矢印６８２に示すようにサーバ装置６２３_３に対する接続をネットワーク装置６８１_３から６８１_２へ切り替えることにより作業負荷を移動する。作業負荷割当てを変更した後、ストレージ装置６７１_１、６７１_２やネットワーク装置６８１_１〜６８１_３は自身の省電力機能を働かせ、電源を制御する。なお、作業負荷の移動ではストレージ、ネットワーク共に処理時間や処理に伴う電力などのオーバーヘッドやリスクを十分考慮することが肝要である。

実施の形態８によれば、稼動管理やジョブスケジューリングによりサーバ／ストレージ／ネットワーク装置群を統合管理すると共に、全装置群と設備の総消費電力を最小化できる。統合管理マネージャ６６２が有するポリシー運用、資産管理、障害監視、電源管理、統合コンソールなどの機能と電力マネージャ６６１の省電力機能を組み合せることにより、さらに高度且つ自在なシステム運用を実現できる。なお、電力マネージャ６６１や設備マネージャ６６３は統合管理マネージャ６６２の一部またはサブシステムとして実装することも可能である。

以上、本実施の形態による情報処理システムの運用管理装置および運用管理方法によって得られる主要な効果を挙げると以下のようになる。

上述した各実施の形態の手段によれば、情報処理装置群と設備を連携させた運用管理により装置群と設備を合わせた総消費電力を削減できるので、データセンタなどのような情報処理システムの省電力運用を実現でき、運用コストを削減すると共に過剰な設備投資を抑制できる効果があり、地球温暖化の防止と二酸化炭素の削減にも寄与できる。

なお、上述した各実施の形態の手段は装置群と設備の電力に着目しているが、装置群の作業負荷、稼動情報、設備の環境情報に関する時間平均や時間積分などを取り入れることにより、作業負荷の処理時間を考慮した最適化を容易に行なうことができ、装置群と設備の電力量（電力×時間＝エネルギー）を削減することも可能である。また、装置群への作業負荷割当てでは、電力や電力量に加えて、作業負荷の処理優先度、計画やイベントなどによる実行契機、送電系統や課金制度に応じた電力コストなども考慮することにより、さらに有益性と利便性を高めたポリシー運用として応用することができる。

本実施の形態は情報処理システム自身の自律的な省電力運用管理方法として好適であるが、本実施の形態によって得られる作業負荷割当ての解や装置群と設備の個別電力や総電力の結果は、既設システムにおける省エネルギー診断と改善、新設システムの設計や建設、装置や設備の増設、移設、改修、更新における計画や調整、将来の情報処理予測に対するリスク把握やコスト算出、人手による稼動管理やシナリオ策定においても有用な運用管理指針を与える。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

本実施の形態はサーバ、ストレージ、ネットワークなどの情報処理装置群と給電設備や冷却設備から成る情報処理システムにおける統合的な省電力運用管理に適用でき、特に情報処理基盤であるデータセンタに好適である。また、本実施の形態は情報処理システムの自律運用管理に用いられるほか、システム構築ツール、省エネルギー診断ツール、稼動監視ツール、運用管理者や設備管理者の補助ツールとして幅広い用途に適用できる。

さらに、本実施の形態は、一つの場所に配置された装置群と設備に対してだけではなく複数の場所に対しても適用でき、例えば複数階のデータセンタや大域的に離れたデータセンタでも有用であり、グリッドコンピューティングやクラウドコンピューティングなどのように情報処理装置と設備が散在する場合にも活用できる。また、本実施の形態は主に情報処理装置群と設備を対象とするが、電力またはエネルギーを消費する装置とそのための設備であれば本実施の形態を適用でき、例えば電気装置、機械装置、動力装置、熱装置などの運用や制御に対しても用途を発揮し、システム規模として電子部品群と電源または冷却器、情報処理モジュール群と電源ユニットや冷却ユニット、データセンタ群と発電所または立地を含めた冷却環境なども対象として省電力、省エネルギーに貢献し得る。

本発明による実施の形態１の情報処理システムの運用管理装置および運用管理方法を示す構成図である。本発明による実施の形態２の情報処理システムの運用管理装置および運用管理方法を示す構成図である。本発明による実施の形態３の情報処理システムの運用管理方法における配置情報を示すレイアウト図である。本発明による実施の形態４の情報処理システムの運用管理方法における情報処理装置群の稼動情報を示す数表である。本発明による実施の形態４の情報処理システムの運用管理方法における装置電力関数を示すグラフである。本発明による実施の形態４の情報処理システムの運用管理方法における装置電力関数を示すグラフである。本発明による実施の形態５の情報処理システムの運用管理方法における設備電力関数の説明図である。本発明による実施の形態６の情報処理システムの運用管理装置および運用管理方法を示す構成図である。本発明による実施の形態７の情報処理システムの運用管理装置および運用管理方法を示す構成図である。本発明による実施の形態８の情報処理システムの運用管理装置および運用管理方法を示す構成図である。本発明による実施の形態８の情報処理システムの運用管理方法を示す説明図である。本発明による実施の形態８の情報処理システムの運用管理方法を示す説明図である。

符号の説明

１０，１１０，２１０，４１０，６１０情報処理システム
２０，１２０情報処理装置
３０，１３０作業負荷
４０，１４０，４４０，５４０，６４０給電設備
５０，１５０，４５０，５５０，６５０冷却設備
６０，１６０，４６０，５６０，６６０運用管理装置
６１，１６１装置群の位置と稼動情報
６２，１６２設備の位置と環境情報
６３装置群の消費電力計算手段
６４設備の消費電力計算手段
６５装置群への作業負荷割当て手段
１６３装置群の仮消費電力計算手段
１６４設備の仮消費電力計算手段
１６５装置群への仮作業負荷割当て手段
１６８装置群への実作業負荷割当て手段
１６９設備への運転指示手段
２２０ラック列
２２１装置
２４０変圧器
２４１無停電電源装置
２４２配電盤
２５０冷却塔
２５１冷凍機
２５２空調機
２５３グリル
２６０〜２６３，２７０〜２７５，２８０，２８１ボタン
３００仕様情報
３１０構成情報
３２０稼働情報
４２０物理サーバ
４２１ハイパーバイザ
４３０仮想マシン
４３１，５２１，６２１ＯＳ
４３２，５３０，６３０アプリケーション
４６１，５６１運用管理マネージャ
４６２仮想化マネージャ
４６３，５６３，６６３設備マネージャ
５２０，６２０サーバ
５６２ＳＡＮマネージャ
５７０，６７０ストレージ
６２２エージェント
６２３サーバ装置
６６１電力マネージャ
６６２統合管理マネージャ
６７１ストレージ装置
６７２ディスクアレイ
６７３データ
６８０ネットワーク
６８１ネットワーク装置

Claims

複数の情報処理装置と、前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備とを備える情報処理システムの運用管理方法であって、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とを取得し、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求め、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求め、
近似解法アルゴリズムにより求まる、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を最小化する解に基づいて、前記組合せの内から一を選択することを特徴とする情報処理システムの運用管理方法。
複数の情報処理装置と、前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備とを備える情報処理システムの運用管理方法であって、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とを取得し、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求め、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求め、
局所探索法が適用されている近似解法アルゴリズムにより、前記組合せの間で、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を比較して、前記組合せの内から一を選択することを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記情報処理システムが前記冷却を行う設備を備えている場合であって、
前記設備は熱交換により前記複数の情報処理装置に対して冷却を行うことを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記情報処理システムが前記冷却を行う設備を備えている場合であって、
前記設備は複数の空調機を有することを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記情報処理システムが前記冷却を行う設備を備えている場合であって、
前記設備は床下空調によって前記複数の情報処理装置に対して冷却を行うことを特徴とする情報処理システムの運用管理方法。
請求項３乃至５のいずれか１項に記載の情報処理システムの運用管理方法において、
前記複数の情報処理装置が複数のラック列に搭載されていることを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記組合せに対して、前記各情報処理装置の消費電力の関数に基づいて各情報処理装置の消費電力を求める場合であって、
前記各情報処理装置の消費電力の関数を予め求めることを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、各情報処理装置の消費電力に対する前記設備の消費電力の関数を予め求め、
前記組合せに対して必要とされる前記設備の消費電力を求める際に、前記設備の消費電力の関数に基づいて前記組合せに対して必要とされる前記設備の消費電力を求めることを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記情報処理システムが前記冷却を行う設備を備えている場合であって、
前記設備の環境情報は、前記設備の定格出力、流量、流向の少なくともいずれかを含むことを特徴とする情報処理システムの運用管理方法。
請求項１または２に記載の情報処理システムの運用管理方法において、
前記複数の情報処理装置は、サーバ装置、ストレージ装置、ネットワーク装置の少なくともいずれかを含むことを特徴とする情報処理システムの運用管理方法。
複数の情報処理装置と、前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備と、運用管理用計算機とを備える情報処理システムにおいて、前記運用管理用計算機に、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とを取得し、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求め、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求め、
近似解法アルゴリズムにより求まる、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を最小化する解に基づいて、前記組合せの内から一を選択する処理を実行させるための情報処理システムの運用管理プログラム。
複数の情報処理装置と、前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備と、運用管理用計算機とを備える情報処理システムにおいて、前記運用管理用計算機に、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とを取得し、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求め、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求め、
局所探索法が適用されている近似解法アルゴリズムにより、前記組合せの間で、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を比較して、前記組合せの内から一を選択する処理を実行させるための情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備は熱交換により前記複数の情報処理装置に対して冷却を行うことを特徴とする情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備は複数の空調機を有することを特徴とする情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備は床下空調によって前記複数の情報処理装置に対して冷却を行うことを特徴とする情報処理システムの運用管理プログラム。
請求項１３乃至１５のいずれか１項に記載の情報処理システムの運用管理プログラムにおいて、
前記複数の情報処理装置が複数のラック列に搭載されていることを特徴とする情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、前記運用管理用計算機に、
前記組合せに対して、前記各情報処理装置の消費電力の関数に基づいて各情報処理装置の消費電力を求める処理を実行させる場合であって、
前記運用管理用計算機に、
前記各情報処理装置の消費電力の関数を予め求める処理を実行させるための情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、前記運用管理用計算機に、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、各情報処理装置の消費電力に対する前記設備の消費電力の関数を予め求め、
前記組合せに対して必要とされる前記設備の消費電力を求める際に、前記設備の消費電力の関数に基づいて前記組合せに対して必要とされる前記設備の消費電力を求める処理を実行させるための情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備の環境情報は、前記設備の定格出力、流量、流向の少なくともいずれかを含むことを特徴とする情報処理システムの運用管理プログラム。
請求項１１または１２に記載の情報処理システムの運用管理プログラムにおいて、
前記複数の情報処理装置は、サーバ装置、ストレージ装置、ネットワーク装置の少なくともいずれかを含むことを特徴とする情報処理システムの運用管理プログラム。
複数の情報処理装置と、前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備とを備える情報処理システムの運用管理装置であって、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とを取得する手段と、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求める手段と、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求める手段と、
近似解法アルゴリズムにより求まる、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を最小化する解に基づいて、前記組合せの内から一を選択する手段とを有することを特徴とする情報処理システムの運用管理装置。
複数の情報処理装置と、前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備とを備える情報処理システムの運用管理装置であって、
前記複数の情報処理装置の位置と、前記設備の位置および環境情報とを取得する手段と、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求める手段と、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求める手段と、
局所探索法が適用されている近似解法アルゴリズムにより、前記組合せの間で、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を比較して、前記組合せの内から一を選択する手段とを有することを特徴とする情報処理システムの運用管理装置。
請求項２１または２２に記載の情報処理システムの運用管理装置において、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備は熱交換により前記複数の情報処理装置に対して冷却を行うことを特徴とする情報処理システムの運用管理装置。
請求項２１または２２に記載の情報処理システムの運用管理装置において、
前記各情報処理装置の消費電力の関数を求める手段と、
前記組合せに対して、前記各情報処理装置の消費電力の関数に基づいて各情報処理装置の消費電力を求める手段とを有することを特徴とする情報処理システムの運用管理装置。
請求項２１または２２に記載の情報処理システムの運用管理装置において、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備の環境情報は、前記設備の定格出力、流量、流向の少なくともいずれかを含むことを特徴とする情報処理システムの運用管理装置。
複数の情報処理装置と、
前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備と、
前記複数の情報処理装置の位置、並びに前記設備の位置および環境情報を取得する手段、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求める手段、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求める手段、
および、近似解法アルゴリズムにより求まる、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を最小化する解に基づいて、前記組合せの内から一を選択する手段を有する運用管理装置とを備えることを特徴とする情報処理システム。
複数の情報処理装置と、
前記複数の情報処理装置に対して電力供給と冷却のいずれか一方または両方を行う設備と、
前記複数の情報処理装置の位置、並びに前記設備の位置および環境情報を取得する手段、
前記複数の情報処理装置で実行される作業負荷の各情報処理装置への割当ての組合せに対して、各情報処理装置で実行される作業負荷量に対する各情報処理装置の消費電力の関数または数表に基づいて各情報処理装置の消費電力を求める手段、
前記各情報処理装置の消費電力と、前記複数の情報処理装置の位置と、前記設備の位置および環境情報とに基づいて、前記組合せに対して必要とされる前記設備の消費電力を求める手段、
局所探索法が適用されている近似解法アルゴリズムにより、前記組合せの間で、前記各情報処理装置の消費電力と前記設備の消費電力とを含む前記情報処理システムの消費電力を比較して、前記組合せの内から一を選択する手段を有する運用管理装置とを備えることを特徴とする情報処理システム。
請求項２６または２７に記載の情報処理システムにおいて、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備は熱交換により前記複数の情報処理装置に対して冷却を行うことを特徴とする情報処理システム。
請求項２６または２７に記載の情報処理システムにおいて、
前記運用管理装置が、
前記各情報処理装置の消費電力の関数を求める手段と、
前記組合せに対して、前記各情報処理装置の消費電力の関数に基づいて各情報処理装置の消費電力を求める手段とを有することを特徴とする情報処理システム。
請求項２６または２７に記載の情報処理システムにおいて、
前記情報処理システムが前記冷却を行う設備を備えており、
前記設備の環境情報は、前記設備の定格出力、流量、流向の少なくともいずれかを含むことを特徴とする情報処理システム。