JP6520959B2 - ノードシステム、サーバ装置、スケールリング制御方法及びプログラム - Google Patents

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１５−０１７７１８号（２０１５年１月３０日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、ネットワークを構成するノードシステム、サーバ装置、スケールリング制御方法及びプログラムに関する。

システムの信頼性向上のために複数台のサーバを組み合わせて冗長構成を実現したシステムが用いられる（例えば特許文献１参照）。このうち、二重化方式（システム）は、例えば同一構成のサーバ装置を２台備え、１台（アクティブ（ａｃｔｉｖｅ）サーバ（「運用系」のサーバ、あるいは「稼働系」のサーバともいう））が障害になった場合に、正常なサーバ装置（スタンバイ（ｓｔａｎｄｂｙ）サーバ（「待機系」のサーバ、あるいは「予備系」のサーバともいう））に切り替え運用する方式である。また、Ｎ＋１冗長方式は、Ｎ台のサーバ装置（アクティブサーバ）に対して１台のサーバ装置を共通の予備装置（スタンバイサーバ）として設置する方式である。ホットスタンバイ方式では、アクティブサーバとスタンバイサーバの間で例えばデータを同期させておくことで、アクティブサーバに障害が発生したときに、スタンバイサーバがサービス（処理）を例えば瞬時に引き継ぐことができるようにしている。一方、所謂コールドスタンバイ方式では、スタンバイサーバを停止状態で待機させておき、アクティブサーバに障害が発生したときにスタンバイサーバを起動して業務や処理を切り換える。コールドスタンバイ方式は、アクティブサーバに障害が発生してから、スタンバイサーバの起動・準備を行うため、システム停止時間やサービス継続の面で制限がある。なお、アクティブサーバの稼働時、スタンバイサーバは電源オン状態としＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動した状態で待機し（データベース内容を非同期にコピーする）、アクティブサーバに障害が発生した場合、ネットワークの切り替え等とともに業務アプリケーションなどのユーザプログラムを起動し、スタンバイサーバに処理を移行する方式をウォームスタンバイ（Ｗａｒｍ Ｓｔａｎｄｂｙ）方式ともいう。

特許文献２には、以下のようなサーバシステムが開示されている。運用系として動作しているサーバのうち、更新用ソフトウェアが格納されたサーバは、当該サーバ以外のサーバへ前記更新用ソフトウェアを送信し、前記予備系として動作している全てのサーバに対して前記更新用ソフトウェアへの更新を指示する。一方、前記予備系として動作しているサーバは、前記更新が指示された場合、当該サーバ上で動作するソフトウェアを前記更新用ソフトウェアへ更新する。前記更新用ソフトウェアが格納されたサーバは、前記予備系として動作している全てのサーバにて前記更新が完了した後、前記サーバの組全ての運用系と予備系とを一斉に切り替える。

特許文献３には、以下のようなシステムが開示されている。該システムは、性能の異なる仮想マシン上で稼動する第１および第２のデータベースを備え、外部からの指示に応じて、該システムが利用している仮想マシンを入れ替え、システムの性能をスケールアップ及びスケールダウンさせる。その際、前記システムは、前記データベースが備えるストリーム型レプリケーション機能を用いて前記データベースのデータ同期をとる。また、データ同期確立後に、ＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）文を転送する仮想マシンを他の仮想マシンに切り替える。このような構成により、ストリーム型レプリケーション機能を持つデータベースのスケールアップ（ＵＰ）／ダウン（ＤＯＷＮ）を、ストリーム型レプリケーション機能を活用し、Ｗｅｂサービスを止めることなく動的に、かつ低コストで実現している。

なお、サーバのコンピューティング、ストレージの仮想化のほか、さらに、ネットワーク機能を仮想化する技術として、サーバ上のハイパーバイザ（ＨｙｐｅｒＶｉｓｏｒ）等の仮想化レイヤ上に実装した仮想マシン（ＶＭ：Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）で稼働するアプリケーション等によりソフトウェア的にネットワーク機能を実現するＮＦＶ（Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ）等が知られている。専用機器（例えばＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）モバイル網のノード（例えばＭＭＥ（Ｍｏｂｉｌｉｔｙ Ｍａｎａｇｅｍｅｎｔ Ｅｎｔｉｔｙ）、Ｐ−ＧＷ（Ｐａｃｋｅｔ ｄａｔａ ｎｅｔｗｏｒｋ Ｇａｔｅｗａｙ）、Ｓ−ＧＷ（Ｓｅｒｖｉｎｇ Ｇａｔｅｗａｙ）等）に対して、ＮＦＶでは汎用サーバ上の仮想化技術で実現し機能をソフトウェア的に随時変更することができる（例えば非特許文献１参照）。

特許第４４７９９３０号公報 特許第５０１１６５５号公報 特開２０１２−２１５９３７号公報

ETSI GS NFV 002 V1.2.1 (2014-12) Network Functions Virtualisation (NFV); Architectural Framework 第１３〜１８頁、2014年12月25日検索 インターネット＜ＵＲＬ：http://www.etsi.org/deliver/etsi_gs/NFV/001_099/002/01.02.01_60/gs_NFV002v010201p.pdf＞

以下、関連技術について分析する。

アプリケーション等の処理負荷に応じて、動的に、仮想マシン（ＶＭ）を増設させるスケールアップ（処理性能を上げる）、あるいは、仮想マシン（ＶＭ）を減設させるスケールダウン（処理性能を下げる）技術が知られている（例えば特許文献３）。特許文献３には、データベースの負荷に応じて処理性能を変化させるにあたり、データ転送量やデータベースの入れ替え処理のコストの増大を抑制するための技術が開示されている。この技術は、ＩａａＳ（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）などで提供される仮想マシンインスタンス上などで動作するストリーム型レプリケーション機能を持つＲＤＢＭＳ（Ｒｅｌａｔｉｏｎａｌ Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）に対しＳＱＬ問い合わせを中継するプロキシを用いてＷｅｂアプリケーションの停止を必要とせず、動的に、スケールアップ及びスケールダウンを実現する。

しかしながら、特許文献３に開示された技術では、処理負荷に応じてＶＭを増減することでスケールアップ、スケールダウンさせる際の、ＶＭの増減処理や、プロセスの割り付けや引き継ぎに要する遅延等により、リソースの有効活用ができないという問題や、スケールダウン時のプロセス障害等の問題がある（本発明者らによる知見）。

本発明は、上記課題に鑑みて創案されたものであって、その主たる目的は、スケールアップとスケールダウンの少なくとも一方において、処理の遅延を抑制可能なシステム、装置、方法、プログラムを提供することにある。

本発明の一つの側面によれば、処理を実行する運用系と、
スケーリング（スケールアップ及びスケールダウンの少なくとも一方）が可能な待機系と、
前記スケーリング（スケールアップ又はスケールダウン）した前記待機系を新たな運用系とする系切り替えを制御する制御手段と、を備えたシステムが提供される。

本発明のさらに別の側面によれば、運用系と待機系を備えたシステムの前記待機系を少なくとも備え、前記待機系を事前にスケールアップ又はスケールダウンしておき、新たな運用系に切り替える手段を備えたサーバ装置が提供される。

本発明のさらに別の側面によれば、運用系と待機系からなる冗長系の前記待機系を少なくとも含み、前記待機系を事前にスケーリング（スケールアップ又はスケールダウン）した上で、新たな運用系に切り替える手段を備えたサーバ装置が提供される。

本発明の別の側面によれば、処理を実行する運用系のスケールアップ又はスケールダウンにあたり、前記運用系の系切り替え先として用意された、スケールアップ又はスケールダウンした待機系を、新たな運用系に切り替える、スケールリング制御方法が提供される。

本発明のさらに別の側面によれば、処理を実行する運用系のスケールアップ又はスケールダウンにあたり、前記運用系の系切り替え先として用意された、スケールアップ又はスケールダウンした待機系を、新たな運用系に切り替える処理をコンピュータに実行させるプログラムが提供される。さらに本発明によれば、上記プログラムを記録したコンピュータで読み出し可能な記憶媒体（半導体メモリや磁気／光記録媒体等のストレージ媒体：non-transitory computer readable recording medium）が提供される。

本発明によれば、スケールアップとスケールダウンの少なくとも一方のスケールリングにおいて、処理の遅延を抑制可能なシステム、装置、方法、プログラムを提供することができる。

本発明の概要を説明するための図である。 本発明の基本概念を説明するための図である。 本発明の基本概念を説明するための図である。 比較例を説明するための図である。 本発明の一実施形態のシステム構成の例を説明するための図である。 本発明の一実施形態の仮想化制御装置とサーバの構成例を説明するための図である。 本発明の一実施形態におけるスケールアップを説明するための図である。 本発明の一実施形態におけるスケールダウンを説明するための図である。 本発明の一実施形態における系の切り替え（スケールアップ時）の一例を説明するための図である。 本発明の一実施形態における系の切り替え（スケールダウン時）の一例を説明するための図である。 ＮＦＶを説明するための図である。 本発明をＮＦＶシステムに適用した例を説明するための図である。

以下では、はじめに、本発明の基本構成について説明したあと、その動作原理と比較例について説明し、つづいて実施形態について説明する。さらに、ＮＦＶ（Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ）への適用例について言及する。

＜発明の基本構成＞
図１を参照すると、本発明に係るシステムは、処理を実行する運用系１０１と、スケーリング（スケールアップ及びスケールダウンの少なくとも一方）が可能な待機系１０２と、前記スケーリング（スケールアップ又はスケールダウン）した待機系１０２を新たな運用系とする系切り替えを制御する制御装置（制御手段）１０３とを備える。

制御装置１０３は、例えば、前記運用系１０１の処理負荷等（あるいは図示されない保守装置からの指示・設定等）に応じて、前記待機系１０２に対して、スケーリング（スケールアップ又はスケールダウン）を指示する。制御装置１０３は、前記スケーリング（スケールアップ又はスケールダウン）を完了した前記待機系１０２からのスケーリング（スケールアップ又はスケールダウン）完了通知を受け、前記スケーリング（スケールアップ又はスケールダウン）した前記待機系１０２を、新たな運用系とし、系切り替え前の前記運用系１０１を新たな待機系とする系の切り替えを制御する構成としてもよい。

制御装置１０３は、前記新たな待機系（もとの運用系、系切り替えにより新たに待機系となる）に対して、前記新たな運用系（系切り替え前に、スケールアップ又はスケールダウンした元の待機系）と同様にスケールアップ又はスケールダウンするように制御する構成としてもよい。

制御装置１０３は、例えば、系切り替え前の前記運用系１０１の処理負荷の検知の結果、あるいは、例えば、保守装置からの設定や指示（例えばスケールアップ指示の入力）等に基づき、スケールアップが必要であると判断した場合、前記スケールアップした前記待機系１０２に対して運用系への系切り替えを指示する。系切り替えにより新たに待機系となる系１０１（もとの運用系１０１）は、新たに運用系となる系１０２（もとの待機系１０２）に対して、例えば処理制限を課すようにしてもよい。制御装置１０３は、新たに待機系となる系１０１から、スケールアップの完了通知を受けると、新たに運用系となる系１０２に課せられている処理制限を解除する構成としてもよい。

制御装置１０３は、例えば、系切り替え前のもとの運用系１０１の処理に余裕があることを検知した結果、あるいは、保守装置からの設定や指示（例えばスケールダウン指示入力）に基づき、スケールダウンが必要であると判断した場合、系切り替え前のもとの前記運用系１０１に処理制限を課し、系切り替え前のもとの前記待機系１０２に対してスケールダウンの実行を指示する。制御装置１０３は、スケールダウンを完了した前記待機系１０２からのスケールダウン完了通知を受けると、系切り替えを実施し、新たな運用系とする。新たな運用系は、系切り替え前のもとの前記運用系１０１に課せられた処理制限をもとの前記運用系１０１から引き継ぐ。制御装置１０３は、新たな待機系１０１（もとの運用系１０１）に対してスケールダウンを指示し、新たな待機系１０１からスケールダウンの完了通知を受けると、系切り替えにより新たに運用系となった系１０２（もとの待機系１０２）に課せられている処理制限（もとの前記運用系１０１から引き継いだ処理制限）を解除する、ようにしてもよい。

前記運用系と前記待機系の仮想マシン（ＶＭ）にそれぞれ割り当てられる仮想ＣＰＵ（virtual Central Processing Unit:ｖＣＰＵ）等の仮想ハードウェア資源を増減制御することで、スケールアップとスケールダウンを行う構成としてもよい。この場合、スケールアップは仮想マシン（ＶＭ）に割り当てるサーバのＣＰＵやメモリ等を増設して処理性能を上げる技術である。スケールダウンは仮想マシン（ＶＭ）に割り当てるサーバのＣＰＵやメモリ等を減設して処理性能を下げる技術である。ここで、スケールアップ（スケールダウン）は、例えばサーバ等コンピュータ内のＣＰＵやメモリ等をスペックアップ（スペックダウン）することでコンピュータ単体での処理性能を向上（低減）させる。スケールアウト（スケールイン）は、サーバ等コンピュータの台数を増加（減少）させることでシステムの処理性能を向上（低減）させる。サーバ上の仮想マシン（ＶＭ）を増設、減設することで仮想化システムの処理性能を向上（低減）させることは、仮想マシン（ＶＭ）に着目すると、スケールアウト（スケールイン）に該当するが、結果的に、サーバ単体の処理性能を向上（低減）させるものであることから、サーバのスケールアップ（スケールダウン）である（等価）といえる。

制御装置１０３は、セッション処理（例えば呼処理等）を行う前記運用系１０１の処理の輻輳又は余裕に応じて、前記運用系の系切り替え先となる前記待機系１０２に対してスケールアップ又はスケールダウンを指示するようにしてもよい。

仮想マシン（ＶＭ）上で稼働するアプリケーションがそれぞれ運用系と待機系である各仮想マシン（ＶＭ）は、それぞれ異なるサーバ上に実装する構成としてもよいし、あるいは、同一のサーバに実装する構成としてもよい。仮想マシン（ＶＭ）上で稼働するアプリケーションがそれぞれ運用系と待機系である各仮想マシン（ＶＭ）を同のサーバ上に実装する構成する場合、当該サーバの複数の仮想マシン（仮想マシン上で稼働するアプリケーション）のうち、一つ又は複数の仮想マシン（仮想マシン上で稼働するアプリケーション）を運用系とし、他の一つ又は複数の仮想マシン（仮想マシン上で稼働するアプリケーション）を待機系とする構成としてもよい。サーバ（物理マシン）は、仮想マシン上の仮想ネットワーク機能（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ：ＶＮＦ）と、前記ＶＮＦの実行基盤（仮想化基盤）をなすＮＦＶＩ（Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）を備え、前記ＮＦＶＩは、コンピューティング、ストレージ、ネットワーク機能の少なくとも一つのハードウェア資源を、ハイパーバイザ等の仮想化レイヤで仮想化した仮想化コンピューティング、仮想化ストレージ、仮想化ネットワークの少なくとも一つを含む（図７等の物理サーバに対応）。また、サーバは、サーバエージェントとしてオープンスタック（Ｏｐｅｎ Ｓｔａｃｋ）エージェントやその拡張部を含む構成としてもよい。なお、ＮＦＶへの適用において、運用系と待機系を、ＮＦＶＩ上の仮想デプロイメントユニット（ＶＤＵ：Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｄｅｐｌｏｙｍｅｎｔ Ｕｎｉｔ）単位で構成してもよい。

＜スケールアップの動作原理＞
図２を参照して、本発明によるスケールアップ処理動作を説明する。図２（Ａ）、図２（Ｂ）は、系切り替え前の運用系（ＡＣＴ系）のサーバ１と待機系（ＳＢＹ系）のサーバ２上の仮想マシンにおける仮想ＣＰＵ（ｖｉｒｔｕａｌ Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ｖＣＰＵ）をそれぞれ模式的に示している。すなわち、運用系と待機系のサーバ１、２は、不図示のハイパーバイザ（Ｈｙｐｅｒｖｉｓｏｒ：ＨＶ）を介して仮想化された仮想マシン（ＶＭ）を備え、仮想マシンには、少なくとも１個の仮想ＣＰＵ（ｖＣＰＵ）を備えている。図２には、サーバ１、２のそれぞれにおいて、一つの仮想マシン（ＶＭ）に割り当てられた仮想ＣＰＵ（ｖＣＰＵ）を示している（仮想ＣＰＵは、仮想マシンに割り当て可能な最大数まで割り当てが可能である）。各仮想ＣＰＵ（ｖＣＰＵ）に１つのプロセス（ｐｒｏｃｅｓｓ）が割り当てられている。仮想マシン（ＶＭ）内で並列処理可能なスレッド数は仮想ＣＰＵの数に比例する。なお、図２では、簡単のため、一つの仮想ＣＰＵ（ｖＣＰＵ）に一つのプロセス（ｐｒｏｃｅｓｓ）が割り当てられているが、一つの仮想ＣＰＵ（ｖＣＰＵ）に、複数のプロセスを割り当てるようにしてもよいことは勿論である。また図２では、簡単のため、サーバ上のハイパーバイザ、仮想マシン（ＶＭ）、ゲストＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等は省略されている。また、図２では、系の切り替えを制御する制御装置（図１の１０３）も省略されている。

図２（Ｂ）の待機系（ＳＢＹ）は、図２（Ａ）の処理（例えばセッション処理）を実行している運用系（ＡＣＴ）と比較して、スケールアップされている（この場合では、仮想ＣＰＵ（ｖＣＰＵ）が２つ増設（ホットアド：Ｈｏｔａｄｄ）されている）。なお、ホットアド（Ｈｏｔａｄｄ）は、実行中のシステムに対し、ＣＰＵやメモリを動的に追加する機能である。例えば、ホットアド（Ｈｏｔａｄｄ）では、仮想マシン（ＶＭ）を停止せずにデバイス（この例では、ｖＣＰＵ）を追加し、仮想マシン（ＶＭ）に該追加したデバイス（ｖＣＰＵ）を認識させる。

図２（Ｂ）の待機系（ＳＢＹ）は、ホットスタンバイ方式として構成されるため、各仮想ＣＰＵ（ｖＣＰＵ）にはプロセス（process）がすでに割り当てられており、図２（Ａ）の運用系（ＡＣＴ）との間で、データの同期がとられているものとする。図２（Ｂ）の待機系（ＳＢＹ）は、セッション処理等には直接影響しないため、仮想マシン（ＶＭ）の立ち上げ（ゲストＯＳやプロセスの再起動）が可能である。なお、特に制限されないが、セッションの開始、終了等の管理は、ＳＩＰ（Session Initiation Protocol）プロトコルや、Ｊ２ＥＥ（Java（登録商標） 2 Platform, Enterprise Edition）（サーブレット）におけるセッション管理機能（HTTP（Hyper Text Transport Protocol）session）が用いられる。

運用系と待機系がそれぞれ図２（Ａ）、図２（Ｂ）の状態で、系切り替えを行うと、図２（Ｂ）の待機系は、新たな運用系（ＡＣＴ）となり（図２（Ｄ））、図２（Ａ）の運用系は新たな待機系（ＳＢＹ）となる（図２（Ｃ））。図２（Ｄ）の新たな運用系（もとの待機系２）では、系切り替え前の運用系１（図２（Ａ））の処理を引き継いで、処理性能のスケールアップが可能となる。なお、仮想マシンの動的なスケールアップとスケールダウンは、仮想ＣＰＵ（ｖＣＰＵ）の数の増減のほか、ＣＰＵコア数、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ、ディスク（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））や、ネットワークインタフェースコントローラ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ：ＮＩＣ）等を増減設するようにしてもよい。すなわち、仮想ＣＰＵ数（コア数）、仮想化メモリの記憶容量、仮想化ディスクの記憶領域（容量）、仮想ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）等の個数や帯域等の少なくとも一つの増減で対応するようにしてもよい。

＜スケールダウンの動作原理＞
次に、図３を参照して、本発明によるスケールダウンの動作原理を説明する。図３（Ａ）、図３（Ｂ）は、系切り替え前の運用系（ＡＣＴ系）のサーバ１と待機系（ＳＢＹ系）のサーバ２上の仮想マシンにおける仮想ＣＰＵ（ｖＣＰＵ）をそれぞれ模式的に示している。図３（Ｂ）の待機系（ＳＢＹ）のサーバ２では、図３（Ａ）の運用系（ＡＣＴ）のサーバ１に対して、仮想ＣＰＵ（ｖＣＰＵ）が２台削除されており、該削除された仮想ＣＰＵ（ｖＣＰＵ）上に割り当てられたプロセスも、当該仮想ＣＰＵ（ｖＣＰＵ）への割り付けが解除され、終了している。運用系と待機系が図３（Ａ）、図３（Ｂ）の状態で、系切り替えを行うと、図３（Ｂ）の待機系は、新たな運用系となり（図３（Ｄ））、図３（Ａ）の運用系は新たな待機系となる（図３（Ｃ））。図３（Ｄ）の新たな運用系（ＡＣＴ）（もとの待機系２）では、系切り替え前の運用系１（図３（Ａ））の処理を引き継いだまま、処理性能のスケールダウンが可能となる。なお、図３（Ｃ）の新たな待機系を、図３（Ｄ）の新たな運用系と同様に、スケールダウン（ホットデル：Ｈｏｔｄｅｌ）する場合、プロセスの再開があっても、セッション処理（呼処理等）には影響しないことから、特に問題は生じない。なお、ホットデル（Ｈｏｔｄｅｌ）は、実行中のシステムに対し、ＣＰＵやメモリを動的に削除する機能である。この例では、仮想マシン（ＶＭ）を停止せずに、デバイス（例えばｖＣＰＵ等）を削除する。

＜比較例＞
図４（Ａ）、図４（Ｂ）は、比較例（本発明を適用しない場合の例：ＡＣＴ、ＳＢＹ方式を用いない場合）における仮想マシンのスケールアップ、スケールダウンを説明する図である。

図４（Ｂ）は、図４（Ａ）のサーバ１Ａに対して仮想ＣＰＵ（ｖＣＰＵ）を増設（ホットアド：Ｈｏｔａｄｄ）してスケールアップしたサーバ１Ｂの仮想マシンを模式的に示す図である。図４（Ｂ）において、サーバ１Ｂは、仮想ＣＰＵ（ｖＣＰＵ）を増設（Ｈｏｔａｄｄ）しただけであり、リソースの有効活用はできない。すなわち、増設した仮想ＣＰＵ（ｖＣＰＵ）にプロセスが割り当てられ、プロセスが起動されるまで、増設した仮想ＣＰＵ（ｖＣＰＵ）等は、サーバ１Ｂの処理能力の向上に貢献しない。

一方、図４（Ｄ）は、図４（Ｃ）のサーバ１Ｃに対して仮想ＣＰＵ（ｖＣＰＵ）を減設（ホットデル：Ｈｏｔｄｅｌ）してスケールダウンしたサーバ１Ｄの仮想マシン（ｖＣＰＵ）を模式的に示す図である。サーバ１Ｃでは、６台の仮想ＣＰＵで処理を行っていたが、図４（Ｄ）のように、仮想ＣＰＵ（ｖＣＰＵ）を２台減設するにあたり、仮想ＣＰＵ（ｖＣＰＵ）にプロセスやスレッドが割り付いている状態でホットデル（Ｈｏｔｄｅｌ）すると、当該仮想ＣＰＵに割り付けられていたプロセスに障害が発生する場合がある。このプロセス障害により、例えばサーバ１Ｃ上の仮想マシンにおいてそれまで行っていたセッションのサーバ１Ｄ上の仮想マシンへの引き継ぎ（維持）に失敗する場合がある。

このように、運用系と待機系の構成をとらない上記比較例では、仮想マシン（ＶＭ）のスケールアップにおいて、増設した仮想ハードウェア資源（仮想ＣＰＵ等）が処理性能の向上に貢献するまでに遅延が生じ（仮想ＣＰＵへのプロセスの割り当て等に時間を要する）、リソースの効率的な利用を図ることができないという課題がある。また、上記比較例では、仮想マシン（ＶＭ）のスケールダウンにおいてプロセス障害の発生や、セッションの引き継ぎ（維持）に失敗する可能性があり、システムの安定性向上の阻害要因ともなり、サービス低下等にもつながる。なお、仮想ＣＰＵ（ｖＣＰＵ）を増設、減設することで仮想マシンの処理性能を向上（低減）させることは、仮想ＣＰＵ（ｖＣＰＵ）に着目すると台数を増減させるスケールアウト（スケールイン）に該当するが、仮想マシン（ＶＭ）単体の処理性能を向上（低減）させるものであることから、仮想マシン（ＶＭ）のスケールアップ（スケールダウン）であるといえる。

＜実施形態＞
次に、本発明の例示的な実施形態について説明する。

＜システム構成＞
図５は、本実施形態のシステム構成例を例示する図である。図５を参照すると、サーバ（物理マシン（Ｐｈｙｓｉｃａｌ Ｍａｃｈｉｎｅ： ＰＭ））１１上の仮想マシン（ＶＭ）１５上で稼働するアプリケーション（ソフトウェア）（Ａｐｐｌｉｃａｔｉｏｎ： ＡＰＬ）１７は運用系（ＡＣＴ系）を構成している。より詳しくは、サーバ１１は、コンピューティングハードウェア（例えばＣＰＵコア）や、ストレージハードウェア（ＨＤＤ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等）、ネットワークハードウェア等のハードウェア（Ｈａｒｄｗａｒｅ：ＨＷ）資源１３と、仮想化機能を構成するハイパーバイザ等の仮想化レイヤ１２と、仮想ＣＰＵ（ｖＣＰＵ）等、仮想化レイヤ１２でハードウェア資源１３を仮想化した仮想ハードウェア資源１４と、仮想マシン１５を備え、仮想マシン１５はゲストＯＳ１６でアプリケーション１７（ＡＣＴ系）が実行され、例えば仮想化ネットワーク機能（Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ： ＶＮＦ）をソフトウェア的に実現する。なお、図５では、仮想マシン１５を複数備えた構成（図５では２台）とされているが、仮想マシン１５の台数は図５の構成に制限されない。なお、図５では、単に説明の都合で、仮想ＣＰＵ（ｖＣＰＵ）等、仮想化した仮想ハードウェア資源１４、２４は、仮想マシン１５、２５と並置した状態で仮想化レイヤ１２、２２上に配置されている。

サーバ（物理マシン）２１上の仮想マシン（ＶＭ）２５上で稼働するアプリケーション（ソフトウェア）（ＡＰＬ）２７は待機系（ＳＢＹ系）を構成しているものとする。サーバ２１の基本構成は運用系サーバ１１と同一である。ただし、待機系のサーバ２１の仮想マシン２５上のアプリケーション２７が、現在の運用系をスケールアップした状態で待機する場合には、当該待機系側に割り当てる仮想ＣＰＵ（ｖＣＰＵ）等の仮想ハードウェア資源を増設しておき、増設した仮想ＣＰＵ（ｖＣＰＵ）にプロセスを割り付けておく（図２（Ｂ）参照）。また、待機系のサーバ２１の仮想マシン２５上のアプリケーション２７が、現在の運用系をスケールダウンした状態で待機する場合には、減設対象の仮想マシンの仮想ＣＰＵ（ｖＣＰＵ）へのプロセスの割り付けを解除した上で、減設対象の仮想ＣＰＵ（ｖＣＰＵ）等の仮想ハードウェア資源を減設しておく。

ＥＭＳ（Ｅｌｅｍｅｎｔ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ：要素管理システム）１０は、保守管理システムであり、例えば仮想マシンの管理、設定、保守を行う。ＥＭＳ１０は、仮想化制御装置（「仮想化基盤」ともいう）２０と通信する。

仮想化制御装置２０は、サーバ１１、２１上の仮想マシン１５、２５の監視、制御を行う。すなわち、仮想化制御装置２０は、例えば、サーバ１１、２１のハイパーバイザ等の仮想化レイヤ１２、２２と通信し、仮想マシン（ＶＭ）の構成（configuration）や状態（state）情報の交換、仮想マシンに割り付けられる仮想ＣＰＵ等、仮想化されたハードウェア資源の構成や状態情報の交換を行い、仮想マシンの配置、制御、系の切り替えを制御、ＥＭＳ１０との通信を行う。なお、サーバ１１、２１間は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク３０等で接続されている。

なお、それぞれ異なるＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを有するサーバ１１とサーバ２１の仮想マシン上のアプリケーションがホットスタンバイ方式で系切り替えを行うとき、仮想マシン上のアプリケーションが新たに運用系となったサーバが、もと（系切り替え前）の運用系のアプリケーションをもつサーバのＩＰアドレスを引き継ぐ場合、例えば、エイリアスＩＰアドレスを引き継ぐようにしてもよい（サーバ１１とサーバ２１が同一のエイリアスＩＰアドレスを有する）。あるいは、サーバのＬＡＮアダプタを切り替えるようにしてもよい。あるいは系切り替え時に、ＩＰアドレスを引き継がない方式であってもよい。

なお、図５の例では、運用系と待機系のアプリケーション（仮想マシン上のアプリケーション）１７、２７が互いに異なるサーバ（物理マシン）１１、２１で動作する構成としているが、同一のサーバとしてもよい。また、１つのサーバ（物理マシン）上の複数の仮想マシンでそれぞれ稼働する複数のアプリケーションの１つ又は複数の組み合わせを運用系とし、残りを待機系としてもよい。１つのサーバ（物理マシン）上の複数の仮想マシンでそれぞれ稼働する複数のアプリケーションをすべて運用系とし、他の１つのサーバ（物理マシン）上の複数の仮想マシンでそれぞれ稼働する複数のアプリケーションをすべて待機系としてもよい。なお、サーバ上の仮想マシン上で動作するアプリケーションが運用系の当該サーバを、簡単のため、「運用系のサーバ」ともいう。また、サーバ上の仮想マシン上で動作するアプリケーションが待機系の当該サーバを、簡単のため、「待機系のサーバ」ともいう。

＜NFV reference architectural frameworkとの対応関係＞
図１１は、参考として、非特許文献1の7章、Figure 4を引用したものであり、ＮＦＶ(Network Function Virtualization) ＩＳＧ(Industry Specification Groups)が定義するＮＦＶ参照アーキテクチャ（ＮＦＶ ｒｅｆｅｒｅｎｃｅ ａｒｃｈｉｔｅｃｔｕｒａｌ ｆｒａｍｅｗｏｒｋ）を示している。

図５を参照して説明した本実施形態のサーバ１１、２１を、ＮＦＶ参照アーキテクチャに対応させた場合、以下のようになる。

図１１において、ＶＮＦ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ）１〜３は、例えば図５の仮想マシン（ＶＭ）で動作するアプリケーション等に対応する。ＶＮＦ１〜３は、ネットワーク機能（例えばＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワークのコア網であるＥＰＣ（Ｅｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ）におけるＭＭＥ（Ｍｏｂｉｌｉｔｙ Ｍａｎａｇｅｍｅｎｔ Ｅｎｔｉｔｙ）やＳ−ＧＷ（Ｓｅｒｖｉｎｇ Ｇａｔｅｗａｙ）、Ｐ−ＧＷ（ＰＤＮ Ｇａｔｅｗａｙ）等）をソフトウェア（仮想マシン）で実現するようにしてもよい。ＮＦＶ ＩＳＧでは、それぞれのＶＮＦごとにＥＭＳ（Ｅｌｅｍｅｎｔ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）という管理機能が規定されている。

また、図１１のＮＦＶ参照アーキテクチャにおいて、ＶＮＦの実行基盤をなすＮＦＶＩ（Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）は、コンピューティング、ストレージ、ネットワーク機能等、物理マシン（サーバ）のハードウェア資源（図５の１３、２３）をハイパーバイザ等の仮想化レイヤ（図５の１２、２２）で仮想化した仮想化コンピューティング、仮想化ストレージ、仮想化ネットワーク等の仮想ハードウェア資源（図５の１４、２４）として柔軟に扱えるようにした基盤である。

さらに、図５の仮想化制御装置２０を、図１１のＮＶＦ参照アーキテクチャのＮＦＶ Ｍａｎａｇｅｍｅｎｔ ａｎｄ Ｎｅｔｗｏｒｋ Ｏｒｃｈｅｓｔｒａｔｉｏｎ（ＭＡＮＯ）に対応させることができる。図１１において、ＮＦＶ ＭＡＮＯは、ＮＦＶオーケストレータ（ＮＦＶ−Ｏｒｃｈｅｓｔｒａｔｏｒ：ＮＦＶＯ）、ＶＮＦマネージャ（ＶＮＦ−Ｍａｎａｇｅｒ：ＶＮＦＭ）、仮想化インフラストラクチャマネージャ（Ｖｉｒｔｕａｌｉｚｅｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｍａｎａｇｅｒ：ＶＩＭ）を備えている。

ＮＦＶ−Ｏｒｃｈｅｓｔｒａｔｏｒ（ＮＦＶＯ）は、ＮＦＶＩとＶＮＦのオーケストレーションと管理を行い、ＮＦＶＩ上でネットワークサービスを実現する（ＶＮＦへのリソース割り当て、ＶＮＦの管理（オートヒーリング（ａｕｔｏ ｈｅａｌｉｎｇ）、オートスケーリング（ａｕｔｏ ｓｃａｌｉｎｇ）、ＶＮＦのライフサイクル管理（ｌｉｆｅ ｃｙｃｌｅ ｍａｎａｇｅｍｅｎｔ）等））。

ＶＮＦ−Ｍａｎａｇｅｒ（ＶＮＦＭ）は、ＶＮＦのライフサイクル管理（インスタンシエション（ｉｎｓｔａｎｔｉａｔｉｏｎ）、更新（ｕｐｄａｔｅ）、検索（ｑｕｅｒｙ）、スケーリング（ｓｃａｌｉｎｇ）、ヒーリング（ｈｅａｌｉｎｇ）、終了（ｔｅｒｍｉｎａｔｉｏｎ）等）を行う。

Ｖｉｒｔｕａｌｉｚｅｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｍａｎａｇｅｒ（ＶＩＭ）は、仮想化レイヤを介して、ＮＦＶＩを制御する（コンピューティング、ストーレッジ、ネットワークのリソース管理、ＶＮＦの実行基盤であるＮＦＶＩの障害監視、リソース情報の監視等）。

Ｓｅｒｖｉｃｅ，ＶＮＦ ａｎｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｄｅｓｃｒｉｐｔｉｏｎは、ネットワークサービス（ＮＳ）、ＶＮＦの配置（ｄｅｐｌｏｙｍｅｎｔ）に必要な情報のテンプレート（デスクリプタ）を定義する。
・ ＮＳＤ（Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ Ｄｅｓｃｒｉｐｔｏｒ）：ＮＳのデプロイに必要な要件や制約条件を記述したテンプレートである。
・ ＶＬＤ（Ｖｉｒｔｕａｌ Ｌｉｎｋ Ｄｅｓｃｒｉｐｔｏｒ）：ＮＳを構成するＶＮＦ、ＰＮＦ間を接続する論理的なリンクのリソース要件を記述するテンプレートである。
・ ＶＮＦＦＧＤ（ＶＮＦ Ｆｏｒｗａｒｄｉｎｇ Ｇｒａｐｈ Ｄｅｓｃｒｉｐｔｏｒ）：ＮＳの論理的なトポロジや割り当てを記述したテンプレートである。
・ ＶＮＦＤ（ＶＮＦ Ｄｅｓｃｒｉｐｔｏｒ）：ＶＮＦのデプロイに必要な要件や制約条件を記述したテンプレートである。
・ ＰＮＦＤ（Ｐｈｙｓｉｃａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒ）：物理的なネットワーク機能とのコネクティビティ・外部インタフェース・仮想リンクのＫＰＩ（Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｉｃａｔｏｒｓ）要件を記述するテンプレートである。ＮＳＤ、ＶＮＦＦＧＤ、ＶＬＤはＮＳカタログに含まれ、ＶＮＦＤはＶＮＦカタログに含まれる。

ＯＳＳ（Ｏｐｅｒａｔｉｏｎｓ Ｓｕｐｐｏｒｔ Ｓｙｓｔｅｍｓ）は、例えば通信事業者（キャリア）がサービスを構築し、運営していくために必要なシステム（機器やソフトウェア、仕組みなど）を総称したものである。ＢＳＳ（Ｂｕｓｉｎｅｓｓ Ｓｕｐｐｏｒｔ Ｓｙｓｔｅｍｓ）は、例えば通信事業者（キャリア）が利用料などの課金、請求、顧客対応などのために使う情報システム（機器やソフトウェア、仕組みなど）の総称である。

図１１において、Ｏｓ−Ｍａは、ＯＳＳ（Ｏｐｅｒａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｓｙｓｔｅｍｓ）／ＢＳＳ（Ｂｕｓｉｎｅｓｓ Ｓｅｒｖｉｃｅ Ｓｙｓｔｅｍｓ）とＮＦＶ−ＭＡＮＯ間の参照ポイントであり、ネットワークサービスのライフサイクル管理要求、ＶＮＦライフサイクル管理要求、ＮＦＶ関連の状態情報の転送、ポリシ管理情報の交換等に用いられる。参照ポイントＯｒ−ＶＮＦｍは、ＶＮＦ−Ｍａｎａｇｅｒ（ＶＮＦＭ）によるリソース関連要求（認証、予約、割り当て等）、ＶＮＦＭへの構成情報の転送、ＶＮＦの状態情報の収集に用いられる。参照ポイントＶｉ−ＶＮＦｍは、ＮＦＶＩリソースの検索、割り当て／解放等、ＶＮＦＭからのリソース割り当て要求、仮想化リソースの構成と状態情報の交換に用いられる。参照ポイントＯｒ−Ｖｉは、ＮＦＶＯからのＮＦＶＩリソースの予約／解放、割り当て／解放／更新と、ＮＦＶＩソフトウェアイメージの追加／削除／更新等、仮想化リソースの構成情報と状態情報の交換に用いられる。

参照ポイントＶｅ−ＶＮＦｍは、ＥＭＳとＶＮＦＭ、ＶＮＦＭとＶＮＦＭ間でＶＮＦライフサイクル管理要求、構成情報、状態情報の交換に用いられる。参照ポイントＮｆ−Ｖｉは、コンピュート／ストレージ資源の指示とともにＶＭの割り付け、ＶＭリソース割り当ての更新、ＶＭマイグレーション、ＶＭ終了、ＶＭ間の接続の生成・削除等リソース割り当て要求に対する仮想化リソースの割り付け、仮想化リソースの状態情報の転送、ハードウェア資源の構成と状態の情報の交換に用いられる。参照ポイントＳｅ−Ｍａは、ＮＦＶ ｄｅｐｌｏｙｍｅｎｔ ｔｅｍｐｌａｔｅ、ＮＦＶ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅの情報モデルの検索等に用いられる。参照ポイントＶｉ−Ｈａは、仮想化レイヤとハードウェア資源をインタフェースしてＶＮＦの実行環境を生成し、ＶＮＦ管理のための状態情報を収集する。参照ポイントＶｎ−ＮｆはＮＦＶＩによってＶＮＦに提供される実行環境を表している（詳細は非特許文献１）。

＜サーバと仮想化制御装置の制御部の構成＞
図６は、図５の仮想化制御装置２０とサーバ１１、２１のスケールアップとスケールダウンに関する制御機能を模式的に示す図である。

＜サーバ＞
図６を参照すると、サーバ１１は、処理負荷モニタ部１１１、系切り替え部１１２、処理制限制御部１１３、スケールアップ実行部１１４、スケールダウン実行部１１５、通信制御部１１６を備えている。このうち、処理負荷モニタ部１１１、系切り替え部１１２、処理制限制御部１１３は、例えば、図５の仮想マシン（ＶＭ）１５で稼働するアプリケーションの処理で実現される。また、スケールアップ実行部１１４、スケールダウン実行部１１５は図５の仮想化レイヤ１２（ハイパーバイザ）の処理で実現される。

処理負荷モニタ部１１１は、仮想マシンの処理負荷をモニタし、処理輻輳、処理余裕を検出する。処理負荷モニタ部１１１は、処理輻輳、処理余裕を検出すると、通信制御部１１６の送信部（不図示）を介してＥＭＳ１０に通知する。

系切り替え部１１２は、系の切り替えを実行する。自サーバ１１上の仮想マシン１５で稼働するアプリケーション１７が運用系の場合、系切り替え部１１２は、自サーバ１１の当該アプリケーション１７を待機系へ切り替え、サーバ２１のアプリケーション２７に対して運用系に切り替えるように指示する。

系切り替え部１１２は、自サーバ１１上の仮想マシン１５で稼働するアプリケーション１７が待機系の場合、仮想マシン２５上のアプリケーション２７が運用系のサーバ２１の系切り替え部からの指示に基づき、自サーバ１１のアプリケーション１７を運用系に切り替える。自サーバ１１上の仮想マシン１５で稼働するアプリケーション１７を待機系から運用系へ切り替える場合、系切り替え部１１２は、仮想マシン２５で稼働する運用系のアプリケーション２７からの処理、実行環境等、各種設定の引き継ぎ等を制御する。

処理制限制御部１１３は、自サーバ１１上の仮想マシン１５で稼働するアプリケーション１７が運用系から待機系となる場合、待機系から新たに運用系となるアプリケーション２７に対して処理制限を指示し、自サーバ１１側でのスケールアップ完了後、新たに運用系となるアプリケーション２７に対して処理制限の解除を指示する。

また、処理制限制御部１１３は、自サーバ１１上の仮想マシン１５で稼働するアプリケーション１７が待機系から運用系へ切り替わる場合、仮想化制御装置２０から通信制御部１１６を介して処理制限解除要求を受けると、自サーバ１１上のアプリケーション１７に対する処理制限を解除する。

スケールアップ実行部１１４は、通信制御部１１６（不図示の送信部）を介して仮想化制御装置２０からスケールアップ要求を受けると、仮想マシンに割り当てる仮想ハードウェア資源（例えば仮想ＣＰＵ）（図５の１４）を増設する。また、スケールアップ実行部１１４は、増設した仮想ＣＰＵへのプロセスの割り付けを制御する。スケールアップ実行部１１４は、スケールアップ完了後、通信制御部１１６を介して仮想化制御装置２０にスケールアップ完了を通知する。

スケールダウン実行部１１５は、通信制御部１１６を介して仮想化制御装置２０からスケールダウン要求を受けると、仮想マシンに割り当てられた仮想ハードウェア資源（例えば仮想ＣＰＵ）（図５の１４）を減設する。その際、スケールダウン実行部１１５は、削除する仮想ＣＰＵへのプロセスの割り付けを解除する。スケールダウン実行部１１５は、スケールダウン完了後、通信制御部１１６を介して仮想化制御装置２０にスケールダウン完了を通知する。

サーバ１１において、処理負荷モニタ部１１１、系切り替え部１１２、処理制限制御部１１３は、例えば、図５の仮想マシン（ＶＭ）１５で稼働するアプリケーション(ＡＰＬ)１７の処理で実現される。また、スケールアップ実行部２１４、スケールダウン実行部２１５は、図５の仮想化レイヤ１２（ハイパーバイザ（ＨＶ））の処理で実現するようにしてもよい。あるいは、管理ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）といわれるＯＳが仮想マシン（ＶＭ）の一つとして動作し、デバイスドライバを管理ＯＳに備え、仮想マシンからハードウェアにアクセスする場合、管理ＯＳを経由して行われる方式の仮想化方式では、管理ＯＳの仮想マシン上に、上記各部を実装するようにしてもよい。

サーバ２１はサーバ１１と同一構成とされる。サーバ２１において、処理負荷モニタ部２１１、系切り替え部２１２、処理制限制御部２１３は、例えば、図５の仮想マシン（ＶＭ）２５で稼働するアプリケーション（ＡＰＬ）２７の処理で実現される。また、スケールアップ実行部２１４、スケールダウン実行部２１５は図５の仮想化レイヤ２２（ハイパーバイザ（ＨＶ）の処理で実現するようにしてもよい。なお、サーバ間の通信は、サーバ１１、２１の通信制御部１１６、２１６（の図示されない送信部、受信部）間で行われるものとする。

サーバ１１、２１の通信制御部、仮想化レイヤ、ＶＭ等は、サーバ１１、２１を構成する不図示のプロセッサ（ＣＰＵ）で実行させるプログラムにより、それぞれの機能の一部又は全部を実現するようにしてもよい。この場合、サーバ１１、２１が内蔵する、又は、サーバ１１、２１が接続する、図示されないメモリ（半導体メモリやＨＤＤ等）に記憶されたプログラムをプロセッサが主メモリに読み込みプログラム（命令）を実行することで、ソフトウェア的に又はソフトウェアとハードウェアと協調して、各機能が実現される。

＜仮想化制御装置＞
図６を参照すると、仮想化制御装置２０は、シーケンス制御部２０１、スケールアップ制御部２０２、スケールダウン制御部２０３、系切り替え制御部２０４、ＥＭＳ１０との通信を制御する通信制御部２０５、サーバ１１、２１との通信を制御する通信制御部２０６を備えている。なお、図６では、通信制御部２０５、２０６を別々に備えているが、これらを一つの通信制御部としてもよいことは勿論である。

シーケンス制御部２０１は、スケールアップ制御部２０２、スケールダウン制御部２０３、系切り替え制御部２０４に対して活性化、および必要な情報の提供等の制御を行うことで、スケールアップ、スケールダウンの一連のシーケンス動作を制御する。

シーケンス制御部２０１は、サーバ１１、２１のうち運用系のサーバから仮想マシンの処理輻輳、又は、処理余裕の通知を通信制御部２０６を介して受信すると、スケールアップシーケンス、又はスケールダウンシーケンスを制御する。

スケールアップの場合、シーケンス制御部２０１は、スケールアップ制御部２０２を起動する。

スケールアップ制御部２０２は、スケールアップ対象のサーバ（のハイバーバイザ（HV））に対して、仮想ＣＰＵの増設等、スケールアップの指示を行う。なお、スケールアップ制御部２０２は仮想ＣＰＵの増設台数等の情報をサーバのスケールアップ部に指示するようにしてもよい。

シーケンス制御部２０１は、例えば運用系から待機系に切り替わったアプリケーションからのスケールアップ完了通知を通信制御部２０６を介して受けると、系切り替え制御部２０４を起動する。

系切り替え制御部２０４は、通信制御部２０６を介して、仮想マシン上で稼働するアプリケーションが運用系のサーバ（の当該運用系のアプリケーション）に対して系切り替えを指示する。なお、仮想化制御装置２０から、系切り替え指示を受けた運用系のアプリケーションは、待機系へ遷移し、さらに、仮想マシン上で稼働するアプリケーションが待機系のサーバ（の当該待機系のアプリケーション）に対して運用系への遷移を指示する。

シーケンス制御部２０１は、サーバのアプリケーションから系切り替え完了を受けると、スケールアップ完了通知を通信制御部２０５を介してＥＭＳ１０に通知する。

スケールダウンの場合、シーケンス制御部２０１は、スケールダウン制御部２０３を起動する。

スケールダウン制御部２０３は、スケールダウン対象のサーバ（のハイバーバイザ（ＨＶ））に対して、仮想ＣＰＵの減設等、スケールダウンの指示を行う。なお、スケールダウン制御部２０３は仮想ＣＰＵの減設台数等の情報を、サーバのスケールダウン部（ハイパーバイザ（ＨＶ））に指示するようにしてもよい。

シーケンス制御部２０１は、仮想マシン上で稼働するアプリケーションが待機系のサーバからのスケールダウン完了通知を通信制御部２０６を介して受けると、系切り替え制御部２０４を起動する。

系切り替え制御部２０４は、通信制御部２０６を介して、仮想マシン上で稼働するアプリケーションが運用系のサーバ（の当該の当該運用系のアプリケーション）に対して、系切り替えを指示する。なお、仮想化制御装置２０から、系切り替え指示を受けた、運用系のアプリケーションは、待機系へ遷移し、さらに、切り替え前の（もとの）待機系のアプリケーションに対して運用系への遷移を指示する。

シーケンス制御部２０１は、例えば、運用系から待機系に切り替わったアプリケーションからの系切り替え完了を受けると、スケールダウン完了通知を、通信制御部２０５を介して、ＥＭＳ１０に通知する。

仮想化制御装置２０の各部２０１〜２０６の少なくとも一部は、仮想化制御装置２０を構成する不図示のプロセッサ（ＣＰＵ）で実行させるプログラムにより、それぞれの機能の一部又は全部を実現するようにしてもよい。この場合、仮想化制御装置２０が内蔵する、又は、仮想化制御装置２０が接続する、図示されないメモリ（半導体メモリやＨＤＤ等）に記憶されたプログラムをプロセッサが主メモリに読み込みプログラム（命令）を実行することで、ソフトウェア的に又はソフトウェアとハードウェアと協調して、各機能が実現される。

＜スケールアップのシーケンス＞
図７は、図５、図６を参照して説明した実施形態のシステムにおいて、スケールアップに関するシーケンスの一例を模式的に示す図である。

図７において、物理サーバ１１、２１は、図５、図６のサーバ（物理マシン：ＰＭ）１１、２１に対応する。なお、物理サーバ１１、２１は、サーバが物理マシン（ＰＭ）である点（サーバ１１、２１が異なる装置（ユニット））を明記するためのものであり、以下では、単に、サーバ１１、２１という。図７では、図６の仮想化レイヤ１２、２２をそれぞれハイパーバイザ（ＨＶ）１２、２２で表している。”ＶＭ ＡＣＴ”は、仮想マシン（ＶＭ）上の運用系（ＡＣＴ）のアプリケーション、”ＶＭ ＳＢＹ”は仮想マシン（ＶＭ）上の待機系（ＳＢＹ）のアプリケーションをそれぞれ表している。アプリケーションはＮＦＶのＶＤＵ（Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｄｅｐｌｏｙｍｅｎｔ Ｕｎｉｔ）等であってもよい。なお、”ＶＭ ＡＣＴ”を運用系のＶＭ、”ＶＭ ＳＢＹ”を待機系のＶＭとしてもよいことは勿論である。また、図７では、説明のため、代表的なシーケンスに番号（ステップ番号）を付加している。後に説明する図８〜図１０についても同様である。

サーバ１１の処理負荷モニタ部１１１において、仮想マシン上で稼働するアプリケーションの処理輻輳が検出される（Ｓ１）。

サーバ１１の処理負荷モニタ部１１１は、輻輳検出を仮想化制御装置２０に通知する（Ｓ２）。

輻輳検出の通知を受信した仮想化制御装置２０では、シーケンス制御部２０１が、ＥＭＳに、サーバ１１上のアプリケーションの輻輳を通知し、スケールアップの開始を通知する（Ｓ３）。

仮想化制御装置２０のシーケンス制御部２０１は、スケールアップ制御部２０２を起動し、スケールアップ制御部２０２は、仮想マシン２５上で稼働するアプリケーション２７が待機系（ＳＢＹ）のサーバ２１（ハイパーパイザ（ＨＶ））に対してスケールアップ（ホットアド：Ｈｏｔａｄｄ）を指示する（Ｓ４）。

スケールアップ指示を受けたサーバ２１のスケールアップ実行部２１４（例えばハイパーバイザ（ＨＶ）に実装される）は、ホットアド（Ｈｏｔａｄｄ）を実行し（Ｓ５）、待機系（ＳＢＹ）のアプリケーション２７が稼働する仮想マシン２５に割り当てる仮想ＣＰＵ（ｖＣＰＵ）等を増設（ｖＣＰＵを追加）し、さらに、該仮想ＣＰＵ（ｖＣＰＵ）にプロセスの割り当てを行い、スケールアップ完了通知（Ｈｏｔａｄｄ完了通知）を仮想化制御装置２０に送信する（Ｓ６）。

仮想化制御装置２０のシーケンス制御部２０１は、スケールアップ（ホットアド：Ｈｏｔａｄｄ）完了通知を受けると、系切り替え制御部２０４を起動し、系切り替え制御部２０４は、仮想マシン上で稼働するアプリケーションが運用系（ＡＣＴ）であるサーバ１１の系切り替え部１１２（例えばＶＭ上のアプリケーション）に対して系切り替え指示を送信する（Ｓ７）。

系切り替え指示に応答して、サーバ１１とサーバ２１間でアプリケーションの系の切り替えが行われる（Ｓ８）。仮想マシン１５上で稼働するアプリケーション１７が運用系（ＡＣＴ）であるサーバ１１の系切り替え部１１２は、当該アプリケーション１７を待機系（ＳＢＹ）とし、仮想マシン２５上で稼働するアプリケーション２７が待機系（ＳＢＹ）であるサーバ２１に対して、例えば運用系（ＡＣＴ）への遷移を指示する。その結果、仮想マシン２５上で稼働するアプリケーション２７が待機系（ＳＢＹ）であるサーバ２１の系切り替え部２１２は、当該アプリケーション２７を、運用系（ＡＣＴ）に設定する（待機系から運用系に切り替える）。

アプリケーションの系切り替えにより、仮想マシン１５上で稼働するアプリケーション１７が運用系（ＡＣＴ）から待機系（ＳＢＹ）となったサーバ１１（の当該アプリケーション１７）は、仮想化制御装置２０に対して系切り替え完了を通知する（Ｓ９）。

系切り替え完了の通知を受けた仮想化制御装置２０のシーケンス制御部２０１は、ＥＭＳ１０に対してスケールアップの完了通知を送信する（Ｓ１０）。

＜スケールダウンのシーケンス＞
図８は、図５、図６を参照して説明した実施形態のシステムにおいて、スケールダウンに関するシーケンスの一例を模式的に示す図である。

図８において、物理サーバ１１、２１は、図５、図６のサーバ（物理マシン：ＰＭ）１１、２１に対応する。図８のハイパーバイザ（ＨＶ）１２、２２は、図５、図６の仮想化レイヤ１２、２２に対応する。図８において、“ＶＭ ＡＣＴ”は、仮想マシン（ＶＭ）上の運用系（ＡＣＴ）のアプリケーション、“ＶＭ ＳＢＹ”は仮想マシン（ＶＭ）上の待機系（ＳＢＹ）のアプリケーションをそれぞれ表している。なお、“ＶＭ ＡＣＴ”を運用系のＶＭ、“ＶＭ ＳＢＹ”を待機系のＶＭとしてもよいことは勿論である。図８では、説明のため、代表的なシーケンスに番号（ステップ番号）を付加している。

サーバ１１の処理負荷モニタ部１１１において、仮想マシンの処理余裕が検出される（Ｓ２１）。

サーバ１１の処理負荷モニタ部１１１は、処理余裕によりスケールダウンが可能と判定し、仮想化制御装置２０に通知する（Ｓ２２）。

サーバ１１からの通知を受けた仮想化制御装置２０では、シーケンス制御部２０１が、ＥＭＳ１０に、サーバ１１でのスケールダウンの開始を通知する（Ｓ２３）。

仮想化制御装置２０のシーケンス制御部２０１は、スケールダウン制御部２０３を起動し、スケールダウン制御部２０３は、仮想マシン２５上で稼働するアプリケーション２７が待機系（ＳＢＹ）であるサーバ２１（ハイパーパイザ（ＨＶ））に対して、スケールダウン（ホットデル：Ｈｏｔｄｅｌ）を指示する（Ｓ２４）。

スケールダウン指示を受けたサーバ２１のスケールダウン実行部２１５（例えばハイパーバイザ（ＨＶ））は、ホットデル（Ｈｏｔｄｅｌ）を実行し（Ｓ２５）、待機系（ＳＢＹ）のアプリケーション２７が稼働する仮想マシン２５に割り当てる仮想ＣＰＵ（ｖＣＰＵ）等を減設し、プロセスの割り当てを解除しスケールダウン（ホットデル：Ｈｏｔｄｅｌ）完了通知を仮想化制御装置２０に送信する（Ｓ２６）。

仮想化制御装置２０のシーケンス制御部２０１は、スケールダウン（ホットデル：Ｈｏｔｄｅｌ）完了通知を受けると、系切り替え制御部２０４を起動し、系切り替え制御部２０４は、サーバ１１上の仮想マシン１５上のアプリケーション１７に対して系切り替え指示を送信する（Ｓ２７）。

サーバ１１とサーバ２１間でアプリケーションの系の切り替えが行われる（Ｓ２８）。仮想マシン１５上のアプリケーション１７が運用系（ＡＣＴ）であるサーバ１１の系切り替え部１１２は、アプリケーション１７を新たな待機系（ＳＢＹ）とし、仮想マシン２５上のアプリケーション２７が待機系（ＳＢＹ）であるサーバ２１に対して、例えば運用系（ＡＣＴ）への遷移を指示する。その結果、サーバ２１の系切り替え部２１２は、アプリケーション２７を、運用系（ＡＣＴ）に設定する（待機系から運用系に切り替える）。

系切り替えにより仮想マシン（ＶＭ）１５上のアプリケーション１７が待機系（ＳＢＹ）となったサーバ１１は、仮想化制御装置２０に対して系切り替え完了を通知する（Ｓ２９）。

系切り替え完了の通知を受けた仮想化制御装置２０のシーケンス制御装置２０１は、ＥＭＳ１０に対してスケールダウンの完了通知を送信する（Ｓ３０）。

＜系切り替え：スケールアップ＞
図９は、図７の系切り替え実施（Ｓ８）のシーケンスの一例を詳細に説明する図である。

図９において、シーケンス（ステップ番号）Ｓ１〜Ｓ７は、図７と同一である。なお、図７は、物理サーバ１１での仮想マシンの輻輳検知の通知を受け、仮想化制御装置２０から待機系（ＳＢＹ）の物理サーバ２１に対してスケールアップ（ホットアド：Ｈｏｔａｄｄ）要求を送信していたが、保守者（例えばＥＭＳ１０）からの要求を契機に、仮想化制御装置２０から待機系（ＳＢＹ）の物理サーバ２１に対してスケールアップ（ホットアド：Ｈｏｔａｄｄ）要求を送信するようにしてもよい。

仮想化制御装置２０からの系切り替え指示を受けた、アプリケーション１７が運用系（ＡＣＴ）のサーバ１１の系切り替え部１１２は、アプリケーション１７を待機系（ＳＢＹ）に設定する（Ｓ８−１）。なお、仮想化制御装置２０は、サーバ１１、２１のハイパーバイザ（ＨＶ）と通信する。

仮想マシン（ＶＭ）１５上のアプリケーション１７が新たに待機系（ＳＢＹ）となったサーバ１１は、サーバ２１の仮想マシン（ＶＭ）２５上のアプリケーション２７に、運用系（ＡＣＴ）への遷移要求（ＡＣＴ遷移要求）を送信する（Ｓ８−２）。なお、特に制限されないが、サーバ１１は、アプリケーション１７の運用系（ＡＣＴ）から待機系（ＳＢＹ）への系の切り替えにおいて、例えば、現在のアプリケーション１７が、運用系（ＡＣＴ）、待機系（ＳＢＹ）のいずれであるかを示すフラグ情報を待機系（ＳＢＹ）に設定する。さらに、サーバ１１は、それまで運用系（ＡＣＴ）として動作していたアプリケーション１７の実行環境、設定パラメータ情報、データ等の引き継ぎ情報を、新たに運用系（ＡＣＴ）となるアプリケーション２７に引き継ぐための情報を、所定の記憶領域にセーブしておき、アプリケーション２７が新たに運用系（ＡＣＴ）となったサーバ２１に転送するようにしてもよい。

サーバ１１のアプリケーション１７からＡＣＴ遷移要求を受信したサーバ２１では、系切り替え部２１２が、運用系（ＡＣＴ）に設定する（Ｓ８−３）。

新たに運用系（ＡＣＴ）となったサーバ２１のアプリケーション２７は、サーバ１１にＡＣＴ遷移完了の通知を送信する（Ｓ８−４）。

サーバ１１の仮想マシン１５上のアプリケーション１７は、サーバ２１からＡＣＴ遷移完了通知を受信すると、サーバ１１においてアプリケーション１７が待機系（ＳＢＹ）への遷移が完了していること（ＳＢＹ遷移完了）と、呼処理制限要求とをサーバ２１に対して送信する（Ｓ８−５）。

サーバ１１から呼処理制限要求を受信すると、サーバ２１の処理制限制御部２１３は、仮想マシンで行う呼処理を制限する（Ｓ８−６）。これは、待機系（ＳＢＹ）のスケールアップと、運用系（ＡＣＴ）のスケールアップの両方が完了するまで、増加分の呼処理は受け付けないように、系切り替え中の呼の処理量を制限するものである。

サーバ２１の処理制限制御部２１３で呼処理の制限の設定を完了すると、サーバ１１に呼処理制限要求完了を通知する（Ｓ８−７）。

呼処理制限要求完了を受信したサーバ１１（アプリケーション１７が新たな待機系となる）では、系切り替え部１１２が、仮想化制御装置２０に系切り替え完了を通知する（Ｓ８−８）。

仮想化制御装置２０は、仮想マシン１５上のアプリケーション１７が待機系（ＳＢＹ）のサーバ１１（ハイパーバイザ（ＨＶ））に対してスケールアップ（ホットアド：Ｈｏｔａｄｄ）要求を送信する（Ｓ８−９）。ホットスタンバイ方式の二重化システムでは、例えば運用系（ＡＣＴ）と待機系でデータのレプリケーションを実施している。このため、一方のサーバ２１（新たに仮想マシン上のアプリケーションが運用系となったサーバ）だけスケールアップすると、スケールアップする前の装置との性能差により、処理に影響が出ないように、アプリケーション１７が待機系（ＳＢＹ）となったサーバ１１（ハイパーバイザ（ＨＶ））に対してもスケールアップ（ホットアド：Ｈｏｔａｄｄ）を実施する。

サーバ１１のスケールアップ実行部１１４は、アプリケーション１７が稼働する仮想マシン（ＶＭ）１５に割り当てる仮想ＣＰＵを増設（Ｈｏｔａｄｄ）する（Ｓ８−１０）。その際、当該仮想マシンに割り当てる仮想メモリや仮想ストレージ、仮想ネットワークの帯域、仮想ＮＩＣの設置数等を増加（増設）するようにしてもよいことは勿論である。

サーバ１１のスケールアップ実行部１１４は、仮想化制御装置２０に対してスケールアップ（ホットアド：Ｈｏｔａｄｄ）要完了通知を送信する（Ｓ８−１１）。

仮想化制御装置２０は、サーバ２１に対して呼処理制限解除要求を送信する（Ｓ８−１２）。サーバ２１の処理制限制御部２１３は、呼処理制限を解除する（Ｓ８−１３）。新たな運用系（ＡＣＴ）と新たな待機系（ＳＢＹ）のスケールアップが完了したことで、新たな運用系において、スケールアップ（増設）分の呼処理の受付を許可する。サーバ２１の処理制限制御部２１３は、呼処理制限解除完了通知を仮想化制御装置２０に送信する（Ｓ８−１４）。

呼処理制限解除完了通知を受信した仮想化制御装置２０は、スケールアップの完了通知をＥＭＳ１０に送信する（Ｓ２０）。

なお、図９の例では、仮想化制御装置２０が、サーバ２１（の仮想マシン上の運用系となったアプリケーション）に対して呼処理制限解除要求を送信している（Ｓ８−１２）が、スケールアップ（Ｈｏｔａｄｄ）を完了したサーバ１１が、サーバ２１に対して呼処理制限解除要求を送信するようにしてもよい。この場合、呼処理制限を解除したサーバ２１は、呼処理制限解除完了通知をサーバ１１に送信し、呼処理制限解除完了通知を受信したサーバ１１は、図７のＳ９に従い、系切り替え完了通知を仮想化制御装置２０に送信し、系切り替え完了通知を受信した仮想化制御装置２０がスケールアップ完了通知をＥＭＳ１０に送信することになる。なお、図９では、新たな運用系（ＡＣＴ）のサーバ上の仮想マシン（上で動作するアプリケーション）の処理制限として、呼処理（例えばＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ等）の呼処理）の制限とその解除を例に説明したが、新たな運用系（ＡＣＴ）のサーバ上の仮想マシン（上で動作するアプリケーション）における制限対象の処理として、呼処理以外の処理であってもよいことは勿論である。

＜系切り替え：スケールダウン＞
図１０は、図８の系切り替え実施（Ｓ２８）のシーケンスの一例を詳細に説明する図である。なお、図１０において、ステップＳ２４−Ｓ２７、Ｓ３０は、それぞれ図８のＳ２４−Ｓ２７、Ｓ３０に対応する。

図８では、サーバ１１が処理余裕を検出してスケールダウンが可能であるという判定結果を仮想化制御装置２０に送信し、仮想化制御装置２０が、サーバ２１にスケールダウンを指示しているが、図１０の例では、図７のＥＭＳ１０から、仮想化制御装置２０に対してスケールダウン要求を指示している（Ｓ２０Ａ）。

スケールダウン要求を受信した仮想化制御装置２０は、仮想マシン（ＶＭ）１５上で稼働するアプリケーション１７が運用系（ＡＣＴ）のサーバ１１に対して呼処理制限解除要求を送信する（Ｓ２０Ｂ）。サーバ１１の処理制限制御部１１３は、仮想マシン（ＶＭ）で処理する呼処理を制限する（Ｓ２０Ｃ）。これは、スケールダウン後に呼処理がスケールダウン前の呼処理量を受けて輻輳しないように、予め呼処理制限（低減）する。

サーバ１１は、呼処理制限完了通知を仮想化制御装置２０に送信する（Ｓ２０Ｄ）。

仮想化制御装置２０は、ＥＭＳ１０からのスケールダウン要求を契機に、仮想マシン（ＶＭ）上で稼働するアプリケーションが待機系（ＳＢＹ）のサーバ２１（ハイパーバイザ（ＨＶ））にスケールダウン（ホットデル：Ｈｏｔｄｅｌ）を要求する（Ｓ２４）。サーバ２１のスケールダウン実行部２１５は、仮想マシン（ＶＭ）上で稼働するアプリケーションが待機系（ＳＢＹ）の当該仮想マシンに割り当てる仮想ＣＰＵ（ｖＣＰＵ）を減設する（Ｓ２５）。その際、当該仮想マシンに割り当てる仮想メモリや仮想ストレージ、仮想ネットワークの帯域、仮想NICの設置数等を減少（減設）するようにしてもよいことは勿論である。また、仮想マシン（ＶＭ）上で稼働するアプリケーションが待機系（ＳＢＹ）のサーバ２１のスケールダウン実行部２１５は、仮想ＣＰＵ（ｖＣＰＵ）の減設にあたり、当該仮想ＣＰＵ（ｖＣＰＵ）へのプロセルの割り付けを解除した上で仮想ＣＰＵ（ｖＣＰＵ）を減設する。

サーバ２１は仮想化制御装置２０にスケールダウン完了通知（ホットデル：Ｈｏｔｄｅｌ完了通知）を送信する（Ｓ２６）。

仮想化制御装置２０はサーバ１１に系切り替えを指示する（Ｓ２７）。

仮想化制御装置２０からの系切り替え指示を受けたサーバ１１の系切り替え部１１２は、自サーバ１１の仮想マシン（ＶＭ）１５上で稼働するアプリケーション１７を待機系（ＳＢＹ）に設定する（Ｓ２８−１）。

サーバ１１は、サーバ２１に、仮想マシン（ＶＭ）２５上で稼働するアプリケーション２７の運用系（ＡＣＴ）への遷移要求（ＡＣＴ遷移要求）を送信する（Ｓ２８−２）。

サーバ２１の系切り替え部２１２は、自サーバ２１の仮想マシン（ＶＭ）２５上で稼働するアプリケーション２７を運用系（ＡＣＴ）に設定する（Ｓ２８−３）。なお、新たに運用系（ＡＣＴ）となったサーバ２１のアプリケーション２７は、系切り替え前に運用系（ＡＣＴ）であったサーバ１１のアプリケーション１７の動作環境、設定情報等を引き継ぐ。この例では、系切り替え前に、運用系（ＡＣＴ）であって仮想マシン１５上のアプリケーション１７に対して仮想化制御装置２０より要求された呼処理制限が、新たに運用系（ＡＣＴ）となった仮想マシン上のアプリケーション２７に引き継がれる。

仮想マシン（ＶＭ）２５上のアプリケーション２７が新たに運用系（ＡＣＴ）となったサーバ２１は、サーバ１１にＡＣＴ遷移完了の通知を送信する（Ｓ２８−４）。

サーバ１１は、ＡＣＴ遷移完了通知を受信すると、サーバ１１の仮想マシン１５上のアプリケーション１７がスタンバイ系への遷移が完了したことをサーバ２１に対して通知する（Ｓ２８−５）

サーバ１１は、仮想化制御装置２０に系切り替え完了を通知する（Ｓ２８−６）。

仮想化制御装置２０は、仮想マシン（ＶＭ）１５上で稼働するアプリケーション１７が待機系（ＳＢＹ）のサーバ１１に対してスケールダウン（ホットデル：Ｈｏｔｄｅｌ）要求を送信する（Ｓ２８−７）。ホットスタンバイ方式の二重化システムでは、例えば、運用系（ＡＣＴ）と待機系でデータのレプリケーションを実施している。このため、一方のサーバ（仮想マシン（ＶＭ）上で稼働するアプリケーションが新たに運用系となったサーバ）の当該仮想マシンだけスケールダウンすると、スケールダウンする前の装置との性能差により、処理に影響が出ないように、仮想マシン（ＶＭ）上で稼働するアプリケーションが待機系（ＳＢＹ）となったサーバの当該仮想マシンに対しても、スケールダウン（ホットデル：Ｈｏｔｄｅｌ）を実施する。

サーバ１１のスケールダウン実行部１１５（例えばハイパーバイザ（ＨＶ）に実装される）は、仮想マシン（ＶＭ）１５上で稼働するアプリケーション１７が待機系（ＳＢＹ）となった当該仮想マシン１５に割り当てる仮想ＣＰＵを減設（Ｈｏｔｄｅｌ）する（Ｓ２８−８）。その際、サーバ１１のスケールダウン実行部１１５は、当該仮想ＣＰＵに対するプロセスの割り付けを解除した上で、仮想ＣＰＵを減設（Ｈｏｔｄｅｌ）する。

サーバ１１は、仮想化制御装置２０に対してスケールダウン（ホットデル：Ｈｏｔｄｅｌ）完了通知を送信する（Ｓ２８−９）。

仮想化制御装置２０は、サーバ２１に対して呼処理制限解除要求を送信する（Ｓ２８−１０）。サーバ２１の処理制限制御部２１３は、呼処理制限を解除する（Ｓ２８−１１）。仮想マシン（ＶＭ）上で稼働するアプリケーション（新たな運用系（ＡＣＴ）と新たな待機系（ＳＢＹ））のスケールダウンが完了したことで、新たな運用系において、処理制限制御部２１３による呼処理制限を解除する。サーバ２１は、呼処理制限解除完了通知を仮想化制御装置２０に送信する（Ｓ２８−１２）。

呼処理制限解除完了通知を受信した仮想化制御装置２０は、スケールダウン完了通知をＥＭＳ１０に送信する（Ｓ３０）。なお、図１０の例では、仮想化制御装置２０が、サーバ２１に対して呼処理制限解除要求を送信している（Ｓ２８−１０）が、サーバ２１が、呼処理制限解除完了通知をサーバ１１に送信し、サーバ１１が、図８のシーケンス番号２９に従い、系切り替え完了通知を仮想化制御装置２０に送信し、系切り替え完了通知を受信した仮想化制御装置２０がスケールダウン完了通知をＥＭＳ１０に送信するようにしてもよい。

なお、図１０では、系切り替え前の運用系と、新たな運用系のサーバ上の仮想マシン上で稼働するアプリケーションの処理制限として、呼処理（例えばＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ等）の呼処理）の制限とその解除を例に説明したが、新たな運用系のサーバ上の仮想マシン上で稼働するアプリケーションにおける制限対象の処理として、呼処理以外の処理であってもよいことは勿論である。

図１２は、前述した本実施形態の二重化によるスケール制御を、ＮＦＶシステムに適用した一例を示す図である。図１２の例では、オープンスタック（Ｏｐｅｎ Ｓｔａｃｋ）と拡張部が、図１１のＶＩＭを構成している。また、ＶＮＦライフサイクル管理と、構成情報管理、状態モニタ等を行うオーケストレータＩＩは、図１１のＶＮＦＭを構成している。また、図１２のオーケストレータＩは、アイデンティティマネージャ、グローバルリソースオーケストレータ、ローカルリソースオーケストレータ、Ｏ＆Ｍ（Ｏｐｅｒａｔｉｏｎ ａｎｄ Ｍａｉｎｔｅｎａｎｃｅ）統合マネージャ（Ｏ＆Ｍ ｉｎｔｅｇｒａｔｅｄ ｍａｎａｇｅｒ）、テンプレート管理、サービスオーケストレータ等を備えている。オーケストレータＩ（ＮＶＦＯに対応）の詳細は省略する。なお、ＮＶＦＯの構成、機能については、図１１の関連説明のほか、詳細は非特許文献１等が適宜参照される。

オープンスタック（Ｏｐｅｎ Ｓｔａｃｋ）は、
・Ｎｏｖａ（ＶＭネットワークリソース制御等）／Ｇｌａｎｃｅ（ゲストＯＳ等のイメージ管理）、
・Ｎｅｕｔｒｏｎ（ＶＭが利用する仮想ネットワークの制御、構成管理）、
・Ｃｅｉｌｏｍｅｔｅｒ（ＮＦＶＩのリソース利用量等の計測、監視）を含む。

Ｎｏｖａ／Ｇｌａｎｃｅは、例えばＶＭの起動／停止、ＶＭマイグレーション、ＶＭリソース情報の管理等の制御を行う。Ｎｅｕｔｒｏｎは、例えば仮想ネットワークの生成、仮想ネットワークのアタッチを制御する。Ｃｅｉｌｏｍｅｔｅｒは、ＶＭのリソース使用状況の収集、通知ポリシの管理（ＮＦＶＯからの通知）、ＮＦＶＯへの通知等の制御を行う。

拡張部は、特に制限されないが、例えば、
・物理マシン（ＰＭ）の制御とリソース管理を行う物理マシン（ＰＭ）コントローラと、
・仮想マシン（ＶＭ）の配置性制御（ＰＭ選択等）を行う仮想マシン（ＶＭ）コントローラ、
・仮想マシンが利用する仮想ネットワークの障害監視、リソース管理等の管理制御を行うネットワーク（ＮＷ）コントローラ、
・サーバ上のＮＦＶＩのリソースの監視（例えば物理マシン（ＰＭ）、仮想マシン（ＶＭ）の障害情報収集、リソース使用状況の収集、通知ポリシ管理（ＮＦＶＯからの指示）、ＮＦＶＯへの通知）等を行うリソースモニタリングを含む。

図１２のサーバ１１、２１は、図５のサーバ１１、２１に対応している。サーバ１１とサーバ２１は、いずれも、オープンスタック（Ｏｐｅｎ Ｓｔａｃｋ）及び拡張部のエージェントを備えている。サーバ１１とサーバ２１において、ＨＶはハイパ−バイザ、ＶＭは仮想マシン、ＨＷ／ＯＳはハードウェア資源とＯＳを表している。サーバ１１、２１上のＶＮＦ（Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｆｕｎｃｔｉｏｎ）は図５の仮想マシン上のアプリケーションに対応している。なお、ＶＮＦはＶＤＵ（Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｄｅｐｌｏｙｍｅｎｔ Ｕｎｉｔ）であってもよい。

図５の仮想化制御装置２０の機能（スケールアップ／ダウン制御、系切り替え制御等）は、例えば、図１２のＶＩＭに対応するオープンスタック（Ｏｐｅｎ Ｓｔａｃｋ）と拡張部におけるコントローラや、ＶＮＦＭに対応するオーケストレータに実装することが可能である。なお、図１２は、図５に対応させて、サーバを２重化した構成としているが、サーバ上の複数の仮想マシンで稼働する複数のアプリケーション（ＶＮＦ、ＶＤＵ）のうち、一つ又は複数のアプリケーション（ＶＮＦ、ＶＤＵ）を運用系とし、他の一つ又は複数のアプリケーション（ＶＮＦ、ＶＤＵ）を待機系とする構成としてもよいことは勿論である。あるいは、１又は複数のＶＭを運用系、１又は複数のＶＭを待機系とする構成としてもよい。

なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ乃至選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ、２ サーバ
１０ ＥＭＳ
１１、２１ サーバ（物理マシン、物理サーバ）
１２、２２ 仮想化レイヤ（ハイパーバイザ：HV）
１３、２３ ハードウェア資源
１４、２４ 仮想ハードウェア資源
１５、２５ 仮想マシン（ＶＭ）
１６、２６ ゲストＯＳ
１７、２７ アプリケーション
２０ 仮想化制御装置
３０ ネットワーク（通信手段）
１０１ 運用系（系切り替え後の新たな待機系）
１０２ 待機系（系切り替え後の新たな運用系）
１０３ 制御装置（制御手段）
１１１、２１１ 処理負荷モニタ部
１１２、２１２ 系切り替え部
１１３、２１３ 処理制限制御部
１１４、２１４ スケールアップ（ホットアド：Hotadd）実行部
１１５、２１５ スケールダウン（ホットデル：Hotdel）実行部
１１６、２１６ 通信制御部
２０１ シーケンス制御部
２０２ スケールアップ制御部
２０３ スケールダウン制御部
２０４ 系切り替え制御部
２０５、２０６ 通信制御部

Claims (16)

1. スケールアップ及びスケールダウンのうち少なくともスケールアップが可能な運用系及び待機系と、
   前記運用系の処理負荷に応じて、前記待機系に対して、スケールアップを指示し、前記スケールアップした前記待機系を新たな運用系とする系切り替えを制御する制御手段と、
   を備え、
   前記制御手段は、系切り替え前の前記運用系のスケールアップが必要な場合、前記スケールアップを完了している系切り替え前の前記待機系に対して運用系への系切り替えを指示し、
   前記新たな運用系に対して処理制限を課した新たな待機系に対して、前記新たな運用系と同様のスケールアップの実行を指示し、
   前記新たな待機系から前記スケールアップの完了通知を受けると、前記新たな運用系での前記処理制限を解除する、ことを特徴とするノードシステム。
2. スケールアップ及びスケールダウンのうち少なくともスケールダウンが可能な運用系及び待機系と、
   前記運用系の処理負荷に応じて、前記待機系に対して、スケールダウンを指示し、前記スケールダウンした前記待機系を新たな運用系とする系切り替えを制御する制御手段と、
   を備え、
   前記制御手段は、系切り替え前の前記運用系のスケールダウンが必要な場合、系切り替え前の前記運用系に処理制限を課した上で、系切り替え前の前記待機系に対して、スケールダウンの実行を指示し、
   前記待機系から前記スケールダウンの完了通知を受けると、系切り替えを指示し、
   新たな待機系に対して、前記新たな運用系と同様の前記スケールダウンを指示し、
   前記新たな待機系から前記スケールダウンの完了通知を受けると、前記新たな運用系の前記処理制限を解除する、ことを特徴とするノードシステム。
3. 前記運用系と前記待機系は、各系で稼働する仮想ハードウェア資源を増加することで、スケールアップを行い、前記仮想ハードウェア資源を減少することでスケールダウンを行う、ことを特徴とする請求項１又は２に記載のノードシステム。
4. 前記制御手段は、前記運用系での処理負荷に応じて、前記運用系のスケールアップ又はスケールダウンの必要性を判断する、ことを特徴とする請求項１乃至３のいずれか１項に記載のノードシステム。
5. 前記運用系と前記待機系とをそれぞれ異なるサーバ装置で構成するか、又は、前記運用系と前記待機系を同一のサーバ装置上に実装する、ことを特徴とする請求項１乃至４のいずれか１項に記載のノードシステム。
6. 前記サーバ装置は、
   仮想マシン上で動作するソフトウェアによって実装された、仮想されたネットワーク機能（Virtual Network Function: VNF）と、
   前記VNFの実行基盤を提供するNFVI（Network Function Virtualization Infrastructure）と、
   を備え、前記NFVIは、コンピューティング、ストレージ、ネットワーク機能の少なくとも一つのハードウェア資源を、仮想化レイヤで仮想化した仮想化コンピューティング、仮想化ストレージ、仮想化ネットワークの少なくとも一つを含む、ことを特徴とする請求項５に記載のノードシステム。
7. 運用系と待機系からなる冗長系の前記待機系を少なくとも含み、
   前記待機系を事前にスケールアップ又はスケールダウンした上で新たな運用系に切り替える手段を備え、
   系切り替え前の前記運用系のスケールアップが必要な場合、前記スケールアップを完了している系切り替え前の前記待機系に対して、運用系への系切り替えを指示し、
   前記新たな運用系に対して処理制限を課した上で、新たな待機系に対して、前記新たな運用系と同様の前記スケールアップを指示し、
   前記新たな待機系から前記スケールアップの完了通知を受けると、前記新たな運用系の前記処理制限を解除する、ことを特徴とするサーバ装置。
8. 運用系と待機系からなる冗長系の前記待機系を少なくとも含み、
   前記待機系を事前にスケールアップ又はスケールダウンした上で新たな運用系に切り替える手段を備え、
   系切り替え前の前記運用系のスケールダウンが必要な場合、系切り替え前の前記運用系に処理制限を課した上で、系切り替え前の前記待機系に対して、スケールダウンの実行を指示し、
   前記待機系から前記スケールダウンの完了通知を受けると、系切り替えを指示し、
   新たな待機系に対して、前記新たな運用系と同様の前記スケールダウンを指示し、
   前記新たな待機系から前記スケールダウンの完了通知を受けると、前記新たな運用系の前記処理制限を解除する、ことを特徴とするサーバ装置。
9. スケールアップ及びスケールダウンのうち少なくともスケールアップが可能な運用系及び待機系に対して、前記運用系の処理負荷に応じて、前記待機系に対して、スケールアップを指示し、前記スケールアップした前記待機系を新たな運用系とする系切り替えを制御するスケーリング制御方法であって、
   系切り替え前の前記運用系のスケールアップが必要な場合、前記スケールアップを完了している系切り替え前の前記待機系に対して運用系への系切り替えを指示し、
   前記新たな運用系に対して処理制限を課した上で、新たな待機系に対して、前記新たな運用系と同様のスケールアップの実行を指示し、
   前記新たな待機系から前記スケールアップの完了通知を受けると、前記新たな運用系での前記処理制限を解除する、ことを特徴とするスケーリング制御方法。
10. スケールアップ及びスケールダウンのうち少なくともスケールダウンが可能な運用系及び待機系に対して、前記運用系の処理負荷に応じて、前記待機系に対して、スケールダウンを指示し、前記スケールダウンした前記待機系を新たな運用系とする系切り替えを制御するスケーリング制御方法であって、
    系切り替え前の前記運用系のスケールダウンが必要な場合、系切り替え前の前記運用系に処理制限を課した上で、系切り替え前の前記待機系に対して、スケールダウンの実行を指示し、
    系切り替え前の前記待機系から前記スケールダウンの完了通知を受けると、系切り替えを指示し、
    新たな待機系に対して、前記新たな運用系と同様の前記スケールダウンを指示し、
    前記新たな待機系から前記スケールダウンが完了すると、前記新たな運用系の前記処理制限を解除する、ことを特徴とするスケーリング制御方法。
11. 前記運用系と前記待機系でそれぞれ稼働する仮想ハードウェア資源を増減することで、スケールアップとスケールダウンを行う、ことを特徴とする請求項９又は１０に記載のスケーリング制御方法。
12. 前記運用系の処理負荷に応じてスケールアップ又はスケールダウンの必要性を判断し、前記運用系と前記待機系に対して、スケールアップ又はスケールダウンを行う、ことを特徴とする請求項９又は１０に記載のスケーリング制御方法。
13. 前記運用系と前記待機系とをそれぞれ異なるサーバ装置で構成するか、又は、前記運用系と前記待機系を同一のサーバ装置上に実装する、ことを特徴とする請求項９乃至１２のいずれか１項に記載のスケーリング制御方法。
14. 前記サーバ装置は、
    仮想マシン上で動作するソフトウェアによって実装された、仮想されたネットワーク機能（Virtual Network Function: ＶＮＦ）と、
    前記ＶＮＦの実行基盤を提供するＮＦＶＩ（Network Function Virtualization Infrastructure）と、
    を備え、前記ＮＦＶＩは、コンピューティング、ストレージ、ネットワーク機能の少なくとも一つのハードウェア資源を、仮想化レイヤで仮想化した仮想化コンピューティング、仮想化ストレージ、仮想化ネットワークの少なくとも一つを含む、ことを特徴とする請求項１３に記載のスケーリング制御方法。
15. スケールアップ及びスケールダウンのうち少なくともスケールアップが可能な運用系及び待機系に対して、前記運用系の処理負荷に応じて、前記待機系に対して、スケールアップを指示し、前記スケールアップした前記待機系を新たな運用系とする系切り替えを制御する処理を実行するコンピュータに、
    前記運用系のスケールアップが必要な場合、スケールアップの指示に応答して前記スケールアップを完了した前記待機系に対して新たな運用系への系切り替えを指示し、
    前記新たな運用系に対して処理制限を課した新たな待機系に対して、前記新たな運用系となった前記待機系と同様のスケールアップの実行を指示し、
    前記新たな待機系から前記スケールアップの完了通知を受けると、前記新たな運用系での前記処理制限を解除する処理を、実行させるプログラム。
16. スケールアップ及びスケールダウンのうち少なくともスケールダウンが可能な運用系及び待機系に対して、前記運用系の処理負荷に応じて、前記待機系に対して、スケールダウンを指示し、前記スケールダウンした前記待機系を新たな運用系とする系切り替えを制御する処理を実行するコンピュータに、
    系切り替え前の前記運用系のスケールダウンが必要な場合、系切り替え前の前記運用系に処理制限を課した上で、系切り替え前の前記待機系に対して、スケールダウンの実行を指示し、
    系切り替え前の前記待機系から前記スケールダウンの完了通知を受けると、系切り替えを指示し、
    新たな待機系に対して、前記新たな運用系となった前記待機系と同様の前記スケールダウンを指示し、
    前記新たな待機系から前記スケールダウンが完了すると、前記新たな運用系の前記処理制限を解除する処理を、実行させるプログラム。

Images