JP7010272B2 - リアルタイム通信処理システム、およびリアルタイム通信処理方法 - Google Patents

Description

本開示は、リアルタイム通信処理システム、およびリアルタイム通信処理方法に関する。

生産制御システムなどにおいては、特に通信のリアルタイム性が求められる。従来、イーサネット（登録商標）またはＩＰ（インターネットプロトコル）などの標準的な通信技術を用いて、リアルタイム通信を行う方法が構築されている。

非特許文献１に記載の技術では、リアルタイム性を実現するために、送信局ごとに時間スロットを割り当てるなどによってパケット損失を防いでいる。また、非特許文献１に記載の技術では、例えば図４に示されるように、オープンな標準プロトコルを採用して、マルチベンダー機器によるネットワーク構成を可能としている。

出町公二，外３名，「リアルタイム・プラント・ネットワーク・システム Ｖｎｅｔ／ＩＰ」，横河技報，Ｖｏｌ．４９，Ｎｏ．２，２００５年

プラントなどを制御するために構成するネットワークシステムにおいて、汎用製品を用いて、当該ネットワークシステムに属する機器を実現したいという要求がある。特に、リアルタイム性を確保しつつ、当該ネットワークシステムに属する機器に汎用製品を組み込むことにより、機器の低コスト化および供給の安定化を期待することができる。例えば、リアルタイム通信を行う通信処理装置としてコンピュータを用い、当該コンピュータ上で稼働するプログラムを制御するために、Linux（登録商標）などよりも汎用性の高いWindows（登録商標）などの汎用ＯＳ（オペレーティングシステム）を用いることが考えられる。

しかしながら、上述した通信処理装置に対して、同時並行的に稼働する複数のタスクに対する計算資源の割当てを行う汎用ＯＳのスケジューラをそのまま適用すると、以下の問題が発生する。例えば、プラント制御のための処理を行うアプリケーション部と、当該アプリケーション部からの通信要求をリアルタイムに処理するリアルタイム通信部とを備える通信処理装置では、従来の汎用ＯＳのスケジューラは、計算資源を適切に割り当てることができない場合がある。具体的には、汎用ＯＳのスケジューラを用いた通信処理装置では、リアルタイム性を確保するために、リアルタイム通信部のタスクの優先度がアプリケーション部のタスクの優先度よりも高く設定される。しかしながら、一般に、汎用ＯＳのスケジューラは、優先度が高いタスクのＣＰＵ使用率が所定の閾値を超えると、当該タスクには計算資源を与えず、当該タスクの優先度よりも優先度が低いタスクに計算資源を割り当てるというロジックで稼働する。このため、リアルタイム通信部は、充分な計算資源を用いて、アプリケーション部からの通信要求を処理することができず、結果として、リアルタイム性が損なわれるという問題が発生する。

そこで、本開示は、汎用ＯＳのスケジューラを用いつつ、生産制御システムに必要なリアルタイム性を確保することが可能なリアルタイム通信処理システム、およびリアルタイム通信処理方法を提供することを目的とする。

幾つかの実施形態に係るリアルタイム通信処理システムは、複数のコンピュータと、各コンピュータと通信可能な管理装置とを備え、前記複数のコンピュータのうち少なくとも一つのコンピュータ上で少なくとも一つの仮想マシンが稼働する、生産制御システムにおけるリアルタイム通信処理システムであって、前記少なくとも一つのコンピュータは、当該コンピュータにおいて、リアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシンが存在する場合、その旨の通知を前記管理装置に送信し、前記管理装置は、前記通知を送信した前記コンピュータの仮想プロセッサに空きがある場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、前記仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示し、前記通知を送信した前記コンピュータの仮想プロセッサに空きがない場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、ライブマイグレーション可能な仮想マシンのライブマイグレーションを実行することにより前記通知を送信した前記コンピュータ内に確保した仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示する。

このように、仮想プロセッサに空きがない場合であっても、ライブマイグレーションにより捻出した仮想プロセッサを不安定動作発生の可能性がある仮想マシンに割り当てるので、生産制御システムに必要なリアルタイム性を確保することができる。

一実施形態において、前記管理装置は、前記ライブマイグレーション可能な仮想マシンとして、稼働優先度が低い仮想マシンを選択してもよい。

このように、ライブマイグレーション可能な仮想マシンとして稼働優先度が低い仮想マシンが選択されるので、生産制御システムへの影響を抑えつつ、リアルタイム性を確保することができる。

一実施形態において、前記管理装置は、前記少なくとも一つのコンピュータ上で稼働する前記仮想マシンに対する前記仮想プロセッサの割り当て状況に基づいて、前記仮想マシンのライブマイグレーション先を決定してもよい。

このように、仮想プロセッサの割り当て状況に基づいてライブマイグレーション先を決定することにより、ライブマイグレーションの実行による生産制御システムへの影響をより抑制することができる。

一実施形態において、前記管理装置は、前記複数のコンピュータの処理性能に基づいて、前記仮想マシンのライブマイグレーション先を決定してもよい。

このように、複数のコンピュータの処理性能に基づいてライブマイグレーション先を決定することにより、ライブマイグレーションの実行による生産制御システムへの影響をより抑制することができる。

一実施形態において、前記管理装置は、前記複数のコンピュータの仮想資源量に基づいて、前記仮想マシンのライブマイグレーション先を決定してもよい。

このように、複数のコンピュータの仮想資源量に基づいてライブマイグレーション先を決定することにより、ライブマイグレーションの実行による生産制御システムへの影響をより抑制することができる。

一実施形態において、前記少なくとも一つのコンピュータは、前記リアルタイム通信処理に関する診断指標に基づいて、前記仮想マシンに不安定動作発生の可能性があるか否かを判断してもよい。

幾つかの実施形態に係るリアルタイム通信処理方法は、生産制御システムにおけるリアルタイム通信処理方法であって、少なくとも一つのコンピュータが、当該コンピュータにおいてリアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシンが存在する場合、その旨の通知を管理装置に送信するステップと、前記管理装置が、前記通知を送信した前記コンピュータの仮想プロセッサに空きがある場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、前記仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示するステップと、前記管理装置が、前記通知を送信した前記コンピュータの仮想プロセッサに空きがない場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、ライブマイグレーション可能な仮想マシンのライブマイグレーションを実行することにより前記通知を送信した前記コンピュータ内に確保した仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示するステップと、を含む。

このように、仮想プロセッサに空きがない場合であっても、ライブマイグレーションにより捻出した仮想プロセッサを不安定動作発生の可能性がある仮想マシンに割り当てるので、生産制御システムに必要なリアルタイム性を確保することができる。

本開示によれば、汎用ＯＳのスケジューラを用いつつ、生産制御システムに必要なリアルタイム性を確保することが可能なリアルタイム通信処理システム、およびリアルタイム通信処理方法を提供することができる。

比較例に係る通信処理装置の構成を示す機能ブロック図である。 図１のリアルタイム通信部インタフェースの処理手順を示すフローチャートである。 図１のリアルタイム通信部の処理手順を示すフローチャートである。 本開示の一実施形態に係るリアルタイム通信処理システムの構成を示す機能ブロック図である。 図４の各物理ＰＣの構成を詳細に示す機能ブロック図である。 稼働優先順位テーブルを説明する図である。 図４のリアルタイム通信処理システムの処理手順を示すフローチャートである。 図７のステップＳ１４０の処理内容を詳細に示すフローチャートである。

以下、本開示を実施するための形態について、図面を参照しながら説明する。各図において、同一符号は、同一または同等の構成要素を示す。

まず比較のために、図１を参照して、比較例に係る通信処理装置４の構成例を説明する。

図１に示すとおり、通信処理装置４は、ハードウェアであるコンピュータ（物理ＰＣ）１１上で構成される。物理ＰＣ１１は、物理プロセッサ１１１と、物理ＮＩＣ１１２と、物理ＮＩＣ ＩＦ１１３とを含む。また、物理ＰＣ１１は、例えば半導体または磁気記録媒体などを用いて実現されるメモリなどの他の構成要素を含んでもよい。物理ＰＣ１１は、物理ＮＩＣ１１２を介して、制御ネットワーク２０に接続される。なお、制御ネットワーク２０は、生産制御システムを構成する機器間で通信を行うためのネットワークであり、制御ネットワーク２０には、コントローラ２１およびＰＣ２２などの機器が接続される。ＰＣ２２は、例えば、制御ネットワーク２０を介して、コントローラ２１などと通信を行うことができる。コントローラ２１は、複数のフィールド機器２３が接続され、フィールド機器２３をコントロールすることにより、プラントの制御を行う。フィールド機器２３は、例えば、流量計、温度計、湿度計、もしくは圧力計などのセンサ、またはバルブ、ポンプ、もしくはアクチュエータなどの機器である。なお、ＰＣは、「パーソナルコンピュータ」の略である。ＮＩＣは、「ネットワークインタフェースカード」の略である。ＮＩＣは、単に「ネットワークカード」と呼ばれる場合もある。また、「ＩＦ」は、「インタフェース」の略である。

物理プロセッサ１１１は、メモリにロードされたプログラムに含まれる命令を逐次フェッチして実行する。物理プロセッサとして、例えば物理ＣＰＵが挙げられ、当該物理ＣＰＵに含まれるコアの個数は任意である。なお、ＣＰＵは、「中央処理装置（Central Processing Unit）」の略である。また、物理ＰＣ１１が複数の物理プロセッサ１１１を備えてもよい。なお、物理プロセッサ１１１のＣＰＵ時間は、後述するユーザ空間内の各機能に割り当てられる。

物理ＮＩＣ１１２は、物理ＰＣ１１に接続される制御ネットワーク２０を介して、外部の機器と通信するためのインタフェース機能を有する。物理ＮＩＣ１１２は、汎用ＮＩＣであってよい。

物理ＮＩＣ ＩＦ１１３は、物理ＰＣ１１上のプログラムなどと物理ＮＩＣ１１２との間のインタフェースを提供する。

物理ＰＣ１１上では、汎用ＯＳ１９が稼働する。汎用ＯＳ１９は、ユーザ空間１４と、カーネル空間１６とを有する。ＯＳは、「オペレーティングシステム」の略である。汎用ＯＳ１９を用いて通信処理装置４を構成することにより、通信処理装置４を低コスト化し、かつ安定的に供給することが可能となる。汎用ＯＳ１９としては、例えばマイクロソフト社（Microsoft Corporation，米国）のＰＣ用ＯＳであるWindows（登録商標）系のＯＳが挙げられる。

カーネル空間１６には、汎用ＯＳスケジューラ１６１と、リアルタイム通信要求共有メモリ１６２とが存在する。また、カーネル空間１６には、ユーザ空間１４内で稼働するタスク間で共有する情報がある場合に適宜用いられる共有メモリが存在してもよい。

汎用ＯＳスケジューラ１６１は、ユーザ空間１４内において同時並列的に稼働する各機能（タスク、プログラム）の優先度に従って、適宜、計算資源を割当て、各機能の稼働を管理する。ここで、計算資源は、典型的にはＣＰＵ時間（ＣＰＵ資源）であるが、ＣＰＵ時間以外のものを含んでもよい。計算資源は、例えば、割り当てられるメモリまたは入出力処理手段などを含む。汎用ＯＳスケジューラ１６１は、リアルタイムスケジューラではない。なお、同図では１つのユーザ空間１４のみを示しているが、汎用ＯＳスケジューラ１６１は、複数のユーザ空間を管理してもよい。

リアルタイム通信要求共有メモリ１６２は、ユーザ空間１４内で稼働するすべてのタスクからアクセス可能なメモリである。後述するリアルタイム通信要求処理共有ライブラリ１４２が、アプリケーション部１４１－１、１４１－２、・・・からの通信要求などを一時的に記憶するバッファは、このリアルタイム通信要求共有メモリ１６２内に設けられる。なお、リアルタイム通信要求共有メモリ１６２は、ユーザ空間１４の外に設けられており、アプリケーション部１４１－１、１４１－２、・・・のメモリ空間内の所定の場所にマッピングされる。これにより、アプリケーション部１４１－１、１４１－２、・・・はリアルタイム通信要求共有メモリ１６２にアクセスすることができる。

ユーザ空間１４には、アプリケーション部１４１－１、１４１－２、・・・（以下、「アプリケーション部１４１」と略記する場合がある。）と、リアルタイム通信要求処理共有ライブラリ１４２と、リアルタイム通信ＡＰＩ共有ライブラリ１４３と、リアルタイム通信部１９１とが存在する。ＡＰＩは、「アプリケーションプログラミングインタフェース」の略である。アプリケーション部１４１、リアルタイム通信要求処理共有ライブラリ１４２、リアルタイム通信ＡＰＩ共有ライブラリ１４３、およびリアルタイム通信部１９１は、プログラムおよびメモリを用いて実現可能である。プログラムは、汎用ＯＳスケジューラ１６１によって適宜割り当てられる物理プロセッサ１１１によって実行される。また、メモリは、例えば半導体または磁気記録媒体などを用いて実現される。なお、ユーザ空間１４で実行される機能は、必ずしもメモリを利用しない場合もある。また、情報を記憶するのみであって、処理を実行しない機能は、プログラムを利用する必要はない。

アプリケーション部１４１は、例えばプラントおよび機器の制御のための処理を行う。アプリケーション部１４１は、例えば、プラントの測定データの表示およびプラントに対する操作が行えるＨＭＩ（ヒューマンマシンインタフェエース）、プラントを制御するコントローラの制御プログラムが作成されるＥＮＧ（エンジニアリングサーバ）、ゲートウェイ、並びにプラントの制御を行うコントローラなどのアプリケーションに関するソフトウェアを稼働させる。複数のアプリケーション部１４１が同時並行的に稼働してもよい。アプリケーション部１４１は、通信要求を、複数のアプリケーション部１４１によって共有されるリアルタイム通信要求共有メモリ１６２に一旦格納する。その後、アプリケーション部１４１は、リアルタイム通信要求共有メモリ１６２から取り出した通信要求をリアルタイム通信部１９１に渡す。アプリケーション部１４１がリアルタイム通信部１９１に対して行う通信要求は、論理的な通信路の確立もしくは解放、またはフレーム（パケットとも呼ぶ。データ送受信の論理的な単位である。）の送信もしくは受信などである。なお、ユーザ空間１４内で稼働するアプリケーションソフトウェアの数は任意である。

アプリケーション部１４１には、リアルタイム通信要求処理共有ライブラリ１４２およびリアルタイム通信ＡＰＩ共有ライブラリ１４３が有するライブラリ関数の機能が組み込まれている。リアルタイム通信要求処理共有ライブラリ１４２と、リアルタイム通信ＡＰＩ共有ライブラリ１４３との機能は、アプリケーションロジックに適宜連係される。

リアルタイム通信要求処理共有ライブラリ１４２は、アプリケーション部１４１に静的にリンクされていてもよく、独立したタスクとして稼働してもよい。リアルタイム通信要求処理共有ライブラリ１４２は、リアルタイム通信要求受付ロジックと、リアルタイム通信送信ロジックと、リアルタイム通信受信ロジックとの機能を備える。

リアルタイム通信要求受付ロジックは、アプリケーション部１４１の各々のアプリケーションロジックから、リアルタイム通信ＡＰＩ共有ライブラリ１４３を経由して届く通信要求を受け付ける。当該リアルタイム通信要求受付ロジックは、受け付けた要求を集約し、送信要求の優先度に従って、要求（例えば送信要求）に付随する送信フレームなどをバッファに書き込む。これにより、各アプリケーション部１４１からの通信要求をその優先度で整理した上で、リアルタイム通信部１９１に要求することができる。当該バッファは、リアルタイム通信要求共有メモリ１６２内に存在する。リアルタイム通信要求受付ロジックは、送信フレームをリアルタイム通信要求共有メモリ１６２内のバッファに格納した場合には、後述するリアルタイム通信送信ロジックにその旨を通知する。

リアルタイム通信送信ロジックは、リアルタイム通信要求受付ロジックからの通知を受けると、リアルタイム通信要求共有メモリ内のバッファから送信フレームを取り出し、リアルタイム通信部１９１に渡す。具体的には、当該リアルタイム通信送信ロジックは、リアルタイム通信部１９１内のリアルタイム通信部インタフェース１９２に含まれる要求バッファ１９７に送信フレームを書き込むことによって、送信を行う。

リアルタイム通信受信ロジックは、リアルタイム通信部１９１に含まれるリアルタイム通信通知部１９３から受信通知を受けると、外部から受信されたフレームを受け取り、リアルタイム通信要求共有メモリ１６２内のバッファに書き込む。また、当該リアルタイム通信受信ロジックは、リアルタイム通信要求受付ロジックにフレームを受信した旨を通知する。リアルタイム通信要求受付ロジックは、リアルタイム通信受信ロジックからの通知に基づいて、リアルタイム通信要求共有メモリ１６２内のバッファから受信フレームを取り出し、受信要求を発行していたアプリケーション部１４１にその受信フレームを返す。

リアルタイム通信ＡＰＩ共有ライブラリ１４３は、アプリケーション部１４１がリアルタイム通信を行うためのＡＰＩを含む共有ライブラリである。アプリケーション部１４１は、リアルタイム通信ＡＰＩ共有ライブラリ１４３の機能を静的にリンクさせてもよく、実行時に、リアルタイム通信ＡＰＩ共有ライブラリ１４３の機能を動的にリンクさせてもよい。

リアルタイム通信部１９１は、アプリケーション部１４１からの通信要求に基づいて、リアルタイムにデータの送受信を行う。リアルタイム通信部１９１が行う処理の性質上、コントローラ２１またはＰＣ２２と、フレームの送受信などのタイミングを合わせる必要があり、リアルタイム性が要求される。ここで、「リアルタイム性」とは、リアルタイム通信部１９１がコントローラ２１またはＰＣ２２に対して行った通信要求が所定時間内に完結すること、あるいは所定時間内に通信要求が完了しない場合であっても、当該所定時間内にリアルタイム通信部１９１にレスポンスが戻ることを意味する。レスポンスとしては、例えばエラーなどの通知を含む。「所定時間」は、適用分野によって異なるが、例えば、数ミリ秒から数百ミリ秒までといった範囲内の時間である。なお、リアルタイム通信部１９１のタスクの優先度は、アプリケーション部１４１のタスクの優先度よりも高く設定される。以下、リアルタイム通信部１９１を詳細に説明する。

リアルタイム通信部１９１は、リアルタイム通信部インタフェース１９２と、リアルタイム通信通知部１９３と、送信バッファ１９４と、自己診断部１９５と、自己診断指標記憶部１９６とを含む。また、リアルタイム通信部インタフェース１９２は、要求バッファ１９７を含む。

要求バッファ１９７は、アプリケーション部１４１からの通信要求を少なくとも一時的に蓄積する。アプリケーション部１４１からの通信要求は、リアルタイム通信要求処理共有ライブラリ１４２およびリアルタイム通信ＡＰＩ共有ライブラリ１４３を介して要求バッファ１９７に蓄積される。要求バッファ１９７に蓄積された通信要求は、リアルタイム通信部インタフェース１９２によって取り出され、送信バッファ１９４に格納される。なお、要求バッファ１９７は、基本的にＦＩＦＯ（先入れ先出し）であるが、通信要求の優先度などに基づいて処理順序の追い越しが発生してもよい。

送信バッファ１９４は、リアルタイム通信部インタフェース１９２からの通信要求を少なくとも一時的に蓄積する。送信バッファ１９４に蓄積された通信要求は、順次送信される。なお、送信バッファ１９４は、基本的にＦＩＦＯであるが、通信要求の優先度などに基づいて処理順序の追い越しが発生してもよい。

リアルタイム通信部インタフェース１９２は、リアルタイム通信要求処理共有ライブラリ１４２およびリアルタイム通信ＡＰＩ共有ライブラリ１４３を介して、アプリケーション部１４１からの通信要求を受け付けたり、当該通信要求に対する応答をアプリケーション部１４１に返したりする。具体的には、通信要求が送信要求である場合、リアルタイム通信部インタフェース１９２は、アプリケーション部１４１からの通信要求を要求バッファ１９７に一時的に蓄積し、当該通信要求を要求バッファ１９７から取り出し、送信バッファ１９４に格納することによって、送信処理を行う。また、リアルタイム通信部インタフェース１９２は、後述する自己診断部１９５から不安定動作発生の可能性がある旨の通知を受けた場合には、要求バッファ１９７から送信要求を取り出す際に指定時間の待ち（ＷＡＩＴ）を行う。つまり、リアルタイム通信部インタフェース１９２は、要求バッファ１９７に蓄積された送信要求が、送信バッファ１９４に過大に流入しないように制御する。したがって、要求バッファ１９７が大量に送信要求を受信しても、リアルタイム通信部インタフェース１９２は、その都度これらの送信要求を処理しない。これにより、リアルタイム通信部１９１に不安定動作発生の可能性があっても、リアルタイム通信部インタフェース１９２は、当該不安定動作発生の可能性を緩和させることが可能となる。なお、当該指定時間は予め定めておくことができる。「指定時間」は、適用分野によって異なるが、例えば、数ミリ秒から数百ミリ秒までといった範囲内の時間である。

自己診断部１９５は、リアルタイム通信部１９１の処理に関する診断指標を検知し、当該診断指標の値が所定の閾値を超えた場合、リアルタイム通信部１９１に不安定動作発生の可能性があると判断して、その旨をリアルタイム通信部インタフェース１９２に通知する。「診断指標」は、例えば、ＣＰＵ使用率または処理応答時間である。なお、自己診断部１９５は、当該診断指標を検知するにあたり、自己診断指標記憶部１９６を参照する。

自己診断指標記憶部１９６は、上述した診断指標と、当該診断指標の閾値とのペアを、複数組記憶する。例えば、自己診断指標記憶部１９６は、リアルタイム通信部１９１のＣＰＵ使用率の閾値、処理応答時間（例えば送信フレームのリトライ回数）の閾値、またはその他の閾値を記憶する。なお、これらの閾値は、外部から設定することもできる。

リアルタイム通信通知部１９３は、リアルタイム通信要求処理共有ライブラリ１４２に対して通知を行う。具体的には、リアルタイム通信通知部１９３は、一定の周期の時間通知をリアルタイム通信要求処理共有ライブラリ１４２に対して行う。リアルタイム通信要求処理共有ライブラリ１４２内のリアルタイム通信送信要求処理ロジックは、時間通知ごとに起床し、フレームを送信する処理がタイムアウトしているか否かを確認する。フレームの送信処理のタイムアウトは、例えばリアルタイム通信部１９１が送信先の外部機器からの肯定応答が返送されないなどによって、リアルタイム通信要求処理共有ライブラリ１４２に対して受信通知を用いた送信完了通知を行わないまま予め定められた時間が経過した場合に発生する。リアルタイム通信通知部１９３が送信タイムアウトに関する時間通知を行うことにより、リアルタイム通信部インタフェース１９２に対してフレームの再送を指示することができる。また、リアルタイム通信通知部１９３は、外部機器から通信処理装置に向けて送信されたフレームを受信すると、リアルタイム通信要求処理共有ライブラリ１４２内のリアルタイム通信要求受付ロジックおよびリアルタイム通信受信処理ロジックに受信通知を行う。これにより、リアルタイム通信要求処理共有ライブラリ１４２内のリアルタイム通信受信処理ロジックは、受信したフレームを取り出すことができる。

次に、通信処理装置４の各機能の処理手順について説明する。図２は、リアルタイム通信部インタフェース１９２の動作手順を示すフローチャートである。

まず、ステップＳ１１において、リアルタイム通信部インタフェース１９２は、自己診断部１９５から不安定動作発生の可能性がある旨の通知があったか否かを判断する。不安定動作発生の可能性がある旨の通知があった場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２に進む。不安定動作発生の可能性がある旨の通知がなかった場合（ステップＳ１１：ＮＯ）、ステップＳ１３に進む。

ステップＳ１２に進んだ場合、ステップＳ１２において、リアルタイム通信部インタフェース１９２は、指定時間分のＷＡＩＴを行う。このＷＡＩＴにより、リアルタイム通信部インタフェース１９２は、ステップＳ１４に移る前に当該指定時間だけ待つ。リアルタイム通信部インタフェース１９２がステップＳ１２において待つ間、計算資源がリアルタイム通信部１９１内の他の処理およびアプリケーション部１４１の処理に割り当てられる。このため、ＷＡＩＴがない状態と比較して、リアルタイム通信部１９１の処理負荷が低減される。リアルタイム通信部インタフェース１９２が待ち始めてから当該指定時間が経過すると、再びリアルタイム通信部インタフェース１９２に計算資源が割り当てられ、ステップＳ１４に進む。なお、上述した計算資源の割り当ては、汎用ＯＳスケジューラ１６１が行う。

ステップＳ１３に進んだ場合、ステップＳ１３において、リアルタイム通信部インタフェース１９２は、指定時間を初期値にリセットする。ステップＳ１３の処理が終了すると、ステップＳ１４に進む。

次に、ステップＳ１４において、リアルタイム通信部インタフェース１９２は、アプリケーション部１４１から要求された送信フレームがあるか否かを判断する。具体的には、リアルタイム通信部インタフェース１９２は、要求バッファ１９７を参照することにより、送信フレームがあるか否かを判断する。送信フレームがある場合（ステップＳ１４：ＹＥＳ）、ステップＳ１５に進む。送信フレームがない場合（ステップＳ１４：ＮＯ）、ステップＳ１７に進む。

ステップＳ１５に進んだ場合、ステップＳ１５において、リアルタイム通信部インタフェース１９２は、要求バッファ１９７から１つの送信フレームを取り出す。ただし、複数の送信フレームをまとめて取り出して送信できる場合、リアルタイム通信部インタフェース１９２は、予め定められた所定数以下の送信フレームを要求バッファ１９７から取り出す。なお、要求バッファ１９７内の送信フレームは、送信バッファへの転送が成功した後に適宜削除される。

次に、ステップＳ１６において、リアルタイム通信部インタフェース１９２は、ステップＳ１５で取り出した送信フレームを、送信バッファ１９４に格納する。なお、送信バッファ１９４に格納された送信フレームは、リアルタイム通信部１９１によって順次送信される。これについては、図３を参照して後述する。

次に、ステップＳ１７において、リアルタイム通信部インタフェース１９２は、リアルタイム通信を終了するか否かを判断する。リアルタイム通信を終了するのは、例えば、通信処理装置４における上位の管理機能から終了を指示された場合、オペレータなどから終了コマンドが入力された場合、またはエラー事象などによる割込みを解析した結果として終了すべきと判断される場合などである。リアルタイム通信を終了させる場合（ステップＳ１７：ＹＥＳ）、本処理が終了する。リアルタイム通信を終了させない場合（ステップＳ１７：ＮＯ）、ステップＳ１１に戻って、上述した処理を繰り返す。

図３は、リアルタイム通信部１９１の動作手順を示すフローチャートである。

まず、ステップＳ２１において、リアルタイム通信部１９１は、送信バッファ１９４に送信フレームがあるか否かを判断する。送信フレームがある場合（ステップＳ２１：ＹＥＳ）、ステップＳ２２に進む。送信フレームがない場合（ステップＳ２１：ＮＯ）、ステップＳ２６に飛ぶ。

ステップＳ２２に進んだ場合、ステップＳ２２において、リアルタイム通信部１９１は、送信バッファ１９４から１つの送信フレームを取り出し、当該フレームを送信する。ただし、複数の送信フレームをまとめて取り出して送信できる場合、リアルタイム通信部１９１は、予め定められた所定数以下の送信フレームを送信バッファ１９４から取り出して、これらのフレームを送信する。

続いて、ステップＳ２３において、リアルタイム通信部１９１は、ステップＳ２２においてフレームを送信した相手（フレームの受信側）からの肯定応答（Ａｃｋ，acknowledgement）が到着するのを所定時間待つ。

続いて、ステップＳ２４において、リアルタイム通信部１９１は、肯定応答が到着したか否かを判断する。肯定応答が到着した場合（ステップＳ２４：ＹＥＳ）、つまり、そのフレームが相手側で受信されたことが確認された場合、ステップＳ２５に進む。肯定応答が到着しなかった場合（ステップＳ２４：ＮＯ）、つまり、送信したフレームに対応する否定応答が到着した場合、または所定時間が経過してタイムアウトした場合、ステップＳ２６に飛ぶ。

ステップＳ２５に進んだ場合、ステップＳ２５において、リアルタイム通信部１９１は、送信が成功したフレーム、つまり肯定応答が得られた送信フレームを、送信バッファ１９４から消去する。なお、一定の処理回数の間に肯定応答が到着しなかった場合、リアルタイム通信部１９１は、送信先が通信できない状況にあると判断してもよい。この場合、リアルタイム通信部１９１は、送信バッファ１９４から送信フレームを消去し、送信を失敗させてもよい。

続いて、ステップＳ２６において、リアルタイム通信部１９１は、リアルタイム通信部１９１自身の処理（リアルタイム通信）を終了するか否かを判断する。リアルタイム通信部１９１の処理を終了する状況とは、図２のステップＳ１７の処理について説明したとおりである。リアルタイム通信を終了させる場合（ステップＳ２６：ＹＥＳ）には、本フローチャート全体の処理を終了する。リアルタイム通信を終了させない場合（ステップＳ２６：ＮＯ）には、ステップＳ２１に戻って、上述した処理を繰り返す。

このように、比較例に係る通信処理装置４では、不安定動作発生の可能性がある場合、リアルタイム通信部インタフェース１９２は、要求バッファ１９７から送信要求を取り出す際にＷＡＩＴを行うことにより、要求バッファ１９７に蓄積された送信要求が送信バッファ１９４に過大に流入しないように制御する。しかしながら、このような制御を行う通信処理装置４では、以下に説明するように、本来処理したいデータ量を処理することができず、例えば単位時間あたりのデータ送信量などのアプリケーションの処理性能が低下するという問題がある。

一般に、通信処理装置における全体の処理負荷は、下記（１）式にて算出される。
全体の処理負荷＝（プロセスが使用する各プロセッサの処理負荷の合計値）/（全プロセッサの最大負荷の合計値）・・・（１）
ここで、プロセッサの全数が２つであり、１つのプロセッサにおいて処理可能な最大負荷が１００％であり、各プロセッサの処理負荷が７０％と５０％であり、汎用ＯＳスケジューラがプロセスの処理を止める処理負荷の閾値が５０％である場合を具体例として説明する。この場合、上記（１）式にて算出される全体の処理負荷は６０％（＝（７０＋５０）/（１００＋１００））となる。このため、全体の処理負荷（６０％）は、処理負荷の閾値（５０％）を超えるので、リアルタイム性を確保することができない。この対策として、比較例に係る通信処理装置４では、全体の処理負荷が処理負荷の閾値を超えないように、例えばＷＡＩＴを行うことにより、各プロセッサの処理負荷を低減している。より具体的には、比較例に係る通信処理装置４において、ＷＡＩＴを行うことにより低減した後の各プロセッサの処理負荷をそれぞれ４０％とする。すると、上記（１）式にて算出される全体の処理負荷は、４０％（＝（４０＋４０）/（１００＋１００））となり、処理負荷の閾値で（５０％）より小さくなる。しかしながら、プロセスが実際に使用するプロセッサの処理負荷の合計値は、１２０％（＝７０％＋５０％）から８０％（＝４０％＋４０％）に低下してしまう。このため、比較例に係る通信処理装置４では、本来処理したいデータ量を処理することができず、例えば単位時間あたりのデータ送信量などのアプリケーションの処理性能が低下するという問題が生じる。

この問題に対して、物理ＰＣ上で仮想マシンを稼働させて、仮想マシンの処理負荷が所定の閾値を超えた場合に、当該仮想マシンに仮想プロセッサを割り当てることにより、アプリケーションソフトウェアの処理性能を維持しつつ、リアルタイム性を確保するという対応が考えられる。上述した具体例において、仮想プロセッサを１つ追加すると、仮想マシン全体の処理負荷は、以下となる。
仮想マシン全体の処理負荷＝（７０＋５０）/（１００＋１００＋１００）
＝１２０/３００
＝４０％
つまり、仮想マシンに仮想プロセッサを割り当てることにより、プロセスが使用するプロセッサの処理負荷の合計値は１２０％（＝７０％＋５０％）を維持した状態で、仮想マシン全体の処理負荷を相対的に４０％に下げることができる。このため、アプリケーションの処理性能を維持した状態で、リアルタイム性を確保することが可能となる。しかしながら、全ての仮想プロセッサが割り当て済みのため、仮想プロセッサに空きがない場合には、リアルタイム性を確保することができないという問題が残る。

そこで、本開示では、汎用ＯＳのスケジューラを用いつつ、生産制御システムに必要なリアルタイム性を確保することができるリアルタイム通信処理システム、およびリアルタイム通信処理方法について説明する。加えて、本開示では、仮想プロセッサに空きがない場合であっても、生産制御システムに必要なリアルタイム性を確保することができるリアルタイム通信処理システム、およびリアルタイム通信処理方法について説明する。

以下、図４および図５を参照して、本開示の一実施形態に係るリアルタイム通信処理システム１について説明する。

図４を参照して、各コンピュータ（物理ＰＣ）１１－１、１１－２、１１－３・・・（以下、「物理ＰＣ１１」と略記する場合がある。）は、それぞれ仮想化されている。図５も参照して、各物理ＰＣ１１は仮想化部１２を有し、物理ＰＣ１１上ではホストＯＳが稼働する。また、複数の物理ＰＣ１１のうち少なくとも一つの物理ＰＣでは、上述したホストＯＳ上で少なくとも一つの仮想マシンが稼働する。なお、ホストＯＳとしては、汎用ＯＳを適用することができる。汎用ＯＳとしては、例えばマイクロソフト社（Microsoft Corporation，米国）のＰＣ用ＯＳであるWindows（登録商標）系のＯＳが挙げられる。なお、物理ＰＣ１１の数は、図４に示す例に限定されず、任意である。また、後述する不安定動作が発生する物理ＰＣ１１上では、複数の仮想マシンが稼働してもよいが、ライブマイグレーション先の物理ＰＣ１１上では、必ずしも複数の仮想マシンが稼働する必要はない。

図５を参照して、仮想化部１２は、仮想化部スケジューラ１２１と仮想ハードウェア１２２とを含み、仮想化技術によって実現される複数の仮想マシンの動作を制御する。詳細は後述するが、仮想化部１２は、管理装置（例えば、ＮＭＳ（Network Management System））１７（以下、「ＮＭＳ１７」と略記する場合がある。）の通信部１７２から受けたコマンドを実行することにより、仮想資源の変更を行う。「仮想資源の変更」には、例えば、仮想マシンへの仮想プロセッサ１２３の割り当てもしくは仮想マシンからの仮想プロセッサ１２３の削除、または仮想マシンの停止もしくは再開などが含まれる。ここで、仮想資源の変更は、仮想マシンの稼働中に行ってもよく、この場合、仮想マシン上で稼働するゲストＯＳ１３には、仮想マシンの稼働中に仮想資源の変更が反映される。

仮想化部スケジューラ１２１は、物理プロセッサ１１１と仮想プロセッサ１２３とを１対１に適宜対応付ける。したがって、仮想プロセッサ１２３に空きがあるとは、物理ＰＣ１１に含まれる物理プロセッサ１１１に空きがあること、または仮想ハードウェア１２２に含まれる仮想プロセッサ１２３に空きがあることを意味する。一例として、仮想化部スケジューラ１２１は、物理ＣＰＵに含まれるコアと仮想ＣＰＵコアとを１対１に対応付ける。なお、物理ＣＰＵに含まれるコア数は、任意であり、複数であってもよい。

図４および図５を参照して、仮想ハードウェア１２２－１、１２２－２、１２２－３・・・（以下、「仮想ハードウェア１２２」と略記する場合がある。）は、仮想化部１２によって実現される仮想的なコンピュータハードウェアである。仮想ハードウェア１２２は、仮想プロセッサ１２３と、仮想ＮＩＣ１２４と、仮想ＮＩＣ ＩＦ１２５とを有する。また、仮想ハードウェア１２２は、仮想メモリを有してもよい。

図５を参照して、仮想プロセッサ１２３は、仮想化部１２によって実現される仮想的なプロセッサである。仮想化部１２のタスクに対して、仮想化部スケジューラ１２１が物理プロセッサ１１１を適宜割り当てることで、仮想プロセッサ１２３に割り当てられたプログラムが稼働する。図４では、物理ＰＣ１１－１上の仮想ハードウェア１２２－１の仮想プロセッサを「仮想プロセッサ１２３－１－１、１２３－１－２、１２３－１－３」と表記している。また、物理ＰＣ１１－１が有する物理プロセッサを「物理プロセッサ１１１－１－１、１１１－１－２、１１１－１－３」と表記している。同様に、物理ＰＣ１１－２上の仮想ハードウェア１２２－２の仮想プロセッサを「仮想プロセッサ１２３－２－１、１２３－２－２、１２３－２－３」と表記している。また、物理ＰＣ１１－２が有する物理プロセッサを「物理プロセッサ１１１－２－１、１１１－２－２、１１１－２－３」と表記している。同様に、物理ＰＣ１１－３上の仮想ハードウェア１２２－３の仮想プロセッサを「仮想プロセッサ１２３－３－１、１２３－３－２、１２３－３－３」と表記している。また、物理ＰＣ１１－３が有する物理プロセッサを「物理プロセッサ１１１－３－１、１１１－３－２、１１１－３－３」と表記している。ただし、物理プロセッサの数および仮想プロセッサの数は、図４に示す例に限定されず、任意である。

図５を参照して、仮想ＮＩＣ１２４は、仮想的なネットワークインタフェースカードである。つまり、ゲストＯＳ１３側からの仮想ＮＩＣ１２４への通信要求は、物理ＮＩＣ１１２に引き継がれる。

仮想ＮＩＣ ＩＦ１２５は、ゲストＯＳ１３側から仮想ＮＩＣ１２４にアクセスするための仮想的なインタフェースである。

ゲストＯＳ１３は、各物理ＰＣ１１上の各仮想マシン上で稼働する。ゲストＯＳ１３の数は、１つに限られず、複数であってもよい。各ゲストＯＳ１３は、ユーザ空間１４と、カーネル空間１６とを有する。なお、ゲストＯＳ１３として、汎用ＯＳを適用することができる。汎用ＯＳとしては、例えばマイクロソフト社（Microsoft Corporation，米国）のＰＣ用ＯＳであるWindows（登録商標）系のＯＳが挙げられる。

カーネル空間１６には、汎用ＯＳスケジューラ１６１と、リアルタイム通信要求共有メモリ１６２とが存在する。また、カーネル空間１６には、ユーザ空間１４内で稼働するタスクの共有メモリが存在してもよい。なお、汎用ＯＳスケジューラ１６１、リアルタイム通信要求共有メモリ１６２、および共有メモリは、比較例で説明した汎用ＯＳスケジューラ１６１、リアルタイム通信要求共有メモリ１６２、および共有メモリと同様である。

ユーザ空間１４には、アプリケーション部１４１－１、１４１－２、・・・（以下、「アプリケーション部１４１」と略記する場合がある。）と、リアルタイム通信要求処理共有ライブラリ１４２と、リアルタイム通信ＡＰＩ共有ライブラリ１４３と、リアルタイム通信部１５１とが存在する。なお、アプリケーション部１４１、リアルタイム通信要求処理共有ライブラリ１４２、およびリアルタイム通信ＡＰＩ共有ライブラリ１４３は、ゲストＯＳ１３内で稼働すること以外は、比較例で説明したアプリケーション部１４１、リアルタイム通信要求処理共有ライブラリ１４２、およびリアルタイム通信ＡＰＩ共有ライブラリ１４３と同様である。

リアルタイム通信部１５１は、アプリケーション部１４１からの通信要求に基づいて、生産制御システムにおけるリアルタイム通信を行う。具体的には、リアルタイム通信部１５１は、アプリケーション部１４１から通信要求を受け、当該通信要求に基づいてデータの送受信を行う。リアルタイム通信部１５１が行う処理の性質上、コントローラ２１またはＰＣ２２とフレームの送受信などのタイミングを合わせる必要があり、リアルタイム性が要求される。また、リアルタイム通信部１５１は、アプリケーション部１４１から独立したタスクとして稼働することが好ましい。これにより、リアルタイム通信部１５１が行う他機器への通信は、滞らず実行されるからである。また、リアルタイム通信部１５１は、各仮想マシンに対して、リアルタイム通信処理に関する診断指標を検知する。そして、リアルタイム通信部１５１は、当該診断指標の値が所定の閾値を超えた仮想マシンが存在する場合、当該仮想マシンに不安定動作発生の可能性があると判断する。換言すると、複数の物理ＰＣ１１のうち少なくとも一つの物理ＰＣ（例えば物理ＰＣ１１－１）は、リアルタイム通信処理に関する診断指標に基づいて、仮想マシンに不安定動作発生の可能性があるか否かを判断する。以下、本実施形態に係るリアルタイム通信部１５１を詳細に説明する。

リアルタイム通信部１５１は、リアルタイム通信部インタフェース１５２と、リアルタイム通信通知部１５３と、送信バッファ１５４と、自己診断部１５５と、自己診断指標記憶部１５６と、診断結果通知部１５７とを含む。また、リアルタイム通信部インタフェース１５２は、要求バッファ１５８を含む。なお、リアルタイム通信通知部１５３、送信バッファ１５４、および要求バッファ１５８は、それぞれ比較例で説明したリアルタイム通信通知部１９３、送信バッファ１９４、および要求バッファ１９７と同様である。

リアルタイム通信部インタフェース１５２は、リアルタイム通信要求処理共有ライブラリ１４２およびリアルタイム通信ＡＰＩ共有ライブラリ１４３を介して、アプリケーション部１４１からの要求を受け付けたり、その要求に対する応答をアプリケーション部１４１に返したりする機能を有する。リアルタイム通信部インタフェース１５２は、受け取った通信要求がデータの送信要求である場合に、要求バッファ１５８から当該送信要求を取り出して送信処理を行う。

自己診断部１５５は、各仮想マシン上で稼働するリアルタイム通信部１５１のリアルタイム通信処理に関する診断指標を検知し、当該診断指標の値が所定の閾値を超えたか否かを判断する。また、自己診断部１５５は、当該診断指標の値が所定の閾値を超えた場合、当該診断指標の値を示したリアルタイム通信部１５１が稼働している仮想マシンにおいて、不安定動作発生の可能性があると判断する。また、自己診断部１５５は、当該仮想マシンに不安定動作発生の可能性がある旨を診断結果通知部１５７に通知する。なお、自己診断部１５５は、当該診断指標を検知するにあたり、自己診断指標記憶部１５６を参照することができる。自己診断指標記憶部１５６は、比較例で説明した自己診断指標記憶部１９６と同様である。

自己診断部１５５が検知する診断指標としては、次に説明する（１）ＣＰＵ負荷（ＣＰＵ使用率）または（２）応答性（応答時間）が挙げられるが、これらに限定されない。

（１）ＣＰＵ負荷：自己診断部１５５は、リアルタイム通信部１５１のＣＰＵ使用率の値をゲストＯＳ１３から取得する。ゲストＯＳ１３は、プログラムがゲストＯＳ１３内のパフォーマンスデータを取得するためのインタフェースを設けており、そのパフォーマンスデータには、タスクごとのＣＰＵ使用率の値が含まれる。自己診断部１５５は、リアルタイム通信部１５１のＣＰＵ使用率が予め設定された所定の閾値を超えた場合に、不安定動作発生の可能性があると判断する。なお、自己診断部１５５は、他の診断指標に基づいて不安定動作発生の可能性を検出してもよい。例えば、自己診断部１５５が、ゲストＯＳ１３全体のＣＰＵ使用率および、当該ゲストＯＳ１３が稼働する仮想ハードウェア１２２に割り当てられる仮想プロセッサ１２３の数などの情報を取得してもよい。自己診断部１５５は、これらの値を複数組み合わせて判断した結果が所定の閾値（例えば、ＣＰＵのコア数が４つの場合はＣＰＵ使用率３０％、ＣＰＵのコア数が８つの場合はＣＰＵ使用率１５％など）を超えた場合に、不安定動作発生の可能性があると判断することができる。

（２）応答性：自己診断部１５５は、リアルタイム通信部１５１の応答性が低下した場合に、不安定動作発生の可能性があると判断する。具体的には、自己診断部１５５は、リアルタイム通信部１５１がフレームの送信を行ったときのリトライの発生回数を取得する。送信のリトライは、リアルタイム通信部が処理を待たされる場合に発生する。リトライが多発する場合には、通信のリアルタイム性が阻害されていると考えることができる。したがって、自己診断部１５５は、１個のフレームに対するリトライの発生回数が所定の閾値を超えた場合、あるいは所定時間内におけるトータルの送信リトライの発生回数が所定の閾値を超えた場合、不安定動作発生の可能性があると判断することができる。

図４および図５を参照して、診断結果通知部１５７は、自己診断部１５５から受けた通知を後述するＮＭＳ１７の判断部１７１に通知する。ただし、自己診断部１５５は、診断結果通知部１５７を介さずに、上述した不安定動作発生の可能性をＮＭＳ１７の判断部１７１に通知してもよい。

管理装置（例えば、ＮＭＳ（Network Management System））１７は、例えば制御ネットワーク２０を介して、各物理ＰＣ１１と通信可能である。ＮＭＳ１７は、判断部１７１と、通信部１７２とを有することができる。判断部１７１は、１つ又は複数の物理プロセッサを用いて実現することができる。通信部１７２は、１つ又は複数の通信インタフェースを用いて実現することができる。ただし、管理装置１７は、ＮＭＳに限られず、判断部１７１及び通信部１７２を有する任意のコンピュータを用いて実現することができる。以下では、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－１に不安定動作発生の可能性があり、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－２を物理ＰＣ１１－２にライブマイグレーションさせる場合を例に説明する。この場合、物理ＰＣ１１－１の診断結果通知部１５７が、ＮＭＳ１７の判断部１７１に、仮想マシン１２６－１－１に不安定動作発生の可能性がある旨の通知を送信する。

ＮＭＳ１７の判断部１７１は、例えば制御ネットワーク２０を介して、物理ＰＣ１１－１の診断結果通知部１５７からの通知を受信した場合に、物理ＰＣ１１－１の仮想プロセッサ１２３－１－１、１２３－１－２、１２３－１－３に空きがあるか否かを判断する。

判断部１７１は、物理ＰＣ１１－１の仮想プロセッサ１２３－１－１、１２３－１－２、１２３－１－３に空きがある場合、不安定動作発生の可能性がある仮想マシン１２６－１－１に対して物理ＰＣ１１－１の仮想プロセッサ（つまり、「空き」の仮想プロセッサ）を割り当てる旨の指示を通信部１７２に送信する。図５も参照して、通信部１７２は、例えば制御ネットワーク２０を介して、判断部１７１からの指示に基づくコマンドを、物理ＰＣ１１－１の仮想化部１２に送信する。物理ＰＣ１１－１の仮想化部１２は、ＮＭＳ１７の通信部１７２から受信したコマンドを実行する。換言すると、ＮＭＳ１７は、物理ＰＣ１１－１の仮想プロセッサに空きがある場合、不安定動作発生の可能性がある仮想マシン１２６－１－１に対して、仮想プロセッサを割り当てることを物理ＰＣ１１－１に指示する。そして、物理ＰＣ１１－１は、ＮＭＳ１７からの指示に基づいて、仮想マシン１２６－１－１に対して、仮想プロセッサを割り当てる。

一方、判断部１７１は、物理ＰＣ１１－１の仮想プロセッサ１２３－１－１、１２３－１－２、１２３－１－３に空きがない場合、ライブマイグレーション可能な仮想マシン１２６－１－２にライブマイグレーションを実行する旨の指示を通信部１７２に送信する。また、判断部１７１は、仮想マシン１２６－１－１に対してライブマイグレーションによって物理ＰＣ１１－１内に確保した仮想プロセッサ１２３－１－２を割り当てる旨の指示を通信部１７２に送信する。また、通信部１７２は、判断部１７１からの指示に基づくコマンドを物理ＰＣ１１－１の仮想化部１２に送信する。また、物理ＰＣ１１－１の仮想化部１２は、通信部１７２から受信したコマンドを実行する。換言すると、ＮＭＳ１７は、物理ＰＣ１１－１の仮想プロセッサに空きがない場合、仮想マシン１２６－１－１に対して、ライブマイグレーション可能な仮想マシン１２６－１－２のライブマイグレーションを実行することにより物理ＰＣ１１－１内に確保した仮想プロセッサ１２３－１－２を割り当てることを物理ＰＣ１１－１に指示する。そして、物理ＰＣ１１－１は、ＮＭＳ１７からの指示に基づいて、仮想マシン１２６－１－１に対して、ライブマイグレーションにより物理ＰＣ１１－１内に確保した仮想プロセッサ１２３－１－２を割り当てる。「ライブマイグレーション」とは、ある物理ＰＣ上で稼働している仮想マシンの処理内容を保存した状態で、当該仮想マシンを別の物理ＰＣに移行して、別の物理ＰＣ上で当該仮想マシンの処理内容を復元して、その処理を再開することを意味する。仮想マシンの動作は、ライブマイグレーションの実行中、数ミリ秒から数秒一時停止するが、その処理内容は失われない。

以下では、ライブマイグレーション対象となる仮想マシン１２６－１－２の選択方法、ライブマイグレーション先となる物理ＰＣ１１－２の決定方法、およびライブマイグレーションの実行方法の一例を詳細に説明する。

最初に、ライブマイグレーション対象となる仮想マシン１２６－１－２の選択方法の一例を説明する。まず、ＮＭＳ１７の判断部１７１は、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－１、１２６－１－２、１２６－１－３の情報を取得する。「仮想マシンの情報」には、仮想マシン１２６－１－１、１２６－１－２、１２６－１－３上で稼働するアプリケーションの種類、および仮想マシンＩＤなどの情報が含まれる。続いて、判断部１７１は、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－１、１２６－１－２、１２６－１－３の中から、ライブマイグレーション可能な仮想マシン１２６－１－２をライブマイグレーションの対象として選択する。この際に、判断部１７１は、ライブマイグレーション可能な仮想マシン１２６－１－２として、稼働優先度が低い仮想マシンを選択してもよい。「稼働優先度が低い仮想マシン」とは、稼働優先度が所定値以下の仮想マシンを意味する。換言すると、稼働優先度が低い仮想マシンとは、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－１、１２６－１－２、１２６－１－３のうち、生産制御システムに与える影響が小さい仮想マシンを意味する。したがって、生産制御システムへの影響を抑えつつ、リアルタイム性を確保することができる。

次に、ライブマイグレーション先となる物理ＰＣ１１－２の決定方法の一例を説明する。まず、ＮＭＳ１７の通信部１７２は、各物理ＰＣ１１－１、１１－２、１１－３と通信して、各物理ＰＣ１１－１、１１－２、１１－３上で稼働する仮想マシンに対する仮想プロセッサの割り当て状況を受信する。続いて、通信部１７２は、受信した仮想プロセッサの割り当て状況を判断部１７１に通知する。続いて、判断部１７１は、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－２に対する仮想プロセッサ１２３－１－２の割り当て状況と、物理ＰＣ１１－１とは別の各物理ＰＣ１１－２、１１－３上で稼働する仮想マシンへの仮想プロセッサの割り当て状況とに基づいて、仮想マシン１２６－１－２のライブマイグレーション先の物理ＰＣ１１－２を決定する。換言すると、ＮＭＳ１７は、複数の物理ＰＣ１１のうち少なくとも一つの物理ＰＣ１１上で稼働する仮想マシンに対する仮想プロセッサの割り当て状況に基づいて、仮想マシン１２６－１－２のライブマイグレーション先を決定する。

また、ＮＭＳ１７は、複数の物理ＰＣ１１の処理性能に基づいて、ライブマイグレーション先の物理ＰＣ１１－２を決定してもよい。「処理性能」として、物理ＰＣのＣＰＵ性能またはメモリへのアクセス性能などが挙げられる。例えば、ＮＭＳ１７の判断部１７１は、ライブマイグレーション元となる物理ＰＣ１１の処理性能と、ライブマイグレーション先の候補となる物理ＰＣの処理性能とを比較して、これらの処理性能が類似、好ましくは同一である物理ＰＣ１１をライブマイグレーション先に決定してもよい。

また、ＮＭＳ１７は、複数の物理ＰＣ１１の仮想資源量に基づいて、ライブマイグレーション先となる物理ＰＣ１１を決定してもよい。「仮想資源量」は、仮想プロセッサの使用率および仮想メモリの使用率などを含む。例えば、ＮＭＳ１７の判断部１７１はライブマイグレーション対象である仮想マシン１２６－１－２を稼働させるための十分な仮想資源量を有する物理ＰＣ１１－２をライブマイグレーション先として決定してもよい。また、判断部１７１は、十分な仮想資源量を有する物理ＰＣ１１が複数存在する場合には、複数の物理ＰＣ１１のうち、ライブマイグレーション元となる物理ＰＣ１１－１と処理性能が類似し、かつ空きの仮想資源量が多い物理ＰＣ１１－２をライブマイグレーション先に決定してもよい。より好ましくは、判断部１７１は、複数の物理ＰＣ１１のうち、物理ＰＣ１１－１と処理性能が同一であり、かつ空きの仮想資源量が多い物理ＰＣ１１－２をライブマイグレーション先に決定してもよい。

次に、ライブマイグレーショの実行方法の一例を説明する。判断部１７１は、上述した選択方法によって選択した仮想マシン１２６－１－２を、上述した決定方法によって決定した物理ＰＣ１１－２にライブマイグレーションする旨の指示を通信部１７２に送信する。続いて、通信部１７２は、物理ＰＣ１１－１の仮想化部１２と、物理ＰＣ１１－２の仮想化部１２とに対して、仮想マシン１２６－１－２のライブマイグレーションを実行する旨のコマンドを送信する。続いて、物理ＰＣ１１－１の仮想化部１２は、これにより、仮想マシン１２６－１－２をライブマイグレーションさせることにより物理ＰＣ１１－１内に確保した仮想プロセッサ１２３－１－２を仮想マシン１２６－１－１に割り当てる。このようにして、ライブマイグレーションの実行による生産制御システムへの影響をより抑制することができる。

ここで、上記選択方法を実行するにあたり、ＮＭＳ１７の判断部１７１は、図６に示す稼働優先順位テーブルを参照することができる。稼働優先順位テーブルは、「稼働優先順位」、「ライブマイグレーション可否」、および「仮想マシンＩＤ」に関する情報を含むことができる。なお、図６の「稼働アプリケーション」および「備考」の欄に記載の情報は、説明のために併記しているだけであり、実際の優先順位テーブルは、これらの情報を含まなくてもよい。なお、優先順位テーブルは、エンジニアリングサーバなどから予め設定されたものでもよく、ＮＭＳ１７内の記憶部などに予め格納されてもよいが、これに限定されない。以下、稼働優先順位テーブルを詳細に説明する。

「ライブマイグレーション可否」の欄に記載の情報は、仮想マシンをライブマイグレーションさせることが可能であるか否かを示す。例えば、ＷＤＴ(Watch Dog Timer)が発生するなどの理由により、処理を一時停止することができない仮想マシン、またはアクセス権限などの理由により、特定の物理ＰＣ上でしか稼働することができない仮想マシンについては、ライブマイグレーションが「否」と設定される。

「仮想マシンＩＤ」の欄に記載の情報は、各仮想マシンの識別情報を示す。仮想マシンＩＤは、リアルタイム通信処理システムの全体で一意に設定される。なお、仮想マシンＩＤの欄に所定の記号が付されている場合、仮想マシン上で稼働しているアプリケーションの情報に基づいて、当該アプリケーションが稼働中の全ての仮想マシンがライブマイグレーション対象の候補となる。ただし、ライブマイグレーションが「否」である仮想マシン（仮想マシンＩＤ：ＶＭ１）上でI/Oモジュール予知保全アプリ（ライブマイグレーション可）が動作する場合などは、「ライブマイグレーション：否」の設定を優先する。

「稼働優先順位」の欄に記載の情報は、その番号が小さいほど仮想マシンを優先的に稼働させることを示し、予め設定される。例えば、データサーバのようにサーバ機能を有し、サーバ機能が停止すると生産制御システムに与える影響が大きいアプリケーションが稼働する仮想マシン（仮想マシンＩＤ：ＶＭ１）の稼働優先順位は高く設定される。図６では、仮想マシン（仮想マシンＩＤ：ＶＭ１）の稼働優先順位は、最も高く「１」に設定される。また、あるアプリケーションが１つの仮想マシン（仮想マシンＩＤ：ＶＭ２）上でのみ稼働している場合には、稼働優先順位は高く設定される。図６では、仮想マシン（仮想マシンＩＤ：ＶＭ２）の稼働優先順位は「２」に設定される。一方、２つの仮想マシン（仮想マシンＩＤ：ＶＭ３、ＶＭ４）上で同じアプリケーションが稼働している場合には、仮想マシン（仮想マシンＩＤ：ＶＭ４）の稼働優先順位は、仮想マシン（仮想マシンＩＤ：ＶＭ３）の稼働優先順位よりも低く設定される。図６では、仮想マシン（仮想マシンＩＤ：ＶＭ４）の稼働優先順位は「３」に設定され、仮想マシン（仮想マシンＩＤ：ＶＭ３）の稼働優先順位は「１」に設定される。これは、仮想マシン（仮想マシンＩＤ：ＶＭ４）が停止しても、仮想マシン（仮想マシンＩＤ：ＶＭ３）上で当該アプリケーションを稼働させることが可能であるからである。なお、ＨＭＩなどのクライアント機能が稼働している仮想マシンの稼働優先順位は、１つの仮想マシンが停止しても生産制御システムに与える影響は小さいので、低く設定される。また、仮想マシン上で稼働するアプリケーションの動作周期が長い場合には、稼働優先順位は低く設定される。例えば、データ収集アプリケーションのように、動作周期が１週間に１回の場合などがこれに該当する。また、仮想マシン（仮想マシンＩＤ：ＶＭ５、ＶＭ６）上で稼働するアプリケーションが大容量のデータを生成する場合には、当該アプリケーションは仮想資源に空きがある場合にのみ実行されるので、稼働優先順位は低く設定される。

なお、ライブマイグレーション可能な仮想マシンがない場合、ＮＭＳ１７の判断部１７１は、通信部１７２に対して、仮想マシン１２６－１－１を停止させる旨の指示を通信部１７２に送信する。次に、図５も参照して、通信部１７２は、判断部１７１からの指示に基づくコマンドを物理ＰＣ１１－１の仮想化部１２に送信する。次に、物理ＰＣ１１－１の仮想化部１２は、ＮＭＳ１７の通信部１７２から受信したコマンドを実行する。これによって、仮想マシン１２６－１－１の稼働が停止する。

次に、図７を参照して、本実施形態に係るリアルタイム通信処理システム１の処理手順について説明する。

まず、ステップＳ１００において、物理ＰＣ１１－１は、各仮想マシンについて、リアルタイム通信処理に関する診断指標を検知し、当該診断指標の値が所定の閾値を超えたか否かを判断する。当該診断指標の値が所定の閾値を超えた場合（ステップＳ１００：ＹＥＳ）、ステップＳ１１０に進む。当該診断指標の値が所定の閾値を超えていない場合（ステップＳ１００：ＮＯ）、ステップＳ１６０に進む。

図４および図５も参照して、例えば、ステップＳ１００では、まず、各物理ＰＣ１１の自己診断部１５５が、各仮想マシンについて、リアルタイム通信処理に関する診断指標を検知し、当該診断指標の値が所定の閾値を超えたか否かを判断する。次に、当該診断指標の値が所定の閾値を超えた場合、自己診断部１５５は、仮想マシン１２６－１－１に不安定動作発生の可能性があると判断して、その旨を診断結果通知部１５７に通知する。次に、診断結果通知部１５７は、自己診断部１５５から受けた通知をＮＭＳ１７の判断部１７１に通知する。ただし、自己診断部１５５は、診断結果通知部１５７を介さずに、上述した不安定動作発生の可能性がある旨をＮＭＳ１７の判断部１７１に通知してもよい。

ステップＳ１００からステップＳ１１０に進んだ場合、ステップＳ１１０において、物理ＰＣ１１－１は、リアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシン１２６－１－１が存在する旨の通知をＮＭＳ１７に送信する。

続いて、ステップＳ１２０において、ＮＭＳ１７は、ステップＳ１１０の通知を送信した物理ＰＣ１１－１の仮想プロセッサに空きがあるか否かを判断する。仮想プロセッサに空きがある場合（ステップＳ１２０：ＹＥＳ）、ステップＳ１３０に進む。仮想プロセッサに空きがない場合（ステップＳ１２０：ＮＯ）、ステップＳ１４０に進む。

例えば、ステップＳ１２０では、以下の処理を行うことができる。図４を参照して、ＮＭＳ１７の判断部１７１は、物理ＰＣ１１－１の仮想プロセッサに空きがあるか否かを判断する。この際、判断部１７１は、仮想ハードウェア１２２－１または物理ＰＣ１１－１から情報を収集し、当該情報に基づいて上記判断を行ってもよい。

ステップＳ１２０からステップＳ１３０に進んだ場合、つまり、物理ＰＣ１１－１に空きの仮想プロセッサがある場合、ステップＳ１３０において、ＮＭＳ１７は、不安定動作発生の可能性がある仮想マシン１２６－１－１に空きの仮想プロセッサを割り当てることを物理ＰＣ１１－１に指示する。これにより、仮想マシン１２６－１－１に仮想プロセッサが割り当てられる。その後、ステップＳ１６０に進む。

例えば、ステップＳ１３０では、以下の処理を行うことができる。図４および図５を参照して、まず、ＮＭＳ１７の判断部１７１は、通信部１７２に対して、仮想マシン１２６－１－１に物理ＰＣ１１－１の空きの仮想プロセッサを割り当てる旨を指示する。次に、通信部１７２は、判断部１７１からの指示に基づくコマンドを物理ＰＣ１１－１の仮想化部１２に送信する。次に、物理ＰＣ１１－１の仮想化部１２は、ステップＳ１３０に関して上述したコマンドを実行する。これにより、仮想マシン１２６－１－１に空きの仮想プロセッサが割り当てられる。なお、仮想化部１２は、仮想マシン１２６－１－１における不安定動作発生の可能性が解消すると、仮想マシン１２６－１－１に割り当てられた仮想プロセッサを適宜解放する。

一方、ステップＳ１２０からステップＳ１４０に進んだ場合、つまり、物理ＰＣ１１－１に空きの仮想プロセッサがない場合、ステップＳ１４０において、ＮＭＳ１７は、ステップＳ１１０の通知を送信した物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－１、１２６－１－２、１２６－１－３のうち稼働優先度が低く、かつライブマイグレーション可能な仮想マシン１２６－１－２のライブマイグレーションを実行する。

ここで、図８も参照して、ステップＳ１４０の処理を詳細に説明する。

ステップＳ１４０の処理が開始すると、ステップＳ１４１において、ＮＭＳ１７は、物理ＰＣ１１－１上で稼働する仮想マシンの情報を取得する。

続いて、ステップＳ１４２において、ＮＭＳ１７は、物理ＰＣ１１－１上で稼働する仮想マシン１２６－１－１、１２６－１－２、１２６－１－３のうち、稼働優先度が低く、かつライブマイグレーション可能な仮想マシン１２６－１－２をライブマイグレーション対象として選択する。ライブマイグレーション対象となる仮想マシン１２６－１－２の選択方法は、既述のとおりである。

続いて、ステップＳ１４３において、ＮＭＳ１７は、仮想マシン１２６－１－２のライブマイグレーション先となる物理ＰＣ１１－２を決定する。ライブマイグレーション先となる物理ＰＣ１１－２の決定方法は、既述のとおりである。

続いて、ステップＳ１４４において、ＮＭＳ１７は、物理ＰＣ１１－１に対して、仮想マシン１２６－１－２を物理ＰＣ１１－２にライブマイグレーションさせる旨を指示する。

続いて、ステップＳ１４５において、物理ＰＣ１１－１は、仮想マシン１２６－１－２のライブマイグレーションを実行する。ライブマイグレーションの実行方法は、既述のとおりである。このようにして、物理ＰＣ１１－１内に仮想プロセッサ１２３－１－２が確保され、ステップＳ１４０の処理が終了する。

図７に戻って、ステップＳ１５０において、物理ＰＣ１１－１は、ステップＳ１４０のライブマイグレーションによって物理ＰＣ１１－１内に確保した仮想プロセッサ１２３－１－２を仮想マシン１２６－１－１に割り当てる。その後、ステップＳ１６０に進む。なお、仮想プロセッサ１２３－１－２の割り当ては、ライブマイグレーションが終了した後に実行されてもよく、物理ＰＣ１１－１の仮想化部１２は、仮想マシン１２６－１－１における不安定動作発生の可能性が解消すると、仮想マシン１２６－１－１に割り当てられた仮想プロセッサ１２３－１－２を適宜解放してもよい。

続いて、ステップＳ１６０において、リアルタイム通信を実行して、本処理が終了する。ステップＳ１６０の処理は、比較例におけるステップＳ１４～Ｓ１７の処理と同様であるので、説明を省略する。なお、ステップＳ１００～Ｓ１５０の処理自身の遅延により、ステップＳ１６０の処理が遅れ、リアルタイム通信のリアルタイム性が阻害される可能性がある場合は、ステップＳ１００～Ｓ１５０の処理の完了を待たずに、ステップＳ１６０の処理を並行して実行してもよい。

以上、本実施形態によれば、次の作用効果が得られる。すなわち、本実施形態によれば、リアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシンに仮想プロセッサを割り当てるので、リアルタイム性を確保することができる。また、仮想プロセッサに空きがなくても、ライブマイグレーションにより確保した仮想プロセッサを不安定動作発生の可能性がある仮想マシンに割り当てる。このため、仮想マシンを完全に停止させる場合に比べて、生産制御システムに必要なリアルタイム性を確保することができる。

以上、本開示を諸図面および実施形態に基づき説明したが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数のステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、第１の変形例として、ライブマイグレーション可能な仮想マシンが存在しない場合、リアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシンに対して、リアルタイム通信インタフェースがアプリケーション部からの通信要求を処理する時間間隔を調整してもよい。なお、時間間隔の調整は、比較例と同様に行えばよい。第１の変形例によれば、リアルタイム通信インタフェースがアプリケーション部からの通信要求を処理する時間間隔を調整することによって、仮想マシンにおける不安定動作発生の可能性を緩和することができる。

また、第２の変形例として、アプリケーション部から独立したタスクとして稼働し、当該アプリケーション部からの通信要求を受け付け、当該通信要求を当該タスク内の専用の記憶部に格納した後に、当該記憶部から取り出した通信要求をリアルタイム通信部に渡すアプリケーション代理部を、各物理ＰＣが備えてもよい。これにより、アプリケーション部同士は、通信要求に干渉することがなくなるので、安全性が確保される。「干渉」とは、通信要求を無断で読み取ったり、書き換えたりすることを意味する。したがって、第２の変形例によれば、例えば送受信フレームの改ざんおよび覗き見などの懸念からアプリケーション部を保護することができる。

本開示によれば、汎用ＯＳのスケジューラを用いつつ、生産制御システムに必要なリアルタイム性を確保することができるリアルタイム通信処理システム、およびリアルタイム通信処理方法を提供することができる。

１ リアルタイム通信処理システム
１１ コンピュータ（物理ＰＣ）
１１－１、１１－２、１１－３ コンピュータ（物理ＰＣ）
１１１ 物理プロセッサ
１１１－１－１、１１１－１－２、１１１－１－３ 物理プロセッサ
１１１－２－１、１１１－２－２、１１１－２－３ 物理プロセッサ
１１１－３－１、１１１－３－２、１１１－３－３ 物理プロセッサ
１１２ 物理ＮＩＣ
１１３ 物理ＮＩＣ ＩＦ
１２ 仮想化部
１２１ 仮想化部スケジューラ
１２２ 仮想ハードウェア
１２２－１、１２２－２、１２２－３ 仮想ハードウェア
１２３ 仮想プロセッサ
１２３－１－１、１２３－１－２、１２３－１－３ 仮想プロセッサ
１２３－２－１、１２３－２－２、１２３－２－３ 仮想プロセッサ
１２３－３－１、１２３－３－２、１２３－３－３ 仮想プロセッサ
１２４ 仮想ＮＩＣ
１２５ 仮想ＮＩＣ ＩＦ
１２６ 仮想マシン
１２６－１－１、１２６－１－２、１２６－１－３ 仮想マシン
１２６－２－１、１２６－２－２ 仮想マシン
１２６－３－１、１２６－３－２、１２６－３－３ 仮想マシン
１３ ゲストＯＳ
１４ ユーザ空間
１４１ アプリケーション部
１４１－１、１４１－２ アプリケーション部
１４２ リアルタイム通信要求処理共有ライブラリ
１４３ リアルタイム通信ＡＰＩ共有ライブラリ
１４４ アプリケーション代理部
１４５－１、１４５－２ アプリケーション要求処理部
１４６ リアルタイム通信要求タスク内メモリ
１５１ リアルタイム通信部
１５２ リアルタイム通信部インタフェース
１５３ リアルタイム通信通知部
１５４ 送信バッファ
１５５ 自己診断部
１５６ 自己診断指標記憶部
１５７ 診断結果通知部
１５８ 要求バッファ
１６ カーネル空間
１６１ 汎用ＯＳスケジューラ
１６２ リアルタイム通信要求共有メモリ
１６３ 共有メモリ
１７ 管理装置（ＮＭＳ）
１７１ 判断部
１７２ 通信部
２０ 制御ネットワーク
２１ コントローラ
２２ ＰＣ
２３ フィールド機器

Claims (7)

1. 複数のコンピュータと、各コンピュータと通信可能な管理装置とを備え、前記複数のコンピュータのうち少なくとも一つのコンピュータ上で少なくとも一つの仮想マシンが稼働する、生産制御システムにおけるリアルタイム通信処理システムであって、
   前記少なくとも一つのコンピュータは、当該コンピュータにおいて、リアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシンが存在すると、その旨の通知を前記管理装置に送信し、
   前記管理装置は、
   前記通知を送信した前記コンピュータの仮想プロセッサに空きがある場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、前記仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示し、
   前記通知を送信した前記コンピュータの仮想プロセッサに空きがない場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、ライブマイグレーション可能な仮想マシンのライブマイグレーションを実行することにより前記通知を送信した前記コンピュータ内に確保した仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示する、
   リアルタイム通信処理システム。
2. 前記管理装置は、前記ライブマイグレーション可能な仮想マシンとして、稼働優先度が低い仮想マシンを選択する、請求項１に記載のリアルタイム通信処理システム。
3. 前記管理装置は、前記少なくとも一つのコンピュータ上で稼働する前記仮想マシンに対する前記仮想プロセッサの割り当て状況に基づいて、前記仮想マシンのライブマイグレーション先を決定する、請求項１または２に記載のリアルタイム通信処理システム。
4. 前記管理装置は、前記複数のコンピュータの処理性能に基づいて、前記仮想マシンのライブマイグレーション先を決定する、請求項１から３のいずれか一項に記載のリアルタイム通信処理システム。
5. 前記管理装置は、前記複数のコンピュータの仮想資源量に基づいて、前記仮想マシンのライブマイグレーション先を決定する、請求項１から４のいずれか一項に記載のリアルタイム通信処理システム。
6. 前記少なくとも一つのコンピュータは、前記リアルタイム通信処理に関する診断指標に基づいて、前記仮想マシンに不安定動作発生の可能性があるか否かを判断する、請求項１から５のいずれか一項に記載のリアルタイム通信処理システム。
7. 生産制御システムにおけるリアルタイム通信処理方法であって、
   少なくとも一つのコンピュータが、当該コンピュータにおいてリアルタイム通信処理に関して不安定動作発生の可能性がある仮想マシンが存在すると、その旨の通知を管理装置に送信するステップと、
   前記管理装置が、前記通知を送信した前記コンピュータの仮想プロセッサに空きがある場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、前記仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示するステップと、
   前記管理装置が、前記通知を送信した前記コンピュータの仮想プロセッサに空きがない場合、前記不安定動作発生の可能性がある前記仮想マシンに対して、ライブマイグレーション可能な仮想マシンのライブマイグレーションを実行することにより前記通知を送信した前記コンピュータ内に確保した仮想プロセッサを割り当てることを、前記通知を送信した前記コンピュータに指示するステップと、
   を含むリアルタイム通信処理方法。

Images