[go: up one dir, main page]

JP5419802B2 - Virtual computer control system - Google Patents

Virtual computer control system Download PDF

Info

Publication number
JP5419802B2
JP5419802B2 JP2010126567A JP2010126567A JP5419802B2 JP 5419802 B2 JP5419802 B2 JP 5419802B2 JP 2010126567 A JP2010126567 A JP 2010126567A JP 2010126567 A JP2010126567 A JP 2010126567A JP 5419802 B2 JP5419802 B2 JP 5419802B2
Authority
JP
Japan
Prior art keywords
guest
management
transmission
virtual
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010126567A
Other languages
Japanese (ja)
Other versions
JP2011253350A (en
Inventor
孝之 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010126567A priority Critical patent/JP5419802B2/en
Publication of JP2011253350A publication Critical patent/JP2011253350A/en
Application granted granted Critical
Publication of JP5419802B2 publication Critical patent/JP5419802B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Retry When Errors Occur (AREA)

Description

本発明は、仮想計算機の状態を保存する技術に関する。   The present invention relates to a technique for storing a state of a virtual machine.

従来の仮想計算機では、仮想計算機の状態を保存するスナップショット機能がある。
仮想計算機のスナップショット機能とは、ある時点の仮想計算機の仮想CPU(Central Processing Unit)の状態、仮想メモリの内容、仮想I/O(Input/Output)デバイスの状態をホスト計算機上のディスクに保存する機能である。
そして、このディスクに保存した内容から、保存した時点の仮想計算機の状態を復元することができ、保存時点以後の処理を継続して実行することができる(例えば特許文献1)。
A conventional virtual machine has a snapshot function for saving the state of the virtual machine.
The virtual machine snapshot function saves the virtual CPU (Central Processing Unit) status, virtual memory contents, and virtual I / O (Input / Output) device status of a virtual computer to a disk on the host computer. It is a function to do.
Then, the state of the virtual machine at the time of saving can be restored from the contents saved on this disk, and the processing after the saving time can be continuously executed (for example, Patent Document 1).

特開2009−80705号公報JP 2009-80705 A

複数の仮想計算機上のソフトウェアがネットワークを介して通信を行いながら連携して処理を行っている場合、それら複数の仮想計算機のスナップショットを保存しようとしたとき、双方の処理の間で矛盾なく、整合性が取れた状態でスナップショットを保存しなければならない。
たとえば、仮想計算機Aと仮想計算機Bがあるとき、仮想計算機A上の処理が仮想計算機B上の処理に対して、ネットワークを介してデータを送信している際に、双方の仮想計算機のスナップショットを保存する場合を考える。
仮想計算機A上の処理がデータを送信後に仮想計算機Aがスナップショットを作成し、仮想計算機B上の処理がデータを受信する前に仮想計算機Bがスナップショットを作成すると、仮想計算機Aから送信したデータはスナップショットに含まれず、当該データは失われる。
この例に代表されるように、従来の技術では、ネットワークを介して通信を行いながら連携して処理を行っている複数の仮想計算機について、双方の処理の間で矛盾なく、整合性が取れたスナップショットを取得することができないという課題がある。
When software on multiple virtual machines is performing processing while communicating via a network, when trying to save a snapshot of those multiple virtual machines, there is no contradiction between both processes, The snapshot must be saved in a consistent state.
For example, when there are a virtual machine A and a virtual machine B, when the process on the virtual machine A transmits data to the process on the virtual machine B via the network, a snapshot of both virtual machines Consider the case of saving.
Virtual machine A creates a snapshot after the process on virtual machine A sends data, and virtual machine B creates a snapshot before the process on virtual machine B receives the data. Data is not included in the snapshot and the data is lost.
As represented by this example, in the conventional technology, consistency was obtained without conflict between the two processes for a plurality of virtual machines performing processing in cooperation with each other through communication via a network. There is a problem that a snapshot cannot be acquired.

本発明では、このような課題を解決することを主な目的としており、通信を相互に行っている複数の仮想計算機のスナップショットを同時に作成するときに、送信中のデータを失うことなく整合性が取れた状態で行うことを主な目的とする。   The main purpose of the present invention is to solve such a problem, and when creating a snapshot of a plurality of virtual machines communicating with each other at the same time, consistency is maintained without losing data being transmitted. The main purpose is to perform in a state where the

本発明に係る仮想計算機制御システムは、
仮想計算機が提供する仮想ハードウェアを利用して動作する複数のゲストOS(Operating System)を管理し、各ゲストOSに割り当てられている送信キューと受信キューを管理し、各ゲストOSが利用する仮想ハードウェアの状態をスナップショット保存できるゲストOS管理システム
を制御する仮想計算機制御システムであって、
スナップショット保存の対象となる2以上の保存対象ゲストOSによる送信キューへのデータ格納の停止を指示するとともに既に送信キューに格納されているデータの送信のみを許可する送信停止指示を前記ゲストOS管理システムに出力し、保存対象ゲストOSごとに、送信キューが空になったことを通知する送信完了通知を前記ゲストOS管理システムから入力する送信制御部と、
保存対象ゲストOSごとに、受信キューが空になったことを通知する受信完了通知を前記ゲストOS管理システムから入力する受信制御部と、
前記送信制御部が2以上の保存対象ゲストOSの全てについて送信完了通知を入力した後に、前記受信制御部が受信完了通知を入力している保存対象ゲストOSについて仮想ハードウェアの状態をスナップショット保存するよう指示するスナップショット指示を前記ゲストOS管理システムに出力するスナップショット制御部とを有することを特徴とする。
The virtual machine control system according to the present invention is
Manages multiple guest OSes (operating systems) that operate using virtual hardware provided by virtual machines, manages the transmission queues and reception queues assigned to each guest OS, and uses the virtual machines used by each guest OS A virtual machine control system that controls a guest OS management system that can save a snapshot of the hardware state,
The guest OS management is instructed to stop the storage of data in the transmission queue by two or more target guest OSs to be saved as snapshots and to only allow transmission of data already stored in the transmission queue. A transmission control unit that outputs to the system and inputs a transmission completion notification for notifying that the transmission queue is empty for each guest OS to be saved, from the guest OS management system;
A reception control unit that inputs from the guest OS management system a reception completion notification for notifying that the reception queue is empty for each guest OS to be saved;
After the transmission control unit inputs a transmission completion notification for all of the two or more storage target guest OSs, the virtual hardware state is stored as a snapshot for the storage target guest OS for which the reception control unit inputs the reception completion notification. And a snapshot control unit that outputs a snapshot instruction for instructing to the guest OS management system.

本発明によれば、保存対象ゲストOSによる送信キューへのデータ格納の停止させ、各保存対象ゲストOSの送信キュー及び受信キューが空になった後で、スナップショット保存を行うようにしているので、スナップショット保存時にデータが送信されている事態を回避することができ、通信データを消失することなく保存対象ゲストOS間で整合が取れた状態でスナップショット保存を行うことができる。   According to the present invention, data storage in the transmission queue by the storage target guest OS is stopped, and the snapshot storage is performed after the transmission queue and reception queue of each storage target guest OS become empty. Thus, it is possible to avoid a situation in which data is transmitted when saving a snapshot, and it is possible to save a snapshot in a state in which matching is achieved between the guest OSs to be saved without losing communication data.

実施の形態1に係るシステム構成例を示す図。FIG. 3 is a diagram illustrating an example of a system configuration according to the first embodiment. 実施の形態1に係るスナップショット保存時の動作例を示すフローチャート図。FIG. 4 is a flowchart showing an operation example when saving a snapshot according to the first embodiment. 実施の形態1に係るスナップショット復元時の動作例を示すフローチャート図。FIG. 6 is a flowchart showing an operation example when restoring a snapshot according to the first embodiment. 実施の形態2に係るシステム構成例を示す図。FIG. 4 is a diagram illustrating an example of a system configuration according to a second embodiment. 実施の形態3に係るシステム構成例を示す図。FIG. 10 is a diagram showing a system configuration example according to the third embodiment. 実施の形態1に係る保存実行部の構成例を示す図。FIG. 3 is a diagram illustrating a configuration example of a storage execution unit according to the first embodiment. 実施の形態1に係る物理計算機のハードウェア構成例を示す図。FIG. 3 is a diagram illustrating an example of a hardware configuration of a physical computer according to the first embodiment.

実施の形態1.
本実施の形態では、通信を相互に行っている複数の仮想計算機のスナップショットを同時に作成するときに、送信中のデータを失うことなく整合性が取れた状態で行うことが可能な構成を説明する。
また、スナップショットに基づき状態の復元を行う際にも、データの消失が発生しない構成を説明する。
Embodiment 1 FIG.
This embodiment describes a configuration that can be performed in a consistent state without losing data being transmitted when simultaneously creating snapshots of multiple virtual machines that are communicating with each other To do.
Also, a configuration will be described in which data loss does not occur when restoring a state based on a snapshot.

図1は、本実施の形態に係るシステム構成例を示す。   FIG. 1 shows a system configuration example according to the present embodiment.

図1において、物理計算機101a、101bの上で、それぞれVM(Virtual Machine)モニター114a、114bが動作し、そのVMモニター114a、114b上では管理OS(Operating System)105a、105b、ゲストOS106a、106bが動作している。
ゲストOS106aは、VMモニター114a及び管理OS105aにより実現される仮想計算機が提供する仮想ハードウェア(仮想CPU、仮想メモリ、仮想I/Oデバイス)を利用して動作する。
同様に、ゲストOS106bは、VMモニター114b及び管理OS105bにより実現される仮想計算機が提供する仮想ハードウェア(仮想CPU、仮想メモリ、仮想I/Oデバイス)を利用して動作する。
ゲストOS106a、106bの上では、それぞれアプリケーション104a、104bが動作している。
In FIG. 1, VM (Virtual Machine) monitors 114a and 114b operate on the physical computers 101a and 101b, respectively, and management OSs (Operating Systems) 105a and 105b and guest OSs 106a and 106b are operated on the VM monitors 114a and 114b. It is working.
The guest OS 106a operates using virtual hardware (virtual CPU, virtual memory, virtual I / O device) provided by a virtual machine realized by the VM monitor 114a and the management OS 105a.
Similarly, the guest OS 106b operates using virtual hardware (virtual CPU, virtual memory, virtual I / O device) provided by a virtual machine realized by the VM monitor 114b and the management OS 105b.
The applications 104a and 104b are running on the guest OSs 106a and 106b, respectively.

物理計算機101a、101bは物理NIC(Network Interface Controller)115a、115bを備え、管理OS105a、105b内の物理ネットワークドライバ110a、110bにより制御される。
物理ネットワークドライバ110a、110bはネットワークブリッジ109a、109bを介して管理OS用仮想ネットワークドライバ107a、107bおよび管理OS側仮想ネットワークドライバ108a、108bと通信データを受け渡しする。
保存実行部102a、102bを含め管理OS105a、105b上で動作するプログラムは、管理OS用仮想ネットワークドライバ107a、107bを用いてネットワーク通信を行う。
アプリケーション104a、104bは、ゲストOS106a、106b内のゲストOS側仮想ネットワークドライバ113a、113bにより通信を行う。
ゲストOS側仮想ネットワークドライバ113a、113bは、管理OS105a、105b内の管理OS側仮想ネットワークドライバ108a、108bと連携し、VMモニター114a、114bを介してデータの受け渡しを行い、ネットワーク通信処理を行う。
管理OS側仮想ネットワークドライバ108a、108bは、ネットワーク受信キュー111a、111bと、ネットワーク送信キュー112a、112bをそれぞれ持つ。
ネットワーク受信キュー111aはゲストOS106aに割り当てられている受信キューであり、ネットワーク送信キュー112aはゲストOS106aに割り当てられている送信キューである。
また、ネットワーク受信キュー111bはゲストOS106bに割り当てられている受信キューであり、ネットワーク送信キュー112bはゲストOS106bに割り当てられている送信キューである。
The physical computers 101a and 101b include physical NIC (Network Interface Controller) 115a and 115b, and are controlled by physical network drivers 110a and 110b in the management OSs 105a and 105b.
The physical network drivers 110a and 110b exchange communication data with the management OS virtual network drivers 107a and 107b and the management OS side virtual network drivers 108a and 108b via the network bridges 109a and 109b.
Programs operating on the management OSs 105a and 105b including the storage execution units 102a and 102b perform network communication using the management OS virtual network drivers 107a and 107b.
The applications 104a and 104b communicate with each other by the guest OS side virtual network drivers 113a and 113b in the guest OSs 106a and 106b.
The guest OS side virtual network drivers 113a and 113b cooperate with the management OS side virtual network drivers 108a and 108b in the management OSs 105a and 105b, exchange data via the VM monitors 114a and 114b, and perform network communication processing.
The management OS side virtual network drivers 108a and 108b have network reception queues 111a and 111b and network transmission queues 112a and 112b, respectively.
The network reception queue 111a is a reception queue assigned to the guest OS 106a, and the network transmission queue 112a is a transmission queue assigned to the guest OS 106a.
The network reception queue 111b is a reception queue assigned to the guest OS 106b, and the network transmission queue 112b is a transmission queue assigned to the guest OS 106b.

なお、図1において破線で囲んだ範囲200a及び200b、つまり、管理OS105a、105b、VMモニター114a、114bが、ゲストOS管理システムに相当する。
ゲストOS管理システムにおいて、管理OS105a、105bは、上述のように、複数のゲストOS106a、106bを管理し、各ゲストOSに割り当てられているネットワーク受信キュー111a、111bとネットワーク送信キュー112a、112bを管理する。
また、VMモニター114a、114bは、各ゲストOSが利用する仮想ハードウェアを管理し、仮想ハードウェアの状態をスナップショット保存できる。
VMモニター114a、114bは、仮想ハードウェア管理機構の例でもある。
Note that the ranges 200a and 200b surrounded by the broken line in FIG. 1, that is, the management OSs 105a and 105b and the VM monitors 114a and 114b correspond to the guest OS management system.
In the guest OS management system, the management OSs 105a and 105b manage the plurality of guest OSs 106a and 106b as described above, and manage the network reception queues 111a and 111b and the network transmission queues 112a and 112b assigned to each guest OS. To do.
Further, the VM monitors 114a and 114b manage virtual hardware used by each guest OS, and can save the state of the virtual hardware in a snapshot.
The VM monitors 114a and 114b are also examples of a virtual hardware management mechanism.

管理OS105a、105bの上では保存実行部102a、102bが動作する。
保存実行部102a、102bを組み合わせたものが、仮想計算機制御システムに相当する。
保存実行部102a、102bは、仮想計算機管理計算機116上で動作している同期保存指示部117からの指示を受け、その指示に従った動作を行い、応答を同期保存指示部117へ返す。
保存実行部102a、102bは、テーブル103a、103bを持つ。
テーブル103a、103bは、ゲストOS106a、106bとそれらが使用する管理OS側仮想ネットワークドライバ108a、108bを対応付けする。
なお、保存実行部102a、102bの詳細は、後述する。
The storage execution units 102a and 102b operate on the management OSs 105a and 105b.
A combination of the storage execution units 102a and 102b corresponds to a virtual machine control system.
The storage execution units 102a and 102b receive an instruction from the synchronous storage instruction unit 117 operating on the virtual machine management computer 116, perform an operation according to the instruction, and return a response to the synchronous storage instruction unit 117.
The storage execution units 102a and 102b have tables 103a and 103b.
The tables 103a and 103b associate the guest OSs 106a and 106b with the management OS side virtual network drivers 108a and 108b used by them.
Details of the storage execution units 102a and 102b will be described later.

同期保存指示部117は、上位装置の例である仮想計算機管理計算機116上で動作し、テーブル118を持つ。
テーブル118は、ネットワーク通信を行って連携しながら動作しているシステムに属するゲストOS名とそのゲストOSを管理している管理OS名からなる。
The synchronous storage instructing unit 117 operates on the virtual machine management computer 116 which is an example of a host device and has a table 118.
The table 118 includes guest OS names belonging to systems operating in cooperation with each other through network communication, and management OS names managing the guest OS.

図6は、本実施の形態に係る保存実行部102a、102bの構成例を示す。
なお、図6において、末尾がaの要素は、保存実行部102aの要素であり、末尾がbの要素は、保存実行部102bの要素である。
FIG. 6 shows a configuration example of the storage execution units 102a and 102b according to the present embodiment.
In FIG. 6, the element ending with “a” is an element of the storage execution unit 102 a, and the element ending with “b” is an element of the storage execution unit 102 b.

図6において、送信制御部1021a、1021bは、管理OS105a、105bに送信停止指示を出力し、また、管理OS105a、105bから送信完了通知を入力する。
送信停止指示は、スナップショット保存の対象となる2以上の保存対象ゲストOS106a、106bによるネットワーク送信キュー112a、112bへのデータ格納の停止を指示するとともに既にネットワーク送信キュー112a、112bに格納されているデータの送信のみを許可するメッセージである。
また、送信完了通知は、保存対象ゲストOS106a、106bごとに、ネットワーク送信キュー112a、112bが空になったことを通知するメッセージである。
In FIG. 6, the transmission control units 1021a and 1021b output transmission stop instructions to the management OSs 105a and 105b, and input transmission completion notifications from the management OSs 105a and 105b.
The transmission stop instruction instructs the stop of data storage in the network transmission queues 112a and 112b by the two or more storage target guest OSs 106a and 106b to be stored in the snapshot and is already stored in the network transmission queues 112a and 112b. This message allows only data transmission.
The transmission completion notification is a message notifying that the network transmission queues 112a and 112b have become empty for each of the storage target guest OSs 106a and 106b.

受信制御部1022a、1022bは、管理OS105a、105bから受信完了通知を入力する。
受信完了通知は、保存対象ゲストOS106a、106bごとに、ネットワーク受信キュー111a、111bが空になったことを通知するメッセージである。
The reception control units 1022a and 1022b receive reception completion notifications from the management OSs 105a and 105b.
The reception completion notification is a message notifying that the network reception queues 111a and 111b are empty for each of the storage target guest OSs 106a and 106b.

スナップショット制御部1023a、1023bは、保存対象ゲストOS106a、106bの全てについて送信完了通知が入力された後に、受信制御部1022a、1022bが受信完了通知を入力しているゲストOSについてのスナップショット指示をVMモニター114a、114bに出力する。
スナップショット指示は、ネットワーク受信キューが空になっている保存対象ゲストOSについて仮想ハードウェアの状態をスナップショット保存するよう指示するメッセージである。
The snapshot control units 1023a and 1023b issue a snapshot instruction for the guest OS for which the reception control units 1022a and 1022b have input the reception completion notification after the transmission completion notification is input for all the storage target guest OSs 106a and 106b. Output to the VM monitors 114a and 114b.
The snapshot instruction is a message instructing to save a snapshot of the state of the virtual hardware for the save target guest OS whose network reception queue is empty.

再開制御部1024a、1024bは、ゲストOS106a、106bの仮想ハードウェアの状態の復元を指示するとともに、復元後にゲストOS106a、106bの動作再開を指示し、更に、ゲストOS106a、106bのデータ送信の再開を指示する。
手順としては、再開制御部1024a、1024bは、動作再開の対象となる再開対象ゲストOS106a、106bの仮想ハードウェアの状態の復元を指示する状態復元指示をVMモニター114a、114bに出力し、また、再開対象ゲストOSごとに、仮想ハードウェアの状態の復元が完了したことを通知する復元完了通知をVMモニター114a、114bから入力する。
そして、再開対象ゲストOS106a、106bの全てについて復元完了通知が入力された後に、再開制御部1024a、1024bは、各再開対象ゲストOS106a、106bの動作を再開させるよう指示する動作再開指示を管理OS105a、105bに出力する。
更に、再開制御部1024a、1024bは、再開対象ゲストOSごとに、動作が再開したことを通知する動作再開完了通知を管理OS105a、105bから入力し、再開対象ゲストOS106a、106bの全てについて動作再開完了通知が入力された後に、再開対象ゲストOS106a、106bによるネットワーク送信キュー112a、112bへのデータ格納を再開させるよう指示する送信再開指示を管理OS105a、105bに出力する。
The restart control units 1024a and 1024b instruct to restore the virtual hardware state of the guest OSs 106a and 106b, instruct the guest OSs 106a and 106b to resume operation after the restoration, and further resume the data transmission of the guest OSs 106a and 106b. Instruct.
As a procedure, the resumption control units 1024a and 1024b output to the VM monitors 114a and 114b a state restoration instruction for instructing restoration of the state of the virtual hardware of the guest OSs 106a and 106b to be resumed. A restoration completion notification for notifying that restoration of the state of the virtual hardware is completed is input from the VM monitors 114a and 114b for each guest OS to be resumed.
Then, after the restoration completion notification is input for all of the restart target guest OSs 106a and 106b, the restart control units 1024a and 1024b issue an operation restart instruction for instructing to restart the operation of each of the restart target guest OSs 106a and 106b. To 105b.
Further, the restart control units 1024a and 1024b input an operation restart completion notification for notifying that the operation has been restarted for each restart target guest OS from the management OSs 105a and 105b, and the operation restart is completed for all the restart target guest OSs 106a and 106b. After the notification is input, a transmission restart instruction for instructing to restart data storage in the network transmission queues 112a and 112b by the restart target guest OSs 106a and 106b is output to the management OSs 105a and 105b.

テーブル管理部1025a、1025bは、図1に示したテーブル103a、103bの読み出し、書き込み等を行う。   The table management units 1025a and 1025b read and write the tables 103a and 103b shown in FIG.

テーブル記憶部1026a、1026bは、図1に示したテーブル103a、103bを記憶している。   The table storage units 1026a and 1026b store the tables 103a and 103b shown in FIG.

次に、仮想計算機のスナップショット保存時の動作について図2を用いて説明する。   Next, the operation of the virtual machine when saving a snapshot will be described with reference to FIG.

ステップ201で、同期保存指示部117は、テーブル118を用い、スナップショット保存したいシステムに属するゲストOSとそれを管理する管理OSを調べる。
それを元に同期保存指示部117は、管理OS105a、105b上で動作している保存実行部102a、102bに対して、ゲストOS106a、106bの送信キューの停止要求を送信する。
In step 201, the synchronization saving instruction unit 117 uses the table 118 to check the guest OS belonging to the system that is desired to save the snapshot and the management OS that manages the guest OS.
Based on this, the synchronous saving instruction unit 117 transmits a request to stop the transmission queue of the guest OSs 106a and 106b to the saving execution units 102a and 102b operating on the management OSs 105a and 105b.

ステップ202で、保存実行部102a、102bでは、送信制御部1021a、1021bが、同期保存指示部117からのゲストOS106a、106bの送信停止要求を受け、ゲストOSとその仮想ネットワークドライバを対応付けするテーブル103a、103bに基づき、送信を停止する管理OS側仮想ネットワークドライバ108a、108bに対して送信停止指示を送信して、送信キュー停止を要求する。   In step 202, in the storage execution units 102a and 102b, the transmission control units 1021a and 1021b receive a request for stopping the transmission of the guest OSs 106a and 106b from the synchronous storage instruction unit 117, and associate the guest OS with its virtual network driver. Based on 103a and 103b, a transmission stop instruction is transmitted to the management OS side virtual network drivers 108a and 108b to stop transmission, and a transmission queue stop is requested.

ステップ203で、管理OS側仮想ネットワークドライバ108a、108bは、保存実行部102a、102bからの送信キュー停止要求に従い、ネットワーク送信キュー112a、112bを停止する。
つまり、管理OS側仮想ネットワークドライバ108a、108bは、ゲストOS側仮想ネットワークドライバ113a、113bにネットワーク送信キュー112a、112bへのデータ格納を停止するように要求する。
そして、管理OS側仮想ネットワークドライバ108a、108bは、ネットワーク送信キュー112a、112bに既にキューイングされているデータがすべて送信完了するのを待つ。
また、ネットワーク送信キュー112a、112bを停止したので、管理OS側仮想ネットワークドライバ108a、108bは、ゲストOS側仮想ネットワークドライバ113a、113bからネットワーク送信キュー112a、112bへの送信データのキューイングを要求されても、送信データのキューイングを保留する。
In step 203, the management OS side virtual network drivers 108a and 108b stop the network transmission queues 112a and 112b according to the transmission queue stop request from the storage execution units 102a and 102b.
That is, the management OS virtual network drivers 108a and 108b request the guest OS virtual network drivers 113a and 113b to stop storing data in the network transmission queues 112a and 112b.
Then, the management OS virtual network drivers 108a and 108b wait for the transmission of all the data already queued in the network transmission queues 112a and 112b.
Since the network transmission queues 112a and 112b are stopped, the management OS side virtual network drivers 108a and 108b are requested to queue the transmission data from the guest OS side virtual network drivers 113a and 113b to the network transmission queues 112a and 112b. However, the queuing of transmission data is suspended.

ステップ204で、管理OS側仮想ネットワークドライバ108a、108bは、ネットワーク送信キュー112a、112bにキューイングされていたデータがすべて送信完了したら、保存実行部102a、102bに対して送信キューの停止が完了したことを通知する送信完了通知を出力する。   In step 204, when all the data queued in the network transmission queues 112a and 112b are completely transmitted, the management OS side virtual network drivers 108a and 108b complete the suspension of the transmission queue to the storage execution units 102a and 102b. A transmission completion notification is sent to notify that.

ステップ205で、保存実行部102a、102bでは、送信制御部1021a、1021bが、管理OS側仮想ネットワークドライバ108a、108bからの送信完了通知を受け、同期保存指示部117に対して送信キュー停止が完了したことを通知する。   In step 205, in the storage execution units 102a and 102b, the transmission control units 1021a and 1021b receive the transmission completion notification from the management OS side virtual network drivers 108a and 108b, and the transmission queue stop for the synchronous storage instruction unit 117 is completed. Notify you.

ステップ206で、同期保存指示部117は、保存実行部102a、102bの両方の送信キュー停止の完了通知を受けたら、保存実行部102a、102bに対して、ゲストOS106a、106bが動作している仮想計算機の保存要求を送付する。   In step 206, when receiving the notification of completion of transmission queue stop of both the storage execution units 102a and 102b, the synchronous storage instructing unit 117 receives the virtual that the guest OSs 106a and 106b are operating on the storage execution units 102a and 102b. Send a computer storage request.

ステップ207で、保存実行部102a、102bでは、スナップショット制御部1023a、1023bが同期保存指示部117からのゲストOS106a、106bの保存要求を受け、受信制御部1022a、1022bがネットワーク受信キュー111a、111bが空であることを確認し、スナップショット制御部1023a、1023bがVMモニター114a、114bに対してゲストOS106a、106bが動作している仮想計算機の保存要求を送付する。
より具体的には、受信制御部1022a、1022bが管理OS側仮想ネットワークドライバ108a、108bから受信完了通知を入力した後に、スナップショット制御部1023a、1023bが、VMモニター114a、114bにスナップショット指示を出力して、ゲストOS106a、106bの仮想ハードウェアの状態のスナップショット保存を要求する。
In step 207, in the save execution units 102a and 102b, the snapshot control units 1023a and 1023b receive the save requests for the guest OSs 106a and 106b from the synchronous save instruction unit 117, and the reception control units 1022a and 1022b receive the network reception queues 111a and 111b. Is confirmed to be empty, and the snapshot control units 1023a and 1023b send to the VM monitors 114a and 114b a request to save the virtual machine in which the guest OSs 106a and 106b are operating.
More specifically, after the reception control units 1022a and 1022b input reception completion notifications from the management OS side virtual network drivers 108a and 108b, the snapshot control units 1023a and 1023b issue snapshot instructions to the VM monitors 114a and 114b. To request to save a snapshot of the state of the virtual hardware of the guest OSs 106a and 106b.

ステップ208で、VMモニター114a、114bは、保存実行部102a、102bからの仮想計算機の保存要求を受け、ゲストOS106a、106bが動作している仮想計算機(仮想ハードウェア)を停止し、スナップショットを保存する。   In step 208, the VM monitors 114a and 114b receive a virtual machine storage request from the storage execution units 102a and 102b, stop the virtual machines (virtual hardware) on which the guest OSs 106a and 106b are operating, and perform snapshots. save.

ステップ209で、保存実行部102a、102bでは、スナップショット制御部1023a、1023bが、ゲストOS106a、106bについてのスナップショットの保存が完了した旨の通知を受け、同期保存指示部117にスナップショットの保存完了を通知する。   In step 209, in the save execution units 102a and 102b, the snapshot control units 1023a and 1023b receive notification that the save of the snapshots for the guest OSs 106a and 106b has been completed, and save the snapshot to the synchronous save instructing unit 117. Notify completion.

ステップ210で、同期保存指示部117は、保存実行部102a、102bの両方からスナップショットの保存完了が通知されたら、スナップショットの同期保存処理を終了する。   In step 210, when both the save execution units 102a and 102b are notified of the completion of saving the snapshot, the synchronous save instruction unit 117 ends the snapshot synchronous save process.

次に、仮想計算機のスナップショット復元時の動作について図3を用いて説明する。   Next, the operation of the virtual machine when restoring a snapshot will be described with reference to FIG.

ステップ301で、同期保存指示部117は、テーブル118を用いて復元したいシステムに属するゲストOSとそれを管理する管理OSを求める。
そして、同期保存指示部117は、管理OS105a、105b上で動作している保存実行部102a、102bに対して、ゲストOS106a、106bのスナップショットの復元要求を送信する。
In step 301, the synchronous storage instruction unit 117 uses the table 118 to obtain a guest OS belonging to the system to be restored and a management OS that manages the guest OS.
Then, the synchronous saving instruction unit 117 transmits a snapshot restoration request for the guest OSs 106a and 106b to the saving execution units 102a and 102b operating on the management OSs 105a and 105b.

ステップ302で、保存実行部102a、102bでは、再開制御部1024a、1024bが、同期保存指示部117からのゲストOS106a、106bの復元要求を受け、VMモニター114a、114bに対して状態復元指示を出力し、ゲストOS106a、106bが動作する仮想計算機(ゲストOS106a、106bが利用する仮想ハードウェア)の復元を要求する。   In step 302, in the save execution units 102a and 102b, the restart control units 1024a and 1024b receive a restore request for the guest OSs 106a and 106b from the synchronous save instruction unit 117, and output a status restore instruction to the VM monitors 114a and 114b. The virtual machine that the guest OSs 106a and 106b operate (the virtual hardware used by the guest OSs 106a and 106b) is requested to be restored.

ステップ303で、VMモニター114a、114bは、保存実行部102a、102bからの仮想計算機の復元要求を受け、ゲストOS106a、106bが動作する仮想計算機(ゲストOS106a、106bが利用する仮想ハードウェア)のスナップショットを復元する。
このとき、ネットワーク送信キュー112a、112bは停止状態としておき、仮想計算機が復元されて実行を再開しても、ゲストOS側仮想ネットワークドライバ113a、113bはデータをネットワーク送信キュー112a、112bにキューイングできない。
これは、一方のゲストOS(例えば、ゲストOS106a)が他方のゲストOS(例えば、ゲストOS106b)よりも早く動作を再開した場合に、ゲストOS106bが動作を再開する前にゲストOS106aがゲストOS106bに向けてデータを送信し、この結果データが消失してしまう事態を回避するためである。
一方、ネットワーク受信キュー111a、111bはキューイング可能である。
In step 303, the VM monitors 114a and 114b receive a virtual machine restoration request from the storage execution units 102a and 102b, and snap the virtual machines (virtual hardware used by the guest OSs 106a and 106b) on which the guest OSs 106a and 106b operate. Restore the shot.
At this time, even if the network transmission queues 112a and 112b are stopped and the virtual machine is restored and the execution is resumed, the virtual network drivers 113a and 113b on the guest OS side cannot queue data in the network transmission queues 112a and 112b. .
This is because when one guest OS (eg, guest OS 106a) resumes operation earlier than the other guest OS (eg, guest OS 106b), the guest OS 106a is directed to the guest OS 106b before the guest OS 106b resumes operation. This is to avoid a situation where data is transmitted and data is lost as a result.
On the other hand, the network reception queues 111a and 111b can be queued.

ステップ304で、保存実行部102a、102bでは、再開制御部1024a、1024bは、ゲストOS106a、106bが動作する仮想計算機のスナップショットの復元が完了したら、同期保存指示部117にスナップショットの復元完了を通知する。
つまり、再開制御部1024a、1024bは、仮想ハードウェアの状態の復元が完了したことを通知する復元完了通知をVMモニター114a、114bから入力すると、同期保存指示部117にスナップショットの復元完了を通知する。
In step 304, in the storage execution units 102a and 102b, when the restoration control units 1024a and 1024b complete the restoration of the snapshots of the virtual machines on which the guest OSs 106a and 106b operate, the restoration execution units 102a and 102b notify the synchronous saving instruction unit 117 of the completion of the snapshot restoration. Notice.
That is, when the restoration control unit 1024a, 1024b inputs a restoration completion notification notifying that the restoration of the state of the virtual hardware has been completed from the VM monitors 114a, 114b, the restoration control unit 1024a, 1024b notifies the synchronous saving instruction unit 117 of the completion of the restoration of the snapshot. To do.

ステップ305で、同期保存指示部117は、保存実行部102a、102bの両方からスナップショットの復元完了通知を受けたら、保存実行部102a、102bに対して、ゲストOS106a、106bの実行再開要求を送付する。   In step 305, when receiving the snapshot restoration completion notification from both the save execution units 102a and 102b, the synchronous save instruction unit 117 sends an execution restart request for the guest OSs 106a and 106b to the save execution units 102a and 102b. To do.

ステップ306で、保存実行部102a、102bでは、再開制御部1024a、1024bが、同期保存指示部117からのゲストOS106a、106bの実行再開要求を受け、ゲストOSの実行を再開し、同期保存指示部117に対して実行再開完了を通知する。
つまり、再開制御部1024a、1024bは、動作再開指示を管理OS105a、105bに出力し、また、管理OS105a、105bから動作再開完了通知を入力し、同期保存指示部117に対して実行再開完了を通知する。
In step 306, in the save execution units 102a and 102b, the resumption control units 1024a and 1024b receive the guest OS 106a and 106b execution resume request from the synchronous save instruction unit 117, and resume execution of the guest OS. 117 is notified of completion of execution restart.
That is, the restart control units 1024a and 1024b output operation resumption instructions to the management OSs 105a and 105b, and input operation resumption completion notifications from the management OSs 105a and 105b, and notify the synchronous storage instruction unit 117 of execution resumption completion. To do.

ステップ307で、同期保存指示部117は、保存実行部102a、102bの両方からスナップショットの実行再開完了通知を受けたら、保存実行部102a、102bに対して、ゲストOS106a、106bのネットワークの送信再開要求を送付する。   In step 307, when the synchronous storage instructing unit 117 receives a snapshot execution restart completion notification from both of the storage execution units 102a and 102b, it resumes network transmission of the guest OSs 106a and 106b to the storage execution units 102a and 102b. Send a request.

ステップ308で、保存実行部102a、102bでは、再開制御部1024a、1024bが、同期保存指示部117からのゲストOS106a、106bのネットワークの送信再開要求を受け、ゲストOSとその仮想ネットワークドライバを対応付けするテーブル103a、103bにより、対象となる管理OS側仮想ネットワークドライバ108a、108bに送信再開指示を出力して送信キューへのデータ格納の再開を要求する。   In step 308, in the save execution units 102a and 102b, the resumption control units 1024a and 1024b receive a request to resume the network transmission of the guest OSs 106a and 106b from the synchronous save instruction unit 117, and associate the guest OS with its virtual network driver. By using the tables 103a and 103b, a transmission resumption instruction is output to the target management OS virtual network drivers 108a and 108b to request resumption of data storage in the transmission queue.

ステップ309で、管理OS側仮想ネットワークドライバ108a、108bは、保存実行部102a、102bからの送信再開指示に従い、ネットワーク送信キュー112a、112bを再開する。
そして、ゲストOS側仮想ネットワークドライバ113a、113bにネットワーク送信キュー112a、112bの再開を通知する。
それを受けゲストOS側仮想ネットワークドライバ113a、113bはネットワーク送信キュー112a、112bへのキューイングを再開する。
In step 309, the management OS side virtual network drivers 108a and 108b resume the network transmission queues 112a and 112b according to the transmission resumption instruction from the storage execution units 102a and 102b.
The guest OS side virtual network drivers 113a and 113b are notified of the resumption of the network transmission queues 112a and 112b.
In response, the guest OS side virtual network drivers 113a and 113b resume queuing to the network transmission queues 112a and 112b.

ステップ310で、管理OS側仮想ネットワークドライバ108a、108bは、ネットワーク送信キュー112a、112bを再開したら、保存実行部102a、102bに対して送信キューの再開が完了したことを通知する。   In step 310, when the management OS side virtual network drivers 108a and 108b resume the network transmission queues 112a and 112b, the management OS side virtual network drivers 108a and 108b notify the storage execution units 102a and 102b that the transmission queue has been resumed.

ステップ311で、保存実行部102a、102bでは、再開制御部1024a、1024bが、管理OS側仮想ネットワークドライバ108a、108bからの送信キュー再開完了通知を受け、同期保存指示部117に対して送信キュー再開が完了したことを通知する。   In step 311, in the save execution units 102 a and 102 b, the restart control units 1024 a and 1024 b receive the transmission queue resume completion notification from the management OS side virtual network drivers 108 a and 108 b and resume the transmission queue to the synchronous save instruction unit 117. Notify that has completed.

ステップ312で、同期保存指示部117は、保存実行部102a、102bの両方から送信キューの再開完了が通知されたら、スナップショットの同期復元処理を終了する。   In step 312, when both of the save execution units 102 a and 102 b are notified of the completion of resuming the transmission queue, the synchronization saving instruction unit 117 ends the snapshot synchronization restoration process.

以上のように、複数の仮想計算機のスナップショットの保存の際に、各仮想計算機のデータ送信を、管理OS側の仮想ネットワークドライバで停止させたあと、各仮想計算機のスナップショットの保存を行っているので、保存時にデータが送信されることがなく、このため、送信中の通信データを失うことなく、各仮想計算機間で整合が取れた状態で保存することができる。
また、複数の仮想計算機のスナップショットの復元の際に、各仮想計算機を復元したときには、管理OS側の仮想ネットワークドライバでデータ送信を停止した状態とし、仮想計算機がすべて復元した後で、送信を再開しているため、通信データを失うことなく復元することができる。
As described above, when saving snapshots of a plurality of virtual machines, after stopping the data transmission of each virtual machine with the virtual network driver on the management OS side, save the snapshots of each virtual machine. Therefore, data is not transmitted at the time of storage, and therefore, it is possible to store data in a consistent state between virtual machines without losing communication data being transmitted.
In addition, when restoring each virtual machine when restoring a snapshot of multiple virtual machines, the virtual network driver on the management OS side stops data transmission, and after all the virtual machines have been restored, transmission is performed. Since it is resumed, it can be restored without losing communication data.

以上、本実施の形態では、
仮想計算機のCPU、メモリ、ディスク等の仮想I/Oデバイスの状態を保存、復元するスナップショット機能を持つ仮想計算機システムにおいて、
仮想計算機を管理する計算機上に同期保存指示部と、仮想計算機を搭載する物理計算機上に保存実行部と、仮想計算機の仮想ネットワークドライバを備え、
前記仮想ネットワークドライバは、保存実行部からの要求により仮想計算機からのネットワーク送信のみ遮断する機能と、送信キューおよび受信キューが空になったことを通知する機能を備え、仮想計算機復元時に送信キューを停止した状態で復元させる仮想計算機システムを説明した。
As described above, in the present embodiment,
In a virtual machine system having a snapshot function for saving and restoring the state of virtual I / O devices such as CPU, memory, and disk of the virtual machine,
Provided with a synchronous save instruction unit on the computer that manages the virtual machine, a save execution unit on the physical computer on which the virtual machine is mounted, and a virtual network driver for the virtual machine,
The virtual network driver has a function of blocking only network transmission from a virtual machine in response to a request from the storage execution unit, and a function of notifying that a transmission queue and a reception queue are empty. A virtual machine system that can be restored in a stopped state has been described.

また、前記保存実行部は、同期保存指示部からの送信停止要求により、停止する仮想ネットワークドライバに対して停止要求を出し、仮想ネットワークドライバからの送信キューが空になった通知を待って、同期保存指示部に対して送信停止要求完了を通知することを説明した。   Further, the storage execution unit issues a stop request to the virtual network driver to be stopped by a transmission stop request from the synchronous storage instruction unit, and waits for a notification that the transmission queue from the virtual network driver has become empty. It has been described that the transmission stop request completion is notified to the storage instruction unit.

また、前記保存実行部は、同期保存指示部からの仮想計算機の保存実行により、該当する仮想ネットワークドライバの受信キューが空になった通知を待って、VMモニターに対して仮想計算機の停止と保存実行を行うことを説明した。   In addition, the storage execution unit waits for a notification that the reception queue of the corresponding virtual network driver has become empty due to execution of storage of the virtual computer from the synchronous storage instruction unit, and stops and stores the virtual computer to the VM monitor. Explained to perform.

実施の形態2.
図4は、本実施の形態に係るシステム構成例を示しており、ゲストOSが1つの物理計算機に複数搭載されている場合の構成を示す。
Embodiment 2. FIG.
FIG. 4 shows a system configuration example according to the present embodiment, and shows a configuration when a plurality of guest OSs are mounted on one physical computer.

ゲストOS106xは追加したゲストOSで、その中ではゲストOS側仮想ネットワークドライバ113xがあり、ゲストOS106x上ではアプリケーション104xが動作している。
ゲストOS側仮想ネットワークドライバ113xは、管理OS105a内の管理OS側仮想ネットワークドライバ108xと連携してゲストOS106xのネットワーク処理を行う。
管理OS側仮想ネットワークドライバ108xの中には、ネットワーク送信キュー112x、ネットワーク受信キュー111xがあり、ネットワークブリッジ109aを介して物理ネットワークドライバ110aと通信データを受け渡しする。
保存実行部102aの中のゲストOSと管理OS側仮想ネットワークドライバの対応付けするテーブル103aには、ゲストOS106xとその管理OS側仮想ネットワークドライバ108xの項目が追加される。
物理計算機101bの中の構成は、図1の物理計算機101bの中の構成と同じである。
なお、本実施の形態においても、破線で囲んだ200aと200b(不図示)がゲストOS管理システムに相当する。
The guest OS 106x is a guest OS that has been added, and includes a guest OS-side virtual network driver 113x, and an application 104x is running on the guest OS 106x.
The guest OS side virtual network driver 113x performs network processing of the guest OS 106x in cooperation with the management OS side virtual network driver 108x in the management OS 105a.
The management OS side virtual network driver 108x includes a network transmission queue 112x and a network reception queue 111x, and exchanges communication data with the physical network driver 110a via the network bridge 109a.
Items of the guest OS 106x and the management OS side virtual network driver 108x are added to the table 103a that associates the guest OS with the management OS side virtual network driver in the storage execution unit 102a.
The configuration in the physical computer 101b is the same as the configuration in the physical computer 101b in FIG.
Also in this embodiment, 200a and 200b (not shown) surrounded by a broken line correspond to the guest OS management system.

このように、1台の物理計算機上で複数のゲストOSを実行している場合、管理OS側仮想ネットワークドライバ108a、108xをテーブル103aで定義しておくことで、対処可能である。
つまり、保存実行部102aは、実施の形態1で説明したゲストOS106a、管理OS側仮想ネットワークドライバ108aに対する動作を、ゲストOS106x、管理OS側仮想ネットワークドライバ108xに対しても行うことで、1台の物理計算機に複数のゲストOS、複数の管理OS側仮想ネットワークドライバが存在する場合でも、データ消失なく複数のゲストOSに対するスナップショット保存及びスナップショット復元を行うことができる。
なお、図4では1台の物理計算機上にゲストOSが2つ存在している例を示しているが、3つ以上のゲストOSの場合も同様である。
As described above, when a plurality of guest OSs are executed on one physical computer, the management OS side virtual network drivers 108a and 108x can be dealt with by defining them in the table 103a.
That is, the storage execution unit 102a performs the operations for the guest OS 106a and the management OS-side virtual network driver 108a described in the first embodiment also for the guest OS 106x and the management OS-side virtual network driver 108x. Even when a plurality of guest OSes and a plurality of management OS-side virtual network drivers exist in the physical computer, snapshot storage and snapshot restoration can be performed for a plurality of guest OSs without data loss.
FIG. 4 shows an example in which two guest OSs exist on one physical computer, but the same applies to three or more guest OSes.

実施の形態3.
図5は、本実施の形態に係るシステム構成例を示しており、システムに含まれる物理計算機が3台の構成例で、また、スナップショットの同期保存復元を行うゲストOSのグループが2つ(s1、s2)ある例を示す。
各物理計算機101a、101b、101cの中の構成は、図1および図4と同様であるが、ここでは追加した構成要素と、それに関係する構成要素のみ記載し、それ以外は省略する。
Embodiment 3 FIG.
FIG. 5 shows a system configuration example according to the present embodiment, in which the system includes three physical computers, and there are two guest OS groups that perform snapshot synchronous storage / restoration ( s1, s2) An example is shown.
The configuration in each of the physical computers 101a, 101b, and 101c is the same as that shown in FIGS. 1 and 4, but only the added components and related components are described here, and the rest are omitted.

図5は、図4に対して物理計算機101bの中に新たにゲストOS106yを追加している。
また、物理計算機101cを追加し、ゲストOS106zを実行する。
そして、ゲストOS106x、106y、106zの間でスナップショットを同期保存、復元を行うため、同期保存指示部117のテーブルには、新たにゲストOS106x、106y、106zの項目と、その管理OS105a、105b、105cの項目を追加し、それらを同期保存、復元するシステムとして管理する。
つまり、図5に示すように、グループ(s1、s2)ごとに、管理OSとゲストOSの対応関係を表すテーブル118を用意することで、同期保存指示部117はグループごとに複数のゲストOSのスナップショット保存及びスナップショット復元を行わせることができる。
このように、3台以上からなる仮想計算機を同期保存、復元する場合、同期保存指示部117のテーブル118に、対象となるゲストOSとその管理OSを追加することで、対処可能である。
なお、本実施の形態においても、破線で囲んだ200a、200b、200cがゲストOS管理システムに相当する。
In FIG. 5, a guest OS 106y is newly added to the physical computer 101b with respect to FIG.
Further, the physical computer 101c is added and the guest OS 106z is executed.
Then, in order to perform synchronous saving and restoration of the snapshot between the guest OSs 106x, 106y, and 106z, the table of the synchronous saving instruction unit 117 newly includes items of the guest OSs 106x, 106y, and 106z, and management OSs 105a, 105b, The item 105c is added and managed as a system for storing and restoring them synchronously.
That is, as shown in FIG. 5, by preparing a table 118 representing the correspondence relationship between the management OS and the guest OS for each group (s1, s2), the synchronous storage instructing unit 117 has a plurality of guest OSes for each group. Snapshot saving and snapshot restoration can be performed.
As described above, when synchronously storing and restoring three or more virtual machines, it can be dealt with by adding the target guest OS and its management OS to the table 118 of the synchronous storage instructing unit 117.
In this embodiment, 200a, 200b, and 200c surrounded by a broken line correspond to the guest OS management system.

最後に、実施の形態1〜3に示した物理計算機101のハードウェア構成例について説明する。
図7は、実施の形態1〜3に示す物理計算機101のハードウェア資源の一例を示す図である。
なお、図7の構成は、あくまでも物理計算機101のハードウェア構成の一例を示すものであり、物理計算機101のハードウェア構成は図7に記載の構成に限らず、他の構成であってもよい。
Finally, a hardware configuration example of the physical computer 101 shown in the first to third embodiments will be described.
FIG. 7 is a diagram illustrating an example of hardware resources of the physical computer 101 described in the first to third embodiments.
7 is merely an example of the hardware configuration of the physical computer 101, and the hardware configuration of the physical computer 101 is not limited to the configuration illustrated in FIG. 7, but may be another configuration. .

図7において、物理計算機101は、プログラムを実行するCPU911(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。
CPU911は、バス912を介して、例えば、ROM(Read Only Memory)913、RAM(Random Access Memory)914、通信ボード915、表示装置901、キーボード902、マウス903、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。
更に、CPU911は、FDD904(Flexible Disk Drive)、コンパクトディスク装置905(CDD)、プリンタ装置906、スキャナ装置907と接続していてもよい。また、磁気ディスク装置920の代わりに、SSD(Solid State Drive)、光ディスク装置、メモリカード(登録商標)読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
通信ボード915、キーボード902、マウス903、スキャナ装置907、FDD904などは、入力装置の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力装置の一例である。
In FIG. 7, the physical computer 101 includes a CPU 911 (also referred to as a central processing unit, a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, and a processor) that executes a program.
The CPU 911 is connected to, for example, a ROM (Read Only Memory) 913, a RAM (Random Access Memory) 914, a communication board 915, a display device 901, a keyboard 902, a mouse 903, and a magnetic disk device 920 via a bus 912. Control hardware devices.
Further, the CPU 911 may be connected to an FDD 904 (Flexible Disk Drive), a compact disk device 905 (CDD), a printer device 906, and a scanner device 907. Further, instead of the magnetic disk device 920, a storage device such as an SSD (Solid State Drive), an optical disk device, or a memory card (registered trademark) read / write device may be used.
The RAM 914 is an example of a volatile memory. The storage media of the ROM 913, the FDD 904, the CDD 905, and the magnetic disk device 920 are an example of a nonvolatile memory. These are examples of the storage device.
A communication board 915, a keyboard 902, a mouse 903, a scanner device 907, an FDD 904, and the like are examples of input devices.
The communication board 915, the display device 901, the printer device 906, and the like are examples of output devices.

通信ボード915は、図1等に示すように、ネットワークに接続されている。例えば、通信ボード915は、LAN(ローカルエリアネットワーク)、インターネット、WAN(ワイドエリアネットワーク)などに接続されている。   The communication board 915 is connected to a network as shown in FIG. For example, the communication board 915 is connected to a LAN (local area network), the Internet, a WAN (wide area network), or the like.

磁気ディスク装置920には、VMモニター921、管理OS922、プログラム群923、ファイル群924が記憶されている。
プログラム群923のプログラムには、ゲストOSやゲストOSで実行されるアプリケーションが含まれる。
プログラム群923のプログラムは、CPU911、VMモニター921、管理OS922により実行される。
また、VMモニター921自身が管理OS922の機能を含む場合や、管理OS922内にVMモニター921が存在する場合もある。
The magnetic disk device 920 stores a VM monitor 921, a management OS 922, a program group 923, and a file group 924.
The programs in the program group 923 include a guest OS and applications executed by the guest OS.
The programs in the program group 923 are executed by the CPU 911, the VM monitor 921, and the management OS 922.
In some cases, the VM monitor 921 itself includes the function of the management OS 922 or the VM monitor 921 exists in the management OS 922.

また、RAM914には、CPU911に実行させるVMモニター921、管理OS922、ゲストOSのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。
また、RAM914には、CPU911による処理に必要な各種データが格納される。
The RAM 914 temporarily stores at least a part of a VM monitor 921, a management OS 922, a guest OS program, and application programs to be executed by the CPU 911.
The RAM 914 stores various data necessary for processing by the CPU 911.

また、ROM913には、BIOS(Basic Input Output System)プログラムが格納され、磁気ディスク装置920にはブートプログラムが格納されている。
物理計算機101の起動時には、ROM913のBIOSプログラム及び磁気ディスク装置920のブートプログラムが実行され、BIOSプログラム及びブートプログラムによりオペレーティングシステム921が起動される。
The ROM 913 stores a BIOS (Basic Input Output System) program, and the magnetic disk device 920 stores a boot program.
When the physical computer 101 is started, the BIOS program in the ROM 913 and the boot program for the magnetic disk device 920 are executed, and the operating system 921 is started by the BIOS program and the boot program.

また、上記プログラム群923には、実施の形態1〜3の説明において「〜部」として説明している機能を実行するプログラムが記憶されている。
プログラムは、CPU911により読み出され実行される。
The program group 923 stores a program for executing the function described as “˜unit” in the description of the first to third embodiments.
The program is read and executed by the CPU 911.

ファイル群924には、実施の形態1〜3の説明において、「〜の入力」、「〜の出力」、「〜の判断」、「〜の参照」、「〜の生成」、「〜の比較」、「〜の取得」、「〜の設定」、「〜の登録」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのCPUの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、実施の形態1〜3で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD等の記録媒体に記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
In the file group 924, in the description of the first to third embodiments, “to input”, “to output”, “to determine”, “to reference”, “to generation”, and “to comparison”. "," Acquisition of "," setting of "," registration of "," selection of ", etc. It is stored as each item of "~ file" and "~ database".
The “˜file” and “˜database” are stored in a recording medium such as a disk or a memory. Information, data, signal values, variable values, and parameters stored in a storage medium such as a disk or memory are read out to the main memory or cache memory by the CPU 911 via a read / write circuit, and extracted, searched, referenced, compared, and calculated. Used for CPU operations such as calculation, processing, editing, output, printing, and display.
Information, data, signal values, variable values, and parameters are stored in the main memory, registers, cache memory, and buffers during the CPU operations of extraction, search, reference, comparison, calculation, processing, editing, output, printing, and display. It is temporarily stored in a memory or the like.
In addition, arrows in the flowcharts described in the first to third embodiments mainly indicate input / output of data and signals, and the data and signal values are the memory of the RAM 914, the flexible disk of the FDD904, the compact disk of the CDD905, and the magnetic field. Recording is performed on a recording medium such as a magnetic disk of the disk device 920, other optical disks, mini disks, DVDs, and the like. Data and signals are transmitted online via a bus 912, signal lines, cables, or other transmission media.

また、実施の形態1〜3の説明において「〜部」として説明しているものは、「〜ステップ」、「〜手順」、「〜処理」としても把握できる。
すなわち、実施の形態1〜3で説明したフローチャートに示すステップ、手順、処理により、物理計算機101における動作を方法として把握することができる。
In addition, what is described as “to part” in the description of the first to third embodiments can be grasped as “to step”, “to procedure”, and “to process”.
That is, the operation in the physical computer 101 can be grasped as a method by the steps, procedures, and processes shown in the flowcharts described in the first to third embodiments.

以上、実施の形態1〜3に示す物理計算機101は、処理装置たるCPU、記憶装置たるメモリ、磁気ディスク等、入力装置たるキーボード、マウス、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。   As described above, the physical computer 101 shown in the first to third embodiments includes a CPU as a processing device, a memory as a storage device, a magnetic disk, a keyboard as an input device, a mouse, a communication board, a display device as an output device, a communication board, and the like. As described above, the computer includes the functions indicated as “to part” by using these processing devices, storage devices, input devices, and output devices.

101 物理計算機、102 保存実行部、103 テーブル、104 アプリケーション、105 管理OS、106 ゲストOS、107 管理OS用仮想ネットワークドライバ、108 管理OS側仮想ネットワークドライバ、109 ネットワークブリッジ、110 物理ネットワークドライバ、111 ネットワーク受信キュー、112 ネットワーク送信キュー、113 ゲストOS側仮想ネットワークドライバ、114 VMモニター、115 物理NIC、116 仮想計算機管理計算機、117 同期保存指示部、118 テーブル、200 ゲストOS管理システム、1021 送信制御部、1022 受信制御部、1023 スナップショット制御部、1024 再開制御部、1025 テーブル管理部、1026 テーブル記憶部。   DESCRIPTION OF SYMBOLS 101 Physical computer, 102 Storage execution part, 103 Table, 104 Application, 105 Management OS, 106 Guest OS, 107 Virtual network driver for management OS, 108 Management OS side virtual network driver, 109 Network bridge, 110 Physical network driver, 111 network Reception queue, 112 Network transmission queue, 113 Guest OS side virtual network driver, 114 VM monitor, 115 Physical NIC, 116 Virtual machine management computer, 117 Synchronous storage instruction unit, 118 Table, 200 Guest OS management system, 1021 Transmission control unit, 1022 Reception control unit, 1023 Snapshot control unit, 1024 Resume control unit, 1025 Table management unit, 1026 Table storage unit.

Claims (5)

仮想計算機が提供する仮想ハードウェアを利用して動作する複数のゲストOS(Operating System)を管理し、各ゲストOSに割り当てられている送信キューと受信キューを管理し、各ゲストOSが利用する仮想ハードウェアの状態をスナップショット保存できるゲストOS管理システム
を制御する仮想計算機制御システムであって、
スナップショット保存の対象となる2以上の保存対象ゲストOSによる送信キューへのデータ格納の停止を指示するとともに既に送信キューに格納されているデータの送信のみを許可する送信停止指示を前記ゲストOS管理システムに出力し、保存対象ゲストOSごとに、送信キューが空になったことを通知する送信完了通知を前記ゲストOS管理システムから入力する送信制御部と、
保存対象ゲストOSごとに、受信キューが空になったことを通知する受信完了通知を前記ゲストOS管理システムから入力する受信制御部と、
前記送信制御部が2以上の保存対象ゲストOSの全てについて送信完了通知を入力した後に、前記受信制御部が受信完了通知を入力している保存対象ゲストOSについて仮想ハードウェアの状態をスナップショット保存するよう指示するスナップショット指示を前記ゲストOS管理システムに出力するスナップショット制御部とを有することを特徴とする仮想計算機制御システム。
Manages multiple guest OSes (operating systems) that operate using virtual hardware provided by virtual machines, manages the transmission queues and reception queues assigned to each guest OS, and uses the virtual machines used by each guest OS A virtual machine control system that controls a guest OS management system that can save a snapshot of the hardware state,
The guest OS management is instructed to stop the storage of data in the transmission queue by two or more target guest OSs to be saved as snapshots and to only allow transmission of data already stored in the transmission queue. A transmission control unit that outputs to the system and inputs a transmission completion notification for notifying that the transmission queue is empty for each guest OS to be saved, from the guest OS management system;
A reception control unit that inputs from the guest OS management system a reception completion notification for notifying that the reception queue is empty for each guest OS to be saved;
After the transmission control unit inputs a transmission completion notification for all of the two or more storage target guest OSs, the virtual hardware state is stored as a snapshot for the storage target guest OS for which the reception control unit inputs the reception completion notification. A virtual machine control system comprising: a snapshot control unit that outputs a snapshot instruction for instructing to the guest OS management system.
前記仮想計算機制御システムは、
保存対象ゲストOSの動作を停止させて保存対象ゲストOSが利用する仮想ハードウェアの状態をスナップショット保存し、更に、スナップショット保存した仮想ハードウェアの状態を復元し、前記仮想計算機制御システムからの指示を入力した際に保存対象ゲストOSの動作を再開させるゲストOS管理システムを制御し、
前記仮想計算機制御システムは、更に、
2以上の保存対象ゲストOSのうち動作再開の対象となる2以上の再開対象ゲストOSの仮想ハードウェアの状態の復元を指示する状態復元指示を前記ゲストOS管理システムに出力し、再開対象ゲストOSごとに、仮想ハードウェアの状態の復元が完了したことを通知する復元完了通知を前記ゲストOS管理システムから入力し、2以上の再開対象ゲストOSの全てについて復元完了通知を入力した後に、各再開対象ゲストOSの動作を再開させるよう指示する動作再開指示を前記ゲストOS管理システムに出力する再開制御部を有することを特徴とする請求項1に記載の仮想計算機制御システム。
The virtual machine control system is
The operation of the save target guest OS is stopped, the status of the virtual hardware used by the save target guest OS is saved as a snapshot, the status of the virtual hardware saved as a snapshot is restored, and the virtual machine control system Control the guest OS management system that resumes the operation of the target guest OS when an instruction is entered,
The virtual computer control system further includes:
A state restoration instruction for instructing restoration of the virtual hardware state of two or more resume target guest OSs to be resumed in operation among the two or more preservation target guest OSs is output to the guest OS management system. Each time a restoration completion notification for notifying that the restoration of the state of the virtual hardware is completed is input from the guest OS management system, and a restoration completion notification is input for all of the two or more resuming guest OSs, The virtual machine control system according to claim 1, further comprising a restart control unit that outputs an operation restart instruction that instructs to restart the operation of the target guest OS to the guest OS management system.
前記再開制御部は、
再開対象ゲストOSごとに、動作が再開したことを通知する動作再開完了通知を前記ゲストOS管理システムから入力し、2以上の再開対象ゲストOSの全てについて動作再開完了通知を入力した後に、各再開対象ゲストOSによる送信キューへのデータ格納を再開させるよう指示する送信再開指示を前記ゲストOS管理システムに出力することを特徴とする請求項2に記載の仮想計算機制御システム。
The resumption control unit
For each guest OS to be resumed, an operation resumption completion notification for notifying that the operation has been resumed is input from the guest OS management system. 3. The virtual machine control system according to claim 2, wherein a transmission resumption instruction for instructing resumption of data storage in the transmission queue by the target guest OS is output to the guest OS management system.
前記仮想計算機制御システムは、
2以上の保存対象ゲストOSを選択する上位装置に接続されており、
更に、前記仮想計算機制御システムは、
ゲストOSの管理を行う管理OSとゲストOSが利用する仮想ハードウェアの管理を行う仮想ハードウェア管理機構との組から構成され、管理OSと仮想ハードウェア管理機構との組が複数の物理計算機に配置されているゲストOS管理システムを制御し、
前記仮想計算機制御システムにおいて、
前記送信制御部、前記受信制御部及び前記スナップショット制御部は、物理計算機ごとに存在し、各物理計算機で動作し、
各送信制御部は、
前記上位装置により選択されたいずれかの保存対象ゲストOSが同じ物理計算機で動作している場合に、同じ物理計算機上の管理OSに送信停止指示を出力し、同じ物理計算機上の管理OSから送信完了通知を入力し、前記上位装置に送信完了通知を入力したことを通知し、
各受信制御部は、
前記上位装置により選択されたいずれかの保存対象ゲストOSが同じ物理計算機で動作している場合に、同じ物理計算機上の管理OSから受信完了通知を入力し、
各スナップショット制御部は、
前記上位装置が2以上の保存対象ゲストOSの全てについて送信完了通知の入力の通知を受けた際に前記上位装置から発行される指示に基づき、同じ物理計算機上の仮想ハードウェア管理機構に、同じ物理計算機上の受信制御部が同じ物理計算機上の管理OSから受信完了通知を入力している保存対象ゲストOSについてのスナップショット指示を出力することを特徴とする請求項1〜3のいずれか一項に記載の仮想計算機制御システム。
The virtual machine control system is
It is connected to a host device that selects two or more target guest OSs.
Furthermore, the virtual machine control system includes:
It is composed of a set of a management OS that manages the guest OS and a virtual hardware management mechanism that manages the virtual hardware used by the guest OS, and the set of the management OS and the virtual hardware management mechanism is included in a plurality of physical computers. Control the guest OS management system deployed,
In the virtual machine control system,
The transmission control unit, the reception control unit, and the snapshot control unit exist for each physical computer, operate on each physical computer,
Each transmission control unit
When any one of the storage target guest OSs selected by the host device is operating on the same physical computer, a transmission stop instruction is output to the management OS on the same physical computer and transmitted from the management OS on the same physical computer Enter a completion notification, notify the host device that a transmission completion notification has been input,
Each reception control unit
When any of the storage target guest OSs selected by the host device is operating on the same physical computer, a reception completion notification is input from the management OS on the same physical computer,
Each snapshot control unit
Same as the virtual hardware management mechanism on the same physical computer based on an instruction issued from the host device when the host device receives notification of the input of the transmission completion notification for all of the two or more storage target guest OSs. any one of claims 1 to 3 reception controller on the physical computer and outputs a snapshot instruction for storage target guest OS that enter the reception completion notice from the management OS on the same physical computer The virtual machine control system according to item .
前記仮想計算機制御システムは、
2以上の保存対象ゲストOSを選択する上位装置に接続されており、
更に、前記仮想計算機制御システムは、
2以上のゲストOSが動作する物理計算機に配置され、前記2以上のゲストOSの管理を行う管理OSと前記2以上のゲストOSが利用する仮想ハードウェアの管理を行う仮想ハードウェア管理機構との組から構成されるゲストOS管理システムを制御し、
前記仮想計算機制御システムにおいて、
前記送信制御部、前記受信制御部及び前記スナップショット制御部は、前記物理計算機で動作し、
前記送信制御部は、
前記上位装置により選択された2以上の保存対象ゲストOSの各々について、前記管理OSに送信停止指示を出力し、前記管理OSから送信完了通知を入力し、前記上位装置に送信完了通知を入力したことを通知し、
前記受信制御部は、
前記上位装置により選択された2以上の保存対象ゲストOSの各々について、前記管理OSから受信完了通知を入力し、
前記スナップショット制御部は、
前記上位装置が2以上の保存対象ゲストOSの全てについて送信完了通知の入力の通知を受けた際に前記上位装置から発行される指示に基づき、前記受信制御部が前記管理OSから受信完了通知を入力している保存対象ゲストOSについてのスナップショット指示を前記仮想ハードウェア管理機構に出力することを特徴とする請求項1〜4のいずれか一項に記載の仮想計算機制御システム。
The virtual machine control system is
It is connected to a host device that selects two or more target guest OSs.
Furthermore, the virtual machine control system includes:
A management OS that manages two or more guest OSs and a virtual hardware management mechanism that manages virtual hardware used by the two or more guest OSs, which are arranged in a physical computer on which two or more guest OSs operate; Control the guest OS management system consisting of
In the virtual machine control system,
The transmission control unit, the reception control unit, and the snapshot control unit operate on the physical computer,
The transmission control unit
For each of the two or more target guest OSs selected by the host device, a transmission stop instruction is output to the management OS, a transmission completion notification is input from the management OS, and a transmission completion notification is input to the host device Notice that
The reception control unit
For each of the two or more target guest OSs selected by the host device, a reception completion notification is input from the management OS,
The snapshot control unit
Based on an instruction issued from the higher-level device when the higher-level device receives notification of transmission completion notification for all of the two or more target guest OSs, the reception control unit sends a reception completion notification from the management OS. The virtual machine control system according to any one of claims 1 to 4, wherein a snapshot instruction for the input target guest OS is output to the virtual hardware management mechanism.
JP2010126567A 2010-06-02 2010-06-02 Virtual computer control system Expired - Fee Related JP5419802B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010126567A JP5419802B2 (en) 2010-06-02 2010-06-02 Virtual computer control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010126567A JP5419802B2 (en) 2010-06-02 2010-06-02 Virtual computer control system

Publications (2)

Publication Number Publication Date
JP2011253350A JP2011253350A (en) 2011-12-15
JP5419802B2 true JP5419802B2 (en) 2014-02-19

Family

ID=45417243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010126567A Expired - Fee Related JP5419802B2 (en) 2010-06-02 2010-06-02 Virtual computer control system

Country Status (1)

Country Link
JP (1) JP5419802B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216793B (en) * 2013-05-31 2017-10-17 国际商业机器公司 Application Backup, the method and apparatus recovered
JP6115331B2 (en) 2013-06-06 2017-04-19 富士通株式会社 Transaction resumption program, information processing apparatus, and transaction resumption method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02287858A (en) * 1989-04-28 1990-11-27 Toshiba Corp Restarting system for distributed processing system
JP2007066265A (en) * 2005-09-02 2007-03-15 Hitachi Ltd Computer apparatus and virtual machine providing method
JP4544146B2 (en) * 2005-11-29 2010-09-15 株式会社日立製作所 Disaster recovery method
JP2008107966A (en) * 2006-10-24 2008-05-08 Hitachi Ltd Computer system
JP2009080692A (en) * 2007-09-26 2009-04-16 Toshiba Corp Virtual machine system and service taking-over control method for same system
JP4560074B2 (en) * 2007-09-26 2010-10-13 株式会社東芝 Virtual computer system and virtual computer restoration method in the same system
JP2009145931A (en) * 2007-12-11 2009-07-02 Hitachi Ltd Migration method between virtual computer and physical computer and computer system thereof

Also Published As

Publication number Publication date
JP2011253350A (en) 2011-12-15

Similar Documents

Publication Publication Date Title
US11314543B2 (en) Architecture for implementing a virtualization environment and appliance
US11340926B2 (en) Hypervisor remedial action for a virtual machine in response to an error message from the virtual machine
US9671967B2 (en) Method and system for implementing a distributed operations log
US9582221B2 (en) Virtualization-aware data locality in distributed data processing
US9183099B2 (en) Replication of a write-back cache using a placeholder virtual machine for resource management
EP1939747B1 (en) Method and computer system for managing performance of a storage network
US8200771B2 (en) Workload migration using on demand remote paging
US20080263390A1 (en) Cluster system and failover method for cluster system
JP5681171B2 (en) System, method, and program for power management in virtual machine farm
WO2016199232A1 (en) Storage management computer and management method for storage device
US20130174151A1 (en) Information processing apparatus and method of controlling virtual machine
US8316110B1 (en) System and method for clustering standalone server applications and extending cluster functionality
JP2010033404A (en) Virtual machine system and method for controlling virtual machine system
TW201007574A (en) Internet server system and method of constructing and starting a virtual machine
JP2008293358A (en) Distributed processing program, distributed processing method, distributed processing apparatus, and distributed processing system
TW201232414A (en) Management of a data network of a computing environment
US20110107344A1 (en) Multi-core apparatus and load balancing method thereof
CN103744734A (en) Method, device and system for task operation processing
WO2012050224A1 (en) Computer resource control system
JP2014186652A (en) Data transfer device, data transfer system, data transfer method and program
Shu et al. Design and implementation of an SAN system based on the fiber channel protocol
JP2009075877A (en) Information processing system and monitoring method
JP4957765B2 (en) Software program execution device, software program execution method, and program
JP2008107966A (en) Computer system
JP5419802B2 (en) Virtual computer control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131119

R150 Certificate of patent or registration of utility model

Ref document number: 5419802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees