JP4982578B2 - Resource allocation device, resource allocation method, and resource allocation control program - Google Patents
Resource allocation device, resource allocation method, and resource allocation control program Download PDFInfo
- Publication number
- JP4982578B2 JP4982578B2 JP2010036404A JP2010036404A JP4982578B2 JP 4982578 B2 JP4982578 B2 JP 4982578B2 JP 2010036404 A JP2010036404 A JP 2010036404A JP 2010036404 A JP2010036404 A JP 2010036404A JP 4982578 B2 JP4982578 B2 JP 4982578B2
- Authority
- JP
- Japan
- Prior art keywords
- resource
- resource usage
- information
- server
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 75
- 238000013468 resource allocation Methods 0.000 title claims description 60
- 238000004364 calculation method Methods 0.000 claims description 122
- 238000005259 measurement Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 23
- 230000010365 information processing Effects 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 description 62
- 238000007726 management method Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 10
- 238000004220 aggregation Methods 0.000 description 10
- 239000000872 buffer Substances 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 238000011157 data evaluation Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は、情報処理装置のリソースを複数の仮想マシンに割り当てるリソース割当装置、リソース割当方法、およびリソース割当制御プログラムに関する。 The present invention relates to a resource allocation device, a resource allocation method, and a resource allocation control program that allocate information processing apparatus resources to a plurality of virtual machines.
従来、物理サーバ上に複数の仮想マシンを構築して各仮想マシンを独立に動作させるサーバ仮想化技術がサーバシステムに利用されている。このサーバ仮想化技術は、各仮想マシンがリソースを確保するために要求するリソース量(リソース要求量)を、当該仮想マシンにおけるリソースの平均使用量に偏差を一定倍した容量のバッファを加算して得られる値とし、このリソース要求量に応じてリソースを再配置するものが一般的である。 Conventionally, a server virtualization technique that constructs a plurality of virtual machines on a physical server and operates each virtual machine independently has been used in a server system. This server virtualization technology adds the amount of resources required for each virtual machine to secure resources (resource request amount) by adding a buffer with a capacity obtained by multiplying the average resource usage in the virtual machine by a certain amount of deviation. In general, the obtained value is used, and resources are rearranged according to the required resource amount.
また、定期的にリソースの使用状態を管理し、複数の仮想計算機に対するリソース割当てを動的に行う計算機資源割当方法、資源管理サーバおよび計算機システムが知られている(例えば、特許文献1参照)。この特許文献1に記載の計算機資源割当方法は、計算機の資源使用状態を収集し、この収集したデータに基づいて、各計算機のリソース使用についての相関係数を算出し、前記収集したデータまたはリソース使用状態の予測値と算出した相関係数とに基づいて各計算機のリソース割当て値を算出し、そのリソース割当て値にしたがって各計算機のリソース割当てを行う方法である。
Also known are a computer resource allocation method, a resource management server, and a computer system that periodically manage resource usage and dynamically allocate resources to a plurality of virtual machines (see, for example, Patent Document 1). The computer resource allocation method described in
また、リソースの負荷であるリソース消費レベルに応じてリソース配置を変更して負荷分散を図る方法およびシステムが知られている(例えば、特許文献2参照)。この特許文献2に記載の負荷分散方法は、各コンピュータについて、リソース消費レベルの下閾値を定義し、各仮想専用サーバのリソース消費レベルを取得し、また各コンピュータのリソース消費レベルを取得し、周期的に各コンピュータの消費レベルをそれに関連した下閾値と比較して、下閾値よりも高いリソース消費レベルを有するコンピュータが確認された場合は、常に仮想専用サーバの現行位置に対応するコンピュータの各仮想専用サーバにつき、リソースがどこから提供されるかを定義する配置を新たに求めて、その配置にしたがって仮想専用サーバをコンピュータ内の現行位置からそのコンピュータまたは他のコンピュータに対応する位置に移動する方法である。
Further, a method and a system for distributing the load by changing the resource allocation according to the resource consumption level, which is a resource load, are known (see, for example, Patent Document 2). The load distribution method described in
前述した一般的なサーバ仮想化技術では、各仮想マシンのリソース要求量を、当該仮想マシンの利用状況を考慮せずに平均使用量とその偏差とに基づいて計算するものであるため、例えば負荷特性に応じて適切なリソース量を確保することができず、その結果、仮想マシンの集約率を高くすることができない。
すなわち、仮想マシンの集約率を向上させるためには、各仮想マシンの利用状況に応じたリソース要求量の計算が必要である。一方、仮想マシンは、集約率が高くなるにしたがって仮想マシン間のリソース競合率が高くなり、処理遅延等が発生して適切なリソース要求量の計算に支障が生じる。さらに、リソース要求量を適切に評価するためにはそれ相応の計測データの取得が必要であるが、その計測データの信頼性と負荷追随性とはトレードオフの関係になる。
In the general server virtualization technology described above, the resource requirement amount of each virtual machine is calculated based on the average usage amount and its deviation without considering the usage status of the virtual machine. An appropriate resource amount cannot be secured according to the characteristics, and as a result, the aggregation rate of virtual machines cannot be increased.
That is, in order to improve the aggregation rate of virtual machines, it is necessary to calculate the resource request amount according to the usage status of each virtual machine. On the other hand, in the virtual machine, the resource contention rate between the virtual machines increases as the aggregation rate increases, and processing delays occur, which hinders calculation of an appropriate resource request amount. Furthermore, in order to appropriately evaluate the resource requirement amount, it is necessary to acquire corresponding measurement data, but the reliability of the measurement data and the load followability are in a trade-off relationship.
前述した特許文献1および特許文献2に開示された発明は、仮想マシンの集約率を向上させることを目的としたものではない。さらに、これらの文献には、仮想マシンの集約率が高くなるにしたがってリソース競合率が高くなり適切なリソース要求量の計算に支障が生じる点と、リソース要求量を適切に評価するために計測データの信頼性を高めようとすると負荷追随性が悪くなる点とについての問題提起とこれら問題点を解決する構成についての開示がない。
そこで、本発明は、上記問題を解決するためになされたものであり、1つまたは複数の情報処理装置上に構築される複数の仮想マシンそれぞれが必要とするリソース要求量を負荷追随性およびリソース競合を考慮して求め、適切なリソース容量を確保して仮想マシンに割当てることにより仮想マシンの集約率を高くすることができる、リソース割当装置、リソース割当方法、およびリソース割当制御プログラムを提供することを目的とする。
The inventions disclosed in
Therefore, the present invention has been made to solve the above-described problem, and the resource requirement amount required for each of a plurality of virtual machines constructed on one or a plurality of information processing apparatuses is determined according to load followability and resource. To provide a resource allocation device, a resource allocation method, and a resource allocation control program that can be obtained in consideration of contention, and can increase the aggregation rate of virtual machines by securing appropriate resource capacity and allocating to virtual machines. With the goal.
[1]上記の課題を解決するための本発明の一態様は、情報処理装置のリソースが割り当てられた複数の仮想マシンそれぞれについて、所定期間分のリソース使用量を計測する計測処理部と、前記計測処理部が計測したリソース使用量に基づいて、前記複数の仮想マシンそれぞれについて、リソース使用量の予測値と予測負荷の変化度合いとを計算し、前記予測負荷の変化度合いが所定の閾値以上である場合には、前記所定期間分のリソース使用量に基づき計算される前記仮想マシンの平均リソース使用量と前記リソース使用量の予測値とに基づいてリソース要求量を算出する一方、前記予測負荷の変化度合いが前記所定の閾値未満である場合には、前記所定期間分のリソース使用量に基づきそれぞれ計算される前記仮想マシンの平均リソース使用量およびリソース使用量の偏差と、前記情報処理装置におけるリソースの平均使用率および前記リソース使用量の偏差に基づき計算されるリソース競合の度合いを示すリソース競合値とに基づいて前記リソース要求量を算出する配分計算部と、前記配分計算部が算出した前記複数の仮想マシンそれぞれについてのリソース要求量に基づいて、前記情報処理装置のリソースを各仮想マシンに再配置して割当てるリソース割当部と、を備えることを特徴とするリソース割当装置である。
ここで、予測負荷の変化度合が所定の閾値(例えば、切替パラメータ)以上の値である場合は、配分計算部は、平均リソース使用量とリソース使用量の予測値とを、予測評価パラメータによる重み付けをして加算することによってリソース要求量Rreqjを計算するようにしてもよい。また、予測負荷の変化度合が所定の閾値未満の値である場合は、配分計算部は、リソース競合が発生し易くなるにしたがってバッファを多く確保するように、リソース競合評価パラメータでリソース競合値を重み付けるようにしてもよい。
[1] One aspect of the present invention for solving the above-described problem is that a measurement processing unit that measures a resource usage amount for a predetermined period for each of a plurality of virtual machines to which resources of an information processing device are allocated; Based on the resource usage measured by the measurement processing unit, the predicted value of the resource usage and the degree of change in the predicted load are calculated for each of the plurality of virtual machines, and the degree of change in the predicted load is equal to or greater than a predetermined threshold. If there is, the resource request amount is calculated based on the average resource usage amount of the virtual machine calculated based on the resource usage amount for the predetermined period and the predicted value of the resource usage amount, while the predicted load When the degree of change is less than the predetermined threshold, the average resource of the virtual machine calculated based on the resource usage for the predetermined period, respectively. The resource request amount is calculated based on a deviation of the usage amount and the resource usage amount, and a resource contention value indicating a resource contention value calculated based on an average resource usage rate and the resource usage amount deviation in the information processing apparatus. A distribution calculation unit for calculating, and a resource allocation unit for rearranging and allocating resources of the information processing apparatus to each virtual machine based on a resource request amount for each of the plurality of virtual machines calculated by the distribution calculation unit; A resource allocating device comprising:
Here, when the degree of change in the predicted load is a value equal to or greater than a predetermined threshold (for example, a switching parameter), the distribution calculation unit weights the average resource usage and the predicted value of the resource usage by the prediction evaluation parameter. The resource requirement amount Rreq j may be calculated by adding the values. Further, when the degree of change in the predicted load is a value less than a predetermined threshold, the allocation calculation unit sets the resource contention value with the resource contention evaluation parameter so as to secure more buffers as resource contention easily occurs. You may make it weight.
[2]上記[1]記載のリソース割当装置において、前記複数の仮想マシンそれぞれを、前記平均リソース使用量に基づいて所定の区分に分類する分類処理部を更に備え、前記配分計算部は、前記複数の仮想マシンそれぞれについて、前記分類処理部が分類した区分に対応させて前記リソース要求量を算出することを特徴とする。 [2] The resource allocation device according to [1], further comprising: a classification processing unit that classifies each of the plurality of virtual machines into a predetermined category based on the average resource usage, For each of the plurality of virtual machines, the resource request amount is calculated in association with the classification classified by the classification processing unit.
[3]上記の課題を解決するための本発明の一態様は、情報処理装置のリソースが割り当てられた複数の仮想マシンそれぞれについて、所定期間分のリソース使用量を計測する計測ステップと、前記計測ステップにおいて計測したリソース使用量に基づいて、前記複数の仮想マシンそれぞれについて、リソース使用量の予測値と予測負荷の変化度合いとを計算し、前記予測負荷の変化度合いが所定の閾値以上である場合には、前記所定期間分のリソース使用量に基づき計算される前記仮想マシンの平均リソース使用量と前記リソース使用量の予測値とに基づいてリソース要求量を算出する一方、前記予測負荷の変化度合いが前記所定の閾値未満である場合には、前記所定期間分のリソース使用量に基づきそれぞれ計算される前記仮想マシンの平均リソース使用量およびリソース使用量の偏差と、前記情報処理装置におけるリソースの平均使用率および前記リソース使用量の偏差に基づき計算されるリソース競合の度合いを示すリソース競合値とに基づいて前記リソース要求量を算出する配分計算ステップと、前記配分計算ステップにおいて算出した前記複数の仮想マシンそれぞれについてのリソース要求量に基づいて、前記情報処理装置のリソースを各仮想マシンに再配置して割当てるリソース割当ステップと、を有することを特徴とするリソース割当方法である。 [3] One aspect of the present invention for solving the above-described problem is that a measurement step of measuring a resource usage amount for a predetermined period for each of a plurality of virtual machines to which resources of an information processing device are allocated, and the measurement When the predicted value of the resource usage and the degree of change in the predicted load are calculated for each of the plurality of virtual machines based on the resource usage measured in the step, and the degree of change in the predicted load is greater than or equal to a predetermined threshold Includes calculating the resource request amount based on the average resource usage amount of the virtual machine calculated based on the resource usage amount for the predetermined period and the predicted value of the resource usage amount, while changing the predicted load Is less than the predetermined threshold value, the virtual machine is calculated based on the resource usage for the predetermined period. The resource request based on an average resource usage and a deviation of the resource usage, and a resource contention value indicating a resource contention level calculated based on an average resource usage rate and the resource usage deviation in the information processing apparatus An allocation calculation step for calculating an amount, and a resource allocation step for rearranging and allocating resources of the information processing apparatus to each virtual machine based on a resource request amount for each of the plurality of virtual machines calculated in the allocation calculation step A resource allocation method characterized by comprising:
[4]上記[3]記載のリソース割当方法において、前記複数の仮想マシンそれぞれを、前記平均リソース使用量に基づいて所定の区分に分類する分類ステップを更に有し、前記配分計算ステップは、前記複数の仮想マシンそれぞれについて、前記分類ステップにおいて分類した区分に対応させて前記リソース要求量を算出することを特徴とする。 [4] The resource allocation method according to [3], further including a classification step of classifying each of the plurality of virtual machines into a predetermined category based on the average resource usage, wherein the allocation calculation step includes: For each of a plurality of virtual machines, the resource requirement amount is calculated in correspondence with the classification classified in the classification step.
[5]上記の課題を解決するための本発明の一態様は、コンピュータに、情報処理装置のリソースが割り当てられた複数の仮想マシンそれぞれについて、所定期間分のリソース使用量を計測する計測ステップと、前記計測ステップにおいて計測したリソース使用量に基づいて、前記複数の仮想マシンそれぞれについて、リソース使用量の予測値と予測負荷の変化度合いとを計算し、前記予測負荷の変化度合いが所定の閾値以上である場合には、前記所定期間分のリソース使用量に基づき計算される前記仮想マシンの平均リソース使用量と前記リソース使用量の予測値とに基づいてリソース要求量を算出する一方、前記予測負荷の変化度合いが前記所定の閾値未満である場合には、前記所定期間分のリソース使用量に基づきそれぞれ計算される前記仮想マシンの平均リソース使用量およびリソース使用量の偏差と、前記情報処理装置におけるリソースの平均使用率および前記リソース使用量の偏差に基づき計算されるリソース競合の度合いを示すリソース競合値とに基づいて前記リソース要求量を算出する配分計算ステップと、前記配分計算ステップにおいて算出した前記複数の仮想マシンそれぞれについてのリソース要求量に基づいて、前記情報処理装置のリソースを各仮想マシンに再配置して割当てるリソース割当ステップと、の処理を実行させるためのリソース割当制御プログラムである。 [5] One aspect of the present invention for solving the above problem is a measurement step of measuring a resource usage amount for a predetermined period for each of a plurality of virtual machines to which information processing apparatus resources are assigned to a computer. Based on the resource usage measured in the measurement step, the predicted value of the resource usage and the degree of change in the predicted load are calculated for each of the plurality of virtual machines, and the degree of change in the predicted load is equal to or greater than a predetermined threshold. The resource request amount is calculated based on the average resource usage amount of the virtual machine calculated based on the resource usage amount for the predetermined period and the predicted value of the resource usage amount, while the predicted load When the degree of change is less than the predetermined threshold, it is calculated based on the resource usage for the predetermined period, respectively. Based on the average resource usage of the virtual machine and the deviation of the resource usage, and the resource contention value indicating the degree of resource contention calculated based on the average resource usage rate and the resource usage deviation in the information processing apparatus A resource calculating amount for calculating the resource request amount, and reallocating resources of the information processing apparatus to each virtual machine based on the resource request amount for each of the plurality of virtual machines calculated in the distribution calculating step. The resource allocation control program for performing the process of the resource allocation step to allocate.
[6]上記[5]記載のリソース割当制御プログラムは、前記複数の仮想マシンそれぞれを、前記平均リソース使用量に基づいて所定の区分に分類する分類ステップを更に有し、前記配分計算ステップは、前記複数の仮想マシンそれぞれについて、前記分類ステップにおいて分類した区分に対応させて前記リソース要求量を算出する処理を前記コンピュータに実行させるものである。 [6] The resource allocation control program according to [5] further includes a classification step of classifying each of the plurality of virtual machines into a predetermined category based on the average resource usage, and the allocation calculation step includes: For each of the plurality of virtual machines, the computer is caused to execute a process of calculating the resource request amount corresponding to the classification classified in the classification step.
本発明によれば、1つまたは複数の情報処理装置上に構築される複数の仮想マシンそれぞれが必要とするリソース要求量を負荷追随性およびリソース競合を考慮して求め、適切なリソース容量を確保して仮想マシンに割当てることにより、仮想マシンの集約率を高くすることができる。 According to the present invention, a resource requirement amount required for each of a plurality of virtual machines constructed on one or a plurality of information processing apparatuses is obtained in consideration of load followability and resource competition, and an appropriate resource capacity is ensured. By assigning them to virtual machines, the aggregation rate of virtual machines can be increased.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。図1は、本発明の一実施形態であるリソース割当装置が適用されたサーバシステムの概略の構成図である。同図に示すように、サーバシステム100は、4台の物理サーバ1(同図においては、4台の物理サーバ1を物理サーバ1−1〜1−4として示す。)に6台の仮想サーバ2(同図においては、6台の仮想サーバ2を仮想サーバ2−1〜2−6として示す。)が構築され、これら物理サーバ1−1〜1−4と仮想サーバ2−1〜2−6とを、センタサーバ3およびリソース制御サーバ4が制御する構成を備える。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. FIG. 1 is a schematic configuration diagram of a server system to which a resource allocation device according to an embodiment of the present invention is applied. As shown in the figure, the
なお、サーバシステム100において、物理サーバの台数は4台に限定される必要はなく1台または複数の台数とすることができる。また、仮想サーバの台数も6台に限定されることなく複数の台数とすることができる。
In the
物理サーバ1は、情報処理装置であるサーバ装置であり、CPU(Central Processing Unit)、メモリ、グラフィックス・インタフェース、ネットワーク・インタフェース、ストレージ、I/Oインタフェース等のリソースを備える。
仮想サーバ2は、物理サーバ1に構築される仮想マシンであり、他の仮想サーバ2から独立して物理サーバ1のリソースを使用する。つまり、図1に示すサーバシステム100においては、あたかも6台の独立したサーバが存在するかのように仮想化される。
The
The
リソース制御サーバ4は、仮想サーバ2へのリソースの割当てを管理する。リソース制御サーバ4は、リソースの割当てを管理するにあたり、仮想サーバ2のリソース使用量の計測指示と、仮想サーバ2を負荷に応じて分類するための分類計算指示と、仮想サーバ2の物理サーバ1への割当てを決定するための配分計算指示とをセンタサーバ3に供給する。また、リソース制御サーバ4は、仮想サーバ2の初期配置指示をセンタサーバ3に供給したり、センタサーバ3から取得する仮想サーバ2のリソース要求量に基づいて、仮想サーバ2のリソース割当指示をセンタサーバ3に供給したりする。
The
センタサーバ3は、リソース制御サーバ4から供給される計測指示と分類計算指示と配分計算指示とに基づいて、物理サーバ1に構築される仮想サーバ2を負荷に応じて動的に分類し、仮想サーバ2のリソース要求量を算出してリソース制御サーバ4に供給する。また、センタサーバ3は、リソース制御サーバ4から供給される初期配置指示またはリソース割当指示に基づいて、物理サーバ1に仮想サーバ2を配置し割当てる。
The
図1においては不図示であるが、物理サーバ1とセンタサーバ3とリソース制御サーバ4とは、ネットワーク等の電気通信回線を介して接続される。
Although not shown in FIG. 1, the
次に、リソース制御サーバ4およびセンタサーバ3の機能構成について説明する。図2は、リソース制御サーバ4およびセンタサーバ3の機能構成を示すブロック図である。同図に示すように、リソース制御サーバ4およびセンタサーバ3は、割当管理部10と、計測処理部20と、分類計算部(分類処理部)30と、配分計算部40と、リソース割当部50とを備える。
すなわち、本実施形態におけるリソース割当装置は、割当管理部10と計測処理部20と分類計算部30と配分計算部40とリソース割当部50とを含む装置である。
Next, functional configurations of the
That is, the resource allocation device in the present embodiment is a device that includes the
割当管理部10は、リソース割当てに関する制御機能と各種情報を記憶する記憶機能とを有する。つまり、割当管理部10は、制御機能として、計測処理部20と分類計算部30と配分計算部40とリソース割当部50とを制御する。また、割当管理部10は、記憶機能として、システム情報記憶部11と、制御情報記憶部12と、計測情報記憶部13と、配置情報記憶部14とを備えて管理情報を記憶管理する。システム情報記憶部11と制御情報記憶部12と計測情報記憶部13と配置情報記憶部14とは、例えば、ハードディスク装置もしくは半導体記憶装置、またはこれらの組み合わせにより構成される。
The
システム情報記憶部11は、システム情報を記憶する。制御情報記憶部12は、制御情報を記憶する。計測情報記憶部13は、計測情報を記憶する。また、配置情報記憶部14は、配置情報を記憶する。管理情報に含まれる、システム情報と制御情報と計測情報と配置情報との詳細については後述する。
割当管理部10は、例えばサーバシステム100のシステム管理者による不図示の操作部の操作によって外部から入力されたシステム情報および制御情報を、システム情報記憶部11および制御情報記憶部12にそれぞれ記憶する。
The system
The
計測処理部20は、割当管理部10から供給される計測指示を取り込むと、実行環境である仮想サーバ2および物理サーバ1から、仮想サーバ2それぞれについての各リソースのリソース使用量を取得する。そして、計測処理部20は、取得したリソース使用量を示すデータを含めた計測情報を割当管理部10に供給する。
分類計算部30は、割当管理部10から供給される分類計算指示を取り込むと、リソース使用量に基づいて仮想サーバ2を分類するための分類計算処理を実行する。
配分計算部40は、割当管理部10から供給される配分計算指示を取り込むと、仮想サーバ2を割当てる物理サーバ1を決定するための仮想サーバ配置計算処理を実行する。
リソース割当部50は、割当管理部10から供給される初期配置指示またはリソース割当指示を取り込むと、物理サーバ1に仮想サーバ2を配置し割当てる処理を実行する。
When the
When the
When the
When the
次に、システム情報記憶部11と制御情報記憶部12と計測情報記憶部13と配置情報記憶部14とが記憶する各種情報について説明する。まず、図3は、割当管理部10が管理する管理情報の分類を示す図である。同図に示すように、割当管理部10が管理する管理情報は、システム情報と、制御情報と、計測情報と、配置情報とを含む。システム情報は、リソース情報と、物理サーバリソース情報と、仮想サーバ基本情報と、仮想サーバリソース情報とに分類される。また、制御情報は、基本情報と、分類定義情報と、分類評価情報とに分類される。
Next, various information stored in the system
リソース情報は、物理サーバ1が備えるリソースを特定する情報を含む。図4は、リソース情報のデータ構成を示す図である。同図に示すように、リソース情報は、リソース識別情報とリソース名称とを関係付けて含む。リソース識別情報は、リソースを識別する情報である。リソース名称は、リソース識別情報が示すリソースの名称である。リソース情報における主キーは、リソース識別情報である。リソース情報は、外部からの供給等によって、システム情報記憶部11に予め記憶されるものである。
The resource information includes information that identifies a resource included in the
物理サーバリソース情報は、物理サーバ1が備えるリソースに関する情報を含む。図5は、物理サーバリソース情報のデータ構成を示す図である。同図に示すように、物理サーバリソース情報は、物理サーバ識別情報と、リソース識別情報と、リソース上限値と、平均使用率とを関係付けて含む。物理サーバ識別情報は、物理サーバ1を識別する情報である。リソース識別情報は、物理サーバ識別情報が示す物理サーバ1が備えるリソースに対応する識別情報である。リソース上限値は、リソース識別情報が示すリソースの上限値(最大値)であり、平均使用率は、当該リソースの一定サンプリング期間におけるリソース上限値に対する使用率の平均値である。物理サーバリソース情報における主キーは、物理サーバ識別情報である。物理サーバリソース情報は、外部からの供給等によってシステム情報記憶部11に予め記憶され、その後の計測処理部20による計測処理に基づいて、割当管理部10により平均使用率が更新される。
The physical server resource information includes information regarding resources provided in the
仮想サーバ基本情報は、仮想サーバ2についての初期の配置先と分類との情報を含む。図6は、仮想サーバ基本情報のデータ構成を示す図である。同図に示すように、仮想サーバ基本情報は、仮想サーバ識別情報と、初期配置先識別情報と、分類識別情報とを関連付けて含む。仮想サーバ識別情報は、仮想サーバ2を識別する情報である。初期配置先識別情報は、仮想サーバ識別情報が示す仮想サーバ2が初期配置指示に基づき最初に配置される物理サーバ1を示す識別情報である。分類識別情報は、仮想サーバ識別情報が示す仮想サーバ2の分類を識別する情報である。仮想サーバ基本情報における主キーは、仮想サーバ識別情報である。仮想サーバ基本情報は、外部からの供給等によってシステム情報記憶部11に予め記憶され、その後の分類計算部30による分類計算処理に基づいて、割当管理部10により分類識別情報が更新される。
The virtual server basic information includes information on the initial placement destination and classification of the
仮想サーバリソース情報は、仮想サーバ2が確保するリソースに関する情報を含む。図7は、仮想サーバリソース情報のデータ構成を示す図である。同図に示すように、仮想サーバリソース情報は、仮想サーバ識別情報と、リソース識別情報と、平均リソース使用量と、リソース使用量偏差とを関係付けて含む。仮想サーバ識別情報は、仮想サーバ2を識別する情報である。リソース識別情報は、仮想サーバ識別情報が示す仮想サーバ2が確保するリソースに対応する識別情報である。平均リソース使用量は、リソース識別情報が示すリソースの、一定サンプリング期間におけるリソース使用量の平均値であり、リソース使用量偏差は、当該リソースの平均リソース使用量の偏差である。仮想サーバリソース情報における主キーは、仮想サーバ識別情報である。物理サーバリソース情報は、外部からの供給等によってシステム情報記憶部11に予め記憶され、その後の計測処理部20による計測処理に基づいて、割当管理部10により更新される。
The virtual server resource information includes information regarding resources reserved by the
基本情報は、リソース割当装置における制御パラメータを含む。図8は、基本情報のデータ構成を示す図である。同図に示すように、基本情報は、仮想サーバ移動上限パラメータと、制御間隔パラメータとを含む。仮想サーバ移動上限パラメータは、仮想サーバ2の再配置に際して、仮想サーバ2が物理サーバ間を跨って移動する回数の許容上限値である。制御間隔パラメータは、割当管理部10がリソース割当の制御を行う周期を示す時間である。基本情報は、外部からの供給等によって、制御情報記憶部12に予め記憶されるものである。
The basic information includes control parameters in the resource allocation device. FIG. 8 is a diagram illustrating a data configuration of basic information. As shown in the figure, the basic information includes a virtual server movement upper limit parameter and a control interval parameter. The virtual server movement upper limit parameter is an allowable upper limit value of the number of times the
分類定義情報は、仮想サーバ2を分類するための定義情報を含む。図9は、分類定義情報のデータ構成を示す図である。同図に示すように、分類定義情報は、分類識別情報と、リソース識別情報と、リソース重心値とを含む。分類識別情報は、仮想サーバ2の分類を示す識別情報である。例えば、比較的負荷が大きな処理を行う仮想サーバ2の分類(ヘビーユーザ)を分類Aとし、比較的負荷が小さな処理を行う仮想サーバ2の分類(ライトユーザ)を分類Cとし、分類Aと分類Cとの中間にあたる負荷の処理を行う仮想サーバ2の分類(ミドルユーザ)を分類Cとする。リソース識別情報は、リソース情報に設定されたリソース識別情報に対応する情報であり、リソース重心値は、分類識別情報が示す分類の負荷が、リソース識別情報が示すリソースにかかった場合の負荷の重心値である。分類定義情報における主キーは、分類識別情報である。分類定義情報は、外部からの供給等によって、制御情報記憶部12に予め記憶されるものである。
The classification definition information includes definition information for classifying the
分類評価情報は、分類ごとにリソース要求量を評価するときに用いられる評価パラメータを含む。図10は、分類評価情報のデータ構成を示す図である。同図に示すように、分類評価情報は、分類識別情報と、偏差評価パラメータと、予測評価パラメータと、切替パラメータと、リソース競合評価パラメータとを含む。分類識別情報は、分類定義情報に設定された分類識別情報に対応する情報である。偏差評価パラメータは、仮想サーバリソース情報に含まれるリソース使用量偏差を重み付けするためのパラメータであり、配分計算部40がバッファをどの程度確保するかを決定するものである。予測評価パラメータは、配分計算部40が算出するリソース使用量の予測値と、仮想サーバリソース情報に含まれる平均リソース使用量とのバランスを調整するための重み付けパラメータである。切替パラメータは、配分計算部40がリソース要求量を計算する際に、リソース使用量の予測値を考慮するか否かを決定するための閾値である。リソース競合評価パラメータは、配分計算部40が算出するリソース競合値を重み付けするためのパラメータであり、リソース競合が起こっているときにバッファをどの程度確保するかを決定するためのパラメータである。このリソース競合値は、リソースが競合する度合いを数値化したものである。
The classification evaluation information includes an evaluation parameter used when evaluating the resource requirement for each classification. FIG. 10 is a diagram illustrating a data configuration of the classification evaluation information. As shown in the figure, the classification evaluation information includes classification identification information, a deviation evaluation parameter, a prediction evaluation parameter, a switching parameter, and a resource competition evaluation parameter. The classification identification information is information corresponding to the classification identification information set in the classification definition information. The deviation evaluation parameter is a parameter for weighting the resource usage deviation included in the virtual server resource information, and determines how much the
計測情報は、計測処理部20が実行環境である仮想サーバ2および物理サーバ1から取得したリソース使用量とその関連データとを含む情報である。図11は、計測情報のデータ構成を示す図である。同図に示すように、計測情報は、データ取得時刻と、仮想サーバ識別情報と、リソース識別情報と、リソース使用量とを関係付けて含む。データ取得時刻は、計測処理部20が実行環境から計測データを取得した年月日および時分秒を示す時刻情報である。仮想サーバ識別情報は、計測対象である仮想サーバ2を識別する識別情報である。リソース識別情報は、計測対象であるリソースの識別情報である。リソース使用量は、計測したリソース使用量を示す計測データである。
The measurement information is information including the resource usage acquired by the
配置情報は、仮想サーバ2が配置される物理サーバ1を示す、物理サーバ1と仮想サーバ2との配置関係を示す情報である。図12は、配置情報のデータ構成を示す図である。同図に示すように、配置情報は、物理サーバ識別情報と仮想サーバ識別情報とを関係付けて含む。物理サーバ識別情報は、物理サーバ1を識別する情報である。仮想サーバ識別情報は、物理サーバ識別情報が示す物理サーバ1に配置される仮想サーバ2の識別情報である。
The placement information is information indicating the placement relationship between the
次に、本実施形態におけるサーバシステム100の動作について説明する。図13および図14は、サーバシステム100の基本的な動作手順を示すシーケンス図である。システム管理者による操作部の操作によって、リソース情報と物理サーバリソース情報と仮想サーバ基本情報と仮想サーバリソース情報と(以上、システム情報)がシステム情報記憶部11に記憶され、また、基本情報と分類定義情報と分類評価情報と(以上、制御情報)が制御情報記憶部12に記憶された後、図13に示すシーケンス図による処理が実行される。図13のシーケンス図による処理が終了した後、図14のシーケンス図による処理が実行される。
Next, the operation of the
まず、ステップS1において、割当管理部10は、初期配置指示命令をリソース割当部50に供給する。そして、割当管理部10は、システム情報記憶部11から読み込んだ仮想サーバ基本情報にもとづいて配置情報記憶部14に記憶された配置情報を更新する。次に、ステップS2において、リソース割当部50は、割当管理部10から供給された初期配置指示命令を取り込むと、システム情報記憶部11に記憶されたリソース情報、物理サーバリソース情報、仮想サーバ基本情報、および仮想サーバリソース情報と、配置情報記憶部14に記憶された配置情報とに基づいて、仮想サーバ2の初期の配置処理を実行する。この初期の配置処理は、物理サーバ1とその物理サーバ1に構築される仮想サーバ2と仮想サーバ2が確保するリソースとの関連付けが行われて、公知のサーバ仮想化技術によって仮想化が行われる。
First, in step S <b> 1, the
次に、ステップS3において、割当管理部10は、計測指示命令を計測処理部20に供給するとともに計時を開始する。次に、ステップS4において、計測処理部20は、割当管理部10から供給された計測指示命令を取り込むと、配置情報記憶部14に記憶された配置情報を読み込み、実行環境である仮想サーバ2および物理サーバ1に対してリソース使用量の計測指示を供給する。次に、ステップS5において、実行環境である仮想サーバ2および物理サーバ1は、計測処理部20から供給された計測指示を取り込むと、リソースごとのリソース使用量を取得し、これら取得したリソース使用量の値を含めた計測データを計測処理部20に供給する。次に、ステップS6において、計測処理部20は、仮想サーバ2から供給された計測データを現在の日付および時刻の情報とともに取り込み、これら取り込んだデータを含めた計測情報を生成して割当管理部10に供給する。
Next, in step S3, the
次に、ステップS7において、割当管理部10は、計測処理部20から供給された計測情報を取り込むと、計測情報記憶部13に記憶された計測情報を更新する。次に、ステップS8において、割当管理部10は、ステップS3の処理において計時を開始したときから、制御情報記憶部12に記憶された基本情報に含まれる制御間隔パラメータが示す時間が経過した否かを判定する。そして、割当管理部10は、現時点での経過時間が制御間隔パラメータに示される時間を経過していないと判定した場合(S8:YES)は、ステップS3の処理に戻り、現時点での経過時間が制御間隔パラメータに示される時間を経過したと判定した場合(S8:NO)は、ステップS9の処理に移る。
Next, in step S <b> 7, the
ステップS9において、割当管理部10は、計測情報記憶部13に記憶された計測情報に基づいて、物理サーバ1それぞれのリソースごとの平均使用率を計算し、システム情報記憶部11に記憶された物理サーバリソース情報を更新する。次に、ステップS10において、割当管理部10は、計測情報記憶部13に記憶された計測情報に基づいて、仮想サーバ2それぞれのリソースごとの平均リソース使用量とリソース使用量偏差とを計算し、システム情報記憶部11に記憶された仮想サーバリソース情報を更新する。
In step S <b> 9, the
次に、図14に示すシーケンス図のステップS11において、割当管理部10は、分類計算指示命令を分類計算部30に供給する。次に、ステップS12において、分類計算部30は、割当管理部10から供給された分類計算指示命令を取り込むと、仮想サーバ2を負荷に応じて分類するための分類計算処理を実行する。この分類計算処理については、その詳細を後述する。
Next, in step S <b> 11 of the sequence diagram shown in FIG. 14, the
次に、ステップS13において、割当管理部10は、配分計算指示命令を配分計算部40に供給する。次に、ステップS14において、配分計算部40は、割当管理部10から供給された配分計算指示命令を取り込むと、仮想サーバ2を再配置するための仮想サーバ配置計算処理を実行する。この仮想サーバ配置計算処理については、その詳細を後述する。次に、ステップS15において、配分計算部40は、仮想サーバ配置計算処理の戻り値である配置情報を割当管理部10に供給する。次に、ステップS16において、割当管理部10は、配分計算部40から供給された配置情報を取り込むと、配置情報記憶部14に記憶された配置情報を更新する。
Next, in step S <b> 13, the
次に、ステップS17において、割当管理部10は、リソース割当指示命令をリソース割当部50に供給する。次に、ステップS18において、リソース割当部50は、割当管理部10から供給されたリソース割当指示命令を取り込むと、システム情報記憶部11に記憶されたリソース情報、物理サーバリソース情報、仮想サーバ基本情報、および仮想サーバリソース情報と、配置情報記憶部14に記憶された配置情報とに基づいて、仮想サーバ2の再配置の処理を実行する。この再配置処理は、ステップS2の処理と同様に、物理サーバ1とその物理サーバ1に構築される仮想サーバ2と仮想サーバ2が確保するリソースとの関連付けが行われて、公知のサーバ仮想化技術によってリソースの再配置が行われる。次に、ステップS19において、リソース割当部50は、リソースの再配置の処理が終了すると、処理の終了を示す配置応答を割当管理部10に供給する。
Next, in step S <b> 17, the
次に、分類計算部30が実行する分類計算処理について説明する。図15は、分類計算部30が実行する分類計算処理の手順を示すフローチャートである。分類計算部30は、割当管理部10から供給された分類計算指示命令を取り込むと、このフローチャートの処理を開始する。
まず、ステップS101において、分類計算部30は、システム情報記憶部11に記憶された仮想サーバリソース情報から、仮想サーバ2ごとの各リソースの平均リソース使用量を読み出して平均リソース使用量ベクトルを作成する。
具体的には、分類計算部30は、システム情報記憶部11に記憶された仮想サーバリソース情報(図7を参照)において、例えば、仮想サーバ識別情報が“1”であるレコードについて、平均リソース使用量ベクトルX(ボールド体)1=(1GHz,100MB,・・・)を作成する。ここで、「(ボールド体)」との記載は、その直前の文字または文字列がボールド体で表されることを示し、当該文字または当該文字列がベクトルを表すことを意味する。
Next, the classification calculation process executed by the
First, in step S101, the
Specifically, the
次に、ステップS102において、分類計算部30は、制御情報記憶部12に記憶された分類定義情報から、分類識別情報ごとにリソース重心値を読み出してリソース重心ベクトルを作成する。
具体的には、分類計算部30は、制御情報記憶部12に記憶された分類定義情報(図9を参照)において、例えば、分類識別情報が“A”であるレコードについて、リソース重心ベクトルY(ボールド体)C=A=(aaa1,bbb1,・・・)を作成する。
Next, in step S102, the
Specifically, the
次に、ステップS103において、分類計算部30は、1つの仮想サーバ2を選択して、平均リソース使用量ベクトルX(ボールド体)と、リソース重心ベクトルY(ボールド体)C=nとの距離が最も小さなリソース重心ベクトルY(ボールド体)C=kを選択する。この距離の計算は、例えば、平均リソース使用量ベクトルX(ボールド体)とリソース重心ベクトルY(ボールド体)C=nとの差分値の二乗である。次に、ステップS104において、分類計算部30は、ステップS103の処理において選択したリソース重心ベクトルY(ボールド体)C=kにおける分類識別情報kで、システム情報記憶部11に記憶された仮想サーバ基本情報の、現在選択している仮想サーバ2に対応する分類識別情報を更新する。
Next, in step S103, the
次に、ステップS105において、分類計算部30は、システム情報記憶部11に記憶された仮想サーバリソース情報に含まれる仮想サーバ識別情報に基づいて、全ての仮想サーバ2について計算したか否かを判定し、まだ未計算の仮想サーバ2があると判定した場合(S105:NO)は、ステップS103の処理に戻り、全ての仮想サーバ2についての計算が終了したと判定した場合(S105:YES)は、このフローチャートの処理を終了する。
Next, in step S105, the
次に、配分計算部40が実行する仮想サーバ配置計算処理について説明する。図16は、配置計算部40が実行する仮想サーバ配置計算処理の手順を示すフローチャートである。配分計算部40は、割当管理部10から供給された配分計算指示命令を取り込むと、このフローチャートの処理を開始する。
まず、ステップS201において、配分計算部40は、配置情報記憶部14に記憶された配置情報に基づいて、仮想サーバ2と物理サーバ1との配置組合わせを計算により求めて評価配置情報を作成する。
具体的には、配分計算部40は、公知の探索アルゴリズムである全探索法アルゴリズムを適用して仮想サーバ2と物理サーバ1との配置組合わせを計算により求めて評価配置情報を作成する。例えば、2台の物理サーバ1−1,1−2と3台の仮想サーバ2−1〜2−3との配置組合わせの場合、配分計算部40は、8個の評価配置データを含む評価配置情報を作成する。
Next, the virtual server arrangement calculation process executed by the
First, in step S201, the
Specifically, the
なお、配分計算部40は、探索アルゴリズムとして、全探索法アルゴリズムの他に、例えば、動的計画法(DP:Dynamic Programming)法、遺伝的アルゴリズム(GA:Genetic Algorithm)GA法等を適用可能である。
In addition to the full search algorithm, the
次に、ステップS202において、配分計算部40は、ステップS201の処理において作成した評価配置情報に含まれる全ての評価配置データの評価が終了したか否かを判定する。配分計算部40は、全ての評価配置データの評価が終了したと判定した場合(S202:YES)は、現在の配置情報を戻り値にしてこのフローチャートの処理を終了する。一方、配分計算部40は、未評価の評価配置データが残っていると判定した場合(S202:NO)は、ステップS203の処理に移る。
Next, in step S202, the
ステップS203において、配分計算部40は、評価配置情報から1つの評価配置データを選択する。次に、ステップS204において、配分計算部40は、選択した評価配置データの評価処理を実行して評価値と移動数とを取得する。この評価配置データの評価処理については、その詳細を後述する。
In step S203, the
次に、ステップS205において、配分計算部40は、ステップS204における評価配置データの評価処理の戻り値である評価値と、この仮想サーバ配置計算処理における変数である現時点での最小評価値とを比較し、評価値が最小評価値以下であると判定した場合(S205:YES)はステップS206の処理に移り、評価値が最小評価値よりも大きいと判定した場合(S205:NO)はステップS202の処理に戻る。
ステップS206において、配分計算部40は、ステップS204における評価配置データの評価処理の戻り値である移動数と、この仮想サーバ配置計算処理における変数である現時点での最小移動数とを比較し、移動数が最小移動数よりも小さいと判定した場合(S206:YES)はステップS207の処理に移り、移動数が最小移動数以上であると判定した場合(S206:NO)はステップS202の処理に戻る。
Next, in step S205, the
In step S206, the
ステップS207において、配分計算部40は、評価値を最小評価値に代入し、移動数を最小移動数に代入し、現在選択している評価配置データを配置情報に代入してステップS202の処理に移る。
In step S207, the
次に、配分計算部40が実行する評価配置データの評価処理について説明する。図17は、配置計算部40が実行する評価配置データの評価処理の手順を示すフローチャートである。
まず、ステップS301において、配分計算部40は、システム情報記憶部11に記憶された物理サーバリソース情報、仮想サーバ基本情報、および仮想サーバリソース情報と、制御情報記憶部12に記憶された分類評価情報および基本情報と、配置情報記憶部14に記憶された配置情報とを読み込む。
Next, the evaluation processing of evaluation arrangement data executed by the
First, in step S <b> 301, the
次に、ステップS302において、配分計算部40は、仮想サーバ2ごとに、リソースごとのリソース使用量の予測値を計算する。このリソース使用量の予測値の計算は、例えば、リソース使用量の時系列データに基づいて将来値を予測する分析方法として公知である指数平滑法により計算する。この指数平滑法とは、時系列データに対して重み付け平均を計算して平滑化する方法であり、過去に遡るほど小さくなる指数型の重み付けを行うものである。本実施形態では、配分計算部40は、指数平滑法の中の二次指数平滑法を適用してリソース使用量の予測値を計算する。次に、配分計算部40は、リソース使用量の予測値それぞれに対応させて、リソース使用量の予測値の傾きの大きさである予測負荷の変化度合いを計算する。この予測負荷の変化度合いは、例えばリソース使用量の予測値の傾きを表す値の絶対値である。
Next, in step S <b> 302, the
次に、ステップS303において、配分計算部40は、仮想サーバ2ごとに、分類に応じてリソース要求量を計算する。
具体的には、配分計算部40は、ステップS302の処理において計算した予測負荷の変化度合いに応じてリソース要求量の計算を行う。つまり、配分計算部40は、まず仮想サーバ基本情報から、計算対象である仮想サーバ2の仮想サーバ識別情報に対応する分類識別情報を抽出し、分類評価情報からその抽出した分類識別情報に対応する偏差評価パラメータと予測評価パラメータと切替パラメータとリソース競合評価パラメータとを抽出する。次に、配分計算部40は、予測負荷の変化度合いが切替パラメータ以上の値である場合は、下記の式(1)によりリソース要求量Rreqjを計算する。なお、式(1)において、jは仮想サーバ識別情報、βjは予測評価パラメータ(0<βj<1)、mは平均リソース使用量、pvはリソース使用量の予測値、aは予測負荷の傾き、γjは切替パラメータである。
Next, in step S <b> 303, the
Specifically, the
つまり、予測負荷の傾きの絶対値|a|(予測負荷の変化度合い)が切替パラメータγj以上の値である場合は、予測負荷が比較的大きく変動しているため、平均リソース使用量に対する偏差には誤差が含まれる割合が大きい。そこで、予測負荷の傾きの絶対値|a|が切替パラメータγj以上の値である場合は、配分計算部40は、平均リソース使用量mとリソース使用量の予測値pvとを、予測評価パラメータβjによる重み付けをして加算することによってリソース要求量Rreqjを計算する。
このように平均リソース使用量mとリソース使用量の予測値pvとを併せ用いてリソース要求量を計算することによって、負荷追随性を改善することができる。そして、例えば計測期間の長さに応じて予測評価パラメータβjの重み付けの割合を変えてリソース使用量の予測値pvを補間するようにすれば、負荷追随性を微調整することができ、より高精度に負荷追随をさせることができる。
That is, when the absolute value | a | (the degree of change in the predicted load) of the predicted load is a value greater than or equal to the switching parameter γ j , the predicted load fluctuates relatively greatly, and thus the deviation from the average resource usage amount. Has a large percentage of errors. Therefore, when the absolute value | a | of the gradient of the predicted load is a value greater than or equal to the switching parameter γ j , the
Thus, by calculating the resource request amount using the average resource usage amount m and the predicted value pv of the resource usage amount, the load followability can be improved. For example, if the predicted value pv of the resource usage is interpolated by changing the weighting ratio of the prediction evaluation parameter β j according to the length of the measurement period, the load followability can be finely adjusted. The load can be followed with high accuracy.
なお、式(1)において、平均リソース使用量mとリソース使用量の予測値pvとの重み付けは、独立に設定されるものであってもよい。 In equation (1), the weighting of the average resource usage m and the predicted value pv of the resource usage may be set independently.
一方、配分計算部40は、予測負荷の傾きの絶対値|a|が切替パラメータγj未満の値である場合は、下記の式(2)によりリソース要求量Rreqjを計算する。なお、式(2)においてαjは偏差評価パラメータ、dはリソース使用量偏差、ζjはリソース競合評価パラメータ、rcはリソース競合値、mrは平均使用率である。また、sig( )は、シグモイド関数である。
On the other hand, when the absolute value | a | of the predicted load gradient is less than the switching parameter γ j , the
つまり、予測負荷の傾きの絶対値|a|が切替パラメータγj未満の値である場合は、負荷変動が定常状態またはそれに近い状態であり、リソース要求量はリソース使用量偏差dを考慮した評価式とすることできる。しかし、物理サーバ1のリソースの平均使用率mrが高く、且つリソース使用量偏差dが低いほどリソース競合が発生し易くなるため、配分計算部40は、このリソース競合が発生し易くなるにしたがってバッファを多く確保するように、リソース競合評価パラメータζjでリソース競合値rcを重み付ける。
That is, when the absolute value | a | of the predicted load slope is less than the switching parameter γ j , the load fluctuation is in a steady state or a state close thereto, and the resource request amount is evaluated in consideration of the resource usage deviation d. It can be an expression. However, as the average resource utilization rate mr of the
次に、ステップS304において、配分計算部40は、物理サーバ1ごとに、リソース要求量の合計である合計リソース要求量を計算する。次に、ステップS305において、配分計算部40は、引数である評価配置データと配置情報とに基づいて、仮想サーバ2の移動数を計算する。つまり、評価配置データと配置情報とを比較して、配置情報における仮想サーバ2の配置状態から評価配置データにおける仮想サーバ2の配置状態へ変更するために必要な仮想サーバ2の移動数を計算する。
Next, in step S <b> 304, the
次に、ステップS306において、配分計算部40は、物理サーバ1ごとに、合計リソース要求量がリソース上限以下であって且つ仮想サーバ2の移動数が移動上限以下であるか否かについて判定する。
具体的には、配分計算部40は、物理サーバ1ごとに、ステップS304の処理において計算した合計リソース要求量が、物理サーバリソース情報に含まれるリソース上限値以下であり、且つステップS305の処理において計算した仮想サーバ2の移動数が、基本情報に含まれる仮想サーバ移動上限パラメータ以下であるか否かについて判定する。
そして、その判定の結果が肯定的な結果である場合(ステップS306:YES)は、ステップS307の処理に移り、否定的な結果である場合(ステップS306:NO)は、ステップS308の処理に移る。
Next, in step S306, the
Specifically, for each
If the result of the determination is a positive result (step S306: YES), the process proceeds to step S307. If the result is negative (step S306: NO), the process proceeds to step S308. .
ステップS307において、配分計算部40は、仮想サーバ2の配置が要求された物理サーバ1の台数の値を、戻り値である評価値とする。一方、ステップS308において、配分計算部40は、例えば無限大を表す値や負の値等の異常値を、戻り値である評価値とする。
In step S307, the
以上説明したとおり、本発明の実施形態によれば、物理サーバ1−1〜1−4に構築される仮想サーバ2−1〜2−6のそれぞれが必要とするリソース要求量を、負荷追随性およびリソース競合を考慮して求め、適切なリソース容量を確保して仮想サーバ2−1〜2−6に割当てることにより、仮想サーバ2−1〜2−6の集約率を高くすることができる。 As described above, according to the embodiment of the present invention, the resource request amount required for each of the virtual servers 2-1 to 2-6 constructed in the physical servers 1-1 to 1-4 is determined according to the load followability. In addition, the aggregation rate of the virtual servers 2-1 to 2-6 can be increased by obtaining in consideration of resource competition and securing an appropriate resource capacity and allocating them to the virtual servers 2-1 to 2-6.
なお、上述した実施形態では、リソース割当装置が、仮想サーバ2を負荷に応じて動的に分類したうえでリソース要求量を計算して評価する例を示した。これの変形例として、リソース割当装置が、負荷の応じた動的分類の処理を省いてリソース要求量を計算して評価するようにしてもよい。
In the above-described embodiment, an example is shown in which the resource allocation device calculates and evaluates the resource request amount after dynamically classifying the
ここで、前述した実施形態および上記の変形例によるサーバシステムと、リソース使用量の予測およびリソース競合を考慮しない従来技術によるサーバシステムとの動作実験の結果を示す。図18は、上述した実施形態によるサーバシステムと従来技術によるサーバシステムとにおける、ステップ数に対するリソース要求量を示すグラフである。同図において明らかなように、本発明の実施形態および変形例は、従来技術に対して負荷へのフィッティング性が格段に優れている。特に、大きな負荷から小さな負荷に遷移する箇所における追随性は、従来技術より極めて優れている。
また、図19は、図18に示す実験を1000ステップまで行って、その実験結果を累計したグラフである。図19からも明らかなように、本発明の実施形態によれば、負荷に対するリソース要求量の距離が従来技術よりも小さく、負荷に応じて適切なリソースが要求できていることが分かる。
Here, a result of an operation experiment between the server system according to the above-described embodiment and the above-described modification and the server system according to the related art that does not consider resource usage prediction and resource competition will be described. FIG. 18 is a graph showing the resource request amount with respect to the number of steps in the server system according to the above-described embodiment and the server system according to the related art. As is apparent from the figure, the embodiment and the modification of the present invention are much more excellent in fitting to the load than the prior art. In particular, the followability at a location where the load changes from a large load to a small load is extremely superior to that of the prior art.
FIG. 19 is a graph in which the experiment shown in FIG. As is apparent from FIG. 19, according to the embodiment of the present invention, it can be seen that the distance of the resource request amount with respect to the load is smaller than that of the prior art, and an appropriate resource can be requested according to the load.
すなわち、本実施形態による、リソース競合を考慮した負荷予測と動的分類との両方を行ったサーバシステムによれば、仮想サーバ2の集約率を従来技術に対して約25%向上させることができる。また、本実施形態の変形例による、リソース競合を考慮した負荷予測のみをサーバシステムによれば、仮想サーバ2の集約率を従来技術に対して約22%向上させることができる。これにより、本実施形態および本実施形態の変形例によるサーバシステムによれば、従来技術によるサーバシステムに比べて物理サーバ1の台数を削減することができる。
That is, according to the server system that performs both load prediction and dynamic classification in consideration of resource competition according to the present embodiment, the aggregation rate of the
なお、上述した実施形態によるサーバシステム100において、リソース制御サーバ4の機能とセンタサーバ3の機能とを統合したサーバとしてもよい。この場合、統合したサーバのリソース割当制御機能をコンピュータで実現するようにしてもよい。この場合、そのリソース割当制御機能を実現するためのリソース割当制御プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたリソース割当制御プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
In the
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
1,1−1〜1−4 物理サーバ
2,2−1〜2−6 仮想サーバ
3 センタサーバ
4 リソース制御サーバ
10 割当管理部
11 システム情報記憶部
12 制御情報記憶部
13 計測情報記憶部
14 配置情報記憶部
20 計測処理部
30 分類計算部
40 配分計算部
50 リソース割当部
100 サーバシステム
DESCRIPTION OF
Claims (6)
前記計測処理部が計測したリソース使用量に基づいて、前記複数の仮想マシンそれぞれについて、リソース使用量の予測値と予測負荷の変化度合いとを計算し、前記予測負荷の変化度合いが所定の閾値以上である場合には、前記所定期間分のリソース使用量に基づき計算される前記仮想マシンの平均リソース使用量と前記リソース使用量の予測値とに基づいてリソース要求量を算出する一方、前記予測負荷の変化度合いが前記所定の閾値未満である場合には、前記所定期間分のリソース使用量に基づきそれぞれ計算される前記仮想マシンの平均リソース使用量およびリソース使用量の偏差と、前記情報処理装置におけるリソースの平均使用率および前記リソース使用量の偏差に基づき計算されるリソース競合の度合いを示すリソース競合値とに基づいて前記リソース要求量を算出する配分計算部と、
前記配分計算部が算出した前記複数の仮想マシンそれぞれについてのリソース要求量に基づいて、前記情報処理装置のリソースを各仮想マシンに再配置して割当てるリソース割当部と、
を備えることを特徴とするリソース割当装置。 For each of a plurality of virtual machines to which resources of the information processing device are allocated, a measurement processing unit that measures resource usage for a predetermined period;
Based on the resource usage measured by the measurement processing unit, the predicted value of the resource usage and the degree of change in the predicted load are calculated for each of the plurality of virtual machines, and the degree of change in the predicted load is equal to or greater than a predetermined threshold. The resource request amount is calculated based on the average resource usage amount of the virtual machine calculated based on the resource usage amount for the predetermined period and the predicted value of the resource usage amount, while the predicted load And the deviation of the average resource usage of the virtual machine and the resource usage calculated respectively based on the resource usage for the predetermined period, and the information processing device A resource contention value indicating the degree of resource contention calculated based on the average resource usage rate and the deviation of the resource usage; A distribution calculator for calculating the resource demand based,
A resource allocation unit that rearranges and allocates resources of the information processing apparatus to each virtual machine based on a resource request amount for each of the plurality of virtual machines calculated by the distribution calculation unit;
A resource allocation device comprising:
前記配分計算部は、前記複数の仮想マシンそれぞれについて、前記分類処理部が分類した区分に対応させて前記リソース要求量を算出する
ことを特徴とする請求項1記載のリソース割当装置。 A classification processing unit that classifies each of the plurality of virtual machines into a predetermined classification based on the average resource usage;
The resource allocation apparatus according to claim 1, wherein the distribution calculation unit calculates the resource request amount for each of the plurality of virtual machines in association with the classification classified by the classification processing unit.
前記計測ステップにおいて計測したリソース使用量に基づいて、前記複数の仮想マシンそれぞれについて、リソース使用量の予測値と予測負荷の変化度合いとを計算し、前記予測負荷の変化度合いが所定の閾値以上である場合には、前記所定期間分のリソース使用量に基づき計算される前記仮想マシンの平均リソース使用量と前記リソース使用量の予測値とに基づいてリソース要求量を算出する一方、前記予測負荷の変化度合いが前記所定の閾値未満である場合には、前記所定期間分のリソース使用量に基づきそれぞれ計算される前記仮想マシンの平均リソース使用量およびリソース使用量の偏差と、前記情報処理装置におけるリソースの平均使用率および前記リソース使用量の偏差に基づき計算されるリソース競合の度合いを示すリソース競合値とに基づいて前記リソース要求量を算出する配分計算ステップと、
前記配分計算ステップにおいて算出した前記複数の仮想マシンそれぞれについてのリソース要求量に基づいて、前記情報処理装置のリソースを各仮想マシンに再配置して割当てるリソース割当ステップと、
を有することを特徴とするリソース割当方法。 For each of a plurality of virtual machines to which resources of the information processing device are allocated, a measurement step for measuring a resource usage amount for a predetermined period;
Based on the resource usage measured in the measurement step, for each of the plurality of virtual machines, a predicted value of the resource usage and a degree of change in the predicted load are calculated, and the degree of change in the predicted load is equal to or greater than a predetermined threshold. If there is, the resource request amount is calculated based on the average resource usage amount of the virtual machine calculated based on the resource usage amount for the predetermined period and the predicted value of the resource usage amount, while the predicted load When the degree of change is less than the predetermined threshold, the deviation of the average resource usage of the virtual machine and the resource usage calculated based on the resource usage for the predetermined period, and the resource in the information processing apparatus A resource indicating the degree of resource contention calculated based on the average usage rate and deviation of the resource usage A distribution calculating step of calculating the resource request amount based on the focus value,
A resource allocation step of rearranging and allocating resources of the information processing apparatus to each virtual machine based on a resource request amount for each of the plurality of virtual machines calculated in the distribution calculation step;
A resource allocation method characterized by comprising:
前記配分計算ステップは、前記複数の仮想マシンそれぞれについて、前記分類ステップにおいて分類した区分に対応させて前記リソース要求量を算出する
ことを特徴とする請求項3記載のリソース割当方法。 A classifying step of classifying each of the plurality of virtual machines into a predetermined category based on the average resource usage;
The resource allocation method according to claim 3, wherein the allocation calculation step calculates the resource requirement amount corresponding to the classification classified in the classification step for each of the plurality of virtual machines.
情報処理装置のリソースが割り当てられた複数の仮想マシンそれぞれについて、所定期間分のリソース使用量を計測する計測ステップと、
前記計測ステップにおいて計測したリソース使用量に基づいて、前記複数の仮想マシンそれぞれについて、リソース使用量の予測値と予測負荷の変化度合いとを計算し、前記予測負荷の変化度合いが所定の閾値以上である場合には、前記所定期間分のリソース使用量に基づき計算される前記仮想マシンの平均リソース使用量と前記リソース使用量の予測値とに基づいてリソース要求量を算出する一方、前記予測負荷の変化度合いが前記所定の閾値未満である場合には、前記所定期間分のリソース使用量に基づきそれぞれ計算される前記仮想マシンの平均リソース使用量およびリソース使用量の偏差と、前記情報処理装置におけるリソースの平均使用率および前記リソース使用量の偏差に基づき計算されるリソース競合の度合いを示すリソース競合値とに基づいて前記リソース要求量を算出する配分計算ステップと、
前記配分計算ステップにおいて算出した前記複数の仮想マシンそれぞれについてのリソース要求量に基づいて、前記情報処理装置のリソースを各仮想マシンに再配置して割当てるリソース割当ステップと、
の処理を実行させるためのリソース割当制御プログラム。 On the computer,
For each of a plurality of virtual machines to which resources of the information processing device are allocated, a measurement step for measuring a resource usage amount for a predetermined period;
Based on the resource usage measured in the measurement step, for each of the plurality of virtual machines, a predicted value of the resource usage and a degree of change in the predicted load are calculated, and the degree of change in the predicted load is equal to or greater than a predetermined threshold. If there is, the resource request amount is calculated based on the average resource usage amount of the virtual machine calculated based on the resource usage amount for the predetermined period and the predicted value of the resource usage amount, while the predicted load When the degree of change is less than the predetermined threshold, the deviation of the average resource usage of the virtual machine and the resource usage calculated based on the resource usage for the predetermined period, and the resource in the information processing apparatus A resource indicating the degree of resource contention calculated based on the average usage rate and deviation of the resource usage A distribution calculating step of calculating the resource request amount based on the focus value,
A resource allocation step of rearranging and allocating resources of the information processing apparatus to each virtual machine based on a resource request amount for each of the plurality of virtual machines calculated in the distribution calculation step;
A resource allocation control program for executing the process.
前記配分計算ステップは、前記複数の仮想マシンそれぞれについて、前記分類ステップにおいて分類した区分に対応させて前記リソース要求量を算出する
処理を前記コンピュータに実行させるための請求項5記載のリソース割当制御プログラム。 A classifying step of classifying each of the plurality of virtual machines into a predetermined category based on the average resource usage;
The resource allocation control program according to claim 5, wherein the allocation calculation step causes the computer to execute a process of calculating the resource request amount corresponding to the classification classified in the classification step for each of the plurality of virtual machines. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010036404A JP4982578B2 (en) | 2010-02-22 | 2010-02-22 | Resource allocation device, resource allocation method, and resource allocation control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010036404A JP4982578B2 (en) | 2010-02-22 | 2010-02-22 | Resource allocation device, resource allocation method, and resource allocation control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011170787A JP2011170787A (en) | 2011-09-01 |
JP4982578B2 true JP4982578B2 (en) | 2012-07-25 |
Family
ID=44684817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010036404A Expired - Fee Related JP4982578B2 (en) | 2010-02-22 | 2010-02-22 | Resource allocation device, resource allocation method, and resource allocation control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4982578B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10203912B2 (en) | 2015-07-22 | 2019-02-12 | Samsung Electronics Co., Ltd. | Storage device for supporting virtual machine, storage system including the storage device, and method of operating the same |
KR20190109842A (en) * | 2018-03-19 | 2019-09-27 | 주식회사 케이티 | Device For Managing QoS Of Storage System And Method Thereof |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8880022B2 (en) * | 2011-11-10 | 2014-11-04 | Microsoft Corporation | Providing per-application resource usage information |
KR101341254B1 (en) * | 2012-01-04 | 2013-12-12 | 주식회사 엘지유플러스 | System and control method for loading virtual machine |
TW201407476A (en) * | 2012-08-06 | 2014-02-16 | Hon Hai Prec Ind Co Ltd | System and method for allocating resource of virtual machine |
KR101508925B1 (en) | 2012-10-31 | 2015-04-07 | 삼성에스디에스 주식회사 | Virtual machine providing method, system and recording medium recording the program thereof |
JP6089783B2 (en) * | 2013-02-27 | 2017-03-08 | 富士通株式会社 | Control device, resource control program, and resource control method |
JP6357750B2 (en) * | 2013-10-02 | 2018-07-18 | 日本電気株式会社 | Server management system and server management method |
JP6495645B2 (en) | 2014-12-19 | 2019-04-03 | 株式会社東芝 | Resource control apparatus, method, and program |
KR102103523B1 (en) * | 2015-10-26 | 2020-04-22 | 에스케이텔레콤 주식회사 | Apparatus and method for relocating resource node |
KR101883599B1 (en) * | 2017-04-24 | 2018-08-30 | 세종대학교산학협력단 | Method and apparatus for virtualized resource distribution in cloud computing environment |
KR102062157B1 (en) * | 2019-04-29 | 2020-01-03 | 오케스트로 주식회사 | Vitual machine placement method and virtual machine placement device implementing the same |
KR102135208B1 (en) * | 2019-07-31 | 2020-07-17 | 오케스트로 주식회사 | Virtual machine placement method using scheduling and virtual machine placement device implementing the same |
KR102316749B1 (en) * | 2019-07-31 | 2021-10-25 | 오케스트로 주식회사 | Virtual machine workload prediction method, virtual machine placement method and virtual machine placement device implementing the same |
KR102135209B1 (en) * | 2019-08-19 | 2020-07-17 | 오케스트로 주식회사 | Virtual machine placement simulation method and virtual machine placement simulation device implementing the same |
KR102347371B1 (en) * | 2019-08-19 | 2022-01-05 | 오케스트로 주식회사 | Virtual machine placement simulation method using deep learning and virtual machine placement simulation device implementing the same |
KR102126434B1 (en) * | 2019-12-27 | 2020-06-25 | 오케스트로 주식회사 | Vitual machine placement method through workload prediction using deep learning and virtual machine placement device implementing the same |
KR102135210B1 (en) * | 2020-01-23 | 2020-07-17 | 오케스트로 주식회사 | Virtaul machine recommendation method and virtual machine recommendation system using the same |
CN116755892B (en) * | 2023-08-21 | 2023-10-17 | 湖南马栏山视频先进技术研究院有限公司 | Method and system for distributing computing resources between virtual display card and cloud host |
KR102724239B1 (en) * | 2023-12-21 | 2024-10-31 | 오케스트로 주식회사 | A heterogeneous virtualization optimal management system based on learning model feedback and a method for optimal management |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4119239B2 (en) * | 2002-12-20 | 2008-07-16 | 株式会社日立製作所 | Computer resource allocation method, resource management server and computer system for executing the method |
JP5317010B2 (en) * | 2006-11-24 | 2013-10-16 | 日本電気株式会社 | Virtual machine placement system, virtual machine placement method, program, virtual machine management device, and server device |
-
2010
- 2010-02-22 JP JP2010036404A patent/JP4982578B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10203912B2 (en) | 2015-07-22 | 2019-02-12 | Samsung Electronics Co., Ltd. | Storage device for supporting virtual machine, storage system including the storage device, and method of operating the same |
KR20190109842A (en) * | 2018-03-19 | 2019-09-27 | 주식회사 케이티 | Device For Managing QoS Of Storage System And Method Thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2011170787A (en) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4982578B2 (en) | Resource allocation device, resource allocation method, and resource allocation control program | |
US10896055B2 (en) | Capacity risk management for virtual machines | |
US10691647B2 (en) | Distributed file system metering and hardware resource usage | |
JP5218390B2 (en) | Autonomous control server, virtual server control method and program | |
Chen et al. | Distributed autonomous virtual resource management in datacenters using finite-markov decision process | |
CN108664378B (en) | An optimization method for the shortest execution time of microservices | |
JP5983728B2 (en) | Virtual machine management apparatus and virtual machine management method | |
Chhabra et al. | Multi-criteria HPC task scheduling on IaaS cloud infrastructures using meta-heuristics | |
KR101471749B1 (en) | Virtual machine allcoation of cloud service for fuzzy logic driven virtual machine resource evaluation apparatus and method | |
CN104407925A (en) | Dynamic resource distribution method | |
CN116820730B (en) | Task scheduling method, device and storage medium of multi-engine computing system | |
KR20100074920A (en) | Apparatus and method for load balancing in multi-core system | |
JP2013008089A (en) | Calculation method for configuration pattern of computer system, and calculation device for configuration pattern | |
JP4208079B2 (en) | Database server, program, recording medium, and control method | |
Soysal et al. | On the quality of wall time estimates for resource allocation prediction | |
US20220147380A1 (en) | Optimizing Hybrid Cloud Usage | |
CN117931316A (en) | Cold start optimization method, system, equipment and medium for server non-inductive framework | |
JP2017091001A (en) | Virtual instance arrangement position determination device, virtual instance arrangement position determination method, and virtual instance arrangement position determination program | |
JP2009252050A (en) | System, method and program for server load management | |
KR101691578B1 (en) | Apparatus and method for collecting monitoring data of virtualized apparatus in virtualized environment and computer readable recording medium | |
JP2024048805A (en) | Arrangement control device, computer system, and arrangement control method | |
JP2018067113A (en) | Control device, control method and control program | |
Anithakumari et al. | Interoperability based resource management in cloud computing by adaptive dimensional search | |
TWI756974B (en) | Machine learning system and resource allocation method thereof | |
CN115878281A (en) | Task scheduling method and related equipment based on lightning connection process optimization algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120423 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4982578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |