[go: up one dir, main page]

JP5537600B2 - 制御ノード及び通信制御方法 - Google Patents

制御ノード及び通信制御方法 Download PDF

Info

Publication number
JP5537600B2
JP5537600B2 JP2012111799A JP2012111799A JP5537600B2 JP 5537600 B2 JP5537600 B2 JP 5537600B2 JP 2012111799 A JP2012111799 A JP 2012111799A JP 2012111799 A JP2012111799 A JP 2012111799A JP 5537600 B2 JP5537600 B2 JP 5537600B2
Authority
JP
Japan
Prior art keywords
mobile communication
node
processing
server
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012111799A
Other languages
English (en)
Other versions
JP2013239913A (ja
Inventor
基 田村
文平 谷津
敬広 山崎
哲也 中村
滋 岩科
敬司 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012111799A priority Critical patent/JP5537600B2/ja
Priority to EP13790826.5A priority patent/EP2852202B1/en
Priority to CN201380024845.8A priority patent/CN104285459B/zh
Priority to US14/401,362 priority patent/US20150142958A1/en
Priority to PCT/JP2013/060082 priority patent/WO2013172107A1/ja
Publication of JP2013239913A publication Critical patent/JP2013239913A/ja
Application granted granted Critical
Publication of JP5537600B2 publication Critical patent/JP5537600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/16Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18Service support devices; Network management devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、移動体通信システムに含まれる制御ノード及び通信制御方法に関する。
従来の移動体通信網では、地域毎に通信処理を担当する通信処理ノードが括り付けられている。例えば、特許文献1に記載されているように、通信処理を行う装置として位置登録エリアに応じた交換局が設けられている。
特開2009−165163号公報
通常、各々の地域の設備は、時間変動がある処理要求の最繁時における処理能力を見込んで設備設計されている。しかしながら、通常、設備設計は平時のトラヒック量を基にして行われているため、予測を超えるトラヒックが発生した場合には輻輳が発生してしまうことがある。その場合、規制によって多くの通信がつながりにくくなってしまう。また、移動通信端末は、使用するユーザの在宅時、通勤時、勤務時…のように時間帯によって移動するため、時間帯によって実際に使用されるノードの処理量が変動し、最繁時以外の設備利用効率は低くなってしまう。
本発明は、上記の問題点に鑑みてなされたものであり、移動体通信網において地域に必要となる処理リソースを確保すると共に設備利用効率を高めることができる制御ノード及び通信制御方法を提供することを目的とする。
上記の目的を達成するために、本発明に係る制御ノードは、移動通信端末が在圏する地域に対応付けられて1以上の物理サーバ上の何れかで実現されて当該移動通信端末の通信処理を行う1以上の通信処理ノードを含んで構成される移動体通信システムに含まれる制御ノードであって、物理サーバ毎の通信処理の処理量を検出する検出手段と、検出手段によって検出された通信処理の処理量に基づいて、物理サーバ上で実現される地域毎の通信処理ノードを生成するノード生成手段と、移動通信端末からの通信処理に係る信号を、ノード生成手段によって、当該移動通信端末が在圏する地域に対応付けられて生成された通信処理ノードに送信するように制御する制御手段と、を備える。
本発明に係る制御ノードによれば、物理サーバの通信処理の処理量に基づいて、当該物理サーバ上に地域毎の通信処理ノードが生成されて、生成された通信処理ノードに通信処理に係る信号が送信される。従って、地域に必要となる処理リソースを動的に設けることができる。例えば、地域内の処理リソースが不足する場合には、他地域を含めた処理リソースを相互に融通可能にすることができる。これにより、移動体通信網において地域に必要となる処理リソースを確保すると共に設備利用効率を高めることができる。
ノード生成手段は、検出手段によって検出された通信処理の処理量の履歴に基づいて、時刻に応じて物理サーバ上で実現される地域毎の通信処理ノードを生成することとしてもよい。この構成によれば、通信処理の処理量の履歴に基づいて、時刻に応じた処理リソースの確保及び設備利用効率の向上を行うことができる。
検出手段は、地域毎に在圏する移動通信端末の数を検出し、ノード生成手段は、検出手段によって検出された地域毎に在圏する移動通信端末の数にも基づいて、物理サーバ上で実現される地域毎の通信処理ノードを生成する、こととしてもよい。この構成によれば、処理リソースの確保及び設備利用効率の向上をより適切に行うことができる。
移動体通信システムは、フロー制御ネットワークを更に含み、制御手段は、移動通信端末からの通信処理に係る信号を、当該移動通信端末が在圏する地域に対応付けられた通信処理ノードに送信するようにフロー制御ネットワークを設定することとしてもよい。この構成によれば、信号の送信(振り分け)を、適切かつ確実に行うことができ、これにより本発明を適切かつ確実に行うことができる。
ところで、本発明は、上記のように制御ノードの発明として記述できる他に、以下のように通信制御方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
即ち、本発明に係る通信制御方法は、移動通信端末が在圏する地域に対応付けられて1以上の物理サーバ上の何れかで実現されて当該移動通信端末の通信処理を行う1以上の通信処理ノードを含んで構成される移動体通信システムに含まれる制御ノードによる通信制御方法であって、物理サーバ毎の通信処理の処理量を検出する検出ステップと、検出ステップにおいて検出された通信処理の処理量に基づいて、物理サーバ上で実現される地域毎の通信処理ノードを生成するノード生成ステップと、移動通信端末からの通信処理に係る信号を、ノード生成ステップにおいて、当該移動通信端末が在圏する地域に対応付けられて生成された通信処理ノードに送信するように制御する制御ステップと、を含む。
本発明によれば、地域に必要となる処理リソースを動的に設けることができる。例えば、地域内の処理リソースが不足する場合には、他地域を含めた処理リソースを相互に融通可能にすることができる。これにより、移動体通信網において地域に必要となる処理リソースを確保すると共に設備利用効率を高めることができる。
本発明の実施形態に係る制御ノードであるネットワークマネージャの機能構成、及び当該ネットワークマネージャを含む移動体通信システムを示す図である。 移動通信端末が在圏する地域と地域に対応付けられる物理サーバ及び仮想呼処理サーバ、並びにオープンフローネットワークのノードの構成を示す図である。 物理サーバ毎の使用率を概念的に示す図である。 ネットワークマネージャによって検出される物理サーバ毎の使用率の情報を示す表(仮想サーバリソース管理テーブル)である。 本発明の実施形態に係る制御ノードであるネットワークマネージャ、及び移動体通信システムを構成するその他の装置のハードウェア構成を示す図である。 本発明の実施形態に係る制御ノードであるネットワークマネージャ及び移動体通信システムで実行される処理(通信制御方法)を示すシーケンス図である。 オープンフローネットワークのノードによって保持される処理に応じたフローテーブルを示す図である。 処理に応じた仮想サーバリソース管理テーブルである。 処理に応じた物理サーバ及び仮想呼処理サーバ等の構成を示す図である。 オープンフローネットワークのノードによって保持される処理に応じたフローテーブルを示す図である。 処理に応じた仮想サーバリソース管理テーブルである。 処理に応じた物理サーバ及び仮想呼処理サーバ等の構成を示す図である。 オープンフローネットワークのノードによって保持される処理に応じたフローテーブルを示す図である。 処理に応じた仮想サーバリソース管理テーブルである。 従来のトラヒック量と設備(設備量)との関係を示す図である。 本発明の実施形態によるトラヒック量と設備(設備量)との関係を示す図である。
以下、図面と共に本発明に係る制御ノード及び通信制御方法の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1に本実施形態に係る制御ノードであるネットワークマネージャ40を含む移動体通信システム1の構成を示す。移動体通信システム1は、移動通信端末(移動機)50に移動体通信の機能を提供するシステムである。移動通信端末50は、ユーザにより用いられて移動体通信システム(移動体通信網)に無線通信によって接続して移動体通信を行う装置である。具体的には、移動通信端末50は、携帯電話機等に相当する。移動通信端末50は、例えば、移動体通信システム1を介して対向ノード60との間で呼接続を確立して通信を行う。対向ノード60は、例えば、別の移動通信端末や移動通信端末50に様々なサービスを提供するサーバ装置、あるいは他の通信網に接続するための装置(例えば、GGSN(Gateway GPRS Support Node))等に相当する。移動通信端末50は、移動通信端末50のユーザが移動体通信システム1の通信事業者と契約することによって移動体通信を行うことが可能になる。なお、移動通信端末50は、従来の移動通信端末と同様のものでよい。
図1に示すように、移動体通信システム1は、呼処理管理用データベース10と、1以上(あるいは複数)の物理サーバ(物理マシン、PM)20と、オープンフローネットワーク30と、ネットワークマネージャ40とを含んで構成されている。なお、これらの構成10,20,30,40は、移動体通信システム1(移動体通信網)のコアネットワークを構成するものである。各物理サーバ20では、後述するように移動体通信システム1において通信処理を行う通信処理ノードである仮想呼処理サーバ21が実現される。
呼処理管理用データベース10は、呼処理に必要なデータを保持するデータベースである。呼処理管理用データベース10は、このデータを、例えば、移動通信端末50を特定する情報に対応付けて、移動通信端末50毎に保持する。呼処理に必要なデータとしては、具体的には呼処理の状態を示すステート情報や移動通信端末50に係る加入者プロファイルを保持する。ステート情報としては、移動通信端末50の在圏エリアや、移動通信端末50が通信中であるか待受中であるかの情報である。この情報は、後述するように仮想呼処理サーバ21によって読み出されると共に更新(書き込み)される。
また、加入者プロファイルのデータとしては、移動通信端末50の電話番号、認証情報、契約速度等の情報がある。これらの情報は、移動通信端末50のユーザが移動体通信システム1の通信事業者と契約した時に呼処理管理用データベース10に加入者プロファイルとして新たに記憶(生成)される。これらの情報は、仮想呼処理サーバ21によって読み出されるが仮想呼処理サーバ21による更新(書き込み)はなされない。なお、移動通信端末50毎に記憶されるデータには、このように読み出し(Read)と書き込み(Write)の両方が発生する項目と読み出し(Read)のみ発生する項目とがある。呼処理管理用データベース10において、これらの項目のレコードを分けて管理することで、Writeの同期待ちでReadが遅延することを防止するように工夫することができる。
呼処理管理用データベース10は、1以上(あるいは複数)の仮想呼処理サーバ21(物理サーバ20)それぞれと接続されており、仮想呼処理サーバ21によって、呼処理管理用データベース10が保持するデータの参照や登録、更新が行われる。呼処理管理用データベース10は、データベースとして任意の構成をとることができるが、呼処理に必要なデータを保持することを考慮して、図1に示すように、複数のサーバ装置で実現される分散データベースとし、SPOF(Single Point of Failure)が無いように構成することが望ましい。
ここで呼処理とは、移動体通信システム1を介して移動通信端末50と対向ノード60との呼接続に係る処理である。例えば、移動通信端末50と対向ノード60との間の呼接続(通信セッション接続とも呼ばれる)を確立する処理、あるいは切断する処理等である。また、移動体通信システム1に在圏するための処理、即ち、位置登録の処理も本実施形態における呼処理に含むこととしてもよい。
なお、本実施形態において、移動体通信システム1に上述した構成の呼処理管理用データベース10は、必ずしも含まれる必要はなく、仮想呼処理サーバ21による加入者プロファイルや在圏エリアの情報は、従来の移動体通信システムと同様にHLR(Home Location Register)等の加入者情報管理装置から取得されることとしてもよい。
物理サーバ20は、移動体通信システム1において通信処理を行う物理的な装置である。通信処理は、上述した呼処理を含む、移動体通信に係る任意の処理である。通信処理は、実際には物理サーバ20で実現される仮想呼処理サーバ21によって実行される。物理サーバ20は、図1に示すようにオープンフローネットワーク30を介して、移動通信端末50及び対向ノード60と接続されており、情報の送受信を行うことができるようになっている。移動体通信システム1には、1以上(あるいは複数)の物理サーバ20が含まれる。また、複数の物理サーバ20間も接続されており、物理サーバ20同志で情報の送受信を行うことができるようになっている。
図1に示すように、複数の拠点(データセンタ等の場所)2を設け、それぞれの拠点2に1つ以上の物理サーバ20を設けるようにすることが望ましい。複数の拠点に物理サーバ20を設けるのは、各拠点2の物理サーバ20が最寄の地域の呼処理を担当すると共に、災害により隣接地域の呼物理サーバ20が故障する場合の代替処理等を考慮したものである。
各物理サーバ20(拠点2)は、例えば、移動通信端末50が移動体通信を行う(移動通信端末50が在圏する)地域毎に設けられる。具体的には、図2に示すように、地域Aには地域Aに対応する物理サーバ20であるPM1及びPM2が、地域Bには地域Bに対応する物理サーバ20であるPM3及びPM4が、それぞれ設置される。
また、各物理サーバ20は、自身の通信処理の処理量として、自身の使用率をネットワークマネージャ40に通知する機能を有する。この機能についてはより詳細に後述する。
仮想呼処理サーバ21は、移動通信端末50の通信処理を行う1以上(あるいは複数)の通信処理ノードである。仮想呼処理サーバ21は、物理サーバ20の何れかにおいて実現される。仮想呼処理サーバ21は、仮想マシン(VM)技術を利用して物理サーバ20上でプログラムが実行されることにより実現される仮想サーバである。なお、1つの物理サーバ20に複数の仮想呼処理サーバ21を実現することもできる。移動体通信システム1には、1以上(あるいは複数)の仮想呼処理サーバ21が含まれる。仮想呼処理サーバ21は、従来の移動体通信システムであるGPRS(General Packet Radio Service)システムでは例えば、SGSN(ServingGPRS Support Node)、LTE/EPC(Long Term Evolution/EvolvedPacket Core)システムでは、MME(Mobility Management Entity)やS−GW(Serving Gateway)等のノードに相当する。あるいは、仮想呼処理サーバ21は、IMS(IP Multimedia Subsystem)では、CSCF(Call SessionControl Function)、AS(Application Server)等のノードにも相当する。
仮想呼処理サーバ21は、移動通信端末50からの要求を受信すること等をトリガとして通信処理を行う。この要求は、例えば、発信要求(呼接続確立の要求)や位置登録要求である。仮想呼処理サーバ21は、移動通信端末50からの要求及び呼処理管理用データベース10に格納された情報等を必要に応じて参照して行う。また、仮想呼処理サーバ21は、通信処理の結果の情報を呼処理管理用データベース10に書き込む(記憶させる)こととしてもよい。
仮想呼処理サーバ21は、移動通信端末50が移動体通信を行う(移動通信端末50が在圏する)地域に対応付けられて実現される。例えば、図2に示すように、PM1及びPM2上でそれぞれ実現される仮想呼処理サーバ21であるVM1及びVM2は、地域Aに在圏する移動通信端末50に係る通信処理を行うものとして実現される。PM3及びPM4上でそれぞれ実現される仮想呼処理サーバ21であるVM3及びVM4は、地域Bに在圏する移動通信端末50に係る通信処理を行うものとして実現される。なお、上述したように通常は、仮想呼処理サーバ21は地域が対応する物理サーバ20上で実現されるが、後述するように必ずしも地域の対応関係が無い物理サーバ20上で実現されてもよい。
移動体通信システム1において、移動通信端末50が在圏する地域と仮想呼処理サーバ21とは対応付けられている。即ち、地域Aに在圏する移動通信端末50からの通信処理に係る信号は、オープンフローネットワーク30のノード31に中継されて地域Aに対応付けられた仮想呼処理サーバ21に送信されるようになっている。
例えば、移動体通信システム1に含まれる基地局(BTS、eNB、図示せず)は、位置が固定して設けられているため地域に対応している。基地局が、地域に応じた何れの仮想呼処理サーバ21に信号を送信すべきかの情報を保持しており、その情報に基づいて信号が地域に対応付けられた仮想呼処理サーバ21に信号を送信する。具体的には、LTE/EPCの既存処理の例では、基地局からの信号は、その基地局が従属する上位の複数(S1−Flex)のMME/S−GW(本実施形態の仮想呼処理サーバ21に相当)に担当される。基地局は、上位の仮想呼処理サーバ21を記憶しておき、それらの何れかに信号を送信する。なお、一度処理する仮想呼処理サーバ21が決まれば、移動通信端末50の信号に含まれるテンポラリな識別子(GUTI(Globally Unique Temporary Identifier)等)により後の仮想呼処理サーバ21が特定される。なお、上記では移動通信端末50が在圏する地域と仮想呼処理サーバ21とが基地局によって対応付される例を示したが、上記以外の方法によって対応付けられていてもよい。
なお、上記のように物理サーバ20及び仮想呼処理サーバ21を地域と対応付けているのは以下のような理由である。移動通信端末が在圏している地域の物理サーバ20及び仮想呼処理サーバ21で通信処理が行われれば、移動体通信網において物理的に信号が流れる長さが短くなる。その結果トラヒック量が減り、中継コストが減少する。即ち、中継コストに関する理由である。また、仮想呼処理サーバ21において管理する基地局を地域のもののみに限定することができる。仮想呼処理サーバ21が全ての地域の移動通信端末50の通信処理を行う場合は、全ての地域の基地局を管理する必要がある。即ち、ネットワークの管理上の理由である。
なお、物理サーバ20の配置(配備)は、以下のようにして行うこととするのがよい。まず、時間帯別に各地域に必要となる通信の処理量を学習し、曜日別に処理量の範囲を求める。各時間帯における移動体通信網トータルの必要処理量の上限に安全率を見込んだ設備量を全体の設備量として物理サーバ20を用意する。更に、全体の処理量を地域毎に平均的な使用量で按分し、物理サーバ20を配備する。これにより、通信の処理量に応じた適切な物理サーバ20の配置(配備)を行うことができる。
オープンフローネットワーク30は、物理サーバ20、移動通信端末50及び対向ノード60とそれぞれ接続されており、それらの装置の間の通信路を構成するフロー制御ネットワークである。なお、通常、オープンフローネットワーク30と移動通信端末50とは、基地局や無線制御装置(RNC)を介して接続されている。オープンフローネットワーク30は、互いに接続されているオープンフロースイッチである複数のノード31によって構成されている。ノード31は、通常オープンフローネットワークのオープンフロースイッチ(SW)として用いられる装置に相当する。後述するように、オープンフローネットワーク30は、ネットワークマネージャ40のオープンフローコントローラからの制御を受けて情報の送受信を行う。具体的には、オープンフローネットワーク30の各ノード31が、自身が受信した情報をどのノードに送信するかを示すフローエントリを、ネットワークマネージャ40から受信して当該フローエントリに従った情報の送受信を行う。本説明では、オープンフローネットワークとして説明を行うが、SDN(Softwarer difined network)と呼ばれる、同様のフロー制御とその制御に従ってフロー転送処理を行うネットワークでもよい。
ネットワークマネージャ40は、本実施形態に係る機能として物理サーバ20上における仮想呼処理サーバ21の実現(実装)を制御する。また、ネットワークマネージャ40は、ネットワークマネージャ40は、本実施形態に係る機能としてオープンフローネットワーク30における情報の送受信を制御する。オープンフローネットワーク30における情報の送受信の制御は、例えば、ネットワークマネージャ40が備える、負荷分散制御を行うオープンフローコントローラによって行われる。具体的にどのような制御を行うかについては後述する。ネットワークマネージャ40は、物理サーバ20のそれぞれと接続されており、情報の送受信を行うことができる。
ネットワークマネージャ40は、ネットワーク管理制御システムを構成する。ネットワーク管理制御システムには、ネットワーク運用ポリシ、ネットワーク運用・制御シナリオ、ネットワークリソース管理、ネットワークトポロジ管理、ネットワークトポロジ変更、ネットワークリソース制御、仮想サーバ制御及びフロー制御の機能を有している。ネットワーク運用ポリシは、ネットワークリソース管理が把握した状態(輻輳や故障等)に基づいて、どのようにネットワークを制御するかを決定するための判断基準(サービスに関わる品質条件や確保すべき帯域等)を保持する機能である。ネットワーク運用・制御シナリオは、ネットワークリソース運用ポリシを参照して、ネットワーク管理が把握した状態を、ポリシを満たす状態にするための制御手順を与える機能である。ネットワークリソース管理は、ネットワーク内に配備されるサーバやスイッチ等から情報を受信して把握する機能である。
ネットワークトポロジ管理は、ネットワークリソース管理により把握した情報から、ネットワーク内の装置接続状況を把握して管理する機能である。ネットワークトポロジ変更は、仮想化サーバの仮想化マシンの配置・移動制御やスイッチ等の設定変更制御により、ネットワークの装置接続状態を変更する機能である。ネットワークリソース制御は、仮想化サーバの仮想マシンの配置・移動制御やスイッチ等の設定変更制御である。仮想サーバ制御は、仮想化サーバ(物理サーバに同じ)から、サーバの情報を受信してサーバの状態を把握する機能である(CPU使用率や故障の有無等)。フロー制御は、オープンフローネットワーク30のフロー制御を行う機能である。本実施形態に係るネットワークマネージャ40は、上記の機能を利用したものである。
図1に示すようにネットワークマネージャ40は、本実施形態に係る機能として、ネットワークマネージャ40は、検出部41と、ノード生成部42と、制御部43とを備えて構成される。
検出部41は、物理サーバ20毎の通信処理の処理量を検出する検出手段である。検出部41は、通信処理の処理量として使用率を検出する。使用率とは、物理サーバ20が処理可能なリソースに対して、どの程度のリソースが仮想呼処理サーバ21による通信処理によって使用されているかを示す率である。物理サーバ20の使用率は、具体的には、物理サーバ20が備えるCPU(Central Processing Unit)のリソースの合計のうち、共通処理及び当該物理サーバ20で実現されている(ホストされている)仮想呼処理サーバ21で使用している処理の総量の割合として算出することができる。
例えば、図3に示すように、物理サーバ20のCPUリソースは物理サーバ20の具備するコアプロセッサ(例えば4コア)のCPUクロック数の合計で表すことができ、ここではCPUクロックの合計を12000MHzであるものとする。このとき、共通処理(仮想マシン(VM)管理)で1000MHz、仮想呼処理サーバ21による処理(VM処理、複数の仮想呼処理サーバ21が実現されている場合には合計)で6000MHz使用されている場合、物理サーバ20の使用率は、(1000+6000)/12000=58.3%となる。
また、物理サーバ20上で実現される各仮想呼処理サーバ21についての使用率を算出することもできる。仮想呼処理サーバ21の使用率(VMの使用率)は、仮想呼処理サーバ21用として物理サーバ20において割り当てられているリソースのうち、仮想呼処理サーバ21が処理に使用している量の割合として算出することができる。
図3に示す例では、仮想呼処理サーバ21であるVM1及びVM2として、それぞれ物理サーバ20のCPUクロックのうち5000MHz割り当てられており、共通処理に2000MHz割り当てられているものとする。このとき、VM1で2000MHz使用しており、VM2で4000MHz使用している場合には、VM1の使用率は2000/5000=40%となり、VM2の使用率は4000/5000=80%となる。なお、上記の例では、1つの物理サーバ20上に2つの仮想呼処理サーバ21が割り当てられていたため、1つの仮想呼処理サーバ21あたりのリソースは5000MHzとなっていたが、1つの仮想呼処理サーバ21しか割り当てられていない場合には10000MHzのリソースが割り当てられる。
各物理サーバ20は、上記の物理サーバ20の使用率、及び物理サーバ20上で実現されている(割り当てられている)仮想呼処理サーバ21の使用率をそれぞれ算出して、それらの使用率を示す情報をネットワークマネージャ40に送信する。ここで、物理サーバ20の使用率を示す情報は物理サーバ20を特定する情報に、仮想呼処理サーバ21の使用率を示す情報は仮想呼処理サーバ21を特定する情報にそれぞれ対応付けられて送信される。
使用率を示す情報の送信は定期的(一定時間毎)に行われる。また、物理サーバ20は、それぞれの使用率を監視しておき、使用率が予め設定された閾値以上となった、あるいは閾値を超えた場合は、その時点で使用率を示す情報の送信を行う。検出部41は、各物理サーバ20から送信された使用率の情報を受信することで使用率を検出する。なお、検出部41による使用率の検出は、上記の方法以外にも任意の方法で行われてもよい。
検出部41によって検出されて管理される使用率の情報は、例えば図4に示す表の情報(仮想サーバリソース管理テーブル)である。図4の表に示すように、物理サーバ20の使用率と各仮想呼処理サーバ21の使用率とが対応付けられている。物理サーバ20の使用率に関する情報(図4の物理リソース)は、“所在地域”、“物理ID”及び“使用率”のカラムのデータである。“所在地域”は、物理サーバ20が設置されている地域を示す情報である。“物理ID”は、物理サーバ20を特定する情報である。“使用率”は、物理サーバ20の使用率を示す情報である。
仮想呼処理サーバ21の使用率に関する情報(図4の仮想マシン(VM))は、“論理ID”、“使用率”及び“割り当て地域”のカラムのデータである。“論理ID”は、仮想呼処理サーバ21を特定する情報である。“使用率”は、仮想呼処理サーバ21の使用率を示す情報である。“割り当て地域”は、当該仮想呼処理サーバ21が、通信処理を行う移動通信端末50が在圏する地域を示す情報である。検出部41は、物理サーバ20毎の使用率を検出すると検出した情報をノード生成部42に出力する。
また、検出部41は、地域毎に在圏する移動通信端末50の数を検出することとしてもよい。この検出は、例えば、移動体通信システム1において位置登録エリア毎に在圏している(位置登録されている)移動通信端末50の数を検出することで行われる。位置登録エリア毎に在圏している移動通信端末50の数は、移動体通信システム1においてHLR等の端末在圏管理を行っている装置が把握している。検出部41は、当該装置に対して位置登録エリア毎に在圏している移動通信端末50の数を問い合わせて情報を取得する。
なお、物理サーバ20及び仮想呼処理サーバ21に対応付けられる地域(呼処理で取り扱う地域)と位置登録エリアとは、必ずしも一致していない。物理サーバ20及び仮想呼処理サーバ21に対応付けられる地域(呼処理で取り扱う地域)と位置登録エリアとが一致する場合には、位置登録エリアに在圏している移動通信端末50の数が地域に在圏する移動通信端末50の数となる。物理サーバ20及び仮想呼処理サーバ21に対応付けられる地域が位置登録エリアよりも大きい場合(複数の位置登録エリアが当該地域に含まれる場合)には、地域に含まれる位置登録エリアに在圏している移動通信端末50の数を足し合わせて地域に在圏する移動通信端末50の数とする。物理サーバ20及び仮想呼処理サーバ21に対応付けられる地域が位置登録エリアよりも小さい場合(複数の当該地域が位置登録エリアに含まれる場合)には、位置登録エリアに在圏している移動通信端末50の数を当該地域の面積比や地域特有のパラメータによって按分して地域に在圏する移動通信端末50の数を算出する。また、別の方法として、仮想呼処理サーバ21にアタッチ処理している移動通信端末50の数を使用率の報告時等に合わせて報告し、呼処理地域(呼処理で取り扱う地域)毎に足し合わせることで当該地域に在圏する移動通信端末50の数を算出しても良い。
検出部41は、検出した地域毎に在圏する移動通信端末50の数を示す情報をノード生成部42に出力する。この出力は、例えば、使用率の情報の出力と同様に定期的(一定時間毎)に行われる。
ノード生成部42は、検出部41から入力された使用率を示す情報に基づいて、物理サーバ20上で実現される地域毎の仮想呼処理サーバ21を生成するノード生成手段である。即ち、ノード生成部42は、使用率に基づいて、どの物理サーバ20にどの仮想呼処理サーバ21が割り当てられるかを決定して、決定した割り当てとなるように物理サーバ20上に仮想呼処理サーバ21を生成する。仮想呼処理サーバ21の生成は、例えば、既に物理サーバ20上で実現されている仮想呼処理サーバ21の複製を他の物理サーバ20に作成することで行われる。ノード生成部42は、仮想呼処理サーバ21の生成に伴い、他の仮想呼処理サーバ21の物理サーバ20間での移動等の制御も行う。
物理サーバ20への仮想呼処理サーバ21の割り当てについては、例えば、以下のように行われる。ノード生成部42は、それぞれの仮想呼処理サーバ21の使用率が予め設定した閾値以上であるか、あるいは閾値を超えているか否かを判断する。閾値は、例えば80%に設定される。ノード生成部42は、仮想呼処理サーバ21の使用率が閾値以上である、あるいは閾値を超えていると判断した場合には、使用率が80%未満、あるいは80%以下になるように仮想呼処理サーバ21の割り当てを決定する。例えば、別の物理サーバ20の使用率が低い場合には、使用率が閾値以上となった、あるいは閾値を超えた仮想呼処理サーバ21を当該別の物理サーバ20に複製して(スケールして)、使用率を下げる。
また、使用率が低い物理サーバ20を生成するために、互い異なる物理サーバ20で実現されている仮想呼処理サーバ21を1つの物理サーバ20にまとめる(マイグレーション処理)こととしてもよい。これらの具体例については、後述する。
ノード生成部42による仮想呼処理サーバ21の仮想化の制御は、仮想マシン技術によって行われる。具体的には、ノード生成部42は、仮想呼処理サーバ21の複製、移動、増設、減設等を行う場合に、各物理サーバ20のHypervisorに指示を送ることによって、仮想呼処理サーバ21を新たにプロビジョニングさせる等の制御である。これによって、適切な仮想化を行うことができる。より具体的には、ノード生成部42による仮想マシンのプロビジョニングと制御部43によるフロー制御とを統合制御することで(処理を同調させることで)、以下に説明するように更に適切な複製、移動、増設、減設等の処理が可能となる。
また、ノード生成部42は、検出部41によって検出された使用率の履歴に基づいて、時刻に応じて物理サーバ20上で実現される地域毎の仮想呼処理サーバ21を生成する(割り当てる)こととしてもよい。ノード生成部42は、検出部41から入力された使用率を示す情報を履歴(学習データ)として記憶しておき、その履歴から時間帯及び地域毎に必要な通信の処理量(統計化した情報)を算出する。なお、時間帯には、曜日による区別も含まれる。必要な通信の処理量は、例えば、時間帯及び地域毎の過去の処理量の平均値を算出して、平均値に基づいて算出される。処理量は、例えば、地域毎の仮想呼処理サーバ21の処理で使用されたCPUクロックの合計であり、検出部41によって検出された使用率に基づいて算出される。ノード生成部42は、算出した時間帯及び地域毎に必要な通信の処理量に応じて、各地域の物理サーバ20上に当該地域の処理リソースとして仮想呼処理サーバ21を配備する。但し、仮想呼処理サーバ21は、必ずしも対応する地域の物理サーバ20上に配備される必要はない。
上記のように実際の処理リソース量の変動が生じる前に予測的に処理リソースを用意することにより、輻輳状態の発生を未然に防ぐことができる。
また、ノード生成部42は、検出部41によって検出された地域毎に在圏する移動通信端末50の数にも基づいて、物理サーバ20上で実現される地域毎の仮想呼処理サーバ21を生成することとしてもよい。例えば、ノード生成部42は、過去における時間帯毎の各地域における通信の処理量と地域毎に在圏する移動通信端末50の数とから、移動通信端末50あたりに必要となる単位処理量を求め保持しておく。ノード生成部42は、通常と異なる移動通信端末50の増加が見られる場合には、単位処理量×端末数に見合う処理リソースである仮想呼処理サーバ21を配備する。
ノード生成部42は、生成した、各物理サーバ20における仮想呼処理サーバ21の状態、即ち、何れの物理サーバ20に何れの仮想呼処理サーバ21が生成されているか(配備されているか)を示す情報を制御部43に出力する。
制御部43は、移動通信端末50からの通信処理に係る信号を、ノード生成部42によって、当該移動通信端末50が在圏する地域に対応付けられて生成された仮想呼処理サーバ21に送信するように制御する制御手段である。具体的には、制御部43は、移動通信端末からの通信処理に係る信号を、移動通信端末50が在圏する地域に対応付けられた仮想呼処理サーバ21に送信するよう(移動通信端末50が在圏する地域に対応付けられた仮想呼処理サーバ21によって当該通信処理が行われるように)にオープンフローネットワーク30を設定する。
地域に複数の仮想呼処理サーバ21が対応付けられていた場合には、制御部43は、仮想呼処理サーバ21間で処理負荷がなるべく均一になるように信号を送信させるようにしてもよい。なお、通信処理に係る信号が送信される仮想呼処理サーバ21は、移動通信端末50に応じて決定されてもよい。どのように通信処理に係る信号が送信される仮想呼処理サーバ21を決定するかの基準(実施シナリオ)については、例えば、移動体通信システム1の通信事業者が予め制御部43に記憶させておく。
制御部43は、移動通信端末50からの通信処理に係る信号が、当該移動通信端末50が在圏する地域に対応付けられた仮想呼処理サーバ21に送信されるようにフローエントリを生成して、生成したフローエントリをオープンフローネットワーク30の各ノード31に送信する。
通信処理に係る信号を送信する仮想呼処理サーバ21の決定、及びフローエントリの生成は、例えば、一定期間毎(例えば、特定の時刻毎)や、ノード生成部42によって仮想呼処理サーバ21の配備が変更された場合等に行われることとすればよい。以上が、本実施形態に係るネットワークマネージャ40の機能構成である。
図5に本実施形態に係る呼処理管理用データベース10、物理サーバ20、オープンフローネットワーク30のノード31及びネットワークマネージャ40を構成するサーバ装置のハードウェア構成を示す。図5に示すように当該サーバ装置は、CPU101、主記憶装置であるRAM(Random Access Memory)102及びROM(Read OnlyMemory)103、通信を行うための通信モジュール104、並びにハードディスク等の補助記憶装置105等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した各ノード10,20,31,40の機能が発揮される。以上が、本実施形態に係るネットワークマネージャ40及び移動体通信システム1の構成である。
引き続いて、図6のシーケンス図を用いて、本実施形態に係るネットワークマネージャ40及び移動体通信システム1で実行される処理である通信制御方法を説明する。本処理は、図2に示す構成を例として説明する。図2に示すように地域Aに在圏している移動通信端末50に係る通信処理(通信呼)は地域Aに配備された物理サーバ20であるPM1及びPM2で行われている。地域Bに在圏している移動通信端末50に係る通信処理(通信呼)は、地域Bに配備された物理サーバ20であるPM3及びPM4で行われている。PM1、PM2、PM3及びPM4上には、それぞれ仮想呼処理サーバ21であるVM1、VM2、VM3及びVM4が配置されており(生成されており)、通信処理を行う。
また、オープンフローネットワーク30におけるノード(オープンフロースイッチ)31であるSW1〜4が、移動通信端末50と物理サーバ20との間のデータを中継する。SW1〜4は互いに接続されており、SW1はPM1及びPM2に接続されており、SW2はPM3及びPM4に接続されており、SW3は地域Aの移動通信端末50に接続されており、SW4は地域Bの移動通信端末50に接続されている。
図7(a)にSW1の、図7(b)にSW2の、図7(c)にSW3の、図7(d)にSW4のフローエントリをまとめたフローテーブルの例を示す。この例では、図2に示す地域Aに在圏する移動通信端末50であるユーザAと図2に示す地域Bに在圏する移動通信端末50であるユーザBとに係るフローエントリのみを示す。各フローエントリは、“送信先”及び“宛先”(マッチングフィールド)の組合せに該当したフロー(信号)をどの“出力先”(アクション)に送るかを規定する情報である。なお、図7に示すフローテーブルには、“用途”という欄があるが、これはどの信号のためのフローエントリかを解説するために記載しているもので、実際のフローテーブルとして設定されているものではない。Upは、移動通信端末50から物理サーバ20に向かう信号を対象としたフローエントリ、Downは、物理サーバ20から移動通信端末50に向かう信号を対象としたフローエントリをそれぞれ示している。SW2のフローテーブルにあるVM移動用のフローエントリに関しては後述する。
“送信元”及び“宛先”は、それぞれ信号のヘッダに含まれる送信元及び宛先の装置(装置アドレス)を示すものである。ノード31では、中継対象である信号から得られる情報とマッチングフィールドである“送信元”及び“宛先”とが比較されて、その一致の結果、アクション(本例では「出力先」の決定)として信号をどのポートに送信するかが判断される。実際の“出力先”には、中継対象である信号を出力すべき出力ポート番号(出力先であるポートを特定する情報)が設定される。図7において、出力先として示されるSW1〜4やユーザA/B、S1〜S4(それぞれVM1〜VM4の入力ポートに対応)は、それぞれ出力ポートの接続される先の情報を記載している。
移動体通信システム1では、PM1〜4によって、物理サーバ20自身及び自身がホストしているVMの使用率(処理負荷)が測定されて、測定された使用率を示す情報が各PM1〜4からネットワークマネージャ40に送信される。ネットワークマネージャ40では、検出部41によって使用率を示す情報が受信される(S01、検出ステップ)。ここで検出される使用率は、例えば、図4に示す仮想サーバリソース管理テーブルのような値である。VM1及びVM2は使用率60%で高めの使用率、VM3及びVM4は30%でやや低めとなっている。ネットワークマネージャ40では、仮想サーバリソース管理テーブルの値が常に更新されて、使用率を示す情報が検出される度に検出部41からノード生成部42に当該情報が出力される。
ここで、地域Aからの通信処理の要求(サービス要求)が増加し、VM2の使用率が予め設定された閾値(例えば80%)以上となる。PM2では、VM2の使用率が閾値以上となったことが検知され(S02)、使用率が80%以上となり処理輻輳状態である旨(80%以上の使用率の情報)がPM2からネットワークマネージャ40に通知される(S03)。ネットワークマネージャ40では、検出部41によって当該通知が受信されて、VM2の輻輳状態(使用率が閾値以上となったこと)が検出される(S03、検出ステップ)。ここでは、仮想サーバリソース管理テーブルの値は図8に示したようになる。この情報も、検出部41からノード生成部42に出力される。
続いて、ノード生成部42によって、VM2の使用率を下げるために他の物理サーバ20に処理の余裕が無いかの探索が行われる。例えば、VM2の処理量(8000MHz)の半分(4000MHz)の処理量に対して十分に余裕がある物理サーバ20が探索される。このとき、同一地域の物理サーバ20(リソース)の空き状況が検索される。同一地域の物理サーバ20に十分な空き容量が無い場合、次に近隣の地域の物理サーバ20(リソース)の空き状況が検索される。
ここでは、PM3及びPM4の使用率が低く、かつ、それぞれがホストしているVM3(3000MHz)とVM4(3000MHz)との処理量を足し合わせても、1つの物理サーバ20の使用率がVMへの割り付け量(10000MHz)を超えないことが確認される。その結果、PM3上のVM3をPM4に移動させる(ライブマイグレーション)ことが決定される(S04、ノード生成ステップ)。但しその際に、1つの物理サーバ20に2つの仮想呼処理サーバ21をホストさせることから、VM3とVM4との割り付け量をそれぞれ10000MHzから5000MHzに変更される。
続いて、図9の構成図にも示すように、ノード生成部42によって、PM3からPM4へのVM3のデータ移動のために、VM移動用のフローテーブルをPM3及びPM4に接続されているSW2のフローテーブルが設定される(S05、ノード生成ステップ)。具体的には、PM3からPM4にデータを中継するための図7(b)に示すSW2のフローテーブルのVM移動用のフローエントリが追加される。なお、(オープンフローネットワーク以外の)VM移動用の個別の回線がVM3とVM4との間に設けられている場合には、この処理(操作)は不要である。
続いて、図9の構成図にも示すように、ノード生成部42によって、PM3及びPM4のHypervisorに対して指示が行われ、VM3をPM4に収容するように移動制御(マイグレーション)される(S06、ノード生成ステップ)。PM3及びPM4では、マイグレーション処理が行われる。
マイグレーション処理が終了すると、PM3からネットワークマネージャ40に処理完了が報告される(S07)。ネットワークマネージャ40では、ノード生成部42によって処理完了の報告が受信され、その旨が制御部43に入力される。続いて、マイグレーション処理の完了を受けて、制御部43によって、これまでPM3に収容されていたVM3で処理していた移動通信端末50(ユーザ)に関わる全てのフロー(図5及び図9ではユーザB)をPM4(S4向け)に振り分けるためにオープンフローネットワーク30におけるフローが変更される(S08、制御ステップ)。具体的には、図10(b)に示すようにSW2のユーザBからVM3へのUpに関するフローエントリの、出力先がVM3に係るS3からVM4に係るS4に修正される。また、SW2のVM移動用のフローエントリが削除される。なお、元々空き容量の大きい物理サーバ20があれば、VM2のスケールを直接その物理サーバ20に行うことでS05〜S08の処理は省略される。
S08までの処理の結果、仮想サーバリソース管理テーブルの値は図11に示したようになる。図11に示すように、PM4においてVM3及びVM4が実現されており、PM3においては何れの仮想呼処理サーバ21も実現されていない状態となる。
続いて、ノード生成部42によって、PM2からPM3へのVM2のデータ移動(データのレプリケーション(複製))のために、VM移動用のフローテーブルが設定される。本処理は、S05と同様の処理であり図示は省略する。
続いて、図12の構成図にも示すように、ノード生成部42によって、PM2にホストされているVM2に関して、PM3上へのレプリケーション(VM2のスケール)がPM3及びPM2にそれぞれ指示される(S09、ノード生成ステップ)。PM3及びPM2では、レプリケーション処理が行われる。なお、レプリケーション処理に先立って、VM2では動作中断の処理が行われる。
レプリケーション処理が終了すると、PM2からネットワークマネージャ40に処理完了が報告される(S10)。ネットワークマネージャ40では、ノード生成部42によって処理完了の報告が受信され、その旨が制御部43に入力される。続いて、ノード生成部42からPM2に対してVM2に関して動作再開(レジューム)が指示される(S11)。PM2では、この指示を受けてVM2の動作再開処理が行われ、これによりPM2とPM3の両方の物理サーバ20上でVM2が動作する。
また、図12の構成図にも示すように、レプリケーション処理の完了を受けて、制御部43によって、VM2に係る信号(トラヒック)の半分(図2、9、12ではユーザA)をPM3(のVM2)に振り向けるように(ユーザAとPM3との間で信号が送受信されるように)SW2及びSW3がフロー制御される(S12、制御ステップ)。具体的には、図13(b)に示すようにSW2に、ユーザA(送信元)からVM2(宛先)へのUpの信号をPM3に係る出力先でありS3に出力するようなフローエントリが追加されると共に、VM2(送信元)からユーザA(宛先)へのDownの信号をSW3に出力するようなフローエントリが追加される。また、図13(c)に示すようにSW3に、ユーザA(送信元)からVM2(宛先)へのUpに関するフローエントリの、出力先がPM2に接続されているSW1からPM3に接続されているSWに修正される。
なお、S12のフロー設定において、信号(ユーザデータ)の送信元が後になる順序で設定することでパケットの喪失を防止する。なお、この順序は、Upの信号とDownの信号とで逆になる。
また、図12の構成図及び図13(a)に示すように、制御部43によって、信号をPM3に振り分けることとした移動通信端末50(ユーザ)に関するフローエントリがSW1のフローテーブルから削除される(S13、制御ステップ)。
以上の処理の結果、仮想サーバリソース管理テーブルの値は図14に示したようになる。図14に示すように、閾値以上であったVM2の使用率は、PM2及びPM3の2つの物理サーバ20に振り分けられたため閾値未満となり、高負荷状態が解消された。
なお、また、PM3上で実現される仮想呼処理サーバ21は、PM2上で実現されているVM2の複製としてではなく、新規の通信処理(通信呼処理)を受け付ける新規の仮想呼処理サーバ21としてプロビジョニングを行ってもよい。その場合、PM2のVM2で処理を行っていた通信処理(呼処理)の振り分けは行わない。以上が、本実施形態に係るネットワークマネージャ40及び移動体通信システム1で実行される処理である。
上述したように、本実施形態によれば、物理サーバ20の通信処理の処理量に基づいて、当該物理サーバ20上に地域毎の仮想呼処理サーバ21が生成されて、生成された仮想呼処理サーバ21に通信処理に係る信号が送信される。従って、地域に必要となる処理リソースを動的に設ける(増減可能にする)ことができる。例えば、上述したように地域A内の処理リソースが不足する場合には、地域Bの物理サーバ20を利用することとしたように、他地域を含めた処理リソースを相互に融通可能にすることができる。これにより、移動体通信網において地域に必要となる処理リソースを確保すると共に設備利用効率を高めることができる。
従来の移動体通信網では、図15(a)に示すように、個々の地域で一時的にでも処理量が増加する場合、輻輳を避けるために設備増強が必要になる。図15(b)に示すように時期に応じてトラヒック量が増加する場合、その増加に伴いトラヒックを適切に処理するためには設備量を飛躍的に増加させなければならなかった。これにより、設備利用効率が低下していた。
一方で、本実施形態によれば、図16(a)に示すようにある地域で必要な処理量が設備の処理リソースを超える場合であっても、別の地域の設備を利用可能にすることができる。これにより、図16(b)に示すように、時期に応じてトラヒック量が増加する場合、設備量の増加を従来の移動体通信網と比べて大幅に抑えることができる。これにより、設備利用効率を向上することが可能になる。
また、本実施形態のように、通信処理の処理量の履歴に基づいて、ノード生成部42による仮想呼処理サーバ21の生成が行われてもよい。この構成によれば、時刻に応じた処理リソースの予めの確保を行うことができ、設備利用効率の向上を行うと共に輻輳状態等となることを予め防止することができる。
また、本実施形態のように、地域毎に在圏する移動通信端末の数にも基づいて、ノード生成部42による仮想呼処理サーバ21の生成が行われてもよい。この構成によれば、処理リソースの確保及び設備利用効率の向上をより適切に行うことができる。
また、本実施形態のように通信処理に係る信号の中継にオープンフローネットワーク等のフロー制御ネットワークを利用することとしてもよい。この構成によれば、信号の送信(振り分け)を、適切かつ確実に行うことができ、これにより本発明を適切かつ確実に行うことができる。
1…移動体通信システム、2…拠点、10…呼処理管理用データベース、20…物理サーバ、21…仮想呼処理サーバ、30 オープンフローネットワーク、31…ノード、40…ネットワークマネージャ、41…検出部、42…ノード生成部、43…制御部、50…移動通信端末、60…対向ノード、101…CPU、102…RAM、103…ROM、104…通信モジュール、105…補助記憶装置。

Claims (5)

  1. 移動通信端末が在圏する地域に対応付けられて1以上の物理サーバ上の何れかで実現されて当該移動通信端末の通信処理を行う1以上の通信処理ノードを含んで構成される移動体通信システムに含まれる制御ノードであって、
    前記物理サーバ毎の通信処理の処理量を検出する検出手段と、
    前記検出手段によって検出された通信処理の処理量に基づいて、前記物理サーバ上で実現される地域毎の通信処理ノードを生成するノード生成手段と、
    移動通信端末からの通信処理に係る信号を、前記ノード生成手段によって、当該移動通信端末が在圏する地域に対応付けられて生成された通信処理ノードに送信するように制御する制御手段と、
    を備える制御ノード。
  2. 前記ノード生成手段は、前記検出手段によって検出された通信処理の処理量の履歴に基づいて、時刻に応じて前記物理サーバ上で実現される地域毎の通信処理ノードを生成する請求項1に記載の制御ノード。
  3. 前記検出手段は、前記地域毎に在圏する移動通信端末の数を検出し、
    前記ノード生成手段は、前記検出手段によって検出された前記地域毎に在圏する移動通信端末の数にも基づいて、前記物理サーバ上で実現される地域毎の通信処理ノードを生成する、請求項1又は2に記載の制御ノード。
  4. 前記移動体通信システムは、フロー制御ネットワークを更に含み、
    前記制御手段は、移動通信端末からの通信処理に係る信号を、当該移動通信端末が在圏する地域に対応付けられた通信処理ノードに送信するように前記フロー制御ネットワークを設定する請求項1〜3の何れか一項に記載の制御ノード。
  5. 移動通信端末が在圏する地域に対応付けられて1以上の物理サーバ上の何れかで実現されて当該移動通信端末の通信処理を行う1以上の通信処理ノードを含んで構成される移動体通信システムに含まれる制御ノードによる通信制御方法であって、
    前記物理サーバ毎の通信処理の処理量を検出する検出ステップと、
    前記検出ステップにおいて検出された通信処理の処理量に基づいて、前記物理サーバ上で実現される地域毎の通信処理ノードを生成するノード生成ステップと、
    移動通信端末からの通信処理に係る信号を、前記ノード生成ステップにおいて、当該移動通信端末が在圏する地域に対応付けられて生成された通信処理ノードに送信するように制御する制御ステップと、
    を含む通信制御方法。
JP2012111799A 2012-05-15 2012-05-15 制御ノード及び通信制御方法 Active JP5537600B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012111799A JP5537600B2 (ja) 2012-05-15 2012-05-15 制御ノード及び通信制御方法
EP13790826.5A EP2852202B1 (en) 2012-05-15 2013-04-02 Apparatus and method for load balancing in a mobile communications network
CN201380024845.8A CN104285459B (zh) 2012-05-15 2013-04-02 控制节点以及通信控制方法
US14/401,362 US20150142958A1 (en) 2012-05-15 2013-04-02 Control node and communication control method
PCT/JP2013/060082 WO2013172107A1 (ja) 2012-05-15 2013-04-02 制御ノード及び通信制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012111799A JP5537600B2 (ja) 2012-05-15 2012-05-15 制御ノード及び通信制御方法

Publications (2)

Publication Number Publication Date
JP2013239913A JP2013239913A (ja) 2013-11-28
JP5537600B2 true JP5537600B2 (ja) 2014-07-02

Family

ID=49583526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012111799A Active JP5537600B2 (ja) 2012-05-15 2012-05-15 制御ノード及び通信制御方法

Country Status (5)

Country Link
US (1) US20150142958A1 (ja)
EP (1) EP2852202B1 (ja)
JP (1) JP5537600B2 (ja)
CN (1) CN104285459B (ja)
WO (1) WO2013172107A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271221B2 (en) 2014-12-10 2019-04-23 Nec Corporation Communication device, control method, and communication system
US10306496B2 (en) 2014-12-10 2019-05-28 Nec Corporation Control device, control method, and communication system

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150163297A1 (en) * 2012-08-06 2015-06-11 Nec Corporation Load control system, load control server, information processing system, load control method and recording medium
JP5829230B2 (ja) * 2013-03-28 2015-12-09 株式会社Nttドコモ 管理システム及び管理方法
US11388082B2 (en) 2013-11-27 2022-07-12 Oracle International Corporation Methods, systems, and computer readable media for diameter routing using software defined network (SDN) functionality
US9270612B2 (en) 2013-12-13 2016-02-23 International Business Machines Corporation Software-defined networking interface between multiple platform managers
CN104811396A (zh) * 2014-01-23 2015-07-29 中兴通讯股份有限公司 一种负荷均衡的方法及系统
US20150215228A1 (en) * 2014-01-28 2015-07-30 Oracle International Corporation Methods, systems, and computer readable media for a cloud-based virtualization orchestrator
JP6508063B2 (ja) * 2014-02-13 2019-05-08 日本電気株式会社 通信システム、通信装置、及び通信方法
JP6034816B2 (ja) * 2014-02-25 2016-11-30 日本電信電話株式会社 トラヒック制御装置、トラヒック制御方法、及びトラヒック制御プログラム
JP6405652B2 (ja) * 2014-03-11 2018-10-17 日本電気株式会社 通信管理装置、通信制御方法、プログラム及びサービス提供システム
EP3122111A4 (en) * 2014-03-20 2017-11-29 Nec Corporation Communication device, communication method, communication system, and program
JP6515920B2 (ja) * 2014-03-20 2019-05-22 日本電気株式会社 通信装置、通信方法、通信システムおよびプログラム
JPWO2015141227A1 (ja) * 2014-03-20 2017-04-06 日本電気株式会社 通信装置、通信方法、通信システムおよびプログラム
US10341245B2 (en) * 2014-03-24 2019-07-02 Vmware, Inc. Bursty data transmission in a congestion controlled network
JP2017528967A (ja) * 2014-08-07 2017-09-28 インテル アイピー コーポレイション 仮想化ネットワーク機能管理
US9473567B2 (en) 2014-08-20 2016-10-18 At&T Intellectual Property I, L.P. Virtual zones for open systems interconnection layer 4 through layer 7 services in a cloud computing system
US10291689B2 (en) 2014-08-20 2019-05-14 At&T Intellectual Property I, L.P. Service centric virtual network function architecture for development and deployment of open systems interconnection communication model layer 4 through layer 7 services in a cloud computing system
US20160057231A1 (en) * 2014-08-20 2016-02-25 At&T Intellectual Property I, L.P. Avoiding Registration Storms for Open Systems Interconnection Layer 4 Through Layer 7 Services in a Cloud Computing System
US9742690B2 (en) 2014-08-20 2017-08-22 At&T Intellectual Property I, L.P. Load adaptation architecture framework for orchestrating and managing services in a cloud computing system
US9800673B2 (en) 2014-08-20 2017-10-24 At&T Intellectual Property I, L.P. Service compiler component and service controller for open systems interconnection layer 4 through layer 7 services in a cloud computing system
US9749242B2 (en) 2014-08-20 2017-08-29 At&T Intellectual Property I, L.P. Network platform as a service layer for open systems interconnection communication model layer 4 through layer 7 services
US9998954B2 (en) * 2014-12-19 2018-06-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for relocating packet processing functions
WO2016143322A1 (ja) 2015-03-12 2016-09-15 日本電気株式会社 通信システム、通信制御装置、ノード装置及び通信方法
US10284495B2 (en) 2015-03-20 2019-05-07 Ntt Docomo, Inc. Slice management system and slice management method for dynamically adjusting resources allocated to a slice based on a resource utilization status
US20180077745A1 (en) * 2015-04-15 2018-03-15 Nec Corporation Method for coordinating terminal-to-terminal communication via ad-hoc network and mobile communication network, and management server device in which said method is implemented
JP6241449B2 (ja) * 2015-05-21 2017-12-06 横河電機株式会社 データ管理システム及びデータ管理方法
EP3358876B1 (en) * 2015-09-29 2020-12-23 Soracom, Inc. Control apparatus for gateway in mobile communication system
US10848944B2 (en) * 2015-11-24 2020-11-24 Verizon Patent And Licensing Inc. Internet of things communication unification and verification
WO2017110678A1 (ja) * 2015-12-22 2017-06-29 日本電気株式会社 ネットワーク制御装置、仮想ネットワークリソース管理方法及びプログラム
JP6408500B2 (ja) * 2016-02-05 2018-10-17 日本電信電話株式会社 呼処理システム、負荷分散装置及び負荷分散方法
JP6549538B2 (ja) * 2016-08-23 2019-07-24 日本電信電話株式会社 輻輳制御装置及び輻輳制御方法
JP2018137643A (ja) * 2017-02-22 2018-08-30 日本電信電話株式会社 管理装置および管理方法
JP6718844B2 (ja) * 2017-06-28 2020-07-08 日本電信電話株式会社 輻輳制御装置及び輻輳制御方法
JP6919371B2 (ja) 2017-07-04 2021-08-18 富士通株式会社 情報処理装置及びリソース割当方法
JP6747761B2 (ja) * 2017-08-25 2020-08-26 日本電信電話株式会社 通信システム及び方法
EP4178284A1 (en) 2017-09-05 2023-05-10 Huawei Technologies Co., Ltd. Network entity, user equipment and method for the control and use of network slices
US11172437B2 (en) * 2017-10-02 2021-11-09 Lg Electronics Inc. Method and device for transmitting or receiving information in wireless communication system supporting network slicing

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1894893A (zh) * 2003-12-16 2007-01-10 株式会社Ntt都科摩 通信系统、通信方法、网络负载预测节点以及网络结构管理节点
US8156490B2 (en) * 2004-05-08 2012-04-10 International Business Machines Corporation Dynamic migration of virtual machine computer programs upon satisfaction of conditions
US20060069761A1 (en) * 2004-09-14 2006-03-30 Dell Products L.P. System and method for load balancing virtual machines in a computer network
CN1327728C (zh) * 2005-06-27 2007-07-18 华为技术有限公司 一种实现移动交换中心双归属的方法
JP4519098B2 (ja) * 2006-03-30 2010-08-04 株式会社日立製作所 計算機の管理方法、計算機システム、及び管理プログラム
US8509415B2 (en) * 2009-03-02 2013-08-13 Twilio, Inc. Method and system for a multitenancy telephony network
US8924527B2 (en) * 2009-03-04 2014-12-30 Cisco Technology, Inc. Provisioning available network resources
JP4930538B2 (ja) 2009-04-09 2012-05-16 富士通株式会社 移動通信システム
US20110131330A1 (en) * 2009-12-02 2011-06-02 International Business Machines Corporation Collocating desktop virtual machines to proximity of the user
CN102656911A (zh) * 2009-12-18 2012-09-05 日本电气株式会社 移动通信系统、移动通信系统的构成装置、通信均衡化方法以及程序
US8874749B1 (en) * 2010-02-03 2014-10-28 Citrix Systems, Inc. Network fragmentation and virtual machine migration in a scalable cloud computing environment
US9602971B2 (en) * 2010-04-14 2017-03-21 Nokia Technologies Oy Controlling dynamically-changing traffic load of whitespace devices for database access
US9442771B2 (en) * 2010-11-24 2016-09-13 Red Hat, Inc. Generating configurable subscription parameters
EP2500823A1 (de) * 2011-03-15 2012-09-19 Siemens Aktiengesellschaft Betrieb eines Datenverarbeitungsnetzes mit mehreren geografisch beabstandeten Datenzentren
WO2012119388A1 (zh) * 2011-08-12 2012-09-13 华为技术有限公司 通信系统中节点设备上配置的服务故障的处理方法及装置
US9285859B2 (en) * 2011-12-29 2016-03-15 Khalifa University of Science, Technology, and Research British Telecommunications PLC Method and system for determining allocation of clients to servers
US9077640B2 (en) * 2012-01-13 2015-07-07 Board Of Regents, The University Of Texas System Method and system of congestion control in a mobile virtual network
US8335851B1 (en) * 2012-03-12 2012-12-18 Ringcentral, Inc. Network resource deployment for cloud-based services
JP5944537B2 (ja) * 2013-01-31 2016-07-05 株式会社日立製作所 通信経路の管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271221B2 (en) 2014-12-10 2019-04-23 Nec Corporation Communication device, control method, and communication system
US10306496B2 (en) 2014-12-10 2019-05-28 Nec Corporation Control device, control method, and communication system

Also Published As

Publication number Publication date
EP2852202A4 (en) 2016-02-24
CN104285459A (zh) 2015-01-14
CN104285459B (zh) 2018-03-20
JP2013239913A (ja) 2013-11-28
EP2852202A1 (en) 2015-03-25
WO2013172107A1 (ja) 2013-11-21
US20150142958A1 (en) 2015-05-21
EP2852202B1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
JP5537600B2 (ja) 制御ノード及び通信制御方法
US11039320B2 (en) Scalable evolved packet core
KR101467138B1 (ko) 지리적 리던던트 게이트웨이들에서 세션 복원을 위한 시스템 및 방법
US8989000B2 (en) Cloud-based telecommunications infrastructure
JP6197100B2 (ja) 仮想化資源管理ノード及び仮想マシン移行方法
US20110235505A1 (en) Efficient deployment of mobility management entity (MME) with stateful geo-redundancy
CN102084705A (zh) 通信网络中的动态负载平衡
CN102450052B (zh) 数据网关负载处理方法、设备及系统
JP7314344B2 (ja) ソフトウェア・アップグレード方法およびシステム
US20220109604A1 (en) Optimizing management entity selection resiliency for geo-redundancy and load balancing in mobile core network
JP5859634B2 (ja) 移動体通信システム、通信システム、呼処理ノード及び通信制御方法
JP2015191246A (ja) 通信システムおよび管理方法
CN111082954A (zh) 一种网元负载均衡方法及网络设备
JP5579224B2 (ja) 移動体通信システム、呼処理ノード及び通信制御方法
JP5829230B2 (ja) 管理システム及び管理方法
US10225191B2 (en) Service packet distribution method and apparatus
JP6745767B2 (ja) 通信サービスシステムおよび系切り戻し方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140425

R150 Certificate of patent or registration of utility model

Ref document number: 5537600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250