JP2010088031A - アンダーレイネットワーク障害検知方法及びネットワークシステム - Google Patents

Abstract

【課題】アンダーレイネットワーク上に構築されたオーバーレイネットワークにおいて、トンネルトラフィックの変化によりアンダーレイネットワークの障害を検知する。
【解決手段】オーバーレイノード内の計測機能部３０３において、パッシブプローブ３０４がオーバーレイネットワークのトンネルトラフィックを抽出してそのパケットヘッダ部をコレクタ部３０６に蓄積し、アナライザ部３０８がパケットヘッダ情報に基づいて、トラフィック状態である利用帯域、遅延、パケットロス率を計算し、トンネルごとにトンネルトラフィック状態を管理する。障害検知部３１０は、計測されたトラフィック状態からトラフィック変化のパターンを解析し、変化の許容範囲を予測し、最新の計測結果が許容範囲に入っていない場合には、障害発生を推定する。アクティブプローブ３１２が経路トレース処理を行ってアンダーレイネットワークの障害の確認と障害箇所の特定を行う。
【選択図】図３

Description

本発明は、例えば実ネットワークであるアンダーレイネットワーク上に複数の仮想ノードを有するオーバーレイネットワークが構築されている場合に、オーバーレイネットワークにおける挙動からアンダーレイネットワークの障害を検出するアンダーレイネットワーク障害検知方法と、そのような方法が実行されるネットワークシステムに関する。

ＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)やＭＰＬＳ(Multi-Protocol Label Switching)などに基づくネットワークをアンダーレイネットワークとして、このようなアンダーネットワーク上に覆いかぶせるように構築した仮想ネットワークであって、アンダーレイネットワークとは異なる名前空間を有するネットワークのことを、オーバーレイネットワークと呼ぶ。アンダーレイネットワーク上には、複数のサービスに対応して複数のオーバーレイネットワークを構築することが可能である。オーバーレイネットワークで構成した仮想ネットワーク内では、既存のネットワーク技術に依存しないネットワーク技術を使えることが知られている。しかしながら、オーバーレイネットワークは、アンダーレイネットワークに依存しているため、アンダーレイネットワークでの障害によりオーバーレイネットワークにも異常が発生することとなり、このため、オーバーレイネットワークを運用している場合には、オーバーレイネットワークでの仮想リンクのトラフィック状態の変化に基づいて、アンダーレイネットワークの障害を検出できることが望ましい。

従来、ネットワークのトラフィック状態監視としては、ネットワーク内の各ネットワーク機器（ルータやスイッチ）の物理インターフェースで受信される全トラフィックを計測し、その各物理リンクのトラフィック状態情報を計算してトラフィックの状態や異常を監視する方法がある。しかしながらこの方法では、各ネットワークノードは自ノードでの物理リンクの単位で監視・計測を行っているため、計測の結果はネットワークノード間の物理リンク上のトラフィック状態しか示すことができない。

このネットワーク計測・監視及び異常検知の技術に関し、例えば、特許文献１（特開２００８‐１１８２４２号公報）には、パケットサンプリングによって異常トラフィックを検出する技術が開示されている。この検出手法では、トラフィックにおける急激なピーク等という異常を検出しやすくするために、全体の大きなトラフィック量を複数のグループに分割しており、これによって、異常の箇所を簡単に特定できるようにしている。また、各々のサンプリングしたトラフィックの値を時系列で記録し、トラフィックの変化を予測し、この予測値と実際に計測した結果を比較して、トラフィックの変化があるかを特定している。この方法では、ネットワークノードにおける計測・監視結果を、中央管理サーバとして設けられている異常トラヒック検出装置に集約し、異常トラヒック検出装置においてネットワーク障害・異常の検知を行っている。したがって、ネットワークノード自身が物理リンクに対して計測・監視を行っても、異常トラヒック検出装置にデータの解析が依頼されることとなり、複雑の解析には対応できものの、解析量が多くなると解析時間が必要になるという問題点がある。また、ネットワークの設計変更や計測対象の箇所が変更される場合には、異常トラヒック検出装置の設定変更が必要になり、ネットワークの設計変更には即時に対応できなくなる。

また特許文献２（特開２００８‐１４１６４１号公報）には、過去の計測したトラフィックの結果を学習し、トラフィックの変動や推移を予測する技術が開示されている。この技術では、ネットワーク内に流れるトラフィックについて周期性がある場合に、その過去のある期間（例えば各曜日ごとの期間）のトラフィック形態を事前に学習し、その周期成分を分析してその期間のトラフィックの特性を記録する。これにより、ある期間のトラフィック特性を予測でき、新しく計測したトラフィック状態と過去の変動の動向と比較して、トラフィックの異常を検出できる。しかしながら特許文献２に記載のものでは、トラフィックの周期を学習してトラフィックの異常を特定するので、精度を向上するために、多く学習用の過去のデータが必要になり、また、周期性がないトラフィックについては、過去の参照するデータがないため、異常の判断ができなくなる、という問題点がある。
特開２００８‐１１８２４２号公報 特開２００８‐１４１６４１号公報

上述したようなトラフィックの計測と監視とを行ってネットワーク障害を検出する方法では、監視及び計測の対象が物理インターフェース上に入ってくる全パケットとなっていることから、アンダーレイネットワークの状態が主な計測対象になり、アンダーレイネットワークでの隣接するノード間のトラフィックについての計測結果が得られることになる。

アンダーレイネットワーク上にオーバーレイネットワークを構築するのは、アンダーレイネットワークでのネットワーク構成などに依存せずに名前空間等を設定できる仮想ネットワークを構成したいからであり、その観点からすれば、オーバーレイネットワークでの監視及び計測結果に基づいて障害を特定できることが極めて望ましい。しかしながら上述した従来の技術の延長では、アンダーレイネットワークとオーバーレイネットワークの両方についての全体の情報がないと、アンダーレイネットワークでの障害発生箇所を特定することができない、という問題点がある。

そこで本発明の目的は、例えば実ネットワークであるアンダーレイネットワーク上に、複数のサービスに対応する複数のオーバーレイネットワークが作成される場合に、オーバーレイネットワークでのノード間のトラフィック品質及び状態の変化を計測し、それらのトラフィック状態の変化したことからアンダーレイネットワークの障害を検出することができるアンダーレイネットワーク障害検知方法と、そのような障害検知方法が実施されるネットワークシステムとを提供することにある。

本発明のアンダーレイネットワーク障害検知方法は、アンダーレイネットワーク上に複数のオーバーレイネットワークが形成されているときに、各オーバーレイネットワーク上の各トンネルのトラフィック状態を計測してトンネルの状態の変化を検出し、アンダーレイネットワークでの障害を検知する方法であって、トンネルトラフィックのパケットを抽出することと、抽出されたパケットのパケットヘッダを解析してトンネルのトラフィック状態を計測することと、パケットヘッダの解析結果から、障害の発生を推定することと、障害の発生を推定した場合に、アンダーレイネットワークの経路を再確認することと、を有する。

本発明のネットワークシステムは、アンダーレイネットワーク上に複数のオーバーレイネットワークが形成されているネットワークシステムであって、１または複数の仮想ノードと、各オーバーレイネットワーク上の各トンネルのトラフィック状態を計測してトンネルの状態の変化を検出する計測機能部と、を有するオーバーレイノードを備え、計測機能部は、トンネルトラフィックのパケットを抽出するパケット抽出手段と、パケット抽出手段によって抽出されたパケットのパケットヘッダを解析してトンネルのトラフィック状態を計測するパケットヘッダ解析手段と、パケットヘッダ解析手段での解析結果に基づいて障害の発生を推定するトンネル障害検知手段と、トンネル障害検知手段が障害の発生を推定した場合にアンダーレイネットワークの経路を再確認する経路再確認手段と、を備える。

本発明では、オーバーレイノードに入って来るトラフィックに対し、トラフィック全体ではなく、オーバーレイネットワークのトンネルのトラフィックに対し、パッシブプローブを用いてパケットを抽出する。したがって、各オーバーレイネットワークの各仮想リンク（トンネル）に対して、トラフィックの状態・品質を計測し管理することができる。

また本発明によれば、オーバーレイネットワークのトラフィック状態・品質の変化を検出することによって、オーバーレイネットワーク上からは見えないアンダーレイネットワークでのトポロジーの変化を推定することができ、また、アクティブプローブを用いてアンダーレイネットワークの経路を再確認することにより、アンダーレイネットワークでの障害の箇所を特定できる。

次に、本発明の実施の形態について、図面を参照して説明する。本実施形態の技術は、複数の仮想ノードから構成されるオーバーレイネットワーク（仮想ネットワーク）の仮想リンク（すなわちトンネル）のトラフィック状態を計測・監視し、トンネル内のトラフィック状態の変化により、アンダーレイネットワークの障害を検出するものである。

最初に、オーバーレイネットワークについて説明する。図１は、例えば実ネットワークとして構築されるアンダーレイネットワーク１００と、そのようなオーバーレイネットワーク上に仮想ネットワークとして構築される複数のオーバーレイネットワーク１４０，１５０との基本的な関係を示す構成図である。

アンダーレイネットワーク１００から、オーバーレイネットワークを構築するオーバーレイノード１０１〜１０５が構成され、オーバーレイノード上に仮想ノード１１０〜１１３、１２０〜１２３が搭載されている。ここでは、２つのオーバーレイネットワーク１４０，１５０は、“Ａ”及び“Ｂ”の文字で区別されており、文字“Ａ”がラベルされた仮想ノード１１０〜１１３は、“Ａ”のオーバーレイネットワーク１４０の仮想ノードであり、文字“Ｂ”がラベルされた仮想ノード１２０〜１２３は“Ｂ”のオーバーレイネットワーク１５０の仮想ノードである。同一のオーバーレイノードに両方のオーバーレイネットワークの仮想ノードが共存してもよいし、片方のオーバーレイネットワークの仮想ノードのみが存在してもよい。これらの仮想ノードは、オーバーレイネットワークごとに、オーバーレイリンク（仮想リンク）１４１〜１４４、１５１〜１５４で相互に接続されている。仮想リンクはトンネルとも呼ばれ、例えば、ＴＣＰセッションやＩＰ／ＩＰＳｅｃトンネル、ＭＰＬＳパス、ＡＴＭコネクションなどが用いられる。アンダーレイネットワーク１００（例えば実ネットワーク）では、オーバーレイノード１０１〜１０５間は、例えばアンダーレイネットワークでのリンク１３０〜１３３で接続されている。

オーバーレイノードとそれらの間のリンクは、アンダーレイネットワークでのノード及びリンクと１対１に対応しているわけではない。図２は、オーバーレイノードとアンダーレイノードの関係を説明する図である。ここで示した例では、２つのオーバーレイノード１０１，１０２間のリンクが、複数のアンダーレイノード１７０〜１７３を経由している。オーバーレイノード１０１，１０２に搭載されている仮想ノード１１０，１１１が仮想リンク（トンネル）１４１により接続されて、オーバーレイネットワークが構築されている。オーバーレイノード１０１，１０２とアンダーレイノード１７０，１７２との間、及びアンダーレイノード１７０〜１７３の相互間は、例えば物理リンクであるアンダーレイリンク１６０〜１６５によって接続されている。アンダーレイネットワークのアンダーレイノードは、一般的なルーターやスイッチによって構成されるものであって、既存のＳＴＰやＯＳＰＦ等のルーティングプロトコルで経路計算を行い、ＴＣＰ／ＩＰやイーサネット（登録商標）、ＭＰＬＳなどの転送プロトコルを用いてデータ転送を行う。

オーバーレイネットワークは、仮想リンク１４１で仮想ノード１１０、１１１を接続することにより、アンダーレイネットワークから見て入れ子状になっている。アンダーレイネットワークに対して独立した名前空間をオーバーレイネットワークに持たせることにより、アンダーレイネットワークのプロトコルに依存することのない仮想ネットワークを構築することができる。独立した名前空間の利用は、既知の技術として、ＭＰＬＳによるＩＰ−ＶＰＮや、ＩＰｓｅｃによるインターネットＶＰＮで使用されている。一方で、仮想ノードの処理動作を変更し、複数の仮想リンクで接続された仮想ノードにおいて新規のネットワーク技術を処理させることにより、オーバーレイネットワーク上で新規のネットワーク技術を適用することが可能となる。

アンダーレイネットワークにおいてノードやリンクの障害が発生した場合、アンダーレイのルーティングプロトコルによる経路再計算が行なわれて、通常経路から迂回経路へ経路の切り替えが発生する。しかしながらオーバーレイネットワーク上の仮想ノードは、アンダーレイネットワークのトポロジー情報を保持していないため、アンダーレイネットワーク側での経路切り替え発生があってもその経路切り替えを把握することができない。アンダーレイネットワークでの経路切り替えは、オーバーレイネットワークのトラフィック状態・品質に影響するため、アンダーレイネットワークの障害をオーバーレイネットワークが知ることができるようにする必要がある。そこで本実施形態では、オーバーレイノードにおいてアンダーレイネットワークの障害を検出できるようにしている。

図３は、本発明の実施の一形態のネットワーク障害検知システムを構成するオーバーレイノードの構成を示すブロック図であり、トラフィックを計測する部分を中心にして示したものである。また図４は、計測機能部３０３における処理の詳細を示すためのブロック図である。

オーバーレイノード３００内に、それぞれ独立のオーバーレイルーティングプロトコル機能を持つ複数の仮想ノード３０１と、トラフィックを計測する計測機能部３０３が設けられている。計測機能部３０３は、パッシブプローブ３０４と、コレクタ部３０６と、アナライザ部３０８と、障害検知部３１０と、アクティブプローブ部３１２と、経路情報記録部３１４とを備えている。

パッシブプローブ３０４は、オーバーレイノード３００に到着するパケット３０２を監視し、パケットのヘッダにオーバーレイネットワークのトラフィックを示すトンネルヘッダを含まれるかを識別し、オーバーレイネットワークトラフィックのみをフィルタリングし、オーバーレイネットワークのトンネルトラフィックのパケットのみを抽出する。また、パッシブプローブ３０４は、蓄積量と解析量を減らすために、抽出したパケットに対して、所定のレートでサンプリングを行い、サンプリングしたパケットのヘッダ情報とトンネルの情報とをコレクタ部３０６に送る。そのようなフィルタリングとサンプリングを行うために、パッシプブローブ３０４は、フィルタリング部３３１とサンプリング部３３２を備えている。

図５は、オーバーレイネットワークのトラフィックのパケットヘッダを示している。パケットでは、アウターヘッダ３６０、トンネルヘッダ３６１、インナーヘッダ３６２及びペイロード３６３がこの順で並んでいる。アウターヘッダ３６０は、アンダーレイネットワークのルーティングプロトコル用のヘッダであり、トンネルヘッダ３６１は、オーバーレイネットワークのパケットヘッダを示す重要なヘッダ部であり、インナーヘッダ３６２はオーバーレイネットワークのルーティングプロトコル用のヘッダである。また、トンネルヘッダ３６１の内部には、オーバーレイノードから他のオーバーレイノードへ送信する際のタイムスタンプ３６４と、オーバーレイネットワークの識別キー３６５と、パケットの順序を保証するシーケンス番号３６６とが保持されている。

次に、このようパッシブプローブ３０４での処理の詳細について、図６を用いて説明する。

ステップ４００において物理インタフェースにパケットが到着すると、まず、パッシブプローブ３０４は、ステップ４０１において、そのパケットにオーバーレイネットワーク用のトンネルヘッダがあるかどうかを判定する。トンネルヘッダがない場合には、ステップ４０３に示した、アンダーレイネットワークのルーティング機能でパケットを転送する処理に移行する。トンネルヘッダがある場合には、次に、ステップ４０２において、パッシブプローブ３０４は、パケットフィルタリングを行う。このフィルタリングにより抽出されなかったパケットは、ステップ４０４に示すように、仮想ノードに転送される。次に、パケットフィルタリングで抽出したパケットに対し、パッシブプローブ３０４は、ステップ４０５において、パケットのサンプリングを行い、その後、ステップ４０６において、サンプリングされたパケットのヘッダ情報をコレクタ部３０６に記録し、処理を終了する。

コレクタ部３０６は、フィルタリング及びサンプリングされたオーバーレイトラフィックのパケットヘッダの情報をパッシブプローブ３０４から受け取って記録し、新しいパケットヘッダ情報を記録する場合には、そのパケットヘッダ情報を定期的にアナライザ部へ通知する。すなわちコレクタ部３０６は、パッシブプローブ３０４から、計測されたパケットヘッダの必要な情報３０５を取得し、アナライザ部がそのヘッダ情報を取得するまで、そのヘッダ情報のデータを保管する。

アナライザ部３０８は、設定された周期で、コレクタ部３０６に蓄積されているオーバーレイトラフックのパケットヘッダ情報３０７にアクセスして取得する。そしてアナライザ部３０８は、パケットヘッダの［アウターヘッダ］の［送信元ＩＰアドレス］と［宛先ＩＰアドレス］と［オーバーレイネットワークのキー］とを組み合わせてトンネルＩＤ（識別子）を構成し、各オーバーレイネットワークの各トンネル（仮想リンク）のトンネルＩＤ単位で、オーバーレイネットワークのトンネル内のトラフィック状態を管理する。そのようなアナライザ部は、トンネルＩＤ単位でトラフィック状態を記憶するメモリスロット３３５と、トンネルについての情報を保持するトンネル情報データベース３３６とを備えており、トンネル情報データベース３３６は、トンネルＩＤを格納するトンネルＩＤデータベース３３７と、各トンネルごとの状態を記述するステートテーブル（状態テーブル）を保持するトンネル状態データベース３３８とからなっている。

アナライザ部３０８は、コレクタ部３０６に蓄積されているパケットヘッダ情報３０７から、トンネルのトラフィック状態である利用帯域、遅延、パケットロス率を解析して計算を行い、各トンネルＩＤごとのメモリスロットに、設定された解析周期で、計算した利用帯域値、遅延値及びパケットロス率値を時系列で記録する。さらに、全体のオーバーレイネットワークのトラフィック状態を把握できるようにするために、アナライザ部３０８は、矢印３１６で示すように、外部の管理サーバに対し、トンネルのトラフィック状態を定期的に通知する。

図７は、このようなアナライザ部３０８の動作を示すフローチャートである。アナライザ部３０８は、ステップ４１０において、一定の周期で、コレクタ部３０６に保管されているトンネルトラフィックのパケットのヘッダデータを取得する。そしてアナライザ部３０８は、そのヘッダデータ情報から、各トンネルについて、ステップ４１１〜４１３に示すように、トンネルトラフィック状態を示す３つのパラメータ：利用帯域、遅延、パケットロス率を計算する。各トンネルのトラフィック状態を区別するために、アナライザ部３０８は、ステップ４１４に示すように、計測した結果の利用帯域値、遅延値及びパケットロス値をトンネルＩＤ（トンネルヘッダ内のオーバーレイネットワークキー、送信元ＩＰアドレス、宛先ＩＰアドレスの組み合わせ）で管理し、その計算した３つのパラメータ値をステップ４１５において各パラメータ用のメモリスロットに記録する。その結果、トンネルトラフィック状態を表す各パラメータが、トンネルごとに、一定周期の時系列で保存されることになる。

障害検知部３１０は、アナライザ部３０８にある各トンネルＩＤの利用帯域値用のメモリスロットと、遅延値用のメモリスロットと、パケットロス率値用のメモリスロットとにアクセスし、ｎ個分のメモリスロットに格納されている各パラメータ（利用帯域値と遅延値とパケットロス率値）に基づき、ｎ個の期間にわたるこれらのパラメータの平均値μ及び標準偏差σを計算する。障害検知部３１０は、各パラメータの変動に関し、平均値μと標準偏差σから、「μ−ασ」を超えて「μ＋ασ」以下であるという許容範囲を設定する。ここでαは、管理者が設定する正の数である。そして障害検知部３１０は、メモリスロット内の各パラメータから算出された変動許容範囲と、最新の計測による結果値とを比較し、その計測値が変動許容範囲に入っていない場合、すなわち、計測値≦μ−ασ、または、計測値＞μ＋ασの場合には、そのトンネルＩＤのトンネル内のトラフィックが異常であることを判定し、かつ、そのトラフィックが利用しているアンダーレイネットワークに障害があると推定する。このようにアンダーレイネットワークでの障害を推定した場合には、障害検知部３１０は、障害発生ののアラーム３１１をアクティブプローブ３１２に通知する。

図８は、障害検知部３１０の動作を示すフローチャートである。障害検知部３１０は、ステップ４２０において、アナライザ部３０８のメモリスロット３３５に保存されている各パラメータの値を取得し、ステップ４２１，４２２において、各パラメータの平均値μ及び標準偏差σを計算し、次にステップ４２３において、その平均値μと標準偏差σを用いて、各パラメータの変動の許容範囲を決定する。許容範囲は、［μ−ασ：μ＋ασ］の範囲になる。αは正の数値であり、αを小さくすると変化の許容範囲が狭くなり、誤検知が多く発生する。逆にαに大きな値を設定する場合には、許容範囲が大きくなり、未検知が多く発生する。

次に障害検知部３１０は、ステップ４２４において、最新の計測値が各パラメータの許容範囲に入っているかを判定する。ここで許容範囲に入っている場合には、障害発生なしとしてそのまま処理を終了する。一方、許容範囲に入っていない場合には、ステップ４２５において、利用帯域の変化または遅延の変化に基づいて、アンダーレイネットワークでの障害の推定を行う。図９はこのような障害の推定の条件を説明するフローチャートである。

オーバーレイネットワーク上に流れるＴＣＰフローにおいてパケットロス率が多く発生する場合は、ＴＣＰの輻輳制御が発生する場合であるので利用帯域が激しく変動し、障害による利用帯域の変動を特定することは困難になる。この場合は、遅延変動を基準にして障害を推定することが適切である。逆に、パケットロス率が少ない場合は、利用帯域が安定した状態であるため、利用帯域の急激な変動を簡単に検出でき、利用帯域を基準にして障害を推定することができる。なお、判断条件であるパケットロス率とＴＣＰの特性であるスループットとは、１／（ＲＴＴ＊(パケットロス率)^1/2）の関係があるので、判定条件として用いられるパケットロス率の値を決定することができる。ここでＲＴＴは、往復時間(round trip time)で表わされるスループットである。

そこで、図９に示すように、ステップ４３０において、パケットロス率がある固定値を上回るかどうかを判定し、パケットロス率がある固定値以下の場合には、ステップ４３１に示すように、利用帯域変化の条件で障害検知を行い、ステップ４３３に示すように、遅延の変化とパケットロス率の変化とを参考として用い、ステップ４３５において、アンダーレイネットワークでの障害の推定を行う。逆にパケットロス率が固定値を上回る時は、ステップ４３２に示すように、遅延変化の条件で障害検知を行い、ステップ４３４に示すように、利用帯域の変化とパケットロス値の変化とを参考として用い、ステップ４３５において、アンダーレイネットワークでの障害の推定を行う。具体的には、利用帯域値の変化を条件とする場合には、利用帯域値が減少して遅延値が増加した場合と、利用帯域値が減少してパケットロス率値が増加した場合に、トラフィック状態が異常であると推定し、遅延値の変化を条件とする場合には、遅延値が増加して利用帯域値が減少した場合と、遅延値が増加してパケットロス率値が増加した場合に、トラフィック状態が異常であると推定する。

このようにして図８のステップ４２５に示す障害推定が行われると、次に、ステップ４２６において、推定の結果、アンダーレイネットワークにおいて障害が発生したと推定できるかを判断し、障害発生を推定できない場合にはそのまま処理を終了し、障害発生を推定できる場合には、ステップ４２７において、障害検知部３１０は、アクティブプローブ３１２に対して、アンダーレイネットワークでの障害発生の推定のアラーム３１１を発信する。

アクティブプローブ３１２は、障害検知部３１０からアンダーレイネットワークでの障害発生推定アラーム３１１を受信すると、オーバーレイネットワークのトンネル（仮想リンク）が実際に利用しているアンダーレイネットワークの各アンダーレイノードの経路を再確認し、事前に経路情報記録部３１４に登録されている経路情報と一致するかを確認する。一致しない場合、アンダーレイネットワークにおいて経路切り替え又は変更が発生したことだと判断し、アクティブプローブ３１２は、オーバーレイネットワークの仮想ノード３０１又は外部の管理サーバに対し、アンダーレイネットワーク障害のアラームを通知する。

図１０は、アクティブプローブ３１２の動作を示すフローチャートである。アクティブプローブ３１２は、通常時には待機状態にある。すなわちステップ４４０において障害発生推定のアラーム３１１を受信するまで、ステップ４４１に示すようにアクティブプローブ３１２は待機している。障害検知部３４０からアンダーレイネットワークの障害発生の推定のアラーム３１１を受信すると、この場合にはアンダーレイネットワークに対してネットワークのトポロジーの変化があるかを確認することが必要になるので、アクティブプローブ３１２は、ステップ４４２において、アンダーレイネットワークにおける経路トレース処理を行ってアンダーレイネットワークのトポロジーを検出する。例えばアンダーレイネットワークがＴＣＰ／ＩＰネットワークである場合には、トンネルの前端のアドレスに対するＴｒａｃｅｒｏｕｔｅパケット３１５をアンダーレイネットワークに送出し、このＴｒａｃｅｒｏｕｔｅパケットに対する応答を受信することによって、アクティブプローブ３１２はアンダーレイネットワークのトポロジーを検出する。次にアクティブプローブ３１２は、ステップ４４３において、経路トレース処理によって検出したアンダーレイネットワークの経路情報を事前に経路情報記録部３１４に保存されている経路情報と比較し、ステップ４４４において経路情報が一致するかを判定することにより、実際に経路の変更が行なわれているかを再確認する。アクティブプローブ３１２は、経路情報が一致する場合、すなわち経路変更が起きていない場合にはそのまま処理を終了し、経路情報が一致しない場合、すなわち経路変更が行われていた場合には、アンダーレイネットワークに障害が発生したことを特定し、アンダーレイネットワークの障害発生のアラーム３１６を外部の管理サーバへ警告する。

上述した実施形態においては、アンダーレイネットワークでの障害を特定しなければならないことから、障害検知部３１０において誤検知が発生するとアクティブプローブ３１２も起動して、経路トレース処理を行い、アンダーレイネットワークの経路を再確認することになる。しかしながら本実施形態では、定期的にアクティブプローブによる処理を行う場合よりも、経路トレース処理の頻度が小さく、また、拡張性及び効率性も高い。

一般にネットワークの監視には、パケットフィルタリングなどに基礎をおくパッシブ計測と、Ｔｒａｃｅｒｏｕｔｅパケットなどのネットワーク内に伝搬させて経路トレース処理を行うアクティブ計測の２通りの方法がある。このうちパッシブ計測は計測精度が低いと考えられ、アクティブ計測は計測精度は高いものの計測用のトラフィックが発生するためにネットワーク全体に対する計測用の負荷が大きくなるものと考えられる。上述した実施形態では、パッシブ計測によって、障害の発生の候補を絞った上で、障害発生の可能性があると推測される場合にのみアクティブ計測を行うことにより、ネットワークに与える負荷を軽減しつつ、正確な障害発生検出を行うことを可能にしている。

次に発明の別の実施形態について説明する。この例では、計測されメモリスロットに格納されている各パラメータを利用し、１つのパラメータにおける変化と２つ以上のパラメータにおける変化とを用いて、トンネルトラフィックの障害検知を行う。

１つのパラメータのみを利用する場合、標準偏差σと変数αとの積ασについて、αに小さい値が設定されると、パラメータ変動の許容範囲が狭くなり、各パラメータにおける小さな変化でも障害として検知されてしまい、誤検知が多く発生する。そのため、変数αには大きな値を設定することが必要である。

一方、２つ以上のパラメータを利用する場合には、２つ以上のパラメータ（利用帯域、遅延、パケットロス率のうちの２つ以上）が同時に変化することを検出することにより、トンネルトラフィックの障害のアラームを通知する。２つ以上のパラメータを利用する場合は、そのようなパラメータの積について平均値μと標準偏差σを求めて「μ−ασ」を超えて「μ＋ασ」以下であるという許容範囲する際に変数αに大きい値が設定されると、許容範囲は大きくなりすぎ、あるパラメータでの変化を検知することができなくなる。そこで、２つ以上のパラメータが同時に変化するという条件では、αもは小さな値を設定することが必要である。

“１つのパラメータにおける変化がある”、あるいは、“２つ以上のパラメータにおける変化がある”という条件で、障害検知の判定を実現する。

以上説明した各実施形態において、オーバーレイネットワークのトンネルトラフィック状態を監視し、トンネルトラフィックの変化によるアンダーレイネットワークの障害を推定する計測機能部は、ハードウェアによって構成してもよいし、コンピュータを動作させるソフトウェアプログラムによって実現してもよい。あるいは、部分的にハードウェアで構成し、部分的にソフトウェアで構成してもよい。

上述した各実施形態によれば、アンダーレイネットワーク（実ネットワーク）上に複数オーバーレイネットワーク（仮想ネットワーク）を構築する場合に、各オーバーレイネットワークの各トンネル（仮想リンク）のトラフィック状態を監視し、各トンネルのトラフィック状態の変化を検出することにより、オーバーレイネットワークのトポロジーでは見ることができないアンダーレイネットワークでのトポロジー変化及び障害を検知することができる。

以上、実施形態に基づき本発明を具体的に説明したが、本発明は、前述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲について種々変化可能であることはもちろんである。

アンダーレイネットワークとこのアンダーレイネットワークに収容される複数のオーバーレイネットワークの概要を説明する図である。 オーバーレイノードとアンダーレイノードの関係を説明する図である。 本発明の実施の一形態におけるオーバーレイノードの構成を示すブロック図である。 計測機能部における処理の詳細を示すためのブロック図である。 オーバーレイパケットのヘッダの構成を示す図である。 パッシブプローブの動作を示すフローチャートである。 アナライザ部の動作を示すフローチャートである。 障害検知部の動作を示すフローチャートである。 障害推定の動作を示すフローチャートである。 アクティブプローブの動作を示すフローチャートである。

符号の説明

１００ アンダーレイネットワーク
１４０，１５０ オーバーレイネットワーク
１０１〜１０５ オーバーレイノード
１１０〜１１３，１２０〜１２３，３０１ オーバーレイノード上の仮想ノード
１３０〜１３３ リンク
１４１〜１４４，１５１〜１５４ オーバーレイリンク（仮想リンク）
１６０〜１６５ アンダーレイリンク
１７０〜１７３ アンダーレイノード
３００ オーバーレイノード
３０２ トラフィック
３０３ 計測機能部
３０４ パッシブプローブ
３０６ コレクタ部
３０８ アナライザ部
３１０ 障害検知部
３１２ アクティブプローブ
３１４ 経路情報記録部
３３１ フィルタリング
３３２ サンプリング
３３５ メモリスロット
３３６ トンネル情報データベース
３３７ トンネルＩＤデータベース
３３８ トンネル状態データベース

Claims (20)

1. アンダーレイネットワーク上に複数のオーバーレイネットワークが形成されているときに、各オーバーレイネットワーク上の各トンネルのトラフィック状態を計測してトンネルの状態の変化を検出し、アンダーレイネットワークでの障害を検知する方法であって、
   前記トンネルトラフィックのパケットを抽出することと、
   前記抽出されたパケットのパケットヘッダを解析してトンネルのトラフィック状態を計測することと、
   前記パケットヘッダの解析結果から、障害の発生を推定することと、
   障害の発生を推定した場合に、前記アンダーレイネットワークの経路を再確認することと、
   を有するアンダーレイネットワーク障害検知方法。
2. 前記パケットを抽出することは、
   トンネルヘッダ内にあるオーバーレイネットワークのキーで識別することによって、受信した全体トラフィックのパケットから、前記オーバーレイネットワークのトラフィックのパケットのみをフィルタリングすることと、
   前記フィルタリングされたパケットに対し、決められたレートでサンプリングを行うことと、
   を有する、請求項１に記載のアンダーレイネットワーク障害検知方法。
3. 前記トラフィック状態を計測することは、
   前記サンプリングされたパケットのパケットヘッダ情報を取得することと、
   該パケットヘッダ情報から、トンネルトラフィック状態をそれぞれ表わす３つのパラメータである利用帯域値、遅延値及びパケットロス値を計算することと、
   前記トンネルトラフィック状態の前記各パラメータの値を一定周期の時系列のデータとしてメモリスロットに記録することと、
   を有する、請求項２に記載のアンダーレイネットワーク障害検知方法。
4. 前記オーバーレイネットワークのトンネルトラフィックのパケットヘッダが、前記アンダーレイネットワークのルーティングプロトコル用のアウターヘッダと、各オーバーレイネットワークの識別子のキーを含むトンネルヘッダと、前記オーバーレイネットワークのルーティングプロトコル用のインナーヘッダと、を有する、請求項３に記載のアンダーレイネットワーク障害検知方法。
5. 前記トンネル内にあるオーバーレイネットワークのキーと前記アウターヘッダにある送信元ＩＰアドレスと前記アウターヘッダにある宛先ＩＰアドレスとを用いてトンネルＩＤを構成し、前記各オーバーレイネットワークの各トンネルのトラフィック状態を前記トンネルＩＤを用いて管理する、請求項４に記載のアンダーレイネットワーク障害検知方法。
6. 前記障害の発生を推定することは、
   前記メモリスロット内に保存されている前記各パラメータの値を取得することと、
   前記各パラメータごとにその平均値μとその変化の標準偏差σを計算することと、
   αを与えられた整数として、パラメータごとに、下限をμ−ασとし、上限をμ＋ασとする変化許容範囲を決定することと、
   を有する、請求項３に記載のアンダーレイネットワーク障害検知方法。
7. 前記各パラメータの変化許容範囲と最新の各パラメータの計測値とを比較し、前記最新の計測値が前記変化許容範囲内に入る場合には当該パラメータ値は正常であると判定し、前記最新の計測値が前記変化許容範囲内に入らない場合には当該パラメータ値に急激な変化があったと判定し、
   前記急激な変化の有無に基づいてトラフィック状態の異常を推定して障害の発生を推定する、請求項６に記載のアンダーレイネットワーク障害検知方法。
8. 前記急激な変化があった場合に、
   前記計測したパケットロス率に対し、パケットロス率≦設定値の場合に、利用帯域値の変化を条件としてトラフィック状態の異常を推定し、パケットロス率＞設定値の場合に、遅延値の変化を条件としてトラフィック状態の異常を推定する、請求項７に記載のアンダーレイネットワーク障害検知方法。
9. 前記利用帯域値の変化を条件とする場合には、利用帯域値が減少して遅延値が増加した場合と、利用帯域値が減少してパケットロス率値が増加した場合に、トラフィック状態の異常を推定し、
   前記遅延値の変化を条件とする場合には、遅延値が増加して利用帯域値が減少した場合と、遅延値が増加してパケットロス率値が増加した場合に、トラフィック状態の異常を推定する、
   請求項８に記載のアンダーレイネットワーク障害検知方法。
10. アンダーレイネットワークの経路を再確認することとは、
    前記オーバーレイノードから宛先であるトンネルの前端のアドレスに対し、前記アンダーレイネットワークの経路情報を再確認し、事前に保存している経路情報と比較して、前記アンダーレイネットワークの経路情報が変化したかを確認することと、
    前記アンダーレイネットワークの経路が変化していた場合に、前記アンダーレイネットワークの障害を特定することと、
    を有する、請求項１に記載のアンダーレイネットワーク障害検知方法。
11. アンダーレイネットワーク上に複数のオーバーレイネットワークが形成されているネットワークシステムであって、
    １または複数の仮想ノードと、各オーバーレイネットワーク上の各トンネルのトラフィック状態を計測してトンネルの状態の変化を検出する計測機能部と、を有するオーバーレイノードを備え、
    前記計測機能部は、前記トンネルトラフィックのパケットを抽出するパケット抽出手段と、前記パケット抽出手段によって抽出されたパケットのパケットヘッダを解析してトンネルのトラフィック状態を計測するパケットヘッダ解析手段と、前記パケットヘッダ解析手段での解析結果に基づいて障害の発生を推定するトンネル障害検知手段と、前記トンネル障害検知手段が障害の発生を推定した場合に前記アンダーレイネットワークの経路を再確認する経路再確認手段と、を備える、ネットワークシステム。
12. 前記パケット抽出手段は、
    トンネルヘッダ内にあるオーバーレイネットワークのキーで識別することによって、受信した全体トラフィックのパケットから、前記オーバーレイネットワークのトラフィックのパケットのみをフィルタリングするフィルタリング部と、
    前記フィルタリングされたパケットに対し、決められたレートでサンプリングを行うサンプリング部と、
    を有する、請求項１１に記載のネットワークシステム。
13. 前記パケットヘッダ解析手段は、メモリスロットを備え、前記サンプリングされたパケットのパケットヘッダ情報を取得し、該パケットヘッダ情報から、トンネルトラフィック状態をそれぞれ表わす３つのパラメータである利用帯域値、遅延値及びパケットロス値を計算し、前記各パラメータの値を一定周期の時系列のデータとして前記メモリスロットに記録する、請求項１２に記載のネットワークシステム。
14. 前記オーバーレイネットワークのトンネルトラフィックのパケットヘッダが、前記アンダーレイネットワークのルーティングプロトコル用のアウターヘッダと、各オーバーレイネットワークの識別子のキーを含むトンネルヘッダと、前記オーバーレイネットワークのルーティングプロトコル用のインナーヘッダと、を有する、請求項１３に記載のネットワークシステム。
15. 前記パケットヘッダ解析手段は、前記トンネル内にあるオーバーレイネットワークのキーと前記アウターヘッダにある送信元ＩＰアドレスと前記アウターヘッダにある宛先ＩＰアドレスとを用いてトンネルＩＤを構成し、前記各オーバーレイネットワークの各トンネルのトラフィック状態を前記トンネルＩＤを用いて管理する、請求項１４に記載のネットワークシステム。
16. 前記トンネル障害検知手段は、前記メモリスロット内に保存されている前記各パラメータの値を取得し、前記各パラメータごとにその平均値μとその変化の標準偏差σを計算し、αを与えられた整数としてパラメータごとに、下限をμ−ασとし上限をμ＋ασとする変化許容範囲を決定する、請求項１３に記載のネットワークシステム。
17. 前記トンネル障害検知手段は、前記各パラメータの変化許容範囲と最新の各パラメータの計測値とを比較し、前記最新の計測値が前記変化許容範囲内に入る場合には当該パラメータ値は正常であると判定し、前記最新の計測値が前記変化許容範囲内に入らない場合には当該パラメータ値に急激な変化があったと判定し、前記急激な変化の有無に基づいてトラフィック状態の異常を推定して障害の発生を推定する、請求項１６に記載のネットワークシステム。
18. 前記トンネル障害検知手段は、前記急激な変化があった場合に、前記計測したパケットロス率に対し、パケットロス率≦設定値であれば利用帯域値の変化を条件としてトラフィック状態の異常を推定し、パケットロス率＞設定値であれば遅延値の変化を条件としてトラフィック状態の異常を推定する、請求項１７に記載のネットワークシステム。
19. 前記トンネル障害検知手段は、
    前記利用帯域値の変化を条件とする場合には、利用帯域値が減少して遅延値が増加した場合と、利用帯域値が減少してパケットロス率値が増加した場合に、トラフィック状態の異常を推定し、
    前記遅延値の変化を条件とする場合には、遅延値が増加して利用帯域値が減少した場合と、遅延値が増加してパケットロス率値が増加した場合に、トラフィック状態の異常を推定する、請求項１８に記載のネットワークシステム。
20. 前記経路再確認手段は、前記オーバーレイノードから宛先であるトンネルの前端のアドレスに対し、前記アンダーレイネットワークの経路情報を再確認し、事前に保存している経路情報と比較して、前記アンダーレイネットワークの経路情報が変化したかを確認し、前記アンダーレイネットワークの経路が変化していた場合に、前記アンダーレイネットワークの障害を特定する、請求項１１に記載のネットワークシステム。

Images