JP7091923B2 - 転送装置、転送方法及びプログラム - Google Patents

Description

本発明は、通信ネットワークを構成する転送装置群（スイッチクラスタ）の通信経路の拡張制御、並びに、通信経路における障害発生時の自動経路切替制御を行う転送装置、転送方法及びプログラムに関する。

近年、ＯＴＴ（Over The Top）の発展に伴い、汎用的な転送機能に特化したデータセンタ向けの汎用スイッチ市場が盛んになっている。通信キャリアとしても従来から用いられてきた転送装置として、キャリア向け専用開発装置を分離して汎用装置群とする検討が進められている（特許文献１）。

例えば、図１０に従来の転送装置の構成を示す。この転送装置１０は、転送装置１０の制御を行うマネージメント機能１０ａと、他の転送装置と接続する経路を制御するルーティング機能１０ｂと、パケットを転送するパケット転送機能１０ｃの３つの機能を１パッケージに収容して構成されている。

転送装置１０の内部には、図１１に示すように、ＮＯＳ（Network Operating System）１２で制御されるファブリックカード１３ａ，１３ｂと、ラインカード１４ａ，１４ｂ，１４ｃとが組み込まれている。ファブリックカード１３ａ，１３ｂと、ラインカード１４ａ，１４ｂ，１４ｃという２種類の装置コンポーネント間はＣｌｏｓ型トポロジ１５で接続されている。

また、図１２に示す従来の転送システムは、外部のサーバ１１に切り離して収容したマネージメント機能１０ａと、このマネージメント機能１０ａにより制御される転送装置１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅ群とで構成される。この際、各転送装置１１ａ～１１ｅはパケット転送機能１０ｃを備える。更に、各転送装置１１ａ～１１ｅ及びサーバ１１の何れか一方でルーティング機能１０ｂを備える。

図１２に示す伝送システムの各転送装置１１ａ～１１ｅには、図１３に示す構成要素が次のように収容されている。転送装置１１ａはスパインＳＷ（Switch）１７ａであり、転送装置１１ｂはスパインＳＷ１７ｂ、転送装置１１ｃはリーフＳＷ１８ａ、転送装置１１ｄはリーフＳＷ１８ｂ、転送装置１１ｅはリーフＳＷ１８ｅである。

図１３に示す転送システムは、サーバ１６に搭載されたＣＴＬ（Controller）１６ａで制御されるスパインＳＷ１７ａ，１７ｂと、リーフＳＷ１８ａ，１８ｂ，１８ｃという２種類の装置コンポーネント間が、Ｃｌｏｓ型トポロジ１９で接続されて構成されている。Ｃｌｏｓ型トポロジ１９で接続されたスパインＳＷ１７ａ，１７ｂ及びリーフＳＷ１８ａ～１８ｃは、スイッチクラスタ２０を構成している。この構成により大容量転送を実現している（非特許文献１）。

図１３に示すような、従来の転送装置と同様の転送容量を担保するために将来期待される通信ネットワーク構成においては、複数の転送装置を組み合わせてトラフィックを処理する構成が検討されている。

また、複数の汎用の転送装置群を制御する既存のアーキテクチャとして、自律分散型（非特許文献２）と、集中制御型（非特許文献３，４）がある。図１４に自律分散型転送システム２１を示し、図１５に集中制御型転送システム３１を示す。

図１４に示す自律分散型転送システム２１は、コントロール機能としてのＮＯＳＣＴＬ２２ａが搭載された外部のサーバ２２と、ＮＯＳ ＣＴＬ２２ａによりマネージメントＳＷ２３を介して制御される転送装置２４ａ～２４ｅ群とで構成されている。各転送装置２４ａ～２４ｅは、ルーティング機能とパケット転送機能を実現するＮＯＳを備える。このように、各転送装置２４ａ～２４ｅに自律的な経路解決機能としてのＮＯＳを配備することで、ＮＯＳＣＴＬ２２ａとの接続が切断された場合においても，各転送装置２４ａ～２４ｅ上のＮＯＳ自身で自律的に経路構築できるため、従来同様の通信ネットワークの信頼性が維持できる利点がある。

しかし、物理的な転送装置２４ａ～２４ｅの台数の増加に伴い経路情報も増加し、通信ネットワーク全体に影響が生じる。既存のネットワークで用いられている専用の転送装置２４ａ～２４ｅは、図１４に示すシステム２１で置き換えを想定すると，装置台数の増加に伴う経路情報の増加により、ネットワーク全体に影響が生じるため、周囲に影響を与えずに置き換えることは困難である。そこで、下記集中制御型の転送システムが実現されている。

図１５に示す集中制御型転送システム３１は、Ｒ／Ｆ（Routing/Forwarding）制御を行うコントローラであるＲ／ＦＣＴＬ３２ａが搭載された外部のサーバ３２と、転送装置３４ａ～３４ｅ群とを備えて構成されている。Ｒ／Ｆ ＣＴＬ３２ａは、ルーティング機能とフォワーディング制御機能とを有する。転送装置３４ａ～３４ｅ群は、パケット転送機能を備え、Ｒ／Ｆ ＣＴＬ３２ａによりマネージメントＳＷ３３を介して制御される。

このような集中制御型の転送システム３１は、複数の転送装置３４ａ～３４ｅに対して、外部に切り離したＲ／ＦＣＴＬ３２ａで一元的に経路構築を行うため、経路情報交換時に物理的な転送装置の台数を意識せずに、転送装置を論理的なノードとして制御できる利点がある。

非特許文献５における転送システムの実装例を図１６に示す。ここで、上述の図１５に示した集中制御型転送システム３１では、Ｒ／ＦＣＴＬ３２ａから各転送装置３４ａ～３４ｅに破線で示す１本の制御線しか接続できず冗長性に欠けていた。しかし、図１６の集中制御型の転送システム４１では、データ転送用の線４３も用いて、上記図１５の１本の制御線のみに依存しない構成が実現されている。

図１６では、ＣＴＬ４５から、Ｄ－ｐｌａｎｅ（主信号）と同様の経路も用いて集中制御するために、追加機能４７をマネージメントポート４８を介して各転送装置４２ａ，４２ｂに接続している。また、各外部サーバ４３ａ，４３ｂと各転送装置４２ａ，４２ｂとは、マネージメントポート４８で接続されている。更に、各転送装置４２ａ，４２ｂにＤ－ｐｌａｎｅ用ポート４６経由で外部装置４４ａ，４４ｂが接続されている。

特開２０１７－３８２０９号公報

C.Clos,"A Study of Non-Blocking Switching Networks."The Bell System technical Journal, 32(2):406-424, March 1953. "Multi-Service Fabric (MSF)"，［online］，2018 GitHub,Inc，［平成３０年７月１８日検索］，インターネット〈URL: https://github.com/multi-service-fabric/msf〉 ONF,"Enabling next-generation solutions in service provider networks"，［online］，2018，［平成３０年７月１８日検索］，インターネット〈URL: https://onosproject.org/〉 ONF,"CORD Installing a physical PoD"，［online］，2018,［平成３０年７月１８日検索］，インターネット〈URL:https://guide.opencord.org/cord-5.0/install_physical.html〉 平澤崇佳 他２名,"複数ノードの論理ノード化に関する高信頼化の一検討",信学技報,NS2017-172,pp.27-32.

上述した非特許文献３～５では、通信ネットワークを構成する複数の転送装置を、１台の集中制御装置（ＣＴＬ）で集中制御して管理する集中制御技術（Ｏｐｅｎｆｌｏｗ）が用いられている。しかし、集中制御技術に対応した転送装置は、集中制御装置と接続するためのマネージメントポートを１つしか持たないものが多い。そこで、集中制御装置と複数の転送装置との接続には、マネージメントスイッチ（図１５のマネージメントＳＷ２３，３３参照）で集約して接続するため、この集約接続部分が単一障害点となってしまう問題があった。更に、集中制御装置と転送装置とのトラフィックが特定経路に集中してしまう問題があった。

この他、図１６に一例を示したように、外部サーバ等に搭載した集中制御装置（ＣＴＬ４５）から各転送装置を制御するための通信をＤ－ｐｌａｎｅ（主信号）と同様の経路で行う技術も提案されている。しかし、スイッチクラスタ内のデータ転送は転送先ポートを静的（固定的）に指定して行っている。このため、スイッチクラスタ内の障害（例えば、図１６に×印で示す経路障害）が発生すると、迂回経路の選択機能が無いため、集中制御装置との通信が途切れてしまう。

つまり、図１７に示すように、図示せぬ外部サーバ内に配備されて集中制御を行うＣＴＬ５１が、矢印Ｙ２～Ｙ５で示すように、各転送装置５２ａ～５２ｄとＤ－ｐｌａｎｅ（主信号）と同様の経路により通信を行っている場合に次のように通信が行えなくなる。即ち、図１７に×印で示すように、転送装置５２ａと転送装置５２ｄ間の経路に断線等の障害が発生したとすると、迂回経路の選択機能が無いので、ＣＴＬ５１は、転送装置５２ｂ及び５２ｄと矢印Ｙ２，Ｙ３で示す通信が行えなくなる問題が生じる。

本発明は、このような事情に鑑みてなされたものであり、集中制御装置と転送装置群との接続における単一障害点を回避できると共にトラフィックを複数経路に分散でき、スイッチクラスタ内の障害時に迂回経路を選択できる転送装置、転送方法及びプログラムを提供することを課題とする。

上記課題を解決するための手段として、請求項１に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置であって、前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部の経路制御を行う外部用パケットとを分離する分離部と、前記スイッチクラスタの内部の複数経路を自在に辿る経路を求める経路制御を行う内部経路制御部とを備え、前記分離部は前記スイッチクラスタの内部向けの経路制御パケットを分離し、前記内部経路制御部は、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行うことを特徴とする転送装置である。

請求項６に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置による転送方法であって、前記転送装置は、前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離するステップと、前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行うステップと、前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行うステップとを実行することを特徴とする転送方法である。

請求項７に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置としてのコンピュータを、前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離する手段、前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行う手段、前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う手段、前記スイッチクラスタ内部の経路情報及び前記スイッチクラスタ外部の経路情報を、パケット転送機能が用いる経路情報として通知する手段として機能させるためのプログラムである。

請求項１の構成と請求項６の方法と請求項７のプログラムによれば、スイッチクラスタ（クラスタともいう）の内部用パケットと、クラスタの外部用パケットとを分離できるので、クラスタ内部では、クラスタ外部の経路と独立に動的な経路制御が可能となる。このため、クラスタと、クラスタ外部の集中制御装置との単一障害点が回避可能となると共に、クラスタ内の転送装置の故障や経路の故障においても、この故障経路を迂回する経路（迂回経路）を生成できるので、故障前の通信を継続できる。

請求項２に係る発明は、前記内部経路制御部が、前記スイッチクラスタの内部に転送装置群の接続経路が複数ある場合、前記主信号経路に係る通信を複数経路に分散することも可能な経路制御を行うことを特徴とする請求項１に記載の転送装置である。

この構成によれば、クラスタ内部に経路が複数ある場合は、集中制御装置との通信を複数経路に分散できる。これによって、クラスタと、クラスタ外部の集中制御装置との単一障害点が回避可能となる。

請求項３に係る発明は、前記内部経路制御部が、前記スイッチクラスタの内部経路を、当該スイッチクラスタの外部経路と独立して経路制御することを特徴とする請求項１又は２に記載の転送装置である。

この構成によれば、クラスタの内部経路は、外部経路と独立して制御されるので、クラスタ内部の故障を検知した際に迂回経路を生成し、故障前の通信を継続できる。

請求項４に係る発明は、前記分離部で分離された前記スイッチクラスタの外部向けの経路制御パケットを、前記集中制御装置へ転送する外部ルートエージェントを更に備えることを特徴とする請求項１～３の何れか１項に記載の転送装置である。

この構成によれば、クラスタの外部向けの経路制御パケットを、内部向けの経路制御パケットと独立して集中制御装置へ転送できるので、集中制御装置がクラスタ外部の経路制御を容易に行うことができる。

請求項５に係る発明は、前記内部経路制御部が、前記集中制御装置と前記スイッチクラスタの内部の転送装置との通信を、当該スイッチクラスタの内部経路を介して行うように制御することを特徴とする請求項１～４の何れか１項に記載の転送装置である。

この構成によれば、集中制御装置がクラスタ内部の転送装置と通信する際に、内部経路制御部が生成した迂回経路等を介して行うことができる。

本発明によれば、集中制御装置と転送装置群との接続における単一障害点を回避できると共にトラフィックを複数経路に分散でき、スイッチクラスタ内の障害時に迂回経路を選択できる転送装置、転送システム、転送方法及びプログラムを提供することができる。

本発明の実施形態に係る転送装置を用いた転送システムの構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部経路の構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ外部経路及び集中制御装置とスイッチクラスタとの集中制御接続の構成を示すブロック図である。 本実施形態の転送装置の構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の経路故障時の動作を説明するための基本構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の経路故障を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の経路故障後の迂回経路を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の転送装置の故障を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の転送装置故障後の迂回経路を示すブロック図である。 従来の転送装置の構成を示す図である。 従来の転送システムにおいて、図１０の転送装置に収容される構成要素であるファブリックカードとラインカード間がＣｌｏｓ型トポロジで接続された構成を示すブロック図である。 転送装置群によるスイッチクラスタと、当該スイッチクラスタ外部のサーバとの分離構成を示す図である。 従来の転送システムにおいて、図１２の転送装置に収容される構成要素であるスパインＳＷとリーフＳＷ間がＣｌｏｓ型トポロジで接続された構成を示すブロック図である。 自律分散型転送システムの構成を示すブロック図である。 集中制御型転送システムの構成を示すブロック図である。 従来の集中制御型転送システムにおいて１本の制御線のみに依存しない構成を示すブロック図である。 従来の転送システムの転送装置間に経路故障が生じた様態を示すブロック図である。

以下、本発明の実施形態を、図面を参照して説明する。但し、本明細書の全図において機能の対応する構成部分には同一符号を付し、その説明を適宜省略する。
＜実施形態の構成＞
図１は、本発明の実施形態に係る転送装置を用いた転送システムの構成を示すブロック図である。

図１に示す転送システム６０は、複数の転送装置６１ａ，６１ｂ，６１ｃ，６１ｄと、この転送装置６１ａ～６１ｄ群によるスイッチクラスタ（クラスタ）６１に接続された複数のサーバ６２ａ，６２ｂとを備えて構成されている。クラスタ６１の外部には、外部ルータ６３が接続されている。これら構成要素は、光ファイバや導電線等の経路６５ａ～６５ｇで接続されている。

本実施形態の特徴は、各転送装置６１ａ～６１ｄに、クラスタ６１の内部（クラスタ内部という）からのＤ－ｐｌａｎｅ（主信号）と同様の経路による経路制御パケットと、クラスタ６１の外部（クラスタ外部という）からのＤ－ｐｌａｎｅ（主信号）と同様の経路による経路制御パケットとを分離する機能（図４のパケットフローコントローラ８７）を備える。この分離機能で、クラスタ内部の経路制御パケットと、クラスタ外部の経路制御パケットとを分離し、クラスタ内部の経路制御パケットに応じてクラスタ内部向けの経路制御エンジン（図４の内部ルートエンジン８５）が経路制御を行う。また、外部ルートエージェント８４（図４）がクラスタ外部の経路制御パケットをサーバ６２ａ，６２ｂに搭載される集中制御装置（図４の集中制御装置７３）に転送するようにした。

これによって、クラスタ内では、クラスタ外部の経路と独立に動的な経路制御が可能となるため、クラスタ６１とこの外部の集中制御装置７３（図４）との単一障害点が回避可能となると共に、クラスタ内の障害においても迂回経路を生成して障害を回避可能とした。更に、クラスタ内部に経路が複数ある場合は、集中制御装置７３との通信を複数経路に分散可能とした。

図２に示すように、各転送装置６１ａ～６１ｄに、上記分離されたクラスタ内の経路制御パケットから自律的な経路切替制御処理を行う自律分散制御機能８５（図４の内部ルートエンジン８５に対応）を備える。つまり、クラスタ外部の経路とは独立してクラスタ内部経路の制御が行われる。

自律分散制御機能８５は、Ｄ－ｐｌａｎｅ（主信号）と同様の経路上で、転送装置６１ａ～６１ｄの故障（装置故障という）や、クラスタ内の経路６５ｃ～６５ｆの故障（経路故障という）を契機に、自動で集中制御装置７３との通信（集中制御用通信）の経路６５ａ～６５ｆを、自律的に故障を回避できる経路に切り替えて通信を継続する機能を有する。また、自律分散制御機能８５は、転送装置６１ａ～６１ｄ、クラスタ内の経路の増減設においても、自律的に経路を切り替えて通信を継続する機能を有する。

但し、集中制御用通信をＤ－ｐｌａｎｅ（主信号）と同様の経路上で流通させるために、集中制御用通信に用いるＩＰ（Internet Protocol address）アドレスの経路交換を、各転送装置６１ａ～６１ｄ上のクラスタ内部向けの自律分散制御機能８５がＤ－ｐｌａｎｅ（主信号）と同様の経路上で行っている。

また、自律分散制御機能８５は、クラスタ内の経路６５ｃ～６５ｆの状態を監視し、経路障害時に経路を選択するルーティング機能を有する。ルーティング機能は、クラスタ内の経路６５ｃ～６５ｆの故障解決に用いるルーティングプロトコル（プロトコル）を有する。また、ルーティング機能は、前述した自律分散型転送システム２１（図１４）による自律分散型の転送と同様に、各転送装置６１ａ～６１ｄと集中制御装置７３と間の転送による疎通性を自律的に解決する処理を行う。つまり、クラスタ内部に経路が複数ある場合は、各転送装置６１ａ～６１ｄと集中制御装置７３との通信を複数経路に分散する処理も可能である。

クラスタ内部において、上記プロトコルは、ＯＳＰＦ（Open Shortest Path First）やＩＳ－ＩＳ（Intermediate System to Intermediate System）等の動的に経路状態を取得し、自律的に経路計算を行うプロトコルであればどれでもよい。一方、クラスタの外部からくる経路情報においても同プロトコルを用いる場合があるが、その経路情報は、集中制御装置７３で処理される。

集中制御装置７３から各転送装置６１ａ～６１ｄへのパケットの転送は、図３に示すように、転送装置６１ａ～６１ｄに外部ルートエージェント８４を備え、この外部ルートエージェント８４が集中制御装置７３からの転送を仲介する。この仲介は、集中制御装置７３において、特定の転送装置６１ａからのパケットの出力を命令する場合は、一度、集中制御装置７３から外部ルートエージェント８４にそのパケット出力指示を出し、この外部ルートエージェント８４から出力されたパケットが転送装置６１ａから他の転送装置６１ｂへ出力される様にすることをいう。

また、転送装置６１ａ～６１ｄ上の外部ルートエージェント８４は、集中制御装置７３より集中制御により経路指示を受けるが，その経路としてはマネージメントポート（図４のマネージメントポート８１）経由か、Ｄ－ｐｌａｎｅ通信用ポート経由の何れか一方又は両方でもよい。クラスタ６１の外部からの通信は、外部からの経路制御パケットを受信した集中制御装置７３が集中制御をクラスタ６１に行う。この集中制御の指示を、外部ルートエージェント８４が受ける。

また、上述したクラスタ６１の外部からの通信は、図３に示すように、転送システム６０の外部に存在する外部ルータ６３の外部ルーティング機能７４が外部の経路制御パケットを、直接接続するクラスタ６１内の転送装置６１ａ～６１ｄとこの装置上の外部ルートエージェント８４を経由して集中制御装置７３に転送する。

この構成により、クラスタ内の装置故障や経路故障時に、各転送装置６１ａ～６１ｄが自律的にクラスタ内の経路接続を解決する処理を行い、クラスタ６１とマネージメントポート（図４のマネージメントポート８１）及びＤ－ｐｌａｎｅ通信用ポートの何れか一方又は両方を介した集中制御装置７３間の通信を維持可能としている。また、ルーティング機能がルーティングプロトコルに応じて、クラスタ内の経路６５ｃ～６５ｆを複数経路同時に利用可能とし、これにより効率的な帯域利用を可能としている。

また、クラスタ内部の経路故障解決のための通信（内部通信）と、クラスタ外部からの通信（外部通信）とは、各転送装置６１ａ～６１ｄに配備される上述した分離機能により区別される。しかし、区別するための条件は、ＭＡＣ（Media Access Control）アドレス、ＩＰアドレス、ＶＬＡＮ（Virtual Local Area Network）番号等の固有情報を用いて行われている。なお、各固有情報を組み合わせて用いてもよい。

上記の内部通信と外部通信との分離機構により、内部で自律分散的に解決した経路の影響をクラスタ外部の転送装置へ与えることが無いため、クラスタ外部からはクラスタ６１の転送装置６１ａ～６１ｄ群を論理的な単一ノードと見做すことが可能となる。また、クラスタ内部では複数の転送装置６１ａ～６１ｄの自律分散的な連携を実現可能としている。

次に、図４は同一構成の転送装置６１ａ～６１ｄの内、転送装置６１ａの構成を代表して示すブロック図である。

図４に示す転送装置６１ａは、マネージメントポート８１と、ＡＳＩＣによる高速・大容量のハードウェア転送を実現する転送機能部８３と、ＣＰＵによるソフトウェア処理が行われる計算処理部で構成されている。計算処理部にはハードウエアＯＳ８２があり、このＯＳ８２上で、外部ルートエージェント８４と、内部ルートエンジン８５と、パケット制御エージェント８６と、パケットフローコントローラ８７と、転送機能ドライバ（ドライバともいう）８８とが動作している。

転送機能部８３は、ＡＳＩＣ（Application Specific Integrated Circuit）等の半導体集積回路で形成されており、これにより高速で大容量の転送が可能となっている。また、転送機能部８３は、転送先のポートを備え、当該ポートを使用して書き込まれたフォワーディングルールに従ってパケットを転送可能となっている。

なお、内部ルートエンジン８５は、上述した自律分散制御機能であり、請求項記載の内部経路制御部を構成する。パケットフローコントローラ８７は、請求項記載の分離部を構成する。

マネージメントポート８１は、集中制御指示のパケットや、集中制御装置７３で処理されるべきクラスタ外部からの経路情報パケットを、集中制御装置７３があるサーバへ接続することができる。なお、集中制御指示のパケットや、集中制御装置７３で処理されるべきクラスタ外部からの経路情報パケットは、転送機能部８３経由で集中制御装置７３があるサーバへ接続することもできる。

外部ルートエージェント８４は、内部ルートエンジン８５が後述のように生成した内部経路の情報を用いてマネージメントポート８１や転送機能部８３を介して集中制御装置７３に接続し、集中制御装置７３に経路制御を問い合わせる処理を行う。また、外部ルートエージェント８４は、集中制御装置７３が処理したクラスタ外部からの経路情報を外部ルートエージェント８４内の記憶部（図示せず）に記憶する。パケットフローコントローラ８７は、その外部ルートエージェント８４に記憶された経路情報をドライバ８８を介して転送機能部８３にコピーする。更に、外部ルートエージェント８４は、内部ルートエンジン８５及び転送機能部８３を介して、他のサーバ６２ｃの集中制御装置７３に接続することも可能である。即ち、外部ルートエージェント８４は、クラスタ外部からの経路情報を受け取り、集中制御装置７３へ転送することで集中制御されるためのエージェントであり、集中制御装置７３間との通信により、クラスタ内部のトポロジ解決用通信パケットと、外部からの経路情報パケットを集中制御装置７３まで転送する。

内部ルートエンジン８５は、外部ルートエージェント８４と集中制御装置７３の間の通信経路を解決するための、内部経路情報を処理する。この内部ルートエンジン８５は、ルーティングプロトコルに応じて内部経路の解決を次のように行う。即ち、パケット制御エージェント８６に、転送機能部８３の各ポートを模擬した仮想ＩＦ（Interface）を用意する。次に、パケットフローコントローラ８７がパケット制御エージェント８６に用意された各ポートの中から転送先に対応するポートへブリッジして、転送機能部８３の内部経路に係るパケットを内部ルートエンジン８５へ転送する。この転送されたパケットを内部ルートエンジン８５が処理する。

また、内部ルートエンジン８５は、クラスタ内の各転送装置６１ａ～６１ｄに配備された内部ルートエンジン８５同士で経路交換を行い、転送装置６１ａ～６１ｄの故障や経路故障時に自動で迂回経路を生成する等の経路再計算を行う。この経路再計算により内部経路の自動切り替えが可能となる。

パケット制御エージェント８６は、転送機能部８３からパケットフローコントローラ８７により引き上げられたパケットを内部ルートエンジン８５や外部ルートエージェント８４に受け渡す。

転送機能ドライバ８８は、転送機能部８３の制御を可能とするものであり、経路情報の転送機能部８３への書き込みと、パケット制御エージェント８６に入ってきたパケットを、パケットフローコントローラ８７経由で転送機能部８３のポートから転送させる機能と、転送機能部８３のポートに入ってきたパケットの内、自装置宛となるパケットをパケットフローコントローラ８７経由でパケット制御エージェント８６まで転送することを可能とする機能を担っている。

パケットフローコントローラ８７は、後述のパケット分離と転送機能部の制御とを行う。即ち、パケット分離は、転送機能部８３からパケットを取得し、内部ルートエンジン８５と外部ルートエージェント８４とに分離して出力する制御を行う処理である。転送機能部８３の制御は、内部ルートエンジン８５と外部ルートエージェント８４に保存された経路情報をドライバ８８を介して転送機能部８３にコピーするものである。

転送機能部８３に経路情報をコピーしない場合、パケットが入力された際に経路情報が無いためパケットの転送が不可能となる。転送機能部８３は、経路情報があれば自転送機能部８３自体でパケットの転送先を判断できる。

また、経路故障や装置故障の障害発生時の迅速な切り替えを実現するため、パケットフローコントローラ８７は、転送機能部８３の各ポートの経路ダウンを検知した際に、内部ルートエンジン８５に接続される仮想ＩＦの内の対応するポートをダウンさせる。この機能により、ルーティングプロトコルのタイマ待ちによる経路再計算を行う場合と比較して高速な切り替えが可能となっている。

＜実施形態の動作＞
次に、本実施形態に係る転送システム６０の経路故障時の動作を、図５～図７を参照して説明する。
図５は２台のサーバ６２ａ，６２ｂと、４台の転送装置６１ａ～６１ｄで構成されるスイッチクラスタとの構成を示すブロック図である。図５の矢印Ｙ１１～Ｙ１４は、集中制御装置７３ａ，７３ｂと各転送装置６１ａ～６１ｄ間で集中制御を行うための通信を示す。矢印Ｙ１５は、２つある集中制御装置７３ａ，７３ｂ同士で情報を同期するための通信を示す。

この通信時に、図６に×印で示すように経路６５ｄに断線等の通信を不通とする故障が発生したとする。この場合、転送装置６１ｄ，６１ｂ間では、経路６５ｄを経由していたクラスタ内で処理されるパケットやクラスタ外からのパケットが不通となる。つまり、矢印Ｙ１４で示す転送装置６１ｄと集中制御装置７３ｂ間の通信と、矢印Ｙ１５で示す転送装置６１ａ，６１ｄ，６１ｂを介した集中制御装置７３ａ，７３ｂ間の通信とが不通となる。この際、故障経路６５ｄの両側の転送装置６１ｄ，６１ｂの内部ルートエンジン８５（図４）が、経路６５ｄの故障を検知する。

この経路故障検知後、クラスタ内の各転送装置６１ａ～６１ｄの内部ルートエンジン８５は、内部ルートエンジン８５同士で経路交換を行い、ルーティングプロトコルに応じて自律的に故障経路６５ｄを経由しない迂回経路を生成する経路再計算を行う。

この経路再計算により図７に矢印Ｙ１７で示す迂回経路（新経路Ｙ１７）と、矢印Ｙ１８で示す迂回経路（新経路Ｙ１８）とが生成される。新経路Ｙ１７は、転送装置６１ｄが転送装置６１ａを介して集中制御装置７３ａと繋がる経路である。新経路Ｙ１８は、集中制御装置７３ａ，７３ｂ同士が転送装置６１ａ，６１ｃ，６１ｂを介して繋がる経路である。

また、矢印Ｙ１７で示す経路上の転送装置６１ｄ，６１ａの外部ルートエージェント８４が新経路Ｙ１７を介して集中制御装置７３ａに接続する。この結果、集中制御装置７３はクラスタ内部の経路構成変更を認識した上で、継続してクラスタを集中制御することが可能となる。

更に、矢印Ｙ１８で示す経路上の転送装置６１ａ，６１ｃ，６１ｂの外部ルートエージェント８４が新経路Ｙ１８を介して集中制御装置７３ａ，７３ｂに接続し新経路Ｙ１８の経路情報を転送する。これにより集中制御装置７３ａ，７３ｂに新経路Ｙ１８の経路情報が記憶され、集中制御装置７３ａ，７３ｂ間で新経路Ｙ１８を経由した通信が可能となる。この後、集中制御装置７３ａ，７３ｂａによる外部経路の処理が行われ、外部ルートエージェント８４（図４）経由で新たな経路情報を転送機能部８３（図４）が認識する。

新経路Ｙ１７やＹ１８経由で外部ルートエージェント８４や内部ルートエンジン８５に蓄積された経路情報を、各転送装置６１ａ～６１ｄ上のパケットフローコントローラ８７が各転送装置６１ａ～６１ｄの転送機能部８３に更新する。

次に、図５に示した通信時に、図８に×印で示すように転送装置６１ｄに部品故障等の通信不能となる故障が発生したとする。この場合、故障した転送装置６１ｄに繋がる経路６５ｅ、６５ｄが故障状態となるため、矢印Ｙ１４で示す転送装置６１ｄと転送装置６１ｂを介した集中制御装置７３ｂ間の通信が不通となり、矢印Ｙ１５で示す転送装置６１ｄを介した集中制御装置７３ａ，７３ｂ間の通信が不通となる。この際、故障した転送装置６１ｄに繋がる転送装置６１ａ，６１ｂの内部ルートエンジン８５が、経路６５ｅ，６５ｄの故障を検知する。

この経路故障検知後、正常な経路６５ｃ，６５ｆで繋がる転送装置６１ａ～６１ｃは、内部ルートエンジン８５同士で経路交換を行い、次の経路再計算を行う。即ち、自律的なプロトコルに応じて故障経路６５ｅ，６５ｄを経由しない迂回経路を生成する経路再計算を行う。この経路再計算により図９に矢印Ｙ１９で示す迂回経路（新経路Ｙ１９）が生成されたとする。新経路Ｙ１９は、集中制御装置７３ａ，７３ｂ同士が、正常な経路６５ｃ，６５ｆで繋がる転送装置６１ａ，６１ｃ，６１ｂを介して繋がる経路である。

その正常な転送装置６１ａ，６１ｃ，６１ｂの外部ルートエージェント８４経由で新たな経路情報を転送機能部８３が認識する。

また、集中制御装置７３ａ，７３ｂ間は，各転送装置上の内部ルートエンジン８５が構築した新経路Ｙ１９の経路を用いて接続することが可能となる。その後、集中制御装置７３ａ、７３ｂは故障前と同様に、クラスタ外部からの新たな経路情報の処理が継続可能となる。

但し、経路故障を各転送装置６１ａ，６１ｃ，６１ｂ上のソフトウェアで認識できていない場合は、内部ルートエンジン８５での経路故障検知による内部経路の再計算はできない。しかし、ルーティングプロトコルの応答も無くなるため、無応答のプロトコルに通常設定されているタイマのタイムアップを契機に、内部ルートエンジン８５が別経路での再計算を行う。これにより経路の疎通が回復する。

このようなパケット転送不能だが、各転送装置６１ａ，６１ｃ，６１ｂ上のソフトウェアで経路が未故障状態と認識されている場合に、高速な経路切替を実現するために、プロトコルのタイマを最小化することや、ＢＦＤ（Bidirectional Forwarding Detection）等の障害検知技術を併用してもよい。この機能により、経路故障又は、プロトコルの応答が無くなる場合の経路故障及び装置故障が発生した場合においても、集中制御装置７３ａ，７３ｂによる論理ノードとしての転送装置６１ａ～６１ｄの制御を維持するための、従来のプロトコルタイマよりも高速な経路自動切替が実現可能となる。

＜実施形態の効果＞
本実施形態に係る転送装置６１ａ～６１ｄの効果について説明する。転送装置６１ａ～６１ｄは、転送装置６１ａ～６１ｄ群によるクラスタ６１に外部から集中制御を行う集中制御装置７３と、主信号経路であるＤ－ｐｌａｎｅ（主信号）と同様の経路を介して経路制御の通信を行う。

（１）転送装置６１ａ～６１ｄは、Ｄ－ｐｌａｎｅ（主信号）と同様の経路を伝送する、クラスタ６１の内部用パケットと、当該クラスタ６１の外部用パケットとを分離する分離部としてのパケットフローコントローラ８７と、クラスタ６１の内部の複数経路を自在に辿る経路を求める経路制御を行う内部ルートエンジン８５とを備える。パケットフローコントローラ８７は、クラスタ６１の内部向けの経路制御パケットを分離し、内部ルートエンジン８５は、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う構成とした。

但し、内部用パケットは、クラスタ６１のみで転送され、クラスタ６１の集中制御を維持するために通信されるパケットである。具体的には、Ｄ－ｐｌａｎｅ（主信号）と同様の経路を介した集中制御通信用パケットと、内部ルートエンジン８５がクラスタ６１内部の経路情報を交換するためにＤ－ｐｌａｎｅ（主信号）と同様の経路を介する通信パケットの２つである。また、外部用パケットは、クラスタ６１外より送られてくるクラスタ６１外部の経路情報等のパケット｛ルーティングプロトコルのパケットや、ＡＲＰ（Address Resolution Protocolペケット）等｝である。

この構成によれば、クラスタ６１の内部用パケットと、クラスタ６１の外部用パケットとを分離できるので、クラスタ内部では、クラスタ外部の経路と独立に動的な経路制御が可能となる。このため、クラスタ６１と、クラスタ外部の集中制御装置７３との単一障害点が回避可能となると共に、クラスタ内部の転送装置の故障や経路の故障においても、この故障経路を迂回する経路（迂回経路）を生成できるので、故障前の通信を継続できる。

（２）内部ルートエンジン８５は、クラスタ６１の内部に各転送装置６１ａ～６１ｄと集中制御装置７３との間に接続経路が複数ある場合、それらの集中制御用通信を複数経路に分散することを可能とする経路制御を行う構成とした。

この構成によれば、クラスタ内部に経路が複数ある場合は、集中制御装置７３との通信を複数経路に分散できる。これによって、クラスタ６１と、クラスタ外部の集中制御装置７３との単一障害点が回避可能となる。

（３）内部ルートエンジン８５は、クラスタ６１の内部経路６５ｃ～６５ｆを、当該クラスタ６１の外部経路と独立して経路制御する構成とした。

この構成によれば、クラスタの内部経路６５ｃ～６５ｆは、外部経路と独立して制御されるので、クラスタ内部の故障を検知した際に迂回経路を生成し、故障前の通信を継続できる。

（４）転送装置６１ａ～６１ｄは、パケットフローコントローラ８７で分離されたクラスタ６１の外部向けの経路制御パケットを、集中制御装置７３へ転送する外部ルートエージェント８４を更に備える構成とした。

この構成によれば、クラスタの外部向けの経路制御パケットを、内部向けの経路制御パケットと独立して集中制御装置７３へ転送できるので、集中制御装置７３がクラスタ外部の経路制御を容易に行うことができる。

（５）内部ルートエンジン８５は、集中制御装置７３とクラスタ６１の内部の転送装置との通信を、当該クラスタ６１の内部経路６５ａ～６５ｆを介して行うように制御する構成とした。

この構成によれば、集中制御装置７３がクラスタ内部の転送装置と通信する際に、内部ルートエンジン８５が生成した迂回経路等を介して行うことができる。

また、本実施形態の転送システムは、通信の経路で接続された転送装置群によるクラスタ６１と、当該クラスタ６１の外部から集中制御を行う集中制御装置７３とを有し、集中制御装置７３で主信号経路を介してクラスタ６１の経路制御の通信を行う。集中制御装置７３は、クラスタ６１の外部向けの経路制御パケットに応じて、クラスタ６１の外部から当該クラスタ６１が単一ノードと見做せるように、当該外部との経路制御を行う構成とした。

この構成によれば、クラスタの外部から、クラスタ内の転送装置６１ａ～６１ｄ群を単一ノードと見做して通信を行うことができる。このため、転送装置６１ａ～６１ｄ群への通信を単純化できる。つまり、纏めて1つのノードとして見せることで、クラスタ外部に対して経路情報が増加するのを抑圧できる。

また、本実施形態のコンピュータで実行されるプログラムについて説明する。コンピュータは、経路接続された転送装置６１ａ～６１ｄ群によるクラスタ６１に外部から集中制御を行う集中制御装置７３に対して、Ｄ－ｐｌａｎｅ（主信号）と同様の経路を介して経路制御の通信を行う当該クラスタ６１の転送装置であるとする。このコンピュータは請求項に記載されており、転送装置内のＣＰＵ、又はＣＰＵ及びＡＳＩＣ等の半導体チップの両方を備えるものである。

このプログラムは、上記コンピュータを、Ｄ－ｐｌａｎｅ（主信号）と同様の経路又は主信号と同様の経路を伝送する、クラスタ６１の内部用パケットと、当該クラスタ６１の外部用パケットとを分離する手段、クラスタ６１内部の複数経路を自在に辿る経路を求める経路制御を行う手段、分離においてクラスタ６１の内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う手段、クラスタ６１内部の経路情報及びクラスタ６１外部の経路情報を、パケット転送機能（転送機能部８３）が用いる経路情報として通知する手段として機能させる。

このプログラムによれば、上述した転送装置６１ａ～６１ｄと同様な効果を得ることができる。

その他、具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。

６０ 転送システム
６１ａ～６１ｄ 転送装置
６２ａ，６２ｂ サーバ
６３ 外部ルータ
６５ａ～６５ｇ 経路
７４ 外部ルーティング機能
８１ マネージメントポート
８２ ハードウエアＯＳ
８３ 転送機能部
８４ 外部ルートエージェント
８５ 内部ルートエンジン又は自律分散制御機能（内部経路制御部）
８６ パケット制御エージェント（分離部）
８７ パケットフローコントローラ（分離部）
８８ 転送機能ドライバ

Claims (7)

1. 通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置であって、
   前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部の経路制御を行う外部用パケットとを分離する分離部と、
   前記スイッチクラスタの内部の複数経路を自在に辿る経路を求める経路制御を行う内部経路制御部と
   を備え、
   前記分離部は前記スイッチクラスタの内部向けの経路制御パケットを分離し、前記内部経路制御部は、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う
   ことを特徴とする転送装置。
2. 前記内部経路制御部は、
   前記スイッチクラスタの内部に転送装置群の接続経路が複数ある場合、前記主信号経路に係る通信を複数経路に分散することも可能な経路制御を行う
   ことを特徴とする請求項１に記載の転送装置。
3. 前記内部経路制御部は、
   前記スイッチクラスタの内部経路を、当該スイッチクラスタの外部経路と独立して経路制御する
   ことを特徴とする請求項１又は２に記載の転送装置。
4. 前記分離部で分離された前記スイッチクラスタの外部向けの経路制御パケットを、前記集中制御装置へ転送する外部ルートエージェントを更に備える
   ことを特徴とする請求項１～３の何れか１項に記載の転送装置。
5. 前記内部経路制御部は、
   前記集中制御装置と前記スイッチクラスタの内部の転送装置との通信を、当該スイッチクラスタの内部経路を介して行うように制御する
   ことを特徴とする請求項１～４の何れか１項に記載の転送装置。
6. 通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置による転送方法であって、
   前記転送装置は、
   前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離するステップと、
   前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行うステップと、
   前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行うステップと
   を実行することを特徴とする転送方法。
7. 通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置としてのコンピュータを、
   前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離する手段、
   前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行う手段、
   前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う手段、
   前記スイッチクラスタ内部の経路情報及び前記スイッチクラスタ外部の経路情報を、パケット転送機能が用いる経路情報として通知する手段
   として機能させるためのプログラム。

Images