[go: up one dir, main page]

JP2004503132A - スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム - Google Patents

スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム Download PDF

Info

Publication number
JP2004503132A
JP2004503132A JP2002507552A JP2002507552A JP2004503132A JP 2004503132 A JP2004503132 A JP 2004503132A JP 2002507552 A JP2002507552 A JP 2002507552A JP 2002507552 A JP2002507552 A JP 2002507552A JP 2004503132 A JP2004503132 A JP 2004503132A
Authority
JP
Japan
Prior art keywords
fabric
packet
switch
fabrics
stripe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002507552A
Other languages
English (en)
Other versions
JP4679793B2 (ja
Inventor
シュルツ,ジェフ
Original Assignee
マルコーニ コミュニケーションズ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マルコーニ コミュニケーションズ,インコーポレイテッド filed Critical マルコーニ コミュニケーションズ,インコーポレイテッド
Publication of JP2004503132A publication Critical patent/JP2004503132A/ja
Application granted granted Critical
Publication of JP4679793B2 publication Critical patent/JP4679793B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/15Interconnection of switching modules
    • H04L49/1515Non-blocking multistage, e.g. Clos
    • H04L49/1523Parallel switch fabric planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/15Interconnection of switching modules
    • H04L49/1515Non-blocking multistage, e.g. Clos
    • H04L49/153ATM switching fabrics having parallel switch planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/15Interconnection of switching modules
    • H04L49/1515Non-blocking multistage, e.g. Clos
    • H04L49/153ATM switching fabrics having parallel switch planes
    • H04L49/1538Cell slicing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/30Peripheral units, e.g. input or output ports
    • H04L49/3072Packet splitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/55Prevention, detection or correction of errors
    • H04L49/552Prevention, detection or correction of errors by ensuring the integrity of packets received through redundant connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/60Software-defined switches
    • H04L49/606Hybrid ATM switches, e.g. ATM&STM, ATM&Frame Relay or ATM&IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/1302Relay switches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/1304Coordinate switches, crossbar, 4/2 with relays, coupling field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/13167Redundant apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/13174Data transmission, file transfer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/13215Code checking, CRC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/1334Configuration within the switch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2213/00Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/13341Connections within the switch

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)

Abstract

本発明は、パケットを切り換えるスイッチに関する。スイッチは、パケットの一部を切り換える複数のファブリックを具える。スイッチは、ファブリック及びネットワークに接続されて、ネットワークからパケットを受信し、ネットワークにパケットを送るポートカードを具えている。ポートカードは、複数のファブリックの1つが故障しても、ネットワークに正しいパケットをなおも送る耐容性がある機構を有している。本発明は、パケットを切り換える方法に関する。方法は、スイッチのネットワークから、ポートカードにてパケットを受信する工程を有する。次に、スイッチのファブリックに、パケットの一部をポートカードからのストライプとして送る工程がある。次に、ファブリックを用いてパケットの一部を切り換える工程がある。次に、パケットの一部をファブリックからのストライプとしてポートカードに送り戻す工程がある。次に、ファブリックの1つが故障を有しても、ポートカードを用いて正しいパケットをネットワークに送る工程がある。

Description

【0001】
発明の分野
本発明は、複数のファブリックを有し、1つのファブリックの故障から修復できるスイッチに関する。特に、本発明は、複数のファブリックを有し、スイッチのファブリック上に分散されるパリティデータに加えられるチェックサムの助けを得て、1つのファブリックの故障から修復できるスイッチに関する。
【0002】
発明の背景
複数のファブリックにデータを分散し、他のファブリックにパリティデータを送るスイッチは、米国特許出願第09/333,450号に記載されており、参照を以て記載に代える。ワイドメモリのTDMスイッチングシステムを記載した米国特許出願第09/293,563号をも参照し、これを参照を以て記載に代える。本発明は、データの検出/修復を許し、スイッチの単一の要素を狙うことなく(hitless)修復することによく似たデータ通信システムに用いられる受信器アルゴリズムを記載している。
【0003】
本発明では、ストライピング(分散処理)に用いられるスイッチが、チェンジオーバー(交替)タイムを要求することなく、1つのハードウエアの故障に耐えることができる。従来の冗長化システムでは、データソースを交換するのに、故障データの検出及びスイッチの再構成が必要である。故障してからシステムの再構成を成功するまでに時間が掛かると、スイッチを通るトラフィックに衝撃を与えるデータの損失という結果になる。本発明の技術は、トラフィックに影響する小さな部分のみを有している。多数のファブリックにデータを分散し、他のファブリックにパリティデータを送るスイッチは、米国特許出願第09/333,450号に記載されており、参照を以て記載に代える。ワイドメモリのTDMスイッチングシステムを記載した米国特許出願第09/293,563号をも参照し、これを参照を以て記載に代える。
【0004】
発明の要約
本発明は、パケットを切り換える(交換する)ネットワークのスイッチに関する。スイッチは、パケットの一部を切り換える複数のファブリックを具える。スイッチは、ファブリック及びネットワークに接続されて、ネットワークからパケットを受信し、ネットワークにパケットを送るポートカードを具えている。ポートカードは、複数のファブリックの1つが故障しても、ネットワークに正しいパケットをなおも送る耐容性がある機構を有している。
【0005】
本発明は、パケットを切り換える方法に関する。方法は、スイッチのネットワークから、ポートカードにてパケットを受信する工程を有する。次に、スイッチのファブリックに、パケットの一部をポートカードからのストライプとして送る工程がある。次に、ファブリックを用いてパケットの一部を切り換える工程がある。次に、パケットの一部をファブリックからのストライプとしてポートカードに送り戻す工程がある。次に、ファブリックの1つが故障を有しても、ポートカードを用いて正しいパケットをネットワークに送る工程がある。
【0006】
【詳細な記載】
同一の要素には、図面を通じて同一の参照番号を付している。図面、特に図7を参照すると、パケットを切り換えるスイッチ(10)が示されている。スイッチ(10)は、ファブリック(14)とネットワーク(11)に繋がって、ネットワーク(11)から送られるパケットを受信し、ネットワーク(11)にパケットを送るポートカード(12)を具える。ポートカード(12)は、複数のファブリック(14)の1つが故障しても、ネットワーク(11)に正しいパケットをなおも送る耐容性がある機構(16)を有している。
【0007】
複数のファブリック(14)は、ポートカード(12)からパケットの一部を受信し、ポートカード(12)にパケットの一部を送るn個のファブリック(14)を含むのが好ましく、nは2以上の整数であり、ファブリックの1つは、パケットに関するパリティデータをポートカード(12)に送り、ポートカード(12)から該パリティデータを受信するパリティファブリック(18)である。ポートカード(12)は、パケットの一部をストライプとして、それらが対応するn個のファブリック(14)に送り、パケットのチェックサムを計算して、それをパケットが分散処理される前にパケットに加える分散器(striper)(20)を有するのが好ましい。
【0008】
ポートカード(12)は、ファブリック(14)からストライプ及びパリティデータを受信し、受信したストライプからパリティデータを計算し、受信したパリティデータと計算したパリティデータを比較して、1つのファブリック(14)が故障したかどうかを判断する非分散器(22)を具えるのが好ましい。
【0009】
非分散器(22)は、各ファブリック(14)についてチェックサムを計算し、各ファブリックからのデータを順に交換し、各ファブリックについて計算されたチェックサムを、パケットと共に受信され、パケットが分散処理される前に計算された(各ファブリックについて計算された)チェックサムと比較し、非分散器(22)がn個のファブリック(14)の1つが故障したと判断したときは、故障したファブリックからのストライプを、他のストライプから修復するのが好ましい。チェックサムは、16ビットであるのが好ましい。各ファブリックは、ポートカード(12)からストライプを受信する集約装置(24)、ストライプが格納されるメモリコントローラ(26)、及びポートカード(12)にストライプを送り戻すセパレータ(28)を有するのが好ましい。
【0010】
本発明は、パケットを切り換える方法に関する。方法は、スイッチ(10)のネットワーク(11)から、ポートカード(12)にてパケットを受信する工程を有する。次に、スイッチ(10)のファブリック(14)に、ポートカード(12)からのストライプとしてパケットの一部を送る工程がある。次に、ファブリック(14)を用いてパケットの一部を切り換える工程がある。次に、パケットの一部をファブリック(14)からのストライプとしてポートカード(12)に送り戻す工程がある。次に、ファブリックの1つが故障を有しても、ポートカード(12)を用いて正しいパケットをネットワーク(11)に送る工程がある。
【0011】
スイッチのファブリック(14)に送る工程は、n個のファブリック(14)の夫々に、パケットの一部のn個のストライプを送る工程を含むのが好ましく、nは2以上の整数である。ファブリックの1つは、パリティファブリック(18)へのパケットに関するパリティデータを有するパリティストライプである。n個のストライプを送る工程の前に、分散器(20)を用いてパケットのチェックサムを計算し、それを分散処理前にパケットに加える工程があるのが好ましい。
【0012】
ポートカード(12)に送り戻す工程は、ポートカード(12)の非分散器(22)にて、ファブリック(14)からのストライプとパリティストライプを受信し、非分散器(22)を用いて受信したストライプからパリティデータを計算し、パリティストライプから受信したパリティデータを、非分散器(22)にて計算したパリティデータと比較し、ファブリック(14)の1つが故障したかを判断する工程を含むのが好ましい。比較する工程の後に、非分散器(22)を用いてチェックサムを計算し、各ファブリックからのデータを順に交換し、各ファブリックについて計算されたチェックサムを、パケットと共に受信され、パケットが分散処理される前に計算されたチェックサムと比較し、どのファブリックが故障したかを識別し、故障したファブリックからのストライプを、他のストライプから修復する工程があるのが好ましい。
【0013】
切り換える工程は、ファブリックの集約装置(24)にて、パケットの一部をストライプとして受信し、該パケットの一部をファブリックのメモリコントローラ(26)に格納する工程を含むのが好ましい。ポートカード(12)に送り戻す工程は、ファブリックのセパレータ(28)を用いて、メモリコントローラ(26)内のパケットの一部をストライプとして、ポートカード(12)の非分散器(22)に送り戻す工程を含むのが好ましい。
【0014】
発明の動作に於いて、受信アルゴリズムは、1つのハードウエアの故障に耐え、それから修復するように設計されている。データが分散される前に、16ビットのチェックラムがパケットに加えられ、16ビットのチェックラムは分散されたデータの一部である。結果として生じたデータは、そのときRAID(5)ディスク配列に似た計算されたパリティを有する。
【0015】
受信器側から見ると(perspective)、データはN個のファブリック(14)から生じる(Nの範囲は2−13である)。データは何れかのファブリックが悪いかを見るためにパリティチェックされる。パリティチェックは、悪いデータのソースを識別せず、何れかのデータが正しくないことを識別するのみであることに留意されたい。
【0016】
何れかのデータが正しくなければ、受信器はそのとき各ファブリックの入力ストリームが悪いと仮定する候補となる(candidate)データストリームを作る。これらの候補となる再構築されたストリームは、そのときチェックサムアルゴリズムを通って流れる。N個のチェックサムから、3つの異なる結果がある。
a: チェックサムは通過しない。これは1つのファブリックが故障した状態では生じないことに注意されたい。仮に1つのファブリックが故障すると、N個のチェックサムの1つは、チェックサムが通過するように、故障したファブリックを除去する。故障したロケーションが決定できなくとも、データはドロップされ、多数の故障として記録される(logged)。
b: 1つのチェックサムが通過する。1つの故障が起こり、効果的な(successful)計算から除去されたファブリックとして認識される。間違ったデータを用いる他の全てのチェックサム計算は、機能しなくなる。このデータは修復される。
c: 1以上のチェックサムが通過する。1以上のチェックサムが通過するならば、誤り無しに再構築されたストリーム、及び誤りのある少なくとも1つの再構築されたストリームが通過する。この場合、トラフィックはドロップされるに違いない。
【0017】
かなり強力なチェックサムが用いられるなら、そのときランダムな誤りデータが通過する確率は、1/2を限度とする(bounded by)。ここでNはチェックサム内のビット数である。BFS(Big Fast Switch、スイッチの名称)に対しては、N=16であり、以下の値の確率を有する単一のパケットの最良の限度を与える。
(1/65536)×修復されるファブリックの数
【0018】
悪いファブリックを識別することは、1つのパケット内のa又はcの何れかから結論づけることはできない。多数のパケットに亘って、統計が集められたなら、誤りは、故障したファブリックからのデータを含む全ての計算の回りに集まる。多数のパケットに亘って、1つのレーン(列)は一貫して誤りが無く、誤りのないレーンが、かなり小さな数のパケット内にて識別されることを許す。故障したファブリックが識別されずに残る確率(可能性)は、以下である。
((1/65536)のパケット数乗)×ファブリックの数
【0019】
パケットの数が、4又は4以上に設定されたならば、誤りを識別しない結果となる確率は、
5×10−20未満となる。
【0020】
スイッチは、RAID技術を使用し、個別のファブリック帯域幅を最小限にしつつ、スイッチ帯域幅全体を増大する。スイッチアーキテクチャにおいて、全てのデータは全てのファブリックに均一に分配されるので、スイッチはファブリックを加えることによって帯域幅を増し、ファブリックは、スイッチが帯域幅容量を増大すれば、ファブリックの帯域幅容量を増大する必要がない。
【0021】
各ファブリックは40G(bps)の交換帯域幅を提供しており、システムは、冗長/予備ファブリックを除いた1、2、3、4、6又は12ファブリックを利用する。換言すると、スイッチは、ファブリックが幾つインストールされるかによって、40G(bps)、80G、120G、160G、240G又は480Gのスイッチとなり得る。
【0022】
ポートカードは、10G(bps)のポート帯域幅を提供する。4ポートカード当たり1ファブリックになることが必要である。スイッチアーキテクチャは、ポートカード及びファブリックの任意インストレーションをサポートしない。
【0023】
ファブリックASICsは、セルとパケットの両方をサポートする。全体として、スイッチは、「受信器が適切にする(receiver makes right)」方法をとっており、この方法においてATMブレード上の出口パス(egress path)は、フレームをセグメント化してセルにしなければならず、フレームブレード上の出口パスは、セルをまとめて再びパケットにしなければならない。
【0024】
スイッチ内で使用される一般に8スイッチのASICsは:
−分散器(Striper)−分散器は、ポートカード及びSCP−IM上に在する。それは、データを12ビットのデータストリームにフォーマットし、チェックワードを添付し、N即ちシステム中の予備でないファブリックを横切ってデータストリームを分割し、他のファブリックに向かうストライプと同等な幅のパリティストライプを生成し、且つN+1データストリームをバックプレーンへ送出する。
−非分散器(unstriper)−非分散器は、スイッチアーキテクチャ内の他のポートカードASICである。これは、システム中の全てのファブリックからデータストリームを受信する。次に、誤り検出修正を実行するために、チェックワード及びパリティ分散を使用して、元のデータストライプを再構築する。
−集約装置(Aggregator)−集約装置は、分散器からデータストリーム及びルートワードを取り出し、それらを多重化してメモリコントローラへの単一の入力ストリームにする。
−メモリコントローラ− メモリコントローラは、スイッチのキュー及びデキュー(キューから外す)メカニズムを実行する。これは、クロックサイクル毎に複数セルのデータを同時にエンキュー(enqueue、キューに入れる)/デキューをするために、独占排他権を有する広いメモリインタフェースを含んでいる。メモリコントローラのデキュー側は、コネクションのキュー及びシェーピングの大部分をポートカード上で行わせるために、40Gbpsよりも80Gbpsで稼働する。
−セパレータ− セパレータは、集約装置と逆の操作を実行する。メモリコントローラからのデータストリームは、複数のデータストリームに逆多重され、適当な非分散器ASICへ送達される。非分散器へのインタフェースには、キューとフローとの制御ハンドシェーキングが含まれている。
【0025】
ファブリック間のコネクションについては、3つの異なった視点即ち、物理的、論理的、及び「動的」な視点で見ることができる。物理的には、ポートカードとファブリックとの間のコネクションは、あらゆるギガビット速度の差分ペアのシリアルリンクである。これは、厳密に言うと、バックプレーンへ向かう信号数を減少するための実現(implementation、ソフトとハードの調整)の問題である。「動的な」観点では、単一のスイッチの形状を考察するか、又は所定の時点でデータが如何に処理されているかというスナップショットとして考察されるだろう。ポートカード上のファブリックASICとファブリックとの間のインタフェースは、12ビット幅であるのが効果的である。それらの12ビットは、ファブリックASICsが如何に構成されているかによって1、2、3、4、6又は12ファブリックへ均一に分散(stripe)される。「動的」な観点は、現在の構成において各ファブリックによって処理されているビットの数を意味しており、これはファブリック数で割るとちょうど12である。
【0026】
論理的な視点は、ある得る動的構成の全ての合併又は最大機能として考えられることができる。ファブリックスロット#1は、構成に応じて、単一分散器からのデータの12、6、4、3、2又は1ビットを処理しているであろうゆえに、12ビットバスで引き抜かれる。それとは対照的に、ファブリックスロット#3は、単一分散器からのデータの4、3、2又は1ビットを処理するのに使用されるだけであるがゆえに、4ビットバスで引き抜かれる。
【0027】
以前のスイッチとは違って、該スイッチは、ソフトウェアにより制御可能なファブリック冗長モードの概念を全く有していない。ファブリックASICsは、予備ファブリックがインストールされている限り、介入なしにN+1冗長を実行する。
【0028】
ここで提供される限り、N+1冗長は、ハードウェアが、データの損失なしに自動的に単一の障害を検出し、修正することを意味する。
【0029】
冗長性が作動する方法はかなり単純だが、3つのファブリック(A、B及びC)+予備(S)を有する120Gスイッチが使用される特定のケースを理解すれば、より簡単になる。分散器は、12ビットバスを選び、まず、データユニット(セル又はフレーム)に添付されるチェックワードを生成する。次に、データユニット及びチェックワードは、A、B及びCファブリックの各々についてクロックサイクル当り4ビットデータストライプ(A3A2A1A0、B3B2B1B0及びC3C2C1C0)に分割される。次に、これらのストライプは、予備ファブリックS3S2S1S0用のストライプを生成するのに使用される。ここで、Sn=An XOR Bn XOR Cnであり、これら4つのストライプは、それらの対応するファブリックへ送られる。ファブリックの反対側において、非分散器は、A、B、C及びSから4つの4ビットストライプを受け取る。次に、3つのファブリックのあり得る全ての組合せ(ABC、ABS、ASC及びSBC)は、「一時的な」(tentative)12ビットのデータストリームの再構築に使用される。次に、チェックワードは、4つの一時的なストリームの各々のために計算され、計算されたチェックワードは、データユニットの端部のチェックワードと比較される。伝送の間にエラーが生じなかった場合、4ストリーム全ては、チェックワードが整合しており、ABCストリームは非分散器出力へ転送される。(単一の)エラーが生じた場合、1つのチェックワードだけが整合しており、整合を含むストリームはチップ外へ転送され、非分散器は不良のファブリック分散を識別する。
【0030】
スイッチの構成が異なると、即ち、1、2、4、6又は12ファブリックであると、アルゴリズムは同一であるが、ストライプ幅は変化する。
2つのファブリックが故障すると、スイッチ中を流れるデータの全ては、殆ど確実に崩れが生じるであろう。
【0031】
ファブリックスロットは、番号が付され、昇順に並べられなくてはならない。また、予備ファブリックは特定のスロットであるから、ファブリックスロット1、2、3及び4は、ファブリックスロット1、2、3及び予備とは異なる。前者は冗長のない160Gスイッチであり、後者は冗長を含む120Gである。
【0032】
第一に、特定のポートカードスロットを使用するには、そこに、予備を含まない少なくとも1つの所定の最小数のファブリックがインストールされることが必要であるように、ASICsは構成され、バックプレーンは接続される。この関係は表0に示されている。
【0033】
それに加え、スイッチ内のAPS冗長は、特にペアのポートカードに限定される。ポートカード1及び2はペア、ポートカード3及び4はペアというようになっており、これはポートカード47及び48まで続いている。これは、APS冗長が要求される場合、ペアのスロットは一緒でなければならないことを意味している。
【0034】
簡単な例として、2つのポートカード及びファブリックを1つだけ含む構成を挙げてみる。ユーザがAPS冗長の使用を望まない場合、2つのポートカードは、ポートカードスロット1乃至4のうちの任意の2つにインストールされることができる。APS冗長が望まれる場合には、2つのポートカードは、スロット1及び2、或いはスロット3及び4の何れかにインストールされなければならない。
【0035】
【表1】
Figure 2004503132
表0:ポートカードスロットの使用に関するファブリックの要件
【0036】
容量を増やすには、新たなファブリックを追加し、スイッチが変化を認識し、新しいファブリックの数を分散してシステムを再形成するのを待つ。新しいポートカードをインストールする。
【0037】
技術的には、ファブリック毎に容量一杯の4つのポートカードを持つことは不要である。スイッチは、3つのインストール済ファブリック及びスロット(12)の単一ポートカードで正常に機能する。これはコスト面では有効ではないが、機能可能である。
容量を削除するには、容量追加の工程を逆に行う。
もし、スイッチが超過したとき、即ち、8つのポートカードと1つのファブリックをインストールした場合。
【0038】
スイッチが超過するのは、スイッチを適度でないアップグレードしたとき、又はある種のシステム障害の結果として発生するだけである。現実には、この状況がどのように発生するかによって2つのうちの1つが発生する。もしスイッチが40Gスイッチとして構成され、ファブリック前にポートカードが追加されたら、第5から第8ポートカードは用いられない。もし、スイッチが80Gの非冗長のスイッチとして構成され、第2ファブリックが不能又は削除されると、スイッチを通じたすべてのデータが不正になる(予備のファブリックはインストールされていないと仮定する)。そして、完了直前に、もし8つのポートカードが80Gの冗長スイッチにインストールされており、そして、第2ファブリックが不能又は削除されていると、予備のスイッチが不能又は削除されたファブリックをカバーして通常の操作を続行する。
【0039】
図1は、スイッチのパケットストライピングを表している。
チップセットは、OC48及びOC192cの両方の構成中のATM及びPOSポートカードをサポートする。OC48ポートカードは、4つの別々のOC48フローを用いてスイッチングファブリックへインターフェースする。OC192ポートカードは、4チャンネルを10Gストリームへ論理的に結合させる。ポートカードの入口側は、ATMセルとパケット間で変化するトラフィックへのトラフィック変換を実行しない。受信したトラフィックのフォームがどれであれ、スイッチファブリックへ送られる。スイッチファブリックはパケットとセルを混合し、パケットとセルの混合をポートカードの出口側へデキューする(キューから外す)。
【0040】
ポートの出口側は、トラフィックを変換して出力ポートへの適正なフォーマットとしなければならない。この変換は、スイッチの内容について”受信器が適切にする(receiver makes right)”として呼ばれている。セルブレードは、パケットの区切りを実行し、セルブレードはセルをパケット内にて再組立する必要がある。ファブリックのスピードアップをサポートするため、ポートカードの出口側は、ポートカードの着信側の2倍に等しいリンクバンド幅を用いる。
【0041】
ポセイドンをベースにした(Poseidon−based)ATMポートカードのブロック図は、図2に示される。各2.5Gチャンネルは入力側TM、入力側の分散器ASIC、非分散器ASIC、出力側の出力TM ASICの4つのASICで構成される。
【0042】
入力側において、OC−48c又は4OC−12cインターフェースは集約される。各ボルテックス(vortexs)は、2.5Gセルストリームを専用の分散器ASICへ送信する(下記に表されるようにBIBバスを使用する)。分散器は供給されたルートワードを2つの部分へ変換する。ルートワードの一部は、セルへの出力ポートを決定するためファブリックへ送られる。全ルートワードもまた、出力メモリコントローラによって使用されるルートワードとしてバスのデータ部分上へ送られる。第1ルートワードは「ファブリックルートワード」として表される。出力メモリコントローラのルートワードは「出口ルートワード」である。
【0043】
出力側において、各チャンネルの非分散器ASICは各ポートカードからトラフィックをとり、エラーチェックしデータを修復し、出力バス上へ正常なパケットを送信する。非分散器ASICは、予備のファブリックからのデータ、及び分散器によりインサートされるチェックサムを使用して、データ異常を検出し修復する。
【0044】
図2は、OC48ポートカードを表す。
OC192ポートカードは、ファブリックへの一つの10Gデータ流れ、及び10Gと20G間の出口データ流れをサポートする。このボードも4つの分散器及び4つの非分散器を使用する。しかし、4つのチップは拡張データバス上で並列に操作される。各ファブリックへ送られたデータは、OC48及びOC192ポートの両方について同一であり、データは、特別な変換機能を必要としないポートタイプ間を流れる。
【0045】
図3は、10G連結ネットワークブレードを表す。
各40Gスイッチファブリックは、40Gbpsセル/フレームまでエンキューし(enqueue、キューに入る)、それらを80Gbpsでデキューする。この2Xスピードアップにより、ファブリックにて緩衝されたトラフィックの量が減り、ラインレートの十分上方で出力ASICダイジェストのトラフィックを噴出させる。 スイッチファブリックは集約装置(aggregator)、メモリコントローラ、セパレータの3種類のASICから構成される。9つの集約装置ASICは、48までのネットワークブレード及びコントロールポートからのトラフィックの40Gbpsを受信する。集約装置ASICは、ファブリックルートワード及びペイロードを結合して、単一データストリーム、及びソース間のTDMにし、配備され生じる結果をワイド出力バス上に設置する。追加のコントロールバス(destid)は、メモリコントローラがデータをどのようにエンキューするかをコントロールするのに使用される。各集約装置ASICからのデータストリームは12のメモリコントローラへ分けられる。
【0046】
メモリコントローラは、16までのセル/フレームを各時刻サイクルで受信する。各12のASICは集約されたデータストリームの1/12を収納する。次に入力中のデータはdestidバス上に受信されたコントロール情報を基にしており収納される。データの収納は、メモリコントローラにて、パケット境界が比較的気づかないほどに単純化される(キャッシュ ライン コンセプト)。全12のASICは80Gbpsに集約されたスピードで、収納されたセルを同時にデキューする(キューから外す)。
【0047】
9つのセパレータASICは集約装置ASICの逆機能を実行する。各セパレータは全ての12のメモリコントローラからのデータを受信し、集約装置によってデータストリームに埋め込まれたルートワードを復号し、パケット境界を探す。各セパレータASICは、データがセパレータへ送られたようにメモリコントローラによって示された正確な目的地に応じて、24までの別の非分散器にデータを送る。
【0048】
デキュー工程は、背圧(back−pressure)駆動される。もし、背圧駆動が非分散器に適用されたら、背圧はセパレータへ逆連繋される。セパレータ及びメモリコントローラも、メモリコントローラが出力ポートへトラフィックをデキューできる時に制御する背圧駆動メカニズムを有する。
【0049】
チップセットのOC48及びOC192を有効的にサポートする為に、1つのポートカードからの4つのOC48ポートは常に同じ集約装置へと同じセパレータから送られる(集約装置及びセパレータのポート接続は常に対称である)。
【0050】
図4A及び図4Bは、ファブリックASICの接続を表している。
【0051】
スイッチの外部インターフェースは、分散器ASICとボルテックス(vortex)などの入口ブレードASIC間の入力バス(BIB)であり、非分散器ASICとトライデント等の出口ブレードASIC間の出力バス(BOB)である。
分散器ASICは入力バス(BIB)を経由した入口ポートからのデータを受け取る(DIN ST bl ch busとしても知られる)。
【0052】
このバスは、4つの別々の32ビット入力バス(4×OC48c)、又は全ての分散器へのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとしても作動できる。このバスは、分散器チップのソフトウェア構成に基づいたセル又はパケットのどちらかをサポートする。
【0053】
非分散器ASICは出力バス(BOB)(DOUT UN bl ch busとしても知られる)を経由して出口ポートへデータを送る。それはセル又はパケットのどちらかをサポートできる64(又は256)ビットデータバスである。それは下記の信号から構成される。
【0054】
このバスは、4つの別々の32ビット出力バス(4×OC48c)、又は全ての非分散器からのコントロールラインの共通セットを具え、単一128ビット幅データバスの何れかとして作動できる。このバスは、非分散器チップのソフトウェア構成に基づくセル又はパケットのどちらをも用いる。
【0055】
同期装置は2つの主な目的を持つ。第1の目的は、論理的セル/パケット又はデータグラムを全てのファブリックに亘って順序付けて維持することである。ファブリックの入口インターフェース上で、1つのポートカードのチャンネルから1つ以上のファブリックに達するデータグラムは、全てのファブリックが同じ順序で処理される必要がある。同期装置の第2の目的は、たとえ、データグラムセグメントは1つ以上のファブリックから送られ、違う時間にブレード出口入力に到着しても、ポートカードの出口チャンネルを有し、一緒に属している全てのセグメント又はデータグラムのストライプを再構成することである。このメカニズムは、別のネット遅延と、ブレードとファブリック間にてクロックドリフトの変動量を有するシステムで維持することが必要である。
【0056】
スイッチは、開始情報がシステム全体に伝わる同期ウィンドウのシステムを使用する。各送信器及び受信器は、最新の再同期表示から多数のソースからの同期データまで関連するクロックカウントを見ることが出来る。受信器は広域同期表示を受け取った後に、プログラム可能な遅延まで、同期期間での第1クロックサイクルのデータの受取を遅らせる。
この時点で、全てのデータは同時に受信されたと考えられ、修正された順序付けが適用される。ボックスを通じた遅れのために、パケット0及びセル0の遅延が別の順序で受信器に見られることを引き起こすにもかかわらず、受信時間=1に於ける両方のストリームの結果順序は、物理的バスに基づいて、そこから受信したパケット0、セル0と同じである。
【0057】
多重セル又はパケットを、1つのカウンターティック(counter tick)へ送信することができる。全ての宛先は、第2インターフェース等に移動する前に、第1インターフェースからの全てのセルを整える。このセル同期化技術は、全てのセルインターフェースに使用される。幾つかのインターフェース上には別の解決方法が必要とされる。
【0058】
同期装置は、2つの主なブロックから成る。主に、送信器と受信器である。送信器ブロックは、分散器及びセパレータASICに属する。受信器ブロックは、集約装置及び非分散器ASIC内にある。集約装置の受信器は、24(6ポートカード×4チャンネル)入力レーンまで扱える。非分散器の受信器は、13(12ファブリック+1パリティーファブリック)入力レーンまで扱える。
【0059】
同期パルスの受信時、送信器は先ず早いクロックサイクル(Nクロック)の数を計算する。
【0060】
送信同期装置は、出力ストリームを遮断し、及びロックダウンすることを示すNKキャラクターを伝達する。ロックダウンシーケンスの最後に、送信器は次のクロックサイクルにて有効データが始まることを示しているKキャラクターを伝達する。この次のサイクル有効表示は、全てのソースからトラフィックを同期すらために受信器によって使用される。
【0061】
次の伝達の最後に、送信器は、インターフェース上に少なくとも1つのアイドルを挿入する。これらのアイドルは、もし復号器が同期から外れるとしたら、10ビット復号器を10ビットシリアルコードウインドウへ正常に再同期させる。
【0062】
受信同期装置は広域同期パルスを受信し、プログラムされた数により同期パルスを遅らせる。(物理的ボックスが有し得る最大量のトランスポート遅延に基いてプログラムされている。)同期パルスを遅延させた後、受信器は同期キャラクターの直ぐ後のクロックサイクルを受信するのに適しているとする。データは各クロックサイクルで、次の同期キャラクターが入力ストリーム上に現れるまで受信される。このデータは、遅延広域同期パルスが現れるまで受信に適しているとはとらえない。
【0063】
送信器及び受信器が別々の物理的ボード上にあり、別の発振器によってクロックされているから、クロックスピードの差がその間にある。別の送信器及び受信器間のクロックサイクルの数を区切るのに、全てのシーケンスカウンターを再同期するために広域同期パルスがシステムレベルで使用される。各チップは、全ての有効なクロックスキューのもとで、各送信器及び受信器は、少なくとも1つのクロックサイクルにより早いと必ずするように、プログラムされている。各チップは、適正な数のクロックサイクルを待って、それらの現在の同期パルスウインドウへとなる。これは全てのソースが同期パルス間のN同期パルスウインドウの有効なクロックサイクルを実行することを保証する。
【0064】
例えば、同期パルスウインドウは100クロックまでプログラム可能であるとすると、同期パルスは10000クロック毎の同期パルスの名目速度で送られる。同期パルス送信器クロック、及び同期パルス受信クロックが共にドリフトした最悪の場合に基いて、同期パルス送信器上に10000クロックとして受信器には9995から10005クロックが実際にある。この場合、同期パルス送信器は各10006クロックサイクル毎に同期パルスを送信するようにプログラムされる。10006クロックにより、全ての受信器が必ずそれらの次のウインドウにあるよう保証される。もし同期パルス送信器が遅いクロックを有すれば、受信器は早いクロックを具えて、実質上10012クロックを有する。同期パルスは12クロックサイクルで受信され、同期パルスウィンドウへ送信するから、チップは12クロックサイクル遅延する。別の受信器には10006クロックが見られ、同期パルスウインドウの最後にて、6クロックサイクルへロックダウンする。両方の場合、各ソースは10100クロックサイクルで動作する。
【0065】
ポートカード又はファブリックが存在せず、又は挿入直後であり、どちらかが受信同期装置の入力を駆動しているとすると、特定の入力FIFOへのデータの書込は禁止される。というのは、入力クロックは存在せず、又は不安定でデータラインの状態が判らないからである。ポートカード又はファブリックが挿入された時、ソフトウェアは必ず入れられ、バイトレーンへの入力を可能にして、該ソースからのデータ入力が可能となることを許す。入力FIFOへの書込は可能になる。イネーブル信号はポートカード及びファブリックからのデータ、ルートワード、及びクロックが安定した後に、アサート(assert)されると考えられる。
【0066】
システムレベルでは、第1及び第2同期パルス送信器が2つの個別のファブリック上にある。各ファブリック及びブレード上には同期パルス受信器もある。これらは図5に見られる。
第1同期パルス送信器は、フリーランニングの同期パルスジェネレータであり、第2同期パルス送信器はその同期パルスを第1同期パルス送信器へ同期化させる。同期パルス受信器は、第1及び第2同期パルスを共に受信し、エラー検査アルゴリズムに基いて、そのボード上のASIC上へ正しい同期パルスを選択して送信する。同期パルス受信器は、もし同期パルス送信器からの同期パルスが、それ自信のシーケンス0カウント中に落ちたならば、同期パルスは残りのボードに送られることのみが保証される。例えば、同期パルス受信器及び非分散器ASICは共に同じブレード上にある。同期パルス受信器及び非分散器の受信同期装置は同じ水晶発振器からクロックされ、クロックドリフトは 内部シーケンスカウンタを増大させるのに用いられるクロック間には存在しない。受信同期装置は、受信する同期パルスは”0”カウントウインドウ内に常にあることを要求する。
【0067】
もし同期パルス受信器が、第1同期パルス送信器が同期から外れていると判断したら、第2同期パルス送信器ソースへ切り換える。第2同期パルス送信器も第1同期パルス送信器が同期から外れているかを判定し、第1同期パルス送信器から独立して、第2同期パルス送信器自身の同期パルスを発生する。これが第2同期パルス送信器の操作の第1モードである。
もし同期パルス受信器が第1同期パルス送信器は再び同期するように成ったと判定すると、第1同期パルス送信器側に切り換える。第2同期パルス送信器も、第1同期パルス送信器が再び同期するようになったと判断したら、第2モードへ切り換える。第2モードで、独自の同期パルスを第1同期パルスへ同期させる。同期パルス受信器は、その同期パルスフィルタリングメカニズムにおいて第2同期パルス送信器よりも余裕は少ない。同期パルス受信器は、第2同期パルス送信器よりさらに早く切り換わる。これは第2同期パルス送信器が第1モードに切り換わる前に、全ての受信同期装置が第2同期パルス送信器ソースを使用することへ切り換えることを保証するために行われる。
【0068】
図5は、同期パルスの分布状況を表す。
同期演算で示されるクロックサイクルの数によるファブリックからのバックプレーン伝達をロックダウンするために、全てのファブリックは、多くのクロックサイクルを効果的にフリーズし、同じエンキュー及びデキュー判定が同期内に留まることを確実にする。これは各ファブリックASICにおけるサポートを必要とする。ロックダウンは、キューリシンク(再同期)のような特殊な機能を含む全ての機能を止める。
【0069】
同期パルス受信器からの同期信号は、全てのASICへ分配される。各ファブリックASICは、広域同期パルス間のクロックサイクルをカウントするコアクロックドメインのカウンターを含む。同期パルス受信後、各ASICは早いクロックサイクルの数を演算する。広域同期パルスは自身のクロックで伝えられないから、演算されたロックダウンサイクル値は同じファブリック上の全てのASICと同じにはならない。この差は、全てのインターフェースFIFOをロックダウンカウントの最大スキューを許容できる奥行きを保持することにより説明される。
【0070】
全てのチップ上のロックダウンサイクルは、「有用な(ロックダウンしない)」サイクルの最後のシーケンスの始まりに対応した同じ論理的ポイントへ常に挿入されている。それは、各チップは常に、ロックダウンサイクルの数がたとえ変化しても、ロックダウン事象間の同じ数の”有用な”サイクルを実行する。
【0071】
ロックダウンは、異なる時間に異なるチップで発生するかも知れない。全てのファブリック入力FIFOは、初期に設定され、FIFOが、ドライ又はオーバーフローすることなしに、ロックダウンはFIFOのどちらか側で最初に発生できるようになっている。各々のチップツーチップインターフェースには、(基板トレース長さ及びクロックスキューと同じく)ロックダウンサイクルを引き起こす同期FIFOがある。送信機は、ロックダウン状態の間、ロックダウンを知らせる。
受信器は、示されたサイクルの間はデータを入れず(push)、また、それ自体のロックダウンの間はデータを取り出さない(pop)。FIFOの奥行きは、どのチップが最初にロックするかによって変化するが、その変化は、ロックダウンサイクルの最大数によって制限される。特定のチップが1回の広域同期期間の間に判断するロックダウンサイクルの数は変化するが、それらは全て、同じ数の有効なサイクルを有している。特定のファブリック上の各チップが判断するロックダウンサイクルの総数は、同じであって、制限された許容誤差の範囲である。
【0072】
集約装置コアクロックドメインは、ロックダウン持続時間のために完全に停止し、全てのフロップとメモリは、その状態を保持する。入力FIFOは、拡張可能である。ロックダウンバスサイクルは、出力キューに挿入される。コアロックダウンが実行される正確な時期は、DOUT_AG(Digital OUT−Analog Ground)バスプロトコルがロックダウンサイクルを挿入させる時期によって指図される。DOUT_AGロックダウンサイクルは、DestIDバスに示されている。
【0073】
メモリコントローラは、適当な数のサイクルのために、全てのフロップをロックダウンせねばならない。メモリコントローラにおけるシリコン領域への影響を削減するため、伝搬ロックダウンと呼ばれる技術が用いられる。
【0074】
オン−ファブリックのチップツーチップ同期化は、あらゆる同期パルスで実行される。幾つかの同期エラー検出能力が幾つかのASICに存在するけれども、ファブリック同期エラーを検出し、有害なファブリックを取り除くことが非分散器の仕事である。チップツーチップ同期化は、ファブリック上でどの様なパケット流れも可能となる前に行なわれる連鎖式機能である。この同期設定は、集約装置からメモリコントローラへ流れ、セパレータへ行き、またメモリコントローラへ戻る。システムがリセットされた後、集約装置は、第1広域同期信号を待つ。受信後、各集約装置は、DestIDバス上のローカル同期コマンド(値0x2)を、各メモリーコントローラへ送信する。
【0075】
分散処理機能は、ビットを着信データストリームから個々のファブリックに割り当てる。分散処理機能を導き出す際に、2つの項目が最適化された:
1.バックプレーン効率は、OC48及びOC192のために最適化されねばならない。
2.バックプレーン相互接続は、OC192オペレーションのために大きく変更されるべきではない。
【0076】
これらは、分散器及び非分散器ASICに追加された多重通信回路用(muxing)レッグに対して、交互に使用された(traded−off)。最適化に関係なく、スイッチは、OC48とOC192の両方用のメモリコントローラにおいて、同一のデータフォーマットを有さなければならない。
【0077】
バックプレーン効率を効率よくするには、バックプレーンバスを形成する際に加えられるパッディング(padding)を最小にする必要がある。OC48のための12ビットバックプレーンバスと、OC192のための48ビットバックプレーンバスの場合、最適な割り当ての為には、転送用の未使用ビットの数が、(バイト数 *8)/バス幅と同一であることを必要とし、“/”は、整数の分数である。OC48のためには、バスは、0,4又は8の未使用ビットを有することができる。OC192のためには、バスは、0,8,16,24,32又は40の未使用ビットを有することができる。
【0078】
このことは、どのビットも12ビットの境界の間を移動することができないか、あるいは、OC48パッディングは、所定のパケット長さにとって最適ではないことを意味している。
【0079】
OC192cに関し、最大帯域幅利用とは、各分散器が、同じ数のビットを受信せねばならないということを意味している(即ち、分散器へのビットインターリーブを意味する)。同一のバックプレーン相互接続と組み合わされた場合、これは、OC192cにおいて、各分散器は、1/4のビットを有する各分散器から来る、確実に正しい数のビットを有していなければならないことを意味する。
【0080】
データビットをファブリックに割り当てるために、48ビットのフレームが使用される。分散器の内部には、80〜100MHzでは32ビット幅で書き込まれ、125MHzでは24ビット幅で読み取られるFIFOがある。3つの32ビットの語は、4つの24ビットの語を生じる。24ビットの語の各対は、48ビットのフレームとして扱われる。ビットとファブリック間の割り当ては、ファブリックの数に左右される。
【0081】
【表2】
Figure 2004503132
表11:ビット分散処理機能
【0082】
次の表は、集約装置にて最初に読み取られ、セパレータにて最初に書き込まれるバイトレーンを示している。4つのチャネルは、A、B、C、Dで表されている。全てのバスが完全に使用されるよう、異なるファブリックは、異なるチャネルの読取/書込オーダーを有している。
【0083】
1つのファブリック−40G
次の表は、集約装置のインターフェース読取オーダーを示している。
【0084】
【表3】
Figure 2004503132
【0085】
2つのファブリック−80G
【表4】
Figure 2004503132
【0086】
120G
【表5】
Figure 2004503132
【0087】
3つのファブリック−160G
【表6】
Figure 2004503132
【0088】
6つのファブリック−240G
【表7】
Figure 2004503132
【0089】
12のファブリック−480G
【表8】
Figure 2004503132
【0090】
ギガビットトランシーバへのインターフェースは、トランシーババスを2つの分離したルートワードバスとデータバスとを有する分割バスとして使用する。ルートワードバスは、固定サイズ(OC48の入口には2ビット、OC48の出口には4ビット、OC192の入口には8ビット、OC192の出口には16ビット)であり、データバスは、変更できるサイズのバスである。送信オーダーは、決められた位置にルートワードバスを常に有している。あらゆる分散処理構造は、1つのトランシーバを有しており、これは、全ての有効な構造において目的物と通話するために用いられるものである。そのトランシーバは、両方のルートワードバスを送り、データの送信を開始するために用いられる。
【0091】
バックプレーンインターフェースは、バックプレーントランシーバへのインターフェースを用いて、物理的に行なわれる。入口及び出口両用のバスは、2つの半分部分から構成されていると考えられ、各々は、ルートワードデータを有している。
第1バスの半分部分がパケットを終了するなら、半分バスの2つは、個々のパケットに関する情報を有していてよい。
【0092】
例えば、ファブリックローカル通話に行くOC48インターフェースは、24データビットと2ルートワードビットを有している。このバスは、2x(12ビットデータバス+1ビットルートワードバス)を有しているかの如く作用して用いられる。2つの半バスを、A及びBとする。バスAは、第1データであって、その後にバスBが続く。パケットは、バスAとバスBのどちらでも開始でき、バスAとバスBのどちらでも終了できる。
【0093】
データビットとルートワードビットをトランシーバビットにマッピングする際、バスビットはインターリーブされる。これによって、全てのトランシーバは、たとえ分散処理量が変化しても、同一の有効/無効状態を有さねばならないことを確実にする。ルートワードは、バスBの前に現れるバスAによって解釈される。
バスA/バスBという概念は、チップ間にインターフェースを有することと密接に対応している。
【0094】
全てのバックプレーンバスは、データの断片化をサポートしている。使用されたプロトコルは、(ルートワード中の最終セグメントによって)最後の転送を記録する。最終セグメントでない全ての転送は、たとえ偶数のバイトではなくても、バスの幅全体を利用する必要がある。いかなる一定のパケットも、そのパケットの全ての転送のため、同一の数のファブリックに分散されねばならない。パケットの送信中に、分散器の分散処理量が更新されるとしても、次のパケットの初めに分散処理が更新されるだけである。
【0095】
ASICにおける送信機の各々は、各チャネルのための次のI/Oを有している: 8ビットデータバス、1ビットクロック、1ビットコントロール。
受信側では、ASICは、チャネルに次のものを受信する:
受信クロック、8ビットデータバス、3ビットステータスバス。
【0096】
スイッチは、送信器を1〜3組のバックプレーンにマッピングすることによって、トランシーバを最適化し、各受信器は、1〜3組のバックプレーンを具える。これにより、構造に必要なトラフィックをサポートするのに十分な送信器だけが、完全な1組のバックプレーンネットを維持しながら、基板上に配備される。このような最適化の目的は、必要とされるトランシーバの数を削減することである。
【0097】
最適化が行なわれる一方、どのようなときにも、2つの異なる分散処理量がギガビットトランシーバにおいて支持されねばならないということが尚求められる。このことは、トラフィックが、分散処理データから1つのファブリックへ、又、分散器の分散処理データから2つのファブリックへ同時にエンキュー(enqueue、キューに入れる)されることを可能とする。
【0098】
バスの構造によっては、複数のチャネルは、1つの更に大きな帯域幅のパイプを形成するために、互いに連結される必要があるかもしれない(どのようなときにも、論理的な接続では1つ以上のトランシーバが存在する)。4倍ギガビットトランシーバは4つのチャネルを互いに連結することができるが、この機能は用いられない。代わりに、受信ASICが、1つのソースからのチャネル間での同期設定について役割を果たす。これは、総称同期アルゴリズムと同じ文脈である。
【0099】
ギガビットトランシーバにおける8b/10b符号化/復号化は、多数の制御事象がチャネルによって送られることを許容する。これらの制御事象は、K文字で表示され、符号化された10ビット値に基づいて数字が付される。これらのK文字の幾つかは、チップセットで用いられる。使用されるK文字とその機能は、下記の表に示されている。
【0100】
【表9】
Figure 2004503132
【0101】
パケットに対する分散処理構造によって、スイッチは、各バックプレーンチャネルにサポートされる、変更可能な数のデータビットを有する。トランシーバ一式の内部には、データが次のオーダーで満たされる:
F[ファブリック]_[oc192ポート数][oc48ポート指定(a,b,c,d)][トランシーバ_数]
【0102】
チップセットは、ここに説明する一定の機能を実行する。ここで記載した機能の大半は、複数のASICでサポートされているため、それらをASIC毎に逐次記載することは、求められる機能の全体的な範囲についての明確な理解を妨げることになる。
【0103】
スイッチチップセットは、64K+6バイトの長さまでパケットと協働するように構成されている。スイッチの入口側には、複数のポート間で共有されるバスが存在する。大半のパケットに関して、それらは、パケットの初めからパケットの終わりまで、いかなる中断もなく送信される。しかしながら、この方法は、遅延感知トラフィックの遅延変動量を大きくすることになりかねない。遅延感知トラフィックとロングトラフィックとが、同一のスイッチファブリックに共存できるようにするため、ロングパケットという概念が導入されている。基本的に、ロングパケットによって、大量のデータは、キューイングロケーションに送られ、ソースを基にキューイングロケーションで集積され、ロングパケットの末端部が転送されると、直ちにキューに加えられる。ロングパケットの定義は、各ファブリック上のビット数に基づいている。
【0104】
イーサネット(登録商標)MTUがネットワーク全体に維持された環境でスイッチが作動している場合、ロングパケットは、40Gbpsより大きいサイズのスイッチには見受けられない。
【0105】
ワイドキャッシュライン共有メモリ技術は、セル/パケットをポート/優先キューに格納するために用いられる。共有メモリーは、セル/パケットを継続的に記憶するので、仮想的には、共有メモリーにおいて断片化及び帯域幅の無駄は存在しない。
【0106】
複数のキューが共有メモリーに存在する。それらは、宛先及び優先度毎に基づいている。同一の出力優先度とブレード/チャネルIDを有する全てのセル/パケットは、同一のキューに記憶される。セルは、常にリストの先頭からデキュー(キューから外す)され、待ち行列の末尾にエンキュー(キューに入れる)される。各セル/パケットは、出口ルートワードの一部と、パケット長さ、及び変更可能な長さのパケットデータによって構成されている。セル及びパケットは、継続的に記憶される。即ち、メモリーコントローラー自体は、ユニキャスト(アドレスを1つだけ指定する通信)接続用のセル/パケットの境界を認識しない。パケット長さは、MCパケット用に記憶される。
【0107】
マルチキャストポートマスクメモリー64Kx16−ビットが、マルチキャスト接続用宛先ポートマスクを記憶するために用いられる、即ち、マルチキャストVC毎に1つのエントリー(又は複数のエントリー)である。 マルチキャストDestID FIFOによって示されるヘッドマルチキャスト接続のポートマスクは、スケジューリング検索のために内的に記憶される。ヘッド接続のポートマスクがクリアされ、新たなヘッド接続が提供されると、ポートマスクメモリーが検索される。
【0108】
APSとは、自動保護スイッチングを表し、SONET冗長基準のことである。スイッチにおいてAPSの特徴をサポートするため、2つの異なるポートカードの2つの出力ポートが、略同一のトラフィックを送る。メモリーコントローラーは、APSポート用に1組のキューを維持し、両方の出力ポートに同じデータを送る。
【0109】
メモリーコントローラーASICにおけるデータ2重化をサポートするため、複数のユニキャストキューの1つは各々、プログラム可能なAPSビットを有している。APSビットが1に設定されると、パケットは、両方の出力ポートにデキューされる。APSビットがポート用にゼロに設定されると、ユニキャストキューは、正常モードで作動する。ポートがAPSスレイブとして構成されると、ポートは、APSマスターポートのキューから読み取る。OC48ポートに関し、APSポートは、隣接するポートカードの同じOC48ポート上に常に存在する。
【0110】
ファブリック間のメモリーコントローラーにおける共有メモリーキューは、クロックドリフト又は新たに挿入されたファブリックのために、同期から外れている(即ち、異なるメモリーコントローラーASIC間の同一のキューは、異なる奥行きを有している)。ファブリックキューを、任意の状態から有効かつ同期の状態に持っていくことは重要である。又、いかなる復元機構でもセルをドロップしないことが望ましい。
【0111】
リシンク(再同期)セルは、全てのファブリック(新たな及び既にあるもの)に一斉に送られて、リシンク状態に入る。ファブリックは、リシンクセルの前に受け取った全てのトラフィックを、キューリシンクが終わる前に、排出しようと試みる。しかし、リシンクセル後に受信したトラフィック(回線上のデータ情報量)は、リシンクセルが終了するまで排出されない。キューリシンクは2つの出来事の1つが生じると終了する。
1.時間切れのとき
2.新たなトラフィックの総量が(リシンクセルの後に受け取ったトラフィック)しきい値を越えたとき
【0112】
リシンクキューの終端にて、全てのメモリコントローラは、どのレフトオーバー旧トラフィック(リシンクセルのキューの前に受け取ったトラフィック)をも排出する。解放オペレーションは十分速く、いつリシンク状態に入ったかに拘わらず、全てのメモリコントローラはメモリの全てを一杯にすることができる。
【0113】
キューリシンクは、3つの全てのASICファブリックに与えられる。集約器はFIFOメモリがリシンクセルのキュー後に同様に排出することを確実にしなければならない。メモリコントローラは、キューイング及びドロッピング(データ送信時の損失)を実行する。分離器はトラッフィクをドロッピングし、これが起こったときに長さパージング(構文解析)状態マシンをリセットする。個々のASICにて、キューリシンクの詳細については、ADSチップを参照されたい。
【0114】
デキューについては、マルチキャスト接続(複数の端末に同じ内容を流すこと)は、独立した32のトークンを各ポートに有し、各々は50ビットのデータ又はまとまったパケットに相当する。先頭の接続及びその高優先キューのポートマスクは、各サイクル毎にFIFO接続及びポートマスクメモリから読み出される。まとまったパケットは先頭接続の長さ領域に基づくマルチキャストキャッシュラインから隔てられている。先頭のパケットは、全ての宛先ポートに送られる。
ポートに対してゼロでないマルチキャストトークンが使用可能であるときは、8つのキュー排出器は、パケットを分離器に送る。次の先頭接続は、現在の先頭パケットがその全てのポートに送られるときにのみ、処理されるだろう。
【0115】
キュー構造は、リシンクセルファブリックを介して直ぐに変換され、ポート領域当たりの優先の数が、各ポートがいくつの優先キューを有するかを示すのに用いられる。分散ASICは、ネットワークブレード上にある。
【0116】
以下の語は、スイッチの語彙にて、かなり特有の意味を有する。多くはどこかで述べられたが、これは1箇所にそれらを集めて定義することを企画している。
【0117】
【表10】
Figure 2004503132
Figure 2004503132
Figure 2004503132
【0118】
カウンタ送信と受信の関係は、図6に示される。
【0119】
本発明は例示の目的で前述の実施例に於いて、詳細に記載されてきたが、そのような詳細な記載は単にその目的の為であり、当該分野の専門家であれば、先述の特許請求の範囲によって記載されるようなもののほかにも、発明の精神と範囲から逸脱することなく、変形を成し得るものと理解されるべきである。
【図面の簡単な説明】
本発明の好ましい実施例と本発明を実施する好ましい方法は、添付の図面に示されている。
【図1】
本発明のスイッチに於けるパケット分散処理を示す概略図である。
【図2】
OC48ポートカードの概略図である。
【図3】
鎖状ネットワークブレードの概略図である。
【図4】
図4A、図4Bは、ASICファブリックに於ける相互接続を示す概略図である。
【図5】
同期パルスの分配状況を示す概略図である。
【図6】
夫々セパレータ及び非分散器用の送受信連続カウンタ間の関係に関する概略図である。
【図7】
本発明のスイッチの概略図である。

Claims (16)

  1. パケットを切り換えるネットワークのスイッチに於いて、
    パケットの一部を切り換える複数のファブリックと、
    ファブリック及びネットワークに接続されて、ネットワークからパケットを受信し、ネットワークにパケットを送るポートカードを具え、
    ポートカードは、複数のファブリックの1つが故障しても、ネットワークに正しいパケットをなおも送る耐容性がある機構を有していることを特徴とするスイッチ。
  2. 複数のファブリックは、ポートカードからパケットの一部を受信し、ポートカードにパケットの一部を送るn個のファブリックを含み、nは2以上の整数であり、ファブリックの1つは、パケットに関するパリティデータをポートカードに送り、ポートカードから該パリティデータを受信するパリティファブリックである請求項1に記載のスイッチ。
  3. 耐容性がある機構は、パケットの一部をストライプとして、それらが対応するn個のファブリックに送り、パケットのチェックサムを計算し、それを分散処理前にパケットに加える分散器を有する請求項2に記載のスイッチ。
  4. 耐容性がある機構は、ファブリックからストライプ及びパリティデータを受信し、受信したストライプからパリティデータを計算し、受信したパリティデータと計算したパリティデータを比較して、1つのファブリックが故障したかどうかを判断する非分散器を具える請求項3に記載のスイッチ。
  5. 非分散器は、各ファブリックについてチェックサムを計算し、各ファブリックからのデータを順に交換し、各ファブリックについて計算されたチェックサムを、各ファブリックについて計算され、パケットと共に受信されパケットが分散処理される前に計算されたチェックサムと比較し、非分散器がファブリックの1つが故障したと判断したときは、故障したファブリックからのストライプを、他のストライプから修復する請求項4に記載のスイッチ。
  6. チェックサムは16ビットである請求項5に記載のスイッチ。
  7. 各ファブリックは、ポートカードからストライプを受信する集約装置、ストライプが格納されるメモリコントローラ、及びポートカードにストライプを送り戻すセパレータを有する請求項6に記載のスイッチ。
  8. パケットを切り換える方法であって、
    スイッチのネットワークからポートカードにてパケットを受信する工程と、
    スイッチのファブリックに、ポートカードからのストライプとしてパケットの一部を送る工程と、
    ファブリックを用いてパケットの一部を切り換える工程と、
    パケットの一部をファブリックからのストライプとしてポートカードに送り戻す工程と、
    ファブリックの1つが故障を有しても、ポートカードを用いて正しいパケットをネットワークに送る工程を有する方法。
  9. スイッチのファブリックに送る工程は、n個のファブリックの夫々に、パケットの一部のn個のストライプを送る工程を含み、nは2以上の整数であり、
    ファブリックの1つは、パリティファブリックへのパケットに関するパリティデータを有するパリティストライプである請求項8に記載の方法。
  10. n個のストライプを送る工程の前に、分散器を用いてパケットのチェックサムを計算し、それを分散処理前にパケットに加える工程がある請求項9に記載の方法。
  11. ポートカードに送り戻す工程は、ポートカードの非分散器にて、ファブリックからのストライプとパリティストライプを受信し、非分散器を用いて受信したストライプからパリティデータを計算し、パリティストライプから受信したパリティデータを、非分散器にて計算したパリティデータと比較し、ファブリックの1つが故障したかを判断する工程を含む請求項10に記載の方法。
  12. 比較する工程の後に、非分散器を用いてチェックサムを計算し、各ファブリックからのデータを順に交換し、各ファブリックについて計算されたチェックサムを、パケットと共に受信されパケットが分散処理される前に計算されたチェックサムと比較し、どのファブリックが故障したかを識別し、故障したファブリックからのストライプを、他のストライプから修復する工程がある請求項11に記載の方法。
  13. チェックサムは、16ビットである請求項12に記載の方法。
  14. 切り換える工程は、ファブリックの集約装置にて、パケットの一部をストライプとして受信し、該パケットの一部をファブリックのメモリコントローラに格納する工程を含む請求項13に記載の方法。
  15. ポートカードに送り戻す工程は、ファブリックのセパレータを用いて、メモリコントローラ内のパケットの一部をストライプとして、ポートカードの非分散器に送り戻す工程を含む請求項14に記載の方法。
  16. パケットを切り換える方法であって、
    スイッチのネットワークからポートカードにてパケットを受信する工程と、
    スイッチのファブリックに、ポートカードからのストライプとしてパケットの一部を送る工程と、
    ファブリックを用いてパケットの一部を切り換える工程と、
    パケットの一部をファブリックからのストライプとしてポートカードに送り戻す工程と、
    ファブリックの1つが故障を有すると判断する工程と、
    ファブリックのどの1つが故障を有するかを判断する工程を含む方法。
JP2002507552A 2000-06-30 2001-06-29 スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム Expired - Fee Related JP4679793B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/609,653 US6906999B1 (en) 2000-06-30 2000-06-30 Receiver decoding algorithm to allow hitless N+1 redundancy in a switch
PCT/US2001/020709 WO2002003590A2 (en) 2000-06-30 2001-06-29 Receiver decoding algorithm to allow hitless n+1 redundancy in a switch

Publications (2)

Publication Number Publication Date
JP2004503132A true JP2004503132A (ja) 2004-01-29
JP4679793B2 JP4679793B2 (ja) 2011-04-27

Family

ID=24441718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002507552A Expired - Fee Related JP4679793B2 (ja) 2000-06-30 2001-06-29 スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム

Country Status (5)

Country Link
US (1) US6906999B1 (ja)
EP (1) EP1230765B1 (ja)
JP (1) JP4679793B2 (ja)
AU (1) AU2001271613A1 (ja)
WO (1) WO2002003590A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200107B2 (en) * 2001-01-06 2007-04-03 Mindspeed Technologies, Inc. Method and apparatus for lossless switchover in a redundant switch fabric
US7602701B1 (en) * 2003-12-22 2009-10-13 Alcatel Lucent WideBand cross-connect system and protection method utilizing SONET add/drop multiplexers
US8223803B2 (en) * 2008-02-07 2012-07-17 Infinera Corporation Programmable time division multiplexed switching
EP2437442B1 (en) 2010-09-30 2013-02-13 Alcatel Lucent Device and method for switching data traffic in a digital transmission network
US8798077B2 (en) 2010-12-29 2014-08-05 Juniper Networks, Inc. Methods and apparatus for standard protocol validation mechanisms deployed over a switch fabric system
US9172494B2 (en) * 2014-01-07 2015-10-27 Infineon Technologies Austria Ag Modulator device
US12210413B2 (en) * 2022-06-30 2025-01-28 Micron Technology, Inc. Data correction scheme with reduced device overhead

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498937A (ja) * 1990-08-17 1992-03-31 Hitachi Ltd Atmスイッチおよびその制御方法
US5953314A (en) * 1997-08-28 1999-09-14 Ascend Communications, Inc. Control processor switchover for a telecommunications switch
US6026092A (en) * 1996-12-31 2000-02-15 Northern Telecom Limited High performance fault tolerant switching system for multimedia satellite and terrestrial communications networks
JP2001007823A (ja) * 1999-05-13 2001-01-12 Lucent Technol Inc 電気通信信号のヒットレスおよびエラーレススイッチングのための障害検出
JP2001057574A (ja) * 1999-06-15 2001-02-27 Fore Syst Inc データ分散化に基づくスイッチングシステム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2129186A5 (ja) 1971-03-18 1972-10-27 Constr Telephoniques
DE2333254C2 (de) 1973-06-29 1975-04-24 Siemens Ag, 1000 Berlin Und 8000 Muenchen PCM-Zeitmultiplexfernmeldenetz
DE3537451A1 (de) 1985-10-22 1987-04-23 Philips Patentverwaltung Vermittlungsanlage mit fehlerkorrektur
FR2670971A1 (fr) 1990-12-21 1992-06-26 Trt Telecom Radio Electr Systeme de transmission de mots de donnees utilisant au moins deux canaux de transmission.
US5301297A (en) 1991-07-03 1994-04-05 Ibm Corp. (International Business Machines Corp.) Method and means for managing RAID 5 DASD arrays having RAID DASD arrays as logical devices thereof
DE4226599C2 (de) * 1992-08-11 1994-08-04 Siemens Ag Verfahren zur Fehlererkennung in digitalen Kommunikationssystemen
US5418925A (en) 1992-10-23 1995-05-23 At&T Global Information Solutions Company Fast write I/O handling in a disk array using spare drive for buffering
JP3082554B2 (ja) 1994-01-11 2000-08-28 株式会社日立製作所 セルフヒーリングリングスイッチ
US5712976A (en) 1994-09-08 1998-01-27 International Business Machines Corporation Video data streamer for simultaneously conveying same one or different ones of data blocks stored in storage node to each of plurality of communication nodes
US5870538A (en) * 1995-07-19 1999-02-09 Fujitsu Network Communications, Inc. Switch fabric controller comparator system and method
US5991295A (en) * 1995-10-10 1999-11-23 Madge Networks Limited Digital switch
US5862312A (en) 1995-10-24 1999-01-19 Seachange Technology, Inc. Loosely coupled mass storage computer cluster
US5844887A (en) * 1995-11-30 1998-12-01 Scorpio Communications Ltd. ATM switching fabric
GB2312319B (en) 1996-04-15 1998-12-09 Discreet Logic Inc Video storage
US5802052A (en) * 1996-06-26 1998-09-01 Level One Communication, Inc. Scalable high performance switch element for a shared memory packet or ATM cell switch fabric
US5812556A (en) * 1996-07-03 1998-09-22 General Signal Corporation Fault tolerant switch fabric with control and data correction by hamming codes and error inducing check register
US6339677B1 (en) 1996-09-27 2002-01-15 Sony Corporation Picture signal recording and reproducing apparatus and picture signal recording and reproducing method
US6031843A (en) * 1996-11-21 2000-02-29 Alcatel Data Networks Inc. Digital communications switching fabric
US5959972A (en) * 1997-05-27 1999-09-28 3Com Corporation Method of port/link redundancy in an ATM switch
AU1793999A (en) * 1997-12-11 1999-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Redundancy termination for dynamic fault isolation
US6185021B1 (en) * 1998-03-20 2001-02-06 Lucent Technologies, Inc. Cross-connecting optical translator array
US6570881B1 (en) * 1999-01-21 2003-05-27 3Com Corporation High-speed trunk cluster reliable load sharing system using temporary port down
US6650660B1 (en) * 1999-07-27 2003-11-18 Pluris, Inc. Apparatus and method for synchronization of multiple data paths and recovery from lost synchronization
US6553508B1 (en) * 1999-12-31 2003-04-22 Nortel Networks Limited Redundant communication fabrics for enhancing fault tolerance in Totem networks
US6463063B1 (en) 2000-06-30 2002-10-08 Marconi Communications, Inc. Receiver makes right

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498937A (ja) * 1990-08-17 1992-03-31 Hitachi Ltd Atmスイッチおよびその制御方法
US6026092A (en) * 1996-12-31 2000-02-15 Northern Telecom Limited High performance fault tolerant switching system for multimedia satellite and terrestrial communications networks
US5953314A (en) * 1997-08-28 1999-09-14 Ascend Communications, Inc. Control processor switchover for a telecommunications switch
JP2001007823A (ja) * 1999-05-13 2001-01-12 Lucent Technol Inc 電気通信信号のヒットレスおよびエラーレススイッチングのための障害検出
JP2001057574A (ja) * 1999-06-15 2001-02-27 Fore Syst Inc データ分散化に基づくスイッチングシステム

Also Published As

Publication number Publication date
EP1230765A4 (en) 2009-06-03
EP1230765B1 (en) 2012-06-20
EP1230765A2 (en) 2002-08-14
JP4679793B2 (ja) 2011-04-27
AU2001271613A1 (en) 2002-01-14
WO2002003590A3 (en) 2002-05-30
WO2002003590A2 (en) 2002-01-10
US6906999B1 (en) 2005-06-14

Similar Documents

Publication Publication Date Title
US7516253B2 (en) Apparatus for storing data having minimum guaranteed amounts of storage
US6473435B1 (en) Method and apparatus for transferring packets to a memory
US6473433B1 (en) Queue resynch: synchronous real-time upgrade of a distributed switching system
US6973092B1 (en) Dynamic queue utilization
JP2004503133A (ja) クロックドリフトとトランスポート遅延を有する分散型システムに於けるバックプレーン同期化
US7106692B1 (en) APS/port mirroring
JP5167391B2 (ja) パケット境界表示器を用いてパケットを格納する方法及び装置
JP4679793B2 (ja) スイッチに於いてn+1冗長化を狙わないことを許す受信器デコードアルゴリズム
EP1179930B1 (en) Long Packet handling
US7035267B1 (en) Transferring and queueing length and data as one stream
US6526024B1 (en) Synchronization of asynchronous back-pressure from one destination to multiple sources
JP4716614B2 (ja) 分散されたシステムを更新する同期的且つ動的なレジスタ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040831

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees