JP4043952B2 - Method and apparatus for transferring data packet in communication network - Google Patents
Method and apparatus for transferring data packet in communication network Download PDFInfo
- Publication number
- JP4043952B2 JP4043952B2 JP2002580586A JP2002580586A JP4043952B2 JP 4043952 B2 JP4043952 B2 JP 4043952B2 JP 2002580586 A JP2002580586 A JP 2002580586A JP 2002580586 A JP2002580586 A JP 2002580586A JP 4043952 B2 JP4043952 B2 JP 4043952B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- state
- data unit
- unit
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000004891 communication Methods 0.000 title claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 25
- 230000002950 deficient Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 239000000872 buffer Substances 0.000 description 8
- 230000001934 delay Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5603—Access techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Communication Control (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本発明は、送信機から受信機へデータユニットを転送する方法及び装置に係る。特に、本発明は、トランスコーダに受信されたデータユニットの脱落又は非順序を補償することに関する。 The present invention relates to a method and apparatus for transferring data units from a transmitter to a receiver. In particular, the present invention relates to compensating for missing or out-of-order data units received by a transcoder.
最近、システム及びソリューションは、インターネットサーフィン及び電子メール等に加えて、電話、テレビ電話、テレビジョンビデオ分配器のような種々のサービスのデジタルエンコード情報のパケットに基づく伝送を提供するために発達している。これらのサービスは、様々な範囲で遅延に影響を受け易く、それ故に適切な伝送機構を選択するために分類されことが多い。電話及びテレビ電話のような最も遅延に影響を受け易い用途は、送信機から受信機へ約200ミリ秒以下の全伝送時間を要求する、リアルタイムサービスと呼ばれることがある。遅延に敏感でない用途、例えばインターネットからホームページのデータをダウンロードするような、は、ベストエフォートサービスと呼ばれ、2,3秒の伝送時間がたいてい許容できる。このようにして伝送手段が共有される時、リアルタイムデータはベストエフォートデータに対して概して優先権を与えられる。 Recently, systems and solutions have been developed to provide packet-based transmission of digitally encoded information for various services such as telephones, videophones, television video distributors, as well as Internet surfing and email. Yes. These services are susceptible to delays in various ranges and are therefore often classified to select an appropriate transmission mechanism. Applications that are most sensitive to delay, such as telephone and videophone, may be referred to as real-time services that require a total transmission time of about 200 milliseconds or less from the transmitter to the receiver. Applications that are not sensitive to delay, such as downloading home page data from the Internet, are called best effort services and a transmission time of a few seconds is usually acceptable. When transmission means are shared in this manner, real-time data is generally given priority over best effort data.
伝送する情報は、送信機側でデジタルエンコードされ、コード体系に従って特定のフォーマットのデータユニット、例えばデータパケット又はフレームに合わせられる。データユニットは、例えば種々のネットワーク、スイッチ、ゲートウェイ及びルータを含む、伝送路に沿って伝送ユニットとして扱われる。エンコードされた情報は、受信端で利用者に表示又は再生されるため、送信先で受信される時に、最終的にデコードされる。しかしながら、コード化基準の不一致により、送信及び受信装置は、多くの場合、互いに異なる特定のコード体系を使用することが可能なだけであり、送信機によってエンコードされた情報が、受信相手に達する前にある場所で再コード化される必要がある。この操作は、多くの場合トランスコードと呼ばれる。 The information to be transmitted is digitally encoded on the transmitter side and matched to a data unit of a specific format, such as a data packet or a frame, according to a code system. A data unit is treated as a transmission unit along a transmission path including, for example, various networks, switches, gateways, and routers. Since the encoded information is displayed or reproduced to the user at the receiving end, it is finally decoded when received at the transmission destination. However, due to inconsistencies in the coding standards, the transmitting and receiving devices can often only use specific coding schemes that are different from each other, before the information encoded by the transmitter reaches the receiving party. Needs to be recoded at a certain location. This operation is often called transcoding.
その上、伝送路に沿った異なるネットワーク及び/又は交換ノードは、異なる基準のフォーマット及びコード体系も使用してしまい、トランスコードの更なる必要性という結果を招く。このようにして伝送データは、最終受信機に達する前に数回再コード化されねばならなくなり得る。リアルタイムサービスに関して、かつある程度のメディアストリーミングサービスに関しても、全伝送路のノード内のトランスコード活動による遅延を最小限に抑えることが望ましい。例えば、200ミリ秒を超える遅延が、2つの当事者間の音声呼び出しにおいて導入されると、対話の流れは、相当に妨げられる。 Moreover, different networks and / or switching nodes along the transmission path may also use different standard formats and coding schemes, resulting in the need for further transcoding. In this way, the transmission data may have to be recoded several times before reaching the final receiver. It is desirable to minimize delays due to transcoding activity within the nodes of the entire transmission path, both for real-time services and for some media streaming services. For example, if a delay exceeding 200 milliseconds is introduced in a voice call between two parties, the flow of interaction is significantly hindered.
図1は、送信機100及び受信機102の間でデータを転送する代表的な通信概要を図解する。この簡略化された実施例において、ある時点での一方向のみの非対称伝送が考察される。対称伝送に関して、各当事者100及び102は、音声呼び出しのように、送信機及び受信機の両方となることが、当然に可能である。送信機100は、ローカルエリアネットワーク(LAN)、無線ネットワーク等でも良いアクセスネットワーク104に接続される。受信機102も同様に他のアクセスネットワーク106に接続される。各アクセスネットワーク104、106は、インターネット又は公衆交換電話網(PSTN)のような、1つ以上の公衆ネットワークを含み、中間通信システム112で通信するために、更にそれぞれのゲートウェイスイッチ108、110に接続される。
FIG. 1 illustrates an exemplary communication overview for transferring data between a
送信機100は、伝送するデータをエンコードするために、第1コード体系を使用することが可能である。他方、受信機102は、受信したデータをデコードするために、第2コード体系を使用することが可能で、第2コード体系は、第1と異なる。更に、中間通信システム112は、通信されたデータを転送するために、コード体系が異なるところで、1つ以上の更なるコード体系を使用し得る。このようにして、通信されたデータが、それまで使用されたコード体系とは異なるコード体系を使用する新しいドメインに入る度に、再コード化されねばならないことは、明白である。
The
例えば、トランスコードは、例えば時分割多重化(TDM)を使用するパケット交換ネットワークと回線交換ネットワークの間で行われねばならない。このようにしてデータは、伝送路内で更に伝送される前に受信される前のデータユニットから新規なデータユニットを作成するために、1つ以上のトランスコーダで転送される。ゲートウェイ108、110並びに図1の中間通信システム112内の他の交換ノードは、概して、かかるトランスコーダを含み得る。
For example, transcoding must be performed between a packet switched network and a circuit switched network using, for example, time division multiplexing (TDM). In this way, data is transferred by one or more transcoders to create a new data unit from the previous data unit before being further transmitted in the transmission path.
更に、1つ以上のネットワーク104、112、106が、パケットに基づく伝送を使用するならば、データパケットが間違った順序でトランスコーダで受信される潜在的危険性がある。パケットに基づく伝送で、各データパケットは、個々に処理され、かつ別個の伝送路を取り得、かつ/又は中間ノードで異なる遅延を受け得る。従ってバッファは、異なる遅延を伴って受信されるパケットを補償するために、多くの場合、トランスコーダ及び受信機内に配置され、時にはジッタバッファと呼ばれる。ジッタバッファは、トランスコード又はデコードされる前に順番が決められて配置される複数のデータパケットの受信を可能にする。次にパケットは、必要ならばその順番を再順序付けられる。もう一つの方法は、間違った順序で受信されたパケットを単に破棄することであるが、しかしながら品質劣化という結果を招く。パケットドメイン及びTDMドメインの間の中間ノードの受信機側は、概してジッタバッファを含む。
Further, if one or
ジッタバッファ技術は、伝送において不要な遅延を招いてしまう欠点を伴う。それは、TDMに基づく伝送が係る時、クロックタイミング基準も必要とする。更に、最終受信機102は、概してジッタバッファ又は類似するデコード機能を含み、伝送データの総待ち時間を増加させる。トランスコード機能は、データを処理し、かつトランスコードを実行するために必要な時間以上の待ち時間を加えるべきでない。しかしながら、あらゆるデータパケットが到着する度に順次トランスコードされるならば、結果として生じる品質は、間違った順序でデータパケットが到着する時に劣化してしまう。特に、多くのコード体系は、特別な大量のデータをデコードする時に履歴データに依存する。すなわち、以前デコードされたデータからの情報が次のデータをデコードするために使用されている。従って、全てのデータは、受信端で高品質を獲得するために、送信エンコーダから出力されたものと同じシーケンス順にデコードされねばならない。
Jitter buffer technology has the disadvantage of incurring unnecessary delay in transmission. It also requires a clock timing reference when TDM based transmission is involved. Further, the
以上に概要を説明した欠点を克服し、かつ受信端でデコードされる時に、受信エンコードデータの高品質を達成し、同時に中間トランスコーダ内の伝送遅延を最小限に抑えることが、本発明の目的である。 It is an object of the present invention to overcome the disadvantages outlined above and to achieve high quality of the received encoded data while at the same time minimizing the transmission delay in the intermediate transcoder when decoded at the receiving end. It is.
これらの目的は、トランスコーダ内の遅延を最小限に抑え、かつジッタバッファの必要性を除去するための単純な解決策によって達成され、その解決策により、間違ったシーケンス順で到着するデータユニットは、遅れて到着するデータを復元することによって補償される。 These objectives are achieved by a simple solution to minimize delay in the transcoder and eliminate the need for jitter buffers, which allows data units that arrive in the wrong sequence order to be Compensated by recovering late arriving data.
方法及びトランスコーダユニットは、送信機及び最終受信機の間の伝送路内の通信データをトランスコードするために提供される。第1フォーマットでコード化情報を含むデータユニットは、受信され、前のコード化データから抽出された現在のコード化状態に基づき、第2フォーマットで新規なデータユニットにコード化される。新規な現在のコード化状態は、データユニットがコード化される度に、抽出される。 A method and transcoder unit are provided for transcoding communication data in a transmission path between a transmitter and a final receiver. A data unit containing coding information in the first format is received and coded into a new data unit in the second format based on the current coding state extracted from the previous coded data. A new current coding state is extracted each time a data unit is coded.
各データユニットを受信する時に、受信データが間違ったシーケンス順にあるか検出されるが、これは、受信データのシーケンス順を示す情報を読み取ることによって行われ得る。これが当てはまるのならば、前のコード化データから抽出されたコード化状態は、保存され、新規な擬似コード化状態が、次の受信データユニットをコード化するために抽出される。 As each data unit is received, it is detected whether the received data is in the wrong sequence order, which can be done by reading information indicating the sequence order of the received data. If this is the case, the coding state extracted from the previous coded data is saved and a new pseudo-coded state is extracted to code the next received data unit.
不足データが、最終的に受信されるならば、それは、保存されたコード化状態に基づき、第2フォーマットにコード化され、コード化された不足データは、有効データとして使用され得る。保存されたコード化状態は、そのときに削除され得る。対応する不足データが、事前設定された時限内に受信されないならば、保存されたコード化状態はまた、削除され得るが、それはデータフロー特性に基づき得る。保存されたデコード状態の数が、事前設定された閾値に達したならば、保存されたコード化状態はまた、削除され得るが、それも同様にデータフロー特性に基づき得る。 If the missing data is finally received, it is encoded in the second format based on the stored coding state, and the coded missing data can be used as valid data. The saved coding state can then be deleted. If the corresponding missing data is not received within a preset time period, the stored coding state can also be deleted, but it can be based on data flow characteristics. If the number of stored decode states reaches a preset threshold, the stored coded states can also be deleted, but it can be based on data flow characteristics as well.
発明の手順は、受信データユニットをデコードするために使用され得るが、そこではコード化状態はデコード状態であり、かつ第2フォーマットは中間フォーマットである。次に受信データユニットは、新規なデータユニットにエンコードされる中間データセグメントに分割される中間データのストリームにデコードされ得る。 The inventive procedure can be used to decode a received data unit, where the coding state is the decoding state and the second format is the intermediate format. The received data unit may then be decoded into a stream of intermediate data that is divided into intermediate data segments that are encoded into new data units.
発明の手順は、受信データユニットをエンコードするためにも使用され得るが、そこではコード化状態はエンコード状態であり、かつ第1フォーマットは中間フォーマットである。次に受信データユニットは、新規なデータユニットにエンコードされるデコードされた中間データを含み得る。 The inventive procedure can also be used to encode a received data unit, where the encoding state is the encoding state and the first format is the intermediate format. The received data unit may then include decoded intermediate data that is encoded into the new data unit.
受信データが間違ったシーケンス順にあるならば、誤り補正データが、前に受信したデータユニット及び現在のデコード状態から導き出され得るが、そこで新規な擬似コード化状態は、導き出された誤り補正データに基づいて抽出され得る。 If the received data is in the wrong sequence order, error correction data can be derived from the previously received data unit and the current decoding state, where the new pseudo-coding state is based on the derived error correction data. Can be extracted.
発明の手順は、送信機及び最終受信機の間の伝送路内に位置し、かつ手順を実行する手段を有するトランスコーダユニットにおいて実施され得る。 The inventive procedure can be implemented in a transcoder unit located in the transmission path between the transmitter and the final receiver and having means for performing the procedure.
発明の手順は、手順を実行するソフトウェアコード手段を含む、トランスコーダユニット内のコンピュータに直接ロード可能なコンピュータプログラム製品においても実施され得る。 The inventive procedure may also be implemented in a computer program product that can be loaded directly into a computer in a transcoder unit, including software code means for performing the procedure.
発明の手順は、あるいは、トランスコーダユニット内のコンピュータに手順を実行させるための読み取り可能なプログラムを含む、コンピュータの使用可能な媒体に記憶されたコンピュータプログラム製品において実施され得る。 The inventive procedure may alternatively be implemented in a computer program product stored on a computer usable medium, including a readable program for causing a computer in the transcoder unit to execute the procedure.
これから本発明を、より詳細に、図面を参照して記載する。 The invention will now be described in more detail with reference to the drawings.
図1は、本発明が実施され得る、送信機100及び受信機102の間でデータを転送する上記の代表的な通信システムを図解する。当然、本発明は、多数の他のタイプの通信システムにも使用され得る。
FIG. 1 illustrates the above exemplary communication system for transferring data between a
図2は、本発明によるデータをトランスコードする代表的なトランスコーダユニット200内のデータフローの略図である。第1コード体系に従ってエンコードされ、第1フォーマットFを有するデータ202は、データを第2フォーマットF’を有する第2コード体系にトランスコードするトランスコーダユニット200によって受信される。トランスコード方法は、この実施例において2つの操作、デコード操作204及びエンコード操作206に分割される。2つの操作の間に、データは、デコードされた中間フォーマットIF 208にある。しかしながら、いかなる中間フォーマットも使用せずに、第1フォーマットFの入力データ202を直接第2フォーマットF’に再コード化又はトランスコードすることが本発明の範囲内で可能である。データ210は、第2フォーマットF’にコード化された後、伝送路内の、図示されていない次のノードへ更に伝送される。更に、トランスコーダは、以下により詳細に記載する、コード化状態を記憶するメモリ212を含む。
FIG. 2 is a schematic diagram of the data flow within an
概して、入力データは、第1フォーマットFに従ってエンコードされるデータユニット、例えばパケット又はフレーム、にグループ分けされる。入力データは、パケット交換又は回線交換され得る。各入力データユニットは、受信トランスコーダユニット200によって読み取られる、シーケンス番号又はタイムスタンプのようなシーケンス順を示す情報を有するフィールド等を含む。通常、受信データユニットが最初に伝送されたような正しい順序で、かつデータ脱落なしに受信されるならば、そのデータユニットは、操作204において、次のフォーマットIF又はF’に順次デコードされる。
In general, the input data is grouped into data units, eg packets or frames, encoded according to the first format F. Input data can be packet switched or circuit switched. Each input data unit includes a field having information indicating a sequence order such as a sequence number or a time stamp read by the receiving
この実施例は、図2を更に参照して、図3に図解され、そこにおいてF1、F2、F3...は、トランスコーダユニット200で正しい順序で受信される第1フォーマットFのデータパケット202である。データパケット202は、操作204において、中間フォーマットIFを有する中間データユニット300に別個にデコードされる。各データパケット202をデコードする時、一連の現在履歴デコード状態DS302として図3に示す前のデコード結果からの情報が使用される。デコード状態は、実データ以外に、実行されたデコード操作から抽出され、かつデータの幾つかの特性を反映する変数又はパラメータを含む。
This embodiment is illustrated in FIG. 3 with further reference to FIG. 2, where F1, F2, F3. . . Are first format
このようにして、受信データパケットF1は、前にデコードされたデータパケットのデコード結果、図示されていないが、から抽出される現在デコード状態DS0に基づき中間データユニットIF1にデコードされる204。デコード状態DS0を使用した後、新規なデコード状態DS1が、F1の最新のデコードから抽出される。次のデータパケットF2は、次に、最後のデコード状態DS1等に基づきIF2にデコードされる204。 In this way, the received data packet F1 is decoded 204 into the intermediate data unit IF1 based on the current decoding state DS0 extracted from the decoding result of the previously decoded data packet (not shown). After using decode state DS0, a new decode state DS1 is extracted from the latest decode of F1. The next data packet F2 is then decoded 204 into IF2 based on the last decoding state DS1 and the like.
上記の記述において、現実には、パケット長は、異なり得るが、全ての入力データパケットが、等しい大きさを有することが一般的に想定される。その場合に、データは等しい大きさのユニットに再配列され得るが、トランスコード方法は、等しいパケット長を簡略化した場合と同じ原理を使用して扱われ得る。 In the above description, in practice, the packet length may vary, but it is generally assumed that all input data packets have equal sizes. In that case, the data may be rearranged into equally sized units, but the transcoding method may be handled using the same principles as simplifying equal packet lengths.
図3に図解するデコード方法は、正しいシーケンス順で受信されたデータパケットに係る。しかしながら、データパケットが、前のシーケンス番号よりも1つだけ増加した高いシーケンス番号を有して受信されるならば、不足パケットが、脱落又は遅延したことが想定され得る。あるいは、パケット順は、タイムスタンプ、又は情報を示す他のいかなる順序によっても示され得る。データパケットが、このようにして不足するならば、受信端での結果として生じる品質劣化を最小限に抑えるために、誤り補正機構が、呼び出され得る。誤り補正機構は、前のデータパケット及び前のデータパケットのデコードから抽出される最新のデコード状態に基づき、誤り補正データを導き出し得る。誤り補正は、実データが利用可能でない時、最も確からしいデータを作成することを試みる周知の手順である。概して誤り補正は、データフォーマットの所定の基準に従って実行され、又は基準が存在しないならば、独自の機構が使用され得る。 The decoding method illustrated in FIG. 3 relates to data packets received in the correct sequence order. However, if a data packet is received with a higher sequence number that is increased by one over the previous sequence number, it can be assumed that the missing packet has been dropped or delayed. Alternatively, the packet order may be indicated by a time stamp or any other order that indicates information. If data packets are missing in this way, an error correction mechanism can be invoked to minimize the resulting quality degradation at the receiving end. The error correction mechanism may derive error correction data based on the previous data packet and the latest decoding state extracted from the decoding of the previous data packet. Error correction is a well-known procedure that attempts to create the most probable data when real data is not available. In general, error correction is performed according to a predetermined standard of the data format, or a unique mechanism can be used if no standard exists.
本発明によれば、データが間違ったシーケンス順で受信される時、誤り補正機構が、呼び出され、かつ不足データパケットが、間違った順序ではあるが、最終的に出て来るならば、誤り補正前の最新のデコード状態が、後で使用されるために保存される。その場合に不足データパケットは、本発明により、保存されたデコード状態に基づきデコードされる。 In accordance with the present invention, when data is received in the wrong sequence order, the error correction mechanism is invoked and if the missing data packets are eventually out in the wrong order, error correction. The previous latest decode state is saved for later use. In that case, the missing data packet is decoded according to the present invention based on the stored decoding state.
図4は、データパケットが間違ったシーケンス順で受信される時の、本発明による代表的なデコード手順を図解する。第1に、データパケットF1は、最新のデコード状態DS0に基づき中間データユニットIF1にデコードされ204、そこで新規なデコード状態DS1が、図3の前述の実施例のように抽出される。しかしながら、次には、前のシーケンス番号1よりも1つだけ増加した高いシーケンス番号3を有するデータパケットF3が来る。受信データパケットF3のシーケンス番号が誤りである、すなわち予期したよりも高いことを検出すると、誤り補正機構400が、前のデコード状態DS1に基づき、中間フォーマットでの誤り補正データ402を導き出し、新規な擬似デコード状態DS2’を抽出するために呼び出される。誤り補正は、デコード状態が実データが利用可能であるか否かに拘らず抽出され得るデコーダ機能であるので、擬似デコード状態DS2’は、他のデコード状態と同様に抽出され得る。
FIG. 4 illustrates an exemplary decoding procedure according to the present invention when data packets are received in the wrong sequence order. First, the data packet F1 is decoded 204 into an intermediate data unit IF1 based on the latest decode state DS0, where a new decode state DS1 is extracted as in the previous embodiment of FIG. However, next comes a data packet F3 with a
次にデータパケットF3は、新規な擬似デコード状態DS2’に基づき中間データユニットIF3にデコードされる204。更に、前のデコード状態DS1は、トランスコーダユニット200内のメモリ212に保存される。新規なデコード状態DS3も、図示されていないが、次のシーケンス順のデータパケットをデコードする時に、後で使用するためにデータパケットF3のデコード204から抽出される。
The data packet F3 is then decoded 204 into the intermediate data unit IF3 based on the new pseudo decode state DS2 '. Further, the previous decoding state DS1 is stored in the
この実施例において、不足データパケットF2は、次に受信され、保存された前のデコード状態DS1に基づき、中間データユニットIF2にデコードされ得る204。使用された、保存されたデコード状態DS1は、その後にトランスコーダユニット200内のメモリ212から削除され得る。最後に、復元された中間データユニットIF2は、先に導き出された誤り補正データ402に取って代わり、IF1及びIF3の間に正しいシーケンス順で挿入される。しかしながら、不足データパケットF2が、例えば事前設定した時限内に受信されないなら、中間フォーマット208のデータが、トランスコーダユニット200内の第2フォーマットF’にエンコードされるとき206、誤り補正データ402が、有効なままであり得る。
In this example, the missing data packet F2 may then be decoded 204 into the intermediate data unit IF2 based on the previous decode state DS1 received and stored. The stored decode state DS1 used can then be deleted from the
このようにして、第1フォーマットFでの1つ以上のデータユニットが、間違った順序でトランスコーダで受信されたとしても、有効にデコードされた中間データユニット300は、第2フォーマットF’に再度エンコードされる前に正しいシーケンス順で配置され得る。更に、この手順は、可能な限り高い品質を維持しながら、最小限の遅延で行われる。
In this way, even if one or more data units in the first format F are received by the transcoder in the wrong order, the effectively decoded
以上に記載した図4の実施例は、シーケンス外で受信される1つのデータパケットに関係した。複数のデータパケットが、複数の保存されたデコード状態を使用して、シーケンス外で受信されるならば、対応する手順が行われ得る。更に、保存されたデコード状態は、事前設定した時限に使用されないままであったならば、メモリ212から削除され得る。事前設定した削除時限は、時間が経てば変化する間違ったシーケンス順のデータパケット数などのデータフロー特性次第で更に設定可能であるか、適応性を有している。あるいは、同時に保存されるデコード状態数は、データフロー特性次第で同様に設定可能であるか、適応性を有している事前設定された閾値により最大にされ得る。保存されたデコード状態数が、事前設定された閾値に達したならば、個々の保存されたデコード状態をメモリ212から削除するために、機構が起動され得る。
The embodiment of FIG. 4 described above related to one data packet received out of sequence. If multiple data packets are received out of sequence using multiple stored decode states, a corresponding procedure can be performed. In addition, the saved decode state can be deleted from the
デコード操作204後に、中間データユニット300は、エンコード操作206に入力されるデータ208の連続ストリームに配置される。図2参照。次にトランスコーダユニット200は、データの利用可能性次第で、新規な第2コード体系又はフォーマットF’に従ってパケット、フレーム又はブロックのような新規なデータユニット、すなわち所定サイズのデータ部分に、中間データ208をエンコードする。中間データ208が、現在利用可能でないならば、エンコード方法は、利用可能になるまで単に延期され得る。第2フォーマットF’での新規なデータユニットは、最終的に、伝送路内の次のノードに伝送される。
After the
図5は、前のデコード操作204からの中間データユニットIF1、IF2、IF3...を含む中間データストリーム208のための本発明によるエンコード手順を図解する。第1に、中間データが受信され、第2フォーマットF’にエンコードされるために、必要ならば、新規な中間データセグメントS1、S2、S3...500に配置され得る。図中、垂直な破線によって示される新規な中間データセグメント500の大きさは、この実施例において、デコード操作204に由来する中間データユニット300の大きさと異なる。次に各新規な中間データセグメント又はユニット500は、前のエンコード操作から抽出される現在のエンコード状態ES 502に基づき、第2フォーマットF’の新規なデータユニット506にエンコードされる206。エンコード状態は、実データ以外に、実行されるエンコード操作から抽出され、かつデータをエンコードするために使用される変数又はパラメータを含む。
FIG. 5 shows the intermediate data units IF1, IF2, IF3. . . FIG. 2 illustrates an encoding procedure according to the invention for an
このようにして、中間データセグメントS1は、図示されない、前にエンコードされた新規なデータパケットから抽出される最後のエンコード状態ES0に基づき、新規なデータユニットF’1にエンコードされる206。エンコード状態ES0を使用した後、新規なエンコード状態ES1が、F’1の最新のエンコードから抽出される。次の中間データセグメント又はユニットS2は、次に、最後のデコード状態DS1等に基づき、F’2にエンコードされる206。 In this way, the intermediate data segment S1 is encoded 206 into a new data unit F'1 based on the last encoding state ES0 extracted from a previously encoded new data packet, not shown. After using the encoding state ES0, a new encoding state ES1 is extracted from the latest encoding of F'1. The next intermediate data segment or unit S2 is then encoded 206 to F'2 based on the last decoding state DS1 and the like.
正しいシーケンス順の入力データパケット又はユニットが利用できなかった時、中間データユニット300は、「良好なデータ」が入力データパケット又はユニットのペイロードから直接作成され、かつ「誤り補正データ」が誤り補正機構400を使用することにより、最新のデコード状態から導き出されるように、それらの内容の性質に従って分類され得る。図5の実施例において、IF1及びIF2は「良好なデータ」を含み、一方でIF3は、斜線で示す図中の「誤り補正データ」を含む。従って、セグメントS1及びS2は、「良好なデータ」のみを含むが、セグメントS3及びS4は、中間データユニット300と中間データセグメント500との大きさの違いによる結果として、「良好なデータ」及び「誤り補正データ」の両方を含む。
When an input data packet or unit in the correct sequence order is not available, the
本発明の一局面によれば、中間データセグメント500は、データの分類次第で異なって処理され得る。このようにして、セグメント500が、少なくとも幾つかの「良好なデータ」を含むならば、セグメントは、エンコードされ、新規なエンコード状態がそれに応じて抽出される。図5に示す全てのセグメントS1−S4に関して、このことが当てはまる。
According to one aspect of the present invention, the
しかしながら、セグメント全体が、「良好なデータ」を含まないならば、すなわち「誤り補正データ」のみを含むならば、セグメントは、単に破棄され、少なくとも部分的に「良好なデータ」から抽出される最新のエンコード状態が、保存される。このことは、図6aに図解され、そこにおいて「良好なデータ」を含むセグメントS1は、新規なデータユニットF’1にエンコードされ、新規なエンコード状態ES1が抽出される。次のセグメントS2は、「誤り補正データ」を含み、かつ「良好なデータ」を含まず、このことは図中の斜線によって示されるが、従って破棄される600。1つの新規なデータユニットがその結果、失われたと考えられる。最新のエンコード状態ES1は、不足データが最終的に到着するならば、後で使用するために保存される。 However, if the entire segment does not contain “good data”, ie only “error correction data”, the segment is simply discarded and at least partially extracted from “good data” The encoding state of is saved. This is illustrated in FIG. 6a, where segment S1 containing “good data” is encoded into a new data unit F′1 and a new encoding state ES1 is extracted. The next segment S2 contains "error correction data" and does not contain "good data", which is indicated by the hatched lines in the figure but is therefore discarded 600. One new data unit is its As a result, it is considered lost. The latest encoding state ES1 is saved for later use if the missing data eventually arrives.
図6bを参照して、「良好なデータ」を含むセグメントS1は、新規なデータユニットF’1にエンコードされ、ちょうど図6aの実施例のように、新規なエンコード状態ES1が抽出される。次に到着するセグメントS2は、「誤り補正データ」を含み、かつ「良好なデータ」を含まず、図中の斜線によって再び示される。他の実施態様によれば、セグメントS2は、利用可能な誤り補正データに基づき、擬似データユニット602に最初にエンコードされ、それは次に破棄される600。この場合、新規な擬似エンコード状態ES2’は、図示されていないが、S2のエンコードから抽出され、次のセグメントをエンコードするために使用される。この実施例において、不足データは最終的に、先に保存されたエンコード状態ES1に基づき、新規な有効データユニットF’2にエンコードされ、セグメントS4により遅く到着する。セグメントS1−S4のシーケンス順は、説明する目的で中間データストリームの分割から選択され、かつ実データのシーケンス順と混同されるべきでないことが注目されるべきである。このようにして、この実施例において、セグメントS4は、セグメントS2に含まれるべきであったデータを含む。
Referring to FIG. 6b, the segment S1 containing “good data” is encoded into a new data unit F′1, and a new encoding state ES1 is extracted, just as in the embodiment of FIG. 6a. The next arriving segment S2 includes “error correction data” and does not include “good data”, and is again indicated by the diagonal lines in the figure. According to another embodiment, segment S2 is first encoded into
次に復元された新規なデータユニットF’2は、伝送路内の次のノードに伝送され得る。更に、最終受信機は、多くの場合、デコードする前に正しいデータユニット順を復元することが可能なので、F’2を間違ったシーケンス位置、この場合F’3の後に送信することが可能である。 The restored new data unit F'2 can then be transmitted to the next node in the transmission path. In addition, the final receiver can often restore the correct data unit order before decoding, so it is possible to send F′2 after the wrong sequence position, in this case F′3. .
図6bに関連した上記に記載の手順は、複数の保存されたエンコード状態を使用して、シーケンス外に到着する複数のセグメントに対しても実行され得る。その上、複数のデコード状態を保存するための上記に記載されたものと同じ機構が、複数のエンコード状態を保存するためにも、一般的に適用され得る。 The procedure described above in connection with FIG. 6b may also be performed for multiple segments arriving out of sequence using multiple stored encoding states. Moreover, the same mechanism as described above for storing multiple decode states can be generally applied to store multiple encode states.
以上に記載した実施例は、第1フォーマットから中間フォーマットへの受信データを最初にデコードし、次に伝送のために、中間データを第2フォーマットにエンコードする2つの別個の操作を含む。しかしながら、本発明は、中間フォーマットを使用せずに、第1フォーマットの入力データを、直接第2フォーマットへ再コード化するためにも使用され得る。 The embodiment described above includes two separate operations that first decode the received data from the first format to the intermediate format and then encode the intermediate data to the second format for transmission. However, the present invention can also be used to re-encode input data in the first format directly into the second format without using an intermediate format.
図7は、データユニットが間違ったシーケンス順で受信される時の、再コード化、又はトランスコード手順の本発明による最も一般的な場合を図解する。一般的に、F1、F2、F3...は、第1フォーマットFを有する入力データユニット700を示す。データユニット700は、第2フォーマットF’を有する、図中で一般的にF’1、F’2、F’3...と示される、新規なデータユニット704に操作702において別個にコード化される。「コード化」という表現は、デコード、トランスコード又はエンコードのいずれかを示すためにここでは使用される。各入力データユニット700をコード化する時、一連の現在履歴コード化状態CS706として図7に示される前のコード化結果からの情報が使用される。
FIG. 7 illustrates the most common case according to the invention of a recoding or transcoding procedure when data units are received in the wrong sequence order. In general, F1, F2, F3. . . Shows an
このようにして、第1フォーマットFのデータユニットF1は、現在コード化状態CS0に基づき、第2フォーマットF’の新規なデータユニットF’1にコード化され702、そこにおいて新規なコード化状態CS1が抽出される。次に受信されるデータユニットF3は、前のシーケンス番号1より1つだけ増加した高いシーケンス番号3を含む。受信データユニットF3のシーケンス番号が予期したよりも高いことを検出すると、第2フォーマットF’の擬似データ708が、新規な擬似コード化状態CS2’を抽出するために現在のコード化状態CS1に基づき作成される。次にデータユニットF3は、擬似コード化状態CS2’に基づき、新規なデータユニットF’3にコード化される702。更に、前のコード化状態CS1が、メモリ212に保存される。新規なコード化状態CS3もデータユニットF3のコード化702から新規なデータユニットF’3に抽出される。
In this way, the data unit F1 in the first format F is encoded 702 into a new data unit F′1 in the second format F ′ based on the current coding state CS0, where the new coding state CS1. Is extracted. The next received data unit F3 includes a
不足データユニットF2は、次に受信され、保存された前のコード化状態CS1に基づき、新規なデータユニットF’2にコード化され得る702。使用された、保存されたコード化状態CS1は、その後にメモリ212から削除され得る。最後に、復元されたデータユニットF’2は、有効なデータとして使用され、先に作成された擬似データ708は、破棄される。しかしながら、不足データユニットF2が、事前設定された時限内に受信されないならば、擬似データ708は、その実施次第で、有効データとして使用され得るか、又は破棄され得る。
The missing data unit F2 may then be encoded 702 to a new data unit F'2 based on the previous encoding state CS1 received and stored. The stored coded state CS1 used can then be deleted from the
以上に記載したような本発明を使用することにより、伝送データの高品質を維持しながら、トランスコーダ内の遅延は、最小限に抑えられ、かつジッタバッファの必要性は、除去される。具体的には、間違ったシーケンス順で到着するデータユニットは、本発明により、遅く到着するデータを復元することによって補償される。本発明は、音声トランスコードに使用されることを第1に目指すが、例えばファックストランスコード、モデムデータ又はパケットに基づくビデオ信号にも使用され得る。 By using the present invention as described above, the delay in the transcoder is minimized while maintaining the high quality of the transmission data, and the need for a jitter buffer is eliminated. Specifically, data units that arrive in the wrong sequence order are compensated by recovering late-arriving data according to the present invention. The present invention is primarily intended to be used for voice transcoding, but can also be used for video signals based on, for example, fax transcoding, modem data or packets.
発明の方法は、トランスコーダユニット200内のコンピュータに直接ロード可能な、又はコンピュータの使用可能な媒体に記憶されるコンピュータプログラム製品内に含まれるソフトウェアコードにおいて実施され得る。
The inventive method may be implemented in software code contained within a computer program product that can be loaded directly into a computer within the
本発明は、特定の代表的な実施態様を参照して記載されたが、記載は、発明の概念を説明することのみが意図されており、かつ本発明の範囲を限定するように取られるべきでない。種々の代替物、修正及び同等物が、添付の特許請求の範囲によって定義される、本発明の精神から逸脱することなく使用され得る。 Although the invention has been described with reference to specific exemplary embodiments, the description is only intended to illustrate the inventive concept and should be taken to limit the scope of the invention Not. Various alternatives, modifications and equivalents may be used without departing from the spirit of the invention as defined by the appended claims.
100 送信機
102 最終受信機
200 トランスコーダユニット
202 データユニット
204 コード化
206 コード化
208 中間データ
300 データユニット
302 コード化状態
402 誤り補正データ
500 データユニット
502 コード化状態
506 データユニット
700 データユニット
702 コード化
704 データユニット
706 コード化状態
CS2’ 擬似コード化状態
DS1 現在のデコード状態
DS2’ 擬似コード化状態
ES2’ 擬似コード化状態
F 第1フォーマット
F’ 第2フォーマット
F2 不足データ
F’2 コード化された不足データ
F3 受信データユニット
IF 中間フォーマット
IF2 コード化された不足データ
S3 受信データユニット
S4 不足データ
100
Claims (18)
‐B)前にコード化されたデータユニットのコード化結果から抽出された現在のコード化状態(302、502、706)に基づき、第2フォーマット(IF、F’)で、前記受信データユニット(202、500、700)を新規なデータユニット(300、506、704)にコード化する(204、206、702)ステップと、
‐C)データユニット(202、500、700)がコード化される度に、新規な現在のコード化状態(302、502、706)を抽出するステップと、を含む送信機(100)と最終受信機(102)の間の伝送路内で通信データをトランスコードする方法であって、
‐D)受信データが間違ったシーケンス順にあるかを検出するステップと、間違ったシーケンス順にあるならば、
‐E)前記前のコード化データから抽出されたコード化状態(302、502、706)を保存し、次の受信データユニット(202、500、700)をコード化するために新規な擬似コード化状態(DS2’、ES2’、CS2’)を抽出するステップと、を有することを特徴とする方法。-A) receiving a data unit (202, 500, 700) containing coded information in a first format (F, IF);
-B) based on the current coding state (302, 502, 706) extracted from the coding result of the previously coded data unit , in the second format (IF, F '), the received data unit ( 202, 500, 700) are encoded (204, 206, 702) into new data units (300, 506, 704);
-C) Extracting a new current coding state (302, 502, 706) each time a data unit (202, 500, 700) is coded, transmitter (100) and final reception A method for transcoding communication data in a transmission path between the machines (102),
-D) detecting whether the received data is in the wrong sequence order, and if it is in the wrong sequence order,
E) A new pseudo-coding to store the coding state (302, 502, 706) extracted from the previous coding data and to code the next received data unit (202, 500, 700) Extracting the state (DS2 ′, ES2 ′, CS2 ′).
‐G)前記不足データ(F2、S4)を、前記保存されたコード化状態(302、502、706)に基づき、前記第2フォーマット(IF、F’)にコード化するステップと、
‐H)前記コード化された不足データ(IF2、F’2)を、有効データとして使用するステップと、を有することを特徴とする請求項1に記載の方法。-F) receiving the deficient data (F2, S4);
-G) encoding the missing data (F2, S4) into the second format (IF, F ') based on the stored encoding state (302, 502, 706);
-H) using the encoded missing data (IF2, F'2) as valid data.
‐B)前にコード化されたデータユニットのコード化結果から抽出された現在のコード化状態(302、502、706)に基づき、第2フォーマット(IF、F’)で、前記受信データユニット(202、500、700)を新規なデータユニット(300、506、704)にコード化する(204、206、702)手段と、-B) based on the current coding state (302, 502, 706) extracted from the coding result of the previously coded data unit, in the second format (IF, F '), the received data unit ( 202, 500, 700) to (204, 206, 702) encoding the new data unit (300, 506, 704);
‐C)データユニット(202、500、700)がコード化される度に、新規な現在のコード化状態(302、502、706)を抽出する手段と、を含む送信機(100)と最終受信機(102)の間の伝送路内で通信データをトランスコードするトランスコーダユニット(200)であって、C) means for extracting a new current coding state (302, 502, 706) each time a data unit (202, 500, 700) is coded, and a transmitter (100) and final reception A transcoder unit (200) for transcoding communication data in a transmission path between the machines (102),
‐D)受信データが間違ったシーケンス順にあるかを検出する手段と、間違ったシーケンス順にあるならば、-D) means for detecting whether the received data is in the wrong sequence order, and if it is in the wrong sequence order,
‐E)前記前のコード化データから抽出されたコード化状態(302、502、706)を保存し、次の受信データユニット(202、500、700)をコード化するために新規な擬似コード化状態(DS2’、ES2’、CS2’)を抽出する手段と、E) A new pseudo-coding to store the coding state (302, 502, 706) extracted from the previous coding data and to code the next received data unit (202, 500, 700) Means for extracting the states (DS2 ′, ES2 ′, CS2 ′);
を備えるトランスコーダユニット(200)。A transcoder unit (200) comprising:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0101193A SE0101193D0 (en) | 2001-04-03 | 2001-04-03 | A method to compensate for disordered media packets in a packet-to-packet based media transcoder system |
SE0102667A SE523417C2 (en) | 2001-04-03 | 2001-08-07 | A method and apparatus for transmitting data packets in communication networks |
PCT/SE2002/000590 WO2002082755A1 (en) | 2001-04-03 | 2002-03-25 | A method and apparatus for transferring data packets in communicaiton networks |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004530357A JP2004530357A (en) | 2004-09-30 |
JP4043952B2 true JP4043952B2 (en) | 2008-02-06 |
Family
ID=26655434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002580586A Expired - Fee Related JP4043952B2 (en) | 2001-04-03 | 2002-03-25 | Method and apparatus for transferring data packet in communication network |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP1391091A1 (en) |
JP (1) | JP4043952B2 (en) |
KR (1) | KR20040014483A (en) |
CA (1) | CA2443079A1 (en) |
SE (1) | SE523417C2 (en) |
WO (1) | WO2002082755A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1832079B1 (en) * | 2004-12-24 | 2015-04-01 | Telecom Italia S.p.A. | Media transcoding in multimedia delivery services |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5745524A (en) * | 1996-01-26 | 1998-04-28 | Motorola, Inc. | Self-initialized coder and method thereof |
US6975629B2 (en) * | 2000-03-22 | 2005-12-13 | Texas Instruments Incorporated | Processing packets based on deadline intervals |
-
2001
- 2001-08-07 SE SE0102667A patent/SE523417C2/en unknown
-
2002
- 2002-03-25 WO PCT/SE2002/000590 patent/WO2002082755A1/en active Application Filing
- 2002-03-25 KR KR10-2003-7013042A patent/KR20040014483A/en not_active Ceased
- 2002-03-25 JP JP2002580586A patent/JP4043952B2/en not_active Expired - Fee Related
- 2002-03-25 EP EP02718728A patent/EP1391091A1/en not_active Withdrawn
- 2002-03-25 CA CA002443079A patent/CA2443079A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
SE523417C2 (en) | 2004-04-20 |
SE0102667D0 (en) | 2001-08-07 |
EP1391091A1 (en) | 2004-02-25 |
SE0102667L (en) | 2002-10-04 |
KR20040014483A (en) | 2004-02-14 |
JP2004530357A (en) | 2004-09-30 |
CA2443079A1 (en) | 2002-10-17 |
WO2002082755A1 (en) | 2002-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7301928B2 (en) | Wireless packet transfer apparatus and method | |
US6498865B1 (en) | Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network | |
US6151636A (en) | Data and media communication through a lossy channel using signal conversion | |
EP1797661B1 (en) | Assembling forward error correction frames | |
US8837605B2 (en) | Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay | |
US20020041629A1 (en) | Video error resilience | |
US20100172408A1 (en) | Apparatus and Method for Coding an Information Signal into a Data Stream, Converting the Data Stream and Decoding the Data Stream | |
US20060291475A1 (en) | Selective forward error correction | |
JP2013009409A (en) | Video coding method | |
US7450593B2 (en) | Clock difference compensation for a network | |
US20050063473A1 (en) | Method and apparatus for transmitting and receiving coded packet and program therefor | |
US7773633B2 (en) | Apparatus and method of processing bitstream of embedded codec which is received in units of packets | |
US6735195B1 (en) | Apparatus and method of minimizing delay of transmissions over a network | |
JP4043952B2 (en) | Method and apparatus for transferring data packet in communication network | |
Masala et al. | Rate-distortion optimized slicing, packetization and coding for error resilient video transmission | |
JP2000307637A (en) | Multimedia terminal device and inter-network connecting device | |
JP2002064472A (en) | Communication system, transmitter, and method of preventing transmission error | |
US20040122680A1 (en) | Method and apparatus for providing coder independent packet replacement | |
JP4400571B2 (en) | Coding data processing method and gateway device in connection between different types of communication networks | |
EP1813045B1 (en) | Methods and devices for providing protection in packet switched communication networks | |
JP2002141944A (en) | Data transmission system and data transmission method, and program storage medium | |
JP2009111838A (en) | Voice data transmission apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071114 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |