[go: up one dir, main page]

JP3668742B2 - Gateway device and communication system using the same - Google Patents

Gateway device and communication system using the same Download PDF

Info

Publication number
JP3668742B2
JP3668742B2 JP31820096A JP31820096A JP3668742B2 JP 3668742 B2 JP3668742 B2 JP 3668742B2 JP 31820096 A JP31820096 A JP 31820096A JP 31820096 A JP31820096 A JP 31820096A JP 3668742 B2 JP3668742 B2 JP 3668742B2
Authority
JP
Japan
Prior art keywords
network
transcodec
internet
band
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31820096A
Other languages
Japanese (ja)
Other versions
JPH10164143A (en
Inventor
到 三村
徹 瀬戸山
達也 亀山
敏明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP31820096A priority Critical patent/JP3668742B2/en
Publication of JPH10164143A publication Critical patent/JPH10164143A/en
Application granted granted Critical
Publication of JP3668742B2 publication Critical patent/JP3668742B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Communication Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、異種の通信ネットワーク同士を接続した通信システムおよびそれらのネットワーク間を接続するゲートウェイ装置に関する。
【0002】
【従来の技術】
従来の技術として、ケーブルテレビとインタネットの2つのネットワークと、画像信号の伝送帯域を変換するためのトランスコーデックについて以下に説明する。
【0003】
ケーブルテレビ(CATV:CAble TeleVision)システムにおけるサービスのひとつに、ビデオオンデマンドというサービスがある。ビデオオンデマンド(以下VODと略記:Video On Demand)とは、MPEG2(Moving Picture Experts Group 2)のようなデジタル画像圧縮技術を使って圧縮した映像信号を、デジタル信号を記録可能な記憶媒体に格納しておき、CATV加入者の端末(セットトップボックス、以下STBと略記)からの送信要求に応じて、VODサーバが記憶媒体から映像信号を読み出して送信するサービスである。MPEG2は国際標準化機構/国際電気標準会議(ISO/IEC:International Organization for Standardization / International Electrotechnical Commission) 13818に標準化勧告されている。
【0004】
VODサービスを提供するシステムでは、上記のように映像信号をデジタル圧縮した形式で送信するため、デジタル信号を伝送可能な通信回線を使用している。具体的には、ハイブリッド・ファイバー/コアクシカル・ケーブル(HFC:Hybrid Fiber Coaxial Cable)回線や光非同期転送モード(ATM:Asynchronous Transfer Mode)回線などが現在実用に供している。
【0005】
CATVシステムはその名の通りテレビシステムであり、加入者には高画質の映像をサービスすることが必要である。そこで、CATVネットワークは、映像信号データを確実に伝送するために伝送帯域等によって決まるサービスの品質(QoS:Quality of Service)を完全に保証した、ギャランティー型のネットワーク構成を用いている。
【0006】
一方、現在ではインタネットプロトコルを使用したいわゆるインタネットと呼ばれるコンピュータ通信が急速に普及しており、企業や家庭において手軽にインタネットに接続された情報サーバにアクセスすることが可能になってきている。
【0007】
最近のインタネットでは、テキスト情報、静止画像情報等を提供するのに加えて映像情報を提供するようなサービスも出現し始めている。
【0008】
ところが、インタネットは元来コンピュータ通信を主要サービスとして開発されてきたシステムであるため、リアルタイム性が要求される画像通信では種々の問題が生じる事が明らかになってきた。
【0009】
これらの問題点は、インタネットにおいては通信時に最大限確保可能な伝送品質(帯域幅、エラー率)提供するのみで、QoSを保証しないことに一因がある。インタネットは、このようなネットワーク特性ゆえにベストエフォート型のネットワークと呼ばれている。このベストエフォート型のネットワークでは、例えばネットワーク内部の中継ノードの何れかの部分に通信トラフィックが集中するとそのノードではデータパケットを処理しきれずにパケットの廃棄が発生する。
【0010】
通常のコンピュータ通信で行われるデータのやりとりでは、受信端末に正しくデータが到達しない場合には、受信端末がその未到着のパケットに対する再送信の要求信号を発し、再度データを正しく受信するよう動作を行なう事ができるため、パケットが破棄されても実質上の問題はない。
【0011】
ところが画像通信のように信号配送タイミング・時間の連続性に対する要求の厳しい通信においては、上記再送メカニズムは有効に機能しない。なぜならば、中継ノードにおいてパケット廃棄が発生した場合、パケット再送を行ったとしても、リアルタイムで受信再生を行うような場合には再送データの到着が間に合わず、画面のフリーズ、駒落ち等の画質劣化が発生することになるからである。
【0012】
そこでインタネットにおいては、時間の連続性に対する要求の厳しい通信のために、インタネット関連の技術開発を推進しているIETF(Internet Engineering Task Force)においてResource Reservation と呼ばれる通信プロトコル(以下、RSVP)の開発を行っている。この技術については Internet Draft Resource Reservation Protocol (RSVP) Version 1 Functional Specification August 12, 1996に開示されている。
【0013】
RSVPでは、目的とする通信を開始する前に、データを受信しようとする端末(PC等)がネットワークに対して希望する信号伝送帯域を要求する(リザベーション)。するとネットワーク内部にある中継ノード(ルータ等)は提供可能な伝送帯域を決定しその予約帯域を次の中継ノードにリレーする。この手順をくり返し実行し、最終的には目的とするサーバにまでこの予約帯域を伝送する。こうして総ての中継ノード間に帯域が確保されると、サーバは受信要求を発した端末に確保できた帯域情報を返送し、これにより受信要求端末、ネットワーク、サーバの間に利用可能な信号伝送帯域が設定される。この設定手順を経た後、端末とサーバは確保された伝送帯域を用いて信号の送受信を行うことができる。
【0014】
ところで、伝送信号帯域の異なる伝送路に対して画像信号を送出するために画像信号の符号量を変換するトランスコーデックと呼ばれる技術がある。トランスコーデックに関連する技術は、特開平7−59091号公報、特開平8−84339号公報、特開平8−251587号公報、特開平8−508378号公報などに記載されている。これらのトランスコーデックでは、入力される画像信号のデータ(ビット列)を、符号化した時の逆の手法(例えば離散コサイン変換と逆離散コサイン変換など)により元の信号に復号し、復号信号の係数等を打ち切ったり、量子化幅を変更することで符号量を変換しているものである。
【0015】
【発明が解決しようとする課題】
従来の技術で述べたCATVネットワークにおいては、VODサーバは、配信するCATV回線の1チャンネルの信号伝送帯域幅が予め確保されておりかつその帯域幅に変化がないため、固定の信号速度でデータを配信するように構成されている。そのためVODサーバが扱うコンテンツの記録レートは、そのコンテンツをサーバに格納する際に決定したものであり、映像信号送出時には変更することができない。上記の理由により、VODサーバをインタネットのような使用可能帯域が常時変化するようなベストエフォート型のネットワークにつなぐことは困難であった。また従来の技術で述べたトランスコーデックは、ある伝送帯域から別の伝送帯域へ画像信号を送出する際の符号量の変換手法について開示されているのみであり、ベストエフォート型のネットワークのように利用可能な帯域が時々刻々と変化するようなネットワークに対応することはできなかった。
【0016】
本発明は上記課題を解決するためになされたもので、その目的は、ベストエフォート型のネットワークへ他のネットワークから信号の劣化を最小限にして送信することができるゲートウェイ装置およびそれを用いた通信システムを提供することにある。
【0017】
【課題を解決するための手段】
上記課題を解決するために、本発明のゲートウェイ装置は、帯域予約プロトコル処理部と、デジタル信号の符号量の変換を行なうトランスコーデックと、トランスコーデックを制御する制御部とを備える。帯域予約プロトコルから帯域の情報を得てトランスコーデックの符号変換量を制御する。この時、制御部は、人間の視覚特性を考慮して符号変換量を適応的に制御する。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態を図1ないし図5を用いて説明する。
図1は本発明のシステム構成を示す図である。本システムでは、ゲートウェイ装置1は、CATVシステム19とインタネット15との間に設置される装置であり、CATVとインタネットの双方に接続される。
【0019】
インタネット15には、図には3台しか示していないがパーソナルコンピュータ(PC)等の端末が複数接続されている。この構成において、インタネットに接続された端末18からゲートウェイ装置1に向けて画像のアクセス要求信号S1を発された場合について説明する。
【0020】
アクセス要求信号S1はゲートウェイ装置1により処理され、この要求はCATVのVODシステム10の制御信号に変換される。要求を受信したVODシステム10は、CATVネットワーク11内部の経路を設定し、ゲートウェイ装置1に向けて映像信号の送出を開始する。ゲートウェイ装置1は、VODシステム10から受信した映像信号に対し所定のプロトコル変換、伝送速度変換を実施してインタネット側に映像信号を送出する。大まかには以上の手順によりインタネット端末18は、CATVシステム19のVODサーバ10からの映像信号を受信し、利用することが可能となる。
【0021】
図2は図1に示したゲートウェイ装置1の構成を示す図である。本ゲートウェイ装置1は、VODシステム10からの映像信号の符号量を変換するトランスコーデック部2と、トランスコーデック部2の送出符号量の制御等を行う制御部3と、インタネットのRSVP対応の処理やインタネットからのVODシステム10に対するアクセス要求をVODシステムのプロトコルに変換するプロトコル処理部4とから構成される。またこのゲートウェイ装置1は、インタネットと信号の入出力を行うポート5、VODシステム10に対する制御信号を入出力するポート6、およびVODシステムからの映像信号を入力するためのポート7を備えている。
【0022】
次にゲートウェイ装置1の各構成要素の動作を説明する。なお以下の説明では、VODシステムを含む画像通信システムにおいて標準として広く用いられており一般的な画像信号フォーマットであるMPEG信号を例にとり説明を行う。ゲートウェイ装置1のトランスコーデック部2はVODシステム10からMPEG映像信号(トランスポートストリーム、プログラムストリーム、もしくはエレメンタリストリーム)を受け、この信号の符号量を変換して出力する機能を有する。符号量の変換方式は、例えば特開平7−59091に技術開示されたような手法を用いることができる。なお、トランスコーデックを実現するには上記開示技術以外の方法も利用することができる。トランスコーデック部2の入力、出力はともに圧縮された画像信号であっても、入力が圧縮された画像信号で出力が非圧縮の画像信号であってもよい。また、入力は非圧縮の画像信号であって出力が圧縮された画像信号であってもかまわない。但し、非圧縮の信号の送信・受信では確保された信号伝送帯域を有効に活用できないので、入出力とも圧縮画像信号であることが回線使用効率上優れていることはいうまでもない。
【0023】
次にプロトコル処理部4の動作を説明する。このプロトコル処理部4はインタネットに対するインタフェース、トランスコーデック部2に対するインタフェース、及び制御装置3に対するインタフェースを有している。このプロトコル処理部4のインタネット側のプロトコルは例えばイーサーネットによるTCP/IP(Transport Control Protocol/Internet Protocol)やIP over ATM(Request For Comments/RFC1483)といったインタネットプロトコルである。このインタフェースにはインタネットプロトコルに準拠したパケットが入力される。このパケットには前記のRSVPメッセージや、VODシステム10のアクセス要求メッセージ等が含まれる。一方制御装置3からのメッセージとしてはアクセス要求に対するVODシステム10の肯定応答メッセージ(ACK)やエラーメッセージなどが含まれる。また、トランスコーデック部2からはMPEG映像信号のパケットが入力される。このプロトコル処理部4はインタネットからのRSVPメッセージ(リザーブ)に対しては、構成応答メッセージを返信する。またこの時、プロトコル処理部4は予約された帯域幅の情報をプロトコル変換した後、制御部3に送信する。インタネット端末18からのアクセス要求メッセージに対しては、プロトコルを変換してそのメッセージを制御部3を介してVODシステム10に転送する。インタネットからのアクセス要求メッセージは、例えばHTML(HyperText Markup Language)等インタネットのブラウザに標準的に実装された言語により記述されている。一方VODシステム10の制御プロトコルとしてはISO/IECにより規格化されているDSM−CC(Digital Strage Media Command and Control)が一般的に利用されているので、このプロトコル処理部はHTMLからDSM−CCにメッセージ翻訳を行う。逆にVODシステム10からのACKに対しては、DSM−CCからHTMLへの翻訳を行ってから送信する。
【0024】
図1に示したVODシステム10は、プロトコル処理部により変換されたDSM−CCによるアクセス要求メッセージに応じてCATVネットワーク11の映像信号配信経路の確立、及び図示していないがVODサーバの起動を行う。これによりサーバの記憶媒体に格納されたMPEG映像信号が出力され、図2のゲートウェイ装置1のトランスコーデック部2に入力される。トランスコーデック部2は入力されたMPEG映像信号の帯域を変換して、プロトコル処理部4にその信号を入力する。このMPEG映像信号に対しプロトコル処理部4は、IPパケットへのカプセル化を実行する。ここでカプセル化とは、IPパケットのフォーマットでのMPEG信号送信のための変換操作を意味している。なおMPEG映像信号をIPパケットにカプセル化する手法はIETFが発行したRFC(Request for Comment)2038:RTP Payload Format for MPEG1/MPEG2 Video等により開示された技術を用いることができる。
【0025】
以上説明したように本発明は、インタネットからのRSVPメッセージを解釈しそのメッセージに応答するプロトコル処理部4と、予約された帯域に応じてトランスコーデックを制御し、かつVODシステム10に対してはシステム起動のメッセージを送信するような制御部3を設け、RSVPメッセージに基づいてトランスコーデック部を制御するようにして、インタネットのようなベストエフォート型のネットワークへVODシステムの映像信号の送出を可能にしたものである。
【0026】
次に、ゲートウェイ装置の動作フローを説明する。
【0027】
図3は、本発明のゲートウェイ装置の動作フローを説明する図である。
【0028】
インタネット端末18からのVODシステムアクセス要求があると、インタネット端末に実装されたRSVPは必要とする帯域を予約するため一番身近にある接続ノード(デフォルトゲートウェイ)に最終目的のサーバのアドレスと帯域要求信号(リザーブ)を送信する(S302)。このノードにおいて要求帯域が確保可能な場合は、さらに最終目的地までのパス上にある次のノードに向けて目的地アドレスとリザーブメッセージを中継する。このようにノードからノードへ確保したい帯域と最終アドレスを伝搬させていき、ネットワーク内部のQoSを確立していく。最終のサーバ(本発明においてはゲートウェイがサーバの代理として動作する)に到着したならば、サーバはこの帯域予約要求を受け付け(S303)、それに対する承認信号を送信元の端末(レシーバ)に対して返信する(S304)。プロトコル処理部4は、RSVPの承認信号を送信した後、トランスコーデック部2に対して初期の変換帯域を指定する(S305)。RSVPは所定の時間を経過した後、予約した帯域を更新する動作を行うため、ゲートウェイ装置1においては、更新要求を監視し(S306)、更新する必要がある際は新規に確保する帯域のメッセージを受信(S307)して、それに対する承認信号を返信する(S308)。RSVPの帯域幅が更新された場合はそれに伴いトランスコーデック部の変換帯域を更新する動作を行う。この時、以前に設定されていた帯域と新規に設定した帯域の大小関係を比較して(S309)、その大小関係に応じてトランスコーデック部を制御する(S310,S311)。サービスを継続している間は、S306からS312までの処理手順を繰り返し実行する。
【0029】
図4は、上記の動作をメッセージフローの形式で説明した図である。
【0030】
インタネット端末18からのRSVPリザーブメッセージはノード(本図面では1ヶ所)により中継されゲートウェイのプロトコル処理部に入力される。プロトコル処理部は、このリザーブメッセージに対して肯定応答(ACK)を返信する。インタネットノードはこのACKを中継してインタネット端末に送信する。RSVPリザーブメッセージを受信したプロトコル処理部は、制御部を介してトランスコーデックに対して帯域設定を行う。トランスコーデックはこの帯域設定要求に対し帯域を設定した後ACKを返信する。また、制御部はVODシステムからゲートウェイまでのCATVネットワーク内での伝送経路を設定し、同時にVODシステムに対してVODサーバ起動の為のメッセージを送信する。このサーバ起動信号によりVODサーバはMPEG映像信号の送信を開始する。送信されたMPEG映像信号はトランスコーデックにより信号帯域を変換されインタネットノードに向けて送信され、最終的にはインタネット端末に到着することになる。
【0031】
予約帯域の更新が行われた際には更新信号はインタネットノードを経由してプロトコル処理部に入力される。そして、初期動作と同様に制御部を介してトランスコーデックの帯域を更新し、帯域確保に成功したことを伝えるACKをインタネット端末に向けて返信する。以後、サービスを終了するまで更新から設定までを繰り返し実行する。
【0032】
次に、トランスコーデックの制御について説明する。
図5は、制御部からトランスコーデックを制御する際の制御特性の一例を示した図である。
図の縦軸は信号帯域を、また横軸方向は時間経過を表している。RSVPでは、前にも述べた通り、信号帯域の有効活用と不必要な確保帯域の開放を目的に確保帯域幅を定期的に更新することが定められている。そのため、RSVPにより設定される帯域は時間と共に時折更新され、そのつどトランスコーデック部2の出力帯域幅(以後ターゲット符号量と記す)を制御しなければならない。図5に示した制御特性は、RSVPの確保帯域が変化した際のターゲット符号量の制御特性を示している。図中の実線がRSVPにより確保された帯域、破線がトランスコーデックにおけるターゲット符号量である。
【0033】
本実施の形態ではRSVPで確保した帯域と実際のトランスコーデックの送信帯域との間には差分を持たせて制御する。例えばRSVPにより3Mbit/sの帯域が確保された場合にはターゲット符号量を2.7Mbit/s程度に設定する。このようにターゲット符号量を低く設定する理由については後に述べる。
【0034】
次にRSVPの確保している帯域に変化が生じた場合のターゲット符号量の設定方法を説明する。本実施の形態においては、ターゲット符号量の設定に際して、人間の視覚特性に配慮する。具体的には人間の視覚特性は、急激な画質の変動に対しては検知能力が高く、反対に緩やかな画質変動に対しては極めて鈍感であるといった特性を利用して、RSVPの確保している帯域に変化が生じた場合にも画質変化を視聴者に気づかせないようにトランスコーデック部の帯域制御を行う。
【0035】
このような帯域制御を行わない場合には、映像を視聴するユーザは、RSVP帯域の変動に伴う急激な画質変動を頻繁に検知することになる。この画質変動は映像の不連続感を誘導し、ひいては疲労や違和感につながる。
【0036】
本実施の形態では、このような変動を抑圧するためRSVPの帯域更新時の処理を以下に示す3つのケースに分けてそれぞれ異なる処理を行う。
ケース1:RSVPの帯域更新で確保帯域幅に変化がない場合。
ケース2:RSVPの確保帯域が拡大した場合。
ケース3:RSVPの確保帯域が縮小した場合。
【0037】
以下、それぞれのケースについてターゲット符号量の設定方法を説明する。
ケース1:このケースではターゲット符号量は一切変更しない。
ケース2:この場合がターゲット符号量を徐々に増加させる。但し、初期の設定と同様にRSVPの確保帯域に対しては低めにターゲット符号量を設定する。すなわち、確保された帯域まで急激にターゲット符号量を増加させるのではなく、5段階程度のステップを経て最終的なターゲット符号量まで変化させる。
ケース3:この場合はまず確保された帯域まで一度にターゲット帯域を減少させる。その後、5段階程度のステップを経てさらに少ないターゲット符号量を減少させる。このような制御方法では、RSVPの帯域が変化する前のターゲット符号量は実際に確保されていた帯域より少なく設定してあったため、RSVPの帯域減少幅に比較して減少幅、すなわち画質の変動を少なく抑圧することができ、視覚上の画質変動も少なくすることが可能となる。
【0038】
なお、上記の説明ではターゲット符号量は5段階程度のステップで変更すれば良いと記述したが、この値はあくまで実験的な主観評価により定められる値である。ターゲット符号量を段階的に増加、減少させることの主旨は、一度に全ての変更を行うのではなく複数回に分割して設定することにあり、その回数は2回以上であれば主旨を満足するものである。
【0039】
また、他の視覚特性を利用したターゲット符号量の制御方法考えられる。例えば、(1)動きの不連続さ(フレームもしくはフィールド周波数の変化)に対する検知能力は解像度の変化の検知能力より極めて高い、(2)輝度解像度の変化に対する検知能力は色解像度の変化に対する検知能力より高いといったことがあげられる。これらの視覚特性を考慮してターゲット符号量を制御すれば効果的である。すなわちターゲット符号量を変更する際には、まず色に対する解像度情報を削減してビットレートを減少させ、さらに符号量を削減する場合には輝度解像度の情報を削減すればよい。前記の情報削減を行ってもまだ確保された帯域に適合しない場合は、フレームもしくはフィールド周波数を減少させて符号量を削減するようにすればよい。なお、上述した制御方法を表1にまとめて示す。
【0040】
【表1】

Figure 0003668742
【0041】
上記に説明した制御特性となるようにトランスコーデック部のターゲット符号量を制御することで、インタネットのようなベストエフォート型のネットワークでの利用可能帯域が時々刻々と変動しても、ユーザにその変化を気付かせることを少なく、帯域を適合させていくことが可能となる。
【0042】
なお、本発明の実施例の説明では主にインタネットプロトコルを例に説明を行なったが、本発明はベストエフォート型のネットワークにおいて帯域予約プロトコルとトランスコーデックを使用し、適応的に帯域制御を行いながら固定回線対応のVODシステムを活用するといったことにあり、特にインタネットのみに限定されるものではない。企業内LAN(Local Area Network)等のネットワークに固定回線対応のVODシステムを接続する際にも効果があることは言うまでもない。さらに、本発明の実施例の説明では、画像と音声を伴った映像通信を中心に説明を行なったが、本発明のゲートウェイ装置はデジタル電話装置などの音声のみのアプリケーションにも適用できる。この場合、トランスコーデック装置は音声の符号量の変換を、インタネットのRSVPプロトコルにより適応的に制御するように動作する。
【0043】
以上実施の形態において説明したように、RSVPとトランスコーデック装置、およびトランスコーデック装置を制御する制御手段を用いることにより帯域保証されたネットワークにしか対応しないVODサーバ装置からの映像信号をインタネット等のベストエフォート型のネットワークに向けて送信できるようになる。
【0044】
また、CATVのような閉じたネットワークにしか適用できなかったVODサーバを、インタネットのようなオープンネットワークに接続可能とすることによって、VODサーバのユーザ数を飛躍的に増加でき、VOD装置のアクセス率を高めることができる。ひいてはユーザ当たりのVODサーバ装置のコストを低減することが可能となるといった効果がある。
【0045】
【発明の効果】
本発明によれば、ベストエフォート型のネットワークへ他のネットワークから信号の劣化を最小限にして送信することができるゲートウェイ装置およびそれを用いた通信システムを提供することができる。
【図面の簡単な説明】
【図1】本発明による通信システムの構成図である。
【図2】本発明によるゲートウェイ装置の構成図である。
【図3】本発明のゲートウェイ装置の動作を説明するフローチャートである。
【図4】本発明の画像伝送の通信手順を説明するシーケンス図である。
【図5】トランスコーデック部の帯域制御方法を説明する図である。
【符号の説明】
1…ゲートウェイ装置、2…トランスコーデック部、3…制御部、4…プロトコル処理部、5、6、7…インタフェースポート、10…VODシステム、11…CATVネットワーク、13…MPEG映像信号、16,17,18…インタネット端末、19…CATVシステム。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication system in which different types of communication networks are connected to each other and a gateway device that connects these networks.
[0002]
[Prior art]
As conventional techniques, two networks, a cable TV and the Internet, and a transcodec for converting the transmission band of an image signal will be described below.
[0003]
One of the services in the cable television (CATV: CAble TeleVision) system is a service called video on demand. Video On Demand (hereinafter abbreviated as VOD: Video On Demand) stores video signals compressed using digital image compression technology such as MPEG2 (Moving Picture Experts Group 2) in a storage medium that can record digital signals. In addition, this is a service in which a VOD server reads a video signal from a storage medium and transmits it in response to a transmission request from a terminal of a CATV subscriber (set top box, hereinafter abbreviated as STB). MPEG2 is standardized by the International Organization for Standardization / International Electrotechnical Commission (ISO / IEC) 13818.
[0004]
A system that provides a VOD service uses a communication line capable of transmitting a digital signal in order to transmit the video signal in a digitally compressed format as described above. Specifically, a hybrid fiber / coaxial cable (HFC) line, an optical asynchronous transfer mode (ATM) line, etc. are currently in practical use.
[0005]
The CATV system is a television system as its name suggests, and it is necessary for subscribers to provide high-quality video. Therefore, the CATV network uses a guarantee-type network configuration that completely guarantees the quality of service (QoS) determined by the transmission band and the like in order to reliably transmit the video signal data.
[0006]
On the other hand, computer communication called Internet, which uses an Internet protocol, is rapidly spreading nowadays, and it has become possible to easily access an information server connected to the Internet in a company or a home.
[0007]
In recent internets, services that provide video information in addition to providing text information, still image information, and the like have begun to appear.
[0008]
However, since the Internet is a system originally developed with computer communication as a main service, it has become clear that various problems occur in image communication that requires real-time performance.
[0009]
These problems are partly because the Internet only provides transmission quality (bandwidth, error rate) that can be ensured at the maximum during communication, and does not guarantee QoS. The Internet is called a best-effort network because of such network characteristics. In this best-effort network, for example, when communication traffic is concentrated at any part of a relay node in the network, the data packet cannot be processed at that node, and the packet is discarded.
[0010]
In the data exchange performed by normal computer communication, if the data does not reach the receiving terminal correctly, the receiving terminal issues a re-transmission request signal for the packet that has not arrived and operates to receive the data correctly again. Since it can be done, there is virtually no problem if the packet is discarded.
[0011]
However, the retransmission mechanism does not function effectively in communication such as image communication where the demand for continuity of signal delivery timing and time is severe. This is because, when a packet is discarded at a relay node, even if a packet is retransmitted, if the data is received and reproduced in real time, the arrival of the retransmitted data will not be in time, resulting in image quality degradation such as screen freezes and dropped frames. This is because of this.
[0012]
Therefore, in the Internet, IETF (Internet Engineering Task Force), which is promoting Internet-related technology development, develops a communication protocol called Resource Reservation (hereinafter referred to as RSVP) for demanding communications for time continuity. Is going. This technique is disclosed in Internet Draft Resource Reservation Protocol (RSVP) Version 1 Functional Specification August 12, 1996.
[0013]
In RSVP, a terminal (such as a PC) that wants to receive data requests a desired signal transmission band from the network (reservation) before starting a target communication. Then, a relay node (router or the like) in the network determines a transmission band that can be provided and relays the reserved band to the next relay node. This procedure is repeated, and the reserved bandwidth is finally transmitted to the target server. When the bandwidth is secured between all the relay nodes in this way, the server returns the bandwidth information that can be secured to the terminal that issued the reception request, so that the signal transmission that can be used between the reception requesting terminal, the network, and the server is returned. Band is set. After this setting procedure, the terminal and the server can transmit and receive signals using the reserved transmission band.
[0014]
Incidentally, there is a technique called a transcodec that converts the code amount of an image signal in order to send the image signal to transmission paths having different transmission signal bands. Techniques related to the transcodec are described in JP-A-7-59091, JP-A-8-84339, JP-A-8-251588, JP-A-8-508378, and the like. In these transcodecs, input image signal data (bit sequence) is decoded into the original signal by the inverse method of encoding (for example, discrete cosine transform and inverse discrete cosine transform), and the coefficient of the decoded signal Etc., or the amount of code is converted by changing the quantization width.
[0015]
[Problems to be solved by the invention]
In the CATV network described in the prior art, the VOD server reserves a signal transmission bandwidth for one channel of the CATV line to be distributed in advance and there is no change in the bandwidth. Configured to deliver. For this reason, the recording rate of the content handled by the VOD server is determined when the content is stored in the server, and cannot be changed when the video signal is transmitted. For the above reasons, it has been difficult to connect the VOD server to a best-effort network such as the Internet where the available bandwidth constantly changes. The transcodec described in the prior art is only disclosed as a method for converting the amount of code when transmitting an image signal from one transmission band to another, and is used like a best effort type network. It was not possible to cope with a network in which the available bandwidth changed from moment to moment.
[0016]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a gateway device capable of transmitting signals from other networks to a best-effort network with minimal signal degradation, and communication using the same. To provide a system.
[0017]
[Means for Solving the Problems]
In order to solve the above-described problems, a gateway device of the present invention includes a bandwidth reservation protocol processing unit, a transcodec that converts a code amount of a digital signal, and a control unit that controls the transcodec. The bandwidth information is obtained from the bandwidth reservation protocol, and the code conversion amount of the trans codec is controlled. At this time, the control unit adaptively controls the code conversion amount in consideration of human visual characteristics.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a diagram showing a system configuration of the present invention. In this system, the gateway device 1 is a device installed between the CATV system 19 and the Internet 15, and is connected to both the CATV and the Internet.
[0019]
Although only three units are shown in the figure, a plurality of terminals such as personal computers (PCs) are connected to the Internet 15. In this configuration, a case where an image access request signal S1 is issued from the terminal 18 connected to the Internet to the gateway device 1 will be described.
[0020]
The access request signal S1 is processed by the gateway device 1, and this request is converted into a control signal of the CATV VOD system 10. The VOD system 10 that has received the request sets a route inside the CATV network 11 and starts sending video signals to the gateway device 1. The gateway device 1 performs predetermined protocol conversion and transmission rate conversion on the video signal received from the VOD system 10 and sends the video signal to the Internet side. In general, the Internet terminal 18 can receive and use the video signal from the VOD server 10 of the CATV system 19 by the above procedure.
[0021]
FIG. 2 is a diagram showing a configuration of the gateway device 1 shown in FIG. The gateway device 1 includes a transcodec unit 2 that converts a code amount of a video signal from the VOD system 10, a control unit 3 that controls a transmission code amount of the transcodec unit 2, and the like, processing for RSVP corresponding to the Internet, The protocol processing unit 4 converts an access request to the VOD system 10 from the Internet into a VOD system protocol. The gateway device 1 also includes a port 5 for inputting / outputting signals to / from the Internet, a port 6 for inputting / outputting control signals to / from the VOD system 10, and a port 7 for inputting video signals from the VOD system.
[0022]
Next, the operation of each component of the gateway device 1 will be described. In the following description, an MPEG signal, which is a general image signal format widely used as a standard in an image communication system including a VOD system, will be described as an example. The transcodec unit 2 of the gateway device 1 has a function of receiving an MPEG video signal (transport stream, program stream, or elementary stream) from the VOD system 10 and converting the code amount of this signal and outputting it. As a code amount conversion method, for example, a technique as disclosed in Japanese Patent Laid-Open No. 7-59091 can be used. It should be noted that methods other than the above disclosed technique can be used to realize the transcodec. Both the input and output of the transcodec unit 2 may be compressed image signals, or the input may be compressed image signals and the output may be uncompressed image signals. The input may be an uncompressed image signal and the output may be an compressed image signal. However, the transmission / reception of uncompressed signals cannot effectively utilize the reserved signal transmission band, so it goes without saying that both the input and output are compressed image signals in terms of line use efficiency.
[0023]
Next, the operation of the protocol processing unit 4 will be described. The protocol processing unit 4 has an interface for the Internet, an interface for the transcodec unit 2, and an interface for the control device 3. The protocol on the Internet side of the protocol processing unit 4 is an Internet protocol such as TCP / IP (Transport Control Protocol / Internet Protocol) or IP over ATM (Request For Comments / RFC1483) by Ethernet. A packet conforming to the Internet protocol is input to this interface. This packet includes the RSVP message and the access request message of the VOD system 10. On the other hand, the message from the control device 3 includes an acknowledgment message (ACK) or an error message of the VOD system 10 for the access request. The transcodec unit 2 receives an MPEG video signal packet. The protocol processing unit 4 returns a configuration response message to the RSVP message (reserve) from the Internet. At this time, the protocol processing unit 4 converts the reserved bandwidth information into a protocol, and then transmits the information to the control unit 3. For an access request message from the Internet terminal 18, the protocol is converted and the message is transferred to the VOD system 10 via the control unit 3. An access request message from the Internet is described in a language that is standardly installed in an Internet browser, such as HTML (HyperText Markup Language). On the other hand, since the DSM-CC (Digital Strage Media Command and Control) standardized by ISO / IEC is generally used as a control protocol of the VOD system 10, this protocol processing unit is changed from HTML to DSM-CC. Perform message translation. Conversely, ACK from the VOD system 10 is transmitted after translation from DSM-CC to HTML.
[0024]
The VOD system 10 shown in FIG. 1 establishes the video signal distribution path of the CATV network 11 and activates the VOD server (not shown) in response to the access request message by the DSM-CC converted by the protocol processing unit. . As a result, the MPEG video signal stored in the storage medium of the server is output and input to the transcodec unit 2 of the gateway device 1 of FIG. The transcodec unit 2 converts the band of the input MPEG video signal and inputs the signal to the protocol processing unit 4. The protocol processing unit 4 performs encapsulation into an IP packet for the MPEG video signal. Here, “encapsulation” means a conversion operation for MPEG signal transmission in the IP packet format. As a method for encapsulating an MPEG video signal into an IP packet, a technique disclosed in RFC (Request for Comment) 2038: RTP Payload Format for MPEG1 / MPEG2 Video issued by IETF can be used.
[0025]
As described above, the present invention interprets the RSVP message from the Internet and responds to the message, and controls the transcodec in accordance with the reserved bandwidth. A control unit 3 that transmits a startup message is provided, and the transcodec unit is controlled based on the RSVP message, so that the video signal of the VOD system can be transmitted to a best effort type network such as the Internet. Is.
[0026]
Next, the operation flow of the gateway device will be described.
[0027]
FIG. 3 is a diagram illustrating an operation flow of the gateway device of the present invention.
[0028]
When there is a VOD system access request from the Internet terminal 18, the RSVP installed in the Internet terminal reserves the necessary bandwidth, and the address and bandwidth request of the final target server are sent to the nearest connection node (default gateway). A signal (reserve) is transmitted (S302). If the requested bandwidth can be secured at this node, the destination address and the reserve message are relayed to the next node on the path to the final destination. In this way, the bandwidth and final address to be secured from node to node are propagated to establish QoS within the network. When the server arrives at the final server (in the present invention, the gateway operates as a proxy for the server), the server accepts this bandwidth reservation request (S303), and sends an approval signal to the terminal (receiver) of the transmission source. A reply is made (S304). After transmitting the RSVP approval signal, the protocol processing unit 4 designates an initial conversion band for the transcodec unit 2 (S305). Since the RSVP performs an operation of updating the reserved bandwidth after a predetermined time has elapsed, the gateway device 1 monitors the update request (S306), and when it is necessary to update, a message of a bandwidth to be newly secured. Is received (S307), and an approval signal is returned (S308). When the RSVP bandwidth is updated, the conversion band of the transcodec unit is updated accordingly. At this time, the size relationship between the previously set bandwidth and the newly set bandwidth is compared (S309), and the transcodec unit is controlled according to the size relationship (S310, S311). While the service is continued, the processing procedure from S306 to S312 is repeatedly executed.
[0029]
FIG. 4 is a diagram illustrating the above operation in the form of a message flow.
[0030]
The RSVP reserve message from the Internet terminal 18 is relayed by a node (one place in this drawing) and input to the protocol processing unit of the gateway. The protocol processing unit returns an acknowledgment (ACK) in response to this reserve message. The internet node relays this ACK and sends it to the internet terminal. The protocol processing unit that has received the RSVP reserve message performs band setting for the transcodec via the control unit. In response to this bandwidth setting request, the transcodec returns an ACK after setting the bandwidth. The control unit also sets a transmission path in the CATV network from the VOD system to the gateway, and simultaneously transmits a message for starting the VOD server to the VOD system. In response to this server activation signal, the VOD server starts transmission of the MPEG video signal. The transmitted MPEG video signal is converted in signal band by a transcodec and transmitted to an Internet node, and finally arrives at an Internet terminal.
[0031]
When the reserved band is updated, the update signal is input to the protocol processing unit via the Internet node. Then, similarly to the initial operation, the transcodec band is updated via the control unit, and an ACK notifying that the band has been successfully secured is sent back to the Internet terminal. Thereafter, the process from update to setting is repeatedly executed until the service is terminated.
[0032]
Next, transcodec control will be described.
FIG. 5 is a diagram illustrating an example of control characteristics when the transcodec is controlled from the control unit.
In the figure, the vertical axis represents the signal band, and the horizontal axis represents the passage of time. In RSVP, as described above, it is stipulated that the reserved bandwidth is periodically updated for the purpose of effectively using the signal band and releasing unnecessary reserved bandwidth. For this reason, the band set by RSVP is occasionally updated with time, and the output bandwidth (hereinafter referred to as target code amount) of the transcodec unit 2 must be controlled each time. The control characteristics shown in FIG. 5 indicate the control characteristics of the target code amount when the RSVP reserved band is changed. In the figure, the solid line is the band secured by RSVP, and the broken line is the target code amount in the transcodec.
[0033]
In the present embodiment, control is performed with a difference between the band secured by RSVP and the actual transmission band of the transcodec. For example, when a band of 3 Mbit / s is secured by RSVP, the target code amount is set to about 2.7 Mbit / s. The reason for setting the target code amount low in this way will be described later.
[0034]
Next, a method for setting the target code amount when a change occurs in the band secured by RSVP will be described. In the present embodiment, human visual characteristics are considered when setting the target code amount. Specifically, the human visual characteristics have a high detection capability for sudden image quality fluctuations, and on the other hand, they are extremely insensitive to moderate image quality fluctuations to secure RSVP. Even when a change occurs in a certain band, the band control of the transcodec unit is performed so that the viewer does not notice the change in image quality.
[0035]
When such band control is not performed, the user who views the video frequently detects sudden image quality fluctuations associated with fluctuations in the RSVP band. This variation in image quality induces a discontinuity in the video, which leads to fatigue and discomfort.
[0036]
In the present embodiment, in order to suppress such fluctuations, processing at the time of RSVP band update is divided into the following three cases, and different processing is performed.
Case 1: When there is no change in the reserved bandwidth in the RSVP bandwidth update.
Case 2: When the reserved bandwidth of RSVP is expanded.
Case 3: When the reserved bandwidth of RSVP is reduced.
[0037]
The target code amount setting method will be described below for each case.
Case 1: In this case, the target code amount is not changed at all.
Case 2: In this case, the target code amount is gradually increased. However, as in the initial setting, the target code amount is set lower for the RSVP reserved band. That is, the target code amount is not increased rapidly to the reserved band, but is changed to the final target code amount through about five steps.
Case 3: In this case, the target bandwidth is first reduced to the reserved bandwidth at a time. Thereafter, the target code amount is further reduced through about five steps. In such a control method, since the target code amount before the RSVP band is changed is set to be smaller than the actually reserved band, the reduction width, that is, the fluctuation of the image quality, compared to the RSVP band reduction width. Can be suppressed and visual image quality fluctuations can be reduced.
[0038]
In the above description, it is described that the target code amount may be changed in about five steps. However, this value is a value determined by experimental subjective evaluation. The main point of increasing or decreasing the target code amount in stages is not to make all the changes at once but to set it by dividing it into multiple times. To do.
[0039]
Also, a method for controlling the target code amount using other visual characteristics can be considered. For example, (1) detection capability for motion discontinuity (frame or field frequency change) is much higher than resolution change detection capability, and (2) detection capability for luminance resolution change is detection capability for color resolution change. It is higher. It is effective to control the target code amount in consideration of these visual characteristics. That is, when changing the target code amount, first, the resolution information for the color is reduced to reduce the bit rate, and when the code amount is further reduced, the luminance resolution information may be reduced. If the information reduction does not match the reserved band, the code amount can be reduced by reducing the frame or field frequency. The above-described control method is summarized in Table 1.
[0040]
[Table 1]
Figure 0003668742
[0041]
By controlling the target code amount of the transcodec unit so as to achieve the control characteristics described above, even if the available bandwidth in the best effort type network such as the Internet fluctuates from moment to moment, the change to the user This makes it possible to adapt the bandwidth.
[0042]
In the description of the embodiments of the present invention, the Internet protocol has been mainly described as an example. However, the present invention uses a bandwidth reservation protocol and a transcodec in a best-effort type network and performs adaptive bandwidth control. This is to use a VOD system compatible with a fixed line, and is not limited to the Internet. Needless to say, this method is also effective when connecting a VOD system corresponding to a fixed line to a network such as a corporate LAN (Local Area Network). Furthermore, in the description of the embodiments of the present invention, the description has focused on video communication with images and sounds, but the gateway device of the present invention can also be applied to voice-only applications such as digital telephone devices. In this case, the transcodec device operates so as to adaptively control the conversion of the speech code amount by the Internet RSVP protocol.
[0043]
As described in the above embodiments, the video signal from the VOD server device corresponding only to the band-guaranteed network by using the RSVP, the transcodec device, and the control means for controlling the transcodec device is used as the best such as the Internet. It becomes possible to transmit to an effort type network.
[0044]
In addition, by making it possible to connect a VOD server that can only be applied to a closed network such as CATV to an open network such as the Internet, the number of users of the VOD server can be dramatically increased, and the access rate of the VOD device. Can be increased. As a result, the cost of the VOD server device per user can be reduced.
[0045]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the gateway apparatus which can be transmitted to a best effort type | mold network from the other network with the minimum degradation of a signal, and a communication system using the same can be provided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a communication system according to the present invention.
FIG. 2 is a configuration diagram of a gateway device according to the present invention.
FIG. 3 is a flowchart for explaining the operation of the gateway device of the present invention.
FIG. 4 is a sequence diagram illustrating a communication procedure for image transmission according to the present invention.
FIG. 5 is a diagram for explaining a band control method of a transcodec unit;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Gateway apparatus, 2 ... Transcodec part, 3 ... Control part, 4 ... Protocol processing part, 5, 6, 7 ... Interface port, 10 ... VOD system, 11 ... CATV network, 13 ... MPEG video signal, 16, 17 , 18 ... Internet terminal, 19 ... CATV system.

Claims (1)

第一のネットワークとインターネットプロトコルを使用する第二のネットワークを接続するゲートウェイ装置であって、
前記第一のネットワークから入力された第一のデジタル信号の符号量を変換して第二のデジタル信号を出力するトランスコーデックと、
前記トランスコーデックの符号変換量を制御する制御部と、
前記第二のネットワークから該第二のネットワークの使用可能な帯域の情報を受信して解析し前記制御部に送るとともに、前記トランスコーデックから出力された第二のデジタル信号を前記第二のネットワークに送出する処理を行う情報処理部とを備え
前記制御部は、前記第二のネットワークの使用可能な帯域の変化を検出すると、該変化後の帯域に向けて、前記トランスコーデック部の符号変換量を段階的に増加又は減少させるように制御することを特徴とするゲートウェイ装置。
A gateway device for connecting a first network and a second network using the Internet protocol ,
And transcodec unit that outputs a second digital signal by converting the code amount of the first digital signal input from the first network,
A control unit for controlling the code conversion of the trans codec,
The second with receives and analyzes the available bandwidth information of the second network and sends to the control unit from the network, the second digital signal to said second network output from the transformer codec and a processing unit that performs a process of sending the,
When the control unit detects a change in the usable bandwidth of the second network, the control unit controls the code conversion amount of the transcodec unit to be increased or decreased in a stepwise manner toward the changed band. A gateway device characterized by that.
JP31820096A 1996-11-28 1996-11-28 Gateway device and communication system using the same Expired - Fee Related JP3668742B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31820096A JP3668742B2 (en) 1996-11-28 1996-11-28 Gateway device and communication system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31820096A JP3668742B2 (en) 1996-11-28 1996-11-28 Gateway device and communication system using the same

Publications (2)

Publication Number Publication Date
JPH10164143A JPH10164143A (en) 1998-06-19
JP3668742B2 true JP3668742B2 (en) 2005-07-06

Family

ID=18096565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31820096A Expired - Fee Related JP3668742B2 (en) 1996-11-28 1996-11-28 Gateway device and communication system using the same

Country Status (1)

Country Link
JP (1) JP3668742B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493386B1 (en) * 2000-02-02 2002-12-10 Mitsubishi Electric Research Laboratories, Inc. Object based bitstream transcoder
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
EP1148690A1 (en) * 2000-04-20 2001-10-24 Telefonaktiebolaget Lm Ericsson Method, gateway system and arrangement in a communication network
KR20020014446A (en) * 2000-08-18 2002-02-25 서평원 Method for organization of VOCODER circuit in gateway
JPWO2003043339A1 (en) 2001-11-12 2005-03-10 ソニー株式会社 Information distribution system and method, information processing apparatus and method
EP1713277A4 (en) * 2004-01-23 2010-02-03 Nec Corp Moving picture communication device, moving picture communication system, and moving picture communication method
BRPI0617968A2 (en) * 2005-10-06 2011-08-09 Nec Corp protocol conversion method, protocol conversion device, and protocol conversion program
KR100915448B1 (en) * 2007-12-07 2009-09-04 한국전자통신연구원 Communication system and its method for the codec auto assigning according to the network bandwidth

Also Published As

Publication number Publication date
JPH10164143A (en) 1998-06-19

Similar Documents

Publication Publication Date Title
Jacobs et al. Streaming video using dynamic rate shaping and TCP congestion control
EP1513301B1 (en) Method and device for delivering multimedia data using IETF QoS protocols
US7477688B1 (en) Methods for efficient bandwidth scaling of compressed video data
KR100898210B1 (en) Method and apparatus for transferring digital signal and changing received streaming content channels, and computer readable medium
WO2009128528A1 (en) Server device, content distribution method, and program
JP4195030B2 (en) Video data transmission method and reception method for continuous video display
US8135031B2 (en) Method and device for wireless transmissions of internet protocol TV
US20200252671A1 (en) Systems and methods for achieving optimal network bitrate
JP5807710B2 (en) Content distribution system, content distribution method and program
JP2003143216A (en) Method for transmitting packet using IP protocol over telecommunications network
JP3668742B2 (en) Gateway device and communication system using the same
KR100703421B1 (en) Video mail communication device and method using transcoding
JP3652233B2 (en) Wireless network system
KR101998807B1 (en) Apparatus for recceiving transport characteristics of multimedia data in broadcast system
US6882639B1 (en) Telecommunications middleware
US20100246685A1 (en) Compressed video decoding delay reducer
KR20040059662A (en) Device and method for communicating moving picture using streaming
KR100928832B1 (en) Apparatus and method for building IP based video service system in optical-coaxial mixed network
Kasai et al. The development of a multimedia transcoding system for mobile access to video conferencing
JP2001069483A (en) Image distribution system
Engman High Performance Video Streaming on Low End Systems
JP2006333309A (en) Data communications system and method therefor
Jacobs et al. Received February 9, 1998; accepted May 26, 1998
KR100639872B1 (en) Voice data transmission method using NATA
KR20190084227A (en) Method for receiving transport characteristics of multimedia data in broadcast system

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040608

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130422

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees