[go: up one dir, main page]

JP4028356B2 - 通信システム、無線通信端末、データ配信装置及び通信方法 - Google Patents

通信システム、無線通信端末、データ配信装置及び通信方法 Download PDF

Info

Publication number
JP4028356B2
JP4028356B2 JP2002317415A JP2002317415A JP4028356B2 JP 4028356 B2 JP4028356 B2 JP 4028356B2 JP 2002317415 A JP2002317415 A JP 2002317415A JP 2002317415 A JP2002317415 A JP 2002317415A JP 4028356 B2 JP4028356 B2 JP 4028356B2
Authority
JP
Japan
Prior art keywords
data
rate
wireless communication
encoding
encoding rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002317415A
Other languages
English (en)
Other versions
JP2004153620A (ja
Inventor
宏 築地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2002317415A priority Critical patent/JP4028356B2/ja
Publication of JP2004153620A publication Critical patent/JP2004153620A/ja
Application granted granted Critical
Publication of JP4028356B2 publication Critical patent/JP4028356B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

【0001】
【発明が属する技術分野】
本発明は、データ通信を行う通信システムに関し、特に無線区間の伝送レートを変化させることができる通信システムに関する。
【0002】
【従来の技術】
近年、移動通信網でも通信回線の伝送容量が増大し、また携帯電話機等の移動体端末装置も高機能化して、従来の音声通話サービスに加えてデータや画像、さらには動画像データの送受信を行えるものが登場し、携帯電話のサービスにおいても動画像データのダウンロードサービスやストリーミングサービスが提供され始めている。このようなサービスの多様化に伴い、移動体通信網では、下り回線においてより大量のデータを送信することが要求されるようになってきている。そして、このようなニーズに対応するため、基地局から通信端末への下り回線の伝送効率を高めた1xEV−DO(1x Evolution Data Only)システムを使用した高速パケット通信ネットワークが提案されている。
【0003】
この1xEV−DOシステムでは、測定した回線品質において最も効率良く高速パケット通信を行うことができる通信モードを選択し、38.4kbps〜2.4Mbpsのデータレートでデータ通信が可能となっている。基地局は、各通信端末における回線品質に応じて送信スロットの割り当てを決めるスケジューリングを行う。基地局はシステム全体としての伝送効率の向上を考慮して、通信可能な伝送レートが高い無線通信端末に優先的に通信リソースを割り当てて、システム全体としてデータの伝送効率を高めている。
【0004】
動画像データの配信方法としてストリーミング技術を用いた方法があり、ストリーミング中のデータ再生のリアルタイム性を確保するため、データ転送プロトコルとしてRFC1889で規定されるRTP(Realtime Transport Protcol)とその制御プロトコルであるRTCP(RTP Control Protcol)が使用される。ストリーミングサーバではこのRTCP情報を使用することによりクライアント側の受信レートの予測が可能となり、これを用いてサーバの送信レートを制御する可変レート制御方法によるストリーミングが行われる。そして、情報を送信する際、受信側端末からのRTCPデータに基づいて、送信レートを徐々に上げるように送信レートを制御する技術が知られている。
【0005】
1xEV−DOシステムのような伝送レートの変動幅が大きい通信システムにおいてストリーミングデータを伝送する際には、伝送レートの変動に合わせて符号化レートを変更しながらデータの配信を行う可変レート型のストリーミングが有効である。これは無線区間の実効レートの低下に対しては符号化レートを下げて基地局でのバッファリングによる遅延やデータの廃棄を回避し、無線区間の実効レートの上昇に対しては可能な限り符号化レートを上げ、画質のよい画像を提供しようとするものである。可変レートを実現する方法として、同一の映像ソースを用いて符号化レートを変更して再符号化するトランスコーディング方式と、異なるビットレートの映像ソースを選択して送信するファイル切替方式が提案されている。
【0006】
【特許文献1】
特開2002−135783号公報
【0007】
【発明が解決しようとする課題】
しかしながら、1xEV−DOシステムのようなベストエフォート型の高速無線パケット通信ネットワークでは、無線通信の特性上、ビットエラー率やパケットロス率、遅延時間などが有線ネットワークと比較して大きく、そのデータ伝送帯域幅も急激に変動するという問題を有している。特にデータの連続性やリアルタイム性が要求される動画像のストリーミングサービスにおいては、伝送帯域の変動幅や遅延時間の大きさがサービス上大きな問題となる。
【0008】
また、前述したトランスコーディング技術では復号処理と符号化処理を行う必要があるため、トランスコーダの負荷が大きく、サーバでの変換処理の負荷が大きくなる。特に帯域変動の幅が大きな1xEV−DOシステムでは変換する符号化レートの差が大きくなるために変換処理の効率も悪くなってしまうという問題がある。例えば、ソースデータが2.4Mbpsのストリームデータだけであると、これをもとに1.0Mbpsのストリームデータを作る場合も、64kbpsのストリームデータを作る場合も、いずれも2.4Mbpsのストリームデータを一旦デコードする必要がある。特に100kbps以下のレートまで下げる場合には、上述の方法だけでは十分な画質が得られないために符号化前に画像サイズの変更処理も必要となってくる。このような場合、1枚の画像の変換に時間がかかって変換後のストリームデータの所望のフレームレートが得られず、動画像の品質が劣化してしまうという問題がある。
【0009】
一方、ファイル切替方式では、予め符号化レートが異なる複数のストリームファイルを用意し、送信中のレート変更に応じてこれらのストリームファイルから1つを選択して送信することによって可変レート制御を実現している。このようにファイル切替え型のレート制御では、各符号化レートに対応したストリームファイルを用意することで1xEV−DO網の広い帯域に対応できるが、ファイル数が少ないと細かいレート制御ができず、ファイル数が多いとサーバの記憶領域を圧迫するという問題がある。
【0010】
本発明は、伝送レートの変動が大きい通信システムでストリーミングデータを送信する際に最適なビットレートでデータを送信することができる通信システムを提供することを目的とする。
【0011】
【課題を解決するための手段】
第1の発明は、データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、前記無線通信端末は、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信するレート情報送信手段を備え、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記無線通信端末から送信された前記情報を受信する受信手段と、前記情報に基づいてデータ配信装置から前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【0012】
第2の発明は、データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、前記無線通信端末は、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、前記符号化レートの情報をデータ配信装置に送信するレート情報送信手段と、を備え、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記符号化レート決定手段によって決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【0013】
第3の発明は、データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信する送信手段と、複数のレートで符号化されたコンテンツソースデータのうち、前記情報に基づいて決定された符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備える。
【0014】
第4の発明は、データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、複数のレートで符号化されたコンテンツソースデータをのうち、前記決定した符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備える。
【0015】
第5の発明は、コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記コンテンツデータの符号化レートを決定するために必要な情報を前記無線通信端末から受信する受信手段と、データ配信装置が前記コンテンツデータを符号化する符号化レートを、前記情報に基づいて決定する符号化レート決定手段と、前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【0016】
第6の発明は、コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記無線通信端末において決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【0017】
第7の発明は、データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、前記無線通信端末は、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を前記データ配信装置に送信し、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記無線通信端末から送信された前記情報を受信し、データ配信装置が前記コンテンツデータを符号化する符号化レートを前記情報に基づいて決定し、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする。
【0018】
第8の発明は、データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、前記無線通信端末は、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定し、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする。
【0019】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0020】
図1は、本発明の実施の形態の無線通信システムの構成図である。
【0021】
クライアント端末10は、無線基地局30及びネットワーク(IPネットワーク等)40を介して、リアルタイム性を持ったコンテンツデータ(動画像、静止画、音楽、音声、字幕等)を送信するデータ配信装置(ストリーミングサーバ20)に接続されている。
【0022】
クライアント端末10は、データ通信に対応する携帯電話機や、PDA(Personal Digital Assistants)や、無線機を内蔵したデータ通信カードが付加されたコンピュータ装置等の無線通信端末である。
【0023】
クライアント端末10と無線基地局30との間は、1xEV−DO網(1x Evolution Data Only網)で接続されている。この1xEV−DO網は、クライアント端末10から送信された無線通信回線の品質情報(DRC情報)及び接続されているクライアント端末10の数に基づいて、各クライアント端末10に割り当てるデータ通信の帯域幅を決定し、各クライアント端末10に対する無線通信回線の伝送レートを決定する。
【0024】
ここで、1xEV−DOシステムにおける無線基地局30とクライアント端末10との間で行われる高速パケット通信について説明する。
【0025】
1xEV−DOシステムにおいて用いられるパケットは、各ユーザ宛てのデータが時分割多重されたデータ部の先頭に、パイロット信号や制御情報を含むヘッダが付加されて構成される。制御情報には各通信端末への通信リソースの割り当てを示す割り当て情報が含まれる。
【0026】
まず、無線基地局30は、自局のカバーエリアに収容されているクライアント端末10に前記パイロット信号を含むパケットを送信する。各クライアント端末10は、受信信号に含まれるパイロット信号に基づいて下り回線の回線品質(例えば、希望波対干渉波比(CIR))を測定する。各クライアント端末10には、下り回線の回線品質とその回線品質でパケットを伝送する際に最適な通信モードとの対応関係を示すテーブルが記憶されており、各クライアント端末10は、このテーブルを参照して、測定した回線品質において最も効率良く高速パケット通信を行うことができる通信モードを選択する。通信モードとは、送信データに割り当てられるスロット長、送信データの符号化率、変調方式、拡散率を組み合わせた複数のモードが用意されている。そして、通信モードを選択することで、38.4kbps〜2.4Mbpsの広い帯域幅のデータレートでの高速データ通信が可能となっている。各クライアント端末10は、選択した通信モードを示す信号(DRC信号)を無線基地局30に送信する。また無線基地局30に接続された他のクライアント端末10も、同様にしてDRC信号を無線基地局30に送信する。
【0027】
無線基地局30は、各クライアント端末10から送信されたDRC信号に基づいて、回線品質の良好なクライアント端末10から優先的に通信リソースを割り当てるスケジューリングを行う。これにより、回線品質の良いクライアント端末10には、伝送レートを高くしてデータを送信するので通信の所要時間を短縮することができ、回線品質の悪いクライアント端末10には伝送レートを低くしてデータを送信するので誤り耐性を高めることができる。
【0028】
無線基地局30は、通信リソースの割り当てに従って、送信データに対するスロットを割り当て、符号化処理、変調処理、拡散処理等を施し、各クライアント端末10宛ての送信データを時分割多重して送信フレームを構成し、その送信フレームを各クライアント端末10に送信する。この際、送信フレームの先頭のヘッダには、各クラインアント端末10への通信リソースの割り当てを示す制御情報(割り当て情報)が挿入される。クライアント端末10は、割り当て情報を参照することにより、通信モードを知って、自局宛てのデータを復調することができる。
【0029】
このように、従来の1xEV−DOシステムでは、回線品質がよい通信端末から優先的に通信リソースを割り当てることにより、システム全体としてデータの伝送効率を高めている。
【0030】
図2は、本発明の実施の形態の無線通信システムを構成する各装置のブロック図である。
【0031】
クライアント端末10は、無線基地局30からの電波(下りの信号)を受信し、無線基地局30に対し電波(上りの信号)を送信するアンテナ11を有し、該アンテナ11は無線部12に接続されている。無線部12は送信部及び受信部によって構成され、送信部はアンテナ11から送信する高周波信号を生成し、受信部はアンテナ11で受信した高周波信号に増幅、周波数変換等をして、ベースバンド信号として送受信部13に出力する。
【0032】
送受信部13は変復調回路及びCODEC部を含んで構成されており、変復調回路によってベースバンド信号を復調する。復調された信号はCODEC部に送られ、CODEC部にてデータ信号に復号される。また、CODEC部はデータ信号を符号化し、符号化された信号は送受信部13に送られ、変調される。変調された信号は、送信部にて高周波信号に変換され、アンテナ11から送信される。
【0033】
送受信部13には、受信バッファ14が接続されており、クライアント端末10が受信したストリーミングデータを一時的に記憶して、短時間の伝送レートの低下、回線の切断等があっても、ストリーミングデータが途切れることなく再生されるようにしている。受信バッファ14から読み出されたデータは、復号部15に送られ、MPEG等の動画像ファイルとして符号化されたデータを映像信号に復号する。そして、復号された映像データは表示部16に表示され、動画像データが再生される。
【0034】
制御部17は、無線部12、送受信部13、受信バッファ14、復号部15等のクライアント端末10の各部を制御する。具体的には、無線部12に対してチャネルを指定して送受信周波数や、送受信タイミングを制御する。また、所定の通信プロトコルに従って、クライアント端末10と無線基地局30との間の無線通信回線の設定、解放、位置登録等の各種制御信号を生成し、これらの信号の送受信を制御する。
【0035】
さらに、本発明の実施の形態では、無線通信網は1xEV−DO網なので、クライアント端末10は、無線基地局30から送信された信号(例えば、パイロット信号、制御パケット等)を受信して求めたCIRに基づいて、効率よくデータ通信を行うことができるものとして選択された通信モードを示す信号であるDRC情報を無線通信回線品質情報として無線基地局30に対して送信する。つまり、制御部17は受信信号から求めたCIRを取得して、予め記憶された変換テーブルを参照して、伝送レートを決定する。そして決定された伝送レートに基づいてDRC情報を生成して、無線部12に送る。このように、無線部12等によって無線通信回線の品質を検出する検出手段が構成される。また、制御部17及び無線部12等によって、検出手段が検出した回線品質の情報をストリーミングサーバ20に送信する回線品質情報送信手段が構成される。
【0036】
また、制御部17は、ストリーミングサーバ20から送信されたデータのパケットを監視しており、ストリーミング中に受信レートの変化状況を取得する。すなわち、パケットロス率、ロスパケット数、受信したパケットのシーケンス番号の最大値、到着間隔ジッタ等を含む受信レポート(RR)を、データの受信状況情報(フィードバック情報)としてストリーミングサーバ20に送信する。このように、制御部17等によってデータの受信状況を検出する検出手段が構成される。また、制御部17及び無線部12等によって、ストリーミングサーバ20から送信されたデータの受信状況情報をストリーミングサーバ20に送信する受信状況情報送信手段が構成される。
【0037】
また受信バッファ14のバッファ占有量情報をフィードバック情報として送信するように構成してもよい。
【0038】
制御部17は、復号部15に対して、復号のための情報を指示する。
【0039】
無線基地局30は、無線部に接続されたアンテナ31を有しており、クライアント端末10からの電波(上りの信号)を受信し、クライアント端末10に対し電波(下りの信号)を送信する。無線部は送信部及び受信部によって構成され、送信部はアンテナ31から送信する高周波信号を生成し、受信部はアンテナ31で受信した高周波信号に増幅、周波数変換等をして、ベースバンド信号として送受信部に出力する。
【0040】
送受信部は変復調回路及びCODEC部を含んで構成されており、変復調回路によってベースバンド信号を復調する。復調された信号は、CODEC部に送られ、CODEC部にてデータ信号に復号される。CODEC部はデータ信号を符号化し、符号化された信号は送受信部に送られ、変調される。変調された信号は、送信部にて高周波信号に変換され、アンテナ31から送信される。
【0041】
送受信部にはインターフェース部が接続されており、無線基地局30は、該インターフェース部を介してインターネット等のネットワーク(IPネットワークなど)40に接続されている。
【0042】
また、無線基地局30は、無線基地局30の各部(無線部、送受信部、インターフェース部等)を制御する制御部を備える。具体的には、この制御部は、無線部に対してチャネルを指定して送受信周波数や、送受信タイミングを制御する。また、クライアント端末10からの接続要求に対して、その接続の許否及びクライアント端末10の接続数を制御する。
【0043】
さらに、本発明の実施の形態では、無線通信網は1xEV−DO網なので、クライアント端末10から送信された無線通信回線の品質情報及び接続されているクライアント端末数に基づいて、各クライアント端末10に割り当てるデータ通信の帯域幅を決定し、各クライアント端末10に対する無線通信回線の伝送レートを決定する。
【0044】
すなわち、無線基地局30の制御部及び無線部等によって、クライアント端末10から送信された無線通信回線品質情報(DRC情報)及び受信状況情報(受信レポート:RR)を受信する回線品質情報受信手段が構成され、制御部等によって、無線通信回線のデータ伝送レートを決定する伝送レート決定手段が構成されている。
【0045】
データ配信装置は、動画像データを無線通信端末に送信(配信)する装置であり、動画像データを記憶している。データ配信装置はサービス提供側の装置であって、例えば、サーバ等のコンピュータ装置であり、本実施の形態ではサーバとして説明する。なお、動画像データ等のコンテンツを記憶している記憶装置はサーバ内に設けられていてもサーバ外に設けられていてもよい。
【0046】
ストリーミングサーバ20は、クライアント端末10にデータを送信するコンピュータ装置である。ストリーミングサーバ20は、ソースとなる複数のストリームデータを格納するストリームデータ格納部(ストレージ装置、ハードディスク等の記憶装置)に映像ソース21a〜21eを記憶している。この映像ソースは、1xEV−DO網の広い帯域を複数のレベルに分け、そのレベル毎に設定したビットレートで符号化されたストリームデータを格納する。本実施の形態では、38.4kbps〜2.4Mbpsの範囲を5つのレベルに分け、ビットレートを高いほうから2.4Mbps、1.2Mbps、600kbps、300kbps、100kbpsに設定して符号化した複数のストリームファイルを用意する。
【0047】
ストリームデータ選択部26は、レート予測部24で予測した無線区間の実効レートに合わせて、ストリームデータ格納部から適切なビットレートの映像ソース21a〜21eを選択する。例えば、予測レートが400kbpsであれば600kbpsのストリームデータを選択し、予測レートが100kbps以下であれば100kbpsのストリームデータを選択する。そして、該映像ソースを記憶装置から読み出して、トランスコーディング部22に送る。
【0048】
トランスコーディング部22では、読み出した映像ソースを、読み出した映像データと異なるビットレートでMPEG等の動画像符号化規格に基づいて再符号化して、送信部23に送る。すなわち、トランスコーディング部22では、ストリームデータ選択部26で選択されたストリームデータ(映像ソース)からビットストリームを読み出し、予測レートに合わせた符号化レートでの再符号化(トランスコーディング)を行い、レートを変更する。
【0049】
具体的には、トランスコーディング部22では、例えば、MPEG−1やMPEG−2などのデータ形式で保存されている動画コンテンツを一旦画像データに復号した後、別の符号化方式(例えば、MPEG−4)や別の画像フォーマット、符号化レートで再符号化する。再符号化の際に必要なビットレートを得るために処理するフレームを間引いてフレームレートを変更したり、再符号化の際に量子化係数を変更して圧縮率を上げたり、送信するDCT係数の数を減らしてデータ量の削減を行っている。この技術により1つの画像ソースから無線区間のレート変動に合わせて複数レートのストリームデータを送信することが可能となる。
【0050】
送信部23は、ストリームデータを通信プロトコルに基づいてセグメント化しデータをパケットとしてネットワーク(IPネットワークなど)40に送信する。
【0051】
レート予測部24は、ストリーミングサーバ20が符号化するデータの符号化レートを予測して、データの符号化レートを決定する。すなわち、本発明では、クライアント端末10は、ストリーミングサーバ20から送信されたデータの受信状況情報として、パケットロス率、ロスパケット数、受信したパケットのシーケンス番号の最大値、到着間隔ジッタ等を含む受信レポートをストリーミングサーバ20に送信する。また、クライアント端末10は、クライアント端末10と無線基地局30との間の無線通信回線の品質情報としてDRC情報をストリーミングサーバ20に送信する。そして、ストリーミングサーバ20は、受信したフィードバック情報(受信レポート(受信状況情報)及びDRC情報(回線品質情報))に基づいて、無線区間の実効レートを予測して、ストリーミングサーバ20が符号化するデータの符号化レートを決定する。
【0052】
この実効レートの予測は、クライアント端末10から最近受信したフィードバック情報のみを使用してもよいし、過去に受信したフィードバック情報や該フィードバック情報から予測レートを記憶しておき、その変動から伝送時間を加味した将来のレートを予測するように構成してもよい。また、様々な情報を用いた他の公知の予測方法も取りうる。また、レート予測の間隔や符号化レートの切替え間隔についても特に限定はしない。ただしストリームデータの切替えはストリームデータ内のIフレーム(I−VOP)の開始時点にすることが望ましい。
【0053】
制御部25は、トランスコーディング部22、送信部23等のストリーミングサーバ20の各部を制御する。具体的には、レート予測部24からデータ符号化レートを取得し、データ符号化レートに適合した符号化方法、符号化のための情報(例えば、DCT係数、量子化係数等)をトランスコーディング部22に指示する。また、送信部23から送信されるパケット数を制御する。
【0054】
このように、本発明の実施の形態のストリーミングサーバ20では、ストリームデータ選択部26とトランスコーディング部22とによって、ファイル切替方式とトランスコーディング方式とを組み合わせて用いている。そして、1xEV−DO網の広い帯域(38.4kbps〜2.4Mbps)を複数のレベルに分け、そのレベル毎にソースとなるビットストリームデータ(映像ソース21a〜21e)を記憶して、ストリームデータ選択部26はクライアントからのフィードバック情報をもとに送信するストリームデータを選択し、ファイルを切り替える。さらに送信部23との間に設けられたトランスコーディング部22がフィードバック情報に基づいて予測したレートでトランスコーディングをすることによって、ファイルを切り替えた後の実効レートとの差を調整する。また、実効レートの変動幅が小さい場合はトランスコーディングのみでレート制御を行うように制御する。
【0055】
このように構成することでソースとなるストリームデータから実際に送信するストリームデータに変換する際のビットレートの変更幅が小さくなり、ソースデータからの画質の劣化が少なくなるとともに、変換処理にかかる時間も短縮できる。
【0056】
なお、以上説明した実施の形態では、ストリーミングサーバ20がストリーミングデータを符号化するレートをストリーミングサーバ20で算出したが、クライアント端末10で、ストリーミングサーバ20がストリーミングデータを符号化するレートを算出して、クライアント端末10からストリーミングサーバ20に通知するように構成してもよい。
【0057】
図3は、本発明の実施の形態のストリーミングサーバ20の送信処理を説明するフローチャートである。
【0058】
本フローチャートでは、ストリーミングサーバ20は、ストリーミングデータの配信開始時には設定可能な最も低いレートからデータの配信を開始し、その後フィードバック情報(受信レポート)を使って実効レートを予測して符号化レートを制御する。
【0059】
トランスコーディング部22は、ビットストリーム中のスタートコードを検出する(S1)。
【0060】
そして、スタートコードがシーケンスエンドコードであるか否かを判定する(S2)。スタートコードがシーケンスエンドコードの場合、データの送信処理を終了する(S10)。
【0061】
一方、スタートコードがシーケンスエンドコードでない場合、実効レート予測処理(S3)に進む。レート予測部24では、クライアント端末10からのフィードバック情報に基づいて無線通信回線の実効レートを予測して実効レート予測処理を行う(S3)。このときクライアント端末10から最近受信したフィードバック情報のみを使用してもよいし、過去に受信したフィードバック情報や該フィードバック情報から予測レートを記憶しておき、その変動から伝送時間を加味した将来のレートを予測するように構成してもよい。様々な情報を用いた他の公知の予測方法が取りうる。
【0062】
実効レートの予測後、実効レートの予測値とトランスコーディング部22の符号化レートとを比較し、符号化レートの変更が必要か否かを判定する(S4)。そして、実効レートの予測値(すなわち、ストリーミングサーバ20からデータを送信するレート)と読み出された映像ソース21a〜21eの符号化レートに相違がなければ、トランスコーディング部22で符号化レートを変更する必要がないものと判定し、ステップS9に移行し、現在の符号化レートを維持して再符号化(トランスコーディング)を継続する。
【0063】
一方、実効レートの予測値より読み出された映像ソース21a〜21eの符号化レートの方が大きければ、符号化レートの変更が必要であると判定する。そして、ストリーミングサーバ20から送信するデータの符号化レートを実効レートに合わせるために、映像ソース(ストリームデータ)の切替えが必要か否かを判定する(S5)。
【0064】
すなわち、トランスコーディング部22において、データの符号化レートを大きく変化させると、ストリームデータの品質(画質、音質等)が劣化するので、トランスコーディング部22に入力される映像ソースは、再符号化後の符号化レートに最も近いものを使用することが望ましい。そこで、ステップS5では、映像ソースの切替えが必要か否かを判定して、ストリームデータの切替えが必要なければ、ステップS8に移行し、トランスコーディング部の符号化レートを設定し(S8)、トランスコーディングを行う(S9)。
【0065】
一方、ストリームデータ(映像ソース)の切替えが必要な場合は、ビットストリームデータのヘッダ情報から次にトランスコーディングを行うデータの符号化タイプがフレーム内符号化か否かを判別する(S6)。フレーム内符号化であるの場合には、ストリームデータ選択部はこの予測レートから適切なビットレートのストリームデータを選択して、ストリームデータ(映像ソース)を切り替えるする(S7)。
【0066】
例えば、予測レートが400kbpsであれば600kbpsのストリームデータを選択する。続いてトランスコーディング部22を、600kbpsのソースデータから400kbpsのストリームデータを生成するための符号化レートに設定し、トランスコーディングを行う。また、予測レートが100kbps以下であれば100kbpsのストリームデータを選択し、トランスコーディング部22を、100kbpsのソースデータから目的とするレートのストリームデータを生成するための符号化レートに設定する。
【0067】
フレーム内符号化でない場合は、ソースとなるストリームデータを変更せず、トランスコーディング部22の符号化レートの変更だけで制御を行う。例えば、いま600kbpsのストリームデータをソースとしてストリーミングを行っている状態で、予測レートが200kbpsとなった場合には、符号化タイプがフレーム内符号化であればストリームデータを300kbpsに切り替えた後トランスコーディングで200kbpsのデータを送出するが、フレーム内符号化でない場合には600kbpsのソースデータから200kbpsのストリームデータに変換してデータを送信する。そして、次のフレーム内符号化フレームのタイミングでストリームデータを切り替える。
【0068】
これとは逆に、予測レートがソースデータの符号化レートより高くなった場合、次のフレーム内符号化フレームのタイミングまでは、そのストリームデータで変換可能な最高レートで送信を行い、次のフレーム内符号化フレームのタイミングでストリームデータを切り替える。
【0069】
図4は、本発明を適用した場合の符号化レートの変化を示す図である。横軸は通信開始からの経過時間、縦軸は予測レートを示す。
【0070】
予測レートが100kbpsを超え300kbps以下の値であるときは、ストリームデータ選択部26で300kpbsの映像ソース21dが選択され、トランスコーディング部22で100kbps〜300kbpsのストリーミングデータに再符号化される。そして、予測レートが300kbpsを超える(600kbps以下の)値まで上昇してくると、ストリームデータ選択部26で600kbpsの映像ソース21cが選択され、トランスコーディング部22で300kbps〜600kbpsのストリーミングデータに再符号化される。さらに、予測レートが600kbpsを超える(1.2Mbps以下の)値まで上昇してくると、ストリームデータ選択部26で1.2Mbpsの映像ソース21bが選択され、トランスコーディング部22で600kbps〜1.2Mbpsのストリーミングデータに再符号化される。さらに、予測レートが1.2Mbpsを超える値まで上昇してくると、ストリームデータ選択部26で2.4Mbpsの映像ソース21aが選択され、トランスコーディング部22で1.2Mbps〜2.4Mbpsのストリーミングデータに再符号化される。このようにストリーミングサーバ20から送信されるストリーミングデータの符号化レートによって、異なる符号化レートの映像データ21a〜21eが選択される。なお、この予測レートと映像ソースの切り替えにヒステリシス特性を持たせると、短時間の変化に対して映像ソースの切り替えが頻繁に生じることがなく、都合がよい。
【0071】
また、実効レートの変動幅が小さい場合はトランスコーディングのみでレート制御を行うように制御する。
【0072】
【発明の効果】
第1の発明では、予測レート(受信レポート及び/又はDRC情報)に基づいて決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段(ストリームデータ選択部26)と、前記選択されたソースデータの符号化レートを変更するトランスコード手段(トランスコーディング部22)とを備え、トランスコーディング方式とファイル切替え方式とを組み合わせてビットレートを可変する制御をするので、クライアントからのフィードバック情報に基づいて複数の記憶されたファイルを切り替えて、そして、ファイルを切り替えた後の実効レートとの差の調整にはトランスコーディングによるので、伝送レートの変動の大きい通信システムにおいても、効率よく、細かなレートを制御することができる。また、ストリーミングサーバに対する変換処理の負荷や記憶領域に関する負荷が軽減できる。そして、高速パケット通信ネットワークでのストリーミングサービスの品質を向上することができる。
【0073】
第2の発明では、無線通信端末(クライアント端末10)に、予測レート(受信レポート及び/又はDRC情報)に基づいて、サーバが前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段(制御部17)を備え、サーバ(ストリーミングサーバ20)に、前記無線通信端末で決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段(ストリーミングデータ選択部26)と、前記選択されたソースデータの符号化レートを変更するトランスコード手段(トランスコーディング部22)とを備え、無線通信端末でサーバが前記コンテンツデータを符号化する符号化レートを決定するので、サーバの負荷を軽減することができ、細かい判断をすることができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態の無線通信システムの構成図である。
【図2】 本発明の実施の形態の無線通信システムを構成する各装置のブロック図である。
【図3】 本発明の実施の形態のストリーミングサーバ20の送信処理のフローチャートである。
【図4】 本発明を適用した場合の符号化レートの変化を示す図である。
【符号の説明】
10 クライアント端末
11 アンテナ
12 無線部
13 送受信部
14 受信バッファ
15 復号部
16 表示部
17 制御部
20 ストリーミングサーバ
21 映像ソース
22 トランスコーディング部
23 送信部
24 レート予測部
25 制御部
26 ストリームデータ選択部
30 無線基地局
31 アンテナ
40 ネットワーク

Claims (8)

  1. データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、
    前記無線通信端末は、
    前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信するレート情報送信手段を備え、
    前記データ配信装置は、
    複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、
    前記無線通信端末から送信された前記情報を受信する受信手段と、
    前記情報に基づいてデータ配信装置から前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、
    前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、
    前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
    前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とする通信システム。
  2. データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、
    前記無線通信端末は、
    前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、
    前記符号化レートの情報をデータ配信装置に送信するレート情報送信手段と、を備え、
    前記データ配信装置は、
    複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、
    前記符号化レート決定手段によって決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段と、
    前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
    前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とする通信システム。
  3. データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、
    前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信する送信手段と、
    複数のレートで符号化されたコンテンツソースデータのうち、前記情報に基づいて決定された符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備えることを特徴とする無線通信端末。
  4. データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、
    前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、
    複数のレートで符号化されたコンテンツソースデータをのうち、前記決定した符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備えることを特徴とする無線通信端末。
  5. コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、
    複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、
    前記コンテンツデータの符号化レートを決定するために必要な情報を前記無線通信端末から受信する受信手段と、
    データ配信装置が前記コンテンツデータを符号化する符号化レートを、前記情報に基づいて決定する符号化レート決定手段と、
    前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、
    前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
    前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とするデータ配信装置。
  6. コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、
    複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記無線通信端末において決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、
    前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
    前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とするデータ配信装置。
  7. データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、
    前記無線通信端末は、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を前記データ配信装置に送信し、
    前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記無線通信端末から送信された前記情報を受信し、データ配信装置が前記コンテンツデータを符号化する符号化レートを前記情報に基づいて決定し、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする通信方法。
  8. データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、
    前記無線通信端末は、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定し、
    前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする通信方法。
JP2002317415A 2002-10-31 2002-10-31 通信システム、無線通信端末、データ配信装置及び通信方法 Expired - Fee Related JP4028356B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002317415A JP4028356B2 (ja) 2002-10-31 2002-10-31 通信システム、無線通信端末、データ配信装置及び通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002317415A JP4028356B2 (ja) 2002-10-31 2002-10-31 通信システム、無線通信端末、データ配信装置及び通信方法

Publications (2)

Publication Number Publication Date
JP2004153620A JP2004153620A (ja) 2004-05-27
JP4028356B2 true JP4028356B2 (ja) 2007-12-26

Family

ID=32460823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002317415A Expired - Fee Related JP4028356B2 (ja) 2002-10-31 2002-10-31 通信システム、無線通信端末、データ配信装置及び通信方法

Country Status (1)

Country Link
JP (1) JP4028356B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760772B2 (en) 2000-12-15 2004-07-06 Qualcomm, Inc. Generating and implementing a communication protocol and interface for high data rate signal transfer
US8812706B1 (en) 2001-09-06 2014-08-19 Qualcomm Incorporated Method and apparatus for compensating for mismatched delays in signals of a mobile display interface (MDDI) system
KR101166734B1 (ko) 2003-06-02 2012-07-19 퀄컴 인코포레이티드 고속 데이터 레이트를 위한 신호 프로토콜 및 인터페이스의 생성 및 구현
JP2007507918A (ja) 2003-08-13 2007-03-29 クゥアルコム・インコーポレイテッド さらに高速なデータレート用の信号インタフェース
DE602004019797D1 (de) 2003-09-10 2009-04-16 Qualcomm Inc Schnittstelle für hohe datenrate
EP2244437B1 (en) 2003-10-15 2013-09-04 Qualcomm Incorporated High data rate interface
CN1902880A (zh) 2003-10-29 2007-01-24 高通股份有限公司 高数据速率接口
EP2247066B1 (en) 2003-11-12 2012-09-26 Qualcomm Incorporated High data rate interface with improved link control
CN101053232A (zh) 2003-11-25 2007-10-10 高通股份有限公司 具有改进链路同步的高数据速率接口
CA2548412C (en) 2003-12-08 2011-04-19 Qualcomm Incorporated High data rate interface with improved link synchronization
EP2309695A1 (en) 2004-03-10 2011-04-13 Qualcomm Incorporated High data rate interface apparatus and method
AU2005223960B2 (en) 2004-03-17 2009-04-09 Qualcomm Incorporated High data rate interface apparatus and method
EP2020790B1 (en) 2004-06-04 2013-02-27 Qualcomm Incorporated High data rate interface apparatus and method
US8650304B2 (en) 2004-06-04 2014-02-11 Qualcomm Incorporated Determining a pre skew and post skew calibration data rate in a mobile display digital interface (MDDI) communication system
US7660366B2 (en) 2004-08-30 2010-02-09 Harmonic Inc. Message synchronization over a stochastic network
US8723705B2 (en) 2004-11-24 2014-05-13 Qualcomm Incorporated Low output skew double data rate serial encoder
US8667363B2 (en) 2004-11-24 2014-03-04 Qualcomm Incorporated Systems and methods for implementing cyclic redundancy checks
US8873584B2 (en) 2004-11-24 2014-10-28 Qualcomm Incorporated Digital data interface device
US8692838B2 (en) 2004-11-24 2014-04-08 Qualcomm Incorporated Methods and systems for updating a buffer
WO2006058050A2 (en) * 2004-11-24 2006-06-01 Qualcomm Incorporated Systems and methods for implementing cyclic redundancy checks
US8699330B2 (en) 2004-11-24 2014-04-15 Qualcomm Incorporated Systems and methods for digital data transmission rate control
US8539119B2 (en) 2004-11-24 2013-09-17 Qualcomm Incorporated Methods and apparatus for exchanging messages having a digital data interface device message format
JP4641791B2 (ja) 2004-12-15 2011-03-02 パイオニア株式会社 遠隔再生システム、遠隔再生方法およびコンピュータプログラム
WO2006085366A1 (ja) * 2005-02-09 2006-08-17 Mitsubishi Denki Kabushiki Kaisha 無線通信装置および無線通信システム
JP4544029B2 (ja) * 2005-05-16 2010-09-15 日本電気株式会社 携帯端末、ストリーミング通信システム、ストリーミング通信方法及びストリーミング通信プログラム
US8730069B2 (en) 2005-11-23 2014-05-20 Qualcomm Incorporated Double data rate serial encoder
US8692839B2 (en) 2005-11-23 2014-04-08 Qualcomm Incorporated Methods and systems for updating a buffer
US8612619B2 (en) * 2006-03-31 2013-12-17 Alcatel Lucent Method and apparatus for improved multicast streaming in wireless networks
JP4620696B2 (ja) * 2007-02-27 2011-01-26 株式会社日立製作所 ストリーミングデータ伝送システム、コグニティブ制御ノード、ビデオサーバ、トランスコーディング方法、及び帯域予約方法
JP2008311795A (ja) * 2007-06-12 2008-12-25 Sony Corp コンテンツ配信システム、配信サーバ、受信端末及びコンピュータプログラム
JP2009044651A (ja) * 2007-08-10 2009-02-26 Mitsubishi Electric Corp コンテンツ配信方法、コンテンツ配信システム、無線端末及びコンテンツ配信サーバ
JP5011142B2 (ja) * 2008-01-31 2012-08-29 株式会社日立製作所 無線基地局及びスケジューリング方法
US8300584B2 (en) * 2009-05-11 2012-10-30 Alcatel Lucent System and method for cell-edge performance management in wireless systems using distributed scheduling
JP5609088B2 (ja) * 2009-12-07 2014-10-22 日本電気株式会社 データ配信システム、データ配信装置、データ配信方法及びプログラム
JP5509931B2 (ja) * 2010-03-02 2014-06-04 ソニー株式会社 送信装置、データ送信方法、および通信システム
JP2011130515A (ja) * 2011-03-30 2011-06-30 Toshiba Corp データ伝送システム
JP6033095B2 (ja) * 2013-01-16 2016-11-30 日本放送協会 ファイル伝送装置
JP6225446B2 (ja) 2013-03-26 2017-11-08 富士通株式会社 動画像データ配信装置、方法、プログラム、及びシステム
JP6765246B2 (ja) * 2016-07-21 2020-10-07 日本放送協会 送信装置及びプログラム
JP7138739B2 (ja) * 2021-02-10 2022-09-16 ソフトバンク株式会社 通信システム、通信装置、及びプログラム
EP4401408A4 (en) 2021-09-10 2024-12-25 Panasonic Intellectual Property Management Co., Ltd. Video transmission system, delivery device, display device, video transmission method, and program
WO2024018525A1 (ja) * 2022-07-19 2024-01-25 日本電信電話株式会社 映像処理装置、方法およびプログラム

Also Published As

Publication number Publication date
JP2004153620A (ja) 2004-05-27

Similar Documents

Publication Publication Date Title
JP4028356B2 (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
US6111863A (en) Method and apparatus for the dynamic allocation of signal bandwidth between audio, video and data signals
RU2277303C2 (ru) Способ обеспечения услуги потоковой передачи видеоданных
KR101068055B1 (ko) 통신 채널을 통한 정보의 전달
US8910223B2 (en) Layered coded streaming control for unicast/MBMS interaction
KR100713435B1 (ko) 이동통신시스템에서 다중 데이터 전송률 서비스 제공 장치 및 방법
RU2414091C2 (ru) Адаптация скорости видео к состояниям обратной линии связи
US7161957B2 (en) Video packets over a wireless link under varying delay and bandwidth conditions
JP6980810B2 (ja) 論理チャネルにリソースを割り当てる方法、端末装置及びネットワーク装置
KR100800794B1 (ko) 패킷망을 통해 음성 서비스를 지원하는 이동통신시스템에서 음성 서비스의 전송률을 제어하는 방법 및 장치
JP2004153618A (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
US20050070293A1 (en) Communication terminal and base station selection method
US11109022B2 (en) Transmitter communication device and method for transmitting video data
CN101047476B (zh) 一种选择调制方式的方法和装置
CN101442712B (zh) 无线通信系统、基站、无线终端以及无线通信方法
JP2004153619A (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
US20110243077A1 (en) Base station apparatus, base radio transmission method in base station apparatus, and radio communication system
US7831265B1 (en) Mobile rate control in mobile to mobile video communication
JP4000046B2 (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
JP4325952B2 (ja) 無線通信端末及び通信方法
JP2005101815A (ja) 携帯通信端末
KR100667351B1 (ko) 멀티미디어 데이터 전송 방법, 장치 및 이를 위한프로그램이 기록된 기록매체 및 멀티미디어 데이터 전송제어 방법
JP3967249B2 (ja) 通信システム、無線通信端末、データ配信装置及び通信方法
JP4687061B2 (ja) 無線通信装置及び無線通信システム
JP2005341403A (ja) 信号配信方法ならびにそれを利用した基地局装置および通信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees