[go: up one dir, main page]

JPH09130749A - 動画像データの復号方式 - Google Patents

動画像データの復号方式

Info

Publication number
JPH09130749A
JPH09130749A JP28173495A JP28173495A JPH09130749A JP H09130749 A JPH09130749 A JP H09130749A JP 28173495 A JP28173495 A JP 28173495A JP 28173495 A JP28173495 A JP 28173495A JP H09130749 A JPH09130749 A JP H09130749A
Authority
JP
Japan
Prior art keywords
data
unit
image data
moving image
mpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP28173495A
Other languages
English (en)
Other versions
JP2924739B2 (ja
Inventor
Hideo Sakamoto
秀雄 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP28173495A priority Critical patent/JP2924739B2/ja
Priority to AU70477/96A priority patent/AU719855B2/en
Priority to FR9613182A priority patent/FR2740639B1/fr
Priority to US08/740,484 priority patent/US5969763A/en
Publication of JPH09130749A publication Critical patent/JPH09130749A/ja
Application granted granted Critical
Publication of JP2924739B2 publication Critical patent/JP2924739B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 ＭＰＥＧデータが、ＣＰＵの負荷等により転
送効率の変動を起こしても、動画を滑らかに再生表示す
る。 【解決手段】 伝送されたＭＰＥＧデータから動画像デ
ータを抽出し順次復号化する動画像データの復号方式に
おいて、抽出された動画像データを所定のデータ単位で
複数蓄積可能なデータバッファ部を備え、該データ単位
でデータバッファ部へ動画像データを蓄積し、該データ
単位でデータバッファ部から動画像データを取出して復
号化を行う。具体的には、上記所定のデータ単位よりも
少ないデータ量をしきい値として設定し、データバッフ
ァ部に蓄積されていく動画像データが、上記しきい値を
越えた場合、及びデータバッファ部に蓄積された上記デ
ータ単位の動画像データが、順次復号化されてしきい値
以下となった場合に、次のデータ単位の動画像データの
転送を要求することで、データバッファ部４を監視し、
復号化処理を効率良くする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像をより少な
い符号量に圧縮したＭＰＥＧデータを用いて動画再生を
行うマルチメディアデータ通信に関し、特に、そのデー
タ復号方式に関するものである。
【０００２】
【従来の技術】膨大なデータ量を必要とする動画像デー
タを符号化してより少ないデータ量に圧縮するＭＰＥＧ
方式は、マルチメディアデータ通信において極めて重要
な技術である。ＡＴＭ通信を用いたＶＯＤ（ビデオ・オ
ン・デマンド）システム等においては、ＭＰＥＧデータ
をサーバ（ＭＰＥＧデータ転送装置）からＴＣＰ／ＩＰ
などのプロトコルを用いてＣＰＵ装置（マルチメディア
通信端末）に転送する。転送されるＭＰＥＧデータはＧ
ＯＰ単位に区切られており、その内部は更にヘッダ部と
呼ばれる時間やＩＤ番号といった画像や音声データ以外
の情報が入った領域と、画像、音声が入った領域に別れ
ているので、マルチメディア端末での処理によってヘッ
ダ部を取り除き画像、音声データのみを取り出して復号
化し画面表示を行っている。
【０００３】
【発明が解決しようとする課題】しかしながら、ＡＴＭ
通信を用いたＶＯＤシステムでは、サーバ側からＭＰＥ
Ｇデータを転送するときはＴＣＰ／ＩＰのようなプロト
コルによって行われるが、転送処理にＣＰＵを使用する
ため、該マルチメディア通信端末又はサーバ上で稼働す
るアプリケーション等の負荷により転送速度にばらつき
が生じてしまう。すなわち、アプリケーションの負荷に
よりマルチメディア通信端末からのデータ転送要求が遅
れたり、サーバからのデータ転送タイミングが遅れたり
することがあった。このような転送のばらつきが生ずる
と、マルチメディア通信端末装置で動画を再生するとき
に再生画像が滑らかに表示されなかったり、再生モード
の切り替りが遅くなったりする問題が発生していた。
【０００４】本発明は、上記従来の問題点に鑑みてなさ
れたものであり、ＭＰＥＧデータが、アプリケーション
によるＣＰＵの負荷等により転送効率の変動を起こして
もマルチメディア通信端末側で動画を滑らかに再生表示
することができる動画像データの復号方式を提供するこ
とを目的としている。
【０００５】
【課題を解決するための手段】上記目的を達成するため
本発明の動画像データの復号方式は、ＭＰＥＧデータを
効率良くデータバッファに蓄積するために、複数のデー
タ単位でＭＰＥＧデータを格納して各データ単位での蓄
積状態を監視するように構成してある。
【０００６】すなわち、本発明は伝送されたＭＰＥＧデ
ータから動画像データを抽出し順次復号化する動画像デ
ータの復号方式において、抽出された動画像データを所
定のデータ単位で複数蓄積可能なデータバッファ部を備
え、該データ単位でデータバッファ部へ動画像データを
蓄積し、該データ単位でデータバッファ部から動画像デ
ータを取出して復号化を行う構成としてある。
【０００７】また請求項２記載の本発明は、請求項１記
載の発明において、上記所定のデータ単位よりも少ない
データ量をしきい値として設定し、上記データ単位に伝
送され順次データバッファ部に蓄積されていく動画像デ
ータが上記しきい値を越えた場合、及びデータバッファ
部に蓄積された上記データ単位の動画像データが順次復
号化されて上記しきい値以下となった場合に、次のデー
タ単位の動画像データの転送を要求する構成としてあ
る。
【０００８】
【発明の実施の形態】次に本発明の実施形態について図
面を参照して説明する。図１は、ＡＴＭ通信を用いたマ
ルチメディア通信端末のシステム構成図である。図１に
おいて、マルチメディア通信端末１０は、ＭＰＥＧデー
タ転送装置６（サーバ）からのＭＰＥＧデータを受け付
ける通信処理部８、受信したＭＰＥＧデータを復号化し
モニタ１に動画像を表示再生するＭＰＥＧ制御部９、及
び通信処理部８及びＭＰＥＧ制御部９を制御するＣＰＵ
７を含んで構成されている。
【０００９】上記ＭＰＥＧ制御部９は、システム処理部
５、データバッファ部４、デコード部３、表示回路２及
び入力制御部１３を備えている。ＭＰＥＧデータ転送装
置６から転送されるＭＰＥＧデータは、プライベートデ
ータと呼ばれるＭＰＥＧデータのＩＤ等の情報が入った
領域と、動画像データが入った領域を有しており、シス
テム処理部５は、このプライベートデータの領域と動画
像データの領域を分離し、動画像データをデータバッフ
ァ４に蓄積する。デコード部３は、データバッファ４内
に蓄積された動画像データを順次復号化し、表示回路２
に出力する。入力制御部１３は、入力装置１４から入力
される動画再生等の命令を受けてＣＰＵ７に渡すもので
ある。
【００１０】ＭＰＥＧデータは、ＭＰＥＧデータ転送装
置６から通信処理部８に転送され、いったんメモリ１２
へ格納される。マルチメディア通信端末１０上で起動す
る動画再生用のアプリケーションがデバイスドライバを
起動させると、このメモリ１２に格納されたＭＰＥＧデ
ータは、ＣＰＵ７によってホストＣＰＵバス１１からシ
ステム処理部５へ送られる。そして、ここでプライベー
トデータと動画像データに分離される。動画像データ
は、次にデータバッファ部４に蓄積される。このデータ
は、次にデコード部３に送られ表示可能なデータに再生
され表示回路２を通ってモニタ１にて映像が得られる。
【００１１】図２は、データバッファ部４によるデータ
蓄積方式の概念を図示したものである。ここで、データ
バッファ部４は、所定の容量を持ったＦＩＦＯメモリで
ある。上述したＭＰＥＧデータは、アプリケーション上
で設定されるＭＰＥＧデータ単位で転送が行われ、その
データ単位を仮に６４ＫＢと設定するとＦＩＦＯメモリ
は〜ｎまでのｎ個の６４ＫＢのＭＰＥＧデータを蓄積
できる。
【００１２】本発明では、転送データ単位の上限よりや
や低いところ（データ単位よりも僅かに少ないデータ
量）に境界値Ａ〜Ｄがそれぞれ設定される。いま、ＭＰ
ＥＧデータがこの境界値Ａを越えてデータバッファ部４
に蓄積されると、割り込みが発生する。割り込みが発生
するとデバイスドライバはアプリケーションに対してコ
ールバック処理を発行し、ＭＰＥＧデータ単位での（６
４ＫＢ）データ要求を行う。
【００１３】また、逆にＭＰＥＧデータがデータバッフ
ァ４から順次読み出されてデコード部３によって復号化
されていくと、データバッファ部４に蓄積されたＭＰＥ
Ｇデータは減っていき、この境界値を割ると同様に割り
込みが発生してデータ要求が行われる。なお、上記境界
値は、最終データであるｎでは、これ以上ＭＰＥＧデー
タを蓄積できないので設定する必要がない。
【００１４】次に、図３に沿ってアプリケーションとデ
バイスドライバによりデータバッファ４にどのようにＭ
ＰＥＧデータが蓄積されるかを説明する。なお、図中Ｈ
／Ｗ部はハードウエア部を、Ｄ／Ｄはデバイスドライバ
部を、Ａ／Ｐ部はアプリケーション部をそれぞれ指す。
【００１５】まず、マルチメディア通信端末１０の利用
者が入力装置１４からサービス（画像再生）の要求命令
を入力すると、このサービスを行うアプリケーション
は、ＭＰＥＧ制御部９を制御するデバイスドライバへＭ
ＰＥＧデータがデータバッファ部４にあるかどうかの確
認を行わせる（図３中の２０及び２１）。
【００１６】もし、データバッファ部４内にデータが無
く転送が可能であるとのレスポンスが返れば（同２２及
び２３）、アプリケーションはＭＰＥＧデータ転送装置
６にデータ転送単位（例えば６４ＫＢ）のデータを要求
し（同２４）、データが転送されるとデバイスドライバ
にメモリ経由で渡す（同２５及び２６）。そして、デバ
イスドライバからの転送命令によりデータバッファ部４
にＭＰＥＧデータ転送単位のデータが書き込まれる（同
２７）。
【００１７】次いで、データバッファ部４にＭＰＥＧデ
ータが書き込まれると、デコード部３は直ちにＭＰＥＧ
データの復号化を開始する。データバッファ部４にデー
タが書き込まれ、書き込みデータ量が図２における境界
値Ａを越えると、ＭＰＥＧ制御部９より割り込みが発生
し（同２８）、それを受けたデバイスドライバはコール
バック処理をアプリケーションに渡す（同２９）。アプ
リケーションはＭＰＥＧデータ転送装置６にデータ要求
を出し（同３０）、データが転送されると（同３１）、
これをデバイスドライバに渡し（同３２）、それがデー
タバッファ部４に書き込まれる（同３３）。
【００１８】このようにしてｎデータまで順次転送を行
い、転送モードの変更などによりこのシーケンスが終了
するまでこの手順が繰り返される。データバッファ部４
は常にＭＰＥＧデータが最大容量方向で蓄積されるよう
になり、たとえ、システムの負荷などによりＭＰＥＧデ
ータの転送速度が変動してもそれをＭＰＥＧデータバッ
ファ部４に蓄積されたデータにより吸収できるようにな
る。すなわち、デコード部３は、データバッファ部４に
蓄積されたデータを順次復号化するため、アプリケーシ
ョン等の負荷によりＭＰＥＧデータ転送装置６からの転
送が遅れることがあっても復号化処理に影響を与えるこ
とがなくなり、効率よく復号化が行われる。
【００１９】
【発明の効果】以上説明したように、本発明によるＭＰ
ＥＧデータ転送装置からのＭＰＥＧデータが、システム
の負荷変動などにより転送効率の変動を起こしてもＭＰ
ＥＧデータバッファに蓄積されたデータにより変動を吸
収することが可能となり、常に滑らかな動画再生が可能
となる。
【図面の簡単な説明】
【図１】本発明に係るマルチメディア通信端末装置の一
実施形態を示したシステム全体の構成図である。
【図２】本発明に係るデータバッファ部におけるデータ
蓄積方式の概念を図示したものである。
【図３】本発明におけるマルチメディア通信端末装置で
のＭＰＥＧデータの処理シーケンスを示す図である。
【符号の説明】
１ モニタ ２ 表示回路 ３ デコード部 ４ データバッファ部 ５ システム処理部 ６ ＭＰＥＧデータ転送装置 ７ ＣＰＵ ８ 通信処理部 ９ ＭＰＥＧ制御部 １０ マルチメディア通信端末装置 １１ システムバス １２ メモリ １３ 入力制御部 １４ 入力装置 ２０〜４２ 制御命令

Claims (2)

    【特許請求の範囲】
  1. 【請求項１】 伝送されたＭＰＥＧデータから動画像デ
    ータを抽出し順次復号化する動画像データの復号方式に
    おいて、 抽出された動画像データを所定のデータ単位で複数蓄積
    可能なデータバッファ部を備え、該データ単位でデータ
    バッファ部へ動画像データを蓄積し、該データ単位でデ
    ータバッファ部から動画像データを取出して復号化を行
    うことを特徴とする動画像データの復号方式。
  2. 【請求項２】 上記所定のデータ単位よりも少ないデー
    タ量をしきい値として設定し、上記データ単位に伝送さ
    れ順次データバッファ部に蓄積されていく動画像データ
    が上記しきい値を越えた場合、及びデータバッファ部に
    蓄積された上記データ単位の動画像データが順次復号化
    されて上記しきい値以下となった場合に、次のデータ単
    位の動画像データの転送を要求することを特徴とする請
    求項１記載の動画像データの復号方式。
JP28173495A 1995-10-30 1995-10-30 動画像データの復号方式 Expired - Fee Related JP2924739B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP28173495A JP2924739B2 (ja) 1995-10-30 1995-10-30 動画像データの復号方式
AU70477/96A AU719855B2 (en) 1995-10-30 1996-10-29 Decoding system for motion picture data
FR9613182A FR2740639B1 (fr) 1995-10-30 1996-10-29 Systeme de decodage pour donnees cinematographiques
US08/740,484 US5969763A (en) 1995-10-30 1996-10-30 Decoding system for motion picture data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28173495A JP2924739B2 (ja) 1995-10-30 1995-10-30 動画像データの復号方式

Publications (2)

Publication Number Publication Date
JPH09130749A true JPH09130749A (ja) 1997-05-16
JP2924739B2 JP2924739B2 (ja) 1999-07-26

Family

ID=17643247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28173495A Expired - Fee Related JP2924739B2 (ja) 1995-10-30 1995-10-30 動画像データの復号方式

Country Status (4)

Country Link
US (1) US5969763A (ja)
JP (1) JP2924739B2 (ja)
AU (1) AU719855B2 (ja)
FR (1) FR2740639B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007515896A (ja) * 2003-12-16 2007-06-14 インフォーカス コーポレイション 表示装置への画像データの送信を制御するシステムおよび方法
US7321715B2 (en) 2002-07-15 2008-01-22 Sony Corporation Picture data reproducing apparatus and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269398B1 (ko) * 1997-08-30 2000-10-16 구자홍 반복재생을지원하는엠펙비디오디코딩장치및그방법
KR100287366B1 (ko) * 1997-11-24 2001-04-16 윤순조 엠피이지 방식을 이용한 휴대용 음향 재생장치 및 방법
JP4595150B2 (ja) * 1999-12-20 2010-12-08 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム格納媒体
US6766376B2 (en) 2000-09-12 2004-07-20 Sn Acquisition, L.L.C Streaming media buffering system
US6823394B2 (en) 2000-12-12 2004-11-23 Washington University Method of resource-efficient and scalable streaming media distribution for asynchronous receivers
US7272658B1 (en) 2003-02-13 2007-09-18 Adobe Systems Incorporated Real-time priority-based media communication
US8051287B2 (en) 2008-10-15 2011-11-01 Adobe Systems Incorporated Imparting real-time priority-based network communications in an encrypted communication session
CN111935497B (zh) * 2020-09-18 2021-01-12 武汉中科通达高新技术股份有限公司 一种用于交警系统的视频流管理方法和数据服务器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
US5365552A (en) * 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
JPH06319111A (ja) * 1993-02-24 1994-11-15 N T T Data Tsushin Kk 復号化システム
DE69317267T2 (de) * 1993-05-19 1998-06-25 Alsthom Cge Alcatel Netzwerk für Video auf Anfrage
JPH06348580A (ja) * 1993-06-08 1994-12-22 Hitachi Micom Syst:Kk マルチメディア転送装置
US5414455A (en) * 1993-07-07 1995-05-09 Digital Equipment Corporation Segmented video on demand system
KR960008470B1 (en) * 1994-01-18 1996-06-26 Daewoo Electronics Co Ltd Apparatus for transferring bit stream data adaptively in the moving picture
US5521630A (en) * 1994-04-04 1996-05-28 International Business Machines Corporation Frame sampling scheme for video scanning in a video-on-demand system
US5606359A (en) * 1994-06-30 1997-02-25 Hewlett-Packard Company Video on demand system with multiple data sources configured to provide vcr-like services
US5541919A (en) * 1994-12-19 1996-07-30 Motorola, Inc. Multimedia multiplexing device and method using dynamic packet segmentation
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321715B2 (en) 2002-07-15 2008-01-22 Sony Corporation Picture data reproducing apparatus and method
JP2007515896A (ja) * 2003-12-16 2007-06-14 インフォーカス コーポレイション 表示装置への画像データの送信を制御するシステムおよび方法
US7797369B2 (en) 2003-12-16 2010-09-14 Seiko Epson Corporation System and method for controlling a transmission of image data to a display device
JP2010246100A (ja) * 2003-12-16 2010-10-28 Infocus Corp 表示装置への画像データの送信を制御するシステムおよび方法
JP4702486B2 (ja) * 2003-12-16 2011-06-15 セイコーエプソン株式会社 画像表示装置への画像データの送信を制御する方法および画像表示装置

Also Published As

Publication number Publication date
FR2740639A1 (fr) 1997-04-30
US5969763A (en) 1999-10-19
JP2924739B2 (ja) 1999-07-26
FR2740639B1 (fr) 1999-01-22
AU719855B2 (en) 2000-05-18
AU7047796A (en) 1997-05-08

Similar Documents

Publication Publication Date Title
US6005599A (en) Video storage and delivery apparatus and system
US8134605B2 (en) Apparatus for transmitting an HTML file with a captured or stored image to an electronic device over a network
US20020122656A1 (en) Method and apparatus for recording broadcast data
JPH1070718A (ja) ビデオ・データ伝送方法
JPH0898166A (ja) ビデオの対話型再生のための効率的なサポート
US6141709A (en) Peripheral circuitry for providing video I/O capabilities to a general purpose host computer
US9055272B2 (en) Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method
JPH08511915A (ja) 適応型画像伸張
JPH09130749A (ja) 動画像データの復号方式
EP1850339A1 (en) Demultiplexing device and demultiplexing method
US6035096A (en) Video/audio decoding and reproducing apparatus and method
JP3072971B2 (ja) ビデオ・オン・デマンドシステムとそれを構成するビデオサーバ装置及び端末装置
JP3060877B2 (ja) マルチメディアシナリオ再生装置
JP2005110024A (ja) データ送信装置、データ送受信システム、及びデータ送受信方法
US20040086262A1 (en) Video data reproducing system and method
JPH09186967A (ja) 動画処理方法
JP3476313B2 (ja) 可変ビットレート対応時間連続メディアサーバシステム
JP2003143582A (ja) ストリーム映像受信制御方法、およびストリーム映像配信システム、およびストリーム映像受信装置
JPH0981472A (ja) メディアサーバーのスケジューラー
EP1534005A2 (en) Method and apparatus for recording broadcast data
US20040220877A1 (en) Media center storage device proxy
JPH06204954A (ja) 通信衛星を利用した映像データの配信装置
JP2000069473A (ja) 画像復号装置及び画像表示装置並びに画像表示システム
JPH11239334A (ja) ブリッジ制御クライアント装置
JPH09116864A (ja) Ｍｐｅｇ２データ転送方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090507

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100507

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110507

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110507

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120507

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130507

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130507

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140507

Year of fee payment: 15

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees