[go: up one dir, main page]

JPH05504873A - テレビ電話カメラのスループット圧縮方法及びテレビ電話カメラ - Google Patents

テレビ電話カメラのスループット圧縮方法及びテレビ電話カメラ

Info

Publication number
JPH05504873A
JPH05504873A JP3500670A JP50067091A JPH05504873A JP H05504873 A JPH05504873 A JP H05504873A JP 3500670 A JP3500670 A JP 3500670A JP 50067091 A JP50067091 A JP 50067091A JP H05504873 A JPH05504873 A JP H05504873A
Authority
JP
Japan
Prior art keywords
photoelectric
array
charge transfer
register
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3500670A
Other languages
English (en)
Other versions
JP3177241B2 (ja
Inventor
ギシャール,ジャック
ブシュナー,ジョルジュ
ウーザン,ジャン―イヴ
ウルトー,ジャン―クロード
Original Assignee
トムソン―セーエスエフ
フランス テレコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トムソン―セーエスエフ, フランス テレコム filed Critical トムソン―セーエスエフ
Publication of JPH05504873A publication Critical patent/JPH05504873A/ja
Application granted granted Critical
Publication of JP3177241B2 publication Critical patent/JP3177241B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Fluid-Pressure Circuits (AREA)
  • Blow-Moulding Or Thermoforming Of Plastics Or The Like (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 電荷転送充電素子アレーを備えるテレビ電話カメラのスルーブツト圧縮方法及び 装置及び対応する画像伝送装置本発明は、電荷転送光電素子アレーを備えるテレ ビ電話カメラのスループット圧縮装置及び方法に関するものである。本発明は、 また、対応する画像伝送装置に関するものである。
動画伝送装置のカメラによって伝送される情報のスループットを少なくするため に、バッファメモリに画像を記憶し、それによって、ラインをインタアレースす ることなくにして、その結果として、伝送時、2つの画像のうち1つの画像だけ を保持するか、または、1秒につき伝送される画像数を1/4または1/6の割 合に少なくしたり、または、伝送される画像を例えば長さを様々にした様々な型 のコードでコード化することが公知である。しかしながら、これらの技術を実施 すると、コストがかかり、そのコストがこの主の装置の要求される平均品質を反 映するテレビ電話カメラには、容易に応用することができない。
本発明の目的は、上記の欠点を軽減することにある。
このため、本発明の主題は、画像センサとして電荷転送光電素子のアレーを備え るテレビ電話カメラのスループ7)圧縮方法であって、 光電素子のアレーを、偶数ラインの光電素子と奇数ラインの光電素子とで構成さ れるインターレース式の2つのフレームに分割し、 第1の期間T1中に、偶数ラインの各光電素子によって供給される電荷をそれぞ れ第1の記憶素子に転送し、上記の第1の期間T1に続<$2のw4間T、中に 上記第1の記憶素子M1に含まれる電荷をそれぞれ第2の記憶素子に転送し、 第3の期間T、中に、上記の菓2の光電素子に記憶される電荷を、奇数ラインの それぞれ対応する光電素子によって供給された電荷にそれぞれ加え、 上記カメラのそれぞれ所望のスルーブツトに応じて、タイミング速度に反比例す る光電素子のアレーのラインの走査期間に対する上g己期間T、、T、及びT、 のデユーティサイクルを連続して調節する、 ことからなることを特徴とする方法である。
本発明の主題は更に、上記の方法を実施する装置、及び上記の方法及び装置のテ レビ電話による画像伝送装置製造への応用である。
本発明は、インクライン転送を実施するように構成されたアレーにもインタフレ ーム転送を実施するように構成されたアレーにも等しく良好に使用できるという 利点がある。
また、本発明には、電荷転送光電素子アレーのラインに含まれる情報を2つずつ 合成することによる空間フィルタリング及び単位時間当たりに検出される画像の 数を減少させることによる時間フィルタリングを実施することができ、例えば、 CCIR規格による1秒あたり50フレームを含む画像から、例えば、1秒あた り50.25.16.7.12.5.10または8.3個の割合で展開する画像 に移ることができるという利点がある。また、電荷転送光電素子アレーの点で実 施するサンプリングを遅い速度で実施できるという点から、運動中の物体または 人について空間時間フィルタリングを実施することができる。これによって、運 動の低周波数成分をより良好に明らかにすることができる。さらに、電荷転送光 電素子アレーに入力される制御信号がタイミングの減少は、電荷転送素子の蓄積 時間を大きくし、アレーの各光電素子から供給される信号の振幅を大きくし、こ れによって、本発明による光電素子アレーを備えるカメラの感度を太きくすると いう効果がある。
本発明のその他の特徴及び利点は、添付図面を参照して行う以下の説明から明ら かになろう。
第1図は、本発明による方法を図示したものであり、第2図は、本発明によるテ レビ電話カメラ用の電荷転送光電素子のアレーを図示したものであり、 第3図及び第4図は、それぞれ、本発明による方法の実施態様を図示した概略図 であり、 第5a図及び第5b図は、それぞれ、第2図及び第3図の装置の動作に対応する 時間のグラフであり、第6図は、本発明によるテレビ電話の全体の概略図である 。
第1図の基本的な概略図によって図示した本発明による方法は、カメラのセンサ を形成する光電素子のアレーを、インターレース式の光電素子の2つのフレーム に分割して、各フレームの対応するラインを互いに結合することによって画像の 圧縮を実施することからなる。従って、第1図では、576本のラインで形成さ れたこの実施例の光電素子1のアレーは、1〜575の番号の奇数ラインからな る第」のフレームと2〜576の番号の偶数ラインを含む。このように、2つの フレームの対応するラインは、ライン対からなる順番に並んだシーケンス5−( 1,2)、(3,4)、(5,6)・・・(575,576)を形成する。
次に、各ライン対の対応する光電素子によって供給される輝度値を互いに加えて 、画像の圧縮を実施する。その合成によって得られた結果を、その後、いずれか の適切な公知の方法でコード化して、それらをテレビ電話受信機に伝送する。
このように、光電素子は、2つの画像フレーム、すなわち、偶数T、と奇数T。
を供給する。これらのフレームは、2つのフレームの対応するライン間を接続せ ずにこれらのフレームを連続して読み出した時に得られるものとは異なり、カメ ラのスキャンジェネレータによって読み出した時に、互いに同じである。この結 果を得ることができる電荷転送光電素子1のアレーを第2図に示した。それは、 「インクライン転送」構造として構成されており、アレーの光電素子の連続した 列に間に配置された電荷転送記憶素子のレジスタ2を備える。レジスタ2の各素 子によって、第3図及び1g4図に図示したように、光電素子の各フレームで2 つの対応する光電素子によって供給される電荷を加えることができる。この動作 は、罵3図は、Tl、T2、T3とラベル付けされた3つの連続した期間に実施 される。期間T1時に、偶数ラインの各光74素子によって供給される電荷は、 レジスタ2の記憶素子M1に転送される。期間T2時に、記憶素子M1に記憶さ れている電荷は、レジスタ2の記憶素子M2の内部に転送される。期間13時に 、記憶素子M2に記憶されている電荷は、他のフレームの対応する光電素子から 来る電荷に加えられる。しかしながら、この態様が唯一ではなく、特に、第4図 に図示したように、光電素子の各対から来る2つの電荷を、2つのスイッチング 装置4及び5を介して光電素子に接続されたコンデンサ3に注入する態様もある ことに留意されたい。2つのスイッチング装置4及び5は、例えば、電荷転送レ ジスタが光電素子自体の列から構成されている「フレーム転送」構造を備えるア レーを使用するとき、M OS )ランジスタによって形成された 本発明による装置の機能に必要な特徴的なタイミングは全て、同期信号のシーケ ンサ(図示せず)によって得られる。その1つの可能な態様は、例えば、トムソ ンーセーエスエス(THOMSON−CSF)によって出願された「プログラム 可能な同期信号ジェネレータ<Programmable generator  or synchronising signals) Jと題されたフラン ス国特許出願公報第2.596.600号に記載されている。
時間フィルタリングを実施するためには、信号は、可変の期11Jia−1一定 のデユーティサイクル々相対位相を備えていなければならない。
第5a図及び1g5b図に図示したように、特徴的なタイミングT1、T2、T 、の任意の信号の場合、シーケンサは、可変の周波数クロックに基づいて、光電 素子のアレーとそれに組み合わされたカメラ(図示せず)の処理チェーンの制御 に必要な信号を供給するようにプログラムされていなければらなない。このため 、制御信号の特徴的なタイミングは、適切な周波数範囲内で、光電素子アレーの 垂直及び水平方向での電荷の転送を確実にするために、そして、サンプリング動 作、輝度およびクロミナンス信号の分離処理、連続した成分の復元、圧縮及び同 期化動作等のカメラ内で電荷転送アレーによって供給される信号の処理を可能に するために、完全に相似でなければならない。
例えば、CC[R規格によって1秒当たり625本のラインの速度で輝度情報を 低スループットエンコーダのメモリに入力し、サンプリングによって、そこから ラインスループットと処理すべき情報量による特定数nから1つだけを抽出する 代わりに、シーケンサをドライブするクロックを可変周波数とすることによって 、連続して調節できる光電装置の検出速度を、例えば、1秒当たり50個の画像 から1秒当たり8.3個の画像の間で選択することができ、それによって、カメ ラのエンコード回路の変換及び読み戻し段を単純にする。しかしながら、このよ うに処理することによって、画像の検出速度が小さいほど大きくなる電荷転送素 子の積分時間の間にカメラの視野を動く大または物体に関して、「ぼけ」作用が 生じるのは避けがたい。この「ぼけ」は、「ストリーキング」とも呼ばれること もあるが、効果的に利用することができる。すなわち、1つは、運動中の物体に 関する空間解像度が減少しているので、従って、伝送すべき情報が少tlいカメ ラの低スルーブツトエンコーダの構造を単純化するために、もう一つは、処理す べき情報の瞬間スループットが大きすぎる時は、その時の運動の低周波数空間成 分が優勢なので、コード化に必要な運動検出器の構造を単純化するために、「ぼ けJは効果的に利用することができる。
タイミングの減少が、20m5の一定の積分時間で検出される画像の周期的な抽 出(2から1つ、3から1つ、・・・またはnから1つ)によ、で実施される公 知の低周波数検出装置きは異なり、本発明による方法及び装置では、これらの同 じ検出を同じ速度で、しかし、タイミングの速度に反比例して延びる積分時間、 すなわち、タイミング減少が1/2.1/3または1/4の場合、それぞれ、2 .3、またはnの時間で実施することをできる。各光電素子によって出力される 信号の振幅は、積分時間に比例している。出力信号の振幅は、もちろん、カメラ によって観察された光景の輝度及びその光学装置の相対的な開きを一定にすると 、タイミング速度が減少する場合、積分時間の増大比に応じて増大する。さらに 、これによって、本発明による光電素子アレーを備えるカメラの低スルーブツト 出力の低域フィルタリングを容易に実施するとかでき、一方、対応するデジタル フィルタにカットオフ周波数を与えることができる。このカットオフ周波数は、 また、これらのフィルタではカットオフ周波数がサンプリング周波数の半分に等 しいので、タイミングの比1/2.1/3、・・・1/nで変化する。一方、各 光電素子によって放出される黒レベル電圧は、また、2.3、・・・nの比で大 きくなり、他方、それに組み合わされた有効ノイズ電圧は、1/2.1/3、− ・・1 / nの比だけで大きくなる。信号対ノイズの比は、検出速度が小さく なるよ同時に大きくなる。従って、この方法によって、従来の方法と比較すると 、例えば、13Hzの画像タイミングでl0dBの信号対ノイズ比の向上、すな わち、3倍の感度の向上を得ることができる。これは、入力信号の信号対ノイズ 比によって性能が決定されれるデジタルコード−デコード装置(CODEC)の 場合極めて大きい。
本発明による方法及び装置を実施することを可能にする画像伝送装置を第6図に 図示した。この装置は、公知のように、画像センサ6、エンコーダ7、伝送チャ ネルまたは伝送ライン7、デコーダ9、及びディスプレイスクリーン10を備え る。
FIG、2 国際調査報告 国際調査報告

Claims (1)

  1. 【特許請求の範囲】 1、画像センサとして電荷転送光電素子(1)のアレーを備えるテレビ電話カメ ラのスループット圧縮方法であって、光電素子のアレーを、偶数ラインの光電素 子と奇数ラインの光電素子(1・・・576)とで構成されるインターレース式 の2つのフレームに分割し、 第1の期間T1中に、偶数ラインの各光電素子によって供給される電荷をそれぞ れ第1の記憶素子に転送し、上記の第1の期間T1に続く第2の期間T2中に上 記第1の記憶素子M1に含まれる電荷をそれぞれ第2の記憶素子に転送し、 第3の期間T3中に、上記の第2の光電素子に記憶される電荷を、奇数ラインの それぞれ対応する光電素子によって供給された電荷にそれぞれ加え、 上記カメラのそれぞれ所望のスループットに応じて、タイミング速度に反比例す る光電素子のアレーのラインの走査期間に対する上記期間T1、T2及びT3の デューティサイクルを連続して調節する、 ことからなることを特徴とする方法である。 2.転送の前に、各光電素子から供給される輝度値を2つずつ合成(2、3)す ることを特徴とする請求項1に記載の方法。 3.各光電素子対によって供給される輝度値の合成は、各光電素子によって放出 された電荷を、各光電素子対の両光電素子にそれぞれ共通な電荷転送記憶素子( M2)に転送するか、または、光電セルの列からなるレジスタに転送することに よって実施することを特徴とする請求項2に記載の方法。 4.各光電素子によって放出される電荷の転送を、可変の周波数発生器によって タイミング決定することを特徴とする請求項1〜3のいずれか1項に記載の方法 。 5.光電素子の各アレーは、そのアレーの連続した列の間に配置された電荷転送 記憶素子のレジスタ(2)を備えることを特徴とする請求項1〜4のいずれか1 項に記載の方法。 6.光電素子の各アレーは、光電素子として且つ電荷転送レジスタとして動作す る列からなることを特徴とする請求項5に記載の装置。 7.レジスタの各記憶素子は、スイッチング装置(4、5)を介して上記アレー の光電素子に接続されることを特徴とする請求項5または6に記載の装置。 8.上記の各スイッチング装置(4、5)は、MOSトランジスタによって形成 されていることを特徴とする請求項7に記載の装置。 9.伝送チャネル(8)を介して表示スクリーン(10)に接続された画像セン サを備える画像伝送装置であって、その画像センサ(6)は、対をなして配置さ れた光電素子(1)のアレーと、コード化する情報のスループットを減少させる ために、可変のタイミングで、上記光電素子の各対によって供給される電荷を加 算し、その結果生じる電気の信号をコード化して、上記伝送チャネル(8)に伝 送するための電荷転送記憶素子の復数のレジスタ(2)を備え、それによって、 装置の感度を向上させ、コードーデコード方法を単純化することを特徴とする装 置。
JP50067091A 1989-12-01 1990-11-27 テレビ電話カメラのスループット圧縮方法及びテレビ電話カメラ Expired - Lifetime JP3177241B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR8915887A FR2655504B1 (fr) 1989-12-01 1989-12-01 Procede et dispositif de compression de debit pour camera visiophonique munie d'une matrice photosensible a transfert de charges et systeme de transmission d'images correspondant.
FR89/15887 1989-12-01

Publications (2)

Publication Number Publication Date
JPH05504873A true JPH05504873A (ja) 1993-07-22
JP3177241B2 JP3177241B2 (ja) 2001-06-18

Family

ID=9388045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50067091A Expired - Lifetime JP3177241B2 (ja) 1989-12-01 1990-11-27 テレビ電話カメラのスループット圧縮方法及びテレビ電話カメラ

Country Status (8)

Country Link
US (1) US5365270A (ja)
EP (1) EP0433123B1 (ja)
JP (1) JP3177241B2 (ja)
CA (1) CA2069873C (ja)
DE (1) DE69017160T2 (ja)
ES (1) ES2068362T3 (ja)
FR (1) FR2655504B1 (ja)
WO (1) WO1991008643A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19539803A1 (de) * 1995-10-26 1997-04-30 Thomson Brandt Gmbh Fernsehtelefonanlage
JPH11355517A (ja) * 1998-06-12 1999-12-24 Ricoh Co Ltd デジタル画像形成装置
JP2000115790A (ja) * 1998-09-30 2000-04-21 Fuji Photo Optical Co Ltd 撮像装置
FR2787275B1 (fr) 1998-12-15 2001-02-23 Thomson Csf Camera numerique et procede de commande numerique associe

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4339775A (en) * 1980-06-16 1982-07-13 Eastman Technology, Inc. Fast frame rate augmentation
JPS57203387A (en) * 1981-06-10 1982-12-13 Toshiba Corp Color television image pickup device
JPS58119278A (ja) * 1982-01-08 1983-07-15 Nippon Kogaku Kk <Nikon> 固体撮像装置
FR2580133B1 (ja) * 1985-04-05 1988-06-24 Thomson Csf
JPS63224488A (ja) * 1987-03-12 1988-09-19 Sony Corp 時間軸圧縮伸長装置
US4831453A (en) * 1987-04-10 1989-05-16 Kabushiki Kaisha Toshiba Solid-state imaging device having high-speed shutter function and method of realizing high-speed function in solid-state imaging device

Also Published As

Publication number Publication date
JP3177241B2 (ja) 2001-06-18
US5365270A (en) 1994-11-15
CA2069873C (en) 2000-10-03
WO1991008643A1 (fr) 1991-06-13
FR2655504B1 (fr) 1992-02-21
EP0433123A1 (fr) 1991-06-19
DE69017160T2 (de) 1995-07-20
CA2069873A1 (en) 1991-06-02
DE69017160D1 (de) 1995-03-30
ES2068362T3 (es) 1995-04-16
EP0433123B1 (fr) 1995-02-22
FR2655504A1 (fr) 1991-06-07

Similar Documents

Publication Publication Date Title
KR920003654B1 (ko) 고속셔터 기능이 있는 고체 촬상소자
US7030923B2 (en) Digital camera having overlapped exposure
US6765616B1 (en) Electric camera
US4963981A (en) Image sensor device capable of electronic zooming
US6377304B1 (en) Solid-state image-pickup devices exhibiting faster video-frame processing rates, and associated methods
US5978023A (en) Color video camera system and method for generating color video signals at increased line and/or frame rates
US20100053356A1 (en) Imaging Device And Video Signal Generating Method Employed In Imaging Device
US5663761A (en) Solid-state image pick-up apparatus with two channels
JP2595077B2 (ja) 撮像装置
JPH089269A (ja) 高感度テレビカメラ装置
US7236194B2 (en) Image signal processing apparatus
JPH05504873A (ja) テレビ電話カメラのスループット圧縮方法及びテレビ電話カメラ
JP2005191814A (ja) 固体撮像装置、及び画素信号読み出し方法
US20030146996A1 (en) Imaging apparatus
JP2000308076A (ja) 撮像装置
JPS62291269A (ja) 固体カラ−撮像装置
JPH0474911B2 (ja)
JPH06315154A (ja) カラー撮像装置
JP3925479B2 (ja) 撮像装置
JPS61172488A (ja) 固体撮像装置
JP2000286408A (ja) 固体撮像装置および信号読出し方法
JP2663621B2 (ja) 固体撮像装置
JP2000261817A (ja) 撮像装置
JPH0918888A (ja) リニアセンサカメラを用いた撮像装置
JPH0750918B2 (ja) 固体撮像素子の駆動装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080406

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090406

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 10