[go: up one dir, main page]

JP4175729B2 - 電子撮像装置 - Google Patents

電子撮像装置 Download PDF

Info

Publication number
JP4175729B2
JP4175729B2 JP10522999A JP10522999A JP4175729B2 JP 4175729 B2 JP4175729 B2 JP 4175729B2 JP 10522999 A JP10522999 A JP 10522999A JP 10522999 A JP10522999 A JP 10522999A JP 4175729 B2 JP4175729 B2 JP 4175729B2
Authority
JP
Japan
Prior art keywords
camera shake
continuous
image data
shot image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10522999A
Other languages
English (en)
Other versions
JP2000299813A (ja
Inventor
久嗣 末兼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP10522999A priority Critical patent/JP4175729B2/ja
Publication of JP2000299813A publication Critical patent/JP2000299813A/ja
Application granted granted Critical
Publication of JP4175729B2 publication Critical patent/JP4175729B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、特に連写機能及び手振れ補正機能を備えた電子撮像装置に関する。
【0002】
【従来の技術】
近年、被写体を電子的撮像機能により画像データに変換して、当該画像データを記録媒体に記録する電子カメラが普及している。電子カメラは、ディジタルカメラとも呼ばれている電子スチールカメラ以外に、ディジタルビデオカメラも含む。但し、具体例としては電子スチールカメラを想定する。
【0003】
最近の電子カメラでは、撮影動作に必要な画像処理速度の向上や、画像データを格納するバッファメモリのメモリ容量の増大化に伴って、連続的に撮影可能ないわゆる連写機能を有する製品が実現している。電子カメラの連写機能とは、開始から終了までのレリーズ時間に応じた画像データ(例えば1秒間に4画面分の画像データ)をバッファメモリに格納することにより、時間的に連続した静止画像を得ることである。
【0004】
ところで、ユーザがカメラを手に持って撮影する場合には、いわゆる手振れ現象が発生する。特に、連写撮影では、手振れ現象による影響(再生画像の変動)が大きい。このため、電子カメラにおいても、手振れ補正機能が必要である。
【0005】
従来、ビデオカメラや銀塩フイルム用カメラなどで採用されている手振れ補正方法としては、撮像素子であるCCDの出力画素範囲を手振れ状態に応じて移動させる方法や、手振れ状態に応じてレンズ光学系自体を光軸に対して偏移駆動させる方法などが周知である。
【0006】
【発明が解決しようとする課題】
前述したように、電子カメラの連写機能には、実際上では手振れ補正機能が必要である。しかしながら、前述した従来の手振れ補正方法は、必ずしも電子カメラに適しているとはいえない。即ち、前者のCCDの出力画素範囲を移動させる方法は、CCDの構成画素の全てを有効に利用することができず、特に高画質が要求される電子カメラには不向きである。また、後者のレンズ光学系自体を光軸に対して偏移駆動する方法は、レンズ光学系の構造が複雑化するため、カメラ自体の製造コストの上昇や大型化を招くことになる。さらに、同方法は、高い周波数の手振れ現象には対処するのが困難である。
【0007】
そこで、本発明の目的は、複雑な構造の機構を要することなく、かつ高画質を維持できる手振れ補正機能を実現することにより、特に電子カメラにおける連写機能の向上を図ることにある。
【0008】
【課題を解決するための手段】
本発明の第1の観点は、時間的に連続した静止画像からなる連写画像の撮影を指示するレリーズ手段と、前記レリーズ手段による連写撮影時の手振れ状態を検知する手振れ検知手段と、前記連写撮影時により得られた連写画像データと共に、前記手振れ検知手段により得られた手振れ情報を付加して記録する記録手段と、前記記録手段に記録された連写画像データに基づいて前記連写画像を再生するときに、前記記録手段に記録された手振れ情報に基づいて、前記連写画像の再生に必要な画像の出力範囲を設定し、前記連写画像データを構成する各静止画像データの出力範囲を変化させる手振れ補正処理を実行する補正手段と、前記補正手段により補正された連写画像データを出力する出力手段とを備えた電子カメラである
【0009】
このような構成により、本発明の電子カメラは、連写撮影時に連写画像データと共に、手振れ情報を蓄積する。そして、連写画像データにより連写画像を再生するときに、蓄積している手振れ情報を使用して手振れ補正を行なうことができる。従って、レンズ光学系自体を光軸に対して偏移駆動する方法のような複雑な構造の機構を必要とせずに、手振れ情報を使用したいわばソフトウェアによる手振れ補正機能を実現することができる。また、CCDの出力画素範囲を制限せずに、連写画像の再生時に、例えば手振れ状態に応じて画像の表示出力範囲を変化させる(制限させる)ような手振れ補正処理を可能とすることにより、CCDの出力画素数を有効に利用することができる。
【0010】
本発明の第2の観点は、連写画像の再生出力時に、再生出力の一時停止を指示する指示手段を有し、その指示に応じて連写画像データの中で該当する静止画像データの全画素分を出力する機能を備えた電子カメラである。即ち、連写画像の再生時には、前記のように手振れ補正機能により表示出力範囲を手振れ状態に応じて制限されている。この場合、前記の一時停止の指示に応じて連写画像の再生を一時停止し、手振れ補正による制限を解除することにより、その指示のタイミングでの静止画像データの全画素分を出力する。従って、連写画像の再生時以外の静止画像の再生では、設計仕様における高画質の出力が得られる。
【0011】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を説明する。
【0012】
(電子カメラの構成)
本実施形態の電子カメラは連写機能を有し、図1に示すように、大別して撮像系1、制御系2、記録系3、及び出力系4から構成されている。先ず、撮像系1は、撮影レンズ10、CCD(Charge Coupled Device)11、A/Dコンバータ12、及び画像処理回路13を有する。これ以外にも図示しないが、レンズ10のアクチュエータ及びアクチュエータ駆動回路も有する。
【0013】
CCD11は、撮影レンズ10を通じて入射した被写体像を光電変換する。撮影レンズ10は、前記アクチュエータに取り付けられて、アクチュエータ駆動回路の駆動に従ってズームまたはフォーカス駆動されるように構成されている。A/Dコンバータ12は、CCD11により得られた画素毎の画像アナログ信号をディジタル信号に変換する。画像処理回路13は、例えばガンマ補正やホワイトバランス調整などの各種信号処理(画像補正処理)を実行する。
【0014】
制御系2は、マイクロプロセッサ(CPU)からなるシステムコントローラ(以下CPUと表記する)20をメイン要素とし、キー入力部21、バッファメモリ22、画像圧縮処理部23、画像伸長処理部24、及びRAM25を有する。
【0015】
CPU20は、後述する連写機能と連写撮影時の手振れ補正機能と共に、電子カメラ全体を制御する機能(電源制御を含む)を備えている。CPU20は、キー入力部21に接続し、連写開始/終了(S/E)スイッチ21A、静止画レリーズスイッチ21B、モードスイッチ21Cなどの操作に応じた各種の入力操作を制御する。連写開始/終了(S/E)スイッチ21Aは、連写撮影の開始と終了を指示するためのスイッチである。静止画レリーズスイッチ21Bは、いわゆるシャッタ・タイミングで撮影した静止画像を指示するためのスイッチである。モードスイッチ21Cは、連写モード(連写撮影)と単独モード(通常の静止画撮影)との選択設定や、同実施形態に関係する手振れ補正モードの有/無の選択設定などを指示するためのスイッチである。
【0016】
バッファメモリ22は、撮影系1により撮影されて得られる画像データで、通常では複数画面分(例えば5画面分)の画像データを格納する。画像圧縮処理部23は画像記録動作時に、バッファメモリ22に格納された画像データに対する画像圧縮処理を実行する。また、画像伸長処理部24は画像再生動作時に、記録媒体であるメモリカード30から読出された画像データに対する画像伸長処理を実行する。なお、画像圧縮処理部23及び画像伸長処理部24は、CPU20または別のCPUにより実行されるソフトウェアで実現される機能部に相当する。さらに、RAM25は、CPU20の各種制御動作に必要なデータを保持するためのワークメモリであり、後述するように、手振れ情報を記憶する。
【0017】
更に、制御系2には、同実施形態の手振れ補正機能に関係する角速度センサ26が設けられている。角速度センサ26は、撮影動作時(同実施形態では特に連写撮影時)に発生する3軸方向の手振れを検知し、検知結果をディジタル値である手振れ情報としてCPU20に送出する。
【0018】
記録系3は、例えばICメモリであるフラッシュメモリからなる交換型のメモリカード30を記録媒体として使用し、当該メモリカード30の記録再生を制御するためのメモリコントローラ31を有する。
【0019】
出力系4は、TFTパネル40、及びTFT液晶駆動回路を含む表示制御部41を有する。表示制御部41は、CPU20の制御に応じて、バッファメモリ22から出力された1画面分の画像データを、TFTパネル40に表示する。なお、出力系としては、図示していないが、外部装置である例えばテレビジョン受信機に接続可能な出力端子を介して、バッファメモリ22から出力された画像データをビデオ信号に変換して出力するためのビデオ出力部も設けられている。
【0020】
(連写機能の記録動作)
まず、図1と共に、図2のフローチャートを参照して連写撮影(連写記録)の動作を説明する。
【0021】
まず、電子カメラの電源が投入されて、モードスイッチ21Cにより連写モード及び手振れ補正モードが選択設定されている場合を想定する。CPU20は、ユーザによりキー入力部21の連写開始(S)スイッチ21Aの操作に応じて、連写撮影による撮像処理を実行する(ステップS1,S2)。即ち、前述した撮影系1により被写体が撮像処理されて、CPU20の制御により、時間的に連続する複数画面分の静止画像データがバッファメモリ22に順次格納されていく(ステップS4)。バッファメモリ22に格納された画像データは、出力系4のTFTパネル40上に表示される。
【0022】
この連写撮影時に、CPU20は、角速度センサ26により検知される手振れ状態に対応する手振れ情報を入力し、RAM25に蓄積する(ステップS3)。即ち、CPU20は、連写撮影時には角速度センサ26を機能させて、撮影期間の手振れ現象の発生を監視し、手振れ状態(手振れ程度)に対応する手振れ情報を常に取得している。
【0023】
連写撮影では、連写終了(E)スイッチ21Aが操作されるまで、CPU20は、次の撮像タイミングに移行し、時間的に連続する次の静止画像データを撮像系1により得られると、バッファメモリ22に格納していく動作を繰り返す(ステップS5のYES,S6のNO)。電子カメラの連写機能では、CPU20は、バッファメモリ22の各記憶エリアを循環的に繰返し使用して、連写撮影時間に応じた時間的に連続する複数画面分の静止画像データ(連写画像データと表記する)を格納する。ここで、前記の手振れ情報とは、当該連写画像データを構成する各静止画像データ毎に手振れ方向、速度及び振幅値を示す情報である。
【0024】
ユーザにより連写終了(E)スイッチ21Aが操作されると、CPU20は、バッファメモリ22に格納された時間的に連続する静止画像データの中から、記憶された順(古い順)に画像圧縮処理部23で画像圧縮した後に、メモリカード30に記録する(ステップS6のYES,S7)。CPU20は、連写撮影で得られた連写画像データを、画像圧縮処理部23により例えばモーションJPEG規格によるファイル(モーションJPEGファイルと表記する)としてメモリカード30に記録する。このとき、CPU20は、RAM25に蓄積された手振れ情報を読出し、当該モーションJPEGファイルに付加してメモリカード30に記録する(ステップS8)。
【0025】
(連写機能の再生動作)
以上の連写撮影動作により、メモリカード30には、手振れ情報が付加されたモーションJPEGファイル(圧縮された連写画像データファイル)が記録される。CPU20は、キー入力部21の操作による画像再生指示に応じて、メモリカード30から指定のファイルを読出して再生処理(ここではTFTパネル40上への表示出力を意味する)を実行する。以下、図3と図4のフローチャートを参照して説明する。
【0026】
ユーザによるキー入力部21の操作で、再生対象のファイルが選択されると、CPU20はメモリカード30から指定のファイルを読出す(ステップS10)。ファイルがモーションJPEGファイルであれば、CPU20は、連写画像の再生処理を実行する(ステップS11のYES)。CPU20は、読出したモーションJPEGファイルに、前記手振れ情報が付加されている場合には、後述するように、手振れ補正処理を含む再生処理を実行する(ステップS12のYES)。
【0027】
手振れ情報が付加されていない場合には、CPU20は、通常の連写画像の再生処理を実行する(ステップS12のNO,S13)。即ち、CPU20は、モーションJPEGファイルを構成する連写画像データを、画像伸長処理部24で伸長処理してTFTパネル40上に表示出力する(ステップS13〜S15)。
【0028】
ここで、ユーザによるキー入力部21の操作により、再生処理の一時停止が指示されると、CPU20は、連写画像データの再生処理(即ち、時間的に連続した各静止画像データの表示出力処理)を停止し、その指示のタイミングに応じて静止画像データを表示する(ステップS14のYES,S16,S17)。即ち、時間的に連続して表示されている各静止画像の中で、一時停止の指示に応じた静止画像を表示している状態となる。そして、一時停止の解除がなされると、CPU20は、再び連写画像の再生処理に復帰する(ステップS18のYES,S13)。
【0029】
(手振れ補正処理を含む再生動作)
次に、図4のフローチャートを参照して、手振れ補正処理を含む再生処理を実行する場合を説明する(ステップS12のYESを参照)。
【0030】
CPU20は、メモリカード30から読出したモーションJPEGファイルに手振れ情報が付加されている場合には、当該手振れ情報を使用して手振れ補正処理を実行する。具体的には、CPU20は、手振れ情報に含まれる手振れの振幅値の平均値を求めて手振れ状態を識別し、相対的に振幅値が大きい手振れ状態の場合には、連写画像の表示範囲を小さくするように変化させる。また、相対的に振幅値が小さい手振れ状態の場合には、連写画像の表示範囲を大きくするように変化させる。即ち、CPU20は手振れ状態に応じて、連写画像の再生表示範囲を制限するような算出処理を実行する(ステップS20)。ここで、CPU20は、表示範囲の算出方法として、手振れ状態に従って段階的に表示範囲を変化させる(制限する)方法でもよい。そして、CPU20は、算出した表示範囲に基づいて、TFTパネル40の中央部に制限した範囲(ウインドウ)に、連写画像を表示する(ステップS21)。即ち、各静止画像毎の手振れ状態に応じて異なる表示範囲がTFTパネル40の中央部に設定されて、時間的に連続した各静止画像が表示される。
【0031】
CPU20は、モーションJPEGファイルの各静止画像データに対する再生処理が終了すると、連写画像の再生動作を停止する(ステップS23のYES)。ここで、ユーザによるキー入力部21の操作により、再生処理の一時停止が指示されると、CPU20は、手振れ補正処理を含む連写画像データの再生処理を停止し、その指示のタイミングに応じて静止画像データを表示する(ステップS22のYES,S24)。このとき、CPU20は、一時停止の指示に応じた静止画像データの全画素数を有効にして、TFTパネル40の全面に表示する(ステップS25)。そして、一時停止の解除がなされると、CPU20は、再び連写画像の再生処理に復帰する(ステップS26のYES,S21)。
【0032】
以上のように同実施形態の手振れ補正機能によれば、連写撮影時に角速度センサ26により検知された手振れ状態を示す手振れ情報をRAMに蓄積するため、CPU20は必要に応じて、連写画像データを構成する時間的に連続した各静止画像データ毎の手振れ情報を取得することができる。さらに、CPU20は、連写画像データを、例えばモーションJPEGファイルとしてメモリカード30に記録するときに、当該手振れ情報を付加して記録する。
【0033】
CPU20は、連写画像の再生時に、当該連写画像データのファイルに付加された手振れ情報を使用して、手振れ補正処理を実行する。手振れ補正処理は、具体的には、手振れ状態の程度に応じて連写画像の表示範囲を制限し、手振れによる画像の表示変動を視覚的に抑制する。また、連写画像の再生を一時的に停止して、静止画像を再生するときには、表示範囲の制限を解除し、全画素数を有効に利用した表示出力を行なうため、高画質の表示出力を実現できる。従って、同実施形態の手振れ補正方式は、レンズ光学系自体を光軸に対して偏移駆動する方法のような複雑な構造の機構を必要とせずに、手振れ情報を使用したいわばソフトウェアによる手振れ補正処理を実現することができる。また、連写画像の再生時に、手振れ状態に応じて画像の表示出力範囲を変化させる手振れ補正処理を行なうため、撮像系1のCCDの出力画素範囲を制限せずに、CCDの出力画素数を有効に利用することができる。
【0034】
【発明の効果】
以上詳述したように本発明によれば、複雑な構造のレンズ光学系機構や、CCDの出力画素範囲の制限を要することなく、電子カメラの連写機能に関係する手振れ補正機能を実現することができる。従って、簡単な構成でかつ高画質の再生出力を可能とする手振れ補正機能を実現し、結果的に高性能の連写機能を備えた電子カメラを提供することができる。
【図面の簡単な説明】
【図1】本発明の実施形態に関係する電子カメラの要部を示すブロック図。
【図2】同実施形態に関係する連写撮影時の動作を説明するためのフローチャート。
【図3】同実施形態に関係する連写画像の再生動作を説明するためのフローチャート。
【図4】同実施形態に関係する手振れ補正処理を説明するためのフローチャート。
【符号の説明】
1…撮像系
2…制御系
3…記録系
4…出力系
10…撮影レンズ
11…CCD
12…A/Dコンバータ
20…システムコントローラ(CPU)
21…キー入力部
21A…連写開始/終了(S/E)スイッチ
21B…静止画レリーズスイッチ
21C…モードスイッチ
22…バッファメモリ
23…画像圧縮処理部
24…画像伸長処理部
25…RAM
26…角速度センサ(手振れ検知手段)
30…メモリカード
31…メモリコントローラ
40…TFTパネル
41…表示制御部

Claims (3)

  1. 時間的に連続した静止画像からなる連写画像の撮影を指示するレリーズ手段と、
    前記レリーズ手段による連写撮影時の手振れ状態を検知する手振れ検知手段と、
    前記連写撮影時により得られた連写画像データと共に、前記手振れ検知手段により得られた手振れ情報を付加して記録する記録手段と、
    前記記録手段に記録された連写画像データに基づいて前記連写画像を再生するときに、前記記録手段に記録された手振れ情報に基づいて、前記連写画像の再生に必要な画像の出力範囲を設定し、前記連写画像データを構成する各静止画像データの出力範囲を変化させる手振れ補正処理を実行する補正手段と、
    前記補正手段により補正された連写画像データを出力する出力手段と
    を具備したことを特徴とする電子撮像装置。
  2. 前記補正手段は、前記手振れ情報に基づいて、前記連写画像の再生に必要な画像の出力範囲を段階的に制限する手段を有することを特徴とする請求項1記載の電子撮像装置。
  3. 前記出力手段により前記連写画像の再生出力時に、再生出力の一時停止を指示する指示手段を有し、
    前記出力手段は、前記指示手段からの指示に応じて前記連写画像データの中で該当する静止画像データの全画素分を出力することを特徴とする請求項1または請求項2のいずれか1項に記載の電子撮像装置。
JP10522999A 1999-04-13 1999-04-13 電子撮像装置 Expired - Fee Related JP4175729B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10522999A JP4175729B2 (ja) 1999-04-13 1999-04-13 電子撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10522999A JP4175729B2 (ja) 1999-04-13 1999-04-13 電子撮像装置

Publications (2)

Publication Number Publication Date
JP2000299813A JP2000299813A (ja) 2000-10-24
JP4175729B2 true JP4175729B2 (ja) 2008-11-05

Family

ID=14401838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10522999A Expired - Fee Related JP4175729B2 (ja) 1999-04-13 1999-04-13 電子撮像装置

Country Status (1)

Country Link
JP (1) JP4175729B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
JP4350616B2 (ja) 2004-08-24 2009-10-21 キヤノン株式会社 撮像装置及びその制御方法
JP4429148B2 (ja) 2004-11-25 2010-03-10 富士フイルム株式会社 画像撮影記録装置及び方法
JP4528189B2 (ja) * 2005-04-05 2010-08-18 オリンパスイメージング株式会社 撮像装置
JP2007235645A (ja) * 2006-03-02 2007-09-13 Casio Comput Co Ltd デジタルカメラ、および、プログラム
JP4783252B2 (ja) 2006-04-18 2011-09-28 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム
US8786761B2 (en) 2009-06-05 2014-07-22 Apple Inc. Continuous autofocus mechanisms for image capturing devices

Also Published As

Publication number Publication date
JP2000299813A (ja) 2000-10-24

Similar Documents

Publication Publication Date Title
US7692690B2 (en) Image sensing apparatus for recording a moving image and a still image and its control method
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
JP4235393B2 (ja) インデックス画像表示制御装置
US7705904B2 (en) Moving-image recording device for recording moving image
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP2003158653A (ja) ディジタル・ムービ・カメラおよびその動作制御方法
JP2003324644A (ja) 映像信号処理装置、画像表示制御方法、記憶媒体、及びプログラム
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP2006033123A (ja) 撮像装置
JP4175729B2 (ja) 電子撮像装置
JP5105844B2 (ja) 撮像装置及び方法
JP3812264B2 (ja) 撮像装置
JP2001309227A (ja) 映像の大きさ調節が可能な撮影装置及びその制御方法
JP2009065320A (ja) 撮像装置
JP5012985B2 (ja) 撮像装置及びそのプログラム
JP5136624B2 (ja) 撮像装置、撮像方法及びプログラム
JP4276763B2 (ja) 電子カメラ装置
JP4337758B2 (ja) 撮像装置、動画撮影時の静止画表示方法、及びプログラム
JP5211947B2 (ja) 撮像装置及びプログラム
JP2007228050A (ja) 動画像生成機能を有するカメラ
JP2001230959A (ja) 電子カメラ装置
JP2001136420A (ja) 撮像装置
JP4211572B2 (ja) 撮像装置
JP4659716B2 (ja) ディジタル・カメラのインデックス画像表示制御装置ならびにその制御方法およびその制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees