[go: up one dir, main page]

JP2000069353A - 手ぶれ検出装置および手ぶれ補正装置 - Google Patents

手ぶれ検出装置および手ぶれ補正装置

Info

Publication number
JP2000069353A
JP2000069353A JP11164394A JP16439499A JP2000069353A JP 2000069353 A JP2000069353 A JP 2000069353A JP 11164394 A JP11164394 A JP 11164394A JP 16439499 A JP16439499 A JP 16439499A JP 2000069353 A JP2000069353 A JP 2000069353A
Authority
JP
Japan
Prior art keywords
shake
image
signal
image blur
camera shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11164394A
Other languages
English (en)
Other versions
JP4064001B2 (ja
Inventor
Akira Suzuki
明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP16439499A priority Critical patent/JP4064001B2/ja
Publication of JP2000069353A publication Critical patent/JP2000069353A/ja
Application granted granted Critical
Publication of JP4064001B2 publication Critical patent/JP4064001B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

(57)【要約】 【課題】 安価な構成で手ぶれを高速に検出可能な手ぶ
れ検出装置および手ぶれ補正装置を提供すること。 【解決手段】 本発明に係る手ぶれ補正装置は、デジタ
ルカメラ100の機械的なぶれを検出して、ぶれ量に応
じたぶれ信号を像ぶれ検出手段131およびコントロー
ラ121に出力するぶれ検出手段130と、ぶれ信号に
基づき被写体像の像ぶれを検出して、像ぶれに応じた像
ぶれ信号をコントローラ121に出力する像ぶれ検出手
段131と、ぶれ信号および像ぶれ信号に基づき手ぶれ
を補正すべく、検出された手ぶれを相殺させるように手
ぶれ補正部129を動作させるコントローラ121と、
CCD103を移動させて手ぶれ補正を行う手ぶれ補正
部129とを備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、手ぶれ検出装置
および手ぶれ補正装置に関し、詳細には、装置のぶれお
よび被写体像のぶれを検出する手ぶれ検出装置および手
ぶれ検出装置で検出した手ぶれを補正する手ぶれ補正装
置に関する。
【0002】
【従来の技術】従来、カメラ等の光学装置を使用する場
合に、光学装置等の振動によるぶれが問題となってい
る。かかるぶれを防止する方式としては、例えば、以下
に示すような方式が提案されている。
【0003】第1の方式としては、例えば、特公昭56
−21133号公報「カメラ等の光学装置の像安定化方
式」に記載されているように、ジャイロスコープ等を用
いて光学装置自体の振動を検出して、その振動を相殺す
るように光学系の一部または全体を変位させ、光学像の
位置を変位させ光学像の位置を変位させることで防振す
る方法がある。
【0004】第2の方式としては、例えば、特開平7−
177419号公報「テレビジョンカメラ」に記載され
ているように、撮像素子で被写体像を撮像し、撮像素子
から得られた被写体信号により画面内での被写体像の動
きを検出し、この動き信号を相殺するように光学像を変
位させたり、被写体がテレビジョン等の画面内で一定の
位置にくるように、表示領域を切り出して表示する方式
がある。
【0005】上記第1の方式は、光学装置自体の振動を
検出しているのでリアルタイムで振動が検出でき、ぶれ
補正をリアルタイムで行うことができるというメリット
がある反面、振動を検出する検出器が高価でまたその構
成が大型化するというデメリットがある。
【0006】上記第2の方式は、像ぶれの検出に撮像素
子を用いているので、テレビカメラ等では安価に行うこ
とができる。しかるに、像のぶれを画像処理で検出して
いるので、リアルタイムで振動を検出ができない。ま
た、像のぶれを画像処理で処理する一般的な動き検出
は、2次元的な複数の画像の中でパターンマッチングを
行うので処理が複雑で時間を要するという問題がある。
【0007】また、簡易的なぶれ補正方式として、2次
元の情報の内、行方向を平均化して、一次元情報とし、
列方向(上下方向)の動きを検出し、また、2次元の情
報の内、行方向を平均化して、一次元情報として行方向
(左右方向)の動きを検出するものもあるが、平均化に
より画像のコントラストが低下するという問題がある。
【0008】そこで、上記各方式の問題を解決するもの
として、第1の方式と第2の方式とを組み合わせた方式
として、例えば、特開平2−75284号公報の「撮像
装置」、特開平4−163534号公報「カメラのブレ
防止装置」、特開平4−163535号公報「カメラの
ブレ防止装置」、特開平4−215623号公報「カメ
ラのぶれ防止装置」や、特開平5−14801号公報
「手振れ防止装置」に記載されたものがある。
【0009】上記公報に記載された方式は、いずれの方
式も、第1・第2の方式の双方を使用してお互いの短所
を補うものである。具体的には、メカ的ぶれを検出する
ぶれ検出手段と被写体像のぶれを検出するぶれ検出手段
の双方の検出信号であるぶれ信号と像ぶれ信号を状況に
応じて使い分けることで短所を補うものである。
【0010】
【発明が解決しようとする課題】しかしながら、上記第
1と第2の方式を組み合わせた方式は、単純に第1の
方式と第2の方式を組み合わせた構成であるので装置が
高価となり、像ぶれ信号を検出する場合に複雑な動き
検出処理が必要となり時間を要し、リアルタイムの処理
ができず、ぶれ検出手段については角速度センサー等
を使用しているので十分な検出精度が得られない等の問
題を有している。
【0011】本発明は、上記に鑑みてなされたものであ
り、安価な構成で手ぶれを高速に検出可能な手ぶれ検出
装置および手ぶれ補正装置を提供することを目的とす
る。
【0012】
【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、請求項1に係る手ぶれ検出装置
は、装置のぶれを検出し、当該検出した装置のぶれに応
じたぶれ信号を出力するぶれ検出手段と、前記ぶれ信号
に基づいて被写体像の像ぶれを検出し、当該検出した像
ぶれに応じた像ぶれ信号を出力する像ぶれ検出手段と、
を備えたものである。
【0013】また、請求項2記載の手ぶれ検出装置は、
請求項1記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、被写体像を複数回撮像し、当該複数回撮像し
て得られた被写体信号に基づき、像ぶれを検出するもの
である。
【0014】また、請求項3記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、前記複数回の撮像で得られた被写体信号を相
関法に基づいた位相差検出法で像ぶれを検出するもので
ある。
【0015】また、請求項4記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、前記ぶれ信号に基づいて、撮像タイミングを
決定して像ぶれを検出するものである。
【0016】また、請求項5記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、前記ぶれ信号に基づいて、複数の被写体信号
の一部を選択して、像ぶれを検出するものである。
【0017】また、請求項6記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、前記ぶれ信号に基づいて、撮像光学系の光軸
を変更し、当該補正された被写体信号に基づき像ぶれを
検出するものである。
【0018】また、請求項7記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、検出された像ぶれ信号に基づいて、新たに像
ぶれ信号を検出するものである。
【0019】また、請求項8記載の手ぶれ検出装置は、
請求項1記載の手ぶれ検出装置において、前記ぶれ検出
手段は、前記ぶれ信号として、前記装置の重力方向に対
する傾きを示す信号を出力するものである。
【0020】また、請求項9記載の手ぶれ検出装置は、
請求項1記載の手ぶれ検出装置において、前記ぶれ検出
手段は、前記ぶれ信号として、装置の角速度に対応する
信号を出力するものである。
【0021】また、請求項10記載の手ぶれ補正装置
は、請求項1〜9のいずれかに1つに記載の手ぶれ検出
装置を有し、当該手ぶれ検出装置から出力される前記ぶ
れ信号および前記像ぶれ信号に基づき、手ぶれ補正を行
う手ぶれ補正手段を備えたものである。
【0022】
【発明の実施の形態】以下に添付図面を参照して、この
発明に係る手ぶれ検出装置および手ぶれ補正装置の好適
な実施の形態を詳細に説明する。なお、以下に説明する
実施の形態では、この発明の一実施の形態としてデジタ
ルカメラを例に挙げて説明する。
【0023】(実施の形態1)実施の形態1に係るデジ
タルカメラを図1〜図3を参照して説明する。
【0024】図1は本発明の実施の形態1によるデジタ
ルカメラの構成を示すブロック図である。同図におい
て、100はデジタルカメラを示し、かかるデジタルカ
メラ100は、レンズ101、オートフォーカス等を含
むメカ機構102、CCD103A、CDS(相関2重
サンプリング)回路104、A/D変換器105、デジ
タル信号処理部106、DCT107、コーダー10
8、MCC109、バッファメモリ110、ビデオアン
プ111、内部メモリ112、コントローラ121、表
示部122、操作部123、パラメータメモリ124、
モータドライバ125、SG(制御信号生成)部12
6、手ぶれ検出装置130、手ぶれ補正部131などを
備えている。
【0025】レンズユニットは、レンズ101、オート
フォーカス(AF)・絞り・フィルタ部を含むメカ機構
102等からなり、メカ機構102のメカニカルシャッ
ターは2つのフィールドの同時露光を行う。CCD(撮
像素子)103は、レンズユニットを介して入力した映
像を電気信号(アナログ画像データ)に変換する。
【0026】CDS回路104は、CCD型撮像素子に
対する低雑音化のための回路である。またA/D変換器
105は、CDS回路104を介して入力したCCD1
03からのアナログ画像データをデジタル画像データに
変換する。すなわち、CCD103の出力信号は、CD
S回路104を通してA/D変換器105で最適なサン
プリング周波数(例えば、NTSC信号のサブキャリア
周波数の整数倍)にてデジタル信号に変換される。
【0027】また、デジタル信号処理部106は、A/
D変換器105から入力したデジタル画像データを色差
と輝度に分けて各種処理、補正および画像圧縮/伸長の
ためのデータ処理を施す。DCT(Discrete
Cosine Transform)107は、例えば
JPEG準拠の画像圧縮・伸長の一過程である直交変換
を行い、そしてコーダー(Huffman Encod
er/decoder)108は、JPEG準拠の画像
圧縮・伸長の一過程であるハフマン符号化・複合化等を
行う。
【0028】またMCC(Memory Card C
ontroller)109は、圧縮処理された画像と
図示せぬマイクから取り込まれてデジタル化された音声
を一旦蓄え、同時処理して内部メモリ112またはメモ
リカードへの記録・読み出しを行う。コントローラ12
1は、操作部123からの指示、或いは図示しないリモ
コン等の外部動作指示に従い、デジタルカメラの各部の
動作を制御する。
【0029】表示部122は、LCD,LED,EL等
で実現されており、撮影したデジタル画像データや伸長
処理された記録画像データに基づく画像を表示すると共
に、当該デジタルカメラの状態等を表示する。また、操
作部123は、機能選択、撮影指示、およびその他の各
種設定を外部から行うためのボタンを備える。この操作
部123は、レリーズボタン123Aを有しており、こ
のレリーズボタン123Aの操作によりコントローラ1
21へレリーズ信号を出力する。
【0030】手ぶれ検出装置128は、手ぶれを検出し
て検出結果をコントローラ121に出力する。手ぶれ補
正部129は、コントローラ121から出力される制御
信号に従って、CCD103を手ぶれを補正する方向に
移動させ手ぶれ補正を行う。
【0031】上記構成において、手ぶれ検出装置12
8、手ぶれ補正部129,およびコントローラ121
は、手ぶれ補正装置を構成する。
【0032】図2は、上記デジタルカメラの手ぶれ補正
装置の構成を模式的に示す図である。上記手ぶれ検出装
置128は、デジタルカメラ100の機械的なぶれを検
出して、ぶれ量に応じたぶれ信号を像ぶれ検出手段13
1およびコントローラ121に出力するぶれ検出手段1
30と、ぶれ信号に基づき被写体像の像ぶれを検出し
て、像ぶれに応じた像ぶれ信号をコントローラ121に
出力する像ぶれ検出手段131とを備えている。上記コ
ントローラ121は、ぶれ信号および像ぶれ信号に基づ
き、手ぶれを補正すべく、検出された手ぶれを相殺させ
るように、手ぶれ補正部129を動作させる。上記手ぶ
れ補正部129は、例えば、CCD103を変位させる
ためのムービングコイル129Aおよびムービングコイ
ル129Aを駆動するための駆動部129Bからなる。
かかる手ぶれ補正部129は、コントローラ121によ
り制御され、検出された手ぶれを相殺するようにCCD
103を変位させて手ぶれを補正する。図3はムービン
グコイル129Aの外観構成例を示す図である。
【0033】なお、手ぶれ補正を行う場合に、前述の如
くCCD103を動かす替わりに、光学系の一部を動か
すことにしても良い。また、手ぶれ補正する手段として
は、上記したムービングコイルを用いた構成に限られる
ものではなく、圧電素子等のアクチュエータを用いて構
成しても良い。
【0034】以上説明したように、本実施の形態1で
は、ぶれ検出手段130が、装置のぶれを検出し、当該
検出した装置のぶれに応じたぶれ信号を出力し、そし
て、像ぶれ検出手段131が、当該ぶれ信号に基づいて
被写体像の像ぶれを検出し、当該検出した像ぶれに応じ
た像ぶれ信号を出力することとしたので、ぶれ信号によ
り被写体の位置を特定でき、像ぶれ信号の検出を正確か
つ高速に行うことができる。
【0035】(実施の形態2)実施の形態2に係る像ぶ
れ検出手段131を図4〜図11を参照して説明する。
デジタルカメラの基本構成は、実施の形態1と同様な構
成で実現できる。まず、の実施の形態2における手ぶれ
検出方法を図4〜図6を参照して説明する。
【0036】図4〜図6は、手ぶれ検出原理を説明する
ための図である。図4に示すように、デジタルカメラ1
00が、撮影される被写体に対して手ぶれ等によりぶれ
たとすると、図5に示すように、撮影光学系に入射する
被写体からの光線の角度が変わり、撮像素子(CCD)
103に結像される被写体像の位置が、当初Aの位置で
あったのが、Δt時間後、例えばA’の位置に移動する
ことになる。この被写体像の移動を撮像素子面上の像と
して表すと、図6に示すように、Aの位置にあった被写
体像が、Δt時間後、A’に移動した場合、2次元的に
は、X方向にΔX、Y方向にΔY移動したことになる。
従って、このX方向とY方向の移動量ΔX、ΔYを検出
すれば被写体像の移動方向と移動量を検出することがで
きる。
【0037】図7は実施の形態2における像ぶれ検出手
段131の検出部の一例を示す。像ぶれ検出手段131
は、図7に示す如く、Pの間隔で配置された主・副の2
本のラインセンサを備えている。ここで、例えば、当初
被写体像がBの位置にあったものが、Δt時間後に、X
方向にΔX、Y方向にΔY=Pだけ移動して、B’の位
置に移動した場合を考える。ここで、ぶれ検出手段13
0はY方向のぶれΔYを検出し、また、像ぶれ検出手段
131はX方向のぶれを検出する。より具体的には、ま
ず、像ぶれ検出手段131の主ラインセンサが、Bの位
置にある被写体像を検出する。つづいて、ぶれ検出手段
130が、被写体像がBの位置からB’への移動、すな
わち、被写体像のΔYの移動を検出する。そして、像ぶ
れ検出手段131は、ぶれ検出手段130が被写体像の
ΔY=Pの移動を検出した時点で、その副ラインセンサ
により被写体像を検出する。
【0038】図8は像ぶれ検出手段の被写体像の検出タ
イミングを示す。図8に示すように、像ぶれ検出手段1
31の主ラインセンサが被写体信号を検出すると、B主
・副2本のラインセンサの間隔Pと同じ量だけ被写体像
が移動するまで、ぶれ検出手段131がぶれ量ΔYを測
定し、ぶれ量としてΔY=Pを検出した時点で、像ぶれ
検出手段131の副ラインセンサで被写体信号を検出す
る。そして、図9に示すように、得られた主・副2つの
被写体信号(C、C’)により、被写体像のX方向の動
きΔXを検出する。
【0039】すなわち、ぶれ検出手段130によりY方
向のぶれ成分を検出し、ぶれ検出手段130のぶれ信号
に基づき、像ぶれ検出手段131を動作させ、X方向の
ぶれ成分を検出する。
【0040】つぎに、図9におけるΔX、すなわち1対
のラインセンサによる2つの被写体信号の位相差ΔXの
検出方法を図10を参照して説明する。位相差ΔXの検
出方法として、例えば、オートフォーカス等に使用され
る位相差検出方式を用いることができる。すなわち、図
10に示すように、A,Bの2つの信号の位相差を求め
る場合、AまたはBをシフトさせる双方の相関の度合
い、すなわち波形の一致度合いを検出し、A,Bが最も
一致したシフト量が位相差となる。
【0041】ここで、一致度合いの検出は、一般に、Σ
|A−B|で表すことができる。これを図式化したもの
が図11である。同図に示す如く、Σ|A−B|が最小
になった点が最もA,Bが一致しており、その場合のシ
フト量が位相差ΔXとなる。
【0042】また、本実施の形態2では、像ぶれ検出手
段131は、ぶれ信号に基づいて、撮像タイミングを決
定し、像ぶれ信号を検出することとしたので、像ぶれ検
出手段の撮像手段の構成を簡単かつ安価に構成すること
が可能となる。
【0043】(実施の形態3)実施の形態3に係る像ぶ
れ検出手段131を図12〜図16を参照して説明す
る。上記実施の形態2では、ぶれ検出手段130が検出
したぶれ信号に応じて、像ぶれ検出手段131の被写体
像の時間的なサンプリング間隔を決定することとした
が、実施の形態3では、ある一定時間間隔でぶれ量を検
出して、像ぶれ検出手段131を動作させる場合を説明
する。デジタルカメラの基本構成は、実施の形態1と同
様な構成で実現できる。
【0044】図12は、実施の形態3に係る像ぶれ検出
手段131の検知部の構成を示す。像ぶれ検出手段13
1は、同図に示す如く、複数(1〜n)本のラインセン
サを間隔Pで垂直方向に並列された構成である。実施の
形態2と同様にして、ぶれ検出手段130が、デジタル
カメラ100の機械的なぶれを検出し、図12に示す像
ぶれ検出手段131が、一定時間間隔で複数回、被写体
像を撮像する。
【0045】図13は、上記図12に示した像ぶれ検出
手段131の像ぶれ検出原理を説明するための図であ
る。図13において、まず、ある地点で、被写体像がB
の位置にあるとし、一定時間後、手ぶれ等により、被写
体像が、B’の位置に移動したとする。ここで、被写体
像のY成分の移動量ΔYは、ΔY=P(定数)・ΔIで
表すことができ、さらに、Pは定数であるので、ΔI=
ΔY/Pと表すことができる。また、実施の形態2と同
様にΔYはぶれ検出手段130により検出する。同図に
示す例では、ラインセンサでn=2上にあった被写体像
が、ラインセンサの(n=2)+ΔI上に移動すること
になる。
【0046】すなわち、像ぶれ検出手段131は、ライ
ンセンサでn=2と、(n=2)+ΔIの被写体信号を
取り出して、実施の形態2と同様に、上記図9に示した
ように、両者を比較してΔXを検出する。すなわち、像
ぶれ検出手段131は、ある時点で得られた被写体信号
と、その地点からぶれ量ΔYずれた被写体信号とを検出
して比較することによりΔXを検出する。
【0047】以上説明したように、像ぶれ検出手段13
1において、ぶれ信号に基づいて、複数の被写体信号の
一部を選択して像ぶれ信号を検出することとしたので、
正確に被写体信号を選択できる。
【0048】以上説明したように、本実施の形態3で
は、像ぶれ検出手段131は、複数回撮像して得られた
複数の被写体信号により像ぶれを検出することとしたの
で、像ぶれ信号を連続的に検出することが可能となる。
【0049】図14は、像ぶれ検出手段131の検知部
の他の構成例を示す。図14に示す像ぶれ検出手段13
1は、主ラインセンサの両側に副ラインセンサが設けら
れており、上・下どちらに被写体が動いても検出できる
ようにしている。
【0050】図7に示す像ぶれ検出手段131では、前
もって、ぶれ検出手段130により検出されたぶれ信号
のY成分の方向により、2本のラインセンサの主・副の
順位を決定することにしても良い。具体的には、例えば
上記図6で示したように、被写体像が上方向に移動する
場合には、下側のラインセンサを主ラインセンサとして
先に蓄積を開始して被写体像信号を検出し、つぎに、副
ラインセンサを動作させる。逆に、下方向に移動した場
合には、上側のラインセンサを主ラインセンサとして先
に蓄積を開始し、下側のラインセンサを副ラインセンサ
としてつぎに蓄積する。
【0051】また、図15に示すように、主・副ライン
センサの被写体信号を記録させるためのラインメモリを
それぞれ設け、主・副双方のラインメモリを動作させ、
双方の被写体信号を記憶させる。図16はこの場合の被
写体信号の検出タイミングを示す。すなわち、図16に
示すように、ある時点での被写体信号と、つぎにの
時点の被写体信号’’があるとすると、ぶれ検出手
段130により検出されたぶれ信号が大きくて被写体像
が、ラインセンサ間隔Pに相当する量だけ動いたことを
検出した場合は、被写体像の移動方向により、と’
または’との時点で得られた被写体信号を比較して
像ぶれ信号を検出すれば良い。
【0052】また、被写体像の移動量がラインセンサ間
隔Pよりも小さく、被写体像が主ラインセンサから副ラ
インセンサまで動かない場合には、と’もしくは
と’の時点で得られた被写体信号を比較して像ぶれを
検出すれば良い。
【0053】なお、上述の像ぶれ検出手段を組み合わせ
ても良く、例えば、上記像検出手段131として上記図
12の如き複数のラインセンサを用い、上記図16のよ
うに複数回繰り返して蓄積して、複数の時点で複数のラ
インの被写体信号を取得することにしても良い。そし
て、繰り返しのタイミングは被写体像がmライン移動す
る時間間隔までのぶれ検出手段130のぶれ信号に基づ
き、決定することにしても良い。
【0054】ここで、ぶれ量が大きいときは、mライン
被写体像が移動するので、mラインの間隔でラインセン
サ同士を比較すれば良いが、ぶれ量が小さいときにはあ
る設定した時間で強制的に被写体検出信号を取得する。
この場合は、ぶれ検出手段130が、被写体像のlライ
ン(l≦m)の移動を検出し、像ぶれ検出手段131が
それに対応するlライン間隔のラインセンサの被写体信
号を比較すれば良い。
【0055】(実施の形態4)実施の形態4に係る像ぶ
れ検出手段131を図17および図18を参照して説明
する。上記実施の形態2および実施の形態3では、ぶれ
検出手段130により検出されたぶれ信号に対応したぶ
れ検出手段130のラインセンサの被写体信号により、
像ぶれ信号を検出することにしたが、実施の形態4で
は、ぶれ検出手段130によりY成分のぶれ信号を検出
し、検出されたY成分のぶれ信号を相殺する量だけ像ぶ
れ検出手段131の撮像素子をY方向に移動させ、像ぶ
れ検出手段131で、X方向に移動する像ぶれ信号を検
出する。なお、デジタルカメラの基本構成は、実施の形
態1と同様な構成で実現できる。
【0056】図17は実施の形態4の像ぶれ検出手段1
31を模式的に示している。図18は図17の像ぶれ検
出手段の検出部(ラインセンサ)の構成を示す。図18
に示す像ぶれ検出手段131は、一本のラインセンサを
備えている。
【0057】まず、ぶれ検出手段130により、検出さ
れたぶれ信号のY成分のぶれ信号を検出し、つぎに、図
17に示すように、検出されたY成分のぶれ信号を相殺
する量だけ像ぶれ検出手段をY方向に移動することで、
像ぶれ検出手段上に結像される像のY成分の移動をうち
消し、図18に示すように、像ぶれ検出手段131の一
つのラインセンサ上で時系列的にX方向に移動する像ぶ
れ信号を検出する。
【0058】(実施の形態5)実施の形態5に係る像ぶ
れ検出手段131を図19を参照して説明する。なお、
デジタルカメラの基本構成は、実施の形態1と同様な構
成で実現できる。実施の形態5に係る像ぶれ検出手段1
31は、撮像光学系の光軸を変更して、像ぶれ信号を検
出する。
【0059】図19は、像ぶれ検出手段131の周辺の
構成を模式的に示しており、光学系の前に可変頂プリズ
ム(バリアングルプリズム)を設け、ぶれ検出手段によ
り、検出されたぶれ信号に基づいて、可変長プリズムの
頂角を変更して、光軸を変更する。そして、像ぶれ検出
手段131は、光軸が変更された被写体信号に基づき像
ぶれを検出して像ぶれ信号を出力する。
【0060】可変頂プリズムは、手ぶれによる光軸の変
化を光学系の一部を変動することにより打ち消して補正
する。この可変頂プリズムは、2枚の板ガラスの間を特
殊なフィルムでできた蛇腹でつなぎ、内部を透明な高屈
折率液体で満たしたプリズムである。正常な状態では、
可変頂プリズムの2枚の板ガラスは平行に保たれている
が、手ぶれが生じた場合は、図19に示すように、頂角
を変化させることにより、手ぶれによる視野の移動を打
ち消す方向に撮像光学系の視野をシフトさせる。
【0061】以上説明したように、本実施の形態5で
は、撮像光学系の光軸を変更し、像ぶれ信号を検出する
こととしたので、被写体像の移動を相殺することで像ぶ
れ検出手段の撮像素子の構成を簡単な安価な構成とする
ことが可能となる。
【0062】(実施の形態6)実施の形態6に係る像ぶ
れ検出手段131を図20を参照して説明する。なお、
デジタルカメラの基本構成は、実施の形態1と同様な構
成で実現できる。図20は実施の形態6に係る像ぶれ検
出手段131を説明するための図である。図20に示す
ように、ΔX、ΔYは被写体像がエリアセンサで構成さ
れた像ぶれ検出手段上で移動した場合、まず、ぶれ検出
手段により検出されたぶれ信号によりΔYだけはなれた
2つの行情報により、像ぶれ信号ΔXを検出する。
【0063】つぎに、このΔXを使用して、ΔXだけは
なれた2つの行情報より像ぶれ信号ΔY’を検出する。
つまり、この実施例においては、ΔX、ΔY’双方とも
像ぶれ検出手段により検出されるので、ΔX、ΔY’と
もに像ぶれ信号により正確に像を安定させられる。
【0064】以上説明したように、本実施の形態6で
は、像ぶれ検出手段131は、検出された像ぶれ信号に
基づいて、新たに像ぶれ信号を検出することとしたの
で、正確に像ぶれを検出することが可能となる。
【0065】なお、上記した実施の形態1〜6では、像
ぶれ検出手段をデジタルカメラの撮像素子と別個にする
構成を示したが、画像記録用のCCDを像ぶれ検出手段
として使用することにしても良い。この場合、像ぶれ検
出手段とカメラの撮像素子の2つを使用する必要がな
く、安価な構成とすることができる。
【0066】(実施の形態7)実施の形態7に係るぶれ
検出手段130を図21〜図34を参照して説明する。
なお、デジタルカメラの基本構成は、実施の形態1と同
様な構成で実現できる。まず、装置(デジタルカメラ)
によるぶれの原理を図21を参照して説明する。図21
において、装置におもりを糸でつるした場合、糸の方向
は重力方向でたえず重力の方向に向いている。これに対
して、装置の底面の垂線方向と重力方向とのなす角θは
装置の傾きとなる。すなわち、このθを検出すれば装置
の傾きがわかり、このθの変化が装置のぶれにつなが
る。
【0067】そこで、図22に示すように、直交する
X,Y,Z方向の重力を検出する検出手段として、例え
ば加速度センサを設け、各方向の加速度ax 、ay 、a
z を検出することで重力方向を検出できる。
【0068】ここで、説明を簡単にするため、図23に
示すように、X方向、Y方向の2軸で説明すると、加速
度の出力は、重力によりX方向ax 、Y方向ay とな
り、Y軸と重力とのなす角度θは、tanθ=ax /a
y で算出できる。すなわち、重力を検出する加速度セン
サを複数軸方向に設け、各加速度センサの値を比較する
ことで、重力方向と軸方向とのなす角が検出でき、この
角度の時間的変化を検出することでぶれを検出できる。
【0069】図24および図25は、ぶれ検出手段13
0と像ぶれ検出手段131を模式的に示しており、図2
4はデジタルカメラが傾いていない場合を示し、図25
はデジタルカメラがΔθ傾いた場合を示している。図2
4に示すような状態の場合には、上記した如く、加速度
センサを用いたぶれ検出手段がax 、ay を出力したと
すると、重力方向と加速度センサの1つの軸であるY軸
となす角θは、tanθ=ax /ay となる。そして、
デジタルカメラが、図25に示すように、Δθだけ傾い
た状態になった場合に、すなわち、像ぶれ検出手段の2
本のラインセンサの間隔をP、光学系の焦点距離をfと
したとき、tanΔθ=P/fだけ被写体像が上下に移
動したときに、被写体像を検出する。
【0070】以下、このtanΔθ(=P/f)の検出
方法を詳細に説明する。このP/fは、以下の如くして
算出する。
【0071】
【数1】
【0072】すなわち、Pおよびfは設定値なので、図
24の状態で加速度センサーの出力がax 、ay のとき
の上記式を満足するa’x 、a’y になったときが、
図25に示す状態で、その時につぎにの被写体像を検出
し像ぶれ量を検出すれば良い。
【0073】このように、複数軸に対して加速度センサ
ーを設け、その値により像ぶれ検出手段をコントロール
することで、像の移動方向が左右方向のみとなり、ライ
ンセンサにより簡単に像の移動を検出できる。
【0074】つぎに、上記図22で示したように、加速
度センサを3軸に設定した場合は、図26に示すよう
に、装置の2つの方向の傾きが検出できる。これを像ぶ
れ検出手段の撮像面から見ると、図27に示すように、
上下方向のY軸と回転方向のθ軸を検出できる。
【0075】この具体例を図28〜図30を参照して説
明する。図28に示すように、Aの位置にある被写体
が、ある時間経過後にΔθ回転し、また、ΔY移動し
て、A’に移動した場合を考える。図29、図30は、
それぞれ、図28の移動前Aと、図28の移動後A’を
示している。すなわち、図29に示すように、Aの位置
の被写体信号を検出後、図30に示すように、ΔY、Δ
θだけ移動したA’の位置の被写体信号を検出すること
により、ΔXを検出する。
【0076】すなわち、3軸の加速度センサと像ぶれ検
出手段を使用することで、ΔX、ΔY,Δθ、すなわ
ち、図21に示すような装置の3軸の回軸が検出でき
る。
【0077】また、図32に示すように、装置をたて位
置にした場合にも対応させるためには、像ぶれ検出手段
として2次元的に撮像素子が配列されたエリアセンサを
用い、図33に示すように、横位置では行方向の情報を
使用して像ぶれ量を検出し、また、図34に示すよう
に、縦位置では列方向の情報を使用して像ぶれ量を検出
すれば良い。
【0078】以上説明したように、ぶれ検出手段130
は、重力方向に対する傾きを示す信号を出力することと
したので、重力方向に対する傾きをぶれ検出手段130
で検出し、重力方向に対する傾きで検出できないぶれ成
分を像ぶれ検出手段131で検出することで、安価かつ
正確に装置のぶれを検出することが可能となる。
【0079】これまでの説明では、ぶれ検出手段として
は、加速度センサを使用した場合について説明したが、
本発明はこれに限られるものではなく、角速度センサを
用いてぶれ検出手段を構成しても良く、また、他の振動
センサを使用しても良い。
【0080】また、ぶれ検出手段130は、装置の角速
度に対応する信号を出力することとしたので、重力方向
に影響されず任意の軸の装置の角速度が検出できる。
【0081】以上説明したように、本発明によれば、装
置のぶれをぶれ信号として検出し、また、当該ぶれ信号
に基づいて像ぶれを検出することとしたので、複雑な動
き検出等が必要でなく、安価かつ高速に手ぶれを検出で
きる。その結果、手ぶれ補正を行う場合には、高速な手
ぶれについても対応でき、また、正確な像ぶれ補正を行
うことが可能となる。
【0082】また、デジタルカメラ等の手ぶれ補正の場
合には、像ぶれ検出手段を画像記録用の撮像素子と共用
し、また、ぶれ検出手段として、2軸・3軸の加速度セ
ンサもしくは角速度センサを1つ使用することで手ぶれ
検出装置を構成でき、安価な構成とすることができる。
【0083】なお、本実施の形態では、本発明に係る手
ぶれ検出装置および手ぶれ補正装置を、デジタルカメラ
に適用して例を示したが、本発明はこれに限られるもの
ではなく、例えば、ビデオカメラ、光学式のカメラや防
振装置等に広く適用可能である。
【0084】また、ビデオカメラ等のぶれ補正について
は、本発明の像ぶれ信号およびぶれ信号により、画像を
記録するための領域を設定しても良く、また、全体の撮
像画像とぶれ信号のみを記憶しておき、再生時に表示す
る領域を本発明を用いて設定しても良い。
【0085】また、本発明は、上記した実施の形態に限
定されるものではなく、発明の要旨を変更しない範囲
で、適宜変更して実施可能である。
【0086】
【発明の効果】以上説明したように、請求項1記載の手
ぶれ検出装置は、装置のぶれを検出し、検出した装置の
ぶれに応じたぶれ信号を出力するぶれ検出手段と、ぶれ
信号に基づいて被写体像の像ぶれを検出し、当該検出し
た像ぶれに応じた像ぶれ信号を出力する像ぶれ検出手段
と、を備えたこととしたので、安価な構成で高速に手ぶ
れを検出することが可能となる。
【0087】また、請求項2記載の手ぶれ検出装置は、
請求項1記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、被写体像を複数回撮像し、当該複数回撮像し
て得られた被写体信号に基づき、像ぶれを検出すること
としたので、像ぶれ信号を連続的に検出することが可能
となる。
【0088】また、請求項3記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、像ぶれ検出手
段は、複数回の撮像で得られた被写体信号を相関法に基
づいた位相差検出法で像ぶれを検出することとしたの
で、正確かつ高速に像ぶれ信号を検出することが可能と
なる。
【0089】また、請求項4記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、前記像ぶれ検
出手段は、前記ぶれ信号に基づいて、撮像タイミングを
決定して像ぶれを検出することとしたので、像ぶれ検出
手段を簡単かつ安価に構成することが可能となる。
【0090】また、請求項5記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、像ぶれ検出手
段は、ぶれ信号に基づいて、複数の被写体信号の一部を
選択して、像ぶれを検出することとしたので、正確に被
写体信号を選択できる。
【0091】また、請求項6記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、像ぶれ検出手
段は、ぶれ信号に基づいて、撮像光学系の光軸を変更
し、当該補正された被写体信号に基づき像ぶれを検出し
て像ぶれ信号を出力することとしたので、像ぶれ手段の
構成を簡単かつ安価な構成とすることが可能となる。
【0092】また、請求項7記載の手ぶれ検出装置は、
請求項2記載の手ぶれ検出装置において、像ぶれ検出手
段は、検出された像ぶれ信号に基づいて、新たに像ぶれ
信号を検出することとしたので、より正確に像ぶれを検
出することが可能となる。
【0093】また、請求項8記載の手ぶれ検出装置は、
請求項1記載の手ぶれ検出装置において、ぶれ検出手段
は、ぶれ信号として、装置の重力方向に対する傾きを示
す信号を出力することとしたので、安価かつ正確に装置
のぶれを検出することが可能となる。
【0094】また、請求項9記載の手ぶれ検出装置は、
請求項1記載の手ぶれ検出装置において、前記ぶれ検出
手段は、ぶれ信号として、装置の角速度に対応する信号
を出力することとしたので、重力方向に影響されず任意
の軸の装置の角速度を検出することが可能となる。
【0095】また、請求項10記載の手ぶれ補正装置
は、請求項1〜9のいずれかに1つに記載の手ぶれ検出
装置を有し、当該手ぶれ検出装置から出力される前記ぶ
れ信号および像ぶれ信号に基づき、手ぶれ補正を行う手
ぶれ補正手段を備えたこととしたので、安価な構成で高
速・高精度に手ぶれを補正することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1によるデジタルカメラの
構成を示すブロック図である。
【図2】実施の形態1によるデジタルカメラの手ぶれ補
正装置の構成を模式的に示す図である。
【図3】実施の形態1によるムービングコイルの外観構
成例を示す図である。
【図4】実施の形態2による手ぶれ検出原理を説明する
ための図である。
【図5】実施の形態2による手ぶれ検出原理を説明する
ための図である。
【図6】実施の形態2による手ぶれ検出原理を説明する
ための図である。
【図7】実施の形態2による像ぶれ検出手段の構成を説
明するための図である。
【図8】実施の形態2による像ぶれ検出手段の被写体像
の検出タイミングを示す図である。
【図9】実施の形態2による像ぶれ検出手段の被写体像
の検出タイミングを示す図である。
【図10】実施の形態2による2つの被写体信号の位相
差の検出方法を説明するための図である。
【図11】実施の形態2による2つの被写体信号の位相
差の検出方法を説明するための図である。
【図12】実施の形態3による像ぶれ検出手段の構成を
説明するための図である。
【図13】実施の形態3による像ぶれ検出手段の像ぶれ
検出原理を説明するための図である。
【図14】実施の形態3による像ぶれ検出手段の他の構
成例を説明するための図である。
【図15】実施の形態3による被写体信号を記録させる
ためのラインメモリを説明するための図である。
【図16】実施の形態3による被写体信号の検出タイミ
ングを示す図である。
【図17】実施の形態4による像ぶれ検出手段の構成を
説明するための図である。
【図18】実施の形態4による像ぶれ検出手段の構成を
説明するための図である。
【図19】実施の形態5による像ぶれ検出手段の構成を
説明するための図である。
【図20】実施の形態6による像ぶれ検出手段の構成を
説明するための図である。
【図21】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図22】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図23】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図24】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図25】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図26】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図27】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図28】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図29】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図30】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図31】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図32】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図33】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【図34】実施の形態7に係るぶれ検出手段を説明する
ための図である。
【符号の説明】
100 デジタルカメラ 101 レンズ 102 メカ機構 103 CCD 104 CDS回路 105 A/D変換器 106 デジタル信号処理部 107 DCT 108 コーダー 109 MCC 110 バッファメモリ 111 ビデオアンプ 112 メモリ 121 コントローラ 122 表示部 123 操作部 124 パラメータメモリ 125 モータドライバ 126 SG 127 ストロボ 128 手ぶれ検出装置 129 手ぶれ補正部 129A コイル 129B 駆動部 130 ぶれ検出手段 131 像ぶれ検出手段

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 装置のぶれを検出し、当該検出した装置
    のぶれに応じたぶれ信号を出力するぶれ検出手段と、 前記ぶれ信号に基づいて、被写体像の像ぶれを検出し当
    該検出した像ぶれに応じた像ぶれ信号を出力する像ぶれ
    検出手段と、 を備えたことを特徴とする手ぶれ検出装置。
  2. 【請求項2】 前記像ぶれ検出手段は、被写体像を複数
    回撮像し、当該複数回撮像して得られた被写体信号に基
    づき、像ぶれを検出することを特徴とする請求項1記載
    の手ぶれ検出装置。
  3. 【請求項3】 前記像ぶれ検出手段は、前記複数回の撮
    像で得られた被写体信号を相関法に基づいた位相差検出
    法で像ぶれを検出することを特徴とする請求項2記載の
    手ぶれ検出装置。
  4. 【請求項4】 前記像ぶれ検出手段は、前記ぶれ信号に
    基づいて、撮像タイミングを決定して像ぶれを検出する
    ことを特徴とする請求項2記載の手ぶれ検出装置。
  5. 【請求項5】 前記像ぶれ検出手段は、前記ぶれ信号に
    基づいて、複数の被写体信号の一部を選択して像ぶれを
    検出することを特徴とする請求項2記載の手ぶれ検出装
    置。
  6. 【請求項6】 前記像ぶれ検出手段は、前記ぶれ信号に
    基づいて、撮像光学系の光軸を変更し、当該補正された
    被写体信号に基づき像ぶれを検出することを特徴とする
    請求項2記載の手ぶれ検出装置。
  7. 【請求項7】 前記像ぶれ検出手段は、検出された像ぶ
    れ信号に基づいて、新たに像ぶれ信号を検出することを
    特徴とする請求項2記載の手ぶれ検出装置。
  8. 【請求項8】 前記ぶれ検出手段は、前記ぶれ信号とし
    て、前記装置の重力方向に対する傾きを示す信号を出力
    することを特徴とする請求項1記載の手ぶれ検出装置。
  9. 【請求項9】 前記ぶれ検出手段は、前記ぶれ信号とし
    て、装置の角速度に対応する信号を出力することを特徴
    とする請求項1記載の手ぶれ検出装置。
  10. 【請求項10】 前記請求項1〜9のいずれかに1つに
    記載の手ぶれ検出装置を有し、当該手ぶれ検出装置から
    出力される前記ぶれ信号および前記像ぶれ信号に基づ
    き、手ぶれ補正を行う手ぶれ補正手段を備えたことを特
    徴とする手ぶれ補正装置。
JP16439499A 1998-06-11 1999-06-10 カメラ Expired - Fee Related JP4064001B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16439499A JP4064001B2 (ja) 1998-06-11 1999-06-10 カメラ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-163769 1998-06-11
JP16376998 1998-06-11
JP16439499A JP4064001B2 (ja) 1998-06-11 1999-06-10 カメラ

Publications (2)

Publication Number Publication Date
JP2000069353A true JP2000069353A (ja) 2000-03-03
JP4064001B2 JP4064001B2 (ja) 2008-03-19

Family

ID=26489121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16439499A Expired - Fee Related JP4064001B2 (ja) 1998-06-11 1999-06-10 カメラ

Country Status (1)

Country Link
JP (1) JP4064001B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003021854A (ja) * 2001-07-06 2003-01-24 Canon Inc カメラ及び像ぶれ補正装置
JP2004000568A (ja) * 2002-04-24 2004-01-08 Morita Mfg Co Ltd 被写体ブレ補正手段、これを用いた医療用x線撮影装置
DE102004045430A1 (de) * 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
US7499635B2 (en) 2004-09-10 2009-03-03 Konica Minolta Photo Imaging, Inc. Image pickup apparatus incorporating shake correction
US7689107B2 (en) 2006-02-20 2010-03-30 Hoya Corporation Anti-shake apparatus
KR101203319B1 (ko) * 2005-05-05 2012-11-21 아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드 모션 센서, 이미징 장치, 이미징 장치의 움직임에 대한 보상 방법
WO2013098981A1 (ja) * 2011-12-27 2013-07-04 株式会社ニデック 手持型眼科装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003021854A (ja) * 2001-07-06 2003-01-24 Canon Inc カメラ及び像ぶれ補正装置
JP2004000568A (ja) * 2002-04-24 2004-01-08 Morita Mfg Co Ltd 被写体ブレ補正手段、これを用いた医療用x線撮影装置
US7499635B2 (en) 2004-09-10 2009-03-03 Konica Minolta Photo Imaging, Inc. Image pickup apparatus incorporating shake correction
DE102004045430A1 (de) * 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
US8289406B2 (en) 2004-09-18 2012-10-16 Deutsche Telekom Ag Image stabilization device using image analysis to control movement of an image recording sensor
KR101203319B1 (ko) * 2005-05-05 2012-11-21 아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드 모션 센서, 이미징 장치, 이미징 장치의 움직임에 대한 보상 방법
US7689107B2 (en) 2006-02-20 2010-03-30 Hoya Corporation Anti-shake apparatus
WO2013098981A1 (ja) * 2011-12-27 2013-07-04 株式会社ニデック 手持型眼科装置
JPWO2013098981A1 (ja) * 2011-12-27 2015-04-30 株式会社ニデック 手持型眼科装置
US9351638B2 (en) 2011-12-27 2016-05-31 Nidek Co., Ltd. Hand-held ophthalmological device

Also Published As

Publication number Publication date
JP4064001B2 (ja) 2008-03-19

Similar Documents

Publication Publication Date Title
JP5111088B2 (ja) 撮像装置及び画像再生装置
JP4717748B2 (ja) カメラ本体及びそれを有するカメラシステム
US8760526B2 (en) Information processing apparatus and method for correcting vibration
JPH09322057A (ja) 撮像装置
JPH1056595A (ja) 撮像装置
JP6932531B2 (ja) 像ブレ補正装置、撮像装置および撮像装置の制御方法
JP4125331B2 (ja) 撮像装置及びその制御方法
JP7387713B2 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
KR20090015251A (ko) 이미지 센서를 구비한 카메라 모듈
JP2008134426A (ja) 撮像装置及び方法並びにプログラム
JP5143172B2 (ja) 撮像装置及び画像再生装置
JP3646124B2 (ja) オートフォーカス装置
JP4064001B2 (ja) カメラ
JP2007019571A (ja) 光学機器およびその制御プログラム
JP5393877B2 (ja) 撮像装置および集積回路
JP2000013670A (ja) 撮像装置及び撮像装置の制御方法
JP7242320B2 (ja) 撮像装置、制御方法およびプログラム
CN113728613A (zh) 成像元件、摄像装置、成像元件的工作方法及程序
JP4732148B2 (ja) 光学機器および撮像システム
US20220303465A1 (en) Imaging apparatus
KR100498042B1 (ko) 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법
JPH07283999A (ja) 画像合成装置及び画像撮影装置
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
US20120033047A1 (en) Imaging device
JP2002359769A (ja) 手振れ補正装置および手振れ補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees