JP2002112099A

JP2002112099A - 画像修復装置および画像修復方法

Info

Publication number: JP2002112099A
Application number: JP2000295767A
Authority: JP
Inventors: Yosuke Kusaka; 洋介日下
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2000-09-28
Filing date: 2000-09-28
Publication date: 2002-04-12
Anticipated expiration: 2020-09-28
Also published as: EP1322108B1; WO2002028091A1; JP4389371B2; US20030002746A1; AU2001292265A1; DE60131759T2; DE60131759D1; EP1322108A4; EP1322108A1; US7260270B2

Abstract

(57)【要約】【課題】被写体距離によらず高品質なブレ画像修復が
可能な画像修復装置および画像修復方法を提供する。【解決手段】撮像部（４）は、撮影光学系（３）によ
り形成された被写界の像に対応した画像信号を発生す
る。点像分布関数生成部（７）は距離検出部（５）によ
り検出された被写界の２次元的な距離分布情報と、ブレ
検出部（６）により検出された露光期間中の像ブレ信号
に基づき、距離毎に異なる点像分布関数を生成する。画
像修復部（８）は、前記距離分布情報に基づき画像信号
を部分画像に分割し、各部分画像に対し距離毎に異なる
点像分布関数を用いてブレ修復の画像処理を施すととも
に、ブレ修復した部分画像を合成して全体画像を生成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手ブレ等のために
劣化した画像を画像処理によりブレのない画像に修復す
る画像修復装置および画像修復方法に関するものであ
る。

【０００２】

【従来の技術】従来からブレにより劣化した画像を修復
し、ブレのない元の画像を復元する技術が知られてい
る。例えば特開昭６２−１２７９７６号公報では、撮影
時のブレによる画像劣化を点像分布関数で表し、この点
像分布関数に基づきブレ画像を修復している。

【０００３】例えば画像修復の演算処理は以下のように
して行われる。すなわち、（ｘ，ｙ）を画面上の位置座
標とし、ブレのない時の画像の画像情報を関数ｆ（ｘ，
ｙ）、ブレにより劣化した画像の画像情報を関数ｇ
（ｘ，ｙ）、ブレにより点像がボケた時の画像情報を点
像分布関数ｈ（ｘ，ｙ）とすると、数式１の関係が成り
立つ。

【０００４】

【数１】

【０００５】ここで＊はコンボリューション演算を表す
記号である。数式１の両辺をフーリエ変換すると、周波
数領域において数式２が成り立つ。

【０００６】

【数２】

【０００７】ここで関数Ｇ、Ｆ、Ｈは、関数ｇ、ｆ、ｈ
のフーリエ変換関数であり、ｕ，ｖは、それぞれｘ，ｙ
方向の周波数を表す。数式２の両辺をＨ（ｕ，ｖ）で除
すると数式３となる。

【０００８】

【数３】

【０００９】さらに数式３を逆フーリエ変換すると、数
式４の如くブレのない元の画像情報である関数ｆ（ｘ，
ｙ）が得られる。

【００１０】

【数４】

【００１１】ここでＳ（）は逆フーリエ変換を表す。
即ちブレにより劣化した画像関数のフーリエ変換を行
い、これをブレによる点像分布関数のフーリエ変換で除
し、更にフーリエ逆変換すれば、ブレのない元の画像関
数を求めることができるわけである。

【００１２】

【発明が解決しようとする課題】しかしながら、上述の
従来技術を実際に撮像した画像に適用した場合には、必
ずしも良好な結果が得られなかった。

【００１３】例えば距離の異なる複数の物体が同一画面
内に存在する画像や接写画像に対してブレ修復が不十分
であった。

【００１４】そこで本発明は、画面中に異なる距離の被
写体が混在した画像や接写画像に対してもブレ画像修復
を良好に行えるブレ画像修復装置およびブレ画像修復方
法を提供することを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明による画像修復装置では、被
写界の像を所定画面上に形成する撮影光学系と、前記画
面上に形成された被写界の像を撮像し、画像信号を生成
する撮像部と、前記画面上における被写界の距離を検出
し、距離情報を生成する距離検出部と、前記撮影光学系
の撮像時のブレを検出し、ブレ信号を生成するブレ検出
部と、前記距離情報と前記ブレ信号に基づき、距離に応
じた点像分布関数を生成する点像分布関数生成部と、前
記点像分布関数を用いて前記画像信号を修復し、修復画
像を形成する画像修復部とからなることを特徴とする。

【００１６】請求項２に記載の発明では、請求項１に記
載の画像修復装置において、前記距離検出部は、前記距
離分布情報に基づき被写界距離を複数の距離ゾーンに分
割するとともに、各距離ゾーンを代表する複数の距離デ
ータを算出し、前記点像分布関数生成部は前記複数の距
離データに応じた複数の点像分布関数を生成し、前記画
像修復部は、前記距離ゾーンに応じて画像信号を複数の
部分画像に分割するとともに、該部分画像毎にその距離
データに応じた点像分布関数を用いて修復して複数の部
分修復画像を形成し、該複数の部分修復画像を合成する
ことにより前記修復画像を形成することを特徴とする。
請求項３に記載の発明による画像修復装置では、被写界
を撮像した画像情報と、撮像時の被写界の距離情報と、
撮像時のブレ情報とが記録された記録媒体から画像情
報、距離情報、ブレ情報とを読み出す情報読み出し部
と、前記距離情報と前記ブレ情報に基づき、距離に応じ
た点像分布関数を生成する点像分布関数生成部と、前記
点像分布関数を用いて前記画像信号を修復し、修復画像
を形成する画像修復部とからなることを特徴とする。請
求項４に記載の発明による画像修復方法では、被写界の
像を所定画面上に形成するステップと、前記画面上に形
成された被写界の像を撮像し、画像信号を生成するステ
ップと、前記画面上における被写界の距離を検出し、距
離情報を生成するステップと、撮像時のブレを検出し、
ブレ信号を生成するステップと、前記距離情報と前記ブ
レ信号に基づき、距離に応じた点像分布関数を生成する
ステップと、前記点像分布関数を用いて前記画像信号を
修復し、修復画像を形成するステップとからなることを
特徴とする。

【００１７】

【発明の実施の形態】我々は鋭意研究の結果、同じブレ
量であっても、ブレによって生ずるボケ量は被写体距離
に応じて異なり、しかもブレによるボケ量は近距離で急
激に大きくなることが、距離の異なる複数の物体が同一
画面内に存在する画像や接写画像に対してブレ修復が不
十分になる原因であることを突き止めた。つまり従来の
ブレ画像修復技術では、被写体距離を考慮せずに、一律
な点像分布関数（ボケ）を仮定してブレ画像修復を行っ
ていたためブレ修復が不十分であったことが判明した。

【００１８】本発明では、ブレ画像を距離に応じた点像
分布関数に基づき修復することにより、距離の異なる複
数の物体が同一画面内に存在する画像や接写画像に対し
て良好なブレ修復を可能にした。以下、図面を参照して
本発明の実施形態について説明する。図１は、本発明に
よる画像修復装置の概念を示すブロック構成図である。

【００１９】図１において画像修復装置１は、撮影光学
系３、撮像部４、距離検出部５、ブレ検出部６、点像分
布関数生成部７、画像修復部８から構成される。撮影光
学系３は、所定画面上に被写界２の像を形成する。撮像
部４は、所定画面上に形成された被写界２の像を撮像す
るＣＣＤやＣＭＯＳ等の固体撮像素子とその制御回路か
ら構成されており、制御回路により被写体像の明るさに
応じて固体撮像素子の露光時間（電荷蓄積時間）が制御
され、被写界の像に対応した画像信号を発生する。距離
検出部５は、周知の距離検出装置により構成され、所定
画面上に形成された被写界の２次元的な距離分布を検出
し、距離分布情報を発生する。ブレ検出部６は、撮像部
４による撮像期間中の撮影光学系３のブレを検出し、時
間的に変化するブレ信号を発生する手段であって、角速
度センサ等から構成される。

【００２０】点像分布関数生成部７は、被写界の距離分
布情報とブレ信号に応じて、距離毎に異なった点像分布
関数を生成する。ここで点像分布関数とは、点像がブレ
によりボケた時の強度分布を表す関数である。

【００２１】画像修復部８は、撮像部４が生成するブレ
により劣化した画像信号を、点像分布関数生成部７が生
成する点像分布関数により、距離分布情報に応じて画像
処理し、ブレによる劣化を修復した画像信号を生成す
る。

【００２２】図２は、本発明をデジタルスチルカメラ１
０に適用した場合の実施例のブロック構成図である。

【００２３】撮影レンズ１１により形成された被写体像
は、ＣＣＤ等の電荷蓄積型の固体撮像素子１２により光
電変換され、画像信号が出力される。画像信号はＡＤ変
換手段１８によりデジタル画像信号に変換され、ＲＡＭ
等の揮発性のメモリ１９に格納される。メモリ１９に格
納された画像信号は、液晶表示手段２０により画像表示
されるとともに、コンパクトフラッシュ（登録商標）メ
モリ等の不揮発性の記録媒体２１に記録される。ＣＰＵ
（中央処理制御手段）１７は上述の撮像動作、格納動
作、表示動作、記録動作の制御を行う。

【００２４】角速度センサＶ１３と角速度センサＨ１４
は、デジタルスチルカメラ１０の手ブレを検出するため
のブレ検出センサであり、撮影レンズ１１の光軸と直交
し、かつ互いに直交する２つの軸回りのデジタルスチル
カメラ１０の角速度をリアルタイムに検出し、検出出力
を角速度信号としてＣＰＵ１７へ送る。

【００２５】距離センサ１５は、被写界の２次元的な距
離分布を検出するためのセンサであり、その詳細は後述
する。

【００２６】レリーズボタン１６は、撮影時に撮影者に
より操作される部材であって、操作に応じてレリーズ信
号を発生する。

【００２７】なお上記デジタルスチルカメラ１０には不
図示の光学ファインダが備えられており、これにより撮
影者は被写体を観察できる。

【００２８】以上のような構成において、ＣＰＵ１７
は、角速度センサＶ１３と角速度センサＨ１４からの角
速度信号に基づき、撮像期間中の撮影レンズ１１のブレ
を検出するとともに、レリーズ信号が入力された時の被
写界の距離分布情報を距離センサ１５より獲得する。Ｃ
ＰＵ１７は、ブレ信号と距離分布情報に基づき、距離に
応じて点像分布関数を生成する。さらにこれらの点像分
布関数を用い、メモリ１９に格納されているブレ劣化画
像信号に後述の画像修復処理を施し、修復された画像信
号をメモリ１９に再格納する。修復された画像信号は液
晶表示手段２０に表示されるとともに、記録媒体２１に
記録される。

【００２９】ここで距離センサ１５について詳細に説明
する。図３は、距離センサ１５の構成を示す図であっ
て、測距レンズ４２により形成される被写界の像を、測
距レンズ４２の後方Ｅに配置された２次元画像センサ４
４で撮像し、被写界像の画像データを生成する。また測
距レンズ４２と光学的特性が等しい測距レンズ４３によ
り形成される被写界の像を、測距レンズ４３の後方Ｅに
配置された２次元画像センサ４５が撮像し、被写界像の
画像データを生成する。なお測距レンズ４２と測距レン
ズ４３は基線長Ｂを隔てて並置される。

【００３０】このような構成において、未知の距離ｄに
ある点４６に対応する２次元画像センサ４４、４５上で
の結像点４７、４８は、図４のような関係となる。結像
点４７、４８の像間隔Ｌを画像センサ４４、４５が生成
する画像データに基づき測定すれば、三角測距の原理に
従い、数式５により距離ｄを求めることができる。

【００３１】

【数５】

【００３２】また画面上で測距点を走査して距離を測定
すれば、被写界の２次元的な距離分布を検出することが
できる。さらに固体撮像素子１２の画像信号と２次元画
像４４、４５の画像データを対応付け（縮小／拡大、シ
フトなど）ることにより、撮像画面中での被写界の距離
分布を検出することができる。

【００３３】図５は、図２に示したＣＰＵ１７とその周
辺の構成をより詳細に示したブロック図である。図５を
用いて、ブレにより劣化した画像信号の修復の工程を詳
細に説明する。

【００３４】図５において、角速度センサＶ１３、角速
度センサＨ１４からは、デジタルスチルカメラ１０に加
わる手ブレなどに応じ、角速度信号が生成される。図６
に、手ブレとしてサイン波が加わった場合の１次元の角
速度信号を示す。この角速度信号は、所定のサンプリン
グ間隔でＡＤ変換され、デジタルデータに変換される。
デジタルデータに変換された角速度信号は、積分演算部
３１によって積分され相対角度信号（積分定数を除いた
相対的な角度変位を表す）に変換され、ブレ分布記憶部
３２に送られる。図７は、図６の相対角速度信号を積分
した場合の相対角度信号を示す。

【００３５】レリーズボタン１６からは撮影者による操
作に応じたレリーズ信号が、撮影制御部３３、距離セン
サ１５に送られる。撮影制御部３３では、レリーズ信号
に応じて被写体輝度、固体撮像素子１２の感度、撮影レ
ンズ１１の絞り値より設定された露光時間により、固体
撮像素子１２の露光を制御するとともに、露光タイミン
グ信号をブレ分布記憶部３２に送信する。ブレ分布記憶
部３２では、露光タイミング信号に応じて、露光期間中
の相対角速度信号を記憶する。

【００３６】図８はこのようにしてブレ分布記憶部３２
に記憶された相対角度信号のデータの２次元的な状態を
示したものであり、露光期間中に所定時間間隔でサンプ
リングされた相対角度のデータ値が黒丸で示されてい
る。図９に示すように、Ｘ軸およびＹ軸は、撮影画面４
１において互いに直交するように定義される。なお図８
において、θｘはＸ軸回りの角度、θｙはＹ軸回りの角
度を表している。ここで露光期間中の総サンプリング数
をＮとし、ｎ回目のサンプリングを（θｘｎ、θｙｎ）
とする。また１〜Ｎ回のサンプリングにおける相対角度
データの平均が（０、０）となるように変換される。

【００３７】一方レリーズ信号に応じて、距離センサ１
５は撮影される被写界の距離分布を測定し、距離分布演
算部３４に送る。距離分布演算部３４では、送られてき
た２次元の距離分布をもとに、撮影画面における距離値
の出現頻度を図１０のようなヒストグラムにまとめる。
このヒストグラムを用い、出現頻度の高さに応じて近距
離から無限距離までの被写界距離をいくつかの距離ゾー
ン（図１０ではＺ１、Ｚ２、Ｚ３、Ｚ４）に分割し、そ
の距離ゾーンの代表値となる距離データ（図１０ではｄ
１、ｄ２、ｄ３、ｄ４）を選出する。また距離分布演算
部３４は、前記距離ゾーンに応じて画像信号を複数の部
分画像に分割する。

【００３８】点像分布関数演算部３５では、距離分布演
算部３４で求められた距離データに基づき、ブレ分布記
憶部３２に記憶された相対角度信号を画面上における像
ブレ信号に変換する。図１１は、相対角度信号から像ブ
レ信号への距離に応じた変換の原理を説明する図であっ
て、簡単のため撮影光学系を１枚のレンズ５１で示す。
またレンズ５１の焦点距離はｆである。レンズ５１が画
面５４の中心５５に対し、ｙ軸回りに角度θｙ傾いてブ
レた場合を考える。この時光軸上の距離ｄ１およびｄ２
にある点５２、５３の画面ｘ軸方向の像ブレ量は、点５
２、５３に対応する像点５６、５７の画面中心５５から
の距離をＸ１、Ｘ２として、数式６で求められる。

【００３９】

【数６】

【００４０】数式６からもわかるように、ｄ／（ｄ−
ｆ）のファクターは近距離になるほど急激に変化するた
め、近距離ほど同じ角度ブレに対するボケ量の変化も急
激になる。

【００４１】点像分布関数演算部３５では、数式６に基
づき、図８に示すような相対角度信号（θｘｎ、θｙ
ｎ）を距離データｄ１、ｄ２・・に応じて像ブレ信号
（Ｘ１ｎ、Ｙ１ｎ）、（Ｘ２ｎ、Ｙ２ｎ）・・に変換す
る。さらに離散的な像ブレ信号（Ｘ１ｎ、Ｙ１ｎ）、
（Ｘ２ｎ、Ｙ２ｎ）・・は、スムージング等の手法によ
り、図１２に示すような連続的な点像分布関数ｈ１
（ｘ、ｙ）、ｈ２（ｘ、ｙ）・・に変換される。

【００４２】画像修復部３８では、原画像メモリ３６に
格納されているブレにより劣化した画像信号を読み出
し、これに対し点像分布関数ｈ１（ｘ、ｙ）、ｈ２
（ｘ、ｙ）・・により画像修復処理を施し、さらに画面
内の距離ゾーン分割に応じた画像合成処理を行って修復
画像信号を生成し、修復画像メモリ３７に格納する。

【００４３】なお個々の点像分布関数ｈ１（ｘ、ｙ）、
ｈ２（ｘ、ｙ）・・による画像修復処理の手法は、数式
１〜数式４に述べた手法が適用される。

【００４４】図１３は上記処理のイメージ図である。ま
ずブレにより劣化した画像６１から、距離ゾーン（Ｚ
１、Ｚ２、Ｚ３、Ｚ４）に応じて複数の部分に分割され
て認識された画像情報６２を得る。次にブレにより劣化
した画像６１が、代表距離データ（ｄ１、ｄ２、ｄ３、
ｄ４）に応じて定められた点像分布関数ｈ１（ｘ、
ｙ）、ｈ２（ｘ、ｙ）、ｈ３（ｘ、ｙ）、ｈ４（ｘ、
ｙ）によりそれぞれ画像修復処理され、修復された画像
からさらに画像情報６２により、距離毎に分割された部
分画像６３、６４、６５、６６が抽出される。最後に分
割された部分画像６３、６４、６５、６６を合成し、修
復画像６７を生成する。

【００４５】図１４から図１６は、図２で説明したＣＰ
Ｕ１７の動作プログラムを示したフローチャート図であ
る。なお固体撮像素子として、ＣＣＤを用いるとして説
明する。図１４はＣＰＵ１７のメインプログラムであ
り、図１５は所定時間間隔で角速度信号をＡＤ変換する
ためのタイマ割込みプログラム、図１６はレリーズ信号
により起動するレリーズ割込みプログラムである。ここ
で図１４のメインプログラム実行中に、図１５、図１６
のタイマ割込みおよびレリーズ割込みの処理プログラム
が適宜割り込んで実行される構成となっている。

【００４６】図１４においてデジタルスチルカメラ１０
の電源オンによりＣＰＵ１７の動作がスタートする。Ｓ
１０１では、ＣＣＤの動作リセット、タイマ類のリセッ
トが行われ、その後タイマ割込み、レリーズ割込み割込
が許可される。Ｓ１０２では、露光時間の決定に必要な
情報（被写体輝度、画素感度、絞り値等）に応じて、Ｃ
ＣＤの電荷蓄積時間（露光時間）を演算する。以降Ｓ１
０２を繰り返す。

【００４７】図１５はタイマ割込のプログラムのフロー
チャートであって、Ｓ２０１では、角速度信号をＡＤ変
換してメモリに格納する。Ｓ２０２では、メモリに格納
されている角速度データを最新データまで積分して相対
角度信号を演算する。Ｓ２０３では演算した相対角度信
号をメモリに格納しリターンする。

【００４８】図１６はレリーズ割込のプログラムのフロ
ーチャートであって、Ｓ３０１では距離センサより距離
分布情報を取り込み、距離ヒストグラムを作成し、距離
ゾーンに従って代表距離データを算出して記憶する。Ｓ
３０２では最新の露光時間に基づきＣＣＤの撮像を行わ
せる。Ｓ３０３ではＣＣＤより画像信号を掃き出させ、
Ｓ３０４では該画像信号をＡＤ変換し、Ｓ３０５ではＡ
Ｄ変換後の画像信号をメモリに一時格納する。Ｓ３０６
ではメモリに格納した画像信号を記録媒体に記録する。
Ｓ３０７では距離ゾーンに応じて画像信号を部分画像に
分割する。Ｓ３０８ではメモリに格納されている相対角
度信号と代表距離データから、代表距離データに応じた
点像分布関数を演算する。Ｓ３０９では代表距離データ
に応じた点像分布関数により画像修復処理演算を行うと
ともに、距離ゾーンに応じて分割された部分毎に修復画
像を抽出する。Ｓ３１０では部分毎に修復された画像を
合成し、全体的な修復画像を生成する。Ｓ３１１では合
成された修復画像を記録媒体に記録し、Ｓ１０２に戻
る。

【００４９】以上のように距離に応じて最適な点像分布
関数でブレ画像修復処理を行うことにより、画面中に異
なる距離の複数の被写体が存在した場合や接写撮影の場
合でもブレ修復を良好に行うことができる。

【００５０】（変形形態の説明）本発明は以上説明した
実施形態に限定されることなく、種々の変形や変更が可
能である。

【００５１】図５に示した実施例では、被写界の２次元
的な距離分布を検出し、距離に応じて複数の点像分布関
数を用意して、ブレ画像の修復を行っているが、必ずし
も２次元的な距離分布を検出する必要はない。例えば主
要被写体となる物体までの距離のみを測定し、その距離
に応じた点像分布関数を生成し、該点像分布関数により
全体の画像修復を行うようにしてもよい。このような処
理を行っても、主要被写体と異なる距離にある物体の像
は、焦点ボケにより既にボケているために問題を生ずる
可能性は少ない。このようにすれば２次元の距離分布を
検出するための距離検出装置が不要となり、安価な簡易
構成の距離検出装置があればいいので、デジタルスチル
カメラ等に画像修復装置を組み込むことが容易になる。

【００５２】また図５に示した実施例では、撮影光学系
の角度ブレにより像ブレが発生するものとして説明した
が、近接撮影においては撮影光学系の平行ブレ（光軸が
平行にシフトするブレ）の影響も大きくなる。このよう
な場合には、平行ブレ検出用の加速度センサを用いてこ
の平行ブレ信号を検出し、この平行ブレ信号と距離デー
タを用いて距離に応じた点像分布関数を求めるようにし
てもよい。

【００５３】図１７は、距離に応じて平行ブレ信号から
像ブレ信号への変換を行う場合の原理を説明する図であ
って、図１１と同じ構成要素には同じ番号を付与してあ
る。このような構成によりレンズ５１がｘ軸方向にＲだ
けシフトした場合を考える。この時光軸上の距離ｄ１お
よびｄ２にある点５２、５３の画面ｘ軸方向の像ブレ量
は、点５２、５３に対応する像点５６、５７の画面中心
５５からの距離をＸ１、Ｘ２として、数式７で求められ
る。

【００５４】

【数７】

【００５５】数式７からもわかるように、近接撮影にお
いて距離ｄが焦点距離ｆに近くなってくると、平行ブレ
に対するボケ量も急激に増加する。数式７の変換式によ
り距離に応じて平行ブレを像ブレに変換し、該像ブレに
応じた点像分布関数を求めることができる。このように
して求めた点像分布関数を図５の実施例に適用すること
により、平行ブレにより生ずる像ブレも距離に応じて画
像修復することができる。

【００５６】以上の実施例によれば、近接撮影時の像ブ
レを良好に画像修復することが可能になる。また上記平
行ブレの画像修復と前記角度ブレによる画像修復を組み
合わせることにより、更に画像修復の効果を高めること
ができる。

【００５７】また角度ブレや平行ブレを像ブレ量に変換
する数式６および数式７において、近接撮影のため撮影
レンズが大きく繰り出され、焦点距離ｆが繰り出し量に
応じて大きく変化する場合等においては、数式６および
数式７を適宜レンズ繰り出し量や撮影倍率などにより補
正することが可能である。また図２または図５の実施例
においては、ブレ検出センサとして角速度センサを用い
たが、これに限定されるものではなく、加速度センサや
画像センサ（像の時間的な動きにより像ブレを検出）で
も構わない。

【００５８】また図２および図５の実施例においては、
距離センサとしてパッシブ型の三角測距方式の距離検出
装置を用いたが、これに限定されるものではなく、いわ
ゆるアクティブ型の三角測距装置（ビーム光を所定の光
軸にそって被写界側に発し、ビーム光と基線長離れた光
学系により反射ビーム光の結像位置を測定することによ
り距離を検出する）により被写界を走査して距離分布を
測定してもよい。また電磁波や音波を発し、被写界から
の反射波の戻り時間を測定することにより、被写界の距
離分布を検出するようにしても構わない。このようにす
れば、被写界が比較的暗い場合においても距離測定を高
精度に行うことが可能になる。

【００５９】また図２および図５の実施例においては、
レリーズ信号に応じてデジタルスチルカメラ内で自動的
にブレ画像修復が行われているが、距離情報または距離
分布情報、ブレ情報、画像信号をひとまず記録媒体に記
憶しておき、後からデジタルスチルカメラが記録媒体よ
り距離情報または距離分布情報、ブレ情報、画像信号を
読み出してブレ画像の修復を行うようにしても構わな
い。このようにすればブレ画像処理をデジタルスチルカ
メラの負担の少ない時間に行えるので、連続撮影を行う
場合に有利である。

【００６０】また距離情報または距離分布情報、ブレ情
報、画像信号をひとまず記録媒体に記憶しておき、後か
らパソコン等で記録媒体から距離情報または距離分布情
報、ブレ情報、画像信号を読み出し、パソコン側でブレ
画像の修復を行うようにしても構わない。このようにす
ればデジタルスチルカメラの負担を少なくすることがで
きるとともに、より演算規模の大きい画像処理を行うこ
とができるので、画像修復の品質も向上する。記録媒体
としてはメモリカードのの他に銀塩フィルムを使用する
ことも可能である。例えば磁気層を備えた銀塩フィルム
に画像を光学的に記録するとともに、前記磁気層に距離
情報または距離分布情報、ブレ情報を磁気的に記録する
とともに、パソコンにてスキャナー等で前記銀塩フィル
ムを読み込んで画像信号を抽出し、また磁気ヘッドによ
り磁気層に記録された距離情報または距離分布情報を読
みとる構成にしてもよい。このようにすればデジタルス
チルカメラだけでなく銀塩フィルムを使用した撮影シス
テムに対しても本発明の画像修復を適用することができ
る。

【００６１】また図２および図５の実施例においては、
ブレ画像の修復処理はデジタルスチルカメラ内で自動的
にブレ画像修復が行われているが、距離ゾーンに応じて
画面内を複数部分に分割する処理などは、画像を表示部
等に表示しながら撮影者の操作入力によりインタラクテ
ィブに行うようにしてもよい。このようにすれば、自動
化処理が困難な場合にも撮影者の意図を反映できるの
で、ブレ画像修復がより確実に実行できる。

【００６２】また図２および図５の実施例においては、
全ての距離ゾーンの画像に対してブレ画像修復処理を行
っていたが、撮影光学系の設定距離から離れている距離
ゾーンの被写体の像は既に焦点ボケによりボケているの
で、このような距離ゾーンの画像に対してはブレ画像の
修復処理を省略するようにしても構わない。例えば撮影
光学系の設定距離情報と絞り値情報から演算した焦点ボ
ケ量と所定の距離ゾーンの像ブレ量を比較し、焦点ボケ
量が支配的な場合は、この距離ゾーンの画像に対しては
ブレ画像修復処理を行わないようにする。このようにす
れば、画像処理時間を短縮し、レスポンスの高い画像修
復装置を実現することが可能である。

【００６３】また図２または図５の実施例においては、
レリーズ信号に応じて常時ブレ画像修復が行われている
が、デジタルスチルカメラの動作設定モード（接写に適
したカメラ動作を行う近接撮影モード、画像を記録する
時の圧縮率が低い高精細記録モード）や撮影光学系の設
定距離が所定距離より近距離側に設定された場合に、ブ
レ画像修復処理を行うようにしてもよい。このようにす
れば、ブレ画像修復の必要性が高い状況でのみブレ画像
修復が自動的に行われるので、通常撮影時にはレスポン
スの高い撮影が可能となる。

【００６４】

【発明の効果】以上説明したように、本発明による画像
修復装置および画像修復方法においては、画面上におけ
る被写界の距離または距離分布を検出し、距離または距
離分布に応じて最適な点像分布関数を用いてブレ画像修
復処理を行うため、従来のように距離によらず一律な点
像分布関数を用いてブレ画像修復処理を行う場合と比較
して、より良好なブレ画像修復が可能となり、特にブレ
の影響が大きい近接撮影画像のブレ修復に効果的であ
る。

【００６５】また画面内に距離の異なる複数の被写体が
あるような画像のブレ修復も、各距離に応じて部分的に
ブレ画像修復を行った後で全体の修復画像に合成するた
め、良好なブレ修復効果が期待できる。

【図面の簡単な説明】

【図１】本発明の実施形態の構成を示すブロック図であ
る。

【図２】本発明を適用したデジタルカメラの構成を示す
ブロック図である。

【図３】距離検出の原理を説明する図である。

【図４】距離検出の原理を説明する図である。

【図５】ＣＰＵとその周辺の構成を示すブロック図であ
る。

【図６】角速度信号の波形を示す図である。

【図７】相対角度信号の波形を示す図である。

【図８】相対角度信号の様子を示す図である。

【図９】撮影画面上の座標を説明する図である。

【図１０】距離分布の説明図である。

【図１１】距離に応じた角度ブレと像ブレの関係を説明
する図である。

【図１２】点像分布関数の説明図である。

【図１３】距離に応じたブレ画像修復処理の説明図であ
る。

【図１４】ＣＰＵ動作処理を示すフローチャート図であ
る。

【図１５】ＣＰＵ動作処理を示すフローチャート図であ
る。

【図１６】ＣＰＵ動作処理を示すフローチャート図であ
る。

【図１７】距離に応じた平行ブレと像ブレの関係を説明
する図である。

【符号の説明】

１画像修復装置３撮影光学系４撮像部５距離検出部６ブレ検出部７点像分布関数生成部８画像修復部１１撮影レンズ１２固体撮像素子１３角速度センサＶ１４角速度センサＨ１５距離センサ１６レリーズボタン１７ＣＰＵ１９メモリ２１記録媒体

Claims

【特許請求の範囲】

【請求項１】被写界の像を所定画面上に形成する撮影
光学系と、前記画面上に形成された被写界の像を撮像
し、画像信号を生成する撮像部と、前記画面上における
被写界の距離を検出し、距離情報を生成する距離検出部
と、前記撮影光学系の撮像時のブレを検出し、ブレ信号
を生成するブレ検出部と、前記距離情報と前記ブレ信号
に基づき、距離に応じた点像分布関数を生成する点像分
布関数生成部と、前記点像分布関数を用いて前記画像信
号を修復し、修復画像を形成する画像修復部とからなる
ことを特徴とする画像修復装置。
【請求項２】請求項１に記載の画像修復装置におい
て、前記距離検出部は、被写界の２次元的な距離分布を
検出し、前記距離分布情報に基づき被写界距離を複数の
距離ゾーンに分割するとともに、各距離ゾーンを代表す
る複数の距離データを算出し、前記点像分布関数生成部
は前記複数の距離データに応じた複数の点像分布関数を
生成し、前記画像修復部は、前記距離ゾーンに応じて画
像信号を複数の部分画像に分割するとともに、該部分画
像毎にその距離データに応じた点像分布関数を用いて修
復して複数の部分修復画像を形成し、該複数の部分修復
画像を合成することにより前記修復画像を形成すること
を特徴とする画像修復装置。
【請求項３】被写界を撮像した画像情報と、撮像時の
被写界の距離情報と、撮像時のブレ情報とが記録された
記録媒体から画像情報、距離情報、ブレ情報とを読み出
す情報読み出し部と、前記距離情報と前記ブレ情報に基
づき、距離に応じた点像分布関数を生成する点像分布関
数生成部と、前記点像分布関数を用いて前記画像信号を
修復し、修復画像を形成する画像修復部とからなること
を特徴とする画像修復装置。
【請求項４】被写界の像を所定画面上に形成するステ
ップと、前記画面上に形成された被写界の像を撮像し、
画像信号を生成するステップと、前記画面上における被
写界の距離を検出し、距離情報を生成するステップと、
撮像時のブレを検出し、ブレ信号を生成するステップ
と、前記距離情報と前記ブレ信号に基づき、距離に応じ
た点像分布関数を生成するステップと、前記点像分布関
数を用いて前記画像信号を修復し、修復画像を形成する
ステップとからなることを特徴とする画像修復方法。