JP5436116B2 - 画像処理装置、撮像装置、及び制御方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、及び制御方法に関し、特には、レンズシフト型光学式手ブレ補正が適用された撮像画像について、光学系の歪曲収差補正が可能な画像処理装置、撮像装置、及び制御方法に関する。

近年、撮像装置の動きや撮像装置が持つ撮像レンズ等の光学系により生じる撮像画像への影響を軽減するために、様々な補正機能を有する撮像装置が普及してきている。

例えば、撮像装置の動きをジャイロセンサ等により検知し、撮像レンズと撮像素子の間に設けた補正レンズを移動させて露光中の光軸のブレを補正するレンズシフト型光学式手ブレ補正機能を有する撮像装置が知られている。

一方、撮像レンズの歪曲収差により、撮像画像の周辺部に生じる歪曲を、画像処理によって補正する歪曲補正が知られている。具体的には、事前に把握した撮像レンズに固有の歪曲収差の情報に従って、撮像画像の周辺部を引き伸ばす処理を行う。

また、これらの補正方法は組み合わせて実施することができる（特許文献１）。

特開２００６−１２９１７５号公報

しかし、レンズシフト型光学式手ブレ補正と歪曲補正の両方を行うと、撮像画像の周辺部において解像度劣化が生じることが知られている。図５（ａ）は撮像開始時に、撮像素子に結ばれる像の外形を模式的に図示したものである。撮像中に発生した手ブレによる光軸のずれを補正するために補正レンズを駆動したとする。この場合、補正レンズの位置が撮像開始時と撮像終了時とで補正レンズの位置が異なるため、撮像終了時に撮像素子に結ばれる像は、例えば図５（ｂ）や図５（ｃ）に点線で示すように変形する。図５（ｃ）は図５（ｂ）より撮像装置のブレ量が多かった（補正レンズの駆動量が大きかった）場合を示す。このような変形により、図５（ａ）において像の左下角に位置していた画素５０１は、図５（ｂ）では画素５０２へ、図５（ｃ）では画素５０３へそれぞれ移動する。

図５の例では、上部が左右に縮められ、下部が左右に引き伸ばされるように像が変形しているため、撮像開始時に比べると撮像終了時で像の下部の解像度が劣化している。また、図５（ｂ）における画素５０１の移動量をＬ１、図５（ｃ）における画素５０１の移動量をＬ２とすると、Ｌ２＞Ｌ１となり、撮像中に補正レンズの駆動量が大きいほど、像の解像度の劣化が大きくなる。

次に、撮像画像に生じた、撮像レンズに固有の歪曲収差を、画像処理で補正する歪曲補正について説明する。図６（ａ）において、撮像画像６０３は光学系の歪曲収差により周辺が歪曲している。歪曲補正はレンズ固有の情報に基づいて、撮像画像６０３を本来の歪曲していない撮像画像の形状６０４に変形する画像処理である。歪曲補正により、画素６０１は画素６０２へ移動する。図６（ｂ）と図６（ｃ）は歪曲補正の前後での画素６０１と画素６０２の関係を図示したもので、図６（ｂ）は図６（ｃ）より歪曲補正量が大きい場合を示している。図６（ｂ）において画素６０１が歪曲補正後に画素６０２に移動すると、画素は引き伸ばされた量に応じて変形する。補正前の画素６０１の大きさをｄとし、補正後の画素６０２の大きさを図６（ｂ）、図６（ｃ）においてそれぞれｄ１、ｄ２とすると、歪曲補正量が多い図６（ｂ）の方が画素６０１の引き伸ばされる率が大きく、ｄ１＞ｄ２となる。つまり、歪曲補正量が大きいほうが、画素が大きく引き伸ばされるため、画像の解像度の劣化が大きくなる。

レンズシフト式光学式手ブレ補正と歪曲補正とを同じ画像に適用した場合、光学的手ぶれ補正により解像度が低下した周辺部をさらに歪曲補正で引き伸ばすため、画像周辺部の解像度劣化は相乗して劣化する。

本発明は、このような従来技術の問題点を鑑みてなされたものであり、光学式手ブレ補正と歪曲補正を両方適用した場合の解像度劣化を抑制可能な画像処理装置、撮像装置、及び制御方法を提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
本発明は、撮像装置により撮像された撮像画像を取得する第１の取得手段と、第１の取得手段により取得された撮像画像について、撮像中における撮像装置の動きに応じて補正された光軸のズレの補正量を取得する第２の取得手段と、撮像画像の撮像に用いられた光学系の歪曲収差を補正する歪曲補正手段と、を有し、歪曲補正手段は、第２の取得手段により取得された補正量が予め定められた閾値以上である場合に、補正量が当該閾値未満である場合に適用する歪曲補正量よりも小さい歪曲補正量で歪曲収差を補正することを特徴とする。

このような構成により、本発明によれば、光学式ブレ補正と歪曲補正を両方適用した場合の解像度劣化を抑制可能な画像処理装置、撮像装置、及び制御方法を提供することができる。

本発明の実施形態にかかる撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図。 実施形態にかかるデジタルカメラの補正処理を説明するためのフローチャート。 実施形態にかかる手ブレ補正量と歪曲補正量の関係を示す図。 実施形態にかかる歪曲収差と歪曲補正量の関係を示す図。 手ブレ補正処理による周辺解像度の低下を模式的に説明する図。 歪曲補正処理による周辺解像度の低下を模式的に説明する図。

以下、本発明の好適かつ例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、レンズシフト式光学式ブレ補正機能を有し、撮像画像に歪曲補正を適用可能な画像処理装置の一例としてのデジタルカメラに、本発明を適用した例を説明する。

図１に示すデジタルカメラ１００において、操作部１０１は例えばシャッターボタンやメニューボタン等、ユーザが各種指示をデジタルカメラ１００へ与えるための入力インタフェースである。操作部１０１は、入力されたユーザからの指示を制御部１０２へ伝える。制御部１０２は例えば図示しないＣＰＵ、ＲＯＭ、ＲＡＭを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開してＣＰＵが実行することにより、デジタルカメラ１００の動作全体を制御する。

ＡＦ処理部１１５は、例えば撮像素子１０３上に撮像レンズ１０４等の光学系が結像した被写体像のコントラスト比を利用して撮像レンズ１０４の焦点調節を行う。ＡＥ処理部１１６は、撮像レンズ１０４を通して入射してくる光量に応じて露出機構（絞り）１０６の開閉とシャッタースピードを制御して自動的に露出調整を行う。装置動き検出部１０７は撮像中のデジタルカメラ１００の動きを検出し、補正レンズ制御部１０８に伝える。補正レンズ制御部１０８は、装置動き検出部１０７が撮像中に検出したデジタルカメラ１００の動きに従い、光軸のズレを打ち消すように補正レンズ１０５を駆動して手ブレ補正を行う。撮像素子１０３は撮像レンズ１０４と補正レンズ１０５と露出機構１０６とを通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとしてＡ／Ｄ変換部１０９に出力する。Ａ／Ｄ変換部１０９は、撮像素子１０３が出力したアナログ画像データに対し、ゲイン調整やＡ／Ｄ変換等の処理を行い、デジタル画像データとして画像処理部１１０に出力する。

画像処理部１１０はＡ／Ｄ変換部１０９から出力されたデジタル画像データに対して、歪曲補正等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部１１０で行われる画像処理は、歪曲補正の他にホワイトバランス調整や色補間処理等が含まれる。ＥＶＦ表示部１１１は、例えば小型の液晶表示装置（ＬＣＤ）であってよく、画像処理部１１０が出力したデジタル画像データを表示する。フォーマット変換部１１２は、画像処理部１１０から出力されたデジタル画像データを、ＪＰＥＧ形式等の記録用フォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３はフォーマット変換部１１２が変換したデジタル画像データを、不揮発性メモリなどの記録媒体に記録する。記録媒体は、デジタルカメラ１００に内蔵されていてもよいし、着脱可能であってもよい。

ユーザがデジタルカメラ１００の操作部１０１の電源スイッチをＯＮにすると、制御部１０２はこれを検知し、デジタルカメラ１００の各部の制御を開始する。デジタルカメラ１００が起動すると撮像レンズ１０４の直近にあるメカニカルシャッター（図示せず）が開き、撮像素子１０３には撮像レンズ１０４、補正レンズ１０５、露出機構１０６を介して光が入射する。入射した光は、撮像素子１０３上に結像され、アナログ画像データに変換される。撮像素子１０３で変換されたアナログ画像データは、Ａ／Ｄ変換部１０９でデジタル画像データに変換され、画像処理部１１０で処理された後、ＥＶＦ表示部１１１に逐次表示される。また、制御部１０２は画像処理されたデジタル画像データから焦点調節及び露出制御に必要とする情報を取得し、ＡＦ処理部１１５とＡＥ処理部１１６に供給する。ＡＦ処理部１１５は被写体に合焦するように撮像レンズ１０４の焦点距離を制御する。また、ＡＥ処理部１１６は、被写体が適正露出で撮像されるよう、シャッタースピード及び露出機構１０６の開度を制御する。

（補正処理）
このような構成をもつ本実施形態のデジタルカメラ１００における撮像時の補正処理について、図２に示すフローチャートをさらに用いて説明する。
ユーザからの操作部１０１のシャッターボタンを通じて撮像開始要求を受けると、まずＳ２０１で、制御部１０２は撮像処理（露光処理）を開始する。
Ｓ２０２で、制御部１０２は、装置動き検出部１０７からデジタルカメラ１００の動き量を取得する。制御部１０２はデジタルカメラ１００の動き量に応じた補正レンズ１０５の駆動量を算出し、補正レンズ制御部１０８に伝える。制御部１０２は、例えば予めＲＯＭ中に記憶したデジタルカメラ１００の動き量と補正レンズ１０５の駆動量とを対応付けたテーブルを参照することにより、デジタルカメラ１００の動き量に応じた補正レンズ１０５の駆動量を算出することができる。また制御部１０２は、算出した補正レンズ１０５の駆動量をＲＯＭなどの不揮発性メモリに記憶し、後述の画像処理部１１０での歪曲補正処理に用いる。補正レンズ制御部１０８は制御部１０２から供給されたレンズ駆動量に従って補正レンズ１０５を駆動する。補正レンズ１０５を移動させることで、撮像素子１０３上に結ばれる像の、デジタルカメラ１００の動きによるブレを補正する（Ｓ２０３）。

Ｓ２０４で撮像処理の終了が決定されるまで、制御部１０２はＳ２０２とＳ２０３の処理を繰り返す。後述の歪曲補正処理に用いる補正レンズ１０５の駆動量は、露光中に算出した補正レンズ１０５の駆動量のうち最大値を用いるため、露光中不揮発性メモリに記憶される補正レンズ１０５の駆動量は、最大値が算出されるたびに更新される。

撮像処理が終了されると、撮像素子１０３で露光中に得られた入射光の情報をアナログ画像データに変換して、Ａ／Ｄ変換部１０９にアナログ画像データを出力する。Ａ／Ｄ変換部１０９では、アナログ画像データにレベル調整やＡ／Ｄ変換の処理を適用し、得られたデジタル画像データを画像処理部１１０へ出力する。また、画像処理部１１０では入力されたデジタル画像データに対し歪曲補正に先立って適用する必要がある画像処理を行う（Ｓ２０５）。

Ｓ２０６で、制御部１０２は露光中に保存した補正レンズ１０５の駆動量の最大値を不揮発性メモリから取得し、閾値以上であるかを判断する。補正レンズ１０５の駆動量の閾値は、デジタルカメラ１００の動きによって生じる撮像画像上での被写体像のブレ量が、予め定めた範囲を超える際の補正レンズ１０５の駆動量として決定することができる。例えば、撮像素子１０３上での被写体像が５ピクセル分のブレが生じるデジタルカメラ１００の動きを補正するための補正レンズ１０５の駆動量を、補正レンズ１０５の駆動量の閾値として定めることができる。しかし、撮像素子１０３の大きさと撮像素子１０３の画素数の関係（画素ピッチ）によって、基準とするブレ量は変化するため、撮像素子１０３に応じて決定する。また、補正レンズ１０５の駆動量の閾値は、撮像レンズ１０４がズームレンズの場合はズーム位置ごとに設定してもよい。デジタルカメラ１００に撮影シーン判別機能がある場合は、シーン種別ごとに補正レンズ１０５の駆動量の閾値を設定してもよい。

制御部１０２は、補正レンズ１０５の駆動量が閾値未満であった場合、光学式手ブレ補正処理による、撮像画像の周辺部の解像度劣化は少ないと判断する。そして、制御部１０２は、画像処理部１１０での歪曲補正処理における歪曲補正量を、撮像レンズ１０４に固有の歪曲収差から予め導出していた初期歪曲補正量に設定する。初期歪曲補正量は、歪曲補正処理において適用した場合、歪曲収差を良好に補正する値として導き出された補正量である（Ｓ２０７）。

一方、補正レンズ１０５の駆動量が閾値以上であった場合、制御部１０２は、光学式手ブレ補正処理による、撮像画像の周辺部の解像度劣化が無視できないと判断する。そして、制御部１０２は、歪曲補正処理における歪曲補正量を、初期歪曲補正量より小さく変更して設定する。変更後の歪曲補正量は、補正レンズの駆動量に対応して変化させればよく、例えば図３のように、補正レンズの駆動量に反比例した歪曲補正量を設定するなど、補正レンズの駆動量が大きいほど歪曲補正量を小さく設定することができる（Ｓ２０８）。
Ｓ２０９で、画像処理部１１０は制御部１０２から設定された歪曲補正量に従って、撮像画像データに歪曲補正処理を適用する。

Ｓ２１０で、画像処理部１１０は歪曲補正処理を適用した後に行う必要がある画像処理を行い、フォーマット変換部１１２へ出力する。フォーマット変換部１１２では入力された画像処理適用後のデジタル画像データを記録用フォーマットに変換して画像記録部１１３へ出力し、画像記録部１１３にて記録処理を行う。（Ｓ２１１）
このようにレンズシフト型光学式手ブレ補正と画像処理による歪曲補正との両方を適用する場合、補正レンズの駆動量が大きい場合には歪曲補正量を抑える。これにより、周辺部の解像度の劣化を抑制しながら、手ブレ補正と歪曲補正の効果を両立させることが可能になる。

（変形例）
上述の実施形態では、補正レンズ駆動量が閾値以上か閾値未満かによって歪曲補正量を低減させるか否かを判断していたが、画像の解像度を考慮した判断を行っても良い。
図４は、歪曲収差の補正後に画像に残存する歪曲収差（残存収差）について説明する図である。
図４（ａ）は撮像レンズ１０４に固有の歪曲収差４０１を、歪曲収差を良好に補正する初期歪曲補正量４０２での補正適用後、残存収差が４０３となることを示している。また、図４（ｂ）は撮像レンズ１０４に固有の歪曲収差４０１を、初期歪曲補正量４０２より少ない歪曲補正量４０４での補正適用後、残存収差が４０５となることを示している。図４（ａ）と図４（ｂ）とから、歪曲収差の画像処理による補正量を小さくすることで、残存収差が増えることがわかる。

しかしながら、画像の周辺部の解像度が低い場合には、歪曲収差が良好に補正されていても、周辺部の画像は、もともと低解像度の画像が歪曲補正で引き伸ばされてさらに解像度が低下しているため、歪曲補正の視覚的な効果は小さい。そのため、残存収差を小さくするよりも解像度を劣化させないことを優先し、画像の周辺部の解像度が高い場合よりも歪曲補正量を少なくしてよい。つまり、画像の周辺部の空間周波数（解像度）が、予め設定された、歪曲収差が目立たない大きさに設定された場合は、歪曲補正量を小さくすることができる。なお、画像の周辺部の空間周波数が、歪曲収差が目立たない大きさであるかは、撮像レンズ１０４のズーム位置や絞りの値から判断することができる。具体的には、テストチャートを用いて、ズーム位置や絞りの値に応じた画像の周辺部の解像度の値を用いて、予め歪曲収差が目立たない解像度として設定する値をＲＯＭに記憶しておけばよい。

また、画像の解像度を考慮した歪曲補正量の低減は、補正レンズ駆動量と閾値との大小関係とは独立して行うことができる。すなわち、最終的な歪曲補正処理より前の任意の時点で画像解像度が予め定められた閾値よりも小さいか否かを判断し、小さい場合には歪曲補正量を低減する処理を加えることができる。

また、ＥＶＦ表示部１１１に逐次表示するスルー画像や動画像（まとめてＥＶＦ画像という）のように、低解像度かつ個々の画像の表示時間が短い表示用画像については、歪曲補正量を少なくするような処理を行わなくてもよい。これは、ＥＶＦ画像の解像度が撮像素子の解像度（有効画素数）に比べて小さいため、撮像画像から画素を間引くなどしてＥＶＦ画像を生成する際に、手ブレ補正処理による周辺部の解像度劣化の影響が小さくなるからである。ＥＶＦ画像は枚数が多いため、個々のＥＶＦ画像について歪曲補正量を決定して適用するのは処理負荷が大きい。そのため、ＥＶＦ画像について歪曲補正量を変化させないことにより、処理負荷を軽減することができる。

以上説明したように、本実施形態によれば、レンズシフト型光学式手ブレ補正機能と、撮像レンズに固有の歪曲収差を補正する歪曲補正機能を有する撮像装置において、補正レンズの駆動量が大きい場合には歪曲補正量を初期値よりも小さい歪曲補正量に変更する。これにより、手ブレ補正処理と歪曲補正処理の両方を適用した際に生じる画像データの周辺部の解像度劣化を抑制しながら、手ブレ補正と歪曲補正の効果を両立することができる。
また、歪曲補正を行う記録用画像の解像度が小さい場合には歪曲補正量を小さくすることにより、歪曲補正による画像周辺部の解像度低下をさらに抑制することができる。

Claims (7)

1. 撮像装置により撮像された撮像画像を取得する第１の取得手段と、
   前記第１の取得手段により取得された前記撮像画像について、撮像中における前記撮像装置の動きに応じて補正された光軸のズレの補正量を取得する第２の取得手段と、
   前記撮像画像の撮像に用いられた光学系の歪曲収差を補正する歪曲補正手段と、を有し、
   前記歪曲補正手段は、前記第２の取得手段により取得された前記補正量が予め定められた閾値以上である場合に、前記補正量が当該閾値未満である場合に適用する歪曲補正量よりも小さい歪曲補正量で歪曲収差を補正する
   ことを特徴とする画像処理装置。
2. 前記予め定められた閾値は、前記撮像装置の有する撮像素子の大きさと画素数によって定まる値である、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記歪曲補正手段は、前記補正量が前記予め定められた閾値以上であった場合に、前記補正量が大きいほど歪曲補正量を小さい値に設定する、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記歪曲補正手段は、前記撮像画像の解像度が予め定めた解像度よりも低い場合に、前記撮像画像の解像度が予め定めた解像度よりも高い場合に適用する歪曲補正量よりも小さい歪曲補正量で補正する、ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記歪曲補正手段は、前記撮像画像が予め定めた解像度よりも低い表示用画像である場合に、前記補正量が前記予め定められた閾値以上であっても、前記補正量が前記予め定められた閾値未満である場合に適用する歪曲補正量で補正する、ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 撮像装置の動きを検出する動き検出手段と、
   前記動き検出手段により検出された前記撮像装置の動きに応じて、撮像中の光軸のズレを補正する光学系と、
   前記光学系が結像した被写体像を撮像して撮像画像を生成する撮像手段と、
   請求項１乃至５のいずれか１項に記載の画像処理装置と、を有する
   ことを特徴とする撮像装置。
7. 画像処理装置の第１の取得手段が、撮像装置により撮像された撮像画像を取得する第１の取得工程と、
   前記画像処理装置の第２の取得手段が、前記第１の取得工程において取得された前記撮像画像について、撮像中における前記撮像装置の動きに応じて補正された光軸のズレの補正量を取得する第２の取得工程と、
   前記画像処理装置の歪曲補正手段が、前記撮像画像の撮像に用いられた光学系の歪曲収差を補正する歪曲補正工程と、を有し、
   前記歪曲補正手段は前記歪曲補正工程において、前記第２の取得工程において取得された前記補正量が予め定められた閾値以上である場合に、前記補正量が当該閾値未満である場合に適用する歪曲補正量よりも小さい歪曲補正量で歪曲収差を補正する
   ことを特徴とする画像処理装置の制御方法。

Images