JP2020009099A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】高解像度の画像を少ない負担で効率良く取得可能にすることができる画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】第１の画像を取得する第１の取得手段と、前記第１の画像を基に、第１の画像のなかで高解像度化する領域を決定する決定手段と、高解像度化すると決定された領域を基に、第１の画像よりも画角が狭い第２の画像を取得する第２の取得手段と、第１の画像を参照し、第２の画像を用いて高解像度の画像を生成する生成手段と、を有する。【選択図】図２

Description

本発明は、高解像度な画像を取得するための技術に関する。

広角で撮影した画像の中から詳細に見たい部分を拡大する場合、その領域を単純に拡大すると、遠景にある被写体は解像度がないため、ぼやけたような画像となる。これに対し、例えば基準となる広角画像と同じ位置で望遠側にズームした狭角画像を撮影し、広角画像を参照して対応する位置の狭角画像を用いて高解像度な画像を生成すれば、拡大した際にも被写体等の詳細を見ることができるようになる。また例えば特許文献１には、広角画像と狭角画像を撮影し、位置合わせを行った両画像の各画素の整合性を用いて狭角画像を広角画像に合成することで、ユーザが所望した解像度の画像を生成する技術が開示されている。

特開２００６−２２９８０２号公報

前述のように広角画像と狭角画像を用いて高解像度な画像を生成する場合、画像全体に対して処理を行うと、多くの狭角画像を撮影する必要があり、それら必要な枚数を撮影するために、ユーザに対して多くの負担がかかる。また、撮像装置等の画像処理装置においても、それら多くの画像を処理するための時間が膨大にかかることになる。前述した特許文献１の技術においても、高解像度な画像を生成するために使用する狭角画像の全画素に対して画素単位で整合性の判定を行っているため、撮影した枚数だけ処理負荷が増加する。

そこで、本発明は、高解像度の画像を少ない負担で効率良く取得可能にすることを目的とする。

本発明の画像処理装置は、第１の画像を取得する第１の取得手段と、前記第１の画像を基に、前記第１の画像のなかで高解像度化する領域を決定する決定手段と、前記高解像度化すると決定された領域を基に、前記第１の画像よりも画角が狭い領域を撮像することで第２の画像を取得する第２の取得手段と、前記第１の画像を参照し、前記第２の画像を用いて高解像度の画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、高解像度の画像を少ない負担で効率良く取得可能となる。

第１実施形態の撮像装置の構成及び機能を示すブロック図である。 第１実施形態の撮像装置の動作フローチャートである。 高解像度化する領域を決定する処理を説明する図である。 高解像度化領域決定処理のフローチャートである。 評価値と優先度の関係を説明する図である。 狭角画像の取得処理を説明する図である。 高解像度画像生成処理のフローチャートである。 高解像度画像生成処理を説明する図である。 第２実施形態の撮像装置の機能を示すブロック図である。 第２実施形態の撮像装置の動作フローチャートである。 第２実施形態における評価値と優先度の関係を説明する図である。 第２実施形態で狭角画像を選択する処理を説明する図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１実施形態＞
第１実施形態では、撮影により取得された広角画像を基に高解像度化する領域を決定し、その決定した領域を基に、広角画像の撮影時より画角を狭くして撮影した狭角画像を取得して高解像度画像を生成する例について説明する。
図１（ａ）は本実施形態の画像処理装置の適用例である撮像装置の概略的なハードウェア構成を示した図であり、図１（ｂ）は本実施形態の撮像装置において広角画像の撮影から高解像度画像の生成までの各機能を示した機能ブロック図である。
先ず図１（ａ）を参照しながら、本実施形態の撮像装置の構成について説明する。

図１（ａ）において、光学系１０１は、ズームレンズとフォーカスレンズとシフトレンズとを有して構成されるレンズ群、絞り調整機構、および、シャッター機構等を備えている。この光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、光量等を調整する。撮像部１０２は、光学系１０１を通過して撮像面上に形成された被写体像を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子を有する。Ａ／Ｄ変換部１０３は、撮像部１０２から入力されたアナログ撮像信号をデジタルの画像データに変換する。

画像処理部１０４は、通常の画像信号処理の他に、本実施形態に係る高解像度化領域の決定処理、高解像度画像の生成に用いる狭角画像を取得するのに適切な焦点距離の算出、および高解像度画像の生成処理等を行う。これら高解像度化領域の決定処理、適切な焦点距離の算出処理、高解像度画像の生成処理の詳細については後述する。
光学系制御部１０５は、光学系１０１のレンズ群に対する駆動制御、絞り調整機構の駆動制御、シャッター機構の駆動制御等を行う。詳細については後述するが、特に本実施形態の場合、光学系制御部１０５は、システム制御部１０６による制御の下で、光学系１０１のズームレンズに対するズームポジション（焦点距離）の制御、シフトレンズに対するシフト駆動制御等を行う。

システム制御部１０６は、本実施形態の装置全体の動作を制御、統括する制御機能部であり、操作部１０７から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御、画像処理部１０４における所定の画像処理の制御を行う。
表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像や、記録部１０９から読み出された画像、各種設定メニュー等のユーザインターフェース画面等を表示する。
記録部１０９は、画像を記録する機能を有し、例えば半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体が着脱可能になされていてもよい。
画像処理部１０４、光学系制御部１０５、システム制御部１０６、表示部１０８、および、記録部１０９は、バスにより接続されており、バスを介して、それらの間で画像データや各種情報のやり取りが行われる。

次に図１（ｂ）を参照しながら、本実施形態の撮像装置において広角画像の取得から高解像度画像の生成までの各機能ブロックについて説明する。
図１（ｂ）に示した機能ブロックは、広角画像取得部１１１、領域決定部１１２、狭角画像取得部１１３、画像生成部１１４からなる。本実施形態において、広角画像取得部１１１と狭角画像取得部１１３の機能は、例えばシステム制御部１０６が光学系制御部１０５を介して光学系１０１を制御することにより実現される。また、領域決定部１１２と画像生成部１１４の機能は、例えば画像処理部１０４により実行される。

広角画像取得部１１１は、本実施形態に係る画像処理において基準画像として用いられる広角画像を取得する。本実施形態の撮像装置において、広角画像取得部１１１の機能は例えばシステム制御部１０６により実現される。例えば、システム制御部１０６は、広角画像取得部１１１の機能として、光学系制御部１０５を介して光学系１０１のズームレンズを制御して焦点距離を短く調整して広角撮影がなされるように制御する。なお、このときの焦点距離は、例えば操作部１０７を介したユーザからの指示に応じて設定される。そして、この状態で撮像部１０２により撮像されてＡ／Ｄ変換部１０３から出力された画像データは、広角画像の情報として画像処理部１０４に送られる。

領域決定部１１２は、広角画像取得部１１１にて取得された広角画像の情報を基に、高解像度化する領域を決定する処理を実行する。本実施形態の撮像装置において、領域決定部１１２の機能は例えば画像処理部１０４により実現される。なお、高解像度化領域の決定処理の詳細は後述する。同じく詳細は後述するが、高解像度化するとして決定される領域は一つに限らず複数になることが多い。画像処理部１０４の領域決定部１１２により決定された高解像度化領域を表す領域情報は、システム制御部１０６に送られる。

狭角画像取得部１１３は、領域決定部１１２により決定された領域情報を基に狭角画像の撮影を行う。本実施形態の撮像装置において、狭角画像取得部１１３の機能は例えばシステム制御部１０６により実現される。例えば、システム制御部１０６は、先ず、領域決定部１１２からの領域情報を基に、高解像度化に用いる狭角画像を撮影するための適切な焦点距離を算出する。そして、システム制御部１０６は、その焦点距離になるように、光学系制御部１０５を介して光学系１０１のズームレンズを制御することで高解像度化に用いる狭角画像の撮影を行わせる制御を実行、つまり狭角画像の取得処理を実行する。この狭角画像取得処理の詳細については後述する。なお、領域決定部１１２によって高解像度化する領域として複数の領域が決定された場合、狭角画像取得部１１３は、それら複数の各領域に対応した複数の狭角画像を取得する。この狭角画像取得処理において、撮像部１０２により撮像されてＡ／Ｄ変換部１０３から出力された画像データは、狭角画像の情報として画像処理部１０４に送られる。

画像生成部１１４は、広角画像取得部１１１にて取得された広角画像を参照し、狭角画像取得部１１３で取得した狭角画像を用いて高解像度画像を生成して出力する。本実施形態の撮像装置において、画像生成部１１４の機能は例えば画像処理部１０４により実現される。高解像度画像の生成処理の詳細については後述する。画像処理部１０４の画像生成部１１４により生成された高解像度画像のデータは、その後、システム制御部１０６による制御の下で、例えば記録部１０９に記録されたり、表示部１０８に表示されたりする。

図２は、本実施形態の撮像装置における前述した広角画像の取得処理から高解像度画像の生成処理までの処理手順の流れを示したフローチャートである。なお、以下の説明では、各処理のステップＳ２０１〜ステップＳ２０４をＳ２０１〜Ｓ２０４と略記し、このことは後述する他のフローチャートでも同様とする。
以下、本実施形態の撮像装置における広角画像取得処理から高解像度画像生成処理までの各処理の詳細を、図１（ｂ）の機能ブロックと図２のフローチャート等を参照しながら説明する。

Ｓ２０１において、広角画像取得部１１１は、撮影したいシーンに対して、本実施形態に係る画像処理において基準画像として用いられる広角画像を撮影することにより取得し、その取得した広角画像のデータを領域決定部１１２に送る。図３（ａ）は、広角画像取得部１１１によりＳ２０１において撮影されたシーンの広角画像３０１の一例を示した図である。

次にＳ２０２において、領域決定部１１２は、広角画像取得部１１１により取得された広角画像を基に、高解像度化を行う領域を決定する。
ここで、広角画像として撮影されたシーンの情報を使用して高解像度化する領域を決定する際、領域決定部１１２は、先ず、広角画像３０１を複数のブロック領域（以下、単にブロックとする。）に分割する。広角画像３０１のブロック分割する際のブロックサイズと分割数は任意に設定可能であり、図３（ｂ）は、図３（ａ）の広角画像３０１を例えばＭ×Ｎの複数ブロックに分割した状態の広角画像３１１の例を示した図である。そして、領域決定部１１２は、広角画像３１１のブロック毎に後述する優先度を求め、それらブロック毎の優先度に基づいて高解像度化する領域を決定する。図３（ｃ）は、図３（ｂ）の広角画像３１１と同様のブロック分割された広角画像３２１を示しており、高解像度化する領域の一例として領域３２２と領域３２３とが決定された例を示している。

図４は、図２のＳ２０２で行われるブロック分割からブロック毎の優先度に基づく高解像度化領域の決定処理までの詳細を示したフローチャートである。
先ず、Ｓ４０１において、領域決定部１１２は、図３（ｂ）に示したように広角画像３１１を例えばＭ×Ｎの複数ブロックに分割する。
次に、Ｓ４０２において、領域決定部１１２は、ブロック毎に画像の特徴に応じた評価値を求め、それらブロック毎の評価値を基に、高解像化する領域を決定する際の優先度を算出する。本実施形態の場合、各ブロックの画像の特徴に応じた評価値としては、コントラスト情報、顕著度情報、特定の被写体の認識結果の信頼度情報等を用いるとする。

それぞれ詳細については後述するが、本実施形態において、領域決定部１１２は、ブロック毎のコントラスト情報として、エッジ強度特性を表す情報を取得する。エッジ強度特性は被写体領域のテクスチャの有無を判定するために用いられ、領域決定部１１２は、エッジ強度が大きい領域ほどテクスチャが多い領域であると判断する。また本実施形態において、顕著度情報は、視覚的に目立つ度合いを表す情報である。領域決定部１１２は、顕著度情報として、例えば画像内の被写体領域の特徴とその周辺の被写体領域の特徴との差分情報を取得する。顕著度情報としての差分情報は、視覚的に目立つ領域かどうかの判定に用いられ、領域決定部１１２は、顕著度情報（差分情報）が大きくなるほど、視覚的に目立つ領域であると判断する。また、認識結果の信頼度情報としては、特定の被写体の検出及び認識においてその認識結果の信頼度を表す情報が取得される。なお本実施形態では、特定の被写体として例えば空の領域を検出および認識する例を挙げており、領域決定部１１２は、画像から検出した被写体領域が空領域であると認識した際の認識結果の信頼度情報を取得する。

図５（ａ）は、領域決定部１１２において、コントラスト情報に応じた優先度を求める際に用いられるグラフ５０１を示した図である。グラフ５０１は、下限値から上限値までの間で、コントラスト情報の値が高くなるほど優先度の値も高くなる特性となされている。下限値以下のコントラスト情報に対しては優先度の下限値が設定され、上限値以上のコントラスト情報に対しては優先度の上限値が設定される。また、図５（ｂ）は、領域決定部１１２において、顕著度情報に応じた優先度を求める際に用いられるグラフ５０２を示した図である。グラフ５０２は、下限値から上限値までの間で、顕著度情報の値が高くなるほど優先度の値も高くなる特性となされている。下限値以下の顕著度情報に対しては優先度の下限値が設定され、上限値以上の顕著度情報に対しては優先度の上限値が設定される。また、図５（ｃ）は、領域決定部１１２において、例えば空領域の検出および認識が行われた場合の認識結果の信頼度情報に応じた優先度を求める際に用いられるグラフ５０３を示した図である。グラフ５０３は、下限値から上限値までの間で、空領域の認識結果の信頼度情報の値が高くなるほど優先度の値が低くなる特性となされている。下限値以下の信頼度情報に対しては優先度の上限値が設定され、上限値以上の信頼度情報に対しては優先度の下限値が設定される。なお図５（ｃ）は画像の特徴の変化が少ない空領域が対象となされた場合の例であり、逆に、画像の特徴の変化が大きい他の被写体（例えば人物の顔等）が認識対象である場合には信頼度情報の値が高くなるほど優先度の値が高くなる特性となされてもよい。また、図５（ｄ）は、コントラスト情報、顕著度情報、空領域の認識結果の信頼度情報に対してそれぞれ付与される重みを示した表５４０である。領域決定部１１２は、コントラスト情報、顕著度情報、空領域の認識結果の信頼度情報に対しては、それぞれ表５４０に示した重みを付与する。

以下、領域決定部１１２において、コントラスト情報、顕著度情報、特定の被写体の認識結果の信頼度情報等に応じてそれぞれ優先度を設定する処理について、詳細に説明する。
コントラスト情報を基に優先度を設定する場合、領域決定部１１２は、広角画像３１１に対してバンドパスフィルタ処理を行うことでエッジ強度を検出し、式（１）を用いて、各ブロックのエッジ強度の積分値Ｆrを、コントラスト情報として算出する。なお、式中の（ｉ，ｊ）はブロック内の座標であり、ｆr(i,j）は注目ブロック内の各座標におけるエッジ強度値、Ｆrは注目ブロックの各座標のエッジ強度の積分値（コントラスト情報）である。

ここで、エッジ強度が大きくテクスチャが多い被写体領域の場合には、エッジ強度の積分値が大きくなり、コントラスト情報の値が大きくなる。また、広角画像３１１内にテクスチャが多い被写体がある場合、その被写体領域は高解像度な画像であることが望ましい。このため、領域決定部１１２は、図５（ａ）に示したグラフ５０１を用いることにより、広角画像３１１内でテクスチャが多い被写体領域、つまりコントラスト情報の値が高い領域については高い優先度を設定する。一方、エッジ強度が小さくテクスチャが少ない被写体領域の場合には、エッジ強度の積分値が小さくなり、コントラスト情報の値が小さくなる。また、広角画像３１１内でテクスチャが少ない被写体がある場合、その被写体領域は高解像度な画像である必要性は低いと考えて差し支えない。このため、領域決定部１１２は、図５（ａ）に示したグラフ５０１を用いることにより、広角画像３１１内でテクスチャが少ない被写体領域、つまりコントラスト情報の値が低い領域については低い優先度を設定する。

また被写体の顕著度情報を基に優先度を設定する場合、領域決定部１１２は、顕著度情報として、着目ブロックの特徴量とその周辺のブロックの特徴量との差分を算出する。本実施形態において、ブロックの特徴量は、ブロック内の輝度値、色相値、エッジ強度の少なくとも一つ以上を含むものとする。領域決定部１１２は、これらの特徴量に対し、下記の式（２）により各ブロックの特徴量の差の絶対値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。なお、式中のｆv_A(i,j)は注目ブロック内の各座標における特徴量、ｆv_B(i,j)は周辺ブロック内の各座標の特徴量、Ｆvは特徴量の差分の絶対値である。

ここで、着目ブロックとその周辺ブロックの特徴量の差分が大きい場合には、それらブロック間の相関が低いと考えられる。そして、ブロック間の相関が低い場合、それらブロックを含む被写体領域は、視覚的に目立つ被写体の領域であると考えられ、その被写体領域については高解像度な画像を生成することが望ましい。このため、領域決定部１１２は、図５（ｂ）に示したグラフ５０２を用いることで、ブロック間の相関が低い被写体領域、つまり着目ブロックと周辺ブロックの特徴量の差分絶対値である顕著度情報の値が高い領域には高い優先度を設定する。一方、着目ブロックと周辺ブロックの特徴量の差分が小さい場合には、それらブロック間の相関が高いと考えられる。この場合、それらブロックを含む被写体領域は視覚的にさほど目立つ被写体の領域でないと考えられ、その被写体領域は高解像度な画像である必要性は低いと考えて差し支えない。したがって、領域決定部１１２は、図５（ｂ）のグラフ５０２を基に、ブロック間の相関が高い被写体領域、つまり顕著度情報の値が低い領域には低い優先度を設定する。なお前述の説明では、差分絶対値であるＳＡＤを用いた相関の算出方法の例を挙げたが、これに限定されるものではなく、他の方式を使用してもよい。

また、特定の被写体の認識結果の信頼度情報を基に優先度を設定する場合、領域決定部１１２は、先ず、各ブロックにおける特徴量として輝度、色相、エッジ量を算出する。さらに、領域決定部１１２は、それらブロックの各特徴量を基に、認識対象となされている領域が特定の被写体領域とみなす範囲に合致するかどうかを特徴量毎に判定し、それぞれ合致の度合いに応じた信頼度情報を算出する。そして、領域決定部１１２は、それら特徴量毎に算出した信頼度情報を例えば乗算し、その乗算後の情報を最終的な信頼度情報として取得する。本実施形態の場合、認識対象の特定の被写体領域として空領域を例に挙げている。なお、空領域等を認識する技術としては、例えば特開２０１５−３２９６６号公報等に記載された技術を用いることができる。ここで、空領域は、一般に、輝度が高いことが多く、色相としては空の青や雲の白等の所定の色相範囲であることが多く、またエッジ量は少ないことが多い。このため、空領域が認識対象となされている場合、認識結果の信頼度情報としては、輝度値が高く、色相が所定の色相範囲であり、エッジ量が少ないほど高くなる値が設定される。そして、空領域は高解像度な画像である必要性が低いと考えられる。したがって、領域決定部１１２は、図５（ｃ）に示したグラフ５０３を基に、空領域とみなす範囲に合致する度合いが高い領域、つまり空領域の認識結果の信頼度情報が高い領域については、低い優先度を設定する。一方、領域決定部１１２は、図５（ｃ）のグラフ５０３を基に、空領域とみなす範囲に合致する度合いが低い領域、つまり空領域の認識結果の信頼度情報が低い領域については、高い優先度を設定する。

前述したように、図４のＳ４０２において、領域決定部１１２は、コントラスト情報、顕著度情報、認識結果の信頼度情報を、それぞれ優先度を設定する際の評価値として求め、それら評価値毎に優先度を算出する。
次にＳ４０３において、領域決定部１１２は、下記の式（３）を用い、Ｓ４０２で評価値毎に算出した優先度に重み付けを行って、ブロック毎の優先度Ｗ(M,N)を算出する。なお式中のｎは取得された評価値の数を表し、ａ_nは評価値毎に設定された優先度である。また式中のα_nは、評価値毎の優先度に対して設定された重みであり、例えば図５（ｄ）の表５０４に示した重みが用いられる。被写体のテクスチャの有無を表しているコントラスト情報は高解像度化する領域を決定する際に重要であるため、図５（ｄ）の表５０４では、当該コントラスト情報に対する重みが一番大きい値に設定されている。なお、重みはユーザが指定して決めてもよい。

次にＳ４０４において、領域決定部１１２は、Ｓ４０３で式（３）によりブロック毎に決定した優先度Ｗ(M,N)の中から、優先度Ｗ(M,N)の値が例えば所定の閾値以上となっている優先度Ｗ(M,N)の高いブロックを選択する。そして、領域決定部１１２は、選択したブロックに対応した領域を、狭角画像を撮影して高解像度化する領域として決定する。例えば図３（ｃ）の例に示したように、広角画像３２１の中で例えば領域３２２や領域３２３が高解像度化する領域として決定される。

前述したようにして、領域決定部１１２では、コントラスト情報、顕著度情報、特定の被写体の認識結果の信頼度情報等の評価値に応じて設定した優先度を基に、狭角画像を撮影して高解像度化する領域を決定する。具体例として、被写体のテクスチャが多く、顕著度も高い被写体領域を挙げて説明する。例えばテクスチャが多い被写体領域は狭角画像を撮影して高解像度化することに効果のある領域であると考えられる。また、顕著度が高い被写体領域は目立つ領域であり、ユーザの目に留まる可能性が高く、狭角画像を撮影して高解像度化することに効果のある領域であると考えられる。したがって、領域決定部１１２では、被写体のテクスチャが多い被写体領域や、顕著度の高い被写体領域について優先度を高く設定して、高解像化する領域として決定する。一方、テクスチャが少なく、顕著度も低い領域の場合、広角画像と狭角画像での差が少なく、ユーザの目にも留まりにくい領域であると考えられる。このため、領域決定部１１２では、テクスチャが少なく、顕著度も低い領域について優先度を低く設定して、高解像度化する領域として決定しないようにする。

図２のフローチャートに説明を戻す。Ｓ２０２の後、撮像装置の処理はＳ２０３に進む。
Ｓ２０３に進むと、狭角画像取得部１１３は、前述のようにＳ２０２で決定された高解像度化する領域を基に狭角画像の撮影を行う。本実施形態において、狭角画像を撮影する際には、光学系１０１のズームレンズの焦点距離を調整して撮影画角を狭角にした上でシフトレンズのシフト駆動を行って撮影画角の撮影位置を移動させるようして撮影を行う。

図６（ａ)〜図６（ｈ）は、広角画像を参照して高解像度化する領域の狭角画像を撮影する様子を説明する図である。図６（ａ）は図３（ａ）に示したのと同様の広角画像６０１を示した図である。図６（ｂ）はＳ２０３においてズームアップにより狭角にした後にレンズのシフト駆動により狭角の撮影画角を移動させる際の移動順序（図中に矢印で示す移動順序）の一例を示した図である。なお、図６（ｂ）では図３（ｂ）の例と同様にブロック分割された広角画像６１１を示し、図中に矢印で示したように、移動順序は各ブロックの配列に応じた順序になされているが、移動順序はこの例に限定されるものではない。また、図６（ｃ）は図３（ｃ）と同様の広角画像６２１及びその広角画像６２１内で高解像化するとして決定された領域６２２，６２３と、例えば高解像度化する領域６２２を取得する際に狭角の撮影画角で写っている狭角画像６３１とを示した図である。なお、図６（ｃ）において広角画像６２１内の特徴点６２４と狭角画像６３１内の特徴点６３２については後述する。図６（ｃ）の領域６２２に対応した高解像度画像を生成する場合には、例えば図６（ｄ）に示す狭角画像６４１、図６（ｆ）に示す狭角画像６４３、図６（ｇ）に示す狭角画像６４４が取得される。また、図６（ｃ）の領域６２３に対応した高解像度画像を生成する場合には、例えば図６（ｅ）に示す狭角画像６４２、図６（ｈ）に示す狭角画像６４５が取得される。なお、図６（ｄ）〜図６（ｈ）の各図の並び順は、狭角画像が取得される順番に応じている。

このように、狭角画像取得部１１３は、光学系１０１のズームレンズを制御して撮影画角を狭角にした上で、その狭角の撮影画角が、図６（ｂ）の広角画像６１１に対応した撮影範囲をカバーする移動順序で移動するようにシフトレンズをシフト駆動させる。そして、狭角画像取得部１１３は、狭角の撮影画角の移動させている際に、領域決定部１１２にて決定された高解像度化する領域が撮影画角内に写っている画像を撮影するようにする。ここで高解像度化する領域が狭角画像に写っているか否かの判定は、例えば図６（ｃ）の広角画像６２１の高解像度化する領域の特徴点（例えば領域６２２の特徴点６２４）と、狭角画像６３１の特徴点（例えば特徴点６３２）との類似度を比較することで行う。類似度としては、広角画像６２１の高解像度化する領域６２２内の特徴点６２４と、狭角画像６３１に写っている特徴点６３２とで、対応した特徴情報が所定の割合以上ある場合に類似度が高いと判断する。また高解像度化する領域が狭角画像内にあるか否かを判定する際の特徴点としては、広角画像６２１と狭角画像６３１の各々でバンドパスフィルタやエッジ検出器等により検出される信号の変化が大きい領域やエッジの強度が大きい領域等を用いることができる。

具体的には、狭角画像取得部１１３は、広角画像６１１内で高解像度化する領域の特徴点６２４と、狭角画像６３１内の特徴点６３２との間で相関の度合いを計算することで画像間の対応関係の有無の検出を行う。相関の度合いとしては、例えば式（４）により算出される相関値Ｒ_SADを用いる。なお、式中のｆ(i,j)は広角画像内の各座標の画素値、ｇ(i,j)は狭角画像内の各座標の画素値である。

そして、狭角画像取得部１１３は、算出した相関値Ｒ_SADが閾値以下となる特徴点の組を対応点と判定し、類似度が高いと判断する。図６（ｃ）の例では、広角画像６２１の高解像度化する領域の特徴点６２４と、狭角画像６３１内の特徴点６３２とが相関の高い点を示しており、これらの類似度が高いと判断される。狭角画像取得部１１３は、このような類似度の高い特徴点が所定の割合以上含まれる場合に、狭角画像には高解像度化する領域が写っていると判定し、その狭角画像を取得して記録する。前述した図６（ｄ）〜図６（ｈ）に示した各狭角画像６４１〜６４５が、記録される狭角画像となる。

前述した例では、シフトレンズをシフト駆動させる撮影方法により、広角画像内の高解像度化する領域に対応した狭角画像の撮影を実現したが、他の手法により高解像度化する領域に対応した狭角画像の撮影を実現してもよい。例えばいわゆる手持ち撮影がなされている際の手振れ量を基に、狭角時の撮影画角の移動方向と移動量を算出して、それら移動方法と移動量を基に、高解像度化する領域に対応した狭角画像の撮影を行うようにしてもよい。この場合、狭角画像取得部１１３は、例えば、光学系１０１の焦点距離と、図１には不図示の手振れ検出センサ等により検出される手振れ量とを基に、狭角時の撮影画角の移動方向と移動量を算出する。さらに、狭角画像取得部１１３は、狭角時の撮影画角の移動方法と移動量を基に、狭角時の撮影画角により撮影される範囲が、広角画像が撮影された範囲内の何れの範囲に対応しているかを算出する。そして、狭角画像取得部１１３は、狭角の撮影画角が手振れにより移動した撮影範囲が、広角画像の撮影範囲内で高解像度化する領域に対応した範囲になった時に狭角画像の撮影を実行する。またこの例の場合も、前述同様の特徴点の比較に基づく類似度判定を行って、広角画像の高解像度化する領域が狭角画像に写っているか否かの判定を行ってもよい。また手持ち撮影が行われる場合、手振れによる画質劣化が生ずる虞があり、手振れによって撮像部１０２の撮像面上で光学像が移動する移動量は例えば被写体までの距離と、光学系１０１の焦点距離と、手振れ量とから算出可能である。このため、狭角画像取得部１１３は、狭角画像を撮影する際には、手振れによる画質への影響を極力少なくできるシャッター速度で撮影を実行する。一般に、下記の式（５）で算出されるシャッター速度Ｔｖより速い速度で撮影すれば、手振れによる画質劣化が略々見えなくなるため、狭角画像取得部１１３は、式（５）の算出値を基準値とし、それより速いシャッター速度で狭角画像の撮影を行うようにする。なお式中のｆは光学系１０１の焦点距離である。

Ｔｖ＝１／ｆ 式（５）

前述のようにして、Ｓ２０３において高解像度化する領域に対応した狭角画像の取得がなされた後、撮像装置の処理は図２のＳ２０４に進む。
Ｓ２０４において、画像生成部１１４は、広角画像取得部１１１が取得した広角画像を参照し、狭角画像取得部１１３が取得した狭角画像を用いて高解像度画像を生成する。この高解像度画像を生成する処理を図７、図８（ａ）〜図８（ｃ）を使用して説明する。図７はＳ２０４の処理の詳細を示したフローチャートである。図８（ａ）は広角画像取得部１１１により取得された前述の図３（ａ）と同様の広角画像８０１を示し、図８（ｂ）は狭角画像取得部１１３により高解像化する領域に対応して取得された狭角画像８１１の一つを示した図である。図８（ｃ）は図８（ａ）の広角画像８０１を拡大した広角画像８２１と、狭角画像取得部１１３により取得された狭角画像８３１との対応関係の説明に用いる図である。なお、図８（ｃ）は拡大された広角画像の一部のみを抜き出して示しており、実際には図８（ａ）の広角画像８０１と同じ絵柄が写っている拡大された広角画像である。

画像生成部１１４は、先ず図７のフローチャートのＳ７０１において、図８（ｂ）に示した狭角画像８１１内の被写体の大きさと、図８（ａ）に示した広角画像８０１内の被写体の大きさとを合わせるために、図８（ｃ）に示すように広角画像を拡大する。図８（ｃ）の広角画像８２１は、図８（ａ）の広角画像８０１を拡大した広角画像の一部のみを抜き出して示した画像であり、その中の被写体の大きさが、狭角画像８３１内の被写体の大きさと一致するようになされている。

次にＳ７０２において、画像生成部１１４は、図８（ｃ）のように拡大した広角画像８２１と、狭角画像８３１とに対し、画像内の特徴点を抽出する処理を行う。特徴点抽出は、前述したＳ２０３で説明したのと同様の手法を用いるとする。
次に、Ｓ７０３において、画像生成部１１４は、拡大した広角画像８２１と、狭角画像８３１とからそれぞれ抽出した特徴点間の相関の度合いを算出することで、それら画像間で対応関係を有する対応点を探索する。相関の度合いの算出の際には、前述した式（４）を用いる。そして対応点探索処理の結果、図８（ｃ）の拡大した広角画像８２１内の特徴点８２２と狭角画像８３１内の特徴点８３２、同様に広角画像８２１内の特徴点８２３と狭角画像８３１内の特徴点８３３とが、各々対応関係を有する対応点として探索されたとする。

次に、Ｓ７０４において、画像生成部１１４は、Ｓ７０３で探索した画像間の対応点を基に、広角画像８０１と狭角画像８１１との位置合わせを行い、それら広角画像８０１と狭角画像８１１を合成して高解像度画像を生成する。なお、画像合成による高解像度画像の生成処理としては、例えば特開２００７−１６４２５８号公報に記載される手法を用いることができる。この場合、画像生成部１１４は、合成する両画像の対応する４点以上の特徴点の組み合わせを用いて射影変換式を算出し、その射影変換式を用いて狭角画像を変形した上で、広角画像に対する位置合わせを行う。そして、画像生成部１１４は、前述のよう射影変換式による変形および位置合わせを行った狭角画像を、広角画像に合成して高解像度画像を生成する。なお、高解像度画像を生成する際に、高解像度化する領域であるにも関わらず、対応する狭角画像が取得されていない場合には、広角画像をそのまま使用して画像を生成する。画像生成部１１４は、前述のような処理により生成した高解像度画像を出力する。

なお前述の説明では、広角画像に狭角画像を合成して高解像度画像を生成する例を挙げたが、広角画像との合成を行わずに、広角画像を参照して、狭角画像のみを繋ぐように合成することで高解像度画像を生成してもよい。この場合、画像生成部１１４は、広角画像と狭角画像との間の対応関係を基に、複数の狭角画像の位置関係を算出し、それらの位置関係を基に狭角画像を繋ぎ合わせるように合成することで、高解像度画像を生成する。
その他にも、前述のような広角画像と狭角画像の合成、狭角画像を繋ぎ合わせる合成の処理を行わず、広角画像と狭角画像の対応関係を保持しておき、広角画像の拡大指示がなされた際に、その拡大指示に対応する狭角画像を表示させるようにしてもよい。

また本実施形態では、高解像度画像を生成する際に、対応する狭角画像がない場合に広角画像を使用して画像を生成する例を挙げたが、広角画像を使用せずに、再度、狭角画像の取得処理を行い、その取得した狭角画像を用いて高解像度画像を生成してもよい。
また本実施形態では、高解像度画像生成の際に、広角画像と狭角画像の対応した特徴点を算出して位置合わせ行ったが、特徴点を使用せず、着目画素周辺の任意の範囲のテンプレートを使用し、ブロック単位で対応する領域を算出して位置合わせを行ってもよい。

以上説明したように第１実施形態の撮像装置においては、撮影した広角画像を基に高解像度化する領域を決定し、その領域に対応した狭角画像を取得して、高解像度画像を生成している。これにより第１の実施形態の撮像装置によれば、広角画像の中で高解像度化する領域に対応した狭角画像を効率よく取得でき、ユーザの負担が少なく、高解像度画像を取得することができる。

＜第２実施形態＞
第２実施形態では、撮影した広角画像と狭角画像とを基に高解像度化する領域を決定し、その決定された領域の高解像度画像を生成するために使用する狭角画像を選択して高解像度画像を生成する例について説明する。第２実施形態に係る撮像装置の構成は前述した図１（ａ）と同様であるため図示は省略する。
図９は第２実施形態の撮像装置において広角画像と狭角画像を撮像して、高解像度画像を生成するまでの機能ブロックを示した図である。

図９に示すように、第２実施形態における機能ブロックは、広角画像取得部９０１、狭角画像取得部９０２、領域決定部９０３、画像生成部９０４からなる。第２実施形態においても、第１実施形態の場合と同様に、広角画像取得部９０１と狭角画像取得部９０２の機能は、例えばシステム制御部１０６が光学系制御部１０５を介して光学系１０１を制御することにより実現される。また、領域決定部９０３と画像生成部９０４の機能は、例えば画像処理部１０４により実行される。

広角画像取得部９０１は、第１実施形態の場合と同様に、基準画像として用いられる広角画像を取得する。
狭角画像取得部９０２は、広角画像取得部９０１にて広角画像が取得された際の画角の範囲内で複数の狭角画像を取得する。
領域決定部９０３は、広角画像取得部９０１で取得された広角画像および狭角画像取得部９０２で取得された狭角画像の情報を基に、高解像度化する領域を決定する処理を実行する。
画像生成部９０４は、領域決定部９０３にて決定された高解像度化する領域の情報を基に、狭角画像取得部９０２で取得された複数の狭角画像の中から、高解像度化する領域に対応した狭角画像を選択する。そして、画像生成部９０４は、選択した狭角画像を用い、広角画像取得部９０１で取得された広角画像を参照して高解像度画像を生成して出力する。

図１０は、第２実施形態の撮像装置における広角画像および狭角画像の取得から高解像度画像の生成処理までの処理手順の流れを示したフローチャートである。以下、第２実施形態の撮像装置における広角画像および狭角画像の取得処理から高解像度画像生成処理までの各処理の詳細を、図９の機能ブロックと図１０のフローチャート等を参照しながら説明する。

Ｓ１００１において、広角画像取得部９０１は、前述した図２のＳ２０１と同様にして広角画像を取得する。この広角画像のデータは、狭角画像取得部９０２を介して領域決定部９０３に送られる。
次にＳ１００２において、狭角画像取得部９０２は、撮影したいシーンに対して、高解像度画像を生成するために使用する狭角画像を撮影し、その狭角画像のデータを領域決定部９０３に送る。第２実施形態においても、前述した第１実施形態で説明したのと同様に、狭角画像の撮影方法としては、シフトレンズのシフト駆動により狭角の撮影画角を移動させる撮影方法や、手持ち撮影時の手振れ量に基づく撮影方法を用いることができる。

次にＳ１００３において、領域決定部９０３は、広角画像取得部９０１により取得された広角画像と、狭角画像取得部９０２により取得された狭角画像とを基に、高解像度化を行う領域を決定する。第２実施形態における領域決定部９０３は、第１実施形態のＳ２０２において優先度を設定するのに用いた各情報に加え、広角画像と狭角画像の中の同一被写体領域を比較した際のエッジ強度の差をも用いて優先度を設定して、高解像度化する領域を決定する。すなわち第２実施形態では、第１実施形態で用いたコントラスト情報、顕著度情報、特定の被写体の認識結果の信頼度情報の各評価値に加え、さらにエッジ強度の差分値をも評価値として用いて、優先度が設定される。

以下、エッジ強度の差分値を評価値として用いて優先度を設定する処理について、図１１（ａ）と図１１（ｂ）を参照しながら説明する。コントラスト情報、顕著度情報、特定の被写体の認識結果の信頼度情報等の各評価値に応じた優先度の設定は第１実施形態と同様であるため、それらの説明は省略する。
図１１（ａ）は、領域決定部９０３において、エッジ強度の差分値に応じた優先度を設定する際に用いられるグラフ１１０１を示した図である。グラフ１１０１は、下限値から上限値までの間で、エッジ強度の差分値が高くなるほど優先度の値も高くなる特性となされている。下限値以下のエッジ強度の差分値に対しては優先度の下限値が設定され、上限値以上のエッジ強度の差分値に対しては優先度の上限値が設定される。図１１（ｂ）は、コントラスト情報、顕著度情報、空領域の認識結果の信頼度情報に対する各重みの値に、さらにエッジ強度の差分に付与される重みの値を加えた表１１０２である。第２実施形態においても第１実施形態の例と同様に、各優先度は０〜１の範囲で表される値であり、各評価値に結果に対して優先度の値が割り振られている。

第２実施形態の領域決定部９０３は、広角画像と狭角画像との間でエッジ強度の差分値を算出するが、それら画像内に写っている被写体の大きさが異なるため、先ず、広角画像を拡大して被写体と大きさを合わせるようにする。次に、領域決定部９０３は、拡大した広角画像と狭角画像の各画像に対して特徴点の抽出を行い、その抽出した特徴点の対応関係を求めて位置合わせを行う。位置合わせの処理としては、第１実施形態のＳ７０２〜Ｓ７０４と同様の手法を使用する。さらに、領域決定部９０３は、位置合わせを行った両画像に対してそれぞれバンドパスフィルタ処理を施すことでエッジ強度を検出し、下記の式（６）を用いて、それら両画像間のエッジ強度の差分値Ｅ（絶対値）を算出する。なお式中のｅ_A(i,j)は拡大した広角画像の各座標のエッジ強度、ｅ_B(i,j)は狭角画像の各座標のエッジ強度である。

そして、領域決定部９０３は、図１１（ａ）のグラフ１１０１を用い、式（６）で算出されたエッジ強度の差分値Ｅ（絶対値）に応じた優先度を設定する。すなわち、領域決定部９０３は、エッジ強度の差分値Ｅが大きくなるほど高い優先度を設定し、逆に、エッジ強度の差分値Ｅが小さくなるほど低い優先度を設定する。

また第２実施形態においても、前述した第１実施形態と同様に、領域決定部９０３は、下記の式（７）を用い、各ブロックにおける評価値毎の優先度に重み付けを行って、ブロック毎の優先度Ｗ(M,N）を算出する。なお式中のｎは取得された評価値の数、ｂ_nは評価値毎の優先度である。また式中のα_nは評価値毎の優先度に対して設定された重みであり、例えば図１１（ｂ）の表１１０２に示した重みが用いられる。第２実施形態の場合、コントラスト情報とエッジ強度の差分値とが、高解像度化する領域を決定する際に重要であるため、表１１０２ではそれらコントラスト情報とエッジ強度差分に対する重みが大きい値に設定されている。なお、重みはユーザが指定して決めてもよい。

また第２実施形態の領域決定部９０３では、前述したようなエッジ強度の差分値を加えた各評価値に基づいて設定した優先度を基に、高解像度化する領域を決定する。具体例として、コントラスト情報とエッジ強度の差分値の二つの評価値を例に挙げ、それら評価値を基に設定される優先度について説明する。コントラスト情報は、前述したようにエッジ強度の積分値であり、これは被写体領域のテクスチャが多いか否かを表す評価値となされている。そして、テクスチャが多い被写体領域は第１実施形態で説明したように高解像度化を行うことに効果のある領域である。また、第２実施形態におけるエッジ強度の差分値が大きい場合、狭角画像を使用することで高解像度な画像を生成することができる。このため、領域決定部９０３は、被写体領域のテクスチャが多く、エッジ強度の差分値が大きい場合には、優先度を高く設定する。一方、被写体領域のテクスチャが少なく、エッジ強度の差分値が小さい場合には、高解像度な画像を生成してもさほど効果が得られないと考えられるため、領域決定部９０３は、優先度を低く設定する。

図１０のフローチャートに説明を戻す。
画像生成部９０４は、前述のようにしてＳ１００３で決定された領域の情報を基に、高解像度画像の生成の際に使用する狭角画像を選択する。
図１２（ａ）〜図１２（ｊ）は、それぞれ撮影して取得された広角画像と狭角画像を基に、高解像度画像の生成に使用する狭角画像を選択する様子を説明する図である。図１２（ａ）は広角画像取得部９０１により取得された広角画像１２０１を示した図である。図１２（ｂ）は領域決定部９０３において広角画像１２１１の中で高解像度化するとして決定された領域の一例を示した図であり、領域１２１２と領域１２１３が高解像化するとして決定された領域であるとする。図１２（ｃ）〜図１２（ｊ）に示した各画像はそれぞれ狭角画像取得部９０２により取得された複数の狭角画像の中の一部の狭角画像１２２１〜１２２８を示した図である。

画像生成部９０４は、前述した式（７）によりブロック毎に決定した優先度Ｗ(M,N)の中から、優先度Ｗ(M,N)の値が例えば所定の閾値以上となっている優先度Ｗ(M,N)の高いブロックを選択する。そして、画像生成部９０４は、選択したブロックを含んでいる狭角画像を高解像度画像の生成に使用する画像として選択する。具体的には、図１２（ｃ）〜図１２（ｊ）の狭角画像１２２１〜１２２８のうち、図１２（ｂ）で高解像度化すると決定された領域１２１２，１２１３に応じて選択されるのは、狭角画像１２２２、１２２３、１２２４、１２２５、１２２７、１２２８となる。なお、狭角画像１２２１と１２２６は、高解像度化を行う領域が含まれていないため、これらの狭角画像は選択されず、高解像度画像の生成時には使用されないことになる。

そして、次のＳ１００５において、画像生成部９０４は、広角画像取得部１１１が取得した広角画像を参照し、Ｓ１００４で選択した狭角画像を用いて高解像度画像を生成する。高解像度画像を生成する処理については、前述した第１実施形態の場合と同様であるため、その説明は省略する。

前述したように第２実施形態では、広角画像だけでなく、予め狭角画像も取得しておき、高解像度化するとして決定された領域に対応した狭角画像を選択して、その選択した狭角画像を基に高解像度画像を生成する。これにより第１の実施形態の撮像装置によれば、広角画像の中で高解像度化する領域に対応した狭角画像を効率よく取得でき、ユーザの負担が少なく、高解像度画像を取得することができる。

なお、画像生成部９０４は、高解像度画像に使用しなかった狭角画像は削除してもよいし、狭角画像の選択を行わずに全ての狭角画像を使用して高解像度画像を生成してもよい。
また、高解像度画像を生成する際に、高解像度化する領域に対応した狭角画像が取得されていない場合には、広角画像をそのまま使用して画像を生成してもよい。

前述した各実施形態の機能ブロックにおける各機能は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また前述の実施形態では、撮像装置の一例としてデジタルカメラを想定しているが、例えばスマートフォンやタブレット端末等、監視カメラ、工業用カメラ、車載カメラ、医療用カメラなど画像の撮像が可能な各種機器にも適用可能である。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：光学系、１０２：撮像部、１０４：現像処理部、１０５：光学系制御部、１０６：システム制御部、１０９：記録部、１１１：広角画像取得部、１１２：領域決定部、１１３：狭角画像取得部、１１４：画像生成部

Claims (22)

1. 第１の画像を取得する第１の取得手段と、
   前記第１の画像を基に、前記第１の画像のなかで高解像度化する領域を決定する決定手段と、
   前記高解像度化すると決定された領域を基に、前記第１の画像よりも画角が狭い領域を撮像することで第２の画像を取得する第２の取得手段と、
   前記第１の画像を参照し、前記第２の画像を用いて高解像度の画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 第１の画像を取得する第１の取得手段と、
   前記第１の画像よりも画角が狭い第２の画像を取得する第２の取得手段と、
   前記第１の画像と前記第２の画像とを基に、前記第１の画像のなかで高解像度化する領域を決定する決定手段と、
   前記第２の取得手段が取得した複数の第２の画像のなかから、前記高解像度化すると決定された領域に応じた第２の画像を選択して、前記選択した第２の画像を用いて高解像度の画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
3. 前記生成手段は、前記複数の第２の画像のうち、前記選択されなかった第２の画像を削除することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記第１の画像からコントラストの情報を取得し、前記コントラストの情報を基に前記高解像度化する領域を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記第１の画像のなかで前記コントラストの高い領域ほど、優先するようにして前記高解像度化する領域に決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記コントラストの情報として、領域ごとにエッジ強度の積分値を取得することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記決定手段は、前記第１の画像から、視覚的に目立つ度合いを表す顕著度の情報を取得し、前記顕著度の情報を基に前記高解像度化する領域を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記第１の画像のなかで前記顕著度の高い領域ほど、優先するようにして前記高解像度化する領域に決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記顕著度として、前記第１の画像のなかの被写体領域の特徴とその周辺の被写体領域の特徴との差分に基づく相関を求めることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記決定手段は、前記第１の画像のなかで前記相関が低い領域ほど、優先するようにして前記高解像度化する領域に決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記決定手段は、前記第１の画像から特定の領域を認識した結果の信頼度を取得し、前記信頼度に基づいて前記高解像度化する領域を決定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
12. 前記決定手段は、前記第１の画像のなかで前記信頼度が高い領域ほど、優先するようにして前記高解像度化する領域として決定しないことを特徴とする請求項１１に記載の画像処理装置。
13. 前記決定手段は、前記特定の領域を認識した結果の信頼度として、空の領域を認識した結果の信頼度を取得することを特徴とする請求項１２に記載の画像処理装置。
14. 前記決定手段は、前記第１の画像のなかの被写体領域のエッジ強度と、前記第２の画像のなかで前記第１の画像の前記被写体領域と同一の被写体領域のエッジ強度との間の差分に基づいて、前記高解像度化する領域を決定することを特徴とする請求項２または３に記載の画像処理装置。
15. 前記決定手段は、前記第１の画像のなかで前記エッジ強度の差分が大きい領域ほど、優先するようにして前記高解像度化する領域に決定することを特徴とする請求項１４に記載の画像処理装置。
16. 前記生成手段は、前記高解像度化する領域に対応した前記第２の画像が取得されていない場合、前記第１の画像のなかで前記取得されていない第２の画像に対応した領域の画像を用いて前記高解像度の画像を生成することを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記第２の取得手段は、画像を撮像する際の撮影画角を前記第２の画像の画角にした状態で、前記第１の画像の画角のなかで、前記撮影画角をシフトさせるように移動させて撮影された画像を、前記第２の画像として取得することを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記第２の取得手段は、画像を撮像する際の撮影画角を前記第２の画像の画角にした状態で、画像を撮影する撮像装置の振れにより前記第２の画像の撮影画角が移動した際に撮影された画像を、前記第２の画像として取得することを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
19. 前記第２の取得手段は、前記撮像装置の焦点距離に応じて算出されるシャッター速度を使用して撮影した前記第２の画像を取得することを特徴とする請求項１８に記載の画像処理装置。
20. 画像処理装置が実行する画像処理方法であって、
    第１の画像を取得する第１の取得工程と、
    前記第１の画像を基に、前記第１の画像のなかで高解像度化する領域を決定する決定工程と、
    前記高解像度化すると決定された領域を基に、前記第１の画像よりも画角が狭い領域を撮像することで第２の画像を取得する第２の取得工程と、
    前記第１の画像を参照し、前記第２の画像を用いて高解像度の画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
21. 画像処理装置が実行する画像処理方法であって、
    第１の画像を取得する第１の取得工程と、
    前記第１の画像よりも画角が狭い第２の画像を取得する第２の取得工程と、
    前記第１の画像と前記第２の画像とを基に、前記第１の画像のなかで高解像度化する領域を決定する決定工程と、
    前記第２の取得工程で取得した複数の第２の画像のなかから、前記高解像度化すると決定された領域に応じた第２の画像を選択して、前記選択した第２の画像を用いて高解像度の画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
22. コンピュータを、請求項１から１９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images