JP5020894B2 - 画像処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像の歪曲収差を補正する機能を有する画像処理装置、制御方法、及びプログラムに関する。

従来、撮像装置で撮像した画像を撮像装置やパーソナルコンピュータ（以下ＰＣ）用の画像処理アプリケーションソフトウエア（以下ソフト）を用いて再生する際に、撮像装置の合焦したオートフォーカス（以下ＡＦ）用の測距枠を表示する機能が知られている。また、撮像装置やＰＣ用の画像処理アプリケーションソフトを用いて画像のピント確認を容易にするために、合焦ＡＦ測距枠の位置を自動的に拡大して表示する機能が知られている（例えば、特許文献１参照）。

上記のように、撮像装置により撮像した画像のピント確認を容易にするために、合焦ＡＦ測距枠の位置情報を画像に記録しておき、画像の再生時に合焦ＡＦ測距枠の位置を撮像装置の表示部に表示したり、表示を拡大したりすることが従来から行われている。

他方、撮像装置により撮像した画像には光学系の影響で歪曲収差が生じることがある。その対策として、撮像した画像に対して画像処理により歪曲収差を補正する機能を搭載した、撮像装置やＰＣ用の画像処理アプリケーションソフトが市販されている。
特開２０００−１２５１７８号公報

しかしながら、上述した従来技術を組み合わせると、次のような問題がある。

撮像した画像に対して歪曲収差の補正を行うと、画像として写し込まれている被写体の位置が補正前と比較してずれる。そのため、画像から読み出した合焦ＡＦ測距枠の位置情報をそのまま使用して合焦ＡＦ測距枠の位置を表示または拡大表示すると、実際の合焦ＡＦ測距枠の位置からずれた位置が表示または拡大表示されることがある。以下にその詳細を図１０を用いて説明する。

図１０は、樽型歪曲収差の画像の再生時における合焦ＡＦ測距枠の表示例を示す図である。

図１０において、撮像装置で撮像した樽型歪曲収差画像１０００を再生して表示する時に、ピント確認を容易にするために合焦ＡＦ測距枠１００２の位置を撮像装置の表示部に表示した例を示している。１００１は、歪曲収差の像歪みのイメージを示したものである。歪曲収差には、一般的に、図１０に示す樽型歪曲収差と、後述の図１１に示す糸巻型歪曲収差とがある。

図示の７つの正方形の枠は、撮影時に選択可能なＡＦ測距枠である。また、７つの正方形の枠のうち太線で示す正方形の枠は、ＡＦ（オートフォーカス）機能により主被写体１００３に合焦した合焦ＡＦ測距枠１００２である。これらのＡＦ測距枠の位置情報は予め撮影時に画像に記録しておき、画像の再生時に位置情報を用いて選択可能な合焦ＡＦ測距枠と合焦した合焦ＡＦ測距枠の位置を表示する。

図１１は、糸巻型歪曲収差の画像の再生時における合焦ＡＦ測距枠の表示例を示す図である。

図１１において、１１００は、撮像装置で撮影した画像を再生した時の糸巻型歪曲収差の像歪みのイメージを示している。

図１２は、樽型歪曲収差の画像に対し歪曲収差の補正を施した場合における従来技術の問題を示す図である。

図１２において、１２００は、樽型歪曲収差の補正を施した後の画像であり、補正を施すことにより、補正前の図１０の画像１００１よりも画像サイズは若干大きくなる。また、１２０１は、画像１００１（樽型歪曲収差の像歪み）が補正されていることを示すイメージである。１２０２は、図１０の主被写体１００３に対し歪曲収差の補正を施した後の主被写体である。

図示の７つの正方形の枠は、歪曲収差の補正を施した後の画像に対して、画像に記録されているＡＦ測距枠の位置情報を用いて再生画像１２００に表示したものである。また、７つの正方形の枠のうち太線で示す正方形の枠は、主被写体１２０２に合焦した合焦ＡＦ測距枠１２０３である。画像に記録されているＡＦ測距枠の位置情報をそのまま用いて再生画像に表示すると、補正後の主被写体１２０２からずれた位置が合焦ＡＦ測距枠１２０３として示されることになる。

主被写体１２０２から合焦ＡＦ測距枠１２０３のずれ方は、ＡＦ測距枠の位置情報を画像にどのように記録しておくかで異なるが、図１２で示したものは画像の中心を原点とした座標で記録した場合を示している。同様に、例えば画像の左上を原点とした座標で記録した場合、ＡＦ測距枠は図１３に示すように左上に寄った表示となる。

図１４は、糸巻型歪曲収差の画像に対し歪曲収差の補正を施した場合における従来技術の問題を示す図である。

図１４において、糸巻型歪曲収差の画像に対し歪曲収差の補正を施すと、画像は補正前よりも若干小さくなる。樽型歪曲収差の場合と同じように、画像に記録されているＡＦ測距枠の位置情報をそのまま用いて表示すると、合焦ＡＦ測距枠の位置１４００は主被写体１４０１からずれた位置に表示される。

このように、樽型歪曲収差の画像に対し歪曲収差の補正を施した場合、画像に記録されているＡＦ測距枠の位置情報をそのまま用いて表示すると、補正後の主被写体１２０２からずれた位置が合焦ＡＦ測距枠１２０３として示されるという問題がある。

また、糸巻型歪曲収差の画像に対し歪曲収差の補正を施した場合、同様に、画像に記録されているＡＦ測距枠の位置情報をそのまま用いて表示すると、合焦ＡＦ測距枠の位置１４００は主被写体１４０１からずれた位置に表示されるという問題がある。

本発明の目的は、歪曲収差が補正された画像を再生して表示する場合において画像の注目部分の位置を表示或いは拡大表示する際にも、正しい位置を表示或いは拡大表示することを可能とするものである。

上述の目的を達成するために、本発明は、画像と、前記画像とともに記録された注目部分に関する情報を読み込む読み込み手段と、前記画像に生じる歪曲収差を画像処理により補正する補正手段と、前記補正手段により前記画像に施された歪曲収差補正量に応じて変更された前記画像の注目部分に関する情報を前記画像に記録し直す記録制御手段と、を備え、前記画像の注目部分に関する情報は、前記注目部分の位置、大きさ、形の少なくとも何れかに関する情報であることを特徴とする。

上述の目的を達成するために、本発明は、撮像された画像に生じる歪曲収差を画像処理により補正する補正手段と、画像の注目部分に関する情報を前記画像に記録する記録制御手段と、前記補正手段により画像の歪曲収差が補正された場合、前記記録制御手段により前記画像に記録された前記画像の注目部分に関する情報を歪曲収差補正量に応じて変更する変更手段と、を備え、前記画像の注目部分に関する情報は、前記注目部分の位置、大きさ、形の少なくとも何れかに関する情報であることを特徴とする。

本発明によれば、画像に施された歪曲収差補正量に応じて変更された画像の注目部分に関する情報を画像に記録し直す。また、画像に記録された画像の注目部分に関する情報を歪曲収差補正量に応じて変更する。これにより、歪曲収差が補正された画像を再生して表示する場合において画像の注目部分の位置を表示或いは拡大表示する際にも、正しい位置を表示或いは拡大表示することが可能となる。

以下、本発明の実施の形態を図面に基づいて説明する。

〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る画像処理装置としての撮像装置の構成例を示すブロック図である。

図１において、撮像装置は、撮影レンズ１００、絞り１０１、シャッタ１０２、撮像素子１０３、表示部Ａ１０７、画像処理部１１３、メモリ１２０、表示部Ｂ１２１、システム制御部１３０等を備えたデジタルスチルカメラとして構成されている。

撮像素子１０３は、撮影に伴い撮影レンズ１００に入射した光Ｌの光学像が結像され、光学像を電気信号に変換する。Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換する。タイミング発生部１０５は、メモリ制御部１０８及びシステム制御部１３０により制御され、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給し、それらの動作を制御する。

画像処理部１１３は、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御部１０８からのデータに対して所定の画素補間処理や色変換処理を行うと共に、後述する顔検出処理も行う。また、画像処理部１１３は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

メモリ制御部１０８は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１１３、画像表示用メモリ１０９、Ｄ／Ａ変換器１０６、メモリ１１０、圧縮／伸張部１１１を制御する。これにより、Ａ／Ｄ変換器１０４によりＡ／Ｄ変換されたデジタルデータは、画像処理部１１３、メモリ制御部１０８を介して或いは直接メモリ制御部１０８を介して、画像表示用メモリ１０９或いはメモリ１１０に書き込まれる。

表示部Ａ１０７は、ＴＦＴ（Thin Film Transistor）、ＬＣＤ（Liquid Crystal Display）等から構成される。画像表示用メモリ１０９は、表示部Ａ１０７に表示する画像データを記憶する。表示部Ａ１０７には、画像表示用メモリ１０９に記憶された画像データがＤ／Ａ変換器１０６を介して表示される。また、表示部Ａ１０７には、撮像装置を制御するための各種メニュー（光学歪補正処理用の画像処理メニュー、ホワイトバランス選択メニュー等）が表示される。これらのメニューの表示や選択は操作者が操作部Ａ１２４を操作することで行われる。

メモリ１１０は、撮影した静止画像データを格納するメモリであり、所定枚数の静止画像データを格納するのに十分な記憶容量を備えている。また、メモリ１１０は、システム制御部１３０や画像処理部１１３の作業領域としても使用することが可能である。圧縮／伸張部１１１は、メモリ１１０に格納された画像データを読み込んで圧縮処理を行い、或いは圧縮された画像データを読み込んで伸張処理を行い、処理後の画像データをメモリ１１０に書き込む。

外部記憶装置１１２は、撮像装置に着脱可能な記憶媒体であり、ＣＦ（コンパクトフラッシュ（登録商標））カード或いはＳＤカード等が用いられる。メモリ１１０に一時的に記録された画像データは、最終的に外部記憶装置１１２に記録される。画像処理部１１３は、画像のホワイトバランス処理、色補正処理、顔検出処理、歪曲収差補正処理、撮像素子１０３に付着したゴミの検出処理、ゴミを目立たなくする処理等の画像処理を行う。尚、顔検出処理は、画像に含まれる人物の所定の部位を検出する処理である。歪曲収差補正処理は、光学系の影響で画像に生じる歪曲収差を画像処理により補正する処理である。

測光センサ１１９は、撮影画面と共役に関係付けられた各々の画素の輝度を測定する。システム制御部１３０により測光センサ１１９の出力に応じた適切な露光量が算出されると、露光制御部１１４は、絞り１０１とシャッタ１０２を露光量に応じて制御する。測距センサ１１８は、操作者が任意に選択した測距点の距離情報を検出する。測距制御部１１５は、測距センサ１１８の出力を基に撮影レンズ１００のフォーカシングを制御する。測距点は、操作者が任意に選択する以外にも、測距センサ１１８の検出に基づき自動で最短距離の被写体にフォーカスが合うように設定可能である。

ズーム制御部１１６は、操作者が手動で操作した撮影レンズ１００のズーミング量（焦点距離）を検知する。または、ズーム制御部１１６は、操作者が撮影レンズ１００のズーミングを操作部Ｂ１２５を用いて自動で行う場合に撮影レンズ１００のズーミング量を制御する。自動ストロボユニット１２６は、ＡＦ補助光の投光機能、ストロボ調光機能も有する。角速度センサ１１７は、撮像装置の水平／垂直方向の振れを検知するものであり、公知の手ぶれ補正処理や、縦位置撮影／横位置撮影の判定等に用いられる。

システム制御部１３０は、撮像装置全体の動作を制御するものであり、プログラムに基づき後述の各フローチャートに示す処理を実行する。尚、システム制御部１３０は、本発明の読み込み手段、補正手段、記録制御手段、変更手段を実現するための一例である。メモリ１２０は、システム制御部１３０の動作用の定数、変数プログラムを含むプログラム、画像処理用パラメータ等を記憶しており、ワークメモリとしても使用される。不揮発性メモリ１２２は、データを電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。

表示部Ｂ１２１は、システム制御部１３０でのプログラムの実行に応じて、文字や画像や音声により撮像装置の動作状態やメッセージ等を表示出力／音声出力するＬＣＤ表示ユニット／スピーカを含む。表示部Ｂ１２１の表示内容としては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示がある。また、シャッタスピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記憶装置１１２の着脱状態表示等がある。

レリーズ釦１２３、操作部Ｂ１２５は、システム制御部１３０に対する各種の動作指示を入力する際に用いる。レリーズ釦１２３は、ＳＷ１とＳＷ２の２段階のスイッチを備えている。ＳＷ１は、レリーズ釦１２３の第１ストロークでＯＮし、測光、測距を開始するスイッチとなる。ＳＷ２は、レリーズ釦１２３の第２ストロークでＯＮし、露光動作を開始するスイッチとなる。操作部Ｂ１２５は、シングルショット／連写撮影／セルフタイマの切り替え、マニュアルフォーカス／オートフォーカスの切り替え、シャッタスピード、絞り値、露出補正の設定等に用いる。

電源スイッチ１２７は、撮像装置のメイン電源をＯＮ／ＯＦＦする。電源制御部１２８は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロック等を切り替えるスイッチ部等を備えており、電池の装着の有無、電池の種類、電池の残量の検出を行う。更に、電源制御部１２８は、検出結果とシステム制御部１３０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、メモリを含む各部へ供給する。電源１２９は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉ電池等の二次電池、ＡＣアダプタ等を備える。

次に、上記構成を有する本実施の形態の撮像装置の各種処理について詳細に説明する。まず、撮像装置において撮像した画像に歪曲収差補正を施す際の処理について図２〜図５を参照しながら説明する。

図２は、撮像装置における撮像した画像の歪曲収差補正処理の流れを示すフローチャートである。

図２において、まず、表示部Ａ１０７に表示された各種処理メニューの中から操作者により歪曲収差補正処理が選択されると、システム制御部１３０は、外部記憶装置１１２に記録されている画像を画像表示用メモリ１０９に読み込む（ステップＳ２０１）。更に、システム制御部１３０は、画像表示用メモリ１０９に読み込んだ画像を表示部Ａ１０７に表示する。表示部Ａ１０７に表示する画像は、操作者が操作部Ａ１２４から操作を行うことで切り替えることができる。

操作者により操作部Ａ１２４から画像切り替え指示がなされると、システム制御部１３０は、外部記憶装置１１２から別の画像を画像表示用メモリ１０９に再度読み込んで表示部Ａ１０７に表示する。操作者が表示部Ａ１０７に表示された画像の中から歪曲収差補正を施す画像を操作部Ａ１２４を用いて選択すると、システム制御部１３０は、歪曲収差補正を行う対象の画像が選択されたことを検知する（ステップＳ２０２）。

歪曲収差補正を行う対象の画像が選択されると、システム制御部１３０は、その画像から歪曲収差補正用データを読み込む（ステップＳ２０３）。歪曲収差補正用データの例としては、画像の水平画素数／垂直画素数、画像の中心座標、画像の撮像に用いた撮像素子１０３の画素間隔（以下画素ピッチ）、撮影レンズ１００の種類、撮影時の撮影レンズ１００の焦点距離がある。

尚、本実施の形態では、撮像装置による撮影時に撮影条件に応じたそれぞれの歪曲収差補正用データの数値が、画像データを構成する画像ヘッダ部に予め記録されているものとする。本実施の形態では、画像データにおいて、カラー（Ｒ、Ｇ、Ｂ）の画像情報を記録する領域を画像イメージ部と呼び、それ以外の歪曲収差補正用データ等を記録する領域を画像ヘッダ部と呼ぶこととする。

次に、システム制御部１３０は、上記のステップＳ２０３で歪曲収差補正を行う対象の画像から読み込んだ歪曲収差補正用データを用いて画像の歪曲収差を補正する（ステップＳ２０４）。以下に歪曲収差補正の具体的な方法を説明する。図３に像高（撮像素子の中心から撮像素子に結像した光学像の着目点までの距離）に対する簡易的な歪曲収差補正量の特性を示す。図中、実線が樽型歪曲収差補正量であり、点線が糸巻型歪曲収差補正量である。画像を構成する各画素の座標位置を図３の補正量に従って変更する。

例えば、画像中の補正前のある画素ａの画像の中心を原点とする座標を（Ｘａ、Ｙａ）とすると、歪曲収差補正後の座標は（Ｘａ×γ、Ｙａ×γ）となる。ここで、γ＝座標ａに対応した像高の歪曲収差補正量である。尚、画像の中心座標については、画像から読み込んだ歪曲収差補正用データの画像中心座標を用いるか、画像の水平画素数／垂直画素数から中心画素を算出することで求めることができる。

画像の中心座標とは、撮像素子１０３の露光された領域の中心位置の座標である。画像処理が施されＪＰＥＧ形式などで外部記憶装置１１２に記録される画像の中心位置は、通常、撮像素子１０３の露光された領域の中心位置と一致する。しかし、一般的に知られているＲＡＷ形式の画像は、撮像素子１０３の露光された領域よりも外側の領域まで記録されている場合があるので、その場合は外側の領域を除いた領域の画像の中心位置を算出する必要がある。

上記の歪曲収差補正に伴い情報が存在しない画素ができてしまった場合は、隣接する画素のＲ、Ｇ、Ｂの各チャンネルからバイリニア法等を用いて補間する。このように、歪曲収差を補正するためには補正対象画素の像高を算出する必要がある。各画素に対応した像高は下記の式（１）により算出することができる。

ｈ＝（Ｘａ＾２＋Ｙａ＾２）＾０．５×ｐ ・・・（１）
ここで、Ｘａ、Ｙａ、ｈ、ｐは次のとおりである。
Ｘａ＝画像中の補正前のある画素ａの画像の中心を原点とする水平方向座標
（画像の中心からの水平方向の画素数）
Ｙａ＝画像中の補正前のある画素ａの画像の中心を原点とする垂直方向座標
（画像の中心からの垂直方向の画素数）
ｈ＝座標（Ｘａ、Ｙａ）に対応した像高
ｐ＝画像から読み出した歪曲収差補正用データの画素ピッチ
尚、本実施の形態では、歪曲収差補正量を図３のグラフで表示した。実際には図３のグラフをテーブル化したデータまたは図３のグラフを近似式を用いて算出したデータを、歪曲収差を補正するための装置（本実施の形態ではシステム制御部１３０）に記録しておく。歪曲収差を補正する際にそのデータを読み出して補正する。

また、実際には撮影レンズの種類や焦点距離等によっても歪曲収差補正用のテーブルは異なるため、撮影レンズの種類や焦点距離毎に補正値を、歪曲収差を補正するための装置（本実施の形態ではシステム制御部１３０）に記録しておく必要がある。撮影レンズの種類や焦点距離は、上述したように歪曲収差補正用データとして画像から予め読み込んでおく。

図２に戻り、システム制御部１３０は、上記のステップＳ２０４で歪曲収差補正を施した画像から注目部（ＡＦ測距枠）情報（注目部分に関する情報）を読み込む（ステップＳ２０５）。注目部（ＡＦ測距枠）情報の例としては、選択可能なＡＦ測距枠の位置、大きさ、形、顔検出処理により検出した被写体の顔（目、鼻、口等も含む）の位置、大きさ、形、合焦したＡＦ測距枠の位置、大きさ、形、がある。システム制御部１３０は、これらの中から少なくとも何れかの情報を注目部情報として読み込む。

次に、システム制御部１３０は、上記の注目部（ＡＦ測距枠）情報を歪曲収差補正量に応じて変換する（ステップＳ２０６）。以下に注目部情報の変換方法の詳細について説明する。

まず、「注目部情報が選択可能なＡＦ測距枠（表示部に表示される選択可能なオートフォーカス用測距枠）の位置、大きさ、形の場合」について説明する。ＡＦ測距枠は図１０に示したように正方形（四角形）で表示される、そこで、正方形の位置、正方形の枠の大きさ（領域）、形が分かるように、正方形の４つの頂点の画像中の位置に対応した座標を撮影時に予め画像ヘッダ部に記録しておく。

本実施の形態では、上記の座標は画像の中心を原点とする。勿論、原点は画像の中心に限定されず、例えば画像の左上の画素を原点とするなど任意である。また、ＡＦ測距枠を正方形の４つの頂点の座標からなる形式で表しているが、正方形の４つの頂点のうち任意の１点と４つの辺の長さからなる形式で表してもよい。更に、ＡＦ測距枠は正方形に限定されず、長方形などの他の形状でもよい。

本実施の形態では、撮像装置で選択することが可能なＡＦ測距枠として例えば図１０に示すように７つに設定しているため、ＡＦ測距枠の７つ分について上述した正方形の４つの頂点の座標情報を持つことになる。勿論、ＡＦ測距枠の数は７つに限定されるものではない。

システム制御部１３０は、上記のように定義されたＡＦ測距枠の情報を撮影時に画像データの画像ヘッダ部に予め記録し、上記のステップ２０５で読み込む。そして、システム制御部１３０は、各ＡＦ測距枠の正方形の４つの頂点の座標それぞれに対して、画像に歪曲収差補正を施す方法と同じ方法で座標を変換する。このような処理を施すことで、歪曲収差補正後の画像を後でＡＦ測距枠の位置と共に表示した場合でも、正しい画像の位置に対応したＡＦ測距枠を表示することができる。

尚、座標を変換することで、ＡＦ測距枠の表示形状である正方形が菱形や台形などになってしまう場合もある。その場合には菱形や台形をそのまま記録してもよいが、後の画像再生時にＡＦ測距枠を表示する際に正方形で表示させたい場合は、菱形や台形の内側または外側に収まるような正方形の枠に変換してＡＦ測距枠の情報を記録する構成としてもよい。

次に、「注目部が顔検出処理により検出した顔の位置、大きさ（領域）、形の場合」について説明する。システム制御部１３０は、予め撮影時または撮影後に顔検出処理により、画像から顔（目、鼻、口等も含む）の位置、大きさ、形を検出し、検出した情報を画像データの画像ヘッダ部に記録しておく。図４に樽型歪曲収差の画像における顔検出処理により検出した顔の位置の表示例を示す。４００は樽型歪曲収差補正前の画像、４０１は樽型歪曲収差のイメージ、４０２は被写体（人物）、４０３は顔検出処理で検出した顔の枠である。

本実施の形態では、顔検出処理で検出する顔の枠を四角形で表示する構成を例に挙げているが、顔（目、鼻、口、輪郭等）の位置、大きさ（領域）、形等を検出できるものであれば四角形以外の形状でもよい。その場合は、目、鼻、口、輪郭等それぞれ、あるいは、少なくとも何れかについて、位置、大きさ、形等の情報を画像データの画像ヘッダ部に記録しておき、その情報を歪曲収差補正量に応じて変換する必要がある。また、顔検出処理で検出する顔は複数でもよい。その場合は、検出したそれぞれの顔について上記の情報を画像データの画像ヘッダ部に記録しておく。

顔検出処理で検出した顔の枠４０３の情報は、上述した測距点と同じく四角形の４つの頂点の画像中の位置に対応した座標を撮影時に予め画像データの画像ヘッダ部に記録しておく。上述したように座標は画像の中心を原点とする。このように顔の位置、大きさ（領域）、形の情報の変換方法に関する構成は、上述した測距点の位置、枠の大きさ（領域）、形の情報の扱いと同じであるため、これ以上の説明は省略する。

尚、樽型歪曲収差のイメージ４０１にのみ歪曲収差補正を施し、画像データの画像ヘッダ部に記録されている顔検出枠情報の座標を変換しないと、図５に示すように被写体５００の顔の位置と顔検出枠５０１の位置がずれる。図５は顔の枠情報を画像の中心を原点とした座標で持っていた場合の例であり、他の点を原点とした座標で顔の枠情報を持っていた場合、被写体５００の顔の位置と顔検出枠５０１の位置のずれ方は異なる。

次に、「注目部が合焦したＡＦ測距枠（表示部に表示される合焦したオートフォーカス用測距枠）の位置、大きさ、形の場合」について説明する。上述したように、複数の測距点や顔検出処理により検出した複数の顔、の中から合焦部のみを画像データの画像ヘッダ部に記録し、画像再生時に画像イメージ部に表示する構成としてもよい。その場合の合焦部の座標の変換方法は上述した変換方法と同じであるため、説明は省略する。

尚、本実施の形態では、合焦位置は予め選択可能な複数の測距点または顔検出処理により検出した顔の位置の中から選択する方式であるが、自動または手動で画像の任意の位置を自由に選択できる方式でもよい。その場合の合焦部の座標の変換方法も上述した変換方法と同じ変換方法を用いればよい。

上記では樽型歪曲収差の場合について説明したが、基本的な構成は糸巻型歪曲収差の場合も同じであるため説明は省略する。

図２に戻り、システム制御部１３０は、上述した歪曲収差補正量に応じて変換した注目部情報を再度、画像データの画像ヘッダ部に書き戻す（記録し直す）（ステップＳ２０７）。更に、システム制御部１３０は、その画像を外部記憶装置１１２に書き戻す（記録し直す）（ステップＳ２０８）。これにより、歪曲収差補正の一連の処理を終了する。

尚、本実施の形態では、撮像装置において歪曲収差補正を施す方法について説明したが、これに限定されるものではない。例えばＰＣ（情報処理装置）用の画像処理アプリケーションソフト上で歪曲収差補正を施す場合にも、上記と同様の手法で画像の注目部情報を歪曲収差補正量に応じて変換することも可能である。

また、本実施の形態では、撮影後の外部記憶装置１１２に記録されている画像に対して歪曲収差補正を施す際の処理について説明したが、これに限定されるものではない。撮影時に外部記憶装置１１２に画像を記録する前に歪曲収差補正を施す構成としてもよい。その場合は、上述した方法を用いて歪曲収差補正後の画像に対応した注目部情報に変換された情報が画像ヘッダ部に記録される。

次に、撮像装置において外部記憶装置１１２から画像を読み込んで表示する際の処理について図６〜図８を参照しながら説明する。

図６は、撮像装置における外部記憶装置１１２から画像を読み込んで表示する処理の流れを示すフローチャートである。

図６において、まず、操作者による操作部Ａ１２４の操作により画像再生指示がなされると、システム制御部１３０は、外部記憶装置１１２に記録されている画像を画像表示用メモリ１０９に読み込む（ステップＳ６０１）。次に、システム制御部１３０は、注目部（ＡＦ測距枠）表示機能が予め操作者により有効に設定されているかどうかを判断する（ステップＳ６０２）。

注目部（ＡＦ測距枠）表示機能が有効に設定されていた場合、システム制御部１３０は、画像から注目部情報を読み込む（ステップＳ６０３）。他方、注目部（ＡＦ測距枠）表示機能が無効に設定されていた場合、ステップＳ６０５の処理に移行する。ここでは、注目部（ＡＦ測距枠）表示機能が有効に設定されていたとして説明を進める。

次に、システム制御部１３０は、ステップ６０３で読み込んだ注目部情報に対応した注目部表示用データ（正方形の枠を示すデータ）を画像データの画像イメージ部に書きこむ（ステップＳ６０４）。更に、システム制御部１３０は、注目部表示用データに対応する画像を表示部Ａ１０７に表示する（ステップＳ６０５）。

この場合、画像データの画像イメージ部に歪曲収差補正が施されていたとしても、上述したように画像ヘッダ部に記録されている注目部情報は歪曲収差補正量に応じて変換されている。従って、図７や図８に示すように正しい注目部が画像に表示される。図７は図１０の画像を、図８は図４の画像をそれぞれ歪曲収差補正した場合の注目部の表示例を示す。尚、注目部表示機能が無効と設定されていた場合は、注目部情報が表示されない画像を表示部Ａ１０７に表示する。

次に、システム制御部１３０は、操作者による操作部Ａ１２４の操作により表示部Ａ１０７に現在表示している画像の拡大指示がなされたかどうかを判断する（ステップＳ６０６）。画像の拡大指示がなされた場合、システム制御部１３０は、注目部情報に対応した部分を拡大し（ステップＳ６０７）、本処理を終了する。他方、画像の拡大指示がなされない場合は、このまま本処理を終了する。

上記のステップＳ６０７の注目部情報に対応した部分の拡大方法としては、合焦した注目部（合焦ＡＦ測距枠）情報の位置を中心として表示する。また、注目部情報に対応した部分の拡大率は、注目部情報の大きさに応じて変更する構成としてもよい。例えば顔検出処理により検出した顔が注目部として記録されている場合、顔を表示部Ａ１０７に収まるサイズに拡大して表示する。他にも、注目部の中心座標を表示部Ａ１０７の中心になるように、画像を等倍サイズで表示する構成としてもよい。

上記の図６に示した処理において別の画像に対して同じように表示を行う場合には、再度、ステップＳ６０１から処理を行えばよい。

尚、本実施の形態では、撮像装置において画像を表示する方法について説明したが、これに限定されるものではない。例えばＰＣ（情報処理装置）用の画像処理アプリケーションソフト上で画像を表示する場合にも、上記と同様の手法で画像を表示することも可能である。

以上説明したように、本実施の形態によれば、撮像装置で撮像した画像に歪曲収差補正処理を施した場合、画像データの画像ヘッダ部に記録されている注目部（ＡＦ測距枠）情報も歪曲収差補正量に応じて変換し、画像ヘッダ部に記録し直す。これにより、歪曲収差が補正された画像を再生して表示する場合において画像の注目部（ＡＦ測距枠）の位置を表示或いは拡大表示する際にも、正しい位置を表示或いは拡大表示することが可能となる。

〔第２の実施の形態〕
本発明の第２の実施の形態は、上記第１の実施の形態に対して、下記で説明する点において相違する。本実施の形態のその他の要素は、上記第１の実施の形態（図１）の対応するものと同一なので説明を省略する。

本実施の形態では、撮像素子１０３に付着したゴミを検出し、ゴミの位置、大きさ、形に関する情報を画像データの画像ヘッダ部に記録しておき、その情報を用いて画像処理によりゴミを目立たなくする処理を施す構成の撮像装置について説明する。

このような構成の撮像装置において第１の実施の形態と同じように画像に歪曲収差補正を施すと、画像データの画像ヘッダ部に記録されているゴミの位置、大きさ、形に関する情報は画像イメージ部の実際のゴミの位置、大きさ、形からずれる。この問題を解決するために、第１の実施の形態と同様に画像に施す歪曲収差補正量に応じて、ゴミの位置、大きさ、形に関する情報も変換して画像に記録しておく。以下にその詳細な方法について説明する。

まず、撮像装置の撮像素子１０３に付着したゴミを検出するゴミ検出処理について説明する。撮像装置により均一輝度面を撮影して得た画像において所定の明るさよりも暗い領域をゴミが付着しているゴミ領域と判断し、メモリ１２０に記録しておく。本実施の形態では、ゴミ領域の定義方法として、例えば図９に示すように撮像装置の撮像素子１０３に付着したゴミ９００を囲む四角形の領域を画像中のゴミ領域９０１と定義する方法をとる。

上記のように定義した画像中のゴミ領域９０１の４つの頂点の座標をゴミ領域情報としてメモリに１２０に記録しておく。尚、画像中のゴミの位置、大きさ、形などが特定できる情報であれば、上記の定義方法に限定されるものではなく、任意の定義方法でよい。メモリ１２０に記録したゴミ領域情報は、撮影時に画像データの画像ヘッダ部に記録しておく。

次に、画像に歪曲収差補正が施された場合の処理について説明する。画像に歪曲収差補正が施された場合、画像データの画像ヘッダ部に記録されているゴミ領域情報として定義されている四角形の４つの頂点の座標を、第１の実施の形態の注目部情報を歪曲収差補正量に応じて変換する手法と同じ手法で変換する。このようにして歪曲収差補正量に応じて変換されたゴミ領域情報を再度画像に記録しておく。

次に、画像データの画像ヘッダ部に記録されたゴミ領域情報を用いて、撮像素子１０３に付着したゴミを画像処理により目立たなくするゴミ消し処理について説明する。ゴミ消し処理を行いたい画像からゴミ領域情報を読み込み、ゴミ領域に対応する画像データ領域において所定の明るさよりも暗い画素はゴミであると判断し、その暗い画素のデータを、暗い画素に最も近いゴミとして検出されていない画素のデータと置き換える。これにより、撮像素子１０３に付着したゴミを目立たなくすることができる。

尚、本実施の形態では、ゴミ消し処理方法として上述したような単純な手法を例に挙げたが、これに限定されるものではなく、より高度な演算を用いたゴミ消し処理方法を採用してもよい。また、撮像素子１０３に付着したゴミの画像への写りかたは、絞り１０１の条件によって異なる。そのため、より正確なゴミ消し処理を行いたい場合には、予め撮影時と同じ絞り１０１の条件で均一輝度面を撮影した画像に対し上記のゴミ検出処理を実行しておくことが望ましい。

以上説明したように、本実施の形態によれば、画像データの画像ヘッダ部に記録されているゴミ領域情報を、画像に施す歪曲収差補正量に応じて変換する。これにより、歪曲収差が補正された画像のゴミを目立たなくするゴミ消し処理を行った場合でも正しくゴミ消し処理を行うことが可能となる。

〔他の実施の形態〕
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はＣＰＵやＭＰＵ等)が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の第１の実施の形態に係る画像処理装置としての撮像装置の構成例を示すブロック図である。 撮像装置における撮像した画像の歪曲収差補正処理の流れを示すフローチャートである。 像高に対する簡易的な歪曲収差補正量を示す図である。 樽型歪曲収差の画像における顔検出処理により検出した顔の位置の表示例を示す図である。 樽型歪曲収差の画像を歪曲収差の補正を施した場合の例を示す図である。 撮像装置における外部記憶装置から画像を読み込んで表示する処理の流れを示すフローチャートである。 歪曲収差補正後の画像に対するＡＦ測距枠の表示例を示す図である。 歪曲収差補正後の画像に対する顔検出枠の表示例を示す図である。 本発明の第２の実施の形態に係る画像処理装置としての撮像装置の撮像素子におけるゴミが付着したゴミ付着領域の定義方法の例を示す図である。 樽型歪曲収差の画像の再生時における合焦ＡＦ測距枠の表示例を示す図である。 糸巻型歪曲収差の画像の再生時における合焦ＡＦ測距枠の表示例を示す図である。 樽型歪曲収差の画像に対し歪曲収差の補正を施した場合における従来技術の問題を示す図である。 樽型歪曲収差の画像に対し歪曲収差の補正を施した場合における従来技術の問題を示す図である。 糸巻型歪曲収差の画像に対し歪曲収差の補正を施した場合における従来技術の問題を示す図である。

符号の説明

１０３ 撮像素子
１０７ 表示部Ａ
１１２ 外部記憶装置
１３０ システム制御部

Claims (11)

1. 画像と、前記画像とともに記録された注目部分に関する情報を読み込む読み込み手段と、
   前記画像に生じる歪曲収差を画像処理により補正する補正手段と、
   前記補正手段により前記画像に施された歪曲収差補正量に応じて変更された前記画像の注目部分に関する情報を前記画像に記録し直す記録制御手段と、
   を備え、
   前記画像の注目部分に関する情報は、前記注目部分の位置、大きさ、形の少なくとも何れかに関する情報であることを特徴とする画像処理装置。
2. 撮像された画像に生じる歪曲収差を画像処理により補正する補正手段と、
   画像の注目部分に関する情報を前記画像に記録する記録制御手段と、
   前記補正手段により画像の歪曲収差が補正された場合、前記記録制御手段により前記画像に記録された前記画像の注目部分に関する情報を歪曲収差補正量に応じて変更する変更手段と、
   を備え、
   前記画像の注目部分に関する情報は、前記注目部分の位置、大きさ、形の少なくとも何れかに関する情報であることを特徴とする画像処理装置。
3. 前記画像の注目部分は、表示部に表示される選択可能なオートフォーカス用測距枠、表示部に表示される合焦したオートフォーカス用測距枠の何れかを含むことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像の注目部分は、画像に含まれる人物の所定の部位を検出する顔検出処理により検出した顔、目、鼻、口の少なくとも何れかを含むことを特徴とする請求項１又は２記載の画像処理装置。
5. 前記歪曲収差の補正量に応じて変更された前記画像の注目部分に関する情報を用いて、前記画像を表示する際に、前記画像の注目部分に関する情報を表示或いは拡大表示することを特徴とする請求項１又は２記載の画像処理装置。
6. 前記画像の注目部分は、画像を撮像する撮像素子に付着したゴミを検出するゴミ検出処理により検出したゴミであることを特徴とする請求項１又は２記載の画像処理装置。
7. 前記歪曲収差の補正量に応じて変更された前記画像の注目部分の情報を用いて、前記撮像素子に付着したゴミを画像処理により目立たなくするゴミ消し処理を行うことを特徴とする請求項６記載の画像処理装置。
8. 撮像装置或いは情報処理装置に搭載されることを特徴とする請求項１又は２記載の画像処理装置。
9. 画像処理装置の制御方法において、
   画像と、前記画像とともに記録された注目部分に関する情報を読み込む読み込みステップと、
   前記画像に生じる歪曲収差を画像処理により補正する補正ステップと、
   前記補正ステップにより前記画像に施された歪曲収差補正量に応じて変更された前記画像の注目部分に関する情報を前記画像に記録し直す記録制御ステップと、を有し、
   前記画像の注目部分に関する情報は、前記注目部分の位置、大きさ、形の少なくとも何れかに関する情報であることを特徴とする制御方法。
10. 画像処理装置の制御方法において、
    撮像された画像に生じる歪曲収差を画像処理により補正する補正ステップと、
    画像の注目部分に関する情報を前記画像に記録する記録制御ステップと、
    前記補正ステップにより画像の歪曲収差が補正された場合、前記記録制御ステップにより前記画像に記録された前記画像の注目部分に関する情報を歪曲収差補正量に応じて変更する変更ステップと、を有し、
    前記画像の注目部分に関する情報は、前記注目部分の位置、大きさ、形の少なくとも何れかに関する情報であることを特徴とする制御方法。
11. 請求項９又は１０に記載の画像処理装置の制御方法をコンピュータに実行させるためのコンピュータで読み取り可能なプログラムコードを有するプログラム。

Images