JP4703710B2 - オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置及び方法 - Google Patents

Description

本発明は、デジタル画像処理に関するものであって、詳しくは、デジタル画像の獲得時使用者の手ぶれによる画像ぼけ現象を防止することができる手ぶれ補正装置及びその方法に関する。

最近ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のようなイメージセンサー技術を用いたデジタルカメラが広く普及され用いられている。デジタルカメラはカメラ専用製品としても商用化されるが、携帯電話やＰＤＡのようなハンドヘルド端末機（ｈａｎｄ‐ｈｅｌｄ ｔｅｒｍｉｎａｌ）と結合された形態でも商用化されている。

ところで、ハンドヘルド端末機においては中央演算処理装置のクロック速度とメモリの容量とがＰＣ用として開発されるものに比べて高くない。加えて、端末機は、薄型化と小型化とを目指して開発されているので、カメラなどの付加装置が搭載されるにあたって空間的制約が非常に多い。したがって、カメラ専用製品に適用される様々な画像処理技術がハンドヘルド端末機に装備されるには限界があり、そのうち一つが撮影者の手ぶれによるデジタル画像の劣化を防止することができる手ぶれ補正技術である。

一般に、デジタルカメラは自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）モードを有する。自動露出モードにおいては、撮像場所の照度によって露出度（ＥＶ：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）が自動で変更される。すなわち、暗い場所では露出度が増加し、明るい場所では露出度が減少する。

ところで、露出度の増加は露出時間を増加させる。その結果、手ぶれによる焦点の微細な動きが撮像された画像に反映されて画像がぶれて見えるぼけ（ｂｌｕｒｒｉｎｇ）現象が発生する。従来には画像ぼけ現象を防止するために、ＤＩＳ（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）方法、ＥＩＳ（Ｅｌｅｃｔｒｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）方法、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）方法などの多様な手ぶれ補正技術を使用している。

ＤＩＳ方法は、メモリに貯蔵された画像信号を用いて手ぶれを検出／補正する方法である。ＤＩＳ方法においては、撮像素子で生成されメモリに貯蔵された画像信号を用いて動きベクトルを検出し、検出された動きベクトルを用いてメモリの読み取りタイミングを変更することで手ぶれを補正する。ＤＩＳ方法は、簡単に手ぶれを補正することができるという長所がある。しかし、変更された読み取りタイミングによってメモリから読み取り可能な画像のサイズが有効画素領域のサイズと同一であるので、メモリから読み取り可能な画像をデジタルズーム（Ｄｉｇｉｔａｌ Ｚｏｏｍ）で拡大して再生／記録しなければならないという限界がある。デジタルズームによる拡大過程を経て画像が再生／記録されれば、画像の画質劣化が発生する問題がある。

ＥＩＳ方法は、角速度センサーと高画素撮像素子とを用いて手ぶれを検出／補正する方法である。ＥＩＳ方法においては、水平／垂直の角速度センサーを用いて手ぶれ量と手ぶれ方向とを検出する。そして、検出された手ぶれ量と手ぶれ方向とを用いて高画素撮像素子の出力タイミングを変更することで手ぶれを補正する。ＥＩＳ方法の場合、変更された出力タイミングによって高画素撮像素子から出力される画像信号によって構成される画像は原画像と同じサイズである。ＥＩＳ方法に用いられる高画素撮像素子は全体画素数が有効画素数より遥かに多いからである。したがって、ＥＩＳ方法によれば、再生／記録される画像の画質劣化が発生しない。しかし、ＥＩＳ方法を適用するためには、角速度センサーがより必要であり撮像素子も高画素でなければならないので、製造単価の上昇をもたらす問題がある。

ＯＩＳ方法は、角速度センサーとプリズムとを用いて手ぶれを検出／補正する方法である。ＯＩＳ方法は、水平／垂直の角速度センサーを用いて手ぶれ量と手ぶれ方向とを検出するという面においてはＥＩＳ方法と同一である。しかし、ＯＩＳ方法は、手ぶれを補正するために撮像素子に入射される光路の変更が可能なプリズムを用いるという点からＥＩＳ方法と異なる。ＯＩＳ方法の場合、再生／記録される画像の画質劣化が発生せず、高画素の撮像素子を要しない長所がある。しかし、ＯＩＳ方法のためには角速度センサーとプリズムとが必要であるので、撮影装置の体積が増加し製造単価が上昇することになる。それだけでなく、プリズム制御の難しさもＯＩＳ方法の短所として指摘されている。

本発明は、前述した従来技術の問題を解決するために創案されたものであって、手ぶれ補正のために加速度センサーやプリズムなど別途のハードウェアを要しないデジタル画像の手ぶれ補正装置及び方法を提供することを目的とする。

本発明の他の目的は、携帯電話やＰＤＡなど制限されたハードウェア資源を持つ端末機に搭載されたデジタルカメラにおいて、画像品質劣化と画像ぼけ現象とを減少させることができるデジタル画像の手ぶれ補正装置及び方法を提供することにある。

前記技術的課題を達成するための本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置は、（１）第１露出度の条件で得られた第１デジタル画像データと第２露出度の条件で得られた複数の第２デジタル画像データとを出力する画像信号処理部；（２）前記複数の第２デジタル画像に対する二値画像と反転画像の中でオブジェクト数が多い画像でオブジェクトを追跡することで、基準第２デジタル画像を基準にして比較第２デジタル画像の動きを補正し、基準画像と補正された比較画像とを重畳させ手ぶれ補正画像を生成する手ぶれ補正部；及び（３）前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する画像属性補正部を含む。

望ましくは、前記第１デジタル画像データは自動露出モードの露出度で得られたプレビュー画像データであり、前記第２デジタル画像データは前記自動露出モードの露出度よりも低い露出度で一定の間隔を置いて連続して得られた停止キャプチャー画像である。

本発明によれば、前記手ぶれ補正部は、（１）二値画像または反転画像でオブジェクトを追跡しオブジェクトをラベリングするオブジェクトラベリング部；（２）基準画像のオブジェクトと各比較画像の対応するオブジェクトのパラメーターとを相互対比して各比較画像の動き量を算出する動き量算出部；（３）算出された各動き量を該当する比較画像に適用して比較画像の動きを補正する動き補正部；及び（４）前記動きが補正された各比較画像と基準画像とを重畳させ手ぶれ補正画像を生成する補正画像生成部を含む。

望ましくは、前記オブジェクトラベリング部は、（１）基準画像と各比較画像とを二値画像に変換する画像二値化器；（２）基準画像と各比較画像との二値画像を反転画像に変換する画像反転器；（３）各二値画像と各反転画像とからオブジェクトをラベリングするオブジェクトラベラー；及び（４）基準画像に対応する二値画像と反転画像とに含まれたオブジェクトの数を比較して二値画像及び反転画像の中でオブジェクトの数が多い画像の種類をオブジェクト追跡画像として選択する画像選択器を含む。

さらに望ましくは、前記オブジェクトラベリング部は、（１）基準画像と各比較画像とをフィルタリングして境界を鮮明化する画像濾波器；及び（２）前記画像濾波器からの境界鮮明化画像と前記画像二値化器からの二値画像とを合成し、前記画像濾波器からの境界鮮明化画像と前記画像反転器からの反転画像とを合成して、合成二値画像と合成反転画像とを出力する画像合成器をさらに含む。このような場合、前記オブジェクトラベラーは、合成二値画像と合成反転画像とからオブジェクトをラベリングする。

本発明によれば、前記装置は、前記オブジェクトラベリング部に、複数の第２デジタル画像のサイズを一定のサイズにスケーリングするか、一定の幅の画像バウンダリーをクリッピングして画像をリサイズする画像リサイザーをさらに含むことができる。代案的に、前記装置は、前記オブジェクトラベリング部に、基準画像を基準にした比較画像の動きベクトルのサイズが臨界値を超えるか、基準画像と比較画像との明るさ差が臨界値を超えない比較画像をオブジェクトラベリングの対象から除外させる画像選別部をさらに含むことができる。

望ましくは、前記画像属性補正部は、手ぶれ補正画像の色相を補正するための色相補正部を含む。前記色相補正部は、手ぶれ補正画像のピクセルデータを前記第１デジタル画像のピクセルデータに置き換えるか、前記第１デジタル画像と手ぶれ補正画像とのサイズ比率を考慮して手ぶれ補正画像のピクセルデータを第１デジタル画像のピクセルデータに補間して手ぶれ補正画像の色相を補正する。付加的にまたは代案的に、前記画像属性補正部は、前記第１デジタル画像と手ぶれ補正画像との明るさ差を定量化し、明るさ差に基づいて明るさ補正の強度を適応的に選択し、選択された明るさ補正の強度によって手ぶれ補正画像の明るさを補正する明るさ補正部を含む。

本発明はまた、オブジェクト追跡を用いたデジタル画像の手ぶれ補正方法を含む。

本発明の一側面によれば、ＥＩＳまたはＯＩＳ法とは異なり手ぶれの程度が測定できる角速度センサーやプリズムなどのハードウェアがなくても手ぶれによる画像ぼけ現象を排除することができるので、デジタル画像撮影装置の製造原価を節減することができながらも良好な品質のデジタル停止画像を獲得することができる。

本発明の他の側面によれば、ＤＩＳ法とは異なり停止キャプチャー画像の貯蔵時デジタルズーム過程を伴わないので、ＤＩＳ法に比べて良好な品質のデジタル停止画像を得ることができる。

本発明のまた他の側面によれば、被写体に対する明るさと色相との属性をよく保存しているプレビュー画像を用いて停止キャプチャー画像の属性を補正するので、より鮮かで明るいデジタル停止画像を得ることができる。

本発明のさらに他の側面によれば、フィルタを用いてプレビュー画像の色相データによって停止キャプチャー画像の色相データを補正する過程で生成されるノイズを除去することで、画像の品質を向上させることができる。

以下、添付した図面を参照しながら本発明の望ましい実施形態を詳しく説明する。これに先立って、本明細書及び請求範囲に使われた用語や単語は通常的や辞書的な意味に限定して解釈されてはならず、発明者は自らの発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に則して、本発明の技術的思想に符合する意味と概念とで解釈されなければならない。したがって、本明細書に記載された実施形態と図面に示された構成とは本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想の全てを代弁するものではないため、本出願時点においてこれらに代替できる多様な均等物と変形例があり得ることを理解しなければならない。

本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置は各種のデジタル画像撮影装置に結合され用いられる。デジタル画像撮影装置は、例えば、デジタルカメラ、デジタルカムコーダー、デジタルカメラが搭載された携帯電話、ＰＤＡ、個人用マルチメディア再生機などを含む。デジタル画像撮影装置は、使用者のシャッター操作によって被写体の画像を獲得してデジタルイメージに変換した後貯蔵媒体に貯蔵するように構成される。

商用化されているデジタル画像撮影装置は、伝統的なカメラとは異なりＬＣＤなどのディスプレイから構成されたビューファインダー（ｖｉｅｗ ｆｉｎｄｅｒ）を通じて写真が撮像される前に画像を見せるプレビュー（Ｐｒｅｖｉｅｗ）機能を有する。したがって、使用者は短いフレーム間隔で更新される画像を確認できる。使用者がビューファインダーで画像を見ながら、所望のタイミングでシャッターを動作させてデジタル停止画像を得る。

本発明による手ぶれ補正装置は、シャッターが動作すれば第１露出度で撮像された第１デジタル画像と第２露出度（第１露出度よりも小さい）で撮像された複数の第２デジタル画像とを獲得する。そして、上記装置は、複数の第２デジタル画像に対する二値画像と反転画像の中でオブジェクト数が多い画像のオブジェクトを追跡することによって、基準第２デジタル画像を基準にして各比較第２デジタル画像の動き量を計算し、計算された各動き量によって対応する第２デジタル画像の動きを補正した後基準画像と動き補正画像（たち）とを一つに重畳させて手ぶれ補正画像を生成し、第１デジタル画像の属性を用いて手ぶれ補正画像の属性を補正することを特徴とする。

本発明の実施形態において、第１デジタル画像はプレビュー画像、第２デジタル画像は停止キャプチャー画像である。プレビュー画像とはシャッターが動作する前にビューファインダーを通じて短いフレーム周期で表示されるデジタル画像である。停止キャプチャー画像とはシャッターが動作したとき使用者が指定した解像度で撮像される被写体の停止デジタル画像である。しかし、本発明はこれに限定されない。第１デジタル画像は、第２デジタル画像に比べて露出度が高く、手ぶれの影響が除去できる程度の短いフレーム周期で撮像されたデジタル画像を意味すると解釈されるべきである。

図１は、本発明の実施形態によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置のブロックダイアグラムである。

図１を参照すれば、本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置は、画像信号処理部１１０、手ぶれ補正部１２０及び画像属性補正部１３０を含む。画像信号処理部１１０は、イメージセンサー１００から第１露出度の条件で撮像されたプレビュー画像信号と第２露出度の条件で撮像された複数の停止キャプチャー画像信号とを受信する。画像信号処理部１１０は、デジタル画像信号処理を行って第１露出度に対応するプレビュー画像データをディスプレイモジュール１７０に表示し、第２露出度の条件に対応する複数の停止キャプチャー画像データを出力する。手ぶれ補正部１２０は、複数の停止キャプチャー画像に対する二進画像と反転画像の中でオブジェクト数が多い画像のオブジェクトを追跡することで、基準停止キャプチャー画像（基準画像）を基準にして比較停止キャプチャー画像（比較画像）の動きを補正し、基準画像と補正された比較画像とを重畳させ手ぶれ補正画像を生成する。画像属性補正部１３０は、プレビュー画像の属性を基準にして手ぶれ補正画像の属性を補正する。

望ましくは、第１露出度は第２露出度よりも大きい。すなわち、第１露出度をＥＶ１とし第２露出度をＥＶ２とするとき、「ＥＶ１＞ＥＶ２」という条件を満足する。望ましくは、第１露出度はデジタル撮影装置の自動露出（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）モードに対応する露出度である。ここで、露出度はＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）と略称し、イメージセンサー１００のシャッタースピードを示すｆとセンサーの感光度を示すＩＳＯゲイン（以下、Ｉと称する）とを含むパラメーターによって定義される。

イメージセンサー１００は、デジタル画像撮影装置のシャッターが動作する前には、短いフレーム周期（例えば、３０ｆ／s）で被写体のプレビュー画像を生成して出力する。デジタル画像撮影装置のシャッターが動作すれば、イメージセンサー１００は短いフレーム周期で複数の停止キャプチャー画像を連続して出力する。複数の停止キャプチャー画像はプレビュー画像よりも長いフレーム周期で出力される。イメージセンサー１００は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）技術を用いたイメージ撮像素子である。しかし、本発明がイメージセンサー１００の種類によって限定されるのではない。

プレビュー画像は非常に短いフレーム間隔を置いて連続して生成される。したがって、第１露出度の条件で獲得されるプレビュー画像は撮影者の手ぶれ影響による画像ぼけ現象がほとんどなく、複数の停止キャプチャー画像と比較するとき画像内に含まれる被写体の範囲が実質的に同一であり、自動露出モードで生成される画像であるので、被写体の明るさ及び色相の属性をよく保存している。

一方、停止キャプチャー画像はプレビュー画像が獲得された第１露出度の条件に比べて被写体に対する露出時間が充分に短い条件で獲得される。したがって、停止キャプチャー画像は画像撮影者の手ぶれによる影響がほとんどない画像である。イメージセンサー１００の露光時間が短くなれば、手ぶれの影響が減少するからである。しかし、停止キャプチャー画像の獲得時露出時間が短くなれば、プレビュー画像に比べて被写体に対する明るさ及び色相の属性が相対的によく保存されない。一方、停止キャプチャー画像は、デジタル画像撮影装置の使用者が設定した横及び縦サイズを持ち、プレビュー画像に比べて相対的に大きいサイズを持つ。

望ましくは、本発明によるデジタル画像の手ぶれ補正装置は、モード切換部１４０とセンサーコントロール部１５０とをさらに含む。モード切換部１４０は、イメージセンサー１００の露出度の条件を第１露出度の条件から第２露出度の条件に変更する。シャッターが動作する前には、モード切換部１４０は、センサーコントロール部１５０を制御してイメージセンサー１００を第１露出度の条件で設定し、プレビューモードでイメージセンサー１００を動作させる。これによって、イメージセンサー１００は所定のフレーム間隔（例えば、３０ｆ／s）でプレビュー画像のアナログ信号を生成して画像信号処理部１１０に出力する。これによって、画像信号処理部１１０はプレビュー画像をデジタル処理してディスプレイ部１７０に出力する。そうすれば、ディスプレイ部１７０はプレビュー画像をビューファインダーを通じて動画像の形態で表示する。

シャッターが動作すれば、モード切換部１４０は第１露出度の条件に基づいて第２露出度の条件を適応的に定めた後、センサーコントロール部１５０を制御してイメージセンサー１００の露出度の条件を第１露出度の条件から第２露出度の条件に変更して停止画像のキャプチャーモードにモード切り換えをする。したがって、イメージセンサー１００は停止キャプチャー画像モードで動作する。

露出度の条件を適応的に定めるということは、第１露出度の条件に基づいて予め定められた露出度値のセットを参照して第２露出度の条件を定めることを意味する。このため、第１露出度の条件を定義するパラメーターであるｆ値とＩ値とによって第２露出度の条件を定義するパラメーターであるｆ’値とＩ’値とを１：１でマッピングできるセンサーデータシート１６０が提供されることが望ましい。センサーデータシート１６０は、本発明による装置が起動するときロードされ参照される。一方、本発明は、第１露出度の条件に応じて第２露出度の条件を適応的に定めることに特徴があるので、露出度の条件を適応的に定めるための技術的構成は前述した例に限定されず、様々な変形が可能なのは言うまでもない。

センサーコントロール部１５０は、モード切換部１４０の制御によってイメージセンサー１００の露出度の条件を設定する。センサーコントロール部１５０は、シャッターが動作する前には第１露出度の条件でイメージセンサー１００を設定する。そして、シャッターが動作すれば第２露出度の条件でイメージセンサー１００を設定する。第１及び第２露出度の条件に対応するパラメーターはモード切換部１４０から受信する。パラメーターは前述したように、シャッタースピードｆとＩＳＯゲインＩとを含む。

イメージセンサー１００の露出度が第２露出度の条件に変更されれば、センサーコントロール部１５０はイメージセンサー１００に複数停止画像のキャプチャー信号を送信する。そうすれば、イメージセンサー１００は被写体に対する複数の停止キャプチャー画像を一定のフレーム周期で連続して生成して画像信号処理部１１０に出力する。

画像信号処理部１１０は、シャッターが動作する前までは一定のフレーム間隔でイメージセンサー１００で生成されるプレビュー画像の入力を受けてデジタル信号に変換した後、ディスプレイ部１７０に出力する。そして、シャッターが動作すれば、イメージセンサー１００から一定のフレーム間隔で連続して生成された複数の停止キャプチャー画像の入力を受けてデジタル信号に変換した後、手ぶれ補正部１２０に出力する。デジタル信号に変換されたプレビュー画像及び停止キャプチャー画像データは画像内に含まれた各ピクセルの輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）とを含む。デジタル画像信号は、ＹＵＶ色座標系の以外にＲＧＢなどの他の色座標系による信号から構成されることもできる。

画像信号処理部１１０は、プレビュー画像をデジタル信号に変換した後ビューファインダーに備えられたディスプレイの解像度規格（例えば、３２０×２４０、２４０×３２０など）に合うようにダウンスケーリングすることができる。また、画像信号処理部１１０は、複数の停止キャプチャー画像をデジタル信号に変換した後撮影者が指定したイメージ解像度（３２０×２４０、２５６×１９２など）にダウンスケーリングすることができる。

停止キャプチャー画像のイメージ解像度は使用者インターフェースを用いて設定する。使用者インターフェースは、イメージセンサー１００の焦点、光学またはデジタルズームイン／ズームアウト、ホワイトバランス、露出モードなどデジタル画像を撮影するために必要な各種のパラメーターの調整とシャッターの操作とをするためにデジタル画像撮影装置に備えられる一般的なインターフェースである。デジタル画像撮影装置が携帯電話などのハンドヘルド端末機に装着される場合、使用者インターフェースはヘッドヘルド端末機に備えられるキーパッドなどによって具現される。

画像信号処理部１１０は、本発明が属した技術分野においてＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）として広く知られており、画像信号のデジタル変換過程は当業者に公知されているのでこれ以上詳細な説明は省略する。

図２は、本発明の実施形態による手ぶれ補正部１２０の構成を示すブロックダイアグラムである。

図面に示すように、手ぶれ補正部１２０は、オブジェクトラベリング部１２１、動き量算出部１２２、動き補正部１２３及び補正画像生成部１２４を含む。

手ぶれ補正部１２０は、オブジェクト追跡を用いて複数の停止キャプチャー画像の中で選択された基準画像を基準にして残りの各比較画像の動きを補正し、基準画像と動きが補正された（単数または複数の）画像とを一つの画像に重畳させ手ぶれ補正画像を生成する。

オブジェクト追跡を用いて基準画像を基準にして比較画像の動き量を補正するということは、基準画像と比較画像とに含まれたオブジェクトを抽出してラベリングし、ラベリングされたオブジェクトを相互対応させた状態で（単数または複数の）オブジェクトの動き量を定量的に計算し、計算された動き量を比較画像に適用して基準画像を基準にして比較画像の動きを補正することを意味する。

オブジェクトラベリング部１２１は、シャッターが動作された直後、画像信号処理部１１０から複数の停止キャプチャー画像が入力される。オブジェクトラベリング部１２１は複数の停止キャプチャー画像のうち一つの画像を基準画像に、残りの画像を複数の比較画像に分類する。ここで、比較画像は少なくとも１個以上である。それから、オブジェクトラベリング部１２１は基準画像と各比較画像とからオブジェクトを抽出してラベリングする。

望ましくは、オブジェクトラベリング部１２１は停止キャプチャー画像の中で最初に撮像された画像を基準画像に選定する。代案的に、オブジェクトラベリング部１２１は停止キャプチャー画像の中で最後に撮像された画像または中間に撮像された画像を基準画像に選定することもできる。一例として、５個の停止キャプチャー画像が撮像されたら、基準画像は、一番目、三番目、五番目の画像のうち何れか一つを基準画像に選定できる。

オブジェクトとは、二値化された画像において相互連結された白色ピクセルの集合を意味する。オブジェクトを構成するピクセルの数が臨界値（例えば、３００００）を超えれば、該当のオブジェクトは背景として見なすことができる。望ましくは、オブジェクトは、４連結成分追跡または８連結成分追跡を用いて抽出する。４連結成分追跡とは観察対象ピクセルの上下左右４個のピクセルを追跡してオブジェクトを抽出する方式である。８連結成分追跡とは観察対象ピクセルの上下左右４個のピクセルと対角線方向の４個のピクセルとを追跡してオブジェクトを抽出する方式である。これに加えて、オブジェクトは、閉鎖輪郭オブジェクトスキャン法または開放輪郭オブジェクトスキャン法によっても抽出できる。ここで記述されたオブジェクト抽出法は、当業者に公知された技術であるので詳細な説明は省略する。

図３は、本発明の第１実施形態によるオブジェクトラベリング部１２１のブロックダイアグラムを、図４は、本発明の第２実施形態によるオブジェクトラベリング部４３１のブロックダイアグラムを示す。

図３を参照すれば、オブジェクトラベリング部１２１は、基準画像と各比較画像とを二値化（ｂｉｎａｒｉｚａｔｉｏｎ）して黒白二値画像に変換する画像二値化器１２１１と、基準画像と各比較画像との二値画像を黒白反転によって反転画像に変換する画像反転器１２１３と、各二値画像と各反転画像とからオブジェクトを抽出してラベリングするオブジェクトラベラー１２１２と、基準画像の二値画像から抽出されたオブジェクトの数と基準画像の反転画像から抽出されたオブジェクトの数とを対比してオブジェクト数が多い画像（二値画像または反転画像）をオブジェクト追跡画像として選択する画像選択器１２１４を含む。

画像の二値化は、画像に対するヒストグラム分布を計算した後特定の閾値以上の明るさを持つピクセルを白色に、特定の閾値以下の明るさを持つピクセルを黒色に設定することによってなされる。以下においては特定の閾値を基準にして各ピクセルの明るさを白色または黒色に変換する過程を画像の閾値化と命名する。特定の閾値は、ヒストグラム分布から計算された画像の平均明るさ値であり得る。しかし、本発明はがこれに限定されない。

図４を参照すれば、本発明の第２実施形態によるオブジェクトラベリング部４３１は、閾値化を通じて基準画像と各比較画像とを二値画像に変換する画像二値化器１２１１と、基準画像と各比較画像とに対する二値画像を黒白反転によって反転画像に変換する画像反転器１２１３と、基準画像と各比較画像とをフィルタリングして境界を鮮明化する画像濾波器１２１５と、画像濾波器１２１５から受信される境界鮮明化画像と画像二値化器１２１１から受信される対応する二値画像、そして、画像濾波器１２１５から受信される境界鮮明化画像と画像反転器１２１３から受信される対応する反転画像とを合成して、合成二値画像と合成反転画像とを出力する画像合成器１２１６と、画像合成器１２１６から出力される各合成二値画像と各合成反転画像からオブジェクトを抽出してラベリングするオブジェクトラベラー１２１２と、基準画像の合成二値画像から抽出されたオブジェクト数と基準画像の合成反転画像から抽出されたオブジェクト数とを対比してオブジェクト数が多い方の画像（合成二値画像または合成反転画像）をオブジェクト追跡画像として選択する画像選択器１２１４とを含む。合成二値画像は二値画像と境界鮮明化画像との合成画像を、合成反転画像は反転画像と境界鮮明化画像との合成画像を称する。

前述のように、境界が鮮明化された(ｓｈａｒｐｅｎｅｄ)合成二値画像と合成反転画像とからオブジェクトを抽出すれば、オブジェクトの境界が強化されて（ｅｎｈａｎｃｅｄ）オブジェクトの抽出が容易になる。望ましくは、画像濾波器１２１５は、２次ラプラシアン濾波器またはゾーベルエッジ（Ｓｏｂｅｌ ｅｄｇｅ）濾波器である。しかし、本発明は画像濾波器１２１５の種類によって限定されない。

また図２を参照すれば、動き量算出部１２２は、オブジェクトラベリング部１２１から基準画像と各比較画像とのラベリングされたオブジェクトデータを入力受ける。それから、基準画像のオブジェクトと各比較画像のオブジェクトとを相互マッチングさせ、各オブジェクトのパラメーターを計算する。

オブジェクトデータは、オブジェクト追跡画像として選択された二値画像または反転画像からラベリングされたオブジェクトデータである。すなわち、二値画像がオブジェクト追跡画像として選択された場合、オブジェクトデータは基準画像及び各比較画像の二値画像からラベリングされたオブジェクトデータである。その反面、反転画像がオブジェクト追跡画像として選択された場合、オブジェクトデータは基準画像及び各比較画像の反転画像からラベリングされたオブジェクトデータである。

代案的に、オブジェクトデータは、オブジェクト追跡画像として選択された合成二値画像または合成反転画像からラベリングされたオブジェクトデータである。すなわち、合成二値画像がオブジェクト追跡画像として選択された場合、オブジェクトデータは基準画像及び各比較画像の合成二値画像からラベリングされたオブジェクトデータである。その反面、合成反転画像がオブジェクト追跡画像として選択された場合、オブジェクトデータは基準画像及び各比較画像の合成反転画像からラベリングされたオブジェクトデータである。

図７は、動き量算出部１２２によって計算されるオブジェクトのパラメーターを概念的に示している。

オブジェクトのパラメーターは、オブジェクトの面積（Ｓ）、オブジェクトの境界長さ（バウンダリーのまわりの長さ）、一定のマージンを置いてオブジェクトを含む四角形のバウンダリーを形成した場合、四角形の中心座標（Ｏ：ｃｅｎｔｅｒ ｃｏｏｒｄｉｎａｔｅ）、オブジェクトの重心座標（Ｃ：ｃｅｎｔｒｏｉｄ ｃｏｏｒｄｉｎａｔｅ）、オブジェクトの四角形の中心座標（Ｏ）を通過し両端がオブジェクトの境界と接するラインのうち長さが最も長い最長軸の長さ（Ｍａｘ_Ｏ：Ｍａｊｏｒ ａｘｉｓ ｌｅｎｇｔｈ）及び勾配と長さとが最も短い最短軸の長さ（Ｍｉｎ_Ｏ：Ｍｉｎｏｒ ａｘｉｓ ｌｅｎｇｔｈ）及び勾配、オブジェクトの重心（Ｃ）を通過し両端がオブジェクトの境界と接するラインのうち長さが最も長い最長軸の長さ（Ｍａｘ_Ｃ：Ｍａｊｏｒ ａｘｉｓ ｌｅｎｇｔｈ）及び勾配と長さとが最も短い最短軸の長さ（Ｍｉｎ_Ｃ：Ｍｉｎｏｒ ａｘｉｓ ｌｅｎｇｔｈ）及び勾配、ラベリングの順序に従ってオブジェクトの重心を連結したとき各連結ライン（Ｌ）の長さ及び勾配などを含む。

次いで、動き量算出部１２２は、計算されたオブジェクトのパラメーターを用いて各比較画像に対する動き量を算出する。比較画像の動き量とは、基準オブジェクト追跡画像を基準にした比較オブジェクト追跡画像に対する動き量を意味する。基準オブジェクト追跡画像は、基準画像の二値画像、反転画像、合成二値画像及び合成反転画像のうち何れか一つである。そして、比較オブジェクト追跡画像は、比較画像の二値画像、反転画像、合成二値画像及び合成反転画像のうち何れか一つであって、基準オブジェクト追跡画像と画像の種類が同一である。動き量は、基準画像のオブジェクト追跡画像を基準にして比較画像のオブジェクト追跡画像がどれくらい動いたかを定量的に示す。具体的に、動き量は、平行移動（ｔｒａｎｓｌａｔｉｏｎ）による動き量、点回転（ｒｏｔａｔｉｏｎ）による動き量、スケーリング（ｓｃａｌｉｎｇ）による動き量及び軸回転（ｓｈｅａｒ）による動き量からなる群より選択された何れか一つまたはこれらの組み合わせを含む。

比較オブジェクト追跡画像に対する動き量は、相互マッチングされた基準オブジェクト追跡画像のオブジェクトパラメーターと比較オブジェクト追跡画像のオブジェクトパラメーターとを幾何学的に演算して算出する。

平行移動による動き量は、基準オブジェクト追跡画像と比較オブジェクト追跡画像との相互マッチングされたオブジェクト間の中心座標または重心座標の差を平均して算出する。

点回転による動き量は、基準オブジェクト追跡画像と比較オブジェクト追跡画像との各重心連結ライン（Ｌ）をマッチングさせた後マッチングされた重心連結ライン（Ｌ）がなす角の平均を出して算出する。代案的に、基準オブジェクト追跡画像と比較オブジェクト追跡画像との各重心連結ライン（Ｌ）をマッチングさせた後、予め定めた基準軸と相互マッチングされた各重心連結ライン（Ｌ）とがなす角の差を平均して算出する。

スケーリングによる動き量は、基準オブジェクト追跡画像と比較オブジェクト追跡画像との相互マッチングされたオブジェクト間の長軸の長さ比率、短軸の長さ比率、境界線の長さ比率または面積比率の平均を出して算出する。

軸回転による動き量は、基準オブジェクト追跡画像と比較オブジェクト追跡画像との相互マッチングされたオブジェクト間の長軸の長さ比率、短軸の長さ比率、境界線の長さ比率、面積比率または予め定めた基準軸と重心の連結ラインとがなす角の差の分布を画像の水平方向と垂直方向とで求め、分布のプロファイルが持つ勾配を用いて算出する。

基準オブジェクト追跡画像と比較オブジェクト追跡画像との多様なオブジェクトパラメーターが与えられたとき、基準オブジェクト追跡画像を基準にした比較オブジェクト追跡画像の動き量を算出する方式は、前述した方式以外にも様々な変形が可能なのは本発明が属する技術分野において通常の知識を持つ者に自明である。

動き量算出部１２２は、各比較画像に対して算出した動き量データを動き補正部１２３に出力する。動き補正部１２３は各比較画像に対する動き量を補正するための行列マトリックスを算出する。

望ましくは、行列マトリックスは、アフィン変換（ａｆｆｉｎ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）のための行列マトリックスである。しかし、本発明は行列マトリックスの種類によって限定されない。アフィン変換行列は、画像の平行移動、回転、スケーリング及び軸回転の変換を処理する公知の変換行列である。行列マトリックスを構成する係数は算出された動き量によって演算可能である。動き量によって行列マトリックスを導出する技術は本発明が属する技術分野に広く知られているのでここで詳細な説明は省略する。

動き補正部１２３は、各比較画像に対する変換行列マトリックスを導出した後、導出された行列マトリックスによって比較画像を行列演算して各比較画像の動きを補正する。次いで、動きが補正された各比較画像と基準画像とを補正画像生成部１２４に出力する。

比較画像の動き補正は、水平移動による動き量補正、点回転による動き量補正、スケーリングによる動き量補正及び軸回転による動き量の補正からなる群より選択された何れか一つまたはこれらの組み合わせを含む。比較画像の動き補正に関連した演算量を減らすためには、軸回転→スケーリング→回転→水平移動による動き量の補正の順で演算を行うことが望ましい。しかし、本発明はこれに限定されない。

補正画像生成部１２４は、動き補正部１２３を通じて動きが補正された比較画像と基準画像とが入力される。それから、基準画像にすべての比較画像を重畳させ手ぶれ補正画像を生成して出力する。

ここで、画像を重畳させるということは、色相チャンネル別に基準画像と（単数または複数の）比較画像との色相データに対する平均を求めた後、色相データの平均値で基準画像の色相データをチャンネル別に置き換えることを言う。一方、場合によっては、画像を重ねるために色相チャンネル別に色相データの平均を求めるとき基準画像の色相データは排除することもできる。

図５は、本発明の他の実施形態による手ぶれ補正部５２０の構成を示すブロックダイアグラムである。

図面を参照すれば、手ぶれ補正部５２０は、オブジェクトラベリング部１２１は、画像リサイザー１２５をさらに含むことができる。画像リサイザー１２５は、画像信号処理部１１０から入力されるプレビュー画像と複数の停止キャプチャー画像とをダウンスケーリングするか、画像のバウンダリーをクリッピングして画像のサイズを減少させる。画像のリサイジング時に画像のバウンダリーをクリッピングする目的は、画像の中央部分にオブジェクトが集中する傾向があるからである。手ぶれ補正部５２０に画像リサイザー１２５が含まれれば、画像二値化器１２１１、画像反転器１２１３、オブジェクトラベラー１２１２及び画像濾波器１２１５は、小さくリサイズされた画像を基準にして演算を行うことで演算量を減らすことができる。動き量算出部１２２は、ダウンスケーリングによってリサイズされた比較画像を用いて動き量を算出した後、ダウンスケーリングのファクターを考慮して動き量を元の比較画像の基準に換算することができる。

図６は、本発明のまた他の実施形態による手ぶれ補正部６２０の構成を示すブロック図である。

図面を参照すれば、手ぶれ補正部６２０は、オブジェクトラベリング部１２１は、画像選別部１２６をさらに含む。画像選別部１２６は、複数の停止キャプチャー画像のうち一つを基準画像に、残りの画像を比較画像に分類する。基準画像の選択基準は既に前述した。そして、基準画像を基準にして各比較画像の動きベクトルを算出する。各比較画像の動きベクトルは、基準画像を基準にして比較画像の動き程度を示す尺度であって、ＭＰＥＧやＨ.２６ｘのような公知の画像圧縮標準などに広く用いられている方式を採用して算出する。それから、画像選別部１２６は、各比較画像の動きベクトルのサイズが大きすぎるか動きベクトルが算出されなければ、基準画像に含まれた被写体と比較画像に含まれた被写体とが相異なるものであると判断して手ぶれ補正に用いられる画像から排除する。これは、手ぶれ量が過度な場合、または比較画像の撮像時急に他の被写体が画像撮像範囲に入ってきた場合である。その反面、比較画像の動きベクトルのサイズが一定のレベル範囲内であれば、手ぶれ補正に用いられ得る画像であると判断して前述したオブジェクトラベリング部１２１にプレビュー画像と停止キャプチャー画像とを入力する。そうすれば、オブジェクトラベリング部１２１は前述のようにオブジェクトラベリングを行う。

追加的に、画像選別部１２６は、基準画像と比較画像との明るさ差を定量的に計算してその値が一定のレベルよりも小さければ、該当する比較画像を手ぶれ補正に用いられる画像から排除する。例えば、画像選別部１２６は基準画像と比較画像との間のＸＯＲ演算画像を算出した後、画像の明るさ平均を求め、明るさ平均を基準画像と比較画像との間の明るさ差として定義する。それから、基準画像と比較画像との明るさ差が一定のレベル（例えば、０.８５）よりも小さければ、有意義なオブジェクトの動きがないと判断して該当する比較画像をオブジェクトラベリング部１２１に出力させない。その反面、基準画像と比較画像との明るさ差が一定のレベル（例えば、０.８５）を超えれば、有意義なオブジェクトの動きがあると判断して該当の比較画像をオブジェクトラベリング部１２１に出力させる。このように基準画像と各比較画像との間の明るさ差を通じて画像を選別すれば、オブジェクトラベリングのための演算量を減少させることができる長所がある。

画像選別部１２６は、図５に示した画像リサイザー１２５とオブジェクトラベリング部１２１との間に介在できる。このような場合、画像選別部１２６は、リサイズされた基準画像と比較画像とに対して前述した動作を行う。

図８は、本発明の実施形態によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正方法を示すフローチャートである。各段階は、本発明の装置によって行われる。

段階（Ｆ１０）において、プレビュー画像と複数の停止キャプチャー画像とが受信される。プレビュー画像は第１露出度の条件で得られ、複数の停止キャプチャー画像は第２露出度の条件で得られる。第２露出度の条件は第１露出度の条件に基づいて適応的に定められる。停止キャプチャー画像のうち一つは基準画像であり、残りの停止キャプチャー画像は比較画像になる。段階（Ｆ２０）において、オブジェクト追跡画像が選定される。オブジェクト追跡画像は、複数の停止キャプチャー画像に対する二値画像と反転画像とのうちオブジェクトが多く含まれた画像である。段階（Ｆ３０）において、各比較停止キャプチャー画像の動き補正が行われる。動き補正は、基準画像を基準にしてオブジェクト追跡画像でオブジェクトを追跡することでなされる。次いで、段階（Ｆ４０）において、手ぶれが補正された画像と基準画像とを重畳することによって手ぶれ補正画像が生成される。段階（Ｆ５０）において、プレビュー画像に基づいて手ぶれ補正画像の属性が補正される。

図９は、本発明の実施形態による手ぶれ補正画像を生成するためのプロセスを示すフローチャートである。下記説明で各段階の遂行主体は手ぶれ補正部１２０である。

段階（Ｐ１０）において、最初に撮像された停止キャプチャー画像が受信され、段階（Ｐ２０）において、入力された停止キャプチャー画像が基準画像に指定される。ここで基準画像として用いられる停止キャプチャー画像は任意に変更可能である。基準画像が定まれば二番目以後に撮像された残りの停止キャプチャー画像は比較画像になる。

段階（Ｐ３０）において、二番目に撮像された停止キャプチャー画像（ｋ＝２）が比較画像として受信される。段階（Ｐ４０）において、基準画像を基準にして比較画像の動きベクトルが計算される。段階（Ｐ５０）において、計算された動きベクトルのサイズが予め定めた臨界値を超えるかを検査するために計算された動きベクトルのサイズが臨界値と比較される。

もし、段階（Ｐ５０）の検査で動きベクトルが算出されないか算出された動きベクトルのサイズが臨界値を超えると判別されれば、比較画像のオブジェクトラベリング過程が行われずに段階（Ｐ６０）が行われる。その代わり、段階（Ｐ５０）の検査で算出された動きベクトルのサイズが臨界値を超えなければ、段階（Ｐ７０）が行われて基準画像と比較画像との明るさ差が定量的に算出される。例えば、基準画像と比較画像とのＸＯＲ演算画像が算出され、ＸＯＲ演算画像の明るさ平均が基準画像と比較画像との明るさ差で定義される。

次いで、段階（Ｐ８０）で計算された基準画像と比較画像との明るさ差が予め定めた臨界値を超えるか検査される。もし、段階（Ｐ８０）の検査結果、明るさ差が臨界値を超えれば比較画像に有意義なオブジェクトの移動があると判別して段階（Ｐ９０）のオブジェクトラベリング過程が行われる。その反面、段階（Ｐ８０）の検査結果、明るさ差が臨界値を超えなければ比較画像のオブジェクトラベリング過程が省略され段階（Ｐ６０）が行われる。

段階（Ｐ９０）においては、基準画像と比較画像とからオブジェクトが抽出され幾何学的演算によってオブジェクトパラメーターが計算される。すなわち、基準画像と各比較画像とを二値画像（または合成二値画像）と反転画像（または合成反転画像）に変換した後オブジェクトが多く抽出される画像をオブジェクト追跡画像として選択し、基準オブジェクト追跡画像と各比較オブジェクト追跡画像とからオブジェクトをラベリングしオブジェクトパラメーターを計算する。オブジェクトラベリング及びオブジェクトパラメーターの計算過程は既に前述した。それから、段階（Ｐ１００）においては、基準オブジェクト追跡画像から抽出されたオブジェクトパラメーターと各比較オブジェクト追跡画像から抽出されたオブジェクトパラメーターとを相互マッチングさせた後、基準画像を基準にした比較画像の動き量を計算する。ここで、各比較画像に対する動き量は基準画像を基準にした比較画像の水平移動による動き量、点回転による動き量、スケーリングによる動き量及び軸回転による動き量を含むグループより選択された何れか一つまたはこれらの組み合わせを含む。それから、段階（Ｐ１１０）において、計算された動き量を用いて動き補正のための行列マトリックスが算出され、アフィン変換によって比較画像の動きが補正される。

次いで、段階（Ｐ１２０）において、動き量が補正された比較画像の順序ｋが予め設定した数Ｎに到達したか検査される。ここで、Ｎは、画像の手ぶれを補正するために用いる停止キャプチャー画像の数であって、その値は予め定められる。段階（Ｐ１２０）での検査結果、ｋがＮより小さいか同じであれば、段階（Ｐ６０）が行われて比較画像の順序を１増加させ、段階（Ｐ３０）にプロセスが復帰される。そうすれば、２番目ないしＮ番目の停止キャプチャー画像を比較画像として入力して、画像の動き量を算出して比較画像の動きを補正する前述した過程が繰り返される。一方、ｋがＮより大きければ、画像の手ぶれ補正のために用いられる停止キャプチャー画像の動き補正が完了し、段階（Ｐ１３０）が行われる。

段階（Ｐ１３０）においては、動きが補正された比較画像とオブジェクトの動きがない比較画像（オブジェクトの動きが実質的にないと判定された画像）とが基準画像と重畳され手ぶれ補正画像が生成される。画像の重畳は既に前述している。場合によっては、オブジェクトの動きがないと判断された比較画像は重畳対象画像から排除することができ、Ｐ４０段階ないしＰ８０段階は手ぶれ補正部の演算量を考慮して省略しても構わない。

図９に示さないが、本発明は、基準画像と比較画像とからオブジェクトを抽出するのに先立って基準画像と比較画像とをダウンスケーリングするか、画像のバウンダリーをクリッピングして画像のサイズをリサイズする段階をさらに含むことができる。このような画像リサイジング段階を行えば、オブジェクト抽出に必要な演算量を減少させることができる。

前述した過程を通じて手ぶれ補正画像が生成されれば、画像属性補正部１３０はプレビュー画像の属性を用いて手ぶれ補正画像の属性を補正する。プレビュー画像は、シャッターの動作時点を基準にして最近接時点に撮像されたプレビュー画像であって、フレームメモリから参照可能である。

図１０は、本発明の実施形態による画像属性補正部１３０の構成を示すブロックダイアグラムである。

図１０を参照すれば、画像属性補正部１３０は、色相補正部１３１、ノイズ補正部１３２及び明るさ補正部１３３を含む。

色相補正部１３１は、手ぶれ補正画像のピクセルデータをプレビュー画像のピクセルデータに置き換えるか、プレビュー画像と手ぶれ補正画像とのサイズ比率を考慮して手ぶれ補正画像のピクセルデータをプレビュー画像のピクセルデータに補間することで手ぶれ補正画像の色相を補正し、色相が補正された手ぶれ補正画像をノイズ補正部１３２に出力する。

ノイズ補正部１３２は、様々な公知のノイズ除去フィルタを用いて手ぶれ補正画像のノイズとカラーエラーとを除去し、画像のノイズとカラーエラーとが除去された手ぶれ補正画像を明るさ補正部（１３３）に出力する。ノイズ除去フィルタとしては、低域通過フィルタ（Ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）、メディアンフィルタ （Ｍｅｄｉａｎ ｆｉｌｔｅｒ）、ガウシアンフィルタ（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）、ラプラシアン‐ガウシアンフィルタ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）、ガウシアン差分フィルタ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）などが採用できる。しかし、本発明がこれに限定されるのではなく、本発明が属する技術分野の通常の知識を持つ者に画像ノイズを除去することができると知られた他の方式のフィルタリング技術も採用できることは自明である。

明るさ補正部１３３は、プレビュー画像及び手ぶれ補正画像の明るさ差を定量化した後、手ぶれ補正画像の明るさ補正強度を適応的に定めて手ぶれ補正画像の明るさを補正する。

以下、図１１及び図１２をそれぞれ参照して前記色相補正部１３１と明るさ補正部１３３の動作をより詳しく説明する。

図１１は、色相補正部１３１がプレビュー画像に基づいて手ぶれ補正画像の色相を補正する過程を示すフローチャートである。

図１１を参照しながら色相補正過程を説明すれば、まず、段階（Ｓ１０）において、色相補正部１３１は手ぶれ補正画像をプレビュー画像のサイズにスケーリングして縮小画像を生成する。それから、段階（Ｓ２０）において、プレビュー画像を参照画像にして縮小画像の動きベクトルを計算する。動きベクトルはプレビュー画像を基準にして縮小画像内に含まれたオブジェクトの移動方向と移動量とを示す。動きベクトルは、ＭＰＥＧやＨ.２６ｘのような公知の画像圧縮標準などに広く用いられている方式を採用して算出できる。すなわち、縮小画像を一定のサイズのブロックに細分した後、各ブロックが参照画像のどの領域から動いてきたかを推定して動きベクトルを計算する。動きベクトルが計算されれば、段階（Ｓ３０）において、色相補正部１３１はプレビュー画像の各ピクセルデータを動きベクトルに従って位置を移動させる。それから、段階（Ｓ４０）において、ピクセルの位置移動が完了したプレビュー画像に基づいて補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて手ぶれ補正画像のピクセルデータを補正する。すなわち、プレビュー画像の各ピクセルの位置（ｘ_ｉ,ｙ_ｊ）をスケーリングファクター（縮小画像生成時に適用したファクターである）を考慮して手ぶれ補正画像の位置（Ｘ_ｉ,Ｙ_ｊ）に換算する。それから、手ぶれ補正画像の（Ｘ_ｉ,Ｙ_ｊ）位置にあるピクセルデータをプレビュー画像の（ｘ_ｉ,ｙ_ｊ）位置にあるピクセルデータに置き換える。一方、プレビュー画像のピクセル数は手ぶれ補正画像のピクセル数より少ないので、手ぶれ補正画像のすべてのピクセルデータがプレビュー画像のピクセルデータに置き換えられない。したがって、手ぶれ補正画像のピクセルデータのうちプレビュー画像のピクセルデータに置き換えられないピクセルデータは、置き換えが完了した隣接のピクセルデータを用いて補間する。使用可能な補間法としては、Ｂｉ‐ｌｉｎｅａｒ法、Ｂｉ‐Ｃｕｂｉｃ法、Ｂ‐ｓｐｌｉｎｅ法などがあるが、本発明はこれに限定されない。

図１２は、明るさ補正部１３３がプレビュー画像に基づいて手ぶれ補正画像の明るさを補正する過程を示すフローチャートである。

図１２を参照しながら明るさ補正過程を説明すれば、まず、段階（Ｓ５０）において、明るさ補正部１３３は手ぶれ補正画像のサイズをプレビュー画像のサイズにダウンスケーリングして縮小画像を生成する。このとき、Ｓ５０段階を別途で行わずに、色相補正のために生成した縮小画像をそのまま用いても構わない。次いで、段階（Ｓ６０）において、明るさ補正部１３３は縮小画像とプレビュー画像との明るさ差を定量化する。明るさ差は、二つの画像のヒストグラム分布を計算した後ヒストグラム平均値位置の差分によって計算可能である。例えば、縮小画像及びプレビュー画像に対して計算したヒストグラムの平均値位置がそれぞれ８５及び１４０であれば、平均値位置の差分は５５である。それから、段階（Ｓ７０）において、明るさ補正部１３３は平均値位置の差分によって明るさ補正の強度を適応的に定めた後定められた強度によって手ぶれ補正画像の明るさを補正する。明るさ補正はガンマ関数またはレティネックス（Ｒｅｔｉｎｅｘ）アルゴリズムの適用によってなされることができる。このような場合、明るさ補正の強度はガンマ関数またはレティネックスアルゴリズムの強度になる。明るさ補正アルゴリズムの強度を適応的に選択するため、平均値位置の差分値によって選択可能な強度レベルをルックアップテーブル１３４の形態で用意した後参照することが望ましい。

手ぶれ補正画像とプレビュー画像との明るさ差分は、第１露出度と第２露出度とを定義するパラメーターの差分によっても定量化できる。すなわち、第１露出度及び第２露出度を定義するパラメーターであるｆとＩとの差分によって明るさ差が計算され得る。例えば、第１露出度に該当するｆとＩとが１／３０及び２００であり、第２露出度に該当するｆ’とＩ’とが１／６０及び１００であれば、シャッタースピードとＩＳＯゲインとの差分はそれぞれ１／６０及び１００に計算される。それから、ｆ及びＩの差分によって明るさ補正の強度を適応的に定めて手ぶれ補正画像の明るさを補正することができる。明るさ補正は前述したように、ガンマ関数またはレティネックスアルゴリズムの適用によってなされることができる。このような場合、明るさ補正の強度は、ガンマ関数またはレティネックスアルゴリズムの強度になる。明るさ補正アルゴリズムの強度を適応的に選択するため、ｆ及びＩの差分値によって選択可能な強度レベルをルックアップテーブル（１３４）の形態で用意した後参照することが望ましい。

本発明において手ぶれ補正画像の明るさを補正するのに用いられるガンマ関数またはレティネックスアルゴリズムは、本発明が属した技術分野に広く知られている。したがって、これに対する詳しい説明は省略する。本発明は、明るさ補正時に適用される関数またはアルゴリズムの具体的な種類によって限定されないので、画像の明るさを調整できると知られた他の技法も何れでも適用できる。

前述した色相補正部１３１、ノイズ補正部１３２及び明るさ補正部１３３によって手ぶれ補正画像の色相、ノイズ及び明るさの補正が完了すれば、手ぶれ補正画像は圧縮符号化されてイメージファイルで出力される。このために、画像属性補正部１３０の後部に手ぶれ補正画像を圧縮符号化するエンコード部１８０がさらに含まれることができる。望ましくは、エンコード部１８０は、ＪＰＥＧ標準によって手ぶれ補正画像を圧縮符号化してイメージファイルを生成して出力する。しかし、本発明が圧縮符号化する具体的な方式によって限定されるのではない。イメージファイルは、デジタル画像撮影装置に備えられたフラッシュメモリのような不活性貯蔵媒体に収録できる。

前述した実施形態において、画像属性補正部１３０は、色相、ノイズ及び明るさの順で手ぶれ補正画像の属性を補正する。しかし、本発明は、手ぶれ補正画像の属性を補正する順序によって限定されるものではないので、任意の順序で補正順序を変更できることは、本発明が属する技術分野において通常の知識を持つ者に自明である。

図１３は、手ぶれ補正機能が支援されない一般のデジタル画像撮影装置を用いて自動露出モードで撮像した画像（Ａ）と、本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正方法が適用されたデジタル画像撮影装置を用いて撮像した画像（Ｂ）とを比較して示す。図面に示すように、本発明による手ぶれ補正方法を用いて得られた画像の方がぶれる現象がないだけでなく、より明るくて鮮かであるということを確認することができる。

本発明による手ぶれ補正方法は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現することができる。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが貯蔵されるすべての種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ貯蔵装置などがあり、また搬送波（例えば、インターネットを通じた伝送）の形態で具現されることも含む。また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散し、分散方式でコンピュータが読み取り可能なコードが貯蔵され実行され得る。

以上のように、本発明は、たとえ限定された実施形態と図面とによって説明されたが、本発明はこれによって限定されず、本発明が属する技術分野において通常の知識を持つ者により本発明の技術思想と特許請求範囲の均等範囲内で多様な修正及び変形が可能なのは言うまでもない。

なお、本明細書に添付される下記の図面は本発明の望ましい実施形態を例示するものであって、発明の詳細な説明とともに本発明の技術思想をさらに理解させる役割を果たすものであるため、本発明はそのような図面に記載された事項にのみ限定されて解釈されてはいけない。

本発明の望ましい実施形態によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正装置の構成を示すブロックダイアグラムである。 本発明の実施形態による手ぶれ補正部の構成を示すブロックダイアグラムである。 本発明の実施形態によるオブジェクトラベリング部の構成を示すブロックダイアグラムである。 本発明の他の実施形態によるオブジェクトラベリング部の構成を示すブロックダイアグラムである。 本発明の他の実施形態による手ぶれ補正部の構成を示すブロックダイアグラムである。 本発明のまた他の実施形態による手ぶれ補正部の構成を示すブロックダイアグラムである。 動き量算出部によって計算されるオブジェクトのパラメーターを概念的に示す。 本発明の実施形態によるオブジェクト追跡を用いた手ぶれ補正方法のプロセスを示すフローチャートである。 本発明の実施形態による手ぶれ補正画像の生成プロセスを示すフローチャートである。 本発明の実施形態による画像属性補正部の構成を示すブロックダイアグラムである。 本発明による画像属性補正部に含まれた色相補正部がプレビュー画像に基づいて手ぶれ補正画像の色相を補正するプロセスを示すフローチャートである。 本発明による画像属性補正部に含まれた明るさ補正部がプレビュー画像に基づいて手ぶれ補正画像の明るさを補正するプロセスを示すフローチャートである。 手ぶれ補正機能が支援されない一般のデジタル画像撮影装置を用いて自動露出モードで撮像した画像（Ａ）と、本発明によるオブジェクト追跡を用いたデジタル画像の手ぶれ補正方法が適用されたデジタル画像撮影装置を用いて撮像した画像（Ｂ）とを比較して示す。

符号の説明

１００ イメージセンサー、
１１０ 画像信号処理部、
１２０、５２０、６２０ 手ぶれ補正部、
１２１ オブジェクトラベリング部、
１２２ 動き量算出部、
１２３ 動き補正部、
１２４ 補正画像生成部、
１２５ 画像リサイザー、
１２６ 画像選別部、
１３０ 画像属性補正部、
１３１ 色相補正部、
１３２ ノイズ補正部、
１３３ 明るさ補正部、
１３４ ルックアップテーブル、
１４０ モード切換部、
１５０ センサーコントロール部、
１６０ センサーデータシート、
１７０ ディスプレイモジュール、
１８０ エンコード部、
４３１ オブジェクトラベリング部、
１２１１ 画像二値化器、
１２１２ オブジェクトラベラー、
１２１３ 画像反転器、
１２１４ 画像選択器、
１２１５ 画像濾波器、
１２１６ 画像合成器。

Claims (18)

1. 第１露出度の条件で得られた第１デジタル画像と、第２露出度の条件で得られ、基準画像と少なくとも１の比較画像とを含む、複数の第２デジタル画像とを出力する画像信号処理部と、
   前記基準画像の二値画像と前記基準画像の二値画像を黒白反転させた反転画像とを比較し、より多くのオブジェクトを有する方の画像であるオブジェクト追跡画像におけるオブジェクトを追跡することにより、前記基準画像に基づいて、前記比較画像における動きを補正するとともに、前記基準画像と該動き補正された比較画像とを重畳させることにより、手ぶれ補正画像を生成する手ぶれ補正部と、
   前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する画像属性補正部と、を含み、
   前記基準画像は、前記複数の第２デジタル画像中、時間的に、最初、最後、または、中間、で撮像された画像であり、
   前記オブジェクトは、二値化された画像において相互連結された白色ピクセルの集合であり、
   前記属性は、色相または明るさである、
   ことを特徴とするデジタル画像の手ぶれ補正装置。
2. 前記第１デジタル画像は自動露出モードの露出度で撮像されたプレビュー画像データであり、
   前記第２デジタル画像は前記自動露出モードの露出度と異なる露出度で一定の間隔を置いて連続撮像された停止キャプチャー画像データであることを特徴とする請求項１に記載のデジタル画像の手ぶれ補正装置。
3. 前記画像信号処理部と連結されたイメージセンサーの露出度の条件を変更するセンサーコントロール部と、
   前記第１露出度の条件に応じて選択可能な第２露出度の条件を定義しているセンサーデータシートと、
   前記センサーデータシートを参照して第１露出度の条件に対応する第２露出度の条件を定めた後前記センサーコントロール部を制御してイメージセンサーの露出度を第２露出度の条件に変更する露出モード切換部をさらに含むことを特徴とする請求項１または請求項２に記載のデジタル画像の手ぶれ補正装置。
4. 前記手ぶれ補正部は、
   前記複数のデジタル第２デジタル画像の二値画像と反転画像からオブジェクトを抽出しオブジェクトをラベリングするオブジェクトラベリング部と、
   前記基準画像のオブジェクトと前記比較画像のオブジェクトを相互対比して前記比較画像のオブジェクトパラメータを算出し、該オブジェクトパラメータを用いて動き量を算出する動き量算出部と、
   算出された動き量を比較画像に適用して前記比較画像の動きを補正する動き補正部と、
   動きが補正された前記比較画像と基準画像とを重畳させることにより、前記手ぶれ補正画像を生成する補正画像生成部とを含むことを特徴とする請求項１乃至３のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
5. 前記オブジェクトラベリング部は、
   前記複数の第２デジタル画像を前記二値画像に変換する画像二値化器と、
   前記二値画像を前記反転画像に変換する画像反転器と、
   前記二値画像と前記反転画像に含まれる前記オブジェクトをラベリングするオブジェクトラベラーと、
   前記基準画像の二値画像に含まれたオブジェクトの数を、前記基準画像の反転画像に含まれたオブジェクトの数と比較して前記基準画像の二値画像と前記基準画像の反転画像との間でより多くのオブジェクトを含む画像をオブジェクト追跡画像として選択する画像選択器と、
   を含むことを特徴とする請求項４に記載のデジタル画像の手ぶれ補正装置。
6. 前記オブジェクトラベリング部は、
   前記複数の第２デジタル画像のサイズを一定のサイズにスケーリングするか、前記複数の第２デジタル画像から一定の幅の画像バウンダリーをクリッピングするかによって、前記複数の第２デジタル画像をリサイズする画像リサイザーをさらに含むことを特徴とする請求項４または５に記載のデジタル画像の手ぶれ補正装置。
7. 前記オブジェクトラベリング部は、
   前記比較画像の動きベクトルのサイズが臨界値を超えれば、比較画像をオブジェクトラベリングの対象から除外させる画像選別部をさらに含むことを特徴とする請求項４乃至６のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
8. 前記オブジェクトラベリング部は、
   前記基準画像と前記比較画像との明るさの平均値が臨界値を超えなければ、前記比較画像をオブジェクトラベリングの対象から除外させる画像選別部をさらに含むことを特徴とする請求項４乃至７のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
9. 前記画像属性補正部は、
   前記手ぶれ補正画像のピクセルデータを前記第１デジタル画像のピクセルデータに置き換えるとともに、前記第１デジタル画像と前記手ぶれ補正画像とのサイズ比率を考慮して、前記置き換えられた手ぶれ補正画像のピクセルデータを用いて補間することにより、前記手ぶれ補正画像の色相を補正する色相補正部を含むことを特徴とする請求項１乃至８のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
10. 前記画像属性補正部は、
    前記第１デジタル画像と前記手ぶれ補正画像との明るさ差を計算し、前記明るさ差に基づいて明るさ補正の強度を選択し、選択された明るさ補正の強度によって前記手ぶれ補正画像の明るさを補正する明るさ補正部を含むことを特徴とする請求項１乃至９のいずれか一項に記載のデジタル画像の手ぶれ補正装置。
11. 第１露出度の条件で得られた第１デジタル画像と、第２露出度の条件で得られ、基準画像と少なくとも１の比較画像とを含む、複数の第２デジタル画像とを受信する段階と、
    前記基準画像の二値画像と前記基準画像の二値画像を黒白反転させた反転二値画像とを比較し、より多くのオブジェクトを有する方の画像をオブジェクト追跡画像として選択する段階と、
    オブジェクト追跡画像でオブジェクトを追跡することにより、前記基準画像に基づいて、前記比較画像における動き量を補正する段階と、
    前記基準画像と前記動き量が補正された比較画像とを重畳させることにより、手ぶれ補正画像を生成する段階と、
    前記第１デジタル画像の属性を基準にして前記手ぶれ補正画像の属性を補正する段階と、を含み、
    前記基準画像は、前記複数の第２デジタル画像中、時間的に、最初、最後、または、中間、で撮像された画像であり、
    前記オブジェクトは、二値化された画像において相互連結された白色ピクセルの集合であり、
    前記属性は、色相または明るさである、
    ことを特徴とするデジタル画像の手ぶれ補正方法。
12. 前記第１及び第２デジタル画像を受信する前に、
    第１露出度の条件に応じて選択可能な第２露出度の条件を定義しているセンサーデータシートをロードする段階と、
    第１デジタル画像が撮像された第１露出度の条件を感知する段階と、
    前記センサーデータシートを参照して前記第１露出度の条件から第２露出度の条件を定めてイメージセンサーの露出属性を第１露出度の条件から第２露出度の条件に変更する段階とをさらに含むことを特徴とする請求項１１に記載のデジタル画像の手ぶれ補正方法。
13. 前記第１デジタル画像は自動露出モードの露出度で撮像されたプレビュー画像データであり、
    前記複数の第２デジタル画像は自動露出モードの露出度と異なる露出度で一定の間隔を置いて連続撮像された停止キャプチャー画像データであることを特徴とする請求項１１または１２に記載のデジタル画像の手ぶれ補正方法。
14. 前記オブジェクト追跡画像を選択する段階は、
    前記複数の第２デジタル画像を前記基準画像と前記比較画像とに分類する段階と、
    前記基準画像と前記比較画像とを二値画像及び反転画像に変換する段階と、
    前記二値画像と前記反転画像に含まれるオブジェクトをラベリングする段階と、
    前記基準画像の二値画像と前記基準画像の反転画像中のオブジェクトの数を比較してより多いオブジェクトを含む画像を前記オブジェクト追跡画像として選択する段階と、を含むことを特徴とする請求項１１乃至１３のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
15. 前記基準画像と前記比較画像とを変換する前に、
    前記複数の第２デジタル画像を一定のサイズにスケーリングするか、前記複数の第２デジタル画像から一定の幅の画像バウンダリーをクリッピングするかによって、前記複数の第２デジタル画像のサイズをリサイズする段階をさらに含むことを特徴とする請求項１４に記載のデジタル画像の手ぶれ補正方法。
16. 前記基準画像と前記比較画像とを変換する前に、
    前記比較画像の動きベクトルのサイズが第１臨界値を超えれば、前記比較画像を動き補正対象から除外させる段階を更に含むことを特徴とする請求項１４または１５のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
17. 前記基準画像と前記比較画像とを変換する前に、
    前記基準画像と前記比較画像との間の明るさの平均が第２臨界値を超えなければ、前記比較画像を動き補正対象から除外させる段階を行うことを特徴とする請求項１１乃至１６のいずれか一項に記載のデジタル画像の手ぶれ補正方法。
18. 前記属性を補正する段階は、
    前記手ぶれ補正画像のピクセルデータを前記第１デジタル画像のピクセルデータに置き換えるとともに、前記第１デジタル画像と前記手ぶれ補正画像とのサイズ比率を考慮して前記置き換えられた手ぶれ補正画像のピクセルデータを補間する段階、前記第１デジタル画像と前記手ぶれ補正画像との明るさ差を計算し、前記明るさ差に基づいて明るさ補正の強度を選択し、前記選択された明るさ補正の強度によって前記手ぶれ補正画像の明るさを補正する段階、の少なくとも一方を含むことを特徴とする請求項１１乃至１７のいずれか一項に記載のデジタル画像の手ぶれ補正方法。