JP5665013B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、デジタルカメラや撮像機能を有する携帯電話などの画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラや、撮像機能を有する携帯電話などにおいて、撮像画角の限界は、レンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。そして、このような撮像画角の限界の問題に対しては、撮像装置の中には、広角撮像用のコンバージョンレンズなどを、既存のレンズ前に装着したり（例えば、特許文献１、２、３参照）、複数のレンズを予め備え、撮像目的に応じてレンズを切り替えることで対処していた（例えば、特許文献４参照）。

特開２００４−１９１８９７号公報 特開２００５−０２７１４２号公報 特開２００５−０５７５４８号公報 特開２００７−０８１４７３号公報

しかしながら、上記従来技術では、広角撮像を行うために、いちいち広角撮像用のコンバージョンレンズを装着したり、撮像目的に応じてレンズを切り替えたりしなくてはならず、操作性や、コストの面で問題があった。また、これら広角撮像用のコンバージョンレンズや、切り替え可能なレンズを用いたとしても、撮影者が希望する広角画像を得ることは難しいという問題があった。

そこで本発明は、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

この発明は、撮像手段と、表示手段と、前記撮像手段が複数の移動方向で移動されている間、当該撮像手段に連続して撮像させるよう制御する撮像制御手段と、前記複数の移動方向における各移動方向で前記撮像制御手段の制御により前記撮像手段に連続して撮像された複数の画像を合成することにより、広角画像を生成する広角画像生成手段と、前記複数の移動方向のうち、一の移動方向で連続して撮像される複数の画像の合成範囲を示す情報を前記表示手段の所定の位置に表示させる第１の表示制御手段と、前記撮像手段による前記一の移動方向への連続した撮像の終了を示す所定のトリガを検出する検出手段と、前記検出手段により前記所定のトリガが検出されたことに伴い、前記複数の移動方向のうち、前記一の移動方向とは異なる移動方向で連続して撮像される複数の画像の合成範囲を示す情報を前記表示手段の前記所定の位置とは異なる新たな位置に表示させる第２の表示制御手段と、を備えることを特徴とする画像処理装置である。

この発明によれば、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができるという利点が得られる。

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。 通常の撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。 本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードでのデジタルカメラ１の動き（ユーザによる動かし方）を示す概念図である。 本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。 本第１実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。 本第１実施形態によるデジタルでの合成処理の動作を説明するためのフローチャートである。 本第１実施形態によるデジタルでの合成処理の動作を説明するための概念図である。 本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。 本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。 本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。 本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。 パノラマ撮影時のデジタルカメラ１の動かし方の他の例を示す概念図である。 撮影範囲を示す撮影枠や、移動方向の他の表示例を示す概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing
Generator）６、ユニット回路７、画像処理部８、ＣＰＵ１１、ＤＲＡＭ１２、メモリ１３、フラッシュメモリ１４、画像表示部１５、キー入力部１６、カードＩ／Ｆ１７、及びメモリ・カード１８を備えている。

撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１１からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１から送られてくる制御信号に従って絞り４を動作させる。該絞り４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。なお、ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。

ＣＰＵ１１は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ユーザがデジタルカメラ１を動かしている間に、ＣＰＵ１１は、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように（例えば、αブレンドを用いて）合成していき、広角で撮像したような１枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。

ＤＲＡＭ１２は、ＣＣＤ５によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１のワーキングメモリとして使用される。メモリ１３は、ＣＰＵ１１によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１１は、このプログラムに従って処理を行う。フラッシュメモリ１４や、メモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４や、メモリ・カード２３から読み出され、伸張された記録画像を表示させる。キー入力部１６は、シャッタＳＷ、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。カードＩ／Ｆ１７には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード１８が着脱自在に装着されている。

図２は、通常の撮像モードを説明するための概念図である。デジタルカメラ１で、通常の撮像モードで撮影する場合には、図２に示すように、当該デジタルカメラ１の撮像系の画角Ｓでしか撮影できない。

図３は、本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードを説明するための概念図である。また、図４は、本第１実施形態によるデジタルカメラ１でのパノラマ撮像モードでのデジタルカメラ１の動き（ユーザによる動かし方）を示す概念図である。

ユーザは、所望する景色に対して、画角の長手方向を縦方向になるように、デジタルカメラ１を縦方向に構え、左上端でシャッタＳＷを押下（半押し→全押し）し、図３に示す矢印のように、まず、シャッタＳＷを押下した左端から右方向に動かし（状態＃１：図４参照）、所定の位置で下方向に動かし（状態＃２：図４参照）、さらに、左方向に動かす（状態＃３：図４参照）。デジタルカメラ１では、所定のタイミングで画像を順次撮像していく。

デジタルカメラ１では、左端から右方向に動かしている状態＃１で撮像した複数の画像から第１のパノラマ画像を合成し、右端から左方向に動かしている状態＃３で撮影した複数の画像から第２のパノラマ画像を合成し、第１のパノラマ画像と第２のパノラマ画像とを合成し、最終的に、所望する広角画像（図３の下側）を生成する。なお、上から下方向に動かしている状態＃２では、パノラマ画像の生成に必要としないので、画像を撮像することはない。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図５は、本第１実施形態によるデジタルカメラ１の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、シャッタＳＷが半押しされると（ステップＳ１０）、ＡＦ（オートフォーカス）処理を実行し（ステップＳ１２）、シャッタＳＷが全押しされると（ステップＳ１４）、所定の周期（時間間隔）で複数枚の画像を連写する（ステップＳ１６）。なお、連写処理の詳細については後述する。

このとき、ユーザは、図３に示すように、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ１を縦方向に構え、左上でシャッタＳＷを押下（半押し→全押し）し、図３に示す矢印のように、デジタルカメラ１を、まず、シャッタＳＷを押下した左端から右方向に動かし（状態＃１：図４参照）、所定の位置で下方向に動かし（状態＃２：図４参照）、さらに、左方向に動かす（状態＃３：図４参照）。そして、連写が終了したか否か、すなわち、パノラマ撮影が終了したか否かを判断し（ステップＳ１８）、連写が終了していなければ、ステップＳ１６に戻り、連写処理を継続する。

一方、連写が終了した場合、すなわち、パノラマ撮影が終了した場合には（ステップＳ１８のＹＥＳ）、左端から右方向に動かしている状態＃１で撮像した複数の画像から第１のパノラマ画像を合成し、右端から左方向に動かしている状態＃３で撮影した複数の画像から第２のパノラマ画像を合成し、第１のパノラマ画像と第２のパノラマ画像とを合成し、最終的に、所望する広角画像を生成する（ステップＳ２０）。なお、合成処理の詳細については後述する。

図６は、本第１実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、１つ前の撮像画像と現在の撮影画像との位置合わせを行い（ステップＳ３０）、現在の状態が状態＃１、＃２、＃３のいずれであるかを判断する（ステップＳ３２）。

そして、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１である場合には（ステップＳ３２の状態＃１）、撮像した画像をパノラマ作成用の画像として保存する（ステップＳ３４）。次に、デジタルカメラ１が所定の位置（この場合、状態＃１での終位置である右端）に到達したか否かを判断する（ステップＳ３６）。そして、所定の位置に達していない場合には（ステップＳ３６のＮＯ）、現在の状態＃１を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置（この場合、状態＃１での終位置である右端）に達するまで、ステップＳ３４で、撮像した画像をパノラマ作成用の画像として保存していく。そして、デジタルカメラ１が所定の位置に到達すると（ステップＳ３６のＹＥＳ）、状態＃１から状態＃２へ移行するので、現在の状態を状態＃２に変更する（ステップＳ３８）。

次に、ユーザが、デジタルカメラ１を、上から下方向に動かしている状態＃２に移行すると（ステップＳ３２の状態＃２）、取り込んだ画像をパノラマ作成用の画像として保存することなく（ステップＳ４０）、デジタルカメラ１が所定の位置（この場合、状態＃２での終位置である下部右端）に到達したか否かを判断する（ステップＳ４２）。そして、所定の位置に達していない場合には（ステップＳ４２のＮＯ）、現在の状態＃２を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置（この場合、状態＃２での終位置である下部右端）に達するまで、パノラマ作成用の画像として保存せずにそのまま動作を継続し、デジタルカメラ１が所定の位置に到達すると（ステップＳ４２のＹＥＳ）、状態＃２から状態＃３へ移行するので、現在の状態を状態＃３に変更する（ステップＳ４４）。

次に、ユーザが、デジタルカメラ１を、右下から左方向に動かしている状態＃３に移行すると（ステップＳ３２の状態＃３）、撮像した画像をパノラマ作成用の画像として保存する（ステップＳ４６）。そして、デジタルカメラ１が所定の位置（この場合、状態＃３での終位置である左端）に到達したか否かを判断する（ステップＳ４８）。そして、所定の位置に達していない場合には（ステップＳ４８のＮＯ）、現在の状態＃３を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置（この場合、状態＃３での終位置である左端）に達するまで、ステップＳ４６で、撮像した画像をパノラマ作成用の画像として保存していく。そして、デジタルカメラ１が所定の位置に到達すると（ステップＳ４８のＹＥＳ）、連写終了とする（ステップＳ５０）。

上述した動作の結果、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１で撮像された複数の画像と、デジタルカメラ１を、右下から左方向に動かしている状態＃３で撮像された複数の画像とが得られる。次に、これら撮像された複数の画像を用いて最終的な広角画像を得る方法について説明する。

図７は、本第１実施形態によるデジタルでの合成処理の動作を説明するためのフローチャートである。また、図８は、本第１実施形態によるデジタルでの合成処理の動作を説明するための概念図である。まず、ＣＰＵ１１は、パノラマ作成用の画像を取得し（ステップＳ６０）、その画像の撮影時の状態を判別する（ステップＳ６２）。その画像の撮影時の状態が状態＃１である場合には、パノラマ＃１として合成処理を行う（ステップＳ６４）。

その後、パノラマ合成が終了したか否かを判断し（ステップＳ６８）、終了していなければ、ステップＳ６０に戻る。以下、図８（ａ）に示すように、状態＃１で撮影された複数の画像ＦＲ１〜ＦＲ６を一部が重複するように（例えば、αブレンドを用いて）合成し、パノラマ＃１を作成する。

一方、取得したパノラマ作成用の画像が状態＃２で撮像された画像である場合には、パノラマ＃２として合成処理を行う（ステップＳ６６）。その後、パノラマ合成が終了したか否かを判断し（ステップＳ６８）、終了していなければ、ステップＳ６０に戻る。以下、図８（ｂ）に示すように、状態＃２で撮影された複数の画像ＦＬ１〜ＦＬ６を一部が重複するように（例えば、αブレンドを用いて）合成し、パノラマ＃２を作成する。

次に、パノラマ合成が終了した場合には（ステップＳ６８のＹＥＳ）、図８（ｃ）に示すように、上記パノラマ＃１の下側の所定領域とパノラマ＃２の上側の所定領域とを、一部が重複するように（例えば、αブレンドを用いて）合成し、１つの広角画像を作成する（ステップＳ７０）。

なお、上述した第１実施形態においては、キー入力部から予め広角画像の撮像範囲を指定しておくと、指定された撮像範囲に基づく、サイズのパノラマ画像を生成するようにしてもよい。また、画像処理部８において、パノラマ画像同士を合成する際に、合成すべきパノラマ画像同士の撮像範囲を比較し、該比較の結果、撮像範囲が小さい方のパノラマ画像に他のパノラマ画像の撮像範囲を合わせて合成することで、最終的な広角画像を生成するようにしてもよい。

上述した第１実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、パノラマ撮影時にユーザがデジタルカメラ１を動かす際の、状態＃１から状態＃２、状態＃２から状態＃３へと移動方向の変化を、カメラ要因として、移動量、方位センサや加速度センサなどの情報、ユーザ要因として、移動方向指示操作、シャッタキー等のキー操作、ユーザのジェスチャー、音声などをトリガとして用いることを特徴としている。

なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。また、パノラマ撮影モードのメインルーチンは、図５と同様であり、合成処理は、図７と同様であるので説明を省略する。

図９は、本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。また、図１０は、本第２実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。

本第２実施形態では、トリガ検出に伴い、現在、デジタルカメラ１が状態＃１、＃２、＃３のいずれの状態にあるかを判別するために、トリガが検出される度に反転されるフラグと、トリガが検出される度に、１ずつインクリメントされる状態＃Ｎ（係数）とを用意している。フラグは、初期値を「０」とし、トリガが検出される度に反転されるようになっている。また、状態＃Ｎは、初期値を「１」とし、現在のデジタルカメラ１が状態＃１、＃２、＃３のいずれの状態にあるかを示す係数である。状態＃Ｎは、１回目のトリガが検出されるまでは、「１」となって状態＃１を示し、トリガが検出される度に、「２」となって状態＃２を示し、「３」となって状態＃３を示すようになっている。

まず、ＣＰＵ１１は、１つ前の撮像画像と現在の撮影画像との位置合わせを行い（ステップＳ８０）、トリガが検出されたか否かを判断する（ステップＳ８２）。トリガが検出されない場合には、図１０に示すように、状態＃１から状態＃２へ移行していない、すなわち、左端から右方向に動かしている状態＃１にあると判断し、フラグが「１」であるか否を判断する（ステップＳ８８）。この場合、トリガがまだ検出されていないため、フラグは「０」であり、状態＃Ｎは、「１」である。

そして、フラグが「０」であるので（ステップＳ８８のＮＯ）、撮像した画像を、状態＃Ｎ（＝１）のパノラマ作成用の画像として保存する（ステップＳ９０）。その後、当該処理を終了し、図５に示すメインルーチンに戻る。以下、トリガが検出されるまで、ステップＳ９０で、撮像した画像を、状態＃Ｎ（＝１）のパノラマ作成用の画像として保存していく。

次に、図１０に示すように、状態＃１から状態＃２へ移行する際、例えば、カメラ要因として、移動量や、方位センサの情報や、ユーザ要因として、移動方向、シャッタキー等のキー操作、ユーザのジェスチャー、音声などにより、デジタルカメラ１が状態＃１の終端に到達したことが検出された場合、これらがトリガとして検出される（ステップＳ８２のＹＥＳ）。トリガが検出されると、フラグを反転し（ステップＳ８４）、状態＃ＮをＮ＋１とする（ステップＳ８６）。この場合、フラグは「１」となり、状態＃Ｎは、「２」となる。

次に、フラグが「１」であるか否かを判断する（ステップＳ８６）。この場合、フラグが「１」であるので、取り込んだ画像をパノラマ作成用の画像として保存することなく（ステップＳ９２）、当該処理を終了し、図５に示すメインルーチンに戻る。以下、次のトリガが検出されるまで（デジタルカメラ１の移動方向が状態＃３になるまで）、取り込んだ画像をパノラマ作成用の画像として保存することなく、当該処理を終了し、図５に示すメインルーチンに戻る動作を繰り返す。したがって、状態＃２では、撮影画像は保存されることはない。

次に、図１０に示すように、状態＃２から状態＃３へ移行する際、例えば、カメラ要因として、移動量や、方位センサの情報や、ユーザ要因として、移動方向、シャッタキー等のキー操作、ユーザのジェスチャー、音声などにより、デジタルカメラ１が状態＃２の終端に到達し、状態＃３へ移行することが検出された場合、これらがトリガとして検出される（ステップＳ８２のＹＥＳ）。トリガが検出されると、フラグを反転し（ステップＳ８４）、状態＃ＮをＮ＋１とする（ステップＳ８６）。この場合、フラグは「０」となり、状態＃Ｎは、「３」となる。

次に、フラグが「１」であるか否かを判断する（ステップＳ８６）。この場合、フラグが「０」であるので、撮像した画像を、状態＃Ｎ（＝３）のパノラマ作成用の画像として保存する（ステップＳ９０）。その後、当該処理を終了し、図５に示すメインルーチンに戻る。以下、次のトリガが検出されるまで、ステップＳ９０で、撮像した画像を、状態＃Ｎ（＝３）のパノラマ作成用の画像として保存していく。

上述した動作の結果、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１で撮像された複数の画像と、デジタルカメラ１を、右下から左方向に動かしている状態＃３で撮像された複数の画像とが得られる。

次に、これら撮像された複数の画像を用いて、上述した第１実施形態と同様の方法（図７参照）で、状態＃１の複数の画像を合成してパノラマ＃１、状態＃３の複数の画像を合成してパノラマ＃２を作成し、さらに、パノラマ＃１の下側の所定領域とパノラマ＃２の上側の所定領域とを一部が重複するように（例えば、αブレンドを用いて）合成し、１つの広角画像を作成する。

上述した第２実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に広角画像の生成に必要な画像を得ることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
上述した第１、第２実施形態では、ユーザは、広画角の合成画像を得るために必要とされる全ての画像を撮像するために、図３の矢印で示すように、所望する景色に対して、画角の長手方向を縦方向になるようにデジタルカメラ１を縦方向に構え、左上でシャッタＳＷを押下し（半押し→全押し）、まず、シャッタＳＷを押下した左端から右方向に動かし（状態＃１）、所定の位置で下方向に動かし（状態＃２）、さらに、左方向に動かす（状態＃３）ことになる。しかしながら、ユーザにとっては、どのようにデジタルカメラ１を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。

そこで、本第３実施形態では、パノラマ撮像モードにおいて、ユーザによりシャッタＳＷを押下されると、デジタルカメラ１で撮像すべき領域を示す撮影枠や、どちらの方向に移動させたらよいかを示す移動方向を画像表示部１５に表示することで、ユーザを誘導するようになっている。また、パノラマ撮像モード中は、現在、デジタルカメラ１のＣＣＤ５に結像した画像を、プレビュー画像（低解像度）として画像表示部１５にスルー表示するとともに、プレビュー画像を用いて合成した合成画像を画像表示部１５に半透明（透過率５０％）で表示するようになっている。

このように、パノラマ撮像モード中、次に撮像すべき撮像領域を示す撮影枠や、どちらの方向に移動させたらよいかを示す移動方向、さらには、撮影済みの画像を合成した縮小画像を画像表示部１５に表示するようにしたので、ユーザは、どの方向にデジタルカメラ１を移動させたらよいかを容易に認識することができる。

なお、デジタルカメラ１の構成は、図１と同様であるので説明を省略する。また、パノラマ撮影モードのメインルーチンは、図５と同様であり、合成処理は、図７と同様であるので説明を省略する。

図１１は、本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するためのフローチャートである。また、図１２は、本第３実施形態によるデジタルカメラ１での連写処理の動作を説明するための概念図である。

まず、ＣＰＵ１１は、１つ前の撮像画像と現在の撮影画像との位置合わせを行い（ステップＳ１００）、現在の状態が状態＃１、＃２、＃３のいずれであるかを判断する（ステップＳ１０２）。そして、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１である場合には（ステップＳ１０２の状態＃１）、図１２に示すように、撮影枠ＦＲ１、移動方向Ｍ１を表示する（ステップＳ１０４）。そして、撮像した画像を状態＃１でのパノラマ作成用の画像として保存し（ステップＳ１０６）、保存した撮像画像の縮小画像から簡易合成画像ＩＭＧを作成して半透明（透過率５０％）で表示する（ステップＳ１０８）。

次に、デジタルカメラ１が所定の位置Ｐ１（この場合、状態＃１での終位置：図１２参照）に到達したか否かを判断する（ステップＳ１１０）。そして、所定の位置Ｐ１に達していない場合には（ステップＳ１１０のＮＯ）、現在の状態＃１を変更することなく、当該処理を終了し、メインルーチンに戻る。

以下、デジタルカメラ１が所定の位置Ｐ１に達するまで、ステップＳ１０６で、撮像した画像を状態＃１でのパノラマ作成用の画像として保存しながら、ステップＳ１０８で、その時点の合成画像を半透明（透過率５０％）で表示していく。そして、デジタルカメラ１が所定の位置Ｐ１に到達すると（ステップＳ１１０のＹＥＳ）、状態＃１から状態＃２へ移行するので、現在の状態を状態＃２に変更する（ステップＳ１１２）。

次に、ユーザが、デジタルカメラ１を、状態＃１の終端位置から下方向に動かす状態＃２に移行すると（ステップＳ１０２の状態＃２）、図１２に示すように、撮影枠ＦＲ２、移動方向Ｍ２を表示する（ステップＳ１１４）。そして、取り込んだ画像をパノラマ作成用の画像として保存することなく（ステップＳ１１６）、デジタルカメラ１が所定の位置Ｐ２（この場合、状態＃２での終位置：図１２参照）に到達したか否かを判断する（ステップＳ１１８）。そして、所定の位置Ｐ２に達していない場合には（ステップＳ１１８のＮＯ）、現在の状態＃２を変更することなく、当該処理を終了し、図５に示すメインルーチンに戻る。

以下、デジタルカメラ１が所定の位置Ｐ２に達するまで、パノラマ作成用の画像として保存せずにそのまま動作を継続し、デジタルカメラ１が所定の位置Ｐ２に到達すると（ステップＳ１１８のＹＥＳ）、状態＃２から状態＃３へ移行するので、現在の状態を状態＃３に変更する（ステップＳ１２０）。

次に、ユーザが、デジタルカメラ１を、状態＃２から左方向に動かす状態＃３に移行すると（ステップＳ１０２の状態＃３）、図１２に示すように、撮影枠ＦＲ３、移動方向Ｍ３を表示する（ステップＳ１２２）。そして、撮像した画像を状態＃３でのパノラマ作成用の画像として保存し（ステップＳ１２４）、保存した撮像画像の縮小画像から簡易合成画像を作成して半透明（透過率５０％）で表示する（ステップＳ１２６）。

以下、デジタルカメラ１が所定の位置Ｐ３（終点）に達するまで、ステップＳ１２４で、撮像した画像を状態＃３でのパノラマ作成用の画像として保存しながら、ステップＳ１２６で、その時点の合成画像を半透明（透過率５０％）で表示していく。そして、デジタルカメラ１が所定の位置Ｐ３に到達すると（ステップＳ１２８のＹＥＳ）、連写終了とする（ステップＳ１３０）。

上述した動作の結果、ユーザが、デジタルカメラ１を、左端から右方向に動かしている状態＃１で撮像された複数の画像と、デジタルカメラ１を、右下から左方向に動かしている状態＃３で撮像された複数の画像とが得られる。

次に、これら撮像された複数の画像を用いて、上述した第１、第２実施形態と同様の方法（図７参照）で、状態＃１の複数の画像を合成してパノラマ＃１、状態＃３の複数の画像を合成してパノラマ＃２を作成し、さらに、パノラマ＃１の下側の所定領域とパノラマ＃２の上側の所定領域とを一部が重複するように（例えば、αブレンドを用いて）合成し、１つの広角画像を作成する。

なお、上述した第３実施形態において、画像表示部１５に表示される撮影枠ＦＲ１〜ＦＲ３には、図１２に示すように、マージン（余裕）ＭＧを設けること、すなわち実際に撮像される画像範囲より多少大きめの撮影枠とすることが好ましい。マージンＭＧを設けることで、デジタルカメラ１を動かす範囲に余裕が生じ、ユーザのストレスを軽減することができる。

また、上述した第３実施形態においては、状態＃１から状態＃２、状態＃２から状態＃３への移動方向の変化を、所定の位置に到達したか否かで判断するようにしたが、これに限らず、上述した第２実施形態と同様に、カメラ要因として、移動量、方位センサや加速度センサなどの情報、ユーザ要因として、移動方向指示操作、シャッタキー等のキー操作、ユーザのジェスチャー、音声などをトリガとして用いるようにしてもよい。

上述した第３実施形態によれば、リアルタイムで、合成画像を画像表示部１５に表示するとともに、デジタルカメラ１を移動させるべき、撮影枠や移動方向を表示するようにしたので、ユーザは、撮影枠や移動方向を見ながらデジタルカメラ１を動かせばよいので、一度の撮像では得られない広画角の画像を生成するために必要とされる複数の画像を容易に、かつ効率的に撮像することができ、広画角の画像を容易に生成することができる。

なお、上述した第１から第３実施形態では、パノラマ撮影時に、デジタルカメラ１を左から右、上から下、そして、右から左へと移動させたが、これに限らず、例えば、図１３（ａ）に示すように、一方向に動かしている間に複数の画像を撮像し、それらを合成して１つの広角画像を生成するようにしてもよい。あるいは、図１３（ｂ）に示すように、デジタルカメラ１を左から右、上から下、右から左、上から下、そして左から右というように、横方向の移動を３回以上繰り返すようにしてもよい。

また、上述した第３実施形態では、撮影範囲を示す撮影枠や、移動方向を表示させるようにしたが、これに限らず、図１４に示すように、最終の広角画像の全体枠２０に対して撮像画像として取得した部分３０を塗り潰すようにしてもよい。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、表示手段と、前記撮像手段により順次撮像する撮像制御手段と、所定のトリガを検出する検出手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、前記パノラマ画像を生成するために前記撮像手段によって順次撮像すべき範囲を示す情報を、前記検出手段によって所定のトリガが検出される度に変更しながら、前記表示手段に表示する表示制御手段と、前記パノラマ生成手段によって生成された複数のパノラマ画像同士を合成して広角画像を生成する広角画像生成手段とを備えることを特徴とする画像処理装置である。

（付記２）
付記２に記載の発明は、前記表示制御手段は、前記検出手段によって所定のトリガを検出すると、次のパノラマ画像を生成するために前記撮像手段によって順次撮像すべき範囲を示す情報を、前記表示手段に表示することを特徴とする付記１に画像処理装置である。

（付記３）
付記３に記載の発明は、前記表示制御手段は、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像すべき範囲を示す枠を表示することを特徴とする付記１または２に記載の画像処理装置である。

（付記４）
付記４に記載の発明は、前記撮像手段によって順次撮像された画像を順次合成した画像を生成する予備合成画像生成手段を更に備え、前記表示制御手段は、前記順次撮像すべき範囲を示す情報とともに、前記予備合成画像生成手段によって合成された画像を、前記表示手段に表示することを特徴とする付記１から３のいずれかに記載の画像処理装置である。

（付記５）
付記５に記載の発明は、前記検出手段は、移動量、または方位センサの情報、または移動方向の変化、またはユーザによる所定の指示操作、またはユーザの音声による指示、またはユーザの動作による指示を、前記所定のトリガとして検出することを特徴とする付記１から４のいずれかに記載の画像処理装置である。

（付記６）
付記６に記載の発明は、撮像部により順次撮像する撮像制御ステップと、所定のトリガを検出する検出ステップと、前記撮像制御ステップで撮像制御に従って前記撮像部によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、前記パノラマ画像を生成するために前記撮像部によって順次撮像すべき範囲を示す情報を、前記検出ステップで所定のトリガが検出される度に変更しながら、表示部に表示する表示制御ステップと、前記パノラマ生成ステップで生成された複数のパノラマ画像同士を合成して広角画像を生成する広角画像生成ステップとを含むことを特徴とする画像処理方法である。

（付記７）
付記７に記載の発明は、画像処理を行う画像処理装置のコンピュータに、撮像部により順次撮像する撮像制御機能、所定のトリガを検出する検出機能、前記撮像制御機能で撮像制御に従って前記撮像部によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成機能、前記パノラマ画像を生成するために前記撮像部によって順次撮像すべき範囲を示す情報を、前記検出機能で所定のトリガが検出される度に変更しながら、表示部に表示する表示制御機能、前記パノラマ生成機能で生成された複数のパノラマ画像同士を合成して広角画像を生成する広角画像生成機能、を実行させることを特徴とするプログラムである。

１ デジタルカメラ
２ 撮像レンズ
３ レンズ駆動部
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ 画像処理部
１１ ＣＰＵ
１２ ＤＲＡＭ
１３ メモリ
１４ フラッシュメモリ
１５ 画像表示部
１６ キー入力部
１７ カードＩ／Ｆ
１８ メモリ・カード

Claims (7)

1. 撮像手段と、
   表示手段と、
   前記撮像手段が複数の移動方向で移動されている間、当該撮像手段に連続して撮像させるよう制御する撮像制御手段と、
   前記複数の移動方向における各移動方向で前記撮像制御手段の制御により前記撮像手段に連続して撮像された複数の画像を合成することにより、広角画像を生成する広角画像生成手段と、
   前記複数の移動方向のうち、一の移動方向で連続して撮像される複数の画像の合成範囲を示す情報を前記表示手段の所定の位置に表示させる第１の表示制御手段と、
   前記撮像手段による前記一の移動方向への連続した撮像の終了を示す所定のトリガを検出する検出手段と、
   前記検出手段により前記所定のトリガが検出されたことに伴い、前記複数の移動方向のうち、前記一の移動方向とは異なる移動方向で連続して撮像される複数の画像の合成範囲を示す情報を前記表示手段の前記所定の位置とは異なる新たな位置に表示させる第２の表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮像手段によって連続して撮像された複数の画像を合成することにより、パノラマ画像を生成するパノラマ画像生成手段を更に備え、
   前記広角画像生成手段は、前記パノラマ画像生成手段によって生成されたパノラマ画像同士を合成することにより、前記広角画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の表示制御手段及び前記第２の表示制御手段は、
   前記撮像制御手段による制御に従って前記撮像手段によって連続して撮像すべき範囲を示す枠を前記撮像すべき範囲として前記表示手段に表示させることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像手段によって連続して撮像された複数の画像を順次合成して画像を生成する予備合成画像生成手段を更に備え、
   前記第１の表示制御手段及び前記第２の表示制御手段は、
   前記連続して撮像すべき範囲を示す情報とともに、前記予備合成画像生成手段によって生成された画像を、前記表示手段に表示させることを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記検出手段は、
   移動量、または方位センサの情報、または移動方向の変化、またはユーザによる所定の指示操作、またはユーザの音声による指示、またはユーザの動作による指示を、前記所定のトリガとして検出することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 撮像手段が複数の移動方向で移動されている間、当該撮像手段により連続して撮像する撮像制御ステップと、
   前記複数の移動方向における各移動方向で当該撮像手段により連続して撮像された複数の画像を合成することにより、広角画像を生成する広角画像生成ステップと、
   前記複数の移動方向のうち、一の移動方向で連続して撮像される複数の画像の合成範囲を示す情報を表示手段の所定の位置に表示させる第１の表示制御ステップと、
   前記撮像手段による前記一の移動方向への連続した撮像の終了を示す所定のトリガを検出する検出ステップと、
   前記検出ステップで前記所定のトリガが検出されたことに伴い、前記複数の移動方向のうち、前記一の移動方向とは異なる移動方向で連続して撮像される複数の画像の合成範囲を示す情報を表示手段の前記所定の位置とは異なる新たな位置に表示させる第２の表示制御ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータに、
   撮像手段が複数の移動方向で移動されている間、当該撮像手段に連続して撮像させるよう制御する撮像制御機能、
   前記複数の移動方向における各移動方向で前記撮像手段により連続して撮像された複数の画像を合成することにより、広角画像を生成する広角画像生成機能、
   前記複数の移動方向のうち、一の移動方向で連続して撮像される複数の画像の合成範囲を示す情報を表示手段の所定の位置に表示させる第１の表示制御機能、
   前記撮像手段による前記一の移動方向への連続した撮像の終了を示す所定のトリガを検出する検出機能、
   前記所定のトリガが検出されたことに伴い、前記複数の移動方向のうち、前記一の移動方向とは異なる移動方向で連続して撮像される複数の画像の合成範囲を示す情報を表示手段の前記所定の位置とは異なる新たな位置に表示させる第２の表示制御機能、
   を実行させることを特徴とするプログラム。
   

Images