JP2024098065A

JP2024098065A - 撮像装置

Info

Publication number: JP2024098065A
Application number: JP2024081586A
Authority: JP
Inventors: 大大塚; Masaru Otsuka
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2019-12-23
Filing date: 2024-05-20
Publication date: 2024-07-19
Also published as: JP7001087B2; JP2020061760A; JP2022036153A

Abstract

【課題】再度、最初から画像を撮像し直すことなく、確度高くパノラマ画像を生成することができる技術を提供することを目的とする。【解決手段】時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、複数の画像を表示する表示部と、複数の画像それぞれを対象画像として時系列順につなぎ合わせて合成画像を生成する画像処理部と、を備え、画像処理部は、対象画像および合成画像の画像特徴量に基づいて、対象画像の合成画像に対する変位量を検出し、変位量に応じて対象画像を合成画像につなぎ合わせ、変位量の検出に失敗した場合、表示部に複数の画像とともに失敗を示す警告を表示する。【選択図】図１

Description

本発明は、撮像装置に関する。

従来、デジタルカメラなどをパンさせながら複数の画像を撮像し、それらの画像を順次つなぎ合わせることにより、パノラマ画像を生成する。例えば、特許文献１には、動画のフレーム画像を用いて、パノラマ合成処理する技術が開示されている。

特開２０００－２４４８１４号公報

しかしながら、従来技術では、パンによる移動量が大きすぎて画像と画像とをつなぎ合わせることができない場合、再度最初から画像を撮像し直さなければならない。

本発明の目的は、再度、最初から画像を撮像し直すことなく、確度高くパノラマ画像を生成することができる技術を提供することにある。

上記課題を解決するために、本発明の撮像装置は、時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、複数の画像を表示する表示部と、複数の画像それぞれを対象画像として時系列順につなぎ合わせて合成画像を生成する画像処理部と、を備え、画像処理部は、対象画像および合成画像の画像特徴量に基づいて、対象画像の合成画像に対する変位量を検出し、変位量に応じて対象画像を合成画像につなぎ合わせ、変位量の検出に失敗した場合、表示部に複数の画像とともに失敗を示す警告を表示する。

本発明によれば、再度、最初から画像を撮像し直すことなく、確度高くパノラマ画像を生成することができる。

一の実施形態のデジタルカメラの構成を示すブロック図一の実施形態のデジタルカメラの画像処理の動作を示すフローチャートパノラマモードにおけるモニタの表示の一例を示す図（その１）パノラマモードにおけるモニタの表示の一例を示す図（その２）パノラマモードにおけるモニタの表示の別例を示す図パノラマモードにおけるモニタの表示の他の例を示す図

図１は、本発明の一の実施形態のデジタルカメラの構成を示すブロック図である。

本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＡＦＥ１３、ＣＰＵ１４、メモリ１５、モニタ１６、記録インタフェース（Ｉ／Ｆ）１７、操作部材１９、レリーズ釦２０、タッチパネル２１、バスから構成される。ＣＰＵ１４、メモリ１５、モニタ１６、記録Ｉ／Ｆ１７は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材１９、レリーズ釦２０、タッチパネル２１は、それぞれＣＰＵ１４に接続される。なお、本実施形態のデジタルカメラは、撮影モードの１機能として、被写界を分割撮像した複数の画像から１枚のパノラマ画像を生成するパノラマモードを有するものとする。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成される。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。

また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーの画像を取得できる。

ここで、デジタルカメラの撮影モードにおいて、撮像素子１２はレリーズ釦２０の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用の低解像度画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。スルー画像のデータは、モニタ１６での画像表示や、ＣＰＵ１４による各種の演算処理などに使用される。また、撮像素子１２は、撮影モードが動画モードやパノラマモードの場合、本画像として、所定のフレームレート（３０ｆｐｓや６０ｆｐｓなど）で動画を撮像するものとする。

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、ＣＰＵ１４に接続される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。

ＣＰＵ１４は、デジタルカメラの動作を統括的に制御するプロセッサである。ＣＰＵ１４は、制御プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知のオートフォーカス（ＡＦ）制御、自動露出（ＡＥ）演算、オートホワイトバランス演算などを行う。また、ＣＰＵ１４は、設定画面、撮像された本画像やスルー画像の表示処理なども行う。さらに、ＣＰＵ１４は、メモリ１５に記憶された画像処理プログラムの実行により、ＡＦＥ１３から出力されるデジタル画像信号に対する画像処理を行う画像処理部２２として動作する。

画像処理部２２は、ＡＦＥ１３から出力されるデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、本実施形態の画像処理部２２は、後述するように、撮影モードが上記パノラマモードに設定された場合、公知のパノラマ合成処理に基づいて、動画撮像されるフレーム（対象画像）を、時系列順につなぎ合わせてパノラマ合成して、パノラマ画像（合成画像）を生成する。

メモリ１５は、デジタルカメラによって撮像された画像データや、ＣＰＵ１４によって実行される制御プログラムや画像処理プログラムなどを記憶する。メモリ１５には、不揮発性の半導体メモリ等を用いることができる。

モニタ１６は、液晶モニタなどのモニタであり、ＣＰＵ１４の指示に応じて各種設定画面や画像を表示する。

記録Ｉ／Ｆ１７には、記憶媒体１８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１８に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８の一例としてメモリカードを示す。

操作部材１９は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦等で構成される。そして、操作部材１９はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材１９は、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。

レリーズ釦２０は、半押し操作による撮像前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。

タッチパネル２１は、パネル表面に接触したスタイラス（または指先等）の位置を検出し、検出した位置情報をＣＰＵ１４に出力することでユーザからの指示入力を受け付ける。なお、タッチパネル２１の構成は、静電容量式または感圧式のいずれでもよい。本実施形態のタッチパネル２１は、モニタ１６と同形状の透明のパネルで構成され、モニタ１６の表面全体に積層配置される。ユーザは、モニタ１６に表示されたＧＵＩ形式の釦を視認しつつ、タッチパネル２１を介してＣＰＵ１４に指示入力する。

次に、図２のフローチャートを参照しつつ、本実施形態のデジタルカメラによる画像処理の動作について説明する。なお、以下において、操作部材１９を介して、ユーザにより撮影モードがパノラマモードに予め設定されているものとする。

ユーザにより操作部材１９のうちの電源釦が押されると、ＣＰＵ１４は、デジタルカメラに電源を投入し各部を初期化する。ＣＰＵ１４は、撮影モードで撮像待機時の場合、撮像素子１２にスルー画像の撮像を開始させ、例えば、そのスルー画像をモニタ１６の表示範囲３０全体に表示する（図３ａ）。ＣＰＵ１４は、ユーザによるレリーズ釦２０の全押し操作の撮像指示に応答して、撮像素子１２にパノラマモードによる被写界の動画撮像を開始させる。同時に、ユーザは、デジタルカメラのパン動作を開始する。なお、本実施形態では、ユーザは、水平方向にデジタルカメラをパンするものとして説明するが、垂直方向などの場合も同様であり説明を省略する。

また、ＣＰＵ１４は、パノラマモードの動画撮像を開始すると、モニタ１６の表示を、図３ａに示す表示から図３ｂに示す表示に切り替える。つまり、図３ｂに示すように、ＣＰＵ１４は、スルー画像に代えて、動画撮像された動画のフレームを、モニタ１６の表示範囲３０の右側に配置される表示領域４０に縮小してリアルタイム表示する。一方、ＣＰＵ１４は、後述するパノラマ合成処理により順次生成されるパノラマ画像の一部を、表示範囲３０の左側に配置された表示領域５０にリアルタイム表示する。ただし、図３ｂに示すように、動画撮像開始時点では、パノラマ合成処理されたパノラマ画像がないことから、表示領域５０には何も表示されない。

ステップＳ１０１：ＣＰＵ１４は、ＡＥＦ１３を介して、撮像素子１２から出力される１番目のフレームを読み込み、パノラマ合成処理の基準となる合成画像として設定する。そして、ＣＰＵ１４は、２番目のフレームを読み込み、上記合成画像につなぎ合わせられる対象画像として設定する。

ステップＳ１０２：画像処理部２２は、公知の画像処理により、対象画像および合成画像のエッジ量や色情報などの画像特徴量を抽出する。画像処理部２２は、抽出した画像特徴量に基づいて、対象画像と合成画像との相関処理などにより、ユーザのデジタルカメラのパン動作により、合成画像に対する対象画像の移動量およびパン方向が検出できたか否かを判定する。画像処理部２２は、移動量およびパン方向が検出できた場合、ステップＳ１０３（ＹＥＳ側）へ移行し、移動量およびパン方向が検出できなかった場合、ステップＳ１０６（ＮＯ側）へ移行する。

ステップＳ１０３：画像処理部２２は、ステップＳ１０２において検出された移動量およびパン方向に基づいて、対象画像によって新たに撮像された画像領域を合成画像につなぎ合わせるパノラマ合成処理を施す。

ステップＳ１０４：画像処理部２２は、求めたパン方向をモニタ１６に矢印６０で表示すると同時に、ステップＳ１０３においてパノラマ合成された合成画像を、表示領域５０にパン方向とは逆の方向にスライドさせながらリアルタイム表示する（図４ａ）。ここで、図４ａは、一例として、パノラマ合成処理開始直後のモニタ１６の表示状態を示す。

なお、対象画像が合成画像に対して上下にずれて、または斜めに撮像された画像の場合、ＣＰＵ１４は、その対象画像がパノラマ合成された合成画像を表示するにあたり、表示領域５０からはみ出した画像領域をトリミングして表示することが好ましい。あるいは、ＣＰＵ１４は、はみ出した画像領域も表示するように、合成画像を縮小表示してもよい。

ステップＳ１０５：ＣＰＵ１４は、ユーザによる再度レリーズ釦２０の全押し操作の撮像終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、撮像終了指示を受け付けた場合、パノラマモードの動画撮像を終了する。画像処理部２２は、合成画像をパノラマ画像ファイルとして生成し、メモリ１５または記憶媒体１８に記録する。ＣＰＵ１４は一連の処理を終了する。なお、本実施形態では、ＣＰＵ１４は、例えば、１番目のフレームの画像の縦幅で合成画像の縦サイズをトリミングして、パノラマ画像ファイルを生成するのが好ましい。また、ユーザがデジタルカメラを垂直方向にパンする場合、ＣＰＵ１４は、例えば、１番目のフレームの画像の横幅で合成画像の横サイズをトリミングするのが好ましい。

一方、ＣＰＵ１４は、撮像終了指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行し、次に撮像されたフレームを対象画像として読み込む。ＣＰＵ１４は、その対象画像に対して、ステップＳ１０１～ステップＳ１０４の処理を行う。

ステップＳ１０６：画像処理部２２は、ユーザのよるデジタルカメラのパン動作の速度が速すぎて移動量が大きすぎたり、デジタルカメラの姿勢が大きく変化しすぎたりなど、対象画像の合成画像に対する移動量およびパン方向を検出できなかった場合、その検出失敗をユーザに伝える。すなわち、画像処理部２２は、図４ｂに示すような警告表示をモニタ１６に表示してユーザに伝える。例えば、画像処理部２２は、移動量が検出可能で合成画像につなぎ合わされる対象画像を撮像させるために、ユーザに対してデジタルカメラのパンすべき方向を、矢印６０に代えて矢印７０で表示し指示する。また、画像処理部２２は、記号７１や文章７２のような警告を、矢印７０とともにモニタ１６に表示してもよい。あるいは、画像処理部２２は、警告表示の別例として、合成画像において対象画像がつなぎ合わされるべき領域を、シェーディングした領域７３のように示してもよい。

なお、ＣＰＵ１４は、ユーザがデジタルカメラを、例えば、パンさせず一定時間停止させてしまったり、矢印６０とは異なる方向にパンさせてしまったりなどの場合にも、ユーザに上記警告表示することが好ましい。

ステップＳ１０７：画像処理部２２は、ステップＳ１０２において抽出した合成画像の画像特徴量を、例えば、ＣＰＵ１４の不図示の内部メモリなどに一時的に記憶する。なお、記憶される合成画像の画像特徴量は、合成画像のうち、対象画像がつなぎ合わされるべき側の端から、対象画像と同じ、または７０～８０％程度の大きさの画像領域の画像特徴量だけでもよい。これにより、メモリ容量を小さくすることができ、回路規模の小型化を図ることができる。

ステップＳ１０８：画像処理部２２は、ユーザに表示領域４０のフレームを参照させつつ、警告表示に基づいて、例えば、矢印７０方向へパン動作させ、撮像素子１２により撮像された次のフレーム（例えば、３番目のフレーム）を新たな対象画像として読み込む。

ステップＳ１０９：画像処理部２２は、ステップＳ１０８において読み込んだ対象画像の画像特徴量を抽出する。画像処理部２２は、抽出した対象画像の画像特徴量と内部メモリ（不図示）に記憶された合成画像の画像特徴量とに基づいて、合成処理に対する対象画像の移動量およびパン方向が検出できたか否かを判定する。画像処理部２２は、移動量およびパン方向が検出できた場合、ステップＳ１１０（ＹＥＳ側）へ移行する。一方、画像処理部２２は、移動量およびパン方向が検出できなかった場合、ステップＳ１０８（ＮＯ側）へ移行する。画像処理部２２は、合成処理に対する対象画像の移動量およびパン方向が検出されるまで、ステップＳ１０８～ステップＳ１０９の処理を行う。

ステップＳ１１０：画像処理部２２は、図４ｂに示す警告表示を解除し、図４ｃに示す表示に切り替える。画像処理部２２は、ステップＳ１０３へ移行して、ステップＳ１０８で新たに読み込んだ対象画像を合成画像につなぎ合わせるパノラマ合成処理を再開する。

このように、本実施形態では、たとえ合成画像に対して大きくデジタルカメラがパンされたとしても、動画とそれまでにパノラマ合成された合成画像とをリアルタイム表示することにより、どこまでパノラマ合成が行われ、どこでパノラマ合成に失敗したかを容易に判別することができ、パノラマ合成に失敗したところまでデジタルカメラの撮像方向を容易に戻すことができる。これにより、最初から再度パノラマモードによる撮像を行うことなく、確度高くパノラマ画像を生成することができる。
《実施形態の補足事項》
（１）上記実施形態では、画像処理部２２の処理を、ＣＰＵ１４においてソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてその処理をハードウエア的に実現してもよい。

（２）上記実施形態では、画像処理部２２が、対象画像と合成画像との画像領域全体の画像特徴量に基づいて、対象画像の移動量およびパン方向を検出したが、本発明はこれに限定されない。例えば、所定の幅の糊しろ部分を対象画像および合成画像の周囲にそれぞれ設定し、画像処理部２２は、その糊しろ部分以外の画像領域内の画像特徴量に基づいて、対象画像の合成処理に対する移動量およびパン方向を検出してもよい。

また、デジタルカメラが加速度センサや電子ジャイロなどを備え、画像処理部２２が検出した移動量およびパン方向と加速度センサなどが検出した移動量およびパン方向とに基づいて、画像処理部２２は、合成画像に対象画像をつなぎ合わせてもよい。これにより、より正確なパノラマ合成が可能となる。

（３）上記実施形態では、ユーザがデジタルカメラのパンを開始することにより、ＣＰＵ１４は、モニタ１６の表示範囲３０のうち、右側の表示領域４０に動画のフレームをリアルタイム表示し、左側の表示領域５０にパノラマ合成処理された合成画像をスライド表示するとしたが、本発明はこれに限定されない。例えば、図５ａに示すように、ＣＰＵ１４は、モニタ１６の中央より上側の表示領域４０’に動画のフレームをリアルタイム表示し、下側の表示領域５０’に合成画像をパノラマ合成処理の進み具合に応じてリアルタイム表示してもよい。図５ｂは、合成画像に対する対象画像の移動量およびパン方向の検出に失敗した場合の警告表示例を示す。

なお、パノラマモードによる撮像開始前に、ＣＰＵ１４は、操作部材１９などを介して、ユーザから１８０度や３６０度などのパノラマ撮像する撮像範囲の指定を受け付け、その撮像範囲に応じた表示領域５０’の大きさを設定してもよい。これにより、ユーザにとってどの範囲まで撮像が完了したかを容易に認識することができる。また、ＣＰＵ１４は、設定された撮像範囲まで撮像が完了した場合、レリーズ釦２０が再度全押し操作されなくても、自動的にパノラマモードの撮像を終了してもよい。

さらに、ＣＰＵ１４は、パノラマ合成処理が順調に行われている間は、図３ａに示す表示範囲３０に動画のフレームの全画面表示を行い、合成処理に対する対象画像の移動量およびパン方向の検出に失敗した場合、図４ｂや図５ｂに示す警告表示に切り替えてもよい。

また、図６は、ユーザがデジタルカメラを垂直方向にパンさせて、タワーや高層ビルなどを撮像する場合のモニタ１６の表示の一例を示す。

（４）上記実施形態では、ステップＳ１０５において、ＣＰＵ１４は、ユーザによりレリーズ釦２０の再度全押し操作された場合、パノラマモードによる撮像を終了するとしたが、本発明はこれに限定されず、例えば、パノラマモードによる撮像の間いつでも、ユーザは、レリーズ釦２０の全押し操作することができ、ＣＰＵ１４は、その撮像終了の割り込みを受け付けられることが好ましい。

（５）上記実施形態では、動画撮像してパノラマ合成するとしたが、本発明はこれに限定されず、連写や１枚ずつ静止画を撮像してパノラマ合成する場合にも適用することができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…ＣＰＵ、１５…メモリ、１６…モニタ、１７…記録Ｉ／Ｆ、１８…記憶媒体、１９…操作部材、２０…レリーズ釦、２１…タッチパネル、２２…画像処理部

Claims

時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、
前記複数の画像を表示する表示部と、
前記複数の画像それぞれを対象画像として時系列順につなぎ合わせて合成画像を生成する画像処理部と、を備え、
前記画像処理部は、前記対象画像および前記合成画像の画像特徴量に基づいて、前記対象画像の前記合成画像に対する変位量を検出し、前記変位量に応じて前記対象画像を前記合成画像につなぎ合わせ、前記変位量の検出に失敗した場合、前記表示部に前記複数の画像とともに前記失敗を示す警告を表示する
ことを特徴とする撮像装置。