JP2018207412A - 撮像装置の制御方法 - Google Patents

Abstract

【課題】画像処理による補正をすることなく、異物の影の写り込みなどによる画質の低下を回避することが可能な、スイングパノラマ撮像装置の制御方法を提供すること。【解決手段】固体撮像素子と、固体撮像素子の出力からパノラマ画像を生成することが実行可能な演算処理回路と、撮像装置が回転運動をしていることを検知する角速度検知部と、演算処理回路での特徴抽出処理を行うことによって、生成された画像に含まれる、固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段と、を有する撮像装置の制御方法であって、パノラマ画像を生成する際には、異物の影が写り込んだ領域を特定した結果に基づいて、異物の影が写り込んだ領域以外からパノラマ合成に使用する領域の選択を行うことを特徴とする。【選択図】図３

Description

本発明は、スイングパノラマ撮影装置の制御に関し、特に撮像素子表面の異物等による画質の劣化を回避する技術に関する。

パノラマ画像の生成方法に、スイングパノラマ撮影という技術がある。典型的な、スイングパノラマ画像の生成方法を、図６に示す。撮像装置を一定の方向にスイングさせながら所定の時間または所定の角度間隔で撮影すると、６０１〜６０３のように、構図に対して被写体の位置がずれ、かつ、お互いに被写体が重複した複数の画像が取得できる。

取得した画像６０１〜６０３から、画像認識処理によってパノラマ合成に適した領域６０４〜６０６を選択・切出をし、スイング方向に沿ってつなぎ合わせることで、６０７のようなパノラマ画像を生成する。

スマートフォンに搭載されたことで広く普及しつつあるスイングパノラマ機能は、近年、レンズ交換式の一眼レフカメラにも搭載されるようになっている。

ここで、レンズ交換式一眼レフカメラ特有の問題として、レンズ交換時にカメラ内部に入り込んだ異物が撮像素子表面に付着してしまい、その影が撮影した画像に写り込んでしまうという問題がある。

この問題に対し、特許文献１のように、連続して撮影した複数の画像から、異物の影が写り込んでしまっている領域を相互に置き換えることで補正をするという技術がある。

特開２００７−３２３０３０号公報

しかしながら、画像処理技術が向上しつつあるとはいえ、画像処理によって異物の影が写り込んだ領域の補正や置換えを行う場合には、補正痕が残ってしまったり、元の被写体像を損なってしまい、画質が低下してしまう。

本発明の目的は、画像処理による補正をすることなく、異物の影の写り込みなどによる画質の低下を回避することが可能な、スイングパノラマ撮像装置の制御方法を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置の制御方法は、
固体撮像素子と、該固体撮像素子の出力から画像を生成し、生成した画像に対し被写体の特徴抽出などの画像認識処理をし、生成した複数の画像の差分情報を抽出し、生成した複数の画像から所定の領域をそれぞれ選択し、複数の画像それぞれから選択した領域を切出して合成することでパノラマ画像を生成することが実行可能な演算処理回路と、撮像装置が回転運動をしていることを検知する角速度検知部と、前記演算処理回路での特徴抽出処理を行うことによって、生成された画像に含まれる、前記固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段と、を有する撮像装置の制御方法であって、前記パノラマ画像を生成する際には、前記異物の影が写り込んだ領域を特定した結果に基づいて、前記異物の影が写り込んだ領域以外からパノラマ合成に使用する領域の選択を行うことを特徴とする。

本発明に係る撮像装置の制御方法によれば、パノラマ合成用画像に写ってしまった異物の影の位置を特定し、異物の影を含まない領域からパノラマ合成に使用する領域の選択をすることで、画像処理による補正を行う必要がなくなり、画質の低下を最小限に抑えることが可能になる。

本発明の第１の実施形態にかかわる、撮像装置の断面図 本発明の第１の実施形態にかかわる、撮像装置のブロック図 本発明の第１の実施形態にかかわる、パノラマ画像合成処理のフローチャート 本発明の第１の実施形態にかかわる、パノラマ画像合成処理のイメージ図 本発明の第２の実施形態にかかわる、パノラマ画像合成処理のフローチャート 典型的な、スイングパノラマ画像の生成方法のイメージ図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

《第１の実施形態》
以下、図１〜４を参照して、本発明の第１の実施形態による、スイングパノラマ撮影装置の制御手段について説明する。

図１は、本発明の第１の実施形態にかかわる、撮像装置の断面図を示す。

図１に示すように、１０１は撮像装置、１０２はマウント機構であり、交換レンズ１８１は、このマウント機構１０２を介して撮像装置１０１本体に電気的及び機械的に接続される。

１３１は固体撮像素子である。固体撮像素子１３１の前面にはカバーガラスや光学ローパスフィルター、周辺には防塵・防滴のための密閉用部材を配している。固体撮像素子１３１で捉えられた物体像は、電子回路基板１４１に実装される演算処理回路２０３（図２にて後述）によって画像データに変換され、液晶表示部１４２（後述）に表示される。

ファインダ光学系は、物体像の予定結像面に配置されているフォーカシングスクリーン１１１、ペンタプリズム１１２、ユーザが光学ファインダ像を観察するためのレンズ１１３によって構成される。

ミラー光学系は、ハーフミラー１２１とサブミラー１２２によって構成される。ハーフミラー１２１は、結像光学系からの光路Ｌ１を分割して光学ファインダに供給するための可動型のミラーである。ハーフミラー１２１の背後には可動型のサブミラー１２２が設けられており、ハーフミラー１２１を透過した光束の内、光路Ｌ１の光軸に近い光束が、サブミラー１２２によって焦点検出部１２３に入射する。

シャッター１２４は先幕と後幕によって構成される。先幕と後幕はそれぞれ複数枚の薄膜遮光素材によって構成され、これらを開閉動作させることにより固体撮像素子１３１への露光量を制御する。

１２５は測光部であり、光電変換素子によって構成される。マウント側からの入射光の一部がハーフミラー１２１によって分離されて測光部に入射しており、測光部１２５の出力から固体撮像素子１３１表面の光量を間接的に知覚することができる。

１４１は電子回路基板を示す。電子回路基板の回路構成については、図２のブロック図で示す。

１４２は液晶表示部を示す。液晶表示部１４２には、ＴＦＴ液晶表示素子などが用いられ、演算処理回路２０３（図２にて後述）から出力される画像データを表示する。

図２は、本発明の第１の実施形態にかかわる、撮像装置１０１のブロック図である。

図２において、１４１は電子回路基板で、図２に例示する各回路が実装される。２０２は、撮像装置１０１の動作を主として制御する制御回路であり、後述する撮像装置内の各電気回路の制御を行う。２０３は、演算処理回路であり、固体撮像素子１３１に蓄積された電荷から画像データを生成し、生成した画像データを液晶表示部１４２に表示するための信号処理を行う。

また、演算処理回路２０３では、生成した画像に含まれる被写体の特徴抽出や、生成した複数の画像の差分情報抽出といった、画像認識処理を行う。加えて、演算処理回路２０３では、生成した画像からの一部切出しや、切出した画像の合成といった、画像編集処理を行うことが可能であり、この画像編集処理機能によってパノラマ画像の生成も行う。

２０４は、記憶回路であり、演算処理回路２０３によって生成される画像データや前記の画像認識処理や画像編集処理の途中で発生するデータを一時的に保存したり、各電気回路を制御するパラメーターを記憶したりといった処理を行う。

また、スイングパノラマ撮影時には、演算処理回路２０３がパノラマ合成用に撮影した複数の画像の撮影枚数を数え、記憶回路２０４に撮影枚数を保存し、保存された撮影枚数を参照して演算処理回路２０３がパノラマ合成処理を実行する。

２１１は、駆動回路であり、固体撮像素子１３１を適正に露光させる為に、シャッター１２４の開閉制御や、ハーフミラー１２１およびサブミラー１２２のアップ／ダウンの制御を行う。

２１２は、スイッチ回路であり、撮像装置１０１を撮影準備状態とするスイッチ、撮影動作を開始するスイッチ、撮影条件を選択する為のスイッチ等がある。２１３は、操作検出回路で、撮像装置１０１内に設けられた多数の操作部材（不図示）からの信号を制御回路２０２に伝達する。２１４は、撮像装置１０１が回転運動をしていることを検出する角速度検出部であり、スイングパノラマ撮影時に、撮像装置１０１のスイング方向やスイング角度の検出を行う。角速度検出部には、角速度センサーなどが用いられる。

２２１は、電池２２２の電圧を、撮像装置１０１を構成する各回路ユニットが必要とする電圧に変換して供給する電源回路である。

図３は、本発明の第１の実施形態にかかわる、スイングパノラマ撮影時の合成処理のフローチャートを示す。図４は、図３に示すフローチャートの、所定のステップにおける処理の解説図を示す。以降、図４の解説図を用いながら、図３のフローチャートに沿って、本実施形態の処理を説明していく。

図３に示す本実施形態の処理は、Ｓ３０２〜Ｓ３０６のパノラマ合成用画像取得・保存、Ｓ３０７〜Ｓ３１２のパノラマ合成に使用する領域の選択処理、およびＳ３１３のパノラマ画像合成処理から成る。

まず、Ｓ３０１のスイングパノラマ撮影開始と、Ｓ３０２〜Ｓ３０６の合成用画像取得・保存について解説する。

Ｓ３０１にて、所定の条件が揃うと、スイングパノラマ撮影を開始する。スイングパノラマ撮影開始の条件とは、例えば、メニュー画面からスイングパノラマ撮影モードが選択された場合や、所定の方向へのスイングを検知して自動的にスイングパノラマ撮影モードを開始する場合などである。

Ｓ３０２では、演算処理回路２０３が、記憶回路２０４に記憶されているスイングパノラマ合成用画像の撮影枚数の計数値を初期化する。Ｓ３０２のｉは、撮影枚数の計数値を示す。

Ｓ３０３で、レリーズボタンが押下されると、演算処理回路２０３は、１枚目のスイングパノラマ合成用画像を生成し、記憶回路２０４に保存し、スイングパノラマ合成用画像の撮影枚数の計数値に１を加算する（Ｓ３０４）。

Ｓ３０５では、角速度検出部２１４の結果から、撮影者が撮像装置１０１を所定の方向にスイングしているかどうかを判定する。

Ｓ３０５の結果から、撮影者がスイングパノラマ撮影を継続している（撮影者が撮像装置１０１を所定の方向にスイングしている）と判断した場合、Ｓ３０６では、前回の撮影を行った状態から、撮像装置１０１が所定の角度以上回転したかどうかを判定する。撮像装置１０１が所定の角度以上回転したかどうかを判定する方法とは、例えば、角速度センサーの出力値と時間の積分値を算出し、積分値が所定の値以上であるかを判定するなどの方法である。

Ｓ３０６で、撮像装置１０１が所定の角度以上回転したと判定されると、２枚目のパノラマ合成用画像の撮影を実行し、記憶回路２０４に保存する。

以降、撮影者が継続して撮像装置１０１を所定の方向にスイングしている間は、Ｓ３０３〜３０６を繰り返し実行し、構図に対して被写体の位置をシフトさせたパノラマ合成用画像を、順次撮影する。

上記のようにして、連続して撮影されたパノラマ合成用画像は、例えば、図４の４０１〜４０３に示すように、構図に対して被写体の位置がずれ、かつ、お互いに被写体の一部が重複する画像となる。ここで、４０７は、各画像に写り込んだ異物の影を示す。

Ｓ３０５にて、スイングが停止したと判定されると、Ｓ３０７〜Ｓ３１２に示す、パノラマ合成用画像からどの領域をパノラマ合成用に使用するかという、選択処理を開始する。

Ｓ３０７〜Ｓ３１２のパノラマ合成に使用する領域の選択処理の説明をする。

Ｓ３０７では、Ｓ３０２〜Ｓ３０６の合成用画像取得・保存処理にて、パノラマ合成処理を行うために必要な画像が撮影できたかを判定し、必要な画像が取得できた場合には、Ｓ３０８からのパノラマ合成に使用する領域の選択処理を開始する。

Ｓ３０７の判定は、例えば、Ｓ３０２〜Ｓ３０６の合成用画像取得・保存処理にて２枚以上の画像を撮影したかどうかや、１枚目の撮影と最後の撮影の間で所定値以上の角度のスイングが行われたか、などである。Ｓ３０７で、パノラマ合成処理を行うために必要な画像が撮影できなかったと判定された場合には、演算処理回路２０３が液晶表示部１４２に、スイングパノラマ撮影に失敗した旨の情報を表示して（Ｓ３１５）、スイングパノラマ撮影を終了する。

Ｓ３０８では、Ｓ３０２〜Ｓ３０６で取得した複数のパノラマ合成用画像のうち、連続する少なくとも２枚以上の画像それぞれについて特徴抽出処理を行う。特徴抽出処理とは、例えば、位置合わせに有効な特異な形状を有する被写体を抽出する処理や、図４の４０４〜４０６に示すように、微分処理によって構図内の被写体それぞれの輪郭を捉える処理などである。

Ｓ３０９では、特徴抽出処理が施された連続して撮影された２枚のパノラマ合成用画像４０１、４０２について、被写体が重複するように位置合わせを行い、Ｓ３１０では、構図が重複する領域について、画素値の差分を算出する。異物の影が写り込んだ領域４０７は、４０１〜４０３に示すように、被写体によらず、構図に対して同じ位置にある。このため、被写体を基準として位置合わせをした上で画像の画素値の差分を算出することで、被写体像は相殺されるが、異物の影が写り込んだ領域は差分として残るため、Ｓ３０８〜Ｓ３１０に示す方法により、異物の影が写り込んだ領域を検出することが可能となる。

Ｓ３１１では、Ｓ３１０で検出した異物の影が写り込んだ領域が、元のパノラマ合成用画像４０１〜４０３上でどの位置にあるのか置き換え処理を行った上で、Ｓ３１２で、異物の影の写り込みがない領域から、パノラマ合成に使用する領域を選択する。通常、パノラマ合成に使用する領域は、画像４０８の破線で囲われた領域４０９のように、画像の中央付近が選択される。

一方、Ｓ３１２のパノラマ合成に使用する領域の選択処理とは、例えば、４１０のように、異物の影が写り込んだ領域４０７を含まない範囲から、パノラマ合成に使用する領域を選択する処理である。

Ｓ３１３では、Ｓ３１２で選択したパノラマ合成に使用する領域に基づいて、撮影したすべてのパノラマ合成用画像から、パノラマ合成に使用する領域の切出し処理を行い、切出した領域それぞれについてスイング方向に沿って合成処理を行い、パノラマ画像を生成する。パノラマ画像の生成が完了すると、Ｓ３１４で、スイングパノラマ撮影モードが解除され、通常撮影の待機状態に移行する。

以上、Ｓ３０１〜Ｓ３１４が、本実施形態の、スイングパノラマ合成処理のフローチャートである。

上述の通り、異物の影が写り込んだ領域を避けて、パノラマ画像合成用の切出し領域を選択することで、画像処理での異物の影が写り込んだ領域の補正を行う必要がなくなるため、補正痕等による画質の低下を抑制することができる。

《第２の実施形態》
第１の実施形態では、スイングパノラマ撮影中に取得したパノラマ合成用画像から、異物の影が写り込んだ領域を検出し、その検出結果を元にパノラマ合成に使用する領域を選択した。

本実施形態では、第１の実施形態の形態に加え、スイングパノラマ撮影開始前に取得された異物の影が写り込んだ領域に関する情報を元に、パノラマ合成に使用する領域の選択を行うことを特徴とする。

以下、図５を参照して、本実施形態に係るスイングパノラマ撮影装置の制御手段について説明する。

図５は、本実施形態にかかわる、スイングパノラマ撮影時の合成処理のフローチャートを示す。

本実施形態は、第１の実施形態を基本としており、Ｓ３０１〜Ｓ３０６、Ｓ３１３およびＳ３１４は、第１の実施形態と同じ処理を行う。以降、図５のフローチャートに沿って、本実施形態の処理を説明していく。

Ｓ３０１にて、スイングパノラマ撮影を開始すると、演算処理回路２０３が、撮像装置内の記憶回路２０４に記憶されている、異物の影が写り込んだ領域の位置情報を読み出す（Ｓ５０１）。異物の影が写り込んだ領域の位置情報とは、例えば、固体撮像素子１３１上の所定の画素を原点とし、水平方向・垂直方向をＸ軸・Ｙ軸とし、画素単位を基準とした座標系で表現される、原点からの相対的な距離を示す座標である。異物の影が写り込んだ領域の位置情報の取得方法とは、例えば、レンズの絞りを最大限に絞った状態で白い壁などの白一面の被写体を撮影し、生成された真っ白な画像から、演算処理回路２０３での画像認識処理により、異物の影が写り込んだ領域を検出する方法などである。

Ｓ５０２では、Ｓ５０１で読み出した異物の影が写り込んだ領域の位置情報を基に、第１の実施形態のＳ３１２と同様の処理を行い、パノラマ合成に使用する領域を選択する。

以降、第１の実施形態と同様に、Ｓ３０２〜Ｓ３０６でパノラマ合成用画像の取得・保存処理を実施し、Ｓ５０２で決定したパノラマ合成に使用する領域に基づいて、Ｓ３１３・Ｓ３１４でパノラマ画像合成処理を実施する。以上が、本実施形態の、スイングパノラマ合成処理のフローチャートである。

上述の通り、スイングパノラマ撮影前に取得した異物の影が写り込んだ領域の位置情報を使用することで、第１の実施形態と同様に、画像処理での異物の影が写り込んだ領域の補正を行う必要がなくなるため、補正痕等による画質の低下を抑制することができる。

１０１ 撮像装置本体、１３１ 固体撮像素子、２０３ 演算処理回路、
１４ 角速度検出部

Claims (3)

1. 固体撮像素子と、
   該固体撮像素子の出力から画像を生成し、生成した画像に対し被写体の特徴抽出の画像認識処理をし、生成した複数の画像の差分情報を抽出し、生成した複数の画像から所定の領域をそれぞれ選択し、複数の画像それぞれから選択した領域を切出して合成することでパノラマ画像を生成することが実行可能な演算処理回路と、
   撮像装置が回転運動をしていることを検知する角速度検知部と、
   前記演算処理回路での特徴抽出処理を行うことによって、生成された画像に含まれる、前記固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段と、
   を有する撮像装置の制御方法であって、
   前記パノラマ画像を生成する際には、前記異物の影が写り込んだ領域を特定した結果に基づいて、前記異物の影が写り込んだ領域以外からパノラマ合成に使用する領域の選択を行うことを特徴とする撮像装置の制御方法。
2. 前記固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段は、パノラマ合成用に取得した複数の画像において、前記演算処理回路で特徴抽出処理を行うことによって領域を特定することを特徴とする請求項１に記載の撮像装置の制御方法。
3. 前記固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段は、パノラマ撮影開始前に取得した少なくとも１枚の画像を用いて特定した異物の影が写り込んだ領域に関する情報を使用して、異物の影が写り込んだ領域以外からパノラマ合成に使用する領域の選択を行うことを特徴とする請求項１に記載の撮像装置の制御方法。