JP2023002445A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】各カメラユニットからの映像信号のブレ残りにより生じる複数の映像の繋ぎ目のずれを減少させる。【解決手段】画像処理装置において、複数のカメラユニットにより得られた複数の映像信号のブレ補正を夫々行うブレ補正手段と、前記ブレ補正手段によって前記複数の映像信号のブレ補正を夫々行った後に残ったブレ残りの位相差を取得する位相差取得手段と、前記位相差が所定値以上の場合、前記複数の映像信号の前記ブレ残りの位相を合わせる位相調整手段と、を有する。【選択図】 図２

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラム等に関し、特に複数のカメラユニットからの映像信号を処理する画像処理装置等に関するものである。

近年、多眼カメラのような１つの筐体に複数のカメラユニットが付いている撮像装置（画像処理装置）が使用されている。
この撮像装置では、各カメラユニットを手動又は自動でパンチルト駆動させることができるため、各カメラユニット同士を近づけて撮影することができる。
各カメラユニットを近づけた場合、各カメラユニットの撮影領域の重なりを少なくするために、ズーム操作をおこなって各カメラユニットが撮影する撮影画角は狭く設定することになる。

各カメラユニットの撮影画角を狭くすると少しの揺れでも目立ってしまうため、撮像装置で取得したブレ信号からブレ補正量を算出し、電子切り出し位置の変更をおこなう電子式ブレ補正機能を用いてブレを軽減させることが有効になってくる。
しかし、電子式ブレ補正では、切り出し範囲があらかじめ設定されているため、揺れ量が大きい設置場所に設置された場合、切り出し量が足りずにブレ残りが発生してしまう。

ブレ補正後に各カメラユニットでブレ残りが発生している場合、各カメラユニットのブレ残り量が同じで、かつ各カメラユニットのブレ残りの位相が同じであれば、問題はあまりない。即ち、各カメラユニットの映像を隣接するように並べて表示した場合、各カメラユニットの映像間の繋ぎ目部分がずれることなく１つの繋がっている映像のように自然に見える。

しかし、各カメラユニットを手動又は自動でパンチルト駆動することができるメカ機構になっているため、メカ的ながたつきや誤差が生じやすく、それに伴って各カメラユニット間のブレ残りの位相が異なってしまう。
各カメラユニットのブレ残り量が同じであっても、各カメラユニットのブレ残りの位相が異なってしまうと、各カメラユニットの映像を隣接するように並べて表示した場合、問題が生じる。即ち、各カメラユニットの映像間の繋ぎ目部分が、隣の映像とずれて一致せず繋がっていない不自然な映像に見えてしまう。

特許文献１では、第１の撮像装置で検出した手ブレ量を示す手ブレ補正量信号を第２の撮像装置に供給し、第２の撮像装置で検出した手ブレ量を示す手ブレ補正量信号を第１の撮像装置に供給する。そして、第１の撮像装置と第２の撮像装置において、自装置側で検出した手ブレ量と他装置側で検出した手ブレ量との平均となる手ブレ量に基づいて、夫々手ブレ補正を行うことで三次元酔いの少ない高品位な三次元画像を撮像可能としている。

特許文献２では、振れ信号と動き量から、背景の振れ量を算出して像ブレ補正をおこない、像ブレ補正が行われた複数の撮像画像を合成することで、背景振れが抑制された綺麗なパノラマ画像を取得可能としている。

特開２０１２－１４２８３７号公報 特開２０１９－１２５８８０号公報

しかしながら、上記の特許文献に開示された特許文献１では、第１の撮像装置と第２の撮像装置の平均のブレ量を用いて各撮像装置のブレ補正を行っていることで、各撮像装置でブレ残りが発生してしまうが、ブレ残りの位相が異なった場合を考慮していない。そのため、ブレ残りの位相が異なってしまった場合、繋がった画として見えなくなってしまう。
特許文献２に記載の技術では、像ブレ補正を行った複数の撮影画像を合成しているが、像ブレ補正後のブレ残りの位相を考慮していないため、合成したパノラマ画像の繋ぎ目が不自然になってしまう可能性がある。

そこで、本発明の目的は、上記問題点を踏まえたうえで、複数のカメラユニットからの映像信号のブレ残りにより生じる複数の映像の繋ぎ目のずれを減少できる画像処理装置等を提供することにある。

本発明の画像処理装置は、
複数のカメラユニットにより得られた複数の映像信号のブレ補正を夫々行うブレ補正手段と、
前記ブレ補正手段によって前記複数の映像信号のブレ補正を夫々行った後に残ったブレ残りの位相差を取得する位相差取得手段と、
前記位相差が所定値以上の場合、前記複数の映像信号の前記ブレ残りの位相を合わせる位相調整手段と、を有することを特徴とする。

本発明によれば、複数のカメラユニットからの映像信号のブレ残りにより生じる複数の映像の繋ぎ目のずれを減少することができる。

実施例１における画像処理装置１０００の構成例を示すブロック図である。 実施例１における処理を示すフローチャートである。 図２のステップＳ２０３の詳細を説明するフローチャートである。 ブレ補正量演算部の詳細な構成例を示すブロック図である。 ブレ残りの波形信号例を示す図である。 表示部２１７によって第１のカメラユニットと第２のカメラユニットの映像を並べて繋げて表示した図である。 実施例２における処理を示すフローチャートである。 実施例３における処理を示すフローチャートである。 実施例４における処理を示すフローチャートである。 実施例５における処理を示すフローチャートである。 実施例６における処理を示すフローチャートである。 実施例７における処理を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
又、実施例においては、画像処理装置としてネットワークカメラに適用した例について説明する。しかし、画像処理装置はデジタルスチルカメラ、デジタルムービーカメラ、スマートフォン、パーソナルコンピュータ、車載カメラ、ドローンカメラ、ロボット等の電子機器を含む。

図１は実施例１における画像処理装置１０００の構成例を示すブロック図である。
尚、図１に示される機能ブロックの一部は、画像処理装置１０００に含まれる不図示の制御手段としてのコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

図１の画像処理装置１０００は第１のカメラユニット１００と、第２のカメラユニット２００とを有する。第１のカメラユニット１００の機能ブロックである１０１～１１２と、第２のカメラユニット２００の機能ブロックである２０１～２１２は夫々同じ構成なので、以下では主に第１のカメラユニットの機能ブロックについて説明する。
図１において、第１のカメラユニット１００のレンズ群１０１は、被写体から入射した光を撮像素子１０３上に集光する光学系である。前記レンズ群１０１には、被写体に対するピント合わせを行うフォーカスレンズや、画角を調整するズームレンズ等が含まれる。

前記レンズ群１０１を通してカメラ内に入ってきた被写体像は赤外線カットフィルタＩＲＣＦ等の光学フィルタ１０２を通過し、撮像素子１０３に入射する。
レンズ群１０１を介して形成された被写体像は、撮像素子１０３の受光面に配置された所定のパターンのカラーフィルタを通り、撮像素子１０３の各画素で光電変換され、アナログの画像信号として出力される。

撮像素子１０３から出力される画像信号は、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）１０４でゲインコントロールによりレベル調整が行われ、Ａ／Ｄ変換部１０５でデジタル画像信号に変換される。
映像信号処理部１０６ではＡ／Ｄ変換部１０５からのデジタル画像信号に所定の処理を施し輝度信号と色信号からなる映像信号を出力すると共に、カメラ制御を行うための各種パラメータを生成する。

尚、カメラ制御を行うための各種パラメータとしては、例えば絞りの制御や、ピント合わせの制御、色味を調整するホワイトバランス制御などに使われるパラメータが含まれる。
露出制御部２０７は、映像信号処理部１０６から出力されるパラメータとしての輝度情報から撮影画面内の輝度情報を算出し、撮影画像を所望の明るさに調整するように絞りやＡＧＣ１０４を制御する。

光学制御部１０８は、ピント合わせ制御のために、映像信号処理部１０６で作成された映像信号から高周波成分を抜き出す。そして、前記高周波成分の値をフォーカスピント情報（フォーカス評価値）として、前記フォーカス評価値が最大となるように前記レンズ群１０１を制御する。又、光学制御部１０８はレンズ群１０１の焦点距離調整や、輝度レベルに応じて光学フィルタ１０２の挿抜制御も行う。

ブレ補正量演算部１０９は、角速度センサ２１５から取得したブレ信号としての角速度情報にデジタルフィルタ等の信号処理をおこなうことでブレ補正量を算出する。そして算出されたブレ補正量に応じて後述の画像メモリ４０９からの映像の切り出し位置（読出し領域）を変更して電子式ブレ補正を行う。即ち、ブレ補正量演算部１０９は、複数のカメラユニットにより得られた複数の映像信号のブレ補正を映像信号毎にブレ信号を用いて夫々行うブレ補正工程を実行するためのブレ補正手段として機能している。

映像信号出力部１１０では電子式ブレ補正された映像を所定のフォーマットで出力し、有線又は無線で通信を行う通信部２１６を介して表示部２１７に対して送信すると共に、ブレ残り量算出部１１１に供給する。
ここで、角速度センサ２１５は、ブレを検出してブレ信号を出力するブレセンサーとして機能している。しかし、ブレセンサーとしては、例えばブレ残り量算出部１１１により映像信号中の平均動きベクトルの方向と、平均動きベクトルの量から算出することによってブレ信号を出力するものであっても良い。
尚、表示部２１７は画像処理装置１０００とは別体であっても一体であっても良く、ブレ補正後の複数の映像信号の映像を並べて表示する表示手段として機能している。

ブレ残り量算出部１１１は、前記映像信号出力部１１０から出力された電子式ブレ補正後の映像において、どの程度ブレ残りが発生しているかを算出する。即ち、例えば画面全体の動きベクトルの平均値をブレ残り量とすることができる。
ブレ残り位相取得部１１２は、前記ブレ残り量算出部１１１で算出されたブレ残り量を所定の時間間隔でサンプリングし所定期間分記憶し、ブレ残り量の波形信号を生成する。第２のカメラユニットの機能ブロックである２０１～２１２においても、第１のカメラユニットの機能ブロックである１０１～１１２と同様の動作を行う。

ブレ残り位相差算出部２１３は、第１のカメラユニットの前記ブレ残り位相取得部１１２で取得したブレ残り波形信号と第２のカメラユニットのブレ残り位相取得部２１２で取得したブレ残り量の波形信号を比較する。それによって、第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を算出する。ここで、ブレ残り位相差算出部２１３は、ブレ補正手段によって複数の映像信号のブレ補正を夫々行った後に残ったブレ残りの位相差を取得する位相差取得工程を実行する位相差取得手段として機能している。

位相差調整部２１４は、前記ブレ残り位相差算出部２１３で算出された、第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を基に、どの程度デジタルフィルタの位相を変更するかを算出する。そして、第１のカメラユニットの前記ブレ補正量演算部１０９で用いているデジタルフィルタ又は、第２のカメラユニットの前記ブレ補正量演算部２０９で用いているデジタルフィルタの少なくとも一方の位相を変更する。

即ち、位相差調整部２１４は、位相差が所定値以上の場合、複数の映像信号のブレ残りの位相を合わせる位相調整工程を実行する位相調整手段として機能している。
尚、実施例１においてはデジタルフィルタ（位相進み又は位相遅れフィルタ）の位相を変更しているが、ブレ補正信号の位相を変更するための遅延回路を設けても良い。

尚、図１に示される画像処理装置の複数の機能ブロック（例えば第１のカメラユニット１００、第２のカメラユニット２００等）は、実施例１では画像処理装置と同じ筐体に内蔵されている。しかし、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。
即ち、複数のカメラユニット等は別体でも良く、画像処理装置１０００は、例えば複数のカメラユニットからの映像信号を処理する汎用コンピュータやサーバー等であっても良い。

図２は実施例１における処理を示すフローチャートである。以下、図２を参照して、本発明の実施例１による、第１のカメラユニットと第２のカメラユニットのブレ残りの位相合わせについて説明する。尚、画像処理装置１０００に含まれる不図示の制御手段としてのコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって図２のフローチャートの夫々の処理が行われる。図３、図７～図１２のフローチャートについても同様である。

先ず図２のステップＳ２０１において、第１のカメラユニットと第２のカメラユニットのブレ残り量を取得する。即ち、電子式ブレ補正後の映像において、どの程度ブレ残りが発生しているかを、例えば動きベクトル量を用いて算出する。
尚、実施例１では動きベクトル量を用いてブレ残り量を算出しているが、ジャイロ信号を併用してブレ残り量を算出しても良い。

ステップＳ２０２において、ステップＳ２０１で算出したブレ残り量が所定値以上であるかを判定する。判定した結果、ブレ残り量が所定値以上ではない場合（ＮＯ）、第１のカメラユニットと第２のカメラユニットの位相を合わせることをせず図２のフローを終了する。
これは、ブレ残り量が微小である場合には第１のカメラユニットと第２のカメラユニットの位相が異なっていても、各カメラユニットの映像を並べて繋げて表示した時に、繋ぎ目部分のずれが微小であり、目立つことがなく不自然にはならないためである。

ステップＳ２０２で判定した結果、ブレ残り量が所定値以上である場合は（ＹＥＳ）、ステップＳ２０１で算出した第１のカメラユニットと第２のカメラユニットのブレ残りの位相差が所定値以上であるかを判定する（ステップＳ２０３）。
ステップＳ２０３で判定した結果、ブレ残りの位相差が所定値より小さい場合（ＮＯ）、第１のカメラユニットと第２のカメラユニットの位相を合わせることをせず図２のフローを終了する。

これは、位相差が微小である場合には、各カメラユニットの映像を並べて繋げて表示した時に、繋ぎ目部分のずれが微小であり、目立つことがなく不自然にはならないためである。
ステップＳ２０３で判定した結果、ブレ残りの位相差が所定値以上である場合は（ＹＥＳ）、第１のカメラユニットと第２のカメラユニットのブレ残りの位相を合わせる（ステップＳ２０４）。このように、本実施例では位相調整手段は、複数の映像信号のブレ残り量が所定値以上の場合であって位相差が所定値以上の場合に、複数の映像信号のブレ残りの位相を合わせている。しかし、複数の映像信号のブレ残り量が所定値以上でなくても、位相差が所定値以上の場合に、複数の映像信号のブレ残りの位相を合わせても良い。

図３は図２のステップＳ２０３の詳細を説明するフローチャートである。
以下、図３を参照して、ブレ残りの位相を合わせる詳細フローについて説明する。
先ず、図３のＳ３０１において、第１のカメラユニットと第２のカメラユニットのブレ残りの波形信号を取得する。
各カメラユニットのブレ残り量を所定の時間間隔でサンプリングし所定期間分記憶しておくことで、ブレ残りの波形信号を生成する。所定の時間間隔や所定期間は、撮像時間やシステム周波数やブレの周波数に応じて適宜変更する。

ステップＳ３０２において、ステップＳ３０１で取得した第１のカメラユニットのブレ残りの波形信号と第２のカメラユニットのブレ残りの波形信号を比較し、第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を算出する。
ステップＳ３０３において、ステップＳ３０２で算出した位相差が所定値以上であるかを判定する。ステップＳ３０３で判定した結果、ブレ残りの位相差が所定値以上でない場合（ＮＯ）、第１のカメラユニットと第２のカメラユニットの位相を合わせることをせず図３のフローを終了する。

ステップＳ３０３で判定した結果、ブレ残りの位相差が所定値以上である場合は（ＹＥＳ）、第１のカメラユニットのブレ補正量演算部１０９のブレ補正信号の位相を変更する（ステップＳ３０４）。

図４はブレ補正量演算部の詳細な構成例を示すブロック図である。
図１のブレ補正量演算部１０９、２０９は、画像処理装置に発生した揺れを、角速度センサ２１５から角速度信号として取得し、取得した角速度情報をＡ／Ｄ変換部４０２によってデジタル信号として出力する。
ゲイン調整部４０３は、Ａ／Ｄ変換部４０２によって出力されたデジタル信号に所定の係数を乗算することでデジタル信号の振幅調整をおこなう。

位相進みフィルタ４０４は、デジタル信号の位相を進めるためのフィルタであり、ＨＰＦ４０５は、所定の周波数帯域でフィルタリングをおこなう。
位相遅れフィルタ４０６は、ＨＰＦ４０５によりフィルタリングされた信号に対して、位相を遅らせるためのフィルタである。焦点距離演算部４０７は、レンズ群１０１の焦点距離情報を光学制御部１０８から取得し、焦点距離に応じたブレ補正量になるように信号の大きさを調整する。

積分処理部４０８は、焦点距離演算部４０７で算出された信号に対して、ＬＰＦ等を用いて積分をおこなうことで、最終的なブレ補正量を算出する。
画像メモリ４０９は映像信号処理部１０６からの映像信号を一時的に記憶するメモリである。
切り出し位置変更部４１０は積分処理部４０８から得られたブレ補正量及びブレ方向情報に基づき、画像メモリ４０９に記憶された画像の切り出し位置を変更することで映像中のブレを補正する。ブレの補正された映像は後段の映像信号出力部１１０に供給される。

図３のステップＳ３０４では、位相差調整部２１４の出力に基づき図４の位相進みフィルタ４０４又は位相遅れフィルタ４０６の少なくとも一方を変更することで第１のカメラユニットのブレ補正信号の位相を変更している。しかし、前述のようにブレ補正信号の位相を変更するための遅延回路等を別途設けても良い。このように実施例１では、複数の映像信号の少なくとも１つのブレ補正を行うためのブレ信号の位相を調整することで、複数の映像信号のブレ残りの位相を合わせている。

ステップＳ３０５では、第１のカメラユニットのデジタルフィルタのブレ補正信号の位相を変更した後の第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を再度算出する。算出の方法は、ステップＳ３０１とステップＳ３０２でおこなった方法と同様とする。
ステップＳ３０５で算出した各カメラユニットのブレ残りの位相差と、ステップＳ３０４で第１のカメラユニットのデジタルフィルタを変更する前に、ステップＳ３０２で算出した各カメラユニットのブレ残りの位相差と比較する。それによって、各カメラユニットの位相差が減少しているかを判定する（ステップＳ３０６）。

ステップＳ３０６で判定した結果、各カメラユニットの位相差が減少している場合は（ＹＥＳ）、そのまま何もせず図３のフローを終了する。
ステップＳ３０６で判定した結果、各カメラユニットの位相差が減少していない場合は（ＮＯ）、ステップＳ３０７に進む。そしてステップＳ３０７において、第２のカメラユニットのブレ補正量演算部２０９における位相進みフィルタ、又は位相遅れフィルタの少なくとも一方を変更することでブレ補正信号の位相を変更する（ステップＳ３０７）。

上記では、第１のカメラユニットのブレ補正信号の位相を先に変更したが、第２のカメラユニットのブレ補正信号の位相を先に変更しても良い。
このように本実施例では、位相差が所定値以上の場合、複数の映像信号の内の１つの映像信号のブレ残りの位相を調整すると共に、調整後に前記ブレ残りが所定値以上ある場合には更に複数の映像信号の内の他の映像信号のブレ残りの位相を調整している。

図５はブレ残りの波形信号例を示す図である。
図５の点線で描かれた波形信号は、第１のカメラユニットのブレ残りの波形信号を示し、図５の実線で描かれた波形信号は、第２のカメラユニットのブレ残りの波形信号を示す。
第１のカメラユニット又は第２のカメラユニットのデジタルフィルタを変更することで、図５（Ａ）のように各カメラユニットで位相がずれていた波形信号が、図５（Ｂ）のように位相が揃った波形信号となる。

図６は、表示部２１７によって第１のカメラユニットと第２のカメラユニットの映像を並べて繋げて表示した図である。図６のように、各カメラユニットのブレ残りの位相差を合わせなかった場合、図６上図の点線部分ように繋ぎ目部分がずれてしまい不自然な映像になってしまう。
一方、本実施例によれば、各カメラユニットのブレ残りの位相差を合わせることで、図６下図のように繋ぎ目部分がずれることなく自然な映像にすることができる。

以下、図７を参照して、本発明の実施例２について説明する。
図７は実施例２の処理フローを示すフローチャートである。ステップＳ７０１～Ｓ７０３、Ｓ７０５、Ｓ７０６は図３のステップＳ３０１～ステップＳ３０３、Ｓ３０５、Ｓ３０６と同じである。
先ず、図７のステップＳ７０１において、第１のカメラユニットと第２のカメラユニットのブレ残りの波形信号を取得する。ブレ残りの波形信号の取得方法は、実施例１の図３のフローチャートのステップＳ３０１における方法と同様で良い。

ステップＳ７０１で取得した各カメラユニットのブレ残りの波形信号を比較することで、第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を算出する（ステップＳ７０２）。
ステップＳ７０３において、ステップＳ７０２で算出した位相差が所定値以上であるかを判定する。ステップＳ７０３で判定した結果、ブレ残りの位相差が所定値以上でない場合（ＮＯ）、第１のカメラユニットと第２のカメラユニットの位相を合わせることをせず図７のフローを終了する。

ステップＳ７０３で判定した結果、ブレ残りの位相差が所定値以上である場合は（ＹＥＳ）、第１のカメラユニットの撮像タイミングを変更する（ステップＳ７０４）。
ステップＳ７０５では、第１のカメラユニットの撮像タイミングを変更した後の第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を再度算出する。算出の方法は、ステップＳ７０１とステップＳ７０２でおこなった方法と同様とする。

ステップＳ７０５で算出した各カメラユニットのブレ残りの位相差と、ステップＳ７０２で算出した各カメラユニットのブレ残りの位相差と比較することで、各カメラユニットの位相差が減少しているかを判定する（ステップＳ７０６）。
ステップＳ７０６で判定した結果、各カメラユニットの位相差が減少している場合は（ＹＥＳ）、そのまま何もせず終了する。

ステップＳ７０６で判定した結果、各カメラユニットの位相差が減少していない場合は（ＮＯ）、第２のカメラユニットの撮像タイミングを変更する（ステップＳ７０７）。
上記では、第１のカメラユニットの撮像タイミングを先に変更したが、第２のカメラユニットの撮像タイミングを先に変更しても良い。
このように、実施例２においては、位相調整手段は、複数のカメラユニットの少なくとも１つの撮像タイミングを調整することにより複数の映像信号のブレ残りの位相を合わせている。

図８は実施例３における処理を示すフローチャートである。図８において、ステップＳ８０１～Ｓ８０３、Ｓ８０５、Ｓ８０６は図７のステップＳ７０１～Ｓ７０３、Ｓ７０５、Ｓ７０６と同じであるので説明は一部省略する。
実施例３においては、各カメラユニットの位相を合わせるために角速度センサの出力であるジャイロ信号のサンプリングタイミングを変更する。

即ち、図８では第１のカメラユニットと第２のカメラユニットのブレ残りの位相差をステップＳ８０３で判定した結果、ブレ残りの位相差が所定値以上である場合は（ＹＥＳ）、ステップＳ８０４に進む。そして、ステップＳ８０４で、第１のカメラユニットのブレ信号としてのジャイロ信号を取得するサンプリングタイミングを変更することで、各カメラユニット間の相差を合わせる（ステップＳ８０４）

更にステップＳ８０６で位相差が減少していない場合にはステップＳ８０７で第２のカメラユニットのジャイロ信号を取得するサンプリングタイミングを変更する。
このように、実施例３では、複数の映像信号の少なくとも１つのブレ補正を行うための前記ブレ信号としての角速度センサの出力のサンプリングタイミングを変更することで複数の映像信号のブレ残りの位相を合わせている。

図９は実施例４における処理を示すフローチャートである。図９において、ステップＳ９０１～Ｓ９０３、Ｓ９０５、Ｓ９０６は図８のステップＳ８０１～Ｓ８０３、Ｓ８０５、Ｓ８０６と同じであるので説明は一部省略する。
実施例４においては、各カメラユニットの位相を合わせるために撮像時間を変更する。ここで撮像時間は、メカ的なシャッタのシャッタスピードを変更することによって変更しても良いし、撮像素子の蓄積時間を変更することによって変更しても良い。或いは両者を組み合わせて変更しても良い。

図９においては、第１のカメラユニットと第２のカメラユニットのブレ残りの位相差をステップＳ９０３で判定した結果、ブレ残りの位相差が所定値以上である場合は（ＹＥＳ）、ステップＳ９０４に進む。そしてステップＳ９０４において、第１のカメラユニットの撮像時間を変更することで、各カメラユニット間の位相差を合わせる（ステップＳ９０４）。

更にステップＳ９０６で位相差が減少していない場合にはステップＳ９０７において、第２のカメラユニットの撮像時間を変更することで、各カメラユニット間の位相差を合わせる。
このように、実施例４においては、位相調整手段は、複数のカメラユニットの少なくとも１つの撮像時間を調整することにより複数の映像信号のブレ残りの位相を合わせている。

図１０は実施例５における処理を示すフローチャートである。
実施例１～４では、各カメラユニットのブレ残りの位相差を合わせるために、ブレ補正信号の位相や撮像タイミングや撮像時間のみを変更した。しかし実施例５では、ブレ残りの位相差に応じて、撮像タイミングとブレ補正信号の位相をともに変更する。

先ずステップＳ１００１において、第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を算出する。そしてステップＳ１００２において、算出された位相差が第１の閾値（Ｔｈ１）以上であるかを判定する。
ステップＳ１００２で判定した結果、位相差が第１の閾値以上ではない場合（ＮＯ）、ステップＳ１００５に進む。

一方、ステップＳ１００２で判定した結果、位相差が第１の閾値以上である場合（ＹＥＳ）、ステップＳ１００３において第１のカメラユニット又は第２のカメラユニットの撮像タイミングを最初に変更する。
ステップＳ１００３で撮像タイミングを変更した後、ステップＳ１００４において第１のカメラユニットと第２のカメラユニットのブレ残りの位相差を再度算出し、ステップＳ１００５に進む。

ステップＳ１００５ではブレ残りの位相差が第１の閾値以下かつ第２の閾値（Ｔｈ２）以上かつ第１の閾値（Ｔｈ１）未満になっているかを判定する（ステップＳ１００５）。ここで、Ｔｈ２＜Ｔｈ１とする。
ステップＳ１００５で判定した結果、ブレ残りの位相差が第２の閾値以上かつ第１の閾値未満である場合（ＹＥＳ）、ステップＳ１００６に進む。そしてステップＳ１００６において、第１のカメラユニット又は第２のカメラユニットのブレ補正で用いるデジタルフィルタによりブレ補正信号の位相を変更する。
ステップＳ１００５でＮＯの場合には、そのまま何もせず図１０のフローを終了する。

図１１は実施例６における処理を示すフローチャートである。
実施例１～５では、隣接表示をするためのカメラユニットの数が２つの場合を例として説明したが、実施例６では隣接表示をするためのカメラユニットの数が３つ以上の場合、どのカメラユニットを主として位相を合わせるかを決定する。
先ずステップＳ１１０１では、隣接表示を行うためのカメラユニット数を取得する。取得したカメラユニットの数が３つ以上であるかを判定し（ステップＳ１１０２）、判定した結果、カメラユニット数が３つ以上ではない場合（ＮＯ）、そのまま何も処理をせず図１１のフローを終了する。

ステップＳ１１０２で判定した結果、カメラユニット数が３つ以上である場合（ＹＥＳ）、画像内に人物が映っているカメラユニットが存在するかを判定する（ステップＳ１００３）。
ステップＳ１１０３で判定した結果、画像内に人物が映っているカメラユニットが存在する場合（ＹＥＳ）、画像内に人物が映っているカメラユニットに位相を合わせるように、他のカメラユニットの位相を調整する（ステップＳ１１０４）。

ステップＳ１１０３で判定した結果、画像内に人物が映っているカメラユニットが存在しない場合、そのまま何も処理をせず終了する。尚、実施例６では３つ以上のカメラユニットの映像を隣接表示する場合に、人物が映っているカメラユニットに他のカメラユニットの位相を合わせるようにした。しかし、予め特定の被写体を指定した場合には、その特定の被写体が映っているカメラユニットの位相に他のカメラユニットの位相を合わせるようにしても良い。

更に、２つのカメラユニットの映像を隣接表示する場合においても、特定の被写体が映っているカメラユニットの位相に他のカメラユニットの位相を合わせるようにしても良い。
このように、本実施例では、位相調整手段は、位相差が所定値以上の場合、複数の映像信号の内の１つの映像信号のブレ残りの位相に合わせて他の映像信号のブレ残りの位相を調整している。しかも、複数の映像信号の内の所定の被写体が映っている映像信号のブレ残りの位相に合わせて他の映像信号のブレ残りの位相を調整している。

図１２は実施例７における処理を示すフローチャートである。
実施例７では、カメラユニットに発生しているブレ（振動）の周波数をブレセンサーとしての角速度センサ２１５等で検出し、その周波数に応じて、位相合わせの強度を変更する。
先ずステップＳ１２０１において、カメラユニットに発生しているブレ（振動）の周波数検出をブレセンサーとしての角速度センサ２１５等から得られたブレ信号に基づきおこなう。ステップＳ１２０１において、検出されたブレ（振動）の周波数が所定の周波数以下かを判定する（ステップＳ１２０２）。
ステップＳ１２０２で判定した結果、検出されたブレ（振動）の周波数が所定の周波数以下である場合（ＹＥＳ）、ステップＳ１２０３において、位相を合わせる度合いを大きくする。即ち、より位相が合うようにする。
一方、ステップＳ１２０２で判定した結果、検出されたブレ（振動）の周波数が所定の周波数より大きい場合（ＮＯ）、ステップＳ１２０４において、位相を合わせる度合いを小さくする。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１０００ 画像処理装置
１００ 第１のカメラユニット
２００ 第２のカメラユニット
１０９ ブレ補正量演算部
１１１ ブレ残り量算出部
１１２ ブレ残り位相取得部
２１３ ブレ残り位相差算出部
２１４ 位相差調整部
２１５ 角速度センサ

Claims (17)

1. 複数のカメラユニットにより得られた複数の映像信号のブレ補正を夫々行うブレ補正手段と、
   前記ブレ補正手段によって前記複数の映像信号のブレ補正を夫々行った後に残ったブレ残りの位相差を取得する位相差取得手段と、
   前記位相差が所定値以上の場合、前記複数の映像信号の前記ブレ残りの位相を合わせる位相調整手段と、を有することを特徴とする画像処理装置。
2. 前記位相調整手段は、前記複数の映像信号のブレ残り量が所定値以上の場合に、前記複数の映像信号の前記ブレ残りの位相を合わせることを特徴とする請求項１に記載の画像処理装置。
3. 前記位相差取得手段は、前記ブレ残りの波形信号を用いて前記ブレ残りの前記位相差を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 更にブレを検出してブレ信号を出力するブレセンサーを有し、
   前記ブレ補正手段は、前記複数の映像信号毎に前記ブレセンサーから得られた前記ブレ信号を用いてブレ補正を行うことを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記位相調整手段は、前記複数の映像信号の少なくとも１つのブレ補正を行うための前記ブレ信号の位相を調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記位相調整手段は、前記複数の映像信号の少なくとも１つのブレ補正を行うための前記ブレ信号のサンプリングタイミングを調整することを特徴とする請求項４に記載の画像処理装置。
7. 前記位相調整手段は、前記複数のカメラユニットの少なくとも１つのカメラユニットの撮像タイミングを調整することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 前記位相調整手段は、前記複数のカメラユニットの少なくとも１つのカメラユニットの撮像時間を調整することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
9. 前記位相調整手段は、前記位相差が前記所定値以上の場合、前記複数の映像信号の内の１つの映像信号の前記ブレ残りの位相を調整すると共に、調整後に前記ブレ残りが所定値以上ある場合には更に前記複数の映像信号の内の他の映像信号の前記ブレ残りの位相を調整することを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
10. 前記位相調整手段は、前記位相差が前記所定値以上の場合、前記複数の映像信号の内の１つの映像信号の前記ブレ残りの位相に合わせて他の映像信号の前記ブレ残りの位相を調整することを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
11. 前記位相調整手段は、前記位相差が前記所定値以上の場合、前記複数の映像信号の内の所定の被写体が映っている映像信号の前記ブレ残りの位相に合わせて他の映像信号の前記ブレ残りの位相を調整することを特徴とする請求項１０に記載の画像処理装置。
12. 更にブレを検出してブレ信号を出力するブレセンサーを有し、
    前記ブレセンサーにより出力されるブレ信号の周波数に応じて、位相差を合わせる度合いを変更することを特徴とする請求項１に記載の画像処置装置。
13. 検出された周波数が所定の周波数以下の場合、位相差を合わせる度合いを強くすることを特徴とする請求項１２に記載の画像処置装置。
14. 検出された周波数が所定の周波数より大きい場合、位相差を合わせる度合いを弱くすることを特徴とする請求項１２に記載の画像処置装置。
15. 前記複数のカメラユニットは、同じ筐体に内蔵されていることを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
16. 複数のカメラユニットにより得られた複数の映像信号のブレ補正を夫々行うブレ補正工程と、
    前記ブレ補正工程によって前記複数の映像信号のブレ補正を夫々行った後に残ったブレ残りの位相差を取得する位相差取得工程と、
    前記位相差が所定値以上の場合、前記複数の映像信号の前記ブレ残りの位相を合わせる位相調整工程と、を有することを特徴とする画像処理方法。
17. 請求項１～１５のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
    

Images