JP2017158123A - 信号処理装置および撮像装置 - Google Patents

Abstract

【課題】処理コストや消費電力を低減することの可能な信号処理装置および撮像装置を提供する。【解決手段】本開示の一実施の形態の信号処理装置は、位置合わせ部および合成部を備えている。位置合わせ部は、画角の互いに異なる２つのＲＡＷデータに基づいて、２つのＲＡＷデータの位置合わせデータを生成する。合成部は、位置合わせ部によって生成された位置合わせデータに基づいて２つのＲＡＷデータを互いに合成する。【選択図】図６

Description

本開示は、信号処理装置および撮像装置に関する。

従来から、２つの撮像装置を用いて、高視野かつ高解像度の画像を撮像する撮像システムが提案されている（例えば、特許文献１参照）。

特開２００３−１３４３７５号公報

多くのスチルカメラやビデオカメラなどでは、単板式のイメージセンサが用いられる。単板式のイメージセンサを備えた撮像装置では、画素ごとにＲＧＢいずれか１つの色情報が設定されたＲＡＷデータ（モザイクデータ）が生成され、生成されたＲＡＷデータに対してデモザイク処理のなされたものが画像データとして出力される。画像データは、画素ごとにＲＧＢ全ての色情報が設定されており、例えば、ＪＰＥＧやＴＩＦＦなどの汎用画像フォーマットとなっている。

特許文献１に記載の２つの撮像装置において、単板式のイメージセンサが用いられ、画素ごとにＲＧＢ全ての色情報が設定された画像データが出力される場合には、撮像装置ごとに、デモザイク処理が行われる。さらに、特許文献１に記載の発明では、デモザイク処理がなされた画像データ同士を合成する処理が行われる。そのため、画素ごとの色情報の多さに起因して処理コストや消費電力が非常に大きくなるという問題がある。処理コストや消費電力を低減することの可能な信号処理装置および撮像装置を提供することが望ましい。

本開示の一実施の形態の第１の信号処理装置は、位置合わせ部および合成部を備えている。位置合わせ部は、画角の互いに異なる２つのＲＡＷデータに基づいて、２つのＲＡＷデータの位置合わせデータを生成する。合成部は、位置合わせ部によって生成された位置合わせデータに基づいて２つのＲＡＷデータを互いに合成する。

本開示の一実施の形態の第１の撮像装置は、各々で画角の互いに異なるＲＡＷデータを生成する２つの撮像デバイスを備えている。第１の撮像装置は、さらに、位置合わせ部および合成部を備えている。第１の撮像装置に設けられた位置合わせ部は、各々の撮像デバイスによって生成された２つのＲＡＷデータに基づいて、２つのＲＡＷデータの位置合わせデータを生成する。第１の撮像装置に設けられた合成部は、位置合わせ部によって生成された位置合わせデータに基づいて２つのＲＡＷデータを互いに合成する。

本開示の一実施の形態の第１の信号処理装置および第１の撮像装置では、画角の互いに異なる２つのＲＡＷデータに基づいて生成された位置合わせデータに基づいて、２つのＲＡＷデータが互いに合成される。これにより、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理後の画像データと比べて、画素ごとの色情報が少なく、合成のために必要な演算量が抑えられる。

本開示の一実施の形態の第２の信号処理装置は、位置合わせ部および合成部を備えている。位置合わせ部は、画角の互いに異なる３つ以上のＲＡＷデータに基づいて、３つ以上のＲＡＷデータの位置合わせデータを生成する。合成部は、位置合わせ部によって生成された位置合わせデータに基づいて３つ以上のＲＡＷデータを互いに合成する。

本開示の一実施の形態の第２の撮像装置は、各々で画角の互いに異なるＲＡＷデータを生成する３つ以上の撮像デバイスを備えている。第２の撮像装置は、さらに、位置合わせ部および合成部を備えている。第２の撮像装置に設けられた位置合わせ部は、各々の撮像デバイスによって生成された３つ以上のＲＡＷデータに基づいて、３つ以上のＲＡＷデータの位置合わせデータを生成する。第２の撮像装置に設けられた合成部は、位置合わせ部によって生成された位置合わせデータに基づいて３つ以上のＲＡＷデータを互いに合成する。

本開示の一実施の形態の第２の信号処理装置および第２の撮像装置では、画角の互いに異なる３つ以上のＲＡＷデータに基づいて生成された位置合わせデータに基づいて、３つ以上のＲＡＷデータが互いに合成される。これにより、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理後の画像データと比べて、画素ごとの色情報が少なく、合成のために必要な演算量が抑えられる。

本開示の一実施の形態の第１および第２の信号処理装置ならびに第１および第２の撮像装置によれば、デモザイク処理が行われる前のＲＡＷデータの段階で合成を行うようにしたので、デモザイク処理の回数を１回に減らすことができる。さらに、合成対象であるＲＡＷデータは、従来の合成対象であるカラー画像データと比べて、画素ごとの色情報が少ないので、合成のために必要な演算量を抑えることができる。従って、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。なお、本開示の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。

本開示の一実施の形態に係る撮像装置の概略構成の一例を表す図である。 撮像装置の概略構成の一例を表す図である。 図１，図２の撮像装置の機能ブロックの一例を表す図である。 図３の撮像素子における画素配列の一例を表す図である。 図３の合成処理部における信号処理の概念の一例を表す図である。 図３の合成処理部の機能ブロックの一例を表す図である。 図６の合成処理部における信号処理手順の一例を表す図である。 画素補間の一例を表す図である。 中心画素がＧ画素のときの補間フィルタの一例を表す図である。 中心画素がＲ画素，Ｂ画素のときの補間フィルタの一例を表す図である。 図６のフュージョン部の内部構成の一例を表す図である。 図６のフュージョン部の内部構成の一例を表す図である。 図６のＬＰＦ部の内部構成の一例を表す図である。 図１３のＬＰＦ部の内部に並列配置された複数のＬＰＦ部のうちの１つのフィルタの一例を表す図である。 図１３のＬＰＦ部の内部に並列配置された複数のＬＰＦ部のうちの１つのフィルタの一例を表す図である。 図６の相関処理部における相関処理の一例を表す図である。 図６の相関処理部における相関処理の一例を表す図である。 図１の撮像装置の概略構成の一変形例を表す図である。 図１の撮像装置の機能ブロックの一変形例を表す図である。 図１８の合成処理部の機能ブロックの一例を表す図である。 従来の撮像装置の機能ブロックの一例を表す図である。

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行います。

１．実施の形態
２．変形例

＜１．実施の形態＞
[構成]
図１、図２は、本開示の一実施の形態に係る撮像装置１の概略構成の一例を表したものである。撮像装置１は、２つの撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりするものである。

２つの撮像デバイス１０，２０は、例えば、物理的な配置が互いに水平となるように配置されている。撮像デバイス１０の光軸ＡＸ１と、撮像デバイス２０の光軸ＡＸ２とは、例えば、図１に示したように、互いに平行となっている。光軸ＡＸ１と、光軸ＡＸ２とは、例えば、図２に示したように、互いに非平行となっていてもよい。このとき、光軸ＡＸ１および光軸ＡＸ２は、撮像装置１から離れるにつれて光軸ＡＸ１と光軸ＡＸ２との間隙が狭まる方向を向いていることが好ましい。

図１，図２に示したように、撮像デバイス２０は、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２としている。２つの撮像デバイス１０，２０は、各々で画角の互いに異なるＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成する。撮像デバイス１０は、相対的に画角の広いＲＡＷデータＩｒａｗ１（第１ＲＡＷデータ）を撮像により生成する。撮像デバイス２０は、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２（第２ＲＡＷデータ）を撮像により生成する。ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２については、後に詳述する。

図３は、撮像装置１の機能ブロックの一例を表したものである。撮像装置１は、例えば、２つの撮像デバイス１０，２０、信号処理部３０（信号処理装置）および制御部４０を備えている。制御部４０は、２つの撮像デバイス１０，２０および信号処理部３０を制御する。

（撮像デバイス１０）
撮像デバイス１０は、例えば、撮像素子１１および光学レンズ１２を有している。光学レンズ１２は、被写体光Ｌ１を集光して、撮像素子１１の光入射面に入射させる。光学レンズ１２は、例えば、撮像デバイス１０において固定されている。このとき、撮像デバイス１０の焦点距離が一定値で固定されている。撮像デバイス１０は、さらに、例えば、アイリスや可変光学ＬＰＦを、撮像素子１１の光入射面側に有していてもよい。撮像素子１１については後述する。

（撮像デバイス２０）
撮像デバイス２０は、例えば、撮像素子２１および光学レンズ２２を有している。光学レンズ１２は、被写体光Ｌ２を集光して、撮像素子２１の光入射面に入射させる。光学レンズ２２は、例えば、撮像デバイス２０において固定されている。このとき、撮像デバイス２０の焦点距離が一定値で固定されている。撮像デバイス２０は、さらに、例えば、アイリスや可変光学ＬＰＦを、撮像素子２１の光入射面側に有していてもよい。

（撮像素子１１，２１）
次に、撮像素子１１，２１について説明する。撮像素子１１，２１は、例えば、複数の光電変換素子が所定の間隔で２次元配置された受光部と、受光部の光入射面に配置されたカラーフィルタアレイとを有している。撮像素子１１，２１は、単板式の固体撮像素子であり、例えば、単板式のＣＣＤ（charge Coupled Device）イメージセンサや、単板式のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサによって構成されている。撮像素子１１，２１において、カラーフィルタアレイは、例えば、図４に示したように、ＲＧＢ配列からなるベイヤ配列となっている。なお、カラーフィルタアレイは、例えば、ＲＧＢＷ配列となっていてもよいし、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列となっていてもよい。なお、以下では、カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合を例にして説明する。

撮像素子１１，２１は、例えば、レンズ１２，２２等を経由して入射してきた被写体光Ｌ１，Ｌ２を、受光部およびカラーフィルタアレイで離散的にサンプリングすることにより、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成する。撮像素子１１は、相対的に画角の広いＲＡＷデータＩｒａｗ１を生成する。例えば、撮像デバイス１０の焦点距離を相対的に短くすることにより、画角が相対的に広いＲＡＷデータＩｒａｗ１が得られる。撮像素子２１は、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２を生成する。例えば、撮像デバイス１０の焦点距離を相対的に長くすることにより、画角が相対的に狭いＲＡＷデータＩｒａｗ２が得られる。

ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、それぞれ、カラーフィルタアレイに含まれる複数種類の色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータである。カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合には、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、カラーフィルタアレイに含まれる赤色情報、緑色情報および青色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータとなっている。ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２からカラー画像データＩｃｏｌを生成するためには、全ての画素について全ての色情報を、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成するデモザイク処理が必要となる。本実施の形態では、デモザイク処理を行う前のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２において合成が行われる。ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の合成については、後に詳述する。

（信号処理部３０）
次に、信号処理部３０について説明する。信号処理部３０は、例えば、図３に示したように、合成処理部３１およびカメラ信号処理部３２を有している。合成処理部３１は、各々の撮像デバイス１０，２０によって生成された２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成することにより、合成ＲＡＷデータＩｒａｗを生成する。カメラ信号処理部３２は、合成処理部３１で生成された合成ＲＡＷデータＩｒａｗに対してデモザイク処理を行うことにより、カラー画像データＩｃｏｌを生成する。カラー画像データＩｃｏｌは、例えば、カラーフィルタアレイに含まれる全ての種類の色情報を画素ごとに含んで構成されている。カラーフィルタアレイがＲＧＢのベイヤ配列となっている場合には、カラー画像データＩｃｏｌは、例えば、画素ごとにＲＧＢの色情報を含んで構成されている。

図５は、合成処理部３１における信号処理の概念の一例を表したものである。図５は、合成処理部３１における信号処理の分かりやすさが優先されている関係で、簡潔な説明となっている。そのため、図５では、上記の符号とは異なる符号が用いられている。

合成処理部３１は、撮像デバイス１０からワイド画像データＩｗｉｄｅを取得し、撮像デバイス２０からテレ画像データＩｔｅｌｅを取得する。テレ画像データＩｔｅｌｅでは、ワイド画像データＩｗｉｄｅと比べて、画角が小さくなっている。テレ画像データＩｔｅｌｅは、ワイド画像データＩｗｉｄｅの外縁を除く所定の領域αと対応している。合成処理部３１は、撮像デバイス１０，２０の倍率と、ワイド画像データＩｗｉｄｅおよびテレ画像データＩｔｅｌｅの画像サイズとに基づいて、所定の領域αを設定する。

合成処理部３１は、ワイド画像データＩｗｉｄｅから、所定の領域αを切り出すことにより、ワイド画像データＩｗｉｄｅ’を生成する。合成処理部３１は、撮像デバイス１０，２０の倍率に基づいて、テレ画像データＩｔｅｌｅを縮小することにより、テレ画像データＩｔｅｌｅ’を生成する。合成処理部３１は、ワイド画像データＩｗｉｄｅ’とテレ画像データＩｔｅｌｅ’とを互いに合成することにより、合成画像データＩｆｕｓｉｏｎを生成する。撮像デバイス１０の倍率が１倍となっており、撮像デバイス２０の倍率が２倍となっているとする。このとき、合成処理部３１は、例えば、ユーザによって指定された倍率が１倍のときには、ワイド画像データＩｗｉｄｅを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、テレ画像データＩｔｅｌｅをユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍〜２倍のときには、ワイド画像データＩｗｉｄｅにおいて、所定の領域αを合成画像データＩｆｕｓｉｏｎに置き換えたもの（合成画像データＩｍｅｒｇｅ）を、合成ＲＡＷデータＩｒａｗとして出力する。

なお、実際には、ワイド画像データＩｗｉｄｅ’と、テレ画像データＩｔｅｌｅ’とには、視差に起因する位置ずれや、撮像デバイス１０，２０間の感度違いおよび露光違いがある場合がある。合成画像データＩｆｕｓｉｏｎには、撮像デバイス１０，２０のナイキスト周波数を超える高周波成分が含まれている場合もある。そもそも、ワイド画像データＩｗｉｄｅ’やテレ画像データＩｔｅｌｅ’はモザイクデータであるので、ワイド画像データＩｗｉｄｅ’とテレ画像データＩｔｅｌｅ’とを互いに精度よく合成するためには、ワイド画像データＩｗｉｄｅ’やテレ画像データＩｔｅｌｅ’に対して画素補間を行うことが好ましい。従って、合成処理部３１は、ワイド画像データＩｗｉｄｅ’やテレ画像データＩｔｅｌｅ’に対して、以下に示したような各種の信号処理を行うことが好ましい。

図６は、合成処理部３１の機能ブロックの一例を表したものである。図７は、合成処理部３１における信号処理手順の一例を表したものである。

合成処理部３１は、位置合わせ部１３０および合成部１４０を有している。位置合わせ部１３０は、各々の撮像デバイス１０，２０によって生成された２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて、２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成する。

位置合わせ部１３０は、例えば、切出部１３１、ゲイン補正部１３２、画素補正部１３３，１３４、縮小部１３５および視差算出部１３６を有している。

切出部１３１は、ＲＡＷデータＩｒａｗ１において、ＲＡＷデータＩｒａｗ２との合成を行うフュージョン領域β（図５の領域αに相当）を指定する。具体的には、切出部１３１は、撮像デバイス１０，２０の倍率と、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、フュージョン領域βを指定する。切出部１３１は、例えば、撮像デバイス１０，２０の倍率と、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、ＲＡＷデータＩｒａｗ１における、フュージョン領域βの座標を指定する。切出部１３１は、例えば、指定した座標に基づいて、フュージョン領域βに対応するＲＡＷデータＩｒａｗ１ａを、ＲＡＷデータＩｒａｗ１から切り出す（ステップＳ１０１）。

なお、合成処理部３１は、ＲＡＷデータＩｒａｗ１ａおよびＲＡＷデータＩｒａｗ２に対して、ＯＰＢ（Optical Black）減算を行ってもよい。ＯＰＢ減算とは、暗電流などに起因して生じるノイズ成分を除外することを指している。合成処理部３１は、例えば、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２から、撮像デバイス１０，２０が遮光されているときに生じるノイズ成分を除外してもよい。このとき、ノイズ成分の除外により、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２において値が負となる画素がある場合には、合成処理部３１は、その画素の座標を記憶しておく。

ゲイン補正部１３２は、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ内の平均値を色情報ごとに算出するとともに、ＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３２は、算出した補正ゲインに基づいて、ＲＡＷデータＩｒａｗ２を補正し（ステップＳ１０２）、これにより、ＲＡＷデータＩｒａｗ２ａを生成する。

画素補正部１３３は、ＲＡＷデータＩｒａｗ１ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ１ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する（ステップＳ１０３）。画素補正部１３４は、ＲＡＷデータＩｒａｗ２ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ２ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。

画素補正部１３３は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ１ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する。画素補正部１３３は、さらに、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ２ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３３は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。

縮小部１３５は、撮像デバイス１０，２０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ２ｂを縮小する（ステップＳ１０４）。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する（ステップＳ１０５）。視差情報Ｄｉｓｐは、撮像デバイス１０と撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量に相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃから視差情報Ｄｉｓｐを生成する。

合成部１４０は、例えば、フュージョン部１４１、ＬＰＦ部１４２、相関処理部１４３、マージ部１４４および選択部１４５を有している。

フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ１０６）。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する

図１１は、フュージョン部１４１の内部構成の一例を表わしたものである。フュージョン部１４１は、例えば、ＬＰＦ部１４１Ａ、ＨＰＦ１４１Ｂ、視差補正部１４１Ｃおよび重畳部１４１Ｄを有している。ＬＰＦ部１４１Ａは、補間ＲＡＷデータＩｒａｗ１ｂにおける低周波成分を抽出することにより、補間ＲＡＷデータＩｒａｗ１ｃを生成する。ＨＰＦ１４１Ｂは、補間ＲＡＷデータＩｒａｗ２ｃにおける高周波成分を抽出することにより、補間ＲＡＷデータＩｒａｗ２ｄを生成する。視差補正部１４１Ｃは、視差情報Ｄｉｓｐ基づいて補間ＲＡＷデータＩｒａｗ２ｄを補正することにより、補間ＲＡＷデータＩｒａｗ２ｅを生成する。重畳部１４１Ｄは、補間ＲＡＷデータＩｒａｗ１ｃに、補間ＲＡＷデータＩｒａｗ２ｅを足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

なお、フュージョン部１４１は、例えば、図１２に示したように、補間ＲＡＷデータＩｒａｗ１ｃに、補間ＲＡＷデータＩｒａｗ２ｅを足し合わせる際に、補間ＲＡＷデータＩｒａｗ２ｅに対してマップ処理を行うマップ処理部１４１Ｅを有していてもよい。マップとしては、例えば、フュージョン結果や入力信号、視差情報Ｄｉｓｐからフュージョンの失敗しやすい箇所を検出して、フュージョン信頼度を生成する。本マップを使用して信頼度の低い箇所はフュージョン効果を弱めることでフュージョンの失敗を最終結果にて検知しづらくすることができる。また、後述の相関処理部１４３によって生成されるＲＡＷデータＩｒａｗ３ｃと、ＲＡＷデータＩｒａｗ１とを互いに合成した際に、ＲＡＷデータＩｒａｗ３ｃと、ＲＡＷデータＩｒａｗ１との境界で解像度の変化を滑らかにするためにもマップを利用してもよい。この場合、マップの形状は合成データの外縁に近づくに従って段階的にフュージョン効果を弱めるような形状をもつ。

ＬＰＦ部１４２は、合成ＲＡＷデータＩｒａｗ３ａに含まれる、各撮像デバイス１０，２０のナイキスト周波数を超える高周波成分を減衰させることにより、合成ＲＡＷデータＩｒａｗ３ｂを生成する（ステップＳ１０７）。これにより、偽色の発生が抑制される。図１３は、ＬＰＦ部１４２の内部構成の一例を表したものである。ＬＰＦ部１４２は、例えば、カットオフ周波数の互いに異なる複数のＬＰＦが並列配置された構成となっている。ＬＰＦ部１４２は、例えば、ＬＰＦ１４２Ａおよびゲイン部１４２Ｄが直列接続されてなる第１パスＰ１と、ＬＰＦ１４２Ｂおよびゲイン部１４２Ｅが直列接続されてなる第２パスＰ２と、ゲイン部１４２Ｃだけが設けられた第３パスＰ３とを有している。ＬＰＦ１４２Ａは、例えば、図１４に示したように、撮像デバイス１０のナイキスト周波数Ｎｙｑ１をカットオフ周波数とするとともに、カットオフ周波数に近づくにつれて減衰率が高くなるフィルタ特性となっている。ＬＰＦ１４２Ｂは、例えば、図１５に示したように、撮像デバイス１０のナイキスト周波数Ｎｙｑ１と、撮像デバイス２０のナイキスト周波数Ｎｙｑ２との間の周波数をカットオフ周波数とするとともに、カットオフ周波数に近づくにつれて減衰率が高くなるフィルタ特性となっている。これにより、ＬＰＦ部１４２では、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂの選択により、高域の減衰に対して強弱を調整することができる。

第１パスＰ１、第２パスＰ２および第３パスＰ３は、互いに並列に接続されている。ＬＰＦ部１４２は、制御部４０からの制御信号に従って、ゲイン部１４２Ｃ，１４２Ｄ、１４２Ｅの各々のゲインが互いに独立に設定されるように構成されている。従って、例えば、ゲイン部１４２Ｃ，１４２Ｄのゲインがゼロとなり、ゲイン部１４２Ｅのゲインが１となるように、ＬＰＦ部１４２に対して制御信号が入力された場合には、ＬＰＦ部１４２は、ＬＰＦ部１４２Ｂとして機能する。また、例えば、ゲイン部１４２Ｃのゲインがゼロとなり、ゲイン部１４２Ｄ，１４２Ｅのゲインが１となるように、ＬＰＦ部１４２に対して制御信号が入力された場合には、ＬＰＦ部１４２は、互いに並列配置されたＬＰＦ部１４２Ａ，１４２Ｂとして機能する。

相関処理部１４３は、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行ったもの（合成ＲＡＷデータＩｒａｗ３ｂ）に対して、相関処理を行う（ステップＳ１０８）。相関処理部１４３は、例えば、図１６Ａに示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、ＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの差分である色差成分（Ｉｒａｗ１−Ｉｒａｗ１ｂ）を付加する。相関処理には色比を用いることも可能である。相関処理部１４３は、例えば、図１６Ｂに示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、ＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの比である色比成分（Ｉｒａｗ１／Ｉｒａｗ１ｂ）を乗じてもよい。これにより、相関処理部１４３は、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の配列に対応する配列のＲＡＷデータＩｒａｗ３ｃ（第３ＲＡＷデータ）を生成する。

マージ部１４４は、ＲＡＷデータＩｒａｗａ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより、デモザイク処理用のＲＡＷデータＩｒａｗ３ｄ（第４ＲＡＷデータ）を生成する（ステップＳ１０９）。このとき、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗ３ｃの周縁に、色情報ゼロの額縁状の領域を設けることにより、ＲＡＷデータＩｒａｗ３ｃの画像サイズを、ＲＡＷデータＩｒａｗａ１の画像サイズに揃える。続いて、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗａ１のうちのフュージョン領域αの色情報をゼロにする。さらに、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗａ１に、ＲＡＷデータＩｒａｗａ１の画像サイズに揃えたＲＡＷデータＩｒａｗ３ｃを足し合わせる。つまり、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗａ１のうちのフュージョン領域αを、ＲＡＷデータＩｒａｗ３ｃに置き換える。

なお、合成処理部３１がＯＰＢ減算を行った場合には、マージ部１４４は、合成処理を行う前に、ＯＰＢ減算によって除外したノイズ成分を、符号も考慮した上で、ＲＡＷデータＩｒａｗ３ｃに加算してもよい。

選択部１４５は、ユーザによって指定される倍率に応じて、出力する合成ＲＡＷデータＩｒａｗを選択する。撮像デバイス１０の倍率が１倍となっており、撮像デバイス２０の倍率が２倍となっているとする。このとき、選択部１４５は、例えば、ユーザによって指定された倍率が１倍のときには、ＲＡＷデータＩｒａｗ１を、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、ＲＡＷデータＩｒａｗ２をユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍〜２倍のときには、ＲＡＷデータＩｒａｗ３ｄを、合成ＲＡＷデータＩｒａｗとして出力する。

[効果]
次に、撮像装置１の効果について説明する。

図２０は、従来の撮像装置２００の機能ブロックの一例を表したものである。撮像装置２００は、２台の撮像デバイス２１０，２２０を備えている。撮像装置２００は、撮像デバイス２１０で得られたＲＡＷデータＩｒａｗ１をカラー画像データＩｃｏｌ１に変換するカメラ信号処理部２３０と、撮像デバイス２２０で得られたＲＡＷデータＩｒａｗ２をカラー画像データＩｃｏｌ２に変換するカメラ信号処理部２４０とを備えている。撮像装置２００は、さらに、カメラ信号処理部２３０，２４０で得られたカラー画像データＩｃｏｌ１，Ｉｃｏｌ２を互いに合成することにより、カラー画像データＩｃｏｌ３を生成する。このように、従来の撮像装置２００では、カラー画像化（デモザイク処理）が撮像デバイス２１０，２２０ごとに行われるとともに、カラー画像化（デモザイク処理）がなされた後に、画像合成がなされる。そのため、画素ごとの色情報の多さに起因して処理コストや消費電力が非常に大きくなるという問題があった。

一方、本実施の形態では、画角の互いに異なる２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて生成された位置合わせデータに基づいて、２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２が互いに合成される。つまり、本実施の形態では、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理の回数を１回に減らすことができる。さらに、本実施の形態における合成対象であるＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、従来の合成対象であるカラー画像データＩｃｏｌ１，Ｉｃｏｌ２と比べて、画素ごとの色情報が少ないので、合成のために必要な演算量を抑えることができる。従って、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。

また、本実施の形態では、合成処理部３１からはＲＡＷデータＩｒａｗが出力される。これにより、合成処理部３１の後段であるカメラ信号処理部３２には、従前のカメラ信号処理部２３０等を、改変を加えずにそのまま用いることもできる。つまり、本実施の形態では、カメラ信号処理部３２に対して、単一の撮像デバイスのＲＡＷ出力に対する、デモザイク処理以降の処理構成に一切の変更を行っていないものを適用することができる。従って、本実施の形態では、単一の撮像デバイスを使ったときと同様の簡便さで、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。

また、本実施の形態では、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が撮像デバイス２０の撮像領域Ｒ２となっている。さらに、本実施の形態では、相対的に画角の広いＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２が撮像デバイス１０，２０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、ＲＡＷデータＩｒａｗ２とが互いに合成される。言い換えると、枠状のＲＡＷデータＩｒａｗ１に、ＲＡＷデータＩｒａｗ２が嵌め込まれる。その結果、２つの撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりすることができる。

また、本実施の形態では、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる所定種類の色情報に基づいて、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる全ての画素の補間が行われる。これにより、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に対してデモザイク処理を行った上で合成処理を行うときと同程度の精度で、合成処理を行うことができる。

また、本実施の形態では、２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成した２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｂに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐが生成される。これにより、視差情報Ｄｉｓｐを用いることにより、補間ＲＡＷデータＩｒａｗ１ｂと補間ＲＡＷデータＩｒａｗ２ｃとの合成精度を高くすることができる。

また、本実施の形態では、合成ＲＡＷデータＩｒａｗ３ａに含まれる、各撮像デバイス１０，２０のナイキスト周波数を超える高周波成分がＬＰＦ１４２によって減衰される。これにより、ＲＡＷデータＩｒａｗａ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成したときに、偽色の発生を抑えることができる。さらに、本実施の形態では、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂが並列配置されており、かつ、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂのいずれか一方を選択することができる。これにより、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂの選択により、高域の減衰に対して強弱を調整することができる。

また、本実施の形態では、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行ったもの（合成ＲＡＷデータＩｒａｗ３ｂ）に対して、色差成分（Ｉｒａｗ１-Ｉｒａｗ１ｂ)が付加される。このように、本実施の形態では、色情報を少なくして合成処理が行われた後に、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、失われた色情報が戻される。従って、本実施の形態では、合成処理に要する処理コストや消費電力を低減しつつ、合成精度を高くすることができる。

また、本実施の形態では、ＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより生成したＲＡＷデータＩｒａｗ３ｄに対してデモザイク処理が行われる。このように、本実施の形態では、ＲＡＷデータでの合成がなされた後にデモザイク処理が行われるので、デモザイク処理が行われた後に合成がなされる場合と比べて、処理コストや消費電力を低減することができる。

＜２．変形例＞
次に、上記実施の形態の撮像装置１の変形例について説明する。

上記実施の形態では、撮像装置１は２つの撮像デバイス１０，２０を備えていたが、３つ以上の撮像デバイスを備えていてもよい。例えば、図１７、図１８に示したように、撮像装置１は３つの撮像デバイス１０，２０，５０を備えていてもよい。３つの撮像デバイス１０，２０，５０は、例えば、物理的な配置が互いに水平となるように配置されている。撮像デバイス１０の光軸ＡＸ１と、撮像デバイス２０の光軸ＡＸ２と、撮像デバイス５０の光軸ＡＸ３とは、例えば、図１７示したように、互いに非平行となっている。このとき、光軸ＡＸ１，ＡＸ２，ＡＸ３は、撮像装置１から離れるにつれて光軸ＡＸ１，ＡＸ２，ＡＸ３のそれぞれの間隙が互いに狭まる方向を向いていることが好ましい。光軸ＡＸ１，ＡＸ２，ＡＸ３は、互いに平行となっていてもよい。

本変形例では、位置合わせ部１３０は、各々の撮像デバイス１０，２０によって生成された３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４に基づいて、３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４を互いに合成する。

本変形例では、撮像デバイス２０は、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２としている。撮像デバイス５０は、撮像素子５１および光学レンズ５２を有しており、撮像デバイス２０の撮像領域Ｒ２のうち外縁を除く領域を撮像領域Ｒ３としている。３つの撮像デバイス１０，２０，３０は、各々で画角の互いに異なるＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４を生成する。撮像デバイス１０は、最も画角の広いＲＡＷデータＩｒａｗ１（第１ＲＡＷデータ）を撮像により生成する。撮像デバイス２０は、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２（第２ＲＡＷデータ）を撮像により生成する。撮像デバイス３０は、ＲＡＷデータＩｒａｗ２よりも画角の狭いＲＡＷデータＩｒａｗ４（第３ＲＡＷデータ）を撮像により生成する。

本変形例では、合成処理部３１は、ＲＡＷデータＩｒａｗ１のうち外縁を除く所定の領域と、ＲＡＷデータＩｒａｗａ２との合成と、ＲＡＷデータＩｒａｗａ２のうち外縁を除く所定の領域と、ＲＡＷデータＩｒａｗ４との合成とを行う。

図１９は、本変形例における合成処理部３１の機能ブロックの一例を表したものである。本変形例では、位置合わせ部１３０は、ＲＡＷデータＩｒａｗ３用の信号処理ブロックを有しており、例えば、ゲイン補正部１３７、画素補正部１３８および縮小部１３９を有している。

ゲイン補正部１３７は、ＲＡＷデータＩｒａｗ２，Ｉｒａｗ３における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３７は、例えば、ＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出するとともに、ＲＡＷデータＩｒａｗ３内の平均値を色情報ごとに算出する。ゲイン補正部１３７は、例えば、ＲＡＷデータＩｒａｗ２，Ｉｒａｗ３における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３７は、算出した補正ゲインに基づいて、ＲＡＷデータＩｒａｗ３を補正し、これにより、ＲＡＷデータＩｒａｗ４ａを生成する。

画素補正部１３８は、ＲＡＷデータＩｒａｗ４ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ４ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。画素補正部１３８は、ＲＡＷデータＩｒａｗ４ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ４ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。

画素補正部１３８は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ４ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３８は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。

縮小部１３９は、撮像デバイス２０，３０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ４ｂを縮小する。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃ，Ｉｒａｗ４ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する。視差情報Ｄｉｓｐは、撮像デバイス１０と撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量と、撮像デバイス２０と撮像デバイス３０との位置が互いに一致していないことから生じる画像上の位置ずれ量とに相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃ，Ｉｒａｗ４ｃから視差情報Ｄｉｓｐを生成する。

本変形例では、フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成するとともに、２つの補間ＲＡＷデータＩｒａｗ２ｃ，Ｉｒａｗ４ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成するとともに、２つの補間ＲＡＷデータＩｒａｗ２ｃ，Ｉｒａｗ４ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。

本変形例では、画角の互いに異なる２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて生成された位置合わせデータに基づいて、２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２が互いに合成される。さらに、画角の互いに異なる２つのＲＡＷデータＩｒａｗ２，Ｉｒａｗ４に基づいて生成された位置合わせデータに基づいて、２つのＲＡＷデータＩｒａｗ２，Ｉｒａｗ４が互いに合成される。つまり、本実施の形態では、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理の回数を減らすことができる。さらに、本実施の形態における合成対象であるＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４は、従来の合成対象であるカラー画像データと比べて、画素ごとの色情報が少ない。従って、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。

また、本変形例では、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が撮像デバイス２０の撮像領域Ｒ２となっており、撮像デバイス２０の撮像領域Ｒ２のうち外縁を除く領域が撮像デバイス５０の撮像領域Ｒ３となっている。さらに、本変形例では、相対的に画角の広いＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２と、ＲＡＷデータＩｒａｗ２よりも画角の狭いＲＡＷデータＩｒａｗ４とが撮像デバイス１０，２０，５０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、ＲＡＷデータＩｒａｗ２とが互いに合成される。さらに、ＲＡＷデータＩｒａｗ２のうち外縁を除く所定の領域と、ＲＡＷデータＩｒａｗ４とが互いに合成される。言い換えると、枠状のＲＡＷデータＩｒａｗ１に、ＲＡＷデータＩｒａｗ２が嵌め込まれるとともに、枠状のＲＡＷデータＩｒａｗ２に、ＲＡＷデータＩｒａｗ４が嵌め込まれる。その結果、３つの撮像デバイス１０，２０，５０を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりすることができる。

以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

また、例えば、本開示は以下のような構成を取ることができる。
（１）
各々で画角の互いに異なるＲＡＷデータを生成する２つの撮像デバイスと、
各々の前記撮像デバイスによって生成された２つの前記ＲＡＷデータに基づいて、２つの前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
前記位置合わせ部によって生成された前記位置合わせデータに基づいて２つの前記ＲＡＷデータを互いに合成する合成部と
を備えた
撮像装置。
（２）
２つの前記ＲＡＷデータは、相対的に画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータとからなり、
２つの前記撮像デバイスのうちの一方の第１撮像デバイスは、撮像により前記第１ＲＡＷデータを生成し、
２つの前記撮像デバイスのうちの他方の第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２ＲＡＷデータを生成する
（１）に記載の撮像装置。
（３）
前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとを互いに合成する
（２）に記載の撮像装置。
（４）
前記位置合わせ部は、前記ＲＡＷデータに含まれる所定種類の色情報に基づいて、前記ＲＡＷデータに含まれる全ての画素の補間を行うことにより、前記位置合わせデータとして、前記所定種類の色情報からなる補間ＲＡＷデータを生成する
（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
前記位置合わせ部は、２つの前記ＲＡＷデータから生成した２つの前記補間ＲＡＷデータに基づいて、前記位置合わせデータとしての視差情報を生成する
（４）に記載の撮像装置。
（６）
前記合成部は、前記視差情報に基づいて２つの前記補間ＲＡＷデータを合成することにより合成ＲＡＷデータを生成する
（５）に記載の撮像装置。
（７）
前記合成部は、前記合成ＲＡＷデータに含まれる、各前記撮像デバイスのナイキスト周波数を超える高周波成分を減衰させる
（６）に記載の撮像装置。
（８）
前記合成部は、２つの前記補間ＲＡＷデータを合成することにより合成ＲＡＷデータを生成した後、前記合成ＲＡＷデータに含まれる、各前記撮像デバイスのナイキスト周波数を超える高周波成分を減衰させる
（４）に記載の撮像装置。
（９）
前記合成部は、前記合成ＲＡＷデータまたは前記合成ＲＡＷデータに所定の処理を行ったものに対して、前記第１ＲＡＷデータと、前記第１ＲＡＷデータから生成した前記補間ＲＡＷデータとの差分である色差成分を付加するか、または、前記第１ＲＡＷデータと前記補間ＲＡＷデータとの比である色比成分を乗じることにより、前記ＲＡＷデータの配列に対応する配列の第３ＲＡＷデータを生成する
（４）に記載の撮像装置。
（１０）
前記合成部は、前記第１ＲＡＷデータと、前記第３ＲＡＷデータとを互いに合成することにより、デモザイク処理用の第４ＲＡＷデータを生成する
（９）に記載の撮像装置。
（１１）
前記第４ＲＡＷデータに対してデモザイク処理を行うカメラ信号処理部をさらに備えた
（１０）に記載の撮像装置。
（１２）
各々で画角の互いに異なるＲＡＷデータを生成する３つ以上の撮像デバイスと、
各々の前記撮像デバイスによって生成された３つ以上の前記ＲＡＷデータに基づいて、３つ以上の前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
前記位置合わせ部によって生成された前記位置合わせデータに基づいて３つ以上の前記ＲＡＷデータを互いに合成する合成部と
を備えた
撮像装置。
（１３）
３つ以上の前記ＲＡＷデータは、最も画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータと、前記第２ＲＡＷデータよりも画角の狭い第３ＲＡＷデータとを含み、
３つ以上の前記撮像デバイスのうちの１つである第１撮像デバイスは、撮像により前記第１ＲＡＷデータを生成する第１撮像素子を有し、
３つ以上の前記撮像デバイスのうち前記第１撮像デバイスとは異なる第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２ＲＡＷデータを生成し、
３つ以上の前記撮像デバイスのうち前記第１撮像デバイスおよび前記第２撮像デバイスとは異なる第３撮像デバイスは、前記第２撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第３ＲＡＷデータを生成する
（１２）に記載の撮像装置。
（１４）
前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとの合成と、前記第２ＲＡＷデータのうち外縁を除く所定の領域と、前記第３ＲＡＷデータとの合成とを行う
（１３）に記載の撮像装置。
（１５）
画角の互いに異なる２つのＲＡＷデータに基づいて、２つの前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
前記位置合わせ部によって生成された前記位置合わせデータに基づいて２つの前記ＲＡＷデータを互いに合成する合成部と
を備えた
信号処理装置。
（１６）
２つの前記ＲＡＷデータは、相対的に画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータとからなり、
前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとを互いに合成する
（１５）に記載の信号処理装置。
（１７）
画角の互いに異なる３つ以上のＲＡＷデータに基づいて、３つ以上の前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
前記位置合わせ部によって生成された前記位置合わせデータに基づいて３つ以上の前記ＲＡＷデータを互いに合成する合成部と
を備えた
信号処理装置。
（１８）
３つ以上の前記ＲＡＷデータは、最も画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータと、前記第２ＲＡＷデータよりも画角の狭い第３ＲＡＷデータとを含み、
前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとの合成と、前記第２ＲＡＷデータのうち外縁を除く所定の領域と、前記第３ＲＡＷデータとの合成とを行う
（１７）に記載の信号処理装置。

１…撮像装置、１０，２０…撮像デバイス、１１，２１…撮像素子、１２，２２…光学レンズ、３０…信号処理部、３１…合成処理部、３２…カメラ信号処理部、４０…制御部、１３０…位置合わせ部、１３１…切出部、１３２…ゲイン補正部、１３３，１３４…画素補正部、１３５…縮小部、１３６…視差算出部、１４０…合成部、１４１…フュージョン部、１４１Ａ…ＬＰＦ部、１４１Ｂ…ＨＰＦ部、１４１Ｃ…視差補正部、１４１Ｄ…重畳部、１４１Ｅ…マップ処理部、１４２，１４２Ａ，１４２Ｂ…ＬＰＦ部、１４２Ｃ，１４２Ｄ，１４２Ｅ…ゲイン部、１４３…相関処理部、１４４…マージ部、１４５…選択部、２００…撮像装置、２１０，２２０…撮像デバイス、２３０，２４０…カメラ信号処理部、２５０…合成処理部、ＡＸ１，ＡＸ２…光軸、Ｄｉｓｐ…視差情報、Ｉｃｏｌ，Ｉｃｏｌ１，Ｉｃｏｌ２…カラー画像データ、Ｉｒａｗ１，Ｉｒａｗ１ａ，Ｉｒａｗ１ｃ，Ｉｒａｗ２，Ｉｒａｗ２ａ，Ｉｒａｗ２ｃ，Ｉｒａｗ２ｄ，Ｉｒａｗ２ｅ，Ｉｒａｗ３ｃ，Ｉｒａｗ３ｄ…ＲＡＷデータ、Ｉｒａｗ，Ｉｒａｗ３ａ，Ｉｒａｗ３ｂ…合成ＲＡＷデータ、Ｉｒａｗ１ｂ，Ｉｒａｗ２ｂ…補間ＲＡＷデータ、Ｉｆｕｓｉｏｎ，Ｉｍｅｒｇｅ…合成画像データ、Ｉｔｅｌｅ，Ｉｔｅｌｅ’…テレ画像データ、Ｉｗｉｄ，Ｉｗｉｄ’…ワイド画像データ、Ｐ１…第１パス、Ｐ２…第２パス、Ｐ３…第３パス、Ｒ１，Ｒ２，α…領域、β…フュージョン領域。

Claims (18)

1. 各々で画角の互いに異なるＲＡＷデータを生成する２つの撮像デバイスと、
   各々の前記撮像デバイスによって生成された２つの前記ＲＡＷデータに基づいて、２つの前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
   前記位置合わせ部によって生成された前記位置合わせデータに基づいて２つの前記ＲＡＷデータを互いに合成する合成部と
   を備えた
   撮像装置。
2. ２つの前記ＲＡＷデータは、相対的に画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータとからなり、
   ２つの前記撮像デバイスのうちの一方の第１撮像デバイスは、撮像により前記第１ＲＡＷデータを生成し、
   ２つの前記撮像デバイスのうちの他方の第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２ＲＡＷデータを生成する
   請求項１に記載の撮像装置。
3. 前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとを互いに合成する
   請求項２に記載の撮像装置。
4. 前記位置合わせ部は、前記ＲＡＷデータに含まれる所定種類の色情報に基づいて、前記ＲＡＷデータに含まれる全ての画素の補間を行うことにより、前記位置合わせデータとして、前記所定種類の色情報からなる補間ＲＡＷデータを生成する
   請求項２に記載の撮像装置。
5. 前記位置合わせ部は、２つの前記ＲＡＷデータから生成した２つの前記補間ＲＡＷデータに基づいて、前記位置合わせデータとしての視差情報を生成する
   請求項４に記載の撮像装置。
6. 前記合成部は、前記視差情報に基づいて２つの前記補間ＲＡＷデータを合成することにより合成ＲＡＷデータを生成する
   請求項５に記載の撮像装置。
7. 前記合成部は、前記合成ＲＡＷデータに含まれる、各前記撮像デバイスのナイキスト周波数を超える高周波成分を減衰させる
   請求項６に記載の撮像装置。
8. 前記合成部は、２つの前記補間ＲＡＷデータを合成することにより合成ＲＡＷデータを生成した後、前記合成ＲＡＷデータに含まれる、各前記撮像デバイスのナイキスト周波数を超える高周波成分を減衰させる
   請求項４に記載の撮像装置。
9. 前記合成部は、前記合成ＲＡＷデータまたは前記合成ＲＡＷデータに所定の処理を行ったものに対して、前記第１ＲＡＷデータと、前記第１ＲＡＷデータから生成した前記補間ＲＡＷデータとの差分である色差成分を付加するか、または、前記第１ＲＡＷデータと前記補間ＲＡＷデータとの比である色比成分を乗じることにより、前記ＲＡＷデータの配列に対応する配列の第３ＲＡＷデータを生成する
   請求項４に記載の撮像装置。
10. 前記合成部は、前記第１ＲＡＷデータと、前記第３ＲＡＷデータとを互いに合成することにより、デモザイク処理用の第４ＲＡＷデータを生成する
    請求項９に記載の撮像装置。
11. 前記第４ＲＡＷデータに対してデモザイク処理を行うカメラ信号処理部をさらに備えた
    請求項１０に記載の撮像装置。
12. 各々で画角の互いに異なるＲＡＷデータを生成する３つ以上の撮像デバイスと、
    各々の前記撮像デバイスによって生成された３つ以上の前記ＲＡＷデータに基づいて、３つ以上の前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
    前記位置合わせ部によって生成された前記位置合わせデータに基づいて３つ以上の前記ＲＡＷデータを互いに合成する合成部と
    を備えた
    撮像装置。
13. ３つ以上の前記ＲＡＷデータは、最も画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータと、前記第２ＲＡＷデータよりも画角の狭い第３ＲＡＷデータとを含み、
    ３つ以上の前記撮像デバイスのうちの１つである第１撮像デバイスは、撮像により前記第１ＲＡＷデータを生成する第１撮像素子を有し、
    ３つ以上の前記撮像デバイスのうち前記第１撮像デバイスとは異なる第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２ＲＡＷデータを生成し、
    ３つ以上の前記撮像デバイスのうち前記第１撮像デバイスおよび前記第２撮像デバイスとは異なる第３撮像デバイスは、前記第２撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第３ＲＡＷデータを生成する
    請求項１２に記載の撮像装置。
14. 前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとの合成と、前記第２ＲＡＷデータのうち外縁を除く所定の領域と、前記第３ＲＡＷデータとの合成とを行う
    請求項１３に記載の撮像装置。
15. 画角の互いに異なる２つのＲＡＷデータに基づいて、２つの前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
    前記位置合わせ部によって生成された前記位置合わせデータに基づいて２つの前記ＲＡＷデータを互いに合成する合成部と
    を備えた
    信号処理装置。
16. ２つの前記ＲＡＷデータは、相対的に画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータとからなり、
    前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとを互いに合成する
    請求項１５に記載の信号処理装置。
17. 画角の互いに異なる３つ以上のＲＡＷデータに基づいて、３つ以上の前記ＲＡＷデータの位置合わせデータを生成する位置合わせ部と、
    前記位置合わせ部によって生成された前記位置合わせデータに基づいて３つ以上の前記ＲＡＷデータを互いに合成する合成部と
    を備えた
    信号処理装置。
18. ３つ以上の前記ＲＡＷデータは、最も画角の広い第１ＲＡＷデータと、前記第１ＲＡＷデータよりも画角の狭い第２ＲＡＷデータと、前記第２ＲＡＷデータよりも画角の狭い第３ＲＡＷデータとを含み、
    前記合成部は、前記第１ＲＡＷデータのうち外縁を除く所定の領域と、前記第２ＲＡＷデータとの合成と、前記第２ＲＡＷデータのうち外縁を除く所定の領域と、前記第３ＲＡＷデータとの合成とを行う
    請求項１７に記載の信号処理装置。

Images