JP5901935B2 - 固体撮像装置及びカメラモジュール - Google Patents

Description

本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。

従来、固体撮像装置は、高感度な画像撮影を実現するために、例えば、画素を大型にするという措置を採り得る。画素の大型化によりイメージセンサが大型となると、撮像レンズから受光面までの距離（焦点距離）が長くなるために、カメラモジュールの薄型化が困難となる。

イメージセンサの多くは、２行２列の画素ブロック中の対角に赤色（Ｒ）画素及び青色（Ｂ）画素を配置し、残りの対角に２個の緑色（Ｇ）画素を配置する、いわゆるベイヤー配列が採用されている。従来、高感度な画像撮影を実現するために、２行２列の画素ブロック中の１個のＧ画素が、白色（Ｗ）画素に置き換えられたイメージセンサが提案されている。Ｗ画素は、白色光を取り込む。イメージセンサは、Ｗ画素を設けることで、輝度信号の信号電荷量を十分に確保可能とする。

Ｗ画素は、他の色画素に比べて広い波長域の光を取り込むため、画素セルへの入射光量に対する出力の飽和が、他の色画素より先に生じることとなる。Ｗ画素を備えるイメージセンサは、入射光量に対する出力の飽和がＷ画素で生じることで、各色について十分な感度が得られないことがあり得る。また、Ｗ画素へ多くの光が取り込まれることで、Ｗ画素から、Ｗ画素に隣接する他の色画素へ光が漏れ出すことによるクロストークが生じ易くなる。Ｗ画素を備えるイメージセンサは、クロストークによる色再現性の低下が課題となっている。

また、従来、カメラモジュールのオートフォーカス機能として、位相差検出方式やコントラスト検出方式によるものが知られている。コントラスト検出方式によるオートフォーカスは、撮像レンズを動かしながらピントを合わせることからフォーカス調整に時間がかかることが課題となっている。位相差検出方式によるオートフォーカスは、オートフォーカスの専用センサと、専用センサへ光を分岐させる構成を設けることで、カメラモジュールの小型化が難しくなる点が課題となっている。

特開２００９−１７５４４号公報

本発明の一つの実施形態は、カメラモジュールの小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像の撮影を可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。

本発明の一つの実施形態によれば、固体撮像装置は、第１イメージセンサ、第２イメージセンサ、撮像処理回路及びフォーカス駆動制御部を有する。第１イメージセンサは、第１画像信号を出力する。第１画像信号は、被写体から入射する各色光の強度分布に応じている。第２イメージセンサは、第２画像信号を出力する。第２画像信号は、被写体から入射する光の輝度分布に応じている。撮像処理回路は、第１画像信号及び第２画像信号の信号処理を実施する。フォーカス駆動制御部は、第１撮像レンズ及び第２撮像レンズのフォーカス駆動を制御する。第１撮像レンズは、被写体からの光を第１イメージセンサへ入射させる。第２撮像レンズは、被写体からの光を第２イメージセンサへ入射させる。撮像処理回路は、輝度情報生成部、視差量算出部及び画像合成部を有する。輝度情報生成部は、第１画像信号から抽出された輝度情報から、特定の色成分についての第１輝度情報を生成する。視差量算出部は、第１イメージセンサにより取得した画像と、第２イメージセンサにより取得した画像との視差量を算出する。視差量算出部は、第１輝度情報と第２輝度情報とを基に、視差量を算出する。第２輝度情報は、第２画像信号に含まれる輝度情報である。画像合成部は、第１画像信号から抽出された色情報と、第２輝度情報とを含む合成画像データを生成する。フォーカス駆動制御部は、視差量を用いて求められた被写体距離に応じてフォーカス駆動を制御する。

実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図。 カメラモジュールの概略構成を示すブロック図。 レンズモジュール、固体撮像装置及びＩＳＰの詳細を示すブロック図。 タイミング生成器によるフレームタイミングの調整について説明するブロック図。 フレームメモリを使用するフレームタイミングの調整について説明するブロック図。 ＩＳＰの信号処理回路による信号処理の手順を説明するフローチャート。 撮像処理回路の詳細を示すブロック図。 輝度情報生成部における第１輝度情報の生成について説明する図。 輝度情報生成部における第１輝度情報の生成について説明する図。 カメラモジュールにおけるフォーカス調整のための手順を示すフローチャート。 Ｇ成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図。 被写体距離算出部における被写体距離の算出について説明する図。 第１輝度情報及び第２輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。 タイプ３にて使用するカラーイメージセンサにおける画素の配列を説明する図。 タイプ４にて使用するカラーイメージセンサにおける画素の配列を説明する図。 Ｙ画素についてのＣ成分の輝度値の算出について説明する図。 Ｃ画素についてのＹ成分の輝度値の算出について説明する図。

以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図である。図２は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール１０は、レンズモジュール１１、固体撮像装置１２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１３、記憶部１４及び表示部１５を有する。

レンズモジュール１１は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１２は、被写体像を撮像する。ＩＳＰ１３は、固体撮像装置１２での撮像により得られた画像信号の信号処理を実施する。記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。

図３は、レンズモジュール、固体撮像装置及びＩＳＰの詳細を示すブロック図である。レンズモジュール１１は、第１撮像レンズ２１、第２撮像レンズ２２及びレンズ駆動部２７を有する。第１撮像レンズ２１は、被写体からの光を取り込み、カラーイメージセンサ２３へ入射させる。第２撮像レンズ２２は、被写体からの光を取り込み、モノクロイメージセンサ２４へ入射させる。

図１に示すように、第１撮像レンズ２１及び第２撮像レンズ２２は、共通のレンズホルダー１６に取り付けられている。第１撮像レンズ２１及び第２撮像レンズ２２は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー１６に取り付けられる。第１撮像レンズ２１及び第２撮像レンズ２２は、図中一点鎖線で示す第１撮像レンズ２１の光軸及び第２撮像レンズ２２の光軸に対して垂直な方向へ並べられている。

固体撮像装置１２は、撮像処理回路２０、カラーイメージセンサ２３、モノクロイメージセンサ２４、タイミング生成器２５、フレームメモリ２６、オートフォーカス（ＡＦ）駆動ドライバ３５及び被写体距離算出部３６を有する。

カラーイメージセンサ２３は、例えばベイヤー配列をなして配置されたＲ画素、Ｇ画素及びＢ画素を有する。Ｒ画素は、Ｒ光を検出する。Ｇ画素は、Ｇ光を検出する。Ｂ画素は、Ｂ光を検出する。カラーイメージセンサ２３は、ＲＡＷ画像データを出力する第１イメージセンサとして機能する。ＲＡＷ画像データは、被写体から入射する各色光の強度分布に応じた第１画像信号とする。

モノクロイメージセンサ２４は、アレイ状に配置されたＷ画素を有する。Ｗ画素は、Ｗ光を検出する。モノクロイメージセンサ２４は、モノクロ画像データを出力する第２イメージセンサとして機能する。モノクロ画像データは、被写体から入射する光の輝度分布に応じた第２画像信号とする。カラーイメージセンサ２３及びモノクロイメージセンサ２４は、例えば、ＬＶＤＳ（low voltage differential signaling）による伝送方式を採用する。

撮像処理回路２０は、カラーイメージセンサ２３からのＲＡＷ画像データと、モノクロイメージセンサ２４からのモノクロ画像データとの信号処理を実施する。撮像処理回路２０は、ＲＡＷ画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。

フレームメモリ２６は、撮像処理回路２０に取り込まれたＲＡＷ画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ２６は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ（high dynamic range；ＨＤＲ）処理や手振れ補正等のために使用されるものとしても良い。

図１に示すように、カラーイメージセンサ２３、モノクロイメージセンサ２４及びフレームメモリ２６は、共通のプリント基板１７上に配置されている。第１撮像レンズ２１は、カラーイメージセンサ２３に対向させて配置されている。第２撮像レンズ２２は、モノクロイメージセンサ２４に対向させて配置されている。

カメラモジュール１０は、カラーイメージセンサ２３、モノクロイメージセンサ２４及びフレームメモリ２６を共通のプリント基板１７上に集約することで、小型化に適した構成としている。タイミング生成器２５は、ＲＡＷ画像データとモノクロ画像データとに適用するフレームタイミングを生成する。

被写体距離算出部３６は、撮像処理回路２０で求められた視差量に応じて、被写体距離を算出する。ＡＦ駆動ドライバ３５は、被写体距離算出部３６で算出された被写体距離に応じて、レンズ駆動部２７を制御する。ＡＦ駆動ドライバ３５は、視差量を用いて求められた被写体距離に応じて第１撮像レンズ２１及び第２撮像レンズ２２のフォーカス駆動を制御するフォーカス駆動制御部として機能する。

図４は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器２５は、水平同期信号Ｈ及び垂直同期信号Ｖを生成する。カラーイメージセンサ２３は、フレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、ＲＡＷ画像データを出力する。また、モノクロイメージセンサ２４は、フレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、モノクロ画像データを出力する。

図５は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。カラー用フレームメモリ２８は、カラーイメージセンサ２３からのＲＡＷ画像データを一時的に格納する。モノクロ用フレームメモリ２９は、モノクロイメージセンサ２４からのモノクロ画像データを一時的に格納する。カラー用フレームメモリ２８及びモノクロ用フレームメモリ２９は、例えば、フレームメモリ２６（図３参照）に包含されているものとする。

カラー用フレームメモリ２８は、格納しているＲＡＷ画像データのフレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、ＲＡＷ画像データを出力する。モノクロ用フレームメモリ２９は、格納しているモノクロ画像データのフレームタイミングを水平同期信号Ｈ及び垂直同期信号Ｖに一致させてから、モノクロ画像データを出力する。固体撮像装置１２は、図４及び図５のいずれの構成によってフレームタイミングを調整しても良いものとする。

図３に示すように、ＩＳＰ１３は、カメラインタフェース（Ｉ／Ｆ）３１、画像取り込み部３２、信号処理回路３３及びドライバインタフェース（Ｉ／Ｆ）３４を有する。カメラＩ／Ｆ３１は、固体撮像装置１２からの合成画像データの入力を受け付ける。画像取り込み部３２は、カメラＩ／Ｆ３１へ入力された合成画像データを取り込む。

信号処理回路３３は、画像取り込み部３２へ取り込まれた合成画像について、信号処理を実施する。ドライバＩ／Ｆ３４は、信号処理回路３３での信号処理を経た画像データを、記憶部１４及び表示部１５（図１参照）へ出力する。

図６は、ＩＳＰの信号処理回路による信号処理の手順を説明するフローチャートである。信号処理回路３３は、画像取り込み部３２へ取り込まれた画像について、シェーディング補正を実施する（ステップＳ１）。信号処理回路３３は、シェーディング補正により、第１撮像レンズ２１及び第２撮像レンズ２２について、中央部と周辺部との光量差による輝度ムラを補正する。

信号処理回路３３は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション（ステップＳ２）及び解像度復元処理（ステップＳ３）を実施する。次に、信号処理回路３３は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイキング）を施す（ステップＳ４）。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路３３は、デモザイキングによりカラーのビットマップ画像を合成する。

信号処理回路３３は、カラー画像に対して、ホワイトバランスの自動調整（automatic white balance control；ＡＷＢ）を実施する（ステップＳ５）。さらに、信号処理回路３３は、色再現性を得るためのリニアカラーマトリクス処理（ステップＳ６）、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正（ステップＳ７）を実施する。なお、本実施形態で説明する信号処理回路３３における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。

カメラモジュール１０における信号処理のための構成は、前段の撮像処理回路２０と、後段のＩＳＰ１３とに大別される。カメラモジュール１０において、撮像処理回路２０及びＩＳＰ１３は、カラーイメージセンサ２３及びモノクロイメージセンサ２４により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。

レンズ駆動部２７は、第１撮像レンズ２１及び第２撮像レンズ２２のフォーカス調整のために、光軸の方向について第１撮像レンズ２１及び第２撮像レンズ２２を駆動する。レンズ駆動部２７は、レンズホルダー１６を移動させることで、第１撮像レンズ２１及び第２撮像レンズ２２を一括して駆動する。カメラモジュール１０は、第１撮像レンズ２１及び第２撮像レンズ２２を一括して駆動可能とすることで、第１撮像レンズ２１及び第２撮像レンズ２２を個別に駆動する場合に比べてレンズモジュール１１を簡易な構成にできる。

図７は、撮像処理回路の詳細を示すブロック図である。撮像処理回路２０は、カラー信号分離部４１、輝度情報生成部４２、視差量算出部４３、視差補正部４４、輝度情報合成部４５、解像度復元部４６、ローパスフィルタ（ＬＰＦ）４７及び画像合成部４８を有する。撮像処理回路２０には、カラーイメージセンサ２３からのＲＡＷ画像データ５２と、モノクロイメージセンサ２４からのモノクロ画像データ５１とが入力される。

カラー信号分離部４１は、カラーイメージセンサ２３から入力されたＲＡＷ画像データ５２を、輝度情報５３及び色情報５４へと分離する。輝度情報５３は、例えば、ＹＵＶ色空間の輝度成分に相当する情報とする。色情報５４は、例えば、ＹＵＶ色空間の色差成分に相当する情報とする。

輝度情報生成部４２は、カラー信号分離部４１においてＲＡＷ画像データ５２から抽出された輝度情報５３から、特定の色成分であるＧ成分についての第１輝度情報５５を生成する。

図８及び図９は、輝度情報生成部における第１輝度情報の生成について説明する図である。輝度情報生成部４２は、Ｒ画素及びＢ画素については、周囲のＧ画素が検出した輝度値の補間処理により、Ｇ成分の輝度値を算出する。

輝度情報生成部４２は、Ｒ画素についてのＧ成分の輝度値の算出において、例えば、図８に示すように、Ｒ画素を中心とする３行３列の画素ブロックに含まれる４個のＧ画素が検出した輝度値を参照する。輝度情報生成部４２は、例えば、次に示す式により、Ｒ画素におけるＧ成分の輝度値を算出する。なお、式中、「Ｇ１」、「Ｇ２」、「Ｇ３」及び「Ｇ４」の項は、それぞれ、図８に示すＧ画素（Ｇ１、Ｇ２、Ｇ３及びＧ４）が検出したＧ成分の輝度値とする。
（Ｒ画素におけるＧ成分の輝度値）＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４

輝度情報生成部４２は、Ｂ画素についてのＧ成分の輝度値の算出において、例えば、図９に示すように、Ｂ画素を中心とする３行３列の画素ブロックに含まれる４個のＧ画素が検出した輝度値を参照する。輝度情報生成部４２は、例えば、次に示す式により、Ｂ画素におけるＧ成分の輝度値を算出する。
（Ｂ画素におけるＧ成分の輝度値）＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４

輝度情報生成部４２は、Ｇ画素が検出した輝度値と、Ｒ画素及びＢ画素について算出されたＧ成分の輝度値とを、第１輝度情報５５として出力する。固体撮像装置１２は、Ｒ、Ｇ、Ｂの各成分のうち輝度についての情報を最も多く得られるのがＧ成分であることから、Ｇ成分について第１輝度情報５５を採用することとしている。なお、輝度情報生成部４２による補間処理の手法は、適宜変更可能であるものとする。例えば、輝度情報生成部４２は、デモザイク処理の手法により、第１輝度情報５５を生成することとしても良い。

撮像処理回路２０は、例えば、モノクロ画像データ５１及び第１輝度情報５５をフレームメモリ２６（図３参照）に一時格納する。視差量算出部４３は、カラーイメージセンサ２３により取得したＲＡＷ画像（第１画像）とモノクロイメージセンサ２４により取得したモノクロ画像（第２画像）との視差量を算出する。視差量算出部４３は、フレームメモリ２６から読み出した第１輝度情報５５とモノクロ画像データ５１とを基に、視差量を算出する。

視差量算出部４３は、モノクロ画像データ５１を第２輝度情報とみなして、視差量の算出に使用する。第２輝度情報は、第２画像信号であるモノクロ画像データ５１に含まれる輝度情報であって、例えば、ＹＵＶ色空間の輝度成分に相当する情報とする。なお、視差量算出部４３は、モノクロ画像データ５１をそのまま第２輝度情報として使用する他、モノクロ画像データ５１の演算処理等により得られた第２輝度情報を使用することとしても良い。なお、視差量の算出、視差量に応じたフォーカス調整については後述する。

視差補正部４４は、視差量算出部４３で算出された視差量を基に、第１輝度情報５５によるＧ成分の輝度画像と、モノクロ画像データ５１によるモノクロ画像との視差を補正する。視差補正部４４は、例えば、Ｇ成分の輝度画像を基準としてモノクロ画像の視差を補正する。視差補正部４４は、モノクロ画像を基準としてＧ成分の輝度画像の視差を補正することとしても良い。この場合、撮像処理回路２０は、Ｇ成分の輝度画像と同様の視差補正を、色情報５４についても実施する。輝度情報合成部４５は、視差補正部４４における視差の補正を経た第１輝度情報５５及びモノクロ画像データ５１の合成により、合成輝度情報５６を生成する。

解像度復元部４６は、合成輝度情報５６による合成画像について、解像度復元を実施する。解像度復元部４６は、第１撮像レンズ２１及び第２撮像レンズ２２が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数（point spread function；ＰＳＦ）を用いる。ＰＳＦの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部４６は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。

カメラモジュール１０は、解像度復元の確実な効果を得るために、第１撮像レンズ２１、第２撮像レンズ２２、カラーイメージセンサ２３及びモノクロイメージセンサ２４のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置１２内のＯＴＰ（one time programmable memory、図示省略）やＩＳＰ１３に格納される。

ＬＰＦ４７は、カラー信号分離部４１からの色情報５４について平滑化処理を実施する。ＬＰＦ４７は、色情報５４の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路２０は、色情報５４について、ＬＰＦ４７による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。

画像合成部４８は、解像度復元部４６での解像度復元を経た合成輝度情報５６と、ＬＰＦ４７での平滑化処理を経た色情報５４との合成により、合成画像データ５７を生成する。撮像処理回路２０は、画像合成部４８で生成した合成画像データ５７を出力する。

固体撮像装置１２は、モノクロイメージセンサ２４により、信号対ノイズ比（ＳＮＲ）及び解像度が高い輪郭成分を持つ第２輝度情報を得ることが可能である。鮮明な輪郭成分を第２輝度情報から得られることから、撮像処理回路２０は、カラーイメージセンサ２３からのＲＡＷ画像データ５２については、カラー信号分離部４１において、輝度情報５３よりも色情報５４を優先して抽出することとしても良い。これにより、撮像処理回路２０は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。

なお、画像合成部４８は、第１輝度情報５５及び第２輝度情報の合成により得た合成輝度情報５６と色情報５４とを含む合成画像データ５７を生成するものに限られない。画像合成部４８は、少なくとも、色情報５４と第２輝度情報とを含む合成画像データ５７を生成するものであれば良い。撮像処理回路２０は、合成画像データ５７に少なくとも色情報５４と第２輝度情報とを含めることで、色成分と輪郭成分について高い感度を得ることができる。

次に、視差量を算出する手法の詳細と、視差量に応じたフォーカス調整について説明する。図１０は、カメラモジュールにおけるフォーカス調整のための手順を示すフローチャートである。固体撮像装置１２は、カラーイメージセンサ２３での撮像により第１画像であるＲＡＷ画像を取得し、モノクロイメージセンサ２４での撮像により第２画像であるモノクロ画像を取得する（ステップＳ１１）。

固体撮像装置１２は、輝度情報生成部４２においてＲＡＷ画像データ５２から第１輝度情報５５を生成することで、ＲＡＷ画像をＧ成分の輝度画像へ変換する（ステップＳ１２）。視差量算出部４３は、Ｇ成分の輝度画像とモノクロ画像とを基に、視差量を算出する（ステップＳ１３）。

図１１は、Ｇ成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図である。この例では、視差量算出部４３（図７参照）は、Ｇ成分の輝度画像６１を基準として、モノクロ画像６２のずれを画素数に換算し、視差量とする。視差量算出部４３は、例えば、ブロックマッチングの手法を採用することで、画像同士のずれを簡易的に計算する。図示する例では、モノクロ画像６２は、Ｇ成分の輝度画像６１に対して右方向へ２画素分ずれている。この場合、視差量算出部４３は、視差量として、画素数「２」を出力する。視差補正部４４（図７参照）は、モノクロ画像６２を２画素分左方向へ移動させる視差補正を実施する。

被写体距離算出部３６（図３参照）は、ステップＳ１３において求められた視差量に応じて、被写体距離を算出する（ステップＳ１４）。図１２は、被写体距離算出部における被写体距離の算出について説明する図である。被写体距離算出部３６は、第１撮像レンズ２１及び第２撮像レンズ２２の間の距離と視差量とを基に、被写体距離を求める。例えば、第１撮像レンズ２１及び第２撮像レンズ２２の間の予め定められた距離に対して、図示するグラフのように視差量と被写体距離との関係が表されるとする。被写体距離算出部３６は、かかる視差量と被写体距離との関係から、視差量「２（画素）」に対応する被写体距離として「０．７（ｍ）」を出力する。

ＡＦ駆動ドライバ３５は、ステップＳ１４において算出された被写体距離に応じたレンズ駆動部２７の制御により、ＡＦ調整を実施する（ステップＳ１５）。カメラモジュール１０は、以上により、ＡＦ調整のための動作を終了する。

本実施形態によると、二つのイメージセンサによって取得した画像の視差量を用いてフォーカスを調整する。カメラモジュール１０は、撮像レンズを動かしながらピントを合わせる動作や複雑な信号処理が不要となるため、高速なフォーカス調整が可能となる。また、カメラモジュール１０は、従来の位相差検出方式を採用する場合におけるＡＦ専用センサや光を分岐させる構成が不要となる。

本実施形態の固体撮像装置１２は、ＲＡＷ画像から第１輝度情報５５及び色情報５４を取得し、モノクロ画像から第２輝度情報であるモノクロ画像データ５１を取得する。撮像処理回路２０は、他の色画素に比べて感度が高いＷ画素からの第２輝度情報と、Ｇ成分について生成した第１輝度情報５５とを輝度情報合成部４５において合成することで、高感度な合成画像を得る。また、固体撮像装置１２は、ＲＡＷ画像から取得した色情報５４を撮像処理回路２０において合成することで、高い色再現性を確保する。

固体撮像装置１２は、各色画素にＷ画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置１２は、各色画素より先にＷ画素の出力が飽和することによる各色成分の感度低下も抑制できる。

さらに、カメラモジュール１０は、画素の大型化に対応すべく長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。以上により、カメラモジュール１０は、小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像を撮影することができる。

なお、図７に示す撮像処理回路２０が備える各要素の少なくとも一部は、ＩＳＰ１３の信号処理回路３３に設けることとしても良い。また、信号処理回路３３が実施するものとして図６に示す各処理の少なくとも一部は、撮像処理回路２０で実施することとしても良い。固体撮像装置１２は、撮像処理回路２０及び信号処理回路３３の構成次第により、フレームメモリ２６を適宜省くこととしても良い。

図１３は、第１輝度情報及び第２輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ１は、本実施形態においてこれまで説明した態様を表している。タイプ１において、固体撮像装置１２は、Ｗ画素を並列させたモノクロイメージセンサ２４と、ＲＧＢの各画素をベイヤー配列としたカラーイメージセンサ２３とを備える。固体撮像装置１２は、Ｗ成分の輝度値からなる第２輝度情報と、ＲＡＷ画像データ５２の補間処理を経て取得したＧ成分の第１輝度情報５５とを取得する。

タイプ２では、固体撮像装置１２は、Ｇ画素を並列させたモノクロイメージセンサ２４と、タイプ１と同様のカラーイメージセンサ２３とを使用する。固体撮像装置１２は、Ｇ成分の輝度値からなる第２輝度情報を取得する。固体撮像装置１２は、タイプ１と同様に、Ｇ成分の第１輝度情報５５を取得する。

図１４は、タイプ３にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ３では、ＲＢの各画素を交互に並列させたカラーイメージセンサ２３を使用する。固体撮像装置１２は、かかるカラーイメージセンサ２３と、タイプ２と同様のモノクロイメージセンサ２４とを使用する。固体撮像装置１２は、タイプ２と同様に、Ｇ成分の輝度値からなる第２輝度情報を取得する。

カラー信号分離部４１（図７参照）は、ＲＡＷ画像データ５２から、Ｒ成分及びＢ成分についての輝度情報５３を抽出する。輝度情報生成部４２は、輝度情報５３の補間処理により、各画素についてＲ成分の輝度値とＢ成分の輝度値とを取得する。輝度情報生成部４２は、Ｒ成分の輝度値とＢ成分の輝度値とを加算し、Ｍ（マゼンタ）成分の輝度値とする。タイプ３では、Ｍ成分の輝度値からなる第１輝度情報５５を取得する。

図１５は、タイプ４にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ４では、ＣＹ（Ｃ：シアン、Ｙ：イエロー）の各画素を交互に並列させたカラーイメージセンサ２３を使用する。固体撮像装置１２は、かかるカラーイメージセンサ２３と、タイプ２と同様のモノクロイメージセンサ２４とを使用する。

固体撮像装置１２は、タイプ２と同様に、Ｇ成分の輝度値からなる第２輝度情報を取得する。カラー信号分離部４１は、ＲＡＷ画像データ５２から、Ｃ成分及びＹ成分についての輝度情報５３を抽出する。輝度情報生成部４２は、輝度情報５３の補間処理により、各画素についてＣ成分の輝度値とＹ成分の輝度値とを取得する。

図１６は、Ｙ画素についてのＣ成分の輝度値の算出について説明する図である。輝度情報生成部４２は、例えば、Ｙ画素を中心とする３行３列の画素ブロックに含まれる４個のＣ画素が検出した輝度値を参照する。輝度情報生成部４２は、例えば、次に示す式により、Ｙ画素についてのＣ成分の輝度値を算出する。なお、式中、「Ｃ１」、「Ｃ２」、「Ｃ３」及び「Ｃ４」の項は、それぞれ、図１６に示すＣ画素（Ｃ１、Ｃ２、Ｃ３及びＣ４）が検出したＣ成分の輝度値とする。
（Ｙ画素におけるＣ成分の輝度値）＝（Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４）／４

図１７は、Ｃ画素についてのＹ成分の輝度値の算出について説明する図である。輝度情報生成部４２は、例えば、Ｃ画素を中心とする３行３列の画素ブロックに含まれる４個のＹ画素が検出した輝度値を参照する。輝度情報生成部４２は、例えば、次に示す式により、Ｃ画素についてのＹ成分の輝度値を算出する。なお、式中、「Ｙ１」、「Ｙ２」、「Ｙ３」及び「Ｙ４」の項は、それぞれ、図１７に示すＹ画素（Ｙ１、Ｙ２、Ｙ３及びＹ４）が検出したＹ成分の輝度値とする。
（Ｃ画素におけるＹ成分の輝度値）＝（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）／４

輝度情報生成部４２は、Ｃ成分の輝度値とＹ成分の輝度値とを加算し、Ｇ成分の輝度値とする。タイプ４では、Ｇ成分の輝度値からなる第１輝度情報５５を取得する。タイプ１〜４のいずれを採用する場合も、固体撮像装置１２は、高感度、高解像度で、色再現性の優れた画像を取り込むことができる。なお、タイプ３及び４は、タイプ１と同様に、Ｗ成分の輝度値からなる第２輝度情報を取得するものとしても良い。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ カメラモジュール、１２ 固体撮像装置、１６ レンズホルダー、１７ プリント基板、２０ 撮像処理回路、２１ 第１撮像レンズ、２２ 第２撮像レンズ、２３ カラーイメージセンサ、２４ モノクロイメージセンサ、２６ フレームメモリ、２７ レンズ駆動部、３５ ＡＦ駆動ドライバ、３６ 被写体距離算出部、４１ カラー信号分離部、４２ 輝度情報生成部、４３ 視差量算出部、４４ 視差補正部、４５ 輝度情報合成部、４８ 画像合成部、５１ モノクロ画像データ、５２ ＲＡＷ画像データ、５３ 輝度情報、５４ 色情報、５５ 第１輝度情報、５７ 合成画像データ。

Claims (5)

1. 行列状に配列された画素を備え、被写体から入射する光に含まれる複数の色光の強度分布に応じた第１画像信号を出力するカラーイメージセンサと、
   行列状に配列された画素を備え、前記被写体から入射する光の輝度分布に応じた第２画像信号を出力するモノクロイメージセンサと、
   前記第１画像信号及び前記第２画像信号の信号処理を実施する撮像処理回路と、
   前記被写体からの光を前記カラーイメージセンサへ入射させる第１撮像レンズ、及び前記被写体からの光を前記モノクロイメージセンサへ入射させる第２撮像レンズのフォーカス駆動を制御するフォーカス駆動制御部と、を有し、
   前記撮像処理回路は、
   前記第１画像信号に含まれる輝度情報を基に、画素間における輝度値の補間処理を実施して、１つの色成分についての第１輝度情報を生成する輝度情報生成部と、
   前記カラーイメージセンサにより取得した第１画像と前記モノクロイメージセンサにより取得した第２画像との視差量を、前記第１輝度情報と、前記第２画像信号に含まれる輝度情報である第２輝度情報とを基に算出する視差量算出部と、を有し、
   前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記フォーカス駆動を制御することを特徴とする固体撮像装置。
2. 前記撮像処理回路は、前記視差量に応じて前記第１画像と前記第２画像との視差を補正する視差補正部を有することを特徴とする請求項１に記載の固体撮像装置。
3. 前記第１画像信号及び前記第２画像信号の少なくともいずれかを格納するフレームメモリを有し、
   前記カラーイメージセンサ、前記モノクロイメージセンサ及び前記フレームメモリは、共通の基板に設けられていることを特徴とする請求項１又は２に記載の固体撮像装置。
4. 被写体からの光を取り込み、被写体像を結像させる第１撮像レンズ及び第２撮像レンズと、
   前記第１撮像レンズ及び前記第２撮像レンズのフォーカス調整のためのレンズ駆動部と、
   前記被写体像を撮像する固体撮像装置と、を有し、
   前記固体撮像装置は、
   行列状に配列された画素を備え、前記第１撮像レンズにより取り込まれた光に含まれる複数の色光の強度分布に応じた第１画像信号を出力するカラーイメージセンサと、
   行列状に配列された画素を備え、前記第２撮像レンズにより取り込まれた光の輝度分布に応じた第２画像信号を出力するモノクロイメージセンサと、
   前記第１画像信号及び前記第２画像信号の信号処理を実施する撮像処理回路と、
   前記レンズ駆動部を制御するフォーカス駆動制御部と、を有し、
   前記撮像処理回路は、
   前記第１画像信号に含まれる輝度情報を基に、画素間における輝度値の補間処理を実施して、１つの色成分についての第１輝度情報を生成する輝度情報生成部と、
   前記カラーイメージセンサにより取得した画像と前記モノクロイメージセンサにより取得した画像との視差量を、前記第１輝度情報と、前記第２画像信号に含まれる輝度情報である第２輝度情報とを基に算出する視差量算出部と、を有し、
   前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記レンズ駆動部を制御することを特徴とするカメラモジュール。
5. 前記第１撮像レンズ及び前記第２撮像レンズは、共通のレンズホルダーに取り付けられ、
   前記レンズ駆動部は、前記レンズホルダーを移動させることで、前記第１撮像レンズ及び前記第２撮像レンズを一括して駆動することを特徴とする請求項４に記載のカメラモジュール。

Images