JP5012823B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、例えば、面順次方式で撮像を行う撮像装置および撮像方法に関するものである。

回転式の光学フィルタを使用して撮像を行う面順次方式の撮像装置が知られている（特許文献１参照）。面順次方式の撮像装置は、これを低コストで製作することができるだけでなく、解像度に優れるため、例えば内視鏡等、多くの分野で利用されている。

光学フィルタは、赤色、緑色、青色の光を各々透過させることができる。この光学フィルタがその中心で回転することにより、３原色の光が撮像部に順次入射される。そして、撮像部は、３原色の光を順次受光し、光電変換によって各色に対応した画素信号（画素データ）を生成する。面順次方式の撮像装置では、全画素で一色の画素信号が生成されるため、各々の色の画素信号を合成することによって、カラー画像を得ることができる。

特開２００３−３３３６０６号公報

撮像すべき被写体が暗い場合には、露光時間を調整する必要がある。例えば、赤色光、緑色光、青色光による露光時間が２倍になれば、撮像部の感度は２倍程度に向上する。
しかしながら、この場合、時間に対する解像度、即ち、フレームレートが半分に低下する。その結果、カラー画像の画質が著しく低下するという不利益が生じる。

本発明は、撮像すべき被写体が暗い場合であっても、カラー画像の画質を向上させることができる撮像装置および撮像方法を提供することにある。

本発明の撮像装置は、撮像対象から、複数の色光を第１の露光時間で受光して各色に対応した複数の色信号に変換し、上記撮像対象から、上記複数の色光の波長範囲を一部に含む補間光を第２の露光時間で受光して補間信号に変換する撮像部と、前記撮像対象の輝度を取得する取得部と、上記取得部が取得した輝度に応じて、上記第１の露光時間と上記第２の露光時間とを個別に制御する制御部と、上記複数の色信号の値の和に対する、上記複数の色信号の各値と上記補間信号の値との和の比で示される、１より大きい補正値を取得し、当該取得した１より大きい補正値を上記複数の色信号に乗算して補正し、補正後の複数の色信号に基づいて、感度が向上した高感度カラー画像を生成する画像生成部と、を有する。

本発明の撮像方法は、撮像対象から、複数の色光を第１の露光時間で受光して各色に対応した複数の色信号に変換し、上記撮像対象から、上記複数の色光の波長範囲を一部に含む補間光を第２の露光時間で受光して補間信号に変換するステップと、前記撮像対象の輝度を取得するステップと、上記取得した輝度に応じて、上記第１の露光時間と上記第２の露光時間とを個別に制御するステップと、上記複数の色信号の値の和に対する、上記複数の色信号の各値と上記補間信号の値との和の比で示される、１より大きい補正値を取得し、当該取得した１より大きい補正値を上記複数の色信号に乗算して補正し、補正後の複数の色信号に基づいて、感度が向上した高感度カラー画像を生成するステップと、を有する。

本発明によれば、制御部は、撮像すべき撮像対象の明るさに応じて、色光による第１の露光時間と、補間光による第２の露光時間とを個別に制御する。
制御部による第１の露光時間に、撮像部は、色光を受光し、これを色信号に変換した後、色信号を画像生成部に出力する。そして、制御部による第２の露光時間に、撮像部は、補間光を受光し、これを補間信号に変換した後、補間信号を画像生成部に出力する。
そして、画像生成部は、撮像部から入力された色信号と、補間信号とに基づいて、画像を生成する。

本発明によれば、撮像すべき被写体が暗い場合であっても、カラー画像の画質を向上させることができる。

図１は、本発明の第１実施形態に係る撮像装置の構成例を示す概略ブロック図である。 図２は、本発明の第１実施形態に係る光学フィルタの構成例を示す模式図である。 図３は、本発明の第１実施形態に係る撮像部の構成例を示す概略ブロック図である。 図４は、本発明の第１実施形態に係る画素の構成例を示す等価回路図である。 図５は、本発明の第１実施形態に係る画素の駆動方法の例を示すタイミングチャートである。 図６は、本発明の第１実施形態に係る信号処理部の構成例を示すブロック図である。 図７は、本発明の第１実施形態に係る制御部の露光制御機能を説明するための図である。 図８は、本発明の第１実施形態に係る信号処理部の動作例を示すフローチャートである。 図９（Ａ）、（Ｂ）は、図８に図示するステップＳＴ４の処理例を示す図である。 図１０（Ａ）、（Ｂ）は、図８に図示するステップＳＴ７の処理例を示す図である。 図１１は、本発明の第２実施形態に係る撮像装置の構成例を示す概略ブロック図である。

以下、本発明の実施形態を図面に関連付けて説明する。なお、説明は以下の順序で行う。
１．第１実施形態（光学フィルタを使用した撮像）
２．第２実施形態（光源を使用した撮像）

〈１．第１実施形態〉
［撮像装置の構成例］
図１は、本発明の第１実施形態に係る撮像装置の構成例を示す概略ブロック図である。ただし、図１には、撮像装置１の主要部のみが図示されている。

図１に図示するように、撮像装置１は、レンズ（ＬＮＳ）１１、絞り部（ＡＰＴ）１２、光学フィルタ（ＦＩＬ）１３、モータ（ＭＯ）１４、撮像部（ＩＳＮＳ）１５、および信号処理部（ＤＳＰ）１６を有する。
なお、信号処理部１６は、本発明の制御部と画像生成部に対応する。光学フィルタ１３は、本発明のフィルタ部に対応する。

撮像装置１は、面順次方式の撮像装置である。撮像装置１は、回転式の光学フィルタ１３を透過した色光と、白色（Ｗ）光とによって撮像された色別の画素信号（画像データ）を信号処理部１６にて合成することにより、カラー画像を生成する。

色光は、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３原色の光を指す。赤色光（第１の色光）は、波長λ＝６００ｎｍ〜７００ｎｍ程度の電磁波である。緑色光（第２の色光）は、波長λ＝５００ｎｍ〜６００ｎｍ程度の電磁波である。青色光（第３の色光）は、波長λ＝４００ｎｍ〜５００ｎｍ程度の電磁波である。白色光（補間光）は、波長λ＝３８０ｎｍ〜７８０ｎｍ程度の可視光線である。したがって、白色光は、少なくとも、３原色のいずれか一の色の光を一部含む。色光は、例えば、黄色（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）等、補色系の光であってもよい。

レンズ１１は、例えば、光を透過させることが可能な石英やサファイヤ等の光学材料によって形成されている。レンズ１１は、被写体ＯＢＪの像を撮像部１５の画素部に結像させる。
なお、レンズ１１が集光する光は、例えば、赤外線を含んでいてもよい。例えば、赤外線カットフィルタ（不図示）をレンズ１１と絞り１２との間に配置することで、赤外線を遮光することができる。例えば、光学ローパスフィルタ（不図示）をレンズ１１と絞り１２との間に配置することで、ナイキスト周波数以上の高周波成分を遮断することができる。

絞り部１２は、レンズ１１を介して撮像部１５の画素部（撮像面）が受光する光量を調整する。

光学フィルタ１３は、円盤状の形状を有する（図２参照）。その円盤面には、白色光を透過させる白色フィルタ１３１と、色光を透過させる色フィルタ１３２とが形成されている。詳細については後述するが、色フィルタ１３２は、赤色フィルタ、緑色フィルタ、青色フィルタによって構成されている。
光学フィルタ１３には、その円周方向に軸心Ｏを中心として回転できるように、モータ１４の回転軸が取り付けられている。ただし、光学フィルタ１３は、いずれか一方のフィルタが光軸ＡＸＩＳ上となるように、絞り部１２と撮像部１５との間に配置されている。撮像装置１は、光学フィルタ１３を軸心Ｏにて回転させることにより、レンズ１１が集光した光の内、色光と白色光とを選択的に撮像部１５に入射させる。

モータ１４は、好ましくは、ステッピングモータである。モータ１４は、光学フィルタ１３を軸心Ｏにて正転方向に回転させるため、回転軸が光学フィルタ１３の軸心Ｏに取り付けられている。モータ１４は、信号処理部１６から供給された制御信号ＳＣＴＬ１によって、モータ１４の回転軸を所望する位置で停止することができる。これにより、所望する時間間隔で色光と白色光とを選択的に撮像部１５に入射させることができる。

撮像部１５には、面順次方式によって撮像が可能なＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが一例として採用されている。ＣＭＯＳイメージセンサの代わりに、例えば、ＣＣＤ（Charge Coupled Device）、ＭＯＳ（Metal Oxide Semiconductor）型イメージセンサ、ＣＭＤ（Charge Modulation Device）を撮像部１５に採用することができる。

撮像部１５は、光電変換によって、入射光をその光量に応じた電気信号に変換する。面順次方式で撮像が行われるため、撮像部１５には、光学フィルタ１３を透過した赤色光、緑色光、青色光、白色光が順次入射される。したがって、色ごとの撮像画像が得られる。白色光によって撮像された画像は、白色、即ち、輝度の高低によるモノクロの画像である。例えば、赤色光によって撮像された画像は、赤色成分の画像である。
詳細には、撮像部１５は、色光を受光すると、色ごとのアナログ信号を生成する。この撮像部１５では、カラム処理回路（図３参照）にて、アナログ信号がデジタル信号に変換される。撮像部１５は、色ごとのデジタル信号を画素信号として信号処理部１６に出力する。撮像部１５は、色光を受光した場合と同様に、白色光を受光すると、白色の画素信号を信号処理部１６に出力する。

説明の便宜上、白色光によって撮像された白色成分の画像を白色の画素信号（補間信号）ＳＷとする。赤色光によって撮像された赤色成分の画像を赤色の画素信号ＳＲとする。緑色光によって撮像された緑色成分の画像を緑色の画素信号ＳＧとする。青色光によって撮像された青色成分の画像を青色の画素信号ＳＢとする。画素信号ＳＲ、画素信号ＳＧおよび画素信号ＳＢを単に色画素信号（色信号）ともいう。

信号処理部１６は、撮像装置１の主要部を制御する制御機能と、画像処理を行う画像処理機能とを有する。制御機能には、絞り部１２を制御する絞り制御機能と、モータ１４を制御することで露光時間を制御する露光制御機能と、撮像部１５のゲインを制御するゲイン制御機能とが含まれる。

始めに、露光制御機能の概略について説明する。撮像装置１は、光学フィルタ１３を使用して撮像を行うため、撮像すべき被写体（撮像対象）ＯＢＪの明るさに応じて、色光による露光時間と、白色光による露光時間とを個別に制御することができる。被写体ＯＢＪの明るさとは、撮像部１５が受光した光の明るさを指す。明るさの指標としては、例えば、輝度が使用される。信号処理部１６は、撮像すべき被写体ＯＢＪの明るさが、標準状態での被写体ＯＢＪの明るさよりも暗いか否かを判別する。

なお、標準状態とは、各色、共通の露光時間で被写体ＯＢＪを撮像可能な状態を指す。標準状態では、赤色光による露光時間（Ｒｔ）、緑色光による露光時間（Ｇｔ）、青色光による露光時間（Ｂｔ）、白色光による露光時間（Ｗｔ）の露光時間比が、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：１である。標準状態では、このような露光時間比で撮像を行うことができる。

標準状態でない場合、換言すれば、撮像すべき被写体ＯＢＪの明るさが標準状態での明るさよりも暗い状態では、露光が不足する。このような状態を非標準状態という。
そこで、信号処理部１６は、被写体ＯＢＪが暗いという判別結果を得た場合には、白色光による露光時間のみを標準状態での白色光による露光時間よりも長くなるように露光時間を制御する。

非標準状態での露光制御の具体例を挙げる。信号処理部１６は、撮像すべき被写体ＯＢＪの明るさに応じて、白色光による露光時間（第２の露光時間）のみを色光による露光時間（第１の露光時間）の２倍にする。即ち、露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：２となる。
このとき、信号処理部１６は、白色光による露光時間が色光による露光時間の２倍になるように、モータ１４を制御する。したがって、光軸ＡＸＩＳ上に白色フィルタ１３１が静止している時間は、光軸ＡＸＩＳ上に色フィルタ１３２が静止している時間の２倍である。

次に、絞り機能とゲイン制御機能とについて説明する。明るさの制御では、例えば、絞り、露光時間、撮像部１５のゲインが各々好適に制御される。信号処理部１６は、明るさを制御する際に、露光制御に加え、絞り制御とゲイン制御とを行う。
信号処理部１６は、被写体ＯＢＪが暗いという判別結果を得た場合には、絞りを開くための制御信号ＳＣＴＬ２を絞り部１２に出力する。さらに、信号処理部１６は、撮像部１５のゲインを上げるための制御信号ＳＣＴＬ３を撮像部１５に出力する。

画像処理機能の概要について説明する。撮像部１５は、カラーフィルタが撮像面上（画素部）に搭載されたものとは異なり、全ての画素で同一色の光を受光して、色ごとの画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷを順に生成する。このため、信号処理部１６は、次式で示される演算処理を行って、これらの画素信号からカラー画像を生成する。

（数１）
ＳＲｘ^＊＝ＳＲｘ×Δ …（１）
ＳＧｘ^＊＝ＳＧｘ×Δ …（２）
ＳＢｘ^＊＝ＳＢｘ×Δ …（３）
ただし、
Δ＝（ＳＲｘ＋ＳＧｘ＋ＳＢｘ＋ＳＷｘ）／（ＳＲｘ＋ＳＧｘ＋ＳＢｘ） …（４）

（１）〜（４）式において、ＳＲｘ、ＳＧｘ、ＳＢｘ、ＳＷｘは、任意の行における任意の列の画素ｘ（空間位置ｘ）において、赤色の画素信号、緑色の画素信号、青色の画素信号、白色の画素信号を各々示す。（１）〜（３）式において、ＳＲｘ^＊、ＳＧｘ^＊、ＳＢｘ^＊は、画素ｘに各々対応し、生成すべきカラー画像を構成する、赤色の画素信号、緑色の画素信号、青色の画素信号を各々示す。（４）式において、Δは補正値を示す。

一般的な面順次方式の撮像装置では、白色光による露光が行われない。このため、白色フィルタ１３１が存在せず、画素信号ＳＷｘの値は、０である。この場合、（１）〜（３）式に共通に含まれる補正値Δは、Δ＝１となる。即ち、一般的な撮像装置が生成すべき画素信号は、ＳＲｘ^＊＝ＳＲｘ、ＳＧｘ^＊＝ＳＧｘ、ＳＢｘ^＊＝ＳＢｘとなる。
これに対して、本実施形態に係る撮像装置１では、色光による露光に加え、白色光による露光が行われる。このため、撮像部１５によって得られた各色の画素信号ＳＲｘ、ＳＧｘ、ＳＢｘに、白色の画素信号ＳＷｘを考慮した補正を行う必要がある。

そこで、（１）〜（３）式に示すように、信号処理部１６は、各色の画素信号ＳＲｘ、ＳＧｘ、ＳＢｘの値に補正値Δを各々掛ける。補正値Δの分子に画素信号ＳＷｘが含まれるため、生成すべき画素信号ＳＲｘ^＊、ＳＧｘ^＊、ＳＢｘ^＊の値は、一般的な撮像装置のものよりも大きな値となる。このように、画素信号ＳＷｘによって、生成すべき画素信号ＳＲｘ^＊、ＳＧｘ^＊、ＳＢｘ^＊の大きさが増大する。換言すれば、白色光は、色光の明るさを補間する役目を果たす。この明るさは、具体的には輝度である。
この演算処理は、全画素に対して行われる。信号処理部１６は、この演算処理によって生成した画素信号ＳＲｘ^＊、ＳＧｘ^＊、ＳＢｘ^＊を画素ｘごとに合成することで、最終的なカラー画像を生成する。

［光学フィルタ１３の具体的な構成例］
光学フィルタ１３の構成例を図２に関連付けて説明する。
図２は、本発明の第１実施形態に係る光学フィルタの構成例を示す模式図である。図２には、光学フィルタ１３の面方向から見た様子が例示されている。

図２に図示するように、円盤状に形成された光学フィルタ１３には、白色光に対して透過性を有する白色フィルタ（補間フィルタ）１３１と、色光に対して透過性を有する色フィルタ１３２とが形成されている。
詳細には、色フィルタ１３２は、赤色フィルタ（第１のフィルタ）１３２ａ、緑色フィルタ（第２のフィルタ）１３２ｂ、および青色フィルタ（第３のフィルタ）１３２ｃによって構成されている。
赤色フィルタ１３２ａは、赤色光に対して透過性を有するフィルタである。緑色フィルタ１３２ｂは、緑色光に対して透過性を有するフィルタである。青色フィルタ１３２ｃは、青色光に対して透過性を有するフィルタである。白色フィルタ１３１と各色のフィルタ１３２ａ〜１３２ｃとが設けられている部分以外は、光を遮光可能な部材によって形成されている。
白色フィルタ１３１、赤色フィルタ１３２ａ、緑色フィルタ１３２ｂ、および青色フィルタ１３２ｃは、各々が略扇形の形状で、略同一の面積を有する。これらの各フィルタは、光学フィルタ１３の円盤面に対し、均等な位置に形成されている。これらの各フィルタは、各々が撮像部１５の画素部を覆うことができる程度の面積を有する。
光学フィルタ１３の軸心Ｏには、モータ１４の回転軸が取り付けられている。光学フィルタ１３は、モータ１４の回転に伴って、軸心Ｏを中心として回転する。光学フィルタ１３の回転方向は、例えば、反時計方向である。

白色フィルタ１３１が光軸ＡＸＩＳ上に存在するとき、白色フィルタ１３１は、入射された光の内、白色光を透過させる。これにより、撮像部１５は、白色光を受光する。
赤色フィルタ１３２ａが光軸ＡＸＩＳ上に存在するとき、赤色フィルタ１３２ａは、入射された光の内、赤色光を透過させる。これにより、撮像部１５は、赤色光を受光する。
緑色フィルタ１３２ｂが光軸ＡＸＩＳ上に存在するとき、緑色フィルタ１３２ｂは、入射された光の内、緑色光を透過させる。これにより、撮像部１５は、緑色光を受光する。
青色フィルタ１３２ｃが光軸ＡＸＩＳ上に存在するとき、青色フィルタ１３２ｃは、入射された光の内、青色光を透過させる。これにより、撮像部１５は、青色光を受光する。
撮像部１５は、例えば、赤色光、緑色光、青色光、白色光、赤色光、…の順に光を受光し、各々の色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷを生成する。
なお、白色フィルタ１３１を取り外し、白色フィルタ１３１の領域にて、白色光を撮像部１５の画素部に直接入射させるようにすることもできる。

［撮像部１５の具体的な構成例］
撮像部１５の具体的な構成例を図３に関連付けて説明する。
図３は、本発明の第１実施形態に係る撮像部の構成例を示す概略ブロック図である。なお、図３には、ＣＭＯＳイメージセンサが撮像部１５の一例として例示されている。

図３に図示するように、撮像部１５は、画素部１５１、画素（ＰＩＸ）１５２、行駆動回路１５３、カラム処理回路１５４、水平転送回路１５５、および出力回路１５６を有する。これらの各構成要素は、一つの半導体チップ上に形成されている。

画素部１５１は、入射光を受光する画素領域である。画素部１５１は、ｍ（行方向）×ｎ（列方向）個の画素１５２がマトリクス状に配列されている。撮像部１５は、面順次方式の撮像を行うため、画素部１５１には、カラーフィルタが未搭載である。

ｍ行目の各画素１５２には、各々の画素１５２を駆動するために、転送信号線、リセット信号線、選択信号線等が共通に接続されている（図４参照）。ｎ列目の各画素１５２には、垂直信号線ＶＳＬ（ｎ）が共通に接続されている。
ｍ行ｎ列目の画素１５２は、光電変換によって入射光を電荷（電子）に変換し、この電荷をアナログ信号として垂直信号線ＶＳＬ（ｎ）に出力する。

行駆動回路１５３は、行単位で画素１５２を選択し、選択行の各画素１５２を駆動する。行駆動回路１５３が、ｍ行目の各画素１５２を駆動したとき、ｍ行ｎ列目の画素１５２は、光電変換によって生成したアナログ信号を垂直信号線ＶＳＬ（ｎ）に出力する。

カラム処理回路１５４は、例えば、ＡＤＣ（Analog Digital Converter）回路（不図示）を列（カラム）毎に有する。各ＡＤＣ回路は、垂直信号線ＶＳＬ（ｎ）に伝搬されたアナログ信号をデジタル信号に変換（ＡＤ変換）する。
このとき、カラム処理回路１５４は、１水平走査期間（水平ブランキング期間）の１画素期間に、選択行の画素１５２からアナログ信号を２回読み出す。そして、カラム処理回路１５４は、このアナログ信号にＣＤＳ（Correlated Double Sampling；相関２重サンプリング）処理を施すことによって、リセットノイズ等を除去する。
その後、カラム処理回路１５４は、水平転送回路１５５を介して、デジタル信号を出力回路１５６に出力する。

水平転送回路１５５は、列アドレスを順次選択し、カラム処理回路１５４からデジタル信号を読み出す。そして、水平転送回路１５５は、順次読み出したデジタル信号を出力回路１５６に出力する。

出力回路１５６は、水平転送回路１５５から入力されたデジタル信号を増幅し、このデジタル信号を画素信号ＳＲ，ＳＧ、ＳＢ、ＳＷとして撮像装置１の信号処理部１６に出力する。

［画素１５２の具体的な構成例］
画素１５２の構成例を図４に関連付けて説明する。
図４は、本発明の第１実施形態に係る画素の構成例を示す等価回路図である。図４には、ｎ行ｍ列目の画素１５２が例示されている。

図４に図示するように、画素１５２は、フォトダイオードで形成された光電変換素子１５１１、転送トランジスタ１５１２、リセットトランジスタ１５１３、増幅トランジスタ１５１４、および選択トランジスタ１５１５を有する。

光電変換素子１５１１は、アノード側が接地（ＧＮＤ）され、カソード側が転送トランジスタ１５１２のソースに接続されている。光電変換素子１５１１は、入射光をその光量に応じて電荷（電子）に光電変換し、その電荷を蓄積する。

各々のトランジスタには、ｎチャネルの絶縁ゲート型電界効果トランジスタが一例として採用されている。各々のトランジスタは、次のような接続形態を採っている。

転送トランジスタ１５１２のソースは、光電変換素子１５１１のカソード側に接続されている。転送トランジスタ１５１２のドレインは、フローティングディフュージョンＦＤに接続されている。転送トランジスタ１５１２のゲートは、転送信号線ＴＲＮＬ（ｍ）に接続されている。
転送トランジスタ１５１２は、光電変換素子１５１１が蓄積した電荷をフローティングディフュージョンＦＤに転送する。

フローティングディフュージョンＦＤは、転送トランジスタ１５１２のドレイン、リセットトランジスタ１５１３のソース、および増幅トランジスタ１５１４のゲートが共通に接続されている。

リセットトランジスタ１５１３のソースは、フローティングディフュージョンＦＤに接続されている。リセットトランジスタ１５１３のドレインは、電源電圧ＶＤＤに接続されている。リセットトランジスタ１５１３のゲートは、リセット信号線ＲＳＴＬ（ｍ）に接続されている。
リセットトランジスタ１５１３は、フローティングディフュージョンＦＤの電位を電源電圧ＶＤＤにリセットする。

増幅トランジスタ１５１４のソースは、選択トランジスタ１５１５のドレインに接続されている。増幅トランジスタ１５１４のドレインは、電源電圧ＶＤＤに接続されている。増幅トランジスタ１５１４のゲートは、フローティングディフュージョンＦＤに接続されている。
増幅トランジスタ１５１４は、フローティングディフュージョンＦＤの電位を増幅する。

選択トランジスタ１５１５のソースは、ノードＮＤ１にて垂直信号線ＶＳＬ（ｎ）に接続されている。選択トランジスタ１５１５のドレインは、増幅トランジスタ１５１４のソースに接続されている。選択トランジスタ１５１５のゲートは、選択信号線ＳＥＬＬ（ｍ）に接続されている。
選択トランジスタ１５１５は、画素１５２の電荷の読み出し時に、オン状態となり、増幅トランジスタ１５１４が増幅したアナログ信号電圧を垂直信号線ＶＳＬ（ｎ）に出力する。

定電流源回路１５１６は、垂直信号線ＶＳＬ（ｎ）に接続されている。定電流源回路１５１６は、増幅トランジスタ１５１４と共に、ソースフォロワ回路を形成する。

［画素１５２の駆動方法］
画素１５２の駆動方法について説明する。
図５は、本発明の第１実施形態に係る画素の駆動方法の例を示すタイミングチャートである。
図５（Ａ）は、リセット信号ＳＲＳＴを示す。図５（Ｂ）は、転送信号ＳＴＲＮを示す。図５（Ｃ）は、選択信号ＳＳＥＬを示す。

時間ｔ１において、行駆動回路１５３が、ｍ行目の各画素１５２を選択したものとする。このとき、行駆動回路１５３は、図５（Ａ）に図示するように、パルス状のリセット信号をリセット信号線ＲＳＴＬ（ｍ）に供給する。同時に、行駆動回路１５３は、図５（Ｂ）に図示するように、パルス状の転送信号ＳＴＲＮを転送信号線ＴＲＮＬ（ｍ）に供給する。

その結果、転送トランジスタ１５１２およびリセットトランジスタ１５１３は、パルス幅の期間、同時にオン状態となる。これにより、光電変換素子１５１１に蓄積されている電荷が、フローティングディフュージョンＦＤに転送される。そして、光電変換素子１５１１に蓄積された電荷が、電源電圧ＶＤＤに排出されると共に、フローティングディフュージョンＦＤの電位が、電源電圧ＶＤＤにリセットされる。このように、フローティングディフュージョンＦＤの電位が電源電圧ＶＤＤにリセットされることを「リセット」という。

リセットの実行後、光電変換素子１５１１は、入射光を受けて電荷の蓄積を開始する。時間ｔ２において、行駆動回路１５３は、図５（Ｃ）に図示するように、ハイレベルの選択信号ＳＳＥＬを時間ｔ６まで選択信号線ＳＥＬＬ（ｍ）に供給する。この時間ｔ６は、電荷の読み出し動作が終了する時間である。
これにより、画素１５２の選択トランジスタ１５１５は、同一行（選択行）の画素１５２の電荷の読み出し動作が終了するまでオン状態が保持される。

時間ｔ２において、行駆動回路１５３は、図５（Ａ）に図示するように、パルス状のリセット信号ＳＲＳＴをリセット信号線ＲＳＴＬ（ｍ）に供給する。
これにより、フローティングディフュージョンＦＤの電位が一旦、電源電圧ＶＤＤにリセットされる。選択トランジスタ１５１５がオン状態であるため、フローティングディフュージョンＦＤの電位がアナログ信号電圧として垂直信号線ＶＳＬ（ｎ）に出力される。
このとき垂直信号線ＶＳＬ（ｎ）に伝搬されたアナログ信号は、リセットによるリセットレベルでの信号であることから「リセット信号」と呼ばれる。

時間ｔ３において、１回目のアナログ信号、すなわち、リセット信号の読み出しが行われる。このとき、カラム処理回路１５４は、垂直信号線ＶＳＬ（ｎ）に伝搬されたアナログ信号を読み出し、これをＡＤ変換する。

時間ｔ４において、行駆動回路１５３は、図５（Ｂ）に図示するように、パルス状の転送信号ＳＴＲＮを転送信号線ＴＲＮＬ（ｍ）に供給する。パルス幅の期間、転送トランジスタ１５１２がオン状態となり、リセットトランジスタ１５１３は、オフ状態に保持されている。
これにより、光電変換素子１５１１に蓄積されている電荷は、フローティングディフュージョンＦＤに転送される。そして、フローティングディフュージョンＦＤの電位は、増幅トランジスタ１５１４によって増幅される。

図５（Ｂ）に図示する転送信号ＳＴＲＮにおいて、時間ｔ１におけるパルスの立ち上がりから時間ｔ４におけるパルスの立ち下がりまでの期間Δｔは、光電変換素子１５１１に電荷を蓄積する「電荷蓄積期間」と呼ばれる。

増幅トランジスタ１５１４と垂直信号線ＶＳＬ（ｎ）に接続された定電流源回路１５１６とによって、ソースフォロワ回路が形成されていることから（図４参照）、定電流源回路１５１６と増幅トランジスタ１５１４との間にバイアス電流が流れる。
これにより、増幅されたフローティングディフュージョンＦＤの電位は、選択トランジスタ１５１５を介し、アナログ信号として垂直信号線ＶＳＬ（ｎ）に出力される。
このとき垂直信号線ＶＳＬ（ｎ）に伝搬されたアナログ信号は、光電変換素子１５１１が蓄積した信号電荷であることから「蓄積信号」と呼ばれる。

時間ｔ５において、２回目のアナログ信号、すなわち、蓄積信号の読み出しが行われる。このとき、カラム処理回路１５４は、画素１５２が垂直信号線ＶＳＬ（ｎ）に出力したアナログ信号を読み出し、これをＡＤ変換する。

カラム処理回路１５４は、１回目に読み出したリセット信号と２回目に読み出した蓄積信号との差分をデジタル化する。この差分には、光電変換素子１５１１の光電変換によって蓄積されたフローティングディフュージョンＦＤの電荷量が反映されている。

その後、水平転送回路１５５は、列アドレスを順次選択し、カラム処理回路１５４からデジタル信号を読み出す。そして、水平転送回路１５５は、順次読み出したデジタル信号を出力回路１５６に出力する。
出力回路１５６は、水平転送回路１５５から入力されたデジタル信号を増幅する。そして、出力回路１５６は、このデジタル信号を各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷとして信号処理部１６に出力する。

［信号処理部１６の具体的な構成例］
信号処理部１６の具体的な構成例について説明する。
図６は、本発明の第１実施形態に係る信号処理部の構成例を示すブロック図である。

図６に図示するように、信号処理部１６は、前処理部１６１、補正処理部１６２、セレクタ１６３、メモリ部１６４、画像処理部１６５、および制御部１６６を有する。
メモリ部１６４は、第１のメモリ１６４１〜第４のメモリ１６４４を有する。画像処理部１６５は、ＹＵＶ処理部１６５１を有する。制御部１６６は、比較部１６６１を有する。
なお、前処理部１６１、補正処理部１６２および画像処理部１６５は、本発明の画像生成部に対応する。ＹＵＶ処理部１６５１は、本発明の取得部に対応する。

［前処理部１６１の詳細］
前処理部１６１は、次に述べる前処理を行う。具体的には、光学フィルタ１３の回転に応じて、撮像部１５は、各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷを順次生成する。前処理部１６１には、各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷが撮像部１５から順次入力される。
前処理部１６１は、各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷに対して、例えば、黒レベル調整、ガンマ補正、ゲイン調整を施す。ゲイン調整は、例えば、不図示のＡＧＣ（Automatic Gain Control；自動利得制御）回路によって行われる。前処理部１６１は、前処理を施した各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷを前処理済信号Ｓ１６１として補正処理部１６２に出力する。

［補正処理部１６２の詳細］
補正処理部１６２は、次に述べる補正処理を行う。具体的には、補正処理部１６２は、前処理部１６１によって前処理が施された前処理済信号Ｓ１６１に対して、例えば、ホワイトバランス処理、シェーディング補正を施す。シェーディング補正は、レンズ１１で生じるシェーディングを補正するものである。補正処理後、補正処理部１６２は、補正処理を施した各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷを補正処理済信号Ｓ１６２としてセレクタ１６３に出力する。

［セレクタ１６３の詳細］
セレクタ１６３は、補正処理部１６２から入力された補正処理済信号Ｓ１６２をメモリ部１６４に各々出力する。補正処理済信号Ｓ１６２は、補正処理部１６２によって補正処理された画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷである。
具体的には、セレクタ１６３は、白色の画素信号ＳＷが入力された場合には、これを第１のメモリ１６４１に出力する。セレクタ１６３は、赤色の画素信号ＳＲが入力された場合には、これを第２のメモリ１６４２に出力する。
セレクタ１６３は、緑色の画素信号ＳＧが入力された場合には、これを第３のメモリ１６４３に出力する。セレクタ１６３は、青色の画素信号ＳＢが入力された場合には、これを第４のメモリ１６４４に出力する。

［メモリ部１６４の詳細］
メモリ部１６４は、補正処理部１６２から入力された補正処理済信号Ｓ１６２を画像処理部１６５に出力するためのバッファとして機能する。このとき、メモリ部１６４は、タイミングジェネレータ（不図示）の指示に従って、補正処理済信号Ｓ１６２を画像処理部１６５に各々出力する。

具体的には、第１のメモリ１６４１は、セレクタ１６３を介して補正処理部１６２から入力された白色の画素信号ＳＷを格納し、これを画像処理部１６５に出力する。
第２のメモリ１６４２は、セレクタ１６３を介して補正処理部１６２から入力された赤色の画素信号ＳＲを格納し、これを画像処理部１６５に出力する。
第３のメモリ１６４３は、セレクタ１６３を介して補正処理部１６２から入力された緑色の画素信号ＳＧを格納し、これを画像処理部１６５に出力する。
第４のメモリ１６４４は、セレクタ１６３を介して補正処理部１６２から入力された青色の画素信号ＳＢを格納し、これを画像処理部１６５に出力する。

［画像処理部１６５の詳細］
画像処理部１６５には、第１のメモリ１６４１〜第４のメモリ１６４４から赤色の画素信号ＳＲ、緑色の画素信号ＳＧ、青色の画素信号ＳＢ、および白色の画素信号ＳＷが各々入力される。画像処理部１６５は、各色の画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷに対して、先に述べた画像処理を施す。

ＹＵＶ処理部１６５１は、画像処理によって生成されたカラー画像を輝度信号ＳＹと色差信号ＳＵＶとに分解する。輝度信号ＳＹは、輝度（輝度レベル）に関する信号である。色差信号ＳＵＶは、例えば、輝度信号ＳＹと赤色の画素信号ＳＲとの差分（ＳＲ−ＳＹ）と、輝度信号ＳＹと青色の画素信号ＳＧとの差分（ＳＢ−ＳＹ）とを含む。
例えば、輝度信号ＳＹと色差信号ＳＵＶとは、モニタ等の表示装置に入力される。これによって、カラー画像が表示装置に表示される。両者の信号をメモリ等の記憶装置に記憶させることもできる。

ＹＵＶ処理部１６５１は、輝度信号ＳＹと色差信号ＳＵＶとをカラー画像ＳＯＵＴとして出力する。更に、ＹＵＶ処理部１６５１は、輝度信号ＳＹを制御部１６６の比較部１６６１に出力する。

［制御部１６６の詳細］
制御部１６６は、絞り制御、露光制御、およびゲイン制御を行う。ここでは、露光制御機能について説明する。
標準状態では、制御部１６６は、色光による露光時間と白色光による露光時間とが共通となるように、露光を行う。ただし、撮像すべき被写体ＯＢＪの明るさが標準状態のものよりも暗い場合（非標準状態）には、制御部１６６は、白色光による露光時間が色光による露光時間よりも長くなるように、露光時間を制御する。このような、撮像すべき被写体ＯＢＪの明るさに関する判別は、制御部１６６の比較部１６６１が行う。

具体的には、比較部１６６１は、撮像部１５が受光した光の輝度Ｌ１と、標準状態で撮像部１５が受光した光の輝度Ｌ２との輝度比Ｒ（＝Ｌ１／Ｌ２）を算出する。そして、比較部１６６１は、輝度比Ｒが規定値１．０程度であるか否かを判別する。なお、標準状態での輝度Ｌ２は、予め設定されている。
この判別の際に、比較部１６６１は、輝度比Ｒと規定値１．０との差分（｜輝度比Ｒ−１．０｜）を算出する。比較部１６６１は、例えば、この差分の絶対値が許容範囲δＲ（例えば、δＲ＝０．１）以内であれば（｜輝度比Ｒ−１．０｜＜δＲ）、輝度比Ｒが規定値１．０程度であるものと判別する。換言すれば、この差分が０に近ければ、輝度比Ｒが規定値１．０であるものとみなすことができる。許容範囲δＲは、被写体ＯＢＪの明るさが標準状態であることが判別可能であれば、好適に設定することができる。
更に、比較部１６６１は、輝度比Ｒが１．０程度でないものと判別した場合には、輝度比Ｒと規定値１．０との大小を比較する。

比較部１６６１が、輝度比Ｒが１．０程度であるという判別結果（Ｒ≒１．０）を得た場合には、制御部１６６は、赤色光による露光時間、緑色光による露光時間、青色光による露光時間、および白色光による露光時間が各々共通となるように露光時間を制御する。
比較部１６６１が、輝度比Ｒが１．０よりも低いという判別結果（Ｒ＜１．０）を得た場合には、制御部１６６は、白色光による露光時間のみが標準状態によるものよりも長くなるように露光時間を制御する。このとき、制御部１６６は、輝度比Ｒに応じて、色光に対する白色光の露光時間を変化させる。
逆に、比較部１６６１が、輝度比Ｒが１．０よりも高いという判別結果（Ｒ＞１．０）を得た場合には、制御部１６６は、白色光による露光時間のみが標準状態によるものよりも短くなるように露光時間を制御する。

以下、より詳細な露光制御機能を図７に関連付けて説明する。
図７は、本発明の第１実施形態に係る制御部の露光制御機能を説明するための図である。以下、比較部１６６１が、輝度比Ｒが１．０よりも低いという判別結果（Ｒ＜１．０）を得た場合について説明する。

図７に図示するように、標準状態では、色光による露光時間が等倍（１倍）である。即ち、各色の露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：１である。したがって、制御部１６６は、例えば、赤色光、緑色光、青色光、白色光による露光時間が各々共通の１／２４０ｓとなるようにモータ１４を制御する。このとき、フレームレートは、１／（１／２４０＋１／２４０＋１／２４０＋１／２４０）＝６０ｆｐｓである。

感度は、撮像部１５の感度を指す。感度を数値化するために、感度を補正値Δ（＝（ＳＲｘ＋ＳＧｘ＋ＳＢｘ＋ＳＷｘ）／（ＳＲｘ＋ＳＧｘ＋ＳＢｘ））で定義する。標準状態では、感度の値（相対値）は、２．２程度である。

ここで、感度について詳細に説明する。ある任意の画素ｘにおける白色の画素信号ＷＳｘの値は、露光時間比がＲｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：１であっても、画素信号ＳＲｘ、ＳＧｘ、ＳＢｘのものよりも大きくなる場合が多い。
その理由は２点挙げられる。第一に、白色光は、赤色光、緑色光、青色光など、あらゆる波長の光を含む。このため、白色光による露光では、色光による露光よりも単純に撮像部１５の受光量が多くなる。第二に、色フィルタ１３２を透過した赤色光、緑色光、青色光は、フィルタ自体の光学的特性による損失が生じ、透過量が減少する。
このような理由により、白色の画素信号ＷＳｘは、他の画素信号ＳＲｘ、ＳＧｘ、ＳＢｘよりも大きな信号となることが多い。したがって、感度は、一般的な撮像装置における撮像部の感度よりも大きくなる。それは、補正値Δの分子に、画素信号ＳＷｘが含まれるためである。

感度の具体的な値は、次のようにして数値化することができる。例えば、非標準状態において、各色の露光時間比が、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝（３／４）：（３／４）：（３／４）：（１５／４）＝１：１：１：５であるものとする。この場合、感度は、標準状態の感度よりも、３倍程度に向上する。この３倍という値は、（３／４＋１５／４×α）／（３／４＋３／４×α）≒３という演算により得ることができる。ただし、αは補正係数を表す。本実施形態では、補正係数αは、例えば、１．２である。補正係数αは、光学フィルタ１３の光学特性などを考慮して好適に設定可能である。

先に述べたように、感度は、補正値Δによって定義される。赤色光、緑色光、青色光による露光時間は、各々が等しいので、各色の画素信号ＳＲｘ、ＳＧｘ、ＳＢｘの値が、ＳＲｘ＝ＳＧｘ＝ＳＢｘ＝１であるものとする。ただし、白色の画素信号ＷＳｘの値は、上述した理由により、例えば、３．６であるものとする。この画素信号ＷＳｘの値は、上述した３倍×補正係数α（＝１．２）という式に基づいている。白色の画素信号ＷＳｘの値は、例えば、２倍×補正係数αのように、好適に設定することができる。このような各々の値により、標準状態での感度の値は、補正値Δ＝（１＋１＋１＋３．６）／（１＋１＋１）＝２．２となる。

図７に図示するように、比較部１６６１による輝度比Ｒが規定値１．０よりも低く、輝度比Ｒが値０．６５（＝ＴＨ）程度であった場合、制御部１６６は、白色光による露光時間が色光による露光時間の２倍となるように、露光時間を制御する。即ち、被写体ＯＢＪの明るさが、標準状態における被写体ＯＢＪの明るさの０．６５倍程度である場合、露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：２である。
比較の際には、比較部１６６１は、輝度比Ｒと値０．６５との差分（｜輝度比Ｒ−ＴＨ｜）を算出する。比較部１６６１は、例えば、この差分の絶対値が許容範囲δＴＨ（例えば、δＴＨ＝０．１）内であれば（｜輝度比Ｒ−ＴＨ｜＜δＴＨ）、輝度比Ｒが値０．６５程度であるものと判別する。無論、許容範囲δＴＨは、撮像部１５の感度などに応じて好適に設定することができる。
そして、制御部１６６は、例えば、赤色光、緑色光、青色光による露光時間が共通の１／２４０ｓ、かつ、白色光による露光時間が１／１２０ｓとなるようにモータ１４を制御する。
フレームレートは、１／（１／２４０＋１／２４０＋１／２４０＋１／１２０）＝４８ｆｐｓである。白色の画素信号ＳＷｘの値は、例えば、標準状態での画素信号ＷＳｘの値を２倍したもの、即ち、３．６×２倍＝７．２に設定される。これにより、感度の値は、補正値Δ＝（１＋１＋１＋７．２）／（１＋１＋１）＝３．４となる。

比較部１６６１による輝度比Ｒが規定値１．０よりも低く、輝度比Ｒが値０．３９程度であった場合、制御部１６６は、白色光による露光時間が色光による露光時間の４倍となるように、露光時間を制御する。即ち、被写体ＯＢＪの明るさが、標準状態における被写体ＯＢＪの明るさの０．３９倍程度である場合、各色の露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：４である。
このときも、比較部１６６１は、輝度比Ｒと値０．３９との差分をとることによって、輝度比Ｒが値０．３９程度であるものと判別する。制御部１６６は、例えば、赤色光、緑色光、青色光による露光時間が共通の１／２４０ｓ、かつ、白色光の露光時間が１／６０ｓとなるようにモータ１４を制御する。
フレームレートは、１／（１／２４０＋１／２４０＋１／２４０＋１／６０）≒３４ｆｐｓである。白色の画素信号ＳＷｘの値は、例えば、標準状態での画素信号ＷＳｘの値を４倍したもの、即ち、３．６×４倍＝１４．４に設定される。これにより、感度の値は、補正値Δ＝５．７となる。

輝度比Ｒが参照する０．６５および０．３９という値は、例えば、感度の相対値によって好適に設定することができる。０．６５という値は、例えば、標準状態での感度の値と、露光時間が２倍であるときの感度の値との比（２．２／３．４＝０．６５）に設定することができる。同様に、０．３９という値は、例えば、標準状態での感度の値と、露光時間が４倍であるときの感度の値との比（２．２／５．７≒０．３９）に設定することができる。

比較部１６６１は、輝度を求める際には、ＹＵＶ処理部１６５１が取得した輝度信号ＳＹを使用する。各色の画素信号ＳＲｘ、ＳＧｘ、ＳＢｘ、ＳＷｘは、任意の単一画素が生成したものである。このため、ＹＵＶ処理部１６５１は、例えば、全画素から得られた画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷの平均値を求める。そして、比較部１６６１は、この平均値を輝度信号ＳＹとする。平均値の代わりに、ＹＵＶ処理部１６５１が画素信号ＳＲｘ、ＳＧｘ、ＳＢｘ、ＳＷｘの分布を求めることもできる。

ところで、比較部１６６１が、輝度比Ｒが規定値１．０よりも高いという判別結果（Ｒ＞１．０）を得た場合には、白色光による露光時間が色光によるものより少なくなるように、制御部１６６がモータ１４を制御する。
この場合、制御部１６６は、例えば、白色光による露光時間が色光による露光時間の０．５倍となるように、露光時間を制御する。即ち、各色の露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：（１／２）である。制御部１６６は、例えば、赤色光、緑色光、青色光による露光時間が共通の１／２４０ｓ、かつ、白色光による露光時間が１／４８０ｓとなるようにモータ１４を制御する。あるいは、白色光による露光時間が限りなく０となるようにすることもできる。

何れの場合においても、赤色光による露光時間、緑色光による露光時間および青色光による露光時間が各々等しくなるように（Ｒｔ：Ｇｔ：Ｂｔ＝１：１：１）、露光時間が制御される。
図７に例示した色光に対する白色光の露光時間は、輝度比Ｒに応じて、例えば６倍等、好適に設定することができる。

［信号処理部１６の動作例］
信号処理部１６の動作例を図８〜図１０に関連付けて説明する。
図８は、本発明の第１実施形態に係る信号処理部の動作例を示すフローチャートである。
図９（Ａ）、（Ｂ）は、図８に図示するステップＳＴ４の処理例を示す図である。
図１０（Ａ）、（Ｂ）は、図８に図示するステップＳＴ７の処理例を示す図である。

図８に図示するように、露光制御が開始したものとする。ただし、説明を明確にするため、プレビュー等の機能により、予め画像処理部１６５がカラー画像を取得したものとする。これにより、ＹＵＶ処理部１６５１は、輝度信号ＳＹを制御部１６６の比較部１６６１に出力する。

非標準状態では、露光が不足する。したがって、被写体ＯＢＪが、標準状態にあるか否かという判別が行われる。
詳細には、比較部１６６１は、撮像部１５が受光した光の輝度Ｌ１と、標準状態で撮像部１５が受光した光の輝度Ｌ２との輝度比Ｒ（＝Ｌ１／Ｌ２）を算出する（ステップＳＴ１）。そして、比較部１６６１は、輝度比Ｒが規定値１．０程度であるか否かを判別する（ステップＳＴ２）。

比較部１６６１が、輝度比Ｒが規定値１．０程度であるという判別結果（Ｒ≒１．０）を得た場合には、被写体ＯＢＪの明るさが標準状態である。制御部１６６は、例えば、赤色光、緑色光、青色光、白色光による露光時間が各々共通の１／２４０ｓとなるようにモータ１４を制御する（ステップＳＴ３）。

その結果、各色の露光時間比が、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：１となるように、光学フィルタ１３は、軸心Ｏにて反時計方向に回転する。これにより、赤色光、緑色光、青色光、白色光が、撮像部１５に順次入射する。その後、撮像部１５は、各色の光を受光する度に、色ごとのアナログ信号を生成する。そして、撮像部１５は、色ごとのデジタル信号を画素信号ＳＲ、ＳＧ、ＳＢ、ＳＷとして信号処理部１６に出力する。

その後、信号処理部１６は、撮像部１５から入力された画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢに対して、画像処理を行う（ステップＳＴ４）。
詳細には、前処理部１６１が、これらの画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢに対して前処理を施した後、補正処理部１６２が、前処理が施された画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢに対して、補正処理を施す。
そして、セレクタ１６３は、補正処理部１６２によって補正処理が施された画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢを画素信号別にメモリ部１６４に出力する。
その後、メモリ部１６４は、タイミングジェネレータの指示に従って、各々の画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢを画像処理部１６５に出力する。

図９（Ａ）に図示するように、画像処理部１６５には、１フレーム期間（１／６０ｓ）に、画素信号ＳＲｘ（０）、ＳＧｘ（０）、ＳＢｘ（０）、ＳＷｘ（０）が順に入力される。例えば、画素信号ＳＲｘ（０）は、任意の列において、０列目の画素が生成した画素信号であることを示している。次の１フレーム期間には、画素信号ＳＲｘ（１）、ＳＧｘ（１）、ＳＢｘ（１）、ＳＷｘ（１）が順に入力される。このように、画像処理部１６５には、画素の数だけ、０列目の画素から画素信号ＳＲｘ、ＳＧｘ、ＳＢｘ、ＳＷｘが順に入力される。なお、図９（Ａ）に図示するように、各色の露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：１である。

図９（Ｂ）に図示するように、画像処理部１６５は、フレーム期間ごとに、（１）〜（４）式で示される演算処理を行って、画素信号ＳＲｘ^＊、ＳＧｘ^＊、ＳＢｘ^＊を画素ごとに合成する。図９（Ｂ）において、例えば、画素信号ＳＲｘ（０）^＊は、画素信号ＳＲｘ（０）に対応した、生成すべき画素信号であることを示す。これによって、標準状態における最終的なカラー画像が生成される。

一方、ステップＳＴ２において、輝度比Ｒが規定値１．０程度でない場合（ＮＯ）、比較部１６６１は、輝度比Ｒが既定値１．０よりも低いか否かを判別する（ステップＳＴ５）。

比較部１６６１が、輝度比Ｒが規定値１．０よりも低いという判別結果（Ｒ＜１．０）を得た場合には（ＹＥＳ）、制御部１６６は、白色光による露光時間のみを標準状態によるものよりも長くなるように露光時間を制御する（ステップＳＴ６）。

このとき、比較部１６６１による輝度比Ｒが値０．６５程度であった場合、制御部１６６は、例えば、赤色光、緑色光、青色光の露光時間が共通の１／２４０ｓ、かつ、白色光の露光時間が１／１２０ｓとなるようにモータ１４を制御する。
その結果、各色の露光時間比が、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：２となるように、光学フィルタ１３は、軸心Ｏにて反時計方向に回転する。

比較部１６６１による輝度比Ｒが値０．３９程度であった場合、制御部１６６は、例えば、赤色光、緑色光、青色光の露光時間が共通の１／２４０ｓ、かつ、白色光の露光時間が１／６０ｓとなるようにモータ１４を制御する。
その結果、各色の露光時間比が、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：４となるように、光学フィルタ１３は、軸心Ｏにて反時計方向に回転する。
そして、先に述べたように、撮像部１５が生成した各々の画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢが画像処理部１６５に入力される。

その後、信号処理部１６は、撮像部１５から入力された画素信号ＳＷ、ＳＲ、ＳＧ、ＳＢに対して、ステップＳＴ４と同様に、画像処理を行う（ステップＳＴ７）。
ただし、ステップＳＴ７では、１フレーム期間がステップＳＴ４のものと異なる。ここでは、比較部１６６１による輝度比Ｒが値０．６５程度であった場合における画像処理部１６５の動作について説明する。

図１０（Ａ）に図示するように、１フレーム期間（１／４８ｓ）に、画素信号ＳＲｘ（０）、ＳＧｘ（０）、ＳＢｘ（０）、ＳＷｘ（０）が順に入力される。ステップＳＴ４にて述べたように、画像処理部１６５には、画素の数だけ、０列目の画素から画素信号ＳＲｘ、ＳＧｘ、ＳＢｘ、ＳＷｘが順に入力される。なお、図１０（Ａ）に図示するように、各色の露光時間比は、Ｒｔ：Ｇｔ：Ｂｔ：Ｗｔ＝１：１：１：２である。

図１０（Ｂ）に図示するように、画像処理部１６５は、フレーム期間ごとに、（１）〜（４）式で示される演算処理を行って、画素信号ＳＲｘ（ｎ）、ＳＧｘ（ｎ）、ＳＢｘ（ｎ）を画素ごとに合成する。これによって、非標準状態における最終的なカラー画像が生成される。

一方、ステップＳＴ５において、比較部１６６１が、輝度比Ｒが規定値１．０よりも高いという判別結果（Ｒ＞１．０）を得た場合には（ＮＯ）、制御部１６６は、白色光による露光時間のみが標準状態によるものよりも短くなるように露光時間を制御する（ステップＳＴ８）。

そして、信号処理部１６の画像処理部１６５は、フレーム期間ごとに、（１）〜（４）式で示される演算処理を行って、画素信号ＳＲｘ（ｎ）、ＳＧｘ（ｎ）、ＳＢｘ（ｎ）を画素ごとに合成する（ステップＳＴ９）。

本実施形態によれば、以下の効果を得ることができる。先に述べたように、一般的な面順次方式の撮像装置では、白色光による露光が行われない。したがって、赤色光、緑色光、青色光による露光時間が２倍になれば、撮像部の感度は２倍程度に向上するが、フレームレートが半分に低下する。

これに対し、本実施形態の撮像装置１では、図７に図示するように、白色光による露光時間が色光による露光時間の４倍であるとき、フレームレートは３４ｆｐｓである。感度は５．７程度である。露光時間が４倍であるにも拘わらず、フレームレートは、標準状態での半分にも達していない。このときの感度は、標準状態での感度の５．７／２．２≒２．６倍にも達する。

このように、白色光による露光を行うことで、時間に対する解像度が低下しても、高感度のカラー画像を得ることができる。各々の光による露光時間が同じであっても、感度は、一般的な撮像装置のものよりも向上する。

撮像部の撮像面上にカラーフィルタが搭載された撮像装置では、例えば、赤色、緑色、青色、白色のフィルタがベイヤー状に配列されている。このような撮像装置では、被写体が暗いときに、特定の色光（例えば白色光）の露光時間のみを変化させることが困難である。
これに対し、本実施形態の撮像装置１では、光学フィルタ１３を使用するため、色別に露光時間を変えることができる。このため、白色光による露光時間を変化させて、白色の画素信号の感度のみを調整することができる。

一般に、白色光の露光時間が長くなる程、カラー画像の色が薄くなる傾向がある。しかしながら、人間の目は、色差よりも輝度（感度）の方が敏感に反応し、輝度から多くの情報を得る。被写体が暗い場合には、カラー画像がモノクロであっても、被写体が何であるかを識別することの方が重要である。この２つの観点から、白色光の露光時間が長くなった結果、カラー画像の色が薄くなったとしても、本実施形態に係る撮像装置１は有用である。

〈２．第２実施形態＞
第１実施形態では、光学フィルタ１３を使用して、白色光による露光と、色光による露光を行う。これに対し、第２実施形態では、白色光と色光とが発光する光源を使用して、白色光による露光と、色光による露光を行う。以下、第１実施形態と異なる点を説明する。

図１１は、本発明の第２実施形態に係る撮像装置の構成例を示す概略ブロック図である。ただし、図１１には、撮像装置１ａの主要部のみが図示されている。

図１１に図示するように、撮像装置１ａは、レンズ（ＬＮＳ）１１、絞り部（ＡＰＴ）１２、光学フィルタ（ＦＩＬ）１３、撮像部（ＩＳＮＳ）１５、信号処理部（ＤＳＰ）１６、および発光部１７を有する。
このように、撮像装置１ａは、光学フィルタ１３の代わりに発光部１７が絞り部１２と撮像部１５との間に配置されている。

発光部１７は、白色光を発光する白色光源１７１、赤色光を発光する赤色光源１７２、緑色光を発光する緑色光源１７３、および青色光を発光する青色光源１７４を有する。
発光部１７を構成する各々の光源には、例えば、ＬＥＤ（Light Emitting Diode）が使用される。この発光部１７は、信号処理部１６が出力した制御信号ＳＣＴＬ１によって制御される。
具体例を挙げる。比較部１６６１が、輝度比Ｒが規定値１．０程度であるという判別結果（Ｒ≒１．０）を得た場合には、制御部１６６は、発光部１７に対して次の制御を行う。詳細には、制御部１６６は、例えば、赤色光、緑色光、青色光、白色光による露光時間が各々共通の１／２４０ｓとなるように、白色光源１７１、赤色光源１７２、緑色光源１７３および青色光源１７４を順に発光させる。

比較部１６６１が、輝度比Ｒが規定値１．０よりも低いという判別結果（Ｒ＜１．０）を得た場合には、制御部１６６は、発光部１７に対して次の制御を行う。ここでは、比較部１６６１による輝度比Ｒが値０．６５程度であったものとする。この場合、制御部１６６は、例えば、赤色光、緑色光、青色光の露光時間が共通の１／２４０ｓ、かつ、白色光の露光時間が１／１２０ｓとなるように、白色光源１７１、赤色光源１７２、緑色光源１７３および青色光源１７４を順に発光させる。

発光させる色の順番は、例えば、赤色光、緑色光、青色光、白色光、赤色光のように、好適に設定することができる。なお、白色光による露光を行う場合には、白色光源１７１のみが発光する。赤色光による露光を行う場合には、赤色光源１７２のみが発光する。緑色光による露光を行う場合には、緑色光源１７３のみが発光する。青色光による露光を行う場合には、青色光源１７４のみが発光する。
発光部１７は、色光と白色光とを個別に発光させるため、複数の光源１７１〜１７４を有するが、一つの光源で色光と白色光とを個別に発光させる発光素子等を使用することができる。

このように、光学フィルタ１３の代わりに発光部１７を使用しても、第１実施形態と同様に、時間に対する解像度を下げることなく、撮像を行うことができる。

図６に例示された信号処理部１６は、種々の改変が可能である。
具体例を挙げる。輝度をＹＵＶ処理部１６５１が取得したものではなく、例えば、第１のメモリ１６４１が格納した白色の画素信号ＳＷ（ＳＷｘ）から輝度を直接取得するようにすることもできる。
撮像部１５がアナログ信号を信号処理部１６に出力する場合には、例えば、アナログ信号をデジタル信号に変換するＡＤ変換部を前処理部１６１と補正処理部１６２との間に設けることができる。
画像処理部１６５にカラー画像を圧縮する機能を設けることも可能である。画像処理部１６５が生成したデジタルのカラー画像ＳＯＵＴをアナログ信号に変換して、撮像装置１の外部に出力させることもできる。

第１および第２実施形態では、色光を補間するために、白色光を使用するが、色光を補間可能であれば、例えば、赤色成分が強い可視光であってもよい。
信号処理部１６の処理は、ソフトウェア的に処理されるが、その処理の一部あるいは全てをハードウェア的に処理することもできる。
本発明に係る撮像装置は、カメラだけではなく、例えば、内視鏡等に使用することができる。

１…撮像装置、１１…レンズ、１２…絞り部、１３…光学フィルタ、１４…モータ、１５…撮像部、１６…信号処理部、１７…発光部、１３１…白色フィルタ、１３２…色フィルタ、１３２ａ…赤色フィルタ、１３２ｂ…緑色フィルタ、１３２ｃ…青色フィルタ、１５１…画素部、１５２…画素、１５３…行駆動回路、１５４…カラム処理回路、１５５…水平転送回路、１５６…出力回路、１６１…前処理部、１６２…補正処理部、１６３…セレクタ、１６４…メモリ部、１６５…画像処理部、１６６…制御部、１７１…白色光源、１７２…赤色光源、１７３…緑色光源、１７４…青色光源、１５１１…光電変換素子、１５１２…転送トランジスタ、１５１３…リセットトランジスタ、１５１４…増幅トランジスタ、１５１５…選択トランジスタ、１５１６…定電流源回路、１６４１…第１のメモリ、１６４２…第２のメモリ、１６４３…第３のメモリ、１６４４…第４のメモリ、１６５１…ＹＵＶ処理部、１６６１…比較部、ＡＸＩＳ…光軸、ＦＤ…フローティングディフュージョン、Ｏ…軸心、ＯＢＪ…被写体

Claims (11)

1. 撮像対象から、複数の色光を第１の露光時間で受光して各色に対応した複数の色信号に変換し、上記撮像対象から、上記複数の色光の波長範囲を一部に含む補間光を第２の露光時間で受光して補間信号に変換する撮像部と、
   前記撮像対象の輝度を取得する取得部と、
   上記取得部が取得した輝度に応じて、上記第１の露光時間と上記第２の露光時間とを個別に制御する制御部と、
   上記複数の色信号の値の和に対する、上記複数の色信号の各値と上記補間信号の値との和の比で示される、１より大きい補正値を取得し、当該取得した１より大きい補正値を上記複数の色信号に乗算して補正し、補正後の複数の色信号に基づいて、感度が向上した高感度カラー画像を生成する画像生成部と、
   を有する撮像装置。
2. 上記制御部は、上記第１の露光時間と上記第２の露光時間が等しいときの標準状態での上記補間光による撮像で予め得ておいた第２の輝度に対する、上記取得部から得られる第１の輝度の比である輝度比を用いて、前記撮像対象の明るさが標準状態のものより暗いか否かを判定し、判定の結果に応じて、上記第１の露光時間と上記第２の露光時間の相対的な長さを変化させて上記補正値を変更する
   請求項１に記載の撮像装置。
3. 上記制御部は、上記輝度比と規定値との差の絶対値を求め、求めた差の絶対値が上記規定値より低く許容範囲以内でなければ、上記第２の露光時間が上記第１の露光時間よりも長くなるように、上記第１の露光時間と上記第２の露光時間とを個別に制御する
   請求項２記載の撮像装置。
4. 上記制御部は、上記輝度比と規定値との差の絶対値を求め、求めた差の絶対値が許容範囲以内の場合には、上記第１の露光時間と上記第２の露光時間とが等しくなるように、上記第１の露光時間と上記第２の露光時間とを個別に制御する
   請求項２または３記載の撮像装置。
5. 上記制御部は、上記輝度比と規定値との差の絶対値を求め、求めた差の絶対値が上記規定値より高く許容範囲以内でなければ、上記第２の露光時間が上記第１の露光時間よりも短くなるように、上記第１の露光時間と上記第２の露光時間とを個別に制御する
   請求項２から４の何れか一項に記載の撮像装置。
6. 上記取得部は、上記画像生成部が生成した画像、または、上記画像が生成される前の上記補間信号から、上記撮像対象の輝度を取得する
   請求項１から５の何れか一項に記載の撮像装置。
7. 上記色光による第１の露光時間は、
   第１の波長範囲を有する第１の色光による露光時間と、
   第２の波長範囲を有する第２の色光による露光時間と、
   第３の波長範囲を有する第３の色光による露光時間と
   を含み、
   上記制御部は、
   上記色光による第１の露光時間に対しては、上記第１の色光による露光時間、上記第２の色光による露光時間および上記第３の色光による露光時間が各々等しくなるように、上記色光による上記第１の露光時間を制御する
   請求項１から６の何れか一項に記載の撮像装置。
8. 上記色光による第１の露光時間は、
   第１の波長範囲を有する第１の色光による露光時間と、
   第２の波長範囲を有する第２の色光による露光時間と、
   第３の波長範囲を有する第３の色光による露光時間と
   を含み、
   上記第１の色光に対して透過性を有する第１のフィルタと、上記第２の色光に対して透過性を有する第２のフィルタと、上記第３の色光に対して透過性を有する第３のフィルタと、上記補間光に対して透過性を有する補間フィルタとを含むフィルタ部を有し、
   上記制御部は、
   上記判定の結果に応じて、上記撮像部が上記第１の色光、上記第２の色光、上記第３の色光および上記補間光を選択的に受光できるように、
   上記第１のフィルタ、上記第２のフィルタおよび上記第３のフィルタに光を各々入射させて上記第１の露光時間を制御し、
   上記補間フィルタに光を入射させて上記第２の露光時間を制御する
   請求項２から７の何れか一項に記載の撮像装置。
9. 上記色光による第１の露光時間は、
   第１の波長範囲を有する第１の色光による露光時間と、
   第２の波長範囲を有する第２の色光による露光時間と、
   第３の波長範囲を有する第３の色光による露光時間と
   を含み、
   上記第１の色光、上記第２の色光、上記第３の色光および上記補間光を選択的に発光可能な発光部を有し、
   上記制御部は、
   上記判定の結果に応じて、上記撮像部が上記第１の色光、上記第２の色光、上記第３の色光および上記補間光を選択的に受光できるように、
   上記発光部に上記第１の色光、上記第２の色光、上記第３の色光を各々発光させて上記第１の露光時間を制御し、
   上記発光部に上記補間光を発光させて上記第２の露光時間を制御する、
   請求項２から７の何れか一項に記載の撮像装置。
10. 上記撮像部は、上記複数の色光と上記補間光を同一の複数画素で撮像し、
    上記画像生成部は、上記同一の複数画素からの上記複数の色信号と上記補間信号に基づいて、上記同一の複数画素に対応した上記画像を生成する
    請求項１から９の何れか一項に記載の撮像装置。
11. 撮像対象から、複数の色光を第１の露光時間で受光して各色に対応した複数の色信号に変換し、上記撮像対象から、上記複数の色光の波長範囲を一部に含む補間光を第２の露光時間で受光して補間信号に変換するステップと、
    前記撮像対象の輝度を取得するステップと、
    上記取得した輝度に応じて、上記第１の露光時間と上記第２の露光時間とを個別に制御するステップと、
    上記複数の色信号の値の和に対する、上記複数の色信号の各値と上記補間信号の値との和の比で示される、１より大きい補正値を取得し、当該取得した１より大きい補正値を上記複数の色信号に乗算して補正し、補正後の複数の色信号に基づいて、感度が向上した高感度カラー画像を生成するステップと、
    を有する撮像方法。

Images