WO2021225030A1

WO2021225030A1 - 電子機器及び撮像装置

Info

Publication number: WO2021225030A1
Application number: PCT/JP2021/009377
Authority: WO
Inventors: 雄次矢倉; 征志中田
Original assignee: ソニーセミコンダクタソリューションズ株式会社
Priority date: 2020-05-08
Filing date: 2021-03-09
Publication date: 2021-11-11
Also published as: TW202207698A; CN115486056A; EP4149104A1; KR20230009412A; EP4149104A4; US20230142989A1; JPWO2021225030A1; US12256154B2

Abstract

［課題］入射光量が少ない場合でも、高品質の撮影画像を得ることができる。［解決手段］電子機器は、表示部と、前記表示部の表示面とは反対側に配置され、前記表示部を通過した赤外光波長帯域の光を撮像可能な第１撮像部と、前記表示部の表示面とは反対側に配置され、前記表示部を通過した可視光波長帯域の光を撮像可能な第２撮像部と、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える。

Description

電子機器及び撮像装置

　本開示は、電子機器及び撮像装置に関する。

　最近のスマートフォンや携帯電話、ＰＣ（Personal Computer）などの電子機器では、表示パネルの額縁（ベゼル）に、カメラなどの種々のセンサを搭載している。その一方で、画面サイズに影響を与えずに電子機器の外形サイズをできるだけコンパクトにしたい要求があり、ベゼル幅は狭まる傾向にある。このような背景から、表示パネルの真下にカメラモジュールを配置して、表示パネルを通過した被写体光をカメラモジュールで撮影する技術が提案されている。

米国特許公開公報２０１８／００６９０６０

　しかしながら、表示パネルは複数層からなり、一部の層は可視光透過率が低い。このため、表示パネルを通過した被写体光をカメラモジュールで撮影すると、撮影画像が暗くなったり、全体的にぼやけた画像になる。また、被写体光が表示パネルを通過する際に、フレアや回折の影響を受けて、撮影画像の画質が低下するおそれもある。

　また、スマートフォン等の小型の電子機器の表面にカメラモジュールを配置する場合、レンズを薄く、かつレンズ口径も大きくできないため、周囲が暗い状況下では、撮影画像が暗くなり、不鮮明な画像が得られやすい。

　本開示は、入射光量が少ない場合でも、高品質の撮影画像を得ることができる電子機器及び撮像装置を提供するものである。

　上記の課題を解決するために、本開示によれば、表示部と、
　前記表示部の表示面とは反対側に配置され、前記表示部を通過した赤外光波長帯域の光を撮像可能な第１撮像部と、
　前記表示部の表示面とは反対側に配置され、前記表示部を通過した可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、電子機器が提供される。

　前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの感度を補正してもよい。

　前記第１撮像部で撮像された画像データの感度と、前記第２撮像部で撮像された画像データの感度との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの感度を補正してもよい。

　前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの解像度を補正してもよい。

　前記第１撮像部で撮像された画像データの解像度と、前記第２撮像部で撮像された画像データの解像度との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの解像度を補正してもよい。

　前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方を補正してもよい。

　前記第１撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方と、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方を補正してもよい。

　前記第２撮像部で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つが所定の第１基準を満たすか否かを判定する基準判定部と、
　前記基準判定部にて前記第１基準を満たさないと判定されると、前記第１撮像部による撮像を開始させる撮像開始指示部と、
　前記第１撮像部で撮像された画像データと前記第２撮像部で撮像された画像データとで、感度、解像度、フレア成分、及び回折光成分の少なくとも一つを比較した結果に基づいて、前記補正部による補正を行うか否かと、前記補正部による補正を行う際に補正の基準となる画像データの種類とを決定する補正手順決定部と、を備えてもよい。

　前記学習部は、前記補正手順決定部にて、補正の基準となる画像データの種類が決定されると、決定された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つと、前記第２撮像部で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つとの相関関係を学習してもよい。

　物体の形状及び色の少なくとも一方を検出するセンサと、
　前記学習部による学習の信頼度を推定する信頼度推定部と、
　前記信頼度推定部にて推定された信頼度が所定の第２基準以下の場合、前記センサの検出データに基づいて前記物体を識別できるか否かを判定する物体識別判定部と、
　前記物体識別判定部にて物体を識別できると判定された場合に、前記センサにて識別された物体の色を特定できるか否かを判定する色特定判定部と、
　前記補正部は、前記色特定判定部にて前記物体の色を特定できると判定された場合、前記特定された色に近づくように、前記第２撮像部で撮像された画像データを補正してもよい。

　前記補正部は、前記第２撮像部で撮像された画像データのうち輝度変化が所定の基準値以下の画素領域のノイズ除去度合いを、前記画像データのうち輝度変化が前記基準値より大きい画素領域のノイズ除去度合いよりも高くしてもよい。

　赤外光波長帯域の光を発光する発光部と、
　前記第１撮像部で画像データを撮像する際に前記発光部が発光した光で被写体が照明されるように前記発光部の発光タイミングを制御する発光制御部と、を備えてもよい。

　前記発光部は、前記赤外光波長帯域内のそれぞれ異なる発光波長帯域の光を発光する複数の光源を有し、
　前記発光制御部は、前記第１撮像部が撮像する間に、前記複数の光源による発光を順次に切り替え制御し、
　前記第１撮像部は、それぞれ異なる発光光波長帯域で撮像された複数の画像データを出力し、
　前記補正部は、前記複数の画像データに基づいて、前記第２撮像部で撮像された画像データを補正してもよい。

　前記発光部は、前記表示部の表示面側に配置されてもよい。

　前記第１撮像部及び前記第２撮像部の少なくとも一方は、赤外光波長帯域の光を撮像する画素と、可視光波長帯域の光を撮像する画素とを含んでもよい。

　前記第１撮像部は、５５０ｎｍ以上の光に対して感度を有してもよい。

　前記補正部は、前記第２撮像部で撮像された画像データに対して、短波長側ほど補正の度合いを高くしてもよ。

　前記第１撮像部は、前記第２撮像部に比べて、光入射面の法線方向により長く配置される光電変換部を有してもよい。

　前記第１撮像部の１画素あたりの光入射面方向の面積は、前記第２撮像部の１画素あたりの光入射面方向の面積よりも大きく、かつ
　前記第１撮像部の全画素分の光入射面方向の面積は、前記第２撮像部の全画素分の光入射面方向の面積よりも小さくてもよい。

　本開示の他の一態様では、表示部の表示面とは反対側に配置され、赤外光波長帯域の光を撮像可能な第１撮像部と、
　前記表示部の表示面とは反対側に配置され、可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、撮像装置が提供される。

　本開示の他の一態様では、赤外光波長帯域の光を撮像可能な第１撮像部と、
　可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、撮像装置が提供される。

撮像装置を搭載する電子機器の外観図及びＡ－Ａ線断面図。図１のＢ－Ｂ線断面図。第１撮像部の断面構造の一例を示す断面図。第２撮像部の断面構造の一例を示す断面図。第１の実施形態による電子機器の内部構成を示すブロック図。第１の実施形態による信号処理部の処理動作の第１例を示すフローチャート。信号処理部の処理動作の第２例を示すフローチャート。第２の実施形態による電子機器の内部構成を示すブロック図。第２の実施形態による電子機器内の信号処理部が行う処理動作の第１例を示すフローチャート。マルチスペクトルセンサを用いる場合の信号処理部が行う処理動作の第２例を示すフローチャート。画素配置の第１例を示す図。画素配置の第２例を示す図。信号処理部の内部構成の第１例を示すブロック図。信号処理部の内部構成の第２例を示すブロック図。第５の実施形態による電子機器２の概略構成を示すブロック図。第５の実施形態による電子機器２が第１及び第２のカメラモジュールで撮像を行う際の処理動作を示すフローチャート。第６の実施形態による電子機器２が第１及び第２のカメラモジュールで撮像を行う際の処理動作を示すフローチャート。乗物の後方から前方にかけての乗物の内部の様子を示す図。乗物の斜め後方から斜め前方にかけての乗物の内部の様子を示す図。電子機器の第２適用例であるデジタルカメラの正面図。デジタルカメラの背面図。電子機器の第３適用例であるＨＭＤの外観図。スマートグラスの外観図。電子機器の第４適用例であるＴＶの外観図。電子機器の第５適用例であるスマートフォンの外観図。

　以下、図面を参照して、電子機器及び撮像装置の実施形態について説明する。以下では、電子機器及び撮像装置の主要な構成部分を中心に説明するが、電子機器及び撮像装置には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

　（第１の実施形態）
　図１は第１の実施形態による撮像装置１を搭載する電子機器２の外観図及びＡ－Ａ線断面図、図２は図１のＢ－Ｂ線断面図である。本実施形態による電子機器２は、スマートフォンや携帯電話、タブレット、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器２である。図１の電子機器２は、表示部３の表示面３ａとは反対側に配置されるカメラモジュール（第１及び第２撮像部）４，５を備えている。このように、図１の電子機器２は、表示部３の表示面３ａの裏側にカメラモジュール４，５を設けている。したがって、カメラモジュール４，５は、表示部３を通して撮影を行うことになる。

　本実施形態による撮像装置１は、複数のカメラモジュール４，５を備えている。本明細書では、２つのカメラモジュール４，５を備える例を主に説明するが、３個以上のカメラモジュールを備えていてもよい。以下では、撮像装置１が２つのカメラモジュール４，５を備える例を主に説明する。後述するように、カメラモジュール４は第１撮像部６を有し、カメラモジュール５は第２撮像部７を有する。第１撮像部６は、表示部３を通過した赤外光波長帯域の光を撮像することができる。赤外光波長帯域とは、例えば７８０ｎｍ～１０００ｎｍの範囲内の波長帯域である。第２撮像部７は、表示部３を通過した可視光波長帯域の光を撮像することができる。可視光波長帯域とは、例えば３８０ｎｍ～７５０ｎｍの範囲内の波長帯域である。

　本実施形態による電子機器２は、電子機器２の外形サイズの付近まで表示面３ａが広がっており、表示面３ａの周囲にあるベゼル３ｂの幅を数ｍｍ以下にしている。通常、ベゼル３ｂには、フロントカメラが搭載されることが多いが、図１では、破線円で示すように、表示面３ａの略中央部の裏面側にフロントカメラとして機能する複数のカメラモジュール４，５を配置している。このように、フロントカメラを表示面３ａの裏面側に設けることで、ベゼル３ｂにフロントカメラを配置する必要がなくなり、ベゼル３ｂの幅を狭めることができる。

　なお、図１では、表示面３ａの略中央部の裏面側にカメラモジュール４，５を配置しているが、表示面３ａの裏面側の任意の場所にカメラモジュール４，５を配置してもよく、例えば表示面３ａの周縁部の近くの裏面側にカメラモジュール４，５を配置してもよい。このように、本実施形態における複数のカメラモジュール４，５は、表示面３ａと重なる裏面側の任意の位置に配置される。

　図１及び図２に示すように、表示部３は、保護フィルム３ｃ、ポリイミド基板３ｄ、表示層３ｅ、バリア層３ｆ、タッチセンサ層３ｇ、粘着層３ｈ、円偏光板３ｉ、光学粘着シート（ＯＣＡ：Optical Clear Adhesive）３ｊ、及びカバーガラス３ｋを順に積層した積層体である。表示層３ｅは、例えばＯＬＥＤ（Organic Light Emitting Device）表示層でもよいし、液晶表示層でもよいし、MicroLEDでもよいし、その他の表示原理に基づく表示層でもよい。表示層３ｅは、複数の層で構成される場合もありうる。例えば、表示層３ｅには、カラーフィルタ層やバックライト層などが含まれることもありうる。表示部３は、可視光波長域の光を用いた表示を行うが、表示部３で表示される光が赤外光成分を含んでいてもよい。

　バリア層３ｆは、表示層３ｅに酸素や水分が侵入するのを防止する層である。タッチセンサ層３ｇには、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式が採用されてもよい。また、タッチセンサ層３ｇと表示層３ｅを一体化してもよい。

　粘着層３ｈは、円偏光板３ｉとタッチセンサ層３ｇとを接着するために設けられている。粘着層３ｈには、可視光透過率が高い材料が用いられる。円偏光板３ｉは、ギラツキを低減したり、明るい環境下でも表示面３ａの視認性を高めるために設けられている。光学粘着シート３ｊは、円偏光板３ｉとカバーガラス３ｋとの密着性を高めるために設けられている。光学粘着シート３ｊは、可視光透過率が高い材料が用いられる。カバーガラス３ｋは、表示層３ｅ等を保護するために設けられている。なお、表示部３の層構成は、必ずしも図１や図２に示したものには限定されない。

　図２に示すように、カメラモジュール４は、第１撮像部６に対応づけて第１光学系８を有する。同様に、カメラモジュール４，５は、第２撮像部７に対応づけて第２光学系９を有する。第１及び第２光学系８，９は、第１及び第２撮像部６，７の光入射面側、すなわち表示部３に近い側に配置され、表示部３を通過した光を第１及び第２撮像部６，７に集光させる。光学系５は、通常は複数のレンズで構成されるが、光学系の具体的な光学構成は問わない。

　後述するように、第１撮像部６は第１光電変換部を有し、第２撮像部７は第２光電変換部を有する。第１光電変換部及び第２光電変換部は、表示部３を介して入射された光を光電変換する。第１光電変換部と第２光電変換部では、光電変換可能な光波長帯域が異なっている。第１光電変換部は、赤外光波長帯域の光を主に光電変換し、第２光電変換部は、可視光波長帯域の光を主に光電変換する。第１光電変換部と第２光電変換部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサでもよいし、ＣＣＤ（Charge Coupled Device）センサでもよい。また、光電変換部は、フォトダイオードでもよいし、有機光電変換膜でもよい。

　第１及び第２光電変換部は、画素ごとにＣＭＯＳセンサ等の光電変換素子を有する。各画素は任意の方式で配列することができる。具体的には、各画素の配列方式は、ベイヤ配列でもよいし、インターライン配列でもよいし、市松配列でもよいし、ストライプ配列でもよいし、その他の配列でもよい。

　図１及び図２に示すように、本実施形態の電子機器２では、複数のカメラモジュール４，５が表示部３を透過した被写体光を撮像する。表示部３は、図１に示すように、複数の層で形成されており、各層が、第１撮像部６及び第２撮像部７が十分な感度を持つ波長帯域の光の透過率が高ければ問題ないが、実際には、一部の層の透過率が低いおそれがある。例えば、ポリイミド基板３ｄは、可視光透過率がそれほど高くないのに対して、赤外光透過率は可視光透過率よりも高い。

　そこで、本実施形態では、後述する補正部を設けて、赤外光波長帯域の光を撮像する第１撮像部６の撮像画像データに基づいて、可視光波長帯域の光を撮像する第２撮像部７の撮像画像データを補正する。

　図３Ａは第１撮像部６の断面構造の一例を示す断面図、図３Ｂは第２撮像部７の断面構造の一例を示す断面図である。図３Ａに示す第１撮像部６は、半導体基板１１内に形成される第１光電変換部１２ａを備えており、第１光電変換部１２ａは画素ごとに素子分離層１３で区切られている。第１光電変換部１２ａの上には平坦化層１４が配置され、その上にはオンチップレンズ１５ａが配置されている。光はオンチップレンズ１５ａを通して入射される。よって、オンチップレンズ１５ａは光入射面になる。本明細書では、オンチップレンズ１５ａが配置されている側を第１撮像部６の裏面側と呼ぶ。

　一方、図３Ｂに示す第２撮像部７は、半導体基板内に形成される第２光電変換部１２ｂを備えており、第２光電変換部１２ｂは画素ごとに素子分離層１３で区切られている。第２光電変換部１２ｂの上には平坦化層１４が配置され、その上にカラーフィルタ層１６が配置されている。カラーフィルタ層１６は、ＲＧＢの３色のフィルタ層を有していてもよいし、その補色であるシアン、マゼンダ、イエローのフィルタ層を有していてもよい。カラーフィルタ層１６の上には、オンチップレンズ１５ｂが配置されている。

　図３Ａと図３Ｂの断面図を比較すればわかるように、第１撮像部６の第１光電変換部１２ａは、第２撮像部７の第２光電変換部１２ｂよりも、光入射面の法線方向の長さが長い。これは、赤外光波長帯域の光の光電変換効率は、可視光波長帯域の光の光電変換効率よりも悪いためであり、第１光電変換部１２ａの光入射面の法線方向の長さをより長くすることで、光電変換効率の向上を図っている。

　また、赤外光は、可視光に比べて屈折しにくくなるため、図３Ａ及び図３Ｂに示すように、第１撮像部６のオンチップレンズ１５ａの曲率を、第２撮像部７のオンチップレンズ１５ｂの曲率よりも大きくしてもよい。

　第１撮像部６の１画素あたりの光入射面方向の面積は、第２撮像部７の１画素あたりの光入射面方向の面積よりも大きくしてもよい。第１撮像部６は、第２撮像部７の撮像画像の感度等を補正するために設けられており、面積が大きい方が感度を向上できるため、望ましい。

　一方、第２撮像部７の全画素分を合わせた光入射面方向の面積（有効画素面積）は、第１撮像部６の全画素分を合わせた光入射面方向の面積（有効画素面積）よりも大きくてもよい。第１撮像部６は、第２撮像部７の撮像画像を補正するためのものであり、例えば第２撮像部７の複数画素に対して１画素の割合で設ければよい。なお、第１撮像部６と第２撮像部７のサイズや画素数は、上述したものに限定されない。第１撮像部６と第２撮像部７の具体的なレイアウト配置例については、後述する。

　第１撮像部６及び第２撮像部７の表面側（オンチップレンズ１５ａ、１５ｂとは反対側）では、半導体基板１１の上に読み出し回路１７が形成され、読み出し回路１７の周囲は層間絶縁膜１８で覆われている。読み出し回路１７は、転送トランジスタ、リセットトランジスタ、増幅トランジスタ、選択トランジスタなどを有する。なお、第１撮像部６及び第２撮像部７の断面構造は、図３に示したものには限定されない。

　図４は第１の実施形態による電子機器２の内部構成を示すブロック図である。図４に示すように、電子機器２は、撮像装置１と、アプリケーションプロセッサ２１と、映像信号生成部２２と、Ａ／Ｄ変換部２３と、表示制御部２４と、表示部３とを有する。

　撮像装置１は、一つ又は複数の半導体デバイスで構成することができる。より詳細には、撮像装置１は、第１及び第２のカメラモジュール４，５と、第１撮像部６に対応する第１光学系８と、第２撮像部７に対応する第２光学系９及びＩＲ（Infrared Ray）カットフィルタ１０と、第１撮像部６に対応する第１Ａ／Ｄ変換部３１と、第２撮像部７に対応する第２Ａ／Ｄ変換部３２と、信号処理部３３と、撮像制御部３４と、出力部３５とを有する。第１及び第２のカメラモジュール４，５は、共通の基板上に実装されていてもよい。

　第１Ａ／Ｄ変換部３１は第１光電変換部１２ａで光電変換されたアナログ画素信号をデジタル画素データに変換する。第２Ａ／Ｄ変換部３２は第２光電変換部１２ｂで光電変換されたアナログ画素信号をデジタル画素データに変換する。

　信号処理部３３は、後述するように、第１撮像部６及び第２撮像部７での撮像画像に応じた画像データを生成する。信号処理部３３は、第１撮像部６で撮像された画像データに基づいて第２撮像部７で撮像された画像データの感度を補正する補正部として機能する。撮像制御部３４は、信号処理部３３からの指示により、第１撮像部６で撮像を行うか否かを制御する。

　アプリケーションプロセッサ２１は、第１及び第２のカメラモジュール４，５とは別個の半導体デバイスであり、第１及び第２のカメラモジュール４，５と同一又は別の基板に実装される。アプリケーションプロセッサ２１は、その内部にＣＰＵ（Central Processing Unit）等を有し、オペレーティングシステムや各種のアプリケーションソフトウェア等のプログラムを実行する。アプリケーションプロセッサ２１は、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどの画像処理や信号処理等を行う機能を搭載していてもよい。アプリケーションプロセッサ２１は、入力された画像データや演算結果に対して、必要に応じて種々の処理を実行したり、電子機器２の表示部３に画像を表示する制御を行ったり、所定のネットワークを介して外部のクラウドサーバに送信したりする。

　映像信号生成部２２は、表示部３に表示するための映像信号を生成する。Ａ／Ｄ変換部２３は、映像信号をデジタル画素データに変換する。表示制御部２４は、デジタル画素データを表示部３に表示する制御を行う。

　図５は第１の実施形態による信号処理部３３の処理動作の第１例を示すフローチャートである。図５のフローチャートは、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データの感度を補正するものである。

　まず、第２撮像部７で撮像された画像データの画素値が所定の閾値以下か否かを判定する（ステップＳ１）。ここでは、第２撮像部７で撮像された画像データの平均画素値を所定の閾値と比較してもよいし、第２撮像部７で撮像された画像データの一部の画素領域の画素値を所定の閾値と比較してもよい。

　ステップＳ１で所定の閾値以下でないと判定された場合、第２撮像部７で撮像された画像データは十分な感度を持っていると推定できるため、第２撮像部７で撮像された画像データに基づいて所定の信号処理を行ってＲＧＢデータを生成して出力する（ステップＳ２）。

　一方、ステップＳ１で所定の閾値以下と判定された場合、第２撮像部７で撮像された画像データは感度が不足していると推定できるため、撮像制御部を介して、第１撮像部６に対して撮像開始を指示する（ステップＳ３）。第１撮像部６は、赤外光波長帯域内の複数の狭波長帯域（例えば、７５０ｎｍ、８００ｎｍ、８５０ｎｍなど）の光を別個に撮像できる複数の撮像センサを有していてもよい。

　その後、第１撮像部６で撮像された画像データの画素値と、第２撮像部７で撮像された画像データの画素値を比較する（ステップＳ４）。このステップＳ４では、例えば、第１撮像部６で撮像された画像データの画素値が、第２撮像部７で撮像された画像データの画素値のＸ倍（Ｘは１より大きい予め定めた基準値）以上か否かを判定する。Ｘの値は、ユーザが設定変更できるようにしてもよい。

　ステップＳ４でＮＯと判定されると、第１撮像部６で撮像された画像データはそれほど感度が高くないと推定できるため、補正処理は行わずに上述したステップＳ２の処理を行う。ステップＳ４でＹＥＳと判定されると、第１撮像部６で撮像された画像データの感度は十分に高いと推定できるため、第２撮像部７で撮像された画像データの中に、画素値が所定の閾値以上の画素が存在するか否かを判定する（ステップＳ５）。ステップＳ５の判定処理を設けた理由は、可視光波長帯域の光を撮像する第２撮像部７の撮像画像データの中に、画素値の大きな画素データがあれば、その画素データは感度が高くて有効なデータとみなすためである。

　ステップＳ５でＹＥＳと判定されると、第２撮像部７で撮像された画像データのうち、画素値が所定の閾値以上の画素データと、第１撮像部６で撮像された画像データとを有効なデータとして選択する（ステップＳ６）。

　ステップＳ５でＮＯと判定されると、第２撮像部７で撮像された画像データは信頼できないと推定できるため、第１撮像部６で撮像された画像データを有効なデータとして選択する（ステップＳ７）。

　次に、ステップＳ６又はＳ７で選択された有効なデータに基づいて、第２撮像部７で撮像された画像データを補正する（ステップＳ８）。ここでは、例えば、第１撮像部６で撮像された画像データの感度と、第２撮像部７で撮像された画像データの感度との相関関係を予め学習した学習モデルを生成しておく。例えばＣＮＮ（Convolution Neural Network）を利用して、感度補正を適切に行うための画像の特徴を抽出し、第１撮像部６で撮像された画像データを利用して、第２撮像部７で撮像された画像データの感度を自動で補正できるような学習モデルを生成する。学習モデルを生成する一連の処理は機械学習と呼ばれる。十分な学習が行われた学習モデルに対して、ステップＳ６又はＳ７で選択された有効なデータを入力して演算処理を行うことで、学習モデルから補正後の画像データを出力する。出力された画像データは、ＲＧＢの色成分ごとに、適切に感度補正されたデータである。

　このように、信号処理部３３は、第２撮像部７で撮像された画像データの画素値が大きくて信頼性が高いと推定される場合は、感度を補正せずに出力し、画素値が小さくて信頼性が高いと推定される場合は、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データの感度を補正する。補正を行う際には、第１撮像部６で撮像された画像データの感度と第２撮像部７で撮像された画像データの感度との相関関係を予め学習しておき、その学習結果を利用して補正する。

　図５では、第２撮像部７で撮像された画像データの感度を補正する例を説明したが、第２撮像部７で撮像された画像データの解像度を補正する場合にも、同様の処理手順を適用可能である。解像度の低下は、表示部３を通すことで、第２のカメラモジュール５に入射されるべき光の一部が失われることで生じる。よって、図５と同様の処理を行うことで、第１撮像部６で撮像された画像データに基づいて第２撮像部７で撮像された画像データを補正することで、第２撮像部７で撮像された画像データの解像度を向上できる。その際、ステップＳ８の補正処理は、感度補正とは異なる処理を行う必要がある。すなわち、感度補正の場合は、感度を適切に補正するための学習モデルを生成したが、解像度補正の場合は、解像度を適切に補正するための学習モデルを生成し、その学習モデルの十分な学習を行った段階で、その学習モデルにステップＳ６又はＳ７で選択された有効なデータを入力して、解像度補正された画像データを得ることができる。より具体的には、解像度を補正する場合の学習モデルは、第１撮像部６で撮像された画像データの解像度と、第２撮像部７で撮像された画像データの解像度との相関関係を学習する。補正部として機能する信号処理部３３は、学習部での学習結果を参照して、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データの解像度を補正する。

　補正部として機能する信号処理部３３は、第２撮像部７で撮像された画像データに対して、短波長側ほど補正の度合いを高くしてもよい。表示部３を通過する被写体光は、青色成分ほど表示部３に吸収されやすくなるためである。

　以上では、第２撮像部７で撮像された画像データの感度補正又は解像度補正を行う例を説明したが、被写体光が表示部３を通過する間に反射や回折を起こし、反射によるフレアや回折の影響を受けた被写体光が第１及び第２のカメラモジュール４，５に入射されるおそれがある。そこで、信号処理部３３は、フレアや回折光による影響を補正する処理を行ってもよい。

　図６は信号処理部３３の処理動作の第２例を示すフローチャートである。図６のフローチャートは、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データのフレア又は回折による影響を補正するものである。

　まず、第２撮像部７で撮像された画像データの画素値が所定の閾値以上か否かを判定する（ステップＳ１１）。第２撮像部７に入射される光がフレアや回折の影響を受けている場合は、一般には画素値が大きくなる。そこで、ステップＳ１１では、第２撮像部７で撮像された画像データの画素値が所定の閾値以上か否かを判定し、閾値未満であれば、フレアや回折の影響を受けていないと判断し、第２撮像部７で撮像された画像データに基づいて所定の信号処理を行ってＲＧＢデータを生成して出力する（ステップＳ１２）。

　一方、ステップＳ１１で所定の閾値以上と判定された場合、第２撮像部７で撮像された画像データはフレア又は回折の影響を受けていると推定できるため、撮像制御部を介して、第１撮像部６に対して撮像開始を指示する（ステップＳ１３）。

　その後、第１撮像部６で撮像された画像データの画素値と、第２撮像部７で撮像された画像データの画素値を比較する（ステップＳ１４）。ここでは、図５のステップＳ４と同様に、例えば、第１撮像部６で撮像された画像データの画素値が、第２撮像部７で撮像された画像データの画素値のＸ倍（Ｘは１より大きい予め定めた基準値）以下か否かを判定する。

　ステップＳ１４でＮＯと判定されると、第１撮像部６で撮像された画像データを用いても、第２撮像部７で撮像された画像データのフレアや回折の影響を補正できないと推定できるため、補正処理は行わずにステップＳ１２の処理を行う。ステップＳ１４でＹＥＳと判定されると、第１撮像部６で撮像された画像データはフレアや回折の影響を受けていないと推定できるため、第２撮像部７で撮像された画像データの中に、画素値が所定の閾値以下の画素が存在するか否かを判定する（ステップＳ１５）。

　ステップＳ１５でＹＥＳと判定されると、第２撮像部７で撮像された画像データのうち、画素値が所定の閾値以下の画素データと、第１撮像部６で撮像された画像データとを有効なデータとして選択する（ステップＳ１６）。

　ステップＳ１５でＮＯと判定されると、第２撮像部７で撮像された画像データは信頼できないと推定できるため、第１撮像部６で撮像された画像データを有効なデータとして選択する（ステップＳ１７）。

　次に、ステップＳ１６又はＳ１７で選択された有効なデータに基づいて、第２撮像部７で撮像された画像データを補正する（ステップＳ１８）。ここでは、例えば、第１撮像部６で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方と、第２撮像部７で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方との相関関係を予め学習した学習モデルを生成しておき、十分な学習が行われた学習モデルに対して、ステップＳ１６又はＳ１７で選択された有効なデータを入力することで、学習モデルから補正後の画像データを出力させる。出力された画像データは、ＲＧＢの各色成分ごとに、フレア又は回折による影響が適切に補正されたデータである。

　図５及び図６のフローチャートの処理をまとめると、信号処理部３３は、基準判定部（ステップＳ１、Ｓ１１）と、撮像開始指示部（ステップＳ２、Ｓ１２）と、補正手順決定部（ステップＳ３～Ｓ８、Ｓ１３～Ｓ１８）の処理を行う。基準判定部は、第２撮像部７で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つが所定の第１基準を満たすか否かを判定する。撮像開始指定部は、基準判定部にて第１基準を満たさないと判定されると、第１撮像部６による撮像を開始させる。補正手順決定部は、第１撮像部６で撮像された画像データと第２撮像部７で撮像された画像データとで、感度、解像度、フレア成分、及び回折光成分の少なくとも一つを比較した結果に基づいて、補正部による補正を行うか否かと、補正部による補正を行う際に補正の基準となる画像データの種類とを決定する。信号処理部３３（学習部）は、補正手順決定部にて、補正の基準となる画像データの種類が決定されると、決定された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つと、第２撮像部７で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つとの相関関係を学習する。

　なお、図５の処理と図６の処理は、組み合わせて実施してもよい。すなわち、信号処理部３３は、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データの感度、解像度、フレア成分による影響、及び回折光成分による影響の二つ以上を補正してもよい。

　このように、第１の実施形態では、赤外光波長帯域の光を撮像する第１撮像部６で撮像された画像データに基づいて、可視光波長帯域の光を撮像する第２撮像部７で撮像された画像データを必要に応じて補正するため、表示部３を通して被写体光が第１及び第２のカメラモジュール４，５に入射されても、感度又は解像度が低下するおそれがなくなり、かつフレアや回折の影響も受けなくなる。

　（第２の実施形態）
　第２の実施形態は、図５のステップＳ８や図６のステップＳ１８で行う機械学習で、十分な学習が行われない場合の対策を施したものである。

　図７は第２の実施形態による電子機器２ａの内部構成を示すブロック図である。図７の電子機器２ａは、図４の構成に加えて、デプスセンサ３６を備えている。デプスセンサ３６は、物体までの距離情報を検出するセンサである。デプスセンサ３６は、例えば間接ＴｏＦ（Time of Flight）方式により距離情報を検出してもよい。デプスセンサ３６は、例えば図１の電子機器２の表示面側のベゼル３ｂ部分に配置される。デプスセンサ３６で検出された距離情報は、信号処理部３３に送られる。

　図８は第２の実施形態による電子機器２ａ内の信号処理部３３が行う処理動作の第１例を示すフローチャートである。信号処理部３３は、図８の処理を、図５又は図６の処理を行った後に実行する。

　まず、機械学習を十分に行ったか否かを判定する（ステップＳ２１）。機械学習により生成される学習モデルに入力データを与えると、学習モデルを使って演算処理が行われて、出力データが生成される。入力データが予め想定された範囲内のデータであれば、内挿処理を行うことで、機械学習の結果を反映させた適切な出力データが得られるが、入力データが予め想定っされた範囲外のデータの場合には、外挿処理を行う必要があり、出力データの精度が低下してしまう。そこで、ステップＳ２１では、例えば、入力データに対して外挿処理が必要か否かにより、機械学習を十分に行ったか否かを判定する。なお、他の手法で、機械学習を十分に行ったか否かを判定してもよい。

　ステップＳ２１で機械学習を十分に行ったと判定された場合、学習モデルで演算処理されたデータの色補正を行わずに出力する（ステップＳ２２）。

　ステップＳ２１で機械学習を十分に行わなかったと判定された場合、デプスセンサ３６による距離情報の検出を行う（ステップＳ２３）。次に、デプスセンサ３６で検出された距離情報に基づいて、図５又は図６の処理で補正後の撮像データに写し込まれた物体の形状を把握して、物体を識別する（ステップＳ２４）。信号処理部３３単体で物体の識別を行うことができない場合は、図５又は図６の処理で補正後の撮像データとデプスセンサ３６で検出された距離情報とを、ネットワークを介してクラウドサーバ等に送信し、クラウドサーバ等が管理する膨大なデータ（ビッグデータ）を用いて物体の形状解析を行って物体を特定し、特定された物体の情報を、ネットワーク経由で信号処理部３３が受領してもよい。あるいは、図５又は図６の処理で補正後の撮像データとデプスセンサ３６で検出された距離情報とをアプリケーションプロセッサに送って、アプリケーションプロセッサで物体を特定してもよい。

　次に、ステップＳ２４で識別された物体の色が既知であるか否かを判定する（ステップＳ２５）。物体の色が既知でない場合は、色補正をあきらめて、ステップＳ２２の処理を行う。物体の色が既知である場合は、既知の色に近づくように色補正を行う（ステップＳ２６）。ここでは、識別された物体の色情報を管理するデータベースを設けて、このデータベースにアクセスして、識別された物体の色情報を取得してもよい。

　このように、図８の処理では、機械学習で十分に学習が行われなかった場合は、デプスセンサ３６を用いて物体の形状を検出して物体を識別し、識別された物体についての既知の色情報に基づいて色補正を行う。

　図７及び図８では、デプスセンサ３６により物体の形状を検出する例を示したが、他のセンサを用いて物体の情報を検出してもよい。例えば、デプスセンサ３６の代わりに、あるいはデプスセンサ３６に加えて、マルチスペクトルセンサを設けてもよい。

　図９はマルチスペクトルセンサを用いる場合の信号処理部３３が行う処理動作の第２例を示すフローチャートである。ステップＳ３１～Ｓ３２の処理は図８のステップＳ２１～Ｓ２２の処理と同様である。ステップＳ３１で機械学習を十分に行わなかったと判定されると、マルチスペクトルセンサによる色情報の検出を行う（ステップＳ３３）。マルチスペクトルセンサは、複数の波長帯域の光を別個に検出できるため、第２撮像部７で撮像された画像データに含まれる物体の色情報を詳細に検出できる。次に、ステップＳ３３で検出された色情報から物体を識別する（ステップＳ３４）。このとき、上述したように、クラウドサーバやアプリケーションプロセッサにて物体を識別してもよい。

　次に、ステップＳ３４で識別された物体の色が既知であるか否かを判定する（ステップＳ３５）。物体の色が既知でない場合は、マルチスペクトルセンサで検出された色情報に基づいて色補正を行う（ステップＳ３６）。物体の色が既知の場合は、既知の色に近づくように色補正を行う（ステップＳ３７）。

　図８及び図９のフローチャートの処理をまとめると、信号処理部３３は、信頼度推定部（ステップＳ２１、Ｓ３１）と、物体識別判定部（ステップＳ２３、Ｓ３３）と、色特定判定部（ステップＳ２４、Ｓ３４）の処理を行う。信頼度推定部は、学習部による学習の信頼度を推定する。物体識別判定部は、信頼度推定部にて推定された信頼度が所定の第２基準以下の場合、センサの検出データに基づいて物体を識別できるか否かを判定する。色特定判定部は、物体識別判定部にて物体を識別できると判定された場合に、センサにて識別された物体の色を特定できるか否かを判定する。補正部として機能する信号処理部３３は、色特定判定部にて物体の色を特定できると判定された場合、特定された色に近づくように、第２撮像部７で撮像された画像データを補正する。

　なお、図８の処理と図９の処理を組み合わせて実施してもよい。物体の形状情報と色情報をデプスセンサ３６やマルチスペクトルセンサ等で検出した結果に基づいて物体を特定するようにすれば、より正確に物体を特定でき、特定された物体の色補正を精度よく行うことができる。

　このように、第２の実施形態では、機械学習による学習が不十分な状態で第２撮像データが撮像した画像データを補正するのは好ましくないため、機械学習による学習が不十分な場合は、デプスセンサ３６やマルチスペクトルセンサ等の他のセンサを用いて、第２撮像部７で撮像された画像データの色補正を行う。これにより、機械学習による学習が不十分な状態で、信頼性の低い補正を行うおそれを回避できる。

　（第３の実施形態）
　第３の実施形態は、第１撮像部６と第２撮像部７の画素配置に特徴を持たせたものである。赤外光波長帯域の光を受光して光電変換する第１撮像部６は複数の画素で構成される。同様に、可視光波長帯域の光を受光して光電変換する第２撮像部７も複数の画素で構成される。第１撮像部６を構成する複数の画素の一部に、可視光波長帯域の光を受光可能な画素が含まれていてもよい。

　図１０Ａは画素配置の第１例を示す図である。図１０Ａに示す第１例では、赤外光波長帯域の光を受光して光電変換する画素をＩＲと表記し、赤色に対応する波長帯域の光を受光して光電変換する画素をＲと表記している。図１０Ａの例では、千鳥状にＩＲ画素とＲ画素を配置している。なお、ＩＲ画素とＲ画素の配置順序及び各画素の数の割合は任意である。

　赤色の光は赤外光に近い波長成分（例えば５５０ｎｍ以上）を有する。ＩＲ画素の合間にＲ画素を配置することで、第１撮像部６で受光可能な光波長帯域をより広げることができる。上述した信号処理部３３にて、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データを補正する際、第１撮像部６で撮像された画像データの中に赤色成分を含めることにより、第２撮像部７で撮像された画像データに含まれる赤色成分との調整が容易になり、信頼性の高い補正処理を行うことができる。

　図１０Ｂは画素配置の第２例を示す図である。図１０Ｂに示す第２例では、第２撮像部７を構成する複数の画素の一部に、赤外光波長帯域の光を受光可能な画素が含まれている。図１０Ｂでは、可視光波長帯域の光を受光して光電変換する画素をＲ、Ｇ又はＧと表記し、赤外光帯域の光を受光して光電変換する画素をＩＲと表記している。ＲＧＢの３画素に対して１画素分のＩＲ画素が配置されている。なお、ＲＧＢ画素とＩＲ画素の配置順序及び各画素の数の割合は任意である。

　ＲＧＢ画素の合間にＩＲ画素を配置することで、第１撮像部６と第２撮像部７とを一つの半導体チップ上に形成できる。これにより、カメラモジュール４，５を１つだけ設ければよいことになり、電子機器２のハードウェアコストを削減できる。

　このように、第３の実施形態では、赤外光波長帯域の光を受光する画素の合間に可視光波長帯域の光を受光する画素を配置することで、信号処理部３３が行う補正処理の信頼性を向上できる。また、可視光波長帯域の光を受光する画素の合間に赤外光波長帯域の光を受光する画素を配置することで、第１撮像部６と第２撮像部７を一つの半導体チップ上に形成できる。

　（第４の実施形態）
　第１の実施形態では、機械学習を利用して第２撮像部７で撮像された画像データを補正する例を示したが、必ずしも機械学習を利用しなくても、信号処理部３３にて第２撮像部７で撮像された画像データを補正することができる。

　図１１は信号処理部３３の内部構成の第１例を示すブロック図である。図１１の信号処理部３３は、クランプ部３３ａと、カラー出力部３３ｂと、欠陥補正部３３ｃと、リニアマトリックス部３３ｄと、ガンマ補正部３３ｅと、輝度クロマ信号生成部３３ｆと、ノイズリダクション部３３ｇと、エッジ強調部３３ｈとを有する。

　クランプ部３３ａは、黒のレベルを規定する処理を行う。より具体的には、クランプ部３３ａは、デジタル画素データから黒レベルデータを減算する処理を行う。カラー出力部３３ｂは、例えばＲＧＢの色ごとの画素データを出力する。欠陥補正部３３ｃは、何らかの理由で正しく読み出せなかった特定画素の撮像データを周囲の画素の撮像データから補正する処理を行う。リニアマトリックス部３３ｄは、ＲＧＢなどの色情報に対する行列演算を行うことで、より正しい色再現を行う。ガンマ補正部３３ｅは、表示部３の表示特性に合わせて、視認性に優れた表示が可能となるようにガンマ補正を行う。例えば、ガンマ補正部３３ｅは、勾配を変化させながら１０ビットから８ビットへの変換を行う。輝度クロマ信号生成部３３ｆは、ガンマ補正部３３ｅの出力データに基づいて、表示部３に表示させるための輝度クロマ信号を生成する。ノイズリダクション部３３ｇは、輝度クロマ信号に含まれるノイズを削減する処理を行う。エッジ強調部３３ｈは、輝度クロマ信号に基づいて、被写体画像のエッジを強調する処理を行う。ノイズリダクション部３３ｇによるノイズリダクション処理と、エッジ強調部３３ｈによるエッジ強調処理は、所定の条件を満たす場合のみ行われてもよい。出力部３５は、ノイズリダクション処理を行った後の輝度クロマ信号を出力する。

　ノイズリダクション部３３ｇは、第１撮像部６で撮像された画像データに基づいて、輝度変化の少ない画素領域か否かを判別し、輝度変化の少ない画素領域についてはノイズ除去比率を高める。より具体的には、ノイズリダクション部３３ｇは、第２撮像部７で撮像された画像データのうち輝度変化が所定の基準値以下の画素領域のノイズ除去度合いを、画像データのうち輝度変化が基準値より大きい画素領域のノイズ除去度合いよりも高くする。

　これにより、第２撮像部７で撮像された画像データのデータ量を削減できる。一方、輝度変化の大きい画素領域については、ノイズ除去比率を弱める。このようにする理由は、ノイズ除去比率を高めるほど、エッジが不鮮明になり、解像度も低下するためであり、エッジを鮮明にして解像度を向上させるには、ノイズ除去比率を弱めるのが望ましい。ただし、全画素についてノイズ除去比率を弱めると、画像データのデータ量が膨大になることから、エッジ部分などの限られた画素領域のみ、ノイズ除去比率を弱めるのが望ましい。

　図１２は信号処理部３３の内部構成の第２例を示すブロック図である。図１１の信号処理部３３は、図１１の信号処理部３３に、フレア抽出部３３ｉとフレア補正部３３ｊを設けたものである。

　フレア抽出部３３ｉは、第１撮像部６で撮像された画像データの画素値と、第２撮像部７で撮像された画像データの画素値とを比較することで、フレア又は回折による影響度合いを抽出する。例えば、第１撮像部６で撮像された画像データの平均画素値と、第２撮像部７で撮像された画像データの平均画素値との差分により、フレア又は回折による影響度合いを抽出してもよい。

　フレア補正部３３ｊは、第２撮像部７で撮像された画像データから、フレア抽出部３３ｉで抽出されたフレア又は回折による影響度合いを差し引く処理を行う。これにより、第２撮像部７で撮像された画像データが、フレアや回折による影響を受けにくくなる。

　このように、第４の実施形態では、信号処理部３３の内部処理にて、第１撮像部６で撮像された画像データを参照することで、第２撮像部７で撮像された画像データの感度及び解像度を補正でき、また、フレア又は回折による影響も抑制できる。また、不必要な補正を回避することで、信号処理部３３の処理負荷を軽減し、画像データのデータ量を削減できる。

　（第５の実施形態）
　第１～第４の実施形態では、赤外光波長成分の光を受光する第１撮像部６を設ける例を示したが、これに加えて、赤外光波長成分の光を発光する発光部を設けてもよい。

　図１３は第５の実施形態による電子機器２ｂの概略構成を示すブロック図である。図１３の電子機器２ｂは、図４の電子機器２の構成に加えて、発光部２５と発光制御部２６を備えている。発光部２５は、赤外光波長帯域の光を発光する。発光部２５は、電子機器２ｂの表示面側に設けられる。例えば、発光部２５は、電子機器２ｂの表示面のベゼル３ｂ部分に設けられてもよい。

　発光制御部２６は、第１撮像部６が画像データを撮像する際に発光部２５が発光した光で被写体が照射されるように、発光部２５の発光タイミングを制御する。赤外光波長帯域の光は、人間の目では認識できないため、発光部２５の光が人間に照射されても、その人間はまぶしさを感じるおそれはない。ただし、人間の目を痛めないような光強度及び連続照射時間で照射する必要がある。

　なお、本実施形態では、第１撮像部６と第２撮像部７は、同タイミングで同一の被写体の撮像を行うことを想定している。第１撮像部６は、赤外光波長帯域の光を撮像するため、発光部２５からの光で被写体を照明している状態で、その被写体を第１撮像部６で撮像すると、第１撮像部６で受光される画像データの画素値を大きくすることができ、感度ＵＰが図れる。

　図１４は第５の実施形態による電子機器２ｂが第１及び第２のカメラモジュール４，５で撮像を行う際の処理動作を示すフローチャートである。まず、第１撮像部６及び第２撮像部７の撮像タイミングか否かを判定する（ステップＳ４１）。第１撮像部６及び第２撮像部７による撮像は、表示部３に画像が表示されていない期間、例えば表示部３の垂直ブランキング期間内に行われる。

　撮像タイミングになるまでステップＳ４１に待機し、撮像タイミングになると、発光部２５による赤外光帯域の光（ＩＲ光）の発光を開始する（ステップＳ４２）。例えば、電子機器２ｂがスマートフォンの場合、ユーザは第１及び第２のカメラモジュール４，５の焦点を被写体に合わせるため、発光部２５から発光された光の進行方向が第１及び第２のカメラモジュール４，５の光軸方向に一致するようにしておけば、ユーザが特に意識しなくても、発光部２５からの光が被写体を照明することになる。

　発光部２５が発光を行っている最中に第１撮像部６で撮像する（ステップＳ４３）。これにより、周囲が暗い状況下で撮影する場合でも、第１撮像部６で撮像される画像データの画素値を大きくすることができる。第１撮像部６及び第２撮像部７による撮像が終了すると、発光部２５は発光を停止する（ステップＳ４４）。その後、第１の実施形態等と同様に、第１撮像部６で撮像された画像データに基づいて、第２撮像部７で撮像された画像データが補正される（ステップＳ４５）。

　このように、第５の実施形態では、発光部２５で赤外光を発光した状態で、第１撮像部６で赤外光波長帯域の光を受光するため、第１撮像部６で撮像された画像データの画素値を大きくすることができ、感度を高くすることができ、周囲が暗い状況下でも、第１撮像部６で撮像された画像データに基づいて第２撮像部７で撮像された画像データを適切に補正することができる。

　（第６の実施形態）
　第６の実施形態は、第５の実施形態の一変形例であり、発光部２５が発光する光の発光波長帯域を切り替えることができるようにしたものである。

　第６の実施形態による電子機器２ｂは、図１３と同様のブロック構成を備えているが、発光部２５の機能が異なっている。第６の実施形態による発光部２５は、赤外光波長帯域内のそれぞれ異なる発光波長帯域の光を発光する複数の光源を有する。発光制御部２６は、第１撮像部６が撮像する間に、複数の光源による発光を順次に切り替え制御する。第１撮像部６は、それぞれ異なる発光波長帯域で撮像された複数の画像データを出力する。

　図１５は第６の実施形態による電子機器２ｂが第１及び第２のカメラモジュール４，５で撮像を行う際の処理動作を示すフローチャートである。まず、第１撮像部６及び第２撮像部７の撮像タイミングか否かを判定する（ステップＳ５１）。撮像タイミングになると、発光部２５は、発光制御部２６からの指示により、複数の発光波長帯域のうち一つを選択して（ステップＳ５２）、選択した発光波長帯域の赤外光を発光する（ステップＳ５３）。そして、第１及び第２撮像部６，７での撮像を行い（ステップＳ５４）、その後に発光部２５の発光を停止する（ステップＳ５５）。

　次に、発光部２５が発光可能な光のうち、まだ選択していない発光波長帯域の赤外光があるか否かを判定する（ステップＳ５６）。まだ選択していない赤外光がある場合には、ステップＳ５２以降の処理を繰り返す。ステップＳ５６で、発光部２５が発光可能な光のすべてについてステップＳ５２～Ｓ５５の処理を行ったと判定されると、第１撮像部６で撮像された複数の赤外光波長帯域の画像データに基づいて、第２撮像部７で撮像された画像データを補正する（ステップＳ５７）。

　それぞれ異なる複数の赤外光波長帯域で照明した状態で第１撮像部６が撮像を行うと、撮像画像に写し込まれる情報が少しずつ変化する可能性があり、これらを総合的に考慮に入れて、第２撮像部７で撮像された画像データを補正することで、第２撮像部７で撮像された画像データをより適切に補正できる。

　このように、第６の実施形態では、発光部２５が赤外光波長帯域内のそれぞれ異なる発光波長帯域の光を発光する複数の光源を有するため、これら光源が順次に光を発光した状態で第１撮像部６で撮像を行うことで、第１撮像部６で撮像された複数の撮像画像を得ることができる。これら複数の撮像画像に基づいて第２撮像部７で撮像された画像データを補正することで、より適切な補正を行うことができる。

　（第７の実施形態）
　上述した第１～第６の実施形態では、電子機器２、２ａ、２ｂの表示面を通過した光を第１及び第２のカメラモジュール４，５で撮像する例を説明したが、第１及び第２のカメラモジュール４，５が表示面のベゼル３ｂ部分に配置されている場合や、電子機器２、２ａ、２ｂの裏面側に配置されている場合、外部からの光が直接第１及び第２のカメラモジュール４，５に入射されるため、被写体光が表示部３を通過することによる光量のロスや、フレア又は回折による影響は起きない。しかしながら、周囲が暗い状況下で第２撮像部７にて撮像を行う場合、撮像画像の感度や解像度が低下する場合がある。また、強い太陽光を受けている状況下で第２撮像部７にて撮像を行う場合、撮像画像がフレアや回折の影響を受けやすくなる。このような場合に、赤外光波長帯域の光を受光する第１撮像部６で]撮像された画像データに基づいて、第２撮像部７で撮像された画像データを補正することで、感度や解像度を向上できたり、フレアや回折による影響を抑制できる。よって、第１～第６の実施形態による電子機器２、２ａ、２ｂは、第１及び第２のカメラモジュール４，５が表示面のベゼル３ｂ部分に配置されている場合や、電子機器２、２ａ、２ｂの裏面側に配置されている場合にも、適用可能である。

　（第８の実施形態）
　上述した第１～第７の実施形態で説明した構成を備えた電子機器２の具体的な候補としては、種々のものが考えられる。例えば、図１６は第１～第７の実施形態の電子機器２をカプセル内視鏡５０に適用した場合の平面図である。図１６のカプセル内視鏡５０は、例えば両端面が半球状で中央部が円筒状の筐体５１内に、体腔内の画像を撮影するためのカメラ（超小型カメラ）５２、カメラ５２により撮影された画像データを記録するためのメモリ５３、および、カプセル内視鏡５０が被験者の体外に排出された後に、記録された画像データをアンテナ５４を介して外部へ送信するための無線送信機５５を備えている。

　また、筐体５１内には、ＣＰＵ（Central　Processing　Unit）５６およびコイル（磁力・電流変換コイル）５７が設けられている。ＣＰＵ５６は、カメラ５２による撮影、およびメモリ５３へのデータ蓄積動作を制御するとともに、メモリ５３から無線送信機５５による筐体５１外のデータ受信装置（図示せず）へのデータ送信を制御する。コイル５７は、カメラ５２、メモリ５３、無線送信機５５、アンテナ５４および後述する光源５２ｂへの電力供給を行う。

　さらに、筐体５１には、カプセル内視鏡５０をデータ受信装置にセットした際に、これを検知するための磁気（リード）スイッチ５８が設けられている。ＣＰＵ５６は、このリードスイッチ５８がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル５７からの無線送信機５５への電力供給を行う。

　カメラ５２は、例えば体腔内の画像を撮影するための対物光学系を含む撮像素子５２ａ、体腔内を照明する複数の光源５２ｂを有している。具体的には、カメラ５２は、光源５２ｂとして、例えばLED（Light　Emitting　Diode）を備えたCMOS（Complementary　Metal　Oxide　Semiconductor）センサやCCD（Charge　Coupled　Device）等によって構成される。

　（本開示による撮像装置１及び電子機器２の適用例）
　（第１適用例）
　本開示による撮像装置１及び電子機器２は、種々の用途に用いることができる。図１６Ａ及び図１６Ｂは本開示による撮像装置１を備えた電子機器２の第１適用例である乗物１００の内部の構成を示す図である。図１６Ａは乗物１００の後方から前方にかけての乗物１００の内部の様子を示す図、図１６Ｂは乗物１００の斜め後方から斜め前方にかけての乗物１００の内部の様子を示す図である。

　図１６Ａ及び図１６Ｂの乗物１００は、センターディスプレイ１０１と、コンソールディスプレイ１０２と、ヘッドアップディスプレイ１０３と、デジタルリアミラー１０４と、ステアリングホイールディスプレイ１０５と、リアエンタテイメントディスプレイ１０６とを有する。

　センターディスプレイ１０１は、ダッシュボード１０７上の運転席１０８及び助手席１０９に対向する場所に配置されている。図１６では、運転席１０８側から助手席１０９側まで延びる横長形状のセンターディスプレイ１０１の例を示すが、センターディスプレイ１０１の画面サイズや配置場所は任意である。センターディスプレイ１０１には、種々のセンサ５で検知された情報を表示可能である。具体的な一例として、センターディスプレイ１０１には、イメージセンサで撮影した撮影画像、ＴｏＦセンサ５で計測された乗物前方や側方の障害物までの距離画像、赤外線センサ５で検出された乗客の体温などを表示可能である。センターディスプレイ１０１は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。

　安全関連情報は、居眠り検知、よそ見検知、同乗している子供のいたずら検知、シートベルト装着有無、乗員の置き去り検知などの情報であり、例えばセンターディスプレイ１０１の裏面側に重ねて配置されたセンサ５にて検知される情報である。操作関連情報は、センサ５を用いて乗員の操作に関するジェスチャを検知する。検知されるジェスチャは、乗物１００内の種々の設備の操作を含んでいてもよい。例えば、空調設備、ナビゲーション装置、ＡＶ装置、照明装置等の操作を検知する。ライフログは、乗員全員のライフログを含む。例えば、ライフログは、乗車中の各乗員の行動記録を含む。ライフログを取得及び保存することで、事故時に乗員がどのような状態であったかを確認できる。健康関連情報は、温度センサ５を用いて乗員の体温を検知し、検知した体温に基づいて乗員の健康状態を推測する。あるいは、イメージセンサを用いて乗員の顔を撮像し、撮像した顔の表情から乗員の健康状態を推測してもよい。さらに、乗員に対して自動音声で会話を行って、乗員の回答内容に基づいて乗員の健康状態を推測してもよい。認証／識別関連情報は、センサ５を用いて顔認証を行うキーレスエントリ機能や、顔識別でシート高さや位置の自動調整機能などを含む。エンタテイメント関連情報は、センサ５を用いて乗員によるＡＶ装置の操作情報を検出する機能や、センサ５で乗員の顔を認識して、乗員に適したコンテンツをＡＶ装置にて提供する機能などを含む。

　コンソールディスプレイ１０２は、例えばライフログ情報の表示に用いることができる。コンソールディスプレイ１０２は、運転席１０８と助手席１０９の間のセンターコンソール１１０のシフトレバー１１１の近くに配置されている。コンソールディスプレイ１０２にも、種々のセンサ５で検知された情報を表示可能である。また、コンソールディスプレイ１０２には、イメージセンサで撮像された車両周辺の画像を表示してもよいし、車両周辺の障害物までの距離画像を表示してもよい。

　ヘッドアップディスプレイ１０３は、運転席１０８の前方のフロントガラス１１２の奥に仮想的に表示される。ヘッドアップディスプレイ１０３は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。ヘッドアップディスプレイ１０３は、運転席１０８の正面に仮想的に配置されることが多いため、乗物１００の速度や燃料（バッテリ）残量などの乗物１００の操作に直接関連する情報を表示するのに適している。

　デジタルリアミラー１０４は、乗物１００の後方を表示できるだけでなく、後部座席の乗員の様子も表示できるため、デジタルリアミラー１０４の裏面側に重ねてセンサ５を配置することで、例えばライフログ情報の表示に用いることができる。

　ステアリングホイールディスプレイ１０５は、乗物１００のハンドル１１３の中心付近に配置されている。ステアリングホイールディスプレイ１０５は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、ステアリングホイールディスプレイ１０５は、運転者の手の近くにあるため、運転者の体温等のライフログ情報を表示したり、ＡＶ装置や空調設備等の操作に関する情報などを表示するのに適している。

　リアエンタテイメントディスプレイ１０６は、運転席１０８や助手席１０９の背面側に取り付けられており、後部座席の乗員が視聴するためのものである。リアエンタテイメントディスプレイ１０６は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証／識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、リアエンタテイメントディスプレイ１０６は、後部座席の乗員の目の前にあるため、後部座席の乗員に関連する情報が表示される。例えば、ＡＶ装置や空調設備の操作に関する情報を表示したり、後部座席の乗員の体温等を温度センサ５で計測した結果を表示してもよい。

　上述したように、表示部３の裏面側に重ねてセンサ５を配置することで、周囲に存在する物体までの距離を計測することができる。光学的な距離計測の手法には、大きく分けて、受動型と能動型がある。受動型は、センサ５から物体に光を投光せずに、物体からの光を受光して距離計測を行うものである。受動型には、レンズ焦点法、ステレオ法、及び単眼視法などがある。能動型は、物体に光を投光して、物体からの反射光をセンサ５で受光して距離計測を行うものである。能動型には、光レーダ方式、アクティブステレオ方式、照度差ステレオ法、モアレトポグラフィ法、干渉法などがある。本開示による撮像装置１は、これらのどの方式の距離計測にも適用可能である。本開示による表示部３の裏面側に重ねて配置されるセンサ５を用いることで、上述した受動型又は能動型の距離計測を行うことができる。

　（第２適用例）
　本開示による撮像装置１は、乗物で用いられる種々のディスプレイに適用されるだけでなく、種々の電子機器２に搭載されるディスプレイにも適用可能である。

　図１７Ａは電子機器２の第２適用例であるデジタルカメラ１２０の正面図、図１７Ｂはデジタルカメラ１２０の背面図である。図１７Ａ及び図１７Ｂのデジタルカメラ１２０は、レンズ１２１を交換可能な一眼レフカメラの例を示しているが、レンズ１２１を交換できないカメラにも適用可能である。

　図１７Ａ及び図１７Ｂのカメラは、撮影者がカメラボディ１２２のグリップ１２３を把持した状態で電子ビューファインダ１２４を覗いて構図を決めて、焦点調節を行った状態でシャッタ１２５を押すと、カメラ内のメモリに撮影データが保存される。カメラの背面側には、図１７Ｂに示すように、撮影データ等やライブ画像等を表示するモニタ画面１２６と、電子ビューファインダ１２４とが設けられている。また、カメラの上面には、シャッタ速度や露出値などの設定情報を表示するサブ画面が設けられる場合もある。

　カメラに用いられるモニタ画面１２６、電子ビューファインダ１２４、サブ画面等の裏面側に重ねてセンサ５を配置することで、本開示による撮像装置１として用いることができる。

　（第３適用例）
　本開示による撮像装置１及び電子機器２は、ヘッドマウントディスプレイ（以下、ＨＭＤと呼ぶ）にも適用可能である。ＨＭＤは、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、又はＳＲ（Substitutional Reality）等に利用されることができる。

　図１８Ａは電子機器２の第３適用例であるＨＭＤ１３０の外観図である。図１８ＡのＨＭＤ１３０は、人間の目を覆うように装着するための装着部材１３１を有する。この装着部材１３１は例えば人間の耳に引っ掛けて固定される。ＨＭＤ１３０の内側には表示装置１３２が設けられており、ＨＭＤ１３０の装着者はこの表示装置１３２にて立体映像等を視認できる。ＨＭＤ１３０は例えば無線通信機能と加速度センサなどを備えており、装着者の姿勢やジェスチャなどに応じて、表示装置１３２に表示される立体映像等を切り換えることができる。

　また、ＨＭＤ１３０にカメラを設けて、装着者の周囲の画像を撮影し、カメラの撮影画像とコンピュータで生成した画像とを合成した画像を表示装置１３２で表示してもよい。例えば、ＨＭＤ１３０の装着者が視認する表示装置１３２の裏面側に重ねてカメラを配置して、このカメラで装着者の目の周辺を撮影し、その撮影画像をＨＭＤ１３０の外表面に設けた別のディスプレイに表示することで、装着者の周囲にいる人間は、装着者の顔の表情や目の動きをリアルタイムに把握可能となる。

　なお、ＨＭＤ１３０には種々のタイプが考えられる。例えば、図１８Ｂのように、本開示による撮像装置１及び電子機器２は、メガネ１３４に種々の情報を映し出すスマートグラス１３０ａにも適用可能である。図１８Ｂのスマートグラス１３０ａは、本体部１３５と、アーム部１３６と、鏡筒部１３７とを有する。本体部１３５はアーム部１３６に接続されている。本体部１３５は、メガネ１３４に着脱可能とされている。本体部１３５は、スマートグラス１３０ａの動作を制御するための制御基板や表示部を内蔵している。本体部１３５と鏡筒は、アーム部１３６を介して互いに連結されている。鏡筒部１３７は、本体部１３５からアーム部１３６を介して出射される画像光を、メガネ１３４のレンズ１３８側に出射する。この画像光は、レンズ１３８を通して人間の目に入る。図１８Ｂのスマートグラス１３０ａの装着者は、通常のメガネと同様に、周囲の状況だけでなく、鏡筒部１３７から出射された種々の情報を合わせて視認できる。

　（第４適用例）
　本開示による撮像装置１及び電子機器２は、テレビジョン装置（以下、ＴＶ）にも適用可能である。最近のＴＶは、小型化の観点及び意匠デザイン性の観点から、額縁をできるだけ小さくする傾向にある。このため、視聴者を撮影するカメラをＴＶに設ける場合には、ＴＶの表示パネル２の裏面側に重ねて配置するのが望ましい。

　図１９は電子機器２の第４適用例であるＴＶ１４０の外観図である。図１９のＴＶ１４０は、額縁が極小化されており、正面側のほぼ全域が表示エリアとなっている。ＴＶ１４０には視聴者を撮影するためのカメラ等のセンサ５が内蔵されている。図１９のセンサ５は、表示パネル２内の一部（例えば破線箇所）の裏側に配置されている。センサ５は、イメージセンサモジュールでもよいし、顔認証用のセンサや距離計測用のセンサ、温度センサなど、種々のセンサが適用可能であり、複数種類のセンサをＴＶ１４０の表示パネル２の裏面側に配置してもよい。

　上述したように、本開示の撮像装置１及び電子機器２によれば、表示パネル２の裏面側に重ねてイメージセンサモジュール９を配置できるため、額縁にカメラ等を配置する必要がなくなり、ＴＶ１４０を小型化でき、かつ額縁により意匠デザインが損なわれるおそれもなくなる。

　（第５適用例）
　本開示による撮像装置１及び電子機器２は、スマートフォンや携帯電話にも適用可能である。図２０は電子機器２の第５適用例であるスマートフォン１５０の外観図である。図２０の例では、電子機器２の外形サイズの近くまで表示面２ｚが広がっており、表示面２ｚの周囲にあるベゼル２ｙの幅を数ｍｍ以下にしている。通常、ベゼル２ｙには、フロントカメラが搭載されることが多いが、図２０では、破線で示すように、表示面２ｚの例えば略中央部の裏面側にフロントカメラとして機能するイメージセンサモジュール９を配置している。このように、フロントカメラを表示面２ｚの裏面側に設けることで、ベゼル２ｙにフロントカメラを配置する必要がなくなり、ベゼル２ｙの幅を狭めることができる。

　なお、本技術は以下のような構成を取ることができる。
　（１）表示部と、
　前記表示部の表示面とは反対側に配置され、前記表示部を通過した赤外光波長帯域の光を撮像可能な第１撮像部と、
　前記表示部の表示面とは反対側に配置され、前記表示部を通過した可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、電子機器。
　（２）前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの感度を補正する、（１）に記載の電子機器。
　（３）前記第１撮像部で撮像された画像データの感度と、前記第２撮像部で撮像された画像データの感度との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの感度を補正する、（２）に記載の電子機器。
　（４）前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの解像度を補正する、（１）に記載の電子機器。
　（５）前記第１撮像部で撮像された画像データの解像度と、前記第２撮像部で撮像された画像データの解像度との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの解像度を補正する、（４）に記載の電子機器。
　（６）前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方を補正する、（１）に記載の電子機器。
　（７）前記第１撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方と、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方を補正する、（６）に記載の電子機器。
　（８）前記第２撮像部で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つが所定の第１基準を満たすか否かを判定する基準判定部と、
　前記基準判定部にて前記第１基準を満たさないと判定されると、前記第１撮像部による撮像を開始させる撮像開始指示部と、
　前記第１撮像部で撮像された画像データと前記第２撮像部で撮像された画像データとで、感度、解像度、フレア成分、及び回折光成分の少なくとも一つを比較した結果に基づいて、前記補正部による補正を行うか否かと、前記補正部による補正を行う際に補正の基準となる画像データの種類とを決定する補正手順決定部と、を備える、（７）に記載の電子機器。
　（９）前記学習部は、前記補正手順決定部にて、補正の基準となる画像データの種類が決定されると、決定された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つと、前記第２撮像部で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つとの相関関係を学習する、（８）に記載の電子機器。
　（１０）物体の形状及び色の少なくとも一方を検出するセンサと、
　前記学習部による学習の信頼度を推定する信頼度推定部と、
　前記信頼度推定部にて推定された信頼度が所定の第２基準以下の場合、前記センサの検出データに基づいて前記物体を識別できるか否かを判定する物体識別判定部と、
　前記物体識別判定部にて物体を識別できると判定された場合に、前記センサにて識別された物体の色を特定できるか否かを判定する色特定判定部と、
　前記補正部は、前記色特定判定部にて前記物体の色を特定できると判定された場合、前記特定された色に近づくように、前記第２撮像部で撮像された画像データを補正する、（７）乃至（９）のいずれか一項に記載の電子機器。
　（１１）前記補正部は、前記第２撮像部で撮像された画像データのうち輝度変化が所定の基準値以下の画素領域のノイズ除去度合いを、前記画像データのうち輝度変化が前記基準値より大きい画素領域のノイズ除去度合いよりも高くする、（１）乃至（１０）のいずれか一項に記載の電子機器。
　（１２）赤外光波長帯域の光を発光する発光部と、
　前記第１撮像部で画像データを撮像する際に前記発光部が発光した光で被写体が照明されるように前記発光部の発光タイミングを制御する発光制御部と、を備える、（１）乃至（１１）のいずれか一項に記載の電子機器。
　（１３）前記発光部は、前記赤外光波長帯域内のそれぞれ異なる発光波長帯域の光を発光する複数の光源を有し、
　前記発光制御部は、前記第１撮像部が撮像する間に、前記複数の光源による発光を順次に切り替え制御し、
　前記第１撮像部は、それぞれ異なる発光光波長帯域で撮像された複数の画像データを出力し、
　前記補正部は、前記複数の画像データに基づいて、前記第２撮像部で撮像された画像データを補正する、（１２）に記載の電子機器。
　（１４）記発光部は、前記表示部の表示面側に配置される、（１２）又は（１３）に記載の電子機器。
　（１５）前記第１撮像部及び前記第２撮像部の少なくとも一方は、赤外光波長帯域の光を撮像する画素と、可視光波長帯域の光を撮像する画素とを含む、（１）乃至（１４）のいずれか一項）に記載の電子機器。
　（１６）前記第１撮像部は、５５０ｎｍ以上の光に対して感度を有する、（１５）に記載の電子機器。
　（１７）前記補正部は、前記第２撮像部で撮像された画像データに対して、短波長側ほど補正の度合いを高くする、（１）乃至（１６）のいずれか一項に記載の電子機器。
　（１８）前記第１撮像部は、前記第２撮像部に比べて、光入射面の法線方向により長く配置される光電変換部を有する、（１）乃至（１７）のいずれか一項に記載の電子機器。
　（１９）前記第１撮像部の１画素あたりの光入射面方向の面積は、前記第２撮像部の１画素あたりの光入射面方向の面積よりも大きく、かつ
　前記第１撮像部の全画素分の光入射面方向の面積は、前記第２撮像部の全画素分の光入射面方向の面積よりも小さい、（１）乃至（１８）のいずれか一項に記載の電子機器。
　（２０）表示部の表示面とは反対側に配置され、赤外光波長帯域の光を撮像可能な第１撮像部と、
　前記表示部の表示面とは反対側に配置され、可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、撮像装置。
　（２１）赤外光波長帯域の光を撮像可能な第１撮像部と、
　可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、撮像装置。

　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

　１　撮像装置、２、２ａ、２ｂ　電子機器、３　表示部、３ａ　表示面、３ｂ　ベゼル、４　カメラモジュール、５　カメラモジュール、６　第１撮像部、７　第２撮像部、８　第１光学系、９　第２光学系、１１　半導体基板、１２ａ　第１光電変換部、１２ｂ　第２光電変換部、１３　素子分離層、１４　平坦化層、１５ａ　オンチップレンズ、１５ｂ　オンチップレンズ、１６　カラーフィルタ層、１７　読み出し回路、２１　アプリケーションプロセッサ、２２　映像信号生成部、２３　Ａ／Ｄ変換部、２４　表示制御部、３１　第１Ａ／Ｄ変換部、３２　第２Ａ／Ｄ変換部、３３　信号処理部、１００　乗物、１０１　センターディスプレイ、１０２　コンソールディスプレイ、１０３　ヘッドアップディスプレイ、１０４　デジタルリアミラー、１０５　ステアリングホイールディスプレイ、１０６　リアエンタテイメントディスプレイ、１０７　ダッシュボード、１０８　運転席、１０９　助手席、１１０　センターコンソール、１１１　シフトレバー、１１２　フロントガラス、１１３　ハンドル、１２０　デジタルカメラ、１２１　レンズ、１２２　カメラボディ、１２３　グリップ、１２４　電子ビューファインダ、１２５　シャッタ、１２６　モニタ画面、１３０　スマートグラス、１３１　装着部材、１３２　表示装置、１３４　メガネ、１３５　本体部、１３６　アーム部、１３７　鏡筒部、１３８　レンズ、１５０　スマートフォン

Claims

　表示部と、
　前記表示部の表示面とは反対側に配置され、前記表示部を通過した赤外光波長帯域の光を撮像可能な第１撮像部と、
　前記表示部の表示面とは反対側に配置され、前記表示部を通過した可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、電子機器。
　前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの感度を補正する、請求項１に記載の電子機器。
　前記第１撮像部で撮像された画像データの感度と、前記第２撮像部で撮像された画像データの感度との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの感度を補正する、請求項２に記載の電子機器。
　前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの解像度を補正する、請求項１に記載の電子機器。
　前記第１撮像部で撮像された画像データの解像度と、前記第２撮像部で撮像された画像データの解像度との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データの解像度を補正する、請求項４に記載の電子機器。
　前記補正部は、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方を補正する、請求項１に記載の電子機器。
　前記第１撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方と、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方との相関関係を学習する学習部を備え、
　前記補正部は、前記学習部での学習結果を参照して、前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データに含まれるフレア成分及び回折光成分の少なくとも一方を補正する、請求項６に記載の電子機器。
　前記第２撮像部で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つが所定の第１基準を満たすか否かを判定する基準判定部と、
　前記基準判定部にて前記第１基準を満たさないと判定されると、前記第１撮像部による撮像を開始させる撮像開始指示部と、
　前記第１撮像部で撮像された画像データと前記第２撮像部で撮像された画像データとで、感度、解像度、フレア成分、及び回折光成分の少なくとも一つを比較した結果に基づいて、前記補正部による補正を行うか否かと、前記補正部による補正を行う際に補正の基準となる画像データの種類とを決定する補正手順決定部と、を備える、請求項７に記載の電子機器。
　前記学習部は、前記補正手順決定部にて、補正の基準となる画像データの種類が決定されると、決定された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つと、前記第２撮像部で撮像された画像データの感度、解像度、フレア成分及び回折光成分の少なくとも一つとの相関関係を学習する、請求項８に記載の電子機器。
　物体の形状及び色の少なくとも一方を検出するセンサと、
　前記学習部による学習の信頼度を推定する信頼度推定部と、
　前記信頼度推定部にて推定された信頼度が所定の第２基準以下の場合、前記センサの検出データに基づいて前記物体を識別できるか否かを判定する物体識別判定部と、
　前記物体識別判定部にて物体を識別できると判定された場合に、前記センサにて識別された物体の色を特定できるか否かを判定する色特定判定部と、
　前記補正部は、前記色特定判定部にて前記物体の色を特定できると判定された場合、前記特定された色に近づくように、前記第２撮像部で撮像された画像データを補正する、請求項７に記載の電子機器。
　前記補正部は、前記第２撮像部で撮像された画像データのうち輝度変化が所定の基準値以下の画素領域のノイズ除去度合いを、前記画像データのうち輝度変化が前記基準値より大きい画素領域のノイズ除去度合いよりも高くする、請求項１に記載の電子機器。
　赤外光波長帯域の光を発光する発光部と、
　前記第１撮像部で画像データを撮像する際に前記発光部が発光した光で被写体が照明されるように前記発光部の発光タイミングを制御する発光制御部と、を備える、請求項１に記載の電子機器。
　前記発光部は、前記赤外光波長帯域内のそれぞれ異なる発光波長帯域の光を発光する複数の光源を有し、
　前記発光制御部は、前記第１撮像部が撮像する間に、前記複数の光源による発光を順次に切り替え制御し、
　前記第１撮像部は、それぞれ異なる発光光波長帯域で撮像された複数の画像データを出力し、
　前記補正部は、前記複数の画像データに基づいて、前記第２撮像部で撮像された画像データを補正する、請求項１２に記載の電子機器。
　前記発光部は、前記表示部の表示面側に配置される、請求項１２に記載の電子機器。
　前記第１撮像部及び前記第２撮像部の少なくとも一方は、赤外光波長帯域の光を撮像する画素と、可視光波長帯域の光を撮像する画素とを含む、請求項１に記載の電子機器。
　前記第１撮像部は、５５０ｎｍ以上の光に対して感度を有する、請求項１５に記載の電子機器。
　前記補正部は、前記第２撮像部で撮像された画像データに対して、短波長側ほど補正の度合いを高くする、請求項１に記載の電子機器。
　前記第１撮像部は、前記第２撮像部に比べて、光入射面の法線方向により長く配置される光電変換部を有する、請求項１に記載の電子機器。
　前記第１撮像部の１画素あたりの光入射面方向の面積は、前記第２撮像部の１画素あたりの光入射面方向の面積よりも大きく、かつ
　前記第１撮像部の全画素分の光入射面方向の面積は、前記第２撮像部の全画素分の光入射面方向の面積よりも小さい、請求項１に記載の電子機器。
　表示部の表示面とは反対側に配置され、赤外光波長帯域の光を撮像可能な第１撮像部と、
　前記表示部の表示面とは反対側に配置され、可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、撮像装置。
　赤外光波長帯域の光を撮像可能な第１撮像部と、
　可視光波長帯域の光を撮像可能な第２撮像部と、
　前記第１撮像部で撮像された画像データに基づいて、前記第２撮像部で撮像された画像データを補正する補正部と、を備える、撮像装置。