JP6937443B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本技術は、撮像装置、及び、電子機器に関し、特に、例えば、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができるようにする撮像装置、及び、電子機器に関する。

画像を撮像する撮像装置として、センサチップ、メモリチップ、及び、DSP（Digital Signal Processor）チップのチップどうしを、複数のバンプで並列に接続した撮像装置が提案されている（例えば、特許文献１を参照）。

特開２００８−０４８３１３号公報

特許文献１に記載の撮像装置のように、チップどうしをバンプで接続して、撮像装置を構成する場合には、撮像装置の厚みが厚くなり、撮像装置が大型化する。

一方、撮像装置を使用するユーザは、その撮像装置で撮像された画像を必要とする場合の他、画像そのものではなく、その画像から得られる情報（メタデータ）を必要とする場合がある。

本技術は、このような状況に鑑みてなされたものであり、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができるようにするものである。

本技術の一態様に係る撮像装置は、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部で撮像された撮像画像に基づくデータに対して、ディープラーニングを用いた信号処理の少なくとも一部を行う信号処理部と、前記信号処理部による信号処理結果又は前記信号処理の途中で得られる中間データと、前記撮像画像とを外部へ出力可能な出力部と、前記信号処理結果又は前記中間データ、及び、前記撮像画像のうちの少なくとも一方を前記出力部から外部に出力させる出力制御部とを備え、前記信号処理部は、前記撮像部が配置された基板に積層された基板に配置されている。

本技術によれば、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 撮像装置２の構成例を示すブロック図である。 撮像装置２の外観構成例の概要を示す斜視図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第４の例を説明するタイミングチャートである。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。 撮像装置２の他の構成例を示すブロック図である。 撮像装置２を使用する使用例を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。

＜本技術を適用したディジタルカメラの一実施の形態＞
図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。

図１において、ディジタルカメラは、光学系１、撮像装置２、メモリ３、信号処理部４、出力部５、及び、制御部６を有する。

光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、撮像装置２に入射させる。

撮像装置２は、例えば、１チップで構成されるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサであり、光学系１からの入射光を受光し、光電変換を行って、光学系１からの入射光に対応する画像データを出力する。

また、撮像装置２は、画像データ等を用いて、例えば、所定の認識対象を認識する認識処理、その他の信号処理を行い、その信号処理の信号処理結果を出力する。

メモリ３は、撮像装置２が出力する画像データ等を一時記憶する。

信号処理部４は、メモリ３に記憶された画像データを用いたカメラ信号処理としての、例えば、ノイズの除去や、ホワイトバランスの調整等の処理を必要に応じて行い、出力部５に供給する。

出力部５は、信号処理部４からの画像データやメモリ３に記憶された信号処理結果を出力する。

すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの画像データに対応する画像を、いわゆるスルー画として表示する。

また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの画像データやメモリ３に記憶された信号処理結果を記録媒体に記録する。

さらに、出力部５は、例えば、外部の装置との間でデータ伝送を行うI/F（Interface）として機能し、信号処理部４からの画像データや、記録媒体に記録された画像データ等を、外部の装置に伝送する。

制御部６は、ユーザの操作等に従い、ディジタルカメラを構成する各ブロックを制御する。

以上のように構成されるディジタルカメラでは、撮像装置２が、画像を撮像する。すなわち、撮像装置２は、光学系１からの入射光を受光して光電変換を行い、その入射光に応じた画像データを取得して出力する。

撮像装置２が出力する画像データは、メモリ３に供給されて記憶される。メモリ３に記憶された画像データについては、信号処理部４によるカメラ信号処理が施され、その結果得られる画像データは、出力部５に供給されて出力される。

また、撮像装置２は、撮像によって得られた画像（データ）等を用いて、信号処理を行い、その信号処理の信号処理結果を出力する。撮像装置２が出力する信号処理結果は、例えば、メモリ３に記憶される。

撮像装置２では、撮像によって得られた画像そのものの出力、及び、その画像等を用いた信号処理の信号処理結果の出力は、選択的に行われる。

＜撮像装置２の構成例＞
図２は、図１の撮像装置２の構成例を示すブロック図である。

図２において、撮像装置２は、撮像ブロック２０及び信号処理ブロック３０を有する。撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）CL1，CL2、及び、CL3によって電気的に接続されている。

撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力I/F（Interface）２４、及び、撮像制御部２５を有し、画像を撮像する。

撮像部２１は、複数の画素が２次元に並んで構成される。撮像部２１は、撮像処理部２２によって駆動され、画像を撮像する。

すなわち、撮像部２１には、光学系１（図１）からの光が入射する。撮像部２１は、各画素において、光学系１からの入射光を受光し、光電変換を行って、入射光に対応するアナログの画像信号を出力する。

なお、撮像部２１が出力する画像（信号）のサイズは、例えば、12M（3968×2976）ピクセルや、VGA（Video Graphics Array）サイズ（640×480ピクセル）等の複数のサイズの中から選択することができる。

また、撮像部２１が出力する画像については、例えば、RGB（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。

これらの選択は、撮影モードの設定の一種として行うことができる。

撮像処理部２２は、撮像制御部２５の制御に従い、撮像部２１の駆動や、撮像部２１が出力するアナログの画像信号のAD（Analog to Digital）変換、撮像信号処理等の、撮像部２１での画像の撮像に関連する撮像処理を行う。

ここで、撮像信号処理としては、例えば、撮像部２１が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、撮像部２１が出力する画像を、HDR（High Dynamic Range）画像に変換する処理、欠陥補正、現像等がある。

撮像処理部２２は、撮像部２１が出力するアナログの画像信号のAD変換等によって得られるディジタルの画像信号（ここでは、例えば、12Mピクセル又はVGAサイズの画像）を、撮像画像として出力する。

撮像処理部２２が出力する撮像画像は、出力制御部２３に供給されるとともに、接続線CL2を介して、信号処理ブロック３０の画像圧縮部３５に供給される。

出力制御部２３には、撮像処理部２２から撮像画像が供給される他、信号処理ブロック３０から、接続線CL3を介して、撮像画像等を用いた信号処理の信号処理結果が供給される。

出力制御部２３は、撮像処理部２２からの撮像画像、及び、信号処理ブロック３０からの信号処理結果を、（１つの）出力I/F２４から外部（例えば、図１のメモリ３等）に選択的に出力させる出力制御を行う。

すなわち、出力制御部２３は、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの信号処理結果を選択し、出力I/F２４に供給する。

出力I/F２４は、出力制御部２３から供給される撮像画像、及び、信号処理結果を外部に出力するI/Fである。出力IF２４としては、例えば、MIPI（Mobile Industriy Processor Interface）等の比較的高速なパラレルI/F等を採用することができる。

出力I/F２４では、出力制御部２３の出力制御に応じて、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの信号処理結果が、外部に出力される。したがって、例えば、外部において、信号処理ブロック３０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力I/F２４から外部に出力するデータ量を削減することができる。

また、信号処理ブロック３０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力I/F２４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。

撮像制御部２５は、通信I/F２６及びレジスタ群２７を有する。

通信I/F２６は、例えば、I2C（Inter-Integrated Circuit）等のシリアル通信I/F等の第１の通信I/Fであり、外部（例えば、図１の制御部６等）との間で、レジスタ２７群に読み書きする情報等の必要な情報のやりとりを行う。

レジスタ群２７は、複数のレジスタを有し、撮像部２１での画像の撮像に関連する撮像情報、その他の各種情報を記憶する。

例えば、レジスタ群２７は、通信I/F２６において外部から受信された撮像情報や、撮像処理部２２での撮像信号処理の結果（例えば、撮像画像の小領域ごとの明るさ等）を記憶する。

レジスタ群２７に記憶される撮像情報としては、例えば、ISO感度（撮像処理部２２でのAD変換時のアナログゲイン）や、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード、切り出し範囲等（を表す情報）がある。

撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。

また、切り出し範囲とは、撮像処理部２２において、撮像部２１が出力する画像の一部を切り出して、撮像画像として出力する場合に、撮像部２１が出力する画像から切り出す範囲を表す。切り出し範囲の指定によって、例えば、撮像部２１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。なお、画像の切り出しとしては、撮像部２１が出力する画像から切り出す方法の他、撮像部２１から、切り出し範囲の画像（信号）だけを読み出す方法がある。

撮像制御部２５は、レジスタ群２７に記憶された撮像情報に従って、撮像処理部２２を制御し、これにより、撮像部２１での画像の撮像を制御する。

なお、レジスタ群２７は、撮像情報や、撮像処理部２２での撮像信号処理の結果の他、出力制御部２３での出力制御に関する出力制御情報を記憶することができる。出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び信号処理結果を選択的に出力させる出力制御を行うことができる。

また、撮像装置２では、撮像制御部２５と、信号処理ブロック３０のCPU３１とは、接続線CL1を介して、接続されており、CPU３１は、接続線CL1を介して、レジスタ群２７に対して、情報の読み書きを行うことができる。

すなわち、撮像装置２では、レジスタ群２７に対する情報の読み書きは、通信I/F２６から行う他、CPU３１からも行うことができる。

信号処理ブロック３０は、CPU（Central Processing Unit）３１，DSP（Digital Signal Processor）３２、メモリ３３、通信I/F３４、画像圧縮部３５、及び、入力I/F３６を有し、撮像ブロック１０で得られた撮像画像等を用いて、所定の信号処理を行う。

信号処理ブロック３０を構成するCPU３１ないし入力I/F３６は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。

CPU３１は、メモリ３３に記憶されたプログラムを実行することで、信号処理ブロック３０の制御、接続線CL1を介しての、撮像制御部２５のレジスタ群２７への情報の読み書き、その他の各種の処理を行う。

例えば、CPU３１は、プログラムを実行することにより、DSP３２での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線CL1を介して、撮像制御部２５のレジスタ群２７にフィードバックして記憶させる。

したがって、CPU３１は、結果として、撮像画像の信号処理結果に応じて、撮像部２１での撮像や、撮像処理部２２での撮像信号処理を制御することができる。

また、CPU３１がレジスタ群２７に記憶させた撮像情報は、通信I/F２６から外部に提供（出力）することができる。例えば、レジスタ群２７に記憶された撮像情報のうちのフォーカスの情報は、通信I/F２６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。

DSP３２は、メモリ３３に記憶されたプログラムを実行することで、撮像処理部２２から、接続線CL2を介して、信号処理ブロック３０に供給される撮像画像や、入力I/F３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。

メモリ３３は、SRAM（Static Random Access Memory）やDRAM（Dynamic RAM）等で構成され、信号処理ブロック３０の処理上必要なデータ等を記憶する。

例えば、メモリ３３は、通信I/F３４において、外部から受信されたプログラムや、画像圧縮部３５で圧縮され、DSP３２での信号処理で用いられる撮像画像、DSP３２で行われた信号処理の信号処理結果、入力I/F３６が受け取った情報等を記憶する。

通信I/F３４は、例えば、SPI（Serial Peripheral Interface）等のシリアル通信I/F等の第２の通信I/Fであり、外部（例えば、図１のメモリ３や制御部６等）との間で、CPU３１やDSP３２が実行するプログラム等の必要な情報のやりとりを行う。

例えば、通信I/F３４は、CPU３１やDSP３２が実行するプログラムを外部からダウンロードし、メモリ３３に供給して記憶させる。

したがって、通信I/F３４がダウンロードするプログラムによって、CPU３１やDSP３２で様々な処理を実行することができる。

なお、通信I/F３４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。例えば、通信I/F３４は、DSP３２での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信I/F３４は、CPU３１の指示に従った情報を、外部の装置に出力し、これにより、CPU３１の指示に従って、外部の装置を制御することができる。

ここで、DSP３２での信号処理により得られる信号処理結果は、通信I/F３４から外部に出力する他、CPU３１によって、撮像制御部２５のレジスタ群２７に書き込むことができる。レジスタ群２７に書き込まれた信号処理結果は、通信I/F２６から外部に出力することができる。CPU３１で行われた処理の処理結果についても同様である。

画像圧縮部３５には、撮像処理部２２から接続線CL2を介して、撮像画像が供給される。画像圧縮部３５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。

画像圧縮部３５で生成された圧縮画像は、バスを介して、メモリ３３に供給されて記憶される。

ここで、DSP３２での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部３５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、DSP３２での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ３３の記憶容量の節約を図ることができる。

画像圧縮部３５での圧縮処理としては、例えば、12M（3968×2976）ピクセルの撮像画像を、VGAサイズの画像に変換するスケールダウンを行うことができる。また、DSP３２での信号処理が輝度を対象として行われ、かつ、撮像画像がRGBの画像である場合には、圧縮処理としては、RGBの画像を、例えば、YUVの画像に変換するYUV変換を行うことができる。

なお、画像圧縮部３５は、ソフトウエアにより実現することもできるし、専用のハードウエアにより実現することもできる。

入力I/F３６は、外部から情報を受け取るI/Fである。入力I/F３６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介して、メモリ３３に供給して記憶させる。

入力I/F３６としては、例えば、出力IF２４と同様に、MIPI（Mobile Industriy Processor Interface）等のパラレルI/F等を採用することができる。

また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、撮像装置２とは別のイメージセンサを採用することができる。

DSP３２では、撮像画像（から生成された圧縮画像）を用いる他、入力I/F３６が上述のような外部のセンサから受け取り、メモリ３３に記憶される外部センサ出力を用いて、信号処理を行うことができる。

以上のように構成される１チップの撮像装置２では、撮像部２１での撮像により得られる撮像画像（から生成される圧縮画像）を用いた信号処理がDSP３２で行われ、その信号処理の信号処理結果、及び、撮像画像が、出力I/F２４から選択的に出力される。したがって、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。

ここで、撮像装置２において、DSP３２の信号処理を行わず、したがって、撮像装置２から、信号処理結果を出力せず、撮像画像を出力する場合、すなわち、撮像装置２を、単に、画像を撮像して出力するだけのイメージセンサとして構成する場合、撮像装置２は、出力制御部２３を設けない撮像ブロック２０だけで構成することができる。

図３は、図１の撮像装置２の外観構成例の概要を示す斜視図である。

撮像装置２は、例えば、図３に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。

図３では、撮像装置２は、ダイ５１及び５２の２枚のダイが積層されて構成される。

図３において、上側のダイ５１には、撮像部２１が搭載され、下側のダイ５２には、撮像処理部２２ないし撮像制御部２５、及び、CPU３１ないし入力I/F３６が搭載されている。

上側のダイ５１と下側のダイ５２とは、例えば、ダイ５１を貫き、ダイ５２にまで到達する貫通孔を形成することにより、又は、ダイ５１の下面側に露出したCu配線と、ダイ５２の上面側に露出したCu配線とを直接接続するCu-Cu接合を行うこと等により、電気的に接続される。

ここで、撮像処理部２２において、撮像部２１が出力する画像信号のAD変換を行う方式としては、例えば、列並列AD方式やエリアAD方式を採用することができる。

列並列AD方式では、例えば、撮像部２１を構成する画素の列に対してADC（AD Converter）が設けられ、各列のADCが、その列の画素の画素信号のAD変換を担当することで、１行の各列の画素の画像信号のAD変換が並列に行われる。列並列AD方式を採用する場合には、その列並列AD方式のAD変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。

エリアAD方式では、撮像部２１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ADCが設けられる。そして、各ブロックのADCが、そのブロックの画素の画素信号のAD変換を担当することで、複数のブロックの画素の画像信号のAD変換が並列に行われる。エリアAD方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のAD変換（読み出し及びAD変換）を行うことができる。

なお、撮像装置２の面積が大になることが許容されるのであれば、撮像装置２は、１枚のダイで構成することができる。

また、図３では、２枚のダイ５１及び５２を積層して、１チップの撮像装置２を構成することとしたが、１チップの撮像装置２は、３枚以上のダイを積層して構成することができる。例えば、３枚のダイを積層して、１チップの撮像装置２を構成する場合には、図３のメモリ３３を、別のダイに搭載することができる。

ここで、前述の特許文献１に記載のように、センサチップ、メモリチップ、及び、DSPチップのチップどうしを、複数のバンプで並列に接続した撮像装置（以下、バンプ接続撮像装置ともいう）では、積層構造に構成された１チップの撮像装置２に比較して、厚みが大きく増加し、装置が大型化する。

さらに、バンプ接続撮像装置では、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。

積層構造の撮像装置２によれば、以上のような装置の大型化や、撮像処理部２２と出力制御部２３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。

したがって、積層構造の撮像装置２によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。

ユーザが必要とする情報が、撮像画像である場合には、撮像装置２は、撮像画像を出力することができる。

また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、撮像装置２は、DSP３２において、その信号処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。

撮像装置２で行われる信号処理、すなわち、DSP３２の信号処理としては、例えば、撮像画像から、所定の認識対象を認識する認識処理を採用することができる。

また、例えば、撮像装置２は、その撮像装置２と所定の位置関係になるように配置されたToF（Time of Flight）センサ等の距離センサの出力を、入力I/F３６で受け取ることができる。この場合、DSP３２の信号処理としては、例えば、入力I/F３６で受け取った距離センサの出力から得られる距離画像のノイズを、撮像画像を用いて除去する処理のような、距離センサの出力と撮像画像とを統合して、精度の良い距離を求めるフュージョン処理を採用することができる。

さらに、例えば、撮像装置２は、その撮像装置２と所定の位置関係になるように配置されたイメージセンサが出力する画像を、入力I/F３６で受け取ることができる。この場合、DSP３２の信号処理としては、例えば、入力I/F３６で受け取った画像と、撮像画像とをステレオ画像として用いた自己位置推定処理（SLAM（Simultaneously Localization and Mapping））を採用することができる。

以下、DSP３２の信号処理として、認識処理、フュージョン処理、及び、自己位置推定処理（以下、SLAM処理ともいう）のそれぞれを行う場合を例に、撮像装置２の処理について説明する。

なお、以下説明する撮像装置２の処理の順番は、可能な範囲で入れ替えることができる。すなわち、撮像装置２の処理の順番は、以下説明する順番に限定されるものではない。

＜DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例＞
図４、図５、及び、図６は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。

図４のステップＳ１１において、通信I/F３４は、DSP３２の信号処理として、認識処理を行うのにあたって、CPU３１及びDSP３２に実行させるプログラム（コード）を、外部からダウンロードし、メモリ３３に記憶させる。ここでは、DSP３２に実行させるプログラムは、信号処理として、認識処理を行う認識処理プログラムである。

CPU３１は、メモリ３３に記憶されたプログラムを実行することで、所定の処理を開始する。

すなわち、ステップＳ１２において、CPU３１は、レジスタ群２７から、接続線CL１を介して、撮像画像の小領域ごとの明るさ（の情報）、その他の必要な情報を読み出す。

ステップＳ１３において、CPU３１は、画像圧縮部３５の圧縮処理で、撮像画像のスケールダウンを行う程度を表す縮小率を決定する等の、圧縮処理に関する制御を行う。

ステップＳ１４では、撮像部２１が画像の撮像を開始するとともに、撮像処理部２２が、撮像部２１からの画像を、撮像画像として出力することを開始する。これにより、撮像画像の、撮像処理部２２から出力制御部２３への供給、及び、撮像処理部２２から接続線CL2を介しての画像圧縮部３５への供給が開始される。

撮像処理部２２から出力制御部２３に供給された撮像画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。

ステップＳ１５において、画像圧縮部３５は、撮像処理部２２から接続線CL2を介して供給される撮像画像の圧縮処理を開始する。

ここで、以下では、撮像処理部２２が出力する画像の他、撮像部２１が出力する画像も、撮像画像という。

図２で説明したように、撮像部２１は、例えば、12Mピクセルや、VGAサイズの撮像画像を出力することができる。さらに、撮像部２１は、例えば、RGB（赤、緑、青）のカラー画像や、白黒画像を、撮像画像として出力することができる。

撮像画像が、12Mピクセルのフルサイズの画像である場合、画像圧縮部３５は、例えば、12Mピクセルの撮像画像を、VGAサイズ等の撮像画像にスケールダウンする処理を、圧縮処理として行う。

但し、撮像画像が、スケールダウン後のサイズ、すなわち、ここでは、VGAサイズの画像になっている場合、画像圧縮部３５は、スケールダウンする処理を行わない。

また、撮像画像が、RGBのカラー画像である場合、画像圧縮部３５は、例えば、カラーの撮像画像を、白黒の撮像画像に変換するために、YUV変換を、圧縮処理として行う。

但し、撮像画像が、白黒画像である場合、画像圧縮部３５は、YUV変換を行わない。

したがって、例えば、撮像画像が、12Mピクセルのカラー画像である場合、画像圧縮部３５は、撮像画像のスケールダウン、及び、YUV変換を、圧縮処理として行う。

また、例えば、撮像画像が、VGAサイズのカラー画像である場合、画像圧縮部３５は、撮像画像のYUV変換を、圧縮処理として行う。

画像圧縮部３５は、圧縮処理の結果得られるVGAサイズの白黒の撮像画像を、圧縮画像として、メモリ３３に記憶させる。

なお、撮像装置２は、画像圧縮部３５を設けずに構成することができる。但し、画像圧縮部３５を設けずに撮像装置２を構成する場合には、DSP３２の負荷や、メモリ３３に要求される記憶容量が大になる。

図５のステップＳ２１において、DSP３２は、ステップＳ１１でメモリ３３に記憶された認識処理プログラムを読み込んで実行することにより、その認識処理プログラムに対応する信号処理としての認識処理を開始する。

すなわち、DSP３２は、メモリ３３に記憶された圧縮画像の各領域を、認識処理の処理対象として、順次、メモリ３３から読み出し、その処理対象から、所定の認識対象（例えば、人の顔等）を認識する認識処理を、圧縮画像（ひいては撮像画像）を用いた信号処理として行う。

認識処理は、例えば、CNN（Convolutional Neural Network）等のディープラーニング等の手法を用いて行うことができる。また、認識処理では、人の顔等の特定の被写体を認識対象として、その特定の被写体を検出する他、画像に映るシーンを認識対象として、その画像に映るシーンを検出することができる。

ステップＳ２２において、DSP３２は、認識処理の結果を、信号処理結果として、メモリ３３に供給して記憶させる。認識処理の結果（以下、認識結果ともいう）には、例えば、認識対象の検出の有無や、認識対象が検出された検出位置等の情報が含まれる。

なお、認識処理では、圧縮画像（撮像画像）の輝度が認識精度に影響することを抑制するため、圧縮画像の平均的な明るさをあらかじめ決められた固定値にするような、圧縮画像の階調変換を行うことができる。かかる階調変換は、図４のステップＳ１２において、CPU３１がレジスタ群２７から読み出した、撮像画像の小領域ごとの明るさを用いて行うことができる。

図６のステップＳ３１において、CPU３１は、メモリ３３に記憶された信号処理結果としての認識結果を読み出し、その認識結果を用いて、撮像画像の撮像に適切な露光時間等の撮像情報を算出する演算を行う。

例えば、認識結果が、認識対象としての顔が検出された検出位置を含む場合、CPU３１は、圧縮画像（撮像画像）上の、顔の検出位置の輝度等に応じて、検出位置に映る顔の撮影に適切な露光時間を算出する。また、例えば、CPU３１は、顔の検出位置にフォーカスを合わせるようにオートフォーカスを制御する撮像情報を算出する。

その他、CPU３１は、認識結果を用いて、撮像画像の撮像に適切なフレームレートや、撮影モード、切り出し範囲等の撮像情報を、必要に応じて算出する。

ステップＳ３２において、CPU３１は、ステップＳ３１で算出した撮像情報を、接続線CL1を介して、レジスタ群２７にフィードバックする。レジスタ群２７は、CPU３１からフィードバックされた撮像情報を新たに記憶し、その後は、撮像制御部２５は、レジスタ群２７に新たに記憶された撮像情報に従って、撮像処理部２２を制御する。

ステップＳ３３において、CPU３１は、メモリ３３に記憶された信号処理結果としての認識結果を読み出し、出力制御部２３に供給する。

メモリ３３から出力制御部２３に供給された信号処理結果としての認識結果は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。

図７は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。

例えば、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、１フレームの撮像を行う。撮像部２１の撮像により得られる撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

なお、図７では、撮像画像は、12Mピクセルのカラー画像であることとする。

出力制御部２３では、撮像処理部２２から撮像画像が供給されると、その撮像画像が選択され、出力I/F２４から外部に出力される。

画像圧縮部３５では、12Mピクセルのカラーの撮像画像の圧縮処理として、スケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。

いま、あるフレーム周期T1に注目し、そのフレーム周期T1を、注目フレーム周期T1ともいう。

図７では、注目フレーム周期T1の（前半の1/60秒で撮像された）撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了し、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された圧縮画像、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を開始している。

DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、信号処理結果としての認識結果が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。

図７では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理の信号処理結果（認識結果）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。

図８は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。

図８では、図７と同様に、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、１フレームの撮像を行い、12Mピクセルのカラーの撮像画像を取得する。撮像部２１が取得した撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

出力制御部２３では、図７と同様に、撮像処理部２２からの撮像画像の供給に応じて、その撮像画像が選択され、出力I/F２４から外部に出力される。

画像圧縮部３５では、図７と同様に、12Mピクセルのカラーの撮像画像の圧縮処理としてのスケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。

図８では、図７と同様に、注目フレーム周期T1の撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。

但し、図８では、圧縮処理の開始後、その圧縮処理の終了を待たずに、圧縮処理によって生成される圧縮画像の一部が認識処理に用いることができるようになったタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像（の一部）を用いた認識処理を開始している。

したがって、図８では、圧縮処理と認識処理とが、一部の期間で並列に行われている。

DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、信号処理結果としての認識結果の供給に応じて、その信号処理結果を選択し、出力I/F２４から外部に出力する。

図８では、図７と同様に、注目フレーム周期T1についての信号処理結果としての、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識結果は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。

上述したように、図８では、認識処理が、圧縮処理の終了を待たずに開始されるので、圧縮処理の終了を待って、認識処理を開始する図７の場合に比較して、認識処理を行う時間を、より確保することができる。

図９は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。

図９では、図７と同様に、撮像部２１は、1/30秒をフレーム周期T1として、１フレームの撮像を行う。但し、図９では、撮像部２１は、12Mピクセルのカラーの撮像画像ではなく、VGAサイズのカラーの撮像画像を撮像する。そのため、図９では、フレーム周期T1の開始から極めて短時間で、１フレームの撮像が終了している。撮像部２１が撮像したVGAサイズの撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

ここで、図９では、外部で撮像画像が使用されないことになっており、そのため、出力制御部２３は、撮像処理部２２から撮像画像が供給されても、撮像画像を選択せず、出力I/F２４から外部に出力しない。

画像圧縮部３５は、撮像画像の圧縮処理を行い、その結果得られる圧縮画像を、メモリ３３に記憶させる。

ここで、図９では、撮像画像が、VGAサイズのカラー画像であるため、圧縮処理としては、YUV変換は行われるが、スケールダウンは行われない。そのため、図９の圧縮処理は、図７や図８の場合に比較して、短時間で終了している。

また、図９では、図８と同様に、圧縮処理の開始後、その圧縮処理の終了を待たずに、圧縮処理によって生成される圧縮画像の一部が認識処理に用いることができるようになったタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像（の一部）を用いた認識処理を開始している。

したがって、図９では、図８と同様に、圧縮処理と認識処理とが、一部の期間で並列に行われている。

DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、信号処理結果としての認識結果の供給に応じて、その信号処理結果を選択し、出力I/F２４から外部に出力する。

図９では、図７や図８と同様に、注目フレーム周期T1についての信号処理結果としての、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識結果は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。

図９では、図８と同様に、認識処理が、圧縮処理の終了を待たずに開始されるので、圧縮処理の終了を待って、認識処理を開始する図７の場合に比較して、認識処理を行う時間を、より確保することができる。

さらに、図９では、撮像部２１が出力する撮像画像が、VGAサイズの画像であるため、圧縮処理において、スケールダウンを行わずに済み、圧縮処理の負荷を軽減することができる。

以上のように、撮像部２１が出力する撮像画像を、VGAサイズの画像として、出力I/F２４から出力しない形態は、例えば、外部において、撮像画像そのものが必要ではなく、信号処理結果（ここでは、認識処理の認識結果）が必要である場合に有用である。

図１０は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第４の例を説明するタイミングチャートである。

図１０では、図９と同様に、撮像部２１は、1/30秒をフレーム周期T1として、VGAサイズのカラーの撮像画像を撮像する。撮像部２１が撮像した撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

ここで、図１０では、図９と同様に、外部で撮像画像が使用されないことになっており、そのため、出力制御部２３は、撮像画像を出力I/F２４から外部に出力しない（選択しない）。

画像圧縮部３５は、撮像画像の圧縮処理を行い、その結果得られる圧縮画像を、メモリ３３に記憶させる。

ここで、図１０では、図９と同様に、圧縮処理としては、YUV変換は行われるが、スケールダウンは行われないため、圧縮処理は、短時間で終了する。

また、図１０では、図８や図９と同様に、圧縮処理の開始後、その圧縮処理の終了を待たずに、圧縮処理によって生成される圧縮画像の一部が認識処理に用いることができるようになったタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像（の一部）を用いた認識処理を開始している。

したがって、図１０では、図８や図９と同様に、圧縮処理と認識処理とが、一部の期間で並列に行われている。

DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、図７ないし図９と同様に、注目フレーム周期T1についての信号処理結果としての、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識結果を選択し、注目フレーム周期T1の終了間際に、出力I/F２４から出力する。

図１０では、DSP３２は、信号処理としての認識処理を行っている間、その認識処理の途中で得られる中間データを、適宜出力する。DSP３２が出力する中間データは、出力制御部２３に供給され、出力制御部２３は、中間データが供給されると、信号処理結果と同様に、中間データを選択して、出力I/F２４から出力する。

以上のように、信号処理（ここでは、認識処理）の途中で得られる中間データを、出力I/F２４から外部に出力する場合には、その中間データを、信号処理を行うプログラム（ここでは、認識処理プログラム）のデバックに供することができる。

＜DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例＞
図１１、図１２、及び、図１３は、DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。

図１１のステップＳ４１において、通信I/F３４は、DSP３２の信号処理として、フュージョン処理を行うのにあたって、CPU３１及びDSP３２に実行させるプログラムを、外部からダウンロードし、メモリ３３に記憶させる。ここでは、DSP３２に実行させるプログラムは、信号処理として、フュージョン処理を行うフュージョン処理プログラムである。

CPU３１は、メモリ３３に記憶されたプログラムを実行することで、所定の処理を開始する。

すなわち、ステップＳ４２において、CPU３１は、レジスタ群２７から、接続線CL１を介して、撮像画像の小領域ごとの明るさ（の情報）、その他の必要な情報を読み出す。

ステップＳ４３において、CPU３１は、画像圧縮部３５の圧縮処理で、撮像画像のスケールダウンを行う程度を表す縮小率を決定する等の、圧縮処理に関する制御を行う。

ステップＳ４４では、撮像部２１が撮像画像の撮像を開始するとともに、撮像処理部２２が、撮像部２１からの撮像画像の出力を開始する。これにより、撮像画像の、撮像処理部２２から出力制御部２３への供給、及び、撮像処理部２２から接続線CL2を介しての画像圧縮部３５への供給が開始される。

撮像処理部２２から出力制御部２３に供給された撮像画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。

ステップＳ４５において、画像圧縮部３５は、撮像処理部２２から接続線CL2を介して供給される撮像画像の圧縮処理を開始する。

画像圧縮部３５は、圧縮処理の結果得られるVGAサイズの白黒の撮像画像を、圧縮画像として、メモリ３３に記憶させる。

信号処理としてフュージョン処理が行われる場合、撮像装置２と所定の位置関係になるように設置された距離センサとしての、例えば、ToFセンサ（図示せず）から、そのToFセンサのセンサ出力が、入力I/F３６に供給される。

ここで、ToFセンサのセンサ出力は、例えば、距離のセンシング結果（例えば、ToFセンサが発した光が被写体で反射してToFセンサで受光されるまでの時間に対応する値等）を画素値とする画像の形になっている。以下、この画像を、ToF画像ともいう。ToF画像は、例えば、QQVGAサイズやQVGAサイズ等の画像である。

ステップＳ４６において、入力I/F３６は、ToFセンサのセンサ出力としてのToF画像の受け取りを開始する。入力I/F３６が受け取ったToF画像は、メモリ３３に供給されて記憶される。

図１２のステップＳ５１において、DSP３２は、ステップＳ４１でメモリ３３に記憶されたフュージョン処理プログラムを読み込んで実行することにより、そのフュージョン処理プログラムに対応する信号処理としてのフュージョン処理を開始する。

すなわち、DSP３２は、メモリ３３に記憶された圧縮画像の各領域を、フュージョン処理の処理対象として、順次、メモリ３３から読み出すとともに、ToF画像を、メモリ３３から読み出し、圧縮画像の処理対象とToF画像とを用いたフュージョン処理を行う。

フュージョン処理では、例えば、ToF画像の画素値となっているセンサ出力が、距離を表す値に変換され、その距離を表す値を画素値とする距離画像が生成される。本実施の形態では、例えば、連続する4枚のToF画像から、1枚の距離画像が求められる。

さらに、フュージョン処理では、例えば、撮像装置２とToFセンサとの位置関係に基づき、圧縮画像（の処理対象）の各画素と、距離画像の対応する画素との位置合わせ等を行うキャリブレーションが行われる。

また、フュージョン処理では、例えば、圧縮画像のテクスチャ等を参照し、等距離にある被写体が映る圧縮画像の複数の画素に対応する距離画像の複数の画素の画素値としての距離を表す値を一致させる補正等を行うことで、距離画像のノイズが除去される。

ステップＳ５２において、DSP３２は、フュージョン処理の結果を、信号処理結果として、メモリ３３に供給して記憶させる。フュージョン処理の結果とは、例えば、ノイズが除去された距離画像である。

なお、フュージョン処理では、圧縮画像（撮像画像）の輝度が距離画像のノイズの除去に影響することを抑制するため、圧縮画像の平均的な明るさをあらかじめ決められた固定値にするような、圧縮画像の階調変換を行うことができる。かかる階調変換は、図１１のステップＳ４２において、CPU３１がレジスタ群２７から読み出した、撮像画像の小領域ごとの明るさを用いて行うことができる。

図１３のステップＳ６１において、CPU３１は、メモリ３３に記憶された信号処理結果としての距離画像を読み出し、その距離画像を用いて、撮像画像の撮像に適切なフォーカス等の撮像情報を算出する演算を行う。

例えば、CPU３１は、距離画像から、最も手前にある被写体や、所定の距離付近に位置する被写体を検出し、その被写体にフォーカスを合わせるようにオートフォーカスを制御する撮像情報を算出する。また、例えば、CPU３１は、距離画像から、最も手前にある被写体や、所定の距離付近に位置する被写体を検出し、その被写体の輝度等に応じて、その被写体の撮影に適切な露光時間を算出する。

その他、CPU３１は、距離画像を用いて、撮像画像の撮像に適切なフレームレートや、撮影モード、切り出し範囲等の撮像情報を、必要に応じて算出する。

ステップＳ６２において、CPU３１は、ステップＳ６１で算出した撮像情報を、接続線CL1を介して、レジスタ群２７にフィードバックする。レジスタ群２７は、CPU３１からフィードバックされた撮像情報を新たに記憶し、その後は、撮像制御部２５は、レジスタ群２７に新たに記憶された撮像情報に従って、撮像処理部２２を制御する。

ステップＳ６３において、CPU３１は、メモリ３３に記憶された信号処理結果としての距離画像を読み出し、出力制御部２３に供給する。

メモリ３３から出力制御部２３に供給された信号処理結果としての距離画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。

図１４は、DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。

例えば、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、12Mピクセルのカラーの撮像画像の撮像を行う。撮像部２１の撮像により得られる撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

出力制御部２３は、撮像処理部２２からの撮像画像の供給に応じて、その撮像画像を選択し、出力I/F２４から外部に出力する。

画像圧縮部３５では、12Mピクセルのカラーの撮像画像の圧縮処理として、スケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。

図１４では、撮像装置２の入力I/F３６に、ToFセンサが接続されており、そのToFセンサは、センサ出力として、QVGAサイズのToF画像を出力する。

入力I/F３６は、ToFセンサのセンサ出力としてのToF画像を受け取り、メモリ３３に記憶させる。

ここで、図１４では、ToFセンサは、QVGAサイズのToF画像を、240fps（frame per second）で出力することができる。図１４では、ToFセンサは、フレーム周期T1の前半の1/60秒の間に、240fpsのQVGAサイズのToF画像を4枚だけ出力し、入力I/F３６は、その4枚のToF画像を、フレーム周期T1の前半の1/60秒の間に受け取る。

図１４では、注目フレーム周期T1の（前半の1/60秒で撮像された）撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。さらに、注目フレーム周期T1の前半では、入力I/F３６において、4枚のToF画像の受け取りが終了する。

そして、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された圧縮画像、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像と、メモリ３３に記憶された4枚のToF画像とを用いたフュージョン処理を開始する。

フュージョン処理では、例えば、注目フレーム周期T1の4枚のToF画像から、注目フレーム周期T1の1枚の距離画像が生成され、圧縮画像の各画素と、距離画像の各画素との位置合わせのキャリブレーションが行われる。そして、圧縮画像を用いて、距離画像のノイズが除去される。

ここで、図１４では、ToF画像のフレームレートは、240fpsであるが、距離画像のフレームレートは、フレーム周期T1（1/30秒）に対応する30fpsである。

DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いたフュージョン処理を終了し、そのフュージョン処理の結果得られる、ノイズが除去された距離画像を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、信号処理結果としての距離画像が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。

図１４では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いたフュージョン処理の信号処理結果（距離画像）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。

図１５は、DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。

図１５では、図１４と同様に、撮像部２１において、1/30秒のフレーム周期T1の前半の1/60秒の間に、12Mピクセルのカラーの撮像画像が撮像され、その撮像画像が、出力I/F２４から外部に出力される。

さらに、図１５では、図１４と同様に、画像圧縮部３５において、12Mピクセルのカラーの撮像画像の圧縮処理としてのスケールダウン及びYUV変換によって、VGAサイズの白黒の圧縮画像が生成され、メモリ３３に記憶される。

また、図１５では、図１４と同様に、撮像装置２の入力I/F３６に、ToFセンサが接続されており、そのToFセンサは、センサ出力として、QVGAサイズのToF画像を出力する。

但し、図１５では、ToFセンサは、QVGAサイズのToF画像を、120fpsで出力する。したがって、図１５では、ToFセンサにおいて、1枚の距離画像を生成するのに必要な4枚のToF画像を出力するのにかかる時間は、1/30秒＝1/120×4秒、すなわち、フレーム周期T1に等しい。

入力I/F３６は、ToFセンサのセンサ出力としてのToF画像を受け取り、メモリ３３に記憶させる。

すなわち、図１５では、上述のように、ToFセンサは、フレーム周期T1の間に、4枚の120fpsのQVGAサイズのToF画像を出力するので、入力I/F３６は、その4枚のToF画像を、フレーム周期T1の間に受け取る。

したがって、注目フレーム周期T1の先頭から開始されたToF画像の受け取りにおいて、距離画像の生成に必要な4枚のToF画像の受け取りは、注目フレーム周期T1の（ほぼ）終わりで完了する。

そのため、注目フレーム周期T1の撮像画像から得られた圧縮画像と、注目フレーム周期T1にToFセンサから受け取った4枚のToF画像とを用いたフュージョン処理を、注目フレーム周期T1内に完了することは困難である。

そこで、図１５では、注目フレーム周期T1の次のフレーム周期T1の先頭のタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像と、注目フレーム周期T1の間にToFセンサから受け取った4枚のToF画像とを用いたフュージョン処理を開始している。

ここで、以下、注目フレーム周期T1の撮像画像から得られた圧縮画像を、注目フレーム周期T1の圧縮画像ともいい、注目フレーム周期T1の間にToFセンサから受け取った（4枚の）ToF画像を、注目フレーム周期T1の（4枚の）ToF画像ともいう。

DSP３２は、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の4枚のToF画像とを用いたフュージョン処理を、注目フレーム周期T1の次のフレーム周期T1の先頭のタイミングで開始し、注目フレーム周期T1の次のフレーム周期T1の前半が終了する少し前のタイミングで終了する。

そして、DSP３２は、フュージョン処理の結果得られる、ノイズが除去された距離画像を、信号処理結果として、出力制御部２３に供給する。

ここで、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の4枚のToF画像とを用いたフュージョン処理の信号処理結果、及び、その信号処理結果としての距離画像を、それぞれ、注目フレーム周期T1の信号処理結果、及び、注目フレーム周期T1の距離画像ともいう。

出力制御部２３は、注目フレーム周期T1の次のフレーム周期T1の撮像画像の、出力I/F２４からの出力が終了した後、注目フレーム周期T1の信号処理結果としての距離画像を選択して、出力I/F２４から外部に出力する。

したがって、図１５では、図１４の場合と同様に、距離画像のフレームレートは、フレーム周期T1（1/30秒）に対応する30fpsであるが、注目フレーム周期T1の信号処理結果としての距離画像は、注目フレーム周期T1の間に出力されず、その次のフレーム周期T1に出力される。

図１４では、注目フレーム周期T1の信号処理結果としての距離画像は、注目フレーム周期T1に出力されるに対して、図１５では、注目フレーム周期T1の信号処理結果としての距離画像は、注目フレーム周期T1の次のフレーム周期T1に出力される。したがって、図１５では、入力I/F３６に接続するToFセンサとして、図１４の場合よりも、ToF画像のフレームレートが低速なToFセンサ、すなわち、低コストのToFセンサを使用することができる。

なお、図１１ないし図１５で説明したように、ToFセンサ等の距離センサのセンサ出力を、入力I/F３６から受け付け、フュージョン処理を行う撮像装置２の使用形態は、例えば、車両の自動運転等に適用することができる。

＜DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例＞
図１６、図１７、及び、図１８は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。

図１６のステップＳ７１において、通信I/F３４は、DSP３２の信号処理として、SLAM処理を行うのにあたって、CPU３１及びDSP３２に実行させるプログラムを、外部からダウンロードし、メモリ３３に記憶させる。ここでは、DSP３２に実行させるプログラムは、信号処理として、SLAM処理を行うSLAM処理プログラムである。

CPU３１は、メモリ３３に記憶されたプログラムを実行することで、所定の処理を開始する。

すなわち、ステップＳ７２において、CPU３１は、レジスタ群２７から、接続線CL１を介して、撮像画像の小領域ごとの明るさ（の情報）、その他の必要な情報を読み出す。

ステップＳ７３において、CPU３１は、画像圧縮部３５の圧縮処理で、撮像画像のスケールダウンを行う程度を表す縮小率を決定する等の、圧縮処理に関する制御を行う。

ステップＳ７４では、撮像部２１が撮像画像の撮像を開始するとともに、撮像処理部２２が、撮像部２１からの撮像画像の出力を開始する。これにより、撮像画像の、撮像処理部２２から出力制御部２３への供給、及び、撮像処理部２２から接続線CL2を介しての画像圧縮部３５への供給が開始される。

撮像処理部２２から出力制御部２３に供給された撮像画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。

ステップＳ７５において、画像圧縮部３５は、撮像処理部２２から接続線CL2を介して供給される撮像画像の圧縮処理を開始する。

画像圧縮部３５は、圧縮処理の結果得られるVGAサイズの白黒の撮像画像を、圧縮画像として、メモリ３３に記憶させる。

信号処理としてSLAM処理が行われる場合、撮像装置２と所定の位置関係になるように設置されたイメージセンサ（図示せず）から、そのイメージセンサのセンサ出力が、入力I/F３６に供給される。

ここで、撮像装置２と所定の位置関係になるように設置された、撮像装置２とは別のイメージセンサを、以下、他のセンサともいう。さらに、他のセンサは、光をセンシングし、その光に対応する画像を、センサ出力として出力するが、この、他のセンサのセンサ出力としての画像を、他センサ画像ともいう。ここでは、他センサ画像は、例えば、VGAサイズの画像であることとする。

ステップＳ７６において、入力I/F３６は、他のセンサのセンサ出力としてのVGAサイズの他センサ画像の受け取りを開始する。入力I/F３６が受け取ったVGAサイズの他センサ画像は、メモリ３３に供給されて記憶される。

図１７のステップＳ８１において、DSP３２は、ステップＳ７１でメモリ３３に記憶されたSLAM処理プログラムを読み込んで実行することにより、そのSLAM処理プログラムに対応する信号処理としてのSLAM処理を開始する。

すなわち、DSP３２は、メモリ３３に記憶された圧縮画像の各領域を、SLAM処理の処理対象として、順次、メモリ３３から読み出すとともに、他センサ画像を、メモリ３３から読み出し、その圧縮画像の処理対象と他センサ画像とをステレオ画像として用いたSLAM処理を行う。

SLAM処理では、例えば、撮像装置２と他のセンサとの位置関係に基づき、ステレオ画像としての圧縮画像と他センサ画像とを平行化する（撮像装置２と他のセンサとを平行等化する）レクティフィケーション（rectification）が行われる。

そして、SLAM処理では、例えば、レクティフィケーション後のステレオ画像としての圧縮画像と他センサ画像とを用いて、自己位置推定と地図の構築（成長）とが行われる。

ステップＳ８２において、DSP３２は、SLAM処理の結果を、信号処理結果として、メモリ３３に供給して記憶させる。SLAM処理の結果とは、例えば、自己位置推定の推定結果（以下、位置推定結果ともいう）と、その自己位置推定とともに構築された地図である。

なお、SLAM処理では、圧縮画像（撮像画像）及び他センサ画像の輝度が自己位置推定や地図の構築に影響することを抑制するため、圧縮画像及び他センサ画像の平均的な明るさをあらかじめ決められた固定値にするような、圧縮画像及び他センサ画像の階調変換を行うことができる。かかる階調変換は、図１６のステップＳ７２において、CPU３１がレジスタ群２７から読み出した、撮像画像の小領域ごとの明るさを用いて行うことができる。

図１８のステップＳ９１において、CPU３１は、メモリ３３に記憶された信号処理結果としての位置推定結果及び地図を読み出し、その位置推定結果及び地図を用いて、撮像画像の撮像に適切な露光時間や、フォーカス、フレームレート、撮影モード、切り出し範囲等の撮像情報を算出する演算を、必要に応じて行う。

ステップＳ９２において、CPU３１は、ステップＳ９１で算出した撮像情報を、接続線CL1を介して、レジスタ群２７にフィードバックする。レジスタ群２７は、CPU３１からフィードバックされた撮像情報を新たに記憶し、その後は、撮像制御部２５は、レジスタ群２７に新たに記憶された撮像情報に従って、撮像処理部２２を制御する。

ステップＳ９３において、CPU３１は、メモリ３３に記憶された信号処理結果としての位置推定結果及び地図を読み出し、出力制御部２３に供給する。

メモリ３３から出力制御部２３に供給された信号処理結果としての位置推定結果及び地図は、出力制御部２３において選択され、出力I/F２４から外部に出力される。

図１９は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。

例えば、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、12Mピクセルのカラーの撮像画像の撮像を行う。撮像部２１の撮像により得られる撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

出力制御部２３は、撮像処理部２２からの撮像画像の供給に応じて、その撮像画像を選択し、出力I/F２４から外部に出力する。

画像圧縮部３５では、12Mピクセルのカラーの撮像画像の圧縮処理として、スケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。

図１９では、撮像装置２の入力I/F３６に、他のセンサが接続されており、その他のセンサは、センサ出力として、VGAサイズの他センサ画像を出力する。

入力I/F３６は、他のセンサのセンサ出力としての他センサ画像を受け取り、メモリ３３に記憶させる。

ここで、図１９では、他のセンサは、VGAサイズの他センサ画像を、フレーム周期T1に等しい30fpsで出力する。すなわち、図１９では、他のセンサは、撮像装置２に同期して、フレーム周期T1の開始時に、30fpsのVGAサイズの他センサ画像を出力する。入力I/F３６は、その他センサ画像を受け取る。

図１９では、注目フレーム周期T1の撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。

そして、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された注目フレーム周期T1の撮像画像から得られた圧縮画像と、メモリ３３に記憶された注目フレーム周期T1の他センサ画像とを用いたSLAM処理を開始する。

SLAM処理では、例えば、注目フレーム周期T1の（撮像画像の）圧縮画像と、注目フレーム周期T1の他センサ画像とのレクティフィケーションが行われ、そのレクティフィケーション後の圧縮画像及び他センサ画像を用いて、注目フレーム周期T1の自己位置推定及び地図の構築が行われる。

DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理を終了し、そのSLAM処理の結果得られる位置推定結果及び地図を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、信号処理結果としての位置推定結果及び地図が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。

図１９では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理の信号処理結果（位置推定結果及び地図）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。

図２０は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。

図２０では、図１９と同様に、撮像部２１において、1/30秒をフレーム周期T1として、12Mピクセルのカラーの撮像画像が撮像され、出力I/F２４から外部に出力される。

さらに、図２０では、図１９と同様に、画像圧縮部３５において、12Mピクセルのカラーの撮像画像の圧縮処理としてのスケールダウンとYUV変換によって、VGAサイズの白黒の圧縮画像が生成され、メモリ３３に記憶される。

また、図２０では、図１９と同様に、撮像装置２の入力I/F３６に、他のセンサが接続されており、その他のセンサは、センサ出力として、VGAサイズの他センサ画像を出力する。

入力I/F３６は、図１９と同様に、他のセンサのセンサ出力としての他センサ画像を受け取り、メモリ３３に記憶させる。

図２０では、図１９と同様に、注目フレーム周期T1の撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。

そして、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された注目フレーム周期T1の撮像画像から得られた圧縮画像と、メモリ３３に記憶された注目フレーム周期T1の他センサ画像とを用いたSLAM処理を開始する。

SLAM処理では、例えば、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の他センサ画像とのレクティフィケーションが行われ、そのレクティフィケーション後の圧縮画像及び他センサ画像を用いて、注目フレーム周期T1の自己位置推定及び地図の構築が行われる。

図２０では、DSP３２は、注目フレーム周期T1の次のフレーム周期T1の前半が終了する少し前のタイミングで、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理を終了し、そのSLAM処理の結果得られる位置推定結果及び地図を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、注目フレーム周期T1の次のフレーム周期T1の撮像画像の、出力I/F２４からの出力が終了した後、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図を選択して、出力I/F２４から外部に出力する。

したがって、図２０では、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図は、注目フレーム周期T1の間に出力されず、その次のフレーム周期T1に出力される。

図１９では、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図は、注目フレーム周期T1に出力されるに対して、図２０では、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図は、注目フレーム周期T1の次のフレーム周期T1に出力される。したがって、図２０では、図１９の場合よりも、SRAM処理に長時間を割り当てることができ、その結果、SRAM処理の信号処理結果としての位置推定結果及び地図の精度を向上させることができる。

図２１は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。

図２１では、撮像部２１は、1/30秒をフレーム周期T1として、１フレームの撮像を行う。但し、図２１では、撮像部２１は、12Mピクセルのカラーの撮像画像ではなく、VGAサイズのカラーの撮像画像を撮像する。そのため、図２１では、フレーム周期T1の開始から極めて短時間で、１フレームの撮像が終了している。撮像部２１が撮像した撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。

ここで、図２１では、外部で撮像画像が使用されないことになっており、そのため、出力制御部２３は、撮像処理部２２から撮像画像が供給されても、撮像画像を選択せず、出力I/F２４から外部に出力しない。

画像圧縮部３５は、撮像画像の圧縮処理を行い、その結果得られる圧縮画像を、メモリ３３に記憶させる。

ここで、図２１では、撮像画像が、VGAサイズのカラー画像であるため、圧縮処理としては、YUV変換は行われるが、スケールダウンは行われない。そのため、図２１の圧縮処理は、撮像画像が12Mピクセルのカラー画像である場合に比較して、短時間で終了している。

図２１では、図１９や図２０と同様に、撮像装置２の入力I/F３６に、他のセンサが接続されており、その他のセンサは、センサ出力として、30fpsのVGAサイズの他センサ画像を出力する。

入力I/F３６は、他のセンサのセンサ出力としての他センサ画像を受け取り、メモリ３３に記憶させる。

図２１では、メモリ３３に、注目フレーム周期T1の他センサ画像が記憶されたときには、注目フレーム周期T1の撮像画像の圧縮処理が終了し、その圧縮処理により得られた注目フレーム周期T1の圧縮画像が、メモリ３３に記憶されている。

すなわち、メモリ３３に、注目フレーム周期T1の他センサ画像が記憶されたときには、メモリ３３には、注目フレーム周期T1の圧縮画像及び他センサ画像の両方が記憶されており、それらの圧縮画像及び他センサ画像を用いたSLAM処理を開始することができる。

そこで、DSP３２は、メモリ３３に記憶された注目フレーム周期T1の圧縮画像及び他センサ画像をステレオ画像として用いたSLAM処理を開始する。

SLAM処理では、例えば、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の他センサ画像とのレクティフィケーションが行われ、そのレクティフィケーション後の圧縮画像及び他センサ画像を用いて、注目フレーム周期T1の自己位置推定及び地図の構築が行われる。

図２１では、DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理を終了し、そのSLAM処理の結果得られる位置推定結果及び地図を、信号処理結果として、出力制御部２３に供給する。

出力制御部２３は、信号処理結果としての位置推定結果及び地図が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。

図２１では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理の信号処理結果（位置推定結果及び地図）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。

さらに、図２１では、撮像部２１が出力する撮像画像が、VGAサイズの画像であるため、圧縮処理において、スケールダウンを行わずに済み、圧縮処理の負荷を軽減することができる。

以上のように、撮像部２１が出力する撮像画像を、VGAサイズの画像として、出力I/F２４から出力しない形態は、例えば、外部において、撮像画像そのものが必要ではなく、信号処理結果（ここでは、SLAM処理の信号処理結果）が必要である場合に有用である。

なお、図１６ないし図２１で説明したように、他センサ画像を、入力I/F３６から受け付け、SLAM処理を行う撮像装置２の使用形態は、例えば、自律的に行動するロボット等に適用することができる。

ここで、入力I/F３６において、他のセンサの他センサ画像を受け取り、その他センサ画像と、撮像装置２で撮像された撮像画像（から生成される圧縮画像）とを、ステレオ画像として用いる場合には、レクティフィケーションが必要となる。

図１６ないし図２１では、DSP３２にSLAM処理プログラムを実行させることにより行われるSLAM処理の一部として、レクティフィケーションを行うこととしたが、すなわち、ソフトウエアにより、レクティフィケーションを行うこととしたが、他センサ画像と撮像画像とをステレオ画像として用いる場合には、その場合に必要となるレクティフィケーションは、ソフトウエアにより行うのではなく、専用のハードウエアを撮像装置２に設け、その専用のハードウエアにより行うことができる。

＜撮像装置２の他の構成例＞
図２２は、図１の撮像装置２の他の構成例を示すブロック図である。

すなわち、図２２は、レクティフィケーションを行う専用のハードウエアが設けられた撮像装置２の構成例を示している。

なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図２２において、撮像装置２は、撮像部２１ないし撮像制御部２５、CPU３１ないし入力I/F３６、及び、レクティフィケーション部７１を有する。

したがって、図２２の撮像装置２は、撮像部２１ないし撮像制御部２５、及び、CPU３１ないし入力I/F３６を有する点で、図２の場合と共通する。

但し、図２２の撮像装置２は、レクティフィケーション部７１が新たに設けられている点で、図２の場合と相違する。

レクティフィケーション部７１は、レクティフィケーションを行う専用のハードウエアであり、メモリ３３に記憶された圧縮画像及び他センサ画像を対象に、レクティフィケーションを行う。

図２２では、DSP３２は、レクティフィケーション部７１によるレクティフィケーション後の圧縮画像及び他センサ画像を用いて、SLAM処理を行う。

以上のように、レクティフィケーション専用のハードウエアとしてのレクティフィケーション部７１を設けることにより、レクティフィケーションの高速化を図ることができる。

＜撮像装置２の使用例＞
図２３は、図１の撮像装置２を使用する使用例を示す図である。

撮像装置２は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々な電子機器に使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する電子機器
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される電子機器
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される電子機器
・内視鏡や、電子顕微鏡、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される電子機器
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される電子機器
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される電子機器
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される電子機器
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される電子機器

＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２５は、撮像部１２０３１の設置位置の例を示す図である。

図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図２の撮像装置２は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１は、ユーザが必要とする情報、すなわち、後段の処理を行うブロック（以下、後段ブロックともいう）で必要な情報を出力することができる。したがって、後段ブロックは、画像から、必要な情報を生成する処理を行う必要がなく、その分、後段ブロックの負荷を軽減することができる。

ここで、本明細書において、コンピュータ（プロセッサ）がプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、可視光線をセンシングするイメージセンサの他、赤外線その他の、可視光線以外の電磁波をセンシングするイメージセンサに適用することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
複数の画素が２次元に並んだ、画像を撮像する撮像部と、
前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
を備える１チップの撮像装置。
＜２＞
複数のダイが積層された積層構造を有する
＜１＞に記載の撮像装置。
＜３＞
前記撮像画像を圧縮し、前記撮像画像よりもデータ量が少ない圧縮画像を生成する画像圧縮部をさらに備える
＜１＞又は＜２＞に記載の撮像装置。
＜４＞
前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って、前記撮像画像の撮像を制御する撮像制御部と、
前記信号処理結果を用いて、前記撮像情報を算出する撮像情報算出部と
をさらに備え、
前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続され、
前記撮像情報算出部は、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする
＜１＞ないし＜３＞のいずれかに記載の撮像装置。
＜５＞
前記レジスタは、前記出力制御に関する出力制御情報をも記憶し、
前記出力制御部は、前記レジスタに記憶された前記出力制御情報に従って、前記出力制御を行う
＜４＞に記載の撮像装置。
＜６＞
前記レジスタに読み書きする情報を外部との間でやりとりする第１の通信I/Fをさらに備える
＜４＞又は＜５＞に記載の撮像装置。
＜７＞
前記信号処理部は、プログラムを実行するプロセッサであり、
前記プロセッサが実行するプログラムを外部からダウンロードする第２の通信I/Fをさらに備える
＜１＞ないし＜６＞のいずれかに記載の撮像装置。
＜８＞
前記信号処理部は、前記信号処理として、前記撮像画像から、所定の認識対象を認識する認識処理を行う
＜１＞ないし＜７＞のいずれかに記載の撮像装置。
＜９＞
外部のセンサから外部センサ出力を受け取る入力I/Fをさらに備え、
前記信号処理部は、前記撮像画像及び前記外部センサ出力を用いた信号処理を行う
＜１＞ないし＜７＞のいずれかに記載の撮像装置。
＜１０＞
前記外部センサ出力は、距離に関する情報をセンシングする距離センサの出力、又は、光をセンシングし、前記光に対応する画像を出力するイメージセンサの出力である
＜９＞に記載の撮像装置。
＜１１＞
前記信号処理部は、前記信号処理として、前記撮像画像と前記距離センサの出力とを用いて距離を求めるフュージョン処理、又は、前記イメージセンサの出力としての画像と前記撮像画像とを用いた自己位置推定処理を行う
＜１０＞に記載の撮像装置。
＜１２＞
光を集光する光学系と、
光を受光し、前記光の受光量に対応する画像を出力する１チップの撮像装置と
を備え、
前記撮像装置は、
複数の画素が２次元に並んだ、画像を撮像する撮像部と、
前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
を有する
電子機器。
符号の説明

１ 光学系， ２ 撮像装置， ３ メモリ， ４ 信号処理部， ５ 出力部， ６ 制御部， ２０ 撮像ブロック， ２１ 撮像部， ２２ 撮像処理部， ２３ 出力制御部， ２４ 出力I/F， ２５ 撮像制御部， ２６ 通信I/F， ２７ レジスタ群， ３０ 信号処理ブロック， ３１ CPU， ３２ DSP， ３３ メモリ， ３４ 通信I/F， ３５ 画像圧縮部， ３６ 入力I/F， ５１，５２ ダイ， ７１ レクティフィケーション部

Claims (20)

1. 複数の画素が２次元に並んだ、画像を撮像する撮像部と、
   前記撮像部で撮像された撮像画像に基づくデータに対して、ディープラーニングを用いた認識処理の少なくとも一部を行う信号処理部と、
   前記信号処理部による認識処理結果又は前記認識処理の途中で得られる中間データと、前記撮像画像とを外部へ出力可能な出力部と、
   前記認識処理結果又は前記中間データ、及び、前記撮像画像のうちの少なくとも一方を前記出力部から外部に出力させる出力制御部と
   を備え、
   前記信号処理部は、前記撮像部が配置された基板に積層された基板に配置されている、
   撮像装置。
2. 前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って前記撮像画像の撮像を制御する撮像制御部と、
   前記認識処理の結果を用いて前記撮像情報を算出する撮像情報算出部と
   をさらに備え、
   前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続され、
   前記撮像情報算出部は、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする、
   請求項１に記載の撮像装置。
3. 前記撮像画像に基づくデータは、前記撮像部の出力を圧縮して生成された画像データであり、
   前記信号処理部は、前記圧縮して生成された撮像画像に基づくデータに対して前記認識処理の少なくとも一部を行う、
   請求項１に記載の撮像装置。
4. 前記撮像画像に基づくデータは、前記撮像部の出力を圧縮して生成された画像データに階調変換を行い生成された画像データである
   請求項１に記載の撮像装置。
5. 前記撮像部から出力された撮像画像を処理する撮像処理部と、
   前記認識処理の結果に応じて、前記撮像処理部による処理又は前記撮像部が実行する撮像動作を制御する制御部と、
   をさらに備える、
   請求項１に記載の撮像装置。
6. 前記制御部は、前記認識処理により特定された領域に関連する部分を前記撮像画像に基づくデータから切り出す処理を前記撮像処理部に実行させる
   請求項５に記載の撮像装置。
7. 前記制御部は、前記認識処理により特定された領域に関する部分が読み出されるように前記撮像部による前記撮像動作を制御する、
   請求項５に記載の撮像装置。
8. 前記制御部は、前記撮像部による前記撮像動作における露光時間、フォーカス、フレームレート及び撮影モードのうちの少なくとも１つを制御する、
   請求項５に記載の撮像装置。
9. 前記ディープラーニングの手法は、コンボリューショナルニューラルネットワーク（Convolutional Neural Network）である、
   請求項１に記載の撮像装置。
10. 前記信号処理部が実行するプログラムを記憶するメモリを有し、
    前記メモリは、前記撮像部が配置された前記基板とは異なる基板に配置されている、
    請求項１に記載の撮像装置。
11. 前記認識処理を行うプログラムは、外部からダウンロードされる、
    請求項１に記載の撮像装置。
12. 前記信号処理部は、各フレームにおいて、前記撮像部の出力に基づく撮像画像の取得が完了した後に、前記認識処理を実行する、
    請求項１に記載の撮像装置。
13. 前記信号処理部は、各フレームにおいて、前記撮像部の出力に基づく撮像画像の取得が完了する前に、前記認識処理を開始する、
    請求項１に記載の撮像装置。
14. 前記信号処理部は、前記撮像部が前記撮像画像の出力を開始した後、当該撮像画像の出力を完了する前に、前記認識処理を開始する、
    請求項１３に記載の撮像装置。
15. 前記撮像部から出力された前記撮像画像を圧縮して圧縮画像を前記撮像画像に基づくデータとして生成する圧縮部をさらに備え、
    前記圧縮部は、前記信号処理部と同一の前記基板に配置され、
    前記圧縮部は、前記撮像部が前記撮像画像の出力を開始した後、当該撮像画像の出力を完了する前に、前記撮像画像の圧縮を開始し、
    前記信号処理部は、前記圧縮部が前記撮像画像の圧縮を開始した後、当該撮像画像の圧縮を完了する前に、前記認識処理を開始する
    請求項１４に記載の撮像装置。
16. 前記圧縮部は、前記撮像画像の解像度を下げるスケールダウン、及び、前記撮像画像をカラー画像から白黒画像に変換する色変換のうちの少なくとも１つを含む
    請求項１５に記載の撮像装置。
17. 前記認識処理は、前記撮像画像に基づくデータに対する認識処理の少なくとも一部である
    請求項１４に記載の撮像装置。
18. 外部センサで取得されたセンサ情報を入力する入力部をさらに備え、
    前記信号処理部は、前記撮像画像に基づくデータと前記センサ情報とを用いて前記認識処理を実行する
    請求項１４に記載の撮像装置。
19. 前記外部センサは、前記センサ情報としての距離画像を生成する測距センサであり、
    前記信号処理部は、前記撮像部と前記外部センサとの位置関係に基づいて前記撮像画像に基づくデータと前記距離画像とを用いることで、前記距離画像のノイズを除去する前記認識処理を実行する
    請求項１８に記載の撮像装置。
20. ２次元に並んだ複数の画素を備える撮像部と、ディープラーニングを用いた認識処理の少なくとも一部を行う信号処理部と、前記信号処理部による認識処理結果又は前記認識処理の途中で得られる中間データと、前記撮像部により取得された撮像画像とを外部へ出力可能な出力部と、前記出力部が外部に出力するデータを制御する出力制御部と、を備える撮像装置の制御方法であって、
    前記信号処理部が、前記撮像部で撮像された撮像画像に基づくデータに対して、前記認識処理の少なくとも一部を実行すること、
    前記出力制御部が、前記信号処理部による認識処理結果又は前記認識処理の途中で得られる中間データ、及び、前記撮像画像のうちの少なくとも一方を前記出力部から外部に出力させること、
    を備え、
    前記信号処理部は、前記撮像部が配置された基板に積層された基板に配置されている、
    撮像装置の制御方法。

Images