[go: up one dir, main page]

JP6543419B2 - 撮像装置および撮像方法、カメラモジュール、並びに電子機器 - Google Patents

撮像装置および撮像方法、カメラモジュール、並びに電子機器 Download PDF

Info

Publication number
JP6543419B2
JP6543419B2 JP2018520983A JP2018520983A JP6543419B2 JP 6543419 B2 JP6543419 B2 JP 6543419B2 JP 2018520983 A JP2018520983 A JP 2018520983A JP 2018520983 A JP2018520983 A JP 2018520983A JP 6543419 B2 JP6543419 B2 JP 6543419B2
Authority
JP
Japan
Prior art keywords
signal
pixel
unit
detection unit
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018520983A
Other languages
English (en)
Other versions
JPWO2017209221A1 (ja
Inventor
巧 岡
巧 岡
敦史 鈴木
敦史 鈴木
直樹 河津
直樹 河津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2017209221A1 publication Critical patent/JPWO2017209221A1/ja
Application granted granted Critical
Publication of JP6543419B2 publication Critical patent/JP6543419B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/69—SSIS comprising testing or correcting structures for circuits other than pixel cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/804—Containers or encapsulations
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/809—Constructional details of image sensors of hybrid image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/811—Interconnections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、撮像装置および撮像方法、カメラモジュール、並びに電子機器に関し、特に、複数の基板が積層された構造の装置における故障を検出できるようにした撮像装置および撮像方法、カメラモジュール、並びに電子機器に関する。
画像を撮像する撮像素子は、小型化が進み、様々な用途に使用されるようになっている。
近年においては、車両の前方を撮像し、撮像した画像に基づいて、走行中のレーン、前方を走行中の車両、および飛び出してくる歩行者などを識別し、危険を回避するといった運転を支援する機能を搭載した車両も普及してきている。
ところが、このような機能の一部としての撮像素子については、故障が発生すると誤検出が発生し、適切な運転支援が行われなくなるため、運転支援により危険を回避することができなくなってしまう可能性がある。
このような理由から車載向けの撮像素子については、ISO26262（自動車の電気/電子に関する機能安全についての国際規格）によりアナログ回路の動作中の故障検出機能が求められている。
このような要求がある中で、撮像素子の水平信号線の断線に係る故障を検出する技術が提案されている（特許文献１，２参照）。
特開２００９−１１８４２７号公報 特開２００９−２８４４７０号公報
ところで、近年においては、入射光の光量に応じた画素信号を生成するフォトダイオードが設けられた第１の基板と、フォトダイオードにより生成された画素信号を信号処理する信号処理部等が配置される第２の基板とが積層された状態で電気的に接続された撮像装置が普及している。
ところが、上述した故障を検出する技術においては、複数の基板が積層された構造の撮像装置の故障を検出することはできない。
本開示は、このような状況に鑑みてなされたものであり、特に、複数の基板が積層された構造の撮像装置における故障を検出できるようにするものである。
本開示の第１の側面の撮像装置は、画素と画素制御線を有する第１の基板と、前記第１の基板と積層される第２の基板とを備え、前記第２の基板は、行駆動部と故障検出部とを有し、前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する撮像装置である。
前記第１の接続電極および前記第２の接続電極は、前記第１の基板と前記第２の基板とを貫通する貫通電極で構成されており、前記第１の基板と前記第２の基板とは、前記貫通電極により電気的に接続された状態で積層されるようにすることができる。
前記画素はアレイ状に配置され、前記画素の処理対象となるアドレスの情報と、前記アドレスの情報にとより特定される画素が制御されるタイミングの情報を出力する制御部をさらに含ませるようにすることができ、前記故障検出部には、前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号を供給する行駆動部と、前記制御部より出力されるアドレスの情報により特定される、前記行駆動部より供給される、前記画素の動作を制御する制御信号を検出し、検出信号を出力する検出部と、前記アドレスの情報により特定される画素が制御されるタイミングにおいて、前記検出部より、前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号が検出されたとき前記検出信号が出力されるか否かに基づいて、前記制御信号のパルス出力の故障を検出するパルス出力故障検出部とを含ませるようにすることができる。
前記検出部には、前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号を検出するスイッチングゲートを含ませるようにすることができ、前記制御部より出力されるアドレスの情報により特定される前記スイッチングゲートにのみ電力を供給し、前記スイッチングゲートは、前記画素の動作を制御する制御信号を検出するとき、Hi信号を、前記制御信号毎に設定されたバスに出力させ、前記パルス出力故障検出部には、前記制御信号毎に設定されたバスに出力される信号と、前記アドレスの情報により特定される画素が制御されるタイミングを示す信号とに応じた値を、前記制御信号毎に保持する複数の保持部を含ませるようにすることができ、前記保持部が保持する値に応じて、前記制御信号のパルス出力の故障を検出させるようにすることができる。
前記複数の保持部には、前記制御信号毎に設定されたバスに出力される信号と、前記アドレスの情報により特定される画素が制御された状態であることを示す固定された信号とに応じた値を、前記制御信号毎に保持させ、前記パルス出力故障検出部には、前記保持部が保持する値に応じて、前記制御信号のパルス出力の故障を検出させるようにすることができる。
前記行駆動部と、前記第１の基板とは、貫通電極からなる前記第１の接続電極により接続され、前記検出部と、前記第１の基板とは、前記貫通電極とは異なる他の貫通電極からなる前記第２の接続電極により電気的に接続されているようにすることができる。
前記制御部には、前記画素の処理対象となるアドレスの情報を前記行駆動部、および前記検出部に出力させ、前記行駆動部には、前記アドレスの情報に対応する自らのアドレスの選択情報を出力させ、前記検出部には、前記アドレスの情報に対応する自らのアドレスの選択情報を出力させ、前記故障検出部には、前記行駆動部の前記アドレスの選択情報と、前記検出部の前記アドレスの選択情報とをそれぞれ前記制御部により出力されたアドレス情報と比較し、比較結果に基づいて、前記行駆動部、および前記検出部における、アドレス選択機能の故障を検出するアドレス選択機能故障検出部を含ませるようにすることができる。
本開示の第１の側面の撮像方法は、画素と画素制御線を有する第１の基板と、前記第１の基板と積層される第２の基板とを備え、前記第２の基板は、行駆動部と故障検出部とを有し、前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出するステップを含む撮像方法である。
本開示の第１の側面のカメラモジュールは、画素と画素制御線を有する第１の基板と、前記第１の基板と積層される第２の基板とを備え、前記第２の基板は、行駆動部と故障検出部とを有し、前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出するカメラモジュールである。
本開示の第１の側面の電子機器は、画素と画素制御線を有する第１の基板と、前記第１の基板と積層される第２の基板とを備え、前記第２の基板は、行駆動部と故障検出部とを有し、前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する電子機器である。
本開示の第１の側面においては、画素と画素制御線を有する第１の基板と、行駆動部と故障検出部とを有する第２の基板とが積層され、前記画素制御線の一端が、第１の接続電極を介して前記行駆動部に接続され、前記画素制御線の他端が、第２の接続電極を介して前記故障検出部に接続され、前記行駆動部により、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号が供給され、前記故障検出部により、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障が検出される。
本開示の第２の側面の撮像装置は、画素と、前記画素に接続される垂直信号線を有する第１の基板と、前記第１の基板と積層される第２の基板とを備え、前記第２の基板は、信号供給回路，アナログデジタル変換回路、及び故障検出部とを有し、前記垂直信号線の一端は、第１の接続電極を介して前記信号供給回路に接続され、前記垂直信号線の他端は、第２の接続電極を介して前記アナログデジタル変換回路に接続され、前記信号供給回路は、前記第１の接続電極を介して前記垂直信号線にダミー画素信号を供給し、前記アナログデジタル変換回路は、前記ダミー画素信号に基づいてデジタル信号を出力し、前記故障検出部は、前記デジタル信号に基づいて故障を検出する撮像装置である。
本開示の第２の側面においては、画素と、前記画素に接続される垂直信号線を有する第１の基板と、前記第１の基板と積層される第２の基板とが設けられ、前記第２の基板には、信号供給回路，アナログデジタル変換回路、及び故障検出部とが設けられ、前記垂直信号線の一端が、第１の接続電極を介して前記信号供給回路に接続され、前記垂直信号線の他端が、第２の接続電極を介して前記アナログデジタル変換回路に接続され、前記信号供給回路により、前記第１の接続電極を介して前記垂直信号線にダミー画素信号が供給され、前記アナログデジタル変換回路により、前記ダミー画素信号に基づいてデジタル信号が出力され、前記故障検出部により、前記デジタル信号に基づいて故障が検出される。
本開示によれば、複数の基板が積層された構造の撮像素子における故障を検出することが可能となる。
本開示の車両の構成例を説明する図である。 図１のフロントカメラモジュールの構成例を説明する図である。 図１の車両による運転支援処理を説明するフローチャートである。 図２の撮像素子とフロントカメラECUを実現するハードウェアの構成例を説明する図である。 図２の撮像素子とフロントカメラECUを実現する機能の第１の実施の形態の構成例を説明する図である。 図４の撮像素子とフロントカメラECUにより実現される故障検出処理を説明する図である。 図４の撮像素子とフロントカメラECUによる行アドレス選択機能故障検出処理を説明するフローチャートである。 図４の撮像素子とフロントカメラECUによる行アドレス選択機能故障検出処理を説明する図である。 図４の制御線ゲートの構成例を説明する図である。 図４のパルス出力故障検出部の構成例を説明する図である。 図４の制御線ゲートによる制御線ゲート管理処理を説明するフローチャートである。 図４のパルス出力故障検出部によるパルス出力故障検出処理を説明するフローチャートである。 図４のパルス出力故障検出部によるパルス出力故障検出処理を説明する図である。 第１の実施の形態を実現する機能の第１の変形例であるパルス出力故障検出部の変形例を説明する図である。 図１４のパルス出力故障検出部によるパルス出力故障検出処理を説明する図である。 第１の実施の形態を実現する機能の第２の変形例である撮像素子とフロントカメラECUの変形例を説明する図である。 図１６の撮像素子とフロントカメラECUによる画素制御線故障検出処理を説明するフローチャートである。 図２の撮像素子とフロントカメラECUの第２の実施の形態の構成例を説明する図である。 図１８の撮像素子とフロントカメラECUによるADC＋TCV故障検出処理を説明する図である。 図１８の撮像素子とフロントカメラECUによるADC＋TCV故障検出処理における第１の動作試験を説明する図である。 図１８の撮像素子とフロントカメラECUによるADC＋TCV故障検出処理における第２の動作試験を説明する図である。 図１８の撮像素子とフロントカメラECUによるADC＋TCV故障検出処理における第３の動作試験を説明する図である。 図１８の撮像素子とフロントカメラECUによるADC＋TCV故障検出処理における第４の動作試験を説明する図である。 図１９の撮像素子とフロントカメラECUによるADC＋TCV故障検出処理を説明するフローチャートである。 第２の実施の形態を実現する機能の第１の変形例を説明する図である。 第３の実施の形態を実現する機能の構成例を説明する図である。 図２６の補正部の構成例を説明する図である。 画素信号の行単位および列単位の補正方法を説明する図である。 図２７の補正部による補正処理を説明するフローチャートである。 図２７の補正部による補正処理を説明するフローチャートである。 第４の実施の形態を実現する構成例を説明する図である。 第５の実施の形態を実現する３枚のチップが積層される第１の構成例を説明する図である。 第５の実施の形態を実現する３枚のチップが積層される第２の構成例を説明する図である。 第５の実施の形態を実現する３枚のチップが積層される第３の構成例を説明する図である。 第５の実施の形態を実現する３枚のチップが積層される第４の構成例を説明する図である。 第５の実施の形態を実現する３枚のチップが積層される第５の構成例を説明する図である。 比較器とカウンタとが同一チップに配置される場合の画素信号用TSVの構成例を説明する図である。 比較器とカウンタとが異なるチップに配置される場合の画素信号用TSVの構成例を説明する図である。 カラムADCの構成例を説明する図である。 エリアADCの構成例を説明する図である。 ２層構造の撮像素子をWCSPにより実現する場合の概略の構造例を説明する図である。 図４１の撮像素子の回路配置構成例を説明する図である。 図４１の撮像素子の断面構造の例を説明する図である。 図４１の撮像素子の他の上下配線接続構造を用いた場合の回路配置例を説明する図である。 図４１の撮像素子の詳細構造を説明する図である。 図４１の撮像素子の変形例その１を説明する図である。 図４１の撮像素子の変形例その２を説明する図である。 図４１の撮像素子の変形例その３を説明する図である。 ３層構造の撮像素子をWCSPにより実現する場合の概略の構造例を説明する図である。 ３層構造の撮像素子をWCSPにより実現する場合の概略の構造例を説明する図である。 本開示のフロントカメラモジュールを適用した電子機器としての撮像装置の構成例を示すブロック図である。 本開示の技術を適用したフロントカメラモジュールの使用例を説明する図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．画素信号用TSVについて
７．ADCの種別について
８．WCSPの構造例
９．電子機器への適用例
１０．撮像素子の使用例
１１．移動体への応用例
＜＜１．第１の実施の形態＞＞
＜本開示の車両の構成例＞
図１を参照して、本開示の車両の構成例について説明する。
本開示の車両１１は、ECU３１、フロントカメラモジュール３２、ステアリング３３、ヘッドランプ３４、モータ３５、エンジン３６、ブレーキ３７、および表示部３８を備えている。
ECU（Electronic Control Unit）３１は、電子制御に係る車両１１の動作の全体を制御するものであり、例えば、フロントカメラモジュール３２、ステアリング３３、ヘッドランプ３４、モータ３５、エンジン３６、ブレーキ３７、および表示部３８より供給される情報に基づいて、各種の運転に係る動作やドライバの運転支援を実現する。
フロントカメラモジュール３２は、撮像素子を含み、車両１１の前方、特に、走行中の前方の画像を撮像し、撮像した画像に基づいて、走行中のレーン、前方に存在する車両、および歩行者等を認識して、認識結果をECU３１に供給する。また、フロントカメラモジュール３２は、内蔵する撮像素子等の故障を検出し、故障が検出された場合、その旨をECU３１に供給する。この処理によりECU３１は、フロントカメラモジュール３２により撮像された画像に基づいた認識結果を利用した運転に係る動作や運転支援を停止すると共に、その旨を表示部３８に表示する。
ステアリング３３は、走行方向を制御するためのものであり、通常はユーザであるドライバにより操作されるものであるが、ECU３１により制御されることもある。すなわち、例えば、フロントカメラモジュール３２により走行中の前方に歩行者や車両が検出され、衝突の恐れがあるような場合、ECU３１の判断によりステアリング３３が制御されて、衝突が回避されるような運転支援が実現される。
ヘッドランプ３４は、特に夜間等でドライバによる目視が困難な状況で車両１１の前方を明るく照射する前照灯であり、通常は、ドライバにより図示せぬスイッチ等が操作されて、ロービームおよびハイビームの点灯および消灯が制御される。また、ヘッドランプ３４は、ECU３１により制御されることもある。例えば、フロントカメラモジュール３２により対向車が検出された場合、ECU３１の判断により、ハイビームの点灯をロービームの点灯に切り替え、対向車の検出がなくなった場合、再びハイビームの点灯に制御されるような運転支援が実現される。
モータ３５およびエンジン３６は、いずれも車両１１を駆動するための動力源であり、モータ３５は、電力により駆動し、エンジン３６は、ガソリンや軽油などの燃料により駆動する。また、モータ３５およびエンジン３６は、ECU３１により制御される。すなわち、例えば、発進時など、エンジン３６による効率が悪く燃費を低減させてしまうような状況においては、モータ３５のみを駆動させる。また、走行状態に応じて、例えば、エンジン３６による効率が良いタイミングにおいては、モータ３５の駆動を停止させて、エンジン３６により駆動するように制御する。さらに、フロントカメラモジュール３２により前方に前走の車両や歩行者が検出された場合、モータ３５やエンジン３６の動作を緊急停止させて危機回避を補助するような運転支援が実現される。
ブレーキ３７は、走行する車両１１を停止させるときドライバにより操作されて、車両１１を停止させるものである。また、ブレーキ３７は、ECU３１により制御されることもある。すなわち、例えば、フロントカメラモジュール３２により前走する車両や歩行者が検出されて、緊急回避する必要があるような場合、ECU３１の判断によりブレーキ３７を動作させて緊急停止するような運転支援が実現される。
表示部３８は、LCD（Liquid Crystal Display）などからなり、例えば、図示せぬGPS（Global Positioning System）装置と協働して、目的地までのルート案内などの情報を表示するナビゲーション機能を実現する。また、表示部３８は、タッチパネルなどからなり、操作入力部としても機能する。さらに、表示部３８は、フロントカメラモジュール３２により撮像された撮像画像に基づいて、ステアリング３３、モータ３５、エンジン３６、およびブレーキ３７等を動作させて、例えば、緊急回避行動をとるような場合、その旨を表示する。また、フロントカメラモジュール３２の故障が検出されて、撮像された画像に基づいた運転支援が停止されるようなときには、表示部３８は、運転支援が停止されていることを示す情報を表示する。
＜フロントカメラモジュールの構成例＞
次に、図２を参照して、フロントカメラモジュール３２の構成例について説明する。
フロントカメラモジュール３２は、ECU３１、ステアリング３３、ヘッドランプ３４、モータ３５、エンジン３６、ブレーキ３７、および表示部３８と同様に、バス５１を介して接続されており、相互にデータや信号を授受できる構成とされている。
また、フロントカメラモジュール３２は、レンズ７１、撮像素子７２、フロントカメラECU７３、およびMCU（Module Control Unit）７４を備えている。
レンズ７１は、車両１１の前方の撮像方向からの入射光を集光して、撮像素子７２の撮像面において被写体の像を結像させる。
撮像素子７２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、レンズ７１により集光されて車両１１の前方の被写体の像が結像された画像を撮像し、撮像した画像をフロントカメラECU７３に供給する。
フロントカメラECU（Electronic Control Unit）７３は、撮像素子７２により撮像された車両１１の前方の画像に基づいて、例えば、レーン検出、歩行者検出、車両検出、ヘッドランプ検出、信号認識処理、および画質制御等の画像処理および画像解析処理を実行し、処理結果をMCU７４に供給する。また、フロントカメラECU７３は、これらの各種処理に加えて、撮像素子７２の故障を検出し、故障が検出された場合、各種の処理結果の出力を停止すると共に、故障が検出されていることを示す情報を出力する。
MCU７４は、画像処理結果をECU３１等で認識可能な情報に変換してECU３１に出力する。尚、この際、フロントカメラECU７３より撮像素子７２の故障が検出されたことを示す情報が出力された場合、MCU７４は、対応する情報をECU３１に供給する。このような場合、ECU３１は、フロントカメラモジュール３２より供給されてくる画像処理結果を用いた運転支援を中止すると共に、撮像素子７２の故障により画像処理結果を用いた運転支援を中止していることを表示部３８等に表示して、ドライバに対して運転支援がなされていないことを認識させる。
＜運転支援処理＞
次に、図３のフローチャートを参照して、車両１１による運転支援処理について説明する。
ステップＳ１１において、フロントカメラECU７３は、例えば、表示部３８がタッチパネルとして構成されており、タッチパネルが操作されることにより、運転支援の開始が指示されているか否かを判定し、指示されるまで、同様の処理を繰り返す。そして、ステップＳ１１において、運転支援の開始が指示された場合、処理は、ステップＳ１２に進み、運転支援処理が開始される。
ステップＳ１２において、フロントカメラECU７３は、フロントカメラモジュール３２における故障検出処理を実行する。ここでの故障検出処理は、例えば、後述する行アドレス選択機能故障検出処理（図７）、パルス出力故障検出処理（図１２，図１５）、画素制御線故障検出処理（図１７）、およびADC＋TCV故障検出処理（図２４）でもよいし、その他の故障検出処理であってもよいものである。ここでの故障検出処理は、撮像中に実行されても良いし、車両電源投入による運転支援シスムテ立ち上げ時や、車両出荷前の試験時や、工場内での不良品選別時に実行されても良い。
ステップＳ１３において、フロントカメラECU７３は、故障検出処理により故障があったか否かを判定し、故障がないと判定した場合、処理は、ステップＳ１４に進む。
ステップＳ１４において、フロントカメラECU７３は、撮像素子７２を制御して画像を撮像させ、撮像された画像を取得する。
ステップＳ１５において、フロントカメラECU７３は、撮像された画像を解析する。すなわち、フロントカメラECU７３は、レーン検出、歩行者検出、車両検出、ヘッドランプ検出、信号認識処理、および画質制御等の画像処理および画像解析処理等を実行し、処理結果をECU３１に供給する。
ステップＳ１６において、ECU３１は、解析処理結果に基づいて、ステアリング３３、ヘッドランプ３４、モータ３５、エンジン３６、ブレーキ３７、および表示部３８を制御して、各種の運転支援処理を実行する。
ステップＳ１７において、フロントカメラECU７３は、運転終了であるか否かを判定し、運転終了ではない場合、処理は、ステップＳ１２に戻り、以降の処理を繰り返す。そして、ステップＳ１７において、運転終了であるとみなされた場合、処理は、終了する。
また、ステップＳ１３において、故障があると判定された場合、処理は、ステップＳ１８に進む。
ステップＳ１８において、フロントカメラECU７３は、撮像素子７２に故障が発生していることをECU３１に通知する。ECU３１は、運転支援処理を終了させると共に、表示部３８に対して運転支援が終了し、運転支援をしてないことをドライバに認識させる画像を表示させる。
以上の処理により、撮像素子７２により撮像された画像に基づいて実現される運転支援処理において、撮像素子７２の故障が検出されることで、適切に運転支援処理を実現することできない状態となったときには、直ちに運転支援処理が終了されて、不適切な運転支援処理がなされることにより生じる事故等を防止することが可能となる。
＜ハードウェアの構成例＞
次に、図４を参照して、フロントカメラECUと撮像素子のハードウェアの構成について説明する。フロントカメラECUと撮像素子のハードウェアは、下チップ９１、および上チップ９２が積層された構成からなる。尚、図４の右部は、下チップ９１のハードウェア構成であるフロアプランを表しており、図４の左部は、上チップ９２のハードウェア構成であるフロアプランを表している。
下チップ９１および上チップ９２には、それぞれの図中左右端部にTCV（Through Chip Via：貫通電極）９３−１，９３−２が設けられており、下チップ９１および上チップ９２が貫通して電気的に接続されている。下チップ９１において、TCV９３−１の図中の右隣には、行駆動部１０２（図５）が配置され、電気的に接続されている。TCV９３−２の図中の左隣には、フロントカメラECU７３の制御線ゲート１４３(図５)が配置され、電気的に接続されている。尚、行駆動部１０２および制御線ゲート１４３については、図５を参照して詳細を後述する。
また、下チップ９１および上チップ９２には、それぞれの図中上下端部にTCV９３−１１，９３−１２が設けられており、下チップ９１および上チップ９２が貫通して電気的に接続されている。下チップ９１において、TCV９３−１１の図中の下部には、カラムADC（Analog to Digital Converter）１１１−１が配設され、電気的に接続されており、TCV９３−１２の図中の上部には、カラムADC（Analog to Digital Converter）１１１−２が配設されており、電気的に接続されている。
カラムADC１１１−１，１１１−２の図中の右端部の間であって、制御線ゲート１４３の左隣に、DAC（Digital to Analog Converter）１１２が設けられており、図中の矢印Ｃ１，Ｃ２で示されるように、カラムADC１１１−１，１１１−２にランプ電圧を出力する。尚、カラムADC１１１−１，１１１−２およびDAC１１２が、図５における画像信号出力部１０３に対応する構成となる。また、DAC１１２は、カラムADC１１１−１，１１１−２に対して同一特性のランプ電圧を出力することが望ましいので、カラムADC１１１−１，１１１−２のいずれからも等距離であることが望ましい。さらに、DAC１１２は、図４の例では、１個の例が示されているが、カラムADC１１１−１，１１１−２に対して、それぞれ同一特性のものを１個ずつ、合計２個設けるようにしてもよい。尚、画像信号出力部１０３については、図５を参照して詳細を後述する。
さらに、上下のカラムADC１１１−１，１１１−２の間であって、行駆動部１０２およびDAC１１２の間には、信号処理回路１１３が設けられており、図５における制御部１２１、画像処理部１２２、出力部１２３、および故障検出部１２４に対応する機能を実現する。
上チップ９２においては、上下左右の端部に設けられたTCV９３−１，９３−２，９３−１１，９３−１２で囲まれた方形状の範囲の、略全面が画素アレイ１０１により構成されている。
画素アレイ１０１は、TCV９３−１より画素制御線Ｌ（図５）を介して、行駆動部１０２より供給される制御信号に基づいて、画素信号のうち、図中の上半分の画素の画素信号を、TCV９３−１１を介して、下チップ９１に出力し、図中の下半分の画素の画素信号を、TCV９３−１２を介して、下チップ９１に出力する。
制御信号は、図中の矢印Ｂ１で示されるように、行駆動部１０２を実現する信号処理回路１１３より、TCV９３−１を介して上チップ９２の画素アレイの画素制御線Ｌを介して制御線ゲート１４３（図５）に出力される。制御線ゲート１４３（図５）は、制御部１２１（図５）からの指令情報である行アドレスに対する行駆動部１０２（図５）からの画素制御線Ｌを介した制御信号に応じて制御線ゲート１４３より出力される信号と、制御部１２１より供給された行アドレスに対応する制御信号の検出パルスとの比較により画素制御線Ｌ、およびTCV９３−１，９３−２の断線による故障の有無を検出する。そして、制御線ゲート１４３は、図中の矢印Ｂ２で示されるように、故障の有無の情報を信号処理回路１１３により実現される故障検出部１２４に出力する。
カラムADC１１１−１は、図中の矢印Ａ１で示されるように、TCV９３−１１を介して供給される、画素アレイ１０１の図中の上半分の画素の画素信号を、列単位でデジタル信号に変換して信号処理回路１１３に出力する。また、カラムADC１１１−２は、図中の矢印Ａ２で示されるように、TCV９３−１２を介して供給される、画素アレイ１０１の図中の下半分の画素の画素信号を、列単位でデジタル信号に変換して信号処理回路１１３に出力する。
このように２層化することにより、上チップ９２が画素アレイ１０１のみとなるため、画素に特化した半導体プロセスを導入することが可能となる。例えば、上チップ９２には、回路のトランジスタがないため、1000℃のアニール工程などによる特性変動に注意を払う必要がなくなるので、白点対策の高温プロセスなどを導入することができ、結果として、特性を改善することが可能となる。
また、下チップ９１に故障検出部１２４を配置することにより、下チップ９１乃至上チップ９２および上チップ９２乃至下チップ９１におけるTCV９３−１，９３−２の通過後の信号を検出することができるので、適切に故障を検出することが可能となる。
＜フロントカメラECUと撮像素子との詳細な構成例＞
次に、図５を参照して、図４のハードウェアにより実現されるフロントカメラECU７３と撮像素子７２との機能の詳細な構成例について説明する。
撮像素子７２は、画素アレイ１０１、行駆動部１０２、および画像信号出力部１０３を備えている。
画素アレイ１０１は、入射光に応じた画素信号を発生する、画素がアレイ状に配置されている。
行駆動部１０２は、画素アレイ１０１内の各画素より画素信号をリセットして蓄積させる、および画素信号のリセットレベルと信号レベルとを読み出すといった垂直方向に転送させるための制御信号を発生し、画素制御線Ｌを介して、各画素に供給して、画素単位で画素信号のリセット、および読み出しを実行させる。
尚、ここでは、各画素において、画素信号は、光電変換による信号が蓄積されていない状態のリセットレベルと、光電変換による信号が蓄積された状態の信号レベルとを両方読み出し、すなわち、２回読み出し、信号レベルとリセットレベルとの差分値を画素信号としている。したがって、以降において、画素信号は、この信号レベルとリセットレベルとの差分値であるものとする。
画像信号出力部１０３は、画素アレイ１０１より行駆動部１０２により制御されてTCV９３−１１，９３−１２を介して読み出されてくるアナログ信号の画素信号をデジタル信号に変換し、画素信号として、フロントカメラECU７３の画像処理部１２２に供給する。
フロントカメラECU７３は、制御部１２１、画像処理部１２２、出力部１２３、および故障検出部１２４、および制御線ゲート１４３を備えている。
制御部１２１は、フロントカメラECU７３の全体の動作を制御している。また、制御部１２１は、行アドレス選択機能故障検出処理において、所定の行アドレスを指定する指令情報を行駆動部１０２、および故障検出部１２４（の制御線ゲート１４３）に供給する。
また、制御部１２１は、パルス出力故障検出処理において、行駆動部１０２を制御して、画素アレイ１０１における各画素の画素信号の蓄積および読み出しを制御する制御信号を発生させると共に、行駆動部１０２において制御信号が出力されるタイミングで、制御信号毎に故障検出用のパルスを発生して故障検出部１２４に供給する。
故障検出部１２４は、行アドレス選択機能故障検出部１４１、パルス出力故障検出部１４２、および制御線ゲート１４３を備えている。行アドレス選択機能故障検出部１４１は、行アドレス選択機能故障検出処理を実行し、パルス出力故障検出部１４２は、パルス出力故障検出処理を実行させて、故障の有無を検出し、検出結果を出力部１２３に供給する。
より詳細には、行アドレス選択機能故障検出部１４１は、行アドレス選択機能故障検出処理により、行駆動部１０２、および制御線ゲート１４３の行アドレス選択機能についての故障の有無を検出する。
また、パルス出力故障検出部１４２は、パルス出力故障検出処理により、行駆動部１０２より、所定の行アドレスの画素制御線Ｌを介して供給される制御信号のパルス出力故障の有無を検出する。
画像処理部１２２は、撮像素子７２の画像信号出力部１０３より供給されてくる画像信号からなる画像に基づいて、例えば、レーン検出、歩行者検出、車両検出、ヘッドランプ検出、信号認識処理、および画質制御等の画像信号処理、および画像解析処理を実行し、解析処理結果を出力部１２３に供給する。
出力部１２３は、画像処理部１２２の各種の処理結果、および故障検出部１２４の故障検出処理結果をECU３１に出力する。
また、図５の撮像素子７２とフロントカメラECU７３とは、被写体からの入射光が受光可能な面を構成する第１のチップとなる上チップ９２と、その下に積層された第２のチップである下チップ９１とがTCV（Through Chip Via：貫通電極）９３−１，９３−２，９３−１１，９３−１２により電気的に接続された構造とされている。
より詳細には、上チップ９２に設けられた画素アレイ１０１の図中の左端部と、下チップ９１に設けられた行駆動部１０２とがTCV９３−１により電気的に接続されている。また、上チップ９２に設けられた画素アレイ１０１の図中の右端部と、下チップ９１に設けられた制御線ゲート１４３とがTCV９３−２により電気的に接続されている。さらに、上チップ９２に設けられた画素アレイ１０１の図中の下端部と、下チップ９１に設けられた画像信号出力部１０３とがTCV９３−１１，９３−１２により電気的に接続されている。
上チップ９２には、撮像素子７２の画素アレイ１０１のみが設けられており、撮像素子７２の行駆動部１０２、および画像信号出力部１０３、並びに、フロントカメラECU７３を構成する制御部１２１、画像処理部１２２、出力部１２３、および故障検出部１２４は、下チップ９１に設けられている。
＜故障検出部による故障検出処理＞
次に、図６を参照して、故障検出部１２４の行アドレス選択機能故障検出部１４１における行アドレス選択機能故障検出処理と、パルス出力故障検出部１４２におけるパルス出力故障検出処理について説明する。
行アドレス選択機能故障検出部１４１は、制御部１２１により制御され、制御部１２１より供給される、行アドレスの指令情報を取得する。また、制御部１２１は、行アドレス選択機能故障検出部１４１に供給した行アドレスと同一の指令情報を行駆動部１０２、および制御線ゲート１４３に供給する。
行駆動部１０２、および制御線ゲート１４３は、制御部１２１より供給されてきた行アドレスの指令情報に基づいた、制御対象として選択する行アドレスの情報を選択情報として行アドレス選択機能故障検出部１４１およびパルス出力故障検出部１４２に出力する。
行アドレス選択機能故障検出部１４１は、制御部１２１より供給されてきた行アドレスの指令情報と、行駆動部１０２、および制御線ゲート１４３より供給されてきた行アドレスの選択情報とを比較して、一致した場合、行駆動部１０２、および制御線ゲート１４３の行アドレス選択機能に故障が生じていないものとみなし、一致しない場合、行アドレス選択機能に故障が生じているものとみなす。
パルス出力故障検出部１４２は、制御部１２１からの指令情報である行アドレスに対する行駆動部１０２からの画素制御線Ｌを介した制御信号に応じて制御線ゲート１４３より出力される信号と、制御部１２１より供給された行アドレスに対応する制御信号の検出パルスとの比較により画素制御線Ｌ、およびTCV９３の断線による故障の有無を検出する。制御線ゲート１４３およびパルス出力故障検出部１４２の詳細な構成については、図９，図１０を参照して後述する。
尚、図６の制御部１２１および故障検出部１２４の機能は、図５における信号処理回路１１３により実現される。
＜行アドレス選択機能故障検出処理＞
次に、図７のフローチャートを参照して、制御部１２１、故障検出部１２４の行アドレス選択機能故障検出部１４１による行アドレス選択機能故障検出処理について説明する。
ステップＳ２１において、制御部１２１は、所定の行アドレスを指定する指令情報を行駆動部１０２、および故障検出部１２４に供給する。
この処理により、ステップＳ３１において、故障検出部１２４の行アドレス選択機能故障検出部１４１は、制御部１２１より供給されてくる所定の行アドレスの指令情報を取得する。また、同様に、ステップＳ５１の処理により、行駆動部１０２は、制御部１２１より供給されてくる所定の行アドレスの指令情報を取得する。
すなわち、ステップＳ２１，Ｓ３１の処理が、図８における経路Ｒ１の処理であり、ステップＳ２１，Ｓ５１の処理が、図８における経路Ｒ２の処理である。尚、図８においては、所定の行アドレスの情報が伝達される経路が太線の矢印で示されている。
ステップＳ５２において、行駆動部１０２は、取得した所定の行アドレスの指令情報に基づいて、処理対象として選択する行アドレスの情報を選択情報として故障検出部１２４に供給する。
ステップＳ３２において、行アドレス選択機能故障検出部１４１は、行駆動部１０２より供給されてくる選択情報としての行アドレスの情報を取得する。
すなわち、ステップＳ５２，Ｓ３２の処理が、図８における経路Ｒ３の処理となる。
ステップＳ３３において、行アドレス選択機能故障検出部１４１は、行アドレスの指令情報と選択情報とが一致したか否かを判定する。ステップＳ３３において、行アドレスの指令情報と選択情報とが一致した場合、行駆動部１０２の行アドレス選択機能における故障はないものとみなし、処理は、終了する。
一方、ステップＳ３３において、行アドレスの指令情報と選択情報とが一致しない場合、行アドレス選択機能における故障が発生したものとみなし、処理は、ステップＳ３４に進む。
ステップＳ３４において、行アドレス選択機能故障検出部１４１は、行駆動部１０２における行アドレス選択機能に故障が発生したことを検出し、検出結果を出力部１２３に出力する。
以上の処理により、行アドレス選択機能故障検出部１４１は、行駆動部１０２より供給されてくる選択情報である行アドレスの情報と、制御部１２１からの指令情報である行アドレスとが一致するか否かに基づいて、行駆動部１０２における行アドレス選択機能の故障の有無を検出することが可能となる。
尚、行アドレス選択機能故障検出部１４１と制御線ゲート１４３との行アドレス選択機能検出処理については、図７における処理と同様であるので説明は省略するものとする。すなわち、図７におけるステップＳ５１乃至Ｓ５３の処理と同様の処理を制御線ゲート１４３が実行することで、同様の故障検出処理を実現することができる。
この場合、ステップＳ２１，Ｓ３１の処理が、図８における経路Ｒ１の処理であり、ステップＳ２１，Ｓ５１の処理が、図８における経路Ｒ４の処理である。また、ステップＳ５２，Ｓ３２の処理が、図８における経路Ｒ５の処理となる。
＜制御線ゲートの構成例について＞
次に、図９を参照して、制御線ゲート１４３の構成例について説明する。
制御線ゲート１４３には、アドレスデコーダ１６１、シャッタアドレスラッチ１６２、およびリードアドレスラッチ１６３が設けられている。また、各行単位で、画素信号の蓄積と読み出しに必要とされる制御信号の種別毎に、制御信号の供給の有無を検出するスイッチングゲート１６４乃至１６８が設けられている。スイッチングゲートとしては、例えば図９に示すクロックドインバータや、オペアンプ等の種々のものを適用可能である。
ここで扱う制御信号は、画素アレイの各行のシャッタ転送信号Shutter_TRG、各行のシャッタリセット信号Shutter_RST、各行のリード選択信号Read_SEL、各行のリードリセット信号Read_RST、および各行のリード転送信号Read_TRGの５種類である。
シャッタ転送信号Shutter_TRGは、光電変換により蓄積された画素信号をフォトダイオードより開放させる転送ゲートをオンにする制御信号である。シャッタリセット信号Shutter_RSTは、フォトダイオードに蓄積された画素信号を開放する際、リセットゲートをオンにして、フォトダイオードをリセットレベルに設定させる制御信号である。リード選択信号Read_SELは、FDに蓄積された画素信号を垂直転送線（VSL）に出力させるとき、選択ゲートをオンにする制御信号である。リードリセット信号Read_RSTは、FDをリセットレベルに設定させるとき、リセットゲートをオンにする制御信号である。リード転送信号Read_TRGは、フォトダイオードに蓄積された画素信号を転送させて、FDを信号レベルに設定させるとき転送ゲートをオンにする制御信号である。
より詳細には、スイッチングゲート１６４は、シャッタ転送信号Shutter_TRGを検出する。スイッチングゲート１６５は、シャッタリセット信号Shutter_RSTを検出する。スイッチングゲート１６６は、リード選択信号Read_SELを検出する。スイッチングゲート１６７は、リードリセット信号Read_RSTを検出する。スイッチングゲート１６８は、リード転送信号Read_TRGを検出する。さらに、各行において、スイッチングゲート１６４，１６５の負電源端子に負電力を供給するインバータ１６９、およびスイッチングゲート１６６乃至１６８の負電源端子に負電力を供給するインバータ１７０が設けられている。
アドレスデコーダ１６１は、制御部１２１より供給されてくる指令情報であるアドレス情報に基づいて、アドレスをデコードし、デコード結果をシャッタアドレスラッチ１６２、およびリードアドレスラッチ１６３に供給する。
シャッタアドレスラッチ１６２は、デコード結果が、自らの行アドレスであるとみなされるとき、スイッチングゲート１６４，１６５の正電源端子に正電力を供給すると共に、インバータ１６９にも電力を供給する。このとき、インバータ１６９は、正電力を負電力に変換してスイッチングゲート１６４，１６５の負電源端子に供給する。この結果、スイッチングゲート１６４，１６５は、動作可能な状態となる。
ここで、対応する指令情報である行アドレスに基づいて、スイッチングゲート１６４は、行駆動部１０２からのシャッタ転送信号Shutter_TRGをHi信号として検出すると、対応するHi信号を、STRG用バスＢ５を介してパルス出力故障検出部１４２出力する。
また、スイッチングゲート１６５は、行駆動部１０２からのシャッタリセット信号Shutter_RSTをHi信号として検出すると、対応するHi信号を、SRST用バスＢ４を介してパルス出力故障検出部１４２出力する。
リードアドレスラッチ１６３は、デコード結果が、自らの行アドレスであるとみなされるとき、スイッチングゲート１６６乃至１６８の正電源端子に正電力を供給すると共に、インバータ１７０にも電力を供給する。このとき、インバータ１７０は、正電力を負電力に変換してスイッチングゲート１６６乃至１６８の負電源端子に供給する。この結果、スイッチングゲート１６６乃至１６８は、動作可能な状態となる。
ここで、対応する指令情報である行アドレスに基づいて、スイッチングゲート１６６は、行駆動部１０２からのリード選択信号Read_SELをHi信号として検出すると、対応するHi信号を、SEL用バスＢ１を介してパルス出力故障検出部１４２出力する。
また、スイッチングゲート１６７は、リードリセット信号Read_RSTをHi信号として検出すると、対応するHi信号を、RRST用バスＢ２を介してパルス出力故障検出部１４２出力する。
さらに、スイッチングゲート１６８は、リード転送信号Read_TRGをHi信号として検出すると、対応するHi信号を、RTRG用バスＢ３を介してパルス出力故障検出部１４２出力する。
すなわち、指令情報として指定された行アドレスと対応する各種の制御信号が正しく行駆動部１０２より供給されてくると、対応するバスＢ１乃至Ｂ５より、行アドレスの指令情報で指定されたタイミングでHi信号が出力される。
尚、図９の制御部１２１およびパルス出力故障検出部１４２の機能は、図４における信号処理回路１１３により実現される。
＜パルス出力故障検出部の構成例について＞
次に、図１０を参照して、パルス出力故障検出部１４２の詳細な構成例について説明する。
パルス出力故障検出部１４２は、故障判定部１８１、およびラッチ１８２乃至１８６を備えている。ラッチ１８２は、STRG用バスＢ５からの出力信号と、制御部１２１からのシャッタ転送信号STRG検出用のパルスとの双方がHi信号の状態になると、以降において、リセットされるまで、Hi信号を故障判定部１８１に出力する。ラッチ１８３は、SRST用バスＢ４からの出力信号と、制御部１２１からのシャッタリセット信号SRST検出用のパルスとの双方がHi信号の状態になると、以降において、リセットされるまで、Hi信号を故障判定部１８１に出力する。
ラッチ１８４は、RTRG用バスＢ３からの出力信号と、制御部１２１からのリード転送信号RTRG検出用のパルスとの双方がHi信号の状態になると、以降において、リセットされるまで、Hi信号を故障判定部１８１に出力する。ラッチ１８５は、RRST用バスＢ４からの出力信号と、制御部１２１からのリード転送信号RRST検出用のパルスとの双方がHi信号の状態になると、以降において、リセットされるまで、Hi信号を故障判定部１８１に出力する。ラッチ１８６は、SEL用バスＢ５からの出力信号と、制御部１２１からのリード選択信号SEL検出用のパルスとの双方がHi信号の状態になると、以降において、リセットされるまで、Hi信号を故障判定部１８１に出力する。
故障判定部１８１は、ラッチ１８２乃至１８６のぞれぞれの出力信号がHi信号ではないとき、故障を検出する。
すなわち、ラッチ１８２乃至１８６のそれぞれがHi信号を出力する場合、制御部１２１は、行駆動部１０２に対して指令情報として指定される行アドレスの所定の制御信号を出力させ、適切に制御信号が出力されている場合には、対応する制御信号がバスＢ１乃至Ｂ５よりHi信号として制御線ゲート１４３からパルス出力故障検出部１４２に出力される。
また、このタイミングにおいて、制御部１２１は、行駆動部１０２に供給する制御信号を発生させる指令信号のパルスよりも広いパルス幅の、対応する制御信号の検出用パルスを、パルス出力故障検出部１４２に供給している。このため、それらがほぼ同一のタイミングで供給されると、ラッチ１８２乃至１８６においては、いずれもHi信号が出力されることになるので、故障判定部１８１は、ここで、Hi信号が出力されている限り故障がないものとみなすことができる。
ここで、ラッチ１８２乃至１８６のいずれかからHi信号が出力されない状態になると、指令信号として指定された行アドレスにおける制御信号が、指定されたタイミングで出力されていないことになるので、画素制御線Ｌのいずれか、または、TCV９３などのいずれかにおいて、断線に起因する故障が発生しているものとみなせる。
従って、この処理においては、故障が検出されない場合、画素アレイ１０１内の画素制御線Ｌの断線がないことが確認されると共に、TCV９３における断線も発生していないことを確認することができる。
尚、ラッチ１８２乃至１８６のいずれにおいても、制御部１２１よりリセット信号を受け付ける端子が設けられており、動作前に受け付けると、ラッチしている値をリセットする。
尚、図１０の制御部１２１およびパルス出力故障検出部１４２の機能は、図４における信号処理回路１１３により実現される。
＜パルス出力故障検出処理における制御線ゲート管理処理＞
次に、図１１のフローチャートを参照して、制御部１２１とパルス出力故障検出部１２４によるパルス出力故障検出処理における制御線ゲート管理処理について説明する。
すなわち、ステップＳ６１において、制御部１２１は、パルス出力故障検出部１４２におけるラッチ１８２乃至１８６の全てに対してリセット信号を供給して、ラッチしている情報をリセットさせる。尚、ここでは、各行における処理のみを説明しているが、ラッチ１８２乃至１８６のリセットは、各列単位で１回となる。また、ここでは各行における処理のみを説明しているが、1行読み出している最中に故障検出し、リセットした上で次の行の読み出しを実行するという処理を繰り返すことで全行について故障検出を実行する。
ステップＳ６２において、制御部１２１は、制御線ゲート１４３に対して次に行駆動部１０２より出力される制御信号と、その行アドレスを供給する。尚、この処理は、画素アレイ１０１における各画素に対してシャッタを制御する制御信号（Shutter_TRG、Shutter_RST）および読み出しを制御する制御信号（Read_SEL、Read_RST、およびRead_TRG）のそれぞれが出力される際に、個別に実行される処理である。
ステップＳ７１において、制御線ゲート１４３のアドレスデコーダ１６１は、制御部１２１より供給されてくる制御信号と行アドレスの情報を取得する。
ステップＳ７２において、制御線ゲート１４３のアドレスデコーダ１６１は、制御部１２１より供給されてきた行アドレスの情報をデコードし、デコード結果を各行のシャッタアドレスラッチ１６２、およびリードアドレスラッチ１６３に供給する。
ステップＳ７３において、それぞれ対応する行アドレスのシャッタアドレスラッチ１６２、およびリードアドレスラッチ１６３は、対応するスイッチングゲート１６４乃至１６８に電力を供給し、動作可能な状態にする。より詳細には、シャッタアドレスラッチ１６２、およびリードアドレスラッチ１６３は、それぞれ対応する行アドレスのスイッチングゲート１６４乃至１６８の正電圧端子に対して正電圧を印加すると共に、インバータ１６９，１７０を介して負電圧を発生させ、スイッチングゲート１６４乃至１６８の負電圧端子に負電圧を印加する。すなわち、スイッチングゲート１６４乃至１６８は、それぞれ正電圧と負電圧とをそれぞれ正電圧端子および負電圧端子に印加されることで、動作可能な状態となる。
ここで、ステップＳ６３において、制御部１２１は、行駆動部１０２を制御して、行アドレスと同一の行アドレスにおけるシャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGを所定のタイミングで出力させる。
これに対して、ステップＳ７４において、スイッチングゲート１６４乃至１６８は、それぞれ対応するシャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGが供給されてきたか否かを判定し、供給されてくるとき、対応するバスＢ１乃至Ｂ５に対してHi信号を出力する。尚、ここでは、説明の便宜上、スイッチングゲート１６４乃至１６８が個別に制御信号の有無を判定する処理としているが、スイッチングゲート１６４乃至１６８は、制御信号を検出すると、Hi信号を出力するように動作するということであり、有無を実質的に判定している訳ではない。したがって、ステップＳ７４の処理は、スイッチングゲート１６４乃至１６８がHi信号を出力するときの動作条件を示すものに過ぎない。
すなわち、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGからなる制御信号が指定された行アドレスに供給されてくると、スイッチングゲート１６４乃至１６８は、この制御信号を検出すると共に、それぞれSTRG用バスＢ５、SRST用バスＢ４、SEL用バスＢ１、RRST用バスＢ２、およびRTRG用バスＢ３よりHi信号を出力する。
一方、ステップＳ７４において、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGのそれぞれが供給されてこないとき、処理は、ステップＳ７６に進む。
ステップＳ７６において、スイッチングゲート１６４乃至１６８は、それぞれ対応するバスＢ１乃至Ｂ５に対してLow信号を出力する。
そして、ステップＳ６４において、制御部１２１は、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGの検出用パルスとして、STRG検出用パルスをラッチ１８２に、SRST検出用パルスをラッチ１８３に、SEL検出用パルスをラッチ１８６に、RRST検出用パルスをラッチ１８５に、RTRG検出用パルスをラッチ１８４に、それぞれ供給する。
以上の処理により、制御部１２１の制御により、行駆動部１０２が、所定の行アドレスの画素制御線Ｌを介して、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGの制御信号を順次供給する。このとき、制御部１２１は、対応するタイミングで、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGの検出用パルスとして、STRG検出用パルスをラッチ１８２に、SRST検出用パルスをラッチ１８３に、SEL検出用パルスをラッチ１８６に、RRST検出用パルスをラッチ１８５に、RTRG検出用パルスをラッチ１８４に、それぞれ供給する。
＜パルス出力故障検出処理＞
次に、図１２のフローチャートを参照して、パルス出力故障検出部１４２において実行される、上述した制御線ゲート管理処理と対応して実行されるパルス出力故障検出処理について説明する。
ステップＳ９１において、ラッチ１８２乃至１８６は、それぞれに供給されてくる検出パルスがHi信号であるか否かを判定する。すなわち、ラッチ１８２は、STRG検出用パルスがHi信号であるか否かを、ラッチ１８３は、SRST検出用パルスがHi信号であるか否かを、ラッチ１８６は、SEL検出用パルスがHi信号であるか否か、ラッチ１８５は、RRST検出用パルスがHi信号であるか否かを、ラッチ１８４は、RTRG検出用パルスがHi信号であるか否かをそれぞれ判定する。そして、検出パルスがHi信号であると判定されるとき、処理は、ステップＳ９２に進む。
ステップＳ９２において、ラッチ１８２乃至１８６は、バスＢ５，Ｂ４，Ｂ３，Ｂ２，Ｂ１における信号がHi信号であるか否かを判定する。すなわち、ラッチ１８２は、STRG用バスＢ５より供給されてくる信号がHi信号であるか否かを、ラッチ１８３は、SRST用バスＢ４より供給されてくる信号がHi信号であるか否かを、ラッチ１８６は、SEL用バスＢ１より供給されてくる信号がHi信号であるか否かを、ラッチ１８５は、RRST用バスＢ２より供給されてくる信号がHi信号であるか否かを、ラッチ１８４は、RTRG用バスＢ３より供給されてくる信号がHi信号であるか否かを、それぞれ判定する。そして、バスＢ５，Ｂ４Ｂ３，Ｂ２，Ｂ１における信号がHi信号である場合、処理は、ステップＳ９３に進む。
ステップＳ９３において、ラッチ１８２乃至１８６は、Hi信号を出力する。
すなわち、図１３の時刻ｔ１乃至ｔ２で示されるように、検出用パルスがHi信号の期間において、時刻ｔ１１乃至ｔ１２で示されるように、バスＢ１乃至Ｂ５の信号がHi信号であるとき、画素アレイ１０１における所定の行アドレスの画素制御線Ｌを介して画素信号を転送するために供給される制御信号が適切なタイミングで、適切に供給されているので、画素制御線ＬおよびTCV９３−１，９３−２の断線等の故障や、時定数等に異常が生じるような故障が検出されないものとみなし、ラッチ１８２乃至１８６は、故障がないことを示すHi信号を出力する。
一方、ステップＳ９１またはステップＳ９２において、いずれかでHi信号ではないとみなされた場合、処理は、ステップＳ９４に進み、ラッチ１８２乃至１８６は、Low信号を出力する。すなわち、この場合、画素制御線Ｌの断線に起因する故障や時定数等の異常が発生するといった故障が検出されているものとみなして、ラッチ１８２乃至１８６は、故障が発生していることを示すLow信号を出力する。
ステップＳ９５において、故障判定部１８１は、ラッチ１８２乃至１８６より供給されてくる信号がHi信号であるか否かを判定し、Hi信号ではない、すなわち、Low信号であるとき、ステップＳ９６において、故障が発生していることを検出する。
一方、ステップＳ９５において、ラッチ１８２乃至１８６より供給されてくる信号がHi信号であるとき、故障が発生していないものとみなし、ステップＳ９６の処理はスキップされる。
以上の処理により、パルス出力故障の有無を検出することが可能となる。すなわち、制御部１２１により指定される所定の行アドレスにおける制御信号が、指定されたタイミングに、指定された行アドレスに対して出力されているか否かを確認することが可能となり、確認できない場合、故障が発生していることを検出することができる。
また、この際、画素制御線Ｌの断線の有無と共に、各種の時定数等の異常の有無や、各種の制御信号のHi信号に固着するといった状態の有無をも確認することが可能となる。
さらに、撮像素子７２における画素アレイ１０１のみが上チップ９２に設けられ、撮像素子７２のその他の構成とフロントカメラECU７３が下チップ９１に設けられ、これらが積層されてTCV９３−１，９３−２を介して電気的に接続された構造であるため、TCV９３−１，９３−２の断線の有無についても確認することが可能となる。
尚、図１２におけるステップＳ９１，Ｓ９２において、ラッチ１８２乃至１８６がHi信号であるか否かを判定する処理として説明をしているが、実態として、ラッチ１８２乃至１８６は、Hi信号であるか否かを判定するものではない。すなわち、ラッチ１８２乃至１８６は、バスＢ１乃至Ｂ５からの信号がHi信号であって、かつ、各種の検出用パルスがHi信号である状態になると、Hi信号を出力する構成であるのみである。したがって、図１２におけるステップＳ９１，Ｓ９２の処理は、ラッチ１８２乃至１８６がHi信号を出力する動作条件を示したものに過ぎない。
＜第１の実施の形態の第１の変形例＞
以上においては、パルス出力故障検出処理において、制御部１２１より各種の制御信号について、制御線ゲート１４３に対して制御信号を出力するタイミングで、パルス出力故障検出部１４２に対して、検出用パルスを出力し、制御線ゲート１４３における各種制御信号のバスＢ１乃至Ｂ５からの出力信号とのタイミングが一致した場合にのみラッチ１８２乃至１８６より故障が発生していないことを示すHi信号を出力する例について説明してきた。しかしながら、全ての検出用パルスを固定のHi信号とし、バスＢ１乃至Ｂ５からの信号の有無を確認することで、簡易的に画素制御線ＬおよびTCV９３−１，９３−２の断線の有無のみの故障を検出するようにしてもよい。
図１４は、簡易的な構造のパルス出力故障検出部１４２の構成例を示している。尚、図１４のパルス出力故障検出部１４２の構成において、図１０におけるパルス出力故障検出部１４２における構成と同一の機能を備えた構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図１４のパルス出力故障検出部１４２において、図１０のパルス出力故障検出部１４２と異なる点は、ラッチ１８２乃至１８６に代えて、同一構造のラッチ１９１乃至１９５が設けられており、検出用パルスが、ラッチ１９１乃至１９５に対して共通で、かつ、固定されたHi信号とされて供給されている点である。また、制御部１２１は、ラッチ１９１乃至１９５に対して、水平方向の１列分の処理毎に１回リセットパルス（RSTパルス）を供給し、リセットする。
このような構成により、上述した制御線ゲート管理処理により画素制御線ＬおよびTCV９３−１，９３−２を介して供給されてくる制御信号の有無を示すバスＢ１乃至Ｂ５のHi信号、またはLow信号に基づいて、簡易的に断線等に起因するパルス出力故障を検出することが可能となる。
尚、図１４の制御部１２１およびパルス出力故障検出部１４２の機能は、図４における信号処理回路１１３により実現される。
＜図１４のパルス出力故障検出部によるパルス出力故障検出処理＞
次に、図１５のフローチャートを参照して、図１４のパルス出力故障検出部によるパルス出力故障検出処理について説明する。尚、図１１のフローチャートを参照して説明した制御線ゲート管理処理が実行されていることを前提として説明する。ただし、この例においては、図１１におけるステップＳ６３の処理における検出用パルスは、制御信号毎に所定のタイミングで出力されるのではなく、Hi信号として固定的に出力されているものとする。
ステップＳ１１１において、ラッチ１９１乃至１９５は、それぞれ対応するバスＢ５，Ｂ４，Ｂ３，Ｂ２，Ｂ１より供給されてくる信号がHi信号であるか否か、すなわち、制御信号が供給されてきていることが示されているか否かを判定する。ステップＳ１１１において、Hi信号が供給されてきているとみなされた場合、処理は、ステップＳ１１２に進む。
ステップＳ１１２において、ラッチ１９１乃至１９５は、検出パルスが固定のHi信号であって、かつ、それぞれ対応するバスＢ５，Ｂ４，Ｂ３，Ｂ２，Ｂ１より供給されてくる信号がHi信号であるので、故障が検出されていないことを示すHi信号をラッチして出力する。
一方、ステップＳ１１１において、それぞれ対応するバスＢ５，Ｂ４，Ｂ３，Ｂ２，Ｂ１より供給されてくる信号がLow信号である場合、制御信号が供給されてきていないので、断線等の故障が検出されたものとみなして、処理は、ステップＳ１１３に進む。
ステップＳ１１３において、ラッチ１９１乃至１９５は、故障が検出されていることを示すLow信号をラッチして出力する。
ステップＳ１１４において、故障判定部１８１は、ラッチ１９１乃至１９５のいずれかからLow信号が供給されてきたか否かを判定する。そして、ステップＳ１１４において、Low信号が供給されてきているとみなした場合、処理は、ステップＳ１１５に進む。
ステップＳ１１５において、故障判定部１８１は、故障が検出されたものとみなし、故障が発生していることを示す情報を出力する。
以上の処理により、簡易的な構成により、画素アレイ１０１内の画素制御線ＬおよびTCV９３−１，９３−２の断線に係る故障を検出することが可能となる。
＜第１の実施の形態の第２の変形例＞
以上においては、画素アレイ１０１を挟んで行駆動部１０２と制御線ゲート１４３とを、TCV９３−１，９３−２を介して接続する例について説明してきたが、TCV９３が設けられる面積を極力小さくすることで、上チップ９２、および下チップ９１の全体の面積を小さくするようにしてもよい。
この場合、例えば、図１６で示されるように、図中の左部で示されるように、画素アレイ１０１と行駆動部１０２との間に制御線ゲート１４３を設けるようにして、画素アレイ１０１と制御線ゲート１４３との間にのみTCV９３を設けて接続するようにしてもよい。
このような構成とすることで、TCV９３を設ける部位を削減することができるので、TCV９３に係る面積を小さくすることができる。また、制御線ゲート１４３における処理は、図４の場合と同様の処理を実現することができるので、行駆動部１０２から出力される制御信号が、所定の行アドレスに対して所定のタイミングで出力されていることを確認することができる。
ただし、この構成のみとすると画素アレイ１０１における画素制御線ＬおよびTCV９３の断線の有無については確認ができない。
そこで、図１６の画素アレイ１０１には、右端部に黒色画素（Optical Black画素）からなる故障検出カラム２０１が設けられており、所定の行アドレスについて、通常の画素信号を読み出すのに必要とされる一連の制御信号を供給することで、所定の画素値を発生し、故障検出部１２４に設けられる画素制御線故障検出部２０２に出力する。画像制御線故障検出部２０２は、故障検出カラム２０１より供給される信号に基づいて、画素制御線ＬおよびTCV９３の断線に係る故障を検出する。
より詳細には、故障検出カラム２０１は、図１６の右部で示されるように、フォトダイオードを含まないOPB（Optical Black）画素からなるものであり、所定の行アドレスで指定される一連の制御信号が供給されることにより、黒色画素相当の所定の画素信号を出力する。図１６には、一般にフォトダイオードが設けられる部位に対して点線でフォトダイオードの回路記号を付してあるが、これはフォトダイオードが設けられていないことを示すものである。
より具体的には、故障検出カラム２０１は、転送トランジスタ２１１、リセットトランジスタ２１２、FD（Floating Diffusion）２１３、増幅トランジスタ２１４、選択トランジスタ２１５、およびAD変換部２１６を備えている。
転送トランジスタ２１１、リセットトランジスタ２１２、増幅トランジスタ２１３、および選択トランジスタ２１５は、いずれも一般的な画素回路に設けられるものであり、上述したシャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRGにより動作される。
また、選択トランジスタ２１５より出力される黒色画素の画素信号は、AD変換部２１６に出力される。AD変換部２１６は、画素信号をアナログデジタル変換し、画素制御線故障検出部２０２に出力する。
画素制御線故障検出部２０２は、故障検出カラム２０１より供給されてくる画素信号が、所定の黒色画素の画素値を示すものであるか否かに基づいて、画素アレイ１０１における画素制御線ＬおよびTCV９３の断線に係る故障の有無を検出する。
尚、故障検出カラム２０１の構成として、フォトダイオードが設けられていない構成例を示したが、画素信号を読み出すにあたって、原則として固定された画素値が出力される構成であればよく、例えば、図１６における点線で示した部位にフォトダイオードを設け、遮光するようにして、黒色画素の画素回路を構成するようにしてもよい。
尚、図１６の制御部１２１および故障検出部１２４の機能は、図４における信号処理回路１１３により実現される。
＜画素制御線故障検出処理＞
次に、図１７のフローチャートを参照して、図１６の画素アレイ１０１の故障検出カラム２０１および画素制御線故障検出部２０２による制御線故障検出処理について説明する。
ステップＳ１３１において、故障検出カラム２０１におけるトランジスタ２１１乃至２１４は、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRG等の制御信号に基づいて、フォトダイオードのないOPB画素としての黒色画素の画素信号を、AD変換部２１６に出力する。
ステップＳ１３２において、AD変換部２１６は、アナログ信号からなる画素信号をデジタル信号に変換して画素制御線故障検出部２０２に出力する。
ステップＳ１３３において、画素制御線故障検出部２０２は、黒色画素からなる画素信号の画素値が所定の画素値であるか否かを判定する。ステップＳ１３３において、所定の画素値ではないと判定された場合、処理は、ステップＳ１３４に進む。
ステップＳ１３４において、画素制御線故障検出部２０２は、画素アレイ１０１における画素制御線ＬまたはTCV９３等に断線等に起因する故障が検出されたものとみなし、出力部１２３に出力する。
すなわち、画素制御線ＬまたはTCV９３が断線することで、トランジスタ２１１乃至２１４が、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRG等の制御信号により動作することができなかったため、所定の画素値が出力されなかったものとみなされて、故障が検出されたものとみなされる。
また、ステップＳ１３３において、所定の画素値が検出された場合、ステップＳ１３４の処理はスキップされる。すなわち、所定の黒色画素が検出されたのは、トランジスタ２１１乃至２１４が、シャッタ転送信号Shutter_TRG、シャッタリセット信号Shutter_RST、リード選択信号Read_SEL、リードリセット信号Read_RST、およびリード転送信号Read_TRG等の制御信号により動作することができた結果であるので、故障が検出されていないものとみなされる。
以上の処理により、TCV９３に占める面積を小さくしつつ、行駆動部１０２より出力される制御信号の出力されるタイミングと行アドレスとに基づいた故障検出を実現することが可能となる。また、この際、画素アレイ１０１における画素制御線ＬおよびTCV９３の断線に起因する故障を検出することが可能となる。
＜＜２．第２の実施の形態＞＞
以上においては、行アドレス選択機能故障、パルス出力故障、並びに、画素制御線およびTCVの断線故障を検出する例について説明してきたが、ADC（アナログデジタル変換回路）の故障を検出することでTCVの断線故障をも検出するようにしてもよい。
図１８は、ADCおよびTCVの断線故障を検出するようにした、撮像素子７２およびフロントカメラECU７３の構成例のうち、特に、画素アレイ１０１、画像信号出力部１０３、および故障検出部１２４の構成例について説明する。尚、図１８の構成のうち、図４を参照して説明した構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとし、特に記載のない構成については、図４における構成と同一のものであるものとする。
すなわち、図１８の画素アレイ１０１、画像信号出力部１０３、および故障検出部１２４のうち、図４の構成と異なるのは、画素アレイ１０１を構成する画素の画素回路の詳細な構成、および、画素信号出力部１０３の詳細な構成が示され、故障検出部１２４に新たにADC＋TCV故障検出部２７１が設けられた点である。
画素アレイ１０１を構成するアレイ状に配置された画素２２１の画素回路は、フォトダイオード２３０、転送トランジスタ２３１、リセットトランジスタ２３２、FD（Floating Diffusion）２３３、増幅トランジスタ２３４、選択トランジスタ２３５、および垂直転送線VSLより構成されている。
さらに、垂直転送線VSLには、切替トランジスタ２５１、およびDSFトランジスタ２５２からなるDSF回路２５０が設けられている。尚、切替トランジスタ２５１、およびDSFトランジスタ２５２からなるDSF回路２５０は、上チップ９２上の画素アレイ１０１には設けられておらず、下チップ９１上に設けられており、垂直転送線VSLに対して、TCV９３を介して接続されている。
フォトダイオード２３０、転送トランジスタ２３１、リセットトランジスタ２３２、FD（Floating Diffusion）２３３、増幅トランジスタ２３４、および選択トランジスタ２３５の構成については、一般的な画素回路と同様のものであり、上述した画素アレイ１０１上にアレイ状に配置されている各画素を構成する画素回路と同様である。
すなわち、フォトダイオード２３０は、入射光の光量に応じた電荷を蓄積し、画素信号として出力する。転送トランジスタ２３１は、上述したシャッタ転送信号Shutter_TRG、リード転送Read_TRGにより動作し、フォトダイオード２３０で蓄積された電荷をFD２３３に転送する、または、リセットトランジスタ２３２と協働してフォトダイオード２３０およびFD２３３をリセットレベルに設定する。また、リセットトランジスタ２３２は、上述したシャッタリセット信号Shutter_RST、およびリードリセット信号Read_RSTにより動作して、FD２３３をリセットレベルに設定する、または、フォトダイオード２３０をリセットレベルに設定する。
FD２３３は、フォトダイオード２３０より供給されてくる画素信号のうちの信号レベル、または、リセットトランジスタ２３２によりリセットレベルに設定され、増幅トランジスタ２３４のゲートに接続されている。
増幅トランジスタ２３４は、FD２３３の蓄積電荷の電圧に応じて電源電圧を増幅することで画素信号として出力する。選択トランジスタ２３５は、リード選択信号Read_SELにより動作し、行アドレスとして選択されたとき、増幅トランジスタ２３４より出力される画素信号を垂直転送線VSLに転送させる。
さらに、この例においては、垂直転送線VSLに切替トランジスタ２５１、およびDSFトランジスタ２５２からなるDSF回路２５０が設けられている。DSF回路２５０は、画素信号、または、ダミー画素信号を出力する。より詳細には、DSF（ダミーソースフォロワ回路）トランジスタ２５２は、画素信号の代わりに固定信号からなるダミー画素信号を垂直転送線VSLに供給するためのトランジスタである。切替トランジスタ２５１は、垂直転送線VSLに対して、選択トランジスタ２３５からの画素信号を出力するか、または、DSFトランジスタ２５２からダミー画素信号を出力するかを切り替えるものである。
尚、DSFトランジスタ２５２がオンにされて出力されるダミー画素信号は、所定の画素値からなる画素信号であるが、DSFトランジスタ２５２を複数に設けて、複数の所定の画素値からなる画素信号を切り替えて出力するようにしてもよい。以降においては、図示はしないが、複数種類の画素値からなる画素信号のそれぞれに対して、複数のDSFトランジスタ２５２を設け、これらを選択的に切り替えて出力することができるものとして説明する。
画像信号出力部１０３は、負荷MOS２４１、ADC２４２、および水平転送部２４３を備えている。
負荷MOS２４１は、画素アレイ１０１の垂直転送線VSLを介して供給されてくる画素信号を電流値から電圧値に変換してADC２４２に供給する。
ADC２４２は、負荷MOS２４１から供給されるアナログ信号からなる画素信号をデジタル信号に変換して水平転送部２４３に出力する。
より詳細には、ADC２４２は、コンパレータ２６１、カウンタ２６２、およびDAC（デジタルアナログ変換部）２６３より構成される。
コンパレータ２６１は、DAC２６３より供給されるものであって、カウンタ２６２からのクロックに同期して、所定のステップ間隔で変化するランプ電圧（Ramp）と、負荷MOS２４１より入力されてくるアナログ信号からなる画素信号との比較を行い、比較結果をカウンタ２６２に供給する。
カウンタ２６２は、カウントを繰り返し、コンパレータ２６１における比較結果が反転したタイミングにおけるカウント値をデジタル信号として水平転送部２４３に出力すると共に、クロック信号をDAC２４２に供給する。
DAC２６３は、カウンタ２６２からのクロック信号に同期して、ランプ電圧（Ramp）を所定のステップで変化させて発生し、コンパレータ２６１に供給する。尚、DAC２６３は、図４のフロアプランにおけるDAC１１２に対応するものである。
水平転送部２４３は、ADC２４２より供給されてくるデジタル信号に変換された画素信号を画像処理部１２２に供給すると共に、故障検出部１２４におけるADC＋TVC故障検出部２７１に供給する。
ADC＋TVC故障検出部２７１は、DSF回路２５０を制御して、例えば、ブランキング期間などにダミー画素信号を出力させ、ADC２４２によりデジタル信号に変換された画素信号と、ダミー画素信号として予め設定された所定の画素信号とを比較して、一致するか否かに基づいて、ADC２４２の故障や、画素制御線Ｌ、およびTCV９３等の断線の有無に起因する故障を検出する。
より詳細には、図１９で示されるように、例えば、下チップ９１が下チップ９１−１，９１−２からなる２領域に分割されており、それぞれにADC２４２−１，２４２−２がカラム状に配置されている。また、図１８の画素アレイ１０１が設けられた上チップ９２に対して、TCV９３−１１，９３−１２を介して、それぞれ下チップ９１−１，９１−２が電気的に接続されている。ここで、図１９のADC２４２−１，２４２−２は、図４のカラムADC１１１−１，１１１−２に対応する。
また、画素２２１の出力は、行制御線２８２−１，２８２−２，・・・によって制御される。行駆動部２７２は、所定の一行の画素２２１の画素信号が出力されるように制御する。画素２２１が出力する画素信号は、列信号線２８１−１，２８１−２，・・・を伝わり、カラムADC２４２−１，２４２−２に出力される。
そして、DSF回路２５０−１（２５０−１−１，２５０−１−２，・・・）は、下チップ９１−１に設けられており、TCV９３−１１，９３−１２、および画素アレイ１０１を介して、他の下チップ９１−２のADC２４２−２（２４２−２−１，２４２−２−２，・・・）に対して、ダミー画素信号を供給する。同様に、DSF回路２５０−２（２５０−２−１，２５０−２−２，・・・）は、下チップ９１−２に設けられており、TCV９３−１１，９３−１２、および画素アレイ１０１を介して、他の下チップ９１−１のADC２４２−１（２４２−１−１，２４２−１−２，・・・）に対して、ダミー画素信号を供給する。尚、下チップ９１の分割数は、２以上であってもよく、この場合、対応する分割数分だけ、分割領域のそれぞれにADC２４２、およびDSF回路２５０が設けられる。
ADC２４２−１（２４２−１−１，２４２−１−２，・・・）は、それぞれ画素アレイ１０１から出力される画素信号と、DAC２６３−１から供給されるランプ電圧との大小関係をコンパレータ２６１−１（２６１−１−１，２６１−１−２，・・・）で比較し、２値の結果としてカウンタ２６２−１（２６２−１−１，２６２−１−２，・・・）に与える。
ADC２４２−２（２４２−２−１，２４２−２−２，・・・）は、それぞれ画素アレイ１０１から出力される画素信号と、DAC２６３−２から供給されるランプ電圧との大小関係をコンパレータ２６１−２（２６１−２−１，２６１−２−２，・・・）で比較し、２値の結果としてカウンタ２６２−２（２６２−２−１，２６２−２−２，・・・）に与える。
コンパレータ２６１−１，２６１−２は、タイミング制御回路２７３から供給されるＰＳＥＴ信号をトリガとするオートゼロ（Auto zero）回路を有しており、画素２２１より供給される画素信号とランプ電圧とのレベルの差であるオフセットをゼロにする。
カウンタ２６２−１，２６２−２は、タイミング制御回路２７３から供給されるカウンタ制御信号に基づきカウント動作する。カウンタクロックはコンパレータ２６１−１，２６１−２の出力によってマスクされるようになっていて、画素信号のレベルに応じたデジタル信号が得られるようになっている。
バスバッファ２７４−１（２７４−１−１，２７４−１−２，・・・）は出力を制御するためのものであり、ラッチ回路を含み、それぞれ列走査回路２７５−１の選択信号によって、値を水平出力線２７６−１に出力する。
バスバッファ２７４−２（２７４−２−１，２７４−２−２，・・・）は出力を制御するためのものであり、ラッチ回路を含み、それぞれ列走査回路２７５−２の選択信号によって、値を水平出力線２７６−２に出力する。
タイミング制御回路２７３はマスタークロックＭＣＫを動作タイミングの基準として、撮像素子７２の全体的な動作シーケンスを制御する。
ADC＋TVC故障検出部２７１は、DSF回路２５０−１，２５０−２を制御して、画素アレイ１０１およびTCV９３−１１，９３−１２を介してダミーの画素信号を出力させ、ADC２４２−１，２４２−２により画素信号をデジタル信号に変換させて、所定の画素値からなる画素信号であるか否かに基づいて、ADC２４２−１，２４２−２の異常やTCV９３−１１，９３−１２の断線に起因する故障を検出することができる。
より詳細には、ADC＋TVC故障検出部２７１は、下チップ９１−１のDSF回路２５０−１を制御して、画素アレイ１０１およびTCV９３−１１，９３−１２を介して、ダミーの画素信号を下チップ９１−２のADC２４２−２に出力させて画素信号をデジタル信号に変換させて、所定の画素値からなる画素信号であるか否かに基づいて、ADC２４２−２の異常、および、TCV９３−１１，９３−１２の断線に起因する故障を検出する。
同様に、ADC＋TVC故障検出部２７１は、下チップ９１−２のDSF回路２５０−２を制御して、画素アレイ１０１およびTCV９３−１１，９３−１２を介して、ダミーの画素信号を下チップ９１−１のADC２４２−１に出力させて画素信号をデジタル信号に変換させて、所定の画素値からなる画素信号であるか否かに基づいて、ADC２４２−１の異常、および、TCV９３−１１，９３−１２の断線に起因する故障を検出する。
さらに、ADC２４２やTCV９３に異常がないことを前提として、さらに、実装上の動作試験を実行して、動作異常として故障を検出するようにしてもよい。
＜第１の動作試験＞
図２０で示されるように、例えば、ADC＋TVC故障検出部２７１が、DSF回路２５０を制御して、リセットレベルの電位Ｖ１からなるダミー画素信号を発生してADC２４２によりリセットレベルの画素信号を求めさせ、次に、DSF回路２５０の電位を所定の信号レベルの電位Ｖ２からなるダミー画素信号を発生して信号レベルの画素信号を求めるという一連の動作を実現し、信号レベルとリセットレベルとの差分となる画素信号が、所定の画素信号として出力されるか否かを確認することで動作故障を検出するようにしてもよい。
このようにすることで、相関二重サンプリングによる画素信号の読み出しに異常が発生していないか否かに基づいた故障検出が可能となる。
尚、図２０においては、実線が、DSF回路２５０を制御して出力するダミー画素信号の画素値を示したものであり、点線がランプ電圧の変化を示している。時刻ｔ０乃至ｔ２においては、ダミー画素信号としてリセットレベルとなる電位Ｖ１が出力され、この間にランプ電位が低下しており、時刻ｔ０乃至ｔ１における丸印で示されるタイミングで、コンパレータ２６１の比較結果が反転することにより、このタイミングで、リセットレベルの電位Ｖ１に相当するランプ電圧におけるカウンタの値によりリセットレベルのデジタル信号からなる画素信号が求められる。
また、時刻ｔ３において、DSF回路２５０が制御されて、電位Ｖ２に相当するダミー画素信号が信号レベルの画素信号として出力される。ランプ電圧は時刻ｔ４でリセットされて、再び時刻ｔ４乃至ｔ５において低下しており、時刻ｔ４乃至ｔ５における丸印のタイミングでコンパレータ２６１の比較結果が反転することにより、このタイミングで、信号レベルのデジタル信号からなる画素信号として出力される。
このようにして求められたリセットレベルと信号レベルとの差分が画素値として求められて、予め設定された所定の画素値であれば、ADC２４２およびTCV９３の断線に起因する故障がなく、さらに、CDSによる画素信号の読み出し処理を実行する動作故障も発生していないことを確認することができる。
尚、図２０の実線で示される、DSF回路２５０を制御して出力するダミー画素信号の画素値は、図４のフロアプランにおける画素アレイ１０１より出力されるものである。また、図２０の点線で示される、ランプ電圧が、図４のフロアプランにおけるDAC１１１により出力されるものである。すなわち、DAC２６３は、DAC１１１に対応する。
＜第２の動作試験＞
アナログデジタル変換におけるゲインを変化させてAD変換結果を求めて、ゲインエラーに起因する動作故障を検出するようにしてもよい。
図２１で示されるように、ランプ電圧のステップ幅を変化させてカウンタの値に対してアナログゲインを掛けて、AD変換結果を確認する。
すなわち、図２１で示されるように、ランプ電圧の変化率であるステップ幅を変化させて、それぞれのAD変換結果を確認し、所定のデジタル信号に変換されているのかを確認する。例えば、時刻ｔ３において、DSF回路２５０の動作を制御して、電位Ｖ２に相当するダミー画素信号を出力させる。
このとき、図２１における点線で示される、例えば、0dBのランプ電圧の変移により、時刻ｔ１１において求められるデジタル信号に変換された画素信号と、一点鎖線で示される、例えば、30dBのランプ電圧の変移により、時刻ｔ１２において求められるデジタル信号に変換された画素信号とが、それぞれ予め設定された画素信号と一致するか否かにより、ゲインエラーに起因する動作故障を検出するようにしてもよい。
尚、図２１の実線で示される、DSF回路２５０を制御して出力するダミー画素信号の画素値は、図４のフロアプランにおける画素アレイ１０１より出力されるものである。また、図２１の点線で示される、ランプ電圧が、図４のフロアプランにおけるDAC１１１により出力されるものである。すなわち、DAC２６３は、DAC１１１に対応する。
＜第３の動作試験＞
太陽黒点補正処理の動作が実現されているか否かを確認することで動作故障を検出するようにしてもよい。
太陽黒点が生じるような場合、リセットレベルの画素信号を求めることができない状態となる。このとき、信号レベルは、カウンタの値を最大値までカウントすることで、画素信号を補正する。
そこで、図２２で示されるように、リセットレベルを確定させる時刻ｔ１乃至ｔ２の前のタイミングである時刻ｔ２１において、DSF回路２５０の動作を制御して、リセットレベルを設定できない電位Ｖ１１からなるダミー画素信号を出力させる。この後、時刻ｔ４以降において、信号レベルの画素信号を検出する際、時刻ｔ２２において、コンパレータが反転しても、それ以降で示されるように、時刻ｔ２３において、カウンタの値が最大値までカウントさせる動作を実行するか否かに基づいて、太陽黒点補正処理が実現されるか否かを判定し、動作故障を検出する。
尚、図２２の実線で示される、DSF回路２５０を制御して出力するダミー画素信号の画素値は、図４のフロアプランにおける画素アレイ１０１より出力されるものである。また、図２２の点線で示される、ランプ電圧が、図４のフロアプランにおけるDAC１１１により出力されるものである。すなわち、DAC２６３は、DAC１１１に対応する。
＜第４の動作試験＞
暗電流クランプを掛けたときのクランプ動作が実現されているか否かを確認することで動作故障を検出するようにしてもよい。
すなわち、暗電流によるノイズが発生する場合、ランプ電圧に対する値を、暗電流によるノイズからなる画素信号分だけクランプすることで、画素信号を補正する。
そこで、図２３で示されるように、時刻ｔ２のリセットレベルを検出した後、ダミー画素信号をクランプ最大値Cmaxの画素信号が検出可能な程度の画素信号Ｖ２１に設定し、所定のデジタル信号が求められてクランプ動作が実現されるか否かにより、動作故障を検出するようにしてもよい。
尚、図２３の実線で示される、DSF回路２５０を制御して出力するダミー画素信号の画素値は、図４のフロアプランにおける画素アレイ１０１より出力されるものである。また、図２３の点線で示される、ランプ電圧が、図４のフロアプランにおけるDAC１１１により出力されるものである。すなわち、DAC２６３は、DAC１１１に対応する。
＜ADC＋TCV故障検出処理＞
次に、図２４のフローチャートを参照して、ADC＋TCV故障検出部２７１によるADC＋TCV故障検出処理について説明する。
ステップＳ１５１において、ADC＋TCV故障検出部２７１は、画像処理におけるブランキング期間に入ったか否かを判定し、ブランキング期間に入るまで同様の処理を繰り返す。そして、ステップＳ１５１において、ブランキング期間に入った場合、処理は、ステップＳ１５２に進む。
ステップＳ１５２において、ADC＋TCV故障検出部２７１は、所定の列アドレスのDSF回路２５０−１を動作させて、上述した第１の動作試験乃至第４の動作試験のいずれかに対応するように時系列に変化させながらダミー画素信号を出力させる。
ステップＳ１５３において、ADC２４２−２は、ダミー画素信号として出力される画素信号を、デジタル信号に変換して、順次、ADC＋TCV故障検出部２７１に供給する。
ステップＳ１５４において、ADC＋TCV故障検出部２７１は、ADC２４２−２より供給されてくるダミー画素信号として出力される画素信号であって、デジタル信号に変換された画素信号の時系列の変移に基づいて、上述した第１の動作試験乃至第４の動作試験のいずれかの動作試験に対して所定の動作結果が得られたか否かを判定する。ステップＳ１５４において、第１の動作試験乃至第４の動作試験のいずれかに動作試験に対して所定の動作結果が得られない場合、処理は、ステップＳ１５５に進む。
ステップＳ１５５において、ADC＋TCV故障検出部２７１は、ADC２４２−２の動作異常、TCV９３−１１，９３−１２の断線故障、または、第１の動作試験乃至第４の動作試験により確認される動作に関する動作故障が発生していることを検出し、出力部１２３に供給する。
一方、ステップＳ１５４において、第１の動作試験乃至第４の動作試験のいずれかの動作試験に対して所定の動作結果が得られた場合、ADC２４２−２、TCV９３−１１，９３−１２の断線故障、および、第１の動作試験乃至第４の動作試験いずれかの動作試験により確認される動作に関する動作故障のいずれもが発生していないものとみなされるので、ステップＳ１５５の処理がスキップされる。
以上の処理により、ADC２４２の動作異常、TCV９３の断線の有無、および第１の動作試験乃至第４の動作試験により確認される動作故障の有無を検出することが可能となる。
尚、以上においては、ブランキング期間において、上述した第１の動作試験乃至第４の動作試験のいずれかが実行される例について説明してきたが、例えば、ブランキング期間に入る度に、第１の動作試験乃至第４の動作試験を順次切り替えて実行するようにしてもよいし、１回のブランキング期間で、これらのうちの２以上の動作試験を実行するようにしてもよい。
また、以上においては、DSF回路２５０−１を制御して、ダミー画素信号を発生させ、ADC２４２−２で画素信号をAD変換させる例について説明してきたが、当然のことながら、DSF回路２５０−２を制御して、ダミー画素信号を発生させ、ADC２４２−１により画素信号をAD変換させるようにしてもよい。
＜第２の実施の形態の第１の変形例＞
以上においては、各列の垂直転送線VSLにおいて、DSF回路２５０により制御できるダミー画素信号の設定電位がいずれも同一に設定される例について説明してきたが、異なる画素電位が設定できるようにしてもよい。例えば、図２５で示されるように、隣接する列の点線で示されるVSLおよび実線で示されるVSLは、それぞれダミー画素信号が交互に第１の電位、および第１の電位よりも高い電位の第２の電位となるように設定するようにしてもよい。このような構成により、隣接する垂直転送線VSL間で短絡が発生すると、ADC２４２によりデジタル変換された画素信号の画素値は変化することになるので、垂直転送線VSL間の短絡検出も可能となる。
尚、以上においては、撮像素子７２の構成として、画素アレイ１０１、行駆動部１０２、および画像信号出力部１０３を設け、フロントカメラECU７３の構成として、制御部１２１、画像処理部１２２、出力部１２３、故障検出部１２４、および制御線ゲート１４３を設ける例について説明してきた。しかしながら、撮像素子７２の構成として、画素アレイ１０１、行駆動部１０２、および画像信号出力部１０３に加えて、制御部１２１（このうちの故障検出に関する機能のみでもよい）、故障検出部１２４、および制御線ゲート１４３を設けるようにしてもよい。このようにフロントカメラECU７３の一部の機能を備えた撮像素子７２を構成することで、撮像素子７２単独で故障検出を実現することが可能となる。また、従来の撮像素子を、本開示の撮像素子７２により置き換えて使用することも可能となり、これまでは撮像素子自らで故障検出することができなかったような機器においても、故障検出することが可能となる。
＜＜３．第３の実施の形態＞＞
第１の実施の形態においては、運転支援処理において、故障が検出されると運転支援を終了させる例について説明してきたが、故障が検出されても、故障個所を補正するなどにより、運転支援を継続できるようにしてもよい。
すなわち、ADC２４２は、カラム単位で構成されているため、カラム単位で故障が発生した場合、故障が発生した行単位または列単位で、画素信号にノイズが含まれることになるので、縦筋ノイズや横筋ノイズとなることがある。
そこで、このような場合、故障が検出された行、または、列の画素信号を、故障が発生していない行や列の画素信号により補正するようにして、故障が発生しても補正により対応することで、運転支援処理を継続できるようにしてもよい。
図２６は、カラム単位でAD変換するADC２４２に異常が発生し、縦筋ノイズ、または、横筋ノイズが発生した場合、補正して出力できるようにした撮像素子７２の構成例を示している。尚、図２６の撮像素子７２の構成については、制御に係る行駆動部１０２等の構成は省略して表記されている。
すなわち、図２６の撮像素子７２は、画素アレイ１０１、画像信号出力部１０３、および補正部３０１より構成されている。図２６においては、1列分の構成が図示されているが、実際には、全列分のADC２４２が設けられており、それぞれのADC２４２から各列の画素信号がデジタル信号に変換されて補正部３０１に出力される。尚、図２６の画像信号出力部１０３については、図１８を参照して説明したADC２４２の構成を簡略化して表記したものであり、１列分の構成のみが示されている。
補正部３０１は、横筋ノイズ、および、縦筋ノイズの有無を検出することで、故障の発生の有無を検出し、故障が発生している場合、エラーピン（Errorピン）からエラーが発生していることを示す信号をMCU７４に出力する。
また、補正部３０１は、横筋ノイズ、または、縦筋ノイズが発生していることを検出した場合、正常な行の画素信号、および、正常な列の画素信号を用いて、横筋ノイズ、および、縦筋ノイズを発生させる行の画素信号、および、列の画素信号を補正して出力する。尚、補正部３０１の構成例については、図２７を参照して詳細を説明する。
＜補正部の構成例＞
次に、図２７を参照して、補正部３０１の構成例について説明する。
補正部３０１は、バッファ３３０、横筋補正処理部３３１、縦筋補正処理部３３２、選択部３３３、およびセレクタ３３４を備えている。
バッファ３３０は、画像信号出力部１０３より供給されてくる画素信号を記憶して、１枚の画像として格納する。
横筋補正処理部３３１は、バッファ３３０に格納されている画素信号を、1行ずつ処理対象行に設定し、処理対象行の画素と、その前後の行の３行の画素信号を読み出して、各行の平均値を求める。そして、横筋補正処理部３３１は、処理対象行の画素信号の平均値と、他の行の画素信号の平均値との差分を求め、差分が所定値より大きいか否かを判定することで横筋ノイズが発生しているか否かを判定する。横筋補正処理部３３１は、判定結果を選択部３３３に出力すると共に、横筋ノイズが発生している場合、処理対象行の各画素値を、前後の行の画素値の平均値に置き換えることで補正する。
縦筋補正処理部３３２は、横筋補正処理部３３１のバッファ３５４に格納されている画素信号を、1列ずつ処理対象列に設定し、処理対象列の画素と、その前後の列の３列の画素信号を読み出して、各列の平均値を求める。そして、縦筋補正処理部３３２は、処理対象列の画素信号の平均値と、他の列の画素信号の平均値との差分を求め、差分が所定値より大きいか否かを判定することで縦筋ノイズが発生しているか否かを判定する。縦筋補正処理部３３２は、判定結果を選択部３３３に出力すると共に、縦筋ノイズが発生している場合、処理対象列の各画素値を、前後の列の画素値の平均値に置き換えることで補正する。
選択部３３３は、横筋ノイズまたは縦筋ノイズが発生しているか否かの判定結果に基づいて、セレクタ３３４が選択して出力すべき画素信号を選択する選択信号をセレクタ３３４に供給すると共に、横筋ノイズまたは縦筋ノイズが発生しているときには、エラーピンよりエラー信号をMCU７４に出力する。
より具体的には、補正が不要な場合、すなわち、バッファ３３０の画素信号をそのまま出力する場合には０を、補正が必要な場合には１を、それぞれセレクタ３３４に出力する。
セレクタ３３４は、選択部３３３より供給される選択信号に基づいて、バッファ３３０の画素信号をそのまま出力する、または補正した画素値を縦筋補正処理部３３２のバッファ３７４より出力する。
より詳細には、横筋補正処理部３３１は、各行平均値算出部３５１、横筋閾値判定部３５２、横筋補正部３５３、およびバッファ３５４を備えている。
各行平均値算出部３５１は、バッファ３３０に格納された画像より未処理の行を処理対象行に設定し、処理対象行について、前後の行を合わせて３行分の画素信号を読み出し、行毎に平均値を算出して横筋閾値判定部３５２に出力する。
横筋閾値判定部３５２は、処理対象行の画素値の平均値と、前後の行の画素値の平均値との差分を求め、所定の閾値と比較して、所定の閾値よりも大きく、処理対象行の値が、他の行と著しく異なるとみなされるか否かにより横筋ノイズの発生の有無を判定する。横筋閾値判定部３５２は、横筋ノイズが発生していると判定した場合、横筋ノイズが発生しており、故障が検出されたことを選択部３３３に出力すると共に、横筋補正部３５３を制御して、補正値を求めるように指示する。
横筋補正部３５３は、処理対象行の画素値を補正するように指示されると、処理対象行の各画素の画素値を、その前後の行の同一位置の画素値の平均値に置換して補正し、バッファ３５４に出力し格納させる。
より具体的には、例えば、図２８の右部で示されるように、横筋ノイズの発生が検出され、処理対象行Ｌ２が異常な画素値からなる異常出力行であり、前後の行Ｌ１，Ｌ３が正常な画素値からなる正常出力行である場合、横筋補正部３５３は、処理対象行Ｌ２の画素値を、行Ｌ１，Ｌ３の各画素の平均値に置き換える。
また、縦筋補正処理部３３２は、各行平均値算出部３７１、縦筋閾値判定部３７２、縦筋補正部３７３、およびバッファ３７４を備えている。
各行平均値算出部３７１は、横筋補正処理部３３１のバッファ３５４に格納された画像より未処理の列を処理対象列に設定し、処理対象列について、前後の列を合わせて３列分の画素信号を読み出し、列毎に平均値を算出して縦筋閾値判定部３７２に出力する。
縦筋閾値判定部３７２は、処理対象列の画素値の平均値と、前後の列の画素値の平均値との差分を求め、所定の閾値と比較して、所定の閾値よりも大きく、処理対象列の値が、他の列と著しく異なるとみなされるか否かにより縦筋ノイズの発生の有無を判定する。縦筋閾値判定部３７２は、縦筋ノイズが発生していると判定した場合、縦筋ノイズが発生しており、故障が検出されたことを選択部３３３に出力すると共に、縦筋補正部３７３を制御して、補正値を求めるように指示する。
縦筋補正部３７３は、処理対象列の画素値を補正するように指示されると、処理対象列の画素値を、その前後の列の画素値の平均値に置換して補正し、バッファ３７４に出力し格納させる。
より具体的には、例えば、図２８の左部で示されるように、縦筋ノイズの発生が検出され、処理対象列Ｒ２が異常な画素値からなる異常出力列であり、前後の列Ｒ１，Ｒ３が正常な画素値からなる正常出力列である場合、縦筋補正部３７３は、処理対象列Ｒ２の画素値を、列Ｒ１，Ｒ３の各画素の平均値に置き換える。
＜図２７の補正部による補正処理＞
次に、図２９，図３０のフローチャートを参照して、図２７の補正部３０１による補正処理について説明する。
ステップＳ１５１において、バッファ３３０は、画像信号出力部１０３より供給されてくる画素信号を記憶して、１枚の画像として格納する。
ステップＳ１５２において、補正部３０１は、行および列をカウントするカウンタｎ，ｍを１に初期化する。
ステップＳ１５３において、横筋補正処理部３３１の各行平均値算出部３５１は、バッファ３３０に格納された画像より処理対象行となるｎ行目の画素信号と、処理対象行の前後の行の画素信号とを合わせて３行分の画素信号を読み出し、行毎に平均値を算出して横筋閾値判定部３５２に出力する。
ステップＳ１５４において、横筋閾値判定部３５２は、処理対象行であるｎ行目の画素値の平均値と、前後の行の画素値の平均値との差分を求め、所定の閾値と比較して、所定の閾値よりも大きく、処理対象行の画素値が、他の行の画素値と著しく異なるか否かにより、横筋ノイズの発生の有無を判定する。
ステップＳ１５４において、処理対象行であるｎ行目の画素値の平均値と、前後の行の画素値の平均値との差分が所定の閾値よりも大きく、横筋ノイズの発生が検出された場合、処理は、ステップＳ１５５に進む。
ステップＳ１５５において、横筋閾値判定部３５２は、横筋ノイズが発生しており、故障が検出されたことを選択部３３３に出力すると共に、横筋補正部３５３に対して、補正値を求めるように指示する。ここで、選択部３３３は、処理対象行であるｎ行目の画素信号については、補正がなされていることを記憶する。
ステップＳ１５６において、横筋補正部３５３は、処理対象行であるｎ行目の画素値を、その前後の行の画素値の平均値に置換して補正し、バッファ３５４に格納し、処理は、ステップＳ１５８に進む。
一方、ステップＳ１５４において、横筋ノイズが発生していないとみなされた場合、処理は、ステップＳ１５７に進む。
ステップＳ１５７において、カウンタｎが最大値Ｎであるか否かを判定し、最大値Ｎではない場合、処理は、ステップＳ１５８に進む。
ステップＳ１５８において、補正部３０１は、カウンタｎを１インクリメントし、処理は、ステップＳ１５３に戻る。
すなわち、ステップＳ１５３乃至Ｓ１５８の処理が繰り返されて、横筋ノイズが発生しているか否かが判定され、横筋ノイズが発生しているとき、前後の行で補正された画素値がバッファリングされる処理が全行についてなされるまで、同様の処理が繰り返される。
そして、全ての行について処理がなされて、ステップＳ１５７において、カウンタｎが最大値Ｎであるとみなされた場合、処理は、ステップＳ１５９に進む。
ステップＳ１５９において、縦筋補正処理部３３２の各列平均値算出部３７１は、横筋補正処理部３３１のバッファ３５４に格納された画像より未処理の列であるｍ列目を処理対象列として、処理対象列について、左右の列を合わせて３列分の画素信号を読み出し、列毎に平均値を算出して縦筋閾値判定部３７２に出力する。
ステップＳ１６０において、縦筋閾値判定部３７２は、処理対象列の画素値の平均値と、左右の列の画素値の平均値との差分を求め、所定の閾値と比較して、所定の閾値よりも大きく、処理対象列の値が、他の列と著しく異なるとみなされるか否かにより縦筋ノイズの発生の有無を判定する。
ステップＳ１６０において、処理対象列の画素値の平均値と、左右の列の画素値の平均値との差分が、所定の閾値よりも大きく、縦筋ノイズが発生している場合、処理は、ステップＳ１６１に進む。
ステップＳ１６１において、縦筋閾値判定部３７２は、縦筋ノイズが発生しており、故障が検出されたことを選択部３３３に出力すると共に、縦筋補正部３７３に対して、補正値を求めるように指示する。ここで、選択部３３３は、処理対象列であるｍ列目の画素信号については、補正がなされていることを記憶する。
ステップＳ１６２において、縦筋補正部３７３は、処理対象列であるｍ列目の画素値を、その左右の列の画素値の平均値に置換して補正し、バッファ３７４に格納し、処理は、ステップＳ１６３に進む。
一方、ステップＳ１６１において、縦筋ノイズが発生していないとみなされた場合、処理は、ステップＳ１６３に進む。
ステップＳ１６３において、カウンタｍが最大値Ｍであるか否かを判定し、最大値Ｍではない場合、処理は、ステップＳ１６４に進む。
ステップＳ１６４において、補正部３０１は、カウンタｍを１インクリメントし、処理は、ステップＳ１５９に戻る。
すなわち、ステップＳ１５９乃至Ｓ１６４の処理が繰り返されて、縦筋ノイズが発生しているか否かが判定され、縦筋ノイズが発生しているとき、左右の列で補正され、補正された画素値がバッファリングされ、それ以外のとき、そのままの画素値がバッファリングされる処理が全列についてなされるまで、同様の処理が繰り返される。
そして、全ての列について処理がなされて、ステップＳ１６３において、カウンタｍが最大値Ｍであるとみなされた場合、処理は、ステップＳ１６５に進む。
すなわち、ステップＳ１５３乃至Ｓ１５８の処理により横筋補正処理がなされた後、ステップＳ１５９乃至Ｓ１６４の処理により縦筋補正処理がなされる。この処理により、横筋補正処理がなされた状態の画像に対して、縦筋補正処理がなされることになるので、縦筋補正処理部３３２におけるバッファ３７４には、縦筋補正処理と横筋補正処理とが掛けられた状態の画像の各画素が格納されることになる。
ステップＳ１６５（図３０）において、選択部３３３は、読み出すべき画像を構成する画素のうち未処理の画素を処理対象の画素（ｍ，ｎ）に設定する。
ステップＳ１６６において、選択部３３３は、補正情報に基づいて、処理対象となる画素（ｍ，ｎ）が属するｎ行またはｍ列にエラーが発生しているか否かを判定する。ステップＳ１６６において、処理対象の画素（ｍ，ｎ）にエラーが発生しているとみなした場合、処理は、ステップＳ１６７に進む。
ステップＳ１６７において、選択部３３３は、セレクタ３３４に対して縦筋補正処理部３３２のバッファ３７４に格納されている補正された処理対象の画素の画素値を読み出す選択信号である１の信号を出力する。セレクタ３３４は、選択信号に基づいて、縦筋補正処理部３３２のバッファ３７４に格納されている補正された処理対象の画素の画素値を読み出して出力する。
一方、ステップＳ１６６において、処理対象の画素にエラーが発生していないとみなした場合、処理は、ステップＳ１６８に進む。
ステップＳ１６８において、選択部３３３は、セレクタ３３４に対して補正がなされていないバッファ３３０に格納されている処理対象の画素のオリジナルの画素値を読み出す選択信号である０の信号を出力する。セレクタ３３４は、選択信号に基づいて、バッファ３３０に格納されている補正されていないオリジナルの処理対象の画素の画素値を読み出して出力する。
ステップＳ１６９において、選択部３３３は、未処理の画素があるか否かを判定し、未処理の画素がある場合、処理は、ステップＳ１６６に戻る。すなわち、全ての画素について、エラーの有無により、補正画素値か、または、補正されていないオリジナルの画素値のいずれかが選択的に読み出されるまで、ステップＳ１６５乃至Ｓ１６９の処理が繰り返される。
そして、ステップＳ１６９において、未処理の画素がないとみなされた場合、処理は、終了する。
以上の処理により、カラム単位でのADC２４２において故障が発生した場合でも、列単位、または、行単位で補正することが可能となるので、運転支援処理を継続することが可能となる。
尚、カラムADC２４２に故障が発生している際にも、Errorピンよりエラー信号が出力されているので、MCU７４は、どのカラムADC２４２において、故障が発生していることを認識することができるので、故障の発生を通知することが可能となる。ただし、カラムADC２４２に故障が発生し、縦筋のエラーや横筋のエラーが発生していても、画像信号を補正することができるので、運転支援処理を継続することが可能となる。すなわち、縦筋のエラーや横筋のエラーが発生しても、図３のフローチャートにおけるステップＳ１３においては、故障が検出されたものとして処理することなく、ステップＳ１４乃至Ｓ１７の処理により運転支援処理を継続することが可能となる。
また、以上においては、補正部３０１が、撮像素子７２に設けられる例について説明してきたが、フロントカメラECU７３内に補正部３０１を設けるようにして、同様の処理を実現するようにしてもよい。
さらに、図２７の補正部３０１においては、横筋補正処理部３３１による横筋補正処理の後、縦筋補正処理部３３２による縦筋補正処理がなされる構成例が示されているが、処理順序を入れ替えて、縦筋補正処理部３３２による縦筋補正処理がなされた後、横筋補正処理部３３１による横筋補正処理がなされる構成であってもよい。
また、横筋補正処理部３３１による横筋補正処理と、縦筋補正処理部３３２による縦筋補正処理とを並列処理できるようにして、セレクタ３３４において、オリジナルの画素値、横筋補正処理された画素値、および縦筋補正処理された画素値の３種類の画素値を、発生しているエラーの種別に応じて、選択的に出力するようにしてもよい。この３種類の画素値を選択する場合、縦筋補正処理と横筋補正処理との両方がなされた画素については、例えば、横筋補正処理された画素値を選択的に出力するようにしてもよい。
＜＜４．第４の実施の形態＞＞
以上においては、撮像素子７２およびフロントカメラECU７３の構成が、第１のチップとなる上チップ９２と、その下に積層された第２のチップである下チップ９１とがTCV９３−１，９３−２，９３−１１，９３−１２により電気的に接続された構造である例について説明してきた。しかしながら、上チップ９２と下チップ９１とは、相互に対向する位置にＣｕ配線を設けて、Ｃｕ配線とＣｕ配線とを直接接合（Ｃｕ−Ｃｕ接合）することにより電気的に接続された構造とするようにしてもよい。
図３１は、画素アレイ４３４が形成された第１の半導体チップ部４２６と、ロジック回路４５５が形成された第２の半導体チップ部４２８とが貼り合わされた積層半導体チップ４３２を有して構成された撮像素子４３１の構成例を示している。尚、図３１における撮像素子４３１が、上述した撮像素子７２およびフロントカメラECU７３に対応する構成であり、第１の半導体チップ部４２６が、上チップ９２に対応する構成であり、第２の半導体チップ部４２８が、下チップ９１に対応する構成である。
第１の半導体チップ部４２６は、薄膜化されたシリコンによる第１の半導体基板４３３に半導体ウェル領域４３０を形成し、この半導体ウェル領域４３０に、光電変換部となるフォトダイオードＰＤと、複数の画素トランジスタＴｒ１、Ｔｒ２からなる複数の画素を列状に２次元配列した画素アレイ４３４が形成される。フォトダイオードＰＤは、画素アレイ４３４を構成する有効画素アレイ４４２およびオプティカルブラック領域４４１に形成する。また、半導体基板４３３に画素アレイ４３４を制御する制御回路（不図示）を構成する複数のＭＯＳトランジスタが形成される。半導体基板４３３の表面４３３ａ側には、層間絶縁膜４５３を介して複数、この例では５層のメタルＭ１乃至Ｍ５による配線４３５［４３５ａ乃至４３５ｄ］および４３６を配置した多層配線層４３７が形成される。配線４３５および４３６は、デュアルダマシン法で形成された銅（Ｃｕ）配線が用いられる。半導体基板４３３の裏面側には、絶縁膜４３８を介してオプティカルブラック領域４４１上を含んで遮光膜４３９が形成され、さらに平坦化膜４４３を介して有効画素アレイ４４２上にカラーフィルタ４４４およびレンズアレイ４４５が形成される。オプティカルブラック領域４４１上にもレンズアレイ４４５を形成することもできる。
第１の半導体チップ部４２６の多層配線層４３７では、対応する画素トランジスタと配線４３５間、隣り合う上下層の配線４３５間が、導電ビア４５２を介して接続される。さらに、第２の半導体チップ部４２８との接合面４４０に臨んで、５層目のメタルＭ５による接続配線４３６が形成される。接続配線４３６は、導電ビア４５２を介して４層目のメタルＭ４による所要の配線４３５ｄ１に接続される。
第２の半導体チップ部４２８は、シリコンによる第２の半導体基板４５４に、半導体ウェル領域４５０を形成し、この半導体ウェル領域４５０に、周辺回路となるロジック回路４５５が形成される。ロジック回路４５５は、CMOSトランジスタを含む複数のMOSトランジスタＴｒ１１乃至Ｔｒ１４で形成される。図３１に示される、第２の半導体基板４５４の表面側上には、層間絶縁膜４５６を介して複数層、本例では４層のメタルＭ１１乃至Ｍ１４による配線４５７［４５７ａ乃至４５７ｃ］および４５８を配置した多層配線層４５９が形成される。配線４５７および４５８は、デュアルダマシン法による銅（Ｃｕ）配線が用いられる。
第２の半導体チップ部４２８の多層配線層４５９では、MOSトランジスタＴｒ１１乃至Ｔｒ１４と配線４５７間、隣り合う上下層の配線４５７間が、導電ビア４６４を介して接続される。さらに、第１の半導体チップ部４２６との接合面４４０に臨んで、４層目のメタルＭ１４による接続配線４５８が形成される。接続配線４５８は、導電ビア４６４を介して３層目のメタルＭ１３による所要の配線４５７ｃに接続される。
第１の半導体チップ部４２６と第２の半導体チップ部４２８とは、互いの多層配線層４３７および４５９が向かい合うようにして、接合面４４０に臨む接続配線４３６および４５８を直接接合して、電気的に接続される。Ｃｕ配線による接続配線４３６および４５８の直接接合は、熱拡散接合で行う。また、それ以外の方法として、互いの多層配線層４３７および４５９の表面に、絶縁性薄膜（不図示）を成膜して、プラズマ接合等で接合する方法でも可能である。このＣｕ配線による接続配線４３６および４５８の直接接合が、Ｃｕ−Ｃｕ接合である。
＜＜５．第５の実施の形態＞＞
＜５−１．３枚のチップが積層される第１の構成例＞
以上においては、撮像素子７２およびフロントカメラECU７３が、下チップ９１、および上チップ９２からなる２枚のチップを積層することにより構成される例について説明してきたが、それ以上の数のチップが積層されることにより構成されるようにしてもよく、例えば、３枚のチップが積層されることで、実現されるようにしてもよい。
図３２は、３枚のチップが積層されることにより実現される、撮像素子７２およびフロントカメラECU７３の構成例が示されている。
図３２においては、撮像素子７２およびフロントカメラECU７３が、第１層チップ５０１、第２層チップ５０２、および第３層チップ５０３が上から順に積層されて構成されるときのフロアプランが示されており、上から順に第１層チップ５０１、第２層チップ５０２、および第３層チップ５０３のそれぞれのフロアプランが示されている。
第１層チップ５０１には中央に画素アレイ（Pixel array）５１１が配置され、画素アレイ５１１の第１の側に（本実施例では画素アレイ５１１の右側に）沿って、行制御信号用TSV（Through Silicon Via：貫通電極）（TSV for row driver）５１２−１２が配置されている。
また、第２層チップ５０２の行駆動部（行デコーダ）５２２は、画素を駆動するための行制御信号を、上記行制御信号用TSV５１２−１２を介して、第１層チップ５０１の各画素行におけるそれぞれの画素に対して送信する。また、各画素行におけるそれぞれの画素には行制御信号線が接続されており、行制御信号線は行制御信号用TSV５１２−１２を介して第２層チップ５０２の行駆動部５２２に接続されている。
各画素から光電変換された画素信号を、第３層チップ５０３に配置された複数のAD（Analog to Digital）変換器５４０−１，５４０−２におけるそれぞれの比較器５４１−１，５４１−２に接続するための、画素信号用TSV５１２−１，５１２−２が画素アレイ５１１の第２，４の側に（本実施例では画素アレイ５１１の図中の上側および下側に）沿って配置されている。
また、AD変換器５４０−１，５４０−２は、それぞれ比較器（Comparator）５４１−１，５４１−２およびカウンタ（Counter）５４２−１，５４２−２を備えており、画素アレイ５１１より供給される画素信号をデジタル信号に変換する。
尚、比較器（Comparator）５４１−１，５４１−２およびカウンタ（Counter）５４２−１，５４２−２を備えたAD変換器５４０−１，５４０−２は、第２層チップ５０２に配置されるようにしてもよい。
画素信号用TSV（TSV for comparator）５１２−１，５１２−２は、各画素の垂直信号線に接続されている。また、第２層チップ５０２に、行制御信号線の故障検出部５２１が配置される場合、故障検出部５２１のTSV（TSV for 故障検出部）５１２−１１は、上記画素アレイ５１１の第３の側（本実施例では画素アレイ５１１の左側）に沿って配置される。なお、好ましくは、故障検出部５２１のTSV（TSV for 故障検出部）５１２−１１は、行制御信号線用TSV（TSV for row driver）５１２−１２に対して、画素アレイ５１１を挟んだ反対側に配置されることが望ましい。
第２層チップ５０２には、中央にDRAM５２３が複数配置されており、DRAM５２３の第１の側に（本実施例ではDRAM５２３の右側に）沿って、行駆動部５２２が配置されている。また、比較器５４１−１，５４１−２が第３層チップ５０３にある場合はDRAM５２３の第２，４の側に（本実施例では画素アレイ５１１の図中の上側および下側に沿って）、画素信号を転送するための画素信号用TSV５１２−１，５１２−２が配置される。
なお、AD変換器５４０−１，５４０−２を構成する比較器５４１−１，５４１−２が第２層チップ５０２に構成され、カウンタ５４２−１，５４２−２が第３層チップ５０３に構成される場合、第２層チップ５０２におけるDRAM５２３の上側および下側に比較器５４１−１，５４１−２が配置され、比較器５４１−１，５４１−２からの信号を第３層チップ５０３のカウンタ５４２−１，５４２−２に転送するための画素信号用TSV５１２−１，５１２−２が、さらに複数の比較器５４１−１，５４１−２の下側に配置される。さらに、DRAM５２３の第３の側に（本実施例ではDRAM５２３の図中の左側に）故障検出部５２１が配置される。好ましくは、行駆動部５２２は、DRAM５２３を挟んで、故障検出部５２１に対して反対側に配置されることが望ましい。
第３層チップ５０３にはDRAM５２３の直下にDRAM５２３を制御するためのDRAM制御回路（DRAM Controller）５４５が配置され、DRAM制御回路５４５からの制御信号をDRAM５２３に転送するためのDRAM制御信号用TSV（TSV for DRAM）５４４が配置される。また、AD変換器５４０−１，５４０−２を構成する比較器５４１−１，５４１−２が第２層チップ５０２に構成され、カウンタ５４２−１，５４２−２が第３層チップ５０３に構成される場合、比較器５４１−１，５４１−２からの信号は、TSV５１２−１，５１２−２を介してカウンタ５４２−１，５４２−２に転送される。
また、第３層チップ５０３に複数のAD変換器５４０−１，５４０−２がある場合は、第２層チップ５０２の画素信号用TSV５１２−１，５１２−２と接続された、第３層チップ５０３の画素信号用TSV５１２−１，５１２−２が、それぞれAD変換器５４０−１，５４０−２の上側および下側に配置される。また、SRAMメモリ５４３はカウンタ５４２−２の図中の上部に配置される。なお、図３２においては、上下に複数のAD変換器５４０−１，５４０−２を設ける構成が示されているが、図３２中の上側、または、下側のいずれか１か所にAD変換器５４０を集約して、１個のAD変換器５４０で全ての画素信号を読みだす構成にしてもよい。また、故障検出部５２１からの検出信号を、図示しない信号処理回路に転送するための故障検出部用TSVが故障検出部５２１の直下に配置される。
尚、上述した第１層チップ５０１、第２層チップ５０２、および第３層チップ５０３のそれぞれを電気的に接続するTSV５１２は、いずれもＣｕ−Ｃｕ接合でもよい。また、ここで、画素アレイ５１１は、画素アレイ１０１に対応する構成であり、TSV５１２は、TCV９３に対応する構成である。
＜５−２．３枚のチップにより積層される第２の構成例＞
以上においては、故障検出部５２１が、第２層チップ５０２に設けられている例について説明してきたが、第３層チップ５０３に設けられるようにしてもよい。
図３３は、故障検出部５２１が、第３層チップ５０３に設けられるときの構成例を示している。尚、図３３において、図３２の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図３３においては、故障検出部５２１が、第３層チップ５０３の図中の左端部に配置されている。これに伴って、第２層チップ５０３のDRAM５２３の左側には、故障検出部用TSV５１２−１１が設けられる。
＜５−３．３枚のチップにより積層される第３の構成例＞
以上においては、行駆動部５２２が、第２層チップ５０２に設けられる例について説明してきたが、第３層チップ５０３に設けられるようにしてもよい。
図３４のフロアプランは、図３２における第２層チップ５０２の行駆動部５２２を、第３層チップ５０３に設けるようにした構成例である。この場合、第３層チップ５０３上の行駆動部５２２が、画素アレイ５１１上の各画素に制御信号を送信する必要があるので、第２層チップ５０２には、行駆動部５２２に代えて、行駆動部用TSV５１２−１２がDRAM５２３の右側に設けられる。
＜５−４．３枚のチップにより積層される第４の構成例＞
以上においては、行駆動部５２２が、第３層チップ５０３に設けられる例について説明してきたが、さらに、故障検出部５２１も第３層チップ５０３に設けるようにしてもよい。
図３５のフロアプランは、図３２における第２層チップ５０２の行駆動部５２２と故障検出部５２１とを、いずれも第３層チップ５０３に設けるようにした構成例である。この場合、第３層チップ５０３上の故障検出部５２１と行駆動部５２２とが、画素アレイ５１１上の各画素に制御信号を送受信する必要があるので、第２層チップ５０２には、故障検出部５２１および行駆動部５２２に代えて、故障検出部用TSV５１２−１１および行駆動部用TSV５１２−１２が、それぞれDRAM５２３の左右に設けられる。
＜５−５．３枚のチップにより積層される第５の構成例＞
以上においては、DRAM５２３が、第２層チップ５０２に設けられる例について説明してきたが、例えば、図３５で示される第２層チップ５０２のフロアプランにおける構成と第３層チップ５０３のフロアプランにおける構成とをそれぞれ入れ替えるようにしてもよい。
図３６は、図３５で示される第２層チップ５０２上のDRAM５２３を第３層チップ５０３上に設け、第３層チップ上のAD変換器５４０−１，５４０−２、TSV５４４、DRAM制御部５４５、およびDAC５４６を第２層チップ５０２に設けるようにした構成例である。
ただし、故障検出部５２１、行駆動部５２２は、第２層チップ５０２に設けられることにより、第３層チップ５０３には、故障検出部用TSV５１２−１１および、行駆動部用TSV５１２−１２が不要となる。
＜＜６．画素信号用TSVについて＞＞
＜６−１．比較器とカウンタとが同一チップに配置される場合の画素信号用TSV＞
次に、画素信号用TSVの構成例について説明する。
図３２乃至図３５を参照して説明した３枚のチップが積層された実施例においては、AD変換器５４０−１，５４０−２を構成する比較器５４１−１，５４１−２とカウンタ５４２−１，５４２−２とは、同一の第３のチップ５０３に構成されている。
このため、画素アレイ５１１における各画素の画素信号は、第２のチップ５０２を経由することなく、第１のチップ５０１から第３のチップ５０３に直接転送される。
したがって、画素信号用TSV５１２−１，５１２−２は、例えば、図３７で示されるように構成される。
図３７において、画素信号用TSV５１２−１，５１２−２は、第１層チップ５０１および第３層チップ５０３とが電気的接続されるコンタクトにより形成されている。画素信号用TSV５１２−１，５１２−２を構成するコンタクトは、第１層チップ５０１のコンタクトに接続されるとともに、第３層チップ５０３のアルミパッドに接続されている。
図３７で示されるように構成される画素信号用TSV５１２−１，５１２−２を介して、第１層チップ５０１上の画素アレイ５１１を構成する画素の画素信号が、第３層チップ５０３のAD変換器５４０−１，５４０−２に転送される。
尚、以上においては、画素信号用TSV５１２−１，５１２−２について説明してきたが、故障検出部用TSV５１２−１１および行駆動部用TSV５１２−１２についても、故障検出部５２１、および行駆動部５２２が第３層チップ５０３に設けられる場合については、図３７で示される画素信号用TSV５１２−１，５１２−２と同様に構成されるようにしてもよい。
＜６−２．比較器とカウンタとが異なるチップに配置される場合の画素信号用TSV＞
以上においては、AD変換器５４０−１，５４０−２を構成する比較器５４１−１，５４１−２とカウンタ５４２−１，５４２−２とが、同一の第３層チップ５０３に構成される例について説明してきたが、異なるチップに構成されるようにしてもよい。
すなわち、例えば、比較器５４１−１，５４１−２が第２層チップ５０２に設けられ、カウンタ５４２−１，５４２−２が第３層チップ５０３に設けられ、AD変換器５４０−１，５４−２が構成される場合、第１層チップ５０１に構成される画素アレイ５１１の各画素からの画素信号は、第２層チップ５０２の比較器５４１−１，５４１−２に出力され、比較器５４１−１，５４１−２の比較結果が第３層チップ５０３のカウンタ５４２−１，５４２−２に転送される。
したがって、画素信号用TSV５１２−１，５１２−２は、例えば、図３８で示されるように、第１層チップ５０１と第２層チップ５０２とを電気的に接続するコンタクトからなる画素信号用TSV５１２ａ−１，５１２ａ−２と、第２層チップ５０２と第３層チップ５０３とを電気的に接続するコンタクトからなる画素信号用TSV５１２ｂ−１，５１２ｂ−２とから構成される。
このような構成により、第１層チップ５０１に構成される画素アレイ５１１の各画素からの画素信号は、画素信号用TSV５１２ａ−１，５１２ａ−２を介して、第２層チップ５０２の比較器５４１−１，５４１−２に出力される。また、比較器５４１−１，５４１−２の比較結果が、画素信号用TSV５１２ｂ−１，５１２ｂ−２を介して、第３層チップ５０３のカウンタ５４２−１，５４２−２に転送される。
尚、以上においては、画素信号用TSV５１２−１，５１２−２について説明してきたが、故障検出部用TSV５１２−１１についても、故障検出部５２１が第２層チップ５０３に設けられる場合については、図３８で示される画素信号用TSV５１２−１，５１２−２と同様に構成されるようにしてもよい。
＜＜７．ADCの種別について＞＞
＜７−１．カラムADC＞＞
次に、ADCの種別について説明する。まず、図３９を参照して、ADCのうち、カラムADCについて説明する。
図３９は、カラムADCを説明するための撮像素子の構成例を示す図である。図３９の撮像素子７０１は、画素アレイ部７１１と、駆動部７１２とを備える。また、駆動部７１２は、行駆動部７２１−１および行駆動部７２１−２と、アナログデジタル（ＡＤ）変換ユニット７２２と、試験電圧生成部７２３と、参照信号生成部７２４と、制御部７２５と、信号処理部７２６と、故障検出部７２７とを備える。
画素アレイ部７１１は、照射された光に応じた画像信号を生成する画素７４１が行列形状に配置されて構成されたものである。また、この画素アレイ部７１１には、画素７４１に制御信号を伝達する信号線である信号線７１３が行毎に配置され、それぞれの行に配置された画素７４１に対して共通に配線される。信号線７１３には、転送制御信号を伝達する転送制御信号線とリセット制御信号を伝達するリセット制御信号線と画素７４１からの画像信号の出力を制御する画素選択制御信号線とが含まれる。また、画素アレイ部７１１には、画素７４１により生成された画像信号を伝達するための信号線７４２が列毎に配置され、それぞれの列に配置された画素７４１に対して共通に配線される。
また、画素アレイ部７１１には、信号線７１３の故障を検出するための試験信号を生成する試験信号生成部７４３が行毎に配置される。この試験信号生成部７４３は、各行の両端に配置され、画素７４１と同様に信号線７４２および７１３が配線される。また、試験信号生成部７４３には、試験電圧を伝達する信号線７１４がさらに配線される。ここで、試験電圧とは、上述の転送制御信号線およびリセット制御信号線の故障を検出するための信号である。試験信号生成部７４３は、転送試験信号およびリセット試験信号を試験信号として生成する。転送試験信号は試験電圧および転送制御信号に基づいて生成され、リセット試験信号は試験電圧およびリセット制御信号に基づいて生成される。
行駆動部７２１−１および７２１−２は、画素７４１の制御信号を生成し、信号線７１３を介して出力するものである。この行駆動部７２１−１および７２１−２は、上述の転送制御信号、リセット制御信号および画素選択制御信号を制御信号として生成する。また、行駆動部７２１−１および７２１−２は、同一の制御信号を生成し、同時に信号線７１３に対して出力する。制御信号の生成に冗長性を持たせるためである。
アナログデジタル変換ユニット７２２は、画素７４１により生成された画像信号をデジタルの画像信号に変換するものである。このアナログデジタル変換ユニット７２２は、アナログデジタル変換を行うアナログデジタル変換部７３１が画素アレイ部７１１の列毎に配置され、それぞれに信号線７４２が配線される。また、アナログデジタル変換ユニット７２２には、試験信号生成部７４３等により生成された試験信号のアナログデジタル変換を行うためのアナログデジタル変換部７３１がさらに配置される。アナログデジタル変換により生成されたデジタルの画像信号は、信号処理部７２６に対して出力される。一方、デジタルの試験信号は、故障検出部７２７に対して出力される。
試験電圧生成部７２３は、試験電圧を生成し、信号線７１４を介して試験信号生成部７４３に対して出力するものである。この試験電圧生成部７２３は、転送試験電圧およびリセット試験電圧を試験電圧として生成する。転送試験電圧およびリセット試験電圧は、それぞれ電圧が異なる試験電圧である。転送試験電圧は試験信号生成部７４３等において転送試験信号が生成される際に生成される試験電圧であり、リセット試験電圧は試験信号生成部７４３等においてリセット試験信号が生成される際に生成される試験電圧である。
参照信号生成部７２４は、参照信号を生成し、アナログデジタル変換ユニット７２２に対して出力するものである。この参照信号は、信号線７１５を介して出力される。この参照信号として、電圧がランプ状に低下する信号を使用することができる。参照信号生成部７２４は、アナログデジタル変換の開始と同期して参照信号の生成を開始する。
制御部７２５は、撮像素子７０１の全体を制御するものである。この制御部７２５は、行駆動部７２１−１および７２１−２を制御するための共通の制御信号を生成し、信号線７１６を介して行駆動部７２１−１および７２１−２に出力する。また、制御部７２５は、アナログデジタル変換ユニット７２２に配置されたアナログデジタル変換部７３１を制御するための共通の制御信号を生成し、信号線７１７を介して全てのアナログデジタル変換部７３１に対して出力する。
故障検出部７２７は、試験信号生成部７４３等から出力された故障信号に基づいて信号線７１３の故障を検出するものである。この故障検出部７２７は、転送試験信号およびリセット試験信号に基づいて転送試験信号線、リセット試験信号線および画素選択制御信号線の故障を検出する。故障の検出は、試験信号生成部７４３等から出力された試験信号と正常時の試験信号とを比較することにより行うことができる。故障検出部７２７の構成の詳細については後述する。
同図の撮像素子７０１においては、画素アレイ部７１１および駆動部７１２は、異なる半導体チップに形成される。画素アレイ部７１１は、画像信号の生成を行うため、比較的高い電源電圧により動作する。一方、駆動部７１２は、デジタル的な信号処理を行う。このため、駆動部７１２には、高速な処理が要求され、比較的低い電源電圧が供給される。このように、画素アレイ部７１１および駆動部７１２は、性質が異なる回路によりそれぞれ構成される。そこで、画素アレイ部７１１および駆動部７１２を分離し、それぞれに適したプロセスにより製造される半導体チップに形成する。その後、これらの半導体チップを貼り合わせることにより、撮像素子７０１を構成する。これにより、撮像素子７０１のコストパフォーマンスを向上させることができる。この場合、信号線７４２、７１３および７１４は、異なる半導体チップ間の信号伝達を行うこととなる。
なお、画素アレイ部７１１、行駆動部７２１−１および７２１−２、アナログデジタル変換ユニット７２２、試験電圧生成部７２３、参照信号生成部７２４、制御部７２５、信号処理部７２６、および故障検出部７２７は、撮像素子７０１を構成する。
また、図３９の例においては、行駆動部７２１−１および７２１−２が設けられ、同一の機能を備えた行駆動部７２１が２個設けられた撮像素子７０１の例が示されているが、いずれか１個にしてもよい。
さらに、信号処理部７２６は、アナログデジタル変換部７３１から出力されたデジタルの画像信号を処理するものである。この処理として、例えば、複数のアナログデジタル変換部７３１から出力されたデジタルの画像信号を順次転送する水平転送を行うことができる。
図３９の撮像素子７０１におけるアナログデジタル変換ユニット７２２のように、アナログデジタル変換を行う複数のアナログデジタル変換部７３１が画素アレイ部７１１の列毎に配置され、行単位で画像信号をアナログデジタル変換するアナログデジタル回路を、カラムADC回路という。
本開示の図４のカラムADC１１１、図５の画像信号出力部１０３、図１８のADC２４２は、図３９を参照して説明したカラムADC回路により実現してもよい。また、図３２，図３５乃至図３８のAD変換器５４０は、カラムADC回路であってもよい。
＜７−２．エリアADC＞＞
次に、図４０を参照して、エリアADCについて説明する。図４０は、エリアADCを説明するための撮像素子７０１の構成例を示す図である。尚、図４０において、図３９における撮像素子７０１と同一の機能を備えた構成についは、同一の符号を付しており、その説明は適宜省略するものとする。すなわち、図４０の撮像素子７０１は、複数のアナログデジタル変換ユニット７８１を備える点で、図３９の撮像素子７０１と異なる。
図４０の撮像素子７０１の画素アレイ部７１１は、画素７４１に代えて、画素ユニット７７１が行列形状に配置される。また、試験信号生成部７４３の代わりに故障検出ユニット７７２が行毎に配置される。また、信号線７１３および７１４が図３９において説明した画素アレイ部７１１と同様に、画素ユニット７７１および故障検出ユニット７７２に対して配線される。
図４０の撮像素子７０１において、アナログデジタル変換ユニット７８１は、画素アレイ部７１１に配置された画素ユニット７７１および故障検出ユニット７７２毎に配置され、画像信号等のアナログデジタル変換をそれぞれ行い、変換後の画像信号等を信号処理部７２６または故障検出部７２７に対してそれぞれ出力する。画素ユニット７７１および故障検出ユニット７７２と、これらに対応するアナログデジタル変換ユニット７８１とは、信号線７４２により個別に配線される。
尚、図４０の例においては、行駆動部７２１−１および７２１−２が設けられ、同一の機能を備えた行駆動部７２１が２個設けられた撮像素子７０１の例が示されているが、いずれか１個にしてもよい。
図４０の撮像素子７０１のアナログデジタル変換ユニット７８１のように、所定のエリア内の複数の画素からなる画素ユニット７７１毎に配置され、エリア単位で画像信号をアナログデジタル変換するアナログデジタル変換回路を、エリアADC回路という。
本開示の図４のカラムADC１１１、図５の画像信号出力部１０３、図１８のADC２４２は、それぞれに代えて、図４０を参照して説明したエリアADC回路を用いるようにしてもよい。また、図３２，図３５乃至図３８のAD変換器５４０は、エリアADC回路であってもよい。
尚、画素ユニット７７１が１画素により構成される場合、アナログデジタル変換ユニット７８１は、特に、画素ADC回路という。すなわち、この場合、画素単位でアナログデジタル変換ユニット７８１が構成される。
＜＜８．WCSPの構造例＞＞
＜８−１．WCSPの概略の構造例＞
図４１は、本技術を採用した半導体装置としての撮像素子にWCSP（Waferlevel Chip Size Package）を採用するときの概略の構造例を示している。
図４１に示される撮像素子８０１は、図中の矢印の方向で装置に入射する光もしくは電磁波を電気信号へ変換する。以後、本開示では、便宜上、電気信号へと変換する対象として、光を電気信号へ変換する装置を例に用いて説明する。
撮像素子８０１は、第１構造体８５１と第２構造体８５２とが積層された積層構造体８５３と、外部端子８５４と、第１構造体８５１の上側に形成された保護基板８５８とを備える。なお、以下では、便宜上、図４１における、光が装置へ入射する入射面の側を上側、入射面と対向する装置のもう一方の面の側を下側として、第１構造体８５１を上側構造体８５１、第２構造体８５２を下側構造体８５２と称する。
この撮像素子８０１は、後で述べるように、上側構造体８５１の一部を構成する半導体基板（ウエハ）と、下側構造体８５２の一部を構成する半導体基板（ウエハ）と、保護基板８５８とを、ウエハレベルで貼り合せた後、個々の撮像素子８０１へと固片化して形成される。
固片化される前の上側構造体８５１は、半導体基板（ウエハ）に、入射した光を電気信号へ変換するための画素が形成されたものである。画素は、例えば、光電変換するためのフォトダイオード（PD）と、光電変換動作や光電変換された電気信号を読み出す動作を制御する、複数個の画素トランジスタを備える。固片化された後の撮像素子８０１に含まれる上側構造体８５１は、上側チップ、イメージセンサ基板、または、イメージセンサチップと呼ばれる場合もある。
撮像素子８０１が備える画素トランジスタは、例えば、MOSトランジスタであることが望ましい。
上側構造体８５１の上面には、例えば、R（赤）、G（緑）、またはB(青)のカラーフィルタ８５５とオンチップレンズ８５６が形成されている。オンチップレンズ８５６の上側には、撮像素子８０１の構造物、特にオンチップレンズ８５６やカラーフィルタ８５５を保護するための保護基板８５８が配置されている。保護基板８５８は、例えば透明なガラス基板である。保護基板８５８はその硬度がオンチップレンズ８５６の硬度よりも高いと、オンチップレンズ８５６を保護する作用が強まる。
固片化される前の下側構造体８５２は、半導体基板（ウエハ）に、トランジスタと配線とを含む半導体回路が形成されたものである。固片化された後の撮像素子８０１に含まれる下側構造体８５２は、下側チップ、信号処理基板、または、信号処理チップと呼ばれる場合もある。下側構造体８５２には、装置外部の不図示の配線と電気的に接続するための外部端子８５４が、複数、形成されている。外部端子８５４は、例えば、はんだボールである。
撮像素子８０１は、オンチップレンズ８５６上に配置されたガラスシール樹脂８５７を介して、上側構造体８５１の上側もしくはオンチップレンズ８５６の上側に保護基板８５８が固定されたキャビティレス構造を成している。ガラスシール樹脂８５７は、その硬度が保護基板８５８の硬度よりも低いため、シール樹脂が存在しない場合と比較すると、撮像素子８０１の外部から保護基板８５８へ加わった応力が装置内部へと伝わるのを緩和する作用を果たし得る。
なお、撮像素子８０１は、キャビティレス構造と異なる構造として、上側構造体８５１の上面に、柱状もしくは壁状の構造を形成し、保護基板８５８がオンチップレンズ８５６の上方に空隙を持って担持されるように、上記柱状もしくは壁状の構造に固定されたキャビティ構造を成しても良い。
＜８−２．撮像素子の回路配置構成例＞
次に、撮像素子８０１の回路の配置、すなわち、図４１に示した撮像素子８０１の各ブロックを、上側構造体８５１と下側構造体８５２とにどのように分けて搭載するかを説明する。
図４２は、撮像素子８０１における回路配置の回路配置構成例を示す図である。
回路配置構成例においては、アレイ上に配置された複数の画素８７１からなる画素アレイ部８６４は上側構造体８５１に配置されている。
撮像素子８０１に備わる画素周辺回路部のうち、行駆動部８６２は、一部が上側構造体８５１に配置され、かつ、一部が下側構造体８５２に配置されている。例えば、行駆動部８６２のうち、行駆動回路部が上側構造体８５１に配置され、行デコーダ部が下側構造体８５２に配置されている。
上側構造体８５１に配置される行駆動部８６２は、画素アレイ部８６４の行方向の外側に配置され、下側構造体８５２に配置される行駆動部８６２は、少なくともその一部が上側構造体８５１に備わる行駆動部８６２の下側に配置されている。
撮像素子８０１に備わる画素周辺回路部のうち、列信号処理部８６５は、一部が上側構造体８５１に配置され、かつ、一部が下側構造体８５２に配置されている。例えば、列信号処理部８６５のうち、負荷回路部、増幅回路部、ノイズ処理部、及び、ADCのコンパレータ部が上側構造体８５１に配置され、ADCのカウンタ部が下側構造体８５２に配置されている。
上側構造体８５１に配置される列信号処理部８６５は、画素アレイ部８６４の列方向の外側に配置され、下側構造体８５２に配置される列信号処理部８６５は、少なくともその一部が上側構造体８５１に備わる列信号処理部８６５の下側に配置されている。
上側構造体８５１に配置された行駆動部８６２の外側と、下側構造体８５２に配置された行駆動部８６２の外側には、これら２つの行駆動部８６２の配線を接続するための配線接続部８６９が配置されている。
上側構造体８５１に配置された列信号処理部８６５の外側と、下側構造体８５２に配置された列信号処理部８６５の外側にも、これら２つの列信号処理部８６５の配線を接続するための配線接続部８６９が配置されている。これらの配線接続部８６９においては、この後、図４３を用いて説明する配線接続構造が用いられている。
下側構造体８５２に配置された行駆動部８６２と列信号処理部８６５の内側に、画像信号処理部８６６が配置されている。
下側構造体８５２において、入出力回路部８８９は、上側構造体８５１の画素アレイ部８６４の下側となる領域に配置される。
入出力回路部８８９は、入力回路部と出力回路部の双方もしくは少なくとも一方を含む回路部である。入出力回路部８８９が入力回路部と出力回路部の双方で構成される場合、入出力回路部８８９は、１つの外部端子８５４ごとに分かれて、下側構造体８５２に複数個配置される。入出力回路部８８９が入力回路部のみで構成される場合、入力回路部は、１つの外部端子８５４（入力端子）ごとに分かれて、下側構造体８５２に複数個配置される。入出力回路部８８９が出力回路部のみで構成される場合、出力回路部は、１つの外部端子８５４（出力端子）ごとに分かれて、下側構造体８５２に複数個配置される。これら複数個に分かれて配置された各入出力回路部８８９の周囲には、画像信号処理部が配置されている。言い換えれば、画像信号処理部を配置した領域内に、入出力回路部８８９が配置されている。
なお、下側構造体８５２において、入出力回路部８８９は、上側構造体８５１の行駆動部８６２の下側もしくは列信号処理部８６５の下側となる領域に配置されても良い。
言い換えると、入出力回路部８８９は、外部端子８５４が形成される下側構造体８５２側で、かつ、上側構造体８５１の画素アレイ部８６４の領域の下方、若しくは、上側構造体８５１の画素周辺回路部（図４の画素周辺回路領域１０１３のうち、上側構造体８５１に形成される回路部）の下方の任意の領域に配置することができる。
＜８−３．撮像素子の断面構造＞
本実施形態に係る撮像素子８０１の断面構造と回路配置を、図４３を参照してさらに説明する。
図４３は、図４２のＡ−Ａ’線における撮像素子８０１に係る断面構造を示す図である。
撮像素子８０１に備わる上側構造体８５１とその上方とを含めた部分には、オンチップレンズ８５６とカラーフィルタ８５５と画素トランジスタとフォトダイオード８９１とを有する画素８７１（図４２）が、複数個、アレイ状に配列された画素アレイ部８６４が配置されている。画素アレイ部８６４の領域（画素アレイ領域）には、画素トランジスタ領域１００１も配置される。画素トランジスタ領域１００１は、転送トランジスタ、増幅トランジスタ、リセットトランジスタのうちの少なくとも１つの画素トランジスタが形成される領域である。
下側構造体８５２に備わる半導体基板９２１の下側の表面で、かつ、上側構造体８５１に備わる画素アレイ部８６４の下方に位置する領域には、外部端子８５４が複数個配置されている。
なお、図４３の説明おいては、「下側構造体８５２に備わる半導体基板９２１の下側の表面で、かつ、上側構造体８５１に備わる画素アレイ部８６４の下方に位置する領域」を第１特定領域、「下側構造体８５２に備わる半導体基板９２１の上側の表面で、かつ、上側構造体８５１に備わる画素アレイ部８６４の下方に位置する領域」を第２特定領域と称する。
第１特定領域に配置された複数個の外部端子８５４の少なくとも一部は、外部から撮像素子８０１へ信号を入力するための信号入力端子もしくは撮像素子８０１から外部へ信号を出力するための信号出力端子８５４Ｂである。言い換えれば、信号入力端子８５４Ａ及び信号出力端子８５４Ｂは、外部端子８５４のなかから、電源端子及び接地端子を除いた外部端子８５４である。これらの信号入力端子８５４Ａもしくは信号出力端子８５４Ｂを、信号入出力端子８５４Ｃと称する。
第１特定領域であって、かつ、これら信号入出力端子８５４Ｃの近傍に、半導体基板９２１を貫通する貫通ビア９２８が配置される。なお、半導体基板９２１を貫通するビアホールとその内部に形成されたビア配線とを併せて、単に貫通ビア９２８とも称する。
この貫通ビアホールは、半導体基板９２１の下側表面から、半導体基板９２１の上側表面上方に配置された多層配線層９２２の一部であってビアホールの終端（底部）となる導電性パッド１０２２（以後、ビア用パッド１０２２とも称する）まで、掘り込んで形成された構造であることが望ましい。
第１特定領域に配置された信号入出力端子８５４Ｃは、同じく第１特定領域に配置された貫通ビア９２８（より具体的には、貫通ビアホール内に形成されたビア配線）へ電気的に接続される。
第２特定領域であって、かつ、信号入出力端子８５４Ｃおよび上記貫通ビアの近傍となる領域に、入力回路部もしくは出力回路部を備えた入出力回路部８８９が配置される。
第１特定領域に配置された信号入出力端子８５４Ｃは、貫通ビア９２８とビア用パッド１０２２と、あるいはまた多層配線層９２２の一部とを介して、入出力回路部８８９へ電気的に接続される。
入出力回路部８８９を配置した領域を入出力回路領域１０１１と呼ぶ。下側構造体８５２に備わる半導体基板９２１の上側の表面には、入出力回路領域１０１１に隣接して信号処理回路領域１０１２が形成されている。信号処理回路領域１０１２は、画像信号処理部が形成される領域である。
画素アレイ部８６４の各画素を駆動させる行駆動部や列信号処理部の全部もしくは一部を含む画素周辺回路部を配置した領域を、画素周辺回路領域１０１３と呼ぶ。上側構造体８６１に備わる半導体基板９４１の下側の表面及び下側構造体８５２に備わる半導体基板９２１の上側の表面のうち、画素アレイ部８６４の外側となる領域には、画素周辺回路領域１０１３が配置されている。
信号入出力端子８５４Ｃは、下側構造体８５２に配置された、入出力回路領域１０１１の下側の領域に配置されて良いし、あるいは、信号処理回路領域１０１２の下側となる領域に配置されても良い。あるいは、信号入出力端子８５４Ｃは、下側構造体８５２に配置された、行駆動部もしくは列信号処理部などの画素周辺回路部の下側に配置されても良い。
上側構造体８５１の多層配線層９４２に含まれる配線と、下側構造体８５２の多層配線層９２２に含まれる配線とを接続する配線接続構造を上下配線接続構造とも称し、この構造を配置した領域を上下配線接続領域１０１４とも称する。
上下配線接続構造は、上側構造体８５１の上側の表面から半導体基板９４１を貫通し多層配線層９４２に至る第１貫通電極（シリコン貫通電極）９４９と、上側構造体８５１の上側の表面から半導体基板９４１と多層配線層９４２を貫通し下側構造体８５２の多層配線層９２２に至る第２貫通電極（チップ貫通電極）９４５と、これら２つの貫通電極（Through Silicon Via, TSV）を接続するための貫通電極接続配線９４６とによって形成されている。このような上下配線接続構造は、ツインコンタクト構造とも称する。
画素周辺回路領域１０１３の外側に、上下配線接続領域１０１４が配置されている。
本実施形態では、画素周辺回路領域１０１３が、上側構造体８５１と下側構造体８５２の両方に形成されているが、いずれか一方のみに形成することもできる。
また、上下配線接続領域１０１４が、画素アレイ部８６４の外側であって、かつ、画素周辺回路領域１０１３の外側に配置されているが、画素アレイ部８６４の外側であって、かつ、画素周辺回路領域１０１３の内側に配置されてもよい。
さらに、上側構造体８５１の多層配線層９４２と下側構造体８５２の多層配線層９２２とを電気的に接続する構造として、シリコン貫通電極９４９とチップ貫通電極９４５の２本の貫通電極を用いて接続するツインコンタクト構造を採用した。
上側構造体８５１の多層配線層９４２と下側構造体８５２の多層配線層９２２とを電気的に接続する構造としては、例えば、上側構造体８５１の配線層９４３と、下側構造体８５２の配線層９２３のそれぞれが、１本の貫通電極に共通に接続するシェアコンタクト構造としてもよい。
＜８−４．他の上下配線接続構造を用いた場合の撮像素子の回路配置＞
他の上下配線接続構造を用いた場合の、撮像素子８０１の回路の配置と断面構造を、図４４を参照して説明する。
図４４は、図４２に示す上下配線接続構造とは異なる構造を用いた場合の、図４２のＡ−Ａ’線における撮像素子８０１に係る断面構造を示す図である。
図４４の画素周辺回路領域１０１３において、上側構造体８５１の多層配線層９４２は、一部の配線を多層配線層９４２の最下面、言い換えれば、上側構造体８５１と下側構造体８５２との接合面に配置している。また、下側構造体８５２の多層配線層９２２も、一部の配線を多層配線層９２２の最上面、言い換えれば、上側構造体８５１と下側構造体８５２との接合面に配置している。そして、多層配線層９４２の一部の配線と、多層配線層９２２の一部の配線が、この接合面における略同一の位置に配置されて、配線どうしが電気的に接続されている。配線どうしを電気的に接続する形態としては、２つの配線を直接接触させる形態で良いし、あるいは、２つの配線間に薄膜の絶縁膜や高抵抗膜が形成され、形成された膜が一部で電気的に導通している形態であっても良い。あるいは、２つの配線間に薄膜の絶縁膜や高抵抗膜が形成され、２つの配線が容量結合によって電気信号を伝播させる形態であっても良い。
上側構造体８５１の多層配線層９４２の配線の一部の配線と下側構造体８５２の多層配線層９２２の配線の一部の配線を上記接合面の略同一の位置に形成し２つの配線を電気的に接続する構造の総称として、上下配線直接接続構造あるいは単に配線直接接続構造とも称する。
上記略同一の位置の具体的な例としては、例えば、撮像素子８０１を上側から下側方向へ平面視した場合に、電気的に接続する上記２つの配線の少なくとも一部が重なる位置であれば良い。接続する２つの配線の材料として、例えば、銅（Ｃｕ）を用いた場合には、この接続構造を、Ｃｕ−Ｃｕ直接接合構造あるいは単にＣｕ−Ｃｕ接合構造と呼ぶ場合がある。
上下配線直接接続構造を用いる場合には、この接続構造を画素アレイ部８６４の外側に配置することができる。あるいは、この接続構造を、上側構造体８５１が備える画素周辺回路領域１０１３の内部と、下側構造体８５２が備える画素周辺回路領域１０１３の内部とに、配置することができる。より具体的には、上下配線直接接続構造を構成する配線のうち、上記接合面の上側構造体８５１の側に配置する配線は、上側構造体８５１の画素周辺回路領域１０１３に備わる回路の下側に配置することができる。また、上下配線直接接続構造を構成する配線のうち、上記接合面の下側構造体８５２の側に配置する配線は、下側構造体８５２の画素周辺回路領域１０１３に備わる回路の上側に配置することができる。あるいは、上側構造体８５１の配線として画素アレイ部８６４（画素トランジスタ領域１００１）に配置された配線を用いて、これと下側構造体８５２の配線とによる上下配線直接接続構造を、画素アレイ部８６４（画素トランジスタ領域１００１）の下方に配置することもできる。
＜８−５．撮像素子の詳細構造＞
次に、図４５を参照して、撮像素子８０１の詳細構造について説明する。図４５は、ツインコンタクト構造を備えた撮像素子８０１の外周付近を拡大して示した断面図である。
下側構造体８５２には、例えばシリコン（Si）で構成された半導体基板９２１の上側（上側構造体８５１側）に、多層配線層９２２が形成されている。この多層配線層９２２により、図４２に示した入出力回路領域１０１１、信号処理回路領域１０１２（図４５では不図示）、画素周辺回路領域１０１３などが形成されている。
多層配線層９２２は、上側構造体８５１に最も近い最上層の配線層９２３ａ、中間の配線層９２３ｂ、及び、半導体基板９２１に最も近い最下層の配線層９２３ｃなどからなる複数の配線層９２３と、各配線層９２３の間に形成された層間絶縁膜９２４とで構成される。
複数の配線層９２３は、例えば、銅（Ｃｕ）、アルミニウム（Ａｌ）、タングステン（Ｗ）などを用いて形成され、層間絶縁膜９２４は、例えば、シリコン酸化膜、シリコン窒化膜などで形成される。複数の配線層９２３及び層間絶縁膜９２４のそれぞれは、全ての階層が同一の材料で形成されていてもよいし、階層によって２つ以上の材料を使い分けてもよい。
半導体基板９２１の所定の位置には、半導体基板９２１を貫通するシリコン貫通孔９２５が形成されており、シリコン貫通孔９２５の内壁に、絶縁膜９２６を介して接続導体９２７が埋め込まれることにより、貫通ビア（TSV：Through Silicon Via）９２８が形成されている。絶縁膜９２６は、例えば、SiO2膜やSiN膜などで形成することができる。貫通ビア９２８は、本実施形態では、外部端子８５４側よりも配線層９２３側の平面積が小さい逆テーパ形状となっているが、反対に、外部端子８５４側の平面積が小さい順テーパ形状でもよいし、外部端子８５４側と配線層９２３側の面積が略同一の非テーパ形状でも良い。
貫通ビア９２８の接続導体９２７は、半導体基板９２１の下面側に形成された再配線９３０と接続されており、再配線９３０は、外部端子８５４と接続されている。接続導体９２７及び再配線９３０は、例えば、銅（Cu）、タングステン（W）、チタン（Ti）、タンタル（Ta）、チタンタングステン合金（TiW）、ポリシリコンなどで形成することができる。
また、半導体基板９２１の下面側には、外部端子８５４が形成されている領域を除いて、再配線９３０と絶縁膜９２６を覆うように、ソルダマスク（ソルダレジスト）９３１が形成されている。
一方、上側構造体８５１には、例えば、シリコン（Si）で構成された半導体基板９４１の下側（下側構造体８５２側）に、多層配線層９４２が形成されている。この多層配線層９４２により、画素８７１の回路が形成されている。
多層配線層９４２は、半導体基板９４１に最も近い最上層の配線層９４３ａ、中間の配線層９４３ｂ、及び、下側構造体８５２に最も近い最下層の配線層９４３ｃなどからなる複数の配線層９４３と、各配線層９４３の間に形成された層間絶縁膜９４４とで構成される。
複数の配線層９４３及び層間絶縁膜９４４として使用される材料は、上述した配線層９２３及び層間絶縁膜９２４の材料と同種のものを採用することができる。また、複数の配線層９４３や層間絶縁膜９４４が、１または２つ以上の材料を使い分けて形成されてもよい点も、上述した配線層９２３及び層間絶縁膜９２４と同様である。
なお、図４５の例では、上側構造体８５１の多層配線層９４２は５層の配線層９４３で構成され、下側構造体８５２の多層配線層９２２は４層の配線層９２３で構成されているが、配線層の総数はこれに限られず、任意の層数で形成することができる。
半導体基板９４１内には、PN接合により形成されたフォトダイオード８９１が、画素８７１ごとに形成されている。
また、詳細な図示は省略されているが、多層配線層９４２と半導体基板９４１には、転送トランジスタ、増幅トランジスタなどの複数の画素トランジスタや、FD（フローティングディフュージョン）なども形成されている。
カラーフィルタ８５５とオンチップレンズ８５６が形成されていない半導体基板９４１の所定の位置には、上側構造体８５１の所定の配線層９４３と接続されているシリコン貫通電極９４９と、下側構造体８５２の所定の配線層９２３と接続されているチップ貫通電極９４５が、形成されている。
チップ貫通電極９４５とシリコン貫通電極９４９は、半導体基板９４１上面に形成された接続用配線９４６で接続されている。また、シリコン貫通電極９４９及びチップ貫通電極９４５のそれぞれと半導体基板９４１との間には、絶縁膜９４７が形成されている。
半導体基板９４１のフォトダイオード８９１とカラーフィルタ８５５の間は平坦化膜９４８が形成されており、オンチップレンズ８５６とガラスシール樹脂８５７の間も、平坦化膜９５０が形成されている。
以上のように、図４１に示される撮像素子８０１の積層構造体８５３は、下側構造体８５２の多層配線層９２２側と、上側構造体８５１の多層配線層９４２側とを貼り合わせた積層構造となっている。図４５では、下側構造体８５２の多層配線層９２２と、上側構造体８５１の多層配線層９４２との貼り合わせ面が、一点鎖線で示されている。
また、撮像素子８０１の積層構造体８５３では、上側構造体８５１の配線層９４３と下側構造体８５２の配線層９２３が、シリコン貫通電極９４９とチップ貫通電極９４５の２本の貫通電極により接続され、下側構造体８５２の配線層９２３と外部端子（裏面電極）８５４が、貫通ビア９２８と再配線９３０により接続されている。これにより、上側構造体８５１の画素８７１で生成された画素信号が、下側構造体８５２に伝送され、下側構造体８５２で信号処理が施されて、外部端子８５４から、装置の外部へ出力される。
＜８−６．変形例＞
＜変形例その１＞
次に、図４６を参照して、撮像素子８０１の変形例その１について説明する。
図４６のAは、変形例その１に係る撮像素子８０１の外周付近の断面図であり、図４６のBは、変形例その１に係る撮像素子８０１の外部端子８５４側の平面図である。
変形例その１では、図４６のAに示されるように、外部端子８５４が、平面位置で貫通ビア９２８の位置と重なるように、貫通ビア９２８の直上に形成されている。これにより、図４６のBに示されるように、撮像素子８０１の裏面側に再配線９３０を形成する面積が不要となるので、入出力部を形成する面積不足を解消することができる。
＜変形例その２＞
次に、図４７を参照して、撮像素子８０１の変形例その２について説明する。
変形例その２では、積層構造体８５３では、下側構造体８５２の配線層９４３と上側構造体８５１の配線層９２３が、シリコン貫通電極９４９とチップ貫通電極９４５の２本の貫通電極により接続され、上側構造体８５１の配線層９２３とはんだボール（裏面電極）８５４が、貫通ビア（シリコン貫通電極）９２８と再配線９３０により接続されている。これにより、撮像素子８０１の平面積を、極限まで小さくすることができる。
さらに、積層構造体８５３とガラス保護基板８５８との間を、キャビティレス構造にして、ガラスシール樹脂８５７により貼り合わせることにより、高さ方向についても低くすることができる。
したがって、図４１に示される撮像素子８０１によれば、より小型化した半導体装置（半導体パッケージ）を実現することができる。
＜変形例その３＞
次に、図４８を参照して、撮像素子８０１の変形例その３について説明する。
図４８で示されるように、貫通ビア９２８でなくてもよく、貫通ビア９２８をソルダマスク（ソルダレジスト）９３１で埋めて、貫通ビア９２８の形成箇所でダイシングされる構造でもよい。
ソルダマスク（ソルダレジスト）９３１と再配線９３０は、絶縁膜９２６ｂにより絶縁されているが、絶縁されればよいので、絶縁膜９２６ｂ以外でもよく、例えば、ガラスシール樹脂８５７で埋められるようにしてもよい。
また、ガラスシール樹脂８５７、絶縁膜９２６ｂ、ソルダマスク（ソルダレジスト）９３１は、全てが同一材料でもよいし、そのうちのいずれかが同一材料であってもよい。
さらに、配線層９２３ｃと再配線９３０とが、電気的に接続されているが、いずれの配線層と接続されてもよい。
尚、図４８においては、積層構造体８５３とガラス保護基板８５８との間に、スペーサ１１１２を設けることで、キャビティ（空洞、空隙）１１１１を設ける構造とする例が示されているが、スペーサ１１１２を設けないようにして、ガラスシール樹脂８５７によりキャビティ１１１１が設けられるようにしてもよい。また、キャビティ１１１１およびスペーサ１１１２の空間にガラスシール樹脂８５７を充填してキャビティレス構造とするようにしてもよい。
また、図４１乃至図４８の撮像素子８０１における、上側構造体８５１および下側構造体８５２は、図４，図５における下チップ９１および上チップ９２に対応する。したがって、撮像素子７２およびフロントカメラECU７３は、図４１乃至図４８を参照して説明したWCSPからなる撮像素子８０１により実現するようにしてもよい。
＜８−７．３層の積層構造体の例＞
上述した各実施形態は、撮像素子８０１の積層構造体８５３が、下側構造体８５２と上側構造体８５１の２層で構成されていたが、３層以上の構造体で構成することもできる。
図４９及び図５０を参照して、下側構造体８５２と上側構造体８５１の間に、第３構造体１２１１を設けることにより、積層構造体８５３が３層で構成される例について説明する。
図４９においては、画素アレイ部８６４が、画素共有構造を有する場合の構成が示されている。
画素共有構造は、フォトダイオード（PD）８９１と転送トランジスタ８９２については画素８７１ごとに有するが、FD（フローティングディフュージョン）８９３、増幅トランジスタ８９５、リセットトランジスタ８９４、及び選択トランジスタ８９６ついては複数画素で共有する構造である。
図４９では、共有ユニット１２２０として、行方向に２個ずつ、列方向に２個ずつ（２ｘ２）の４画素で、FD８９３、増幅トランジスタ８９５、リセットトランジスタ８９４、及び選択トランジスタ８９６を共有する構造が示されている。
４個の転送トランジスタ８９２のゲート電極には、それぞれ行方向に延在する転送トランジスタ駆動信号線１２２１が１本ずつ接続されている。４個の転送トランジスタ８９２のゲート電極のそれぞれに接続され、行方向に延在する４本の転送トランジスタ駆動信号線１２２１は、４本が平行になって、列方向に並べて配置されている。
FD８９３は、不図示の配線を介して、増幅トランジスタ８９５のゲート電極およびリセットトランジスタ８９４の拡散層へ接続されている。リセットトランジスタ８９４のゲート電極には、行方向に延在するリセットトランジスタ駆動信号線１２２２が１本接続されている。
選択トランジスタ８９６のゲート電極には、行方向に延在する選択トランジスタ駆動信号線１２２３が１本接続されている。選択トランジスタ８９６は省略される場合もある。
図４９に示す３層の積層構造体８５３による撮像素子８０１は、下側構造体８５２と上側構造体８５１の間の第３構造体１２１１に、エリア信号処理部１２３１を備える。
エリア信号処理部１２３１は、ノイズ処理部やADCを有する読み出し信号処理部１２３２と、AD変換後のデジタルデータを保持するデータ保持部１２３３を備える。
例えば、共有ユニット１２２０の画素８７１それぞれが、AD変換後に１６ビットで表されるデータを出力する場合には、データ保持部１２３３は、これらのデータを保持するために、６４ビット分のラッチやシフトレジスタなどのデータ保持手段を備える。
エリア信号処理部１２３１は、さらに、データ保持部１２３３に保持されたデータを、エリア信号処理部１２３１の外部へ出力するための出力信号配線１２３７を備える。この出力信号配線は、例えば、データ保持部１２３３に保持された６４ビットのデータを並列して出力する６４ビットの信号線であっても良いし、データ保持部１２３３に保持された４画素分のデータを、１画素分ずつ出力するための１６ビットの信号線であっても良いし、あるいは１画素分のデータの半分となる８ビットの信号線や、２画素分のデータとなる３２ビットの信号線であっても良い。あるいは、データ保持部１２３３に保持されたデータを１ビットずつ読み出す１ビットの信号線であっても良い。
図４９に示す撮像素子８０１は、上側構造体８５１の１個の共有ユニット１２２０が、第３構造体１２１１の１個のエリア信号処理部１２３１に接続されている。言い換えれば、共有ユニット１２２０とエリア信号処理部１２３１が１対１に対応している。このため、図４９に示すように、第３構造体１２１１は、エリア信号処理部１２３１が、行方向および列方向にそれぞれ複数個配列されたエリア信号処理部アレイ１２３４を備える。
また、第３構造体１２１１は、行方向および列方向にそれぞれ複数個配列された各エリア信号処理部１２３１が備えるデータ保持部１２３３のデータを読み出す行アドレス制御部１２３５を備える。行アドレス制御部１２３５は、一般的な半導体メモリ装置と同じように、行方向の読出し位置を定める。
エリア信号処理部アレイ１２３４の行方向に並ぶエリア信号処理部１２３１は、行アドレス制御部１２３５から行方向に延びる制御信号線に接続され、行アドレス制御部１２３５の制御によって、エリア信号処理部１２３１の動作が制御される。
エリア信号処理部アレイ１２３４の列方向に並ぶエリア信号処理部１２３１は、列方向に延びる列読出し信号線１２３７に接続され、列読出し信号線は、エリア信号処理部アレイ１２３４の先に配置された列読出し部１２３６へと接続されている。
エリア信号処理部アレイ１２３４の各エリア信号処理部１２３１のデータ保持部１２３３に保持されたデータは、行方向に並んだ全てのエリア信号処理部１２３１のデータ保持部１２３３のデータが、同時に、列読出し部１２３６へと読み出されても良いし、列読出し部１２３６から指定された、特定のエリア信号処理部１２３１のデータのみが読み出されても良い。
列読出し部１２３６には、エリア信号処理部１２３１から読み出したデータを、第３構造体１２１１の外部へと出力するための配線が接続されている。
下側構造体８５２は、第３構造体１２１１の列読出し部１２３６からの配線が接続され、この列読出し部１２３６から出力されたデータを受け取るための読出し部１２４１を備える。
また、下側構造体８５２は、第３構造体１２１１から受け取ったデータを画像信号処理するための画像信号処理部を備える。
さらに、下側構造体８５２は、第３構造体１２１１から受け取ったデータを、画像信号処理部を経由して出力するあるいは経由せずに出力するための入出力部を備える。この入出力部は、出力回路部だけでなく、例えば、画素アレイ部８６４で使用するタイミング信号や、画像信号処理部で使用する特性データを、撮像素子８０１の外部から装置内へ入力するための入力回路部を備えていても良い。
図５０のBに示されるように、上側構造体８５１に形成された各共有ユニット１２２０は、その共有ユニット１２２０の直下に配置された第３構造体１２１１のエリア信号処理部１２３１と接続されている。この上側構造体８５１と第３構造体１２１１との間の配線接続は、例えば、図４４に示したＣｕ−Ｃｕ直接接合構造によって接続することができる。
また、図５０のBに示されるように、第３構造体１２１１に形成されたエリア信号処理部アレイ１２３４の外側の列読出し部１２３６は、その列読出し部１２３６の直下に配置された下側構造体８５２の読出し部１２４１と接続されている。この第３構造体１２１１と下側構造体８５２との間の配線接続は、例えば、図４４に示したＣｕ−Ｃｕ直接接合構造、あるいは、図４３に示したツインコンタクト構造によって接続することができる。
従って、図５０のAに示されるように、上側構造体８５１に形成された各共有ユニット１２２０の画素信号が、第３構造体１２１１の対応するエリア信号処理部１２３１に出力される。エリア信号処理部１２３１のデータ保持部１２３３で保持されているデータが、列読出し部１２３６から出力され、下側構造体８５２の読出し部１２４１に供給される。そして、画像信号処理部において、データに対して、各種の信号処理（例えば、トーンカーブ補正処理）が施され、入出力部から、装置外部へ出力される。
なお、３層の積層構造体８５３による撮像素子８０１において、下側構造体８５２に形成される入出力部は、第３構造体１２１１の行アドレス制御部１２３５の下側に配置して良い。
また、３層の積層構造体８５３による撮像素子８０１において、下側構造体８５２に形成される入出力部は、第３構造体１２１１のエリア信号処理部１２３１の下側に配置しても良い。
さらに、３層の積層構造体８５３による撮像素子８０１において、下側構造体８５２に形成される入出力部は、上側構造体８５１の画素アレイ部８６４の下側に配置しても良い。
尚、図４９，図５０の下側構造体８５２、上側構造体８５１、および、第３構造体１２１１からなる３層の積層構造体８５３からなる撮像素子８０１は、図３２乃至図３５で示される、第１層チップ５０１乃至第３層チップ５０３に対応する。したがって、図３２乃至図３５で示される３枚のチップが積層される撮像素子７２およびフロントカメラECU７３は、図４９，図５０を参照して説明した３層の積層構造体８５３からなるWCSPからなる撮像素子８０１により実現するようにしてもよい。
なお、各実施例については適宜組み合わせが可能である。すなわち、例えば、第４の実施の形態を参照して説明したＣｕ−Ｃｕ接合は、第５の実施の形態における３枚のチップが積層されるフロアプランなどの他の実施の形態におけるTSV５１２にも適用することができる。
＜＜９．電子機器への適用例＞＞
上述した図５，図１８の撮像素子７２およびフロントカメラECU７３、または、フロントカメラECU７３における一部の機能を含む、単独で故障検出可能な撮像素子７２は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
図５１は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
図５１に示される撮像装置２００１は、光学系２００２、シャッタ装置２００３、固体撮像素子２００４、制御回路２００５、信号処理回路２００６、モニタ２００７、およびメモリ２００８を備えて構成され、静止画像および動画像を撮像可能である。
光学系２００２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子２００４に導き、固体撮像素子２００４の受光面に結像させる。
シャッタ装置２００３は、光学系２００２および固体撮像素子２００４の間に配置され、制御回路２００５の制御に従って、固体撮像素子２００４への光照射期間および遮光期間を制御する。
固体撮像素子２００４は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子２００４は、光学系２００２およびシャッタ装置２００３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子２００４に蓄積された信号電荷は、制御回路２００５から供給される駆動信号（タイミング信号）に従って転送される。
制御回路２００５は、固体撮像素子２００４の転送動作、および、シャッタ装置２００３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子２００４およびシャッタ装置２００３を駆動する。
信号処理回路２００６は、固体撮像素子２００４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路２００６が信号処理を施すことにより得られた画像（画像データ）は、モニタ２００７に供給されて表示されたり、メモリ２００８に供給されて記憶（記録）されたりする。
このように構成されている撮像装置２００１においても、上述した固体撮像素子２００４および信号処理回路２００６に代えて、図５，図１８の撮像素子７２およびフロントカメラECU７３、または、固体撮像素子２００４に代えて、フロントカメラECU７３における一部の機能を含む、単独で故障検出可能な撮像素子７２を適用することにより、自らで故障検出を実現することが可能となる。
＜＜１０．撮像素子の使用例＞＞
図５２は、図５，図１８の撮像素子７２およびフロントカメラECU７３、または、フロントカメラECU７３における一部の機能を含む、単独で故障検出可能な撮像素子７２を使用する使用例を示す図である。
上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜＜１１．移動体への応用例＞＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図５３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図５３に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５３の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図５４は、撮像部12031の設置位置の例を示す図である。
図５４では、撮像部12031として、撮像部12101，12102，12103，12104，12105を有する。
撮像部12101，12102，12103，12104，12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102，12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図５４には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112，12113は、それぞれサイドミラーに設けられた撮像部12102，12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化（車両12100に対する相対速度）を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度（例えば、0km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031および車外情報検出ユニット12030に適用され得る。具体的には、図５，図１８の撮像素子７２およびフロントカメラECU７３、または、フロントカメラECU７３における一部の機能を含む、単独で故障検出可能な撮像素子７２は、撮像部12031および車外情報検出ユニット12030に適用することができる。撮像部12031および車外情報検出ユニット12030に本開示に係る技術を適用することにより、故障を検出することが可能となるため、故障した撮像部12031または車外情報検出ユニット12030からの情報に基づいた誤った運転支援を停止させることができるので、誤った情報に基づいた誤った運転支援によって危険な状態に陥るようなことを抑制することが可能となる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 画素と画素制御線を有する第１の基板と、
前記第１の基板と積層される第２の基板とを備え、
前記第２の基板は、行駆動部と故障検出部とを有し、
前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
撮像装置。
＜２＞ 前記第１の接続電極および前記第２の接続電極は、前記第１の基板と前記第２の基板とを貫通する貫通電極で構成されており、
前記第１の基板と前記第２の基板とは、前記貫通電極により電気的に接続された状態で積層されている
＜１＞に記載の撮像装置。
＜３＞ 前記画素はアレイ状に配置され、前記画素の処理対象となるアドレスの情報と、前記アドレスの情報にとより特定される画素が制御されるタイミングの情報を出力する制御部をさらに含み、
前記故障検出部は、
前記制御部より出力されるアドレスの情報により特定される、前記行駆動部より供給される、前記画素の動作を制御する制御信号を検出し、検出信号を出力する検出部と、
前記アドレスの情報により特定される画素が制御されるタイミングにおいて、前記検出部より、前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号が検出されたとき前記検出信号が出力されるか否かに基づいて、前記制御信号のパルス出力の故障を検出するパルス出力故障検出部とを含む
＜１＞または＜２＞に記載の撮像装置。
＜４＞ 前記検出部は、
前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号を検出するスイッチングゲートを含み、
前記制御部より出力されるアドレスの情報により特定される前記スイッチングゲートにのみ電力を供給し、
前記スイッチングゲートは、前記画素の動作を制御する制御信号を検出するとき、Hi信号を、前記制御信号毎に設定されたバスに出力し、
前記パルス出力故障検出部は、
前記制御信号毎に設定されたバスに出力される信号と、前記アドレスの情報により特定される画素が制御されるタイミングを示す信号とに応じた値を、前記制御信号毎に保持する複数の保持部を含み、
前記保持部が保持する値に応じて、前記制御信号のパルス出力の故障を検出する
＜３＞に記載の撮像装置。
＜５＞ 前記複数の保持部は、前記制御信号毎に設定されたバスに出力される信号と、前記アドレスの情報により特定される画素が制御された状態であることを示す固定された信号とに応じた値を、前記制御信号毎に保持し、
前記パルス出力故障検出部は、前記保持部が保持する値に応じて、前記制御信号のパルス出力の故障を検出する
＜４＞に記載の撮像装置。
＜６＞ 前記行駆動部と、前記第１の基板とは、貫通電極からなる前記第１の接続電極により接続され、前記検出部と、前記第１の基板とは、前記貫通電極とは異なる他の貫通電極からなる前記第２の接続電極により電気的に接続されている
＜３＞に記載の撮像装置。
＜７＞ 前記制御部は、前記画素の処理対象となるアドレスの情報を前記行駆動部、および前記検出部に出力し、
前記行駆動部は、前記アドレスの情報に対応する自らのアドレスの選択情報を出力し、
前記検出部は、前記アドレスの情報に対応する自らのアドレスの選択情報を出力し、
前記故障検出部は、
前記行駆動部の前記アドレスの選択情報と、前記検出部の前記アドレスの選択情報とをそれぞれ前記制御部により出力されたアドレス情報と比較し、比較結果に基づいて、前記行駆動部、および前記検出部における、アドレス選択機能の故障を検出するアドレス選択機能故障検出部を含む
＜３＞に記載の撮像装置。
＜８＞ 画素と画素制御線を有する第１の基板と、
前記第１の基板と積層される第２の基板とを備え、
前記第２の基板は、行駆動部と故障検出部とを有し、
前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
ステップを含む撮像方法。
＜９＞ 画素と画素制御線を有する第１の基板と、
前記第１の基板と積層される第２の基板とを備え、
前記第２の基板は、行駆動部と故障検出部とを有し、
前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
カメラモジュール。
＜１０＞ 画素と画素制御線を有する第１の基板と、
前記第１の基板と積層される第２の基板とを備え、
前記第２の基板は、行駆動部と故障検出部とを有し、
前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
電子機器。
＜１１＞
画素と、前記画素に接続される垂直信号線を有する第１の基板と、
前記第１の基板と積層される第２の基板とを備え、
前記第２の基板は、信号供給回路，アナログデジタル変換回路、及び故障検出部とを有し、
前記垂直信号線の一端は、第１の接続電極を介して前記信号供給回路に接続され、
前記垂直信号線の他端は、第２の接続電極を介して前記アナログデジタル変換回路に接続され、
前記信号供給回路は、前記第１の接続電極を介して前記垂直信号線にダミー画素信号を供給し、
前記アナログデジタル変換回路は、前記ダミー画素信号に基づいてデジタル信号を出力し、
前記故障検出部は、前記デジタル信号に基づいて故障を検出する
撮像装置。
＜１２＞
画素が搭載された第１の基板と、
前記画素により撮像された画像を信号処理する信号処理部が搭載された第２の基板とを含み、
前記第１の基板と前記第２の基板とが電気的に接続された状態で積層され、
前記信号処理部は、前記信号処理により故障を検出する
撮像装置。
１１ 車両， ３１ ECU， ３２ フロントカメラモジュール， ３３ ステアリング， ３４ ヘッドランプ， ３５ モータ， ３６ エンジン， ３７ ブレーキ， ３８ 表示部， ７１ レンズ， ７２ 撮像素子， ７３ フロントカメラECU， ７４ MCU， ９１ 下チップ， ９２ 上チップ， ９３，９３−１，９３−２，９３−１１，９３−１２ TCV， １０１ 画素アレイ， １０２ 行駆動部， １０３ 画像信号出力部， １２１ 制御部， １２２ 画像処理部， １２３ 出力部， １２４ 故障検出部， １４１ 行アドレス選択機能故障検出部， １４２ パルス出力故障検出部， １４３ 制御線ゲート， １６１ アドレスデコーダ， １６２ シャッタアドレスラッチ， １６３ リードアドレスラッチ， １６４乃至１６８ スイッチングゲート， １６９，１７０ インバータ， １８１ 故障判定部， １８２乃至１８６ ラッチ， １９１乃至１９５ ラッチ， ２０１ 故障検出カラム， ２０２ 画素制御線故障検出部， ２３０ フォトダイオード， ２３１ 転送トランジスタ， ２３２ リセットトランジスタ， ２３３ FD， ２３４ 増幅トランジスタ， ２３５ 選択トランジスタ， ２４１ 負荷MOS， ２４２ ADC， ２４３ 水平転送部， ２５０ DSF回路， ２５１ 切替トランジスタ， ２５２ DSFトランジスタ， ２６１ コンパレータ， ２６２ カウンタ， ２６３ DAC， ２７１ ADC＋TCV故障検出部

Claims (11)

  1. 画素と画素制御線を有する第１の基板と、
    前記第１の基板と積層される第２の基板とを備え、
    前記第２の基板は、行駆動部と故障検出部とを有し、
    前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
    前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
    前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
    前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
    撮像装置。
  2. 前記第１の接続電極および前記第２の接続電極は、前記第１の基板と前記第２の基板とを貫通する貫通電極で構成されており、
    前記第１の基板と前記第２の基板とは、前記貫通電極により電気的に接続された状態で積層されている
    請求項１に記載の撮像装置。
  3. 前記画素はアレイ状に配置され、前記画素の処理対象となるアドレスの情報と、前記アドレスの情報にとより特定される画素が制御されるタイミングの情報を出力する制御部をさらに含み、
    前記故障検出部は、
    前記制御部より出力されるアドレスの情報により特定される、前記行駆動部より供給される、前記画素の動作を制御する制御信号を検出し、検出信号を出力する検出部と、
    前記アドレスの情報により特定される画素が制御されるタイミングにおいて、前記検出部より、前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号が検出されたとき前記検出信号が出力されるか否かに基づいて、前記制御信号のパルス出力の故障を検出するパルス出力故障検出部とを含む
    請求項１に記載の撮像装置。
  4. 前記検出部は、
    前記制御部より出力されるアドレスの情報により特定される、前記画素の動作を制御する制御信号を検出するスイッチングゲートを含み、
    前記制御部より出力されるアドレスの情報により特定される前記スイッチングゲートにのみ電力を供給し、
    前記スイッチングゲートは、前記画素の動作を制御する制御信号を検出するとき、Hi信号を、前記制御信号毎に設定されたバスに出力し、
    前記パルス出力故障検出部は、
    前記制御信号毎に設定されたバスに出力される信号と、前記アドレスの情報により特定される画素が制御されるタイミングを示す信号とに応じた値を、前記制御信号毎に保持する複数の保持部を含み、
    前記保持部が保持する値に応じて、前記制御信号のパルス出力の故障を検出する
    請求項３に記載の撮像装置。
  5. 前記複数の保持部は、前記制御信号毎に設定されたバスに出力される信号と、前記アドレスの情報により特定される画素が制御された状態であることを示す固定された信号とに応じた値を、前記制御信号毎に保持し、
    前記パルス出力故障検出部は、前記保持部が保持する値に応じて、前記制御信号のパルス出力の故障を検出する
    請求項４に記載の撮像装置。
  6. 前記行駆動部と、前記第１の基板とは、貫通電極からなる前記第１の接続電極により接続され、前記検出部と、前記第１の基板とは、前記貫通電極とは異なる他の貫通電極からなる前記第２の接続電極により電気的に接続されている
    請求項３に記載の撮像装置。
  7. 前記制御部は、前記画素の処理対象となるアドレスの情報を前記行駆動部、および前記検出部に出力し、
    前記行駆動部は、前記アドレスの情報に対応する自らのアドレスの選択情報を出力し、 前記検出部は、前記アドレスの情報に対応する自らのアドレスの選択情報を出力し、
    前記故障検出部は、
    前記行駆動部の前記アドレスの選択情報と、前記検出部の前記アドレスの選択情報とをそれぞれ前記制御部により出力されたアドレス情報と比較し、比較結果に基づいて、前記行駆動部、および前記検出部における、アドレス選択機能の故障を検出するアドレス選択機能故障検出部を含む
    請求項３に記載の撮像装置。
  8. 画素と画素制御線を有する第１の基板と、
    前記第１の基板と積層される第２の基板とを備え、
    前記第２の基板は、行駆動部と故障検出部とを有し、
    前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
    前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
    前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
    前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
    ステップを含む撮像方法。
  9. 画素と画素制御線を有する第１の基板と、
    前記第１の基板と積層される第２の基板とを備え、
    前記第２の基板は、行駆動部と故障検出部とを有し、
    前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
    前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
    前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
    前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
    カメラモジュール。
  10. 画素と画素制御線を有する第１の基板と、
    前記第１の基板と積層される第２の基板とを備え、
    前記第２の基板は、行駆動部と故障検出部とを有し、
    前記画素制御線の一端は、第１の接続電極を介して前記行駆動部に接続され、
    前記画素制御線の他端は、第２の接続電極を介して前記故障検出部に接続され、
    前記行駆動部は、前記第１の接続電極を介して前記画素制御線に前記画素の動作を制御する制御信号を供給し、
    前記故障検出部は、前記第１の接続電極、前記画素制御線、および前記第２の接続電極を介して供給される前記制御信号に基づいて故障を検出する
    電子機器。
  11. 画素と、前記画素に接続される垂直信号線を有する第１の基板と、
    前記第１の基板と積層される第２の基板とを備え、
    前記第２の基板は、信号供給回路，アナログデジタル変換回路、及び故障検出部とを有し、
    前記垂直信号線の一端は、第１の接続電極を介して前記信号供給回路に接続され、
    前記垂直信号線の他端は、第２の接続電極を介して前記アナログデジタル変換回路に接続され、
    前記信号供給回路は、前記第１の接続電極を介して前記垂直信号線にダミー画素信号を供給し、
    前記アナログデジタル変換回路は、前記ダミー画素信号に基づいてデジタル信号を出力し、
    前記故障検出部は、前記デジタル信号に基づいて故障を検出する
    撮像装置。
JP2018520983A 2016-05-31 2017-05-31 撮像装置および撮像方法、カメラモジュール、並びに電子機器 Active JP6543419B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016109196 2016-05-31
JP2016109196 2016-05-31
PCT/JP2017/020369 WO2017209221A1 (ja) 2016-05-31 2017-05-31 撮像装置および撮像方法、カメラモジュール、並びに電子機器

Publications (2)

Publication Number Publication Date
JPWO2017209221A1 JPWO2017209221A1 (ja) 2019-03-28
JP6543419B2 true JP6543419B2 (ja) 2019-07-10

Family

ID=60478673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520983A Active JP6543419B2 (ja) 2016-05-31 2017-05-31 撮像装置および撮像方法、カメラモジュール、並びに電子機器

Country Status (6)

Country Link
US (6) US10659707B2 (ja)
EP (3) EP3726830A1 (ja)
JP (1) JP6543419B2 (ja)
KR (4) KR102246424B1 (ja)
CN (4) CN109155829B (ja)
WO (1) WO2017209221A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025028018A1 (ja) * 2023-08-01 2025-02-06 ソニーセミコンダクタソリューションズ株式会社 欠陥検出装置、撮像装置、および、欠陥検出方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3726830A1 (en) * 2016-05-31 2020-10-21 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, camera module, and electronic device
JP2018129412A (ja) * 2017-02-09 2018-08-16 ソニーセミコンダクタソリューションズ株式会社 半導体装置、および半導体装置の製造方法
US11061412B2 (en) * 2017-03-10 2021-07-13 Sony Corporation Information processing device and information processing method
JP7078818B2 (ja) * 2018-01-31 2022-06-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびキャリブレーション方法
CN108333812A (zh) * 2018-02-13 2018-07-27 京东方科技集团股份有限公司 显示基板、显示面板及其显示控制方法、显示装置
JP7098346B2 (ja) * 2018-02-13 2022-07-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像システム
JP2019146071A (ja) * 2018-02-22 2019-08-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像システム、および撮像方法
JP2019161046A (ja) * 2018-03-14 2019-09-19 ソニーセミコンダクタソリューションズ株式会社 半導体装置、撮像装置、および電子機器
JP2019165312A (ja) 2018-03-19 2019-09-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
JP2019213020A (ja) * 2018-06-04 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像制御方法
CN112640109B (zh) * 2018-09-11 2024-09-17 索尼半导体解决方案公司 固态图像传感器
US11521998B2 (en) 2018-09-18 2022-12-06 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device
WO2020100663A1 (ja) 2018-11-16 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP7147468B2 (ja) * 2018-10-26 2022-10-05 富士通株式会社 赤外線検出器の読み出し回路及びその検査方法
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP7292860B2 (ja) * 2018-11-22 2023-06-19 キヤノン株式会社 光電変換装置
DE112019006689T5 (de) 2019-01-17 2021-09-30 Sony Semiconductor Solutions Corporation Bildgebungsvorrichtung, bildgebungssystem und störungsdetektionsverfahren
DE112020000575T5 (de) 2019-01-29 2021-10-28 Semiconductor Energy Laboratory Co., Ltd. Abbildungsvorrichtung und elektronisches Gerät
JP2020162016A (ja) 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法
CN111027361B (zh) * 2019-04-26 2020-08-18 台州雪华制冷设备有限公司 对象参数实时解析装置
JP6986046B2 (ja) * 2019-05-30 2021-12-22 キヤノン株式会社 光電変換装置および機器
KR20210021172A (ko) 2019-08-14 2021-02-25 삼성전자주식회사 이미지 센서 칩을 포함하는 반도체 패키지
KR20210085262A (ko) * 2019-12-30 2021-07-08 에스케이하이닉스 주식회사 이미지 센싱 장치, 그 이미지 센싱 장치를 포함하는 이미지 시스템, 및 그 이미지 시스템의 테스트 방법
CN115136585A (zh) * 2020-02-17 2022-09-30 株式会社尼康 摄像元件及摄像装置
CN115087876A (zh) 2020-02-28 2022-09-20 索尼半导体解决方案公司 半导体装置和测试系统
JP7551304B2 (ja) 2020-03-05 2024-09-17 キヤノン株式会社 半導体装置及び機器
TW202215654A (zh) * 2020-09-22 2022-04-16 日商半導體能源研究所股份有限公司 攝像裝置及電子裝置
US20230412575A1 (en) 2020-10-09 2023-12-21 Sony Semiconductor Solutions Corporation Information processing device, mobile device, and communication system
KR20220056475A (ko) * 2020-10-28 2022-05-06 삼성전자주식회사 이미지 센서
AU2021373068A1 (en) 2020-11-09 2023-06-22 Zimeno, Inc. Dba Monarch Tractor Battery swap system
KR102476525B1 (ko) * 2021-02-24 2022-12-13 한국생명공학연구원 체액 검사 기반 퇴행성 뇌질환 진단 및 모니터링 기술
JP2022134549A (ja) * 2021-03-03 2022-09-15 キヤノン株式会社 半導体装置、機器
US12249611B2 (en) 2021-03-08 2025-03-11 Sony Semiconductor Solutions Corporation Imaging device, electronic device, and signal processing method with pixel array and memory array respectively on first and second substrates
WO2022254839A1 (ja) * 2021-06-04 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び測距システム
US11407298B1 (en) 2021-11-15 2022-08-09 Amos Power, Inc. Removable battery unit for an electric vehicle
US11364959B1 (en) 2021-12-27 2022-06-21 Amos Power, Inc. Modular robotic vehicle
USD1014573S1 (en) 2022-04-01 2024-02-13 Amos Power, Inc. Removable track unit for a robotic vehicle
USD1014569S1 (en) 2022-04-01 2024-02-13 Amos Power, Inc. Robotic vehicle
US11547035B1 (en) 2022-05-24 2023-01-10 Amos Power, Inc. Lift assist for an electrically driven hitch on an robotic vehicle
WO2024194002A1 (en) * 2023-03-17 2024-09-26 Sony Semiconductor Solutions Corporation Circuit chip and solid-state imaging device
TW202441976A (zh) * 2023-03-24 2024-10-16 日商索尼半導體解決方案公司 光檢測裝置及電子機器
WO2025004582A1 (ja) * 2023-06-28 2025-01-02 ソニーセミコンダクタソリューションズ株式会社 故障検知装置、固体撮像装置および故障検知方法
CN117663166B (zh) * 2024-01-30 2024-04-09 青岛瑞莱德电力设备有限公司 一种耙式吹灰器的控制系统和控制方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296330A (ja) 2001-03-29 2002-10-09 Sharp Corp 電子装置の診断システム
JP2003347535A (ja) 2002-05-29 2003-12-05 Canon Inc 固体撮像装置及び放射線撮像装置
JP2004265932A (ja) * 2003-02-14 2004-09-24 Canon Inc 放射線撮像装置
US20040255096A1 (en) * 2003-06-11 2004-12-16 Norman Richard S. Method for continuous linear production of integrated circuits
WO2005001753A1 (en) * 2003-06-21 2005-01-06 Aprilis, Inc. Acquisition of high resolution boimetric images
JP4449379B2 (ja) 2003-09-12 2010-04-14 ソニー株式会社 半導体装置
JP4818112B2 (ja) * 2005-05-11 2011-11-16 パナソニック株式会社 固体撮像装置、カメラ、自動車および監視装置
JP4827508B2 (ja) * 2005-12-02 2011-11-30 キヤノン株式会社 撮像システム
KR100737916B1 (ko) * 2005-12-19 2007-07-10 삼성전자주식회사 이미지 센서 그리고 그것을 위한 테스트 시스템 및 테스트방법
JP2008109266A (ja) 2006-10-24 2008-05-08 Matsushita Electric Ind Co Ltd 映像信号処理装置およびその電力制御方法
JP5076635B2 (ja) * 2007-05-17 2012-11-21 ソニー株式会社 イメージセンサ
TW200931039A (en) * 2007-10-04 2009-07-16 Samsung Electronics Co Ltd Stacked semiconductor apparatus with configurable vertical I/O
JP2009118427A (ja) 2007-11-09 2009-05-28 Panasonic Corp 固体撮像装置およびその駆動方法
JP5103429B2 (ja) 2008-04-25 2012-12-19 日立オートモティブシステムズ株式会社 車載カメラ装置
JP5514421B2 (ja) * 2008-09-19 2014-06-04 ソニー株式会社 平面型表示装置並びにスペーサ
JP2010183435A (ja) * 2009-02-06 2010-08-19 Toshiba Corp 固体撮像装置
EP2234387B8 (en) * 2009-03-24 2012-05-23 Sony Corporation Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus
JP2010245368A (ja) * 2009-04-08 2010-10-28 Yokogawa Electric Corp 故障検出装置
JP5083272B2 (ja) 2009-05-07 2012-11-28 ソニー株式会社 半導体モジュール
JP5458690B2 (ja) * 2009-06-22 2014-04-02 ソニー株式会社 固体撮像装置およびカメラ
IT1398204B1 (it) * 2010-02-16 2013-02-14 St Microelectronics Srl Sistema e metodo per eseguire il test elettrico di vie passanti nel silicio (tsv - through silicon vias).
JP2012181445A (ja) * 2011-03-02 2012-09-20 Seiko Epson Corp 電気装置
US8730330B2 (en) * 2011-07-25 2014-05-20 Aptina Imaging Corporation Image sensors with dark pixels for real-time verification of imaging systems
JP2013165399A (ja) * 2012-02-10 2013-08-22 Toshiba Corp 固体撮像装置
JP2013179479A (ja) * 2012-02-28 2013-09-09 Nikon Corp 固体撮像装置及びこれを用いた電子カメラ
TWI457575B (zh) * 2012-04-06 2014-10-21 Ind Tech Res Inst 具有自我測試的像素陣列模組及其自我測試方法
US8953047B2 (en) * 2012-05-02 2015-02-10 Aptina Imaging Corporation Imaging systems with signal chain verification circuitry
US9407848B2 (en) * 2012-05-16 2016-08-02 Semiconductor Components Industries, Llc Method and apparatus for pixel control signal verification
TWI583195B (zh) * 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
JP6053379B2 (ja) * 2012-08-06 2016-12-27 キヤノン株式会社 検出装置の製造方法、検出装置及び検出システム
KR102007259B1 (ko) * 2012-09-27 2019-08-06 삼성전자주식회사 반도체 패키지 및 그 제조 방법
JP5984018B2 (ja) * 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
TWI631854B (zh) * 2013-08-05 2018-08-01 日商新力股份有限公司 Conversion device, imaging device, electronic device, conversion method
JP5708734B2 (ja) * 2013-08-26 2015-04-30 ソニー株式会社 積層型固体撮像装置および電子機器
KR102161260B1 (ko) * 2013-11-07 2020-09-29 삼성전자주식회사 관통전극을 갖는 반도체 소자 및 그 제조방법
KR102177716B1 (ko) * 2013-12-30 2020-11-11 엘지디스플레이 주식회사 터치 센서 일체형 표시장치
US9313485B2 (en) * 2014-02-21 2016-04-12 Semiconductor Components Industries, Llc Imagers with error checking capabilities
JP6075646B2 (ja) * 2014-03-17 2017-02-08 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
JP6189237B2 (ja) * 2014-03-20 2017-08-30 株式会社東芝 光検出器、及び光検出器の製造方法
US9584800B2 (en) * 2014-03-31 2017-02-28 Semiconductor Components Industries, Llc Imaging systems with pixel array verification circuitry
US20150288907A1 (en) * 2014-04-03 2015-10-08 Raytheon Company Method and system for managing defects in focal plane arrays using redundant components
TWI648986B (zh) * 2014-04-15 2019-01-21 日商新力股份有限公司 攝像元件、電子機器
WO2016009832A1 (ja) * 2014-07-14 2016-01-21 ソニー株式会社 比較器、ａｄ変換器、固体撮像装置、電子機器、および比較器の制御方法
WO2016009943A1 (ja) * 2014-07-15 2016-01-21 ブリルニクスジャパン株式会社 固体撮像装置、固体撮像装置の製造方法、および電子機器
FR3027402B1 (fr) * 2014-10-21 2016-11-18 Centre Nat Rech Scient Circuit et procede pour le test sur puce d'une matrice de pixels
EP3726830A1 (en) 2016-05-31 2020-10-21 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, camera module, and electronic device
CN106559489A (zh) * 2016-11-23 2017-04-05 浙江安将科技有限公司 一种基于智能门铃的用户提醒方法和装置
US10498996B2 (en) 2017-11-14 2019-12-03 Semiconductor Components Industries, Llc Pixel control signal verification in a stacked image sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025028018A1 (ja) * 2023-08-01 2025-02-06 ソニーセミコンダクタソリューションズ株式会社 欠陥検出装置、撮像装置、および、欠陥検出方法

Also Published As

Publication number Publication date
CN110557586A (zh) 2019-12-10
EP3748955A1 (en) 2020-12-09
US20200186733A1 (en) 2020-06-11
CN111510649B (zh) 2023-04-07
EP3468169A1 (en) 2019-04-10
US20190297287A1 (en) 2019-09-26
US11082651B2 (en) 2021-08-03
US10659707B2 (en) 2020-05-19
KR20190015201A (ko) 2019-02-13
EP3726830A1 (en) 2020-10-21
US12244944B2 (en) 2025-03-04
US11089248B2 (en) 2021-08-10
WO2017209221A1 (ja) 2017-12-07
KR102246424B1 (ko) 2021-04-30
US20230164455A1 (en) 2023-05-25
US20200296309A1 (en) 2020-09-17
CN109155829A (zh) 2019-01-04
US11843881B2 (en) 2023-12-12
KR20190092620A (ko) 2019-08-07
CN111510648B (zh) 2022-08-16
CN109155829B (zh) 2020-03-20
KR102022819B1 (ko) 2019-09-18
EP3468169A4 (en) 2019-08-07
CN111510648A (zh) 2020-08-07
US20240056697A1 (en) 2024-02-15
JPWO2017209221A1 (ja) 2019-03-28
KR102144646B1 (ko) 2020-08-13
KR20200067927A (ko) 2020-06-12
US11588990B2 (en) 2023-02-21
CN111510649A (zh) 2020-08-07
KR102374769B1 (ko) 2022-03-17
KR20210046858A (ko) 2021-04-28
EP3468169B1 (en) 2020-08-26
US20210112213A1 (en) 2021-04-15
CN110557586B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
JP6543419B2 (ja) 撮像装置および撮像方法、カメラモジュール、並びに電子機器
US20230239460A1 (en) Imaging device
CN110581967A (zh) 成像装置、成像系统、移动体以及用于层压的半导体基板
KR20210082164A (ko) 고체 촬상 소자, 고체 촬상 소자 패키지 및 전자 기기
WO2023058720A1 (ja) 撮像装置
WO2024194002A1 (en) Circuit chip and solid-state imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190426

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190614

R150 Certificate of patent or registration of utility model

Ref document number: 6543419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150