[go: up one dir, main page]

JP2015164284A - 固体撮像素子、動き情報取得装置、および撮像装置 - Google Patents

固体撮像素子、動き情報取得装置、および撮像装置 Download PDF

Info

Publication number
JP2015164284A
JP2015164284A JP2014187753A JP2014187753A JP2015164284A JP 2015164284 A JP2015164284 A JP 2015164284A JP 2014187753 A JP2014187753 A JP 2014187753A JP 2014187753 A JP2014187753 A JP 2014187753A JP 2015164284 A JP2015164284 A JP 2015164284A
Authority
JP
Japan
Prior art keywords
pixel
solid
imaging device
pixels
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2014187753A
Other languages
English (en)
Inventor
愛彦 沼田
Aihiko Numata
愛彦 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014187753A priority Critical patent/JP2015164284A/ja
Priority to PCT/JP2015/000268 priority patent/WO2015115066A1/en
Priority to PCT/JP2015/000269 priority patent/WO2015115067A1/en
Priority to US15/111,242 priority patent/US10051213B2/en
Priority to US15/111,250 priority patent/US10070078B2/en
Publication of JP2015164284A publication Critical patent/JP2015164284A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8067—Reflectors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/813—Electronic components shared by multiple pixels, e.g. one amplifier shared by two pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】被写体が高速に動いている場合でも高精度な被写体の動き情報を取得する。
【解決手段】行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、前記固体撮像素子に行列状に複数配置された複数の第１の画素と、前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置され、画素内メモリを有する複数の第２の画素と、を有し、前記複数の第２の画素からの信号を前記画素内メモリに所定の電荷保持時間だけ保持してから読み出すことにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる。
【選択図】図２

Description

本発明は、固体撮像素子に関するものであり、特にデジタルスチルカメラやデジタルビデオカメラなどの撮像装置において被写体の動き情報取得に用いられる固体撮像素子に関するものである。
近年、デジタルスチルカメラやビデオカメラにおいては、画素アンプ部にＭＯＳトランジスタを用いたＣＭＯＳ型の固体撮像素子が広く使用されている。ＣＭＯＳ型の固体撮像素子における信号の転送方法として、以下の二つが知られている。一つ目の方法は、画素の電圧信号を、行毎に順次垂直信号線に転送する、所謂ローリングシャッタ方式である。ローリングシャッタ方式では、信号転送のタイミングが行毎にずれるため、露光のタイミングも行毎にずれる。二つ目の方法は、画素内メモリに一時的に電荷を保持することで、全ての画素で露光のタイミングを同時にする、所謂グローバルシャッタ方式である。グローバルシャッタ方式を用いることで、高速で動く被写体に対しても、歪みのない画像が取得できる。
特許文献１には、ローリングシャッタ方式で信号転送を行う固体撮像素子を使用し、被写体の動き情報を取得する手法が開示されている。特許文献１に開示されている固体撮像素子は、行方向に間引いた基準画像と、間引かずに全行の信号を取得した比較画像を比較して、被写体の動き情報を取得している。具体的には、基準画像よりも比較画像の方がローリングシャッタによって発生する画像の歪み量が大きくなることを使用し、基準画像と比較画像を比較することで、被写体の動き情報を取得している。
特開２００９−１８２５２７号公報
しかし、特許文献１に開示されている手法を用いた場合、基準画像を取得するフレームと比較画像を取得するフレームが異なっているため、特に被写体が高速に動いている場合、フレーム間の画像の位置ズレによって、取得した動き情報の精度が低下してしまう。
本発明では、特に被写体が高速に動いている場合においても、高精度な被写体の動き情報の取得が可能となる固体撮像素子と、それを用いた動き取得装置の提供を目的とする。
本発明の第一の態様に係る固体撮像素子は、行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、前記固体撮像素子に行列状に複数配置された複数の第１の画素と、前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置され、画素内メモリを有する複数の第２の画素と、を有し、前記複数の第２の画素からの信号を前記画素内メモリに所定の電荷保持時間だけ保持してから読み出すことにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる、ことを特徴とする。
また、本発明の第二の態様に係る固体撮像素子は、行列状に複数配置された画素からの
信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、前記固体撮像素子に行列状に複数配置された複数の第１の画素と、前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置された複数の第２の画素と、を有し、前記第１の画素および前記第２の画素から、所定の行数おきに間引いて信号を読み出すように構成され、前記複数の第１の画素の間引き行数よりも、前記複数の第２の画素の間引き行数が多い、ことを特徴とする。
本発明によれば、被写体が高速に動いている場合においても、高精度な被写体の動き情報の取得が可能となる。
実施形態１に示す固体撮像素子を用いた動き情報取得装置 実施形態１に示す固体撮像素子 実施形態１に示す固体撮像素子中の画素 ローリングシャッタとグローバルシャッタで取得した画像 実施形態１に示す固体撮像素子中の第１の画素の回路図 実施形態１に示す固体撮像素子中の第１の画素の動作フロー 実施形態１に示す固体撮像素子中の第２の画素の回路図 実施形態１に示す固体撮像素子中の第２の画素の動作フロー 第１の画素と第２の画素で取得した信号値 画素内メモリの配置の変形例 実施形態２に示す固体撮像素子中の第１の画素 実施形態２に示す固体撮像素子中の第１の画素の動作フロー 固体撮像素子中の第２の画素の動作フローの変形例 実施形態３に示す固体撮像素子中の画素 実施形態３に示す固体撮像素子中の第１の画素の回路図 実施形態３に示す固体撮像素子中の第１の画素の動作フロー 実施形態３に示す固体撮像素子中の第２の画素の回路図 実施形態３に示す固体撮像素子中の第２の画素の動作フロー 実施形態３に示す固体撮像素子中の画素の変形例 実施形態３に示す固体撮像素子中の画素の変形例 実施形態３に示す固体撮像素子中の画素の変形例 実施形態４に示す固体撮像素子の第１の画素の動作フロー 実施形態４に示す固体撮像素子の第２の画素の動作フロー
以下、図を用いて、本発明の実施形態における固体撮像素子について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
（実施形態１）
＜動き情報取得装置＞
図１は本実施形態における固体撮像素子を用いた動き情報取得装置の模式図である。図１において、動き情報取得装置１００は、結像光学系１０１、固体撮像素子１１０、演算処理部１０２から構成される。固体撮像素子１１０は結像光学系１０１の光軸上に配置され、結像光学系１０１は固体撮像素子１１０上に被写体像を結像する。
演算処理部１０２は、ＣＰＵやＤＳＰとプログラムを格納したメモリから構成され、プログラムを実行することにより被写体の動き情報を検出したり、被写体像を取得したりす
る。また、動き情報取得装置と演算処理部１０２の撮像機能（被写体像取得部）から、撮像装置が構成される。演算処理部１０２における被写体像取得機能については、公知の技術を採用可能であるので、本明細書では詳しい説明は省略する。
＜固体撮像素子＞
図２は、本発明における動き情報取得装置中の、固体撮像素子１１０を示す概略図である。固体撮像素子１１０は、行列状に複数配置された第１の画素１２０および第２の画素１３０と、画素１２０、１３０から信号を読み出すための周辺回路を有している。なお、図２では簡単のために画素数を４ｘ４としたが、これに限るものではない。
周辺回路は、トランジスタを駆動するための接続された水平駆動線１４１、画素からの信号を読み出す垂直信号線１４２を有している。各画素は水平駆動線１４１によって駆動され、画素信号を垂直信号線１４２に出力している。
第１の画素１２０、第２の画素１３０は互い違いに異なる列に配置されている。図２に示すように、画素１２０（１３０）が配置されている行に応じて、画素１２０（１３０）ａ、画素１２０（１３０）ｂ、画素１２０（１３０）ｃ、画素１２０（１３０）ｄと呼ぶ。
＜画素＞
図３（ａ）は、画素１２０の画素内構成を示す概略図であり、図３（ｂ）は画素１３０の画素内構成を示す概略図である。画素１２０（１３０）は光の入射側から、マイクロレンズ１２１（１３１）、基板１２２（１３２）を有している。基板１２２（１３２）内には、画素に入射した光を電荷に変換するための光電変換部１２３（１３３）が設けられている。マイクロレンズは、検出する波長帯域で透明な材料であるＳｉＯ２やＳｉＮなどで形成されており、基板は、検出する波長帯域で吸収を有するＳｉや有機半導体などの材料で形成されている。配線はＡｌやＣｕなどの金属によって形成されている。
画素１３０には、イオン打ち込みなどによって形成された画素内メモリ１３５が設けられており、画素内メモリに電荷を一時的に保持することで、グローバルシャッタによって画素信号の取得を行う。一方、画素１２０は、ローリングシャッタによって画素信号の取得を行う。画素１２０中の光電変換部１２３の開口率は、画素内メモリ１３５が無い分だけ、画素１３０中の光電変換部１３３の開口率よりも大きくなっている。なお、図３（ｂ）では画素内メモリ１３５を光電変換部１３３に対してＸ方向にずれた位置に配置した例を示したが、Ｙ方向にずれた位置に配置しても良いし、斜め方向にずれた位置に配置しても良い。
＜動き情報取得＞
固体撮像素子１１０では、第１の画素１２０を用いてローリングシャッタによる画素信号の取得を行い、第２の画素１３０を用いてグローバルシャッタによる画素信号の取得を行う。そして、画素１２０で取得した被写体像と、画素１３０で取得した被写体像の画像の歪量を比較することで、被写体の動き情報の取得を行う。即ち、本発明に示す動き情報取得装置では、同一フレームにおいて歪量の異なる複数の被写体像を取得し、歪量の相違から動き情報を取得しているため、被写体が高速に動いている場合においても、高精度な被写体の動き情報の取得が可能となっている。以下で、説明を行う。
＜画像歪みの発生原因＞
まず、ローリングシャッタによって取得した画像と、グローバルシャッタによって取得した画像の差異について説明する。図４（ａ）および図４（ｂ）は、Ｘ方向に向かって高速で動く正方形の被写体を撮影した場合に取得される画像を説明する図である。図４（ａ
）はローリングシャッタによって取得した画像、図４（ｂ）はグローバルシャッタによって取得した画像である。ローリングシャッタを用いた場合、異なる行間では露光のタイミングがずれるため、正方形のＹ方向（列方向）の辺は斜めに伸びる線像として取得される。一方、Ｘ方向（行方向）に沿った画素間の露光タイミングは同時であるため、行方向の辺は行方向に伸びる線像として取得される。また、グローバルシャッタを用いた場合、全ての画素で露光タイミングが同時であるため、被写体の形を反映した、正方形の画像が取得される。このように、高速で動く被写体像を撮影した場合、ローリングシャッタで取得した画像と、グローバルシャッタで取得した画像では、被写体の動き情報を反映して、画像の歪量が異なっている。
＜回路図と動作フロー：第１の画素＝ローリングシャッタ＞
次に、画素１２０、１３０において画素信号を検出する動作について説明を行う。図５は画素１２０の回路図、図６は同一列に並んだ複数の画素１２０の動作フローを説明する図である。同様に、図７は画素１３０の回路図、図８は同一列に並んだ複数の画素１３０の動作フローを説明する図である。
図５、図６を用いて画素１２０の信号検出動作を説明する。まず、水平駆動線１４１によって、リセットトランジスタ（ＲＳＴ）１６１を、固体撮像素子１１０の上側の行から順次ＯＮにし、光電変換部１２３を電源電圧（ＶＤＤ）にリセットする。次に、同様にＲＳＴ１６１を固体撮像素子１１０の上側の行から順次ＯＦＦにし、光電変換部１２３への電荷蓄積を開始する。光電変換部１２３に蓄積された電荷は、光電変換部１２３に接続された増幅トランジスタによるソースフォロアによって、電圧信号として出力される。最後に、水平駆動線１４１によって選択トランジスタ（ＳＥＬ）１６５を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を垂直信号線１４２によって、周辺回路へ転送する。即ち、画素１２０では、ＲＳＴがＯＦＦになってから、ＳＥＬがＯＮになるまでの時間Ｔｅｘが露光時間である。図６からわかるように、画素１２０（第１の画素）では、露光のタイミングが隣り合う行間でΔＴｅｘずれており、ローリングシャッタによる信号検出を行っている。
＜回路図と動作フロー：第２の画素＝グローバルシャッタ＞
図７、図８を用いて画素１３０の信号検出動作を説明する。まず、水平駆動線１４１によって、測距画素１３０のリセットトランジスタ（ＲＳＴ）１７１および転送トランジスタ（ＴＸ）１７３をＯＮにする。これにより、光電変換部１３３および画素内メモリ１３５が電源電圧（ＶＤＤ）にリセットされる。次に、同時に異なる行のＴＸ１７３をＯＦＦにし、光電変換部１３３への電荷蓄積を開始する。ＲＳＴ１７１をＯＦＦにした後、同時に異なる行のＴＸ１７３をＯＮにし、光電変換部１３３内の電荷を各々、画素内メモリ１３５に転送する。転送後、ＴＸ１７３をＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ１３５に電荷を保持する。画素内メモリ１３５に保持された電荷は、画素内メモリに接続された増幅トランジスタによるソースフォロアによって、電圧信号として出力される。最後に、水平駆動線１４１によって選択トランジスタ（ＳＥＬ）１７５を、固体撮像素子１１０の上側の行から順次ＯＮにし、画素信号を垂直信号線１４２によって、周辺回路へ転送する。即ち、測距画素１３０では、ＴＸがＯＦＦになってから、ＴＸがＯＮになるまでの時間Ｔｅｘが露光時間である。図８からわかるように、画素内メモリでの電荷保持時間Ｔｆｄは、それぞれ所定の時間に設定され、露光時間が同時になるようにしている。なお各行の電荷保持時間Ｔｆｄは、行毎にあらかじめ定められた読出（転送）タイミング、あらかじめ定められた露光時間Ｔｆｄ、および露光タイミングから決定することができる。このような電荷保持時間を行毎に設定することで、露光のタイミングを同時にしながら、信号を行毎に順次読み出すことが可能となっている。即ち、画素１３０（第２の画素）はグローバルシャッタによる信号検出を行っている。
＜画像歪を用いた動き情報の検出＞
このように、画素１２０では光電変換部１２３から直接信号を転送し、画素１３０では画素内メモリ１３５に電荷を保持してから信号を転送する。つまり、画素１２０と画素１３０では行毎の露光タイミングのズレ量が異なっている。そのため、画素１２０と画素１３０で歪み量の異なる画像を同一フレーム内で取得することができる。従って、両者を比較することで高精度に被写体の動き情報を取得することができる。
具体的には、演算処理部１０２で以下のような動作を行えば良い。露光タイミングが同時の画素（図５〜図８の画素１２０ａと画素１３０ａ）を原点に取った場合、Ｙ座標の絶対値が大きい画素ほど、画素１３０で取得した画像１３９と、画素１２０で取得した画像１２９では画面上の位置が大きくずれる。従って、被写体のＸ方向の動き量をＶ、画素サイズで規格化したＹ座標をＮｙ、隣接行間での露光タイミングずれをΔＴｅｘとすると、画像１３９上の点Ｐ３に対応する、画像１２９上の点Ｐ２のＸ座標は以下のように書ける。（図４参照）
Ｐ２＝Ｐ３＋Ｖ×Ｎｙ×ΔＴｅｘ （式１）
即ち、画像１２９は、画像１３９に対してパラメータＶの関数で記述できる。この時、パラメータＶの大きさは、画像上では画像の歪量の大きさに相当している。そこで、パラメータＶを変化させつつ、基準画像１３９を歪ませた参照画像１３８を生成し、相関演算により参照画像１３８と比較画像１２９の相関値が極大値をとるようなパラメータＶの値を求めれば、被写体の動き量を求めることができる。
基準画像１３９、比較画像１２９の全部を比較してもよいし、画像の一部のみを切り出して相関演算を行ってもよい。上述したように、Ｙ座標の絶対値の差が大きいほど被写体の動きが画像１２９と画像１３９の相違に大きく反映されるため、Ｙ方向の切り出し幅が大きいほうが好ましい。
また、基準画像として画像１２９を用い、比較画像として画像１３９を用いてもよい。その場合は、画像１３９を画像１２９に対して被写体の動き量をパラメータとする関数で記述し、同様の処理を行えばよい。動き量を表すパラメータＶは、基準画像と比較画像の平行移動量を表す動きベクトルであってもよいし、画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。
＜画素１２０と画素１３０の数＞
なお、図２では、画素１２０の列と列方向に画素１３０の列を互い違いに同数配置したが、どちらかの測距画素を多く配置しても良いし、互い違いに配置しなくても良い。但し、画素１２０と画素１３０を同数配置した方が、基準画像と比較画像の画像サイズが等しくなり、高精度な動き情報の取得が可能となるため、好ましい。画素１２０と画素１３０の数が同数でない場合には、画素数の多い方で取得した画像を間引くか、画素数の少ないほうで取得した画像を補間するか、または両者の組み合わせによって、基準画像と比較画像の画素サイズをあわせてから動き量の計算を行う。
＜間引き読み出し＞
また、図５から図８では全ての画素１２０、１３０の画素信号を読み出していたが、一部の画素の信号のみを間引いて読み出してもよい。間引き読み出しを行うことにより、消費電力を低減することができる。このとき、画素１２０よりも、画素１３０を間引く行数を多くするほうが好ましい。以下で理由を説明する。
ローリングシャッタ読み出しを行う場合、画素の間引き数を増やすほど、画像の歪量は減少する。従って、画素１２０の間引き行数を増やすほど、画素１２０で取得した画像の
歪量は減少する。一方、グローバルシャッタ読み出しを行う場合、画素の間引き行数を増やしても、画像の歪量は変化しない。
また、画素１２０で取得した画像と、画素１３０で取得した画像の歪量が大きいほど、被写体の動きを高精度に取得できる。従って、間引くことによって歪量が低減する画素１２０は間引かず、間引いても歪量が変化しない画素１３０を間引くことで、高精度な測距を行いつつ、消費電力を低減することができる。以上の理由より、画素１２０よりも、画素１３０を間引く行数を多くするほうが好ましい。
なお、以上で述べたように、ローリングシャッタ読み出しを行う場合、画素を間引く行数を変えることによって画像の歪量を変えることができる。これを利用して、画素列によって画素の間引き行数を変えることで、歪量の異なる画像を取得しても良い。この実施形態については、実施形態４で説明を行う。
＜開口率の違いを利用したダイナミックレンジの拡大＞
図３に示すように、画素１２０中の光電変換部１２３の開口率は、画素内メモリ１３５が無い分だけ、測距画素１３０中の光電変換部１３３の開口率よりも大きくなっている。従って、暗い被写体に対しては画素１２０を用い、明るい被写体については画素１３０を用いることで、画像のダイナミックレンジを広げることができる。同一の露光条件で撮影した場合、図９に示すように、画素１２０で取得した画素信号値（破線）の方が、画素１３０で取得した画素信号値（点線）よりも大きい。そのため、画素１２０で取得した画像は、被写体の明るい部分が白トビしやすいが、暗い部分は画像の品質が高い。一方、画素１３０で取得した画像は、被写体の暗い部分が黒ツブレしやすいが、明るい部分は画像の品質が高い。
そこで、以下のようにすれば、品質の高い画像が取得できる。画素１３０（第２の画素）の画素信号が第１の値よりも小さい部分１５３に関しては、画素１２０（第１の画素）で取得した画素信号を使用する。一方、画素１２０（第１の画素）の画素信号が第２の値よりも大きい部分１５４に関しては、画素１３０（第２の画素）で取得した画素信号を使用する。最後に両方の画像を合成することで、白トビや黒ツブレの少ない画像を取得することができる。画素１２０、画素１３０のどちらで取得しても白トビ、黒ツブレのない部分に関してはどちらを使用しても良い。
＜画素境界にメモリを配置して感度差を低減＞
隣接した画素１２０と画素１３０において、画素内メモリ１３５を画素１３０と画素１２０の境界をまたぐように配置すれば、光電変換部１２３と光電変換部１３３間の開口率の差を低減することができる。（図１０）。このような固体撮像素子１１０を用いた場合、画素１２０で取得した画像と、画素１３０で取得した画像間の輝度差が低減しているため、動き量を計算する際の計算精度が向上する。その結果、動き情報の取得精度が向上するため、好ましい。なお、画素１２０、画素１３０で取得した画像間で輝度差がある場合には、演算処理部１０２で輝度差の補正を行ってから動き量の計算を行う方が好ましい。
なお、画素１２０および画素１３０は、相関２重サンプリングを行うための画素内メモリを有していても良い。相関２重サンプリングとは、電荷転送前の画素内メモリのダークレベル信号をあらかじめ読み出しておき、電荷転送後の信号との差分を取ることで、回路のダークレベル信号を除去する技術である。
この場合、画素１２０は、相関２重サンプリングを行うための画素内メモリを有し、画素１３０はグローバルシャッタを行うための画素内メモリ１３５と相関２重サンプリングを行うための画素内メモリとを有している。
＜変形例＞
なお、図１では演算処理部１０２を内部に備えた動き情報取得装置１００の例を示したが、演算処理部１０２を内部に備えていなくても良い。動き情報取得装置１００では歪量の異なる画像を取得するまでを行い、動き情報取得装置とは別に設けられた演算処理装置を用いて、歪量から動き情報を取得しても良い。
（実施形態２）
実施形態２に示す固体撮像素子２１０は、実施形態１に示す固体撮像素子１１０に対し、ローリングシャッタによる信号検出を行う画素２２０（第１の画素）の構成及び、動作フローのみが異なる。
図１１は、固体撮像素子２１０中の、第１の画素２２０の画素内構成を示した図面である。画素２２０は、第２の画素１３０と同様の構成であり、マイクロレンズ２２１、基板２２２内に設けられた光電変換部２２３、画素内メモリ２２５を有する。画素２２０の回路構成も、画素１３０と同様である。但し、画素内メモリ２２５に電荷を保持する時間が、画素内メモリ１３５に電荷を保持する時間とは異なるため、画素２２０と画素１３０では行毎の露光タイミングのズレ量が異なっている。結果として、画素２２０で取得した画像と画素１３０で取得した画像の歪み量が異なるため、歪み量の相違から被写体の動き情報を取得することができる。
画素２２０の動作フローを、図１２の動作フローを用いて説明する。なお、基本的なトランジスタの動作は図７に示す画素１３０と同様であるため、詳細は省略する。まず、ＲＳＴ２６１とＴＸ２６３を用いて光電変換部２２３と画素内メモリ２２５をリセットする。次に、異なる行の転送トランジスタ２６３を、下の行ほど遅くなるようにＯＦＦにして光電変換部２２３への電荷蓄積を開始する。続いて、ＲＳＴ２６１をＯＦＦにした後ＴＸ２６３をＯＮにして光電変換部２２３内の電荷を各々、画素内メモリ２２５に転送する。転送後、ＴＸ２６３をＯＦＦにして光電変換部２２３と画素内メモリ２２５を分離し、画素内メモリ２２５に電荷を保持する。最後に、固体撮像素子２１０の上側の行から、ＳＥＬ２６５をＯＮにして順次画素信号を周辺回路へ転送する。
図１２からわかるように、画素２２０では画素内メモリへ一時的に電荷を保持しているものの、異なる行の画素２２０の露光タイミングは同時ではない。一方、図７からわかるように、画素１３０では異なる行の画素１３０の露光タイミングは同一である。従って、画素１３０と画素２２０で歪み量の異なる画像を取得することができる。歪量の異なる画像から動き情報を求めるには、実施形態１で述べたように、式１を用いて参照画像を生成し、相関演算からパラメータＶを求めればよい。
このように、第１の画素２２０が電荷を一時的に保持するための画素内メモリを有していても、第２の画素１３０とは隣り合う行間での露光タイミングのズレ量が異なっていれば動き情報を取得できる。第１の画素２２０にも画素内メモリを設け、電荷保持時間Ｔｆｄを制御することで、第１の画素で取得する画像の歪み量を変化させることができる。
＜第１の画素の電荷保持時間＞
例えば、図１２のように、上側の行に位置する画素２２０ほど電荷保持時間Ｔｆｄを長くすることで、実施形態１に示す画素１２０よりも、画像の歪み量を増加させることができる。このように、第１の画素で取得した画像と第２の画素で取得した画像間の歪み量の相違を大きくすることで、動き情報を高精度に取得することができるため、好ましい。但し、実施形態１に示す固体撮像素子の方が、第１の画素の構造と動作が簡略化するため、消費電力や製造容易性の観点からは好ましい。
＜第２の画素の電荷保持時間＞
第２の画素１３０においても、必ずしも異なる行の露光タイミングを同時にするグローバルシャッタを用いる必要はない。隣り合う行の第２の画素１３０の露光タイミングのずれ量と、隣り合う行の第１の画素２２０の露光タイミングのズレ量が異なっていれば、動き情報を取得できる。第２の画素１３０の動作の一例を図１３に示す。図１３に示すように、第２の画素１３０における画素内メモリへの電荷保持時間の行毎の差が、第１の画素２２０における画素内メモリでの電荷保持時間の行毎の差と異なっていれば動き情報を取得できる。第２の画素がグローバルシャッタではない場合であっても、第１の画素で取得した画像と第２の画素で取得した画像の歪量の差異を用いて、歪のない画像を生成することもできる。
なお、同様の理由で、実施形態１の固体撮像素子１１０においても、第２の画素はグローバルシャッタでなくてもよい。第２の画素１３０における画素内メモリへの電荷保持時間の行毎の差が、第１の画素１２０における画素内メモリでの電荷保持時間の行毎の差と異なっていれば動き情報を取得できる。
上述したように、第１の画素で取得した画像と第２の画素で取得した画像間の歪み量の相違が大きい方が、動き情報を高精度に取得することができる。そのため、第２の画素にグローバルシャッタを採用して異なる行の露光タイミングが完全に同じにする方が好ましい。
実施形態１と同様に、第１の画素２２０、第２の画素１３０が共に、相関２重サンプリングを行うための画素内メモリも有していても良い。この時、第１の画素２２０、第２の画素１３０は共に、隣り合う行間での露光タイミングのズレ量を制御するためのメモリに加え、相関２重サンプリング用のメモリも有している。
（実施形態３）
実施形態３に示す固体撮像素子３１０は、固体撮像素子３１０中の画素が測距機能も有しており、被写体の動き情報と同時に距離情報も取得することができるようになっている。このような構成とすることで、被写体の動き情報と同時に被写体の距離情報を取得することができる。被写体の距離情報を同時に用いることで、像面上での被写体の動き量を、被写体の実空間上での動き量に変換することができる。即ち、被写体の速度を取得することができるため、更に好ましい。
図１４（ａ）は、測距画素３２０（第１の画素）の画素内構成を示す概略図であり、図１４（ｂ）は測距画素３３０（第２の画素）の画素内構成を示す概略図である。測距画素３２０（３３０）には、Ｘ方向に並んだ２つの光電変換部３２３（３３３）、３２４（３３４）が形成され、マイクロレンズ３２１（３３１）が２つの光電変換部にまたがって配置されている。そして、結像光学系の射出瞳のうち、＋Ｘ方向に偏心した瞳領域から入射した光束を光電変換部３２３（３３３）に、−Ｘ方向に偏心した瞳領域から入射した光束を光電変換部３２４（３３４）に、各々選択的に導いている。２つの光電変換部で取得した像のズレ量を比較することで、ステレオ画像による三角測量を用いて距離を検出することが可能となっている。また、２つの光電変換部で取得した信号を加算することで、結像光学系の全瞳領域を通過した光束を取得が取得でき、測距画素における画像情報を同時に取得することができる。
測距画素３３０（第２の画素）には、光電変換部３３３に対応する画素内メモリ３３５および光電変換部３３４に対応する画素内メモリ３３６が設けられており、画素内メモリに電荷を保持することで、グローバルシャッタによって画素信号の取得を行う。一方、測距画素３２０（第１の画素）には画素内メモリが設けられて折らず、ローリングシャッタによって画素信号の取得を行う。
＜画素の動作フロー＞
図１５、図１６を用いて測距画素３２０の信号検出動作を説明する。図１５は測距画素３２０の回路図、図１６は同一列に並んだ複数の測距画素３２０の動作フローを説明する図である。まず、リセットトランジスタ（ＲＳＴ）３６１、３６２を、固体撮像素子３１０の上側の行から順次ＯＮにし、光電変換部３２３、３２４をリセットする。次に、同様にＲＳＴ３６１、３６２を固体撮像素子３１０の上側の行から順次ＯＦＦにし、光電変換部３２３、３２４への電荷蓄積を開始する。最後に、選択トランジスタ（ＳＥＬ）３６５、３６６を、固体撮像素子３１０の上側の行から順次ＯＮにし、画素信号を周辺回路へ転送する。図１６からわかるように、測距画素３２０（第１の画素）では、露光のタイミングが行毎にΔＴｅｘずれており、ローリングシャッタによる信号検出を行っている。
図１７、図１８を用いて測距画素３３０の信号検出動作を説明する。図１７は測距画素３３０の回路図、図１８は同一列に並んだ複数の測距画素３３０の動作フローを説明する図である。まず、リセットトランジスタ（ＲＳＴ）３７１、３７２および転送トランジスタ（ＴＸ）３７３、３７４をＯＮにして、光電変換部３３３、３３４および画素内メモリ３３５、３３６をリセットする。次に、同時に異なる行のＴＸ３７３、３７４をＯＦＦにし、光電変換部３３３、３３４への電荷蓄積を開始する。ＲＳＴ３７１、３７２をＯＦＦにした後、同時に異なる行のＴＸ３７３、３７４をＯＮにし、光電変換部３３３、３３４内の電荷を各々、画素内メモリ３３５、３３６に転送する。転送後、ＴＸ３７３、３７４をＯＦＦにして光電変換部と画素内メモリを分離し、画素内メモリ３３５、３３６に電荷を保持する。最後に、選択トランジスタ（ＳＥＬ）３７５、３７６を、固体撮像素子３１０の上側の行から順次ＯＮにし、画素信号を周辺回路へ転送する。図１８からわかるように、異なる行の測距画素３３０（第２の画素）の露光タイミングは同時であり、グローバルシャッタによる信号検出を行っている。
＜使用する測距画素の選択＞
測距画素３２０と測距画素３３０は、ともに被写体の距離情報を取得することができるため、どちらか一方を用いて被写体の距離情報を取得しても良いし、両方の結果を比較して、より高精度な距離情報を取得しても良い。この際、被写体に応じて使用する測距画素を変更することで、被写体によらずに高精度な測距が可能となる。以下で、例を示す。
測距画素３２０中の光電変換部３２３、３２４の開口率は、測距画素３３０中の光電変換部３３３、３３４よりも、画素内メモリ３３５、３３６が設けられていない分だけ大きい。従って、暗い被写体に対しては、感度の高い測距画素３２０を用いて測距を行うことで、高精度な距離情報を取得することができる。
また、前述したように、高速で移動する被写体の像を、ローリングシャッタを用いて取得した場合、異なる行間で露光タイミングがずれる。従って、高速で移動する被写体に対しては、グローバルシャッタを使用している測距画素３３０を用いて測距を行うことが好ましい。
更に、測距画素３２０と測距画素３３０の構成を変更して、更に被写体に依存せずに高精度な距離情報を取得できるようにすると好ましい。以下で例を示す。
＜測距画素の基線長＞
図１４では、測距画素３２０と測距画素３３０の基線長は同一であったが、測距画素３２０と測距画素３３０の基線長を異ならせても良い。結像光学系の射出瞳のうち、外側の瞳領域からの光束を選択的に受光する測距画素ほど、基線長が長くなるためより高精度な測距を行うことができる。但し、外側の瞳領域からの光束を選択的に受光する画素ほど、中央の瞳領域からの受光量が減少してしまうため、感度が低下し、基線長と感度のトレードオフとなる。
この時、画素内メモリを有さない第１の画素は、外側の瞳領域からの光束を選択的に受光するように構成し、画素内メモリを有する第２の画素は、内側からの瞳領域からの光束も受光するように構成するのが好ましい。以下で理由を説明する。
前述したように、第１の画素と第２の画素間の輝度差が小さい方が、高精度な被写体の動き情報が取得できる。一方、図１４に示す測距画素３２０と測距画素３３０では、測距画素３２０は画素内メモリを有しないので光電変換部の開口率が高い。開口率の高い測距画素３２０が、外側の瞳領域からの光束を選択的に受光し、開口率が低い測距画素３２０が、中央の瞳領域からの光束も受光するようにすることで、測距画素３２０と測距画素３３０間の輝度差を低減できる。このように、輝度差を低減しつつ基線長を長くでき、測距画素３２０を用いた際の測距精度を向上させることができる。
図１９に具体的な構成を示した。図１９（ａ）は、測距画素３２０の画素内構成を示す概略図であり、図１９（ｂ）は測距画素３３０の画素内構成を示す概略図である。測距画素３２０中の光電変換部３２３、３２４は、画素のＸ方向の周辺に寄っているため、外側の瞳領域からの光束を選択的に受光できるようになっている。一方、測距画素３３０中の光電変換部３３３、３３４は画素の中心に寄っているため、内側の瞳領域からの光束も受光できる構成となっている。
図１４では、測距画素３２０、測距画素３３０の瞳分割方向はＸ方向であったが、瞳分割方向はＹ方向や斜め方向であっても良い。特に、測距画素３２０と測距画素３３０を、異なる瞳分割方向とすることで、被写体の有するテクスチャ方向によらずに高精度な測距が可能となる。
＜一部の画素のみが測距画素＞
図１４では、第１の画素と第２の画素がどちらも測距機能を有する測距画素である例を示したが、どちらか一方のみが測距画素であっても良い。第２の画素を測距画素とした場合、高速で移動する被写体に対する測距精度が向上するため、好ましい。一方、第１の画素を測距画素とした場合、測距とグローバルシャッタの機能が第１および第２の画素の間で分散されるため、画素間の感度差の低減や、製造の容易化が可能となり好ましい。更に、第１の画素や第２の画素の一部のみが測距画素であっても良い。
＜測距画素の変形例＞
測距画素として、図２１のように、結像光学系の瞳の一部を通過する光束を検出する複数の画素を用いても良い。図２１（ａ）に示す撮像画素３１１及び、図２１（ｂ）に示す測距画素３８０、図２１（ｃ）に示す測距画素３８１は、マイクロレンズ３１２、基板３１３内に配置された単一の光電変換部３１４を有している。また、測距画素３８０、３８１は、マイクロレンズ３１２と基板３１３の間に、マイクロレンズ３１２の光軸に対してシフトした遮光膜３１５を有している。
このような構成とすることで、測距画素３８０は、結像光学系の＋Ｘ方向の瞳領域からの光束を選択的に受光し、測距画素３８１は、結像光学系の−Ｘ方向からの瞳領域からの光を選択的に受光する。測距画素３８０で取得した画像と、測距画素３８１で取得した画像では、Ｘ方向（行方向）に像ズレが生じるため、両者を比較することで測距を行うことができる。
また、測距画素３８０（３８１）の代わりに、全瞳領域からの光を取得する撮像画素３１１を使用しても良い。全瞳領域からの光を受光する撮像画素３１１で取得した信号と、測距画素３８０（３８１）で取得した信号の差から、−Ｘ方向（＋Ｘ方向）の瞳領域から
の光束による信号を取得することができる。
（実施形態４）
実施形態４に示す固体撮像素子４１０は、画素列によって画素の間引き行数を変えることで、歪量の異なる画像を取得する。具体的には、第１の画素４２０よりも第２の画素４３０の方が間引く行数を多くすることによって、第１の画素４２０で取得した画像よりも第２の画素４３０で取得した画像の歪量を小さくすることができる。以下では、画素４２０は間引かず、画素４３０は１行毎に間引く構成を例として示す。
第１の画素４２０、第２の画素４３０はともに実施形態１の第１の画素１２０と同じ回路構成であり、ローリングシャッタによって画素信号の取得を行っている。
図２２は、同一列に並んだ複数の画素４２０の動作フローを説明する図であり、図２３は同一列に並んだ複数の画素４３０の動作フローを説明する図である。図６と同様、リセットトランジスタ４６１、４７１がＯＦＦになってから、選択トランジスタ４６５、４７５がＯＮになるまでが露光時間Ｔｅｘである。
図２２からわかるように、画素４２０では露光のタイミングが、１行毎にΔＴｅｘずつ異なっている。一方、図２３からわかるように、画素４３０では露光のタイミングが、２行毎にΔＴｅｘずつ異なっている。即ち、画素４３０の２行毎の露光タイミングのズレ量は、画素４２０の露光タイミングのズレ量の半分となっている。そのため、画素４２０と画素４３０で歪み量の異なる画像を同一フレーム内で取得することができる。従って、両者を比較することで高精度に被写体の動き情報を取得することができる。歪量の異なる画像から動き情報を求めるには、実施形態１で述べたように、式１を用いて参照画像を生成し、相関演算からパラメータＶを求めればよい。
但し、固体撮像素子４１０のように間引き行数を変えて歪量の異なる画像を取得するよりも、実施形態１や２に示す固体撮像素子のように、画素内メモリを使用して歪量の異なる画像を取得した方が好ましい。以下で理由を説明する。
固体撮像素子４１０の場合、画素４３０の間引き行数と画素４２０の間引き行数の差が大きいほど、画素４２０で取得した画像と画素４３０で取得した画像の歪量の差を大きくすることができ、動き情報の取得精度を向上させることができる。一方、間引き行数の差が大きいほど、画素４２０で取得した画像と画素４３０で取得した画像のサイズの差が大きくなり、動き情報の取得精度が低下してしまう。このように、固体撮像素子４１０では、間引き行数によって画像の歪量と画素数がともに変化するため、トレードオフが発生する。
一方、実施形態１や実施形態２では画素のサイズは第１の画素および第２の画素の画素数で、歪量を画素内メモリでの電荷保持時間で制御しているため、実施形態４のようなトレードオフが発生しない。そのため、画素内メモリへの電荷保持時間を制御することで歪量の異なる画像を取得する方が好ましい。
以上の実施形態で示した固体撮像素子によって取得した被写体の動き情報を用いると、被写体の追尾や認識に使用することができる。例えば、被写体が動く向きに応じてカメラの向きやズーム、フォーカスを変える、動き情報を用いて動く物体と背景を区別する、など方法を行えば良い。
１１０、２１０、３１０、４１０：固体撮像素子
１２０、２２０、３２０、４２０：第１の画素
１３０、２３０、３３０、４３０：第２の画素
１３５、２２５、３３５、３３６：画素内メモリ

Claims (20)

  1. 行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって各画素の信号を取得する固体撮像素子であって、
    前記固体撮像素子に行列状に複数配置された複数の第１の画素と、
    前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置され、画素内メモリを有する複数の第２の画素と、
    を有し、
    前記複数の第２の画素からの信号を前記画素内メモリに所定の電荷保持時間だけ保持してから読み出すことにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる、
    ことを特徴とする固体撮像素子。
  2. 前記第１の画素の数と、前記第２の画素の数が等しい、
    ことを特徴とする、請求項１に記載の固体撮像素子。
  3. 前記第１の画素が画素内メモリを有さない、
    ことを特徴とする、請求項１または２に記載の固体撮像素子。
  4. 前記第１の画素が画素内メモリを有し、
    前記複数の第１の画素における画素内メモリへの電荷保持時間が、前記複数の第２の画素における画素内メモリへの電荷保持時間と異なることにより、隣接する行間での前記第２の画素の露光タイミングの差を、隣接する行間での前記第１の画素の露光タイミングの差に対して異ならせる、
    ことを特徴とする、請求項１または２に記載の固体撮像素子。
  5. 画素からの信号が先に前記信号線に読み出される前記第１の画素ほど、前記画素内メモリへの保持時間が長い、
    ことを特徴とする、請求項４に記載の固体撮像素子。
  6. 隣接する行に配置された前記第２の画素の露光タイミングが同時である、
    ことを特徴とする、請求項１から５のいずれか１項に記載の固体撮像素子。
  7. 前記第１の画素の光電変換部の開口率が、前記第２の画素の光電変換部の開口率よりも大きい、
    ことを特徴とする、請求項１から６のいずれか１項に記載の固体撮像素子。
  8. 前記第２の画素で取得した画素信号の値が第１の値よりも小さい場合には前記第１の画素で取得した画像情報を使用し、前記第１の画素で取得した画素信号の値が第２の値よりも大きい場合には前記第２の画素で取得した画像情報を使用し、両者を合成する処理を行う、
    ことを特徴とする、請求項７に記載の固体撮像素子。
  9. 前記第２の画素の画素内メモリが、隣接する第１の画素と第２の画素の境界にまたぐように配置されている、
    ことを特徴とする、請求項１から８のいずれか１項に記載の固体撮像素子。
  10. 前記第１の画素および前記第２の画素から、所定の行数おきに間引いて信号を読み出すように構成され、
    前記複数の第１の画素の間引き行数よりも、前記複数の第２の画素の間引き行数が多い
    、
    ことを特徴とする、請求項１から９のいずれか１項に記載の固体撮像素子。
  11. 行列状に複数配置された画素からの信号を、列方向に沿って配置された信号線に順次読み出すことによって信号を取得する固体撮像素子であって、
    前記固体撮像素子に行列状に複数配置された複数の第１の画素と、
    前記固体撮像素子に前記複数の第１の画素とは異なる列に行列状に複数配置された複数の第２の画素と、
    を有し、
    前記第１の画素および前記第２の画素から、所定の行数おきに間引いて信号を読み出すように構成され、
    前記複数の第１の画素の間引き行数よりも、前記複数の第２の画素の間引き行数が多い、
    ことを特徴とする固体撮像素子。
  12. 前記第１の画素または前記第２の画素のうち少なくとも一部の画素が、前記固体撮像素子へ入射する光束を分離して検出する測距画素である、
    ことを特徴とする、請求項１から１１のいずれか１項に記載の固体撮像素子。
  13. 前記第１の画素が測距画素であって、前記第２の画素は測距画素ではない、
    ことを特徴とする、請求項１２に記載の固体撮像素子。
  14. 前記第２の画素が測距画素であって、前記第１の画素は測距画素ではない、
    ことを特徴とする、請求項１２に記載の固体撮像素子。
  15. 前記第１の画素および、前記第２の画素がいずれも測距画素である、
    ことを特徴とする、請求項１２に記載の固体撮像素子。
  16. 前記第１の画素の基線長が、前記第２の画素の基線長よりも長い、
    ことを特徴とする、請求項１５に記載の固体撮像素子。
  17. 請求項１から１６のいずれか1項に記載の固体撮像素子と、
    同一フレームにおいて前記複数の第１の画素で取得した画像の歪量と、前記複数の第２の画素で取得した画像の歪量の相違を比較することで、被写体の動き情報を取得する演算処理部と、
    を有することを特徴とする、動き情報取得装置。
  18. 前記演算処理部は、前記第１の画素で取得した画像と、前記第２の画素で取得した画像を用いて、前記演算処理部において歪の無い画像を生成する、
    ことを特徴とする、請求項１７に記載の動き情報取得装置。
  19. 前記第１の画素または前記第２の画素のうち少なくとも一部の画素が、前記固体撮像素子へ入射する光束を分離して検出する測距画素であり、
    前記演算処理部は、前記測距画素で取得した画像から求めた被写体の距離情報と被写体の動き情報を用いて、被写体の速度を取得する、
    ことを特徴とする、請求項１７または１８のいずれか１項に記載の動き情報取得装置。
  20. 請求項１から１６のいずれか１項に記載の固体撮像素子または請求項１７から請求項１９のいずれか１項に記載の動き情報取得装置を備えた撮像装置。
JP2014187753A 2014-01-28 2014-09-16 固体撮像素子、動き情報取得装置、および撮像装置 Abandoned JP2015164284A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014187753A JP2015164284A (ja) 2014-01-28 2014-09-16 固体撮像素子、動き情報取得装置、および撮像装置
PCT/JP2015/000268 WO2015115066A1 (en) 2014-01-28 2015-01-21 Solid-state image sensor, and ranging apparatus and imaging apparatus using same
PCT/JP2015/000269 WO2015115067A1 (en) 2014-01-28 2015-01-21 Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus
US15/111,242 US10051213B2 (en) 2014-01-28 2015-01-21 Solid-state image sensor, ranging apparatus and imaging apparatus with pixels having in-pixel memories
US15/111,250 US10070078B2 (en) 2014-01-28 2015-01-21 Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014013377 2014-01-28
JP2014013377 2014-01-28
JP2014187753A JP2015164284A (ja) 2014-01-28 2014-09-16 固体撮像素子、動き情報取得装置、および撮像装置

Publications (1)

Publication Number Publication Date
JP2015164284A true JP2015164284A (ja) 2015-09-10

Family

ID=54187041

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014187753A Abandoned JP2015164284A (ja) 2014-01-28 2014-09-16 固体撮像素子、動き情報取得装置、および撮像装置
JP2014187752A Expired - Fee Related JP6548372B2 (ja) 2014-01-28 2014-09-16 固体撮像素子およびそれを用いた測距装置、撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014187752A Expired - Fee Related JP6548372B2 (ja) 2014-01-28 2014-09-16 固体撮像素子およびそれを用いた測距装置、撮像装置

Country Status (2)

Country Link
US (2) US10070078B2 (ja)
JP (2) JP2015164284A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018006991A (ja) * 2016-06-30 2018-01-11 株式会社ニコン 撮像素子およびカメラ
WO2018079397A1 (ja) * 2016-10-24 2018-05-03 オリンパス株式会社 内視鏡装置
WO2020066341A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 合焦度検出装置、深度マップ生成装置、及び、電子機器

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6733159B2 (ja) * 2015-12-01 2020-07-29 株式会社ニコン 撮像素子、及び撮像装置
JP2017183786A (ja) * 2016-03-28 2017-10-05 ルネサスエレクトロニクス株式会社 撮像装置、カメラシステム及び撮像方法
KR102551141B1 (ko) * 2016-03-31 2023-07-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 장치
JP6688165B2 (ja) * 2016-06-10 2020-04-28 キヤノン株式会社 撮像装置及び撮像システム
US10204943B2 (en) 2016-08-10 2019-02-12 Canon Kabushiki Kaisha Image sensor, method of manufacturing the same, and camera with pixel including light waveguide and insulation film
US10863130B2 (en) * 2017-01-25 2020-12-08 BAE Systems Imaging Solutions Inc. Backside illuminated global shutter imaging array
EP3579548B1 (en) * 2017-02-01 2021-09-22 Sony Semiconductor Solutions Corporation Imaging system, imaging device, and control device
US10909926B2 (en) 2018-05-08 2021-02-02 Apple Inc. Pixel circuitry and operation for memory-containing electronic display
US10867548B2 (en) * 2018-05-08 2020-12-15 Apple Inc. Systems and methods for memory circuitry in an electronic display
US11049448B2 (en) 2018-05-08 2021-06-29 Apple Inc. Memory-in-pixel architecture
JP7181462B2 (ja) * 2019-01-17 2022-12-01 日本電信電話株式会社 光検出器
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11252366B2 (en) * 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
JP7247975B2 (ja) * 2020-07-06 2023-03-29 株式会社ニコン 撮像素子及び撮像装置
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
CN117177078A (zh) * 2023-08-29 2023-12-05 浙江大华技术股份有限公司 一种图像采集设备、图像拼接方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065330A (ja) 2005-08-31 2007-03-15 Canon Inc カメラ
JP4888081B2 (ja) * 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
JP4710660B2 (ja) 2006-03-10 2011-06-29 株式会社ニコン 固体撮像素子及びこれを用いた電子カメラ
JP4835270B2 (ja) * 2006-06-03 2011-12-14 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
US7969490B2 (en) * 2006-08-25 2011-06-28 Micron Technology, Inc. Method, apparatus, and system providing an imager with pixels having extended dynamic range
US8184190B2 (en) * 2006-11-28 2012-05-22 Youliza, Gehts B.V. Limited Liability Company Simultaneous global shutter and correlated double sampling read out in multiple photosensor pixels
JP2008187615A (ja) 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
US7812869B2 (en) * 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
JP4689687B2 (ja) 2008-01-29 2011-05-25 株式会社モルフォ 撮像方法および撮像装置
JP5543098B2 (ja) * 2008-11-14 2014-07-09 キヤノン株式会社 撮像装置
US20100309340A1 (en) * 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
JP5249136B2 (ja) * 2009-06-11 2013-07-31 キヤノン株式会社 撮像装置
JP5630991B2 (ja) 2009-12-14 2014-11-26 キヤノン株式会社 撮像装置
JP5574926B2 (ja) 2010-11-17 2014-08-20 キヤノン株式会社 固体撮像素子
KR101853817B1 (ko) * 2011-07-20 2018-05-02 삼성전자주식회사 촬상 소자
JP5850680B2 (ja) 2011-09-09 2016-02-03 キヤノン株式会社 撮像装置及びその制御方法
JP2013172210A (ja) * 2012-02-17 2013-09-02 Canon Inc 撮像装置
WO2014038258A1 (ja) * 2012-09-06 2014-03-13 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6124555B2 (ja) 2012-11-01 2017-05-10 キヤノン株式会社 固体撮像素子及びそれを用いた測距装置
US9402041B2 (en) 2013-07-11 2016-07-26 Canon Kabushiki Kaisha Solid-state image sensor and imaging apparatus using same
US20150296159A1 (en) * 2014-04-12 2015-10-15 Forza Silicon Corporation Image Sensors Comprising Hybrid Arrays of Global and Rolling Shutter Pixels

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018006991A (ja) * 2016-06-30 2018-01-11 株式会社ニコン 撮像素子およびカメラ
WO2018079397A1 (ja) * 2016-10-24 2018-05-03 オリンパス株式会社 内視鏡装置
US11337595B2 (en) 2016-10-24 2022-05-24 Olympus Corporation Endoscope apparatus for determining situation of occurrence of rolling distortion
WO2020066341A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 合焦度検出装置、深度マップ生成装置、及び、電子機器

Also Published As

Publication number Publication date
US10051213B2 (en) 2018-08-14
US10070078B2 (en) 2018-09-04
JP6548372B2 (ja) 2019-07-24
US20160337608A1 (en) 2016-11-17
JP2015164283A (ja) 2015-09-10
US20160337604A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
JP2015164284A (ja) 固体撮像素子、動き情報取得装置、および撮像装置
US10559609B2 (en) Solid-state imaging device with light shielding film and driving method thereof, and electronic apparatus
JP6806494B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
EP2981062B1 (en) Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method
US8964077B2 (en) Solid-state imaging device, method for driving the same, and imaging device
US10270990B2 (en) Imaging element, imaging apparatus, and imaging signal processing method
US20170117310A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
JP6765860B2 (ja) 撮像素子、撮像装置、および撮像信号処理方法
JP2017016103A (ja) 適応性オートフォーカスシステム
JP2015065269A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP2017016103A5 (ja)
JP6220148B2 (ja) 撮像装置およびその制御方法
JP2017536777A (ja) 画像センサユニット及び撮像装置
JP5211590B2 (ja) 撮像素子および焦点検出装置
JP5414358B2 (ja) 撮像装置
TWI577971B (zh) 雙孔徑測距系統
CN104641276A (zh) 摄像装置及信号处理方法
KR20200098790A (ko) 이미지 센서 및 이를 포함하는 전자 기기
JP2018019296A (ja) 撮像装置およびその制御方法
US9277151B2 (en) Solid-state image sensor with an effective pixel area, and image pickup apparatus
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP2021013117A (ja) 集積回路チップ及び撮像装置
WO2015115067A1 (en) Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
JP6765829B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170911

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20180806