JP2007288768A - 撮像素子、撮像装置、撮像システム及び撮像方法 - Google Patents

Abstract

【課題】高速移動するフレームアウトし易い被写体の移動過程の２画像と、視認用の全体画像とを同時に撮像するのに好適で且つ前記被写体の前記２画像に対応する距離の移動に要する時間を測定するのに好適な撮像素子、撮像装置、撮像システム及び撮像方法を提供する。
【解決手段】撮像装置１を、通常露光時間の露光期間において、センサセルアレイ５６の全露光領域における通常露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、センサセルアレイ５６の第１及び第２特定領域における複数種類の露光時間で露光された各画素のラインから非破壊読み出し方式によって各種類毎の画素信号を読み出し、これら読み出した画素信号の画素データを順次出力する撮像処理部１０と、第１及び第２特定領域の各画素から読み出された画素データに基づき注目被写体の移動時間に係る情報を測定する画像処理部１２とを含んだ構成とした。
【選択図】図１

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式を用いて行うことが可能な撮像素子及び撮像装置に係り、特に、所定の被写体の移動に要する時間を測定するのに好適な撮像素子、撮像装置、撮像システム及び撮像方法に関する。

近年、注目被写体の撮影と共に、注目被写体の移動速度を測定したいという要望がある（例えば、カーレースなど）。
従来、撮影した画像に基づき、対象物体の速度測定を行う技術として、例えば、特許文献１に記載の撮像装置がある。
この撮像装置は、撮像レンズから注目被写体までの距離Ｄをキー入力部で手入力するか、または測距部で測定し、この距離Ｄ及び撮像レンズの画角θから被写体を基準とした実際距離を換算したモニター画面を仮定する。また、実際距離換算値とモニター画面における被写体画像の位置変化距離の割合をＲとして実際の移動距離Ｐｒを算出する（Ｐｒ＝２Ｒ・Ｄｔａｎ（θ／２））。画角θは既知であり、移動時間ｔは、ｔ＝（フレームレート（既知））／（２つの被写体画像のフレーム差）から算出できるので、これにより、移動速度は、Ｖ＝Ｐｒ／ｔとして算出できる。
特開２００１―１８３３８３号公報

しかしながら、上記特許文献１の従来技術においては、注目被写体が高速移動している場合や、撮像レンズと注目被写体との距離が短い場合などに、現フレームで注目被写体を撮像できても、次フレームにおいては、注目被写体がフレームアウトして撮像できないといった問題が生じる恐れがある。なお、フレームレートを高速化してこの問題を解決しようとしても、上記特許文献１の従来技術においては、注目被写体の視認目的の撮影も兼ねているため、露光時間はある程度の露光量を確保する時間が必要となり、フレームレートを高速化するのにも限界がある。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、高速移動する被写体及び撮像距離が近距離の被写体（移動体）などのフレームアウトし易い撮像対象の移動過程の２画像と、視認用の全体画像とを同時に撮像するのに好適な撮像素子及び撮像装置と、前記被写体の前記２画像に対応する距離の移動に要する時間を測定するのに好適な、撮像装置、撮像システム及び撮像方法とを提供することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の撮像素子は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出手段と、を備えることを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出すことが可能であり、第３読出手段によって、前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出すことが可能である。

従って、第１読出手段によって、露光領域全体の撮像内容を視認可能な撮像画像を得るのに十分な長さの露光時間（通常露光時間）で露光された電荷を破壊読み出し方式で読み出すことが可能であり、この読出した電荷から、視認用の画像データを生成することが可能である。一方、前記通常露光時間の露光期間において、前記第１読出手段とはそれぞれ独立に、第２及び第３読出手段によって、第１及び第２特定領域の各画素から、例えば、前記通常露光時間以下の、複数種類（例えば、５種類など）の露光時間で順次露光された電荷を非破壊読み出し方式で順次読み出すことが可能であり、これら読み出した電荷から、通常露光時間時のフレームレートよりも高速なフレームレートで撮像された第１及び第２特定領域の高速画像データを生成することが可能である。

例えば、高速移動する所定の被写体（以下、注目被写体と称す）の撮像に本発明を適用した場合に、露光領域内に注目被写体が捉えられてから、通常露光時間の１フレーム後に注目被写体がフレームアウトするような場合でも、第１及び第２特定領域では、この通常露光時間の露光期間中に高速なフレームレートで複数回の撮像が行われるので、余程の移動速度でない限りは、第１特定領域及び第２特定領域のそれぞれにおいて、高速移動する前記注目被写体を撮像することができるという効果が得られる。

なお、これら注目被写体の撮像画像データを用いて、例えば、注目被写体が、第１特定領域及び第２特定領域間の移動に要した時間を測定することなどが可能であり、更に、第１特定領域及び第２特定領域間の距離に対応する実際の距離が解れば、当該距離と前記測定した時間とから注目被写体の速度を求めることも可能である。
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、撮像装置に関する形態、撮像方法に関する形態、撮像システムに関する形態などにおいて同様である。

また、上記「破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、撮像装置に関する形態、撮像方法に関する形態、撮像システムに関する形態などにおいて同様である。
また、上記「非破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。以下、撮像装置に関する形態、撮像方法に関する形態、撮像システムに関する形態などにおいて同様である。

また、上記「第１特定領域」及び「第２特定領域」は、露光領域を構成する複数の画素（例えば、複数の画素ライン）から構成された領域であり、例えば、第１特定領域は露光領域の一方の端側に位置し、第２特定領域は他方の端側に位置するといったように、両者は異なる位置に設定される。勿論、両端に限らず、一方が端で、他方は中央など他の位置関係でも良い。以下、撮像装置に関する形態、撮像方法に関する形態、撮像システムに関する形態などにおいて同様である。

〔形態２〕 一方、上記目的を達成するために、形態２の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成する視認用画像データ生成手段と、
前記第２読出手段で読み出される、複数種類の露光時間で露光時の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成する第１高速画像データ生成手段と、
前記第３読出手段で読み出される、複数種類の露光時間で露光時の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成する第２高速画像データ生成手段と、を備えることを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出すことが可能であり、第３読出手段によって、前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出すことが可能である。

更に、視認用画像データ生成手段によって、前記第１読出手段で読み出される、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成することが可能であり、第１高速画像データ生成手段によって、前記第２読出手段で読み出される、複数種類の露光時間で露光時の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成することが可能であり、第２高速画像データ生成手段によって、前記第３読出手段で読み出される、複数種類の露光時間で露光時の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成することが可能である。

従って、第１読出手段によって、露光領域全体の撮像内容を視認可能な撮像画像を得るのに十分な長さの露光時間（通常露光時間）で露光された電荷を、破壊読み出し方式で読み出すことが可能であり、これにより、露光領域全体に対して通常露光時間で露光された視認用の画像データ（視認用画像データ）を得ることが可能である。一方、前記通常露光時間の露光期間において、前記第１読出手段とはそれぞれ独立に、第２及び第３読出手段によって、第１及び第２特定領域の各画素から、例えば、前記通常露光時間以下の、複数種類（例えば、５種類など）の露光時間で順次露光された電荷を、非破壊読み出し方式で順次読み出すことが可能であり、これにより、通常露光時間時のフレームレートよりも高速なフレームレートで電荷を読み出すことが可能となるので、通常のフレームレートの期間中に、高速なフレームレートで撮像された複数の第１及び第２特定領域の画像データ（高速画像データ）を得ることが可能である。つまり、１つの撮像素子により、全露光領域の通常露光時間で撮像された視認用の画像データと、第１及び第２特定領域の高速なフレームレートで撮像された複数の画像データとを同時に得ることができるという効果が得られる。

また、例えば、高速移動する所定の被写体（注目被写体）の撮像に本発明を適用した場合に、露光領域内に注目被写体が捉えられてから、通常露光時間の１フレーム後に注目被写体がフレームアウトするような場合でも、第１及び第２特定領域では、この通常露光時間の露光期間中に高速なフレームレートで複数回の撮像が行われるので、注目被写体が余程の移動速度でない限りは、第１特定領域及び第２特定領域のそれぞれにおいて、高速移動する前記注目被写体を撮像することが可能である。

なお、これら注目被写体の撮像画像データを用いて、例えば、注目被写体が、第１特定領域及び第２特定領域間の移動に要した時間を測定することなどが可能であり、更に、第１特定領域及び第２特定領域間の距離に対応する実際の距離が解れば、当該距離と前記測定した時間とから注目被写体の速度を求めることも可能である。

〔形態３〕 更に、形態３の撮像装置は、形態２の撮像装置において、
前記第１高速画像データ生成手段は、前記第２読出手段で読み出される前記各露光時間に対応する画素データの画素値と、前記第２読出手段で読み出される前記各露光時間よりも短い露光時間に対応する画素データの画素値とのそれぞれの差分値を算出し、当該算出した差分値に基づき前記第１高速画像データを生成し、
前記第２高速画像データ生成手段は、前記第３読出手段で読み出される前記各露光時間に対応する画素データの画素値と、前記第３読出手段で読み出される前記各露光時間よりも短い露光時間に対応する画素データの画素値とのそれぞれの差分値を算出し、当該算出した差分値に基づき前記第２高速画像データを生成することを特徴としている。

一般に、光電変換部を構成する各光電変換素子（画素）から電荷を読み出すときに、光電変換素子の個々の特性のばらつきに起因する固定パターンノイズが発生する。特に、非破壊読み出し方式で電荷を読み出す場合は、リセット直後のデータを用いたノイズ除去処理が行えないため、読み出した電荷から構成される画素データにはノイズが多く混入された状態となる。

上記構成であれば、例えば、現在、電荷の非破壊読み出しの行われている露光時間の１つ前の露光時間で読み出された画素データを、例えば、基準データとして保持しておき、現在読み出された画素データから前記基準データを減じてなる差分値を算出し、この差分値に基づき、第１高速画像データを生成することが可能となるので、差分値を算出することによって、第２画素データに混入される固定パターンノイズを除去することができるので、正確な輝度レベルの第１高速画像データを生成することができるという効果が得られる。なお、第３画素データから第２高速画像データを生成する場合についても同様の作用効果となる。
ここで、「固定パターンノイズ」には、例えば、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。

〔形態４〕 更に、形態４の撮像装置は、形態２又は３の撮像装置において、
前記露光領域におけるそれぞれ異なる位置に、前記第１特定領域及び前記第２特定領域を設定する特定領域設定手段を備えることを特徴としている。

このような構成であれば、所定の被写体の移動距離や撮像サイズ等に合わせて、適切な位置に第１特定領域及び第２特定領域を設定したり、第１特定領域及び第２特定領域をフレームの両端に設定したりするなど、任意の位置に特定領域を設定できるという効果が得られる。例えば、人や車などの所定の被写体の移動時間の測定を行う場合は、測定したい移動距離に合わせて適切な位置に第１特定領域及び第２特定領域を設定することが可能である。

〔形態５〕 更に、形態５の撮像装置は、形態１乃至４のいずれか１の撮像装置において、
前記第１高速画像データ及び前記第２高速画像データに基づき、所定の被写体が、前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間に係る情報を測定する時間情報測定手段を備えることを特徴としている。

このような構成であれば、時間情報測定手段によって、前記第１高速画像データ及び前記第２高速画像データに基づき、所定の被写体が、前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間に係る情報を測定することが可能である。
従って、例えば、測定した時間に係る情報から、所定の被写体が、前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間が算出でき、且つ第１特定領域から第２特定領域までの距離に対応する実際の距離が解っていれば、実際の距離に対する所定の被写体の移動時間を測定することができるという効果が得られる。更に、移動時間と移動距離とが解るのでで、所定の被写体の移動速度を算出することもできる。

例えば、第１特定領域をスタートラインに合わせ、第２特定領域をゴールラインに合わせることで、陸上競技の１００ｍ走のタイムを測定したり、車の４００ｍ走のタイムを測定したりすることなどが可能である。更に、実際の距離と移動時間とから移動速度を求めることも可能である。例えば、撮像装置の撮像位置が固定の場合は、第１特定領域及び第２特定領域間の位置を変更しなければ、両者の距離に対応する実際の距離も固定となるため、一度距離を測定して記録おけば、測定した移動時間から被写体の移動速度を簡易に算出することが可能である。
ここで、上記「所定の被写体」は、人、動物、車などが含まれ、時間を測定することから、歩く、走る、飛ぶなどの移動を伴う動作を行うものが望ましい。

〔形態６〕 更に、形態６の撮像装置は、形態５の撮像装置において、
前記第１高速画像データに基づき、前記第１特定領域で前記所定の被写体が撮像されたか否かを判定する第１判定手段と、
前記第２高速画像データに基づき、前記第２特定領域で前記所定の被写体が撮像されたか否かを判定する第２判定手段と、を備え、
前記時間情報測定手段は、前記第１判定手段の判定結果に基づき前記第１特定領域で前記所定の被写体が撮像されたときの時間に係る情報を測定し、前記第２判定手段の判定結果に基づき前記第２特定領域で前記所定の被写体が撮像されたときの時間に係る情報を測定し、これら測定情報に基づき、前記所定の被写体が前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間を算出することを特徴としている。

このような構成であれば、第１判定手段によって、前記第１高速画像データに基づき、前記第１特定領域で前記所定の被写体が撮像されたか否かを判定することが可能であり、第２判定手段によって、前記第２高速画像データに基づき、前記第２特定領域で前記所定の被写体が撮像されたか否かを判定することが可能である。
更に、時間情報測定手段は、前記第１判定手段の判定結果に基づき前記第１特定領域で前記所定の被写体が撮像されたときの時間に係る情報を測定し、前記第２判定手段の判定結果に基づき前記第２特定領域で前記所定の被写体が撮像されたときの時間に係る情報を測定し、これら測定情報に基づき、前記所定の被写体が前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間を算出することが可能である。

例えば、所定の被写体が予め解っていれば、パターンマッチング等によって、第１特定領域及び第２特定領域において所定の被写体が撮像されたか否かを判定することができ、また、所定の被写体が解っていない場合でも、輝度レベルの変化等から第１特定領域及び第２特定領域において所定の被写体が撮像されたか否かを判定することができる。更に、各判定結果から、所定の被写体が撮像されたときの時間情報をタイマ等から取得し、それぞれの領域に対してタイマの示す数値の差分値を計算することで、所定の被写体が、第１特定領域で撮像されてから、次に第２特定領域で撮像されるまでの時間を簡易に測定することが可能である。
従って、第１特定領域及び第２特定領域間の距離に対応する実際の距離に対する所定の被写体の移動時間を簡易に測定することができるという効果が得られる。

〔形態７〕 更に、形態７の撮像装置は、形態５又は６の撮像装置において、
前記第１判定手段は、前記第１高速画像データの各画素データ示す輝度値の変化に基づき、前記第１特定領域で前記所定の被写体が撮像されたか否かを判定し、
前記第２判定手段は、前記第２高速画像データの各画素データの示す輝度値の変化に基づき、前記第２特定領域で前記所定の被写体が撮像されたか否かを判定することを特徴としている。

このような構成であれば、輝度値の比較という負荷の比較的軽い処理によって、第１特定領域及び第２特定領域において所定の被写体が撮像されたか否かを判定することが可能となる。また、輝度値の変化しか見ないので、所定の被写体がどのような形状なのかを解っていなくても判定処理を行うことが可能である。
これにより、簡易且つ比較的負荷の軽い演算処理で判定処理を行うことができると共に、不特定の被写体に対しても判定処理を行うことができるという効果が得られる。

〔形態８〕 更に、形態８の撮像装置は、形態５乃至７のいずれか１の撮像装置において、
前記時間情報測定手段で測定された時間に係る情報に基づき、当該時間に係る情報に対応する前記視認用の画像データを記録するか否かを判定する記録判定手段と、
前記記録判定手段で記録すると判定された視認用の画像データを記録する記録手段と、を備えることを特徴としている。

このような構成であれば、記録判定手段によって、前記時間情報測定手段で測定された時間に係る情報に基づき、当該時間に係る情報に対応する前記視認用の画像データを記録するか否かを判定することが可能であり、記録手段によって、前記記録判定手段で記録すると判定された視認用の画像データを記録することが可能である。
従って、例えば、時間情報測定手段で測定した時間に係る情報に基づき、所定の被写体が、第１特定領域で撮像されてから、次に第２特定領域で撮像されるまでの時間（又は速度）を算出し、この時間（又は速度）が、例えば、所定の時間以下（又は所定の速度以上）であったときは、視認用の画像データを記録し、そうでないときは、視認用の画像データを記録しないようにするといったことが可能となる。
つまり、必要な時間情報（又は速度情報）を有する視認用の画像データのみを記録することが可能となるので、視認用画像データの記録に必要な記録容量を低減することができる。これにより、記録手段にかかるコストを低減できるという効果が得られる。

〔形態９〕 一方、上記目的を達成するために、形態９の撮像システムは、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出手段と、
前記第１読出手段で読み出される、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成する視認用画像データ生成手段と、
前記第２読出手段で読み出される、複数種類の露光時間の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成する第１高速画像データ生成手段と、
前記第３読出手段で読み出される、複数種類の露光時間の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成する第２高速画像データ生成手段と、を備えることを特徴としている。

これにより、形態２の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし（この場合は、形態２と同等となる）、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。

〔形態１０〕 また、上記目的を達成するために、形態１０の撮像方法は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に適用可能な撮像方法であって、
前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出ステップと、
前記第１読出ステップで電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出ステップと、
前記第１読出ステップで電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出ステップと、
前記第１読出ステップで読み出された、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成する視認用画像データ生成ステップと、
前記第２読出ステップで読み出された、複数種類の露光時間の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成する第１高速画像データ生成ステップと、
前記第３読出手段で読み出された、複数種類の露光時間の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成する第２高速画像データ生成ステップと、を含むことを特徴としている。
これにより、形態２の撮像装置と同等の作用及び効果が得られる。

以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の実施の形態を、図面に基づいて説明する。図１〜図１２は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の実施の形態を示す図である。
以下、図１に基づき、本発明に係る撮像システム３の概略構成を説明する。ここで、図１は、本発明に係る撮像システム３の概略構成を示すブロック図である。

撮像システム３は、図１に示すように、撮像装置１と、ホストシステム２とを含んで構成される。
撮像装置１は、図１に示すように、通常露光時間の露光期間において、センサセルアレイ５６（後述）の全露光領域における通常露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、センサセルアレイ５６の第１特定領域及び第２特定領域における複数種類の露光時間（本実施の形態においては、いずれも通常露光時間以下の時間で且つ重複無し）で露光された各画素のラインから非破壊読み出し方式によって各種類毎の画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ（デジタルデータ）を順次出力する撮像処理部１０と、撮像処理部１０から出力された、全露光領域の各画素からの通常露光時間の露光に対応する画素データに基づき通常画像データ（視認用画像データ）を生成し、第１及び第２特定領域の各画素からの複数種類の露光時間の露光にそれぞれ対応する画素データに基づき第１及び第２特定領域で撮像される所定の被写体（以下、注目被写体と称す）の移動時間に係る情報を測定する画像処理部１２と、通常画像データを記憶するフレームメモリ１４とを含んで構成される。

更に、図２〜図６に基づき、撮像処理部１０の内部構成を説明する。ここで、図２は、撮像処理部１０の内部構成及びホストシステム２の内部構成を示すブロック図である。また、図３は、第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。また、図４は、イメージセンサ１００の内部構成を示すブロック図である。また、図５は、走査ラインスキャナ５４の内部構成を示す図である。また、図６は、センサセルアレイ５６の詳細構成を示す図である。

図２に示すように、撮像処理部１０は、イメージセンサ１００と、第１のＡＦＥ１０２と、第２のＡＦＥ１０４と、第３のＡＦＥ１０６とを含んで構成される。
イメージセンサ１００は、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる。また、イメージセンサ１００は、画像処理部１２のタイミング制御部１２ｂ（後述）から出力される駆動信号（ピクセルクロック、水平同期信号及び垂直同期信号０）に基づいて、センサセルアレイ５６の全露光領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。また、後述する走査ラインスキャナ５４の生成する垂直同期信号１に基づいて、センサセルアレイ５６の第１特定領域の各画素列に蓄積されている電荷群を電圧群に順次変換すると共に、走査ラインスキャナ５４の生成する垂直同期信号２に基づいて、センサセルアレイ５６の第２特定領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。

そして、イメージセンサ１００は、全露光領域に対する通常露光時間で露光された電荷群を変換してなる電圧群を、第１ラインメモリＳ及び第１ラインメモリＮを含んで構成される第１出力チャンネル（後述）を介して第１のＡＦＥ１０２に順次出力する。また、第１特定領域に対する複数種類の露光時間で露光された電荷群を順次変換してなる電圧群を、第２ラインメモリを含んで構成される第２出力チャンネル（後述）を介して第２のＡＦＥ１０４に順次出力する。また、第２特定領域に対する複数種類の露光時間で露光された電荷群を順次変換してなる電圧群を、第３ラインメモリを含んで構成される第３出力チャンネル（後述）を介して第３のＡＦＥ１０６に順次出力する。

また、本実施の形態においては、全露光領域に対して、ＣＨ１を介して破壊読み出し方式で各画素からの電荷の読み出しを行い、第１特定領域及び第２特定領域に対して、ＣＨ２及びＣＨ３を介して非破壊読み出し方式で各画素からの電荷の読み出しを行うことによって、電子シャッタ機能による１回の露光期間（通常露光時間）において、全露光領域における通常露光時間での露光時の電荷群と、第１特定領域における複数種類の露光時間で露光時の電荷群と、第２特定領域における複数種類の露光時間で露光時の電荷群とをそれぞれ独立に読み出すようになっている。

ここで、破壊読み出しと非破壊読み出しの動作の違いを説明する。破壊読み出しは、読み出し後、直ちにリセット処理（センサセル内に蓄積された電荷を空にする処理）を行い、再び読み出し動作を行う。リセット前の読み出し信号（アナログデータ）は第１ラインメモリＳに、リセット後の読み出し信号は第１ラインメモリＮに格納される。そして、差動増幅回路６４（後述）において、対応する画素信号の減算処理を行って信号レベルの検出及びノイズの除去を行う。一方、非破壊読み出しは、読み出し後にリセット処理は行わない。読み出し後の信号（アナログデータ）は各々、第１特定領域の信号は第２ラインメモリに格納され、第２特定領域の信号は第３ラインメモリに格納される。第１〜第３ラインメモリにそれぞれ格納された画素信号はピクセルクロックに同期して、第１〜第３のＡＦＥ１０２〜１０６にそれぞれ出力される。

第１〜第３のＡＦＥ１０２〜１０６は、第１出力チャンネル５８（後述）、第２出力チャンネル６０（後述）及び第３出力チャンネル６２（後述）を介して出力されるそれぞれ異なる露光時間に対応する電圧信号（アナログデータ）を、デジタルデータ（以下、画素データと称す）に変換する。そして、第１のＡＦＥ１０２は、その生成された画素データを画像処理部１２のメモリアクセス部１２ｄ（後述）に出力する。一方、第２及び第３のＡＦＥ１０４及び１０６は、前記生成された画素データを画像処理部１２の時間測定部１２ｃ（後述）にそれぞれ出力する。

更に、図３に基づき、第１のＡＦＥ１０２の内部構成を説明する。
第１のＡＦＥ１０２は、図３に示すように、クランプ回路１０２ａと、増幅回路１０２ｂと、Ａ／Ｄ変換回路１０２ｃとを含んで構成される。
クランプ回路１０２ａは、イメージセンサ１００からの画素信号を受信し、それが遮光領域の信号か否かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路１０２ｂに出力する。

増幅回路１０２ｂは、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合するように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０２ｃに出力する。
Ａ／Ｄ変換回路１０２ｃは、増幅回路１０２ｂからの画素信号（アナログデータ）を、画素データ（デジタルデータ）に変換して画像処理部１２へと出力する。
なお、第１〜第３のＡＦＥ１０２〜１０６は、同一の内部構成となるので、第２及び第３のＡＦＥ１０４及び１０６に対する内部構成の説明は省略する。

更に、図４に基づき、イメージセンサ１００の内部構成を説明する。
イメージセンサ１００は、図４に示すように、基準タイミング発生器５０と、駆動パルス発生器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、第１出力チャンネル５８と、第２出力チャンネル６０と、第３出力チャンネル６２とを含んで構成される。

基準タイミング発生器５０は、画像処理部１２のタイミング制御部１２ｂ（後述）からの垂直同期信号０及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ５６に供給する。

走査ラインスキャナ５４は、画像処理部１２の通信器１２ａ（後述）からの開始ライン番号及び走査領域幅を指定する各種駆動制御信号に基づき、全露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成する。更に、全露光領域、第１特定領域及び第２特定領域に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号（３ライン分）を生成し、これら生成した読み出しライン選択信号及び前記リセットライン選択信号を駆動パルス発生器５２に出力する。

センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス発生器５２から供給される駆動パルスに基づき、全露光領域における各画素を通常露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破壊読み出し方式で読み出して第１出力チャンネル５８に順次出力する。一方、この通常露光時間の露光期間において、第１特定領域及び第２特定領域における複数種類の露光時間における各画素に蓄積された電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出して第２出力チャンネル６０及び第３出力チャンネル６２にそれぞれ順次出力する。

第１出力チャンネル５８は、センサセルアレイ５６の全露光領域における通常露光時間に対応する画素信号データ及びリセット直後の画素信号データを、各画素のライン毎にＣＨ１の第１ラインメモリＳ及び第１ラインメモリＮにそれぞれ記憶し、当該記憶した通常露光時間及びリセット直後の画素信号データを、差動増幅回路６４（後述）に出力する。
第２出力チャンネル６０（以下、ＣＨ２と称す）は、センサセルアレイ５６の第１特定領域における複数種類の露光時間にそれぞれ対応する画素信号データを、各画素のライン毎にＣＨ２の第２ラインメモリに記憶し、当該記憶した画素信号データを第２のＡＦＥ１０４に出力する。

第３出力チャンネル６２（以下、ＣＨ３と称す）は、センサセルアレイ５６の第２特定領域における複数種類の露光時間にそれぞれ対応する画素信号データを、各画素のライン毎にＣＨ３の第３ラインメモリに記憶し、当該記憶した画素信号データを第３のＡＦＥ１０６に出力する。
更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。

走査ラインスキャナ５４は、図５に示すように、通常走査カウンタ５４ａと、通常走査アドレスデコーダ５４ｂと、第１特定領域カウンタ５４ｃと、第１特定領域アドレスデコーダ５４ｄと、第２特定領域カウンタ５４ｅと、第２特定領域アドレスデコーダ５４ｆと、ＯＲロジック５４ｇとを含んで構成される。
通常走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号０及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、全露光領域の画素のライン番号に対応しており、このライン番号は、通常走査アドレスデコーダ５４ｂに出力される。

通常走査アドレスデコーダ５４ｂは、通常走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｇに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器５２に出力する。

第１特定領域カウンタ５４ｃは、通信器１２ａからの第１特定領域に対する開始ライン番号と走査領域幅を示す情報とに基づき、通常走査カウンタ５４ａとは非同期にカウントアップ動作を繰り返す。ここで、カウンタの値は、第１特定領域の画素のライン番号に対応しており、このライン番号は、第１特定領域アドレスデコーダ５４ｄに出力される。また、第１特定領域カウンタ５４ｃは、第１特定領域における垂直同期信号である垂直同期信号１を生成し、当該生成した垂直同期信号１を画像処理部１２の時間測定部１２ｃに出力する。

第１特定領域アドレスデコーダ５４ｄは、第１特定領域カウンタ５４ｃからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｇに出力する。
第２特定領域カウンタ５４ｅは、通信器１２ａからの第２特定領域に対する開始ライン番号と走査領域幅を示す情報に基づき、通常走査カウンタ５４ａとは非同期にカウントアップ動作を繰り返す。ここで、カウンタの値は、第２特定領域の画素のライン番号に対応しており、このライン番号は、第２特定領域アドレスデコーダ５４ｆに出力される。また、第２特定領域カウンタ５４ｅは、第２特定領域における垂直同期信号である垂直同期信号２を生成し、当該生成した垂直同期信号２を画像処理部１２の時間測定部１２ｃに出力する。

第２特定領域アドレスデコーダ５４ｆは、第２特定領域カウンタ５４ｅからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｇに出力する。
ＯＲロジック５４ｇは、通常走査アドレスデコーダ５４ｂからの読み出しライン制御信号と、第１及び第２特定領域アドレスデコーダ５４ｄ及び５４ｆからの読み出しライン制御信号とに基づき、各ライン毎にＯＲ演算を行い、全露光領域に対する最終的な読み出しライン選択信号を生成すると共に、第１及び第２特定領域に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号（３つ）は駆動パルス発生器５２に出力される。

更に、図６に基づき、センサセルアレイ５６の詳細構成を説明する。
図６に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセンサセル（画素）５６ａをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル５６ａに対して、アドレス線、リセット線及び読出し線が共通に接続され、この３本の制御線を介して各種駆動信号が各画素列を構成するセンサセル５６ａに送信される。そして、アドレス線及び読出し線が有効になると、図６に示す信号線を介して蓄積電荷を第１又は第２出力チャンネル５８又は６０に転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に（選択）し、当該選択信号で選択した画素列の各センサセル５６ａに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。

更に、図７に基づき、イメージセンサ１００の露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法について説明する。ここで、図７は、イメージセンサ１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
ここで、本発明の露光時間の制御は、まず、センサセルアレイ５６の全露光領域（全走査領域）に対して、全露光領域における各画素のラインの蓄積電荷のクリア（リセット）及び通常露光時間の画素信号の読み出しを行う通常読出しラインＬ０を設定し、センサセルアレイ５６の第１特定領域に対して、複数回の（複数種類の露光時間で露光された）画素信号の非破壊読み出しを行う高速読出しラインＬ１を設定し、センサセルアレイ５６の第２特定領域に対して、複数回の（複数種類の露光時間で露光された）画素信号の非破壊読み出しを行う高速読出しラインＬ２を設定する。

そして、１回の露光期間（通常露光時間）において、全露光領域に対する通常露光時間で露光時の画素信号の読み出し及びリセット、第１特定領域に対する複数回の画素信号の非破壊読み出し、並びに第２特定領域に対する複数回の画素信号の非破壊読み出しがそれぞれ独立に実行されるように行われる。
つまり、通常読出しラインＬ０、高速読出しラインＬ１及びＬ２は、図７に示すように、全露光領域における画素のライン（例えば、第１〜第１６ライン）に順次通常露光時間分の電荷が蓄積されると、通常読出しラインＬ０が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次クリアするように設定される。

一方、第１特定領域の画素のライン（例えば、第１３〜第１６ライン）及び第２特定領域の画素のライン（例えば、第１〜第３ライン）においては、通常露光時間分の電荷が蓄積される期間中、複数種類の露光時間の各露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速読出しラインＬ１及びＬ２がそれぞれ設定される。
なお、本実施の形態においては、図７に示すように、全露光領域に対する通常露光時間で露光時の画素信号（アナログデータ）は、ＣＨ１の第１ラインメモリＳに読み出され、一方、リセット直後の画素信号は、ＣＨ１の第１ラインメモリＮに読み出される。これら読み出された画素信号は、図７に示すように、第１出力チャンネル５８の出力側に設けられた差動増幅回路６４に出力され、当該差動増幅回路６４において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズの除去を行う。そして、減算処理後の画素信号は、第１のＡＦＥ１０２に出力されそこでデジタルデータ（画素データ）に変換される。

一方、第１特定領域に対する複数回の非破壊読み出しで得られた、複数種類の露光時間で露光時の画素信号は、ＣＨ２の第２ラインメモリに読み出されて第２のＡＦＥ１０４に出力されそこでデジタルデータ（画素データ）に変換される。
また、第２特定領域に対する複数回の非破壊読み出しで得られた、複数種類の露光時間で露光時の画素信号は、ＣＨ３の第３ラインメモリに読み出されて第３のＡＦＥ１０６に出力されそこでデジタルデータ（画素データ）に変換される。

また、上記通常読出しラインＬ０、高速読出しラインＬ１及びＬ２の画素信号の読み出しタイミングの制御は、図７に示すように、全露光領域に対しては、各画素のライン毎に、通常読出しラインＬ０を順次走査し（図７では上方向）、当該通常読出しラインＬ０においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット前後に通常露光時間の露光が行われた画素の画素信号の読み出しを行う。そして、第１ラインにおいて画素信号の読み出し及びリセットを行い、画素信号が第１ラインメモリから全て外部に読み出された後に、通常読出しラインＬ０の走査が順次行われ、通常読出しラインＬ０が再び第１ラインに到達したときに、丁度通常露光時間が経過するタイミングで通常読出しラインＬ０の走査が行われる。このような手順で、センサセルアレイ５６の全露光領域の画素のラインに対して、各画素のライン毎に、通常露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。

一方、第１及び第２特定領域においては、通常読出しラインＬ０によって蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、高速読出しラインＬ１及びＬ２において複数種類の各露光時間の露光が行われた画素の画素信号の非破壊読み出しを露光時間の短い順に順次行う。このような手順で、センサセルアレイ５６の第１及び第２特定領域の各画素のラインに対して、ライン毎に、複数種類の露光時間で露光時の画素信号の非破壊読み出しを順次行う。

なお、本実施の形態において、通常読出しラインＬ０の画素信号の読み出しと、高速読出しラインＬ１又はＬ２の画素信号の読み出しとがバッティングしたとき（例えば、双方が通常露光時間での読み出しを行うとき）には、例えば、水平同期信号によって設定される読み出し期間を２つの期間に分けて、一方の期間で通常読出しラインＬ０によりＣＨ１の第１ラインメモリＳに画素信号を読み出し、他方の期間で高速読出しラインＬ１又はＬ２によりＣＨ２又はＣＨ３の第２又は第３ラインメモリに画素信号を読み出すことで回避するようになっている。

更に、図８〜図１１に基づき、画像処理部１２の内部構成を説明する。ここで、図８は、画像処理部１２の内部構成を示すブロック図である。また、図９は、時間測定部１２ｃの内部構成を示す図である。また、図１０は、破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。また、図１１は、注目被写体の検出を高速化する一手法を示す図である。

画像処理部１２は、図８に示すように、通信器１２ａと、タイミング制御部１２ｂと、時間測定部１２ｃと、メモリアクセス部１２ｄと、出力読出し部１２ｅとを含んで構成される。
通信器１２ａは、システムコントローラ２ａ（後述）から、センサセルアレイ５６の第１及び第２特定領域に対する開始ライン番号と走査領域幅とに関する情報（駆動制御信号）を取得し、当該取得した開始ライン番号と走査領域幅とを示す駆動制御信号を、撮像処理部１０の走査ラインスキャナ５４に出力する。また、通信器１２ａは、時間測定部１２ｃで測定された時間情報を取得し、当該取得した時間情報をシステムコントローラ２ａに出力する。

タイミング制御部１２ｂは、イメージセンサ１００の駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を生成し、それをイメージセンサ１００の基準タイミング発生器５０に出力する。また、タイミング制御部１２ｂは、前記生成したピクセルクロック及び水平同期信号を、時間測定部１２ｃに出力する。
また、タイミング制御部１２ｂは、水平同期信号、垂直同期信号０から、撮像処理部１０のＣＨ１から出力される全露光領域の通常露光時間で露光時の画素信号に対応する、イメージセンサ１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報をメモリアクセス部１２ｄに出力する。

時間測定部１２ｃは、撮像処理部１０のＣＨ２から出力される第１特定領域の画像データ（以下、第１特定領域画像データと称す）と、撮像処理部１０のＣＨ３から出力される第２特定領域の画像データ（以下、第２特定領域画像データと称す）とに基づき、注目被写体が第１特定領域で撮像されてから、次に第２特定領域で撮像されるまでの時間を測定する。この測定結果の時間情報は、ホストシステム２に出力される。

メモリアクセス部１２ｄは、出力読出器１２ｅからのフレームメモリ１４に対する読み込み・書き込み命令に応じて、フレームメモリ１４に記憶された画像データへのアクセスを行う。また、タイミング制御部１２ｂから入力されるアドレス情報と、撮像処理部１０のＣＨ１から出力される、通常露光時間に対応する通常走査画像データとを対応付けて、フレームメモリ１４に記憶する。これにより、視認用画像のデータである通常走査画像データがフレームメモリ１４上に形成される。

出力読出器１２ｅは、システムコントローラ２ａからの出力タイミング信号（ピクセルクロック、水平同期信号、垂直同期信号０）に同期して、メモリアクセス部１２ｄを介してフレームメモリ１４内の通常走査画像データを読み出し、この読み出した通常走査画像データをシステムコントローラ２ａに出力する。
フレームメモリ１４は、通常走査画像データを記憶するメモリであり、メモリアクセス部１２ｄから読み出し要求があると、その要求が示す画素データを読み出させる。また、フレームメモリ１４は、メモリアクセス部１２ｄから書き込み要求があると、その書き込み要求が示す画素データを書き込ませる。

更に、図９に基づき、時間測定部１２ｃの内部構成を説明する。
時間測定部１２ｃは、図９に示すように、第１フレームメモリ７０と、第１差分処理部７１と、第１注目被写体検出部７２と、第２フレームメモリ７３と、第２差分処理部７４と、第２注目被写体検出部７５と、テンプレート用画像データ格納部７６とを含んで構成される。

第１フレームメモリ７０は、第２のＡＦＥ１０４から入力される第１特定領域画像データを一時記憶するメモリである。また、第１フレームメモリ７０は、第１特定領域画像データが記憶された状態で、新たな第１特定領域画像データ（現フレームの第１特定領域画像データ）が入力されてくると、既に記憶されている第１特定領域画像データ（現フレームの１つ前のフレームの第１特定領域画像データ）を第１差分処理部７１に出力し、その代りに、現フレームの第１特定領域画像データを、前フレームの第１特定領域画像データに上書きして記憶する。また、ここで言うフレームとは、第１特定領域におけるフレームであり、全露光領域の通常露光時間に対するフレームとは異なるものである。具体的には、第１特定領域において、電荷の読出しを行う複数種類の露光時間の各露光時間における読み出し期間を１フレームとしたときのフレームである。

第１差分処理部７１は、第２のＡＦＥ１０４から入力される現フレームの第１特定領域画像データと、第１フレームメモリ７０から入力される前フレームの第１特定領域画像データとの差分値を算出し、当該差分値から構成される第１高速画像データを第１注目被写体検出部７２に出力する。
具体的には、撮像処理部１０から入力される垂直同期信号１と、タイミング制御部１２ｂから入力されるピクセルクロック及び水平同期信号とに基づき、現フレームの第１特定領域画像データの各画素データの画素値と、当該各画素データと同じ画素位置の前フレームの第１特定領域画像データの各画素値との差分値を算出する。

更に、同期信号（ピクセルクロック１、水平同期信号１及び垂直同期信号１'）を新たに生成し、当該生成した同期信号と、前記算出した差分値から構成される第１高速画像データとを第１注目被写体検出部７２に出力する。
つまり、撮像処理部１０から取得した第１特定領域画像データは、非破壊読み出しによって読み出された電荷から構成されるため固定パターンノイズが混合してしまう。そのため、差分値を算出し、この差分値から第１高速画像データを構成することで画像データ中の固定パターンノイズを除去する。

第１注目被写体検出部７２は、第１差分処理部７１から入力された第１高速画像データの画像中に、注目被写体画像が含まれているか否かを判断し、含まれている場合に、そのときの時間情報を測定する。
具体的には、第１高速画像データと、後述するテンプレート用画像データ格納部７６の有する注目被写体のテンプレート画像データとに基づき、テンプレートマッチングにより第１高速画像データの画像中に、注目被写体画像が含まれているか否かを判断する。

つまり、第１高速画像データの画像中にテンプレート画像とマッチする画像が含まれている場合は注目被写体が含まれていると判断し、そうでない場合は注目被写体が含まれていないと判断する。
但し、テンプレートマッチングによる判断は、注目被写体が既知であり、そのテンプレート用画像データがテンプレート用画像データ格納部７６に格納されている場合のみ行うことができる。従って、本実施の形態においては、テンプレート用画像データが無い場合は、第１高速画像データの画素値（輝度値）の総和を算出し、その総和が、予め設定された閾値を越えているか否かにより判断を行う。つまり、総和が閾値を越えている場合は第１高速画像データの画像中に注目被写体が含まれていると判断し、閾値以下の場合は第１高速画像データの画像中に注目被写体が含まれていないと判断する。

そして、第１高速画像データの画像中に注目被写体が含まれている場合は、内蔵されたタイマ（不図示）の値を時間情報として取得する。このタイマは、例えば、第１特定領域のフレーム毎にカウントアップするカウンタから構成され、後述する第２注目被写体検出部７５に内蔵されたタイマ（第２特定領域のフレーム毎にカウントアップする）と同期してカウントアップ動作及びリセット動作を行うものである。また、取得した時間情報は、ホストシステム２のシステムコントローラ２ａに出力される。

第２フレームメモリ７３は、第３のＡＦＥ１０６から入力される第２特定領域画像データを一時記憶するメモリである。なお、第２フレームメモリ７３の動作は、取り扱うデータが第２特定領域画像データであり、その出力先が第２差分処理部７４となるだけで、上記第１フレームメモリ７０と同様の動作となる。
第２差分処理部７４は、第３のＡＦＥ１０６から入力される現フレームの第２特定領域画像データと、第２フレームメモリ７３から入力される前フレームの第２特定領域画像データとの差分値を算出すると共に、同期信号（ピクセルクロック２、水平同期信号２及び垂直同期信号２'）を新たに生成し、当該同期信号と、前記差分値から構成される第２高速画像データとを第２注目被写体検出部７５に出力する。なお、第２差分処理部７４の具体的な動作は、取り扱うデータが第２特定領域画像データであり、その出力先が第２注目被写体検出部７５となるだけで、上記第１差分処理部７１と同様の動作となる。

つまり、第１差分処理部７１と同様に、上記差分値から第２高速画像データを構成することで画像データ中の固定パターンノイズを除去する。
第２注目被写体検出部７５は、第２差分処理部７４から入力された第２高速画像データの画像中に、注目被写体画像が含まれているか否かを判断し、含まれている場合に、そのときの時間情報を測定する。なお、第２注目被写体検出部７５の具体的な動作は、取り扱うデータが第２高速画像データとなるだけで、上記第１注目被写体検出部７２と同様の動作となる。

テンプレート用画像データ格納部７６は、テンプレートマッチング用の画像データを格納するもので、例えば、注目被写体が既知のときに、予め撮像した注目被写体の画像データを格納したものである。
更に、第１差分処理部７１及び第２差分処理部７４の動作説明の為、図１０に基づき、センサセルアレイ５６の各画素における蓄積電荷量の推移について説明する。

図１０に示すように、１フレーム（通常露光時間）の露光において、センサセルアレイ５６の各画素に蓄積される電荷量は時間の経過と共に増加する。第１及び第２特定領域においては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。なお、図１０中のリセットタイミングは、センサセルアレイ５６の各センサセル５６ａに蓄積された電荷を空にするタイミングであり、このタイミングが通常露光時間を決定する。また、第１及び第２特定領域に対して、例えば、図１０に示す（１）〜（５）のタイミングで電荷を読み出すとすると、前述の如く、（２）以降の各タイミングでそれぞれ読み出した電荷量と、これら各タイミングの１つ前のタイミングで読み出した電荷量とのそれぞれの差分から第１及び第２高速画像データが生成される。この差分による画像生成は、通常のフレームレートの５倍のレートの画像生成を意味し、それは露光時間が通常露光時間の１／５の画像を生成していることを意味する。

更に、図１１に基づき、第２注目被写体検出部７５におけるパターンマッチング処理の効率化の一手法について説明する。
例えば、図１１に示すように、注目被写体が第１特定領域から第２特定領域へと真っ直ぐに移動する場合は、図示された軸設定において、第１特定領域及び第２特定領域における注目被写体のｘ軸方向への変化は無い（又は略無い）ことになる。

従って、第１注目被写体検出部７２において、第１高速画像データの画像中に注目被写体画像が含まれていると判断されたときに、第１特定領域における注目被写体画像のｘ軸の座標情報（例えば、注目被写体の全ラインの開始位置及び終了位置のｘ座標）を、第２注目被写体検出部７５に渡すことで、第２注目被写体検出部７５においては、取得した座標情報の範囲に対してパターンマッチングを行えば良く、第２高速画像データの全画素データに対してパターンマッチングを行う必要がなくなる。

つまり、予め注目被写体の移動方向が解っているようなときには、このようなパターンマッチング方法を適用することで、高速にパターンマッチングを行うことが可能となる。
更に、図２に戻って、ホストシステム２の内部構成を説明する。
ホストシステム２は、システムコントローラ２ａと、表示装置２ｂと、記録装置２ｃとを含んで構成される。

システムコントローラ２ａは、画像処理部１２から視認用の通常走査画像データを取得し、当該取得した通常走査画像データに基づき表示装置２ｂに通常走査画像を表示したり、前記取得した通常走査画像データを記録装置２ｃに記録したりする。更に、時間測定部１２ｃからの時間情報に基づき、注目被写体が第１特定領域で撮像されてから、次に第２特定領域で撮像されるまでの時間を算出する。つまり、注目被写体の第１特定領域から第２特定領域への移動に要する時間を算出する。更に、本実施の形態においては、撮像位置が固定されており、露光領域における第１特定領域及び第２特定領域間の距離に対する、実際の撮像対象における距離が解っており、この距離情報から注目被写体の移動速度を算出する。

表示装置２ｂは、液晶ディスプレイ等の表示デバイスから構成されており、システムコントローラ２ａからの指示に応じて、通常走査画像データの画像を表示したり、算出した移動時間の情報や、算出した移動速度の情報などを表示したりする。
記録装置２ｃは、画像処理部１２から取得した通常走査画像データを記録するものである。なお、記録された通常走査画像データは、その内容を後で確認するために使用される。つまり、通常走査画像データは、画像内容が理解できる視認性の良さを有している画像のデータとなる。

次に、図１２に基づき、本実施の形態の実際の動作を説明する。ここで、図１２（ａ）は、撮像システム３（撮像装置１及びホストシステム２）を速度取り締まり装置に応用した一例を示す図であり、（ｂ）は、（ａ）における撮像画像の一例を示す図である。
以下、本実施の形態の撮像システム３（撮像装置１及びホストシステム２）を適用した速度取り締まり装置４の構成を説明する。

図１２（ａ）に示すように、速度取り締まり装置４は、高柱の頂上に撮像装置１が設置され、更に、高柱の内部にホストシステム２を有し、当該ホストシステム２は前記撮像装置１とデータ通信可能に接続された構成となっている。尚更に、ホストシステム２は、インターネットを介して不図示の管理サーバとデータ通信可能に接続された構成となっている。

撮像装置１は、高柱の頂上から所定の角度で路面及び路面を走行する自動車（ナンバープレートの内容が解る画像）を撮像対象として撮像できるようにレンズの画角や焦点距離、本体の設置角度等が調整されており、撮像領域を通過する自動車の通常走査画像を撮像すると共に、露光領域に設定された第１特定領域において自動車が撮像されたときの時間情報と、次に第２特定領域で第１特定領域で撮像されたものと同じ自動車が撮像されたときの時間情報とを測定し、これら測定した時間情報をホストシステム２に出力する。

ホストシステム２は、システムコントローラ２ａにおいて、撮像装置１から入力された時間情報から、撮像された自動車の第１特定領域から第２特定領域までの移動に要した時間を算出する。そして、この算出した時間情報と、既知の距離情報とから第１特定領域から第２特定領域までの距離に対応する実際の道路区間を通過した自動車の速度を算出する。

更に、上記算出した速度と予めデータとして有している法定速度情報とを比較し、前記算出した速度が法定速度を超えている場合に、撮像装置１から取得した、前記算出した速度に対応する通常走査画像データを記録装置２ｃに記録保持する。
つまり、前記算出した速度が法定速度以下であれば、このときの通常走査画像データを記録せずに破棄する。なお、記録保持されたデータ量が一定量を越えたときは、この記録データを、インターネットを介して管理サーバに送信し、送信後に当該記録データをクリア（削除）する。

以下、上記のような構成の速度取り締まり装置４の実際の動作を説明する。
まず、ホストシステム２において、図１２（ｂ）に示すように、露光領域における第１特定領域及び第２特定領域の開始位置及び走査領域幅を決定する。ここでは、全露光領域が６４０画素×４８０画素のサイズとなっており、第１特定領域の開始ライン番号を「４２０」、走査領域幅を「６０」と決定し、第２特定領域の開始ライン番号を「８０」、走査領域幅を「６０」と決定する。つまり、全露光領域におけるライン番号４２０〜４８０の画素のラインの範囲を第１特定領域として決定し、ライン番号８０〜１４０の画素のラインの範囲を第２特定領域として決定する。

また、本実施の形態においては、第１及び第２特定領域のサンプリング時間を、上記図１０に示す（１）〜（５）と同様に、通常露光時間を均等に５分割した時間とする。以下、通常露光時間の露光期間をメインフレーム、前記（１）〜（５）の露光期間をサブフレーム１〜５と称す。また、通常露光時間は、全露光領域で撮像される全ての被写体（あるいは自動車のみ）に対して十分な露光ができる（十分な視認性の画像が得られる）ように適切な時間を設定する。このようにして、第１及び第２特定領域の領域範囲（開始位置、走査領域幅）、全露光領域の通常露光時間、第１及び第２特定領域におけるサンプリング時間が決まると、ホストシステム２は、これらの情報を、通信器１２ａを介して撮像装置１に送信する。

撮像装置１は、画像処理部１２において、ホストシステム２から露光時間に関する情報と、第１及び第２特定領域に対する開始ライン番号及び走査領域幅に関する情報とを取得すると、通信器１２ａによって、第１及び第２特定領域の開始ライン番号と走査領域幅とを指定する駆動制御信号を撮像処理部１０に送信する。更に、タイミング制御部１２ｂにおいて、全露光領域に対する通常露光時間の画素信号が得られるようにイメージセンサ１００を駆動する駆動信号（ピクセルクロック、垂直同期信号及び水平同期信号）が生成され、当該生成した駆動信号を撮像処理部１０に出力する。

撮像処理部１０は、駆動制御信号を受信すると、走査ラインスキャナ５４において、垂直同期信号及び水平同期信号に同期してリセットライン選択信号と、全露光領域に対する読み出しライン制御信号を生成する。また、第１及び第２特定領域の開始ライン番号、走査領域幅及び水平同期信号に基づき、第１及び第２特定領域に対する読み出しライン制御信号を生成する。更に、これら生成した読み出し制御信号をＯＲロジック５４ｇに出力し、ＯＲロジック５４ｇにおいて全露光領域、第１特定領域及び第２特定領域に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号（３種類）を駆動パルス発生器５２に出力する。駆動パルス発生器５２は、基準タイミング発生器からの基準タイミング信号及び走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ５６に供給する。

一方、走査ラインスキャナ５４は、第１特定領域の基準信号である垂直同期信号１と、第２特定領域の基準信号である垂直同期信号２とを生成し、これらを画像処理部１２の時間測定部１２ｃに出力する。
センサセルアレイ５６は、駆動パルス発生器５２からの駆動パルスに基づき、通常読出しラインＬ０、高速読出しラインＬ１及び高速読出しラインＬ２をそれぞれ走査して、全露光領域の各画素のラインから通常露光時間の露光により蓄積した電荷の破壊読み出しを行い（読み出し後に蓄積電荷のリセットを行う）、この破壊読み出し動作とは独立に、第１特定領域の各画素のラインから複数種類の露光時間の露光により蓄積した電荷の非破壊読み出しを行い（読み出し後に蓄積電荷のリセットを行わない）、同様に、前記各読み出し処理とは独立に第２特定領域の各画素のラインから複数種類の露光時間の露光により蓄積した電荷の非破壊読み出しを行う。

そして、通常読出しラインＬ０の走査によって読み出した電荷から構成される画素信号をＣＨ１を介して第１のＡＦＥ１０２に出力し、高速読出しラインＬ１の走査によって読み出した電荷から構成される画素信号をＣＨ２を介して第２のＡＦＥ１０４に出力し、高速読出しラインＬ２の走査によって読み出した電荷から構成される画素信号をＣＨ３を介して第３のＡＦＥ１０６に出力する。

第１のＡＦＥ１０２は、ＣＨ１を介して順次出力される通常露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成し画像処理部１２に出力する。一方、第２及び第３のＡＦＥ１０４及び１０６は、ＣＨ２及びＣＨ３を介して順次出力される第１及び第２特定領域に対する複数種類の露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成し画像処理部１２に出力する。

画像処理部１２では、第１のＡＦＥ１０２から出力された通常走査画像データをメモリアクセス部１２ｄに入力し、第２及び第３のＡＦＥ１０４及び１０６からそれぞれ出力された第１及び第２特定領域画像データを時間測定部１２ｃに入力する。
時間測定部１２ｃは、第２のＡＦＥ１０４から第１特定領域画像データが入力されると、当該第１特定領域画像データを第１フレームメモリ７０及び第１差分処理部７１にそれぞれ入力する。

一方、第１フレームメモリ７０は、第１特定領域画像データが入力されると、その１つ前に記憶された前サブフレームの第１特定領域画像データを、第１差分処理部７１に入力し、前記入力された現サブフレームの第１特定領域画像データを前サブフレームのデータに上書きして記憶する。
第１差分処理部７１は、撮像処理部１０から入力された垂直同期信号１と、タイミング制御部１２ｂから入力されるピクセルクロック及び水平同期信号とに基づき、第２のＡＦＥ１０４から入力された現サブフレームの第１特定領域画像データの各画素データの画素値と、当該各画素データと同じ画素位置の、前サブフレームの第１特定領域画像データの各画素データの画素値との差分値を算出する。更に、当該差分値から構成される第１高速画像データに対応する同期信号（ピクセルクロック１、水平同期信号１及び垂直同期信号１'）を生成する。そして、前記第１高速画像データと、前記生成した同期信号とを第１注目被写体検出部７２に出力する。ここでは、第１特定領域であるライン番号４２０〜４８０の画素ラインに対応する前サブフレーム及び現サブフレームの第１特定領域画像データの差分値から第１高速画像データを生成する。なお、撮像処理部１０は、通常読出しラインＬ０によってライン番号４８０から走査を開始し、ライン番号１の方向に順次走査を行うため、第１特定領域の方が第２特定領域よりも先に新規の画像データを読み出すことになる。

第１注目被写体検出部７２は、第１高速画像データが入力されると、注目被写体が様々な種類の自動車となるため、第１高速画像データの画素値（輝度値）の総和を算出し、当該総和と予め設定された閾値とを比較して総和の輝度レベルの変化から、第１高速画像データの画像中に注目被写体（自動車）が含まれているか否かを判断する。そして、注目被写体が含まれていると判断されたときは、そのときのタイマのカウント値を時間情報Ａとして取得し、当該取得した時間情報Ａをホストシステム２のシステムコントローラ２ａに出力する。

一方、時間測定部１２ｃは、第３のＡＦＥ１０６から第２特定領域画像データが入力されると、当該第２特定領域画像データを第２フレームメモリ７３及び第２差分処理部７４にそれぞれ入力する。
第２フレームメモリ７３は、上記第１フレームメモリ７０と同様に、１つ前に記憶された前サブフレームの第２特定領域画像データを第２差分処理部７４に出力し、現サブフレームの第２特定領域画像データを前サブフレームのデータに上書きして記憶する。

第２差分処理部７４は、上記第１差分処理部７１と同様に、撮像処理部１０から入力された垂直同期信号２と、タイミング制御部１２ｂから入力されるピクセルクロック及び水平同期信号とに基づき第２高速画像データを生成する。更に、当該第２高速画像データに対応する同期信号（ピクセルクロック２、水平同期信号２及び垂直同期信号２'）を生成する。そして、前記第２高速画像データと、前記生成した同期信号とを第２注目被写体検出部７５に出力する。ここでは、第２特定領域であるライン番号８０〜１４０の画素のラインに対応する前サブフレーム及び現サブフレームの第２特定領域画像データの差分値から第２高速画像データを生成する。

第２注目被写体検出部７５は、第２高速画像データが入力されると、第１注目被写体検出部７２と同様に、第２高速画像データの画素値（輝度値）の総和を算出し、当該総和と予め設定された閾値とを比較して総和の輝度レベルの変化から、第２高速画像データの画像中に注目被写体（第１特定領域で確認された自動車）が含まれているか否かを判断する。そして、注目被写体が含まれていると判断されたときは、そのときのタイマのカウント値を時間情報Ｂとして取得し、当該取得した時間情報Ｂをホストシステム２のシステムコントローラ２ａに出力する。

なお、第１特定領域及び第２特定領域では、前述したようにメインフレームの期間において、上記図１０に示す（１）〜（５）の各サブフレームのタイミング（メインフレームの５倍の速度）で第１及び第２特定領域画像データが順次読み出されてくる。従って、現メインフレームで撮像されていても次のメインフレームではフレームアウトしてしまうような高速度で移動する被写体であっても、５倍のフレームレートで撮像が行われる第１特定領域及び第２特定領域においては、それぞれの領域で注目被写体（自動車）を捉える（撮像する）ことが可能である。つまり、時間測定部１２ｃにおいては、高速な各サブフレーム毎に順次、第１及び第２高速画像データの生成、及び注目被写体の検出が行われることになるので、高速度で移動する（スピード違反の）自動車を、より確実に検出することが可能である。

一方、メモリアクセス部１２ｄは、第１のＡＦＥ１０２を介して入力された通常走査画像データと、タイミング制御部１２ｂから入力されたアドレス情報とに基づき、通常走査画像データの各画素データとアドレス情報とを対応付けてフレームメモリ１４に記憶する。
出力読出器１２ｅは、フレームメモリ１４に通常走査画像データが記憶されると、システムコントローラ２ａからの出力タイミング信号に同期して、メモリアクセス部１２ｄを介してフレームメモリ１４内の通常走査画像データを読み出し、この読み出した通常走査画像データをシステムコントローラ２ａに出力する。

システムコントローラ２ａは、撮像装置１から時間情報Ａ及び時間情報Ｂを受信すると、これらの示すカウント値の差分値を算出し、当該差分値とタイマのカウントに対応する時間情報（例えば、１６ｍｓ／１カウント）とに基づき、注目被写体（自動車）の第１特定領域から第２特定領域への移動に要した時間を算出する。更に、当該算出された時間と、予め測定された第１特定領域から第２特定領域までの距離に対応する実際の道路区間の距離とから注目被写体（自動車）の移動速度（走行速度）を算出する。なお更に、当該算出した走行速度と、予め設定された法定速度とを比較し、当該比較結果から、前記走行速度が法定速度を超えている場合は、通常走査画像データを記録装置２ｃに記録すると判定し、一方、法定速度を超えていない場合は、記録しないと判定する。

そして、記録すると判定された場合は、撮像装置１から取得される、前記時間情報Ａ及び時間情報Ｂに対応する通常走査画像データ（速度違反の自動車（及びナンバープレート）が撮像された視認用の画像データ）を記録装置２ｃに記録保持し、記録しないと判定された場合は、通常走査画像データを破棄する（又は取得しない）。つまり、法定速度違反の通常走査画像データのみを記憶保持する。また、この記憶保持されるデータ量が一定量を超えたときは、保持されたデータを、インターネットを介して管理サーバに送信し、送信したデータを記録装置２ｃから削除する。

このように、本実施の形態の撮像システム３は、１つの撮像素子において、撮像対象を全露光領域において通常露光時間の露光で破壊読み出しにより撮像すると共に、この通常露光時間の露光期間において、第１及び第２特定領域の画像を複数種類の露光時間の露光で非破壊読み出しによりそれぞれ撮像することが可能であるので、視認用の通常画像データと、時間測定用の高速（通常露光の５倍のフレームレート）画像データとを同時に取得することができる。

更に、本実施の形態の撮像システム３は、第１特定領域及び第２特定領域の高速画像データからそれぞれ注目被写体を検出し、当該検出時の時間情報を測定することができる。また、これら測定した時間情報をホストシステム２に渡すことで、ホストシステム２において、注目被写体の第１特定領域から第２特定領域への移動に要する時間を簡易に算出することが可能である。また、第１特定領域から第２特定領域までの距離に対する実際の注目被写体の移動距離が解れば、当該実際の移動距離と前記移動時間とから当該注目被写体の移動速度を算出することも可能である。

また、本実施の形態の撮像システム３は、注目被写体の形状が既知でない場合などに、第１及び第２特定領域の撮像画像の輝度変化に基づき、第１及び第２走査領域で注目被写体が撮像されたか否かを判定することが可能である。これにより、被写体の形状が解らなくても前記判定処理を行うことができると共に、簡易且つ低負荷な演算処理で、前記判定処理を実行することができる。

また、本実施の形態の撮像システム３は、上記算出した移動速度と、法定速度とを比較し、当該比較結果に基づき、通常走査画像データを記録装置２ｃに記録するか否かを判定することが可能である。そして、移動速度が法定速度を超えている場合にのみ、通常走査画像データを記録し、法定速度以下のときは記録しないようにすることが可能である。
これにより、通常走査画像データの記録に必要なメモリの記録容量を低減することができ、コストを低減することが可能である。

上記実施の形態において、撮像処理部１０は、形態１の撮像素子に対応し、撮像処理部１０のイメージセンサ１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第１出力チャンネル５８によるセンサセルアレイ５６の全露光領域からの通常露光時間での電荷の破壊読み出し処理は、形態１、２及び１０のいずれか１の第１読出手段又は形態１０の第１読出ステップに対応し、撮像処理部１０のイメージセンサ１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第２出力チャンネル６０によるセンサセルアレイ５６の第１特定領域からの複数種類の露光時間での電荷の非破壊読み出し処理は、形態１、２、３及び９のいずれか１の第２読出手段又は形態１０の第２読出ステップに対応し、撮像処理部１０のイメージセンサ１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第３出力チャンネル６２によるセンサセルアレイ５６の第２特定領域からの複数種類の露光時間での電荷の非破壊読み出し処理は、形態１、２、３及び９のいずれか１の第３読出手段又は形態１０の第３読出ステップに対応する。

また、上記実施の形態において、センサセルアレイ５６は、形態１、２、９及び１０のいずれか１の光電変換部に対応し、メモリアクセス部１２ｄにおけるフレームメモリ１４へのアドレス情報を対応付けた通常走査画像データの記憶処理は、形態２若しくは９の視認用画像データ生成手段又は形態１０の視認用画像データ生成ステップに対応し、時間測定部１２ｃの第１フレームメモリ７０及び第１差分処理部７１は、形態２、３及び９のいずれか１の第１高速画像データ生成手段又は形態１０の第１高速画像データ生成ステップに対応し、時間測定部１２ｃの第２フレームメモリ７３及び第２差分処理部７４は、形態２、３及び９のいずれか１の第２高速画像データ生成手段又は形態１０の第２高速画像データ生成ステップに対応する。

また、上記実施の形態において、時間測定部１２ｃの第１注目被写体検出部７２及び第２注目被写体検出部７５は、形態５の時間情報測定手段に対応する。
また、上記実施の形態において、システムコントローラ２ａにおける、時間情報から移動速度を算出すると共に、当該算出した速度と、法定速度とを比較して、通常走査画像データを記録装置２ｃに記録するか否かを判定する処理は、形態８の記録判定手段に対応し、記録すると判定された通常走査画像データを記録装置２ｃに記録する処理は、形態８の記録手段に対応する。

なお、上記実施の形態においては、撮像装置１において、第１特定領域で注目被写体が撮像された時間と、第２特定領域で注目被写体が撮像された時間とを測定し、これらの時間情報をホストシステム２に渡し、ホストシステム２において、注目被写体が第１特定領域から第２特定領域まで移動するのに要する時間及び速度を求める構成としたが、これに限らず、これらのホストシステム２の有する機能を、撮像装置１の時間測定部１２ｃなどに持たせる構成としても良い。この場合に、時間測定部１２ｃにおいて、注目被写体が第１特定領域から第２特定領域まで移動するのに要する時間を求める処理は、形態６の時間情報測定手段に対応する。

また、上記実施の形態においては、撮像装置１と、ホストシステム２とから撮像システム３を構成したが、これに限らず、ホストシステム２の機能を撮像装置１に全て持たせて、撮像装置単体の構成としても良い。
また、上記実施の形態においては、撮像装置１及びホストシステム２を、速度取り締まり装置４に適用した例を説明したが、これに限らず、その他の分野に適用しても良い。例えば、図１３に示すように、ベルトコンベアに載った製品の位置異常検出に適用することが可能である。つまり、ベルトコンベア上に載置された製品間の距離（正しい距離）に合わせて第１特定領域及び第２特定領域を設定し、ベルトコンベアに載って移動する商品を真上から撮像して、第１特定領域及び第２特定領域において製品が撮像されたときの時間情報を測定し、この時間情報から各製品が第１特定領域から第２特定領域に移動するのに要した時間を算出する。この算出時間が、予め測定しておいた正常な時間よりも長い又は短い場合は、製品の載置位置に異常があると判断することが可能である。

本発明に係る撮像装置１の概略構成を示すブロック図である。 撮像処理部１０の内部構成及びホストシステム２の内部構成を示すブロック図である。 第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。 イメージセンサ１００の内部構成を示すブロック図である。 走査ラインスキャナ５４の内部構成を示す図である。 センサセルアレイ５６の詳細構成を示す図である。 イメージセンサ１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 画像処理部１２の内部構成を示すブロック図である。 時間測定部１２ｃの内部構成を示す図である。 破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。 注目被写体の検出を高速化する一手法を示す図である。 （ａ）は、撮像システム３（撮像装置１及びホストシステム２）を速度取り締まり装置に応用した一例を示す図であり、（ｂ）は、（ａ）における撮像画像の一例を示す図である。 本発明の応用例を示す図である。

符号の説明

１は撮像装置、２はホストシステム、２ａはシステムコントローラ、２ｂは表示装置、２ｃは記録装置、３は撮像システム、４は速度取り締まり装置、１０は撮像処理部、１２は画像処理部、１４はフレームメモリ、１００はイメージセンサ、１０２は第１のＡＦＥ、１０４は第２のＡＦＥ、１０６は第３のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は第１出力チャンネル、６０は第２出力チャンネル、６２は第３出力チャンネル、５４ａは通常走査カウンタ、５４ｂは通常走査アドレスデコーダ、５４ｃは第１特定領域カウンタ、５４ｄは第１特定領域アドレスデコーダ、５４ｅは第２特定領域カウンタ、５４ｆは第２特定領域アドレスデコーダ、５４ｇはＯＲロジック、１２ａは通信器、１２ｂはタイミング制御部、１２ｃは時間測定部、１２ｄはメモリアクセス部、１２ｅは出力読出器

Claims (10)

1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
   前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
   前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出手段と、
   前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出手段と、を備えることを特徴とする撮像素子。
2. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
   前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
   前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出手段と、
   前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出手段と、
   前記第１読出手段で読み出される、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成する視認用画像データ生成手段と、
   前記第２読出手段で読み出される、複数種類の露光時間で露光時の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成する第１高速画像データ生成手段と、
   前記第３読出手段で読み出される、複数種類の露光時間で露光時の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成する第２高速画像データ生成手段と、を備えることを特徴とする撮像装置。
3. 前記第１高速画像データ生成手段は、前記第２読出手段で読み出される前記各露光時間に対応する画素データの画素値と、前記第２読出手段で読み出される前記各露光時間よりも短い露光時間に対応する画素データの画素値とのそれぞれの差分値を算出し、当該算出した差分値に基づき前記第１高速画像データを生成し、
   前記第２高速画像データ生成手段は、前記第３読出手段で読み出される前記各露光時間に対応する画素データの画素値と、前記第３読出手段で読み出される前記各露光時間よりも短い露光時間に対応する画素データの画素値とのそれぞれの差分値を算出し、当該算出した差分値に基づき前記第２高速画像データを生成することを特徴とする請求項２記載の撮像装置。
4. 前記露光領域におけるそれぞれ異なる位置に、前記第１特定領域及び前記第２特定領域を設定する特定領域設定手段を備えることを特徴とする請求項２又は請求項３記載の撮像装置。
5. 前記第１高速画像データ及び前記第２高速画像データに基づき、所定の被写体が、前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間に係る情報を測定する時間情報測定手段を備えることを特徴とする請求項２乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記第１高速画像データに基づき、前記第１特定領域で前記所定の被写体が撮像されたか否かを判定する第１判定手段と、
   前記第２高速画像データに基づき、前記第２特定領域で前記所定の被写体が撮像されたか否かを判定する第２判定手段と、を備え、
   前記時間情報測定手段は、前記第１判定手段の判定結果に基づき前記第１特定領域で前記所定の被写体が撮像されたときの時間に係る情報を測定し、前記第２判定手段の判定結果に基づき前記第２特定領域で前記所定の被写体が撮像されたときの時間に係る情報を測定し、これら測定情報に基づき、前記所定の被写体が前記第１特定領域で撮像されてから、次に前記第２特定領域で撮像されるまでの時間を算出することを特徴とする請求項５記載の撮像装置。
7. 前記第１判定手段は、前記第１高速画像データの各画素データ示す輝度値の変化に基づき、前記第１特定領域で前記所定の被写体が撮像されたか否かを判定し、
   前記第２判定手段は、前記第２高速画像データの各画素データの示す輝度値の変化に基づき、前記第２特定領域で前記所定の被写体が撮像されたか否かを判定することを特徴とする請求項５又は請求項６記載の撮像装置。
8. 前記時間情報測定手段で測定された時間に係る情報に基づき、当該時間に係る情報に対応する前記視認用の画像データを記録するか否かを判定する記録判定手段と、
   前記記録判定手段で記録すると判定された視認用の画像データを記録する記録手段と、を備えることを特徴とする請求項５乃至請求項７のいずれか１項に記載の撮像装置。
9. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
   前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
   前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出手段と、
   前記第１読出手段が電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出手段と、
   前記第１読出手段で読み出される、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成する視認用画像データ生成手段と、
   前記第２読出手段で読み出される、複数種類の露光時間の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成する第１高速画像データ生成手段と、
   前記第３読出手段で読み出される、複数種類の露光時間の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成する第２高速画像データ生成手段と、を備えることを特徴とする撮像システム。
10. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された構成の光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に適用可能な撮像方法であって、
    前記光電変換部の全露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出ステップと、
    前記第１読出ステップで電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である第１特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第２読出ステップと、
    前記第１読出ステップで電荷の読み出しを行っている期間において、前記光電変換部の前記全露光領域の一部である、前記第１特定領域とは異なる位置にある第２特定領域における前記光電変換素子の構成する各画素から、複数回、電荷を非破壊読み出し方式で読み出す第３読出ステップと、
    前記第１読出ステップで読み出された、前記所定露光時間で露光時の電荷から構成される画素データに基づき、視認用の画像データを生成する視認用画像データ生成ステップと、
    前記第２読出ステップで読み出された、複数種類の露光時間の電荷から構成される画素データに基づき、前記第１特定領域の各露光時間毎の画像データである第１高速画像データを生成する第１高速画像データ生成ステップと、
    前記第３読出手段で読み出された、複数種類の露光時間の電荷から構成される画素データに基づき、前記第２特定領域の各露光時間毎の画像データである第２高速画像データを生成する第２高速画像データ生成ステップと、を含むことを特徴とする撮像方法。

Images