JP4998232B2

JP4998232B2 - 撮像装置及び映像記録装置

Info

Publication number: JP4998232B2
Application number: JP2007305467A
Authority: JP
Inventors: 治久倉根
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-11-27
Filing date: 2007-11-27
Publication date: 2012-08-15
Anticipated expiration: 2027-11-27
Also published as: JP2009130771A; US20090135271A1

Description

本発明は、光電変換素子のライン単位の露光が可能な撮像素子に係り、特に、発光時に点灯及び消灯を周期的に繰り返す被写体を正確に撮像するのに好適な撮像装置及び映像記録装置に関する。

昨今、ドライブレコーダという装置が車両に搭載されるようになった。この装置は、事故発生時の状況を撮像・記録し、事故原因を明らかにすることを目的とする。
このドライブレコーダの重要な機能の一つに、事故の起きる確率の高い交差点などの場所で、信号機がどのような状態であったかを記録することがある。
一方、昨今では信号機に発光ダイオード（ＬＥＤ)などの固体光源が利用されるようになってきた（太陽光が当たっても認識しやすい、効率が高い、寿命が長いなどの理由）。固体光源照明は、従来の蛍光管やランプ照明と異なり、直流駆動、または任意の変調駆動が可能である。変調駆動においては、点滅周波数の設定自由度が高く、その応用する対象に応じて任意の周波数に決定することができる。信号機の場合、従来のランプ灯への電力供給の仕組みを巧みに利用して、ＬＥＤの発光時において、人の目には分からない速さで変調駆動している(点滅させている)場合が多い。

このようなＡＣ電源によるＬＥＤ調光に関する技術としては、例えば、特許文献１に記載のＬＥＤ調光コントローラが、また、ＬＥＤ光源による照明に関する技術としては、例えば、特許文献２に記載の照明システムがある。両者とも、ＬＥＤの発光時において、人の目では視認できない速度でＬＥＤを変調駆動している。
さて、このような固体光源照明をＣＣＤ型の撮像素子を利用したカメラで撮影した場合、実際はＬＥＤを発光させている状態であっても、点滅動作（目に見えない速度）をするため、撮像結果から発光しているのか消灯しているのかを判別できないことがある。これはＣＣＤが一括電子シャッタ方式（グローバルシャッタ方式）で露光を行うためであり、固体光源の点灯及び消灯のタイミングと露光のタイミングとの関係によって、この現象が起こる。より具体的には、明るい環境下で撮影すると、自動露出制御機構が働き、露光時間（シャッタ速度）が短くなり、例えば、図１１に示すように、信号機の高速点滅動作における消灯時の期間に露光動作が行われると、信号機は発光状態であるにもかかわらず消灯しているように見えてしまう。

図１２において、露光無効期間（不感期間）とは、露光が行われない期間であり、この期間に信号機が点灯しても、それを信号として検出することができない。
次に、ＣＭＯＳ型の撮像素子を利用したカメラにて固体光源を撮影した場合を考える。ＣＭＯＳ型の撮像素子は、一般的に露光・シャッタ方式がローリングシャッタ方式であり、ＣＣＤ型と異なりライン単位に露光を行うことができる。しかし、１ラインずつ順に露光が行われるため、点滅発光する被写体の撮像位置によっては、点滅動作の消灯時の期間に露光が行われてしまうため、このような場合は、ＣＣＤ型と同様な現象が起こる。

例えば、図１３に示すように、ローリングシャッタ方式によって、先頭ラインから順に露光及び画素信号の読み出しを行ったときに、Ｌｉｎｅ１〜Ｌｉｎｅ１０の領域においては、ＣＣＤ型と同様に、信号機が発光状態であっても消灯しているように見えてしまう。一方、Ｌｉｎｅ１１〜Ｌｉｎｅ２０の領域においては、点灯している期間に露光が行われるため、この領域に信号機が撮像されていれば、発光状態の信号機を正確に撮像することができる。なお、図１３において、露光無効期間は図１２と同様であり、「↑」は、画素信号を読み出すタイミングを示す。

また、ローリングシャッタ方式の露光・シャッタ動作に起因する現象として、屋内の蛍光灯照明下で撮像したときに発生するフリッカ(横じまとして検出)がある。この課題解決法として、例えば、特許文献３に記載の撮像装置がある。この発明においては、ＣＭＯＳイメージセンサの回路設計の自由度の高さに着目し、飛び越し走査による解決手段を提案している。
特表２００５−５２４９６０号公報特表２００５−５０２１６７号公報特開２００２−９４８８３号公報

しかしながら、上記特許文献３の従来技術にあっては、飛び越し走査によってライン間の時間的連続性を排除して、フリッカの発生を低減することについては詳しく述べられているが、天候の良い屋外などの露光時間の極めて短くなる状態において、例えばＬＥＤ信号機などの点滅発光する被写体を正確に撮像するための具体的な露光タイミング（飛び越しステップ）については一切言及されていない。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、発光時に点灯及び消灯を周期的に繰り返す被写体を正確に撮像するのに好適な撮像装置及び映像記録装置を提供することを目的としている。

〔形態１〕上記目的を達成するために、形態１の撮像装置は、受光した光を電荷に変換して蓄積する複数の光電変換素子が２次元マトリクス状に配設された構成の光電変換部と、該光電変換部の各光電変換素子の露光時間をライン単位に制御する機能とを有する撮像素子を備えた撮像装置であって、前記光電変換部を、前記各光電変換素子のライン単位にＮ個（Ｎは２以上の自然数）の均等な領域に論理的に分割する領域分割手段と、各フレーム期間において、前記Ｎ個に分割された第１〜第Ｎ領域の各光電変換素子を、各領域の所定ラインから順にＭライン（Ｍは１以上の自然数）ずつ、且つ走査する領域を前記Ｍライン毎に所定の順番で他の領域へと切り替えながら走査する飛び越し走査手段と、前記飛び越し走査手段で走査された各光電変換素子から、該各光電変換素子に蓄積された電荷量に応じた電気信号からなる画素信号を読み出す画素信号読出手段と、前記各フレームの時間と前記各ラインに対して設定された露光時間とに基づき、前記飛び越し走査手段の走査タイミングを制御する走査タイミング制御手段と、を備える。

このような構成であれば、領域分割手段によって、光電変換部がＮ個の均等な領域（第１〜第Ｎ領域）に論理的に分割されると、飛び越し走査手段によって、第１〜第Ｎ領域のうち所定の領域の所定ラインから順に各領域のラインがＭラインずつ順番に走査される。このとき、いずれかの領域でＭラインが走査される毎に走査される領域が所定の順番で他の領域へと切り替わる。例えば、各領域の先頭ラインから順にＭラインずつ、且つ走査する領域をＭライン毎に、第１〜第Ｎ領域の並び順に１つずつ他の領域へと切り替えながら走査することが可能である。

一方、光電変換素子のラインが走査されると、画素信号読出手段によって、走査されたラインの各光電変換素子から蓄積電荷量に応じた画素信号が読み出される。
従って、各領域において、フレーム期間の略全域に亘って等間隔で画素信号の読み出しを行うことができるので、１フレームの期間において、点滅発光する固体光源の消灯状態と点灯状態とが混在したときに、光電変換部のいずれかの光電変換素子のラインにおいて、点灯状態時の固体光源の撮像が行われる確率を高めることができるという効果が得られる。特に、領域分割手段で光電変換部を適切な領域数に分割することで、点灯状態時の固体光源の撮像を行う確率をより高めることができる。

ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した撮像素子としては、例えば、閾値変調型撮像素子（ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。
また、上記「露光時間を制御する機能」とは、例えば、ＣＭＯＳ型の撮像素子におけるフォーカルプレーンシャッタ（ローリングシャッタ）方式などの公知の電子シャッタ機能が該当する。

また、上記被写体の撮像に係る情報は、例えば、１フレームの期間、各ラインの露光時間、被写体が点滅動作により発光する固体光源の場合は、点滅の周期情報などが該当する。
また、上記Ｍラインは、例えば、被写体の色情報を得るためのカラーフィルタの構成を、図１４（ａ）に示すように、サブピクセル方式にするときは１ラインとし、一方、図１４（ｂ）に示すように、ベイヤ配列にするときは赤と青の色成分を取得するために２ラインとする。なお、カラーフィルタの構成に限らず、解像度が高い（画素数が多い）場合はライン数を増やすなど他の条件に応じて設定してもよい。

〔形態２〕更に、形態２の撮像装置は、形態１に記載の撮像装置において、前記光電変換部の各光電変換素子を前記Ｍラインずつ順番に走査する通常走査手段を更に備え、前記各ラインの露光時間が前記フレームの時間の１／２未満のときは、前記領域分割手段によって前記光電変換部を前記Ｎ個の領域に論理的に分割すると共に、前記飛び越し走査手段によって前記各光電変換素子の走査を行い、前記各ラインの露光時間が前記フレームの時間の１／２以上のときは、前記通常走査手段によって前記各光電変換素子の走査を行うと共に、前記画素信号読出手段によって前記通常走査手段で走査した光電変換素子から前記画素信号を読み出すようになっている。

このような構成であれば、露光時間が１フレームの期間の１／２以上のときは、通常走査手段によって走査が行われ、露光時間が１フレームの期間の１／２未満のときは、飛び越し走査手段によって走査が行われる。これによって、飛び越し走査が不要な場合にかかる負荷を軽減することができるという効果が得られる。
つまり、露光時間が１フレームの期間の１／２以上のときは、１フレームの期間において、点滅発光する固体光源の消灯状態と点灯状態とが混在した場合に、飛び越し走査を行わずに１ラインずつ順に走査を行っても、光電変換部の比較的広範囲のラインにおいて、点灯状態となる期間が露光期間に含まれるので、略確実に固体光源の発光状態を正確に撮像することができる。従って、このような場合は、通常走査を行う。

一方、露光時間が１フレームの期間の１／２未満のときは、通常走査をした場合に、点灯状態となる期間が露光期間に含まれないラインが、上記１／２以上のときと比較して多くなるため、点滅発光する被写体の撮像位置によって、その発光状態を正確に撮像できない確率が高くなる。従って、このような場合は、飛び越し走査を行う。

〔形態３〕更に、形態３の撮像装置は、形態１又は２に記載の撮像装置において、前記領域分割手段は、前記フレームの時間を前記各ラインの露光時間で除算した結果に基づいて、前記各光電変換素子を前記Ｎ個の領域に論理的に分割するようになっている。
このような構成であれば、光電変換部を露光時間に応じた適切な分割数に分割することができるので、光電変換部を、飛び越し走査を確実に行え且つ点滅発光する被写体の点灯状態を正確に撮像できる領域数に均等に分割することができるという効果が得られる。

〔形態４〕更に、形態４の撮像装置は、形態１乃至３のいずれか１に記載の撮像装置において、点灯と消灯とを周期的に繰り返して発光する被写体の前記点灯と消灯の周期情報を取得する周期情報取得手段を更に備え、前記領域分割手段は、撮像対象に前記被写体が含まれるときに、前記周期情報取得手段で取得した周期情報に基づき、前記各光電変換素子を前記Ｎ個の領域に論理的に分割するようになっている。
このような構成であれば、点滅発光する被写体の点滅周期が解るので、１フレームの期間において、例えば、点滅発光する固体光源の消灯状態と点灯状態とが混在するときに、点灯状態時に光電変換部のいずれかの光電変換素子のラインが固体光源を撮像できるように光電変換部を適切な領域数に分割することができるという効果が得られる。

〔形態５〕更に、形態５の撮像装置は、形態４に記載の撮像装置において、前記領域分割手段は、点灯と消灯とを周期的に繰り返して発光する被写体の点灯と消灯の周期時間を、フレームの周期を与える時間で除算し、その除算結果に対して前記光電変換部の総ライン数を乗算し、その乗算結果を２で除算した除算結果に基づき、前記各光電変換素子を前記Ｎ個の領域に論理的に分割するようになっている。
このような構成であれば、露光時間によらずに領域を複数の均等な領域に論理的に分割することができるので、屋外、好天、逆光などによって露光時間が極めて短くなるケースにおいても、点滅発光する固体光源の点灯状態を略正確に撮像できる分割数に光電変換部を論理的に分割することができるという効果が得られる。

〔形態６〕更に、形態６の撮像装置は、形態１乃至５のいずれか１に記載の撮像装置において、前記画素信号読出手段で読み出した画素信号に基づき撮像画像データを生成する撮像画像データ生成手段と、前記撮像画像データを記憶する撮像画像データ記憶手段と、を備える。
このような構成であれば、上記形態１乃至５のいずれか１項に記載の撮像装置と同様の作用及び効果が得られる。また、読み出した画素信号に基づき撮像画像データを生成し、該生成した撮像画像データを記憶することができるので、撮像画像データを様々な用途に利用することが可能である。

〔形態７〕また、上記目的を達成するために、形態７の映像記録装置は、形態１乃至６のいずれか１に記載の撮像装置と、前記撮像装置で被写体を撮像して得られた連続する複数フレームの撮像画像データを記録する映像記録手段と、前記映像記録手段に記録された撮像画像データを出力する撮像画像データ出力手段と、を備える。

このような構成であれば、上記形態１乃至６のいずれか１項に記載の撮像装置と同様の作用及び効果が得られる。更に、被写体を撮像することにより得られた連続する複数フレームの撮像画像データを記録することができるので、例えば、ドライブレコーダとして車両に搭載することで、事故発生時の信号機の状態が正確に撮像された撮像画像データなどを記録することが可能となる。

〔第１の実施の形態〕
以下、本発明に係る撮像装置及び映像記録装置の第１の実施の形態を、図面に基づき説明する。図１〜図１０は、本発明に係る撮像装置及び映像記録装置の第１の実施の形態を示す図である。
まず、図１に基づき、本発明に係る撮像システム１の概略構成を説明する。ここで、図１は、本発明に係る撮像システム１の概略構成を示すブロック図である。

撮像システム１は、図１に示すように、映像記録装置１００と、ホストシステム２００とを含んで構成される。なお、映像記録装置１００と、ホストシステム２００とは互いにデータ通信可能に接続されている。
映像記録装置１００は、被写体を撮像する撮像装置１０と、撮像により得られた撮像画像データの記録処理、飛び越し走査情報の決定処理などを行うシステムコントローラ２０と、撮像画像データを記録する記録媒体２１と、システムコントローラ２０からの指示に応じて警告音などを出力する音声出力部２２とを含んで構成される。

撮像装置１０は、ＣＭＯＳ型のセンサセルアレイ（撮像素子）から構成される撮像部１１と、センサセルアレイから読み出された画素信号に基づき各フレームの撮像画像データを生成する映像生成部１２と、撮像画像データを記憶するフレームメモリ１３とを含んで構成される。
システムコントローラ２０は、撮像部１１及び映像生成部１２の動作を制御するためのコマンドを、映像生成部１２に出力すると共に該映像生成部１２を介して撮像部１１に出力し、これらの動作を制御する。

具体的に、映像生成部１２からの撮像画像データと撮像条件（例えば、被写体の種類（例えば、点滅光源か否か）、露出条件、フレーム期間、カラーフィルタの構成など）とに基づき、露光時間、飛び越し走査の有無、飛び越し走査時のステップ幅Ｗ（走査対象の領域の分割幅Ｗ（Ｗは２以上の自然数））、分割領域の走査ライン数Ｍ（Ｍは１以上の自然数）などを決定し、これらの情報を含むコマンドを出力する。

ここで、飛び越し走査とは、撮像部１１を構成するセンサセルアレイの総ライン数ＦＬ（ＦＬは４以上の自然数）の画素領域（受光領域）を、ライン単位にＮ個（Ｎは２以上の自然数）の均等な領域（第１〜第Ｎ領域）に論理的に分割し、第１〜第Ｎ領域のうち所定領域の先頭ラインから順にＭラインずつ、該Ｍラインを走査する毎に走査する領域を他の領域へと１つずつ切り替えながら受光領域を走査する方式である。

更に、システムコントローラ２０は、映像生成部１２からフレーム毎に順次入力される撮像画像データ（映像データ）又は、記録媒体２１に記録された撮像画像データを、ホストシステム２００に送信する。
また、システムコントローラ２０は、ホストシステム２００からの指示に応じて、音声出力部２２を制御し、警告音や音声メッセージ等を出力させる。

記録媒体２１は、ＨＤＤ（ハードディスク）等の比較的大容量の記録媒体から構成されており、映像生成部１２において生成された映像データを、システムコントローラ２０からの記録要求に応じて記録する。
音声出力部２２は、ＡＭＰ２２ａと、スピーカ２２ｂとを含んで構成され、システムコントローラ２０からの指示に応じて、警告音や音声メッセージ等を、ＡＭＰ２２ａで増幅し、増幅した音をスピーカ２２ｂから出力する。

ホストシステム２００は、システムコントローラ２０からの連続する複数フレームの撮像画像データ（映像データ）に基づき、撮像部１１で撮像された映像を解析して、例えば、撮像画像中に、高速で点滅発光する固体光源があるか否かを判断し、固体光源がある場合は、その発光の有無を判断したり、何色で発光しているのかを判断したりする。
更に、例えば、映像記録装置１００が車両に搭載されている場合は、映像データの解析結果に基づき、車両が危険な状態にあると判断したときは、音声出力部２２から警告音等を出力させるように、システムコントローラ２０に指示を与える。

また、例えば、固体光源が点滅発光するＬＥＤ信号機であれば、上記発光の有無等の判断結果の音声メッセージを音声出力部２２から出力させるように、システムコントローラ２０に指示を与える。
次に、図２に基づき、撮像装置１０を構成する撮像部１１の内部構成を説明する。
図２は、撮像部１１の内部構成を示すブロック図である。

本実施の形態における撮像部１１は、説明の便宜上、カラーフィルタの配列方式がサブピクセル方式であり、走査ライン数Ｍを「１」として動作することとする。なお、例えば、カラーフィルタがベイヤ配列のときは、走査ライン数Ｍを「２」とし、各領域を２ラインずつ走査することで対応することが可能である。
撮像部１１は、図２に示すように、基準タイミング発生器５０と、走査ラインスキャナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。

基準タイミング発生器５０は、映像生成部１２からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生し、これを走査ラインスキャナ５４に出力する。
走査ラインスキャナ５４は、基準タイミング発生器５０及び映像生成部１２からの各種信号に基づき、リセット処理を行うラインを有効にするリセットライン選択信号を生成する。そして、該生成したリセットライン選択信号をセンサセルアレイ５６に出力する。

更に、走査ラインスキャナ５４は、リセット後で且つ設定された露光時間の電荷の蓄積が行われたラインを画素信号の読出ラインとして有効にする読出しライン選択信号を生成する。そして、該生成した読出ライン選択信号をセンサセルアレイ５６に出力する。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて構成された、受光素子（フォトダイオードなど）を含む複数のセンサセル（画素）が２次元マトリクス状に配設された構成の受光領域を備え、各画素のラインに対して、アドレス線、リセット線及び読出し線が共通に接続された構成を有している。

そして、前記３つの制御線を介して各種駆動信号（選択信号）が各ラインを構成するセンサセルに送信され、アドレス線及び読出し線が有効になると、信号線を介して蓄積電荷（画素信号）を水平転送部５８に転送（出力）する。
ここで、撮像部１１は、撮像レンズ（不図示）を備えており、被写体からの光を撮像レンズでセンサセルアレイ５６に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる構成となっている。

このような構成によって、センサセルアレイ５６は、走査ラインスキャナ５４から供給される選択信号に基づき、アドレス線により、リセット動作又は読出し動作を行わせる画素のラインを有効に（選択）する。そして、当該選択信号で選択したラインの各画素に対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。更に、選択信号によって選択された各画素おいては、リセット動作を指示する信号が入力されたときはリセット動作が行われ、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して水平転送部５８への蓄積電荷の転送が行われる。

水平転送部５８は、センサセルアレイ５６の各画素から読み出された画素信号（アナログ信号）のデータ（以下、画素信号データと称す）をＡ／Ｄ変換して、ライン単位に映像生成部１２へとシリアルで順次出力する。なお、詳細な構成は後述する。
更に、図３に基づき、走査ラインスキャナ５４の内部構成を説明する。
図３は、走査ラインスキャナ５４の内部構成を示すブロック図である。

走査ラインスキャナ５４は、図３に示すように、リセット走査カウンタ５４ａと、リセット走査アドレスデコーダ５４ｂと、読み出し走査カウンタ５４ｃと、読み出し走査アドレスデコーダ５４ｄとを含んで構成される。
リセット走査カウンタ５４ａは、映像生成部１２からの垂直同期信号、水平同期信号及び撮像部制御用通信信号に含まれる情報に基づき、カウントアップ動作を繰り返す。ここで、リセット走査カウンタ５４ａのカウント値は、センサセルアレイ５６の各画素のライン番号に対応している。また、撮像部制御用通信信号に含まれる情報は、撮像部１１の内部レジスタに書き込まれる。

具体的に、リセット走査カウンタ５４ａは、映像生成部１２から送られてきた撮像部制御用通信信号に含まれる飛び越し走査の有無を示す情報（レジスタに格納されている）に基づき、飛び越し走査有りの場合は飛び越し走査用のカウント動作を実行し、飛び越し走査無しの場合は通常走査用のカウント動作を実行する。
飛び越し走査用のカウント動作が実行されると、リセット走査カウンタ５４ａは、撮像部制御用通信信号に含まれるステップ幅（領域幅）Ｗ、及び走査ライン数Ｍ（＝１）の情報に基づき、カウンタの初期値から、ステップ幅Ｗのカウントアップ幅でカウントアップ（Ｗずつインクリメント）し、各カウント値（初期値を含む）を、リセット走査アドレスデコーダ５４ｂに出力する。

一方、通常走査用カウント動作が実行されると、リセット走査カウンタ５４ａは、カウンタの初期値から、１ずつカウントアップし、各カウント値を、リセット走査アドレスデコーダ５４ｂに出力する。
なお、撮像部制御用通信信号によって、任意の開始ライン番号を設定し、該開始ライン番号からカウントアップを開始させる構成としてもよい。

また、カウント値は最小ライン番号及び最大ライン番号（例えば、受光領域の一番下及び一番上のラインの番号）の範囲をループするようになっている。例えば、最小ライン番号から１ずつカウントアップしていき、最大ライン番号に到達後に１つカウントアップすると、カウント値がリセットされて、最小ライン番号（例えば「１」）へと戻るようになっている。以下、読み出し走査カウンタ５４ｃについても同様である。

リセット走査アドレスデコーダ５４ｂは、リセット走査カウンタ５４ａから出力されるライン番号のラインを、「リセットラインＲ」として選択且つ有効にするためのリセットライン選択信号を生成し、これをセンサセルアレイ５６に出力する。これにより、選択ラインのみが有効となり、それ以外のラインが無効となる。
読み出し走査カウンタ５４ｃは、映像生成部１２からの垂直同期信号、水平同期信号及び撮像部制御用通信信号に含まれる情報（レジスタに記憶）に基づき、該撮像部制御用通信信号に含まれる露光時間の情報に応じたタイミングで、リセット走査カウンタ５４ａと同様のカウントアップ動作を繰り返す。

具体的に、読み出し走査カウンタ５４ｃは、飛び越し走査有りの場合、映像生成部１２から送られてきた撮像部制御用通信信号に含まれる露光時間、ステップ幅Ｗ、及び走査ライン数Ｍ（＝１）の情報に基づき、リセット走査カウンタ５４ａに対して、露光時間分のカウント幅（例えば、Ｗカウント分の幅）を空けてカウントアップを開始する。そして、カウンタの初期値から、Ｗずつカウントアップし、各カウント値（初期値を含む）を、読み出し走査アドレスデコーダ５４ｄに出力する。

一方、飛び越し走査無しの場合、読み出し走査カウンタ５４ｃは、露光時間分のカウント幅を空けてカウントアップを開始し、カウンタの初期値から順に、１ずつカウントアップし、各カウント値を、読み出し走査アドレスデコーダ５４ｄに出力する。
読み出し走査アドレスデコーダ５４ｄは、読み出し走査カウンタ５４ｃから出力されるライン番号のラインを、「読み出しラインＬ」として選択且つ有効にするための読み出しライン選択信号を生成し、これをセンサセルアレイ５６に出力する。これにより、選択ラインのみが有効となり、それ以外のラインが無効となる。

更に、図４に基づき、撮像部１１の露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法についてより具体的に説明する。ここで、図４は、撮像部１１のセンサセルアレイ５６の受光領域における、各画素のライン毎の露光、及び各画素からの画素信号の読み出し動作の一例を示す図である。
本発明の露光時間の制御及び画素信号の読み出しは、図４に示すように、１フレームの期間（以下、１フレーム期間）において、まず、走査ラインスキャナ５４から順に入力されるリセットライン選択信号に基づき、各選択信号に対応するラインをリセットラインＲとして順に有効にし、該有効にしたラインに対してリセット処理を実行する。一方、リセット後において、各ラインに設定された露光時間分の時間間隔（カウント幅）を空けて、走査ラインスキャナ５４から、読み出しライン選択信号が順に入力され、この選択信号に対応するラインが読み出しラインＬとして順に有効にされる。そして、有効にされたラインから画素信号が読み出される。

更に、水平転送部５８によって、各読み出しラインＬから読み出された画素信号データが映像生成部１２へと転送される。
ここで、水平転送部５８は、図４に示すように、画素信号処理部５８ａと、画素信号格納ラインメモリ５８ｂと、ＡＤ変換器５８ｃとを含んで構成される。
そして、画素信号処理部５８ａによって、読み出しラインＬから読み出された画素信号データが信号レベル調整等の処理を施された後に、ライン毎に画素信号格納ラインメモリ５８ｂに格納される。更に、格納された画素信号データは、Ａ／Ｄ変換器５８ｃにおいてデジタルのデータ（以下、画素データと称す）に変換され、この変換により得られた画素データは、ライン単位で映像生成部１２へとシリアルで出力される。

次に、図５に基づき、映像生成部１２の内部構成を説明する。
ここで、図５は、映像生成部１２の内部構成を示すブロック図である。
映像生成部１２は、図５に示すように、通信器１２ａと、タイミング制御器１２ｂと、画像データ書き込み制御部１２ｃと、メモリアクセス調停器１２ｄと、出力読出器１２ｅと、画像処理部１２ｆとを含んで構成される。

通信器１２ａは、システムコントローラ２０からのコマンドに応じて、露光時間の情報と、飛び越し走査の有無、飛び越し走査のステップ幅Ｗ、走査ライン数Ｍなどを含んでなる飛び越し走査情報とを含む撮像部制御用通信信号を、撮像部１１へと伝送する。更に、システムコントローラ２０からの前記コマンドに応じて、タイミング制御器１２ｂの動作を制御する駆動制御信号をタイミング制御器１２ｂに出力する。

タイミング制御器１２ｂは、不図示の基準クロック発生器からの基準クロックに基づき、ピクセルクロック、水平同期信号（ＨＳＹＮＣ）、垂直同期信号（ＶＳＹＮＣ）などの信号を生成し、これら生成した信号を、撮像部１１と画像データ書き込み制御部１２ｃとにそれぞれ出力する。
画像データ書き込み制御部１２ｃは、撮像部１１からの画素データを受信すると共に、タイミング制御器１２ｂからのピクセルクロック、水平同期信号及び垂直同期信号に基づき、各画素データのアドレスを生成し、アドレスと画素データとをセットにして、書き込み命令と共にメモリアクセス調停器１２ｄに出力する。

メモリアクセス調停器１２ｄは、画像データ書き込み制御部１２ｃ及び出力読出器１２ｅの２系統からのフレームメモリ１３に対する読み込み・書き込み命令に応じて、これら２系統のフレームメモリ１３の撮像画像データへのアクセス要求を調停しアクセスを行う。
具体的に、画像データ書き込み制御部１２ｃから画素データの書き込み命令が入力されたときには、指定アドレスへの画素データの書き込み要求をフレームメモリ１３に出力し、出力読出器１２ｅから画素データの読み込み命令が入力されたときは、指定アドレスからの画素データの読み出し要求をフレームメモリ１３に出力する。

出力読出器１２ｅは、出力用同期信号（出力用ピクセルクロック、出力用水平同期信号、出力用垂直同期信号）に同期して、メモリアクセス調停器１２ｄを介してフレームメモリ１３から取得した撮像画像データを、画像処理部１２ｆに出力する。
具体的には、出力読出器１２ｅは、まず、メモリアクセス調停器１２ｄに対して、撮像画像データの読み込み命令を出力する。そして、メモリアクセス調停器１２ｄを介して撮像画像データを取り込み、これを、同期を取りつつ画像処理部１２ｆに出力する。なお、出力読出器１２ｅは、各種出力用同期信号に基づき、読み出すべき画素番号（アドレス）を計数し、それをメモリアクセス調停器１２ｄに出力する。

画像処理部１２ｆは、出力読出器１２ｅからの撮像画像データに対して、カラーバランス調整、黒レベル調整、γ補正等の画像処理を施し、画像処理後の撮像画像データを、同期を取りつつシステムコントローラ２０に出力する。
なお、フレームメモリ１３は、メモリアクセス調停器１２ｄから読み出し要求があると、その要求が示すアドレスの領域に格納された撮像画像データを読み出し、メモリアクセス調停器１２ｄから書き込み要求があると、その書き込み要求が示すアドレスの領域に入力された画像データを書き込む。

次に、図６〜図８に基づき、飛び越し走査によるリセット動作及び画素信号の読み出し動作について具体的な例を挙げて説明する。
ここで、図６は、受光領域を論理的に分割した一例を示す図である。また、図７は、飛び越し走査時のリセットタイミング及び画素信号の読み出しタイミングの一例を示す図である。また、図８は、飛び越し走査時の１フレーム期間における露光期間と画素信号の読み出しタイミングとの関係を示す図である。

以下の説明において、説明の便宜上、受光領域の総ライン数ＦＬを「２０」とする。また、受光領域の各画素のラインを上から順にＬｉｎｅ１〜２０とし（末尾の番号はライン番号に対応）、Ｌｉｎｅ１→Ｌｉｎｅ２０→Ｌｉｎｅ１→・・・の走査方向でループしながら走査を行うこととする。
システムコントローラ２０は、まず、現在の撮像環境下において撮像された撮像画像データ、被写体の撮像条件などに基づき、飛び越し走査を行うか否かを決定する。

例えば、現在の環境下で得られた撮像画像データに基づき、明るさの範囲が特定の範囲に入るように調整するなどして、被写体を撮像するのに適切な露光時間Ｔ_Sを決定する。そして、決定した露光時間Ｔ_Sが１フレーム期間Ｔ_fに対して、例えば、１／２未満であれば飛び越し走査を行い、そうでなければ飛び越し走査を行わない（通常走査を行う）と決定する。

飛び越し走査を行うと決定された場合は、露光時間Ｔ_Sに基づき、受光領域の分割数を決定する。露光時間Ｔ_Sに基づいて決定する場合、１フレーム期間Ｔ_fを露光時間Ｔ_Sで除算した結果に基づき分割数を決定する。ここでは、露光時間Ｔ_Sが、１フレーム期間Ｔ_fの１／４（Ｔ_S＝Ｔ_f／４）になり、除算結果を４とする。除算結果を各領域の幅とし、その幅の値から、論理的分割数「５」を決定する。

これにより、受光領域は、５つの領域に論理的に分割され、また、各領域の幅（ステップ幅Ｗ）が、「４」と算出される。これにより、受光領域は、図６に示すように、各論理領域幅が４ラインの第１〜第５領域の５つの均等な論理領域へと分割される。
システムコントローラ２０は、上記決定した、露光時間Ｔ_Sの情報と、飛び越し走査フラグ（ここでは、飛び越し走査有りなので「１」（無しの場合は「０」））、ステップ幅「４」及び走査ライン数「１」を含んでなる飛び越し走査情報とを含むコマンドを通信器１２ａに出力する。

通信器１２ａは、システムコントローラ２０からのコマンドに基づき、露光時間Ｔ_Sの情報と、飛び越し走査情報とを含む撮像部制御用通信信号を生成し、これを撮像部１１に出力する。
撮像部１１は、撮像部制御用通信信号を受信すると、該信号に含まれる露光時間Ｔ_Sの情報と飛び越し走査情報とを内部のレジスタに書き込む。

走査ラインスキャナ５４は、レジスタに書き込まれた飛び越し走査情報に基づき、リセット走査カウンタ５４ａにおいて、初期値「１」から、４ずつカウントアップするカウントアップ動作を行う。更に、リセット走査アドレスデコーダ５４ｂにおいて、各カウント値に対して、リセットライン選択信号を順次生成して、これをセンサセルアレイ５６に出力し、リセット処理を行うラインを有効にする。

また、走査ラインスキャナ５４は、レジスタに書き込まれた露光時間Ｔ_Sの情報に基づき、読み出し走査カウンタ５４ｃにおいて、リセット走査カウンタ５４ａに対して、露光時間Ｔ_Sのカウント間隔を空けて、初期値「１」から、４ずつカウントアップするカウントアップ動作を行う。更に、読み出し走査アドレスデコーダ５４ｄにおいて、各カウント値に対して、読み出しライン選択信号を順次生成して、これをセンサセルアレイ５６に出力し、読み出し処理を行うラインを有効にする。

センサセルアレイ５６は、有効となった選択ラインに対して、蓄積電荷のリセット処理及び画素信号の読み出し処理を順次実行する。
上記飛び越し走査に応じて、センサセルアレイ５６は、図７に示すように、まず、時刻Ｔ１〜Ｔ５の期間にライン番号１（第１領域）、５（第２領域）、９（第３領域）、１３（第４領域）、１７（第５領域）のラインを時刻毎に順番にリセットし、時刻Ｔ６において、ライン番号１のライン（Ｌｉｎｅ１）から画素信号を読み出す（転送する）。

具体的に、時刻Ｔ１で第１領域のライン番号１、Ｔ２で第２領域のライン番号５、Ｔ３で第３領域のライン番号９・・・といったように時刻毎にそれぞれ異なる領域のラインをリセットする。読み出しについても同様である。
これにより、Ｌｉｎｅ１は、Ｔ１でリセットしてからＴ５までのＢＬＡＮＫ期間（露光時間に対応）を空けて画素信号が読み出される。また、時刻Ｔ６においては、Ｌｉｎｅ１からの読み出しと並行してライン番号２のラインがリセットされる。

以降は、同様に、時刻Ｔ７〜Ｔ２０まで、ライン番号６、１０、１４、１８、・・・、８、１２、１６、２０のラインが時刻毎に順番にリセットされ、これと並行に、ライン番号５、９、１３、１７、・・・、７、１１、１５、１９のラインから時刻毎に順番に画素信号が読み出される。なお、リセット動作と読出し動作との間にはＢＬＡＮＫ期間分の位相差があるので、引き続き、Ｔ２１〜Ｔ２４の期間において、ライン番号４、８、１２、１６のラインから時刻毎に順番に画素信号が読み出される。

このＴ１〜Ｔ２４の期間が１フレーム期間となる。
上記各画素のラインの飛び越し走査によるリセット処理及び読み出し処理によって、１フレーム期間（Ｔ１〜Ｔ２４）のＬｉｎｅ１〜Ｌｉｎｅ２０の露光タイミング及び読み出しタイミングは、図８に示すようになる。
具体的に、飛び越し走査によって、第１領域〜第５領域の各領域において、各領域のラインの露光期間がフレーム期間の略全域に亘って行われる。これにより、被写体となる点滅発光する固体光源の点灯及び消灯が、図８に示すようなタイミングで行われたとしても、第１〜第５領域における、ＮＯ.１１，１６，１２，１７，１３，１８，１４，１９，１５，２０の各露光期間においては、固体光源の点灯時に露光が行われるため、これら露光期間に対応するラインにおいては、固体光源の点灯状態が正確に撮像される。

なお、図８の例では、ライン数が２０ラインと極端に少ない場合を説明したが、昨今のデジタルカメラなどは、数百万〜１千万画素オーバーなどの画素数を有し、ライン数もはるかに多いので、余程小さな光源でない限り点滅発光する被写体（例えば、ＬＥＤ信号機など）に対して、受光領域の略全域をカバーすることができる。
次に、図９〜図１０に基づき、本発明に係る撮像システム１を自動車に搭載した場合の実際の動作を説明する。

ここで、図９は、撮像画像の一例を示す図である。また、図１０は、図９の撮像画像に対する、飛び越し走査による露光タイミング及び読み出しタイミングの一例を示す図である。
なお、映像記録装置１００の撮像部１１は、車両前方（信号機の高さ範囲を含む）の被写体を撮像できるように自動車に取り付けられているとする。また、撮像システム１は、自動車に搭載されたカーナビゲーションシステムと協働するように搭載されており、撮像システム１と、カーナビゲーションシステムとはデータ通信可能に接続されている。

以下、上記同様に、センサセルアレイ５６の受光領域の総ライン数ＦＬを「２０」として説明する。
撮像システム１を搭載した自動車のエンジンが始動し、カーナビゲーションシステム、映像記録装置１００及びホストシステム２００に電源が供給されると、映像記録装置１００は、起動動作の後に、撮像装置１０において、車両前方の被写体の撮像を開始する。本実施の形態において、撮像装置１０は、撮像開始直後は、初期設定の状態で且つ走査ラインスキャナ５４において通常走査用カウント動作を実行して撮像を行う。

この撮像により得られた画素データは、映像生成部１２の画像データ書き込み制御部１２ｃによって、メモリアクセス調停器１２ｄを介して、撮像画像データとしてフレームメモリ１３に記憶される。更に、フレームメモリ１３に記憶された撮像画像データは、出力読出器１２ｅによって、メモリアクセス調停器１２ｄを介して読み出され、画像処理部１２ｆに出力される。そして、読み出された撮像画像データは、画像処理部１２ｆにおいて、各種画像処理を施されてから、出力用の同期信号と同期してシステムコントローラ２０へと出力される。

その後、システムコントローラ２０において、上記撮像により得られた撮像画像データに基づき、被写体の撮像に適切な露光時間Ｔ_Sを決定する。
露光時間Ｔ_Sが決定されると、上記同様に、露光時間Ｔ_Sが１フレーム期間Ｔ_fの１／２の未満であれば飛び越し走査を実行することを決定し、そうでなければ実行しないことを決定する。

ここでは、現在の撮像環境が太陽の照りつける屋外であるとし、露光時間が短い（１／２未満）ものとする。従って、飛び越し走査を実行することが決定される。
更に、１フレーム期間Ｔ_fを露光時間Ｔ_Sで除算した結果に基づき、分割数Ｎ及びステップ幅Ｗを決定する。ここでは、露光時間Ｔ_Sが、１フレーム期間Ｔ_fの１／４（Ｔ_S＝Ｔ_f／４）になり、その結果、除算値４からステップ幅を「４」、分割数を「５」にする。

ここで、本実施の形態の撮像部１１のカラーフィルタの構成は、先述したようにサブピクセル方式であるので、走査ライン数は「１」となる。
システムコントローラ２０は、引き続き、露光時間Ｔ_Sの情報と、飛び越し走査フラグ「１」、ステップ幅「４」及び走査ライン数「１」の情報を含んでなる飛び越し走査情報とを含むコマンドを生成し、これを映像生成部１２の通信器１２ａに出力する。

一方、映像生成部１２は、通信器１２ａにおいて、システムコントローラ２０からのコマンドに応じて、露光時間Ｔ_Sの情報と、飛び越し走査情報とを含む撮像部制御用通信信号を生成し、これを撮像部１１に出力し、各種情報を撮像部１１のレジスタに書き込む。
更に、通信器１２ａは、システムコントローラ２０からのコマンドに基づき、駆動制御信号を生成し、これをタイミング制御器１２ｂに出力する。

タイミング制御器１２ｂは、常時、基準クロックに基づき、ピクセルクロック、垂直同期信号及び水平同期信号を生成して、これらを撮像部１１に出力する。
更に、通信器１２ａからの駆動制御信号に基づき、撮像の開始、ストップなどを指示する制御信号を撮像部１１に出力する。
以上より、撮像の開始が指示されると、撮像部１１では、上記図７及び図８と同様の飛び越し走査を実行し、車両前方の被写体を撮像する。

ここで、車両前方に、図９に示すように、点滅発光するＬＥＤ信号機を含む被写体が出現したとする。
この被写体は、撮像部１１によって、飛び越し走査により撮像され、図１０に示すように、信号機の発光部分が、論理的に分割された５つの領域のうち、一番上の第１領域で撮像される。

図１０に示すように、信号機は、１フレーム期間の前半から６割くらいまで消灯状態となり、その後点灯状態となっているため、露光期間ＮＯ.６において、Ｌｉｎｅ２で発光部分の上部が撮像され、露光期間ＮＯ.１１、１６のタイミングにおいて、Ｌｉｎｅ３、４で発光部分の残りの部分が撮像されることになる。
この撮像により得られた画素データは、映像生成部１２で撮像画像データとしてフレームメモリ１３に記憶され、記憶された撮像画像データは、出力読出器１２ｅによって、画像処理部１２ｆへと出力される。そして、画像処理部１２ｆにおいて、入力された撮像画像データに対して、各種画像処理が施され、該画像処理後の撮像画像データがシステムコントローラ２０へと出力される。

システムコントローラ２０は、映像生成部１２から順次送られてくる撮像画像データ（映像データ）を、記録媒体２１に記録すると共に、カーナビゲーションシステムのディスプレイ装置（タッチパネル式）に出力して映像を表示する。
更に、システムコントローラ２０は、記録媒体２１に記録された複数フレーム分の撮像画像データ（映像データ）を、ホストシステム２００に出力する。

ホストシステム２００は、システムコントローラ２０からの映像データを解析して、第１領域において信号機が撮像されていると判断すると共に、ここでは、撮像された信号機の状態を判断する。
図１０に示すように、点滅発光する信号機は、露光期間ＮＯ.１１の後半及び１６において点灯状態となっているので、第１領域における、Ｌｉｎｅ２においては消灯している画像となり、Ｌｉｎｅ３、４において発光（点灯）している画像となる。

本実施の形態において、ホストシステム２００は、１ラインでも発光している状態で撮像されたときは、信号機が発光状態にあると判断する。従って、２ラインが発光状態となっていることから信号機が発光していると判断し、更に何色で発光しているのかを判別する。色の判別は、サブピクセルから得られる色情報に基づいて判断しても良いし、信号機における発光位置から判断してもよい。また、色情報で判断する場合に、赤色の発光位置において、ライン毎に輝度値が異なるような場合は、赤色で点灯していると判断する。

ホストシステム２００は、信号機の発光状態の判別結果と、車両の走行スピードなどとに基づき、例えば、赤色又は黄色で発光していると判断され、車両の走行スピードが比較値と比べて速いと判断されると、システムコントローラ２０に対して、警告音又は警告メッセージを出力するように指示を与える。
システムコントローラ２０は、ホストシステム２００からの音声出力指示に応じて、予め不図示の記憶媒体に用意されている音声データに基づき、該音声を音声出力部２２に出力させる。

なお、タッチパネルに表示された被写体のうち、特定被写体（例えば、ＬＥＤ信号機など）の表示位置をタッチすることで、該特定被写体に対するホストシステム２００の解析結果（例えば、信号機の発光状態）を表示又は音声出力するようにしてもよい。
また、図１０の例では、各領域において、ライン間の露光期間が重ならないようになっているが、走査タイミング（露光タイミング）を制御することで、各領域のライン間のリセット間隔をもっと短くして露光期間をオーバーラップさせることができる。同様に、各領域のライン間のリセット間隔をもっと広げて、露光期間をフレーム期間に対してもっと広域に分布させるようにすることも可能である。

以上、本発明に係る撮像システム１は、センサセルアレイ５６の受光領域を、画素のライン単位で均等なＮ個の領域に論理的に分割し、該分割された受光領域に対して、各領域の先頭ラインから順にＭラインずつ、且つＭラインを走査する毎に走査する領域を他の領域に１つずつ切り替えながら走査する飛び越し走査を行うことが可能である。
これにより、分割された各領域において、各ラインの露光期間を、１フレーム期間の略全域に亘って分布させることができるので、１フレーム期間で消灯状態及び点灯状態の混在する発光状態の固体光源を正確に（点灯状態を認識できる状態で）撮像することができる。

上記第１の実施の形態において、撮像部１１及びシステムコントローラ２０は、形態１乃至４又は６のいずれか１に記載の撮像素子に対応し、撮像装置１０及びシステムコントローラ２０は、形態１乃至４又は６のいずれか１に記載の撮像装置に対応し、映像記録装置１００は、形態７に記載の映像記録装置に対応する。
また、上記第１の実施の形態において、システムコントローラ２０におけるセンサセルアレイ５６の受光領域をＮ個の論理的な領域に均等に分割する機能は、形態１、２、３及び５のいずれか１に記載の領域分割手段に対応し、撮像部１１における走査ラインスキャナ５４は、形態１又は２に記載の飛び越し走査手段に対応し、センサセルアレイ５６の読み出しライン選択信号に基づき各画素のラインからの画素信号を読み出す機能は、形態１、２及び６のいずれか１に記載の画素信号読出手段に対応する。

また、上記第１の実施の形態において、映像生成部１２は、形態６に記載の撮像画像データ生成手段に対応し、フレームメモリ１３は、形態６に記載の撮像画像データ記憶手段に対応する。
また、上記第１の実施の形態において、記録媒体２１は、形態７に記載の映像記録手段に対応し、システムコントローラ２０における記録媒体２１に記憶された撮像画像データをホストシステム２００に出力する機能は、形態７に記載の撮像画像データ出力手段に対応する。
〔第２の実施の形態〕
次に、本発明に係る撮像装置及び映像記録装置の第２の実施の形態を、図面に基づき説明する。図１１は、本発明に係る撮像装置及び映像記録装置の第２の実施の形態を示す図である。

本実施の形態は、受光領域の分割方法が異なるのみで、その他の構成は上記第１の実施の形態の撮像システム１と同様となる。
また、本実施の形態の領域分割方法は、露光時間が極めて短い場合で（上記第１の実施の形態の分割方法では、分割領域数が２、３など少なくなる場合）で、更に、点滅光源の点滅周期の情報が既知で、且つ点灯時間が消灯時間と等しいかもしくは大きい場合に好適な方法である。

以下、図１１に基づき、本実施の形態の領域分割方法について詳細に説明する。
ここで、図１１は、本実施の形態の領域分割方法を用いた飛び越し走査時の１フレーム期間における露光期間と画素信号の読み出しタイミングとの関係を示す図である。
例えば、屋外、好天、逆光のシーンでは、露光時間が撮像装置１０が許す最小露光時間となり（極めて短くなり）、上記第１の実施の形態の領域分割方法を用いた飛び越し走査処理では、点滅発光する固体光源の点灯状態を正確に撮像できない場合がある。

例えば、図１１のごとく露光時間Ｔ_Sが、フレーム期間Ｔ_fの１／２０（Ｔ_f／２０）のときは、上記第１の実施の形態の領域分割方法では、除算値（＝幅）が２０となり、領域数が１となってしまう。つまり、領域を複数に分割できないことから、点滅光源への対応もできない。
一方、本実施の形態の領域分割方法は、被写体の情報（固体光源の点滅周期の情報）に基づき、受光領域の分割数を決定する。具体的に、サンプリング定理（信号源の帯域に対してサンプリングレートが前記帯域幅の２倍以上あれば、情報の欠落が無い）に基づき、領域分割数及び領域幅（ステップ幅Ｗ）を決定する。即ち、点滅周期ＴＬに対して、各領域のサンプリング周期（画素信号の読み出し周期）を点滅周期ＴＬの１／２以下にする。

いま、センサセルアレイ５６の総ライン数をＬｎとする。領域単位でのサンプリングの周期は、領域分割が無い場合のサンプリング周期を「Ｔ_f／Ｌｎ」とすると、飛び越し走査のため領域分割数Ｎを乗算して、「Ｎ×Ｔ_f／Ｌｎ」となり、この値がサンプリング定理を満たせばよいことから下式（１）が成り立つ。

Ｎ×Ｔ_f／Ｌｎ≧ＴＬ／２・・・（１）

上式（１）から下式（２）が導出される。

Ｎ≧０．５×Ｌｎ×ＴＬ／Ｔｆ・・・（２）

例えば、図１１の例の場合、総ライン数Ｌｎは２０、「ＴＬ／Ｔ_f」は０．５であることから、システムコントローラ２０は、上式（２）に従って、「０．５×２０×０．５＝５」を算出し、該算出結果から、分割数Ｎとして５を設定する。また、総ライン数２０を５つに均等に分割することになるので、ステップ幅は「４」となる。

これにより、受光領域は、各論理領域幅が４ラインの第１〜第５領域の５つの均等な論理領域へと分割される。
システムコントローラ２０は、露光時間Ｔ_S（＝Ｔ_f／２０）の情報と、飛び越し走査フラグ「１」、ステップ幅「４」及び走査ライン数「１」（本実施の形態でもサブピクセル方式とする）を含んでなる飛び越し走査情報とを含むコマンドを通信器１２ａに出力する。

通信器１２ａは、システムコントローラ２０からのコマンドに基づき、露光時間Ｔ_Sの情報と、飛び越し走査情報とを含む撮像部制御用通信信号を生成し、これを撮像部１１に出力する。
これにより、撮像部１１においては、図１１に示すような飛び越し走査が行われ、各走査ラインから画素信号が読み出される。

図１１の例では、第１領域において撮像される点滅発光するＬＥＤ信号機に対して、ＮＯ.６の露光期間において、ＬＥＤ信号機の点灯時に露光が行われるため、この露光期間に対応するラインにおいては、ＬＥＤ信号機の点灯状態が正確に撮像される。
以上、本実施の形態の撮像システム１によれば、点滅光源の周期が既知の場合、屋外などでかつ好天で露光時間が極めて短くなる場合でも、被写体の点滅周期の情報及びサンプリング定理に基づく領域分割方法によって受光領域の分割数を設定することができるので、略確実に固体光源の点灯状態を正確に撮像することができる。また、露光時間に依存せずに、分割数を設定することができる。

上記第２の実施の形態において、システムコントローラ２０におけるセンサセルアレイ５６の受光領域を、サンプリング定理に基づきＮ個の論理的な領域に均等に分割する機能は、形態５に記載の領域分割手段に対応する。
なお、上記第１の実施の形態においては、１フレームの期間を露光時間で除算した除算結果に基づき、領域分割数及びステップ幅を決定する例を説明し、上記第２の実施の形態においては、点滅発光する被写体の点滅周期が予め解っている場合に、サンプリング定理に基づき、領域分割数及びステップ幅を決定する構成としたが、これらの方法に限らず、他の方法を用いて領域分割数及びステップ幅を決定する構成としてもよい。

本発明に係る撮像システム１の概略構成を示すブロック図である。撮像部１１の内部構成を示すブロックである。走査ラインスキャナ５４の内部構成を示すブロック図である。センサセルアレイ５６の受光領域における、各画素のライン毎の露光、及び各画素からの画素信号の読み出し動作の一例を示す図である。映像生成部１２の内部構成を示すブロック図である。受光領域を論理的に分割した一例を示す図である。飛び越し走査時のリセットタイミング及び画素信号の読み出しタイミングの一例を示す図である。飛び越し走査時の１フレーム期間における露光期間と画素信号の読み出しタイミングとの関係を示す図である。撮像画像の一例を示す図である。図９の撮像画像に対する、飛び越し走査による露光タイミング及び読み出しタイミングの一例を示す図である。第２の実施の形態の領域分割方法を用いた飛び越し走査時の１フレーム期間における露光期間と画素信号の読み出しタイミングを示す図である。従来のＣＣＤ型の撮像素子による１フレーム期間における露光期間と画素信号の読み出しタイミングとの関係を示す図である。従来のＣＭＯＳ型の撮像素子による１フレーム期間における露光期間と画素信号の読み出しタイミングとの関係を示す図である。各画素に対するカラーフィルタの配列方式の例を示す図である。

符号の説明

１は撮像システム、１００は映像記録装置、２００はホストシステム、１０は撮像装置、１１は撮像部、１２は映像生成部、１３はフレームメモリ、２０はシステムコントローラ、２１は記録媒体、２２は音声出力部、５０は基準タイミング発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は水平転送部、５４ａはリセット走査カウンタ、５４ｂはリセット走査アドレスデコーダ、５４ｃは読み出し走査カウンタ、５４ｄは読み出し走査アドレスでコーダ、１２ａは通信器、１２ｂはタイミング制御部、１２ｃは画像データ書き込み制御部、１２ｄはメモリアクセス調停器、１２ｅは出力読出器、１２ｆは画像処理部

Claims

受光した光を電荷に変換して蓄積する複数の光電変換素子が２次元マトリクス状に配設された構成の光電変換部と、該光電変換部の各光電変換素子の露光時間をライン単位に制御する機能とを有する撮像素子を備えた撮像装置であって、
被写体の撮像に係る情報に基づき、前記光電変換部を、前記各光電変換素子のライン単位にＮ個（Ｎは２以上の自然数）の均等な領域に論理的に分割する領域分割手段と、
各フレーム期間において、前記Ｎ個に分割された第１〜第Ｎ領域の各光電変換素子を、各領域の所定ラインから順にＭライン（Ｍは１以上の自然数）ずつ、且つ走査する領域を前記Ｍライン毎に所定の順番で他の領域へと切り替えながら走査する飛び越し走査手段と、
前記飛び越し走査手段で走査された各光電変換素子から、該各光電変換素子に蓄積された電荷量に応じた電気信号からなる画素信号を読み出す画素信号読出手段と、を備え、
前記領域分割手段は、前記被写体の撮像に係る情報である前記フレーム期間の時間及び前記露光時間とに基づき、前記フレーム期間の時間を前記露光時間で除算し、該除算結果で前記光電変換部の総ライン数を除算した除算結果を前記Ｎとして、前記光電変換部をＮ個の均等な領域に分割することを特徴とする撮像装置。
受光した光を電荷に変換して蓄積する複数の光電変換素子が２次元マトリクス状に配設された構成の光電変換部と、該光電変換部の各光電変換素子の露光時間をライン単位に制御する機能とを有する撮像素子を備えた撮像装置であって、
被写体の撮像に係る情報に基づき、前記光電変換部を、前記各光電変換素子のライン単位にＮ個（Ｎは２以上の自然数）の均等な領域に論理的に分割する領域分割手段と、
各フレーム期間において、前記Ｎ個に分割された第１〜第Ｎ領域の各光電変換素子を、各領域の所定ラインから順にＭライン（Ｍは１以上の自然数）ずつ、且つ走査する領域を前記Ｍライン毎に所定の順番で他の領域へと切り替えながら走査する飛び越し走査手段と、
前記飛び越し走査手段で走査された各光電変換素子から、該各光電変換素子に蓄積された電荷量に応じた電気信号からなる画素信号を読み出す画素信号読出手段と、
点灯と消灯とを周期的に繰り返して発光する被写体の前記点灯と消灯の周期情報を取得する周期情報取得手段と、を備え、
前記領域分割手段は、撮像対象に前記被写体が含まれるときに、前記周期情報取得手段で取得した周期情報に基づき、前記被写体の点灯と消灯の周期時間を、フレームの周期を与える時間で除算し、その除算結果に対して前記光電変換部の総ライン数を乗算し、その乗算結果を２で除算した除算結果以上の数値を前記Ｎとして、前記光電変換部をＮ個の均等な領域に分割することを特徴とする撮像装置。
前記光電変換部の各光電変換素子を前記Ｍラインずつ順番に走査する通常走査手段を更に備え、
前記各ラインの露光時間が前記フレームの時間の１／２未満のときは、前記領域分割手段によって前記光電変換部を前記Ｎ個の領域に論理的に分割すると共に、前記飛び越し走査手段によって前記各光電変換素子の走査を行い、前記各ラインの露光時間が前記フレームの時間の１／２以上のときは、前記通常走査手段によって前記各光電変換素子の走査を行うと共に、前記画素信号読出手段によって前記通常走査手段で走査した光電変換素子から前記画素信号を読み出すようになっていることを特徴とする請求項１又は請求項２に記載の撮像装置。
前記画素信号読出手段で読み出した画素信号に基づき撮像画像データを生成する撮像画像データ生成手段と、
前記撮像画像データを記憶する撮像画像データ記憶手段と、を備えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
請求項１乃至請求項４のいずれか１項に記載の撮像装置と、
前記撮像装置で被写体を撮像して得られた連続する複数フレームの撮像画像データを記録する映像記録手段と、
前記映像記録手段に記録された撮像画像データを出力する撮像画像データ出力手段と、を備えることを特徴とする映像記録装置。