JP4534630B2 - 撮像装置、撮像素子及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置、撮像素子及び撮像装置の制御方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、データ圧縮手段における処理時間に応じて、撮像手段の電荷蓄積時間又はフレーム周期、若しくはデータ圧縮手段の処理時間を可変することにより、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができるようにする。

従来、ビデオカメラにおいては、ＣＣＤ（Charge Coupled Device ）固体撮像素子を用いて、フィールド読み出しによる１／６０秒のフィールド周波数により撮像結果を取得し、この撮像結果をデータ圧縮して光ディスク等の記録媒体に記録するようになされている。またこのようなビデオカメラにおいては、電荷蓄積時間の制御によりいわゆる電子シャッターの機能を確保し、高速度で移動する被写体を高画質で撮像できるようになされている。

これに対して近年、ＣＭＯＳ固体撮像素子が実用に供されるようになされており、このようなＣＭＯＳ固体撮像素子については、例えば特開２００４−３１７８５号公報等に、周辺回路と一体化する構成が提案されるようになされている。

このようなＣＭＯＳ固体撮像素子にあっては、数百フレーム／秒の高転送レートにより撮像結果を取得することができる。これによりこのようなＣＭＯＳ固体撮像素子を用いて、さらには高速度化したＣＣＤ固体撮像素子を用いて、高いフレーム周波数により撮像結果を取得することにより、従来に比して一段と臨場感の高い撮像結果を得ることができると考えられる。

しかしながらこのように高いフレーム周波数により撮像結果を取得する場合にあっては、その分、記録、伝送に供するデータ量も格段的に増大し、データ圧縮の処理が間に合わなくなり、全体の処理に破綻をきたす恐れがある。
特開２００４−３１７８５号公報

本発明は以上の点を考慮してなされたもので、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる撮像装置、撮像素子及び撮像装置の制御方法を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、撮像装置に適用して、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段と、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段とを備えるようにする。

また請求項１８の発明においては、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを一体化してなる撮像素子に適用して、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段の全部又は一部を有するようにする。

また請求項１９の発明においては、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを備える撮像装置の制御方法に適用して、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する。

請求項１の構成により、撮像装置に適用して、駆動回路による駆動により撮像結果を出力する撮像手段と、前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段と、前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段とを備えるようにすれば、撮像結果による画像が複雑な場合等にあって、処理時間が長くなる場合には、コマ落ちが発生しないようにし得、またこれとは逆に撮像結果による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、処理時間が短くなると、その分、撮像結果のフレーム周波数を増大させて臨場感の高い画像を記録、伝送することができる。これにより高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる。

これにより請求項１８、請求項１９の構成によれば、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる撮像素子及び撮像装置の制御方法を提供することができる。

本発明によれば、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置１は、所望の被写体の撮像結果をデータ圧縮して記録媒体に記録し、また所望の伝送対象に送出する。

ここでこの撮像装置１において、レンズ２は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子３の撮像面に入射光を集光する。光学ローパスフィルタ４は、このレンズ２の出射光より空間周波数の高い成分を抑圧し、続く色補正フィルタ５は、光学ローパスフィルタ４から出射される出射光の色温度を補正して出射する。

撮像素子３は、例えばＣＭＯＳ固体撮像素子により形成され、駆動部６から出力される各種タイミング信号により動作して、撮像面に形成された光学像を各画素により光電変換して撮像信号Ｓ１を出力する。この処理において、撮像素子３は、所定の電荷蓄積時間により、各画素の入射光を光電変換処理しながら光電変換処理結果を各画素で蓄積し、電荷蓄積時間の終了により、各画素に蓄積した光電変換処理結果を転送して撮像信号Ｓ１により出力すると共に、続くフレームに係る光電変換処理を開始する。これにより撮像素子３は、電荷蓄積時間に対応するフレーム周波数により撮像結果を出力するようになされている。また従来のビデオ信号に比して高いフレーム周波数により撮像結果を出力するようになされている。

駆動部６は、制御部９の制御により、この撮像素子３の各種タイミング信号を生成して撮像素子３に出力し、これにより制御部９の制御により撮像素子３の動作を制御する。この制御において、駆動部６は、撮像素子３の電荷蓄積時間が制御部９により指示される電荷蓄積時間ＴＥとなるように、タイミング信号を出力する。これによりこの実施例においては、制御部９の制御により撮像素子３の電荷蓄積時間ＴＥを制御できるようになされ、さらには撮像結果のフレーム周期を可変できるようになされている。なおここで、フレーム周期は、１フレームの期間である。

アナログディジタル変換回路（ＡＤ）７は、この撮像信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。この撮像装置１は、図示しない信号処理回路によりこの画像データＤ１を画素補間処理、色空間変換処理、エッジ強調処理、ノイズ除去処理等した後、画像圧縮部８に入力する。

画像圧縮部８は、この画像データＤ１をデータ圧縮し、その処理結果による符号化データＤ２を記録系、伝送系に出力し、これによりこの撮像装置１では、この記録系により所定の記録媒体に符号化データＤ２を記録し、またこの伝送系により符号化データＤ２を外部機器に伝送するようになされている。画像圧縮部８は、このデータ圧縮の処理において、例えばＭＰＥＧの手法を適用して制御部９により指示される固定の量子化スケールによりデータ圧縮するようになされており、これにより画像データＤ１における符号化処理の困難度に応じて、符号化処理に要する時間を可変して一定の画質により符号化データＤ２を生成するようになされている。画像圧縮部８は、この１枚のピクチャーに係る画像データＤ１のデータ圧縮処理に要した処理時間ＴＣを検出し、この処理時間ＴＣを制御部９に通知する。

制御部９は、マイコンによる演算処理手段により構成され、所定の制御プログラムの実行により、ユーザーにより操作子の操作に応動してこの撮像装置１全体の動作を制御する。なおこの実施例において、この制御プログラムは、この撮像装置１に事前にインストールされて提供されるようになされているものの、この制御プログラムにあっては、インターネット等のネットワークを介したダウンロードにより、さらには記録媒体からのダウンロードにより提供するようにしてもよく、このような記録媒体にあっては、光ディスク、メモリカード等、種々の記録媒体を広く適用することができる。

しかして制御部９は、ユーザーにより電源が立ち上げられると動作を開始し、ユーザーによる操作子の操作に応動して撮像素子３により撮像結果の取得を開始するように、またこの撮像結果の記録、伝送を開始するように、全体の動作を制御する。また制御部９は、このようにして撮像結果の取得、記録、伝送を開始すると、画像圧縮部８で検出される処理時間ＴＣに応じて画像データＤ１の処理速度を可変する。これにより制御部９は、符号化データＤ２におけるコマ落ちを防止し、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮するようになされている。

具体的にこの実施例において、ユーザーがデータ圧縮処理の優先モードを選択している場合、制御部９は、画像圧縮部８の処理時間ＴＣに応じて、撮像素子３の電荷蓄積時間ＴＥを可変することにより、符号化データＤ２におけるコマ落ちを防止する。すなわち制御部９は、画像データＤ１による画像が複雑な画像であって、画像圧縮部８における処理時間ＴＣが長くなり、その結果、電荷蓄積時間ＴＥに比して処理時間ＴＣが長くなると、その分、電荷蓄積時間ＴＥを増大させ、これにより符号化データＤ２におけるコマ落ちを防止する。

またこれとは逆に、画像データＤ１による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、画像圧縮部８における処理時間ＴＣが短くなると、その分、電荷蓄積時間ＴＥを短縮し、高いフレーム周波数による臨場感の高い画像を記録する。なおこのデータ圧縮処理の優先モードにおいて、制御部９は、ユーザーがデータ圧縮モードを指定している場合、この指示されたデータ圧縮モードにおける量子化スケール等によりデータ圧縮するように画像圧縮部８の動作を制御した状態で、これらの制御を実行する。

これに対してユーザーがフレームレートの優先モードを選択している場合、制御部９は、ユーザーにより指示されたフレーム周期により画像データＤ１を記録するように、画像圧縮部８における処理速度ＴＣを可変する。すなわちこの場合、制御部９は、このユーザーにより指示されたフレーム周期により画像データＤ１を出力するように、撮像素子３の電荷蓄積時間ＴＥを制御した状態で、画像データＤ１による画像が複雑な画像であって、画像圧縮部８における処理時間ＴＣが長くなり、その結果、電荷蓄積時間ＴＥに比して処理時間ＴＣが長くなると、その分、画像圧縮部８における処理時間ＴＣを短縮させ、これにより符号化データＤ２におけるコマ落ちを防止する。

またこれとは逆に、画像データＤ１による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、画像圧縮部８における処理時間ＴＣが短くなると、その分、画像圧縮部８における処理時間ＴＣを増大させ、これにより高いフレーム周波数による臨場感の高い画像を記録する。なおこれらの制御において、制御部９は、画像圧縮部８の動作基準であるクロック周波数の切り換えにより処理時間ＴＣを可変するようになされているものの、これに代えて、又はこれに加えて量子化スケールの切り換えにより処理時間ＴＣを可変してもよい。

（２）実施例の動作
以上の構成において、この撮像装置１では、レンズ２により撮像素子３の撮像面に被写体の画像が形成され、この画像の撮像結果が撮像素子３より出力されてアナログディジタル変換回路７により画像データＤ１に変換される。この画像データＤ１は、エッジ強調等の処理が実行された後、画像圧縮部８によりデータ圧縮されて符号化データＤ２に変換され、この符号化データＤ２が記録媒体に記録され、さらには外部機器に伝送される。これにより撮像装置１では、撮像結果をデータ圧縮して記録し、また伝送するようになされている。

これら一連の処理において、画像データＤ１は、この画像圧縮部８におけるデータ圧縮に要する処理時間ＴＣが計測され、この処理時間ＴＣと撮像素子３における電荷蓄積時間ＴＥとの比較により各部における処理速度が可変される。すなわち画像データＤ１による画像が複雑な場合等にあって、電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが長くなる場合には、この処理時間ＴＣにより符号化データＤ２においてコマ落ちが発生しないように、各部における処理速度が可変制御される。またこれとは逆に、画像データＤ１による画像が殆ど動きの無い画像、いわゆる平坦な画像等であって、電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが短くなると、この場合も各部における処理速度が可変制御され、これにより臨場感の高い画像により記録される。

この実施例においては、ユーザーがデータ圧縮処理の優先モードを選択している場合、この処理速度の制御対象が撮像素子３の電荷蓄積時間に設定され、電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが長くなる場合には、この処理時間ＴＣにより符号化データＤ２においてコマ落ちが発生しないように、撮像素子３における電荷蓄積時間ＴＥが長くなるように制御され、これにより画像データＤ１のフレーム周波数が低減される。また電荷蓄積時間ＴＥに比して画像圧縮部８における処理時間ＴＣが短くなると、撮像素子３の電荷蓄積時間ＴＥが短くなるように制御され、これによりフレーム周波数が増大される。

これによりこの実施例においては、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送できるようになされている。

これに対してユーザーがフレームレートの優先モードを選択している場合、この処理速度の制御対象が画像圧縮部８に設定され、コマ落ちしないように、また可能な限り高画質によりデータ圧縮するように、画像圧縮部８における処理速度ＴＣが切り換えられる。これによりこの場合も、高いフレーム周波数により撮像結果を取得して記録、伝送する場合に、確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送できるようになされている。

（３）実施例の効果
以上の構成によれば、データ圧縮に要する処理時間に応じて、撮像素子における電荷蓄積時間を可変することにより、又はデータ圧縮の処理時間を可変することにより、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送することができる。

すなわち処理時間が、電荷蓄積時間より長くなると、電荷蓄積時間が長くなるように、撮像手段である撮像素子の動作を制御することにより、コマ落ちを防止して確実に撮像結果を処理することができる。

また処理時間が、電荷蓄積時間より長くなると、処理時間が短くなるように、データ圧縮手段である画像圧縮部の処理速度を制御することによっても、コマ落ちを防止して確実に撮像結果を処理することができる。

またこのデータ圧縮手段の処理時間の可変が、データ圧縮手段のクロックの切り換えによる処理時間の可変であることにより、消費電力を無駄に増大させることなく、確実に撮像結果を処理することができる。

図２は、図１との対比により本発明の実施例２に係る撮像装置を示すブロック図である。この撮像装置１１においては、画像圧縮部８の入力側にメモリ部１２が設けられ、また画像圧縮部８、制御部９に代えて、画像圧縮部１３、制御部１４が設けられている点を除いて、実施例１の撮像装置１と同一に構成される。なおこの図２においては、これにより実施例１に係る撮像装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この撮像装置１１において、メモリ部１２は、複数フレーム分の画像データＤ１を蓄積できるように形成され、制御部１４の制御により順次入力される画像データＤ１を蓄積し、また蓄積した画像データを画像圧縮部１３に出力する。

画像圧縮部１３は、撮像装置１の画像圧縮部８と同様にして制御部１４の制御により順次入力される画像データＤ１をデータ圧縮し、その処理結果による符号化データＤ２を記録系、伝送系に出力する。この処理において、画像圧縮部１３は、アナログディジタル変換回路７から出力される画像データＤ１を直接入力して、又はメモリ部１２を介して入力して、この画像データＤ１をデータ圧縮するように形成され、これにより撮像装置１１は、メモリ部１２をバッファメモリとして使用して、データ圧縮に係る処理時間ＴＣの変動による影響をこのメモリ部１２により緩和して画像データＤ１を処理するようになされている。

制御部１４は、制御部９と同様にして、この撮像装置１１全体の動作を制御する。この処理において制御部１４は、画像圧縮部８で検出される処理時間ＴＣに応じて、画像圧縮部１３の処理対象を、アナログディジタル変換回路７から直接入力される画像データＤ１と、メモリ部１２を介して入力される画像データＤ１とで切り換え、これによりデータ圧縮に係る処理時間ＴＣが変動した場合でも、コマ落ちすることなく高画質により画像データＤ１をデータ圧縮する。

すなわち図３（Ａ）に示すように、連続するピクチャーＴ１、Ｔ２、Ｔ３、……による画像データＤ１が入力されている場合にあって、ピクチャーＴ３のデータ圧縮処理に３フレーム分の処理時間ＴＣを要した場合、このままでは符号（Ｂ）に示すように、続く２つのピクチャーＴ４、Ｔ５については、データ圧縮処理する時間が無くなり、これにより符号化データＤ２にあってはコマ落ちすることになる。

制御部１４は、これにより図３（Ｃ）及び（Ｄ）に示すように、ピクチャーＴ３までの間、アナログディジタル変換回路７から直接入力される画像データＤ１をデータ圧縮するように画像圧縮部８の動作を制御した後、続くピクチャーＴ４以降においては、メモリ部１２に一時保持した画像データＤ１をデータ圧縮するように、画像圧縮部８の動作を制御する。すなわちこの場合、制御部１４は、この続くピクチャーＴ４以降を一時記録するようにメモリ部１２の動作を制御し、またこのメモリ部１２に一時記録した画像データＤ１を処理するように画像圧縮部１３の動作を制御する。

またこのようにしてメモリ部１２に一時保持した画像データＤ１をデータ圧縮するように画像圧縮部８の動作を制御し、画像圧縮部１３における処理時間が短くなって、画像圧縮部１３における処理が撮像素子３からの画像データＤ１の直接の出力に追いつくと、メモリ部１２に一時保持した画像データＤ１に代えて、アナログディジタル変換回路７から直接入力される画像データＤ１をデータ圧縮するように画像圧縮部８の動作を制御する。すなわちこの場合、制御部１４は、メモリ部１２における画像データＤ１の記録を所定のピクチャーで中止し、アナログディジタル変換回路７から直接入力される画像データＤ１を処理するように画像圧縮部８の動作を制御する。

制御部１４は、これによりメモリ部１２を用いて、画像圧縮部１３における処理時間ＴＣの変動によるコマ落ちを防止して高画質により画像データＤ１を処理する。またこのように処理して、メモリ部１２を用いた処理によってはコマ落ちを防止できなくなると、実施例１について上述したと同様にして撮像素子３の電荷蓄積時間ＴＥの増大により、又は画像圧縮部８における処理時間ＴＣの低減によりコマ落ちを防止する。またこれとは逆に、画像圧縮部８の処理に撮像素子３からの画像データ出力が間に合わなくなると、実施例１について上述したと同様にして撮像素子３の電荷蓄積時間ＴＥの低減により、又は画像圧縮部８における処理時間の増大により可能な限り高画質により画像データＤ１を処理する。

以上の構成によれば、データ圧縮手段における処理時間に応じて、撮像手段の電荷蓄積時間、データ圧縮手段の処理時間を可変する構成において、データ圧縮手段の処理時間に応じて、撮像手段から出力される撮像結果を一時記憶してデータ圧縮手段でデータ圧縮することにより、処理時間の変動をデータ圧縮手段により緩和して、高いフレーム周期により撮像結果を取得して記録、伝送する場合にあっても、一段と確実に撮像結果をデータ圧縮して所望の記録媒体に記録し、また伝送することができる。

この実施例においては、撮像素子から出力される画像データのサンプリング数の制御により、データ圧縮手段の処理速度を可変し、これによりコマ落ちを防止して高画質により画像データを記録する。この実施例においては、このサンプリング数の制御に係る構成が異なる点を除いて、図１又は図２について上述した撮像装置１又は１１と同一に構成されることにより、この実施例においては、この図１又は図２を用いて構成を説明する。

この実施例において、駆動部６は、制御部９又は１４の制御により、撮像素子３に出力するタイミング信号を切り換え、これにより図４（Ａ）との対比により図４（Ｂ）に示すように、撮像結果を出力可能な撮像素子３の有効画素領域ＡＲに対して、この有効画素領域ＡＲから一部領域ＡＲＡを切り出し、この切り出した一部領域ＡＲＡの撮像結果だけを選択的に撮像素子３から出力できるようになされている。

制御部９又は１４は、上述した画像圧縮部８又は１３の直接の制御による処理時間ＴＣの可変に代えて、この一部領域ＡＲＡの大きさの可変により、撮像結果のサンプリング数を可変して画像圧縮部８又は１３における処理時間ＴＣを可変し、これによりコマ落ちを防止し、また可能な限り高画質により撮像結果をデータ圧縮する。

すなわち制御部９又は１４は、画像圧縮部８の処理時間ＴＣが電荷蓄積時間ＴＥに比して長くなると、一部領域ＡＲＡの大きさを小さくし、これにより撮像結果のサンプリング数の低減により画像圧縮部８における処理時間ＴＣを短くする。またこれとは逆に画像圧縮部８の処理時間ＴＣが電荷蓄積時間ＴＥに比して短くなると、一部領域ＡＲＡの大きさを大きくし、これにより撮像結果のサンプリング数の増大により画像圧縮部８における処理時間ＴＣを長くする。またこのようにサンプリング数の制御により処理時間ＴＣを可変して、この一部領域ＡＲＡの大きさがユーザーにより指示された範囲を逸脱する場合には、サンプリング数の制御に代えて、実施例１又は実施例２について上述した手法により、コマ落ちを防止する。なおこのような撮像結果の選択的な出力に係る一部領域ＡＲＡはこの撮像装置における手振れ補正の処理に係る領域であり、これによりこの実施例においては、手振れ補正に係る構成を有効に利用して全体構成を簡略化するようになされている。

この実施例のように、撮像結果のサンプリング数の可変により画像圧縮部８における処理時間を可変するようにしても、実施例１又は実施例２と同様の効果を得ることができる。

この実施例においては、撮像素子から出力される画像データのサンプリング数の制御に代えて、画像圧縮部に入力される画像データのサンプリング数の制御によりコマ落ちを防止して高画質により画像データを記録する。この実施例においては、このサンプリング数の制御に係る構成が異なる点を除いて、実施例３について上述した撮像装置と同一に構成されることにより、この実施例においては、この実施例３において流用した図１又は図２を用いて構成を説明する。

この実施例に係る撮像装置１又は１１においては、アナログディジタル変換回路７の出力段にフレームメモリが設けられ、アナログディジタル変換回路７から出力される画像データをこのフレームメモリに一時記録する。またこのフレームメモリに係る読み出しアドレスの制御により、フレームメモリに記録した画像データによる画像から一部領域ＡＲＡを切り出し、この切り出した一部領域ＡＲＡに係る画像データＤ１を選択的にフレームメモリから読み出してデータ圧縮処理する。なお、この図２について上述した撮像装置１１にあっては、このフレームメモリをメモリ部１２により構成してもよい。

この実施例のように、撮像素子から出力される画像データのサンプリング数の制御に代えて、データ圧縮手段の入力段で画像データのサンプリング数を制御するようにしても、実施例３と同一の効果を得ることができる。

図５は、本発明の実施例５に係る撮像装置に適用される集積回路の一部を示す断面図である。この実施例においては、この集積回路により実施例１〜実施例４に係る撮像装置を構成する。

ここでこの集積回路５１は、撮像素子３と周辺回路とを一体化して形成され、実施例１に係る撮像装置１においては、この一体化に係る周辺回路に駆動部６、アナログディジタル変換回路７、画像圧縮部８が適用されるようになされている。また実施例２に係る撮像装置１１においては、この一体化に係る周辺回路に、さらにメモリ部１２が適用され、実施例３、４に係る撮像装置においては、同様の対応する構成が周辺回路に適用されるようになされている。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。

集積回路５１は、画素部をマトリックス状に配置して撮像素子部が形成され、この撮像素子部により撮像素子３が形成される。またこの撮像素子部の周囲に周辺回路部が形成され、この周辺回路部に上述した駆動部６等が適宜配置される。これにより図５は、この撮像素子部と周辺回路部との一部を示す断面図である。

集積回路５１は、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成され、画素部においては、この素子層５２に、画素単位の光電変換処理に係るフォトダイオード５３が形成され、周辺回路部においては、この素子層５２の下層側に、周辺回路を構成するＭＯＳＦＥＴ等の各回路素子が形成される。

集積回路５１は、この素子層５２の上層に、順次、シリコン酸化（ＳｉＯ ₂ ）膜５４、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタ５７、マイクロレンズ５８が積層される。またこの素子層５２の下層に、フォトダイオード５３、周辺回路の回路素子を配線する配線層５９が形成され、この配線層５９の下層側に、全体を保持する基板支持材６０が設けられる。これにより集積回路５１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段に向上するようになされている。なおこのように配線層を受光面側に設ける不具合にあっては、配線層を形成する配線による各画素への入射光量の減少、隣接画素へのクロストーク等がある。

なお集積回路５１は、このように受光面とは逆側に配線層５９が形成されることにより、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオード５３、周辺回路の回路素子を形成した後、この半導体基板に配線層５９、基板支持材６０を順次形成し、その後、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜５５、シリコン窒化膜（ＳｉＮ）５６、色フィルタ５７、マイクロレンズ５８を順次形成して作成されるようになされている。

この実施例に係る撮像装置は、このように受光面とは逆側に配線層５９を形成して、配線の自由度が格段的に向上する点を有効に利用して、撮像結果を高速読み出しする。ここでこのような高速読み出しにあっては、撮像結果である多数の画素による光電変換結果を複数系統により同時並列的に出力することにより実行する。これにより各系統の出力に係るデータレートをｒと置き、この系統数をＮと置くと、撮像素子全体のデータレートは、Ｒ= Ｎ× rにより表され、撮像結果を高速で出力することができる。

なお同様の撮像素子であるＣＣＤ（Charge Coupled Device ）固体撮像素子においては、ウエハプロセスの関係により、この同時並列に出力する系統数Ｎが最大で８程度であるのに対し、この実施例に係る集積回路５１による撮像素子においては、系統数Ｎを数１００以上に設定することができ、これにより従来に比して格段的に高速度で撮像結果を出力することができる。

なお図６は、このようなＣＣＤ固体撮像素子からの撮像結果の出力を示す模式図であり、図６（Ａ）は、１系統により出力する場合であり、この場合、各画素に保持された蓄積電荷を垂直転送レジスタに転送し、この垂直転送レジスタに転送した蓄積電荷を水平転送レジスタに順次転送しながら水平転送レジスタにより順次転送して出力する。これに対して図６（Ｂ）は、８系統により撮像結果を出力する場合であり、８個の水平転送レジスタを設け、垂直転送レジスタに転送した蓄積電荷をこれら８個の水平転送レジスタにより順次出力する場合である。

これに対して図７は、ＣＭＯＳ固体撮像素子からの撮像結果の出力を示す模式図である。図７（Ａ）は、コラム線単位で順次各画素による撮像結果を出力する方式であり、この場合、コラム線の数の分だけ同時並列的に撮像結果を出力することになる。この実施例においては、この図７（Ａ）に示す方式によりコラム線単位で撮像結果を出力するようにして、コラム線の数に対応する複数のアナログディジタル変換回路により各コラム線出力をそれぞれアナログディジタル変換処理し、複数系統の画像データを生成する。またこの画像データを実施例１〜４に上述したようにデータ圧縮処理して、またこのデータ圧縮処理に要する処理時間に応じて撮像素子の電荷蓄積時間、画像圧縮部の処理時間を制御する。

しかしてこの実施例においては、このように複数系統により撮像結果を出力することにより、高いフレーム周波数による撮像結果を確実に取得できるようにして、この高いフレーム周波数による撮像結果を確実にデータ圧縮することができるようになされている。

なお実用上十分な転送速度を確保できる場合、このようなコラム線の数による同時並列的な撮像結果の出力に代えて、例えば図７（Ｂ）に示すように、複数のコラム線で撮像結果を多重化して出力するようにしてもよい。なおこの図７（Ｂ）の例は、２本のコラム線で撮像結果を多重化して出力するものであり、この場合、コラム線の数の１／２の系統数により同時並列的に撮像結果を出力することになる。

実施例５の構成によれば、撮像手段、撮像手段の駆動回路、データ圧縮手段を一体に集積回路化することにより、全体構成を小型化、簡略化することができる。

またこのとき受光面とは逆側に配線層を形成し、この配線層により撮像手段と周辺回路とを接続することにより、高い自由度により配線層の配線を形成することができ、これにより高いフレーム周波数による撮像結果を確実に処理することができる。

図８は、本発明の実施例６に係る撮像装置に適用される集積回路の一部を示す斜視図である。この実施例においては、この集積回路により実施例１〜実施例４に係る撮像装置を構成する。なおこの集積回路６１において、実施例５について上述した集積回路５１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

ここでこの集積回路６１は、撮像素子３と周辺回路とを一体化して形成され、この周辺回路が実施例５に係る周辺回路と同一に、実施例１に係る撮像装置１においては、この一体化に係る周辺回路に駆動部６、アナログディジタル変換回路７、画像圧縮部８が適用され、また実施例２に係る撮像装置１１においては、この一体化に係る周辺回路に、さらにメモリ部１２が適用され、実施例３、４に係る撮像装置においては、同様の対応する構成が周辺回路に適用されるようになされている。これによりこの実施例に係る撮像装置においては、全体構成を簡略化するようになされている。

この集積回路６１は、周辺回路部に撮像素子部を積層して形成され、周辺回路部は、所定の半導体プロセスにより、半導体基板６２上に周辺回路を構成する半導体素子を形成した後、これら半導体素子の上層に配線層６３を形成してこれら半導体素子を接続することにより形成されるようになされている。周辺回路部は、この配線層６３の表層に撮像素子部との接続用の電極等が形成される。

撮像素子部は、実施例４について上述したと同様に、画素部をマトリックス状に配置して形成され、１０〜２０〔μｍ〕程度の厚さのシリコン（Ｓｉ）層により素子層５２が形成される。撮像素子部は、この素子層５２に、画素単位の光電変換処理に係るフォトダイオードが形成される。

撮像素子部は、この素子層５２の上層に、順次、シリコン酸化膜、遮光膜、シリコン窒化膜、色フィルタ５７、マイクロレンズ５８が積層されて撮像面が形成されるのに対し、素子層５２の下層に、配線層５９が形成される。撮像素子部は、この配線層５９の下層側に周辺回路部が設けられ、周辺回路部の配線層６３と配線層５９とが接続されて撮像素子と周辺回路とが一体に集積回路化されるようになされている。

これにより集積回路６１は、受光面とは逆側に配線層５９が設けられるようになされ、配線層５９を受光面側に設ける場合の種々の不具合を一挙に解決して配線の自由度を格段的に向上するようになされている。またこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化できるようになされ、その分、撮像素子部と周辺回路部とをそれぞれに適したウエハプロセスにより作成して、全体として各種の性能を向上できるようになされている。

具体的に、周辺回路を形成してなる周辺回路部においては、各半導体素子、配線パターン幅を小さくして高密度に形成することにより、チップサイズを小型化して消費電力を削減することができる。しかしながら撮像素子部においては、画素サイズを小さくすると、その分、感度が低下し、また画素数に応じてチップ面積も大きくなる。これによりこの実施例のように撮像素子部と周辺回路部とを異なるウエハプロセスにより作成して一体化する場合にあっては、撮像素子部、周辺回路部の各々に適したウエハプロセスにより作成することができ、その分、全体としての性能を向上することができる。

なおこのように受光面とは逆側に形成された配線層５９を介して周辺回路を形成してなる周辺回路部と一体化されることにより、この集積回路６１は、実施例５について上述したと同様にして、厚さの薄い半導体基板を配線層５９側より処理してフォトダイオードを形成した後、この半導体基板に配線層５９を形成し、別工程により作成された周辺回路部が積層される。その後、集積回路６１は、この半導体基板を裏返してＣＭＰにより研磨して素子層５２が完成し、遮光膜、色フィルタ５７、マイクロレンズ５８等を順次形成して作成されるようになされている。

このような異なるウエハプロセスによる半導体基板の積層による集積回路６１において、撮像素子３は、図９（Ａ）に示すように、各画素出力がそれぞれ周辺回路に出力されてアナログディジタル変換処理により画像データＤ１に変換されるようになされている。これによりこの実施例においては、画素を単位として同時並列的に撮像結果を出力して高速度に撮像結果を出力するようになされている。

なおこのような同時並列的な撮像結果の出力においては、必要に応じて、図９（Ｂ）に示すように、コラム線を単位にして実行するようにしてもよく、また図９（Ｃ）に示すように、ラインを単位にして実行するようにしてもよく、さらには図９（Ｄ）に示すように、水平方向及び垂直方向、複数画素によるブロックを単位にして実行するようにしてもよい。なおこれらのコラム線、ライン、ブロックを単位にした撮像結果の同時並列的な出力においては、これら各単位毎に、アナログディジタル変換回路を設けて画像データを生成するようになされている。

周辺回路においては、このようにして高速度で撮像結果を入力するようにして、これら同時並列的に得られる画像データＤ１を並び代えてデータ圧縮処理する。周辺回路においては、このデータ圧縮処理に係る画像圧縮部８、１３が、図８に示すように、３系統の処理回路Ｃ１〜Ｃ３により形成され、これら３系統の処理回路Ｃ１〜Ｃ３に画像データを振り分けて、これら３系統の同時並列的な処理により高速度でデータ圧縮する。

またこの同時並列的な処理に係る処理回路Ｃ１〜Ｃ３の選択的な駆動により、またこの選択的な駆動に対応するように画像データＤ１の振り分けを切り換えることにより、データ圧縮に要する処理時間ＴＣを可変する。

この実施例においては、撮像素子部の配線層の下層に周辺回路を形成することにより、一段と高い自由度により撮像素子と周辺回路とを一体に集積回路化することができ、これにより、高いフレーム周波数により撮像結果を取得して記録、伝送する場合にあっても、確実に撮像結果をデータ圧縮することができる。

すなわちこの場合、撮像素子部と周辺回路部とを異なるウエハプロセスにより作成することにより、それぞれに適したウエハプロセスにより作成して、全体の性能を向上することができる。

また複数系統の同時並列的な処理により画像データをデータ圧縮するようにして、この同時並列的な処理に係る系統数の切り換えにより、データ圧縮の処理時間を可変するようにしても、上述の実施例と同様の効果を得ることができる。

この実施例においては、実施例６について上述した構成において、このデータ圧縮処理に対応する順序により、各画素の撮像結果を各系統より出力する。

すなわち例えばデータ圧縮処理が所定ライン数のタップ入力を有する２次元フィルタの処理に係るラインベースウエーブレット変換処理の場合、この実施例では、このラインベースウエーブレット変換処理に対応して、図９（Ｃ）に示すライン単位の出力をさらに複数ラインでまとめ、これによりライン単位による複数系統により同時並列的に撮像結果を出力する。しかしてこの複数ラインが２ラインの場合、図７（Ｂ）に示す接続により各画素の撮像結果を出力することになる。またこのライン単位の撮像結果を処理して画像データを生成した後、この画像データをデータ圧縮するようにして、このデータ圧縮処理の順序に対応する順序により各ラインの撮像結果を出力する。これによりこのラインベースウエーブレット変換処理による場合、各ラインにおいては、ラスタ走査の順序に対応する水平方向への順序により各画素の撮像結果を順次出力する。

これに対してこのラインベースウエーブレット変換処理に係るラインを撮像素子のコラム線方向に設定してなるデータ圧縮処理においては、図９（Ｂ）に示すコラム線を単位の出力を複数のコラム線でまとめて撮像結果を出力するようにして、撮像結果の上方向から下方向への順序で順次撮像結果を出力する。

これに対して例えばＭＰＥＧ等の処理であるマクロブロックを単位とした動き補償及び直交変換処理に係るデータ圧縮処理にあっては、例えば図９（Ｄ）に示すように、垂直方向及び水平方向、所定の複数画素によるブロックを単位にして撮像結果を出力するようにして、このブロックをマクロブロックの大きさに設定し、各ブロックにおいては、このマクロブロックに係るデータ圧縮処理の順序により撮像結果を出力する。

これらによりこの実施例においては、配線層の下層に周辺回路を形成する構成を有効に利用して、高速度に撮像結果をデータ圧縮処理して、高いフレーム周波数による撮像結果を確実に処理できるようになされている。

またこれに対して画像圧縮部８、１３は、水平方向及び垂直方向にそれぞれ複数の画素によるブロックを、順次、各処理系統Ｃ１〜Ｃ３に割り当てて、同時並列的にデータ圧縮の処理を実行する。これにより画像圧縮部は、マクロブロックを単位にしたデータ圧縮の処理において、図８との対比により図１０に示すように、順次ラスタ走査の順序により順次循環的に各マクロブロックを処理回路Ｃ１〜Ｃ３に割り当てて、データ圧縮処理する。

これに対してラインベースウエーブレット変換処理に係るデータ圧縮処理にあって、図７（Ｂ）、図９（Ｃ）について上述したライン単位による処理においては、撮像結果に係る画像を垂直方向に等分割して処理回路Ｃ１〜Ｃ３に割り当て、データ圧縮の処理を実行する。またラインベースウエーブレット変換処理に係るデータ圧縮処理にあって、図９（Ｂ）に示すコラム線単位による処理においては、撮像結果に係る画像を水平方向に等分割して処理回路Ｃ１〜Ｃ３に割り当て、データ圧縮の処理を実行する。

これらによりこの実施例においては、データ圧縮処理における並列処理の系統数を切り換えてデータ圧縮の処理速度を可変する場合、この系統数の切り換えに対応するように各系統への割り当てを切り換えるようになされている。

この実施例によれば、撮像結果を複数系統により同時並列的に出力するようにして、コラム線を単位にしてデータ圧縮手段の処理の順序に対応する順序による撮像結果を出力することにより、又はラインを単位にしたデータ圧縮手段の処理の順序に対応する順序により撮像結果を出力することにより、さらには水平方向及び垂直方向にそれぞれ複数の画素によるブロックを単位にしたデータ圧縮手段の処理の順序に対応する順序により撮像結果を出力することにより、配線層の下層に周辺回路を形成する構成を有効に利用して、高速度に撮像結果をデータ圧縮処理して、高いフレーム周波数による撮像結果を確実に処理することができる。

なお上述の実施例においては、データ圧縮処理に係る処理速度を種々の手法により可変する場合について述べたが、本発明はこれに限らず、上述の実施例に係る種々の手法の組み合わせによりデータ圧縮処理に係る処理速度を可変するようにしてもよい。

また上述の実施例２においては、データ圧縮手段における処理時間に応じて、撮像手段の電荷蓄積時間、データ圧縮手段の処理時間を可変する構成において、データ圧縮手段の処理時間に応じて、撮像手段から出力される撮像結果を一時記憶してデータ圧縮手段でデータ圧縮する場合について述べたが、本発明はこれに限らず、実用上十分に、高フレーム周波数により撮像結果をデータ圧縮処理できる場合には、撮像手段の電荷蓄積時間、データ圧縮手段の処理時間を可変する構成を省略するようにしてもよい。

また上述の実施例においては、駆動回路、アナログディジタル変換回路、画像圧縮部による周辺回路、これらにメモリ部を加えた周辺回路を撮像素子部を一体に集積回路化する場合について述べたが、本発明はこれに限らず、これらに加えて制御部の全部又は一部を一体に集積回路化するようにしてもよい。

また上述の実施例においては、電荷蓄積時間と処理時間との比較により各部を制御する場合について述べたが、本発明はこれに限らず、フレーム周期と処理時間との比較により各部を制御するようにしてもよい。

また上述の実施例においては、撮像手段にＣＭＯＳ固体撮像素子を適用して電荷蓄積時間の制御により撮像結果のフレーム周期を可変する場合について述べたが、本発明はこれに限らず、電荷蓄積時間を一定に保持してフレーム周期を可変するようにしてもよく、またＣＭＯＳ固体撮像素子に代えて、ＣＣＤ固体撮像素子を適用する場合にも広く適用することができる。

本発明は、撮像装置、撮像素子及び撮像装置の制御方法に関し、例えば動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。

本発明の実施例１に係る撮像装置を示すブロック図である。 本発明の実施例２に係る撮像装置を示すブロック図である。 図２の撮像装置の動作の説明に供するタイムチャートである。 本発明の実施例３に係る撮像装置の説明に供する略線図である。 本発明の実施例４に係る撮像装置に適用される集積回路を示す断面図である。 ＣＣＤ固体撮像素子による複数系統による出力の説明を示す摸式図である。 ＣＭＯＳ固体撮像素子による複数系統による出力の説明を示す摸式図である。 本発明の実施例６に係る撮像装置に適用される集積回路を示す斜視図である。 図８の撮像装置における撮像結果の出力の説明に供する摸式図である。 データ圧縮手段の各系統の処理の説明に供する平面図である。

符号の説明

１、１１……撮像装置、３……撮像素子、６……駆動部、７……アナログディジタル変換回路、８、１３……画像圧縮部、９、１４……制御部、１２……メモリ部

Claims (19)

1. 駆動回路による駆動により撮像結果を出力する撮像手段と、
   前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段と、
   前記データ圧縮手段のデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段と
   を備える、撮像装置。
2. 前記制御手段は、
   前記処理時間が、前記電荷蓄積時間又はフレーム周期より長くなると、前記電荷蓄積時間又はフレーム周期が長くなるように、前記撮像手段を制御する
   請求項１に記載の撮像装置。
3. 前記制御手段は、
   さらに、前記データ圧縮手段のデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記データ圧縮手段の処理時間を可変し、
   前記処理時間が、前記電荷蓄積時間又はフレーム周期より長くなると、前記処理時間が短くなるように、前記データ圧縮手段を制御する
   請求項１に記載の撮像装置。
4. 前記撮像手段から出力される撮像結果を一時記憶して前記データ圧縮手段に出力する記憶手段を有し、
   前記制御手段は、
   前記処理時間に応じて、撮像手段から出力される撮像結果を前記記憶手段に、一時記憶して前記データ圧縮手段でデータ圧縮するように、前記記憶手段、前記データ圧縮手段の動作を制御する
   請求項１に記載の撮像装置。
5. 前記データ圧縮手段の処理時間の可変が、
   前記データ圧縮手段のクロックの切り換えによる前記処理時間の可変である
   請求項３に記載の撮像装置。
6. 前記撮像手段は、
   有効撮像領域の一部領域の撮像結果を選択的に出力し、
   前記データ圧縮手段の処理時間の可変が、
   前記一部領域の大きさの可変による前記データ圧縮手段で処理するサンプリング数の可変による前記処理時間の可変である
   請求項３に記載の撮像装置。
7. 前記データ圧縮手段は、
   記憶手段を介して、前記撮像手段より出力される撮像結果による画像の一部領域の撮像結果を選択的に取得して処理し、
   前記データ圧縮手段の処理時間の可変が、
   前記一部領域の大きさの可変による前記データ圧縮手段で処理するサンプリング数の可変による前記処理時間の可変である
   請求項３に記載の撮像装置。
8. 前記撮像手段は、
   少なくとも前記駆動回路、前記データ圧縮手段による周辺回路と一体に集積回路化して形成された
   請求項１に記載の撮像装置。
9. 前記撮像手段は、
   マトリックス状に光電変換部を配置した部位の、受光面とは逆側の面に形成された配線層により、前記周辺回路と接続された
   請求項８に記載の撮像装置。
10. 前記周辺回路が、
    前記配線層の下層に形成された
    請求項９に記載の撮像装置。
11. 前記撮像手段の撮像結果を、複数系統により同時並列的に出力する
    請求項１０に記載の撮像装置。
12. 前記複数系統による同時並列的な撮像結果の出力が、
    コラム線を単位にした前記データ圧縮手段の処理の順序に対応する順序による各画素の撮像結果の出力である
    請求項１１に記載の撮像装置。
13. 前記複数系統による同時並列的な撮像結果の出力が、
    ラインを単位にした前記データ圧縮手段の処理の順序に対応する順序による各画素の撮像結果の出力である
    請求項１１に記載の撮像装置。
14. 前記複数系統による同時並列的な撮像結果の出力が、
    前記撮像結果による画像に対して設定された、水平方向及び垂直方向にそれぞれ複数の画素によるブロックを単位にした、前記データ圧縮手段の処理の順序に対応する順序による各画素の撮像結果の出力である
    請求項１１に記載の撮像装置。
15. 前記データ圧縮手段は、
    複数系統の並列処理により前記撮像結果をデータ圧縮処理し、
    前記データ圧縮手段の処理時間の可変が、
    前記データ圧縮手段の処理に係る系統数の切り換えによる前記処理時間の可変である
    請求項３に記載の撮像装置。
16. 前記データ圧縮手段は、
    前記撮像結果による画像に対して設定された、水平方向及び垂直方向にそれぞれ複数の画素によるブロックを前記各系統に順次割り当ててデータ圧縮の処理を実行する
    請求項１５に記載の撮像装置。
17. 前記マトリックス状に各画素の光電変換部を配置した部位と、前記周辺回路とが異なるウエハ生成プロセスにより形成された
    請求項１０に記載の撮像装置。
18. 駆動回路による駆動により撮像結果を出力する撮像手段と、
    前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを一体化してなる撮像素子であって、
    前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する制御手段の全部又は一部を有する
    撮像素子。
19. 駆動回路による駆動により撮像結果を出力する撮像手段と、
    前記撮像手段から出力される撮像結果をデータ圧縮して出力するデータ圧縮手段とを備える撮像装置の制御方法において、
    前記データ圧縮手段においてデータ圧縮処理に要した処理時間と、前記撮像手段の電荷蓄積時間又はフレーム周期とに基づいて、前記撮像手段の電荷蓄積時間又はフレーム周期を可変する
    撮像装置の制御方法。
    

Images