JP3985275B2

JP3985275B2 - Imaging apparatus and imaging method

Info

Publication number: JP3985275B2
Application number: JP08203596A
Authority: JP
Inventors: 正則山口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-03-11
Filing date: 1996-03-11
Publication date: 2007-10-03
Anticipated expiration: 2016-03-11
Also published as: JPH09247543A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばディジタル記録の電子スチルカメラに使用して好適な撮像装置および撮像方法に関する。
【０００２】
【従来の技術】
最近、ディジタル電子スチルカメラが普及しつつある。電子スチルカメラに使用して好適な固体撮像素子例えばＣＣＤ撮像素子として、正方格子、全画素読出しのものが提案されている。正方格子は、隣接する画素の縦方向の間隔と横方向の間隔とを等しくするもので、撮像信号をパソコン用モニタに合わせるために採用される。従来のビデオカメラ等に使用されるＣＣＤ撮像素子は、インターレース方式の出力信号を発生するために、図２１に示すように、１／６０秒（１フィールド）蓄積して、２画素を読出し、垂直転送用のＣＣＤにおいて読出した２画素を混合し、また、混合する画素の上下方向の位置を奇数フィールドおよび偶数フィールドでずらすことによって、インターレース走査を実現していた。
【０００３】
かかるＣＣＤ撮像素子は、１／６０秒の蓄積時間のために、１／３０秒の蓄積時間のフレーム蓄積方式と比較して、動画像の撮像を良好に行うことができるが、垂直解像度が低い不利がある。従って、電子スチルカメラの撮像素子として適していない。そこで、図２２に示すように、１／３０秒間蓄積し、全画素を読出す全画素読出し方式が提案されている。この方式によれば、垂直解像度の低下を防止することができるが、撮像素子から撮像信号を出力するためには、画素数が同じ場合に、上述したビデオカメラ用の撮像素子の２倍の時間を必要とする。より具体的には、１／３０秒周期の撮像信号が発生する。
【０００４】
【発明が解決しようとする課題】
ディジタル電子スチルカメラの場合、撮影時にピントを合わせたり、撮影時のカメラアングルを調整するために、撮像画像を表示するモニタ例えば液晶モニタを設けることが多い。液晶モニタは、１／６０秒のノンインターレース走査で、テレビジョン画像を表示するのが普通である。従って、図２３に示すように、１／３０秒周期の撮像信号をそのまま液晶モニタに供給すると、表示画像の歪が発生する問題がある。これを避けるためには、図２４に示すように、液晶モニタ６２に対してＶＲＡＭ（ビデオＲＡＭ）６１（あるいはフレームメモリ）によりフレームレートを変換する必要がある。ＶＲＡＭ６１に対しては、１／３０秒周期の撮像信号が供給され、その出力に１／６０秒周期のノンインターレース信号が発生する。
【０００５】
このように、全画素読出しの撮像素子は、垂直解像度が高いという点で、電子スチルカメラの撮像素子として好適な反面、通常のテレビジョンモニタに撮像画像を表示するのにＶＲＡＭあるいはフレームメモリが必要となり、コストが上昇する問題があった。さらに、電子スチルカメラが自動焦点制御装置、自動アイリス制御装置、自動ホワイトバランス制御装置等の自動制御装置を備えているので、撮像素子の出力信号の周期が長いことは、これらの自動制御の応答を遅くする問題が生じた。さらに、モニタに表示される画像の動きが滑らかでない問題もあった。
【０００６】
上述した問題の解決する一つの方法は、撮像素子の出力信号のデータレートを高くすることである。しかしながら、そのためのサンプリングレート変換器を設ける必要があり、また、クロック周波数が高くなるのに伴って、消費電力の増大、使用部品のコストの上昇、Ｓ／Ｎの劣化等の問題が生じる。従って、撮像信号のデータレートを上げる方法は、好ましくない。
【０００７】
従って、この発明の目的は、液晶モニタに表示する時にはフィールド毎の撮像出力を従来のフィールド蓄積時と同等の垂直解像度でもって出力し、記録時には表示時の２倍以上の高い垂直解像度で撮像出力し、それによってＶＲＡＭを不要とした撮像装置および撮像方法を提供することにある。
【０００９】
【課題を解決するための手段】
この発明は、マトリクス状に配置され、垂直方向の色シーケンスがＮ画素周期で繰り返される色フィルタを配した、光が入射される複数のフォトセンサと、複数のフォトセンサから読み出された電荷を垂直転送する垂直転送部とを有し、複数のフォトセンサは、ｍ（ｍは自然数）個の垂直方向に連なるフォトセンサからなる第１のフォトセンサ群と、Ｎのａ倍（ａは自然数）個の垂直方向に連なるフォトセンサからなる第２のフォトセンサ群とが垂直方向に交互に配置されており、フォトセンサから読み出された電荷に基づく画像信号を垂直転送部を介して出力する固体撮像素子と、第１の駆動信号に基づいて第１のフォトセンサ群に蓄積された電荷を垂直転送部へ読み出させる第１の信号供給部と、第１の信号供給部と独立して設けられ、第２の駆動信号に基づいて第２のフォトセンサ群に蓄積された電荷を垂直転送部へ読み出させる第２の信号供給部とからなる信号供給手段と、画像信号を表示する表示手段と、画像信号を記録媒体に記録する記録手段と、記録媒体に対して画像信号を出力する場合に、第１および第２の駆動信号に基づいて、第１および第２のフォトセンサ群に蓄積された電荷を垂直転送部に読み出すことにより、固体撮像素子を第１の画素数の読み出しを行う第１の撮像モードで動作させ、表示手段に対して画像信号を出力する場合に、第１の駆動信号に基づいて、第１のフォトセンサ群に蓄積された電荷のみを垂直転送部に読み出すことにより、固体撮像素子を第１の画素数より少ない第２の画素数の読み出しを行う第２の撮像モードで動作させる制御手段とからなることを特徴とする撮像装置である。
また、この発明は、マトリクス状に配置され、垂直方向の色シーケンスがＮ画素周期で繰り返される色フィルタを配した、光が入射される複数のフォトセンサと、複数のフォトセンサから読み出された電荷を垂直転送する垂直転送部とを有し、複数のフォトセンサは、ｍ（ｍは自然数）個の垂直方向に連なるフォトセンサからなる第１のフォトセンサ群と、Ｎのａ倍（ａは自然数）個の垂直方向に連なるフォトセンサからなる第２のフォトセンサ群とが垂直方向に交互に配置されており、フォトセンサから読み出された電荷に基づく画像信号を垂直転送部を介して出力する固体撮像素子を備える撮像装置の撮像方法であって、画像信号を記録する記録媒体に対して画像信号を出力する場合に、第１のフォトセンサ群に蓄積された電荷を垂直転送部へ読み出させる第１の駆動信号と、第１の駆動信号とは独立して供給される、第２のフォトセンサ群に蓄積された電荷を垂直転送部へ読み出させる第２の駆動信号とに基づいて、第１および第２のフォトセンサ群に蓄積された電荷を垂直転送部に読み出すことにより、固体撮像素子を第１の画素数の読み出しを行う第１の撮像モードで動作させ、画像信号を表示する表示手段に対して画像信号を出力する場合に、第１の駆動信号に基づいて、第１のフォトセンサ群に蓄積された電荷のみを垂直転送部に読み出すことにより、固体撮像素子を第１の画素数より少ない第２の画素数の読み出しを行う第２の撮像モードで動作させるように、固体撮像素子を制御するようにしたことを特徴とする撮像方法である。
【００１０】
固体撮像素子は、全画素の読出しを行う第１の撮像モードと、ライン間引きの読出しを行う第２の撮像モードとを選択することが可能とされている。従って、表示装置に撮像画像を表示する時には、第２の撮像モードで動作するように制御される。従って、ＶＲＡＭを設けないでも、撮像信号を表示装置によって表示することができる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の一実施例の全体的構成を示す。１０１は、固体撮像素子例えばＣＣＤ撮像素子である。ＣＣＤ撮像素子１０１は、三原色フィルタ、補色フィルタ等を有する単板式のイメージャである。ＣＣＤ撮像素子１０１は、後で詳細に説明するように、全画素を読出すフルフレーム読出しの動作モード（第１の撮像モード）と、ライン数を減少させた信号を出力するライン間引きの動作モード（第２の撮像モード）とが切替え可能とされている。撮像素子１０１には、レンズ系１００を介して被写体光が入射される。
【００１２】
撮像素子１０１の出力信号がサンプルホールド，ＡＧＣ回路１０２に供給される。フルフレーム読出しモードでは、１枚の画像読出しの時間が１／３０秒であり、ライン間引きモードでは、これが１／６０秒である。サンプルホールドは、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。ＡＧＣは、被写体の明るさに応じてゲインを制御するもので、また、自動絞り調整のためにもゲインが制御される。サンプルホールド，ＡＧＣ回路１０２の出力信号がＡ／Ｄ変換器１０３に供給される。Ａ／Ｄ変換器１０３からは、１サンプルが１０ビットのディジタル撮像信号が発生する。
【００１３】
ディジタル化された撮像信号がＩＣ回路の構成のカメラ信号処理回路１０４に供給される。この信号処理回路１０４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路、コンポーネント信号（Ｙ：輝度信号、Ｃｒ、Ｃｂ：色差信号が４：１：１の比のサンプリング周波数でサンプリングされたディジタルビデオ信号）のマルチプレクサ、同期信号発生回路、タイミング生成器、マイクロコンピュータとのインターフェース等が含まれる。信号処理回路１０４のより具体的な構成については後述する。マルチプレクサによって、コンポーネント信号が多重化データへ変換される。
【００１４】
１０５は、信号処理を制御するマイクロコンピュータであって、マイクロコンピュータ１０５からのコントロール信号がレンズ系１００、電子ボリューム１０６、カメラ信号処理回路１０４、タイミングコントローラ１０７に供給される。タイミングコントローラ１０７は、タイミング生成器１０８およびＣＣＤ駆動回路１０９から構成される。電子ボリューム１０６は、サンプルホールド，ＡＧＣ回路１０２のゲインコントロール信号を発生する。
【００１５】
タイミングコントローラ１０７に対しては、クロックＭＣＫの３倍の周波数のクロック３ＭＣＫが供給される。また、１０７からカメラ信号処理回路１０４に対してＭＣＫ、３／２ＭＣＫが送り出される。一例として、撮像素子１０１の水平画素数が７８０とされ、ＭＣＫ＝７８０ｆh （ｆh:撮像素子１０１の水平走査周波数）＝１２．３ＭHzとされている。また、カメラ信号処理回路１０４において発生した水平同期信号Ｈおよび垂直同期信号Ｖがタイミングコントローラ１０７に供給される。タイミングコントローラ１０７のＣＣＤ駆動回路１０９で発生した駆動パルスが撮像素子１０１に供給される。駆動パルスは、垂直駆動パルス、水平駆動パルス、読出しパルス等を含む。
【００１６】
図２は、カメラ信号処理回路１０４の一例を示す。ここでは、自動絞り制御回路を含む場合の構成を示す。簡単のため、欠陥補償回路、自動焦点制御回路、自動ホワイトバランス補正回路についての図示を省略する。Ａ／Ｄ変換器１０３からの１０ビット幅のディジタル撮像信号がディジタルクランプ回路１１１を介して演算回路１１２に供給される。撮像素子が三原色フィルタを有する場合、演算回路１１２によって、三原色信号の加算または減算がなされ、輝度信号成分および色差信号成分が生成される。
【００１７】
輝度信号成分が輝度信号処理回路１１３および輪郭補正回路１１４に供給され、色差信号成分が色信号処理回路１１６に供給される。輝度信号処理回路１１３には、γ補正回路等が含まれる。輪郭補正回路１１４により生成された輪郭補正信号が輝度信号処理回路１１３の出力信号に対して加算回路１１５により加算される。加算回路１１５から輝度信号Ｙが得られる。色信号処理回路１１６には、γ補正回路、ＨＵＥ、ゲイン調整回路等が含まれる。色信号処理回路１１６から色差信号Ｃｒ、Ｃｂが発生する。Ｙ、Ｃｒ、Ｃｂからなるコンポーネント信号がマルチプレクサ１１７に供給される。マルチプレクサ１１７によって、後述のようにこれらの信号が合成され、その出力には、多重化コンポーネント信号が発生する。
【００１８】
タイミング、同期信号発生回路１１８が設けられており、３ＭＣＫのクロックから水平同期信号Ｈ、垂直同期信号Ｖ、クロック、タイミング信号がこの回路１１８から発生する。１１９がマイクロコンピューター１０５とカメラ信号処理回路１０４との間のインターフェースのためのシリアルＩ／Ｏであり、１２０が検出、累積回路である。演算回路１１２で形成された輝度信号成分が検出、累算回路１２０に供給される。絞り制御の場合、撮像画面が複数の領域に分割され、領域ごとに撮像信号が累算される。そして、各領域の累算データが検出、累算回路１２０からシリアルＩ／Ｏ１１９に対して出力される。
【００１９】
シリアルＩ／Ｏ１１９を通じて累算データをマイクロコンピュータ１０５が受け取り、累算データに対する重み付け演算、重み付けされた各領域のデータの総和を求める演算、絞り制御信号の生成等をマイクロコンピュータ１０５が行う。生成された絞り制御信号によって、レンズ系１００の絞り制御リングの駆動モータが駆動され、タイミングコントローラ１０７および電子ボリューム１０６が制御される。タイミングコントローラ１０７によって電子シャッタ（露光時間）が制御され、電子ボリューム１０６によってゲインが制御される。また、シリアルＩ／Ｏ１１９を通じてマイクロコンピュータ１０５から検出、累算回路１２０にコントロール信号が供給され、領域の分割のパターン等が制御される。
【００２０】
（４１１）方式のコンポーネント信号を多重化するためのマルチプレクサ１１７についてより詳細に説明する。図３に示すように、マルチプレクサ１１７は、クロックＭＣＫに同期した８ビット幅の輝度信号Ｙ、色差信号Ｃが入力され、３／２ＭＣＫ（クロックＭＣＫの３／２倍の周波数のクロック）に同期した８ビット幅の多重化コンポーネント信号を発生する。図４は、マルチプレクサ１１７の一例の構成を示す。マルチプレクサ１１７は、輝度信号Ｙおよび色信号Ｃの一方を選択する入力セレクタ１２１と、入力セレクタ１２１が直列入力として供給されるシフトレジスタ１２２と、シフトレジスタ１２２の並列出力がロードされるレジスタ１２３と、レジスタ１２３にロードされたデータを順次選択する出力セレクタ１２４と、出力セレクタ１２４に接続されたレジスタ１２５とからなる。各レジスタは、８ビット幅のものである。
【００２１】
図５は、上述のマルチプレクサ１１７の動作を示すタイミングチャートである。３ＭＣＫは、クロックＭＣＫの周波数の３倍のクロックである。輝度データＹおよび色信号Ｃは、クロックＭＣＫと同期している。（４１１）方式のコンポーネント信号であるので、４サンプルの輝度データ（例えばＹ₀、Ｙ₁、Ｙ₂、Ｙ₃）に対して、１サンプルの赤の色差データ（例えばＣｒ₀）と１サンプルの青の色差データ（例えばＣｂ₀）とが対応している。
【００２２】
セレクトパルスのハイレベルで輝度データを選択し、そのローレベルで色データを選択するように、入力セレクタ１２１が制御される。シフトレジスタ１２２は、３／２ＭＣＫがクロックとして供給され、入力セレクタ１２１により選択されたデータを取り込むと共に、直列にシフトする。シフトレジスタ１２２の初段のレジスタの出力Ｑ_０は、図に示すように、Ｙ_−１、Ｙ_０、Ｃｒ_０、Ｙ_１、Ｙ_２、Ｃｂ_０、Ｙ_３、・・・と変化する。
【００２３】
レジスタ１２３に対して、１／４ＭＣＫのクロックのタイミングでもって、シフトレジスタ１２２の出力が並列にロードされる。１／４ＭＣＫのクロックの周期は、３／２ＭＣＫの周期の６倍である。また、１／４ＭＣＫのクロックの位相は、互いに関連する輝度データおよび色差データの合計６サンプルがシフトレジスタ１２２からレジスタ１２３に転送されるように選定される。
【００２４】
出力セレクタ１２４は、クロック（３／２ＭＣＫ）と同期してレジスタ１２３からＹ _０、Ｙ _１、Ｙ _２、Ｙ _{３、} Ｃｒ、Ｃｂの順になるように順次選択し、選択
されたサンプルをレジスタ１２５が取り込む。従って、レジスタ１２５からは、Ｙ _０、Ｙ _１、Ｙ _２、Ｙ _{３、} Ｃｒ、Ｃｂの順になるように、多重化されたコンポ
ーネント信号が発生する。
【００２５】
上述したマルチプレクサ１１７は、データのサンプリングクロック周波数をＭＣＫから１．５倍の周波数の３／２ＭＣＫに変更することによって、８ビット幅の多重化コンポーネント信号へ変換する。マルチプレクサ１１７を設けない場合では、カメラ信号処理回路１０４から（８×２＝１６ビット）幅のデータ（輝度信号Ｙおよび色信号Ｃ）が出力される。その場合では、二つのデータバス間のクロストークが発生したり、基板配線面積が増加することによってクロストークが増加したり、メモリのデータの幅が増加することによってメモリのサイズが大きくなったり、メモリの消費電力が増大する等の種々の問題が生じる。上述したマルチプレクサ１１７を信号処理回路１０４の出力側に設けることによって、これらの問題の発生を防止することができる。
【００２６】
図１に戻って、この発明の一実施例についてさらに説明する。カメラ信号処理回路１０４からの上述したように多重化されたコンポーネント信号がデータスイッチャ１３０に供給される。データスイッチャ１３０は、カメラ信号処理回路１０４の出力と接続された出力点ａと、コンポーネント信号を三原色信号へ変換する変換回路１３４と接続された入力点ｂと、記録再生データバス１４０と接続された入出力点ｃとを有する。データスイッチャ１３０の状態は、ユーザのキー操作等に基づいて発生したモード切り換え信号１３１、１３２、１３３によって制御される。図１中のマイクロコンピュータ１０５は、主としてカメラ部の制御のために設けられており、図示しないが、記録／再生動作の制御、装置全体の制御のために、それぞれマイクロコンピュータが設けられ、これらのマイクロコンピュータ間での通信がなされる。
【００２７】
変換回路１３４により発生した三原色信号Ｒ、Ｇ、Ｂがテレビジョン表示装置例えば液晶ディスプレイ１３５に供給され、液晶ディスプレイ１３５により撮像画像が表示される。液晶ディスプレイ１３５は、１／６０秒周期のノンインターレース方式でもってカラー画像を表示する。記録再生データバス１４０に対して、ランダムアクセス可能なメモリ例えばＤＲＡＭ(dynamic random access memory)１４１およびデータ圧縮用のエンコーダ／デコーダ例えばＪＰＥＧ(Joint Photographic Experts Group)のエンコーダ／デコーダ１４２が接続される。ＪＰＥＧ以外の方式の高能率符号化を使用しても良い。エンコーダ／デコーダ１４２に対して記録媒体例えばフラシュメモリ１４３およびインターフェース１４４が接続される。ＤＲＡＭ１４１は、メモリコントローラ１４５から供給されるアドレス信号、制御信号によってその動作が制御される。
【００２８】
エンコーダ／デコーダ１４２は、ＪＰＥＧ、すなわち、適応ＤＣＴ（Discrete Cosine Transform)の符号化によって約１／１０にデータ量を圧縮する。ＪＰＥＧにおけるブロック化等の処理のために、ＤＲＡＭ１４１が設けられている。フラシュメモリ１４３は、電源を切っても記憶内容が保持され、メモリ全体あるいは分割した領域毎に電気的に一括して消去、再書込みが可能な半導体メモリである。記録媒体としては、フラシュメモリ以外の半導体メモリ等の媒体を使用しても良い。さらに、圧縮されたスチル画像データを必要に応じてパ−ソナルコンピュータに供給するためにインターフェースを設けても良い。この発明の一実施例において、記録とは、撮像信号を符号化してフラシュメモリ１４３に書込むことであり、再生とは、フラシュメモリ１４３内のデータを読出し、読出しデータを復号することである。
【００２９】
上述したこの発明の一実施例について、より詳細に説明する。この一実施例では、データスイッチャ１３０の接続状態によって５種類の動作が可能とされている。これは、モニタリングモード、第１の記録モード、第２の記録モード、第１の再生モード、第２の再生モードとからなる。これらのモードは、モード切り換え信号１３１、１３２、１３３によって設定される。モード切り換え信号１３１、１３２、１３３は、図示しない記録再生系制御用のマイクロコンピュータから発生する。マイクロコンピュータ１０５によって、モード切り換え信号を発生しても良い。モニタリングモードでは、撮像画面を液晶ディスプレイ１３５に表示する。第１の記録モードでは、所望の撮像画像をＤＲＡＭ１４１に書込む。第２の記録モードでは、ＤＲＡＭ１４１に記憶された画像データを圧縮してフラッシュメモリ１４３に書込む。第１の再生モードでは、フラッシュメモリ１４３に記憶されたデータを読出し、読出しデータを復号してＤＲＡＭ１４１に書込む。第２の再生モードでは、ＤＲＡＭ１４１のデータを読出して液晶ディスプレイ１３５に表示する。
【００３０】
図６は、データスイッチャ１３０の出力点ａと入力点ｂとが接続されるモニタリングモードの接続を示す。モニタリングモードは、モード切り換え信号１３１がアクティブとなることによって設定される。モニタリングモードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をライン間引きモードで動作させる。撮像素子１０１からは、読出しがされないラインが生じ、１／６０秒周期で撮像信号が読出される。
【００３１】
モニタリングモードでは、信号処理回路１０４の出力信号がデータスイッチャ１３０を介して変換回路１３４に供給され、変換回路１３４から出力される三原色信号が液晶ディスプレイ１３５に供給され、表示される。撮像素子１０１がライン間引きモードで動作するので、液晶ディスプレイ１３５が１／６０秒周期のノンインターレスの表示を行うことができる。液晶ディスプレイ１３５の表示を見て、画角の調整等を行い、記録したいスチル画像を決定することができる。ライン間引きモードのために、垂直解像度が記録時と比べると劣化するが、撮影画像をモニタする目的にとっては問題とならず、これはまたフィールド蓄積を行うＣＣＤ撮像カメラと同等である。ライン間引きモードでは、高速読出しのために動きに対する追従性が良くなる。従って、自動焦点調整、自動絞り調整等の自動制御の応答が良くなり、動画をモニタするのが容易となる。
【００３２】
なお、モニタリングモードにおいて、破線で示すデータバスに接続されるＤＲＡＭ１４１、エンコーダ／デコーダ１４２、フラッシュメモリ１４３が不動作とされる。消費電力の節約のために、これらの動作しない回路に対する電源供給がオフとされるか、あるいは動作に必要なクロックの供給を停止することが好ましい。以下に説明する他のモードにおいても、動作しない回路に対するバスが破線で示され、また、動作しない回路に対する電源供給がオフされることは、同様である。
【００３３】
図７は、スチル画像を記録する場合のモード、すなわち、データスイッチャ１３０の出力点ａと入出力点ｃとが接続される第１の記録モードの接続を示す。第１の記録モードは、モード切り換え信号１３２がアクティブとなることによって設定される。第１の記録モードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をフルフレーム読出しモードで動作させる。撮像素子１０１からは、全画素例えば３２万画素が読出され、１／３０秒周期で撮像信号が読出される。
【００３４】
撮像信号がカメラ信号処理回路１０４において処理され、データスイッチャ１３０の出力点ａおよび入出力点ｃ、並びに記録再生データバス１４０を通じてＤＲＡＭ１４１に書込まれる。メモリコントローラ１４５は、ＤＲＡＭ１４１を書込み状態にし、書込みアドレスをＤＲＡＭ１４１に対して供給する。メモリコントローラ１４５は、図示しない記録／再生系制御用のマイクロコンピュータによって制御される。１枚分のスチル画像データがＤＲＡＭ１４１に書込まれる。１／３０秒の画像データの書込みがなされる、第１の記録モードでは、液晶ディスプレイ１３５に画像を表示することができない。画像が表示されない時間を最小限とするために、書込みが終了すると、次の第２の記録モードに移行する。
【００３５】
ＤＲＡＭ１４１に対する１枚分の画像データの書込みが終了すると、データスイッチャ１３０が図８に示すように、出力点ａおよび入力点ｂが接続される第２の記録モードとなる。第２の記録モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、ＤＲＡＭ１４１から画像データが読出される。読出されたデータがバス１４０を介してエンコーダ／デコーダ１４２に供給される。エンコーダ／デコーダ１４２は、ＤＲＡＭ１４１から読出したデータを例えばＪＰＥＧにより圧縮する。また、圧縮されたデータがフラッシュメモリ１４３に書込まれる。このようにして、撮像画像が圧縮されて記録される。
【００３６】
また、第２の記録モードでは、撮像素子１０１がライン間引きモードで動作するようになされ、モニタリングモードと同様に、高速で撮像素子１０１から読出された信号がカメラ信号処理回路１０４で処理され、画像信号がデータスイッチャ１３０および変換回路１３４を介して液晶ディスプレイ１３５に供給され、画像が表示される。それによって、記録時に画像の表示が消える時間を最小限とすることができる。
【００３７】
フラッシュメモリ１４３に書込まれた画像データを再生して液晶ディスプレイ１３５により表示するのが再生モードである。図９は、データスイッチャ１３０の出力点ａおよび入力点ｂが接続され、撮像信号が液晶ディスプレイ１３５に表示される第１の再生モードの状態を示す。第１の再生モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、フラッシュメモリ１４３からデータが読出され、読出しデータがエンコーダ／デコーダ１４２に供給される。
【００３８】
エンコーダ／デコーダ１４２によりデータが復号され、画像データが発生する。この画像データを書込むように、ＤＲＡＭ１４１が制御される。この場合、第１の記録モードと同一のデータ配列でもって、復号データがＤＲＡＭ１４１に書込まれるように、メモリコントローラ１４５がＤＲＡＭ１４１の書込みアドレスを制御する。読出し時のアドレス制御によって、同様のデータ配列を実現しても良い。この関係は、ＤＲＡＭ１４１から読出されたデジタル画像信号を変換回路１３４を介して液晶ディスプレイ１３５に供給し、液晶ディスプレイ１３５により表示する場合に、モニタリングモードで使用されるものと同一の構成を使用するためために必要である。第１の再生モードは、ライン間引きモードで撮像素子１０１が駆動され、撮像素子１０１の撮像画像が液晶ディスプレイ１３５に表示されている。
【００３９】
ＤＲＡＭ１４１に対して復号データが書込まれると、図１０に示す第２の再生モードとなる。第２の再生モードでは、データスイッチャ１３０の入出力点ｃと入力点ｂとが接続される。第２の再生モードは、モード切り換え信号１３３がアクティブとなることによって設定される。ＤＲＡＭ１４１が読出し状態とされる。そして、記録再生データバス１４０、データスイッチャ１３０、変換回路１３４を介してＤＲＡＭ１４１の読出しデータが液晶ディスプレイ１３５に供給される。従って、フラッシュメモリ１４３に記録されているデータと対応する画像を液晶ディスプレイ１３５により見ることが可能となる。この場合、フラッシュメモリ１４３に記録されているデータは、ライン間引きデータではなく、フルフレームのデータである。従って、メモリコントローラ１４５によるアドレス制御によって、撮像素子１０１がライン間引きモードで駆動される場合と同様のライン間引きを実現する。それによって、ＤＲＡＭ１４１の読出しデータを液晶ディスプレイ１３５により再生することができる。
【００４０】
このようにしてフラッシュメモリ１４３に記憶されているスチル画像データを液晶ディスプレイ１３５により再生して見ることができる。フラッシュメモリ１４３の記憶容量、データ圧縮の方法等によって、記録できるスチル画像の枚数が決定される。フラッシュメモリ１４３は、ＩＣカードの構成とされるのが好ましい。勿論、フラッシュメモリ以外の記録媒体を使用しても良い。さらに、必要に応じて設けられたインターフェースを介して外部のパソコンに記録データを送信したり、外部記憶装置に記録データを記憶するようにしても良い。
【００４１】
上述した固体撮像素子１０１の一例について以下に説明する。図１１は、固体撮像素子例えばＣＣＤ撮像素子１の一例の概略を示す。この例では、インターライン方式を採用し、イメージエリアに２次元配列されたフォトセンサ（例えばフォトダイオード）２と、フォトセンサ２の間に設けられ、フォトセンサ２からの信号電荷を水平ＣＣＤ（水平転送部）４へ転送するための垂直ＣＣＤ（垂直転送部）３と、水平ＣＣＤ４に接続されたバッファアンプ５とを有する。フォトセンサ２には、後述するような配列の色フィルタを通った撮像光が入射する。一つのフォトセンサ２と垂直ＣＣＤ３中の１ビットとが対応するように構成され、フォトセンサ２からの信号電荷を混合することなく垂直ＣＣＤ３に読出し、全画素の信号を順次、水平ＣＣＤ４に転送することが可能とされている。そして、水平ＣＣＤ４を駆動することによって、信号をフローティングディフュージョンエリアに転送し、順次電圧に変換してバッファアンプ５を通して出力する。
【００４２】
撮像素子１の単位画素の平面図を図１２に示し、垂直ＣＣＤ３の構造を図１３に示す。垂直ＣＣＤ３は、例えば３層電極３相駆動の構成とされている。図１２において、６は、垂直ＣＣＤ３の転送チャンネル、７は、画素間、並びに画素および転送チャンネル間を分離するためのチャンネルストッパ、８、９および１０は、それぞれ垂直ＣＣＤ３の転送ゲートである。転送ゲート９は、読出しゲートを兼用している。なお、図１２では、遮光膜等についての図示が省略されている。転送ゲート８、９、１０は、図１３に示すように、第１、第２および第３の多結晶シリコン電極を加工して形成される。これらの転送ゲート８、９、１０に対して、垂直駆動パルスφＶ₁、φＶ₂、φＶ₃がそれぞれ印加される。
【００４３】
フォトセンサ２から垂直ＣＣＤ３へ信号を読出す場合、フォトセンサ２に隣接した転送ゲート、すなわち、読出しゲートを兼ねる転送ゲート９に対して、垂直転送クロックφＶ₂のハイレベルより高いバイアス電圧（読出しパルスと称する）を印加する。ゲート９に読出しパルスを供給すると、１つの画素が垂直ＣＣＤ３の１ビットに対応しているので、全てのフォトセンサ２から信号電荷が垂直ＣＣＤ３に読出される。水平ＣＣＤ５は、転送クロックφＨ₁、φＨ₂によって、１ライン分のデータを出力する。なお、水平ＣＣＤ５としては、例えば複合チャンネル水平ＣＣＤ構造を採用することができる。その場合、出力部が２チャンネルの構成とされる。
【００４４】
上述したＣＣＤ撮像素子は、全画素の信号を順次出力することができるので、電子スチルカメラ、画像取込みに適している。しかしながら、インターレース出力を行う同じ画素数のビデオカメラ用撮像素子と比較して、１画面（画面の上端から下端まで）の出力時間が倍となる。この例では、上述したように、モニタ用の信号、自動焦点制御等の自動制御のための撮像信号として、水平ライン数を減少させることによって、１画面の撮像信号を高速に出力するものであり、且つ、このライン間引きの場合に、カラーフィルタの配列で規定される垂直方向の色シーケンスが崩れることがないようにするものである。一方、撮影した画像をフラッシュメモリに取り込む場合では、フルフレームの撮像信号（ライン数の間引きがされてない撮像信号）を出力する。ライン間引きの場合でも、色シーケンスがフルフレームの場合と同一のため、信号処理回路が複雑となる問題を回避できる。
【００４５】
上述した全画素読出し可能な撮像素子において、ライン数を間引くためには、フォトセンサ２からの信号電荷の読出しに寄与している転送ゲート（第２の多結晶シリコン）９に対する配線を二つに分けることによって可能である。色シーケンスの繰り返し周期をＮで表す。図１４は、（Ｎ＝２）の場合の一例である。
【００４６】
単板式のＣＣＤ撮像素子の色フィルタの配列としては、Ｒ（赤色を通すフィルタ）、Ｇ（緑色を通すフィルタ）、Ｂ（青色を通すフィルタ）を図１５Ａに示すように配列したもの（ベイヤ方式）が知られている。全体の半分の画素に感度の高いＧのフィルタを配置する。また、図１５Ｂに示す補色市松配置の色フィルタも知られている。図１５Ｂにおいて、Ｙｅ、Ｃｙ、Ｍｇは、それぞれ黄色、シアン、マゼンタのフィルタである。図１５Ｂに示す補色フィルタは、原色フィルタに比して解像度を高めることができるので、ビデオカメラに採用されることが多い。一方、図１５Ａに示す原色フィルタは、色の再現性の点で優れ、電子スチルカメラに採用されることが多い。
【００４７】
この発明における撮像素子として、原色フィルタを有する単板式撮像素子、および補色フィルタを有する単板式撮像素子の何れを使用しても良い。さらに、図示しないが、Ｇのフィルタを備えた撮像素子と、ＲおよびＢのフィルタの配列を備えた撮像素子とからなり、二つの撮像素子の位置関係が水平方向、または水平および垂直方向に画素ピッチの１／２だけずらされた方式の撮像素子（いわゆる空間絵素ずらし方式）を使用しても良い。
【００４８】
図１５Ａの配列は、垂直方向の色シーケンスの繰り返し周期Ｎが（Ｎ＝２）であり、図１５Ｂの配列は、（Ｎ＝４）である。図１４は、（Ｎ＝２）であって、垂直方向の１列のフォトセンサ２、垂直ＣＣＤ３および垂直ＣＣＤ３のゲートのバス配線を１列の一部に関して示した模式図である。フォトセンサ２のうちで左上コーナーに斜線部を設けたものが一つの色フィルタ例えばＧのフィルタに対応し、斜線部を設けないものが他の色フィルタ、例えばＢのフィルタと対応している。垂直ＣＣＤ３は、上述したように３層電極３相駆動形式のもので、撮像素子の開口画素に隣接して３ビットのゲートを有する。また、垂直ＣＣＤ３は、繰り返し単位Ａと、繰り返し単位Ｂを含む。繰り返し単位Ａは、ゲート２１、２２、２３からなり、繰り返し単位Ｂは、ゲート３１、３２、３３からなる。ゲート２２および３２が転送兼読出しゲートである。４１、４２、４２´、４３は、垂直転送用の駆動パルスφＶ₁、φＶ₂、φＶ₂´、φＶ₃がそれぞれ供給されるバス配線である。
【００４９】
ゲート２１および３１がバス配線４１に接続され、ゲート２３および３３がバス配線４３に接続される。これらのバス配線４１、４３には、それぞれ駆動パルスφＶ₁、φＶ₃が供給される。駆動パルスφＶ₂に関して、２本のバス４２および４２´が設けられる。繰り返し単位Ａとは、転送兼読出しゲート２２がバス４２と接続されるものを指し、繰り返し単位Ｂは、転送兼読出しゲート３２がバス４２´と接続されるものを指す。なお、図１４では、簡略化のために、バスラインが片側しか描かれていないが、両側にバスラインを配して、両側駆動するのが普通である。
【００５０】
上述の撮像素子では、ライン間引きのために、繰り返し単位Ａがｍ（ｍ＝１，２，３，・・・）並んだＡ×ｍ（ビット）の範囲と、繰り返し単位ＢがＮ×ａ並んだＢ×Ｎ×ａ（ビット）の範囲とが垂直方向に交互に形成される。図１４に示す例は、（Ｎ＝２、ｍ＝３、ａ＝２）の場合である。なお、ｍおよびａの値を任意に選ぶことができるが、ｍおよびａを大きな値としても、（ｍ＋Ｎ×ａ）が有効画素数の垂直画素数より小さいことが必要である。
【００５１】
上述した撮像素子において、第１の動作モード、すなわち、全画素の信号を読出すフルフレームの動作時では、垂直ＣＣＤ３の繰り返し単位ＡおよびＢの両者にフォトセンサ２から信号が読出される。そのためには、バス配線４２および４２´を通じてゲート２２および３２の両者に読出しパルスが印加される。この場合、色フィルタの配列の順序と対応する色シーケンス、例えばＧ、Ｂ、Ｇ、Ｂ、・・・のシーケンスでもって色信号が出力される。
【００５２】
一方、第２の動作モード、すなわち、ライン間引き動作時では、繰り返し単位Ａのゲート２２にのみバス配線４２を介して読出しパルスが印加される。従って、Ａ×ｍ（ビット）の範囲から信号が読出され、Ｂ×Ｎ×ａ（ビット）の範囲からは、信号が読出されない。図１４の例では、（ｍ＝３）ラインから信号が発生し、（Ｎ×ａ＝４）ラインから信号が発生しない。間引かれるライン数がＮの整数倍であるので、ライン間引きの場合の撮像出力の色信号の順序と対応する色シーケンスは、フルフレーム読出しと同一の関係に保たれる。
【００５３】
図１６は、撮像素子を駆動する場合のタイミングを示し、図１６Ａがフルフレームの読出しを行う場合のタイミングを示す。各水平ブランキング期間において、３相の駆動パルスφＶ₁、φＶ₂、φＶ₂´、φＶ₃が垂直ＣＣＤ３の繰り返し単位Ａのゲート２１、２２および２３と、繰り返し単位Ｂのゲート３１、３２および３３にそれぞれ供給される。また、読出しパルスもゲート２２および３２との両者に対して印加される。それによって、全てのフォトセンサから信号電荷が垂直ＣＣＤ３に対して読出される。図１６Ｂの詳細なタイミングチャートに示すように、水平ブランキング期間内で発生する駆動パルスφＶ₁、φＶ₂、φＶ₂´、φＶ₃が３相のものであり、ラインシフト期間によって１ラインシフトがなされる。フルフレームの読出し時には、各水平ブランキング期間内で、１ラインシフトがなされる。
【００５４】
一方、ライン間引きの読出しの場合では、図１６Ｃに示すように、繰り返し単位Ａのゲート２２にのみ読出しパルスが印加される。それによって、繰り返し単位Ａに隣接したフォトセンサのみから信号電荷が読出される。ライン間引きの場合では、間引かれたラインでは、信号電荷が読出されず、無信号となる。この無信号期間は、後述するように、ラインシフト動作を複数回繰り返すことによって除去できる。
【００５５】
図１７Ａは、（ｍ＝１，ａ＝１）の場合の垂直ＣＣＤ３のチャンネル６のポテンシャルの模式図である。図面に向かって右側から左側の水平ＣＣＤ４に向かう方向が垂直転送方向である。チャンネル６には、ライン間引き動作時に、信号電荷Ｑｓを含むパケット５１と空パケット５２とが存在する。各ラインから信号電荷Ｑｓを出力するためには、空パケット５２の分、ラインシフトの回数を増やし、それによって信号電荷と無信号とを水平ＣＣＤ４において混合し、無信号の期間を除去する。各水平ブランキング期間内でなされるラインシフトの回数は、下記の関係を満足するように選定すれば良い。
【００５６】
１（：出力する信号電荷Ｑｓを含むパケットの数）＋Ｘ（前にある信号電荷Ｑｓを含まないパケットの数）以上で、１＋Ｘ＋（Ｎ×ａ）（：後ろにある信号電荷Ｑｓを含まないパケットの数）以下
それによって、（Ｘ＝０）の場合では、信号電荷のみを水平ＣＣＤ４に対して転送し、（Ｘ≠０）の場合では、信号電荷を含むパケットと１以上の信号電荷を含まないパケットとを水平ＣＣＤ４に対して転送する。
【００５７】
上述の条件によって、信号電荷を水平ＣＣＤ４に対して転送し、また、無信号のラインを圧縮することができる。実際には、空パケットの電荷が０ではなく、スミア信号や暗信号等の不要信号電荷Ｑｎが含まれている。各水平ブランキング期間でなされるラインシフトの数が異なると、不要信号電荷Ｑｎの加算される回数が異なるために、不要信号が含まれる量がラインによって異なる。それによって、ラインクロールや、色ずれなどの画質劣化が発生するおそれがある。
【００５８】
この問題を解決するには、各水平ブランキング期間でなされるラインシフトの回数を一定とすれば良い。限定された条件、すなわち、（ｍ＝１、またはｍ＝２）の場合では、垂直ＣＣＤ３のラインシフトの数を（（Ｎ×ａ／ｍ）＋１）とすることによって、各ラインの信号電荷Ｑｓに対して加算される信号電荷Ｑｓを含まないパケットの数を一定とすることができる。これによって、上述した画質劣化の発生を防止することができる。
【００５９】
図１７Ｂは、（Ｎ＝２、ｍ＝１、ａ＝１）の場合の垂直ＣＣＤ３のチャンネル６のポテンシャルの模式図である。この例では、（Ｎ×ａ／ｍ＝２）となり、ラインシフトの回数を３回とすることによって、各ラインにおいて加算される信号電荷Ｑｓを含まないパケットの数を一定とすることができる。また、図１７Ｃは、（Ｎ＝２、ｍ＝２、ａ＝１）の場合を示す。この場合では、（Ｎ×ａ／ｍ＝１）となり、ラインシフトの回数を２回とすれば良い。さらに、ｍ＞２の場合でも、スミア信号や暗信号のレベルを充分に小さくすることができれば、問題は生じない。
【００６０】
上述したＣＣＤ撮像素子は、ライン数を減少することができるので、垂直ＣＣＤ３の繰り返し単位Ａの並ぶ数ｍ、繰り返し単位Ｂの並ぶ数Ｎ×ａの値を選ぶことによって、１フィールドのテレビジョンの水平走査線数以下に出力撮像信号のライン数を抑えることができる。ベイヤ方式の色フィルタ配列のような（Ｎ＝２）の場合を例に出力ライン数のいくつかの例を説明する。
【００６１】
図１８に示すように、有効画素数（：垂直×水平）が（４８０×６４０）のＶＧＡ(Video Graphics Array)対応の撮像素子に対してこの発明を適用した場合では、（ａ＝１、ｍ＝２）とされる。従って、ライン間引きモードでは、出力ライン数を半分の２４０ラインとできる。図１９に示すように、有効画素数が（７６８×１０２４）の撮像素子では、（ｍ＝１、ａ＝１）とすることによって、出力ライン数を２５６ラインとできる。図２０に示すように、有効画素数が（１０２４×１２８０）の撮像素子では、（ｍ＝１、ａ₁＝１、ａ₂＝２）とすることによって、出力ライン数を２５６ラインとできる。ａ₁およびａ₂は、交互に使用される。
【００６２】
図１８、図１９および図２０にそれぞれ示す何れの場合でも、出力ライン数を例えばＮＴＳＣ方式の１フィールドのライン数（２６２．５）より少なくすることができる。従って、色シーケンスおよび画角をフルフレーム読出しモードと同一の関係を保持して、ライン間引きモードの撮像信号をより高速に出力することができる。それによって、ＶＲＡＭ、あるいはフレームメモリを使用することなしに、液晶モニタに撮像画面を表示することができる。なお、画角とは、撮影した時に撮像素子に映る範囲がレンズの光軸を中心に張る角度のことである。
【００６３】
なお、上述した一実施例における撮像素子の具体的構成は、一例であって、この発明は、これ以外の固体撮像素子を使用することができる。例えば垂直ＣＣＤが２層電極４相駆動の構造でも良く、また、インターライン方式以外の方式の撮像素子、さらに、ＣＣＤ以外を使用した固体撮像素子であっても良い。さらに、固体撮像素子を駆動するモードとして、読出しパルスφＶ₂´を印加し、読出しパルスφＶ₂を印加しない第３の動作モードを設定するようにしても良い。
【００６４】
また、この発明は、上述した構造の撮像素子に限定されず、全画素読出しモードと読出し画素数を減少させたモードとを選択することが可能な撮像素子を使用することができる。
【００６５】
【発明の効果】
以上説明したように、この発明によれば、垂直解像度の良好なスチル画像を全画素を読出すフルフレームの撮像モードによって得ることができ、また、液晶ディスプレイ等の表示に使用する場合では、ライン間引きの撮像モードによって、撮像信号を高速に出力することができる。従って、ＶＲＡＭを設けなくても撮像信号をモニタに表示することができる。また、高速で撮像信号を出力できることにより、オートフォーカス等の自動制御装置の応答を速くすることができる。さらに、コマ数が多くなるので、モニタ画像の動きが滑らかになる利点がある。
【００６６】
また、この発明では、記録時に、画像信号をメモリ（ＤＲＡＭ）に書込む期間以外では、撮像信号を表示するので、表示が消える期間を最小限とすることができる。さらに、再生時に、記録媒体からデータを読出している期間、撮像信号を表示装置に供給するので、表示が消える期間を記録時と同様に最小限とすることができる。
【００６７】
さらに、この発明では、カメラ信号処理回路から出力されるコンポーネント信号をクロック周波数をのせかえることによって、多重化することができ、その後段の信号処理のために配されるデータバスのビット幅を小さくすることができる。それによって、クロストーク等の信号劣化を抑えることができ、また、メモリのサイズを小とでき、メモリの消費電力を低減することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】この発明の一実施例中のカメラ信号処理回路の一例のブロック図である。
【図３】カメラ信号処理回路中のマルチプレクサの部分のブロック図である。
【図４】マルチプレクサの一例のブロック図である。
【図５】マルチプレクサの動作を示すタイミングチャートである。
【図６】この発明の一実施例のモニタリングモードの接続関係を示すブロック図である。
【図７】この発明の一実施例の第１の記録モードの接続関係を示すブロック図である。
【図８】この発明の一実施例の第２の記録モードの接続関係を示すブロック図である。
【図９】この発明の一実施例の第１の再生モードの接続関係を示すブロック図である。
【図１０】この発明の一実施例の第２の再生モードの接続関係を示すブロック図である。
【図１１】この発明に使用できる撮像素子の一例の概略的構成を示す略線図である。
【図１２】撮像素子の一例の１画素の部分の拡大平面図である。
【図１３】撮像素子の一例の垂直ＣＣＤの構造を示す略線図である。
【図１４】撮像素子の一例の垂直１列のバス配線を示す略線図である。
【図１５】撮像素子の一例に使用される色フィルタの配列の一例および他の例を示す略線図である。
【図１６】撮像素子の一例を駆動するための駆動パルスのタイミングチャートである。
【図１７】撮像素子の一例における垂直ＣＣＤのポテンシャルを模式的に示す略線図である。
【図１８】撮像素子の具体的な一例を示す略線図である。
【図１９】撮像素子の具体的な他の例を示す略線図である。
【図２０】撮像素子の具体的なさらに他の例を示す略線図である。
【図２１】従来の撮像素子の説明に用いる略線図である。
【図２２】先に提案されている撮像素子の説明に用いる略線図である。
【図２３】撮像素子の出力と液晶モニタの表示との関係を示す略線図である。
【図２４】撮像素子から発生した撮像信号を液晶モニタに供給する場合の構成を示すブロック図である。
【符号の説明】
２・・・フォトセンサ、３・・・垂直ＣＣＤ、４・・・水平ＣＣＤ、６・・・垂直ＣＣＤのチャンネル、１０１・・・撮像素子、１０４・・・カメラ信号処理回路、１０５・・・マイクロコンピュータ、１０７・・・タイミングコントローラ、１３０・・・データスイッチャ、１３５・・・液晶ディスプレイ、１４１・・・ＤＲＡＭ、１４２・・・エンコーダ／デコーダ、１４３・・・フラッシュメモリ[0001]
BACKGROUND OF THE INVENTION
  The present invention is suitable for use in, for example, an electronic still camera for digital recording.Imaging apparatus and imaging methodAbout.
[0002]
[Prior art]
Recently, digital electronic still cameras are becoming popular. As a solid-state image sensor suitable for use in an electronic still camera, for example, a CCD image sensor, a sensor having a square lattice and all-pixel readout has been proposed. The square lattice equalizes the vertical interval and the horizontal interval between adjacent pixels, and is used to match the image pickup signal with a personal computer monitor. In order to generate an interlaced output signal, a CCD image sensor used in a conventional video camera or the like accumulates 1/60 seconds (one field) and reads out two pixels as shown in FIG. Interlaced scanning has been realized by mixing two pixels read out by a transfer CCD and shifting the positions of the pixels to be mixed in the odd and even fields.
[0003]
Such a CCD image sensor has a 1/60 second accumulation time, and therefore can capture a moving image better than a frame accumulation method with a 1/30 second accumulation time, but has a low vertical resolution. There are disadvantages. Therefore, it is not suitable as an image sensor for an electronic still camera. Therefore, as shown in FIG. 22, an all-pixel readout method has been proposed in which all the pixels are read out by accumulating for 1/30 second. According to this method, it is possible to prevent a decrease in vertical resolution. However, in order to output an image pickup signal from the image pickup device, when the number of pixels is the same, the time is twice as long as that of the image pickup device for a video camera described above. Need. More specifically, an imaging signal having a period of 1/30 second is generated.
[0004]
[Problems to be solved by the invention]
In the case of a digital electronic still camera, a monitor for displaying a captured image, for example, a liquid crystal monitor is often provided in order to focus at the time of shooting or to adjust the camera angle at the time of shooting. A liquid crystal monitor normally displays a television image in a 1/60 second non-interlaced scan. Therefore, as shown in FIG. 23, when an imaging signal having a 1/30 second period is supplied to a liquid crystal monitor as it is, there is a problem that distortion of a display image occurs. In order to avoid this, as shown in FIG. 24, it is necessary to convert the frame rate with respect to the liquid crystal monitor 62 by a VRAM (video RAM) 61 (or a frame memory). An imaging signal having a 1/30 second period is supplied to the VRAM 61, and a non-interlace signal having a 1/60 second period is generated at the output thereof.
[0005]
As described above, the image pickup device for reading all pixels is suitable as an image pickup device for an electronic still camera because it has a high vertical resolution. On the other hand, a VRAM or a frame memory is required to display a picked-up image on a normal television monitor. As a result, there was a problem that the cost increased. Furthermore, since the electronic still camera has automatic control devices such as an automatic focus control device, an automatic iris control device, and an automatic white balance control device, the long period of the output signal of the image sensor is a response to these automatic controls. The problem of slowing down occurred. Furthermore, there has been a problem that the motion of the image displayed on the monitor is not smooth.
[0006]
One method for solving the above problem is to increase the data rate of the output signal of the image sensor. However, it is necessary to provide a sampling rate converter for this purpose, and as the clock frequency increases, problems such as an increase in power consumption, an increase in cost of components used, and a deterioration in S / N occur. Therefore, a method for increasing the data rate of the imaging signal is not preferable.
[0007]
  Accordingly, an object of the present invention is to output an imaging output for each field with a vertical resolution equivalent to that at the time of conventional field storage when displaying on a liquid crystal monitor, and to output an imaging output with a vertical resolution that is at least twice as high as when displaying. And it eliminates the need for VRAMImaging apparatus and imaging methodIs to provide.
[0009]
[Means for Solving the Problems]
  This inventionA plurality of photosensors that are arranged in a matrix and have color filters in which a color sequence in the vertical direction is repeated at an N pixel period, and a vertical that vertically transfers charges read from the plurality of photosensors. Transfer section andHaveThe plurality of photosensors includes a first photosensor group composed of m (m is a natural number) photosensors continuous in the vertical direction, and a photosensor composed of a multiple of N (a is a natural number) vertical photosensors. The two photosensor groups are alternately arranged in the vertical direction.Read outchargeImage signal based onThrough the vertical transfer sectionAn output solid-state imaging device;A first signal supply unit that reads out the electric charge accumulated in the first photosensor group based on the first drive signal to the vertical transfer unit, and the second signal supply unit are provided independently of the first signal supply unit. ofDrive signalBased on the second photo sensor groupAccumulated chargeAnd a second signal supply unit for reading out the signal to the vertical transfer unitSignal supply means, display means for displaying an image signal, recording means for recording the image signal on a recording medium, and outputting the image signal to the recording mediumFurther, based on the first and second drive signals, the charge accumulated in the first and second photosensor groups is read to the vertical transfer unit, whereby the solid-state imaging device reads the first number of pixels.Operates in the first imaging modeLetWhen outputting image signals to the display meansFurther, based on the first drive signal, only the charge accumulated in the first photosensor group is read out to the vertical transfer unit, so that the solid-state imaging device reads out the second number of pixels smaller than the first number of pixels. I doOperates in second imaging modeMakeIt is an imaging device characterized by comprising control means.
  In addition, this inventionA plurality of photosensors that are arranged in a matrix and have color filters in which a color sequence in the vertical direction is repeated at an N pixel period, and a vertical that vertically transfers charges read from the plurality of photosensors. The plurality of photosensors includes a first photosensor group consisting of m (m is a natural number) photosensors arranged in the vertical direction, and a times N (a is a natural number) vertical directions. The second photosensor group consisting of photosensors connected to each other is alternately arranged in the vertical direction.Read outchargeImage signal based onThrough the vertical transfer sectionAn imaging method for an imaging apparatus including a solid-state imaging device for output,,When outputting image signals to a recording medium that records image signalsIn addition, the first driving signal for reading out the electric charge accumulated in the first photosensor group to the vertical transfer unit and the first driving signal supplied independently of each other are accumulated in the second photosensor group. Based on the second drive signal that causes the vertical transfer unit to read out the generated charge, the first and second photosensor groups are read out to the vertical transfer unit, thereby causing the solid-state imaging device to Read out the number of pixelsOperates in the first imaging modeLetWhen outputting image signals to display means for displaying image signalsFurther, based on the first drive signal, only the charge accumulated in the first photosensor group is read out to the vertical transfer unit, so that the solid-state imaging device reads out the second number of pixels smaller than the first number of pixels. I doOperates in second imaging modeLetAs described above, the imaging method is characterized in that the solid-state imaging device is controlled.
[0010]
The solid-state imaging device can select a first imaging mode in which all pixels are read and a second imaging mode in which line thinning is read. Therefore, when displaying a captured image on the display device, control is performed so as to operate in the second imaging mode. Therefore, the imaging signal can be displayed by the display device without providing the VRAM.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of an embodiment of the present invention. Reference numeral 101 denotes a solid-state image sensor, for example, a CCD image sensor. The CCD image sensor 101 is a single-plate imager having three primary color filters, a complementary color filter, and the like. As will be described in detail later, the CCD image pickup device 101 has a full frame read operation mode (first image pickup mode) for reading all pixels and a line thinning operation mode for outputting a signal with a reduced number of lines. (Second imaging mode) can be switched. Subject light is incident on the image sensor 101 via the lens system 100.
[0012]
An output signal of the image sensor 101 is supplied to the sample hold / AGC circuit 102. In the full frame reading mode, the time for reading one image is 1/30 seconds, and in the line thinning mode, this is 1/60 seconds. The sample-and-hold is configured as a correlated double sampling circuit, and noise removal, waveform shaping, and defective pixel compensation are performed. The AGC controls the gain according to the brightness of the subject, and the gain is also controlled for automatic aperture adjustment. The output signal of the sample hold / AGC circuit 102 is supplied to the A / D converter 103. The A / D converter 103 generates a digital imaging signal in which one sample is 10 bits.
[0013]
The digitized imaging signal is supplied to the camera signal processing circuit 104 having an IC circuit configuration. The signal processing circuit 104 includes a digital clamp circuit, a luminance signal processing circuit, a color signal processing circuit, a contour correction circuit, a defect compensation circuit, an automatic iris control circuit, an automatic focus control circuit, an automatic white balance correction circuit, and a component signal (Y: A luminance signal, Cr, Cb: a digital video signal in which color difference signals are sampled at a sampling frequency of a ratio of 4: 1: 1), a synchronization signal generation circuit, a timing generator, an interface with a microcomputer, and the like. A more specific configuration of the signal processing circuit 104 will be described later. The component signal is converted into multiplexed data by the multiplexer.
[0014]
A microcomputer 105 controls signal processing. A control signal from the microcomputer 105 is supplied to the lens system 100, the electronic volume 106, the camera signal processing circuit 104, and the timing controller 107. The timing controller 107 includes a timing generator 108 and a CCD driving circuit 109. The electronic volume 106 generates a gain control signal for the sample hold and AGC circuit 102.
[0015]
A clock 3MCK having a frequency three times that of the clock MCK is supplied to the timing controller 107.Further, MCK and 3 / 2MCK are sent from the camera 107 to the camera signal processing circuit 104.As an example, the number of horizontal pixels of the image sensor 101 is 780, and MCK = 780 fh (fh: horizontal scanning frequency of the image sensor 101) = 12.3 MHz. Further, the horizontal synchronization signal H and the vertical synchronization signal V generated in the camera signal processing circuit 104 are supplied to the timing controller 107. A drive pulse generated by the CCD drive circuit 109 of the timing controller 107 is supplied to the image sensor 101. The drive pulse includes a vertical drive pulse, a horizontal drive pulse, a read pulse, and the like.
[0016]
FIG. 2 shows an example of the camera signal processing circuit 104. Here, a configuration in the case of including an automatic aperture control circuit is shown. For simplicity, the defect compensation circuit, automatic focus control circuit, and automatic white balance correction circuit are not shown. A 10-bit width digital imaging signal from the A / D converter 103 is supplied to the arithmetic circuit 112 via the digital clamp circuit 111. When the image sensor has a three primary color filter, the arithmetic circuit 112 adds or subtracts the three primary color signals to generate a luminance signal component and a color difference signal component.
[0017]
The luminance signal component is supplied to the luminance signal processing circuit 113 and the contour correction circuit 114, and the color difference signal component is supplied to the color signal processing circuit 116. The luminance signal processing circuit 113 includes a γ correction circuit and the like. The contour correction signal generated by the contour correction circuit 114 is added to the output signal of the luminance signal processing circuit 113 by the addition circuit 115. A luminance signal Y is obtained from the adder circuit 115. Color signal processing circuit116Includes a gamma correction circuit,HUE, gain adjustment circuit, etc.Is included. Color signal processing circuit116Color difference signals Cr and Cb are generated. A component signal composed of Y, Cr, and Cb is supplied to the multiplexer 117. The multiplexer 117 combines these signals as described later, and a multiplexed component signal is generated at the output.
[0018]
A timing / synchronization signal generation circuit 118 is provided, and a horizontal synchronization signal H, a vertical synchronization signal V, a clock, and a timing signal are generated from this circuit 118 from a 3MCK clock. 119 is a microcomputer105For the interface between the camera and the camera signal processing circuit 104I / O120 is a detection and accumulation circuit. The luminance signal component formed by the arithmetic circuit 112 is detected and supplied to the accumulation circuit 120. In the case of aperture control, the imaging screen is divided into a plurality of areas, and the imaging signals are accumulated for each area. Then, the accumulated data of each area is detected and serialized from the accumulation circuit 120.I / O119 is output.
[0019]
CerealI / O119 Accumulated data through microcomputer105The microcomputer performs the weighting operation on the accumulated data, the operation for obtaining the sum of the weighted data in each area, the generation of the aperture control signal, etc.105Do. The drive motor for the aperture control ring of the lens system 100 is driven by the generated aperture control signal, and the timing controller 107 and the electronic volume are controlled.106Is controlled. The electronic controller (exposure time) is controlled by the timing controller 107, and the electronic volume106The gain is controlled by. In addition, the microcomputer through the serial I / O 119105The control signal is supplied to the detection / accumulation circuit 120 to control the area division pattern and the like.
[0020]
The multiplexer 117 for multiplexing component signals of the (411) method will be described in more detail. As shown in FIG. 3, the multiplexer 117 receives an 8-bit width luminance signal Y and a color difference signal C synchronized with the clock MCK and is synchronized with 3 / 2MCK (a clock having a frequency 3/2 times that of the clock MCK). An 8-bit wide multiplexed component signal is generated. FIG. 4 shows an exemplary configuration of the multiplexer 117. The multiplexer 117 includes an input selector 121 that selects one of the luminance signal Y and the color signal C, a shift register 122 to which the input selector 121 is supplied as a serial input, a register 123 to which a parallel output of the shift register 122 is loaded, The output selector 124 sequentially selects data loaded in the register 123 and the register 125 connected to the output selector 124. Each register is 8 bits wide.
[0021]
FIG. 5 is a timing chart showing the operation of the multiplexer 117 described above. 3MCK is a clock three times the frequency of the clock MCK. The luminance data Y and the color signal C are synchronized with the clock MCK. Since it is a component signal of (411) system, luminance data of 4 samples (for example, Y₀, Y₁, Y₂, Y_Three) For one sample of red color difference data (eg Cr₀) And one sample of blue color difference data (for example, Cb)₀) Corresponds.
[0022]
The input selector 121 is controlled so that luminance data is selected at the high level of the select pulse and color data is selected at the low level. The shift register 122 is 3/2MCKIs supplied as a clock, takes in the data selected by the input selector 121 and shifts in series. Output Q of the first stage register of the shift register 122₀Is Y as shown in the figure_-1, Y₀, Cr₀, Y₁, Y₂, Cb₀, Y₃, ... and changes.
[0023]
The output of the shift register 122 is loaded in parallel to the register 123 with a 1/4 MCK clock timing. The quarter MCK clock period is six times the 3/2 MCK period. The phase of the 1/4 MCK clock is selected so that a total of 6 samples of luminance data and color difference data related to each other are transferred from the shift register 122 to the register 123.
[0024]
The output selector 124 synchronizes with the clock (3 / 2MCK) to register 123To Y ₀ , Y ₁ , Y ₂ , Y _{3 ,} In order of Cr, CbSelect sequentially and select
The register 125 takes in the sampled data. Therefore, from the register 125,Y ₀ , Y ₁ , Y ₂ , Y _{3 ,} In order of Cr, Cb, Multiplexed components
A component signal is generated.
[0025]
The multiplexer 117 described above converts the data sampling clock frequency from MCK to 3/2 MCK of 1.5 times the frequency, thereby converting the data into an 8-bit multiplexed component signal. In the case where the multiplexer 117 is not provided, the camera signal processing circuit 104 outputs (8 × 2 = 16 bits) width data (luminance signal Y and color signal C). In that case, crosstalk between two data buses occurs, crosstalk increases due to an increase in the substrate wiring area, memory size increases due to an increase in the memory data width, Various problems such as an increase in power consumption of the memory occur. By providing the multiplexer 117 described above on the output side of the signal processing circuit 104, the occurrence of these problems can be prevented.
[0026]
Returning to FIG. 1, an embodiment of the present invention will be further described. The component signals multiplexed as described above from the camera signal processing circuit 104 are supplied to the data switcher 130. The data switcher 130 is connected to the output point a connected to the output of the camera signal processing circuit 104, the input point b connected to the conversion circuit 134 for converting the component signal into the three primary color signals, and the recording / reproducing data bus 140. And an input / output point c. The state of the data switcher 130 is controlled by mode switching signals 131, 132, 133 generated based on user key operations and the like. The microcomputer 105 in FIG. 1 is provided mainly for controlling the camera unit. Although not shown, the microcomputer 105 is provided for controlling the recording / reproducing operation and for controlling the entire apparatus. Communication between microcomputers is performed.
[0027]
The three primary color signals R, G, and B generated by the conversion circuit 134 are supplied to a television display device such as a liquid crystal display 135, and a captured image is displayed on the liquid crystal display 135. The liquid crystal display 135 displays a color image using a non-interlace method with a 1/60 second period. A random accessible memory such as a DRAM (dynamic random access memory) 141 and a data compression encoder / decoder such as a JPEG (Joint Photographic Experts Group) encoder / decoder 142 are connected to the recording / reproducing data bus 140. High efficiency encoding other than JPEG may be used. A recording medium such as a flash memory 143 and an interface 144 are connected to the encoder / decoder 142. The operation of the DRAM 141 is controlled by an address signal and a control signal supplied from the memory controller 145.
[0028]
The encoder / decoder 142 compresses the data amount to about 1/10 by encoding of JPEG, that is, adaptive DCT (Discrete Cosine Transform). A DRAM 141 is provided for processing such as blocking in JPEG. The flash memory 143 is a semiconductor memory that retains stored contents even when the power is turned off, and can be erased and rewritten electrically collectively for the entire memory or for each divided area. As the recording medium, a medium such as a semiconductor memory other than the flash memory may be used. Further, an interface may be provided to supply the compressed still image data to a personal computer as necessary. In one embodiment of the present invention, recording means encoding an imaging signal and writing it in the flash memory 143, and reproduction means reading data in the flash memory 143 and decoding read data.
[0029]
One embodiment of the present invention described above will be described in more detail. In this embodiment, five types of operations are possible depending on the connection state of the data switcher 130. This includes a monitoring mode, a first recording mode, a second recording mode, a first reproduction mode, and a second reproduction mode. These modes are set by mode switching signals 131, 132, 133. The mode switching signals 131, 132, 133 are generated from a recording / reproducing system control microcomputer (not shown). A mode switching signal may be generated by the microcomputer 105. In the monitoring mode, the imaging screen is displayed on the liquid crystal display 135. In the first recording mode, a desired captured image is written into the DRAM 141. In the second recording mode, the image data stored in the DRAM 141 is compressed and written to the flash memory 143. In the first reproduction mode, the data stored in the flash memory 143 is read, and the read data is decoded and written into the DRAM 141. In the second reproduction mode, data in the DRAM 141 is read and displayed on the liquid crystal display 135.
[0030]
FIG. 6 shows the connection in the monitoring mode in which the output point a and the input point b of the data switcher 130 are connected. The monitoring mode is set when the mode switching signal 131 becomes active. In the monitoring mode, the microcomputer 105 controls the CCD drive circuit 109 of the timing controller 107 to operate the image sensor 101 in the line thinning mode. A line which is not read out is generated from the image pickup element 101, and an image pickup signal is read out at a period of 1/60 second.
[0031]
In the monitoring mode, the output signal of the signal processing circuit 104 is supplied to the conversion circuit 134 via the data switcher 130, and the three primary color signals output from the conversion circuit 134 are supplied to the liquid crystal display 135 and displayed. Since the image sensor 101 operates in the line thinning mode, the liquid crystal display 135 can perform non-interlaced display with a 1/60 second period. By looking at the display on the liquid crystal display 135, the angle of view can be adjusted and the still image to be recorded can be determined. Due to the line thinning mode, the vertical resolution isCompared to recordingAlthough it deteriorates, it is a problem for the purpose of monitoring captured images.Rather, it is also equivalent to a CCD imaging camera that performs field storage.In the line thinning mode, the followability to movement is improved for high-speed reading. Accordingly, the response of automatic control such as automatic focus adjustment and automatic aperture adjustment is improved, and it becomes easy to monitor a moving image.
[0032]
In the monitoring mode, the DRAM 141, the encoder / decoder 142, and the flash memory 143 connected to the data bus indicated by the broken line are not operated. In order to save power consumption, it is preferable that the power supply to these non-operating circuits is turned off or the supply of clocks necessary for the operation is stopped. In other modes described below, the buses for circuits that do not operate are indicated by broken lines, and the power supply to circuits that do not operate is turned off.
[0033]
  FIG. 7 shows a mode for recording a still image, that is, a connection in the first recording mode in which the output point a and the input / output point c of the data switcher 130 are connected. The first recording mode is set when the mode switching signal 132 becomes active.First recordIn the mode, the microcomputer 105 controls the CCD drive circuit 109 of the timing controller 107 to operate the image sensor 101 in the full frame readout mode. From the image sensor 101, all pixels, for example, 320,000 pixels are read out, and an image pickup signal is read out at a 1/30 second period.
[0034]
The imaging signal is processed by the camera signal processing circuit 104 and written to the DRAM 141 through the output point a and the input / output point c of the data switcher 130 and the recording / reproducing data bus 140. The memory controller 145 sets the DRAM 141 to a write state and supplies a write address to the DRAM 141. The memory controller 145 is controlled by a recording / reproducing system control microcomputer (not shown). One still image data is written in the DRAM 141. In the first recording mode in which 1/30 second image data is written, an image cannot be displayed on the liquid crystal display 135. In order to minimize the time during which no image is displayed, when writing is completed, the process proceeds to the next second recording mode.
[0035]
When the writing of one image data to the DRAM 141 is completed, the data switcher 130 enters the second recording mode in which the output point a and the input point b are connected as shown in FIG. The second recording mode is set when the mode switching signal 131 becomes active. In this mode, image data is read from the DRAM 141. The read data is supplied to the encoder / decoder 142 via the bus 140. The encoder / decoder 142 compresses data read from the DRAM 141 by, for example, JPEG. In addition, the compressed data is written into the flash memory 143. In this way, the captured image is compressed and recorded.
[0036]
In the second recording mode, the image sensor 101 is operated in the line thinning mode, and the signal read from the image sensor 101 at a high speed is processed by the camera signal processing circuit 104 in the same manner as in the monitoring mode. The signal is supplied to the liquid crystal display 135 through the data switcher 130 and the conversion circuit 134, and an image is displayed. As a result, the time during which the image display disappears during recording can be minimized.
[0037]
In the reproduction mode, the image data written in the flash memory 143 is reproduced and displayed on the liquid crystal display 135. FIG. 9 shows a state of the first reproduction mode in which the output point a and the input point b of the data switcher 130 are connected and the image pickup signal is displayed on the liquid crystal display 135. The first reproduction mode is set when the mode switching signal 131 becomes active. In this mode, data is read from the flash memory 143 and the read data is supplied to the encoder / decoder 142.
[0038]
Data is decoded by the encoder / decoder 142 to generate image data. The DRAM 141 is controlled to write this image data. In this case, the memory controller 145 controls the write address of the DRAM 141 so that the decoded data is written to the DRAM 141 with the same data arrangement as that in the first recording mode. A similar data array may be realized by address control at the time of reading. This relationship is because when the digital image signal read from the DRAM 141 is supplied to the liquid crystal display 135 via the conversion circuit 134 and displayed on the liquid crystal display 135, the same configuration as that used in the monitoring mode is used. Is necessary for. In the first reproduction mode, the image sensor 101 is driven in the line thinning mode, and a captured image of the image sensor 101 is displayed on the liquid crystal display 135.
[0039]
When the decoded data is written to the DRAM 141, the second reproduction mode shown in FIG. 10 is entered. In the second playback mode, the input / output point c and the input point b of the data switcher 130 are connected. The second reproduction mode is set when the mode switching signal 133 becomes active. The DRAM 141 is set in a read state. Then, read data of the DRAM 141 is supplied to the liquid crystal display 135 via the recording / reproducing data bus 140, the data switcher 130, and the conversion circuit 134. Therefore, an image corresponding to the data recorded in the flash memory 143 can be viewed on the liquid crystal display 135. In this case, the data recorded in the flash memory 143 is not full-line data but full-frame data. Therefore, line thinning similar to the case where the image sensor 101 is driven in the line thinning mode is realized by address control by the memory controller 145. Thereby, the read data of the DRAM 141 can be reproduced by the liquid crystal display 135.
[0040]
In this way, the still image data stored in the flash memory 143 can be reproduced and viewed on the liquid crystal display 135. The number of still images that can be recorded is determined by the storage capacity of the flash memory 143, the data compression method, and the like. The flash memory 143 is preferably configured as an IC card. Of course, a recording medium other than the flash memory may be used. Furthermore, recording data may be transmitted to an external personal computer via an interface provided as necessary, or recording data may be stored in an external storage device.
[0041]
An example of the solid-state image sensor 101 described above will be described below. FIG. 11 schematically shows an example of a solid-state image sensor, for example, a CCD image sensor 1. In this example, an interline method is adopted, and a signal charge from the photosensor 2 provided between the photosensors (for example, photodiodes) 2 two-dimensionally arranged in the image area and the photosensor 2 is horizontal CCD (horizontal). A vertical CCD (vertical transfer unit) 3 for transferring to a transfer unit 4, and a buffer amplifier 5 connected to the horizontal CCD 4. Imaging light that has passed through an array of color filters, which will be described later, is incident on the photosensor 2. One photo sensor 2 and one bit in the vertical CCD 3 correspond to each other, and signal charges from the photo sensor 2 are read to the vertical CCD 3 without mixing, and signals of all pixels are sequentially transferred to the horizontal CCD 4. It is possible. Then, by driving the horizontal CCD 4, the signal is transferred to the floating diffusion area, sequentially converted into a voltage, and output through the buffer amplifier 5.
[0042]
A plan view of a unit pixel of the image sensor 1 is shown in FIG. 12, and a structure of the vertical CCD 3 is shown in FIG. The vertical CCD 3 has, for example, a three-layer electrode three-phase drive configuration. In FIG. 12, 6 is a transfer channel of the vertical CCD 3, 7 is a channel stopper for separating pixels and between the pixel and the transfer channel, and 8, 9 and 10 are transfer gates of the vertical CCD 3, respectively. The transfer gate 9 also serves as a read gate. In FIG. 12, illustration of the light shielding film and the like is omitted. As shown in FIG. 13, the transfer gates 8, 9, and 10 are formed by processing the first, second, and third polycrystalline silicon electrodes. For these transfer gates 8, 9, 10 a vertical drive pulse φV₁, ΦV₂, ΦV_ThreeAre applied respectively.
[0043]
When reading a signal from the photosensor 2 to the vertical CCD 3, a vertical transfer clock φV is supplied to a transfer gate adjacent to the photosensor 2, that is, a transfer gate 9 also serving as a read gate.₂A bias voltage higher than the high level (referred to as a read pulse) is applied. When a read pulse is supplied to the gate 9, one pixel corresponds to one bit of the vertical CCD 3, so that signal charges are read from all the photosensors 2 to the vertical CCD 3. The horizontal CCD 5 has a transfer clock φH₁, ΦH₂To output data for one line. As the horizontal CCD 5, for example, a composite channel horizontal CCD structure can be adopted. In that case, the output unit has a two-channel configuration.
[0044]
The CCD image pickup device described above is suitable for electronic still cameras and image capture because it can sequentially output signals of all pixels. However, the output time of one screen (from the upper end to the lower end of the screen) is doubled compared to an image sensor for video cameras having the same number of pixels that performs interlaced output. In this example, as described above, as a monitor signal and an imaging signal for automatic control such as automatic focus control, the number of horizontal lines is reduced to output an imaging signal for one screen at high speed. In addition, in the case of this line thinning, the color sequence in the vertical direction defined by the color filter arrangement is not disturbed. On the other hand, when a captured image is taken into the flash memory, a full frame imaging signal (an imaging signal in which the number of lines is not thinned) is output. Even in the case of line thinning, since the color sequence is the same as that in the case of a full frame, the problem that the signal processing circuit becomes complicated can be avoided.
[0045]
In the above-described image pickup device capable of reading all pixels, in order to thin out the number of lines, two wirings for the transfer gate (second polycrystalline silicon) 9 contributing to reading of the signal charges from the photosensor 2 are used. It is possible by dividing. The repetition period of the color sequence is represented by N. FIG. 14 shows an example in the case of (N = 2).
[0046]
As the arrangement of the color filters of the single-plate CCD image sensor, R (filter that passes red), G (filter that passes green), and B (filter that passes blue) are arranged as shown in FIG. 15A (Bayer method) )It has been known. A high-sensitivity G filter is arranged in half of the pixels. Also, a complementary color checkered color filter shown in FIG. 15B is known. In FIG. 15B, Ye, Cy, and Mg are yellow, cyan, and magenta filters, respectively. The complementary color filter shown in FIG. 15B can be increased in resolution as compared with the primary color filter, and is therefore often used in video cameras. On the other hand, the primary color filter shown in FIG. 15A is excellent in terms of color reproducibility and is often employed in an electronic still camera.
[0047]
As the image sensor in the present invention, any of a single-plate image sensor having a primary color filter and a single-plate image sensor having a complementary color filter may be used. Further, although not shown in the drawing, the image pickup device includes an image pickup device having a G filter and an image pickup device having an array of R and B filters, and the positional relationship between the two image pickup devices is a pixel in the horizontal direction or in the horizontal and vertical directions. You may use the image pick-up element (what is called a space picture element shift system) of the system shifted only 1/2 of the pitch.
[0048]
In the arrangement of FIG. 15A, the repetition period N of the color sequence in the vertical direction is (N = 2), and the arrangement of FIG. 15B is (N = 4). FIG. 14 is a schematic diagram showing (N = 2) the photo wirings of one column in the vertical direction, the vertical CCD 3 and the bus wiring of the gate of the vertical CCD 3 with respect to a part of one column. Among the photosensors 2, the one provided with a hatched portion in the upper left corner corresponds to one color filter, for example, a G filter, and the one not provided with the hatched portion corresponds to another color filter, for example, a B filter. As described above, the vertical CCD 3 is of the three-layer electrode, three-phase drive type, and has a 3-bit gate adjacent to the aperture pixel of the image sensor. The vertical CCD 3 includes a repeating unit A and a repeating unit B. The repeating unit A includes gates 21, 22, and 23, and the repeating unit B includes gates 31, 32, and 33. Gates 22 and 32 are transfer and read gates. Reference numerals 41, 42, 42 'and 43 denote vertical transfer drive pulses φV.₁, ΦV₂, ΦV₂', ΦV_ThreeAre the bus lines supplied.
[0049]
Gates 21 and 31 are connected to bus line 41, and gates 23 and 33 are connected to bus line 43. These bus lines 41 and 43 have a drive pulse φV, respectively.₁, ΦV_ThreeIs supplied. Drive pulse φV₂For this, two buses 42 and 42 'are provided. The repeat unit A indicates that the transfer / read gate 22 is connected to the bus 42, and the repeat unit B indicates that the transfer / read gate 32 is connected to the bus 42 '. In FIG. 14, for simplification, the bus line is drawn only on one side, but it is normal to drive the both sides by arranging the bus line on both sides.
[0050]
In the above-described imaging device, for line thinning, a range of A × m (bits) in which repeating units A are arranged m (m = 1, 2, 3,...) And repeating units B are arranged N × a. A range of B × N × a (bits) is alternately formed in the vertical direction. The example shown in FIG. 14 is a case of (N = 2, m = 3, a = 2). Although the values of m and a can be arbitrarily selected, even if m and a are large values, it is necessary that (m + N × a) is smaller than the number of effective pixels.
[0051]
In the imaging device described above, in the first operation mode, that is, in the full frame operation in which the signals of all the pixels are read out, signals are read from the photosensor 2 to both the repeating units A and B of the vertical CCD 3. For this purpose, a read pulse is applied to both gates 22 and 32 through bus lines 42 and 42 '. In this case, color signals are output in a color sequence corresponding to the order of arrangement of the color filters, for example, a sequence of G, B, G, B,.
[0052]
On the other hand, in the second operation mode, that is, in the line thinning operation, the read pulse is applied only to the gate 22 of the repeating unit A through the bus wiring 42. Therefore, a signal is read from the range of A × m (bit), and no signal is read from the range of B × N × a (bit). In the example of FIG. 14, a signal is generated from the (m = 3) line, and no signal is generated from the (N × a = 4) line. Since the number of lines to be thinned is an integer multiple of N, the color sequence corresponding to the order of the color signals of the imaging output in the case of line thinning is kept in the same relation as full frame reading.
[0053]
FIG. 16 shows the timing when the image sensor is driven, and FIG. 16A shows the timing when full frame reading is performed. In each horizontal blanking period, three-phase drive pulse φV₁, ΦV₂, ΦV₂', ΦV_ThreeAre supplied to the gates 21, 22 and 23 of the repeating unit A and the gates 31, 32 and 33 of the repeating unit B, respectively. A read pulse is also applied to both gates 22 and 32. Thereby, signal charges are read out from all the photosensors to the vertical CCD 3. As shown in the detailed timing chart of FIG. 16B, the drive pulse φV generated within the horizontal blanking period.₁, ΦV₂, ΦV₂', ΦV_ThreeIs a three-phase type, and one line shift is performed according to the line shift period. When reading out a full frame, one line shift is performed within each horizontal blanking period.
[0054]
On the other hand, in the case of line thinning readout, a readout pulse is applied only to the gate 22 of the repeating unit A as shown in FIG. 16C. Thereby, signal charges are read out only from the photosensor adjacent to the repeating unit A. In the case of line thinning, no signal charge is read out in the thinned line, and no signal is generated. This non-signal period can be removed by repeating the line shift operation a plurality of times, as will be described later.
[0055]
FIG. 17A is a schematic diagram of the potential of the channel 6 of the vertical CCD 3 in the case of (m = 1, a = 1). The direction from the right side to the left horizontal CCD 4 in the drawing is the vertical transfer direction. The channel 6 includes a packet 51 including a signal charge Qs and an empty packet 52 during the line thinning operation. In order to output the signal charge Qs from each line, the number of line shifts is increased by the empty packet 52, whereby the signal charge and the non-signal are mixed in the horizontal CCD 4 and the non-signal period is removed. The number of line shifts performed within each horizontal blanking period may be selected so as to satisfy the following relationship.
[0056]
1 (: number of packets including signal charge Qs to be output) + X (number of packets not including signal charge Qs in front) and 1 + X + (N × a) (: packets not including signal charge Qs in back) Number) or less
Accordingly, in the case of (X = 0), only the signal charge is transferred to the horizontal CCD 4, and in the case of (X ≠ 0), a packet including the signal charge and a packet not including one or more signal charges are transferred. Transfer to the horizontal CCD 4.
[0057]
Under the above-described conditions, signal charges can be transferred to the horizontal CCD 4 and a non-signal line can be compressed. Actually, the charge of the empty packet is not 0, and unnecessary signal charges Qn such as a smear signal and a dark signal are included. If the number of line shifts performed in each horizontal blanking period is different, the number of times unnecessary signal charge Qn is added differs, so that the amount of unnecessary signal included varies from line to line. As a result, image quality degradation such as line crawl and color shift may occur.
[0058]
In order to solve this problem, the number of line shifts performed in each horizontal blanking period may be constant. In the case of a limited condition, that is, (m = 1 or m = 2), the number of line shifts of the vertical CCD 3 is set to ((N × a / m) +1), whereby the signal charge Qs of each line is set. The number of packets not including the signal charge Qs added to can be made constant. As a result, the above-described image quality deterioration can be prevented.
[0059]
FIG. 17B is a schematic diagram of the potential of the channel 6 of the vertical CCD 3 in the case of (N = 2, m = 1, a = 1). In this example, (N × a / m = 2), and by setting the number of line shifts to three, the number of packets not including the signal charge Qs added in each line can be made constant. FIG. 17C shows the case of (N = 2, m = 2, a = 1). In this case, (N × a / m = 1), and the number of line shifts may be two. Further, even when m> 2, there is no problem if the level of the smear signal or the dark signal can be sufficiently reduced.
[0060]
The above-described CCD image pickup device can reduce the number of lines. Therefore, by selecting the value of the number m of repeating units A arranged in the vertical CCD 3 and the value N × a of repeating units B, the value of a one-field television can be obtained. The number of lines of the output imaging signal can be suppressed to the number of horizontal scanning lines or less. Several examples of the number of output lines will be described by taking the case of a Bayer color filter array (N = 2) as an example.
[0061]
As shown in FIG. 18, in the case where the present invention is applied to a VGA (Video Graphics Array) compatible image sensor having an effective pixel count (vertical × horizontal) of (480 × 640), (a = 1, m = 2). Therefore, in the line thinning mode, the number of output lines can be reduced to a half of 240 lines. As shown in FIG. 19, in an image sensor with an effective pixel number of (768 × 1024), the number of output lines can be set to 256 lines by setting (m = 1, a = 1). As shown in FIG. 20, in an image sensor with an effective pixel number of (1024 × 1280), (m = 1, a₁= 1, a₂= 2), the number of output lines can be 256 lines. a₁And a₂Are used alternately.
[0062]
In any of the cases shown in FIGS. 18, 19 and 20, the number of output lines can be made smaller than the number of lines per field (262.5) of the NTSC system, for example. Therefore, it is possible to output the image signal in the line thinning mode at a higher speed while maintaining the same relationship between the color sequence and the angle of view as in the full frame readout mode. Thereby, an imaging screen can be displayed on the liquid crystal monitor without using a VRAM or a frame memory. Note that the angle of view is an angle at which the range reflected on the image sensor when taking a picture is centered on the optical axis of the lens.
[0063]
The specific configuration of the image sensor in the above-described embodiment is merely an example, and other solid-state image sensors can be used in the present invention. For example, the vertical CCD may have a structure of a two-layer electrode four-phase drive, an image sensor other than the interline system, and a solid-state image sensor using other than the CCD. Further, as a mode for driving the solid-state imaging device, the readout pulse φV₂'And read pulse φV₂A third operation mode in which no voltage is applied may be set.
[0064]
In addition, the present invention is not limited to the image sensor having the above-described structure, and an image sensor that can select an all-pixel readout mode and a mode in which the number of readout pixels is reduced can be used.
[0065]
【The invention's effect】
As described above, according to the present invention, a still image with good vertical resolution can be obtained by a full-frame imaging mode in which all pixels are read out. An imaging signal can be output at high speed by the thinning imaging mode. Therefore, the image pickup signal can be displayed on the monitor without providing the VRAM. Further, since the imaging signal can be output at a high speed, the response of an automatic control device such as autofocus can be accelerated. Furthermore, since the number of frames increases, there is an advantage that the monitor image moves smoothly.
[0066]
Further, in the present invention, since the image pickup signal is displayed during recording other than the period in which the image signal is written in the memory (DRAM), the period during which the display disappears can be minimized. Furthermore, since the image pickup signal is supplied to the display device during the reproduction of data from the recording medium, the display disappearance period can be minimized as in the recording.
[0067]
Furthermore, in the present invention, the component signal output from the camera signal processing circuit can be multiplexed by changing the clock frequency, and the bit width of the data bus arranged for subsequent signal processing can be reduced. can do. Accordingly, signal deterioration such as crosstalk can be suppressed, the size of the memory can be reduced, and the power consumption of the memory can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a block diagram of an example of a camera signal processing circuit in one embodiment of the present invention.
FIG. 3 is a block diagram of a multiplexer portion in the camera signal processing circuit.
FIG. 4 is a block diagram of an example of a multiplexer.
FIG. 5 is a timing chart showing the operation of the multiplexer.
FIG. 6 is a block diagram showing connection relationships in a monitoring mode according to an embodiment of the present invention.
FIG. 7 is a block diagram showing a connection relationship in a first recording mode according to an embodiment of the present invention.
FIG. 8 is a block diagram showing a connection relationship in a second recording mode according to an embodiment of the present invention.
FIG. 9 is a block diagram showing a connection relationship in a first reproduction mode according to an embodiment of the present invention.
FIG. 10 is a block diagram showing a connection relationship in a second reproduction mode according to an embodiment of the present invention.
FIG. 11 is a schematic diagram illustrating a schematic configuration of an example of an image sensor that can be used in the present invention.
FIG. 12 is an enlarged plan view of one pixel portion of an example of an image sensor.
FIG. 13 is a schematic diagram illustrating a structure of a vertical CCD as an example of an image sensor.
FIG. 14 is a schematic diagram illustrating a vertical line of bus wiring as an example of an image sensor;
FIG. 15 is a schematic diagram illustrating an example of an array of color filters used in an example of an image sensor and another example.
FIG. 16 is a timing chart of drive pulses for driving an example of an image sensor.
FIG. 17 is a schematic diagram schematically illustrating the potential of a vertical CCD in an example of an image sensor.
FIG. 18 is a schematic diagram illustrating a specific example of an image sensor.
FIG. 19 is a schematic diagram illustrating another specific example of an image sensor.
FIG. 20 is a schematic diagram illustrating still another specific example of the imaging element.
FIG. 21 is a schematic diagram used to describe a conventional image sensor.
FIG. 22 is a schematic diagram used for explaining the previously proposed imaging device;
FIG. 23 is a schematic diagram illustrating a relationship between an output of an image sensor and a display on a liquid crystal monitor.
FIG. 24 is a block diagram showing a configuration when an imaging signal generated from an imaging device is supplied to a liquid crystal monitor.
[Explanation of symbols]
2 ... Photosensor, 3 ... Vertical CCD, 4 ... Horizontal CCD, 6 ... Channel of vertical CCD, 101 ... Image sensor, 104 ... Camera signal processing circuit, 105 ... Microcomputer, 107 ... Timing controller, 130 ... Data switcher, 135 ... Liquid crystal display, 141 ... DRAM, 142 ... Encoder / decoder, 143 ... Flash memory

Claims

A plurality of photosensors that receive light, arranged in a matrix and provided with a color filter in which a vertical color sequence is repeated at an N pixel period;
A vertical transfer unit that vertically transfers charges read from the plurality of photosensors ;
The plurality of photosensors includes a first photosensor group consisting of m (m is a natural number) photosensors connected in the vertical direction, and a photosensor (a is a natural number) that is N times as many as N in the vertical direction. A solid-state imaging device that is alternately arranged in the vertical direction and outputs an image signal based on the electric charge read from the photosensor via the vertical transfer unit ;
Provided independently of the first signal supply unit and the first signal supply unit for reading out the electric charge accumulated in the first photosensor group to the vertical transfer unit based on the first drive signal. A signal supply unit including a second signal supply unit that reads out the electric charge accumulated in the second photosensor group to the vertical transfer unit based on a second drive signal;
Display means for displaying the image signal;
Recording means for recording the image signal on a recording medium;
When outputting the image signal to the upper type recording medium, based on the first and second drive signals, the first and the charge accumulated in the second photosensor groups to the vertical transfer section By reading, the solid-state imaging device is operated in a first imaging mode for reading out the first number of pixels ,
When outputting the image signal to the display means, based on said first driving signal, only the charge accumulated in the first photosensor groups by reading to the vertical transfer portion, the solid An image pickup apparatus comprising: a control unit that causes the image pickup element to operate in a second image pickup mode that reads out a second number of pixels smaller than the first number of pixels .

The imaging device according to claim 1,
In the first imaging mode, the image signal output from the solid-state imaging device is an image signal output by reading all the pixel lines of the solid-state imaging device,
The image pickup apparatus, wherein the image signal output from the solid-state image pickup device in the second image pickup mode is an image signal output by thinning out a predetermined pixel line from all the pixel lines.

A plurality of photosensors that are arranged in a matrix and have color filters in which a color sequence in the vertical direction is repeated at a cycle of N pixels, and charges read from the plurality of photosensors are vertically transferred. A plurality of photosensors, the first photosensor group consisting of m (m is a natural number) photosensors connected in the vertical direction, and a times (a is a natural number) times N. Are arranged alternately in the vertical direction and output image signals based on the charges read from the photosensors via the vertical transfer unit. An imaging method for an imaging apparatus including a solid-state imaging device ,
When outputting the image signal to a recording medium for recording on the SL image signal, a first driving signal to read out the charges accumulated in the first photosensor groups to said vertical transfer unit, wherein Based on the second drive signal supplied independently of the first drive signal and causing the vertical transfer unit to read out the electric charge accumulated in the second photosensor group, the first and second By reading out the electric charge accumulated in the two photosensor groups to the vertical transfer unit, the solid-state imaging device is operated in the first imaging mode in which the first number of pixels is read ,
When outputting the image signal to the display means for displaying the image signal, only the charge accumulated in the first photosensor group is read to the vertical transfer unit based on the first drive signal. by, characterized in that the so that by operating the solid-state imaging device in the second imaging mode for reading the first number of second less than the number of pixels of pixels above and to control the solid-state imaging device An imaging method .

The imaging method according to claim 3 ,
In the first imaging mode, the image signal output from the solid-state imaging device is an image signal output by reading out all the pixel lines of the solid-state imaging device, and in the second imaging mode. In some cases, the image signal output from the solid-state imaging device is an image signal output by thinning a predetermined pixel line from all the pixel lines.