[go: up one dir, main page]

JP4372961B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4372961B2
JP4372961B2 JP2000115356A JP2000115356A JP4372961B2 JP 4372961 B2 JP4372961 B2 JP 4372961B2 JP 2000115356 A JP2000115356 A JP 2000115356A JP 2000115356 A JP2000115356 A JP 2000115356A JP 4372961 B2 JP4372961 B2 JP 4372961B2
Authority
JP
Japan
Prior art keywords
exposure
state
image
level
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000115356A
Other languages
Japanese (ja)
Other versions
JP2001298667A (en
Inventor
順三 桜井
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2000115356A priority Critical patent/JP4372961B2/en
Publication of JP2001298667A publication Critical patent/JP2001298667A/en
Application granted granted Critical
Publication of JP4372961B2 publication Critical patent/JP4372961B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は撮像装置に関し、特にCCD等の撮像素子を用いて被写体像を撮像する撮像装置に関する。
【0002】
【従来の技術】
近年、露光量の異なる2枚の画像を合成することによって広ダイナミックレンジの撮像画像を得る試みが、種々提案されている。特に、2画像の撮影の間に被写体が動いた場合に生じる処理の破綻を防止するために、CCDのような破壊読み出し型の撮像素子を用いた場合であっても、得られる2つの画像のタイミングのずれが最小になるように工夫した読み出し方法が、例えば特開平4−207581号公報に記載されている。
【0003】
このような時間差を極小にした2画像連続撮像技術は上記広ダイナミックレンジ撮像に限らず、2画像を用いた画像処理により様々な高画質化や新撮像機能に応用できる可能性を持っており、それ自体技術的期待は大きい。
【0004】
【発明が解決しようとする課題】
2画像連続撮像によって得た2画像を合成するという用途においては、2画像をタイミングずれなく得るという一般の撮像とは異なる特殊な制約条件を充たしつつ、当然ながら通常の1画像だけの撮像に対して画質低下を生じてはならない。また、仮に若干の画質低下を許容した場合であっても、2画像の画質が揃っていることが要求されるのが一般的であり、一方の画質が低下するような場合には問題となる。
【0005】
しかし、上記特殊な制約条件が課せられるために単なる1画像撮像の場合に比して様々な画質低下要因に対して対処しうる方法が限られ、現実には大きな画質劣化が生じることを余儀なくされていた。このような観点から本出願人は先の特許出願(特願2000−77136号)によって、上記特殊な制約条件を充たしつつ、従来技術に比してスミアの発生を大幅に低減することのできる技術を提案している。
【0006】
ところが、このような撮像技術においてもなお特に第2画像においては、通常の1画像だけの撮像による画像、あるいは2画像連続撮像時の第1画像に比して、画像信号の飽和レベルが低下するという問題が生じる。この現象について詳述すれば、これは光電変換蓄積領域における電荷リークに起因するものである。ここで本発明が問題とする上記電荷リークとは、例えばメカシャッタの遮光後に顕著になるものであって、撮像素子の電荷蓄積部においてオーバーフローレベル以下の蓄積電荷の一部が時間とともに失われるために、電荷蓄積部の信号の飽和レベルが低下する現象である。
【0007】
この原因は電子の量子力学的ゆらぎによって、上記オーバーフローレベルを乗り越えて基板側に電荷が排出されてしまうためであるとされている。このとき(新たな光電荷の発生が無ければ)電荷がリークするのに伴って電荷蓄積部の電位も下がることからリーク電流は遮光後の時間経過に連れて減衰する。その結果、蓄積電荷量すなわち撮像素子出力の飽和信号量は遮光後の経過時間に対して対数関数的な減衰特性を示すことになり、その値は一例を挙げれば1〜2ms経過後に飽和レベルは約70%にまで低下する。もとよりこれは量子力学的効果であるから、取扱う電荷量が充分多い場合には無視し得るが、近年の撮像素子の高画素化によって1画素当たりの電荷量が極めて小さくなっているために顕在化しつつある現象である。
ところで、従来この現象の存在自体は知られており、例えば飛越走査型CCD撮像素子において奇数フィールドと偶数フィールドの蓄積電荷量が一致しなくなりライン段差を生じる、という問題に対して対策を施す技術を本出願人自身が提案している(特開平09−163239号公報)。
【0008】
これに対して順次走査型CCD撮像素子では、1回の電荷移送パルス(TGパルス)によって電子的にシャッタ閉が行われるからこのような不具合は原理的に生じないものである。なぜならこのリークによる飽和レベルの低下は、当該電荷が電荷蓄積部から垂直転送路に移送されるまでの期間に生じるものであるから、順次走査型撮像素子において、入力光が照射している間にTGを出力すること、またはメカシャッタを併用する場合でもそのシャッタ閉とほぼ同時にTGを出力することで飽和レベルの低下を生じないようにすることができるし、仮にメカシャッタ閉から長時間後にTGを出力することにより飽和レベルが低下するような場合であっても、少なくとも飛越走査型撮像素子のようなライン段差は生じないから、その1画像のみに関する若干の画質劣化に留まるものであったからである。
【0009】
しかるに、2画像連続撮像技術に関しては、順次走査型CCD撮像素子を用いてもなお上記特殊な制約条件が課せられるために、メカシャッタ閉とほぼ同時にTGを出力することは通常許されないため上記飽和レベルの低下による問題が顕著に生じてしまう。しかもこれは第2画像のみに生じるものであるので、一般の撮像に於いて仮に許容される程度の劣化であったとしても、第1画像と第2画像との画質が不揃いとなるという不具合を招くことになる。
【0010】
なお、上記不具合のうち、特に画質不揃いによって生じる不具合の例を参考のため挙げれば、2画像の相関度を比較することで被写体の動きを検出するという技術がある。これは第1の画像の例えば中央部に所定サイズの基準ウインドウを設け、第2の画像の中央部近傍に基準ウインドウと同じサイズで、基準ウインドウからの相対位置座標が(i,j)である複数の検出ウインドウを設けて、各(i,j)毎に基準ウインドウの画像信号と検出ウインドウの画像信号の画素毎の差分絶対値の総和量を算出し、この総和量が最小である、すなわち比較する領域の画像相関が最大であるような(i,j)を求めてこれを動きベクトル(x,y)とするものである。これは例えば2画像を合成するに先立って、動きによる2像のずれを補正してから合成するとか、ずれが大きい場合は合成を中止するとかの補助的な目的で使用することも考えられるし、合成とは無関係に動き情報を検出するために使用することも考えられる。このような相関比較において、比較対象の2画像の画質が不揃いであれば誤動作の原因になることは明らかであろう。
【0011】
無論、このような画質不揃いの問題以前に、たとえ2画像のうち一方のみであっても2画像撮影の制約条件下では画質劣化を避け得ないということ自体も問題であって、例えば2つの画像を加算平均することでランダムノイズを低減して画質を向上するような用途では、第2画像の画質が低下することによりトータル画像の画質が本来得られる筈の画質に対して低下してしまうことは明らかである。
【0012】
本発明は上述の事情に鑑みてなされたものであり、2画像をタイミングずれなく得るという制約条件を充たしながら、第1には飽和レベルの低下を生じることなく、また第2には仮にそれが生じても2画像間の飽和レベル低下の程度を揃えることで2画像の画質が揃った、高画質な2画像連続撮像を実現し得る撮像装置を提供することを目的とする。
【0013】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、固体撮像素子と、前記固体撮像素子を駆動する駆動手段と、前記固体撮像素子の撮像面に対する被写体像の透過状態と遮光状態とを切換え可能な光学的シャッタ手段と、前記駆動手段および前記シャッタ手段を制御して露光および画像信号の読み出しを制御する撮像制御手段とを具備し、前記撮像制御手段は、当該撮像対象たる画像の撮像に際して、前記シャッタ手段による遮光状態から透過状態への切換えまたは前記シャッタ手段の透過状態において前記駆動手段により最終の電荷排出パルスSUBを出力することによって当該撮像に関する全露光を開始し、前記シャッタ手段による透過状態を遮光状態に切換えることにより当該撮像に関する全露光を終了させ、かつ前記全露光開始から前記全露光終了に亘る期間中に前記駆動手段により第1の電荷移送パルスTG1を出力することによって第1の露光を終了させると同時に第2の露光を開始させるように構成され、かつ前記第1の露光によって生成された第1の画像信号の読み出しのための前記固体撮像素子の転送路駆動を前記全露光終了後に開始するとともに、前記第1の画像信号の読み出しが終了した後に、前記第2の露光によって生成された第2の画像信号を第2の電荷移送パルスTG2の出力により前記固体撮像素子の転送路に移送してから、これを読み出すための転送路駆動を行なうように構成されたものであって、前記固体撮像素子の基板バイアス電圧VSUBの設定値を異なる値に制御して該基板バイアス電圧VSUBの設定値に対応して定まるオーバーフローレベルを、前記第1の電荷移送パルスTG1の出力以前の第1の露光期間においては第1のレベルに、前記全露光終了時点から前記第2の電荷移送パルスTG2の出力時点に至る期間においては前記第1のレベルよりも大きい第2のレベル以上にそれぞれ設定することにより、前記第1の画像信号と前記第2の画像信号の読み出し後の飽和レベルを相等しく保つように構成されていることを特徴とする。
【0014】
この撮像装置においては、固体撮像素子のオーバーフローレベルを、第1の露光期間よりも、全露光終了時点から前記第2の電荷移送パルスTG2の出力時点に至る期間においてより大きく設定する制御が行われる。これによってリーク発生以前の第2画像の飽和レベルを第1画像に対して相対的に大きくできるから、少なくとも第1および第2の両画像の飽和レベルを等しく設定でき、2画像の画質が揃った高画質な2画像連続撮像を実現することが可能となる。
【0015】
また、前記オーバーフローレベルの第1のレベルから第2のレベルへの設定レベルの変更は、全露光終了に係る前記シャッタ手段の透過状態から遮光状態への遷移期間内に開始されかつ完了するように制御することが好ましい。
【0016】
シャッタ手段が閉じる遷移期間においては固体撮像素子の板面照度が徐々に減少していくので、この期間は、いわばブルーミングの悪影響からリークの悪影響への遷移期間と考えることができる。一方、オーバーフローレベルを上げることは、ブルーミング抑圧状態からリーク抑圧状態への切換えに相当している。よって、シャッタ手段が閉じる遷移期間にオーバーフローレベルの変更を開始し且つ完了することにより、オーバーフローレベルを上げることによるブルーミングの影響を抑制しつつ、光の入射が絶たれた後の電荷リークによる問題を改善することが可能となる。
【0017】
特に、シャッタ手段の透過状態から遮光状態への遷移に合わせてオーバーフローレベルを第1のレベルから第2のレベルに次第に変化させるという制御を用いることにより、ブルーミングの問題からリークの問題への遷移とブルーミング抑圧状態からリーク抑圧状態への遷移とが相まって、問題の発生程度に応じた最適な抑圧効果を得ることが可能となる。
【0018】
また、前記第1の露光と前記第2の露光とで露光時間を等しく設定し、前記第1の画像信号と前記第2の画像信号の差分に基づいて、被写体の変化を検出するする手段を設けることにより、画質の揃った2画像から被写体の変化を精度良く検出することが可能となる。
【0019】
さらに、前記第1の露光と前記第2の露光とで露光時間を等しく設定し、前記第1の画像信号と前記第2の画像信号を加算平均して出力する手段を設けることにより、S/Nの高い高画質の画像信号を得ることが可能となる。
【0020】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【0021】
図中101は各種レンズからなるレンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞りを制御するための露出制御機構、104はメカシャッタ、105は色フィルタを内蔵したCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はA/D変換器等を含むプリプロセス回路、108は色信号生成処理,マトリックス変換処理,その他各種のデジタル処理を行うためのデジタルプロセス回路、109はカードインターフェース、110はメモリカード、111はLCD画像表示系を示している。
【0022】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種操作ボタンからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117はストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0023】
本実施形態のデジタルカメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、特にメカシャッタ104と、CCDドライバ106によるCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行い、それをプリプロセス回路107を介してデジタルプロセス回路108に取込んで、各種信号処理を施した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0024】
なお、CCD撮像素子105の駆動制御は、CCDドライバ106から出力される各種駆動信号(電荷移送パルスTG、垂直駆動パルス、水平駆動パルス、基板電圧VSUB、等)を用いて行われる。CCDカラー撮像素子105はマトリクス配置された電荷蓄積部と、水平および垂直にそれぞれ配置された電荷転送路(垂直電荷転送路、水平電荷転送路)とから構成されるものであり、例えばプログレッシブスキャン(順次走査)型で縦型オーバーフロードレイン(VOFD)構造のものなどが用いられる。
【0025】
電荷移送パルスTGが出力されると、各電荷蓄積部と垂直電荷転送路との間に設けられた転送ゲートが開き、各電荷蓄積部から対応する垂直電荷転送路に電荷が移送される。電荷移送パルスTGの出力タイミングにより、実質的な露光時間の制御が行われる。また基板電圧VSUBは電荷蓄積部の最大電荷蓄積レベル(オーバーフローレベルOFL)を決定するための基板バイアス電圧であり、またこのVSUBは、ここに大きな値のパルスを重畳することにより基板への全電荷強制排出にも用いられる。
【0026】
本実施形態のデジタルカメラに於いては、以下に詳述する2画像連続撮像に関する撮像制御シーケンス、特にオーバーフローレベルOFLの可変制御に関する部分を除けば、通常のデジタルカメラと同様の動作および制御が行われるものであって、そのような公知の部分については説明を省略する。
【0027】
図2には、本実施形態の撮像素子105として利用される、縦型オーバーフロードレイン構造のインターライン型CCDの断面構造が示されている。
n型半導体基板400は接合の浅いPウェルの第1領域401と接合の深いPウェルの第2領域402とで形成されている。第1領域401の接合n型領域が形成された領域部分はフォトダイオード、いわゆる光電変換領域(電荷蓄積部)403として作用する。
【0028】
第2領域402には埋込みチャネル404からなる垂直シフトレジスタ即ち転送電極405が形成される。その主面は絶縁層406を介して転送電極405が配置されている。光電変換領域403と埋込みチャネル404は高いp型不純物層からなるチャネルストップ領域407によって分離されている。
【0029】
また光電変換領域403と対応する埋込みチャネル404との間にトランスファーゲート領域408が配置されている。さらに、光電変換領域403以外は金属層409で遮光されている。ブルーミング抑制はN型半導体基板400と、Pウェルの第1領域401及び第2領域402との接合に逆バイアス電圧である基板バイアス電圧VSUB411を印加し、光電変換領域403直下のPウェルの第1領域401を完全に空乏化(空乏層化)することにより実現される。また、前述したようにVSUBに高電位のパルスを重畳することにより、全電荷強制排出を行うことができる。
【0030】
図3には、基板バイアス電圧VSUBに対する電荷蓄積部の飽和信号量(オーバーフローレベルOFL)の変化特性が示されている。図示のように、基板バイアス電圧VSUBの絶対値を大きくすることにより、オーバーフローレベルOFLを低下させることができる。
【0031】
(撮像制御シーケンス1)
以下、図4のタイミングチャートを参照して、2画像連続撮像時の撮像制御シーケンスの第1の例について説明する。
【0032】
なお、ここでは、OFLに対応した基板バイアス値をVSUB、電荷排出時の重畳パルスはSUBパルスとして区別することにする。また飽和レベルを高く取るためにはOFLを高くすれば良いが、過剰電荷が溢れてブルーミングとなるためこれはできない。従って以下で述べる「通常撮像時のOFL」とはブルーミングを生じない範囲でのOFLの最大レベルに設定されることになる。これに対応するVSUB値をVNとする。またVDは垂直同期信号(但し必要に応じてリセットがかけられるから、その意味では1フレーム動作の開始基準信号と言うこともできる)、V転送は垂直転送路を駆動するための垂直駆動パルス、メカシャッタはメカシャッタ104の開閉状態を示している。
【0033】
シャッタトリガ(撮影開始指令)が入力されると、その後の最初のVDに同期して撮像動作が開始される。垂直駆動パルスによって公知の高速電荷排出駆動を開始すると同時に、高電圧のSUBパルスを出力し、これにより垂直転送路と電荷蓄積部それぞれの不要電荷を排出する。そして本露光1の開始時点になると、最終のSUBパルスを出力することにより、2画像連続撮像のための全露光を開始する。このとき、メカシャッタ104はすでに開放状態となっている。
【0034】
続いて、メカシャッタ104を開放状態に保持したまま最初の電荷移送パルスTG1を出力して光電荷を垂直転送路に移送することにより、本露光1を終了する同時に第2の本露光2を開始する。このとき、筋引きスミアの発生を防止するために、本露光1により得られる第1の画像の読み出しはまだ開始せず待機、即ち垂直駆動パルスは停止し信号電荷の転送は止めておく。そして、メカシャッタ104の遮光により本露光2を終了した後、本露光1による第1画像を読み出すための転送路駆動を開始する。さらに、第1画像の読み出しが終了した後、第2の電荷移送パルスTG2で本露光2による第2画像を垂直転送路に移送してから、それを読み出すための転送路駆動を開始する。このように露光中には転送の駆動が無いから、第1画像にスミアが発生しても筋引きスミアにはならない。また第2画像の読み出しは、第1画像の読み出しによってスミアなどの不要電荷が転送路に全く存在しない状態で行われる。
【0035】
ここで従来のように、VSUBを通常の値VNに固定した場合はTG1で読み出された第1画像は従来どおりだが、第2画像は本露光2終了(遮光)後TG2まで数ミリ〜10数ミリ秒かかるため、飽和レベルの低下が発生する。
【0036】
本例では、メカシャッタ104による遮光が開始された後にVSUBの設定変更が開始され、遮光完了以前にVNからそれよりも低いVLに達している。つまり、TG1の出力以前の本露光1の期間においては「通常撮像時のOFL」に設定されているが、メカシャッタ104の遮光による全露光終了時点からTG2の出力時点に至るまでは「通常撮像時のOFL」よりも高いレベルに設定される。ここで、VLはVNの数10%低い値であり、この程度まで引き下げておけば飽和レベルの低下は殆ど生じない。
【0037】
なお、遮光完了以降はVSUBの設定値をVLよりもさらに下げても良い。遮光後に関しては光の入射が無いから、ブルーミングの問題は生じず、OFLを上げても画質への悪影響は無いからである。
【0038】
シャッタ104が閉じる遷移期間は板面照度が徐々に減少していくから、いわばブルーミングの悪影響からリークの悪影響への遷移期間ということができる。一方VSUBをVNからVLに下げることはブルーミング抑圧状態からリーク抑圧状態への切換えに相当している訳であるから、従って、この期間に電圧の切換を開始、完了することが必要となると同時に、図のようにこの期間に併せてVSUBの値を徐々に変化させることは、その障害の発生の程度に応じた抑圧効果が得られるという意味で特に有効な制御となる。
【0039】
以上の撮像制御により、時間的に隣接した2画像の飽和レベルをともに通常と同じにすることができるので、2画像の画質を相等しく保つことが可能となる。なお、OFLを上げることによるブルーミングの発生が一応懸念されるが、上記のように実質的に問題を生じない制御となっている。また、本露光1よりも本露光2の露光時間を長く設定しているが、これは2画像それぞれから良好な画素部分を抽出してそれらを合成することにより、広ダイナミックレンジの記録画像を得るためである。
【0040】
(撮像制御シーケンス2)
次に、図5のタイミングチャートを参照して、2画像連続撮像時における撮像制御シーケンスの第2の例について説明する。
【0041】
ここでは、VSUBはVNよりも下げない制御とする。すなわち、第2画像に飽和レベルの低下が生じるので、第1画像露光中(TG1出力完了まで)においてはこれに見合う低いOFLに対応したVHに設定しておき、TG1出力完了後速やかにVSUBをVHからVNに変更し、「通常撮像時のOFL」に設定し直す。この場合、2画像の飽和レベルは通常より低下するものの、相等しく保つことができる。またブルーミングが増加する懸念が全く無い。
【0042】
なお、第2画像における飽和レベルの低下は遮光後からTG2までの遅延時間に依存して変化するが、これは1フレーム期間で一定であるから、第1画像露光中(TG1出力完了まで)はこれに対応したVHの値に設定すればよい。
【0043】
また、もしVNへの変更の遅れが本露光2の期間に対して大きくなるとそれに伴い第2画像の飽和レベルの低下が発生し得るが、速やかな設定により通常は無視し得るものである。
【0044】
(動き検出および2画像の加算平均処理)
次に、上述の撮像制御シーケンス1または2による2画像連続撮像を応用した機能として、被写体の動き検出を行う例について説明する。
【0045】
(1)まず、事前の仮露光の撮像出力を用いて、システムコントローラ112に含まれる公知の測光手段により適正露出を演算し、使用する絞り値に基いた露光時間t1を決定する。
(2)絞りをその値に制御した後に、撮像制御1または2により、本露光1と本露光2の露光時間をいずれも同じt1に設定して撮像を行なう。
【0046】
(3)取り込んだ第1画像と第2画像に対して、相関演算により動きベクトル(x,y)を求める。具体的には、第1画像の中央部に所定サイズの基準ウインドウを設け、第2の画像の中央部近傍に基準ウインドウと同じサイズで、基準ウインドウからの相対位置座標が(i,j)である複数の検出ウインドウを設けて、各(i,j)毎に基準ウインドウの画像信号と検出ウインドウの画像信号の画素毎の差分絶対値の総和量を算出し、この総和量が最小となるような(i,j)を求めてこれを動きベクトル(x,y)とする。
【0047】
(4)動き量mを、m=(x2+y2)1/2によって求める。
(5)撮影の状況を、m≦2(数値2は例示であり、任意の値に設定し得る)によって判断する。すなわち、移動量は画像のぶれ(動きぼけ)に相当するが、これが2画素以内であれば良好、越えていればぶれ大と判断する。
(6)第1画像と第2画像の画素毎の平均演算を行ないこの加算平均の結果を記録画像として記録する。
(7)上記(5)で「ぶれ大」であった場合は警告を発する。
【0048】
本例によれば、2画像の平均加算によってランダムノイズが低減した高画質な画像を得る事が出来るとともに、2画像撮影技術を使用したにもかかわらず飽和レベルの低下を生じない、また例えば撮影時の手ぶれによって生じる画像のぶれをより正確に検出して警告することが可能な、高機能で高画質なカメラが実現できる。
【0049】
なお、2画像連続撮像は動き検出のみに使用し、実際に記録画像を得るための実撮像は、2画像連続撮像後に通常の単撮像によって行っても良い。この場合、単撮像時の露光時間t2としては、2画像連続撮像時における各撮像の露光時間t1とは異なる値を用いることもできるので、前述の(5)による実撮像画像のぶれの判断に際しては、露光時間比の換算を行なったm’(m’=m×t2/t1)を使用することが効果的である。つまり、2画像連続撮像により検出された動き量mの値を2画像連続撮像後に行われる実撮像時の露光時間に換算してm’を得、そしてm’≦2であるか否かを判定することにより実撮像時における画像のぶれ具合を検出する。
【0050】
さらに、(6)においては、第1と第2の画像の動きずれを補正する処理(例えば第2画像全体に対して(−x、−y)の座標シフト処理)を追加して、動きずれを補正した後の2画像の平均演算をするように構成することができる。これにより、動きぼけが1回の露光期間中に生じるものだけとなるので、極めて好適な変形形態となる。
【0051】
なお、この他にも以下のような様々な応用例が考えられる。
・予めメカシャッタ104を開放状態に保っておき、SUBパルスによって露光開始しても良い。この場合TG1出力以前は転送路の電荷排出駆動を継続的に行なう必要があるが、メカシャッタ104の制御は閉動作のみと単純化できる。もちろん、これとは別に先の実施例におけるメカシャッタ開と最終SUBパルス出力との順序を入れ替えてメカシャッタ104の開動作により、露光開始することも可能である。
【0052】
・TG1出力直後に電荷強制排出のためのSUBパルスを出してから本露光2を開始させても良い。(このようなものも含めて第1露光終了と第2露光の開始が実質的に同時であれば目的は達成されるから、本発明の請求の範囲に含まれる。)
【0053】
【発明の効果】
以上説明したように、本発明によれば、2画像をタイミングずれなく得るという条件を充たしながら、飽和レベルの低下を生じ無い高画質な撮像を実現することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係わる撮像装置の構成を示すブロック図。
【図2】同実施形態の撮像装置で用いられる撮像素子の断面構造を示す図。
【図3】同実施形態で用いられる撮像素子の基板電圧とオーバーフローレベルとの関係を示す図。
【図4】同実施形態で用いられる第1の撮像制御シーケンスを示すタイミングチャート。
【図5】同実施形態で用いられる第2の撮像制御シーケンスを示すタイミングチャート。
【符号の説明】
101…撮像レンズ
102…レンズ駆動機構
103…露出制御機構
104…メカシャッタ
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス回路
108…デジタルプロセス回路
112…システムコントローラ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that captures a subject image using an imaging element such as a CCD.
[0002]
[Prior art]
In recent years, various attempts have been proposed to obtain a captured image with a wide dynamic range by combining two images having different exposure amounts. In particular, even when a destructive readout type image sensor such as a CCD is used in order to prevent processing failure that occurs when a subject moves during the shooting of two images, A reading method devised so as to minimize the timing shift is described in, for example, Japanese Patent Laid-Open No. Hei 4-207581.
[0003]
Such two-image continuous imaging technology with a minimum time difference is not limited to the above wide dynamic range imaging, and has the potential to be applied to various image quality enhancement and new imaging functions by image processing using two images. As such, the technical expectations are great.
[0004]
[Problems to be solved by the invention]
In the application of synthesizing two images obtained by two-image continuous imaging, naturally, while satisfying special constraints different from general imaging in which two images can be obtained without timing deviation, of course, for normal one-image imaging. The image quality should not be degraded. Further, even if a slight deterioration in image quality is allowed, it is generally required that the image quality of the two images is the same, and this is a problem when one image quality is deteriorated. .
[0005]
However, since the above-mentioned special constraints are imposed, there are limited methods that can deal with various image quality degradation factors as compared with the case of taking a single image. It was. From this point of view, the present applicant is able to significantly reduce the occurrence of smear as compared with the prior art while satisfying the above-mentioned special restriction conditions by the previous patent application (Japanese Patent Application No. 2000-77136). Has proposed.
[0006]
However, even in such an imaging technique, particularly in the second image, the saturation level of the image signal is reduced as compared with the image obtained by capturing only one normal image or the first image when two images are continuously captured. The problem arises. More specifically, this phenomenon is caused by charge leakage in the photoelectric conversion accumulation region. Here, the above-described charge leakage which is a problem of the present invention becomes prominent after light shielding of the mechanical shutter, for example, and a part of the accumulated charge below the overflow level is lost with time in the charge accumulation unit of the image sensor. This is a phenomenon in which the saturation level of the signal in the charge storage portion is lowered.
[0007]
This is because the charge is discharged to the substrate side by overcoming the overflow level due to the quantum mechanical fluctuation of electrons. At this time (if no new photocharge is generated), the potential of the charge accumulating portion decreases as the charge leaks, so that the leakage current attenuates with the passage of time after light shielding. As a result, the accumulated charge amount, that is, the saturation signal amount of the image sensor output shows a logarithmic decay characteristic with respect to the elapsed time after light shielding, and the value is, for example, the saturation level after 1-2 ms. It drops to about 70%. Naturally, this is a quantum mechanical effect, so it can be ignored if the amount of charge handled is sufficiently large. However, since the amount of charge per pixel has become extremely small due to the recent increase in the number of pixels in the image sensor, it has become apparent. It is a phenomenon that is going on.
By the way, the existence of this phenomenon has been known per se. For example, in the interlaced scanning CCD image sensor, a technique for taking measures against the problem that the accumulated charge amounts in the odd field and the even field do not match and a line step is generated. The applicant himself has proposed (Japanese Patent Laid-Open No. 09-163239).
[0008]
On the other hand, in the progressive scanning CCD image pickup device, such a problem does not occur in principle because the shutter is electronically closed by a single charge transfer pulse (TG pulse). This is because the decrease in the saturation level due to this leak occurs during the period until the electric charge is transferred from the charge storage section to the vertical transfer path, so that in the sequential scanning type imaging device, the input light is irradiated. Even when a TG is output or when a mechanical shutter is used together, the TG is output almost simultaneously with the closing of the shutter so that the saturation level does not decrease, and the TG is output after a long time from the closing of the mechanical shutter. This is because even if the saturation level is lowered by this, there is no line step difference at least as in the interlaced scanning type imaging device, so that only a slight deterioration in image quality with respect to only that one image has occurred.
[0009]
However, regarding the two-image continuous imaging technique, even if a progressive scanning CCD imaging device is used, the above-mentioned special restriction condition is still imposed. The problem due to the decrease in the temperature will be noticeable. Moreover, since this occurs only in the second image, even if the deterioration is tolerable in general imaging, there is a problem that the image quality of the first image and the second image is not uniform. Will be invited.
[0010]
Of the above-mentioned problems, an example of a problem caused by irregular image quality is given as a reference. For example, there is a technique for detecting the movement of a subject by comparing the correlation between two images. For example, a reference window of a predetermined size is provided in the center of the first image, for example, the same size as the reference window in the vicinity of the center of the second image, and the relative position coordinates from the reference window are (i, j). A plurality of detection windows are provided, and for each (i, j), the total amount of difference absolute values for each pixel of the image signal of the reference window and the image signal of the detection window is calculated, and this total amount is minimum. (I, j) that obtains the maximum image correlation in the region to be compared is obtained and used as a motion vector (x, y). For example, prior to combining the two images, it may be used for an auxiliary purpose such as combining after correcting the shift between the two images due to movement, or canceling the combining if the shift is large. It can also be used to detect motion information independently of synthesis. In such a correlation comparison, it will be apparent that a malfunction may be caused if the image quality of the two comparison images is not uniform.
[0011]
Of course, before such a problem of uneven image quality, even if only one of the two images is used, it is a problem that image quality deterioration cannot be avoided under the constraint conditions of two-image shooting. In applications where random noise is reduced by adding and averaging to improve the image quality, the image quality of the second image is reduced, so that the image quality of the total image is lower than the originally obtained image quality. Is clear.
[0012]
The present invention has been made in view of the above-mentioned circumstances. While satisfying the constraint that two images can be obtained without timing shift, the first does not cause a decrease in the saturation level, and the second temporarily. An object of the present invention is to provide an imaging apparatus that can realize high-quality two-image continuous imaging in which the image quality of two images is uniformed by aligning the degree of lowering of the saturation level between the two images.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides a solid-state imaging device, a driving unit that drives the solid-state imaging device, and an optical that can switch between a transmission state and a light-shielding state of a subject image with respect to an imaging surface of the solid-state imaging device. And an imaging control unit that controls exposure and image signal readout by controlling the driving unit and the shutter unit, and the imaging control unit is configured to control the shutter when imaging an image to be captured. Full exposure relating to the imaging is started by switching the light shielding state from the light shielding state by the means to the transmission state or outputting the final charge discharge pulse SUB by the driving means in the transmission state of the shutter means, and the light transmission state by the shutter means is shielded. Switch to the state to end all exposure related to the imaging, and from the start of all exposure to the total exposure The first exposure is finished by outputting the first charge transfer pulse TG1 by the driving means during the period of time, and the second exposure is started simultaneously with the first exposure. The transfer path driving of the solid-state imaging device for reading the generated first image signal is started after the completion of all exposures, and after the reading of the first image signal is finished, the second exposure is performed. The generated second image signal is transferred to the transfer path of the solid-state imaging device by the output of the second charge transfer pulse TG2, and then the transfer path is driven to read it out. Then, the set value of the substrate bias voltage VSUB of the solid-state imaging device is controlled to a different value, and the overflow level determined corresponding to the set value of the substrate bias voltage VSUB is set. In the first exposure period before the output of the first charge transfer pulse TG1, the first level is reached, and in the period from the end of all exposure to the output time of the second charge transfer pulse TG2, the first charge transfer pulse TG1 is output. The saturation level after the reading of the first image signal and the second image signal is kept equal to each other by setting each of the second level and the second level higher than the second level. To do.
[0014]
In this imaging apparatus, control is performed to set the overflow level of the solid-state imaging device to be larger in the period from the end of all exposures to the output point of the second charge transfer pulse TG2 than in the first exposure period. . As a result, the saturation level of the second image before the occurrence of the leak can be relatively increased with respect to the first image, so that at least the saturation levels of both the first and second images can be set to be equal, and the image quality of the two images is uniform. It is possible to realize continuous image pickup with high image quality.
[0015]
Further, the setting level change from the first level to the second level of the overflow level is started and completed within the transition period from the transmission state to the light-shielding state of the shutter unit related to the end of all exposure. It is preferable to control.
[0016]
In the transition period in which the shutter means is closed, the plate surface illuminance of the solid-state image sensor gradually decreases, so this period can be considered as a transition period from the adverse effect of blooming to the adverse effect of leak. On the other hand, increasing the overflow level corresponds to switching from the blooming suppression state to the leak suppression state. Therefore, by starting and completing the change of the overflow level during the transition period in which the shutter means is closed, it is possible to suppress the influence of blooming due to the increase of the overflow level, and to solve the problem due to the charge leak after the light is cut off. It becomes possible to improve.
[0017]
In particular, by using the control of gradually changing the overflow level from the first level to the second level in accordance with the transition from the transmission state to the light shielding state of the shutter unit, the transition from the blooming problem to the leakage problem can be achieved. Combined with the transition from the blooming suppression state to the leak suppression state, it is possible to obtain an optimal suppression effect according to the degree of occurrence of the problem.
[0018]
A means for detecting a change in a subject based on a difference between the first image signal and the second image signal, wherein the exposure time is set to be equal between the first exposure and the second exposure; By providing, it becomes possible to detect the change of the subject with high accuracy from two images with uniform image quality.
[0019]
Furthermore, by providing means for setting the exposure time to be equal between the first exposure and the second exposure, and averaging and outputting the first image signal and the second image signal, S / A high-quality image signal with a high N can be obtained.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of an imaging apparatus according to an embodiment of the present invention. Here, the case where it implement | achieves as a digital camera is illustrated and demonstrated.
[0021]
In the figure, 101 is a lens system composed of various lenses, 102 is a lens driving mechanism for driving the lens system 101, 103 is an exposure control mechanism for controlling the aperture of the lens system 101, 104 is a mechanical shutter, and 105 is a color filter. Built-in CCD color image sensor, 106 is a CCD driver for driving the image sensor 105, 107 is a preprocess circuit including an A / D converter, 108 is a color signal generation process, matrix conversion process, and other various digital processes A digital process circuit for performing the processing, 109 is a card interface, 110 is a memory card, and 111 is an LCD image display system.
[0022]
In the figure, 112 is a system controller (CPU) for comprehensively controlling each part, 113 is an operation switch system including various operation buttons, 114 is an operation display system for displaying operation states and mode states, Reference numeral 115 denotes a lens driver for controlling the lens driving mechanism 102, 116 denotes a strobe as a light emitting means, 117 denotes an exposure control driver for controlling the strobe 116, and 118 denotes a nonvolatile memory for storing various setting information and the like. EEPROM).
[0023]
In the digital camera of the present embodiment, the system controller 112 performs all the control, and in particular, controls the mechanical shutter 104 and the CCD image sensor 105 driven by the CCD driver 106 to control exposure (charge accumulation) and signals. Is read into the digital process circuit 108 via the pre-process circuit 107 and subjected to various signal processing, and then recorded on the memory card 110 via the card interface 109.
[0024]
The drive control of the CCD image sensor 105 is performed using various drive signals (charge transfer pulse TG, vertical drive pulse, horizontal drive pulse, substrate voltage VSUB, etc.) output from the CCD driver 106. The CCD color imaging device 105 includes a charge storage unit arranged in a matrix and charge transfer paths (vertical charge transfer path, horizontal charge transfer path) arranged horizontally and vertically, for example, progressive scan ( A sequential scanning type vertical overflow drain (VOFD) structure or the like is used.
[0025]
When the charge transfer pulse TG is output, a transfer gate provided between each charge storage unit and the vertical charge transfer path is opened, and charge is transferred from each charge storage unit to the corresponding vertical charge transfer path. The substantial exposure time is controlled by the output timing of the charge transfer pulse TG. The substrate voltage VSUB is a substrate bias voltage for determining the maximum charge accumulation level (overflow level OFL) of the charge accumulating unit, and this VSUB is obtained by superimposing a large value pulse on the total charge on the substrate. It is also used for forced discharge.
[0026]
In the digital camera of the present embodiment, operations and controls similar to those of a normal digital camera are performed except for an imaging control sequence related to two-image continuous imaging described in detail below, particularly a portion related to variable control of the overflow level OFL. The description of such known parts is omitted.
[0027]
FIG. 2 shows a cross-sectional structure of an interline CCD having a vertical overflow drain structure, which is used as the image sensor 105 of the present embodiment.
The n-type semiconductor substrate 400 is formed of a first region 401 with a shallow junction and a second region 402 with a deep junction. The region of the first region 401 where the junction n-type region is formed functions as a photodiode, so-called photoelectric conversion region (charge storage portion) 403.
[0028]
In the second region 402, a vertical shift register or transfer electrode 405 including a buried channel 404 is formed. A transfer electrode 405 is disposed on the main surface through an insulating layer 406. The photoelectric conversion region 403 and the buried channel 404 are separated by a channel stop region 407 made of a high p-type impurity layer.
[0029]
A transfer gate region 408 is disposed between the photoelectric conversion region 403 and the corresponding buried channel 404. Further, light is shielded by the metal layer 409 except for the photoelectric conversion region 403. In order to suppress blooming, a substrate bias voltage VSUB 411, which is a reverse bias voltage, is applied to the junction between the N-type semiconductor substrate 400 and the first region 401 and the second region 402 of the P well, and the first well of the P well immediately below the photoelectric conversion region 403 is applied. This is realized by completely depleting the region 401 (depletion layer). Further, as described above, all charges can be forcibly discharged by superimposing a high potential pulse on VSUB.
[0030]
FIG. 3 shows a change characteristic of the saturation signal amount (overflow level OFL) of the charge storage unit with respect to the substrate bias voltage VSUB. As shown in the figure, the overflow level OFL can be lowered by increasing the absolute value of the substrate bias voltage VSUB.
[0031]
(Imaging control sequence 1)
Hereinafter, a first example of the imaging control sequence during continuous imaging of two images will be described with reference to the timing chart of FIG.
[0032]
Here, the substrate bias value corresponding to OFL is distinguished as VSUB, and the superimposed pulse at the time of discharging the charge is distinguished as a SUB pulse. In order to obtain a high saturation level, the OFL may be increased, but this is not possible because excessive charge overflows and blooms. Therefore, “OFL during normal imaging” described below is set to the maximum level of OFL within a range where blooming does not occur. The VSUB value corresponding to this is VN. VD is a vertical synchronization signal (however, since it is reset if necessary, it can also be called a start reference signal for one frame operation in that sense), V transfer is a vertical drive pulse for driving a vertical transfer path, The mechanical shutter indicates the open / close state of the mechanical shutter 104.
[0033]
When a shutter trigger (shooting start command) is input, an image pickup operation is started in synchronization with the first VD thereafter. A known high-speed charge discharge drive is started by the vertical drive pulse, and at the same time, a high-voltage SUB pulse is output, thereby discharging unnecessary charges in the vertical transfer path and the charge storage unit. Then, at the start time of the main exposure 1, a final SUB pulse is output to start full exposure for two-image continuous imaging. At this time, the mechanical shutter 104 is already open.
[0034]
Subsequently, the first charge transfer pulse TG1 is output while the mechanical shutter 104 is kept open to transfer the photocharge to the vertical transfer path, thereby completing the main exposure 1 and starting the second main exposure 2 at the same time. . At this time, in order to prevent the occurrence of the streaking smear, the reading of the first image obtained by the main exposure 1 is not started yet, i.e., the vertical drive pulse is stopped and the transfer of the signal charge is stopped. Then, after the main exposure 2 is completed by shielding the mechanical shutter 104, transfer path driving for reading the first image by the main exposure 1 is started. Further, after the reading of the first image is completed, the second image by the main exposure 2 is transferred to the vertical transfer path by the second charge transfer pulse TG2, and then the transfer path driving for reading it is started. Since there is no transfer driving during exposure in this way, even if smear occurs in the first image, it does not cause streaking smear. Further, the reading of the second image is performed in a state where unnecessary charges such as smear are not present in the transfer path by reading the first image.
[0035]
Here, when VSUB is fixed to the normal value VN as in the conventional case, the first image read in TG1 is the same as the conventional one, but the second image is several millimeters to 10 until TG2 after the main exposure 2 ends (light shielding). Since it takes several milliseconds, the saturation level is lowered.
[0036]
In this example, the VSUB setting change is started after the light shielding by the mechanical shutter 104 is started, and the VN reaches a lower VL than the VN before the light shielding is completed. That is, in the period of the main exposure 1 before the output of TG1, “OFL at the time of normal imaging” is set, but from the end of all exposure due to light shielding of the mechanical shutter 104 to the output time of TG2, “at the time of normal imaging” Is set to a level higher than “OFFL”. Here, VL is a value several tens of percent lower than VN, and if it is lowered to this level, the saturation level hardly decreases.
[0037]
Note that the VSUB set value may be further lowered than VL after the completion of light shielding. This is because there is no light incident after the light is blocked, so that the problem of blooming does not occur, and even if the OFL is increased, there is no adverse effect on the image quality.
[0038]
Since the plate surface illuminance gradually decreases during the transition period in which the shutter 104 is closed, it can be said to be a transition period from the adverse effect of blooming to the adverse effect of leakage. On the other hand, lowering VSUB from VN to VL corresponds to switching from the blooming suppression state to the leak suppression state. Therefore, it is necessary to start and complete voltage switching during this period. As shown in the figure, gradually changing the value of VSUB along with this period is a particularly effective control in the sense that a suppression effect according to the degree of occurrence of the failure can be obtained.
[0039]
With the above imaging control, the saturation levels of two temporally adjacent images can be made the same as usual, so that the image quality of the two images can be kept equal. Although the occurrence of blooming due to an increase in OFL is a concern, the control does not substantially cause a problem as described above. In addition, the exposure time of the main exposure 2 is set longer than that of the main exposure 1. This is because a good pixel portion is extracted from each of the two images and synthesized to obtain a recorded image with a wide dynamic range. Because.
[0040]
(Imaging control sequence 2)
Next, a second example of the imaging control sequence at the time of two-image continuous imaging will be described with reference to the timing chart of FIG.
[0041]
Here, it is assumed that VSUB is not controlled to be lower than VN. That is, since the saturation level of the second image is lowered, during the first image exposure (until TG1 output is completed), VH corresponding to a low OFL corresponding to this is set, and VSUB is immediately set after TG1 output is completed. Change from VH to VN and reset to “OFL during normal imaging”. In this case, the saturation level of the two images is lower than usual, but can be kept equal. Also, there is no concern that blooming will increase.
[0042]
Note that the decrease in the saturation level in the second image changes depending on the delay time from light shielding to TG2, but since this is constant in one frame period, during the first image exposure (until TG1 output is completed) What is necessary is just to set to the value of VH corresponding to this.
[0043]
Also, if the delay in changing to VN increases with respect to the period of the main exposure 2, the saturation level of the second image may be lowered accordingly, but it can usually be ignored by quick setting.
[0044]
(Motion detection and averaging of two images)
Next, an example of subject motion detection will be described as a function to which two-image continuous imaging according to the imaging control sequence 1 or 2 described above is applied.
[0045]
(1) First, an appropriate exposure is calculated by a known photometric unit included in the system controller 112 using an image output of preliminary exposure in advance, and an exposure time t1 based on the aperture value to be used is determined.
(2) After controlling the aperture to that value, the imaging control 1 or 2 sets the exposure times of the main exposure 1 and the main exposure 2 to the same t1, and performs imaging.
[0046]
(3) A motion vector (x, y) is obtained by correlation calculation for the captured first image and second image. Specifically, a reference window having a predetermined size is provided in the center of the first image, the same size as the reference window is provided in the vicinity of the center of the second image, and the relative position coordinates from the reference window are (i, j). A plurality of detection windows are provided, and for each (i, j), the sum of absolute difference values for each pixel of the image signal of the reference window and the image signal of the detection window is calculated, and this sum is minimized. (I, j) is obtained and this is set as a motion vector (x, y).
[0047]
(4) The amount of movement m is expressed as m = (x2 + y2) 1/2 Ask for.
(5) The state of shooting is determined by m ≦ 2 (numerical value 2 is an example and can be set to an arbitrary value). That is, the amount of movement corresponds to image blur (motion blur), but if this is within 2 pixels, it is judged good, and if it exceeds, it is judged that the blur is large.
(6) An average calculation is performed for each pixel of the first image and the second image, and the result of the addition average is recorded as a recorded image.
(7) A warning is issued if “blur is large” in (5) above.
[0048]
According to this example, it is possible to obtain a high-quality image in which random noise is reduced by the average addition of two images, and the saturation level does not decrease despite the use of the two-image shooting technique. It is possible to realize a high-functionality and high-quality camera that can detect and warn of image blur caused by camera shakes more accurately.
[0049]
Note that two-image continuous imaging may be used only for motion detection, and actual imaging for actually obtaining a recorded image may be performed by normal single imaging after two-image continuous imaging. In this case, as the exposure time t2 at the time of single imaging, a value different from the exposure time t1 of each imaging at the time of continuous imaging of two images can be used. It is effective to use m ′ (m ′ = m × t2 / t1) obtained by converting the exposure time ratio. In other words, the value of the motion amount m detected by the two-image continuous imaging is converted into an exposure time at the time of actual imaging performed after the two-image continuous imaging to obtain m ′, and it is determined whether m ′ ≦ 2. By doing so, the degree of blurring of the image during actual imaging is detected.
[0050]
Furthermore, in (6), a process for correcting the movement deviation between the first and second images (for example, a coordinate shift process of (−x, −y) with respect to the entire second image) is added to obtain the movement deviation. It is possible to configure so as to perform an average calculation of the two images after correcting. As a result, only a motion blur is generated during one exposure period, which is a very preferable modification.
[0051]
In addition, the following various application examples are conceivable.
-The mechanical shutter 104 may be kept open in advance, and exposure may be started by a SUB pulse. In this case, it is necessary to continuously perform the charge discharging drive of the transfer path before the output of TG1, but the control of the mechanical shutter 104 can be simplified to only the closing operation. Needless to say, the exposure can be started by opening the mechanical shutter 104 by switching the order of the mechanical shutter opening and the final SUB pulse output in the previous embodiment.
[0052]
The main exposure 2 may be started after a SUB pulse for forcibly discharging charges is output immediately after TG1 output. (Including such a case, the object can be achieved if the end of the first exposure and the start of the second exposure are substantially at the same time, which are included in the scope of the claims of the present invention.)
[0053]
【The invention's effect】
As described above, according to the present invention, it is possible to realize high-quality imaging that does not cause a decrease in saturation level while satisfying the condition that two images can be obtained without timing deviation.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a cross-sectional structure of an image sensor used in the image pickup apparatus of the embodiment.
FIG. 3 is a view showing a relationship between a substrate voltage and an overflow level of the image sensor used in the embodiment.
FIG. 4 is a timing chart showing a first imaging control sequence used in the embodiment.
FIG. 5 is a timing chart showing a second imaging control sequence used in the embodiment.
[Explanation of symbols]
101 ... Imaging lens
102: Lens drive mechanism
103. Exposure control mechanism
104 ... Mechanical shutter
105 ... CCD color image sensor
106 ... CCD driver
107: Preprocess circuit
108: Digital process circuit
112 ... System controller

Claims (5)

固体撮像素子と、前記固体撮像素子を駆動する駆動手段と、前記固体撮像素子の撮像面に対する被写体像の透過状態と遮光状態とを切換え可能な光学的シャッタ手段と、前記駆動手段および前記シャッタ手段を制御して露光および画像信号の読み出しを制御する撮像制御手段とを具備し、
前記撮像制御手段は、当該撮像対象たる画像の撮像に際して、前記シャッタ手段による遮光状態から透過状態への切換えまたは前記シャッタ手段の透過状態において前記駆動手段により最終の電荷排出パルスSUBを出力することによって当該撮像に関する全露光を開始し、前記シャッタ手段による透過状態を遮光状態に切換えることにより当該撮像に関する全露光を終了させ、かつ前記全露光開始から前記全露光終了に亘る期間中に前記駆動手段により第1の電荷移送パルスTG1を出力することによって第1の露光を終了させると同時に第2の露光を開始させるように構成され、かつ前記第1の露光によって生成された第1の画像信号の読み出しのための前記固体撮像素子の転送路駆動を前記全露光終了後に開始するとともに、前記第1の画像信号の読み出しが終了した後に、前記第2の露光によって生成された第2の画像信号を第2の電荷移送パルスTG2の出力により前記固体撮像素子の転送路に移送してから、これを読み出すための転送路駆動を行なうように構成されたものであって、
前記固体撮像素子の基板バイアス電圧VSUBの設定値を異なる値に制御して該基板バイアス電圧VSUBの設定値に対応して定まるオーバーフローレベルを、前記第1の電荷移送パルスTG1の出力以前の第1の露光期間においては第1のレベルに、前記全露光終了時点から前記第2の電荷移送パルスTG2の出力時点に至る期間においては前記第1のレベルよりも大きい第2のレベル以上にそれぞれ設定することにより、前記第1の画像信号と前記第2の画像信号の読み出し後の飽和レベルを相等しく保つように構成されていることを特徴とする撮像装置。
A solid-state imaging device; a driving unit for driving the solid-state imaging device; an optical shutter unit capable of switching between a transmission state and a light-shielding state of a subject image with respect to an imaging surface of the solid-state imaging device; and the driving unit and the shutter unit Imaging control means for controlling the exposure and readout of the image signal by controlling
The imaging control unit switches the light shielding state from the light shielding state to the transmission state by the shutter unit or outputs the final charge discharge pulse SUB by the driving unit in the transmission state of the shutter unit when imaging the image to be captured. Starts full exposure related to the imaging, ends the total exposure related to the imaging by switching the transmission state by the shutter means to a light shielding state, and the driving means during the period from the start of the full exposure to the end of the full exposure. The first exposure is finished by outputting the first charge transfer pulse TG1, and the second exposure is started at the same time, and the first image signal generated by the first exposure is read out. The transfer path driving of the solid-state imaging device for the first time is started after the completion of the entire exposure, and the first After the readout of the image signal is completed, the second image signal generated by the second exposure is transferred to the transfer path of the solid-state imaging device by the output of the second charge transfer pulse TG2, and then read out. And is configured to perform transfer path driving for
The set value of the substrate bias voltage VSUB of the solid-state imaging device is controlled to a different value, and the overflow level determined corresponding to the set value of the substrate bias voltage VSUB is set to the first level before the output of the first charge transfer pulse TG1. In the exposure period, the first level is set, and in the period from the end of all exposure to the output time of the second charge transfer pulse TG2, it is set to a second level higher than the first level. Thus, the image pickup apparatus is configured to keep the saturation level after reading the first image signal and the second image signal equal to each other.
前記オーバーフローレベルの第1のレベルから第2のレベルへの設定レベルの変更は、全露光終了に係る前記シャッタ手段の透過状態から遮光状態への遷移期間内に開始されかつ完了するものであることを特徴とする請求項1記載の撮像装置。The change of the setting level from the first level to the second level of the overflow level is started and completed within the transition period from the transmission state to the light-shielding state of the shutter unit related to the end of all exposure. The imaging apparatus according to claim 1. 前記第1の露光と前記第2の露光とで露光時間を等しく設定し、前記第1の画像信号と前記第2の画像信号の差分に基づいて、被写体の変化を検出する手段をさらに具備することを特徴とする請求項1記載の撮像装置。The first exposure and the second exposure are further set to have the same exposure time, and further includes means for detecting a change in the subject based on the difference between the first image signal and the second image signal. The imaging apparatus according to claim 1. 前記第1の露光と前記第2の露光とで露光時間を等しく設定し、前記第1の画像信号と前記第2の画像信号を加算平均して出力する手段をさらに具備することを特徴とする請求項1記載の撮像装置。The apparatus further comprises means for setting the exposure time to be equal between the first exposure and the second exposure, and adding and averaging the first image signal and the second image signal. The imaging device according to claim 1. 固体撮像素子を用いて2画像の連続撮像を行うことが可能な撮像装置であって、
前記固体撮像素子の撮像面に対する被写体像の透過状態と遮光状態とを切換え可能な光学的シャッタ手段と、
前記2画像の連続撮像のための全露光期間中に第1の電荷移送パルスTG1を出力することによって第1の露光を終了させると同時に第2の露光を開始させ、かつ前記第1の露光によって生成された第1の画像信号の読み出しのための前記固体撮像素子の転送路駆動を前記全露光期間終了後に開始するとともに、前記第1の画像信号の読み出しが終了した後に、前記第2の露光によって生成された第2の画像信号を第2の電荷移送パルスTG2の出力により前記固体撮像素子の転送路に移送してから、これを読み出すための転送路駆動を行なう撮像制御手段とを具備し、
前記撮像制御手段は、全露光終了に係る前記シャッタ手段の透過状態から遮光状態への遷移に合わせて、前記固体撮像素子の電荷蓄積部のオーバーフローレベルが第1のレベルからそれよりも大きい第2のレベルに次第に変化するように、前記固体撮像素子の基板バイアス電圧VSUBの設定値を制御するように構成されていることを特徴とする撮像装置。
An imaging apparatus capable of continuously capturing two images using a solid-state imaging device,
An optical shutter means capable of switching between a transmission state and a light-shielding state of a subject image with respect to an imaging surface of the solid-state imaging device;
By outputting the first charge transfer pulse TG1 during the entire exposure period for continuous imaging of the two images, the first exposure is terminated at the same time as the second exposure is started, and the first exposure is performed. The second exposure is started after the transfer path driving of the solid-state imaging device for reading the generated first image signal is started after the whole exposure period is finished, and after the reading of the first image signal is finished. And an image pickup control means for driving the transfer path for reading out the second image signal generated by the transfer to the transfer path of the solid-state imaging device by the output of the second charge transfer pulse TG2. ,
The image pickup control means has a second overflow level higher than the first level from the first level in accordance with the transition from the transmissive state to the light-shielded state of the shutter means at the end of the entire exposure. An image pickup apparatus configured to control a set value of a substrate bias voltage VSUB of the solid-state image pickup device so as to gradually change to a level of the solid state image pickup device.
JP2000115356A 2000-04-17 2000-04-17 Imaging device Expired - Fee Related JP4372961B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000115356A JP4372961B2 (en) 2000-04-17 2000-04-17 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000115356A JP4372961B2 (en) 2000-04-17 2000-04-17 Imaging device

Publications (2)

Publication Number Publication Date
JP2001298667A JP2001298667A (en) 2001-10-26
JP4372961B2 true JP4372961B2 (en) 2009-11-25

Family

ID=18627018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000115356A Expired - Fee Related JP4372961B2 (en) 2000-04-17 2000-04-17 Imaging device

Country Status (1)

Country Link
JP (1) JP4372961B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3878575B2 (en) 2003-04-28 2007-02-07 松下電器産業株式会社 Solid-state imaging device and driving method thereof
JP5096297B2 (en) * 2008-11-28 2012-12-12 株式会社キーエンス Imaging device
EP3840364B1 (en) * 2015-12-03 2024-09-04 Panasonic Intellectual Property Management Co., Ltd. Image-capture device

Also Published As

Publication number Publication date
JP2001298667A (en) 2001-10-26

Similar Documents

Publication Publication Date Title
US8174590B2 (en) Image pickup apparatus and image pickup method
CN101931760B (en) Image sensor and driving method of electronic apparatus
US8488035B2 (en) Camera system for suppressing spurious signal
US20080007639A1 (en) Solid-state imaging apparatus for controlling a sweep transfer period in dependence upon the amount of unnecessary charges to be swept out
JPH1141523A (en) Image pickup device
JPH07298142A (en) Imaging device having gradation control function
JP4024581B2 (en) Imaging device
JP2005130045A (en) Image pickup apparatus and image pickup element used therefor
JP2004282552A (en) Solid state imaging device and solid state imaging apparatus
US20040239790A1 (en) Image capturing apparatus
EP0403939B1 (en) Method of driving a solid state imaging device
US7659933B2 (en) Imaging device and driving method for solid-state imaging device
US7388611B2 (en) Solid-state image-taking apparatus, solid-state image-taking system, and apparatus and method for driving the solid-state image-taking apparatus
JP5037078B2 (en) Solid-state imaging device and driving method thereof
JP4372961B2 (en) Imaging device
JPH0678224A (en) Ccd image pickup device and its driving method
JP3802596B2 (en) Electronic camera
US7733403B2 (en) Method of driving CCD type solid-state imaging device and solid-state imaging apparatus
JP5127579B2 (en) Imaging apparatus and signal processing method thereof
JP4327927B2 (en) Imaging device
JP2001177762A (en) Image pickup device
JP4436513B2 (en) Imaging device
JP3639491B2 (en) Imaging device
JPH09107505A (en) Image pickup device
JP2001086413A (en) Image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees