JP4377970B2

JP4377970B2 - 撮像装置

Info

Publication number: JP4377970B2
Application number: JP20588895A
Authority: JP
Inventors: 善郎宇田川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-08-11
Filing date: 1995-08-11
Publication date: 2009-12-02
Anticipated expiration: 2015-08-11
Also published as: JPH0955885A

Description

【０００１】
【発明の属する技術分野】
本発明はディジタルスチルカメラ、ビデオカメラ等の撮像装置に関するものである。
【０００２】
【従来の技術】
従来のＣＣＤ等の撮像素子を用いた撮像装置を高解像度化するためには、使用する撮像素子の画素数を増やすかあるいは３板式のように撮像素子の使用個数を増やす方法が考えられる。しかしながら前者の方法では、撮像素子の価格が上昇し、後者の方法では、撮像素子３個分の価格が必要になると共に、光路を３つに分岐するための光学プリズムのような大きな光学部材が必要になるという問題が生じる。
【０００３】
そこで「画素ずらし」という手法を用いて高解像度化することが知られている。画素ずらしは、互いの位置が微小量ずれている複数枚の画像を得、それらを合成することにより１枚の高解像度の静止画像を得るという方法であり、例えば特公昭５０−１７１３４号公報等に開示されている。
画素ずらしを単板式で行うものとしては、例えば特公平１−８６３号に開示される技術が知られている。これは光学系、撮像素子又は被写体を所定量づつずらせながら撮像して得た複数枚の画像を合成することにより、１枚の高解像度の静止画像を得るというものである。
【０００４】
【発明が解決しようとする課題】
しかしながら上述した従来の画素ずらしは基本的な技術が提案されているだけであり、特に単板式で画素ずらしを行う場合に、具体的にどのように色処理等を行うのか、また動画の撮像を行いながら静止画の高解像度化処理を行うのか等については何ら開示されてなく、実際の撮像装置を開発する上で問題となっていたものである。
【０００５】
そこで本発明は、画素ずらしによる高解像度化を実現することのできる撮像装置を得ることを目的としている。
【０００６】
【課題を解決するための手段】
本発明においては、静止画撮像スイッチを有する撮像装置において、撮像面に結像された被写体像を光電変換して画像信号と成す撮像素子と、上記撮像素子の撮像面に結像される上記被写体像を所定期間毎に微少量変位させる画像変位手段と、上記撮像素子の撮像面から上記被写体像に係る画像信号を読み出す際、上記所定期間毎に上記微少量変位分タイミングを変えて画像信号の読み出しを行う読み出し制御手段と、上記読み出し制御手段から上記所定期間毎に順次に読み出しされた複数の画像信号を動画像信号として記録する記録手段と、動画モードで撮像されている期間中に上記静止画撮像スイッチがＯＮされた場合に上記タイミングを変えて読み出された複数の画像信号の合成処理を行い、静止画を生成する合成処理手段とを備えたことを特徴とする。
【０００７】
【作用】
本発明によれば、画像変位手段は撮像素子の撮像面上で例えば１フィールドの所定期間毎に被写体像を例えば１画素ずつずらせる。読み出し制御手段は、撮像面から所定期間ずつずらされた画像信号を順次にずれを補正するタイミングで読み出す。さらに、合成処理手段は、動画モードで撮像されている期間中に静止画撮像スイッチがＯＮされた場合にタイミングを変えて読み出された複数の画像信号の合成処理を行い、静止画を生成するようにしている。従って、動画を撮像しながら高解像度静止画を得ることができる。
【０００８】
【発明の実施の形態】
図１は本発明の実施例による単板方式による撮像装置の構成を示すブロック図である。
図において、レンズ１を経て入射した被写体像は可変頂角プリズム２により画素ずらしされた後、色フィルタ３ａを介して撮像素子としてのＣＣＤ３の撮像面に結像される。
【０００９】
可変頂角プリズム２は、図示のように２枚の透明板１０２ａ、１０２ｂを蛇腹１０３ａ、１０３ｂで接続して形成される空間に高屈折率の液体１２０を封入して成るもので、透明板１０２ａ、１０２ｂを光軸に対して傾けることにより、ＣＣＤ３の撮像面上に結像される被写体像をずらすことができるものである。尚、この可変頂角プリズム２については図７について後述により詳しく説明する。
【００１０】
ＣＣＤ３は結像された被写体像を光電変換して画像信号と成し、この画像信号はＳ／Ｈ・Ａ／Ｄ変換回路４でサンプリングホールドされた後、ディジタル画像信号に変換される。メモリコントローラ５は上記ディジタル画像信号を取り込んでメモリ６に一旦書き込んだ後、これを読み出してＤＳＰ（デジタル信号処理回路）７に送る。ここで処理された信号はメモリコントローラ５を経てＤ／Ａ変化器８によりアナログ信号に変換され、所定方式のビデオ信号として出力される。また、ＤＳＰ７で処理された信号あるいは上記ビデオ信号を記録装置２０で記録することもできる。
以上の動作はシステムコントローラ９の制御により行われる。またシステムコントローラ９は制御回路１０を介して可変頂角プリズム２の画素ずらしを制御すると共に、駆動回路１１を介してＣＣＤ３を駆動制御する。
【００１１】
図２は単板方式におけるＣＣＤ３の撮像面に設けられる色分解用の色フィルタ３ａの配列を示す。
図示のように、Ｇフィルタが各行、各列に画素毎にオフセットされて配され、その間にＲ、Ｂの各フィルタが配されたいわゆるベイヤー配列となっている。
【００１２】
次に上記色フィルタ配列を用いた場合の信号処理の方法について説明する。
先ず、１ライン目の輝度信号Ｙ₁は、
Ｙ₁＝Ｇ₁₁、Ｒ₁₁、Ｇ₂₁、Ｒ₂₁、Ｇ₃₁……
のように、ライン上の各画素値をスイッチングすることにより作られる。以下同様にして、
Ｙ₂＝Ｂ₁₂、Ｇ₁₂、Ｂ₂₂、Ｇ₂₂………
Ｙ₃＝Ｇ₁₃、Ｒ₁₃、Ｇ₂₃、Ｒ₂₃………
により各ラインの輝度信号が作られる。
【００１３】
次に低域色信号Ｒ_L、Ｇ_L、Ｂ_Lを作る。これは各色画素値のローパスフィルタ（ＬＰＦ）を用いた補間により以下のようにして作られる。
Ｒ_L1＝Ｒ₁₁、（Ｒ₁₁＋Ｒ₂₁）／２、Ｒ₂₁、（Ｒ₂₁＋Ｒ₃₁）／２・・・・・・
Ｇ_L1＝Ｇ₁₁、（Ｇ₁₁＋Ｇ₂₁）／２、Ｇ₂₁、（Ｇ₂₁＋Ｇ₃₁）／２・・・・・・
Ｂ_L1＝Ｂ₁₂、（Ｂ₁₂＋Ｂ₂₂）／２、Ｂ₂₂、（Ｂ₂₂＋Ｂ₃₂）／２・・・・・・
次にこれらの低域色信号Ｒ_L、Ｇ_L、Ｂ_Lを用いて色差信号Ｒ−Ｙ、Ｂ−Ｙが作られる。
【００１４】
以上の処理はＤＳＰ７で行われる。図３はＤＰＳ７における、動画処理に関する部分を示す。
前記メモリ６からの１画面分のデータをＬＰＦ１２に通じ、さらにバンドパスフィルタ１３に通じることにより、アパーチャ補正信号ＡＰＣが得られる。この信号ＡＰＣとＬＰＦ１２からの信号とが加算器１４で加算されることにより、輝度信号Ｙが得られる。
【００１５】
一方、上記１画面分のデータは色分離回路１５で色分離処理されてＲＧＢ信号が得られ、このＲＧＢ信号をＬＰＦ１６に通じることにより、低域色信号Ｒ_L、Ｇ_L、Ｂ_L信号が得られる。さらにこの信号Ｒ_L、Ｇ_L、Ｂ_Lをマトリクス回路１７でマトリクス処理することにより色差信号Ｒ−Ｙ、Ｂ−Ｙを得ることができる。
【００１６】
次に、ＣＣＤ３の読み出しタイミングと可変頂角プリズム２の制御タイミングについて説明する。
図４はＣＣＤ３の構成を模式的に示す。
図において、各フォトダイオード３ａに蓄積された電荷は垂直レジスタ３ｂに読み出され、垂直駆動パルスＶＣＣＤに従って１水平ブランキング期間に２段づつ２本の水平レジスタ３ｃ、３ｄに転送される。転送された電荷は水平駆動パルスＨＣＣＤに従って１水平走査期間内に出力アンプ３ｅ、３ｆを介して出力される。
【００１７】
ここで、ＣＣＤ３の水平画素数６４０、垂直画素数４８０であるとすると、
（６４０×２）×２４０
により、１フィールド期間内に全ての画素を読み出すことができる。
【００１８】
図５は上述した１フィールド全画素読み出し方式におけるＣＣＤ３と可変頂角プリズム２の動作タイミングを示す。
（Ａ）はフィールドインデックス信号であり、ＯＤＤフィールド、ＥＶＥＮフィールドを示す。（Ｂ）はＳＹＮＣパルスで、水平同期信号を示す。（Ｃ）は上記垂直駆動パルスＶＣＣＤ、（Ｄ）は上記水平駆動パルスＨＣＣＤである。また（Ｅ）は可変頂角プリズム２の位置制御パルスであり、ＯＤＤフィールドとＥＶＥＮフィールドとで異る位置にセットして、フィールド間で画素ずらしが行われることを示している。
【００１９】
図６（ａ）は図５（Ｄ）の水平駆動パルスＨＣＣＤのＯＤＤフィールドにおける（ａ）の部分の拡大を示し、図６（ｂ）は同じくＥＶＥＮフィールドにおける（ｂ）の部分の拡大を示したものであり、それぞれ水平ブランキング期間との関係を示している。
即ち、ＯＤＤフィールドでは、通常の走査開始位置から水平レジスタ３ｃ、３ｄを読み出し始める。こさに対してＥＮＥＮフィールドでは、１画素分遅れたタイミングで読み出しを始めている。
【００２０】
このように、ＯＤＤでフィールドとＥＶＥＮフィールドとでＣＣＤ３の読み出しタイミングを調整することによって、可変頂角プリズム２によりＣＣＤ３の撮像面上でフィールド毎にずらされた被写体像の光学的位置のずれを補正することができる。尚、ここでのずらし量１画素分は被写体像の光学的変位量と対応している。
【００２１】
以上述べた動作によれば、ＣＣＤ３で連続する動画を撮像する場合、フィールド毎に画素ずらしを行っても、ＣＣＤ３から画素ずらしされた画像データを取り出しながら、しかも連続した動画出力には何らの位置ずれを生じさせないようにすることができる。
【００２２】
図７は可変頂角プリズム２の構成を示す。
図において、１０２ａ、１０２ｂは対向する２枚の透明板であり、これとその外周を封止する前記蛇腹１０３ａ、１０３ｂとしてのフィルム１０３とによって密封された空間に高屈折率の前記液体１２０（不図示）が満たされている。１０４ａ、１０４ｂは透明板１０２ａ、１０２ｂを挟持する枠体であり、透明板１０２ａ、１０２ｂをピッチ軸１０５ａ、ヨ一軸１０５ｂの周りに回動自在に保持している。
【００２３】
１０６ａは前側枠体１０４ａの一端に固着された駆動コイルであり、その両面に対向して永久磁石１０７ａ並びに継鉄１０８ａ、１０９ａが配置され、これらによって閉じた磁気回路を構成している。１１１ａは枠体１０４ａに一体的に構成された腕部であり、ここにスリット１１０ａを有している。１１２ａ及び１１３ａは上記スリット１１０ａを挟んで対向した位置に配置される例えばＩＲＥＤ等の発光素子及び受光した光束のスポットの位置によって出力が変化する例えばＰＳＤ等の受光素子であり、発光素子１１２ａから発射された光束はスリット１１０ａを透過した後に受光素子１１３ａへ照射されるようになっている。
【００２４】
１１４ａ、１１４ｂは装置全体のピッチ方向、ヨ一方向の振れ量を検出できるように装置の支持部に取り付けられた振れ検出器である。１０ａは装置の制御を行う制御回路、１０ｂは制御回路１０ａよりの駆動信号にしたがって上記駆動コイル１０６ａを駆動するコイル駆動回路、１１５は駆動コイル１０６ａの作用点であり、空間上の表われない点である。
【００２５】
なお、図７では省略しているが、ヨ一方向にもそれぞれ駆動コイル１０６ｂ、永久磁石１０７ｂ、継鉄１０８ｂ、１０９ｂ、スリット１１０ｂ、腕部１１１ｂ、発光素子１１２ｂ、受光素子１１３ｂが配置され、ピッチ側の動作と同様に機能する。
【００２６】
上記のように構成された可変頂角プリズム２によれば、制御回路１０ａ、駆動回路１０ｂにより駆動コイル１０６ａ、１０６ｂを駆動制御し、透明板１０２ａ、１０２ｂをそれぞれの方向に傾けることによって、ＣＣＤ３の撮像面上で被写体像を１フィールド毎に水平又は垂直方向に１画素分ずらせることができる。
【００２７】
次に上記の画素ずらしによって１フィールドづつ得られる複数枚の画像から１枚の高解像度静止画を得る方法について図８、図９を用いて説明する。
図８（ａ）はＯＤＤフィールドにおけるＣＣＤ３の撮像面上における色フィルタの画素配置を示す。図８（ｂ）はＥＶＥＮフィールドにおけるＣＣＤ３の撮像面上における色フィルタの画素配置を示すもので、ＯＤＤフィールドと同一の被写体像に対して画素配置が相対的に１画素分水平方向にずれている。
【００２８】
即ち、（ａ）ではＧ信号のサンプリングに寄与した画素情報が（ｂ）ではＲ又はＢ信号のサンプリングに寄与している。また（ａ）でＲ又はＢ信号のサンプリングに寄与した画素情報は（ｂ）ではＧ信号のサンプリングに寄与している。
【００２９】
この図８の（ａ）と（ｂ）のデータを組み合わせると、図９（ａ）（ｂ）に示すような第１の画像データと第２の画像データとが得られる。第１の画像データは、輝度信号の形成に最も寄与するＧ信号が全画面にわたって得られる。また、第２の画像データは、ＲとＢとが水平ストライプ状に配列されている。このように２フィールドで得られるずらされた２つの画像を合成することにより、図９に示す高帯域信号用の２つの画像データが生成される。
【００３０】
これらの第１、第２の画像データの処理回路を図１０に示す。
図において、図８（ａ）（ｂ）に示すＯＤＤフィールドのデータとＥＶＥＮフィールドのデータとは色分離回路２１により図９に示す第１の画像データと第２の画像データとに色分離される。このうちＲ、Ｂ信号についてはＲＢ垂直補間回路２２により垂直方向に補間され、低域色信号Ｒ_L、Ｇ_L、Ｂ_Lが生成される。また
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ
により輝度信号Ｙが生成される。
【００３１】
次に各種輪郭補償処理やＬＰＦ処理がＬＰＦ、ＡＰＣ処理回路２４で行われることにより、高帯域の輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを得ることができる。
【００３２】
次に上記処理における信号のサンプリングに対応する光学ＬＰＦについて説明する。
高帯域画像データのサンプリングにおける特徴はＲとＢの信号が水平ストライプ状に配列されていることである。従って、このＲＢの水平ストライプの周波数よりも高い周波数帯域を光学的に除去しておかないとモアレが発生する。
【００３３】
図１１は上記の場合におけるサンプリングから生ずるキャリアの出る様子を示す。
図において、水平ストライプにより作り出される繰り返しパターンによって、Ｒ、Ｂ信号成分については垂直＝ｆ_SV／２、水平＝０、ｆ_HSのポイントにあるキャリアが問題となる。従って、これをトラップするように、垂直方向に光学ＬＰＦをＣＣＤ３の前に設ける必要がある。
【００３４】
光学ＬＰＦを設けることにより、垂直方向に帯域が制御されてしまうが、実際には、動画の撮像時にはフリッカ防止のために垂直＝ｆ_SV／２のポイントをトラップすることが多いので、実質的には問題はない。
【００３５】
次に静止画と動画との切り換えについて説明する。
本実施例では、通常は動画モードで撮像されている。その間前述したように可変頂角プリズム２と読み出し位置の制御が動作している。また、不図示の静止画撮像スイッチがＯＮされると、ＯＮされた直後のフィールドについて前述した合成処理が行われて出力される。
【００３６】
本実施例では純色ベイヤー型の色フィルタ配列を使用して、ＯＤＤフィールドとＥＶＥＮフィールドとで高解像度化をはかる方法について説明したが、補色モザイク型色フィルタを用いても同様の効果が得られる。
図１２は補色モザイク色フィルタ配列の一例を示す。この色フィルタ配列のＣＣＤ３を左右、上下に１画素づつ４画素変位することで１サイクルとなるように可変頂角プリズム２を駆動する。上下方向にも変位する場合には、水平方向だけでなく垂直方向の読み出し位置をそれに合わせてずらせる必要がある。
【００３７】
また実施例では、ＣＣＤ３の読み出し位置による制御を行ったが、出力表示する時に調整制御を行うようにしてもよい。
また、本装置の出力画像の記録については説明していないが、ＣＣＤ３の出力をそのまま順次記録してもよいし、輝度・色差信号に変換後に記録してもよい。さらに高解像度化処理を記録した信号に対して行うようにしてもよい。
【００３８】
【発明の効果】
本発明によれば、動画を撮像しながら高解像度静止画を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すブロック図である。
【図２】色フィルタの構成図である。
【図３】動画処理を示すブロック図である。
【図４】ＣＣＤの構成図である。
【図５】動作を示すタイミングチャートである。
【図６】図５の一部の拡大図である。
【図７】可変頂角プリズムの分解斜視図である。
【図８】フィールド毎の色フィルタ画素配置を示す構成図である。
【図９】合成された画像データの構成図である。
【図１０】静止画処理のブロック図である。
【図１１】サンプリングキャリアを説明するための特性図である。
【図１２】色フィルタの他の配列を示す構成図である。
【符号の説明】
２可変頂角プリズム
３ＣＣＤ
３ａ色フィルタ
５メモリコントローラ
６メモリ
７ＤＳＰ
９システムコントローラ
１０制御回路
１１駆動回路

Claims

静止画撮像スイッチを有する撮像装置において、
撮像面に結像された被写体像を光電変換して画像信号と成す撮像素子と、
上記撮像素子の撮像面に結像される上記被写体像を所定期間毎に微少量変位させる画像変位手段と、
上記撮像素子の撮像面から上記被写体像に係る画像信号を読み出す際、上記所定期間毎に上記微少量変位分タイミングを変えて画像信号の読み出しを行う読み出し制御手段と、
上記読み出し制御手段から上記所定期間毎に順次に読み出しされた複数の画像信号を動画像信号として記録する記録手段と、
動画モードで撮像されている期間中に上記静止画撮像スイッチがＯＮされた場合に上記タイミングを変えて読み出された複数の画像信号の合成処理を行い、静止画を生成する合成処理手段とを備えた撮像装置。
上記被写体像を色分解するための複数の色フィルタを配列して成る色フィルタ手段を上記撮像素子の撮像面に設け、
上記画像変位手段は、上記被写体像の同一部分が異る色フィルタに対応するように上記被写体像を変位させるようにした請求項１記載の撮像装置。
上記合成処理手段により合成処理された上記複数の画像信号を記録する記録手段を設けた請求項１記載の撮像装置。