JP5597777B2 - カラー撮像素子及び撮像装置 - Google Patents
カラー撮像素子及び撮像装置 Download PDFInfo
- Publication number
- JP5597777B2 JP5597777B2 JP2013551607A JP2013551607A JP5597777B2 JP 5597777 B2 JP5597777 B2 JP 5597777B2 JP 2013551607 A JP2013551607 A JP 2013551607A JP 2013551607 A JP2013551607 A JP 2013551607A JP 5597777 B2 JP5597777 B2 JP 5597777B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- phase difference
- pixel
- color
- difference detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は、位相差検出画素を持つカラー撮像素子と、このカラー撮像素子を搭載した撮像装置に関する。
CCD型やCMOS型等の撮像素子は、光電変換素子でなる画素を二次元アレイ状に配列形成して構成される。図22(a)は、1画素分の平面図を例示するものであり、矩形の光電変換素子(フォトダイオード:以下、画素という。)1の上に遮光膜1aを積層し、その遮光膜1aに開口1bを設けている。この開口1bは、受光量を多くとれるように、なるべく画素1の受光面を覆わないように広く形成される。
この様な多数の画素1を、二次元アレイ状に半導体基板表面部に配列形成するのであるが、近年では、位相差検出画素を、被写体画像を撮像する画素1の配列中に混在させた撮像素子が提案され、実機に適用される様になっている。
図22(b)は、位相差検出画素の一例の平面図である。位相差検出画素2では、図22(a)の開口1bより狭い遮光膜開口2bが、画素中心に対して右側に偏心する様に設けられている。位相差検出画素3では、遮光膜開口2bと同じ大きさの狭い遮光膜開口3bが、画素中心に対して左側に偏心する様に設けられている。
遮光膜開口2b,3bが左右方向にずれた位相差検出画素2,3のペアを用いることで、左右方向つまり水平方向の入射光位相差情報を取得することができる。そして、この位相差検出画素ペアを、撮像素子内で水平方向に並べれば、位相差情報の水平方向の分布を求めることができ、この分布情報から、例えば被写体までの焦点距離を検出することが可能となる。このため、下記の特許文献1,2では、位相差検出画素2,3を、焦点検出用の画素として用いている。
図23は、特許文献1,2に記載された位相差検出画素の配置例を説明する図である。位相差検出画素以外の画素(通常画素ということにする。)の遮光膜開口の図示は省略している。従来の撮像素子5では、通常画素1が正方格子状に配列形成されており、その中の所定範囲内の1行分の全画素が、位相差検出画素2,3のペアとなっている。
この様に、一行分の全画素を位相差検出画素ペアにすることで、検出する位相差情報の水平方向解像度が高くなるという利点がある。なお、狭い遮光膜開口2b,3bを画素中心に対して偏心させることで位相差検出画素ペアを構成する例について述べた。しかし、通常画素1の隣接2画素に対して楕円形状の1個のマイクロレンズを搭載して瞳分割を行い、位相差検出画素ペアとするものもある。
図23に示す従来技術の様に、1行分の画素の全てを位相差検出画素とすることで、水平方向に解像度の高い位相差情報の分布データを取得することが可能となる。しかし、一方で、不具合も生じる。位相差検出画素は、通常画素1より受光量が少なくかつ位相差を持った構造のため、普通は、位相差検出画素の画素位置の被写体撮像画像信号は、周囲の通常画素の撮像画像信号を補間演算して求める様にしている。つまり、位相差検出画素は、被写体の撮像に関しては、欠陥画素と同じ扱いになっている。
図23に示す撮像素子5では、位相差検出画素2,3が水平方向に隙間無く敷き詰められた一行の画素行になっている。このため、位相差検出画素2,3の画素位置における撮像画像信号は、この画素行の上下の通常画素の撮像画像信号を用いて補間演算することになる。つまり、1行分の信号が全て補間演算により生成されることになるため、この1行分の画質が劣化してしまう。
図23の構成に対し、図24に示す様に、位相差検出画素2,3を垂直方向に並べ、この位相差検出画素ペアを水平方向に並べれば、図23の場合に比較して水平方向解像度を2倍にすることができる。しかし、この構成では、水平方向ラインの2ライン分が位相差検出画素で埋められてしまう。このため、位相差検出画素位置の撮像画像信号を補間演算して求めるとき、この2ライン分の画質が劣化してしまう。
特に、カラー画像を撮像する撮像素子では、カラーフィルタ配列との関係もあり、位相差情報の解像度と、位相差検出画素位置の撮像画像信号を画素補間演算で求めるときの画質との関係も考慮して、何処に位相差検出画素を配置すれば良いかを考える必要がある。
本発明の目的は、解像度の高い位相差情報を検出でき、しかも、位相差検出画素位置の撮像画像信号を周囲画素の撮像画像信号で高品位に画素補間することができるカラーフィルタ配列と位相差検出画素の配置位置との組み合わせを実現するカラー撮像素子及び撮像装置を提供することにある。
本発明のカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなるカラー撮像素子であって、
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分の全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分の全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
本発明の撮像装置は、上記のカラー撮像素子を搭載したことを特徴とする。
本発明によれば、解像度の高い位相差情報を検出でき、しかも、位相差検出画素位置の撮像画像信号を周囲画素の撮像画像信号で高品位に画素補間することが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置の機能ブロック構成図である。撮像装置30には、例えば、CMOS型の撮像素子31が配置される。撮像素子31は、図22に例示したような通常画素と位相差検出画素とが混在する素子である。撮像素子31の前段には撮影レンズ29が配置される。また、撮像装置30には、撮像素子31の出力画像信号を取り込んでバス32に出力する画像入力コントローラ33が設けられる。なお、撮像素子31は、CCD型等の他の形式の撮像素子でも良い。
バス32には、撮像素子31の出力画像信号に対して周知の画像処理を施す画像信号処理回路34と、画像処理後の画像信号をJPEG画像データ等に圧縮する圧縮処理回路35と、撮像装置30背面等に設けられた画像表示装置36に撮像画像やスルー画像(ライブビュー画像)を表示するビデオエンコーダ37と、この撮像装置30を統括制御するCPU40と、撮像素子31からスルー画像として出力される信号を処理して自動露出(AE),自動焦点(AF)及び自動ホワイトバランス(AWB)を検出する回路41と、メインメモリ42と、位相差検出画素位置の撮像画像信号を画素補間で求める処理回路43と、記録メディア44にJPEG画像データを保存するメディアコントローラ45とが接続されている。処理回路43の機能は、画像信号処理回路34の機能の一部である。
撮像素子31は、タイミングジェネレータ47からのタイミング信号によって駆動され、タイミングジェネレータ47は、CPU40からの指示によって動作する。撮影レンズ29のフォーカスレンズ位置もCPU40からの指示によって駆動される。CPU40には、シャッタレリーズボタン48が接続されている。
撮像素子31における位相差検出画素の配置とカラーフィルタ配列との関係を説明する前に、位相差検出画素の配置位置について図2〜図10を用いて説明する。カラーフィルタ配列との関係については、図11以降で説明する。
図2〜図10では、図を見やすくするために、図22(b)で説明した位相差検出画素ペアの一方の画素を「X」で標記し、他方を「Y」で標記し、通常画素は矩形枠だけで示すことにする。また、以下の説明では、位相差検出画素Xを「X画素」、位相差検出画素Yを「Y画素」ともいうことにする。
図2に示す例では、同一水平ライン(同一画素行)51に位相差検出画素Xを隙間無く敷き詰め、その3水平ライン下の同一画素行54に位相差検出画素Yを隙間無く敷き詰めている。隙間無くとは、水平方向に隣接する位相差検出画素間に1画素分の隙間も無い、即ち、通常画素が配置されないという意味である。
また、「カラー撮像素子の所定の領域内の画素群おいて、水平方向成分全てに位相差検出画素が配置されている」とは、カラー撮像素子を垂直方向から見た場合に、位相差画素が所定の領域において水平方向の全ての画素位置に配列されている状態を示す。つまり、各垂直ライン上にある位相差検出画素を垂直方向に移動させ、1つの水平行(例えば3行目)に配置し直した結果、水平方向に1画素分の隙間もなく、全て位相差検出画素が配置される状態をいう。例えば、後述の図5において、X画素は、垂直方向の配置位置が異なることを無視すれば、水平方向の全位置に設けられている。ここで所定の領域内の画素群とは、撮像素子に配置された全画素群のうち一部の領域内の画素群を含むものであるが、全領域の画素群であっても良い。
同様に、「カラー撮像素子の所定の領域内の画素群おいて、垂直方向成分全てに位相差画素が配置されている」とは、水平方向に見た場合に、位相差検出画素が所定の領域において垂直方向に全て配列されている状態を示す。つまり、各水平ライン上にある位相差検出画素を水平方向に移動させ、1つの垂直列(例えば3列目)に配置し直した結果、垂直方向に1画素分の隙間もなく、全て位相差検出画素が配置される状態をいう。例えば、後述の図9の左下の6×6画素群において、Y画素を第1列目に移動させると、Y画素は1画素分の隙間無く、列方向に並ぶことになる。即ち、Y画素は、水平方向の配置位置が異なることを無視すれば、垂直方向の全位置に設けられる。同様に、所定の領域内の画素群とは、撮像素子に配置された全画素群のうち一部の領域内の画素群を含むものであるが、全領域の画素群であっても良い。
ペアを組むXYの組み合わせは、同一垂直ライン(例えば同一画素列61)上のX画素とY画素である。この程度又はこの数倍程度、垂直方向にペア画素XYがずれていてもよい。このようにしても、例えば、近年の1000万画素以上を搭載した撮像素子では、同一被写体の同一水平線上の画像がペア画素XYに入射していると考えることができるので、位相差情報を取得するのに問題はない。
図2の例を図24の例と比較すると、図2では、X画素を設けた水平ライン51とY画素を設けた水平ライン54との間に通常画素のライン52,53が存在する。このため、X画素位置の撮像画像信号を画素補間で求める場合、ライン52,53の通常画素の撮像画像信号も使用して算出できるため、画素補間精度が向上し、画像品質が高くなる。
ここで、垂直方向に隣接させた位相差検出画素ペアXYを、ペア単位に水平方向に並べることで得られる位相差情報の分布データについて説明する。図3は、図1のAF検出回路41が検出した位相差情報の分布データを例示する図である。図2の水平行51,54に配列された位相差検出画素ペアXYは、3画素行離間しているが、撮像素子上の位相差検出画素ペアXYの横並びのラインには、被写体のうち同一水平線上の位置からの出射した光が入射していると考えることができる。
位相差検出画素Xは、図22(b)から分かる通り、画素中心から右側に遮光膜開口2bが偏心している。これは、画素側から見ると、遮光膜開口2bは、左目側の開口となっている。位相差検出画素Yの遮光膜開口3bは、逆に、右目側の開口となっている。
つまり、横並びの夫々の位相差検出画素Xが検出した検出信号値を結ぶX検出信号線と、横並びの夫々の位相差検出画素Yが検出した検出信号値を結ぶY検出信号線とは、左右の目で同一被写体を見たときの左右の視差量つまり位相差量だけずれる。このズレ量(位相差量)を求めれば、被写体までの距離を算出することができる。
図1のCPU40は、AF検出回路41から図3のデータを受け取ると、撮影レンズ29のフォーカスレンズ位置を被写体に合焦させる位置に移動させる。この移動により、図3の2つのX検出信号線とY検出信号線との間のズレは小さくなり、合焦した位置で、両方の信号線は重なることになる。このようにしてAF処理が実行される。
図3に示すX検出信号線上のプロット点は、各X画素の検出信号量である。もし、図23に示す様に、ペア画素XYを水平方向に隣接させると、図3に比べてX検出信号線のプロット点の密度は半分となる。このため、図23より図3の方が、得られる位相差情報の解像度が高くなる。
この様に解像度の高い位相差情報を得る場合、図2の例では、ペアを構成するX画素とY画素との間を3画素分離間させた。しかし、更に6画素分に離間させても、高精細画像を撮影できる1000万画素クラスの撮像素子では、同一被写体位置から出射した光はペア画素に入ると考えることができる。
そこで、図4に示す位相差検出画素ペアXYの配列が考えられる。図2の例では、X画素を同一水平ライン上に敷き詰めたが、図4の例では、水平方向3画素ずつ、X画素の垂直方向の位置をずらして、これに合わせてペア対象のY画素位置もずらしている。
この図4の例でも、垂直方向の位置ズレを度外視すれば、ペアを構成するX画素及びY画素がどの垂直ライン(画素列)にも存在することになる。この結果、図2の構成例と同じ解像度の位相差情報の分布データを得ることができる。
しかも、この図4の構成例の場合、例えばX画素71と同一垂直位置(同一水平ライン)に通常画素72が存在することになる。この結果、X画素71の撮像画像信号を画素補間で算出するとき、この通常画素72の撮像画像信号も用いて計算ができ、撮像画像の品質を高めることが可能となる。
図5は、図4の配置例を更にバラバラにして、どの位相差検出画素も、周囲8画素位置に他の位相差検出画素が来ない様に、かつ、ペアを構成するX画素とY画素との間に6画素分の距離を設けている。垂直方向の位置ズレを度外視したとき、どの垂直ライン(画素列)にも位相差検出画素ペアXYが存在するため、位相差情報の水平方向解像度を高く維持できる。更に、この図5の例は、縦6画素×横12画素の画素群を単位として、位相差検出画素の配列位置を同じとしている。
図5の配置例によれば、隣接箇所に位相差検出画素が無く、通常画素だけとしている。つまり、位相差検出画素は、この位相差検出画素に隣接する水平方向、垂直方向のいずれかの方向の画素のライン上に配置された他の位相差検出画素とは、垂直方向及び水平方向に異なる位置に配置されている。そのため、この位相差検出画素の撮像画像信号を画素補間で求めるときの補正精度が向上し、更に高品質な撮像画像を得ることが可能となる。
図6の配置例では、位相差検出画素の配置位置は図5の例と同じである。しかし、この12×12画素群を4つの6×6画素群に分け、右上の6×6画素群の位相差検出画素(図5ではX画素)を図6ではY画素とし、右下の6×6画素群の位相差検出画素(図5ではY画素)を図6ではX画素としている。
この様に、垂直方向だけでなく、水平方向でもペア画素XYが組めるようにしておけば、水平方向の位相差情報の分布データを得るばかりでなく、垂直方向の位相差情報の分布データを得ることが可能となる。
図7は、別の位相差検出画素の配置例を示す図である。図5の配置列と同様に、6×6画素群を単位として、この画素群中に、6個の位相差検出画素を設けている。しかし、図5とは異なり、位相差検出画素を、どの水平ライン(画素行)にも、かつ、どの垂直ライン(画素列)にも必ず1個設けている。また、垂直方向にペアを構成するX画素とY画素との距離は6画素分としている。
図7の配置例は、図5の配置例と同じく、縦6画素×横12画素の画素群にX画素を設け、この下部位置に当たる縦6画素×横12画素の画素群にY画素を設ける構成を繰り返している。これに対し、図8の配置例では、図6と同様に、12×12画素群を4個の6×6画素群に分け、図7の配置例に対し、右上の画素群中にY画素を配置し、右下の画素群中にX画素を配置している。
この図8の配置例によれば、垂直方向に並ぶX画素とY画素をペア画素としたとき、各垂直ラインにペア画素が存在するため、水平方向に高解像度の位相差情報を得ることが可能となる。また、水平方向に並ぶX画素とY画素をペア画素としたとき、各水平ラインにペア画素が存在するため、垂直方向に高解像度の位相差情報を得ることが可能となる。
図9は、更に別の配置例を示す図である。この例では、正方格子状に配列される画素のうち、正方格子の左上角と右下角を結ぶ対角線に平行な方向(以下、斜め方向という。)に、X画素を連続して敷き詰め、このX画素に対して水平方向又は垂直方向に6画素分離れた斜め方向にY画素を敷き詰めて構成される。
同一垂直ライン上のX画素とY画素とをペア画素としても良く、同一水平ライン上のX画素とY画素をペア画素としても良い。この例による位相差情報の分布データは、水平方向と垂直方向の両方を得ることができ、その解像度は、水平方向,垂直方向共に、図2の位相差画素配列の場合と同じく高解像度となる。
図10は、図9の変形例である。斜め方向に隣接する位相差検出画素をX画素,Y画素,X画素,Y画素,…と交互に設けている。そして、斜め方向に隣接する2本の位相差検出画素ラインの同一水平位置(又は同一垂直位置)の2つの位相差検出画素の一方をX画素,他方をY画素とすれば、図9の場合と同様に、水平方向,垂直方向の位相差情報を高解像度で得ることが可能となる。
図10の配置例で、斜め方向に隣接するX画素,Y画素の組みをペア画素とすることも可能である。この場合には、水平方向,垂直方向の位相差情報を図23の配置で得られる解像度(図9の場合の半分の解像度)で得ることが可能となる。
この図9,図10に例示する斜め方向の位相差検出画素の配置でも、位相差検出画素の同一垂直位置,同一水平位置に多くの通常画素が存在するため、位相差検出画素の撮像画像信号を画素補間により高精度に求めることが可能となる。
図11(a)は、上述した図2〜図10で説明した位相差検出画素の配置例を適用するのに好適なカラーフィルタ配列を示す図である。空白の矩形枠は、G画素(G色のカラーフィルタを搭載した画素をいうものとする。R画素,B画素も同様の意味で使う。)であるが、「G」の標記を省略し、図面を見易くしている。
このカラーフィルタ配列は、図11(b)の第1配列と図11(c)の第2配列とを、水平方向,垂直方向共に交互に繰り返し配列することで形成される。
図11(b)の第1配列では、3×3画素群の中央及び4隅の5画素をGフィルタとし、この5画素以外の4画素のうちの同一画素列の2画素をRフィルタ、残り2画素をBフィルタとすることで構成される。また、図11(c)に示す様に、上記4画素のうち同一画素行の2画素をRフィルタ、残り2画素をBフィルタとした配列パターンが第2配列となる。
図11(b)(c)に示す第1配列,第2配列を水平方向,垂直方向に交互に並べると、G画素が4画素ずつ塊になった箇所が離散的,周期的位置に形成される。
図11(a)のカラーフィルタ配列の変形例として、図11(a)の第1配列だけを水平方向,垂直方向に繰り返すカラーフィルタ配列が考えられる。また、図11(b)の第2配列だけを水平方向,垂直方向に繰り返すカラーフィルタ配列も考えられる。これらの場合、Gフィルタが存在する箇所は変わらないため、以下に述べる実施形態を同じように適用可能である。
図12(a)は、図11(a)のカラーフィルタ配列の更に別の変形例を示す図である。この変形例の配列は、図12(b)の第1配列と、図12(c)の第2配列を水平方向,垂直方向に交互に配置することで形成される。
図12(b)の第1配列は、3×3画素群の中央及び4隅の5画素をGフィルタとし、この5画素以外の4画素を斜めに隣接する2画素ずつに分け、一方の2画素をRフィルタにすると共に他方の2画素をBフィルタとすることで構成される。上記一方の2画素をBフィルタにすると共に上記他方の2画素をRフィルタとすることで、12(c)の第2配列が構成される。
この図12(a)のカラーフィルタ配列の変形例として、上記と同様に、図12(b)の第1配列だけを、或いは図12(c)の第2配列だけを、水平方向,垂直方向に繰り返し配列したカラーフィルタ配列が考えられる。
以下、図11(a)及びその変形例、図12(a)及びその変形例の計6パターンのカラーフィルタ配列に、図2〜図10で説明した位相差検出画素配列を適用する。しかし、本発明は、これら6パターンのカラーフィルタ配列に限るものではなく、次の条件を満たすカラーフィルタであれば良い。即ち、
(1)単板式カラー撮像素子の水平方向及び垂直方向に正方格子配列された画素上に配列される所定のカラーフィルタ配列である点。
(2)輝度信号を得るために最も寄与する第1の色(例えば緑色)に対応する第1のフィルタと、この第1の色以外の2色以上の第2の色(例えば青色と赤色)に対応する第2のフィルタとが配列された所定の基本配列パターンを含む点。
(3)この基本配列パターンが水平方向及び垂直方向に繰り返して配置される点。
(4)第1のフィルタは、カラーフィルタ配列の水平,垂直,斜め(対角方向)方向の各ライン内に配置される点。
(5)第2のフィルタは、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置される点。
(6)第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい点。
以上の条件を満たせば良い。
(1)単板式カラー撮像素子の水平方向及び垂直方向に正方格子配列された画素上に配列される所定のカラーフィルタ配列である点。
(2)輝度信号を得るために最も寄与する第1の色(例えば緑色)に対応する第1のフィルタと、この第1の色以外の2色以上の第2の色(例えば青色と赤色)に対応する第2のフィルタとが配列された所定の基本配列パターンを含む点。
(3)この基本配列パターンが水平方向及び垂直方向に繰り返して配置される点。
(4)第1のフィルタは、カラーフィルタ配列の水平,垂直,斜め(対角方向)方向の各ライン内に配置される点。
(5)第2のフィルタは、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に1つ以上配置される点。
(6)第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい点。
以上の条件を満たせば良い。
これら条件を満たすカラー撮像素子によれば、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタを、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置するようにしたため、高周波領域での同時化(補間)処理(デモザイク処理ともいう)の再現精度を向上させることができ、また、上記第1の色以外の2色以上の第2の色に対応する第2のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、上記カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化(補間)処理(デモザイク処理ともいう)を行う際に、繰り返しパターにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
更に、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るために最も寄与する第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよくなる。
好適には、上記のカラーフィルタ配列は、第1のフィルタが水平,垂直及び斜め方向の各ライン内で2画素以上連続する部分を含むのが良い。これにより、最小画素間隔で、水平、垂直、及び斜め方向における輝度の変化の小さい方向(相関の高い方向)の判別が可能となる。
更に好適には、上記のカラーフィルタ配列は、第1のフィルタからなる2×2画素に対応する正方配列を含むのが良い。この2×2画素の画素値を使用して、水平、垂直、及び斜め方向のうちの相関の高い方向を判別することが可能となる。
更に好適には、所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称であるのが良い。これにより、後段に処理回路の回路規模を小さくすることが可能になる。
更に好適には、上記のカラーフィルタ配列は、第1のフィルタが3×3画素群において中心と4隅に配置され、該3×3画素群が水平方向及び垂直方向に繰り返し配置されているのが良い。3×3画素群の4隅に第1のフィルタが配置されているため、この3×3画素群が水平方向及び垂直方向に繰り返し配置されると、カラーフィルタ配列は、上記第1のフィルタからなる2×2画素に対応する正方配列を含むようになる。この2×2画素の画素値を使用して、水平、垂直、及び斜め方向のうちの相関の高い方向を判別することができ、また、第1のフィルタがカラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるようになる。
更に好適には、第2のフィルタが、上記カラーフィルタ配列の水平,垂直及び斜め方向の各ライン内に配置されるのが良い。これにより、斜め方向の色再現性をより向上させることができる。
以上の条件を満たすカラーフィルタ配列の好適な実施形態とし、以下、図11(a)のカラーフィルタ配列を用いて説明する。図11(a)のカラーフィルタ配列は、縦12画素×横12画素の画素群のカラーフィルタ配列を図示しているが、縦6画素×横6画素の画素群のカラーフィルタ配列(基本パターン配列)を水平方向,垂直方向に繰り返す構造になっている。これは他の変形例でも同様である。このため、6×6画素群内での位相差検出画素の配置も基本パターン化し、この基本パターンの繰り返し配列でカラー撮像素子が形成できるようにする。
以下の図13以降では、位相差検出画素を「X」「Y」で標記する。位相差検出画素X,Yを配置する場合、次の様な条件を満たすのが良い。尤も、全ての要件を満たすのは困難なため、なるべくこの条件を満たす位置に位相差検出画素を設けることにする。
位相差検出画素の配置に関する条件:
(1)位相差情報の解像度(分解能)を高めるために、なるべく水平方向に間を空けずに密に位相差検出画素を配置したい。
(2)位相差検出画素の撮像画像信号を高精度に画素補間により算出できる様にするため、位相差検出画素の周囲に同色の通常画素が多くある場所に配置したい。
(3)撮像素子では、間引き読み出しによって動画像を撮影することがあるため、位相差検出画素ラインが読み出し画素ラインに重ならない位置に設けたい。
(4)混色の影響を抑えるため、位相差検出画素にR画素を隣接させたくない。
(1)位相差情報の解像度(分解能)を高めるために、なるべく水平方向に間を空けずに密に位相差検出画素を配置したい。
(2)位相差検出画素の撮像画像信号を高精度に画素補間により算出できる様にするため、位相差検出画素の周囲に同色の通常画素が多くある場所に配置したい。
(3)撮像素子では、間引き読み出しによって動画像を撮影することがあるため、位相差検出画素ラインが読み出し画素ラインに重ならない位置に設けたい。
(4)混色の影響を抑えるため、位相差検出画素にR画素を隣接させたくない。
図13は、カラーフィルタ配列中に、図2で説明した位相差検出画素の配置例を適用した図である。位相差検出画素位置が分かり易くなるように、X画素,Y画素にはハッチングを付してある。
図11(a)のカラーフィルタ配列を見れば分かるように、G画素が疎となるライン(第2,第5,第8,第11水平ライン)と、G画素が密となるラインが存在する。そこで、本実施形態では、図13に示す様に、G画素が密となる第3(及び第9)水平ラインの全画素をX画素とし、これとペア画素を構成するG画素が密となる第6(第12)水平ラインの全画素をY画素としている。
元々、カラー撮像素子におけるG画素の比率は、R画素,B画素の比率より高い。このため、R画素,B画素より多くの数のG画素が位相差検出画素となって被写体画像撮像用でなくなっても、カラーの撮像画像の品質を低下させることはない。
図13の実施形態で、ペアを構成するX画素とY画素との間に3画素分の距離を空けたのは、X画素,Y画素の撮像画像信号の補間精度を高めるためである。この図13の構成では、各X画素,各Y画素の夫々には、同一色のカラーフィルタ、例えばG色のカラーフィルタを搭載したり、或いはカラーフィルタ無し、又は透明フィルタや白色フィルタを搭載したりする。ここで、透明フィルタ及び白色フィルタは、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであり、透明フィルタは比較的高い光透過率(例えば70%以上の光透過率)を有し、白色フィルタは透明フィルタよりも低い光透過率を有する。
この実施形態の様に、水平ラインを位相差検出画素ラインにすると、例えば、高精細静止画像を撮像し、かつ分解能の高い位相差情報が必要なときに位相差検出画素ラインの検出信号を読み出せば良くなる。そして、動画を撮影する時には、位相差検出画素ラインの信号を読み出さずに、間引き読み出しにより、位相差検出画素以外の通常のR画素,G画素,B画素の撮像画像信号を読み出せば済むことになる。
カラー撮像素子から画素間引き動作によって動画像データを読み出す場合、1/2画素間引き,1/3画素間引き,偶数ライン間引き,奇数ライン間引き等の種々の画素間引き読み出し方法がある。しかし、図1のCPU40が、そのカラー撮像素子31のどこに位相差検出画素ラインが設けられているかを予め知っていれば、それに合わせて、位相差検出画素ラインを飛ばして撮像画像信号を読み出すようにタイミングジェネレータ47に指示を出せば済む。
図14は、図13の変形例の説明図である。図13の例では、縦12画素のうち4水平ラインを位相差検出画素ラインとした。これを2水平ラインとし、第3水平ラインにX画素を、第9水平ラインにY画素を置いた実施形態が図14である。
図14の例では、ペアを構成するX画素の水平ラインとY画素の水平ラインとの間に6画素分の距離を設けている。しかし、この6画素分の距離に限るわけではなく、例えば図15に示す様に、4画素分の距離とすることでも良い。最も、X画素ライン,Y画素ラインは、G画素が密に存在する水平ラインに設けるのが良い。
図16は、図11(a)のカラーフィルタ配列に、図4で説明した位相差検出画素配置例を適用した実施形態である。水平方向に3画素ずつ位相差検出画素を連続させる一方、位相差検出画素位置を3画素ずつ垂直方向にずらしている。各3画素ずつの位相差検出画素は、G画素が密となる水平ラインに設けている。
G画素が疎となる水平ラインのG画素は、これを位相差検出画素にしてしまうと、このG画素位置の撮像画像信号の補間精度が高くなりにくい。このため、G画素が疎となる水平ラインは位相差検出画素ラインにしないのが好ましい。
この図16の例では、第2水平ライン,第5水平ライン,第8水平ライン,第11水平ラインが、位相差検出画素が存在しない水平ラインとなる。このため、間引き読み出しを行う場合には、この第2,第5,第8,第11水平ラインの撮像画像信号を読み出せば良い。なお、図16の実施形態では、前述の位相差検出画素の配置に関する条件(4)も満たす形態となっている。
図17は、図11(a)のカラーフィルタ配列に、図9の位相差検出画素配置例を適用した実施形態である。斜め方向に連続してX画素又はY画素を敷き詰めている。いずれの位相差検出画素X,Yも、周囲にR画素,G画素,B画素の通常画素が存在するため、画素X,Yの撮像画像信号を画素補間して求めるときの精度が向上する。
なお、図17では、ペアを構成するX画素とY画素との間隔を6画素分としているが、3画素分下の斜めラインにペア対象画素を敷き詰めても良い。また、図10の位相差検出画素配置例を適用しても良い。斜めに連続してX画素,Y画素を敷き詰める実施形態は、どの水平ラインにも位相差検出画素が存在するため、画素間引き読み出しして動画像を作るときは、位相差検出画素位置の撮像画像信号は周囲画素で画素補間する必要がある。
図18は、図11(a)のカラーフィルタ配列に、図5の位相差検出画素配置例を適用した実施形態である。どの位相差検出画素も、周囲8画素が全て通常画素となり、周囲24画素中の20画素が通常画素となるため、撮像画像信号の補間精度が向上する。また、奇数の水平ラインにだけ位相差検出画素が設けられ、偶数の水平ラインは通常画素だけとなるため、動画読出時には偶数ラインだけ読み出せず良くなる。なお、図6の位相差検出画素配置例を適用してペア画素の相手側を変えても良い。
図19は、図11(a)のカラーフィルタ配列に、図7の位相差検出画素配置例を適用した実施形態である。この実施形態では、どの位相差検出画素も、周囲8画素が全て通常画素となり、周囲24画素中の21画素が通常画素となるため、撮像画像信号の補間精度が向上する。なお、図8の位相差検出画素配置例を適用してペア画素の相手側を変えても良い。
図20は、図11(a)のカラーフィルタ配列(縦12画素×横12画素)を垂直方向に2つ並べたパターンを、位相差検出画素配置の基本パターンとしており、上側の12×12画素群の各垂直方向ラインに1つずつ、水平方向に位相差検出画素が隣接しないようにX画素を配置し、下側の12×12画素群の各垂直方向ラインに1つずつ、水平方向に位相差検出画素が隣接しないようにY画素を配置している。各画素群中のX画素配置位置とY画素配置位置は同じにしている。
図21は、図11(a)のカラーフィルタ配列において、別の位相差検出画素配置例を示す図である。このカラーフィルタ配列では、G画素が疎となる第2水平ライン,第5水平ライン,第8水平ライン,第11水平ラインがあり、G画素が疎となる水平ライン中のG画素を位相差検出画素にしない方が、画素補間による撮像画像信号の補間精度が良くなる。このため、図21の例は、位相差情報の解像度,分解能は少し犠牲にして、撮像画像信号の補間精度を高める構成となっている。即ち、2×2画素のG画素塊の中の1画素を位相差検出画素とし、Gが疎となる垂直ラインには位相差検出画素を置かない配置としている。
以上述べた各実施形態によれば、解像度の高い位相差情報を得ることができると共に、位相差検出画素位置の撮像画像信号を高精度に補間可能となる。水平方向,垂直方向に2つの位相差検出画素が隣接しないように位相差検出画素を配置する場合、取得する位相差情報の分解能と、位相差検出画素位置の撮像画像信号の補間精度は、ある意味トレードオフの関係になる。
しかし、上述した図11(a),図11(b)の様な、上記のカラーフィルタ配列の条件を満たす配列であれば、位相差情報の高い分解能と撮像画像信号の高い補間精度の両方を両立させることができる。
なお、上述した各実施形態では、例えば図2の様に水平方向に密に1画素も間隔を置かない様に位相差検出画素Xを配置する例について述べているが、この撮像素子を90°回転させれば、図2の水平方向は垂直方向となり、90°回転させた撮像素子にも上述した各実施形態をそのまま適用可能であることはいうまでもない。
以上述べた実施形態のカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなるカラー撮像素子であって、
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
上記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと上記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、上記第1のフィルタが上記3×3画素群において中心と4隅に配置され、その配列パターンが水平方向及び垂直方向に繰り返して配置され、
上記第1のフィルタは、上記カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、
上記第1のフィルタに対応する第1の色の画素数の比率は、上記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
上記カラー撮像素子の所定の領域内の画素群において、その画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに、位相差情報を取得するための位相差検出画素が配置されていることを特徴とする。
また、実施形態のカラー撮像素子は、上記所定の領域内の画素群において、水平方向に沿って配列されている水平ライン、垂直方向に沿って配列されている垂直ラインのうち、いずれかの一方のラインに対するライン画素上に、位相差を検出するためにペアを組む第1の位相差検出画素及び第2の位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1,第2の位相差検出画素は、上記第1のフィルタを持つ画素に設けられることを特徴とする。
また、実施形態のカラー撮像素子は、上記位相差検出画素が、上記水平ライン画素、上記垂直ライン画素のうち、上記第1のフィルタを搭載する画素の数が相対的に多いいずれか一方のライン画素に対するライン画素上に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記水平ライン画素、上記垂直ライン画素のうち、いずれか一方のライン画素に対するライン画素上の画素全てを上記位相差検出画素にすると共に、そのライン上の上記位相差検出画素のカラーフィルタを同一色フィルタ、透明フィルタ、又は白色フィルタとすることを特徴とする。
また、実施形態のカラー撮像素子は、上記カラーフィルタ配列が、上記第1のフィルタが斜め方向に連続的に配置される斜めライン配列を含み、上記位相差検出画素は第1のフィルタの斜めライン配列に対応する画素上に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、隣接する2本の上記斜めライン配列に対応する画素の一方に、位相差を検出するためにペアを組む第1,第2の上記位相差検出画素のうち第1の位相差検出画素が配置され、上記隣接する2本の上記斜めライン配列に対応する画素の他方に、上記ペアを組む第2の位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記位相差検出画素は、上記第1のフィルタの位置に配置され、かつ、その配置された位相差検出画素は、その位相差検出画素に隣接する水平方向、垂直方向のいずれかの方向の画素のライン上に配置された他の位相差検出画素とは、垂直方向及び水平方向に異なる位置に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記カラーフィルタ配列において上記第2の色の各色に対応する上記第2のフィルタは、上記カラーフィルタ配列の水平方向、及び垂直方向の各ライン内に1つ以上配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1の色は緑色であり、上記第2の色は赤色及び青色であり、
上記3×3画素群の中央及び4隅の画素を除く他の4画素のうち、同一垂直ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第1配列、上記4画素のうち、同一水平ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
上記3×3画素群の中央及び4隅の画素を除く他の4画素のうち、同一垂直ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第1配列、上記4画素のうち、同一水平ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
また、実施形態のカラー撮像素子は、上記第1の色は緑色であり、上記第2の色は赤色及び青色であり、
上記3×3画素群の中央及び4隅の画素を除く他の4画素を、斜めに隣接する2画素ずつに分け、一方の2画素を赤色にすると共に他方の2画素を青色とした配列パターンを第1配列、上記一方の2画素を青色にすると共に上記他方の2画素を赤色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
上記3×3画素群の中央及び4隅の画素を除く他の4画素を、斜めに隣接する2画素ずつに分け、一方の2画素を赤色にすると共に他方の2画素を青色とした配列パターンを第1配列、上記一方の2画素を青色にすると共に上記他方の2画素を赤色とした配列パターンを第2配列とし、
水平方向及び垂直方向共に上記第1配列と上記第2配列を交互に配置したことを特徴とする。
また、実施形態のカラー撮像素子は、上記第1配列を2つ、上記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
その基本配列パターン内で、垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に少なくとも1つの上記位相差検出画素が配置されることを特徴とする。
その基本配列パターン内で、垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に少なくとも1つの上記位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に、位相差を検出するためにペアを組む第1の位相差検出画素と第2の位相差検出画素とが配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1配列を2つ、上記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
位相差を検出するためにペアを組む第1,第2の位相差検出画素のうち、
上記第1の位相差検出画素が、1つの上記基本配列パターン内で、垂直方向に沿った各画素のライン上に配置され、
上記第2の位相差検出画素が、上記1つの基本配列パターンの垂直方向に隣接する他の基本配列パターン内における垂直方向に沿った各画素のライン上に配置されることを特徴とする。
位相差を検出するためにペアを組む第1,第2の位相差検出画素のうち、
上記第1の位相差検出画素が、1つの上記基本配列パターン内で、垂直方向に沿った各画素のライン上に配置され、
上記第2の位相差検出画素が、上記1つの基本配列パターンの垂直方向に隣接する他の基本配列パターン内における垂直方向に沿った各画素のライン上に配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1の位相差検出画素が配置される上記基本配列パターンの水平方向に隣接する他の基本配列パターン内に、上記第2の位相差検出画素が配置されることを特徴とする。
また、実施形態のカラー撮像素子は、上記第1配列を2つ、上記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
垂直方向と水平方向とのいずれかの方向に隣接する2つの上記基本配列パターンを1組とし、
垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが密に配列されている画素位置には上記位相差検出画素が配置され、かつ、垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが疎に配置されている画素位置には上記位相差検出画素以外の画素が配置され、
上記ペアを組む第1の位相差検出画素及び第2の位相差検出画素が、上記1組の隣接する2つの上記基本配列パターンに跨って配置されていることを特徴とする。
垂直方向と水平方向とのいずれかの方向に隣接する2つの上記基本配列パターンを1組とし、
垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが密に配列されている画素位置には上記位相差検出画素が配置され、かつ、垂直方向と水平方向とのいずれかの方向に緑色の上記第1のフィルタが疎に配置されている画素位置には上記位相差検出画素以外の画素が配置され、
上記ペアを組む第1の位相差検出画素及び第2の位相差検出画素が、上記1組の隣接する2つの上記基本配列パターンに跨って配置されていることを特徴とする。
また、実施形態の撮像装置は、上記のいずれかに記載のカラー撮像素子を搭載したことを特徴とする。
また、実施形態の撮像装置であって、上記垂直方向の画素のラインと、上記水平方向の画素のラインのうち、上記位相差検出画素が存在しないライン上の画素から撮像画像信号を間引き読み出しして動画像を生成する間引き読み出し部を備えることを特徴とする。
また、実施形態の撮像装置は、上記位相差検出画素の検出信号を用いてAF処理を行うAF処理部を備えることを特徴とする。
以上述べた実施形態によれば、高い解像度(分解能)の位相差情報と位相差検出画素位置の撮像画像信号の高い画素補間精度を両方共に得ることができる。
本発明に係るカラー撮像素子は、高い解像度(分解能)の位相差情報と位相差検出画素位置の撮像画像信号の高い画素補間精度を両方共に得ることができ、デジタルスチルカメラやデジタルビデオカメラ等に適用すると有用である。
本出願は、2011年12月28日出願の日本特許出願番号2011−288032に基づくものであり、その内容はここに参照として取り込まれる。
本出願は、2011年12月28日出願の日本特許出願番号2011−288032に基づくものであり、その内容はここに参照として取り込まれる。
30 撮像装置
31 撮像素子
34 画像信号処理回路
40 CPU
43 画素補間処理回路
51〜54 水平方向ライン(画素行ライン)
61 垂直方向ライン(画素列ライン)
31 撮像素子
34 画像信号処理回路
40 CPU
43 画素補間処理回路
51〜54 水平方向ライン(画素行ライン)
61 垂直方向ライン(画素列ライン)
Claims (19)
- 水平方向および垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなるカラー撮像素子であって、
前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第1の色に対応する第1のフィルタと前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列された3×3画素群の配列パターンを含み、前記第1のフィルタが前記3×3画素群において中心と4隅に配置され、該配列パターンが水平方向および垂直方向に繰り返して配置され、
前記第1のフィルタは、前記カラーフィルタ配列の水平、垂直、および斜め方向の各ライン内に配置され、
前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく配置され、
前記カラー撮像素子の所定の領域内の画素群において、該画素群の水平方向成分、垂直方向成分のうち、いずれか一方の方向成分全てに、位相差情報を取得するための位相差検出画素が配置されているカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記所定の領域内の画素群において、水平方向に沿って配列されている水平ライン、垂直方向に沿って配列されている垂直ラインのうち、いずれかの一方のラインに対するライン画素上に、位相差を検出するためにペアを組む第1の位相差検出画素および第2の位相差検出画素が配置されるカラー撮像素子。 - 請求項2に記載のカラー撮像素子であって、
前記第1,第2の位相差検出画素は、前記第1のフィルタを持つ画素に設けられるカラー撮像素子。 - 請求項2又は請求項3に記載のカラー撮像素子であって、
前記位相差検出画素は、前記水平ライン画素、前記垂直ライン画素のうち、前記第1のフィルタを搭載する画素の数が相対的に多いいずれか一方のライン画素に対するライン画素上に配置されるカラー撮像素子。 - 請求項1又は請求項2に記載のカラー撮像素子であって、
前記水平ライン画素、前記垂直ライン画素のうち、いずれか一方のライン画素に対するライン画素上の画素全てを前記位相差検出画素にすると共に、該ライン画素上の前記位相差検出画素のカラーフィルタを同一色フィルタ、透明フィルタ、又は白色フィルタとするカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記カラーフィルタ配列は、前記第1のフィルタが斜め方向に連続的に配置される斜めライン配列を含み、前記位相差検出画素は第1のフィルタの斜めライン配列に対応する画素上に配置されるカラー撮像素子。 - 請求項6に記載のカラー撮像素子であって、
隣接する2本の前記斜めライン配列に対応する画素の一方に、位相差を検出するためにペアを組む第1,第2の前記位相差検出画素のうち第1の位相差検出画素が配置され、前記隣接する2本の前記斜めライン配列に対応する画素の他方に、前記ペアを組む第2の位相差検出画素が配置されるカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記位相差検出画素は、前記第1のフィルタの位置に配置され、かつ、該配置された位相差検出画素は、当該位相差検出画素に隣接する水平方向、垂直方向のいずれかの方向の画素のライン上に配置された他の位相差検出画素とは、垂直方向および水平方向に異なる位置に配置されるカラー撮像素子。 - 請求項1乃至請求項3のいずれか1項に記載のカラー撮像素子であって、
前記カラーフィルタ配列において前記第2の色の各色に対応する前記第2のフィルタは、前記カラーフィルタ配列の水平方向、および垂直方向の各ライン内に1つ以上配置されるカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記第1の色は緑色であり、前記第2の色は赤色および青色であり、
前記3×3画素群の中央および4隅の画素を除く他の4画素のうち、同一垂直ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第1配列、前記4画素のうち、同一水平ライン上の2画素を赤色、残り2画素を青色とした配列パターンを第2配列とし、
水平方向および垂直方向共に前記第1配列と前記第2配列を交互に配置したカラー撮像素子。 - 請求項1に記載のカラー撮像素子であって、
前記第1の色は緑色であり、前記第2の色は赤色および青色であり、
前記3×3画素群の中央および4隅の画素を除く他の4画素を、斜めに隣接する2画素ずつに分け、一方の2画素を赤色にすると共に他方の2画素を青色とした配列パターンを第1配列、前記一方の2画素を青色にすると共に前記他方の2画素を赤色とした配列パターンを第2配列とし、
水平方向および垂直方向共に前記第1配列と前記第2配列を交互に配置したカラー撮像素子。 - 請求項10又は請求項11に記載のカラー撮像素子であって、
前記第1配列を2つ、前記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
該基本配列パターン内で、垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に少なくとも1つの前記位相差検出画素が配置されるカラー撮像素子。 - 請求項12に記載のカラー撮像素子であって、
前記垂直方向、水平方向のうち、いずれかの方向に沿った各画素のライン上に、位相差を検出するためにペアを組む第1の位相差検出画素と第2の位相差検出画素とが配置されるカラー撮像素子。 - 請求項10又は請求項11に記載のカラー撮像素子であって、
前記第1配列を2つ、前記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
位相差を検出するためにペアを組む第1,第2の位相差検出画素のうち、
前記第1の位相差検出画素が、1つの前記基本配列パターン内で、垂直方向に沿った各画素のライン上に配置され、
前記第2の位相差検出画素が、前記1つの基本配列パターンの垂直方向に隣接する他の基本配列パターン内における垂直方向に沿った各画素のライン上に配置されるカラー撮像素子。 - 請求項14に記載のカラー撮像素子であって、
前記第1の位相差検出画素が配置される前記基本配列パターンの水平方向に隣接する他の基本配列パターン内に、前記第2の位相差検出画素が配置されるカラー撮像素子。 - 請求項10又は請求項11に記載のカラー撮像素子であって、
前記第1配列を2つ、前記第2配列を2つ含む正方格子状の6×6画素群を基本配列パターンとし、
垂直方向と水平方向とのいずれかの方向に隣接する2つの前記基本配列パターンを1組とし、
垂直方向と水平方向とのいずれかの方向に緑色の前記第1のフィルタが密に配列されている画素位置には前記位相差検出画素が配置され、かつ、垂直方向と水平方向とのいずれかの方向に緑色の前記第1のフィルタが疎に配置されている画素位置には前記位相差検出画素以外の画素が配置され、
位相差を検出するためにペアを組む第1の位相差検出画素および第2の位相差検出画素が、前記1組の隣接する2つの前記基本配列パターンに跨って配置されているカラー撮像素子。 - 請求項1乃至請求項3のいずれか1項に記載のカラー撮像素子を搭載した撮像装置。
- 請求項17に記載の撮像装置であって、
前記垂直方向の画素のラインと、前記水平方向の画素のラインのうち、前記位相差検出画素が存在しないライン上の画素から撮像画像信号を間引き読み出しして動画像を生成する間引き読み出し部を備える撮像装置。 - 請求項17又は請求項18に記載の撮像装置であって、
前記位相差検出画素の検出信号を用いてAF処理を行うAF処理部を備える撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013551607A JP5597777B2 (ja) | 2011-12-28 | 2012-12-13 | カラー撮像素子及び撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011288032 | 2011-12-28 | ||
JP2011288032 | 2011-12-28 | ||
PCT/JP2012/082384 WO2013099637A1 (ja) | 2011-12-28 | 2012-12-13 | カラー撮像素子及び撮像装置 |
JP2013551607A JP5597777B2 (ja) | 2011-12-28 | 2012-12-13 | カラー撮像素子及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5597777B2 true JP5597777B2 (ja) | 2014-10-01 |
JPWO2013099637A1 JPWO2013099637A1 (ja) | 2015-05-07 |
Family
ID=48697129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013551607A Expired - Fee Related JP5597777B2 (ja) | 2011-12-28 | 2012-12-13 | カラー撮像素子及び撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9325954B2 (ja) |
JP (1) | JP5597777B2 (ja) |
CN (1) | CN104025584B (ja) |
WO (1) | WO2013099637A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4449936B2 (ja) * | 2006-03-31 | 2010-04-14 | ソニー株式会社 | 撮像装置、カメラシステムおよびその駆動方法 |
CN104813212B (zh) * | 2012-11-20 | 2017-02-22 | 富士胶片株式会社 | 摄像装置及曝光确定方法 |
JP6305006B2 (ja) * | 2013-10-18 | 2018-04-04 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
CN104251768B (zh) * | 2014-09-18 | 2017-03-08 | 常熟实盈光学科技有限公司 | 判定摄像头模组中镜头阴影效应的方法 |
US10366674B1 (en) | 2016-12-27 | 2019-07-30 | Facebook Technologies, Llc | Display calibration in electronic displays |
CN110447223B (zh) * | 2017-03-16 | 2021-07-27 | 富士胶片株式会社 | 摄像装置 |
US10397465B2 (en) * | 2017-09-01 | 2019-08-27 | Qualcomm Incorporated | Extended or full-density phase-detection autofocus control |
CN107728361B (zh) * | 2017-09-19 | 2020-10-23 | 捷开通讯(深圳)有限公司 | 具有摄像功能的显示面板及电子设备 |
JP7281895B2 (ja) * | 2018-12-06 | 2023-05-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および電子機器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05505718A (ja) * | 1991-01-25 | 1993-08-19 | イーストマン・コダック・カンパニー | フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ |
JP2009089144A (ja) * | 2007-10-01 | 2009-04-23 | Nikon Corp | 電子カメラ |
JP2010512048A (ja) * | 2006-11-30 | 2010-04-15 | イーストマン コダック カンパニー | 低解像度画像の生成 |
JP2011242514A (ja) * | 2010-05-17 | 2011-12-01 | Nikon Corp | デジタルカメラ |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2739586B2 (ja) | 1989-02-10 | 1998-04-15 | 富士写真フイルム株式会社 | カラー固体撮像デバイス |
US5251019A (en) | 1991-01-25 | 1993-10-05 | Eastman Kodak Company | Solid state color image sensor using a field-staggered color filter pattern |
DE19616440A1 (de) | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
JP3592147B2 (ja) * | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
US7745779B2 (en) | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5241355B2 (ja) * | 2008-07-10 | 2013-07-17 | キヤノン株式会社 | 撮像装置とその制御方法 |
JP2011221290A (ja) * | 2010-04-09 | 2011-11-04 | Olympus Corp | 撮像装置及びカメラ |
JP5565105B2 (ja) | 2010-05-31 | 2014-08-06 | 株式会社ニコン | 撮像装置 |
JP5589857B2 (ja) * | 2011-01-11 | 2014-09-17 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
-
2012
- 2012-12-13 WO PCT/JP2012/082384 patent/WO2013099637A1/ja active Application Filing
- 2012-12-13 JP JP2013551607A patent/JP5597777B2/ja not_active Expired - Fee Related
- 2012-12-13 CN CN201280065471.XA patent/CN104025584B/zh not_active Expired - Fee Related
-
2014
- 2014-06-30 US US14/319,887 patent/US9325954B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05505718A (ja) * | 1991-01-25 | 1993-08-19 | イーストマン・コダック・カンパニー | フィールドスタガ式色フィルタ図形を用いた固体カラーイメージセンサ |
JP2010512048A (ja) * | 2006-11-30 | 2010-04-15 | イーストマン コダック カンパニー | 低解像度画像の生成 |
JP2009089144A (ja) * | 2007-10-01 | 2009-04-23 | Nikon Corp | 電子カメラ |
JP2011242514A (ja) * | 2010-05-17 | 2011-12-01 | Nikon Corp | デジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
WO2013099637A1 (ja) | 2013-07-04 |
JPWO2013099637A1 (ja) | 2015-05-07 |
CN104025584B (zh) | 2016-02-03 |
CN104025584A (zh) | 2014-09-03 |
US20140313380A1 (en) | 2014-10-23 |
US9325954B2 (en) | 2016-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5589146B2 (ja) | 撮像素子及び撮像装置 | |
JP5597777B2 (ja) | カラー撮像素子及び撮像装置 | |
US8730545B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
CN103597811B (zh) | 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置 | |
US8723991B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
US8842214B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
JP2011250325A (ja) | 撮像装置及び位相差検出画素を持つ固体撮像素子並びに撮像装置の駆動制御方法 | |
US8723992B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
US20140022422A1 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
JP5607266B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2014158062A (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
JP5607267B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP5124549B2 (ja) | 固体撮像素子の動画像信号読出方法及び撮像装置 | |
CN104025576B (zh) | 摄像装置及摄像装置的控制方法 | |
JP2011210748A (ja) | Ccd型固体撮像素子及びその製造方法並びに撮像装置 | |
JP5624227B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
JP2015161727A (ja) | 撮像素子および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140811 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5597777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |