JP3950715B2 - 固体撮像素子およびこれを用いた撮像装置 - Google Patents
固体撮像素子およびこれを用いた撮像装置 Download PDFInfo
- Publication number
- JP3950715B2 JP3950715B2 JP2002059063A JP2002059063A JP3950715B2 JP 3950715 B2 JP3950715 B2 JP 3950715B2 JP 2002059063 A JP2002059063 A JP 2002059063A JP 2002059063 A JP2002059063 A JP 2002059063A JP 3950715 B2 JP3950715 B2 JP 3950715B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- red
- solid
- imaging device
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
本発明は、固体撮像素子およびオートホワイトバランス機能を備えた撮像装置に関する。
【0002】
【従来の技術】
今日では、ビデオカメラやディジタルスチルカメラ、あるいは携帯電話やパーソナルコンピュータに搭載されたディジタルカメラ等の多くの撮像装置において、CCD(電荷結合素子)型の固体撮像素子やMOS(金属−酸化物−半導体)型の固体撮像素子がエリア・イメージセンサとして利用されている。
【0003】
CCD型およびMOS型のいずれの固体撮像素子も、半導体基板の一表面に複数行、複数列に亘って行列状に配置された多数個の光電変換素子を有し、光の入射によってこれらの光電変換素子に蓄積された電荷に基づいて出力信号(画素信号)を生成する。多くの固体撮像素子では、画素信号を生成するための出力信号生成部が、光電変換素子と一緒に1つの半導体基板に集積される。
【0004】
出力信号生成部は、その構成によって2つのタイプに大別することができる。1つは、CCD型の固体撮像素子での出力信号生成部のように、CCDによって構成された1種または2種の電荷転送素子を用いて、光電変換素子に蓄積された電荷を電荷検出回路まで転送し、ここで出力信号を生成するタイプの出力信号生成部である。CCDは、半導体基板の一表面に電荷転送チャネルを形成し、その上に電気的絶縁膜を介して多数の電極を配置することによって構成される。
【0005】
他の1つは、MOS型の固体撮像素子での出力信号生成部のように、トランジスタを介して光電変換素子と出力信号線とを接続し、光電変換素子に蓄積された電荷に応じて前記の出力信号線に発生する電圧信号または電流信号を検出して出力信号を生成するタイプの出力信号生成部である。前記のトランジスタは、光電変換素子と信号線とを所望の時期に電気的に接続するためのスイッチング素子として利用される。
【0006】
CCD型およびMOS型のいずれであるかに拘わらず、カラー画像を撮像するための撮像装置(以下、「カラー撮像装置」という。)に利用される固体撮像素子は、一般に、光電変換素子の上方に配置された色フィルタアレイを有する。単板式の撮像装置に利用される固体撮像素子では、3色以上の色フィルタによって色フィルタアレイが構成される。2〜4板式の撮像装置に利用される固体撮像素子では、1色または2色の色フィルタによって色フィルタアレイが構成される。いずれの色フィルタアレイにおいても、1つの光電変換素子に1つの色フィルタが対応する。
【0007】
1個の光電変換素子と、この光電変換素子の上方に配置された1つの色フィルタとは、1個の画素を構成する。本明細書においては、個々の画素を、当該画素が有している色フィルタの色に応じて、例えば赤色画素、緑色画素、青色画素のように表記する。
【0008】
カラー撮像装置は、固体撮像素子から出力される画素信号を用いて色分離を行い、被写体からの赤色光、緑色光、および青色光それぞれの情報を表す電気信号、すなわち、赤色信号、緑色信号、および青色信号を生成する。そして、これらの信号を用いてガンマ(γ)変換を行った後に輝度信号Y、色差信号Cr(本明細書では「赤色差信号Cr」と称する。)、および色差信号Cb(本明細書では「青色差信号Cb」と称する。)を生成し、出力する。
【0009】
ところで、物体表面からの反射光の分光分布や、物体を透過した光の分光分布は、その物体に照射されている光の分光分布に応じて大きく変化する。ヒトは、これらの反射光また透過光に基づいて物体を認識するので、ヒトが知覚する物体の色も、本来ならば、その物体に照射されている光の分光分布に応じて大きく変化するはずである。
【0010】
しかしながら、ヒトが知覚する物体の色は、その物体表面からの反射光の分光分布や、その物体を透過した光の分光分布のみによっては決まらない。ヒトは、周囲光に順応して無意識的に色の補正を行っている。このため、物体に照射されている光の分光分布が大きく変化したとしても、ヒトが知覚する物体の色はそれ程大きくは変化しない。
【0011】
カラー撮像装置は、ヒトによって知覚された被写体像にできるだけ近い色彩の再生画像が得られるように、一般に、オートホワイトバランス機能を備えている。このオートホワイトバランス機能は、被写体に当たっている照明光(太陽光を含む。)の種類に拘わらず、白を白に、灰色を灰色に再現しようとするものである。そのために、上記の色分離によって生成される赤色信号、緑色信号、および青色信号それぞれの利得を撮影時の照明光の種類に応じて制御し、白や灰色を撮影したとき赤、緑、および青それぞれの信号値が等しくなるようにしている。
【0012】
オートホワイトバランス機能を適切に動作させるためには、被写体に当たっている照明光の種類を正確に判別することが必要となる。
【0013】
照明光の種類の判別方法としては、例えば原色系の色フィルタを有する固体撮像素子を備えた撮像機器では、赤色信号と緑色信号との比R/G、および青色信号と緑色信号との比B/Gを求め、これらの比R/G、B/Gの2次元的な分布に基づいて照明光の種類を推定する方法が知られている。上記の比R/G、B/Gは、1フレームの撮影画面全体を対象にして、あるいは、1フレームの撮影画面全体を複数の領域に分割した各領域を対象にして、求められる。
【0014】
この判別方法では、たとえ撮影シーンが様々な被写体を含んでいたとしても、それらの色彩を平均するとグレーになると仮定している。
【0015】
【発明が解決しようとする課題】
例えば、普通型白色蛍光灯(一般照明用の予熱始動型直管形白色蛍光灯)によって照明された人物像を撮影すると、ホワイトバランスがたとえ正確に調整されていたとしても、再生画像の色に歪みがでる。特に、ヒトの肌色は黄緑がかった色になる。この歪みを少なくするためには、ホワイトバランス以外の調整を行うことが必要となる。
【0016】
そのためには、被写体に当たっている照明光が普通型白色蛍光灯からの発光であるか否かを正確に判別することが望まれる。
【0017】
しかしながら、上述した従来の判別方法では、照明光が太陽光であるのか蛍光灯からの発光であるのかを正確に判別することが困難な撮影シーンが間々ある。例えば、薄暗い太陽光下の葉緑と、普通型白色蛍光灯下または3波長型蛍光灯下のグレーとを識別することが困難であることから、これらの撮影シーンでの照明光を判別することも困難である。
【0018】
本発明の目的は、被写体に当たっている照明光の種類を精度よく判別することを可能にする固体撮像素子を提供することである。
【0019】
本発明の他の目的は、被写体に当たっている照明光の種類を精度よく判別することが可能な撮像装置を提供することである。
【0020】
【課題を解決するための手段】
本発明の一観点によれば、固体撮像素子は、半導体基板と、前記半導体基板の一表面に複数行、複数列に亘って行列状に配置され、各々が、前記一表面に形成されて電荷を蓄積することができる光電変換素子、および前記光電変換素子の上方に配置されて該光電変換素子への入射光の波長を制御する色フィルタを有し、555〜605nmの波長域において互いに異なる分光感度を有する2種類に分類される赤色または緑色の画素を含む多数個の画素と、前記多数個の画素それぞれに蓄積された電荷に基づいて出力信号を生成することができる出力信号生成部とを備える。
【0021】
本発明の他の観点によれば、撮像装置は、半導体基板と、前記半導体基板の一表面に複数行、複数列に亘って行列状に配置され、各々が、前記一表面に形成されて電荷を蓄積することができる光電変換素子、および前記光電変換素子の上方に配置されて該光電変換素子への入射光の波長を制御する色フィルタを有し、555〜605nmの波長域において互いに異なる分光感度を有する2種類に分類される赤色または緑色の画素を含む多数個の画素と、前記多数個の画素それぞれに蓄積された電荷に基づいて出力信号を生成することができる出力信号生成部とを備えた固体撮像素子と、前記固体撮像素子上に被写体像を結ぶ撮像光学系と、前記固体撮像素子からの出力信号をディジタル信号に変換して出力するディジタル信号生成部と、前記ディジタル信号生成部から出力されたディジタル信号を基に第1赤色信号、第1緑色信号、および第1青色信号を生成し、該第1赤色信号、該第1緑色信号、および該第1青色信号を用いて再生画像用の画素信号を生成する映像信号生成部と、前記第1赤色信号、前記第1緑色信号、および前記第1青色信号の供給を受けて、前記被写体に当たっている照明光の色温度の検出、および、前記2種類の画素の一方に入射した光の放射強度と他方に入射した光の放射強度との相対的な差に基づいての前記照明光の種類の判別を行い、前記色温度の検出結果と前記照明光の種類の判別結果とから前記映像信号生成部内での前記第1赤色信号、前記第1緑色信号、および前記第1青色信号それぞれの利得を調整するオートホワイトバランス回路とを備える。
【0022】
固体撮像素子における画素の構成を上述の構成にすることにより、上記2種類に分類される画素の一方を透過した光の放射強度と他方を透過した光の放射強度との相対的な差を、当該固体撮像素子からの出力信号を用いて算出することが可能になる。
【0023】
この差を利用すれば、例えば、被写体に当たっている照明光の種類の判別精度が高い撮像装置を構成することができる。
【0024】
例えば、普通形蛍光灯は、白色形、昼光色形、および温白色形のいずれであっても、580nm付近に放射のピークを有する。3波長形蛍光灯は、580nm付近よりも長波長側と短波長側とに、それぞれ放射のピークを有している。太陽光やタングステン光(白熱灯からの発光を意味する。以下、同じ。)は、555〜605nmの波長域内に極端なピークや谷を有していない。
【0025】
したがって、赤色画素または緑色画素として、555〜605nmの波長域での分光感度が互いに異なる2種類の画素を用いて固体撮像素子を構成することにより、被写体に当たっている照明光が普通形蛍光灯からの発光であるのか、3波長形蛍光灯からの発光であるのか、太陽光やタングステン光であるのかを精度よく判別することが可能な撮像装置を得ることができる。
【0026】
【発明の実施の形態】
図1(A)は、第1の赤色画素PR1、第2の赤色画素PR2、緑色画素PG 、および青色画素PB を備えた半導体装置SAを概略的に示す。個々の画素は、半導体基板SSに形成された光電変換素子(例えばフォトダイオード)と、その上方に配置された色フィルタとを有する。色フィルタの色が、画素の色に対応する。
【0027】
図1(B)は、第1の赤色画素PR1を構成している第1の赤色フィルタR1の分光透過率と、第2の赤色画素PR2を構成している第2の赤色フィルタR2の分光透過率とを示す。図中の実線Laが第1の赤色フィルタR1の分光透過率曲線であり、一点鎖線Lbが第2の赤色フィルタR2の分光透過率曲線である。第1の赤色フィルタR1と第2の赤色フィルタR2とは、互いに異なる分光透過率特性を有する。
【0028】
その結果として、第1の赤色画素PR1の分光感度と第2の赤色画素PR2の分光感度とに差が生じる。この分光感度の差を求めることができれば、半導体装置SAは、実質上、第4色目の画素を有することになる。第4色目の画素は、図1(B)中に破線Lcで示された分光透過率を有する色フィルタを備えていることになる。
【0029】
例えば固体撮像素子を構成する色フィルタアレイに、分光透過率が互いに異なる2種類の赤色または緑色フィルタを用いることにより、この固体撮像素子からの出力信号を用いて、例えば、被写体に当たっている照明光の種類を高い精度で判別することが可能になる。同様に、撮像装置に固体撮像素子とは別に上記の半導体装置を設けることにより、被写体に当たっている照明光の種類を高い精度で判別することが可能になる。
【0030】
図2は、第1の実施例による固体撮像素子100での光電変換素子10、第1電荷転送素子(垂直電荷転送素子)20、第2電荷転送素子(水平電荷転送素子)40、および電荷検出回路50の平面配置を概略的に示す。
【0031】
図示の固体撮像素子100は、エリア・イメージセンサとして利用される固体撮像素子であり、半導体基板1の一表面に設定された有効画素領域Reから無効画素領域Riにかけて、多数個の光電変換素子10が複数行、複数列に亘って正方行列状(行数と列数とが異なる場合を含む。)に配置されている。
【0032】
図2においては、42個の光電変換素子10が6行、7列に亘って示されているが、エリア・イメージセンサとして利用される実際の固体撮像素子での光電変換素子10の総数は、例えば数10万〜1500万個程度である。そのうち、単板式の撮像装置に使用される固体撮像素子では80〜98%程度の光電変換素子が有効画素領域Re内に配置され、残りが無効画素領域Ri内に配置される。
【0033】
有効画素領域Re内に配置された1個の光電変換素子10に、再生画像(ただし、静止画)での1組の画素が対応する。再生画像での1組の画素は、赤色画素、緑色画素、および青色画素によって構成される。上記1組の画素のうち、2つの画素は、後述する撮像装置での映像信号生成部において補間処理によって生成された画素信号(出力画素信号または記録画素信号)に基づいて再生される。
【0034】
無効領域Ri内に配置された個々の光電変換素子10は、再生画像用の画素信号を得る際の補間処理にのみ必要であり、再生画像においてこれらの光電変換素子10に対応する画素はない。
【0035】
光電変換素子10の各々は例えば埋込み型のpnフォトダイオードによって構成され、平面視上、例えば矩形を呈す。光電変換素子10に光が入射すると、この光電変換素子10に電荷が蓄積される。
【0036】
個々の光電変換素子10に蓄積された電荷を電荷検出回路50へ転送するために、1つの光電変換素子列に1つずつ、この光電変換素子列に沿って垂直電荷転送素子20が配置される。個々の垂直電荷転送素子20は、例えば4相駆動型のCCDによって構成される。
【0037】
光電変換素子10からの電荷の読み出しを制御するために、各垂直電荷転送素子20は、対応する光電変換素子10それぞれに1つずつ、読出しゲート30を有する。図2においては、読出しゲート30を判りやすくするために、各読出しゲートにハッチングを付してある。
【0038】
読出しゲート30に読出しパルス(電位は例えば15V程度)を供給すると、この読出しゲート30に対応する光電変換素子10から垂直電荷転送素子20へ電荷が読み出される。光電変換素子10から垂直電荷転送素子20への電荷の読出しは、光電変換素子行単位で、または全ての光電変換素子10に対して同時に行われる。
【0039】
各垂直電荷転送素子20は、所定の駆動信号によって駆動されて、対応する光電変換素子10から読み出した電荷を水平電荷転送素子40へ転送する。
【0040】
水平電荷転送素子40は、例えば2相駆動型のCCDによって構成される。この水平電荷転送素子40は、所定の駆動信号によって駆動されて、各垂直電荷転送素子20から受け取った電荷を電荷検出回路50へ転送する。
【0041】
電荷検出回路50は、水平電荷転送素子40から転送されてくる電荷を順次検出して信号電圧を生成し、この信号電圧を増幅して画素信号を生成する。
【0042】
この電荷検出回路50は、例えば、水平電荷転送素子40の出力端に電気的に接続された出力ゲートと、出力ゲートに隣接して半導体基板1に形成されたフローティングディフュージョン領域(以下、「FD領域」と略記する。)と、このFD領域に電気的に接続されたフローティングディフュージョンアンプ(以下、「FDA」と略記する。)とを用いて構成することができる。
【0043】
FD領域をソースとしてリセットトランジスタを構成することにより、FDAによって検出された後の電荷、あるいは、FDAによって検出する必要のない電荷をFD領域からリセットトランジスタのドレインへ掃き出して、例えば電源電圧に吸収することができる。
【0044】
上述した構成を有する固体撮像素子100では、各垂直電荷転送素子20、水平電荷転送素子40、および電荷検出回路50によって出力信号生成部が構成される。
【0045】
図2においては図示を省略しているが、固体撮像素子100では、従来のCCD型固体撮像素子と同様に、半導体基板1上に第1の電気的絶縁膜、各種の電極、第2の電気的絶縁膜、光遮蔽膜、層間絶縁膜、パッシベーション膜、および平坦化膜が順次積層され、その上に色フィルタアレイが配置される。必要に応じて、色フィルタアレイの上方にマイクロレンズアレイが配置される。
【0046】
固体撮像素子100の特徴の1つは、色フィルタアレイの構成、ひいては画素の分光感度にある。
【0047】
図3は、固体撮像素子100を構成している色フィルタアレイ60を概略的に示す上面図である。色フィルタアレイ60と、その下の部材との位置関係を判りやすくするために、同図には、光電変換素子10、水平電荷転送素子40、および電荷検出回路を、それぞれ隠れ線によって併記してある。また、有効画素領域Reと無効画素領域Riとの平面視上の境界を二点鎖線で示している。この境界上にも、色フィルタアレイ60において互いに隣接する色フィルタ同士の境界が存在する。
【0048】
色フィルタアレイ60は、所謂ベイヤー方式の原色系色フィルタアレイであるが、2種類の赤色フィルタR1、R2が使用されているという点で、従来の原色系色フィルタアレイと大きく異なる。
【0049】
赤色フィルタの配置にのみ着目すると、赤色フィルタR1と赤色フィルタR2とが行方向および列方向のいずれについても交互に配置されている。図中の参照符号Gは緑色フィルタを示し、参照符号Bは青色フィルタを示す。個々の色フィルタR1、R2、G、Bは、平面視上、矩形を呈する。
【0050】
赤色フィルタR1は、その下の光電変換素子10と共に赤色画素PR1を構成し、赤色フィルタR2は、その下の光電変換素子10と共に赤色画素PR2を構成する。緑色フィルタGは、その下の光電変換素子10と共に緑色画素PGを構成し、青色フィルタBは、その下の光電変換素子10と共に青色画素PBを構成する。
【0051】
図4は、図3に示した赤色フィルタR1、R2それぞれの分光透過率を示す。同図中の実線L1が赤色フィルタR1の分光透過率曲線であり、一点鎖線L2が赤色フィルタR2の分光透過率曲線である。参考のため、従来の赤色フィルタの分光透過率の一例を、図4中に破線L3で併記する。いずれの分光透過率曲線も、シミュレーションによって求めたものである。
【0052】
赤色フィルタR1は、赤色顔料の1種であるPR209と黄色顔料の1種であるPY139とを透明樹脂に分散させて得たカラーレジンによって形成される。赤色フィルタR2は、2種類の赤色顔料PR177、PR254と1種類の黄色顔料PY139とを透明樹脂に分散させて得たカラーレジンによって形成される。赤色フィルタR1、R2それぞれの平均膜厚は、いずれも、1〜3μmの範囲内である。
【0053】
図4から明らかなように、赤色フィルタR1と赤色フィルタR2とは、互いに異なる分光透過率特性を有し、特に、550〜605nmの波長域での分光透過率が大きく異なる。550〜605nmの波長域においては、赤色フィルタR1の分光透過率の方が赤色フィルタR2の分光透過率よりも高い。
【0054】
個々の画素(光電変換素子10)に蓄積される電荷の量は、光電変換素子10が飽和しない限りは、入射光量の増加に伴って増加する。個々の画素信号の強度は、その基となった電荷の量、換言すれば、その基となった電荷を蓄積した光電変換素子10への入射光量を反映する。
【0055】
したがって、赤色フィルタR1を有する赤色画素PR1に蓄積された電荷に基づく画素信号と、赤色フィルタR2を有する赤色画素PR2に蓄積された電荷に基づく画素信号との間には、強度差が生じる。
【0056】
図5は、赤色画素PR1および赤色画素PR2それぞれの分光感度を示す。いずれの分光感度も、シミュレーションによって求めたものである。
【0057】
同図中の実線L11が赤色画素PR1の分光感度曲線であり、一点鎖線L12が赤色画素PR2の分光感度曲線である。参考のため、従来の赤色画素の分光感度の一例を、図5中に破線L13で併記する。
【0058】
図5から明らかなように、固体撮像素子100は、555〜605nmの波長域の光に対する感度が互いに大きく異なる2種類の分光感度を有する。
【0059】
この分光感度の相違を利用して、赤色画素PR1に入射した光の放射強度と、赤色画素PR2に入射した光の放射強度との相対的な差を、事実上、求めることができる。この相対的な差を、以下、「Ye感度値」という。
【0060】
固体撮像素子を利用した撮像装置での信号処理を勘案すると、上記のYe感度値は、実用上は、画素信号をディジタル信号に変換することによって得られた信号を用いて算出するのが適当である。
【0061】
例えば、下式(I)、(II)、(III) または(IV)によって表される比を求めることにより、Ye感度値を求めることができる。
【0062】
【数1】
【0063】
【数2】
【0064】
【数3】
【0065】
【数4】
【0066】
ここで、上記の各式(I)〜(IV)で用いる係数の各々は、各色フィルタR1、R2、G、Bの分光透過率特性等に応じて適宜選定される。多くの場合、これらの係数は0(ゼロ)または正の値をとるが、特に式(IV)で用いる係数k35、k36については、負の値をとることもある。
【0067】
また、出力平均値SR1、SR2、SG 、SB の各々は、必ずしも、固体撮像素子100から出力される1フレーム分の全ての画素信号を利用して求めなければならいというものではない。赤色フィルタR1、R2の分布状態に応じて、互いに近接する1組または複数組の赤色フィルタR1、R2と、これらに近接する1つまたは複数の緑色フィルタGおよび/または青色フィルタBとを対象に、上記の出力平均値SR1およびSR2、ならびに、SG および/またはSB を求めることもできる。さらには、1フレームの撮影画面全体を複数の領域に分割して領域毎に求めることもできる。
【0068】
被写体に当たっている照明光の種類を正確に判別するうえからは、1フレームの撮影画面全体を複数の領域、例えば64の領域に分割し、領域毎にYe感度値を求めることが好ましい。1フレームの撮影画面全体を複数の領域に分割すると共に、この撮影画面における主要被写体の位置を例えばスポット測光と同様にして指定し、その位置に懸かっている領域についてYe感度値を求めることもできる。
【0069】
上記の式(I)〜(IV)の中でも式(IV)を用いれば、赤色フィルタR、緑色フィルタG、および青色フィルタBの各々を薄膜化した場合(それぞれの膜厚を例えば2μm程度以下にした場合)でもYe感度値を求めやすくなる。
【0070】
色フィルタを薄膜化すると、漏れ光、すなわち、本来ならばその色フィルタによって遮断することが望まれる波長域の光でありながら当該色フィルタを透過してしまう光が増加する。上記の式(IV)では、出力平均値SG 、SB を出力平均値SR1、SR2から差し引くので、555nmよりも短波長域における赤色フィルタR1、R2からの漏れ光の影響を抑制することができる。
【0071】
前述したように、普通形蛍光灯は580nm付近に放射のピークを有し、3波長形蛍光灯は、580nm付近よりも長波長側と短波長側とに、それぞれ放射のピークを有している。太陽光やタングステン光(白熱灯からの発光)は、555〜605nmの波長域内に極端なピークや谷を有していない。
【0072】
固体撮像素子100を用いて、上記の各係数を実験的に予め選定しておくことによりYe感度値を求めれば、この固体撮像素子100に入射した光が普通形蛍光灯からの発光であるのか、3波長形蛍光灯からの発光であるのか、白熱灯からの発光や太陽光であるのかを、正確に区別することが可能になる。
【0073】
したがって、固体撮像素子100を用いて撮像装置を構成すれば、被写体に当たっている照明光が普通形蛍光灯からの発光であるのか、3波長形蛍光灯からの発光であるのか、白熱灯からの発光や太陽光であるのかを、従来と比べてより正確に区別することが可能になる。
【0074】
固体撮像素子100を用いた撮像装置の構成について、以下、具体的に説明する。
【0075】
図6は、実施例による撮像装置(例えばディジタルスチルカメラ)を概略的に示す。同図に示す撮像装置200は、第1の実施例による固体撮像素子100をエリア・イメージセンサとして用いた装置である。
【0076】
固体撮像素子100については既に説明したので、ここではその説明を省略する。
【0077】
この撮像装置200においては、撮像光学系210によって、固体撮像素子100上に被写体の光学像が結像される。撮像光学系210は、例えば、複数枚の光学レンズ、光学レンズを光軸方向に移動させるための光学レンズ駆動機構、光学絞り、光学絞りを開閉する光学絞り開閉機構、オプティカルローパスフィルタ、赤外線カットフィルタ、メカニカルシャッタ等を含んで構成される。図6においては、1枚の光学レンズ212によって撮像光学系210を代表して示す。図中の矢印Lは光を示す。
【0078】
固体撮像素子100は、駆動回路215およびタイミング信号発生回路217から供給される駆動信号によって駆動されて、画素信号を出力する。
【0079】
駆動回路215は、タイミング信号発生器217から供給される信号に基づいて垂直電荷転送素子20(図2参照)用の駆動信号、読出しパルス等の信号を生成し、これらの信号を固体撮像素子100に供給する。駆動回路215は、例えば垂直ドライバ、DC電源等を含んで構成される。
【0080】
タイミング信号発生器217は、水平電荷転送素子40(図2参照)用の駆動信号や電荷検出回路50(図2参照)用の信号を生成し、これらの信号を固体撮像素子100に供給する。また、撮像装置200内の種々の回路の動作タイミングの統一をとるためのタイミング信号を生成し、このタイミング信号を各回路に供給する。
【0081】
固体撮像素子100から出力された画素信号は、ディジタル信号生成部220へ供給されてディジタル信号に変換される。このディジタル信号生成部220は、例えば、相関二重サンプリング回路(CDS回路)222と、自動ゲイン制御回路(AGC回路)224と、アナログ/ディジタル変換回路(A/D変換回路)226とを有する。
【0082】
CDS回路222は、固体撮像素子100からの画素信号に含まれる雑音信号を低減させる。
【0083】
AGC回路224は、CDS回路222からの出力信号のレベルを適正範囲に保つ。
【0084】
A/D変換回路は、AGC回路224からの出力信号をディジタル信号に変換する。このA/D変換回路226から出力されたディジタル信号が、映像信号生成部230へ供給される。
【0085】
映像信号生成部230は、供給されたディジタル信号を基に第1赤色信号、第1緑色信号、および第1青色信号を生成し、これら第1赤色信号、第1緑色信号、および第1青色信号を用いて再生画像用の画素信号を生成する。
【0086】
オートホワイトバランス回路260は、映像信号生成部230から第1赤色信号、第1緑色信号、および第1青色信号の供給を受けて、被写体に当たっている照明光の色温度の検出、および照明光の種類の判別を行う。そして、色温度の検出結果と照明光の種類の判別結果とから、映像信号生成部230内での第1赤色信号、第1緑色信号、および第1青色信号それぞれの利得を調整し、これによってホワイトバランスをとる。
【0087】
映像信号生成部230およびオートホワイトバランス回路260の具体的構成については、後に図8を用いて詳述する。
【0088】
表示部270は、映像信号生成部230から供給される再生画像用の画素信号(出力画素信号)に基づいて、静止画または動画を表示する。この表示部270は、例えば液晶ディスプレイ等の表示装置によって構成される。
【0089】
記録部275は、映像信号生成部230から供給される再生画像用の画素信号(記録画素信号)を、例えばメモリカード等の記録媒体に記録する。
【0090】
上述した撮像光学系210、タイミング信号発生回路217、AGC回路224、映像信号生成部230、オートホワイトバランス回路260等の動作を制御するために、制御部280が配置される。
【0091】
制御部280は、モードセレクタ290によって選択された動作モードに応じて、また、シャッタボタン295の状態に応じて、タイミング信号発生回路217、映像信号生成部230、オートホワイトバランス回路260等の動作を制御する。この制御部280は、例えば中央演算処理装置(CPU)によって構成される。
【0092】
モードセレクタ290は、撮像装置200の動作モードを選択するための選択スイッチである。撮像装置200は、例えば、自動露出(AE)モード、自動合焦(AF)モード、ディジタルズームモード、静止画モード、動画モード、連写モード等の動作モードを有している。モードセレクタ290は、撮像装置200の使用者によって操作される。
【0093】
例えば、モードセレクタ290によって静止画モードが選択されているときにシャッタボタン295が半押しにされると、まず、1フレーム分の画素信号が固体撮像素子100によって生成され、これらの画素信号に基づいて、映像信号生成部230において測距信号や全露光量に関する信号が生成される。制御部280は、映像信号生成部230から供給される全露光量に関する信号に基づいて撮像光学系210中の光学絞り開閉機構の動作およびAGC回路224を制御し、測距信号に基づいて光学レンズ駆動機構の動作を制御する。撮像光学系210が被写体に合焦し、露出が適正値に調整されるまで、必要に応じて複数フレーム分の画素信号が固体撮像素子100によって生成される。
【0094】
ホワイトバランスの調整は、撮像光学系210が被写体に合焦し、露出が適正値に調整された後に、更に1フレーム分の画素信号を固体撮像素子100によって生成し、これらの画素信号に基づいて行うことが好ましい。
【0095】
この後、シャッタボタン295を全押しにすると、焦点、露出、ホワイトバランスが適切に制御された静止画が撮影される。
【0096】
以下、撮像装置200の特徴部分の1つである信号処理について更に詳細に説明するが、その前に、撮像装置200の分光感度について先ず説明する。
【0097】
図7は、撮像装置200において固体撮像素子100から出力される画素信号に基づいた赤色画素PR1、赤色画素PR2、緑色画素PG、および青色画素PBそれぞれの分光感度を示す。さらに、赤色画素PR1の分光感度と赤色画素PR2の分光感度との差をとることによって求められる第4色目の分光感度(以下、「Ye感度」ということがある。)を示す。
【0098】
同図中の実線L21が赤色画素PR1の分光感度曲線であり、一点鎖線L22が赤色画素PR2の分光感度曲線である。また、二点鎖線L23が緑色画素PGの分光感度曲線であり、破線L24が青色画素PBの分光感度曲線である。Ye感度は、同図中に太い実線L25で示されている。いずれの分光感度曲線も、シミュレーションによって求めたものである。
【0099】
なお、緑色フィルタGは、緑色顔料PG7、PG36、および黄色顔料PY150を透明樹脂に分散させて得たカラーレジンによって形成され、青色フィルタBは、青色顔料PB15:6、および紫色顔料PV23を透明樹脂に分散させて得たカラーレジンによって形成されたものである。赤色フィルタR1、R2それぞれの材料については、前述した通りである。いずれの色フィルタも、その平均膜厚は1〜3μmの範囲内である。
【0100】
撮像装置200は、被写体に当たっている照明光の種類を上述したYe感度を利用して判別し、ホワイトバランスを調整する。
【0101】
図8は、撮像装置200が有する映像信号生成部230およびオートホワイトバランス回路260それぞれについての主要部の一例を示す。以下の説明は、Ye感度値を前述した式(I)に基づいて求める場合を例にとり、行う。
【0102】
映像信号生成部230は、色分離回路235、露光量検出回路237、利得調整部240、輝度・色差信号生成部250、色差マトリックス演算部CDM、信号圧縮回路259等を有し、全露光量に関する信号、合焦信号、再生画像用の画素信号(出力画素信号、記録画素信号)を生成する。
【0103】
これらの信号を生成するにあたっては、まず、ディジタル信号生成部220によって生成されたディジタル信号が色分離回路235によって第1赤色信号、第1緑色信号SG、および第1青色信号SBに分離される。第1赤色信号は、赤色画素PR1に蓄積した電荷に由来する第1A赤色信号SR1と、赤色画素PR2に蓄積した電荷に由来する第1B赤色信号SR2とに分けられる。第1緑色信号SGは緑画素PGに蓄積した電荷に由来し、第1青色信号SBは青色画素PBに蓄積した電荷に由来する。
【0104】
各第1色信号SR1、SR2、SG、SBは、露光量検出回路237、測距回路(図示せず)、利得調整部240、およびオートホワイトバランス回路260に供給される。
【0105】
露光量検出回路237は、供給された第1色信号SR1、SR2、SG、SBを用いて全露光量に関する信号SEを生成し、この信号SEを制御部280に供給する。測距回路は、必要に応じて複数フレーム分の画素信号を取り込みつつ、合焦信号を制御部280に供給する。制御部280は、これらの信号に基づいて撮像光学系210を制御し、露出を適正値にすると共に、撮像光学系210を被写体に合焦させる。
【0106】
ホワイトバランスの調整は、前述のように、露出が適正値に制御されると共に撮像光学系210が被写体に合焦した後に、更に1フレーム分の画素信号を固体撮像素子100によって生成し、これらの画素信号に基づいて行うことが好ましい。
【0107】
ホワイトバランスの調整は、色分離回路235から利得調整部240へ供給された第1色信号SR1、SR2、SG、SBそれぞれの利得を、オートホワイトバランス回路260からの制御信号によって調整することで行われる。
【0108】
利得調整部240は、第1利得調整回路242、第2利得調整回路244、第3利得調整回路246、および第4利得調整回路248によって構成される。
【0109】
第1利得調整回路242は、色分離回路235から第1A赤色信号SR1の供給を受けると共に、オートホワイトバランス回路260から制御信号C1の供給を受けて、所定の利得に調整された第2A赤色信号SR1'を出力する。
【0110】
第2利得調整回路244は、色分離回路235から第1B赤色信号SR2の供給を受けると共に、オートホワイトバランス回路260から制御信号C2の供給を受けて、所定の利得に調整された第2B赤色信号SR2'を出力する。
【0111】
第3利得調整回路246は、色分離回路235から第1緑色信号SGの供給を受けると共に、オートホワイトバランス回路260から制御信号C3の供給を受けて、所定の利得に調整された第2緑色信号SG'を出力する。
【0112】
第4利得調整回路248は、色分離回路235から第1青色信号SBの供給を受けると共に、オートホワイトバランス回路260から制御信号C4の供給を受けて、所定の利得に調整された第2青色信号SB'を出力する。
【0113】
これらの第2色信号SR1'、SR2'、SG'、SB'は、ホワイトバランスのとれた色信号である。
【0114】
上記の制御信号C1〜C4を生成するオートホワイトバランス回路260は、色温度検出回路262、照明光判別回路265、およびホワイトバランス制御回路268を有し、例えば次のようにして制御信号C1〜C4を生成する。
【0115】
まず、色分離回路235から第1色信号SR1、SR2、SG、SBの供給を受けた色温度検出回路262が、被写体に当たっている照明光の色温度を前記の各第1色信号を用いて検出し、検出結果を表す信号Sctを出力する。
【0116】
また、色分離回路235から第1色信号SR1、SR2、SGの供給を受けた照明光判別回路265が、これら第1色信号それぞれの出力平均値を算出し、前記の式(I)に基づいてYe感度値を演算する。そして、この演算結果から被写体に当たっている照明光の種類を判別し、判別結果を表す信号Sdを出力する。
【0117】
なお、前記の式(I)で使用する係数k1、k2、k3、k4の値は、前述したように、赤色画素PR1、赤色画素PR2、および緑色画素PGそれぞれの分光感度特性に応じて、また、利得調整回路242、244、246、248それぞれの利得について撮像装置200の出荷時に設定される初期値に応じて、予め適宜選定される。
【0118】
Ye感度値は、固体撮像素子100の製造上のばらつき(例えば色フィルタの膜厚ばらつき)や、撮像装置200の製造上のばらつき(例えば赤外線カットフィルタのばらつき)の影響を受け、撮像装置同士の間でばらつく。照明光の判別に誤りが生じるのを抑制するうえからは、例えば、撮像装置200の出荷時に一定の撮影光源の下にグレー板を撮影し、そのとき照明光判別回路265で算出される前述した式(I)の値が一定値となるように、当該照明光判別回路265での利得を調整しておくことが好ましい。
【0119】
色温度検出回路262からの出力信号Sctと、照明光判別回路265からの出力信号Sdは、ホワイトバランス制御回路268に供給される。
【0120】
ホワイトバランス制御回路268は、例えば、被写体に当たっている照明光の色温度および種類と、生成すべき制御信号との対応関係を示すデータが記録された記憶素子(図示せず。)を有し、上記の出力信号Sct、Sdに基づいて所定のデータを記憶素子から読み込んで、前述した制御信号C1〜C4を生成する。
【0121】
これらの制御信号C1〜C4によって利得調整部240での利得を調整することにより、ホワイトバランスのとれた第2A赤色信号SR1'、第2B赤色信号SR2'、第2緑色信号SG'、および第2青色信号SB'を得ることができる。必要に応じて、各制御信号C1〜C4に基づいてAGC回路224(図6参照)での利得も調整される。
【0122】
なお、第2A赤色信号SR1'および第2B赤色信号SR2'はホワイトバランスのとれた色信号であるので、後工程においては互いに区別することなく、2つを合わせて1つの赤色信号として扱うこともできる。
【0123】
映像信号生成部230は、撮像光学系210が被写体に合焦し、露出が適正値に調整され、ホワイトバランスがとれるように利得調整部240での利得が調整された後にシャッタボタン295(図6参照)が全押しにされると、再生画像用の画素信号(出力画素信号、記録画素信号)を生成する。
【0124】
以下、再生画像用の画素信号を生成する際の信号処理について、具体的に説明する。
【0125】
まず、上述のようにしてホワイトバランスのとれた第2A赤色信号SR1'、第2B赤色信号SR2'、第2緑色信号SG'、および第2青色信号SB'が利得調整部240によって生成され、これらの色信号SR1'、SR2'、SG'、SB'が輝度・色差信号生成部250に供給される。
【0126】
輝度・色差信号生成部250は、例えば、補間処理回路(図示せず。)、γ変換回路253、輝度・色差信号生成回路254等を用いて構成される。必要に応じて、図示のように、リニアマトリックス演算部LMが設けられる。図8においては、リニアマトリックス演算部LM、γ変換回路253、および輝度・色差信号生成回路254によって、輝度・色差信号生成部250を代表して示す。以下の説明は、図示の内容に従って行う。
【0127】
リニアマトリックス演算部LMは、リニアマトリックス演算回路251と第2の記憶素子252とを有する。
【0128】
利得調整部240で生成された第2色信号SR1'、SR2'、SG、SBは、リニアマトリックス演算回路251に供給される。照明光判別回路265からの出力信号Sd、および色温度検出回路262からの出力信号Sctが、リニアマトリックス演算部LMに供給される。
【0129】
信号SdまたはSctの供給を受けたリニアマトリックス演算部LMでは、この信号SdまたはSctに応じた所定の演算係数が、第2の記憶素子252からリニアマトリックス演算回路251へ供給される。第2の記憶素子252には、照明光判別回路265および色温度検出回路262で判別可能な照明光の種類毎に、所定の演算係数が1組ずつ予め記憶される。
【0130】
リニアマトリックス演算回路251は、この演算係数を用いて第2色信号SR1'、SR2'、SG'、およびSB'に例えば下式(V)のリニアマトリックス演算を施して、第3A赤色信号Sr1、第3B赤色信号Sr2、第3緑色信号Sg、および第3青色信号Sbを生成する。
【0131】
【数5】
【0132】
上記の演算を行うことにより、第2A赤色信号SR1'と第2B赤色信号SR2'との違いを打ち消すことが可能であり、この違いを打ち消すことによって、均一な画像の再生が容易になる。偽色の発生を抑制するうえからは、下式(VI)で表される演算をリニアマトリックス演算回路251で行うことが好ましい。
【0133】
【数6】
【0134】
リニアマトリックス演算回路251で生成された第3A赤色信号Sr1、第3B赤色信号Sr2、第3緑色信号Sg、および第3青色信号Sbが、リニアマトリックス演算部LMからの出力信号となる。
【0135】
なお、第3A赤色信号Sr1と第3B赤色信号Sr2とは、互いに区別することなく扱うことができる。以下の説明においては、第3A赤色信号Sr1と第3B赤色信号Sr2とを区別せずに、これらの赤色信号を第3赤色信号Srと総称する。
【0136】
γ変換回路253は、第3赤色信号Sr、第3緑色信号Sg、および第3青色信号Sbの供給を受けてこれらにγ変換を施し、第4赤色信号Sr'、第4緑色信号Sg'、および第4青色信号Sb'を生成する。これらの第4色信号Sr'、Sg'、Sb'が輝度・色差信号生成回路254へ供給される。
【0137】
輝度・色差信号生成回路254は、第4色信号Sr'、Sg'、およびSb'を用いて、輝度信号Y、第1赤色差信号Cr、および第1青色差信号Cbを生成する。これらの信号Y、Cr、Cbが輝度・色差信号生成部250の出力信号となる。
【0138】
これらの出力信号のうち、第1赤色差信号Crおよび第1青色差信号Cbは色差マトリックス演算部CDMに供給され、輝度信号Yは信号圧縮回路259に供給される。
【0139】
色差マトリックス演算部CDMは、色差マトリックス演算回路256と第1の記憶素子257とを有する。
【0140】
輝度・色差信号生成部250で生成された第1色差信号Cr、Crbは、色差マトリックス演算回路256に供給される。照明光判別回路265からの出力信号Sd、および色温度検出回路262からの出力信号Sctも、色差マトリックス演算部CDMに供給される。
【0141】
信号SdまたはSctの供給を受けた色差マトリックス演算部LMでは、この信号SdまたはSctに応じた所定の演算係数が、第1の記憶素子257から色差マトリックス演算回路256へ供給される。第1の記憶素子257には、照明光判別回路265および色温度検出回路262で判別可能な照明光の種類毎に、所定の演算係数が1組ずつ予め記憶される。
【0142】
色差マトリックス演算回路256は、この演算係数を用いて第1色差信号Cr、Cbに色差マトリックス演算を施して、第2赤差色信号Cr'および第2青色差信号Cb'を生成する。これらの第2差色信号Cr'、Cb'が、色差マトリックス演算部CDMからの出力信号となる。
【0143】
第2色差信号Cr'、Cb'は信号圧縮回路259に供給され、この信号圧縮回路259において前述の輝度信号Yと共に圧縮されて、映像信号生成部230からの出力信号Sout 、すなわち、出力画素信号または記録画素信号となる。
【0144】
映像信号生成部230で出力画素信号および記録画素信号のいずれを生成するかは、モードセレクタ290(図6参照)によって選択可能なモード毎に、予め決められる。
【0145】
上述した構成を有する撮像装置200について、照明光判別回路265による照明光の判別能をシミュレーションした。
【0146】
このシミュレーションでは、撮像装置200を用いてグレー板、日本人の肌、および広葉樹の葉を各種の照明光下で撮影する場合を想定し、それぞれの想定下において照明光判別回路265で算出されるYe感度値を求めた。Ye感度値の算出に用いる前記の式(I)中での係数k1 およびk2 は共に0.25とし、係数k3 およびk4 は共に1とした。
【0147】
図9は、上記のシミュレーション結果を示す。同図中のD75は標準の光D75を意味し、D65は標準の光D65を意味し、D50は標準の光D50を意味する。白熱灯、普通型白色蛍光灯、3波長型蛍光灯は、いずれも照明光の光源である。
【0148】
同図から明らかなように、照明光判別回路265で算出されるYe感度値は、照明光が普通型白色蛍光灯からの発光である場合には、他の照明光である場合に比べて、いずれの被写体についても明らかに高い値を示す。
【0149】
一方、照明光が3波長型蛍光灯からの発光である場合には、他の照明光である場合に比べて、いずれの被写体についても明らかに低い値を示す。
【0150】
したがって、撮像装置200によれば、被写体に当たっている照明光が普通形白色蛍光灯からの発光であるのか、3波長形蛍光灯からの発光であるのか、白熱灯からの発光や太陽光であるのかを、従来と比べてより正確に区別することが可能である。
【0151】
なお、図9には示されていないが、照明光が普通型昼光色蛍光灯、または普通型温白色蛍光灯であったとしても、その分光放射特性からして、照明光が普通型白色蛍光灯である場合と同様の結果を得ることが可能であると期待される。
【0152】
被写体に当たっている照明光の種類さえ正確に判別することができれば、その種類と色温度とから、例えば3波長型蛍光灯での昼光色、昼白色、および電球色の区別も可能となり、適切なホワイトバランスをとることができる。
【0153】
さらに、照明光の種類さえ正確に判別することができれば、リニアマトリックス演算部LM、または色差マトリックス演算部CDMで使用する演算係数を照明光の種類毎に所定の値に予め選定しておくことにより、適切なホワイトバランスを維持したまま、再生画像での特定の色を、ヒトが実際に知覚する色に近づけることが容易になる。例えば、被写体である人物が普通型白色蛍光灯によって照明されていたとしても、適切なホワイトバランスを有し、被写体である人物の肌の色が実際に知覚される肌の色に極めて近い再生画像を得ることが容易になる。
【0154】
あるいは、普通型白色蛍光灯下で撮影した人物の肌色を、所望の光源下での肌色、例えば標準の光D65下での肌色と同じ色味に再現することも可能となる。
【0155】
次に、第2の実施例による固体撮像素子について説明する。
図10は、第2の実施例による固体撮像素子110での光電変換素子10、第1電荷転送素子(垂直電荷転送素子)20、第2電荷転送素子(水平電荷転送素子)40、および電荷検出回路50の平面配置を概略的に示す。
【0156】
この固体撮像素子110は、(i) 多数個の光電変換素子10が画素ずらし配置されている点、(ii)個々の垂直電荷転送素子20が蛇行形状を有する点、および(iii) 後述する色フィルタアレイの構成を除き、前述した第1の実施例による固体撮像素子100と同様の構成を有する。
【0157】
ここで、本明細書でいう「画素ずらし配置」とは、奇数番目に当たる光電変換素子列中の各光電変換素子に対し、偶数番目に当たる光電変換素子列中の光電変換素子の各々が、光電変換素子列内での光電変換素子のピッチの約1/2、列方向にずれ、奇数番目に当たる光電変換素子行中の各光電変換素子に対し、偶数番目に当たる光電変換素子行中の光電変換素子の各々が、光電変換素子行内での光電変換素子のピッチの約1/2、行方向にずれ、光電変換素子列の各々が奇数行または偶数行の光電変換素子のみを含むような、多数個の光電変換素子の配置を意味する。「画素ずらし配置」は、多数個の光電変換素子を複数行、複数列に亘って行列状に配置する際の一形態である。
【0158】
上記の「光電変換素子列内での光電変換素子のピッチの約1/2」とは、1/2を含む他に、製造誤差、設計上もしくはマスク製作上起こる画素位置の丸め誤差等の要因によって1/2から外れてはいるものの、得られる固体撮像素子の性能およびその画像の画質からみて実質的に1/2と同等とみなすことができる値をも含むものとする。上記の「光電変換素子行内での光電変換素子のピッチの約1/2」についても同様である。
【0159】
図10に示した構成要素と機能上共通する構成要素が全て図2に示されている。図2に示した構成要素と機能上共通する構成要素には図2で用いた参照符号と同じ参照符号を付してその説明を省略する。
【0160】
多数個の光電変換素子10を画素ずらし配置した場合には、垂直電荷転送素子20の各々を図10に示すような蛇行形状にすることによって、光電変換素子10の集積度を高めやすくなる。
【0161】
図11は、固体撮像素子110を構成している色フィルタアレイ115を概略的に示す上面図である。色フィルタアレイ115と、その下の部材との位置関係を判りやすくするために、同図には、光電変換素子10、水平電荷転送素子40、および電荷検出回路を、それぞれ隠れ線によって併記してある。また、有効画素領域Reと無効画素領域Riとの平面視上の境界を二点鎖線で示している。この境界上にも、色フィルタアレイ115において互いに隣接する色フィルタ同士の境界が存在する。
【0162】
色フィルタアレイ115は、赤色フィルタと青色フィルタとが交互に繰り返し配置された第1の色フィルタ行と、緑色フィルタのみによって構成された第2の色フィルタ行とを有し、これらが交互に繰り返し配置されている。第2の色フィルタ行を挟んでその両側に位置する第1の色フィルタ行の各々では、赤色フィルタと青色フィルタとの配列が互いに逆になっている。
【0163】
この色フィルタアレイ115は、550〜605nmの波長域での分光透過率が互いに異なる2種類の赤色フィルタR11、R12を有する。
【0164】
これらの赤色フィルタR11、R12の配置にのみ着目すると、有効画素領域Re内には赤色フィルタR12だけが配置されている。無効画素領域Riにおいては、有効画素領域Reの直ぐ外側に赤色フィルタR12が配置され、その外側に赤色フィルタR11が配置されている。
【0165】
図中の参照符号Gは緑色フィルタを示し、参照符号Bは青色フィルタを示す。図11においては個々の色フィルタR11、R12、G、Bを菱形で表しているが、実際の固体撮像素子では、個々の色フィルタは例えば正方形を呈する。
【0166】
赤色フィルタR11は、その下の光電変換素子10と共に赤色画素PR11を構成し、赤色フィルタR2は、その下の光電変換素子10と共に赤色画素PR12を構成する。緑色フィルタGは、その下の光電変換素子10と共に緑色画素PGを構成し、青色フィルタBは、その下の光電変換素子10と共に青色画素PBを構成する。
【0167】
2種類の赤色画素PR11、PR12のうち、赤色フィルタPR12のみが有効画素領域Re内に配置されるので、赤色画素PR11、PR12それぞれの分光感度特性を、有効画素領域Re内に2種類の赤色画素を配置する場合に比べて、更に大きく異ならせることができる。換言すれば、赤色フィルタR11、R12それぞれの分光透過率特性を、更に大きく異ならせることができる。
【0168】
本実施例では、紫色顔料の1つであるPV23と、赤色顔料の1種であるPR81と、黄色顔料の1種であるPY139とを透明樹脂に分散させて得たカラーレジンによって、赤色フィルタR11を形成した。赤色フィルタR12は、赤色顔料の1種であるPR254と、黄色顔料の1種であるPY139とを透明樹脂に分散させて得たカラーレジンによって形成した。赤色フィルタR11、R12それぞれの平均膜厚は、いずれも、1〜3μmの範囲内である。
【0169】
上述した固体撮像素子110は、第1の実施例による固体撮像素子100と同様の効果を奏する。
【0170】
固体撮像素子110を用いて撮像装置を作製する場合、その構成は、図6および図8に示した構成と同様にすることができる。ただし、固体撮像素子110においては多数個の光電変換素子10が画素ずらし配置されているので、映像信号生成部230(図8参照)での補間処理の方法が、固体撮像素子100を用いて構成された撮像装置での補間処理と異なってくる。
【0171】
多数個の光電変換素子が画素ずらし配置されている固体撮像素子を用いて構成された撮像装置では、行方向に隣り合う光電変換素子同士の間、および列方向に隣り合う光電変換素子の間にも恰も光電変換素子が存在するかのように、補間処理によって再生画像用の画素信号を生成することができる。
【0172】
図12は、固体撮像素子110を用いて構成された撮像装置の分光感度を示す。同図には、赤色画素PR11の分光感度曲線が実線L31によって示され、赤色画素PR12の分光感度曲線が一点鎖線L32によって示されている。
【0173】
図12から明らかなように、赤色画素PR11の分光感度と、赤色画素PR12の分光感度とは、550〜605nmの波長域において互いに大きく異なっている。
【0174】
前述した式(IV)における分子の値を、k34=0.66、k35=0(ゼロ)、k36=0.13の下に求めることによって得たYe感度(分光感度)を、図12中に太い実線L33で示す。
【0175】
なお、図12に示した分光感度曲線は、いずれも、固体撮像素子110を用いた撮像装置において当該固体撮像素子110から出力される画素信号についてのシミュレーションから求めたものである。
【0176】
式(IV)を用いてYe感度値を求める場合、照明光判別回路265には、第1A赤色信号SR1、第1B赤色信号SR2、第1緑色信号SG、および第1青色信号SB(図8参照)を供給する。この場合、第1A赤色信号SR1は赤色画素PR11に蓄積した電荷に由来し、第1B赤色信号SR2は赤色画素PR12に蓄積した電荷に由来する。第1緑色信号SGは緑画素PGに蓄積した電荷に由来し、第1青色信号SBは青色画素PBに蓄積した電荷に由来する。
【0177】
図12に示すYe感度を有する撮像装置について、図9を用いて既に説明したシミュレーションと同様のシミュレーションを行った。
【0178】
このシミュレーションでは、前述した式(IV)を用いてYe感度値を算出し、その際、係数k31〜k36の各値を、k31=0(ゼロ)、k32=0.3、k33=1、k34=0.66、k35=0(ゼロ)、k36=0.13とした。また、色フィルタアレイ115における緑色フィルタGおよび青色フィルタBは、それぞれ、図7に示した分光感度と同じ分光感度が得られるものとした。
【0179】
図13は、上記のシミュレーションの結果を示す。同図から明らかなように、このシミュレーションによっても、図9を用いて既に説明したシミュレーションと同様の結果が得られた。
【0180】
被写体に当たっている照明光が普通形白色蛍光灯からの発光であるのか、3波長形蛍光灯からの発光であるのか、白熱灯からの発光や太陽光であるかのを、従来と比べてより正確に区別することが可能である。
【0181】
次に、第3の実施例による固体撮像素子について説明する。
図14は、第3の実施例による固体撮像素子120を構成している色フィルタアレイ125を概略的に示す上面図である。図示の固体撮像素子120は、色フィルタアレイ125の構成を除き、前述した第1の実施例による固体撮像素子100と同様の構成を有する。
【0182】
図14に示した構成要素のうち、図3に示した構成要素と共通する構成要素には図3で用いた参照符号と同じ参照符号を付して、その説明を省略する。同図には、色フィルタアレイ125と、その下の部材との位置関係を判りやすくするために、光電変換素子10、水平電荷転送素子40、および電荷検出回路を、それぞれ隠れ線によって併記してある。また、有効画素領域Reとその外側の無効画素領域との平面視上の境界を二点鎖線で示している。この境界上にも、色フィルタアレイ125において互いに隣接する色フィルタ同士の境界が存在する。
【0183】
固体撮像素子120は3板式の撮像装置に使用される3個の固体撮像素子の1つであり、色フィルタアレイ125は、赤色フィルタR1、R2のみによって構成されている。行方向および列方向のいずれについても、赤色フィルタR1と赤色フィルタR2とが交互に繰り返し配置されている。
【0184】
この固体撮像素子120を用いて3板式の撮像装置を構成することにより、図6に示した撮像装置200と同様の効果を奏する撮像装置を得ることが可能である。
【0185】
次に、第4の実施例による固体撮像素子について説明する。
図15は、第4の実施例による固体撮像素子130を構成している色フィルタアレイ135を概略的に示す上面図である。図示の固体撮像素子130は、色フィルタアレイ135の構成を除き、前述した第1の実施例による固体撮像素子100と同様の構成を有する。
【0186】
図15に示した構成要素のうち、図3に示した構成要素と共通する構成要素には図3で用いた参照符号と同じ参照符号を付して、その説明を省略する。同図には、色フィルタアレイ135と、その下の部材との位置関係を判りやすくするために、光電変換素子10、水平電荷転送素子40、および電荷検出回路を、それぞれ隠れ線によって併記してある。また、有効画素領域Reとその外側の無効画素領域との平面視上の境界を二点鎖線で示している。この境界上にも、色フィルタアレイ125において互いに隣接する色フィルタ同士の境界が存在する。
【0187】
固体撮像素子130は2板式の撮像装置に使用される2個の固体撮像素子のうちの1つであり、色フィルタアレイ125は、赤色フィルタR1と、赤色フィルタR2と、青色フィルタPBとによって構成されている。
【0188】
赤色フィルタR1と赤色フィルタR2とが交互に繰り返し配置された第1色フィルタ列と、青色フィルタBのみによって構成された第2色フィルタ列とが、交互に配置されている。1つの第2色フィルタ列を間に介して隣り合う2つの第1色フィルタ列では、赤色フィルタR1と赤色フィルタR2との配置が互いに逆になっている。
【0189】
この固体撮像素子130を用いて2板式の撮像装置を構成することにより、図6に示した撮像装置200と同様の効果を奏する撮像装置を得ることが可能である。
【0190】
次に、第5の実施例による固体撮像素子について説明する。
図16は、第5の実施例による固体撮像素子140を構成している色フィルタアレイ145を概略的に示す上面図である。図示の固体撮像素子140は、色フィルタアレイ145の構成を除き、前述した第1の実施例による固体撮像素子100と同様の構成を有する。
【0191】
図16に示した構成要素のうち、図3に示した構成要素と共通する構成要素には図3で用いた参照符号と同じ参照符号を付して、その説明を省略する。同図には、色フィルタアレイ145と、その下の部材との位置関係を判りやすくするために、光電変換素子10、水平電荷転送素子40、および電荷検出回路を、それぞれ隠れ線によって併記してある。また、有効画素領域Reとその外側の無効画素領域との平面視上の境界を二点鎖線で示している。この境界上にも、色フィルタアレイ125において互いに隣接する色フィルタ同士の境界が存在する。
【0192】
固体撮像素子140は単板式の撮像装置に使用される固体撮像素子であり、色フィルタアレイ145は、赤色フィルタRと、緑色フィルタG1と、緑色フィルタG2と、青色フィルタBとによって構成されている。
【0193】
緑色フィルタG1と緑色フィルタG2とでは、555〜605nmの波長域での分光透過率が互いに異なる。緑色フィルタの配置にのみ着目すると、2つの緑色フィルタG1、G2のうちの緑色フィルタG1のみを含む色フィルタ行と、2つの緑色フィルタG1、G2のうちの緑色フィルタG2のみを含む色フィルタ行とが交互に配置されている。
【0194】
この固体撮像素子140を用いて単板式の撮像装置を構成した場合でも、図6に示した撮像装置200と同様に、Ye感度値を求めることができるので、撮像装置200と同様の効果を奏する撮像装置を得ることが可能である。
【0195】
固体撮像素子140を用いた撮像装置においてYe感度値を求めるにあたっては、例えば、前述した式(I)〜(IV)での「R」を「G」に、「赤」を「緑」にそれぞれ読み替えることによって得られる式を用いて演算する。中でも、式(IV)での「R」を「G」に、「赤」を「緑」にそれぞれ読み替えることによって得られる式を用いて演算することが好ましい。
【0196】
以上、実施例による固体撮像素子および製造装置について説明したが、本発明は上述した実施例に限定されるものではない。
【0197】
例えば、Ye感度値の算出自体は、555〜605nmの波長域における分光感度特性が互いに異なる2種類の赤色画素または2種類の緑色画素に光が入射しさえすれば、それらが固体撮像素子においてどのように分布していたとしても可能である。これら2種類の画素を固体撮像素子においてどのように分布させるかは、目的とする固体撮像素子または撮像装置の用途や、目的とする固体撮像素子または撮像装置に求められる性能等に応じて適宜選定可能である。
【0198】
種々の撮影シーンにおいて被写体に当たっている照明光の種類をできるだけ正確に判別するうえからは、2種類の赤色画素または2種類の緑色画素を有効画素領域内に均等に分散させることが好ましい。この場合、偽色の発生や色むらの発生を抑えるうえから、2種類の画素(赤色画素または緑色画素)同士の間での分光特性の差をなるべく小さくすることが好ましい。
【0199】
さらに偽色の発生を抑えるうえからは、有効画素領域内には1種類の赤色画素のみを配置するか、2種類配置する場合でも、その一方の数をできるだけ少なくすることが好ましい。2種類の赤色画素の一方を無効画素領域にのみ配置するようにすれば、偽色の発生を抑制しやすくなる。2種類の緑色画素を用いる場合についても同様である。
【0200】
2種類の赤色画素の一方を無効画素領域にのみ配置する場合には、これら2種類の赤色画素として、640nm付近よりも長波長側においても分光感度特性が互いに異なるものを用いることができる。このような2種類の赤色画素を用いて固体撮像素子を構成した場合、この固体撮像素子を用いた撮像装置では、前述した式(I)または式(IV)での分子の式に基づいて算出したYe感度(分光感度)に、640nm付近よりも長波長域での分光感度(以下、この分光感度を「LR感度」という。)が付け加えられる。図12に太い実線L33で示したYe感度は、LR感度が付加された一例である。
【0201】
Ye感度にLR感度を付加することにより、太陽光またはタングステン光(白熱灯からの発光)と3波長型蛍光灯からの発光との判別能を高めることが可能になる。この場合、555〜605nmの波長域におけるYe感度のピーク値Yep と、640nmよりも長波長域におけるYe感度(LR感度)のピーク値LRp との比Yep/LRpが0.5以下、好ましくは0.4以下となるか、または2.0以上、好ましくは2.5以上となるように、これら2種類の赤色画素の分光感度特性を選定することが好ましい。比Yep/LRpが前述の範囲から外れると、普通型白色蛍光灯からの発光と太陽光またはタングステン光とを判別し難くなる。
【0202】
Ye感度値の算出は、互いに近接する2種類の赤色画素と、これらの赤色画素に近接する緑色画素や青色画素とを対象にして、または、互いに近接する2種類の緑色画素と、これらの緑色画素に近接する赤色画素や青色画素とを対象にして、これらの画素から読み出した信号を利用して行うことが好ましい。
【0203】
画素の分光感度は、例えば、当該画素を構成する色フィルタの分光透過率を適宜選定することによって、制御することができる。色フィルタの分光透過率は、例えば、その色フィルタに含有させる顔料や染料の種類および量に応じて、あるいは、その膜厚に応じて変化する。
【0204】
例えば、同一の顔料組成の下に顔料含有率を変えることにより、赤色フィルタR1と赤色フィルタR2とを作製することができる。あるいは、膜厚だけを変えることによって、赤色フィルタR1と赤色フィルタR2とを作製することができる。これらの場合には、赤色画素PR1と赤色画素PR2との分光感度特性の差が極めて小さくなるので、有効画素領域Re内に赤色画素PR1と赤色画素PR2とを配置するうえで好ましい。
【0205】
Ye感度にLR感度をも付加させるか否かに拘わらず、色フィルタアレイの製造ばらつきに起因するYe感度の変動を抑えるうえからは、2種類の緑色フィルタを用いるよりも、2種類の赤色フィルタを用いる方が好ましい。赤色フィルタは、膜厚変動に対する分光透過率特性の安定性が緑色フィルタよりも高い。
【0206】
例えば顔料によって着色された赤色フィルタを作製する場合、赤色顔料としてはPR81、PR177、PR209、PR254等を用いることができる。赤色顔料の他にPY138、PY139、PY150、PY185等の黄色顔料や、PG7、PV23等の顔料を併用することにより、赤色顔料のみを用いて着色された赤色フィルタとは分光透過率特性の異なる赤色フィルタを得ることができる。
【0207】
勿論、染料によって着色された色フィルタを用いることも可能である。
色フィルタの分光透過率特性が同じ場合でも、光電変換素子の上方に存在する色フィルタ以外の層の光透過特性を変えることにより、互いに分光感度特性が異なる2種類の画素を形成することが可能である。例えば、固体撮像素子において多用されるシリコン窒化膜の膜厚を特定の光電変換素子上において厚く、あるいは薄くすることにより、互いに分光感度特性が異なる2種類の画素を形成することができる。
【0208】
個々の光電変換素子の上方にマイクロレンズを配置する場合には、このマイクロレンズに色フィルタとしての機能を付加することもできる。
【0209】
あるいは、555〜605nmの波長域での分光透過率特性が互いに異なる2種類のマイクロレンズを所望のパターンで配置することによって、分光感度が互いに異なる2種類の画素を形成することもできる。
【0210】
固体撮像素子の構成は、目的とする固体撮像素子の用途や性能等に応じて種々変更可能である。
【0211】
固体撮像素子において多数個の光電変換素子を正方行列状に配置した場合、垂直電荷転送素子の構成は、1行の光電変換素子行あたり例えば2〜4本の垂直転送電極を備えた構成にすることができる。多数個の光電変換素子を画素ずらし配置した場合には、垂直電荷転送素子の構成を、1行の光電変換素子行あたり例えば1〜4本の垂直転送電極を備えた構成にすることができる。
【0212】
多数個の光電変換素子を正方行列状に配置する場合および画素ずらし配置する場合のいずれにおいても、垂直電荷転送素子や水平電荷転送素子を何相の駆動信号で駆動するかは適宜選定可能である。水平電荷転送素子は、1つの垂直電荷転送素子あたり2本以上の水平転送電極を配置することによって構成可能である。
【0213】
固体撮像素子は、MOS型の固体撮像素子であってもよい。
図17(A)は、エリア・イメージセンサとして利用されるMOS型の固体撮像素子での光電変換素子および出力信号生成部の配置を概略的に示す。
【0214】
図示の固体撮像素子300では、半導体基板301の一表面に複数行、複数列に亘って多数個の光電変換素子310が正方行列状に配置される。1個の光電変換素子310に1つずつ、図示を省略したスイッチング回路が接続される。
【0215】
1つの光電変換素子列に1本ずつ、この光電変換素子列に沿って出力信号線330が配置され、これらの出力信号線330に1つずつ、負荷トランジスタ340が接続される。各出力信号線330は、信号生成部350に接続される。
【0216】
光電変換素子310に光が入射すると、この光電変換素子310に電荷が蓄積される。図示を省略したスイッチング回路の動作を適宜制御することにより、光電変換素子310に蓄積された電荷に応じた大きさの電気信号を、対応する出力信号線330に発生させることができる。この電気信号は信号生成部350によって検出されると共に、所定の出力信号(画素信号)に変換されて出力される。この出力が、固体撮像素子300の出力となる。
【0217】
個々の光電変換素子310に接続されたスイッチング回路の動作を光電変換素子行単位で制御するために、行読出し走査部360と行リセット走査部365とが半導体基板301に配置される。
【0218】
行読出し走査部360は、各スイッチング回路の動作を制御して、光電変換素子310とこれに対応する出力信号線330との電気的な接続を制御する。行リセット走査部365は、各スイッチング回路の動作を制御して、光電変換素子310に蓄積された電荷の掃き出し動作を制御する。
【0219】
これらの制御に必要な信号を伝達するために、行選択信号線324およびリセット信号線327が、それぞれ、1行の光電変換素子行に1本ずつ対応して配置される。また、1行の光電変換素子行もしくは1列の光電変換素子列に1本ずつ対応して、電源電圧供給線325が配置される。各スイッチング回路は、これらの信号線および供給線にも電気的に接続可能である。
【0220】
制御部370が半導体基板301上に配置されて、信号生成部350、行読出し走査部360、および行リセット走査部365の動作を制御する。
【0221】
図17(B)は、スイッチング回路の一例を示す。同図に示すスイッチング回路320は、出力用トランジスタ321、行選択用トランジスタ322、およびリセット用トランジスタ323を含む。これらのトランジスタは、例えばMOS型トランジスタである。
【0222】
出力用トランジスタ321と行選択用トランジスタ322とが直列に接続され、出力用トランジスタ322のゲートに光電変換素子310が、行選択用トランジスタ322のゲートに行選択信号線324が接続される。出力用トランジスタの残りの一端が電源電圧供給線325に接続され、行選択用トランジスタ322の残りの一端が出力信号線330に接続される。
【0223】
リセット用トランジスタ323は、出力用トランジスタ322と光電変換素子310とを接続する配線226に接続されると共に、電源電圧供給線325にも接続され、そのゲートにはリセット信号線327が接続される。
【0224】
各スイッチング回路320、各出力信号線330、各負荷トランジスタ340、信号生成部350、行読出し走査部360、および行リセット走査部365は、出力信号生成部を構成する。
【0225】
行読出し走査部360から行選択信号線324に読出し信号が供給されると、この行選択信号線324に接続されている行選択用トランジスタ322がオンになる。出力用トランジスタ321と、これに対応する出力信号線330とが電気的に接続される。
【0226】
出力用トランジスタ321のゲートに印加される電圧の値は、この出力用トランジスタ321に接続されている光電変換素子310に蓄積された電荷に応じて変化する。したがって、出力用トランジスタ321に流れるドレイン電流の大きさも、光電変換素子310に蓄積された電荷に応じて変化する。結果的に、行選択用トランジスタ322がオンになると、光電変換素子310に蓄積された電荷に応じた電気信号が出力用信号線330に発生する。
【0227】
行リセット走査部365からリセット信号線327にリセット信号が供給されると、このリセット信号線327に接続されているリセット用トランジスタ323がオンになる。このリセット用トランジスタ323に対応する光電変換素子310が電源電圧供給線325に接続され、光電変換素子310に蓄積されていた電荷が電源電圧供給線325に排出される。
【0228】
MOS型の固体撮像素子300においても、CCD型の固体撮像素子と同様に、半導体基板301の上方に光遮蔽膜、層間絶縁膜、パッシベーション膜、平坦化膜が順次配置され、その上に色フィルタアレイが配置される。必要に応じて、色フィルタアレイの上方にマイクロレンズアレイが配置される。
【0229】
CCD型の固体撮像素子およびMOS型の固体撮像素子のいずれを用いて撮像装置を構成する場合においても、映像信号生成部の構成は図8に示したものに限定されるものではない。
【0230】
例えば、図8に示した実施例による撮像装置200では、第1〜第4利得調整回路251〜254を利用してホワイトバランスをとっているが、第1緑色信号SGについては利得調整を変えないことも可能である。本明細書において第1緑色信号SGについていう「利得調整」は、第1緑色信号SGの利得を変えない場合も含むものとする。例えば、AE機能による露出制御に対して補正が不要な場合には、ホワイトバランスをとるにあたって第1緑色信号SGの利得を変えなくてもよい。
【0231】
また、図8においては、2つの利得調整回路242、244によって第1A赤色信号SR1および第1B赤色信号SR2の利得を調整しているが、赤色フィルタR1、R2が有効画素領域内に配置されている場合には、第1A赤色信号SR1および第1B赤色信号SR2それぞれの利得を1つの利得調整回路によって調整することも可能である。
【0232】
リニアマトリックス演算部LMは、省略することも可能であるし、輝度・色差信号生成部250内に設けずに色分離回路235と利得調整部240との間に設けることもできる。
【0233】
リニアマトリックス演算部LMを色分離回路235と利得調整部240との間に設ける場合には、色分離回路235からの出力信号がリニアマトリックス演算部LMへの入力信号となり、その出力信号が露光量検出回路237、利得調整部240、およびオートホワイトバランス回路260それぞれの入力信号となるように撮像装置を構成することができる。このようにして構成された撮像装置では、リニアマトリックス演算部LMからの出力信号が、図8に示した撮像装置200でいう第1赤色信号、第1緑色信号、第1青色信号に相当する。
【0234】
あるいは、色分離回路235からの出力信号が露光量検出回路237、オートホワイトバランス回路260、およびリニアマトリックス演算部LMへの入力信号となり、リニアマトリックス演算部LMからの出力信号が利得調整部240への入力信号となるように撮像装置を構成することもできる。このようにして構成された撮像装置では、図8に示した撮像装置200と同様に、色分離回路235からの出力信号が第1赤色信号、第1緑色信号、第1青色信号となる。
【0235】
色分離回路235は、映像信号生成部に設けずにディジタル信号生成部220内に設けることもできる。この場合の色分離回路235は、その出力信号がAGC回路224(図6参照)の入力信号となるように配置される。
【0236】
その他、種々の変更、改良、組み合わせ等が可能であることは、当業者に自明であろう。
【0237】
【発明の効果】
以上説明したように、本発明によれば、被写体に当たっている照明光の種類を精度よく判別にすることを可能にする固体撮像素子、および、被写体に当たっている照明光の種類を精度よく判別することが可能な撮像装置が提供される。色再現性に優れた撮像装置を提供することが容易になる。
【図面の簡単な説明】
【図1】図1(A)は、第1の赤色画素、第2の赤色画素、緑色画素、および青色画素を備えた半導体装置を示す概略図であり、図1(B)は、図1(A)に示した第1の赤色画素を構成している第1の赤色フィルタの分光透過率と、同図に示した第2の赤色画素を構成している第2の赤色フィルタの分光透過率とを示すグラフである。
【図2】第1の実施例による固体撮像素子での光電変換素子、第1電荷転送素子(垂直電荷転送素子)、第2電荷転送素子(水平電荷転送素子)、および電荷検出回路の平面配置を示す概略図である。
【図3】図2に示した固体撮像素子を構成している色フィルタアレイを概略的に示す上面図である。
【図4】図3に示した2種類の赤色フィルタそれぞれの分光透過率を示すグラフである。
【図5】図3に示した固体撮像素子の分光感度を示すグラフである。
【図6】実施例による撮像装置を示す概略図である。
【図7】図6に示した撮像装置の分光感度を示すグラフである。
【図8】図6に示した撮像装置が有するオートホワイトバランス回路および映像信号生成部それぞれについての主要部の一例を示す概略図である。
【図9】図6に示した撮像装置が有する照明光判別能についてのシミュレーション結果を示すグラフである。
【図10】第2の実施例による固体撮像素子での光電変換素子、第1電荷転送素子(垂直電荷転送素子)、第2電荷転送素子(水平電荷転送素子)、および電荷検出回路の平面配置を示す概略図である。
【図11】図10に示した固体撮像素子を構成している色フィルタアレイを概略的に示す上面図である。
【図12】図10に示した固体撮像素子を用いて構成された撮像装置の分光感度を示すグラフである。
【図13】図10に示した固体撮像素子を用いて構成された撮像装置が有する照明光判別能についてのシミュレーション結果を示すグラフである。
【図14】第3の実施例による固体撮像素子を構成している色フィルタアレイを概略的に示す上面図である。
【図15】第4の実施例による固体撮像素子を構成している色フィルタアレイを概略的に示す上面図である。
【図16】第5の実施例による固体撮像素子を構成している色フィルタアレイを概略的に示す上面図である。
【図17】図17(A)は、エリア・イメージセンサとして利用されるMOS型固体撮像素子での光電変換素子および出力信号生成部の配置を示す概略図であり、図17(B)は、図17(A)に示した光電変換素子に接続されるスイッチング回路の一例を示す回路図である。
【符号の説明】
1、301…半導体基板、 10、310…光電変換素子、 20…第1電荷転送素子(垂直電荷転送素子)、 30…読出しゲート、 40…第2電荷転送素子(水平電荷転送素子)、 50…電荷検出回路、 60、115、125、135、145…色フィルタアレイ、 100、110、120、130、140、300…固体撮像素子、 200…撮像装置、 210…撮像光学系、 220…ディジタル信号生成部、230…映像信号生成部、235…色分離回路、240…利得調整部、250…輝度・色差信号生成部、 260…オートホワイトバランス回路、 262…色温度検出回路、 265…照明光判別回路、 268…ホワイトバランス制御回路、 330…出力信号線、 340…負荷トランジスタ、 350…信号生成部、 360…行読出し走査部、 365…行リセット走査部、 370制御部、 Re…有効画素領域、 Ri…無効画素領域、 R1、R2、R11、R12…赤色フィルタ、 G…緑色フィルタ、 B…青色フィルタ、 PR1、PR2、PR11、PR12…赤色画素、 PG…緑色画素、 PB…青色画素、 LM…リニアマトリックス演算部、 CDM…色差マトリックス演算部。
Claims (12)
- 半導体基板と、
前記半導体基板の一表面に複数行、複数列に亘って行列状に配置され、各々が、前記一表面に形成されて電荷を蓄積することができる光電変換素子、および前記光電変換素子の上方に配置されて該光電変換素子への入射光の波長を制御する色フィルタを有し、555〜605nmの波長域において互いに異なる分光感度を有する2種類に分類される赤色または緑色の画素を含む多数個の画素と、
前記多数個の画素それぞれに蓄積された電荷に基づいて出力信号を生成することができる出力信号生成部と
を備えた固体撮像素子。 - 前記多数個の画素が、前記半導体基板の一表面に設定された有効画素領域から該有効画素領域の周囲に設定された無効画素領域にかけて配置される請求項1記載の固体撮像素子。
- 前記2種類に分類される画素の一方が、前記無効画素領域内に配置される請求項2に記載の固体撮像素子。
- 前記多数個の画素が赤色画素、緑色画素、および青色画素によって構成される請求項1〜3のいずれか1項に記載の固体撮像素子。
- 前記多数個の画素が赤色画素および緑色画素のいずれか一方のみによって構成される請求項1〜3のいずれか1項に記載の固体撮像素子。
- 前記多数個の画素が赤色画素と青色画素とによって構成される請求項1〜3のいずれか1項に記載の固体撮像素子。
- 前記2種類に分類される画素が赤色画素である請求項1〜6のいずれか1項に記載の固体撮像素子。
- 前記分光感度の違いが、前記色フィルタの分光透過率の違いに起因する請求項1〜7のいずれか1項に記載の固体撮像素子。
- 半導体基板と、前記半導体基板の一表面に複数行、複数列に亘って行列状に配置され、各々が、前記一表面に形成されて電荷を蓄積することができる光電変換素子、および前記光電変換素子の上方に配置されて該光電変換素子への入射光の波長を制御する色フィルタを有し、555〜605nmの波長域において互いに異なる分光感度を有する2種類に分類される赤色または緑色の画素を含む多数個の画素と、前記多数個の画素それぞれに蓄積された電荷に基づいて出力信号を生成することができる出力信号生成部とを備えた固体撮像素子と、
前記固体撮像素子上に被写体像を結ぶ撮像光学系と、
前記固体撮像素子からの出力信号をディジタル信号に変換して出力するディジタル信号生成部と、
前記ディジタル信号生成部から出力されたディジタル信号を基に第1赤色信号、第1緑色信号、および第1青色信号を生成し、該第1赤色信号、該第1緑色信号、および該第1青色信号を用いて再生画像用の画素信号を生成する映像信号生成部と、
前記第1赤色信号、前記第1緑色信号、および前記第1青色信号の供給を受けて、前記被写体に当たっている照明光の色温度の検出、および、前記2種類の画素の一方に入射した光の放射強度と他方に入射した光の放射強度との相対的な差に基づいての前記照明光の種類の判別を行い、前記色温度の検出結果と前記照明光の種類の判別結果とから前記映像信号生成部内での前記第1赤色信号、前記第1緑色信号、および前記第1青色信号それぞれの利得を調整するオートホワイトバランス回路と
を備えた撮像装置。 - 前記オートホワイトバランス回路が、前記色温度を検出して、その結果を表す色温度信号を出力する色温度検出回路と、
前記照明光の種類を判別して、その結果を表す判別信号を出力する照明光判別回路と、
前記色温度信号および前記判別信号に基づいて、前記映像信号生成部内での前記第1赤色信号、前記第1緑色信号、および前記第1青色信号それぞれの利得調整に用られる制御信号を生成するホワイトバランス制御回路とを有する請求項9に記載の撮像装置。 - 前記映像信号生成部が、前記ディジタル信号生成部から出力されたディジタル信号の供給を受けて前記第1赤色信号、前記第1緑色信号、および前記第1青色信号を生成する色分離回路と、
前記第1赤色信号、前記第1緑色信号、前記第1青色信号および前記制御信号の供給を受け、前記第1赤色信号、前記第1緑色信号、および前記第1青色信号それぞれの利得を調整して第2赤色信号、第2緑色信号、および第2青色信号を出力する利得調整部と、
前記第2赤色信号、前記第2緑色信号、および前記第2青色信号の供給を受けて輝度信号、第1赤色差信号、および第1青色差信号を生成する輝度・色差信号生成部と、
前記第1赤色差信号および前記第1青色差信号の供給を受け、該第1赤色差信号および該第1青色差信号に前記オートホワイトバランス回路での前記照明光の判別結果に応じた色差マトリックス演算を施して、第2赤色差信号および第2青色差信号を生成する色差マトリックス演算部とを有する請求項9又は10に記載の撮像装置。 - 前記輝度・色差信号生成部が、さらに、前記第2赤色信号、前記第2緑色信号、および前記第2青色信号の供給を受け、該第2赤色信号、該第2緑色信号、および該第2青色信号に前記オートホワイトバランス回路での前記照明光の判別結果に応じたリニアマトリックス演算を施して、第3赤色信号、第3緑色信号、および第3青色信号を生成するリニアマトリックス演算部を有する請求項11に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002059063A JP3950715B2 (ja) | 2002-03-05 | 2002-03-05 | 固体撮像素子およびこれを用いた撮像装置 |
US10/364,511 US7148920B2 (en) | 2002-03-05 | 2003-02-12 | Solid state image pickup device capable of distinguishing between light sources and image pickup apparatus using such solid state image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002059063A JP3950715B2 (ja) | 2002-03-05 | 2002-03-05 | 固体撮像素子およびこれを用いた撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003259380A JP2003259380A (ja) | 2003-09-12 |
JP3950715B2 true JP3950715B2 (ja) | 2007-08-01 |
Family
ID=27784729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002059063A Expired - Fee Related JP3950715B2 (ja) | 2002-03-05 | 2002-03-05 | 固体撮像素子およびこれを用いた撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7148920B2 (ja) |
JP (1) | JP3950715B2 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7463287B2 (en) * | 2002-07-29 | 2008-12-09 | Fujifilm Corporation | Solid-state image pick-up device and image pick-up apparatus capable of distinguishing a photographing light source type |
KR100446631B1 (ko) * | 2002-08-24 | 2004-09-04 | 삼성전자주식회사 | 델타 구조 디스플레이에서의 칼라영상의 표현 방법 및 장치 |
JP3967690B2 (ja) * | 2003-03-25 | 2007-08-29 | 富士フイルム株式会社 | 撮像装置 |
JP4207659B2 (ja) | 2003-05-16 | 2009-01-14 | ソニー株式会社 | 固体撮像装置およびその駆動方法、ならびにカメラ装置 |
JP4497872B2 (ja) * | 2003-09-10 | 2010-07-07 | キヤノン株式会社 | 撮像装置 |
JP4633129B2 (ja) * | 2003-11-11 | 2011-02-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
JP4118916B2 (ja) | 2003-11-11 | 2008-07-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
JP4902106B2 (ja) * | 2004-07-09 | 2012-03-21 | 富士フイルム株式会社 | 固体撮像素子及びデジタルカメラ |
US7609302B2 (en) * | 2004-08-11 | 2009-10-27 | Micron Technology, Inc. | Correction of non-uniform sensitivity in an image array |
WO2006043414A1 (ja) * | 2004-10-19 | 2006-04-27 | Megachips Lsi Solutions Inc. | 画像処理方法及び画像処理装置 |
US7684029B2 (en) * | 2004-10-29 | 2010-03-23 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and apparatus for identifying a sensed light environment |
JP4677226B2 (ja) * | 2004-12-17 | 2011-04-27 | キヤノン株式会社 | 画像処理装置及び方法 |
JP2006270657A (ja) * | 2005-03-25 | 2006-10-05 | Casio Comput Co Ltd | 撮像装置、及び固体撮像素子、固体撮像素子の駆動方法 |
JP4670465B2 (ja) | 2005-05-11 | 2011-04-13 | ソニー株式会社 | ホワイトバランス制御装置 |
JP4293174B2 (ja) * | 2005-09-28 | 2009-07-08 | ソニー株式会社 | 撮像装置および画像処理装置 |
JP2007103401A (ja) * | 2005-09-30 | 2007-04-19 | Matsushita Electric Ind Co Ltd | 撮像装置及び画像処理装置 |
JP2007129581A (ja) * | 2005-11-04 | 2007-05-24 | Canon Inc | 撮像装置及び撮像システム |
JP4449936B2 (ja) * | 2006-03-31 | 2010-04-14 | ソニー株式会社 | 撮像装置、カメラシステムおよびその駆動方法 |
JP4983093B2 (ja) * | 2006-05-15 | 2012-07-25 | ソニー株式会社 | 撮像装置および方法 |
JP2008005383A (ja) * | 2006-06-26 | 2008-01-10 | Matsushita Electric Ind Co Ltd | 撮像装置及びイメージセンサ |
JP2008072575A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 画像処理装置、方法、及びコンピュータプログラム |
JP4874752B2 (ja) * | 2006-09-27 | 2012-02-15 | Hoya株式会社 | デジタルカメラ |
KR101639382B1 (ko) * | 2008-08-27 | 2016-07-13 | 삼성전자주식회사 | 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법 |
US8462238B2 (en) | 2008-11-04 | 2013-06-11 | Ecole Polytechnique Fëdërale de Lausanne (EPFL) | Camera design for the simultaneous capture of near-infrared and visible images |
CN102300100B (zh) * | 2010-06-28 | 2015-03-04 | 比亚迪股份有限公司 | 一种白平衡控制装置及方法 |
EP2724192A4 (en) * | 2011-06-21 | 2015-09-02 | Front Street Diversified Income Class By Its Manager Front Street Invest Man Inc | METHOD AND DEVICE FOR GENERATING INFORMATION ON THREE-DIMENSIONAL IMAGES |
JP5879549B2 (ja) * | 2011-09-20 | 2016-03-08 | パナソニックIpマネジメント株式会社 | ライトフィールド撮像装置、および画像処理装置 |
US9071740B1 (en) | 2011-10-28 | 2015-06-30 | Google Inc. | Modular camera system |
US9537968B1 (en) | 2012-01-06 | 2017-01-03 | Google Inc. | Communication of socket protocol based data over a storage protocol based interface |
US9197686B1 (en) | 2012-01-06 | 2015-11-24 | Google Inc. | Backfill of video stream |
US8836814B2 (en) | 2012-01-18 | 2014-09-16 | Nokia Corporation | Method and apparatus for ambient light spectrum detection in digital photography |
US20130250300A1 (en) * | 2012-03-23 | 2013-09-26 | Po-Chieh Hung | Light source recognition |
TWI527450B (zh) * | 2012-05-01 | 2016-03-21 | Sony Corp | Image sensor, and image sensor control method |
KR101888682B1 (ko) | 2012-06-13 | 2018-08-16 | 삼성전자 주식회사 | 디스플레이장치 및 그 제어방법 |
CN104503014A (zh) * | 2014-12-18 | 2015-04-08 | 深圳市华星光电技术有限公司 | 彩色滤光片及包含所述彩色滤光片的液晶显示器 |
WO2016147366A1 (ja) * | 2015-03-19 | 2016-09-22 | オリンパス株式会社 | 内視鏡装置 |
US9544485B2 (en) | 2015-05-27 | 2017-01-10 | Google Inc. | Multi-mode LED illumination system |
US9613423B2 (en) | 2015-06-12 | 2017-04-04 | Google Inc. | Using a depth map of a monitored scene to identify floors, walls, and ceilings |
US9626849B2 (en) | 2015-06-12 | 2017-04-18 | Google Inc. | Using scene information from a security camera to reduce false security alerts |
US9454820B1 (en) | 2015-06-12 | 2016-09-27 | Google Inc. | Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination |
US9886620B2 (en) | 2015-06-12 | 2018-02-06 | Google Llc | Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera |
US9235899B1 (en) | 2015-06-12 | 2016-01-12 | Google Inc. | Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination |
US9386230B1 (en) | 2015-06-12 | 2016-07-05 | Google Inc. | Day and night detection based on one or more of illuminant detection, lux level detection, and tiling |
US9489745B1 (en) | 2015-06-12 | 2016-11-08 | Google Inc. | Using depth maps of a scene to identify movement of a video camera |
US9554063B2 (en) | 2015-06-12 | 2017-01-24 | Google Inc. | Using infrared images of a monitored scene to identify windows |
US10180615B2 (en) | 2016-10-31 | 2019-01-15 | Google Llc | Electrochromic filtering in a camera |
CN110022751B (zh) | 2016-12-02 | 2021-11-30 | 奥林巴斯株式会社 | 内窥镜用图像处理装置 |
CN108956650B (zh) * | 2017-05-25 | 2021-09-24 | 北京君和信达科技有限公司 | 探测器增益自动配置方法、装置、系统及存储介质 |
CN107872663B (zh) * | 2017-12-25 | 2019-05-24 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
US10728462B2 (en) * | 2018-10-08 | 2020-07-28 | Pixart Imaging Inc. | Image sensor, image sensing system, image sensing method and material recognition system |
CN112087559B (zh) * | 2019-06-13 | 2021-11-30 | 华为技术有限公司 | 图像传感器、图像拍摄装置和方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5087936A (en) * | 1988-09-08 | 1992-02-11 | Fuji Photo Film Co., Ltd. | Camera |
JP2872759B2 (ja) * | 1989-06-08 | 1999-03-24 | 富士写真フイルム株式会社 | 固体撮像システム |
US5253046A (en) * | 1991-03-07 | 1993-10-12 | Canon Kabushiki Kaisha | Color image pickup apparatus for object image conversion |
JPH05328362A (ja) | 1992-05-15 | 1993-12-10 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JPH06273322A (ja) * | 1993-03-17 | 1994-09-30 | Hitachi Ltd | カメラ、分光システムおよびこれらを用いた燃焼評価装置 |
US5555464A (en) * | 1995-07-28 | 1996-09-10 | Lockheed Martin Corporation | Red/near-infrared filtering for CCD cameras |
DE19616440A1 (de) * | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
JPH09327024A (ja) * | 1996-06-07 | 1997-12-16 | Olympus Optical Co Ltd | 画像処理装置 |
US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
JPH10125887A (ja) * | 1996-10-21 | 1998-05-15 | Toshiba Corp | 固体撮像素子 |
JP3624604B2 (ja) * | 1996-12-28 | 2005-03-02 | 株式会社ニコン | 撮像装置の色再現補正装置および補正方法 |
US6473123B1 (en) * | 1997-08-21 | 2002-10-29 | Flash Point Technology, Inc. | Method and system for organizing DMA transfers to support image rotation |
US6657663B2 (en) * | 1998-05-06 | 2003-12-02 | Intel Corporation | Pre-subtracting architecture for enabling multiple spectrum image sensing |
JP4020488B2 (ja) * | 1998-05-18 | 2007-12-12 | 富士フイルム株式会社 | 固体撮像装置 |
US6803955B1 (en) * | 1999-03-03 | 2004-10-12 | Olympus Corporation | Imaging device and imaging apparatus |
JP2001016598A (ja) * | 1999-04-30 | 2001-01-19 | Olympus Optical Co Ltd | カラー撮像素子及び撮像装置 |
JP3952113B2 (ja) * | 1999-05-21 | 2007-08-01 | 富士フイルム株式会社 | 撮影装置並びにホワイトバランス調整方法および装置 |
JP2001016607A (ja) * | 1999-06-29 | 2001-01-19 | Minolta Co Ltd | デジタル撮影装置およびデジタル撮影方法 |
JP4323043B2 (ja) * | 1999-12-28 | 2009-09-02 | 富士フイルム株式会社 | 固体撮像装置および光学フィルタ |
JP4240256B2 (ja) * | 2000-01-14 | 2009-03-18 | 富士フイルム株式会社 | 電子カメラ |
JP2001224037A (ja) * | 2000-02-14 | 2001-08-17 | Minolta Co Ltd | カラー撮像装置および画像データ取得方法 |
US6515275B1 (en) * | 2000-04-24 | 2003-02-04 | Hewlett-Packard Company | Method and apparatus for determining the illumination type in a scene |
JP2002071458A (ja) | 2000-06-09 | 2002-03-08 | Hewlett Packard Co <Hp> | 光源タイプ判定方法 |
US7154545B2 (en) * | 2001-04-30 | 2006-12-26 | Hewlett-Packard Development Company, L.P. | Image scanner photosensor assembly with improved spectral accuracy and increased bit-depth |
JP2003169341A (ja) * | 2001-09-19 | 2003-06-13 | Fuji Film Microdevices Co Ltd | カラー画像撮像装置 |
JP4324404B2 (ja) * | 2003-04-22 | 2009-09-02 | 富士フイルム株式会社 | 固体撮像装置及びデジタルカメラ |
JP4644423B2 (ja) * | 2003-09-30 | 2011-03-02 | 富士フイルム株式会社 | カラー固体撮像素子及びこのカラー固体撮像素子を用いた固体撮像装置並びにデジタルカメラ |
-
2002
- 2002-03-05 JP JP2002059063A patent/JP3950715B2/ja not_active Expired - Fee Related
-
2003
- 2003-02-12 US US10/364,511 patent/US7148920B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7148920B2 (en) | 2006-12-12 |
US20030169354A1 (en) | 2003-09-11 |
JP2003259380A (ja) | 2003-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3950715B2 (ja) | 固体撮像素子およびこれを用いた撮像装置 | |
US9560325B2 (en) | Imaging device camera system and driving method of the same | |
JP4324404B2 (ja) | 固体撮像装置及びデジタルカメラ | |
TWI500319B (zh) | 影像感測器之延伸景深 | |
JP4241840B2 (ja) | 撮像装置 | |
US20090051984A1 (en) | Image sensor having checkerboard pattern | |
JP2009506646A (ja) | 光感度が改善されたイメージ・センサー | |
JP2011520351A (ja) | 画像センサの同心露光シーケンス | |
JP4867448B2 (ja) | 物理情報取得方法および物理情報取得装置 | |
US9288410B2 (en) | Solid-state imaging device and electronic apparatus | |
JP2007116437A (ja) | 撮像素子および撮像システム | |
US8848077B2 (en) | Imaging apparatus and imaging method | |
JP4303922B2 (ja) | 固体撮像素子および撮像装置 | |
JP4909965B2 (ja) | 撮像装置 | |
US20250159381A1 (en) | Image sensor element and imaging device | |
JP4681792B2 (ja) | デジタルカメラ | |
JP4674424B2 (ja) | 撮像システム | |
JP5103341B2 (ja) | 固体撮像素子及び撮像装置 | |
JP2017063246A (ja) | 撮像装置及び測光用センサー | |
JP2004363899A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040604 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070423 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |