[go: up one dir, main page]

TW202011057A - 攝像裝置及攝像系統 - Google Patents

攝像裝置及攝像系統 Download PDF

Info

Publication number
TW202011057A
TW202011057A TW108118670A TW108118670A TW202011057A TW 202011057 A TW202011057 A TW 202011057A TW 108118670 A TW108118670 A TW 108118670A TW 108118670 A TW108118670 A TW 108118670A TW 202011057 A TW202011057 A TW 202011057A
Authority
TW
Taiwan
Prior art keywords
pixel
infrared light
arrangement
color filter
pixels
Prior art date
Application number
TW108118670A
Other languages
English (en)
Other versions
TWI832864B (zh
Inventor
杉山壽伸
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202011057A publication Critical patent/TW202011057A/zh
Application granted granted Critical
Publication of TWI832864B publication Critical patent/TWI832864B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Studio Devices (AREA)

Abstract

本發明之攝像裝置具備：第1像素，其具有透過與可視光即第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶透過之紅外光截止濾光器；第2像素，其具有透過與可視光即第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器；第3像素，其具有透過與可視光即第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器；第4像素，其具有透過紅外光之波長頻帶之透過特性；以及第5像素，其具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性。

Description

攝像裝置及攝像系統
本發明係關於一種攝像裝置及攝像系統，尤其是關於一種可同時取得可視光及紅外光(IR：infrared，紅外線)之攝像裝置及利用該攝像裝置之攝像系統。
近年來，可同時取得可視光及紅外光(紅外線)之攝像裝置備受關注。此種攝像裝置在用於個人電腦或智慧型手機等之面部認證、虹膜認證等之保全用途、或是利用於車載或監視、遊戲等之距離計測或昏暗時之物體辨識等之用途中，可同時實現一般之彩色圖像之攝影功能與利用紅外光之該等感測功能。
在可同時取得可視光及紅外光之攝像裝置中，為了避免紅外光朝可視光受光用之像素之侵入，而用於取得可視光之R(紅色)、G(綠色)、B(藍色)濾光器、與用於取得紅外光之IR(紅外光)濾光器就成為重複單位之每一單位像素排列而設置(例如，參照專利文獻1)。
在此先前技術中，以在攝像裝置前具備在可視光及特定紅外光(投光紅外光)之波長頻帶具有透過性能之雙帶通濾光器為前提。而且，藉由在R、G、B濾光器上更形成在與上述之特定紅外光之波長頻帶大致相同之波長區域具有吸收特性之選擇性紅外光截止濾光器，而設為在可視光像素中僅可視光之波長頻帶透過，另一方面，在紅外光像素中僅上述之特定紅外光之波長頻帶之光透過。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2017-216678號公報
[發明所欲解決之問題]
在上述之專利文獻1記載之先前技術中，選擇性紅外光截止濾光器一般而言截止波長區域之透過率不會完全變為0%，具有10%至20%左右之值。且，一般而言，選擇性紅外光截止濾光器在截止特性上存在不穩定性，而有該紅外光透過率在攝像裝置之面內不一、或經時變化之傾向。因而，在可視光成分與紅外光成分之分離運算中，引起可視光-紅外光之分離精度惡化、或分離運算之解發散等之現象。其結果為，畫質受損。
本發明之目的在於提供一種即便選擇性紅外光截止濾光器之紅外光透過率不明、或在空間上、時間上不穩定，仍可更高精度地將可視光與紅外光分離之攝像裝置。 [解決問題之技術手段]
用於達成上述目的之本發明之攝像裝置具有： 第1像素，其具有透過與可視光即第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶透過之紅外光截止濾光器； 第2像素，其具有透過與可視光即第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器； 第3像素，其具有透過與可視光即第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器； 第4像素，其具有透過紅外光之波長頻帶之透過特性；以及 第5像素，其具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性。 且，用於達成上述目的之本發明之攝像系統利用上述之構成之攝像裝置。
以下，利用圖式針對用於實施本發明之技術之形態(以下記述為「實施形態」)詳細地說明。本發明之技術不限定於實施形態。在以下之說明中，對同一要素或具有同一功能之要素使用同一符號，且省略重複之說明。此外，說明係按照以下之順序進行。 1.關於本發明之攝像裝置及攝像系統之整體之說明 2.利用本發明之攝像裝置之攝像系統(照相機系統) 2-1.系統構成 2-2.先前例之RGBW彩色濾光器排列 3.本發明之實施形態 3-1.實施例1(以R、G、B、W之像素排列為基礎之例) 3-2.實施例2(基於R、G、B、W之像素排列，將一半W像素置換為GI像素之例) 3-3.實施例3(以R、G、B-IR之像素排列為基礎之例) 3-4.實施例4(基於R、G、B-IR之像素排列，增加G像素之數目之例) 3-5.實施例5(基於R、G、B-IR之像素排列，將一半G像素置換為WS像素之例) 3-6.實施例6(基於R、G、B-IR之像素排列，將一半IR像素置換為kIR像素之例) 3-7.實施例7(對於R、G、B-IR之像素排列，將一半IR像素置換為W像素之例) 3-8.實施例8(對於R、G、B、W之像素排列，將一半G像素置換為IR像素之例) 3-9.實施例9(以R、B、W、WS-IR之像素排列為基礎之例) 3-10.實施例10(基於R、G、B-IR之像素排列，將一半R像素置換為YI像素之例) 3-11.實施例11(基於R、G、B-IR之像素排列，將一半R像素置換為Ye像素之例) 3-12.實施例12(將全部彩色濾光器置換為補色濾光器之例) 3-13.實施例13(將透過率算出用之單位像素排列離散地配置之例) 4.實施形態之變化例 5.本發明可採用之構成
＜關於本發明之攝像裝置及攝像系統之整體之說明＞ 在本發明之攝像裝置及攝像系統中，可採用更具備帶通濾光器之構成，且該帶通濾光器透過與紅色對應之波長頻帶、與綠色對應之波長頻帶、與藍色對應之波長頻帶、及波長較與紅色對應之波長頻帶更長之頻帶即第1紅外光波長頻帶。該帶通濾光器具有截止與紅色對應之波長頻帶與第1紅外光波長頻帶之間之波長頻帶即第1波長頻帶、及較第1紅外光波長頻帶更長之波長頻帶即第2波長頻帶之功能。而且，作為帶通濾光器，較佳為利用限制第1紅外光波長頻帶之透過之選擇性紅外光截止濾光器。
在包含上述之較佳之構成之本發明之攝像裝置及攝像系統中，可採用第1彩色濾光器為紅色之彩色濾光器、第2彩色濾光器為綠色之彩色濾光器、及第3彩色濾光器為藍色之彩色濾光器的構成。
再者，在包含上述之較佳之構成之本發明之攝像裝置及攝像系統中，可採用第4像素為未形成彩色濾光器之白色像素、或具有透過紅外光之波長頻帶之透過特性之紅外光像素的構成。又，可採用第5像素為未形成選擇性紅外光截止濾光器之綠色像素、形成有選擇性紅外光截止濾光器之白色像素、形成有選擇性紅外光截止濾光器之紅外光像素、或未形成選擇性紅外光截止濾光器之補色像素的構成。
或者，又，在包含上述之較佳之構成之本發明之攝像裝置及攝像系統中，可採用第1彩色濾光器、第2彩色濾光器、及第3彩色濾光器，為補色濾光器的構成。而且，可採用第1彩色濾光器為黃色之彩色濾光器，第2彩色濾光器為洋紅色之彩色濾光器、及第3彩色濾光器為靛青色之彩色濾光器的構成。
再者，在包含上述之較佳之構成之本發明之攝像裝置及攝像系統中，可採用針對第4像素，為具有透過紅外光之波長頻帶之透過特性之紅外光像素的構成。又，可採用針對第5像素，為未形成選擇性紅外光截止濾光器之黃色之彩色濾光器、洋紅色之彩色濾光器、或靛青色之彩色濾光器的構成。
又，在包含上述之較佳之構成之本發明之攝像裝置及攝像系統中，可採用包含第1像素、第2像素、第3像素、第4像素、及第5像素之單位像素排列可採用在像素呈矩陣狀配置而成之像素陣列部上被離散地配置的構成。
＜攝像系統＞ 首先，針對利用本發明之攝像裝置之攝像系統(照相機系統)之構成進行說明。 [系統構成] 在圖1中顯示利用本發明之攝像裝置之照相機系統之概要。如圖1所示，本例之照相機系統1為具有投射紅外光(IR)之光源部10、拍攝圖像之攝像部20、及照相機信號處理部30之構成。
光源部10係由作為發出紅外光(IR)之光源之IR-LED 11、及驅動該IR-LED 11之IR-LED驅動器12構成。作為IR-LED 11，例如利用發出波長850 nm之紅外光之發光二極體(LED)。
攝像部20係由透鏡21、雙帶通濾光器22、及攝像裝置23構成。而且，作為攝像裝置23係利用後述之本發明之攝像裝置。作為本發明之攝像裝置，例如可例示作為X-Y位址式攝像裝置之一種之CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)圖像感測器。CMOS圖像感測器係應用或部分地使用CMOS製程而製作之圖像感測器。
雙帶通濾光器22係透過與紅色(R)對應之波長頻帶、與綠色(G)對應之波長頻帶、與藍色(B)對應之波長頻帶、及波長較與紅色對應之波長頻帶更長之頻帶即第1紅外光波長頻帶之帶通濾光器。雙帶通濾光器22截止與紅色對應之波長頻帶與第1紅外光波長頻帶之間之波長頻帶即第2波長頻帶、及較紅外光波長頻帶更長之波長頻帶即第3波長頻帶之功能。在圖2A中顯示雙帶通濾光器22之分光特性之一例。如圖2A所示，此處例示之雙帶通濾光器22在可視光之頻帶、及與波長850 nm之紅外光對應之第1紅外光波長頻帶具有透過特性。
攝像裝置23係可同時取得可視光及紅外光之攝像裝置。在此種攝像裝置中，如上文所述般，為了避免紅外光朝可視光受光用之像素之侵入，而利用R、G、B、IR之像素排列之彩色濾光器。除該R、G、B、IR之像素排列之彩色濾光器以外，作為用於可同時取得可視光及紅外光之彩色濾光器，業已知悉R、G、B、W之像素排列之彩色濾光器。
此處，所謂W係意指未形成彩色濾光器之白色像素。W像素係藉由在像素上不設置彩色濾光器，而在與形成有像素陣列之矽基板本身之感度對應之所有可視光、紅外光之頻帶具有感度的像素。
[先前例之RGBW彩色濾光器排列] 此處，針對先前例之R、G、B、W彩色濾光器排列進行說明。在圖2B中顯示先前例之R、G、B、W彩色濾光器排列。
在先前例之R、G、B、W彩色濾光器排列(像素排列)中，由於無僅接收紅外光之專用像素，故對於各個像素之受光信號，藉由建立如下式(1)所示之聯立方程式，並進行逆運算，而進行各色之信號強度之算出。
Figure 02_image001
一般而言，式(1)之聯立方程式可解析地求解，但在該濾光器構成中，在強紅外光混入可視光像素時等，運算誤差增大，而在色再現、雜訊等之方面招致畫質劣化。
另一方面，為了避免該雜訊之產生，而考量在R、G、B、W彩色濾光器排列中，僅在R像素、G像素、B像素形成選擇性紅外光截止濾光器的方法。在下式(2)中顯示針對上述之聯立方程式，將透過率k之選擇性紅外光截止濾光器僅搭載於R像素、G像素、B像素之上方時之矩陣表述之換算式。
Figure 02_image003
對於式(2)之運算式，若求得矩陣之反矩陣並進行逆算，則可將與各色濾光器對應之像素信號分離。如此，R像素、G像素、B像素中所含之信號中之紅外光之信號成分因減少乘以透過率k之份額之成分而獲得抑制雜訊之效果。然而，在透過率k=1/3(33%)附近，轉換式之行列式(1-3k)為0，逆運算之解發散，而不會獲得正確之信號強度。
如上文所述般，因選擇性紅外光截止濾光器之透過率在空間上經時地顯示不穩定性，而也設想透過率在33%附近。因而，若以此變化為前提，則在R、G、B、W彩色濾光器排列(像素排列)中，難以使用具有有限之透過率之選擇性紅外光截止濾光器。
＜本發明之實施形態＞ 在本發明之實施形態中，鑒於以上之問題點，即便選擇性紅外光截止濾光器之紅外光透過率k不明、或在空間上、時間上不穩定，仍可更高精度地將可視光與紅外光分離。又，在R、G、B、W彩色濾光器排列(像素排列)中亦然，可使用選擇性紅外光截止濾光器，同樣地，可更高精度地將可視光與紅外光分離。
為了更高精度地將可視光與紅外光分離，而在本實施形態中，於本發明之攝像裝置之彩色濾光器之單位像素排列內，增加因有無選擇性紅外光截止濾光器之組合所致之新的像素構成，就每一單位像素排列包含選擇性紅外光截止濾光器之透過率而算出輸入信號。
更具體而言，本實施形態之攝像裝置之特徵在於在彩色濾光器之單位像素排列內具備具有以下功能之第1像素、第2像素、第3像素、第4像素、及第5像素之5種像素。
第1像素具有透過與作為可視光之第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶之透過之紅外光截止濾光器。第2像素具有透過與作為可視光之第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器。第3像素具有透過與作為可視光之第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器。第4像素具有透過紅外光之波長頻帶之透過特性。第5像素具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性
在使用紅外光透過率k在空間上、時間上變動之選擇性紅外光截止濾光器時，藉由算出紅外光透過率k，而可提高各信號成分之算出精度。其結果為，可謀求提高色再現、S/N等之畫質指標。且，在一般之可視光-紅外光之分離計算中，藉由紅外光透過率k之值，而即便在如求得各色之信號成分之矩陣發散之情形下，也可求得各色之信號成分。
又，由於因可使用紅外光透過率k不穩定之選擇性紅外光截止濾光器，而作為該選擇性紅外光截止濾光器，可使用更低成本之膜，故可謀求器件本身之低成本化。
以下，針對以更高精度地將可視光與紅外光分離為目的，而在彩色濾光器之單位像素排列內具有因有無選擇性紅外光截止濾光器之組合所致之新的像素構成的本實施形態之具體的實施例進行說明。
[實施例1] 實施例1係以R、G、B、W之像素排列為基礎之例。在圖3A中顯示實施例1之彩色濾光器之單位像素排列。在實施例1中，以圖3A所示之4列×4行之彩色濾光器排列(像素排列)為單位，將各濾光器在像素陣列部之各像素上重複擴展。
惟，為於在R、G、B、W之單位像素排列存在之4個G像素中之2個G像素形成選擇性紅外光截止濾光器，在其他2個G像素未形成選擇性紅外光截止濾光器之構成。選擇性紅外光截止濾光器係在與投光紅外光之波長頻帶大致相同之波長區域具有吸收特性之濾光器。
在圖4中顯示像素呈矩陣狀配置而成的像素陣列部之各像素之濾光器之構成。圖4係沿圖3A之X-X線之B像素、G像素、R像素、及GI像素之剖視圖，以及W像素之剖視圖。
此處，GI像素係未形成選擇性紅外光截止濾光器之G像素。以下，將該未形成選擇性紅外光截止濾光器之G像素記述為GI像素。GI像素係在G波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之像素。
在圖3B中顯示選擇性紅外光截止濾光器之分光特性之一例。在圖3B所示之分光特性中，在850 nm附近之紅外光之透過率為12%左右，但該透過率有在攝像裝置23之面內不一、或經時不一之傾向。
在像素陣列部231之B像素、G像素、及R像素上形成有將紅外光(IR)截止之紅外光截止濾光器、例如在與來自光源之投光紅外光之波長頻帶大致相同之波長區域、亦即第1紅外光波長頻帶具有吸收特性而限制該第1波長頻帶之透過的選擇性紅外光截止濾光器232。而且，在選擇性紅外光截止濾光器232上形成有與各像素對應之彩色濾光器233。
針對GI像素，未形成限制第1紅外光波長頻帶之透過之選擇性紅外光截止濾光器232，而僅行成G彩色濾光器。針對W像素，未形成彩色濾光器，在與矽基板本身之感度對應之所有可視光、紅外光之頻帶具有感度。而且，在像素陣列部231之各像素之最上部以像素單位形成有晶片上透鏡234。
在上述之實施例1之彩色濾光器排列中，R、G、B之各像素係具有透過與作為可視光之第1色光(紅色光)、第2色光(綠色光)、第3色光(藍色光)對應之波長頻帶之各濾光器、及選擇性紅外光截止濾光器232的第1、第2、第3像素。W像素係具有透過紅外光之波長頻帶之透過特性之第4像素。GI像素係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
在以上述之彩色濾光器排列(像素排列)為前提時，朝形成單位像素排列之各像素入射之光信號與彩色濾光器之積層構成對應而被分類為R、G、B、IR、kIR之5種。此處，所謂kIR係意指透過選擇性紅外光截止濾光器232之紅外光，其強度係以紅外光之強度IR乘以紅外光透過率k者。
又，在接收該等光時，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、Wi 、GIi ，則上述之信號類型與各色成分之輸入信號之關係係以如下式(3)所示之矩陣運算(轉換矩陣A)表現。
Figure 02_image005
此外，在轉換矩陣A中，為了使說明簡單化，而單純為1與0之排列，但詳細而言，也可基於各濾光器之分光特性記述為實數值之成分。針對後述之各實施例也同樣。
此處，與上文所述之先前例之R、G、B、W彩色濾光器排列(參照圖2B)不同之點係藉由作為像素之種類增加GI像素，且與其對應地，kIR之強度也設為未知係數，而入射信號強度與像素信號之轉換矩陣A為5列×5行之點。藉此，若存在轉換矩陣A之反矩陣(行列式detA≠0)，則藉由進行反矩陣運算，而可算出自5種入射信號值分離之R、G、B、IR、kIR之信號值。
下式(4)係顯示實際上求得轉換矩陣A之反矩陣，自像素信號分離R、G、B，kIR、IR之各入射信號強度之運算式者。在本構成中，因存在轉換矩陣A之反矩陣(行列式detA=2)，而可算出各信號強度。藉此，也可就每單位像素排列求得選擇性紅外光截止濾光器232之紅外光透過率k。
Figure 02_image007
根據上述之實施例1，因也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR，而不受在上文所述之先前例之R、G、B、W彩色濾光器排列中成為問題的選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。且，也可避免在先前例之R、G、B、W彩色濾光器排列成為問題的解之發散之問題。
(實施例1之變化例) 若在構成單位像素排列之各色(包含IR(紅外光)、全光(W)透過像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(3)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得與實施例1之彩色濾光器排列同樣之效果。在圖5A及圖5B中顯示4列×4行重複之彩色濾光器排列之變化例，在圖6A、圖6B、圖7A、及圖7B中顯示2列×2行重複之彩色濾光器排列之變化例。
・第1變化例 在圖5A中顯示實施例1之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為在實施例1之彩色濾光器排列(參照圖3A)中將GI像素置換為G像素，將第3列第3行之R像素置換為未形成選擇性紅外光截止濾光器之RI像素之構成。RI像素係在R之波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之R像素。
・第2變化例 在圖5B中顯示實施例1之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列為在實施例1之彩色濾光器排列(參照圖3A)中，將GI像素置換為G像素，將第3列第1行之B像素置換為未形成選擇性紅外光截止濾光器之BI像素之構成。BI像素係在B波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之B像素。
・第3變化例 在圖6A中顯示實施例1之第3變化例之彩色濾光器排列。第3變化例之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與R、W、GI、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。GI像素係在G波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之像素。
・第4變化例 在圖6B中顯示實施例1之第4變化例之彩色濾光器排列。第4變化例之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與RI、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。RI像素係在R之波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之R像素。
・第5變化例 圖7A中顯示實施例1之第5變化例之彩色濾光器排列。第5變化例之彩色濾光器排列為將R、W、G、B之2列×2行之像素單位與R、W、G、BI之2列×2行之像素單位交替地配置之單位像素排列之構成。BI像素係在B波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之B像素。
・第6變化例 圖7B中顯示實施例1之第6變化例之彩色濾光器排列。第6變化例之彩色濾光器排列為將R、W、G、B之2列×2行之像素單位與R、WS、G、B之2列×2行之像素單位交替地配置之單位像素排列之構成。WS像素係形成有選擇性紅外光截止濾光器之W像素。
[實施例2] 實施例2係在基於R、G、B、W之像素排列之彩色濾光器排列中，將一半的W像素置換為在G波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之GI像素之例。圖8A中顯示實施例2之彩色濾光器排列。
如圖8A所示，實施例2之彩色濾光器排列，構成為在4列×4行之像素排列中，第1列包含R像素、GI像素、B像素、及GI像素，第2列及第4列包含W像素、G像素、W像素、及G像素，第3列包含G像素、GI像素、R像素、及GI像素。此處，R像素、G像素、B像素係形成有選擇性紅外光截止濾光器之像素，GI像素、W像素係未形成選擇性紅外光截止濾光器之像素。實施例2之彩色濾光器排列之轉換矩陣運算式與實施例1之情形相同。
在實施例1中，將一半的G像素置換為GI像素。在實施例1之情形下，當紅外光之強度為強時因自GI像素算出之G信號之雜訊增大，而有對彩色圖像之品質造成影響之情形。相對於此，在實施例2之彩色濾光器排列中，針對R、G、B像素之彩色濾光器構成，因與先前例之R、G、B、W彩色濾光器排列(參照圖2B)同樣，故即便在紅外光之強度為強時，彩色圖像之品質也可保持不變。
根據上述之實施例2，與實施例1之情形同樣地，不受選擇性紅外光截止濾光器之透過率k之空間、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出，除此以外，即便在紅外光之強度為強時，彩色圖像之品質也可保持不變。
(實施例2之變化例) 在圖8B中顯示實施例2之變化例之彩色濾光器排列。實施例2之變化例之彩色濾光器排列係在基於R、G、B、W之像素排列之4列×4行重複之彩色濾光器排列中將一半W像素置換為在W像素形成有選擇性紅外光截止濾光器232之WS像素之例。
在實施例2之變化例之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、WSi 、Wi ，則各色成分之強度與各像素之信號強度之關係係以如下式(5)所示之矩陣運算表現。
Figure 02_image009
而且，藉由如下式(6)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image011
在實施例2之彩色濾光器排列中，因將一半W像素置換為GI像素，而相對於可視光(R、B)之成分，感度降低。相對於此，在實施例2之變化例之彩色濾光器排列中，因將一半W像素置換為WS像素，而相對於可視光(R、G、B)之成分可維持感度。
[實施例3] 實施例3係以R、G、B-IR(紅外光)之像素排列為基礎之2列×2行重複之彩色濾光器排列之例。在圖9中顯示實施例3之彩色濾光器排列。
在實施例3之彩色濾光器排列中，與實施例1之彩色濾光器排列之差異係如由圖9可詳知不存在W像素。亦即，在實施例3中，為將W像素置換為IR像素之像素排列，以該4列×4行之像素排列為單位，將各濾光器在像素陣列部之各像素上重複擴展。IR像素係具有透過紅外光之波長頻帶之透過特性之像素。
在實施例3之彩色濾光器排列中，為在R、G、B之各像素上形成選擇性紅外光截止濾光器，且於在該彩色濾光器排列存在之4個G像素中之2個G像素形成選擇性紅外光截止濾光器，在其他2個G像素(亦即GI像素)未形成選擇性紅外光截止濾光器之構成。
具體而言，如圖9所示，在實施例3中，為於4列×4行之像素排列中，第1列包含R像素、GI像素、R像素、及G像素，第2列及第4列包含IR像素、B像素、IR像素、及B像素，第3列包含R像素、G像素、R像素、及GI像素之構成。此處，R像素、G像素、B像素、及IR像素係形成有選擇性紅外光截止濾光器之像素，GI像素係未形成選擇性紅外光截止濾光器之像素。
在上述之實施例3之彩色濾光器排列中，R、G、B之各像素係具有透過與作為可視光之第1色光(紅色光)、第2色光(綠色光)、第3色光(藍色光)對應之波長頻帶之各濾光器、及選擇性紅外光截止濾光器的第1、第2、第3像素。IR像素係具有透過紅外光之波長頻帶之透過特性之第4像素。GI像素係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
在實施例3之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、GIi 、IRi ，則各色成分之強度與各像素之信號強度之關係係由如下式(7)所示之矩陣運算表現。與實施例1之情形同樣地，藉由將以紅外光之強度乘以選擇性紅外光截止濾光器之紅外光透過率k之kIR也設為未知數，而為5列×5行之轉換式。
Figure 02_image013
而且，藉由如下式(8)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image015
在以上述之R、G、B-IR之像素排列為基礎之實施例3中亦然，可獲得與以R、G、B、W之像素排列為基礎之實施例1之情形同樣之作用、效果。亦即，由於也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR，故不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。
(實施例3之變化例) 與實施例3之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR(紅外光)像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(7)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖10A中顯示實施例3之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列在實施例3之彩色濾光器排列(參照圖9)中，為將第3列第1行及第1列第3行之各R像素置換為未形成選擇性紅外光截止濾光器之RI像素、亦即在R波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之RI像素之構成。
・第2變化例 在圖10B中顯示實施例3之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列在實施例3之彩色濾光器排列(參照圖9)中，為將第4列第2行及第2列第4行之各B像素置換為未形成選擇性紅外光截止濾光器之BI像素、亦即在B波長頻帶、及透過雙帶通濾光器22之紅外光之波長頻帶的2個波長頻帶具有感度之BI像素之構成。
[實施例4] 實施例4係在基於R、G、B-IR之像素排列之4列×4行重複之彩色濾光器排列中，增加在解析度上效果為高之G像素之數目，並減少在解析度上效果為低之R像素及B像素之數目之例。在圖11中顯示實施例4之彩色濾光器排列。
如圖11所示，在實施例4中，為在R、G、B-IR之像素排列中，4列×4行之共計16個像素中之一半之8個像素為G像素，在該8個G像素中之4個G像素形成選擇性紅外光截止濾光器，在其他4個G像素未形成選擇性紅外光截止濾光器之構成。而且，可利用與實施例3之情形同樣之轉換式算出各濾光器之信號值。
具體而言，為在4列×4行之像素排列中，第1列包含R像素、G像素、B像素、及G像素，第2列及第4列包含GI像素、IR像素、GI像素、及IR像素，第3列包含B像素、G像素、R像素、及G像素之構成。此處，R像素、G像素、B像素、及IR像素係形成有選擇性紅外光截止濾光器之像素，GI像素係未形成選擇性紅外光截止濾光器之像素。
根據上述之實施例4，因以R、G、B-IR之像素排列為基礎，而可獲得與實施例3之情形同樣之作用、效果。除此作用、效果以外，在實施例4中，因在解析度上效果為高之G像素之數目多於R像素及B像素之數目，而可謀求高解析度化。
(實施例4之變化例) 與實施例4之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR(紅外光)像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(7)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖12A中顯示實施例4之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為G像素，且將第3列第3行之R像素置換為未形成選擇性紅外光截止濾光器之RI像素之構成。
・第2變化例 在圖12B中顯示實施例4之第2變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為在實施例4之彩色濾光器排列(參照圖11)中，將GI像素置換為G像素，且將第3列第1行之B像素置換為未形成選擇性紅外光截止濾光器之GI像素之構成。
[實施例5] 實施例5係在以R、G、B-IR之像素排列為基礎之4列×4行重複之彩色濾光器排列中將一半G像素置換為形成有選擇性紅外光截止濾光器之WS像素之例。在圖13A中顯示實施例5之彩色濾光器排列。
如圖13A所示，實施例5之彩色濾光器排列為在R、G、B-IR之像素排列中將一半G像素置換為WS像素，且將G像素、WS像素、及IR像素逐次配置4個之構成。具體而言，為在4列×4行之像素排列中，第1列包含R像素、G像素、B像素、及G像素，第2列及第4列包含WS像素、IR像素、WS像素、及IR像素，第3列包含B像素、G像素、R像素、及G像素之構成。WS像素係形成有選擇性紅外光截止濾光器之W像素。
在上述之實施例5之彩色濾光器排列中，R、G、B之各像素係具有透過與作為可視光之第1色光(紅色光)、第2色光(綠色光)、第3色光(藍色光)對應之波長頻帶之各濾光器、及選擇性紅外光截止濾光器的第1、第2、第3像素。IR像素係具有透過紅外光之波長頻帶之透過特性之第4像素。WS像素係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
在實施例5之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、WSi 、IRi ，則各色成分之強度與各像素之信號強度之關係係以如下式(9)所示之矩陣運算表現。
Figure 02_image017
而且，藉由如下式(10)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image019
在上述之實施例5中亦然，因以R、G、B-IR之像素排列為基礎，而可獲得與實施例3之情形同樣之作用、效果。又，在實施例5之情形下，因將一半G像素置換為WS像素，而雖然與實施例4相比紅外光之解析度降低，但可謀求提高可視光之感度。
(實施例5之變化例) 在圖13B中顯示實施例5之變化例之彩色濾光器排列。如圖13B所示，在實施例5之變化例中，相對於實施例5之像素排列(圖13A)，第2列、第4列之顏色排列不同。具體而言，在實施例5之像素排列中，第2列及第4列一同為WS像素、IR像素、WS像素、及IR像素之排列。相對於此，在實施例5之變化例之像素排列中，第2列為WS像素、B像素、IR像素、及B像素之排列，第4列為IR像素、B像素、WS像素、及B像素之排列。
[實施例6] 實施例6係在基於R、G、B-IR之像素排列之彩色濾光器排列中，將一半IR像素置換為在IR像素形成有選擇性紅外光截止濾光器之kIR像素之例。在圖14A中顯示實施例6之彩色濾光器排列。
實施例6之彩色濾光器排列為在4列×4行之像素排列中，第1列及第3列包含R像素、G像素、B像素、及G像素，第2列包含kIR像素、B像素、IR像素、及B像素，第4列包含IR像素、kIR像素、R像素、及B像素之構成。
在上述之實施例6之彩色濾光器排列中，R、G、B之各像素係具有透過與作為可視光之第1色光(紅色光)、第2色光(綠色光)、第3色光(藍色光)對應之波長頻帶之各濾光器、及選擇性紅外光截止濾光器的第1、第2、第3像素。IR像素係具有透過紅外光之波長頻帶之透過特性之第4像素。kIR像素係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
在實施例6之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、kIRi 、IRi ，則各色成分之強度與各像素之信號強度之關係以如下式(11)所示之矩陣運算表現。
Figure 02_image021
而且，藉由如下式(12)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image023
在上述之實施例6中亦然，因以R、G、B-IR之像素排列為基礎，而可獲得與實施例3之情形同樣之作用、效果。又，因將一半IR像素置換為kIR像素，而雖然紅外光之解析度劣化，但在IR像素及kIR像素可算出選擇性紅外光截止濾光器之紅外光透過率k。
(實施例6之變化例) 在圖14B中顯示實施例6之變化例之彩色濾光器排列。在本變化例之彩色濾光器排列中，為在4列×4行之像素排列中，第1列包含R像素、G像素、B像素、及G像素，第2列包含G像素、kIR像素、G像素、及IR像素，第3列包含B像素、G像素、IR像素、及G像素，第4列包含G像素、IR像素、G像素、及kIR像素之構成。
[實施例7] 實施例7係以R、G、B-W、IR之像素排列為基礎之彩色濾光器排列之例。在圖15中顯示實施例7之彩色濾光器排列。
在實施例7之彩色濾光器排列中，為對於實施例4之R、G、B-IR之像素排列(參照圖11)，將一半IR像素置換為W像素之構成。具體而言，實施例7之彩色濾光器排列為R、G、G、IR之2列×2行之像素單位與B、G、G、W之2列×2行之像素單位被交替地配置而成之單位像素排列之構成。
在實施例7之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、Wi 、IRi ，則各色成分之強度與各像素之信號強度之關係係以如下式(13)之矩陣運算表現。
Figure 02_image025
而且，藉由如下式(14)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image027
在以上述之R、G、B-W、IR之像素排列為基礎之實施例7中亦然，可獲得與以R、G、B、W之像素排列為基礎之實施例1、及與以R、G、B-IR之像素排列為基礎之實施例3之情形同樣之作用、效果。亦即，由於也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR，故不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。
(實施例7之變化例) 與實施例7之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR像素、及W像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(13)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖16A中顯示實施例7之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為R、IR、G、B之2列×2行之像素單位與R、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第2變化例 在圖16B中顯示實施例7之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列為R、kIR、G、B之2列×2行之像素單位與R、W、G、B之2列×2行之像素單位交替配置而成之單位像素排列之構成。
[實施例8] 實施例8也係與實施例7同樣地以R、G、B-W，IR之像素排列為基礎之彩色濾光器排列之例。在圖17中顯示實施例8之彩色濾光器排列。
在實施例8之彩色濾光器排列中，為對於R、G、B、W之像素排列，將一半G像素置換為IR像素之構成。具體而言，為R、W、W、IR之2列×2行之像素單位與B、W、W、G之2列×2行之像素單位交替地配置而成之單位像素排列之構成。實施例8之彩色濾光器排列之轉換矩陣運算式與實施例7之情形相同。
在以上述之R、G、B-W、IR之像素排列為基礎之實施例8中亦然，可獲得與以R、G、B、W之像素排列為基礎之實施例1、及與以R、G、B-IR之像素排列為基礎之實施例3之情形同樣之作用、效果。亦即，由於也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR，故不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。
(實施例8之變化例) 與實施例8之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR像素、及W像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(13)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖18A中顯示實施例8之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為在實施例8之彩色濾光器排列(參照圖17)中，將IR像素置換為G像素，且將一半W像素置換為IR像素之構成。具體而言，第1變化例之彩色濾光器排列為R、W、IR、G之2列×2行之像素單位與B、W、IR、G之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第2變化例 在圖18B中顯示實施例7之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列為在實施例8之彩色濾光器排列(參照圖17)中將IR像素置換為G像素，且將一半W像素置換為kIR像素之構成。具體而言，第2變化例之彩色濾光器排列為R、W、kIR、G之2列×2行之像素單位與B、W、kIR、G之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
[實施例9] 實施例9係以R、B、W、WS-IR之像素排列為基礎之彩色濾光器排列之例。在圖19A中顯示實施例9之彩色濾光器排列。
在實施例9之彩色濾光器排列中，為在實施例4之彩色濾光器排列(參照圖11)中，將G像素、GI像素分別置換為WS像素、W像素之構成。具體而言，實施例9之彩色濾光器排列為R、W、WS、IR之2列×2行之像素單位與B、W、WS、IR之2列×2行之像素單位交替地配置而成之單位像素排列之構成。針對G信號係自其他像素信號算出。
在實施例9之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Bi 、WSi 、Wi 、IRi ，則各色成分之強度與各像素之信號強度之關係係以如下式(15)所示之矩陣運算表現。
Figure 02_image029
而且，藉由如下式(16)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image031
在以上述之R、B、W、WS-IR之像素排列為基礎之實施例9中亦然，也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR。因而，不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。又，藉由將G像素、GI像素分別置換為WS像素、W像素，而可謀求較不置換之情形更提高感度。
(實施例9之變化例) 與實施例9之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR像素、及W像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(15)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖19B中顯示實施例9之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為R、W、WS、B之2列×2行之像素單位與R、IR、WS、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第2變化例 在圖20A中顯示實施例9之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列為在第1變化例之彩色濾光器排列(參照圖19B)中將IR像素置換為kIR像素之構成。具體而言，第2變化例之彩色濾光器排列為R、W、WS、B之2列×2行之像素單位與R、kIR、WS、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第3變化例 在圖20B中顯示實施例9之第3變化例之彩色濾光器排列。第3變化例之彩色濾光器排列為在實施例9之彩色濾光器排列(參照圖19A)中將一半IR像素置換為kIR像素之構成。具體而言，第3變化例之彩色濾光器排列為R、W、WS、IR之2列×2行之像素單位與B、W、WS、kIR之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
[實施例10] 實施例10係將R、G、B之彩色濾光器置換為補色濾光器之彩色濾光器排列之例。作為補色濾光器可例示Ye(黃色)、Mg(洋紅色)、Cy(靛青色)。在圖21A中顯示實施例10之彩色濾光器排列。
實施例10之彩色濾光器排列為在基於R、G、B-IR之像素排列之彩色濾光器排列中將R、G、B中之一半R像素置換為YI像素之構成。具體而言，實施例10之彩色濾光器排列為R、IR、G、B之2列×2行之像素單位與YI、IR、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。此處，YI像素係未形成選擇性紅外光截止濾光器之Ye像素。
在上述之實施例10之彩色濾光器排列中，R、G、B之各像素係具有透過與作為可視光之第1色光(紅色光)、第2色光(綠色光)、第3色光(藍色光)對應之波長頻帶之各濾光器、及選擇性紅外光截止濾光器232的第1、第2、第3像素。IR像素係具有透過紅外光之波長頻帶之透過特性之第4像素。作為補色像素之YI像素係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
在實施例10之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、YIi 、IRi ，則各色成分之強度與各像素之信號強度之關係係以如下式(17)所示之矩陣運算表現。
Figure 02_image033
而且，藉由如下式(18)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image035
即便於在上述之R、G、B-IR之彩色濾光器排列中將一半R像素置換為YI像素之實施例10中亦然，也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR。因而，不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。又，藉由採用使用補色濾光器之構成，而與使用R、G、B之彩色濾光器之情形相比，可提高可視光之感度。
(實施例10之變化例) 與實施例10之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR像素、及YI像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(17)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 圖21B中顯示實施例10之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列係在實施例10之彩色濾光器排列中(參照圖21A)將YI像素置換為MI像素之構成。具體而言，第1變化例之彩色濾光器排列為將R、IR、G、B之2列×2行之像素單位與MI、IR、G、B之2列×2行之像素單位交替地配置之單位像素排列之構成。此處，作為補色像素之MI像素係未形成選擇性紅外光截止濾光器之Mg像素，且係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
・第2變化例 圖22A中顯示實施例10之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列係在實施例10之彩色濾光器排列中(參照圖21A)將YI像素置換為CI像素之構成。具體而言，第2變化例之彩色濾光器排列為將R、IR、G、B之2列×2行之像素單位與CI、IR、G、B之2列×2行之像素單位交替地配置之單位像素排列之構成。此處，作為補色像素之CI像素係未形成選擇性紅外光截止濾光器之Cy像素，且係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
・第3變化例 圖22B中顯示實施例10之第3變化例之彩色濾光器排列。第3變化例之彩色濾光器排列係在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為YI像素之構成。具體而言，第3變化例之彩色濾光器排列為將R、YI、G、IR之2列×2行之像素單位與B、YI、G、IR之2列×2行之像素單位交替地配置之單位像素排列之構成。
・第4變化例 圖23A中顯示實施例10之第4變化例之彩色濾光器排列。第4變化例之彩色濾光器排列係在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為MI像素之構成。具體而言，第4變化例之彩色濾光器排列為將R、MI、G、IR之2列×2行之像素單位與B、MI、G、IR之2列×2行之像素單位交替地配置之單位像素排列之構成。
・第5變化例 在圖23B中顯示實施例10之第5變化例之彩色濾光器排列。第5變化例之彩色濾光器排列為在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為CI像素之構成。具體而言，第5變化例之彩色濾光器排列為R、CI、G、IR之2列×2行之像素單位與B、CI、G、IR之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
[實施例11] 實施例11係在基於R、G、B-IR之像素排列之彩色濾光器排列中將R、G、B中之一半R像素置換為Ye像素之例。此處，Ye像素係形成有選擇性紅外光截止濾光器之像素。在圖24A中顯示實施例11之彩色濾光器排列。
實施例11之彩色濾光器排列為在實施例10之彩色濾光器排列(參照圖21A)中將YI像素置換為Ye像素之構成。具體而言，實施例11之彩色濾光器排列為R、IR、G、B之2列×2行之像素單位與Ye、IR、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。Ye像素係形成有選擇性紅外光截止濾光器之像素。
在實施例11之彩色濾光器排列中，若將各像素發出之信號強度設為Ri 、Gi 、Bi 、Yei 、IRi ，則各色成分之強度與各像素之信號強度之關係係以如下式(19)所示之矩陣運算表現。
Figure 02_image037
而且，藉由如下式(20)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image039
於在上述之實施例11、亦即R、G、B-IR之彩色濾光器排列中，將一半R像素置換為Ye像素之彩色濾光器排列中亦然，也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR。因而，不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。又，與實施例10之情形同樣地，藉由採用使用補色濾光器之構成，而與使用R、G、B之彩色濾光器之情形相比，可提高可視光之感度。
(實施例11之變化例) 與實施例11之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR像素、及Ye像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(19)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖24B中顯示實施例11之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為在實施例11之彩色濾光器排列(參照圖24A)中將Ye像素置換為M像素之構成。具體而言，第1變化例之彩色濾光器排列為R、IR、G、B之2列×2行之像素單位與Mg、IR、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。Mg像素係形成有選擇性紅外光截止濾光器之像素。
・第2變化例 在圖25A中顯示實施例11之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列為在實施例11之彩色濾光器排列(參照圖24A)中將Ye像素置換為Cy像素之構成。具體而言，第2變化例之彩色濾光器排列為R、IR、G、B之2列×2行之像素單位與Cy、IR、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。Cy像素係形成有選擇性紅外光截止濾光器之像素。
・第3變化例 在圖25B中顯示實施例11之第3變化例之彩色濾光器排列。第3變化例之彩色濾光器排列為在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為Ye像素之構成。具體而言，第3變化例之彩色濾光器排列為R、Ye、G、IR之2列×2行之像素單位與B、Ye、G、IR之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第4變化例 在圖26A中顯示實施例11之第4變化例之彩色濾光器排列。第4變化例之彩色濾光器排列為在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為Mg像素之構成。具體而言，第4變化例之彩色濾光器排列為R、Mg、G、IR之2列×2行之像素單位與B、Mg、G、IR之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第5變化例 在圖26B中顯示實施例10之第5變化例之彩色濾光器排列。第5變化例之彩色濾光器排列為在實施例4之彩色濾光器排列(參照圖11)中將GI像素置換為Cy像素之構成。具體而言，第5變化例之彩色濾光器排列為R、Cy、G、IR之2列×2行之像素單位與B、Cy、G、IR之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
[實施例12] 實施例12係將全部彩色濾光器置換為補色濾光器之例。作為補色濾光器，與實施例10及實施例11之情形同樣地，可例示Ye(黃色)、Mg(洋紅色)、Cy(靛青色)。在圖27A中顯示實施例12之彩色濾光器排列。
實施例12之彩色濾光器排列為在實施例10之彩色濾光器排列(參照圖21A)中將R像素、G像素、B像素分別置換為Ye像素、Mg像素、Cy像素之構成。具體而言，實施例12之彩色濾光器排列為Ye、IR、Mg、Cy之2列×2行之像素單位與YI、IR、Mg、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。此處，Ye像素、Mg像素、及Cy像素係形成有選擇性紅外光截止濾光器之像素，YI像素係未形成選擇性紅外光截止濾光器之Ye像素。
在上述之實施例12之彩色濾光器排列中，Ye、Mg、Cy之各像素係具有透過與作為可視光之第1色光(黃色色光)、第2色光(洋紅色色光)、第3色光(靛青色色光)對應之波長頻帶之各濾光器、及選擇性紅外光截止濾光器232的第1、第2、第3像素。IR像素係具有透過紅外光之波長頻帶之透過特性之第4像素。YI像素係具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性之第5像素。
在實施例12之彩色濾光器排列中，若將各像素發出之信號強度設為Yei 、Mgi 、Cyi 、YIi 、IRi ，則各色成分之強度與各像素之信號強度之關係係以如下式(21)所示之矩陣運算表現。
Figure 02_image041
而且，藉由如下式(22)所示般求得轉換矩陣之反矩陣，進行逆轉換，而可自各像素之信號強度包含選擇性紅外光截止濾光器之紅外光透過率k而分離算出R、G、B、kIR、IR之各信號成分。
Figure 02_image043
在上述之實施例12、亦即將全部彩色濾光器置換為補色濾光器之彩色濾光器排列中亦然，也可就每單位像素排列求得選擇性紅外光截止濾光器之紅外光透過率k、或乘以紅外光透過率k之紅外光成分kIR。因而，不受選擇性紅外光截止濾光器之紅外光透過率k之空間上、時間上之變動影響，可以更高之精度將可視光與紅外光成分分離算出。
(實施例12之變化例) 與實施例12之彩色濾光器排列同樣之效果，若在構成單位像素排列之各色(包含IR像素、及YI像素)之像素中具備有或無選擇性紅外光截止濾光器之像素，與式(21)對應之轉換矩陣具有反矩陣(行列式det≠0)，則也可在其他之排列中獲得。
・第1變化例 在圖27B中顯示實施例12之第1變化例之彩色濾光器排列。第1變化例之彩色濾光器排列為在實施例12之彩色濾光器排列(參照圖27A)中將YI像素、一半Mg像素分別置換為Ye像素、MI像素之構成。具體而言，第1變化例之彩色濾光器排列為Ye、IR、Mg、Cy之2列×2行之像素單位與Ye、IR、MI、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第2變化例 在圖28A中顯示實施例12之第2變化例之彩色濾光器排列。第2變化例之彩色濾光器排列為在實施例12之彩色濾光器排列(參照圖27A)中將YI像素、一半Cy像素分別置換為Ye像素、CI像素之構成。具體而言，第2變化例之彩色濾光器排列為Ye、IR、Mg、Cy之2列×2行之像素單位與Ye、IR、Mg、CI之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第3變化例 在圖28B中顯示實施例12之第3變化例之彩色濾光器排列。第3變化例之彩色濾光器排列為在實施例12之彩色濾光器排列(參照圖27A)中將YI像素、一半IR像素分別置換為Ye像素、W像素之構成。具體而言，第3變化例之彩色濾光器排列為Ye、IR、Mg、Cy之2列×2行之像素單位與Ye、W、Mg、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第4變化例 在圖29A中顯示實施例12之第4變化例之彩色濾光器排列。第4變化例之彩色濾光器排列為在實施例12之彩色濾光器排列(參照圖27A)中將YI像素、一半IR像素分別置換為Ye像素、WS像素之構成。具體而言，第4變化例之彩色濾光器排列為Ye、IR、Mg、Cy之2列×2行之像素單位與Ye、WS、Mg、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・第5變化例 在圖29B中顯示實施例12之第5變化例之彩色濾光器排列。第5變化例之彩色濾光器排列為在實施例12之彩色濾光器排列(參照圖27A)中將YI像素、一半IR像素分別置換為Ye像素、kIR像素之構成。具體而言，第5變化例之彩色濾光器排列為Ye、IR、Mg、Cy之2列×2行之像素單位與Ye、kIR、Mg、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
[實施例13] 在以上所說明之各實施例中，就每單位像素排列，包含選擇性紅外光截止濾光器232之紅外光透過率k地算出各色信號成分。相對於此，實施例3係將透過率算出用之單位像素排列在像素呈矩陣狀配置而成之像素陣列部上離散地配置之例。實施例3為當若選擇性紅外光截止濾光器232之紅外光透過率k在像素陣列部上(攝像裝置之攝像面上)就每一區域以粗略精度求得則為充分時有用者。
在圖30中顯示實施例13之彩色濾光器排列。此處，例如，圖示在該單位像素排列之每5×5單位排列有實施例1之單位像素排列(參照圖3A)之情形。此處，除用於求得選擇性紅外光截止濾光器232之紅外光透過率k之透過率算出用之單位像素排列以外，還配置一般之R、G、B、W之單位像素排列。而且，針對執行一般之單位像素排列之矩陣運算時之紅外光透過率k，可利用自在5×5單位之區域之中心存在之透過率算出用之單位像素排列算出的紅外光透過率k之值。
在實施例1之彩色濾光器排列中，由於為因透過率算出用而紅外光朝一半G像素入射之構成，故在G成分算出中產生雜訊變多且像素劣化之缺點。相對於此，在實施例13中，因將透過率算出用之單位像素排列在攝像裝置之攝像面上離散地配置，將其數目抑制為所需最小限度，而可抑制起因於G成分算出中之雜訊的畫質劣化。
＜實施形態之變化例＞ 以上，針對本發明之技術，基於較佳之實施形態進行了說明，但本發明之技術不限定於該實施形態。在上述之實施形態中所說明之攝像裝置及攝像系統之構成、構造係例示，可適宜地變更。
例如，在上述之實施形態中，作為紅外光(IR)朝具有選擇性紅外光截止濾光器之像素之混入，僅考量因選擇性紅外光截止濾光器之紅外光透過率k所致之成分(kIR)，但不限定於此。亦即，除此以外，也考量自無選擇性紅外光截止濾光器之像素朝有選擇性紅外光截止濾光器之像素之混色(因在攝像裝置之基板內之紅外光所致之信號電荷之漏入)。因而，可認為在上述之實施形態中所說明之紅外光透過率k中也含有該混色成分。
又，在上述之實施形態中，作為選擇性紅外光截止濾光器係以1種膜為前提，但可形成2種以上之膜，藉由5×5以上之多重矩陣構成，將2種以上之紅外光透過率k視為未知數來處理，而求得各信號頻帶之信號成分。
又，另一方面，即便在同色彩色濾光器具備有或無選擇性紅外光截止濾光器之像素之組，也存在無法求得包含紅外光透過率k之各像素信號之彩色濾光器排列。在圖31A中顯示此種彩色濾光器排列之例。在此種構成之彩色濾光器排列中，於圖31B所示之轉換式中，行列式變為0而無法求得反矩陣。因而，為了實現本發明之技術，而作為選擇性紅外光截止濾光器之配置之組合，必須選擇轉換矩陣之行列式為非0者。
又，在上述之實施形態中，針對各實施例例示各種變化例，但不限定於該等變化例。例如，針對使用補色濾光器時之變形，以下進行說明。
(基於R、G、B、W之情形) ・變形1 在圖32A中顯示變形1之彩色濾光器排列。變形1之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與YI、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形2 在圖32B中顯示變形2之彩色濾光器排列。變形2之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與MI、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形3 在圖33A中顯示變形3之彩色濾光器排列。變形3之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與CI、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形4 在圖33B中顯示變形4之彩色濾光器排列。變形4之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與Ye、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形5 在圖34A中顯示變形5之彩色濾光器排列。變形5之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與Mg、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形6 在圖34B中顯示變形6之彩色濾光器排列。變形6之彩色濾光器排列為R、W、G、B之2列×2行之像素單位與Cy、W、G、B之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形7 在圖35A中顯示變形7之彩色濾光器排列。變形7之彩色濾光器排列為R、W、W、G之2列×2行之像素單位與B、W、W、YI之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形8 在圖35B中顯示變形8之彩色濾光器排列。變形8之彩色濾光器排列為R、W、W、G之2列×2行之像素單位與B、W、W、MI之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形9 在圖36A中顯示變形9之彩色濾光器排列。變形9之彩色濾光器排列為R、W、W、G之2列×2行之像素單位與B、W、W、CI之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形10 在圖36B中顯示變形10之彩色濾光器排列。變形10之彩色濾光器排列為R、W、W、G之2列×2行之像素單位與B、W、W、Ye之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形11 在圖37A中顯示變形11之彩色濾光器排列。變形11之彩色濾光器排列為R、W、W、G之2列×2行之像素單位與B、W、W、Mg之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形12 在圖37B中顯示變形12之彩色濾光器排列。變形12之彩色濾光器排列為R、W、W、G之2列×2行之像素單位與B、W、W、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
(基於Ye、Mg、Cy、W之情形) ・變形13 在圖38A中顯示變形13之彩色濾光器排列。變形13之彩色濾光器排列為Ye、W、Mg、Cy之2列×2行之像素單位與MI、W、Mg、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形14 在圖38B中顯示變形14之彩色濾光器排列。變形14之彩色濾光器排列為Ye、W、Mg、Cy之2列×2行之像素單位與Ye、W、MI、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形15 在圖39A中顯示變形15之彩色濾光器排列。變形15之彩色濾光器排列為Ye、W、Mg、Cy之2列×2行之像素單位與Ye、W、Mg、CI之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形16 在圖39B中顯示變形16之彩色濾光器排列。變形16之彩色濾光器排列為Ye、W、Mg、Cy之2列×2行之像素單位與Ye、WS、Mg、Cy之2列×2行之像素單位交替地配置而成之單位像素排列之構成。
・變形17 在圖40中顯示變形17之彩色濾光器排列。變形17之彩色濾光器排列為Ye、W、Mg、Cy之2列×2行之像素單位與Ye、kIR、Mg、Cy之2列×2行之像素單位交替地配置之單位像素排列之構成。
＜本發明可採用之構成＞ 此外，本發明亦可採用如以下之構成。
≪A.攝像裝置≫ [A-1]一種攝像裝置，其具有： 第1像素，其具有透過與可視光即第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶透過之紅外光截止濾光器； 第2像素，其具有透過與可視光即第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器； 第3像素，其具有透過與可視光即第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器； 第4像素，其具有透過紅外光之波長頻帶之透過特性；以及 第5像素，其具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性。 [A-2]如上述[A-1]之攝像裝置，其更具備帶通濾光器，該帶通濾光器透過與紅色對應之波長頻帶、與綠色對應之波長頻帶、與藍色對應之波長頻帶、及波長較與紅色對應之波長頻帶更長之頻帶即第1紅外光波長頻帶，且截止與紅色對應之波長頻帶與第1紅外光波長頻帶之間之波長頻帶即第1波長頻帶、及較第1紅外光波長頻帶更長之波長頻帶即第2波長頻帶。 [A-3]如上述[A-2]之攝像裝置，其中紅外光截止濾光器係限制第1紅外光波長頻帶透過之選擇性紅外光截止濾光器。 [A-4]如上述[A-1]至[A-3]中任一項之攝像裝置，其中第1彩色濾光器係紅色之彩色濾光器； 第2彩色濾光器係綠色之彩色濾光器；及 第3彩色濾光器係藍色之彩色濾光器。 [A-5]如上述[A-4]之攝像裝置，其中第4像素係未形成彩色濾光器之白色像素、或具有透過紅外光之波長頻帶之透過特性之紅外光像素。 [A-6]如上述[A-5]之攝像裝置，其中第5像素係未形成選擇性紅外光截止濾光器之綠色像素、形成有選擇性紅外光截止濾光器之白色像素、形成有選擇性紅外光截止濾光器之紅外光像素、或未形成選擇性紅外光截止濾光器之補色像素。 [A-7]如上述[A-1]至[A-3]中任一項之攝像裝置，其中第1彩色濾光器、第2彩色濾光器、及第3彩色濾光器係補色濾光器。 [A-8]如上述[A-7]之攝像裝置，其中第1彩色濾光器係黃色之彩色濾光器； 第2彩色濾光器係洋紅色之彩色濾光器；及 第3彩色濾光器係靛青色之彩色濾光器。 [A-9]如上述[A-8]之攝像裝置，其中第4像素係具有透過紅外光之波長頻帶之透過特性之紅外光像素。 [A-10]如上述[A-9]之攝像裝置，其中第5像素係未形成選擇性紅外光截止濾光器之黃色之彩色濾光器、洋紅色之彩色濾光器、或靛青色之彩色濾光器。 [A-11]如上述[A-1]至[A-10]中任一項之攝像裝置，其中包含第1像素、第2像素、第3像素、第4像素、及第5像素之單位像素排列係在將像素矩陣狀配置而成之像素陣列部上離散地配置。
≪B.攝像系統≫ [B-1]一種攝像系統，其具備： 光源，其發出紅外光；及 攝像裝置，其可取得可視光及紅外光；且 攝像裝置具有： 第1像素，其具有透過與可視光即第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶透過之紅外光截止濾光器； 第2像素，其具有透過與可視光即第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器； 第3像素，其具有透過與可視光即第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器； 第4像素，其具有透過紅外光之波長頻帶之透過特性；以及 第5像素，其具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性。 [B-2]如上述[B-1]之攝像系統，其更具備帶通濾光器，該帶通濾光器透過與紅色對應之波長頻帶、與綠色對應之波長頻帶、與藍色對應之波長頻帶、及波長較與紅色對應之波長頻帶更長之頻帶即第1紅外光波長頻帶，且截止與紅色對應之波長頻帶與第1紅外光波長頻帶之間之波長頻帶即第1波長頻帶、及較第1紅外光波長頻帶更長之波長頻帶即第2波長頻帶。 [B-3]如上述[B-2]之攝像系統，其中紅外光截止濾光器係限制第1紅外光波長頻帶透過之選擇性紅外光截止濾光器。 [B-4]如上述[B-1]至[B-3]中任一項之攝像系統，其中第1彩色濾光器係紅色之彩色濾光器； 第2彩色濾光器係綠色之彩色濾光器；及 第3彩色濾光器係藍色之彩色濾光器。 [B-5]如上述[B-4]之攝像系統，其中第4像素係未形成彩色濾光器之白色像素、或具有透過紅外光之波長頻帶之透過特性之紅外光像素。 [B-6]如上述[B-5]之攝像系統，其中第5像素係未形成選擇性紅外光截止濾光器之綠色像素、形成有選擇性紅外光截止濾光器之白色像素、形成有選擇性紅外光截止濾光器之紅外光像素、或未形成選擇性紅外光截止濾光器之補色像素。 [B-7]如上述[B-1]至[B-3]中任一項之攝像裝置，其中第1彩色濾光器、第2彩色濾光器、及第3彩色濾光器係補色濾光器。 [B-8]如上述[B-7]之攝像系統，其中第1彩色濾光器係黃色之彩色濾光器； 第2彩色濾光器係洋紅色之彩色濾光器；及 第3彩色濾光器係靛青色之彩色濾光器。 [B-9]如上述[B-8]之攝像系統，其中第4像素係具有透過紅外光之波長頻帶之透過特性之紅外光像素。 [B-10]如上述[B-9]之攝像系統，其中第5像素係未形成選擇性紅外光截止濾光器之黃色之彩色濾光器、洋紅色之彩色濾光器、或靛青色之彩色濾光器。 [B-11]如上述[B-1]至[B-10]中任一項之攝像系統，其中包含第1像素、第2像素、第3像素、第4像素、及第5像素之單位像素排列係在將像素矩陣狀配置而成之像素陣列部上離散地配置。
1:照相機系统 10:光源部 11:IR-LED 12:IR-LED驅動器 20:攝像部 21:透鏡 22:雙帶通濾光器 23:攝像裝置 30:照相機信號處理部 231:像素陣列部 232:選擇性紅外光截止濾光器 233:彩色濾光器 234:晶片上透鏡 B:藍色 Cy:靛青色 G:綠色 IR:紅外光 kIR:紅外光 Mg:洋紅色 R:紅色 W:全光 X-X:線 Ye:黃色
圖1係顯示利用本發明之攝像裝置之攝像系統(照相機系統)之構成之概要的方塊圖。 圖2A係顯示配置於攝像裝置之前之雙帶通濾光器之分光特性之一例的圖；圖2B係顯示R、G、B、W彩色濾光器排列之圖。 圖3A係顯示實施例1之彩色濾光器之單位像素排列之圖；圖3B係顯示選擇性紅外光截止濾光器之分光特性之一例之圖。 圖4係顯示像素陣列部之各像素之彩色濾光器之構成的剖視圖。 圖5A係顯示實施例1之第1變化例之彩色濾光器排列之圖；圖5B係顯示實施例1之第2變化例之彩色濾光器排列之圖。 圖6A係顯示實施例1之第3變化例之彩色濾光器排列之圖；圖6B係顯示實施例1之第4變化例之彩色濾光器排列之圖。 圖7A係顯示實施例1之第5變化例之彩色濾光器排列之圖；圖7B係顯示實施例1之第5變化例之彩色濾光器排列之圖。 圖8A係顯示實施例2之彩色濾光器排列之圖；圖8B係顯示實施例2之變化例之彩色濾光器排列之圖。 圖9係顯示實施例3之彩色濾光器之單位像素排列之圖。 圖10A係顯示實施例3之第1變化例之彩色濾光器排列之圖；圖10B係顯示實施例3之第2變化例之彩色濾光器排列之圖。 圖11係顯示實施例4之彩色濾光器排列之圖。 圖12A係顯示實施例4之第1變化例之彩色濾光器排列之圖；圖12B係顯示實施例4之第2變化例之彩色濾光器排列之圖。 圖13A係顯示實施例5之彩色濾光器排列之圖；圖13B係顯示實施例5之變化例之彩色濾光器排列之圖。 圖14A係顯示實施例6之彩色濾光器排列之圖；圖14B係顯示實施例6之變化例之彩色濾光器排列之圖。 圖15係顯示實施例7之彩色濾光器排列之圖。 圖16A係顯示實施例7之第1變化例之彩色濾光器排列之圖；圖16B係顯示實施例7之第2變化例之彩色濾光器排列之圖。 圖17係顯示實施例8之彩色濾光器排列之圖。 圖18A係顯示實施例8之第1變化例之彩色濾光器排列之圖；圖18B係顯示實施例8之第2變化例之彩色濾光器排列之圖。 圖19A係顯示實施例9之彩色濾光器排列之圖；圖19B係顯示實施例9之第1變化例之彩色濾光器排列之圖。 圖20A係顯示實施例9之第2變化例之彩色濾光器排列之圖；圖20B係顯示實施例9之第3變化例之彩色濾光器排列之圖。 圖21A係顯示實施例10之彩色濾光器排列之圖；圖21B係顯示實施例10之第1變化例之彩色濾光器排列之圖。 圖22A係顯示實施例10之第2變化例之彩色濾光器排列之圖；圖22B係顯示實施例10之第3變化例之彩色濾光器排列之圖。 圖23A係顯示實施例10之第4變化例之彩色濾光器排列之圖；圖23B係顯示實施例10之第5變化例之彩色濾光器排列之圖。 圖24A係顯示實施例11之彩色濾光器排列之圖；圖24B係顯示實施例11之第1變化例之彩色濾光器排列之圖。 圖25A係顯示實施例11之第2變化例之彩色濾光器排列之圖；圖25B係顯示實施例11之第3變化例之彩色濾光器排列之圖。 圖26A係顯示實施例11之第4變化例之彩色濾光器排列之圖；圖26B係顯示實施例11之第5變化例之彩色濾光器排列之圖。 圖27A係顯示實施例12之彩色濾光器排列之圖；圖27B係顯示實施例12之第1變化例之彩色濾光器排列之圖。 圖28A係顯示實施例12之第2變化例之彩色濾光器排列之圖；圖28B係顯示實施例12之第3變化例之彩色濾光器排列之圖。 圖29A係顯示實施例12之第4變化例之彩色濾光器排列之圖；圖29B係顯示實施例12之第5變化例之彩色濾光器排列之圖。 圖30係顯示實施例13之彩色濾光器排列之圖。 圖31A係顯示無法求得包含透過率k之各像素信號之彩色濾光器排列之圖；圖31B係顯示在該彩色濾光器排列之情形下之轉換式之圖。 圖32A係顯示變形1之彩色濾光器排列之圖；圖32B係顯示變形2之彩色濾光器排列之圖。 圖33A係顯示變形3之彩色濾光器排列之圖；圖33B係顯示變形4之彩色濾光器排列之圖。 圖34A係顯示變形5之彩色濾光器排列之圖；圖34B係顯示變形6之彩色濾光器排列之圖。 圖35A係顯示變形7之彩色濾光器排列之圖；圖35B係顯示變形8之彩色濾光器排列之圖。 圖36A係顯示變形9之彩色濾光器排列之圖；圖36B係顯示變形10之彩色濾光器排列之圖。 圖37A係顯示變形11之彩色濾光器排列之圖；圖37B係顯示變形12之彩色濾光器排列之圖。 圖38A係顯示變形13之彩色濾光器排列之圖；圖38B係顯示變形14之彩色濾光器排列之圖。 圖39A係顯示變形15之彩色濾光器排列之圖；圖39B係顯示變形16之彩色濾光器排列之圖。 圖40係顯示變形17之彩色濾光器排列之圖。
B:藍色
G:綠色
R:紅色
W:全光

Claims (12)

  1. 一種攝像裝置，其具有： 第1像素，其具有透過與可視光即第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶透過之紅外光截止濾光器； 第2像素，其具有透過與可視光即第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器； 第3像素，其具有透過與可視光即第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器； 第4像素，其具有透過紅外光之波長頻帶之透過特性；以及 第5像素，其具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性。
  2. 如請求項1之攝像裝置，其更具備帶通濾光器，該帶通濾光器透過與紅色對應之波長頻帶、與綠色對應之波長頻帶、與藍色對應之波長頻帶、及波長較與紅色對應之波長頻帶更長之頻帶即第1紅外光波長頻帶，且截止與紅色對應之波長頻帶與第1紅外光波長頻帶之間之波長頻帶即第1波長頻帶、及較第1紅外光波長頻帶更長之波長頻帶即第2波長頻帶。
  3. 如請求項2之攝像裝置，其中紅外光截止濾光器係限制第1紅外光波長頻帶透過之選擇性紅外光截止濾光器。
  4. 如請求項1之攝像裝置，其中第1彩色濾光器係紅色之彩色濾光器； 第2彩色濾光器係綠色之彩色濾光器；及 第3彩色濾光器係藍色之彩色濾光器。
  5. 如請求項4之攝像裝置，其中第4像素係未形成彩色濾光器之白色像素、或具有透過紅外光之波長頻帶之透過特性之紅外光像素。
  6. 如請求項5之攝像裝置，其中第5像素係未形成選擇性紅外光截止濾光器之綠色像素、形成有選擇性紅外光截止濾光器之白色像素、形成有選擇性紅外光截止濾光器之紅外光像素、或未形成選擇性紅外光截止濾光器之補色像素。
  7. 如請求項1之攝像裝置，其中第1彩色濾光器、第2彩色濾光器、及第3彩色濾光器係補色濾光器。
  8. 如請求項7之攝像裝置，其中第1彩色濾光器係黃色之彩色濾光器； 第2彩色濾光器係洋紅色之彩色濾光器；及 第3彩色濾光器係靛青色之彩色濾光器。
  9. 如請求項8之攝像裝置，其中第4像素係具有透過紅外光之波長頻帶之透過特性之紅外光像素。
  10. 如請求項9之攝像裝置，其中第5像素係未形成選擇性紅外光截止濾光器之黃色之彩色濾光器、洋紅色之彩色濾光器、或靛青色之彩色濾光器。
  11. 如請求項1之攝像裝置，其中包含第1像素、第2像素、第3像素、第4像素、及第5像素之單位像素排列係在將像素矩陣狀配置而成之像素陣列部上離散地配置。
  12. 一種攝像系統，其具備： 光源，其發出紅外光；及 攝像裝置，其可取得可視光及紅外光；且 攝像裝置具有： 第1像素，其具有透過與可視光即第1色光對應之波長頻帶之第1彩色濾光器、及限制紅外光之波長頻帶透過之紅外光截止濾光器； 第2像素，其具有透過與可視光即第2色光對應之波長頻帶之第2彩色濾光器、及紅外光截止濾光器； 第3像素，其具有透過與可視光即第3色光對應之波長頻帶之第3彩色濾光器、及紅外光截止濾光器； 第4像素，其具有透過紅外光之波長頻帶之透過特性；以及 第5像素，其具有與第1像素、第2像素、第3像素、及第4像素之任一者均不同之波長透過特性。
TW108118670A 2018-08-07 2019-05-30 攝像裝置及攝像系統 TWI832864B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-148195 2018-08-07
JP2018148195 2018-08-07

Publications (2)

Publication Number Publication Date
TW202011057A true TW202011057A (zh) 2020-03-16
TWI832864B TWI832864B (zh) 2024-02-21

Family

ID=69414995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108118670A TWI832864B (zh) 2018-08-07 2019-05-30 攝像裝置及攝像系統

Country Status (7)

Country Link
US (1) US20210297638A1 (zh)
JP (1) JP7242678B2 (zh)
KR (1) KR102698727B1 (zh)
CN (1) CN112514377B (zh)
DE (1) DE112019003967T5 (zh)
TW (1) TWI832864B (zh)
WO (1) WO2020031655A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748693B (zh) * 2020-11-12 2021-12-01 晶瑞光電股份有限公司 Ｒ、ｇ、ｂ、ｉｒ之其中任意組合濾光結構及製作方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022011548A1 (zh) * 2020-07-14 2022-01-20 深圳市汇顶科技股份有限公司 图像传感装置以及相关电子装置
JP7496183B2 (ja) * 2020-08-05 2024-06-06 パナソニックオートモーティブシステムズ株式会社 撮像装置
US20230326938A1 (en) * 2020-09-16 2023-10-12 Sony Group Corporation Solid-state imaging device and recognition system
EP4231631A4 (en) * 2020-10-19 2023-11-29 Sony Semiconductor Solutions Corporation IMAGING ELEMENT AND ELECTRONIC INSTRUMENT
DE102022201523A1 (de) * 2021-09-10 2023-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ein Bildsensor, ein Verfahren zum Betreiben eines Bildsensors, ein Verfahren zum Herstellen eines Bildsensors und ein stationäres Gerät oder ein Fahrzeug oder eine Drohne mit einem Bildsensor
DE102023206089B4 (de) * 2023-06-28 2025-01-23 Volkswagen Aktiengesellschaft Optischer Sensor, Umfelderkennungssystem und Fahrzeug

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247359A (ja) * 1996-03-14 1997-09-19 Matsushita Electric Ind Co Ltd カラー画像読み取り装置
JP3733296B2 (ja) * 2001-03-19 2006-01-11 キヤノン株式会社 撮像光学系および撮像装置
JP4385284B2 (ja) * 2003-12-24 2009-12-16 ソニー株式会社 撮像装置及び撮像方法
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
CN101039381B (zh) * 2006-03-17 2011-03-30 鸿富锦精密工业（深圳）有限公司 影像感测模块及其制造方法
JP5070742B2 (ja) * 2006-06-09 2012-11-14 ソニー株式会社 情報取得方法、情報取得装置、半導体装置、信号処理装置
CN101290711A (zh) * 2007-04-18 2008-10-22 北京威亚视讯科技有限公司 一种遥控装置、指向交互系统及光标控制方法
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
JP2010258636A (ja) * 2009-04-23 2010-11-11 Alps Electric Co Ltd 撮像素子ユニット
JP6161007B2 (ja) * 2012-09-14 2017-07-12 パナソニックＩｐマネジメント株式会社 固体撮像装置及びカメラモジュール
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
KR102124832B1 (ko) * 2013-04-03 2020-06-19 삼성전자주식회사 카메라의 오토 포커스 시스템과 이를 이용한 카메라 장치
US10348990B2 (en) * 2014-04-14 2019-07-09 Sharp Kabushiki Kaisha Light detecting device, solid-state image capturing apparatus, and method for manufacturing the same
US9992469B2 (en) * 2014-06-24 2018-06-05 Hitachi Maxell, Ltd. Imaging processing device and imaging processing method
WO2016013520A1 (ja) 2014-07-25 2016-01-28 富士フイルム株式会社 カラーフィルタ、固体撮像素子
JP2016134587A (ja) * 2015-01-22 2016-07-25 ソニー株式会社 固体撮像装置、及び、電子機器
JP6185213B2 (ja) * 2015-03-31 2017-08-23 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
US9635325B2 (en) * 2015-05-29 2017-04-25 Semiconductor Components Industries, Llc Systems and methods for detecting ultraviolet light using image sensors
US10389922B2 (en) * 2015-08-15 2019-08-20 Nikon Corporation Multi-wavelength detector
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
JP6833728B2 (ja) * 2016-01-29 2021-02-24 富士フイルム株式会社 組成物、膜、近赤外線カットフィルタ、積層体、パターン形成方法、固体撮像素子、画像表示装置、赤外線センサおよびカラーフィルタ
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
JP6565846B2 (ja) * 2016-09-16 2019-08-28 カシオ計算機株式会社 光源装置及び投影装置
KR102672594B1 (ko) * 2017-01-23 2024-06-07 삼성전자주식회사 이미지 센서 및 이를 포함한 전자 장치
DE112018000926T5 (de) 2017-02-21 2019-10-31 Nanolux Co. Ltd. Festkörperabbildungsbauelement und abbildungsvorrichtung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748693B (zh) * 2020-11-12 2021-12-01 晶瑞光電股份有限公司 Ｒ、ｇ、ｂ、ｉｒ之其中任意組合濾光結構及製作方法
US12046686B2 (en) 2020-11-12 2024-07-23 Kingray technology Co., Ltd. Optical filter structure for arbitrary combination of RGB and IR wavelength ranges and its manufacturing method

Also Published As

Publication number Publication date
TWI832864B (zh) 2024-02-21
KR102698727B1 (ko) 2024-08-23
CN112514377A (zh) 2021-03-16
JP7242678B2 (ja) 2023-03-20
CN112514377B (zh) 2023-10-24
JPWO2020031655A1 (ja) 2021-09-02
US20210297638A1 (en) 2021-09-23
KR20210042086A (ko) 2021-04-16
DE112019003967T5 (de) 2021-04-29
WO2020031655A1 (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
TWI832864B (zh) 攝像裝置及攝像系統
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
US10032810B2 (en) Image sensor with dual layer photodiode structure
US9484377B2 (en) CMOS image sensor including infrared pixels having improved spectral properties, and method of manufacturing same
US9793306B2 (en) Imaging systems with stacked photodiodes and chroma-luma de-noising
JP5074106B2 (ja) 固体撮像素子及びカメラ
US12088893B2 (en) Solid-state imaging device, imaging apparatus, and electronic apparatus
US11747533B2 (en) Spectral sensor system using optical filter subarrays
US10404953B2 (en) Multi-layer image sensor, image processing apparatus, image processing method, and computer-readable recording medium
JP2016219767A (ja) 緑色減算用の赤外線透過フィルターを用いた撮像センサ
JP5774502B2 (ja) 固体撮像装置
US9054001B2 (en) Imaging device
JP5927570B2 (ja) ３次元撮像装置、光透過部、画像処理装置、およびプログラム
WO2013136809A1 (ja) 画像処理装置、撮像装置および画像処理プログラム
JPWO2013100034A1 (ja) カラー撮像素子
US20120274799A1 (en) Calibrating image sensors
US8929682B2 (en) Calibrating image sensors
US20220006994A1 (en) White balance compensation using a spectral sensor system
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP7150515B2 (ja) 撮像素子及び撮像装置
CN107293559A (zh) Rgbir图像传感器