[go: up one dir, main page]

CN112349735A - 图像传感器、图像信号处理器及包括其的图像处理系统 - Google Patents

图像传感器、图像信号处理器及包括其的图像处理系统 Download PDF

Info

Publication number
CN112349735A
CN112349735A CN201911377020.XA CN201911377020A CN112349735A CN 112349735 A CN112349735 A CN 112349735A CN 201911377020 A CN201911377020 A CN 201911377020A CN 112349735 A CN112349735 A CN 112349735A
Authority
CN
China
Prior art keywords
pixel
pixels
image data
red
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911377020.XA
Other languages
English (en)
Other versions
CN112349735B (zh
Inventor
郭坪水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN112349735A publication Critical patent/CN112349735A/zh
Application granted granted Critical
Publication of CN112349735B publication Critical patent/CN112349735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8023—Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/811—Interconnections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

公开了一种图像传感器、图像信号处理器及包括其的图像处理系统。图像传感器可以包括：有源像素传感器APS块，该有源像素传感器APS块包括以行和列布置的成像像素的多个(3×3)矩阵，每个(3×3)矩阵包括三个红色像素、三个蓝色像素和三个白色像素；以及数据生成块，该数据生成块联接到APS块以接收来自成像像素的输出，并被配置为生成每个红色像素的像素数据、每个蓝色像素的像素数据、以及每个白色像素的像素数据。

Description

图像传感器、图像信号处理器及包括其的图像处理系统
技术领域
本专利文档中公开的技术和实现总体上涉及图像传感器、图像信号处理器及包括其的图像处理系统。
背景技术
图像传感器是一种使用光敏半导体元件捕获来自光学图像或一个或更多个对象的光并将捕获的彩色光转换成电信号的装置。随着汽车、医疗、计算机和通信行业的发展，诸如智能电话、数码相机、游戏机、物联网(IoT)、机器人、监控摄像头、医疗微相机等的各种装置中对高性能图像传感器的需求正在增长。
一种非常普通类型的图像传感器装置是长期以来一直占据图像传感器领域的主导地位的电荷耦合器件(CCD)。另一种普通类型的图像感测装置是互补金属氧化物半导体(CMOS)图像感测装置。在噪声特性和图像质量方面，CCD图像传感器比CMOS图像传感器具有优势。然而，CMOS图像传感器由于相对于CCD图像传感器的某些优点(例如，包括更高的帧率和快门速度)而现在被广泛使用。此外，CMOS图像传感器和信号处理电路可以集成到单个芯片中，从而可以在实现更低功耗的同时使电子装置小型化。另外，使用CMOS制造技术能够降低生产成本。CMOS图像传感器的这种特性使这些传感器更适合在移动装置中的实现。
发明内容
除了其它特征和益处之外，所公开的技术的实施方式涉及能够使用白色像素代替绿色像素来生成RGB图像数据的图像传感器。
所公开的技术的一些实施方式涉及有源像素传感器块的图像传感器，该有源像素传感器块包括其中布置有三个红色像素、三个蓝色像素和三个白色像素的3×3矩阵。
根据所公开的技术的实施方式，图像传感器可以包括：有源像素传感器(APS)块，该有源像素传感器(APS)块包括以行和列布置的成像像素的多个(3×3)矩阵，每个(3×3)矩阵包括三个红色像素、三个蓝色像素和三个白色像素；以及数据生成块，该数据生成块联接到APS块以接收来自成像像素的输出，并被配置为生成红色像素中的每一个的像素数据、蓝色像素中的每一个的像素数据、以及白色像素中的每一个的像素数据。
根据所公开的技术的另一实施方式，图像处理系统可以包括有源像素传感器(APS)块，该有源像素传感器(APS)块包括以行和列布置的成像像素的多个(3×3)去马赛克矩阵，每个(3×3)矩阵包括三个红色像素、三个蓝色像素和三个白色像素；以及图像信号处理器，该图像信号处理器被配置为对去马赛克矩阵中的每一个执行去马赛克。
根据所公开的技术的又一实施方式，图像信号处理器可以包括：线存储器，该线存储器被配置为临时存储图像数据，该图像数据包括每个红色像素的像素数据、每个蓝色像素的像素数据以及每个白色像素的像素数据；以及处理块，该处理块被配置为基于去马赛克矩阵来对图像数据执行去马赛克，每个去马赛克矩阵包括三个红色像素、三个蓝色像素和三个白色像素。
像素数据由包括以行和列布置的成像像素的多个(3×3)矩阵的有源像素传感器(APS)块生成，每个(3×3)矩阵包括三个红色像素、三个蓝色像素和三个白色像素。
附图说明
图1是例示基于所公开的技术的实施方式的图像处理系统的框图。
图2A是例示基于所公开的技术的实施方式的像素阵列的示意图。
图2B是例示基于所公开的技术的实施方式的图2A所示的像素阵列的一些部分的示意图。
图3A是例示根据所公开的技术的另一实施方式的像素阵列的示意图。
图3B是例示根据所公开的技术的另一实施方式的像素阵列的一些部分的示意图。
图4是例示基于所公开的技术的实施方式的用于对第一像素阵列的像素或第二像素阵列的像素进行去马赛克的方法的示意图。
图5A、图5B和图5C例示了图4中所示的第一像素组的示例。
图6是例示基于所公开的技术的另一实施方式的用于对第一像素阵列的像素或第二像素阵列的像素进行去马赛克的方法的示意图。
图7是例示图6所示的去马赛克方法的详细示例的概念图。
具体实施方式
图1是例示基于所公开的技术的实施方式的图像处理系统10的框图。
在一些实现中，图像处理系统10包括将光学图像转换为电信息并且对电信息执行一些操作以获得增强图像或提取一些有用信息的电子装置。此类电子装置的示例包括数码相机、移动电话、智能电话、平板个人计算机(PC)、膝上型计算机、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数字视频相机、便携式多媒体播放器(PMP)、移动互联网装置(MID)、个人计算机(PC)、可穿戴装置、具有各种用途的其它相机(例如，车辆的前视摄像头、后视摄像头、黑匣子等)等。
图像处理系统10可以包括光学透镜50、CMOS图像传感器100、数字信号处理器(DSP)200和显示器300。
CMOS图像传感器100可以基于通过光学透镜50捕获的目标对象30的光学图像来生成图像数据IDATA，并且可以将图像数据IDATA发送给DSP 200。光学透镜50可以包括被配置为形成光学系统的至少一个透镜。
CMOS图像传感器100可以包括有源像素传感器(APS)块110、行驱动器120、相关双采样(CDS)块130、模数转换器(ADC)块140、输出缓冲器150、定时发生器160、控制寄存器块170、斜坡发生器180、输出接口(I/F)190。在这种情况下，CMOS图像传感器100的上述组成元件仅是示例，并且必要时可以添加或省略一个或更多个组成元件。如果需要，多个组成元件可以集成到诸如单个半导体装置之类的单个装置中。
APS块110可以包括以行和列布置的多个像素。布置在APS块110中的每个像素可以响应于入射光而生成光电荷，并且可以生成与所存储的光电荷相对应的像素信号。每个像素可以包括将入射光转换成电信号的光电转换元件以及传送或放大电信号的至少一个晶体管。例如，光电转换元件可以包括光电二极管(PD)、光电晶体管、光电门、钉扎光电二极管等。可以响应于从行驱动器120输出的像素控制信号来驱动每个像素，并且由每个像素检测到的电信号可以通过多条列线(未示出)发送至CDS块130。像素控制信号的类型可以依据各个像素的结构(例如3T、4T、5T等)而变化。例如，在使用4T像素的情况下，像素控制信号可以包括复位控制信号、传输(Tx)控制信号和选择控制信号。
滤色器阵列可以设置在APS块110与光学透镜50之间，并且可以包括被配置为仅允许入射到各个像素上的特定波长(例如，红色、蓝色和绿色)通过同时阻挡其它波长的多个滤色器。由于滤色器阵列，来自每个像素的像素数据可以具有与特定波长的光强度相对应的值，并且由于这个原因，在本专利文档的上下文中，根据滤色器的类型，每个像素可以称为红色像素(R)、蓝色像素(B)、绿色像素(G)或白色像素(W)。
由于吸收与绿光对应的波长的绿色像素(G)与其它像素R和B相比可以具有较低的光吸收率，因此，如同拜耳(Bayer)图案中那样，每单位面积的绿色像素(G)的数量比每单位面积的其它像素R和B的数量高。即使在这种情况下，光吸收率也处于低水平，使得图像传感器的光灵敏度可以由于光吸收率低而劣化。因此，所公开的技术的一些实施方式可以实现为提供图像处理系统10，该图像处理系统10包括具有相对高的光吸收率的白色像素(W)来代替绿色像素(G)。另外，尽管基于所公开的技术的一些实施方式的图像传感器包括白色像素(W)，并且应当注意，也可以使用与绿色像素相比具有相对高的光吸收率的任何颜色的像素替换或代替白色像素(W)。
行驱动器120可以基于从定时发生器160接收到的线控制信号LCS向APS块110发送用于控制各个像素的多个像素控制信号。更详细地，行驱动器120可以生成选择控制信号以选择APS块110的多行中的任何一行。行驱动器120可以将复位控制信号和传输控制信号发送给与被选行相对应的像素。结果，)从被选行的像素生成的图像信号和模拟类型参考信号(或复位信号可以被发送给CDS块130。在该专利文档的上下文中，从像素输出的图像信号和参考信号被称为“像素信号”。
CMOS图像传感器可以使用相关双采样(CDS)以通过对像素信号采样两次去除这两个采样之间的差，来去除不希望的像素偏移值。在一个示例中，相关双采样(CDS)可以通过比较在光信号入射到像素上之前和之后获得的像素输出电压来去除不希望的像素偏移值，从而能够测量到仅基于入射光的像素输出电压。在所公开的技术的一些实施方式中，CDS块130可以顺序地采样并保持从APS块110传送到每条列线的参考信号和图像信号的集合。也就是说，CDS块130可以采样并保持与每列相对应的参考信号和图像信号的电压电平。
ADC块用于将模拟CDS信号转换为数字信号。ADC块140的示例可以包括斜坡比较型ADC，其中将模拟像素信号与斜升或斜降的斜坡信号进行比较，并且定时器计数直到斜坡信号的电压与模拟像素信号匹配。在所公开的技术的一些实施方式中，ADC块140可以从CDS块130接收每列的相关双采样(CDS)信号，可以将接收到的CDS信号转换成数字信号以基于数字信号输出像素数据。为此，ADC块140可以包括分别分配给列的比较器和计数器。另外，ADC块140可以从斜坡发生器180接收斜坡信号以操作比较器。
CDS块30和ADC块140在下文中将统称为数据生成块，该数据生成块生成红色像素(R)、蓝色像素(B)和白色像素(W)中的每一个的像素数据。
输出缓冲器150可以从ADC块140接收每列的像素数据，可以锁存接收到的像素数据，并且可以输出锁存的像素数据。输出缓冲器150可以临时存储从ADC块140输出的像素数据，并且可以响应于从定时发生器160接收到的控制信号而顺序地输出像素数据。
定时发生器160可以响应于从控制寄存器块170接收的控制信号，向CMOS图像传感器100的组成元件发送生成和输出图像数据所需的定时信号、参考信号和控制信号。更详细地，定时发生器160可以以可以从与多条行线当中的被选行线相对应的像素并行输出像素信号的方式向行驱动器120输出行控制信号LCS。定时发生器160可以以与多条列线当中的被选列线相对应的像素数据可以顺序输出的方式来控制CDS块130、ADC块140和输出缓冲器150。定时发生器160可以以ADC块140可以生成执行模数转换(ADC)所需的斜坡信号的方式来控制斜坡发生器180。
控制寄存器块170可以响应于从DSP 200接收的控制信号来控制定时发生器160、斜坡发生器180和输出接口(I/F)190。
斜坡发生器180可以响应于定时发生器160的控制信号而生成斜坡信号，并且可以将所生成的斜坡信号发送给ADC块140。
输出接口190可以从输出缓冲器150接收像素数据，并且可以将与接收到的像素数据相对应的图像数据IDATA发送给DSP 200。换句话说，图像数据IDATA可以包括APS块110中所包含的每个像素的像素数据。
DSP 200可以包括图像信号处理器(ISP)210、传感器控制器220和接口(I/F)230。
图像信号处理器210可以控制传感器控制器220以用于控制控制寄存器块170，并可以控制接口230。在实施方式中，CMOS图像传感器和DSP 200可以集成到单个封装件(例如，多芯片封装件)中。在另一实施方式中，CMOS图像传感器和图像信号处理器可以集成到单个半导体芯片中。具体地，被实现为独立芯片的DSP 200也可以称为ISP芯片。
图像信号处理器210可以对从输出接口190接收的图像数据IDATA执行信号处理，并且可以将经处理的图像数据发送给接口230。在这种情况下，信号处理可以包括能够提高图像质量的各种类型的处理(例如，去马赛克、色调校正、图像质量校正、尺寸调整等)。具体地，图像信号处理器210可以逐个去马赛克矩阵地执行去马赛克。在这种情况下，去马赛克矩阵可以是其中包含三个红色像素(R)、三个蓝色像素(B)和三个白色像素(W)的(3×3)矩阵。去马赛克矩阵可以包括例如稍后要描述的第一像素组PG1至第四像素组PG4或稍后将描述的第一掩模MSK1和第二掩模MSK2。
传感器控制器220可以在图像信号处理器210的控制下生成控制控制寄存器块170所需的各种控制信号。
接口230可以将经图像信号处理器210处理的图像数据发送给显示器300。
显示器300可以显示从接口230接收的图像数据。例如，显示器300可以被实现为薄膜晶体管–液晶显示器(TFT-LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、或有源矩阵OLED(AMOLED)显示器。例如，尽管图1中所示的DSP 200被例示为向显示器300发送图像数据，但是应当注意，DSP 200还可以将这样的图像数据发送给诸如中央处理单元(CPU)或应用处理器(AP)之类的处理器以进行进一步处理。
图2A是例示基于所公开的技术的实施方式的像素阵列的示意图。
在所公开的技术的一些实施方式中，图1中所示的APS块110可以包括如图2A所示的像素。尽管为了便于描述，图2A仅例示了布置在(6×6)矩阵中的36个像素，但是APS块110中的所有像素将布置在更大的矩阵中。在一些实现中，第一像素阵列400中的像素可以布置成具有不同图案的不同矩阵。
第一像素阵列400可以包括至少一个红色像素(R)、至少一个蓝色像素(B)和至少一个白色像素(W)。如上所述，红色像素(R)可以包括被配置为使对应于红色的波长频带通过的红滤色器，蓝色像素(B)可以包括被配置为使对应于蓝色的波长频带通过的蓝滤色器，并且白色像素(W)可以包括被配置为使对应于白色的波长频带通过的白滤色器。
在第一像素阵列400中，在行方向上连续布置的三个随机选择的像素可以分别包括红色像素(R)、蓝色像素(B)和白色像素(W)。类似地，在列方向上连续布置的三个随机选择的像素可以分别包括红色像素(R)、蓝色像素(B)和白色像素(W)。
参照第一像素阵列400的第一行，红色像素(R)、白色像素(W)和蓝色像素(B)可以以在第一行中重复该“RWB”序列的方式顺序地布置。
参照第一像素阵列400的第一列，红色像素(R)、蓝色像素(B)和白色像素(W)可以以在第一列中重复该“RBW”序列的方式顺序地布置。
从第一像素阵列400中选择的(3×3)矩阵可以包括三个红色像素(R)、三个蓝色像素(B)和三个白色像素(W)。更具体地，12个红色像素(R)、12个蓝色像素(B)和12个白色像素(W)可以构成(6×6)矩阵。
如果像素(即，像素阵列中的像素)以具有50％绿色、25％红色和25％蓝色的拜耳图案排列，则绿色像素将比蓝色像素或红色像素更多。例如，9个红色像素(R)、9个蓝色像素(B)和18个绿色像素(G)将构成(6×6)矩阵。这是因为绿色像素(G)的光吸收率相对低。这样使得关于红色的波长范围的信息量和有关蓝色的波长范围的信息量减少。
然而，以(3K×3K)矩阵(其中，K是正(+)整数)布置的包括相同数量的红色像素(R)、蓝色像素(B)和白色像素(W)的第一像素阵列400可以从红色像素(R)、蓝色像素(B)和白色像素(W)获得相同的信息量。结果，关于红色和蓝色的颜色信息可以比基于拜耳图案的像素阵列少劣化。这是因为白色像素(W)具有与红色像素(R)和蓝色像素(B)基本相同的光吸收率。可以使用红色像素(R)、蓝色像素(B)和白色像素(W)的像素信号来计算关于绿色的颜色信息。以下将参考附图描述上述计算方法。
另一方面，以下基于在行方向上布置的红色像素(R)、白色像素(W)和蓝色像素(B)的顺序，将第一像素阵列400称为RWB阵列。
在一些实现中，第一像素阵列400还可以包括其中像素彼此垂直(或水平)地对称的另一像素阵列。
图2B是例示基于所公开的技术的实施方式的图2A所示的像素阵列的一些部分的示意图。
在下文中将参照图2B描述从图2A所示的第一像素阵列400当中任意选择的(3×3)矩阵M1。尽管为了便于描述，图2B仅例示了(3×3)矩阵M1，但是应当注意，这里讨论的(3×3)矩阵的特征可以应用于第一像素阵列400的其它部分。
在(3×3)矩阵M1中，九个像素被布置成三行三列。在一些实施方式中，在(3×3)矩阵M1中布置三个红色像素(R)、三个蓝色像素(B)和三个白色像素(W)。如以下将讨论的，这种布置使得能够使用图像信号处理器210的像素组或掩模来执行去马赛克操作。
(3×3)矩阵M1中的像素可以布置在第一对角线DL1、第二对角线DL2和第三对角线DL3中。第一对角线DL1可以穿过(3×3)矩阵M1的中心，并且可以包括沿第一对角方向DIG1布置的多个第一颜色像素。第二对角线DL2可以布置在第一对角线DL1的左侧，并且第二颜色像素可以沿第一对角方向DIG1布置。第三对角线DL3可以布置在第一对角线DL1的右侧，并且第三颜色像素可以沿第一对角方向DIG1布置。另外，第三颜色像素可以布置在第二对角线DL2的左侧，并且第二颜色像素可以布置在第三对角线DL3的右侧。
在这种情况下，第一颜色、第二颜色和第三颜色可以彼此不同，并且第一颜色、第二颜色和第三颜色中的每一个可以是红色、蓝色和白色中的任何一种。从图2B中可以看出，第一颜色可以是红色，第二颜色可以是蓝色，并且第三颜色可以是白色。
另外，在(3×3)矩阵M1中，红色像素(R)、蓝色像素(B)和白色像素(W)沿垂直于第一对角方向DIG1的第二对角方向DIG2交替布置。
在另一实现中，第一像素阵列400被配置为使得像素彼此垂直(或水平)地对称，并且第一对角方向DIG1和第二对角方向DIG2以及第一对角线DL1至第三对角线DL3可以对称地反转。
图3A是例示基于所公开的技术的另一实施方式的像素阵列的示意图。
在所公开的技术的一些实施方式中，图1中所示的APS块110可以包括如图3A所示的第二像素阵列500。尽管为了便于描述，图3A仅例示了布置在(6×6)矩阵中的36个像素，但是APS块110中的所有像素将布置在更大的矩阵中。在一些实现中，第二像素阵列500中的像素可以布置成具有不同图案的不同矩阵。
第二像素阵列500可以包括红色像素(R)、蓝色像素(B)和白色像素(W)。
在第二像素阵列500中，以与第一像素阵列400相同的方式，在行方向上连续布置的三个像素可以分别包括红色像素(R)、蓝色像素(B)和白色像素(W)。另外，在列方向上连续布置的三个像素可以分别包括红色像素(R)、蓝色像素(B)和白色像素(W)。
参照第二像素阵列500的第一行，红色像素(R)、蓝色像素(B)和白色像素(W)可以以重复该“RBW”序列的方式顺序地布置。
参照第二像素阵列500的第一列，红色像素(R)、白色像素(W)和蓝色像素(B)可以以重复该“RWB”序列的方式顺序地布置。
从第二像素阵列500中选择的(3×3)矩阵可以包括三个红色像素(R)、三个蓝色像素(B)和三个白色像素(W)。更具体地，12个红色像素(R)、12个蓝色像素(B)和12个白色像素(W)可以构成(6×6)矩阵。
以(3K×3K)矩阵(其中，K为正(+)整数)布置的包括相同数量的红色像素(R)、蓝色像素(B)和白色像素(W)的第二像素阵列500可以从红色像素(R)、蓝色像素(B)和白色像素(W)获得相同的信息量。结果，关于红色和蓝色的颜色信息可以比基于拜耳图案的像素阵列少劣化。
另一方面，以下基于在行方向上的布置的红色像素(R)、蓝色像素(B)和白色像素(W)的顺序，将第二像素阵列500按颜色称为RBW阵列。
在一些实现中，第二像素阵列500还可以包括其中像素彼此垂直(或水平)地对称的另一像素阵列。
图3B是例示基于所公开的技术的另一实施方式的像素阵列的一些部分的示意图。
在下文中将参照图3B描述从图3A所示的第二像素阵列500当中任意选择的(3×3)矩阵M2。尽管为了便于描述，图3B仅例示了(3×3)矩阵M2，但是应当注意，这里讨论的(3×3)矩阵的特征可以应用于第二像素阵列500的其它部分。
在(3×3)矩阵M2中，布置有三个红色像素(R)、三个蓝色像素(B)和三个白色像素(W)。如以下将讨论的，该布置使得能够使用图像信号处理器210的像素组或掩模来执行去马赛克操作。
(3×3)矩阵M2中的像素可以布置在第一对角线DL1’、第二对角线DL2’和第三对角线DL3’中。第一对角线DL1’可以穿过(3×3)矩阵M2的中心，并且可以包括沿第一对角方向DIG1布置的多个第一颜色像素。第二对角线DL2’可以布置在第一对角线DL1’的左侧，并且第二颜色像素可以沿第一对角方向DIG1布置。第三对角线DL3’可以布置在第一对角线DL1’的右侧，并且第三颜色像素可以沿第一对角方向DIG1布置。另外，第三颜色像素可以布置在第二对角线DL2’的左侧，并且第二颜色像素可以布置在第三对角线DL3’的右侧。
在这种情况下，第一颜色、第二颜色和第三颜色可以颜色彼此不同，并且第一颜色、第二颜色和第三颜色中的每一个可以是三种颜色(即，红色、蓝色和白色)中的任何一种。从图3B中可以看出，第一颜色可以是红色，第二颜色可以是白色，并且第三颜色可以是蓝色。
另外，在(3×3)矩阵M2中，红色像素(R)、蓝色像素(B)和白色像素(W)沿垂直于第一对角方向DIG1的第二对角方向DIG2交替布置。
在另一实现中，第二像素阵列500被配置为使得像素彼此垂直(或水平)地对称，并且第一对角方向DIG1和第二对角方向DIG2以及第一对角线DL1至第三对角线-DL3可以对称地反转。
图4是例示基于所公开的技术的实施方式的用于对第一像素阵列的像素或第二像素阵列的像素去马赛克的方法的示意图。图5A至图5C是例示图4所示的第一像素组的示例的示意图。
在图4中示出了基于第一像素阵列400或第二像素阵列500布置的像素的图像数据600。图像数据600可以包括以(6×6)矩阵布置的像素的像素数据。图像数据600可以包括第一像素组PG1至第四像素组PG4，每个像素组以(3×3)矩阵布置。具有(6×6)分辨率的图像数据600可以被去马赛克为RGB数据(例如610、620和630)，每个RGB数据具有(2×2)分辨率。
在这种情况下，术语“去马赛克”可以是指用于将其中每个像素仅包括一种颜色信息(即，R、B和W中的任何一种)的图像数据转换成其中每个像素包括关于三种颜色(R、G和B)的信息的RGB图像数据的功能。
这样的去马赛克可以由图像信号处理器210执行。更具体地，图像信号处理器210可以包括线存储器(line memory)和处理块。线存储器可以临时存储从输出接口190接收的图像数据IDATA。处理块可以处理线存储器中存储的图像数据。例如，处理块可以包括各种类型的图像处理(例如，去马赛克、色调校正、图像质量校正、尺寸调整等)。
基于将具有(6×6)分辨率的图像数据600去马赛克为每个具有(2×2)分辨率的RGB图像数据610、620和630的示例，来讨论图4所示的去马赛克方法。在这种情况下，也可以通过图4所示的去马赛克方法来执行分辨率转换。
更详细地，指示与(3×3)矩阵中包含的像素相对应的图像数据的第一像素组PG1可以被转换成关于单个像素的红色图像数据R1、关于单个像素的绿色图像数据G1以及关于单个像素的蓝色图像数据B1。在这种情况下，红色图像数据R1、绿色图像数据G1和蓝色图像数据B1的聚合体(或集合)可以定义为关于第一像素组PG1的RGB图像数据。
类似地，各自作为与(3×3)矩阵中布置的像素相对应的图像数据的第二像素组PG2、第三像素组PG3和第四像素组PG4可以分别转换成关于单个像素的红色图像数据R2-R4、关于单个像素的绿色图像数据G2-G4和关于单个像素的蓝色图像数据B2-B4。另外，红色图像数据R2、绿色图像数据G2和蓝色图像数据B2的聚合体可以定义为关于第二像素组PG2的RGB图像数据。红色图像数据R3、绿色图像数据G3和蓝色图像数据B3的聚合体可以定义为关于第三像素组PG3的RGB图像数据。红色图像数据R4、绿色图像数据G4和蓝色图像数据B4的聚合体可以定义为关于第四像素组PG4的RGB图像数据。
图5A至图5C例示了基于所公开的技术的一些实施方式的第一像素组的示例，其中，图像数据600是从如第一像素阵列400中布置的像素中获得的。
在图5A中，可以基于其中位于左上端的第一像素是红色像素(R)的红色第一阵列结构(以下称为“R第一阵列”)来配置第一像素组PG1a。在这种情况下，图像数据600可以包括第一像素阵列400中包含的像素的像素数据，使得第二像素组至第四像素组中的每一个也可以基于R第一阵列结构来配置。
随后，将在下文中参照附图描述用于将第一像素组PG1a转换为红色图像数据R1、绿色图像数据G1和蓝色图像数据B1的方法。
在实施方式中，可以通过对相同颜色的图像数据求和来将第一像素组PG1a转换为RGB图像数据。例如，可以通过将第一像素组PG1a中包含的三个红色像素的像素数据求和来获得红色图像数据R1。可以通过对第一像素组PG1a中包含的三个蓝色像素的像素数据求和来获得蓝色图像数据B1。另外，可以通过从三个白色像素的像素数据之和中减去红色图像数据R1和蓝色图像数据B1来获得绿色图像数据G1。
在另一实施方式中，可以基于相同颜色的图像数据的平均值将第一像素组PG1a转换为RGB图像数据。例如，可以通过对第一像素组PG1a中包含的三个红色像素的像素数据求平均来获得红色图像数据R1。可以通过对第一像素组PG1a中包含的三个蓝色像素的像素数据求平均来获得蓝色图像数据B1。另外，可以通过从三个白色像素的像素数据的平均值中减去红色图像数据R1和蓝色图像数据B1来获得绿色图像数据G1。
如上所讨论的，基于所公开的技术的一些实施方式，可以通过从白色像素值中减去蓝色像素值和红色像素值来获得绿色像素值。在另一实现中，可以通过将三个白色像素的像素数据之和或三个白色像素的像素数据的平均值应用于红色图像数据和蓝色图像数据的计算结果来计算绿色图像数据。
如上所述，可以将包括关于基于R第一阵列结构的(3×3)个像素的像素数据的第一像素组PG1a转换为RGB图像数据。类似地，第二像素组至第四像素组(各自包括关于基于R第一阵列结构的(3×3)个像素的像素数据)中的每一个可以转换为与单个像素相对应的RGB图像数据。
在图5B中，可以基于其中位于左上端的第一像素是白色像素(W)的白色第一阵列结构(以下称为“W第一阵列”)来配置第一像素组PG1b。在这种情况下，图像数据600可以包括第一像素阵列400中包含的像素的像素数据，从而第二像素组至第四像素组中的每一个基于W第一阵列结构来布置。
可以基于以上讨论的求和方法或求平均方法将第一像素组PG1b转换为RGB图像数据。
如上所述，包括基于W第一阵列结构的(3×3)矩阵中包含的像素的像素数据的第一像素组PG1b可以转换为与单个像素相对应的RGB图像数据。类似地，第二像素组至第四像素组(各自包括关于基于W第一阵列结构的(3×3)个像素的像素数据)中的每一个可以转换为与单个像素相对应的RGB图像数据。
在图5C中，可以基于其中位于左上端的第一像素是蓝色像素(B)的蓝色第一阵列结构(以下称为“B第一阵列”)来配置第一像素组PG1c。在这种情况下，图像数据600可以包括第一像素阵列400中包含的像素的像素数据，从而第二像素组至第四像素组中的每一个基于B第一阵列结构来布置。
可以基于求和方法或求平均方法将第一像素组PG1c转换为RGB图像数据。以上讨论的求和方法或求平均方法可以应用于第一像素组PG1c。
如上所讨论的，包括基于B第一阵列结构的(3×3)矩阵中包含的像素的像素数据的第一像素组PG1c可以转换为与单个像素相对应的RGB图像数据。类似地，第二像素组至第四像素组(各自包括关于基于B第一阵列结构的(3×3)个像素的像素数据)中的每一个可以被转换为与单个像素相对应的RGB图像数据。
即使图像数据600与基于第二像素阵列500布置的像素的图像数据相同时，求和方法或求平均方法也可以应用于R第一阵列结构、W第一阵列或B第一阵列结构的像素组中的每一个，从而每个像素组可以转换为RGB图像数据。
如上所述，包括红色像素(R)的像素数据、蓝色像素(B)的像素数据和白色像素(W)的像素数据的图像数据600可以转换为包括(3×3)矩阵中包含的像素的每个像素组(例如，PG1a)的RGB图像数据。
图6是例示基于所公开的技术的另一实施方式的用于对第一像素阵列的像素或第二像素阵列的像素进行去马赛克的方法的示意图。图7是例示图6所示的去马赛克方法的详细示例的概念图。
在图6中示出了基于第一像素阵列400或第二像素阵列500布置的像素的图像数据700。图像数据700可以包括以(6×6)矩阵布置的像素的像素数据。
具有(6×6)分辨率的图像数据700可以被去马赛克为每个具有(6×6)分辨率的RGB数据710-730。这种去马赛克方法可以由图像信号处理器210以与图4相同的方式执行。
基于具有(6×6)分辨率的图像数据700被去马赛克为具有(6×6)分辨率的RGB图像数据710-730的示例来讨论图6所示的去马赛克方法。如果需要，可以不执行图6的分辨率转换，这与图4不同。
另外，可以基于掩模来对图像数据700进行去马赛克。这里，掩模可以是指以(3×3)矩阵布置的像素的聚合体，并且掩模的中心点可以是指被应用去马赛克的目标像素。也就是说，可以使用以目标像素为中心的掩模来执行用于对与图像数据700中包含的像素中的任意一个相对应的目标像素进行去马赛克的方法。
在下文中将参照图7描述上述去马赛克操作。
参照图7，图像数据700可以具有(6×6)分辨率，并且可以基于第一像素阵列400来布置像素。即使在图像数据700以基于第二像素阵列500布置像素的方式来配置的其它情况下，以下去马赛克方法也可以以相同或相似的方式应用于其它情况。在图7中，每个字符“R”、“W”或“B”之后的数字表示相应像素所属的行和列。
在下文中将参照附图描述用于对特定像素B32的像素数据去马赛克的方法。可以建立形成在以特定像素B32为中心的(3×3)矩阵中的第一掩模MSK1。
在实施方式中，可以基于求和方法将第一掩模MSK1转换为特定像素B32的RGB图像数据。例如，可以通过将第一掩模MSK1中包含的三个红色像素R22、R33和R41的像素数据求和来获得红色图像数据。可以通过对第一掩模MSK1中包含的三个蓝色像素B21、B32和B43的像素数据求和来获得蓝色图像数据。另外，可以通过从三个白色像素(W23、W31和W42)的像素数据的总和中减去蓝色图像数据(B21、B32和B43值的总和)和红色图像数据(R22、R33和R41值的总和)来获得绿色图像数据。
在另一实施方式中，可以基于求平均方法将第一掩模MSK1转换为特定像素B32的RGB图像数据。例如，可以通过将第一掩模MSK1中包含的三个红色像素R22、R33和R41的像素数据求平均来获得红色图像数据。可以通过对第一掩模MSK1中包含的三个蓝色像素B21、B32和B43的像素数据求平均来获得蓝色图像数据。另外，可以通过从三个白色像素(W23、W31和W42)的像素数据的平均值中减去三个红色像素(R22、R33和R41)的平均值与三个蓝色像素(B21、B32和B43)的平均值二者之和，来计算绿色图像数据。
在又一实施方式中，当将求和方法或求平均方法应用于第一掩模MSK1时，基于对应像素与目标像素B32之间的相对距离的权重可以反映在对第一掩模MSK1应用求和方法或求平均方法的过程中。例如，当使用求平均方法计算红色图像数据时，可以将为0.7的权重乘以位于目标像素B32的垂直或水平方向上的红色像素R22和R33中的每一个，并可以将为0.5的权重乘以位于目标像素B32的对角方向上的红色像素R21，从而可以基于相乘结果来计算平均值。另外，当使用求平均方法计算蓝色图像数据时，可以将为1的权重乘以目标像素B32，并且可以将为0.5的权重乘以位于目标像素B32的对角方向上的蓝色像素B21和B43中的每一个，从而可以基于相乘结果来计算平均值。另外，当使用求平均方法计算绿色图像数据时，可以将为0.7的权重乘以位于目标像素B32的垂直或水平方向上的白色像素W31和W42中的每一个，并且可以将为0.5的权重乘以位于目标像素B32的对角方向上的白色像素W23，从而可以基于相乘结果计算平均值。
随后，将在下文中参照附图描述针对特定白色像素W45的像素数据的去马赛克操作。可以建立形成在以白色像素W45为中心的(3×3)矩阵中的第二掩模MSK2。
在实施方式中，可以基于求和方法将第二掩模MSK2转换为白色像素W45的RGB图像数据。例如，可以通过将第二掩模MSK2中包含的三个红色像素(R36、R44和R55)的像素数据求和来获得红色图像数据。可以通过将第二掩模MSK2中包含的三个蓝色像素(B35、B46和B54)的像素数据求和来获得蓝色图像数据。另外，可以通过从三个白色像素(W34、W45和W56)的像素数据的总和中减去三个红色像素(R36、R44和R55)的像素数据的总和与三个蓝色像素(B35、B46和B54)的像素数据的总和二者，来获得绿色图像数据。
在另一实施方式中，可以基于求平均方法将第二掩模MSK2转换为白色像素W45的RGB图像数据。例如，可以通过对第二掩模MSK2中包含的三个红色像素(R36、R44和R55)的像素数据求平均来获得红色图像数据。可以通过对第二掩模MSK2中包含的三个蓝色像素(B35、B46和B54)的像素数据求平均来获得蓝色图像数据。另外，可以通过从三个白色像素(W34、W45和W56)的像素数据的平均值中减去三个红色像素(R36、R44和R55)的像素数据的平均值和三个蓝色像素(B35、B46和B54)的像素数据的平均值二者来计算绿色图像数据。
在又一实施方式中，当求和方法或求平均方法应用于第二掩模MSK2时，基于与目标像素W45的相对距离的权重可以反映在将求和方法或求平均方法应用于第二掩模MSK2的过程中。例如，当使用求平均方法计算红色图像数据时，可以将为0.7的权重乘以位于目标像素W45的垂直或水平方向上的红色像素R44和R55中的每一个，并可以将为0.5的权重乘以位于目标像素W45的对角方向上的红色像素R36，从而可以基于相乘结果来计算平均值。另外，当使用求平均方法计算蓝色图像数据时，可以将为0.7的权重乘以位于目标像素W45的垂直或水平方向上的蓝色像素B35和B46中的每一个，并且可以将为0.5的权重乘以位于目标像素W45的对角方向上的蓝色像素B54，从而可以基于相乘结果计算平均值。另外，当使用求平均方法计算绿色图像数据时，可以将为1的权重乘以目标像素W45，并且可以将为0.5的权重乘以位于目标像素W45的对角方向的白色像素W34和W56中的每一个，从而可以基于相乘结果来计算平均值。
如上所述，可以使用以目标像素为中心的掩模来创建关于目标像素的RGB图像数据。
基于所公开的技术的一些实施方式的图像传感器100及用于对图像传感器100进行去马赛克的方法能够省略即使在像素灵敏度低的情况下也需要大量的光的至少一个绿色像素，以提高整个像素阵列的灵敏度，从而即使在提供少量光的情况下，也形成高质量的图像。
基于所公开的技术的一些实施方式的图像传感器100及用于对图像传感器100进行去马赛克的方法可以允许(3×3)个像素但不允许(2×2)个像素(例如，拜耳图案)来决定单个像素的RGB图像数据，从而不论光量低或像素尺寸小都能够形成高质量的图像。
另外，当通过计算实现高质量像素时，不需要通过像素的重新布置以复杂的方式实现高质量像素，从而能够使图像质量的失真最小化。
应当理解，本文中使用的各种实施方式和术语并非旨在将本文档中描述的技术构思限于特定的实施方式，而是包括实施方式的各种修改、等同和/或替代。
相关申请的交叉引用
本专利文档要求于2019年8月8日提交的韩国专利申请No.10-2019-0096753的优先权和权益，其全部公开内容作为本专利文档的公开内容的一部分通过引用合并于此。

Claims (20)

1.一种图像传感器，该图像传感器包括：
有源像素传感器APS块，所述APS块包括以行和列布置的成像像素的多个(3×3)矩阵，每个(3×3)矩阵包括三个红色像素、三个蓝色像素和三个白色像素；以及
数据生成块，所述数据生成块联接到所述APS块以接收来自所述成像像素的输出，并被配置为生成每个所述红色像素的像素数据、每个所述蓝色像素的像素数据以及每个所述白色像素的像素数据。
2.根据权利要求1所述的图像传感器，其中，所述红色像素、所述蓝色像素和所述白色像素被布置在每个(3×3)矩阵中的第一对角线、第二对角线和第三对角线中，并且其中，
所述第一对角线被布置为穿过所述(3×3)矩阵的中心点，并且所述红色像素、所述蓝色像素和所述白色像素中的第一颜色像素沿第一对角方向布置；
所述第二对角线沿着所述第一对角线的一侧布置，并且所述红色像素、所述蓝色像素和所述白色像素中的第二颜色像素沿所述第一对角方向布置；并且
所述第三对角线沿着所述第一对角线的另一侧布置，并且第三颜色像素沿所述第一对角方向布置。
3.根据权利要求2所述的图像传感器，其中，
所述第一颜色、所述第二颜色和所述第三颜色彼此不同，并且所述第一颜色、所述第二颜色和所述第三颜色中的每一个是红色、蓝色和白色中的任何一种。
4.根据权利要求1所述的图像传感器，其中，所述多个(3×3)矩阵中的每一个包括在垂直于第一对角方向的第二对角方向上交替布置的所述红色像素、所述蓝色像素和所述白色像素。
5.一种图像处理系统，该图像处理系统包括：
有源像素传感器APS块，所述APS块包括以行和列布置的成像像素的多个(3×3)去马赛克矩阵，每个(3×3)矩阵包括三个红色像素、三个蓝色像素和三个白色像素；以及
图像信号处理器，所述图像信号处理器被配置为对每个所述去马赛克矩阵执行去马赛克。
6.根据权利要求5所述的图像处理系统，其中，所述红色像素、所述蓝色像素和所述白色像素在一方向上以红色像素、白色像素和蓝色像素的顺序布置。
7.根据权利要求5所述的图像处理系统，其中，所述红色像素、所述蓝色像素和所述白色像素在一方向上以红色像素、蓝色像素和白色像素的顺序布置。
8.根据权利要求5所述的图像处理系统，其中，
所述多个(3×3)去马赛克矩阵中的每一个组成像素组以产生与所述(3×3)矩阵中包含的像素相对应的图像数据；并且
所述图像信号处理器将所述像素组的所述图像数据转换为关于单个像素的红色图像数据、绿色图像数据和蓝色图像数据。
9.根据权利要求8所述的图像处理系统，其中，所述图像信号处理器被配置为：
通过计算所述像素组中包含的三个红色像素的像素数据的总和，生成所述红色图像数据；
通过计算所述像素组中包含的三个蓝色像素的像素数据的总和，生成所述蓝色图像数据；以及
通过计算所述像素组中包含的三个白色像素的像素数据的总和并使用所述红色图像数据和所述蓝色图像数据，生成所述绿色图像数据。
10.根据权利要求8所述的图像处理系统，其中，所述图像信号处理器被配置为：
通过计算所述像素组中包含的三个红色像素的像素数据的平均值，生成所述红色图像数据；
通过计算所述像素组中包含的三个蓝色像素的像素数据的平均值，生成所述蓝色图像数据；以及
通过计算所述像素组中包含的三个白色像素的像素数据的平均值并使用所述红色图像数据和所述蓝色图像数据，生成所述绿色图像数据。
11.根据权利要求8所述的图像处理系统，其中，所述像素组中的像素被布置为使得所述红色像素中的一个被布置在所述多个(3×3)去马赛克矩阵中的每一个的角部。
12.根据权利要求8所述的图像处理系统，其中，所述像素组中的像素被布置为使得所述白色像素中的一个被布置在所述多个(3×3)去马赛克矩阵中的每一个的角部。
13.根据权利要求8所述的图像处理系统，其中，所述像素组中的像素被布置为使得所述蓝色像素中的一个被布置在所述多个(3×3)去马赛克矩阵中的每一个的角部。
14.根据权利要求5所述的图像处理系统，其中，
所述多个(3×3)去马赛克矩阵中的每一个组成掩模以产生与所述(3×3)矩阵中包含的像素相对应的图像数据；并且
所述图像信号处理器将所述掩模的所述图像数据转换为关于位于所述掩模的中心点的目标像素的红色图像数据、绿色图像数据和蓝色图像数据。
15.根据权利要求14所述的图像处理系统，其中，所述图像信号处理器被配置为：
通过计算所述掩模中包含的三个红色像素的像素数据的总和，生成所述红色图像数据；
通过计算所述掩模中包含的三个蓝色像素的像素数据的总和，生成所述蓝色图像数据；以及
通过计算所述掩模中包含的三个白色像素的像素数据的总和并使用所述红色图像数据和所述蓝色图像数据，生成所述绿色图像数据。
16.根据权利要求14所述的图像处理系统，其中，所述图像信号处理器被配置为：
通过计算所述掩模中包含的三个红色像素的像素数据的平均值，生成所述红色图像数据；
通过计算所述掩模中包含的三个蓝色像素的像素数据的平均值，生成所述蓝色图像数据；以及
通过计算所述掩模中包含的三个白色像素的像素数据的平均值并使用所述红色图像数据和所述蓝色图像数据，生成所述绿色图像数据。
17.根据权利要求14所述的图像处理系统，其中，所述图像信号处理器响应于所述掩模中包含的每个像素与所述目标像素之间的相对距离，将所述掩模转换成所述红色图像数据、所述绿色图像数据和所述蓝色图像数据。
18.一种图像信号处理器，该图像信号处理器包括：
线存储器，所述线存储器被配置为临时存储包括每个红色像素的像素数据、每个蓝色像素的像素数据和每个白色像素的像素数据的图像数据；以及
处理块，所述处理块被配置为基于去马赛克矩阵来对所述图像数据执行去马赛克，每个去马赛克矩阵包括三个红色像素、三个蓝色像素和三个白色像素，
其中，所述像素数据是由包括以行和行布置的成像像素的多个(3×3)矩阵的有源像素传感器APS块生成的，每个(3×3)矩阵包括三个红色像素、三个蓝色像素、和三个白色像素。
19.根据权利要求18所述的图像信号处理器，其中，
所述去马赛克矩阵组成像素组以产生与所述(3×3)矩阵中包含的像素相对应的图像数据，
其中，所述像素组被转换为关于单个像素的红色图像数据、绿色图像数据和蓝色图像数据。
20.根据权利要求18所述的图像信号处理器，其中，
所述去马赛克矩阵组成掩模以产生与所述(3×3)矩阵中包含的像素相对应的图像数据，
其中，所述掩模被转换为关于位于所述掩模的中心点的目标像素的红色图像数据、绿色图像数据和蓝色图像数据。
CN201911377020.XA 2019-08-08 2019-12-27 图像传感器、图像信号处理器及包括其的图像处理系统 Active CN112349735B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0096753 2019-08-08
KR1020190096753A KR102709671B1 (ko) 2019-08-08 2019-08-08 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템

Publications (2)

Publication Number Publication Date
CN112349735A true CN112349735A (zh) 2021-02-09
CN112349735B CN112349735B (zh) 2024-04-09

Family

ID=74366918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377020.XA Active CN112349735B (zh) 2019-08-08 2019-12-27 图像传感器、图像信号处理器及包括其的图像处理系统

Country Status (3)

Country Link
US (1) US11025869B2 (zh)
KR (1) KR102709671B1 (zh)
CN (1) CN112349735B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360382B2 (en) * 2019-07-18 2022-06-14 Synopsys, Inc. Enforcing mask synthesis consistency across random areas of integrated circuit chips
US11776088B2 (en) * 2020-03-11 2023-10-03 Samsung Electronics Co., Ltd. Electronic device generating image data and converting the generated image data and operating method of the electronic device
CN113676708B (zh) * 2021-07-01 2023-11-14 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
KR102756864B1 (ko) * 2021-11-09 2025-01-21 삼성전자주식회사 이미지 센서 및 이미지 센싱 방법

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4768085A (en) * 1984-12-28 1988-08-30 Canon Kabushiki Kaisha Image sensing apparatus
JPH10262151A (ja) * 1997-03-19 1998-09-29 Seiko Epson Corp グレースケール画像のハーフトーニング方法、およびグレースケール画像のハーフトーニング手段を有する装置
JP2001008020A (ja) * 1999-06-22 2001-01-12 Canon Electronics Inc 画像処理装置
US20020186309A1 (en) * 2001-03-21 2002-12-12 Renato Keshet Bilateral filtering in a demosaicing process
JP2004221838A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
WO2006112814A1 (en) * 2005-04-13 2006-10-26 Hewlett-Packard Development Company L.P. Edge-sensitive denoising and color interpolation of digital images
US20080068477A1 (en) * 2006-09-20 2008-03-20 Kabushiki Kaisha Toshiba Solid-state imaging device
US20100118186A1 (en) * 2007-06-07 2010-05-13 Sony Corporation Signal processing method and signal processing system
US20100182478A1 (en) * 2007-07-03 2010-07-22 Yasuhiro Sawada Image Processing Device, Imaging Device, Image Processing Method, Imaging Method, And Image Processing Program
US20110013056A1 (en) * 2009-07-17 2011-01-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Color filters and demosaicing techniques for digital imaging
CN102420995A (zh) * 2006-10-13 2012-04-18 苹果公司 使用预定色调再现曲线来处理图像的系统和方法
CN102572272A (zh) * 2010-12-20 2012-07-11 索尼公司 图像处理设备、图像处理方法和程序
CN102663719A (zh) * 2012-03-19 2012-09-12 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
US20120250976A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Wavelet transform on incomplete image data and its applications in image processing
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
US20130242148A1 (en) * 2012-03-19 2013-09-19 Aptina Imaging Corporation Imaging systems with clear filter pixels
CN103595980A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
US20140267800A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Digital image stabilization method and imaging device using the same
US20140376805A1 (en) * 2013-06-20 2014-12-25 Himax Imaging Limited Method for demosaicking
US20150071561A1 (en) * 2013-09-10 2015-03-12 Adobe Systems Incorporated Removing noise from an image via efficient patch distance computations
CN105979233A (zh) * 2016-06-30 2016-09-28 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
CN106161890A (zh) * 2015-05-11 2016-11-23 佳能株式会社 成像装置、成像系统以及信号处理方法
KR101907451B1 (ko) * 2017-05-19 2018-10-12 인천대학교 산학협력단 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
CN109426038A (zh) * 2017-08-25 2019-03-05 合肥捷达微电子有限公司 显示面板及显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4500914A (en) * 1981-08-01 1985-02-19 Sharp Kabushiki Kaisha Color imaging array and color imaging device
US4580160A (en) * 1984-03-22 1986-04-01 Fuji Photo Film Co., Ltd. Color image sensor with improved resolution having time delays in a plurality of output lines
US7477304B2 (en) * 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
KR100832846B1 (ko) * 2006-11-15 2008-05-28 삼성전자주식회사 영상 촬상 소자
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
US10644073B2 (en) * 2016-12-19 2020-05-05 Samsung Electronics Co., Ltd. Image sensors and electronic devices including the same
US10262399B2 (en) 2017-01-09 2019-04-16 Samsung Electronics Co., Ltd. Image denoising with color-edge contrast preserving

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4768085A (en) * 1984-12-28 1988-08-30 Canon Kabushiki Kaisha Image sensing apparatus
JPH10262151A (ja) * 1997-03-19 1998-09-29 Seiko Epson Corp グレースケール画像のハーフトーニング方法、およびグレースケール画像のハーフトーニング手段を有する装置
JP2001008020A (ja) * 1999-06-22 2001-01-12 Canon Electronics Inc 画像処理装置
US20020186309A1 (en) * 2001-03-21 2002-12-12 Renato Keshet Bilateral filtering in a demosaicing process
JP2004221838A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
WO2006112814A1 (en) * 2005-04-13 2006-10-26 Hewlett-Packard Development Company L.P. Edge-sensitive denoising and color interpolation of digital images
US20080068477A1 (en) * 2006-09-20 2008-03-20 Kabushiki Kaisha Toshiba Solid-state imaging device
CN102420995A (zh) * 2006-10-13 2012-04-18 苹果公司 使用预定色调再现曲线来处理图像的系统和方法
US20100118186A1 (en) * 2007-06-07 2010-05-13 Sony Corporation Signal processing method and signal processing system
US20100182478A1 (en) * 2007-07-03 2010-07-22 Yasuhiro Sawada Image Processing Device, Imaging Device, Image Processing Method, Imaging Method, And Image Processing Program
US20110013056A1 (en) * 2009-07-17 2011-01-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Color filters and demosaicing techniques for digital imaging
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN102572272A (zh) * 2010-12-20 2012-07-11 索尼公司 图像处理设备、图像处理方法和程序
US20120250976A1 (en) * 2011-03-29 2012-10-04 Sony Corporation Wavelet transform on incomplete image data and its applications in image processing
CN102663719A (zh) * 2012-03-19 2012-09-12 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
US20130242148A1 (en) * 2012-03-19 2013-09-19 Aptina Imaging Corporation Imaging systems with clear filter pixels
US20140267800A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Digital image stabilization method and imaging device using the same
US20140376805A1 (en) * 2013-06-20 2014-12-25 Himax Imaging Limited Method for demosaicking
US20150071561A1 (en) * 2013-09-10 2015-03-12 Adobe Systems Incorporated Removing noise from an image via efficient patch distance computations
CN103595980A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
CN106161890A (zh) * 2015-05-11 2016-11-23 佳能株式会社 成像装置、成像系统以及信号处理方法
CN105979233A (zh) * 2016-06-30 2016-09-28 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
KR101907451B1 (ko) * 2017-05-19 2018-10-12 인천대학교 산학협력단 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
CN109426038A (zh) * 2017-08-25 2019-03-05 合肥捷达微电子有限公司 显示面板及显示装置

Also Published As

Publication number Publication date
KR102709671B1 (ko) 2024-09-26
KR20210017460A (ko) 2021-02-17
US20210044783A1 (en) 2021-02-11
CN112349735B (zh) 2024-04-09
US11025869B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112349735B (zh) 图像传感器、图像信号处理器及包括其的图像处理系统
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
US20230319430A1 (en) Image sensor
US9117711B2 (en) Solid-state image sensor employing color filters and electronic apparatus
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
US20170013217A1 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
KR20100006033A (ko) 넓은 동적 범위를 갖는 광전 변환장치 및 광전 변환방법
KR20110029217A (ko) 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
KR20140055538A (ko) 이미지 장치 및 이미지 처리 방법
US20210120168A1 (en) Image sensor including plurality of auto focusing pixel groups
US11729532B2 (en) Image sensing system for converting an image signal to have a specific pattern
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
US10986315B2 (en) Pixel array included in image sensor, image sensor including the same and electronic system including the same
US12047691B2 (en) Image sensor, image processing apparatus, and image processing method
US20220384513A1 (en) Image sensor
JP2023046660A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
CN111741242B (zh) 图像传感器及其操作方法
KR102736393B1 (ko) 이미지 센서 및 이를 포함하는 이미지 처리 장치
US20220279108A1 (en) Image sensor and mobile terminal
Fossum CMOS digital cameras need new figures of merit
KR20240143683A (ko) 멀티 채널에서의 랜덤 넘버 생성 회로
CN116582736A (zh) 图像处理装置和使用图像处理装置的图像处理方法
JP2024095582A (ja) イメージセンサ、それを含むイメージ処理システム、及びその動作方法
KR20240133226A (ko) 이미지 센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant