CN112261391A - 图像处理方法、摄像头组件及移动终端 - Google Patents
图像处理方法、摄像头组件及移动终端 Download PDFInfo
- Publication number
- CN112261391A CN112261391A CN202011154432.XA CN202011154432A CN112261391A CN 112261391 A CN112261391 A CN 112261391A CN 202011154432 A CN202011154432 A CN 202011154432A CN 112261391 A CN112261391 A CN 112261391A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- color
- processing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 129
- 238000012937 correction Methods 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 25
- 230000009467 reduction Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 13
- 238000012805 post-processing Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 238000003702 image correction Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 7
- 230000004075 alteration Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 108010001267 Protein Subunits Proteins 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 13
- 238000012546 transfer Methods 0.000 description 12
- 230000003321 amplification Effects 0.000 description 11
- 238000003199 nucleic acid amplification method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本申请公开了一种图像处理方法、摄像头组件及移动终端。图像处理方法包括：获取拜耳图像和全色图像，拜耳图像由第一图像像素组成，第一图像像素的像素值由一个子单元中至少一个彩色感光像素生成，第一图像像素呈拜耳阵列排布；全色图像由第二图像像素组成，第二图像像素的像素值由一个子单元中至少一个全色感光像素生成；对拜耳图像进行第一处理算法及去马赛克得到RGB图像；对全色图像进行第一处理算法得到亮度图像；对RGB图像和亮度图像融合得到融合RGB图像；对融合RGB图像进行第二处理算法得到YUV图像。通过对拜耳图像和全色图像进行处理以得到RGB图像和亮度图像，将亮度图像与RGB图像进行融合，能够提高融合RGB图像的信噪比，使得图像的清晰度更高。
Description
技术领域
本申请涉及影像技术领域，特别涉及一种图像处理方法、摄像头组件及移动终端。
背景技术
手机等电子设备中往往装配有摄像头，以实现拍照功能。摄像头中设置有图像传感器。为了实现彩色图像的采集，图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列，以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线，从而生成具有不同色彩通道的像素信号。拜耳阵列的图像经过去马赛克后会出现清晰度下降的问题。
发明内容
本申请实施方式提供了一种图像处理方法、摄像头组件及移动终端。
本申请实施方式的图像处理方法用于图像传感器。所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述图像处理方法包括：获取拜耳图像和全色图像，所述拜耳图像由多个第一图像像素组成，每个所述第一图像像素的像素值由一个所述子单元中的所述至少一个彩色感光像素生成，所述第一图像像素呈拜耳阵列排布；所述全色图像由多个第二图像像素组成，每个所述第二图像像素的像素值由一个所述子单元中的所述至少一个全色感光像素生成；以第一处理算法及去马赛克算法对所述拜耳图像进行处理后得到RGB图像；以所述第一处理算法对所述全色图像进行处理后得到亮度图像；对所述RGB图像和所述亮度图像进行融合处理以得到融合RGB图像；以第二处理算法对所述融合RGB图像进行处理后得到YUV图像。
本申请实施方式的摄像头组件包括图像传感器及处理器。所述摄像头组件包括图像传感器和处理器，所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述处理器用于获取拜耳图像和全色图像，所述拜耳图像由多个第一图像像素组成，每个所述第一图像像素的像素值由一个所述子单元中的所述至少一个彩色感光像素生成，所述第一图像像素呈拜耳阵列排布；所述全色图像由多个第二图像像素组成，每个所述第二图像像素的像素值由一个所述子单元中的所述至少一个全色感光像素生成；以第一处理算法及去马赛克算法对所述拜耳图像进行处理后得到RGB图像；以所述第一处理算法对所述全色图像进行处理后得到亮度图像；对所述RGB图像和所述亮度图像进行融合处理以得到融合RGB图像；以第二处理算法对所述融合RGB图像进行处理后得到YUV图像。
本申请实施方式的移动终端包括壳体及摄像头组件。所述摄像头组件与所述壳体结合。所述摄像头组件包括图像传感器及处理器。所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述图像处理方法包括：获取拜耳图像和全色图像，所述拜耳图像由多个第一图像像素组成，每个所述第一图像像素的像素值由一个所述子单元中的所述至少一个彩色感光像素生成，所述第一图像像素呈拜耳阵列排布；所述全色图像由多个第二图像像素组成，每个所述第二图像像素的像素值由一个所述子单元中的所述至少一个全色感光像素生成；以第一处理算法及去马赛克算法对所述拜耳图像进行处理后得到RGB图像；以所述第一处理算法对所述全色图像进行处理后得到亮度图像；对所述RGB图像和所述亮度图像进行融合处理以得到融合RGB图像；以第二处理算法对所述融合RGB图像进行处理后得到YUV图像。
本申请实施方式的图像处理方法、摄像头组件及移动终端通过对拜耳图像和全色图像进行处理以得到RGB图像和亮度图像，并将亮度图像与RGB图像进行融合，能够提高融合RGB图像的信噪比，从而使得图像的清晰度更高。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的摄像头组件的示意图；
图2是本申请某些实施方式的像素阵列的示意图；
图3是本申请某些实施方式的感光像素的截面示意图；
图4是本申请某些实施方式的感光像素的像素电路图；
图5至图15是本申请某些实施方式的像素阵列中最小重复单元的排布示意图；
图16和图17是本申请某些实施方式的图像处理方法的流程示意图；
图18和图19是本申请某些实施方式的合并图像示意图；
图20至图22是本申请某些实施方式的图像处理方法的原理示意图；
图23是本申请某些实施方式的图像处理方法的流程示意图；
图24是本申请某些实施方式的图像处理方法的原理示意图；
图25是本申请某些实施方式的图像处理方法的流程示意图；
图26是本申请实施方式的移动终端的结构示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
相关技术中，手机等电子设备中往往装配有摄像头，以实现拍照功能。摄像头中设置有图像传感器。为了实现彩色图像的采集，图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列，以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线，从而生成具有不同色彩通道的像素信号。拜耳阵列的图像经过去马赛克后会出现清晰度下降的问题。
基于上述原因，请参阅图1、图2和图5，本申请提供一种摄像头组件100。摄像头组件100包括图像传感器10及处理器20。图像传感器10包括像素阵列11，像素阵列11包括多个子单元，每个子单元包括至少一个全色感光像素W及至少一个彩色感光像素，彩色感光像素具有比全色感光像素W更窄的光谱响应。像素阵列11曝光以获得拜耳图像及全色图像，拜耳图像由多个第一图像像素组成，每个第一图像像素的像素值由一个子单元中的至少一个彩色感光像素生成，第一图像像素呈拜耳阵列排布；全色图像由多个第二图像像素组成，每个第二图像像素的像素值由一个子单元中的至少一个全色感光像素W生成。处理器20与图像传感器10电连接。处理器20用于以第一处理算法及去马赛克算法对拜耳图像进行处理后得到RGB图像；以第一处理算法对全色图像进行处理后得到亮度图像；对RGB图像和亮度图像进行融合处理以得到融合RGB图像；以第二处理算法对融合RGB图像进行处理后得到YUV图像。其中，处理器20可以是指图像处理器(Image Signal Processor，ISP)
本申请实施方式的摄像头组件100通过像素阵列11曝光以获得拜耳图像和全色图像，通过对拜耳图像和全色图像进行处理以得到RGB图像和亮度图像，并将亮度图像与RGB图像进行融合，能够提高融合RGB图像的信噪比，从而使得图像的清晰度更高。
下面结合附图对本申请实施方式的摄像头组件100作详尽描述。
请参阅图2，图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件1111的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。
请参阅图3，感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。
请参阅图4，像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。
如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。
例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。
例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。
例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。
需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。
请参阅图5至图15，本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。像素阵列11包括多个最小重复单元，每个最小重复单元包括多个子单元，图5至图15仅示出了由四个子单元所组成的一个最小重复单元中的多个感光像素110的排布，在其他例子中，每个最小重复单元中的子单元的数量还可以是两个、三个、五个、十个等，在此不作限制。对图5至图17所示的四个子单元所组成的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个子单元内包括至少一个全色感光像素W及至少一个彩色感光像素。其中，在每个子单元中，全色感光像素W与彩色感光像素可以交替设置；或者，在每个子单元中，处于同一行的多个感光像素110可以具有相同的颜色通道；或者，在每个子单元中，处于同一列的多个感光像素110可以具有相同的颜色通道；或者，在每个最小重复单元中，处于同一行且具有相同的颜色通道的多个感光像素110与处于同一列且具有相同的颜色通道多个感光像素110可以交替设置；或者，在每个子单元中，当全色感光像素W的数量为一个，彩色感光像素的数量为多个时，全色感光像素W可以位于该子单元中的任意位置；或者，在每个子单元中，当全色感光像素W的数量为多个，彩色感光像素的数量为一个时，彩色感光像素可以位于该子单元中的任意位置。
具体地，例如，请参阅图5，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图5所示，对于每个子单元，全色感光像素W和彩色感光像素交替设置。
如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。
再例如，请参阅图6，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
图6所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图6中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、彩色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图6中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为彩色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、彩色感光像素(即第二颜色感光像素B)。
如图6所示，图6中的第一类子单元UA及第三子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与位于左下角的第二类子单元UB中的全色感光像W素与彩色感光像素的交替顺序不一致。具体地，图6所示的第一类子单元UA及第三子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、彩色感光像素，第二行的感光像素110的交替顺序为彩色感光像素、全色感光像素W；而图6所示的位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为彩色感光像素(即第三颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、彩色感光像素(即第三颜色感光像素B)。
因此，根据图5及图6所示，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图6所示)。
再例如，请参阅图7，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图7所示，对于每个子单元，全色感光像素W和彩色感光像素交替设置。
如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图8，图8为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图8所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
如图8所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图9，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图9所示，在每个子单元中，处于同一行的多个感光像素110具有相同的颜色通道(即同一行的多个感光像素110为同一类别的感光像素110)。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。其中，具有相同的颜色通道的多个感光像素110既可以位于子单元的第一行，也可以位于子单元的第二行，在此不作限制。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图10，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图10所示，在每个子单元中，处于同一列的多个感光像素110具有相同的颜色通道(即同一列的多个感光像素110为同一类别的感光像素110)。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。其中，具有相同的颜色通道的多个感光像素110既可以位于子单元的第一列，也可以位于子单元的第二列，在此不作限制。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图11，图11为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图11所示，在每个子单元中，处于同一列或同一行的多个感光像素110具有相同的颜色通道(即同一列或同一行的多个感光像素110为同一类别的感光像素110)。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
如图11所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A，多个全色感光像素W处于同一列，多个第一颜色感光像素A处于同一列；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B，多个全色感光像素W处于同一行，多个第一颜色感光像素B处于同一行；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C，多个全色感光像素W处于同一列，多个第一颜色感光像素C处于同一列。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
因此，如图11所示，在同一最小重复单元中，可以是部分子单元内处于同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内处于同一列的多个感光像素110为同一类别的感光像素110。
再例如，请参阅图12，图12为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图12所示，每个子单元的4个感光像素110中仅包含一个彩色感光像素。在每个最小重复单元中，彩色感光像素可以位于子单元的任何位置(例如为图12所示的位于子单元的左上角位置)。
如图12所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和一个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图13，图13为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图13所示，每个子单元的4个感光像素110中仅包含一个彩色感光像素。在每个最小重复单元中，彩色感光像素可以位于子单元的任何位置(例如为图12所示的位于子单元的左上角位置、左下角位置、右上角位置或右下角位置)。
如图13所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和一个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图14，图14为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图14所示，每个子单元的4个感光像素110中仅包含一个全色感光像素W。在每个最小重复单元中，全色感光像素W可以位于子单元的任何位置(例如为图14所示的位于子单元的左上角位置)。
如图14所示，子单元的类别包括三类。其中，第一类子单元UA包括一个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括一个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图15，图15为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图15所示，每个子单元的4个感光像素110中仅包含一个全色感光像素W。在每个最小重复单元中，全色感光像素W可以位于子单元的任何位置(例如为图15所示的位于子单元的左上角位置、左下角位置、右上角位置或右下角位置)。
如图15所示，子单元的类别包括三类。其中，第一类子单元UA包括一个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括一个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
在某些实施方式中，如图5至图15所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。
在某些实施方式中，如图5至图15所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。
在某些实施方式中，如图5至图15所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。
需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
请参阅图16，本申请公开一种图像处理方法，图像处理方法用于图像传感器10，图像传感器10包括像素阵列11，像素阵列11包括多个子单元，每个子单元包括至少一个全色感光像素及至少一个彩色感光像素，彩色感光像素具有比全色感光像素更窄的光谱响应；图像处理方法包括：
01：获取拜耳图像和全色图像，拜耳图像由多个第一图像像素组成，每个第一图像像素的像素值由一个子单元中的至少一个彩色感光像素生成，第一图像像素呈拜耳阵列排布；全色图像由多个第二图像像素组成，每个第二图像像素的像素值由一个子单元中的至少一个全色感光像素W生成；
02：以第一处理算法及去马赛克算法对拜耳图像进行处理后得到RGB图像；
03：以第一处理算法对全色图像进行处理后得到亮度图像；
04：对RGB图像和亮度图像进行融合处理以得到融合RGB图像；
05：以第二处理算法对融合RGB图像进行处理后得到YUV图像。
请一并参阅图1和图16，本申请实施方式的图像处理方法可以由本申请实施方式的摄像头组件100实现，摄像头组件100包括图像传感器10和处理器20，图像传感器10包括像素阵列11，像素阵列11包括多个子单元，每个子单元包括至少一个全色感光像素W及至少一个彩色感光像素，彩色感光像素具有比全色感光像素W更窄的光谱响应。其中，步骤01、步骤02、步骤03、步骤04和步骤05均可以由处理器20实现。也即是说，处理器20用于获取拜耳图像和全色图像，拜耳图像由多个第一图像像素组成，每个第一图像像素的像素值由一个子单元中的至少一个彩色感光像素生成，第一图像像素呈拜耳阵列排布；全色图像由多个第二图像像素组成，每个第二图像像素的像素值由一个子单元中的至少一个全色感光像素W生成；以第一处理算法及去马赛克算法对拜耳图像进行处理后得到RGB图像；以第一处理算法对全色图像进行处理后得到亮度图像；对RGB图像和亮度图像进行融合处理以得到融合RGB图像；以第二处理算法对融合RGB图像进行处理后得到YUV图像。
通过对拜耳图像和全色图像进行处理以得到RGB图像和亮度图像，并将亮度图像与RGB图像进行融合，能够提高融合RGB图像的信噪比，从而使得图像的清晰度更高。
请参阅图17，在某些实施方式中，图像传感器10用于输出合并图像，图像处理方法包括：
012：对合并图像进行处理以获得拜耳图像和全色图像。
在某些实施方式中，处理器20包括融合图像处理器(fusion IP)，步骤012可以由融合图像处理器实现。也即是说，融合图像处理器用于对合并图像进行处理以获得拜耳图像和全色图像。
请一并参阅图18和图19，在某些实施方式中，图像传感器10用于输出合并图像由多个合并像素组成，每个合并像素的像素值由一个子单元中的至少一个彩色感光像素或至少一个全色感光像素生成。具体地，一个子单元中的至少一个彩色感光像素或至少一个全色感光像素在接收光线后生成的多个电信号的和值或均值作为一个合并图像数据。合并图像可以是如图18所示的彩色感光像素与全色感光像素W隔行输出的合并图像，也可以是如图19所示的彩色感光像素与全色感光像素W隔列输出的合并图像。在一个实施例中，图18所示的合并图像可以把奇数行提取出来作为拜耳图像，把偶数行提取出来作为全色图像。由于输出的合并图像既包括彩色感光像素，又包括全色感光像素W，因此，现有的图像处理器难以对合并图像直接进行处理，在本申请实施方式中，处理器20还可以包括融合图像处理器，利用融合图像处理器对合并图像进行处理，从而将合并图像拆分为常规拜耳阵列的拜耳图像和全色图像(灰度图像)，进而能够便于后续图像处理算法的实现。
在某些实施方式中，图像处理方法通过图像管道(pipeline)实现，图像管道用于实现第一处理算法、去马赛克算法和第二处理算法。
其中，图像管道可以是相关技术中所采用的图像管道，例如可以是高通的图像处理器的pipeline，也可以是联发科的图像处理器的pipeline等。然而，相关技术中的图像管道不能对本申请实施方式的图像传感器10所输出的图像进行处理，因此，在本申请实施方式中，先基于相关技术中的图像管道，以第一处理算法及去马赛克算法对拜耳图像进行处理以得到RGB图像，及以第一处理算法对亮度图像进行处理以得到亮度图像，然后，将RGB图像和亮度图像从图像管道中引导出来，再对RGB图像和亮度图像进行融合以得到信噪比较高的融合RGB图像，融合RGB图像的格式实质上与RGB图像的格式相同，融合RGB图像能够被相关技术中的图像管道进行处理，因此可以将融合RGB图像重新传回图像管道中以实现第二处理算法。如此，使得图像传感器10所输出的图像能够基于相关技术中的图像处理器及相应的图像管道进行处理，不用额外设计、开发专用的图像管道和图像处理器。其中，对RGB图像和亮度图像进行融合可以由融合模块(RGBW fusion)实现，融合方式可以为：以亮度图像作为参考图像分别对R图像、G图像和B图像进行双边滤波处理以得到融合RGB图像。
具体地，可以对R图像、G图像和B图像进行滤波处理以得到R图像的第一滤波图像、G图像的第一滤波图像和B图像的第一滤波图像，以R图像为例，R图像包括R图像第一待滤波图像像素和R图像第一待滤波区域，R图像第一待滤波图像像素位于R图像第一待滤波区域内。亮度图像包括第一参考图像像素和第一参考区域，其中，第一参考图像像素与R图像第一待滤波图像像素对应，第一参考区域与R图像第一待滤波区域对应。随后，计算第一参考区域中的多个像素相对于第一参考图像的权重，权重包括空间域的权重及像素范围域的权重，再根据多个第一图像像素的权重及R图像的第一待滤波区域对应的像素点的像素值对R图像的第一待滤波图像像素的像素值进行修正以得到R图像的第一滤波图像数据。如此，通过与实施例类似的方式即可得到G图像的第一滤波图像和B图像的第一滤波图像。因此，可以通过双边滤波处理以得到融合RGB图像。
在某些实施方式中，图像处理方法工作于预览模式或视频模式，图像管道包括前端图像处理模块(Image front end，IFE)，前端图像处理模块用于实现第一处理算法、去马赛克算法和第二处理算法，第一处理算法包括：摄像头接口(Camera Interface，CAMIF)、基座校正(Pedestal Correction)、线性化(linearization)、相位像素补偿(Positiondependent intra prediction combination，PDPC)、通道增益(channel gains)、坏像素补偿/坏像素群补偿/拜尔域降噪模块(Bad pixel correction/Bad cluster correction/Adaptive Bayer Filter，BPC/BCC/ABF)、黑电平校正(Black Level Correction，BLC)、镜头衰减(lens roll off)、白平衡中的至少一种，第二处理算法包括：颜色校正(colorcorrection)、色调映射(global tone mapping)、伽玛校正(gamma)、颜色空间转换(colorspace transform)、下采样(down scaler)中的至少一种。
请参阅图20，具体地，图像处理方法可以工作于预览模式或视频模式(即摄像头组件100可以工作于预览模式或视频模式)，由于预览模式或视频模式时图像传感器10需要以较高的帧率拍摄图像，处理器20需要以较快的速度处理图像，因此，为了保证图像的处理速度满足帧率要求，可以采用前端图像处理模块对图像进行处理。
前端图像处理模块中的第一处理算法包括摄像头接口、基座校正、线性化、相位像素补偿、通道增益、坏像素补偿/坏像素群补偿/拜尔域降噪模块、镜头衰减、白平衡中的至少一种。摄像头接口可以用于同步图像传感器10发送数据过程中涉及到的同步信号。摄像头接口还具有图像提取和图像镜像能力。摄像头接口可以将raw图像转换成raw dumpBayer raw图像。考虑到图像传感器10输出的图像的信噪比，图像传感器10输出图像时会加上一个基底pedestal，在对图像进行处理时，需要减去这个基底，也就是进行基座校正。针对图像传感器10(例如光电转换元件)的非线性，可以对图像进行线性化处理，线性化处理例如采用曲线拟合、神经网络等方法实现。相位像素补偿的原理是将未滤波的边界参考像素和根据滤波后的参考像素得到的相位像素补偿值结合起来得到最终的相位像素补偿值。通道增益可以对图像的各个通道进行放大处理，从而使得各个通道的数据更加准确。坏像素补偿是指坏像素校正，在图像传感器10中的某个像素不能正常工作时，可以利用坏像素校正获得该像素对应的像素值。坏像素群补偿是指坏群集校正，通过坏群集校正也能对坏点进行校正。拜尔域降噪模块是指自适应拜耳滤波器(Adaptive bayer filter)，通过自适应拜耳滤波器能够对图像进行降噪处理，同时降噪过程中不钝化边缘。图像传感器10的电路本身会存在暗电流，导致在没有光线照射的时候，像素也有一定的输出电压，因此需要减去暗电流带来的影响，也就是进行黑电平校正。由于镜头进光量的限制，镜头的成像都会有暗角，例如镜头边缘的透光量只有镜头中心的透光量的40％及以下，因此，可以采用镜头衰减(透镜衰减校正)进行处理，以将镜头边缘的透光量提升到镜头中心的透光量的90％。为了提高图像的色彩准确度，还可以对图像进行白平衡(White Balance，WB)处理。白平衡处理算法包括灰度世界法、镜面法、色温估计法等。
去马赛克算法可以将拜耳阵列的拜耳图像插值成为RGB图像，其中，RGB图像可以是三帧，即分别为插值后得到的R图像、G图像和B图像。
前端图像处理模块中的第二处理算法包括颜色校正、色调映射、伽玛校正、颜色空间转换、下采样中的至少一种。利用颜色校正后的图像的色彩饱和度更加明显，更加符合人眼感官。色调映射是指对图像颜色进行变换，其目的在于调整图像的灰度，使得处理后的图像看上去更舒服，能更好地表达图像里的信息与特征，色调映射处理后可以输出raw dumpRGB图像。伽玛校正可使得图像看起来更符合人眼的特性，伽玛校正公式例如为Out＝Ingamma或者Out＝In1/gamma，其中，In表示输入图像，Out表示输出图像。颜色空间转换可以将RGB图像转换为YUV图像。通过下采样可以降低图像的尺寸。
IFE还可以包括摄像机串行接口解码器模块(CSID)，CSID用于解包MIPI数据，从而便于后续处理。
请参阅图21，在某些实施方式中，图像处理方法工作于拍照模式，图像管道包括拜耳处理模块(Bayer processing segment，BPS)，拜耳处理模块用于实现第一处理算法、去马赛克算法和第二处理算法，第一处理算法包括：基座校正、线性化、坏像素补偿/坏像素群补偿/相位像素补偿、通道增益、绿色不平衡校正(green imbalance correction)、拜尔域降噪模块、黑电平校正、镜头衰减、白平衡中的至少一种，第二处理算法包括：颜色校正、色调映射、伽玛校正、颜色空间转换、混合噪声降低、下采样中的至少一种。
具体地，图像处理方法可以工作于拍照模式(即摄像头组件100可以工作于拍照模式)，由于拍照模式时处理器20需要对图像进行相应的处理以提高成像质量，因此，为了保证图像的清晰和准确，可以采用拜耳处理模块对图像进行处理。
拜耳处理模块的第一处理算法包括基座校正、线性化、坏像素补偿/坏像素群补偿/相位像素补偿、通道增益、绿色不平衡校正、拜尔域降噪模块、黑电平校正、镜头衰减、白平衡中的至少一种。其中，基座校正、线性化、坏像素补偿/坏像素群补偿/相位像素补偿、通道增益、拜尔域降噪模块、黑电平校正、镜头衰减、白平衡等解释说明可以参考上述实施方式。图像传感器10中的Gr和Gb通道获取的能量或者是输出的数据可能不一致，一方面可能是Gr和Gb通道的半导体制造工艺方面的差异，另一方面是微透镜的存在，特别是图像传感器10的边缘区域，Gr和Gb通道因为有角度差异，接收到光能不同而造成，因此需要进行绿色不平衡校正。
请参阅图22，其中，图像传输至拜耳处理模块前，可以采用CSID解包MIPI数据。
请参阅图23，在某些实施方式中，图像处理方法还包括：
06：对YUV图像进行图像后处理。
在某些实施方式中，步骤06可以由处理器20实现，也即是说，处理器20用于对YUV图像进行图像后处理。
具体地，在对图像进行前端图像处理模块或拜耳处理模块的第一处理算法、去马赛克算法和第二处理算法后，可以接着对图像进行图像后处理算法，从而使得输出的图像更加准确。
在某些实施方式中，图像处理方法通过图像管道实现，图像管道包括图像处理引擎(Image processing engine，IPE)，图像处理引擎用于实现图像后处理算法，图像后处理算法包括：图像校正和调整(image correction and adjustment，ICA)、高级降噪(advanced noise reduction)、时域滤波(temporal filter)、色彩失常校正(CromaticAberration Correction，CAC)、色彩空间转换(color space transform)、局部色调映射(local tone mapping)、色彩校正(color correction)、gamma(伽玛校正)、查找表技术(2DLook-Up Table，2D LUT)、色彩调整和色度增强(CV&Chroma enhancement)、色度抑制(chroma suppression)、自适应空间滤波器(Adaptive Spatial Filter，ASF)、上采样(upscaler)、纹理增加(grain adde)、下采样(down scaler)中的至少一种。
如此，可以基于相关技术中的图像处理器、图像管道对YUV图像进行图像后处理，不用额外设计、开发专用的图像管道和图像处理器。
请参阅图24，具体地，图像处理引擎可以包括噪声处理部分和后处理部分。图像后处理算法包括：图像校正和调整、高级降噪、时域滤波、色彩失常校正、色彩空间转换、局部色调映射、色彩校正、伽玛校正、查找表技术、色彩调整和色度增强、色度抑制、自适应空间滤波器、上采样、纹理增加、下采样中的至少一种。其中，图像校正和调整、高级降噪、时域滤波可以由噪声处理部分实现。色彩失常校正、色彩空间转换、局部色调映射、色彩校正、伽玛校正、查找表技术、色彩调整和色度增强、色度抑制、自适应空间滤波器、上采样、纹理增加、下采样可以由后处理部分实现。
图像校正和调整是指对失真图像进行的复原性处理。图像校正和调整主要分为两类：几何校正和灰度校正。图像的校正和调整可以从层次、颜色、清晰度三个方面进行校正和调整。图像校正和调整可以执行两次。其中，图像校正和调整可以包括第一图像校正和调整及第二图像校正和调整，第一图像校正和调整用于处理current YUV frame，第二图像校正和调整用于处理reference YUV frame。其中，current YUV frame经过第一图像校正和调整的处理后，可以进行高级降噪、时域滤波处理。高级降噪能够对图像进行降噪处理，从而提高图像的信噪比。时域滤波用于对图像进行平滑处理。色彩失常校正用于校正图像的色彩，从而使得图像的色彩变得准确。局部色调映射，指的是像素所在位置不同，其映射后灰度值也可能不同的方法，像素点的映射结果，受到其他因素的影响。查找表技术用于将灰度模式的画面进行色彩还原，还可以在两组数据之间建立对应关系，可以用于颜色空间转换、CCM、亮度映射等。色彩调整和色度增强用于增强图像的色度。色度抑制用于改善前景信号中的半透明区域的颜色效果，从而还原前景中的物体的本来颜色(而不是处于灰色或半透明状态)，具体地，色度增强，在亮度不变的情况下，提升色彩饱和度；色度抑制，在某些亮度范围内抑制色度。自适应空间滤波器是指自适应空间滤波器，自适应空间滤波器可以对图像进行滤波处理，用于提升锐度。上采样用于增大图像的尺寸、提升图像分辨率。纹理增加是指纹理增加器，为图像增加精细度，纹理增加用于使得图像的纹理信息更加清楚。下采样用于降低图像的尺寸、降低图像分辨率。经过图像后处理算法后所获得的图像可以传输至显示屏以进行显示或传输至video encoder或JPEG encoder进行编解码处理。
请参阅图25，在某些实施方式中，图像处理方法包括：
07：存储RGB图像、亮度图像和融合RGB图像。
在某些实施方式中，步骤07可以由处理器20实现，也即是说，处理器20用于存储RGB图像、亮度图像和融合RGB图像。
具体地，在处理得到RGB图像、亮度图像和融合RGB图像后，可以将图像存储至存储元件中(例如双倍速率同步动态随机存储器，DDR)，从而在后续需要获取这些图像时，能够从存储元件中快速地读取得到。
请参阅图26，本申请还提供一种移动终端300。移动终端300包括上述任意一项实施方式的摄像头组件100及壳体200，摄像头组件100设置在壳体200上。在某些实施方式中，壳体200开设有相应的安装孔，摄像头组件100可以设置在安装孔中。
移动终端300可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。
本申请实施方式的移动终端300通过对拜耳图像和全色图像进行处理以得到RGB图像和亮度图像，并将亮度图像与RGB图像进行融合，能够提高融合RGB图像的信噪比，从而使得图像的清晰度更高。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应；所述图像处理方法包括：
获取拜耳图像和全色图像，所述拜耳图像由多个第一图像像素组成，每个所述第一图像像素的像素值由一个所述子单元中的所述至少一个彩色感光像素生成，所述第一图像像素呈拜耳阵列排布；所述全色图像由多个第二图像像素组成，每个所述第二图像像素的像素值由一个所述子单元中的所述至少一个全色感光像素生成；
以第一处理算法及去马赛克算法对所述拜耳图像进行处理后得到RGB图像；
以所述第一处理算法对所述全色图像进行处理后得到亮度图像；
对所述RGB图像和所述亮度图像进行融合处理以得到融合RGB图像；
以第二处理算法对所述融合RGB图像进行处理后得到YUV图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像传感器用于输出合并图像，所述合并图像由多个合并像素组成，每个所述合并像素的像素值由一个所述子单元中的所述至少一个彩色感光像素或所述至少一个全色感光像素生成；所述图像处理方法包括：
对所述合并图像进行处理以获得所述拜耳图像和所述全色图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法通过图像管道实现，所述图像管道用于实现所述第一处理算法、所述去马赛克算法和所述第二处理算法。
4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法工作于预览模式或视频模式，所述图像管道包括前端图像处理模块，所述前端图像处理模块用于实现所述第一处理算法、所述去马赛克算法和所述第二处理算法，所述第一处理算法包括：摄像头接口、基座校正、线性化、相位像素补偿、通道增益、坏像素补偿/坏像素群补偿/拜尔域降噪模块、黑电平校正、镜头衰减、白平衡中的至少一种，所述第二处理算法包括：颜色校正、色调映射、伽玛校正、颜色空间转换、下采样中的至少一种。
5.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法工作于拍照模式，所述图像管道包括拜耳处理模块，所述拜耳处理模块用于实现所述第一处理算法、所述去马赛克算法和所述第二处理算法，所述第一处理算法包括：基座校正、线性化、坏像素补偿/坏像素群补偿/相位像素补偿、通道增益、绿色不平衡校正、拜尔域降噪模块、黑电平校正、镜头衰减、白平衡中的至少一种，所述第二处理算法包括：颜色校正、色调映射、伽玛校正、颜色空间转换、混合噪声降低、下采样中的至少一种。
6.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
以图像后处理算法对所述YUV图像进行处理。
7.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法通过图像管道实现，所述图像管道包括图像处理引擎，所述图像处理引擎用于实现所述图像后处理算法，所述图像后处理算法包括：图像校正和调整、高级降噪、时域滤波、色彩失常校正、色彩空间转换、局部色调映射、色彩校正、伽玛校正、查找表技术、色彩调整和色度增强、色度抑制、自适应空间滤波器、上采样、纹理增加、下采样中的至少一种。
8.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法包括：
存储所述RGB图像、所述亮度图像和所述融合RGB图像。
9.一种摄像头组件，其特征在于，所述摄像头组件包括图像传感器和处理器，所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应；所述处理器用于获取拜耳图像和全色图像，所述拜耳图像由多个第一图像像素组成，每个所述第一图像像素的像素值由一个所述子单元中的所述至少一个彩色感光像素生成，所述第一图像像素呈拜耳阵列排布；所述全色图像由多个第二图像像素组成，每个所述第二图像像素的像素值由一个所述子单元中的所述至少一个全色感光像素生成；对所述拜耳图像进行第一处理算法及去马赛克处理后得到RGB图像；对所述全色图像进行所述第一处理算法处理后得到亮度图像；对所述RGB图像和所述亮度图像进行融合处理以得到融合RGB图像；对所述融合RGB图像进行第二处理算法后得到YUV图像。
10.一种移动终端，其特征在于，所述移动终端包括：
权利要求9所述的摄像头组件；及
壳体，所述摄像头组件设置在所述壳体上。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011154432.XA CN112261391B (zh) | 2020-10-26 | 2020-10-26 | 图像处理方法、摄像头组件及移动终端 |
| PCT/CN2020/130139 WO2022088311A1 (zh) | 2020-10-26 | 2020-11-19 | 图像处理方法、摄像头组件及移动终端 |
| EP20959471.2A EP4228252A4 (en) | 2020-10-26 | 2020-11-19 | IMAGE PROCESSING METHOD, CAMERA AND MOBILE TERMINAL ASSEMBLY |
| US18/135,063 US12177580B2 (en) | 2020-10-26 | 2023-04-14 | Image processing method, camera assembly and mobile terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011154432.XA CN112261391B (zh) | 2020-10-26 | 2020-10-26 | 图像处理方法、摄像头组件及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112261391A true CN112261391A (zh) | 2021-01-22 |
| CN112261391B CN112261391B (zh) | 2022-01-04 |
Family
ID=74262969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011154432.XA Active CN112261391B (zh) | 2020-10-26 | 2020-10-26 | 图像处理方法、摄像头组件及移动终端 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12177580B2 (zh) |
| EP (1) | EP4228252A4 (zh) |
| CN (1) | CN112261391B (zh) |
| WO (1) | WO2022088311A1 (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111182242A (zh) * | 2019-12-20 | 2020-05-19 | 翱捷智能科技(上海)有限公司 | 一种rgb-ir图像的校正方法和装置 |
| CN112468789A (zh) * | 2021-02-02 | 2021-03-09 | 湖北芯擎科技有限公司 | Raw图像转换电路及raw图像转换方法 |
| CN113034357A (zh) * | 2021-05-24 | 2021-06-25 | 杭州火烧云科技有限公司 | Raw格式文件转档的方法、系统、电子装置和存储介质 |
| CN113676675A (zh) * | 2021-08-16 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
| CN114693580A (zh) * | 2022-05-31 | 2022-07-01 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| WO2022183437A1 (en) * | 2021-03-04 | 2022-09-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating embedded image data, image sensor, electrical device and non-transitory computer readable medium |
| CN115442573A (zh) * | 2022-08-23 | 2022-12-06 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置和电子设备 |
| WO2023279270A1 (en) * | 2021-07-07 | 2023-01-12 | Qualcomm Incorporated | Cascade image processing for noise reduction |
| CN115696063A (zh) * | 2022-09-13 | 2023-02-03 | 荣耀终端有限公司 | 拍照方法和电子设备 |
| CN115767287A (zh) * | 2021-09-03 | 2023-03-07 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN115942128A (zh) * | 2022-12-12 | 2023-04-07 | 大连理工大学 | 一种基于异构平台的isp系统设计与实现方法 |
| CN115988311A (zh) * | 2021-10-14 | 2023-04-18 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN117425091A (zh) * | 2022-03-28 | 2024-01-19 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN118102128A (zh) * | 2024-02-04 | 2024-05-28 | 武汉大学 | 一种Bayer传感器的超分辨率成像方法及装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230041195A (ko) * | 2021-09-17 | 2023-03-24 | 에스케이하이닉스 주식회사 | 전자 장치 및 그 동작 방법 |
| CN116703798B (zh) * | 2023-08-08 | 2023-10-13 | 西南科技大学 | 基于自适应干扰抑制的食管多模态内镜图像增强融合方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008078922A (ja) * | 2006-09-20 | 2008-04-03 | Toshiba Corp | 固体撮像装置 |
| CN101233763A (zh) * | 2005-07-28 | 2008-07-30 | 伊斯曼柯达公司 | 处理彩色和全色像素 |
| US20080218597A1 (en) * | 2007-03-06 | 2008-09-11 | Sony Corporation | Solid-state imaging device and imaging apparatus |
| CN102484721A (zh) * | 2009-05-27 | 2012-05-30 | 美商豪威科技股份有限公司 | 四通道滤色片阵列图案 |
| CN110493583A (zh) * | 2018-08-03 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111246064A (zh) * | 2020-02-19 | 2020-06-05 | Oppo广东移动通信有限公司 | 图像处理方法、摄像头组件及移动终端 |
| CN111294493A (zh) * | 2020-02-25 | 2020-06-16 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件及移动终端 |
| CN111314592A (zh) * | 2020-03-17 | 2020-06-19 | Oppo广东移动通信有限公司 | 图像处理方法、摄像头组件及移动终端 |
| CN111447380A (zh) * | 2020-05-22 | 2020-07-24 | Oppo广东移动通信有限公司 | 控制方法、摄像头组件和移动终端 |
| CN111741221A (zh) * | 2020-07-08 | 2020-10-02 | Oppo广东移动通信有限公司 | 图像获取方法、摄像头组件及移动终端 |
| CN111741277A (zh) * | 2020-07-13 | 2020-10-02 | 深圳市汇顶科技股份有限公司 | 图像处理的方法和图像处理装置 |
| CN111757006A (zh) * | 2020-07-08 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像获取方法、摄像头组件及移动终端 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7760962B2 (en) * | 2005-03-30 | 2010-07-20 | Casio Computer Co., Ltd. | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced |
| US8130317B2 (en) * | 2006-02-14 | 2012-03-06 | Broadcom Corporation | Method and system for performing interleaved to planar transformation operations in a mobile terminal having a video display |
| US7769229B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
| AU2012374649A1 (en) * | 2012-03-27 | 2014-09-11 | Sony Corporation | Image processing device, image-capturing element, image processing method, and program |
| US9911174B2 (en) | 2015-08-26 | 2018-03-06 | Apple Inc. | Multi-rate processing for image data in an image processing pipeline |
| CN105430361B (zh) * | 2015-12-18 | 2018-03-20 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
| CN107360342A (zh) | 2017-06-30 | 2017-11-17 | 维沃移动通信有限公司 | 一种图像数据的处理方法和移动终端 |
| CN114041208A (zh) * | 2019-09-30 | 2022-02-11 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件及移动终端 |
| CN111711755B (zh) * | 2020-06-28 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端和计算机可读存储介质 |
| CN111899178B (zh) * | 2020-08-18 | 2021-04-16 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理系统、电子设备及可读存储介质 |
| CN112702543B (zh) * | 2020-12-28 | 2021-09-17 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理系统、电子设备及可读存储介质 |
-
2020
- 2020-10-26 CN CN202011154432.XA patent/CN112261391B/zh active Active
- 2020-11-19 EP EP20959471.2A patent/EP4228252A4/en active Pending
- 2020-11-19 WO PCT/CN2020/130139 patent/WO2022088311A1/zh unknown
-
2023
- 2023-04-14 US US18/135,063 patent/US12177580B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101233763A (zh) * | 2005-07-28 | 2008-07-30 | 伊斯曼柯达公司 | 处理彩色和全色像素 |
| JP2008078922A (ja) * | 2006-09-20 | 2008-04-03 | Toshiba Corp | 固体撮像装置 |
| US20080218597A1 (en) * | 2007-03-06 | 2008-09-11 | Sony Corporation | Solid-state imaging device and imaging apparatus |
| CN102484721A (zh) * | 2009-05-27 | 2012-05-30 | 美商豪威科技股份有限公司 | 四通道滤色片阵列图案 |
| CN110493583A (zh) * | 2018-08-03 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111246064A (zh) * | 2020-02-19 | 2020-06-05 | Oppo广东移动通信有限公司 | 图像处理方法、摄像头组件及移动终端 |
| CN111294493A (zh) * | 2020-02-25 | 2020-06-16 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件及移动终端 |
| CN111314592A (zh) * | 2020-03-17 | 2020-06-19 | Oppo广东移动通信有限公司 | 图像处理方法、摄像头组件及移动终端 |
| CN111447380A (zh) * | 2020-05-22 | 2020-07-24 | Oppo广东移动通信有限公司 | 控制方法、摄像头组件和移动终端 |
| CN111741221A (zh) * | 2020-07-08 | 2020-10-02 | Oppo广东移动通信有限公司 | 图像获取方法、摄像头组件及移动终端 |
| CN111757006A (zh) * | 2020-07-08 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像获取方法、摄像头组件及移动终端 |
| CN111741277A (zh) * | 2020-07-13 | 2020-10-02 | 深圳市汇顶科技股份有限公司 | 图像处理的方法和图像处理装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111182242A (zh) * | 2019-12-20 | 2020-05-19 | 翱捷智能科技(上海)有限公司 | 一种rgb-ir图像的校正方法和装置 |
| CN112468789A (zh) * | 2021-02-02 | 2021-03-09 | 湖北芯擎科技有限公司 | Raw图像转换电路及raw图像转换方法 |
| WO2022183437A1 (en) * | 2021-03-04 | 2022-09-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating embedded image data, image sensor, electrical device and non-transitory computer readable medium |
| CN113034357B (zh) * | 2021-05-24 | 2021-08-17 | 杭州火烧云科技有限公司 | Raw格式文件转档的方法、系统、电子装置和存储介质 |
| CN113034357A (zh) * | 2021-05-24 | 2021-06-25 | 杭州火烧云科技有限公司 | Raw格式文件转档的方法、系统、电子装置和存储介质 |
| WO2023279270A1 (en) * | 2021-07-07 | 2023-01-12 | Qualcomm Incorporated | Cascade image processing for noise reduction |
| CN113676675A (zh) * | 2021-08-16 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
| CN113676675B (zh) * | 2021-08-16 | 2023-08-15 | Oppo广东移动通信有限公司 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
| CN115767287B (zh) * | 2021-09-03 | 2023-10-27 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN115767287A (zh) * | 2021-09-03 | 2023-03-07 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| WO2023030135A1 (zh) * | 2021-09-03 | 2023-03-09 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN115988311A (zh) * | 2021-10-14 | 2023-04-18 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN117425091B (zh) * | 2022-03-28 | 2024-07-30 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN117425091A (zh) * | 2022-03-28 | 2024-01-19 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| CN114693580A (zh) * | 2022-05-31 | 2022-07-01 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| WO2023231583A1 (zh) * | 2022-05-31 | 2023-12-07 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN114693580B (zh) * | 2022-05-31 | 2022-10-18 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN115442573A (zh) * | 2022-08-23 | 2022-12-06 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置和电子设备 |
| CN115442573B (zh) * | 2022-08-23 | 2024-05-07 | 深圳市汇顶科技股份有限公司 | 图像处理方法、装置和电子设备 |
| CN115696063A (zh) * | 2022-09-13 | 2023-02-03 | 荣耀终端有限公司 | 拍照方法和电子设备 |
| CN115942128A (zh) * | 2022-12-12 | 2023-04-07 | 大连理工大学 | 一种基于异构平台的isp系统设计与实现方法 |
| CN115942128B (zh) * | 2022-12-12 | 2024-04-12 | 大连理工大学 | 一种基于异构平台的isp系统设计与实现方法 |
| CN118102128A (zh) * | 2024-02-04 | 2024-05-28 | 武汉大学 | 一种Bayer传感器的超分辨率成像方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US12177580B2 (en) | 2024-12-24 |
| CN112261391B (zh) | 2022-01-04 |
| US20230269496A1 (en) | 2023-08-24 |
| EP4228252A4 (en) | 2024-03-27 |
| WO2022088311A1 (zh) | 2022-05-05 |
| EP4228252A1 (en) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112261391B (zh) | 图像处理方法、摄像头组件及移动终端 | |
| WO2021208593A1 (zh) | 高动态范围图像处理系统及方法、电子设备和存储介质 | |
| CN111405204B (zh) | 图像获取方法、成像装置、电子设备及可读存储介质 | |
| CN111432099B (zh) | 图像传感器、处理系统及方法、电子设备和存储介质 | |
| CN111757006B (zh) | 图像获取方法、摄像头组件及移动终端 | |
| CN111314592B (zh) | 图像处理方法、摄像头组件及移动终端 | |
| CN111479071B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111491111B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111385543B (zh) | 图像传感器、摄像头组件、移动终端及图像获取方法 | |
| CN111899178B (zh) | 图像处理方法、图像处理系统、电子设备及可读存储介质 | |
| CN112738493B (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
| CN111586375A (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111970460B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| WO2022141743A1 (zh) | 图像处理方法、图像处理系统、电子设备及可读存储介质 | |
| US12309502B2 (en) | Image processing method, camera assembly and mobile terminal | |
| JP2022547221A (ja) | 画像キャプチャ方法、カメラアセンブリ及び移動端末 | |
| CN111970459B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111970461B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN112822475A (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
| CN112738494B (zh) | 图像处理方法、图像处理系统、终端设备及可读存储介质 | |
| CN112235485A (zh) | 图像传感器、图像处理方法、成像装置、终端及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |