[go: up one dir, main page]

CN110365961A - 图像去马赛克装置及方法 - Google Patents

图像去马赛克装置及方法 Download PDF

Info

Publication number
CN110365961A
CN110365961A CN201910227536.XA CN201910227536A CN110365961A CN 110365961 A CN110365961 A CN 110365961A CN 201910227536 A CN201910227536 A CN 201910227536A CN 110365961 A CN110365961 A CN 110365961A
Authority
CN
China
Prior art keywords
pixel value
red
green channel
pixel
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910227536.XA
Other languages
English (en)
Other versions
CN110365961B (zh
Inventor
萨维什·斯瓦米
段宇波
刘成明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN110365961A publication Critical patent/CN110365961A/zh
Application granted granted Critical
Publication of CN110365961B publication Critical patent/CN110365961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

用于将原始图像去马赛克的方法包括：水平内插原始图像的由多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；垂直内插绿色通道以产生包括像素值Igv(x,y)r,b的垂直内插绿色通道；用多个垂直相邻像素值修改每个Igv(x,y)r,b产生精致垂直内插绿色通道；根据精致内插绿色通道及其梯度生成全分辨率绿色通道；从相邻像素值的局部红色均值和全分辨率绿色通道确定红色像素值来生成全分辨率红色通道；从相邻像素值的局部蓝色均值和全分辨率绿色通道确定像素值生成全分辨率蓝色通道；以及组合全分辨率通道以产生去马赛克的原始图像。

Description

图像去马赛克装置及方法
背景技术
许多消费者电子产品包括至少一个相机。这些产品包括平板电脑、移动电话和智能手表。在这些产品中，在数字静物相机自身中，在低光环境中捕获的图像和视频会遭受低信噪比，这限制了图像和视频的质量。高动态范围图像也面对此问题，例如在图像的低亮度区域中。
发明内容
本文公开的实施方式改进了由相对低亮度导致的图像质量问题。在一个方面，公开了一种用于将由图像传感器捕获的原始图像去马赛克的方法。所述图像传感器包括像素阵列和具有分别覆盖所述像素阵列的多个像素子阵列中的对应像素子阵列的多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)。所述像素阵列包括位于多个坐标(x,y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个。所述方法包括下面由1-8表示的步骤：
(1)水平内插所述原始图像的由所述多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；
(2)通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；
(3)垂直内插所述绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；
(4)通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；
(5)根据所述精致水平内插绿色通道、所述精致垂直内插绿色通道、所述水平内插绿色通道的水平梯度和所述垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；
(6)通过从相邻的红色主像素值Br(x,y)r的局部红色均值和所述全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；
(7)通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和所述全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及
(8)组合所述全分辨率红色通道、所述全分辨率绿色通道和所述全分辨率蓝色通道以产生去马赛克的原始图像。
在第二方面，用于对原始图像去马赛克的图像去马赛克装置包括存储器和微处理器。所述原始图像由前述方法所述的图像传感器捕获。所述存储器存储非暂时性计算机可读指令且适于存储所述原始图像。所述微处理器适于执行所述指令以执行前述方法的步骤1-8。
附图说明
图1描绘了由包括包含像素阵列的图像传感器的相机成像的场景。
图2是实施方式中包括图1的像素阵列的图像传感器的一区域和其上的四单元Bayer型滤色器阵列(CFA)的示意性平面图。
图3是与图2中所示的像素阵列的区域对应的原始图像区域的示意性平面图。
图4、图5和图6分别示出了实施方式中从图3的原始图像生成的红色通道、绿色通道和蓝色通道的示意图。
图7是被配置为从图3的原始图像生成去马赛克图像的图像去马赛克装置的示意性功能框图。
图8和图9示出了实施方式中分别由图7的图像去马赛克装置生成的水平内插绿色通道和垂直内插绿色通道。
图10和图11示出了实施方式中分别由7的图像去马赛克装置生成的图8和图9的内插绿色通道的精致版本。
图12至图15用图表示出了实施方式中在计算用于产生图10和图11的精致绿色通道的水平补充和垂直补充时涉及的像素值。
图16和图17分别示出了实施方式中的水平梯度图像和垂直梯度图像，其均为由图7的图像去马赛克装置生成的梯度图像的对应示例。
图18示出了实施方式中全分辨率绿色通道，它是由图16和图17的梯度图像加权的图10和图11的精致内插绿色通道的平均。
图19示出了实施方式中从图3的原始图像生成的分箱原始图像的区域。
图20示出了实施方式中从图18的全分辨率通道生成的分箱绿色通道的区域。
图21是实施方式中的去马赛克图像的区域的示意性图示，其为由图7的图像去马赛克装置生成的去马赛克图像的示例。
图22是示出了实施方式中用于将原始图像去马赛克的方法的流程图。
具体实施方式
图1描绘了对具有高动态亮度范围的场景120成像的相机100。场景120包括窗口122前面的人121，通过窗口122可以看到晴天场景123。相机100包括成像镜头(未示出)、图像传感器130、存储器104和通信耦合至图像传感器130的微处理器102。图像传感器130包括像素阵列132A，像素阵列132A的上面可以有滤色器阵列(CFA)140。像素阵列132A包括多个像素132，为了清楚起见在图1中未示出。CFA 140中的每个滤色器可以与像素阵列132A的对应像素132对齐或与像素阵列132A的对应像素子阵列的中心对齐。像素子阵列例如是一组m×n的像素132，其中m和n是整数，它们中的至少一个大于1。成像镜头将场景120成像到图像传感器130上。图像传感器130还包括电路138，电路138包括至少一个模数转换器。
每个像素132具有与从场景120成像到像素阵列132A的对应光的光强所对应的像素电荷。电路138将每个像素电荷转换为原始图像190的第一多个像素值中的对应像素值，得到的像素值存储在存储器104中。相机100可以包括显示器139，显示器139被配置为显示原始图像190的去马赛克版本作为去马赛克的图像198。
在场景120中，室内照明(未示出)照射面向相机的人121的前面而阳光照射晴天场景123。因而，人121和晴天场景123具有各自不同的亮度。由于直接阳光通常明显亮于室内照明，所以晴天场景123的亮度远远超过人121的亮度从而场景120具有高动态亮度范围。标准数字成像允许使用针对人121或晴天场景123(而非两者)的亮度优化的单个曝光时间来捕获场景120。即使当曝光时间是针对人121的亮度而优化时，曝光时间也可能会太长而不能捕获人121的清晰图像，例如在如果人121正在移动的情况下。
图2是包括像素阵列132A的图像传感器200的区域和其上的四单元Bayer型CFA240(下文称为CFA 240)的示意性平面图。图像传感器200和CFA 240分别是图像传感器130和CFA 140的示例。红色滤色器区域、绿色滤色器区域和蓝色滤色器区域的2×2分组使得图像传感器200的低光响应与具有更大像素的图像传感器的低光响应类似，因而需要较短曝光时间用于使人121充分曝光。然而，这种滤光器阵列的缺点是丢失的图像分辨率。本文所公开的实施方式修复了此丢失的图像分辨率。
图像传感器200和CFA 240关于x-y坐标系209被定位。坐标(x,y)表示每个滤色器和其下方的像素的位置，其中坐标系209的原点(x＝y＝0)可以对应于像素阵列132A内的任意像素。在本文中，所有坐标都被表示成(x,y)坐标，即首先列出x值。而且，在本文中符号α(i,j)指坐标(i,j)处的滤色器，其中α表示滤色器的透射谱，i和j是整数。例如，α是r、g、b、c、m、y和k中的一个，分别表示红色、绿色、蓝色、青色、品红、黄色和透明(全色)滤色器。坐标对的下标指示覆盖该坐标处的像素132的CFA 240的滤色器类型。例如，像素p(x,y)α表示位于坐标(x,y)处的像素132，其被具有由α表示的透射谱的滤色器覆盖。像素p(x,y)α生成主像素值Bα(x,y)。
CFA 240包括按四单元Bayer模式排列的多个红色(R)、绿色(G)和蓝色(B)滤色器。在与像素阵列对齐的传统Bayer模式CFA中，每个滤色器与像素阵列的对应像素对齐。传统Bayer模式可以被看作是“单单元Bayer模式”。在具有四单元Bayer模式的CFA中，像素阵列的四像素子阵列可以位于相同颜色的一个滤色器下方。
在CFA 240中，每个滤色器可以与像素阵列132A中的2×2像素子阵列对齐。例如，像素阵列132A包括由分别位于下文称为坐标C1的四个坐标(5,5)、(6,5)、(5,6)、(6,6)处的四个像素132形成的像素子阵列236。CFA 240包括与构成像素子阵列236的像素132对齐的蓝色滤色器。此蓝色滤色器可以是单个连续光学元件，或者包括多个光学元件例如以2×2阵列排列的四个分开的光学元件。类似地，CFA 240包括分别与像素阵列132A的对应的2×2像素子阵列对齐的红色滤色器和绿色滤色器。
图3是与图2中所示的像素阵列132A的区域对应的原始图像390的区域的示例性平面图。原始图像390是原始图像190的示例，并且包括多个主像素值Br、多个主像素值Bg和多个主像素值Bb。
每个主像素值Br由位于CFA 140的红色滤色器下方的对应像素132生成。每个主像素值Bg由位于CFA 140的绿色滤色器下方的对应像素132生成。每个主像素值Bb由位于CFA140的蓝色滤色器下方的对应像素132生成。例如，位于对应坐标(3,4)、(3,6)和(5,6)处的主像素值Br、Bg和Bb由图像传感器200的位于相同对应坐标(3,4)、(3,6)和(5,6)处的对应像素生成。更简洁地表达和介绍本文中使用的符号约定，主像素值Br(3,4)、Bb(3,6)和Bg(5,6)由图像传感器200的对应像素p(3,4)r、p(3,6)g和p(5,6)b生成。
图4至图6分别示出了从原始图像390生成的红色通道400、绿色通道500和蓝色通道600的示意图。通道400、500和600均相对于x-y坐标系209被显示。红色通道400包括原始图像390的位于与CFA 240的红色滤色器对应的位置处的主像素值Br。绿色通道500包括原始图像390的位于与CFA 240的绿色滤色器对应的位置处的主像素值Bg。蓝色通道600包括原始图像390的位于与CFA 240的蓝色滤色器对应的位置处的主像素值Bb。
图7是被配置为从原始图像790生成去马赛克的图像798的图像去马赛克装置700的示意性功能框图。图像去马赛克装置700可以在相机100内实现。图3的原始图像390是原始图像790的示例。
图像去马赛克装置700包括微处理器702和存储包含计算机可读指令的软件720的存储器704。微处理器702可以是例如图像处理器的数字信号处理器。存储器704可以是暂时和/或非暂时的，并且可以包括易失性存储器(例如，SRAM、DRAM、VRAM或它们的任意组合)和非易失性存储器(例如，FLASH、ROM、磁媒体、光学媒体或它们的任意组合)中的一者或二者。
存储器704和微处理器702可以分别起到图1的相机100的存储器104和微处理器102的作用。微处理器702适于执行指令以执行本文中所描述的图像去马赛克装置700的功能。存储器704可以存储原始图像790、软件720和中间输出740中的至少一个。
原始图像790包括色彩通道791、792和793。色彩通道791、792和793的示例分别是红色通道400、绿色通道500和蓝色通道600。软件720包括在由微处理器702执行时产生对应的数据输出的如下软件模块中的一个或多个：绿色通道内插器722、分辨率恢复器723、梯度滤波器724、组合器727、红色通道内插器728、蓝色通道内插器729和组合器732。
绿色通道内插器722被配置为对色彩通道792进行内插以产生水平内插绿色通道742H和垂直内插绿色通道742V。分辨率恢复器723分别根据水平内插绿色通道742H和垂直内插绿色通道742V产生精致绿色通道743H和精致绿色通道743V。梯度滤波器724分别根据水平内插绿色通道742H和垂直内插绿色通道742V产生梯度图像744H和梯度图像744V。梯度图像744H和744V可以通过将梯度滤波器分别应用于通道743H和743V来获得。替代地，梯度图像744H和744V可以通过将梯度滤波器分别应用于742H和742V来获得。组合器727根据精致绿色通道743H和743V产生全分辨率绿色通道747。红色通道内插器728根据全分辨率绿色通道747和色彩通道791生成全分辨率红色通道。蓝色通道内插器729根据全分辨率通道747和色彩通道793生成全分辨率蓝色通道。组合器732将全分辨率通道747、748和749组合以形成去马赛克的图像798。
亮度内插
图8和图9分别是水平内插绿色通道800和垂直内插绿色通道900的区域的示意性平面图。内插通道800和900分别是内插通道742H和742V的示例。内插通道800包括多个主像素值Bg(x,y)g、多个绿色像素值801(x,y)r和多个绿色像素值803(x,y)b。坐标(x,y)r和(x,y)b分别对应于CFA 240的红色滤色器和蓝色滤色器的位置。绿色像素值801(x,y)r和803(x,y)b是从绿色通道500的水平相邻主像素值Bg(x,y)g内插的。例如，非主像素值803(6,5)b是从至少两个主像素值Bg(6,y≠5)g内插的。绿色像素值801(x,y)r和803(x,y)b均是非主像素值的示例，这是因为它们是内插绿色通道800中处于非绿色滤色器下方的坐标(x,y)处的部分。
内插通道900包括多个主像素值Bg(x,y)g、多个绿色像素值901(x,y)r和多个绿色像素值903(x,y)b。绿色像素值901(x,y)r和903(x,y)b是从垂直相邻主像素值Bg(x,y)g内插的。例如，绿色像素值903(6,5)b是从至少两个主像素值Bg(x≠6,5)g内插的。绿色像素值901(x,y)r和903(x,y)b均是非主像素值的示例，这是因为它们是内插绿色通道900中处于非绿色滤色器下方的坐标(x,y)处的部分。
内插通道800和900可以从绿色通道500以对数方式进行内插。例如，内插像素值801、803、901和903的对数可以是根据绿色通道500的主像素值Bg(x,y)g的对数内插的。对数内插允许精确的内插而不需要与原始图像390相关联的白平衡和亮度有关的信息。相比于内插像素值自身，内插像素值的对数对较小的像素值具有更重的加权，这有助于免受高像素值噪声扰乱的精确梯度检测。
图10和图11分别是精致水平内插绿色通道1000和精致垂直内插绿色通道1100的区域的示意性平面图。精致绿色通道1000和1100分别是精致绿色通道743H和743V的示例。
精致绿色通道1000包括下面的绿色像素值：原始图像390的主像素值Bg(x,y)g、多个绿色像素值1001(x,y)r和多个绿色像素值1003(x,y)b。每个绿色像素值1001(x，y)r可以等于绿色像素值801(x，y)r和红色水平补充Hr(x，y)的和，如等式1所示。每个绿色像素值1003(x，y)b可以等于绿色像素值803(x，y)b和蓝色水平补充Hb(x，y)的和，如等式2所示。
1001(x，y)r＝801(x，y)r+Hr(x，y) (1)
1001(x，y)r＝803(x，y)b+Hb(x，y) (2)
精致绿色通道1100包括下面的绿色像素值：原始图像390的多个主像素值Bg(x，y)g、多个绿色像素值1101(x，y)r和多个绿色像素值1103(x，y)b。每个绿色像素值1101(x，y)r可以等于绿色像素值901(x，y)r和红色垂直补充Vr(x，y)的和，如等式3所示。每个绿色像素值1003(x，y)b可以等于绿色像素值903(x，y)b和蓝色垂直补充Vb(x，y)的和，如等式4所示。
1101(x，y)r＝901(x，y)r+Vr(x，y) (3)
1101(x，y)r＝903(x，y)b+Vb(x，y) (4)
水平补充H(x，y)和垂直补充V(x，y)的坐标(x，y)对应于像素阵列132A的m×n像素子阵列，如上面关于CFA 240的图像传感器200所讨论的。例如，图10和图11包括绿色像素值1001和1101的位于(x，y)＝({7，8}，{7，8})处的由粗框包围的2×2子阵列。图12至图15用图表示出了分别在计算红色水平补充Hr(x，y)、红色垂直补充Vr(x，y)、蓝色水平补充Hb(x，y)和蓝色垂直补充Vb(x，y)时涉及的像素值。
如图12所示，红色水平补充Hr(x，y)是下面各项的线性组合：
(a)Br(x，y)，
(b)目标像素子阵列下方的水平相邻像素p(x，y1)的主像素值Br(，y1)，以及
(c)一对相邻源像素子阵列的红色滤色器下方的水平共线像素p(x，y2)的主像素值Br(x，y2)。
水平坐标y1和y2可以满足|y-y1|＜n和|y-y2|≥n。
水平补充Hr(x，y)的下面示例应用于坐标(x1，y1)r，对应于CFA 240的红色滤色器下方的像素p(x1，y1)r。水平补充Hr(x1，y1)r可以被表示成：
Hr(x1，y1)r＝a0Br(x1，y1)r-a1Br(x1，y1-4)r-a2Br(x1，y1-3)r-a3Br(x1，y1+1)r-
a4Br(x1，y1+4)r-a5Br(x1，y1+5)r
绿色像素值1001(x1，y1)r可以等于绿色像素值801(x1，y1)r和水平补充Hr(x1，y1)r的和。系数α0-5例如为：α0＝4，α1-4＝1，α5＝0。图12用图表示出了水平补充Hr(x1，y1)r的上面表达，其中x1＝8和y1＝7。
如图13所示，红色垂直补充Vr(x，y)是下面各项的线性组合：
(a)Br(x，y)，
(b)目标像素子阵列下方的垂直相邻像素p(x1，y)的主像素值Br(x1，y)，以及
(c)一对相邻源像素子阵列的红色滤色器下方的垂直共线像素p(x2，y)的主像素值Br(x2，y)。
垂直坐标x1和x2可以满足|x-x1|＜m和|x-x2|≥m。
垂直补充Vr(x，y)的下面示例应用于坐标(x1，y1)r。垂直补充Vr(x1，y1)r可以被表示成：
Vr(x1，y1)r＝c0Br(x1，y1)r-c1Br(x1-5，y1)r-c2Br(x1-4，y1)r-c3Br(x1-1，y1)r-c4Br(x1+3，y1)r-c5Br(x1+4，y1)r
绿色像素值1101(x1，y1)r可以等于绿色像素值901(x1，y1)r和垂直补充Vr(x1，y1)r的和。系数c0-5例如为：c0＝4，c1＝0，c2-5＝1。图13用图表示出了垂直补充Vr(x1，y1)r的上面表达，其中，和图12一样，x1＝8和y1＝7。
在不偏离本公开范围的前提下，补充Hr(x，y)和Hr(x，y)可以包括像素值Br(x，y)r的比上面指示的那些更远离坐标(x1，y1)的非零项。
如图14所示，蓝色水平补充Hb(x，y)是下面各项的线性组合：
(a)Bb(x，y)，
(b)目标像素子阵列下方的水平相邻像素p(x，y1)的主像素值Bb(x，y1)，以及
(c)水平共线像素p(x，y2)的主像素值Bb(x，y2)。
水平坐标y1和y2可以满足|y-y1|＜n和|y-y2|≥n。
水平补充Hb(x，y)的下面示例应用于坐标(x2，y2)b，对应于CFA 240的蓝色滤色器下方的像素p(x2，y2)b。水平补充Hb(x2，y2)b可以被表示成：
Hb(x2，y2)b＝a0Bb(x2，y2)b-a1Bb(x2，y2-5)b-a2Bb(x2，y2-4)b-a3Bb(x2，y2-1)b-a4Bb(x2，y2+3)b-a5Bb(x2，y2+4)b
绿色像素值1001(x2，y2)b可以等于绿色像素值803(x2，y2)b和水平补充Hb(x2，y2)b的和。系数α0-5例如为：α0＝4，α1-4＝1，α5＝0。图14用图表示出了水平补充Hb(x2，y2)b的上面表达，其中x2＝9和y2＝6。
如图15所示，蓝色垂直补充Vb(x，y)是下面各项的线性组合：
(a)Bb(x，y)，
(b)目标像素子阵列下方的垂直相邻像素p(x1，y)的主像素值Bb(x1，y)，以及
(c)一对相邻源像素子阵列的蓝色滤色器下方的垂直共线像素p(x2，y)的主像素值Bb(x2，y)。
垂直坐标x1和x2可以满足|x-x1|＜m和|x-x2|≥m。
垂直补充Vb(x，y)的下面示例应用于坐标(x2，y2)b。垂直补充Vb(x2，y2)b可以被表示成：
Vb(x2，y2)b＝c0Bb(x2，y2)b-c1Bb(x2-5，y2)b-c2Bb(x2-4，y2)b-c3Bb(x2+1，y2)b-
c4Bb(x2+3，y2)b-c5Bb(x2+4，y2)b.
绿色像素值1101(x2，y2)b可以等于绿色像素值901(x2，y2)b和垂直补充Vb(x2，y2)b的和。系数c0-5例如为：c0＝4，c1＝0，c2-5＝1。图15用图表示出了垂直补充Vb(x2，y2)b的上面表达，其中，和图14一样，x2＝9和y2＝6。
图16和图17示出了对应的梯度图像1600和1700，分别是水平梯度图像744H和垂直梯度图像744V的对应示例。水平梯度图像1600是精致水平内插绿色通道1000与原始图像390之间的差。垂直梯度图像1700是精致垂直内插绿色通道1100与原始图像390之间的差。由此，CFA 240的绿色滤色器下方的梯度图像1600和1700的值等于0，因为两个通道1000和1100都包括这些位置处的主像素值Bg。色彩梯度和亮度梯度中的至少一个可以被应用于梯度图像1600和1700。
梯度图像1600和1700可以例如经由卷积滤波器在一组像素上被空间平均，使得其分辨率小于通道1000、1100和原始图像390的分辨率。例如，梯度图像1600和1700可以在加权的或未加权的qx×qy内核上求平均，其中qx和qy均超过m和n，其中m×n是图像传感器200中的相同滤色器下方的像素子阵列的大小。例如，图16示出了qx＝qy＝5的内核1610，内核1610以(x，y)＝(4，4)为中心。坐标(x，y)处的平均水平梯度可以用等式5表达。
1600(x，y)＝|<1001-Br>L+<Bg-Br>G|+|<1003-Bb>L+<Bg-Bb>G| (5)
其中右手侧的每项都在坐标(x，y)处被评估，<·>L和<·>G分别表示例如内核1610的内核内的局部平均和整个原始图像390上的全局平均。等式1和等式2是像素值1001和1003的示例表达。类似地，坐标(x，y)处的梯度图像1700的平均垂直梯度可以用等式(6)表达。
1700(x，y)＝|<1101-Br>L+<Bg-Br>G|+|<1103-Bb>L+<Bg-Bb>G| (6)
在等式(6)中，右手侧的每项在坐标(x，y)处被评估。等式3和等式4是像素值1101和1103的示例表达。
梯度滤波器724还可以抑制梯度图像744H和744V中的噪声。例如，梯度滤波器可以减小梯度图像1600和1700在区别小于预定阈值的坐标(x，y)处的像素值。这种小的区别表示噪声，因而不会对精确的梯度值产生影响。
图18示出了全分辨率绿色通道1800，其为全分辨率绿色通道747的示例。在像素坐标(x，y)r，b处，即在与非绿色滤色器下方的像素对应的坐标处，全分辨率绿色通道1800可以是分别由梯度图像1700和1600加权且由梯度图像1600和1700的和归一化的精致内插绿色通道1000和1100的平均。等式7和等式8分别总体地表达这种关系和被应用于通道1000、1100以及梯度图像1600和1700的这种关系。在等式7中，和表示分别表示梯度图像744H和744V。在等式8中，像素值1802(x，y)表示全分辨率绿色通道1800在坐标(x，y)处的像素值。
在与CFA 240的绿色滤色器对应的像素坐标(x，y)g处，全分辨率绿色通道1800的像素值等于主像素值Bg。例如，在坐标(x，y)＝(4，2)处，像素值1802(4，2)＝Bg(4，2)。
色度内插
图19示出了从原始图像390生成的分箱(binned)原始图像1900的区域。图20示出了从全分辨率绿色通道1800生成的分箱绿色通道2000的区域。将原始图像390和全分辨率绿色通道1800分箱允许色度内插过程具有减少的色彩混叠和增加的速度。
分箱的原始图像1900包括多个分箱后的像素值：分箱的红色像素值1901、分箱的绿色像素值1902和分箱的蓝色像素值1903。每个分箱的像素值可以是像素阵列132A的像素子阵列下方的原始图像390的像素值的平均。例如，分箱的红色像素值1901(1)是坐标(3,3)、(3,4)、(4,3)和(4,4)处的红色主像素值Br的平均；分箱的绿色像素值1902(1)是坐标(3,5)、(3,6)、(4,5)和(4,6)处的绿色主像素值Bg的平均；以及分箱的蓝色像素值1903(1)是坐标(5,5)、(5,6)、(6,5)和(6,6)处的蓝色主像素值Bb的平均。
分箱的绿色通道2000包括由像素阵列132A的分别位于CFA 240的红色滤色器、绿色滤色器和蓝色滤色器下方的像素子阵列生成的多个分箱的绿色像素值2001、2202和2003。每个分箱的像素值2001-2003可以是像素阵列132A的像素子阵列下方的全分辨率绿色通道1800的像素值的平均。例如，分箱的像素值2001(1)是像素值1802(3,3)、1802(4,4)和主像素值Bg(3,4)、Bg(4,3)的平均；分箱的绿色像素值2002(1)是绿色主像素值Bg(3,5)、Bg(3,6)和像素值1802(4,5)、1802(4,6)的平均；以及分箱的蓝色像素值2003(1)是坐标像素值1802(5,5)、1802(5,6)处的蓝色主像素值Bb和主像素值Bg(6,5)、Bg(6,6)的平均。
图21是去马赛克的图像2100的区域的示意性图示，它示出了与像素阵列132A的每个像素132的位置对应的一个主像素值Bα和两个非主像素值Vα。每个坐标(x,y)处的填充图案指示与坐标处的像素132对齐的CFA 240的滤色器类型：垂直线表示红色、对角线表示绿色以及水平线表示蓝色。去马赛克的图像2100是由图7的图像去马赛克装置700产生的去马赛克的图像798的示例。
下面的示例示出了红色滤色器下方的坐标处的蓝色像素值和蓝色滤色器下方的坐标处的红色像素值的计算。红色滤色器位于(x,y)＝(7,7)处；蓝色滤色器位于(x,y)＝(5,5)处。这些坐标处的像素值被图21中的虚线框包围，下面计算的虚线框中的像素值以粗字体给出。下面的等式指分箱的原始图像1900和分箱的绿色通道2000的像素值，它们的位置由图21中的实线框指示。
在像素坐标(x，y)＝(5，5)处，去马赛克图像2100包括红色像素值Ir(5，5)、绿色像素值Ig(5，5)和蓝色主像素值Bb(5，5)。绿色像素值Ig(5，5)等于图18的全分辨率绿色通道1800的像素值1802(5，5)。
红色像素值Ir(5，5)可以通过色度内插等式(21r-1)至(21r-8)计算得到。按照等式(21r-1)，Ravg是分箱的原始图像1900的分箱的红色像素值1901(1-4)的平均。按照等式(21r-2)，Gavg是分箱的绿色通道2000的与CFA 240的绿色滤色器下方的像素132对应的分箱的像素值2001(1-4)的平均。按照等式(21r-3)，RGavg是Ravg和Gavg的加数乘法的平均。按照等式(21r-4)，GGavg是Gavg和Gavg的加数乘法的平均。等式(21r-5)至(21r-7)得到基于Ravg和Gavg之间的协方差和方差的权值。
Ravg＝1/4(1901(1)+1901(2)+1901(3)+1901(4)) (21r-1)
Gavg＝1/4(2001(1)+2001(2)+2001(3)+2001(4)) (21r-2)
GGavg＝1/4(2001(1)2+2001(2)2+2001(3)2+2001(4)2) (21r-4)
协方差＝RGavg-RavgGavg (21r-5)
权值＝协方差/方差 (21r-7)
Ir(5，5)＝(Ig(5，5)-Gavg)·权值+Ravg (21r-8)
红色通道内插器728可以生成用于去马赛克的图像2100的所有坐标(x，y)α≠r的红色像素值Ir(x，y)，其中红色像素值Ir(x，y)包括全分辨率红色通道748的示例。
在像素坐标(x，y)＝(7，7)处，去马赛克的图像2100包括原始图像390的红色主像素值Br(7，7)、绿色像素值Ig(7，7)和蓝色像素值Ib(7，7)。绿色像素值Ig(7，7)等于图18的全分辨率绿色通道1800的像素值1802(7，7)。
蓝色像素值Ib(7，7)可以通过色度内插等式(21b-1)至(21b-8)计算得到，例如由图像去马赛克装置700的蓝色通道内插器729计算得到。按照等式(21b-1)，Bavg是分箱的原始图像1900的分箱的蓝色像素值1903(1-4)的平均。按照等式(21b-2)，Gavg是分箱的蓝色通道2000的与CFA 240的绿色滤色器下方的像素132对应的分箱的像素值2003(1-4)的平均。按照等式(21b-3)，BGavg是Bavg和Gavg的加数乘法的平均。按照等式(21b-4)，GGavg是Gavg和Gavg的加数乘法的平均。等式(21b-5)至(21b-7)得到基于Bavg和Gavg之间的协方差和方差的权值。
Bavg＝1/4(1903(1)+1903(2)+1903(3)+1903(4)) (21b-1)
Gavg＝1/4(2003(1)+2003(2)+2003(3)+2003(4)) (21b-2)
GGavg＝1/4(2003(1)2+2003(2)2+2003(3)2+2003(4)2) (21b-4)
协方差＝BGavg-BavgGavg (21b-5)
权值＝协方差/方差 (21b-7)
Ib(7，7)＝(Ig(7，7)-Gavg)·权值+Bavg (21b-8)
蓝色通道内插器729可以生成用于去马赛克的图像2100的所有坐标(x，y)α≠b的蓝色像素值Ib(x，y)，其中蓝色像素值Ib(x，y)包括全分辨率蓝色通道749的示例。
在实施方式中，等式(21r-8)和(21b-8)的权值至少部分通过将引导滤波器应用于全分辨率绿色通道1800和原始图像390和/或从其得到的图像来确定。引导滤波器例如可以被应用于原始图像390的全分辨率绿色通道1800、红色通道400和蓝色通道600，从而根据通道1800、400和600之间的相关性得到权值。使用引导滤波器减少了可能在色度内插期间出现的色彩混叠。引导滤波器例如是K.He、J.Sun和X.Tang在IEEE Transactions on PatternAnalysis and Machine Intelligence第35卷第6期第1397-1409页的“引导图像滤波(Guided Image Filtering)”中描述的引导滤波器。
图22是示出了将图像传感器捕获的原始图像去马赛克的方法2200的流程图，其中图像传感器包括像素阵列和Bayer模式CFA，Bayer模式CFA具有分别覆盖像素阵列的多个m×n像素子阵列中的对应像素子阵列的多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb。像素阵列包括位于多个坐标(x，y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α。每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个。方法2200可以由处理原始图像390的图像去马赛克装置700实现，例如由执行软件的计算机可读指令的微处理器702实现。方法2200包括步骤2210H、2210V、2220H、2220V、2230、2240R、2240B和2250中的至少一个。
步骤2210H包括水平内插原始图像的由多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道。在步骤2210H的示例中，绿色通道内插器722内插绿色通道500以产生水平内插绿色通道800。例如，绿色通道内插器722可以内插绿色通道500的对数以产生通道800的对数，还对其应用反对数函数以产生水平内插绿色通道800。
步骤2210V包括垂直内插原始图像的由多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道。在步骤2210V的示例中，绿色通道内插器722内插绿色通道500以产生垂直内插绿色通道900。例如，绿色通道内插器722可以内插绿色通道500的对数以产生通道900的对数，还对其应用反对数函数以产生垂直内插绿色通道900。
步骤2220H包括通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来恢复水平内插绿色通道的分辨率，以产生精致水平内插绿色通道。在步骤2220H的示例中，分辨率恢复器723根据水平内插绿色通道800生成精致水平内插绿色通道1000。
步骤2220V包括通过用多个垂直相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来恢复垂直内插绿色通道的分辨率，以产生精致垂直内插绿色通道。在步骤2220V的示例中，分辨率恢复器723根据垂直内插绿色通道900生成精致垂直内插绿色通道1100。
步骤2230包括根据水平内插绿色通道、垂直内插绿色通道、水平内插绿色通道的水平梯度和垂直内插绿色通道的垂直梯度生成全分辨率绿色通道。在步骤2230的示例中，组合器727根据精致水平内插绿色通道1000和精致垂直内插绿色通道1100生成全分辨率绿色通道1800。
步骤2240R包括通过根据相邻红色主像素值Br(x,y)r的局部红色均值和全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b来生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标。在步骤2240H的示例中，红色通道内插器728例如通过执行等式(21r-1)至(21r-8)中的一个或多个生成去马赛克的图像2100的红色像素值Ir(x,y)。如之前所陈述的，全分辨率红色通道748的示例包括红色像素值Ir(x,y)。
步骤2240B包括通过根据相邻蓝色主像素值Bb(x,y)b的局部蓝色均值和全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r来生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标。在步骤2240B的示例中，蓝色通道内插器729例如通过执行等式(21b-1)至(21b-8)中的一个或多个生成去马赛克的图像2100的蓝色像素值Ib(x,y)。如之前所陈述的，全分辨率蓝色通道749的示例包括蓝色像素值Ib(x,y)。
步骤2250包括组合全分辨率红色通道、全分辨率绿色通道和全分辨率蓝色通道以产生去马赛克的原始图像。在步骤2250的示例中，组合器732组合全分辨率红色通道748、全分辨率绿色通道1800和全分辨率蓝色通道749以产生去马赛克的图像2100。
特征的组合
上面描述的特征以及下面宣称的特征可以以各种方式组合而不会偏离本公开范围。下面的示例说明了一些可能的非限制的组合：
(A1)表示将由图像传感器捕获的原始图像去马赛克的方法。图像传感器包括像素阵列和具有分别覆盖像素阵列的多个像素子阵列中的对应像素子阵列的多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)。像素阵列包括位于多个坐标(x,y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个。方法(A1)包括下面由1-8表示的步骤：
(1)水平内插原始图像的由多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；
(2)通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；
(3)垂直内插绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；
(4)通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；
(5)根据精致水平内插绿色通道、精致垂直内插绿色通道、水平内插绿色通道的水平梯度和垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；
(6)通过从相邻的红色主像素值Br(x,y)r的局部红色均值和全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b来生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；
(7)通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r来生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及
(8)组合全分辨率红色通道、全分辨率绿色通道和全分辨率蓝色通道以产生去马赛克的原始图像。
(A2)在由(A1)表示的任意方法中，水平内插绿色通道和垂直内插绿色通道都可以包括对主像素值Bg(x,y)g的对数进行线性内插。
(A3)在由(A1)和(A2)之一表示的任意方法中，多个像素子阵列中的每个具有维度m×n，修改每个非主像素值Igh(x,y)r,b的步骤可以包括对于多个像素子阵列中的位于一对水平相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对水平相邻源像素子阵列均位于CFA的对应红色滤色器下方且与目标像素子阵列水平共线：将红色水平补充Hr(x,y)确定为Br(x,y)r、目标像素子阵列下方的水平相邻像素p(x,y1)的主像素值Br(x,y1)r、以及一对水平相邻源像素子阵列的红色滤色器下方的水平共线像素p(x,y2)的主像素值Br(x,y2)r的线性组合，其中|y-y1|<n和|y-y2|≥n。
(A4)在由(A1)至(A3)之一表示的任意方法中，多个像素子阵列中的每个具有维度m×n，修改每个非主像素值Igv(x,y)r,b的步骤可以包括对于多个像素子阵列中的位于一对垂直相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对垂直相邻源像素子阵列均位于CFA的对应红色滤色器下方且与目标像素子阵列垂直共线：将红色垂直补充Vr(x,y)确定为Br(x,y)r、目标像素子阵列下方的垂直相邻像素p(x1,y)的主像素值Br(x1,y)r、以及一对垂直相邻源像素子阵列的红色滤色器下方的垂直共线像素p(x2,y)的主像素值Br(x2,y)r的线性组合，其中|x-x1|<m和|x-x2|≥m。
(A5)由(A1)至(A4)之一表示的任意方法还可以包括通过下面步骤确定水平梯度和垂直梯度：(a)从精致水平内插绿色通道减去原始图像；(b)从精致垂直内插绿色通道减去原始图像。
(A6)在由(A1)至(A5)之一表示的任意方法中，(i)生成全分辨率红色通道和(ii)生成全分辨率蓝色通道中的至少一个可以包括将全分辨率绿色通道分箱和将原始图像分箱。
(A7)在由(A6)表示的任意方法中，(i)生成全分辨率红色通道和(ii)生成全分辨率蓝色通道中的至少一个可以包括：计算分箱的全分辨率绿色通道的方差以及(a)分箱的全分辨率绿色通道和(b)分箱的原始图像的方差。
(A8)在由(A6)和(A7)之一表示的任意方法中：(a)将全分辨率绿色通道分箱可以产生包括多个分箱的绿色像素值的分箱的绿色通道；以及(b)将原始图像分箱产生分箱的原始图像，分箱的原始图像包括基于多个主像素值Br的多个分箱的红色像素值和基于多个主像素值Bb的多个分箱的蓝色像素值，局部红色均值是分箱的红色像素值的平均，局部蓝色均值是分箱的蓝色像素值的平均。
(A9)在由(A8)表示的任意方法中，多个非主红色像素值Ir(xt,yt)g,b中的每个的量值可以响应于分箱的红色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大；多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值可以响应于分箱的蓝色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大。
(A10)在由(A8)和(A9)之一表示的任意方法中，多个非主红色像素值Ir(xt,yt)g,中b的每个的量值可以响应于分箱的绿色像素值的平均的方差的增大而减小；以及多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值可以响应于分箱的绿色像素值的平均的方差的增大而减小。
用于将原始图像去马赛克的图像去马赛克装置(B1)包括存储器和微处理器。原始图像由前述方法的图像传感器捕获。存储器存储非暂时性计算机可读指令并适于存储原始图像。微处理器适于执行指令以执行(A1)至(A10)表示的方法中的任一个。
可以在不偏离本公开范围的前提下改变上面的图像去马赛克装置和去马赛克方法。因而应该注意到，上面描述中包含和附图中显示的主题应该被解释为说明含义而非限制含义。下面的权利要求旨在覆盖本文中描述的所有上位和下位特征，以及现有图像去马赛克装置和去马赛克方法的范围的所有阐述可在语言上被认为落入其间。

Claims (20)

1.一种用于将由图像传感器捕获的原始图像去马赛克的方法，所述图像传感器包括像素阵列和具有多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)，所述多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb分别覆盖所述像素阵列的多个像素子阵列中的对应像素子阵列，所述像素阵列包括位于多个坐标(x，y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个，所述方法包括：
水平内插所述原始图像的由所述多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；
通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；
垂直内插所述绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；
通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；
根据所述精致水平内插绿色通道、所述精致垂直内插绿色通道、所述水平内插绿色通道的水平梯度和所述垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；
通过从相邻的红色主像素值Br(x,y)r的局部红色均值和所述全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b来生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；
通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和所述全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r来生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及
组合所述全分辨率红色通道、所述全分辨率绿色通道和所述全分辨率蓝色通道以产生去马赛克的原始图像。
2.如权利要求1所述的方法，其中水平内插所述绿色通道和垂直内插所述绿色通道均包括对主像素值Bg(x,y)g的对数进行线性内插。
3.如权利要求1所述的方法，其中所述多个像素子阵列中的每个具有维度m×n，修改每个非主像素值Igh(xt,yt)r,b的步骤包括：
对于所述多个像素子阵列中的位于一对水平相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对水平相邻源像素子阵列均位于所述CFA的对应红色滤色器下方且与所述目标像素子阵列水平共线，
将红色水平补充Hr(x,y)确定为Br(x,y)r、所述目标像素子阵列下方的水平相邻像素p(x,y1)的主像素值Br(x,y1)r、以及所述一对水平相邻源像素子阵列的红色滤色器下方的水平共线像素p(x,y2)的主像素值Br(x,y2)r的线性组合，其中|y-y1|<n和|y-y2|≥n。
4.如权利要求1所述的方法，其中所述多个像素子阵列中的每个具有维度m×n，修改每个非主像素值Igv(x,y)r,b的步骤包括：
对于所述多个像素子阵列中的位于一对垂直相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对垂直相邻源像素子阵列均位于所述CFA的对应红色滤色器下方且与所述目标像素子阵列垂直共线，
将红色垂直补充Vr(x,y)确定为Br(x,y)r、所述目标像素子阵列下方的垂直相邻像素p(x1,y)的主像素值Br(x1,y)r、以所述及一对垂直相邻源像素子阵列的红色滤色器下方的垂直共线像素p(x2,y)的主像素值Br(x2,y)r的线性组合，其中|x-x1|<m和|x-x2|≥m。
5.如权利要求1所述的方法，进一步包括通过下面的步骤确定所述水平梯度和所述垂直梯度：
从所述精致水平内插绿色通道减去所述原始图像；以及
从所述精致垂直内插绿色通道减去所述原始图像。
6.如权利要求1所述的方法，其中(i)生成所述全分辨率红色通道和(ii)生成所述全分辨率蓝色通道中的至少一个包括：
将所述全分辨率绿色通道分箱；以及
将所述原始图像分箱。
7.如权利要求6所述的方法，其中(i)生成所述全分辨率红色通道和(ii)生成所述全分辨率蓝色通道中的至少一个包括：
计算分箱的全分辨率绿色通道的方差以及(a)分箱的全分辨率绿色通道和(b)分箱的原始图像的协方差。
8.如权利要求6所述的方法，其中
将所述全分辨率绿色通道分箱产生分箱的绿色通道，所述分箱的绿色通道包括多个分箱的绿色像素值；
将所述原始图像分箱产生分箱的原始图像，所述分箱的原始图像包括基于多个主像素值Br的多个分箱的红色像素值和基于多个主像素值Bb的多个分箱的蓝色像素值，所述局部红色均值是分箱的红色像素值的平均，所述局部蓝色均值是分箱的蓝色像素值的平均。
9.如权利要求8所述的方法，其中
所述多个非主红色像素值Ir(xt,yt)g,b中的每个的量值响应于分箱的红色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大；以及
所述多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值响应于分箱的蓝色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大。
10.如权利要求8所述的方法，其中
所述多个非主红色像素值Ir(xt,yt)g,b中的每个的量值响应于分箱的绿色像素值的平均的方差的增大而减小；以及
所述多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值响应于分箱的绿色像素值的平均的方差的增大而减小。
11.一种用于对由图像传感器捕获的原始图像去马赛克的图像去马赛克装置，所述图像传感器包括像素阵列和具有多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb的Bayer模式滤色器阵列(CFA)，所述多个红色滤色器CFr、绿色滤色器CFg和蓝色滤色器CFb分别覆盖所述像素阵列中的多个m×n像素子阵列中的对应像素子阵列，所述像素阵列包括位于多个坐标(x，y)α中的对应坐标处且位于滤色器CFα下方的多个像素p(x,y)α，每个像素p(x,y)α生成多个主像素值Bα(x,y)α中的对应主像素值，其中α是r、g和b中的一个，所述图像去马赛克装置包括：
存储器，存储非暂时性计算机可读指令且适于存储所述原始图像；
微处理器，适于执行所述指令以：
水平内插所述原始图像的由所述多个主像素值Bα(x,y)α中的主像素值Bg(x,y)g形成的绿色通道，以产生包括主像素值Bg(x,y)g和非主像素值Igh(x,y)r,b的水平内插绿色通道；
通过用多个水平相邻的非主像素值Igh(x,y)r,b修改每个非主像素值Igh(x,y)r,b来产生精致水平内插绿色通道；
垂直内插所述绿色通道以产生包括主像素值Bg(x,y)g和非主像素值Igv(x,y)r,b的垂直内插绿色通道；
通过用多个垂直相邻的非主像素值Igv(x,y)r,b修改每个非主像素值Igv(x,y)r,b来产生精致垂直内插绿色通道；
根据所述精致水平内插绿色通道、所述精致垂直内插绿色通道、所述水平内插绿色通道的水平梯度和所述垂直内插绿色通道的垂直梯度生成全分辨率绿色通道；
通过从相邻的红色主像素值Br(x,y)r的局部红色均值和所述全分辨率绿色通道确定多个非主红色像素值Ir(xt,yt)g,b来生成全分辨率红色通道，其中每个非主红色像素值Ir(xt,yt)g,b对应于多个坐标(xt,yt)g,b中的对应坐标；
通过从相邻的蓝色主像素值Bb(x,y)b的局部蓝色均值和所述全分辨率绿色通道确定多个非主蓝色像素值Ib(xt,yt)g,r生成全分辨率蓝色通道，其中每个非主蓝色像素值Ib(xt,yt)g,r对应于多个坐标(xt,yt)g,r中的对应坐标；以及
组合所述全分辨率红色通道、所述全分辨率绿色通道和所述全分辨率蓝色通道以产生去马赛克的原始图像。
12.如权利要求11所述的图像去马赛克装置，其中所述微处理器进一步适于执行所述指令以当水平内插所述绿色通道和垂直内插所述绿色通道时对主像素值Bg(x,y)g的对数进行线性内插。
13.如权利要求11所述的图像去马赛克装置，其中所述多个像素子阵列中的每个具有维度m×n，当恢复所述水平内插绿色通道的分辨率时且对于所述多个像素子阵列中的位于一对水平相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对水平相邻源像素子阵列均位于所述CFA的对应红色滤色器下方且与所述目标像素子阵列水平共线，所述微处理器进一步适于执行所述指令以
将红色水平补充Hr(x,y)确定为Br(x,y)r、所述目标像素子阵列下方的水平相邻像素p(x,y1)的主像素值Br(x,y1)r、以及所述一对水平相邻源像素子阵列的红色滤色器下方的水平共线像素p(x,y2)的主像素值Br(x,y2)r的线性组合，其中|y-y1|<n和|y-y2|≥n。
14.如权利要求11所述的图像去马赛克装置，其中所述多个像素子阵列中的每个具有维度m×n，当恢复所述垂直内插绿色通道的分辨率时且对于所述多个像素子阵列的位于一对垂直相邻源像素子阵列之间的目标像素子阵列的红色滤色器下方的每个像素p(x,y)，其中所述一对垂直相邻源像素子阵列均位于所述CFA的对应红色滤色器下方且与所述目标像素子阵列垂直共线，所述微处理器进一步适于执行所述指令以
将红色垂直补充Vr(x,y)确定为Br(x,y)r、所述目标像素子阵列下方的垂直相邻像素p(x1,y)的主像素值Br(x1,y)r、以所述及一对垂直相邻源像素子阵列的红色滤色器下方的垂直共线像素p(x2,y)的主像素值Br(x2,y)r的线性组合，其中|x-x1|<m和|x-x2|≥m。
15.如权利要求11所述的图像去马赛克装置，其中所述微处理器进一步适于执行所述指令以通过下面的步骤确定所述水平梯度和所述垂直梯度：
从所述精致水平内插绿色通道减去所述原始图像；以及
从所述精致垂直内插绿色通道减去所述原始图像。
16.如权利要求11所述的图像去马赛克装置，其中所述微处理器进一步适于执行所述指令以当(i)生成所述全分辨率红色通道和(ii)生成所述全分辨率蓝色通道中的至少一个时：
将所述全分辨率绿色通道分箱；以及
将所述原始图像分箱。
17.如权利要求16所述的图像去马赛克装置，其中所述微处理器进一步适于执行所述指令以当生成所述全分辨率红色通道时计算分箱的全分辨率绿色通道的方差以及(a)分箱的全分辨率绿色通道和(b)分箱的原始图像的协方差。
18.如权利要求16所述的图像去马赛克装置，其中
将所述全分辨率绿色通道分箱产生分箱的绿色通道，所述分箱的绿色通道包括多个分箱的绿色像素值；
将所述原始图像分箱以产生分箱的原始图像，所述分箱的原始图像包括基于多个主像素值Br的多个分箱的红色像素值和基于多个主像素值Bb的多个分箱的蓝色像素值，所述局部红色均值是分箱的红色像素值的平均，所述局部蓝色均值是分箱的蓝色像素值的平均。
19.如权利要求18所述的图像去马赛克装置，其中
所述多个非主红色像素值Ir(xt,yt)g,b中的每个的量值响应于分箱的红色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大；以及
所述多个非主蓝色像素值Ib(xt,yt)g,中r的每个的量值响应于分箱的蓝色像素值的平均和分箱的绿色像素值的平均的协方差的增大而增大。
20.如权利要求18所述的图像去马赛克装置，其中
所述多个非主红色像素值Ir(xt,yt)g,b中的每个的量值响应于分箱的绿色像素值的平均的方差的增大而减小；以及
所述多个非主蓝色像素值Ib(xt,yt)g,r中的每个的量值响应于分箱的绿色像素值的平均的方差的增大而减小。
CN201910227536.XA 2018-04-11 2019-03-25 图像去马赛克装置及方法 Active CN110365961B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/950,845 US10572974B2 (en) 2018-04-11 2018-04-11 Image demosaicer and method
US15/950,845 2018-04-11

Publications (2)

Publication Number Publication Date
CN110365961A true CN110365961A (zh) 2019-10-22
CN110365961B CN110365961B (zh) 2021-09-21

Family

ID=68162011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910227536.XA Active CN110365961B (zh) 2018-04-11 2019-03-25 图像去马赛克装置及方法

Country Status (3)

Country Link
US (1) US10572974B2 (zh)
CN (1) CN110365961B (zh)
TW (1) TWI737979B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116896688A (zh) * 2023-09-11 2023-10-17 归芯科技(深圳)有限公司 Bayer图像的处理方法、装置、芯片及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120534B2 (en) * 2018-09-04 2021-09-14 Richard H. Vollmerhausen Color night vision goggle
RU2712436C1 (ru) * 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
KR102610671B1 (ko) * 2019-10-02 2023-12-06 한화비전 주식회사 색 보간 장치 및 그 방법
CN114902276A (zh) * 2019-10-30 2022-08-12 英托皮克斯公司 图像处理器
CN110852953B (zh) * 2019-11-15 2022-09-02 展讯通信（上海）有限公司 图像插值方法及装置、存储介质、图像信号处理器、终端
TWI743628B (zh) * 2019-12-18 2021-10-21 瑞昱半導體股份有限公司 影像過曝修正方法與電路系統
CN113744138B (zh) * 2020-05-29 2025-03-07 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
CN113781349A (zh) * 2021-09-16 2021-12-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
US12260511B2 (en) * 2022-01-18 2025-03-25 Apple Inc. Front-end scaler circuit for processing demosaiced image data
US11972538B2 (en) * 2022-01-18 2024-04-30 Apple Inc. Demosaicing circuit for demosaicing Quad Bayer raw image data

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1111904A2 (en) * 1999-12-20 2001-06-27 Texas Instruments Incorporated Digital camera system and method
US20050200733A1 (en) * 2004-03-15 2005-09-15 Microsoft Corporation System and method for adaptive interpolation of images from patterned sensors
US20080240559A1 (en) * 2004-03-15 2008-10-02 Microsoft Corporation Adaptive interpolation with artifact reduction of images
CN101355709A (zh) * 2007-07-23 2009-01-28 辉达公司 用于减少数字图像中的色彩伪像的技术
CN101411205A (zh) * 2006-03-27 2009-04-15 Nxp股份有限公司 用于产生彩色视频信号的方法和装置
CN101494795A (zh) * 2007-10-05 2009-07-29 三星电子株式会社 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
CN102938843A (zh) * 2012-11-22 2013-02-20 华为技术有限公司 图像处理方法、装置以及成像设备
CN103595981A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于非局部低秩的色彩滤波阵列图像去马赛克方法
CN103595980A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
CN104159091A (zh) * 2014-07-30 2014-11-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于边缘检测的颜色插值方法
CN105828693A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6836289B2 (en) * 1999-12-20 2004-12-28 Texas Instruments Incorporated Digital still camera architecture with red and blue interpolation using green as weighting factors
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US8170331B2 (en) * 2008-04-02 2012-05-01 Himax Imaging, Inc. Apparatus and method for pattern interpolation
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US9077943B2 (en) * 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9654711B2 (en) 2015-09-17 2017-05-16 Sony Semiconductor Solutions Corporation Power reduction for image sensor with raw image scaler

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1111904A2 (en) * 1999-12-20 2001-06-27 Texas Instruments Incorporated Digital camera system and method
US20050200733A1 (en) * 2004-03-15 2005-09-15 Microsoft Corporation System and method for adaptive interpolation of images from patterned sensors
US20080240559A1 (en) * 2004-03-15 2008-10-02 Microsoft Corporation Adaptive interpolation with artifact reduction of images
CN101411205A (zh) * 2006-03-27 2009-04-15 Nxp股份有限公司 用于产生彩色视频信号的方法和装置
CN101355709A (zh) * 2007-07-23 2009-01-28 辉达公司 用于减少数字图像中的色彩伪像的技术
CN101494795A (zh) * 2007-10-05 2009-07-29 三星电子株式会社 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
CN102938843A (zh) * 2012-11-22 2013-02-20 华为技术有限公司 图像处理方法、装置以及成像设备
CN103595981A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于非局部低秩的色彩滤波阵列图像去马赛克方法
CN103595980A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法
CN105828693A (zh) * 2013-12-20 2016-08-03 奥林巴斯株式会社 内窥镜装置
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
CN104159091A (zh) * 2014-07-30 2014-11-19 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于边缘检测的颜色插值方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116896688A (zh) * 2023-09-11 2023-10-17 归芯科技(深圳)有限公司 Bayer图像的处理方法、装置、芯片及存储介质
CN116896688B (zh) * 2023-09-11 2023-12-26 归芯科技(深圳)有限公司 Bayer图像的处理方法、装置、芯片及存储介质

Also Published As

Publication number Publication date
TWI737979B (zh) 2021-09-01
TW201944773A (zh) 2019-11-16
CN110365961B (zh) 2021-09-21
US10572974B2 (en) 2020-02-25
US20190318451A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
CN110365961A (zh) 图像去马赛克装置及方法
CN110519489B (zh) 图像采集方法及装置
US20190037116A1 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
CN108377343B (zh) 用于高动态范围成像的曝光选择器及其相关的方法
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
KR20210139450A (ko) 이미지 디스플레이 방법 및 디바이스
CN101983510B (zh) 自适应局部白平衡调节的系统与方法
WO2020238970A1 (zh) 图像降噪装置及图像降噪方法
CN111711755B (zh) 图像处理方法及装置、终端和计算机可读存储介质
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
JP2012508479A (ja) カラーおよび全色性チャネルｃｆａ画像の修正
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
CN113556526B (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN113643214B (zh) 一种基于人工智能的图像曝光校正方法及系统
US20180075586A1 (en) Ghost artifact removal system and method
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
WO2023140979A1 (en) Motion based exposure control for high dynamic range imaging
TWI754291B (zh) 高動態範圍影像感測器和影像捕獲方法
JP2003199115A (ja) デジタル画像の品質を改善する改善方法
CN110476414A (zh) 控制系统和图像传感器
CN109300186B (zh) 图像处理方法和装置、存储介质、电子设备
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant