CN107786857B - 一种图像还原方法及装置 - Google Patents

Abstract

本申请实施例提供了一种图像还原方法及装置。所述方法包括：获得待还原图像的第一像素集合，所述第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值；根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量；去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合；确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，将所述第二像素集合更新为第三像素集合；根据所述第三像素集合，将所述待还原图像还原。本实施例能够降低硬件成本。

Description

一种图像还原方法及装置

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像还原方法及装置。

背景技术

随着科技的不断发展，数码类图像采集设备的应用越来越广泛。摄像头是图像采集设备必不可少的器件，而图像传感器是摄像头中的感光元件。

为了解决白天成像需要滤光片配合等问题，RGB-IR图像传感器应运而生。RGB-IR图像传感器与传统图像传感器的区别是，IR(Infra Red，红外光)通道替代了R(Red，红光)通道或B(Blue，蓝光)通道。图1a为一种传统图像传感器输出的像素数据阵列示意图，图1b为RGB-IR图像传感器输出的像素数据阵列示意图。图中的一个方块代表一个像素。由图1a和图1b可知，RGB-IR图像传感器的IR通道替代了传统图像传感器中2像素*2像素阵列单元中的R通道或B通道，其中，2*2阵列单元属于bayer(拜耳)阵列。bayer阵列是一种模拟人眼对色彩的敏感程度，采用1红2绿1蓝的像素排列形式。并且，RGB-IR图像传感器对应的bayer阵列也是交替排列阵列，即RGGIR与BGGIR阵列交替出现。

出于考虑低光效果和图像传感器制造工艺等方面的原因，现有的R、G(Green，绿光)、B通道在感应可见光(波长400nm～780nm)的同时也会感应红外光。同样，IR通道在感应红外光的同时也会感应可见光。图2是一种RGB-IR图像传感器对应的光谱吸收曲线，其中横轴表示入射光波长，纵轴表示B通道、G通道和R通道对入射光波长的相对响应程度。从图中可以看出，每个通道对波长大于780nm的红外光都有感应。

当图像传感器采集到像素数据阵列之后，由于每个像素只包含一个通道的信息，因此，此时的像素数据被称为bayer数据，具有类马赛克形状。如果想要得到彩色图像，需要将每个像素还原为同时包含RGB三通道信息，这个过程称为图像还原，也可称为去马赛克。

上面曾提到，RGB-IR图像传感器中的R、G、B通道除感应各通道的可见光之外均会感应红外光。在对这种图像传感器的像素数据进行图像还原之后，得到的彩色图像会受到红外光的影响而产生颜色失真。

为了解决这种图像还原过程中的颜色失真问题，现有技术中常常在摄像头中配置双滤光片切换装置(IR-CUT)。IR-CUT中包含两个滤光片，一个是红外截止滤光片，另一个是全透滤光片。在白天拍摄图像时，光照条件良好，可开启红外截止滤光片，以过滤红外光，避免红外光干扰。在夜晚拍摄时，光照条件较差，可开启全透滤光片，利用R、G、B通道对红外光的响应进行补光，得到更清晰的图像。但是，这种方法需要配置额外的IR-CUT，会增加硬件成本。

发明内容

本申请实施例的目的在于提供了一种图像还原方法及装置，以降低硬件成本。

为了达到上述目的，本申请公开了一种图像还原方法，所述方法包括：

获得待还原图像的第一像素集合，所述第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值；

根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量；

去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合；

确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，将所述第二像素集合更新为第三像素集合；

根据所述第三像素集合，将所述待还原图像还原。

可选的，所述根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量，包括：

从所述第一像素集合中分离出各IR通道的像素值对应的第一IR像素数据阵列；

根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

可选的，所述根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量，包括：

针对各R通道和各B通道，根据预设的第一位置关系，从所述第一IR像素数据阵列中确定计算各R通道的像素值对应IR分量的第一目标像素值，以及计算各B通道的像素值对应IR分量的第二目标像素值；

根据所述第一目标像素值，计算各R通道的像素值对应的IR分量，根据所述第二目标像素值，计算各B通道的像素值对应的IR分量；

根据各R通道和各B通道的像素值对应的IR分量，将所述第一IR像素数据阵列更新为第二IR像素数据阵列；

针对各G通道，根据预设的第二位置关系，从所述第二IR像素数据阵列中确定计算各G通道的像素值对应IR分量的第三目标像素值；

根据所述第三目标像素值，计算各G通道的像素值对应的IR分量。

可选的，所述去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合，包括：

判断各R通道、G通道、B通道的像素值对应的IR分量是否不大于预设的第一IR强度阈值；

如果是，则根据以下公式，将各R通道、G通道、B通道的像素值分别去除对应的IR分量：

RGB_0＝RGB_1–TH+abs(RGB_IR–TH)

其中，所述RGB_0为去除对应的IR分量之后的R通道、G通道和B通道的像素值，所述RGB_1为各R通道、G通道和B通道的像素值，所述TH为第二IR强度阈值，所述abs为取绝对值符号，所述RGB_IR为各R通道、G通道和B通道的像素值对应的IR分量。

可选的，所述确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，包括：

针对各IR通道，根据预设的通道排布规则，确定各IR通道对应的可见光分量，所述可见光分量为R分量或B分量；

针对各IR通道对应的可见光分量，根据预设的第三位置关系，从所述第二像素集合中确定计算各IR通道的像素值对应的可见光分量的第四目标像素值；

根据所述第四目标像素值，计算各IR通道的像素值对应的可见光分量。

可选的，所述根据所述第三像素集合，将所述待还原图像还原，包括：

针对所述第三像素集合中的各R通道和各B通道，根据预设的第四位置关系，从所述第三像素集合中确定计算各R通道的像素值对应的G、B分量的第五目标像素值，以及计算各B通道的像素值对应的R、G分量的第六目标像素值；

根据所述第五目标像素值，计算各R通道对应的G、B分量，根据所述第六目标像素值，计算各B通道对应的R、G分量；

将各R通道对应的G、B分量，以及各B通道对应的R、G分量更新至所述第三像素集合；

针对更新后的第三像素集合中的各G通道，根据预设的第五位置关系，从更新后的第三像素集合中确定计算各G通道的像素值对应的R、B分量的第七目标像素值；

根据所述第七目标像素值，计算所述G通道的像素值对应的R、B分量。

为了达到上述目的，本申请公开了一种图像还原装置，所述装置包括：

像素获得模块，用于获得待还原图像的第一像素集合，所述第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值；

第一分量确定模块，用于根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量；

第一分量去除模块，用于去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合；

第二分量确定模块，用于确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，将所述第二像素集合更新为第三像素集合；

图像还原模块，用于根据所述第三像素集合，将所述待还原图像还原。

可选的，所述第一分量确定模块，包括：

IR分离子模块，用于从所述第一像素集合中分离出各IR通道的像素值对应的第一IR像素数据阵列；

第一分量确定子模块，用于根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

可选的，所述第一分量确定子模块，包括：

第一目标像素值确定单元，用于针对各R通道和各B通道，根据预设的第一位置关系，从所述第一IR像素数据阵列中确定计算各R通道的像素值对应IR分量的第一目标像素值，以及计算各B通道的像素值对应IR分量的第二目标像素值；

第一IR分量计算单元，用于根据所述第一目标像素值，计算各R通道的像素值对应的IR分量，根据所述第二目标像素值，计算各B通道的像素值对应的IR分量；

数据阵列更新单元，用于根据各R通道和各B通道的像素值对应的IR分量，将所述第一IR像素数据阵列更新为第二IR像素数据阵列；

第二目标像素值确定单元，用于针对各G通道，根据预设的第二位置关系，从所述第二IR像素数据阵列中确定计算各G通道的像素值对应IR分量的第三目标像素值；

第二IR分量计算单元，用于根据所述第三目标像素值，计算各G通道的像素值对应的IR分量。

可选的，所述第一分量去除模块，包括：

判断子模块，用于判断各R通道、G通道、B通道的像素值对应的IR分量是否不大于预设的第一IR强度阈值；

第一分量去除子模块，用于当各R通道、G通道、B通道的像素值对应的IR分量不大于预设的第一IR强度阈值时，根据以下公式，将各R通道、G通道、B通道的像素值分别去除对应的IR分量：

RGB_0＝RGB_1–TH+abs(RGB_IR–TH)

其中，所述RGB_0为去除对应的IR分量之后的R通道、G通道和B通道的像素值，所述RGB_1为各R通道、G通道和B通道的像素值，所述TH为第二IR强度阈值，所述abs为取绝对值符号，所述RGB_IR为各R通道、G通道和B通道的像素值对应的IR分量。

可选的，所述第二分量确定模块，包括：

可见光分量确定子模块，用于针对各IR通道，根据预设的通道排布规则，确定各IR通道对应的可见光分量，所述可见光分量为R分量或B分量；

第一目标像素值确定子模块，用于针对各IR通道对应的可见光分量，根据预设的第三位置关系，从所述第二像素集合中确定计算各IR通道的像素值对应的可见光分量的第四目标像素值；

可见光分量计算子模块，用于根据所述第四目标像素值，计算各IR通道的像素值对应的可见光分量。

可选的，所述图像还原模块，包括：

第二目标像素值确定子模块，用于针对所述第三像素集合中的各R通道和各B通道，根据预设的第四位置关系，从所述第三像素集合中确定计算各R通道的像素值对应的G、B分量的第五目标像素值，以及计算各B通道的像素值对应的R、G分量的第六目标像素值；

第一分量计算子模块，用于根据所述第五目标像素值，计算各R通道对应的G、B分量，根据所述第六目标像素值，计算各B通道对应的R、G分量；

像素集合更新子模块，将各R通道对应的G、B分量，以及各B通道对应的R、G分量更新至所述第三像素集合；

第三目标像素值确定子模块，用于针对更新后的第三像素集合中的各G通道，根据预设的第五位置关系，从更新后的第三像素集合中确定计算各G通道的像素值对应的R、B分量的第七目标像素值；

第二分量计算子模块，用于根据所述第七目标像素值，计算所述G通道的像素值对应的R、B分量。

由上述技术方案可见，本申请实施例中，首先，针对获得的待还原图像的第一像素集合，根据第一插值规则，分别确定第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。然后，去除各R通道、G通道、B通道的像素值对应的IR分量，将第一像素集合更新为第二像素集合。其次，确定第二像素集合中各IR通道的像素值对应的R分量或B分量，将第二像素集合更新为第三像素集合。最后，根据第三像素集合，将所述待还原图像还原。

也就是说，本申请实施例中，根据各IR通道的像素值和第一插值规则，确定各R通道、G通道、B通道的像素值对应的IR分量并去除，然后根据去除IR分量后的各R、G、B通道的像素值，确定IR通道的R或B分量，最后根据去除IR分量后的各个像素值，将待还原图像还原。可见，应用本申请实施例，无需采用硬件设备滤除IR分量，即可将各通道像素值中的IR分量去除，避免还原后的彩色图像因受到红外光的影响而产生颜色失真，因此能够降低硬件成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为传统图像传感器输出的图像数据阵列的一种示意图；

图1b为RGB-IR图像传感器输出的图像数据阵列的一种示意图；

图2为一种RGB-IR图像传感器对应的光谱吸收曲线；

图3为本申请实施例提供的图像还原方法的一种流程示意图；

图4a为RGB-IR图像传感器获得的一种第一像素集合的示意图；

图4b为从图4a中分离出的第一IR像素数据阵列的一种示意图；

图4c为将图4b更新后的第二IR像素数据阵列的一种示意图；

图4d为去除各RGB通道的IR分量后得到的第二像素集合的一种示意图；

图4e为将IR通道替换为可见光分量后得到的第三像素集合的一种示意图；

图4f为更新后的第三像素集合的一种示意图；

图4g为完成图像还原后的像素集合的一种示意图；

图5为图3中根据第三像素集合将待还原图像还原的一种流程示意图；

图6为本申请实施例提供的图像还原装置的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种图像还原方法及装置，能够降低硬件成本。

下面通过具体实施例，对本申请进行详细说明。

图3为本申请实施例提供的图像还原方法的一种流程示意图，可以应用于电子设备，该电子设备可以包括摄像机、智能手机、平板电脑等移动终端，以及台式计算机等非移动终端。

具体的，该方法包括如下步骤：

步骤S301，获得待还原图像的第一像素集合，第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值。

在本发明实施例中，电子设备可以获取待还原图像的第一像素集合。具体的，电子设备可以从图像采集设备中获取第一像素集合。例如，电子设备中可以包含图像采集设备，图像采集设备中还可以包含图像传感器等元件，从而，电子设备可以获取图像传感器元件发送的第一像素集合；或者，电子设备可以获取外部图像采集设备的图像传感器元件发送的第一像素集合。

在本发明实施例中，图像采集设备中的图像传感器可以为RGB-IR图像传感器。电子设备获取的第一像素集合中的各R通道、G通道、B通道的像素值中包含了红外光分量，即IR分量。

图1b为一种RGB-IR图像传感器输出的像素数据阵列示意图。图中的一个方块代表一个像素，并且每个2*2阵列单元中都包含一个IR通道。从图1b中还可以看出，由于每个2*2阵列单元中的通道排布并不相同，因此，以行列各4个像素组成的方形4*4阵列单元是最小的循环单元，这样的通道排列称为CFA(Color Filter Array，色彩滤波阵列)4*4阵列。

当然，图1b所示的BGGIR和RGGIR只是RGB-IR图像传感器的具体阵列排布形式。作为另一种具体的实施方式，RGB-IR图像传感器还可以包含GIRBG和GIRRG等阵列排布形式，本实施例对此阵列排布形式不做具体限定。

图4a为电子设备从RGB-IR图像传感器获得的第一像素集合示意图，其中包含了10*10共100个像素，各像素的像素值包含R通道、G通道、B通道以及IR通道的像素值。为了使表述更清楚，本申请为图4a中每个通道的像素值都分配了一个从00～99的编号。

步骤S302，根据各IR通道的像素值和预设的第一插值规则，分别确定第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

作为一种具体的实施方式，本实施例中，步骤S302，即根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量，可以包括：

步骤1，从第一像素集合中分离出各IR通道的像素值对应的第一IR像素数据阵列。

具体的，可以采用以下方式获得第一IR像素数据阵列：

第一像素集合中R、G、B通道所在位置的像素值置0，IR通道所在位置的像素值保留，获得第一IR像素数据阵列。

以图4a所示第一像素集合为例，按照上述方式从中分离出的第一IR像素数据阵列如图4b所示，图4b中只包含IR通道的像素值。

步骤2，根据第一IR像素数据阵列以及第一插值规则，分别确定第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

作为一种具体的实施方式，上述步骤2，即根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量，可以包括：

步骤2a，针对各R通道和各B通道，根据预设的第一位置关系，从第一IR像素数据阵列中确定计算各R通道的像素值对应IR分量的第一目标像素值，以及计算各B通道的像素值对应IR分量的第二目标像素值。

也就是说，本实施例中，计算R通道的像素值的IR分量与计算B通道的像素值的IR分量的过程是类似的，都需要根据第一位置关系，从第一IR像素数据阵列中确定用于计算IR分量的目标像素值。

为了使表述简便，以IR/B表示B通道的像素值的IR分量，以IR/R表示R通道的像素值的IR分量。后续X/Y的表述方式均可以理解为表示Y通道的像素值的X分量。

具体的，在确定第一像素集合中间位置的IR/R时，可以以R通道的位置为中心，将第一IR像素数据阵列中R通道左上角、左下角、右上角和右下角的IR通道的像素值确定为第一目标像素值。在确定第一像素集合中间位置的IR/B时，以B通道的位置为中心，将第一IR像素数据阵列中B通道左上角、左下角、右上角和右下角的IR通道的像素值确定为第二目标像素值。

下面以确定B通道的像素值的IR分量为例进行说明。例如，在计算IR/B44时，可以从图4b所示的第一IR像素数据阵列中，确定B44的左上角、左下角、右上角和右下角的IR通道的像素值，即IR33、IR53、IR35和IR55为第二目标像素值。

步骤2b，根据第一目标像素值，计算各R通道的像素值对应的IR分量，根据第二目标像素值，计算各B通道的像素值对应的IR分量。

作为一种具体的实施方式，可以采用以下方式计算IR/B和IR/R：

获得n_diff＝abs(IR_左上角–IR_右下角)和p_diff＝abs(IR_左下角–IR_右上角)；

当n_diff>p_diff时，IR/B和IR/R确定为(IR_左下角+IR_右上角)/2；

当n_diff<p_diff时，IR/B和IR/R确定为(IR_左上角+IR_右下角)/2；

当n_diff＝p_diff时，IR/B和IR/R确定为(IR_左上角+IR_右下角+IR_左下角+IR_右上角)/4。

其中，abs为取绝对值符号，IR_左上角、IR_右下角、IR_左下角和IR_右上角分别为第一IR像素数据阵列中各R通道和各B通道所在位置处左上角、右下角、左下角和右上角的像素值。

例如，根据图4a和图4b，计算IR/B44的过程如下：

n_diff＝abs(IR33–IR55)；

p_diff＝abs(IR53–IR35)；

若n_diff>p_diff，则IR/B44＝(IR53+IR35)/2；

若n_diff<p_diff，则IR/B44＝(IR33+IR55)/2；

若n_diff＝p_diff，则IR/B44＝(IR33+IR55+IR53+IR35)/4。

步骤2c，根据各R通道和各B通道的像素值对应的IR分量，将第一IR像素数据阵列更新为第二IR像素数据阵列。

在确定各R通道和各B通道的像素值对应的IR分量之后，可以将各R通道和各B通道的像素值对应的IR分量添加至第一IR像素数据阵列相应的位置处，得到第二IR像素数据阵列。

例如，图4b为第一IR像素数据阵列，图4c为将各R通道和各B通道的像素值对应的IR分量更新至图4b所示的第一IR像素数据阵列后得到的第二IR像素数据阵列。也就是说，图4c中所示的IR像素数据包含IR通道的像素值以及各R、B通道的IR分量。

步骤2d，针对各G通道，根据预设的第二位置关系，从第二IR像素数据阵列中确定计算各G通道的像素值对应IR分量的第三目标像素值。

具体的，在确定第一像素集合中间位置的IR/G时，可以以G通道的位置为中心，将第二IR像素数据阵列中G通道左侧、右侧、上方和下方的IR像素数据确定为第三目标像素值，该第三目标像素值包含IR通道的像素值和R、G通道的IR分量。

例如，在计算IR/G45时，可以从图4c所示的第二IR像素数据阵列中，确定G45通道左侧、右侧、上方和下方的IR像素值，即IR44、IR46、IR35和IR55为第三目标像素值。

步骤2e，根据所述第三目标像素值，计算各G通道的像素值对应的IR分量。

作为一种具体的实施方式，可以采用以下方式计算IR/G，IR/G表示G通道的像素值对应的IR分量：

获得h_diff＝abs(IR_左侧–IR_右侧)和v_diff＝abs(IR_上方–IR_下方)；

当h_diff>v_diff时，IR/G确定为(IR_左侧+IR_右侧)/2；

当h_diff<v_diff时，IR/G确定为(IR_上方+IR_下方)/2；

当h_diff＝v_diff时，IR/G确定为(IR_左侧+IR_右侧+IR_上方+IR_下方)/4。

其中，abs为取绝对值符号，IR_左侧、IR_右侧、IR_上方和IR_下方分别为第二IR像素数据阵列中的G通道的像素值所在位置处左侧、右侧、上方和下方的元素。

例如，根据图4a和图4c，计算IR/G45的过程如下：

h_diff＝abs(IR44–IR46)；

v_diff＝abs(IR35–IR55)；

若h_diff>v_diff，则IR/G45＝(IR44+IR46)/2；

若v_diff<h_diff，则IR/G45＝(IR35+IR55)/2；

若h_diff＝v_diff，则IR/G45＝(IR44+IR46+IR35+IR55)/4。

需要说明的是，在计算第一像素集合边缘位置的IR/R、IR/B和IR/G时，作为一种具体的实施方式，可以将各R通道、B通道和G通道所在的2*2阵列单元中IR通道的像素值，确定为各R通道、B通道和G通道的IR分量。

例如，在图4a中，B00、G01、G10、IR11共同组成一个2*2阵列单元，且该阵列单元位于图4a所示像素集合的左上角，该位置属于边缘位置。根据上述计算各R通道、B通道和G通道的IR分量的过程，可以将IR11通道的像素值确定为IR/B和IR/G。

步骤S303，去除各R通道、G通道、B通道的像素值对应的IR分量，将第一像素集合更新为第二像素集合。

需要说明的是，步骤S303可以包括多种实施方式，可以直接将各R通道、G通道、B通道的像素值去除相应的IR分量。

但是，如果IR分量的亮度超过了一定的阈值，说明可能存在过度曝光现象，这时将相应的通道的像素值直接去除IR分量将造成可见光通道信息的损失。这种IR分量的亮度超过一定范围的情况可能是由所采集的目标图像中包含较强的光能量造成的。

为了避免通道信息损失，提高图像还原结果的准确性，作为一种具体的实施方式，在本实施例中，步骤S303，即去除各R通道、G通道、B通道的像素值对应的IR分量，将第一像素集合更新为第二像素集合，可以包括：

判断各R通道、G通道、B通道的像素值对应的IR分量是否不大于预设的第一IR强度阈值；如果否，则不做处理，如果是，则根据以下公式，将各R通道、G通道、B通道的像素值分别去除对应的IR分量：

RGB_0＝RGB_1–TH+abs(RGB_IR–TH)

其中，RGB_0为去除对应的IR分量之后的R通道、G通道和B通道的像素值，RGB_1为各R通道、G通道和B通道的像素值，TH为第二IR强度阈值，abs为取绝对值符号，RGB_IR为各R通道、G通道和B通道的像素值对应的IR分量。

其中，第一IR强度阈值可以与第二IR强度阈值存在一定的关系，例如，第一IR强度阈值可以是第二IR强度阈值的预设数值的倍数，预设数量可以取2或3之类的数值。上述第二IR强度阈值可以为预设值，如，针对12bit的像素数据宽度，第二IR强度阈值TH可以设为512或其他值。本申请对第一IR强度阈值和第二IR强度阈值的取值不做具体限定。

例如，将图4a所示的第一像素集合中的各R通道、G通道、B通道的像素值对应去除对应的IR分量，得到如图4d所示的第二像素集合，为了使表述更清楚，本申请在图4d中用带撇号“′”的像素值表示去除了红外光分量的R、G、B通道的像素值。

步骤S304，确定第二像素集合中各IR通道的像素值对应的R分量或B分量，将第二像素集合更新为第三像素集合。

需要说明的是，第二像素集合中的R、G、B通道的像素值均已经去除了相应的IR分量。

由于在RGB-IR图像传感器对应的像素数据阵列中，IR通道代替了传统的图像传感器中的R通道或B通道，因此，为了结合传统图像还原方法，需要得到所有位置的可见光R、G、B通道像素值，即还需要确定第二像素集合中的IR通道的像素值对应的R分量或B分量。

作为一种具体的实施方式，在本实施例中，步骤S304，即确定第二像素集合中各IR通道的像素值对应的R分量或B分量，可以包括：

步骤1，针对各IR通道，根据预设的通道排布规则，确定各IR通道对应的可见光分量，所述可见光分量为R分量或B分量。

其中，通道排布规则可以是按照图1b所示的BGGIR和RGGIR交替出现的规则排布，也可以是按照GIRBG和GIRRG交替出现的规则排布，具体的通道排布规则可以根据实际情况确定。

步骤2，针对各IR通道对应的可见光分量，根据预设的第三位置关系，从第二像素集合中确定计算各IR通道的像素值对应的可见光分量的第四目标像素值。

具体的，在确定第二像素集合中间位置的可见光分量时，可以以IR通道的位置为中心，将第二像素集合中IR通道上方、下方、左侧、右侧的G通道的像素值，以及右上角、左下角的R通道或B通道的像素值，确定为第四目标像素值。其中，G通道、R通道和B通道的像素值为G通道、R通道和B通道的像素值去除IR分量后的像素值。

下面以确定IR通道的R分量(即R/IR)为例进行说明。可以理解的是，根据上述去除IR分量后的第四目标像素值确定的R分量也是不含有IR分量的。

例如，在计算R/IR55时，可以从图4d所示的第二像素集合中，确定第四目标像素值为：IR55上方、下方、左侧、右侧的G通道的像素值，即G′45、G′65、G′54和G′56，以及IR55右上角、左下角的R通道的像素值，即R′46和R′64。

步骤3，根据第四目标像素值，计算各IR通道的像素值对应的可见光分量。

作为一种具体的实施方式，可以采用以下方式计算R/IR或B/IR：

获得h_h_laplace＝abs(2*G_上方–G_{上方的上方}–G_下方)，

h_v_laplace＝abs(2*G_上方–G_{上方的左侧}–G_{上方的右侧})，

v_h_laplace＝abs(2*G_左侧–G_{左侧的左侧}–G_右侧)和

v_v_laplace＝abs(2*G_左侧–G_{左侧的上方}–G_{左侧的下方})；

针对R/IR，

若h_h_laplace<h_v_laplace，则R/IR＝(G_上方+G_下方)*(R_右上角+R_左上角)/[2*(G_左侧+G_右侧)]；

若v_h_laplace>v_v_laplace，则R/IR＝(G_左侧+G_右侧)*(R_右上角+R_左上角)/[2*(G_上方+G_下方)]；

若上述两个条件都不满足，则R/IR＝(R_右上角+R_左上角)/2；

针对B/IR，

若h_h_laplace<h_v_laplace，则B/IR＝(G_上方+G_下方)*(B_右上角+B_左上角)/[2*(G_左侧+G_右侧)]；

若v_h_laplace>v_v_laplace，则B/IR＝(G_左侧+G_右侧)*(B_右上角+B_左上角)/[2*(G_上方+G_下方)]；

若上述两个条件都不满足，则B/IR＝(B_右上角+B_左上角)/2。

其中，abs为取绝对值符号，G_上方、G_下方、G_左侧和G_右侧分别为IR通道上方、下方、左侧、右侧的G通道的像素值，R_右上角和R_左上角分别为R通道右上角、左下角的像素值，B_右上角和B_左上角分别为B通道右上角、左下角的像素值，G_{上方的上方}、G_{上方的左侧}和G_{上方的右侧}分别为G通道的G_上方的上方、左侧和右侧的像素值，G_{左侧的上方}、G_{左侧的左侧}和G_{左侧的下方}分别为G通道的G_左侧的上方、左侧和下方的像素值。

例如，根据图4d所示的第二像素集合，计算R/IR55的过程如下：

h_h_laplace＝abs(2*G′45–G′25–G′65)；

h_v_laplace＝abs(2*G′45–G′43–G′47)；

v_h_laplace＝abs(2*G′54–G′52–G′56)；

v_v_laplace＝abs(2*G′54–G′34–G′74)；

若h_h_laplace<h_v_laplace，则R/IR55＝(G′45+G′65)*(R′46+R′64)/[2*(G′54+G′56)]；

若v_h_laplace>v_v_laplace，则R/IR55＝(G′54+G′56)*(R′46+R′64)/[2*(G′45+G′65)]；

若上述条件均不满足，则R/IR55＝(R′46+R′64)/2。

需要说明的是，在计算第二像素集合边缘位置的R/IR和B/IR时，作为一种具体的实施方式，可以按照如下方式确定：

针对第二像素集合最左侧一列和最上方一行的2*2阵列单元内的IR通道，R/IR和B/IR分别确定为：IR通道左下角和右上角的通道或通道的像素值的平均值。例如，在图4d中，R/IR11为(R′02+R′20)/2。

针对第二像素集合最右侧一列2*2阵列单元内的IR通道，R/IR和B/IR分别确定为：IR通道所在位置左下角的通道或通道的像素值。例如，在图4d中，B/IR39取为B′48的像素值；

针对第二像素集合最下方一行2*2阵列单元内的IR通道，R/IR和B/IR分别确定为：IR通道所在位置右上角的通道或通道的像素值。例如，在图4d中，B/IR97取为B′88的像素值；

针对第二像素集合最右下角的一个2*2阵列单元内的IR通道，R/IR和B/IR分别确定为：IR通道所在位置左上角的2*2阵列单元内IR通道的可见光分量。例如，在图4d中，R/IR99取为R′77的像素值。

在确定IR通道的像素值的可见光分量之后，图4d所示的第二像素集合可以被更新为图4e所示的第三像素集合。其中，各IR通道已替换为R分量和B分量，并且每个像素均不包含IR分量。为了使表述更清楚，在图4e中，用于替换IR通道像素值的R分量和B分量分别用带撇号“′”的量表示，例如，R′11就是IR通道的R分量像素值。

步骤S305，根据第三像素集合，将待还原图像还原。

需要说明的是，由于第三像素集合中每个像素位置均包含一个去除红外光分量的可见光通道信息，为了将第三像素集合对应的待还原图像还原，需要确定第三像素集合中每个像素位置的其他两个可见光通道信息。

具体的，根据第三像素集合，将待还原图像还原，可以包括多种实施方式，也可以采用现有技术中的插值算法将待还原图像还原，其具体实施过程本实施例不再详细赘述。

由上述内容可知，本实施例中，根据各IR通道的像素值和第一插值规则，确定各R通道、G通道、B通道的像素值对应的IR分量并去除，然后根据去除IR分量后的各R、G、B通道的像素值，确定IR通道的R或B分量，最后根据去除IR分量后的各个像素值，将待还原图像还原。可见，应用本实施例，无需采用硬件设备滤除IR分量，即可将各通道像素值中的IR分量去除，避免还原后的彩色图像因受到红外光的影响而产生颜色失真，因此能够降低硬件成本。

在本申请的另一实施方式中，可以对图3所示实施例进行改进。为了更高效、准确地将待还原图像还原，步骤S305，即根据所述第三像素集合，将所述待还原图像还原，可以按照图5所示流程示意图进行，其具体包括以下步骤：

步骤S501，针对第三像素集合中的各R通道和各B通道，根据预设的第四位置关系，从第三像素集合中确定计算各R通道的像素值对应的G、B分量的第五目标像素值，以及计算各B通道的像素值对应的R、G分量的第六目标像素值。

也就是说，本实施例中，计算各R通道的像素值对应的G、B分量与计算各B通道的像素值对应的R、G分量的过程是类似的，都需要根据第四位置关系，从第三像素集合中确定目标像素值。

具体的，在确定第三像素集合中间位置的G/R时，可以以R通道的位置为中心，将第三像素集合中R通道上方、下方、左侧、右侧的G通道的像素值确定为第五目标像素值；在确定第三像素集合中间位置的B/R时，可以以R通道的位置为中心，将第三像素集合中R通道上方、下方、左侧、右侧的B通道的像素值确定为第五目标像素值。

在确定第三像素集合中间位置的G/B时，可以以B通道的位置为中心，将第三像素集合中B通道上方、下方、左侧、右侧的G通道的像素值确定为第六目标像素值；在确定第三像素集合中间位置的R/B时，可以以B通道的位置为中心，将第三像素集合中B通道上方、下方、左侧、右侧的R通道的像素值确定为第六目标像素值。

例如，在图4e所示的第三像素集合中，在计算G/B44时，确定的第六目标像素值为：B44上方、下方、左侧、右侧的R通道的像素值，即G′34、G′54、G′43和G′45。

步骤S502，根据第五目标像素值，计算各R通道对应的G、B分量，根据第六目标像素值，计算各B通道对应的R、G分量。

作为一种具体的实施方式，可以采用以下方式计算G/B、G/R或B/R、R/B：

获得h_h_laplace＝abs(G_{上方的上方}–G_下方)+abs(2*G_上方–G_{上方的上方}–G_下方)，

h_v_laplace＝abs(G_{上方的左侧}–G_{上方的右侧})+abs(2*G_上方–G_{上方的左侧}–G_{上方的右侧})，

v_h_laplace＝abs(G_{左侧的上方}–G_{左侧的下方})+abs(2*G_左侧–G_{左侧的上方}–G_{左侧的下方})和

v_v_laplace＝abs(G_{左侧的左侧}–G_右侧)+abs(2*G_左侧–G_{左侧的左侧}–G_右侧)；

针对G/B和G/R，

若h_h_laplace<h_v_laplace，则G/B和G/R均为(G_上方+G_下方)/2；

若v_h_laplace>v_v_laplace，则G/B和G/R均为(G_左侧+G_右侧)/2；

若上述条件均不满足，则G/B和G/R均为(G_上方+G_下方+G_左侧+G_右侧)/4；

针对B/R，

若h_h_laplace<h_v_laplace，则B/R＝(B_上方+B_下方)/2；

若v_h_laplace>v_v_laplace，则B/R＝(B_左侧+B_右侧)/2；

若上述条件均不满足，则B/R＝(B_上方+B_下方+B_左侧+B_右侧)/4；

针对R/B，

若h_h_laplace<h_v_laplace，则R/B＝(R_上方+R_下方)/2；

若v_h_laplace>v_v_laplace，则R/B＝(R_左侧+R_右侧)/2；

若上述条件均不满足，则R/B＝(R_上方+R_下方+R_左侧+R_右侧)/4。

其中，abs为取绝对值符号，G_上方、G_下方、G_左侧和G_右侧分别为R通道或B通道上方、下方、左侧、右侧的G通道的像素值，B_上方、B_下方、B_左侧和B_右侧分别为R通道上方、下方、左侧、右侧的B通道的像素值，R_上方、R_下方、R_左侧和R_右侧分别为B通道上方、下方、左侧、右侧的R通道的像素值。G_{上方的上方}、G_{上方的左侧}和G_{上方的右侧}分别为R通道或B通道的G_上方的上方、左侧和右侧的像素值，G_{左侧的上方}、G_{左侧的左侧}和G_{左侧的下方}分别为R通道或B通道的G_左侧的上方、左侧和下方的像素值。

例如，根据图4e所示的第三像素集合，计算G′/B′44和R′/B′44的过程如下：

h_h_laplace＝abs(G′14–G′54)+abs(2*G′34–G′14–G′54)，

h_v_laplace＝abs abs(G′32–G′36)+abs(2*G′34–G′32–G′36)，

v_h_laplace＝abs(G′23–G′63)+abs(2*G′43–G′23–G′63)和

v_v_laplace＝abs(G′41–G′45)+abs(2*G′43–G′41–G′45)

针对G′/B′44，

若h_h_laplace<h_v_laplace，则G′/B′44为(G′34+G′54)/2；

若v_h_laplace>v_v_laplace，则G′/B′44为(G′43+G′45)/2；

若上述条件均不满足，则G′/B′44为(G′43+G′45+G′34+G′54)/4；

针对R′/B′44，

若h_h_laplace<h_v_laplace，则R′/B′44＝(R′34+R′54)/2；

若v_h_laplace>v_v_laplace，则R′/B′44＝(R′43+R′45)/2；

若上述条件均不满足，则R′/B′44＝(R′43+R′45+R′34+R′54)/4。

需要说明的是，在计算第三像素集合边缘位置的G/B、G/R或B/R、R/B时，作为一种具体的实施方式，可以按照如下方式确定：

针对第三像素集合边缘位置的2*2阵列单元，该阵列单元中G/B、G/R分别确定为：该阵列单元中两个G通道的像素值的平均值。例如，在图4e所示的第三像素集合中，G′/B′00＝G′/R′11＝(G′01+G′10)/2。

针对第三像素集合边缘位置的2*2阵列单元，该阵列单元中B/R确定为：该阵列单元中G通道的像素值；该阵列单元中R/B确定为：该阵列单元中R通道的像素值。

步骤S503，将各R通道对应的G、B分量，以及各B通道对应的R、G分量更新至第三像素集合。

图4f为更新后的第三像素集合的一种示意图。图中的各R通道对应的G、B分量以及各B通道对应的R、G分量均已经获得，为了使表述更清楚，图4f中用带双撇号“〞”的量表示已经获得了其他两个分量的B通道和R通道，例如。B〞00表示该通道已经获得了R〞00和G〞00这两个分量。

步骤S504，针对更新后的第三像素集合中的各G通道，根据预设的第五位置关系，从更新后的第三像素集合中确定计算各G通道的像素值对应的R、B分量的第七目标像素值。

具体的，在确定更新后的第三像素集合中中间位置的B/G时，可以以G通道的位置为中心，将更新后的第三像素集合中G通道上方、下方、左侧、右侧的B通道的像素值确定为第七目标像素值。在确定更新后的第三像素集合中中间位置的R/G时，可以以G通道的位置为中心，将更新后的第三像素集合中R通道上方、下方、左侧、右侧的B通道的像素值确定为第七目标像素值。

例如，在图4f中，在计算B/G′54时，确定第七目标像素值为：G′54上方、下方、左侧、右侧的B通道的像素值，即B〞44、B〞64、B〞53和B〞55。在计算R/G′54时，确定第七目标像素值为：G′54上方、下方、左侧、右侧的R通道的像素值，即R〞44、R〞64、R〞53和R〞55。

步骤S505，根据第七目标像素值，计算所述G通道的像素值对应的R、B分量。

作为一种具体的实施方式，可以采用以下方式计算B/G和R/G：

获得h_h_diff＝abs(G_{上方的上方}–G_{下方的下方})+abs(G–G_{上方的上方}–G_{下方的下方})，

h_v_diff＝abs(G_{左侧的左侧}–G_{右侧的右侧}+abs(G–G_{左侧的左侧}–G_{右侧的右侧})；

针对B/G，

若h_h_diff<h_v_diff，则B/G＝(B_上方+B_下方)/2；

若h_h_diff>h_v_diff，则B/G＝(B_左侧+B_右侧)/2；

若上述条件均不满足，则B/G＝(B_上方+B_下方+B_左侧+B_右侧)/4；

针对R/G，

若h_h_diff<h_v_diff，则R/G＝(R_上方+R_下方)/2；

若h_h_diff>h_v_diff，则R/G＝(R_左侧+R_右侧)/2；

若上述条件均不满足，则R/G＝(R_上方+R_下方+R_左侧+R_右侧)/4。

其中，abs为取绝对值符号，B_上方、B_下方、B_左侧和B_右侧分别为G通道上方、下方、左侧、右侧的B通道的像素值，R_上方、R_下方、R_左侧和R_右侧分别为G通道上方、下方、左侧、右侧的R通道的像素值。G_{上方的上方}、G_{下方的下方}、G_{左侧的左侧}和G_{右侧的右侧}分别为G通道上方的上方、下方的下方、左侧的左侧、右侧的右侧的G分量。

例如，更新后的第三像素集合如图4f所示，计算B〞/G′54和R〞/G′54的过程如下：

获得h_h_diff＝abs(G′34–G′74)+abs(G′54–G′34–G′74)，

h_v_diff＝abs(G′52–G′56)+abs(G′54–G′52–G′56)；

针对B〞/G′54，

若h_h_diff<h_v_diff，则B〞/G′54＝(B〞44+B〞64)/2；

若h_h_diff>h_v_diff，则B〞/G′54＝(B〞53+B〞55)/2；

若上述条件均不满足，则B〞/G′54＝(B〞44+B〞64+B〞53+B〞55)/4；

针对R〞/G′54，

若h_h_diff<h_v_diff，则R〞/G′54＝(R〞44+R〞64)/2；

若h_h_diff>h_v_diff，则R〞/G′54＝(R〞53+R〞55)/2；

若上述条件均不满足，则R〞/G′54＝(R〞44+R〞64+R〞53+R〞55)/4。

需要说明的是，在计算更新后的第三像素集合边缘位置的B/G和R/G时，作为一种具体的实施方式，可以按照如下方式确定：

针对更新后的第三像素集合边缘位置的2*2阵列单元，将该阵列单元中其他B分量或R分量确定为该阵列单元中B/G或R/G。例如，更新后的第三像素集合如图4f所示，将B〞00的像素值确定为B〞/G′01和B〞/G′10，将R〞11的像素值确定为R〞/G′01和R〞/G′10。

作为一个示例，图4g为计算出图4f所示更新后的第三像素集合中的G通道的R分量和B分量后的像素集合，该像素集合中每个通道均包含了RGB分量，是去除了IR分量的彩色图像，即图4g是完成了图像还原后的图像。

图6为本申请实施例提供的图像还原装置的一种结构示意图，与图1所示方法实施例相对应，所述装置包括：

像素获得模块601，用于获得待还原图像的第一像素集合，所述第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值；

第一分量确定模块602，用于根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量；

第一分量去除模块603，用于去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合；

第二分量确定模块604，用于确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，将所述第二像素集合更新为第三像素集合；

图像还原模块605，用于根据所述第三像素集合，将所述待还原图像还原。

作为一种具体的实施方式，在图6所示实施例中，所述第一分量确定模块602，可以包括：

IR分离子模块(图中未示出)，用于从所述第一像素集合中分离出各IR通道的像素值对应的第一IR像素数据阵列；

第一分量确定子模块(图中未示出)，用于根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

作为一种具体的实施方式，在图6所示实施例中，所述第一分量确定子模块，可以包括：

第一目标像素值确定单元(图中未示出)，用于针对各R通道和各B通道，根据预设的第一位置关系，从所述第一IR像素数据阵列中确定计算各R通道的像素值对应IR分量的第一目标像素值，以及计算各B通道的像素值对应IR分量的第二目标像素值；

第一IR分量计算单元(图中未示出)，用于根据所述第一目标像素值，计算各R通道的像素值对应的IR分量，根据所述第二目标像素值，计算各B通道的像素值对应的IR分量；

数据阵列更新单元(图中未示出)，用于根据各R通道和各B通道的像素值对应的IR分量，将所述第一IR像素数据阵列更新为第二IR像素数据阵列；

第二目标像素值确定单元(图中未示出)，用于针对各G通道，根据预设的第二位置关系，从所述第二IR像素数据阵列中确定计算各G通道的像素值对应IR分量的第三目标像素值；

第二IR分量计算单元(图中未示出)，用于根据所述第三目标像素值，计算各G通道的像素值对应的IR分量。

作为一种具体的实施方式，在图6所示实施例中，所述第一分量去除模块603，可以包括：

判断子模块(图中未示出)，用于判断各R通道、G通道、B通道的像素值对应的IR分量是否不大于预设的第一IR强度阈值；

第一分量去除子模块(图中未示出)，用于当各R通道、G通道、B通道的像素值对应的IR分量不大于预设的第一IR强度阈值时，根据以下公式，将各R通道、G通道、B通道的像素值分别去除对应的IR分量：

RGB_0＝RGB_1–TH+abs(RGB_IR–TH)

其中，所述RGB_0为去除对应的IR分量之后的R通道、G通道和B通道的像素值，所述RGB_1为各R通道、G通道和B通道的像素值，所述TH为第二IR强度阈值，所述abs为取绝对值符号，所述RGB_IR为各R通道、G通道和B通道的像素值对应的IR分量。

作为一种具体的实施方式，在图6所示实施例中，所述第二分量确定模块604，可以包括：

可见光分量确定子模块(图中未示出)，用于针对各IR通道，根据预设的通道排布规则，确定各IR通道对应的可见光分量，所述可见光分量为R分量或B分量；

第一目标像素值确定子模块(图中未示出)，用于针对各IR通道对应的可见光分量，根据预设的第三位置关系，从所述第二像素集合中确定计算各IR通道的像素值对应的可见光分量的第四目标像素值；

可见光分量计算子模块(图中未示出)，用于根据所述第四目标像素值，计算各IR通道的像素值对应的可见光分量。

作为一种具体的实施方式，在图6所示实施例中，所述图像还原模块605，包括：

第二目标像素值确定子模块(图中未示出)，用于针对所述第三像素集合中的各R通道和各B通道，根据预设的第四位置关系，从所述第三像素集合中确定计算各R通道的像素值对应的G、B分量的第五目标像素值，以及计算各B通道的像素值对应的R、G分量的第六目标像素值；

第一分量计算子模块(图中未示出)，用于根据所述第五目标像素值，计算各R通道对应的G、B分量，根据所述第六目标像素值，计算各B通道对应的R、G分量；

像素集合更新子模块(图中未示出)，将各R通道对应的G、B分量，以及各B通道对应的R、G分量更新至所述第三像素集合；

第三目标像素值确定子模块(图中未示出)，用于针对更新后的第三像素集合中的各G通道，根据预设的第五位置关系，从更新后的第三像素集合中确定计算各G通道的像素值对应的R、B分量的第七目标像素值；

第二分量计算子模块(图中未示出)，用于根据所述第七目标像素值，计算所述G通道的像素值对应的R、B分量。

由于上述装置实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解，上述实施方式中的全部或部分步骤是能够通过程序指令相关的硬件来完成的，所述的程序可以存储于计算机可读取存储介质中。这里所称存储介质，是指ROM/RAM、磁碟、光盘等。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种图像还原方法，其特征在于，所述方法包括：

获得待还原图像的第一像素集合，所述第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值；其中，第一像素集合中的R通道、G通道、B通道的像素值中包含IR分量；

根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量；

去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合；

确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，将所述第二像素集合更新为第三像素集合；

根据所述第三像素集合，将所述待还原图像还原。

2.根据权利要求1所述的方法，其特征在于，所述根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量，包括：

从所述第一像素集合中分离出各IR通道的像素值对应的第一IR像素数据阵列；

根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量，包括：

针对各R通道和各B通道，根据预设的第一位置关系，从所述第一IR像素数据阵列中确定计算各R通道的像素值对应IR分量的第一目标像素值，以及计算各B通道的像素值对应IR分量的第二目标像素值；

根据所述第一目标像素值，计算各R通道的像素值对应的IR分量，根据所述第二目标像素值，计算各B通道的像素值对应的IR分量；

根据各R通道和各B通道的像素值对应的IR分量，将所述第一IR像素数据阵列更新为第二IR像素数据阵列；

针对各G通道，根据预设的第二位置关系，从所述第二IR像素数据阵列中确定计算各G通道的像素值对应IR分量的第三目标像素值；

根据所述第三目标像素值，计算各G通道的像素值对应的IR分量。

4.根据权利要求1所述的方法，其特征在于，所述去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合，包括：

判断各R通道、G通道、B通道的像素值对应的IR分量是否不大于预设的第一IR强度阈值；

如果是，则根据以下公式，将各R通道、G通道、B通道的像素值分别去除对应的IR分量：

RGB_0＝RGB_1–TH+abs(RGB_IR–TH)

其中，所述RGB_0为去除对应的IR分量之后的R通道、G通道和B通道的像素值，所述RGB_1为各R通道、G通道和B通道的像素值，所述TH为第二IR强度阈值，所述abs为取绝对值符号，所述RGB_IR为各R通道、G通道和B通道的像素值对应的IR分量。

5.根据权利要求1所述的方法，其特征在于，所述确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，包括：

针对各IR通道，根据预设的通道排布规则，确定各IR通道对应的可见光分量，所述可见光分量为R分量或B分量；

针对各IR通道对应的可见光分量，根据预设的第三位置关系，从所述第二像素集合中确定计算各IR通道的像素值对应的可见光分量的第四目标像素值；

根据所述第四目标像素值，计算各IR通道的像素值对应的可见光分量。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第三像素集合，将所述待还原图像还原，包括：

针对所述第三像素集合中的各R通道和各B通道，根据预设的第四位置关系，从所述第三像素集合中确定计算各R通道的像素值对应的G、B分量的第五目标像素值，以及计算各B通道的像素值对应的R、G分量的第六目标像素值；

根据所述第五目标像素值，计算各R通道对应的G、B分量，根据所述第六目标像素值，计算各B通道对应的R、G分量；

将各R通道对应的G、B分量，以及各B通道对应的R、G分量更新至所述第三像素集合；

针对更新后的第三像素集合中的各G通道，根据预设的第五位置关系，从更新后的第三像素集合中确定计算各G通道的像素值对应的R、B分量的第七目标像素值；

根据所述第七目标像素值，计算所述G通道的像素值对应的R、B分量。

7.一种图像还原装置，其特征在于，所述装置包括：

像素获得模块，用于获得待还原图像的第一像素集合，所述第一像素集合中的各像素的像素值为通过红光R通道、绿光G通道、蓝光B通道或红外光IR通道得到的像素值；其中，第一像素集合中的R通道、G通道、B通道的像素值中包含IR分量；

第一分量确定模块，用于根据各IR通道的像素值和预设的第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量；

第一分量去除模块，用于去除各R通道、G通道、B通道的像素值对应的IR分量，将所述第一像素集合更新为第二像素集合；

第二分量确定模块，用于确定所述第二像素集合中各IR通道的像素值对应的R分量或B分量，将所述第二像素集合更新为第三像素集合；

图像还原模块，用于根据所述第三像素集合，将所述待还原图像还原。

8.根据权利要求7所述的装置，其特征在于，所述第一分量确定模块，包括：

IR分离子模块，用于从所述第一像素集合中分离出各IR通道的像素值对应的第一IR像素数据阵列；

第一分量确定子模块，用于根据所述第一IR像素数据阵列以及所述第一插值规则，分别确定所述第一像素集合中各R通道、G通道、B通道的像素值对应的IR分量。

9.根据权利要求8所述的装置，其特征在于，所述第一分量确定子模块，包括：

第一目标像素值确定单元，用于针对各R通道和各B通道，根据预设的第一位置关系，从所述第一IR像素数据阵列中确定计算各R通道的像素值对应IR分量的第一目标像素值，以及计算各B通道的像素值对应IR分量的第二目标像素值；

第一IR分量计算单元，用于根据所述第一目标像素值，计算各R通道的像素值对应的IR分量，根据所述第二目标像素值，计算各B通道的像素值对应的IR分量；

数据阵列更新单元，用于根据各R通道和各B通道的像素值对应的IR分量，将所述第一IR像素数据阵列更新为第二IR像素数据阵列；

第二目标像素值确定单元，用于针对各G通道，根据预设的第二位置关系，从所述第二IR像素数据阵列中确定计算各G通道的像素值对应IR分量的第三目标像素值；

第二IR分量计算单元，用于根据所述第三目标像素值，计算各G通道的像素值对应的IR分量。

10.根据权利要求7所述的装置，其特征在于，所述第一分量去除模块，包括：

判断子模块，用于判断各R通道、G通道、B通道的像素值对应的IR分量是否不大于预设的第一IR强度阈值；

第一分量去除子模块，用于当各R通道、G通道、B通道的像素值对应的IR分量不大于预设的第一IR强度阈值时，根据以下公式，将各R通道、G通道、B通道的像素值分别去除对应的IR分量：

RGB_0＝RGB_1–TH+abs(RGB_IR–TH)

其中，所述RGB_0为去除对应的IR分量之后的R通道、G通道和B通道的像素值，所述RGB_1为各R通道、G通道和B通道的像素值，所述TH为第二IR强度阈值，所述abs为取绝对值符号，所述RGB_IR为各R通道、G通道和B通道的像素值对应的IR分量。

11.根据权利要求7所述的装置，其特征在于，所述第二分量确定模块，包括：

可见光分量确定子模块，用于针对各IR通道，根据预设的通道排布规则，确定各IR通道对应的可见光分量，所述可见光分量为R分量或B分量；

第一目标像素值确定子模块，用于针对各IR通道对应的可见光分量，根据预设的第三位置关系，从所述第二像素集合中确定计算各IR通道的像素值对应的可见光分量的第四目标像素值；

可见光分量计算子模块，用于根据所述第四目标像素值，计算各IR通道的像素值对应的可见光分量。

12.根据权利要求7所述的装置，其特征在于，所述图像还原模块，包括：

第二目标像素值确定子模块，用于针对所述第三像素集合中的各R通道和各B通道，根据预设的第四位置关系，从所述第三像素集合中确定计算各R通道的像素值对应的G、B分量的第五目标像素值，以及计算各B通道的像素值对应的R、G分量的第六目标像素值；

第一分量计算子模块，用于根据所述第五目标像素值，计算各R通道对应的G、B分量，根据所述第六目标像素值，计算各B通道对应的R、G分量；

像素集合更新子模块，将各R通道对应的G、B分量，以及各B通道对应的R、G分量更新至所述第三像素集合；

第三目标像素值确定子模块，用于针对更新后的第三像素集合中的各G通道，根据预设的第五位置关系，从更新后的第三像素集合中确定计算各G通道的像素值对应的R、B分量的第七目标像素值；

第二分量计算子模块，用于根据所述第七目标像素值，计算所述G通道的像素值对应的R、B分量。