[go: up one dir, main page]

CN113781326B - 解马赛克方法、装置、电子设备及存储介质 - Google Patents

解马赛克方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113781326B
CN113781326B CN202110919874.7A CN202110919874A CN113781326B CN 113781326 B CN113781326 B CN 113781326B CN 202110919874 A CN202110919874 A CN 202110919874A CN 113781326 B CN113781326 B CN 113781326B
Authority
CN
China
Prior art keywords
image
rgbir
target
training
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110919874.7A
Other languages
English (en)
Other versions
CN113781326A (zh
Inventor
井敏皓
戢仁和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202110919874.7A priority Critical patent/CN113781326B/zh
Publication of CN113781326A publication Critical patent/CN113781326A/zh
Priority to PCT/CN2022/111227 priority patent/WO2023016468A1/zh
Application granted granted Critical
Publication of CN113781326B publication Critical patent/CN113781326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了解马赛克方法、装置、电子设备及存储介质，该方法包括：获取目标RGBIR图像；利用第一神经网络对目标RGBIR图像进行第一处理，得到目标IR图像；和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像；其中，第一处理包括：消除目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值，第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的该颜色通道像素点所对应像素值中的近红外光分量，以及预测除了该颜色通道像素点之外的像素点在该颜色通道的像素值。

Description

解马赛克方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理领域，具体涉及解马赛克方法、装置、电子设备及存储介质。
背景技术
RGBIR图像传感器为可以同时感应红外信息和可见光信息的传感器。RGBIR图像传感器将Bayer阵列中的覆盖绿色滤光片的像素点更换成了覆盖近红外滤光片的像素点，从而，通过一个图像传感器同时感应到可见光和近红外光两个波段的信息。而计算机视觉任务需要的图像为目标RGB图像和/或目标IR图像，因此，需要根据RGBIR图像传感器采集的RGBIR图像，得到目标RGB图像和/或目标IR图像，根据RGBIR图像传感器采集的RGBIR图像，得到目标RGB图像和/或目标IR图像称之为解马赛克。
目前，通常采用的解马赛克的算法为：对RGBIR图像传感器采集的RGBIR图像进行插值生成RGB图像和IR(Infrared Radiation，近红外光)图像。对通过插值生成的RGB图像和/或通过插值生成的IR图像进行色彩校正，消除通过插值生成的RGB图像和通过插值生成的IR图像中的干扰信息，完成解马赛克，得到目标RGB图像、目标IR图像。
通常采用的解马赛克的算法会引入较大的插值误差，导致目标RGB图像和/或目标IR图像的质量较低。并且采用手工的方式进行校正，十分依赖于专家经验，难免产生校正误差，导致目标RGB图像、目标IR图像的质量较低。通常采用的解马赛克的算法与RGBIR传感器的色彩滤波阵列强相关，适用于一个型号的RGBIR传感器的色彩滤波阵列的解马赛克算法无法应用在另一个型号的RGBIR传感器的色彩滤波阵列上。必须针对每一个型号的RGBIR传感器，单独开发解马赛克算法，导致成本较高。
发明内容
本申请实施例提供一种解马赛克方法、装置、电子设备及存储介质。
本申请实施例提供一种解马赛克方法，包括：
获取目标RGBIR图像；其中，所述目标RGBIR图像为经过预处理后的RGBIR图像，所述预处理包括暗电平补偿；
利用第一神经网络对所述目标RGBIR图像进行第一处理，得到目标IR图像；和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像；其中，所述第一处理包括：消除所述目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值，所述第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值。
本申请实施例提供一种解马赛克装置，包括：
获取单元，被配置为获取目标RGBIR图像；其中，所述目标RGBIR图像为经过预处理后的RGBIR图像，所述预处理包括暗电平补偿；
解马赛克单元，被配置为利用第一神经网络对所述目标RGBIR图像进行第一处理，得到目标IR图像；和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像；其中，所述第一处理包括：消除所述目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值，所述第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值。
本申请实施例提供的解马赛克方法、装置，利用第一神经网络和/或第二神经网络完成目标RGBIR图像的解马赛克，得到目标IR图像和/或目标RGB图像，在解马赛克过程中，消除目标RGBIR图像中的相应的通道像素点所对应像素值中的作为干扰信息的分量，作为干扰信息的分量为可见光分量或近红外光分量，预测相应的像素点在相应的通道的像素值，在解马赛克过程中，没有利用具有相应的干扰信息的分量像素值进行插值，不会产生插值误差，同时，解马赛克过程由第一神经网络和/或第二神经网络自动完成，无需依赖专家经验，采用手工的方式进行校正，不会产生校正误差，从而，避免插值误差和校正误差对解马赛克的不利影响，提升得到的目标IR图像的图像质量和/或目标RGB图像的图像质量，为后续生成信噪比高、色彩还原度好的IR图像和/或色彩还原度好的RGB图像提供了有利的条件。另一方面，第一神经网络和/或第二神经网络可以消除目标RGBIR图像中的任意一个通道像素点所对应像素值中的作为干扰信息的分量，预测目标RGBIR图像中的任意一个像素点在相应的通道的像素值，不受传感器的色彩滤波阵列的影响，适用于对任意一个RGBIR图像传感器采集的RGBIR图像进行解马赛克。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的解马赛克方法的流程图；
图2示出了适用于第一处理或第二处理的一个结构示意图；
图3示出了适用于第一处理或第二处理的另一个结构示意图；
图4示出了本申请实施例提供的解马赛克装置的结构框图；
图5示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的解马赛克方法的流程图，该方法包括：
步骤101，获取目标RGBIR图像。
在本申请中，目标RGBIR图像为经过预处理后的RGBIR图像，预处理包括暗电平补偿。
预处理后的RGBIR图像可以由用于预处理的设备预先对RGBIR传感器采集的RGBIR图像进行暗电平补偿得到。由于RGBIR传感器自身存在暗电平，通过RGBIR传感器采集的RGBIR图像受到RGBIR传感器的暗电平的影响，因此，需要消除RGBIR传感器的暗电平对RGBIR传感器采集的RGBIR图像的影响。可以由用于预处理的设备预先对RGBIR传感器采集的RGBIR图像进行暗电平补偿，得到预处理后的RGBIR图像。
在一些实施例中，获取目标RGBIR图像包括：获取原始RGBIR图像；对原始RGBIR图像进行预处理，得到目标RGBIR图像。原始RGBIR图像为RGBIR传感器采集的RGBIR的图像。在对原始RGBIR图像进行预处理时，可以对原始RGBIR图像进行暗电平补偿，得到经过暗电平补偿的RGBIR图像，可以将经过暗电平补偿的RGBIR图像作为目标RGBIR图像。
对原始RGBIR图像进行暗电平补偿可以表示为：
其中，BLCbayer表示RGBIR传感器的暗电平，RGBIR传感器的暗电平可以由RGBIR传感器生产商提供。
等式右侧的R、G、B、IR分别表示各个像素点在R通道的原始像素值、在G通道的原始像素值、在B通道的原始像素值、在IR通道的原始像素值，等式左侧的R、G、B、IR分别表示R通道像素点的经过暗电平补偿后的像素值、G通道像素点的经过暗电平补偿后的像素值、B通道像素点的经过暗电平补偿后的像素值、IR通道像素点的经过暗电平补偿后的像素值。
在本申请中，R像素点对应于RGBIR传感器的阵列中的红色滤光片，对于一个R像素点，该R像素点在RGBIR图像中的位置与该R像素点对应的红色滤光片在RGBIR传感器的阵列中的位置相同。G像素点对应于RGBIR传感器的阵列中的绿色滤光片，对于一个G像素点，该G像素点在RGBIR图像中的位置与该G像素点对应的绿色滤光片在RGBIR传感器的阵列中的位置相同。B像素点对应于RGBIR传感器的阵列中的蓝色色滤光片，对于一个B像素点，该B像素点在RGBIR图像中的位置与该B像素点对应的蓝色滤光片在RGBIR传感器的阵列中的位置相同。IR像素点对应于RGBIR传感器的阵列中的近红外滤光片，对于一个IR像素点，该IR像素点在RGBIR图像中的位置与该IR像素点对应的近红外滤光片在RGBIR传感器的阵列中的位置相同。
在一种具体实施方式中，预处理还可以包括：图像标准化(normalization)。图像标准化可以使得通过图像标准化后得到的相应的图像中的像素值符合某种分布，便于用于处理相应的图像的神经网络对通过图像标准化后得到的相应的图像进行处理。可以对经过暗电平补偿的RGBIR图像进行图像标准化，得到目标RGBIR图像。
步骤102，利用第一神经网络对目标RGBIR图像进行第一处理，得到目标IR图像，和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像。
在本申请中，第一神经网络可以为卷积神经网络，第一处理包括：消除目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值。
由于可见光和近红外光的串扰现象，RGBIR图像中的IR通道像素点的像素值由受近红外光影响的部分即近红外光分量和受可见光影响的部分即可见光分量组成。消除IR通道像素点所对应像素值中的可见光分量，可以得到IR通道像素点所对应像素值中的近红外光分量。
在本申请中，目标IR图像中的每一个像素点的像素值均不具有可见光分量。
对于目标RGBIR图像中的每一个IR通道像素点，目标IR图像包括一个对应于该IR通道像素点的像素点，对应于该IR通道像素点的像素点的像素值为该IR通道像素点所对应像素值中的近红外光分量，对应于该IR通道像素点的像素点在目标IR图像中的位置与该IR通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个R通道像素点，目标IR图像包括一个对应于该R通道像素点的像素点，对应于该R通道像素点的像素点的像素值为预测出的、该R通道像素点在IR通道的像素值，对应于该R通道像素点的像素点在目标IR图像中的位置与该R通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个G通道像素点，目标IR图像包括一个对应于该G通道像素点的像素点，对应于该G通道像素点的像素点的像素值为预测出的、该G通道像素点在IR通道的像素值，对应于该G通道像素点的像素点在目标IR图像中的位置与该G通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个B通道像素点，目标IR图像包括一个对应于该B通道像素点的像素点，对应于该B通道像素点的像素点的像素值为预测出的、该B通道像素点在IR通道的像素值，对应于该B通道像素点的像素点在目标IR图像中的位置与该B通道像素点在目标RGBIR图像中的位置相同。
在本申请中，在利用第一神经网络获取目标IR图像之前，预先利用多个用于训练第一神经网络的图像对训练第一神经网络。
用于训练第一神经网络的图像对包括一个RGBIR图像和一个没有可见光干扰的IR图像。没有可见光干扰的IR图像可以由用于采集没有可见光干扰的IR图像的传感器采集，例如，可以由IR传感器采集没有可见光干扰的IR图像。对于每一个用于训练第一神经网络的图像对，该图像对中的RGBIR图像和没有可见光干扰的IR图像可以通过RGBIR图像传感器、用于采集没有可见光干扰的IR图像的传感器在同一时刻同时拍摄同一个对象得到。在该同一个时刻，RGBIR图像传感器所处的位置与用于采集没有可见光干扰的IR图像的传感器所处的位置相同。在该同一个时刻，该RGBIR图像传感器拍摄该同一个对象，得到该图像对中的RGBIR图像，在该同一个时刻，用于采集没有可见光干扰的IR图像传感器拍摄该同一个对象，得到该图像对中的没有可见光干扰的IR图像。
每一次利用一个用于训练第一神经网络的图像对训练第一神经网络。每一次利用的用于训练第一神经网络的图像对不同。每一次训练第一神经网络，用于训练第一神经网络的图像对中的RGBIR图像作为第一神经网络的输入，用于训练第一神经网络的图像对中的没有可见光干扰的IR图像作为标签即Ground-Truth。第一神经网络学习RGBIR图像和没有可见光干扰的IR图像的关联关系，具体地，第一神经网络可以学习RGBIR图像和没有可见光干扰的IR图像中的相同位置的像素点的像素值的关联关系。
在本申请中，第二神经网络可以为卷积神经网络，第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的该颜色通道像素点所对应像素值中的近红外光分量，以及预测除了该颜色通道像素点之外的像素点在该颜色通道的像素值。
R通道、G通道、B通道均为颜色通道。由于可见光和近红外光的串扰现象，RGBIR图像中的R通道像素点、G通道像素点、B通道像素点的像素值由受可见光影响的部分即可见光分量和受近红外光影响的部分即近红外光分量和组成。
消除R通道像素点所对应像素值中的近红外光分量，可以得到R通道像素点所对应像素值中的可见光分量。消除G通道像素点所对应像素值中的近红外光分量，可以得到G通道像素点所对应像素值中的可见光分量。消除B通道像素点所对应像素值中的近红外光分量，可以得到B通道像素点所对应像素值中的可见光分量。
在本申请中，通过第二处理，可以得到目标R通道图像、目标G通道图像、目标B通道图像，目标R通道图像、目标G通道图像、目标B通道图像组成目标RGB图像。
对于目标RGBIR图像中的每一个R通道像素点，目标R通道图像包括一个对应于该R通道像素点的像素点，该对应于该R通道像素点的像素点的像素值为该R通道像素点所对应像素值中的可见光分量，对应于该R通道像素点的像素点在目标R通道图像中的位置与该R通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个G通道像素点，目标R通道图像包括一个对应于该G通道像素点的像素点，该对应于该G通道像素点的像素点的像素值为预测出的、该G通道像素点在R通道的像素值，对应于该G通道像素点的像素点在目标R通道图像中的位置与该G通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个B通道像素点，目标R通道图像包括一个对应于该B通道像素点的像素点，该对应于该B通道像素点的像素点的像素值为预测出的、该B通道像素点在R通道的像素值，对应于该B通道像素点的像素点在目标R通道图像中的位置与该B通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个IR通道像素点，目标R通道图像包括一个对应于该IR通道像素点的像素点，该对应于该IR通道像素点的像素点的像素值为预测出的、该IR通道像素点在R通道的像素值，对应于该IR通道像素点的像素点在目标R通道图像中的位置与该IR通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个G通道像素点，目标G通道图像包括一个对应于该G通道像素点的像素点，该对应于该G通道像素点的像素点的像素值为该G通道像素点所对应像素值中的可见光分量，对应于该G通道像素点的像素点在目标G通道图像中的位置与该G通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个R通道像素点，目标G通道图像包括一个对应于该R通道像素点的像素点，该对应于该R通道像素点的像素点的像素值为预测出的、该R通道像素点在G通道的像素值，对应于该R通道像素点的像素点在目标G通道图像中的位置与该R通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个B通道像素点，目标G通道图像包括一个对应于该B通道像素点的像素点，该对应于该B通道像素点的像素点的像素值为预测出的、该B通道像素点在G通道的像素值，对应于该B通道像素点的像素点在目标G通道图像中的位置与该B通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个IR通道像素点，目标G通道图像包括一个对应于该IR通道像素点的像素点，该对应于该IR通道像素点的像素点的像素值为预测出的、该IR通道像素点在G通道的像素值，对应于该IR通道像素点的像素点在目标G通道图像中的位置与该IR通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个B通道像素点，目标B通道图像包括一个对应于该B通道像素点的像素点，该对应于该B通道像素点的像素点的像素值为该B通道像素点所对应像素值中的可见光分量，对应于该B通道像素点的像素点在目标B通道图像中的位置与该B通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个R通道像素点，目标B通道图像包括一个对应于该R通道像素点的像素点，该对应于该R通道像素点的像素点的像素值为预测出的、该R通道像素点在B通道的像素值，对应于该R通道像素点的像素点在目标B通道图像中的位置与该R通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个G通道像素点，目标B通道图像包括一个对应于该G通道像素点的像素点，该对应于该G通道像素点的像素点的像素值为预测出的、该G通道像素点在B通道的像素值，对应于该G通道像素点的像素点在目标B通道图像中的位置与该R通道像素点在目标RGBIR图像中的位置相同。
对于目标RGBIR图像中的每一个IR通道像素点，目标B通道图像包括一个对应于该IR通道像素点的像素点，该对应于该IR通道像素点的像素点的像素值为预测出的、该IR通道像素点在B通道的像素值，对应于该IR通道像素点的像素点在目标B通道图像中的位置与该IR通道像素点在目标RGBIR图像中的位置相同。
在本申请中，在利用第二神经网络获取目标RGB图像之前，预先利用多个用于训练第二神经网络的图像对训练第二神经网络。用于训练第二神经网络的图像对包括一个RGBIR图像和一个没有近红外光干扰的RGB图像。没有近红外光干扰的RGB图像由用于采集没有近红外光干扰的RGB图像的传感器采集。例如，可以由RGB传感器采集没有近红外光干扰的RGB图像。
对于每一个用于训练第二神经网络的图像对，该图像对中的RGBIR图像和没有近红外光干扰的RGB图像可以通过RGBIR图像传感器、用于采集没有近红外光干扰的RGB图像的传感器在同一时刻同时拍摄同一个对象得到。在该同一个时刻，RGBIR图像传感器所处的位置与用于采集没有近红外光干扰的RGB图像的传感器所处的位置相同。在该同一个时刻，该RGBIR图像传感器拍摄该同一个对象，得到该图像对中的RGBIR图像，在该同一个时刻，用于采集没有近红外光干扰的RGB图像的传感器拍摄该同一个对象，得到该图像对中的没有近红外光干扰的RGB图像。
每一次利用一个用于训练第二神经网络的图像对训练第二神经网络。每一次利用的用于训练第二神经网络的图像对不同。每一次训练第二神经网络，用于训练第二神经网络的图像对中的RGBIR图像作为第二神经网络的输入，用于训练第二神经网络的图像对中的没有近红外光干扰的RGB图像作为标签。在训练过程中，第二神经网络学习RGBIR图像和没有近红外光干扰的RGB图像的关联关系，具体地，第二神经网络可以学习RGBIR图像和没有近红外光干扰的RGB图像中的相同位置的像素点的像素值的关联关系。
在本申请中，利用第一神经网络和/或第二神经网络完成解马赛克，得到目标IR图像和/或目标RGB图像，在解马赛克过程中，消除目标RGBIR图像中的相应的通道像素点所对应像素值中的作为干扰信息的分量，作为干扰信息的分量为可见光分量或近红外光分量，预测相应的像素点在相应的通道的像素值，在解马赛克过程中，没有利用具有相应的干扰信息的分量像素值进行插值，不会产生插值误差，同时，解马赛克过程由第一神经网络和/或第二神经网络自动完成，无需依赖专家经验，采用手工的方式进行校正，不会产生校正误差，从而，避免插值误差和校正误差对解马赛克的不利影响，提升得到的目标IR图像的图像质量和/或目标RGB图像的图像质量，为后续生成信噪比高、色彩还原度好的IR图像和/或色彩还原度好的RGB图像提供了有利的条件。另一方面，第一神经网络和/或第二神经网络可以消除目标RGBIR图像中的任意一个通道像素点所对应像素值中的作为干扰信息的分量，预测目标RGBIR图像中的任意一个像素点在相应的通道的像素值，不受传感器的色彩滤波阵列的影响，适用于对任意一个RGBIR图像传感器采集的RGBIR图像进行解马赛克。
在一些实施例中，目标IR图像的尺寸与目标RGBIR图像的尺寸一致，目标RGB图像的尺寸与目标RGBIR图像的尺寸一致。
在一些实施例中，消除目标RGBIR图像中的IR通道像素点的像素值的可见光分量，以及预测颜色通道像素点在IR通道的像素值包括：对目标RGBIR图像进行特征提取处理，得到第一特征，第一特征包括：目标RGBIR图像的近红外光波段信息；进行IR图像重建处理，IR图像重建处理包括：基于第一特征，消除IR通道像素点所对应像素值中的可见光分量，得到IR通道像素点所对应像素值中的近红外光分量；基于IR通道像素点所对应像素值中的近红外光分量，预测颜色通道像素点在IR通道的像素值。
在本申请中，第一神经网络可以包括特征提取模块、重建模块。可以由第一神经网络中的特征提取模块对目标RGBIR图像进行特征提取处理，得到第一特征。可以由第一神经网络中的重建模块进行IR图像重建处理。第一神经网络中的特征提取模块可以包括区块、池化层，区块可以包括多个卷积层。第一神经网络中的重建模块可以包括区块、上采样层。第一神经网络中的特征提取模块的输入为目标RGBIR图像，第一神经网络中的特征提取模块的输出为第一特征，第一神经网络中的重建模块的输入为第一特征，第一神经网络中的重建模块的输出为目标IR图像。
在一些实施例中，对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了该颜色通道像素点之外的像素点在该颜色通道的像素值包括：对目标RGBIR图像进行特征提取处理，得到第二特征，第二特征包括：目标RGBIR图像的可见光波段信息；进行RGB图像重建处理，RGB图像重建处理包括：对于每一个颜色通道，基于第二特征，消除目标RGBIR图像中的该颜色通道像素点所对应像素值中的近红外光分量，得到该颜色通道像素点所对应像素值中的可见光分量；基于该颜色通道像素点所对应像素值中的可见光分量，预测除了该颜色通道像素点之外的像素点在该颜色通道的像素值。
在本申请中，第一神经网络可以包括特征提取模块、重建模块。可以由第二神经网络中的特征提取模块对目标RGBIR图像进行特征提取处理，得到第二特征。可以由第二神经网络中的重建模块进行RGB图像重建处理。第二神经网络中的特征提取模块可以包括区块、池化层，区块可以包括多个卷积层。第二神经网络中的重建模块可以包括区块、上采样层。第二神经网络中的特征提取模块的输入为目标RGBIR图像，第二神经网络中的特征提取模块的输出为第二特征，第二神经网络中的重建模块的输入为第二特征，第二神经网络中的重建模块的输出为目标RGB图像。
请参考图2，其示出了适用于第一处理或第二处理的一个结构示意图。
若图2中的结构为用于第一处理的结构，图2中的特征提取模块是指第一神经网络中的特征提取模块，图2中的重建模块是指第一神经网络中的重建模块。若图2中的结构为用于第二处理的结构，图2中的特征提取模块是指第二神经网络中的特征提取模块，图2中的重建模块是指第二神经网络中的重建模块。特征提取模块包括区块1、区块2、池化层。重建模块包括：区块3、区块4、上采样层。特征提取模块的输入即区块1的输入为RGBIR图像。若图2中的结构为用于第一处理的结构，重建模块的输出即区块4的输出为目标IR图像。若图2中的结构为用于第二处理的结构，重建模块的输出为目标RGB图像。
请参考图3，其示出了适用于第一处理或第二处理的另一个结构示意图。
若图3中的结构为用于第一处理的结构，图3中的特征提取模块是指第一神经网络中的特征提取模块，图3中的重建模块是指第一神经网络中的重建模块。若图2中的结构为用于第二处理的结构，图3中的特征提取模块是指第二神经网络中的特征提取模块，图3中的重建模块是指第二神经网络中的重建模块。
特征提取模块包括区块1、区块2、区块3、多个池化层。重建模块包括：区块4、区块5、区块6、多个上采样层。特征提取模块的输入即区块1的输入为RGBIR图像。若图3中的结构为用于第一处理的结构，重建模块的输出即与区块6连接的上采样层的输出为目标IR图像。若图3中的结构为用于第二处理的结构，重建模块的输出为目标RGB图像。
图3中的残差连接为可选的连接，残差连接用于将两个层的输出相加，得到连接结果，该连接结果作为某一个区块的输入。若通过残差连接将与区块1连接的池化层的输出和与区块5连接的上采样层的输出相加，得到的连接结果作为区块6的输入。若通过残差连接将与区块2连接的池化层的输出和与区块4连接的上采样层的输出相加，得到的连接结果作为区块5的输入。
在一些实施例中，在获取目标RGBIR图像之前，还包括：获取多个第一训练图像对，第一训练图像对包括：其中，第一RGBIR训练图像以及第一RGBIR训练图像对应的标签图像，第一RGBIR训练图像对应的标签图像为没有可见光干扰的IR图像，第一RGBIR训练图像对应的标签图像通过对该第一RGBIR训练图像对应的多光谱图像进行第一积分操作得到；利用多个第一训练图像对训练第一神经网络。
在本申请中，可以将用于对第一神经网络进行训练的图像称之为第一RGBIR训练图像。
每一次对第一神经网络进行训练，采用一个第一训练图像对训练第一神经网络。
第一训练图像对包括：第一RGBIR训练图像、该第一RGBIR训练图像对应的标签图像。每一次对第一神经网络进行训练采用的第一训练图像对中的第一RGBIR训练图像不同。
第一RGBIR训练图像对应的标签图像为没有可见光干扰的IR图像，即在第一RGBIR训练图像对应的标签图像中，每一个像素点的像素值均不具有可见光分量。
对于每一个第一RGBIR训练图像，该第一RGBIR训练图像对应的多光谱图像可以描述第一RGBIR训练图像对应的标签图像中的每一个像素点在多个波段的IR响应值，可以对该第一RGBIR训练图像对应的多光谱图像进行第一积分操作，通过第一积分操作，可以对于该第一RGBIR训练图像对应的标签图像中的每一个像素点，根据该像素点在多个波段的IR响应值，确定该像素点的像素值，在确定该第一RGBIR训练图像对应的标签图像中的每一个像素点的像素值之后，即可得到该第一RGBIR训练图像对应的标签图像。
对于每一个第一RGBIR训练图像，可以在预先采集该第一RGBIR训练图像的同时，采集该第一RGBIR训练图像对应的多光谱图像，该第一RGBIR训练图像、该第一RGBIR训练图像对应的多光谱图像可以通过RGBIR图像传感器、多光谱图像传感器在同一时刻同时拍摄同一个对象得到。在该同一个时刻，RGBIR图像传感器所处的位置与多光谱图像传感器所处的位置相同。
在一次训练过程中，将一个第一训练图像对中的第一RGBIR训练图像输入到第一神经网络中，得到第一神经网络输出的预测IR图像。利用平方损失函数计算预测IR图像与该第一RGBIR训练图像对应的标签图像之间的损失。基于预测IR图像与该第一RGBIR训练图像对应的标签图像之间的损失，更新红外光波段信息提取网络的参数的参数值。
第一RGBIR训练图像对应的多光谱图像可以描述第一RGBIR训练图像对应的标签图像中的每一个一个像素点在多个波段的IR响应值，对第一RGBIR训练图像对应的多光谱图像进行第一积分操作，可以精确地确定第一RGBIR训练图像对应的标签图像中的每一个像素点的像素值，得到的第一RGBIR训练图像对应的标签图像的准确度高。
在一些实施例中，获取多个第一训练图像对包括：获取多个不同的场景的第一RGBIR训练图像和多个不同的场景的第一RGBIR训练图像对应的多光谱图像；对于获取到的每一个第一RGBIR训练图像，对该第一RGBIR训练图像对应的多光谱图像进行第一积分操作，得到该第一RGBIR训练图像对应的标签图像；将该第一RGBIR训练图像和该第一RGBIR训练图像对应的标签图像确定为第一训练图像对。
多个不同的场景可以是指多个光照条件不同的场景。对于每一个场景，该场景的第一RGBIR训练图像是指预先在该场景下采集到的第一RGBIR训练图像。对于每一个场景，可以预先在该场景下采集该场景的多个第一RGBIR训练图像，对于该场景的每一个第一RGBIR训练图像，可以在采集该第一RGBIR训练图像的同时，采集该第一RGBIR训练图像对应的多光谱图像。
对于获取到的每一个第一RGBIR训练图像，对该第一RGBIR训练图像对应的多光谱图像进行第一积分操作，得到该第一RGBIR训练图像对应的标签图像，将该第一RGBIR训练图像和该第一RGBIR训练图像对应的标签图像组合为第一训练图像对。
在本申请中，多个第一训练图像对可以包括多个不同的场景的第一RGBIR训练图像和多个不同的场景的第一RGBIR训练图像对应的标签图像，可以利用包括多个不同的场景的第一RGBIR训练图像和多个不同的场景的第一RGBIR训练图像对应的标签图像训练第一神经网络，在完成第一神经网络的训练之后，第一神经网络网络适用于针对在多个场景中的任意一个场景下采集到的RGBIR图像进行处理。
在一些实施例中，在获取目标RGBIR图像之前，还包括：获取多个第二训练图像对，第二训练图像对包括：第二RGBIR训练图像、第二RGBIR训练图像对应的标签图像，其中，该第二RGBIR训练图像对应的标签图像为没有近红外光干扰的RGB图像，该第二RGBIR训练图像对应的标签图像通过对该第二RGBIR训练图像对应的多光谱图像进行第二积分操作得到；利用多个第二训练图像对训练第二神经网络。
在本申请中，可以将用于对第二神经网络进行训练的图像称之为第二RGBIR训练图像。
每一次对第二神经网络进行训练，采用一个第二训练图像对训练第二神经网络。第二训练图像对包括：第二RGBIR训练图像、该第二RGBIR训练图像对应的标签图像。每一次对第二神经网络进行训练采用的第二训练图像对中的第二RGBIR训练图像不同。
第二RGBIR训练图像对应的标签图像为没有近红外光干扰的RGB图像，即在第二RGBIR训练图像对应的标签图像中，每一个像素点的像素值均不具有IR分量。
对于每一个第二RGBIR训练图像，该第二RGBIR训练图像对应的多光谱图像可以描述第二RGBIR训练图像对应的标签图像中的每一个像素点在多个波段的可见光响应值，可以对该第二RGBIR训练图像对应的多光谱图像进行第二积分操作，通过第二积分操作，可以对于该二RGBIR训练图像对应的标签图像中的每一个像素点，根据该像素点在多个波段的可见光响应值，确定该像素点的像素值。在确定第二RGBIR训练图像对应的标签图像中的每一个像素点的像素值之后，即可得到该第二RGBIR训练图像对应的标签图像。
对于每一个第二RGBIR训练图像，可以在预先采集该第二RGBIR训练图像的同时，采集该第二RGBIR训练图像对应的多光谱图像，该第二RGBIR训练图像、该第二RGBIR训练图像对应的多光谱图像可以通过RGBIR图像传感器、多光谱图像传感器在同一时刻同时拍摄同一个对象得到。在该同一个时刻，RGBIR图像传感器所处的位置与多光谱图像传感器所处的位置相同。
在一次训练过程中，将一个第二训练图像对中的第二RGBIR训练图像输入到第二神经网络中，得到第二神经网络输出的预测RGB图像。利用平方损失函数计算预测RGB图像与该第二RGBIR训练图像对应的标签图像之间的损失。基于预测RGB图像与该第二RGBIR训练图像对应的标签图像之间的损失，进行反向传播，更新第二神经网络的参数的参数值。
第二RGBIR训练图像对应的多光谱图像可以描述第二RGBIR训练图像对应的标签图像中的每一个像素点在多个波段的可见光响应值，对第二RGBIR训练图像对应的多光谱图像进行第二积分操作，可以精确地确定第二RGBIR训练图像对应的标签图像中的每一个像素点的像素值，得到的第二RGBIR训练图像对应的标签图像的准确度高。
在一些实施例中，获取多个第二训练图像对包括：获取多个不同的场景的第二RGBIR训练图像和多个不同的第二RGBIR训练图像对应的多光谱图像；对于获取到的每一个第二RGBIR训练图像，对该第二RGBIR训练图像对应的多光谱图像进行第二积分操作，得到该第二RGBIR训练图像对应的标签图像；将该第二RGBIR训练图像和该第二RGBIR训练图像对应的标签图像组合为第二训练图像对。
多个场景可以是指多个光照条件不同的场景。对于每一个场景，该场景的第二RGBIR训练图像是指预先在该场景下采集到的第二RGBIR训练图像。对于每一个场景，可以预先在该场景下采集多个第二RGBIR训练图像，对于该场景的每一个第二RGBIR训练图像，可以在采集该第二RGBIR训练图像的同时，采集该第二RGBIR训练图像对应的多光谱图像。
对于获取到的每一个第二RGBIR训练图像，对该第二RGBIR训练图像对应的多光谱图像进行第二积分操作，得到该第二RGBIR训练图像对应的标签图像，将该第二RGBIR训练图像和该第二RGBIR训练图像对应的标签图像组合为第二训练图像对。
在本申请中，多个第二训练图像对可以包括多个不同的场景的第二RGBIR训练图像和多个不同的场景的第二RGBIR训练图像对应的标签图像，可以利用包括多个不同的场景的第二RGBIR训练图像和多个不同的场景的第二RGBIR训练图像对应的标签图像训练第二神经网络，在完成第二神经网络的训练之后，第二神经网络网络适用于针对在多个场景中的任意一个场景下采集到的RGBIR图像进行处理。
请参考图4，其示出了本申请实施例提供的解马赛克装置的结构框图。解马赛克装置包括：获取单元401，解马赛克单元402。
获取单元401被配置为获取目标RGBIR图像；其中，所述目标RGBIR图像为经过预处理后的RGBIR图像，所述预处理包括暗电平补偿；
解马赛克单元402被配置为利用第一神经网络对所述目标RGBIR图像进行第一处理，得到目标IR图像；和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像；其中，所述第一处理包括：消除所述目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值，所述第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值。
在一些实施例中，解马赛克单元402进一步被配置为对所述目标RGBIR图像进行特征提取处理，得到第一特征，所述第一特征包括：目标RGBIR图像的近红外光波段信息；进行IR图像重建处理，所述IR图像重建处理包括：基于所述第一特征，消除所述IR通道像素点所对应像素值中的可见光分量，得到所述IR通道像素点所对应像素值中的近红外光分量；基于所述IR通道像素点所对应像素值中的近红外光分量，预测所述颜色通道像素点在IR通道的像素值。
在一些实施例中，解马赛克单元202进一步被配置为对目标RGBIR图像进行特征提取处理，得到第二特征，所述第二特征包括：目标RGBIR图像的可见光波段信息；进行RGB图像重建处理，所述RGB图像重建处理包括：对于每一个颜色通道，基于所述第二特征，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，得到所述颜色通道像素点所对应像素值中的可见光分量；基于所述颜色通道像素点所对应像素值中的可见光分量，预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值。
在一些实施例中，目标IR图像的尺寸与目标RGBIR图像的尺寸一致，目标RGB图像的尺寸与目标RGBIR图像的尺寸一致。
在一些实施例中，解马赛克装置包括：
第一训练单元，被配置为在获取目标RGBIR图像之前，获取多个第一训练图像对，第一训练图像对包括：其中，第一RGBIR训练图像以及所述第一RGBIR训练图像对应的标签图像，所述标签图像为没有可见光干扰的IR图像，所述标签图像通过对所述第一RGBIR训练图像对应的多光谱图像进行第一积分操作得到；利用多个第一训练图像对训练第一神经网络。
在一些实施例中，第一训练单元进一步被配置为获取多个不同的场景的第一RGBIR训练图像和多个不同的场景的第一RGBIR训练图像对应的多光谱图像；对于获取到的每一个第一RGBIR训练图像，对所述第一RGBIR训练图像对应的多光谱图像进行第一积分操作，得到所述第一RGBIR训练图像对应的标签图像；将所述第一RGBIR训练图像和所述第一RGBIR训练图像对应的标签图像确定为第一训练图像对。
在一些实施例中，在一些实施例中，解马赛克装置包括：
第二训练单元，被配置为在获取目标RGBIR图像之前，获取多个第二训练图像对，第二训练图像对包括：第二RGBIR训练图像、第二RGBIR训练图像对应的标签图像，其中，所述第二RGBIR训练图像对应的标签图像为没有近红外光干扰的RGB图像，所述第二RGBIR训练图像对应的标签图像通过对所述第二RGBIR训练图像对应的多光谱图像进行第二积分操作得到；利用多个第二训练图像对训练第二神经网络。
在一些实施例中，第二训练单元进一步被配置为获取多个不同的场景的第二RGBIR训练图像和多个不同的场景的第二RGBIR训练图像对应的多光谱图像；对于获取到的每一个第二RGBIR训练图像，对所述第二RGBIR训练图像对应的多光谱图像进行第二积分操作，得到所述第二RGBIR训练图像对应的标签图像；将所述第二RGBIR训练图像和所述第二RGBIR训练图像对应的标签图像组合为第二训练图像对。
在一些实施例中，解马赛克装置还包括：
预处理单元，被配置为获取原始RGBIR图像；对所述原始RGBIR图像进行所述预处理，得到所述目标RGBIR图像。
本申请提供的解马赛克方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由解马赛克装置中的相应的单元完成。解马赛克装置中的各个单元完成的相应的操作的过程参考在解马赛克方法的实施例中描述的相应的操作的过程。
通过解马赛克装置完成解马赛克，可以得到目标IR图像和/或目标RGB图像，在解马赛克过程中，消除目标RGBIR图像中的相应的通道像素点所对应像素值中的作为干扰信息的分量，作为干扰信息的分量为可见光分量或近红外光分量，预测相应的像素点在相应的通道的像素值，在解马赛克过程中，没有利用具有相应的干扰信息的分量像素值进行插值，不会产生插值误差，同时，解马赛克过程由第一神经网络和/或第二神经网络自动完成，无需依赖专家经验，采用手工的方式进行校正，不会产生校正误差，从而，避免插值误差和校正误差对解马赛克的不利影响，提升得到的目标IR图像的图像质量和/或目标RGB图像的图像质量，为后续生成信噪比高、色彩还原度好的IR图像和/或色彩还原度好的RGB图像提供了有利的条件。另一方面，第一神经网络和/或第二神经网络可以消除目标RGBIR图像中的任意一个通道像素点所对应像素值中的作为干扰信息的分量，预测目标RGBIR图像中的任意一个像素点在相应的通道的像素值，不受传感器的色彩滤波阵列的影响，适用于对任意一个RGBIR图像传感器采集的RGBIR图像进行解马赛克。
图5是本实施例提供的一种电子设备的结构框图。电子设备包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件526被配置为执行电子设备的电源管理，一个有线或无线网络接口550被配置为将电子设备连接到网络，和一个输入输出(I/O)接口558。电子设备可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种解马赛克方法，其特征在于，所述方法包括：
获取目标RGBIR图像；其中，所述目标RGBIR图像为经过预处理后的RGBIR图像，所述预处理包括暗电平补偿；
利用第一神经网络对所述目标RGBIR图像进行第一处理，得到目标IR图像；和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像；
其中，所述第一处理包括：消除所述目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值，所述第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值；
在获取目标RGBIR图像之前，所述方法还包括：
获取多个第一训练图像对，第一训练图像对包括：其中，第一RGBIR训练图像以及所述第一RGBIR训练图像对应的标签图像，所述标签图像为没有可见光干扰的IR图像，所述标签图像通过对所述第一RGBIR训练图像对应的多光谱图像进行第一积分操作得到；
利用多个第一训练图像对训练第一神经网络；
在获取目标RGBIR图像之前，所述方法还包括：
获取多个第二训练图像对，第二训练图像对包括：第二RGBIR训练图像、第二RGBIR训练图像对应的标签图像，其中，所述第二RGBIR训练图像对应的标签图像为没有近红外光干扰的RGB图像，所述第二RGBIR训练图像对应的标签图像通过对所述第二RGBIR训练图像对应的多光谱图像进行第二积分操作得到；
利用多个第二训练图像对训练第二神经网络。
2.根据权利要求1所述的方法，其特征在于，所述消除所述目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值包括：
对所述目标RGBIR图像进行特征提取处理，得到第一特征，所述第一特征包括：目标RGBIR图像的近红外光波段信息；
进行IR图像重建处理，所述IR图像重建处理包括：基于所述第一特征，消除所述IR通道像素点所对应像素值中的可见光分量，得到所述IR通道像素点所对应像素值中的近红外光分量；基于所述IR通道像素点所对应像素值中的近红外光分量，预测所述颜色通道像素点在IR通道的像素值。
3.根据权利要求1所述的方法，其特征在于，所述对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值包括：
对目标RGBIR图像进行特征提取处理，得到第二特征，所述第二特征包括：目标RGBIR图像的可见光波段信息；
进行RGB图像重建处理，所述RGB图像重建处理包括：对于每一个颜色通道，基于所述第二特征，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，得到所述颜色通道像素点所对应像素值中的可见光分量；基于所述颜色通道像素点所对应像素值中的可见光分量，预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值。
4.根据权利要求1－3任一项所述的方法，其特征在于，所述目标IR图像的尺寸与所述目标RGBIR图像的尺寸一致，所述目标RGB图像的尺寸与所述目标RGBIR图像的尺寸一致。
5.根据权利要求1所述的方法，其特征在于，获取多个第一训练图像对包括：
获取多个不同的场景的第一RGBIR训练图像和多个不同的场景的第一RGBIR训练图像对应的多光谱图像；
对于获取到的每一个第一RGBIR训练图像，对所述第一RGBIR训练图像对应的多光谱图像进行第一积分操作，得到所述第一RGBIR训练图像对应的标签图像；
将所述第一RGBIR训练图像和所述第一RGBIR训练图像对应的标签图像确定为第一训练图像对。
6.根据权利要求1所述的方法，其特征在于，获取多个第二训练图像对包括：
获取多个不同的场景的第二RGBIR训练图像和多个不同的场景的第二RGBIR训练图像对应的多光谱图像；
对于获取到的每一个第二RGBIR训练图像，对所述第二RGBIR训练图像对应的多光谱图像进行第二积分操作，得到所述第二RGBIR训练图像对应的标签图像；将所述第二RGBIR训练图像和所述第二RGBIR训练图像对应的标签图像组合为第二训练图像对。
7.根据权利要求1所述的方法，其特征在于，获取目标RGBIR图像包括：
获取原始RGBIR图像；
对所述原始RGBIR图像进行所述预处理，得到所述目标RGBIR图像。
8.一种解马赛克装置，其特征在于，所述装置包括：
获取单元，被配置为获取目标RGBIR图像；其中，所述目标RGBIR图像为经过预处理后的RGBIR图像，所述预处理包括暗电平补偿；
解马赛克单元，被配置为利用第一神经网络对所述目标RGBIR图像进行第一处理，得到目标IR图像；和/或，利用第二神经网络对目标RGBIR图像进行第二处理，得到目标RGB图像；
其中，所述第一处理包括：消除所述目标RGBIR图像中的IR通道像素点所对应像素值中的可见光分量，以及预测颜色通道像素点在IR通道的像素值，所述第二处理包括：对于每一个颜色通道，消除目标RGBIR图像中的所述颜色通道像素点所对应像素值中的近红外光分量，以及预测除了所述颜色通道像素点之外的像素点在所述颜色通道的像素值；
第一训练单元，被配置为在获取目标RGBIR图像之前，获取多个第一训练图像对，第一训练图像对包括：其中，第一RGBIR训练图像以及所述第一RGBIR训练图像对应的标签图像，所述标签图像为没有可见光干扰的IR图像，所述标签图像通过对所述第一RGBIR训练图像对应的多光谱图像进行第一积分操作得到；利用多个第一训练图像对训练第一神经网络；
第二训练单元，被配置为在获取目标RGBIR图像之前，获取多个第二训练图像对，第二训练图像对包括：第二RGBIR训练图像、第二RGBIR训练图像对应的标签图像，其中，所述第二RGBIR训练图像对应的标签图像为没有近红外光干扰的RGB图像，所述第二RGBIR训练图像对应的标签图像通过对所述第二RGBIR训练图像对应的多光谱图像进行第二积分操作得到；利用多个第二训练图像对训练第二神经网络。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。
CN202110919874.7A 2021-08-11 2021-08-11 解马赛克方法、装置、电子设备及存储介质 Active CN113781326B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110919874.7A CN113781326B (zh) 2021-08-11 2021-08-11 解马赛克方法、装置、电子设备及存储介质
PCT/CN2022/111227 WO2023016468A1 (zh) 2021-08-11 2022-08-09 解马赛克方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110919874.7A CN113781326B (zh) 2021-08-11 2021-08-11 解马赛克方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113781326A CN113781326A (zh) 2021-12-10
CN113781326B true CN113781326B (zh) 2024-11-22

Family

ID=78837375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110919874.7A Active CN113781326B (zh) 2021-08-11 2021-08-11 解马赛克方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113781326B (zh)
WO (1) WO2023016468A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781326B (zh) * 2021-08-11 2024-11-22 北京旷视科技有限公司 解马赛克方法、装置、电子设备及存储介质
CN115103168B (zh) * 2022-06-27 2024-07-19 展讯通信（上海）有限公司 图像生成方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967668A (zh) * 2016-10-20 2018-04-27 上海富瀚微电子股份有限公司 一种图像处理方法及装置
CN112529775A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI249336B (en) * 2004-11-15 2006-02-11 Ind Tech Res Inst Method and apparatus of color filter array demosaicking for digital image acquisition system
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN104539919B (zh) * 2014-12-31 2017-01-25 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
GB201903816D0 (en) * 2019-03-20 2019-05-01 Spectral Edge Ltd Multispectral image decorrelation method and system
CN109978788B (zh) * 2019-03-25 2020-11-27 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
CN112166455A (zh) * 2019-09-26 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台及机器可读存储介质
CN111667434B (zh) * 2020-06-16 2023-05-09 南京大学 一种基于近红外增强的弱光彩色成像方法
CN113781326B (zh) * 2021-08-11 2024-11-22 北京旷视科技有限公司 解马赛克方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967668A (zh) * 2016-10-20 2018-04-27 上海富瀚微电子股份有限公司 一种图像处理方法及装置
CN112529775A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning based demosaicing and color correction for RGB-IR patterned image sensors;Navinprashath R R等;Society for Imaging Science and Technology 2019;20190131;第31卷(第15期);45-1~45-5 *
基于深度学习的彩色以及近红外图像去马赛克;谢长江等;计算机应用;20191010;2899 -2904 *

Also Published As

Publication number Publication date
CN113781326A (zh) 2021-12-10
WO2023016468A1 (zh) 2023-02-16

Similar Documents

Publication Publication Date Title
US11625815B2 (en) Image processor and method
EP4050558B1 (en) Image fusion method and apparatus, storage medium, and electronic device
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
JP2020144489A (ja) 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および、画像処理システム
CN110557584B (zh) 图像处理方法及装置、计算机可读存储介质
CN110855889B (zh) 图像处理方法、装置、图像处理设备及存储介质
CN113781326B (zh) 解马赛克方法、装置、电子设备及存储介质
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7039183B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112241668B (zh) 图像处理方法、装置及设备
WO2017169039A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN112927162A (zh) 一种面向低照度图像的增强方法及系统
JP5372586B2 (ja) 画像処理装置
CN113744167B (zh) 一种图像数据转换方法及装置
US20090324127A1 (en) Method and System for Automatic Red-Eye Correction
CN117372307B (zh) 一种多无人机协同探测分布式图像增强方法
US20230388667A1 (en) Rgb-nir processing and calibration
CN115699073A (zh) 神经网络支持的相机图像或视频处理流水线
US9516261B2 (en) Real-time false color reduction system and method for color interpolation
KR102599739B1 (ko) 수중 영상 융합 장치 및 이를 이용한 수중 영상 융합 방법
WO2024079532A1 (en) Temporally consistent neural network processing system
US20180152649A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
JP2023546307A (ja) 顔色素検出モデルトレーニングの方法、装置、機器及び記憶媒体
KR101005625B1 (ko) 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
US20230088317A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant