CN113228094A - 图像处理器 - Google Patents

Abstract

一种图像处理器，包括多个处理模块，用于串联运行以完善相机捕捉的原始图像，所述模块包括第一模块和第二模块，其中每个模块独立实现各自经过训练的人工智能模型，其中：所述第一模块执行图像转换操作，即执行以下整套操作中的操作，包括：(i)本质上为像素级的操作，增加输入到所述模块的图像的锐度；(ii)本质上为像素级的操作，降低输入到所述模块的图像的锐度；(iii)本质上为像素块级别的操作，实施于输入到所述模块的图像；所述第二模块总体上执行与上述整套操作不同的操作。

Description

图像处理器

技术领域

本发明涉及数码摄影中的图像形成，尤其涉及使用经过训练的人工智能模型执行图像信号处理器(Image Signal Processor，简称ISP)流水线的各个阶段。

背景技术

数码相机借助图像信号处理器(Image Signal Processor，简称ISP)流水线转换传感器收集的RAW数据为高质量RGB图像。传统上，使用信号处理方法来实现ISP。但是，深度学习的进步给传统ISP的许多图像处理方法带来了最先进的新方法，例如去马赛克和降噪。

如图1所示，实现ISP的标准方法是使用多种信号处理方法进行处理的各个阶段以形成图像。图1示出传统的ISP，所述传统的ISP包括一大套使用多种信号处理方法来实现的操作。这些方法运行很快。但是，这些方法能够生成的图像质量具有一定局限。同时，由于ISP流水线复杂性的增加，使用传统方法设计现代化的ISP流水线变得越来越困难。

通常，ISP有大量需要对新传感器进行调整的曝光参数。因此，传统的方法受限于图像质量和调整所述ISP以生成高质量结果的困难性。

传统方法可能缺少已学习阶段的图像质量。然而，机器学习方法可以借助于大数据集简化优化过程。一些使用人工智能(artificial intelligence，简称AI)的ISP已经被提出。

如E.Schwartz，R.Giryes和A.Bronstein在“深度ISP：学习端到端图像处理流水线”(DeepISP:Learning End-to-End Image Processing Pipeline)一文中所描述的(ArXiv 2018)，深度ISP为单一网络深度学习方法，所述方法接受原始数据并且使用一种简单的方法(双线性插值)作为执行降噪和去马赛克的低层网络的输入。然后，高层网络学习动态范围校正和色调映射。深度ISP将所述ISP建模为单一神经网络。

如陈晨、陈启峰、许佳和Vladlen Koltun在2018年IEEE国际计算机视觉与模式识别(Computer Vision and Pattern Recognition，简称CVPR)大会上的“学习在黑暗中看见”(Learning to See in the Dark)一文中所描述的，SID也是一种单一网络深度学习方法，所述方法接受原始马赛克低照度数据，经由卷积神经网络转换所述数据，生成RGB图像。与深度ISP相似，SID将所述ISP建模为单一神经网络。同时，SID是为极低照度成像场景特别设计的，通过放大因素来调节图像亮度。这一因素依赖于亮度水平和传感器，必须手动调节。

在与ISP相关的众多图像处理技术中，现在，最先进的性能是通过使用深度学习达到的。有必要开发出优化的且与深度学习组件相兼容的ISP，从而生成高质量图像。

发明内容

第一方面，提供了一种图像处理器，包括多个处理模块，用于串联运行以转换相机捕捉的原始图像，所述模块包括第一模块和第二模块，其中每个模块独立实现各自经过训练的人工智能模型，其中：所述第一模块执行图像转换操作，即执行以下整套操作中的操作，包括：(i)本质上为像素级的操作，对输入到所述模块的图像进行去马赛克；(ii)本质上为像素级的操作，对输入到所述模块的图像进行降噪；(iii)本质上为像素块级别的操作，实施于输入到所述模块的图像；所述第二模块作为一个整体执行与上述整套操作不同的操作。

这一方法可以提高图像质量。使用基于深度学习的经过训练的人工智能模型在所述多个模块中执行所需操作，这种方法已经证明在大多图像增强任务中优于传统方法，且所述图像处理器会生成带有最少伪影的高质量图像。

所述图像处理器可以用于在对所述图像进行去马赛克之前执行自动白平衡操作。这项操作调整所述图像的颜色，使得消色梯度显示正确。这样可以提高所述图像的质量。

所述图像处理器可以用于在对所述图像进行降噪之后对所述图像进行去马赛克。在RAW降噪之后进行去马赛克可以提高图像质量。

像素块级别的操作是对一组像素组成的像素块进行的操作。所述像素块可以为连续像素块。所述像素块可以为长方形像素块。所述操作可以接受像素块内的所有像素作为输入。所述操作可以形成像素输出块，所述像素输出块的大小可以与所述输入块的大小一样或不一样。

所述本质上为像素块级别的操作可以包括动态范围压缩。这样可以使得所述图像显示于标准设备。

所述本质上为像素块级别的操作可以包括颜色映射。这样可以调整所述图像的颜色，生成已经色彩校正的RGB图像，所述RGB图像适合在标准设备上显示，例如，每颜色通道256色阶。

所述图像处理器可以呈流水线型，除了所述第一模块之外的每个模块可以用于接受来自上个模块的输入。这样可以使所述图像处理器的操作高效。

所述图像处理器可以用于生成输出，所述输出为输入到所述图像处理器的图像的压缩表示。这样可以减小生成的图像的文件大小，可以更有效地存储图像。

所述图像处理器还包括用于执行多帧降噪的模块。这个阶段合并突发RAW帧以实现降噪，并通过传统图像处理(图像对齐和图像平均)实现。这样可以生成降噪的单个RAW帧。

所述图像处理器还包括用于提高短曝光图像的对比度噪声比的模块。这样可以有助于提高图像质量，尤其在低照度成像的情况下。

所述图像处理器还包括用于增强所述图像内的细节的模块。这样可以进一步提高图像质量。

所述图像处理器还包括用于执行所述图像的超分辨率的模块。这样使得所述图像的分辨率得到提高。

所述图像处理器还可以包括第三模块，所述第三模块独立实现经过训练的人工智能模型，其中，所述第三模块执行上述整套操作中的操作，所述第三模块执行的操作是上述整套操作中的与所述第一和第二模块执行的操作不同的操作。因此，所述图像处理器为带有一小套处理阶段的模块化设计。所述各模块可以是分开的硬件模块。

所述第一和第二模块中的一个模块可以用于对输入到该模块的图像进行降噪，所述第一和第二模块中的另一个模块用于对输入到该模块的图像进行动态范围压缩，其中，所述图像处理器包括又一个模块，所述又一个模块实现经过训练的人工智能模型，且用于对输入到所述又一个模块的图像进行降噪，所述又一个模块和用于执行降噪的所述第一和第二模块中的所述模块呈流水线型排布，因而，所述又一个模块和用于执行降噪的所述第一和第二模块中的所述模块位于所述第一和第二模块中的所述另一个模块的前方和后方。这样可以在流水线上对RAM和RGB图像两者进行降噪，从而可以提高图像质量。

所述图像处理器还包括用于执行图像锐化操作的模块。该模块的输入可以是RGB帧。输出可以是锐化的带有增强的细节的RGB帧。

第二方面，提供一种用于在图像处理器内完善相机捕捉到的原始图像的方法，所述图像处理器包括用于串联运行的多个模块，所述模块包括第一模块和第二模块，其中每个模块独立实现各自经过训练的人工智能模型，其中，所述方法包括：在所述第一模块执行图像转换操作，即执行以下整套操作中的操作，包括：(i)本质上为像素级的操作，对输入到所述模块的图像进行去马赛克；(ii)本质上为像素级的操作，对输入到所述模块的图像进行降噪；(iii)本质上为像素块级别的操作，实施于输入到所述模块的图像；在所述第二模块总体上执行与上述整套操作不同的操作。

这一方法可以提高图像质量。使用基于深度学习的经过训练的人工智能模型在所述多个模块中执行所需操作，这种方法已经证明在大多图像增强任务中优于传统方法，且所述图像处理器会生成带有最少伪影的高质量图像。

AISP也更好地处理变量。数码照片有大量的变量，例如，所述照片可能拍摄于不同的情况下，例如室内/室外、白天/夜间、放大/缩小等，照片内容可能有很大不同。传统算法很难在这些变量中保持一致地运行。但是，通过丰富示例的学习，深度学习方法能够根据图像内容适应性地生成高质量的结果。没有参数要调整(或者要调整的参数有限)。深度学习模型有大量的参数。但是，在训练过程，所述模型自动学习这些参数。

附图说明

现将参考附图通过示例的方式对本发明进行描述。在附图中：

图1示出一种传统的ISP，所述ISP包括一大套使用多种信号处理方法来实现的操作；

图2示出本发明提供的一种图像信号处理器的优选实施例；

图3(a)示出传感器上的标准拜耳模式颜色过滤阵列，在每个像素上，获取蓝色、绿色或红色中的一种颜色，按照这种格式捕捉的图像称为马赛克图像，在图3(b)，所述马赛克图像被填充至四个颜色通道，所述四个颜色通道分别代表颜色R、颜色G1、颜色G2和颜色B，在所述填充格式下，每个颜色通道的空间分辨率为原始马赛克图像分辨率的一半；

图4示出一种RAW降噪器结构，RAW降噪器的一个实施例采用单通道用作输入，并生成单通道输出；

图5示出RAW降噪的输入和结果，图5(a)示出所述输入图像(为去马赛克后以便于可视化)，图5(b)示出降噪后的图像(也为去马赛克后)；

图6示出一种去马赛克网络结构；

图7示出一种去马赛克结果，图7(a)示出输入到去马赛克阶段的图像，图7(b)示出在应用去马赛克网络后生成的RGB图像；

图8示出一种图像均衡器网络结构；

图9示出一种图像均衡器网络的结果，图9(a)示出输入到该阶段的图像(为可视化而增加亮度)，在进行去马赛克之后，RGB图像有很大的动态范围，在可视化时，所述图像的一些部分曝光不足(植物左边的水)，另外一些部分曝光过度(背景里的天空)，图9(b)示出该阶段的输出；

图10示出本发明提供的一种用于在图像处理器内完善相机捕捉的原始图像的示例方法；

图11示出一种相机示例，所述相机用于使用本发明的ISP处理所述相机的图像传感器拍摄的图像。

具体实施方式

本发明涉及使用运用深度学习的支持人工智能的ISP(artificialintelligence-enabledISP，简称AISP)生成最先进的图像质量。

图2示出流水线的优选实施例。所述流水线包括多个模块。所述模块为分开的模块。每个模块用于实现基于深度学习的经过训练的人工智能模型以转换RAW数据为高质量图像。

以下为所述AISP的主要模块：

1)降噪模块，示于图2的20。降噪阶段对数据进行降噪。该阶段可以限于对RAW数据进行降噪，如模块20所示，或者，可选地，该阶段作为RGB数据的附加阶段，如21所示。噪音RAW图像为RAW降噪模块的输入，降噪图像为输出。RGB降噪阶段，如模块21所示，根据相机的ISO设置学习从噪音图像到干净图像的映射。所述模块21的输入可以为带有残余噪音(在RAW降噪和可选的多帧降噪(如下所述)后仍存在的噪音)的RGB帧。所述模块21的输出为降噪的RGB帧。

2)去马赛克模块，示于22。去马赛克阶段插入来自马赛克的值，生成RGB图像。所述去马赛克模块的输入为RAW图像，其中每个像素有红色、绿色或蓝色。输出为RGB图像，其中每个像素有红色、绿色和蓝色。此处为彩色图像。

3)图像均衡器模块，示于23。所述图像均衡器执行动态范围压缩和色调映射以调整图像颜色。所述图像均衡器也可以处理渐晕校正和白平衡。所述模块23的输入为带有很大动态范围和未校正色彩的RGB图像(例如，每颜色通道1024色阶)。输出为已经色彩校正的且动态范围适合在标准设备显示的RGB图像(例如，每颜色通道256色阶)。

这些主要模块在所述流水线中可以按不同的顺序排列。

所述降噪模块20(和可选模块21)、去马赛克模块22以及图像均衡模块23用于执行上述的操作。还有另外的可选阶段。所述可选阶段如下所述。除了多帧降噪阶段之外，这些操作都基于深度学习。

于24所示的用于执行多帧降噪(multi-frame noise reduction，简称MFNR)的模块可以合并突发RAW帧以实现降噪。该阶段是通过传统图像处理(图像对齐和图像平均)实现的。所述模块的输入为突发RAW帧(通常是6-12帧)，输出为降噪后的单个RAW帧。

可选地，对于低照度场景，短/长曝光学习(short/long exposure learning，简称SL learning)模块25转换短曝光图像为长曝光图像。SL学习阶段学习从短曝光图像到长曝光图像的映射。这对于在低照度成像的情况下保持细节尤为重要。该模块的输入为RAW帧，所述RAW帧捕捉于短曝光(以避免运动模糊)。输出为RAW帧，所述RAW帧带有细节，就像用长曝光捕捉的一样。

自动白平衡模块26可以调整图像颜色，因此消色梯度(灰度梯度)显示正确。所述模块的输入为RAW帧，其中每个像素有红色、绿色或蓝色。输出为增益矢量，所述增益矢量调整所述红色和蓝色以生成校正图像。

在模块27中进行的可选的锐化阶段可以用于增加图像中的细节。因为所述AISP的其它部件(SL学习和去马赛克)可以给最终输出的图像提供足够的锐度，所以所述模块是可选的。所述模块的输入是RGB帧。输出的是对比度增强的锐化RGB帧。

所述方法对静态摄影和视频都适用。对于静态摄影，所述流水线的输入可以包括如图2所示的多帧(multi-frame，简称MF)突发RAW图像和元数据。对于视频，所述输入可以为单帧(single-frame，简称SF)RAW文件和元数据，其中，越早输入的帧，时间步数越早。

现在会更详细地描述所述降噪模块、去马赛克模块和图像均衡器模块的操作。

所述降噪阶段可以实现为卷积神经网络(convolutional neural network，简称CNN)。在一个非限制性实施例中，传递到RAW降噪器模块20的所述RAW数据为使用颜色过滤阵列(color filter array，简称CFA)所形成的图像，所述阵列捕捉每个像素上特定颜色的光，例如使用著名的拜耳模式。图3(a)示出传感器上的标准拜耳模式颜色过滤阵列。所述模式有周期性的跨所述图像平铺的2x2马赛克。在每个像素上，获取红色30、绿色31或蓝色32中的一种颜色。按照这种格式捕捉的图像称为马赛克图像。在图3(b)，所述马赛克图像被填充至四个颜色通道，所述四个颜色通道分别代表颜色R、颜色G1、颜色G2和颜色B，且分别编号为33、34、35和36。在所述填充格式下，每个颜色通道的空间分辨率为原始马赛克图像分辨率的一半。

所述RAW降噪器的功能为除去使用所述CFA捕捉的数据的噪音。因此，所述RAW降噪器的输入和输出都会是马赛克图像。通常，所述捕捉到的RAW数据有很大的动态范围，例如，10比特数据，则可以代表红色、绿色或蓝色中的每个颜色的1024个不同的级别。

有许多传统降噪方法。一个简单的降噪方法涉及使用箱式过滤器或高斯过滤器等过滤器进行局部平均。这些方法通过低通滤波完成降噪，所述低通滤波会压制图像内的高频，包括噪音。虽然这些过滤器能有效地降噪，这些过滤器也模糊边缘，所述边缘也为高频。因此，局部平均产生模糊的结果。改良降噪同时保留所述图像内边缘等重要细节的方法已被提出，所述方法包括各向异性扩散、双向滤波和非局部平均等技术。

相较于传统技术，所述AISP使用机器学习并借助卷积神经网络(convolutionalneural network，简称CNN)来处理图像。CCN学习一批过滤器，所述过滤器通过卷积应用于所述图像。所述卷积的设计具有空间不变性，即当所述卷积应用于所述图像内的任何位置，所述卷积的效果相同。但是，应用所述卷积于马赛克图像的一个潜在的问题为：由于所述CFA，所述卷积不再具有空间不变性，例如，把所述过滤器放在蓝色像素的中央的效果可能不同于把所述过滤器放在红色像素的中央的效果。解决这个问题的一个简单方法是把数据填充至类彩色通道，可以使用具有空间不变性的卷积在所述CCN上对每个类彩色通道进行处理。

有很多方法可以实现所述RAW降噪器。一种方法是：将图3(b)所示的所述四个填充通道作为输入，并生成带有四个填充通道的输出，然后所述四个填充通道可以被解包为原始马赛克。另一种方法是：建立CNN，所述CNN接受单通道输入并生成单通道输出。在后面一种情况中，所述CNN对所述四个颜色通道(R、G1、G2和B)中的每一个通道进行处理。当前的实施例使用单输入通道和单输出通道的CNN。

图4示出RAW降噪器CNN设计的优选实施例。所述网络接受单通道输入，通过64个3x3卷积过滤器和ReLU激活对所述输入进行处理。然后17层会对64个输出通道进行处理，采用64个3x3过滤器、批量归一化和修正线性单元(rectified linear unit，简称ReLU)激活执行卷积。所述处理生成输出通道，所述输出通道捕捉所述数据固有的且与降噪任务相关的特征。最后一层回归所述输出。由于所述网络末端的减性跳跃连接，所述输出为图像的噪音的估计值。在推断时间内，输入噪音通道至所述网络，然后所述网络对所述噪音进行估计。将所述噪音从所述噪音通道中减去，生成降噪结果。对原始马赛克图像的四个通道(R、G1、G2和B)都重复所述过程。这样可以生成降噪的马赛克图像。

在训练过程中，所述RAW降噪器学习所述卷积过滤器。这是通过使用训练对来完成的，每个训练对包含噪音图像和干净图像。首先，设置所述卷积过滤器为随机值。将噪音输入输入至所述网络，所述网络回归输出图像。所述回归的输出图像和所述干净图像间的差值构成误差，所述误差随后通过所述网络从所述输出反向传播回所述输入，尽管存在梯度。然后，更新所述网络的权重以减少所述误差。训练过程利用大批量的图像进行迭代，直到所述网络的权重收敛。一旦所述网络完成训练，所述网络可以用于对噪音图像进行降噪。

图5示出一种对图像应用RAW降噪器的示例性结果。图5(a)示出输入的图像(为去马赛克后以便于可视化)。图5(b)示出降噪后的图像(也为去马赛克后)。所述RAW降噪器能够清除噪音，同时保留所述图像的重要细节。

可选的RGB降噪(如上所述)也可以在流水线中执行，生成AISP的变量。例如，可以在去马赛克之前进行RAW降噪。或者，可以在去马赛克之后进行RGB降噪。RAW降噪和RGB降噪可以都执行。其它变化可以是RAW降噪块位于SL学习模块之前，或者RGB降噪模块位于图像均衡器之前。RAW降噪和去马赛克也可以组合成为一个联合的操作。

模块22执行的去马赛克阶段接受如图3所示的马赛克图像作为输入。如上所述，马赛克图像中的每个像素有红色值、绿色值或蓝色值。去马赛克的目的是生成RGB图像，其中每个像素有红色值、绿色值和蓝色值。这是个具有挑战性的问题，因为所述马赛克图像仅包含所述RGB图像三分之一的颜色值。

最简单的去马赛克的传统方法是进行插值，以找到丢失的值，例如，使用双线性插值。这样会产生有效的去马赛克结果且对图像中的低频有效。但是，频率更高时，双线性插值经常产生伪影，例如，杂色和图像边缘缺少，因为所述插值是仅由空间位置而非图像内容引导的。为了达到更好的结果，已经提出更复杂的执行内容感知插值的方法。尽管取得了显著的进步，最好的去马赛克方法依旧在图像的高频区域产生伪影。

AISP深度学习方法学习如何根据图像内容最佳地对所述图像进行去马赛克，但所述图像内容由多个训练对通知。这里，每个训练对包含RAW图像以及其去马赛克的RGB版本。可以很容易创建训练对。给定RGB图像，可以使用图3(a)的拜耳模式对其进行采样以生成马赛克版本。

图6示出去马赛克网络的非限制性实施例。正如RAW降噪器，所述去马赛克网络也包含许多转换数据的层，所述去马赛克网络借助于3x3卷积过滤器。所述去马赛克网络的输入为四通道填充图像，如图3(b)所示。64个3x3卷积过滤所述输入，生成64通道的输出，ReLU激活应用于所述64通道的输出。然后，应用16个残差块，每个残差块由卷积、ReLU激活和卷积组成，通过跳跃连接添加结果到所述输入。残差块是用来帮助更深层的网络进行梯度扩展。每个残差块有64通道的输入且生成64通道的输出。在所述残差块之后，通过长跳跃连接添加全局特征。这样，所述残差块之后所转换的特征图添加到初始卷积之后的特征图。填充图像的分辨率为整个RGB图像的分辨率的一半。因此，所述去马赛克网络包括上采样层，所述上采样层在每个维度(宽和高)上增加两倍的分辨率。这是在所述全局特征添加之后通过64个通道进行的。然后，应用最后的卷积和ReLU激活生成三通道(RGB)的输出。

在训练过程中，如前面所描述的，所述去马赛克网络学习所述卷积过滤器中使用的权重以及使用反向传播的上采样。所述训练过程利用大批量的图像进行迭代，直到所述网络的权重收敛。一旦所述网络完成训练，所述网络可以应用于马赛克图像以生成RGB图像。在AISP中，通常情况下，所述输入为经过RAW降噪的图像。

图7示出一种去马赛克结果。图7(a)示出输入到去马赛克阶段的图像。将马赛克图像可视化为灰度图像，由于在马赛克模式中绿色像素相对于红色像素或蓝色像素有更高的回应，所述图像呈网格状。图7(b)示出在应用去马赛克网络后生成的RGB图像。对鲜艳的颜色进行估计。因为数据在AISP的这个阶段有很大的动态范围，所述输入和输出为了可视化都增加了亮度。

所述去马赛克阶段的输出为干净的、彩色RGB图像。但是，附加的处理必须执行，因为所述图像会有超过标准8比特每颜色通道表示的动态范围。所述标准8比特每颜色通道表示是保存为JPG文件或者显示于设备(例如，智能手机或标准显示器)所需的。图像均衡器模块23的任务是将去马赛克之后的所述图像转换为合适的8比特表示(例如，动态范围压缩)，所述表示带有恰当的亮度、对比度、色彩和曝光。后者尤为重要，因为亮区不能曝光过度，暗区不能曝光不足。

完成这个任务的简单方法包括色调映射和伽马校正等的图像处理步骤。所述技术中的每一个技术应用单个数学公式于所述图像的全局，从而调整整体的亮度/颜色。尽管这样能够有效压缩所述动态范围至8比特，达到可接受的图像质量，但是所述图像可能会存在局部曝光的问题。

所述AISP使用深度学习引导的方法去学习如何根据图像内容最佳地转换所述图像，所述图像内容由训练对通知。这里，所述训练对由去马赛克之后的用作输入的高动态范围RGB图像，和用作输出的8比特较低动态范围RGB图像组成。使用高质量相机捕捉RAW和JPG格式的图像可以生成训练对。RAW文件可以经由所述AISP(例如，RAW降噪和去马赛克)向前发送以生成所述图像均衡器的输入。回归的目标可以是JPG图像。

图8示出图像均衡器网络的非限制性实施例。输入全分辨率输入图像至所述网络。因为所述图像有很大的动态范围，其可见为深色。所述图像均衡器对所述图像执行多尺度分析。因此，所述全分辨率图像缩小为多个较小的分辨率，如图8较小的黑框所示。通过多尺度处理所述图像，所述方法可以适应所述图像中不同的频率内容。在图8的上面部分，根据下采样图像预测系数。所述图像经由多层跨步卷积和修正线性单元(rectified linearunit，简称ReLU)进行转化，从而提取特征。输入这些特征至两条路径。较上面的路径使用多层卷积和ReLU计算下采样图像的局部特征，类似于上述的网络。较低的路径计算全局特征。除了跨步卷积和ReLU之外，这一路径使用全连接层提取所述图像的特征。使用所述两套特征生成双向网格，传递所述网格至下一层。图8底下三行代表引导图，在不同图像分辨率上进行计算。所述指导式构图指导所述网络如何使用所述图像和双向网格进行局部颜色转换。由粗到精地执行推断，在估计全分辨率输出之前，先处理较低的分辨率。

在训练过程中，所述图像均衡器网络学习所述卷积过滤器中使用的权重和全卷积层。所述训练过程利用大批量的图像进行迭代，直到所述网络的权重收敛。一旦所述网络完成训练，所述网络可以应用于高动态范围的RGB图像以生成8比特动态范围图像，所述8比特动态范围图像带有恰当的亮度和颜色。

图9示出一种图像均衡器结果。图9(a)示出输入到该阶段的图像(为可视化而增加亮度)。在进行去马赛克之后，所述RGB图像有很大的动态范围。在可视化时，所述图像的一些部分曝光不足(植物左边的水)，另外一些部分曝光过度(背景里的天空)。图9(b)示出该阶段的输出。所述图像的亮度已经校正完成，改善了颜色和曝光。

图10概述本发明提供的一种用于在图像处理器内完善相机捕捉的原始图像的方法。如上所述，所述图像处理器包括多个用于串联运行的模块，所述模块包括第一模块和第二模块，其中每个模块独立实现各自经过训练的人工智能模型。在步骤1001中，所述方法包括在所述第一模块执行图像转换操作，即执行以下整套操作中的操作，包括：(i)本质上为像素级的操作，对输入到所述模块的图像进行去马赛克；(ii)本质上为像素级的操作，对输入到所述模块的图像进行降噪；(iii)本质上为像素块级别的操作，实施于输入到所述模块的图像。下一步1002包括所述第二模块总体上执行与上述整套操作不同的操作。

图11示出一种相机示例，所述相机用于使用AISP处理所述相机的图像传感器拍摄的图像。此类相机1往往包括一些内置的处理能力。这可以由处理器4提供。所述处理器4也可以用于所述设备的重要功能。

收发器5能够通过网络与其它实体10和11进行通信。这些实体可以在物理上离所述相机1很远。所述网络可以是公开访问的网络，例如，互联网。所述实体10和11可以以云为基础。所述实体10为计算实体。所述实体11为命令和控制实体。这些实体为逻辑实体。在实践中，所述实体中的每个实体可由一个或多个物理设备(例如，服务器和数据存储器)提供。两个或更多的所述实体的功能可以由单个物理设备提供。每个实现实体的物理设备包括处理器和存储器。所述设备也可以包括收发器，所述收发器用于传输数据到所述相机1的收发器5和接收来自所述相机1的收发器5的数据。所述存储器以非瞬时方式存储代码，所述代码可由所述处理器执行以按本文描述的方式实现对应的实体。

所述命令和控制实体11可以训练所述AISP的每个模块中使用的人工智能模型。这往往为一个计算密集的任务，尽管可以高效地描述生成的模型，从而可以高效地在云端执行算法的开发。可以预料，在云端大量能量和计算资源是可获得的。可以预料，这样比在平常的相机上形成所述模型更为高效。

在一种实施方式中，一旦所述深度学习算法已经在所述云端开发，所述命令和控制实体可以自动形成相应的模块，并将其传输至相关的相机设备。在这一示例中，所述相机1中的处理器4实现所述ISP。

在另一种可能的实现方式中，图像可以是由相机传感器2捕捉的，所述收发器5可以发送图像数据至所述云端，以在AISP流水线中对所述数据进行处理。然后，如图11中的12所示，可以将生成的目标图像发送回所述相机1。

因此，所述方法可以以多种方式部署，例如，部署在所述云端中，在所述设备上，或者在专用硬件中。如上所示，云端设备可以执行训练以开发新算法或改进已存在的算法。借助靠近数据语料的计算能力，例如使用推断引擎，所述训练可在靠近源数据处执行，或可在所述云端执行。所述AISP也可在所述相机中、硬件的专用件中或所述云端中实现。

与先前的解决方案不同，所述提出的方法是基于深度学习，所述深度学习是从大数据集中进行学习。所述AISP的各阶段是基于深度卷积神经网络，所述网络以图像为输入，且使用回归生成输出图像。

本文描述的AISP方法也有处理阶段较少的优势。例如，AISP的单个阶段，即图2中的所述图像均衡器模块23，可以学习非线性映射以转换颜色。在传统ISP中，通常情况下，完成颜色转换需要多个阶段，包括：高动态范围压缩、色调映射和饱和度调整。

所述AISP还更好地处理变量。数码照片有大量的变量，例如，所述照片可能拍摄于不同的情况下，例如室内/室外、白天/夜间、放大/缩小等，照片内容可能有很大不同。传统算法很难在这些变量中保持一致地运行。但是，通过丰富示例的学习，深度学习方法能够根据图像内容适应性地生成高质量的结果。

进一步地，要调整的参数有限，且在一些情况下，没有要调整的参数。深度学习模型有大量的参数。但是，在训练过程，所述模型会自动学习这些参数。传统ISP中的组件公开必须进行调整的参数，要么手动进行调整，要么利用算法进行调整。在ISP的前面阶段进行调整的参数会影响后面的所有阶段，使得ISP调整成为一项复杂的任务。

实现本发明所需的硬件也拥有优势。传统的ISP是在专用集成电路(dedicatedapplication-specific integrated circuit，简称ASIC)上实现的。这些电路开发昂贵，且要求设备内包含专用芯片。所述AISP可以在通用的神经处理单元(neural processingunit，简称NPU)上实现，省去所述花费和开发包含于所述设备的定制ISP芯片的复杂性。整条流水线可以在单个芯片上实现。

本文所描述的方法也提高了图像质量。深度学习已证明在大多图像增强任务中优于传统方法。

所述AISP包括多个模块化设计的独立的阶段，所述AISP拥有用于学习SL学习、降噪和锐化等重要操作的专用模块。可以检查中间结果，这一操作有助于对通过所述AISP的数据进行调试和解释。

因此，本文描述的AISP生成带有最少伪影的高质量图像，且所述AISP拥有带有一小套处理阶段的模块化设计。

所述方法对静态摄影和视频都适用。所述AISP主要为正常光线下的图像和低照度图像所设计。

申请方在此单独公开本文描述的每一个体特征及两个或两个以上此类特征的任意组合。以本领域技术人员的普通知识，能够基于本说明书将此类特征或组合作为整体实现，而不考虑此类特征或特征的组合是否能解决本文所公开的任何问题；且不对权利要求书的范围造成。本申请表明本发明的各方面可由任何这类单独特征或特征的组合构成。鉴于前文描述可在本发明的范围内进行各种修改对本领域技术人员来说是显而易见的。

Claims (15)

1.一种图像处理器，其特征在于，包括多个处理模块，用于串联运行以转换相机捕捉的原始图像，所述模块包括第一模块和第二模块，其中每个模块独立实现各自经过训练的人工智能模型，其中：

所述第一模块执行图像转换操作，即执行以下整套操作中的操作，包括：(i)本质上为像素级的操作，对输入到所述模块的图像进行去马赛克；(ii)本质上为像素级的操作，对输入到所述模块的图像进行降噪；(iii)本质上为像素块级别的操作，实施于输入到所述模块的图像；以及

所述第二模块总体上执行与上述整套操作不同的操作。

2.根据权利要求1所述的图像处理器，其特征在于，所述图像处理器用于在对所述图像进行去马赛克之前执行自动白平衡操作。

3.根据权利要求1或2所述的图像处理器，其特征在于，所述图像处理器用于在对所述图像进行降噪之后对所述图像进行去马赛克。

4.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述本质上为像素块级别的操作包括动态范围压缩。

5.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述本质上为像素块级别的操作包括颜色映射。

6.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器呈流水线型，除了所述第一模块之外的每个模块用于接收来自上个模块的输入。

7.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器用于生成输出，所述输出为输入到所述图像处理器的图像的压缩表示。

8.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器还包括用于执行多帧降噪的模块。

9.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器还包括用于提高短曝光图像的对比度噪声比的模块。

10.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器还包括用于增强所述图像内的细节的模块。

11.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器还包括用于执行所述图像的超分辨率的模块。

12.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器还包括第三模块，所述第三模块独立实现经过训练的人工智能模型，其中，所述第三模块执行上述整套操作中的操作，所述第三模块执行的操作是上述整套操作中的与所述第一模块和所述第二模块执行的操作不同的操作。

13.根据权利要求4-11中的任一项所述的图像处理器，其特征在于，所述第一和第二模块中的一个模块用于对输入到所述模块的图像进行降噪，所述第一和第二模块中的另一个模块用于对输入到所述模块的图像进行动态范围压缩，其中，所述图像处理器包括又一个模块，所述又一个模块实现经过训练的人工智能模型，且用于对输入到所述又一个模块的图像进行降噪，其中，所述又一个模块和用于执行降噪的所述第一和第二模块中的所述模块呈流水线型排布，使得所述又一个模块和用于执行降噪的所述第一和第二模块中的所述模块位于所述第一和第二模块中的所述另一个模块的前方和后方。

14.根据上述任意一项权利要求所述的图像处理器，其特征在于，所述图像处理器还包括用于执行图像锐化操作的模块。

15.一种用于在图像处理器内完善相机捕捉到的原始图像的方法，其特征在于，所述图像处理器包括用于串联运行的多个模块，所述模块包括第一模块和第二模块，其中每个模块独立实现各自经过训练的人工智能模型，所述方法包括：

在所述第一模块执行图像转换操作，即执行以下整套操作中的操作，包括：(i)本质上为像素级的操作，对输入到所述模块的图像进行去马赛克；(ii)本质上为像素级的操作，对输入到所述模块的图像进行降噪；(iii)本质上为像素块级别的操作，实施于输入到所述模块的图像；以及

在所述第二模块总体上执行与上述整套操作不同的操作。

Images