CN115314629B - 一种成像方法、系统及摄像机 - Google Patents

Abstract

本申请提供一种成像方法、系统及摄像机，该成像方法包括：获取单个图像传感器在第一工作模式时的输出图像，输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理；当所述图像传感器由第一工作模式切换为第二工作模式时，获取所述图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。该成像方法可以提高图像传感器工作的灵活性，提高成像质量。

Description

一种成像方法、系统及摄像机

技术领域

本申请涉及数据处理技术领域，尤其涉及一种成像方法、系统及摄像机。

背景技术

随着图像传感器技术和图像处理技术的发展，对于光照充足的场景，主流图像处理系统可以获得较高质量的图像。而对于低照度环境，获得的图像容易出现亮度低、噪声大的问题。主流图像处理系统通过增长曝光时间的方式来增加进光量，提高图像亮度，降低图像噪声，但是曝光时间的增长会导致图像中运动区域拖影加重。

如何提高低照度环境下的图像质量成为一个亟待解决的技术问题。

发明内容

有鉴于此，本申请提供一种成像方法、系统及摄像机。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种成像方法，包括：

获取单个图像传感器在第一工作模式时的输出图像，输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理；

当所述图像传感器由第一工作模式切换为第二工作模式时，获取所述图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。

根据本申请实施例的第二方面，提供一种成像系统，包括：控制单元、图像传感器和处理单元；其中：

控制单元，用于确定曝光参数，所述曝光参数包括曝光时间和增益；

图像传感器，用于在第一工作模式时输出图像，该输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

处理单元，用于将所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理；

所述图像传感器，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

根据本申请实施例的第三方面，提供一种摄像机，包括：镜头、图像传感器以及处理器；其中：

所述镜头，用于将入射光处理为入射所述图像传感器的光信号；

所述图像传感器，用于在第一工作模式时，依据所述光信号输出图像，该输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

所述处理器，用于将所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理；

所述图像传感器，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

本申请实施例的提供的成像方法，通过为图像传感器设置多个不同的工作模式，图像传感器在不同工作模式下可以输出不同图像，提高了图像传感器工作的灵活性；当图像传感器在第一工作模式时，通过控制单个图像传感器按照不同曝光时间和增益生成并输出第一图像与第二图像，并将第一图像与第二图像用于处理得到第三图像，提高了成像质量。

附图说明

图1是本申请一示例性实施例示出的一种成像方法的流程示意图；

图2A是本申请一示例性实施例示出的一种成像系统的结构示意图；

图2B~图2E是本申请示例性实施例示出不同增益计算方式的成像系统的结构示意图；

图2F~图2H是本申请示例性实施例示出的不同权重图确定方式的成像系统的结构示意图；

图3A~图3D是本申请示例性实施例示出的增益计算单元计算增益的示意图；

图4A~图4H是本申请示例性实施例示出的权重计算单元依据像素值差异进行滤波处理得到权重图的示意图；

图5是本申请示例性实施例示出的权重计算单元利用运动检测模型得到权重图的示意图；

图6A~图6C是本申请示例性实施例示出的权重计算单元利用目标检测模型得到权重图的示意图；

图7是本申请一示例性实施例示出的一种成像系统的结构示意图；

图8是本申请一示例性实施例示出的一种成像装置的结构示意图；

图9是本申请又一示例性实施例示出的另一种成像装置的结构示意图；

图10是本申请一示例性实施例示出的一种电子设备的硬件结构示意图；

图11是本申请一示例性实施例示出的一种摄像机的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种成像方法的流程示意图，如图1所示，该成像方法可以包括以下步骤：

步骤S100、获取单个图像传感器在第一工作模式时的输出图像，输出图像包括第一图像与第二图像，图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同。

步骤S110、第一图像与第二图像用于处理得到第三图像，该处理至少包括合成处理。

本申请实施例中，考虑到针对不同场景，图像传感器生成满足质量要求的图像的条件会存在不同。

例如，对于环境光强的场景下，较短的曝光时间即可得到亮度合适的图像；而对于环境光弱的场景，则需要增长曝光时间，或者，设置较大的增益，来获得亮度合适的图像。

为了适应不同场景的需求，可以为图像传感器设置多种不同的工作模式，图像传感器处于不同工作模式时，可以按照不同的策略进行图像生成，以在保证图像质量的情况下，提高了图像传感器工作的灵活性。

示例性的，在图像传感器处于第一工作模式时，可以控制单个图像传感器按照不同的曝光参数生成并输出第一图像与第二图像，并通过对第一图像与第二图像进行合成处理，得到第三图像。

示例性的，该曝光参数可以包括曝光时间和传感器增益（简称增益）。

需要说明的是，下文中若未特殊说明，所提及的增益均指代传感器增益。

示例性的，图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同，第一图像与第二图像可以分别保证目标区域的质量，如降低拖影程度，以及保证非目标区域的质量，如提高非目标区域的信噪比，从而，通过将第一图像与第二图像进行合成处理得到第三图像，得到目标区域与非目标区域质量均较佳的合成图像。

步骤S120、当图像传感器由第一工作模式切换为第二工作模式时，获取图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。

本申请实施例中，当图像传感器由第一工作模式切换为第二工作时，图像传感器可以输出第四图像。

示例性的，当图像传感器工作于第二工作模式时，可以不需要对图像传感器输出的连续两帧或多帧第四图像进行合成处理，从而可以降低成像系统的功耗以及计算复杂度。

在图1所示方法流程中，通过为图像传感器设置多个不同的工作模式，图像传感器在不同工作模式下可以输出不同图像，提高了图像传感器工作的灵活性；当图像传感器在第一工作模式时，通过控制单个图像传感器按照不同曝光时间和增益生成并输出第一图像与第二图像，并将第一图像与第二图像用于处理得到第三图像，提高了成像质量。

此外，在本申请实施例中，通过为单个图像传感器设置不同的曝光参数，使单个图像传感器在第一工作模式时，分别依据不同的曝光参数生成并输出第一图像与第二图像，即通过单个图像传感器实现了不同曝光参数的图像生成，简化了成像系统的结构。

在一些实施例中，图像传感器生成第一图像时的曝光时间为第一曝光时间，图像传感器生成第二图像时的曝光时间为第二曝光时间，第一图像曝光时间小于第二图像曝光时间；图像传感器生成第一图像时的增益为第一增益，图像传感器生成第二图像时的增益为第二增益，第一增益大于第二增益。

示例性的，在低照度环境下，可以考虑以增加曝光时间的方式，来提高进光量，进而提高图像亮度，提高图像质量。

然而，当场景中存在可能发生运动的目标，如行人或车辆等，或其它运动物体时，在曝光时间较长的情况下，会出现目标区域拖影程度大的问题，导致图像质量较差，例如，当场景中存在行驶中的车辆时，目标区域拖影程度大会导致车辆的车牌成像质量差。

如果在长短帧图像采集时，以长帧亮度计算增益，并令短帧增益与长帧增益相等，然后在算法处理流程中，对短帧乘以数字增益达到合适亮度，那么该方案并未充分利用传感器增益对噪声的放大程度小于算法处理流程中额外设置的数字增益的特性。

基于上述考虑，图像传感器在采集长短帧图像时，按照曝光时间不同且传感器物理增益不同的成像控制方法来生成第一图像和第二图像，该成像方法能够兼顾提升非目标区域的信噪比问题和避免目标区域的拖影问题，可以分别保障所采集图像的目标区域的成像质量和非目标区域的成像质量。

示例性的，图像传感器生成第一图像时的曝光时间（本文中称为第一曝光时间）可以小于图像传感器生成第二图像时的曝光时间（本文中称为第二曝光时间），以降低第一图像的目标区域的拖影程度，并提高非目标区域的信噪比。

示例性的，如果长短帧图像采集时，长帧增益与短帧增益相等，为了使短帧图像达到合适亮度，需要在后续算法处理对短帧乘以较大的数字增益，将导致短帧图像目标区域的噪声过大，因此，为了降低第一图像（第一图像可以称为短帧）的目标区域的噪声，图像传感器生成第一图像的时的增益（本文中称为第一增益）可以大于图像传感器生成第二图像（第二图像可以称为长帧）时的增益（本文中称为第二增益），从而，可以不需要在后续算法处理对短帧乘以额外的数字增益，或者，只需要乘以较小的数字增益，即可使第一图像达到合适亮度，充分利用传感器增益对噪声的放大程度小于算法处理流程中额外设置的数字增益的特性，降低了第一图像的目标区域的噪声。

从而，将第一图像与第二图像处理得到第三图像时，可以兼顾目标区域与非目标区域的质量，降低目标区域的拖影程度，并提高非目标区域的信噪比，提高低照度环境下的图像质量。

示例性的，图像传感器的增益可以包括模拟增益和/或数字增益。考虑到模拟增益对噪声的放大程度小于数字增益，因此，在控制图像传感器起增益时，可以优先控制图像传感器起模拟增益。

示例性的，第一增益可以包括第一模拟增益和第一数字增益，第一数字增益大于或等于0；第二增益可以包括第二模拟增益和第二数字增益，第二数字增益大于或等于0。

作为一种示例，第一增益大于第二增益可以包括：

第一模拟增益大于第二模拟增益，即生成第一图像和第二图像时，图像传感器均不设置数字增益。

作为另一种示例，第一增益大于第二增益可以包括：

第一模拟增益与第一数字增益之和大于第二模拟增益；第一数字增益大于0，即生成第二图像序列时，图像传感器不设置数字增益。

作为另一种示例，第一增益大于第二增益可以包括：

第一模拟增益与第一数字增益之和大于第二模拟增益与第二数字增益之和；第一数字增益大于0，且第二数字增益大于0。

在一个示例中，第一曝光时间与第二曝光时间的比值为第一比值，第二增益与第一增益的比值为第二比值，第一比值等于第二比值。

示例性的，可以依据第一图像与第二图像的曝光时间比，确定第一图像与第二图像的增益比，并控制第二增益与第一增益的比值（本文中称为第二比值）等于第一曝光时间与第二曝光时间的比值（本文中称为第一比值），即第一增益大于第二增益，从而，针对第一图像设置更大的增益（传感器增益），相应地，就可以减少后续算法处理流程中需要额外设置的数字增益，降低第一图像目标区域的噪声。

在一个示例中，第一曝光时间与第二曝光时间的比值为第一比值，第二增益与第一增益的比值为第二比值，第一比值与第二比值的差异小于10%。

示例性的，可以依据第一图像与第二图像的曝光时间比，确定第一图像与第二图像的增益比，并第一曝光时间与第二曝光时间的比值（本文中称为第一比值）与第二增益与第一增益的比值（本文中称为第二比值）的差异小于10%，以使第一图像与第二图像在合成之前的亮度近似相同，提高合成图像质量。

示例性的，第一比值可以小于第二比值。

在一些实施例中，基于环境光强弱进行第一工作模式与第二工作模式的切换。

示例性的，考虑到当环境光强弱不同时，图像传感器需要按照不同的曝光参数进行图像生成，以保证图像质量，且当环境光较强时，图像传感器生成的图像质量通常可以满足要求，当环境光较弱时，图像传感器生成的图像质量可能会较差，需要进行处理，以提高图像质量，如按照上述实施例中描述的方式进行处理。

示例性的，可以基于环境光强弱进行第一工作模式与第二工作模式的切换。

在一个示例中，可以在环境光弱时，控制图像传感器工作于第一工作模式；在环境光强时，控制图像传感器工作于第二工作模式。

在一些实施例中，步骤S110中，将第一图像与第二图像进行合成处理得到第三图像，可以包括：

基于权重图将第一图像与第二图像进行合成处理得到第三图像；该权重图依据第一图像序列或第二图像序列确定；第一图像序列至少包括一帧第一图像，第二图像序列至少包括一帧第二图像，第一图像序列和第二图像序列根据单个图像传感器在第一工作模式时的输出图像来确定。

示例性的，为了提高图像合成的图像质量提升效果，可以依据图像传感器在第一工作模式输出的第一图像确定第一图像序列，并依据第一图像序列确定用于对第一图像与第二图像进行合成处理的权重图。

或者，可以依据图像传感器在第一工作模式输出的第二图像确定第二图像序列，并依据第二图像序列确定用于对第一图像与第二图像进行合成处理的权重图。

示例性的，第一图像序列包括至少一帧第一图像；第二图像序列至少包括一帧第二图像。

示例性的，可以依据所确定的权重图，将第一图像与第二图像进行合成处理得到第三图像。

示例性的，图像传感器可以交替输出第一图像与第二图像，即图像传感器可以在输出一帧第一图像之后，下一帧输出第二图像，再下一帧又输出第一图像，以此类推。

应该认识到，上述实施例中描述的仅仅是图像传感器生成的图像中第一图像和第二图像的一种输出方式，而并不是对本申请保护范围的限定，本申请实施例第一图像和第二图像也可以为其它输出方式。

在一个示例中，依据第一图像序列确定权重图，可以包括：

第一图像序列包含当前帧第一图像与历史帧第一图像，依据当前帧第一图像与历史帧第一图像的像素值差异确定权重图。

示例性的，历史帧第一图像可以指输出时刻在当前帧第一图像的输出时刻之前的第一图像。

例如，历史帧第一图像可以包括邻近当前帧第一图像的一帧或多帧第一图像。

示例性的，考虑到长短帧融合方案通过长短帧差异以及长短帧亮度计算权重，无法解决由于曝光时间不同导致的频闪灯等震荡现象。

针对上述问题，在本申请实施例中，在第一图像序列中存在至少两帧第一图像的情况下，可以依据当前帧第一图像与历史帧第一图像的像素值差异确定权重图，由于当前帧第一图像与历史帧第一图像的曝光时间相同，因此，可以避免由于曝光时间不同导致的频闪灯等震荡现象，提高低照度环境下物体运动信息检测的准确性和检出率。

示例性的，当前帧第一图像与历史帧第一帧图像可以尽量邻近，以提高合成图像的质量。

在一个示例中，当前帧第一图像与历史帧第一图像为第一图像序列中的相邻帧。

在一个示例中，依据第二图像序列确定权重图，可以包括：

第二图像序列包含当前帧第二图像与历史帧第二图像，依据当前帧第二图像与历史帧第二图像的像素值差异确定所述权重图。示例性的，历史帧第二图像可以指输出时刻在当前帧第二图像的输出时刻之前的第二图像。

例如，历史帧第二图像可以包括邻近当前帧第二图像的一帧或多帧第二图像。

示例性的，考虑到长短帧融合方案通过长短帧差异以及长短帧亮度计算权重，无法解决由于曝光时间不同导致的频闪灯等震荡现象。

针对上述问题，在本申请实施例中，在第二图像序列中存在至少两帧第二图像的情况下，可以依据当前帧第二图像与历史帧第二图像的像素值差异确定权重图，由于当前帧第二图像与历史帧第二图像的曝光时间相同，因此，可以避免由于曝光时间不同导致的频闪灯等震荡现象，提高低照度环境下物体运动信息检测的准确性和检出率。

示例性的，当前帧第二图像与历史帧第二帧图像可以尽量邻近，以提高合成图像的质量。

在一个示例中，当前帧第二图像与历史帧第二图像为第二图像序列中的相邻帧。

需要说明的是，在本申请实施例中，除了可以按照上述方式依据当前帧第一图像与历史帧第一图像的像素值差异确定权重图，或者，依据当前帧第二图像与历史帧第二图像的像素值差异确定权重图之外，还可以依据当前帧第一图像与历史帧第一图像的像素值差异以及第二图像与历史帧第二图像的像素值差异确定权重图。

例如，可以依据当前帧第一图像与历史帧第一图像的像素值差异确定对应的权重图（假设为权重图1），依据当前帧第二图像与历史帧第二图像的像素值差异确定对应的权重图（假设为权重图2），并依据权重图1和权重图2，确定最终的权重图。

例如，可以对权重图1和权重图2进行融合，如进行加权，确定最终的权重图。

此外，还可以分别对当前帧第一图像与当前帧第二图像进行加权，得到当前帧加权图像，以及，对历史帧第一图像与历史帧第二图像进行加权，得到历史帧加权图像，并依据当前帧加权图像与历史帧加权图像，确定权重图。

在一个示例中，依据像素值差异确定权重图，可以包括：

利用像素值差异进行滤波处理得到权重图。

示例性的，可以通过对像素值差异进行滤波处理的方式得到权重图。

例如，以依据第一图像序列包含的当前帧第一图像与历史帧第一图像的像素值差异确定权重图为例，可以将当前帧第一图像与历史帧第一图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，并依据各像素点的残差均值，通过阈值化的手段将残差均值转化为权重图。

在另一个示例中，依据像素值差异确定权重图，可以包括：

将像素值差异送入预先训练好的卷积神经网络得到权重图，该预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到权重图。

示例性的，为了提高运动检测的效率和准确性，可以预先训练用于对输入的像素值差异进行运动检测得到权重图的卷积神经网络模型（可以称为运动检测模型），当按照上述方式确定了像素差异值时，可以将所确定的像素差异值输入该预先训练好的运动检测模型，得到对应的权重图。

例如，以依据第二图像序列包含的当前帧第二图像与历史帧第二图像的像素值差异确定权重图为例，可以将当前帧第二图像与历史帧第二图像的像素值差异输入预先训练好的运动检测模型，得到对应的权重图。

又例如，以依据当前帧第一图像与历史帧第一图像的像素值差异以及第二图像与历史帧第二图像的像素值差异确定权重图为例，可以分别将当前帧第一图像与历史帧第一图像的像素值差异输入预先训练好的运动检测模型，得到对应的权重图（假设为权重图1），以及，将当前帧第二图像与历史帧第二图像的像素值差异输入预先训练好的运动检测模型，得到对应的权重图（假设为权重图2），并依据权重图1与权重图2，得到最终的权重图。

在一些实施例中，还可以通过对图像进行目标检测，确定图像中关键目标的位置信息，并依据图像中关键目标的位置信息确定权重图，从而，通过至少一帧图像即可得到合成权重，节省缓存与计算量消耗。

示例性的，关键目标可以包括但不限于车辆、行人、动物或信号灯等。

在一个示例中，依据第一图像序列确定权重图，可以包括：

第一图像序列为第一图像，依据第一图像中的关键目标的位置信息确定权重图。

示例性的，可以对第一图像进行目标检测，确定第一图像中的关键目标的位置信息，并依据第一图像中的关键目标的位置信息确定权重图。

在一个示例中，依据第二图像序列确定权重图，可以包括：

第二图像序列为第二图像，依据第二图像中的关键目标的位置信息确定权重图。

示例性的，可以对第二图像进行目标检测，确定第二图像中的关键目标的位置信息，并依据第二图像中的关键目标的位置信息确定权重图。

需要说明的是，在本申请实施例中，除了可以按照上述方式中描述的依据第一图像中的关键目标的位置信息确定权重图，或，依据第二图像中的关键目标的位置信息确定权重图之外，还可以依据第一图像中的关键目标的位置信息与第二图像中的关键目标的位置信息确定权重图。

例如，可以分别对第一图像进行目标检测，确定第一图像中的关键目标的位置信息，以及对第二图像进行目标检测，确定第二图像中的关键目标的位置信息，并依据第一图像中的关键目标的位置信息与第二图像中关键目标的位置信息确定权重图。

在一个示例中，依据关键目标的位置信息确定权重图，可以包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述权重图。

示例性的，为了提高目标检测的准确性，可以预先训练用于对输入的图像进行目标检测并得到权重图的卷积神经网络模型（可以称为目标检测模型），并利用训练好的目标检测模型确定权重图。

例如，以依据第一图像中的关键目标的位置信息确定权重图为例，可以将第一图像输入预先训练好的目标检测模型，得到对应的权重图。

又例如，以依据第一图像中的关键目标的位置信息与第二图像中关键目标的位置信息确定权重图为例，可以分别将第一图像输入预先训练好的目标检测模型，得到对应的权重图（假设为权重图1），以及，将第二图像输入预先训练好的目标检测模型，得到对应的权重图（假设为权重图2），并依据权重图1和权重图2，确定最终的权重图。

在一些实施例中，将第一图像与第二图像进行处理得到第三图像，可以包括：

依据权重图中各像素位置的配置权重，对第一图像与第二图像的各像素值进行加权处理，得到第三图像；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

示例性的，当按照上述方式得到用于对第一图像与第二图像进行合成的权重图时，可以依据权重图中各像素位置的配置权重，对第一图像与第二图像的各像素值进行加权处理，得到第三图像。

例如，可以依据权重图，按照以下公式对第一图像与第二图像进行处理得到第三图像：

img_fus=(img_1*alpha+img_2*(n-alpha))/n

其中，img_fus表示合成图像（即第三图像），img_1表示第一图像，img_2表示第二图像，alpha表示权重图， n表示归一化权重。

在一个示例中，将第一图像与第二图像进行处理得到第三图像，可以包括：

当第一图像的平均亮度与第二图像的平均亮度不同时，在进行合成处理之前将第一图像的平均亮度调整为与第二图像的平均亮度相同。

示例性的，考虑到宽动态合成方案为了保证合成图像动态范围高于合成前图像，必须保证长短帧亮度不同，其限制了方案适用场景，而本申请实施例提供的成像方案在解决低照度图像噪声大问题时，并不需要限制长短帧的亮度不同。

示例性的，为了提高合成图像的质量，可以尽量保证第一图像与第二图像的平均亮度相同。

需要说明的是，本申请实施例中所提及的平均亮度相同并不要求平均亮度严格相等，其允许存在可以容忍的偏差，即若第一图像的平均亮度和第二图像的平均亮度之差在预设差值范围内，则可以认为第一图像的平均亮度和第二图像的平均亮度相同；若第一图像的平均亮度和第二图像的平均亮度之差未在预设差值范围内，则可以认为第一图像的平均亮度和第二图像的平均亮度不同。

示例性的，当第一图像的平均亮度与第二图像的平均亮度不同时，可以在对第一图像与第二图像进行合成处理之前，将第一图像的平均亮度调整为与第二图像的平均亮度相同。

作为一种示例，可以通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像的平均亮度相同。

例如，假设第一图像的平均亮度为L1，第二图像的平均亮度为L2，则可以通过将第一图像乘以L2/L1的方式，使第一图像的平均亮度与第二图像的平均亮度相同。

在一些实施例中，上述第一增益与第二增益可以通过以下方式确定：

依据第一图像的亮度信息，确定第一增益；

依据第一增益，以及第二曝光时间与第一曝光时间的比值，确定第二增益。

示例性的，为了使合成图像中目标区域的亮度处于较合适水平，在进行增益计算时，可以依据图像传感器输出的第一图像的亮度信息，确定对应的增益（即第一增益），并依据第一增益，以及第一曝光时间和第二曝光时间的比值，确定第二图像对应的增益（即第二增益）。

需要说明的是，在本申请实施例中，也可以依据图像传感器输出的第二图像的亮度信息，计算得到第二增益，并依据第二增益，第二曝光时间与第一曝光时间的比值，确定第一增益。

在一些实施例中，上述第一增益与第二增益可以通过以下方式确定：

依据第三图像的亮度信息，确定第二增益；

依据第二增益，以及第二曝光时间与第一曝光时间的比值，确定第一增益。

示例性的，为了提高非目标区域的信噪比，可以依据第三图像的亮度信息，计算第二增益，并依据第二增益，第二曝光时间与第一曝光时间的比值，确定第一增益。

在一些实施例中，上述第一增益与第二增益可以通过以下方式确定：

依据第一图像的亮度信息，确定第一增益；以及，依据第二图像的亮度信息，确定第二增益。

示例性的，为了提高增益控制的精确性，可以分别依据第一图像序列的亮度信息确定第一增益，以及，依据第二图像序列的亮度信息确定第二增益。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

请参见图2A，本申请实施例提供的成像系统可以包括控制单元、图像传感器、权重计算单元以及处理单元。

需要说明的是，在实际应用中，权重计算单元可以作为处理单元的一个功能子单元，即权重计算也可以作为处理单元的一个功能，由处理单元实现权重计算功能。

如图2A所示，控制单元可以依据第一图像的亮度信息进行增益计算，或，依据第二图像的亮度信息进行增益计算，或，依据第三图像的亮度信息进行增益计算，或，分别依据第一图像的亮度信息和第二图像的亮度信息进行增益计算。

权重计算单元可以依据第一图像进行权重图确定，或，可以依据第二图像进行权重图确定，或，可以依据第一图像与第二图像进行权重图确定。

需要说明的是，控制单元进行增益计算的各种不同实现方式可以与权重计算单元确定权重图的各种不同实现方式灵活组合。

例如，控制单元可以依据第一图像的亮度信息进行增益计算（即得到第一增益），依据该第一增益，以及曝光时间比，确定第二增益；权重计算单元依据第一图像确定权重图。

如图2A所示，为了提高低照度条件下图像质量，通过控制单元得到曝光参数，该曝光参数可以包括曝光时间与增益；图像传感器在第一工作模式时，可以根据该曝光参数交替生成并输出第一图像与第二图像，图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；权重计算单元可以根据第一图像与第二图像中的至少一帧图像进行权重计算，得到权重图；处理单元可以根据上述权重图对第一图像与第二图像进行合成处理，输出第三图像。

示例性的，权重计算单元可以依据当前帧第一图像与历史帧第一图像的像素差异进行权重计算，得到权重图；或，依据当前帧第二图像与历史帧第二图像的像素差异进行权重计算，得到权重图。

当图像传感器由第一工作模式切换为第二工作模式时，图像传感器可以输出第四图像。

该方法能够大幅改善低照度条件下图像噪声大的问题，提高低照度条件下的图像质量。

下面基于图2A，对本申请实施例提供的技术方案进行详细说明。

一、主要技术特征

1、控制单元

1.1、控制单元：生成曝光参数，该曝光参数包括增益与曝光时间。

1.2、控制单元：当图像传感器在第一工作模式时，曝光时间包括第一曝光时间与第二曝光时间。

1.3、控制单元：当图像传感器在第一工作模式时，增益包括第一增益与第二增益。

1.4、控制单元：第一曝光时间小于第二曝光时间。

1.5、控制单元：第一增益大于第二增益。

2、图像传感器

2.1、图像传感器：在第一工作模式时，依据控制单元生成的曝光参数，生成第一图像与第二图像。

3、权重计算单元

3.1、权重计算单元：依据第一图像与第二图像中的至少一帧图像进行权重计算，得到权重图。

4、处理单元

4.1、处理单元：至少包括合成处理。

4.2、处理单元：合成处理包括依据权重计算单元计算得到的权重图，对第一图像与第二图像进行合成，输出合成图像（即第三图像）。

二、其他技术特征

1、控制单元

1.6、控制单元：依据第一图像计算出第一增益，依据第一增益、第二曝光时间与第一曝光时间的比值，计算出第二增益；

或，依据第二图像计算出第二增益，依据第二增益、第二曝光时间与第一曝光时间的比值，计算出第一增益；

或，依据第三图像计算出第二增益，依据第二增益、第二曝光时间与第一曝光时间的比值，计算出第一增益；

或，依据第一图像计算出第一增益，依据第二图像计算出第二增益。

1.7、控制单元：第一增益包括第一模拟增益与第一数字增益；第二增益包括第二模拟增益与第二数字增益。

示例性的，第一数字增益大于或等于0，第二数字增益大于或等于0。

1.8、控制单元：第一模拟增益大于或等于第二模拟增益。

2、图像传感器

2.2、图像传感器：在第一工作模式时，交替生成并输出第一图像与第二图像中的图像。

2.3、图像传感器：依据第一曝光时间与第一增益生成第一图像序列，依据第二曝光时间与第二增益生成第二图像序列。

3、权重计算单元

3.2、权重计算单元：依据当前帧图像与历史帧图像的像素值差异计算出权重图；

3.3、权重计算单元：依据当前帧第一图像与历史帧第一图像的像素值差异，得到权重图；

或，依据当前帧第二图像与历史帧第二图像的像素值差异，得到权重图；

或，上述两种权重图加权得到权重图；

或，对当前帧第一图像与当前帧第二图像进行加权，得到当前帧加权图像，以及，对历史帧第一图像与历史帧第二图像进行加权，得到历史帧加权图像，依据当前帧加权图像与历史帧加权图像的像素值差值，得到权重图。

3.4、权重计算单元：上述当前帧图像与历史帧图像尽可能邻近。

3.5、权重计算单元：用于确定权重图的图像至少应包括当前帧第一图像和当前帧第二图像中的任意一帧图像；

3.6、权重计算单元：依据第一图像进行目标检测得到权重图；

或，依据第二图像进行目标检测得到权重图。

或，上述两种权重图加权得到权重图。

4、处理单元

4.3、处理单元：进行合成处理的第一图像与第二图像的平均亮度相同。

4.4、处理单元：依据权重图对第一图像与第二图像进行加权处理，得到第三图像，最终输出第三图像。

4.5、处理单元：第三图像的目标区域优先选用第一图像。

4.6、处理单元：目标区域至少为图像中的物体运动区域、图像中例如行人、车辆、动物或信号灯等关键目标区域的一种区域。

下面结合实施例对上述特征进行说明。

实施例一

控制单元确定曝光参数。

示例性的，当图像传感器在第一工作模式时，曝光参数包括第一曝光时间和第二曝光时间，第一增益和第二增益，第一曝光时间小于第二曝光时间；第一增益大于第二增益。

图像传感器在第一工作模式时，输出第一图像和第二图像；图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同。

示例性的，按照第一曝光时间与第一增益生成并输出第一图像；按照第二曝光时间与第二增益生成并输出第二图像。

处理单元将第一图像与第二图像进行处理得到第三图像，该处理至少包括合成处理。

实施例二

控制单元依据环境光强弱控制图像传感器进行第一工作模式与第二工作模式的切换。

示例性的，在环境光弱时，控制图像传感器切换为第一工作模式；在环境光强时，控制图像传感器切换为第二工作模式。

当图像传感器在第一工作模式时，输出第一图像和第二图像；图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

示例性的，按照第一曝光时间与第一增益生成并输出第一图像；按照第二曝光时间与第二增益生成并输出第二图像。

处理单元将第一图像与第二图像处理得到第三图像。

当图像传感器在第二工作模式时，输出第四图像。

处理单元对该第四图像进行输出。

下面分别对各单元进行说明。

1、控制单元

控制单元的作用是确定曝光参数。

示例性的，曝光参数可以包括增益与曝光时间。

示例性的，当图像传感器在第一工作模式时，增益可以包括第一增益与第二增益，曝光时间可以包括第一曝光时间与第二曝光时间。

示例性的，控制单元控制第一曝光时间小于第二曝光时间。

示例性的，控制单元通过增益计算单元计算第一增益与第二增益。

示例性的，增益计算单元可选择的依据第一图像、第二图像、第三图像，以及第二曝光时间与第一曝光时间的比值，计算出第一增益与第二增益。

示例性的，第一增益大于第二增益。

示例性的，第一增益与第二增益可以分别包括模拟增益与数字增益；其中，模拟增益对噪声的放大程度小于数字增益。

需要说明的是，目前宽动态成像方案中为了保证最终图像的高动态范围要求其长短曝光图像传感器增益相同，并未充分利用上述模拟增益的优势。

本申请实施例利用上述优势的可行实施例包括：

实施例三

请参见图2B和图3A，增益计算单元依据第一图像的亮度信息计算出第一增益gain1，并依据第二曝光时间exp_tim2与第一曝光时间exp_tim1的比值，通过如下公式计算出第二图像增益：

gain2=gain1 / (exp_tim2 / exp_tim1)

实施例四

请参见图2C和图3B，增益计算单元依据第二图像的亮度信息计算出第二增益gain2，并依据第二曝光时间exp_tim2与第一曝光时间exp_tim1的比值，通过如下公式计算出第一图像增益gain1。

gain1=gain2*(exp_tim2 / exp_tim1)

gain1=max (gain1，max_sensor_gain)

其中，max_sensor_gain表示传感器最大增益，max（x，y）为取x和y中的最大值。

实施例五

请参见图2D和图3C，增益计算单元依据合成图像（即第三图像）的亮度信息计算出第二增益gain2，并依据第二曝光时间exp_tim2与第一曝光时间exp_tim1的比值，通过如下公式计算出第一图像增益gain1。

gain1=gain2*(exp_tim2 / exp_tim1)

gain1=max(gain1，max_sensor_gain)

其中max_sensor_gain表示传感器最大增益，max（x，y）为取x和y中的最大值。

实施例六

请参见图2E和图3D，增益计算单元依据第一图像的亮度信息计算出第一增益gain1，以及，依据第二图像的亮度信息计算出第二增益gain2。

2、图像传感器

图像传感器用于生成图像序列。

示例性的，图像传感器在第一工作模式时，可以依据第一曝光时间与第一增益生成第一图像，依据第二曝光时间与第二增益生成第二图像。

图像传感器在第二工作模式时，可以生成第四图像。

实施例七

图像传感器在第一工作模式时，通过分时曝光的方法生成第一图像与第二图像。

示例性的，图像传感器可以交替输出第一图像和第二图像，得到第一图像序列和第二图像序列，第一图像序列由图像传感器生成的奇数帧图像组成，第二图像序列由图像传感器生成的偶数帧图像组成。

示例性的，奇数帧的曝光时间与第一曝光时间相等，增益与第一增益相等；偶数帧的曝光时间与第二曝光时间相等，增益与第二增益相等。

3、权重计算单元

权重计算单元的主要作用是通过至少使用运动检测、目标检测中的一种技术得到权重图。

示例性的，权重图至少表示物体运动信息，以及行人、车辆、动物或信号灯等关键目标位置信息中的一种。

实施例八

请参见图2G和图4A，权重计算单元对第一图像序列中不同时刻的至少两帧图像差异进行运动检测，得到权重图。

示例性的，以两帧为例，如图4A所示，当前帧第一图像为第一图像序列中的当前时刻图像（即第一图像序列中当前参与图像合成的第一图像），历史帧第一图像（可以称为第五图像）为第一图像序列中的更早时刻图像。

示例性的，如图4A所示，可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理。

示例性的，邻域大小本申请实施例不做限定。

通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图。

实施例九

请参见图2H和图4B，权重计算单元对第二图像序列中不同时刻的至少两帧图像差异进行运动检测，得到权重图。

示例性的，以两帧为例，如图4B所示，当前帧第二图像为第二图像序列中的当前时刻图像（即第二图像序列中当前参与图像合成的第二图像），历史帧第二图像为第二图像序列中的更早时刻图像（可以称为第六图像）。

示例性的，如图4B所示，可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理。

示例性的，邻域大小本申请实施例不做限定。

通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图。

实施例十

请参见图2H和图4C，权重计算单元对第一图像与第二图像差异进行运动检测，得到权重图。

示例性的，如图4C所示，可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理。

示例性的，邻域大小本申请实施例不做限定。

通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图。

本申请实施例中，还可以对按照上述方式得到的权重图进行融合的方式，得到参与融合的权重图中包括的物体运动信息的全集，作为最终的权重图（即上述融合权重图）。

实施例十一

将实施例八与实施例九进行组合，对实施例八与实施例九各自确定的权重图进行融合处理，得到两者物体运动信息的全集，作为最终的权重图。

一种组合方式如下：

请参见图2H和图4D，一方面，权重计算单元可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的权重图。

实施例十

将实施例八与实施例九进行组合，对实施例八与实施例九各自确定的权重图进行融合处理，得到两者物体运动信息的全集，作为最终的权重图。

另一种组合方式如下：

请参见图2H和图4E，权重计算单元可以依据第一图像和第二图像进行加权得到第七图像（即上述当前帧加权图像），并依据第五图像和第六图像进行加权得到第八图像（即上述历史帧加权图像）。

权重计算单元可以将第七图像与第八图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图。

实施例十三

将实施例八与实施例十进行组合，对实施例八与实施例十各自确定的权重图进行融合处理，得到两者物体运动信息的全集，作为最终的权重图。

请参见图2H和图4F，一方面，权重计算单元可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的权重图。

实施例十四

将实施例九与实施例十进行组合，对实施例九与实施例十各自确定的权重图进行融合处理，得到两者物体运动信息的全集，作为最终的权重图。

请参见图2H和图4G，一方面，权重计算单元可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的权重图。

实施例十五

将实施例八~实施例十进行组合，对实施例八~实施例十各自确定的权重图进行融合处理，得到三者物体运动信息的全集，作为最终的权重图。

请参见图2H和图4H，一方面，权重计算单元可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

再者，权重计算单元可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图3。

权重计算单元可以对权重图1、权重图2和权重3进行融合，得到最终的权重图。

实施例十六

对于实施例八~实施例十五中任一实施例，可以通过用于对输入图像进行运动检测并得到权重图的卷积神经网络（即运动检测模型）替代减法单元与残差累计单元，通过卷积神经网络估算得到权重图。

以实施例八所示权重计算为例，可以将第一图像与第五图像输入到预先训练的运动检测模型，通过该预先训练的运动检测模型估算得到权重图，其示意图可以如图5所示。

实施例十七

利用预先训练的用于对输入图像进行目标检测并得到权重图的卷积神经网络模型（即目标检测模型），对第一图像和第二图像中的至少一帧图像进行目标检测，得到关键目标的位置信息，作为权重图。

以对第一图像进行目标检测为例，请参见图2F和图6A，可以将第一图像输入预先训练的目标检测模型，利用该目标检测模型对第一图像进行目标检测，得到第一图像中关键目标的位置信息，作为权重图。

实施例十八

利用预先训练的用于对输入图像进行目标检测并得到权重图的卷积神经网络模型（即目标检测模型），对第一图像和第二图像中的至少一帧图像进行目标检测，得到关键目标的位置信息，作为权重图。

以对第二图像进行目标检测为例，请参见图2G和图6B，可以将第二图像输入预先训练的目标检测模型，利用该目标检测模型对第二图像进行目标检测，得到第二图像中关键目标的位置信息，作为权重图。

实施例十九

利用预先训练的用于对输入图像进行目标检测并得到权重图的卷积神经网络模型（即目标检测模型），对第一图像和第二图像中的至少一帧图像进行目标检测，得到目标位置信息，作为权重图。

以对第一图像和第二图像进行目标检测为例，请参见图2H和图6C，可以分别将第一图像输入到预先训练的目标检测模型，利用该目标检测模型对第一图像进行目标检测，得到第一图像中关键目标的位置信息，作为权重图1；以及，将第二图像输入预先训练的目标检测模型，利用该目标检测模型对第二图像进行目标检测，得到第二图像中关键目标的位置信息，作为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的权重图。

4、处理单元

处理单元的主要作用是依据权重计算单元输出的权重图对第一图像序列与第二图像序列进行合成，输出合成图像序列。

示例性的，合成图像序列目标区域优先选用第一图像序列，非目标区域使用第一图像序列与第二图像序列加权，达到图像目标区域清晰无拖影，同时非目标区域信噪比显著提升的目的。

示例性的，目标区域既可以指代图像中的物体运动区域，也可以是图像中的关键信息，例如行人、车辆、动物或信号灯等。

示例性的，在对第一图像与第二图像进行合成处理之前，处理单元需保证第一图像与第二图像的平均亮度相同。

实施例二十

第一图像的平均亮度与第二图像平均亮度相同时：

处理单元根据以下公式对第一图像与第二图像进行合成：

img_fus=(img_1*alpha+img_2*(n-alpha))/n

其中，img_fus表示合成图像，img_1表示第一图像，img_2表示第二图像，alpha表示权重图， n表示归一化权重。

实施例二十一

第一图像的平均亮度与第二图像的平均亮度不相同时：

处理单元将第一图像的平均亮度调整至为与第二图像的平均亮度相同。

示例性的，处理单元可以将第一图像乘以第二图像的平均亮度与第一图像的平均亮度的比值，使第一图像的平均亮度与第二图像的平均亮度相同。

然后，处理单元依据以下公式对第一图像与第二图像进行合成：

img_fus=(img_1*alpha+img_2*(n-alpha))/n

其中，img_fus表示合成图像，img_1表示第一图像，img_2表示第二图像，alpha表示权重图，n表示归一化权重。

需要说明的是，上述实施例仅仅是本申请实施例的实现方式的具体示例，而并不是对本申请保护范围的限定，基于上述实施例，可以通过实施例之间的组合，或对实施例进行变型，得到新的实施例，其均应属于本申请的保护范围。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置及图像处理系统进行描述：

请参见图7，为本申请实施例提供的一种成像系统的结构示意图，如图7所示，该成像系统可以包括：控制单元710、图像传感器720和处理单元730；其中：

控制单元710，用于确定曝光参数，所述曝光参数包括曝光时间和增益；

图像传感器720，用于在第一工作模式时输出图像，该输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

处理单元730，用于将所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理；

所述图像传感器720，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

在一些实施例中，所述图像传感器720生成所述第一图像时的曝光时间为第一曝光时间，所述图像传感器生成所述第二图像时的曝光时间为第二曝光时间，所述第一图像曝光时间小于第二图像曝光时间；

所述图像传感器720生成所述第一图像时的增益为第一增益，所述图像传感器生成所述第二图像时的增益为第二增益，所述第一增益大于第二增益。

在一些实施例中，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值等于第二比值。

在一些实施例中，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值与第二比值的差异小于10%。

在一些实施例中，所述控制单元710，还用于基于环境光强弱控制所述图像传感器进行所述第一工作模式与所述第二工作模式的切换。

在一些实施例中，所述处理单元730将所述第一图像与所述第二图像用于处理得到第三图像，包括：

依据权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到第三图像；所述权重图依据第一图像序列或第二图像序列确定；所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像，所述第一图像序列和所述第二图像序列根据所述图像传感器在第一工作模式时的输出图像来确定；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

在一些实施例中，所述处理单元730，还用于依据第一图像序列确定权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述权重图。

在一些实施例中，所述处理单元730，用于依据第二图像序列确定权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述权重图。

在一些实施例中，所述处理单元730依据像素值差异确定所述权重图，包括：

利用所述像素值差异进行滤波处理得到权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述权重图。

在一些实施例中，所述处理单元730依据第一图像序列或第二图像序列确定权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述权重图。

在一些实施例中，所述处理单元730依据关键目标的位置信息确定所述权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述权重图。

在一些实施例中，所述处理单元730将所述第一图像与所述第二图像用于处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

在一些实施例中，所述处理单元730，具体用于通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像的平均亮度相同。

在一些实施例中，所述控制单元710通过以下方式确定所述第一增益和第二增益：

依据所述第一图像的亮度信息，确定所述第一增益；

依据所述第一增益，以及所述第二曝光时间与所述第一曝光时间的比值，确定所述第二增益。

请参见图8，为本申请实施例提供的一种成像装置的结构示意图，如图8所示，该成像装置可以包括：

获取单元810，用于获取单个图像传感器在第一工作模式时的输出图像，输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

处理单元820，用于将所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理；

所述获取单元810，还用于当所述图像传感器由第一工作模式切换为第二工作模式时，获取所述图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。

在一些实施例中，所述图像传感器生成所述第一图像时的曝光时间为第一曝光时间，所述图像传感器生成所述第二图像时的曝光时间为第二曝光时间，所述第一图像曝光时间小于第二图像曝光时间；

所述图像传感器生成所述第一图像时的增益为第一增益，所述图像传感器生成所述第二图像时的增益为第二增益，所述第一增益大于第二增益。

在一些实施例中，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值等于第二比值。

在一些实施例中，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值与第二比值的差异小于10%。

在一些实施例中，如图9所示，所述成像装置还包括：

控制单元830，用于基于环境光强弱，控制所述图像传感器进行所述第一工作模式与所述第二工作模式的切换。

在一些实施例中，所述处理单元820将所述第一图像与所述第二图像用于处理得到第三图像，包括：

依据权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到第三图像；所述权重图依据第一图像序列或第二图像序列确定；所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像，所述第一图像序列和所述第二图像序列根据所述单个图像传感器在第一工作模式时的输出图像来确定；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

在一些实施例中，所述处理单元820依据第一图像序列确定权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述权重图。

在一些实施例中，所述处理单元820依据第二图像序列确定权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述权重图。

在一些实施例中，所述处理单元820依据像素值差异确定所述权重图，包括：

利用所述像素值差异进行滤波处理得到权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述权重图。

在一些实施例中，所述处理单元820依据第一图像序列或第二图像序列确定权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述权重图。

在一些实施例中，所述处理单元820依据关键目标的位置信息确定所述权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述权重图。

在一些实施例中，所述处理单元820将所述第一图像与所述第二图像用于处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

在一些实施例中，所述处理单元820，具体用于通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像的平均亮度相同。

在一些实施例中，所述第一增益与所述第二增益通过以下方式确定：

依据所述第一图像的亮度信息，确定所述第一增益；

依据所述第一增益，以及所述第二曝光时间与所述第一曝光时间的比值，确定所述第二增益。

请参见图10，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器1001、存储有机器可执行指令的存储器1002。处理器1001与存储器1002可经由系统总线1003通信。并且，通过读取并执行存储器1002中的机器可执行指令，处理器1001可执行上文描述的成像方法。

本文中提到的存储器1002可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（RadomAccess Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。

在一些实施例中，还提供了一种机器可读存储介质，如图10中的存储器1002，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的成像方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

请参见图11，为本申请实施例提供的一种摄像机的结构示意图，如图11所示，该摄像机可以包括：镜头1110、图像传感器1120以及处理器1130；其中：

所述镜头1110，用于将入射光处理为入射所述图像传感器的光信号；

所述图像传感器1120，用于在第一工作模式时，依据所述光信号输出图像，该输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

所述处理器1130，用于将所述第一图像与所述第二图像进行合成处理得到第三图像；

所述图像传感器1120，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

在一些实施例中，所述图像传感器生成所述第一图像时的曝光时间为第一曝光时间，所述图像传感器生成所述第二图像时的曝光时间为第二曝光时间，所述第一图像曝光时间小于第二图像曝光时间；

所述图像传感器生成所述第一图像时的增益为第一增益，所述图像传感器生成所述第二图像时的增益为第二增益，所述第一增益大于第二增益。

在一些实施例中，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值等于第二比值。

在一些实施例中，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值与第二比值的差异小于10%。

在一些实施例中，所述处理器1130，还用于基于环境光强弱控制所述图像传感器进行所述第一工作模式与所述第二工作模式的切换。

在一些实施例中，所述处理器1130将所述第一图像与所述第二图像用于处理得到第三图像，包括：

依据权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到第三图像；所述权重图依据第一图像序列或第二图像序列确定；所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像，所述第一图像序列和所述第二图像序列根据所述图像传感器在第一工作模式时的输出图像来确定；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

在一些实施例中，所述处理器1130，用于依据第一图像序列确定权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述权重图。

在一些实施例中，所述处理器1130，用于依据第二图像序列确定权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述权重图。

在一些实施例中，所述处理器1130依据像素值差异确定所述权重图，包括：

利用所述像素值差异进行滤波处理得到权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述权重图。

在一些实施例中，所述处理器1130依据第一图像序列或第二图像序列确定权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述权重图。

在一些实施例中，所述处理器1130依据关键目标的位置信息确定所述权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述权重图。

在一些实施例中，所述处理器1130将所述第一图像与所述第二图像用于处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

在一些实施例中，所述处理器1130具体用于通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像的平均亮度相同。

在一些实施例中，所述处理器1130通过以下方式确定所述第一增益和第二增益：

依据所述第一图像的亮度信息，确定所述第一增益；

依据所述第一增益，以及所述第二曝光时间与所述第一曝光时间的比值，确定所述第二增益。

需要说明的是，上述摄像机、成像系统、成像装置和成像方法的实施例之间可以相互参照，相同的步骤不做赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

1.一种成像方法，其特征在于，包括：

获取单个图像传感器在第一工作模式时的输出图像，输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；其中，

所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理，其中，所述第一图像与所述第二图像在所述合成处理之前的亮度近似相同；

当所述图像传感器由第一工作模式切换为第二工作模式时，获取所述图像传感器在第二工作模式时的输出图像，该输出图像为第四图像；

其中，所述图像传感器生成所述第一图像时的曝光时间为第一曝光时间，所述图像传感器生成所述第二图像时的曝光时间为第二曝光时间，所述第一图像曝光时间小于第二图像曝光时间；

所述图像传感器生成所述第一图像时的增益为第一增益，所述图像传感器生成所述第二图像时的增益为第二增益，所述第一增益大于第二增益。

2.根据权利要求1所述的方法，其特征在于，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值等于第二比值。

3.根据权利要求1所述的方法，其特征在于，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值与第二比值的差异小于10%。

4.根据权利要求1所述的方法，其特征在于，基于环境光强弱进行所述第一工作模式与所述第二工作模式的切换。

5.根据权利要求1所述的方法，其特征在于，所述第一图像与所述第二图像用于处理得到第三图像，包括：

依据权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到第三图像；所述权重图依据第一图像序列或第二图像序列确定；所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像，所述第一图像序列和所述第二图像序列根据所述图像传感器在第一工作模式时的输出图像来确定；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

6.根据权利要求5所述的方法，其特征在于，依据第一图像序列确定权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述权重图。

7.根据权利要求5所述的方法，其特征在于，依据第二图像序列确定权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述权重图。

8.根据权利要求6或7所述的方法，其特征在于，依据像素值差异确定所述权重图，包括：

利用所述像素值差异进行滤波处理得到权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述权重图。

9.根据权利要求5所述的方法，其特征在于，依据第一图像序列/或第二图像序列确定权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述权重图。

10.根据权利要求9所述的方法，其特征在于，依据关键目标的位置信息确定所述权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述权重图。

11.根据权利要求1所述的方法，其特征在于，所述第一图像与所述第二图像用于处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

12.根据权利要求11所述的方法，其特征在于，通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像的平均亮度相同。

13.根据权利要求1所述的方法，其特征在于，所述第一增益与所述第二增益通过以下方式确定：

依据所述第一图像的亮度信息，确定所述第一增益；

依据所述第一增益，以及所述第二曝光时间与所述第一曝光时间的比值，确定所述第二增益。

14.一种成像系统，其特征在于，包括：控制单元、图像传感器和处理单元；其中：

控制单元，用于确定曝光参数，所述曝光参数包括曝光时间和增益；

图像传感器，用于在第一工作模式时输出图像，该输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

处理单元，用于将所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理，其中，所述第一图像与所述第二图像在所述合成处理之前的亮度近似相同；

所述图像传感器，还用于当由第一工作模式切换为第二工作模式时，输出第四图像；

其中，所述图像传感器生成所述第一图像时的曝光时间为第一曝光时间，所述图像传感器生成所述第二图像时的曝光时间为第二曝光时间，所述第一图像曝光时间小于第二图像曝光时间；

所述图像传感器生成所述第一图像时的增益为第一增益，所述图像传感器生成所述第二图像时的增益为第二增益，所述第一增益大于第二增益。

15.根据权利要求14所述的成像系统，其特征在于，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值等于第二比值。

16.根据权利要求14所述的成像系统，其特征在于，所述第一曝光时间与第二曝光时间的比值为第一比值，所述第二增益与第一增益的比值为第二比值，第一比值与第二比值的差异小于10%。

17.根据权利要求16所述的成像系统，其特征在于，

所述控制单元，还用于基于环境光强弱控制所述图像传感器进行所述第一工作模式与所述第二工作模式的切换。

18.一种摄像机，其特征在于，包括：镜头、图像传感器以及处理器；其中：

所述镜头，用于将入射光处理为入射所述图像传感器的光信号；

所述图像传感器，用于在第一工作模式时，依据所述光信号输出图像，该输出图像包括第一图像与第二图像，所述图像传感器生成第一图像与第二图像时，曝光时间不同且增益不同；

所述处理器，用于将所述第一图像与所述第二图像用于处理得到第三图像，所述处理至少包括合成处理，其中，所述第一图像与所述第二图像在所述合成处理之前的亮度近似相同；

所述图像传感器，还用于当由第一工作模式切换为第二工作模式时，输出第四图像；

其中，所述图像传感器生成所述第一图像时的曝光时间为第一曝光时间，所述图像传感器生成所述第二图像时的曝光时间为第二曝光时间，所述第一图像曝光时间小于第二图像曝光时间；

所述图像传感器生成所述第一图像时的增益为第一增益，所述图像传感器生成所述第二图像时的增益为第二增益，所述第一增益大于第二增益。