CN114374796B - 图像处理方法、装置、图像传感器以及车辆 - Google Patents

Abstract

本发明提供了一种图像处理方法，所述方法包括：采集当前路面图像；计算出当前路面图像的每一像素的亮度值；统计亮度值超过预设亮度阈值的超亮像素点数量；当超亮像素点数量超过预设数量时，根据预设亮度值表将每一超亮像素点的亮度降低为与预设亮度值表中对应的预设亮度。本发明还提供了一种图像处理装置、图像传感器以及车辆。本发明技术方案提供的图像处理方法，能够在逆光情况下获得质量较好的图像。

Description

图像处理方法、装置、图像传感器以及车辆

技术领域

本发明涉及图形处理技术领域，尤其涉及图像处理方法、装置、图像传感器以及车辆。

背景技术

对于自动驾驶领域的感知摄像头来说，在逆光情况下成像不佳，噪声大，从而形成质量较差的图像，进而会影响机器视觉算法对图像的判断，进一步造成决策系统的误判，使得车辆出现不正确地控制。

因此，亟需在逆光情况下获得质量较好的图像的图像处理方法、装置以及摄像设备。

发明内容

本发明提供图像处理方法、装置、图像传感器以及车辆，能够在逆光情况下实现对图像的高亮区域的亮度进行降低，形成质量较好的图像。

本发明第一方面提供一种图像处理方法，所述方法包括：

采集当前路面图像；

计算出当前路面图像所包含的所有像素中每一像素的亮度值；

将所述每一亮度的亮度值与预设亮度值进行对比，统计亮度值超过预设亮度值的像素数量；

当亮度值超过预设亮度值的像素数量超过预设数量时，将超过预设亮度值的像素的亮度降低为预设亮度。

本发明第二方面提供一种图像处理装置，所述图像处理装置包括，

图像采集模块，用于采集当前路面图像；

像素计算模块，用于计算出当前路面图像所包含的所有像素中每一像素的亮度值；

统计模块，用于将所述每一亮度的亮度值与预设亮度值进行对比，统计亮度值超过预设亮度值的像素数量；

亮度调整模块，用于当亮度值超过预设亮度值的像素数量超过预设数量时，将超过预设亮度值的像素的亮度降低为预设亮度。

本发明第三方面提供一种图像传感器，所述图像传感器包括，

存储器，所述存储器用于存储计算机程序；以及

处理器，用于执行所述计算机程序以实现上述图像处理方法。

本发明第四方面提供一种车辆，所述车辆包括车体和设置于车体上的图像传感器，所述图像传感器为上述图像传感器。

上述图像处理方法，通过统计亮度值超过预设亮度值的像素数量，当判定亮度值超过预设亮度值的像素数量超过预设数量时，将超过预设亮度值的像素的亮度降低为预设亮度，从而实现在逆光情况下实现对图像的高亮区域的亮度进行降低，形成质量较好的图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为发明一实施例提供的图像处理方法的流程图。

图2为发明一实施例提供的图像处理方法的第一子流程示意图。

图3为发明一实施例提供的图像处理方法的第二子流程示意图。

图4为发明一实施例提供的图像处理装置的结构框图。

图5为发明一实施例提供的车辆的示意图。

图6为发明一实施例提供的图像传感器的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，如下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

请参阅图1和5，其为第一实施例提供的图像处理方法流程图。图像处理方法应用于图像传感器800，图像传感器800安装于车辆100上。图像处理方法包括以下步骤。

步骤S20，采集当前路面图像。在本实施例中，安装于车辆100的图像传感器800在车辆100行驶过程中采集当前路面的图像。

请参看图2，在一些其他实施例中，为了保证图像传感器800采集的当前路面图像与顺光状态下采集的路面图像中的路面区域保持一致，从而更好地将预设亮度值表中的亮度值替换为当前路面图像中的高亮值。在步骤S20之前，还包括步骤S11～S17。

步骤S11，获取图像传感器800采集的预览路面图像。在本实施例中，图像传感器800采集当前路面图像，并显示预览路面图像。

步骤S13，获取预览路面图像中路面区域位于预览路面图像中的第一位置信息。步骤S13具体包括步骤S131～步骤S135。

步骤S131，获取预览路面图像中的多条交通标线。在本实施例中，预览路面图像中包括交通标线。交通标线可以是预设宽度的连续的长直线或者是预设宽度的断断续续的直线。图像传感器800可以通过图像形状特征提取算法对预览路面图像中的交通标线进行识别。

步骤S133，将多条交通标线中相距最远的两条交通标线之间的区域标记为路面区域。在本实施例中，预览路面图像中可能包含多条交通标线，任意两条交通标线之间的路面区域均是路面区域，所以将多条交通标线中相距最远的两条交通标线之间的区域标记为路面区域。

步骤S135，计算相距最远的两条交通标线之间的区域位于预览路面图像中的位置。在本实施例中，计算路面区域位于预览路面图像中的位置。步骤S135具体包括以下步骤S1351～步骤S1355。

步骤S1351,以预览路面图像的中心为圆点建立二维坐标系。在本实施例中，预览路面图像的长和宽分别用x和y表示。在本实施例中，x和y都为8。以预览路面图像的中心为圆点建立二维坐标系。

步骤S1353,获取相距最远的两条交通标线的位于预览路面图像中的两个起始位置和终点位置。在本实施例中，例如，获取沿宽度方向相距最远的两条交通标线的两个起始位置和终点位置。

步骤S1355,计算两个起始位置和终点位置在二维坐标系的第一坐标值组和第二坐标值组。例如，两个起始位置的第一坐标值组中包含两个坐标，分别为(2，-4)，(3，-4)，两个终点位置的第二坐标值组中包含两个坐标，分别为(2，4)，(3，4)。

步骤S15，获取正常状态下的路面图像中路面区域位于正常状态下的路面图像中的第二位置信息。在本实施例中，第二位置信息包括正常状态下的路面图像中相距最远的两条交通标线的两个起始位置和终点位置相对应的第三坐标值组和第四坐标值组，两个起点位置第三坐标值组中包含两个坐标，分别为(0，-4)，(1，-4)，两个终点位置的第四坐标值组中包含两个坐标，分别为(0，4)，(1，4)。

步骤S17，当第一位置信息与第二位置信息不一致时，根据第一位置信息和第二位置信息的差值调整图像传感器800的位置，以将预览路面图像中路面区域调整至与正常状态下的路面图像中路面区域保持一致。具体地，当第一位置信息与第二位置信息不一致时，根据第三坐标值组和第四坐标值组分别与第一坐标值组以及第二坐标值组的差值，调整图像传感器800的姿态。例如，根据第三坐标值组和第四坐标值组与第一坐标值组以及第二坐标值组的差值得到差值为沿水平方向朝X轴负轴方向转动2个单位。

步骤S40，计算出当前路面图像的每一像素的亮度值。在本实施例中，图像传感器800计算出当前路面图像所包含的所有像素中每一像素的亮度值。在本实施例中，当前路面图像为数字图像，当前路面图像共包含x*y个像素点。具体地，当前路面图像包括横向x个像素点、纵向y个像素点。计算每一像素点的灰度值，灰度值的大小体现该像素点的明暗程度。在本实施例中，灰度值的大小为[0,255]，255表示白色，亮度最高。0表示黑色，亮度最低。

步骤S60，统计亮度值超过预设亮度阈值的超亮像素点数量。在本实施例中，预设亮度阈值的作用是为了检测出超亮像素点的数量，所以，预设亮度阈值的灰度值超过200。在本实施例中，预设亮度阈值为210。当当前像素点的亮度值超过210的时候，超亮像素点的数量+1。直至遍历当前路面图像中的所有像素点，得到超亮像素点数量。

步骤S80，当超亮像素点数量超过预设数量时，根据预设亮度值表将每一超亮像素点的亮度降低为与预设亮度值表中对应的预设亮度。在本实施例中，预设亮度值表可以通过预先在图像传感器800中写入LUT(Look-Up Table)，LUT中包括每一个像素的坐标值和与坐标值对应的正常的灰度值。在本实施例中，LUT(Look-Up Table)包括x*y个坐标以及与x*y个像素点中每一个像素点对应的亮度的正常值。

请参看图3，在一些其他实施例中，预设亮度值表可以根据预先采集的顺光的情况下拍摄的路面图像进行设定。根据预先采集的顺光的情况下拍摄的路面图像进行设定预设亮度值表包括以下步骤S81～S85。

步骤S81，获取正常状态下的路面图像；其中，所述正常状态是指顺光状态下采集的路面图像。

步骤S83，将所述正常状态下的路面图像分隔为路面区域和非路面区域，并获取路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值。其中，正常状态下的路面图像包括至少两条交通标线。交通标线可以是预设宽度的连续的长直线或者是预设宽度的断断续续的直线。图像传感器800可以通过图像形状特征提取算法对预览路面图像中的交通标线进行识别。

步骤S85，根据路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值形成预设亮度值表。在本实施例中，获取到正常状态下的路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值形成预设亮度值表。

在一些其他实施例中，在步骤S40后还包括步骤S50～S90，步骤S50～S90是将当前路面图像根据亮度级别的不同生成若干亮度区间，根据若干亮度区间生成若干亮度区域，然后统计高亮区域，在根据预设亮度值表将高亮区域的亮度值调整进行对应调整。

步骤S50，根据若干亮度值区间，将所有像素分为若干区域。在本实施例中，将灰度值的大小为[0,255]分为16个级别的区间，每个级别的区间包括16个灰度值。同一级别的区间可以有多个不连续的区域。

步骤S70，计算每一区域中所有像素的平均亮度值。具体地，对每一区域中所包含的所有像素的灰度值进行求和，在除以每一区域中的像素数。

步骤S90，当任一区域中平均亮度值大于预设阈值时，根据预设亮度值表将该区域中每一区域的亮度值调整为预设亮度值表中对应的预设亮度值。在本实施例中，预设亮度阈值的作用是为了检测出超亮像素区域，所以，预设亮度阈值的灰度值超过200。在本实施例中，预设亮度阈值为210。当当前像素点区域的平均亮度值超过210时，记为超亮像素区域，并且获取该超亮像素区域的中心点，将中心点输入LUT，LUT输出一个与该中心点对应的正常亮度值，将该正常亮度值替换为超亮像素区域中每一像素的亮度值。直至遍历当前路面图像中的所有像素区域，将所有平均亮度值大于预设阈值的区域的亮度调整为预设亮度值。具体地，在本实施例中，预设亮度值表可以通过预先在图像传感器800中写入LUT(Look-Up Table)，LUT中包括每一个像素的坐标值和与坐标值对应的正常的灰度值。在本实施例中，LUT(Look-Up Table)包括x*y个坐标以及与x*y个像素点中每一个像素点对应的亮度的正常值。

请参看图4，本发明还提供一种图像处理装置102，所述图像处理装置102包括图像采集模块10、像素计算模块20、统计模块30以及亮度调整模块40。

图像采集模块10，用于采集当前路面图像。在本实施例中，图像采集模块10为安装于车辆100的图像传感器800。在车辆100行驶过程中图像传感器800采集当前路面的图像。

像素计算模块20，用于计算出当前路面图像的每一像素的亮度值。在本实施例中，图像传感器800计算出当前路面图像的每一像素的亮度值。在本实施例中，当前路面图像为数字图像，当前路面图像共包含x*y个像素点。具体地，当前路面图像包括阵列排列的像素点。每一像素点的灰度值体现该像素点的明暗程度。在本实施例中，灰度值取值[0,255]，255表示白色，亮度最高。0表示黑色，亮度最低。

统计模块30，用于统计亮度值超过预设亮度阈值的超亮像素点数量。在本实施例中，预设亮度阈值的作用是为了检测出超亮像素点的数量，所以，预设亮度阈值的灰度值超过200。在本实施例中，预设亮度阈值为210。当当前像素点的亮度值超过210的时候，超亮像素点的数量+1。直至遍历当前路面图像中的所有像素点，得到超亮像素点数量。

亮度调整模块40，用于当超亮像素点数量超过预设数量时，根据预设亮度值表将每一超亮像素点的亮度降低为与预设亮度值表中对应的预设亮度。在本实施例中，预设亮度值表可以通过预先在图像传感器800中写入LUT(Look-Up Table)，LUT中包括每一个像素的坐标值和与每一坐标值对应的正常的灰度值。在本实施例中，LUT(Look-Up Table)包括x*y个坐标值以及与x*y个像素点中每一个像素点对应的亮度的正常值。

请参看图6，图6为本发明提供的一种图像传感器800，所述图像传感器800包括存储器802和处理器801。存储器802用于存储移动拍摄程序指令，处理器801用于执行移动拍摄程序指令以实现移动拍摄方法。

其中，处理器801在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、微控制器、微处理器或其它数据处理芯片，用于运行存储器802中存储的图像处理程序指令。

存储器802至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器802在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器802在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器802还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器802不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现图像处理的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

请再参看图5，图5为本发明提供的一种车辆100，所述车辆100包括车体101和设置于车体101上的图像传感器800，所述图像传感器800为上述图像传感器800。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人物可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、流动硬盘、只读存储介质(ROM，Read-Only Memory)、随机存取存储介质(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

显然，本领域的技术人物可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上仅为本申请的优选实施例，并非因此限制本申请的保护范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的保护范围内。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：

采集当前路面图像，包括：

获取图像传感器采集的预览路面图像；

获取所述预览路面图像中路面区域位于所述预览路面图像中的第一位置信息；

获取正常状态下的路面图像中路面区域位于所述正常状态下的路面图像中的第二位置信息，所述正常状态下的路面图像为顺光状态下采集的路面图像；以及

当第一位置信息与第二位置信息不一致时，根据所述第一位置信息和所述第二位置信息的差值调整所述图像传感器的姿态，以将所述预览路面图像中路面区域调整至与所述正常状态下的路面图像中路面区域保持一致；

计算出当前路面图像中每一像素的亮度值；

统计亮度值超过预设亮度阈值的超亮像素点数量；以及

当超亮像素点数量超过预设数量时，根据预设亮度值表将每一超亮像素点的亮度降低为与预设亮度值表中对应的预设亮度，所述预设亮度值表包括当前路面图像中每一像素点的坐标以及与每一像素点的坐标对应的预设亮度值，其中，形成所述预设亮度值表，包括：

将所述正常状态下的路面图像分隔为路面区域和非路面区域，并获取路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值；以及

根据路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值形成预设亮度值表。

2.如权利要求1所述的图像处理方法，其特征在于，获取预览路面图像中路面区域位于预览路面图像中的第一位置信息，包括，

获取预览路面图像中的多条交通标线；

将多条交通标线中相距最远的两条交通标线之间的区域标记为路面区域；

计算相距最远的两条交通标线之间的区域位于预览路面图像中的位置。

3.如权利要求2所述的图像处理方法，其特征在于，计算相距最远的两条交通标线之间的区域位于预览路面图像中的位置，包括，

以预览路面图像的中心为圆点建立二维坐标系；

获取相距最远的两条交通标线的位于预览路面图像中的两个起始位置和终点位置；

计算两个起始位置和终点位置在二维坐标系的第一坐标值组和第二坐标值组。

4.如权利要求3所述的图像处理方法，其特征在于，当第一位置信息与第二位置信息不一致时，根据第一位置信息和第二位置信息的差值调整图像传感器的姿态，第二位置信息包括正常状态下的路面图像中相距最远的两条交通标线的两个起始位置和终点位置相对应的第三坐标值组和第四坐标值组，包括，

当第一位置信息与第二位置信息不一致时，根据第三坐标值组和第四坐标值组分别与第一坐标值组以及第二坐标值组的差值，调整图像传感器的位置。

5.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括，

计算出当前路面图像中每一像素的亮度值；

根据若干亮度值区间，将所述当前路面图像分为若干区域；

计算每一区域中所有像素的平均亮度值；

当任一区域中平均亮度值大于预设亮度值时，根据预设亮度值表将该区域中每一区域的亮度值调整为预设亮度值表中对应的预设亮度值。

6.一种图像处理装置，其特征在于，所述图像处理装置包括，

图像采集模块，用于采集当前路面图像，所述图像采集模块还用于执行下面步骤：

获取图像传感器采集的预览路面图像；

获取所述预览路面图像中路面区域位于所述预览路面图像中的第一位置信息；

获取正常状态下的路面图像中路面区域位于所述正常状态下的路面图像中的第二位置信息，所述正常状态下的路面图像为顺光状态下采集的路面图像；以及

当第一位置信息与第二位置信息不一致时，根据所述第一位置信息和所述第二位置信息的差值调整所述图像传感器的姿态，以将所述预览路面图像中路面区域调整至与所述正常状态下的路面图像中路面区域保持一致；

像素计算模块，用于计算出当前路面图像所包含的每一像素的亮度值；

统计模块，用于统计亮度值超过预设亮度阈值的超亮像素点数量；以及

亮度调整模块，用于当超亮像素点数量超过预设数量时，根据预设亮度值表将每一超亮像素点的亮度降低为与预设亮度值表中对应的预设亮度，所述预设亮度值表包括当前路面图像中每一像素点的坐标以及与每一像素点的坐标对应的预设亮度值，其中，形成所述预设亮度值表，包括：

将所述正常状态下的路面图像分隔为路面区域和非路面区域，并获取路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值；以及

根据路面区域中每一像素的亮度值和非路面区域中每一像素的亮度值形成预设亮度值表。

7.一种图像传感器，其特征在于，所述图像传感器包括，

存储器，所述存储器用于存储计算机程序；以及

处理器，用于执行所述计算机程序以实现如权利要求1～5任一项所述的图像处理方法。

8.一种车辆，所述车辆包括车体和设置于车体上的图像传感器，其特征在于，所述图像传感器为如权利要求7所述的图像传感器。