CN103975585B - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，该图像处理装置具有图像生成部(35)，该图像生成部(35)，针对配置有多个彩色像元和多个无彩像元原图像(41)的各彩色像元，根据各彩色像元自身的色阶值或配置在周围的其他彩色像元的色阶值计算出灰度的第1参照色阶值，另外，根据配置在周围的无彩像元的色阶值对该第1参照色阶值进行修正，计算出修正色阶值，通过将各彩色像元的修正色阶值和各无彩像元的色阶值作为高感光度图像中所对应的配置位置上的像元的色阶值，从而生成高感光度图像。该多个彩色像元被分别赋予对应于各彩色像元的感光度的色阶值，该多个无彩像元被分别赋予对应于各无彩像元的感光度的色阶值。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置，该图像处理装置处理由拍摄元件所得到的拍摄(图像)数据，该拍摄元件由通过彩色滤光片感光的像素和不通过彩色滤光片感光的像素构成。

背景技术

在现有技术中，人们提出如下一种方法，即，使用拍摄元件来改善彩色图像的感光度，该拍摄元件由通过彩色滤光片感光的像素(彩色感光像素)和不通过彩色滤光片感光的像素(直接感光像素)构成(例如，参照专利文献1)。

【专利文献1】日本发明专利公开公报特表2008-507908号

根据拍摄图像用途的不同，对摄像头拍摄到的拍摄图像的特性有不同的要求。例如，在根据拍摄图像检测对象物的情况下，当使用对象物的颜色信息时，需要用到彩色图像。

另外，在如夜间这样的低照度的拍摄条件下进行拍摄，并根据拍摄图像检测对象物时，需要用到高感光度图像。还有，为了从较暗的对象物到较亮的对象物，在辉度变化大的范围内检测对象物的图像部分，需要用到宽动态范围图像。

并且，为了对应像这样的不同用途，可以考虑配备多台规格不同的摄像头，根据用途来切换所要使用的摄像头，但是，在这种情况下，会出现装置结构复杂，装置成本增加的问题。

如专利文献1所记载的方法所示，由于使用直接感光像素，能够获得感光度提高的彩色图像。由于通过彩色滤光片感光的像素和不通过彩色滤光片感光的像素的感光特性不同，因而需要考虑对两种像素设置各自的感光时间，但是，在这种情况下，则会产生高感光度效果消失的问题。另外，有时也需要使用具有宽动态范围的图像。

发明内容

鉴于上述情况，本发明的目的在于，提供一种图像处理装置，该图像处理装置能够根据摄像头的拍摄图像生成更高感光度的图像或具有宽动态范围的图像，其中，摄像头的拍摄元件具有通过彩色滤光片感光的像素和不通过彩色滤光片感光的像素。

本发明是为达成上述目的而作成的，为了生成更高感光度的图像或者宽动态范围图像，本发明的图像处理装置具有摄像头和图像生成部，

所述摄像头利用拍摄元件进行拍摄，该拍摄元件以配置通过滤光片感光的多个彩色感光像素和不通过滤光片感光的多个直接感光像素而构成，

所述摄像头拍摄的原图像由与彩色感光像素对应的多个彩色像元以及与直接感光像素对应的多个无彩像元构成，所述多个彩色像元的色阶值对应于所述彩色感光像素的感光量，所述多个无彩色像元的色阶值对应于所述直接感光像素的感光量，

针对所述原图像的所述各彩色像元，所述图像生成部根据所述彩色像元自身的色阶值或位于彩色像元周围的其他彩色像元的色阶值计算出灰度的第1参照色阶值后，根据位于彩色像元周围的无彩像元的色阶值对所述第1参照色阶值进行修正而计算出修正色阶值，

所述图像生成部根据所述各彩色像元的修正色阶值，生成高感光度图像和宽动态范围图像中的至少一个图像(第1技术方案)。

根据第1技术方案，针对所述原图像的各彩色像元，所述图像生成部根据所述彩色像元自身的色阶值或配置在周围的其他彩色像元的色阶值计算出灰度的第1参照色阶值，根据配置在周围的直接像元的色阶值对所述第1参照色阶值进行修正，计算出修正色阶值，这样就能得到与所述原图像的直接像元的色阶值具有相同水平的感光度的各彩色像元的色阶值。并且，所述图像生成部根据所述修正色阶值，能够生成高感光度图像和宽动态范围图像中的至少一个图像。

另外，在第1技术方案的基础上，所述图像生成部将所述各彩色像元的修正色阶值和所述各无彩像元的色阶值作为高感光度图像中所对应位置上的像元的色阶值，从而生成所述高感光度图像(第2技术方案)。

根据第2技术方案，所述图像生成部将无彩像元的色阶值作为高感光度图像中所对应位置上的像元的色阶值，另外，将彩色像元的修正色阶值作为高感光度图像中所对应位置上的像元的色阶值，从而能够生成高感光度图像。

另外，在第2技术方案的基础上，所述彩色滤光片为3原色滤光片，所述彩色感光像素通过3原色中的一种颜色的滤光片感光，

所述图像生成部，

针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出3原色的各色阶值，根据该3原色的各色阶值计算出灰度的第2参照色阶值，并计算出第2参照色阶值与各无彩像元的自身色阶值的色阶差异度，

针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或者位于其周围的其他的彩色像元的色阶值计算出3原色的各色阶值，根据该3原色的各色阶值计算出所述第1参照色阶值，

根据位于彩色像元周围的无彩像元的所述色阶差异度来对所述第1参照色阶值进行修正，从而计算出所述修正色阶值(第3技术方案)。

根据第3技术方案，摄像头利用设置有一般的3原色(R、G、B、Cy、Mg、Y等)滤光片的拍摄元件进行拍摄，根据由该摄像头所拍摄的原图像能够生成根据直接像元的色阶值对彩色像元的色阶值进行修正后所得到的高感光度图像。

另外，在第3技术方案的基础上，所述图像生成部针对所述原图像的各彩色像元，将第1合成色阶值作为宽动态范围图像中对应位置上的像元的色阶值，针对所述原图像的各无彩像元，将第2合成色阶值作为宽动态范围图像中对应位置上的像元的色阶值，从而生成宽动态范围图像，

所述第1合成色阶值是通过合成各彩色像元自身的所述第1参照色阶值和所述高感光度图像中对应位置上的像元的色阶值而得到的值，

所述第2合成色阶值是通过合成各无彩像元自身的所述第2参照色阶值和所述高感光度图像中对应位置上的像元的色阶值而得到的值(第4技术方案)。

根据第4技术方案，通过对所述高感光度图像中高感光度的色阶值以及所述第1参照色阶值和所述第2参照色阶值这种低感光度的色阶值进行合成，从而能够生成宽动态范围图像。

另外，在第4技术方案的基础上，所述图像生成部将所述第1参照色阶值和所述高感光度图像的色阶值变换为相同数值范围内的值，对二者进行加权求和从而计算出所述第1合成色阶值，将所述第2参照色阶值和所述高感光度图像的色阶值变换为相同数值范围内的值，对二者进行加权求和从而计算出所述第2合成色阶值(第5技术方案)。

根据第5技术方案，因所述拍摄元件的彩色感光像素和直接感光像素的感光度差所产生的所述宽动态范围图像的各像元间的不连续性，能够抑制所述宽动态范围图像变得不自然。

另外，在第2技术方案～第5技术方案的基础上，所述图像生成部，针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，另外，针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或位于其周围的其他彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，从而生成彩色图像，

所述图像处理装置具有对象物检测部，

所述对象物检测部根据被检测对象物的类别，切换执行第1对象物检测处理和第2对象物检测处理，所述第1对象物检测处理为根据所述高感光度图像检测对象物的处理，所述第2对象物检测处理为根据所述彩色图像检测对象物的处理(第6技术方案)。

根据第6技术方案，在检测低辉度的对象物(行人等)时，能够通过利用所述高感光度图像的所述第1对象物检测处理进行检测，另外，在检测具有颜色信息的对象物(设置在道路上的白线、黄线、信号灯上的红灯、绿灯等)时，能够通过利用所述彩色图像的所述第2对象物检测处理进行检测。

另外，在第4或第5技术方案的基础上，所述图像生成部，针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，另外，针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或位于其周围的其他彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，从而生成彩色图像，

所述图像处理装置还具有对象物检测部，

所述对象物检测部根据被检测对象物的类别或所述摄像头的拍摄条件，切换执行第1对象物检测处理、第2对象物检测处理与第3对象物检测处理，所述第1对象物检测处理为根据所述高感光度图像检测对象物的处理，所述第2对象物的检测处理为根据所述彩色图像检测对象物的处理，所述第3对象物检测处理为根据所述宽动态范围图像检测对象物的处理(第7技术方案)。

根据第7技术方案，在检测低辉度的对象物(行人等)时，能够通过利用所述高感光度图像的所述第1对象物检测处理进行检测，另外，在检测具有颜色信息的对象物(设置在道路上的白线、黄线、信号灯上的红灯、绿灯等)时，能够通过利用所述彩色图像的所述第2对象物检测处理进行检测，另外，在从低辉度到高辉度，在辉度变化大的范围内检测辉度对象物(夜间的车辆、行人等)时，能够通过利用所述宽动态范围图像的第3对象物检测处理进行检测。

另外，在第1技术方案的基础上，所述图像生成部，将所述第1参照色阶值和该修正色阶值合成而得到第1合成色阶值，将该第1合成色阶值作为宽动态范围图像中对应位置上的像元的色阶值，

针对所述各无彩像元，根据位于其周围的彩色像元的色阶值计算出灰度的第2参照色阶值，将该第2参照色阶值和所述各无彩像元的自身的色阶值合成而得到第2合成色阶值，将该第2合成色阶值作为宽动态范围图像中对应位置上的像元的色阶值，从而生成宽动态范围图像(第8技术方案)。

根据第8技术方案，所述图像生成部，针对各彩色像元，通过利用所述各直接像元的色阶值计算出提高感光度的所述修正色阶值，另外，针对所述各直接像元，通过利用周围的彩色像元的色阶值计算出低感光度的所述第2参照色阶值。并且，所述图像生成部，针对所述各彩色像元，将合成所述第1参照色阶值和所述修正色阶值后而得到的所述第1合成色阶值作为所对应的配置位置上的像元的色阶值，另外，针对所述各直接像元，将合成所述第2参照色阶值和直接像元的色阶值后而得到的所述第2合成色阶值作为所对应的配置位置上的像元的色阶值，从而能够生成宽动态范围图像。

另外，在第8技术方案的基础上，所述彩色滤光片为3原色滤光片，所述彩色感光像素通过3原色中的一种颜色的滤光片感光，

所述图像生成部，

针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出3原色的各色阶值，根据该3原色的各色阶值计算出所述第2参照色阶值，并计算出各无彩像元自身的色阶值和该第2参照色阶值的色阶差异度，

针对所述原图像的各彩色像元，根据各彩色像元自身的色阶值或位于其周围的其他的彩色像元的色阶值计算出3原色的各色阶值，并根据该3原色的各色阶值计算出所述第1参照色阶值，另外，根据位于各彩色像元周围的无彩像元的所述色阶差异度对该第1参照色阶值进行修正，从而计算出修正色阶值(第9技术方案)。

根据第9技术方案，通过根据所述色阶差异度对所述第1参照色阶值进行修正，能够抑制所述修正色阶值和所述直接像元的色阶值之间的偏差，从而能够生成所述宽动态范围图像。

另外，在第9技术方案的基础上，所述图像生成部将所述第1参照色阶值和所述修正色阶值变换成相同数值范围内的值，对二者进行加权求和从而计算出所述第1合成色阶值，另外，将所述第2参照色阶值和所述无彩像元的色阶值变换成相同数值范围内的值，对二者进行加权求和，从而计算出所述第2合成色阶值(第10技术方案)。

根据第10技术方案，因所述拍摄元件的彩色感光像素和直接感光像素的感光度差所产生的所述宽动态范围图像的各像元间的不连续性，能够抑制所述宽动态范围图像变得不自然。

另外，在第8技术方案～第10技术方案中的任一技术方案的基础上，所述图像生成部，针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，另外，针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或位于其周围的其他彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，从而生成彩色图像，

所述图像处理装置具有对象物检测部，

所述对象物检测部根据被检测对象物的类别或所述摄像头的拍摄条件，切换执行第2对象物检测处理和第3对象物检测处理，所述第2对象物的检测处理为，根据所述彩色图像检测对象物，所述第3对象物检测处理为，根据所述宽动态范围图像检测对象物(第11技术方案)。

根据第11技术方案，在检测具有颜色信息的对象物(设置在道路上的白线、黄线、信号灯上的红灯、绿灯等)时，能够通过利用所述彩色图像的所述第2对象物检测处理进行检测，另外，在从低辉度到高辉度，在辉度变化大的范围内检测辉度对象物(夜间的车辆、行人等)时，能够通过利用所述宽动态范围图像的第3对象物检测处理进行检测。

附图说明

图1是图像处理装置的结构图。

图2是由拍摄元件的滤光片和摄像头所得到的拍摄图像的说明图。

图3是图像处理装置的动作流程图。

图4是彩色图像和高感光度图像的说明图。

图5是宽动态范围图像的说明图。

图6是其他实施方式中的由拍摄元件的滤光片和摄像头所得到的拍摄图像的说明图。

具体实施方式

参照图1～图6说明本发明的图像处理装置的实施方式。参照图1，本实施方式的图像处理装置具有搭载在车辆1上的摄像头2和与该摄像头2连接的图像控制器3。

摄像头2通过装有滤光片21的拍摄元件22(CCD、CMOS等)对车辆1的周围进行拍摄，将拍摄数据输出给控制电路30。拍摄元件22由配置在二维空间中的m×n个感光元件构成。

参照图2中(a)，滤光片21是通过在拍摄元件22的m×n个中的感光元件的感光路径上(选择性地)配置R(红)、G(绿)、B(蓝)3原色的彩色滤光片中的任一个而形成的。另外，作为彩色滤光片，可以使用RGB以外的其他类型的彩色滤光片(CyMgY的补色滤光片等)。

并且，摄像头2将与感光像素在规定时间内接受到的感光量对应的色阶值数据作为拍摄(图像)数据输出给图像控制器3，其中，感光像素包括：安装有R滤光片的R感光像素(由图中的R₁₁、R₁₅…表示。相当于本发明中的彩色感光像素)、安装有G滤光片的G感光像素(由图中的G₁₂、G₁₄…表示。相当于本发明中的彩色感光像素)、安装有B滤光片的B感光像素(由图中的B₁₃、B₃₁…表示。相当于本发明中的彩色感光像素)、以及未安装有滤光片21的W感光像素(由图中的W₂₂、W₂₄…表示。相当于本发明中的直接感光像素)。

图像控制器3具有控制电路30、图像存储器40、CAN(ControllerArea Network)驱动器50，其中，控制电路30由未图示的CPU、存储器、输入输出电路等构成。

控制电路30通过CUP执行存储在存储器内的图像处理用程序来起到原图像获得部31、图像生成部35及对象物检测部36的作用，图像生成部35具有彩色图像生成部32、高感光度图像生成部33、宽动态范围图像生成部34。另外，可以由硬件构成原图像获得部31、图像生成部35及对象检测部36的一部分或全部。

原图像获得部31向摄像头2输出控制信号，使该摄像头2拍摄车辆1周围的图像，根据由摄像头2输出的拍摄数据获得原图像41的数据，并将其存储在图像存储器40内。

如图2中(b)所示，在原图像41中，各像元(与像素配置位置相同的像元)的色阶值为，由与其位置相对应的、图2中(a)所示的拍摄元件的感光像素(R感光像素、G感光像素、B感光像素、W感光像素)产生的色阶值。在图2中(b)中，由S(大写字母)+小写字母r、g、b、w中的任一个+i、j(i＝1、2…、m，j＝1、2…、n)表示各像元的色阶值。

这里，r表示位于对应于图2中(a)的R感光像素位置上的像元(下面称为R像元。相当于本发明的彩色像元)的色阶值，g表示对应于图2中(a)的G感光像素位置上的像元(下面称为G像元。相当于本发明的彩色像元)的色阶值，b表示对应于图2中(a)的B感光像素位置上的像元(下面称为B像元。相当于本发明的彩色像元)的色阶值，w是对应于图2中(a)的W感光像素位置上的像元(下面称为W像元。相当于本发明的直接像元)的色阶值。

图像生成部35的彩色图像生成部32根据原图像41生成彩色图像42，并将其数据存储在图像存储器40内。高感光度图像生成部33根据原图像41和彩色图像42生成高感光度图像43，并将其数据存储在图像存储器40内。宽动态范围图像生成部34根据彩色图像42和高感光度图像43生成宽动态范围图像44，并将其数据存储在图像存储器40内。后面会对彩色图像42、高感光度图像43及宽动态范围图像44的生成处理进行详细的叙述。

对象物检测部36利用彩色图像42、高感光度图像43及宽动态范围图像44来检测设在车辆1正在行驶的道路上的车道线、其他车辆、信号灯、行人等，根据检测结果向车辆控制器6发送各种控制信号。

车辆用控制器6是由未图示的CPU、存储器、输入输出电路等构成的电子电路单元，通过CUP执行存储在存储器内的车辆1的控制用程序来起到转向控制部61、制动控制部62及显示器显示控制部63的作用，其中，转向控制器61控制转向装置71的动作，制动控制部62控制制动装置72的动作，显示器显示控制部63控制显示器73的显示。图像控制器3和车辆控制器6通过CAN驱动器50、64相互进行通信。

接下来，按照图3所示流程图说明由控制电路30进行的各种图像的生成处理和根据图像检测对象物的处理。

图3中的STEP1是由原图像获得部31所进行的处理。原图像获得部31根据由摄像头2所输出的拍摄数据获得原图像41(参照图2中(b))，并将该原图像41存储在存储器40内。

【1.彩色图像的生成处理】

接着，STEP2是由彩色图像生成部32所进行的处理。彩色图像生成部32根据原图像41的各像元的色阶值生成图4中(a)所示的彩色图像42。在图4中(a)的彩色图像中，由C_i、j(i＝1、2…、m，j＝1、2…、n)表示各像元的色阶值。

如下所示，C_i、j具有R值(C_i、jr、R的色阶值)、G值(C_i、jg、G的色阶值)及B值(C_i、jb、B的色阶值)这三个色阶值的成分。

C_i、j＝{C_i、jr、C_i、jg、C_i、jb}

[1-1.对C_i、j赋予G值(计算C_i、j的G值)]

首先，由彩色图像生成部32计算出所要生成的彩色图像42的各像元(C_i、j)的G值(C_i、jg)。针对原图像41的G像元(色阶值为Sg_i、j的像元)，将该G像元自身的色阶值作为彩色图像42中的位于与其对应的配置位置上的像元(配置位置相同的像元)的G值。例如，彩色图像生成部32将原图像41的(i，j)＝(2,3)处的像元的色阶值(Sg_2、3)作为彩色图像42的(i，j)＝(2,3)处的像元的G值(C_2、3g)。

另外，对于原图像41的R像元(色阶值为Sr_i、j的像元)、B像元(色阶值为Sb_i、j的像元)、W像元(色阶值为Sw_i、j的像元)，如图2中(b)所示，它们上下左右相邻的像元分别为G像元，因此，彩色图像生成部32以R、B、W像元为对象的求值，由其上下左右相邻的G像元的色阶值(Sg_i-1、j、Sg_i+1、j、Sg_i、j+1、Sg_i、j-1)，按照下面的式(1)～式(4)计算出赋予给彩色图像42中位于与原图像41的R、B、W像元对应的配置位置上的像元的G值(C_i、jg)。

另外，当由下面的式(1)、式(2)得出的I1和J1相等(I1＝J1)时，可以将由下面的式(3)与式(4)中的任一个得出的C_i、jg的值作为G值。后述的I2、J2～I6、J6的情况也是如此。

[式1]

I1＝|Sg_i+1,j-Sg_i-1,j|　·····　(1)

[式2]

J1＝|Sg_i,j+1-Sg_i,j-1|　·····　(2)

[式3]

$C_{i,j}g=\frac{{\mathrm{Sg}}_{i+1,j}+{\mathrm{Sg}}_{i-1,j}}{2}$ 　(I1＜J1时)　·····　(3)

[式4]

$C_{i,j}g=\frac{{\mathrm{Sg}}_{i,j+1}+{\mathrm{Sg}}_{i,j-1}}{2}$ 　(I1＞J1时)　·····　(4)

[1-2.对C_i、j赋予R值]

接着，由彩色图像生成部32计算出赋予给彩色图像42的各像元(C_i、j)的R值(C_i、jr)。针对原图像41的R像元(色阶值为Sr_{i、 j}的像元)，将该R像元自身的R值(Sr_i、j)作为彩色图像42中的所对应位置上的像元的R值(C_i、jr)。例如，彩色图像生成部32将原图像41的(i，j)＝(3,3)的像元的色阶值(Sr_3、3)作为彩色图像42的(i，j)＝(3,3)的像元的G值(C_3、3r)。

另外，针对原图像41的B像元(色阶值为Sb_i、j的像元)，如图2中(b)所示，位于其上下左右的第2个像元为R像元。因此，以B像元为对象的求值，由彩色图像生成部32按照下面的式(5)～式(8)计算出赋予给彩色图像42中与原图像41的B像元对应的配置位置上的像元的R值(C_i、jr)。

[式5]

I2＝|Sr_i+2,j-Sr_i-2,j|　·····　(5)

[式6]

J2＝|Sr_i,j+2-Sr_i,j-2|　·····　(6)

[式7]

$C_{i,j}r=\frac{{\mathrm{Sr}}_{i+2,j}+{\mathrm{Sr}}_{i-2,j}}{2}$ 　(I2＜J2时)　·····　(7)

[式8]

$C_{i,j}r=\frac{{\mathrm{Sr}}_{i,j+2}+{\mathrm{Sr}}_{i,j-2}}{2}$ 　(I2＞J2时)　·····　(8)

另外，针对原图像41的W像元(色阶值为Sw_i、j的像元)，如图2中(b)所示，在其右斜上侧和左斜下侧、或者、左斜上侧和右斜下侧配置有R像元。因此，以原图像41的W像元为对象的求值，由彩色图像生成部32按照下面的式(9)、式(10)计算出赋予给彩色图像42中与原图像41的W像元对应的配置位置上的像元的R值(C_i、jr)。

[式9]

　(右斜上侧和左斜下侧配置有R像元时)····　(9)

[式10]

　(左斜上侧和右斜下侧配置有R像元时)····　(10)

另外，针对原图像41的G像元，如图2中(b)所示，在其上下左右的任一侧上配置有R像元。因此，以原图像41的G像元为对象的求值，由彩色图像生成部32按照下面的式(11)～式(14)计算出赋予给彩色图像42中位于与原图像41的G像元对应的配置位置上的像元的R值(C_i、jr)。

[式11]

C_i,jr＝Sr_i+1,j　　(下侧配置有R像元时)·····　(11)

[式12]

C_i,jr＝Sr_i-1,j　　(上侧配置有R像元时)·····　(12)

[式13]

C_i,jr＝Sr_i,j+1　　(右侧配置有R像元时)·····　(13)

[式14]

C_i,jr＝Sr_i,j-1　　(左侧配置有R像元时)·····　(14)

[1-3.对C_i、j赋予B值]

接着，彩色图像生成部32计算出赋予给彩色图像42的各像元的B值(C_i、jb)。针对原图像41的B像元(色阶值为Sb_i、j的像元)，将该B像元自身的色阶值作为彩色图像42中的对应位置上的像元的B值(C_i、jr)。例如，彩色图像生成部32将原图像41的(i，j)＝(3,5)的像元的色阶值(Sb_3、5)作为彩色图像42的(i，j)＝(3,5)的像元的G值(C_3、5b)。

另外，针对原图像41的R像元，如图2中(b)所示，其上下左右的第2个像元为B像元。因此，以R像元为对象的求值，由彩色图像生成部32按照下面的式(15)～式(18)计算出赋予给彩色图像42中所对应的配置位置上的像元的B值(C_i、jb)。

[式15]

I3＝|Sb_i+2,j-Sb_i-2,j|　·····　(15)

[式16]

J3＝|Sb_i,j+2-Sb_i,j-2|　·····　(16)

[式17]

$C_{i,j}b=\frac{{\mathrm{Sb}}_{i+2,j}+{\mathrm{Sb}}_{i-2,j}}{2}$ 　(I3＜J3时)　·····　(17)

[式18]

$C_{i,j}b=\frac{{\mathrm{Sb}}_{i,j+2}+{\mathrm{Sb}}_{i,j-2}}{2}$ 　(I3＞J3时)　·····　(18)

另外，针对W像元(色阶值为Sw_i、j的像元)，如图2中(b)所示，在右斜上侧和左斜下侧、或左斜上侧和右斜下侧配置有B像元。因此，以W像元为对象的求值，由彩色图像生成部32按照下面的式(19)、式(20)计算出赋予给彩色图像42中所对应的配置位置上的像元的B值(C_i、jb)。

[式19]

　(右斜上侧和左斜上侧配置有B像元时)····　(19)

[式20]

　(左斜上侧和右斜下侧配置有B像元时)····　(20)

另外，针对G像元(色阶值为Sg_i、j的像元)，如图2中(b)所示，在上下左右中的任一侧相邻的一个像元为B像元。因此，以G像元为对象的求值，由彩色图像生成部32按照下面的式(21)～式(24)计算出赋予给彩色图像42中所对应的配置位置上的像元的B值(C_i、jb)。

[式21]

C_i,jb＝Sb_i+1,j　　(下侧配置有B像元时)·····　(21)

[式22]

C_i,jb＝Sb_i-1,j　　(上侧配置有B像元时)·····　(22)

[式23]

C_i,jb＝Sb_i,j+1　　(右侧配置有B像元时)·····　(23)

[式24]

C_i,jb＝Sb_i,j-1　　(左侧配置有B像元时)·····　(24)

另外，通过上面的处理，彩色图像生成部32计算出赋予给彩色图像42的各像元的R值(C_i、jr)、G值(C_i、jg)、B值(C_i、jb)，从而生成彩色图像42。

【2.高感光度图像的生成处理】

下面的STEP3是由高感光度图像生成部33所进行的处理。高感光度图像生成部33根据原图像41中的W像元的色阶值(Sw_i、j)和彩色图像42的各像元的R值、G值、B值，计算出赋予给高感光度图像43的各像元的色阶值(H_i、j)。

首先，针对彩色图像42的各像元，高感光度图像生成部33按照下面的式(25)计算出灰度的参照色阶值Y_i、j。另外，针对彩色图像42中对应于原图像41的R像元、G像元、B像元的像元，按照下面的式(25)所计算出的参照色阶值相当于本发明的第1参照色阶值。另外，针对彩色图像42中对应于原图像41的W像元的像元，按照下面的式(25)所计算出的参照色阶值相当于本发明的第2参照色阶值。

[式25]

Y_i,j＝0.3×C_i,jr+0.59×C_i,jg+0.11×C_i,jb　·····　(25)

其中，Y_i、j：参照色阶值、C_i、jr：彩色图像42的各像元C_i、j的R值、C_i、jg：彩色图像42的各像元C_i、j的G值、C_i、jb：彩色图像42的各像元C_i、j的B值，0.3、0.59、0.11：加权因子，均由实验等来确定，也可以使用其他的值。

并且，高感光度图像生成部33按照下面的式(26)计算出原图像41的各W像元的色阶值Sw_i、j和彩色图像42中对应于各W像元的配置位置上的像元的参照色阶值Y_i、j的比a_i、j，将其作为感光度差修正系数。另外，感光度差修正系数a_i、j相当于本发明的色阶差异度。

[式26]

$a_{i,j}=\frac{{\mathrm{Sw}}_{i,j}}{Y_{i,j}}.....\left(26\right)$

[2-1.对应于W像元的色阶值H_i、j的计算]

高感光度图像生成部33将原图像41的W像元的色阶值(Sw_{i、 j})赋予高感光度图像43中所对应的配置位置上的像元的色阶值(H_{i、 j})。

[2-2.对应于G像元的色阶值H_i、j的计算]

在图2中(b)所示的原图像41中，G像元的左右或上下配置有W像元。因此，高感光度图像生成部33按照下面的式(27)、式(28)计算出赋予给高感光度图像43中对应于原图像41的G像元的配置位置上的像元的色阶值(H_i、j)。另外，按照下面的式(27)、式(28)所计算出的色阶值(H_i、j)相当于本发明的修正色阶值。

[式27]

　(上下配置有W像元时)　·····　(27)

[式28]

　(左右配置有W像元时)　·····　(28)

[2-3.对应于R、B像元的色阶值H_i、j的计算]

在图2中(b)所示的原图像41中，R像元和B像元的斜上下侧配置有W像元。因此，高感光度图像生成部33按照下面的式(29)计算出赋予给感光度图像43中对应于原图像41的R、B像元的位置上的高像元的色阶值(H_i、j)。另外，按照下面的式(29)所计算出来的色阶值(H_i、j)相当于本发明的修正色阶值。

[式29]

$H_{i,j}=\frac{a_{i+1,j+1}+a_{i+1,j-1}+a_{i-1,j+1}+a_{i-1,j-1}}{4}\×Y_{i,j}.....\left(29\right)$

通过上面的处理，如图4中(b)所示，高感光度图像生成部33能够在对应于原图像41的各像元，赋予色阶值(H_i、j)而生成高感光度图像43。

【3.宽动态范围图像的生成处理】

接下来的STEP4是由宽动态范围图像生成部34所进行的处理。宽动态范围图像生成部34对彩色图像42和高感光度图像43中所对应的配置位置上的像元(配置位置相同的像元)，按照下面的式(30)所表示的加权函数对二者的色阶值进行加权后相加，从而计算出赋予给宽动态范围图像44的各像元的色阶值(D_i、j)。

[式30]

$w\left(x\right)=\frac{1}{1+e^{g(0.5-x)}}.....\left(30\right)$

其中，w(x)为S型函数(Sigmoid函数)，g为增益(gain)。另外，上述式(30)是加权函数的一个例子，也可以使用其他的加权函数。

宽动态范围图像生成部34按照下面的式(31)，由归一化色阶值(h_i、j)和归一化色阶值(y_i、j)计算出归一化合成色阶值(hdr_i、j)，归一化色阶值(h_i、j)是用最大色阶值(当分辨率为8位时，最大色阶值为255，当分辨率为10位时，最大色阶值为1023)对高感光度图像43的色阶值(H_i、j)进行归一化处理后所得到的值，归一化色阶值(y_i、j)是用最大色阶值对彩色图像42中按照上述式(25)计算出的参照色阶值(Y_i、j)进行归一化处理后所得到的值。

另外，“用最大色阶值对色阶值进行归一化处理”表示由色阶值除以最大色阶值，例如，当H_i、j＝200，Y_i、j＝65，最大色阶值为255时，得出h_i、j＝200/255，y_i、j＝65/255。通过进行归一化处理，使高感光度图像43的色阶值(H_i、j)和参照色阶值(Y_i、j)变换成相同数值范围内(数值范围相同)的值。

[式31]

${\mathrm{hdr}}_{i,j}=\frac{(1-w\left(h_{i,j}\right))\×h_{i,j}+w\left(h_{i,j}\right)\×a^{\′}\×y_{i,j}}{a^{\′}}.....\left(31\right)$

其中，h_i、j、y_i、j：归一化色阶值，a’：当以对应于W像元的像元为对象时，是指按照上述式(26)计算出的该像元的感光度修正系数a_i、j，当以对应于R、G、B的像元为对象时，是指对应于配置在周围的W像元的像元的感光度修正系数a_i、j。

还有，为了保证色阶低时的对比度，按照下面的式(23)对归一化合成色阶值(hdr_i、j)进行γ变换处理。另外，按照下面的式(32)，将第1参照色阶值和修正色阶值合成后得到的色阶值(D_i、j)相当于本发明的第1合成色阶值。另外，按照下面的式(32)，将第2参照色阶值和直接像元的色阶值合成后得到的色阶值(D_i、j)相当于本发明的第2合成色阶值。

[式32]

$D_{i,j}=\mathrm{Mb}\×{\left({\mathrm{hdr}}_{i,j}\right)}^{\frac{1}{\mathrm{\γ}}}.....\left(32\right)$

其中，D_i、j为宽动态范围图像的色阶值，Mb为最大色阶值。

通过上面的处理，如图5所示，宽动态范围图像生成部34能够在对应于原图像41的各像元的像元赋予色阶值(D_i、j)生成宽动态范围图像44。

【4.对象物检测处理】

接下来，STEP5～STEP7及STEP20是由对象物检测部36所进行的处理。对象物检测部36根据检测对象物的类别或摄像头2的拍摄条件切换根据彩色图像42检测对象物的处理(相当于本发明的第2对象物检测处理)、根据高感光度图像43检测对象物的处理(相当于本发明的第1对象物检测处理)、根据宽动态范围图像44检测对象物的处理(相当于本发明的第3对象物检测处理)。

[4-1.根据高感光度图像所进行的对象物的检测]

在STEP5中，对象物检测部36从高感光度图像43中检测行人。由于行人的辉度较低，因而通过使用高感光度图像43能够精确地检测到车辆1周围存在的行人。另外，STEP5中根据高感光度图像43检测对象物的处理相当于本发明的第1对象物检测处理。

对象物检测部36在检测到行人时，判断是否存在与车辆1接触的可能性。当判断出有与车辆1接触的可能性时，向车辆控制器6发行指示其实施接触避免措施的控制信号。

在接收到该控制信号后，车辆控制器6的显示器显示控制部63使显示器73显示相应的警报提示。另外，根据需要，由制动控制部62使制动装置72动作，进行避免接触的处理。

接下来，在STEP6中，对象物检测部36判断是否为夜间。另外，例如根据车辆1配备的前灯(未图示)的亮/灭来判断是否为夜间。另外，可以在车辆1上配备照度传感器，由该照度传感器所检测到的照度来判断是否为夜间。

[4-2.根据宽动态范围图像所进行的对象物的检测]

当判断为夜间时，进入STEP20，由对象物检测部36根据宽动态范围图像来检测其他车辆、行人。这里，在夜间，需要从较暗的物体到较亮的物体，辉度变化大的范围内检测物体。

这里，作为较暗的物体，例如为车辆1的前灯照射区域以外的位于远方的其他车辆、加塞车辆、突然冲出的车辆、或者在车辆1的前灯照射区域以外的人行道上行走的行人、正在横穿道路的行人等。另外，作为较亮的物体，例如为前方车辆的尾灯或刹车灯、相向而行的车辆的前灯、被车辆1的前灯照射到的行人等。

因此，在夜间，使用宽动态范围图像44能够检测到其他车辆、行人。另外，在STEP20中根据宽动态范围图像44检测对象物的处理相当于本发明的第3对象物检测处理。

对象物检测部36在检测到与车辆1可能接触的行人或其他车辆时，如上所述，向车辆控制器6发送指示其实施接触避免措施的控制信号。另外，在检测到信号灯时，对象物检测部36根据需要向车辆控制器6发送指示其对车辆1进行制动的控制信号，在接收到该控制信号后，制动控制部62使制动装置72动作，从而对车辆1进行制动。

[4-3.根据彩色图像所进行的对象物的检测]

在STEP6中判断出不是夜间时，进入STEP7，由对象物检测部36根据彩色图像42检测设在道路上的车道线、其他车辆及信号灯。这里，当白天的天空照度非常高时，为了检测到车道线、其他车辆及信号灯，不需要较高的感光度，而需要以高对比度来获得颜色信息。

从而，对象物检测部36根据彩色图像42来检测车道线、其他车辆及信号灯。此时，对象物检测部36根据车道线的颜色(白线、黄线等)来判断车道线的属性。另外，对象物检测部36根据前方车辆的刹车灯来判断前方车辆的减速，以及判断是否有追尾的可能性。另外，在STEP7中根据彩色图像42来检测对象物的处理相当于本发明的第2对象物检测处理。

并且，对象物检测部36向车辆控制器6发送控制信号，在该车辆控制器6接收到该控制信号后，转向控制部61控制转向装置71的动作，该控制信号用于车道保持控制，该车道保持控制为，根据车道线的检测位置使车辆1在行车道内行驶。

另外，对象物检测部36在检测到与车辆1可能接触的其他车辆时，如上所述，向车辆控制器6发送指示其实施接触避免措施的信号。还有，对象物检测部36在检测到前方信号灯为红灯时，而且在驾驶员没有进行制动操作时，向车辆控制器6发送提示信号，在车辆控制器6接收到该提示信号后，显示器显示控制部63在显示器上进行提示显示。另外，根据需要，由制动控制部62使制动装置72动作，对车辆1进行制动。

【5.使用其他种类的滤光片时的彩色图像的生成处理】

接下来，参照图6说明滤光片21的RGBW的配置不同时的彩色图像42、高感光度图像43及宽动态范围图像44的生成处理。

如在使用图6中(a)所示那样配置RGBW的滤光片21-1时，由摄像头2拍摄的原图像41-1如图6中(b)所示。图6中(b)与图2中(b)相同，由S(r、g、b、w)_i、j表示各像元的色阶值。

[5-1.对C_i、j赋予G值]

首先，由彩色图像生成部32计算出赋予给彩色图像42的各像元(C_i、j)的G值(C_i、jg)。针对原图像41-1的G像元(色阶值为Sg_i、j的像元)，将该G像元自身的色阶值赋予彩色图像42中所对应的配置位置上的像元(配置位置相同的像元)的G值。例如，由彩色图像生成部32将原图像41-1的(i、j)＝(2、2)的像元的色阶值(Sg_2、2)作为彩色图像42的(i、j)＝(2、2)的像元的G值(C_2、2g)。

另外，针对原图像41的R像元(色阶值为Sr_i、j的像元)及B像元(色阶值为Sb_i、j的像元)，如图6中(b)所示，斜上下侧相邻的像元为G像元。因此，彩色图像生成部32以R、B像元为对象，根据其斜上下侧相邻的G像元的色阶值(Sg_i+1、j+1、Sg_i-1、j+1、Sg_i-1、j+1、Sg_i+1、j-1)，按照下面的式(33)～式(36)计算出赋予给彩色图像42中所对应的位置上的像元的G值(C_i、jg)。

[式33]

I3＝|Sg_i+1,j+1-Sg_i-1,j-1|　·····　(33)

[式34]

J3＝|Sg_i-1,j+1-Sg_i+1,j-1|　·····　(34)

[式35]

$C_{i,j}g=\frac{{\mathrm{Sg}}_{i+1,j+1}+{\mathrm{Sg}}_{i-1,j-1}}{2}$ 　(I3＜J3时)　·····　(35)

[式36]

$C_{i,j}g=\frac{{\mathrm{Sg}}_{i-1,j+1}+{\mathrm{Sg}}_{i+1,j-1}}{2}$ (I3＞J3时)　·····　(36)

另外，针对原图像41-1的W像元(色阶值为Sw_i、j的像元)，如图6中(b)所示，上下或左右相邻的像元为G像元。因此，彩色图像生成部32以W像元为对象，根据其上下或左右相邻的G像元的色阶值(Sg_i-1、j、Sg_i+1、j、Sg_i、j-1、Sg_i、j+1)，按照下面的式(37)～式(38)计算出赋予给彩色图像42中所对应的配置位置上的像元的G值(C_i、jg)。

[式37]

　(上下配置有G像元时)····　(37)

[式38]

　(左右配置有G像元时)····　(38)

[5-2.对C_i、j赋予R值]

接下来，由彩色图像生成部32计算出赋予给彩色图像42的各像元的R值(C_i、jr)。针对原图像41-1的R像元(色阶值为Sr_i、j的像元)，将该R像元自身的色阶值作为彩色图像42的R值。例如，由彩色图像生成部32将原图像41-1的(i、j)＝(3、3)的像元的色阶值(Sr_3、3)作为彩色图像42的(i、j)＝(3、3)的像元的R值(C_3、3r)。

另外，针对原图像41-1的B像元(色阶值为Sb_i、j的像元)，如图6中(b)所示，其上下左右相邻有W像元且其上下左右第2个像元为R像元。因此，彩色图像生成部32以B像元为对象，根据其上下左右第2个像元的R像元的色阶值(Sr_i+2、j、Sr_i-2、j、Sr_i、j+2、Sr_i、j-2)，按照下面的式(39)～式(42)计算出赋予给彩色图像42中(与源图像中的B像元)所对应的配置位置上的像元的R值(C_{i、 j}r)。

[式39]

I4＝|Sw_i+1,j-Sw_i-1,j|　·····　(39)

[式40]

J4＝|Sw_i,j+1-Sw_i,j-1|　·····　(40)

[式41]

$C_{i,j}r=\frac{{\mathrm{Sr}}_{i+2,j}+{\mathrm{Sr}}_{i-2,j}}{2}$ 　(I4＜J4时)　·····　(41)

[式42]

$C_{i,j}r=\frac{{\mathrm{Sr}}_{i,j+2}+{\mathrm{Sr}}_{i,j-2}}{2}$ 　(I4＞J4时)　·····　(42)

另外，针对原图像41-1的G像元(色阶值为Sg_i、j的像元)，如图6中(b)所示，其右斜上侧和左斜下侧、或者左斜上侧和右斜下侧相邻的像元为R像元。因此，彩色图像生成部32以原图像41-1中的G像元为对象，根据其斜上、斜下侧相邻的R像元的色阶值(Sr_i+1、j、Sr_i-1、j-1、Sr_i-1、j+1、Sr_i+1、j-1)，由按照下面的式(43)～式(44)计算出赋予给彩色图像42中(与原图像41-1的G像元)所对应的位置上的像元的R值(C_i、jr)。

[式43]

　(左斜上侧和右斜下侧配置有R像元时)····　(43)

[式44]

　(右斜上侧和左斜下侧配置有R像元时)····　(44)

另外，针对原图像41-1的W像元(色阶值为Sw_i、j的像元)，在上下左右任一侧相邻的一个像元为R像元。因此，以原图像41-1中的W像元为对象，由彩色图像生成部32按照下面的式(45)～式(48)计算出赋予给彩色图像42中所对应的配置位置上的像元的R值(C_i、jr)。

[式45]

C_i,jr＝Sr_i+1,j　　(下侧配置有R像元时)　·····　(45)

[式46]

C_i,jr＝Sr_i-1,j　　(上侧配置有R像元时)·····　(46)

[式47]

C_i,jr＝Sr_i,j+1　　(右侧配置有R像元时)·····　(47)

[式48]

C_i,jr＝Sr_i,j-1　　(左侧配置有R像元时)·····　(48)

[5-3.对C_i、j赋予B值]

接下来，由彩色图像生成部32计算出赋予给彩色图像42的各像元的B值(C_i、jb)。针对原图像41-1的B像元(色阶值为Sb_i、j的像元)，将该B像元自身的色阶值赋予彩色图像42的B值。例如，由彩色生成部32将原图像41-1的(i、j)＝(3、5)的像元的色阶值(Sr_3、5)赋予彩色图像42的(i、j)＝(3、5)的像元的B值(C_3、5b)。

另外，针对原图像41-1的R像元(色阶值为Sr_i、j的像元)，如图6中(b)所示，其上下左右相邻有W像元且其上下左右第2个像元为B像元。因此，彩色图像生成部32以R像元为对象，根据其上下左右第2个像元的B像元的色阶值(Sb_i+2、j、Sb_i-2、j、Sb_i、j+2、Sb_i、j-2)，按照下面的式(49)～式(52)计算出赋予给彩色图像42中(与原图像41-1的R像元)所对应的配置位置上的像元的B值(C_i、jb)。

[式49]

I5＝|Sw_i+1,j-Sw_i-1,j|　·····　(49)

[式50]

J5＝|Sw_i,j+1-Sg_i,j-1|　·····　(50)

[式51]

$C_{i,j}b=\frac{{\mathrm{Sb}}_{i+2,j}+{\mathrm{Sb}}_{i-2,j}}{2}$ 　(I5＜J5时)　·····　(51)

[式52]

$C_{i,j}b=\frac{{\mathrm{Sb}}_{i,j+2}+{\mathrm{Sb}}_{i,j-2}}{2}$ 　(I5＞J5时)　·····　(52)

另外，针对原图像41-1的G像元(色阶值为Sg_i、j的像元)，如图6中(b)所示，其右斜上侧和左斜下侧、或者左斜上侧和右斜下侧相邻的像元为B像元。因此，彩色图像生成部32原图像41-1中的G像元为对象，根据其斜上下侧相邻的B像元的色阶值(Sb_{i+1、 j+1}、Sb_i-1、j-1、Sb_i-1、j+1、Sb_i+1、j-1)，按照下面的式(53)～式(54)计算出赋予给彩色图像42中(与原图像41-1的G像元)所对应的配置位置上的像元的B值(C_i、jb)。

[式53]

　(左斜上侧和右斜下侧配置有B像元时)····　(53)

[式54]

　(右斜上侧和左斜下侧配置有B像元时)····　(54)

另外，针对原图像41的W像元(色阶值为Sw_i、j的像元)，在上下左右任一侧相邻的一个像元为B像元。因此，以原图像41-1中的W像元为对象，由彩色图像生成部32按照下面的式(55)～式(58)计算出赋予给彩色图像42中(原图像41-1的W像元)所对应的配置位置上的像元的B值(C_i、jb)。

[式55]

C_i,jb＝Sb_i+1,j　　(下侧配置有B像元时)·····　(55)

[式56]

C_i,jb＝Sb_i-1,j　　(上侧配置有B像元时)·····　(56)

[式57]

C_i,jb＝Sb_i,j+1　　(右侧配置有B像元时)·····　(57)

[式58]

C_i,jb＝Sb_i,j-1　　(左侧配置有B像元时)·····　(58)

通过上面的处理，彩色图像生成部32根据原图像41-1计算出赋予给彩色图像42的各像元的R值(C_i、jr)、G值(C_i、jg)、B值(C_i、jb)，从而生成彩色图像42。

【使用其他种类的滤光片时的高感光度图像的生成处理】

高感光度图像生成部33根据原图像41-1的W像元的色阶值(Sw_i、j)和彩色图像42的各像元的R值、G值、B值，计算出赋予给高感光度图像43的各像元的色阶值(H_i、j)。

首先，针对彩色图像42的各像元，高感光度图像生成部33按照下面的式(59)计算出灰度的参照色阶值Y_i、j。另外，针对彩色图像42中对应于原图像41-1的R像元、G像元、B像元的像元，按照下面的式(59)所计算出的参照色阶值，相当于本发明的第1参照色阶值。另外，针对彩色图像42中对应于原图像41-1的W像元的像元，按照下面的式(59)所计算出的参照色阶值，相当于本发明的第2参照色阶值。

[式59]

Y_i,j＝0.3×C_i,jr+0.59×C_i,jg+0.11×C_i,jb　·····　(59)

其中，Y_i、j：参照色阶值、C_i、jr：彩色图像42的各像元C_i、j的R值、C_i、jg：彩色图像42的各像元C_i、j的G值、C_i、jb：彩色图像42的各像元C_i、j的B值，0.3、0.59、0.11：加权因子，均由实验等来确定，也可以使用其他的值。

并且，高感光度图像生成部33按照下面的式(60)计算出原图像41-1的各W像元的色阶值(Sw_i、j)和彩色图像42中对应于各W像元的配置位置上的像元的参照色阶值(Y_i、j)的比(a_i、j)，将其作为感光度差修正系数。另外，感光度差修正系数a_i、j相当于本发明的色阶差异度。

[式60]

$a_{i,j}=\frac{{\mathrm{Sw}}_{i,j}}{Y_{i,j}}.....\left(60\right)$

[6-1.对应于W像元的色阶值H_i、j的计算]

高感光度图像生成部33将原图像41-1的W像元的色阶值(Sw_{i、 j})赋予高感光度图像43中(与原图像41-1的W像元)所对应的配置位置上的像元的色阶值(H_i、j)。

[6-2.对应于G、R、B像元的色阶值H_i、j的计算]

在图6中(b)所示的原图像41-1中，在G像元、R像元、B像元的上下左右皆相邻地配置有W像元。因此，高感光度图像生成部33按照下面的式(61)～式(64)计算出赋予给高感光度图像43中对应于原图像41-1的G像元、R像元及B像元的配置位置上的像元的色阶值(H_i、j)。

[式61]

I6＝|a_i+1,j-a_i-1,j|　·····　(61)

[式62]

J6＝|a_i,j+1-a_i,j-1|　·····　(62)

[式63]

$H_{i,j}=\frac{a_{i+1,j}+a_{i-1,j}}{2}\×Y_{i,j}$ 　(I6＜J6时)　·····　(63)

[式64]

$H_{i,j}=\frac{a_{i,j+1}+a_{i,j-1}}{2}\×Y_{i,j}$ 　(I6＞J6时)　·····　(64)

通过上面的处理，高感光度图像生成部33根据原图像41-1和彩色图像42计算出赋予给高感光度图像43的各像元的色阶值(H_i、j)，从而生成高感光度图像43。

【7.使用其他种类的滤光片时的宽动态范围图像的生成处理】

与上述【3.宽动态范围图像的生成处理】相同，宽动态范围图像生成部34对根据原图像41-1生成的彩色图像42和高感光度图像43中配置位置相同的各像元，按照加权函数对这二者进行加权后合成，从而生成宽动态范围图像44。

另外，在本实施方式中，表示了将本发明的图像处理装置搭载在车辆1上的例子，但是，本发明并不局限于该实施方式，可以适用于监视装置等各种用途。

另外，在本实施方式中，表示了图2中(a)和图6中(a)所示的2种滤光片，但是，只要是拍摄元件以配置通过彩色滤光片感光的感光像素和不通过彩色滤光片感光的感光像素的方式构成，由利用该拍摄元件的摄像头拍摄的拍摄图像，便能够适用本发明，生成高感光度图像。

另外，在本实施方式中，按照上述式(26)、式(60)将原图像41、41-1的各W像元的色阶值(Sw_i、j)和彩色图像42中对应于各W像元的配置位置上的像元的参照色阶值(Y_i、j)的比(a_i、j)作为感光度差修正系数计算出来，利用该感光度差修正系数a，按照上述式(27)～式(29)、上述式(61)～式(64)计算出高感光度图像的各像元的色阶值(H_i、j)。但是，作为本发明的色阶差异度，可以利用各W像元的色阶值(Sw_i、j)和参照色阶值(Y_i、j)的差等、基于W像元的色阶值(Sw_i、j)的其他指标，计算出高感光度图像的各色阶值(H_i、j)。

【工业实用性】

本发明可以用于，根据利用配置通过彩色滤光片感光的像素和不通过彩色滤光片感光的像素的拍摄元件的摄像头的拍摄图像，生成高感光度图像、宽动态范围图像等。

【附图标记说明】

1：车辆；2：摄像头；3：图像控制器；6：车辆控制器；21(21-1)：滤光片；22：拍摄元件；30：控制电路；31：原图像获得部；32：彩色图像生成部；33：高感光度图像生成部；34：宽动态范围图像生成部；35：图像生成部；36：对象物检测部；41(41-1)：原图像；42：彩色图像；43：高感光度图像；44：宽动态范围图像。

Claims (6)

1.一种图像处理装置，其特征在于，具有摄像头和图像生成部，

所述摄像头利用拍摄元件进行拍摄，该拍摄元件中配置有通过彩色滤光片感光的多个彩色感光像素和不通过彩色滤光片感光的多个直接感光像素，

所述摄像头拍摄的原图像由与彩色感光像素对应的多个彩色像元以及与直接感光像素对应的多个无彩像元构成，所述多个彩色像元的色阶值对应于所述彩色感光像素的感光量，所述多个无彩像元的色阶值对应于所述直接感光像素的感光量，

针对所述原图像的所述各彩色像元，所述图像生成部根据所述彩色像元自身的色阶值或位于彩色像元周围的其他彩色像元的色阶值计算出第1参照色阶值后，根据位于彩色像元周围的无彩像元的色阶值对所述第1参照色阶值进行修正而计算出修正色阶值，

所述图像生成部根据所述各彩色像元的修正色阶值，生成高感光度图像和宽动态范围图像中的至少一个图像，

所述图像生成部将所述各彩色像元的修正色阶值和所述各无彩像元的色阶值作为高感光度图像中所对应位置上的像元的色阶值，从而生成所述高感光度图像，

所述彩色滤光片为3原色滤光片，所述彩色感光像素通过3原色中的一种颜色的滤光片感光，

所述图像生成部，

针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出3原色的各色阶值，根据该3原色的各色阶值计算出第2参照色阶值，并计算出第2参照色阶值与各无彩像元的自身色阶值的色阶差异度，

针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或者位于其周围的其他的彩色像元的色阶值计算出3原色的各色阶值，根据该3原色的各色阶值计算出所述第1参照色阶值，

根据所述色阶差异度来对所述第1参照色阶值进行修正，从而计算出所述修正色阶值，

所述图像生成部针对所述原图像的各彩色像元，将第1合成色阶值作为宽动态范围图像中对应位置上的像元的色阶值，针对所述原图像的各无彩像元，将第2合成色阶值作为宽动态范围图像中对应位置上的像元的色阶值，从而生成宽动态范围图像，

所述第1合成色阶值是通过合成各彩色像元自身的所述第1参照色阶值和所述高感光度图像中对应位置上的像元的色阶值而得到的值，

所述第2合成色阶值是通过合成各无彩像元自身的所述第2参照色阶值和所述高感光度图像中对应位置上的像元的色阶值而得到的值。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像生成部将所述第1参照色阶值和所述高感光度图像的色阶值变换为相同数值范围内的值，对二者进行加权求和从而计算出所述第1合成色阶值，将所述第2参照色阶值和所述高感光度图像的色阶值变换为相同数值范围内的值，对二者进行加权求和从而计算出所述第2合成色阶值。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述图像生成部，针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，另外，针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或位于其周围的其他彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，从而生成彩色图像，

所述图像处理装置具有对象物检测部，

所述对象物检测部根据被检测对象物的类别，切换执行第1对象物检测处理和第2对象物检测处理，所述第1对象物检测处理为根据所述高感光度图像检测对象物的处理，所述第2对象物检测处理为根据所述彩色图像检测对象物的处理。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述图像生成部，针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，另外，针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或位于其周围的其他彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，从而生成彩色图像，

所述图像处理装置还具有对象物检测部，

所述对象物检测部根据被检测对象物的类别或所述摄像头的拍摄条件，切换执行第1对象物检测处理、第2对象物检测处理与第3对象物检测处理，所述第1对象物检测处理为根据所述高感光度图像检测对象物的处理，所述第2对象物的检测处理为根据所述彩色图像检测对象物的处理，所述第3对象物检测处理为根据所述宽动态范围图像检测对象物的处理。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述图像生成部将所述第1参照色阶值和所述修正色阶值变换成相同数值范围内的值，对二者进行加权求和从而计算出所述第1合成色阶值，另外，将所述第2参照色阶值和所述无彩像元的色阶值变换成相同数值范围内的值，对二者进行加权求和，从而计算出所述第2合成色阶值。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述图像生成部，针对所述原图像的各无彩像元，根据位于其周围的彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，另外，针对所述原图像的各彩色像元，根据彩色像元自身的色阶值或位于其周围的其他彩色像元的色阶值计算出彩色的色阶值，并将该彩色的色阶值作为彩色图像中对应位置上的像元的色阶值，从而生成彩色图像，

所述图像处理装置具有对象物检测部，

所述对象物检测部根据被检测对象物的类别或所述摄像头的拍摄条件，切换执行第2对象物检测处理和第3对象物检测处理，所述第2对象物的检测处理为，根据所述彩色图像检测对象物，所述第3对象物检测处理为，根据所述宽动态范围图像检测对象物。