CN110710200B - 摄像器件、摄像设备和移动体 - Google Patents

Abstract

根据本发明的摄像器件具有在彼此垂直的行方向和列方向上布置的多个像素。该摄像器件的特征在于，多个像素包括具有在行方向上并列布置的多个光电转换单元的距离测量像素；以及在针对每M行在行方向上偏移像素的大致一半的位置处布置像素，在行方向上采用以N列作为周期的阵列布置滤色器，并且在列方向上采用以2MN行作为周期的阵列布置滤色器，其中M和N是1以上的整数。

Description

摄像器件、摄像设备和移动体

技术领域

本发明涉及摄像器件和摄像设备。特别地，本发明涉及用于使用摄像面相位差方法来测量距离的摄像器件和摄像设备。

背景技术

在机器人或机动车中安装使用诸如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器等的摄像器件的摄像设备时，除了用于获取图像信息的功能之外，还需要用于获取相对于相关物体的距离信息的功能。作为用于获取距离信息和图像信息的方法，提出了被称为摄像面相位差方法的方法(专利文献1)。

在摄像面相位差方法中，从根据通过镜头光瞳的不同区域(光瞳区域)的光束所生成的视差图像的视差(图像偏移量)来获取距离信息。这里，如果摄像光学系统的成像倍率恒定，则摄像面相位差方法中的距离测量精度由基线长度和视差的检测分辨率确定。视差的检测分辨率由摄像器件的像素大小确定，并且随着像素大小的减小而提高。因此，减小像素大小实现了高的距离测量精度，以提供精确的距离信息。

现有技术文献

专利文献

专利文献1：日本专利5504874

发明内容

发明要解决的问题

然而，减小像素大小引起如下问题：入射到像素上的光量减小，从而降低了感光度。另外，由于因感光度降低引起的噪声量增加，导致存在所获取到的图像信息中的颜色再现的非最优化的挑战。特别地，为了以高精度进行移动中的碰撞避免和对象物的获取，不仅需要提高距离信息的精度，而且需要提高图像识别的精度。还需要获取更高质量的图像信息。

本发明的目的是提供能够获取高感光度和高精度的距离信息以及高质量的图像信息的摄像器件和摄像设备。

用于解决问题的方案

根据本发明的摄像器件包括在彼此垂直的行方向和列方向上布置的多个像素。多个像素包括各自具有被布置为在行方向上彼此相邻的多个光电转换器的距离测量像素。在M表示不小于1的整数并且N表示不小于2的整数的情况下，在针对每M行在行方向上偏移与像素的一半相对应的量的位置处布置像素，在行方向上以每周期N列的阵列布置滤色器，并且在列方向上以每周期2MN行的阵列布置滤色器。

发明的效果

根据本发明，可以提供能够获取高感光度和高精度的距离信息以及高质量的图像信息的摄像器件和摄像设备。

附图说明

图1A是根据实施例的摄像设备和摄像器件的功能框图。

图1B是根据实施例的摄像设备和摄像器件的功能框图。

图1C是根据实施例的摄像设备和摄像器件的功能框图。

图1D是根据实施例的摄像设备和摄像器件的功能框图。

图2是关于根据实施例的摄像器件的滤色器的布置的图。

图3A是关于根据实施例的摄像器件的滤色器的布置的图。

图3B是关于根据实施例的摄像器件的滤色器的布置的图。

图4A是关于根据实施例的摄像器件的像素结构的图。

图4B是关于根据实施例的摄像器件的像素结构的图。

图4C是关于根据实施例的摄像器件的像素结构的图。

图4D是关于根据实施例的摄像器件的像素结构的图。

图5A是关于根据实施例的距离检测信号的图。

图5B是关于根据实施例的距离检测信号的图。

图6A是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图6B是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图6C是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图6D是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图7A是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图7B是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图7C是关于根据第二实施例的摄像器件中的滤色器的布置的图。

图8A是当根据第三实施例的摄像设备用于移动体中时的框图，并且是示出摄像设备的操作的示例的图。

图8B是当根据第三实施例的摄像设备用于移动体中时的框图，并且是示出摄像设备的操作的示例的图。

具体实施方式

这里将参考附图来描述本发明实施例中的摄像设备。在所有附图中使用相同的附图标记来标识具有相同功能的组件，并且这里省略对这样的组件的重复描述。

(第一实施例)

图1A至1D中示出使用根据本发明的摄像器件的摄像设备的典型结构。参考图1A，摄像设备100包括摄像光学系统101、摄像器件102、摄像器件控制单元103、图像处理单元104、距离测量计算单元105、控制单元106和外部接口(I/F)107等。通过摄像光学系统101在摄像器件102上形成要拍摄的被摄体场的光学图像。本实施例的摄像光学系统101具有用于改变焦点位置的调焦机构、用于调节透过光量的光圈机构、用于插入和移除诸如中性密度(ND)滤波器等的光学滤波器的光量调节机构以及用于改变焦距的变焦机构等。摄像光学系统101可以被配置为可从摄像设备100移除。在这种情况下，优选地提供用于在摄像光学系统101和摄像设备100之间通信诸如控制信息和设置信息等的各种数据的通信部件。

摄像器件102具有用于将由摄像光学系统101形成的光学图像转换成电信号的功能，并且能够输出包括用于生成拍摄图像的摄像信号和用于检测与被摄体有关的距离信息的距离检测信号的像素信号。下面将详细描述摄像器件102的详细结构和操作等。

摄像器件控制单元103驱动摄像器件102，读出与从各个像素输出的光学图像相对应的像素信号，并且将像素信号传送到控制单元106。另外，摄像器件控制单元103包括用于适当地校正像素信号的校正部件。例如，校正部件包括用于校正摄像器件102的周边区域中的光量减少的处理以及像素信号的缺陷中的插值处理等。

图像处理单元104基于传送到控制单元106的像素信号中所包括的摄像信号，以帧为单位进行显像，以生成拍摄图像。拍摄图像不限于静止图像，并且可以是使用诸如H.265等的特定编码方法的运动图像等。可以不以帧为单位生成拍摄图像，并且可以使用与多个帧图像有关的摄像信号来生成与一个帧相对应的拍摄图像。另外，在拍摄图像的生成中也可以使用距离检测信号。

距离测量计算单元105基于传送到控制单元106的像素信号中所包括的距离检测信号来计算与被摄体有关的距离信息。可以针对各个像素或针对各个特定区域计算距离信息。在距离信息的计算中，除了使用距离检测信号之外，还可以使用摄像信号。

附图标记106表示用于控制整个摄像设备100的控制单元。控制单元106包括用于控制各种计算和整个摄像设备100的中央处理单元(CPU)。CPU进行各个部件的总体控制，以便控制整个摄像设备100。除了该控制之外，CPU还对各个组件进行各种设置参数等的设置。另外，CPU包括能够电写入和擦除数据的高速缓冲存储器等，并且执行记录在高速缓冲存储器等上的程序。存储器用作例如由CPU执行的程序的存储区域、程序执行期间的工作区域、以及数据存储区域。控制单元106还对从摄像器件102输出的信号进行分析和图像处理。分析结果作为图像信息输出。图像信息是图像的分析结果，并且不仅包括被摄体的亮度和颜色，而且包括物体(包括人体)的存在和特征、物体的位置、速度和加速度以及特定被摄体的检测结果等。

在图像处理单元104中生成的拍摄图像被提供给诸如液晶显示器(LCD)(未示出)等的显示单元等。另外，控制单元106根据像素信号计算适当的曝光条件量，以控制摄像光学系统101中的光圈和ND滤波器、摄像器件102中的快门速度以及摄像器件控制单元103中使用的增益值。这里的快门速度对应于电子快门的曝光时间。控制单元106与特定同步信号同步地向摄像器件102指示开始电荷累积的定时以及读出电荷的定时等，以进行各个组件的控制。此外，控制单元106还包括临时存储计算结果和来自摄像器件控制单元103的输出信号的随机存取存储器(RAM)以及存储缺陷像素数据和各种调整值或参数的只读存储器(ROM)。

附图标记107表示从外部输出拍摄图像和所计算出的距离测量信息等的外部I/F。输出目的地包括外部控制设备、记录器和外部分析设备(图像识别设备等)等。通过外部I/F107，能够从诸如其它摄像设备等的外部设备接收各种数据和图像信号等。可选地，摄像设备100可以使用外部I/F 107通过计算机或互联网与外部计算机连接，以获取必要的信息。外部I/F 107不限于有线连接，并且可以是符合一定标准的诸如无线局域网(LAN)等的无线连接。

图1B中示出从光入射在摄像器件102上的方向的俯视图。摄像器件102包括在彼此垂直的行方向和列方向上以矩阵模式布置的多个像素110。图1C中示出像素110的截面图，并且图1D中示出像素110的俯视图。作为结构，从光入射侧起布置微透镜111、滤色器112、布线部113、光电转换器114、光电转换器115和光电转换器116。光电转换器114、光电转换器115和光电转换器116形成在Si基板117上。光电转换器114、光电转换器115和光电转换器116被布置为在行方向上排列，并且经由微透镜111与摄像光学系统101的出射光瞳光学上具有大致共轭关系。利用该结构，能够使用光电转换器114、光电转换器115和光电转换器116获取根据穿过摄像光学系统101的光瞳的不同区域的光束所生成的光学图像。换句话说，从各个光电转换器输出的像素信号在行方向上具有视差，因此能够使用摄像面相位差方法来获取与被摄体有关的距离信息。在本实施例中由各个光电转换器获取到的信号与距离检测信号相对应。参考图1D，光电转换器115的纵向方向上的长度比其余光电转换器的纵向方向上的长度短。这有效地对应于摄像光学系统101的孔径直径的减小，并且用于获取深度深的图像。光电转换器115的纵向方向上的长度可以与其余光电转换器的纵向方向上的长度相同。

在本实施例的距离测量计算单元105的距离信息的计算中，使用来自光电转换器114和光电转换器116的输出信号。与光电转换器被布置成在行方向上彼此相邻的情况相比，这增加了光电转换器之间的间隔，从而延长了基线长度。因此，可以以高精度进行距离测量。可以根据图像高度位置和摄像光学系统101的各个条件来使用来自光电转换器115的信号。对于各图像获取，可以改变用于获取信号的光电转换器的组合。

像素110用作能够获取距离检测信号的距离测量像素，并且同时还用作能够获取摄像信号的摄像像素。具体地，在生成拍摄图像时，像素110仅使用来自光电转换器115的输出信号或者通过将来自光电转换器114、光电转换器115和光电转换器116的输出相加而得到的信号。在前者的情况下能够生成具有深景深的图像，而在后者的情况下能够生成具有高感光度和高分辨率的摄像信号。通过由摄像器件102中设置的加法电路进行加法操作，使得能够减少从摄像器件102输出的信号量。在这种情况下，可以从根据相加而得到的摄像信号来计算在距离测量计算单元105中使用的距离检测信号。在本实施例中的拍摄图像的生成中使用的各个信号与摄像信号相对应。

接着，将详细描述像素110的阵列，特别是滤色器的阵列。图2中示出根据本发明的摄像器件中的像素阵列和滤色器阵列的示例。针对像素110设置多种滤色器。像素110包括设置有透过特定颜色的波长带的滤色器的彩色像素和设置有透过所有波长带的滤色器的白色像素W。彩色像素包括设置有透过绿色波长带的滤色器的绿色像素G、设置有透过红色波长带的滤色器的红色像素R、以及设置有透过蓝色波长带的滤色器的蓝色像素B。关于彩色像素的布置，在平面图中，一个彩色像素在行方向、列方向和斜方向的所有方向上与白色像素W相邻。虽然白色像素W的滤色器的透过波长带假定为可见光的范围，但是透过波长带不限于此，并且可以包括红外波长范围。另外，可以设置除了RGB之外的颜色的滤色器作为彩色像素。例如，可以设置不同的波长带G1和G2作为不同的绿色波长带。

本实施例的像素110被布置为针对每两行在行方向上偏移。作为示例，当在图2所示的布置中像素110在行方向上的宽度由L表示时，偏移量为L/2，因此，与像素没有偏移地布置的情况相比，摄像器件102能够使在摄像器件上形成的光学图像在行方向上的采样周期加倍。因此，可以在保持像素大小大的同时使视差的检测分辨率加倍。另外，可以以高感光度和高精度两者实现距离测量。特别地，将像素布置为针对每2行偏移，这便于在列方向上的多个像素之间共用诸如晶体管等的像素电路，以简化电路并增加开口率。将像素布置为针对每2行偏移还具有低噪声、低功耗和高感光度的优点。在行方向上排列每周期4列的滤色器。与布置每周期2列的像素的普通拜尔模式的情况相比，这使得能够均匀地布置具有宽透过波长带的滤色器的像素(诸如白色像素W等)，以实现高感光度和高分辨率。

图2中所示的每周期4列和16行的滤色器在行方向和列方向上重复布置。以下将详细描述以上述方式布置滤色器生成更高质量的图像的原因。图2中所示的阵列是摄像器件102中包括的阵列的一部分，并且本实施例的摄像器件102具有以图2中所示的周期性重复的像素阵列。这里，以图2中的布置作为示例，详细描述一个周期。关注图2中的阵列的第一行中的R像素，在第一行的R像素下方或上方的16行的像素中布置了在列方向上的同一列中的相同颜色的滤色器。换句话说，在一个周期内在布置特定滤色器的像素的上方或下方不布置相同颜色的滤色器。这同样适用于列方向。

图3A中示出在行方向上排列两个周期的图2中所示的滤色器单位的状态。与之相对，作为排列滤色器的不同方法，图3B中示出在行方向上排列两个周期并且在列方向上排列两个周期的滤色器的状态。这里，4列和8行构成一个周期。用于基于从本实施例的摄像器件102提供的摄像信号来在图像处理单元104中生成拍摄图像的显像包括插值处理。如图2所示，针对各个像素布置仅透过特定波长带的光的滤色器。因此，使用插值处理从相邻像素获取基于不同带中的光的分量。

现在这里将考虑根据周围像素信号来插值蓝色像素B的位置处的红色信号分量的插值处理。在图3A和图3B所示的示例中，作为插值处理，通过来自周围红色像素R1至R4这4个像素的输出的简单平均或加权平均，来计算蓝色像素B1的位置处的红色信号分量。同样地，通过来自周围红色像素R3至R6这4个像素的输出的简单平均或加权平均，来计算蓝色像素B2的位置处的红色信号分量。这里，在图3A所示的滤色器阵列中，蓝色像素B1和蓝色像素B2与周围的红色像素R具有相同的位置关系。

然而，在图3B所示的滤色器阵列中，蓝色像素B1与蓝色像素B2的不同之处在于与周围红色像素R的位置关系。另外，图3B中的蓝色像素B2从周围红色像素R3至R6的重心位置偏移。因此，由于在像素的颜色信号的插值处理中，在插值中使用的像素的位置关系和重心位置偏移，因此在应当输出相同颜色的区域中出现颜色不均匀和/或在被摄体的边界中出现颜色污点。换句话说，利用如图3A所示的根据本发明的滤色器阵列，可以改善像素阵列的周期性和颜色阵列的周期性，以生成具有高颜色再现性和高质量的拍摄图像。

在本实施例中，如图2所示，在本实施例的摄像器件102的像素阵列中，在列方向上排列了仅布置有用于获取亮度信号的像素(诸如白色像素W和绿色像素G等)的亮度信号获取行(亮度信号行)。另外，在列方向上还排列了布置有用于获取亮度信号的像素以及还包括彩色像素(诸如红色像素和蓝色像素等)的用于获取亮度信号和颜色信号的像素的颜色信号获取行(颜色信号行)。以上述方式设置仅获取亮度信号的像素行，这使得能够在平面内以高密度获取亮度信号，从而以高分辨率和高质量实现图像获取。另外，交替地布置亮度信号获取行和颜色信号获取行，这使得能够以高密度获取亮度信号和颜色信号，以实现高分辨率和高颜色再现性两者。特别地，用白色像素W配置用于获取亮度信号的像素并且在颜色信号获取行中布置绿色像素、蓝色像素和红色像素这些彩色像素，这使得能够以高感光度、高分辨率和高颜色再现性实现图像获取。如图2所示，将各个彩色像素布置为被白色像素W包围，这使得以更高感光度、更高分辨率和更高颜色再现性实现图像获取。

接着，现在将参考图5A和5B详细描述用于生成在距离测量计算中使用的距离检测信号的方法。针对图2中的各行创建各个视差的亮度信号列。这里，在亮度信号获取行中，各个视差的亮度信号列与来自图5A所示的各个像素的光电转换器114的输出信号列和来自光电转换器116的输出信号列相对应。尽管这同样适用于颜色信号获取行，但是需要获取与诸如红色像素和蓝色像素等的颜色信号获取像素相对应的亮度信号。具体地，通过使用诸如相邻的白色像素W和绿色像素G等的亮度信号获取像素的亮度信号进行插值来创建各个视差的亮度信号列。

然后，对位置在行方向上偏移的亮度信号列进行组合，以创建具有像素阵列周期的两倍的空间分辨率的高分辨率亮度信号列。具体地，如图5B所示，在行方向上交替地布置亮度信号获取行1的亮度信号和颜色信号获取行2的亮度信号，以创建高分辨率亮度信号列1。同样地，根据亮度信号获取行2的亮度信号和颜色信号获取行3的亮度信号来创建高分辨率亮度信号列2。对于其它行同样地创建高分辨率亮度信号列。然后，使用针对各个视差所计算出的高分辨率亮度信号列并通过诸如视差信号之间的相关计算等的已知方法来计算视差。此时，将高分辨率亮度信号列的创建所基于的像素布置为以上述方式偏移，这使得能够以像素大小的一半的分辨率更精确地生成图像。因此，能够计算视差以实现高精度的距离测量。由于当使用高分辨率亮度信号列时要计算的数据量增加，因此计算负荷可能增加。在这种情况下，可以在创建高分辨率亮度信号列之前计算临时视差，并且可以使用所计算的临时视差来限制高分辨率亮度信号列中的计算范围。

可以仅基于来自亮度信号获取行的输出信号来创建高分辨率亮度信号列。具体地，交替地布置亮度信号获取行1的亮度信号和亮度信号获取行2的亮度信号，以创建高分辨率亮度信号列1。同样地，根据亮度信号获取行2的亮度信号和亮度信号获取行3的亮度信号，或者根据亮度信号获取行3的亮度信号和亮度信号获取行4的亮度信号，创建高分辨率亮度信号列2。这使得例如不需要用于创建颜色信号获取行的亮度信号列的插值处理，从而使得能够使用少量计算来实现高精度的距离测量。尽管描述了在根据多行信号创建高分辨率亮度信号列之后计算视差的示例，但是视差的计算不限于上述示例。可以在创建高分辨率亮度信号列之前计算视差，并且可以基于所计算的视差来计算高分辨率视差。

这里，当仅基于来自亮度信号获取行的输出信号来创建在距离测量计算中使用的高分辨率亮度信号列时，颜色信号获取行的像素信号仅用于生成拍摄图像。因此，可以从在颜色信号获取行中布置的距离测量像素仅读出来自光电转换器115的输出信号或者仅读出通过将来自光电转换器114、光电转换器115和光电转换器116的输出相加而得到的信号。这减少了要读出和要传送的数据量，从而提高了摄像器件的驱动速度并减少了摄像器件的驱动中的功耗。另外，由于能够减少用于读出和传送的电路，因此增加了开口率，从而增加了感光度。此外，在前者的情况下能够生成具有深景深的图像，而在后者的情况下能够生成具有高感光度和高分辨率的图像。

如上所述，根据本发明，当像素被布置为偏移了与像素的一半相对应的量时，也可以改善像素阵列的周期性和滤色器阵列的周期性，以生成具有高感光度和高精度的距离信息以及具有高质量的图像。

尽管如图1C所示，在本实施例中使用了各自在光电转换器114、光电转换器115和光电转换器116的光入射侧处包括布线部113的正面照射型像素，但是像素不限于这种类型。如图4A所示，使用在光入射侧的相反侧处设置布线部113的背面照射型像素结构，这使得能够抑制由布线部中的扩散引起的光损耗和光电转换器中的开口率的减小，以提高光的使用效率，从而使得以高感光度实现图像获取。如图4B所示，不使用Si基板，并且由有机材料或无机材料制成的光电转换膜可以用作光电转换器114、光电转换器115和光电转换器116。使用光电转换膜形成极薄的光电转换器，这抑制了同一像素内的以及相邻像素间的相邻光电转换器之间的串扰，并且实现了高距离测量精度以及高质量和高感光度两者。

如图4C中所示的像素120那样，像素可以包括被布置成在行方向上彼此相邻的光电转换器121和光电转换器122这两个光电转换器。在这种情况下，与使用3个光电转换器的情况相比，感光度增加。此时，来自任何光电转换器的输出信号或通过将来自两个光电转换器的输出相加而得到的信号用于生成拍摄图像。可选地，如图4D中所示的像素123那样，像素可以包括被布置成在行方向和列方向上彼此相邻的光电转换器124、光电转换器125、光电转换器126和光电转换器127这4个光电转换器。在这种情况下，还能够获取列方向上的视差图像。例如，能够根据通过将来自光电转换器124和光电转换器126的输出相加而得到的信号以及通过将来自光电转换器125和光电转换器127的输出相加而得到的信号来获取列方向上的视差图像。这使得能够提高在列方向上具有大的对比度变化的被摄体的距离测量精度。

摄像器件中的像素可以不必具有相同的结构，并且在摄像器件的像素中，包括诸如像素110、像素120和像素123等的距离测量像素以及各自包含一个光电转换器的正常像素的不同结构的像素可以混合存在。由于摄像器件中的像素因对各个像素的特性的变化的抑制而期望具有相同的结构，因此在本实施例对于摄像器件102中的所有像素110使用距离测量像素。当不同结构的像素混合存在时，摄像器件控制单元103优选地以叠层结构与摄像器件102一起设置在一个封装体中。这支持复杂的驱动以减小对控制单元106的负荷。

(第二实施例)

在第一实施例中描述了如下示例：在对于每两行在行方向上偏移与像素的大约一半相对应的量的位置处布置像素，并且布置在行方向上每周期4列并且在列方向上每周期16行的滤色器。本发明不限于此，并且当M和N表示不小于1的整数时，采用下面描述的滤色器阵列来配置摄像器件，这使得能够以相同的方式生成具有高感光度和高精度的距离信息以及具有高质量的图像。在对于每M行在行方向上偏移与像素的一半相对应的量的位置处布置像素并且在行方向上以每周期N列的阵列布置滤色器的情况下，在列方向上以每周期2MN行的阵列布置滤色器。为了将在N列的周期上布置的像素每周期偏移与像素的一半相对应的量，需要将像素偏移2N次。由于在M行的周期上进行一次偏移，因此为了保持周期性，以每周期2MN行的阵列布置滤色器就足够了。

现在将参考图6A至6D和图7A至7C来描述根据本发明的与图2中的滤色器阵列不同的滤色器阵列。图6A和图6B对应于M＝2且N＝2的情况，并且示出每周期8行的滤色器阵列。图6A中的滤色器阵列仅包括用于获取亮度信号和颜色信号的颜色信号获取行，并且包括各自布置有红色、绿色和蓝色中的任何颜色的滤色器的彩色像素R、G和B。图6B中的滤色器阵列具有交替地布置亮度信号获取行和颜色信号获取行的结构，其中亮度信号获取行中布置有白色像素W，以及颜色信号获取行中布置有彩色像素R、G和B。图6C对应于M＝3且N＝2的情况，并且示出每周期12行的滤色器阵列。图6C中的滤色器阵列具有布置了亮度信号获取行和颜色信号获取行的结构，其中亮度信号获取行中布置有白色像素W，以及颜色信号获取行中布置有彩色像素R、G和B。使用两个亮度信号获取行并且将相邻的亮度信号获取行布置为在行方向上偏移与像素的一半相对应的量，这便于创建高分辨率亮度信号列。图6D对应于M＝4且N＝2的情况，并且示出每周期16行的滤色器阵列。如图6B一样，图6D中的滤色器阵列具有交替地布置亮度信号获取行和颜色信号获取行的结构，其中亮度信号获取行中布置有白色像素W，颜色信号获取行中布置有彩色像素R、G和B。

图7A至7C对应于M＝1的情况。图7A和图7B对应于M＝1且N＝2的情况，并且示出每周期4行的滤色器阵列。图7A中的滤色器阵列仅包括用于获取亮度信号和颜色信号的颜色信号获取行，并且包括各自布置有红色、绿色和蓝色中的任何颜色的滤色器的彩色像素R、G和B。图7B中的滤色器阵列具有交替地布置亮度信号获取行和颜色信号获取行的结构，其中亮度信号获取行中布置有绿色像素G，以及颜色信号获取行中布置有彩色像素R、G和B。图7C对应于M＝1且N＝4的情况，并且示出每周期8行的滤色器阵列。如图2中的情况一样，图7C中的滤色器阵列具有交替地布置亮度信号获取行和颜色信号获取行的结构，其中亮度信号获取行中布置有白色像素W，以及颜色信号获取行中布置有彩色像素R、G和B以及白色像素W。

在图6A至6D和图7A至7C所示的所有情况下，可以改善像素阵列的周期性和颜色阵列的周期性，以生成具有高感光度和高精度的距离信息以及具有高质量的图像。

用于获取颜色信号的彩色像素不限于原色的滤色器，并且可以是诸如青色和黄色等的互补色的滤色器。在这种情况下，滤色器的透过波长带被加宽以使得以高感光度实现图像获取。另外，偏移量不限于与像素的一半相对应的量。例如，偏移量可以是与像素的三分之一或像素的四分之一相对应的量。在这种情况下，当将偏移量设置为与像素的Q分之一相对应的量时，在列方向上以每周期Q×MN行的阵列布置滤色器，这实现了同样的优点。

尽管在第一实施例和第二实施例中描述了像素阵列的示例，但是在摄像器件102中可以不必使用一种像素阵列。例如，可以使用共同的偏移量，并且像素阵列(滤色器的阵列)在摄像器件102的中心附近的部分和摄像器件102的周边附近的部分之间可以不同。可选地，可以采用组合了第一实施例和第二实施例中描述的多个阵列的布置。

(第三实施例)

接着，现在将描述当摄像设备安装在移动体中时的系统结构。图8A是示出当摄像设备100安装在作为移动体的示例的机动车50中时的系统结构的示例的图。摄像设备100安装在例如机动车50的前玻璃内侧的上部，从而以特定视角59拍摄机动车50前方的图像。然后，摄像设备100如上所述对拍摄图像进行被摄体识别，检测出现在前侧(在行进方向上)的各种物体(例如，行人和车辆)，并且进行所检测到的物体的距离测量。摄像设备100中的控制单元106将(包括图像信息的)拍摄图像和距离测量信息提供给机动车50中的控制设备55。在本实施例中，摄像设备100可以被配置为不包括距离测量计算单元105。在这种情况下，摄像设备100可以将距离检测信号提供给控制设备55，其中可以进行距离测量计算。

机动车50包括控制设备55、车辆信息获取设备51、警报设备52和制动设备53。车辆信息获取设备51感测与机动车50有关的诸如车辆速度(移动速度)、偏航率、方向角(移动方向)、发动机的旋转速度和换档等的动态信息中的至少一条动态信息作为车辆信息，并将感测到的车辆信息提供给控制设备55。警报设备52例如根据来自控制设备55的指示，来发出告警、在车导航系统等的画面上显示警报信息、或者向安全带或转向装置发出振动，以向用户发出警报。制动设备53根据来自控制设备55的指示，来进行包括发动机的旋转速度的控制、换档控制、制动辅助(例如，防抱死制动系统(ABS)、电子稳定控制(ESC)和自动制动)、以及操纵辅助(例如，自动跟随和车道偏离防止)的各种操作。

控制设备55是用于基于从车辆信息获取设备51获取到的车辆信息和从摄像设备100获取到的针对特定物体的距离信息来控制警报设备52和制动设备53的操作的计算机。另外，控制设备55与摄像设备100中的控制单元106通信，以用作控制单元106的主计算机。换句话说，控制设备55指示控制单元106获取拍摄图像和距离信息，并将获取到的拍摄图像和距离信息发送到控制设备55。按特定时间间隔进行发送指示以及拍摄图像和距离信息的获取。该时间间隔可以基于从车辆信息获取设备51获取到的车辆信息而改变。即使当没有从控制设备55发出发送指示时，控制设备55也可以与特定事件连动地中断控制单元106以获取拍摄图像等。

图8B是作为机动车50中的操作控制的示例的碰撞避免控制处理的流程图。在图8B的流程图的步骤中，步骤S11和S13至S14由摄像设备100中的控制单元106在机动车50中的控制设备55的控制下进行。步骤S12、S15和S16由机动车50中的控制设备55进行。

在步骤S11中，在控制单元106的控制下，摄像光学系统101和摄像器件102进行图像拍摄，图像处理单元104生成拍摄图像，并且距离测量计算单元105生成距离测量信息。然后，处理进入下一步骤。

在步骤S12中，控制设备55从车辆信息获取设备51获取车辆信息，然后，处理进入下一步骤。

在步骤S13中，在控制单元106的控制下，图像处理单元104基于在步骤S11中获取到的图像信息来对拍摄图像进行被摄体识别。具体地，在步骤S13中，对拍摄图像中的诸如边缘的量和方向、浓度值、颜色和亮度值等的特征值进行分析，以检测例如车辆或自行车、行人、车道、护栏或制动灯(在下文中被称为“对象物”)。可以对多个帧图像或多个帧图像的一部分(至少一个帧图像)进行被摄体识别。然后，处理进入下一步骤。

在步骤S14中，在控制单元106的控制下，距离测量计算单元105基于在步骤S11中获取到的距离测量信息和在步骤S13中检测到的对象物来计算与对象物有关的距离信息。然后，处理进入下一步骤。

在步骤S15中，控制设备55基于在步骤S14中计算出的距离信息来判断到对象物的距离是否在预定设置距离内(对象物(＝障碍物)是否存在于设置距离内)。如果对象物存在于设置距离内，则控制设备55基于在步骤S12中获取到的车辆信息(特别地，移动速度和移动方向)、对象物的位置以及到对象物的距离来判断设置距离内的对象物是否具有碰撞的可能性。在机动车50具有能够获取与道路状况有关的信息的结构的情况下，在步骤S15中，设置距离可以根据道路信息(道路是干燥的还是潮湿的)而改变(如果道路是潮湿的，则设置距离增加)。

如果控制设备55判断为不存在碰撞的可能性(步骤S15中为“否”)，则处理返回到步骤S11。如果控制设备55判断为存在碰撞的可能性(步骤S15中为“是”)，则处理进入步骤S16。

在步骤S16中，警报设备52和制动设备53在控制设备55的控制下进行碰撞避免操作。尽管碰撞避免操作包括通过警报设备52向驾驶员发出警报、通过制动设备53的制动、向低速档的移动以及抑制来自发动机的输出等，但碰撞避免操作不限于上述操作。在步骤S16之后，处理返回到步骤S11。根据上述流程图中所示的操作，可以精确地感测对象物(障碍物)以避免碰撞或减少由碰撞引起的损坏。

步骤S12和作为一系列步骤的步骤S11、S13和S14可以以上述方式进行或者可以同时进行。步骤S13和步骤S14可以以相反的顺序进行。在这种情况下，在步骤S14中，在控制单元106的控制下，距离测量计算单元105基于在步骤S11中获取到的视差图像来针对各像素计算距离信息，以生成距离图像(深度图)。然后，在步骤S13中，在控制单元106的控制下，图像处理单元104基于在步骤S11中获取到的拍摄图像和在步骤S14中生成的距离图像来检测对象物。由于计算散焦量和到对象物的距离的方法是已知的，因此这里省略对这些方法的描述。

这里描述了基于由摄像设备100获取到的图像信息和距离信息的碰撞避免操作。然而，碰撞避免操作不限于此。自动跟随前方车辆的控制、保持在车道中央处行驶的控制以及防止车道偏离的控制与碰撞避免操作的不同之处仅在于步骤S15中的判断标准，并且能够使用与根据图8B中的流程图的方法同样的方法来实现。

尽管在上述机动车50的系统结构中摄像设备100仅装载在机动车50的前侧，但是摄像设备100可以安装在可进行图像拍摄的车辆后侧的位置处，并且图像信息和距离信息可以用于机动车50正后退时的驾驶辅助。另外，由摄像设备100获取到的图像信息和距离信息不仅可应用于驾驶辅助，还可应用于自主驾驶。此外，摄像设备100不仅可应用于机动车(包括轿车、卡车、公交车、专用车辆和自动摩托车等)，而且可应用于能够基于图像信息和距离信息而控制操作的各种移动体，例如，船舶、铁路车辆、飞机(包括无人机)或工业机器人。另外，摄像设备100不限于用于安装在移动体中的应用，并且还可用作定点照相机。例如，摄像设备100可应用于广泛使用物体识别的诸如路口监视系统和智能交通系统(ITS)等的系统。

在机动车50的系统结构中，可以采用将摄像设备100中的除了摄像光学系统101和摄像器件102之外的各个组件的功能赋予机动车50中的控制设备55的结构。换句话说，可以使用控制系统的功能与控制设备55的功能一体化的系统结构，作为摄像设备100中的光学系统和摄像器件与摄像设备100中的控制系统分离的结构。

本发明不限于上述实施例，并且在不脱离本发明的精神或范围的情况下可以进行各种改变和修改。因此，为了公开本发明的范围附上以下权利要求书。

本申请要求2017年5月31日提交的日本专利申请2017-108272的权益，其全部内容通过引用包含于此。

Claims (17)

1.一种摄像器件，其包括彼此垂直的行方向和列方向上布置的多个像素，

其中，所述多个像素包括距离测量像素，所述距离测量像素各自包括被布置为在行方向上彼此相邻的多个光电转换器，以及

其中，在M表示不小于1的整数并且N表示不小于2的整数的情况下，在针对每M行在行方向上偏移了与像素的一半相对应的量的位置处布置像素，在行方向上以每周期N列的阵列布置滤色器，并且在列方向上以每周期2MN行的阵列布置滤色器。

2.根据权利要求1所述的摄像器件，

其中，M是不小于2的整数。

3.根据权利要求1所述的摄像器件，

其中，N是不小于4的整数。

4.根据权利要求1至3中任一项所述的摄像器件，

其中，所述摄像器件具有仅排列有用于获取亮度信号的像素的亮度信号行以及排列有用于获取亮度信号和颜色信号的像素的颜色信号行。

5.根据权利要求4所述的摄像器件，

其中，所述亮度信号行和所述颜色信号行交替地布置。

6.根据权利要求4所述的摄像器件，

其中，所述亮度信号行中的像素是白色像素，并且所述颜色信号行包括各自布置有红色、绿色和蓝色中的任意颜色的滤色器的彩色像素。

7.根据权利要求6所述的摄像器件，

其中，所述颜色信号行中的像素包括白色像素，并且所述彩色像素各自在平面视图中的行方向、列方向和斜方向中的所有方向上与白色像素相邻。

8.根据权利要求1所述的摄像器件，

其中，所述距离测量像素各自具有被布置为在行方向上彼此相邻的三个光电转换器。

9.根据权利要求8所述的摄像器件，

其中，颜色信号行中所布置的所述距离测量像素各自仅读出来自所述三个光电转换器中的中央光电转换器的信号。

10.根据权利要求8所述的摄像器件，

其中，颜色信号行中所布置的所述距离测量像素各自读出将来自所述三个光电转换器的信号相加而得到的信号。

11.根据权利要求1所述的摄像器件，

其中，所述多个像素全部是所述距离测量像素。

12.根据权利要求1所述的摄像器件，

其中，所述多个像素中的光电转换器由光电转换膜构成。

13.一种摄像设备，包括：

根据权利要求1所述的摄像器件；

摄像光学系统，用于在所述摄像器件上形成光学图像；

图像处理部件，用于基于从所述摄像器件的多个像素输出的信号来生成拍摄图像；以及

距离测量部件，用于基于从所述摄像器件的距离测量像素输出的信号来计算与所述拍摄图像中所包括的被摄体有关的距离信息。

14.根据权利要求13所述的摄像设备，

其中，所述距离测量部件仅基于从亮度信号行中所布置的距离测量像素输出的信号来进行距离测量。

15.一种移动体，包括：

根据权利要求13或14所述的摄像设备；以及

控制部件，用于基于所述摄像设备中的所述距离测量部件所计算出的距离信息来控制所述移动体。

16.根据权利要求15所述的移动体，还包括：

信息获取部件，用于获取与所述移动体有关的信息，

其中，所述控制部件基于与所述移动体有关的信息和所述距离信息来控制所述移动体的移动方向或移动速度。

17.根据权利要求15所述的移动体，

其中，在判断为所述移动体具有与障碍物碰撞的可能性的情况下，所述控制部件控制所述移动体的移动方向或移动速度。

Images