CN104735433B - 用于数字传感器的自适应滤色器 - Google Patents

Abstract

本公开提供了用于数字传感器的自适应滤色器。在由二维像素阵列构成的用于数字传感器(6)的滤色器(60)中，每个像素对应于给定的颜色。所述像素以在给定表面上重复的至少一个基本图案被设置，所述基本图案具有三种不同颜色的至少三个像素。滤色器(60)的特征在于：该滤色器包括多个不同的基本图案，这些图案中的每一个具有敏感度(S)、颜色质量(Q)和分辨率(N)的预定义光学特性；以及滤色器被细分成多个不同区域(600)，每个不同区域对应于二维像素子阵列。所述基本图案中的每一个分别在相应区域(600)的整体上沿着二维子阵列中的每个维度被重复多次。

Description

用于数字传感器的自适应滤色器

技术领域

本发明涉及特别适合于终点摄像机(photo finish camera)的用于数字阵列传感器的自适应滤色器，以及与这样的摄像机相关联的调节的特定方法。

背景技术

由像素的拼接(mosaic)形成的光敏传感器早已在数字摄影领域中已知；最广泛地用于数字摄像机的传感器使用例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术。为了产生彩色图像，将滤色器应用于这些数字传感器；该滤色器还采取不同颜色的阵列形式，每种颜色专用于在其上叠加该颜色的传感器的一个像素。必须与所产生图像的每个像素相关联的颜色然后通过图像处理算法来获得。

最广为人知的滤色器是拜耳(Bayer)滤色器，它是最传统形式的RGB滤色器(R表示红色，G表示绿色，并且B表示蓝色，这三种颜色是基色，从该基色可通过加色合成的组合而获得任何其它颜色)。这样的滤色器使用覆盖4个像素的基本图案，并且该基本图案在传感器的整个表面上重复，其中在对角中的两个绿色像素通过蓝色像素和红色像素而被补完整。

此类型滤色器的缺点是，由于到达传感器的光的显著衰减，相关联的数字传感器的灵敏度有大幅降低。事实上，波长的很大一部分由不同的滤色器吸收。由于这些原因，至今已提出了拜尔滤色器的不同变体，特别是用白色像素取代两个绿色像素中的一个，以便改进传感器的灵敏度。修改后的基本图案在这种情况下也在整个滤色器上重复。

在体育比赛领域中，基于图像识别的辅助定时装置(更通常地被称为“终点”装置)也是已知的。这样的系统允许操作者通过查看由精确地以终点线为中心的高清晰度摄像机拍摄的连续图像而在跨过终点线的选手之间区分。通过分析在连续的给定时刻所拍摄并因此对应于不同测量时刻的图像序列，可以在事件之后、但是在终点之后非常迅速地确定每个选手跨线的精确时刻(例如到千分之一秒)并且从而以可靠的方式对选手排名。

由这些终点装置使用的摄像机通常包括行扫描型CCD传感器(更通常地被称为首字母缩写词LS-CCD)，其图像捕获速率比标准CCD摄像机甚至更高，从而允许高达万分之一秒的时间分辨率。用于这样的摄像机的第一传感器具有采取条(bar)的形式的非常特定的阵列结构，也就是说非常精确地对齐到终点线上的单列像素。现今，标准的二维阵列传感器更可能被使用，其中对齐到终点线上的列的选择由软件执行。

对于配备有LS-CCD传感器的这样的终点摄像机，如上所述的RGB滤色器当然可用于获得彩色图像。然而，这些滤色器不适合于在所有比赛条件中提供足够的质量。事实上，取决于例如竞赛的时间或天气条件，周围亮度可能会显著变化并由此强烈地损害所获得的图像质量。这同样适用于关于比赛类型的考虑因素，这些考虑因素会影响随事件而变的选手速度，并因此影响包括曝光时间在内的拍摄参数。

因此，存在着对不具有这些已知限制的用于数字传感器的滤色器的需求。

发明内容

本发明的目的是提供具有改善的光学特性的用于数字传感器的滤色器。

本发明的另一个目的是提供用于调节使用这样的传感器的终点摄像机的高效方法。

除了其它的之外，这些目的作为由二维像素阵列构成的用于数字传感器的滤色器的结果而被实现，每个像素对应于给定的颜色。像素以在给定表面上重复的至少一个基本图案被设置，该基本图案具有三种不同颜色的至少三个像素。滤色器的特征在于：它包括多个不同的基本图案，这些图案中的每一个具有敏感度、颜色质量和分辨率的预定义光学特性；以及该滤色器被细分成多个不同区域，每个不同区域对应于二维像素子阵列，所述基本图案中的每一个分别在相应区域的整体上重复。

这些目的也可作为调节使用这样的滤色器的终点摄像机的方法的结果而被实现，特征在于该方法包括以下步骤：

-选择具有根据比赛参数预定义的敏感度、颜色质量和分辨率的光学特性的基本图案的第一步骤；

-移动所述终点摄像机使得计时比赛的终点线被定位成面向与所选择的基本图案对应的区域的第二步骤；

-由软件将一组相邻列调节在终点线上的第三步骤，所述相邻列的数量对应于所选择的基本图案的宽度。

本发明的特定实施例在从属权利要求中定义。

本发明的优点在于，它使得可以永久性地优化使用这样的滤色器获得的彩色照片的光学性能，而无论使用条件如何。

所提出的解决方案的另一个优点在于，它允许为拍摄选择的光学参数的易于实现的调节。

附图说明

本发明的有利示例实现方案在描述中给出并在附图中示出，其中：

图1分别示出对齐到终点线上的在本发明范围内使用的终点摄像机的顶视图；

图2示出根据本发明的优选实施例的滤色器的示图。

图3示出根据本发明的优选实施例的滤色器和其在不同区域上重复的各种基本图案。

图4示出用于调节在本发明范围内使用的终点摄像机的方法的各个步骤的示图。

具体实施方式

图1示出根据本发明所使用的终点摄像机的框图。优选地，LS-CDD终点摄像机3被对齐到赛道1的终点线2上，赛道1优选地包括不同选手在其中移动的几个跑道10。应注意的是，田径赛道1的示例纯粹是指示性而非限制性的，终点摄像机3也可以在自行车比赛、汽车场地赛中使用，或者也可以用于赛马。

终点摄像机3优选地具有四个自由度：在旋转方面的三个和在平移方面的一个。在图1中仅示出平移自由度T和围绕垂直轴的第一旋转自由度R1。然而，摄像机优选地围绕同时具有第二和第三附加旋转自由度R2、R3的球窝接头8被可旋转地安装，以便管理摄像机3的光轴4在终点线2上的对齐。终点摄像机3包括：由像素阵列构成的数字传感器6，以及提供与由传感器检测的图像对应的数字输出信号9的图像处理装置7。为了形成彩色图象，终点摄像机3还包括特定的滤色器60，其光学特性可以根据下文讨论的各种预定义参数进行调节。根据优选实施例，该滤色器60被直接固定到数字传感器6的像素，使得术语“像素”也不精确地用于滤色器以指代分别覆盖数字传感器6的每个像素的不同颜色。

根据本发明的优选实施例的滤色器60在图2中示意性地示出，其示出覆盖像素的所有列和行(分别被标记为61和62)的多个区域600，并且多个区域600对应于滤色器60的宽度和总高度。如根据以下图3的描述可见的，这些不同的区域600中的每一个的目的是使具有的基本图案有不同的特定光学特性，从而使得可以根据区域600、并因此根据所选的相应基本图案来采用拍摄参数。根据示出的优选实施例，每个区域在像素的所有行62上延伸，即在传感器的整个高度(即通常2048个像素)上延伸。滤色器60的这种类型的配置特别有利于终点摄像机，该终点摄像机使用对齐到终点线上的至多几列像素、但是要使用最大高度的列，因为该高度定义了所拍摄图像的高度。然而，在本发明的范围之内可以设想到的是，将其细分成多个由二维阵列构成的区域600，该二维阵列的高度可在软件的帮助下选择并且其因此可能不在滤色器的整个高度(即像素的全部行62)上延伸。根据该优选实施例，滤色器60还优选地包括数量在1024和2048之间的像素列。

图3示出根据本发明的优选实施例的滤色器，其包括多个不同区域(此处在数量上是7)，其中特定的各个基本图案与所述多个不同区域相关联。因此，与2个绿色像素G由红色像素R和蓝色像素B补充的传统第一图案RGB相对应的第一图案M1在整个第一区域601上重复，第二图案M2在整个第二区域602上重复，等等，直到第七图案在第七区域607上重复。

如可在图3中观察到的，区域601至607中的每一个在像素的所有行62上延伸，即在整个滤色器的高度上延伸。这些区域中的每一个的宽度优选地介于100和200个像素之间，并且与列61的总数量对应的滤色器60的总宽度优选地介于1024和2048个像素之间。这些区域宽度分别被标记为：对于第一区域601的宽度是611，对于第二区域602的宽度是612，对于第三区域603的宽度是613，对于第四区域604的宽度是614，对于第五区域605的宽度是615，对于第六区域606的宽度是616，以及最后对于第七区域607的宽度是617。根据在图2和图3中示出的优选实施例，区域600中的每一个具有相同的宽度，使得宽度611至617是相同的。然而，根据另一个优选实施例，可以设想到的是，根据它们的可能用途(其根据经验或统计来确定)来调节滤色器的不同区域中的每一个的宽度。因此，较大的宽度可以被给予这样的区域：在该区域上，重复的基本图案具有针对正常使用条件而被优化的光学特性。对于确定每秒约1000行的速度的用于田径比赛的使用这样的滤色器60的终点摄像机3，可以例如限定与平均日间和夜间光照相关联的图案，并且增加在其上重复这些图案的区域宽度，以便在终点线2被对齐到这些区域中的一个区域上时，使得摄像机的物理运动最小化。

如果详细的分析由图3的滤色器60使用的每一个图案，则可注意到的是，每个基本图案都系统地包含至少一个红色R、绿色G和蓝色B像素，并且：

-第一基本图案M1由四个像素构成，其中两个是设置在2*2像素阵列(两个像素的第一高度L1和也是两个像素的第一宽度N1)中的绿色像素；

-第二基本图案M2也由四个像素构成，其中两个又是绿色，但设置在1*4像素阵列(四个像素的第二高度L2，但一个像素的第二宽度N2)中；

-第三基本图案M3仅由设置在1*3像素阵列(三个像素的第三高度L3，和一个像素的第三宽度N3)中的三个像素构成；

-第四基本图案M4也如同第一图案M1仅由设置在2*2像素阵列中的四个像素构成，但是其中一个绿色像素已由白色像素W取代(两个像素的第四高度L4，和也是两个像素的第四宽度N4)；

-第五基本图案M5也由四个像素构成，但如同第二图案M2设置在1*4像素阵列中，但是其中一个绿色像素已由白色像素W取代(四个像素的第五高度L5，和一个像素的第五宽度N5)；

-第六基本图案M6也由设置在2*3像素阵列中的六个像素构成(三个像素的第六高度L6，和两个像素的第六宽度N6)；这实际上是已经添加了一列白色像素W的第三基本图案M3；

-最后，第七基本图案M7由设置在行中的四个像素构成，即设置在4*1的像素阵列(一个像素的第七高度L7，但是四个像素的第七宽度N7)中。

除其它参数外，通过每个基本图案获得的光学特性通过以下三个参数确定：

-灵敏度S，在本发明的范围内其被建模为对应于每像素的平均光量，其中每个蓝色像素B可获得20％的量，每个红色像素R可获得30％的量，每个绿色像素G可获得50％的量，并且每个白色像素W可获得100％的量。因此，一方面此参数强烈受白色像素W的数目影响，并且另一方面受每个图案M1-M7的像素P1、P2、P3、P4、P5、P6和P7的相应数量影响，由此该滤色器的所有像素的总灵敏度被划分。极端的灵敏度因此是第三基本图案3的那些(最不好的)和图案6的那些(最好的)。

-颜色质量Q，在本发明的范围内其被建模为与获得图像处理算法对每个像素颜色的计算而需要的图案中的行数成反比。对于所用的各种基本图案，可以看出最佳的颜色质量Q是借助于第七基本图案M7获得的，而最不好的颜色质量Q是借助于第二和第四图案M2和M4获得的；

-以及分辨率N，其被建模为等于每个基本图案的列N1-N7的数目。因此，随着每个基本图案M1-M7的各个列N1-N7的数量的减少，在终点线2处的分辨率将改善。因此，最佳分辨率将由第二、第三和第五基本图案M2、M3、M5提供。

为了评估每个图案的整体光学性能，为以上参数S、Q和N中的每一个获得的分数可以优选地相乘；然而，图案的选择可以考虑任何权重(尤其是针对灵敏度参数S的权重)来做出。

可以注意到的是，在示出的七个图案中，至少两个基本图案包括不同数目的白色像素W，例如第四图案M4和第六图案M6，这使得可以通过对不包括任何白色像素W并且因此不适合较低的光照水平的基本图案进行计数，来在至少三个不同水平(高-中-低)上调节灵敏度。此外，根据图3中所示的优选实施例，基本图案M1-M7的像素数量P1-P7介于3和6之间(即非常低的数字)的事实有利于这样的图像处理过程，其复杂度与具有四个像素的标准拜耳RGB滤色器的复杂度可比较。最后，基本图案M1-M7中的每一个在最多四个列或四个行上延伸的事实使得可以选择所获得图像的颜色质量Q和分辨率N之间的良好折衷，同时留下基本图案数量的较大选择范围(优选地大于6)，以允许适应比赛类型的最大可能数量和天气条件，包括至少三个基本情景或者用光照表示的每种比赛类型(典型地，对于晴天是有利的，对于阴天是中等的，以及对于夜间是不利的)。

根据本发明的优选实施例所选择的、并且在图3中示出的各种基本图案M1-M7的一个特别有利的特征在于，它们允许随机选择多组相邻列来获得灵敏度S、颜色质量Q和分辨率N的相同光学特性，并且因此不需要在区域的一组特定列上进行软件调节。实际上可以验证的是，对于图案M1-M7中的任何一个，只有用像素数量表示的各个宽度N1-N7能确定一组选择的列的灵敏度S的特性，其它参数在该时刻已经被固定：

-与第一图案M1对应的第一组列C1、与第四基本图案M4对应的第四组列C4、以及与第六基本图案M6对应的第六组列C6中的每一组列由两个相邻的列构成，其可以以完全随机的方式分别在第一区域601、第四区域604和第六区域606上选择。在图3中，只有三个不同的可能性被示出用于四个列的宽度：

-与第二基本图案M2对应的第二组列C2、与第三基本图案M3对应的第三组列C3、以及与第五基本图案M5对应的第五组列C5仅由一个列构成，其可以从它们各自区域上的任何地方来选择，即在第二区域602、第三区域603和第五区域605上选择(四个相等的可能性被示出用于四个列的宽度)；

-与第七基本图案M7对应的第七组列C7由四个列构成，其可以从第七区域607上的任何地方选择。

该特性特别有利于集成在终点摄像机3中的滤色器60的使用，为此在确定要使用的图案以及因此确定相应的区域后可以省略微调步骤。

图4示出根据本发明优选实施例的调节终点摄像机3的步骤序列。

在选择具有根据比赛参数(诸如天气条件和比赛类型(每秒像素行数量的移动速度可在针对田径的每秒1000行到针对赛车运动的超过每秒10,000行之间变化，针对自行车比赛和赛马的速度在每秒3,000行左右))预定义的灵敏度S、颜色质量Q和分辨率N的光学特性的基本图案的第一步骤E1之后，在第二步骤E2中物理地移动终点摄像机3，使得计时比赛的终点线2面向与所选择的基本图案对应的区域来定位。由于在给定所涉及的自由度(即平移自由度T和三个旋转自由度R1、R2、R3)的情况下对该问题有超过一个的解决方案，所以逆运动学算法可用于此目的，如同在机器人中用于找出需要最少可能的操纵的解决方案的那些算法，对需要尽可能永久设定的某些自由度进行可能的加权。

最后，可以执行由软件取决于所选择区域的基本图案来调节一组相邻列的第三步骤E3(例如借助于分划板(reticle)，如EP专利号0898249中所提出的解决方案中那样)。然而，这简单地意味着挑选与从图案M1-M7当中选择的所述基本图案的宽度N对应的多个列，而并未从对应区域的列当中选择任何特定的列。为了将该组相邻的列对齐在终点线2上，在理论上，对于奇数数量的列而言，该组的中央列应当在终点线2上对齐，并且对于偶数数量的列而言，终点线2在两个列之间。然而当使用上述的分划板、并且当由分划板穿过的列被默认地选择时，该后述的对齐步骤在实践中非常简单。由分划板穿过的该列然后简单地必须被随机地补充相邻的列，直至与所选图案的宽度对应的期望数量被获得。

然而，可理解的是，基本图案M1-M4已经仅以举例的方式被给出以说明特别优选的实施例。然而，其它的基本图案(诸如具有白色像素W的插入列的RGB 2*2图案)也可以被设想到与极为不利的照明条件对应。基本图案然后将由两个行形成，如同传统的RGB图案，但不具有两个列，而是四个(两个白色象素W中的一个，红色-绿色R-G像素中的一个，然后是两个白色像素W中的另一个，接着是两个绿-蓝G-B像素中的一个)。然而，由于必须采用的像素列的大数量，这样的图案具有分辨率的问题。类似地，可以形成RGB滤色器的16个像素(4*4)的另一个图案，其尺寸被加倍，即2*2红色像素R、蓝色像素B的阵列，以及在4*4阵列的对角中的两个这样的2*2绿色像素的阵列。这样的图案将在“像素组合(binning)”方面具有优势，即由于在放大和数字化之前对相同颜色的相邻像素进行归组而降低噪声影响，但同时将导致降低的分辨率，并且将不允许多个相邻列的随机选择(如在上述的第三步骤E3中)。

此外，也可设想到另一种颜色三元组(triad)(例如青色、品红和黄色，而不是红色、绿色和蓝色)用于合成每个像素的颜色。

Claims (8)

1.一种用于数字传感器(6)的滤色器(60)，所述滤色器(60)由二维像素阵列构成，每个像素对应于给定的颜色，所述像素以在给定表面上重复的至少一个基本图案被设置，所述基本图案具有三种不同颜色的至少三个像素，所述滤色器(60)的特征在于：所述滤色器包括多个不同的基本图案，所述图案中的每一个具有敏感度(S)、与所述基本图案的行数成反比的颜色质量(Q)、以及与所述基本图案的列数相等的分辨率(N)的预定义光学特性；以及所述滤色器被细分成多个不同区域(600)，每个不同区域对应于二维像素子阵列，所述基本图案中的每一个分别在相应区域(600)的整体上沿着所述二维子阵列中的每个维度被重复多次，

其中全部基本图案包括至少一个蓝色像素(B)、一个绿色像素(G)和一个红色像素(R)；以及至少一些基本图案还包括至少一个白色像素(W)；

其中所述滤色器包括多个基本图案，所述多个基本图案包括不同数量的白色像素(W)；以及

其中所述基本图案被选择为具有根据比赛参数预定义的敏感度(S)、颜色质量(Q)和分辨率(N)的光学特性。

2.根据权利要求1所述的滤色器(60)，其特征在于：所述区域(600)中的每一个在所述滤色器的像素(62)的全部行上延伸。

3.根据权利要求2所述的滤色器(60)，其特征在于：所述区域(600)中的每一个在像素的行的方向上具有可变宽度。

4.根据权利要求1所述的滤色器(60)，其特征在于：所述基本图案的像素数量介于3和6之间。

5.根据权利要求4所述的滤色器(60)，其特征在于：每个基本图案在最多四行像素和四列像素上延伸。

6.一种终点摄像机(3)，其包括根据前述权利要求中任一项所述的滤色器(60)和数字阵列传感器(6)，所述终点摄像机(3)被安装成围绕球窝接头(8)旋转，所述球窝接头(8)具有三个旋转自由度(R1、R2、R3)并且还具有在比赛的方向上的一个平移自由度(T)。

7.一种调节根据权利要求6所述的终点摄像机(3)的方法，其特征在于所述方法包括以下步骤：

-选择具有根据比赛参数预定义的敏感度(S)、颜色质量(Q)和分辨率(N)的光学特性的基本图案的第一步骤(E1)；

-移动所述终点摄像机(3)使得计时比赛的终点线(2)被定位成面向与所选择的基本图案对应的区域的第二步骤(E2)；

-由软件将一组相邻列调节到所述终点线(2)上的第三步骤(E3)，所述相邻列的数量对应于所选择的基本图案的宽度。

8.根据权利要求7所述的调节终点摄像机(3)的方法，其中对所述一组相邻列的选择完全取决于确定所选择的基本图案的宽度的像素数量。