CN101686353B - 产生图像画面增益的方法 - Google Patents

Abstract

根据人眼对光线的敏感度，建立增益值查表，根据该查表，产生图像画面增益的方法。该方法的步骤包含：将图像画面的增益设为1；扫描该图像画面前多列的图像；平均该前多列图像，以求得该前多列图像的平均值；根据该平均值，从该增益值查表中，寻找相对应的增益值；以及根据该相对应的增益值，调整该图像画面剩余列的信息，以产生该图像画面剩余列的图像。

Description

产生图像画面增益的方法

技术领域

本发明是关于一种产生图像画面增益的方法，尤指一种可以根据人眼对光线的敏感度，产生该图像画面增益的方法。

背景技术

一般而言，当人类的视觉系统在观看事物时，是同时在进行两种分辨----色彩的分辨以及照度(luminance)的分辨。然而此二种分辨的能力，又容易受到周围环境照度的影响。例如当处于很亮(照度很高)的环境下，人类的视觉系统对色彩的敏感度会提高，亦即人类的视觉系统在照度很高的环境下，更容易察觉出色彩彼此之间的微细差异；但是对照度的敏感度会降低，亦即人类的视觉系统在照度很高的环境下，不太容易察觉出明暗之间的差异。反之，当处于很暗(照度很低)的环境下，人类的视觉系统对色彩的敏感度会减弱，亦即人类的视觉系统在照度很低的环境下，不容易察觉出色彩彼此之间的差异；但是对照度的敏感度会提高，亦即人类的视觉系统在照度很低的环境下，较容易察觉出明暗之间的微细变化。请参看图1。图1为三条不同的人眼对图像画面的照度的感测曲线。图1的纵轴代表实际图像画面的照度(单位：烛光/平方公尺)，横轴代表人眼所感受到的灰阶值(最低有效位，LeastSignificant Bit，LSB)。在实际图像画面的照度由0变化为50烛光/平方公尺时，此三条曲线所代表的人眼所感受到的灰阶值变化约介于110(第一条曲线：1至111)至150(第三条曲线：1至151)之间，而在实际图像画面的照度由150变化为200烛光/平方公尺时，此三条曲线所代表的人眼所感受到的灰阶值变化只约介于20(第三条曲线：221至241)至30(第一条曲线：201至231)之间。因此，由图1中任意一条曲线的变化均可看出：当人眼在图像画面照度低的时候，对照度很敏感；在图像画面照度高的时候，对照度较不敏感。

而目前在光学元件中所大量使用的互补金属氧化物半导体的图像传感器(CMOS image sensor)，存在有固定模式噪音(fixed pattern noise，FPN)的问题，该固定模式噪音是由该光学元件中，各元件彼此之间的差异所造成。请参看图2。图2为具有2.41％的固定模式噪音的图像画面图。由图2中可看出，固定模式噪音所造成的电位差异会导致图像画面各行列之间的照度差异，而不会造成色彩上的变化。

传统的光学元件，例如数字照相机，在欲拍摄的图像画面之前，须先进行测光及对焦的操作，有些照相机甚至另外具有测光区，以测量欲拍摄的场景的照度，以决定该欲拍摄的图像画面的增益。而图像播放元件，例如液晶电视，通常要先播放一张图像画面来测量图像画面的照度，以决定接下来欲播放的主画面的增益，接着随后播放的主画面即根据此增益做调整。无论是照相机或液晶电视，测光的作法上都必须先浪费一张图像画面或一测光区，以达到测量图像画面照度的目的，在效率上、资源上都不是一个很经济的作法，且被测光的图像画面，并非实际欲拍摄或播放的图像画面，因此此传统做法也不能称为真正的实时(rea1-time)且有效。

测光之后，根据所测得的该图像画面的照度，通过查表，选取增益值，调整接下来要拍摄或播放的主画面。在传统作法中，该查表是相对应于光学元件中的一拍摄模式，基于平均方法所建立的。然而，这些查表中，并没有将人眼对光线的敏感度的因子列入考虑，以至于在强光或很暗的环境下，并不能配合环境的照度，提供最佳的增益值操作。

发明内容

本发明的实施例是揭露一种产生图像画面增益的方法，包含将图像画面的增益设为1；扫描该图像画面的前多列的图像；平均该前多列的图像，以求得该前多列的图像的平均值；根据该平均值，产生相对应的增益；及根据该相对应的增益及该图像画面剩余列的信息，产生该图像画面剩余列的图像。

本发明的另一实施例是揭露一种产生图像画面增益的方法，包含扫描图像画面的前多列的图像；平均该前多列的图像，以求得该前多列的图像的平均值；根据该平均值及该图像画面的增益，产生相对应的增益；及根据该相对应的增益及该图像画面剩余列的信息，产生该图像画面剩余列的图像。

附图说明

图1为三条不同的人眼对图像画面的照度的感测曲线所构成的曲线图。

图2为一具有2.4％的固定模式噪音的图像画面图。

图3为一可编程增益控制放大器所控制的增益与固定模式噪音的关系柱状图。

图4为输入电压与经过增益调整后的输出电压的关系图。

图5为本发明的第一实施例方法的流程图。

图6为本发明的线路示意图。

图7为本发明的第二实施例方法的流程图。

[主要元件标号说明]

 

100	像素阵列
		102，104	垂直扫描器
106，108	电容储电模块
		110，112	水平扫描器
114，116	可编程增益控制放大器
		10，12，14，16，18，20，30，32，34，36，38，40	步骤

具体实施方式

针对传统作法的缺点，本发明提出了一个利用目前的图像画面的虚列(dummy row)来进行测光，而不需要另外使用一张图像画面或一测光区，且查表的建立则考虑人眼对光线的敏感度，以求得一较佳的增益值的作法，来改善传统作法的缺点。

若将前述的视觉理论应用到图像处理中，当图像画面的照度很高，便将此图像画面整体的增益加大；相反地，如果图像画面的照度很低，则将此图像画面整体的增益减少。该增益是通过可编程增益控制放大器(ProgrammableGain Amplifier，PGA)来控制。当此图像画面整体的增益被加大之后，图像画面的照度增大，色彩对比增大，固定模式噪音也会被放大。但若此图像画面的照度很高，虽然固定模式噪音被加大，人类的视觉系统并不容易察觉此固定模式噪音所造成的图像画面各行列之间的照度差异，但却可轻易地察觉色彩对比增大后的效果，而对此图像画面产生更加色彩缤纷的错觉。相反地，当图像画面的增益被减少之后，该图像画面的照度会降低，色彩对比降低，固定模式噪音也会降低。但若此图像画面的照度本来就很低，此时人类的视觉系统很容易察觉图像画面照度的变化，因此固定模式噪音被降低，可减少人类视觉系统觉知固定模式噪音对该图像画面所带来的干扰。请参看图3。图3为可编程增益控制放大器所控制的增益与固定模式噪音的关系柱状图。图3的纵轴为固定模式噪音的百分比，横轴为可编程增益控制放大器的增益值。图3中每一增益值对应有两条长柱，一长柱代表所预测的固定模式噪音的百分比，另一长柱代表实际测试所得的固定模式噪音的百分比。由图中可看出固定模式噪音与该可编程增益控制放大器的增益是成正比。接下来请参看图4。图4为输入电压与经过增益调整后的输出电压的关系图。该图中的曲线上每一点的斜率为可编程增益控制放大器的增益值。该增益值是根据人眼对光线的敏感度而产生。简言之，画面愈暗时，增益值越小；画面愈亮时，增益值越大。此图亦即本发明的增益值查表所建立的基础。

请参看图5。图5为本发明的第一实施例产生图像画面增益的方法的流程图。图5中的步骤包含：

步骤10：设定可编程增益控制放大器的增益值为1。

步骤12：开始逐列扫描图像画面。

步骤14：通过逐列扫描，获得该图像画面前18列虚列的图像。

步骤16：平均该前18列虚列的图像，产生平均值。

步骤18：根据该平均值，于已建立的增益值查表中，寻找相对应的增益值。

步骤20：继续该图像画面剩余列(即主画面)的逐列扫描，并根据该相对应的增益值，调整逐列扫描所得的该主画面的信息，以产生该主画面的图像。

在本第一实施例当中，首先在未扫描图像画面之前，先将可编程增益控制放大器的增益值设为1，使得扫描所得的图像画面的信息与经过该增益值调整后的图像画面的图像相同。接着开始逐列扫描图像画面，并获得该图像画面前18列虚列的图像。请注意：本实施例中所选取的前18列虚列，是为了举例说明，并非用来限定本发明，虚列数目的选取，是根据该图像画面的分辨率等等情形而定。“虚列”是位于图像画面的边缘，“虚列”所包含的图像数据，因为边缘起始的种种效应，并无法当成主画面使用，但若用于测量该图像画面的照度，实为足够。所选取的虚列数目越多，扫描所得的信息越接近整个图像画面，查表后所得的增益值越能将该图像画面调整为较佳的状态，但是相对地，主画面(该图像画面剩余列)的列数减少，分辨率降低；反之，若所选取的虚列数目越少，扫描所得的信息越不接近整个图像画面，查表后所得的增益值越难以将该图像画面调整为较佳的状态，但相对地，主画面(该图像画面剩余列)的列数增加，分辨率提高。因此，如何在虚列数目与分辨率之间，求得一平衡，端赖设计者个人自行判断。

接着平均该前18列虚列的图像，产生平均值，并根据该平均值，于已建立的增益值查表中，寻找相对应的增益值。请注意：本发明的查表是根据人眼对光线的敏感度所建立，通过平均的方法，例如加权平均等等，将不同的人眼对光线的敏感度的曲线最佳化所建立的查表，在较低的图像画面照度时，对应至较低的增益，较高的图像画面照度时，对应至较高的增益。如前述，本查表中所得的图像画面增益值，在图像画面照度低时，会降低固定模式噪音对图像画面的影响；在图像画面照度高时，因人眼对光线的敏感度的关系，也不至于太强烈地感受到放大固定模式噪音对图像画面的影响。本发明的光学系统中，查表可能具有多张，每一张对应于该光学元件中不同的拍摄模式，例如：夜间拍摄模式、自动拍摄模式等等。接着再继续逐列扫描该图像画面剩余列(即主画面)的信息，并根据查表中所选取的增益值，调整逐列扫描所得的该主画面的信息，以产生该主画面的图像。请注意：本实施例中用来说明的步骤顺序，只是一个例子，并非用来限定本发明，凡不偏离本发明的精神，能够达到同样目的的步骤顺序，亦应属于本发明所涵盖的范畴。

请参看图6。图6为本发明实施例的线路示意图。图6中包含640*488(VGA分辨率)的像素阵列(pixel array)100，垂直扫描器(vertical scanner)102、104，电容储电模块(capacitor bank)106、108，水平扫描器(horizontalscanner)110、112(亦即移位寄存器，shift register)，以及可编程增益控制放大器114、116。垂直扫描器102由下往上扫描像素阵列100，先逐列扫描前18列虚列的数据，扫描第一列的数据后储存于电容储电模块106中，再通过水平扫描器110依照所输入的时序，以序列的方式传送出来，经过可编程增益控制放大器114调整后输出。第一列的数据全部输出完毕后，垂直扫描器再进行第二列数据的扫描，直到前18列虚列数据都扫描完毕。本发明的第一实施例当中，先将可编程增益控制放大器的增益设为1，再进行扫描，故此扫描所得的前18列虚列的数据等于可编程增益控制放大器输出的图像。列数据在序列输出后，外部线路即同步进行平均的操作，如图5中的步骤16，同步平均该前18列虚列的图像，产生平均值，并根据该平均值，于已建立的增益值查表中，寻找相对应的增益值。找到该相对应的增益值后，垂直扫描器继续由下往上逐列扫描主画面(该图像画面剩余列)部分的数据，并依照同样的流程，输出至可编程增益控制放大器，而可编程增益控制放大器则依据该相对应的增益值，调整扫描所得主画面的数据后输出。

若在未扫描图像画面之前，可编程增益控制放大器的增益值并未被先设为1，则一旦开始逐列扫描之后，所获得的该图像画面前18列虚列的图像，经过平均得到平均值之后，需再除以该可编程增益控制放大器的增益值，以获得原始的图像画面前18列虚列的数据的平均值。获得原始的图像画面前18列虚列的数据的平均值之后，再经由查表，找出相对应的增益值。接着根据该相对应的增益值，调整继续逐列扫描所得的该主画面(该图像画面剩余列)的信息，以产生该主画面的图像。请参考图7。图7为本发明的第二实施例产生图像画面增益的方法的流程图。图7中的步骤包含：

步骤30：开始逐列扫描图像画面。

步骤32：通过逐列扫描，获得该图像画面前18列虚列的图像。

步骤34：平均该前18列虚列的图像，产生平均值。

步骤36：将该平均值除以可编程增益控制放大器的增益值，以获得原始该图像画面前18列虚列的数据的平均值。

步骤38：根据原始该图像画面前18列虚列的数据的平均值，于已建立的增益值查表中，寻找相对应的增益值。

步骤40：继续该图像画面剩余列(即主画面)的逐列扫描，并根据该相对应的增益值，调整逐列扫描所得的该主画面的信息，以产生该主画面的图像。

请注意：本实施例中用来说明的步骤顺序，只是一个例子，并非用来限定本发明，凡不偏离本发明的精神，能够达到同样目的的步骤顺序，亦应属于本发明所涵盖的范畴。

本发明中建立增益值查表时，除了须考虑人眼对光线的敏感度，亦须考虑液晶电视像素阵列上方的微透镜(microlens)的摆放方式、以及制程的方式等等。不同的像素阵列上方的微透镜的摆放方式，例如一个像素的上方摆放一个微透镜、或四个像素的上方摆放一个微透镜等等，以及不同的制程方式，例如零点一三制程、零点一八制程等等，都会影响本发明中查表的建立方法。

总而言之，本发明是提供一种利用图像画面的虚列进行扫描，求得该图像画面的虚列的图像的平均值，并根据该平均值，从根据人眼对光线的敏感度所建立的查表中，寻找相对应的增益值，再根据该相对应的增益值，调整该图像画面的主画面的数据，以求得该主画面的图像的方法。本发明不需要另外使用图像画面进行扫描，或另外建立测光区，且逐列扫描所得的数据均为同一画面，较具参考价值，而所根据的查表更能提供适当的增益值，将主画面调整为较佳的状态，以利后端进行图像处理，实为一有效又不浪费系统资源的方法。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (21)

1.一种产生图像画面增益的方法，包含：

将图像画面的增益设为1；

扫描该图像画面的前多列的图像；

平均该前多列的图像，以求得该前多列的图像的平均值；

根据该平均值，产生相对应的增益；及

根据该相对应的增益及该图像画面剩余列的信息，产生该图像画面剩余列的图像。

2.根据权利要求1所述的方法，其中扫描该图像画面的前多列的图像为扫描该图像画面的前多列的虚列的图像。

3.根据权利要求1所述的方法，其中根据该平均值，产生该相对应的增益为根据该平均值，以查表的方式产生该相对应的增益。

4.根据权利要求3所述的方法，其中该查表的方式所查的查表是对应于该图像画面所存在的光学系统中的预设的操作模式。

5.根据权利要求4所述的方法，其中该查表是根据人眼对光线的敏感度所建立。

6.根据权利要求1所述的方法，其中较低的平均值是对应至较低的增益。

7.根据权利要求1所述的方法，其中较高的平均值是对应至较高的增益。

8.根据权利要求1所述的方法，其中该图像画面为液晶电视所播放的图像画面。

9.根据权利要求1所述的方法，其中该图像画面为数字照相机的液晶面板所显示的图像画面。

10.根据权利要求1所述的方法，其中根据该相对应的增益及该图像画

面剩余列的信息，产生该图像画面剩余列的图像是根据该相对应的增益与该

图像画面剩余列的各个像素的信息的乘积，产生该图像画面剩余列的图像。

11.一种产生图像画面增益的方法，包含：

扫描图像画面的前多列的图像；

平均该前多列的图像，以求得该前多列的图像的平均值；

根据该平均值及该图像画面的增益，产生相对应的增益；及

根据该相对应的增益及该图像画面剩余列的信息，产生该图像画面剩余列的图像。

12.根据权利要求11所述的方法，其中扫描该图像画面的前多列的图像为扫描该图像画面的前多列的虚列的图像。

13.根据权利要求11所述的方法，其中根据该平均值，产生该相对应的增益为根据该平均值，以查表的方式产生该相对应的增益。

14.根据权利要求13所述的方法，其中该查表的方式所查的查表是对应于该图像画面所存在的光学系统中的预设的操作模式。

15.根据权利要求14所述的方法，其中该查表是根据人眼对光线的敏感度所建立。

16.根据权利要求11所述的方法，其中较低的平均值是对应至较低的增益。

17.根据权利要求11所述的方法，其中较高的平均值是对应至较高的增益。

18.根据权利要求11所述的方法，其中该图像画面为液晶电视所播放的图像画面。

19.根据权利要求11所述的方法，其中该图像画面为数字照相机的液晶面板所显示的图像画面。

20.根据权利要求11所述的方法，其中根据该相对应的增益及该图像画面剩余列的信息，产生该图像画面剩余列的图像是根据该相对应的增益与该图像画面剩余列的各个像素的信息的乘积，产生该图像画面剩余列的图像。

21.根据权利要求11所述的方法，其中根据该平均值及该图像画面的该增益，产生该相对应的增益为将该平均值除以该图像画面的该增益，以产生该相对应的增益。

Images