CN101277384A - 摄像装置和摄像方法 - Google Patents

Abstract

本发明提供了摄像装置和摄像方法。提供了一种按被可变地设置的多个帧速率中的一个帧速率来拍摄图像的摄像方法。该方法包括以下步骤：当从图像传感器获得摄像信号时，根据设定的帧速率来设置垂直同步周期，并根据所设置的垂直同步周期来添加不包括有效摄像区域的摄像信号，同时保持各个摄像信号的水平同步周期恒定；以及，与所设定的帧速率相对应地对所获得的、包括有效摄像区域在内的摄像信号的时间轴进行校正，并删除所获得的、不包括所述有效摄像区域的摄像信号。

Description

摄像装置和摄像方法

技术领域

本发明涉及摄像装置和适用于该摄像装置的摄像方法，其中，摄像装置适用于能够以各种帧速率来摄像的摄像机，具体而言本发明涉及这样一种技术，该技术适用于设有以行顺序来拍摄图像的图像传感器的摄像装置。

背景技术

在过去，已经开发出能够以不同帧速率进行摄像的多种摄像机。存在许多图像信号的帧速率标准，例如，每秒60帧，每秒50帧，和每秒24帧。每秒60帧的图像信号通常在日本和美国使用，而每秒50帧的图像信号通常在欧洲使用。每秒24帧的帧速率适合于在电影中使用的图像信号。

当使用一个摄像机、与这样的多种图像信号类型相对应地执行摄像时，只要能够根据不同的帧速率来改变用于摄像的同步信号的基本时钟频率(像素时钟频率)就没有问题。但是，这并不是理想的，原因在于需要复杂的控制来以被拍摄的单个像素为单位地改变时钟频率。

出于这个原因，惯常的做法是，在利用摄像机的图像传感器、以不同的帧速率来拍摄图像时对单个像素单位使用相同的基本时钟频率，然后对拍摄所得的图像信号执行处理，从而将该信号转换成具有规定的帧速率的信号。

图1A到1D是示出用于基本时钟(像素时钟)频率固定的情况的现有帧速率转换过程的示例的示图。在图1A到1D中所示的处理是根据SMPTE 274M等来标准化的。

图1A是在摄像信号中的一个帧的图像。在水平方向和垂直方向上具有预定数目的像素的有效摄像区域d1是在帧的摄像信号中设置的。在有效摄像区域d1中的水平方向和垂直方向上的像素数目在每一个帧速率下都是相同的。作为一个示例，有效摄像区域d1被假定为包括水平方向上的1920个像素和垂直方向上的1080行。

当以每秒60帧来拍摄图像时，设置稍大于有效摄像区域d1的摄像区域d2，如图1A所示。摄像区域d2被假定为包括水平方向上的2200个像素和垂直方向上的1125行。

图1B示出了当获得每秒60帧的图像信号时的垂直同步信号V、水平同步信号H、以及有效区域的图像信号。对于每秒60帧的图像信号，摄像区域d2(即，水平方向上的2200个像素和垂直方向上的1125行)被以帧为周期重复拍摄。有效区域的图像信号是从1125条水平行中的预定行(“n行”)获得的1080行的信号。例如，在图1A中，一条水平行的信号用虚线Ha来示出。

当以每秒50帧来拍摄图像时，如图1A所示，通过将摄像区域d2右侧的摄像区域d3与区域d2相加而产生的区域(d2+d3)的摄像信号被从图像传感器的读单元输出。被设置为有效摄像区域d1的范围与针对每秒60帧的图像信号来设置的有效摄像区域的范围相同。

图1C示出了当获得每秒50帧的图像信号时的垂直同步信号V、水平同步信号H、以及有效区域的摄像信号。当获得每秒50帧的图像信号时，摄像区域d2+d3(即，水平方向上的2640个像素×垂直方向上的1125行)的图像被以帧为周期重复拍摄。这里，以与按每秒60帧来拍摄图像时的方式相同的方式，有效区域的摄像信号是从1125条水平行中的预定行(“n行”)获得的1080行的信号，但是由于水平同步周期比按每秒60帧来拍摄图像时要长，所以每一水平行中除了有效区域之外的部分要更长。这里，例如，一条水平行的信号用图1A中的虚线Hb来示出。

当按每秒24帧来拍摄图像时，如图1A所示，通过将摄像区域d3右侧的摄像区域d4与区域(d2+d3)相加而产生的区域(d2+d3+d4)的摄像信号被从图像传感器的读单元输出。被设置成有效摄像区域d1的范围与针对每秒60帧的图像信号来设置的有效摄像区域的范围相同。

图1D示出了当获得每秒24帧的图像信号时的垂直同步信号V、水平同步信号H、以及有效区域的摄像信号。当获得每秒24帧的图像信号时，摄像区域d2+d3+d4(即，水平方向上的2750个像素×垂直方向上的1125行)的图像被以帧为周期重复拍摄。这里，以与按每秒60帧或每秒50帧来拍摄图像时的方式相同的方式，有效区域的摄像信号是从1125条水平行中的预定行(“n行”)获得的1080行的信号，但是由于水平同步周期比按每秒50帧来拍摄图像时要更长，所以每一水平行中除了有效区域之外的部分极其长。这里，例如，一条水平行的信号用图1A中的虚线Hc来示出。

通过执行这样的摄像处理，随着帧速率的降低，每一水平行中的不是有效摄像区域的部分(即，无效区域)随之增加，这使得即使在基本时钟频率固定的情况下也可以改变帧速率。即，当获得每秒50帧或者每秒24帧的图像信号时，在从图像传感器读取的摄像信号中删除无效区域(即，区域d3、d4)，并执行校正过程以延伸每一水平行的时间轴，并从而获得具有规定帧速率的图像信号。

在图1A到1D所示的处理中，可以通过在不改变用于驱动图像传感器或图像传感器的读单元的基本时钟频率的情况下改变水平同步周期，来按多种帧速率拍摄图像。通过以这样的方式在不改变基本时钟频率的情况下改变水平同步周期来改变帧速率，用于改变基本时钟频率的控制变得不再必要，并且可以防止显示器上的闪烁。

PCT公布WO2003-63471公开了执行控制以改变帧速率的现有摄像装置。该公布指出，通过执行即使在帧速率变化的情况下也不改变基本时钟频率的控制，可以防止显示器上的闪烁。

发明内容

但是，如果通过改变水平同步周期来改变帧速率，如图1A到1D所示，则当拍摄移动物体的图像时，尤其是当以较低的帧速率来拍摄图像时，存在图像失真加大的问题。当以行顺序来输出摄像信号的图像传感器被用作图像传感器时，移动物体的这种图像失真是个问题。以行顺序来输出摄像信号的传感器包括摄像显象管和一些CMOS(互补金属氧化物半导体)传感器。尤其是近年来，CMOS图像传感器已经逐渐地变得普遍，因此现在相当大部分的传感器都按行顺序来输出摄像信号。

图2示出了当利用行顺序的方法来拍摄图像时、移动物体发生失真的原理。这个图示出了当以行顺序来拍摄图像时、拍摄各条水平行时的定时如何发生变化。即，在图2的示例中，一个图像F1被假定为由编号为L1到L4的四条水平行组成，并且这些水平行L1到L4在定时T1到T4处被拍摄，所述定时T1到T4分别按图2左侧的垂直时间轴上的顺序被移动。在这个示例中，在将被拍摄的图像中，用圆圈表示的对象是静止的，并且用矩形表示的对象正从右往左移动。

从图2中的最后拍摄到的图像F1中可以了解到，用矩形表示的对象的拍摄图像从顶行L1到末行L4逐渐地向左移动，并因而被拍摄成失真图像。虽然图2所示的失真是尤其针对于行顺序的图像传感器的问题，但是，如果通过提高或降低水平同步周期(如图1A到1D所示)来处理帧速率的变化，则存在这样的问题，即，当以较低的帧速率来拍摄图像时，移动物体的失真变得更加突出。尤其是，当以24帧每秒来拍摄图像时，一条水平行的周期非常长，因此，拍摄第一水平行时的定时和拍摄最后的水平行时的定时之间的差异变得非常大，从而导致移动物体的显著失真。这种加大的移动物体的失真是不希望有的。

本发明是就上述和其它问题而构想的，并且致力于防止在按多种帧速率来拍摄图像而不改变基本时钟频率时移动物体的失真加大。

根据本发明的一个实施例，提供了一种按可变地设置为多个帧速率中的一个帧速率来拍摄图像的摄像方法。该方法包括以下步骤：

当从图像传感器获得摄像信号时，根据设定的帧速率来设置垂直同步周期，并根据所设置的垂直同步周期来添加并不包括有效摄像区域的摄像信号，同时保持各个摄像信号的水平同步周期恒定；以及

与所设定的帧速率相对应地对所获得的、包括有效摄像区域在内的摄像信号的时间轴进行校正，并删除所获得的、不包括所述有效摄像区域的摄像信号。

通过执行上述处理，在一帧中拍摄有效摄像区域的图像的时间段将不会改变，即使帧速率被改变也是如此。因此，即使按较低的帧速率、使用行顺序图像传感器来执行图像拍摄，也不会增加各个帧内的移动物体的失真。

根据本发明的实施例，即使当帧速率改变时，用于拍摄一个帧中的有效摄像区域的时间段也不会改变，因此即使通过行顺序图像传感器来执行图像拍摄并且设置了较低的帧速率，也不会增加各个帧内的移动物体的失真。因此，无论如何设置帧速率，都可以顺利地拍摄移动物体的失真很小的图像。

附图说明

图1A到1D是示出通过改变水平同步周期来改变帧速率同时保持基本时钟频率恒定的现有处理的示例的示图和时序图；

图2是示出当按行顺序来拍摄图像时所拍摄到的图像的示图；

图3是示出根据本发明一个实施例的摄像装置的示例构造的框图；

图4A到4D是示出根据本发明一个实施例的摄像处理的示例的示图和时序图；

图5A到5C是示出根据本发明一个实施例、由FIFO执行的处理的示例的时序图；

图6A到6C是示出根据本发明一个实施例、同时读出两行的处理的示例的时序图；以及

图7是示出根据本发明另一个实施例的摄像装置的示例构造的框图。

具体实施方式

现在将参考图3到7来描述本发明的优选实施例。图3是示出根据本发明一个实施例的摄像装置的构造的一个示例的框图。在图3中，通过光学系统11(包括透镜等)而聚焦在图像传感器12的拍摄表面上的图像被图像传感器12转换成电信号，并且转换所得的电信号被传感器输出单元13读出。由传感器输出单元13读出的这个电信号被称为“摄像信号”。在本实施例中，按行顺序来读出摄像信号的传感器被用作图像传感器12。

这里，使用CMOS图像传感器作为按行顺序来读出摄像信号的传感器的一个示例。可以使用这样的构造，其中，在光学系统11中使用棱镜来将光分成多种颜色，并且提供多个图像传感器作为图像传感器12。图像传感器12的摄像过程和由传感器输出单元13执行的对摄像信号的输出过程由定时生成单元21来驱动。为此，从定时生成单元21提供驱动时钟。

从传感器输出单元13输出的摄像信号被提供给模/数转换器14，从而被转换成数字信号。数字化后的摄像信号随后被提供给摄像处理单元15，在摄像处理单元15中对该摄像信号执行多种信号处理。由模/数转换器14执行的转换过程和由摄像处理单元15执行的处理也是与从定时生成单元21提供的时钟相同步地执行的。在控制单元20的控制之下执行摄像处理单元15的处理，并在已经被执行过诸如白平衡校正和(gamma)校正之类的图像处理之后，所述信号被从RGB原色信号转换成亮度/色度(Y/C)信号。

经过摄像处理单元15处理的摄像信号被提供给由FIFO存储器组成的存储器16，FIFO存储器以数据被输入的顺序来输出数据。在存储器16中还执行对摄像信号的时间轴进行校正的过程。将水平行中并不包括有效图像区域的部分去除的过程(稍后将描述)也被执行。将水平行中的这些部分去除(即“修整”)的处理可以由另一个电路(例如，摄像处理单元15)来执行。时间轴校正过程和水平行修整过程是在存储器16中与从摄像处理单元15提供的时钟相同步地执行的。

通过在存储器16中执行时间轴校正过程，从存储器16输出的摄像信号被校正成符合预定图像信号格式的图像信号(即，针对各种帧速率的正确图像信号)。存储器16所输出的图像信号被提供给记录单元17，从而被记录到磁盘、磁带、存储器等上，被显示在显示单元18上，以及被从图像信号输出单元19输出。

由这个摄像装置进行的图像拍摄是根据控制单元20的控制来执行的。控制单元20通过接收来自操作单元22的诸如启动和停止图像拍摄之类的指令来控制图像拍摄。对摄像模式进行设置的操作也可以通过操作单元22来进行，其中，与所述操作相对应的模式由控制单元20来设置。

提供了三种摄像模式，作为本实施例中的摄像模式：按每秒60帧来拍摄图像的摄像模式，按每秒50帧来拍摄图像的摄像模式，以及按每秒24帧来拍摄图像的摄像模式。

根据已设置的模式，控制单元20指示定时生成单元21生成相应的驱动信号和时钟，从而与该模式相一致地驱动各个电路。但是，在本实施例中，作为由定时生成单元21生成的基本时钟的像素时钟在每一种模式下都是相同的。另外，确定水平同步信号的周期(即，水平同步周期)的水平时钟也在每一种模式下都相同。针对所设定的模式，图像传感器12拍摄图像的时间段被设置在适当的时间段处。稍后将在本说明书中更详细地描述水平时钟等。

图4A到4D是示出根据本实施例的可变帧速率摄像过程的示图。

图4A示出了在根据本实施例的摄像信号中的一个帧的图像。在水平方向和垂直方向上具有预定数目的像素的有效摄像区域d11被设置用于一个帧的摄像信号。在有效摄像区域d11中的水平方向和垂直方向上的像素的数目在各种帧速率下都相同。作为一个示例，假定有效摄像区域d11包括水平方向上的1920个像素和垂直方向上的1080条水平行。

当按每秒60帧来拍摄图像时，如图4A所示，设置了稍大于有效摄像区域d11的摄像区域d12。例如，摄像区域d12在水平方向上宽为2200个像素，并且在垂直方向上具有1125条水平行。设置了该摄像区域d12的摄像信号是无论帧速率为多少都将被输出的摄像信号。

根据本实施例，当按每秒50或24帧来拍摄图像时，根据设定的帧速率来设置垂直同步周期，并且当如图4A所示来查看一个帧的摄像区域时、被添加在基本摄像区域d12之下的摄像区域d13、d14的摄像信号被获得。以这种方式在基本摄像区域d12之下添加摄像区域d13、d14相当于增加了一个帧中的水平行的数目，同时针对每一种帧速率保持水平同步周期不变。由于在基本摄像区域d12之下添加了行，所以并不构成有效摄像区域并且与摄像区域d13中的行或者摄像区域d13+d14中的行相对应的多个水平行被添加在有效摄像区域d11所存在于的水平行之后。

接下来，将参考图4B到4D来描述在每一种模式下的图像拍摄的具体示例。

图4B示出了当获得每秒60帧的图像信号时的垂直同步信号V、水平同步信号H、以及有效区域的摄像信号。对于每秒60帧的图像信号，摄像区域d12(即，水平方向上的2200个像素×垂直方向上的1125行)的图像拍摄以每个帧为周期而被重复。有效区域的摄像信号是从1125条水平行中的预定行(“n条水平行”)获得的1080行的信号。

图4C示出了当获得每秒50帧的图像信号时的垂直同步信号V、水平同步信号H、以及有效区域的摄像信号。当按每秒50帧来拍摄图像信号时，如图4A所示，通过在摄像区域d12之下添加摄像区域d13而产生的区域(d12+d13)的摄像信号被从图像传感器12的读单元输出。在摄像区域d13中的水平行是不包括有效摄像区域的水平行。被设置成有效摄像区域d11的范围与针对每秒60帧的图像信号来设置的有效摄像区域的范围相同。

图4D示出了当获得每秒24帧的图像信号时的垂直同步信号V、水平同步信号H、以及有效区域的摄像信号。当按每秒24帧来拍摄图像时，如图4A所示，通过在摄像区域d13之下进一步添加摄像区域d14而产生的区域(d2+d3+d4)的摄像信号被从图像传感器12的读单元输出。在摄像区域d13和d14中的水平行是不包括有效摄像区域的水平行。被设置成有效摄像区域d11的范围与针对每秒60帧的图像信号来设置的有效摄像区域的范围相同。在摄像区域d12+d13+d14中的水平行的数目是2812.5。这里，第2813条(即，最后的)水平行的水平同步周期被减半，以使得帧速率等于每秒24帧。

图4A所示的水平行的频率和一条水平行上的像素的数目是针对基本时钟频率为148.5MHz(或者该频率的一半，即74.25MHz)的示例来设置的。在本实施例中，水平行的数目是根据下式来设置的：

水平行的数目＝[(基本时钟频率)÷(帧速率)]÷(水平时钟的数目)

对于每秒24帧的图像信号，计算得出了以上所给出的小数。

当设置了每秒60帧的摄像模式时，以这种方式从传感器输出单元13输出的摄像信号被提供给记录单元17、显示单元18和图像信号输出单元19，作为已经过处理而没有改变水平行的数目的图像信号。

当设置了每秒50帧的摄像模式时以及当设置了每秒24帧的摄像模式时，在(FIFO)存储器16中执行校正以延伸有效摄像区域d11的时间轴，并删除所添加的区域d13或区域d13+d14。

图5A到5C是示出在存储器16中的处理示例的示图。图5A示出了输入到存储器16中的垂直同步信号的周期。垂直同步信号的周期在存储器16中没有被改变。如图5B中的三角形所示，对于输入到存储器16中的摄像信号，包括有效摄像区域d11的区域d12的行数目在每一个帧周期内变化，并且所添加的区域d13或d13+d14存在于每一个帧周期的尾部。

在这种状态下，在存储器16内部，包括有效摄像区域d11的区域d12中的每一条水平行被延伸，并且所添加的区域d13或d13+d14被删除。已经被执行过这些延伸和删除过程的摄像信号被从存储器16输出，如图5C所示。

通过根据模式来校正时间轴并删除在摄像期间添加的区域，以这种方式使用存储器16等，针对每一种模式的正确图像信号被输出。在本实施例中，在一个帧中用于拍摄有效摄像区域d11的时段无论帧速率为多少都是相同的。因此，即使使用按行顺序来拍摄图像的图像传感器12，也不会加大移动物体的失真。

注意，虽然已经针对图4A到4D中的示例描述了按行顺序来读出摄像信号的处理示例，但是也可以使用同时读出两条水平行的构造。

图6A到6C示出了同时读出两条水平行的示例。图6A示出了用于每秒60帧的图像的模式的示例，图6B示出了用于每秒50帧的图像的模式的示例，而图6C示出了用于每秒24帧的图像的模式的示例。

在图6A到6C所示的模式中，输出OUT1、OUT2是两条水平行同时被读出的摄像信号输出，每一个输出隔行输出摄像信号。由于在每一种模式中都同时读出两条水平行，所以垂直同步周期(在该周期中一个帧的信号被读出)仅需要一半时间，并因此可以相应地减小上述移动物体的失真。通过在摄像处理单元15中组合两条水平行的输出以成为按行顺序进行的输出，具有规定数目的水平行的逐行扫描(非隔行)摄像信号被生成。注意，通过仅使用同时输出两行的摄像信号中的一条水平行，可以生成隔行摄像信号。此外，虽然以上已经描述了同时读出两条水平行的构造，但是同时读出三条或更多条水平行的构造也是可以的。

此外，虽然在图3所示的摄像装置的构造中，摄像处理单元15的输出被提供给FIFO存储器16，在存储器16中，时间轴被校正从而生成正确的图像信号，但是摄像处理单元15和存储器16的位置可以互换。

即，如图7所示，例如，可以使用这样的构造，其中，模/数转换器14的输出在被提供给摄像处理单元15′(在摄像处理单元15′中执行各种处理)之前被提供给FIFO存储器16′，在FIFO存储器16′中执行时间轴的校正和所添加的区域的删除。通过使用图7所示的构造，摄像处理单元15′可以具有与兼容多种帧速率的现有摄像处理单元完全相同的处理构造。利用图3所示的构造，由于在输入信号中包括所添加的区域，所以需要对这些区域的处理。

此外，在图4A到4D所示的且在以上实施例中描述的示例中，当获得每秒24帧的图像信号时，一个帧中的最后一条水平行是半行。作为生成这样的半数的方法，也可以将与一半水平行相对应的多个水平时钟周期(即，1100个时钟周期)划分到1100行上，每一行被分配一个时钟周期，并将这些行的像素时钟周期的数目加1。

或者，代替最小化水平时钟周期的数目，作为示例，可以通过设置2750行或者2475行的、一条水平行为2250或2500个时钟周期的矩形区域来拍摄每秒24帧的图像。

在上述实施例中，给出了按每秒60帧来的图像拍摄、按每秒50帧的图像拍摄、以及按每秒24帧的图像拍摄的示例，但是也可以将本发明的实施例应用于设置了多个其它帧速率的摄像装置。以上所给出的、在一条水平行中的时钟周期的数目(即，像素的数目)也仅仅是示例，并且本发明的实施例并不限于这些数目的时钟周期。

本领域技术人员应当了解，在所附权利要求或其等同物的范围内，根据设计要求和其它因素可以进行修改、组合、子组合和变更。

相关申请的交叉引用

本发明包含与2007年3月27日在日本专利局提交的日本专利申请JP2007-082069相关的主题，该申请的全部内容通过引用而结合于此。

Claims (5)

1.一种摄像装置，包括：

控制单元，该控制单元可变地设置多个帧速率中的一个帧速率；

图像传感器，该图像传感器按所述控制单元所设置的帧速率来拍摄包括有效摄像区域在内的区域的图像；

输出单元，该输出单元从所述图像传感器读出摄像信号；

定时设置单元，该定时设置单元根据所述控制单元所设置的帧速率来设置垂直同步周期，并根据所设置的垂直同步周期来添加不包括所述有效摄像区域的摄像信号，同时保持由所述输出单元输出的各个摄像信号的水平同步周期恒定；以及

时间轴校正单元，该时间轴校正单元与所设置的帧速率相对应地对从所述输出单元输出的、包括所述有效摄像区域在内的摄像信号的时间轴进行校正，并删除由所述定时设置单元添加的、不包括所述有效摄像区域的摄像信号。

2.如权利要求1所述的摄像装置，还包括摄像信号处理单元，该摄像信号处理单元对由所述输出单元输出的所述摄像信号执行摄像信号处理，

其中，所述时间轴校正单元对已经所述摄像信号处理单元处理的所述摄像信号的时间轴进行校正。

3.如权利要求1所述的摄像装置，

还包括摄像信号处理单元，该摄像信号处理单元对由所述输出单元输出的所述摄像信号执行摄像信号处理，

其中，所述输出单元被配置成同时输出多条水平行的摄像信号，并且所述摄像信号处理单元按预定的顺序来组合所述多条水平行的摄像信号，以生成摄像信号。

4.如权利要求1所述的摄像装置，

还包括执行摄像信号处理的摄像信号处理单元，

其中，所述时间轴校正单元对由所述输出单元输出的所述摄像信号执行校正，并且所述摄像信号处理单元对经过所述时间轴校正单元校正的摄像信号执行摄像信号处理。

5.一种按被可变地设置的多个帧速率中的一个帧速率来拍摄图像的摄像方法，该摄像方法包括以下步骤：

当从图像传感器获得摄像信号时，根据设定的帧速率来设置垂直同步周期，并且根据所设置的垂直同步周期来添加不包括有效摄像区域的摄像信号，同时保持各个摄像信号的水平同步周期恒定；以及

与所设定的帧速率相对应地对所获得的、包括有效摄像区域在内的摄像信号的时间轴进行校正，并删除所获得的、不包括所述有效摄像区域的摄像信号。

Images