CN102466962B - 立体影像产生方法及立体成像系统 - Google Patents

Abstract

本发明提供一种立体影像产生方法及立体成像系统。此立体成像系统包括左镜头及右镜头，而此方法分别利用左镜头及右镜头拍摄左眼影像及右眼影像，接着分析此左眼影像与右眼影像以找出其中重叠的左眼重叠影像及右眼重叠影像，然后分别计算左眼重叠影像及右眼重叠影像的色彩参数，而据以调整整张左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致，最后则输出调整后的左眼影像与右眼影像，以作为立体影像。

Description

立体影像产生方法及立体成像系统

技术领域

本发明涉及一种影像产生方法及成像系统，尤其涉及一种立体影像产生方法及立体成像系统。

背景技术

立体相机是由规格相同的双镜头组成，此双镜头的间隔距离约为7.7公分，用以模拟人眼的实际距离。而此双镜头的焦距、光圈、快门等参数则是由立体相机的处理器控制，而经由快门线的触发，即可拍摄出同一区域但视角不同的影像，此影像即是用以模拟人类左右眼的影像。

由立体相机拍摄的左右眼影像经由显示装置以超过人眼视觉暂留的频率交替显示，并搭配戴在人类头部的液晶快门眼镜的切换，使得人类的左右眼可观看到对应的左右眼影像。此左右眼影像被传导到大脑皮质后，即会由大脑皮质中枢将其融合成单一物像。由于立体相机所拍摄的左右眼影像在角度上有些许的差异，因此在视网膜上形成的物像也会具有一定的视差，而人类经由大脑皮质中枢融合两眼中视角不同的物像，即会产生立体感。

虽然立体相机的左右镜头是使用相同的参数拍摄同一区域的影像，但由于两个镜头或镜头内的光感测器多少会存在些许差异，即便在所控制的参数与所使用的拍摄方法均相同的情况下，立体相机所拍摄出来的影像在亮度或色彩的呈现上仍会有所差异，而此差异将会造成观看者两眼所视的影像不够匹配，进而影响到立体影像的成像效果。

发明内容

本发明提供一种立体影像产生方法，可使立体成像系统所拍摄的左右眼影像的亮度与色度一致。

本发明提供一种立体影像产生方法，适用于包括左镜头及右镜头的立体成像系统。此方法分别利用左镜头及右镜头拍摄左眼影像及右眼影像，接着分析此左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像，然后分别计算左眼重叠影像及右眼重叠影像的色彩参数，而据以调整整张的左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致，最后则输出调整后的左眼影像与右眼影像，以作为立体影像。

在本发明的一实施例中，上述分析左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像的步骤包括撷取左眼影像及右眼影像内的多个特征，而依据这些特征中相同特征所涵盖的区域，区分出左眼影像中的左眼重叠影像以及右眼影像中的右眼重叠影像。

在本发明的一实施例中，上述分析左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像的步骤包括根据左镜头及右镜头之间的镜头间距以及左镜头及右镜头的影像感测器的尺寸，找出左眼重叠影像及右眼重叠影像。

在本发明的一实施例中，上述调整整张的左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致的步骤包括以左眼影像及右眼影像其中之一为基准，调整另一张影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致。

在本发明的一实施例中，上述调整整张的左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致的步骤包括计算左眼重叠影像及右眼重叠影像的色彩参数的平均值及标准差，并调整整张的左眼影像与右眼影像的色彩参数，使其与所计算的平均值及标准差一致。

在本发明的一实施例中，上述分别计算左眼重叠影像及右眼重叠影像的色彩参数的步骤包括分别计算左眼重叠影像及右眼重叠影像的亮度(Y)及色度分量(Cb、Cr)。

在本发明的一实施例中，上述调整整张的左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致的步骤包括调整整张的左眼影像与右眼影像的亮度，使得左眼重叠影像与右眼重叠影像的亮度一致，然后调整整张的左眼影像与右眼影像的色度，使得左眼重叠影像与右眼重叠影像的色度一致。

在本发明的一实施例中，上述分别计算左眼重叠影像及右眼重叠影像的色彩参数的步骤包括分别计算左眼重叠影像及右眼重叠影像的红、绿、蓝(RGB)色度分量。

在本发明的一实施例中，上述调整整张的左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致的步骤包括分别调整整张的左眼影像与右眼影像的红、绿、蓝(RGB)色度，使得左眼重叠影像与右眼重叠影像的红、绿、蓝色度一致。

本发明提供一种立体成像系统，其包括左镜头、右镜头及处理单元。其中，左镜头用以拍摄左眼影像，右镜头用以拍摄右眼影像，此左镜头及右镜头之间具有一镜头间距。处理单元耦接左镜头及右镜头，而用以分析左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像，并分别计算左眼重叠影像及右眼重叠影像的一色彩参数，据以调整整张左眼影像与右眼影像的色彩参数，使得左眼重叠影像与右眼重叠影像的色彩参数一致，以及输出调整后的左眼影像与右眼影像，以作为立体影像。

基于上述，本发明的立体影像产生方法及立体成像系统通过计算立体成像系统所拍摄左右眼影像的重叠区域的色彩参数，并用以校正左右眼影像整张影像的亮度或色度的偏差，而可得到亮度或色度互相匹配的左右眼影像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所显示的立体成像系统的方块图。

图2是依照本发明一实施例所显示的立体影像产生方法的流程图。

图3(a)、图3(b)是依照本发明一实施例所显示的立体影像产生方法的范例。

图4(a)、图4(b)是依照本发明一实施例所显示的立体影像产生方法的范例。

图5是依照本发明一实施例所显示的立体影像产生方法的流程图。

图6是依照本发明一实施例所显示的立体影像产生方法的流程图。

主要附图标记说明：

100：立体成像系统；                    110：左镜头；

120：右镜头；

S210～S250：本发明一实施例的立体影像产生方法的步骤；

S510～S560：本发明一实施例的立体影像产生方法的步骤；

S610～S650：本发明一实施例的立体影像产生方法的步骤。

具体实施方式

立体成像系统所拍摄的左右眼影像中间有很大一块区域是彼此相重叠的区域，此重叠区域内的物体虽然会因为左右眼镜头拍摄角度的不同而有些许的像差，但基本上整体的内容是相同的。因此，若要解决左右眼影像间的亮度或色度偏差，理论上就是要针对此重叠区域、具有相同内容物的影像做校正，所得的效果最佳。而将对此重叠区域影像所做的调整扩及整张左右眼影像，最终即可获得亮度、色度均相匹配的立体影像。

详言之，图1是依照本发明一实施例所显示的立体成像系统的方块图。请参照图1，本实施例的立体成像系统100例如是立体相机，其包括左镜头110、右镜头120及处理单元130。

左镜头110与右镜头120中均配置有感光元件(未显示)，用以分别感测进入左镜头110与右镜头120的光线强度，进而产生左眼影像及右眼影像。所述的感光元件例如是电荷耦合元件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，在此不设限。此外，左镜头110与右镜头120之间例如具有约为77毫米的镜头间距，而可模拟真实人眼间的距离。

处理单元130例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、可程序化控制器、特殊应用积体电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置，其耦接左镜头110及右镜头120，而用以对上述左镜头110及右镜头120所撷取的左眼影像及右眼影像进行校正，以输出亮度及色度相匹配的立体影像。

详言之，图2是依照本发明一实施例所显示的立体影像产生方法的流程图。请同时参照图1及图2，本实施例的方法适用于图1的立体成像系统100，适于在使用者利用立体成像系统100拍摄立体影像时，校正左眼影像与右眼影像的间亮度及色度上的差异，以产生色彩相匹配的立体影像。以下即搭配图1的立体成像系统100的各项元件，说明本实施例方法的详细步骤：

首先，分别利用左镜头110及右镜头120拍摄左眼影像及右眼影像(步骤S210)。其中，左镜头110及右镜头120例如是采用相同的参数拍摄影像，所述的参数包括焦距、光圈、快门、白平衡等，在此不设限。

接着，由处理单元130分析左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像(步骤S220)。其中，处理单元130例如可撷取左眼影像及右眼影像内的多个特征，并依据这些特征中相同特征所涵盖的区域，区分出左眼影像中的左眼重叠影像以及右眼影像中的右眼重叠影像。另一方面，处理单元130亦可根据左镜头及右镜头之间的镜头间距以及左镜头及右镜头的影像感测器的尺寸来找出左眼重叠影像及右眼重叠影像。

在找出左眼重叠影像及右眼重叠影像之后，处理单元130即分别计算左眼重叠影像及右眼重叠影像的色彩参数(步骤S230)。其中，处理单元130例如会分别计算左眼重叠影像及右眼重叠影像的亮度(Y)及色度分量(Cb、Cr)，或是计算左眼重叠影像及右眼重叠影像的红、绿、蓝(RGB)色度分量，以做为后续校正的依据。

根据上述计算的色彩参数，处理单元130即可进一步调整整张的左眼影像与右眼影像的色彩参数，而使得左眼重叠影像与右眼重叠影像的色彩参数一致(步骤S240)，最后则将调整后的左眼影像与右眼影像输出作为立体影像(步骤S250)。详言之，由于左眼重叠影像与右眼重叠影像中的内容物相同，且两张影像的拍摄环境也相同，故其拍摄出来的影像的亮度、色度等色彩参数理应相同。据此，本实施例即针对此重叠区域内的左右眼影像进行调整及校正，并将调整的范围扩及整张左右眼影像，使得最终调整后的左右眼影像无论是在重叠区域或是在非重叠区域，其所呈现出来的亮度或色彩均为一致。

需说明的是，上述左右眼影像的调整方式例如是以左眼影像及右眼影像其中之一为基准或是以两者的平均值为基准来做调整，在此不设限。详言之，处理单元130可以将左眼影像及右眼影像其中之一做为基准来调整另一张影像的色彩参数，而使得左眼重叠影像与右眼重叠影像的色彩参数一致。另一方面，处理单元130也可以计算左眼重叠影像及右眼重叠影像的色彩参数的平均值及标准差，再据此调整整张的左眼影像与右眼影像的色彩参数，使得其调整后的色彩参数与所计算的平均值及标准差一致。

举例来说，图3(a)、图3(b)、图4(a)、图4(b)是依照本发明一实施例所显示的立体影像产生方法的范例。其中，图3(a)、图3(b)分别代表立体成像系统所拍摄的左眼影像及右眼影像，而图4(a)、图4(b)则分别显示此左眼影像及右眼影像的重叠区域中所有像素的色阶分布图。由图3(a)、图3(b)可知，左眼影像及右眼影像的亮度有些许不同，其原因可能是各张影像单独处理所造成的不协调。若分析图4(a)、图4(b)的色阶分布图可知，左眼影像的亮度平均值较高，因此可判定左眼影像偏亮。此时可通过简单地将右眼影像的亮度调高，或是将左眼影像的亮度调低，而调和两者间亮度的差异。或者，也可将左眼影像及右眼影像的亮度统一调整至两者的平均值，同样可获致相同的效果。

除了亮度的差异之外，若再考虑色度上的差异，本发明还可针对左右眼影像分别计算其在不同色彩空间上的色度值，并结合上述的调整机制来调和左右眼影像间的颜色差异，从而获致较佳的立体影像。以下则再举一实施例详细说明。

图5是依照本发明一实施例所显示的立体影像产生方法的流程图。请同时参照图1及图5，本实施例的方法适用于图1的立体成像系统100，适于在使用者利用立体成像系统100拍摄立体影像时，通过计算左眼影像与右眼影像的重叠区域的亮度(Y)及色度分量(Cb、Cr)，据以校正左眼影像与右眼影像的间亮度及色度上的差异，以产生色彩相匹配的立体影像。以下即搭配图1的立体成像系统100的各项元件，说明本实施例方法的详细步骤：

首先，分别利用左镜头110及右镜头120拍摄左眼影像及右眼影像(步骤S510)。接着，由处理单元130分析左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像(步骤S520)。以上步骤S510～S520的详细内容与前述实施例的步骤S210～S220相同或相似，故在此不再赘述。

与前述实施例不同的是，本实施例在找出左眼重叠影像及右眼重叠影像之后，由处理单元130分别计算左眼重叠影像及右眼重叠影像的亮度(Y)及色度分量(Cb、Cr)(步骤S530)。接着，处理单元130即根据所计算的左右眼影像的亮度，调整整张的左眼影像与右眼影像的亮度，使得左眼重叠影像与右眼重叠影像的亮度一致(步骤S540)。然后，处理单元130再根据所计算的左右眼影像的色度，调整整张左眼影像与右眼影像的色度，使得左眼重叠影像与右眼重叠影像的色度一致(步骤S550)。最后则将调整后的左眼影像与右眼影像输出作为立体影像(步骤S560)。

通过上述分阶段对亮度及色度进行调整的方法，逐步调整左眼影像与右眼影像的亮度及色度，最终即可获得亮度及色度调和的立体影像。

另一方面，本发明亦可直接针对其他色彩空间上的色度值进行逐步调整，待所有色度均调整过后，同样可获得亮度及色度调和的立体影像，以下则再举一实施例详细说明。

图6是依照本发明一实施例所显示的立体影像产生方法的流程图。请同时参照图1及图6，本实施例的方法适用于图1的立体成像系统100，适于在使用者利用立体成像系统100拍摄立体影像时，通过计算左眼影像与右眼影像的重叠区域的红、绿、蓝(RGB)色度分量，据以校正左眼影像与右眼影像的间亮度及色度上的差异，以产生色彩相匹配的立体影像。以下即搭配图1的立体成像系统100的各项元件，说明本实施例方法的详细步骤：

首先，分别利用左镜头110及右镜头120拍摄左眼影像及右眼影像(步骤S610)。接着，由处理单元130分析左眼影像与右眼影像，以分别找出左眼影像与右眼影像中相互重叠的左眼重叠影像及右眼重叠影像(步骤S620)。以上步骤S610～S620的详细内容与前述实施例的步骤S210～S220相同或相似，故在此不再赘述。

与前述实施例不同的是，本实施例在找出左眼重叠影像及右眼重叠影像之后，由处理单元130分别计算左眼重叠影像及右眼重叠影像的红、绿、蓝(RGB)色度分量(步骤S630)，并据此分别调整整张左眼影像与右眼影像的红、绿、蓝色度，使得左眼重叠影像与右眼重叠影像的红、绿、蓝色度一致(步骤S640)。最后则将调整后的左眼影像与右眼影像输出作为立体影像(步骤S650)。

举例来说，假设以下数据是处理单元130所计算出的左右眼影像的红(R)、绿(G)、蓝(B)色度的平均值及标准差：

左眼影像(R)：平均值144.8、标准差53；

左眼影像(G)：平均值98、标准差45；

左眼影像(B)：平均值53、标准差37；

右眼影像(R)：平均值137、标准差50；

右眼影像(G)：平均值92.7、标准差43；

右眼影像(B)：平均值61.9、标准差43。

由上述的数据可知左右眼影像两边的颜色分布不一致。假设处理单元130是以两张影像的平均当作基准来进行调整，若新计算出来的基准影像的平均值为X_u，标准差为X_std；待调整的左右眼影像的平均值为M_u、标准差为M_std，则对于左右眼影像中原像素值为M的像素，其调整后的像素值Y与前述参数的关系式如下：

Y＝(M-M_u)×X_std/M_std+X_u

处理单元130采用上述公式计算出调整后的色度值，并对红、绿、蓝三种色度分别进行调整，即可使得左右眼影像整体的亮度与色度均为一致，进而提高立体影像的品质。而除了上述的色度转换方式之外，本发明亦可采用影像直方图匹配(histogram matching)的方式来调整整张左右眼影像的色彩参数，同样可达到相类似的效果。

综上所述，本发明的立体影像产生方法及立体成像系统通过分析左右眼影像的重叠区域内影像在不同色彩空间上的色彩分布，据以调整整张左右眼影像的亮度或色度，使得两张影像的亮度及颜色达到一致，而可有效提高立体影像的品质。

虽然本发明已以实施例揭示如上，但其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，可作任意改动或等同替换，故本发明的保护范围应当以本申请权利要求所界定的范围为准。

Claims (5)

1.一种立体影像产生方法，适用于包括一左镜头及一右镜头的一立体成像系统，该方法包括下列步骤： 

分别利用该左镜头及该右镜头拍摄一左眼影像及一右眼影像； 

分析该左眼影像与该右眼影像，以分别找出该左眼影像与该右眼影像中相互重叠的一左眼重叠影像及一右眼重叠影像； 

计算该左眼重叠影像的一色度分量的一第一平均值与一第一标准差，并且计算该右眼重叠影像的该色度分量的一第二平均值与一第二标准差； 

根据该第一平均值与该第二平均值计算一第三平均值，并且根据该第一标准差与该第二标准差计算一第三标准差； 

针对该左眼影像中的每一像素： 

根据下式调整该像素的该色度分量的一第一色度值，其中该第一色度值为该像素的该色度分量的色度值， 

Y1＝(M1–M1_u)×X_std/M1_std+X_u， 

其中Y1为调整后的该第一色度值，M1为该第一色度值，M1_u为该第一平均值，X_std为该第三标准差，M1_std为该第一标准差，并且X_u为该第三平均值； 

针对该右眼影像中的每一像素： 

根据下式调整该像素的该色度分量的一第二色度值，其中该第二色度值为该像素的该色度分量的色度值， 

Y2＝(M2–M2_u)×X_std/M2_std+X_u， 

其中Y2为调整后的该第二色度值，M2为该第二色度值，M2_u为该第二平均值，并且M2_std为该第二标准差； 

以及 

输出调整后的该左眼影像与该右眼影像，以作为一立体影像。 

2.根据权利要求1所述的立体影像产生方法，其中分析该左眼影像与该 右眼影像，以分别找出该左眼影像与该右眼影像中相互重叠的该左眼重叠影像及该右眼重叠影像的步骤包括： 

撷取该左眼影像及该右眼影像内的多个特征；以及 

依据所述特征中相同特征所涵盖的区域，区分出该左眼影像中的该左眼重叠影像以及该右眼影像中的该右眼重叠影像。 

3.根据权利要求1所述的立体影像产生方法，其中分析该左眼影像与该右眼影像，以分别找出该左眼影像与该右眼影像中相互重叠的该左眼重叠影像及该右眼重叠影像的步骤包括： 

根据该左镜头及该右镜头之间的一镜头间距以及该左镜头及该右镜头的一影像感测器的一尺寸，找出该左眼重叠影像及该右眼重叠影像。 

4.根据权利要求1所述的立体影像产生方法，其中在输出调整后的该左眼影像与该右眼影像，以作为该立体影像的步骤之前，该方法更包括： 

调整整张的该左眼影像与该右眼影像的亮度，使得该左眼重叠影像与该右眼重叠影像的亮度一致。 

5.一种立体成像系统，包括： 

一左镜头，拍摄一左眼影像； 

一右镜头，拍摄一右眼影像，其中该左镜头及该右镜头具有一镜头间距；以及 

一处理单元，耦接该左镜头及该右镜头，分析该左眼影像与该右眼影像，以分别找出该左眼影像与该右眼影像中相互重叠的一左眼重叠影像及一右眼重叠影像，计算该左眼重叠影像的一色度分量的一第一平均值与一第一标准差，并且计算该右眼重叠影像的该色度分量的一第二平均值与一第二标准差，根据该第一平均值与该第二平均值计算一第三平均值，并且根据该第一标准差与该第二标准差计算一第三标准差， 

其中该处理单元更针对该左眼影像中的每一像素，根据下式调整该像素的该色度分量的一第一色度值，其中该第一色度值为该该像素的该色度分 量的色度值， 

Y1＝(M1–M1_u)×X_std/M1_std+X_u， 

其中Y1为调整后的该第一色度值，M1为该第一色度值，M1_u为该第一平均值，X_std为该第三标准差，M1_std为该第一标准差，并且X_u为该第三平均值； 

其中该处理单元更针对该右眼影像中的每一像素，根据下式调整该像素的该色度分量一第二色度值，其中该第二色度值为该像素的该色度分量的色度值， 

Y2＝(M2–M2_u)×X_std/M2_std+X_u， 

其中Y2为调整后的该第二色度值，M2为该第二色度值，M2_u为该第二平均值，并且M2_std为该第二标准差， 

其中该处理单元更输出调整后的该左眼影像与该右眼影像，以作为一立体影像。