CN107306331A - 图像处理方法及可携式电子装置 - Google Patents

Abstract

本发明公开了一种应用于可携式电子装置的图像处理方法，该可携式电子装置包括处理单元，该方法包括︰取得影像；该处理单元对该影像执行光学中心分析程序，以判断出光学中心点；以及该处理单元根据该光学中心点以及视角信息，对该影像进行影像几何校正程序，以产生校正后影像。

Description

图像处理方法及可携式电子装置

技术领域

本发明涉及一种图像处理方法，尤其涉及一种应用于可携式电子装置的图像处理方法。

背景技术

目前可携式电子装置(例如手机，平板计算机…)具有拍摄影像的镜头，也可透过外接不同的镜头(例如鱼眼镜头)来拍摄影像。外挂式镜头可以是透过夹具固定到可携式电子装置上，外挂镜头与可携式电子装置的镜头之间没有对准，会影响到拍摄出来的影像。因此，现有技术实有改进的必要。

发明内容

因此，本发明的主要目的即在于提供一种图像处理方法及可携式电子装置，以解决上述问题。

本发明提供一种应用于可携式电子装置的图像处理方法，该可携式电子装置包括处理单元，该方法包括︰取得影像；该处理单元对该影像执行光学中心分析程序，以判断出光学中心点；以及该处理单元根据该光学中心点以及视角信息，对该影像进行影像几何校正程序，以产生校正后影像。

本发明另提供一种内储程序的计算机可读取记录媒体，当处理单元加载该程序并执行该程序后，可完成所述方法中的所有步骤。

本发明还提供一种可携式电子装置，包括︰影像撷取单元，用来撷取影像；以及处理单元，用来对该影像执行光学中心分析程序以判断出光学中心点，以及根据该光学中心点以及视角信息对该影像进行影像几何校正程序以产生一校正后影像。

本发明还提供一种应用于可携式电子装置的图像处理方法，该可携式电子装置包括处理单元，该方法包括︰取得第一影像以及第二影像；该处理单元分别对该第一影像以及该第二影像执行光学中心分析程序，以判断出第一光学中心点及第二光学中心点；该处理单元分析出该第一影像以及该第二影像的重叠区域的共同特征信息；该处理单元根据该第一光学中心点以及第一视角信息，对该第一影像进行影像几何校正程序，以产生第一校正后影像，以及该处理单元根据该第二光学中心点以及第二视角信息，对该第二影像进行该影像几何校正程序，以产生第二校正后影像；以及该处理单元根据该重叠区域的共同特征信息，将第一校正后影像与第二校正后影像进行缝合，以产生缝合后影像。

本发明还提供一种内储程序的计算机可读取记录媒体，当处理单元加载该程序并执行该程序后，可完成所述的方法中的所有步骤。

本发明还提供一种可携式电子装置，包括︰第一影像撷取单元，用来撷取第一影像；第二影像撷取单元，用来撷取第二影像；以及处理单元，用来分别对该第一影像以及该第二影像执行光学中心分析程序以判断出第一光学中心点及第二光学中心点，分析出该第一影像以及该第二影像的重叠区域的共同特征信息，根据该第一光学中心点以及第一视角信息对该第一影像进行一影像几何校正程序以产生第一校正后影像，以及根据该第二光学中心点以及第二视角信息对该第二影像进行该影像几何校正程序以产生第二校正后影像；其中，该处理单元根据该重叠区域的共同特征信息将第一校正后影像与第二校正后影像进行缝合以产生缝合后影像。

附图说明

图1为本发明实施例的一可携式电子装置的示意图；

图2为本发明实施例的图像处理方法的流程示意图；

图3为本发明实施例的光学中心点分析的示意图；

图4为本发明实施例一可携式电子装置的另一示意图；

图5为本发明实施例的图像处理方法的另一流程示意图；

图6为本发明实施例的共同特征点分析的示意图。

【符号说明】

10、40可携式电子装置

102、402、404镜头

104、406、408影像撷取单元

106、410处理单元

108、412储存单元

20、50流程

S200、S202、S204、S206、S208、S210、S500、S502、S504、S506、S508、S510、S512、S514步骤

302圆圈

A、B1、B2外接式镜头

OC光学中心点

X0～X9共同特征点

具体实施方式

请参考图1，图1为本发明实施例一可携式电子装置10的示意图。可携式电子装置10包含镜头102、影像撷取单元104、处理单元106以及储存单元108。影像撷取单元104包括影像传感器，例如互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)或感光耦合组件(Charge Coupled Device，CCD)，用来经由镜头102撷取影像。处理单元106用来对影像撷取单元104所撷取到的影像进行处理。可携式电子装置10可以是手机，平板计算机，或其他可携式电子装置。外接式镜头A可以是鱼眼镜头。外接式镜头A可以是以夹具或其他方式固定在可携式电子装置10上，使得外接式镜头A与镜头102重叠。在一般情况下，使用者手动安装外接式镜头A，外接式镜头A的光学中心与镜头102的光学中心之间通常会存在着偏差。该偏差影响到影像撷取单元104获得的影像。

以下以外接式镜头A为鱼眼镜头为例，说明处理单元106的运作方式。请参考图2，图2为本发明实施例的图像处理方法的流程示意图。当外接式镜头A组装于可携式电子装置10后，光线通过外接式镜头A与镜头102并于影像撷取单元104成像，使得影像撷取单元104产生影像IMG。在步骤S202中，处理单元106接收影像IMG。在步骤S204中，处理单元106对影像IMG执行光学中心分析程序以判断出光学中心点(optical center)OC。举例来说，处理单元106根据影像IMG的边缘像素信息来判断出光学中心点OC，其中边缘像素信息有关于影像IMG的中有成像区域跟没有成像区域交接处。如图3所示，若外接式镜头A为鱼眼镜头，影像IMG中的没有成像区域NI(即，影像IMG的的黑色像素区域)与成像区域I的交接处形成圆圈状。在此情况下，可利用边缘侦测的算法找出如图3中的圆圈302，并计算出圆圈302的中心，以做为影像IMG的光学中心点OC。

在其他实施例中，由于某些因素，例如外接式镜头A与镜头102之间的偏差，或者是影像撷取单元的感测范围不够大，形成的影像IMG中，没有成像区域NI与成像区域I的交接处可能没有围绕出一个完整的圆圈。在此情况下，仍可以根据影像IMG中没有成像区域NI与成像区域I的交接处所形成的弧形边缘，计算出几何中心，以做为影像IMG的光学中心点OC的位置。其他根据鱼眼影像计算光学中心的方法，也可以适用于本发明。

在步骤S206中，处理单元106取得视角信息。其中视角信息可为外接式镜头A的焦距或默认值。或者，视角信息可为用户所提供的视角值。例如，用户可透过可携式电子装置10所执行的应用程序来输入视角值以提供予处理单元106。

在步骤S208中，处理单元106根据步骤S204所取得的光学中心点OC以及步骤S206所取得的视角信息对影像IMG进行影像几何校正(geometric correction)程序以产生校正后影像IMG’。其中影像几何校正程序包括对影像IMG的变形作校正，在实施例中，图3中圆形的成像区域I经过影像几何校正程序进行几何校正之后，产生校正后影像IMG’。关于将鱼眼影像校正处理技术领域中既有的技术，在此不再赘述。

上述外接式镜头A与镜头102之间的偏差，在影像IMG上造成的影响包括成像区域I的位置不是在影像IMG的中央。本发明的处理单元可根据影像撷取单元104所撷取的影像判断出光学中心点并据以进行影像几何校正，其中包括改善鱼眼影像至少一部份的变形失真并转换成校正后的影像，可以提供用户较佳的影像质量。

在其他的实施例中，可将步骤S204所取得的光学中心点OC以及步骤S206所取得的视角信息等相关信息储存至储存单元108，以供后续影像进行影像几何校正程序，而不必持续地对每一张影像进行光学中心分析，有助于提高效率。

请参考图4，图4为本发明实施例一可携式电子装置40的示意图。可携式电子装置40包含镜头402、404、影像撷取单元406、408、处理单元410以及储存单元412。在一实施例中，镜头402安装在可携式电子装置40的前侧，镜头404安装在可携式电子装置40的背面。影像撷取单元406用来经由镜头402撷取可携式电子装置40前方的影像。影像撷取单元408用来经由镜头404撷取可携式电子装置40后方的影像。影像撷取单元406、408均包括影像传感器，例如互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)或感光耦合组件(Charge Coupled Device，CCD)，处理单元410用来对影像撷取单元406及影像撷取单元408所撷取到的影像进行处理。可携式电子装置40可以是手机，平板计算机，或其他可携式电子装置。

外接式镜头B1与B2可以是鱼眼镜头。外接式镜头B1与B2可以是以夹具或其他方式固定在便携设备40上，使得外接式镜头B1与镜头402重叠，以及外接式镜头B2与镜头404重叠。在一般情况下，使用者手动安装外接式镜头B1与B2，外接式镜头B1的光学中心与镜头402的光学中心之间通常会存在着偏差，外接式镜头B2的光学中心与镜头404的光学中心之间通常会存在着偏差。

以下以外接式镜头B1与B2为鱼眼镜头为例，说明处理单元410的运作方式，请参考图5，图5为本发明实施例的图像处理方法的另一流程示意图。当外接式镜头B1与外接式镜头B2分别组装于可携式电子装置40后，光线通过外接式镜头B1与镜头402于影像撷取单元406成像，使得影像撷取单元406产生第一影像IMG_1。同样地，光线通过外接式镜头B2与镜头404于影像撷取单元408成像，使得影像撷取单元408产生第二影像IMG_2。于步骤S502中，处理单元410分别自影像撷取单元406及影像撷取单元408接收第一影像IMG_1及第二影像IMG_2。

在步骤S504中，处理单元410分析出第一影像IMG_1及第二影像IMG_2的重叠区域的共同特征信息。举例来说，可利用尺度不变特征转换(Scale-invariant FeatureTransform，SIFT)算法计算出第一影像IMG_1及第二影像IMG_2的重叠区域的共同特征点位置。如图6所示一实施例说明共同特征点，经由外接式镜头B1获得第一影像IMG1(鱼眼影像)，及经由外接式镜头B2获得第二影像IMG2(鱼眼影像)，利用SIFT算法可判断出第一影像IMG_1及第二影像IMG_2的重叠区域的共同特征点为X0～X9。

在步骤S506中，处理单元410对第一影像IMG_1执行光学中心分析程序以判断出第一光学中心点OC_1。同时处理单元410对第二影像IMG_2执行光学中心分析程序以判断出第二光学中心点OC_2。关于光学中心分析程序请参考前述步骤202及图3的说明，在此不再赘述。

在步骤S508中，处理单元410取得相关于第一影像IMG_1的第一视角信息以及相关于第二影像IMG_2的第二视角信息。其中第一视角信息可为外接式镜头B1的焦距或默认值。第二视角信息可为外接式镜头B2的焦距或默认值。或者，第一视角信息及第二视角信息可为默认值或用户所提供的视角值。例如，用户可透过可携式电子装置40所执行的应用程序输入相应的视角值以提供予处理单元406。

在步骤S510中，处理单元410根据步骤S506所取得的第一光学中心点OC_1及步骤S508所取得的第一视角信息对第一影像IMG_1进行影像几何校正程序以产生第一校正后影像IMG_1’。处理单元410根据步骤S506所取得的第二光学中心点OC_2及步骤S508所取得的第二视角信息对第二影像IMG_2进行影像几何校正程序以产生第二校正后影像IMG_2’。

在步骤S512中，处理单元410根据步骤S506所判断出的第一影像IMG_1及第二影像IMG_2的重叠区域的共同特征信息产生校正参数对第一校正后影像IMG_1’与第二校正后影像IMG_2’进行影像缝合程序以产生缝合后影像IMG_S。

在其他的实施例中，处理单元410将步骤S504的校正参数、步骤S506所取得的第一光学中心点OC_1及第二光学中心点OC_2与步骤S508所取得的第一视角信息及第二视角信息等相关信息储存至储存单元412，以供后续影像进行影像几何校正程序与影像缝合程序。

图5所示的实施例，可以应用于将可携式电子装置40前方的影像与后方的影像缝成360度的环景影像。或者，将前后镜头所录制的影片实时缝成360度的环景影片。

值得注意的是，上述实施例仅为用来说明本发明的应用，并非本发明的限制条件，本领域具通常知识者当可根据系统需求做适当的变化。举例来说，外接式镜头A、B1与B2也可以是广角镜头或其他种类的外接式镜头。可携式电子装置10、40可以是智能型手机、平板计算机、穿戴式装置、笔记本电脑、相机、随身影音播放器或是任何具有相机功能的电子装置。此外，处理单元106、410可包括一个或多个处理器来处理图2或图5所示的步骤。例如，处理单元可包括一个处理器来处理光学中心分析程序与影像几何校正程序，或是处理单元可包括两个处理器分别处理光学中心分析程序与影像几何校正程序。

另一方面，本发明实施例提供出一种内储程序的计算机可读取记录媒体，当处理单元加载该程序并执行后，可完成前述各实施例所述的方法。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，均应属本发明的涵盖范围。

Claims (22)

1.一种应用于可携式电子装置的图像处理方法，其特征在于，该可携式电子装置包括处理单元，该方法包括︰

取得影像；

该处理单元对该影像执行光学中心分析程序，以判断出光学中心点；以及

该处理单元根据该光学中心点以及视角信息，对该影像进行影像几何校正程序，以产生校正后影像。

2.如权利要求1所述的图像处理方法，其特征在于，该处理单元对该影像执行该光学中心分析程序以判断出该光学中心点的步骤包括︰

该处理单元根据该影像的边缘像素信息，判断出该光学中心点。

3.如权利要求1所述的图像处理方法，其特征在于，该视角信息为用于撷取该影像的外接式镜头的焦距、由用户所提供的视角值或默认值。

4.如权利要求1所述的图像处理方法，其特征在于，还包含：

储存该光学中心点以及该视角信息，以供后续影像进行影像几何校正程序。

5.如权利要求1所述的图像处理方法，其特征在于，该影像为鱼眼影像。

6.一种内储程序的计算机可读取记录媒体，其特征在于，当处理单元加载该程序并执行后，可完成权利要求1至5中任意一项所述的方法中的所有步骤。

7.一种可携式电子装置，其特征在于，包括︰

影像撷取单元，用来撷取影像；以及

处理单元，用来对该影像执行光学中心分析程序以判断出光学中心点，以及根据该光学中心点以及视角信息对该影像进行影像几何校正程序以产生校正后影像。

8.如权利要求7所述的可携式电子装置，其特征在于，该处理单元根据该影像的边缘像素信息判断出该光学中心点。

9.如权利要求7所述的可携式电子装置，其特征在于，该视角信息为外接式镜头的焦距、由用户所提供的视角值或默认值。

10.如权利要求7所述的可携式电子装置，其特征在于，还包含：

储存单元，用来储存该光学中心点以及该视角信息，以供后续影像进行影像几何校正程序。

11.如权利要求7所述的可携式电子装置，其特征在于，该影像为鱼眼影像。

12.一种应用于可携式电子装置的图像处理方法，其特征在于，该可携式电子装置包括处理单元，该方法包括︰

取得第一影像以及第二影像；

该处理单元分别对该第一影像以及该第二影像执行光学中心分析程序，以判断出第一光学中心点及第二光学中心点；

该处理单元分析出该第一影像以及该第二影像的重叠区域的共同特征信息；

该处理单元根据该第一光学中心点以及第一视角信息，对该第一影像进行影像几何校正程序，以产生第一校正后影像，以及该处理单元根据该第二光学中心点以及第二视角信息，对该第二影像进行该影像几何校正程序，以产生第二校正后影像；以及

该处理单元根据该重叠区域的共同特征信息，将第一校正后影像与第二校正后影像进行缝合，以产生缝合后影像。

13.如权利要求12所述的图像处理方法，其特征在于，该处理单元分别对该第一影像以及该第二影像执行该光学中心分析程序以判断出该第一光学中心点及该第二光学中心点的步骤包括︰

该处理单元根据该第一影像的边缘像素信息，判断出该第一光学中心点；以及

该处理单元根据该第二影像的边缘像素信息，判断出该第二光学中心点。

14.如权利要求12所述的图像处理方法，其特征在于，该第一视角信息为第一外接式镜头的焦距、由使用者所提供的第一视角值或第一默认值，以及该第二视角信息为一第二外接式镜头的焦距、由该使用者所提供的第二视角值或第二默认值。

15.如权利要求12所述的图像处理方法，其特征在于，还包含：

储存该第一光学中心点、该第二光学中心点、该第一视角信息以及该第二视角信息，以供后续影像进行影像几何校正程序，以及储存根据该重叠区域的共同特征信息所产生的校正参数，以供后续影像进行缝合程序。

16.如权利要求12所述的图像处理方法，其特征在于，该第一影像与该第二影像为鱼眼影像。

17.一种内储程序的计算机可读取记录媒体，其特征在于，当处理单元加载该程序并执行后，可完成权利要求12至16中任意一项所述的方法中的所有步骤。

18.一种可携式电子装置，其特征在于，包括︰

第一影像撷取单元，用来撷取第一影像；

第二影像撷取单元，用来撷取第二影像；以及

处理单元，用来分别对该第一影像以及该第二影像执行光学中心分析程序以判断出第一光学中心点及第二光学中心点，分析出该第一影像以及该第二影像的重叠区域的共同特征信息，根据该第一光学中心点以及第一视角信息对该第一影像进行影像几何校正程序以产生第一校正后影像，以及根据该第二光学中心点以及第二视角信息对该第二影像进行该影像几何校正程序以产生第二校正后影像；其中，该处理单元根据该重叠区域的共同特征信息将第一校正后影像与第二校正后影像进行缝合以产生缝合后影像。

19.如权利要求18所述的可携式电子装置，其特征在于，该处理单元根据该第一影像的边缘像素信息判断出该第一光学中心点，以及该处理单元根据该第二影像的边缘像素信息判断出该第二光学中心点。

20.如权利要求18所述的可携式电子装置，其特征在于，该第一视角信息为第一外接式镜头的焦距、由使用者所提供的第一视角值或第一默认值，以及该第二视角信息为第二外接式镜头的焦距、由该使用者所提供的第二视角值或第二默认值。

21.如权利要求18所述的可携式电子装置，其特征在于，还包含：

储存单元，用来储存该第一光学中心点、该第二光学中心点、该第一视角信息以及该第二视角信息，以供后续影像进行影像几何校正程序，以及储存根据该重叠区域的共同特征信息所产生的校正参数，以供后续影像进行缝合程序。

22.如权利要求25所述的可携式电子装置，其特征在于，该第一影像与该第二影像为鱼眼影像。