CN108401133A - 环景影像的影像缝合方法 - Google Patents

Abstract

一种环景影像的影像缝合方法，包括下列步骤：由车体上的多个影像撷取单元分别撷取外部影像；取得相邻的两个影像撷取单元于相邻方向的相同视角上的交叉点；连接多个交叉点以产生配置曲线；选择配置曲线上的任意点做为标靶位置；依据标靶位置建立标靶；及，藉由标靶对相邻的两个影像撷取单元所撷取的外部影像进行缝合以产生缝合影像。通过本发明，相邻的两个影像撷取单元于标靶位置上的影像的形变较为一致，可降低缝合程序前的影像前处理的困难度，并使缝合后的影像更为真实与自然。

Description

环景影像的影像缝合方法

技术领域

本发明涉及环景影像，尤其涉及一种环景影像的影像缝合方法。

背景技术

部分车辆中配置有环景影像系统(Around View Monitor System,AVMS)，可以提供并显示环景影像给驾驶进行观看，以加强行车安全。

具体地，上述车辆上一般配置有多个相机镜头，该环景影像系统是取得各个相机镜头所分别撷取的影像后，再将该多个影像进行缝合以产生缝合影像。藉此，驾驶可于该缝合影像上直接掌握该车辆本身相对于四周环境的相对关系。于相关技术中，该缝合影像多为一鸟瞰影像。

一般来说，该环景影像系统是将相邻的两个相机镜头所取得的影像进行缝合，其中缝合处为位于两个影像的重叠区域中的任意位置(即，一标靶位置)。并且，为了使缝合后的影像清楚，该环景影像系统在缝合前一般还会先对要缝合的影像执行影像前处理。

然而，该标靶位置于相邻的两个相机镜头中的成像位置与角度并不相同，因此该标靶位置相对于两个相机镜头的影像分辨率及形变(Distortion)程度也会不同。若要进行缝合的两个影像于该标靶位置的分辨率与形变差异较大，则该环景影像系统的处理IC于执行前述影像前处理时的工作量会非常大，进而影响该环景影像系统的整体效能。

再者，若要进行缝合的两个影像的分辨率/形变差异太大，即使执行了前述影像前处理也无法完全消除分辨率与形变问题。如此一来，将使得影像的缝合处有影像损失而造成缝合影像的品质不佳与不自然，进而影响驾驶的观看。

发明内容

本发明的主要目的，在于提供一种环景影像的影像缝合方法，可降低缝合程序前的影像前处理的困难度，并使缝合后的影像更为真实与自然。

为了达成上述的目的，本发明的影像缝合方法运用于一车体上的一影像处理系统，其中该影像处理系统具有多个影像撷取单元，并且该影像缝合方法包括：

a)控制该多个影像撷取单元分别撷取外部影像；

b)取得相邻的两个该影像撷取单元于相邻方向的多个相同视角上的一交叉点；

c)连接多个该交叉点以产生一配置曲线；

d)选择该配置曲线上的任意点做为一标靶位置；

e)依据该标靶位置建立一标靶；及

f)藉由该标靶对相邻的两个该影像撷取单元所撷取的该外部影像进行缝合以产生一缝合影像。

如上所述，其中更包括一步骤g：于该影像处理系统的一显示单元上显示该缝合影像。

如上所述，其中该多个影像撷取单元的水平视角为50度至250度。

如上所述，其中该多个影像撷取单元的数量为三个，该三个影像撷取单元分别设置于该车体的后方中心、左侧中心及右侧中心，或是分别设置于该车体的后方中心、左侧后照镜及右侧后照镜，并且该三个影像撷取单元位于相同水平高度。

如上所述，其中该多个影像撷取单元的数量为四个，该四个影像撷取单元分别设置于该车体的前方中心、左侧中心、右侧中心及后方中心，或是分别设置于该车体的后方中心、左侧后照镜、右侧后照镜及后方中心，并且该四个影像撷取单元位于相同水平高度。

如上所述，其中该影像处理系统将该车体的前方中心的该影像撷取单元的位置座标设定为(0,0)，并且步骤b是取得并记录该多个交叉点的座标。

如上所述，其中该标靶为三角形标靶、四角形标靶、五角形标靶、圆形标靶或不规则形标靶。

如上所述，其中该标靶的一中心位置与该配置曲线间的距离不大于0.5米。

如上所述，其中该步骤b包括下列步骤：

b1)取得一第一影像撷取单元于相邻方向上的一特定角度的一视角线；

b2)取得与该第一影像撷取单元相邻的一第二影像撷取单元于相邻方向上的相同角度的另一视角线；

b3)判断该二视角线是否具有一交叉点；及

b4)于该二视角线具有该交叉点时记录该交叉点。

如上所述，其中该步骤b更包括下列步骤：

b5)步骤b4后，判断该交叉点的记录程序是否完成；及

b6)于该交叉点的记录程序未完成时调整该特定角度，并依据调整后的该特定角度再次执行步骤b1至步骤b4。

如上所述，其中步骤b6是以固定度数逐次调整该特定角度。

如上所述，其中步骤b6是以3度或5度为单位逐次调整该特定角度。

本发明相较于相关技术，可令相邻的两个影像撷取单元于标靶位置上的影像的形变(distortion)较为一致。藉此，可以降低缝合程序前的影像前处理的困难度，并使缝合后的影像更为真实与自然。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明的第一具体实施例的影像处理系统方框图；

图2为本发明的第一具体实施例的环景影像示意图；

图3为本发明的第一具体实施例的影像缝合流程图；

图4为本发明的第一具体实施例的标靶位置示意图；

图5为本发明的第一具体实施例的交叉点记录流程图；

图6为本发明的第二具体实施例的环景影像示意图；

图7为本发明的第三具体实施例的环景影像示意图。

其中，附图标记：

1…影像处理系统；

10…车体；

11…影像撷取单元；

111…第一影像撷取单元；

112…第二影像撷取单元；

113…第三影像撷取单元；

114…第四影像撷取单元；

12…影像处理单元；

13…显示单元；

2…标靶；

21…第一标靶；

22…第二标靶；

23…第三标靶；

24…第四标靶；

3、4…车体；

31、32、33…影像撷取单元；

41、42、43、44、45、46…影像撷取单元；

C1…配置曲线；

L1、L2…视角线；

P1…第一交叉点；

P2…第二交叉点；

P3…第三交叉点；

P4…第四交叉点；

P5…第五交叉点；

P6…第六交叉点；

P7…第七交叉点；

S1…前方区域；

S2…右边区域；

S3…后方区域；

S4…左边区域；

S12…第一重叠区域；

S23…第二重叠区域；

S34…第三重叠区域；

S41…第四重叠区域；

S10～S22…缝合步骤；

S120～S130…交叉点记录步骤。

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

参阅图1，本发明的第一具体实施例的影像处理系统方框图。本发明揭露一种环景影像的影像缝合方法(下面简称为该方法)，该方法运用于如图1所示的一影像处理系统1。

具体地，该影像处理系统1设置于一车体(如图2所示的车体10)中，并且该影像处理系统1主要包括多个影像撷取单元11、一影像处理单元12及一显示单元13。该多个影像撷取单元11可为数位或类比讯号输出型，用以撷取所在区域的外部影像。该影像处理单元12电性连接该多个影像撷取单元11，以分别对该多个影像撷取单元11所撷取的外部影像进行影像处理。并且，于一实施例中，该影像处理单元12中记录有一电脑应用程式，该电脑应用程式被执行后，可执行本发明的该方法的各步骤。

该显示单元13电性连接该影像处理单元12，用以显示该影像处理单元12处理后的影像，以供该车体10中的驾驶观看。

于本发明的一实施例中，该影像处理系统1主要可于该车体10的四周围的特定位置上建立多个标靶2，该多个影像撷取单元11于取得了上述外部影像后，可依据该些标靶2的位置对该些外部影像进行缝合，以产生该车体10周围的一环景影像(Around ViewMonitor image,AVM image)。如此一来，驾驶可于该显示单元13上直接观看该环景影像，藉此掌握该车体10本身相对于四周环境的相对关系。

本发明的主要技术方案，在于通过该方法对建立该些标靶2的该特定位置进行计算与记录，藉此使得缝合后的该环景影像于缝合处具有较小的形变，并且使得该环景影像较为真实且自然。

参阅图2，为本发明的第一具体实施例的环景影像示意图。于图2的实施例中，该多个影像撷取单元11的数量为四个，该四个影像撷取单元11可以为鱼眼镜头，并且该四个影像撷取单元11的水平视角至少为180度。于另一实施例中，该四个影像撷取单元11的水平视角为50度至250度，但不加以限定。

具体地，于本实施例中，该影像处理系统1具有一第一影像撷取单元111、一第二影像撷取单元112、一第三影像撷取单元113及一第四影像撷取单元114，其中该第一影像撷取单元111设置于该车体10的前方中心，该第二影像撷取单元112设置于该车体10的右侧中心，该第三影像撷取单元113设置于该车体10的后方中心，该第四影像撷取单元114设置于该车体10的左侧中心。其中，该四个影像撷取单元11较佳可位于相同的水平高度，但不加以限定。

于另一实施例中，该第二影像撷取单元112亦可设置于该车体10的右侧后照镜上，而该第四影像撷取单元114亦可设置于该车体10的左侧后照镜上，并且该四个影像撷取单元11位于相同的水平高度。

于图2的实施例中，该第一影像撷取单元111的水平视角为180度，并且可涵盖一前方区域S1；该第二影像撷取单元112的水平视角为180度，并且可涵盖一右边区域S2；该第三影像撷取单元113的水平视角为180度，并且可涵盖一后方区域S3；该第四影像撷取单元114的水平视角为180度，并且可涵盖一左边区域S4。

如上所述，由于该四影像撷取单元11的水平视角皆为180度，因此，该第一影像撷取单元111与该第二影像撷取单元112的视角会具有一第一重叠区域S12，该第二影像撷取单元112与该第三影像撷取单元113的视角会具有一第二重叠区域S23，该第三影像撷取单元113与该第四影像撷取单元114的视角会具有一第三重叠区域S34，而该第四影像撷取单元114与该第一影像撷取单元111的视角会具有一第四重叠区域S41。

于一实施例中，该影像处理系统1会藉由该方法进行计算后，建立一第一标靶21，并将该第一标靶21的标靶位置设定在该第一重叠区域S12中的一第一特定位置。其中，该第一标靶21用以提供该第一影像撷取单元111撷取的外部影像及该第二影像撷取单元112撷取的外部影像进行缝合的缝合位置。

该影像处理系统1还建立一第二标靶22，并将该第二标靶22的标靶位置设定在该第二重叠区域S23中的一第二特定位置。其中，该第二标靶22用以提供该第二影像撷取单元112撷取的外部影像及该第三影像撷取单元113撷取的外部影像进行缝合的缝合位置。

该影像处理系统1还建立一第三标靶23，并将该第三标靶23的标靶位置设定在该第三重叠区域S34中的一第三特定位置。其中，该第三标靶23用以提供该第三影像撷取单元113撷取的外部影像及该第四影像撷取单元114撷取的外部影像进行缝合的缝合位置。

该影像处理系统1还建立一第四标靶24，并将该第四标靶24的标靶位置设定在该第四重叠区域S41中的一第四特定位置。其中，该第四标靶24用以提供该第四影像撷取单元114撷取的外部影像及该第一影像撷取单元111撷取的外部影像进行缝合的缝合位置。

于图2的实施例中，该些标靶21-24是以三角形标靶为例，以令该些影像撷取单元11可识别该些三角形标靶上的三个点，并以该三个点为基础进行影像缝合程序。惟，于其他实施例中，该些标靶21-24亦可为具有四个点的四角形标靶、具有五个点的五角形标靶、具有多个点的不规则形标靶或圆形标靶等，不加以限定。

具体地，为了令要缝合的两张外部影像于缝合处的分辨率及形变能够一致，以降低影像前处理的困难度，并令缝合后的影像较清楚，本实施例中，该方法主要是计算相邻的两个影像撷取单元于相同视角上的交叉点，并以该交叉点做为上述的该第一特定位置、该第二特定位置、该第三特定位置及该第四特定位置(即，该些缝合位置)。

请同时参阅图3，为本发明的第一具体实施例的影像缝合流程图。要产生上述的环景影像，该影像处理系统1需籍由该方法将所有影像撷取单元11所撷取的外部影像皆进行缝合。为方便说明，下面实施例将以对相邻的两个影像撷取单元所撷取的两张外部影像进行缝合来举例说明。

如图3所示，要产生环景影像，该影像处理系统1首先控制其上的该多个影像撷取单元11分别撷取外部影像(步骤S10)。接着，该影像处理系统1取得相邻的两个该影像撷取单元11于相邻方向的多个相同视角上的一交叉点(步骤S12)。以图2的该第一影像撷取单元111与该第二影像撷取单元112为例，该第一影像撷取单元111相对于该第二影像撷取单元112的相邻方向为右边，而该第二影像撷取单元112相对于该第一影像撷取单元111的相邻方向则为左边。

再者，如前文中所述，该些影像撷取单元11可具有如50度至250度的水平视角。并且，于本实施例中，该影像处理系统1上的该多个影像撷取单元11可为相同规格的影像撷取单元(即，该多个影像撷取单元11可以具有相同的分辨率及视角范围)。该步骤S12中，该影像处理系统1主要是在相邻的两个该影像撷取单元11的视角范围中，找寻多个相同视角(例如10度、20度、30度等)上的交叉点(容后详述)。于一实施例中，该影像处理系统1可直接以寻得的多个交叉点的其中一点做为一标靶位置。具体地，该影像处理系统1是于该标靶位置上建立上述标靶，也就是说该标靶位置即为上述的该特定位置或该缝合位置。

于另一实施例中，该方法还可进一步连接寻得的多个该交叉点，以产生一配置曲线(步骤S14)，并且再选择该配置曲线上的任意点做为该标靶位置(步骤S16)。进而，再依据该标靶位置来建立该标靶(步骤S18)。

请同时参阅图4，为本发明的第一具体实施例的标靶位置示意图。于图4的实施例中，该影像处理系统1是依序找寻该第一影像撷取单元111与该第二影像撷取单元112于5度视角上的一第一交叉点P1、于10度视角上的一第二交叉点P2、于15度视角上的一第三交叉点P3、于20度视角上的一第四交叉点P4、于25度视角上的一第五交叉点P5、于30度视角上的一第六交叉点P6、以及于35度视角上的一第七交叉点P7。

于第一实施例中，该影像处理系统1可在取得上述七个交叉点P1-P7后，直接以该七个交叉点P1-P7的其中一点做为该标靶位置。于第二实施例中，该影像处理系统1是先连接该七个交叉点P1-P7以产生一配置曲线C1后，再以该配置曲线C1上的任意一点做为该标靶位置。具体地，于该第一实施例中，该标靶位置的候选数量等于该交叉点的数量；于该第二实施例中，该标靶位置的候选数量为无限多个。

值得一提的是，为了令缝合后的影像能有较适当的分辨率，于一实施例中，该些标靶2的一中心位置(即，该标靶位置的中心位置)与该配置曲线C1间的距离不大于0.5米。藉此，可避免该标靶位置因为距离该配置曲线C1太远而使得缝合后的影像于接合处的品质不佳及不自然。上述0.5米仅为一个具体实施例，该影像处理系统1可视该些影像撷取单元11的分辨率及成像能力而调整该距离，不应以此为限。

于一实施例中，该影像处理系统1可于配置该些影像撷取单元11时，将该车体10的前方中心的该第一影像撷取单元111的位置座标设定为(0,0)。于前述图3的步骤S12中，该方法是找寻并记录该多个交叉点的座标，并选择该些座标中的任一座标做为该标靶位置。

再次参阅图3。于该步骤S18后，该影像处理系统1已为相邻的两个该影像撷取单元11建立了该标靶，接着，该影像处理系统1可以藉由该标靶对相邻的两个该影像撷取单元11所撷取的外部影像进行缝合，以产生一缝合影像(步骤S20)。具体地，若该车体10上仅配置了两个该影像撷取单元11，则该缝合影像即为前述的该环景影像；若该车体10上配置了两个以上的该影像撷取单元11，则该缝合影像即为部分的该环景影像(例如当该影像撷取单元11的数量为三个时，需对三张外部影像进行两次的缝合程序，以产生该环景影像)。

该缝合影像产生完毕后，该影像处理系统1可进一步于其上的该显示单元13显示该缝合影像(步骤S22)，以供该车体10的驾驶观看。再者，当该影像撷取单元11的数量为两个以上时，该影像处理系统1亦可待一完整的环景影像产生后，再于该显示单元13上显示该环景影像，不加以限定。

请同时参阅图4及图5，其中图5为本发明的第一具体实施例的交叉点记录流程图，用以对图3中的该步骤12做进一步的详细说明。

如图5所示，于一实施例中，该影像处理系统1要找寻前述的交叉点时，是先取得一第一影像撷取单元(如图2所示的第一影像撷取单元111)于相邻方向的一特定角度上的一视角线(步骤S120)，接着，再取得与该第一影像撷取单元相邻的一第二影像撷取单元(如图2所示的第一影像撷取单元112)于相邻方向的相同角度上的另一视角线(步骤S122)。

该步骤S122后，该影像处理系统1判断该二视角线是否具有一交叉点(步骤S124)。若该二视角线没有交叉点，则该影像处理系统1不做任何处理；若该二视角线具有交叉点，则该影像处理系统1记录该交叉点(步骤S126)。具体地，该影像处理系统1记录该交叉点的座标。

具体地，由于该标靶位置(即，缝合位置)是从该影像处理系统1所记录的一或多个交叉点中所选出，且该标靶位置相对于相邻的两个影像撷取单元的角度及分辨率皆相同或相近，因此该二影像撷取单元撷取的外部影像于该标靶位置上的形变会相当近似。如此一来，依据该标靶位置来对两张外部影像进行缝合，则缝合后的影像会较为清楚、真实且自然。

接着，该影像处理系统1接着判断该交叉点的记录程序是否完成(步骤S128)。于一实施例中，该影像处理系统1可预设该交叉点的一门槛数量，并且于该步骤S126中记录的该交叉点数量大于该门槛数量时，判断该记录程序完成。于另一实施例中，该影像处理系统1还可预设该特定角度的一最大值，并且于调整后的该特定角度将大于该最大值时判断该记录程序完成。

若该影像处理系统1判断该交叉点的记录程序尚未完成，则该影像处理系统1调整上述该特定角度(步骤S130)，并且依据调整后的该特定角度再次执行步骤S120至步骤S126，以记录相邻的两个该影像撷取单元于其他视角上的交叉点。

同时参阅图4，图4揭露了该第一影像撷取单元111的多个视角线L1，该些视角线L1分别对应至各个不同的特定角度。并且，图4也揭露了该第二影像撷取单元112的多个视角线L2，该些视角线L2也分别对应至各个不同的特定角度，并且该些特定角度相同于该些视角线L1的角度。

具体地，于图5的步骤S130中，该影像处理系统1是以固定度数来逐次调整该特定角度。举例来说，该影像处理系统1可以3度或5度为单位来逐次调整该特定角度，并找寻该交叉点。

以5度为例，于第一次找寻时，该影像处理系统1可取得该第一影像撷取单元111于5度的视角线L1及第二影像撷取单元111于5度的视角线L2，并取得该二视角线L1、L2的该交叉点P1。于第二次找寻时，该影像处理系统1可取得该第一影像撷取单元111于10度的视角线L1及第二影像撷取单元111于10度的视角线L2，并取得该二视角线L1、L2的该交叉点P2。于第三次找寻时，该影像处理系统1可取得该第一影像撷取单元111于15度的视角线L1及第二影像撷取单元111于15度的视角线L2，并取得该二视角线L1、L2的该交叉点P3，以此类推。

值得一提的是，经申请人实验发现，当上述该些标靶2放置于该特定角度位于10度至35度间时，缝合后的影像会具有较佳的效果。然而，上述10度至35度仅为一具体实施例，该特定角度的范围亦可为20度至70度不等，不应以此为限。

参阅图6，为本发明的第二具体实施例的环景影像示意图。图6的实施例揭露了另一车体3，该车体3上配置有三个影像撷取单元31-33，其中该三个影像撷取单元31-33分别被设置于该车体3的右侧后照镜、后方中心及左侧后照镜，并且该三个影像撷取单元31-33位于相同水平高度。

于另一实施例中，该三个影像撷取单元31-33还可分别被设置于该车体3的右侧中心、后方中心及左侧中心，并且位于相同水平高度，不加以限定。

参阅图7，为本发明的第三具体实施例的环景影像示意图。图7的实施例揭露了又一车体4，该车体4上配置有六个影像撷取单元41-46，其中该六个影像撷取单元41-46分别被设置于该车体3的前方中心、右侧中心、后方中心、左侧中心、右侧后照镜及左侧后照镜，并且该六个影像撷取单元41-46位于相同水平高度。

具体地，上述实施例皆仅为本发明的具体实施例，该些车体实可视实际所需，或视该影像处理系统1的运算能力而定，选择不同数量的影像撷取单元并设置于该些车体上的不同位置，不应加以限定。

综上所述，通过本发明的该方法，可令相邻的两个影像撷取单元于缝合位置上的形变较为一致，以降低影像处理系统执行影像前处理的困难度，并使缝合后的影像更为真实与自然。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (12)

1.一种环景影像的影像缝合方法，运用于一车体上的一影像处理系统，该影像处理系统具有多个影像撷取单元，其特征在于，该影像缝合方法包括：

a)控制该多个影像撷取单元分别撷取外部影像；

b)取得相邻的两个该影像撷取单元于相邻方向的多个相同视角上的一交叉点；

c)连接多个该交叉点以产生一配置曲线；

d)选择该配置曲线上的任意点做为一标靶位置；

e)依据该标靶位置建立一标靶；及

f)藉由该标靶对相邻的两个该影像撷取单元所撷取的该外部影像进行缝合以产生一缝合影像。

2.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，更包括一步骤g：于该影像处理系统的一显示单元上显示该缝合影像。

3.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，该多个影像撷取单元的水平视角为50度至250度。

4.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，该多个影像撷取单元的数量为三个，该三个影像撷取单元分别设置于该车体的后方中心、左侧中心及右侧中心，或是分别设置于该车体的后方中心、左侧后照镜及右侧后照镜，并且该三个影像撷取单元位于相同水平高度。

5.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，该多个影像撷取单元的数量为四个，该四个影像撷取单元分别设置于该车体的前方中心、左侧中心、右侧中心及后方中心，或是分别设置于该车体的后方中心、左侧后照镜、右侧后照镜及后方中心，并且该四个影像撷取单元位于相同水平高度。

6.根据权利要求5所述的环景影像的影像缝合方法，其特征在于，该影像处理系统将该车体的前方中心的该影像撷取单元的位置座标设定为(0,0)，并且步骤b)是取得并记录该多个交叉点的座标。

7.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，该标靶为三角形标靶、四角形标靶、五角形标靶、圆形标靶或不规则形标靶。

8.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，该标靶的一中心位置与该配置曲线间的距离不大于0.5米。

9.根据权利要求1所述的环景影像的影像缝合方法，其特征在于，该步骤b)包括下列步骤：

b1)取得一第一影像撷取单元于相邻方向上的一特定角度的一视角线；

b2)取得与该第一影像撷取单元相邻的一第二影像撷取单元于相邻方向上的相同角度的另一视角线；

b3)判断该二视角线是否具有一交叉点；及

b4)于该二视角线具有该交叉点时记录该交叉点。

10.根据权利要求9所述的环景影像的影像缝合方法，其特征在于，该步骤b)更包括下列步骤：

b5)步骤b4)后，判断该交叉点的记录程序是否完成；及

b6)于该交叉点的记录程序未完成时调整该特定角度，并依据调整后的该特定角度再次执行步骤b1)至步骤b4)。

11.根据权利要求10所述的环景影像的影像缝合方法，其特征在于，步骤b6)是以固定度数逐次调整该特定角度。

12.根据权利要求11所述的环景影像的影像缝合方法，其特征在于，步骤b6)是以3度或5度为单位逐次调整该特定角度。