[go: up one dir, main page]

CN106603937A - 影像缝合方法与影像缝合装置 - Google Patents

影像缝合方法与影像缝合装置 Download PDF

Info

Publication number
CN106603937A
CN106603937A CN201510779927.4A CN201510779927A CN106603937A CN 106603937 A CN106603937 A CN 106603937A CN 201510779927 A CN201510779927 A CN 201510779927A CN 106603937 A CN106603937 A CN 106603937A
Authority
CN
China
Prior art keywords
image
information
unit
feature information
character information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510779927.4A
Other languages
English (en)
Other versions
CN106603937B (zh
Inventor
张津魁
吕尚杰
邱威尧
江博通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN106603937A publication Critical patent/CN106603937A/zh
Application granted granted Critical
Publication of CN106603937B publication Critical patent/CN106603937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/027Test patterns and calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明披露一种影像缝合方法与影像缝合装置。该影像缝合方法包括以下步骤。提供校正单元,其中校正单元的校正装置包含多个已知特征信息。拍摄校正装置的影像。建立转换关系式。依据转换关系式分析影像的位置关系。组合多个影像。

Description

影像缝合方法与影像缝合装置
技术领域
本发明涉及一种影像处理技术,且特别是涉及一种利用多拍摄技术且无需重叠影像的影像缝合方法与影像缝合装置。
背景技术
近年来,机器视觉检测方法广泛地应用于工业自动化中,随着加工能力的提升,而检测精度的要求程度也愈来愈高。在同样范围检测视区下,一般而言为提高精度的方法多是更换较高像素的拍摄装置或增加拍摄装置的个数,或者是,缩小视区、牺牲可视范围,采用更高倍率的镜头以取得较高的解析。如此一来,虽可能提高精度但却无法将欲检测工件或检测范围完整的纳入镜头视野中,导致无法进行检测。
此外,已知技术往往是用影像上相关信息去合成,举例而言,找出两影像的特征信息,并就重叠部分加以组合。然而在原料检测中,即在一检测区中铺满食材中酱料、馅料,而挑出有问题的杂质、碎屑,而这些酱料、馅料彼此间尺寸大小差异不大,故在萃取影像的特征信息较为不明显,此举不仅对于后续进行影像迭合后,产生的影像精度也不高,亦造成检测上的困难度。
发明内容
本发明提供一种影像缝合方法,此方法在拍摄区间无需重叠,而能扩大检测影像的视野,并达到高精度的影像缝合的目的。
本发明提供一种影像缝合装置,此装置利用一校正单元建立对象空间与影像平面的对应关系,进而建立各影像平面间的对应关系,而缝合各个影像,故无需重叠各影像而能扩大检测影像的视野,且也能提升检测系统的能力。
本发明的一实施例提出一种影像缝合方法,影像缝合方法包括以下步骤。提供一校正单元,其中校正单元包含多个校正装置,多个校正装置分别对应于一待检测对象的不同位置上,各校正装置包含多个已知特征信息。拍摄各校正装置的一影像,其中各影像包含多个影像特征信息,各影像的多个影像特征信息对应于各校正装置的多个已知特征信息。建立一转换关系式,其中转换关系式为依据各校正装置中多个已知特征信息与对应影像中该多个影像特征信息所建立。依据转换关系式分析各影像的位置关系。组合多个影像。
本发明的一实施例提出一种影像缝合装置,影像缝合装置包括一校正单元、多个影像撷取单元以及一处理单元。校正单元包含多个校正装置,多个校正装置分别设置于一待检测对象的不同位置上,各校正装置包含多个已知特征信息。各影像撷取单元用以撷取对应校正装置的一影像。处理单元耦接于影像撷取单元,处理单元接收多个影像撷取单元所撷取的影像,各影像包含多个影像特征信息,各影像的多个影像特征信息对应于各校正装置的多个已知特征信息,处理单元依据各校正装置中多个已知特征信息与对应影像中该多个影像特征信息,建立一转换关系式,且处理单元依据转换关系式,以分析各影像撷取单元于待检测对象的位置关系,并组合各影像撷取单元的影像。
基于上述,本发明的影像缝合方法与影像缝合装置中,对于校正单元中各个校正装置上已知特征信息进行拍摄,进而建立校正装置与影像的对应转换关系式,接着,通过此转换关系式,可建立各个影像撷取单元之间的对应位置关系,进而依据此影像对应位置关系而将各个影像进行组合,故无需重叠各影像而能够扩大检测影像的视野,并达到高精密的影像缝合的目的。
附图说明
图1为本发明的影像缝合方法的流程图。
图2为本发明的影像缝合方法的进一步的流程图。
图3为本发明的影像缝合方法的进一步的流程图。
图4为本发明的影像缝合装置的示意图。
图5为本发明的校正装置一实施例的示意图。
图6为本发明的影像缝合装置一使用状态的示意图。
图7为本发明的转换关系式的坐标示意图。
图8A为本发明的影像缝合方法实际一应用例的原始拍摄结果的示意图。
图8B为本发明的影像缝合方法实际一应用例的缝合结果的示意图。
图8C为图8B的局部放大图。
附图符号说明
100 影像缝合装置
110 校正单元
112 校正装置
112a 第一校正装置
112b 第二校正装置
112c 第三校正装置
114 已知特征信息
116 标尺元件
120 影像撷取单元
122 第一影像撷取单元
124 第二影像撷取单元
126 第三影像撷取单元
130 处理单元
50 待检测对象
60 目标物空间坐标系
70 影像空间坐标系
12、24、36 影像
14、16、22、26、32、34 虚拟影像
12a~12c 影像特征信息
14a、16a 虚拟点特征信息
24a~24c 影像特征信息
22a、26a 虚拟点特征信息
36a 影像特征信息
32a、36a 虚拟点特征信息
A 目标物
d 间隔
G 旋转影像平面
L 中心
f 焦距
xA、yA、zA 目标物在目标物空间坐标系的坐标值
XL、YL、ZL 目标物空间坐标系的基准坐标值
xa、ya 相机在旋转影像平面的成像位置
za 相机的中心距离旋转影像平面的距离
x0、y0 影像的基准坐标值
E 区域
S100 影像缝合方法
S110~S160 步骤
S122~S124 步骤
S124a、S124b 步骤
S142~S144 步骤
具体实施方式
以下谨结合附图和实施例,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此限制本发明的保护范围。
图1为本发明的影像缝合方法的流程图。请参考图1。影像缝合方法S100包括以下步骤S110~S160。
影像缝合方法S100首先以步骤S110提供一校正单元(calibrationunit)110。
如图4所示,图4为本发明的影像缝合装置的示意图。影像缝合装置100包括一校正单元110、多个影像撷取单元(image capturing unit)120以及一处理单元(process unit)130,其中处理单元130耦接于影像撷取单元120,处理单元130接收多个影像撷取单元120所撷取的影像。
校正单元(calibration unit)110包含多个校正装置112,多个校正装置112分别设置于一待检测对象50的不同位置上。以图4而言,校正装置112的数量有三个,然本发明不对校正装置的数量加以限制,第一校正装置112a、第二校正装置112b及第三校正装置112c依序由左至右排列在待检测对象50上,其中第一校正装置112a、第二校正装置112b及第三校正装置112c彼此不重叠。此外,校正装置112的尺寸例如是小于待检测对象50的尺寸,但不以此为限,于其他未示出的实施例中,校正装置的尺寸例如是大于等于检测对象的尺寸。
各校正装置112包含多个已知特征信息114。在此所称已知特征信息114为在校正装置112上的图样分布,而此校正装置112可为具非特定重复性结构纹路的平面,其中纹路可为各种几何形状的图样,举例而言,如图4所示的已知特征信息114的数量为九个,然本发明不对此已知特征信息的数量加以限制,且已知特征信息114的形状为圆形,这些已知特征信息114呈矩阵排列且相互等间隔配置。于其他未示出的实施例中,已知特征信息亦可为矩形、长方形、三角形、十字形等各种几何形状的图样,或者是,已知特征信息可为线条或文字,而已知特征信息的排列方式亦可设计成以非等间隔的方式排列,端视实际使用状况而可择定所选用的已知特征信息的图样分布及配置情况。
进一步地,如图5所示,图5为本发明的校正装置一实施例的示意图。校正装置112包含标尺元件116及已知特征信息114,该标尺元件116配置于已知特征信息114的周围,标尺元件116上具有标尺记号或字符符号而能供使用者判定各已知特征信息114的所在坐标值,以及多个已知特征信息114之间彼此的相互位置关系。
再回到图1所示,接着进行步骤S120,拍摄各校正装置112的一影像,其中各影像包含多个影像特征信息,各影像的多个影像特征信息对应于校正装置110的多个已知特征信息114。
详细而言,如图4所示,各影像撷取单元120用以撷取对应校正装置120的一影像。
影像撷取单元120例如为电荷耦合元件(CCD,Charge Coupled Device)、互补性金属氧化物半导体(CMOS,Complementary Metal-OxideSemiconductor)、旋转变焦式摄影机(pan-tilt-zoom camera)或数字监控器(DVR,Digital Video Recorder),但不以此为限。
如图6所示,图6为本发明的影像缝合装置一使用状态的示意图。为了便于说明,图6仅示出部分元件。影像撷取单元120的数量对应于校正装置120的数量,故影像撷取单元120的数量为三个,图6中由左至右分别为第一影像撷取单元122、第二影像撷取单元124及第三影像撷取单元126,且第一影像撷取单元122、第二影像撷取单元124及第三影像撷取单元126分别对应第一校正装置112a、第二校正装置112b及第三校正装置112c。
如此配置之下,第一影像撷取单元122撷取第一校正装置112a的影像12,第二影像撷取单元124撷取第二校正装置112b的影像24,而第三影像撷取单元126撷取第三校正装置112c的影像36。
如图2所示,图2为本发明的影像缝合方法的进一步的流程图。步骤S120,拍摄各校正装置112的影像后还包括以下步骤S122~S124。
进行步骤S122,萃取各影像的多个影像特征信息。在本实施例中,如图4所示,处理单元130以一影像分析演算法萃取各影像的多个影像特征信息。举例而言,特征撷取的方式例如可使用harris、sobel等影像分析演算法找出影像特征信息的角特征或线特征等的影像特征信息,但不以此为限。
以图6而言,第一影像撷取单元122撷取第一校正装置112a的影像12,各影像12包含多个影像特征信息12a~12c,影像12的多个影像特征信息12a~12c对应于第一校正装置112a的多个已知特征信息114。第二影像撷取单元124撷取第二校正装置112b的影像24,影像24包含多个影像特征信息24a~24c,影像24的多个影像特征信息24a~24c对应于第二校正装置112b的多个已知特征信息114。第三影像撷取单元126撷取第三校正装置112c的影像36,影像36包含多个影像特征信息36a,影像36的多个影像特征信息36a对应于第三校正装置112c的多个已知特征信息114。
再回到图2,进行步骤S122后,接着进行步骤S124,建立多个影像特征信息12a~12c、24a~24c、36a的位置关系。
如步骤S124a,以一字符判定多个影像特征信息12a~12c、24a~24c、36a的位置,举例而言,以如图5所示的标尺元件116,因此,如图6所示的影像12,利用标尺元件116的标尺记号或字符符号来判定影像特征信息12a~12c的坐标值,也可以知道影像特征信息12a~12c彼此之间的位置关系,同理,亦可藉由标尺元件116上的标尺记号或字符符号来建立影像特征信息24a~24c及影像特征信息36a的位置关系。
此外,除了步骤S124a以外,选择性地进行步骤S124b,一纹路分析步骤,藉由此纹路分析步骤包含找出多个影像特征信息的特定规律纹路出现频率,以建立多个影像特征信息12a~12c、24a~24c、36a的位置关系。因此,纹路分析步骤为以各个影像特征信息12a~12c、24a~24c、36a的纹路关系来推知影像特征信息12a~12c、24a~24c、36a彼此之间的位置关系。
以图6中的影像12而言,三个影像特征信息12a~12c成一列,并排列成三行,以形成一3x3矩阵排列的影像12,而影像12中各影像特征信息之间的间隔一致。如此,若定义影像特征信息12a为坐标基准点(0,0),影像特征信息12b则为(0,-d),而影像特征信息12c则为(0,-2d),d为影像特征信息12a与影像特征信息12b两者的间隔,或者为影像特征信息12b与影像特征信息12c两者的间隔。如此可推知影像特征信息12a~12c邻近影像特征信息的位置关系。
上述对校正装置112上的已知特征信息114进行拍摄后,再回到图1,进行步骤S130,建立一转换关系式,其中转换关系式为依据各校正装置112中多个已知特征信息114与对应影像12、14、16中多个影像特征信息12a~12c、24a~24c、36a所建立。
以图6的影像缝合装置100而言,处理单元130依据校正装置112中多个已知特征信息114与对应影像12、14、16中多个影像特征信息12a~12c、24a~24c、36a,建立一转换关系式。
详细而言,所谓转换关系式可用于空间与影像的对应关系,或者影像(影像撷取单元)与影像(影像撷取单元)之间的对应关系。本实施例建立转换关系式为利用一共线条件式演算法,以下以图7说明转换关系式。
图7为本发明的转换关系式的坐标示意图。请参考图7。图7中有一目标物空间坐标系60以及一影像空间坐标系70。
目标物A例如为如图4所示的校正装置112。目标物A处于目标物空间坐标系60,目标物A的坐标为(XA,YA,ZA),XA为目标物A在目标物空间坐标系60的X轴的坐标值,YA为目标物A在目标物空间坐标系60的Y轴的坐标值,ZA为目标物A在目标物空间坐标系60的Z轴的坐标值。在本实施例中,目标物A并非处在目标物空间坐标系60的原点,但不以此为限,于其他实施方式,亦可将目标物A摆放在目标物空间坐标系60的原点。
影像撷取单元120处于影像空间坐标系70,例如为相机。相机对目标物A拍摄后,经由旋转投影影像而得到一旋转影像平面G,而相机的中心L在旋转影像平面G的成像位置为(xa,ya),焦距f为相机的中心L距离旋转影像平面G的距离(za),其中,xa为在影像空间坐标系70的x轴的坐标值,ya为在影像空间坐标系70的y轴的坐标值,za为在影像空间坐标系70的z轴的坐标值。在本实施例中,相机的中心L并非处在影像空间坐标系70的原点,但不以此为限,于其他实施方式,亦可将相机的中心L摆放在影像空间坐标系70的原点。
相机成像位置与目标物A之间的关系可由以下数学式(1)表示。
数学式(1)中,代表影像撷取单元120对校正装置112,而校正装置112上的每一个已知特征信息114会有一对应的影像特征信息,且会有如数学式(1)的关系。再者,影像的基准坐标值为(x0,y0),以本实施例而言,影像的基准坐标值为原点(0,0),故以下计算式省略(x0,y0),以降低计算负担。
空间坐标系60的基准坐标值为(XL,YL,ZL),以本实施例而言,空间坐标系60的基准坐标值为原点(0,0,0),Rx为X轴旋转矩阵,Ry为Y轴旋转矩阵,Rz为Z轴旋转矩阵,各轴旋转矩阵如下数学式(2)~(4)所示。
上述数学式(2)~(4)中,ω,φ,κ分别为各轴旋转投影影像的旋转矩阵的角度。
接着,将数学式(1)~(4)展开后,得到以下数学式(5)。
其中m11=cosφcosκ,m12=sinωsinφcosκ+cosωsinκ,m13=-cosωsinφcosκ+sinωsinκ,m21=-cosφsinκ,m22=-sinωsinφsinκ+cosωcosκ,m23=cosωsinφsinκ+sinωcosκ,m31=sinφ,m32=-sinωcosφ,m33=cosωcosφ。
将数学式(5)同时除m33,得到以下数学式(6)。
于本实施例中,焦距f为可知,并设定目标物A与相机的中心L距离为固定值,则可以将(ZA-ZL)视为一固定数值,则可改写数学式(6)成以下数学式(7)。
于数学式(7)中,变量u=XA-XL,变量v=YA-YL,变量变量变量变量变量变量变量变量
此数学式(7)即为本实施例所称的转换关系式。由数学式(7)可知,变量u及变量v分别为目标物A在目标物空间坐标系60的X轴及Y轴的坐标值,故可事先求得。由此可知,变量a1、变量a2、变量a3、变量a4、变量a5、变量b1、变量b2及变量b3共8个变量,此8个变量即为欲求得知系数内容。一个已知特征信息114会产生一组数学式(7),故至少需要4个已知特征信息114来求此8个变量,以本实施例而言,本实施例具有9个已知特征信息114,对应的影像特征信息也是9个,故足以对此数学式(7)求解,而求解方式例如是运用最小平方法,然本发明不以此为限。
再回到图1。进行步骤S140,依据转换关系式分析各影像12、24、36的位置关系。
具体而言,就缝合影像装置100来说,处理单元130(如图4所示)依据转换关系式,以分析各影像撷取单元120的位置关系,换言之,本实施例通过转换关系式,进而可以建立各影像撷取单元120之间的对应关系。
如图3所示,图3为本发明的影像缝合方法的进一步的流程图。步骤S140包含步骤S142~S144。
首先,进行步骤S142,建立各影像外的多个虚拟点特征信息。
具体而言,如图6所示,影像12中多个影像特征信息12a~12c可事先通过步骤S124,建立影像12内影像特征信息12a~12c的位置关系,而能推知影像特征信息12a~12c邻近影像特征信息的位置关系,进一步地,即便第一影像撷取单元122所撷取的视野范围只在影像12,亦可推算影像12外的多个虚拟点特征信息14a、16a,进而扩张建立如图6所示邻近影像12的虚拟影像14、16,而能扩大拍摄视野范围,此虚拟影像14、16分别对应第二影像撷取单元124、第三影像撷取单元126所撷取的影像24、36。
于此同理,第二影像撷取单元124所撷取影像24能进一步推算影像24的左右两侧的虚拟影像22、26,此虚拟影像22、26别对应第一影像撷取单元122、第三影像撷取单元126所撷取的影像12、36。第三影像撷取单元126所撷取影像36能进一步推算影像36外的虚拟影像32、34,此虚拟影像32、34分别对应第一影像撷取单元122、第二影像撷取单元124所撷取的影像12、24。
由此可知,本实施例的影像撷取单元120不需要事先取得校正单元110的全部影像,只需要撷取如第一校正装置112a的某一区间的影像12即可,便可推断出邻近如第一校正装置112a的虚拟影像14、16,进而模拟出校正单元110的全部影像。此外,如图4而言,校正单元110的尺寸虽未完全覆盖到待检测对象50,此时亦可通过上述方式将拍摄视野虚拟建构至待检测对象50的全部范围,也因此,本实施例的校正单元110与影像撷取单元120间无需刻意调整或摆放固定的位置,故不需对于影像撷取单元120拍摄位置、水平歪斜的参数来进行调整,更不需要对于多个影像撷取单元120之间彼此相互进行校正的动作,藉以节省前置影像处理的时间。
接着进行步骤S144,利用多个影像特征信息以及多个虚拟点特征信息,经由转换关系式,比对相邻影像间的位置关系。
举例而言,如图6所示,经由步骤S142后,可以推知影像12与其相邻的虚拟影像14、16,影像24与其相邻的虚拟影像22、26,以及影像36与其相邻的虚拟影像32、34。而后,将影像12与其对应的虚拟影像22再利用前述图7中影像投影关系建立如数学式(7)的转换关系式,而相关推导流程已如前述。于此同理,虚拟影像14与其对应的影像24,以及虚拟影像16与其对应的影像26亦可建立如数学式(7)的转换关系式,如此一来,便能够建立第一影像撷取单元122与第二影像撷取单元124之间的位置对应关系。当然,第一影像撷取单元122与第三影像撷取单元126亦可建立两者之间的位置对应关系。
因此,第一影像撷取单元122、第二影像撷取单元124以及第三影像撷取单元126所撷取的影像12、24、36便可以得知相互的位置关系,举例而言,若以影像12的影像特征信息12a作为基准点,除了可以推知影像12内其他影像特征信息12b、12c的位置以外,还可以进一步得知影像24内的影像特征信息24a~24c相对于影像特征信息12a~12c的位置关系,以及影像36内的影像特征信息36a相对于影像特征信息12a~12c的位置关系,而可以建立影像12、影像24以及影像36的位置关系,也就是建立各影像撷取单元120之间的转换关系。
再回到图1,依据转换关系式建立各影像撷取单元120之间的转换关系后,进行步骤S150,组合多个影像12、24、36。换言之,将第一影像撷取单元122、第二影像撷取单元124以及第三影像撷取单元126所撷取的影像12、24、36组合在一起。
经由步骤S150组合第一影像撷取单元122、第二影像撷取单元124以及第三影像撷取单元126所撷取的影像12、24、36后,进行步骤S160,检测待检测对象50。
于实际一应用例,如图8A至图8C所示,图8A中显示实际使用三台相机拍摄的结果,从图8A可看出三台相机拍摄后的三张影像中的标尺并未对齐,亦即三张影像中标尺并未位于相同的水平线上,并且,中间影像与右侧影像间的影像甚至没有重叠。然而,通过本发明的影像缝合装置100,或者应用本发明的影像缝合方法S100步骤后,即可得到图8B所示的缝合影像结果,由该图中可看出三张影像中的标尺已合成为一直线,进一步地,如图8C所示,图8C为图8B中的局部放大图,区域E为左侧影像与中间影像两者的交接区,由该图中可看出区域E中的数字6以及数字18重合的精度高。
综上所述,在本发明的影像缝合方法与影像缝合装置中,对于校正单元中各个校正装置上已知特征信息进行拍摄,进而建立校正装置与影像的对应转换关系式,接着,通过此转换关系式,亦可建立各个影像撷取单元之间的对应位置关系,进而依据此影像对应位置关系而将各个影像进行组合,以达到高精密的影像缝合的目的。
再者,影像撷取单元不需要事先取得校正单元的全部影像,由于校正单元内的已知特征信息的位置是事先知道的,故只需要撷取校正单元的某一区间的影像即可,便可推断出邻近校正单元的虚拟影像,进而模拟出校正单元的全部影像,此举不仅使得影像缝合上不需要将各影像重叠,并能达到扩大检测影像视野的目的,进而能节省使用影像撷取单元设置的成本。
此外,校正单元与影像撷取单元之间无需刻意调整或者摆放固定的位置,也无需事先对于影像撷取单元的拍摄位置、水平歪斜的参数来进行调整,更不需要对于多个影像撷取单元之间彼此相互进行校正的动作,藉以节省前置影像处理的时间。
另外,也因为上述影像撷取单元无需刻意调整或摆放固定的位置,因此可以依据使用者需求,拼凑成符合实际需求的解析与影像视野范围,例如环形、L形、十字形等特殊阵列的影像撷取单元,使得影像撷取单元不受到架设角度的影响及干扰、以及固定解析与尺寸上的限制,进一步地,于使用上可以同时支援不同像素、不同解析度的影像撷取单元,藉以提升使用上灵活性及便利性。
于实际原料检测上,是在酱料及馅料等原料铺设一校正单元,而对此校正单元进行拍摄,由于是对具有已知特征信息的校正单元进行拍摄,而此已知特征信息是明显且已知彼此之间的位置关系,故能轻易地萃取影像的特征信息,因此不会受到酱料及馅料等特征不明显的原料的限制,藉以提升拍摄上的精密度,达到高精密的影像缝合,进而提升视觉检测系统的能力。
此外,于一应用例中,针对一标尺来做拍摄,并运用本发明的影像缝合装置或者进行影像缝合方法的步骤后,所得出的缝合影像结果重合的精度高,足以佐证本发明的影像缝合装置及方法能达到高精密的影像缝合的功效。
以上所述,仅是记载本发明为呈现解决问题所采用的技术手段的较佳实施方式或实施例而已,并非用来限定本发明专利实施的范围。即凡与本发明的权利要求的文义相符,或依本发明专利范围所做的均等变化与修饰,皆为本发明专利范围所涵盖。

Claims (23)

1.一种影像缝合方法,包括以下步骤:
提供一校正单元,其中该校正单元包含多个校正装置,该多个校正装置分别对应于一待检测对象的不同位置上,各该校正装置包含多个已知特征信息;
拍摄各该校正装置的一影像,其中各该影像包含多个影像特征信息,各该影像的该多个影像特征信息对应于各该校正装置的该多个已知特征信息;
建立一转换关系式,其中该转换关系式为依据各该校正装置中该多个已知特征信息与对应该影像中该多个影像特征信息所建立;
依据该转换关系式分析各该影像的位置关系;以及
组合该多个影像。
2.根据权利要求1所述的影像缝合方法,其中拍摄各该校正装置的该影像还包括以下步骤:
萃取各该影像的该多个影像特征信息。
3.根据权利要求2所述的影像缝合方法,其中萃取各该影像的该多个影像特征信息包含找出影像特征信息的角特征或线特征。
4.根据权利要求2所述的影像缝合方法,其中萃取各该影像的该多个影像特征信息还包括以下步骤:
建立该多个影像特征信息的位置关系。
5.根据权利要求4所述的影像缝合方法,其中建立该多个影像特征信息的位置关系包括以下步骤:
以一字符判定该多个影像特征信息的位置。
6.根据权利要求5所述的影像缝合方法,其中以该字符判定该多个影像特征信息的位置的步骤为利用一标尺元件的标尺记号或字符符号来判定该多个影像特征信息的位置。
7.根据权利要求4所述的影像缝合方法,其中建立该多个影像特征信息的位置关系包括以下步骤:
一纹路分析步骤。
8.根据权利要求7所述的影像缝合方法,其中该纹路分析步骤为以该多个影像特征信息的纹路关系来推知该多个影像特征信息的位置关系。
9.根据权利要求8所述的影像缝合方法,其中该纹路分析步骤包含找出该多个影像特征信息的纹路出现频率。
10.根据权利要求1所述的影像缝合方法,其中依据该转换关系式分析各该影像的位置关系包括以下步骤:
建立各该影像外的多个虚拟点特征信息。
11.根据权利要求10所述的影像缝合方法,其中建立各该影像外的多个虚拟点特征信息后包括以下步骤:
利用该多个影像特征信息以及该多个虚拟点特征信息,经由该转换关系式,比对相邻该影像间的位置关系。
12.根据权利要求1所述的影像缝合方法,其中建立该转换关系式为利用一共线条件式演算法。
13.根据权利要求1所述的影像缝合方法,其中组合该多个影像后,还包括以下步骤:
检测该待检测对象。
14.一种影像缝合装置,包括:
一校正单元,包含多个校正装置,该多个校正装置分别设置于一待检测对象的不同位置上,各该校正装置包含多个已知特征信息;
多个影像撷取单元,各该影像撷取单元用以撷取对应该校正装置的一影像;以及
一处理单元,耦接于该影像撷取单元,该处理单元接收该多个影像撷取单元所撷取的该影像,各该影像包含多个影像特征信息,各该影像的该多个影像特征信息对应于各该校正装置的该多个已知特征信息,该处理单元依据各该校正装置中该多个已知特征信息与对应该影像中该多个影像特征信息,建立一转换关系式,且该处理单元依据该转换关系式,以分析各该影像撷取单元于该待检测对象的位置关系,并组合各该影像撷取单元的该影像。
15.根据权利要求14所述的影像缝合装置,其中各该校正装置还包含一标尺元件,该标尺元件配置于该多个已知特征信息的周围。
16.根据权利要求14所述的影像缝合装置,其中该多个已知特征信息呈矩阵排列且相互间隔配置。
17.根据权利要求14所述的影像缝合装置,其中各该多个影像撷取单元为电荷耦合元件、互补性氧化金属半导体、旋转变焦式摄影机或数字监控器。
18.根据权利要求14所述的影像缝合装置,其中该处理单元以一影像分析演算法萃取各该影像的该多个影像特征信息。
19.根据权利要求14所述的影像缝合装置,其中建立该转换关系式为利用一共线条件式演算法。
20.根据权利要求14所述的影像缝合装置,其中该多个校正装置可为具有非特定重复性结构纹路的平面。
21.根据权利要求14所述的影像缝合装置,其中该已知特征信息为矩形、长方形、三角形或十字形。
22.根据权利要求14所述的影像缝合装置,其中该已知特征信息为线条或文字。
23.根据权利要求15所述的影像缝合装置,其中该标尺元件上具有标尺记号或字符符号而能供使用者判定各该已知特征信息的所在坐标值,以及该多个已知特征信息之间彼此的相互位置关系。
CN201510779927.4A 2015-10-16 2015-11-13 影像缝合方法与影像缝合装置 Active CN106603937B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104134070 2015-10-16
TW104134070A TWI582388B (zh) 2015-10-16 2015-10-16 影像縫合方法與影像縫合裝置

Publications (2)

Publication Number Publication Date
CN106603937A true CN106603937A (zh) 2017-04-26
CN106603937B CN106603937B (zh) 2019-09-03

Family

ID=58524564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510779927.4A Active CN106603937B (zh) 2015-10-16 2015-11-13 影像缝合方法与影像缝合装置

Country Status (3)

Country Link
US (1) US10516822B2 (zh)
CN (1) CN106603937B (zh)
TW (1) TWI582388B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427040B (zh) 2017-08-22 2023-10-10 富联国基(上海)电子有限公司 图像处理装置及方法
TWI658434B (zh) * 2017-08-22 2019-05-01 鴻海精密工業股份有限公司 影像處理裝置及方法
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US11361419B2 (en) * 2019-09-12 2022-06-14 Rieker Incorporated Curb inspection tool
US12225320B2 (en) * 2022-09-16 2025-02-11 Dell Products L.P. Multiple camera field of view frame stitching

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057850A (en) * 1997-07-15 2000-05-02 Silicon Graphics, Inc. Blended texture illumination mapping
US20130322758A1 (en) * 2012-06-04 2013-12-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US20140378171A1 (en) * 2012-12-28 2014-12-25 Trimble Navigation Limited Concurrent dual processing of pseudoranges with corrections

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986279A (en) * 1997-03-21 1999-11-16 Agfa-Gevaert Method of recording and reading a radiation image of an elongate body
US7095905B1 (en) 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US6535242B1 (en) 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US7009638B2 (en) 2001-05-04 2006-03-07 Vexcel Imaging Gmbh Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems
US20030137586A1 (en) 2002-01-22 2003-07-24 Infinite Innovations, Inc. Vehicle video switching system and method
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP4134939B2 (ja) 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
TWI303782B (en) 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
US20080144899A1 (en) * 2006-11-30 2008-06-19 Manoj Varma Process for extracting periodic features from images by template matching
CN101414379B (zh) 2007-10-17 2012-05-23 日电(中国)有限公司 生成全景图像的设备和方法
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN101319895B (zh) * 2008-07-17 2011-08-31 上海交通大学 手持式交通事故现场快速测绘仪
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
CN101673395B (zh) * 2008-09-10 2012-09-05 华为终端有限公司 图像拼接方法及装置
US8462209B2 (en) * 2009-06-26 2013-06-11 Keyw Corporation Dual-swath imaging system
EP2317388A3 (en) * 2009-10-28 2014-05-14 Imec Method and system for wafer inspection
CN101710932B (zh) * 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
TWI417639B (zh) 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
TWI485631B (zh) 2010-12-17 2015-05-21 Univ Nat Taiwan Science Tech 全景式顯微影像的擷取方法與擷取設備
TWI421624B (zh) 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
US8970740B2 (en) * 2012-12-14 2015-03-03 In View Technology Corporation Overlap patterns and image stitching for multiple-detector compressive-sensing camera
JP6299124B2 (ja) * 2013-09-13 2018-03-28 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
US9354711B2 (en) * 2014-09-30 2016-05-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057850A (en) * 1997-07-15 2000-05-02 Silicon Graphics, Inc. Blended texture illumination mapping
US20130322758A1 (en) * 2012-06-04 2013-12-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US20140378171A1 (en) * 2012-12-28 2014-12-25 Trimble Navigation Limited Concurrent dual processing of pseudoranges with corrections

Also Published As

Publication number Publication date
TWI582388B (zh) 2017-05-11
US20170111580A1 (en) 2017-04-20
TW201715203A (zh) 2017-05-01
US10516822B2 (en) 2019-12-24
CN106603937B (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
GB2527697B (en) People counting device and people counting method
US9343043B2 (en) Methods and apparatus for generating composite images
Rengarajan et al. From bows to arrows: Rolling shutter rectification of urban scenes
CN106603937B (zh) 影像缝合方法与影像缝合装置
KR20190021342A (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
JP6615545B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
TW201619910A (zh) 監控系統及其影像處理方法
US20160050372A1 (en) Systems and methods for depth enhanced and content aware video stabilization
KR101348681B1 (ko) 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치
US20090059018A1 (en) Navigation assisted mosaic photography
WO2013125098A1 (ja) Ar技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN113763544B (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
JP6406044B2 (ja) カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
CA2822946C (en) Methods and apparatus for generating composite images
JP2017212638A (ja) 表示装置、表示装置の制御方法、及びプログラム
JP2006252400A (ja) 画像処理装置及び画像処理における登録データ生成方法
JP6677980B2 (ja) パノラマビデオデータの処理装置、処理方法及び処理プログラム
TWI693577B (zh) 影像產生方法與電子裝置
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
JP6579706B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
TWI646233B (zh) Appliqué method based on image recognition
JP6736916B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2014038606A (ja) 撮像画像の特徴点抽出方法および特徴点抽出装置
TWI516120B (zh) 產生全景影像的方法及其影像擷取裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant