[go: up one dir, main page]

CN106683071A - 图像的拼接方法和装置 - Google Patents

图像的拼接方法和装置 Download PDF

Info

Publication number
CN106683071A
CN106683071A CN201510752156.XA CN201510752156A CN106683071A CN 106683071 A CN106683071 A CN 106683071A CN 201510752156 A CN201510752156 A CN 201510752156A CN 106683071 A CN106683071 A CN 106683071A
Authority
CN
China
Prior art keywords
image
pixel
information
coordinate system
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510752156.XA
Other languages
English (en)
Other versions
CN106683071B (zh
Inventor
浦世亮
覃骋
毛慧
沈林杰
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510752156.XA priority Critical patent/CN106683071B/zh
Priority to US15/773,544 priority patent/US10755381B2/en
Priority to EP16861375.0A priority patent/EP3373241B1/en
Priority to PCT/CN2016/096182 priority patent/WO2017076106A1/zh
Publication of CN106683071A publication Critical patent/CN106683071A/zh
Application granted granted Critical
Publication of CN106683071B publication Critical patent/CN106683071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像的拼接方法和装置。其中，该方法包括：获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域；将第二图像中的像素点映射到重叠区域和/或扩展区域上，其中，扩展区域为第二图像中的像素点映射到第一图像之外的图像区域；通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像。本发明解决了现有技术在图像拼接过程中，拼接效率低的技术问题。

Description

图像的拼接方法和装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的拼接方法和装置。
背景技术
图像拼接技术是将数张具有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，通过图像拼接，可以增大相机的视场范围。图像拼接与使用大视场角的镜头来增大视场范围的方法相比，图像拼接具有更小的畸变。
传统的二维图像拼接，例如，基于SIFT的拼接算法，基于SIFT的拼接算法计算量大，在复杂场景下容易出现误差导致拼接后图像质量差的问题。并且在图像拼接过程中，由于标定的深度和实际的深度不同，过渡带容易出现重影问题。又例如，在基于深度图像的拼接技术中，采用多个可见光相机进行图像信息采集，利用相机间的立体视觉原理得到深度信息进行拼接，由于该方法需要实时进行特征点的匹配，影响拼接的实时效果。
在获取深度信息技术日趋成熟的情况下，现有技术中提出了结合深度信息进行图像拼接的方法，通过查找目标图片与待拼接图片的重叠区域，通过深度相机获取重叠区域的深度信息，根据深度信息得到视差量，将重叠区的像素点映射到目标图上。上述结合深度信息进行拼接的方法与传统的二维图像拼接相比，可以适应更复杂的场景的拼接，并且在多个可见光相机的基础上增加额外的深度相机，获取重叠区的深度信息，能够解决传统的二维图像拼接的重影问题。但是，该方法存在以下问题：首先，现有技术需要预先计算获取重叠区域，通过深度相机获取重叠区域的深度图，并对重叠区域像素点的深度信息与可见光信息的进行对准，拼接过程效率较低。其次，现有技术中需要识别重叠区域，对于重叠区域与扩展区域的像素点采用两种不同的方法进行映射，过渡带可能存在突变现象，造成重叠区域和扩展区域过渡段融合不理想的问题。再次，现有结合深度信息进行图像拼接的过程中，扩展区域的像素点在映射过程中没有利用深度信息进行变换，当像素点由待拼接图像映射至目标图像时，由于视点存在变换，存在待拼接图像上可以观察到的像素点，在拼接后的目标图像上无法看到的问题，不能很好的处理前景和背景遮挡的问题。
针对上述在图像拼接过程中，拼接效率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的拼接方法和装置，以至少解决现有技术在图像拼接过程中，拼接效率低的的技术问题。
根据本发明实施例的一个方面，提供了一种图像的拼接方法，包括：获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域；将第二图像中的像素点映射到重叠区域和/或扩展区域上，其中，扩展区域为第二图像中的像素点映射到第一图像之外的图像区域；通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像。
进一步地，将第二图像中的像素点映射到重叠区域和/或扩展区域上的步骤包括：读取第二图像中的像素点在第二图像坐标系中的坐标信息；使用坐标变换，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息；通过第二图像中的像素点在第一图像坐标系上的坐标信息，确定第二图像中的像素点在重叠区域和/或扩展区域的位置。
进一步地，使用坐标变换，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息的步骤包括：将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第二摄像机坐标系，得到第二图像中的像素点在第二摄像机坐标系中的坐标信息；将第二图像中的像素点在第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系，得到第二图像中的像素点在第一摄像机坐标系中的坐标信息；将第二图像中的像素点在第一摄像机坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息。
进一步地，通过如下第一公式将第二图像中的像素点在第二图像坐标系中坐标信息m2(u2,v2)映射至第二摄像机坐标系，得到第二图像中的像素点在第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)；其中,A2为第二摄相机的内参数；D2为第二图像的规模化系数。
进一步地，通过如下第二公式将第二图像中的像素点在第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)映射至第一摄像机坐标系，得到第二图像中的像素点在第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)；其中，R为第一摄像机坐标系与第二摄像机坐标系相对的旋转矩阵，t为第一摄像机坐标系与第二摄像机坐标系的相对的平移向量。
进一步地，通过如下第三公式将第二图像中的像素点在第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)；其中，A1为第一摄像机的内参数；D1为第一图像的规模化系数。
进一步地，通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像的步骤包括：当第二图像中的像素点映射至第一图像与第二图像的重叠区域时，将像素点在第一图像中的可见光信息以及像素点在第二图像中的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给像素点在拼接图像中的重叠区域的可见光信息；当第二图像中的像素点映射至扩展区域时，将像素点在第二图像中的可见光信息，赋值给像素点在拼接图像中的扩展区域的可见光信息。
进一步地，通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像的步骤包括：通过映射后的第二图像中的像素点在第一图像坐标系上的坐标信息，判断第二图像中的多个像素点是否同时映射到重叠区域和/或扩展区域的同一像素点上；当第二图像中的多个像素点同时映射到重叠区域和/或扩展区域的同一像素点时，根据第二图像中的多个像素点的多个深度信息，确定重叠区域和/或扩展区域的同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
进一步地，根据第二图像中的多个像素点的多个深度信息，确定重叠区域和/或扩展区域的同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息的步骤包括：对比第二图像中的多个像素点的多个深度信息，将多个深度信息中深度信息最小的像素点的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息；或者，对第二图像中的多个像素点的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
根据本发明实施例的另一方面，还提供了一种图像的拼接装置，包括：获取单元，用于获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域；映射单元，用于将第二图像中的像素点映射到重叠区域和/或扩展区域上，其中，扩展区域为第二图像中的像素点映射到第一图像之外的图像区域；拼接单元，用于通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像。
进一步地，映射单元包括：读取模块，用于读取第二图像中的像素点在第二图像坐标系中的坐标信息；坐标变换模块，用于使用坐标变换，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息；确定模块，用于通过第二图像中的像素点在第一图像坐标系上的坐标信息，确定第二图像中的像素点在重叠区域和/或扩展区域的位置。
进一步地，坐标变换模块包括：第一映射子模块，用于将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第二摄像机坐标系，得到第二图像中的像素点在第二摄像机坐标系中的坐标信息；第二映射子模块，用于将第二图像中的像素点在第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系，得到第二图像中的像素点在第一摄像机坐标系中的坐标信息；第三映射子模块，用于将第二图像中的像素点在第一摄像机坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息。
进一步地，第一映射子模块通过如下第一公式计算得到第二图像中的像素点在第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)；其中,A2为第二摄相机的内参数；D2为第二图像的规模化系数。
进一步地，第二映射子模块通过如下第二公式计算得到第二图像中的像素点在第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)；其中，R为第一摄像机坐标系与第二摄像机坐标系相对的旋转矩阵，t为第一摄像机坐标系与第二摄像机坐标系的相对的平移向量。
进一步地，第三映射子模块通过如下第三公式计算得到第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)；其中，A1为第一摄像机的内参数；D1为第一图像的规模化系数。
进一步地，拼接单元包括：第一拼接模块，用于当第二图像中的像素点映射至重叠区域时，将像素点在第一图像中的可见光信息以及像素点在第二图像中的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给像素点的在拼接图像中的重叠区域的可见光信息；第二拼接模块，用于当第二图像中的像素点映射至扩展区域时，将像素点在第二图像中的可见光信息，赋值给像素点在拼接图像中的扩展区域的可见光信息。
进一步地，拼接单元包括：判断模块，用于通过映射后的第二图像中的像素点在第一图像坐标系上的坐标信息，判断第二图像中的多个像素点是否同时映射到重叠区域和/或扩展区域的同一像素点上；确定模块，用于当第二图像中的多个像素点同时映射到重叠区域和/或扩展区域的同一像素点时，根据第二图像中的多个像素点的多个深度信息，确定重叠区域和/或扩展区域的同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
进一步地，确定模块包括：对比子模块，用于对比第二图像中的多个像素点的多个深度信息，将多个深度信息中深度信息最小的像素点的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息；加权子模块，用于对第二图像中的多个像素点的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
在本发明实施例中，采用获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第二图像为包括深度信息以及可见光信息的RGB-D图像；将第二图像中的像素点映射到第一图像上；通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到第一图像上，得到拼接图像的方式，通过RGB-D相机同时获取可见光信息以及深度信息，达到了无需对重叠区域像素点的深度信息与可见光信息的进行对准的目的，从而实现了提高图像拼接效率的技术效果，进而解决了现有技术在图像拼接过程中，拼接效率低的的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例一的一种可选的图像的拼接方法的流程图；
图2是根据本发明实施例一的一种可选的像素点映射的示意图；
图3是根据本发明实施例一的又一种可选的图像的拼接方法的示意图；
图4是根据本发明实施例一的又一种可选的像素点映射的示意图；
图5是根据本发明实施例一的一种可选的存在遮挡时像素点的示意图；以及
图6是根据本发明实施例二的一种可选的图像的拼接装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
根据本发明实施例，提供了一种图像的拼接的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例一的一种可选的图像的拼接方法的流程图，如图1所示，该方法包括如下步骤：
步骤S12，获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域。
具体地，在上述步骤S12中，第一图像可以是图像拼接中的目标图像，第二图像可以是图像拼接中的待拼接图像，待拼接图像的数量可以是一个也可以是多个。在待拼接图像的数量为多个时，拼接的步骤与将第二图像拼接至第一图像的步骤相同。其中，第一图像可以是可见光相机拍摄的可见光图像，当第一图像为可见光相机拍摄的可见光图像时，可以将第一图像作为目标图的部分图像，可以达到节约计算量和相机成本的效果。第二摄像机可以是RGB-D相机，拍摄得到的第二图像可以是RGB-D图像，RGB-D图像包括可见光图像以及深度图像，也就是说，对于第二图像中的任意一个像素点，同时具有可见光信息以及深度信息。其中，第一摄像机与第二摄像机可以是双目摄像机。
需要说明的是，在将第二图像拼接至第一图像的过程中，需要第二图像与第一图像存在重叠区域，由于第二图像中的任意一个像素点，在RGB-D图像中既包含深度信息又包括可见光信息，因此，在映射过程中，上述重叠区域的像素点，无需对深度信息与可见光信息的进行对准，达到了提高拼接效率的目的。
步骤S14，将第二图像中的像素点映射到重叠区域和/或扩展区域上。
具体地，使用坐标变换，可以实现将第二图像(待拼接图像)中像素点映射至第一图像(目标图像)上。由于第二图像中的任意一个像素点映射至第一图像的过程是相同的，也就是说，在本申请实施例中，重叠区域与扩展区域的像素点采用相同的方法进行映射，因此，解决了拼接图像中过渡带重影以及重叠区域与扩展区域过渡段可能存在突变的问题，提高拼接图像重叠区域和扩展区域过渡段融合的质量。
需要说明的是，在将第二图像拼接至第一图像的过程中，需要第二图像与第一图像之间存在重叠区域，在本申请提供的方案中，由于第二图像中的任意一个像素点映射至第一图像的过程是相同的，也就是说，本申请不需要进行特征点的匹配，因此可以尽可能减小重叠区域的面积，从而达到在拼接次数相同的情况下，可以获取包含更大视场范围的拼接图像的目的。
步骤S16，通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像。
具体地，当映射后的第二图像中的像素点在重叠区域时，该像素点可以具有两个可见光信息，一个深度信息，也就是说，落在重叠区域的像素点，可见光信息与深度信息的数量不同。当映射后的第二图像中的像素点在扩展区域时，该像素点可以具有一个可见光信息和一个深度信息，或者，在扩展区域的像素点存在遮挡问题时，一个像素点可以具有多个可见光信息和多个深度信息，也就是说，落在扩展区域的像素点，该像素点具有相同数量的可见光信息以及深度信息。
需要说明的是，映射后的第二图像中的像素点在重叠区域时，可以通过对两个可见光信息进行加权运算，将加权运算的结果作为映射后的第二图像中的像素点在拼接图像中的可见光信息。映射后的第二图像中的像素点在扩展区域时，可以将第二图像中的像素点的可见光信息作为第二图像中的像素点在拼接图像中的可见光信息。当第二图像中的多个像素点在映射后落在扩展区域时，并且存在遮挡问题时，可以比较多个像素点的多个深度信息，将深度信息最小的像素点的可见光信息作为映射后多个像素点在拼接图中像素点的可见光信息。
还需要说明的是，本申请通过像素点的深度信息以及可见光信息，来确定像素点在拼接图像中的可见光信息，解决了在拼接时出现的前景、背景遮挡的问题，达到了提高拼接质量的目的。
在一种可选的应用场景中，上述步骤S12至步骤S16提供的图像拼接方法可以包括如下内容，图2是根据本发明实施例一的一种可选的像素点映射的示意图，在图2中，第一图像为从可见光相机中获取的可见光图像，第二图像、第N图像为从RGB-D相机获取的RGB-D图像。其中第一图像为目标图像，第二图像、第N图像为待拼接图像，第N图像与第二图像采用相同的拼接方法拼接至第一图像上。以第二图像拼接至第一图像为例，图2中的虚线矩形表示第二图像拼接至第一图像后的拼接图像，拼接图像的平面可以为第一图像的相机平面，因此第一摄像机采集的第一图像不需要计算，可以直接映射到拼接图像上。空间上第一点P1在第一图像中成像的像素点为P11，在第二图像中成像的像素点为P21，空间上第二点P2在在第一图像中成像的像素点为P21，在第二图像中成像的像素点为P22。空间上第一点P1映射的过程即为，将P21映射至P11。空间上第一点P1拼接的过程即是，将位于重叠区域的P21与P11的进行融合，将P21点的可见光信息与P11的可见光信息进行加权运算，P1点在拼接图像上的可见光信息。空间上第二点P2映射的过程即为，将P22映射至P12，空间上第二点P2拼接的过程即是，将位于扩展区域的P22与P12进行拼接，在不存在遮挡的情况下，将P22的可见光信息赋值给P12。在存在遮挡的情况下，根据深度信息，确定P12的可见光信息。
在又一种可选的应用场景中，当第二图像的数量为多个，即待拼接的图像数量为多个时，可以按照上述第二图像拼接至第一图像的过程，逐一将多个待拼接图像(第二图像)拼接至第一图像上。图3是根据本发明实施例一的又一种可选的图像的拼接方法的示意图。如图3所示，本申请提供的图像拼接方法，在存在多个待拼接图像(第二图像、第N图像)时，可以首先将第二图像拼接至第一图像，在第二图像拼接至第一图像之后，再将第N图像拼接至第一图像。
在本发明实施例中，通过上述步骤S12至步骤S16,采用获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域；将第二图像中的像素点映射到重叠区域和/或扩展区域上，其中，扩展区域为第二图像中的像素点映射到第一图像之外的图像区域；通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像的方式，通过RGB-D相机同时获取可见光信息以及深度信息，达到了无需对重叠区域像素点的深度信息与可见光信息的进行对准的目的，从而实现了提高图像拼接效率的技术效果，进而解决了现有技术在图像拼接过程中，拼接效率低的的技术问题。
可选地，步骤S14，将第二图像中的像素点映射到重叠区域和/或扩展区域上可以包括：
步骤S141，读取第二图像中的像素点在第二图像坐标系中的坐标信息。
步骤S143，使用坐标变换，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息。
步骤S145，通过第二图像中的像素点在第一图像坐标系上的坐标信息，确定第二图像中的像素点在重叠区域和/或扩展区域的位置。
具体地，在上述步骤S141至步骤S145中，第一图像坐标系以及第二图像坐标系为二维图像坐标系，使用坐标变换，将第二图像中的像素点的坐标信息映射到第一图像坐标系中，从而得到第二图像中的像素点在第一图像坐标系上的坐标信息。
在一种可选的应用场景下，图4是根据本发明实施例一的又一种可选的像素点映射的示意图。在空间中任意一点P，在第一图像中的成像的像素点在第一图像坐标系坐标信息为m1(u1,v1)，在第二图像中成像的像素点在第二图像坐标系的坐标信息为m2(u2,v2)。其中O1、O2为第一摄像机和第二摄像机的光心，Z1为P点在第一图像中像素点在第一摄像机坐标系到世界坐标系的距离(即m1点在第一摄像机坐标系中的深度信息)，Z2为像素点在P点在第二图像中像素点在第二摄像机坐标系到世界坐标系的距离(即m2点在第二摄像机坐标系中的深度信息)。
可选地，步骤S143，使用坐标变换，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息的可以包括：
步骤S1431，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第二摄像机坐标系，得到第二图像中的像素点在第二摄像机坐标系中的坐标信息。
步骤S1433，将第二图像中的像素点在第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系，得到第二图像中的像素点在第一摄像机坐标系中的坐标信息。
步骤S1435，将第二图像中的像素点在第一摄像机坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息。
具体地，使用坐标变换，将第二图像中的像素点的坐标信息映射到第一图像坐标系中，从而得到第二图像中的像素点在第一图像坐标系上的坐标信息。
可选地，通过如下第一公式将第二图像中的像素点在第二图像坐标系中坐标信息m2(u2,v2)映射至第二摄像机坐标系，得到第二图像中的像素点在第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)；
其中,A2为第二摄相机的内参数；D2为第二图像的规模化系数。
可选地，通过如下第二公式将第二图像中的像素点在第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)映射至第一摄像机坐标系，得到第二图像中的像素点在第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)；
其中，R为第一摄像机坐标系与第二摄像机坐标系相对的旋转矩阵，t为第一摄像机坐标系与第二摄像机坐标系的相对的平移向量。
可选地，通过如下第三公式将第二图像中的像素点在第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)；
其中，A1为第一摄像机的内参数；D1为第一图像的规模化系数。
需要说明的是，上述第一公式、第二公式、第三公式分别对应于步骤S1431、步骤S1433、步骤S1435。利用坐标变换，将第二图像中的像素点的坐标信息映射到第一图像坐标系中，从而得到第二图像中的像素点在第一图像坐标系上的坐标信息。
还需要说明的是，作为本申请一种等同的表述方式，上述利用坐标变换，将第二图像中的像素点的坐标信息映射到第一图像坐标系中，从而得到第二图像中的像素点在第一图像坐标系上的坐标信息过程也可以按照如下方式进行计算。
通过如下第四公式将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)：
m1＝(Z2A1RA2 -1m2+A1t)/Z1。
其中，第二图像中的像素点在第二摄像机坐标系中的深度信息Z2可以通过RGB-D图像的深度信息获取，第二图像中的像素点在第一摄像机坐标系中的深度信息Z1可以通过上述第二公式以及第三公式计算得出。在Z1计算得出后，通过第四公式既可以计算得出第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)。
还需要说明的是，第一摄像机的内参数矩阵A1，第二摄相机的内参数矩阵A2；第一摄像机坐标系与第二摄像机坐标系相对的旋转矩阵R；第一摄像机坐标系与第二摄像机坐标系的相对的平移向量t可以通过标定获取。
还需要说明的是，通过摄像机成像时，图像上的点和世界坐标系之间的关系，建立方程式，运用比例正交投影确定摄像机的内参数A1、A2以及外参数R、t。外参数标定的过程可以是，假设第一摄相机和第二摄相机的靶面朝向一样，并且在世界坐标系同一平面上，其基线对齐，那么两个摄相机的相机坐标系只有平移关系，没有旋转关系，通过测量两个相机的基线距即可完成外参标定过程。内参数标定的过程可以是使用张正友标定法标定可见光相机内参数，使用一般的黑白格子标定板；使用张正友标定法标定红外相机内参数，使用专门针对红外相机的格子标定板，该标定板可以类似上述可见光标定板，其中白色格子区域为涂抹反射率高的材料，其中黑色格子区域为涂抹反射率很低的材料。
可选地，步骤S16,通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上可以包括：
步骤S161,当第二图像中的像素点映射至第一图像与第二图像的重叠区域时，将像素点在第一图像中的可见光信息以及像素点在第二图像中的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给像素点在拼接图像中的重叠区域的可见光信息。
具体地，在上述步骤S161中，可以通过第二图像中的像素点在映射到第一图像后，判断像素点的可见光信息与深度信息是否相同，来判断该像素点是否映射到第一图像与第二图像的重叠区域。重叠区域的像素点会存在至少两个可见光信息，可以将可见光信息通过加权的方法进行融合，得到像素点在拼接图像中的可见光信息。
步骤S163,当第二图像中的像素点映射至扩展区域时，将像素点在第二图像中的可见光信息，赋值给像素点在拼接图像中的扩展区域的可见光信息。
具体地，在上述步骤S163中，在第二图像的像素点映射到至扩展区域时，可以直接将第二图像的像素点的可见光信息，赋值给该像素点在拼接图像中的可见光信息。
还需要说明的是，本申请通过像素点的深度信息以及可见光信息，来确定像素点在拼接图像中的可见光信息，解决了在拼接时出现的前景、背景遮挡的问题，达到了提高拼接质量的目的。
可选地，步骤S16,通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像可以包括：
步骤S165,通过映射后的第二图像中的像素点在第一图像坐标系上的坐标信息，判断第二图像中的多个像素点是否同时映射到重叠区域和/或扩展区域的同一像素点上。
步骤S167,当第二图像中的多个像素点同时映射到重叠区域和/或扩展区域的同一像素点时，根据第二图像中的多个像素点的多个深度信息，确定重叠区域和/或扩展区域的同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
具体地，映射后的第二图像中的像素点的深度信息的数量为多个时，可以确定第二图像中的多个像素点同时映射到扩展区域的同一个像素点。在多个像素点同时映射到同一像素点时，便出现前背景遮挡的问题。
可选地，步骤S167,根据第二图像中的多个像素点的多个深度信息，确定重叠区域和/或扩展区域的同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息可以包括：
步骤S1671,对比第二图像中的多个像素点的多个深度信息，将多个深度信息中深度信息最小的像素点的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
具体地，在实际情况中，从某一视点出发仅能看到距离视点较近点的可见光信息，因此，可以将深度信息较小的可见光信息作为同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
步骤S1673,对第二图像中的多个像素点的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
具体地，对于多个像素点，当像素点的深度信息较小时，为该像素点的可见光信息赋予较大的权重值，通过多个像素点的多个可见光信息进行加权运算，将加权运算后的可见光信息作为拼接图像中的重叠区域和/或扩展区域的像素点的可见光信息。
在一种可选的应用场景下，图5是根据本发明实施例一的一种可选的存在遮挡时像素点的示意图。在图5中，空间上两点Pi,Pj。Pi在第二图像坐标系上的坐标信息为mi(ui，vi)，,Pj在第二图像坐标系上的坐标信息为mj(uj，vj)。按照坐标变换，mi(ui，vi)映射至第一图像坐标系中的m(u，v)，mj(uj，vj)同样映射至第一图像坐标系中的m(u，v)。在实际情况中，从视点O1出发仅能看到距离O1较近点的可见光信息，因此，可以将深度信息较小的可见光信息赋值给点m(u，v)。或者对于多个像素点，当像素点的深度信息较小时，为该像素点的可见光信息赋予较大的权重值，通过多个像素点的多个可见光信息进行加权运算，将加权运算后的可见光信息作为拼接图像中的扩展区域的像素点的可见光信息。
实施例二
根据本发明实施例，还提供了一种图像的拼接装置的装置实施例，需要说明的是，该图像的拼接装置可以用于实现本发明实施例的图像的拼接方法，本发明实施例的图像的拼接方法也可以通过该图像的拼接装置来执行，在本发明方法实施例中进行过说明的不再赘述。
图6是根据本发明实施例二的一种可选的图像的拼接装置的示意图。如图6所示，该装置包括：
获取单元40，用于获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域。
具体地，在获取单元40中，第一图像可以是图像拼接中的目标图像，第二图像可以是图像拼接中的待拼接图像，待拼接图像的数量可以是一个也可以是多个。在待拼接图像的数量为多个时，拼接的过程与将第二图像拼接至第一图像的过程相同。其中，第一图像可以是可见光相机拍摄的可见光图像，当第一图像为可见光相机拍摄的可见光图像时，可以将第一图像作为目标图的部分图像，可以达到节约计算量和相机成本的效果。第二摄像机可以是RGB-D相机，拍摄得到的第二图像可以是RGB-D图像，RGB-D图像包括可见光图像以及深度图像，也就是说，对于第二图像中的任意一个像素点，同时具有可见光信息以及深度信息。
需要说明的是，在将第二图像拼接至第一图像的过程中，需要第二图像与第一图像存在重叠区域，由于第二图像中的任意一个像素点，在RGB-D图像中既包含深度信息又包括可见光信息，因此，在映射过程中，上述重叠区域的像素点，无需对深度信息与可见光信息的进行对准，达到了提高拼接效率的目的。
映射单元42，用于将第二图像中的像素点映射到重叠区域和/或扩展区域上。
具体地，使用坐标变换，可以实现将第二图像(待拼接图像)中像素点映射至第一图像(目标图像)上。由于第二图像中的任意一个像素点映射至第一图像的过程是相同的，也就是说，在本申请实施例中，重叠区域与扩展区域的像素点采用相同的方法进行映射，因此，解决了拼接图像中过渡带重影以及重叠区域与扩展区域过渡段可能存在突变的问题，提高拼接图像重叠区域和扩展区域过渡段融合的质量。
需要说明的是，在将第二图像拼接至第一图像的过程中，需要第二图像与第一图像之间存在重叠区域，在本申请提供的方案中，由于第二图像中的任意一个像素点映射至第一图像的过程是相同的，也就是说，本申请不需要进行特征点的匹配，因此可以尽可能减小重叠区域的面积，从而达到在拼接次数相同的情况下，可以获取包含更大视场范围的拼接图像的目的。
拼接单元44，用于通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像。
具体地，当映射后的第二图像中的像素点在重叠区域时，该像素点可以具有两个可见光信息，一个深度信息，也就是说，落在重叠区域的像素点，可见光信息与深度信息的数量不同。当映射后的第二图像中的像素点在扩展区域时，该像素点可以具有一个可见光信息和一个深度信息，或者，在扩展区域的像素点存在遮挡问题时，一个像素点可以具有多个可见光信息和多个深度信息，也就是说，落在扩展区域的像素点，该像素点具有相同数量的可见光信息以及深度信息。
需要说明的是，映射后的第二图像中的像素点在重叠区域时，可以通过对两个可见光信息进行加权运算，将加权运算的结果作为映射后的第二图像中的像素点在拼接图像中的可见光信息。映射后的第二图像中的像素点在扩展区域时，可以将第二图像中的像素点的可见光信息作为第二图像中的像素点在拼接图像中的可见光信息。当第二图像中的多个像素点在映射后落在扩展区域时，并且存在遮挡问题时，可以比较多个像素点的多个深度信息，将深度信息最小的像素点的可见光信息作为映射后多个像素点在拼接图中像素点的可见光信息。
还需要说明的是，本申请通过像素点的深度信息以及可见光信息，来确定像素点在拼接图像中的可见光信息，解决了在拼接时出现的前景、背景遮挡的问题，达到了提高拼接质量的目的。
通过本申请实施例中获取单元40，用于获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，第一图像为具有可见光信息的图像，第二图像为包括深度信息以及可见光信息的图像，第一摄像机与第二摄像机相邻设置，采集到的第一图像与第二图像存在重叠区域；映射单元42，用于将第二图像中的像素点映射到重叠区域和/或扩展区域上；拼接单元44，用于通过第二图像中的像素点的深度信息以及可见光信息，将映射后的第二图像中的像素点拼接到重叠区域和/或扩展区域上，得到拼接图像。解决了现有技术在图像拼接过程中，拼接效率低的的技术问题。
可选地，映射单元42可以包括：
读取模块，用于读取第二图像中的像素点在第二图像坐标系中的坐标信息。
坐标变换模块，用于使用坐标变换，将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息。
确定模块，用于通过第二图像中的像素点在第一图像坐标系上的坐标信息，确定第二图像中的像素点在重叠区域和/或扩展区域的位置。
可选地，坐标变换模块包括：
第一映射子模块，用于将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第二摄像机坐标系，得到第二图像中的像素点在第二摄像机坐标系中的坐标信息。
第二映射子模块，用于将第二图像中的像素点在第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系，得到第二图像中的像素点在第一摄像机坐标系中的坐标信息。
第三映射子模块，用于将第二图像中的像素点在第一摄像机坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息。
可选地，第一映射子模块通过如下第一公式计算得到第二图像中的像素点在第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)；
其中,A2为第二摄相机的内参数；D2为第二图像的规模化系数。
可选地，第二映射子模块通过如下第二公式计算得到第二图像中的像素点在第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)；
其中，R为第一摄像机坐标系与第二摄像机坐标系相对的旋转矩阵，t为第一摄像机坐标系与第二摄像机坐标系的相对的平移向量。
需要说明的是，上述第一公式、第二公式、第三公式分别对应于第一映射子单元、第二映射子单元、第三映射子单元。利用坐标变换，将第二图像中的像素点的坐标信息映射到第一图像坐标系中，从而得到第二图像中的像素点在第一图像坐标系上的坐标信息。
还需要说明的是，作为本申请一种等同的表述方式，上述坐标变换模块，利用坐标变换，将第二图像中的像素点的坐标信息映射到第一图像坐标系中，从而得到第二图像中的像素点在第一图像坐标系上的坐标信息过程也可以按照如下方式进行计算。
通过如下第四公式将第二图像中的像素点在第二图像坐标系中的坐标信息映射至第一图像坐标系，得到第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)：
m1＝(Z2A1RA2 -1m2+A1t)/Z1。
其中，第二图像中的像素点在第二摄像机坐标系中的深度信息Z2可以通过RGB-D图像的深度信息获取，第二图像中的像素点在第一摄像机坐标系中的深度信息Z1可以通过上述第二公式以及第三公式计算得出。Z1计算得出后，通过第四公式既可以计算得出第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)。
还需要说明的是，第一摄像机的内参数矩阵A1，第二摄相机的内参数矩阵A2；第一摄像机坐标系与第二摄像机坐标系相对的旋转矩阵R；第一摄像机坐标系与第二摄像机坐标系的相对的平移向量t可以通过标定获取。
还需要说明的是，通过摄像机成像时，图像上的点和世界坐标系之间的关系，建立方程式，运用比例正交投影确定摄像机的外参数R、t。
可选地，第三映射子模块通过如下第三公式计算得到第二图像中的像素点在第一图像坐标系上的坐标信息m1(u1,v1)；
其中，A1为第一摄像机的内参数；D1为第一图像的规模化系数。
可选地，拼接单元44包括：
第一拼接模块，用于当第二图像中的像素点映射至第一图像与第二图像的重叠区域时，将像素点在第一图像中的可见光信息以及像素点在第二图像中的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给像素点在拼接图像中的重叠区域的可见光信息。
具体地，可以通过第二图像中的像素点在映射到第一图像后，判断像素点的可见光信息与深度信息是否相同，来判断该像素点是否映射到第一图像与第二图像的重叠区域。重叠区域的像素点会存在至少两个可见光信息，可以将可见光信息通过加权的方法进行融合，得到像素点在拼接图像中的可见光信息。
第二拼接模块，用于当第二图像中的像素点映射至扩展区域时，将像素点在第二图像中的可见光信息，赋值给像素点在拼接图像中的扩展区域的可见光信息。
具体地，在第二图像的像素点映射到至扩展区域时，可以直接将第二图像的像素点的可见光信息，赋值给该像素点在拼接图像中的可见光信息。
还需要说明的是，本申请通过像素点的深度信息以及可见光信息，来确定像素点在拼接图像中的可见光信息，解决了在拼接时出现的前景、背景遮挡的问题，达到了提高拼接质量的目的。
可选地，拼接单元还可以包括：
判断模块，用于通过映射后的第二图像中的像素点在第一图像坐标系上的坐标信息，判断第二图像中的多个像素点是否同时映射到重叠区域和/或扩展区域的同一像素点上。
确定模块，用于当第二图像中的多个像素点同时映射到重叠区域和/或扩展区域的同一像素点时，根据第二图像中的多个像素点的多个深度信息，确定重叠区域和/或扩展区域的同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
具体地，映射后的第二图像中的像素点的深度信息的数量为多个时，可以确定第二图像中的多个像素点同时映射到扩展区域的同一个像素点。在多个像素点同时映射到同一像素点时，便出现前背景遮挡的问题。
可选地，确定模块可以包括：
对比子模块，用于对比第二图像中的多个像素点的多个深度信息，将多个深度信息中深度信息最小的像素点的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
具体地，在实际情况中，从某一视点出发仅能看到距离视点较近点的可见光信息，因此，可以将深度信息较小的可见光信息作为同一像素点在拼接图像中的可见光信息。
加权子模块，用于对第二图像中的多个像素点的可见光信息进行加权运算，将经过加权运算的可见光信息赋值给同一像素点在拼接图像中的重叠区域和/或扩展区域的可见光信息。
具体地，对于多个像素点，当像素点的深度信息较小时，为该像素点的可见光信息赋予较大的权重值，通过多个像素点的多个可见光信息进行加权运算，将加权运算后的可见光信息作为拼接图像中的重叠区域和/或扩展区域的像素点的可见光信息。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种图像的拼接方法，其特征在于，包括：
获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，所述第一图像为具有可见光信息的图像，所述第二图像为包括深度信息以及所述可见光信息的图像，所述第一摄像机与所述第二摄像机相邻设置，采集到的所述第一图像与所述第二图像存在重叠区域；
将所述第二图像中的像素点映射到所述重叠区域和/或扩展区域上，其中，所述扩展区域为所述第二图像中的像素点映射到所述第一图像之外的图像区域；
通过所述第二图像中的像素点的深度信息以及可见光信息，将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上，得到拼接图像。
2.根据权利要求1所述的方法，其特征在于，将所述第二图像中的像素点映射到所述重叠区域和/或扩展区域上的步骤包括：
读取所述第二图像中的像素点在第二图像坐标系中的坐标信息；
使用坐标变换，将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第一图像坐标系，得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息；
通过所述第二图像中的像素点在所述第一图像坐标系上的坐标信息，确定所述第二图像中的像素点在所述重叠区域和/或所述扩展区域的位置。
3.根据权利要求2所述的方法，其特征在于，使用坐标变换，将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第一图像坐标系，得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息的步骤包括：
将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第二摄像机坐标系，得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息；
将所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系，得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息；
将所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息映射至所述第一图像坐标系，得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息。
4.根据权利要求3所述的方法，其特征在于，通过如下第一公式将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息m2(u2,v2)映射至所述第二摄像机坐标系，得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)；
X 2 Y 2 Z 2 1 = D 2 * A 2 - 1 * u 2 v 2 1 ,
其中,A2为所述第二摄相机的内参数；D2为所述第二图像的规模化系数。
5.根据权利要求4所述的方法，其特征在于，通过如下第二公式将所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)映射至所述第一摄像机坐标系，得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)；
X 1 Y 1 Z 1 1 = R , t 0 T , 1 X 2 Y 2 Z 2 1 ,
其中，R为所述第一摄像机坐标系与所述第二摄像机坐标系相对的旋转矩阵，t为所述第一摄像机坐标系与所述第二摄像机坐标系的相对的平移向量。
6.根据权利要求5所述的方法，其特征在于，通过如下第三公式将所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)映射至所述第一图像坐标系，得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息m1(u1,v1)；
u 1 v 1 1 = A 1 D 1 X 1 Y 1 Z 1 1
其中，A1为所述第一摄像机的内参数；D1为所述第一图像的规模化系数。
7.根据权利要求1所述的方法，其特征在于，通过所述第二图像中的像素点的深度信息以及可见光信息，将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上，得到拼接图像的步骤包括：
当所述第二图像中的像素点映射至所述重叠区域时，将所述像素点在所述第一图像中的可见光信息以及所述像素点在所述第二图像中的可见光信息进行加权运算，将经过所述加权运算的可见光信息赋值给所述像素点在所述拼接图像中的所述重叠区域的可见光信息；
当所述第二图像中的像素点映射至所述扩展区域时，将所述像素点在所述第二图像中的可见光信息，赋值给所述像素点在所述拼接图像中的所述扩展区域的可见光信息。
8.根据权利要求2所述的方法，其特征在于，通过所述第二图像中的像素点的深度信息以及可见光信息，将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上，得到拼接图像的步骤包括：
通过映射后的所述第二图像中的像素点在所述第一图像坐标系上的坐标信息，判断所述第二图像中的多个像素点是否同时映射到所述重叠区域和/或所述扩展区域的同一像素点上；
当所述第二图像中的多个像素点同时映射到所述重叠区域和/或所述扩展区域的同一像素点时，根据所述第二图像中的多个像素点的多个深度信息，确定所述重叠区域和/或所述扩展区域的同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。
9.根据权利要求8所述的方法，其特征在于，根据所述第二图像中的多个像素点的多个深度信息，确定所述重叠区域和/或所述扩展区域的同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息的步骤包括：
对比所述第二图像中的多个像素点的所述多个深度信息，将所述多个深度信息中深度信息最小的像素点的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息；或者
对所述第二图像中的多个像素点的可见光信息进行加权运算，将经过所述加权运算的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。
10.一种图像的拼接装置，其特征在于，包括：
获取单元，用于获取第一摄像机采集到的第一图像以及第二摄像机采集到的第二图像，其中，所述第一图像为具有可见光信息的图像，所述第二图像为包括深度信息以及可见光信息的图像，所述第一摄像机与所述第二摄像机相邻设置，采集到的所述第一图像与所述第二图像存在重叠区域；
映射单元，用于将所述第二图像中的像素点映射到所述重叠区域和/或扩展区域上，其中，所述扩展区域为所述第二图像中的像素点映射到所述第一图像之外的图像区域；
拼接单元，用于通过所述第二图像中的像素点的深度信息以及可见光信息，将映射后的所述第二图像中的像素点拼接到所述重叠区域和/或所述扩展区域上，得到拼接图像。
11.根据权利要求10所述的装置，其特征在于，所述映射单元包括：
读取模块，用于读取所述第二图像中的像素点在第二图像坐标系中的坐标信息；
坐标变换模块，用于使用坐标变换，将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第一图像坐标系，得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息；
确定模块，用于通过所述第二图像中的像素点在所述第一图像坐标系上的坐标信息，确定所述第二图像中的像素点在所述重叠区域和/或所述扩展区域的位置。
12.根据权利要求11所述的装置，其特征在于，所述坐标变换模块包括：
第一映射子模块，用于将所述第二图像中的像素点在所述第二图像坐标系中的坐标信息映射至第二摄像机坐标系，得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息；
第二映射子模块，用于将所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息映射至第一摄像机坐标系，得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息；
第三映射子模块，用于将所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息映射至所述第一图像坐标系，得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息。
13.根据权利要求12所述的装置，其特征在于，所述第一映射子模块通过如下第一公式计算得到所述第二图像中的像素点在所述第二摄像机坐标系中的坐标信息m2(X2,Y2,Z2)；
X 2 Y 2 Z 2 1 = D 2 * A 2 - 1 * u 2 v 2 1 ,
其中,A2为所述第二摄相机的内参数；D2为所述第二图像的规模化系数。
14.根据权利要求13所述的装置，其特征在于，所述第二映射子模块通过如下第二公式计算得到所述第二图像中的像素点在所述第一摄像机坐标系中的坐标信息m1(X1,Y1,Z1)；
X 1 Y 1 Z 1 1 = R , t 0 T , 1 X 2 Y 2 Z 2 1 ,
其中，R为所述第一摄像机坐标系与所述第二摄像机坐标系相对的旋转矩阵，t为所述第一摄像机坐标系与所述第二摄像机坐标系的相对的平移向量。
15.根据权利要求14所述的装置，其特征在于，所述第三映射子模块通过如下第三公式计算得到所述第二图像中的像素点在所述第一图像坐标系上的坐标信息m1(u1,v1)；
u 1 v 1 1 = A 1 D 1 X 1 Y 1 Z 1 1
其中，A1为所述第一摄像机的内参数；D1为所述第一图像的规模化系数。
16.根据权利要求10所述的装置，其特征在于，所述拼接单元包括：
第一拼接模块，用于当所述第二图像中的像素点映射至所述重叠区域时，将所述像素点在所述第一图像中的可见光信息以及所述像素点在所述第二图像中的可见光信息进行加权运算，将经过所述加权运算的可见光信息赋值给所述像素点在所述拼接图像中的所述重叠区域的可见光信息；
第二拼接模块，用于当所述第二图像中的像素点映射至所述扩展区域时，将所述像素点在所述第二图像中的可见光信息，赋值给所述像素点在所述拼接图像中的所述扩展区域的可见光信息。
17.根据权利要求16所述的装置，其特征在于，所述拼接单元包括：
判断模块，用于通过映射后的所述第二图像中的像素点在所述第一图像坐标系上的坐标信息，判断所述第二图像中的多个像素点是否同时映射到所述重叠区域和/或所述扩展区域的同一像素点上；
确定模块，用于当所述第二图像中的多个像素点同时映射到所述重叠区域和/或所述扩展区域的同一像素点时，根据所述第二图像中的多个像素点的多个深度信息，确定所述重叠区域和/或所述扩展区域的同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。
18.根据权利要求17所述的装置，其特征在于，所述确定模块包括：
对比子模块，用于对比所述第二图像中的多个像素点的所述多个深度信息，将所述多个深度信息中深度信息最小的像素点的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息；
加权子模块，用于对所述第二图像中的多个像素点的可见光信息进行加权运算，将经过所述加权运算的可见光信息赋值给所述同一像素点在所述拼接图像中的所述重叠区域和/或所述扩展区域的可见光信息。
CN201510752156.XA 2015-11-06 2015-11-06 图像的拼接方法和装置 Active CN106683071B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510752156.XA CN106683071B (zh) 2015-11-06 2015-11-06 图像的拼接方法和装置
US15/773,544 US10755381B2 (en) 2015-11-06 2016-08-22 Method and device for image stitching
EP16861375.0A EP3373241B1 (en) 2015-11-06 2016-08-22 Method and device for image splicing
PCT/CN2016/096182 WO2017076106A1 (zh) 2015-11-06 2016-08-22 图像的拼接方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510752156.XA CN106683071B (zh) 2015-11-06 2015-11-06 图像的拼接方法和装置

Publications (2)

Publication Number Publication Date
CN106683071A true CN106683071A (zh) 2017-05-17
CN106683071B CN106683071B (zh) 2020-10-30

Family

ID=58661550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510752156.XA Active CN106683071B (zh) 2015-11-06 2015-11-06 图像的拼接方法和装置

Country Status (4)

Country Link
US (1) US10755381B2 (zh)
EP (1) EP3373241B1 (zh)
CN (1) CN106683071B (zh)
WO (1) WO2017076106A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769476A (zh) * 2018-06-06 2018-11-06 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN109889736A (zh) * 2019-01-10 2019-06-14 深圳市沃特沃德股份有限公司 基于双摄像头、多摄像头的图像获取方法、装置及设备
WO2019174146A1 (en) * 2018-03-13 2019-09-19 Boe Technology Group Co., Ltd. Image stitching method, image stitching apparatus, display apparatus, and computer product
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质
WO2020048509A1 (zh) * 2018-09-06 2020-03-12 杭州海康威视数字技术股份有限公司 一种画面间区域映射方法、装置及多相机观测系统
CN111723830A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN113709388A (zh) * 2021-08-23 2021-11-26 西北工业大学 一种多源视频拼接方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689030A (zh) * 2017-09-18 2018-02-13 上海联影医疗科技有限公司 一种图像处理的方法及装置
CN107622518B (zh) * 2017-09-20 2019-10-29 Oppo广东移动通信有限公司 图片合成方法、装置、设备及存储介质
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US11158056B2 (en) * 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection
CN110493511B (zh) * 2019-07-30 2023-05-09 维沃移动通信有限公司 一种全景图像生成方法及移动终端
US11568516B2 (en) * 2019-09-12 2023-01-31 Nikon Corporation Depth-based image stitching for handling parallax
CN111028155B (zh) * 2019-12-17 2023-02-14 大连理工大学 一种基于多对双目相机的视差图像拼接方法
KR102441485B1 (ko) * 2020-05-29 2022-09-07 주식회사 메디트 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN113496245B (zh) * 2020-06-23 2024-12-20 海信集团控股股份有限公司 智能冰箱及识别存取食材的方法
CN113392913B (zh) * 2021-06-21 2023-09-29 常州大学 基于边界特征点集的平面图形匹配度评价方法、装置及系统
CN113538237A (zh) * 2021-07-09 2021-10-22 北京超星未来科技有限公司 一种图像拼接系统、方法及电子设备
CN114594038B (zh) * 2022-05-09 2022-08-09 天津立中车轮有限公司 一种精确测算孔隙率的扫描拼接应用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
US20110316963A1 (en) * 2008-12-30 2011-12-29 Huawei Device Co., Ltd. Method and device for generating 3d panoramic video streams, and videoconference method and device
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
CN104463899A (zh) * 2014-12-31 2015-03-25 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI383680B (zh) * 2008-04-10 2013-01-21 Univ Nat Chiao Tung 整合式影像監視系統及其方法
US20120133639A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Strip panorama
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
CN104318547B (zh) * 2014-10-09 2017-06-23 浙江捷尚视觉科技股份有限公司 基于gpu加速的多双目拼接智能分析系统
CN104519340B (zh) 2014-12-30 2016-08-17 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
CN104680520B (zh) * 2015-02-06 2018-08-14 清远初曲智能科技有限公司 一种现场三维信息勘验方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
US20110316963A1 (en) * 2008-12-30 2011-12-29 Huawei Device Co., Ltd. Method and device for generating 3d panoramic video streams, and videoconference method and device
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法
CN104463899A (zh) * 2014-12-31 2015-03-25 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019174146A1 (en) * 2018-03-13 2019-09-19 Boe Technology Group Co., Ltd. Image stitching method, image stitching apparatus, display apparatus, and computer product
CN108769476A (zh) * 2018-06-06 2018-11-06 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN108769476B (zh) * 2018-06-06 2019-07-19 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质
WO2020048509A1 (zh) * 2018-09-06 2020-03-12 杭州海康威视数字技术股份有限公司 一种画面间区域映射方法、装置及多相机观测系统
CN109889736A (zh) * 2019-01-10 2019-06-14 深圳市沃特沃德股份有限公司 基于双摄像头、多摄像头的图像获取方法、装置及设备
CN109889736B (zh) * 2019-01-10 2020-06-19 深圳市沃特沃德股份有限公司 基于双摄像头、多摄像头的图像获取方法、装置及设备
CN111723830A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN111723830B (zh) * 2019-03-20 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN113709388A (zh) * 2021-08-23 2021-11-26 西北工业大学 一种多源视频拼接方法及装置
CN113709388B (zh) * 2021-08-23 2022-07-05 西北工业大学 一种多源视频拼接方法及装置

Also Published As

Publication number Publication date
US10755381B2 (en) 2020-08-25
CN106683071B (zh) 2020-10-30
EP3373241A1 (en) 2018-09-12
EP3373241A4 (en) 2020-05-20
EP3373241B1 (en) 2025-03-19
WO2017076106A1 (zh) 2017-05-11
US20180330471A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
CN106683071A (zh) 图像的拼接方法和装置
TWI554976B (zh) 監控系統及其影像處理方法
CN101673395B (zh) 图像拼接方法及装置
CN106651767A (zh) 一种获取全景图像的方法及装置
CN109711243A (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN110111262A (zh) 一种投影仪畸变校正方法、装置和投影仪
KR20190021342A (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN109087244A (zh) 一种全景图像拼接方法、智能终端及存储介质
CN109559349A (zh) 一种用于标定的方法和装置
KR20130089649A (ko) 3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치
CN107038722A (zh) 一种设备定位方法及装置
CN111738969B (zh) 图像融合方法、装置及计算机可读存储介质
CN109961078A (zh) 图像匹配及拼接方法、装置、系统、可读介质
CN104103051B (zh) 一种图像拼接方法和设备
CN108960238A (zh) 基于多摄像头的商品识别处理方法和装置
CN102903101A (zh) 使用多台相机进行水面数据采集与重建的方法
CN114419289B (zh) 一种基于Unity的虚拟场景货架陈列方法及系统
US20190287223A1 (en) Blurring Panoramic Image Blurring Method, Terminal And Computer Readable Storage Medium
US20070183648A1 (en) Creating a depth map
CN113763301B (zh) 一种减小错切概率的三维图像合成方法和装置
CN108259764A (zh) 摄像机、应用于摄像机的图像处理方法及装置
CN110222569A (zh) 对象检测方法、装置、电子设备及可读存储介质
CN113821107B (zh) 一种实时、自由视点的室内外裸眼3d系统
CN104144329B (zh) 光学跟踪方法
CN111105351A (zh) 一种视频序列影像拼接方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant