[go: up one dir, main page]

CN103345114A - 一种移动立体成像系统 - Google Patents

一种移动立体成像系统 Download PDF

Info

Publication number
CN103345114A
CN103345114A CN201310128604XA CN201310128604A CN103345114A CN 103345114 A CN103345114 A CN 103345114A CN 201310128604X A CN201310128604X A CN 201310128604XA CN 201310128604 A CN201310128604 A CN 201310128604A CN 103345114 A CN103345114 A CN 103345114A
Authority
CN
China
Prior art keywords
image
camera
module
photo
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310128604XA
Other languages
English (en)
Inventor
王有年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wang Younian
Wuhan Handarui Technology Co Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN103345114A publication Critical patent/CN103345114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种移动立体成像和处理设备,包括诸如平板计算机和智能电话的普通移动设备、两台或多台符合立体安装需求的数码相机、用于操纵相机、优选是具有同步图像捕捉功能的摄影定时控制器、用于控制和操纵该设备、视觉化和测量图像、从捕捉的2D图像计算和推导3D对象信息的处理器指令包(软件处理单元)、以及诸如遥控器、GPS和IMU的可选构件、以及用于对应构件的控制。操纵和处理的可选处理器指令单元。

Description

一种移动立体成像系统
技术领域
本发明属于立体视觉和测量技术领域,更具体地,涉及一种移动立体成像系统。
背景技术
许多诸如平板计算机(例如苹果iPad和三星Galaxy Tab)的移动设备和智能电话(诸如苹果iPhone、摩托罗拉Droid Razr Maxx、三星GalaxyNexus)具有供用户拍摄他/她感兴趣的图像、并将其发送和与别的人们分享的内置数码相机。然而,这些设备都不能为用户提供用图像实现立体和3D测量的特征。
立体视觉(立体视)是用于确定场景中的点距离从空间中不同视点捕捉的场景的两张或多张图像的3D坐标或距离的过程。立体视觉算法已经被用在许多基于计算机的应用程序中,以构建用于例如车辆导航、测量和几何检测的地形和对象的模型。
本发明用于通过安放2台或多台相机并使其同时拍摄图像、以及使用方法和算法实现立体测量、立体观看和3D场景重构的方式为移动设备提供3D和立体能力。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种移动立体成像系统,用于通过安放2台或多台相机并使其同时拍摄图像、以及使用方法和算法实现立体测量、立体观看和3D场景重构的方式为移动设备提供3D和立体能力。
为实现上述目的,本发明提供了一种移动立体成像系统,包括:
A、诸如任何平板电脑或智能电话的普通移动设备,其具有处理器、RAM、操作系统、显示单元、数字存储媒体、WiFi或3G/4G无线连接的典型构件和特征;
B、两台或多台具有或不具有视频捕捉能力的数码相机;
C、控制和操作相机的控制器单元,其是用于来自两个或多个相机的同步图像捕捉的摄影定时控制器;
D、可选遥控器,用于操纵相机、数据处理以及远程传送;
E、诸如GPS设备的可选位置传感器,用于记录相机位置;
F、诸如IMU的可选姿态传感器,用于记录相机的姿态;
G、保持设备水平的可选水准器;
H、诸如USB连接的可选有线连接,用于在移动设备和诸如台式电脑的其他设备之间传送图像和数据;
I、其他用于上述构件以使设备正确工作的必要的连接线缆,控制单元和其他元件。
一种移动立体成像系统中的相机安装方法,包括以下步骤:
A、以彼此间隔一定距离将相机安装或安放在移动设备中,位置可以是在设备每边的中间,或者设备的四角处,至少使用两台相机,在仅使用两台相机的情况下,这两台相机彼此同向和对称安装,即相机之间维持一定距离,距离越长,能达到的精度越好,相机的指向可以是平行的,或者具有一些倾角,相机的安装位置和数量可灵活变化,唯一的要求是一台相机的图像应该与其相邻相机的图像具有一些重叠,但两台相机不能安放在同一位置;
B、一种典型的配置是使用两台相机,其指向彼此平行,并与穿过两台相机中心的连线垂直,这种典型的情况使获取图像的处理更简单和快速,这也是立体和3D视频捕捉的理想配置,必须指出将两台相机安装在几乎相同的位置、但指向相反的方向并不满足本发明的安装要求,因此也不被包括在本发明中,这是由于这两台相机不可能同时捕捉重叠的图像。
一种控制和操纵移动设备和相机用于拍摄照片和视频、以2D或立体模式观看和处理图像和视频、手动或自动测量图像、从拍摄的2D图像计算和提取3D对象信息的移动立体成像系统中的处理器指令包,软件包可被指定在以下模块中:
A、用于相机内部和外部参数检定的处理器指令模块,该模块所用的相机参数检定算法可以是公开可用的算法和方法、或者专门设计或开发的算法和方法,相机内部参数包括焦距、主点的位置、相机镜头失真参数,外部参数包括相机中心的位置,以及相机图像平面的姿态;
B、用于控制相机操作的处理器指令模块;
C、用于图像观看和测量的处理器指令模块,观看和测量可以在2D观看软件中、或者两幅重叠图像被立体显示的观看软件中实现;
D、用于自动匹配或识别所有与相同被摄对象点或特征对应的图像上相同点或其他特征的处理器指令模块;
E、从相机参数和测量图像点坐标计算对象空间点的3D坐标的处理器指令模块,它还包括从3D坐标的一些导出变量和详细的3D数字表面模型的计算,以及具有点云的对象表面的表示;
F、其他用于控制、操纵和处理诸如GPS和IMU的可选构件的可选处理器指令模块;
G、其他用于立体图像、推导数据和结果的可视化、分析、传送或共享的可选处理器指令模块。
一种移动立体成像系统,包括两台或多台数码相机、控制器单元、移动设备、投影仪、遥控器、IMU以及GPS,数码相机安装在移动设备上,并通过控制器单元与移动设备相连,数码相机用于同时拍摄到被摄对象,且拍摄到的照片有重叠,控制器单元用于接收用户指令,并根据用户指令启动数码相机同步工作,数码相机用于同步采集照片,并将采集到的照片通过控制器单元传送到移动设备进行存储,数码相机相对于移动设备的中心呈轴对称,移动设备用于对照片进行测量和三维重建,控制器单元和投影仪相连,用于在光线不足时接收用户发出的投影仪启动指令来开启该投影仪,投影仪还用于向被摄目标投射特定的光结构或者照明。
移动设备包括测量影像模块和三维目标重建模块,测量影像模块包括数字影像输入子模块、影像显示子模块、测量影像点子模块、空间坐标计算子模块以及导出量计算子模块,数字影像输入子模块用于将照片从移动设备的存储器读入到处理器,影像显示子模块用于将照片通过图形卡显示到显示器上,测量影像点子模块用于移动测标点到照片上要测量的位置点,以获得影像点的坐标,空间坐标计算子模块用于根据影像点的坐标和照片的定向参数,计算影像点对应的目标点的三维空间坐标,导出量计算子模块用于计算被摄目标或被摄目标上特定标志间的距离、面积、体积,三维目标重建模块包括数字影像输入子模块、同名点影像匹配子模块、影像定向子模块、表面精细匹配子模块、三维几何建模子模块以及三维影像模型子模块,数字影像输入子模块用于将数字照片从存储器中读入到处理器,同名点影像匹配子模块用于利用数字影像匹配方法自动识别不同照片上的相同目标点,影像定向子模块用于根据同名点影像匹配子模块匹配的不同照片上的相同目标点的影像坐标和相机参数,运用摄影测量中已知的空中三角测量理论进行照片的定向计算,以获得每张照片的定向参数,表面精细匹配子模块用于利用影像逐个像素匹配方法匹配照片重叠区域内的每个像素,三维几何建模子模块用于根据照片的每个像素坐标和定向参数计算目标的每个表面点三维坐标,以形成目标三维几何模型,三维影像模型子模块用于对每个目标的表面点从相应照片中获取颜色参数,以形成三维影像模型。
本发明的系统还包括遥控器、IMU和GPS,遥控器和控制器单元相连,用于接收用户发出的指令,并将该指令传送到控制器单元,IMU和控制器单元以及数码相机相连,用于记录数码相机的姿态,并将该姿态传送到控制器单元,GPS和控制器单元连接,用于采集数码相机的位置信息,并将位置信息传送到控制器单元。
通过本发明所构思的以上技术方案,与现有技术相比,本发明具有以下的有益效果:
通过采用数码相机,以及采用影像模块和三维目标重建模块的移动设备,本发明的系统可以实现立体测量、立体观看和3D场景重构,并为移动设备提供3D和立体能力。
附图说明
图1是一种具有两台相机的典型配置中移动立体成像设备的示意图。
图2是另一种具有四台相机的配置中移动立体成像设备的示意图。
图3是在相机的优选配置中两张重叠的2D图像的3D坐标计算的原理示意图。
图4是在相机的通用配置中两张重叠的2D图像的3D坐标计算的原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是具有立体图像和/或视频捕捉能力的移动设备的示例图。
图2是具有多个立体图像和/或用于更高准确性的视频捕捉的移动设备的另一个可能配置的示例图。
图3是从移动立体图像获取对象深度的示意图,用于显示从具有重叠的2D图像获得3D坐标的原理。
如图3所示,假设第一相机中心是C1,第二相机中心是C2,相机焦距是f,两台相机中心之间的距离是B,未知空间点P摄像于相对于图像中心的坐标为(x1,y1)的位置处的第一张图像上,以及相对于图像中心的坐标为(x2,y2)的位置处的第二张图像上。图3表达的只是XZ平面上的几何关系,YZ平面上的几何关系与此是一致的。一旦安装了移动立体设备,可通过相机校准过程确定B和F,这样可在拍摄图像后手动或自动测量未知值(x1,y1)和(x2,y2)。未知对象空间点的坐标(Xp,Yp,Dp)可使用以下等式计算:
D P = B * f / ( x 1 - x 2 ) X P = D P * x 1 / f Y p = D P * y 1 / f             等式1
图4是来自两张重叠图像的通用对象深度的视图,用于从2D移动立体图像获得3D坐标。
图4示出两张图像立体的通常情况,其中两个相机指向并不严格平行,两个图像平面不一定彼此平行,不一定与两个相机中心的基线平行。
假设第一相机中心是C1,第二相机中心是C2,第一张图像中心点是o1,第一张图像中心点是o2,坐标为(Xp,Yp,Zp)的位置对象空间点摄像于第一张图像上位置p1处,记其影像坐标为(x1,y1),以及第二张图像上位置p2处,记其影像坐标为(x2,y2),根据空间透视投影理论和共线关系式(等式2),以下等式是正确的:
x 1 y 1 1 = L 10 L 11 L 12 L 13 L 14 L 15 L 16 L 17 L 18 L 19 L 110 L 111 X p Y p Z p 1 , x 2 y 2 1 = L 20 L 21 L 22 L 13 L 24 L 25 L 26 L 17 L 28 L 29 L 210 L 211 X p Y p Z p 1        等式2
等式2中的L10,L11,。。。,L111为12个从3维目标空间到2维影像空间的变换参数,L20,L21,。。。,L211也同样。等式两边可以同除以一个不为零的参数,这意味着每张图像具有11个独立参数(Lij),并且对于整张图像而言是恒定的。这些参数可通过校准过程预先确定,或者通过使用至少6个已知空间点的方式在应用程序中确定。一旦其已知,对于每个对象空间点P而言,每张图像有2个独立的等式,由此2张图像有4个等式,因此可求解出3个空间未知数。更多的图像可提供更多的等式,并因此提供更高准确度的对象空间坐标。
本发明的移动立体成像系统,包括:
诸如任何平板电脑或智能电话的普通移动设备,其具有诸如(但不局限于)处理器、RAM、操作系统、显示单元(屏幕)、数字存储媒体、WiFi或3G/4G无线连接的典型构件和特征;
两台或多台具有或不具有视频捕捉能力的数码相机;
控制和操作相机的控制器单元,其优选是用于来自两个或多个相机的同步图像捕捉的摄影定时控制器,由于同步图像捕捉能采集移动对象的3D信息,其是优选的选择,然而不具有同步特征的简化控制器也可用于操纵相机拍摄静态对象的图像用于3D信息采集;
可选遥控器,用于操纵相机、数据处理以及远程传送;
诸如GPS(全球定位系统)设备的可选位置传感器,用于记录相机位置;
诸如IMU(惯性测量单元)的可选姿态传感器,用于记录相机的姿态;
保持设备水平的可选水准器;
诸如USB连接的可选有线连接,用于在移动设备和诸如台式电脑的其他设备之间传送图像和数据;
其他用于上述构件以使设备正确工作的必要的连接线缆,控制单元和其他元件。
本发明移动立体成像系统中的相机安装方法,包括以下步骤:
A、以彼此间隔一定距离将相机安装或安放在移动设备中,例如,位置可以是在设备每边的中间,或者设备的四角处,至少使用两台相机,在仅使用两台相机的情况下,这两台相机彼此同向和对称安装,即相机之间维持一定距离,距离越长,能达到的精度越好,相机的指向可以是平行的,或者具有一些倾角,相机的安装位置和数量可灵活变化,唯一的要求是一台相机的图像应该与其相邻相机的图像具有一些重叠,但两台相机不能安放在同一位置;
B、一种典型的配置是使用两台相机,其指向彼此平行,并与穿过两台相机中心的连线垂直,这种典型的情况使获取图像的处理更简单和快速,这也是立体和3D视频捕捉的理想配置,必须指出将两台相机安装在几乎相同的位置、但指向相反的方向(即指向几乎180度,诸如使用苹果Ipad2时)并不满足本发明的安装要求,因此也不被包括在本发明中,这是由于这两台相机不可能同时捕捉重叠的图像。
一种控制和操纵移动设备和相机用于拍摄照片和视频、以2D或立体模式观看和处理图像和视频、手动或自动测量图像、从拍摄的2D图像计算和提取3D对象信息的移动立体成像系统中的处理器指令(软件)包,软件包可被指定在(但不局限于)以下模块中(可具有更多或更少的模块,这取决于其使用和应用):
A、用于相机内部和外部参数检定的处理器指令模块(软件),该模块所用的相机参数检定算法可以是公开可用的算法和方法、或者专门设计或开发的算法和方法,相机内部参数包括焦距、主点的位置、相机镜头失真参数,外部参数包括相机中心的位置,以及相机图像平面的姿态;
B、用于控制相机操作的处理器指令模块(软件);
C、用于图像观看和测量的处理器指令模块(软件),观看和测量可以在2D观看软件(图像是单独显示)中、或者两幅重叠图像被立体显示的观看软件中实现;
D、用于自动匹配或识别所有与相同被摄对象点或特征对应的图像上相同点或其他特征的处理器指令模块(软件),例如,屋角被拍摄并展示在两张图像上,本模块的用途在于自动识别两张图像上屋角的位置并报告其图像坐标,该过程通常被称为图像匹配,存在许多公开可用的、用于诸如标准化交叉相关的图像匹配的算法;
E、从相机参数和测量图像点坐标计算对象空间点的3D坐标的处理器指令模块(软件),它还包括诸如对象的长度、高度、大小、面积和体积的推导变量和详细的3D数字表面模型的计算,以及具有点云的对象表面的表示;
F、其他用于控制、操纵和处理诸如GPS和IMU的可选构件的可选处理器指令模块;
G、其他用于立体图像、推导数据和结果的可视化、分析、传送或共享的可选处理器指令模块。
本发明的移动立体成像系统包括两台或多台数码相机、控制器单元、移动设备、投影仪、遥控器、IMU、GPS。
数码相机设置在移动设备上,并通过控制器单元与移动设备相连。
数码相机安装位置必须保证两台数码相机能同时拍摄到被摄对象,即不同相机拍摄到的照片要有重叠。
在本实施方式中,移动设备是手机和平板电脑。
控制器单元用于接收用户指令,并根据用户指令启动数码相机同步工作。
数码相机用于同步采集照片,并将采集到的照片通过控制器单元传送到移动设备进行存储。优选地,本发明中的多台数码相机相对于移动设备的中心呈轴对称,且数码相机之间的距离越远,则本系统的测量精度越高。
移动设备包括测量影像模块和三维目标重建模块,测量影像模块用于对照片进行测量,三维目标重建模块用于对照片进行三维重建。
测量影像模块包括数字影像输入子模块、影像显示子模块、测量影像点子模块、空间坐标计算子模块以及导出量计算子模块。
数字影像输入子模块用于将照片从移动设备的存储器读入到处理器。
影像显示子模块用于将照片通过图形卡显示到显示器上。
测量影像点子模块用于移动测标点到照片上要测量的位置点,以获得影像点的坐标。在本实施方式中,是利用触摸屏、鼠标等输入设备实现移动。
空间坐标计算子模块用于根据影像点的坐标和照片的定向参数,利用图的公式计算影像点对应的目标点的三维空间坐标。
导出量计算子模块用于采用现有技术中的公式计算被摄目标或被摄目标上特定标志间的距离、面积、体积等导出量。
三维目标重建模块包括数字影像输入子模块、同名点影像匹配子模块、影像定向子模块、表面精细匹配子模块、三维几何建模子模块以及三维影像模型子模块。
数字影像输入子模块用于将数字照片从存储器中读入到处理器。
同名点影像匹配子模块用于利用数字影像匹配方法自动识别不同照片上的相同目标点。
影像定向子模块用于根据同名点影像匹配子模块匹配的不同照片上的相同目标点的影像坐标和相机参数,运用摄影测量中已知的空中三角测量理论进行照片的定向计算,以获得每张照片的定向参数。
表面精细匹配子模块用于利用影像逐个像素匹配方法匹配照片重叠区域内的每个像素。
三维几何建模子模块用于根据照片的每个像素坐标和定向参数计算目标的每个表面点三维坐标,以形成目标三维几何模型。
三维影像模型子模块用于对每个目标的表面点从相应照片中获取颜色参数,以形成三维影像模型。
控制器单元和投影仪相连,用于在光线不足时接收用户发出的投影仪启动指令来开启该投影仪。
投影仪还用于向被摄目标投射特定的光结构或者照明。
遥控器和控制器单元相连,用于接收用户发出的指令,并将该指令传送到控制器单元。
IMU和控制器单元以及数码相机相连,用于记录数码相机的姿态,并将该姿态传送到控制器单元。
GPS和控制器单元连接,用于采集数码相机的位置信息,并将位置信息传送到控制器单元。
本发明对照片进行测量的工作过程如下:
1、将本发明的移动立体成像系统放置在一个合适的平台(比如三脚架或手持装置)上,若系统上附加有水平气泡,则调节平台使水平气泡居中,本系统需要面对被摄对象放置;
2、对被摄对象启动遥控器或者控制器单元,以进行同步摄影,摄影的照片以手动或自动方式存储在移动设备的存储器中。
3、启动测量影像模块对照片进行影像测量,以获得需要的目标的测量量。
4、将测量的结果显示在显示屏上,并存储在移动设备的存储器中,或者发送到远程接收单元,如手机、电子邮箱、服务器等。
本发明对照片进行三维目标重建的工作过程如下:
1、将本发明的移动立体成像系统放置在一个合适的平台(比如三脚架或手持装置)上,若系统上附加有水平气泡,则调节平台使水平气泡居中,本系统需要面对被摄对象放置;
2、启动投影仪和数码相机,投影仪将特定的纹理结构或模式投影到目标表面上,数码相机则同时获取目标和投影到其上的模式结构照片。
3、启动三维目标重建模块对投影的模式结构照片和目标影像点进行影像匹配和模式识别,以获取目标的三维几何模型和三维影像模型。
4、将测量的结果显示在显示屏上,并存储在移动设备的存储器中,或者发送到远程接收单元,如手机、电子邮箱、服务器等。
本发明系统的工作原理如下:
1、将本发明的移动立体成像系统放置在一个合适的平台(比如三脚架或手持装置)上,若系统上附加有水平气泡,则调节平台使水平气泡居中,本系统需要面对被摄对象放置;
2、启动投影仪和数码相机,投影仪将特定的纹理结构或模式投影到目标表面上,数码相机则同时获取目标和投影到其上的模式结构照片。
3、启动三维目标重建模块对投影的模式结构照片和目标影像点进行影像匹配和模式识别,以获取目标的三维几何模型和三维影像模型。
4、目标较大时,一次摄影不能获得目标的全部照片,此时需要将系统移动到周围的另一个合适位置上,对着目标的另一部分进行系统准备。
5、对于目标的另一个部分进行同步投影和摄影,方法同步骤2。
6、启动三维目标重建模块对投影的模式结构照片和目标影像点进行影像匹配和模式识别,以获取目标的另一个部分的三维几何模型和三维影像模型。
7、对多次摄影后建立的部分目标三维模型进行空间变换,以把各个部分模型自动拼接为一个整体模型。
8、将测量的结果显示在显示屏上,并存储在移动设备的存储器中,或者发送到远程接收单元,如手机、电子邮箱、服务器等。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种移动立体成像系统,其特征在于,包括:
A、诸如任何平板电脑或智能电话的普通移动设备,其具有处理器、RAM、操作系统、显示单元、数字存储媒体、WiFi或3G/4G无线连接的典型构件和特征;
B、两台或多台具有或不具有视频捕捉能力的数码相机;
C、控制和操作相机的控制器单元,其是用于来自两个或多个相机的同步图像捕捉的摄影定时控制器;
D、可选遥控器,用于操纵相机、数据处理以及远程传送;
E、诸如GPS设备的可选位置传感器,用于记录相机位置;
F、诸如IMU的可选姿态传感器,用于记录相机的姿态;
G、保持设备水平的可选水准器;
H、诸如USB连接的可选有线连接,用于在移动设备和诸如台式电脑的其他设备之间传送图像和数据;
I、其他用于上述构件以使设备正确工作的必要的连接线缆,控制单元和其他元件。
2.移动立体成像系统中的相机安装方法,其特征在于,包括以下步骤:
A、以彼此间隔一定距离将相机安装或安放在移动设备中,例如设备四边的中心,或者设备的四角;
B、一种典型的配置是使用两台相机,其指向彼此平行,并与穿过两台相机中心的连线垂直。
3.一种控制和操纵移动设备和相机用于拍摄照片和视频、以2D或立体模式观看和处理图像和视频、手动或自动测量图像、从拍摄的2D图像计算和提取3D对象信息的移动立体成像系统中的处理器指令包,软件包可被指定在以下模块中:
A、用于相机内部和外部参数检定的处理器指令模块,该模块所用的相机参数检定算法可以是公开可用的算法和方法、或者专门设计或开发的算法和方法,相机内部参数包括焦距、主点的位置、相机镜头失真参数,外部参数包括相机中心的位置,以及相机图像平面的姿态;
B、用于控制相机操作的处理器指令模块;
C、用于图像观看和测量的处理器指令模块,观看和测量可以在2D观看软件中、或者两幅重叠图像被立体显示的观看软件中实现;
D、用于自动匹配或识别所有与相同被摄对象点或特征对应的图像上相同点或其他特征的处理器指令模块;
E、从相机参数和测量图像点坐标计算对象空间点的3D坐标的处理器指令模块,它还包括从3D坐标的一些导出变量和详细的3D数字表面模型的计算,以及具有点云的对象表面的表示;
F、其他用于控制、操纵和处理诸如GPS和IMU的可选构件的可选处理器指令模块;
G、其他用于立体图像、推导数据和结果的可视化、分析、传送或共享的可选处理器指令模块。
4.一种移动立体成像系统,其特征在于,
包括两台或多台数码相机、控制器单元、移动设备、投影仪、遥控器、IMU以及GPS;
数码相机设置在移动设备上,并通过控制器单元与移动设备相连;
数码相机用于同时拍摄到被摄对象,且拍摄到的照片有重叠;
控制器单元用于接收用户指令,并根据用户指令启动数码相机同步工作;
数码相机用于同步采集照片,并将采集到的照片通过控制器单元传送到移动设备进行存储,数码相机相对于移动设备的中心呈轴对称;
移动设备用于对照片进行测量和三维重建;
控制器单元和投影仪相连,用于在光线不足时接收用户发出的投影仪启动指令来开启该投影仪;
投影仪用于向被摄目标投射特定的光结构或者照明。
5.根据权利要求4所述的移动立体成像系统,其特征在于,
移动设备包括测量影像模块和三维目标重建模块;
测量影像模块包括数字影像输入子模块、影像显示子模块、测量影像点子模块、空间坐标计算子模块以及导出量计算子模块;
数字影像输入子模块用于将照片从移动设备的存储器读入到处理器;
影像显示子模块用于将照片通过图形卡显示到显示器上;
测量影像点子模块用于移动测标点到照片上要测量的位置点,以获得影像点的坐标;
空间坐标计算子模块用于根据影像点的坐标和照片的定向参数,计算影像点对应的目标点的三维空间坐标,导出量计算子模块用于计算被摄目标或被摄目标上特定标志间的距离、面积、体积;
三维目标重建模块包括数字影像输入子模块、同名点影像匹配子模块、影像定向子模块、表面精细匹配子模块、三维几何建模子模块以及三维影像模型子模块;
数字影像输入子模块用于将数字照片从存储器中读入到处理器;
同名点影像匹配子模块用于利用数字影像匹配方法自动识别不同照片上的相同目标点;
影像定向子模块用于根据同名点影像匹配子模块匹配的不同照片上的相同目标点的影像坐标和相机参数,运用摄影测量中已知的空中三角测量理论进行照片的定向计算,以获得每张照片的定向参数;
表面精细匹配子模块用于利用影像逐个像素匹配方法匹配照片重叠区域内的每个像素;
三维几何建模子模块用于根据照片的每个像素坐标和定向参数计算目标的每个表面点三维坐标,以形成目标三维几何模型;
三维影像模型子模块用于对每个目标的表面点从相应照片中获取颜色参数,以形成三维影像模型。
6.根据权利要求4所述的移动立体成像系统,其特征在于,
还包括遥控器、IMU和GPS;
遥控器和控制器单元相连,用于接收用户发出的指令,并将该指令传送到控制器单元;
IMU和控制器单元以及数码相机相连,用于记录数码相机的姿态,并将该姿态传送到控制器单元;
GPS和控制器单元连接,用于采集数码相机的位置信息,并将位置信息传送到控制器单元。
CN201310128604XA 2012-04-14 2013-04-13 一种移动立体成像系统 Pending CN103345114A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/447,175 US20130271579A1 (en) 2012-04-14 2012-04-14 Mobile Stereo Device: Stereo Imaging, Measurement and 3D Scene Reconstruction with Mobile Devices such as Tablet Computers and Smart Phones
US13/447,175 2012-04-14

Publications (1)

Publication Number Publication Date
CN103345114A true CN103345114A (zh) 2013-10-09

Family

ID=49279924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310128604XA Pending CN103345114A (zh) 2012-04-14 2013-04-13 一种移动立体成像系统

Country Status (2)

Country Link
US (1) US20130271579A1 (zh)
CN (1) CN103345114A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004275A (zh) * 2014-11-21 2017-08-01 Metaio有限公司 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
CN110276317A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 一种物体尺寸检测方法、物体尺寸检测装置及移动终端

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US8885229B1 (en) 2013-05-03 2014-11-11 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US8855375B2 (en) 2012-01-12 2014-10-07 Kofax, Inc. Systems and methods for mobile image capture and processing
US9518821B2 (en) 2012-08-02 2016-12-13 Benjamin Malay Vehicle control system
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9208536B2 (en) * 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
US10033989B2 (en) 2013-07-05 2018-07-24 Mediatek Inc. Synchronization controller for multi-sensor camera device and related synchronization method
US9386235B2 (en) 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
CN104079916A (zh) * 2014-06-16 2014-10-01 深圳市德赛微电子技术有限公司 一种全景三维视觉传感器及使用方法
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
TWI581631B (zh) * 2015-11-12 2017-05-01 群邁通訊股份有限公司 拍照輔助方法及電子裝置
WO2017139509A1 (en) 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10445872B2 (en) 2016-10-07 2019-10-15 Cnh Industrial America Llc Machine control measurements device
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
TWI696804B (zh) * 2019-01-09 2020-06-21 阿丹電子企業股份有限公司 體積量測裝置及體積量測方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685741A (zh) * 2002-09-27 2005-10-19 三洋电机株式会社 多个图像发送方法及带同时摄影多个图像功能的携带机器
CN1744670A (zh) * 2004-09-01 2006-03-08 创新科技有限公司 用于操作多个移动图像捕获设备的系统
CN101241011A (zh) * 2007-02-28 2008-08-13 北京北科天绘科技有限公司 激光雷达平台上高精度定位、定姿的装置和方法
JP4445984B2 (ja) * 2007-07-06 2010-04-07 東芝テリー株式会社 同期式カメラ
CN101916034A (zh) * 2010-04-28 2010-12-15 北京中星微电子有限公司 摄像头装置及使用该摄像头装置的三维图像显示系统
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备
US20120074227A1 (en) * 2009-06-16 2012-03-29 Bran Ferren Camera applications in a handheld device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735348B2 (en) * 2001-05-01 2004-05-11 Space Imaging, Llc Apparatuses and methods for mapping image coordinates to ground coordinates
JP2012518844A (ja) * 2009-02-25 2012-08-16 ディメンジョナル フォトニクス インターナショナル,インコーポレイテッド 三次元計測システムのための輝度およびカラー表示
US8934008B2 (en) * 2009-12-07 2015-01-13 Cognitech, Inc. System and method for determining geo-location(s) in images
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685741A (zh) * 2002-09-27 2005-10-19 三洋电机株式会社 多个图像发送方法及带同时摄影多个图像功能的携带机器
CN1744670A (zh) * 2004-09-01 2006-03-08 创新科技有限公司 用于操作多个移动图像捕获设备的系统
CN101241011A (zh) * 2007-02-28 2008-08-13 北京北科天绘科技有限公司 激光雷达平台上高精度定位、定姿的装置和方法
JP4445984B2 (ja) * 2007-07-06 2010-04-07 東芝テリー株式会社 同期式カメラ
US20120074227A1 (en) * 2009-06-16 2012-03-29 Bran Ferren Camera applications in a handheld device
CN101916034A (zh) * 2010-04-28 2010-12-15 北京中星微电子有限公司 摄像头装置及使用该摄像头装置的三维图像显示系统
CN202075794U (zh) * 2011-05-24 2011-12-14 段连飞 一种无人机航摄立体成像处理设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107004275A (zh) * 2014-11-21 2017-08-01 Metaio有限公司 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和系统
CN107004275B (zh) * 2014-11-21 2020-09-29 苹果公司 确定实物至少一部分的3d重构件空间坐标的方法和系统
US10846871B2 (en) 2014-11-21 2020-11-24 Apple Inc. Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US11741624B2 (en) 2014-11-21 2023-08-29 Apple Inc. Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
CN110276317A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 一种物体尺寸检测方法、物体尺寸检测装置及移动终端

Also Published As

Publication number Publication date
US20130271579A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
CN103345114A (zh) 一种移动立体成像系统
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
WO2021036353A1 (zh) 基于拍照的3d建模系统及方法、自动3d建模装置及方法
JP7223449B2 (ja) 撮影に基づく3dモデリングシステム
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
JP7293169B2 (ja) 動画カメラフォーカス用途における距離測定デバイス
CN104279960B (zh) 用移动设备进行物体尺寸测量的方法
CN107894780A (zh) 一种多旋翼无人机高度地理测绘系统
WO2013186160A1 (en) Closed loop 3d video scanner for generation of textured 3d point cloud
CN105791663B (zh) 距离估算系统及距离估算方法
WO2020051208A1 (en) Method for obtaining photogrammetric data using a layered approach
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
CN208188679U (zh) 一种多旋翼无人机高度地理测绘系统
JP2021077127A (ja) アイウェア装置を用いた管理システムおよび管理方法
US20240428391A1 (en) Photo-realistic infrastructure inspection
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
CN210986289U (zh) 四目鱼眼相机及双目鱼眼相机
WO2019061859A1 (zh) 移动平台、摄像路径生成方法、程序、以及记录介质
JP2013074473A (ja) パノラマ撮像装置
CN203069176U (zh) 一种测距装置及其测距系统
KR101421442B1 (ko) 입체카메라 촬영위치 추적방법 및 그 시스템
JP6448413B2 (ja) 屋根勾配推定システム及び屋根勾配推定方法
US9392254B2 (en) Game sizing camera
CN111935472A (zh) 实时三维全景视频监控系统及其视频监控方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: WUHAN HANDLERAY TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: WANG YOUNIAN

Effective date: 20130926

Owner name: WANG YOUNIAN

Effective date: 20130926

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 430000 WUHAN, HUBEI PROVINCE TO: 430074 WUHAN, HUBEI PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20130926

Address after: 430074 Hubei city of Wuhan province Kuanshan Avenue Optics Valley Software Park building E3 room 1001

Applicant after: Wuhan Handarui Technology Co. Ltd.

Applicant after: Wang Younian

Address before: 430000 Hubei city of Wuhan province Kuanshan Avenue Optics Valley Software Park building E3 room 1001

Applicant before: Wang Younian

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20131009