[go: up one dir, main page]

CN109495733A - 三维影像重建方法、装置及其非暂态电脑可读取储存媒体 - Google Patents

三维影像重建方法、装置及其非暂态电脑可读取储存媒体 Download PDF

Info

Publication number
CN109495733A
CN109495733A CN201811063116.4A CN201811063116A CN109495733A CN 109495733 A CN109495733 A CN 109495733A CN 201811063116 A CN201811063116 A CN 201811063116A CN 109495733 A CN109495733 A CN 109495733A
Authority
CN
China
Prior art keywords
camera
head
mounted device
time point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811063116.4A
Other languages
English (en)
Other versions
CN109495733B (zh
Inventor
郭俊麟
林咏真
郭彦闵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN109495733A publication Critical patent/CN109495733A/zh
Application granted granted Critical
Publication of CN109495733B publication Critical patent/CN109495733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种三维影像重建方法，包含：在第一及第二时间点接收定位信号，判断头戴装置位移向量及头戴装置旋转量；在第一及第二时间点获取第一及第二影像，判断第一相机旋转量；计算头戴装置及第一相机间的相对旋转量及相对位移向量；根据头戴装置位移向量、头戴装置旋转量、相对旋转量以及相对位移向量计算第一相机的位移向量；根据第一相机位移向量及第一相机旋转量获得影像的深度信息；以及根据影像及深度信息进行三维影像重建。本发明的三维影像重建方法、装置及其非暂态电脑可读取储存媒体可获得精确的深度信息并据以进行三维影像重建。

Description

三维影像重建方法、装置及其非暂态电脑可读取储存媒体
技术领域
本发明是有关于三维影像重建技术，且特别是有关于一种三维影像重建方法、装置及其非暂态电脑可读取储存媒体。
背景技术
近年来，虚拟显示技术广泛地被应用在例如游戏、工程及军事的领域。为了体验虚拟显示的环境，使用者需要通过设置于例如(但不限于)头戴装置上的显示装置来观看显示画面。所显示的画面可由头戴装置上设置的相机产生。然而，如果由相机获取的画面的深度信息或是相机的间距是未知的，则无法由相机获取的画面进行精确的三维影像重建。在此情形下，使用者将无法准确地体验三维虚拟影像的环境。
因此，如何设计一个新的三维影像重建方法、装置及其非暂态电脑可读取储存媒体，以克服上述的缺失，乃为本领域亟待解决的问题。
发明内容
本发明之目的在于提供三维影像重建方法、装置及其非暂态电脑可读取储存媒体，以获得精确的深度信息并据以进行三维影像重建。
本发明的一方面在于提供一种三维(three dimensional；3D)影像重建方法，其应用于三维影像重建装置中，该三维影像重建方法包含下列步骤。由设置于头戴装置(headmounted device；HMD)的信号接收器，在第一时间点以及第二时间点接收多个(复数个)定位信号，以根据定位信号判断头戴装置位移向量以及头戴装置旋转量；由设置于头戴装置的第一相机在第一时间点获取第一影像以及在第二时间点获取第二影像，以根据第一影像以及第二影像判断第一相机旋转量；计算头戴装置以及第一相机间的相对旋转量以及相对位移向量；根据头戴装置位移向量、头戴装置旋转量、相对旋转量以及相对位移向量计算第一相机的第一相机位移向量；根据第一相机位移向量以及第一相机旋转量获得第一影像以及第二影像的深度信息；以及根据第一相机获得的影像以及深度信息进行三维影像重建。
于一实施例中，头戴装置旋转量以及第一相机旋转量表示为三维旋转量、四元数(quaternion)或旋转矩阵。
于一实施例中，三维影像重建方法还包含：在相同的时间点由第一相机获取第三影像以及由设置于头戴装置的第二相机获取第四影像；判断第三影像以及第四影像间的视差(disparity)；以及根据视差以及深度信息判断第一相机以及第二相机间的相机距离(baseline)。
于一实施例中，头戴装置在第一时间点的头戴装置方向与第一相机在第二时间点的相机方向之间的动向，相当于通过第一路径以及第二路径完成，该第一路径为将该头戴装置在该第一时间点的一头戴装置方向先以该头戴装置旋转量进行旋转后再以该相对旋转量进行旋转的结果，该第二路径为将该头戴装置在该第一时间点的该头戴装置方向先以该相对旋转量进行旋转再以该第一相机旋转量进行旋转的结果。
于一实施例中，计算相对旋转量的步骤还包含：采用欧几里得(Euclidean)转换矩阵描述第一路径以及第二路径，以得到等式；以及通过解开此等式计算相对旋转量。
于一实施例中，头戴装置在第一时间点以及第二时间点间的头戴装置动向被分解为对应于头戴装置位移向量的头戴装置位移以及对应于头戴装置旋转量的头戴装置旋转，计算相对位移向量的步骤还包含：将第一相机在第一时间点以及第二时间点间的相机动向分解为相当于头戴装置位移向量并位移至暂时位置的第一位移以及对应于位移向量的第二位移；以及根据相对旋转量、相对位移向量、头戴装置位移向量以及头戴装置旋转量的关系计算相对位移向量。
本发明的另一方面在于提供一种三维影像重建装置，其应用于头戴装置中，该三维影像重建装置包含：储存模块、信号接收器、第一相机以及处理模块。储存模块配置以储存多个电脑可执行指令。处理模块电性耦接于储存模块、信号接收器以及第一相机，并配置以获取并执行电脑可执行指令，以在电脑可执行指令被执行时执行三维影像重建方法，其中三维影像重建方法包含下列步骤：由设置于头戴装置的信号接收器，在第一时间点以及第二时间点接收多个定位信号，以根据定位信号判断头戴装置位移向量以及头戴装置旋转量；由设置于头戴装置的第一相机在第一时间点获取第一影像以及在第二时间点获取第二影像，以根据第一影像以及第二影像判断第一相机旋转量；计算头戴装置以及第一相机间的相对旋转量以及相对位移向量；根据头戴装置位移向量、头戴装置旋转量、相对旋转量以及相对位移向量计算第一相机的第一相机位移向量；根据第一相机位移向量以及第一相机旋转量获得第一影像以及第二影像的深度信息；以及根据第一相机获得的影像以及深度信息进行三维影像重建。
于一实施例中，头戴装置在第一时间点的头戴装置方向与第一相机在第二时间点的相机方向之间的动向，相当于通过第一路径以及第二路径完成，该第一路径为将该头戴装置在该第一时间点的一头戴装置方向先以该头戴装置旋转量进行旋转后再以该相对旋转量进行旋转的结果，该第二路径为将该头戴装置在该第一时间点的该头戴装置方向先以该相对旋转量进行旋转再以该第一相机旋转量进行旋转的结果，计算相对旋转量的步骤还包含：采用欧几里得转换矩阵描述第一路径以及第二路径，以得到等式；以及通过解开等式计算相对旋转量。
于一实施例中，头戴装置在第一时间点以及第二时间点间的头戴装置动向被分解为对应于头戴装置位移向量的头戴装置位移以及对应于头戴装置旋转量的头戴装置旋转，计算相对位移向量的步骤还包含：将第一相机在第一时间点以及第二时间点间的相机动向分解为相当于头戴装置位移向量并位移至暂时位置的第一位移以及对应于位移向量的第二位移；以及根据相对旋转量、相对位移向量、头戴装置位移向量以及头戴装置旋转量的关系计算相对位移向量。
本发明的又一方面在于提供一种非暂态(non-transitory)电脑可读取储存媒体，其配置以储存包含多个电脑可执行指令的一电脑程序，用以执行应用在头戴装置的三维影像重建装置中的三维影像重建方法，该三维影像重建装置至少包含储存模块、信号接收器、第一相机以及电性耦接于储存模块、信号接收器以及第一相机并配置以获取并执行电脑可执行指令，以在电脑可执行指令被执行时执行三维影像重建方法的处理模块，该三维影像重建方法包含下列步骤：由设置于头戴装置的信号接收器，在第一时间点以及第二时间点接收多个定位信号，以根据定位信号判断头戴装置位移向量以及头戴装置旋转量；由设置于头戴装置的第一相机在第一时间点获取第一影像以及在第二时间点获取第二影像，以根据第一影像以及第二影像判断第一相机旋转量；计算头戴装置以及第一相机间的相对旋转量以及相对位移向量；根据头戴装置位移向量、头戴装置旋转量、相对旋转量以及相对位移向量计算第一相机的第一相机位移向量；根据第一相机位移向量以及第一相机旋转量获得第一影像以及第二影像的深度信息；以及根据第一相机获得的影像以及深度信息进行三维影像重建。
本发明的三维影像重建方法、装置及其非暂态电脑可读取储存媒体可根据信号接收器所接收的定位信号的信息以及第一相机所获取的影像建立深度信息。因此，三维影像可根据精确的深度信息进行重建。
附图说明
图1为本发明一实施例中，一种三维影像重建装置的方框图；
图2为本发明一实施例中，一种三维影像重建方法的流程图；
图3A为本发明一实施例中，三维影像重建装置所位于的头戴装置的动向以及第一相机的动向的示意图；
图3B为本发明一实施例中，在未绘示头戴装置的情形下，图3A的第一相机的分解动向的示意图；
图4为本发明一实施例中，三维影像重建装置的方框图；以及
图5为本发明一实施例中，三维影像重建装置所位于的头戴装置的动向的示意图
附图标记列表
1：三维影像重建装置 10：储存模块
100：电脑可执行指令 12：信号接收器
14：第一相机 16：处理模块
18：定位装置 181：定位信号
200：三维影像重建方法 201-206：步骤
30：头戴装置 4：三维影像重建装置
42：第二相机 50：头戴装置
D：距离 I1：第一影像
I2：第二影像 P1：第一位置
P2：第二位置 P3：暂时位置
R0：头戴装置旋转量 R1：第一相机旋转量
R2：相对旋转量 t0：头戴装置位移向量
t1：第一相机位移向量 t2：相对位移向量
t3：位移向量
具体实施方式
以下请参照本发明的实施例，其范例将搭配附图进行说明。在以下的附图及描述中，相同的附图标记(参照标号)将指称相同或类似的元件。
请参照图1。图1为本发明一实施例中，一种三维影像重建装置1的方框图。于一实施例中，三维影像重建装置1应用于头戴装置(图1中未绘示)中。更详细地说，三维影像重建装置1的各元件是设置在头戴装置的不同位置上。
三维影像重建装置1包含储存模块10、信号接收器12、第一相机14以及处理模块16。
于一实施例中，储存模块10可为例如(但不限于)光盘、随机存取存储器、只读存储器、软盘、硬盘或光学磁片。储存模块10配置以储存多个电脑可执行指令100。
信号接收器12设置于头戴装置上，并配置以自多个定位装置18接收多个定位信号181。于一实施例中，定位装置18是例如信号灯塔，并借助例如(但不限于)电磁波或超音波的形式发送定位信号181。因此，通过持续接收定位信号181，可判断头戴装置的动向(运动趋向)。
第一相机14配置以接收对应不同时间点的影像。于一实施例中，第一相机14是包含电荷耦合元件(charge coupled device；CCD)或是互补式金属氧化物半导体(complementary metal oxide semiconductor；CMOS)的影像感测器的相机。
处理模块16电性耦接于储存模块10、信号接收器12以及第一相机14。于一实施例中，处理模块16配置以获取并执行电脑可执行指令100，并据以三维影像重建装置1的功能。
更详细地说，通过接收来自第一相机14的影像，处理模块16可据以执行三维影像重建。
请同时参照图2、图3A及图3B。三维影像重建装置1的功能将搭配图2、图3A及图3B，在下面的段落中详细描述。
图2为本发明一实施例中，一种三维影像重建方法200的流程图。该三维影像重建方法200可应用于图1所绘示的三维影像重建装置1中。
图3A为本发明一实施例中，三维影像重建装置1所位于的头戴装置30的动向以及第一相机14的动向的示意图。如上所述，第一相机14也设置于头戴装置30上。
图3B为本发明一实施例中，在未绘示头戴装置30的情形下，图3A的第一相机14的分解动向的示意图。
三维影像重建方法200包含下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序的之外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。
于步骤201，由信号接收器12于第一时间点以及第二时间点自定位装置18接收定位信号181，以根据定位信号181判断头戴装置位移向量t0以及头戴装置旋转量R0。
于一实施例中，信号接收器12可包含多个接收单元(未绘示)，设置于头戴装置30上。仔细来说，头戴装置坐标系统的移动向量和旋转量系由一些提供接收单元所接收的定位信号的演算法所决定。一般来说，所述演算法为解决多点透视法(perspective-n-points)的运算。
当头戴装置30如图3A所示，自对应于第一时间点的第一位置P1移动至对应于第二时间点的第二位置P2时，头戴装置30的动向可由信号接收器12根据定位信号181判断，其中动向可表示为头戴装置位移向量t0以及头戴装置旋转量R0。于一实施例中，头戴装置位移向量t0为三维向量，而头戴装置旋转量R0可表示为三维旋转量、四元数(quaternion)或旋转矩阵。
于步骤202，由第一相机14于第一时间点获取第一影像I1以及于第二时间点获取第二影像I2，以根据第一影像I1以及第二影像I2判断第一相机旋转量R1。
于一实施例中，第一相机旋转量R1可根据第一影像I1以及第二影像I2，使用已知的算法来获得。举例而言，通过计算第一影像I1以及第二影像I2间的物体的方向差异即可得知第一相机旋转量R1。
于步骤203，计算头戴装置30以及第一相机14间的相对旋转量R2以及相对位移向量t2。更详细地说，相对旋转量R2以及相对位移向量t2可借助欧几里得转换矩阵来计算。
于一实施例中，虽然第一相机14也设置于头戴装置30上，但是第一相机14的位置与方向都与由接收单元的位置分布所决定的头戴装置30坐标系统(坐标系)的位置与方向不同。因此，第一相机14与头戴装置30间将具有相对位移向量t2以及相对旋转量R2。
于一实施例中，头戴装置30在第一时间点(亦即当头戴装置30位于第一位置P1时)的头戴装置方向到第一相机14在第二时间点(亦即当头戴装置30位于第二位置P2时)的相机方向间的动向，相当于第一路径以及第二路径。其中第一路径是将第一时间点的头戴装置方向先以头戴装置旋转量R0进行旋转后再以相对旋转量R2进行旋转的结果。第二路径是将头戴装置30在第一时间点的头戴装置方向先以相对旋转量R2进行旋转再以第一相机旋转量R1进行旋转的结果。
通过使用欧几里得转换矩阵描述第一路径及第二路径，上述的关系可表示为：
(式1)的右侧表示将XHMD(在头戴装置坐标系统上的X点的坐标)从第一时间点的头戴装置坐标系统转换到第一时间点的第一相机14的相机坐标系统后，再转换至第二时间点的第一相机14的相机坐标系统。(式1)的左侧表示将XHMD从第一时间点的头戴装置坐标系统转换到第二时间点的头戴装置坐标系统后，再转换至第二时间点的第一相机14的相机坐标系统。
由上可知，(式1)对任何三维空间中的XHMD都成立。因此，(式1)两侧的欧几里得转换矩阵将彼此相等。亦即：
在(式1)两侧分别将矩阵相乘后，将得到：
将(式3)两侧矩阵的元素(entry)相等后，可得到：
R0R2＝R2R1 (式4)
–R2R0t0-R2t2＝-R1R2t2-R1t1 (式5)
因此，由于头戴装置旋转量R0以及第一相机旋转量R1为已知，相对旋转量R2可由谱分解(spectral decomposition)法以及数值最佳化(numerical optimization)，自(式4)解出。
于一实施例中，头戴装置30在第一时间点以及第二时间点间的头戴装置动向被分解为对应于头戴装置位移向量t0的头戴装置位移以及对应于头戴装置旋转量R0的头戴装置旋转。
类似地，第一相机14在第一时间点以及第二时间点间的相机动向，可分解为移动至暂时位置P3且相当于头戴装置位移向量t0的第一位移以及对应于位移向量t3的第二位移，如图3B所示。
更进一步地，如图3B所示，当第一相机14以及头戴装置30均根据头戴装置位移向量t0位移而没有旋转时，第一相机14以及头戴装置30之间在此情形下的位移向量为t2。当第一相机14以及头戴装置30均位移并旋转至对应于第二时间点的位置时，第一相机14以及头戴装置30间的位移向量可表示为在没有旋转的第二时间点的头戴装置坐标系统的R0 -1t2。
上述位移向量可表示为R0 -1t2的原因在于，由“在第二时间点旋转后的头戴装置坐标系统”到“在第二时间点旋转前的头戴装置坐标系统”的关系是R0 -1(R0的反矩阵)。更进一步地，在第一相机14以及头戴装置30间的位移向量在“在第二时间点旋转后的头戴装置坐标系统”是表示为t2(如果第一相机14以及头戴装置30间的相对位置并未随着位移及旋转而改变)。因此第一相机14以及头戴装置30间的位移向量在由“在第二时间点旋转前的头戴装置坐标系统”转换至“在第二时间点旋转后的相机坐标系统”后，是“在第二时间点旋转后的头戴装置坐标系统”中表示为R0 -1t2。
更进一步地，位移向量t3可在“在第一时间点的头戴装置坐标系统”中表示为R0 - 1t2-t2。也就是说，在第一时间点的头戴装置坐标统和在第二时间点没有旋转时的头戴装置坐标系统相同，因此在这两个不同时间点的坐标向量有相同的坐标表示方式。
因此，位移向量t0(第一相机14由第一时间点的位置位移至第三位置P3的向量)以及位移向量t3(第一相机14由第三位置P3位移至第二时间点的位置的向量)的和，相当于第一相机位移向量t1。其中，上述的关系可表示为：
t1＝t0+t3 (式6)
更进一步地，位移向量t2(头戴装置30由第二时间点的位置在无旋转下位移至第三位置P3的向量)以及位移向量t3(由第三位置P3位移至第一相机14在第二时间点的位置的向量)的和，相当于位移向量R0 -1t2。其中，上述的关系可表示为：
R0 -1t2＝t2+t 3(式7)
通过(式6)与(式7)，公式可进一步表示为：
t1＝t0+t3＝t0+R0 -1t2-t2 (式8)
然而，在(式6)及(式8)中的第一相机位移向量t1，实际上是相对“在第一时间点的头戴装置坐标系统”所叙述的。当第一相机位移向量t1要相对“在第一时间点的相机坐标系统”所叙述时，需要在(式8)中纳入旋转量R2：
t1＝R2(t0+R0 -1t2-t2) (式9)
通过将(式9)代入(式5)，可得到下面的结果：
-R2R0t0-R2t2＝-R1R2t2-R1R2(t0+R0 -1t2-t2) (式10)
在重新排列(式10)后，可得到下面的结果：
(R2-R1R2R0 -1)t2＝-R2R0t0+R1R2t0 (式11)
利用(式11)即可解出相对位移向量t2。
于步骤204，根据头戴装置位移向量t0、头戴装置旋转量R0、相对旋转量R2以及相对位移向量t2计算第一相机14的第一相机位移向量t1。
更详细地说，通过将相对位移向量t2带回(式9)，即可获得第一相机位移向量t1。
于步骤205，根据第一相机位移向量t1以及第一相机旋转量R1获得第一影像I1以及第二影像I2的深度信息。
更详细地说，由于已获得第一相机位移向量t1，因此可进一步判断第一影像I1以及第二影像I2中的物体在两个影像间的真实移动距离。因此，第一影像I1以及第二影像I2的深度信息将可随之获得。
于步骤206，根据第一相机14获得的影像，例如第一影像I1以及第二影像I2，以及深度信息进行三维影像重建。
在部分技术中，需要额外已知尺寸的物体出现在相机所拍摄到的影像中，才能使三维影像重建装置获得深度信息。然而，当这样的物体并未存在，或是这样的物体变形时，将使三维影像重建装置无法获得精准的深度信息，而无法进行精确的三维影像重建。
本发明的三维影像重建装置1及三维影像重建方法200可根据信号接收器12所接收的定位信号181的信息以及第一相机14所获取的影像，建立深度信息。因此，三维影像可根据精确的深度信息进行重建。
须注意的是，上述的实施例中是使用单一相机的情景做为范例进行说明。在其他实施例中，上述的方法也可应用于多相机的情景中。
请同时参照图4及图5。图4为本发明一实施例中，三维影像重建装置4的方框图。图5为本发明一实施例中，三维影像重建装置4所位于的头戴装置50的动向的示意图。
图4的三维影像重建装置4包含与图1的三维影像重建装置1相同的元件。因此，这些相同的元件将不再此赘述。然而，三维影像重建装置4还进一步包含第二相机42。
如图5所示，第一相机14和第二相机42均设置于头戴装置50上。于一实施例中，第一相机14为左相机，第二相机42为右相机。然而，在其他实施例中，第一相机14可为右相机，第二相机42可为左相机。
于一实施例中，深度信息可如图5所示，由第一相机14获得，或是利用第二相机42根据图2所示的方法获得。
更进一步地，第一相机14和第二相机42可在同一时间点获取第三影像I3以及第四影像I4。第三影像I3以及第四影像I4间的视差(disparity)可据以判断。
因此，第一相机14和第二相机42间的相机距离(baseline)，例如图5所示第一相机14和第二相机42间的距离D，可根据视差以及深度信息判断。可由此实现三维影像重建装置4的双相机间的相机距离校正。
须注意的是，在部分实施例中，三维影像重建方法200可由电脑应用程序来操作实现。当电脑应用程序由电脑、电子装置或是图1绘示的处理模块16执行时，此执行装置将执行三维影像重建方法。电脑应用程序可储存于非暂态的电脑可读取储存媒体，例如只读存储器、快闪存储器、软盘、硬盘、光学盘片、快闪盘片、快闪硬盘、磁带、可由网络存取的数据库或任何属于本披露书的范围中，可由本领域技术人员所使用具有类似功能的储存媒体中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种三维影像重建方法，应用于一三维影像重建装置中，其特征在于，该三维影像重建方法包含：
由设置于一头戴装置的一信号接收器，在一第一时间点以及一第二时间点接收多个定位信号，以根据所述多个定位信号判断一头戴装置位移向量以及一头戴装置旋转量；
由设置于该头戴装置的一第一相机在该第一时间点获取一第一影像以及在该第二时间点获取一第二影像，以根据该第一影像以及该第二影像判断一第一相机旋转量；
计算该头戴装置以及该第一相机间的一相对旋转量以及一相对位移向量；
根据该头戴装置位移向量、该头戴装置旋转量、该相对旋转量以及该相对位移向量计算该第一相机的一第一相机位移向量；
根据该第一相机位移向量以及该第一相机旋转量获得该第一影像以及该第二影像的一深度信息；以及
根据该第一相机获得的影像以及该深度信息进行三维影像重建。
2.如权利要求1所述的三维影像重建方法，其特征在于，该头戴装置旋转量以及该第一相机旋转量表示为一三维旋转量、一四元数或一旋转矩阵。
3.如权利要求1所述的三维影像重建方法，其特征在于，该三维影像重建方法还包含：
在相同的时间点由该第一相机获取一第三影像以及由设置于该头戴装置的一第二相机获取一第四影像；
判断该第三影像以及该第四影像间的一视差；以及
根据该视差以及该深度信息判断该第一相机以及该第二相机间的一相机距离。
4.如权利要求1所述的三维影像重建方法，其特征在于，该头戴装置在该第一时间点的一头戴装置方向与该第一相机在该第二时间点的一相机方向之间的一动向，相当于通过一第一路径以及一第二路径完成，该第一路径为将该头戴装置在该第一时间点的一头戴装置方向先以该头戴装置旋转量进行旋转后再以该相对旋转量进行旋转的结果，该第二路径为将该头戴装置在该第一时间点的该头戴装置方向先以该相对旋转量进行旋转再以该第一相机旋转量进行旋转的结果。
5.如权利要求4所述的三维影像重建方法，其特征在于，计算该相对旋转量的步骤还包含：
采用欧几里得转换矩阵描述该第一路径以及该第二路径，以得到一等式；以及
通过解开该等式计算该相对旋转量。
6.如权利要求5所述的三维影像重建方法，其特征在于，该头戴装置在该第一时间点以及该第二时间点间的一头戴装置动向被分解为对应于该头戴装置位移向量的一头戴装置位移以及对应于该头戴装置旋转量的一头戴装置旋转，计算该相对位移向量的步骤还包含：
将该第一相机在该第一时间点以及该第二时间点间的一相机动向分解为相当于该头戴装置位移向量并位移至一暂时位置的一第一位移以及对应于一位移向量的一第二位移；以及
根据该相对旋转量、该相对位移向量、该头戴装置位移向量以及该头戴装置旋转量的关系计算该相对位移向量。
7.一种三维影像重建装置，应用于一头戴装置中，其特征在于，该三维影像重建装置包含：
一储存模块，配置以储存多个电脑可执行指令；
一信号接收器；
一第一相机；以及
一处理模块，电性耦接于该储存模块、该信号接收器以及该第一相机，并配置以获取并执行所述多个电脑可执行指令，以在所述多个电脑可执行指令被执行时执行一三维影像重建方法，其中该三维影像重建方法包含：
由设置于该头戴装置的该信号接收器，在一第一时间点以及一第二时间点接收多个定位信号，以根据所述多个定位信号判断一头戴装置位移向量以及一头戴装置旋转量；
由设置于该头戴装置的该第一相机在该第一时间点获取一第一影像以及在该第二时间点获取一第二影像，以根据该第一影像以及该第二影像判断一第一相机旋转量；
计算该头戴装置以及该第一相机间的一相对旋转量以及一相对位移向量；
根据该头戴装置位移向量、该头戴装置旋转量、该相对旋转量以及该相对位移向量计算该第一相机的一第一相机位移向量；
根据该第一相机位移向量以及该第一相机旋转量获得该第一影像以及该第二影像的一深度信息；以及
根据该第一相机获得的影像以及该深度信息进行三维影像重建。
8.如权利要求7所述的三维影像重建装置，其特征在于，该头戴装置在该第一时间点的一头戴装置方向与该第一相机在该第二时间点的一相机方向之间的一动向，相当于通过一第一路径以及一第二路径完成，该第一路径为将该头戴装置在该第一时间点的一头戴装置方向先以该头戴装置旋转量进行旋转后再以该相对旋转量进行旋转的结果，该第二路径为将该头戴装置在该第一时间点的该头戴装置方向先以该相对旋转量进行旋转再以该第一相机旋转量进行旋转的结果，计算该相对旋转量的步骤还包含：
采用欧几里得转换矩阵描述该第一路径以及该第二路径，以得到一等式；以及
通过解开该等式计算该相对旋转量。
9.如权利要求8所述的三维影像重建装置，其特征在于，该头戴装置在该第一时间点以及该第二时间点间的一头戴装置动向被分解为对应于该头戴装置位移向量的一头戴装置位移以及对应于该头戴装置旋转量的一头戴装置旋转，计算该相对位移向量的步骤还包含：
将该第一相机在该第一时间点以及该第二时间点间的一相机动向分解为相当于该头戴装置位移向量并位移至一暂时位置的一第一位移以及对应于一位移向量的一第二位移；以及
根据该相对旋转量、该相对位移向量、该头戴装置位移向量以及该头戴装置旋转量的关系计算该相对位移向量。
10.一种非暂态电脑可读取储存媒体，配置以储存包含多个电脑可执行指令的一电脑程序，用以执行应用在一头戴装置的一三维影像重建装置中的一三维影像重建方法，该三维影像重建装置至少包含一储存模块、一信号接收器、一第一相机以及电性耦接于该储存模块、该信号接收器以及该第一相机并配置以获取并执行所述多个电脑可执行指令，以在所述多个电脑可执行指令被执行时执行该三维影像重建方法的一处理模块，其特征在于，该三维影像重建方法包含：
由设置于该头戴装置的该信号接收器，在一第一时间点以及一第二时间点接收多个定位信号，以根据所述多个定位信号判断一头戴装置位移向量以及一头戴装置旋转量；
由设置于该头戴装置的该第一相机在该第一时间点获取一第一影像以及在该第二时间点获取一第二影像，以根据该第一影像以及该第二影像判断一第一相机旋转量；
计算该头戴装置以及该第一相机间的一相对旋转量以及一相对位移向量；
根据该头戴装置位移向量、该头戴装置旋转量、该相对旋转量以及该相对位移向量计算该第一相机的一第一相机位移向量；
根据该第一相机位移向量以及该第一相机旋转量获得该第一影像以及该第二影像的一深度信息；以及
根据该第一相机获得的影像以及该深度信息进行三维影像重建。
CN201811063116.4A 2017-09-12 2018-09-12 三维影像重建方法、装置及其非暂态电脑可读取储存媒体 Active CN109495733B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762557738P 2017-09-12 2017-09-12
US62/557,738 2017-09-12

Publications (2)

Publication Number Publication Date
CN109495733A true CN109495733A (zh) 2019-03-19
CN109495733B CN109495733B (zh) 2020-11-06

Family

ID=63592551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811063116.4A Active CN109495733B (zh) 2017-09-12 2018-09-12 三维影像重建方法、装置及其非暂态电脑可读取储存媒体

Country Status (4)

Country Link
US (1) US10742952B2 (zh)
EP (1) EP3454300B1 (zh)
CN (1) CN109495733B (zh)
TW (1) TWI669683B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
US12213844B2 (en) 2022-12-26 2025-02-04 Metal Industries Research & Development Centre Operation image positioning method and system thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067762A (zh) * 2006-05-02 2007-11-07 佳能株式会社 信息处理设备及其控制方法和图像处理设备
US20100295924A1 (en) * 2009-05-21 2010-11-25 Canon Kabushiki Kaisha Information processing apparatus and calibration processing method
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
CN104661010A (zh) * 2013-11-20 2015-05-27 财团法人资讯工业策进会 三维立体模型的建立方法和装置
CN105138135A (zh) * 2015-09-15 2015-12-09 北京国承万通信息科技有限公司 头戴式虚拟现实设备及虚拟现实系统
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
CN106934827A (zh) * 2015-12-31 2017-07-07 杭州华为数字技术有限公司 三维场景的重建方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
CN103907341B (zh) * 2011-11-07 2017-05-24 索尼电脑娱乐公司 图像生成装置和图像生成方法
US9729788B2 (en) * 2011-11-07 2017-08-08 Sony Corporation Image generation apparatus and image generation method
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9652892B2 (en) 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
US9881422B2 (en) 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10026212B2 (en) * 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
TWI596378B (zh) 2015-12-14 2017-08-21 技嘉科技股份有限公司 可攜式虛擬實境系統
CN106980368B (zh) 2017-02-28 2024-05-28 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN107037880A (zh) 2017-03-02 2017-08-11 深圳前海极客船长网络科技有限公司 基于虚拟现实技术的空间定位定姿系统及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067762A (zh) * 2006-05-02 2007-11-07 佳能株式会社 信息处理设备及其控制方法和图像处理设备
US20100295924A1 (en) * 2009-05-21 2010-11-25 Canon Kabushiki Kaisha Information processing apparatus and calibration processing method
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
CN104661010A (zh) * 2013-11-20 2015-05-27 财团法人资讯工业策进会 三维立体模型的建立方法和装置
CN105138135A (zh) * 2015-09-15 2015-12-09 北京国承万通信息科技有限公司 头戴式虚拟现实设备及虚拟现实系统
CN106934827A (zh) * 2015-12-31 2017-07-07 杭州华为数字技术有限公司 三维场景的重建方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A.L. JANIN,ET AL: "Calibration of head-mounted displays for augmented reality applications", 《 PROCEEDINGS OF IEEE VIRTUAL REALITY ANNUAL INTERNATIONAL SYMPOSIUM》 *
T. JEBARA,ET AL: "3D structure from 2D motion", 《IEEE SIGNAL PROCESSING MAGAZINE》 *

Also Published As

Publication number Publication date
EP3454300C0 (en) 2025-01-08
TWI669683B (zh) 2019-08-21
TW201913575A (zh) 2019-04-01
US20190098279A1 (en) 2019-03-28
EP3454300A1 (en) 2019-03-13
EP3454300B1 (en) 2025-01-08
US10742952B2 (en) 2020-08-11
CN109495733B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109495733A (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
CN103813151B (zh) 图像处理装置和方法、图像处理系统
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
KR101991080B1 (ko) 파노라마 가상 현실 콘텐츠의 옴니스테레오 캡쳐 및 렌더링
US20180192033A1 (en) Multi-view scene flow stitching
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
JP2018523326A (ja) 全球状取込方法
CN102800127B (zh) 一种基于光流优化的三维重建方法及装置
CN106537908B (zh) 相机标定
WO2018164852A1 (en) Image reconstruction for virtual 3d
EP2766875A1 (en) Generating free viewpoint video using stereo imaging
JP6126820B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
JP2022515517A (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN116168143A (zh) 一种多视图三维重建的方法
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
CN108989785A (zh) 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
KR20200004754A (ko) 정보 처리장치, 그 제어방법 및 컴퓨터 프로그램
KR20200019361A (ko) 3차원 얼굴 인식을 위한 장치 및 방법
CN115984389B (zh) 标定方法、系统标定方法、装置和电子设备
CN108053481A (zh) 三维点云法向量的生成方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant