[go: up one dir, main page]

TWI708210B - 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體 - Google Patents

三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI708210B
TWI708210B TW107146853A TW107146853A TWI708210B TW I708210 B TWI708210 B TW I708210B TW 107146853 A TW107146853 A TW 107146853A TW 107146853 A TW107146853 A TW 107146853A TW I708210 B TWI708210 B TW I708210B
Authority
TW
Taiwan
Prior art keywords
attitude
camera
dimensional
data
current time
Prior art date
Application number
TW107146853A
Other languages
English (en)
Other versions
TW201928883A (zh
Inventor
張瑞軒
施正遠
楊宏毅
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201928883A publication Critical patent/TW201928883A/zh
Application granted granted Critical
Publication of TWI708210B publication Critical patent/TWI708210B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一種三維模型重建方法，包含：自深度攝像機接收對應於現在時點的目標物件的深度資料；自基於電磁波射線運作的至少一姿態追蹤感測器，接收對應於現在時點的深度攝像機的攝像機姿態資料；根據深度資料以及攝像機姿態資料產生對應於現在時點的複數具姿態三維點雲；根據對應於現在時點的攝像機姿態資料以及對應於先前時點的先前三維模型，產生對應於現在時點的複數具姿態預估點雲；以及基於具姿態三維點雲以及具姿態預估點雲之誤差，根據具姿態三維點雲產生目標物件之現在三維模型。

Description

三維模型重建方法、電子裝置及非暫態電 腦可讀取記錄媒體
本發明是有關於三維模型重建技術，且特別是有關於一種三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體。
在現代，電腦視覺技術廣泛地應用在許多領域中。舉例而言，在虛擬實境(virtual reality)或擴增實境(augmented reality)的領域中，電腦視覺技術可被使用在虛擬實境或擴增實境的系統中，以辨識物件、真實世界的環境及/或場景。
為達到使虛擬和真實物件可以互動，最重要的是將真實感即時且精準地投射入虛擬世界中的技術，稱為三維模型重建。然而，使三維重建達到高精確度以及低時間成本的關鍵，在於攝像機姿態的估測。如果攝像機姿態的估測無法正確地進行，則三維模型重建的效能將會下降。
因此，如何設計一個新的三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體，以解決上述的缺失，乃為此一業界亟待解決的問題。
本發明之目的在於提供一種三維模型重建方法，包含：自深度攝像機接收對應於現在時點的目標物件的深度資料；自基於電磁波射線運作的至少一姿態追蹤感測器，接收對應於現在時點的深度攝像機的攝像機姿態資料；根據深度資料以及攝像機姿態資料產生對應於現在時點的複數具姿態(posed)三維點雲(point clouds)；根據對應於現在時點的攝像機姿態資料以及對應於先前時點的先前三維模型，產生對應於現在時點的複數具姿態預估點雲；以及基於具姿態三維點雲以及具姿態預估點雲之誤差，根據具姿態三維點雲產生目標物件之現在三維模型。
本發明之另一目的在於提供一種電子裝置，包含：處理電路、深度攝像機、至少一姿態追蹤感測器以及記憶體。深度攝像機電性耦接於處理電路。姿態追蹤感測器電性耦接於處理電路並設置於電子裝置上。記憶體電性耦接於處理電路，並配置以儲存至少一程式，程式配置以被處理電路執行，且程式包含複數指令，以執行三維模型重建方法。三維模型重建方法包含：自深度攝像機接收對應於現在時點的目標物件的深度資料；自基於電磁波射線運作的至少一姿態追蹤感測器，接收對應於現在時點的深度攝像機的攝像機姿態資料；根據深 度資料以及攝像機姿態資料產生對應於現在時點的複數具姿態三維點雲；根據對應於現在時點的攝像機姿態資料以及對應於先前時點的先前三維模型，產生對應於現在時點的複數具姿態預估點雲；以及基於具姿態三維點雲以及具姿態預估點雲之誤差，根據具姿態三維點雲產生目標物件之現在三維模型。
本發明之又一目的在於提供一種非暫態電腦可讀取記錄媒體，用以儲存包含複數指令的一或多個電腦程式，當執行指令時，將致使處理電路執行三維模型重建方法。三維模型重建方法包含：自深度攝像機接收對應於現在時點的目標物件的深度資料；自基於電磁波射線運作的至少一姿態追蹤感測器，接收對應於現在時點的深度攝像機的攝像機姿態資料；根據深度資料以及攝像機姿態資料產生對應於現在時點的複數具姿態三維點雲；根據對應於現在時點的攝像機姿態資料以及對應於先前時點的先前三維模型，產生對應於現在時點的複數具姿態預估點雲；以及基於具姿態三維點雲以及具姿態預估點雲之誤差，根據具姿態三維點雲產生目標物件之現在三維模型。
應用本發明之優點在於藉由電子裝置以及三維模型重建方法，可利用根據電磁波射線運作的姿態追蹤感測器達到快速而精確的姿態估測，以克服移動速度限制的問題，使三維模型重建可因此快速地建出。進一步地，藉由具姿態三維點雲以及具姿態估測點雲之間的比對，可評估三維模型重建的正確與否，提升三維模型重建的精確度。
100‧‧‧電子裝置
110‧‧‧處理電路
120‧‧‧記憶體
130‧‧‧深度攝像機
131‧‧‧影像資料
133‧‧‧深度資料
140‧‧‧姿態追蹤感測器
141‧‧‧攝像機姿態資料
200a、200b‧‧‧光屋基地台
210a、210b‧‧‧電磁波發射器
300‧‧‧目標物件
400A、400B、400C‧‧‧具姿態三維點雲
500‧‧‧三維模型重建方法
600‧‧‧具姿態預估點雲
P1‧‧‧軟體程式
PO1、PO2‧‧‧位置
S1-S8‧‧‧操作步驟
第1圖為根據本揭示內容部分實施例所繪示的電子裝置的方塊示意圖；第2圖為根據本揭示內容部分實施例所繪示的三維模型重建方法的流程圖；第3A圖、第3B圖為根據本揭示內容部分實施例所繪示的電子裝置於不同時點的操作示意圖；以及第4圖為根據本揭示內容部分實施例所繪示對應不同時點的具姿態三維點雲以及具姿態預估點雲的示意圖。
以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。下述說明中相同元件將以相同之符號標示來進行說明以便於理解。
關於本文中所使用之『電性連接』，可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，而『電性連接』還可指二或多個元件相互操作或動作。
關於本文中所使用之『第一』、『第二』、...等，並非特別指稱次序或順位的意思，亦非用以限定本發明，其僅為了區別以相同技術用語描述的元件或操作。
關於本文中所使用之『包含』、『包括』、『具 有』、『含有』等等，均為開放性的用語，即意指包含但不限於。
關於本文中所使用之『及/或』，係包括所述事物的任一或全部組合。
關於本文中所使用之方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本案。
關於本文中所使用之用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本揭露之用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本揭露之描述上額外的引導。
請參照第1圖。第1圖為根據本揭示內容部分實施例所繪示的電子裝置100的方塊示意圖。電子裝置100可用以執行三維模型重建(3D model reconstruction)以及環境知覺(environment perception)。
具體來說，在部分實施例中，電子裝置100可應用於一虛擬實境(Virtual Reality；VR)/混合實境(Mixed Reality；MR)/擴增實境(Augmented Reality；AR)系統當中，以將現實空間當中的一或多個物件整合於虛擬空間或者虛擬物件之中。現實空間當中的物件可先藉由三維模型重建被辨識識別，以基於識別結果進行整合。
舉例來說，電子裝置100可由攝影裝置、獨立頭戴式顯示器(head mounted device；HMD)或是VIVE頭戴 式顯示器實現。具體來說，獨立頭戴式顯示器可處理包含方位、旋轉之位置資料處理、圖像處理或其他資料運算等。
如第1圖所示，電子裝置100包含處理電路110、記憶體120、深度攝像機(Depth Camera)130以及四個姿態追蹤感測器140。一或多個軟體程式P1儲存於記憶體120中並用以被處理電路110執行，以進行三維模型重建。
在結構上，記憶體120和深度攝影機130分別電性連接於處理電路110。姿態追蹤感測器140設置於電子裝置100上並電性連接於處理電路110。
深度攝像機130配置以擷取目標物件300的影像資料131以及深度資料133。於一實施例中，深度攝像機130是RGBD攝像機，其中影像資料131包含RGB顏色資訊，而深度資料133包含深度資訊。
姿態追蹤感測器140可設置於電子裝置100上，並電性耦接於處理電路110。需注意的是，第1圖中繪示的姿態追蹤感測器140的數目僅為一範例。在其他實施例中，姿態追蹤感測器140的數目可為一個或多於一個。
於一實施例中，姿態追蹤感測器140是根據電磁波射線運作，以接收深度攝像機130的攝像機姿態資料141。
更詳細地來說，姿態追蹤感測器140可應用於光屋追蹤系統(lighthouse tracking system)進行光屋追蹤，以偵測電子裝置100的位置及/或運動狀態。在部分實施例中，姿態追蹤感測器140亦可由RGB攝像機、RGBD攝像機、紅外線相機或其他適合的感光元件實現，本揭示內容並不以此為 限。
在部分實施例中，處理電路110例如可用一或多處理器，例如中央處理器(central processor)及/或微處理器(microprocessor)等處理器實現，但不以此為限。
在部分實施例中，記憶體120可包括一或多個記憶體裝置，其中每一記憶體裝置或多個記憶體裝置之集合包括電腦可讀取記錄媒體。電腦可讀取記錄媒體可包括唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫、或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
為了更佳地理解本揭示內容，電子裝置100的詳細操作將搭配第2圖與第3A圖、第3B圖中所示實施例進行說明。第2圖為根據本揭示內容部分實施例所繪示的三維模型重建方法500的流程圖。第3A圖、第3B圖為根據本揭示內容部分實施例所繪示的電子裝置100於不同時點的操作示意圖。
值得注意的是，三維模型重建方法500可應用於相同或相似於第1圖中所示結構之電子裝置100。為使敘述簡單，以下將根據本揭示內容部分實施例，以第1圖中的實施例為例進行對三維模型重建方法500的說明，然而本揭示內容不以第1圖中的實施例之應用為限。
三維模型重建方法500包含下列操作步驟(應瞭解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行)。
於操作步驟S1，自深度攝像機130接收對應於現在時點的目標物件300的深度資料133。
如第3A圖與第3B圖所示，在部分實施例中，深度攝像機130繞著目標物件300移動，以從不同視角的相對位置擷取深度資料133。
舉例而言，在第3A圖中，於時點T1，電子裝置100與深度攝影機130位於位置PO1，深度攝影機130取得對應於時點T1的深度資料133。在第3B圖中，於時點T2，電子裝置100與深度攝影機130位於位置PO2，深度攝影機130取得對應於時點T2的深度資料133。於一實施例中，現在時點為時點T2，而先前鄰接時點為時點T1。
於操作步驟S2，自基於電磁波射線運作的姿態追蹤感測器140，接收對應於現在時點的深度攝像機130的攝像機姿態資料141。
如第3A圖與第3B圖所示，在部分實施例中，光屋追蹤系統可包含在現實空間中設置於光屋基地台200a、200b中的電磁波發射器210a、210b。包含有電磁波發射器210a、210b的光屋基地台200a、200b用以與姿態追蹤測器140以及處理電路110協作，以定位電子裝置100及/或偵測旋轉，例如電子裝置100的傾角(tilt angle)或是旋角(rotating angle)。
更詳細的說，電磁波發射器210a、210b配置以提供電磁波射線，而姿態追蹤感測器140配置以偵測由電磁波發射器210a、210b發出的電磁波射線，來據以得到深度攝影機 130的攝像機姿態資料141。換句話說，處理電路110可根據姿態追蹤感測器140所偵測到的電磁波射線，得到深度攝影機130的攝像機姿態資料141。
於一實施例中，電磁波發射器210a、210b為雷射發射器，而姿態追蹤感測器140為光感測器。
於操作步驟S3，根據深度資料133以及攝像機姿態資料141產生對應於現在時點的複數具姿態(posed)三維點雲(point clouds)。
於一實施例中，藉由對深度資料133進行深度圖轉換，可產生具有深度的三維點雲。更進一步地，將攝像機姿態資料應用於三維點雲上，可使這些具有深度的點雲投射至真實世界座標系統，以產生具姿態三維點雲。
於操作步驟S4，根據對應於現在時點的攝像機姿態資料141以及對應於先前時點的先前三維模型，產生對應於現在時點的複數具姿態預估點雲。
於一實施例中，藉由在先前三維模型上進行光線投射(Ray Casting)表面掃描，可產生預估點雲。進一步地，藉由在預估點雲上應用攝像機姿態資料141，可產生具姿態預估點雲。
於操作步驟S5，產生具姿態三維點雲以及具姿態預估點雲間的誤差。
請參照第4圖。第4圖為根據本揭示內容部分實施例所繪示對應不同時點的具姿態三維點雲400A、400B及400C以及具姿態預估點雲600的示意圖。
於一實施例中，各組具姿態三維點雲400A、400B及400C分別形成一個表面。具姿態預估點雲600包含多組點雲，各對應於一個時間點且亦各形成一個表面。
在各時點上，具姿態三維點雲400A、400B及400C分別與基於對應先前時點的三維模型所建立的具姿態預估點雲600進行比較。
於一實施例中，具姿態三維點雲形成的表面以及具姿態預估點雲形成的表面間的重疊區域，將先被計算出。
接著，重疊區域上的複數對應特徵將被判斷，其中對應特徵可包含例如，但不限於由具姿態三維點雲以及具姿態預估點雲所形成的表面上的顏色、距離以及垂直向量。
進一步地，誤差可根據具姿態三維點雲以及具姿態預估點雲間的對應相符點的數目決定。
於操作步驟S6，判斷誤差是否小於臨界值。更詳細的說，在一實施例中，對應相符點與不相符點的數目較被判斷，以在對應相符點愈多以及不相符點愈少時，判斷誤差愈小。
於操作步驟S7，當誤差小於臨界值時，根據具姿態三維點雲產生目標物件300的現在三維模型。
於一實施例中，目標物件300的三維模型的表面，是根據具姿態三維點雲的攝像機姿態的旋轉矩陣以及平移向量所建立。舉例來說，旋轉矩陣、平移向量以及光線投 射的結果可被用來建立三維模型的表面。
另一方面，當誤差不小於臨界值時，於操作步驟S8，停止產生目標物件300的現在三維模型。
於現在的實施例中，目標物件300的現在三維模型是對應於時點T2，並在接收到對應於時點T2後的時點T3的新的深度資料133以及新的攝像機姿態資料141時，做為先前三維模型，以執行上述的步驟，在根據時點T3資料產生的具姿態三維點雲以及根據時點T2的三維模型產生的具姿態預估點雲間的差距小於臨界值時，產生對應於時點T3的三維模型。
在部分技術中，是使用疊代最近點算法(iterative closest point；ICP)做為攝像機姿態的預估方式，以降低三維模型重建中的兩個點雲間的誤差。然而，疊代最近點算法最大的缺點在於因為線性估測以及避免遺失追蹤造成的較慢移動速度。在混合實境及擴增實境技術中的三維模型重建中，這樣的缺點會使得使用者的體驗不佳。
本揭示內容的電子裝置以及三維模型重建方法可利用根據電磁波射線運作的姿態追蹤感測器達到快速而精確的姿態估測，以克服移動速度限制的問題。三維模型重建可因此快速地建出。
當在某個時點因為例如，但不限於速度太快，而使得具姿態三維點雲以及具姿態估測點雲之間的誤差不小於臨界值，進而造成姿態追蹤感測器無法追蹤到姿態時，目標物件的三維模型將停止產生。
於一實施例中，三維模型重建停止產生，直到最新的具姿態三維點雲以及根據最後成功建立的三維模型所產生的具姿態估測點雲之間的誤差小於臨界值為止。
需注意的是，在部分實施例中，三維模型重建方法500亦可實作為一電腦程式。當電腦程式係被一電腦、一電子裝置，或第1圖中處理電路110所執行，此執行裝置執行三維模型重建方法500。電腦程式可被儲存於一非暫態電腦可讀取記錄媒體，例如一唯讀記憶體、一快閃記憶體、一軟碟、一硬碟、一光碟、一快閃碟、一隨身碟、一磁帶、一可從網路讀取的資料庫，或任何本揭示內容所屬技術領域中具通常知識者所能想到具有相同功能的記錄媒體。
另外，應瞭解到，在所提及的三維模型重建方法500的操作，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行。
再者，在本揭示內容的不同實施例中，三維模型重建方法500中的此些操作亦可適應性地增加、置換、及/或省略。
透過上述不同實施例中的操作，可藉由使用光屋追蹤系統實現三維模型重建方法，透過根據深度資料產生的攝像機姿態以及根據先前三維模型產生的預估攝像機姿態間的比較，來為了虛擬實境、擴增實境或混合實境的應用建立並輸出目標物件的三維模型，而不需要使用疊代最近點程序。
各種功能性元件和方塊已於此公開。對於本技術 領域具通常知識者而言，功能方塊可由電路(不論是專用電路，或是於一或多個處理器及編碼指令控制下操作的通用電路)實現，其一般而言包含用以相應於此處描述的功能及操作對電氣迴路的操作進行控制之電晶體或其他電路元件。如將進一步理解地，一般而言電路元件的具體結構與互連，可由編譯器(compiler)，例如暫存器傳遞語言(register transfer language，RTL)編譯器決定。暫存器傳遞語言編譯器對與組合語言代碼(assembly language code)相當相似的指令碼(script)進行操作，將指令碼編譯為用於佈局或製作最終電路的形式。確實地，暫存器傳遞語言以其促進電子和數位系統設計過程中的所扮演的角色和用途而為人熟知。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的原則之內所作的任何修改，等同替換和改進等均應包含本發明的保護範圍之內。
500‧‧‧三維模型重建方法
S1-S8‧‧‧操作步驟

Claims (10)

  1. 一種三維模型重建方法，包含：自一深度攝像機接收對應於一現在時點的一目標物件的一深度資料；自至少一姿態追蹤感測器，接收對應於該現在時點的該深度攝像機的一攝像機姿態資料，其中該至少一姿態追蹤感測器偵測一電磁波發射器發出的一電磁波射線產生該攝像機姿態資料；根據該深度資料以及該攝像機姿態資料產生對應於該現在時點的複數具姿態(posed)三維點雲(point clouds)；根據對應於該現在時點的該攝像機姿態資料以及對應於一先前時點的一先前三維模型，產生對應於該現在時點的複數具姿態預估點雲；以及基於該等具姿態三維點雲以及該等具姿態預估點雲之一誤差，根據該具姿態三維點雲產生該目標物件之一現在三維模型。
  2. 如請求項1所述的三維模型重建方法，其中該深度攝像機設置於一電子裝置上，該三維模型重建方法更包含：在該電子裝置繞著該目標物件移動時，由該深度攝像機取得該目標物件的該深度資料。
  3. 如請求項2所述的三維模型重建方法，更包含：由至少一電磁波發射器提供複數電磁發數波束；以及由設置於該電子裝置上的該至少一姿態追蹤感測器偵測該電磁波射線，據以取得該攝像機姿態資料。
  4. 如請求項1所述的三維模型重建方法，更包含：計算該等具姿態三維點雲以及該等具姿態預估點雲間的一重疊區域；比較該重疊區域之複數對應特徵；以及根據該等具姿態三維點雲以及該等具姿態預估點雲間的複數對應相符點的一數目，決定該誤差。
  5. 如請求項4所述的三維模型重建方法，其中該等特徵包含由該等具姿態三維點雲以及該等具姿態預估點雲所形成的複數表面上的一顏色、一距離以及一垂直向量。
  6. 如請求項1所述的三維模型重建方法，其中產生該等具姿態三維點雲的步驟更包含：對該深度資料進行一深度圖轉換，以產生複數個三維點雲；以及將該攝像機姿態資料應用於該等三維點雲上，以產生 該等具姿態三維點雲。
  7. 如請求項1所述的三維模型重建方法，更包含：當該誤差小於一臨界值時，根據該等具姿態三維點雲產生該目標物件的該現在三維模型；以及當該誤差不小於該臨界值時，停止產生該目標物件的該現在三維模型。
  8. 一種重建三維模型的電子裝置，包含：一處理電路；一深度攝像機，電性耦接於該處理電路；至少一姿態追蹤感測器，電性耦接於該處理電路並設置於該電子裝置上；以及一記憶體，電性耦接於該處理電路，並配置以儲存至少一程式，該程式配置以被該處理電路執行，且該程式包含複數指令，以執行一三維模型重建方法，包含：自該深度攝像機接收對應於一現在時點的一目標物件的一深度資料；自該姿態追蹤感測器，接收對應於該現在時點的該深度攝像機的一攝像機姿態資料，其中該至少一姿態追蹤感測器偵測一電磁波發射器發出的一電磁波射線產生該攝像機姿態資料；根據該深度資料以及該攝像機姿態資料產生對 應於該現在時點的複數具姿態三維點雲；根據對應於該現在時點的該攝像機姿態資料以及對應於一先前時點的一先前三維模型，產生對應於該現在時點的複數具姿態預估點雲；以及基於該等具姿態三維點雲以及該等具姿態預估點雲之一誤差，根據該具姿態三維點雲產生該目標物件之一現在三維模型。
  9. 如請求項8所述的電子裝置，該三維模型重建方法更包含：計算該等具姿態三維點雲以及該等具姿態預估點雲間的一重疊區域；比較該重疊區域之複數對應特徵；以及根據該等具姿態三維點雲以及該等具姿態預估點雲間的複數對應相符點的一數目，決定該誤差。
  10. 一種非暫態電腦可讀取記錄媒體，用以儲存包含複數指令的一或多個電腦程式，當執行該些指令時，將致使一處理電路執行一三維模型重建方法，包含：自一深度攝像機接收對應於一現在時點的一目標物件的一深度資料；自至少一姿態追蹤感測器，接收對應於該現在時點的該深度攝像機的一攝像機姿態資料，其中該至少一姿態追蹤感測器偵測一電磁波發射器發出的一電磁波射線產生 該攝像機姿態資料；根據該深度資料以及該攝像機姿態資料產生對應於該現在時點的複數具姿態三維點雲；根據對應於該現在時點的該攝像機姿態資料以及對應於一先前時點的一先前三維模型，產生對應於該現在時點的複數具姿態預估點雲；以及基於該等具姿態三維點雲以及該等具姿態預估點雲之一誤差，根據該具姿態三維點雲產生該目標物件之一現在三維模型。
TW107146853A 2017-12-25 2018-12-24 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體 TWI708210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762610267P 2017-12-25 2017-12-25
US62/610,267 2017-12-25

Publications (2)

Publication Number Publication Date
TW201928883A TW201928883A (zh) 2019-07-16
TWI708210B true TWI708210B (zh) 2020-10-21

Family

ID=66949641

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107146853A TWI708210B (zh) 2017-12-25 2018-12-24 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US10962355B2 (zh)
CN (1) CN109961504B (zh)
TW (1) TWI708210B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817540B (zh) * 2022-06-07 2023-10-01 鴻海精密工業股份有限公司 深度圖像獲取方法、電子設備及計算機可讀存儲媒體

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063567B (zh) * 2018-07-03 2021-04-13 百度在线网络技术（北京）有限公司 人体识别方法、装置及存储介质
CN110930453B (zh) * 2019-10-30 2023-09-08 北京迈格威科技有限公司 目标物体定位方法、装置及可读存储介质
CN110910483B (zh) * 2019-11-29 2021-05-14 广州极飞科技股份有限公司 三维重建方法、装置及电子设备
US11288493B2 (en) * 2020-02-25 2022-03-29 Raytheon Company Point cloud registration with error propagation
TWI815021B (zh) * 2020-07-06 2023-09-11 萬達人工智慧科技股份有限公司 用於擴增實境之深度計算裝置及深度計算方法
US11756225B2 (en) 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11176756B1 (en) * 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
US20240273819A1 (en) * 2020-10-27 2024-08-15 Energybill.com LLC System and method for energy infrastructure and geospatial data visualization, management, and analysis using environment simulation and virtual realization
CN112464751A (zh) * 2020-11-11 2021-03-09 安徽山水空间装饰有限责任公司 用于装修的视频云监控方法及其装置
SG10202103264XA (en) * 2021-03-30 2021-11-29 Sensetime Int Pte Ltd Generating point cloud completion network and processing point cloud data
KR102428740B1 (ko) * 2021-03-30 2022-08-02 센스타임 인터내셔널 피티이. 리미티드. 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리
CN113327318B (zh) * 2021-05-18 2022-07-29 禾多科技（北京）有限公司 图像显示方法、装置、电子设备和计算机可读介质
CN113376953B (zh) * 2021-05-20 2022-09-27 达闼机器人股份有限公司 物体投影重建系统
CN113362467B (zh) * 2021-06-08 2023-04-07 武汉理工大学 基于点云预处理和ShuffleNet的移动端三维位姿估计方法
US11836937B2 (en) * 2021-07-23 2023-12-05 Zebra Technologies Corporation System and method for dimensioning target objects
CN114266279A (zh) * 2021-12-29 2022-04-01 北京大学深圳研究生院 一种基于复数网络表达的点云特征提取方法及装置
CN114310951B (zh) * 2021-12-31 2024-04-26 北京航空航天大学杭州创新研究院 位姿优化方法、装置、抓取设备和计算机可读存储介质
US12062145B2 (en) 2022-02-01 2024-08-13 Samsung Electronics Co., Ltd. System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications
CN114531986B (zh) * 2022-03-03 2023-08-11 星光农机股份有限公司 一种田间作业机具的耕深控制方法及装置
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800736B2 (en) * 2005-10-05 2010-09-21 Utah State University System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
US20170064278A1 (en) * 2014-04-18 2017-03-02 Autonomous Solutions, Inc. Stereo vision for sensing vehicles operating environment

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988226B (zh) * 2011-08-31 2017-09-26 Metaio有限公司 用于估计摄像机运动以及用于确定实境三维模型的方法
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
US9524582B2 (en) * 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
JP6778205B2 (ja) * 2014-11-10 2020-10-28 バルブ コーポレーション 位置追跡システム及び方法
US9818043B2 (en) * 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
US10311648B2 (en) * 2016-06-22 2019-06-04 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
US10489927B2 (en) * 2016-07-18 2019-11-26 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor
US10489975B2 (en) * 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
CN106997605B (zh) * 2017-03-22 2019-11-19 浙江大学 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法
CN107292965B (zh) * 2017-08-03 2020-10-13 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US7800736B2 (en) * 2005-10-05 2010-09-21 Utah State University System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
US20170064278A1 (en) * 2014-04-18 2017-03-02 Autonomous Solutions, Inc. Stereo vision for sensing vehicles operating environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817540B (zh) * 2022-06-07 2023-10-01 鴻海精密工業股份有限公司 深度圖像獲取方法、電子設備及計算機可讀存儲媒體

Also Published As

Publication number Publication date
CN109961504B (zh) 2023-07-21
CN109961504A (zh) 2019-07-02
US10962355B2 (en) 2021-03-30
US20190197770A1 (en) 2019-06-27
TW201928883A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
TWI708210B (zh) 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
US10964049B2 (en) Method and device for determining pose of camera
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
Rad et al. Bb8: A scalable, accurate, robust to partial occlusion method for predicting the 3d poses of challenging objects without using depth
US10825197B2 (en) Three dimensional position estimation mechanism
US11683468B2 (en) Coordination of multiple structured light-based 3D image detectors
Dame et al. Dense reconstruction using 3D object shape priors
US20180137644A1 (en) Methods and systems of performing object pose estimation
TWI700668B (zh) 電腦實施的三維模型分析方法、電子裝置及非暫態電腦可讀取記錄媒體
CN113196296A (zh) 使用几何上下文检测人群中的对象
TWI686771B (zh) 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
AU2015224418A1 (en) Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing
KR20200050246A (ko) 2차원 영상으로부터 3차원 객체를 검출하는 방법 및 장치
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
KR102436730B1 (ko) 가상 스크린의 파라미터 추정 방법 및 장치
CN119497877A (zh) 确定用于虚拟制作的相机控制点
EP3676801B1 (en) Electronic devices, methods, and computer program products for controlling 3d modeling operations based on pose metrics
KR102270922B1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
Tian et al. Dynaquadric: Dynamic quadric slam for quadric initialization, mapping, and tracking
Araar et al. PDCAT: a framework for fast, robust, and occlusion resilient fiducial marker tracking
US11321914B1 (en) System for generating a navigational map of an environment
Lee et al. Robust multithreaded object tracker through occlusions for spatial augmented reality
Meng et al. Prob-slam: real-time visual slam based on probabilistic graph optimization
Gaspar et al. Accurate infrared tracking system for immersive virtual environments