TWI697811B - 追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法 - Google Patents
追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法 Download PDFInfo
- Publication number
- TWI697811B TWI697811B TW107142411A TW107142411A TWI697811B TW I697811 B TWI697811 B TW I697811B TW 107142411 A TW107142411 A TW 107142411A TW 107142411 A TW107142411 A TW 107142411A TW I697811 B TWI697811 B TW I697811B
- Authority
- TW
- Taiwan
- Prior art keywords
- light source
- scanning
- head
- mounted display
- tracking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000012545 processing Methods 0.000 claims abstract description 28
- 229910003460 diamond Inorganic materials 0.000 claims description 12
- 239000010432 diamond Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/108—Scanning systems having one or more prisms as scanning elements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一種追蹤定位系統,用來追蹤定位一使用者,其包含有:一掃描裝置,包含有一光源掃描模組,用來產生一掃描光源,其中該光源掃描模組包含有一定點光源、一菱鏡、一反射鏡及一同步處理模組,其中該菱鏡會依據一速度進行轉動、該同步處理模組用來根據該菱鏡的轉動速度,控制該反射鏡的轉動角度,用來將該定點光源發射至該菱鏡而折射的光線,反射至一特定方向,以形成該掃描光源;一頭戴式顯示器,包含有複數個接收器,用來偵測該第一掃描光源,以產生關於該掃描光源的一資訊;以及一運算裝置,用來根據該資訊,計算該使用者的位置。
Description
本發明係指一種追蹤定位裝置,尤指一種用於虛擬實境系統中,可360度追蹤定位的追蹤定位裝置。
3D追蹤定位系統為虛擬實境(Virtual Reality,VR)沉浸感的重要因子之一,然而市面上較廣泛使用的VR追蹤系統不論是透過訊號發射源或是基於相位空間演算法的訊號接收器,都需要在牆上鑽洞鎖孔架設相關設備,如燈塔(light house))及PhaseSpace攝相機,而且這兩種設備也都需要額外提供電源。除此之外,燈塔或PhaseSpace攝相機安裝的角度及高度也需要經過計算,以涵蓋足夠的訊號範圍,藉以追蹤到使用者的移動/動作,因此以上兩種設備在架設方面,較難推廣到一般家庭所使用。
進一步來說,以上兩種光學定位技術在實務上均是在定點以及頭戴式顯示器(head-mounted display,HMD)上設置定位光源以及光源接收器,最大差異是PhaseSpace是定位光源作在頭戴式顯示器上,外部環境架設PhaseSpace攝相機來作為光源接收器;燈塔為定位掃描光源,並將光源接收器作在頭戴式顯示
器上。另外,Lenovo推出擴增實境(Augmented Reality,AR)產品套件,其利用一發光球體(tracking beacon)放置在地面上,用來讓追蹤系統以此作為虛擬影像投影的基準點,如此投影出來的虛擬人物上下位置才能夠在適當的位置。
因此,本發明之主要目的即在於提供一種簡易架設的追蹤定位系統、追蹤定位方法及影像顯示校正方法,以解決上述問題。
本發明揭露一種追蹤定位系統,用來追蹤定位一使用者,其包含有:一掃描裝置,包含有一第一光源掃描模組,用來產生一第一掃描光源,其中該第一光源掃描模組可相對於該掃描裝置進行順時鐘旋轉、逆時鐘旋轉、或是固定角度擺動,以及該第一掃描光源為具有上下相對關係的光線;一頭戴式顯示器,包含有複數個接收器,用來偵測該第一掃描光源,以產生關於該第一掃描光源的一資訊;以及一運算裝置,用來根據該資訊,計算該使用者的位置。
本發明揭露一種掃描裝置,用於一追蹤定位系統,其包含有:一第一光源掃描模組,用來產生一第一掃描光源,其中該第一光源掃描模組可相對於該掃描裝置進行順時鐘旋轉、逆時鐘旋轉、或是固定角度擺動,以及該第一掃描光源為具有上下相對關係的光線。
本發明揭露一種頭戴式顯示器,用於一追蹤定位系統,該頭戴式顯示器包含有:一光源接收模組,設置於該頭戴式顯示器的側邊及後方,其中該光源接收模組包含有複數個接收器,用來偵測追蹤定位系統中一光源掃描裝置所產生的一掃描光源;以及一固定綁帶,用來提供一使用者穿載該頭戴式顯示
器。
本發明揭露一種運算裝置,用於一追蹤定位系統,該追蹤定位系統包含有一掃描裝置及一頭戴式顯示器,該運算裝置包含有:一處理單元,用來執行一程式碼;一儲存單元,耦接於該處理單元,用來儲存該程式碼,其中該程式碼指示該處理單元執行以下步驟:接收該掃描裝置旋轉的一角速度資訊;接收該頭戴式顯示器從該掃描裝置偵測到一掃描光源的一資訊,其中該資訊包含有該頭戴式顯示器之複數個接收器偵測到該掃描光源的時間;根據該資訊,計算各個接收器之間偵測到該掃描光源的一時間差;以及根據該時間差、該角速度及該複數個接收器之間的一設置間距,計算該使用者的位置。
本發明揭露一種追蹤定位的方法,用於一追蹤定位系統中的一運算裝置,該方法包含有:接收該掃描裝置旋轉的一角速度資訊;接收該頭戴式顯示器從該掃描裝置偵測到一掃描光源的一資訊,其中該資訊包含有該頭戴式顯示器之複數個接收器偵測到該掃描光源的時間;根據該資訊,計算各個接收器之間偵測到該掃描光源的一時間差;以及根據該時間差、該角速度及該複數個接收器之間的一設置間距,計算該使用者的位置。
本發明揭露一種校正影像顯示的方法,用於一追蹤定位系統,該360度追蹤定位系統包含有一該掃描裝置、一運算裝置及一頭戴式顯示器,該方法包含有:該頭戴式顯示器顯示一影像畫面,其中該影像畫面包含有固定位置的一校正視框;該運算裝置傳送一影像資料至該頭戴式顯示器,其中該影像資料包含有第一角度或第一距離的一參考點;當該頭戴式顯示器移動而使該校正視框移動至該第一角度或該第一距離的該參考點時,計算該頭戴式顯示器及該掃
描裝置之間的一相對角度或一相對距離;以及連結該相對角度或該相對距離至該第一角度或該第一距離,用來作為影像顯示的角度基準或距離基準。
本發明揭露一種運算裝置,用於一追蹤定位系統,用來校正一虛擬實境中的影像顯示,該追蹤定位系統包含有一掃描裝置及一頭戴式顯示器,該運算裝置包含有:一處理單元,用來執行一程式碼;一儲存單元,耦接於該處理單元,用來儲存該程式碼,其中該程式碼指示該處理單元執行以下步驟:傳送一第一影像資料至該頭戴式顯示器,其中該第一影像資料包含有一固定位置的一校正視框;傳送一第二影像資料至該頭戴式顯示器,其中該第二影像資料包含有該校正視框及一第一角度/第一距離的一參考點;當該頭戴式顯示器移動而使該校正視框移動至該第一角度或該第一距離的該參考點時,計算該頭戴式顯示器與該掃描裝置之間的一相對角度或一相對距離;以及連結該相對角度或該相對距離至該第一角度或該第一距離,用來作為影像顯示的角度基準或距離基準。
LD:掃描裝置
HMD:頭戴式顯示器
LDM:光源掃描模組
100:運算裝置
200:直向光源
300:定點光源
302:菱鏡
304:反射鏡
306:同步處理模組
400:橫向光源
Rx1Rx2:接收器
d、d1、d2、d’:間距
ω1、ω1、ω:角速度
102:處理單元
104:儲存單元
106:通訊介面單元
104a:程式碼
1000、1100:流程
1002~1008、1102~1108:步驟
S:轉軸
600:基座
602:固定綁帶
第1圖為本發明實施例一追蹤定位系統的示意圖。
第2圖為本發明實施例一掃描裝置的外觀示意圖。
第3圖為本發明實施例一掃描裝置的架構圖。
第4圖為本發明實施例一掃描裝置具多組光源掃描模組的示意圖。
第5圖為本發明實施例一頭戴式顯示器的示意圖。
第6圖為本發明實施例一頭戴式顯示器的示意圖。
第7圖為本發明實施例一追蹤定位使用者的示意圖。
第8A-8B圖為本發明實施例一頭戴式顯示器呈不同角度的示意圖。
第9圖為本發明實施例一運算裝置的示意圖。
第10圖為本發明實施例一追蹤定位程序的流程圖。
第11圖為本發明實施例一影像顯示校正程序的流程圖。
第12圖為本發明實施例一校正影像顯示的示意圖。
第13圖為本發明實施例一追蹤定位系統的配置示意圖。
請參考第1圖,第1圖為本發明實施例之一追蹤定位系統10的示意圖。追蹤定位系統10包含有掃描裝置LD、頭戴式顯示器HMD及運算裝置100。掃描裝置LD用來產生掃描光源(如紅外線)。頭戴式顯示器HMD用來偵測掃描裝置LD所產生的掃描光源,以產生關於掃描光源的資訊,並傳送至運算裝置100。運算裝置100可以有線或無線方式連接掃描裝置LD及頭戴式顯示器HMD,並用來根據頭戴式顯示器收集到關於掃描光源的資訊,計算出穿載頭戴式顯示器HMD的使用者位置。
掃描裝置LD的詳細結構,請參見第2~3圖。第2圖為本發明實施例一掃描裝置LD的外觀示意圖,以及第3圖為本發明實施例一掃描裝置LD的架構圖。在第2圖中,掃描裝置LD的外型呈現立體柱狀,並發出直向光源200,用來掃描水平方向,其中第2圖僅用來示意直向光源200為上下方向的光線,而不必然相互平行(如第3圖所示,直接光源200為上下方向的光線,但不需相互平行)。進一步地,如第3圖所示,掃描裝置LD包含有光源掃描模組LDM,其中光源掃描模組LDM包含有定點光源300、菱鏡302、反射鏡304及同步處理模組306,其中菱鏡302會依據一固定速度進行轉動、同步處理模組306用來根據菱鏡302的轉動速
度,控制反射鏡304的轉動角度,用來將定點光源300發射至菱鏡302而折射的光線,反射至一特定方向,以形成第一掃描光源(如第2圖所示的直向光源200,並以水平方向射出)。
另外,請參見第4圖,其本發明實施例一掃描裝置LD具多組光源掃描模組的示意圖。如第4圖所示,掃描裝置LD包含有另一組光源掃描模組,垂直設置在掃描裝置LD上,用來產生第二掃描光源。舉例來說,第二掃描光源可為橫向光源400,並以垂直方向射出,用來掃描垂直方向,其中光源掃描模組的組成元件及運作原理可參見上述,在此不在贅述。值得注意的是,掃描裝置LD中的光源掃描模組會分別根據一角速度ω1、ω2轉動,以及透過同步處理模組306將角速度ω1、ω2的資料傳送至運算裝置100。除此之外,為了使頭戴式顯示器HMD能區分第二掃描光源如何與第一掃描光源,本案之第一掃描光源及第二掃描光源可以不同波長的光線發射,再由頭戴式顯示器HMD的接收器區別光線的波長,藉以分辨出第一掃描光源及第二掃描光源。或者,第一掃描光源及第二掃描光源中的定點光源300分別以脈衝寬度調變(pulse-width modulation,PWM)的方式產生光源,再經由接收器區別光線的工作週期(duty cycle)或是等效訊號頻率。
關於頭戴式顯示器HMD的詳細結構,請參見第5圖。第5圖為本發明實施例一頭戴式顯示器HMD的示意圖。頭戴式顯示器HMD包含有複數個接收器(以接收器Rx1、Rx2為例),其中接收器之間的設置距離為間距d。請參見第6圖,在一實施例中,為顧及使用者背對掃描裝置LD時,可能發生接收器因被人體遮蔽而無法接收到訊號的狀況,因此本發明可新增一光源接收模組於頭戴式顯示器HMD。簡單來說,本發明可在頭戴式顯示器HMD後方及側邊設置了接收器陣
列(即光源接收模組),並透過一連接器連接頭戴式顯示器HMD。為了使接收器之間的間距d為一定值,因此頭戴式顯示器HMD後方及側邊之接收器陣列需配置在不會形變的基座600上。在一實施例中,佈置有接收器陣列的基座600透過轉軸S連接頭戴式顯示器HMD,以供使用者調整角度方便穿戴。另外,頭戴式顯示器HMD上設置的固定綁帶602則可以適應不同使用者的頭型。
運算裝置100的追蹤定位操作可參見第7圖。第7圖為本發明實施例一追蹤定位使用者的示意圖。在第7圖中,角速度ω為掃描裝置LD旋轉的速度(如上所述,包含有光源掃描模組的旋轉角速度ω1、ω2),以及時間差△t為接收器Rx1接受到掃描光源與接收器Rx2接受到掃描光源的時間差距。若假設掃描裝置LD到接收器Rx1之距離為r,則從接收器Rx1掃描到接收器Rx2的速度為V=ω.r=d/△t,也就是說為若角速度ω為定值,Rx1到Rx2的間距d也是定值。換句話說,速度V與距離r成正比,在物理意義上可解釋為當發射掃描光源的掃描裝置LD的旋轉角速度不變,當接收器Rx1離掃描裝置LD愈遠,則掃描光源從接收器Rx1掃描到接收器Rx2的時間就會愈短。因此,接收器Rx1與掃描裝置LD的距離r則可推得公式如下:
值得注意的是,由於接收器可以設置多組已增加量測精準性,因此理論上,若設置n個接收器,則可求得n-1個距離r,再依演算法決定要取平均或是僅取某個數值使用,藉以獲得精確的定位資料。
如第8A圖所示,上述追蹤定位操作是假設頭戴式顯示器HMD呈正向面對掃描裝置LD。因此,在實際計算中,假設柱體轉一圈需時T=1s、角速度ω=6.2832rad/s、接收器Rx之間設計間距為2cm、頭戴式顯示器HMD與掃描裝置LD
的水平距離r,以及運算裝置100取得掃描裝置LD的掃描光源從接收器Rx1掃到接收器Rx2之時間差△t為0.02s。在此情況下,運算裝置100可計算出掃描光源從接收器Rx1掃描到接收器Rx2的速度,而頭戴式顯示器HMD與掃描裝
置LD的距離。
然而,在實際應用場景中,頭戴式顯示器HMD可能不是正向面對掃描裝置LD,而是呈側向或其他角度,此時若根據上述計算方式,可能會造成定位誤差。因此,本發明另提出一除錯機制,用來加強上述追蹤定位操作。請參見第8B圖,其為本發明實施例一頭戴式顯示器呈不同角度的示意圖。由上述可知,運算裝置100透過時間差求得相對距離r的方式,必需仰賴間距d來作計算,而理論上頭戴式顯示器HMD上的每個接收器安裝完成後的間距d(如第8A圖所示之間距d1、d2)不會再有所變動。但實際使用時,使用者可能不見得會時時刻刻都正面對著掃描裝置LD,這時對於運算裝置100而言所獲得到的Rx間距d’可能就會因為使用者的轉動角度而有所改變。換句話說,間距d’偏離實際間距d,因此量測到的時間差△t也會受到影響,進而影響到距離r的計算。
舉例來說,當使用者正對掃描裝置LD時,每個接收器量測到的時間差△t1及△t2是相同的,因此運算裝置100計算出相同的實際間距d。然而,如第6圖所示,頭戴式顯示器HMD上的接收器為環狀設置,因此當使用者側對掃描裝置LD時,正對掃描裝置LD的接收器會量測到最大時間差△t max,而其他接收器會量測到的時間差△t1’與△t2’會因橫向距離縮短的關係而變小(即代表掃描裝置LD光線從接收器Rx1掃到接收器Rx2的時間變短)。在此情況下,若無其他輔助判別條件的話就會被判定位於較遠的位置。因此,為了避免在不同角度下,造成計算失誤的狀況,運算裝置100在計算過程中,會依據測量到的最大的時間
差△t max,其他時間差△t(如時間差△t1’與△t2’)捨去不計,進而得出接收器之間的間距d’近似於實際設計間距d,如此便可排除在不同角度下,間距d’偏離實際間距d的誤差。
請參見第9圖,其為本發明實施例一運算裝置100的示意圖。運算裝置100可為個人電腦、筆記型電腦及背包電腦(Backpack PC),其包含一處理單元102、一儲存單元104及一通訊介面單元106。處理單元102可為一微處理器或一特定應用積體電路(application-specific integrated circuit,ASIC)。儲存單元104可為任一資料儲存裝置,用來儲存一程式碼104a,並透過處理單元102讀取及執行程式碼104a。舉例來說,儲存單元104可為用戶識別模組(subscriber identity module,SIM)、唯讀式記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、隨機存取記憶體(random-access memory,RAM)、光碟唯讀記憶體(CD-ROM/DVD-ROM)、磁帶(magnetic tap)、硬碟(hard disk)及光學資料儲存裝置(optical data storage device)等,但不限於此。通訊介面單元106可為一無線收發器,其根據處理單元102的處理結果,與掃描裝置LD及頭戴式顯示器HMD交換訊號。
請參考第10圖,其為本發明實施例一追蹤定位流程1000的流程圖。簡單來說,運算裝置100進行上述追蹤定位操作的計算方式,可歸納為追蹤定位流程1000,並可被編譯成程式碼104a,儲存於儲存單元104中,其包含以下步驟:
步驟1002:取得掃描裝置旋轉的角速度。
步驟1004:接收頭戴式顯示器從掃描裝置收集到關於掃描光源的資訊。
步驟1006:根據接收到的資訊,擷取頭戴式顯示器的各個接收器之
間接收到掃描光源的最大時間差。
步驟1008:根據最大時間差、角速度及接收器之間的間距,計算使用者的位置。
根據追蹤定位流程1000,運算裝置100透過掃描裝置LD的同步處理模組306,取得掃描裝置LD旋轉的角速度,以及透過頭戴式顯示器HMD的各個接收器接收到的掃描光源,取得用來計算使用者位置的資訊。舉例來說,此資訊包含有各個接收器接收到掃描光源的時間,藉以擷取出各個接收器之間接收到掃描光源的時間差。因此,運算裝置100可根據上述操作方式來計算出使用者的位置。在一實施例中,運算裝置100可根據最大時間差來計算使用者的位置。關於追蹤定位流程1000的詳細計算公式,可參見上述,在此不再贅述。
請參考第11圖,其為本發明實施例一影像顯示校正程序1100的流程圖。影像顯示校正程序1100用於運算裝置100,可被編譯成程式碼104a,儲存於儲存單元104中,其包含以下步驟:
步驟1102:透過頭戴式顯示器,分別顯示不同角度的參考點。
步驟1104:當使用者透過頭戴式顯示器的校正視框對準至參考點時,取得頭戴式顯示器與掃描裝置之間的相對角度,作為虛擬實境中影像顯示的角度基準。
步驟1106:透過頭戴式顯示器,分別顯示不同距離的參考點。
步驟1108:當使用者透過頭戴式顯示器的校正視視框對準至參考點時,取得頭戴式顯示器與掃描裝置之間的相對距離,作為虛擬實境中影像顯示的距離基準。
根據影像顯示校正程序1100,運算裝置100能將其認定的角度及距離連結至使用者實際移動的角度及距離,因此運算裝置100在輸出影像資料給頭戴式顯示器時,使用者在虛擬實境中,會有更貼近真實的感受。詳細的校正操作方式,請參考第12圖,其為本發明實施例一校正影像顯示的示意圖。在虛擬實境的影像開始時,運算裝置100首先輸出影像資料至頭戴式顯示器HMD,其中影像資料包含有不同角度及距離的參考點。因此,頭戴式顯示器HMD會透過左右眼螢幕顯示不同角度及距離的參考點。在一實施例中,使用者透過頭戴式顯示器HMD的左右眼螢幕以固定的校正視框追蹤參考點(如第12圖所示之「顯示畫面」欄位中的方框代表校正視框,而實心黑點則代表參考點),此時接收器接受到的資訊即可回饋運算裝置100作為校正基準。如第12圖所示,在時間點time 1~time 5,使用者會進行定點旋轉,用意在於將影像中認定的轉動角度與實際轉動角度作比較連結。舉例來說,運算裝置100傳送影像資料至頭戴式顯示器HMD,其中此影像資料包含有一特定角度的參考點,因此頭戴式顯示器HMD在接收到影像資料之後,會透過頭戴式顯示器的左右眼螢幕,在上視角45度處顯示參考點,使用者轉動頭部,以嘗試將參考點移至校正視框中央。此時,頭戴式顯示器HMD與掃描裝置LD呈現之相對角度即可在虛擬實境中定義為45度角。簡單來說,運算裝置100將頭戴式顯示器HMD與掃描裝置LD呈現之相對角度,連結至虛擬實境中影像所顯示的轉動角度。同理,為了將影像中認定的前後移動距離與實際移動距離作比較連結,運算裝置100會定義多組不同相對距離的參考點,舉例來說,假設在初始時間點time 1,使用者距離掃描裝置LD為3公尺,而在另一時間點time 2,系統給出另一距離的參考點,使用者往前移動將參考點移至校正視框處,此時可將此距離定義為2公尺。同理,在不同的時間點time 3~time 5,運算裝置100可透過頭戴式顯示器HMD顯示不同的距離,藉以將頭戴式顯示器HMD與掃描裝置LD呈現之相對距離,連結至虛擬實境中影像所顯示的移動距
離。
第13圖,本發明實施例一追蹤定位系統的配置示意圖。本發明的追蹤定位系統可應用在不同空間及場景,而不會因為空間大小而無法裝設,且不會有光源掃描死角的問題。舉例來說,掃描裝置LD可置於房間邊界處或置於環境中央,前者適合較小空間所使用,例如一般家庭房間內,後者則適用於較大空間使用,例如VR體驗館多人遊戲。值得注意的是,本發明的掃描裝置LD只需要一組電源或內建充電電池,因此相較於傳統的燈塔因為僅有120度的有效視角,因此需要安裝二個燈塔,造成需要多組電源並增加安裝的複雜度。除此之外,燈塔安裝的角度及高度也需要經過精確計算,以避免掃描死角的問題,因此較難推廣到一般家庭使用。
綜上所述,本發明提供一種掃描裝置,能360度追蹤定位,避免掃描死角,且能夠輕易安裝並應用在不同空間大小的場景。除此之外,本發明應用使用者所穿戴的頭戴式顯示器與掃描裝置之間的相對角度/距離變化,來作為校正影像顯示的依據。另外,本發明提出的除錯機制,能改善頭戴式顯示器非正向面對掃描裝置所產生的定位誤差。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
200:直向光源
300:定點光源
302:菱鏡
304:反射鏡
306:同步處理模組
LDM:光源掃描模組
Claims (23)
- 一種追蹤定位系統,用來追蹤定位一使用者,其包含有:一掃描裝置,包含有一第一光源掃描模組,用來產生一第一掃描光源,其中該第一光源掃描模組可相對於該掃描裝置進行順時鐘旋轉、逆時鐘旋轉、或是固定角度擺動,以及該第一掃描光源為具有上下相對關係的光線;一頭戴式顯示器,包含有複數個接收器,用來偵測該第一掃描光源,以產生關於該第一掃描光源的一資訊;以及一運算裝置,用來根據該資訊,計算該頭戴式顯示器與該掃描裝置之距離以得到該使用者的位置。
- 如請求項1所述之追蹤定位系統,其中該第一光源掃描模組包含有一定點光源、一菱鏡、一反射鏡及一同步處理模組,其中該菱鏡會依據一速度進行轉動、該同步處理模組用來根據該菱鏡的轉動速度,控制該反射鏡的轉動角度,用來將該定點光源發射至該菱鏡而折射的光線,反射至一特定方向,以形成該第一掃描光源。
- 如請求項1所述之追蹤定位系統,其中該掃描裝置更包含有一第二光源掃描模組,用來產生一第二掃描光源,以及該第二光源掃描模組可相對於該第一光源掃描模組進行順時鐘旋轉、逆時鐘旋轉、或是固定角度擺動,以及該第二掃描光源為具有左右相對關係的光線。
- 如請求項3所述之追蹤定位系統,其中該第一掃描光源為用來掃描水平方向的光線,以及該第二掃描光源為用來掃描垂直方向的光線。
- 如請求項1所述之追蹤定位系統,其中該頭戴式顯示器包含有一光源接收模組,設置於該頭戴式顯示器的側邊及後方,用來偵測該第一掃描光源。
- 如請求項1所述之追蹤定位系統,其中該第一光源掃描模組根據一角速度進行旋轉。
- 如請求項6所述之追蹤定位系統,其中該資訊包含有該頭戴式顯示器之該複數個接收器偵測到該第一掃描光源的時間,以及該運算裝置更用來根據該複數個接收器偵測到該第一掃描光源的時間差、該角速度、該複數個接收器之間的一設置間距,計算該使用者的位置。
- 如請求項7所述之追蹤定位系統,其中該運算裝置更用來根據該複數個時間差中的一最大時間差、該角速度、該設置間距,計算該使用者的位置。
- 如請求項1所述之追蹤定位系統,其中該運算裝置更用來透過該頭戴式顯示器顯示一第一角度/第一距離的參考點,以及一固定位置的一校正視框、當該頭戴式顯示器移動而使該校正視框移動至該第一角度/第一距離的參考點時,計算該頭戴式顯示器與該掃描裝置之間的一相對角度或一相對距離,以及將該相對角度或該相對距離,連結對應至該第一角度或該第一距離,用來作為影像顯示的角度基準或距離基準。
- 一種掃描裝置,用於一追蹤定位系統,其包含有:一第一光源掃描模組,用來產生一第一掃描光源,其中該第一光源掃描模組 可相對於該掃描裝置進行順時鐘旋轉、逆時鐘旋轉、或是固定角度擺動,以及該第一掃描光源為具有上下相對關係的光線。
- 如請求項10所述之掃描裝置,其中該第一光源掃描模組包含有一定點光源、一菱鏡、一反射鏡及一同步處理模組,其中該菱鏡會依據一速度進行轉動、該同步處理模組用來根據該菱鏡的轉動速度,控制該反射鏡的轉動角度,用來將該定點光源發射至該菱鏡而折射的光線,反射至一特定方向,以形成該第一掃描光源。
- 如請求項10所述之掃描裝置,其中該掃描裝置更包含有一第二光源掃描模組,用來產生一第二掃描光源,以及該第二光源掃描模組可相對於該第一光源掃描模組進行順時鐘旋轉、逆時鐘旋轉、或是固定角度擺動,以及該第二掃描光源為具有左右相對關係的光線。
- 如請求項12所述之掃描裝置,其中該第一掃描光源為用來掃描水平方向的光線,以及該第二掃描光源為用來掃描垂直方向的光線。
- 如請求項10所述之掃描裝置,其中該第一光源掃描模會根據一角速度進行旋轉。
- 一種頭戴式顯示器,用於一追蹤定位系統,該頭戴式顯示器包含有:一光源接收模組,設置於該頭戴式顯示器的側邊及後方,其中該光源接收模組包含有複數個接收器,用來偵測該追蹤定位系統中一光源掃描裝置所產生的一掃描光源;以及 一固定綁帶,用來提供一使用者穿載該頭戴式顯示器。
- 如請求項15所述之頭戴式顯示器,其中該光源接收模組透過對稱設置於該頭戴式顯示器二側的一連接器,連接該頭戴式顯示器。
- 如請求項16所述之頭戴式顯示器,其中該連接器為一轉軸,用來使該光源接收模組以可調整角度的方式,連接該頭戴式顯示器。
- 一種運算裝置,用於一追蹤定位系統,該追蹤定位系統包含有一掃描裝置及一頭戴式顯示器,該運算裝置包含有:一處理單元,用來執行一程式碼;一儲存單元,耦接於該處理單元,用來儲存該程式碼,其中該程式碼指示該處理單元執行以下步驟:接收該掃描裝置旋轉的一角速度資訊;接收該頭戴式顯示器從該掃描裝置偵測到一掃描光源的一資訊,其中該資訊包含有該頭戴式顯示器之複數個接收器偵測到該掃描光源的時間;根據該資訊,計算各個接收器之間偵測到該掃描光源的一時間差;以及根據該時間差、該角速度及該複數個接收器之間的一設置間距,計算該頭戴式顯示器與該掃描裝置之距離以得到該使用者的位置。
- 如請求項18所述之運算裝置,其中該程式碼更包含有以下步驟:擷取複數個時間差中的一最大時間差;以及根據該最大時間差、該角速度及該設置間距,計算該使用者的位置。
- 一種追蹤定位的方法,用於一追蹤定位系統中的一運算裝置,該方法包含有:接收該掃描裝置旋轉的一角速度資訊;接收該頭戴式顯示器從該掃描裝置偵測到一掃描光源的一資訊,其中該資訊包含有該頭戴式顯示器之複數個接收器偵測到該掃描光源的時間;根據該資訊,計算各個接收器之間偵測到該掃描光源的一時間差;以及根據該時間差、該角速度及該複數個接收器之間的一設置間距,計算該頭戴式顯示器與該掃描裝置之距離以得到該使用者的位置。
- 如請求項20所述之方法,更包含有:擷取複數個時間差中的一最大時間差;以及根據該最大時間差、該角速度及該設置間距,計算該使用者的位置。
- 一種校正影像顯示的方法,用於一追蹤定位系統,該追蹤定位系統包含有一該掃描裝置、一運算裝置及一頭戴式顯示器,該方法包含有:該頭戴式顯示器顯示一影像畫面,其中該影像畫面包含有固定位置的一校正視框;該運算裝置傳送一影像資料至該頭戴式顯示器,其中該影像資料包含有第一角度或第一距離的一參考點;當該頭戴式顯示器移動而使該校正視框移動至該第一角度或該第一距離的該參考點時,計算該頭戴式顯示器及該掃描裝置之間的一相對角度或一相對距離;以及連結該相對角度或該相對距離至該第一角度或該第一距離,用來作為影像顯 示的角度基準或距離基準。
- 一種運算裝置,用於一追蹤定位系統,用來校正一虛擬實境中的影像顯示,該追蹤定位系統包含有一掃描裝置及一頭戴式顯示器,該運算裝置包含有:一處理單元,用來執行一程式碼;一儲存單元,耦接於該處理單元,用來儲存該程式碼,其中該程式碼指示該處理單元執行以下步驟:傳送一第一影像資料至該頭戴式顯示器,其中該第一影像資料包含有一固定位置的一校正視框;傳送一第二影像資料至該頭戴式顯示器,其中該第二影像資料包含有該校正視框及一第一角度/第一距離的一參考點;當該頭戴式顯示器移動而使該校正視框移動至該第一角度或該第一距離的該參考點時,計算該頭戴式顯示器與該掃描裝置之間的一相對角度或一相對距離;以及連結該相對角度或該相對距離至該第一角度或該第一距離,用來作為影像顯示的角度基準或距離基準。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107142411A TWI697811B (zh) | 2018-11-28 | 2018-11-28 | 追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法 |
US16/556,216 US11315530B2 (en) | 2018-11-28 | 2019-08-29 | Tracking system and related positioning and calibration methods |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107142411A TWI697811B (zh) | 2018-11-28 | 2018-11-28 | 追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202020628A TW202020628A (zh) | 2020-06-01 |
TWI697811B true TWI697811B (zh) | 2020-07-01 |
Family
ID=70770184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107142411A TWI697811B (zh) | 2018-11-28 | 2018-11-28 | 追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11315530B2 (zh) |
TW (1) | TWI697811B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7455596B2 (ja) * | 2020-01-31 | 2024-03-26 | キヤノン株式会社 | 画像表示装置 |
CN113318435A (zh) * | 2021-04-27 | 2021-08-31 | 青岛小鸟看看科技有限公司 | 手柄控制追踪器的控制方法、装置及头戴式显示设备 |
US12223676B2 (en) * | 2022-05-26 | 2025-02-11 | Htc Corporation | Method for pose correction and host |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016048B2 (en) * | 2002-04-09 | 2006-03-21 | The Regents Of The University Of California | Phase-resolved functional optical coherence tomography: simultaneous imaging of the stokes vectors, structure, blood flow velocity, standard deviation and birefringence in biological samples |
US8517921B2 (en) * | 2004-04-16 | 2013-08-27 | Gyrus Acmi, Inc. | Endoscopic instrument having reduced diameter flexible shaft |
US20160262608A1 (en) * | 2014-07-08 | 2016-09-15 | Krueger Wesley W O | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
TWI559034B (zh) * | 2011-12-26 | 2016-11-21 | 洛伊馬汀公司 | 使用一或多個反射光學表面之頭戴式顯示裝置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9812096B2 (en) * | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
US9860522B2 (en) * | 2012-08-04 | 2018-01-02 | Paul Lapstun | Head-mounted light field display |
KR101940294B1 (ko) * | 2012-11-01 | 2019-01-28 | 에이치피프린팅코리아 유한회사 | 광 주사 장치 및 이를 채용한 화상 형성 장치 |
US20160116740A1 (en) * | 2014-10-24 | 2016-04-28 | Seiko Epson Corporation | Display device, control method for display device, display system, and computer program |
JP6778205B2 (ja) | 2014-11-10 | 2020-10-28 | バルブ コーポレーション | 位置追跡システム及び方法 |
US9746921B2 (en) | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US10684485B2 (en) * | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
CN105044672B (zh) | 2015-07-20 | 2018-01-19 | 天津大学 | 基于光学编码的追踪与定位系统与方法 |
US9971148B2 (en) * | 2015-12-02 | 2018-05-15 | Texas Instruments Incorporated | Compact wedge prism beam steering |
US10212785B2 (en) | 2016-06-13 | 2019-02-19 | Google Llc | Staggered array of individually addressable light-emitting elements for sweeping out an angular range |
US11415676B2 (en) * | 2017-10-09 | 2022-08-16 | Luminar, Llc | Interlaced scan patterns for lidar system |
CN108762488A (zh) | 2018-05-04 | 2018-11-06 | 梦卓科技(深圳)有限公司 | 一种基于无线人体动作捕捉和光学定位的单基站便携式vr系统 |
US11056037B1 (en) * | 2018-10-24 | 2021-07-06 | Facebook Technologies, Llc | Hybrid pulse width modulation for display device |
US10482677B1 (en) * | 2018-11-20 | 2019-11-19 | Dell Products, L.P. | Distributed simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications |
-
2018
- 2018-11-28 TW TW107142411A patent/TWI697811B/zh active
-
2019
- 2019-08-29 US US16/556,216 patent/US11315530B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016048B2 (en) * | 2002-04-09 | 2006-03-21 | The Regents Of The University Of California | Phase-resolved functional optical coherence tomography: simultaneous imaging of the stokes vectors, structure, blood flow velocity, standard deviation and birefringence in biological samples |
US8517921B2 (en) * | 2004-04-16 | 2013-08-27 | Gyrus Acmi, Inc. | Endoscopic instrument having reduced diameter flexible shaft |
TWI559034B (zh) * | 2011-12-26 | 2016-11-21 | 洛伊馬汀公司 | 使用一或多個反射光學表面之頭戴式顯示裝置 |
US20160262608A1 (en) * | 2014-07-08 | 2016-09-15 | Krueger Wesley W O | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
Also Published As
Publication number | Publication date |
---|---|
TW202020628A (zh) | 2020-06-01 |
US20200168181A1 (en) | 2020-05-28 |
US11315530B2 (en) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11042034B2 (en) | Head mounted display calibration using portable docking station with calibration target | |
US11889046B2 (en) | Compact, low cost VCSEL projector for high performance stereodepth camera | |
TWI697811B (zh) | 追蹤定位系統及其掃描裝置、頭戴式顯示器、運算裝置的定位與校正方法 | |
US11127380B2 (en) | Content stabilization for head-mounted displays | |
US10338209B2 (en) | Systems to track a moving sports object | |
US12254141B2 (en) | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system | |
JP2023051993A (ja) | 建物情報モデルの仮想画像の表示 | |
US9747697B2 (en) | System and method for tracking | |
US10554886B2 (en) | Power management for optical position tracking devices | |
US20190204599A1 (en) | Head-mounted display device with electromagnetic sensor | |
TW201245656A (en) | Detecting method and apparatus | |
US10948994B2 (en) | Gesture control method for wearable system and wearable system | |
WO2021019446A1 (en) | System and method for inter-sensor calibration | |
CN106383596A (zh) | 基于空间定位的虚拟现实防晕眩系统及方法 | |
US11093209B2 (en) | Collaboration between head-mounted devices (HMDs) in co-located virtual, augmented, and mixed reality (xR) applications | |
US20220035000A1 (en) | System and method for inter-sensor calibration | |
US12055662B2 (en) | Electronic device including sensor and method of operation therefor | |
CN205484800U (zh) | 一种激光雷达采集、测距设备 | |
TW201830050A (zh) | 追蹤系統、追蹤裝置及追蹤方法 | |
CN111372070B (zh) | 追踪定位系统及其定位与校正方法 | |
JP2020525956A (ja) | コンピュータ媒介現実用の表示装置 | |
US11422618B2 (en) | Smart strap and method for defining human posture | |
KR101300374B1 (ko) | 광센싱과 초음파센싱 기반의 모의 골프용 센서 및 이를 이용한 스윙분석기 | |
KR102721181B1 (ko) | 이동식 게임스테이션 | |
CN113056229B (zh) | 用于验证运动跟踪系统的准确性的工作台系统 |