KR20200116459A - 증강 현실을 위한 시스템들 및 방법들 - Google Patents
증강 현실을 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20200116459A KR20200116459A KR1020207022205A KR20207022205A KR20200116459A KR 20200116459 A KR20200116459 A KR 20200116459A KR 1020207022205 A KR1020207022205 A KR 1020207022205A KR 20207022205 A KR20207022205 A KR 20207022205A KR 20200116459 A KR20200116459 A KR 20200116459A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- pose
- localizing
- user operating
- handheld
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003190 augmentative effect Effects 0.000 title abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000007613 environmental effect Effects 0.000 claims abstract description 8
- 230000004807 localization Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000002329 infrared spectrum Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000005672 electromagnetic field Effects 0.000 claims 3
- 239000003550 marker Substances 0.000 claims 2
- 238000001429 visible spectrum Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 4
- 210000003128 head Anatomy 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 12
- 230000004886 head movement Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 208000032369 Primary transmission Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- QXJJQWWVWRCVQT-UHFFFAOYSA-K calcium;sodium;phosphate Chemical compound [Na+].[Ca+2].[O-]P([O-])([O-])=O QXJJQWWVWRCVQT-UHFFFAOYSA-K 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
바람직하게는 증강 또는 혼합 현실 환경에서 복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법이 개시되며, 방법은, 고정된 제어 및 프로세싱 모듈로부터 포즈 데이터를 송신하는 단계 및 포즈 데이터를 제1 감지 컴포넌트에서 수신하는 단계를 포함하며, 그런 다음, 포즈 데이터는 제어 및 프로세싱 모듈에 기반하여 좌표 프레임에서의 제1 컴포넌트 상대적 포즈로 변환된다. 제1 감지 컴포넌트와 통신하는 디스플레이 유닛은 개선된 환경 인식으로 가상 콘텐츠를 렌더링하기 위해, 변환된 제1 컴포넌트 상대적 포즈로 업데이트된다.
Description
[0001]
본 출원은 2018년 2월 6일자로 출원된 미국 가특허 출원 시리얼 번호 제62/627155호를 우선권으로 주장하고 그 권익을 주장하며, 이 미국 가특허 출원의 내용들은 이로써 인용에 의해 그 전체가 본원에 포함된다.
[0002]
본 개시내용은 증강 현실 시스템들의 콘텍스트에서 하나 이상의 오브젝트들의 포지션 및 배향을 로컬화(localize)하기 위한 시스템들 및 방법들에 관한 것이다.
[0003]
현대 컴퓨팅 및 디스플레이 기술들은 이른바 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 디지털 방식으로 재생되는 이미지들 또는 그 이미지들의 부분들은, 그들이 실제인 것으로 보이거나 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실 또는 "VR" 시나리오는 전형적으로, 다른 실제 실세계 시각 입력에 대한 투명도(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실 또는 "AR" 시나리오는 전형적으로, 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004]
예컨대, 도 1을 참조하면, AR 기술의 사용자가, 배경의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 장소(6)를 보는 증강 현실 장면(4)이 묘사된다. 이러한 아이템들 외에도, AR 기술의 사용자는 또한, 자신이 실세계 플랫폼(1120) 위에 서 있는 로봇 동상(1110), 및 호박벌의 의인화인 것처럼 보이는 날고 있는 만화형 아바타 캐릭터(2)를 "보는" 것으로 지각하지만, 이러한 엘리먼트들(2, 1110)은 실세계에서 존재하지 않는다. 밝혀진 바와 같이, 인간의 시지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고 자연스러운 느낌의 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0005]
예컨대, 머리-착용 AR 디스플레이들(또는 헬멧-장착 디스플레이들, 또는 스마트 안경)은 전형적으로, 사용자의 머리에 적어도 느슨하게 커플링되며, 따라서 사용자의 머리가 움직일 때 움직인다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출되면, 디스플레이되고 있는 데이터는 머리 포즈의 변화를 고려하여 업데이트될 수 있다.
[0006]
예로서, 머리-착용 디스플레이를 착용하고 있는 사용자가 디스플레이 상의 3D(three-dimensional) 오브젝트의 가상 표현을 보고, 3D 오브젝트가 나타나는 영역 주위를 걷는 경우, 그 3D 오브젝트가 각각의 뷰포인트에 대해 재-렌더링될 수 있어서, 사용자에게 자신이 실제 공간을 점유하는 오브젝트 주위를 걷고 있다는 지각을 제공할 수 있다. 머리착용 디스플레이가 다수의 오브젝트들을 가상 공간(예컨대, 풍부한 가상 세계) 내에 제시하는 데 사용되는 경우, 머리 포즈(즉, 사용자의 머리의 위치 및 배향)의 측정들은, 사용자의 동적으로 변하는 머리 위치 및 배향을 매칭시키기 위해 장면을 재-렌더링하고 그리고 가상 공간에서 증가된 몰입감(sense of immersion)을 제공하는 데 사용될 수 있다.
[0007]
AR 시스템들에서, 머리 포즈의 검출 또는 계산은, 사용자가 감지하게 하는 방식으로 가상 오브젝트들이 실세계의 공간을 점유하는 것처럼 나타나도록, 디스플레이 시스템이 그 가상 오브젝트들을 렌더링하는 것을 가능하게 할 수 있다. 게다가, 사용자의 머리 또는 AR 시스템과 관련하여, 핸드헬드 디바이스(handheld device)(핸드헬드 디바이스는 "토템(totem)"으로 또한 지칭될 수 있음), 햅틱 디바이스, 또는 다른 실제 물리적 오브젝트와 같은 실제 오브젝트의 포지션 및/또는 배향의 검출은 또한, 사용자가 AR 시스템의 특정 양상들과 효율적으로 상호작용할 수 있게 하기 위해 디스플레이 시스템이 디스플레이 정보를 사용자에게 제시하는 것을 가능하게 할 수 있다. 사용자의 머리가 실세계 주위에서 움직일 때, 가상 오브젝트들은 머리 포즈의 함수로써 재-렌더링될 수 있어서, 가상 오브젝트들은 실세계에 대해 안정적으로 유지되는 것처럼 나타난다. 적어도 AR 애플리케이션들에 대해, (예컨대, 2차원 또는 3차원으로 물리적 오브젝트에 공간적으로 근접한 것처럼 나타나도록 제시되는) 물리적 오브젝트들에 대한 공간 관계에서의 가상 오브젝트들의 배치는 중요한 문제일 수 있다. 예컨대, 머리 움직임은 주변 환경들의 뷰에서 가상 오브젝트들의 배치를 상당히 복잡하게 할 수 있다. 이는, 뷰가 주변 환경의 이미지로서 캡처되고, 그런 다음, 최종 사용자에 투사되든지 또는 디스플레이되든지 간에, 또는 최종 사용자가 주변 환경의 뷰를 직접적으로 지각하든지 간에 적용될 수 있다. 예컨대, 머리 움직임은 최종 사용자의 시야가 변하게 할 가능성이 있을 것이며, 이는 다양한 가상 오브젝트들이 최종 사용자의 시야에 디스플레이되는 위치에 대한 업데이트를 요구할 가능성이 있을 것이다.
[0008]
추가적으로, 머리 움직임들은 매우 다양한 범위들 및 스피드들 내에서 발생할 수 있다. 머리 움직임 스피드는 상이한 머리 움직임들 사이에서 변할 수 있을 뿐만 아니라, 단일 머리 움직임의 범위 내에서 또는 그 단일 머리 움직임의 범위에 걸쳐 변할 수 있다. 예컨대, 머리 움직임 스피드는 초기에 시작 포인트로부터 (예컨대, 선형으로 또는 비선형으로) 증가할 수 있고, 종료 포인트에 도달됨에 따라 감소하여, 머리 움직임의 시작 포인트와 종료 포인트 사이의 어딘가에서 최대 스피드를 획득할 수 있다. 빠른 머리 움직임들은 심지어, 최종 사용자에게 균일하게 그리고/또는 부드러운 모션으로서 나타나는 이미지들을 렌더링하기 위한 특정 디스플레이 또는 투사 기술의 능력을 능가할 수 있다.
[0009]
머리 추적 정확도 및 레이턴시(즉, 사용자가 자신의 머리를 움직이는 시간과, 이미지가 업데이트되고 사용자에게 디스플레이되는 시간 사이에 경과된 시간)는 VR 및 AR 시스템들에 대한 난제들이었다. 특히, 가상 엘리먼트들로 사용자의 시각적 필드(visual field)의 상당 부분을 채우는 디스플레이 시스템들의 경우, 머리-추적의 정확도가 높고 그리고 머리 모션의 최초 검출로부터 디스플레이에 의해 사용자의 시각적 시스템으로 전달되는 광의 업데이트까지 전체 시스템 레이턴시가 매우 낮다는 것은 매우 중요하다. 만약 레이턴시가 높다면, 시스템은 사용자의 전정계(vestibular system)와 시각적 감각계(visual sensory system) 사이의 미스매치를 생성할 수 있고, 멀미(motion sickness) 또는 시뮬레이터 질병(simulator sickness)을 초래할 수 있는 사용자 지각 시나리오를 생성할 수 있다. 만약 시스템 레이턴시가 높다면, 빠른 머리 모션들 동안 가상 오브젝트들의 명백한 위치는 불안정하게 나타날 것이다.
[00010]
머리-착용 디스플레이 시스템들 이외에도, 다른 디스플레이 시스템들이 정확하고 낮은 레이턴시의 머리 포즈 검출로부터 이익을 얻을 수 있다. 이들은, 디스플레이가 사용자의 신체에 착용되는 것이 아니라, 예컨대 벽 또는 다른 표면 상에 장착되는 머리-추적 디스플레이 시스템들을 포함한다. 머리-추적 디스플레이는 장면 상의 윈도우처럼 동작하고, 사용자가 "윈도우"에 대해 자신의 머리를 움직일 때, 장면은 사용자의 변화하는 뷰포인트에 매칭되도록 재-렌더링된다. 다른 시스템들은, 머리-착용 디스플레이가 실세계 상으로 광을 투사하는 머리-착용 투사 시스템을 포함한다.
[00011]
추가적으로, 현실적인 증강 현실 경험을 제공하기 위해, AR 시스템들은 사용자와 상호작용하도록 설계될 수 있다. 예컨대, 다수의 사용자들은 가상 공(ball) 및/또는 다른 가상 오브젝트들로 공 게임을 플레이할 수 있다. 한명의 사용자가 가상 공을 "잡을" 수 있고 그 공을 다시 다른 사용자에게 던질 수 있다. 다른 실시예에서, 제1 사용자에게 가상 공을 치기 위한 토템(예컨대, AR 시스템에 통신가능하게 커플링된 실제 배트)이 제공될 수 있다. 다른 실시예들에서, AR 사용자가 많은 옵션들 중 하나를 선택할 수 있게 하기 위해, 가상 사용자 인터페이스가 그 AR 사용자에게 제시될 수 있다. 사용자는 시스템과 상호작용하기 위해 토템들, 햅틱 디바이스들, 웨어러블 컴포넌트들을 사용할 수 있거나, 또는 단순히 가상 스크린을 터치할 수 있다.
[00012]
사용자의 머리 포즈 및 배향을 검출하는 것 및 공간에서의 실제 오브젝트들의 물리적 위치를 검출하는 것은 AR 시스템이 효과적이고 즐거운 방식으로 가상 콘텐츠를 디스플레이하게 할 수 있다. 그러나, 이러한 능력들은 AR 시스템의 핵심사항(key)이지만, 달성하기 어렵다. 다시 말해서, AR 시스템은 실제 오브젝트(예컨대, 사용자의 머리, 토템, 햅틱 디바이스, 웨어러블 컴포넌트, 사용자의 손 등)의 물리적 위치를 인식해야 하고, 실제 오브젝트의 물리적 좌표들을, 사용자에게 디스플레이되고 있는 하나 이상의 가상 오브젝트들에 대응하는 가상 좌표들에 상관시켜야 한다. 이는 하나 이상의 오브젝트들의 포지션 및 배향을 고속으로 추적하는 매우 정확한 센서들 및 센서 인식 시스템들을 요구한다. 현재의 접근법들은 만족스러운 스피드 또는 정밀도 표준들의 로컬화를 수행하지 않는다.
[00013]
따라서, AR 및 VR 디바이스들의 콘텍스트에서 더 양호한 로컬화 시스템들이 필요하다.
[00014]
도면들은 본 발명의 다양한 실시예들의 설계 및 유용성을 예시한다. 도면들은 실척대로 그려진 것이 아니며 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 유사한 참조 번호들로 표현된다는 것이 주목되어야 한다. 본 발명의 다양한 실시예들의 위에서 열거된 그리고 다른 장점들 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위해, 위에서 간략하게 설명된 본 발명들의 더 상세한 설명이 본 발명의 특정 실시예를 참조하여 제공될 것이며, 그 특정 실시예들은 첨부 도면들에서 예시된다. 이러한 도면들이 단지 본 발명의 전형적인 실시예들만을 도시하고, 그에 따라 본 발명의 범위를 제한하는 것으로 간주되지 않아야 한다는 것을 이해하여, 본 발명은 첨부 도면들을 사용하여 추가적인 특성 및 세부사항과 함께 설명되고 기술될 것이다.
[00015] 도 1은 일 실시예에 따른 AR 시스템의 사용자에게 디스플레이되는 AR 장면의 평면도를 예시한다.
[00016] 도 2a-도 2d는 웨어러블 AR 디바이스들의 다양한 실시예들을 예시한다.
[00017] 도 3은 본 발명의 실시예들에 따른, 시스템의 하나 이상의 클라우드 서버들과 상호작용하는 웨어러블 AR 디바이스의 예시적인 실시예를 예시한다.
[00018] 도 4는 본 발명의 실시예들에 따른, 하나 이상의 핸드 헬드 제어기 디바이스들과 상호작용하는 웨어러블 AR 디바이스의 예시적인 실시예를 예시한다.
[00019] 도 5는 본 발명의 실시예들에 따른, 물리적 환경 내에서 로컬화 프로토콜을 동작시키는 사용자의 예를 예시한다.
[00020] 도 6a-도 6c는 본 발명의 실시예들에 따른, 하나 이상의 지원 모듈들을 이용하여 물리적 환경 내에서 로컬화 프로토콜을 동작시키는 사용자의 예를 예시한다.
[00021] 도 7a-도 7c는 본 발명의 실시예들에 따른 지원 모듈들의 예들을 예시한다.
[00022] 도 8a-도 8b는 본 발명의 실시예들을 활용하는 구성들의 예들을 예시한다.
[00023] 도 9a-도 9i는 본 발명의 실시예들에 따른 지원 모듈들 및 웨어러블 AR 시스템들을 위한 커플링 수단의 예들을 예시한다.
[00024] 도 10-도 11은 본 발명의 실시예들에 따른, 로컬화 툴들의 에코시스템(ecosystem)을 활용하기 위한 구성을 예시한다.
[00025] 도 12a-도 12c는 본 발명의 실시예들에 따른 환경 특정 지원 모듈들의 예들을 예시한다.
[00026] 도 13은 본 발명의 실시예들에 따른, 환경 특정 지원 모듈들을 포함하는 로컬화 툴들의 에코시스템을 활용하기 위한 예시적인 구성을 예시한다.
[00015] 도 1은 일 실시예에 따른 AR 시스템의 사용자에게 디스플레이되는 AR 장면의 평면도를 예시한다.
[00016] 도 2a-도 2d는 웨어러블 AR 디바이스들의 다양한 실시예들을 예시한다.
[00017] 도 3은 본 발명의 실시예들에 따른, 시스템의 하나 이상의 클라우드 서버들과 상호작용하는 웨어러블 AR 디바이스의 예시적인 실시예를 예시한다.
[00018] 도 4는 본 발명의 실시예들에 따른, 하나 이상의 핸드 헬드 제어기 디바이스들과 상호작용하는 웨어러블 AR 디바이스의 예시적인 실시예를 예시한다.
[00019] 도 5는 본 발명의 실시예들에 따른, 물리적 환경 내에서 로컬화 프로토콜을 동작시키는 사용자의 예를 예시한다.
[00020] 도 6a-도 6c는 본 발명의 실시예들에 따른, 하나 이상의 지원 모듈들을 이용하여 물리적 환경 내에서 로컬화 프로토콜을 동작시키는 사용자의 예를 예시한다.
[00021] 도 7a-도 7c는 본 발명의 실시예들에 따른 지원 모듈들의 예들을 예시한다.
[00022] 도 8a-도 8b는 본 발명의 실시예들을 활용하는 구성들의 예들을 예시한다.
[00023] 도 9a-도 9i는 본 발명의 실시예들에 따른 지원 모듈들 및 웨어러블 AR 시스템들을 위한 커플링 수단의 예들을 예시한다.
[00024] 도 10-도 11은 본 발명의 실시예들에 따른, 로컬화 툴들의 에코시스템(ecosystem)을 활용하기 위한 구성을 예시한다.
[00025] 도 12a-도 12c는 본 발명의 실시예들에 따른 환경 특정 지원 모듈들의 예들을 예시한다.
[00026] 도 13은 본 발명의 실시예들에 따른, 환경 특정 지원 모듈들을 포함하는 로컬화 툴들의 에코시스템을 활용하기 위한 예시적인 구성을 예시한다.
[00027]
도 2a-도 2d를 참조하면, 일부 일반적인 컴포넌트 옵션(componentry option)들이 예시된다. 도 2a-도 2d의 논의에 뒤따르는 상세한 설명의 부분들에서, 인간의 VR 및/또는 AR에 대한 고품질의 편안하게-지각되는 디스플레이 시스템을 제공하는 목적들을 해결하기 위한 다양한 시스템들, 서브시스템들, 및 컴포넌트들이 제시된다.
[00028]
도 2a에 도시된 바와 같이, AR 시스템의 사용자(60)는 사용자의 눈들의 전방에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 특징으로 하는 머리 장착 컴포넌트(58)를 착용하고 있는 것으로 묘사된다. 스피커(66)는 묘사된 구성에서 프레임(64)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝된다(일 실시예에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상화가능(shapeable) 사운드 제어를 제공함). 디스플레이(62)는, 이를테면, 유선 리드(wired lead) 또는 무선 연결(wireless connectivity)에 의해, 로컬 프로세싱 및 데이터 모듈(70)에 동작가능하게 커플링(68)되며, 그 로컬 프로세싱 및 데이터 모듈(70)은 다양한 구성들로 장착될 수 있는데, 이를테면, 프레임(64)에 고정식으로 부착되거나, 도 2b의 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정식으로 부착되거나, 헤드폰들에 임베딩되거나, 도 2c의 실시예에 도시된 바와 같은 백팩-스타일 구성으로 사용자(60)의 몸통(82)에 제거가능하게 부착되거나, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 엉덩이(84)에 제거가능하게 부착될 수 있다.
[00029]
로컬 프로세싱 및 데이터 모듈(70)은, 전력-효율적인 프로세서 또는 제어기뿐만 아니라 디지털 메모리, 이를테면, 플래시 메모리를 포함할 수 있고, 이들 둘 모두는 데이터의 프로세싱, 캐싱, 및 저장을 돕기 위해 활용될 수 있으며, 그 데이터는 a) 프레임(64)에 동작가능하게 커플링될 수 있는 센서들, 이를테면, 이미지 캡처 디바이스들(이를테면, 카메라들), IR(infrared) 방출기들 및 수신기들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로(gyro)들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 획득 및/또는 프로세싱된다(가능하게는 그러한 프로세싱 또는 리트리벌 후에 디스플레이(62)로의 전달(passage)을 위해). 로컬 프로세싱 및 데이터 모듈(70)은, 이를테면, 유선 또는 무선 통신 링크들을 통해, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작가능하게 커플링(76, 78)될 수 있으며, 그에 따라, 이러한 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고, 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용가능하다.
[00030]
일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(74)는, "클라우드" 자원 구성의 인터넷 또는 다른 네트워킹 구성을 통해 이용가능할 수 있는, 비교적 대규모(large-scale) 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 로컬 프로세싱 및 데이터 모듈에 모든 데이터가 저장되고 모든 컴퓨테이션(computation)이 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용이 허용된다.
[00031]
이제 도 3을 참조하면, 개략도는, 도 3에 도시된 바와 같이, 예컨대, 사용자의 머리(120)에 커플링된 머리 장착 컴포넌트(58) 및 사용자의 벨트(308)에 커플링된 로컬 프로세싱 및 데이터 모듈(70)(따라서, 컴포넌트(70)는 또한 "벨트 팩"(70)으로 지칭될 수 있음)에 상주할 수 있는, 클라우드 컴퓨팅 자산들(46)과 로컬 프로세싱 자산들 사이의 조정을 예시한다. 일 실시예에서, 하나 이상의 서버 시스템들(110)과 같은 클라우드(46) 자산들은, 이를테면, 유선 또는 무선 네트워킹(이동성을 위해서는 무선이 선호되고, 요구될 수 있는 특정 고-대역폭 또는 고-데이터-볼륨 전송들을 위해서는 유선이 선호됨)을 통해, 동작가능하게 커플링(115)되고, 위에서 설명된 바와 같이 사용자의 머리(120) 및 벨트(308)에 커플링된, 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 자산들 중 하나 또는 둘 모두에 직접적으로 커플링(40, 42)된다. 사용자에게 로컬인 이러한 컴퓨팅 자산들은 또한, 도 8을 참조하여 아래에 논의되는 유선 커플링(68)과 같은 유선 및/또는 무선 연결 구성들(44)을 통해 서로 동작가능하게 커플링될 수 있다. 일 실시예에서, 사용자의 머리(120)에 장착된 저-관성 및 작은 크기의 서브시스템을 유지하기 위해, 사용자와 클라우드(46) 사이의 1차 전송은 벨트(308)에 장착된 서브시스템과 클라우드 사이의 링크를 통해 이루어질 수 있고, 머리(120) 장착 서브시스템은 예컨대, 개인용 컴퓨팅 주변기기 연결 애플리케이션들에 현재 이용되는 것과 같은 "UWB(ultra-wideband)" 연결과 같은 무선 연결을 사용하여 주로 벨트(308)-기반 서브시스템에 데이터-테더링된다(data-tethered).
[00032]
효율적인 로컬 및 원격 프로세싱 조정, 및 사용자를 위한 적합한 디스플레이 디바이스, 이를테면, 도 2a에 도시된 사용자 인터페이스 또는 사용자 디스플레이 시스템(62), 또는 그의 변형들을 이용하여, 사용자의 현재 실제 또는 가상 위치에 관한 하나의 세계의 양상들은 사용자에게 전송 또는 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 다시 말해서, 세계의 맵은, 사용자의 AR 시스템 상에 부분적으로 상주하고 클라우드 자원들에 부분적으로 상주할 수 있는 저장 위치에서 계속해서 업데이트될 수 있다.
[00033]
맵(또한 "전달가능 세계 모델(passable world model)"로 지칭됨)은, 래스터 이미저리, 3-D 및 2-D 포인트들, 실세계에 관한 파라미터 정보 및 다른 정보를 포함하는 대형 데이터베이스일 수 있다. 점점 더 많은 AR 사용자들이 자신들의 실제 환경에 관한 정보를 (예컨대, 카메라들, 센서들, IMU들 등을 통해) 계속해서 캡처할수록, 맵은 점점 더 정확하고 완전해진다.
[00034]
클라우드 컴퓨팅 자원들 상에 상주할 수 있고 그리고 클라우드 컴퓨팅 자원들로부터 분산될 수 있는 하나의 세계 모델이 존재하는, 위에서 설명된 바와 같은 구성에 있어서, 그러한 세계는 실시간 비디오 데이터 등을 전달(pass around)하도록 시도하는 것보다 바람직한 비교적 저 대역폭 형태로 하나 이상의 사용자들에게 "전달가능"할 수 있다. 동상(즉, 도 1에 도시된 바와 같음) 근처에 서 있는 사람의 증강된 경험은 클라우드-기반 세계 모델에 의해 알려질 수 있으며, 이의 서브세트는 사람들 및 사람들의 로컬 디스플레이 디바이스로 전달(pass down)되어 뷰를 완성할 수 있다. 데스크 상에 놓여 있는 개인용 컴퓨터와 같이 단순할 수 있는, 원격 디스플레이 디바이스에 앉아 있는 사람은, 클라우드로부터 동일한 섹션의 정보를 효율적으로 다운로드하여 이를 자신의 디스플레이 상에 렌더링할 수 있다. 사실상, 동상 근처의 공원에 실제로 있는 한 사람은 그 공원에서의 산책을 위해 멀리 떨어져 있는 친구를 데리고 갈 수 있는데, 그 친구는 가상 및 증강 현실을 통해 합류(join)한다. 시스템은 도로가 있는 장소, 나무들이 있는 장소, 동상이 있는 장소를 알 필요가 있지만, 클라우드 상에 그 정보가 있으면, 합류한 친구는 클라우드로부터 시나리오의 양상들을 다운로드하고, 그런 다음, 실제로 공원에 있는 사람에 대해 현지의 증강 현실로서 함께 걷기 시작할 수 있다.
[00035]
피처(feature)들 또는 그렇지 않으면 3-D 포인트들이 환경으로부터 검출 및 캡처되거나 또는 다르게는 추출될 수 있고, 그러한 이미지들 또는 포인트들을 캡처하는 카메라들의 포즈(즉, 세계에 대한 벡터 및/또는 본래의 포지션 정보)가 결정될 수 있고, 그에 따라, 이들 포인트들 또는 이미지들은 이 포즈 정보로 "태깅"되거나, 또는 이와 연관될 수 있다. 그런 다음, 제2 카메라에 의해(물리적으로 제2 카메라에 의해, 또는 동일한 카메라에 의해서지만 제2 시간 순간에) 캡처된 포인트들은 제2 카메라의 포즈를 결정하는 데 활용될 수 있다. 다시 말해서, 제1 카메라로부터 태깅된 이미지들과의 비교들에 기반하여 제2 카메라를 배향하고 그리고/또는 로컬화할 수 있다. 그런 다음, 이 지식(knowledge)은, 텍스처들을 추출하고, 맵들을 만들고, 그리고 실세계의 가상 카피를 생성하는 데 활용될 수 있다(예컨대, 그 주위에 2개의 카메라가 등록되어 있거나, 또는 공통으로 등록된 데이터를 비교하는 데 사용될 수 있는 2개의 시간 순간들이 있음).
[00036]
따라서, 베이스 레벨에서, 일 실시예에서, 사람-착용 시스템은 포인트들을 생성한 2-D 이미지들 및 3-D 포인트들 둘 모두를 캡처하는 데 활용될 수 있고, 이러한 포인트들 및 이미지들은 클라우드 저장소 및 프로세싱 자원에 전송될 수 있다. 이들은 또한, 임베딩된 포즈 정보와 함께 로컬로 캐싱될 수 있고(즉, 태깅된 이미지들을 캐싱함); 따라서 클라우드는 3-D 포인트들과 함께, 태깅된 2-D 이미지들(즉, 3-D 포즈로 태깅됨)을 (즉, 이용가능한 캐시 내에) 준비시킬 수 있다. 사용자가 동적인 어떤 것을 관찰하고 있는 경우, 그 사용자는 또한, 모션에 관한 추가적인 정보를 클라우드까지 전송할 수 있다(예컨대, 다른 사람의 얼굴을 보는 경우, 사용자는 얼굴의 텍스처 맵을 취해, 그 외의 주변 세계가 기본적으로 정적인 경우라도, 최적화된 빈도로 이를 푸시 업(push up)할 수 있음).
[00037]
"전달가능 세계 모델"을 생성하는 데 사용될 수 있는 포인트들을 캡처하기 위해, 세계에 대한 사용자의 위치, 포즈 및 배향을 정확하게 아는 것이 도움이 된다. 더 구체적으로는, 사용자의 포지션이 미세한 정도(granular degree)로 로컬화되어야 하는데, 왜냐하면 사용자의 머리 포즈뿐만 아니라 손 포즈(사용자가 핸드헬드 컴포넌트를 움켜잡고 있거나, 제스처를 취하고 있는 등의 경우)를 아는 것이 중요할 수 있기 때문이다. 하나 이상의 실시예들에서, GPS 및 다른 로컬화 정보는 그러한 프로세싱에 대한 입력들로서 활용될 수 있다. 사용자의 머리, 토템들, 손 제스처들, 햅틱 디바이스들 등의 매우 정확한 로컬화는 적합한 가상 콘텐츠를 사용자에게 디스플레이하는 데 있어 중요하다.
[00038]
도 4를 참조하면, 동작가능하게 커플링된 핸드-헬드 제어기(606)를 특징으로 하는 AR 시스템이 도시된다. 하나 이상의 실시예들에서, 핸드-헬드 제어기는, 게이밍과 같은 다양한 사용자 시나리오들에서 활용되는 "토템"으로 지칭될 수 있다. 다른 실시예들에서, 핸드-헬드 제어기는 햅틱 디바이스일 수 있다. 핸드-헬드 제어기(606)는, 아래에서 설명되는 바와 같은 카메라들, IMU들 및 다른 디바이스들을 포함할 수 있는 다양한 상호연결된 컴포넌트들에 전력을 공급하기 위한 배터리 또는 다른 전력 공급부를 포함할 수 있다. 본원에서 설명되는 바와 같이, 로컬 프로세싱 및 데이터 모듈(70)은 클라우드 자원들(630)에 동작가능하게 커플링될 수 있고, 머리 장착 웨어러블 컴포넌트(58)에 동작가능하게 커플링될 수 있다.
[00039]
다양한 실시예들에서, 예컨대, 로컬 공간 내에서의 사용자의 동작에 관한 다양한 이슈들, 이를테면, 컴포넌트들이 공간 내에서 서로에 대해 어디에 로케이팅되고 그리고/또는 배향되는가, 사용자가 어떤 타입의 로컬 환경(예컨대, 룸 기하학적 구조, 룸 내의 오브젝트들의 포지션 및/또는 배향 등)을 다루고 있는가, 및/또는 (예컨대, SLAM 분석을 사용하여) 어떤 오브젝트들 및 특징들이 맵핑될 수 있는가의 이해를 향상시키기 위해 다양한 컴포넌트들의 컴퓨팅, 지각력, 및 지각 능력들을 어그리게이팅(aggregate)하는 것이 바람직할 수 있다.
[00040]
도 5를 참조하면, 일반적으로 데스크(206)를 바라보고 서 있는 사용자(60), 커피 테이블(204), 및 활용될 때 룸 내로 젖혀져서 열리도록(swing open) 구성되어 있는 도어(202)를 갖춘 룸(200)의 평면도가 도시된다. 위에서 설명된 바와 같이, 다양한 실시예들에서, 웨어러블 컴퓨팅 시스템은 동작가능하게 커플링된 컴포넌트들, 이를테면, 머리 장착 컴포넌트(58), 로컬 프로세싱 및 데이터 모듈(70), 및 핸드 헬드 컴포넌트(606)를 포함한다. 또한 위에서 설명된 바와 같이, 그러한 컴포넌트들 각각은 다양한 센서들 및 프로세서들 및 그 자체의 관련된 능력들, 이를테면, 카메라, IMU, 및 프로세서 컴포넌트들을 포함할 수 있으며, 이들은 다른 것들 중에서도, 그러한 컴포넌트들이 서로에 대해 그리고/또는 포지션 및/또는 배향에 있어서 그들 주위의 환경의 양상들에 대해 어디에 있는지를 결정하기 위해(위에서 설명된 바와 같은, 이른바 "포즈" 결정) 하나 이상의 프로세서들에 의해 활용되는 포즈 결정 알고리즘들에 데이터를 제공하도록 구성될 수 있다.
[00041]
도 5를 다시 참조하면, 일 실시예에서, 머리 장착 컴포넌트(58)에 대한 핸드 헬드 컴포넌트(606) 및 로컬 프로세싱 및 데이터 모듈(70)의 상대적 근접도는, 서로에 대한 그러한 컴포넌트들의 포지셔닝 및/또는 배향을 결정하는 관점에서 유리할 수 있지만, 사람 및 그러한 컴포넌트들 둘레의 환경에 관한 정보를 수집하는 것이 최적화되지 않았을 수 있다. 예컨대, 일부 포지션들 및 배향들에서, 사용자 자신의 신체는, 핸드 헬드 컴포넌트(606)를 가리거나 다른 방식으로 간섭하고 그리고 머리 장착 컴포넌트(58)와 효율적으로 통신하는 것을 방해할 할 수 있다. 다른 비-사용자 환경 팩터들이 또한 성능에 영향을 미칠 수 있는데, 예컨대 도 5의 도어(202) ― 도어(202)는 기능적 도어로서의 도어의 이동가능한 성질로 인해 컴포넌트들(58, 70, 및/또는 606)에 대해 포지션 및/또는 배향이 변경될 수 있음 ― 는 묘사된 구성에서 오퍼레이터(60)로부터 거의 완전히 룸을 가로질러 있다. 그러한 구조의 거리 및 각운동(angular motion)은 핸드 헬드 컴포넌트(606) 또는 머리 장착 컴포넌트(58)에 의해 용이하게 검출가능하지 않을 수 있다.
[00042]
도 6a를 참조하면, 다양한 실시예들에서, 위에서 설명된 바와 같이, 이를테면, 블루투스 또는 다른 무선 연결 모달리티를 통해 무선으로, 오퍼레이터(60)에 커플링된 다른 컴포넌트들(58, 70, 및/또는 606)의 프로세싱 및 저장 자원들에 상호연결될 수 있는 추가적인 핸드 헬드 컴포넌트 모듈(606)과 같은 하나 이상의 계장화된(instrumented) 컴포넌트들을, 관심있는 것으로 여겨지는 위치 및 배향으로, 이를테면, 도어(202)를 향해 배향된 계장(instrumentation)을 갖는 그러한 도어 근처의 포지션으로 배치하는 것이 바람직할 수 있다. 다시 말해서, 추가적인 핸드 헬드 컴포넌트 모듈(606)은, 사용자의 손에 실제로 홀딩되는 것이 아니라 룸 또는 다른 오브젝트들에 대해 포지셔닝되고 배향되는(즉, 데스크, 플로어, 또는 다른 오브젝트 상에 배치함으로써, 다른 오브젝트에 커플링된 마운트에 의해 홀딩됨으로써, 다른 오브젝트에 제거가능하게 그리고/또는 고정적으로 부착됨으로써 등) 포지션에 배치될 수 있으며; 그러한 구성들에서, 추가적인 핸드 헬드 컴포넌트 모듈(606)은 "지지" 또는 "캡처 및 프로세싱" 모듈(606)로 지칭될 수 있다. 일 실시예에서, 도 6a에 도시된 캡처 및 프로세싱 모듈(606)은, 도 6b의 실시예에 도시된 바와 같이, 플로어 또는 일부 다른 구조물 상에 임시 포지션/배향 구성으로 배치될 수 있거나 또는 구조물에 고정적으로 부착될 수 있으며, 추가적인 캡처 및 프로세싱 모듈(606)이 벽에 커플링되는데, 또한 인근의 도어(202)에 관한 데이터의 수집을 돕기 위해 선택된 포지션 및 배향으로 커플링되며, 그리고 또한 추가적인 캡처 및 프로세싱 모듈(606)은, 이를테면, 블루투스 또는 다른 무선 연결 구성, 이를테면, 위에서 설명된 것들을 통해 대상 시스템의 다른 컴포넌트들(58, 70, 606)에 동작가능하게 커플링된다.
[00043]
그러한 실시예의 경우, 오퍼레이터(60)에 물리적으로 커플링된 각각의 컴포넌트(58, 70, 606)는, 여기서 핸드 헬드 컴포넌트로서 활용되는 컴포넌트의 추가적인 버전으로서 도시되는 추가적인 캡처 및 프로세싱 모듈(606) 내에 상주하는 추가적인 데이터 캡처 및 프로세싱 능력들로부터 이익을 얻도록 구성될 수 있다. 도 6c는, 복수의 추가적인 캡처 및 프로세싱 모듈들(606)이 그들 주위의 세계를 프로세싱 및 분석하는 것을 돕기 위해 오퍼레이터의 환경 주위에 포지셔닝 및 배향될 수 있다는 것을 예시한다. 복수의 캡처 및 프로세싱 모듈들이 상이한 측정들을 위해 개별적으로 최적화될 수 있다는 것이 인지될 것이다. 예컨대, 도어에 근접한 캡처 및 프로세싱 모듈(606)은, 도어(202)가 개폐될 때에만, 사용자(60)에 의해 활용되는 시스템에 대한 로컬화 데이터를 업데이트하도록 구성될 수 있다. 머리 장착 컴포넌트(58) 또는 핸드 헬드 컴포넌트(606) 상의 센서로부터 먼 거리로부터의 광선 캐스트(ray cast) 또는 콘 캐스트(cone cast)가 준-개방(semi-open) 도어와 폐쇄 도어 사이의 차이를 알려주지 못할 수 있는 반면에, 도어 개방 및 폐쇄의 각도 방향으로 배향된 비행시간(time of flight) 센서를 갖는, 도어에 근접한 센서는, 업데이트된 검출가능한 피처 포지션들로 도어(202)(그리고 더 나아가 룸(200))를 더 신속하게 그리고 더 정확하게 결정할 수 있다.
[00044]
유사하게, 룸(200)의 코너에 있는 캡처 및 프로세싱 모듈(606)은, 캡처 및 프로세싱 모듈(606)이, 사용자(60)가 그에 근접하고 그리고 머리 포즈가 코너 캡처 및 프로세싱 모듈(606) 쪽으로 적어도 부분적으로 향하는 것을 검출할 때, 로컬화 데이터를 활성화 및 제공할 수 있다. 그러한 실시예의 이익은, 사용자가 공간의 물리적 한계, 이를테면, 벽 또는 코너에 접근함에 따라, 로컬화를 검출 및 추출하기 위해 머리 장착 컴포넌트(50) 또는 핸드 헬드 컴포넌트(606) 상의 센서들에 대해 더 적은 피처들이 있다는 것이며, 캡처 및 프로세싱 모듈(606)은 로컬화를 위한 "등대(lighthouse)" 효과를 제공할 수 있다.
[00045]
도 7a 및 도 7b는, 핸들들(210), 데스크톱 스탠드들(212), 및 카메라들(124), IR 방출기들 및/또는 수신기들, IMU들(102), WiFi 통신 디바이스들(114), 블루투스 통신 디바이스들(115), 및 다른 센서들에 적합하게 커플링된 임베디드 및/또는 모바일 프로세서들(128)을 포함하는(그러나 이에 제한되지 않음), 이를테면 위에서 설명된 컴포넌트를 포함할 수 있는 휴대가능한 추가적인 캡처 및 프로세싱 모듈들(606)의 실시예들을 예시한다. 도 7c는, 도시된 바와 같이, 복수의(이를테면, 4개의) 모노크롬 카메라 디바이스들(125), 컬러 카메라(127), 및 심도 카메라(129)를 포함하는 카메라 모듈(124)의 일 실시예의 클로즈업 뷰를 예시하며, 심도 카메라(129)는 그러한 심도 카메라(129)의 캡처 인터페이스에 대한 공간 내에 이미지 엘리먼트들을 배치하는 것을 돕기 위해 비행시간 데이터를 활용하도록 구성된다.
[00046]
도 9a를 참조하면, 도 5 및 도 7a-도 7c에서 특징지어진 것과 같은 구성이 다양한 컴포넌트들의 상대적 포즈를 결정하는 데 활용될 수 있다. 사용자는 핸드 헬드 제어기(606)에 동작가능하게 커플링된 머리 장착 웨어러블 컴포넌트(58)를 착용하고 있을 수 있으며, 핸드 헬드 제어기(606)는, 이를테면, 오퍼레이터의 손을 통해 오퍼레이터에 또한 커플링된다(214). 머리 장착 웨어러블 컴포넌트(58)는, 머리 장착 웨어러블 컴포넌트(58) 주위의 환경, 이를 테면, 룸 및 룸의 엘리먼트들에 대한 머리 장착 웨어러블 컴포넌트의 포즈의 특정 양상들, 이를 테면, 위치 및/또는 배향, 및/또는 그러한 환경에 관한 특정 특징들, 이를테면, 룸의 형상 또는 거기에 있는 오브젝트들을 결정하기 위해, 자신에 커플링된 센서들을 활용하도록 구성될 수 있다(216).
[00047]
핸드 헬드 제어기(606)는, 핸드 헬드 제어기(606) 주위의 환경에 대한 핸드 헬드 제어기(606)의 포즈의 특정 양상들, 이를 테면, 위치 및/또는 배향, 및/또는 그러한 환경에 관한 특정 특징들(이를테면, 룸의 형상)을 결정하기 위해, 자신에 커플링된 센서들을 활용하도록 구성될 수 있다(218).
[00048]
핸드 헬드 제어기 및 머리 장착 웨어러블 컴포넌트는, 핸드 헬드 제어기와 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향이 결정될 수 있도록, 그들의 동작가능 커플링들을 통해(이를 테면, 위에서 설명된 바와 같은 블루투스 연결을 통해), 결정된 포즈 정보를 공유하도록 구성될 수 있다(220). 그러한 동작들은, 핸드 헬드 제어기와 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향에 관한 적시의 리프레시 정보를 유지하기 위해 자주 업데이트될 수 있다(222). 어느 한 컴포넌트의 로컬화는 그 어느 한 컴포넌트의 좌표 프레임의 함수로서 제공될 수 있다. 다시 말해서, 핸드 헬드 컴포넌트는, 자신의 센서들을 동작시켜 "핸드 헬드 컴포넌트 프레임워크" 또는 "좌표 프레임"에서의 자신의 포지션 및 배향을 결정하고, 그런 다음, 머리 장착 컴포넌트와 커플링되어 머리 장착 컴포넌트의 상대적 포지션을 결정하여, 머리 장착 컴포넌트에, 동일한 프레임워크에서의 그의 포지션 및 배향을 제공할 수 있다. 머리 장착 컴포넌트가 자신의 포지션 및 배향을 결정하고, 그런 다음, 머리 장착 컴포넌트에 대한 제어기의 포지션 및 배향을 결정하고, 차례로, 머리 장착 컴포넌트 프레임워크 또는 머리 장착 좌표 프레임에서의 핸드 헬드 컴포넌트에 대한 로컬화를 제공할 수 있다는 점에서, 그 반대도 또한 그러하다. 유클리드 거리 매트릭스, 쿼터니언 배향들, 또는 3차원 회전 매트릭스들과 같은, 둘 사이의 매트릭스 변환들은, 컴포넌트들 사이의 그러한 좌표 프레임 변환들을 용이하게 하는 데 이용될 수 있다.
[00049]
일부 실시예들에서, 임의의 하나의 컴포넌트는 복수의 다른 컴포넌트들에 대해 자신을 로컬화할 수 있다. 예컨대, 핸드 헬드 제어기(606)는 머리 장착 컴포넌트(58) 및 캡처 및 프로세싱 모듈(606)에 대한 자신의 포지션을 검출할 수 있다. 상대적 감지의 수단은 또한 주관적일 수 있다. 핸드 컴포넌트(606)는 머리 장착 컴포넌트(58) 상의 IR 신호를 검출하기 위해 IR 어레이 추적을 활용하고, 캡처 및 프로세싱 모듈(606)을 검출하기 위해 가시광 추적(이를테면, 피처 검출 및 추출 또는 기점(fiducial) 검출)을 사용할 수 있다. 그와 관련하여, 하나의 페어링의 컴포넌트들 사이의 병진 또는 회전 측정들은, 임의의 주어진 시간에 최적화된 로컬화 데이터 세트를 사용자에게 제공하기 위해, 다른 페어링들의 컴포넌트들 사이의 이미지 캡처 피처 검출들을 대체 또는 보완할 수 있다.
[00050]
이전의 예를 참조하면, 사용자가, 많은 검출가능한 피처들이 없는 빈 벽에 접근하는 경우, 이미지 기반 추적을 사용하는 것은 정확도를 떨어뜨리거나 레이턴시를 증가시킬 것인데, 왜냐하면, 시스템이 계산하는 데 활용하기 위한 감지된 피처가 줄어들 것이기 때문이다. 그러나, 제어 및 프로세싱 모듈(606)이 추가적인 검출가능한 데이터, 이를테면, IR 신호, 비행시간 펄스 또는 전자기 송신을 제공한 경우, 그 제어 및 프로세싱 모듈에 대한 사용자의 회전 및 병진은, 이미지 기반 추적 센서들에 의해 검출가능한 피처들의 부족의 결점을 보상하기 위해 임의의 로컬화 로직을 적어도 보완할 수 있다.
[00051]
도 8b를 참조하면, 도 6a-도 6c 및 도 7a-도 7c를 참조하여 위에서 설명된 것들과 같은 구성이 다양한 컴포넌트들의 상대적 또는 절대적 포즈를 결정하는 데 활용될 수 있다. 도 8b에 도시된 바와 같이, 사용자는 복수의 핸드 헬드 제어기들(606) 및/또는 고정식으로 장착된(8) 제어기들에 동작가능하게 커플링된 머리 장착 웨어러블 컴포넌트(58)를 착용하고 있을 수 있으며, 그 중 하나는, 이를테면, 핸드 헬드 커플링을 통해 오퍼레이터의 신체에 물리적으로 커플링될 수 있다(224). 머리 장착 웨어러블 컴포넌트(58)는, 머리 장착 웨어러블 컴포넌트(58) 주위의 환경(이를 테면, 룸)에 대한 머리 장착 웨어러블 컴포넌트의 포즈의 특정 양상들(이를 테면, 위치 및 배향), 및/또는 그러한 환경에 관한 특정 특징들(이를테면, 룸의 형상)을 결정하기 위해, 자신에 커플링된 센서들을 활용하도록 구성될 수 있다(226). 복수의 핸드 헬드 제어기들(606) ― 복수의 핸드 헬드 제어기들(606)은 다른 오브젝트들 위에 놓이도록 구성되거나 또는 그에 고정식으로 장착될 수 있고, 그 중 하나는, 도 6a-도 6c 및 도 7a-도 7c에서와 같이 오퍼레이터에 물리적으로 커플링될 수 있음 ― 은, 그러한 제어기들 주위의 환경(이를 테면, 룸)에 대한 그러한 제어기들의 포즈의 특정 양상들(이를 테면, 위치 및 배향), 및/또는 그러한 환경에 관한 특정 특징들(이를테면, 룸의 형상)을 결정하기 위해, 자신들에 커플링된 센서들을 활용하도록 구성될 수 있다(228). 복수의 핸드 헬드 제어기들(606) ― 복수의 핸드 헬드 제어기들(606)은 다른 오브젝트들에 고정식으로 장착되거나, 다른 오브젝트들 위에 놓이거나, 또는 오퍼레이터에 커플링될 수 있음 ― 및 머리 장착 웨어러블 컴포넌트(58)는, 복수의 핸드 헬드 제어기들(606) 중 하나 이상과 머리 장착 웨어러블 컴포넌트(58) 사이의 상대적 포지셔닝 및/또는 배향이 결정될 수 있도록, 그들의 동작가능 커플링들을 통해(이를 테면, 블루투스 연결을 통해), 결정된 포즈 정보를 공유하도록 구성될 수 있다(230).
[00052]
컴포넌트들 각각 사이의 매트릭스 변환들은, 단순히 컴포넌트들 사이의 상대적 포지션이 아니라 절대적 포지션을 제공하도록 최적화될 수 있다. 예컨대, 물리적 환경에 대해, 고정적으로 장착된 컴포넌트들의 포지션들 및 배향들이 알려진 경우, 핸드 헬드 컴포넌트(606) 또는 머리 장착 컴포넌트(58)는 그러한 고정적으로 장착된 컴포넌트들에 대한 그들 개개의 포즈들을 결정할 수 있고, 확장에 의해, "실세계 좌표 프레임" 또는 "환경 좌표 프레임" 포지션 및 배향을 결정할 수 있으며, 이는 절대 포즈로 지칭될 수 있다.
[00053]
위에서 논의된 바와 같이, 다른 중간 좌표 프레임들이 존재하거니 또는 유용할 수 있다는 것이 인지될 것이다. 예컨대, (이를테면, 핸드 헬드 컴포넌트에 커플링된 관성 측정 유닛, 가속도계, 또는 카메라들로부터) 포지션 데이터만을 수신하는 핸드 헬드 제어기는 "핸드 헬드 좌표 프레임"에서의 자신의 포즈를 결정할 수 있고, 유사하게 "머리 장착 좌표 프레임" 및 포즈 정보에 대해서는 그것의 센서들이 검출 및 추출한다. 일부 실시예들에서, 개시된 센서들 및 감지 컴포넌트들을 사용한, 포지션을 결정하기 위한 로컬화 시스템 및 프로토콜은 중간 좌표 프레임에서만 동작할 필요가 있을 수 있고, 절대 또는 전체 환경 좌표 프레임 정보를 필요로 하지 않을 수 있다.
[00054]
그러한 동작들은, 복수의 핸드 헬드 제어기들 및/또는 고정식으로 장착된 제어기들과 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향에 관한 적시의 정보를 유지하기 위해 자주 업데이트될 수 있다(232).
[00055]
도 9a를 참조하면, 송신 엘리먼트들, 이를테면, 적외선 송신기들, 또는 리플렉터들, 이를테면, 작은 복수의 거울들, 유리 구체들, 또는 다른 반사 엘리먼트들을 나타낼 수 있는 작은 기점들(246)은, 기점들(246) 중 하나 이상의 기점들 사이에서 알려진 또는 미리 결정된 치수들을 갖는 시스템의 모듈들 사이의 포지션 및/또는 배향의 신속한 결정을 돕기 위해 활용될 수 있다. 예컨대, 도 9b를 참조하면, 복수의 기점들(246)이 커플링된 머리 장착 컴포넌트(58)의 일 실시예에서, 기점들(246) 사이의 비교적 긴 알려진 길이들은, 카메라 또는 다른 디바이스를 이용하여 기점들을 추적하도록 구성된 다른 컴포넌트에 대한 또는 글로벌 좌표계에 대한 공간 내에서의 그러한 머리 장착 컴포넌트(58)의 상대적 포지션 및/또는 배향을 결정 및 추적하는 데 활용될 수 있다. 도 9c는 그러한 구성의 포지셔닝 및/또는 배향에 관한 추가적인 정보를 제공하기 위해 추가적인 기점들(246)을 갖는 다른 머리 장착 컴포넌트(58) 구성을 예시한다.
[00056]
도 9d는 상대적 포즈 결정을 돕기 위해 복수의 기점들(246)이 또한 커플링된 로컬 프로세싱 및 데이터 모듈(70) 구성을 예시한다. 도 9e는 상대적 포즈 결정을 돕기 위해 더 많은 복수의 기점들(246)이 커플링된 로컬 프로세싱 및 데이터 모듈(70) 구성의 다른 실시예를 예시한다.
[00057]
도 9f는 상대적 포즈 결정을 돕기 위해 복수의 기점들(246)이 또한 커플링된 핸드 헬드 제어기 모듈(606) 구성을 예시한다. 도 9g는 상대적 포즈 결정을 돕기 위해 더 많은 복수의 기점들(246)이 커플링된 핸드 헬드 제어기(606) 구성의 다른 실시예를 예시한다.
[00058]
도 9h는 상대적 포즈 결정을 돕기 위해 다중-기점 어레이(248)가 커플링된 핸드 헬드 제어기 모듈(606) 구성을 예시하며; 서브-부분들의 알려진 포지션들을 갖는 그러한 기점 어레이들은, 예컨대 모바일 컴퓨팅 시스템의 웨어러블 컴포넌트들만큼 많은 기하학적 제약 없이 커피 테이블 등 상에 배치될 추가적인 핸드 헬드 제어기 모듈(606)과 같이, 그들을 위한 기하학적 구조가 제공될 수 있을 때, 포즈 결정에 유용할 수 있다. 도 9i는, 오퍼레이터(60)에 이미 커플링된 하나의 핸드 헬드 제어기(606)에 추가하여, 복수의 추가적인 제어기들, 이를테면, 핸드 헬드 제어기 모듈들(606)이 또한, 상대 컴포넌트들의 서로에 대한 신속한 포즈 결정을 돕기 위해 기점들(246)로 아웃피팅될(outfitted) 수 있는 구성을 예시한다.
[00059]
도 10을 참조하면, 도 9a를 참조하여 설명된 것과 같은 실시예에서, 사용자(60)는 핸드 헬드 제어기(606)에 동작가능하게 커플링된 머리 장착 웨어러블 컴포넌트(58)를 착용하고 있을 수 있다(214). 머리 장착 웨어러블 컴포넌트(58)는, 머리 장착 웨어러블 컴포넌트 주위의 환경(이를 테면, 룸)에 대한 머리 장착 웨어러블 컴포넌트의 포즈의 특정 양상들(이를 테면, 위치 및 배향), 및/또는 그러한 환경에 관한 특정 특징들(이를테면, 룸의 형상)을 결정하기 위해, 자신에 커플링된 센서들을 활용하도록 구성될 수 있다(216). 핸드 헬드 제어기(606), 이를테면, 오퍼레이터의 손에 물리적으로 커플링된 핸드 헬드 제어기(606), 및 머리 장착 웨어러블 컴포넌트는, 머리 장착 웨어러블 컴포넌트의 포즈에 대한 핸드 헬드 제어기의 포즈의 특정 양상들(이를 테면, 위치 및 배향)을 결정하기 위해, 이를테면, 자신들에 커플링된 송신기/수신기 페어링들(이를테면, 단일-랩 구성들의 적외선 스펙트럼 비콘들 및 센서들) 또는 트랜시버/리플렉터 페어링들(이를테면, 2-랩 구성들의 적외선 스펙트럼 송신기/수신기 디바이스들 및 리플렉터들)을 통해 기점들을 활용하도록 구성될 수 있다(234). 핸드 헬드 제어기(606) 및 머리 장착 웨어러블 컴포넌트(58)는, 핸드 헬드 제어기와 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향이 결정될 수 있도록, 그들의 동작가능 커플링을 통해(이를 테면, 블루투스 연결을 통해), 결정된 포즈 정보를 공유하도록 구성될 수 있다(236). 그러한 동작들은, 핸드 헬드 제어기와 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향에 관한 리프레시 정보를 유지하기 위해 자주 업데이트될 수 있다(238).
[00060]
도 11을 참조하면, 도 9i에 예시된 것과 같은 실시예의 경우, 사용자(60)는 복수의 핸드 헬드 스타일 제어기들(606)에 동작가능하게 커플링된 머리 장착 웨어러블 컴포넌트(58)를 착용하고 있을 수 있으며, 복수의 핸드 헬드 스타일 제어기들(606)은 사용자 또는 주위 룸의 다른 오브젝트들, 이를테면, 벽들(8)에 물리적으로 커플링될 수 있다(224). 머리 장착 웨어러블 컴포넌트(58)는, 머리 장착 웨어러블 컴포넌트(58) 주위의 환경(이를 테면, 룸)에 대한 머리 장착 웨어러블 컴포넌트의 포즈의 특정 양상들(이를 테면, 위치 및 배향), 및/또는 그러한 환경에 관한 특정 특징들(이를테면, 룸의 형상)을 결정하기 위해, 자신에 커플링된 센서들을 활용하도록 구성될 수 있다(226). 복수의 핸드 헬드 제어기들(606) 및 머리 장착 웨어러블 컴포넌트(58)는, 머리 장착 웨어러블 컴포넌트(58)의 포즈에 대한 핸드 헬드 제어기들(606)의 포즈의 특정 양상들(이를 테면, 위치 및 배향)을 결정하기 위해, 기점 구성들, 이를테면, 자신들에 커플링된 송신기/수신기 페어링들(이를테면, 단일-랩 구성들의 적외선 스펙트럼 비콘들 및 센서들) 또는 트랜시버/리플렉터 페어링들(이를테면, 2-랩 구성들의 적외선 스펙트럼 송신기/수신기 디바이스들 및 리플렉터들)을 활용하도록 구성될 수 있다(240). 복수의 핸드 헬드 제어기들(606) 및 머리 장착 웨어러블 컴포넌트(58)는, 복수의 핸드 헬드 제어기들(606)과 머리 장착 웨어러블 컴포넌트(58) 사이의 상대적 포지셔닝 및/또는 배향이 결정될 수 있도록, 그들의 동작가능 커플링을 통해(이를 테면, 블루투스 연결을 통해), 결정된 포즈 정보를 공유하도록 구성될 수 있다(242). 그러한 동작들은, 복수의 핸드 헬드 제어기들 및/또는 고정식으로 장착된 제어기들과 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향에 관한 리프레시 정보를 유지하기 위해 자주 업데이트될 수 있다(244).
[00061]
도 12a를 참조하면, 다른 실시예는, 핸드 헬드 제어기(606)의 상이한 위치들/배향들로부터의 추가적인 포즈 결정 데이터를 위해, 그 상부에 포함된 계장을 추가로 활용하기 위하여, 핸드 헬드 제어기(606)의 주기적 움직임(248)이 활용될 수 있도록 구성될 수 있다. 다시 말해서, 오퍼레이터(60)가 도어를 둘러싸는 구역의 움직임에 특히 관심이 있는 경우, 오퍼레이터(60)는 상이한 관점들, 벡터들, 및/또는 배향들로부터 그러한 로컬 환경에 관한 추가적인 정보를 캡처하기 위해, 제어기를 포함하는 센서들을 활용하는 데 있어서 제어기를 돕기 위해, 핸드 헬드 제어기(60) 주위를 포기(waive)할 수 있다.
[00062]
그러한 핸드 헬드 주기적 모션은, 오퍼레이터가 타겟팅된 구조물들에 더 근접할 것을 요구하며, 이는 바람직하지 않거나 실용적이지 않을 수 있으며; 도 12b의 실시예는, 사용자(60)가 대상 도어(202)로부터 비교적 멀리 떨어져 있지만, 2개의 핸드 헬드 제어기들(606)이 관심 영역에 장착된 ― 즉, 하나는 인근의 벽에 그리고 다른 하나는 도어(202) 자체에 장착됨 ― 것을 특징으로 한다. 도 12c는 주기적 모션(248) 및 도 12b에서와 같이 추가적인 감지 디바이스들(606) 둘 모두를 특징으로 하는 실시예를 예시한다.
[00063]
도 13은, 도 11의 구성과 유사한 구성을 예시하며, 관심 오브젝트 또는 볼륨, 이를테면, 도어 또는 다른 오브젝트에 관한 정보, 및 핸드 헬드 제어기(606) 및 다른 디바이스들, 이를테면, 하나 이상의 고정식으로 장착된 제어기들(606) 및 머리 장착 웨어러블 컴포넌트(58)에 대한 관심 오브젝트 또는 볼륨의 포지셔닝 및/또는 배향의 추가의 캡처를 용이하게 하기 위해, 사용자(60)가 관심 오브젝트 또는 볼륨 주위의 하나 이상의 핸드 헬드 제어기들을, 이를테면, 주기적 모션 또는 움직임을 통해 이동시키는 것이 추가된다. 그러한 동작들은, 복수의 핸드 헬드 제어기들 및/또는 고정식으로 장착된 제어기들과 머리 장착 웨어러블 컴포넌트 사이의 상대적 포지셔닝 및/또는 배향에 관한 리프레시 정보를 유지하기 위해 자주 업데이트될 수 있다(270).
[00064]
본 발명의 다양한 예시적인 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 이루어진다. 그 예들은 본 발명의 더 광범위하게 적용가능한 양상들을 예시하기 위해 제공된다.
[00065]
본 발명은 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 그러한 적합한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 프로비전은 최종 사용자에 의해 수행될 수 있다. 다시 말해서, "제공하는" 동작은 단순히, 본 발명의 방법의 필수적인 디바이스를 제공하기 위해, 최종 사용자가 획득하거나, 액세스하거나, 접근하거나, 포지셔닝하거나, 셋-업하거나, 활성화하거나, 파워-업하거나, 또는 다른 방식으로 수행하도록 요구할 뿐이다. 본원에서 언급된 방법들은 언급된 이벤트들의 논리적으로 가능한 임의의 순서뿐만 아니라 이벤트들의 언급된 순서로 수행될 수 있다.
[00066]
재료 선택 및 제조에 관한 세부사항들과 함께 본 발명의 예시적인 양상들이 위에서 기재되었다. 본 발명의 다른 세부사항들에 대해 말하자면, 이들은 위에서-참조된 특허들 및 공개문헌들과 관련하여 인지될 수 있을 뿐만 아니라 일반적으로 당업자들에게 알려졌거나 또는 당업자들에 의해 인지될 수 있다. 통상적으로 또는 논리적으로 이용되는 바와 같은 추가적인 동작들과 관련하여 본 발명의 방법-기반 양상들에 대해서도 마찬가지일 수 있다.
[00067]
또한, 설명된 본 발명의 변형들의 임의의 선택적인 특징이 독립적으로 또는 본원에서 설명된 특징들 중 임의의 하나 이상과 조합하여 기재되고 청구될 수 있다는 것이 고려된다. 단수형 아이템들에 대한 참조는 복수의 동일한 아이템들이 존재할 가능성을 포함한다. 더 구체적으로는, 본원에서 그리고 그와 연관된 청구항들에서 사용되는 바와 같이, 단수형들은, 구체적으로 달리 언급되지 않는 한 복수의 지시대상들을 포함한다. 다시 말해서, 단수형들의 사용은, 본 개시내용과 연관된 위의 설명뿐만 아니라 청구항들에서 대상 아이템 중 "적어도 하나"를 허용한다. 그러한 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것이 추가로 주목된다. 따라서, 이 진술은 청구항 엘리먼트들의 인용과 관련하여 "단독으로", "유일한" 등과 같은 그러한 배타적인 전문용어의 사용 또는 "네거티브" 제한의 사용에 대한 선행 기반의 역할을 하는 것으로 의도된다.
[00068]
그러한 배타적인 전문용어의 사용없이, 본 개시내용과 연관된 청구항들의 용어 "포함하는(comprising)"은, 주어진 수의 엘리먼트들이 그러한 청구항들에서 열거되는지 또는 특징의 추가가 그러한 청구항들에서 기재된 엘리먼트의 성질을 변환시키는 것으로 간주될 수 있는지에 관계없이, 임의의 추가적인 엘리먼트의 포함을 허용해야 한다. 본원에서 구체적으로 정의되는 것을 제외하고, 본원에서 사용되는 모든 기술 및 과학 용어들은 청구 유효성을 유지하면서 가능한 일반적으로 이해되는 의미로 광범위하게 주어질 것이다.
Claims (19)
- 복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법으로서,
제어 및 프로세싱 모듈에 의해 제1 포즈 데이터를 송신하는 단계;
상기 제1 포즈 데이터를 제1 컴포넌트에서 수신하는 단계;
상기 제어 및 프로세싱 모듈에 기반하여 상기 제1 포즈 데이터를 좌표 프레임에서의 제1 컴포넌트 상대적 포즈로 변환하는 단계; 및
상기 변환된 제1 컴포넌트 상대적 포즈로, 상기 제1 컴포넌트와 통신하는 디스플레이 유닛을 업데이트하는 단계를 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제1 항에 있어서,
상기 제1 포즈 데이터를 제2 컴포넌트에서 수신하는 단계;
상기 제어 및 프로세싱 모듈에 기반하여 상기 제1 포즈 데이터를 좌표 프레임에서의 제2 컴포넌트 상대적 포즈로 변환하는 단계;
상기 제2 컴포넌트 상대적 포즈를 상기 제1 컴포넌트와 공유하는 단계; 및
상기 변환된 제2 컴포넌트 상대적 포즈에 기반하여 상기 제1 컴포넌트 포즈를 업데이트하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제1 항 또는 제2 항에 있어서,
상기 제1 컴포넌트는 머리 장착 웨어러블 컴포넌트인,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제3 항에 있어서,
상기 제2 컴포넌트는 핸드 헬드 컴포넌트인,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제1 항 또는 제2 항에 있어서,
상기 제1 컴포넌트는 핸드 헬드 웨어러블 컴포넌트인,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제5 항에 있어서,
상기 제2 컴포넌트는 머리 장착 컴포넌트인,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제1 항에 있어서,
상기 제1 포즈 데이터를 송신하는 단계는 전자기장 신호들을 송신하는 단계를 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제7 항에 있어서,
상기 전자기장 신호들은 가시 스펙트럼에 있는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제7 항에 있어서,
상기 전자기장 신호들은 적외선 스펙트럼에 있는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제1 항에 있어서,
상기 제1 포즈 데이터를 수신하는 단계는 적외선 마커의 시각적 캡처를 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제2 항에 있어서,
상기 제1 포즈 데이터를 수신하는 단계는 기점 마커(fiducial marker)의 시각적 캡처를 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법으로서,
머리 장착 컴포넌트에서 포지션 정보를 표시하는 환경 특징들을 수신하는 단계;
상기 수신된 환경 특징들에 기반하여 상기 머리 장착 컴포넌트의 환경 좌표 프레임에서의 머리 장착 컴포넌트 포즈를 결정하는 단계;
적어도 하나의 핸드 헬드 컴포넌트에서 상기 적어도 하나의 핸드 헬드 컴포넌트의, 상기 머리 장착 컴포넌트에 대한 상대적인 포지션 양상들을 수신하는 단계;
머리 장착 컴포넌트 좌표 프레임에서의 상기 적어도 하나의 핸드 헬드 컴포넌트의 상대적 핸드 헬드 컴포넌트 포즈를 결정하는 단계;
상기 환경 좌표 프레임에서의 상기 결정된 머리 장착 컴포넌트 포즈를 상기 적어도 하나의 핸드 헬드 컴포넌트와 공유하고 그리고 상기 머리 장착 컴포넌트 좌표 프레임에서의 상기 상대적 핸드 헬드 컴포넌트 포즈를 상기 머리 장착 컴포넌트와 공유하는 단계; 및
상기 머리 장착 좌표 프레임에서의 상기 적어도 하나의 핸드 헬드 컴포넌트의 상대적 포즈를 업데이트하는 단계를 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제12 항에 있어서,
상기 적어도 하나의 핸드 헬드 컴포넌트의 상대적 포지션을 업데이트하기 전에, 상기 환경 좌표 프레임에서의 상대적 포지션 양상들을 제어 및 프로세싱 모듈로부터 상기 머리 장착 컴포넌트에 송신하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제13 항에 있어서,
적어도 하나의 핸드 헬드 제어기의 상대적 포지션을 업데이트하기 전에, 상기 환경 좌표 프레임에서의 상기 머리 장착 컴포넌트 포즈를 업데이트하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제12 항에 있어서,
상기 머리 장착 좌표 프레임에서의 상기 적어도 하나의 핸드 헬드 컴포넌트의 상대적 포지션을 상기 환경 좌표 프레임에서의 핸드 헬드 컴포넌트 포즈로 변환하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제12 항에 있어서,
상기 환경 좌표 프레임에서의 상대적 포지션 양상들을 제어 및 프로세싱 모듈로부터 상기 적어도 하나의 핸드 헬드 컴포넌트에 송신하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제16 항에 있어서,
상기 환경 좌표 프레임에서의 핸드 헬드 컴포넌트 포즈를 결정하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제17 항에 있어서,
상기 환경 좌표 프레임에서의 핸드 헬드 컴포넌트 포즈로, 상기 머리 장착 컴포넌트와 공유된 상대적 핸드 헬드 컴포넌트 포즈를 업데이트하는 단계를 더 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법. - 제12 항에 있어서,
상기 환경 특징들을 수신하는 단계는 이미지 기반 피처 추출 및 로컬화를 포함하는,
복수의 감지 컴포넌트들을 동작시키는 사용자를 로컬화하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247025189A KR102759337B1 (ko) | 2018-02-06 | 2019-02-05 | 증강 현실을 위한 시스템들 및 방법들 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862627155P | 2018-02-06 | 2018-02-06 | |
| US62/627,155 | 2018-02-06 | ||
| PCT/US2019/016721 WO2019156992A2 (en) | 2018-02-06 | 2019-02-05 | Systems and methods for augmented reality |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247025189A Division KR102759337B1 (ko) | 2018-02-06 | 2019-02-05 | 증강 현실을 위한 시스템들 및 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200116459A true KR20200116459A (ko) | 2020-10-12 |
| KR102689931B1 KR102689931B1 (ko) | 2024-07-29 |
Family
ID=67549617
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207022205A KR102689931B1 (ko) | 2018-02-06 | 2019-02-05 | 증강 현실을 위한 시스템들 및 방법들 |
| KR1020247025189A KR102759337B1 (ko) | 2018-02-06 | 2019-02-05 | 증강 현실을 위한 시스템들 및 방법들 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247025189A KR102759337B1 (ko) | 2018-02-06 | 2019-02-05 | 증강 현실을 위한 시스템들 및 방법들 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11222457B2 (ko) |
| EP (1) | EP3750033A4 (ko) |
| JP (2) | JP7316282B2 (ko) |
| KR (2) | KR102689931B1 (ko) |
| CN (1) | CN111712780A (ko) |
| AU (1) | AU2019217515A1 (ko) |
| CA (1) | CA3087738A1 (ko) |
| IL (2) | IL276254B2 (ko) |
| WO (1) | WO2019156992A2 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL276254B2 (en) | 2018-02-06 | 2024-09-01 | Magic Leap Inc | Systems and methods for augmented reality |
| CN110221690B (zh) * | 2019-05-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
| JP7463796B2 (ja) * | 2020-03-25 | 2024-04-09 | ヤマハ株式会社 | デバイスシステム、音質制御方法および音質制御プログラム |
| RU201742U1 (ru) * | 2020-07-22 | 2020-12-30 | Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" | Очки дополненной реальности, ориентированные на применение в условиях опасного производства |
| CN114694167A (zh) * | 2020-12-28 | 2022-07-01 | Oppo广东移动通信有限公司 | 姿态识别方法、装置、设备、系统、以及存储介质 |
| US11768374B1 (en) | 2022-06-24 | 2023-09-26 | Rockwell Collins, Inc. | Vehicle including head wearable display device and imperceptible reference fiducials and method therefor |
| JP7466733B1 (ja) | 2023-03-27 | 2024-04-12 | 株式会社複合現実製作所 | 画像表示装置および画像表示システム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015118442A (ja) * | 2013-12-17 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2016021096A (ja) * | 2014-07-11 | 2016-02-04 | Kddi株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US20170307891A1 (en) * | 2016-04-26 | 2017-10-26 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
| US20170357332A1 (en) * | 2016-06-09 | 2017-12-14 | Alexandru Octavian Balan | Six dof mixed reality input by fusing inertial handheld controller with hand tracking |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7272467B2 (en) * | 2002-12-17 | 2007-09-18 | Evolution Robotics, Inc. | Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping |
| US8542219B2 (en) * | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
| KR100960577B1 (ko) * | 2005-02-08 | 2010-06-03 | 오블롱 인더스트리즈, 인크 | 제스처 기반의 제어 시스템을 위한 시스템 및 방법 |
| EP2771877B1 (en) | 2011-10-28 | 2017-10-11 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| EP4036862A1 (en) | 2011-11-23 | 2022-08-03 | Magic Leap, Inc. | Three dimensional virtual and augmented reality display system |
| US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US20140168261A1 (en) * | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
| AU2014229004B2 (en) | 2013-03-15 | 2017-09-21 | Magic Leap, Inc. | Display system and method |
| US9908048B2 (en) | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| CN113433700B (zh) | 2013-11-27 | 2024-03-22 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| US9600925B2 (en) * | 2014-01-06 | 2017-03-21 | Oculus Vr, Llc | Calibration of multiple rigid bodies in a virtual reality system |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| JP6355978B2 (ja) * | 2014-06-09 | 2018-07-11 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
| WO2016141373A1 (en) | 2015-03-05 | 2016-09-09 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US10180734B2 (en) * | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
| NZ740299A (en) | 2015-08-21 | 2019-08-30 | Magic Leap Inc | Eyelid shape estimation using eye pose measurement |
| WO2017037962A1 (ja) | 2015-08-28 | 2017-03-09 | 株式会社タカラトミー | 頭部装着型ディスプレイを備えた情報処理装置 |
| US10317989B2 (en) * | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
| JP2017187952A (ja) * | 2016-04-06 | 2017-10-12 | 株式会社コロプラ | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
| CN105929958B (zh) * | 2016-04-26 | 2019-03-01 | 华为技术有限公司 | 一种手势识别方法，装置和头戴式可视设备 |
| US10198874B2 (en) | 2016-05-13 | 2019-02-05 | Google Llc | Methods and apparatus to align components in virtual reality environments |
| US10365712B2 (en) * | 2016-05-17 | 2019-07-30 | Google Llc | Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment |
| CN106095102A (zh) * | 2016-06-16 | 2016-11-09 | 深圳市金立通信设备有限公司 | 一种虚拟现实显示界面处理的方法及终端 |
| US10126553B2 (en) * | 2016-06-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Control device with holographic element |
| US10452133B2 (en) * | 2016-12-12 | 2019-10-22 | Microsoft Technology Licensing, Llc | Interacting with an environment using a parent device and at least one companion device |
| US10600203B2 (en) * | 2017-06-06 | 2020-03-24 | CapSen Robotics, Inc. | Three-dimensional scanner with detector pose identification |
| GB2565836B (en) * | 2017-08-25 | 2021-04-14 | Sony Interactive Entertainment Inc | Data processing for position detection using markers in captured images |
| IL276254B2 (en) | 2018-02-06 | 2024-09-01 | Magic Leap Inc | Systems and methods for augmented reality |
-
2019
- 2019-02-05 IL IL276254A patent/IL276254B2/en unknown
- 2019-02-05 KR KR1020207022205A patent/KR102689931B1/ko active IP Right Grant
- 2019-02-05 KR KR1020247025189A patent/KR102759337B1/ko active IP Right Grant
- 2019-02-05 WO PCT/US2019/016721 patent/WO2019156992A2/en unknown
- 2019-02-05 IL IL312231A patent/IL312231A/en unknown
- 2019-02-05 JP JP2020537488A patent/JP7316282B2/ja active Active
- 2019-02-05 EP EP19752054.7A patent/EP3750033A4/en active Pending
- 2019-02-05 CN CN201980011790.4A patent/CN111712780A/zh active Pending
- 2019-02-05 AU AU2019217515A patent/AU2019217515A1/en not_active Abandoned
- 2019-02-05 CA CA3087738A patent/CA3087738A1/en active Pending
-
2020
- 2020-08-05 US US16/985,929 patent/US11222457B2/en active Active
-
2021
- 2021-11-22 US US17/532,455 patent/US11620785B2/en active Active
-
2023
- 2023-07-14 JP JP2023115823A patent/JP7546116B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015118442A (ja) * | 2013-12-17 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2016021096A (ja) * | 2014-07-11 | 2016-02-04 | Kddi株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US20170307891A1 (en) * | 2016-04-26 | 2017-10-26 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
| US20170357332A1 (en) * | 2016-06-09 | 2017-12-14 | Alexandru Octavian Balan | Six dof mixed reality input by fusing inertial handheld controller with hand tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| IL312231A (en) | 2024-06-01 |
| KR20240121342A (ko) | 2024-08-08 |
| EP3750033A4 (en) | 2021-10-13 |
| CN111712780A (zh) | 2020-09-25 |
| CA3087738A1 (en) | 2019-08-15 |
| JP2023126474A (ja) | 2023-09-07 |
| US20220157006A1 (en) | 2022-05-19 |
| AU2019217515A1 (en) | 2020-06-25 |
| KR102689931B1 (ko) | 2024-07-29 |
| JP7546116B2 (ja) | 2024-09-05 |
| EP3750033A2 (en) | 2020-12-16 |
| US11620785B2 (en) | 2023-04-04 |
| IL276254B2 (en) | 2024-09-01 |
| IL276254B1 (en) | 2024-05-01 |
| JP2021512388A (ja) | 2021-05-13 |
| KR102759337B1 (ko) | 2025-01-22 |
| US11222457B2 (en) | 2022-01-11 |
| US20210019930A1 (en) | 2021-01-21 |
| IL276254A (en) | 2020-09-30 |
| JP7316282B2 (ja) | 2023-07-27 |
| WO2019156992A2 (en) | 2019-08-15 |
| WO2019156992A3 (en) | 2020-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7297028B2 (ja) | 拡張現実のためのシステムおよび方法 | |
| US11619988B2 (en) | Systems and methods for augmented reality | |
| US10678324B2 (en) | Systems and methods for augmented reality | |
| US11222457B2 (en) | Systems and methods for augmented reality | |
| US11256090B2 (en) | Systems and methods for augmented reality | |
| NZ735802A (en) | Traffic diversion signalling system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20200730 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220125 Comment text: Request for Examination of Application |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240428 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240725 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240725 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |