[go: up one dir, main page]

KR102246553B1 - Hmd 및 그 제어 방법 - Google Patents

Hmd 및 그 제어 방법 Download PDF

Info

Publication number
KR102246553B1
KR102246553B1 KR1020140049194A KR20140049194A KR102246553B1 KR 102246553 B1 KR102246553 B1 KR 102246553B1 KR 1020140049194 A KR1020140049194 A KR 1020140049194A KR 20140049194 A KR20140049194 A KR 20140049194A KR 102246553 B1 KR102246553 B1 KR 102246553B1
Authority
KR
South Korea
Prior art keywords
hmd
sensing information
image
sensor group
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140049194A
Other languages
English (en)
Other versions
KR20150122975A (ko
Inventor
조은형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140049194A priority Critical patent/KR102246553B1/ko
Priority to US14/341,243 priority patent/US9423620B2/en
Priority to CN201480078073.0A priority patent/CN106233188B/zh
Priority to PCT/KR2014/007500 priority patent/WO2015163539A1/en
Priority to EP14890195.2A priority patent/EP3134764B1/en
Publication of KR20150122975A publication Critical patent/KR20150122975A/ko
Application granted granted Critical
Publication of KR102246553B1 publication Critical patent/KR102246553B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)

Abstract

서라운딩 이미지를 제공하는 HMD에 있어서, 상기 서라운딩 이미지 중 상기 HMD의 전면 방향에 대응하는 영역의 이미지를 디스플레이하는 디스플레이 유닛; 상기 HMD의 모션을 센싱하는 적어도 하나의 센서를 포함하는 제 1 센서 그룹; 상기 HMD에 구비되어 주변 이미지(circumjacent image)를 캡쳐하는 적어도 하나의 센서를 포함하는 제 2 센서 그룹; 및 상기 디스플레이 유닛, 상기 제 1 센서 그룹 및 상기 제 2 센서 그룹을 제어하여, 상기 제 1 센서 그룹으로부터 제 1 센싱 정보 및 상기 제 2 센서 그룹으로부터 제 2 센싱 정보를 획득하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 제 1 센싱 정보 및 상기 제 2 센싱 정보 중 적어도 하나를 이용하여 상기 HMD의 상태(state)를 디텍트하되, 상기 HMD의 상태는 상기 HMD의 절대적 위치가 변하지 않는 고정 상태(static state) 및 상기 절대적 위치가 변하는 이동 상태(moving state)를 포함하고, 상기 HMD의 상태가 상기 고정 상태로서 디텍트된 경우, 상기 제 1 센싱 정보 또는, 상기 제 1 센싱 정보 및 상기 제 2 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하고, 상기 HMD의 상태가 상기 이동 상태로서 디텍트된 경우, 상기 제 2 센싱 정보 또는, 상기 제 2 센싱 정보 및 보정된 제 1 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하고, 상기 서라운딩 이미지 중 상기 디텍트한 방향에 대응하는 영역의 이미지를 디스플레이하는, HMD를 제공할 수 있다.

Description

HMD 및 그 제어 방법{HMD AND METHOD FOR CONTROLLING THE SAME}
본 명세서는 서라운딩 이미지를 제공하는 HMD 및 그 제어 방법에 관한 것으로서, 보다 상세하게는, HMD의 고정 상태 또는 이동 상태에 따라 센서 그룹의 활성을 제어하여 HMD를 착용한 유저의 고개 회전을 보다 정확하게 센싱하고, 센싱한 회전에 대응하는 서라운딩 이미지를 디스플레이하는 방법을 제공한다.
헤드 마운티드 디스플레이(Head Mounted Display, ‘HMD’)란 안경처럼 머리에 착용하여 다양한 정보를 제공받을 수 있도록 하는 착용식 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 착용식 디바이스가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
특히, HMD는 보다 실감나고 현실적인 가상 공간을 유저에게 제공하기 위해 서라운딩 이미지를 제공할 수 있다. 여기서 서라운딩 이미지란, HMD를 중심으로 전방향으로 펼쳐진 시각적 정보를 나타낼 수 있다. 따라서, HMD는 HMD를 착용한 유저의 얼굴이 향하는 방향을 디텍트하여, 서라운딩 이미지 중 해당 방향에 대응하는 이미지를 디스플레이할 수 있다. 이로써, 유저는 자신이 가상 공간에 실제로 존재하는 듯한 느낌을 받을 수 있다.
다만, 유저가 해당 HMD를 착용한 상태로 이동하면서 서라운딩 이미지를 제공받는 경우에는, HMD가 유저의 고개 회전을 정확하게 센싱할 수 없기 때문에, HMD가 유저의 의도와 다르게 오동작할 수 있다는 문제점이 존재하였다.
일 실시예에 따르면, 본 명세서는 HMD의 고정 상태 또는 이동 상태를 디텍트하여, 디텍트한 상태에 따라 센서 그룹의 활성을 제어하는 HMD 및 그 제어 방법을 제공할 수 있다.
또한, 다른 일 실시예에 따르면, 본 명세서는 HMD가 고정 상태인 경우, 각 센서 그룹으로부터 획득한 센싱 정보를 이용하여 HMD의 전면이 향하는 방향을 디텍트하는 HMD 및 그 제어 방법을 제공할 수 있다.
또한, 다른 일 실시예에 따르면, 본 명세서는 HMD가 이동 상태인 경우, 센서 그룹으로부터 획득한 센싱 정보를 보정하고, 보정된 센싱 정보를 이용하여 HMD의 전면이 향하는 방향을 디텍트하는 HMD 및 그 제어 방법을 제공할 수 있다.
또한, 다른 일 실시예에 따르면, 본 명세서는 이동 상태의 HMD가 전면 방향을 디텍트하는 경우, 레퍼런스 이미지를 설정하는 HMD 및 그 제어 방법을 제공할 수 있다.
또한, 다른 일 실시예에 따르면, 본 명세서는 센싱 정보를 보정하는 경우, 외부 디바이스로부터 주행 정보를 수신하여 센싱 정보를 보정하는 HMD 및 그 제어 방법을 제공할 수 있다.
상기와 같은 문제를 해결하고자, 일 실시예에 따르면, 서라운딩 이미지를 제공하는 HMD에 있어서, 상기 서라운딩 이미지 중 상기 HMD의 전면 방향에 대응하는 영역의 이미지를 디스플레이하는 디스플레이 유닛; 상기 HMD의 모션을 센싱하는 적어도 하나의 센서를 포함하는 제 1 센서 그룹; 상기 HMD에 구비되어 주변 이미지(circumjacent image)를 캡쳐하는 적어도 하나의 센서를 포함하는 제 2 센서 그룹; 및 상기 디스플레이 유닛, 상기 제 1 센서 그룹 및 상기 제 2 센서 그룹을 제어하여, 상기 제 1 센서 그룹으로부터 제 1 센싱 정보 및 상기 제 2 센서 그룹으로부터 제 2 센싱 정보를 획득하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 제 1 센싱 정보 및 상기 제 2 센싱 정보 중 적어도 하나를 이용하여 상기 HMD의 상태(state)를 디텍트하되, 상기 HMD의 상태는 상기 HMD의 절대적 위치가 변하지 않는 고정 상태(static state) 및 상기 절대적 위치가 변하는 이동 상태(moving state)를 포함하고, 상기 HMD의 상태가 상기 고정 상태로서 디텍트된 경우, 상기 제 1 센싱 정보 또는, 상기 제 1 센싱 정보 및 상기 제 2 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하고, 상기 HMD의 상태가 상기 이동 상태로서 디텍트된 경우, 상기 제 2 센싱 정보 또는, 상기 제 2 센싱 정보 및 보정된 제 1 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하고, 상기 서라운딩 이미지 중 상기 디텍트한 방향에 대응하는 영역의 이미지를 디스플레이하는, HMD를 제공할 수 있다.
일 실시예에 따르면, HMD의 상태에 따라 HMD의 전면 방향을 디텍트하기 위한 센서 그룹의 활성을 제어하므로, 보다 정확하게 유저의 고개 회전을 디텍트하여 HMD의 오동작을 줄인다는 효과가 있다.
또한, 다른 일 실시예에 따르면, HMD가 고정 상태인 경우, HMD의 전면 방향을 디텍트하기 위한 센서 그룹을 모두 활성화하므로, 보다 정확하고 빠르게 HMD의 전면 방향의 변화를 디텍트할 수 있다는 효과가 있다.
또한, 다른 일 실시예에 따르면, HMD가 이동 상태인 경우, 레퍼런스 이미지를 설정하고, 설정된 레퍼런스 이미지를 주변 이미지와 실시간으로 비교하여, 유저의 몸을 기준으로 한 유저의 고개 회전을 보다 정확하게 디텍트할 수 있다는 효과가 있다.
또한, 다른 일 실시예에 따르면, HMD가 센싱 정보를 보정하는 경우, 외부 디바이스로부터 주행 정보를 수신하므로, 보다 정확하게 센싱 정보를 보정하여 HMD의 오동작을 줄일 수 있다는 효과가 있다.
보다 구체적인 발명의 효과에 대해서는 이하에서 상세히 후술하기로 한다.
도 1은 본 명세서의 헤드 마운티드 디스플레이(Head Mounted Display, ‘HMD’)의 블록도를 나타내는 도면이다.
도 2는 서라운딩 이미지를 제공하는 HMD의 일 실시예를 도시한 도면이다.
도 3a 및 3b는 HMD의 이동 상태를 디텍트한 HMD의 일 실시예를 도시한 도면이다.
도 4a는 제 1 레퍼런스 이미지를 설정하는 HMD의 일 실시예를 도시한 도면이다.
도 4b는 제 1 레퍼런스 이미지를 이용하여 HMD의 전면 방향을 디텍트하는 HMD의 일 실시예를 도시한 도면이다.
도 5a는 제 2 레퍼런스 이미지를 설정하는 HMD의 일 실시예를 도시한 도면이다.
도 5b는 제 2 레퍼런스 이미지를 이용하여 HMD의 전면 방향을 디텍트하는 HMD의 일 실시예를 도시한 도면이다.
도 6a 및 도 6b는 제 1 센싱 정보를 보정하고, 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 이용하여 전면 방향을 디텍트하는 HMD의 일 실시예를 도시한 도면이다.
도 7은 HMD의 제어 방법에 관한 순서도를 도시한 도면이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 명세서의 헤드 마운티드 디스플레이(Head Mounted Display, ‘HMD’)의 블록도를 나타내는 도면이다. 도 1에 도시된 바와 같이, HMD는 디스플레이 유닛(1020), 커뮤니케이션 유닛(1030), 제 1 센서 그룹(1040), 제 2 센서 그룹(1050) 및 프로세서(1010)를 포함할 수 있다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 요소를 삭제 하거나, 새로운 구성 요소를 추가할 수 있다.
디스플레이 유닛(1020)은 이미지를 디스플레이할 수 있다. 여기에서, 이미지는, 유저의 시각을 통해 인식 가능한 시각적 정보로서, 그림, 사진, 텍스트, 동영상, 비디오, 어플리케이션 실행 화면 등을 나타낼 수 있다. 특히, 본 명세서에서 디스플레이 유닛(1020)은 서라운딩 이미지를 디스플레이할 수 있다. 서라운딩 이미지란, HMD를 중심으로 전방향(예를 들어, 전, 후, 좌, 우, 상, 하 방향)으로 펼쳐진 이미지를 나타낼 수 있다. 특히, 프로세서(1010)는 유저의 얼굴이 향하는 방향을 디텍트하여 해당 방향에 대응하는 서라운딩 이미지를 제공할 수 있는데, 이를 통해 HMD는 유저에게 보다 실감나는 가상 환경을 제공할 수 있다는 효과가 있다.
커뮤니케이션 유닛(1030)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(1030)은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛(1030)은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다. 본 명세서에서 외부 디바이스는 일 실시예로서, 유저가 탑승 가능한 이동 수단(vehicle)일 수 있으며, 이에 관련된 실시예에 관한 상세한 설명은 이하에서 후술하기로 한다.
제 1 센서 그룹(1040)은 HMD의 모션을 센싱하는 센서들의 집단을 나타낼 수 있다. 보다 상세하게는, 제 1 센서 그룹(1040)은 HMD의 위치, 움직임, 회전, 이동 등을 센싱하는 센서 집단을 나타낼 수 있다. 따라서, 제 1 센서 그룹(1040)은 HMD의 모션을 센싱하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 제 1 센서 그룹(1040)은 가속도 센서, 자이로 센서, 지자기 센서, GPS 센서, 압력 센서, 고도 센서 및 근접 센서 중 적어도 하나를 포함할 수 있다. 이외에도 제 1 센서 그룹(1040)은 HMD의 모션을 센싱하기 위한 다양한 센서를 포함할 수 있다.
제 1 센서 그룹(1040)에 포함된 센서(들)는 프로세서(1010)의 제어 신호에 의해 동시에 활성화되거나 비활성화될 수 있다. 활성화된 제 1 센서 그룹(1040)은 HMD의 모션 센싱 결과를 제 1 센싱 정보로서 프로세서(1010)로 전송할 수 있다. 제 1 센싱 정보를 수신한 프로세서(1010)는 HMD의 모션을 디텍트하여 다양한 제어 동작을 수행할 수 있다.
제 2 센서 그룹(1050)은 HMD의 주변 이미지를 촬영(capture)하는 센서들의 집단을 나타낼 수 있다. 따라서, 제 2 센서 그룹(1050)은 HMD의 주변 이미지를 촬영하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 제 2 센서 그룹(1050)은 카메라 센서, 적외선 센서 및 근접 센서 중 적어도 하나를 포함할 수 있다.
제 2 센서 그룹(1050)에 포함된 센서(들)는 프로세서(1010)의 제어 신호에 의해 동시에 활성화되거나 비활성화될 수 있다. 활성화된 제 2 센서 그룹(1050)은 HMD의 주변 이미지를 캡쳐한 결과를 제 2 센싱 정보로서 프로세서(1010)로 전송할 수 있다. 제 2 센싱 정보를 수신한 프로세서(1010)는 HMD의 주변 이미지를 디텍트하여 다양한 제어 동작을 수행할 수 있다.
제 1 센서 그룹(1040) 및 제 2 센서 그룹(1050)은 동일한 센서를 공유할 수 있다. 또한, 제 1 센서 그룹(1040) 및 제 2 센서 그룹(1050)은 프로세서(1010)에 의해 동시에 활성화되거나 각각 활성화될 수 있다.
프로세서(1010)는 상술한 HMD의 각 유닛들을 제어하며, 유닛들 간의 데이터 또는 정보의 송/수신을 제어할 수 있다. 또한, 프로세서(1010)는 HMD 내부의 데이터를 프로세싱하여 다양한 어플리케이션을 실행할 수 있다. 또한, 프로세서(1010)는 제어 명령에 기초하여 HMd에서 실행되는 컨텐츠를 제어할 수 있다.
보다 상세하게는, 프로세서(1010)는 상술한 디스플레이 유닛(1020)을 이용하여 서라운딩 이미지를 제공할 수 있다. 여기서 서라운딩 이미지란, HMD를 중심으로 전방향(예를 들어, 전, 후, 좌, 우, 상, 하 방향)으로 펼쳐진 이미지임은 앞서 상술한 바와 같다. 프로세서(1010)는, 유저의 얼굴이 향하는 방향을 디텍트하고, 서라운딩 이미지 중 디텍트한 얼굴 방향에 대응하는 영역의 이미지를 디스플레이할 수 있다. 이로써, 프로세서(1010)는 유저에게 서라운딩 이미지가 제공하는 가상 공간에 실제로 현존하는 듯한 느낌을 부여할 수 있다.
이때 유저의 얼굴이 향하는 방향을 정확하게 디텍트하기 위해, 프로세서(1010)는 제 1 센서 그룹(1040)으로부터 획득한 제 1 센싱 정보 및 제 2 센서 그룹(1050)으로부터 획득한 제 2 센싱 정보를 이용할 수 있다. 우선, 프로세서(1010)는 HMD를 착용한 유저의 절대적 위치가 변하지 않는 고정 상태인지, 또는 유저의 절대적 위치가 변하는 이동 상태인지를 제 1 센싱 정보 및/또는 제 2 센싱 정보를 이용하여 디텍트할 수 있다. 프로세서(1010)는 디텍트한 고정 상태 또는 이동 상태에 따라 제 1 센서 그룹(1040) 및 제 2 센서 그룹(1050)의 활성을 제어함으로써 보다 정확한 유저의 얼굴 방향 및/또는 고개의 회전 정도를 디텍트할 수 있다. 이와 관련된 상세한 설명은 이하에서 상세히 후술하기로 한다.
프로세서(1010)는 이렇듯 유저의 얼굴 방향을 디텍트한 경우, 서라운딩 이미지 중 디텍트한 유저의 얼굴 방향에 대응하는 영역의 이미지를 디스플레이할 수 있다. 이때 프로세서(1010)는 다양한 방식으로 서라운딩 이미지를 디스플레이할 수 있다. 일 실시예로서, 프로세서(1010)는 투시형(see-through) 방식으로 이미지를 디스플레이할 수 있다. 투시형 방식은 디스플레이 패널이 투명한 것으로, HMD를 착용한 상태에서 유저가 주위 환경을 인식하면서 디스플레이 패널에 디스플레이된 이미지를 인식할 수 있는 방식을 나타낸다. 다른 실시예로서, 프로세서(1010)는 전방 주사(front-light) 방식으로 이미지를 디스플레이할 수 있다. 전방 주사 방식은 빛이 직접 유저의 눈에 투사되지 않고 반사체를 통해 이미지를 디스플레이하는 방식을 나타낸다. 다른 실시예로서, 프로세서(1010)는 암막형 방식(see-closed)으로 이미지를 디스플레이할 수 있다. 암막형 방식은 디스플레이 패널이 불투명한 것으로, HMD를 착용한 유저가 주위 환경을 인식하지 못한 채 디스플레이 패널에 디스플레이된 이미지를 인식할 수 있는 방식을 나타낸다.
이하에서는, 암막형 방식으로 이미지를 디스플레이하는 프로세서(1010)를 기준으로 설명하기로 한다. 다만, 본 실시예에 한정되는 것은 아니며, 투시형 방식 및 전방 주사 방식에도 후술하는 실시예들이 동일 또는 유사하게 적용될 수 있다.
또한, 이하에서는, HMD에서 수행되는 각 단계나 동작이 센싱 정보에 의해 시작되거나 진행되는 경우, 센싱 정보에 따라 신호가 생성되어 수신되는 과정은 중복하여 설명하지 않아도 상술한 과정에 대한 설명이 포함된 것으로 한다. 또한, 센싱 정보에 따라 프로세서(1010)가 HMD 또는 HMD에 포함된 적어도 하나의 유닛을 제어한다고 표현할 수 있으며, 프로세서(1010)와 디바이스를 동일시하여 설명할 수 있다.
한편, 도 1에 도시된 디바이스는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 하드웨어적인 구성 유닛들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 디바이스의 구성 유닛들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 서라운딩 이미지를 제공하는 HMD의 일 실시예를 도시한 도면이다.
본 명세서에서 HMD(2040)는 서라운딩 이미지를 제공할 수 있다. 여기서, 서라운딩 이미지란, HMD(2040)를 중심으로 전방향으로 펼쳐진 이미지임은 앞서 상술한 바와 같다. 따라서, HMD(2040)는 상, 하, 좌, 우, 전, 후 등 다양한 방향에 대응하는 서라운딩 이미지를 제공할 수 있다. 또는, HMD(2040)는 수평 방향, 수직 방향, 대각선 방향 등 다양한 방향에 대응하는 서라운딩 이미지를 제공할 수 있다. 다만, 서라운딩 이미지는 반드시 전방향으로 펼쳐진 이미지에 한정되지 않으며, 실시예에 따라 전-후, 좌-우, 상-하, 수직, 수평, 또는 대각선 방향으로만 펼쳐진 이미지도 포함하는 개념이다.
HMD(2040)는 유저의 얼굴 방향을 디텍트하고, 서라운딩 이미지 중 디텍트한 유저의 얼굴 방향에 대응하는 영역의 이미지를 제공할 수 있다. 본 명세서에서 HMD(2040)는 유저의 얼굴 방향을 디텍트하기 위해, 간접적으로 HMD(2040)의 전면이 향하는 방향을 디텍트할 수 있다. HMD(2040)는 유저의 얼굴에 착용되는 착용식 디바이스이기 때문이다. 이렇듯 HMD(2040)의 전면이 향하는 방향을 디텍트함으로써 간접적으로 유저의 얼굴이 향하는 방향을 디텍트하기 때문에, 두 방향 사이에 일정한 오차가 존재할 수 있다. 예를 들어, 유저가 자동차에 탑승한 채 서라운딩 이미지를 응시하는 중 자동차가 좌회전 또는 우회전을 하는 경우, 유저의 고개가 회전하지 않았음에도, HMD(2040)는 HMD(2040)의 전면 방향은 변경된 것으로 인식할 수 있다. 여기서 유저의 고개가 회전함은 유저의 신체는 고정된 상태(또는 회전하지 않는 상태)에서 유저의 얼굴만 회전하는 경우를 나타낼 수 있다. 이 경우, HMD(2040)는 유저의 의도와 다르게 변경된 방향에 대응하는 서라운딩 이미지를 제공하는 오동작을 수행할 수 있다.
이러한 오동작을 방지하기 위해, 본 명세서의 HMD(2040)는 우선, HMD(2040)의 상태를 디텍트할 수 있다. 여기서 HMD(2040)의 상태는 HMD(2040)의 절대적 위치가 변경되지 않는 고정 상태 및 HMD(2040)의 절대적 위치가 변경되는 이동 상태를 포함할 수 있다. 보다 상세하게는, HMD(2040)의 상태는 HMD(2040)의 절대적 위치가 “실질적으로” 변경되지 않는 고정 상태 및 HMD(2040)의 절대적 위치가 “실질적으로” 변경되는 이동 상태를 포함할 수 있다. HMD(2040)의 절대적 위치가 “실질적으로” 변경되는지 여부는 스레스홀드 거리를 기준으로 결정될 수 있다. 예를 들어, HMD(2040)는 HMD(2040)의 절대적 위치가 기설정된 시간 동안 스레스홀드 거리 이하로 변경되는 경우에는, HMD(2040)의 상태를 고정 상태로서 디텍트할 수 있다. 반대로, HMD(2040)는 HMD(2040)의 절대적 위치가 기설정된 시간 동안 스레스홀드 거리 초과로 변경되는 경우에는, HMD(2040)의 상태를 이동 상태로서 디텍트할 수 있다. 여기서 스레스홀드 거리는 HMD(2040)의 제조 방식, 실행 중인 어플리케이션의 종류, 유저 등에 의해 다양한 값으로서 설정될 수 있다.
이러한 HMD(2040)의 상태는 상술한 제 1 센서 그룹 및 제 2 센서 그룹 중 적어도 하나의 그룹을 사용하여 디텍트될 수 있다. 다시 말하면, 이러한 HMD(2040)의 상태는 제 1 센서 그룹의 센싱 결과인 제 1 센싱 정보 및/또는 제 2 센서 그룹의 센싱 결과인 제 2 센싱 정보를 이용하여 디텍트될 수 있다.
일 실시예로서, HMD(2040)가 제 1 센싱 정보를 이용하여 HMD(2040)의 상태를 디텍트하는 경우, HMD(2040)는 제 1 센서 그룹에 포함된 GPS 센서를 이용하여 HMD(2040)의 절대적 위치 정보를 제 1 센싱 정보로서 획득할 수 있다. HMD(2040)는 GPS센서를 이용하여 HMD(2040)의 절대적 위치 정보를 실시간으로 제공받아 HMD(2040)가 기설정된 시간 동안 스레스홀드 거리 이하 또는 초과로 이동하는지를 디텍트하여 HMD(2040)의 상태를 디텍트할 수 있다.
다른 실시예로서, HMD(2040)가 제 2 센싱 정보를 이용하여 HMD(2040)의 상태를 디텍트하는 경우, HMD(2040)는 제 2 센서 그룹을 이용하여 획득한 주변 이미지를 프로세싱함으로써 HMD(2040)의 상태를 디텍트할 수 있다. 보다 상세하게는, HMD(2040)는 제 2 센서 그룹을 이용하여 HMD(2040)의 주변 이미지를 제 2 센싱 정보로서 캡쳐할 수 있다. 나아가, HMD(2040)는 캡쳐한 주변 이미지를 프로세싱하고, 프로세싱한 결과를 기준으로 HMD(2040)의 상태를 디텍트할 수 있다. 예를 들어, 주변 이미지가 기설정된 시간 동안 기설정된 비율 초과로 변경되는 경우, HMD(2040)는 HMD(2040)의 절대적 위치가 실질적으로 변경되었음을 디텍트하고, HMD(2040)의 상태를 이동 상태로서 디텍트할 수 있다.
추가적인 실시예로서, HMD(2040)는 커뮤니케이션 유닛을 이용하여 외부 디바이스로부터 센싱 정보를 획득하여 HMD(2040)의 상태를 디텍트할 수 있다. 만일, 외부 디바이스가 유저가 탑승 가능한 이동 수단(vehicle)인 경우, 디바이스는 해당 외부 디바이스와 통신을 수행함으로써 HMD(2040)의 상태를 디텍트할 수 있다. 예를 들어, 외부 디바이스가 기설정된 속도 초과로 주행하고 있는 경우, 주행에 관련된 주행 정보를 HMD(2040)로 송신할 수 있다. HMD(2040)는 이러한 주행 정보를 수신한 경우, 해당 주행 정보를 기초로 HMD(2040)의 절대적 위치의 변화를 디텍트하고, 디텍트한 HMD(2040)의 절대적 위치 변화에 기초하여 HMD(2040)의 상태를 디텍트할 수 있다.
HMD(2040)가 상술한 실시예 또는 상술한 실시예의 조합으로서 HMD(2040)의 고정 상태를 디텍트한 경우, HMD(2040)는 제 1 센서 그룹 및 제 2 센서 그룹의 활성을 제어할 수 있다. 일 실시예로서, HMD(2040)가 HMD(2040)의 고정 상태를 디텍트한 경우, HMD(2040)는 제 1 센서 그룹을 활성화 시키거나 제 1 센서 그룹의 활성을 유지할 수 있다. 이때 HMD(2040)는 제 2 센서 그룹을 비활성화할 수 있다. 나아가, HMD(2040)는 활성화된 제 1 센서 그룹으로부터 제 1 센싱 정보를 획득하여, 획득한 제 1 센싱 정보를 기초로 HMD(2040)의 전면이 향하는 방향을 디텍트할 수 있다. 예를 들어, HMD(2040)는 제 1 센서 그룹에 포함되어 있는 자이로 센서 및/또는 가속도 센서를 이용하여 HMD(2040)의 회전 방향 및/또는 회전 정도를 디텍트하고, 디텍트한 회전 방향 및 회전 정도에 기초하여 HMD(2040)의 전면이 향하는 방향을 디텍트할 수 있다. 이는, HMD(2040)의 절대적 위치가 고정되어 있는 상태이기 때문에, 제 1 센서 그룹만 사용하더라도 HMD(2040)의 전면 방향과 유저의 얼굴이 향하는 방향에 사이의 오차가 크지 않기 때문이다.
또는, 다른 실시예로서, HMD(2040)가 HMD(2040)의 고정 상태를 디텍트한 경우, HMD(2040)는 제 1 센서 그룹 및 제 2 센서 그룹을 동시에 활성화 시키거나 두 그룹의 활성을 유지할 수 있다. 나아가, HMD(2040)는 활성화된 제 1 센서 그룹으로부터 제 1 센싱 정보를 획득하고, 제 2 센서 그룹으로부터 제 2 센싱 정보를 획득하여, 획득한 제 1 센싱 정보 및 제 2 센싱 정보를 기초로 HMD(2040)의 전면이 향하는 방향을 디텍트할 수 있다. 예를 들어, HMD(2040)는 제 1 센서 그룹에 포함되어 있는 자이로 센서 및/또는 가속도 센서 등을 이용하여 HMD(2040)의 회전 방향 및/또는 회전 정도를 디텍트하고, 제 2 센서 그룹에 포함되어 있는 카메라 센서를 이용하여 주변 이미지를 프로세싱하여 HMD(2040)의 전면이 향하는 방향을 디텍트할 수 있다. 앞서 상술한 실시예와 달리, 본 실시예의 HMD(2040)는 제 1 센서 그룹 외에 제 2 센서 그룹을 추가로 사용하므로, 보다 빠르고 정확하게 HMD(2040)의 전면이 향하는 방향을 디텍트할 수 있다는 효과가 있을 수 있다.
HMD(2040)가 상술한 실시예 또는 상술한 실시예의 조합으로서 이동 상태를 디텍트한 경우에도 HMD(2040)는 제 1 센서 그룹 및 제 2 센서 그룹의 활성을 제어할 수 있다. 본 실시예에 관한 상세한 설명은 도 3a 내지 도 6b와 관련하여 이하에서 상세히 후술하기로 한다.
HMD(2040)는 HMD(2040)의 전면이 향하는 방향을 디텍트한 경우, 서라운딩 이미지 중 디텍트한 방향에 대응하는 영역의 이미지를 디스플레이할 수 있다. 예를 들어, 도면에 도시한 바와 같이, HMD(2040)가 HMD(2040)의 전면이 제 1 방향을 향하고 있음을 디텍트한 경우, HMD(2040)는 제 1 방향에 대응하는 제 1 이미지(2010)를 디스플레이할 수 있다. 이때, HMD(2040)가 좌측으로 90˚ 회전함을 디텍트한 경우, 해당 방향에 대응하는 제 2 이미지(2020)를 디스플레이할 수 있다. 여기서, 제 2 이미지(2020)는 서라운딩 이미지에 포함된 부분 이미지일 수 있다. 또는, HMD(2040)가 우측으로 90˚ 회전함을 디텍트한 경우, 해당 방향에 대응하는 제 3 이미지(2030)를 디스플레이할 수 있다. 여기서, 제 3 이미지(2030)는 서라운딩 이미지에 포함된 부분 이미지일 수 있다.
도 3a 및 3b는 HMD의 이동 상태를 디텍트한 HMD의 일 실시예를 도시한 도면이다.
이동 상태의 HMD(3010)는 HMD(3010)의 모션만을 디텍트함으로써 유저(3020)의 고개 회전을 정확하게 디텍트하기 어렵다. 다시 말하면, 이동 상태의 HMD(3010)는 HMD(3010)의 모션을 디텍트하는 제 1 센서 그룹만 이용해서 유저(3020)의 고개 회전을 정확하게 디텍트하기가 어렵다.
제 1 센서 그룹만을 사용하는 경우, HMD(3010)는 HMD(3010)의 모션만을 디텍트하기 때문에 유저(3020)의 고개가 회전하지 않고 유저(3020)의 몸 자체가 회전하는 것만으로도, HMD(3010)는 유저(3020)가 고개를 회전한 것으로 디텍트할 수 있기 때문이다. 여기서 고개의 회전은 유저(3020)의 몸은 회전하지 않은 상태에서 유저(3020)의 얼굴만 회전하는 경우를 나타낼 수 있다. 따라서, 이 경우, HMD(3010)는 HMD(3010)의 모션을 센싱하는 제 1 센서 그룹만을 사용하는 게 아니라, 제 1 센서 그룹 대신 주변 이미지를 캡쳐하는 제 2 센서 그룹만을 사용하거나, 제 1 센서 그룹 및 제 2 센서 그룹을 모두 사용하여 HMD(3010) 전면 방향의 회전을 디텍트함으로써 유저(3020)의 고개 회전을 보다 정확하게 디텍트할 수 있다. 나아가, 이를 통해 HMD(3010)의 오동작을 방지할 수 있다.
보다 상세하게는, 도 2와 관련하여 상술한 실시예를 이용하여 HMD(3010)의 이동 상태를 디텍트한 경우, HMD(3010)는 제 1 센서 그룹 및 제 2 센서 그룹의 활성을 제어할 수 있다. 일 실시예로서, HMD(3010)의 이동 상태를 디텍트한 경우, HMD(3010)는 제 2 센서 그룹을 활성화시키거나, 제 2 센서 그룹의 활성을 유지할 수 있다. 이때, HMD(3010)는 제 1 센서 그룹은 비활성화할 수 있다. 나아가, HMD(3010)는 활성화된 제 2 센서 그룹으로부터 제 2 센싱 정보를 획득하여, 획득한 제 2 센싱 정보를 기초로 HMD(3010)의 전면이 향하는 방향을 디텍트할 수 있다. 예를 들어, HMD(3010)는 제 2 센서 그룹에 포함되어 있는 카메라 센서를 이용하여 HMD(3010)의 주변 이미지를 캡쳐하고, 캡쳐한 주변 이미지를 기설정된 이미지 또는 레퍼런스 이미지와 비교함으로써 HMD(3010)의 전면이 향하는 방향을 디텍트할 수 있다. 이에 관한 상세한 설명은 도 4a 내지 도 5b와 관련하여 이하에서 후술하기로 한다.
다른 실시예로서, HMD(3010)의 이동 상태를 디텍트한 경우, HMD(3010)는 제 1 센서 그룹 및 제 2 센서 그룹을 활성화시키거나, 제 1 센서 그룹 및 제 2 센서 그룹의 활성을 유지할 수 있다. 나아가, HMD(3010)는 활성화된 제 1 센서 그룹 및 제 2 센서 그룹으로부터 각각 제 1 센싱 정보 및 제 2 센싱 정보를 획득하여, 획득한 제 1 센싱 정보 및 제 2 센싱 정보를 기초로 HMD(3010)의 전면이 향하는 방향을 디텍트할 수 있다. 다만, 제 1 센싱 정보의 경우 앞서 상술한 바와 같이 일정한 오차가 발생할 수 있기 때문에, HMD(3010)는 제 1 센싱 정보를 보정하여 보정된 제 1 센싱 정보를 기초로 HMD(3010)의 전면이 향하는 방향을 디텍트할 수 있다. 예를 들어, HMD(3010)는 제 2 센서 그룹에 포함되어 있는 카메라 센서를 이용하여 주변 이미지를 제 2 센싱 정보로서 획득할 수 있다. 또한, HMD(3010)는 제 1 센서 그룹에 포함되어 있는 센서를 이용하여 HMD(3010)의 모션을 제 1 센싱 정보로서 획득할 수 있다. 다만, 이러한 제 1 센싱 정보는 이동 중인 유저(3020)의 고개 회전을 디텍트하는데 일정한 오차가 존재할 수 있으므로, HMD(3010)는 획득한 제 1 센싱 정보를 보정할 수 있다. 이때, HMD(3010)는 커뮤니케이션 유닛을 이용하여 외부 디바이스(3030)로부터 제 1 센싱 정보를 보정하기 위한 정보를 획득할 수 있는데, 이에 관한 상세한 설명은 도 6a 및 도 6b와 관련하여 이하에서 후술하기로 한다. HMD(3010)는 이렇게 획득한 제 2 센싱 정보 및 보정된 제 1 센싱 정보를 이용하여 HMD(3010)의 전면이 향하는 방향을 디텍트함으로써 간접적으로 유저(3020)의 고개 방향을 디텍트할 수 있다.
이를 보다 상세하게 설명하기 위해, 이하에서는 도 3a에 도시한 바와 같이, 주행 중인 자동차에 탑승한 유저(3020)가 HMD(3010)를 통해 서라운딩 이미지(3040, 3050, 3060)를 제공 받는 경우에 있어 HMD(3010)의 동작에 관하여 상세히 후술하기로 한다. 특히, 유저(3020)가 탑승 중인 자동차(3030)가 좌회전 주행을 하는 경우에 관하여 상세히 후술하기로 한다.
예를 들어, 도 3b에 도시된 바와 같이, 탑승객이 전면 방향을 응시하는 경우, HMD(3010)는 서라운딩 이미지(3040, 3050, 3060) 중 전면 방향에 대응하는 제 1 이미지(3040)를 디스플레이할 수 있다. 이때, 자동차(3030)가 주행 중 회전하는 경우, 유저(3020)의 고개 회전을 디텍트하기 위해 활성화된 센서 그룹에 따라 디스플레이되는 서라운딩 이미지(3040, 3050, 3060)는 달라질 수 있다. 만일, 자동차(3030)가 45˚로 좌회전하고, 제 1 센서 그룹만을 이용하여 유저(3020)의 고개 회전을 디텍트하는 경우, HMD(3010)는 자동차(3030)의 회전에 의해 HMD(3010)의 전면이 좌측 45˚ 방향을 향하는 것으로 디텍트할 수 있다. 다시 말하면, HMD(3010)는 HMD(3010)를 착용한 유저(3020)가 좌측으로 45˚만큼 고개를 회전한 것으로 디텍트할 수 있다. 그 결과, HMD(3010)는 좌측 45˚ 방향에 대응하는 제 2 이미지(3050)를 디스플레이할 수 있다. 나아가, 도면에 도시한 바와 같이, 자동차(3030)가 좌회전 주행을 완료하여 좌측으로 90˚ 회전한 경우에도(도 3b-(3)의 경우), HMD(3010)는 HMD(3010)가 좌측으로 90˚ 회전한 것으로 디텍트하여, 해당 방향에 대응하는 제 3 이미지(3060)를 디스플레이할 수 있다.
이는 유저(3020)의 의도와 어긋나는 HMD(3010)의 동작일 수 있다. 이동 중인 유저(3020)는 좌측 방향 또는 우측 방향의 이미지를 보기 위한 의도적인 행동으로서 유저(3020)의 몸 전체를 회전시키는 게 아니라, 몸은 실질적으로 회전하지 않은 상태에서 고개만 간편하게 회전할 확률이 더 높기 때문이다. 따라서, 앞서 상술한 바와 같이, 제 1 센서 그룹을 이용하여 몸 전체가 회전하는 것을 디텍트하여 이미지를 전환하는 것은 유저(3020)의 의도에 어긋난 동작이라 볼 수 있다. 본 명세서의 HMD(3010)는 HMD(3010)의 이동 상태를 디텍트한 경우, 제 2 센싱 정보만을 이용하거나 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 이용하여 유저(3020)의 고개 회전을 디텍트함으로써 상술한 HMD(3010)의 오동작을 미연에 방지할 수 있다.
따라서, 본 명세서의 HMD(3010)는 본 도면에 도시한 바와 같이, 좌측으로 45˚ 또는 90˚로 회전하는 경우에도, 전면 방향에 대응하는 제 1 이미지(3040)를 그대로 유지할 수 있다.
이하에서는, 이동 상태의 HMD(3010)가 제 2 센싱 정보 또는, 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 이용하여 HMD(3010)의 전면 방향을 디텍트하는 실시예에 관하여 상세히 후술하기로 한다. 보다 상세하게는, 제 2 센싱 정보만을 이용하여 전면 방향을 디텍트하는 HMD(3010)의 실시예는 도 4a 내지 도 5b와 관련하여 이하에서 상세히 후술하기로 한다. 또한, 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 이용하여 전면 방향을 디텍트하는 HMD(3010)의 실시예는 도 6a 및 도 6b와 관련하여 이하에서 후술하기로 한다.
본 명세서의 HMD(3010)는 이동 상태를 디텍트한 경우, 제 2 센서 그룹을 활성화하거나 제 2 센서 그룹의 활성을 유지할 수 있다. 이때, HMD(3010)는 제 1 센서 그룹을 비활성화할 수 있다. HMD(3010)는 활성화된 제 2 센서 그룹을 이용하여 제 2 센싱 정보를 획득하고, 획득한 제 2 센싱 정보를 이용하여 HMD(3010)의 전면 방향을 디텍트할 수 있다.
HMD(3010)는 제 2 센싱 정보를 이용하여 HMD(3010)의 전면 방향(또는 유저(3020)의 고개 방향)을 디텍트하기 위해, 현재 유저(3020)가 포함된 공간이 개방된 공간인지 또는 밀폐된 공간인지를 선행하여 디텍트할 수 있다. 개방된 공간(open space)인지 또는 밀폐된 공간(closed space)인지에 따라 HMD(3010)가 제 2 센싱 정보를 획득하는 방법이 상이할 수 있기 때문이다. 예를 들어, 유저(3020)가 자동차(3030)에 탑승한 채 이동하는 경우와 유저(3020)가 직접 걸으면서 이동하는 경우, 제 2 센싱 정보를 이용하여 HMD(3010)의 전면 방향을 디텍트하는 방법은 상이할 수 있다.
따라서, 이동 상태의 HMD(3010)가 제 2 센싱 정보를 이용하여 전면 방향을 디텍트하는 경우, HMD(3010)는 HMD(3010)가 포함된 공간의 종류를 디텍트할 수 있다. 이때, HMD(3010)는 다양한 실시예로서 HMD(3010)가 포함된 공간의 종류를 디텍트할 수 있다. 일 실시예로서, HMD(3010)는 HMD(3010)의 주변 이미지를 기설정된 이미지와 매칭시킴으로서 HMD(3010)가 포함된 공간의 종류를 디텍트할 수 있다.
예를 들어, HMD(3010)가 자동차 내부 이미지를 기설정된 이미지로서 저장하고 있던 경우, HMD(3010)는 제 2 센서 그룹을 이용하여 주변 이미지를 캡쳐하고, 캡쳐한 주변 이미지를 기설정된 이미지와 매칭시킬 수 있다. 이때, 캡쳐한 이미지와 주변 이미지가 기설정된 비율 초과로 매칭됨을 디텍트한 경우, HMD(3010)는 HMD(3010)가 포함된 공간을 밀폐된 공간으로서 디텍트할 수 있다. 반대로, 캡쳐한 이미지와 주변 이미지가 기설정된 비율 이하로 매칭됨을 디텍트한 경우, HMD(3010)는 HMD(3010)가 포함된 공간을 개방된 공간으로서 디텍트할 수 있다. 또는, 다른 실시예로서, HMD(3010)는 제 2 센서 그룹에 포함된 카메라 센서를 이용하여 제 2 센싱 정보로서 주변 이미지를 획득하고, 획득한 주변 이미지를 프로세싱하여 HMD(3010)가 포함된 공간의 종류를 디텍트할 수 있다. 또는, HMD(3010)를 착용한 유저(3020)가 외부 디바이스에 탑승하고 있는 경우, HMD(3010)는 외부 디바이스와 통신을 수행하여, HMD(3010)가 포함된 공간의 종류를 디텍트할 수 있다. 이외에도, HMD(3010)는 다양한 실시예로서 HMD(3010)가 포함된 공간의 종류를 디텍트할 수 있으며, 상술한 실시예에 한정되는 것은 아니다.
이하에서는 상술한 실시예를 이용하여 밀폐된 공간 또는 개방된 공간을 디텍트한 HMD(3010)가 HMD(3010)의 전면 방향을 디텍트하는 방법에 관하여 상세히 후술하기로 한다.
도 4a는 제 1 레퍼런스 이미지를 설정하는 HMD의 일 실시예를 도시한 도면이다.
상술한 실시예를 통해 밀폐된 공간임을 디텍트한 경우, HMD(4010)는 제 1 레퍼런스 이미지(4020)를 설정할 수 있다. 보다 상세하게는, 밀폐된 공간임을 디텍트한 HMD(4010)는 제 2 센서 그룹을 사용하여 제 1 방향의 주변 이미지를 제 1 레퍼런스 이미지(4020)로서 설정할 수 있다. 여기서 제 1 방향은 실시예에 따라 전, 후, 상, 하, 좌, 우, 대각선 방향 등 다양한 방향으로 설정될 수 있다. 예를 들어, HMD(4010)가 밀폐된 공간임을 디텍트하고, 해당 공간이 자동차 내부인 경우, HMD(4010)는 도면에 도시한 바와 같이 HMD(4010) 전면 방향의 자동차의 운전석 이미지를 제 1 레퍼런스 이미지(4020)로서 설정할 수 있다.
이는, 밀폐된 공간의 이미지를 제 1 레퍼런스 이미지(4020)로 설정하고, 제 1 레퍼런스 이미지(4020)를 실시간으로 캡쳐한 주변 이미지와 매칭시킴으로써 유저의 고개 회전을 정확하게 디텍트하기 위함이다. 제 1 레퍼런스 이미지(4020)를 이용하여 유저의 고개 회전 또는 HMD(4010)의 전면 방향을 디텍트하는 HMD(4010)에 관한 상세한 설명은 도 4b와 관련하여 이하에서 후술하기로 한다.
제 1 레퍼런스 이미지(4020)는 상술한 바와 같이, HMD(4010)가 밀폐된 공간임을 디텍트한 경우, 밀폐된 공간 이미지를 제 1 레퍼런스 이미지(4020)로 새로 설정할 수 있으나, 실시예에 따라 밀폐된 공간임을 디텍트하기 전에 미리 제 1 레퍼런스 이미지(4020)를 설정해 둘 수 있다. 예를 들어, 상술한 바와 같이, 기설정된 이미지와 주변 이미지가 매칭되면 밀폐된 공간임을 디텍트하는 경우에 있어, HMD(4010)는 기설정된 이미지를 제 1 레퍼런스 이미지(4020)로 설정해 둘 수 있다. 또한, 유저가 집, 자동차와 같이 자주 접하는 생활 공간의 내부 이미지를 직접 제 1 레퍼런스 이미지(4020)로서 설정할 수 있다.
도 4b는 제 1 레퍼런스 이미지를 이용하여 HMD의 전면 방향을 디텍트하는 HMD의 일 실시예를 도시한 도면이다.
도 4a와 관련하여 상술한 실시예로서 제 1 레퍼런스 이미지(4020)를 설정한 경우, HMD(4010)는 제 1 레퍼런스 이미지(4020)와 주변 이미지를 실시간으로 매칭시킴으로써 HMD(4010)의 전면 방향을 디텍트할 수 있다. 보다 상세하게는, HMD(4010)는 제 2 센서 그룹에 포함되어 있는 적어도 하나의 센서를 이용하여 주변 이미지를 획득하고, 획득한 주변 이미지를 제 1 레퍼런스 이미지(4020)와 실시간으로 비교할 수 있다. 또는, HMD(4010)는 획득한 주변 이미지를 제 1 레퍼런스 이미지(4020)와 기설정된 시간 간격으로 비교할 수 있다. HMD(4010)는 제 1 레퍼런스 이미지(4020)와 주변 이미지가 상호 매칭되는 영역, 매칭되는 영역의 위치 및/또는 매칭되는 정도를 디텍트함으로써 HMD(4010)의 전면이 향하는 방향을 디텍트할 수 있다.
예를 들어, 실시간으로 디텍트한 주변 이미지의 일부 영역이 제 1 레퍼런스 이미지(4020)의 좌측 영역(4020-1)과 매칭되는 경우, HMD(4010)는 HMD(4010)의 전면 방향이 좌측으로 회전되었음을 디텍트할 수 있다. 또는, 실시간으로 디텍트한 주변 이미지의 일부 영역이 제 1 레퍼런스 이미지(4020)의 우측 영역(4020-2)과 매칭되는 경우, HMD(4010)는 HMD(4010)의 전면 방향이 우측으로 회전되었음을 디텍트할 수 있다. 이 경우, HMD(4010)는 서라운딩 이미지 중 디텍트한 방향에 대응하는 이미지를 디스플레이할 수 있다.
만일, 이동 수단(예를 들어, 자동차 또는 기차)의 내부 이미지를 제 1 레퍼런스 이미지(4020)로 설정하는 경우, HMD(4010)는 제 1 레퍼런스 이미지(4020) 중, 유동적으로 변경될 수 있는 가변 이미지 영역(4030)을 디텍트할 수 있다. 예를 들어, 자동차의 내부 이미지를 제 1 레퍼런스 이미지(4020)로서 설정한 경우, HMD(4010)는 자동차 내부 이미지 중 자동차의 창문 이미지(4030)를 가변 이미지로서 디텍트할 수 있다. 이는, HMD(4010)가 자동차 내부 이미지를 프로세싱함으로써 디텍트할 수 있다.
이때, HMD(4010)는 제 1 레퍼런스 이미지(4020)를 주변 이미지와 매칭시키는 경우, 디텍트한 가변 이미지 영역을 제외한 제 1 레퍼런스 이미지(4020)를 주변 이미지와 매칭시킬 수 있다. 이는, 자동차의 차창 이미지의 경우, 자동차의 이동으로 인해 지속적으로 변경될 수 있기 때문이다. 만일, 가변 이미지를 제 1 레퍼런스 이미지(4020)에 포함시켜 주변 이미지와 실시간으로 매칭시키는 경우, HMD(4010)가 매칭이 불필요한 영역에 대해서도 매칭을 수행하기 때문에 시간이 오래 걸리고 정확도가 떨어져 오동작이 발생할 확률이 높아지기 때문이다. 따라서, HMD(4010)는 제 1 레퍼런스 이미지(4020) 중 가변 이미지 영역을 디텍트하여, 보다 효율적으로 주변 이미지와의 매칭을 수행할 수 있다.
도 5a는 제 2 레퍼런스 이미지를 설정하는 HMD의 일 실시예를 도시한 도면이다.
상술한 실시예를 통해 개방된 공간임을 디텍트한 경우, HMD(5010)는 제 2 레퍼런스 이미지(5020)를 설정할 수 있다. 보다 상세하게는, 개방된 공간임을 디텍트한 HMD(5010)는 제 2 센서 그룹을 사용하여 제 2 방향의 주변 이미지를 제 2 레퍼런스 이미지(5020)로 설정할 수 있다. 이때, 제 2 레퍼런스 이미지(5020)는 유저의 신체 이미지일 수 있다. 따라서, 제 2 방향은 HMD(5010)의 하측 방향을 나타낼 수 있다. 예를 들어, HMD(5010)가 개방된 공간임을 디텍트한 경우(예를 들어, HMD(5010)를 착용한 유저가 거리를 걷고 있는 경우), HMD(5010)는 도면에 도시한 바와 같이 HMD(5010)의 하측에 위치한 유저의 신체 이미지(예를 들어, 어깨 이미지)를 제 2 레퍼런스 이미지(5020)로서 설정할 수 있다.
이는, 유저의 신체를 제 2 레퍼런스 이미지(5020)로 설정하고, 제 2 레퍼런스 이미지(5020)를 실시간으로 캡쳐한 주변 이미지와 매칭시킴으로써 유저의 몸을 기준으로 한 유저의 고개 회전을 정확하게 디텍트하기 위함이다. 제 2 레퍼런스 이미지(5020)를 이용하여 유저의 고개 회전 또는 HMD(5010)의 전면 방향을 디텍트하는 HMD(5010)에 관한 상세한 설명은 도 5b와 관련하여 이하에서 후술하기로 한다.
제 2 레퍼런스 이미지(5020)의 경우에도 상술한 바와 같이, 개방된 공간임을 디텍트하기 전에 미리 설정될 수 있으며, 이와 관련된 상세한 설명은 도 4a와 관련하여 상술한 바와 같다.
한편, HMD(5010)는 제 2 그룹 센서에 포함된 동일한 카메라 센서를 이용하여 제 1 방향의 제 1 레퍼런스 이미지 및 제 2 방향의 제 2 레퍼런스 이미지(5020)를 설정할 수 있다. 이때, HMD(5010)는 제 1 방향에서 제 2 방향으로 카메라 센서를 회전 시켜 제 2 레퍼런스 이미지(5020)를 획득할 수 있다. 또는, HMD(5010)는 제 1 방향 및 제 2 방향을 각각 향하고 있는 복수의 카메라 센서를 사용하여 제 1 레퍼런스 이미지 및 제 2 레퍼런스 이미지(5020)를 각각 설정할 수 있다.
도 5b는 제 2 레퍼런스 이미지를 이용하여 HMD의 전면 방향을 디텍트하는 HMD의 일 실시예를 도시한 도면이다.
도 5a와 관련하여 상술한 실시예로서 제 2 레퍼런스 이미지(5020)를 설정한 경우, HMD(5010)는 제 2 레퍼런스 이미지(5020)와 주변 이미지(5030-1, 5030-2)를 실시간으로 매칭시킴으로써 HMD(5010)의 전면 방향을 디텍트할 수 있다. 보다 상세하게는, HMD(5010)는 제 2 센서 그룹에 포함되어 있는 적어도 하나의 센서를 이용하여 주변 이미지(5030-1, 5030-2)를 획득하고, 획득한 주변 이미지(5030-1, 5030-2)를 제 2 레퍼런스 이미지(5020)와 실시간으로 비교할 수 있다. 또는, HMD(5010)는 획득한 주변 이미지(5030-1, 5030-2)를 제 2 레퍼런스 이미지(5020)와 기설정된 시간 간격으로 비교할 수 있다. HMD(5010)는 제 2 레퍼런스 이미지(5020)와 주변 이미지(5030-1, 5030-2)가 상호 매칭되는 영역, 매칭되는 영역의 위치 및/또는 매칭되는 정도를 디텍트함으로써 HMD(5010)의 전면이 향하는 방향을 디텍트할 수 있다.
예를 들어, 실시간으로 디텍트한 주변 이미지(5030-1)의 일부 영역이 제 2 레퍼런스 이미지(5020)의 좌측 영역과 매칭되는 경우, HMD(5010)는 HMD(5010)의 전면 방향이 좌측으로 회전되었음을 디텍트할 수 있다. 또는, 실시간으로 디텍트한 주변 이미지(5030-2)의 일부 영역이 제 2 레퍼런스 이미지(5020)의 우측 영역과 매칭되는 경우, HMD(5010)는 HMD(5010)의 전면 방향이 우측으로 회전되었음을 디텍트할 수 있다. 이 경우, HMD(5010)는 서라운딩 이미지 중 디텍트한 방향에 대응하는 이미지를 디스플레이할 수 있다.
만일, 유저의 신체 이미지를 제 2 레퍼런스 이미지(5020)로 설정하는 경우, HMD(5010)는 제 2 레퍼런스 이미지(5020) 중, 유동적으로 변경될 수 있는 가변 이미지 영역(미도시)을 디텍트할 수 있다. 에를 들어, HMD(5010)의 하측 방향으로 촬영한 이미지를 제 2 레퍼런스 이미지(5020)로 설정한 경우, HMD(5010)는 해당 이미지 중 유저의 신체 이미지를 제외한 이미지를 가변 이미지로서 디텍트할 수 있다. 가변 이미지를 디텍트한 경우, HMD(5010)는 가변 이미지 영역을 제외한 제 2 레퍼런스 이미지(5020)를 주변 이미지와 매칭시킬 수 있다. 이에 관한 상세한 설명은 도 4b와 관련하여 상술한 바와 같다.
도 6a 및 도 6b는 제 1 센싱 정보를 보정하고, 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 이용하여 전면 방향을 디텍트하는 HMD의 일 실시예를 도시한 도면이다.
도 6a에 도시한 바와 같이, HMD(6020)를 착용한 유저는 이동 수단(6010)에 탑승할 수 있다. 이때, 이동 수단(6010)이 회전함과 동시에 유저의 고개가 함께 회전하는 경우가 발생할 수 있다. 이때, HMD(6020)가 보정되지 않은 제 1 센싱 정보를 사용하여 HMD(6020)의 전면 방향을 디텍트하는 경우, 디텍트한 HMD(6020)의 전면 방향과 실제 유저의 고개 방향 사이에 일정한 오차가 존재할 수 있다. 즉, 보정되지 않은 제 1 센싱 정보를 사용하는 경우, HMD(6020)는 제 1 센서 그룹을 이용하여 1)이동 수단의 회전 정도와 2)유저의 고개 회전 정도가 모두 포함된 정보를 제 1 센싱 정보로서 획득할 수 있다. 보다 상세하게는, 이 경우 HMD(6020)는, 제 1 센서 그룹을 이용하여 1)이동 수단(6010)의 회전 정도와 2)유저의 고개 회전 정도가 합쳐진 정보를 제 1 센싱 정보로서 획득할 수 있다.
예를 들어, 도면에 도시한 바와 같이, 유저가 탑승하고 있는 자동차(6010)가 45˚만큼 좌회전하고, 유저가 90˚만큼 좌측으로 고개를 회전한 경우, HMD(6020)는 HMD(6020)의 전면 방향이 135˚만큼 좌측으로 회전한 것으로 디텍트할 수 있다. 즉, 제 1 센서 그룹만을 사용하여 HMD(6020)의 전면 방향을 디텍트하는 경우, 자동차(6010)의 회전 정도에 유저의 고개 회전 정도를 합쳐진 정보를 제 1 센싱 정보로서 획득할 수 있다. 그러나, 실제로 유저가 고개를 회전한 정도는 90˚로서, HMD(6020)가 디텍트한 센싱 정보와는 오차가 존재한다. 따라서, 이러한 제 1 센싱 정보를 보정할 필요성이 존재할 수 있다. 이하에서는 제 1 센싱 정보를 보정하고, 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 모두 사용하여 HMD(6020)의 전면이 향하는 방향을 디텍트하는 실시예에 관하여 상세히 설명하기로 한다.
일 실시예로서, HMD(6020)는 커뮤니케이션 유닛을 이용하여 외부 디바이스(6010)와 통신을 수행하고, 외부 디바이스(6010)로부터 수신한 정보를 이용하여 제 1 센싱 정보를 보정할 수 있다. 여기서 외부 디바이스(6010)는 통신 수행이 가능하고, 유저가 탑승 가능한 이동 수단(6010)을 나타낼 수 있다. 예를 들어, 외부 디바이스(6010)는 통신 가능한 자동차, 비행기, 기차, 자전거, 오토바이 등을 나타낼 수 있다.
우선, HMD(6020)는 HMD(6020)의 이동 상태를 디텍트한 경우, 제 1 센서 그룹 및 제 2 센서 그룹을 활성화하거나 제 1 센서 그룹 및 제 2 센서 그룹의 활성을 유지할 수 있다. HMD(6020)는 활성화된 제 1 센서 그룹 및 활성화된 제 2 센서 그룹을 이용하여 제 1 센싱 정보 및 제 2 센싱 정보를 각각 획득할 수 있다. 이때, HMD(6020)는 획득한 제 1 센싱 정보를 외부 디바이스(6010)로부터 수신한 정보를 이용하여 보정할 수 있다. 보다 상세하게는, HMD(6020)는 외부 디바이스(6010)의 절대적 위치가 변동됨에 따라 외부 디바이스(6010)에서 센싱된 제 3 센싱 정보를 커뮤니케이션 유닛을 이용하여 수신하고, 수신한 제 3 센싱 정보를 이용하여 제 1 센싱 정보를 보정할 수 있다. 여기서 제 3 센싱 정보는 외부 디바이스(6010)의 주행 정보를 나타낼 수 있다.
예를 들어, 자동차가 45˚만큼 좌회전하고, 유저가 고개를 좌측으로 90˚도 회전한 경우, HMD(6020)는 제 1 센싱 정보로서 HMD(6020)의 전면 방향이 135˚만큼 좌측으로 회전한 정보를 획득할 수 있다. 이때, HMD(6020)는 제 3 센싱 정보로서 자동차가 45˚만큼 좌회전한 정보를 커뮤니케이션 유닛을 이용하여 자동차(6010)로부터 수신할 수 있다. HMD(6020)는 수신한 제 3 센싱 정보를 이용하여 제 1 센싱 정보를 보정할 수 있다. 보다 상세하게는, HMD(6020)는 수신한 센싱 값인 45˚만큼 디텍트한 센싱 값인 135˚를 보정할 수 있다. 따라서, HMD(6020)는 HMD(6020)의 전면 방향이 135˚가 아닌 90˚만큼 좌측으로 회전한 것으로 디텍트할 수 있다.
다른 실시예로서, HMD(6020)는 획득한 제 2 센싱 정보를 이용하여 제 1 센싱 정보를 보정할 수 있다.
HMD(6020)는 이렇게 보정된 제 1 센싱 정보 및 제 2 센싱 정보를 이용하여 HMD(6020)의 전면 방향을 디텍트할 수 있다. 제 2 센싱 정보를 이용하는 방법은 도 4a 내지 도 5b와 관련하여 상술한 실시예가 동일 또는 유사하게 적용될 수 있다. 나아가, HMD(6020)는 서라운딩 이미지 중 디텍트한 HMD(6020)의 전면 방향에 대응하는 영역의 이미지를 디스플레이할 수 있다.
도 7은 HMD의 제어 방법에 관한 순서도를 도시한 도면이다. 본 순서도에서 도 1 내지 도 6에서 상술한 설명과 유사하거나 중복되는 부분에 관한 상세한 설명은 생략하기로 한다.
우선, HMD는 HMD의 상태를 디텍트할 수 있다(S7010). 여기서, HMD의 상태는 고정 상태 및 이동 상태를 포함할 수 있다. HMD의 고정 상태는 HMD의 절대적 위치가 변하지 않은 상태를 나타낼 수 있다. 또한, HMD의 이동 상태는 HMD의 절대적 위치가 변하는 상태를 나타낼 수 있다. 보다 상세하게는, HMD의 고정 상태는 HMD의 절대적 위치가 실질적으로 변하지 않는 상태, 이동 상태는 HMD의 절대적 위치가 실질적으로 변하는 상태를 나타낼 수 있다. HMD는 제 1 센서 그룹 및/또는 제 2 센서 그룹을 이용하여 HMD의 상태를 디텍트할 수 있으며, 이에 관한 상세한 설명은 도 2와 관련하여 상술한 바와 같다.
만일, HMD가 HMD의 상태를 고정 상태로서 디텍트한 경우, HMD는 제 1 센싱 정보, 또는 제 1 센싱 정보 및 제 2 센싱 정보를 기준으로 HMD 전면이 향하는 방향을 디텍트할 수 있다(S7020). 다시 말하면, HMD의 고정 상태를 디텍트한 경우, HMD는 제 1 센싱 정보를 기준으로 HMD 전면이 향하는 방향을 디텍트할 수 있다. 여기서, 제 1 센싱 정보는 활성화된 제 1 센서 그룹으로부터 획득한 센싱 정보를 나타낼 수 있다. 또는, HMD의 고정 상태를 디텍트한 경우, HMD는 제 1 센싱 정보 및 제 2 센싱 정보를 기준으로 HMD 전면이 향하는 방향을 디텍트할 수 있다. 여기서 제 2 센싱 정보는 활성화된 제 2 센서 그룹으로부터 획득한 센싱 정보를 나타낼 수 있다. 예를 들어, 제 1 센싱 정보를 사용하여 전면 방향을 디텍트하는 경우, HMD는 제 1 센서 그룹에 포함된 자이로 센서를 이용하여 HMD의 회전 방향 및 회전 정도 등을 디텍트함으로써 HMD의 전면 방향을 디텍트할 수 있다. 또는, 제 2 센싱 정보를 사용하여 전면 방향을 디텍트하는 경우, HMD는 제 2 센서 그룹에 포함된 카메라 센서를 이용하여 HMD의 주변 이미지를 프로세싱함으로써 HMD의 전면 방향을 디텍트할 수 있다. 이에 관한 상세한 설명은 도 2와 관련하여 상술한 바와 같다.
반대로, HMD가 HMD의 상태를 이동 상태로서 디텍트한 경우, HMD는 제 2 센싱 정보 또는, 제 2 센싱 정보 및 보정된 제 1 센싱 정보를 기준으로 HMD 전면이 향하는 방향을 디텍트할 수 있다(S7030). 다시 말하면, HMD의 이동 상태를 디텍트한 경우, HMD는 제 2 센싱 정보를 기준으로 HMD 전면이 향하는 방향을 디텍트할 수 있다. 이 경우, HMD는 제 1 방향의 제 1 레퍼런스 이미지 또는 제 2 방향의 제 2 레퍼런스 이미지를 설정하고, 설정된 제 1 레퍼런스 이미지 또는 제 2 레퍼런스 이미지를 주변 이미지와 실시간으로 매칭시킴으로써 HMD의 전면 방향을 디텍트할 수 있다. 여기서 제 1 레퍼런스 이미지 및 제 2 레퍼런스 이미지는 이동 상태의 HMD가 속한 공간이 밀폐된 공간인지 또는 개방된 공간인지에 따라 각각 설정될 수 있는데, 이에 관한 상세한 설명은 도 4a 내지 도 5b와 관련하여 상술한 바와 같다. 또는, HMD의 이동 상태를 디텍트한 경우, HMD는 제 2 센싱 정보 및 보정된 제 1 센싱 정보를 기준으로 HMD 전면이 향하는 방향을 디텍트할 수 있다. 이 경우, HMD는 외부 디바이스의 절대적 위치가 변경됨에 따라 외부 디바이스에 의해 센싱한 제 3 센싱 정보를 수신하고, 수신된 제 3 센싱 정보를 이용하여 제 1 센싱 정보를 보정할 수 있다. 이때, HMD는 외부 디바이스와 통신이 가능한 커뮤니케이션 유닛을 사용할 수 있다. 이와 관련된 상세한 설명은 도 6b와 관련하여 상술한 바와 같다.
다음으로, HMD는 서라운딩 이미지 중 전 단계(S7020 또는 S7030)에서 디텍트한 HMD의 전면 방향에 대응하는 영역의 이미지를 디스플레이할 수 있다(S7040). 여기서, 서라운딩 이미지란, HMD를 중심으로 전방향(예를 들어, 전, 후, 좌, 우, 상, 하 방향)으로 펼쳐진 이미지를 나타낼 수 있다. HMD는 HMD의 전면 방향이 제 1 방향임을 디텍트한 경우, 제 1 방향에 대응하는 제 1 이미지를 디텍트할 수 있다. 이를 통해 HMD는 HMD를 착용한 유저가 마치 서라운딩 이미지가 제공하는 가상 공간에 실제로 존재하는 듯한 현심감을 부여할 수 있다는 효과가 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 권리범위에 속한다.
또한, HMD 및 그의 제어 방법은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서의 HMD 및 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 명세서에서의 회전 각도 및 방향은 정확한 값을 의미할 뿐 아니라, 일정 범위의 실질적인 회전 각도 및 방향을 포함하는 것으로 볼 수 있다. 즉, 본 명세서의 회전 각도 및 방향은 실질적인 회전 각도 및 방향을 나타낼 수 있고, 일정 범위의 오차가 존재할 수 있다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
3010: HMD
3020: 유저
3030: 외부 디바이스
3040: 제 1 이미지
3050: 제 2 이미지
3060: 제 3 이미지

Claims (20)

  1. 가상 환경의 복수의 서라운딩 이미지를 제공하는 HMD에 있어서,
    상기 복수의 서라운딩 이미지 중 상기 HMD의 전면 방향에 해당하는 이미지를 디스플레이하는 디스플레이 유닛;
    상기 HMD의 모션을 센싱하는 적어도 하나의 센서를 포함하는 제 1 센서 그룹;
    상기 HMD에 구비되어 주변 이미지(circumjacent image)를 캡쳐하는 적어도 하나의 센서를 포함하는 제 2 센서 그룹; 및
    상기 제 1 센싱 정보 및 상기 제 2 센싱 정보 중 적어도 하나를 이용하여 상기 HMD가 포함된 공간을 디텍트하여, 상기 HMD의 상태가 절대적 위치가 변하지 않는 고정 상태(static state) 또는 상기 절대적 위치가 변하는 이동 상태(moving state)인지를 디텍팅하고,
    상기 HMD의 상태가 상기 고정 상태로서 디텍트된 경우에는 상기 제 1 센싱 정보 또는, 상기 제 1 센싱 정보 및 상기 제 2 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하고,
    상기 HMD의 상태가 상기 이동 상태로서 디텍트된 경우에는 상기 제 2 센싱 정보 또는, 상기 제 2 센싱 정보 및 보정된 제 1 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하며,
    상기 복수의 서라운딩 이미지 중 상기 디텍트한 방향에 해당하는 이미지를 디스플레이하도록 제어하는 프로세서를 포함하는, HMD.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 센싱 정보를 이용하여 상기 HMD의 상태를 디텍트하는 경우,
    상기 제 1 센서 그룹에 포함된 GPS(Global Positioning System) 센서를 이용하여 상기 HMD의 절대적 위치를 상기 제 1 센싱 정보로서 획득하고, 상기 획득한 제 1 센싱 정보에 기초하여 상기 HMD의 상태를 디텍트하는, HMD.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 2 센싱 정보를 이용하여 상기 HMD의 상태를 디텍트하는 경우,
    상기 제 2 센서 그룹을 이용하여 상기 제 2 센싱 정보로서 상기 주변 이미지를 캡쳐하고, 상기 캡쳐한 주변 이미지를 프로세싱하고, 상기 프로세싱한 결과를 기준으로 상기 HMD의 절대적 위치의 변화를 디텍트하는, HMD.
  4. 제 1 항에 있어서,
    외부 디바이스와 정보를 송신 및 수신하는 커뮤니케이션 유닛; 을 더 포함하고,
    상기 프로세서는,
    상기 커뮤니케이션 유닛을 이용하여 상기 외부 디바이스의 주행 정보(travel information)를 획득하고,
    상기 획득한 주행 정보를 이용하여 상기 HMD의 절대적 위치의 변화를 디텍트하고, 상기 디텍트한 HMD의 절대적 위치 변화에 기초하여 상기 HMD의 상태를 디텍트하는, HMD.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 HMD의 상태가 상기 이동 상태이고, 상기 제 2 센싱 정보만을 사용하여 상기 HMD 전면이 향하는 방향을 디텍트하는 경우,
    상기 제 1 센서 그룹을 비활성화하고,
    상기 제 2 센서 그룹을 활성화하거나 상기 제 2 센서 그룹의 활성을 유지하는, HMD.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 HMD의 상태가 상기 이동 상태인 경우, 상기 활성화된 제 2 센서 그룹을 이용하여 상기 제 2 센싱 정보로서 상기 HMD의 주변 이미지를 캡쳐하고,
    상기 캡쳐한 주변 이미지가 기설정된 이미지와 매칭되는 경우 상기 HMD가 포함된 공간을 밀폐된 공간으로서 디텍트하고,
    상기 캡쳐한 주변 이미지가 상기 기설정된 이미지와 매칭되지 않는 경우 상기 HMD가 포함된 공간을 개방된 공간으로서 디텍트하는, HMD.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 HMD가 포함된 공간이 상기 밀폐된 공간인 경우, 상기 활성화된 제 2 센서 그룹을 이용하여 제 1 방향의 이미지를 캡쳐하고, 상기 캡쳐한 제 1 방향의 이미지를 제 1 레퍼런스 이미지로서 설정하고,
    상기 HMD가 포함된 공간이 상기 개방된 공간인 경우, 상기 활성화된 제 2 센서 그룹을 이용하여 제 2 방향의 이미지를 캡쳐하고, 상기 캡쳐한 제 2 방향의 이미지를 제 2 레퍼런스 이미지로서 설정하고,
    상기 제 1 레퍼런스 이미지는 상기 HMD가 포함된 공간의 내부 이미지를 포함하며,
    상기 제 2 레퍼런스 이미지는 상기 HMD를 착용한 유저의 신체 이미지를 포함하는, HMD.
  8. 제 7 항에 있어서,
    상기 프로세서는,
    상기 제 1 레퍼런스 이미지 또는 상기 제 2 레퍼런스 이미지를 설정한 경우, 상기 활성화된 제 2 센서 그룹을 이용하여 상기 제 2 센싱 정보로서 상기 HMD의 주변 이미지를 실시간으로 캡쳐하고,
    상기 캡쳐한 주변 이미지를 상기 제 1 레퍼런스 이미지 또는 상기 제 2 레퍼런스 이미지와 비교하여 상기 HMD 전면이 향하는 방향을 디텍트하고, 상기 서라운딩 이미지 중 상기 디텍트한 방향에 대응하는 영역의 이미지를 디스플레이하는 HMD.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 2 센싱 정보 및 상기 보정된 제 1 센싱 정보를 기준으로 상기 HMD 전면이 향하는 방향을 디텍트하는 경우, 상기 제 1 센서 그룹으로부터 제 1 센싱 정보를 획득하고, 상기 제 2 센서 그룹으로부터 제 2 센싱 정보를 획득하고,
    상기 획득한 제 1 센싱 정보를 보정하고,
    상기 보정된 제 1 센싱 정보 및 상기 제 2 센싱 정보를 이용하여 상기 HMD 전면이 향하는 방향을 디텍트하는, HMD.
  10. 제9 항에 있어서,
    외부 디바이스와 정보를 송신 및 수신하는 커뮤니케이션 유닛; 을 더 포함하고,
    상기 프로세서는,
    상기 제 1 센싱 정보를 보정하는 경우,
    상기 커뮤니케이션 유닛을 이용하여 상기 외부 디바이스의 절대적 위치가 변동됨에 따라 상기 외부 디바이스에서 센싱된 제 3 센싱 정보를 수신하고,
    상기 수신된 제 3 센싱 정보만큼 상기 제 1 센싱 정보를 보정하는, HMD.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140049194A 2014-04-24 2014-04-24 Hmd 및 그 제어 방법 Active KR102246553B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140049194A KR102246553B1 (ko) 2014-04-24 2014-04-24 Hmd 및 그 제어 방법
US14/341,243 US9423620B2 (en) 2014-04-24 2014-07-25 Head mounted display and method for controlling the same
CN201480078073.0A CN106233188B (zh) 2014-04-24 2014-08-12 头戴式显示器及其控制方法
PCT/KR2014/007500 WO2015163539A1 (en) 2014-04-24 2014-08-12 Head mounted display and method for controlling the same
EP14890195.2A EP3134764B1 (en) 2014-04-24 2014-08-12 Head mounted display and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140049194A KR102246553B1 (ko) 2014-04-24 2014-04-24 Hmd 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150122975A KR20150122975A (ko) 2015-11-03
KR102246553B1 true KR102246553B1 (ko) 2021-04-30

Family

ID=54334626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140049194A Active KR102246553B1 (ko) 2014-04-24 2014-04-24 Hmd 및 그 제어 방법

Country Status (4)

Country Link
US (1) US9423620B2 (ko)
EP (1) EP3134764B1 (ko)
KR (1) KR102246553B1 (ko)
CN (1) CN106233188B (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
US10685211B2 (en) * 2015-08-04 2020-06-16 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
JP6368056B2 (ja) * 2015-11-09 2018-08-01 株式会社ソニー・インタラクティブエンタテインメント 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム
US10976808B2 (en) 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10565723B2 (en) * 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US20170329394A1 (en) * 2016-05-13 2017-11-16 Benjamin Lloyd Goldstein Virtual and augmented reality systems
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
KR102228025B1 (ko) * 2016-09-09 2021-03-16 주식회사 케이티 고화질의 vr 컨텐츠의 스트리밍 제공 방법, 단말 및 서버
EP3586315B1 (en) * 2017-03-28 2024-06-26 Samsung Electronics Co., Ltd. Method and apparatus for displaying image based on user motion information
EP3571542A4 (en) * 2017-04-28 2020-11-25 Hewlett-Packard Development Company, L.P. DETERMINING THE POSITION AND ORIENTATION OF A USER'S TORSO FOR A DISPLAY SYSTEM
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP2019049831A (ja) * 2017-09-08 2019-03-28 パナソニックＩｐマネジメント株式会社 映像表示制御装置、映像表示システムおよび映像表示制御方法
WO2019061149A1 (zh) * 2017-09-28 2019-04-04 深圳市柔宇科技有限公司 一种角度识别方法及设备
JP7043845B2 (ja) * 2018-01-17 2022-03-30 トヨタ自動車株式会社 車両用表示連携制御装置
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
JP7420400B2 (ja) * 2018-07-25 2024-01-23 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイシステムベースの遊園地のアトラクション
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
WO2020044949A1 (ja) * 2018-08-29 2020-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11194438B2 (en) * 2019-05-09 2021-12-07 Microsoft Technology Licensing, Llc Capture indicator for a virtual world
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) * 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US12141888B1 (en) 2019-12-18 2024-11-12 Meta Platforms Technologies, Llc Dynamic and hierarchical image sensing and processing
KR102151265B1 (ko) 2019-12-26 2020-09-02 주식회사 델바인 Hmd 시스템 및 이를 포함하는 재활훈련 시스템
US11210519B2 (en) * 2020-01-15 2021-12-28 Trimble Inc. Providing augmented reality images to an operator of a machine
KR20210120522A (ko) 2020-03-27 2021-10-07 현대로템 주식회사 전투차량용 헬멧 위치 인식장치
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
KR20210137831A (ko) 2020-05-11 2021-11-18 삼성전자주식회사 전자 장치 및 그 동작 방법
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
KR20220081694A (ko) 2020-12-09 2022-06-16 한국전기연구원 전면 개폐식 가상 현실용 헤드 마운트 디스플레이 장치
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
IL280838B2 (en) * 2021-02-11 2023-07-01 Elbit Systems Ltd System and method for removing obscuring objects in a head-up display
KR20230038334A (ko) 2021-09-10 2023-03-20 주식회사 삼우이머션 가상 현실 속 더미의 자세 보정 방법 및 시스템
BE1029880B1 (nl) * 2021-10-26 2023-05-30 Rods&Cones Holding Bv Geautomatiseerde gebruikersvoorkeursinstellingen
JP7517310B2 (ja) * 2021-11-22 2024-07-17 トヨタ自動車株式会社 画像表示システム
US12244936B2 (en) 2022-01-26 2025-03-04 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data
WO2025050022A1 (en) * 2023-08-31 2025-03-06 Worcester Polytechnic Institute Virtual and mixed space-time scalable amalgamation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005096750A (ja) * 2003-08-29 2005-04-14 Crf Soc Consortile Per Azioni 自動車用計器パネルのためのビジュアルディスプレイ装置
US20130222638A1 (en) 2012-02-29 2013-08-29 Google Inc. Image Capture Based on Gaze Detection
US20130231871A1 (en) 2010-11-09 2013-09-05 Hok Instrument Ab Multifunctional breath analyzer
US20130257709A1 (en) 2012-04-02 2013-10-03 Google Inc. Proximity Sensing for Wink Detection

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312766B1 (en) * 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
SE527257C2 (sv) * 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
PT103264B (pt) * 2005-04-22 2007-02-28 Ydreams Informatica Sa Miradouro virtual: sistema de visualização de informação sobreposta a imagem real
EP2443055A1 (en) 2008-06-17 2012-04-25 Digigage Ltd. System for altering virtual views
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US20110250962A1 (en) 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
JP5651386B2 (ja) 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20140247286A1 (en) * 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
KR102158098B1 (ko) * 2013-01-07 2020-09-22 삼성전자주식회사 이미지 인식을 이용한 이미지 레이아웃 방법 및 장치
US9179304B2 (en) * 2013-09-18 2015-11-03 Google Inc. Device location history anonymization based on stop detection
US9135849B2 (en) * 2014-01-31 2015-09-15 International Business Machines Corporation Variable operating mode HMD application management based upon crowd determined distraction
KR102257621B1 (ko) * 2014-05-19 2021-05-28 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005096750A (ja) * 2003-08-29 2005-04-14 Crf Soc Consortile Per Azioni 自動車用計器パネルのためのビジュアルディスプレイ装置
US20130231871A1 (en) 2010-11-09 2013-09-05 Hok Instrument Ab Multifunctional breath analyzer
US20130222638A1 (en) 2012-02-29 2013-08-29 Google Inc. Image Capture Based on Gaze Detection
US20130257709A1 (en) 2012-04-02 2013-10-03 Google Inc. Proximity Sensing for Wink Detection

Also Published As

Publication number Publication date
CN106233188A (zh) 2016-12-14
KR20150122975A (ko) 2015-11-03
EP3134764A1 (en) 2017-03-01
EP3134764B1 (en) 2023-11-29
US20150309311A1 (en) 2015-10-29
US9423620B2 (en) 2016-08-23
EP3134764A4 (en) 2017-11-29
CN106233188B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
KR102246553B1 (ko) Hmd 및 그 제어 방법
US11235871B2 (en) Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight
CA2957047C (en) Active window for vehicle infomatics and virtual reality
US10977774B2 (en) Information processing apparatus, information processing method, and program for estimating prediction accuracy
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US11288869B2 (en) Information processing device, and information processing method
EP3676745B1 (en) Privacy screen for computer simulated reality
US20180196508A1 (en) Image processing device and image processing method, display device and display method, computer program, and image display system
KR102610120B1 (ko) Hmd 디바이스 및 그 제어 방법
US11710310B2 (en) Virtual content positioned based on detected object
KR20150037254A (ko) 착용형 디스플레이 디바이스 및 레이어 제어 방법
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US20180295290A1 (en) Head-mounted display, display control method, and program
KR20150084200A (ko) 헤드 마운트 디스플레이 및 제어 방법
WO2016079470A1 (en) Mixed reality information and entertainment system and method
EP4416577A1 (en) User interactions with remote devices
US11366318B2 (en) Electronic device and control method thereof
US20200143774A1 (en) Information processing device, information processing method, and computer program
KR20150026201A (ko) 디지털 디바이스 및 제어 방법
US20220092860A1 (en) Extended reality for moving platforms
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210314557A1 (en) Information processing apparatus, information processing method, and program
KR101973174B1 (ko) 제스처 인식 기반 무인기 제어 장치 및 방법
JP6467039B2 (ja) 情報処理装置
US11487355B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140424

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190416

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20140424

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200722

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210125

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210426

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210427

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240308

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250310

Start annual number: 5

End annual number: 5