[go: up one dir, main page]

KR102524641B1 - Hmd 디바이스 및 그 제어 방법 - Google Patents

Hmd 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR102524641B1
KR102524641B1 KR1020160008202A KR20160008202A KR102524641B1 KR 102524641 B1 KR102524641 B1 KR 102524641B1 KR 1020160008202 A KR1020160008202 A KR 1020160008202A KR 20160008202 A KR20160008202 A KR 20160008202A KR 102524641 B1 KR102524641 B1 KR 102524641B1
Authority
KR
South Korea
Prior art keywords
hmd device
image
user
display
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160008202A
Other languages
English (en)
Other versions
KR20170088181A (ko
Inventor
이상영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160008202A priority Critical patent/KR102524641B1/ko
Priority to US16/062,402 priority patent/US10845869B2/en
Priority to EP16886640.8A priority patent/EP3376278B1/en
Priority to PCT/KR2016/013497 priority patent/WO2017126797A1/ko
Publication of KR20170088181A publication Critical patent/KR20170088181A/ko
Application granted granted Critical
Publication of KR102524641B1 publication Critical patent/KR102524641B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HMD(Head Mounted Display) 디바이스가 개시된다. VR(Virtual Reality) 영상을 제공하는 서비스를 제공하기 위한 HMD 디바이스는, 디스플레이, HMD 디바이스가 지향하는 방향을 감지하는 센서 및 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면 VR 영상 중 제1 부분을 제공하고, 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면 상기 VR 영상 중 제2 부분을 제공하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

HMD 디바이스 및 그 제어 방법{HEAD MOUNTED DISPLAY DEVICE AND METHOD FOR CONTROLLING THE SAME}
본 개시는 HMD 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 제한된 회전 범위 내에서 VR 영상을 시청할 수 있는 HMD 디바이스 및 그 제어 방법에 관한 것이다.
최근 전자 기술의 발전에 따라 다양한 형태로 사용자에게 시각 정보를 표시하기 위한 수단으로서, 사용자의 두부에 착용 가능한 형태를 갖는 디스플레이 장치가 개발되고 있다. 이러한 두부에 착용 가능한 디스플레이 장치를 HMD 디바이스 (Head Mounted Display Device)라고 하며, 사용자의 눈앞에 화면을 표시하는 디스플레이를 통해 가상 현실(VR)의 세계를 보여주거나, 실제 외계와 함께 증강 현실(AR)의 영상을 보여준다.
종래, HMD 디바이스는 이를 착용한 사용자의 움직임에 따른 현실감 있는 영상을 표시하기 위해, 전방위의 가상 현실(VR) 영상 중 사용자의 머리의 회전된 방향과 일치하는 방향의 시역에 대응하는 뷰잉 영역을 표시하였다.
그러나, HMD 디바이스를 착용한 사용자는 외계로부터 시야가 차단되기 때문에, 안전을 위하여 앉아서 HMD 디바이스를 사용하고, 앉은 자세에서 후방의 VR 영상을 보기 위해선 허리를 돌리고 자세를 고쳐 앉아야 하는 불편이 있었다.
본 개시는 상술한 관점의 문제 인식으로부터 발명된 것으로, 본 개시의 목적은 제한된 회전 범위 내에서 VR 영상을 시청할 수 있는 HMD 디바이스 및 그 제어 방법을 제공하는 데 있다.
본 개시의 목적을 달성하기 위한 본 개시의 일 실시예에 따른 VR(Virtual Reality) 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스는, 디스플레이, 상기 HMD 디바이스가 지향하는 방향을 감지하는 센서 및 상기 VR 서비스 제공을 위한 VR 영상을 상기 HMD 디바이스의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
이 경우, 상기 센서는 전방을 기준으로 상기 HMD 디바이스가 지향하는 수평면상의 방위각을 감지하고, 상기 프로세서는, 상기 VR 영상 중 상기 감지된 방위각보다 더 큰 각도를 이루는 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 감지된 지향 방향이 전방을 기준으로 임계 각도 미만이면, 상기 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역을 표시하고, 상기 감지된 지향 방향이 상기 임계 각도 이상이면, 상기 감지된 지향 방향에서 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 임계 각도는 상기 뷰 영역을 통해 상기 VR 영상의 앞 측 180도 범위의 영역을 표시할 수 있는 최소각일 수 있다.
한편, 상기 프로세서는, 사용자 입력에 따라 고개를 돌릴 수 있는 최대 회전 반경을 설정하고, 상기 VR 영상을 상기 설정된 최대 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 프로세서는, 상기 기설정된 회전 반경의 끝 부근에서 상기 지향 방향이 감지되는 경우, 상기 끝 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어하는 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 센서를 더 포함하고, 상기 프로세서는, 상기 감지된 사용자의 시선이 상기 뷰 영역의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스는 입체 음향을 출력하는 오디오 인터페이스를 더 포함하고, 상기 프로세서는, 상기 입체 음향에 의해 재현되는 음원이 위치한 방향을 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역과 대응시켜 출력하도록 상기 오디오 인터페이스를 제어할 수 있다.
한편, 상기 프로세서는, 상기 VR 영상 중, 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 1보다 더 큰 양의 승수를 곱한 각을 이루는 방향의 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 승수는, 상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적일 수 있다.
한편, VR(Virtual Reality) 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스의 제어 방법은, HMD 디바이스가 지향하는 방향을 감지하는 단계 및 상기 VR 서비스 제공을 위한 VR 영상을 상기 HMD 디바이스의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 HMD 디바이스의 디스플레이를 제어하는 단계를 포함할 수 있다.
이 경우, 상기 감지하는 단계는, 전방을 기준으로 상기 HMD 디바이스가 지향하는 수평면상의 방위각을 감지하고, 상기 제어하는 단계는, 상기 VR 영상 중 상기 감지된 방위각보다 더 큰 각도를 이루는 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 제어하는 단계는, 상기 감지된 지향 방향이 전방을 기준으로 임계 각도 미만이면, 상기 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역을 표시하고, 상기 감지된 지향 방향이 상기 임계 각도 이상이면, 상기 감지된 지향 방향에서 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 임계 각도는 상기 뷰 영역을 통해 상기 VR 영상의 앞 측 180도 범위의 영역을 표시할 수 있는 최소각일 수 있다.
한편, 상기 HMD 디바이스의 제어 방법은 사용자 입력에 따라 고개를 돌릴 수 있는 최대 회전 반경을 설정하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 VR 영상을 상기 설정된 최대 회전 반경 범위 내에서 모두 표시하기 위하여, 상기 VR 영상 중 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 제어하는 단계는, 상기 기설정된 회전 반경의 끝 부근에서 상기 지향 방향이 감지되는 경우, 상기 끝 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스의 제어 방법은 상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 감지된 사용자의 시선이 상기 뷰 영역의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향으로 상기 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 HMD 디바이스는 입체 음향을 출력하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 입체 음향에 의해 재현되는 음원이 위치한 방향을 상기 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역과 대응시켜 출력하도록 상기 HMD 디바이스의 오디오 인터페이스를 제어할 수 있다.
한편, 상기 제어 방법은, 상기 VR 영상 중, 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 1보다 더 큰 양의 승수를 곱한 각을 이루는 방향의 뷰 영역을 표시하도록 상기 디스플레이를 제어할 수 있다.
이 경우, 상기 승수는, 상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적일 수 있다.
이상의 다양한 실시예에 따른 HMD 디바이스 및 그 제어 방법은 다음과 같은 효과를 제공할 수 있다.
일 실시예 따르면 사용자는 제한된 고개의 가동 범위 내에서도 편하게 전방위의 VR 영상을 시청할 수 있다.
또한, 다른 실시예에 따르면, 사용자는 개인 맞춤의 회전 반경을 설정하고, 그 설정된 회전 범위 내에서 전범위의 VR 영상을 시청할 수 있다.
또한, 다른 실시예에 따르면, 사용자는 시청 중인 뷰 영역의 방향과 대응하는 현실감 있는 오디오 효과를 즐길 수 있다.
도 1a는 본 발명의 일 실시예에 따른 HMD 디바이스의 외관을 도시한 도면,
도 1b는 도 1a의 HMD 디바이스를 착용 및 이용 형태를 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도,
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면,
도 5는 본 발명의 다른 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면,
도 6은 본 발명의 다른 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도,
도 7은 본 발명의 일 실시예에 따른 HMD 디바이스의 입체 영상을 재현하기 위한 음원의 위치를 결정하는 방식을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시예에 따른 HDM 디바이스의 구성을 나타내는 블록도,
도 9 및 도 10은 본 발명의 두 실시예에 따른 HMD 디바이스의 VR 영상 중 표시할 영역을 전환하는 방식을 설명하기 위한 도면, 그리고,
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 HMD 디바이스의 외관을 도시한 도면이다.
도 1을 참조하면, HMD 디바이스는 크게 머리에 착용하기 위한 부재(10)와 눈에 밀착하여 영상을 표시하기 위한 몸체(20)의 두 부분으로 구성된다.
머리에 착용하기 위한 부재(10)는 하나 또는 복수의 스트랩(10)으로 구현될 수 있다. 스트랩(10)은 사용자의 머리를 감싸는 메인 스트랩과 사용자의 머리 윗부분을 감싸는 상단 스트랩으로 구성될 수 있다.
몸체(20)는 스트랩(10)과 연결된다. 구체적으로, 몸체(20)는 좌우 양측에 메인 스트랩이 연결되고, 상단 중앙에 상단 스트랩이 연결된다.
몸체(20)는 착용한 사용자의 눈앞에 위치한다. 그리고, 몸체(20)는 사용자의 조작을 수신하기 위한 조작부 및 영상을 표시하기 위한 디스플레이부를 포함한다. 몸체(20)는 사용자의 머리와 접촉하는 부분에 폼 쿠션(21)을 마련하여, 편안한 착용감을 제공하게 한다.
몸체(20)는 렌즈 초점 조절 휠(22), 취소 버튼(23), 터치 감지 센서(24), 음량 조절 버튼(25), 분리 버튼(26)을 포함한다.
렌즈 초점 조절 휠(22)은 사용자의 양안 각각에 대응하는 몸체(20)의 두 렌즈의 초점을 조절하는 사용자의 조작을 수신한다. 구체적으로, 렌즈 초점 조절 휠(22)은 회전시키는 사용자 조작을 수신하고, 사용자의 눈과 디스플레이 표면 사이에 위치하는 렌즈를 전진 또는 후퇴시켜, 디스플레이의 영상을 시청하기 위한 초점을 조절하기 위한 조작을 제공할 수 있다.
취소 버튼(23)은 디스플레이에 표시되는 메뉴와 같은 단계적인 화면의 전환이 이루어졌을 때, 이전 화면으로 돌아가거나 재생 중인 영상의 중지 및 메뉴로 돌아가기 위한 사용자의 조작을 수신한다. 취소 버튼(23)은 누르는 길이에 따라 상이한 기능이 실행될 수 있다. 가령, 취소 버튼(23)이 길게 눌리면 홈 화면 또는 유니버설 메뉴가 디스플레이에 표시될 수 있다.
터치 감지 센서(24)는 사용자의 터치 조작을 입력받는다. 구체적으로, 터치 감지 센서(24)는 선택 터치, 연속 두 번 터치, 방향성을 갖는 드래그 터치 등을 입력받는다.
음량 조절 버튼(25)은 출력되는 소리의 크기를 조절하는 사용자 조작을 수신한다. 음량 조절 버튼(25)은 볼륨을 올리는 버튼과 볼륨을 내리는 버튼을 포함한다.
분리 버튼(26)은 체결된 전자 기기(30)를 몸체(20)로부터 분리시키는 사용자 조작을 수신한다. 구체적으로, 분리 버튼(26)은 전기적으로 몸체(20)와 전기적으로 연결된 전자 기기(30)를 고정시키는 고정 부재를 전자 기기(30)로부터 이격시켜, 분리 가능하게 만드는 조작을 제공한다.
몸체(20)는 전자 기기(30)와 결합할 수 있다. 전자 기기(30)는 디스플레이를 포함하고, 가상 현실(VR)을 구현하기 위한 프로그램을 저장한다. 구체적으로, 전자 기기(30)는 몸체(20)와 결합된 상태에서, HMD 디바이스(100)를 착용한 사용자에게 적절하게 표시될 수 있는 화면 및 몸체(20)의 조작부를 통한 사용자의 조작에 대응하는 기능을 실행할 수 있는 프로그램을 저장할 수 있다.
몸체(20)는 전자 기기(30)와 전기적 연결을 위한 커넥터와 물리적 결합을 위한 전자 기기(30) 형상에 대응하는 고정 프레임을 포함할 수 있다. 또한, 외부로부터 충격을 방지하고 전자 기기(30)의 이탈을 방지하기 위해, 몸체(20)는 전자 기기(30)를 덮는 커버(미도시)와 더 결합할 수 있다.
전자 기기(30)는 다양한 형태의 모바일 단말이 될 수 있다. 가령, 전자 기기(30)는 스마트 폰, 태블릿 PC, PDA, PMP, 웨어러블 디바이스 등 디스플레이를 구비한 기기일 수 있다.
도 1b는 도 1a의 HMD 디바이스를 착용 및 이용 형태를 설명하기 위한 도면이다.
도 1b를 참조하면, HMD 디바이스(100)를 착용한 사용자(50)는 재생되는 VR 영상 중 일부만을 뷰 영역(60)을 통해 볼 수 있다. 여기서, 뷰 영역(60)이란, 사용자(50)의 눈 앞을 가리는 닫혀있는 공간 안에서, 사용자(50)가 디스플레이를 통해 볼 수 있는 영역을 말한다. 뷰 영역(60)은 가상 현실에서 사용자(50)의 시야범위 또는 시야 각이라 할 수 있다. 또한, 재생되는 VR 영상은 시각적으로 사용자(50)가 가상의 공간을 느낄 수 있도록 3차원 공간의 세 축 방향에 대응되는 영상을 포함한다.
도 1b(a)를 참조하면, HMD 디바이스(100)를 착용한 사용자(50)는 머리를 상하로 움직이고, 이 움직임에 따라 뷰 영역(60)을 통해 VR 영상의 위쪽과 아래쪽 부분을 볼 수 있다.
도 1b(b)를 참조하면, HMD 디바이스(100)를 착용한 사용자(50)는 머리를 좌우로 돌리고, 이 움직임에 따라 뷰 영역(60)을 통해 VR 영상의 좌측과 우측 부분을 볼 수 있다.
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도이다.
도 2를 참조하면, HMD 디바이스(100)는 디스플레이(110), 방향 센서(120) 및 프로세서(130)를 포함한다.
디스플레이(110)는 영상을 표시한다. 구체적으로, 디스플레이(110)는 VR 서비스를 제공하기 위한 VR 영상 중 일부를 뷰 영역으로 표시한다. VR 서비스는 가상 현실의 공간감을 느낄 수 있도록 사용자에게 컨텐츠를 제공하는 서비스를 말하며, VR 영상은 앞서 설명한 바와 같이 디스플레이(110)를 통해 시각적으로 사용자에게 가상의 3차원 공간 안에 있는 것처럼 느낄 수 있도록, 3차원 좌표에 대응하는 영상을 HMD 디바이스(100)로 재생한 영상을 말한다.
방향 센서(120)는 HMD 디바이스(100)가 지향하는 방향을 감지한다. 구체적으로, 방향 센서(120)는 HMD 디바이스(100)가 사용자의 움직임에 의해 돌아간 지향 방향을 감지할 수 있다. 방향 센서(120)는 가속도 센서, 중력 센서, 지자기 센서 등 다양한 센서로 구현될 수 있다. 이에 대한 보다 자세한 설명은 도 3을 참조하여 후술한다.
방향 센서(120)는 전방을 기준으로 HMD 디바이스(100)가 지향하는 수평면상의 방위각을 감지할 수 있다. 구체적으로, 방향 센서(120)는 초기 상태에서 HMD 디바이스(100)를 착용시 결정된 사용자의 정면의 시청 방향과 대응되는 HMD 디바이스(100)의 전방을 기준으로 사용자가 고개를 좌우로 돌리는 움직임에 따라 HMD 디바이스가 수평면상에서 돌아간 방위각을 감지할 수 있다.
프로세서(130)는 HMD 디바이스(100)의 각 구성을 제어한다. 구체적으로, 프로세서(130)는 VR 서비스 제공을 위한 VR 영상을 HMD 디바이스의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여 HMD 디바이스(100)의 각 구성의 기능을 제어할 수 있다.
프로세서(130)는 VR 영상 중 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어한다. 구체적으로, 프로세서(130)는 감지된 HMD 디바이스의 지향 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면, VR 영상 중 제1 부분을 제공하도록 디스플레이(110)를 제어할 수 있다. 여기서, VR 영상의 제1 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 동일한 사이즈이다. 즉, 디스플레이(110)를 통해 제공되는 제1 부분은 VR 영상 중 HMD 디바이스(100)가 일정 범위 내에서 방향을 전환하는 동안 표시되는 영역이며, 지향 방향과 일치하는 방향으로 좌측과 우측이 대칭인 시야범위에 해당하는 영역이다.
그리고, 프로세서(130)는 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면 VR 영상 중 제2 부분을 제공하도록 디스플레이(110)를 제어할 수 있다. 여기서, VR 영상의 제2 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 상이한 사이즈이다. 즉, 디스플레이(110)를 통해 제공되는 제2 부분은 VR 영상 중 HMD 디바이스(100)가 일정 범위를 벗어난 나머지 범위에서 방향을 전환하는 동안 표시되는 영역이며, 지향 방향에서 좌측 또는 우측으로 틀어진 방향의 시야범위에 해당하는 영역이다.
다르게 말하면, 프로세서(130)는 재생하고 있는 VR 영상 중 적어도 일부분에서 방향 센서(120)에서 감지된 HMD 디바이스의 지향 방향과 일치하지 않는 방향에 대응하는 영역을 뷰 영역으로 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, HMD 디바이스(100)는 VR 영상에 논리적으로 존재하는 가상의 공간의 방향과 HMD 디바이스(100)의 지향 방향을 일치시키지 아니하고 VR 영상을 표시할 수 있다.
한편, 위 VR 영상의 제2 부분은, 사용자의 전방을 기준으로 상기 HMD 디바이스(100)가 지향하는 방향이 오른쪽이면, 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 영상으로 구성되고, HMD 디바이스(100)가 지향하는 방향이 왼쪽이면, 상기 좌측 영상의 사이즈가 상기 우측 영상의 사이즈보다 더 큰 영상으로 구성될 수 있다. 즉, 제2 부분은, HMD 디바이스가 일정 범위를 벗어난 범위를 지향하도록 변경된 경우에 표시되는, 전방을 기준으로 HMD 디바이스(100)가 회전한 방향으로 더 틀어진 방향의 시야범위에 해당하는 영역의 영상일 수 있다.
즉, 프로세서(130)는 VR 영상 중 감지된 방위각보다 더 큰 각도를 이루는 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 이에 따르면, 프로세서(130)는 사용자가 고개를 돌려서 HMD 디바이스(100)가 돌아간 방향보다 더 돌아간 방향의 VR 영상의 영역을 뷰 영역으로 표시하도록 디스플레이(110)를 제어할 수 있다.
한편, 프로세서(130)는 HMD 디바이스(100)의 회전 및 일정 범위를 결정하는데 기준이 되는 방향을 설정할 수 있다. 통상, 기준이 되는 방향은 사용자의 머리가 정면을 향하는 방향이 될 것이다. 프로세서(130)는 사용자가 바른 자세로 정면을 향하도록 유도한 뒤, 초기 상태의 HMD 디바이스(100)의 방향을 기준이 되는 전방으로 설정할 수 있다. 이를 위해 HMD 디바이스(100)는 추가적으로 회전에 대한 캘리브레이션을 수행할 수 있다.
일 실시예에서, 프로세서(130)는 사용자의 전방을 기준으로 일정 범위에 대응하는 임계 각도를 설정할 수 있다. 임계 각도는 전방을 기준으로 제1 부분이 표시되는 범위 및 제2 부분이 표시되는 범위 간 경계의 각도이다. 즉, 임계 각도는 일정 범위의 양 끝의 각이다.
그리고, 프로세서(130)는 사용자의 전방 방향으로부터 HMD 디바이스(100)가 지향하는 방향까지의 방위각을 판단할 수 있다. 방위각은 기준이 되는 전방 방향으로부터 HMD 디바이스(100)의 지향 방향까지 회전한 각도이다.
프로세서(130)는 판단된 방위각의 크기와 설정된 임계 각도를 비교하여 그 결과에 따라 제1 부분 또는 제2 부분을 제공하도록 디스플레이(110)를 제어할 수 있다. 즉, 프로세서(130)는 감지된 지향 방향이 전방을 기준으로 임계 각도 미만이면, 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역을 표시하고, 감지된 지향 방향이 임계 각도 이상이면, 감지된 지향 방향에서 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 전체 기설정된 회전 반경 중 소정의 일부 반경 내에서 HMD 디바이스(100)가 지향되면, 그 지향된 방향에 대응되는 뷰 영역을 표시하고, 소정의 일부 반경을 벗어나 HMD 디바이스(100)가 지향되면, 그 지향된 방향의 회전 각도보다 더 진행된 각도의 “‡향에 대응하는 뷰 영역을 표시할 수 있다.
여기서, 임계 각도는 제1 부분으로 상기 VR 영상 중 사용자의 전방 측 180도 범위의 영역을 제공할 수 있는 최소각일 수 있다. 즉, 임계 각도는 뷰 영역의 시야범위로, VR 영상의 앞 측 180도 범위의 영역이 모두 표시할 수 있는 일정 범위의 양 끝의 각도일 수 있다. 즉, 프로세서(130)는 VR 영상의 전방 180도 범위에 대해서는 지향 방향에 따라 제1 부분의 뷰 영역으로 표시할 수 있도록 임계 각도를 설정하고, 관측이 어려운 후방 180도 범위에 대해서는 지향 방향에서 더 회전된 방향에 대응하는 제2 부분의 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다.
한편, 프로세서(130)는 사용자 입력에 따라 사용자가 고개를 돌려서 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정할 수 있다. 구체적으로, 프로세서(130)는 VR 영상의 모든 범위를 볼 수 있는 총 회전 가능 범위를 설정하는 사용자 입력을 수신하고, 수신된 명령에 따라 최대 회전 반경을 설정할 수 있다. 이 실시예에 따르면, HMD 디바이스(100)는 개개인마다 상이한 고개를 돌릴 수 있는 정도를 고려하여 최대 회전 반경 범위 내에서 모든 VR 영상을 사용자에게 제공할 수 있다.
그리고, 프로세서(130)는 VR 영상을 사용자 입력에 따라 설정된 최대 회전 반경 범위 내에서 모두 표시하기 위하여, VR 영상 중 감지된 HMD 디바이스(100)의 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다.
VR 영상 중 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시함에 있어서, 프로세서(130)는 사용자의 전방을 기준으로 HMD 디바이스(100)의 지향 방향이 이루는 각도에 1보다 큰 양의 승수로 곱한 각도를 향하는 시야 범위의 영상을 상기 제1 부분으로 제공하도록 디스플레이(110)를 제어할 수 있다. 이를 수식으로 표현하면 다음과 같다.
Figure 112016007537250-pat00001
여기서, α는 1보다 큰 양의 승수이고, 피승수 θb는 전방을 기준으로 감지된 HMD 디바이스(100)의 지향 방향이 이루는 각도, 그리고, θa는 뷰 영역으로 표시될 VR 영상의 방향이다.
여기서 승수 α는 θb에 따라 가변할 수 있다. 가령, 승수 α는 감지된 지향 방향의 각도θb가 증가할수록 증가할 수 있다. 여기서, 승수의 증가는 연속적이거나 단속적일 수 있다.
프로세서(130)는 다양한 명령어의 처리를 수행할 수 있는 장치로 구현될 수 있다. 가령, 프로세서(130)는 주문형 집적회로(application specific integrated circuit, ASIC), 임베디드 프로세서, 마이크로프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware finite state machine, FSM) 또는 디지털 신호 프로세서(digital signal processor, DSP) 로 구현될 수 있다. 프로세서(130)는 CPU의 역할을 수행하고 ROM 및 RAM과 연동하여 입출력 신호 및 데이터를 쓰고 읽을 수 있다.
이상과 같은 HMD 디바이스(100)는 VR 영상을 감상함에 있어서, 사용자에게 보다 편안한 VR 서비스를 제공할 수 있다.
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블록도이다.
도 3을 참조하면, HMD 디바이스(100)는 통신부(310), 조작부(320), 전원부(330), 센서부(340), 모터(350), 초점 조절부(360), 저장부(370) 및 제어부(380)를 포함한다.
통신부(310)는 외부 기기와의 통신을 수행한다. 구체적으로, 통신부(310)는 다양한 통신 규격에 따라 외부 기기와 통신을 수행한다. 통신부(310)는 유무선 통신 방식을 지원할 수 있다. 통신부(310)는 외부 기기와 유선 통신을 위한 USB 모듈, 무선 랜 통신을 위한 와이파이 모듈, 근거리 직접 통신을 위한 블루투스 모듈 및 NFC 모듈, 및 측위용 위성 신호를 수신하기 위한 GPS 모듈을 포함할 수 있다.
조작부(320)는 사용자의 터치 조작을 감지하기 위한 터치 패드 및 물리 입력을 위한 버튼 부재들을 포함할 수 있다.
전원부(330)는 HMD 디바이스(100)의 구동을 위한 전원을 공급하며, 전력을 충전 가능한 배터리를 포함할 수 있다.
센서부(340)는 다양한 센서들을 포함할 수 있다. 가속도 센서는 HMD 디바이스(100)의 움직임에 의한 힘의 방향 및 크기와 관련된 가속도를 감지할 수 있다. 자이로 센서는 HMD 디바이스(100)의 회전 방향 및 크기와 관련된 각가속도를 감지할 수 있다. 지자계 센서는 지구의 자기 방향 및 크기를 감지할 수 있다. 마그네틱 센서는 자계의 방향이나 감도를 감지하며 홀 소자로 구현될 수 있다. 근접 센서는 근접한 거리의 물체의 존재를 감지하며, 사용자가 HMD 디바이스(100)를 착용 중인지 여부를 판단할 수 있게 한다. 제스처 센서는 사용자의 손, 손가락 및 특정 물체의 움직임을 감지하여, 조작부(320)에 의하지 않는 별도의 입력을 가능케 한다. 그립 센서는 HMD 디바이스(100)의 외부로부터 가해지는 압력을 감지한다. 생체 센서는 사용자의 생체 신호를 감지한다. 가령, 생체 센서는 지문 센서, 홍채 센서, ECG(electrocardiogram) 센서 중 적어도 하나를 포함할 수 있다.
모터(350)는 HMD 디바이스의 발열을 제어하기 위한 냉각 팬을 구동시키는 동력을 제공한다.
초점 조절부(360)는 HMD 디바이스의 접안 렌즈의 위치를 이동시킨다. 초점 조절부(360)는 도 1의 HMD 디바이스(100)의 렌즈 초점 조절 휠(22)을 구성할 수 있다.
저장부(370)는 VR 서비스를 제공하기 위한 프로그램 및 데이터를 저장한다. 구체적으로, 저장부(370)는 HMD 디바이스의 구동 프로그램, VR 영상을 제공할 수 있는 컨텐츠 데이터, 기설정된 회전 반경 범위, VR 영상 중 지향 방향의 각도에 비례하여 뷰 영역을 결정하는 알고리즘 등 HMD 디바이스의 동작에 필요한 정보들을 저장할 수 있다.
제어부(380)는 HMD 디바이스(100)의 각 구성을 제어한다. 제어부(380)는 CPU 및 주기억장치인 RAM과 제어 프로그램이 저장된 ROM을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면이다.
도 4를 참조함에 있어서, 도시된 머리(50)는 HDM 디바이스를 착용한 사용자의 지향 방향(410)을 나타낸다. 그리고, 머리(50) 주위의 완전한 원(420)은 360도의 전방위 영상을 갖는 VR 영상의 범위를 나타낸다. 그리고, 원(420) 밖의 호(430)는 기설정된 회전 반경의 범위 240도를 나타낸다. 이 예시에서 HMD 디바이스는 머리(50)의 지향 방향(410)이 호(430)의 240도 범위 내에서만 회전하더라도 VR 영상의 360도 전 범위(420)를 제공할 수 있다.
도 4a를 참조하면, 머리(50)가 지향하는 방향(410)은 전방이다. 전방을 향했을 때, HMD 디바이스는 VR 영상(420) 중 지향 방향(410)으로부터 좌우 30도의 범위를 뷰 영역(440)으로 표시한다.
도 4b를 참조하면, 머리(50)의 지향 방향(410)은 우측 60도 및 좌측 60도를 가리킨다. 도 4b(a)를 참조하면, HMD 디바이스는 VR 영상(420) 중 -60도의 지향 방향(410)을 기준으로 좌우 30도 대칭인 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 -60도의 방향을 기준으로 좌측 영상과 우측 영상의 사이즈가 동일한 제1 부분(440)을 표시한다. 또한, 도 4b(b)를 참조하면, HMD 디바이스는 VR 영상(420) 중 +60도의 지향 방향(410)을 기준으로 좌우 30도 대칭인 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 +60도의 방향을 기준으로 좌측 영상과 우측 영상의 사이즈가 동일한 제1 부분(440)을 표시한다. 여기서, 우리는 지향 방향(410)이 -60도 에서 +60도인 경우, 전방 -90도 및 +90도까지 VR 영상을 표시할 수 있는 것을 확인할 수 있다.
일 실시예에서, HMD 디바이스는 기준이 되는 사용자의 전방 측 180도 범위의 VR 영상을 볼 수 있는 -60도 및 +60도를, 지향 방향(410)과 일치하는 방향으로 뷰 영역(440)이 표시되는, 임계 각도로 설정한다. 그리고, HMD 디바이스는 지향 방향(410)이 이루는 각도가 임계 각도를 넘어서는 경우, 지향 방향(410)에서 더 회전된 방향에 대응하는 뷰 영역(410)을 표시한다. 즉, HMD 디바이스가 지향하는 방향의 방위각이 임계 각도 ±60도 이내에 속하는 경우, HMD 디바이스는 좌측 및 우측 영상의 사이즈가 대칭인 제1 부분을 제공하고, 방위각이 ±60도를 벗어나는 경우, HMD 디바이스는 좌측 및 우측 영상의 사이즈가 상이한 제2 부분을 제공한다.
도 4c를 참조하면, 머리(50)의 지향 방향(410)은 +/- 60도를 넘어 -90도와 +90도를 가리킨다. 도 4c(a)를 참조하면, HMD 디바이스는 VR 영상(420) 중 -90도의 지향 방향을 기준으로 좌측이 15도 우측이 45도의 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 제2 부분(440)을 표시한다. 또한, 도 4c(b)를 참조하면, HMD 디바이스는 VR 영상(420) 중 +90도의 지향 방향을 기준으로 우측이 15도 좌측이 45도의 범위를 뷰 영역(440)으로 표시한다. 즉, HMD 디바이스는 VR 영상(420) 중 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 제2 부분(440)을 표시한다. 이 예시에서, HMD 디바이스는 지향 방향(410)이 이루는 +/- 90도와 상이한 +/- 105도의 방향에 대응하는 뷰 영역(440)을 표시한다.
도 4d를 참조하면, 머리(50)의 지향 방향(410)은 최대 회전 범위인 -120도와 +120도를 가리킨다. 도 4d(a)를 참조하면, HMD 디바이스는 VR 영상(420) 중 지향 방향(410)인 -120도를 기준으로 우측 60도의 범위를 뷰 영역(440)으로 표시한다. 또한, 도 4d(b)를 참조하면, HMD 디바이스는 VR 영상(420) 중 지향 방향(410)인 +120도를 기준으로 좌측 60도의 범위를 뷰 영역(440)으로 표시한다. 이상과 같이, HMD 디바이스는 기설정된 +/- 120도의 범위(430) 내에서 360도의 전방위를 갖는 VR 영상(440)을 모두 표시할 수 있다.
이상의 예시에 HMD 디바이스는, 사람의 양안 시야 범위 중에서 사람이 사물을 올바르게 인지할 수 있는 전방 60도의 범위에 대응하여, VR 영상 중 뷰 영역(440)으로 표시되는 시야 범위를 60도로 정하였다. 그러나, 이는 일 예에 불과하고 HMD 디바이스에 표시되는 뷰 영역(440)의 범위는 디스플레이의 크기 및 초점 거리에 따라 60도 보다 더 넓거나 더 좁게 결정될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 HMD 디바이스의 VR 영상 중 사용자에게 표시할 영역이 결정되는 방식을 설명하기 위한 도면이다.
도 5를 참조하면, -180도에서 +180도까지 360도의 전방위를 갖는 VR 영상(530)은 기설정된 회전 반경인 -90도 내지 +90도의 범위 내에 매핑되어 있다. 머리(50)의 지향 방향(510)이 +/-45도인 범위에서 승수(α)는 1로서, HMD 디바이스는 지향 방향(510)과 일치하는 방향에 대응하는 뷰 영역을 표시한다. 그리고, 지향 방향(510)이 +/-45도 이상 +/-90도 이하인 범위에서 승수(α)는 3로서, HMD 디바이스는 지향 방향(510)이 이루는 각보다 3배의 각을 이루는 방향에 대응하는 뷰 영역을 표시한다.
도 5의 실시예에서는 하나의 임계 각도에서 1보다 더 큰 승수가 지향 방향의 각도에 곱해지는 것으로 설명하였지만 이에 한정되지 아니하며, 복수의 임계 각도에서 상이한 승수가 곱해지도록 구현될 수 있고, 지향 방향(510)이 이루는 각도가 증가함에 따라 승수가 연속적으로 증가하도록 구현될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 HMD 디바이스의 구성을 나타내는 블록도이다.
도 6을 참조하면, HMD 디바이스(100')는 디스플레이(110), 방향 센서(120), 프로세서(130) 및 오디오 인터페이스(140)를 포함한다.
디스플레이(110)는 VR 서비스를 제공하기 위한 VR 영상 중 특정 방향에 대응하는 뷰 영역을 표시한다. 디스플레이(110)의 구체적인 구성 및 기능은 도 2의 디스플레이(110)의 그것과 동일한바 중복 설명은 생략한다.
방향 센서(120)는 HMD 디바이스(100')가 지향하는 방향을 감지한다. 방향 센서(120)의 구체적인 구성 및 기능은 도 2의 방향 센서(120)의 그것과 동일한바 중복 설명은 생략한다.
오디오 인터페이스(140)는 오디오 신호를 출력한다. 구체적으로 오디오 인터페이스(140)는 스피커와 같은 음향 출력 장치와 연결되어 소리를 내기 위한 오디오 신호를 출력할 수 있다.
오디오 인터페이스(140)는 입체 음향을 출력한다. 구체적으로, 오디오 인터페이스(140)는 음향의 청취자를 기준으로 쌍이 효과(binaural)를 위하여 상이한 위치에서 서로 다른 소리를 출력하기 위한 다중 채널 신호를 출력할 수 있다.
프로세서(130)는 VR 서비스를 제공하기 위한 HMD 디바이스(100')의 각 구성을 제어한다. 프로세서(130)의 구체적인 구성 및 기능은 도 2의 프로세서(130)의 그것과 동일한바 중복 설명은 생략한다.
프로세서(130)는 입체 음향에 의해 재현되는 음원이 위치한 방향을 방향 센서(120)에 의해 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역과 대응시켜 출력하도록 오디오 인터페이스(140)를 제어한다. 구체적으로, VR 서비스를 위해 재생되는 컨텐츠는 오디오 및 비디오를 포함하는 멀티 미디어 컨텐츠이고, 재생되는 스테레오 음향은 VR 영상의 방향과 대응하여 3차원 가상 공간에 방향성을 갖는 음원을 재현할 수 있다. 프로세서(130)는 VR 서비스 제공을 위한 VR 영상을 상기 HMD 디바이스(100')의 기설정된 회전 반경 범위 내에서 모두 표시하기 위하여 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시한다. 그리고, 프로세서(130)는 표시된 뷰 영역의 방향에 대응하여 음원의 방향이 재현되도록 오디오 인터페이스(140)를 제어할 수 있다.
즉, 프로세서(130)는 감지된 HMD 디바이스(100')의 지향 방향이 사용자의 전방을 기준으로 제1 부분이 표시되는 일정 범위를 벗어나, 제2 부분이 제공되는 경우, 제공되는 제2 부분과 대응되도록 입체 음향에 의해 재현되는 음원의 위치를 원래 위치보다 좌측 또는 우측으로 더 편향되도록 오디오 인터페이스(140)를 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 HMD 디바이스의 입체 영상을 재현하기 위한 음원의 위치를 결정하는 방식을 설명하기 위한 도면이다.
도 7을 참조하면, 사용자의 머리(50)의 위치를 기준으로 좌측 및 우측의 두 스피커(710-1, 710-2)에서 2 채널의 스테레오 음향이 출력된다
HMD 디바이스는 머리(50)의 지향 방향(720)을 기준으로 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 제2 부분(730)을 표시한다. 그리고, HMD 디바이스는 오디오 인터페이스에 연결된 두 스피커(710-1, 710-2)에서 뷰 영역(730)의 방향과 대응하는 위치에서 음원(740-1, 740-2)이 재현되도록 2채널 오디오 신호를 출력할 수 있다. 즉, 재생되는 제2 영역(730)의 방향에 대응하여 사용자의 두 귀 각각에 수신되는 소리의 세기와 시간차에 의해 재현되는 입체 음향의 음원이 자리하는 위치는, 지향 방향(720)을 기준으로 원래 재현될 위치보다, 더 좌측으로 회전(좌편향)된다.
도 8은 본 발명의 다른 실시예에 따른 HDM 디바이스의 구성을 나타내는 블록도이다.
도 8을 참조하면, HMD 디바이스(100'')는 디스플레이(110), 방향 센서(120), 프로세서(130) 및 시선 센서(150)를 포함한다.
디스플레이(110)는 VR 서비스를 제공하기 위한 VR 영상 중 특정 방향에 대응하는 뷰 영역을 표시한다. 디스플레이(110)의 구체적인 구성 및 기능은 도 2의 디스플레이(110)의 그것과 동일한바 중복 설명은 생략한다.
방향 센서(120)는 HMD 디바이스(100'')가 지향하는 방향을 감지한다. 방향 센서(120)의 구체적인 구성 및 기능은 도 2의 방향 센서(120)의 그것과 동일한바 중복 설명은 생략한다.
시선 센서(150)는 사용자의 시선을 감지한다. 구체적으로, 시선 센서(150)는 HMD 디바이스를 착용한 사용자가 뷰 영역에서 주시하는 방향을 감지할 수 있다. 시선 센서(150)는 양안을 촬영한 이미지로부터 눈동자의 중심을 인식하는 방식이 사용될 수 있다.
프로세서(130)는 VR 서비스를 제공하기 위한 HMD 디바이스(100'')의 각 구성을 제어한다. 프로세서(130)의 구체적인 구성 및 기능은 도 2의 프로세서(130)의 그것과 동일한바 중복 설명은 생략한다.
프로세서(130)는 기설정된 회전 반경의 끝 부근에서 지향 방향이 감지되는 경우, 회전 반경의 끝 부근의 방향으로 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 기설정된 회전 반경 범위의 끝 부근에서 HMD 디바이스(100'')가 지향되고 있는 경우, 지향하는 그 끝 부근의 방향 측의 영상의 사이즈를 더 확대시켜 지향 방향을 기준으로 양측 영상의 사이즈가 상이한 제2 부분이 제공되도록 디스플레이(110)를 제어할 수 있다.
도 9를 참조하면, 사용자의 머리(50)는 기설정된 회전 반경(930)의 양 끝 중 하나인 +120도를 향하고 있다. HMD 디바이스는 VR 영상(920) 중 지향 방향(910)과 일치하는 방향으로 뷰 영역(940)을 표시한다. 그리고, HMD 디바이스는 지향 방향(910)이 +120도에 머물러 있는 것을 확인하고, 뷰 영역(940)이 표시되는 방향을 점차 회전시킨다. HMD 디바이스는 +150도까지 회전된 방향에 대응하는 뷰 영역(940')을 표시한다. 즉, HMD 디바이스는 좌측 영상이 더 큰 제2 부분을 제공한다. 이 실시예에 의할 경우, 시선 센서(150)는 생략될 수 있다.
또 다른 실시예에 따르면, 프로세서(130)는 감지된 사용자의 시선이 뷰 영역의 가장자리 부근을 향하는 경우, 시선이 향하는 가장자리 부근의 방향으로 감지된 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시하도록 디스플레이(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 감지된 사용자의 시선이 디스플레이에 제공되고 있는 영상의 가장자리 부근을 주시하고 있는 경우, 시선이 향하는 방향 쪽의 영상의 사이즈를 확대한 제2 부분이 제공되도록 디스플레이(110)를 제어할 수 있다.
도 10은 VR 영상 중 감지된 지향 방향에 대응하는 뷰 영역(1010)을 나타낸다. HMD 디바이스는 사용자의 시선(1020)이 뷰 영역(1010)의 우측 가장자리에 머무는 것을 확인한다. HMD 디바이스는 시선(1020)이 향하는 우측 방향으로 뷰 영역(1010)이 표시되는 방향을 점차 회전시킨다. HMD 디바이스는 감지된 지향 방향과 상이한 방향에 대응하는 회전된 뷰 영역(1010')을 표시한다. 즉, HMD 디바이스는 지향 방향을 기준으로 좌측 영상보다 우측 영상의 사이즈가 더 큰 제2 부분을 제공한다.
한편, HMD 디바이스는 지향 방향이 기설정된 회전 반경의 끝 부근에 위치하고 감지된 시선이 뷰 영역의 가장자리를 향하고, 여기서 전방을 기준으로, 지향 방향으로 회전된 방향과 뷰 영역에서 시선이 향하는 가장자리의 방향이 일치하는 경우에, 지향 방향으로부터 더 회전된 방향에 대응하는 뷰 영역을 표시할 수 있다.
이상과 같은 HMD 디바이스는 기설정된 회전 범위 방향 내에서 사용자의 고개나 시선의 움직임만으로 전방위의 VR 영상 전체를 표시할 수 있다.
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, VR 영상을 제공하는 서비스를 제공하기 위한 HMD 디바이스의 제어 방법은 먼저, HMD 디바이스가 지향하는 방향을 감지한다(S1110). 구체적으로, HMD 디바이스는 센서에 의해 HMD 디바이스가 수평면상에서, 전방을 기준으로 회전한 지향 방향을 감지할 수 있다. HMD 디바이스는 감지된 지향 방향을 나타내는 수평면상의 방위각을 측정할 수 있다.
다음으로, 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위 내에서 변경되면, VR 영상 중 제1 부분을 제공한다(S1120). 여기서, 제1 부분은 변경된 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측 영상의 사이즈가 동일하다.
그리고, 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, VR 영상 중 제2 부분을 제공한다(S1130). 여기서, 제2 부분은 변경된 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측 영상의 사이즈가 상이하다. 더 구체적으로는, 제2 부분은 사용자의 전방을 기준으로 HMD 디바이스가 지향하는 방향이 일정 범위 밖의 오른쪽이면, 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 영상으로 구성될 수 있다. 반대로, 사용자의 전방을 기준으로 HMD 디바이스가 지향하는 방향이 일정 범위 밖의 왼쪽이면, 제2 부분은 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 영상으로 구성될 수 있다.
즉, S1120 단계 및 S1130 단계에서, HMD 디바이스는 VR 영상 중 전방을 기준으로 하는 일부 영역을 감지된 지향 방향과 일치하는 방향에 대응하는 뷰 영역으로 표시하고, 나머지 영역을 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역으로 표시하도록 HMD 디바이스의 디스플레이를 제어하도록 구성될 수 있다.
한편, VR 영상 중 제2 부분을 제공하기 위하여, S1130 단계는 사용자의 전방을 기준으로 HMD 디바이스의 지향 방향이 이루는 각도에 1보다 큰 양의 승수를 곱한 각도를 향하는 시야 범위의 영상을 제공하도록 디스플레이를 제어하는 단계를 구성할 수 있다. 여기서, 승수는 전방을 기준으로 감지된 지향 방향이 이루는 각도에 따라 가변적일 수 있다.
한편, 위 제어하는 방법은, 기설정된 회전 반경 중 지향 방향과 일치하는 방향으로 좌우가 대칭인 제1 부분을 표시할 일정 범위에 대응하는 임계 각도를 설정하는 단계를 더 포함할 수 있다. 여기서, 임계 각도는 전체 VR 영상 중 사용자 전방 측 180도 범위의 영역을 제1 부분으로 제공할 수 있는 최소각으로 결정될 수 있다.
또한, HMD 디바이스 제어 방법에는 사용자의 입력에 따라 사용자가 고개를 돌려 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정하는 단계를 더 포함할 수 있으며, 이 경우, 단계 S1130 는 VR 영상을 설정된 회전 반경 범위 내에 모두 표시하도록 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 디스플레이를 제어할 수 있다.
HMD 디바이스의 제어 방법은 입체 음향을 출력하는 단계를 더 포함할 수 있고, 이 경우, HMD 디바이스는 S1130 단계에서 제공되는 제2 부분에 대응하여, 입체 음향으로 재현되는 음원의 위치를 조절할 수 있다.
한편, 일 실시예에서 HMD 디바이스는 기설정된 회전 반경의 끝 부근에서 지향 방향이 감지되는 경우, 끝 부근의 방향으로 더 회전된 방향에 대응하는, 일 측의 영상의 사이즈를 더 확대한 제2 부분을 제공하도록 제어될 수 있다.
HMD 디바이스의 제어 방법은 HMD 디바이스를 착용한 사용자의 시선을 감지하는 단계를 더 포함할 수 있으며, 이 경우, S1130에서 HMD 디바이스는 감지된 사용자의 시선이 뷰 영역의 가장자리 부근을 향하는 경우, 가장자리 부근의 방향 측의 영상 사이즈를 확대한 제2 부분을 제공하도록 제어될 수 있다.
이상 설시한 HMD 디바이스의 제어 방법은 기설정된 제한적인 회전 반경에서, 설정된 회전 반경 이상의 범위를 갖는 VR 영상을 모두 표시시킬 수 있다. 또한, HMD 디바이스의 제어 방법은 도 2, 도 6 및 도 8 각각의 HMD 디바이스뿐만 아니라, 지향 방향에 따라 화면을 전환하는 디스플레이 장치에 구현될 수 있다.
한편, 이러한 다양한 실시 예에 따른 HMD 디바이스의 제어 방법은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, HMD 디바이스가 지향하는 방향을 감지하는 단계 및 VR 영상 중 감지된 지향 방향과 상이한 방향에 대응하는 뷰 영역을 표시하도록 HMD 디바이스의 디스플레이를 제어하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: HMD 디바이스 110: 디스플레이
120: 방향 센서 130: 프로세서
140: 오디오 인터페이스 150: 시선 센서

Claims (20)

  1. VR(Virtual Reality) 영상을 제공하는 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스에 있어서,
    디스플레이;
    사용자의 전방 방향을 기준으로 상기 HMD 디바이스가 지향하는 방향을 감지하는 센서; 및
    상기 사용자의 전방을 기준으로 일정 범위에 대응하는 임계 각도를 설정하고, 상기 임계 각도는 상기 VR 영상 중 제1 부분으로 상기 VR 영상 중 상기 사용자의 전방 측 180도 범위의 영역을 제공할 수 있는 최소각이며,
    상기 감지된 HMD 디바이스가 지향하는 방향이 상기 임계 각도 내에서 변경되면 상기 제1 부분을 제공하고,
    상기 감지된 HMD 디바이스가 지향하는 방향이 상기 임계 각도를 벗어나도록 변경되면 상기 VR 영상 중 제2 부분을 제공하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
    상기 VR 영상의 제1 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 동일한 사이즈이고,
    상기 VR 영상의 제2 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 더 회전된 방향에 대응되는 영역인, HMD 디바이스.
  2. 제1항에 있어서,
    상기 VR 영상의 제2 부분은,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 오른쪽이면, 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 영상으로 구성되고,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 왼쪽이면, 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 영상으로 구성되는, HMD 디바이스.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 전방 방향으로부터 상기 HMD 디바이스가 지향하는 방향까지의 방위각을 판단하고,
    상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경 내에서 변경되면 상기 제1 부분을 제공하고,
    상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경을 벗어나도록 변경되면 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는 HMD 디바이스.
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는,
    사용자 입력에 따라 사용자가 고개를 돌려 상기 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정하고,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, 상기 VR 영상이 상기 설정된 최대 회전 반경 범위 내에서 상기 디스플레이에 모두 제공될 수 있도록, 상기 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측이 서로 상이한 영상의 사이즈를 갖는 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  6. 제1항에 있어서,
    상기 프로세서는,
    기설정된 회전 반경의 끝 부근에서 상기 HMD 디바이스의 지향 방향이 감지되는 경우, 상기 끝 부근의 방향 측의 영상의 사이즈를 더 확대한 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  7. 제1항에 있어서,
    상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 센서;를 더 포함하고,
    상기 프로세서는,
    상기 감지된 사용자의 시선이 상기 디스플레이에 제공되는 영상의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향 측의 영상의 사이즈를 확대한 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  8. 제1항에 있어서,
    입체 음향을 출력하는 오디오 인터페이스;를 더 포함하고,
    상기 프로세서는,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 상기 일정 범위를 벗어나도록 변경되면, 상기 디스플레이에서 제공되는 상기 제2 부분과 대응되도록, 상기 입체 음향에 의해 재현되는 음원의 위치가 좌측 및 우측 중 어느 한 측으로 편향되도록 상기 오디오 인터페이스를 제어하는, HMD 디바이스.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스의 지향 방향이 이루는 각도에 1보다 큰 양의 승수로 곱한 각도를 향하는 시야 범위의 영상을 상기 제2 부분으로 제공하도록 상기 디스플레이를 제어하는, HMD 디바이스.
  10. 제9항에 있어서,
    상기 승수는,
    상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적인, HMD 디바이스.
  11. VR(Virtual Reality) 영상을 제공하는 서비스를 제공하기 위한 HMD(Head Mounted Display) 디바이스의 제어 방법에 있어서,
    사용자의 전방 방향을 기준으로 HMD 디바이스가 지향하는 방향을 감지하는 단계;
    상기 사용자의 전방을 기준으로 일정 범위에 대응하는 임계 각도를 설정하는 단계; 상기 임계 각도는 상기 VR 영상 중 제1 부분으로 상기 VR 영상 중 상기 사용자의 전방 측 180도 범위의 영역을 제공할 수 있는 최소각이며,
    상기 감지된 HMD 디바이스가 지향하는 방향이 상기 임계 각도 내에서 변경되면 상기 제1 부분을 제공하고, 상기 감지된 HMD 디바이스가 지향하는 방향이 상기 임계 각도를 벗어나도록 변경되면 상기 VR 영상 중 제2 부분을 제공하도록 상기 HMD 디바이스의 디스플레이를 제어하는 단계; 를 포함하고,
    상기 VR 영상의 제1 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 좌측 및 우측의 영상이 동일한 사이즈이고, 상기 VR 영상의 제2 부분은 상기 변경된 HMD 디바이스의 지향하는 방향을 기준으로 더 회전된 방향에 대응되는 영역인, 제어 방법.
  12. 제11항에 있어서,
    상기 VR 영상의 제2 부분은,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 오른쪽이면, 우측 영상의 사이즈가 좌측 영상의 사이즈보다 더 큰 영상으로 구성되고,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스가 지향하는 방향이 왼쪽이면, 좌측 영상의 사이즈가 우측 영상의 사이즈보다 더 큰 영상으로 구성되는, 제어 방법.
  13. 제11항에 있어서,
    상기 제어하는 단계는,
    상기 사용자의 전방 방향으로부터 상기 HMD 디바이스가 지향하는 방향까지의 방위각을 판단하는 단계; 및
    상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경 내에서 변경되면 상기 제1 부분을 제공하고, 상기 판단된 방위각의 크기가 상기 일정 범위에 대응하는 회전 반경을 벗어나도록 변경되면 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는 단계;를 포함하는, 제어 방법.
  14. 삭제
  15. 제11항에 있어서,
    사용자 입력에 따라 사용자가 고개를 돌려 상기 HMD 디바이스를 회전시킬 수 있는 최대 회전 반경을 설정하는 단계;를 더 포함하고,
    상기 제어하는 단계는,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, 상기 VR 영상이 상기 설정된 최대 회전 반경 범위 내에서 상기 디스플레이에 모두 제공될 수 있도록, 상기 HMD 디바이스의 지향 방향을 기준으로 좌측 및 우측이 서로 상이한 영상의 사이즈를 갖는 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, 제어 방법.
  16. 제11항에 있어서,
    상기 제어하는 단계는,
    기설정된 회전 반경의 끝 부근에서 상기 HMD 디바이스의 지향 방향이 감지되는 경우, 상기 끝 부근의 방향 측의 영상의 사이즈를 더 확대한 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, 제어 방법.
  17. 제11항에 있어서,
    상기 HMD 디바이스를 착용한 사용자의 시선을 감지하는 단계;를 더 포함하고,
    상기 제어하는 단계는,
    상기 감지된 사용자의 시선이 상기 디스플레이에 제공되는 영상의 가장자리 부근을 향하는 경우, 상기 가장자리 부근의 방향 측의 영상 사이즈를 확대한 상기 제2 부분을 제공하도록 상기 디스플레이를 제어하는, 제어 방법.
  18. 제11항에 있어서,
    입체 음향을 출력하는 단계;를 더 포함하고,
    상기 제어하는 단계는,
    상기 감지된 HMD 디바이스가 지향하는 방향이 사용자의 전방을 기준으로 일정 범위를 벗어나도록 변경되면, 상기 디스플레이에서 제공되는 상기 제2 부분과 대응되도록, 상기 입체 음향에 의해 재현되는 음원의 위치가 좌측 및 우측 중 어느 한 측으로 더 편향된 방향에서 상기 음원이 재현되도록 상기 HMD 디바이스의 오디오 인터페이스를 제어하는 단계;를 더 포함하는, 제어 방법.
  19. 제11항에 있어서,
    상기 제어하는 단계는,
    상기 사용자의 전방을 기준으로 상기 HMD 디바이스의 지향 방향이 이루는 각도에 1보다 큰 양의 승수로 곱한 각도를 향하는 시야 범위의 영상을 상기 제2 부분으로 제공하도록 상기 디스플레이를 제어하는, 제어 방법.
  20. 제19항에 있어서,
    상기 승수는,
    상기 전방을 기준으로 상기 감지된 지향 방향이 이루는 각도에 따라 가변적인, 제어 방법.
KR1020160008202A 2016-01-22 2016-01-22 Hmd 디바이스 및 그 제어 방법 Active KR102524641B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160008202A KR102524641B1 (ko) 2016-01-22 2016-01-22 Hmd 디바이스 및 그 제어 방법
US16/062,402 US10845869B2 (en) 2016-01-22 2016-11-22 HMD device and control method therefor
EP16886640.8A EP3376278B1 (en) 2016-01-22 2016-11-22 Hmd device and control method therefor
PCT/KR2016/013497 WO2017126797A1 (ko) 2016-01-22 2016-11-22 Hmd 디바이스 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160008202A KR102524641B1 (ko) 2016-01-22 2016-01-22 Hmd 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20170088181A KR20170088181A (ko) 2017-08-01
KR102524641B1 true KR102524641B1 (ko) 2023-04-21

Family

ID=59361894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160008202A Active KR102524641B1 (ko) 2016-01-22 2016-01-22 Hmd 디바이스 및 그 제어 방법

Country Status (4)

Country Link
US (1) US10845869B2 (ko)
EP (1) EP3376278B1 (ko)
KR (1) KR102524641B1 (ko)
WO (1) WO2017126797A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR102005744B1 (ko) 2017-11-24 2019-07-31 (주)텔리언 밀리미터 위치 센서를 구비한 헤드 마운트 디바이스
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
KR102651104B1 (ko) 2018-02-13 2024-03-26 삼성디스플레이 주식회사 디스플레이 장치 및 이를 포함하는 디스플레이 시스템
KR102444924B1 (ko) * 2019-04-04 2022-09-19 주식회사 빌리버 가상 현실 장치 및 그 제어 방법
CN110346937A (zh) * 2019-07-23 2019-10-18 业成科技（成都）有限公司 后置式头戴虚拟现实显示设备
CN119232909A (zh) 2019-07-28 2024-12-31 谷歌有限责任公司 利用注视点网格渲染沉浸式视频内容的方法、系统和介质
CN114846434A (zh) 2019-10-25 2022-08-02 奇跃公司 非均匀立体渲染
FR3120959B1 (fr) * 2021-03-22 2023-10-06 Airbus Helicopters Procede et systeme de visualisation et de gestion d'une situation de l'environnement d'un aeronef

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129688A1 (en) * 2005-12-06 2008-06-05 Naturalpoint, Inc. System and Methods for Using a Movable Object to Control a Computer
JP2011203446A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US20150346832A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
US20160018645A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742263A (en) 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
JP2004213350A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
EP1585332B1 (en) 2003-01-17 2007-11-28 Nippon Telegraph and Telephone Corporation Remote video display method, video acquisition device, method thereof, and program thereof
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US7224326B2 (en) * 2004-03-03 2007-05-29 Volo, Llc Virtual reality system
US20130063477A1 (en) * 2004-12-06 2013-03-14 James Richardson Systems and methods for using a movable object to control a computer
IL194701A (en) 2008-10-12 2012-08-30 Rafael Advanced Defense Sys Method and system for displaying a panoramic view to an operator
KR101692433B1 (ko) 2010-01-07 2017-01-03 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
KR20130054569A (ko) * 2011-11-17 2013-05-27 재단법인대구경북과학기술원 머리 위치에 따른 3차원 음향 구현장치 및 그 방법
US8767040B2 (en) 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
JP5880115B2 (ja) 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
IN2015KN00682A (ko) * 2012-09-03 2015-07-17 Sensomotoric Instr Ges Für Innovative Sensorik Mbh
EP2979446A1 (en) * 2013-03-26 2016-02-03 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US20160088417A1 (en) * 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same
KR20150026201A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 디지털 디바이스 및 제어 방법
KR20150122355A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR102246553B1 (ko) 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US9798143B2 (en) * 2014-08-11 2017-10-24 Seiko Epson Corporation Head mounted display, information system, control method for head mounted display, and computer program
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129688A1 (en) * 2005-12-06 2008-06-05 Naturalpoint, Inc. System and Methods for Using a Movable Object to Control a Computer
JP2011203446A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
US20160018645A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US20150346832A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content

Also Published As

Publication number Publication date
KR20170088181A (ko) 2017-08-01
US20180356884A1 (en) 2018-12-13
US10845869B2 (en) 2020-11-24
EP3376278A1 (en) 2018-09-19
EP3376278B1 (en) 2022-01-05
EP3376278A4 (en) 2018-12-26
WO2017126797A1 (ko) 2017-07-27

Similar Documents

Publication Publication Date Title
KR102524641B1 (ko) Hmd 디바이스 및 그 제어 방법
EP2980628B1 (en) Wearable glasses and a method of displaying image via the wearable glasses
US11164546B2 (en) HMD device and method for controlling same
US9423827B2 (en) Head mounted display for viewing three dimensional images
US9851803B2 (en) Autonomous computing and telecommunications head-up displays glasses
JP6177872B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US20140375531A1 (en) Method of roviding to the user an image from the screen of the smartphome or tablet at a wide angle of view, and a method of providing to the user 3d sound in virtual reality
US20160132189A1 (en) Method of controlling the display of images and electronic device adapted to the same
KR20150093054A (ko) 변형 가능한 디스플레이를 포함하는 전자 장치 및 그의 운용 방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US20220291744A1 (en) Display processing device, display processing method, and recording medium
TW201604587A (zh) 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
EP3402410B1 (en) Detection system
KR20190131737A (ko) 외부 객체에 대한 접촉 상태에 기반한 가이드 정보를 제공하는 웨어러블 전자 장치 및 그 동작 방법
US11579704B2 (en) Systems and methods for adaptive input thresholding
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
JP7527778B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
US12022256B1 (en) Systems and methods for providing in-groove beamforming microphones
JP2018091882A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
WO2022235250A1 (en) Handheld controller with thumb pressure sensing
US11726552B1 (en) Systems and methods for rendering a trigger finger
US20240103626A1 (en) Haptic ring
US11722137B1 (en) Variable-distance proximity detector

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160122

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210120

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160122

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220817

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230117

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230418

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230419

End annual number: 3

Start annual number: 1

PG1601 Publication of registration