[go: up one dir, main page]

KR101989893B1 - 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법 - Google Patents

헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법 Download PDF

Info

Publication number
KR101989893B1
KR101989893B1 KR1020120120312A KR20120120312A KR101989893B1 KR 101989893 B1 KR101989893 B1 KR 101989893B1 KR 1020120120312 A KR1020120120312 A KR 1020120120312A KR 20120120312 A KR20120120312 A KR 20120120312A KR 101989893 B1 KR101989893 B1 KR 101989893B1
Authority
KR
South Korea
Prior art keywords
hmd
external digital
output
audio signal
digital device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120120312A
Other languages
English (en)
Other versions
KR20140054611A (ko
Inventor
조은형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120120312A priority Critical patent/KR101989893B1/ko
Priority to US13/686,596 priority patent/US9374549B2/en
Priority to PCT/KR2013/007666 priority patent/WO2014069776A1/en
Priority to EP13851657.0A priority patent/EP2912514B1/en
Publication of KR20140054611A publication Critical patent/KR20140054611A/ko
Application granted granted Critical
Publication of KR101989893B1 publication Critical patent/KR101989893B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35503—Eye tracking associated with head mounted display to detect eye position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은, 외부 디지털 디바이스의 오디오 신호를 HMD를 통해 출력할 때 해당 오디오 신호의 지향성 출력 여부에 기초하여 출력하는 HMD에 관한 것이다. 이를 위해 본 발명은, HMD와 커넥팅 된 적어도 하나의 외부 디지털 디바이스의 오디오 신호를 수신하는 단계; 상기 수신된 오디오 신호를 지향성으로 출력할지 여부를 판별하는 단계; 상기 수신된 오디오 신호를 지향성으로 출력할 경우, 해당 오디오 신호에 대응하는 외부 디지털 디바이스의 위치 정보를 디텍트 하는 단계, 상기 위치 정보는 상기 HMD에 대한 상기 외부 디지털 디바이스의 상대적인 위치를 나타냄; 상기 위치 정보에 기초하여 상기 외부 디지털 디바이스의 위치 상태를 디텍트 하는 단계, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하지 않는 제 2 상태를 포함함; 및 디텍트 된 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 상기 오디오 신호를 출력하는 단계, 상기 오디오 신호의 출력은 좌 출력 및 우 출력을 포함하며, 상기 좌 출력 및 우 출력 중 적어도 하나는 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 조절됨;을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 오디오 신호 출력 방법을 제공한다.

Description

헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법{A Head Mounted Display and A Method of Outputting Audio Signal Using the Same}
본 발명은, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이용한 오디오 신호 출력 방법에 관한 것으로, 더욱 상세하게는 외부 디지털 디바이스의 오디오 신호를 HMD를 통해 출력할 때 해당 오디오 신호의 지향성 출력 여부에 기초하여 출력하는 HMD에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합 되어 유저에게 다양한 편의를 제공할 수 있다.
HMD는 다양한 외부 디지털 디바이스와 연계하여 사용 가능하다. HMD는 외부 디지털 디바이스와 통신을 수행하여 해당 외부 디지털 디바이스의 컨텐츠를 출력할 수 있으며, 상기 외부 디지털 디바이스를 위한 유저 입력을 수신하거나 해당 외부 디지털 디바이스와 연동한 작업의 수행도 가능하다.
본 발명은 HMD와 커넥팅 된 외부 디지털 디바이스의 오디오 신호를 HMD를 통해 출력하기 위한 목적을 가지고 있다. 이때, 본 발명은 HMD를 통해 현장감 있는 사운드를 유저에게 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 적어도 하나의 외부 디지털 디바이스의 오디오 신호를 체계적으로 유저에게 제공하기 위한 목적을 가지고 있다. 즉, HMD와 커넥팅 된 적어도 하나의 외부 디지털 디바이스 중 유저가 관심을 갖는 외부 디지털 디바이스를 판별하고, 유저가 해당 외부 디지털 디바이스의 오디오 신호의 출력을 집중하여 들을 수 있도록 하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)는, 상기 HMD의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 오디오를 출력하는 오디오 출력 유닛, 상기 오디오 출력 유닛은 좌 채널 출력 유닛 및 우 채널 출력 유닛을 포함함; 상기 HMD와 커넥팅 된 적어도 하나의 외부 디지털 디바이스를 디텍트하고, 디텍트 한 결과를 상기 프로세서에 전달하는 센서 유닛; 및 상기 프로세서의 명령에 기초하여 상기 외부 디지털 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛을 포함하되, 상기 프로세서는, 상기 외부 디지털 디바이스의 오디오 신호를 수신하고, 상기 수신된 오디오 신호를 지향성으로 출력할지 여부를 판별하고, 상기 수신된 오디오 신호를 지향성으로 출력할 경우, 해당 오디오 신호에 대응하는 외부 디지털 디바이스의 위치 정보를 디텍트 하되, 상기 위치 정보는 상기 HMD에 대한 상기 외부 디지털 디바이스의 상대적인 위치를 나타내고, 상기 위치 정보에 기초하여 상기 외부 디지털 디바이스의 위치 상태를 디텍트 하되, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하지 않는 제 2 상태를 포함하고, 디텍트 된 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 상기 오디오 신호를 출력하되, 상기 오디오 신호의 출력은 좌 채널 출력 및 우 채널 출력을 포함하며, 상기 좌 채널 출력 및 우 채널 출력 중 적어도 하나는 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 조절됨 을 특징으로 한다.
또한, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(HMD)를 이용한 오디오 신호 출력 방법은, 상기 HMD와 커넥팅 된 적어도 하나의 외부 디지털 디바이스의 오디오 신호를 수신하는 단계; 상기 수신된 오디오 신호를 지향성으로 출력할지 여부를 판별하는 단계; 상기 수신된 오디오 신호를 지향성으로 출력할 경우, 해당 오디오 신호에 대응하는 외부 디지털 디바이스의 위치 정보를 디텍트 하는 단계, 상기 위치 정보는 상기 HMD에 대한 상기 외부 디지털 디바이스의 상대적인 위치를 나타냄; 상기 위치 정보에 기초하여 상기 외부 디지털 디바이스의 위치 상태를 디텍트 하는 단계, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하지 않는 제 2 상태를 포함함; 및 디텍트 된 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 상기 오디오 신호를 출력하는 단계, 상기 오디오 신호의 출력은 좌 출력 및 우 출력을 포함하며, 상기 좌 출력 및 우 출력 중 적어도 하나는 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 조절됨;을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, HMD는 외부 디지털 디바이스의 오디오 신호를 출력할 수 있으며, 해당 외부 디지털 디바이스의 위치에 연동하여 현장감 있는 사운드를 제공할 수 있다. 즉, 유저는 외부 디지털 디바이스의 오디오 신호가 해당 외부 디지털 디바이스가 위치한 곳에서 실제로 출력되는 것처럼 느낄 수 있게 된다.
또한, 본 발명의 실시예에 따르면 HMD는 외부 디지털 디바이스가 HMD의 화각 영역 내에 위치하는지 여부에 따라 유저의 시선이 향하는 외부 디지털 디바이스를 판별할 수 있고, 이에 기초하여 각 외부 디지털 디바이스의 오디오 신호의 출력 레벨을 조절할 수 있다. 따라서, 본 발명의 HMD는 유저가 관심 있게 듣고자 하는 외부 디지털 디바이스의 오디오 신호를 선별하고, 해당 오디오 신호의 출력 레벨의 강약을 조절할 수 있다.
또한, 본 발명의 실시예에 따르면 유저는 HMD를 통해 복수의 외부 디지털 디바이스의 오디오 신호 출력을 함께 제공받을 수 있다. 이때, 유저는 복수의 오디오 신호의 출력을 각각 대응하는 외부 디지털 디바이스의 위치에 따라 입체적으로 제공받을 수 있다.
또한, 본 발명의 실시예에 따라 HMD는 화각 영역 내에 위치하지 않는 외부 디지털 디바이스의 오디오 신호의 출력을 낮추거나 차단할 수 있다. 이때, HMD는 복수의 외부 디지털 디바이스의 오디오 신호 출력 간의 간섭을 방지할 수 있으며, 유저는 자신이 바라보는 외부 디지털 디바이스의 오디오 신호를 선별하여 들을 수 있다.
도 1은 본 발명의 실시예에 따른 HMD를 나타낸 도면.
도 2는 본 발명의 실시예에 따른 HMD 및 상기 HMD와 커넥팅 된 외부 디지털 디바이스를 나타낸 도면.
도 3 및 도 4는 본 발명의 HMD를 통해 외부 디지털 디바이스의 오디오 신호를 출력하는 일 실시예를 나타낸 도면.
도 5 및 도 6은 본 발명의 HMD를 통해 외부 디지털 디바이스의 오디오 신호를 출력하는 다른 실시예를 나타낸 도면.
도 7은 본 발명의 일 실시예에 따라 HMD가 외부 디지털 디바이스의 위치 정보를 디텍트하고, 디텍트 된 위치 정보에 기초하여 오디오 신호를 출력하는 방법을 나타낸 도면.
도 8은 본 발명의 다른 실시예에 따라 외부 디지털 디바이스의 오디오 신호를 출력하는 방법을 나타낸 도면.
도 9 내지 도 13은 본 발명의 실시예에 따라 HMD가 오디오 신호의 출력을 위한 유저 인터페이스를 제공하는 모습을 나타낸 도면.
도 14는 본 발명의 실시예에 따른 HMD를 나타낸 블록도.
도 15는 본 발명의 실시예에 따른 오디오 신호 출력 방법을 나타낸 순서도.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 HMD(100)를 나타내고 있다. 본 발명의 실시예에 따른 HMD(100)는 디스플레이 유닛(120) 및 오디오 출력 유닛(130)을 구비한다.
상기 디스플레이 유닛(120)은 HMD(100)의 프로세서(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 한다. 본 발명의 실시예에서 디스플레이 유닛(120)은 디스플레이 스크린을 구비하여, 상기 디스플레이 스크린에 이미지가 맺히도록 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(120)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(100)의 전방 방향의 특정 위치에 이미지를 투영할 수 있다.
본 발명의 실시예에 따른 HMD(100)의 오디오 출력 유닛(130)은 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)을 포함한다. 상기 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 본 발명의 실시예에서 오디오 출력 유닛(130)은 오디오 신호를 가청 주파수로 출력하는 스피커, 이어폰 등의 출력 유닛과 이를 제어하는 제어 모듈을 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 HMD(100) 및 상기 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200a, 200b, 200c)를 나타낸 도면이다. 본 발명의 실시예에서 HMD(100)는 적어도 하나의 외부 디지털 디바이스(200a, 200b, 200c)와 커넥팅 되어, 해당 외부 디지털 디바이스(200a, 200b, 200c)와 데이터를 송/수신할 수 있다. 특히, 본 발명의 HMD(100)는 각 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 수신하고, 해당 오디오 신호를 오디오 출력 유닛(미도시)을 통해 출력할 수 있다.
본 발명에서 외부 디지털 디바이스는 HMD(100)에 오디오 신호를 송신할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. 예를 들어, 외부 디지털 디바이스는 스마트폰, PC, PDA(Personal Digital Assistant), 노트북, 태블릿 피씨, TV, 뮤직 플레이어 등을 포함하며, 이 외에도 오디오 신호를 송신할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. 도 2의 실시예에서 외부 디지털 디바이스 200a는 논-태블릿(non-tablet) 디바이스 중 하나인 TV, 외부 디지털 디바이스 200b는 로봇 강아지, 외부 디지털 디바이스 200c는 태블릿(tablet) 디바이스 중 하나인 뮤직 플레이어를 나타낸다. 본 발명의 실시예에서, 외부 디지털 디바이스는 커뮤니케이션 유닛(미도시)을 구비할 수 있으며, 상기 커뮤니케이션 유닛을 통해 HMD(100)와 오디오 신호 등의 데이터를 송/수신 할 수 있다.
한편, HMD(100)는 적어도 하나의 외부 디지털 디바이스(200a, 200b, 200c)와 커넥팅 되어 작동할 수 있다. 상기 HMD(100)와 각 외부 디지털 디바이스(200a, 200b, 200c)간의 커넥팅을 위해 별도의 페어링 또는 통신 접속이 수행될 수 있으며, 이러한 페어링 또는 통신 접속 작업은 HMD(100) 또는 각 외부 디지털 디바이스(200a, 200b, 200c)를 통한 유저 입력에 의해 수행될 수 있다. 예를 들어, HMD(100)는 외부 디지털 디바이스(200a, 200b, 200c)와의 페어링 또는 통신 접속을 위한 별도의 버튼 또는 유저 인터페이스를 제공할 수 있으며, 유저는 상기 버튼 또는 유저 인터페이스를 이용한 유저 입력을 통해 HMD(100)와 외부 디지털 디바이스(200a, 200b, 200c) 간의 페어링 또는 통신 접속을 수행할 수 있다.
본 발명의 실시예에서 HMD(100)는 다양한 유/무선 통신 수단을 이용하여 외부 디지털 디바이스(200a, 200b, 200c)와 데이터를 송/수신 한다. 이때, 사용 가능한 무선 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 와이파이 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(100)는 앞서 열거된 통신 수단 중 어느 하나, 또는 이들 간의 조합을 이용하여 각 외부 디지털 디바이스(200a, 200b, 200c)와 커넥팅 되어 통신을 수행할 수 있다.
본 발명의 실시예에 따른 HMD(100)는 도 1에 도시된 오디오 출력 유닛(130)을 이용하여 오디오 신호의 출력이 가능하다. 예를 들어, HMD(100)는 프로세서(미도시)의 명령에 기초하여 실행중인 컨텐츠의 오디오 신호를 출력할 수 있으며, HMD(100)에서 제공하는 유저 인터페이스에 대응하는 오디오 신호를 출력할 수 있다. 또한, 본 발명에 따른 HMD(100)는 커넥팅 된 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 각각 수신하고, 해당 오디오 신호를 출력한다. 이때, 각 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호는 해당 외부 디지털 디바이스(200a, 200b, 200c)를 통해 직접 출력되지 않고, 상기 HMD(100)를 통해 출력될 수 있다.
본 발명에서, HMD(100)는 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 정보를 디텍트 하고, 디텍트 된 위치 정보에 기초하여 해당 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 출력한다. 상기 위치 정보는 HMD(100)에 대한 각 외부 디지털 디바이스(200a, 200b, 200c)의 상대적인 위치, 즉 거리 및 방향 정보를 나타낸다. HMD(100)는 다양한 수단을 이용하여 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 정보를 디텍트 할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 위치 정보에 기초하여, 각 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호의 출력 레벨을 조절할 수 있다.
한편, 본 발명의 HMD(100)는 기 설정된 범위의 화각 영역(102)을 가질 수 있다. 상기 화각 영역(102)은 HMD(100)를 착용한 유저(10)의 시야에 대응하는 기 설정된 영역으로서, HMD(100)의 전방 방향으로 일정한 각도 이내의 영역을 포함한다. 본 발명의 실시예에 따르면, HMD(100)는 상기 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200a, 200b, 200c)가 HMD(100)의 화각 영역(102)에 위치하는지 여부를 디텍트 할 수 있다. 즉, HMD(100)는 상기 HMD(100)와 연동된 외부 디지털 디바이스(200a, 200b, 200c)의 위치 상태를 디텍트 할 수 있는데, 본 발명에서 상기 위치 상태는 외부 디지털 디바이스(200)가 HMD(100)의 화각 영역(102)에 위치하는 제 1 상태와, 외부 디지털 디바이스(200)가 HMD(100)의 화각 영역(102)에 위치하지 않는 제 2 상태를 포함할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 외부 디지털 디바이스(200a, 200b, 200c)의 위치 정보를 이용하여, 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 상태를 판별할 수 있다.
본 발명의 일 실시예에 따르면, HMD(100)는 상기 디텍트 된 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 상태에 기초하여 해당 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 출력할 수 있다. 이와 같이, 본 발명의 실시예에 따른 HMD(100)는 디텍트 된 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 정보 및 위치 상태 중 적어도 하나에 기초하여, 해당 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호의 출력을 조절할 수 있다. 이에 대한 구체적인 실시예는 후술하도록 한다.
도 3 내지 도 6은 본 발명의 HMD(100)가 도 2에 도시된 적어도 하나의 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 출력하는 구체적인 실시예를 나타내고 있다. 도 3 내지 도 6의 실시예에서 HMD(100)는 외부 디지털 디바이스 200a, 200b 및 200c와 커넥팅 된 상태에 있다. 또한, 도 3 내지 도 6에서 외부 디지털 디바이스 200a 및 200b의 오디오 신호는 지향성으로 출력되도록 설정되어 있으며(directivity ‘on’), 외부 디지털 디바이스 200c의 오디오 신호는 비지향성으로 출력되도록 설정되어 있다(directivity ‘off’). 본 발명에서 지향성 출력이란 오디오 신호가 해당 외부 디지털 디바이스의 위치에 연동하여 출력이 조절 되는 것을 가리킨다. 즉, 지향성으로 출력되는 오디오 신호를 유저가 듣게 되면, 유저는 해당 외부 디지털 디바이스가 위치한 방향에서 상기 오디오 신호가 들려오는 것처럼 느끼게 된다. 또한, 비지향성 출력이란 오디오 신호가 해당 외부 디지털 디바이스의 위치에 관계없이 기 설정된 출력 레벨로 출력되는 것을 가리킨다.
본 발명의 실시예에서 오디오 신호의 지향성 출력 여부는 다양한 방법으로 결정될 수 있다. 예를 들어, HMD(100)는 각 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호에 대응하는 부가 데이터를 수신할 수 있으며, 상기 부가 데이터로부터 해당 오디오 신호의 지향성 출력 여부를 판별할 수 있다. 또는, HMD(100)는 각 외부 디지털 디바이스(200a, 200b, 200c)의 디바이스 정보에 기초하여, 해당 오디오 신호의 지향성 출력 여부를 판별할 수 있다. 이때, 각 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호는 해당하는 디바이스의 종류별로 지향성 출력 여부가 미리 설정될 수 있다. 또는, 각 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호는 유저(10)의 별도의 입력 또는 설정에 기초하여 개별적으로 지향성 출력 여부가 결정될 수 있다.
도 3 및 도 4는 HMD(100)가 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 정보에 기초하여 해당 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 출력하는 실시예를 나타내고 있다.
도 3을 참조하면, HMD(100)를 착용한 유저는 외부 디지털 디바이스 200b 즉, 로봇 강아지를 바라보고 있다. 따라서, 외부 디지털 디바이스 200a, 200b 및 200c는 각각 HMD(100)를 착용한 유저(10)의 좌측, 정면 및 우측에 위치해 있다. HMD(100)는 각 외부 디지털 디바이스 200a, 200b, 200c의 오디오 신호 ‘Device a’, ‘Device b’, ‘Device c’를 수신하고, 수신된 오디오 신호 ‘Device a’, ‘Device b’, ‘Device c’를 출력한다. 이때, HMD(100)는 각 외부 디지털 디바이스 200a, 200b, 200c의 오디오 신호 ‘Device a’, ‘Device b’, ‘Device c’를 지향성으로 출력할지 여부를 판별한다. 만약, 지향성으로 출력하는 오디오 신호일 경우, HMD(100)는 해당 외부 디지털 디바이스의 위치 정보를 디텍트 하고, 디텍트 된 위치 정보에 기초하여 오디오 신호를 출력한다. 그러나 비지향성으로 출력하는 오디오 신호일 경우, HMD(100)는 해당 외부 디지털 디바이스의 위치 정보에 관계 없이 기 설정된 출력 레벨로 오디오 신호를 출력한다.
도 3의 실시예에서 외부 디지털 디바이스 200a의 오디오 신호 ‘Device a’ 및 200b의 오디오 신호 ‘Device b’는 지향성으로 출력되도록 설정되어 있으므로(directivity ‘on’), HMD(100)는 상기 외부 디지털 디바이스 200a 및 200b 각각의 위치 정보를 디텍트 한다. 외부 디지털 디바이스 200a 및 200b의 위치 정보가 디텍트 되면, HMD(100)는 디텍트 된 위치 정보에 기초하여 오디오 신호 ‘Device a’ 및 ‘Device b’를 출력한다. 이때, HMD(100)는 디텍트 된 위치 정보에 기초하여, 각 오디오 신호의 좌 채널 출력 및 우 채널 출력 간의 출력 레벨 차 및 출력 시간 차 중 적어도 하나를 조절할 수 있다. 예를 들어, 도 3에서 외부 디지털 디바이스 200a는 HMD(100)의 좌측에 위치해 있으므로, HMD(100)는 오디오 신호 ‘Device a’의 좌 채널 출력(L)의 출력 레벨을 우 채널 출력(R)의 출력 레벨보다 크게 조절할 수 있다. 또한, HMD(100)는 오디오 신호 ‘Device a’의 좌 채널 출력(L)이 우 채널 출력(R)보다 먼저 출력되도록 조절할 수 있다. 이때, 상기 오디오 신호 ‘Device a’의 좌 채널 출력(L)과 우 채널 출력(R)간의 출력 레벨 차 및 출력 시간 차 중 적어도 하나는 외부 디지털 디바이스 200a의 위치 정보에 기초하여 조절될 수 있다. 또한, 외부 디지털 디바이스 200b는 HMD(100)의 정면에 위치해 있으므로, HMD(100)는 오디오 신호 ‘Device b’의 좌 채널 출력(L)과 우 채널 출력(R)의 출력 레벨 및 출력 시간이 동일하도록 조절한다.
한편, 도 3에서 외부 디지털 디바이스 200c의 오디오 신호 ‘Device c’는 비지향성으로 출력되도록 설정되어 있으므로(directivity ‘off’), HMD(100)는 외부 디지털 디바이스 200c의 위치에 관계없이 해당 오디오 신호 ‘Device c’를 출력한다. 이때, HMD(100)는 상기 오디오 신호 ‘Device c’의 좌 채널 출력(L)과 우 채널 출력(R)의 출력 레벨 및 출력 시간을 동일하게 설정할 수 있다. 또한, HMD(100)는 상기 오디오 신호 ‘Device c’의 좌 채널 출력(L)과 우 채널 출력(R)을 기 설정된 출력 레벨로 출력할 수 있다. 따라서, HMD(100)는 오디오 신호 ‘Device c’를 유저(10)에게 배경음(background sound)으로써 제공할 수 있다.
다음으로, 도 4는 도 3의 유저(10)가 외부 디지털 디바이스 200a가 위치한 곳을 바라보는 상황을 나타내고 있다. 도 4에서 HMD(100)를 착용한 유저(10)는 외부 디지털 디바이스 200a 즉, TV를 바라보면서 화상 통화를 수행할 수 있다. 이때, 외부 디지털 디바이스 200a, 200b 및 200c는 각각 HMD(100)를 착용한 유저(10)의 정면, 우측 및 후면에 위치해 있다.
HMD(100)는 지향성으로 출력하는 오디오 신호 ‘Device a’ 및 ‘Device b’에 각각 대응하는 외부 디지털 디바이스 200a 및 200b의 위치 정보를 디텍트 하고, 디텍트 된 위치 정보에 기초하여 오디오 신호 ‘Device a’ 및 ‘Device b’를 출력한다. 도 4에서 외부 디지털 디바이스 200a는 HMD(100)의 정면에 위치해 있으므로, HMD(100)는 오디오 신호 ‘Device a’의 좌 채널 출력(L)과 우 채널 출력(R)의 출력 레벨 및 출력 시간이 동일하도록 조절한다. 반면에, 외부 디지털 디바이스 200b는 HMD(100)의 우측에 위치하게 되므로, HMD(100)는 오디오 신호 ‘Device b’의 우 채널 출력(R)의 출력 레벨을 좌 채널 출력(L)의 출력 레벨보다 크게 조절할 수 있다. 또한, HMD(100)는 오디오 신호 ‘Device b’의 우 채널 출력(R)이 좌 채널 출력(L)보다 먼저 출력되도록 조절할 수 있다. 이때, 상기 오디오 신호 ‘Device b’의 좌 채널 출력(L)과 우 채널 출력(R)간의 출력 레벨 차 및 출력 시간 차 중 적어도 하나는 외부 디지털 디바이스 200b의 위치 정보에 기초하여 조절될 수 있다.
한편, 외부 디지털 디바이스 200c의 오디오 신호는 비지향성으로 출력되도록 설정되어 있으므로(directivity ‘off’), HMD(100)는 외부 디지털 디바이스 200c의 위치 변화에 관계없이 해당 오디오 신호 ‘Device c’를 출력한다. 즉, 도 4에서 HMD(100)는 오디오 신호 ‘Device c’의 좌 채널 출력(L) 및 우 채널 출력(R)의 출력 레벨 및 출력 시간을 도 3에서와 동일하게 설정할 수 있다.
이와 같이 본 발명의 실시예에 의하면, HMD(100)는 지향성으로 출력하도록 설정된 오디오 신호를 출력할 때, 대응하는 외부 디지털 디바이스의 위치 정보에 기초하여 출력할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 외부 디지털 디바이스의 위치 정보에 기초하여 해당 오디오 신호를 3D(3 dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호이다. 더욱 구체적으로, HMD(100)는 외부 디지털 디바이스의 위치 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고, 생성된 HRTF 정보를 이용하여 해당 오디오 신호를 3D 오디오 신호로 변환할 수 있다. 상기 HRTF는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)를 의미하며, 상기 음원의 방위 정보 및 고도 정보에 따라 그 값을 달리한다. 방향성(즉, 지향성)이 없는 오디오 신호를 특정 방향의 HRTF로 필터링하면, 사람이 들었을 때 마치 상기 특정 방향에서 소리가 들리는 것처럼 느끼게 된다. 따라서, HMD(100)를 착용한 유저(10)는 외부 디지털 디바이스 200a의 오디오 신호 ‘Device a’와 외부 디지털 디바이스 200b의 오디오 신호 ‘Device b’가 각각의 외부 디지털 디바이스 200a 및 200b가 위치한 곳에서 들려오는 것처럼 느낄 수 있게 된다.
다음으로, 도 5 및 도 6은 본 발명의 다른 실시예에 따른 오디오 신호 출력 방법을 나타내고 있다. 도 5 및 도 6의 실시예에 따르면, HMD(100)는 각 외부 디지털 디바이스(200a, 200b, 200c)의 위치 정보 및 위치 상태에 기초하여 해당 외부 디지털 디바이스(200a, 200b, 200c)의 오디오 신호를 출력할 수 있다. 도 5 및 도 6의 실시예에서, 전술한 도 3 및 도 4의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 5 및 도 6의 실시예에서, HMD(100)는 외부 디지털 디바이스 200a, 200b, 200c의 오디오 신호‘Device a’, ‘Device b’, ‘Device c’를 수신하고, 수신된 각 오디오 신호 ‘Device a’, ‘Device b’, ‘Device c’를 지향성으로 출력할지 여부를 판별한다. 다음으로, HMD(100)는 지향성으로 출력하는 오디오 신호 ‘Device a’ 및 ‘Device b’에 각각 대응하는 외부 디지털 디바이스 200a 및 200b의 위치 정보를 디텍트 한다. 또한, HMD(100)는 상기 외부 디지털 디바이스 200a 및 200b 각각의 위치 상태를 상기 위치 정보와 함께 디텍트 한다. 본 발명의 실시예에서, 상기 위치 상태는 외부 디지털 디바이스가 HMD(100)의 화각 영역(102)에 위치하는 제 1 상태와 외부 디지털 디바이스가 HMD(100)의 화각 영역(102)에 위치하지 않는 제 2 상태를 포함한다. 본 발명의 실시예에 따르면, HMD(100)는 상기 외부 디지털 디바이스 200a 및 200b의 위치 정보를 이용하여, 해당 외부 디지털 디바이스의 위치 상태를 획득할 수 있다. 이와 같이 외부 디지털 디바이스 200a 및 200b의 위치 정보와 위치 상태가 디텍트 되면, HMD(100)는 디텍트 된 위치 정보 및 위치 상태에 기초하여 오디오 신호 ‘Device a’ 및 ‘Device b’를 출력한다. 이때, HMD(100)는 각 외부 디지털 디바이스 200a 및 200b의 위치 상태에 기초하여, 해당 오디오 신호 ‘Device a’ 및 ‘Device b’의 전체적인 출력 레벨을 조절할 수 있다.
도 5의 실시예에 따르면, 외부 디지털 디바이스 200a는 HMD(100)의 화각 영역(102)에 위치하지 않으며(즉, 제 2 상태), 외부 디지털 디바이스 200b는 HMD(100)의 화각 영역(102)에 위치한다(즉, 제 1 상태). 이때, HMD(100)는 화각 영역(102)에 위치하는 외부 디지털 디바이스 200b의 오디오 신호 ‘Device b’를 상기 외부 디지털 디바이스 200b의 위치 정보에 기초하여 출력한다. 즉, HMD(100)는 오디오 신호 ‘Device b’를 정상 출력 레벨로 출력하되 외부 디지털 디바이스 200b의 위치 정보에 기초하여 좌 채널 출력(L) 및 우 채널 출력(R)의 출력 레벨 및 출력 시간 중 적어도 하나를 조절할 수 있다. 그러나, HMD(100)는 화각 영역(102)에 위치하지 않는 외부 디지털 디바이스 200a의 오디오 신호 ‘Device a’의 출력을 차단할 수 있다. 본 발명의 다른 실시예에 따르면, HMD(100)는 오디오 신호 ‘Device a’를 출력하되, 해당 오디오 신호의 좌 채널 출력(L) 및 우 채널 출력(R)의 출력 레벨을 기 설정된 레벨 이하로 낮출 수 있다. 따라서, 유저(10)는 자신이 바라보는 외부 디지털 디바이스 200b의 오디오 신호 ‘Device b’를 선별하여 들을 수 있게 된다.
다음으로, 도 6에 도시된 바와 같이 HMD(100)를 착용한 유저(10)가 외부 디지털 디바이스 200a가 위치한 곳을 바라보게 되면, 외부 디지털 디바이스 200a는 HMD(100)의 화각 영역(102)에 위치하게 되며(즉, 제 1 상태), 외부 디지털 디바이스 200b는 HMD(100)의 화각 영역(102)에 위치하지 않게 된다(즉, 제 2 상태). 따라서, HMD(100)는 화각 영역(102)에 위치하지 않는 외부 디지털 디바이스 200b의 오디오 신호 ‘Device b’의 출력을 차단하거나, 오디오 신호 ‘Device b’의 좌 채널 출력(L) 및 우 채널 출력(R)의 출력 레벨을 기 설정된 레벨 이하로 낮출 수 있다. 한편, HMD(100)는 화각 영역(102)에 위치하는 외부 디지털 디바이스 200a의 오디오 신호 ‘Device a’를 상기 외부 디지털 디바이스 200a의 위치 정보에 기초하여 출력한다. 즉, HMD(100)는 오디오 신호 ‘Device a’를 정상 출력 레벨로 출력하되 외부 디지털 디바이스 200a의 위치 정보에 기초하여 좌 채널 출력(L) 및 우 채널 출력(R)의 출력 레벨 및 출력 시간 중 적어도 하나를 조절할 수 있다. 따라서, 유저(10)는 자신이 바라보는 외부 디지털 디바이스 200a의 오디오 신호 ‘Device a’를 선별하여 들을 수 있게 된다.
한편 도 5 및 도 6의 실시예에서, 외부 디지털 디바이스 200c의 오디오 신호 ‘Device c’는 비지향성으로 출력되도록 설정되어 있으므로(directivity ‘off’), HMD(100)는 외부 디지털 디바이스 200c의 위치에 관계없이 해당 오디오 신호 ‘Device c’를 출력한다. 즉, HMD(100)는 도 3의 실시예와 같이 오디오 신호 ‘Device c’를 유저(10)에게 배경음(background sound)으로써 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따라 HMD(100)가 외부 디지털 디바이스(200)의 위치 정보를 디텍트 하고, 디텍트 된 위치 정보에 기초하여 오디오 신호를 출력하는 방법을 나타내고 있다.
본 발명의 일 실시예에 따르면, HMD(100)는 카메라 유닛(152)을 이용하여 외부 디지털 디바이스(200)의 위치 정보를 디텍트 할 수 있다. 예를 들어, HMD(100)는 카메라 유닛(152)을 이용하여 화각 영역(102) 내에 위치한 외부 디지털 디바이스(200)의 이미지를 디텍트하고, 디텍트 된 이미지를 이용하여 외부 디지털 디바이스(200)의 위치 정보를 획득할 수 있다. 또한 본 발명의 다른 실시예에 따르면, HMD(100)는 카메라 유닛(152)을 이용하여 외부 디지털 디바이스(200)에 대응하는 마커(230)를 디텍트하고, 디텍트 된 마커(230)를 이용하여 상기 외부 디지털 디바이스(200)의 위치 정보를 획득할 수 있다. 본 발명의 실시예에서 마커(230)는 외부 디지털 디바이스(200)를 나타내는 식별자로서, 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 또한 본 발명의 다른 실시예에 따르면, 상기 마커(230)는 외부 디지털 디바이스(200)가 출력하는 광 패턴을 포함할 수 있다. 본 발명의 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)는 기 설정된 광 패턴을 출력할 수 있으며, HMD(100)는 카메라 유닛(152)을 이용하여 상기 광 패턴을 디텍트할 수 있다. 여기서, 상기 광 패턴은 시간 적인 패턴 및 공간 적인 패턴 중 적어도 하나를 포함한다.
한편, 본 발명의 다른 실시예에 따르면, HMD(100)는 적어도 하나의 안테나(미도시)를 이용하여 외부 디지털 디바이스(200)의 위치 정보를 디텍트 할 수 있다. 예를 들어, HMD(100)는 복수의 안테나를 구비하고, 상기 복수의 안테나를 통해 외부 디지털 디바이스(200)와 데이터 송/수신을 수행할 수 있다. 이때, HMD(100)는 상기 복수의 안테나에 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여, 상기 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 위치 정보를 디텍트 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면 HMD(100)는 지향성 안테나를 구비하고, 상기 지향성 안테나를 통해 송/수신되는 신호를 이용하여 외부 디지털 디바이스(200)의 위치 정보를 디텍트 할 수도 있다.
이와 같이 HMD(100)가 외부 디지털 디바이스(200)의 위치 정보를 디텍트 하면, 디텍트 된 위치 정보에 기초하여 외부 디지털 디바이스(200)의 위치 상태를 함께 디텍트 할 수 있다. 본 발명의 실시예에 따른 HMD(100)는 상기 디텍트 된 위치 정보 및 위치 상태에 기초하여 외부 디지털 디바이스(200)의 오디오 신호를 오디오 출력 유닛(130)으로 출력할 수 있다. 이때, HMD(100)는 상기 디텍트 된 위치 정보를 이용하여, 외부 디지털 디바이스(200)의 오디오 신호를 3D 오디오 신호로 변환한다. 즉, HMD(100)는 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)에 각각 출력되는 오디오 신호의 좌 채널 출력 및 우 채널 출력을 상기 위치 정보에 기초하여 조절한다.
도 8은 본 발명의 다른 실시예에 따라 HMD(100)가 외부 디지털 디바이스(200)의 오디오 신호를 출력하는 방법을 나타낸 도면이다.
도 8을 참조하면, HMD(100)는 외부 디지털 디바이스(200)의 오디오 신호(250)를 수신하는 좌 채널 수신 유닛(154a) 및 우 채널 수신 유닛(154b)을 포함할 수 있다. HMD(100)는 상기 좌 채널 수신 유닛(154a)이 수신한 오디오 신호(250)를 실시간으로 좌 채널 출력 유닛(130a)으로 출력하며, 상기 우 채널 수신 유닛(154b)이 수신한 오디오 신호(250)를 실시간으로 우 채널 출력 유닛(130b)으로 출력한다. 이때, 상기 오디오 신호(250)가 좌 채널 출력 유닛(130a)에 수신되는 시간 L(t)와 우 채널 출력 유닛(130b)에 수신되는 시간 R(t) 사이에는 시간차(Δt)가 발생할 수 있다. 상기 시간차(Δt)는 외부 디지털 디바이스(200)에서 출력되는 오디오 신호(250)가 HMD(100)를 착용한 유저의 좌측 귀 및 우측 귀에 도달하는 시간차를 나타낼 수 있다. 본 발명의 HMD(100)는 좌 채널 수신 유닛(154a) 및 우 채널 수신 유닛(154b)이 각각 수신한 오디오 신호(250)를 실시간으로 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)으로 출력함으로, 상기 시간차(Δt)를 반영하여 오디오 신호(250)를 출력할 수 있다. 또한, 본 발명의 실시예에 따른 HMD(100)는 상기 시간차(Δt)를 이용하여 오디오 신호(250)의 좌 채널 출력 및 우 채널 출력간의 출력 시간차 및 출력 레벨 차 중 적어도 하나를 조절할 수 있다.
한편 본 발명의 일 실시예에 따르면, 외부 디지털 디바이스(200)는 초음파 신호로 상기 오디오 신호(250)를 송신할 수 있다. HMD(100)는 외부 디지털 디바이스(200)가 송신하는 초음파 신호를 좌 채널 수신 유닛(154a) 및 우 채널 수신 유닛(154b)을 통해 수신하고, 수신된 각각의 초음파 신호를 가청 주파수의 오디오 출력으로 변환한다. 이때, 상기 좌 채널 수신 유닛(154a) 및 우 채널 수신 유닛(154b)은 초음파 신호를 수신하는 초음파 센서가 될 수 있다. HMD(100)는 좌 채널 수신 유닛(154a)이 수신한 오디오 신호(250)를 변환하여 좌 채널 출력을 생성하며, 우 채널 수신 유닛(154b)이 수신한 오디오 신호(250)를 변환하여 우 채널 출력을 생성한다. 다음으로, HMD(100)는 상기 생성된 좌 채널 출력 및 우 채널 출력을 각각 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)으로 출력한다. 본 발명의 실시예에 따르면, HMD(100)는 상기 수신된 초음파 신호를 실시간으로 변환하여 출력하며, 이에 따라 좌 채널 수신 유닛(154a) 및 우 채널 수신 유닛(154b)이 초음파 신호를 수신한 시간차(Δt)를 반영하여 오디오 신호 출력을 수행할 수 있다. 따라서, HMD(100)를 착용한 유저는 오디오 신호(250)가 외부 디지털 디바이스(200)가 위치한 곳에서 들리는 것처럼 느낄 수 있게 된다. 또한, 본 발명의 실시예에 따르면 외부 디지털 디바이스(200)의 오디오 신호(250)는 외부에 들리지 않고, 상기 외부 디지털 디바이스(200)와 커넥팅 된 HMD(100)를 통해 유저에게 제공될 수 있다.
도 9 내지 도 13은 본 발명의 실시예에 따라 HMD(100)가 오디오 신호의 출력을 위한 유저 인터페이스를 제공하는 모습을 나타내고 있다. 도 9 내지 도 13의 실시예에서 HMD(100)는 외부 디지털 디바이스 200a, 200b, 200c 및 200d와 커넥팅 된 상태에 있다. 또한, 외부 디지털 디바이스 200a, 200b 및 200d의 오디오 신호 ‘Device a’, ‘Device b’ 및 ‘Device d’는 지향성으로 출력되도록 설정되어 있으며(directivity ‘on’), 외부 디지털 디바이스 200c의 오디오 신호 ‘Device c’는 비지향성으로 출력되도록 설정되어 있다(directivity ‘off’). HMD(100)는 각 외부 디지털 디바이스 200a, 200b, 200c 및 200d의 오디오 신호 ‘Device a’, ‘Device b’, ‘Device c’ 및 ‘Device d’를 수신하고, 수신된 오디오 신호를 출력한다. 이때, HMD(100)는 지향성으로 출력하는 오디오 신호 ‘Device a’, Device b’ 및 ‘Device d’에 대응하는 외부 디지털 디바이스 200a, 200b 및 200d의 위치 정보 및 위치 상태를 디텍트 하고, 디텍트 된 위치 정보 및 위치 상태에 기초하여 오디오 신호를 출력한다.
먼저 도 9를 참조하면, 외부 디지털 디바이스 200a, 200b 및 200c는 HMD(100)의 화각 영역(102)에 위치하고 있으며, 외부 디지털 디바이스 200d는 HMD(100)의 화각 영역(102) 밖에 위치하고 있다. 본 발명의 HMD(100)는 도 3 내지 도 6을 참조로 설명한 바와 같이, 각 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 외부 디지털 디바이스의 오디오 신호를 출력할 수 있다.
도 10은 HMD(100)와 각 외부 디지털 디바이스 200a, 200b, 200c, 200d가 도 9의 상태에 있을 때, HMD(100)의 디스플레이 유닛(120) 상에 제공되는 유저 인터페이스를 나타내고 있다. 본 발명에서 디스플레이 유닛(120)은 디스플레이 스크린을 구비하고, 상기 디스플레이 스크린 상에 유저 인터페이스를 디스플레이 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(120)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(100)의 전방 방향의 특정 위치에 상기 유저 인터페이스를 투영할 수 있다.
본 발명의 실시예에 따르면, HMD(100)는 HMD(100)와 커넥팅 된 적어도 하나의 외부 디지털 디바이스의 오디오 신호의 출력을 개별적으로 조절하기 위한 오디오 출력 조절 인터페이스를 제공할 수 있다. 이때, HMD(100)는 지향성으로 출력하는 오디오 신호의 경우, 해당 외부 디지털 디바이스에 대응하는 위치에 상기 오디오 신호의 오디오 출력 조절 인터페이스를 디스플레이 할 수 있다. 도 10에 도시된 바와 같이, HMD(100)는 지향성으로 출력하는 오디오 신호 ‘Device a’ 및 ‘Device b’에 각각 대응하는 오디오 출력 조절 인터페이스 32a 및 32b를 상기 외부 디지털 디바이스 200a 및 200b에 대응하는 위치에 각각 디스플레이 할 수 있다. 이때, HMD(100)를 착용한 유저는 상기 오디오 조절 인터페이스 32a 및 32b를 대응하는 외부 디지털 디바이스 200a 및 200b의 증강현실 정보로 제공받을 수 있다.
한편, 도 9에 도시된 외부 디지털 디바이스 200d는 HMD(100)의 화각 영역(102) 내에 위치하지 않으므로, HMD(100)는 오디오 신호 ‘Device d’의 오디오 출력 조절 인터페이스를 별도로 제공하지 않을 수 있다. 이때, HMD(100)는 상기 오디오 신호 ‘Device d’의 출력을 차단하거나, 기 설정된 레벨 이하로 낮출 수 있다. 본 발명의 일 실시예에 따르면, HMD(100)는 화각 영역(102) 내에 위치하지 않는 외부 디지털 디바이스의 위치 정보를 가상으로 나타내는 리어 뷰 인터페이스(40)를 제공할 수 있다. 상기 리어 뷰 인터페이스(40)는 HMD(100)와 커넥팅 된 외부 디지털 디바이스 중 HMD(100)의 화각 영역(102) 내에 위치하지 않는 외부 디지털 디바이스를 나타내는 인디케이터를 제공한다. 이때, HMD(100)는 해당 외부 디지털 디바이스의 위치 정보에 기초하여 상기 인디케이터를 리어 뷰 인터페이스(40) 상에 디스플레이 할 수 있다. 도 10에서 HMD(100)는 화각 영역(102) 내에 위치하지 않는 외부 디지털 디바이스 200d에 대응하는 인디케이터 42d를 리어 뷰 인터페이스(40) 상에 디스플레이 한다. 도 9를 참조하면, 상기 외부 디지털 디바이스 200d는 HMD(100)를 착용한 유저(10)의 좌측 후면에 위치하므로, HMD(100)는 인디케이터 42d를 리어 뷰 인터페이스(40)의 좌측 영역에 디스플레이 할 수 있다. 따라서, HMD(100)를 착용한 유저(10)는 상기 HMD(100)와 커넥팅 된 외부 디지털 디바이스 중 오디오 신호의 출력이 차단된 외부 디지털 디바이스의 위치 정보를 파악할 수 있다.
또한 본 발명의 실시예에 따르면, HMD(100)는 비지향성으로 출력하는 오디오 신호의 경우, 해당 오디오 신호의 오디오 출력 조절 인터페이스를 기 설정된 영역에 디스플레이 할 수 있다. 도 10에서 HMD(100)는 비지향성으로 출력하는 오디오 신호 ‘Device c’의 오디오 출력 조절 인터페이스 30을 디스플레이 유닛(120) 상의 기 설정된 영역에 디스플레이 한다.
본 발명의 실시예에서, HMD(100)는 상기 오디오 출력 조절 인터페이스에 대한 유저 입력을 수신하고, 이에 대응하여 각 오디오 신호의 출력을 개별적으로 조절할 수 있다. 예를 들어, HMD(100)는 유저 입력에 대응하여 각 오디오 신호의 좌 채널 출력 및 우 채널 출력의 출력 레벨을 개별적으로 조절할 수 있다. 한편, 본 발명의 실시예에 따르면 각 오디오 출력 조절 인터페이스는 해당 오디오 신호의 지향성 출력 및 비지향성 출력 간의 전환을 위한 유저 인터페이스를 더 포함할 수 있다. HMD(100)는 상기 유저 인터페이스에 대한 유저 입력에 기초하여, 해당 오디오 신호의 지향성 출력 여부를 전환할 수 있다. 이러한 오디오 출력 조절 인터페이스에 대한 유저 입력으로는 제스처 입력, 음성 입력, 터치 입력 등 다양한 수단의 입력이 가능하다.
도 11은 도 10의 HMD(100)가 디지털 디바이스 200a의 오디오 신호를 비지향성으로 출력하도록 전환하는 유저 입력을 수신한 모습을 나타낸다. 도 10의 HMD(100)는 오디오 출력 조절 인터페이스 32a에 대한 유저 입력을 통해, 오디오 신호 ‘Device a’의 출력을 조절할 수 있다. 만약, 유저가 오디오 출력 조절 인터페이스 32a을 통해 지향성 출력(directivity ‘on’)을 비지향성 출력(directivity ‘off’)으로 전환하는 유저 입력을 수행하면, HMD(100)는 상기 유저 입력에 대응하여 오디오 신호 ‘Device a’의 출력을 비지향성 출력으로 전환한다. 한편, HMD(100)는 비지향성으로 출력하는 상기 오디오 신호 ‘Device a’ 및 ‘Device c’의 오디오 출력 조절 인터페이스 30을 디스플레이 유닛(120) 상의 기 설정된 영역에 디스플레이 할 수 있다.
다음으로, 도 12는 도 9의 유저(10)가 외부 디지털 디바이스 200a 및 200d가 위치한 곳을 바라보는 상황을 나타내고 있다. 도 12에서 외부 디지털 디바이스 200a 및 200d는 HMD(100)의 화각 영역(102)에 위치하고 있으며, 외부 디지털 디바이스 200b 및 200c는 HMD(100)의 화각 영역(102) 밖에 위치하고 있다. 본 발명의 HMD(100)는 도 3 내지 도 6을 참조로 설명한 바와 같이, 각 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 외부 디지털 디바이스의 오디오 신호를 출력할 수 있다.
도 13은 HMD(100)와 각 외부 디지털 디바이스 200a, 200b, 200c, 200d가 도 12의 상태에 있을 때, HMD(100)의 디스플레이 유닛(120) 상에 제공되는 유저 인터페이스를 나타내고 있다. 도 13의 실시예에서 도 11 및 도 12의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 13을 참조하면, HMD(100)는 지향성으로 출력하는 오디오 신호 ‘Device a’ 및 ‘Device d’에 각각 대응하는 오디오 출력 조절 인터페이스 32a 및 32d를 상기 외부 디지털 디바이스 200a 및 200d에 대응하는 위치에 각각 디스플레이 할 수 있다. 한편, 도 12에서 외부 디지털 디바이스 200b 및 200c는 HMD(100)의 화각 영역(102) 내에 위치하지 않으므로, HMD(100)는 오디오 신호 ‘Device b’ 및 ‘Device c’의 오디오 출력 조절 인터페이스를 별도로 제공하지 않을 수 있다. 전술한 바와 같이, HMD(100)는 오디오 신호 ‘Device b’ 및 ‘Device c’의 출력을 차단하거나, 기 설정된 레벨 이하로 낮출 수 있다.
또한, 도 13에서 HMD(100)는 화각 영역(102) 내에 위치하지 않는 외부 디지털 디바이스 200b 및 200c에 대응하는 인디케이터 42b 및 42c를 리어 뷰 인터페이스(40) 상에 디스플레이 한다. 도 12를 참조하면, 외부 디지털 디바이스 200b는 HMD(100)를 착용한 유저(10)의 우측 후면에 위치하므로, HMD(100)는 인디케이터 42b를 리어 뷰 인터페이스(40)의 우측 영역에 디스플레이 할 수 있다. 또한, 외부 디지털 디바이스 200c는 HMD(100)를 착용한 유저(10)의 후면 중앙에 위치하므로, HMD(100)는 인디케이터 42c를 리어 뷰 인터페이스(40)의 중앙 영역에 디스플레이 할 수 있다.
한편, HMD(100)는 비지향성으로 출력하는 오디오 신호의 경우, 해당 오디오 신호의 오디오 출력 조절 인터페이스를 기 설정된 영역에 디스플레이 할 수 있다. 즉, 비지향성으로 출력하는 오디오 신호의 경우, 대응하는 외부 디지털 디바이스가 HMD(100)의 화각 영역(102) 내에 위치하지 않더라도, HMD(100)는 해당 오디오 신호를 출력할 수 있으며, 해당 오디오 신호의 오디오 출력 조절 인터페이스를 디스플레이 할 수 있다. 도 13에서 HMD(100)는 비지향성으로 출력하는 오디오 신호 ‘Device c’의 오디오 출력 조절 인터페이스 30을 디스플레이 유닛(120) 상의 기 설정된 영역에 디스플레이 한다.
도 14는 본 발명의 실시예에 따른 HMD(100)를 나타낸 블록도이다.
도 14를 참조하면, 본 발명의 HMD(100)는 프로세서(110), 디스플레이 유닛(120), 오디오 출력 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 파워 유닛(160)을 포함할 수 있다.
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에서 실행되는 컨텐츠 또는 프로세서(110)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스가 실행중인 컨텐츠를 디스플레이 할 수 있다. 이때, HMD(100)는 커뮤니케이션 유닛(140)을 통해 상기 외부 디지털 디바이스로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다.
다음으로, 오디오 출력 유닛(130)은 스피커, 이어폰 등의 오디오 출력 수단과 이들을 제어하는 제어 모듈을 포함한다. 상기 오디오 출력 유닛(130)은 프로세서(110)에서 실행되는 컨텐츠 또는 프로세서(110)의 제어 명령에 기초하여 음성을 출력한다. 본 발명의 실시예에 따른 HMD(100)의 오디오 출력 유닛(130)은 좌 채널 출력 유닛(L, 130a) 및 우 채널 출력 유닛(R, 130b)을 포함한다. 상기 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 또한, 본 발명의 실시예에 따르면 오디오 출력 유닛(130)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스의 오디오 신호를 출력할 수 있다.
다음으로, 커뮤니케이션 유닛(140)은 외부 디지털 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(140)은 유선 또는 무선으로 네트워크에 접속하여, 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 본 발명에서 HMD(100)는 커뮤니케이션 유닛(140)을 이용하여 외부 디지털 디바이스와 커넥팅을 수행할 수 있으며, 상기 커넥팅 된 외부 디지털 디바이스와 데이터를 송/수신할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 커뮤니케이션 유닛(150)은 적어도 하나의 안테나를 포함할 수 있다. 상기 HMD(100)는 적어도 하나의 안테나를 이용하여, HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 위치 정보를 디텍트 할 수 있다. 예를 들어, HMD(100)는 구비된 복수의 안테나를 통해 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여, HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 거리 및 방향을 디텍트 할 수 있다.
센서 유닛(150)은 HMD(100)에 장착된 복수의 센서를 사용하여 유저 인풋 또는 상기 HMD(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
본 발명의 실시예에 따르면, 센서 유닛(150)은 카메라 유닛(미도시)을 포함할 수 있다. 상기 카메라 유닛은 HMD(100)의 기 설정된 화각 영역 내의 이미지를 디텍트하여 프로세서(110)에 제공할 수 있다. 본 발명의 일 실시예에 따르면, 프로세서(110)는 상기 카메라 유닛을 통해 디텍트 된 이미지를 기초로 하여, HMD(100)의 화각 영역 내에 위치한 외부 디지털 디바이스의 위치 정보를 디텍트 할 수 있다. 상기 카메라 유닛은 본 발명의 목적에 따라 적외선 센서 등으로 대체될 수 있다.
또한, 본 발명의 실시예에 따르면, 센서 유닛(150)은 좌 채널 수신 유닛 및 우 채널 수신 유닛을 포함할 수 있다. 상기 좌 채널 수신 유닛은 좌 채널 출력 유닛(130a)의 오디오 출력을 위한 오디오 신호를 수신하며, 우 채널 수신 유닛은 우 채널 출력 유닛(130b)의 오디오 출력을 위한 오디오 신호를 출력한다. 본 발명에서 HMD(100)는 상기 좌 채널 수신 유닛 및 우 채널 수신 유닛이 각각 수신한 오디오 신호를 실시간으로 좌 채널 출력 유닛(130a) 및 우 채널 출력 유닛(130b)으로 출력할 수 있다. 한편, 본 발명의 다른 실시예에 따르면 HMD(100)와 커넥팅 된 외부 디지털 디바이스는 초음파 신호로 오디오 신호를 송신할 수 있다. HMD(100)는 외부 디지털 디바이스가 송신하는 초음파 신호를 좌 채널 수신 유닛 및 우 채널 수신 유닛을 통해 수신하고, 수신된 각각의 초음파 신호를 가청 주파수의 오디오 출력으로 변환한다. 이때, 상기 좌 채널 수신 유닛 및 우 채널 수신 유닛은 초음파 신호를 수신하는 초음파 센서가 될 수 있다. HMD(100)는 좌 채널 수신 유닛이 수신한 오디오 신호를 변환하여 좌 채널 출력을 생성하며, 우 채널 수신 유닛이 수신한 오디오 신호를 변환하여 우 채널 출력을 생성한다.
다음으로, 파워 유닛(160)은 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, HMD(100)에 파워를 공급할 수 있다.
본 발명의 프로세서(110)는 HMD(100) 자체의 컨텐츠 또는 데이터 통신을 통해 수신된 컨텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
도 14에 도시된 HMD(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 15는 본 발명의 실시예에 따른 오디오 신호 출력 방법을 나타낸 순서도이다. 이하 설명하는 도 15의 각 단계는 도 14에 도시된 HMD(100)의 프로세서(110)에 의해 제어될 수 있다.
먼저, 본 발명의 HMD는 외부 디지털 디바이스의 오디오 신호를 수신한다(S1510). 본 발명에서 HMD는 다양한 유/무선 통신 수단을 이용하여 외부 디지털 디바이스로부터 오디오 신호를 수신할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 HMD는 구비된 좌 채널 수신 유닛 및 우 채널 수신 유닛을 이용하여 외부 디지털 디바이스의 오디오 신호를 수신할 수 있다. 이때, 외부 디지털 디바이스의 오디오 신호는 가청 주파수 또는 초음파 등의 음파로 HMD에 전달될 수 있다. 한편 본 발명의 일 실시예에 따르면, HMD는 상기 수신되는 오디오 신호에 대응하는 부가 데이터를 더 수신할 수 있다. 이때, 부가 데이터는 각 오디오 신호의 지향성 출력 여부를 나타내는 정보를 포함할 수 있다.
다음으로, 본 발명의 HMD는 상기 수신된 오디오 신호를 지향성으로 출력할지 여부를 판별한다(S1520). 본 발명에서 지향성 출력이란 오디오 신호가 해당 외부 디지털 디바이스의 위치에 연동하여 출력이 조절 되는 것을 가리킨다. 즉, 지향성으로 출력되는 오디오 신호를 유저가 듣게 되면, 유저는 해당 외부 디지털 디바이스가 위치한 방향에서 상기 오디오 신호가 들려오는 것처럼 느끼게 된다. 또한, 비지향성 출력이란 오디오 신호가 해당 외부 디지털 디바이스의 위치에 관계없이 기 설정된 출력 레벨로 출력되는 것을 가리킨다. 본 발명의 실시예에서 오디오 신호의 지향성 출력 여부는 다양한 방법으로 결정될 수 있다. 즉, HMD는 상기 수신된 부가 데이터를 이용하여 해당 오디오 신호의 지향성 출력 여부를 판별할 수 있다. 다른 실시예에 따르면, HMD는 상기 오디오 신호에 대응하는 외부 디지털 디바이스의 디바이스 정보에 기초하여 오디오 신호의 지향성 출력 여부를 판별할 수 있다. 또한, 본 발명의 다른 실시예에 따르면, HMD는 유저의 별도의 입력 또는 설정에 기초하여 개별적으로 오디오 신호의 지향성 출력 여부를 결정할 수 있다.
만약, 수신된 오디오 신호를 지향성으로 출력할 경우, HMD는 해당 오디오 신호에 대응하는 외부 디지털 디바이스의 위치 정보를 디텍트 한다(S1530). 본 발명에서 위치 정보는 HMD에 대한 각 외부 디지털 디바이스의 상대적인 위치를 나타내며, HMD는 다양한 수단을 이용하여 각 외부 디지털 디바이스의 위치 정보를 디텍트 할 수 있다.
본 발명의 일 실시예에 따르면, HMD는 적어도 하나의의 안테나를 이용하여 외부 디지털 디바이스의 위치 정보를 디텍트 할 수 있다. 예를 들어, HMD는 복수의 안테나를 구비하고, 상기 복수의 안테나를 통해 외부 디지털 디바이스와 데이터 송/수신을 수행할 수 있다. 이때, HMD는 상기 복수의 안테나에 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여, 상기 HMD와 연동된 외부 디지털 디바이스 및 상기 HMD 간의 상대적인 거리 및 방향을 디텍트 할 수 있다. 한편, 본 발명의 HMD는 지향성 안테나를 구비하고, 상기 지향성 안테나를 통해 송/수신되는 신호를 이용하여 외부 디지털 디바이스의 위치 정보를 디텍트 할 수도 있다.
본 발명의 다른 실시예에 따르면, HMD는 카메라 유닛을 이용하여 외부 디지털 디바이스의 위치 정보를 디텍트 할 수 있다. 즉, HMD는 카메라 유닛을 이용하여 화각 영역 내에 위치한 외부 디지털 디바이스의 이미지를 디텍트하고, 디텍트 된 이미지를 이용하여 외부 디지털 디바이스의 위치 정보를 획득할 수 있다. 또한, HMD는 카메라 유닛을 이용하여 외부 디지털 디바이스에 대응하는 마커를 디텍트하고, 디텍트 된 마커를 이용하여 상기 외부 디지털 디바이스의 위치 정보를 획득할 수 있다. 본 발명의 실시예에서 마커는 외부 디지털 디바이스를 나타내는 식별자로서, 바코드, QR 코드, RFID, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 또한 본 발명의 다른 실시예에 따르면, 상기 마커는 외부 디지털 디바이스가 출력하는 광 패턴을 포함할 수 있다. 본 발명의 HMD와 커넥팅 된 외부 디지털 디바이스는 기 설정된 광 패턴을 출력할 수 있으며, HMD는 카메라 유닛을 이용하여 상기 광 패턴을 디텍트할 수 있다. 여기서, 상기 광 패턴은 시간 적인 패턴 및 공간 적인 패턴 중 적어도 하나를 포함한다.
다음으로, 본 발명의 HMD는 상기 위치 정보에 기초하여 외부 디지털 디바이스의 위치 상태를 디텍트 한다(S1540). 이때, 상기 위치 상태는 외부 디지털 디바이스가 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 외부 디지털 디바이스가 HMD의 기 설정된 화각 영역에 위치하지 않는 제 2 상태를 포함한다. 상기 화각 영역은 HMD를 착용한 유저의 시야에 대응하는 기 설정된 영역으로서, HMD의 전방 방향으로 일정한 각도 이내의 영역을 포함한다. 본 발명의 HMD는 디텍트 된 외부 디지털 디바이스의 위치 정보를 기 설정된 화각 영역과 비교함으로 해당 외부 디지털 디바이스의 위치 상태를 디텍트 할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 외부 디지털 디바이스의 위치 상태는 HMD를 착용한 유저의 시선에 기초하여 결정될 수 있다. 본 발명의 HMD는 HMD를 착용한 유저의 동공의 위치를 디텍트 하는 카메라 유닛을 추가로 구비할 수 있으며, 상기 카메라 유닛을 이용하여 해당 유저의 시선을 트래킹 할 수 있다. 이에 따라, 본 발명의 외부 디지털 디바이스의 위치 상태는 상기 외부 디지털 디바이스가 HMD를 착용한 유저의 시야 영역 내에 위치하는지 여부를 기초로 하여 결정될 수 있다. 여기서 상기 시야 영역은 HMD를 착용한 유저의 시선에 대응하는 일정 각도 이내의 영역을 포함할 수 있다.
다음으로, 본 발명의 HMD는 디텍트 된 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 오디오 신호를 출력한다(S1550). 본 발명의 실시예에서 오디오 신호의 출력은 좌 채널 출력 및 우 채널 출력을 포함하며, 상기 좌 채널 출력 및 우 채널 출력 중 적어도 하나는 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 조절된다.
한편, S1520 단계에서 오디오 신호를 지향성으로 출력하지 않을 경우, HMD는 상기 수신된 오디오 신호를 출력한다(S1552). 이때, HMD는 외부 디지털 디바이스의 위치 정보에 관계없이 해당 오디오 신호를 출력할 수 있다. HMD는 수신된 오디오 신호의 좌 채널 출력과 우 채널 출력의 출력 레벨 및 출력 시간을 동일하게 설정할 수 있다. 또한, HMD는 상기 수신된 오디오 신호 의 좌 채널 출력과 우 채널 출력을 기 설정된 출력 레벨로 출력할 수 있다.
본 발명에서 S1550 단계 및 S1552 단계의 구체적인 실시예는 도 3 내지 도 6을 참조로 상술한 바와 같다.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다.
10 : 유저 100 : HMD
120 : 디스플레이 유닛 130 : 오디오 출력 유닛
200 : 외부 디지털 디바이스

Claims (20)

  1. 헤드 마운트 디스플레이(HMD)로서,
    상기 HMD의 작동을 제어하는 프로세서;
    좌 채널 출력 유닛 및 우 채널 출력 유닛을 포함하며, 상기 프로세서의 명령에 기초하여 오디오를 출력하는 오디오 출력 유닛;
    상기 HMD와 커넥팅 된 적어도 하나의 외부 디지털 디바이스를 디텍트하고, 디텍트 한 결과를 상기 프로세서에 전달하는 센서 유닛; 및
    상기 프로세서의 명령에 기초하여 상기 외부 디지털 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛;을 포함하고,
    상기 센서 유닛은, 상기 좌 채널 출력 유닛의 오디오 출력을 위해 오디오 신호를 수신하는 좌 채널 수신 유닛 및 상기 우 채널 출력 유닛의 오디오 출력을 위해 오디오 신호를 수신하는 우 채널 수신 유닛을 포함하고,
    상기 프로세서는,
    상기 외부 디지털 디바이스의 오디오 신호를 수신하고,
    상기 수신된 오디오 신호를 지향성으로 출력할 경우, 해당 오디오 신호에 대응하는 외부 디지털 디바이스의 위치 정보를 디텍트 하되, 상기 위치 정보는 상기 HMD에 대한 상기 외부 디지털 디바이스의 상대적인 위치를 나타내고,
    상기 위치 정보에 기초하여 상기 외부 디지털 디바이스의 위치 상태를 디텍트 하되, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하지 않는 제 2 상태를 포함하고,
    상기 디텍트 된 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 상기 오디오 신호를 출력하되, 상기 오디오 신호의 출력은 좌 채널 출력 및 우 채널 출력을 포함하며, 상기 좌 채널 출력 및 우 채널 출력 중 적어도 하나는 상기 외부 디지털 디바이스의 위치 정보 및 위치 상태에 기초하여 조절되고,
    상기 좌 채널 수신 유닛 및 우 채널 수신 유닛이 각각 수신한 상기 오디오 신호의 수신 시간 차를 반영하여 상기 좌 채널 출력 및 우 채널 출력 중 적어도 하나를 조절하는 헤드 마운트 디스플레이.
  2. 제 1항에 있어서,
    상기 프로세서는, 상기 외부 디지털 디바이스의 위치 상태가 제 2 상태일 경우, 상기 오디오 신호의 출력 레벨을 기 설정된 출력 레벨 이하로 조정하는 헤드 마운트 디스플레이.
  3. 제 1항에 있어서,
    상기 프로세서는, 상기 외부 디지털 디바이스의 위치 상태가 상기 제 2 상태일 경우, 상기 오디오 신호의 출력을 차단하는 헤드 마운트 디스플레이.
  4. 제 1항에 있어서,
    상기 프로세서는, 상기 외부 디지털 디바이스의 위치 상태가 상기 제 2 상태일 경우, 상기 외부 디지털 디바이스의 위치 정보를 가상으로 나타내는 리어 뷰 인터페이스를 상기 HMD 상에 제공하는 헤드 마운트 디스플레이.
  5. 제 1항에 있어서,
    상기 프로세서는, 상기 외부 디지털 디바이스의 위치 정보에 기초하여 상기 좌 채널 출력 및 우 채널 출력 간의 출력 레벨 차 및 출력 시간 차 중 적어도 하나를 조절하는 헤드 마운트 디스플레이.
  6. 제 1항에 있어서,
    상기 프로세서는, 상기 외부 디지털 디바이스의 위치 정보에 기초하여 상기 오디오 신호를 3D(3 dimensional) 오디오 신호로 변환하여 출력하되, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호인 것을 특징으로 하는 헤드 마운트 디스플레이.
  7. 제 6항에 있어서,
    상기 프로세서는,
    상기 외부 디지털 디바이스의 위치 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고,
    상기 생성된 HRTF 정보를 이용하여 상기 오디오 신호를 상기 3D 오디오 신호로 변환하는 헤드 마운트 디스플레이.
  8. 삭제
  9. 제 1항에 있어서,
    상기 외부 디지털 디바이스의 오디오 신호는 초음파 신호를 포함하며,
    상기 프로세서는, 좌 채널 수신 유닛 및 우 채널 수신 유닛이 각각 수신한 상기 초음파 신호를 가청 주파수의 상기 좌 채널 출력 및 우 채널 출력으로 변환하여 출력하는 헤드 마운트 디스플레이.
  10. 제 1항에 있어서,
    상기 좌 채널 출력 유닛 및 우 채널 출력 유닛은 각각 상기 좌 채널 수신 유닛 및 우 채널 수신 유닛이 수신한 상기 오디오 신호를 실시간으로 출력하는 헤드 마운트 디스플레이.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020120120312A 2012-10-29 2012-10-29 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법 Active KR101989893B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120120312A KR101989893B1 (ko) 2012-10-29 2012-10-29 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
US13/686,596 US9374549B2 (en) 2012-10-29 2012-11-27 Head mounted display and method of outputting audio signal using the same
PCT/KR2013/007666 WO2014069776A1 (en) 2012-10-29 2013-08-27 Head mounted display and method of outputting audio signal using the same
EP13851657.0A EP2912514B1 (en) 2012-10-29 2013-08-27 Head mounted display and method of outputting audio signal using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120120312A KR101989893B1 (ko) 2012-10-29 2012-10-29 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법

Publications (2)

Publication Number Publication Date
KR20140054611A KR20140054611A (ko) 2014-05-09
KR101989893B1 true KR101989893B1 (ko) 2019-09-30

Family

ID=50546790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120120312A Active KR101989893B1 (ko) 2012-10-29 2012-10-29 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법

Country Status (4)

Country Link
US (1) US9374549B2 (ko)
EP (1) EP2912514B1 (ko)
KR (1) KR101989893B1 (ko)
WO (1) WO2014069776A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
JP6368579B2 (ja) * 2014-08-05 2018-08-01 株式会社日立エルジーデータストレージ 映像投射装置及びこれを用いたヘッドマウントディスプレイ
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
JP6500382B2 (ja) * 2014-10-03 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
EP3007146A1 (en) * 2014-10-07 2016-04-13 Thomson Licensing System for controlling an electronic device and head mounted unit for such a system
KR102354763B1 (ko) * 2014-11-17 2022-01-25 삼성전자주식회사 주변 기기를 식별하는 전자 기기 및 이의 주변 기기 식별 방법
US20160178906A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Virtual wearables
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US9933985B2 (en) * 2015-01-20 2018-04-03 Qualcomm Incorporated Systems and methods for managing content presentation involving a head mounted display and a presentation device
US9787846B2 (en) * 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
ES2835877T3 (es) * 2015-06-09 2021-06-23 Nokia Technologies Oy Transición de un casco de realidad virtual a partir del funcionamiento en un primer modo de potencia al funcionamiento en un segundo modo de potencia
US9865091B2 (en) 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10477328B2 (en) 2016-08-01 2019-11-12 Qualcomm Incorporated Audio-based device control
CN106406536A (zh) * 2016-09-29 2017-02-15 努比亚技术有限公司 一种头戴设备、显示设备和图像显示方法
EP3529999A4 (en) 2016-11-17 2019-11-13 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR PRODUCING AUDIO DATA FOR A HEAD-MOUNTED DISPLAY DEVICE
KR102679047B1 (ko) 2017-01-25 2024-07-01 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US10447841B2 (en) * 2017-06-05 2019-10-15 Bose Corporation Wireless pairing and control using spatial location and indication to aid pairing
US11417135B2 (en) 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
CN108491068B (zh) * 2018-02-08 2020-11-17 东南大学 一种眼动信号控制的交互方法
KR102422491B1 (ko) * 2018-02-21 2022-07-19 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법
CN119781612A (zh) 2018-06-14 2025-04-08 苹果公司 具有音频输出设备的显示系统
JP2019020738A (ja) * 2018-09-10 2019-02-07 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
EP3623934B1 (en) * 2018-09-11 2025-07-02 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
DE102019206337A1 (de) * 2019-05-03 2020-11-05 BSH Hausgeräte GmbH Verfahren und Einrichtung zum Betreiben eines Haushaltsgeräts und System mit einem Haushaltsgerät
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US12314471B2 (en) * 2019-09-13 2025-05-27 Apple Inc. Head-mounted display with haptic output
KR20210099872A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 사용자의 위치를 제공하기 위한 전자 장치 및 방법
US12061680B1 (en) * 2020-02-19 2024-08-13 Apple Inc. Electronic device system with ring devices
US11493959B2 (en) * 2020-08-17 2022-11-08 Orcam Technologies Ltd. Wearable apparatus and methods for providing transcription and/or summary
JP7581075B2 (ja) * 2021-02-18 2024-11-12 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
US12294627B2 (en) * 2021-08-02 2025-05-06 Qualcomm Incorporated Mapping networked devices
US20230122450A1 (en) * 2021-10-20 2023-04-20 Google Llc Anchored messages for augmented reality
US20250159275A1 (en) * 2023-11-09 2025-05-15 Adeia Guides Inc. Methods of extending flatscreen displays with xr devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002111817A (ja) * 2000-09-27 2002-04-12 Nec Corp 携帯端末装置の音響再生システム及び方法
JP2005530647A (ja) * 2002-06-04 2005-10-13 エルビット・システムズ・リミテッド オーディオ画像処理分野のための方法とシステム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3407383B2 (ja) * 1993-06-15 2003-05-19 オリンパス光学工業株式会社 頭部装着型ディスプレイシステム
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US20020068610A1 (en) 2000-12-05 2002-06-06 Anvekar Dinesh Kashinath Method and apparatus for selecting source device and content delivery via wireless connection
US8086287B2 (en) 2001-01-24 2011-12-27 Alcatel Lucent System and method for switching between audio sources
GB2377147A (en) 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US9217868B2 (en) 2007-01-12 2015-12-22 Kopin Corporation Monocular display device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2010099453A1 (en) 2009-02-27 2010-09-02 Foundation Productions, Llc Headset-based telecommunications platform
KR20110067471A (ko) 2009-12-14 2011-06-22 엘지전자 주식회사 오디오 재생 시스템 및 오디오 재생 장치
US8923995B2 (en) * 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP6016322B2 (ja) * 2010-03-19 2016-10-26 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
CN102062946A (zh) 2010-11-05 2011-05-18 鸿富锦精密工业（深圳）有限公司 具有通信功能的眼镜式显示装置
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20120162362A1 (en) * 2010-12-22 2012-06-28 Microsoft Corporation Mapping sound spatialization fields to panoramic video
JP5691568B2 (ja) 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US8183997B1 (en) * 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
KR101969351B1 (ko) * 2012-09-10 2019-04-16 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 출력 제어 방법
KR102019124B1 (ko) * 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002111817A (ja) * 2000-09-27 2002-04-12 Nec Corp 携帯端末装置の音響再生システム及び方法
JP2005530647A (ja) * 2002-06-04 2005-10-13 エルビット・システムズ・リミテッド オーディオ画像処理分野のための方法とシステム

Also Published As

Publication number Publication date
EP2912514A4 (en) 2016-05-11
US9374549B2 (en) 2016-06-21
EP2912514A1 (en) 2015-09-02
US20140118631A1 (en) 2014-05-01
EP2912514B1 (en) 2019-10-09
WO2014069776A1 (en) 2014-05-08
KR20140054611A (ko) 2014-05-09

Similar Documents

Publication Publication Date Title
KR101989893B1 (ko) 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
KR101760013B1 (ko) 전자 디바이스 및 그 제어방법
EP3029551B1 (en) Virtual reality system and method for controlling operation modes of virtual reality system
EP3029552B1 (en) Virtual reality system and method for controlling operation modes of virtual reality system
KR101861380B1 (ko) 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
KR101958778B1 (ko) 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
US9271103B2 (en) Audio control based on orientation
EP3884335B1 (en) Systems and methods for maintaining directional wireless links of motile devices
KR20220067128A (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
US10761333B2 (en) Head mounted display device, sound transmission system, and control method for head mounted display device
KR20180033185A (ko) 이어셋 및 그 제어 방법
KR20150001433A (ko) 웨어러블 디바이스 및 그 제어 방법
KR20140129936A (ko) 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20230038406A (ko) 무선 음향 기기를 제어하는 단말기 및 그 방법
US20240036323A1 (en) Electronic device and method for adjusting volume using acoustic signal output from external object
KR20160013853A (ko) 증강현실 제공 방법 및 이를 위한 디지털 디바이스
JP2017135570A (ja) 撮像システム、及び、撮像システムの制御方法
KR20170023491A (ko) 카메라 및 이를 포함하는 가상 현실 시스템
KR102643356B1 (ko) 휴대용 음향 기기, 소스 디바이스 및 소스 디바이스의 제어 방법
KR102682018B1 (ko) 디스플레이 디바이스 및 디스플레이 디바이스의 제어 방법
US20250029336A1 (en) Electronic device and method for displaying connection state in virtual environment
KR20250015597A (ko) 가상 환경에서 연결 상태를 표시하기 위한 전자 장치 및 방법
KR20240032598A (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한, 전자 장치, 및 방법
KR20160008916A (ko) 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20240014991A (ko) 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121029

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20171020

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20121029

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180914

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190312

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190611

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190612

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220509

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230509

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240509

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250512

Start annual number: 7

End annual number: 7