[go: up one dir, main page]

KR102081933B1 - 헤드 마운트 디스플레이 및 제어 방법 - Google Patents

헤드 마운트 디스플레이 및 제어 방법 Download PDF

Info

Publication number
KR102081933B1
KR102081933B1 KR1020130102326A KR20130102326A KR102081933B1 KR 102081933 B1 KR102081933 B1 KR 102081933B1 KR 1020130102326 A KR1020130102326 A KR 1020130102326A KR 20130102326 A KR20130102326 A KR 20130102326A KR 102081933 B1 KR102081933 B1 KR 102081933B1
Authority
KR
South Korea
Prior art keywords
condition
update information
hmd
event
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130102326A
Other languages
English (en)
Other versions
KR20150025117A (ko
Inventor
김종호
천시내
조은형
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130102326A priority Critical patent/KR102081933B1/ko
Priority to US14/089,116 priority patent/US8836641B1/en
Priority to PCT/KR2013/010779 priority patent/WO2015030306A1/en
Priority to US14/459,080 priority patent/US9389683B2/en
Publication of KR20150025117A publication Critical patent/KR20150025117A/ko
Application granted granted Critical
Publication of KR102081933B1 publication Critical patent/KR102081933B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 명세서는 헤드 마운트 디스플레이(HMD) 및 제어 방법에 관한 것으로서, 보다 상세하게는 유저가 HMD를 착용한 상태에서 유저의 눈의 뜸/감음을 인식하여 HMMD에 디스플레이되는 정보를 업데이트하는 방법에 관한 것이다.
일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)에 있어서, 이미지를 디스플레이하는 디스플레이 유닛; 상기 HMD를 착용한 유저의 눈의 뜸/감음을 인식하는 카메라 유닛; 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 디스플레이 유닛, 상기 카메라 유닛, 상기 커뮤니케이션 유닛을 제어하는 프로세서를 포함하고, 상기 프로세서는 이벤트의 생성을 디텍트하고, 상기 이벤트가 제 1 업데이트 정보인지 결정하고, 상기 이벤트가 상기 제 1 업데이트 정보인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식하되, 상기 조건은 상기 유저가 눈을 감은 제 1 조건 및 상기 유저가 눈을 뜬 제 2 조건을 포함하는,상기 인식된 조건이 제 1 조건인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하는, HMD를 제공한다.

Description

헤드 마운트 디스플레이 및 제어 방법 {HEAD MOUNTED DISPLAY AND METHOD FOR CONTROLLING THE SAME}
본 명세서는 헤드 마운트 디스플레이(HMD) 및 제어 방법에 관한 것으로서, 보다 상세하게는 유저가 HMD를 착용한 상태에서 유저의 눈의 뜸/감음을 인식하여 HMD에 디스플레이되는 정보를 업데이트하는 방법에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.
HMD를 착용한 유저는 SMS(Short Message Service)와 같은 업데이트 정보가 발생하는 경우, 스마트폰과 같은 모바일 디바이스를 통하지 않더라도 HMD를 통하여 업데이트 정보를 인식할 수 있다. 예를 들어, HMD는 시간 변화, 날씨 변화, 날짜 변화, 전화 수신 등의 이벤트가 발생하는 경우, 유저가 HMD를 착용한 상태에서 이벤트의 발생을 인식할 수 있다.
일 실시예로서, HMD는 디스플레이 유닛에 디스플레이되는 오브젝트의 종류에 따라 다양한 업데이트를 제공하고자 한다.
또한, 다른 일 실시예로서, HMD는 HMD를 착용한 유저의 눈의 뜸/감음 상태에 따라, 디스플레이 유닛에 디스플레이되는 오브젝트의 업데이트를 제공하고자 한다.
또한, 다른 일 실시예로서, HMD는 HMD를 착용한 유저의 눈의 뜸/감음 상태 및 디스플레이 유닛에 디스플레이되는 오브젝트의 종류에 따라, 오브젝트 각각의 업데이트를 제공하고자 한다.
일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)에 있어서, 이미지를 디스플레이하는 디스플레이 유닛; 상기 HMD를 착용한 유저의 눈의 뜸/감음을 인식하는 카메라 유닛; 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 디스플레이 유닛, 상기 카메라 유닛, 상기 커뮤니케이션 유닛을 제어하는 프로세서를 포함하고, 상기 프로세서는 이벤트의 생성을 디텍트하고, 상기 이벤트가 제 1 업데이트 정보인지 결정하고, 상기 이벤트가 상기 제 1 업데이트 정보인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식하되, 상기 조건은 상기 유저가 눈을 감은 제 1 조건 및 상기 유저가 눈을 뜬 제 2 조건을 포함하는,상기 인식된 조건이 제 1 조건인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하는, HMD를 제공한다.
다른 일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서, 이벤트의 생성을 디텍트하는 단계; 상기 이벤트가 제 1 업데이트 정보인지 결정하는 단계; 상기 이벤트가 상기 제 1 업데이트 정보인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식하는 단계로서, 상기 조건은 상기 유저가 눈을 감은 제 1 조건 및 상기 유저가 눈을 뜬 제 2 조건을 포함함; 및상기 인식된 조건이 제 1 조건인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하는 단계를 포함하는, 제어 방법을 제공한다.
일 실시예에 의하면, 유저의 눈 감음 상태에서, HMD는 시간, 날씨 등의 자주 업데이트 되는 오브젝트를 업데이트하여, 유저가 눈 뜬 상태에서 오브젝트의 업데이트로 인한 눈의 피로감을 줄일 수 있다.
다른 일 실시예에 의하면, 유저의 눈 뜸 상태에서, HMD는 메시지 수신, 알람 수신 등의 오브젝트를 업데이트하여, 유저가 눈 뜬 상태에서 인식해야 할 이벤트에 대하여 용이하게 인식시킬 수 있다.
다른 일 실시예에 의하면, HMD에서 오브젝트의 업데이트는 이벤트의 발생 후 유저의 눈 뜸/감음 조건에서 기 설정된 시간이 경과되어야 발생하는 것으로, 유저의 눈 뜸/상태의 즉각적인 변화에 대처할 수 있다.
보다 구체적인 발명의 효과에 대해서는, 이하 목차에서 상세히 후술하도록 한다.
도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타낸다.
도 2는 본 명세서의 HMD를 착용한 유저의 눈 조건을 나타내는 도면이다.
도 3은 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다.
도 4는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다.
도 5는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다.
도 6은 본 명세서의 HMD의 제어 방법의 제 4 실시예를 나타내는 도면이다.
도 7은 본 명세서의 HMD의 제어 방법의 제 5 실시예를 나타내는 도면이다.
도 8a 및 8b는 본 명세서의 HMD의 제어 방법의 제 6 실시예를 나타내는 도면이다.
도 9a 및 9b는 본 명세서의 HMD의 제어 방법의 제 7 실시예를 나타내는 도면이다.
도 10a 및 도 10b는 본 명세서의 HMD의 제어 방법의 순서도를 나타낸다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타낸다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.
도 1에 도시된 바와 같이, HMD(100)는 디스플레이 유닛(110), 카메라 유닛(120), 커뮤니케이션 유닛(130) 및 프로세서(140)를 포함할 수 있다.
디스플레이 유닛(110)은 디스플레이 스크린에 이미지를 출력할 수 있다. 또한, 디스플레이 유닛(110)은 프로세서(140)에 의해 실행되는 컨텐츠 또는 프로세서(140)의 제어 명령에 기초하여 이미지를 출력할 수 있다.
한편, 본 명세서에서, HMD(100)는 다양한 방식으로 디스플레이 스크린에 이미지를 출력할 수 있다. 일 예로서, HMD(100)는 투시형(see-through) 방식으로 이미지를 출력할 수 있다. 여기에서, 투시형(see-through) 방식은 디스플레이 스크린이 투명한 것으로, HMD(100)를 착용한 상태에서 유저가 주위 환경을 인식하면서 컨텐츠를 이용할 수 있는 방식을 나타낸다. 다른 일 예로서, HMD(100)는 전방 주사(front-light) 방식으로 이미지를 출력할 수 있다. 여기에서, 전방 주사 방식은 빛이 눈에 직접 투사되지 않고 반사된 영상을 거울과 같은 반사체를 통해 디스플레이하는 방식을 나타낸다.
또한, 다른 일 예로서, HMD(100)는 암막형(see-closed) 방식으로 이미지를 출력할 수 있다. 여기에서, 암막형 방식은 디스플레이 스크린을 통해 외부 환경을 볼 수 없고, 디스플레이 스크린을 통해 컨텐츠를 이용하는 방식을 나타낸다. 본 명세서에서, HMD(100)는 투시형 또는 전방 주사 방식으로 이미지를 디스플레이하는 것으로 가정하도록 한다.
카메라 유닛(120)은 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(120)은 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 카메라 유닛(120)이 향하고 있는 방향에 해당할 수 있다. 또한, 카메라 유닛(120)은 화각 영역 내의 이미지를 센싱하여 프로세서(140)에 제공할 수 있다. 여기에서, 화각 영역은 이미지를 센싱하는 때에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다.
본 명세서에서 카메라 유닛(120)은 HMD(100)의 외측 또는 내측에 위치할 수 있다. 카메라 유닛(120)이 HMD(100)의 외측에 위치하는 경우, 카메라 유닛(120)은 HMD(100)의 앞 방향의 이미지를 센싱할 수 있다. 또한, 카메라 유닛(120)이 HMD(100)의 내측에 위치하는 경우, 카메라 유닛(120)은 유저의 눈 뜸/감음을 센싱할 수 있다.
커뮤니케이션 유닛(130)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션(130) 유닛은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.
본 명세서에서, 커뮤니케이션 유닛(130)은 데이터를 송/수신할 수 있다. 보다 상세하게는, 커뮤니케이션 유닛(130)은 HMD(100)에 대한 이벤트의 발생을 수신할 수 있다. 예를 들어, 발생된 이벤트는 시간 변화, 날짜 변화, 날씨 변화, 이메일 수신, SNS(Social Network Service) 업데이트, SMS 수신 등을 포함할 수 있다.
프로세서(140)는 데이터를 프로세싱하고, 상술한 모바일 디바이스(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다.
본 명세서에서, 프로세서(140)는 이벤트의 생성을 디텍트할 수 있다. 또한, 프로세서(140)는 이벤트가 제 1 업데이트 정보인지 결정할 수 있다. 또한, 프로세서(140)는 이벤트가 제 1 업데이트 정보인 경우, 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식할 수 있다. 또한, 프로세서(140)는 인식된 조건이 제 1 조건인 경우, 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트할 수 있다. 이와 관련하여, 도 3 내지 도 9에서 자세하게 설명하도록 한다.
본 명세서의 일 실시예로서, HMD(100)가 수행하는 동작들은 프로세서(140)에 의해 제어될 수 있다. 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 HMD(100)가 수행/제어하는 것으로 설명하도록 한다.
한편, 도 1에는 도시되지 않았으나, HMD(100)는 센서 유닛, 파워 유닛, 스토리지 유닛 등을 포함할 수 있다. 센서 유닛은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여, 디바이스의 주변 환경을 센싱하고, 이를 신호 형태로 프로세서(140)에 전달할 수 있다.
파워 유닛은 HMD(100)의 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, HMD(100)에 파워를 공급할 수 있다. 또한, 스토리지 유닛은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낼 수 있다.
도 1에 도시된 HMD(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 HMD(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 명세서의 HMD를 착용한 유저의 눈 조건을 나타내는 도면이다. 보다 상세하게는, 도 2의 (a)는 HMD(100)를 착용한 유저가 눈 뜸 상태에 있는 경우를 나타내고, 도 2의 (b)는 HMD(100)를 착용한 유저가 눈 감은 상태에 있는 경우를 나타낸다.
HMD(100)에 구비된 카메라 유닛을 통해, HMD(100)는 유저의 눈 뜸/감음 상태를 인식하여, 이와 관련된 기능을 수행할 수 있다. 예를 들어, 유저의 눈 뜸/감음 상태를 인식하여, HMD(100)는 디스플레이 유닛을 액티베이트/디액티베이트할 수 있고, HMD(100)의 특정 애플리케이션을 실행/비실행시킬 수 있다. 본 명세서에서, HMD(100)는 유저의 눈 뜸/감음 상태에 따라서 다양한 오브젝트를 업데이트하는 것을 설명하도록 한다.
일 예로서, 도 2의 (a)에 도시된 유저의 눈 뜸 상태에서, HMD(100)는 제 2 오브젝트에 제 2 업데이트 정보를 업데이트할 수 있다. 여기에서, 눈 뜸 상태는 유저(10)가 전면을 바라보는 상태뿐만 아니라, HMD(100)가 유저(10)의 디스플레이 유닛에 대한 시선을 인식할 수 있는 경우를 포함할 수 있다.
여기에서, 제 2 오브젝트는 이벤트가 발생되었음을 유저(10)에게 알릴 필요가 있는 정보에 해당할 수 있다. 예를 들어, 제 2 오브젝트는 이메일 오브젝트, SNS 오브젝트, SMS 오브젝트, 전화 오브젝트, 알람 오브젝트 등을 포함할 수 있다. 또한, 제 2 오브젝트에 대한 제 2 업데이트 정보는 눈 감음 상태에서 업데이트되는 정보에 비하여 상대적으로 중요도가 높은 정보에 해당할 수 있다. 즉, 제 2 오브젝트에 대한 업데이트는 유저(10)의 눈 뜸 상태에서 유저(10)가 업데이트를 인식할 필요가 있는 경우에 해당할 수 있다. 또한, 제 2 업데이트 정보는 제 2 오브젝트에 대한 이벤트가 발생하는 경우에만 발생할 수 있다.
다른 일 예로서, 도 2의 (b)에 도시된 유저의 눈 감음 상태에서, HMD(100)는 제 1 오브젝트에 제 1 업데이트 정보를 업데이트할 수 있다. 여기에서, 눈 감음 상태는 유저(10)가 기 설정된 시간 동안 눈을 감고 있는 상태 뿐만 아니라 유저가 눈을 깜박이는 동안 잠시 눈을 감게 되는 상태를 포함할 수 있다.
여기에서, 제 1 오브젝트는 디스플레이 유닛 상에 상시적으로 디스플레이되거나 자주 디스플레이되는 오브젝트에 해당할 수 있다. 예를 들어, 제 1 오브젝트는 시간 오브젝트, 날씨 오브젝트, 배터리 오브젝트 등을 포함할 수 있다. 또한, 제 1 오브젝트에 대한 제 1 업데이트 정보는 눈 감음 상태에서 업데이트되기 때문에, 눈 뜸 상태에서 업데이트되는 정보에 비하여 상대적으로 중요도가 낮은 정보에 해당할 수 있다. 또한, 제 1 업데이트 정보는 기 설정된 시간 간격에 따라 주기적으로 생성될 수 있다.
이하, 도 3 내지 도 9에서는 유저의 눈 뜸/감음 상태 및 발생된 이벤트의 종류에 따라 유저가 착용한 HMD(100)에서 업데이트 정보를 업데이트하는 방법을 나타낸다.
도 3은 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 3은 유저(10)의 눈 감음 상태에서 제 1 업데이트 정보를 업데이트하는 경우를 나타낸다.
도 3에 도시된 바와 같이, HMD(100)는 이벤트의 생성을 디텍트할 수 있다. 이때, HMD(100)는 유저(10)에게 착용된 상태에 해당할 수 있다. 여기에서, 이벤트는 디스플레이 유닛(110)에 디스플레이된 또는 디스플레이 예정인 오브젝트를 업데이트하기 위해 발생하는 정보에 해당할 수 있다. 예를 들어, 생성된 이벤트는 시간 변화, 날씨 변화, 전화 수신, 메시지 수신, 알람 수신 등을 포함할 수 있다. 도 3에서, 생성된 이벤트는 시간 변화 즉, '1분 경과'에 해당한다.
또한, HMD(100)는 생성된 이벤트가 제 1 업데이트 정보인지 결정할 수 있다. 도 2에서 상술한 바와 같이, 제 1 업데이트 정보는 제 1 오브젝트를 업데이트하기 위한 정보로서, 눈 뜸 상태에서 업데이트 되는 정보에 비해 상대적으로 중요도가 낮은 정보에 해당할 수 있다. 예를 들어, 제 1 업데이트 정보는 날씨 업데이트 정보, 시간 업데이트 정보, 배터리 업데이트 정보 등을 포함할 수 있다. 도 3에서, 생성된 이벤트는 시간이 '8:40 AM'에서 '8:41 AM'인 것으로 시간이 변화한 것으로서, 제 1 업데이트 정보에 해당할 수 있다.
한편, HMD(100)는 이벤트가 제 1 업데이트 정보인 경우, 제 1 업데이트 정보에 대응하는 제 1 오브젝트(20)를 업데이트하기 위한 조건을 인식할 수 있다. 여기에서, 제 1 오브젝트(20)를 업데이트 하기 위한 조건은 유저(10)의 눈(11) 상태에 해당한다. 예를 들어, 제 1 오브젝트(20)를 업데이트하기 위한 조건은 유저(10)가 눈(11)을 감은 제 1 조건 및 유저(10)가 눈(11)을 뜬 제 2 조건을 포함할 수 있다. 또한, 제 1 오브젝트는 제 1 업데이트 정보를 업데이트하기 위한 대상 오브젝트에 해당할 수 있다. 예를 들어, 제 1 오브젝트는 시간 오브젝트, 날씨 오브젝트, 배터리 오브젝트 등을 포함할 수 있다. 도 3에서, HMD(100)는 제 1 업데이트 정보가 발생하는 때에, 유저(10)가 눈(11)을 감은 제 1 조건인 것으로 인식할 수 있다.
또한, HMD(100)는 인식된 조건이 제 1 조건인 경우, 제 1 업데이트 정보에 대응하는 제 1 오브젝트(20)를 업데이트할 수 있다. 또한, HMD(100)는 업데이트된 제 1 오브젝트(20)를 디스플레이 유닛(110)에 디스플레이할 수 있다. 도 3에서, HMD(100)는 시간이 1분 경과한 때에, 유저(10)의 눈(11)이 제 1 조건이므로, 제 1 오브젝트인 시간 오브젝트를 '8:40 AM'에서 '8:41 AM'으로 업데이트할 수 있다. 또한, 도 3에서, HMD(100)는 제 1 오브젝트의 업데이트된 상태인 '8:41 AM'을 디스플레이 유닛(110)에 디스플레이할 수 있다. 이를 통해, 유저(10)가 추후에 눈을 뜨게 되면, '8:41 AM'으로 업데이트된 제 1 오브젝트를 인식할 수 있게 된다. 즉, 본 명세서에서, 유저(10)는 눈을 뜬 상황에서 1분 단위로 시간이 업데이트되는 것을 보지 않아도 된다.
도 3의 실시예를 통하여, HMD(100)는 시간과 같이 자주 업데이트되는 오브젝트의 경우, 유저(10)가 눈 감은 상태에서 업데이트하여, 유저(10)의 눈에 피곤함을 줄일 수 있다.
도 4는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 4는 유저(10)의 눈 뜸 상태에서 제 1 업데이트 정보를 업데이트하는 경우를 나타낸다.
도 4에 도시된 바와 같이, HMD(100)는 이벤트의 생성을 디텍트할 수 있다. 도 4에서, 생성된 이벤트는 시간 변화에 해당할 수 있다. 또한, HMD(100)는 이벤트가 제 1 업데이트 정보인지 결정할 수 있다. 도 4에서, 생성된 이벤트는 시간이 '8:40 AM'에서 '8:41 AM'인 것으로 변화한 것으로서, 제 1 업데이트 정보에 해당할 수 있다.
또한, HMD(100)는 이벤트가 제 1 업데이트 정보인 경우, 제 1 업데이트 정보에 대응하는 제 1 오브젝트(20)를 업데이트하기 위한 조건을 인식할 수 있다. 도 4에서, HMD(100)는 제 1 업데이트 정보가 발생하는 때에, 유저(10)가 눈(11)을 뜬 제 2 조건인 것으로 인식할 수 있다.
따라서, HMD(100)는 인식된 조건이 제 2 조건인 경우, 인식된 조건이 제 2 조건에서 제 1 조건으로 스위칭될 때까지, 제 1 업데이트 정보에 대응하는 제 1 오브젝트(20)의 업데이트를 홀딩할 수 있다. 보다 상세하게는, HMD(100)는 제 1 업데이트 정보가 발생한 때에, 유저(10)가 눈 뜸 상태인 경우, 유저(10)가 눈 감음 상태로 스위칭될 때까지, 제 1 업데이트 정보에 대응하는 제 1 오브젝트의 업데이트를 홀딩할 수 있다.
도 4에서, 시간이 1분 경과한 때에, HMD(100)는 유저(10)의 눈(11)이 뜸 상태이므로, 제 1 오브젝트(20)의 업데이트를 수행하지 않는다. 이는, 눈 뜬 상태에서 1 분 단위로 시간 변화하는 것을 유저(10)가 인식하게 되면, 눈에 피로와 혼란을 줄 수 있기 때문이다. 또한, HMD(100)는 유저(10)의 눈(11) 뜸 상태 이후에, 유저(10)의 눈(11) 감음 상태가 되는 때에, 디스플레이 유닛(110)의 시간 오브젝트에 '8:41 AM'으로 업데이트하고, '8:41 AM'으로 디스플레이 유닛(110)에 디스플레이할 수 있다.
도 4의 실시예를 통하여, HMD(100)는 시간과 같이 자주 업데이트되는 오브젝트의 경우, 업데이트가 발생하더라도 유저(10)가 눈 뜬 상태에서는 업데이트하지않고, 유저(10)가 눈 감음 상태에서 업데이트하여, 유저(10)의 눈의 피곤함을 줄일 수 있다.
한편, 도 4에서 상술한 바와 달리, HMD(100)는 인식된 조건이 제 2 조건인 경우, 기 설정된 시간이 경과하기 전까지 제 1 조건으로 스위칭되지 않는다면, 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트할 수 있다. 즉, HMD(100)는 '8:40 AM'의 시간에서 '8:41 AM'이 경과하고, '8:42 AM'에 도달할 때까지 눈을 감지 않는 경우에는, 제 1 오브젝트를 '8:42 AM'으로 업데이트할 수도 있다. 이는, 유저(10)의 눈(11) 뜸 상태가 오랫동안 지속되는 경우, 업데이트되어야할 제 1 업데이트 정보가 축적되게 될 수도 있어, 추후에 유저(10)가 시간을 헷갈리게 되는 혼란을 줄 수 있기 때문이다.
도 5는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 5는 유저(10)의 눈 뜸 상태에서 제 2 업데이트 정보를 업데이트하는 경우를 나타낸다.
도 5에 도시된 바와 같이, HMD(100)는 이벤트의 생성을 디텍트할 수 있다. 도 5에서, 생성된 이벤트는 메시지 수신에 해당한다.
또한, HMD(100)는 이벤트가 제 1 업데이트 정보인지 결정할 수 있다. 도 5에서, 생성된 이벤트는 메시지 수신으로서 도 2에서 상술한 제 1 업데이트 정보에 해당하지 않는다. 이 경우, HMD(100)는 이벤트가 제 2 업데이트 정보인지 결정할 수 있다. 도 2에서 상술한 바와 같이, 제 2 업데이트 정보는 제 2 오브젝트를 업데이트하기 위한 정보로서, 눈 감음 상태에서 업데이트되는 정보에 비해 상대적으로 중요도가 높은 정보에 해당할 수 있다. 예를 들어, 제 2 업데이트 정보는 이메일 수신, SNS 수신, SMS 수신, 알람 수신 등을 포함할 수 있다. 도 5에서, 생성된 이벤트는 SMS 수신으로서, 제 2 업데이트 정보에 해당할 수 있다.
한편, HMD(100)는 이벤트가 제 2 업데이트 정보인 경우, 제 2 업데이트 정보에 대응하는 제 2 오브젝트(30)를 업데이트하기 위한 조건을 인식할 수 있다. 여기에서, 제 2 오브젝트(30)를 업데이트하기 위한 조건은 유저(10)의 눈 상태(11)를 나타낼 수 있다. 예를 들어, 제 2 오브젝트를 업데이트하기 위한 조건은 유저(10)가 눈(11)을 감은 제 1 조건 및 유저(10)가 눈(11)을 뜬 제 2 조건을 포함할 수 있다. 도 5에서, HMD(100)는 제 2 업데이트 정보가 발생하는 때에, 유저(10)가 눈(11)을 뜬 제 2 조건인 것으로 인식할 수 있다. 또한, 제 2 오브젝트(30)는 제 2 업데이트 정보를 업데이트하기 위한 대상 오브젝트에 해당할 수 있다. 예를 들어, 제 2 오브젝트는 이메일 오브젝트, SNS 오브젝트, SMS 오브젝트, 알람 오브젝트 등을 포함할 수 있다.
한편, 제 2 오브젝트는 제 1 오브젝트와 달리, 디스플레이 유닛(110)에 항상 디스플레이되지 않을 수 있다. 즉, 제 2 오브젝트는 제 2 업데이트 정보가 발생하거나 유저(10)가 제 2 오브젝트를 액티베이트시키는 경우에만 디스플레이 유닛(110)에 디스플레이될 수 있다.
따라서, HMD(100)는 인식된 조건이 제 2 조건인 경우, 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트할 수 있다. 또한, HMD(100)는 업데이트된 제 2 오브젝트를 디스플레이 유닛(110)에 디스플레이할 수 있다. 도 5에서, HMD(100)는 SMS를 수신한 때에, 유저(10)의 눈(11)이 제 2 조건이므로, 제 2 오브젝트인 SMS 오브젝트를 업데이트할 수 있다. 또한, 도 5에서, HMD(100)는 제 2 오브젝트의 업데이트인 상태인 수신된 SMS 메시지 "How are you?"를 디스플레이 유닛(110)에 디스플레이할 수 있다.
도 5의 실시예를 통하여, HMD(100)는 정기적으로 업데이트되는 오브젝트가 아닌, 특정한 이벤트가 있는 경우에 업데이트되는 오브젝트를 유저(10)가 눈 뜸 상태에서 업데이트하여, 유저(10)가 이벤트의 발생을 용이하게 인식하게 할 수 있다.
도 6은 본 명세서의 HMD의 제어 방법의 제 4 실시예를 나타내는 도면이다. 보다 상세하게는, 도 6은 유저(10)의 눈 감음 상태에서 제 2 업데이트 정보를 업데이트하는 경우를 나타낸다.
도 6에 도시된 바와 같이, HMD(100)는 이벤트의 생성을 디텍트할 수 있다. 도 6에서, 생성된 이벤트는 SMS 수신에 해당한다. 다음으로, HMD(100)는 생성된 이벤트가 제 1 업데이트 정보인지 결정하고, 제 1 업데이트 정보가 아닌 경우 제 2 업데이트 정보인지 결정한다. 도 6에서, 생성된 이벤트는 'SMS 수신'으로서, 제 2 업데이트 정보에 해당할 수 있다.
또한, HMD(100)는 이벤트가 제 2 업데이트 정보인 경우, 제 2 업데이트 정보에 대응하는 제 2 오브젝트(30)를 업데이트하기 위한 조건을 인식할 수 있다. 도 6에서, HMD(100)는 제 2 업데이트 정보가 발생하는 때에, 유저(10)가 눈(11)을 감은 제 1 조건으로 인식할 수 있다.
이 경우, HMD(100)는 인식된 조건이 제 1 조건인 경우, 인식된 조건이 제 1 조건에서 제 2 조건으로 스위칭될 때까지, 제 2 업데이트 정보에 대응하는 제 2 오브젝트(30)의 업데이트를 홀딩할 수 있다. 도 6에서, HMD(100)는 SMS를 수신하는 때에, 유저(10)의 눈(11)이 감음 상태이므로, 제 2 오브젝트(30)의 업데이트를 수행하지 않는다. 또한, 이후에 HMD(100)는 유저(10)의 눈(11) 뜸 상태가 되는 때에, SMS 오브젝트를 업데이트하고, "How are you?" 메시지를 디스플레이 유닛(110)에 디스플레이할 수 있다.
도 6의 실시예를 통하여, HMD(100)는 유저(10)가 인식해야 하는 이벤트의 경우, 유저(10)의 눈 뜸 상태에서 업데이트하여, 유저(10)가 발생된 이벤트를 용이하게 인식하게 할 수 있다.
한편, 도 6에서 상술한 바와 달리, HMD(100)는 인식된 조건이 제 1 조건인 경우, 기 설정된 시간이 경과하기 전까지 제 2 조건으로 스위칭되지 않는다면, 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트할 수 있다. 또한, HMD(100)는 제 1 조건 상태에서, 제 2 오브젝트의 업데이트를 진동, 소리 등을 통해 유저(10)에게 알릴 수도 있다. 즉, HMD(100)는 "How are you?" 메시지를 수신한 이후에 기 설정된 시간이 초과하도록 유저(10)가 눈을 뜨지 않는 경우에는, 제 2 오브젝트에 수신된 "How are you?" 메시지를 유저(10)에게 진동, 소리와 같은 수단으로 알릴 수 있다. 이는, 유저(10)의 눈(11) 감음 상태가 오랫동안 지속되는 경우, 복수의 제 2 업데이트 정보가 발생할 수 있어, 유저(10)에게 제 2 업데이트 정보가 도착하였음을 진동, 소리와 같은 수단으로 알리기 위함이다.
도 7은 본 명세서의 HMD의 제어 방법의 제 5 실시예를 나타내는 도면이다. 보다 상세하게는, 도 7은 유저(10)의 눈 뜸 상태에서 복수의 제 2 업데이트 정보가 업데이트되는 경우를 나타낸다. 또한, 도 7의 실시예는 제 2 조건에서, 복수의 제 2 업데이트 정보가 생성되는 경우를 나타낸다.
일 예로서, HMD(100)는 복수의 제 2 업데이트 정보를 업데이트하고 생성된 복수의 이벤트 중 첫번째 이벤트에 대한 제 2 업데이트 정보를 디스플레이 유닛(110)에 디스플레이할 수 있다. 이 경우, 생성된 복수의 제 2 업데이트 정보는 이벤트의 발신 어드레스가 동일한 경우에 해당할 수 있다. 이는, 동일 인물로부터 발신된 복수의 메시지의 경우, 메시지가 수신되었음을 유저(10)에게 알리기만 하면 되고 복수의 메시지를 모두 보여줄 필요는 없기 때문이다.
도 7에서 도시된 바와 같이, 복수의 제 2 업데이트 정보는 제 2 오브젝트인 'SMS 오브젝트'에 대한 업데이트 정보로서, 4개의 업데이트 정보를 포함할 수 있다. 또한, 도 7에서 복수의 제 2 업데이트 정보는 발신 어드레스가 'Tim'으로서 동일하다. 따라서, HMD(100)는 복수의 제 2 업데이트 정보를 모두 업데이트하고 디스플레이 유닛(110)에 첫번째 이벤트에 대한 제 2 업데이트 정보인 'How are you?'를 디스플레이하고, 나머지 제 2 업데이트 정보는 숫자로만 표기할 수 있다.
다른 일 예로서, HMD(100)는 복수의 제 2 업데이트 정보를 업데이트하고 생성된 복수의 제 2 업데이트 정보를 디스플레이 유닛(110)에 순차적으로 디스플레이할 수 있다. 이 경우, 생성된 복수의 제 2 업데이트 정보는 이벤트의 발신 어드레스가 각각 상이할 수 있다. 이는, 상이한 인물로부터 발신된 복수의 메시지의 경우, 각각 메시지가 상이한 인물로부터 왔음을 유저(10)에게 알릴 필요가 있기 때문이다.
도 7에서 도시되지 않았으나, 복수의 제 2 업데이트 정보가 디텍트된 경우, HMD(100)는 디스플레이 유닛(110)에 디텍트된 순서대로 제 2 업데이트 정보를 순차적으로 디스플레이할 수 있다.
도 8은 본 명세서의 HMD의 제어 방법의 제 6 실시예를 나타내는 도면이다. 보다 상세하게는, 도 8a는 유저(10)의 눈 감음 상태에서 제 1 업데이트 정보를 업데이트하고, 도 8b는 유저(10)의 눈 뜸 상태에서 제 1 업데이트 정보를 업데이트하는 것을 나타낸다. 다만, 도 8a 및 도 8b는 제 1 업데이트 정보가 생성되고 제 1 시간(T1) 이후에 제 1 오브젝트가 업데이트되는 경우를 나타낸다.
먼저, 도 8a를 참조하면, HMD(100)는 A 시점에서 유저(10)가 눈(11) 뜬 상태에서 디스플레이 유닛(110)에 디스플레이된 제 1 오브젝트(20)를 보는 것을 인식할 수 있다. 또한, A 시점에서, 디스플레이 유닛(110)에 디스플레이된 시간 오브젝트는 시간이 '8:40 AM'이다.
한편, B 시점에서, HMD(100)는 이벤트를 디텍트할 수 있다. 여기에서, 이벤트는 시간이 '8:40 AM'에서 '8:41 AM'으로 바뀌는 것으로, 제 1 업데이트 정보에 해당할 수 있다.
또한, B 시점에서, HMD(100)는 제 1 업데이트 정보에 대응하는 제 1 오브젝트(20)를 업데이트하기 위한 조건으로서, 유저(10)의 눈(11) 감음 상태를 인식할 수 있다. 또한, B 시점으로부터 제 1 시간(T1)이 지난 C 시점에서, HMD(100)는 유저(10)의 눈(11) 감음 상태를 인식하는 경우, 제 1 업데이트 정보를 제 1 오브젝트(20)에 업데이트할 수 있다. 여기에서, 제 1 시간(T1)은 기 설정된 시간으로서 제 1 업데이트 정보가 발생된 이후 실제 업데이트까지 걸리는 시간을 나타낸다.
이 경우, HMD(100)는 이벤트의 발생 후 제 1 업데이트 정보에 대응하는 제 1 오브젝트(20)를 업데이트하기 위한 제 1 조건인 경우, 바로 제 1 오브젝트(20)를 하지 않을 수 있다. 즉, HMD(100)는 이벤트의 발생 후 제 1 조건에서 제 1 시간(T)이 경과된 이후에, 제 1 오브젝트(20)를 업데이트할 수 있다. 이는, 제 1 조건에서 업데이트 정보가 발생하고 제 1 시간(T1)이 경과하기 전에, 제 1 조건에서 눈 뜸 상태인 제 2 조건으로 변경되는 경우, 제 1 오브젝트를 업데이트하지 않아도 되기 때문이다.
다음으로, 도 8b를 참조하면, A 시점과 B 시점은 도 8a와 동일하므로 설명을 생략하도록 한다. B 시점으로부터 제 1 시간(T1)이 지난 C 시점에서, HMD(100)는 유저(10)의 눈(11) 뜸 상태인 제 2 조건을 인식할 수 있다. 이 경우, 도 8a에서와 상이하게, HMD(100)는 C 시점에서 제 1 업데이트 정보를 제 1 오브젝트(20)에 업데이트하지 않게 된다.
즉, HMD(100)는 D 시점에서 유저(10)의 눈(11)이 다시 제 1 조건이 되는 때에, 제 1 업데이트 정보를 제 1 오브젝트에 업데이트 할 수 있다. 이는, 제 2 조건에서 제 1 오브젝트(20)를 업데이트하는 것은 유저(10)의 눈(11)에 피로함을 줄 수 있기 때문에, 다시 제 1 조건이 되는 때에, 제 1 오브젝트(20)를 업데이트하는 것이다.
도 9는 본 명세서의 HMD의 제어 방법의 제 7 실시예를 나타내는 도면이다. 보다 상세하게는, 도 9a는 유저(10)의 눈(11) 뜸 상태에서 제 2 업데이트 정보를 업데이트하고, 도 9b는 유저(10)의 눈(11) 감음 상태에서 제 2 업데이트 정보를 업데이트하는 것을 나타낸다. 다만, 도 9a 및 도 9b는 제 2 업데이트 정보가 생성되고 제 2 시간(T2) 이후에 제 2 오브젝트를 업데이트하는 경우를 나타낸다.
먼저, 도 9a를 참조하면, HMD(100)는 A 시점에서 유저(10)가 눈(11) 뜸 상태에서 디스플레이 유닛(110)에 디스플레이된 제 1 오브젝트(20)를 보는 것을 인식할 수 있다. 여기에서, 제 1 오브젝트(20)는 이벤트의 발생과 관계없이 상시적으로 디스플레이 유닛(110)에 디스플레이될 수 있다. 다만, 제 2 오브젝트(30)는 이벤트가 발생하는 경우에만 디스플레이 유닛(110)에 디스플레이할 수 있다.
한편, B 시점에서, HMD(100)는 이벤트를 디텍트할 수 있다. 여기에서, 이벤트는 SMS 수신에 해당할 수 있다. 또한, HMD(100)는 이벤트가 제 1 업데이트 정보가 아닌 경우, 제 2 업데이트 정보에 해당하는지 결정할 수 있다. 도 9a에서, 메시지 수신 이벤트는 제 2 업데이트 정보에 해당한다. 또한, B 시점에서, HMD(100)는 제 2 업데이트 정보를 업데이트하기 위한 조건으로서, 유저(10)의 눈(11) 뜸 상태를 인식할 수 있다. 또한, B 시점으로부터 제 2 시간(T2)이 지난 C 시점에서, HMD(100)는 유저(10)의 눈(11) 뜸 상태를 인식하는 경우, 제 2 업데이트 정보를 제 2 오브젝트(30)에 업데이트할 수 있다. 여기에서, 제 2 시간(T2)은 기 설정된 시간으로서 제 2 업데이트 정보가 발생된 이후 실제 업데이트까지 걸리는 시간을 나타낸다. 또한, 제 2 시간(T2)은 이벤트가 발생함을 유저에게 즉시 알릴 필요가 있기 때문에, 0.1초 이하의 짧은 시간에 해당할 수 있다.
이 경우, HMD(100)는 이벤트의 발생 후 제 2 업데이트 정보에 대응하는 제 2 오브젝트(30)를 업데이트하기 위한 제 2 조건인 경우, B 시점에서 바로 제 2 오브젝트(30)를 업데이트하지 않을 수 있다. 즉, HMD(100)는 이벤트의 발생 후 제 2 조건에서 제 2 시간(T2)이 경과된 이후에, 제 2 오브젝트(30)를 업데이트할 수 있다. 이는, 제 2 조건에서 업데이트 정보가 발생하고 제 2 시간(T2)이 경과하기 전에, 제 2 조건에서 눈 감음 상태인 제 1 조건으로 변경되는 경우, 제 2 오브젝트를 업데이트할 필요가 없기 때문이다.
다음으로, 도 9b를 참조하면, A 시점과 B 시점은 도 9b와 동일하므로 설명을 생략하도록 한다. B 시점으로부터 제 2 시간(T2)이 지난 C 시점에서, HMD(100)는 유저(10)의 눈(11) 감음 상태인 제 1 조건을 인식할 수 있다. 이 경우, 도 9a에서와 상이하게, HMD(100)는 C 시점에서 제 2 업데이트 정보를 제 2 오브젝트(30)에 업데이트하지 않게 된다.
즉, HMD(100)는 D 시점에서 유저(10)의 눈(11)이 다시 제 2 조건이 되는 때에, 제 2 업데이트 정보를 제 2 오브젝트(30)에 업데이트할 수 있다. 이는, 제 1 조건에서 제 2 오브젝트(30)를 업데이트하는 경우, 유저(10)가 인지해야할 이벤트가 발생했음에도 불구하고 인식하지 못할 수도 있기 때문이다.
도 10은 본 명세서의 HMD의 제어 방법의 순서도를 나타낸다. 이하 설명하는 도 10a 및 도 10b의 각 단계는 도 1에 도시된 HMD(100)의 프로세서(140)에 의해 제어될 수 있다.
먼저, HMD는 이벤트 생성을 디텍트할 수 있다(S1010). 도 3에서 상술한 바와 같이, 이벤트는 디스플레이 유닛(110)에 디스플레이된 또는 디스플레이 예정인 오브젝트를 업데이트하기 위해 발생하는 정보에 해당할 수 있다. 예를 들어, 생성된 이벤트는 시간 변화, 날씨 변화, 전화 수신, 메시지 수신 등을 포함할 수 있다.
다음으로, HMD는 생성된 이벤트가 제 1 업데이트 정보인지 결정할 수 있다(S1020). 도 3에서 상술한 바와 같이, 제 1 업데이트 정보는 제 1 오브젝트를 업데이트하기 위한 정보에 해당할 수 있다. 예를 들어, 제 1 업데이트 정보는 날씨 업데이트, 시간 업데이트, 배터리 업데이트 등을 포함할 수 있다.
S1020 단계에서, 생성된 이벤트가 제 1 업데이트 정보인 경우, HMD는 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식할 수 있다(S1030). 여기에서, 제 1 오브젝트를 업데이트 하기 위한 조건은 유저의 눈 상태에 해당한다. 예를 들어, 제 1 오브젝트를 업데이트하기 위한 조건은 유저가 눈을 감은 제 1 조건 및 유저가 눈을 뜬 제 2 조건을 포함할 수 있다.
다음으로, HMD는 인식된 조건이 제 1 조건 또는 제 2 조건인지 결정할 수 있다(S1040). 이는, HMD에 장착된 카메라를 통해 유저의 눈의 뜸/감음 상태를 인식하고 결정할 수 있다.
S1040 단계에서, 인식된 조건이 제 1 조건인 경우, HMD는 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트할 수 있다(S1050). 즉, 도 3에서 상술한 바와 같이, 유저의 눈 감음 상태에서, HMD는 시간 오브젝트와 같은 제 1 오브젝트를 업데이트할 수 있다. 또한, HMD는 업데이트된 제 1 오브젝트를 디스플레이 유닛에 디스플레이하여 유저가 눈 뜸 상태에서는 업데이트된 제 1 오브젝트를 인식하게 할 수 있다.
S1040 단계에서, 인식된 조건이 제 2 조건인 경우, HMD는 인식된 조건이 제 2 조건에서 제 1 조건으로 스위칭될 때까지, 제 1 업데이트 정보에 대응하는 제 1 오브젝트의 업데이트를 홀딩할 수 있다(S1060). 즉, 도 4에서 상술한 바와 같이, 유저의 눈 뜸 상태에서, HMD는 제 1 오브젝트에 대한 업데이트를 홀딩하고, 다음 제 1 조건에서 제 1 오브젝트를 업데이트할 수 있다.
한편, S1020 단계에서, 생성된 이벤트가 제 1 업데이트 정보가 아닌 경우 HMD는 생성된 이벤트가 제 2 업데이트 정보인지 결정할 수 있다(S1070). 도 5에서 상술한 바와 같이, 제 2 업데이트 정보는 제 2 오브젝트를 업데이트하기 위한 정보에 해당할 수 있다. 예를 들어, 제 2 업데이트 정보는 이메일 수신, SMS 수신, SNS 업데이트 등을 포함할 수 있다.
S1070 단계에서, 생성된 이벤트가 제 2 업데이트 정보인 경우, HMD는 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트하기 위한 조건을 인식할 수 있다(S1080). 다음으로, HMD는 인식된 조건이 제 1 조건 또는 제 2 조건인지 결정할 수 있다(S1090).
S1090 단계에서, 인식된 조건이 제 1 조건인 경우, 인식된 조건이 제 1 조건에서 제 2 조건으로 스위칭될 때까지, 제 2 업데이트 정보에 대응하는 제 2 오브젝트의 업데이트를 홀딩할 수 있다(S1100). 즉, 도 6에서 상술한 바와 같이, 유저의 눈 감음 상태에서, HMD는 제 2 오브젝트에 대한 업데이트를 홀딩하고, 다음 제 2 조건에서 제 2 오브젝트를 업데이트할 수 있다.
S1090 단계에서, 인식된 조건이 제 2 조건인 경우, 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트할 수 있다(S1110). 즉, 도 5에서 상술한 바와 같이, 유저의 눈 뜸 상태에서, HMD는 SMS 오브젝트와 같은 제 2 오브젝트를 업데이트할 수 있다. 또한, HMD는 업데이트된 제 2 오브젝트를 디스플레이 유닛에 디스플레이하여, 유저가 제 2 오브젝트가 업데이트되었음을 인식하게 할 수 있다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 명세서에 따른 헤드 마운트 디스플레이 및 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 명세서의 헤드 마운트 디스플레이 및 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
100: 헤드 마운트 디스플레이
110: 디스플레이 유닛
120: 카메라 유닛
130: 커뮤니케이션 유닛
140: 프로세서

Claims (20)

  1. 헤드 마운트 디스플레이(HMD)에 있어서,
    이미지를 디스플레이하는 디스플레이 유닛;
    상기 HMD를 착용한 유저의 눈의 뜸/감음을 인식하는 카메라 유닛;
    데이터를 송/수신하는 커뮤니케이션 유닛; 및
    상기 디스플레이 유닛, 상기 카메라 유닛, 상기 커뮤니케이션 유닛을 제어하는 프로세서를 포함하고,
    상기 프로세서는
    이벤트의 생성을 디텍트하고,
    상기 이벤트가 제 1 업데이트 정보인지 결정하고,
    상기 이벤트가 상기 제 1 업데이트 정보인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식하되, 상기 조건은 상기 유저가 눈을 감은 제 1 조건 및 상기 유저가 눈을 뜬 제 2 조건을 포함하고,
    상기 인식된 조건이 제 1 조건인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하고,
    상기 프로세서는
    상기 이벤트가 상기 제 1 업데이트 정보가 아닌 경우, 상기 이벤트가 제 2 업데이트 정보인지 결정하고,
    상기 이벤트가 상기 제 2 업데이트 정보인 경우, 상기 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트 하기 위한 조건을 인식하고,
    상기 인식된 조건이 제 2 조건인 경우, 상기 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트하는 것을 더 포함하는, HMD.
  2. 제 1 항에 있어서,
    상기 프로세서는
    상기 인식된 조건이 제 2 조건인 경우, 상기 인식된 조건이 상기 제 2 조건에서 상기 제 1 조건으로 스위칭될 때까지, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트의 업데이트를 홀딩하는 것을 더 포함하는, HMD.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 프로세서는
    상기 인식된 조건이 제 1 조건인 경우, 상기 인식된 조건이 상기 제 1 조건에서 상기 제 2 조건으로 스위칭될 때까지, 상기 제 2 업데이트 정보에 대응하는 제 2 오브젝트의 업데이트를 홀딩하는 것을 더 포함하는, HMD.
  5. 제 1 항에 있어서,
    상기 프로세서는
    상기 이벤트가 상기 제 1 업데이트 정보이고 인식된 조건이 상기 제 1 조건인 경우, 업데이트된 제 1 오브젝트를 디스플레이하고,
    상기 이벤트가 상기 제 2 업데이트 정보이고 인식된 조건이 상기 제 2 조건인 경우, 업데이트된 제 2 오브젝트를 디스플레이하는 것을 더 포함하는, HMD.
  6. 제 4 항에 있어서,
    상기 제 1 오브젝트 및 상기 제 2 오브젝트는 생성된 이벤트의 중요도에 다라 분류되는, HMD.
  7. 제 6 항에 있어서,
    상기 제 1 오브젝트는 시간, 날씨, 배터리를 포함하고, 상기 제 2 오브젝트는 알람, 메일, 메시지를 포함하는, HMD.
  8. 제 6 항에 있어서,
    상기 제 1 업데이트 정보는 기 설정된 시간 간격에 따라 주기적으로 생성되는 정보이고, 상기 제 2 업데이트 정보는 제 2 오브젝트에 대한 이벤트가 발생하는 경우에 생성되는 정보인, HMD.
  9. 제 1 항에 있어서,
    상기 프로세서는
    복수의 제 2 업데이트 정보의 생성을 연속적으로 디텍트하고, 상기 인식된 조건이 제 2 조건인 경우, 상기 복수의 제 2 업데이트 정보를 상기 제 2 오브젝트에 업데이트하고 생성된 복수의 이벤트 중 첫번째 이벤트에 대한 제 2 업데이트 정보를 상기 제 2 오브젝트에 업데이트하는 것을 더 포함하는, HMD.
  10. 제 9 항에 있어서,
    상기 생성된 복수의 제 2 업데이트 정보는 상기 이벤트의 발신 어드레스가 동일한, HMD.
  11. 제 1 항에 있어서,
    상기 프로세서는
    복수의 제 2 업데이트 정보의 생성을 연속적으로 디텍트하고, 상기 인식된 조건이 제 2 조건인 경우, 상기 복수의 제 2 업데이트 정보를 상기 제 2 오브젝트에 업데이트하고 업데이트된 복수의 제 2 오브젝트를 순차적으로 디스플레이하는 것을 더 포함하는, HMD.
  12. 제 11 항에 있어서,
    상기 생성된 복수의 제 2 업데이트 정보는 상기 이벤트의 발신 어드레스가 각각 상이한, HMD.
  13. 제 1 항에 있어서,
    상기 제 1 업데이트 정보에 대응하는 상기 제 1 오브젝트를 업데이트하는 것은 상기 제 1 업데이트 정보가 생성되고 상기 제 1 조건에서 제 1 시간 이후에 상기 제 1 오브젝트를 업데이트하는 것인, HMD.
  14. 제 13 항에 있어서,
    상기 프로세서는
    상기 제 1 조건에서 상기 제 1 시간 이후가 상기 제 2 조건에 해당하는 경우, 상기 제 1 조건의 다음 제 1 조건에서 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하는 것을 더 포함하는, HMD.
  15. 제 1 항에 있어서,
    상기 제 2 업데이트 정보에 대응하는 상기 제 2 오브젝트를 업데이트하는 것은 상기 제 2 업데이트 정보가 생성되고 상기 제 2 조건에서 제 2 시간 이후에 상기 제 2 오브젝트를 업데이트하는 것인, HMD.
  16. 제 15 항에 잇어서,
    상기 프로세서는
    상기 제 2 조건에서 상기 제 2 시간 이후가 상기 제 1 조건에 해당하는 경우, 상기 제 2 조건의 다음 제 2 조건에서 상기 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트하는 것을 더 포함하는, HMD.
  17. 제 2 항에 있어서,
    상기 프로세서는
    상기 인식된 조건이 제 2 조건인 경우, 제 3 시간이 경과하기 전까지 상기 제 1 조건으로 스위칭되지 않는다면, 상기 제 1 업데이트 정보에 대응하는 상기 제 1 오브젝트를 업데이트하는 것을 더 포함하는, HMD.
  18. 제 4 항에 있어서,
    상기 프로세서는
    상기 인식된 조건이 제 1 조건인 경우, 제 4 시간이 경과하기 전까지 상기 제 2 조건으로 스위칭되지 않는다면, 상기 제 2 업데이트 정보에 대응하는 상기 제 2 오브젝트를 업데이트하는 것을 더 포함하는, HMD.
  19. 제 1 항에 있어서,
    상기 제 1 조건은 상기 유저가 눈을 깜박이는 경우를 포함하는, HMD.
  20. 헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서,
    이벤트의 생성을 디텍트하는 단계;
    상기 이벤트가 제 1 업데이트 정보인지 결정하는 단계;
    상기 이벤트가 상기 제 1 업데이트 정보인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하기 위한 조건을 인식하는 단계로서, 상기 조건은 유저가 눈을 감은 제 1 조건 및 상기 유저가 눈을 뜬 제 2 조건을 포함함;
    상기 인식된 조건이 제 1 조건인 경우, 상기 제 1 업데이트 정보에 대응하는 제 1 오브젝트를 업데이트하는 단계;
    상기 이벤트가 상기 제 1 업데이트 정보가 아닌 경우, 상기 이벤트가 제 2 업데이트 정보인지 결정하는 단계;
    상기 이벤트가 상기 제 2 업데이트 정보인 경우, 상기 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트 하기 위한 조건을 인식하는 단계; 및
    상기 인식된 조건이 제 2 조건인 경우, 상기 제 2 업데이트 정보에 대응하는 제 2 오브젝트를 업데이트하는 단계를 포함하는, 제어 방법.
KR1020130102326A 2013-08-28 2013-08-28 헤드 마운트 디스플레이 및 제어 방법 Active KR102081933B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130102326A KR102081933B1 (ko) 2013-08-28 2013-08-28 헤드 마운트 디스플레이 및 제어 방법
US14/089,116 US8836641B1 (en) 2013-08-28 2013-11-25 Head mounted display and method of controlling therefor
PCT/KR2013/010779 WO2015030306A1 (en) 2013-08-28 2013-11-26 Head mounted display and method of controlling therefor
US14/459,080 US9389683B2 (en) 2013-08-28 2014-08-13 Wearable display and method of controlling therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130102326A KR102081933B1 (ko) 2013-08-28 2013-08-28 헤드 마운트 디스플레이 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20150025117A KR20150025117A (ko) 2015-03-10
KR102081933B1 true KR102081933B1 (ko) 2020-04-14

Family

ID=51493389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130102326A Active KR102081933B1 (ko) 2013-08-28 2013-08-28 헤드 마운트 디스플레이 및 제어 방법

Country Status (3)

Country Link
US (1) US8836641B1 (ko)
KR (1) KR102081933B1 (ko)
WO (1) WO2015030306A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121063B2 (en) 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
KR101712350B1 (ko) * 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
US10229540B2 (en) 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
KR101687174B1 (ko) * 2016-04-29 2016-12-16 주식회사 조이펀 Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
AU2017330428B2 (en) * 2016-09-22 2020-05-07 Apple, Inc. Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
GB2566013B (en) * 2017-08-24 2022-12-07 Displaylink Uk Ltd Compressing image data for transmission to a display
GB2607455B (en) * 2017-08-24 2023-02-15 Displaylink Uk Ltd Compressing image data for transmission to a display
KR102028376B1 (ko) * 2018-01-05 2019-10-04 동국대학교 산학협력단 번들 조정 알고리즘을 이용한 립모션과 hmd 사이의 캘리브레이션 방법 및 장치
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081529A (ja) * 2007-09-25 2009-04-16 Nikon Corp ヘッドマウントディスプレイ装置
US20110205148A1 (en) * 2010-02-24 2011-08-25 Corriveau Philip J Facial Tracking Electronic Reader

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788292B1 (en) * 1998-02-25 2004-09-07 Sharp Kabushiki Kaisha Display device
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
JP2004185139A (ja) 2002-11-29 2004-07-02 Fuji Photo Film Co Ltd 表示システム及び表示装置の制御方法
JP2007127716A (ja) 2005-11-01 2007-05-24 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体
JP4984771B2 (ja) 2006-09-14 2012-07-25 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN101968917B (zh) * 2006-10-13 2013-04-24 丰田自动车株式会社 车载警告装置
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection
JP2010152443A (ja) 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
US20110013034A1 (en) * 2009-07-15 2011-01-20 Mediatek Inc. Method for operating digital camera and digital camera using the same
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US20130033524A1 (en) 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US9019614B2 (en) * 2011-10-26 2015-04-28 Google Inc. Display device with image depth simulation
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081529A (ja) * 2007-09-25 2009-04-16 Nikon Corp ヘッドマウントディスプレイ装置
US20110205148A1 (en) * 2010-02-24 2011-08-25 Corriveau Philip J Facial Tracking Electronic Reader

Also Published As

Publication number Publication date
WO2015030306A1 (en) 2015-03-05
KR20150025117A (ko) 2015-03-10
US8836641B1 (en) 2014-09-16

Similar Documents

Publication Publication Date Title
KR102081933B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
KR102063076B1 (ko) 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US11223718B2 (en) Communication control device, method of controlling communication, and program
KR102108066B1 (ko) 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US9389683B2 (en) Wearable display and method of controlling therefor
US9304320B2 (en) Head-mounted display and method of controlling the same
CN109753159B (zh) 用于控制电子装置的方法和设备
KR102204554B1 (ko) 이동 단말기 및 그것의 제어방법
KR102188266B1 (ko) 스마트 워치, 디스플레이 디바이스 및 그 제어 방법
US9176582B1 (en) Input system
US9507426B2 (en) Using the Z-axis in user interfaces for head mountable displays
US8830142B1 (en) Head-mounted display and method of controlling the same
CN105579890B (zh) 头戴式显示器及其控制方法
US20160098017A1 (en) Smart watch and method for controlling the same
CN109478096B (zh) 用于管理头戴式显示器设备通信的计算系统、方法和设备
KR20160026143A (ko) 통신 기능 제어 방법 및 이를 지원하는 전자 장치
KR102345649B1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
KR20150062742A (ko) 머리 착용형 디스플레이 장치에서 디스플레이 화면을 제어하는 방법, 및 머리 착용형 디스플레이 장치
EP3573317B1 (en) Notification providing method and electronic device implementing same
US9137648B2 (en) Peripheral computing device
EP3238170B1 (en) Digital device and method of controlling therefor
US20160299641A1 (en) User Interface for Social Interactions on a Head-Mountable Display
KR20240047482A (ko) 분산되고 연결된 실세계 객체들을 통한 소셜 연결
CN117916694A (zh) 用于指示用户状态的快照消息
US20150215465A1 (en) Communication message management method and electronic device supporting the same

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130828

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180820

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130828

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190619

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191126

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200220

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200221

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230109

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240109

Start annual number: 5

End annual number: 5