KR101974652B1

KR101974652B1 - 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이 및 그 제어 방법

Info

Publication number: KR101974652B1
Application number: KR1020120087044A
Authority: KR
Inventors: 박효림
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2012-08-09
Filing date: 2012-08-09
Publication date: 2019-05-02
Anticipated expiration: 2032-08-09
Also published as: EP2883103B1; EP2883103A1; US8872735B2; EP2883103A4; WO2014025108A1; KR20140021169A; US20140043211A1

Abstract

본 발명은 헤드 마운트 디스플레이 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이에서 오디오 출력과 비디오 출력을 연계하여 조정하는 방법에 관한 것이다.

Description

오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이 및 그 제어 방법{HEAD MOUNTED DISPLAY FOR ADJUSTING AUDIO OUTPUT AND VIDEO OUTPUT CONNECTED EACH OTHER AND METHOD FOR CONTROLLING THE SAME }

헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 영상을 볼 수 있도록 하는 각종 영상 표시 장치를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.

이처럼, HMD는 사용자가 착용하여 사용하는 장치이기 때문에 항상 사용자가 컨텐츠를 포함한 메뉴 등을 볼 수 있도록 한다. 다만, 사용자가 운전하는 경우와 같이, HMD에서 비디오 출력을 최소한으로 해야 하는 경우가 있다. 이처럼 HMD에서 비디오 출력을 최소한으로 하는 경우, 비디오 출력을 통해 사용자가 데이터를 얻지 못하는 만큼 오디오 출력을 최대한으로 설정하여 사용자에게 데이터를 제공할 필요가 있다.

반대로, HMD를 통해 사용자가 이미 오디오 출력을 듣고 있는데, 추가적인 오디오 출력을 제공하면 사용자에게 혼란을 줄 수 있다. 따라서, 이러한 경우에는 추가적인 오디오 출력을 제공하는 대신, 비디오 출력으로 대체하여 비디오 출력을 최대한으로 설정하여 사용자에게 필요한 데이터를 제공할 필요가 있다.

또한, HMD는 사용하는 환경이나 사용자의 선택에 따라 오디오 출력만 출력하거나, 비디오 출력만 출력해야 하는 경우도 있다. 다만, 이러한 경우에도, 하나의 출력이 차단됨에 따라서 제공되지 못하는 데이터를 오디오 출력 또는 비디오 출력을 통해 제공해야 할 필요가 있다.

본 발명의 일 실시예는, 사용자 환경에 따라 오디오 출력의 데이터 출력 레벨을 증가 또는 감소시키면 그에 따라 비디오 출력의 데이터 출력 레벨을 감소 또는 증가시킴으로써, 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이를 제공하고자 한다.

또한, 본 발명의 다른 일 실시예는, 사용자 환경에 따라 비디오 출력의 데이터 출력 레벨을 증가 또는 감소시키면 그에 따라 오디오 출력의 데이터 출력 레벨을 감소 또는 증가시킴으로써, 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이를 제공하고자 한다.

그리고, 본 발명의 또 다른 일 실시예는, 오디오 출력 또는 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이의 제어 인터페이스를 정의하고자 한다.

본 발명의 일 실시예에 의한 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이의 제어 방법은, 오디오 출력과 비디오 출력을 연계하여 조정하기 위한 제어 인터페이스를 제공하는 단계와, 상기 제어 인터페이스는 오디오 출력과 비디오 출력 간의 데이터 출력 레벨을 조정하기 위한 인디케이터를 포함함, 상기 인디케이터를 이동하는 입력 신호를 수신하는 단계 및 상기 이동된 인디케이터가 위치한 구간에 대응하여, 오디오 출력의 데이터 출력 레벨과 비디오 출력의 데이터 출력 레벨이 상호 반비례(inversely)하도록 데이터 출력 레벨을 설정하는 단계를 포함한다.

그리고, 본 발명의 일 실시예에 의한 오디오 출력과 비디오 출력을 연계하여 조정하는 헤드 마운트 디스플레이는, 오디오 출력과 비디오 출력 간의 데이터 출력 레벨을 조정하기 위한 제어 인터페이스에 대한 입력 신호를 수신하는 입력 유닛과, 상기 수신된 입력 신호의 움직임에 대응하여 상기 제어 인터페이스의 인디케이터를 이동하고, 상기 이동된 인디케이터의 위치에 따라 오디오 출력의 데이터 출력 레벨 및 비디오 출력에 데이터 출력 레벨이 상호 반비례(inversely)하도록 조정하는 컨트롤러와, 상기 조정된 데이터 출력 레벨에 따라 오디오 데이터를 출력하는 오디오 출력 유닛 및 상기 조정된 데이터 출력 레벨에 따라 비디오 데이터를 출력하는 비디오 출력 유닛을 포함한다.

본 발명의 일 실시예에 의하면, HMD는 사용자의 환경에 따라 오디오 출력 및 비디오 출력을 자동으로 연계하여 조정함으로써, 사용자의 편의성을 증가시킬 수 있다.

또한, 본 발명의 다른 일 실시예에 의하면, HMD에서 오디오 출력의 데이터 출력 레벨을 감소시키면, 그에 따라 비디오 출력의 데이터 출력 레벨을 증가시킨다. 따라서, 사용자는 오디오 출력을 이용하기 어려운 환경에서도, 편한 방법으로 데이터를 제공받을 수 있다.

그리고, 본 발명의 또 다른 일 실시예에 의하면, HMD에서 비디오 출력의 데이터 출력 레벨을 감소시키면, 그에 따라 오디오 출력의 데이터 출력 레벨을 증가시킨다. 따라서, 사용자는 비디오 출력을 이용하기 어려운 환경에서도, 편한 방법으로 데이터를 제공받을 수 있다.

또한, 본 발명의 또 다른 일 실시예에 의하면, HMD는 오디오 출력 또는 비디오 출력을 연계하여 조정하는 제어 인터페이스를 제공한다. 따라서, 사용자는 한 번의 동작만으로 오디오 출력 및 비디오 출력을 동시에 조절할 수 있다.

보다 구체적인 발명의 효과에 대해서는, 이하 목차에서 상세히 후술하도록 하겠다.

도 1은 본 발명에 따른 HMD 및 HMD를 착용한 사용자의 일 실시예를 도시한 도면이다.
도 2는 본 발명에 따른 HMD의 기능 블록도의 일 실시예를 도시한 도면이다.
도 3은 본 발명에 따른 HMD의 제어 인터페이스의 일 실시예를 도시한 도면이다.
도 4는 본 발명에 따른 HMD의 제어 인터페이스에서 제 1 임계 지점과 제 2 임계 지점의 일 실시예를 도시한 도면이다.
도 5는 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터가 제 1 임계 지점을 통과하여 비디오 출력을 차단하는 일 실시예를 도시한 도면이다.
도 6은 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터가 제 1 임계 지점을 통과한 경우, 오디오 출력을 재조정하기 위하여 변경된 제어 인터페이스의 일 실시예를 도시한 도면이다.
도 7은 본 발명에 따른 HMD의 변경된 제어 인터페이스에서 오디오 출력의 데이터 출력 레벨을 조정하는 일 실시예를 도시한 도면이다.
도 8은 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터가 제 2 임계 지점을 통과하여 제어 인터페이스를 변경하여 디스플레이 하는 일 실시예를 도시한 도면이다.
도 9는 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터로 오디오 출력 및 비디오 출력의 데이터 출력 레벨을 설정하는 일 실시예를 도시한 도면이다.
도 10은 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터로 오디오 출력 및 비디오 출력의 데이터 출력 레벨을 설정하는 다른 일 실시예를 도시한 도면이다.
도 11은 본 발명에 따른 HMD에서 오디오 출력 및 비디오 출력의 데이터 출력 레벨의 일 실시예를 도시한 도면이다.
도 12는 본 발명에 따른 HMD에서 비디오 출력의 데이터 출력 레벨에 따라 출력되는 데이터의 일 실시예를 도시한 도면이다.
도 13은 본 발명에 따른 HMD에서 비디오 출력의 데이터 출력 레벨에 따라 출력되는 데이터의 다른 일 실시예를 도시한 도면이다.
도 14는 본 발명에 따른 HMD에서 비디오 출력의 데이터 출력 레벨에 따라 출력되는 데이터의 또 다른 일 실시예를 도시한 도면이다.
도 15는 본 발명에 따른 HMD의 제어 인터페이스의 다른 일 실시예를 도시한 도면이다.
도 16은 본 발명에 따른 HMD에서 메인 출력의 데이터 출력 레벨을 재설정하는 일 실시예를 도시한 도면이다.
도 17은 본 발명에 따른 HMD에서 메인 출력의 데이터 출력 레벨을 재설정하는 다른 일 실시예를 도시한 도면이다.
도 18은 본 발명에 따른 HMD의 제어 인터페이스의 또 다른 일 실시예를 도시한 도면이다.
도 19는 본 발명에 따른 HMD의 제어 인터페이스의 또 다른 일 실시예를 도시한 도면이다.
도 20은 본 발명에 따른 HMD와 외부 디바이스와 통신하여 오디오 출력 및 비디오 출력을 연계하여 조정하는 일 실시예를 도시한 도면이다.
도 21은 본 발명의 일 실시예에 따른 HMD를 제어하는 방법의 흐름도이다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

도 1은 본 발명에 따른 HMD 및 HMD를 착용한 사용자의 일 실시예를 도시한 도면이다. 본 발명에 따른 HMD(100)는 도 1에 도시된 바와 같이, 사용자가 착용할 수 있다. 또한, HMD(100)에 구비된 디스플레이 유닛을 통해 컨텐츠 등을 디스플레이 할 수 있고, HMD(100)에 구비된 오디오 출력 유닛을 통해 컨텐츠와 관련한 오디오 등을 출력할 수 있다. 이에 대해서는 도 2를 참조하여 자세히 설명하도록 한다.

또한, HMD(100)는 사용자가 착용한 후 디지털 디바이스와 연동하여 작동할 수도 있다. 이에 대해서는 도 20을 참조하여 자세히 설명하도록 한다.

도 2는 본 발명에 따른 HMD의 기능 블록도의 일 실시예를 도시한 도면이다. 다만, 도 2는 본 발명을 설명하기 위한 일 실시예이고, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가하는 것도 본 발명의 권리범위에 속한다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 HMD(200)는 입력 유닛(210), 비디오 출력 유닛(220), 오디오 출력 유닛(230) 및 컨트롤러(240)를 포함할 수 있다.

먼저, 입력 유닛(210)은 사용자의 다양한 입력 및 사용자의 환경을 센싱하여 컨트롤러(240)가 그에 따른 작동을 수행할 수 있도록 입력 신호를 전달할 수 있다. 그에 따라, 입력 유닛(210)은 복수의 센싱 수단을 포함할 수 있다.

센싱 수단은, 터치 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 압력 센서, 온도 센서, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 뎁스(depth) 센서, 밴딩 센서, 촬상 센서 등을 포함한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여 컨트롤러(240)로 전달할 수 있다.

이하, 본 발명에 따른 HMD(200)의 입력 유닛(210)은 터치 센서를 포함하여 사용자의 터치 신호를 센싱하는 터치 센싱 수단을 일 실시예로서 설명한다. 다만, 상술한 바와 같이 입력 유닛(210)이 터치 센싱 수단에 한정되는 것은 아니다.

입력 유닛(210)은 오디오 출력과 비디오 출력 간의 데이터 출력 레벨을 조정하기 위한 제어 인터페이스에 대한 입력 신호를 수신할 수 있다. 제어 인터페이스는 오디오 출력과 비디오 출력 간의 데이터 출력 레벨을 조정하기 위하여 사용자에게 제공하는 제어 인터페이스이다. 입력 유닛(210)은 사용자가 제어 인터페이스의 인디케이터를 이동하는 터치 신호를 입력 신호로서 수신할 수 있다. 이에 대해서는, 도 3을 참조하여 상세히 설명하도록 한다.

비디오 출력 유닛(220)은 디스플레이 화면에 이미지를 출력한다. 즉, 컨트롤러(240)에서 실행되는 컨텐츠 또는 컨트롤러(240)의 제어 명령에 기초하여 이미지를 출력할 수 있다. 또한, 비디오 출력 유닛(220)은 오디오 출력과 비디오 출력 간의 데이터 출력 레벨을 조정하는 제어 인터페이스를 디스플레이 할 수 있다. 제어 인터페이스는 도 3을 참조하여 자세히 설명하도록 한다.

오디오 출력 유닛(230)은 스피커, 이어폰 등의 오디오 출력 수단을 포함한다. 오디오 출력 유닛(230)은 컨트롤러(240)에서 실행되는 컨텐츠 또는 컨트롤러(240)의 제어 명령에 기초하여 음성을 출력할 수 있다.

컨트롤러(240)는 데이터 통신을 통해 수신된 컨텐츠 또는 기저장된 컨텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, HMD(200) 내부의 데이터를 프로세싱할 수 있다.

또한, 컨트롤러(240)는 입력 유닛(210)을 통해 수신된 입력 신호의 움직임에 대응하여 제어 인터페이스의 인디케이터를 이동하고, 이동된 인디케이터의 위치에 따라 오디오 출력의 데이터 출력 레벨 및 비디오 출력 레벨이 상호 반비례(inversely)하도록 조정할 수 있다.

따라서, 컨트롤러(240)의 조정에 따라, 비디오 출력 유닛(220)은 조정된 데이터 출력 레벨로 비디오 데이터를 출력하고, 오디오 출력 유닛(230)은 조정된 데이터 출력 레벨로 오디오 데이터를 출력한다. 예를 들어, 컨트롤러(240)의 조정에 따라, 비디오 출력 유닛(220)의 데이터 출력 레벨이 높아지거나 낮아지면, 이에 상응하여 오디오 출력 유닛(230)의 데이터 출력 레벨이 낮아지거나 높아질 수 있다. 이에 대해서는 다시 상세히 후술하도록 한다.

도 3은 본 발명에 따른 HMD의 제어 인터페이스의 일 실시예를 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명에 따른 HMD는 사용자가 간단한 동작만으로 오디오 출력과 비디오 출력을 한꺼번에 조정할 수 있는 제어 인터페이스를 제공할 수 있다.

제어 인터페이스는 오디오 출력과 비디오 출력간의 데이터 출력 레벨을 조정하기 위하여 인디케이터(310)가 이동 가능한 슬라이드 바(320)를 포함할 수 있다. 또한, HMD는 제어 인터페이스의 인디케이터(310)가 오디오 출력의 데이터 출력 레벨이 높아지는 위치(330)로 이동하면, 오디오 출력의 데이터 출력 레벨이 높아지고 비디오 출력의 데이터 출력 레벨이 낮아지도록 조정할 수 있다. 또한, HMD는 제어 인터페이스의 인디케이터(310)가 비디오 출력의 데이터 출력 레벨이 높아지는 위치(340)로 이동하면, 비디오 출력의 데이터 출력 레벨이 높아지고 오디오 출력의 데이터 출력 레벨이 낮아지도록 조정할 수 있다.

이처럼, 본 발명에 따른 HMD는 인디케이터(310)의 이동만으로, 오디오 출력과 비디오 출력의 데이터 출력 레벨이 동시에 조정될 수 있도록 함으로써 사용자의 편의성을 높이는 장점이 있다.

다만, 사용자의 시야 확보가 중요한 경우(예를 들어, 사용자가 운전 중인 경우), 비디오 출력을 차단하고 오디오 출력으로 대체할 필요가 있다. 또한, 오디오 출력이 중복되는 경우(예를 들어, 사용자가 제 1 오디오 컨텐츠를 실행 중인데 동시에 제 2 오디오 컨텐츠가 실행되는 경우), 특정 오디오 출력은 차단하고 비디오 출력으로 대체해야 하는 경우도 있다. 그에 따라, 본 발명에 따른 HMD는 제어 인터페이스에서 임계 지점을 설정함으로써, 인디케이터가 임계 지점을 통과하면 오디오 출력 또는 비디오 출력을 차단하도록 설정할 수 있다.

도 4는 본 발명에 따른 HMD의 제어 인터페이스에서 제 1 임계 지점과 제 2 임계 지점의 일 실시예를 도시한 도면이다.

도 4에 도시된 바와 같이, HMD는 인디케이터(410)가 슬라이드 바(420) 상에서 오디오 출력에 대한 제 1 임계 지점(430)을 통과하면 비디오 출력을 차단하도록 설정할 수 있다. 이때, HMD는 오디오 출력의 데이터 출력 레벨을 최대한으로 설정하여, 비디오 출력이 차단되어 사용자가 비디오 데이터를 이용할 수 없는 만큼 오디오 데이터로 필요한 데이터를 얻도록 할 수 있다.

또한, HMD는 인디케이터(410)가 슬라이드 바(420) 상에서 비디오 출력에 대한 제 2 임계 지점(440)을 통과하면 오디오 출력을 차단하도록 설정할 수 있다. 이때, HMD는 비디오 출력의 데이터 출력 레벨을 최대한으로 설정하여, 오디오 출력이 차단되어 사용자가 오디오 데이터를 이용할 수 없는 만큼 비디오 데이터로 필요한 데이터를 얻도록 할 수 있다.

이와 같이, 본 발명에 따른 HMD는 오디오 출력 또는 비디오 출력을 차단할 수 있도록 함으로써, 사용자가 필요에 따라 상황에 맞게 출력을 선택할 수 있는 장점을 제공한다. 또한, HMD는 차단하는 비디오 출력 또는 오디오 출력 대신 나머지 출력(오디오 출력 또는 비디오 출력)의 데이터 출력 레벨을 최대한으로 설정함으로써, 사용자에게 필요한 데이터를 충분히 전달하는 장점이 있다.

도 5는 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터가 제 1 임계 지점을 통과하여 비디오 출력을 차단하는 일 실시예를 도시한 도면이다. 도 6은 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터가 제 1 임계 지점을 통과한 경우, 오디오 출력을 재조정하기 위하여 변경된 제어 인터페이스의 일 실시예를 도시한 도면이다.

도 5에 도시된 바와 같이, 사용자는 인디케이터(510)를 슬라이드 바(520) 상에서 이동시킬 수 있다. 따라서, 사용자는 인디케이터(510)가 제 1 임계 지점(530) 또는 제 2 임계 지점(540)을 통과하도록 할 수 있다. 사용자가 인디케이터(510)를 제 1 임계 지점(530)을 통과시킨 경우, HMD는 오디오 출력의 데이터 출력 레벨을 재조정하기 위하여 도 6에 도시된 바와 같이 제어 인터페이스의 UI를 변경하여 제공할 수 있다.

즉, 제 1 임계 지점을 통과한 경우, HMD는 비디오 출력을 차단하면서 오디오 출력의 데이터 출력 레벨을 최대로 설정한다. 다만, 사용자는 오디오 출력만을 이용하더라도, 오디오 출력의 데이터 출력 레벨을 최대로 이용하고 싶지 않은 경우가 있으므로, HMD는 오디오 출력의 데이터 출력 레벨을 재설정하도록 할 수 있다.

따라서, 도 6에 도시된 바와 같이, HMD는 사용자가 오디오 출력(610)의 데이터 출력 레벨을 재설정할 수 있도록 UI가 변경된 제어 인터페이스를 제공할 수 있다. UI가 변경된 제어 인터페이스는, 오디오 출력의 데이터 출력 레벨에 따라 바(620)가 구간이 나뉘어져 있고, HMD는 사용자가 구간 선택을 하면, 선택된 구간의 레벨을 오디오 출력의 데이터 출력 레벨로서 재설정할 수 있다. 도 6에 도시된 바(620)는 위쪽에 위치한 구간으로 갈수록 데이터 출력 레벨이 커지고, 아래쪽에 위치한 구간으로 갈수록 데이터 출력 레벨이 작아지도록 설정되었다. 다만, 이러한 형태에 한정되는 것은 아니다.

도 7은 본 발명에 따른 HMD의 변경된 제어 인터페이스에서 오디오 출력의 데이터 출력 레벨을 조정하는 일 실시예를 도시한 도면이다.

도 7의 (a)에 도시된 바와 같이, HMD는 UI가 변경된 제어 인터페이스를 제공하면, HMD는 사용자(710)로부터 구간 선택을 받을 수 있다. HMD는 사용자가 제어 인터페이스 상에서 나눠진 구간들 중, 특정 구간을 선택하는 입력 신호를 수신할 수 있다. 또는, HMD는 사용자가 변경된 UI의 제어 인터페이스를 제공하기 이전부터 유지해 온 드래그 신호가 해제되는 지점을 디텍팅하여, 해제되는 지점에 해당하는 구간을 선택하는 것으로 인지할 수 있다. 그에 따라, 도 7의 (b)에 도시된 바와 같이, HMD는 선택된 구간(720)의 레벨을 오디오 출력의 데이터 출력 레벨로서 재설정한다.

한편, 지금까지는 인디케이터가 제 1 임계 지점을 통과하는 경우, UI가 변경된 제어 인터페이스를 제공하고, 그에 따라 오디오 출력의 데이터 출력 레벨을 재설정하는 과정을 분리하여 설명하였다. 그러나, 이러한 과정은 사용자의 한 번의 터치만으로 연속하여 발생하도록 할 수 있다. 예를 들어, 사용자가 인디케이터에 대한 터치 신호를 시작으로, 손을 떼지 않고 드래그하여 인디케이터를 이동하는 경우가 그러하다. 이에 대해서 도 8을 참조하여 설명한다.

도 8은 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터가 제 2 임계 지점을 통과하여 제어 인터페이스를 변경하여 디스플레이 하는 일 실시예를 도시한 도면이다. 도 8의 (a) 내지 도 8의 (c) 까지 일련의 과정은 사용자의 한 번의 드래그 신호로 연속하여 발생할 수 있다.

도 8의 (a)에 도시된 바와 같이, 사용자는 인디케이터(810)를 터치하여 드래그함으로써 제 1 임계 지점(820) 또는 제 2 임계 지점(830)으로 이동시킬 수 있다. 도 8의 (b)와 같이, 사용자가 인디케이터(810)를 제 2 임계 지점(830)으로 이동시키면, HMD는 인디케이터(810)가 제 2 임계 지점(830)을 통과하였는지 판단하여 오디오 출력을 차단한다. 또한, HMD는 비디오 출력의 데이터 출력 레벨을 재조정하기 위하여 도 8의 (c)와 같이 UI가 변경된 제어 인터페이스를 제공할 수 있다.

이때, HMD는 UI가 변경된 제어 인터페이스의 바 상에서 사용자의 터치 신호가 해제되는 지점에 해당하는 구간을 디텍팅하여, 그 구간에 해당하는 데이터 출력 레벨을 비디오 출력의 데이터 출력 레벨로 재설정한다. 즉, HMD는 인디케이터의 이동이 완료되는지 판단하여, 인디케이터의 이동이 완료된 위치에 대응하여 비디오 출력의 데이터 출력 레벨을 재설정할 수 있다.

이처럼, 본 발명에 따른 HMD는 사용자의 한 번의 터치로, 제어 인터페이스의 UI를 변경하여 제공하고, 선택된 출력의 데이터 출력 레벨까지 한번에 재설정할 수 있도록 한다.

한편, 본 발명에 따른 HMD는 오디오 출력 또는 비디오 출력을 선택적으로 차단하는 기능 이외에 오디오 출력의 데이터 출력 레벨과 비디오 출력의 데이터 출력 레벨이 상호 반비례하도록 조정할 수 있다. 따라서, 사용자는 필요에 따라 오디오 출력의 방해를 받지 않고 비디오 출력으로 필요한 데이터를 얻을 수 있고, 비디오 출력의 방해를 받지 않고 오디오 출력으로 필요한 데이터를 얻을 수 있다. 이에 대해서 이하 상세히 설명한다.

도 9는 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터로 오디오 출력 및 비디오 출력의 데이터 출력 레벨을 설정하는 일 실시예를 도시한 도면이다.

오디오 출력의 데이터 출력 레벨 및 비디오 출력의 데이터 출력 레벨은 예를 들어, 3개의 레벨로 나눠질 수 있다. 이때, 레벨의 개수에는 한정되지 않는다. 다만, 오디오 출력과 비디오 출력은 연계되어 조정되므로, 오디오 출력의 데이터 출력 레벨의 개수와 비디오 출력의 데이터 출력 레벨의 개수는 동일할 수 있다.

도 9에 도시된 바와 같이 데이터 출력 레벨이 3개의 레벨로 나눠진 경우, HMD는 슬라이드 바를 3개의 구간(910, 920, 930)으로 나누고, 구간별로 데이터 출력 레벨을 설정할 수 있다. 예를 들어, HMD는 오디오 출력의 데이터 출력 레벨은 제 1 구간(910)에서 제 3 구간(930)으로 갈수록 증가하도록 설정하는 반면, 비디오 출력의 데이터 출력 레벨은 제 1 구간(910)에서 제 3 구간(930)으로 갈수록 감소하도록 설정할 수 있다.

사용자가 인디케이터(940)를 오디오 출력이 커지는 방향(950a)으로 이동하면 오디오 출력의 데이터 출력 레벨은 최대가 되고, 비디오 출력의 데이터 출력 레벨은 최소가 된다. 또한, HMD는 미리 설정하는 바에 따라, 제 1 구간(910)에서는 오디오 출력이 차단되고 비디오 출력만 출력되도록 할 수 있고, 제 3 구간(930)에서는 비디오 출력이 차단되고 오디오 출력만 출력되도록 할 수 있다.

또한, 지금까지는 HMD가 인디케이터 위치에 따라 오디오 출력 및 비디오 출력의 데이터 출력 레벨이 상호 반비례하도록 설정하는 것을 일 실시예로서 설명하였다. 그러나, HMD는 사용자의 선택에 따라 오디오 출력 및 비디오 출력의 데이터 출력 레벨이 동일하도록 설정할 수 있다.

도 10은 본 발명에 따른 HMD의 제어 인터페이스에서 인디케이터로 오디오 출력 및 비디오 출력의 데이터 출력 레벨을 설정하는 다른 일 실시예를 도시한 도면이다. 도 10은 도 9와 동일하게, 데이터 출력 레벨이 3개의 레벨로 나뉘어져 있고, 오디오 출력 및 비디오 출력의 데이터 출력 레벨이 각 구간에 매칭된다.

따라서, 사용자가 인디케이터(1040)을 제 1 레벨에 해당하는 구간(1010)으로 이동하면, 비디오 출력만 나오거나 오디오 출력의 데이터 출력 레벨을 최소한으로 설정된다. 또한, 사용자가 인디케이터(1040)를 제 3 레벨에 해당하는 구간(1030)으로 이동하면, 오디오 출력만 나오거나 비디오 출력의 데이터 출력 레벨이 최소한으로 설정된다.

이때, 사용자가 인디케이터(1040)를 제 2 레벨에 해당하는 구간(1020)으로 이동하면, HMD는 비디오 출력의 데이터 출력 레벨과 오디오 출력의 데이터 출력 레벨을 동일하게 설정될 수 있다. 이와 같이, 슬라이드 바의 구간을 홀수 개로 나누고, 항상 가운데 구간은 오디오 출력과 비디오 출력의 데이터 출력 레벨을 동일하게 맞출 수 있다.

이와 같이, 본 발명에 따른 HMD는 비디오 출력과 오디오 출력의 데이터 출력 레벨이 상호 반비례하도록 연계하여 조정함과 동시에, 비디오 출력과 오디오 출력의 데이터 출력 레벨을 동일하게 설정할 수도 있다.

따라서, 비디오 출력과 오디오 출력의 데이터 출력 레벨을 동일하게 설정하면 다른 HMD처럼 사용할 수 있고, 필요에 따라 오디오 출력의 데이터 출력 레벨과 비디오 출력의 데이터 출력 레벨을 연계하여 조정할 수도 있다. 따라서, 본 발명에 따른 HMD는 활용성을 높일 수 있다는 장점이 있다.

한편, 지금까지 설명한 오디오 출력의 데이터 출력 레벨은 출력 볼륨, 출력 시간 및 출력 데이터의 양 중 적어도 하나에 대한 출력 레벨을 포함할 수 있다. 이때, 데이터 출력 레벨이 출력 데이터의 양에 대한 출력 레벨인 경우, 오디오 출력의 데이터 출력 레벨은 데이터를 출력하지 않는 제 1 레벨, 알림음 형태로 이벤트 발생을 출력하는 제 2 레벨 및 이벤트 발생 관련 내용을 유성으로 출력하는 제 3 레벨을 포함할 수 있다.

또한, 비디오 출력의 데이터 출력 레벨은 출력 영역의 사이즈, 출력 투명도, 출력 시간 및 출력 데이터의 양 중 적어도 하나를 포함할 수 있다. 이때, 데이터 출력 레벨이 출력 데이터의 양에 대한 출력 레벨인 경우, 비디오 출력의 데이터 출력 레벨은 데이터를 디스플레이 하지 않는 제 1 레벨, 숫자나 아이콘 형태로 이벤트 발생을 디스플레이 하는 제 2 레벨 및 이벤트 발생 관련 내용을 디스플레이 하는 제 3 레벨을 포함할 수 있다.

도 11은 본 발명에 따른 HMD에서 오디오 출력 및 비디오 출력의 데이터 출력 레벨의 일 실시예를 도시한 도면으로, 데이터 출력 레벨이 출력 데이터의 양에 대한 경우이다. 도 11에 도시된 바와 같이, 데이터 출력 레벨은 제 1 레벨, 제 2 레벨 및 제 3 레벨로 나눌 수 있다. 또한, 비디오 출력의 제 1 레벨, 제 2 레벨 및 제 3 레벨은 각각 오디오 출력의 제 3 레벨, 제 2 레벨 및 제 1 레벨로 매칭되어 상호 반비례하게 설정될 수 있다.

이처럼, HMD는 비디오 출력이 증가 또는 감소함에 따라서 오디오 출력이 감소 또는 증가하도록, 비디오 출력의 데이터 출력 레벨과 오디오 출력의 데이터 출력 레벨에 대한 정보를 매칭시켜 저장할 수 있다. 따라서, 사용자는 비디오 출력 및 오디오 출력의 데이터 출력 레벨이 변하더라도, 사용자가 제공받는 데이터의 양은 전체적으로는 큰 차이가 없다는 장점이 있다.

예를 들어, 비디오 출력의 데이터 출력 레벨이 제 1 레벨인 경우, 오디오 출력의 데이터 출력 레벨은 자동으로 제 3 레벨로 설정된다. 따라서, HMD는 비디오 출력을 통해서는 아무런 데이터를 디스플레이 하지 않는 반면, 오디오 출력을 통해서 이벤트 발생 관련 내용을 음성으로 출력할 수 있다.

이벤트는 HMD에 설치된 프로그램이나 태스크의 수행에 영항을 미치는 모든 사건을 포함하는 것으로서, HMD와 통신 가능한 외부 디바이스로부터 송수신되는 데이터 안내 및 이용 중이던 컨텐츠에 대한 알림 사항도 모두 포함할 수 있다.

이하, HMD와 통신 가능한 휴대폰에서 메시지 수신 이벤트가 발생한 경우를 일 실시예로서 설명한다.

오디오 출력의 데이터 출력 레벨이 제 1 레벨인 경우, 데이터를 출력하지 않도록 설정하고, 제 2 레벨인 경우 알림음 형태로 메시지 수신 상태를 노티스 하도록 설정할 수 있다. 그리고, 오디오 출력의 데이터 출력 레벨이 제 3 레벨인 경우, 음성으로 메시지 발신인 및 메시지 내용을 출력하도록 설정할 수 있다.

비디오 출력의 데이터 출력 레벨이 제 1 레벨인 경우, 데이터를 출력하지 않도록 설정하고, 제 2 레벨인 경우 메시지 아이콘에 새로 수신한 메시지 개수를 숫자로 오버랩하여 디스플레이 하도록 설정할 수 있다. 그리고, 비디오 출력의 데이터 출력 레벨이 제 3 레벨인 경우, 수신한 메시지 내용 및 메시지 발신인 정보를 모두 디스플레이 하도록 설정할 수 있다.

다만, 오디오 출력 및 비디오 출력의 데이터 출력 레벨에 따라 출력하는 데이터의 양은 설정한 바에 따라 달라질 수 있고, 상술한 실시예에 한정되는 것은 아니다.

비디오 출력의 데이터 출력 레벨이 출력하는 데이터의 양에 대한 출력 레벨인 경우, 이에 대한 일 실시예를 도 12 내지 도 14를 참조하여 설명하다.

도 12는 본 발명에 따른 HMD에서 비디오 출력의 데이터 출력 레벨에 따라 출력되는 데이터의 일 실시예를 도시한 도면이다. 비디오 출력의 데이터 출력 레벨이 제 1 레벨인 경우, 메시지 수신 아이콘 및 수신한 메시지 개수(1210)를 디스플레이 할 수 있다. 이 경우, 디스플레이 되는 영역의 사이즈가 작아서 사용자는 시야의 방해를 받지 않을 수 있고, 이벤트 발생 내용을 쉽게 인지할 수 있는 장점이 있다.

도 13은 본 발명에 따른 HMD에서 비디오 출력의 데이터 출력 레벨에 따라 출력되는 데이터의 다른 일 실시예를 도시한 도면이다. 비디오 출력의 데이터 출력 레벨이 제 2 레벨인 경우, 메시지 수신 아이콘 및 발신인 정보와 메시지 제목 또는 메시지 내용의 일부(1310)만 디스플레이 할 수 있다.

이 경우, 사용자는 시야의 방해를 최소한으로 받고, 제 1 레벨과 비교할 때 제공받는 데이터가 더 많고 구체적이다. 따라서, 사용자의 선택의 폭을 넓힐 수 있다. 즉, 사용자는 발신인과 메시지 제목 또는 내용의 일부를 볼 수 있으므로, 수신한 메시지가 바로 확인해야 하는 중요한 메시지인지 나중에 확인해도 무방한 메시지인지 판단하기가 용이하다.

도 14는 본 발명에 따른 HMD에서 비디오 출력의 데이터 출력 레벨에 따라 출력되는 데이터의 또 다른 일 실시예를 도시한 도면이다. 비디오 출력의 데이터 출력 레벨이 제 3 레벨인 경우, 메시지 내용 전체(1410)를 디스플레이 하거나 메시지 히스토리까지 디스플레이 할 수 있고, 메시지 관련 애플리케이션 자체를 실행시킬 수 있다. 이 경우, 사용자는 별도로 메시지 관련 애플리케이션을 실행시킬 필요가 없고, 원하는 정보를 바로 얻을 수 있어 불필요한 시간을 줄일 수 있다.

도 15는 본 발명에 따른 HMD의 제어 인터페이스의 다른 일 실시예를 도시한 도면이다. 지금까지는 데이터 출력 레벨이 3개의 레벨인 경우를 일 실시예로서 설명하였지만, 도 15와 같이 4개의 레벨(1510, 1520, 1530, 1540)로도 나눌 수 있다. 사용자가 제 1 레벨 구간(1510)으로 인디케이터를 이동할수록, 비디오 출력의 데이터 출력 레벨이 커지고, 오디오 출력의 데이터 출력 레벨은 작아진다. 또한, 사용자가 제 4 레벨 구간(1540)으로 인디케이터를 이동할수록 비디오 출력의 데이터 출력 레벨은 작아지고, 오디오 출력의 데이터 출력 레벨을 커진다.

이처럼, 각 레벨에 해당하는 구간에는 오디오 출력 및 데이터 출력의 데이터 출력 레벨이 모두 설정되어 있다. 이때, HMD는 데이터 출력 레벨이 큰 출력을 메인 출력으로, 데이터 출력 레벨이 작은 출력을 서브 출력으로 설정할 수 있다.

따라서, 도 15에서 사용자가 인디케이터를 통해 제 1 레벨 구간(1510) 또는 제 2 레벨 구간(1520)을 선택하는 경우, HMD는 비디오 출력을 메인 출력으로, 오디오 출력을 서브 출력으로 설정한다. 또한, 사용자가 인디케이터를 통해 제 3 레벨 구간(1530) 또는 제 4 레벨 구간(1540)을 선택하는 경우, HMD는 오디오 출력을 메인 출력으로, 비디오 출력을 서브 출력으로 설정한다.

본 발명에 따른 HMD는 상술한 바와 같이, 메인 출력 또는 서브 출력이 설정되면, 메인 출력 또는 서브 출력의 데이터 출력 레벨을 재설정하기 위하여 제어 인터페이스의 UI를 변경하여 제공할 수 있다.

도 16은 본 발명에 따른 HMD에서 메인 출력의 데이터 출력 레벨을 재설정하는 일 실시예를 도시한 도면이다.

사용자는 메인 출력을 비디오 출력으로 설정하였지만, 필요에 따라 메인 출력인 비디오 출력에 대하여 데이터 출력 레벨을 재설정하고자 하는 경우가 있다. 예를 들어, 사용자가 보는 컨텐츠에 따라 출력 영역의 사이즈를 늘이거나 줄이고 싶은 경우, 비디오 데이터가 디스플레이 되는 시간을 늘리거나 줄이고 싶은 경우, 출력 데이터의 양을 조절하고 싶은 경우 등을 들 수 있다.

따라서, HMD는 도 16에 도시된 바와 같이 메인 출력(1610)의 데이터 출력 레벨을 재조정할 수 있도록 레벨 조정 메뉴(1620)를 제공할 수 있다. 레벨 조정에 따라, 출력 영역의 사이즈, 출력 투명도, 출력 시간 및 출력 데이터의 중 적어도 하나를 조정할 수 있다.

이때, HMD는 서브 출력(1630)의 데이터 출력 레벨(1640)도 함께 디스플레이 할 수 있고, 사용자가 서브 출력의 데이터 출력 레벨도 재조정할 수 있다.

도 17은 본 발명에 따른 HMD에서 메인 출력의 데이터 출력 레벨을 재설정하는 다른 일 실시예를 도시한 도면이다.

사용자는 메인 출력을 오디오 출력으로 설정하였지만, 필요에 따라 메인 출력인 오디오 출력에 대하여 데이터 출력 레벨을 재설정하고자 하는 경우가 있다. 예를 들어, 사용자가 듣는 컨텐츠에 따라 출력 볼륨을 높이거나 낮추고 싶은 경우, 오디오 데이터가 출력되는 시간을 늘리거나 줄이고 싶은 경우, 출력 데이터의 양을 조절하고 싶은 경우 등을 들 수 있다.

따라서, HMD는 도 17에 도시된 바와 같이 메인 출력(1710)의 데이터 출력 레벨을 재조정할 수 있도록 레벨 조정 메뉴(1720)를 제공할 수 있다. 레벨 조정에 따라, 출력 볼륨, 출력 시간 및 출력 데이터의 양 중 적어도 하나를 조정할 수 있다.

이때, 서브 출력(1730)의 데이터 출력 레벨(1740)도 함께 디스플레이 할 수 있고, 사용자가 서브 출력의 데이터 출력 레벨도 재조정할 수 있다.

한편, 본 발명에 따른 HMD는 제어 인터페이스는 지금까지 설명한 일 실시예에 한정되지 않으며, 오디오 출력과 비디오 출력을 연계하여 조정하는 모든 형태를 포함할 수 있다.

도 18은 본 발명에 따른 HMD의 제어 인터페이스의 또 다른 일 실시예를 도시한 도면이다. 도 18은 지금까지 설명한 제어 인터페이스와 달리, HMD는 오디오 출력을 조정하기 위한 제어 인터페이스와 비디오 출력을 조정하기 위한 제어 인터페이스가 분리하여 디스플레이 할 수 있다.

사용자가 오디오 출력의 데이터 출력 레벨을 조정하는 인디케이터(1810)를 이동시키면, HMD는 비디오 출력의 데이터 출력 레벨을 조정하는 인디케이터(1820)를 자동으로 이동시키고, 그에 따라 비디오 출력의 데이터 출력 레벨이 조정되도록 할 수 있다. 반대로, 사용자가 비디오 출력의 데이터 출력 레벨을 조정하는 인디케이터(1820)를 이동시키면, HMD는 오디오 출력의 데이터 출력 레벨을 조정하는 인디케이터(1810)를 자동으로 이동시키고, 그에 따라 오디오 출력의 데이터 출력 레벨이 조정되도록 할 수 있다.

도 19는 본 발명에 따른 HMD의 제어 인터페이스의 또 다른 일 실시예를 도시한 도면이다. 도 19는 도 18과 유사하게, 오디오 출력의 제어 인터페이스와 비디오 출력의 제어 인터페이스가 분리되어 디스플레이 된 일 실시예이다.

다만, 도 19는 도 18과 달리, 오디오 출력의 인디케이터(1910)와 비디오 출력의 인디케이터(1920)가 사용자의 터치 신호에 따라 함께 이동되는 차이점이 있다. 또한, 각각의 인디케이터(1910, 1920)가 위치한 지점에서 각각의 데이터 출력 레벨을 나타내는 면적이 달라져서 사용자가 데이터 출력 레벨을 직관적으로 알 수 있는 장점이 있다.

한편, 지금까지는 HMD에 구비된 입력 유닛을 통해 사용자로부터 제어 인터페이스의 인디케이터를 이동하기 위한 입력 신호를 수신하는 것을 일 실시예로서 설명하였다. 그러나, HMD에 입력 유닛을 구비하지 않더라도, HMD와 통신 가능한 외부 디바이스에서 사용자의 입력 신호를 수신할 수 있다. 그에 따라, HMD는 외부 디바이스로부터 유무선 네트워크를 통해 입력 신호를 전송받아 오디오 출력 및 비디오 출력을 조절할 수 있다.

도 20은 본 발명에 따른 HMD와 외부 디바이스와 통신하여 오디오 출력 및 비디오 출력을 연계하여 조정하는 일 실시예를 도시한 도면이다. 도 20에 도시된 바와 같이, HMD(2010)의 오디오 출력 및 비디오 출력을 조정하기 위한 제어 인터페이스(2030)를 HMD(2010)와 연계된 모바일 디바이스(2020)에서 디스플레이 할 수 있다.

또한, 제어 인터페이스(2030)에 포함된 인디케이터를 조정하는 입력 신호를, 모바일 디바이스(2020)에서 수신하고, HMD(2010)는 모바일 디바이스(2020)로부터 입력 신호를 수신하여 그에 따라 오디오 출력 및 비디오 출력의 데이터 출력 레벨을 조정할 수 있다.

HMD(2010)는 사용자가 착용하여 사용하는 디바이스이고, 모바일 디바이스(2020)도 사용자가 항상 휴대하는 디바이스이기 때문에, HMD(2010)와 모바일 디바이스(2020)는 통신 연결 상태를 유지하는 경우가 많다. 따라서, HMD(2010)의 제어 인터페이스(2030)를 모바일 디바이스(2020)에서 디스플레이하고, 그에 대한 사용자 입력 신호를 모바일 디바이스(2020)에서 받을 수 있도록 하면, 사용자가 편하게 제어할 수 있는 장점이 있다.

따라서, 도 20의 일 실시예에 의할 경우, 상술한 도 2의 HMD(200)는 커뮤니케이션 유닛(미도시)을 더 포함할 수 있다. 커뮤니케이션 유닛은 HMD(200)와 통신 가능한 외부 디바이스로부터 사용자 입력 신호를 수신하기 위하여 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송수신할 수 있다.

또한, HMD(200)의 비디오 출력 유닛(220)은 HMD(200)와 연동된 외부 디바이스(예를 들면, 모바일 디바이스)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 또한, HMD(200)의 오디오 출력 유닛(230)은 HMD(200)와 연동된 모바일 디바이스의 제어 명령에 기초하여 음성을 출력할 수 있다.

도 21은 본 발명의 일 실시예에 따른 HMD를 제어하는 방법의 흐름도이다.

먼저, 본 발명의 일 실시예에 따른 HMD는 오디오 출력과 비디오 출력을 연계하여 조정하기 위한 제어 인터페이스를 제공한다(S2100). 제어 인터페이스는 도 3, 도 4, 도 18 및 도 19에서 상술한 바와 같이, 오디오 출력과 비디오 출력 간의 데이터 출력 레벨을 조정하기 위한 인디케이터를 포함할 수 있다.

HMD는 제어 인터페이스에 포함된 인디케이터를 이동하는 입력 신호를 수신한다(S2110). 또한, HMD는 이동된 인디케이터가 위치한 구간에 대응하여, 오디오 출력의 데이터 출력 레벨과 비디오 출력의 데이터 출력 레벨이 상호 반비례하도록 데이터 출력 레벨을 설정한다(S2120).

즉, HMD는 도 9 및 도 10에서 상술한 바와 같이, 제어 인터페이스의 인디케이터가 오디오 출력의 데이터 출력 레벨이 높아지는 위치로 이동하면 비디오 출력의 데이터 출력 레벨이 낮아지도록 조정하고, 인디케이터가 비디오 출력의 데이터 출력 레벨이 높아지는 위치로 이동하면 오디오 출력의 데이터 출력 레벨이 낮아지도록 조정할 수 있다.

오디오 출력의 데이터 출력 레벨은 출력 볼륨, 출력 시간 및 출력 데이터의 양 중 적어도 하나에 대한 출력 레벨을 포함할 수 있다. 또한, 비디오 출력의 데이터 출력 레벨은 출력 영역의 사이즈, 출력 투명도, 출력 시간 및 출력 데이터의 양 중 적어도 하나에 대한 출력 레벨을 포함할 수 있다. 이때, 오디오 출력 또는 비디오 출력의 데이터 출력 레벨이 출력 데이터의 양에 대한 것인 경우, 도 11에서 상술한 바와 동일하다.

또한, HMD는 도 4 및 도 5에서 상술한 바와 같이, 인디케이터가 슬라이드 바 상에서 오디오 출력에 대한 제 1 임계 지점을 통과하면 비디오 출력을 차단하거나 제 2 임계 지점을 통과하면 오디오 출력을 차단하도록 설정할 수 있다.

이때, 비디오 출력이 차단된 경우, HMD는 기설정된 시간 단위로 사용자의 시선을 디텍팅하고, 사용자의 시선이 디텍팅되면 제어 인터페이스를 다시 디스플레이할 수 있다. 사용자의 시선이 디텍팅되었다는 것은 사용자가 비디오 출력을 볼 수 있다는 의미이다. 따라서, HMD는 사용자의 시선이 디텍팅되면, 사용자가 필요에 따라 비디오 출력을 이용할 수 있도록 비디오 출력의 데이터 출력 레벨을 조절하는 제어 인터페이스를 디스플레이할 수 있다.

또한, HMD는 비디오 출력이 차단된 경우가 아니라도, 설정된 오디오 출력의 데이터 출력 레벨이 비디오 출력의 데이터 출력 레벨보다 큰 경우, 기설정된 시간 단위로 사용자의 시선을 디텍팅할 수 있다. 즉, HMD는 사용자의 시선이 디텍팅되면, 사용자가 필요에 따라 비디오 출력의 데이터 출력 레벨을 증가시킬 수 있도록 제어 인터페이스를 디스플레이할 수 있다.

또한, HMD는 도 8에서 상술한 바와 같이, 인디케이터가 제 1 임계 지점을 통과하는 경우, 오디오 출력의 데이터 출력 레벨을 재조정하기 위하여 제어 인터페이스의 UI를 변경하여 제공할 수 있고, 인디케이터의 이동이 완료된 위치에 대응하는 오디오 출력의 데이터 출력 레벨을 설정할 수 있다. 이것은 인디케이터가 제 2 임계 지점을 통과하는 경우, 비디오 출력에 대해서도 동일하다.

또한, HMD는 도 16 및 도 17에서 상술한 바와 같이, 오디오 출력과 비디오 출력의 데이터 출력 레벨을 비교하여, 데이터 출력 레벨이 큰 출력을 메인 출력으로, 작은 출력을 서브 출력으로 설정할 수 있다. 그에 따라, HMD는 메인 출력 또는 서브 출력의 데이터 출력 레벨을 사용자가 재설정할 수 있도록 함으로써, 사용자가 필요에 따라 원하는 데이터 출력 레벨을 이용할 수 있도록 한다.

나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.

본 발명에 따른 HMD 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 HMD를 제어하는 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.

200 HMD
210 입력 유닛 220 비디오 출력 유닛
230 오디오 출력 유닛 240 컨트롤러

Claims

헤드 마운트 디스플레이의 오디오 출력과 비디오 출력을 연계하여 조정하는 상기 헤드 마운트 디스플레이의 제어 방법에 있어서,
오디오 출력과 비디오 출력을 연계하여 조정하기 위한 제어 인터페이스의 제1 사용자 인터페이스를 제공하는 단계 - 상기 제1 사용자 인터페이스는 상기 오디오 출력의 데이터 출력 레벨과 상기 비디오 출력의 데이터 출력 레벨을 연계하여 조정하기 위한 인디케이터를 포함함 -;
상기 헤드 마운트 디스플레이에 의해, 상기 인디케이터의 이동에 대응하는 입력 신호를 수신하는 단계; 및
상기 헤드 마운트 디스플레이에 의해, 상기 수신된 입력 신호에 따라 상기 오디오 출력의 데이터 출력 레벨과 상기 비디오 출력의 데이터 출력 레벨이 상호 반비례(inversely)하도록 이들 데이터 출력 레벨들을 조정하는 단계
를 포함하는 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 제어 인터페이스의 상기 제1 사용자 인터페이스는 상기 오디오 출력과 상기 비디오 출력의 데이터 출력 레벨들을 조정하기 위해 상기 인디케이터가 사용자에 의해 이동가능한 슬라이드 바를 포함한 것인, 헤드 마운트 디스플레이의 제어 방법.
제2항에 있어서,
상기 조정하는 단계는 상기 오디오 출력의 데이터 출력 레벨을 증가시키는 위치로 상기 인디케이터가 상기 사용자에 의해 이동될 때 상기 비디오 출력의 데이터 출력 레벨을 감소시키며,
상기 조정하는 단계는 상기 비디오 출력의 데이터 출력 레벨을 증가시키는 위치로 상기 인디케이터가 상기 사용자에 의해 이동될 때 상기 오디오 출력의 데이터 출력 레벨을 감소시키는 것인, 헤드 마운트 디스플레이의 제어 방법.
제2항에 있어서,
상기 슬라이드 바는 상기 오디오 출력에 대한 제1 임계 지점과 상기 비디오 출력에 대한 제2 임계 지점을 적어도 포함하고,
상기 방법은,
상기 인디케이터가 상기 슬라이드 바 상에서 상기 제1 임계 지점을 넘어 이동될 때, 상기 헤드 마운트 디스플레이에 의해, 상기 비디오 출력을 차단하는 단계, 및
상기 인디케이터가 상기 슬라이드 바 상에서 상기 제2 임계 지점을 넘어 이동될 때, 상기 헤드 마운트 디스플레이에 의해, 상기 오디오 출력을 차단하는 단계
를 더 포함하는 헤드 마운트 디스플레이의 제어 방법.
제4항에 있어서,
상기 인디케이터가 상기 슬라이드 바 상에서 상기 제1 임계 지점을 넘어 이동될 때, 상기 오디오 출력의 데이터 출력 레벨을 재조정하기 위하여 상기 제어 인터페이스의 제2 사용자 인터페이스를 제공하는 단계,
상기 제2 사용자 인터페이스에 대한 입력을 수신하는 단계, 및
상기 제2 사용자 인터페이스에 대한 상기 수신된 입력에 대응하는 특정 데이터 출력 레벨로 상기 오디오 출력의 데이터 출력 레벨을 재조정하는 단계
를 더 포함하는 헤드 마운트 디스플레이의 제어 방법.
제4항에 있어서,
상기 인디케이터가 상기 슬라이드 바 상에서 상기 제2 임계 지점을 넘어 이동될 때, 상기 비디오 출력의 데이터 출력 레벨을 재조정하기 위하여 상기 제어 인터페이스의 제3 사용자 인터페이스를 제공하는 단계,
상기 제3 사용자 인터페이스에 대한 입력을 수신하는 단계, 및
상기 제3 사용자 인터페이스에 대한 상기 수신된 입력에 대응하는 특정 데이터 출력 레벨로 상기 비디오 출력의 데이터 출력 레벨을 재조정하는 단계
를 더 포함하는 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 오디오 출력의 데이터 출력 레벨은, 상기 오디오 출력의 출력 볼륨, 상기 오디오 출력의 출력 시간, 및 상기 오디오 출력의 출력 데이터 양 중 적어도 하나와 관련이 있는 것인, 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 오디오 출력의 데이터 출력 레벨은 상기 오디오 출력의 출력 데이터 양과 관련이 있고,
상기 오디오 출력의 데이터 출력 레벨은, 어떠한 데이터도 출력되지 않는 제1 레벨, 알림음으로서 이벤트의 발생이 출력되는 제2 레벨, 및 상기 이벤트의 발생과 연관된 오디오 콘텐츠가 출력되는 제3 레벨을 포함한 것인, 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 비디오 출력의 데이터 출력 레벨은, 상기 비디오 출력의 출력 영역의 사이즈, 상기 비디오 출력의 출력 투명도, 상기 비디오 출력의 출력 시간, 및 상기 비디오 출력의 출력 데이터 양 중 적어도 하나와 관련이 있는 것인, 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 비디오 출력의 데이터 출력 레벨은 상기 비디오 출력의 출력 데이터 양과 관련이 있고,
상기 비디오 출력의 데이터 출력 레벨은, 어떠한 데이터도 디스플레이되지 않는 제1 레벨, 숫자 또는 아이콘을 이용하여 이벤트의 발생이 디스플레이되는 제2 레벨, 및 상기 이벤트의 발생과 연관된 비디오 콘텐츠가 디스플레이되는 제3 레벨을 포함한 것인, 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 오디오 출력의 데이터 출력 레벨과 상기 비디오 출력의 데이터 출력 레벨을 서로 비교함으로써, 더 큰 데이터 출력 레벨을 갖는 하나의 출력을 메인 출력으로서, 그리고 더 작은 데이터 출력 레벨을 갖는 나머지 다른 출력을 서브 출력으로서 설정하는 단계;
상기 메인 출력과 상기 서브 출력 중 적어도 하나의 출력의 데이터 출력 레벨을 재조정하기 위하여 상기 제어 인터페이스의 제4 사용자 인터페이스를 제공하는 단계; 및
상기 제4 사용자 인터페이스에 대한 입력에 따라 상기 메인 출력과 상기 서브 출력 중 적어도 하나의 출력의 데이터 출력 레벨을 재조정하는 단계
를 더 포함하는 헤드 마운트 디스플레이의 제어 방법.
제11항에 있어서,
상기 재조정하는 단계는 상기 제4 사용자 인터페이스에 대한 입력에 따라 상기 메인 출력의 데이터 출력 레벨만을 재조정하거나 또는 상기 서브 출력의 데이터 출력 레벨만을 재조정하는 것인, 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 오디오 출력의 데이터 출력 레벨이 상기 비디오 출력의 데이터 출력 레벨보다 큰 경우, 상기 헤드 마운트 디스플레이에 인접해 있는 사용자의 시선의 존재를 검출하는 단계; 및
상기 검출하는 단계가 상기 사용자의 시선의 존재를 검출하는 경우 상기 제어 인터페이스를 디스플레이하는 단계
를 더 포함하는 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 제1 사용자 인터페이스를 제공하는 단계는 상기 헤드 마운트 디스플레이의 디스플레이 유닛 상에서 상기 제1 사용자 인터페이스를 디스플레이하는 단계를 포함하는 것인, 헤드 마운트 디스플레이의 제어 방법.
제1항에 있어서,
상기 제1 사용자 인터페이스를 제공하는 단계는 상기 헤드 마운트 디스플레이와 통신하도록 구성된 모바일 디바이스의 디스플레이 유닛 상에서 상기 제1 사용자 인터페이스를 디스플레이하는 단계를 포함하는 것인, 헤드 마운트 디스플레이의 제어 방법.
헤드 마운트 디스플레이에 있어서,
입력 유닛;
오디오 출력을 생성하도록 구성된 오디오 출력 유닛;
비디오 출력을 생성하도록 구성된 비디오 출력 유닛; 및
제어기
를 포함하며,
상기 제어기는,
상기 오디오 출력과 상기 비디오 출력을 연계하여 조정하기 위한 제어 인터페이스의 제1 사용자 인터페이스를 제공하고 - 상기 제1 사용자 인터페이스는 상기 오디오 출력의 데이터 출력 레벨과 상기 비디오 출력의 데이터 출력 레벨을 연계하여 조정하기 위한 인디케이터를 포함함 -,
상기 입력 유닛을 통해, 상기 인디케이터의 이동에 대응하는 입력 신호를 수신하며,
상기 수신된 입력 신호에 따라 상기 오디오 출력의 데이터 출력 레벨과 상기 비디오 출력의 데이터 출력 레벨이 상호 반비례하도록 이들 데이터 출력 레벨들을 조정하도록 구성된 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 제어 인터페이스의 상기 제1 사용자 인터페이스는 상기 오디오 출력과 상기 비디오 출력의 데이터 출력 레벨들을 조정하기 위해 상기 인디케이터가 사용자에 의해 이동가능한 슬라이드 바를 포함한 것인, 헤드 마운트 디스플레이.
제17항에 있어서,
상기 제어기는, 상기 오디오 출력의 데이터 출력 레벨을 증가시키는 위치로 상기 인디케이터가 상기 사용자에 의해 이동될 때, 상기 비디오 출력의 데이터 출력 레벨을 감소시키며,
상기 제어기는, 상기 비디오 출력의 데이터 출력 레벨을 증가시키는 위치로 상기 인디케이터가 상기 사용자에 의해 이동될 때, 상기 오디오 출력의 데이터 출력 레벨을 감소시키는 것인, 헤드 마운트 디스플레이.
제17항에 있어서,
상기 슬라이드 바는 상기 오디오 출력에 대한 제1 임계 지점과 상기 비디오 출력에 대한 제2 임계 지점을 적어도 포함하고,
상기 제어기는, 상기 인디케이터가 상기 슬라이드 바 상에서 상기 제1 임계 지점을 넘어 이동될 때, 상기 비디오 출력을 차단하며, 상기 인디케이터가 상기 슬라이드 바 상에서 상기 제2 임계 지점을 넘어 이동될 때, 상기 오디오 출력을 차단하는 것인, 헤드 마운트 디스플레이.
제19항에 있어서,
상기 제어기는 또한,
상기 인디케이터가 상기 슬라이드 바 상에서 상기 제1 임계 지점을 넘어 이동될 때, 상기 오디오 출력의 데이터 출력 레벨을 재조정하기 위하여 상기 제어 인터페이스의 제2 사용자 인터페이스를 제공하고,
상기 제2 사용자 인터페이스에 대한 입력을 수신하며,
상기 제2 사용자 인터페이스에 대한 상기 수신된 입력에 대응하는 특정 데이터 출력 레벨로 상기 오디오 출력의 데이터 출력 레벨을 재조정하도록 구성된 것인, 헤드 마운트 디스플레이.
제19항에 있어서,
상기 제어기는 또한,
상기 인디케이터가 상기 슬라이드 바 상에서 상기 제2 임계 지점을 넘어 이동될 때, 상기 비디오 출력의 데이터 출력 레벨을 재조정하기 위하여 상기 제어 인터페이스의 제3 사용자 인터페이스를 제공하고,
상기 제3 사용자 인터페이스에 대한 입력을 수신하며,
상기 제3 사용자 인터페이스에 대한 상기 수신된 입력에 대응하는 특정 데이터 출력 레벨로 상기 비디오 출력의 데이터 출력 레벨을 재조정하도록 구성된 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 오디오 출력의 데이터 출력 레벨은, 상기 오디오 출력의 출력 볼륨, 상기 오디오 출력의 출력 시간, 및 상기 오디오 출력의 출력 데이터 양 중 적어도 하나와 관련이 있는 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 오디오 출력의 데이터 출력 레벨은 상기 오디오 출력의 출력 데이터 양과 관련이 있고,
상기 오디오 출력의 데이터 출력 레벨은, 어떠한 데이터도 출력되지 않는 제1 레벨, 알림음으로서 이벤트의 발생이 출력되는 제2 레벨, 및 상기 이벤트의 발생과 연관된 오디오 콘텐츠가 출력되는 제3 레벨을 포함한 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 비디오 출력의 데이터 출력 레벨은, 상기 비디오 출력의 출력 영역의 사이즈, 상기 비디오 출력의 출력 투명도, 상기 비디오 출력의 출력 시간, 및 상기 비디오 출력의 출력 데이터 양 중 적어도 하나와 관련이 있는 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 비디오 출력의 데이터 출력 레벨은 상기 비디오 출력의 출력 데이터 양과 관련이 있고,
상기 비디오 출력의 데이터 출력 레벨은, 어떠한 데이터도 디스플레이되지 않는 제1 레벨, 숫자 또는 아이콘을 이용하여 이벤트의 발생이 디스플레이되는 제2 레벨, 및 상기 이벤트의 발생과 연관된 비디오 콘텐츠가 디스플레이되는 제3 레벨을 포함한 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 제어기는 또한,
상기 오디오 출력의 데이터 출력 레벨과 상기 비디오 출력의 데이터 출력 레벨을 서로 비교함으로써, 더 큰 데이터 출력 레벨을 갖는 하나의 출력을 메인 출력으로서, 그리고 더 작은 데이터 출력 레벨을 갖는 나머지 다른 출력을 서브 출력으로서 설정하고,
상기 메인 출력과 상기 서브 출력 중 적어도 하나의 출력의 데이터 출력 레벨을 재조정하기 위하여 상기 제어 인터페이스의 제4 사용자 인터페이스를 제공하며,
상기 제4 사용자 인터페이스에 대한 입력에 따라 상기 메인 출력과 상기 서브 출력 중 적어도 하나의 출력의 데이터 출력 레벨을 재조정하도록 구성된 것인, 헤드 마운트 디스플레이.
제26항에 있어서,
상기 제어기는 상기 제4 사용자 인터페이스에 대한 입력에 따라 상기 메인 출력의 데이터 출력 레벨만을 재조정하거나 또는 상기 서브 출력의 데이터 출력 레벨만을 재조정하는 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 제어기는 또한,
상기 오디오 출력의 데이터 출력 레벨이 상기 비디오 출력의 데이터 출력 레벨보다 큰 경우, 상기 헤드 마운트 디스플레이에 인접해 있는 사용자의 시선의 존재를 검출하며,
상기 제어기가 상기 사용자의 시선의 존재를 검출하는 경우, 상기 제어 인터페이스를 디스플레이하도록 구성된 것인, 헤드 마운트 디스플레이.
제16항에 있어서,
상기 제어기의 제어 하에서 상기 제1 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛
을 더 포함하는 헤드 마운트 디스플레이.
제16항에 있어서,
상기 제어기는 상기 헤드 마운트 디스플레이와 통신하도록 구성된 모바일 디바이스의 디스플레이 유닛 상에서 상기 제1 사용자 인터페이스를 디스플레이함으로써 상기 제1 사용자 인터페이스를 제공하는 것인, 헤드 마운트 디스플레이.