KR100800859B1

KR100800859B1 - Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법

Info

Publication number: KR100800859B1
Application number: KR1020040067858A
Authority: KR
Inventors: 민경태
Original assignee: 삼성전자주식회사
Priority date: 2004-08-27
Filing date: 2004-08-27
Publication date: 2008-02-04
Anticipated expiration: 2024-08-27
Also published as: US20060044265A1; KR20060019273A; EP1630587A1

Abstract

본 발명은 HMD와 일체화된 정보 단말기에서 키를 입력하는 장치 및 방법을 제공한다. 이를 위해 본 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하고, 검출신호 발신부, 검출신호 감지부, 인식부를 구비하고 검출 신호 발신부에서 발신된 신호를 검출신호 감지부에서 감지하고 이를 인식부에서 인식하도록 함으로써, 사용자가 별도의 HMD 입력 장치 없이도 사용자의 움직임을 이동통신 단말기에서 인식할 수 있도록 한다. 이에 따라 사용자는 별도의 입력 장치 없이 단지 손의 움직임만으로 정보 단말기에 자신이 원하는 키를 입력할 수 있으며, 따라서 정보 단말기의 휴대성을 더욱 증대시킬 수 있다.

HMD, 정보 단말기

Description

ＨＭＤ 정보 단말기에서 키를 입력하는 장치 및 방법{APPARATUS AND METHOD FOR INPUTTING KEY IN HEAD MOUNTED DISPLAY INFORMATION TERMINAL}

도 1은 가상현실을 이용한 게임의 예를 보인 예시도,

도 2는 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성도,

도 3은 본 발명의 실시 예에 따른 이동통신 단말기의 예시도,

도 4는 본 발명의 실시 예에 따른 HMD 디스플레이 화면 예시도,

도 5는 본 발명의 실시 예에 따른 이동통신 단말기의 사용자 키 입력 과정을 보이는 흐름도,

도 6은 도 5에서 감지된 신호에 따른 키 인식 과정의 상세 흐름도,

도 7은 본 발명의 실시 예에 따른 키 인식 예시도,

도 8은 도 5에서 인식된 키에서 문자를 선택하는 과정의 흐름도,

도 9는 본 발명의 실시 예에 따른 문자 선택 과정의 예시도.

본 발명은 정보 단말기(Information Terminal)에 관한 것으로서, 특히 HMD(Head Mounted Display)를 이용한 정보 단말기에 관한 것이다.

통상적으로 휴대용 정보 단말기라는 것은 휴대폰 뿐 아니라 PDA(Personal Data Assistant)와 스마트 폰(Smart Phone)과 같은 이동통신 단말기를 모두 포함하는 것이다. 이러한 휴대용 정보 단말기는 그 휴대성이 중요한 장점이 된다. 따라서 이러한 휴대용 정보 단말기의 휴대성을 증대시키기 위해 수많은 방법들이 등장하고 있다.

이러한 휴대용 정보 단말기의 휴대성을 증대시키기 위한 방법 중의 하나로써 현재 주목받고 있는 것은 바로 HMD(Head Mounted Display)를 이용하는 방법이다. HMD라는 것은 일반적으로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality) 시스템에서 사용자의 눈앞에 영상을 펼쳐보이게 하는 영상 장치를 말하는 것으로, 보안경 또는 헬멧의 형태를 가지고 있다. 이러한 HMD를 이용하게 되면, 사용자는 단지 모니터와 같은 2차원적인 화면과 키보드 또는 마우스등과 같은 평면적인 입력 장치를 통해 컴퓨터를 제어하는 것이 아니라, 입체적으로 구성되어 있는 가상현실 화면에서 원하는 메뉴를 직접 손으로 가리키거나 잡는 등의 움직임을 통해 컴퓨터를 제어할 수 있도록 한다. 이를 위해 HMD정보단말은 영상을 디스플레이하는 초경량의 마이크로 디스플레이가 장착된 안경 형태의 표시부와, 사용자의 움직임을 감지할 수 있는 입력 장치, 그리고 이러한 입력 장치의 신호를 감지하여 사용자의 움직임을 키로 인식할 수 있도록 하는 센서 등으로 구성될 수 있다.

이러한 HMD를 디스플레이 장치로 이용한 Wearable장치에서 가장 중요한 기술 중의 하나는 사용자의 움직임을 어떻게 컴퓨터가 인식하고 이를 키 입력으로 받아들이도록 하는가에 대한 것이었다. 이를 위해 현재까지 등장하고 있는 Wearable 입력 장치는 기존의 입력 장치를 소형화시켜 이를 사용자의 신체에 부착하도록 한다던가, 아니면 HMD의 센서에서 감지할 수 있는 신호를 발신하는 입력 장치를 사용자의 신체에 부착하도록 하여 이를 HMD의 센서에서 감지하도록 하는 방법이었다. 이 중 상기한 전자와 같이, 기존의 입력 장치를 소형화시켜 사용자의 신체에 부착하는 입력 장치의 예를 들어보면 L3 시스템에서 출시된 '손목 키보드'를 들 수 있다. 이는 일반적인 컴퓨터 키보드를 사용자가 사용자의 손목 등에 장착할 수 있을 정도의 크기로 소형화 시킨 것이다. 또한 상기한 후자와 같이, HMD의 센서에서 감지할 수 있는 신호를 발신하는 입력 장치의 예를 들어보면 삼성 전자에서 출시된 'Scurry'를 들 수 있다. 이는 마치 장갑처럼 사용자의 손에 장착할 수 있는 마우스를 말하는 것이다.

이러한 HMD 입력 장치들에 대해서 살펴보면 '손목 키보드'와 같이 사용자의 손목 등에 장착할 수 있는 초소형의 키보드 또는 'Scurry'와 같이 장갑처럼 사용자의 손에 장착할 수 있는 마우스 등은 모두 사용자가 반드시 별도의 장치를 사용자의 신체 일부분에 부착하여야 한다는 단점이 있었다. 예를 들어 사용자의 손목에 장착되는 '손목 키보드'와 같은 경우 몹시 날씨가 더운 여름날에는 사용자에게 큰 불편을 줄 수도 있으며, 사용자의 땀으로 인해 장치가 오작동을 일으킬 수 있는 점 또한 간과할 수 없다. 또한 사용자의 편의성을 최대한 고려하여 이러한 감지 장치를 반지나 팔찌와 같은 초소형으로 제작할 수 있다 하여도, 사용자가 이러한 장치 를 부착하고 있다는 사실을 잊은 채 손을 씻는다거나 할 경우에는, 수분으로 인한 고장이 발생할 수 있다는 단점이 있다.

따라서 이러한 HMD에 사용자의 움직임을 입력할 수 있는 가장 바람직한 형태는 아예 사용자의 신체에 어떤 입력 장치도 장착하지 않는 것이다. 즉, 입력 장치에서 발신되는 입력 신호를 센서가 받아서 사용자의 움직임을 인식하는 것이 아니라, 단지 사용자의 움직임만을 감지할 수 있는 감지 센서를 이용하여 사용자의 움직임만으로 HMD를 이용한 장치를 제어할 수 있는 방법이 가장 바람직한 형태라고 말할 수 있다. 이에 따라 이러한 입력 장치를 따로 구비하지 않고도 사용자의 움직임을 감지할 수 있는 기술들이 개발되고 있으며, 그 중 가장 대표적인 기술 중 하나로 감지 카메라를 이용한 기술이 등장하게 되었다. 그러나 이러한 감지 카메라를 이용한 기술은, 사용자의 움직임이 감지되었더라도, 배경과 사용자의 움직임을 구별하기 위하여 일정 시간 이상동안 반복되는 움직임이 있었는지를 체크한다. 즉, 사용자가 일정 시간 이상동안 특정 위치에서 손을 흔들고 있을 경우에 이를 사용자의 움직임으로 인지하는 방법이었다. 따라서 이러한 방법은 사용자가 반복적으로 움직이지 않을 경우 또는 정해진 시간 이상동안 같은 움직임을 반복하지 않을 경우에는 사용자의 움직임을 제어신호로 즉시 인식하지 못한다는 문제점이 있었다. 따라서 이러한 감지 카메라를 이용하여 일정 시간 이상동안 반복적으로 감지된 움직임을 사용자의 움직임으로 인식하는 방법은, 그 정확도가 떨어질 수밖에 없다는 단점이 있었으며, 하나하나의 키를 입력할 때마다 사용자가 일정 시간 이상동안 지체하여야 한다는 단점이 있었다. 이에 따라 이러한 방법은 비록 별도의 입력 장치를 구비하지 않고서도 사용자의 움직임을 감지하고 이를 인식할 수 있다는 장점은 있으나, 정보 단말기에서 사용하기에 부적합할 수밖에 없었다.

그러므로 HMD를 정보 단말기에 이용하는 방법은 별도의 입력 장치를 구비하여 그 입력 장치로부터 사용자의 키 입력을 받아들이는 방법을 사용하여야만 했다. 그러나 이러한 별도의 입력 장치를 정보 단말기가 대신할 수 있었으므로 HMD를 정보 단말기에 이용하는 통상적인 방법은, 정보 단말기의 본체에 구비된 키 입력부 등을 HMD의 입력 장치로 사용하는 것이었다. 즉, 정보 단말기의 디스플레이 장치로서 HMD를 구비하고, 그 HMD에 정보 단말기의 본체를 무선 또는 유선으로 연결하여 정보 단말기의 키 입력부를 통해 키를 입력하는 방법이었다.

하지만 이러한 통상적인 정보 단말기의 본체에 구비된 키 입력부 등을 HMD의 입력 장치로 사용하는 방법은, 사용자가 HMD와 정보 단말기의 본체를 둘 다 구비하여야 했으므로, 오히려 사용자가 정보 단말기를 휴대하기 불편하게 만든다는 문제점이 있다.

따라서 본 발명의 목적은 HMD에서 별도의 입력 장치 없이 사용자의 움직임을 감지하여 이를 키 입력으로 인식할 수 있도록 함으로써 HMD와 정보 단말기가 일체화된 HMD 정보 단말기를 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 장치는, 가상 화면을 표시하는 마이크로 디스플레이와, 상기 마이크로 디스플레이가 표시하는 가상 화면의 키 맵 정보를 저장하고 있는 키 정보 저장부와, 사용자가 설정한 감지 거리 내에서 사용자의 움직임을 식별하기 위한 검출 신호를 발신하는 검출 신호 발신부와, 상기 사용자의 신체에 반사된, 상기 검출 신호를 감지하는 반사 신호 감지부가 구비된 검출 신호 감지부와, 상기 반사된 검출 신호에 따라 사용자의 움직임을 인식하고, 그 움직임에 따른 키 정보를 인식하는 인식부와, 상기 키 맵 정보를 디스플레이하고, 상기 검출 신호로 사용자의 움직임을 감지하며, 상기 감지된 사용자의 움직임을 특정 키 입력으로 인식하는 제어부를 구비한다.

또한 본 발명의 방법은, 가상 화면 정보를 로드하는 가상 화면 로드 단계와, 상기 로드된 가상 화면 정보에 따른 가상 화면을 디스플레이하는 가상 화면 디스플레이 단계와, 사용자가 상기 감지 거리의 조절을 선택한 경우 상기 사용자에 의해 감지 거리가 조절되는 감지 거리 조절 단계와, 상기 검출 신호를 발신하는 검출 신호 발신 단계와, 상기 사용자의 신체에 반사된 상기 검출 신호를 감지하고 이에 따른 키를 인식하는 키 인식 단계와, 상기 키가 인식되면, 그 키에 따른 키 값을 입력받는 키 입력 단계를 구비한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한 본 발명은 휴대용 정보 단말기에 관한 것으로서 모든 휴대용 정보 단말기에 적용될 수 있으나 본 발명의 상세한 설명을 함에 있어서는 편의상 이동통신 단말기를 예로 들어 설명하기로 한다.

도 1은 일본의 소니 사에서 제작된 콘솔용 게임기인 '플레이스테이션2'의 게임인 '아이 토이' 시리즈 중 어느 하나의 예를 보이고 있는 예시도이다. '아이 토이'는 감지 카메라를 이용하여 사용자의 움직임을 인식하고, 인식된 사용자의 움직임에 따라 게임이 진행된다. 도 1을 참조하여 살펴보면, 사용자가 TV화면(100)에 디스플레이되는 메뉴(106, 108) 중 어느 하나를 선택하기 위해 손을 들어올리면, 카메라(102)는 사용자의 손의 움직임을 감지하여, 이를 플레이스테이션2 본체(104)로 전송한다. 그러면 플레이스테이션2 본체(104)는 카메라(102)로부터 감지된 사용자 신체의 움직임과 그 움직임에 따라 특정 메뉴(108)가 선택되었음을 인지한다. 그리고 선택된 메뉴에서 보이고 있는 게이지(110)와 같이 지정된 시간동안 사용자의 움직임이 계속 감지되고 있는지 확인한다. 그리고 지정된 시간동안 사용자의 움직임이 있을 경우에는 이를 사용자의 선택이라고 간주하고 선택된 메뉴에 따른 동작을 실행한다.

상술한 바와 같이 '아이 토이'는 인식 카메라를 두어 사용자의 손의 움직임을 감지하도록 하는 기술을 보이고 있다. '아이 토이'의 감지 카메라는 제어를 위한 실제 사용자의 움직임과 사용자의 움직임이 아닌 배경의 움직임을 구별하기 위해 일정 시간동안 같은 위치에서 움직임이 있는가를 감지하는 방법을 사용한다. 이에 따라 '아이 토이'의 사용자는 도 1에서 보이고 있는 게임 화면 우측 상단에서 보이고 있는 것처럼 게이지(110)가 다 사라질 때까지 선택된 메뉴에서 손을 흔들고 있어야만 했다. 즉, 상술한 바와 같이 감지 카메라만을 이용하여 사용자의 움직임을 감지하고 이를 인식하는 방법은, 일정시간 동안 사용자의 반복된 움직임이 없는 경우에는 사용자의 움직임을 제어신호로 감지할 수 없었고, 하나하나의 키를 입력할 때마다 사용자가 일정 시간 이상동안 지체하여야만 했다.

따라서 본 발명에서는 이러한 감지 카메라를 이용한 방법 외에 사용자의 움직임을 검출할 수 있는 검출신호를 이용하여 사용자의 움직임을 검출하고 이를 인식하도록 한다. 도 2는 이러한 본 발명의 실시 예에 따른 이동통신 단말기의 블록 구성도를 보이고 있는 도면이다. 도 2를 참조하여 살펴보면, 메모리부(202), 키입력부(204), 표시부(206), RF(Radio Frequency)부(210), 베이스밴드(Baseband) 처리부(208), 코덱(CODEC: Coder-Decoder)(212), 외부 인터페이스부(228), 검출신호 발신부(218), 인식부(220), 그리고 검출신호 감지부(222)가 제어부(200)에 연결된다. 여기서 제어부(200)는 전화 통화나 데이터 통신, 무선 인터넷 접속을 위한 프로토콜에 따라 음성신호 및 데이터 처리를 하고 이동통신 단말기의 각 부분을 제어한다. 그리고 본 발명에 따라 메모리부(202)에 저장된 키 맵을 로드하여 디스플레이한다. 또한 사용자의 움직임을 검출할 수 있는 검출신호를 발신하도록 검출신호 발신부(218)를 제어하고, 검출신호 감지부(222)를 제어하여 상기 검출신호 발신부(218)에서 발신된 신호의 반사 신호와 감지 카메라에 따라 사용자의 움직임을 감지한다. 그리고 상기 로드된 키 맵과 인식부(220)를 통해 인식된 사용자의 움직임에 따라 사용자의 키 입력을 인식한다.

그리고 상기한 제어부(200)와 연결되는 본 발명의 실시 예에 따른 이동통신 단말기의 메모리부(202)는 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리(Flash Memory)로 구성되어 있으며, 본 발명의 실시 예에 따른 각종 키 맵 정보를 저장하고 있는 키 정보 저장부(230)를 구비한다. 상기한 키입력부(204)는 파워 온/오프 키를 비롯한 몇 가지 옵션 키를 구비하고 있다. 본 발명의 실시 예에 따른 이동통신 단말기의 키입력부(204)는 통상적인 이동통신 단말기의 키패드와는 달리 파워 온/오프 또는 가상화면 온/오프와 같이 사용자가 HMD를 통한 가상화면을 이용한 메뉴 선택으로 실행할 수 없는 몇 가지 키들만을 물리적으로 구비한다. 그리고 표시부(206)는 HMD(Head Mounted Display)를 구비하고 있으며, HMD에 마이크로 디스플레이(236)를 구비하여 제어부(200)의 제어에 따라 각종 정보를 사용자에게 입체적인 가상화면을 디스플레이한다. 그리고 RF(Radio Frequency)부(210)는 안테나(ANT)를 통해 기지국과 RF신호를 송, 수신하는데, 수신되는 신호를 IF(Intermediate Frequency)신호로 변환하여 베이스밴드 처리부(208)로 출력하고 베이스밴드 처리부(208)로부터 입력되는 IF신호를 RF신호로 변환하여 송신한다.

상기한 베이스밴드 처리부(208)는 제어부(200)와 RF부(210)간의 인터페이스를 제공하는 BBA(Baseband Analog ASIC)로서, 제어부(200)로부터 인가되는 베이스밴드의 디지털 신호를 아날로그 IF신호로 변환하여 RF부(210)에 인가하며, RF부(210)로부터 인가되는 아날로그 IF신호를 베이스밴드의 디지털 신호로 변환하여 제어부(200)에 인가한다. 그리고 제어부(200)와 연결된 코덱(212)은 증폭부(214)를 통해 이어셋(216)과 접속된다. 본 발명의 실시 예에 따른 이어셋(216)은 마이크(224) 및 스피커(226), 그리고 코덱(212)과 증폭부(214)와 일체형으로 구성되었으며, 일반적인 이어셋 형태를 가지고 있다. 상기한 코덱(212)은 마이크(224)로부터 입력되는 음성신호를 PCM(Pulse Code Modulation) 부호화(Encoding)하여 음성데이터를 제어부(200)에 출력하고 제어부(200)로부터 입력되는 음성데이터를 PCM 복호화(Decoding)하여 증폭부(214)를 통해 스피커(226)로 출력한다. 그리고 증폭부(214)는 마이크(224)로부터 입력되는 음성신호나 스피커(226)로 출력되는 음성신호를 증폭하는데, 스피커(226)의 음량과 마이크(224)의 이득을 제어부(200)의 제어에 따라 조절한다. 그리고 제어부(200)와 연결된 외부 인터페이스부(228)는 상기한 본 발명의 실시 예에 따른 이동통신 단말기의 확장 메모리 또는 확장 배터리 등이 연결되기 위한 인터페이스 역할을 한다.

또한 검출신호 발신부(218)는 본 발명의 실시 예에 따라 사용자가 선택한 감지 거리 내에서 사용자의 움직임을 감지하기 위한 검출신호를 발신하는데, 이를 위해 본 발명에서는 상기 검출신호로서 적외선을 사용하기로 한다. 이는 적외선을 사용할 경우 별도의 입력 장치 없이도 적외선이 장애물, 즉 사용자의 신체에 반사되는 것을 감지하는 것만으로도 사용자의 움직임을 감지할 수 있기 때문이다. 그러나 이는 적외선을 사용하여 사용자의 움직임을 감지하는 본 발명의 실시 예 중의 하나에 불과한 것으로서, 본 발명의 실시 예가 이에 한정되는 것은 아니다.

그리고 검출신호 감지부(222)에서는 사용자의 신체에 반사되어 되돌아오는, 검출신호 발신부(218)에서 발신된 적외선을 감지할 수 있는 반사 신호 감지부(232)와 화면상에서 움직이는 부분, 즉, 화상 정보들을 감지할 수 있는 감지 카메라 (234)를 구비한다. 그리고 인식부(220)에서는 감지 카메라(234)를 통해 감지된 움직임이 있는 부분, 즉, 화상 정보들 중에서 반사 신호 감지부(232)를 통해 반사 신호가 감지된 화상 정보만을 사용자의 움직임으로 인식한다. 그리고 현재 제어부(200)에 의해 로드된 키 맵 정보에서 현재 인식된 사용자의 움직임에 해당되는 키 정보를 사용자에 의해 입력된 키 값이라고 인식한다. 따라서 본 발명의 실시 예에 따른 검출신호 발신부(218), 검출신호 감지부(222), 인식부(220) 그리고 키 정보 저장부(230)를 통해 사용자는 별도의 입력 장치 없이도 사용자의 움직임에 따른 키를 제어부(200)에 입력할 수 있다.

도 3은 본 발명의 실시 예에 따라 이동통신 단말기와 일체화된 HMD의 모습을 보이고 있는 도면이다. 도 3을 참조하여 살펴보면 본 발명의 실시 예는 고글(Goggle) 형태를 가지고 있음을 알 수 있다. 이를 도 2에서 보인 본 발명의 실시 예의 블록 구성도를 참조하여 보면, 본 발명의 실시 예에 따른 표시부(206)는 도 3의 글라스(glass) 부분이 된다. 표시부(206)에는 마이크로 디스플레이(236)를 구비하고 있으며, 도 3에서는 마이크로 디스플레이(236)에서 디스플레이되는 키 맵(310)의 가상화면(310) 예를 보이고 있다. 여기서 마이크로 디스플레이(236)가 좌측에 구비되어 있는 예를 보이고 있으나 이는 사용자의 편의에 따라 글라스의 우측에 구비될 수도 있음은 물론이다.

그리고 도 2에서 보인 검출신호 발신부(218)와 검출신호 감지부(222)는, 도 3에서 보인 본 발명의 실시 예에서 글라스의 테 부분에 위치한다. 이를 자세히 살펴보면 테 부분의 중앙에는 검출신호 감지부(222)를 구비하고, 테 양쪽 끝 부분에 는 검출신호 발신부(218)를 구비하여 검출신호 발신부(218)에서 입체적으로 발신된 적외선 신호를 검출신호 감지부(222)에서 감지할 수 있도록 한다. 그리고 이 검출신호 감지부(222)는 도 2에서 보인 바와 같이 검출신호 감지부(222)에는 감지 카메라(234)와 반사 신호 감지부(232)를 구비한다.

또한 본 발명의 실시 예에서는 도 3에서 보이고 있는 바와 같은 이어셋(216)을 구비한다. 도 3에서 이어셋(216)은 마이크(224)를 구비하고 있으며, 사용자의 편의에 따라 길이를 조절할 수 있도록 스피커(226)가 이어폰 형태로 구비되어 있다. 또한 본 발명의 실시 예에 따른 이어셋(216)은 코덱(212)과 증폭부(214)를 포함하여 도 3에서 보이고 있는 바와 같이 마이크(224), 스피커(226)와 일체화된 상태로 구현된다. 그리고 도 3에서 언급하지 않은 구성부들인 제어부(200), 키입력부(204), 메모리부(202), 외부 인터페이스부(228), 베이스밴드 처리부(208), RF부(210), 인식부(220)는 도 3에서 보이고 있는 고글의 나머지 부분 즉, 우측 테(304)와 우측 걸이(300), 좌측 테(306), 그리고 좌측 걸이(302) 부분에 각각 나뉘어 내장된다. 즉, 예를 들어 제어부(200)와 키입력부(204)가 우측 걸이(300)부분에 내장되고, 우측 테(304) 부분에 베이스밴드 처리부(208)와 RF부(210)가 내장될 수도 있다. 또한 좌측 걸이(302) 부분에 메모리부(202)와 외부 인터페이스부(228)를, 그리고 좌측 테(306) 부분에 인식부(220)를 구비할 수도 있다. 그리고 상기한 외부 인터페이스부(228)는 외부 확장 메모리나 확장 배터리 등을 본 발명의 실시 예에 따른 이동통신 단말기와 연결시키기 위한 인터페이스 부분으로서 인터페이스 포트를 내장하거나 또는 유선으로 연결된 인터페이스 포트 등을 구비할 수 있다.

그런데 상기한 도 3에서 보이고 있는 것은 본 발명의 실시 예를 보이고 있는 것이다. 즉, 예를 들어 도 3에서는 검출신호 발신부(218)가 좌측, 우측 테의 끝 부분에 위치하고 있으며, 검출신호 감지부(222)는 테의 중앙 부분에 위치하고 있다. 그러나 이러한 위치는 얼마든지 편의상 또는 다른 이유로 바뀔 수 있음이 물론이다. 또한 본 발명에서는 검출신호 감지부(222)가 하나뿐이나, 사용자의 움직임을 감지하는 정확도를 높이기 위해 다수의 검출신호 감지부(222)를 구비할 수도 있음은 물론이다. 따라서 본 발명의 실시 예에 따른 구성이 도 3에서 보이고 있는 실시 예에 의해 한정되지 않음은 당연하다.

도 4는 본 발명의 실시 예에 따라 사용자에게 디스플레이되는 화면의 예를 보이고 있는 도면이다. 도 4를 참조하여 살펴보면, 사용자가 키입력부(204)를 통해 파워 온 또는 가상화면 온 키를 입력하였을 경우 사용자는 글라스를 통해 바라보이는 실제 환경과 함께 도 4에서 보이고 있는 입체 화면을 동시에 볼 수 있다. 도 4에서 보이고 있는 예시도 중 도 4a는 본 발명의 실시 예에 따른 이동통신 단말기의 키 맵 화면을 사용자에게 디스플레이하고 있는 화면의 예이다. 그리고 도 4b는 사용자가 도 4a에서 '메뉴'키를 입력하였을 경우 디스플레이되는 '메뉴' 화면의 예를 보이고 있는 도면이다. 우선 도 4a를 참조하여 살펴보면, 본 발명의 실시 예에 따라 사용자에게 디스플레이하고 있는 화면 중, 마이크로 디스플레이(236)로부터 디스플레이되는 화면 좌측은 메뉴 화면을 선택하고 메뉴 선택 화면을 디스플레이하기 위한 메뉴키(402), 사용자의 키 입력을 확인하기 위한 확인키(404), 그리고 선택된 기능을 취소할 수 있는 취소키(406), 그리고 키 맵(310)과, 사용자가 입력한 전화 번호로 호 착신 신호를 송출하는 SEND키(408), 그리고 상기 호 착신 신호 송출을 중단시킬 수 있는 기능을 포함하는 STOP(410)키로 구성되어 있으며, 화면 우측은 사용자가 입력한 숫자 또는 문자들을 사용자가 육안으로 확인할 수 있는 미리보기창(412), 그리고 다수의 키 값들 중 어느 하나를 선택할 수 있는 문자 선택키(414, 416, 418) 그리고 입력 대기 상태에서 오른손이 위치하는 '원위치' 키(419)로 구성되어 있다. 오른손은 문자 선택키(414, 416, 418)중 하나를 선택한 후, 다시 '원위치' 키(419)로 이동하는 동작을 통해 하나의 문자입력 과정이 완료되었음을 시스템에 인지시킨다.

사용자가 키입력부(204)를 통해 파워 온 또는 가상화면 온 키를 입력하였을 경우 본 발명의 실시 예에 따른 이동통신 단말기의 마이크로 디스플레이(236)는 제어부(200)의 제어에 따라 키 정보 저장부(230)에서 키 맵 정보를 로드하고 로드된 키 맵 정보를 도 4a에서 보이고 있는 바와 같이 디스플레이한다. 도 4a는 일반적인 숫자 키에 대한 키 맵(310)이 디스플레이되고 있다. 이러한 화면이 디스플레이된 상태에서 제어부(200)는 검출신호 발신부(218)가 적외선을 발신하도록 제어한다. 그리고 제어부(200)는 감지 카메라(234)를 통해 입력되는 이미지 중에서 움직임이 있는 화상 정보들(420, 421)을 모두 감지한다. 그리고 인식부(220)를 통해 감지 카메라(234)에서 움직임이 감지된 화상 정보들(420, 421) 중에서 적외선 신호가 반사된 화상 정보(420)가 감지된 화상 정보를 사용자의 움직임으로 인식한다. 따라서 사용자가 디스플레이된 키 맵(310)의 키 들 중에서 어느 하나의 키를 선택하는 경우 사용자의 손에 의해 반사된 적외선을 반사 신호 감지부(232)가 감지하고 사용자 의 손에 의해 선택된 키를 사용자가 선택한 키로 인식한다. 그리고 그 키 값을 미리보기창(412)으로 입력하여 사용자가 자신이 입력한 키 값을 확인할 수 있도록 한다.

도 4a에서는 키 맵(310)이 화면의 좌측에 디스플레이되어 있으며, 미리보기창(412)과 문자 선택키들(414, 416, 418), 그리고 원위치 키(419)가 화면의 우측에 디스플레이된 화면을 보이고 있다. 그러나 본 발명의 실시 예에 따른 이동통신 단말기에서는 이러한 화면의 좌측과 우측의 표시내용이 사용자의 필요에 따라 서로 스위칭(Switching)하는 것이 가능하다. 즉, 왼손과 오른손의 기능을 서로 스위칭하여, 오른손으로 키맵(310)의 키를 선택하고 왼손으로 문자 선택키(414, 416, 418)를 선택하도록 하는 화면 메뉴의 전환이 가능하다. 이는 본 발명의 실시 예에 따라 구현된 화면이 물리적으로 구현된 키패드가 아닌 공간상에 가상으로 디스플레이되는 화면이기 때문에 가능한 것이다. 이러한 스위칭 기능은 사용자가 메뉴키(402)를 선택하였을 경우 디스플레이되는 메뉴들 중에서 선택할 수 있다.

도 4b는 본 발명의 실시 예에 따른 가상화면에서 디스플레이되는 메뉴들의 예를 보이고 있는 도면이다. 도 4b를 참조하여 살펴보면 사용자는 디스플레이 화면 좌측에서, 문자 메시지 기능을 이용할 수 있도록 하는 문자 메시지 메뉴키(422), 게임등 다양한 엔터테이먼트(Entertainment) 기능을 이용할 수 있도록 하는 메뉴키(424), 검출신호 감지부(222)에서 사용자의 신체에 의해 반사된 적외선을 감지할 수 있는 거리를 사용자의 편의에 따라 조절할 수 있도록 하는 감지 거리 조절 메뉴키(426), 그리고 스위칭 옵션을 선택할 수 있는 스위칭 옵션키(428), 사용자가 입 력한 키들의 목록이 나열되어 있는 키 맵(310)을 선택할 수 있는 키 맵 설정키(430), 그리고 사용자의 스케줄 등을 관리할 수 있는 일정 관리키(432), 그리고 다른 메뉴들을 찾아볼 수 있는 메뉴 화면 전환키(434, 436)들을 선택할 수 있다. 그리고 사용자는 디스플레이 화면 우측에서, 상하좌우로 방향을 선택할 수 있는 커서키(438), 그리고 사용자의 선택을 재확인하는 확인키(404)와 사용자의 선택을 취소할 수 있는 취소키(406)등을 선택할 수 있다.

여기서 스위칭 옵션키(428)는 상술한 바와 같이 사용자가 오른 손으로 키 맵(310)의 키들을 선택하고 싶은 경우 또는 사용자가 왼쪽에서 미리보기창(412)의 미리보기 내용을 확인하기 편한 경우 스위칭 옵션에서 좌우측의 화면을 스위칭하기 위한 것이다. 이는 제어부(200)가 사용자에 의해 스위칭 옵션키(428)가 선택된 경우 마이크로 디스플레이(236)에서 디스플레이되는 화면 좌측의 정보들과 화면 우측의 정보들을 서로 스위칭하여 디스플레이함으로써 가능하다. 또한 사용자가 감지 거리 조절 메뉴키(426)를 선택하였을 경우에 사용자는 검출신호 발신부(218)에서 발신되는 적외선 신호를 감지하는 감지 거리를 검출신호 감지부(222)의 반사 신호 감지부(232)에 설정할 수 있다. 이는 사용자가 좁은 공간 등의 이유로 인해 가상화면에서 원활하게 키를 선택하지 못할 경우, 또는 기상 악화 등의 이유로 인해 적외선의 감지 감도가 낮아진 경우, 검출신호 감지부(222)에서 감지할 수 있는 적외선의 유효 감지 거리를 사용자가 직접 조절할 수 있도록 하기 위한 메뉴이다. 예를 들어 사용자가 마음대로 움직일 수 있는 충분한 공간이 있을 때 사용자는 감지 거리값을 70cm로 설정하여 팔 전체를 이용하여 원하는 키를 선택할 수 있다. 그러나 만약 사용자가 사람이 붐비는 지하철과 같은 충분한 공간이 없는 경우에는 감지 거리값을 20cm 정도로 짧게 설정하여 사용자의 손가락만으로도 원하는 키를 선택할 수 있게끔 설정할 수 있다. 즉, 사용자가 사용할 수 있는 공간의 크기에 맞게 사용자가 원하는 감지 거리를 설정할 수도 있으며, 또한 안개가 몹시 자욱하게 낀 경우, 적외선은 영향을 많이 받게 되므로 이러한 경우에 검출신호 감지부(222)에서 사용자의 키 입력을 감지할 수 있는 감도를 높이기 위해 감지 거리를 설정할 수도 있다. 이러한 경우 사용자가 직접 감지 거리값을 입력하여 감지 거리를 조절할 수도 있으며, 각각의 상황에 따라 실험을 통해 최적화된 감지 거리값을 선택할 수도 있다. 예를 들어 지하철에서 본 발명의 실시 예에 따른 이동통신 단말기를 사용하기 위한 감지 거리의 최적값이 20cm라면, 이러한 실험을 통해 설정된 감지 거리의 최적값이 미리 정해진 메뉴 '지하철 안'등의 항목을 사용자가 선택함으로써 자동으로 감지 거리가 20cm로 조절되게끔 할 수도 있다.

또한 도 4b에서 보이고 있는 키 맵 설정키(430)는 사용자가 편의에 따라 디스플레이되는 키 맵을 선택할 수 있도록 하는 메뉴키이다. 이는 사용자가 자신이 사용하기에 편리한 키 맵을 선택할 수 있도록 함으로써 사용자 인터페이스를 향상시키기 위한 것이다. 일반적으로 키 맵은 이동통신 단말기의 제조사 별로 다르며 하기한 표 1과 표 2와 같이 상당한 차이가 있다. 이러한 키 맵의 예를 하기 표 1, 2를 참조하여 살펴보기로 한다.

1 ㅣ	2 ·	3 ㅡ
4 ㄱ ㅋ	5 ㄴ	6 ㄷ
7 ㅂ	8 ㅅ	9 ㅈ
	0 ㅇ ㅁ

1 ㄱ	2 ㄴ	3 ㅏ ㅓ
4 ㄹ	5 ㅁ	6 ㅗ ㅜ
7 ㅅ	8 ㅇ	9 ㅣ
	0 ㅡ

상기한 표 1과 표 2는 각기 다른 이동통신 단말기의 제조사별로 사용되고 있는 키 맵을 보이고 있는 것이다. 상기한 표 1은 삼성 전자에서 출시되는 이동통신 단말기에서 사용되는 키 맵이며, 상기한 표 2는 LG 전자에서 출시되는 이동통신 단말기에서 사용되는 키 맵이다. 상기한 표 1과 표 2를 서로 비교하여 보면 양 키 맵간에 상당한 차이가 있는 것을 알 수 있다. 이에 따라서 LG 전자에서 출시되는 이동통신 단말기를 사용하던 사용자들은 그러한 키 맵의 차이로 인해 삼성 전자에서 출시되는 이동통신 단말기를 사용하기에 상당한 어려움을 느낀다. 이는 그 반대의 경우도 마찬가지이다. 따라서 본 발명에서는 사용자의 편리성을 최대한 증대시키기 위해 각 제조사별로 사용되는 키 맵에 대한 정보를 키 정보 저장부(230)에 저장하여 두고 사용자의 선택에 따라 사용자에게 익숙한 이동통신 단말기 제조사의 키 맵이 설정될 수 있도록 하여 사용자가 자신에게 편리한 키 맵을 선택할 수 있도록 한다.

도 5는 상술한 본 발명의 실시 예에 따른 이동통신 단말기가 사용자의 움직임을 키 입력으로 받아들이는 과정에 대한 흐름으로 보이고 있는 도면이다. 도 5를 참조하여 살펴보면 500단계에서 사용자가 가상화면 모드를 온 시킬 경우, 제어부(200)는 502단계로 진행하여 메모리부(202)로부터 사용자가 설정한 가상화면에 대한 정보를 로드한다. 여기서 가상화면 모드 온이라는 것은 사용자가 이동통신 단말기를 사용하기 위한 파워 스위치를 온 시키는 경우를 예로 들 수 있다. 또한 여기서 가상화면에 대한 정보라는 것은 도 4b에서 보였던 감지 거리, 그리고 사용자가 설정한 스위칭 옵션에 대한 정보와 키 맵에 대한 정보를 포함한다. 그리고 502단계에서 가상화면에 대한 정보가 로드되면 제어부(200)는 504단계에서 상기 가상화면 정보에 따른 화면을 표시부(206)에 마이크로 디스플레이(236)을 통해 디스플레이한다. 그리고 제어부(200)는 506단계로 진행하여 사용자가 감지 거리 조절을 선택하였는지를 확인한다. 이 506단계에서 만약사용자가 감지 거리 조절을 선택하였다면 제어부(200)는 508단계로 진행하여 상술한 바와 같이 사용자에 의해 설정된 감지 거리를 검출신호 감지부(222)에 입력하여 감지 거리를 조절한다. 그리고 510단계로 진행하여 사용자의 움직임을 검출하기 위한 검출신호를 발신한다.

그러나 만약 506단계에서 사용자가 감지 거리 조절을 선택하지 않았다면 제어부(200)는 바로 510단계로 진행하여 검출신호를 발신한다. 그리고 512단계로 진행하여 사용자의 신체에 의해 반사된 검출신호가 감지되었는지를 체크한다. 이 경우 감지 거리는 이전에 사용자가 설정한 감지 거리가 있을 경우에는 그 기설정된 감지 거리값을 이용하고, 만약 사용자가 따로 감지 거리를 설정하지 않았을 경우에는 디폴트(Default)로 설정되어 있는 감지 거리값을 이용하도록 한다. 그리고 만약 512단계에서 반사된 검출신호가 감지되었다면 514단계로 진행하여 사용자의 움직임 에 따라 감지된 따른 키를 인식한다. 그리고 키가 인식되면 516단계로 진행하여 사용자가 선택한 키 값을 입력받는다. 여기서 상기한 514단계의 감지된 신호에 따른 키 인식 과정은 도 6을 참조하여 자세히 설명하기로 한다. 또한 사용자의 움직임에 따라 인식된 키 값을 선택하는 과정은 도 8을 참조하여 자세히 설명하기로 한다.

한편 만약 512단계에서 상기 510단계에서 발신된 검출신호의 반사 신호가 감지되지 않았다면 제어부(200)는 518단계로 진행하여 사용자가 가상화면 모드의 오프를 선택하였는지를 확인한다. 그리고 사용자가 가상화면 모드의 오프를 선택하였다면 현재 가상화면 모드를 종료한다. 그러나 이와는 달리 사용자가 만약 가상화면 모드의 오프를 선택하지 않았다면 제어부(200)는 다시 512단계로 진행하여 사용자의 움직임에 따라 사용자의 신체에 반사된 검출신호가 감지되었는가를 체크하여, 사용자가 다시 키를 입력하였는지를 확인한다.

도 6은 상기한 도 5에서 감지된 신호에 따른 키 인식 단계의 상세한 과정을 보이고 있는 흐름도이다. 도 6을 참조하여 살펴보면 감지된 신호에 다른 키 인식 단계가 시작되면 제어부(200)는 600단계로 진행하여 감지 카메라(234)로부터 입력되는 이미지들 중에서 움직임이 감지된 부분들만을 화상 정보로 추출한다. 이러한 화상 정보들을 예로 들어보면 도 4a와 도 4b에서 보이고 있는 사용자의 손(420)과 자전거를 탄 사람(421)을 예로 들 수 있다. 둘 다 움직이는 이미지이므로 감지 카메라(234)는 이들 둘 다를 화상 정보로서 인식하게 되고, 화상 정보가 있음을 제어부(200)에 알리게 된다. 그러면 제어부(200)는 602단계로 진행하여 상기 600단계에서 추출된 화상 정보들 중에서 검출 신호 발신부(218)로부터 발신된 적외선 신호가 감지되는 화상 정보들이 있는지를 체크하고, 적외선 신호가 감지된 화상 정보만을 사용자의 움직임으로 인식한다. 이는 사용자의 움직임을 검출할 수 있는 검출신호인 적외선 신호를 검출 신호 발신부(218)에서 발신하고, 감지 거리 내에서 사용자의 신체에서 반사된 적외선을 반사 신호 감지부(232)에서 감지함으로서 이루어진다. 따라서 비록 같은 화상 정보일지라도 자전거를 탄 사람(421)의 화상 정보는 사용자의 움직임으로 인식되지 않게 된다. 이렇게 감지 카메라(234)에서 추출된 화상 정보들 중에서 사용자의 움직임만을 추출하게 되면 제어부(200)는 604단계로 진행하여 인식부(220)를 통해 사용자의 움직임을 키 입력으로 인식하게 된다. 604단계에서는 추출된 사용자의 손의 움직임을 시작점과 끝점으로 인식하게 되는데, 여기서 시작점이라는 것은 상기 604단계에서 키 입력으로 인식된 사용자의 움직임에서 마이크로 디스플레이(236)를 통해 디스플레이된 화면 바깥과 내부의 경계와 교차되는 부분을 말하며, 끝점이라는 것은 상기한 시작점으로부터 거리가 가장 먼 점을 끝점으로 인식한다. 즉, 사용자가 팔을 뻗어 가상 화면으로 디스플레이된 키 들중 어느 하나를 선택한 경우, 사용자의 손끝은 디스플레이되는 화면 내의 어느 한 점을 가리키게 되지만 사용자의 어깨서부터 이어지는 부분은 디스플레이되는 화면 외부에서 화면 내부로 연결되게 된다. 이 경우 화상 정보로 인식된 그 사용자의 손끝에서부터 화면 외부로 연결된 사용자의 팔 중에서, 화면 내외부의 경계선과 교차하는 점을 시작점으로 인식하고, 그 점을 중심으로 사용자의 팔이 감지된 화상 정보들 내에서 가장 거리가 멀게 떨어진 점을 끝점으로 인식한다. 그 이유는 사용자가 손을 뻗어 어느 한 키를 선택한 경우, 상기한 시작점에서 사용자의 손끝에 해당하 는 점이 가장 멀 수밖에 없기 때문이다. 이에 따라서 제어부(200)는 상기한 사용자의 움직임이 감지된 화상 정보로부터 사용자가 가리키는 끝점을 인식하고 이를 사용자의 키 입력으로 인식한다. 이러한 시작점과 끝점의 인식에 따른 키 입력은 도 7에서 예를 보여 자세히 살펴보기로 한다. 그리고 상기한 604단계에서 시작점과 끝점이 인식되면 제어부(200)는 606단계로 진행하여 감지된 화상 정보의 끝점에 대응하는 키 맵의 키 값을 로드한다. 그리고 608단계로 진행하여 상기 604단계에서 로드한 키 값을 사용자의 움직임에 따라 감지된 키 값임을 인식한다.

도 7의 (a), (b), (c), (d), (e)는 상기 도 6의 604단계와 606단계에서 시작점과 끝점을 인식하고 이에 따른 키를 입력받는 과정에 대한 예를 보이고 있는 도면이다. 우선 도 7의 (a)는 사용자의 손이 어느 하나의 키만을 선택하고 제어부(200)에서도 어느 하나의 키만을 감지하고 있는 경우이다. 이를 살펴보면 사용자의 손끝은 키 '0'을 가리키고 있으며 사용자의 팔은 화면 외부로부터 키 '0'을 향해 뻗어있게 된다. 이를 화살표로 나타내면 화살표의 화면 외부의 한 점에서 시작된 화살표는 시작되고 화살 모양의 머리 부분이 키 '0'을 가리키고 있다. 이 경우 제어부(200)는 화면 외부의, 즉 키 맵 외부의 화살표의 시작점을 '시작점'이라고 하고, 화살 모양의 머리 부분을 '끝점'으로 인식한다. 이에 따라 제어부(200)는 '끝점'인 '0'키만을 사용자의 키 입력으로 인식한다.

도 7 (b)는 사용자의 팔에 의해 '*'키와 '7'키가 둘 다 감지된 경우이다. 이러한 경우 비록 감지되는 키는 '*'키와 '7'키이지만 상기한 제어부(200)는 사용자의 손끝이 가리키고 있는 '끝점'에 해당되는 '7'키만을 사용자의 키 입력으로 인식 한다. 이러한 것은 도 7의 (c), (d), (e)와 같이 사용자의 움직임에 의해 사용자가 의도한 키를 포함한 다른 키들까지 인식되는 경우에도 마찬가지로 적용된다. 도 7의 (c)는 비록 키 3개가 동시에 감지되었지만 감지된 키들 중에서 사용자의 손끝에 해당하는 '끝점'이 가리키고 있는 '8'키만을 입력으로 인식하고, 도 7의 (d)의 경우에는 가로 방향의 두개 키가 동시에 감지되었으나, 이 역시 사용자의 손끝에 해당되는 '끝점'이 가리키고 있는 '0'키만을 키 입력으로 인식한다. 그리고 도 7의 (e)의 경우에는 비록 4개의 키가 동시에 감지되었으나 이 역시 사용자의 손끝에 해당되는 '끝점'이 가리키고 있는 '2'키만을 키 입력으로 인식한다.

이렇게 사용자가 선택한 키가 인식되면, 제어부(200)는 해당키를 키 입력으로 인식 받는다. 그러나 상기 인식된 키가 단지 하나의 숫자 또는 문자에만 대응되는 것은 아니다. 물론 본 발명의 실시 예와 같은 경우 문자 선택을 위한 키 맵을 따로 구비하고 이를 로드하던지, 아니면 숫자키만이 따로 설정되어 있는 키 맵을 구비하고 이를 로드함으로써 하나의 키에 단지 하나의 키 입력을 설정하여 둘 수도 있다. 그러나 문자의 경우 각각의 문자마다 하나씩의 키가 대응되게 설정한다면 그에 대응되는 다수의 키를 더 구비하여야 하므로 키 맵이 너무 복잡해지게 된다. 따라서 하나의 문자키에 복수 개의 문자가 대응되도록 설정하는 것이 일반적인데, 이는 본 발명의 실시 에에서도 유사하게 적용된다.

도 8은 이러한 적어도 하나 이상의 문자가 하나의 문자키에 해당되는 문자키에서, 상기한 도 7에서 보인 바와 같이 인식된 키를 사용자의 선택에 따라 입력하는 과정을 보이고 있으며, 도 5의 516단계의 상세한 흐름을 보이고 있는 도면이다. 도 8을 참조하여 살펴보면, 상기한 514단계에서 사용자에 의해 어느 하나의 키가 선택되면 제어부(200)는 800단계로 진행하여 상기 선택된 키에 설정되어 있던 다수의 키 값들을 로드한다. 그리고 802단계로 진행하여 상기 인식된 키가 단순히 숫자들로만 구성되어 있는 키 맵에서 인식된 키인지를 확인한다. 그리고 만약 숫자들로만 구성된 키 맵의 키일 경우에는 810단계로 진행하여 해당 숫자값을 사용자가 선택한 키 값으로 인식하고 812단계로 진행하여 그 키를 사용자가 선택한 키 값으로 입력받는다. 그러나 인식된 키가 상기한 802단계에서 숫자키로만 구성된 키 맵의 키가 아닐 경우에는 804단계로 진행하여 사용자로부터 문자 선택키가 입력되었는지를 체크한다. 그리고 만약 804단계에서 사용자로부터 문자 선택키가 입력된 경우에는 806단계로 진행하여 상기 800단계에서 로드한 값들 중에서 사용자가 입력한 문자 선택키에 대응되는 키 값을 선택한다. 그리고 812단계로 진행하여 선택된 키 값을 사용자가 선택한 키 값으로 인식하고 이를 입력받는다. 한편 상기한 804단계에서 만약 사용자가 문자 선택키를 입력하지 않은 경우라면 제어부(200)는 상기 800단계에서 로드된 키 값들 중에서 디폴트로 설정되어 있는 키 값을 사용자가 선택한 키 값으로 선택한다. 그리고 812단계로 진행하여 선택된 값을 입력받는다.

도 9는 상술한 도 8에서 보인 문자 선택 과정을 보이는 예를 보이고 있는 도면이다. 도 9의 (a)는 사용자가 키 맵에서 어느 하나의 키를 선택한 경우를 보이고 있으며, 도 9의 (b)는 사용자가 선택한 키 맵의 문자중 어느 하나를 선택하는 과정을 보이고 있는 도면이다. 도 9의 (a)와 (b)를 참조하여 살펴보면, 도 9의 (a)에서 사용자가 선택한 키에는 'G', 'H', 'I'의 3가지 문자가 선택되어 있음을 알 수 있 다. 그리고 미리보기창(412)에는, 아직 사용자가 문자 선택키(414, 416, 418)들 중에서 어느 하나도 선택하지 않음에 따라 상기 사용자가 선택한 키 중에서 디폴트로 설정되어 있는 문자 'G'가 선택되었음을 보이고 있다.

도 9의 (b)는 상기 도 9의 (a)의 상태에서 사용자가 '우' 문자 선택키(418)를 선택한 경우의 예를 보이고 있는 도면이다. 키 맵의 어느 한 키에 설정되어 있는 문자들은 문자 선택키(414, 416, 418)들과 각각 대응된다. 이에 따라서 도 9의 (b)는 사용자가 '우' 문자 선택키(418)를 입력하였을 경우 이에 대응하는 문자 'I'가 선택되었음을 보이고 있다. 따라서 본 발명의 실시 예에 따른 이동통신 단말기의 문자 입력 방법에서는 사용자가 자신의 양손을 모두 사용하여 자신이 원하는 문자를 입력한다. 따라서 이러한 본 발명의 실시 예에 따른 문자 입력 방법을 이용하면 통상적인 이동통신 단말기에서보다 훨씬 더 빠른 속도로 자신이 원하는 문자를 입력할 수 있다. 하기 표 3을 참조하여 본 발명의 실시 예에 따른 이동통신 단말기의 문자 키 매핑의 예를 살펴보기로 한다.

버튼 번호	좌	중	우
1	·	Q	Z
2	A	B	C
3	D	E	F
4	G	H	I
5	J	K	L
6	M	N	O
7	P	R	S
8	T	U	V
9	W	X	Y
0

버튼 번호	좌	중	우
1	1	ㅣ	ㅣ
2	2	·	·
3	3	ㅡ	ㅡ
4	4	ㅁ	ㅋ
5	5	ㅣ	ㄹ
6	6	ㄷ	ㅌ
7	7	ㅂ	ㅍ
8	8	ㅅ	ㅎ
9	9	ㅈ	ㅊ
0	0	ㅇ	ㅁ

표 3의 (a)와 (b)는 삼성 전자에서 제조된 이동통신 단말기에서 사용되는 '천지인' 키 맵에 따라 키 들이 설정되어 있는 예를 보이고 있다. 이러한 경우 예를 들어 문자 'S'를 사용자가 입력할 경우에는 통상적인 이동통신 단말기에서는 '7'번 키를 연속 3회 눌러야 하지만 본 발명의 실시 예에 따른 이동통신 단말기에서는 양손을 이용한 동시 동작으로서 한번에 문자 'S'를 선택하는 것이 가능하다. 그러므로 문자키 조합 방법에 따라 일일이 문자키를 순서에 따라 여러번 입력하지 않아도 되며, 디스플레이되는 문자를 사용자의 육안으로 직접 확인하여 바로 입력하면 된다.

또한 통상적인 이동통신 단말기는 그 휴대성 증대를 위하여 소형화되어 있는 상태이기 때문에 노약자나 눈이 좋지 않은 사용자의 경우에는 이를 사용하기가 무척 불편한 것이 사실이었다. 그러나 본 발명의 실시 예에 따른 이동통신 단말기는 가상 화면을 사용함으로써 기존의 물리적인 키패드 보다 훨씬 넓은 키 맵 화면을 사용자에게 제공할 수 있으며, 가상 화면으로 디스플레이되는 키의 그저 손을 가리키기만 하면 되므로 특별한 문자 조합 방법을 일일이 외울 필요도 없고 작은 문자 선택키를 확인해 가며 키를 입력할 필요도 없다. 그러므로 상기한 노약자나 눈이 좋지 않은 사용자들도 쉽고 편리하게 사용하는 것이 가능하다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 이동통신 단말기를 예로 들어 설명하였으나 이는 단지 설명의 편의를 돕기 위한 예로 든 것으로서, 본 발명은 이동통신 단말기 뿐 아니라 모든 휴대용 정보 단말기에 사용될 수 있다. 또한 본 발명의 실시 예에서는 고글 형태를 그 예로 들었으나 본 발명은 이러한 형태에 국한되는 것인 아니라, 본 발명의 실시 예에 따른 제어부 또는 메모리부등의 구성 요소가 충분히 작아질 경우 고글 형태가 아닌 일반 안경과 같은 형태에도 적용가능함은 당연하다. 또한 상술하였던 바와 같이 외부 인터페이스부를 통해 확장 메모리나 배터리 등을 장착함으로써 그 성능을 더욱 향상시킬 수도 있음은 물론이다. 즉, MP3 곡등이 들어 있는 메모리 팩을 이 외부 인터페이스부에 연결하여 사용자가 본 발명의 실시 예에 따른 정보 단말기에서 사용자가 MP3를 감상할 수도 있다. 그리고 이 외부 인터페이스를 노트북 PC(Personal Computer), POST PC등과 연결하여 마이크로 디스플레이에서 디스플레 이되는 키들 중 사용자의 움직임에 따라서 선택되는 키 입력을 입력하도록 할 수도 있음은 물론이다. 따라서 발명의 범위는 설명된 실시 예에 의해 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정하여져야 한다.

상술한 바와 같이 본 발명은, 마이크로 디스플레이를 구비한 표시부를 통하여 키 맵과 미리보기창이 포함된 가상 화면을 디스플레이 화면으로서 사용자에게 제공하고, 검출신호 발신부, 검출신호 감지부, 인식부를 구비하고 검출 신호 발신부에서 발신된 신호를 검출신호 감지부에서 감지하고 이를 인식부에서 인식하도록 함으로써, 사용자가 별도의 HMD 입력 장치 없이도 사용자의 움직임을 이동통신 단말기에서 인식할 수 있도록 한다. 이에 따라 사용자는 별도의 입력 장치 없이 단지 손의 움직임만으로 정보 단말기에 자신이 원하는 키를 입력할 수 있으며, 따라서 정보 단말기의 휴대성을 더욱 증대시킬 수 있다.

Claims

HMD(Head Mounted Display)가 구비된 HMD 정보 단말기에서 키를 입력하기 위한 장치에 있어서,

가상 화면을 표시하는 마이크로 디스플레이와,

상기 마이크로 디스플레이가 표시하는 가상 화면의 키 맵 정보를 저장하고 있는 키 정보 저장부와,

사용자가 설정한 감지 거리 내에서 사용자의 움직임을 식별하기 위한 검출 신호를 발신하는 검출 신호 발신부와,

상기 사용자의 신체에 반사된, 상기 검출 신호를 감지하는 반사 신호 감지부가 구비된 검출 신호 감지부와,

상기 반사된 검출 신호에 따라 사용자의 움직임을 인식하고, 그 움직임에 따른 키 정보를 인식하는 인식부와,

상기 키 맵 정보를 디스플레이하고, 상기 검출 신호로 사용자의 움직임을 감지하며, 상기 감지된 사용자의 움직임을 특정 키 입력으로 인식하는 제어부를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
제1항에 있어서, 상기 마이크로 디스플레이는,

상기 마이크로 디스플레이 화면의 좌,우측 메뉴가 서로 스위칭(Switching)하여 왼손과 오른손의 기능을 서로 전환할 수 있도록 하는 화면을 디스플레이하는 기능을 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
제1항에 있어서, 키 정보 저장부는,

이동통신 단말기 제조사들마다 각기 다른 키 입력 방식에 따른 키 맵 정보를 적어도 하나 이상 저장하고 있는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
제1항에 있어서, 상기 검출 신호 발신부는,

상기 검출 신호로서 적외선 신호를 이용하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
제1항에 있어서, 상기 검출 신호 감지부는,

상기 사용자로부터 사용 환경에 적합하도록 유효 감지 거리 설정을 변경하여 정해진 범위 내에서만 반사된 검출 신호를 감지하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
제1항에 있어서,

외부로부터 확장 메모리 또는 확장 배터리 중 어느 하나와 연결될 수 있는 외부 인터페이스부를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
제6항에 있어서, 상기 외부 인터페이스부는,

노트북 PC(Personal Computer) 또는 POST PC(Personal Computer)에 연결되어 상기 마이크로 디스플레이와 상기 검출 신호 감지부를 통해 입력되는 사용자의 움직임에 따른 키 입력을 입력할 수도 있음을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 장치.
HMD(Head Mounted Display)가 구비된 HMD 정보 단말기에서 키를 입력하기 위한 방법에 있어서,

가상 화면 정보를 로드하는 가상 화면 로드 단계와,

상기 로드된 가상 화면 정보에 따른 가상 화면을 디스플레이하는 가상 화면 디스플레이 단계와,

사용자의 움직임을 검출하기 위한 검출 신호를 발신하는 검출 신호 발신 단계와,

사용자가 상기 검출신호의 감지 거리를 조절할 수 있는 감지 거리 조절 단계와,

상기 사용자의 신체에 반사된 상기 검출 신호를 감지하고 이에 따른 키를 인식하는 키 인식 단계와,

상기 키가 인식되면, 그 키에 따른 키 값을 입력받는 키 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.
제8항에 있어서, 상기 가상 화면 정보는,

상기 사용자의 선택에 따라 화면의 우측에 디스플레이할 내용과 화면의 좌측에 디스플레이할 내용에 대한 정보가 스위칭(Switching) 되었는지에 대한 화면 스위칭 정보와, 사용자가 설정한 키 맵 정보를 포함하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.
제8항에 있어서, 상기 감지 거리 조절 단계는,

상기 사용자로부터 유효 감지 거리 설정값을 입력받는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.
제8항에 있어서, 상기 감지 거리 조절 단계는,

상기 사용자로부터 환경에 따라 미리 정해진 메뉴 항목들 중 하나가 선택되면, 상기 감지 거리가 상기 선택된 메뉴 항목의 최적화된 감지 거리값으로 자동 조절되는 단계인 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.
제8항에 있어서, 상기 키 인식 단계는,

상기 HMD 정보 단말기의 감지 카메라에 입력된 이미지중에서 움직임이 있는 부분들을 화상 정보로 추출하는 화상 정보 추출 단계와,

추출된 화상 정보들 중에서 상기 반사된 검출 신호가 감지된 화상 정보를 사용자의 움직임에 따른 사용자 화상 정보로 선택하는 화상 정보 선택 단계와,

상기 사용자 화상 정보를 분석하여, 현재 디스플레이된 화면 외부와 화면 내부의 경계와 상기 사용자 화상 정보가 교차하는 점을 사용자 화상 정보의 시작점으로 인식하고, 상기 사용자 화상 정보에 포함되는 범위 안에서 상기 시작점에서 가장 거리가 멀리 떨어진 점을 끝점으로 인식하는 사용자 움직임 인식 단계와,

상기 끝점에 대응하는 키 정보를 상기 가상 화면 정보로부터 로드하는 키 정보 로드 단계와,

상기 로드된 키 정보를 상기 사용자의 움직임에 따른 화상 정보에 의해 선택된 값으로 인식하는 키 선택 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.
제8항에 있어서, 상기 키 입력 단계는,

상기 키 인식 단계에서 선택된 키에 해당되는 적어도 하나 이상의 키 값들을 로드하는 키 로드 단계와,

상기 키 값들 중 어느 하나를 선택하기 위한 문자 선택키가 상기 사용자로부터 입력되었는지 체크하는 문자 선택키 체크 단계와,

상기 문자 선택키가 입력되었으면 입력된 상기 문자 선택키에 따른 키 값을 선택하는 문자 선택 단계와,

상기 선택된 문자 선택키에 따른 키 값을 상기 사용자가 선택한 키 입력으로서 입력받는 문자 입력 단계를 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.
제13항에 있어서, 상기 문자 선택 단계는,

상기 사용자로부터 문자 선택키 입력이 없었을 경우에는 디폴트(Default)로 설정되어 있는 키 값을 선택하는 디폴트 문자 선택 단계를 더 구비하는 것을 특징으로 하는 HMD 정보 단말기에서 키를 입력하는 방법.