KR101196760B1 - 제스처 인식을 이용한 단말기 제어 방법 및 그 단말기 - Google Patents

Abstract

본 발명은 단말기에 대한 직접적인 접촉 없이 단말기를 제어할 수 있는 제스처 인식을 이용한 단말기의 제어 방법 및 그 단말기에 관한 것이다. 본 발명에 따르면, 단말기는 외부 화면을 투영할 공간을 촬영하여 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정한다. 그리고, 상기 기준 색상으로 외부 화면을 단말기의 외부로 투영한다. 이후, 상기 투영한 외부 화면에 대한 사용자의 터치를 감지하여, 상기 사용자의 터치를 감지하면, 상기 터치 위치에 대응하는 명령을 실행한다.

Description

제스처 인식을 이용한 단말기 제어 방법 및 그 단말기{Method for controlling terminal using gesture recognition and terminal using the same}

본 발명은 제스처 인식을 이용한 단말기 제어 방법 및 그 단말기에 관한 것으로서, 더욱 상세하게는 단말기의 제어를 위한 화면을 단말기의 외부로 투영하고, 상기 외부로 투영된 화면에 대한 사용자의 터치를 인식하여 단말기를 제어하는 제스처 인식을 이용한 단말기 제어 방법 및 그 단말기에 관한 것이다.

최근 정보 통신 기술이 급속히 발전하면서, 원격지의 상대방과 무선으로 통화할 수 있는 이동 통신 단말, PDA(Portable Data Assistant), PMP(Portable Multimedia Player) 등과 같이 사용자가 휴대하면서 사용할 수 있는 다양한 종류의 휴대 단말기가 대중적으로 보급되고 있다.

이 중에서도 특히 이동 통신 단말은, 장소 및 시간에 관계없이 통화 서비스를 제공한다는 장점에 힘입어 남녀 노소를 불문하고 사용하고, 생활 필수품으로 자리 잡아 가고 있으며, 이동통신망이 발달하고, 무선 콘텐츠가 증가하고, 프로세서 및 메모리 기술이 비약적으로 발전하면서 노트북과 개인용 컴퓨터 장치와 그 기능상의 경쟁을 벌이는 시대에 이르게 되었다.

한편, 이동 통신 단말기를 포함하는 기존의 단말기에서의 제어 방법은, 통상적으로, 키패드, 터치 스크린 등과 같은 입력 수단을 사용자가 조작하는 방식으로 이루어지고 있는데, 이러한 방식은, 휴대 단말기의 특성상, 제한된 크기의 키패드나 터치 스크린 내에서 휴대 단말기에서 요구되는 수많은 제어 명령을 설정하여야 하기 때문에, 고 기능화된 휴대 단말기의 요구를 모두 수용하는데 많은 어려움이 있다.

또한, 기존의 단말기 제어 방법에 따르면, 사용자가 휴대 단말기를 손에 쥐고 있는 상태에서 키패드나 터치 스크린을 조작하여야 하며, 사용자의 손에서 떨어져 있는 경우, 휴대 단말기 조작이 불가능하다는 문제점이 있다.

따라서, 단말기의 고기능화 및 고성능화 추세에 맞추어, 단말기의 다양한 기능을 효과적으로 제어할 수 있고, 휴대 단말기에 직접 접촉하지 않고도 단말기를 제어할 수 있는 새로운 방법이 요구된다.

이에, 본 발명은 단말기의 변화 추세에 맞추어 단말기를 보다 효과적으로 조작할 수 있도록, 단말기의 제어를 위한 화면을 단말기의 외부로 투영하고, 상기 외부로 투영된 화면에 대한 사용자의 제스처를 인식하여 단말기를 제어하는 제스처 인식을 이용한 단말기 제어 방법 및 그 단말기를 제공하고자 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명은, 프로젝터, 제스처 검출부, 카메라, 및 제어부를 포함하는 단말기를 제공한다.

상기 프로젝터는 단말기의 제어를 위한 외부 화면을 단말기의 외부 공간에 투영한다. 상기 제스처 검출부는 상기 프로젝터에 의해 투영된 외부 화면에 대한 사용자의 터치 및 터치 위치를 검출한다. 상기 카메라는 상기 외부 화면이 투영될 공간을 촬영한다. 상기 제어부는 상기 단말기의 제어를 위한 외부 화면을 프로젝터에 제공하고, 상기 카메라의 촬영 영상으로부터 외부 화면의 배경 색상을 검출하여, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 제어하고, 상기 외부 화면의 투영 이후에 상기 제스처 검출부에서 사용자의 터치가 검출되면, 터치 위치에 대응하는 명령을 실행한다.

본 발명에 따른 단말기에 있어서, 상기 프로젝터는 외장형으로 구현되며, 상기 단말기의 제어부와 입출력 인터페이스를 통해 연결될 수 있다.

본 발명에 따른 단말기에 있어서, 상기 제스처 검출부는, 적외선 위치 센서, 초음파 위치 센서, RF 위치 센서, 및 카메라 중에서 어느 하나를 이용하여 구현될 수 있다.

본 발명에 따른 단말기에 있어서, 상기 제스처 검출부가 카메라를 이용하여 구현되는 경우, 상기 제스처 검출부는 상기 외부 화면이 투영될 위치를 촬영하는 카메라와 일체로 구현될 수 있다.

본 발명에 따른 단말기에 있어서, 상기 제어부는, 상기 제스처 검출부가 카메라로 구현되는 경우, 상기 외부 화면을 촬영한 영상의 픽셀 변화로부터 사용자의 터치 및 터치 위치를 인식한다.

본 발명에 따른 단말기에 있어서, 상기 외부 화면은, 상기 단말기에서 현재 실행중인 기능에 대한 하나의 사용자 인터페이스 화면이거나, 상기 단말기에서 멀티 태스킹에 의해 실행되는 복수의 기능에 대한 복수의 사용자 인터페이스 화면의 집합일 수 있다.

본 발명에 따른 단말기에 있어서, 상기 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 상기 제어부가 상기 복수의 사용자 인터페이스 화면을 프로젝션의 시간 별로, 서로 다른 공간으로 투영하도록 상기 프로젝터를 제어하거나, 상기 프로젝터가, 서로 다른 방향으로 투영하는 복수의 프로젝션 파트로 이루어져, 상기 복수의 프로젝션 파트가 상기 복수의 사용자 인터페이스 화면을 각각 동시에 투영하도록 구현될 수 있다.

본 발명에 따른 단말기는, 상기 외부 화면의 터치 위치 별로 설정된 명령을 저장하고, 상기 터치 위치에 대응하는 명령을 상기 제어부로 제공하는 저장부를 더 포함할 수 있다.

상기 과제를 해결하기 위한 다른 수단으로서, 본 발명은, 단말기를 제어할 외부 화면을 투영할 공간을 촬영하여 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정하는 단계; 상기 기준 색상으로 구현된 외부 화면을 단말기의 외부 공간에 투영하는 단계; 상기 투영한 외부 화면에 대한 사용자의 터치를 감지하는 단계; 및 상기 사용자의 터치를 감지하면, 터치 위치에 대응하는 명령을 실행하는 단계를 포함하는 제스처 인식을 이용한 단말기의 제어 방법을 제공한다.

본 발명에 의한 제스처 인식을 이용한 단말기의 제어 방법에 있어서, 상기 사용자의 터치를 감지하는 단계는, 적외선 위치 센서 또는 초음파 위치 센서 또는 RF 위치 센서를 통해 상기 화면에 대한 사용자의 위치를 감지하거나, 상기 투영된 외부 화면을 카메라로 촬영하고, 상기 촬영된 영상에서의 픽셀변화를 통해 사용자의 터치를 감지한다.

본 발명에 의한 제스처 인식을 이용한 단말기의 제어 방법에 있어서, 상기 외부 화면은, 상기 단말기에서 현재 실행중인 기능에 대한 하나의 사용자 인터페이스 화면이거나, 상기 단말기에서 멀티 태스킹에 의해 동시에 실행되는 복수의 기능에 대한 복수의 사용자 인터페이스 화면의 집합일 수 있다.

상기 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 상기 외부 화면을 투영하는 단계는, 상기 복수의 사용자 인터페이스 화면을 프로젝션 시간 별로, 서로 다른 방향으로 서로 다른 사용자 인터페이스 화면을 투영하거나, 복수의 프로젝션 파트를 통해, 상기 복수의 사용자 인터페이스 화면을 동시에 서로 다른 공간으로 투영하는 단계일 수 있다.

본 발명은 단말기에서 프로젝터를 통해 외부 화면을 투영하고, 상기 외부화면에 대한 사용자의 터치 위치에 대응하는 명령을 수행함으로써, 사용자가 단말기에 접촉하지 않은 상태에서 외부로 투영된 화면을 터치하는 동작을 통해 단말기를 조작할 수 있도록 한다.

또한, 본 발명은 외부 화면을 투영하는데 있어서, 배경 색상을 검출하여 배경 색상과 구분되도록 외부 화면의 기준 색상을 제어함으로써 사용자에게 보다 선명한 외부 화면을 제공할 수 있다.

또한, 본 발명은, 단말기에서 단일의 외부 화면을 투영함은 물론, 멀티 태스킹 제공 시, 멀티 태스킹에 의해 실행되는 복수의 기능에 대한 복수의 사용자 인터페이스 화면을 서로 다른 공간에 각각 투영하도록 함으로써, 사용자가 복수의 기능을 동시에 조작할 수 있도록 한다.

도 1a는 본 발명의 일 실시 예에 따른 단말기의 구성을 나타낸 블럭도이다.
도 1b는 본 발명의 다른 실시 예에 따른 단말기의 구성을 나타낸 블럭도이다.
도 2는 본 발명에 따른 단말기에 있어서, 제스처 검출부의 일 실시 예를 보인 도면이다.
도 3은 본 발명에 따른 단말기에 있어서, 제스처 검출부의 다른 실시 예를 보인 도면이다.
도 4는 본 발명의 제스처 인식에 따른 단말기의 제어 방법을 보인 순서도이다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 설명의 일관성을 위하여, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타낸다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1a 및 도 1b는 본 발명의 실시 예에 따른 단말기의 구성을 나타낸 블럭도이다.

상기 도 1a 및 도 1b를 참조하면, 본 발명에 따른 단말기(100)는, 프로젝터(110)와, 제스처 검출부(120)와, 제어부(130)와, 카메라(140)와, 저장부(150)를 포함한다.

상기 단말기(100)는, 사용자의 명령에 따라서 임의의 기능을 수행하고, 상기 수행 결과를 시각적으로 표시하는 사용자 장치이며, 사용자의 명령을 입력 받아 단말기(100)의 기능 수행을 제어하는 부분이 본 발명에 따라서 구현된다.

상기 프로젝터(110)는, 단말기(100)의 외부 공간에 단말기(100)의 제어를 위한 외부 화면을 투영한다. 상기 프로젝터(110)는 도 1a에 도시된 바와 같이, 단말기(100) 내부에 설치되는 내장형으로 구현될 수도 있고, 도 1b에 도시된 바와 같이, 단말기(100)의 외부에 위치하는 외장형으로 구현되어, 입출력 인터페이스(160)를 통해 단말기(100)의 제어부(130)와 연결되는 형태로 이용될 수 있다.

상기 프로젝터(110)에 의해 외부 공간에 투영되는 외부 화면은, 단말기(100)에서 실행되는 기능에 대한 사용자 인터페이스 화면으로서, 단일 사용자 인터페이스 화면일 수도 있고, 상기 단말기(100)가 멀티 태스킹을 지원하는 경우, 멀티 태스킹에 의해 동시에 구동되는 복수의 기능에 각각 대응하는 복수의 사용자 인터페이스 화면의 집합일 수 있다. 더하여, 상기 외부 화면은 단말기(100)의 동작 상태에 따라서 달라질 수 있다.

상기 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 복수의 사용자 인터페이스 화면을 동시에 투영하기 위하여, 본 발명의 일 실시 예에서는 상기 프로젝터(110)가 투영 방향을 조절할 수 있도록 구현되며, 상기 제어부(130)의 제어에 따라서, 프로젝션 시간 별로 프로젝션 방향이 조절되어, 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 동시에 투영하고, 본 발명의 다른 실시 예에서는 상기 프로젝터(110)가, 투영 방향이 다른 복수의 프로젝션 파트로 이루어져, 상기 복수의 프로젝션 파트를 통해 복수의 사용자 인터페이스 화면을 서로 다른 공간에 동시에 투영하도록 한다.

상기 제스처 검출부(120)는, 상기 프로젝터(110)에 의해 투영된 외부 화면에 대한 사용자의 특정 제스처, 더 구체적으로는 외부 화면에 대한 사용자의 터치 및 터치 위치를 검출한다. 더 구체적으로 설명하면, 상기 제스처 검출부(120)는 적외선 위치 센서, 초음파 위치 센서 및 RF(Radio Frequency) 위치 센서와 같은 위치 센서 또는 카메라를 이용한 영상 처리 기술로 구현될 수 있다.

도 2는 본 발명의 일 실시 예로서, 적외선 위치 센서를 이용하여 제스처 검출부를 구현한 예를 나타낸 도면이다.

도 2를 참조하면, 단말기(200)의 상단부에 프로젝터(210)가 설치되어 외부 공간으로 외부 화면(211)을 투영하는데, 이때, 투영 방향은 단말기(200)의 전면 하측을 향하도록 구현되어, 단말기(200)가 세워진 평면에 외부 화면(211)이 투영된다. 그리고, 제스처 검출부(220)는 투영된 외부 화면과 평행하게 적외선(IR: Infrared Light)을 조사하는 적외선 송신부(221)와, 상기 외부 화면에 사용자 접촉 시, 사용자의 손가락에 의해 반사되는 적외선을 수신하는 적외선 수신부(222)를 포함한다. 도 2에서 도시된 부호 221은 상기 투영된 외부 화면에 대한 적외선 수신부(222)의 스캔 범위를 나타낸다. 즉, 적외선을 외부 화면(211)에 근접하여 평행하게 조사하면, 외부 화면(211)의 특정 위치를 사용자가 터치할 경우, 상기 적외선이 사용자의 손가락에 의해 반사되는데, 이렇게 반사된 적외선 신호를 수신하여 분석함으로써, 상기 사용자의 터치 여부뿐만 아니라 터치 위치까지 검출할 수 있다. 이때, 적외선 신호로부터 위치를 검출하는 방법은 일반적으로 잘 알려져 있으므로, 더 구체적인 설명은 생략한다.

상기 초음파 위치 센서 및 RF 위치 센서의 경우도 신호의 종류에 차이가 있을 뿐이며, 상기 도 2에 도시된 바와 같이 구현될 수 있다.

다음으로, 도 3은 카메라를 이용하여 제스처 검출부를 구현한 예를 보인 도면이다.

도 3을 참조하면, 단말기(300)의 상단부에 외부 화면을 투영하는 프로젝터(310) 및 터치 위치를 검출하기 위한 카메라(320)를 설치한다.

상기 프로젝터(310) 및 카메라(320)의 설치 위치는 편의에 따라서 조정될 수 있으나, 상기 프로젝터(310)에서 외부 화면이 투영되는 영역(311)과 카메라(320)에 의해 촬영되는 영역(321)은 동일하도록 구현되어야 한다. 이때, 상기 카메라(320)에서 촬영되는 영역(321)이 외부 화면이 투영되는 영역(311)보다 큰 것이 바람직하다. 따라서, 프로젝터(310)가 외부 화면을 단말기(300)의 외부로 투영하면, 카메라(320)는 상기 외부 화면이 투영된 공간을 촬영한다. 이때, 사용자가 상기 외부 화면을 터치할 경우, 사용자의 손에 의해 상기 촬영된 영상의 일부 픽셀 값에 변화가 발생한다. 따라서, 상기 카메라(320)에 의해 촬영된 영상에서의 픽셀 변화를 모니터링 함으로써, 외부화면에 대한 사용자의 터치 및 터치 위치를 검출할 수 있다.

다시 도 1a 및 도 1b를 참조하면, 상기 카메라(140)은 터치 화면이 투영될 공간의 배경 색상을 검출하기 위하여, 외부 화면의 투영 이전에 미리 터치 화면이 투영될 외부 공간을 촬영한다. 따라서, 상기 카메라(140)의 촬영 영역은 상기 프로젝터(110)에서 외부 화면을 투영하는 영역과 겹쳐지는 것이 바람직하다.

도 3에 보인 실시 예에 구현된 카메라(320)는 상기 외부 화면의 배경 색상 검출을 위한 카메라(140)와 일체로 구현될 수 있다. 즉, 상기 제스처 검출부(120)에서 별도의 카메라를 추가로 구비할 필요 없이, 외부 화면의 투영 이후에 상기 카메라(140)를 통해 외부 화면을 촬영하도록 하고, 상기 카메라(140)에서 촬영된 영상을 분석함으로써 터치 및 터치 위치를 검출하도록 할 수 있다. 이에 따르면, 본 발명에 다른 단말기를 구현하는데 있어서, 부품 수를 줄여 제작비를 절감시킬 수 있다.

그리고, 상기 제어부(130)는, 단말기(100)의 기능 실행에 따라서 설정된 상기 외부 화면을 상기 프로젝터(110)에 제공하는데, 이때, 상기 카메라(140)의 촬영 영상으로부터 외부 화면이 투영될 외부 공간의 배경 색상을 검출하여, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 제어한다. 예를 들면, 배경 색상과 보색 관계의 색상을 상기 외부 화면의 기준 색상으로 설정하거나, 배경 색상의 명도와 반대의 명도로 외부 화면의 기준 색상을 설정할 수 있다. 여기서, 배경에 여러 가지 색상이 혼합되어 있는 경우, 가장 많이 분포되는 색상을 기준으로 외부 화면의 기준 색상을 정하거나, 배경의 전체적인 명도를 기준으로 외부 화면의 기준 색상을 설정할 수 있다.

그리고, 상기 제어부(130), 상기 외부 화면이 투영된 이후에 상기 제스처 검출부(120)를 통해 사용자의 터치 및 터치 위치가 검출되면, 상기 검출된 터치 위치에 대응하는 명령을 실행한다. 여기서, 터치 위치에 대응하는 명령은 단말기의 제어를 위한 모든 명령이 해당될 수 있으며, 예를 들면, 특정 콘텐츠나 아이콘의 선택, 확인, 검색 및 재배치 등이 될 수 있다.

상기 제어부(130)는, 상기 외부 화면으로서, 단말기(100)에서 현재 실행되는 기능에 대한 사용자 인터페이스 화면을 제공한다. 이때, 상기 외부 화면은, 단말기(110)의 기능 실행을 위한 제어 명령이 설정된 버튼 또는 특정 아이콘을 포함할 수 있으며, 버튼이나 아이콘 없이 외부 화면의 전체 영역을 일정 크기로 구분하고, 각 구분된 위치 별로 특정 제어 명령이 설정될 수 있다.

또한, 상기 외부 화면은 복수의 사용자 인터페이스 화면의 집합일 수 있는데, 즉, 단말기(100)에서 멀티태스킹에 의하여 복수의 기능을 동시에 실행중인 경우, 복수의 기능에 각각 대응하는 복수의 사용자 인터페이스 화면이 외부 화면으로 제공될 수 있다.

외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 본 발명의 일 실시 예에서는, 상기 제어부(130)가 서로 다른 공간에 상기 복수의 사용자 인터페이스 화면이 투영되도록 프로젝터(110)의 투영 방향을 프로젝션 시간 별로 제어한다.

더하여, 상기 제어부(130)는, 상기 제스처 검출부(120)가 도 3에 도시된 바와 같이, 카메라(320)로 구현되는 경우, 외부 화면의 투영 이후에 상기 카메라(320)로 촬영된 영상을 분석하여, 픽셀 값이 변화되는 위치를 검출하고, 이를 통해 터치 여부 및 터치 위치를 인식한다.

마지막으로, 상기 저장부(150)는, 상기 외부 화면의 터치 위치 별로 설정된 명령을 저장하고, 상기 터치 위치에 대응하는 명령을 상기 제어부(130)로 제공한다.

다음으로, 도 4는 본 발명에 따른 제스처 인식을 이용한 단말기의 제어 방법을 나타낸 순서도이다.

도 4를 참조하면, 본 발명에 따른 단말기(100)는, 먼저 단말기(100)의 제어를 위한 외부 화면이 투영될 외부 공간을 촬영하여, 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정한다(S410). 상기 외부 화면의 기준 색상은, 외부 화면에 표시되는 정보들이 쉽게 인식될 수 있도록 설정되는 것이 바람직한데, 더 구체적으로는, 배경 색상과 보색 관계에 있는 색상으로 설정되거나, 상기 배경 색상과 반대의 명도를 갖도록 설정될 수 있다. 예를 들어, 촬영된 배경 색상이 어두운 경우, 상기 외부 화면은 흰색으로 설정되고, 촬영된 배경 색상이 밝은 경우, 상기 외부 화면은 검정색으로 설정된다.

그리고, 단말기(100)는, 상기 설정된 기준 색상의 외부 화면을 단말기(100)의 외부 공간에 투영한다(S420). 이때, 프로젝터(100)에 의한 투영 범위가 대략적으로 설정되므로, 이에 맞추어 사용자가 원하는 장소, 예를 들어, 벽면이나 책상 위에 상기 외부 화면이 투영되도록 단말기(100)의 위치를 조정할 수 있다.

그리고, 상기에서 단말기(100)에 의해 투영되는 외부 화면은, 단말기(100)의 제어를 위한 화면으로서, 더 구체적으로는 단말기(100)에서 현재 실행되는 기능에 대한 사용자 인터페이스 화면이다. 더하여, 상기 단말기(100)가 멀티 태스킹을 지원하는 경우, 상기 외부 화면은, 멀티 태스킹으로 실행되는 복수의 기능에 각각 대응하는 복수의 사용자 인터페이스 화면의 집합이다.

상기에서, 상기 투영하는 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 프로젝션 시간 별로 프로젝터의 투영 방향을 제어하여 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 투영하도록 하거나, 복수의 프로젝션 파트를 통해, 상기 복수의 사용자 인터페이스 화면을 서로 다른 방향으로 동시에 투영한다. 이에 따르면, 복수의 사용자 인터페이스 화면을 동시에 표시하여, 사용자가 쉽게 멀티태스킹 작업을 수행할 수 있도록 할 수 있다.

상기와 같이 외부 화면을 투영한 이후에, 상기 단말기(100)는, 상기 투영한 외부 화면에 대한 사용자의 제스처, 더 구체적으로는 터치 및 터치 위치를 감지한다(S430). 여기서, 사용자의 터치 및 터치 위치는, 적외선 위치 센서, 초음파 위치 센서, RF 위치 센서와 같은 위치를 검출할 수 있는 센서를 이용하여 검출할 수 있으며, 또한, 카메라를 이용하여 상기 투영된 외부 화면을 촬영한 후, 촬영된 영상에서의 사용자 터치에 따른 픽셀 변화를 감시하여 검출할 수 있다.

상기에서 외부 화면에 대한 사용자의 터치를 감지하면, 상기 단말기(100)는, 터치 위치에 대응하는 명령을 검출하여 실행한다(S440). 상기에서 투영된 외부 화면의 각 터치 위치에 대응하는 명령은 저장부(150)에 기 설정되어 있으며, 제어부(130)가 터치 위치에 대응하는 명령을 저장부(150)로부터 추출한 후, 상기 명령을 실행하게 된다. 여기서, 터치 위치에 대응하는 명령은, 단말기(100)에서 실행 가능한 다양한 기능들에 대한 실행 명령으로서, 예를 들어, 아이콘이나 콘텐츠나 메뉴의 선택, 실행, 검색, 삭제, 재배치, 이동 등이 될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

본 발명은 사용자 명령에 따라서 일정 기능을 수행하도록 구현된 모든 종류의 단말기에 적용될 수 있는 것으로서, 바람직하게는, 휴대형 단말기에 적용되어, 단말기의 제어를 위한 외부 화면을 프로젝터를 통해 단말기의 외부에 투영함으로써, 공간적 제한 없이 다양한 외부 화면을 제공하고, 외부 화면에 대한 사용자의 터치를 감지하여, 터치 위치에 대응하는 명령을 실행함으로써, 단말기를 직접적으로 접촉하지 않고도 단말기의 제어가 가능해진다.

더하여, 본 발명은 외부 화면이 투영되는 공간의 배경 색상에 따라서 배경과 구분되도록 상기 외부 화면의 색상을 설정함으로써, 사용자가 외부 화면을 통해 정보를 쉽게 인지할 수 있도록 한다.

또한, 본 발명은 복수의 사용자 인터페이스 화면을 서로 다른 공간에 투영함으로써, 복수의 사용자 인터페이스 화면을 동시에 표시하여, 사용자의 멀티태스킹 작업을 용이하게 할 수 있다.

100, 200, 300: 단말기
110, 210, 310: 프로젝터
120, 220, 320: 제스처 검출부
130: 제어부
140: 카메라
150: 저장부
221: 적외선 송신부
222: 적외선 수신부

Claims (17)

1. 단말기의 외부 공간에 상기 단말기의 제어를 위한 외부 화면을 투영하는 프로젝터;
   상기 프로젝터에 의해 투영된 외부 화면에 대한 사용자의 터치 및 터치 위치를 검출하는 제스처 검출부;
   상기 외부 화면이 투영되는 공간을 촬영하는 카메라; 및
   상기 외부 화면을 프로젝터에 제공하고, 상기 카메라의 촬영 영상으로부터 외부 화면의 배경 색상을 검출하여, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 제어하고, 상기 외부 화면의 투영 이후에 상기 제스처 검출부를 통해 사용자의 터치 및 터치 위치가 검출되면, 상기 터치 위치에 대응하는 명령을 검출하여 실행하는 제어부;
   를 포함하며, 상기 제어부는
   시분할 방식을 적용하여, 복수의 사용자 인터페이스 화면을 프로젝션의 시간 별로, 서로 다른 방향으로 투영하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 단말기.
2. 제1항에 있어서, 상기 프로젝터는
   외장형으로 구현되어, 상기 단말기의 제어부와 입출력 인터페이스를 통해 연결되는 것을 특징으로 하는 단말기.
3. 제1항에 있어서, 상기 제스처 검출부는
   적외선 위치 센서, 초음파 위치 센서, RF 위치 센서, 및 카메라 중에서 어느 하나를 이용하여 터치 및 터치 위치를 검출하는 것을 특징으로 하는 단말기.
4. 제3항에 있어서,
   상기 제스처 검출부가 카메라를 이용하여 터치 및 터치 위치를 검출하는 경우, 상기 제스처 검출부는 상기 외부 화면이 투영되는 위치를 촬영하는 카메라와 일체로 구현되는 것을 특징으로 하는 단말기.
5. 제3항에 있어서,
   상기 제스처 검출부가 카메라로 구현되는 경우, 상기 제어부가 상기 카메라로 촬영된 외부 화면에 대한 영상의 픽셀 변화로부터 터치 및 터치 위치를 인식하는 것을 특징으로 하는 단말기.
6. 제1항에 있어서, 상기 외부 화면은
   상기 단말기에서 현재 실행중인 기능에 대한 하나의 사용자 인터페이스 화면인 것을 특징으로 하는 단말기.
7. 제1항에 있어서, 상기 외부 화면은
   상기 단말기에서 멀티 태스킹에 의해 실행되는 복수의 기능에 대한 복수의 사용자 인터페이스 화면의 집합인 것을 특징으로 하는 단말기.
8. 삭제
9. 제1항에 있어서, 상기 프로젝터는
   서로 다른 방향으로 투영하는 복수의 프로젝션 파트로 이루어져, 상기 복수의 프로젝션 파트가 상기 복수의 사용자 인터페이스 화면을 각각 투영하는 것을 특징으로 하는 단말기.
10. 제1항에 있어서,
    상기 외부 화면의 터치 위치 별로 설정된 명령을 저장하고, 상기 터치 위치에 대응하는 명령을 상기 제어부로 제공하는 저장부를 더 포함하는 것을 특징으로 하는 단말기.
11. 단말기를 제어할 외부 화면이 투영될 단말기의 외부 공간을 촬영하여 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정하는 단계;
    상기 단말기를 제어할 외부 화면을 상기 외부 공간에 투영하는 단계;
    상기 투영한 외부 화면에 대한 사용자의 터치를 감지하는 단계; 및
    상기 사용자의 터치를 감지하면, 상기 터치 위치에 대응하는 명령을 실행하는 단계;
    를 포함하며, 상기 외부 공간에 투영하는 단계는
    시분할 방식에 따라서, 복수의 사용자 인터페이스 화면을 프로젝션 시간 별로, 서로 다른 공간에 투영하는 것을 특징으로 하는 제스처 인식을 이용한 단말기의 제어 방법.
12. 제11항에 있어서, 상기 사용자의 터치를 감지하는 단계는
    적외선 위치 센서 또는 초음파 위치 센서 또는 RF 위치 센서를 통해 상기 화면에 대한 사용자의 위치를 감지하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 단말기의 제어 방법.
13. 제11항에 있어서, 상기 사용자의 터치를 감지하는 단계는
    상기 외부 화면을 카메라로 촬영하고, 상기 촬영된 영상에서의 픽셀변화를 통해 사용자의 터치를 감지하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 단말기의 제어 방법.
14. 제11항에 있어서, 상기 외부 화면은
    상기 단말기에서 현재 실행중인 기능에 대한 사용자 인터페이스 화면인 것을 특징으로 하는 제스처 인식을 이용한 단말기의 제어 방법.
15. 제11항에 있어서, 상기 외부 화면은
    상기 단말기에서 멀티 태스킹에 의해 실행되는 복수의 기능에 대한 복수의 사용자 인터페이스 화면의 집합인 것을 특징으로 하는 제스처 인식을 이용한 단말기의 제어 방법.
16. 삭제
17. 제11항에 있어서, 상기 외부 화면을 투영하는 단계는
    복수의 프로젝션 파트를 통해, 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 동시에 투영하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 단말기의 제어 방법.

Images