KR101148160B1

KR101148160B1 - Apparatus and method for providing user interface by gesture

Info

Publication number: KR101148160B1
Application number: KR1020090119425A
Authority: KR
Inventors: 홍상우; 박명순
Original assignee: 에스케이플래닛 주식회사
Priority date: 2009-12-03
Filing date: 2009-12-03
Publication date: 2012-05-23
Anticipated expiration: 2029-12-03
Also published as: KR20110062646A

Abstract

본 발명은 손동작 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법에 관한 것으로, 발광물질이 도포된 사용자의 손동작 제스처를 일정시간 동안 감지하고, 감지된 제스처에 대응하는 제스처 정보를 생성하여 생성된 제스처 정보에 매칭되는 명령어를 추출하고, 추출된 명령어에 따라 기능을 실행할 수 있다. 이를 통해 단말기는 발광물질이 도포된 사용자의 손동작 제스처에 대응하는 사용자 인터페이스를 제공함으로써, 제스처를 다양한 입력 수단으로 활용하여 사용자에게 단말기 조작에 대한 즐거움과 편리함을 제공할 수 있다. 또한, 사용자의 손에 도포되는 발광물질을 센싱하여 제스처를 보다 정확하게 인식할 수 있다.The present invention relates to a terminal and a method for providing a user interface using a hand gesture, and to detect a hand gesture of a user to which a light emitting material is applied for a predetermined time, and generate gesture information corresponding to the detected gesture and match the generated gesture information. Extract the command and execute the function according to the extracted command. Accordingly, the terminal may provide a user interface corresponding to the gesture of the user's hand coated with the light emitting material, thereby providing the user with pleasure and convenience of operating the terminal by using the gesture as various input means. In addition, the gesture may be more accurately recognized by sensing the light emitting material applied to the user's hand.

제스처, 적외선, 단말기, UI, 발광물질 Gesture, Infrared, Terminal, UI, Luminescent Material

Description

Terminal and method for providing a user interface using gestures {Apparatus and method for providing user interface by gesture}

본 발명은 사용자 인터페이스 제공 단말기 및 방법에 관한 것으로, 특히, 발광물질이 도포된 사용자의 제스처를 일정시간 동안 감지하고, 감지된 제스처에 대응하는 제스처 정보를 생성하여 생성된 제스처 정보에 매칭되는 명령어를 추출하고, 추출된 명령어에 따라 기능을 실행할 수 있는 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법에 관한 것이다.The present invention relates to a terminal and a method for providing a user interface, and more particularly, to detect a gesture of a user to which a light emitting material is applied for a predetermined time, and generate a gesture information corresponding to the detected gesture to generate a command that matches the generated gesture information. The present invention relates to a terminal and a method for providing a user interface using a gesture capable of extracting and executing a function according to the extracted command.

통상적인 단말기는 입력 수단으로 키 패드, 터치스크린, 조이스틱 및 스크롤 휠 등을 제공하고 있다. 이를 통해 사용자는 단말기를 조작하거나 필요한 정보를 입력한다. 이때, 사용자는 단말기 제조 과정에서 정해지는 방법에 따라 입력 장치를 조작하여 단말기의 다양한 기능을 실행한다. 예를 들어, 사용자는 메시지 입력 수단으로서 단말기의 앞면 또는 측면에 구비된 버튼, 키 패드의 특정 버튼, 터치스크린, 조이스틱, 스크롤 휠 또는 스타일러스 펜 등을 이용하여 해당되는 기능에 따른 사용자 인터페이스를 실행한다.Conventional terminals provide a keypad, a touch screen, a joystick, a scroll wheel, and the like as input means. This allows the user to operate the terminal or input necessary information. In this case, the user operates the input device according to a method determined in the terminal manufacturing process to execute various functions of the terminal. For example, the user executes a user interface according to a corresponding function by using a button provided on the front or side of the terminal, a specific button of a keypad, a touch screen, a joystick, a scroll wheel, or a stylus pen as a message input means. .

또한, 최근에 개성적으로 단말기를 사용하고자 하는 사용자가 증가하면서, 단말기 제조업체는 이를 충족시키기 위해 다양한 기능을 제공할 수 있는 단말기를 제조하고 있다. 이와 함께, 단말기는 기존의 지정된 입력 수단 이외에도 사용자 각자의 개성을 살릴 수 있고, 단말기를 사용하는 사용자에게 입력 조작의 즐거움과 편리함을 동시에 제공할 수 있는 사용자 인터페이스가 필요하게 되었다. In addition, with the recent increase in the number of users who want to use the terminal individually, the terminal manufacturer is manufacturing a terminal that can provide a variety of functions to meet this. In addition, the terminal needs a user interface that can make use of each user's personality in addition to the existing designated input means, and can simultaneously provide the user of the terminal with the enjoyment and convenience of the input operation.

이러한 종래의 문제점을 해결하기 위하여, 본 발명은 제스처를 입력 수단으로 활용하는 단말기의 조작에 있어서 발광물질을 사용자의 손에 도포하고, 이를 감지하여 사용자의 손동작 제스처를 보다 정확하게 인식할 수 있는 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법을 제공하는 것을 목적으로 한다.In order to solve such a conventional problem, the present invention is to apply a light emitting material to the user's hand in the operation of the terminal utilizing the gesture as an input means, by detecting the gesture to recognize the user's hand gesture more accurately An object of the present invention is to provide a terminal and a method for providing a user interface.

또한, 본 발명은 발광물질이 도포된 사용자의 제스처에 따라 연관된 기능을 실행하는 사용자 인터페이스를 제공함으로써, 사용자에게 단말기 조작의 즐거움과 편리함을 제공할 수 있는 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법을 제공하는 것을 목적으로 한다.In addition, the present invention provides a user interface providing a terminal and a method using a gesture that can provide the user with enjoyment and convenience of the terminal operation by providing a user interface for executing the associated function according to the user's gesture coated with the light emitting material. It aims to do it.

이러한 목적을 달성하기 위하여, 본 발명에 따른 제스처를 이용한 사용자 인터페이스 제공 단말기는 사용자의 손에 도포된 발광물질로부터 발광하는 빛을 감지하는 감지부 및 사용자의 제스처를 감지하고, 상기 제스처가 기 설정된 시간 이상 감지되는지 판단하여 상기 제스처가 기 설정된 시간 이상 감지되면 상기 제스처에 대응하는 제스처 정보를 생성하고, 상기 생성된 제스처 정보와 기 설정된 제스처 정보를 비교하여 상기 생성된 제스처 정보와 기 설정된 제스처 정보가 연관되면 상기 생성된 제스처 정보에 대응하는 명령어를 추출하고, 상기 추출된 명령어에 따라 기능을 실행하는 단말 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a user interface providing terminal using a gesture according to the present invention detects a light emitting unit emitting light emitted from a light emitting material applied to a user's hand and a user's gesture, and the gesture is a preset time If the gesture is detected or not, if the gesture is detected for more than a preset time, gesture information corresponding to the gesture is generated, and the generated gesture information is associated with the preset gesture information by comparing the generated gesture information with preset gesture information. And extracting a command corresponding to the generated gesture information, and executing a function according to the extracted command.

본 발명에 따른 상기 단말 제어부는 상기 감지된 빛을 분석하여 상기 제스처 를 인식하는 제스처 인식부와, 상기 제스처에 대응하는 상기 제스처 정보를 생성하고, 상기 생성된 제스처 정보와 기 설정된 제스처 정보를 비교하여 상기 생성된 제스처 정보에 대응하는 명령어를 추출하는 제스처 정보 비교부 및 상기 추출된 명령어에 따라 기능을 실행하는 기능 실행부를 포함하는 것을 특징으로 한다.The terminal controller according to the present invention analyzes the detected light to generate a gesture recognition unit for recognizing the gesture, the gesture information corresponding to the gesture, and compares the generated gesture information with preset gesture information. And a gesture information comparison unit for extracting a command corresponding to the generated gesture information and a function execution unit for executing a function according to the extracted command.

본 발명에 따른 상기 제스처에 대응하는 상기 제스처 정보가 저장되는 제스처 정보 DB와 상기 제스처 정보와 연관되는 기능을 실행하기 위한 명령어를 저장하는 저장부를 더 포함하는 것을 특징으로 한다.And a storage unit for storing a gesture information DB in which the gesture information corresponding to the gesture is stored and a command for executing a function associated with the gesture information.

본 발명에 따른 상기 감지부는 상기 빛을 감지하는 적외선 센서 또는 적외선 카메라로 구성되는 것을 특징으로 한다.The detection unit according to the invention is characterized in that it consists of an infrared sensor or an infrared camera for detecting the light.

본 발명에 따른 상기 발광물질은 적외선을 발광하고, 상기 단말기에 부착되는 휴대용 용기에 저장되며, 상기 적외선을 감지하는 적외선 필터에 의해 감지되는 것을 특징으로 한다.The light emitting material according to the present invention is characterized in that it emits infrared rays, is stored in a portable container attached to the terminal, it is detected by an infrared filter for detecting the infrared rays.

본 발명에 따른 제스처를 이용한 사용자 인터페이스 제공 방법은 단말기가 빛을 발광하는 발광물질이 도포된 사용자의 제스처를 감지하는 감지단계와, 상기 단말기는 상기 제스처가 기 설정된 시간 이상 감지되는지 판단하는 판단단계와, 상기 제스처가 기 설정된 시간 이상 감지되면 상기 단말기가 상기 제스처에 대응하는 제스처 정보를 생성하는 생성단계와, 상기 단말기가 상기 생성된 제스처 정보와 기 설정된 제스처 정보를 비교하는 비교단계와, 상기 비교 결과 상기 생성된 제스처 정보와 기 설정된 제스처 정보가 연관되면 상기 단말기가 상기 생성된 제스처 정보에 대응하는 명령어를 추출하는 추출단계 및 상기 단말기가 상기 추출된 명령어에 따라 기능을 실행하는 실행단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of providing a user interface using a gesture, wherein the terminal detects a gesture of a user coated with a light emitting material emitting light, and the terminal determines whether the gesture is detected for a predetermined time or more; A generation step of generating, by the terminal, gesture information corresponding to the gesture when the gesture is detected for more than a predetermined time; a comparison step of the terminal comparing the generated gesture information with preset gesture information; and the comparison result And extracting, by the terminal, a command corresponding to the generated gesture information and executing, by the terminal, a function according to the extracted command when the generated gesture information is associated with preset gesture information. It features.

본 발명에 따른 상기 빛은 적외선을 포함하는 것을 특징으로 한다.The light according to the invention is characterized in that it comprises infrared rays.

본 발명에 따른 상기 감지단계는 상기 단말기가 상기 발광물질로부터 발광하는 빛을 감지하는 단계 및 상기 단말기가 상기 감지된 빛의 파장을 굴절률에 따라 스펙트럼 처리하거나 상기 감지된 빛의 파장을 신호 처리하여 상기 제스처를 인식하는 단계를 포함하는 것을 특징으로 한다.In the detecting step according to the present invention, the terminal detects the light emitted from the light emitting material, and the terminal performs the spectral processing of the detected wavelength of the light according to the refractive index or the signal processing the wavelength of the detected light And recognizing a gesture.

본 발명에 따른 상기 제스처는 문자, 기호 또는 도형을 그리는 동작인 것을 특징으로 한다.The gesture according to the invention is characterized in that the action of drawing a character, symbol or figure.

본 발명에 따른 상기 판단단계는 상기 빛이 기 설정된 시간 이상 감지되지 않는 경우, 상기 단말기는 상기 제스처를 오류 제스처로 판단하는 단계를 더 포함하는 것을 특징으로 한다.The determining step according to the present invention may further include determining, by the terminal, the gesture as an error gesture when the light is not detected for a predetermined time or more.

본 발명에 따른 상기 비교단계는 상기 판단 결과 상기 생성된 제스처 정보와 연관되는 제스처 정보가 제스처 정보 DB에 설정되어 있지 않으면, 상기 단말기가 상기 제스처에 대한 재입력을 요청하거나 다른 제스처의 입력을 요청하는 메시지를 표시하는 단계를 더 포함하는 것을 특징으로 한다.In the comparing step according to the present invention, if the gesture information associated with the generated gesture information is not set in the gesture information DB, the terminal requests re-input for the gesture or input of another gesture. The method may further include displaying a message.

본 발명에 따른 상기 실행단계는 상기 단말기가 상기 제스처에 따라 통화 기능, 메시지 기능, 폰 북 기능 또는 메모장 기능 중 적어도 하나의 기능을 실행하는 것을 특징으로 한다.The execution step according to the present invention is characterized in that the terminal executes at least one function of a call function, a message function, a phone book function or a memo pad function according to the gesture.

본 발명에 의하면, 단말기는 발광물질이 도포된 사용자의 손동작 제스처를 인식하고, 이에 대응하는 사용자 인터페이스를 제공함으로써, 제스처를 다양한 입력 수단으로 활용하여 사용자에게 단말기 조작에 대한 즐거움과 편리함을 제공할 수 있다.According to the present invention, the terminal recognizes a user's hand gesture coated with the light emitting material and provides a user interface corresponding thereto, thereby providing the user with enjoyment and convenience of operating the terminal by using the gesture as various input means. have.

또한, 본 발명은 발광물질을 사용자의 손에 도포하고, 이에 대응하는 제스처를 센싱하여 사용자의 제스처를 보다 정확하게 인식할 수 있다.In addition, the present invention can apply a light emitting material to the user's hand, by sensing the corresponding gesture to recognize the user's gesture more accurately.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the embodiment of the present invention will be described, and the description of other parts will be omitted so as not to disturb the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 설명에 앞서, 이하에서는 본 발명의 실시 예에 따른 단말기는 발광물질이 도포된 사용자의 제스처를 인식하고, 인식된 제스처와 연관된 기능을 실행하기 위하여 이동통신망을 이용하는 형태의 단말기를 대표적인 예로서 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 즉, 단말기는 발광물질을 감지하는 감지부를 장착하고, 기능 실행을 위해 이동통신망을 이용하는 단말기뿐만 아니라 일반 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다.The terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors are appropriate to the concept of terms in order to explain their invention in the best way. It should be interpreted as meanings and concepts in accordance with the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, and various alternatives may be substituted at the time of the present application. It should be understood that there may be equivalents and variations. Prior to the description, the terminal according to the embodiment of the present invention will be described as a representative terminal using a mobile communication network to recognize the gesture of the user to which the light emitting material is applied, and to execute a function associated with the recognized gesture. However, the present invention is not limited thereto. That is, the terminal may be equipped with a sensing unit for detecting a light emitting material, and may be applied to various terminals such as general wired terminals, fixed terminals, and IP (Internet Protocol) terminals as well as terminals using a mobile communication network to execute functions.

본 발명의 실시 예에 따른 '제스처(Gesture)'는 발광물질이 도포된 사용자의 손동작을 의미한다. 이때, 단말기는 카메라 또는 센서를 통해 제스처를 인식하여 인식된 제스처에 따라 기 설정된 기능을 실행할 수 있다. 이때, 사용자는 발광물질을 손가락에 도포하고, 손동작의 움직임으로 원을 그리는 형태의 동작을 취하면, 단말기는 발광물질을 감지하여 제스처를 인식하고, 인식된 제스처에 따라 통화 기능을 실행할 수 있다. 여기서, 단말기는 사용자의 제스처에 대응하여 메시지 기능, 폰 북 기능 또는 메모장 기능 등과 같은 다양한 기능을 실행할 수 있다.'Gesture' according to an embodiment of the present invention means the hand gesture of the user to which the light emitting material is applied. In this case, the terminal may recognize a gesture through a camera or a sensor and execute a preset function according to the recognized gesture. In this case, when the user applies the light emitting material to a finger and takes an operation of drawing a circle by the movement of the hand gesture, the terminal may detect the light emitting material and recognize a gesture, and execute a call function according to the recognized gesture. In this case, the terminal may execute various functions such as a message function, a phone book function, or a memo pad function in response to the gesture of the user.

본 발명의 실시 예에 따른 '발광물질(Radiation material)'은 단말기의 센서에 의해 감지될 수 있는 비 가시광선 영역의 빛을 발광하는 물질이다. 이때, 발광물질은 보관이 용이하도록 휴대용 용기에 저장되고, 휴대용 용기는 줄과 같은 장치에 의해 단말기에 연결되는 형태가 될 수 있다. 여기서, 발광물질은 분무 방법 또는 바르는 방법으로 사용자에게 도포될 수 있으며, 신체 접촉에 무해한 물질을 사용하는 것이 바람직하다. 또한, 발광물질이 적외선을 발광하는 물질로 구성되는 경우, 단말기는 발광물질로부터 발광되는 적외선을 감지하기 위하여 적외선 센서 또는 적외선 카메라를 구비하는 것이 바람직하다. 또한, 발광물질이 사람의 눈을 통해 인식될 수 없는 경우, 카메라는 발광물질을 인식하기 위하여 적외선 필터를 장 착하는 것이 바람직하다. 여기서, 적외선 필터는 카메라에 탈장착이 가능한 장치로 이루어질 수 있다.A 'radiation material' according to an embodiment of the present invention is a material that emits light in the non-visible light region that can be detected by the sensor of the terminal. In this case, the light emitting material may be stored in a portable container for easy storage, and the portable container may be connected to the terminal by a device such as a string. Here, the light emitting material may be applied to the user by spraying or applying, and it is preferable to use a material that is harmless to body contact. In addition, when the light emitting material is made of a material that emits infrared rays, the terminal is preferably provided with an infrared sensor or an infrared camera to detect the infrared light emitted from the light emitting material. In addition, when the luminescent material cannot be recognized through the human eye, the camera is preferably equipped with an infrared filter to recognize the luminescent material. Here, the infrared filter may be made of a device that can be attached to and detached from the camera.

도 1은 본 발명의 실시 예에 따른 제스처를 이용하여 사용자 인터페이스를 제공하는 단말기의 개략적인 구성을 나타내는 블록도이다.1 is a block diagram illustrating a schematic configuration of a terminal providing a user interface using a gesture according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 제스처를 이용한 사용자 인터페이스를 제공하는 단말기(100)는 단말 제어부(10), 통신부(20), 입력부(30), 표시부(40), 저장부(50), 오디오 처리부(60) 및 감지부(70)를 포함하여 구성될 수 있다. 특히, 단말 제어부(10)는 제스처 인식부(12), 제스처 정보 비교부(14) 및 기능 실행부(16)를 포함할 수 있다. 또한, 저장부(50)는 제스처 정보 DB(Database, 52)를 포함할 수 있다.Referring to FIG. 1, a terminal 100 providing a user interface using gestures according to an exemplary embodiment of the present invention may include a terminal controller 10, a communication unit 20, an input unit 30, a display unit 40, and a storage unit ( 50), the audio processor 60 and the detector 70 may be configured. In particular, the terminal controller 10 may include a gesture recognition unit 12, a gesture information comparison unit 14, and a function execution unit 16. In addition, the storage unit 50 may include a gesture information DB (Database) 52.

먼저, 통신부(20)는 단말 제어부(10)의 제어에 따라 데이터를 송신 및 수신한다. 이때, 통신부(160)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 주파수 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 주파수 수신부 등을 포함할 수 있다. 특히, 본 발명의 실시 예에 따른 통신부(20)는 단말 제어부(10)의 제어에 따라 발광물질을 도포한 사용자의 제스처에 대응하는 명령어가 실행되면, 음성 통화에 필요한 신호를 송수신하기 위한 통화 채널을 형성하거나, 영상 통화를 지원하는 경우 영상 통화에 필요한 신호를 송수신하기 위한 영상 통화 채널을 형성 또는 메시지 기능을 실행할 수 있도록 기지국과 통신 채널을 형성할 수 있다. First, the communication unit 20 transmits and receives data under the control of the terminal control unit 10. In this case, the communication unit 160 may include a radio frequency transmitter for up-converting and amplifying the frequency of the transmitted signal, and a radio frequency receiver for low noise amplifying the received signal and down-converting the frequency of the received signal. In particular, the communication unit 20 according to an embodiment of the present invention, when a command corresponding to a gesture of the user who applied the light emitting material under the control of the terminal control unit 10 is executed, a communication channel for transmitting and receiving a signal required for a voice call Or a video call channel for transmitting / receiving signals required for a video call or a communication channel with a base station so as to execute a message function.

입력부(30)는 숫자 또는 문자 정보를 입력 받고, 각종 기능들을 설정하기 위 한 다수의 입력키 및 기능키들을 포함한다. 이때, 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한, 입력부(30)는 사용자 설정 및 단말 제어부(10)의 기능 제어와 관련하여 입력되는 키 신호를 생성하고, 이를 단말 제어부(10)로 전달한다. 특히, 본 발명의 실시 예에 따른 입력부(30)는 사용자의 요청에 따라 발광물질을 도포한 사용자의 제스처에 대응하는 제스처 정보를 설정하는 과정에서 발생하는 입력 신호를 단말 제어부(10)로 전달한다.The input unit 30 receives a number or character information and includes a plurality of input keys and function keys for setting various functions. In this case, the function keys may include a direction key, a side key and a shortcut key set to perform a specific function. In addition, the input unit 30 generates a key signal input in relation to the user setting and the function control of the terminal control unit 10, and transmits it to the terminal control unit 10. In particular, the input unit 30 according to an embodiment of the present invention transmits an input signal generated in the process of setting gesture information corresponding to the gesture of the user who applied the light emitting material to the terminal controller 10 according to the user's request. .

표시부(40)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등이 적용될 수 있으며, LCD가 적용되는 경우 표시부(40)는 LCD 단말 제어부, LCD 데이터를 저장할 수 있는 메모리 및 LCD 표시소자 등을 구비할 수 있다. 여기서, LCD 및 OLED 등의 표시 장치를 터치스크린 방식으로 구현하는 경우, 표시부(40)의 화면은 입력부로 동작될 수 있다. 특히, 본 발명의 실시 예에 따른 표시부(40)는 발광물질을 도포한 사용자의 제스처에 대응하는 기능이 실행되면, 이에 따른 화면을 표시한다. 또한, 표시부(40)는 감지부(70)를 통해 인식되는 제스처에 대한 화면을 표시할 수 있다.Liquid crystal display (LCD), organic light emitting diodes (OLED), etc. may be applied to the display unit 40. When the LCD is applied, the display unit 40 may include an LCD terminal controller, a memory capable of storing LCD data, and an LCD display device. Etc. can be provided. Here, when a display device such as an LCD and an OLED is implemented by using a touch screen method, the screen of the display unit 40 may be operated as an input unit. In particular, the display unit 40 according to an embodiment of the present invention displays a screen according to the function when the function corresponding to the gesture of the user who applied the light emitting material is executed. In addition, the display unit 40 may display a screen for a gesture recognized by the sensing unit 70.

저장부(50)는 본 발명의 실시 예에 따른 단말기(100)의 기능 동작에 필요한 응용 프로그램을 비롯하여, 제스처 정보에 상응하는 기능을 실행하기 위한 응용 프로그램, 제스처 인식을 위한 데이터들을 저장한다. 이러한 저장부(50)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.The storage unit 50 stores an application program for executing a function of the terminal 100 according to an embodiment of the present invention, an application program for executing a function corresponding to gesture information, and data for gesture recognition. The storage unit 50 may largely include a program area and a data area.

프로그램 영역은 단말기(100)를 부팅시키는 운영체제(OS, Operating System), 적외선을 감지하기 위한 감지부(70) 조작 및 오디오 수집을 위한 응용 프로그램, 단말기(100)의 기타 옵션(options) 기능 예컨대, 소리 재생 기능, 이미지 또는 동영상 재생 기능 등에 필요한 응용 프로그램 등을 저장할 수 있다. 여기서, 단말기(100)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 단말 제어부(10)의 제어 하에 해당 응용 프로그램들을 이용하여 각 기능을 제공하게 된다. 특히, 본 발명의 실시 예에 따른 프로그램 영역은 제스처 인식 프로그램, 제스처 정보 비교 프로그램 및 기능 실행 프로그램 등을 포함할 수 있다. 이때, 제스처 인식 프로그램, 제스처 정보 비교 프로그램 및 기능 실행 프로그램은 단말 제어부(10)에 로드되어, 구동하는 프로그램이 될 수 있다. 여기서, 제스처 인식 프로그램은 감지부(70)를 통해 인식되는 영상데이터를 분석하고, 발광물질을 도포한 사용자가 제스처를 행하는 경우 발광물질로부터 감지되는 빛을 분석하여 사용자의 제스처를 인식하고, 인식된 제스처에 대응하는 제스처 정보를 생성한다. 제스처 정보 비교 프로그램은 생성된 제스처 정보가 제스처 정보 DB(52)에 기 설정되어 있는지 여부를 비교하여 이에 상응하는 명령어를 추출하여 기능 실행 프로그램으로 전달한다. 기능 실행 프로그램은 추출된 명령어에 따라 해당되는 기능을 실행할 수 있다.The program area may include an operating system (OS) for booting the terminal 100, an operation program for sensing the infrared ray 70, an application program for collecting audio, and other options of the terminal 100. It can store application programs required for sound play function, image or video play function, and the like. In this case, when the terminal 100 activates each function in response to a user's request, the terminal 100 provides each function by using corresponding application programs under the control of the terminal controller 10. In particular, the program area according to an embodiment of the present invention may include a gesture recognition program, a gesture information comparison program, a function execution program, and the like. In this case, the gesture recognition program, the gesture information comparison program, and the function execution program may be loaded and driven in the terminal controller 10. Here, the gesture recognition program analyzes the image data recognized by the sensing unit 70, and when the user applying the light emitting material performs a gesture, it analyzes the light detected from the light emitting material to recognize the user's gesture, Generates gesture information corresponding to the gesture. The gesture information comparison program compares whether the generated gesture information is preset in the gesture information DB 52, extracts a command corresponding thereto, and delivers the corresponding command to the function execution program. The function execution program may execute a corresponding function according to the extracted command.

또한, 데이터 영역은 단말기(100)의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 단말기(100)가 제공하는 다양한 옵션 기능과 관련한 사용자 데이터들 예컨대, 동영상, 폰 북 데이터, 오디오 데이터, 감지부(70)를 통해 인식되는 영상데이터 및 해당 컨텐츠 또는 사용자 데이터들에 대응하는 정보 등을 저장할 수 있다. 특히, 본 발명의 실시 예에 따른 데이터 영역은 제스처를 분석하여 생성되는 제스처 정보를 저장하는 제스처 정보 DB(52)를 포함할 수 있다. 예를 들어, 제스처 정보DB(52)는 사용자가 발광물질이 도포된 손동작으로 공간상에 그릴 수 있는 문자, 기호 또는 도형에 대한 제스처 정보가 포함된다. 이때, 제스처 정보는 단말기(100)의 특정 기능을 실행할 수 있는 명령어와 연계되어 저장될 수 있다. In addition, the data area is an area in which data generated according to the use of the terminal 100 is stored, and user data related to various optional functions provided by the terminal 100, such as a video, phone book data, audio data, and a sensing unit. The image data recognized through 70 may be stored, and information corresponding to the corresponding content or user data may be stored. In particular, the data area according to an embodiment of the present invention may include a gesture information DB 52 for storing gesture information generated by analyzing a gesture. For example, the gesture information DB 52 includes gesture information about a character, a symbol, or a figure that a user can draw in space with a hand gesture coated with a light emitting material. In this case, the gesture information may be stored in association with a command for executing a specific function of the terminal 100.

오디오 처리부(60)는 통화 기능 시 송수신되는 오디오 데이터를 재생하기 위한 스피커(SPK)와, 통화 시 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 마이크(MIC)를 포함한다. 여기서, 오디오 처리부(60)는 음성 통화를 위해 설치된 스피커와 별도로 화상 통화 시 수신된 오디오 데이터를 출력하기 위한 스피커를 더 포함할 수 있다.The audio processor 60 includes a speaker SPK for reproducing audio data transmitted and received during a call function, and a microphone MIC for collecting a user's voice or other audio signal during a call. Here, the audio processor 60 may further include a speaker for outputting audio data received during a video call separately from the speaker installed for the voice call.

감지부(70)는 빛을 발광하고, 외부로부터 입력되는 사용자의 움직임 또는 물체의 움직임 등과 같은 물리적 신호를 감지하여 신호 처리부(미도시)로 전송할 수 있다. 이때, 감지부(70)는 외부 물체가 감지 영역 내로 접근하는 것을 적외선을 이용하여 감지하는 적외선 센서(Infrared Sensor)를 사용할 수 있다. 여기서, 감지부(70)가 적외선 센서로 구성되는 경우, 감지부(70)는 적외선을 복사하여 차단되는 적외선의 변화를 감지하는 능동식과, 자체에 발광부를 가지지 않고 외부로부터 받는 적외선의 변화만을 감지하는 수동식으로 구분될 수 있다. 특히, 감지부(70)가 능동식으로 구성되는 경우 적외선(IR)을 방사하는 발광 다이오드(Light Emitting Diode, LED)로 이루어지는 발광부와, 반사되는 빛을 감지할 수 있는 다이오드 또는 트랜지스터(Transister, TR)와　같은 검출기(Detector)로 이루어지는 수광부로 구성될 수 있다. The detector 70 may emit light, detect a physical signal such as a user's movement or an object's movement input from the outside, and transmit the detected physical signal to a signal processor (not shown). In this case, the sensing unit 70 may use an infrared sensor that detects that an external object approaches the sensing area using infrared rays. Here, when the detection unit 70 is composed of an infrared sensor, the detection unit 70 is an active type for detecting the change of the infrared ray is blocked by radiating the infrared ray, and detects only the change of the infrared ray received from the outside without having a light emitting unit on its own. It can be divided into manual. In particular, when the sensing unit 70 is actively configured, a light emitting unit including a light emitting diode (LED) that emits infrared rays (IR), and a diode or transistor capable of detecting reflected light. It may be composed of a light receiving unit comprising a detector such as TR).

발광부는 단말 제어부(10)의 신호에 따라 외부 임의의 물체까지 빛을 발광하는 역할을 하고, 수광부는 검출기를 통해 외부 물체로부터 반사되는　빛을 감지하는 역할을 할 수 있다. 이를 자세하게 살펴보면, 발광부는 일정 양의 적외선을 발광하고, 수광부는 물체에 반사되어 돌아오는 적외선의 양에 따라 전압의 변화를 감지할 수 있다. 특히, 본 발명의 실시 예에서 감지부(70)는 단말 제어부(10)의 제어에 따라 활성화되며, 발광물질이 도포된 사용자의 손동작 움직임 즉, 제스처에 따른 적외선의 변화를 감지하여 단말 제어부(10)에 해당되는 신호를 전달할 수 있다. 이를 위해, 감지부(70)는 비교기를 사용하여 수광부에 들어오는 적외선을 감지하는 방법과, 마이크로 컨트롤러의 ADC(Analog Digital Convertor)를 통해서 적외선을 감지하는 방법이 이용될 수 있다. 또한, 감지부(70)는 발광물질로부터 발생하는 적외선을 감지하기 위하여 적외선 카메라와 같은 특수 카메라로 구성될 수 있다. 특히, 본 발명의 실시 예에서 감지부(70)는 발광물질이 사람의 눈으로 인식될 수 없는 경우, 발광물질을 인식하기 위하여 카메라에 적외선 필터를 장착할 수 있다.The light emitting unit may serve to emit light to an external arbitrary object according to a signal of the terminal controller 10, and the light receiving unit may serve to detect light reflected from an external object through a detector. In detail, the light emitting unit emits a predetermined amount of infrared rays, and the light receiving unit may detect a change in voltage according to the amount of infrared rays reflected by the object. In particular, according to an embodiment of the present invention, the sensing unit 70 is activated under the control of the terminal control unit 10, and detects a change in infrared rays according to a gesture of a user's hand motion, ie, a gesture, to which a light emitting material is applied. Signal can be delivered. To this end, the sensing unit 70 may use a comparator to detect infrared rays entering the light receiving unit, and a method of sensing infrared rays through an analog digital converter (ADC) of a microcontroller. In addition, the sensing unit 70 may be configured as a special camera such as an infrared camera to detect the infrared light generated from the light emitting material. In particular, in the embodiment of the present invention, the sensing unit 70 may be equipped with an infrared filter in the camera to recognize the light emitting material when the light emitting material cannot be recognized by the human eye.

단말 제어부(10)는 단말기(100)의 각 구성을 초기화하고, 필요한 신호 제어를 수행할 수 있다. 특히, 본 발명의 실시 예에 따른 단말기(100)는 발광물질이 도포된 사용자의 제스처를 감지하기 위하여 감지부(70)의 센서 및 카메라 기능을 활성화한다. 그런 다음, 단말 제어부(10)는 발광물질이 도포된 사용자의 제스처를 인식하기 위한 대기 모드를 실행할 수 있다. 대기 모드 중 제스처에 따른 적외선이 감지되면, 단말 제어부(10)는 감지부(70)를 통해 감지되는 적외선이 기 설정된 시간 이상 감지되는지 판단한다. 여기서, 적외선이 감지되는 시간은 단말기(100)의 제조과정이나 단말기(100)의 구입 후 사용자에 의해 설정될 수 있는 일정한 시간이 될 수 있다. 예를 들어, 발광물질이 도포된 사용자의 제스처를 감지하기 위하여 설정되는 시간은 1초, 2초 또는 3초 단위의 시간이 될 수 있다. The terminal controller 10 may initialize each component of the terminal 100 and perform necessary signal control. In particular, the terminal 100 according to an embodiment of the present invention activates a sensor and a camera function of the sensing unit 70 to detect a gesture of a user to which a light emitting material is applied. Then, the terminal controller 10 may execute a standby mode for recognizing a gesture of the user to which the light emitting material is applied. When the infrared ray according to the gesture is detected in the standby mode, the terminal controller 10 determines whether the infrared ray detected by the detector 70 is detected for a preset time or more. Here, the time when the infrared ray is detected may be a predetermined time that can be set by the user after the manufacturing process of the terminal 100 or the purchase of the terminal 100. For example, the time set for detecting the gesture of the user to which the light emitting material is applied may be a time of 1 second, 2 seconds, or 3 seconds.

단말 제어부(10)는 기 설정된 시간 이상 제스처가 감지되는 경우 감지된 적외선을 분석하여 제스처를 인식할 수 있다. 한편, 단말 제어부(10)는 제스처가 감지되는 시간이 기 설정된 시간에 도달하지 못하는 경우, 감지된 제스처를 오류에 의한 제스처로 판단할 수 있다.The terminal controller 10 may recognize the gesture by analyzing the detected infrared rays when the gesture is detected for a predetermined time or more. If the time at which the gesture is detected does not reach the preset time, the terminal controller 10 may determine the detected gesture as a gesture due to an error.

단말 제어부(10)는 인식된 제스처에 대응하는 제스처 정보를 생성한다. 여기서, 단말 제어부(10)는 생성된 제스처 정보와 대응되는 제스처 정보가 제스처 정보 DB(52)에 존재하는지 비교하고, 비교 결과에 따라 설정된 제스처 정보에 대응하는 명령어를 추출한다. 이후, 단말 제어부(10)는 추출되는 명령어에 따라 해당되는 기능을 실행하도록 제어한다. 한편, 단말 제어부(10)는 사용자의 제스처에 따라 생성된 제스처 정보가 제스처 정보 DB(52)에 기 설정되어 있지 않은 경우, 다른 제스처 입력을 요청하는 메시지를 화면에 표시할 수 있다. 이를 위하여 단말 제어부(10)는 제스처 인식부(12), 제스처 정보 비교부(14) 및 기능 실행부(16)를 포함할 수 있다.The terminal controller 10 generates gesture information corresponding to the recognized gesture. Here, the terminal controller 10 compares whether the gesture information corresponding to the generated gesture information exists in the gesture information DB 52 and extracts a command corresponding to the gesture information set according to the comparison result. Thereafter, the terminal controller 10 controls to execute a corresponding function according to the extracted command. If the gesture information generated according to the user's gesture is not set in the gesture information DB 52, the terminal controller 10 may display a message for requesting another gesture input on the screen. To this end, the terminal controller 10 may include a gesture recognition unit 12, a gesture information comparison unit 14, and a function execution unit 16.

제스처 인식부(12)는 감지부(70)를 통해 감지되는 발광물질로부터 적외선을 분석하여 제스처를 인식할 수 있다. 이때, 제스처 인식부(12)는 감지된 적외선의 파장을 굴절률의 차이에 따라 스펙트럼 처리하거나 적외선의 파장을 신호 처리할 수 있다. The gesture recognition unit 12 may recognize a gesture by analyzing infrared rays from the light emitting material detected by the detection unit 70. In this case, the gesture recognition unit 12 may process the detected wavelength of the infrared ray according to the difference in the refractive index or signal the wavelength of the infrared ray.

제스처 정보 비교부(14)는 제스처 인식부(12)로부터 인식되는 제스처에 따라 대응하는 제스처 정보를 생성한다. 이때, 제스처 정보 비교부(14)는 인식된 제스처와 연관되는 제스처 정보를 생성한다. 또한, 제스처 정보 비교부(14)는 생성되는 제스처 정보와 매칭되는 정보가 제스처 정보 DB(52)에 저장되어 있는지 판단하여, 판단 결과에 따라 해당되는 기능을 실행하기 위하여 단말 제어부(10)에 해당되는 신호를 전달할 수 있다. 여기서, 제스처 정보 비교부(14)는 사용자의 제스처에 의해 생성된 제스처 정보가 제스처 정보 DB(52)에 기 설정되어 있는 경우, 기 설정되어 있는 제스처 정보와 연관된 명령어를 추출하여 기능 실행부(16)로 전달할 수 있다. 이때, 추출된 명령어는 단말기(100)의 특정 기능을 실행하기 위한 제어 명령어일 수 있다. The gesture information comparison unit 14 generates corresponding gesture information according to the gesture recognized from the gesture recognition unit 12. In this case, the gesture information comparison unit 14 generates gesture information associated with the recognized gesture. In addition, the gesture information comparator 14 determines whether information matching the generated gesture information is stored in the gesture information DB 52 and corresponds to the terminal controller 10 to execute a corresponding function according to the determination result. To communicate the signal. Here, when the gesture information generated by the user's gesture is preset in the gesture information DB 52, the gesture information comparison unit 14 extracts a command associated with the preset gesture information and executes the function execution unit 16. ) Can be delivered. In this case, the extracted command may be a control command for executing a specific function of the terminal 100.

기능 실행부(16)는 제스처 정보 비교부(14)로부터 추출된 명령어가 전달되면, 전달된 명령어에 따라 해당되는 기능을 실행한다. 예를 들어, 기능 실행부(16)는 메시지 기능을 실행하기 위한 제스처에 따른 명령어가 전달되면, 메시지 기능을 실행할 수 있다.When the command extracted from the gesture information comparison unit 14 is delivered, the function execution unit 16 executes a corresponding function according to the transferred command. For example, the function execution unit 16 may execute a message function when a command corresponding to a gesture for executing the message function is transmitted.

도 2는 본 발명의 실시 예에 따른 제스처 인식 단계를 설명하기 위한 예시도이다.2 is an exemplary view for explaining a gesture recognition step according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 사용자는 발광물질을 손가락에 도포하고, 제스처를 취할 수 있다. 이후, 단말기(100)는 감지부(70)를 통해 발광물질로부터 발광하는 적외선을 감지하여 제스처를 인식한다. 이때, 발광물질(71)은 휴대용 용기(73)에 저장되어 단말기(100)에 줄과 같은 장치에 의해 부착될 수 있다. 또한, 발광물 질(71)은 사용자에 의해 분무되거나 바르는 방식으로 손가락 등에 도포될 수 있다. 또한, 발광물질은 사람의 눈에 보이는 물질로 구성되거나 사람의 눈으로 인식될 수 없는 물질로 구성될 수 있다. 특히, 발광물질이 사람의 눈으로 인식될 수 없는 경우, 감지부(70)는 발광물질을 인식하기 위하여 적외선 필터를 장착할 수 있다.1 and 2, a user may apply a light emitting material to a finger and make a gesture. Thereafter, the terminal 100 detects infrared rays emitted from the light emitting material through the sensing unit 70 to recognize the gesture. In this case, the light emitting material 71 may be stored in the portable container 73 and attached to the terminal 100 by a device such as a string. In addition, the light emitting material 71 may be applied to a finger or the like by spraying or applying by a user. In addition, the light emitting material may be composed of a material visible to the human eye or a material that cannot be recognized by the human eye. In particular, when the light emitting material cannot be recognized by the human eye, the detector 70 may be equipped with an infrared filter to recognize the light emitting material.

사용자의 손에 발광물질(71)이 도포되면, 단말기(100)는 사용자의 요청에 따라 센서 기능을 활성화한다. 그리고 단말기(100)는 감지부(70)를 통해 제스처를 인식하기 위한 대기 모드를 실행한다. When the light emitting material 71 is applied to the user's hand, the terminal 100 activates the sensor function according to the user's request. In addition, the terminal 100 executes a standby mode for recognizing a gesture through the sensor 70.

대기 모드 실행 중 단말기(100)는 발광물질(71)이 도포된 사용자의 손동작에 의해 변화하는 빛을 감지하고, 감지된 빛을 분석하여 사용자의 제스처를 인식할 수 있다. During execution of the standby mode, the terminal 100 may detect light changing by a hand gesture of the user to which the light emitting material 71 is coated, and analyze the detected light to recognize a user's gesture.

도 3은 본 발명의 실시 예에 따른 단말기의 제스처를 이용한 사용자 인터페이스를 제공 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of providing a user interface using a gesture of a terminal according to an exemplary embodiment of the present invention.

1 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 사용자의 제스처를 이용한 사용자 인터페이스 제공 방법은 먼저, 사용자가 S101 단계에서 발광물질을 사용자의 손에 도포한다. 이때, 발광물질은 휴대가 가능한 용기에 저장되어 단말기(100)에 부착될 수 있으며, 분무방법 또는 바르는 방법 등으로 사용자의 손에 도포될 수 있다.1 to 3, in a method of providing a user interface using a gesture of a user according to an exemplary embodiment of the present invention, a user first applies a light emitting material to a user's hand in step S101. In this case, the light emitting material may be stored in a portable container and attached to the terminal 100, and may be applied to a user's hand by a spray method or a coating method.

발광물질이 도포되면, 단말 제어부(10)는 발광물질이 도포된 사용자의 제스처를 인식하기 위하여 S103 단계에서 감지부(70)를 제어하여 센서 및 카메라 기능을 활성화할 수 있다. 여기서, 센서 기능이 활성화되면, 단말 제어부(10)는 S105 단계에서 기 설정된 대기 화면을 표시부(40)에 출력하는 대기 모드를 실행할 수 있다. When the light emitting material is applied, the terminal controller 10 may activate the sensor and the camera function by controlling the sensing unit 70 in step S103 to recognize the gesture of the user to which the light emitting material is applied. In this case, when the sensor function is activated, the terminal controller 10 can execute a standby mode for outputting a preset standby screen to the display unit 40 in step S105.

그런 다음, 단말 제어부(10)는 S107 단계에서 적외선이 감지되는지 판단한다. 즉, 단말 제어부(10)는 사용자에게 도포된 발광물질이 발광하는 적외선에 해당하는 빛을 감지할 수 있다.Then, the terminal controller 10 determines whether infrared light is detected in step S107. That is, the terminal controller 10 may sense light corresponding to infrared light emitted from the light emitting material applied to the user.

적외선이 감지되면, 단말 제어부(10)는 S109 단계에서 적외선이 감지되는 시간이 기 설정된 시간 이상 인지 판단한다. 이때, 단말 제어부(10)는 S111 단계에서 적외선이 감지되는 시간이 기 설정된 시간에 도달하지 못하는 경우, 제스처를 오류 제스처로 판단하여 대기 모드를 다시 수행할 수 있다. 또한, 단말 제어부(10)는 적외선이 감지되지 않으면, S105 단계의 대기 모드를 계속 실행하거나 배터리 절약을 위한 절전 모드를 실행할 수 있다.When the infrared ray is detected, the terminal controller 10 determines whether the time for detecting the infrared ray is greater than or equal to a preset time in step S109. In this case, if the time of detecting the infrared rays does not reach the preset time in step S111, the terminal controller 10 may determine the gesture as an error gesture and perform the standby mode again. In addition, if the infrared ray is not detected, the terminal controller 10 may continue to execute the standby mode of step S105 or execute a power saving mode for battery saving.

한편, 기 설정된 시간 이상 제스처가 감지되면, 단말 제어부(10)는 S113 단계에서 감지된 제스처를 인식한다. 이때, 단말 제어부(10)는 사용자에게 도포된 발광물질로부터 발광하는 적외선을 분석한다. 단말 제어부(10)는 감지된 적외선의 파장을 굴절률의 차이에 따라 스펙트럼 처리하거나 적외선의 파장을 신호 처리할 수 있다. 이를 위해 단말 제어부(10)는 제스처 인식부(12)를 제어할 수 있다. 여기서, 사용자의 손에 도포되는 발광물질이 사람의 눈에 인식되지 않는 물질로 구성되는 경우, 감지부(70)는 적외선 필터를 장착하여 발광물질을 도포한 사용자의 손동작 제스처에 따른 변화를 인식할 수 있다.On the other hand, if a gesture is detected for a predetermined time or more, the terminal controller 10 recognizes the gesture detected in step S113. At this time, the terminal controller 10 analyzes the infrared light emitted from the light emitting material applied to the user. The terminal controller 10 may spectrally process the detected infrared wavelength according to a difference in refractive index or signal process the wavelength of the infrared ray. To this end, the terminal controller 10 may control the gesture recognition unit 12. Here, when the light emitting material applied to the user's hand is made of a material that is not recognized by the human eye, the detection unit 70 is equipped with an infrared filter to recognize the change according to the gesture of the user's hand applying the light emitting material. Can be.

제스처가 인식되면, 단말 제어부(10)는 S115 단계에서 인식된 제스처를 이용 하여 제스처 정보를 생성한다.When the gesture is recognized, the terminal controller 10 generates gesture information by using the gesture recognized in step S115.

생성된 제스처 정보는 제스처 정보 DB(52)에 기 설정되어 있는 제스처 정보와 비교하는 단계를 거치게 된다. 즉, 단말 제어부(10)는 S117 단계에서 생성된 제스처 정보와 제스처 정보 DB(52)에 기 설정된 제스처 정보가 매칭되는지 판단한다. 이를 위해 단말 제어부(10)는 제스처 정보 비교부(14)를 제어하여 제스처 정보를 비교할 수 있다. 비교 결과, 매칭되는 제스처 정보가 존재하는 경우 단말 제어부(10)는 S119 단계에서 매칭된 제스처 정보에 대응하는 명령어를 추출한다. 한편, 생성된 제스처 정보와 매칭되는 제스처 정보가 제스처 정보 DB(52)에 존재하지 않는 경우, 단말 제어부(10)는 S121 단계에서 화면에 메시지를 표시할 수 있다. 예를 들어, 단말 제어부(10)는 팝업 메시지로 '매칭되는 제스처가 존재하지 않습니다. 다른 제스처를 입력해 주세요.' 혹은 '매칭된 제스처가 존재하지 않습니다. 제스처를 다시 한번 입력해 주세요'라는 메시지를 제시할 수 있다. 이때, 팝업 메시지는 제시된 문구에 한정되는 것이 아니고, 단말기(100)의 설정에 따라 다양한 종류의 문구가 제시될 수 있다. 그리고 나서, 단말 제어부(10)는 사용자의 제스처를 인식하기 위한 S107 단계를 다시 수행한다.The generated gesture information is compared with the gesture information preset in the gesture information DB 52. That is, the terminal controller 10 determines whether the gesture information generated in step S117 and the gesture information set in the gesture information DB 52 match. To this end, the terminal controller 10 may control the gesture information comparison unit 14 to compare the gesture information. As a result of the comparison, when there is matching gesture information, the terminal controller 10 extracts a command corresponding to the matched gesture information in step S119. Meanwhile, when gesture information matching the generated gesture information does not exist in the gesture information DB 52, the terminal controller 10 may display a message on the screen in step S121. For example, the terminal control unit 10 does not have a gesture that is matched with a pop-up message. Please enter a different gesture. " Or 'Matched gesture does not exist. Please enter the gesture again. ' In this case, the pop-up message is not limited to the presented phrase, and various kinds of phrases may be presented according to the setting of the terminal 100. Then, the terminal controller 10 performs step S107 again to recognize the gesture of the user.

명령어가 추출되면, 단말 제어부(10)는 S123 단계에서 추출된 명령어에 따라 해당되는 기능을 실행할 수 있다. 이때, 단말 제어부(10)는 추출된 명령어에 따라 해당되는 기능을 실행하기 위하여 기능 실행부(16)를 제어할 수 있다. 예를 들어, 사용자는 발광물질이 도포된 손동작의 움직임으로 원을 그리는 형태의 동작을 취하면, 단말기는 발광물질을 감지하여 제스처를 인식하고, 인식된 제스처에 대응하는 통화 기능을 실행할 수 있다. 여기서, 단말기는 사용자의 제스처에 따라 메시지 기능, 폰 북 기능 또는 메모장 기능 등과 같은 다양한 기능을 실행할 수 있다.When the command is extracted, the terminal controller 10 may execute a corresponding function according to the command extracted in step S123. In this case, the terminal controller 10 may control the function execution unit 16 to execute a corresponding function according to the extracted command. For example, when the user takes a circular motion by the movement of the hand gesture coated with the light emitting material, the terminal may detect the light emitting material to recognize the gesture and execute a call function corresponding to the recognized gesture. In this case, the terminal may execute various functions such as a message function, a phone book function, or a memo pad function according to a gesture of the user.

본 발명의 실시 예에 따른 단말기(100)의 발광물질이 도포된 사용자의 손동작에 따라 제스처를 이용한 사용자 인터페이스 제공 방법을 설명하기 위하여 감지부(70)를 통해 감지되는 빛을 적외선으로 설명하지만, 빛은 이에 한정되는 것이 아니다. In order to explain a method of providing a user interface using a gesture according to a user's hand gesture to which a light emitting material of the terminal 100 is applied according to an embodiment of the present invention, the light detected through the sensing unit 70 will be described in infrared rays. Is not limited to this.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples for clarity and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.

본 발명은 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법에 관한 것으로, 발광물질이 도포된 사용자의 손 동작에 의해 제스처가 행해지는 경우 감지되는 적외선을 분석하여 제스처를 인식하고, 인식된 제스처에 따라 대응하는 기능을 실행한다. 이러한 과정을 통해 단말기는 센서를 통해 발광물질이 도포된 사용자의 손동작 제스처를 인식함으로써, 단말기의 사용자에게 기능 조작에 따른 즐거움과 편리함의 기대효과를 높이고, 단말기의 사용 빈도수의 향상을 가지고 올 수 있다.The present invention relates to a terminal and a method for providing a user interface using a gesture, wherein a gesture is recognized by analyzing infrared rays detected when a gesture is performed by a user's hand gesture coated with a light-emitting material, and corresponding to the recognized gesture. Run the function. Through this process, the terminal recognizes the hand gesture of the user to which the light emitting material is applied through the sensor, thereby enhancing the user's expectation of enjoyment and convenience according to the function operation and improving the frequency of use of the terminal. .

* 도면의 주요 부분에 대한 설명 *Description of the Related Art [0002]

10 : 단말 제어부 12 : 제스처 인식부10: terminal control unit 12: gesture recognition unit

14 : 제스처 정보 비교부 16 : 기능 실행부14: gesture information comparison unit 16: function execution unit

20 : 통신부 30 : 입력부20: communication unit 30: input unit

40 : 표시부 50 : 저장부40: display unit 50: storage unit

52 : 제스처 정보 DB 60 : 오디오 처리부52: gesture information DB 60: audio processing unit

70 : 감지부 71 : 발광물체70: sensing unit 71: light emitting object

73 : 휴대용 용기 100 : 단말기73: portable container 100: terminal

Claims

Sensing unit for detecting the light emitted from the light emitting material applied to the user's hand; And

Detects a gesture of a user, determines whether the gesture is detected for a preset time, and when the gesture is detected for a preset time, generates gesture information corresponding to the gesture, and generates the generated gesture information and preset gesture information. A terminal controller which extracts a command corresponding to the generated gesture information and executes a function according to the extracted command when the generated gesture information is compared with preset gesture information;

User interface providing terminal using a gesture, characterized in that it comprises a.

The method of claim 1, wherein the terminal control unit

A gesture recognizer configured to recognize the gesture by analyzing the detected light;

A gesture information comparison unit configured to generate the gesture information corresponding to the gesture and to compare the generated gesture information with preset gesture information to extract a command corresponding to the generated gesture information; And

A function execution unit executing a function according to the extracted command;

The method of claim 1,

A gesture information DB in which the gesture information corresponding to the gesture is stored;

A storage unit which stores a command for executing a function associated with the gesture information;

The user interface providing terminal using a gesture, characterized in that it further comprises.

The method of claim 1, wherein the detection unit

Terminal for providing a user interface using a gesture, characterized in that consisting of an infrared sensor or an infrared camera for detecting the light.

The method of claim 1, wherein the light emitting material

The user interface providing terminal using a gesture, characterized in that for emitting infrared light, stored in a portable container attached to the terminal, is detected by the infrared filter for detecting the infrared.

A sensing step of detecting, by a terminal, a gesture of a user to which a light emitting material emitting light is applied;

Determining, by the terminal, whether the gesture is detected for a predetermined time or more;

Generating, by the terminal, gesture information corresponding to the gesture when the gesture is detected for more than a preset time;

A comparison step of the terminal comparing the generated gesture information with preset gesture information;

Extracting, by the terminal, a command corresponding to the generated gesture information when the generated gesture information is associated with the preset gesture information as a result of the comparison; And

An execution step of the terminal executing a function according to the extracted command;

Method for providing a user interface using a gesture, characterized in that it comprises a.

The method of claim 6, wherein the light is

Method for providing a user interface using a gesture, characterized in that it comprises an infrared ray.

The method of claim 6, wherein the detecting step

Detecting, by the terminal, light emitted from the light emitting material; And

Recognizing the gesture by the terminal spectral processing the detected wavelength of light according to a refractive index or signal processing the detected wavelength of light;

The method of claim 6, wherein the gesture is

Method of providing a user interface using a gesture, characterized in that the operation of drawing a character, symbol or figure.

The method of claim 6, wherein the determining step

Determining that the gesture is an error gesture when the light is not detected for more than a preset time;

Method for providing a user interface using a gesture, characterized in that it further comprises.

The method of claim 6, wherein the comparing step

If the gesture information associated with the generated gesture information is not set in the gesture information DB, displaying, by the terminal, a message for requesting re-input of the gesture or input of another gesture;

The method of claim 6, wherein the executing step

And the terminal executes at least one of a call function, a message function, a phone book function, and a memo pad function according to the gesture.