[go: up one dir, main page]

KR100799766B1 - 포인터 이동 제어 장치 - Google Patents

포인터 이동 제어 장치 Download PDF

Info

Publication number
KR100799766B1
KR100799766B1 KR1020060104226A KR20060104226A KR100799766B1 KR 100799766 B1 KR100799766 B1 KR 100799766B1 KR 1020060104226 A KR1020060104226 A KR 1020060104226A KR 20060104226 A KR20060104226 A KR 20060104226A KR 100799766 B1 KR100799766 B1 KR 100799766B1
Authority
KR
South Korea
Prior art keywords
image data
pointer
key input
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020060104226A
Other languages
English (en)
Inventor
김문수
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060104226A priority Critical patent/KR100799766B1/ko
Application granted granted Critical
Publication of KR100799766B1 publication Critical patent/KR100799766B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 포인터 이동 제어 장치에 관한 것으로, 특히 피사체의 움직임을 이용하여 포인터 이동을 제어하는 장치에 관한 것이다. 본 발명에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에 있어서, 미리 설정된 시간을 간격으로 점등되는 광원부; 광원부가 활성화된 상태에서 피사체를 촬상하여 제1 영상 데이터를 생성하고, 광원부가 불활성화된 상태에서 피사체를 촬상하여 제2 영상 데이터를 생성하는 이미지 센서부; 제1 영상 데이터와 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성하는 피사체 추출부; 제3 영상 데이터를 분석하여 촬상된 피사체의 중심점을 산출하는 중심 판단부; 중심점에 상응하는 좌표에 포인터를 위치시키는 포인터 위치 설정부; 및 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 포인터 위치 판단부를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치가 제공된다. 본 발명에 따르면 카메라 촬상장치를 이용하여 디스플레이 상의 포인터를 제어할 수 있다.
포인터, 이미지 센서, 감마 보정, 선명도

Description

포인터 이동 제어 장치{Apparatus for controlling moving of pointer}
도 1은 본 발명을 구현하기 위한 일 실시예에 따른 포인터 이동 제어 장치가 이동 통신 단말기에 마련된 경우를 도시한 도면.
도 2a는 본 발명을 구현하기 위한 일 실시예에 따른 포인터 이동 제어 장치의 블록 구성도.
도 2b는 본 발명을 구현하기 위한 일 실시예에 따른 포인터 이동 제어 시 사용되는 기준 휘도값에 대한 설정 방법을 도시한 도면.
도 3a는 본 발명을 구현하기 위한 일 실시예에 따른 포인터 이동 제어 장치의 평면도.
도 3b는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치의 키입력 인식 영역 구획 방법을 나타낸 도면.
도 4는 본 발명의 바람직한 제1 실시예에 따른 키입력 인식 방법에 관한 순서도.
도 5는 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치의 록 구성도.
도 6은 본 발명의 바람직한 제2 실시예에 따른 키입력 인식 방법에 관한 순 서도.
도 7은 본 발명을 구현하기 위한 일 실시예에 따른 포인터 이동 제어 장치의 구성을 나타내는 개략도.
도 8a는 본 발명을 구현하기 위한 다른 실시 예에 따른 포인터 이동 제어 장치의 구성을 나타내는 단면도.
도 8b는 본 발명을 구현하기 위한 다른 실시예에 따른 포인터 이동 제어 장치의 평면도.
도 9a는 본 발명을 구현하기 위한 또 다른 실시예에 따른 포인터 이동 제어 장치 상에 피사체가 위치한 상태를 나타내는 개략도.
도 9b는 본 발명의 바람직한 제2 실시예에 따른 키입력 인식 영역 구획 방법의 일 실시예를 나타낸 도면.
도 9c는 본 발명의 바람직한 제3 실시예에 따른 키입력 인식 영역 구획 방법의 다른 실시예를 나타낸 도면.
<도면의 주요 부분에 대한 부호의 설명>
210 : 촬상부 213 : 필터부
216 : 렌즈부 219 : 이미지 센서부
230 : 이미지 처리부 231 : 선명도 조절부
233 : 외곽선 추출부 235 : 감마 보정부
237 : 중심 판단부 238 : 포인터 위치 설정부
239 : 포인터 위치 판단부 250 : 메인 제어부
본 발명은 포인터 이동 제어 장치에 관한 것으로 특히 피사체의 움직임을 이용하여 포인터 이동을 제어하는 장치에 관한 것이다.
일반적으로 디스플레이 장치는 전기적 신호를 영상 신호로 변환하여 출력하는 장치이다. 이러한 디스플레이 장치의 종류에는 CRT(cathod ray tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 유기 발광 소자(OLED : Organic Light Emitting Diodes) 디스플레이 장치 등이 있다. 각각의 디스플레이 장치는 영상 신호에 상응하는 R, G, B의 광을 출사함으로써 이미지에 상응하는 컬러를 구현한다.
또한, 현재 전자공학 및 통신공학의 비약적인 발전에 따라 사용자는 컴퓨터, TV 등 디지털 가전기기 또는 이동 통신 단말기 등을 이용하여 인터넷 접속, 화상 통신 및 동영상 메시지 전송, 디지털 뮤직 청취 및 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 이러한 다양한 기능을 향유하기 위해 선택을 위한 효율적인 키패드 입력이 요망되고 있다.
여기서, 반도체 기술의 발전으로 저렴한 가격에 카메라 촬상 장치의 공급이 가능하게 되어 이를 장착한 컴퓨터, 이동 통신 단말기가 보급되어 카메라 촬상 장 치가 구비된 전자기기를 쉽게 접할 수 있게 되었다.
또한, 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용분야가 발전하고 있다. 이러한 다양한 응용분야 중 하나로 카메라 촬상장치를 입력수단으로 이용하여 정보를 전달하는 기술개발이 진행되고 있다.
그러나, 기존의 키패드를 이용하여 메뉴 기능을 선택하여 방향키 및 선택키 등의 메뉴선택을 위한 부가적인 키(예를 들어, 이동통신 단말기의 경우 통화 버튼 및 무선 인터넷 접속 버튼, MP3 플레이어의 경우 파일 재생 버튼 및 파일 선택 버튼 등)가 포함되어 있다. 따라서, 디지털 가전기기나 이동 통신 단말기의 제조시 이에 대한 금형 작업이 필요하며, 이러한 이유로 전자 장비의 제조공정이 복잡해지고 그 제조 단가가 상승하게 되는 문제점이 있다.
본 발명은 피사체 주위의 명도에 관계없이 피사체의 움직임을 추출하여 디스플레이 상의 포인터를 제어할 수 있는 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 피사체의 움직임을 추출하기 위해 피사체를 조명할 별도의 광원이 필요하지 않은 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 피사체의 움직임을 추출하기 위해 복수의 영상 프레임이 필요없는 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 카메라 촬상장치를 이용하여 디스플레이 상의 포인터를 제 어할 수 있는 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치의 소형화가 가능한 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 포인터 이동 제어 장치를 제공하고자 한다.
또한, 본 발명은 디스플레이 상에 표현되는 포인터 뿐만 아니라, 디스플레이가 구비되지 않은 장치에서 메뉴간 이동 또는 볼륨의 수치와 같이 선택적 기능을 제어할 수 있는 포인터 이동 제어 방법 및 그 장치를 제공한다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명에 바람직한 일 실시예에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에 있어서, 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 촬상부; 상기 촬상부에서 촬상한 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 선명도 조절부; 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 생성하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부; 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 포인터 위치 설정부; 및 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 포인터 위치 판단부를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치가 제공된다.
여기서, 상기 포인터 이동 제어 장치는 사용자의 키입력에 상응하는 키입력 명령을 생성하여 출력하는 키입력부를 더 포함하되, 상기 포인터 위치 판단부는 상기 키입력 명령에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력할 수 있다.
여기서, 상기 포인터 위치 판단부는 상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단한 후 상응하는 기능 수행 명령을 생성하여 출력할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 포인터 위치 판단부는 상기 간격 영역에 상기 특정 위치가 속하는 경우에는 상기 기능 수행 명령을 생성하지 아니할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 포인터 위치 판단부는 상기 간격 영역에 상기 특정 위치가 속하는 경우에는 에러(error)에 상응하는 상기 기능 수행 명령을 생성할 수 있다.
여기서, 상기 복수의 키입력 인식 영역 중 상기 어느 하나의 영역은 비설정 영역으로 미리 설정되어 있고, 상기 비설정 영역은 상기 제1 영상 데이터 또는 상기 제2 영상 데이터의 중심부에 위치되며, 상기 비설정 영역에 의하여 상기 비설정 영역을 제외한 상기 복수의 키입력 인식 영역이 구분되되, 상기 포인터 위치 판단부는 상기 비설정 영역에 상기 특정 위치가 속하는 경우에는 상기 기능 수행 명령을 생성하지 아니할 수 있다.
여기서, 상기 포인터 이동 제어 장치는 메인 제어부를 더 포함하고, 상기 키입력부는 상기 포인터 이동 제어 장치의 하부에 위치하되, 상기 포인터 위치 판단부는 상기 기능 수행 명령을 생성하여 상기 메인 제어부로 출력하고, 상기 메인 제어부는 상기 기능 수행 명령에 상응하는 기능을 수행하도록 상기 포인터 이동 제어 장치의 동작을 제어할 수 있다.
여기서, 상기 포인터 이동 제어 장치는 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표를 구하는 중심 판단부를 더 포함할 수 있다.
여기서, 상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심일 수 있다.
여기서, 상기 중심 판단부는 하기 식에 의해 상기 외곽선의 무게 중심을 산출할 수 있다.
Figure 112006077463816-pat00001
이때,
Figure 112006077463816-pat00002
은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
Figure 112006077463816-pat00003
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
여기서, 상기 중심 판단부는 하기 식에 의해 상기 외곽선의 무게 중심을 산출할 수 있다.
Figure 112006077463816-pat00004
이때,
Figure 112006077463816-pat00005
은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
Figure 112006077463816-pat00006
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
본 발명의 바람직한 다른 실시예에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에 있어서, 미리 설정된 시간을 간격으로 점등되는 광원부; 상기 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하고, 상기 광원부가 불활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 이미지 센서부; 상기 제1 영상 데이터와 상기 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성하는 피사체 추출부; 상기 제3 영상 데이터를 분석하여 촬상된 상기 피사체의 중심점을 산출하는 중심 판단부; 상 기 중심점에 상응하는 좌표에 상기 포인터를 위치시키는 포인터 위치 설정부; 및 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 포인터 위치 판단부를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치가 제공된다.
여기서, 상기 포인터 이동 제어 장치는 사용자의 키입력에 상응하는 키입력 명령을 생성하여 출력하는 키입력부를 더 포함하되, 상기 포인터 위치 판단부는 상기 키입력 명령에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력할 수 있다.
여기서, 상기 포인터 위치 판단부는 상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단한 후 상응하는 기능 수행 명령을 생성하여 출력할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 포인터 위치 판단부는 상기 간격 영역에 상기 특정 위치가 속하는 경우에는 상기 기능 수행 명령을 생성하지 아니할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 포인터 위치 판단부는 상기 간격 영역에 상기 특정 위치가 속하는 경우에는 에러(error)에 상응하는 상기 기능 수행 명령을 생성할 수 있다.
여기서, 상기 복수의 키입력 인식 영역 중 상기 어느 하나의 영역은 비설정 영역으로 미리 설정되어 있되, 상기 비설정 영역은 상기 제1 영상 데이터 또는 상기 제2 영상 데이터의 중심부에 위치되며, 상기 비설정 영역에 의하여 상기 비설정 영역을 제외한 상기 복수의 키입력 인식 영역이 구분될 수 있다.
여기서, 상기 포인터 이동 제어 장치는 메인 제어부를 더 포함하고, 상기 키입력부는 상기 포인터 이동 제어 장치의 하부에 위치하되, 상기 포인터 위치 판단부는 상기 기능 수행 명령을 생성하여 상기 메인 제어부로 출력하고, 상기 메인 제어부는 상기 기능 수행 명령에 상응하는 기능을 수행하도록 상기 포인터 이동 제어 장치의 동작을 제어할 수 있다.
여기서, 상기 피사체의 중심점은 상기 피사체의 무게 중심이되, 상기 중심 판단부는 하기 식에 의해 상기 피사체의 중심점을 산출할 수 있다.
Figure 112006077463816-pat00007
이때,
Figure 112006077463816-pat00008
은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
Figure 112006077463816-pat00009
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
여기서, 상기 피사체의 중심점은 상기 피사체의 무게 중심이되, 상기 중심 판단부는 하기 식에 의해 상기 피사체의 중심점을 산출할 수 있다.
Figure 112006077463816-pat00010
이때,
Figure 112006077463816-pat00011
은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
Figure 112006077463816-pat00012
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
본 발명의 바람직한 또 다른 실시예에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에서 기능 수행 명령을 생성하는 방법에 있어서, (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계; (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계; (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계; (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 단계; (e) 사용자의 키입력에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법이 제공된다.
여기서, 상기 단계 (e)는 상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단하는 단계; 상기 특정 영역이 속하는 키입력 인식 영역에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 단계 (e)는 상기 특정 영역이 속하는 키입력 인식 영역이 상기 간격 영역인 경우에는 상기 기능 수행 명령을 생성하지 아니하는 단계를 더 포함할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 단계 (e)는 상기 특정 영역이 속하는 키입력 인식 영역이 상기 간격 영역인 경우에는 상기 에러(error)에 상응하는 기능 수행 명령을 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 복수의 키입력 인식 영역 중 상기 어느 하나의 영역은 비설정 영역으로 미리 설정되어 있고, 상기 비설정 영역은 상기 제1 영상 데이터 또는 상기 제2 영상 데이터의 중심부에 위치되며, 상기 비설정 영역에 의하여 상기 비설정 영역을 제외한 상기 복수의 키입력 인식 영역이 구분되는 것을 특징으로 하되, 상기 단계 (e)는 상기 특정 영역이 속하는 키입력 인식 영역이 상기 비설정 영역인 경우에는 상기 기능 수행 명령을 생성하지 아니하는 단계를 더 포함할 수 있다.
여기서, 상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심이고, 상기 무게 중심은 하기 식에 의해 산출될 수 있다.
Figure 112006077463816-pat00013
이때,
Figure 112006077463816-pat00014
은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
Figure 112006077463816-pat00015
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
여기서, 상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심이고, 상기 무게 중심은 하기 식에 의해 산출될 수 있다.
Figure 112006077463816-pat00016
이때,
Figure 112006077463816-pat00017
은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
Figure 112006077463816-pat00018
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
본 발명의 바람직한 또 다른 실시예에 따르면, 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에서 기능 수행 명령을 생성하는 방법에 있어서, (a) 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계; (b) 상기 광원부가 비활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 단계; (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성하는 단계; (d) 상기 제3 영상 데이터를 분석하여 촬상된 상기 피사체의 중심점을 산출하는 단계; (e) 상기 중심점에 상응하는 좌표에 상기 포인터를 위치시키는 단계; 및 (f) 사용자의 키입력에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함하 는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법이 제공된다.
여기서, 상기 단계 (f)는 상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단하는 단계; 상기 특정 영역이 속하는 키입력 인식 영역에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 단계 (f)는 상기 특정 영역이 속하는 키입력 인식 영역이 상기 간격 영역인 경우에는 상기 기능 수행 명령을 생성하지 아니하는 단계를 더 포함할 수 있다.
여기서, 상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되, 상기 단계 (f)는 상기 특정 영역이 속하는 키입력 인식 영역이 상기 간격 영역인 경우에는 상기 에러(error)에 상응하는 기능 수행 명령을 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 복수의 키입력 인식 영역 중 상기 어느 하나의 영역은 비설정 영역으로 미리 설정되어 있고, 상기 비설정 영역은 상기 제1 영상 데이터 또는 상기 제2 영상 데이터의 중심부에 위치되며, 상기 비설정 영역에 의하여 상기 비설정 영역을 제외한 상기 복수의 키입력 인식 영역이 구분되는 것을 특징으로 하되, 상기 단계 (f)는 상기 특정 영역이 속하는 키입력 인식 영역이 상기 비설정 영역인 경우에는 상기 기능 수행 명령을 생성하지 아니하는 단계를 더 포함할 수 있다.
여기서, 상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심이고, 상기 무게 중심은 하기 식에 의해 산출될 수 있다.
Figure 112006077463816-pat00019
이때,
Figure 112006077463816-pat00020
은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
Figure 112006077463816-pat00021
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
여기서, 상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심이고, 상기 무게 중심은 하기 식에 의해 산출될 수 있다.
Figure 112006077463816-pat00022
이때,
Figure 112006077463816-pat00023
은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
Figure 112006077463816-pat00024
는 상기 외곽선을 나타내는 픽셀의 좌표값임.
여기서, 상기 포인터 이동 제어 장치는 미리 설정된 기준 좌표계를 기준으로 일정한 방향으로 이동되어 위치하되, 상기 키입력 인식 영역이 상기 이동에 상응하여 변경될 수 있다.
이하, 본 발명에 따른 포인터 이동 제어 방법 및 그 장치의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 발명에 기재된 포인터는 디스플레이 상에 표현되는 포인터뿐만 아니라, 디스플레이가 구비되지 않은 장치에서 메뉴간 이동 또는 볼륨의 수치와 같이 선택적 기능을 하는 모든 기능을 의미한다. 즉, 본 발명은 디스플레이 상에 포인터를 구비한 경우(예를 들면, 컴퓨터, 이동 통신 단말기, PDA 등)에서 디스플레이 상의 포인터를 제어하는 방법뿐만 아니라 및 디스플레이가 구비되지 않은 장치(예를 들면, 라디오, MP3 플레이어 등)에서 메뉴/기능 간 이동/선택을 제어하는 방법에 모두 적용가능하며, 이하에서는 설명의 편의상 이동 통신 단말기의 디스플레이를 중심으로 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 포인터 이동 제어 장치가 폴더형 이동 통신 단말기에서 마련되는 경우를 도시한 도면이다. 도 1을 참조하면, 이동 통신 단말기(100)는 촬상부(110), 광원부(120(1), 120(2)), 키패드부(130)를 포함하며, 움직임 추출을 위한 피사체(예를 들면, 사용자 손가락)(140)가 도시된다.
광원부(120(1), 120(2))는 소정의 광을 인체의 특성부위(예를 들어, 손가락 단부)(140)에 조사한다. 광원부(120(1), 120(2))에서 출사된 광이 피사체(140)에서 반사하여 촬상부(110)에 입사할 수 있도록 광원부(120(1), 120(2))의 수 및 위치가 정해질 수 있다. 예를 들면, 광원부(120(1), 120(2))는 촬상부(110)의 주변에 형성될 수 있으며, 그 수는 도 1에 도시된 바와 같이 2개로 구현될 수 있으나, 본 발명이 이에 한정되는 것이 아님은 당연하다. 또한, 피사체(140)의 위치는 광원부(120(1), 120(2))에서 출사된 광을 반사하는 위치가 될 수 있으며, 촬상부(110) 또는 이동 통신 단말기(100)에 접촉되거나 비접촉(무접점)될 수 있다. 또한, 다른 실시예에 의하면, 별도의 광원부(120(1), 120(2))가 구비되지 않고, 이동 통신 단말기(100)의 디스플레이에서 조사된 후 피사체(140)에서 반사하여 촬상부(110)에 입사되는 광을 이용하여 본 발명이 수행될 수도 있다.
광원부(120(1), 120(2))에서 조사된 광은 피사체(140)에서 반사되어 촬상부(110)에 계속적으로 입사되며, 촬상부(110)는 피사체(140)에 대한 이미지를 생성한다. 생성된 피사체의 이미지는 영상 처리되어 피사체(140)의 움직임이 추출되며, 추출된 피사체(140)의 움직임에 상응하여 이동 통신 단말기(100)에 마련된 디스플레이에 표시되는 포인터의 이동을 제어한다. 여기서, 디스플레이에 표시되는 포인터는 소정의 형상(화살표 형상 등)을 가지는 포인터 또는 커서가 될 수도 있고, 별도로 표시는 되지 않지만, 디스플레이 상에 표시되는 버튼, 숫자, 도형 등의 선택(음영을 포함한다) 기능을 수행하기 위해 디스플레이 상에서 이동하는 다양한 형태를 포함할 수 있다.
또한, 다른 실시예에 의하면, 추출된 피사체(140)의 움직임에 상응하여 각 프레임에서 특정 휘도 성분으로 표시되는 포인터가 해석되고, 연속된 프레임에서 해당 포인터의 이동 궤적으로 특성벡터가 해석될 수 있으며, 해석된 특성벡터에 상응하도록 저장된 메뉴 기능이 실행될 수도 있다. 예를 들면, 추출된 피사체(140)의 움직임이 상하, 좌우로 파악되거나 특정 형태(예를 들면, 원형, 삼각형, 사각형 등)로 파악되는 경우 이러한 움직임에 상응하여 미리 설정된 기능이 실행될 수 있다. 즉, 본 발명의 실시예에 따라 추출된 피사체(140)의 움직임은 디스플레이에서 커서의 이동을 제어할 수도 있으며, 소정의 움직임 벡터를 추출하여 미리 지정된 메뉴를 실행할 수도 있다.
이 경우 별도의 기능 버튼(또는 버튼 입력의 조합)에 의해 메뉴를 달리 정할 수도 있다. 예를 들면, * 버튼이 눌려진 상태에서 추출된 피사체(140)의 움직임과 # 버튼이 눌려진 상태에서의 추출된 피사체(140)의 움직임에 따라 서로 다른 기능을 수행하도록 설정할 수 있다.
또한, 키패드부(130)는 버튼 방식 또는 터치 스위치 등 다양한 방식으로 구현되어, 숫자, 문자, 특수 기호 등을 사용자가 입력할 수 있도록 한다.
이상에서 포인터 이동 제어 장치를 일반적으로 도시한 도면을 설명하였으며, 이하에서는 첨부 도면을 참조하여, 피사체(140)로부터 추출된 영상 데이터를 이용하여 피사체(140)의 일단의 특정 위치에 상응하는 좌표값을 포인터에 대응시키는 방법 및 그 장치를 설명한다. 본 발명에 따른 실시예는 크게 3가지로 구분되는데, 첫째, 피사체(140)를 촬상하여 생성된 영상 데이터의 선명도를 조절하여 선명도가 서로 다른 프레임으로부터 피사체(140)의 일단의 외곽선을 추출하는 방법, 둘째, 피사체(140)를 미리 설정된 시간 간격으로 촬상한 복수의 서로 다른 영상 데이터를 비교하여 피사체(140)의 중심점을 추출하는 방법으로 나뉜다. 이하에서 차례대로 설명한다.
도 2a는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치의 블록 구성도이다.
도 2a를 참조하면, 포인터 이동 제어 장치(200)는 포인터 이동 제어 장치, 디스플레이부(240) 및 메인 제어부(250)를 포함한다. 포인터 이동 제어 장치는 촬상부(210), 이미지 처리부(230) 및 디스플레이부(240)를 포함할 수 있으며, 촬상부(210)는 광원부(211), 필터부(213), 렌즈부(216) 및 이미지 센서부(219)를 포함할 수 있으며, 이미지 처리부(230)는 선명도 조절부(231), 외곽선 추출부(233), 감마 보정부(235), 중심 판단부(237), 포인터 위치 설정부(238) 및 포인터 위치 판단부(239)를 포함할 수 있다. 또한, 비록 도시하지는 않았으나 포인터 이동 제어 장치(200)는 각종 데이터를 저장하기 위한 저장부, 통신을 수행하기 위한 통신부 등을 더 포함할 수 있음은 자명하다.
피사체로부터 입사된 광은 필터부(213) 및 렌즈부(216)를 경유하여 이미지 센서부(219)로 조사될 수 있다. 필터부(213)는 특정 파장의 광만을 통과시킴으로써 피사체의 움직임을 정확히 측정할 수 있도록 한다. 즉, 본 발명의 일실시예에 따른 포인터 이동 제어 장치가 광원부(211)를 포함하는 경우 광원부(211)는 특정의 파장을 가지는 광을 출력할 수 있고, 이러한 광은 피사체에서 반사하여 필터부(213)를 통과함으로서 주위의 노이즈로 작용할 수 있는 다른 파장의 광을 차단할 수 있는 효과가 있다. 예를 들면, 광원부(211)는 적외선을 출사하고, 필터부(213)는 적외선만을 통과할 수 있도록 하는 기능을 수행할 수 있다. 여기서, 본 발명에 이용될 수 있는 적외선은 태양광에서 상대적으로 비율이 작은 광이 될 수 있으며, 예를 들면, 적외선의 파장은 솔라 스펙트럼에서 상대적으로 광량이 작은 광의 파장인 900~980nm, 1080~1180nm, 1325~1425nm, 1800~2000nm 등이 될 수 있다.
여기서, 필터부(213)가 포함되는 경우를 설명하고 있으나 필터부(213)가 포함되지 않고 피사체로부터 조사되는 모든 광을 이용하여 본 발명이 적용될 수 있음은 당연하다. 렌즈부(216)는 필터부(213)를 통과한 광을 이미지 센서부(219)로 집속하는 기능을 수행할 수 있다.
이미지 센서부(219)는 CMOS(Complementary metal oxide semiconductor) 이미지 센서 또는 CCD(charge coupled device) 이미지 센서가 될 수 있다. CMOS(Complementary metal oxide semiconductor) 이미지 센서는 포토 다이오드(photo diode)를 포함하는 다수의 단위 픽셀로 구성되고, 센서에서 출력되는 신호는 디지털 전기 신호로서 이러한 단위 픽셀은 제어 회로 및 신호 처리에 의해 구동된다. CCD(charge coupled device) 이미지 센서는 다수개의 MOS 캐패시터를 포함하며, 이러한 MOS 캐패시터에 전하(캐리어)를 이동시킴으로써 아날로그 전기 신호를 출력하여 동작된다.
이러한 이미지 센서부(219)는 광을 감지할 수 있는 복수의 픽셀들을 가지고 있다. 따라서 피사체가 위치한 좌표값에 대응되는 광이 입사되는 위치를 감지하여 디스플레이부(240)의 포인터를 이동시키기 위해 해당 좌표값을 산출할 수 있도록 한다.
이미지 처리부(230)는 이미지 센서부(219)에서 인식한 피사체의 영상 데이터로부터 피사체의 움직임에 상응하는 좌표값을 추출한다. 이를 자세히 살펴보면, 선명도 조절부(231)는 촬상된 피사체의 제1 영상 데이터의 선명도를 조절하여 제1 영상 데이터와 다른 제2 영상 데이터를 생성한다. 즉, 선명도 조절부(231)는 촬상된 피사체의 제1 영상 데이터의 픽셀의 색상 대비, 명도 대비 및 채도 대비 중 어느 하나 이상을 증가시킴으로써 선명도를 조절할 수 있다.
여기서, 이미지의 선명도(鮮明度, sharpness)는 이미지의 명암 경계 부분의 명확도를 나타내는 것으로서, 피사체의 이미지의 선명도가 증가하면, 경계 부분의 명확도가 증가하기 때문에 피사체를 촬상한 이미지에서 소정의 피사체만의 외곽선(또는 윤곽(edge))을 파악하기 용이한 장점이 있다. 즉, 선명도가 높은 픽셀에 대해서 색상 대비, 명도 대비 및 채도 대비 중 어느 하나를 증가시킴으로써 선명도를 증가시킬 수 있다. 여기서, 렌즈부(216)의 심도(depth of field)에 따라서, 즉, 렌즈부(216)에 의해 형성되는 피사체의 상이 뚜렷하게 보일 수 있는 범위안에서 피사체의 이미지의 선명도가 달리 표현될 수 있다. 일반적으로, 렌즈부(216)의 초점 거리와 유사한 거리에 위치한 피사체의 외곽선은 선명도가 크지만, 렌즈부(216)의 초점 거리와 먼 거리에 위치한 배경은 선명도가 작게 된다.
본 발명의 제1 실시예에 따른 선명도 조절부(231)를 이용하는 경우 렌즈부(216)의 초점 거리와 유사한 거리에 위치한 피사체의 외곽선은 선명도가 더 증가 할 것이나, 렌즈부(216)의 초점 거리와 먼 거리에 위치한 배경은 선명도가 더 작게 될 수 있다. 따라서, 선명도 조절부(231)에 의해 피사체의 외곽선은 배경보다 선명도가 더 커지게 되므로, 이를 파악하여 이용하기가 더 용이하게 될 수 있다.
외곽선 추출부(233)는 피사체를 촬상하여 생성한 제1 영상 데이터와 이를 영상 처리한 제2 영상 데이터의 차분 값을 추출하여 피사체의 외곽선을 추출한다. 즉, 선명도 조절부(231)에서 생성된 선명도가 높은 제2 영상 데이터와 촬상된 피사체의 제1 영상 데이터의 차분 값은 피사체의 외곽선을 나타낼 수 있다. 추출되는 피사체의 외곽선은 촬상부(210)에 인접한 피사체의 일단의 외곽선이 될 수 있다.
여기서, 휘도값이 미리 설정된 문턱값(또는 기준 휘도값) 보다 큰 차분 값을 추출하여 피사체의 일단에 상응하는 외곽선을 추출할 수 있다. 기준 휘도값은 피사체 외의 배경으로부터 촬상부(210)에 들어오는 광에 의해 발생하는 노이즈를 제거할 수 있게 한다. 즉, 선명도 조절부(231)에 의해 생성된 제2 영상 데이터의 선명도는 피사체의 영상 데이터뿐만 아니라 배경 영상 데이터에 대해서도 조절될 수 있으므로, 차분 값이 기준 휘도값 이상인 영상 데이터에 대해서만 외곽선으로 인식함으로써 피사체 인식 효율성을 높일 수 있다. 여기서, 기준 휘도값은 고정될 수도 있고, 소정의 휘도값 이상을 가지는 픽셀의 수에 따라서 변화할 수도 있으며, 이에 대한 자세한 설명은 도 2b에서 서술한다.
감마 보정부(235)는 피사체의 영상 데이터를 감마 보정한다. 여기서, 영상의 감마(Gamma)는 일반적으로 텔레비전, 카메라, 수상기, 팩스 송수신기 등의 광전 변환계 또는 전광(電光) 변환계에서 입출력 특성을 양(兩) 대수축으로 표시하였을 때 직선 부분의 경사이다. 즉, 텔레비전에서는 피사체 휘도에 대한 카메라 출력 전압과 수상부 입력 전압에 대한 음극선관 휘도와의 대수비를 표시한다. 본 발명의 실시예에 따른 감마 보정에 의해서 각 픽셀의 휘도값을 달리할 수 있으므로, 피사체의 선명도가 큰 부분만 표시되고, 나머지 선명도가 작음 부분은 흑색으로 남게 된다. 따라서, 피사체를 촬상한 이미지에서 소정의 피사체의 윤곽만 밝게 표시됨으로써 이를 이용하여 피사체의 이동 여부를 판단할 수 있다.
중심 판단부(237)는 감마 보정된 이미지로부터 소정의 외곽선을 추적하고, 소정의 외곽선에 의해 정해지는 좌표값을 추출할 수 있다. 여기서, 소정의 외곽선은 다양한 형태를 가질 수 있으며, 예를 들면, 원형의 외곽선일 수 있고, 소정의 외곽선에 의해 정해지는 좌표값은 원형의 외곽선에 의해서 결정되는 중심점, 즉, 원의 중심의 좌표값이 될 수 있다. 일반적으로 움직임 추출을 위해 사용되는 피사체가 사용자는 손가락의 일단이 될 수 있으므로, 손가락의 일단인 원형의 외곽선을 추출함으로써, 피사체의 움직임을 산출할 수 있다.
중심 판단부(237)는 감마 보정부(235)에 의해 추출된 피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표를 산출한다. 이러한 특정 좌표를 산출하는 방법은 여러 가지가 있을 수 있으며, 예를 들면, 무게 중심 또는 중심점의 좌표값을 추출할 수 있다.
피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해 산출될 수 있다.
Figure 112006077463816-pat00025
(1)
Figure 112006077463816-pat00026
(2)
Figure 112006077463816-pat00027
(3)
여기서, R은 무게 중심, M은 피사체의 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, mi는 피사체의 외곽선을 나타내는 각 픽셀의 휘도값, ri는 상기 외곽선을 나타내는 픽셀의 좌표값이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내며, 식 (3)은 식 (1)과 식 (2)에 대한 벡터 표현이다.
또한, 중심 판단부(237)가 상술한 수학식에 의하여 피사체의 중심점을 판단하는 경우에는 기준 픽셀의 휘도값을 모두 반영하여야 하므로 연산량이 많아지게 되어 포인터 이동 제어 장치의 전반적인 기능을 저하시키는 문제점이 발생할 수 있다. 따라서, 다른 실시예에 따르면, 피사체의 외곽선이 형성하는 도형의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해서도 산출될 수 있다.
Figure 112006077463816-pat00028
(4)
Figure 112006077463816-pat00029
(5)
Figure 112006077463816-pat00030
(6)
여기서, R은 무게 중심, ri는 상기 외곽선을 나타내는 픽셀의 좌표값, n은 상기 외곽선을 나타내는 픽셀의 개수이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내고, 식 (6)은 식 (4)와 식 (5)에 대한 벡터 표현이다. 즉, 중심 판단부(237)는 픽셀의 휘도값을 반영하지 않고 피사체의 중심점을 판단할 수 있다. 이는 각 픽셀의 휘도값은 큰 차이가 없을 것이므로 중심 판단부(237)는 이에 대한 반영을 하지 아니하고 외곽선을 나타내는 픽셀의 좌표값의 평균값을 피사체의 중심점으로 산출할 수 있다.
또는, 피사체의 외곽선이 곡선형인 경우 그 곡률 반경을 산출하고, 해당 곡률 반경에 상응하는 중심점의 좌표값을 추출할 수 있다. 만약, 소정의 외곽선이 사각형인 경우 사각형의 대각선이 만나는 좌표값이 소정의 외곽선에 의해 정해지는 좌표값이 될 수도 있으며, 다른 다각형인 경우에는 서로 마주보는 꼭지점을 이은 둘 이상의 선이 만나는 좌표값이 될 수도 있다. 예를 들면, 곡선형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하여, 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 상기 중심점의 좌표값으로 할 수 있다. 또한, 다른 예를 들면, 이러한 중간값은 2차원 디스플레이의 경우 X축과 Y축에 대한 좌표값으로 나타내질 수 있으 며, X축 또는 Y축에 대한 좌표값의 차이가 가장 큰 두 픽셀간의 중간값을 중심점의 좌표값으로 할 수도 있다.
포인터 위치 설정부(238)는 산출된 특정 좌표에 디스플레이부(240)의 포인터가 위치되도록 제어한다. 즉, 포인터의 위치가 특정 좌표, 예를 들면, 피사체의 외곽선에 대한 무게 중심 또는 중심점의 좌표값에 특정된다. 또한, 디스플레이부(240)가 구비되지 않은 장치에서는 메뉴를 선택하거나 볼륨을 높이는 등의 기능이 수행될 수 있다. 즉, 산출된 특정 좌표가 미리 설정된 픽셀보다 상부에 위치하는 경우 현재 선택된 메뉴의 이전 메뉴를 선택하거나, 산출된 특정 좌표가 미리 설정된 픽셀보다 우측에 위치하는 경우 볼륨을 높이는 등의 기능을 수행할 수 있다.
이하에서는, 상기 소정의 외곽선이 원형인 경우를 중심으로 설명한다.
도 2b는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 시 사용되는 기준 휘도값에 대한 설정 방법을 도시한 도면이다. 제1 기준 휘도값(250), 제1 기준 픽셀 개수의 시점(253), 제1 휘도 하한값(255), 제1 기준 픽셀 개수 에 상응하는 휘도 범위(a), 제2 기준 휘도값(260), 제2 기준 픽셀 개수의 시점(263), 제2 휘도 하한값(265), 제2 기준 픽셀 개수 에 상응하는 휘도 범위(b)가 도시된다. 여기서, 제1 또는 제2는 기준 픽셀 개수가 다른 경우인 두가지 실시예를 설명하기 위해서 사용되었으며, 이하에서는 이를 생략하고 통칭하여 설명하기로 한다.
기준 휘도값(250 또는 260)은 피사체의 외곽선을 추출하기 위해 각 픽셀의 휘도값과 비교하기 위해 마련된다. 이하에서는, 이미지 센서부(219)의 해상도가 640*480(가로*세로)이고, 각 픽셀의 휘도값이 0 부터 내지 255로 구분된 사이에 구성된 경우를 가정한다. 휘도값이 '0'인 경우는 가장 어두운 경우이므로 검정색일 것이고, 휘도값이 '255'인 경우는 가장 밝은 경우이므로 흰색으로 표현될 것이다.
또한, 도 2b를 참조하면, 기준 휘도값(250 또는 260)은 소정의 휘도값 이상을 가지는 픽셀의 수에 따라서 변화할 수 있다. 외곽선 추출부(233)는 피사체의 외곽선에 대응되는 픽셀을 추출하기 위하여 기준 픽셀 개수를 설정하고 휘도값이 큰 픽셀을 추출할 수 있다. 예를 들면, 연산량을 고려해서 설정된 기준 픽셀 개수가 10000개인 경우 미리 마련된 버퍼에 저장된 히스토그램에서 휘도값이 큰 순서로 10000개의 픽셀을 추출하고, 10000개째에 해당하는 픽셀(기준 픽셀 개수의 시점(253, 263))의 휘도값 또는 그 보다 작은 값이 기준 휘도값(250 또는 260)이 될 수 있다. 따라서, 기준 픽셀 개수 에 상응하는 휘도 범위(a, b)가 결정될 수 있다. 여기서, 각 픽셀의 휘도값은 버퍼에 저장되어 있으므로, 휘도값이 작은 순서로 픽셀 개수를 세어 기준 휘도값을 산출할 수도 있다. 즉, 전체 픽셀의 개수가 버퍼에 저장되어 있다면, 전체 픽셀 개수에서 기준 픽셀 개수를 뺀 값만큼 휘도값이 작은 순서대로 추출하여 기준 휘도값을 산출할 수도 있다.
여기서, 기준 픽셀 개수가 너무 큰 경우 대부분의 픽셀이 피사체의 외곽선으로 추출될 것이고, 그 반대의 경우 극히 일부분의 픽셀이 피사체의 외곽선으로 추출될 것이다. 기준 휘도값이 너무 작은 경우(즉, 기준 픽셀 개수가 너무 큰 경우)에는 피사체의 외곽선과 관계없는 픽셀(예를 들면, 배경 부분에 대한 픽셀)이 추출될 수 있으므로, 휘도 하한값(255, 265)을 설정하여 기준 휘도값이 이보다 작은 값 이 되는 경우 휘도 하한값(255, 265)을 기준 휘도값으로 설정할 수 있다. 또한, 기준 휘도값이 너무 큰 경우(즉, 기준 픽셀 개수가 너무 작은 경우)에는 피사체의 외곽선을 구성하는 최소한의 픽셀 수가 추출되지 않을 수 있으므로, 이 경우에도 휘도 상한값(미도시)을 설정할 수 있다. 여기서, 휘도 하한값(255, 265)과 휘도 상한값은 일반적으로 각각 한 개씩 주어질 수 있으며, 도 2b를 참조하면, 휘도 하한값(255, 265)이 변화하는 경우 기준 휘도값(250, 260)이 변화하는 경우를 도시하였다.
예를 들어, 기준 픽셀 개수가 10000개이고, 휘도 하한값(255, 265)이 50인 경우 각 픽셀을 분석하여 휘도값이 큰 순서대로 10000개의 픽셀을 추출하여 10000번째 픽셀의 휘도값과 50 중 큰 값을 기준 휘도값으로 설정한다. 반대로, 기준 픽셀 개수가 10000개이고 휘도 상한값이 200인 경우를 가정하면, 휘도값이 큰 순서대로 10000개의 픽셀을 추출하여 10000번째 픽셀의 휘도값과 200 중 작은 값을 기준 휘도값으로 설정한다.
또한, 다른 실시예에 의하면, 기준 휘도값은 특정값으로 고정될 수도 있다. 예를 들면, 기준 휘도값이 100이고, 그 이상이 되는 픽셀에 대해서는 피사체의 외곽선으로 인식할 수 있다. 상술한 휘도 하한값과 휘도 상한값은 기준 휘도값이 고정된 경우에도 적용될 수 있음은 당연하다.
또한, 여기에서는 포인터 이동 제어 장치(200)의 동작을 제어하는 제어부를 별도로 구비하지 아니하였으나 포인터 이동 제어 장치(200)를 포인터 이동 제어 장치(200)는 전반적인 동작을 제어하기 위한 제어부(도시되지 않음)를 별도로 구비할 수 있음은 당업자에 있어서 자명하다. 또한, 포인터 이동 제어 장치(200)는 별도의 제어부를 구비하지 않고 포인터 이동 제어 장치(200)를 포함하는 전자기기의 전반적인 동작을 제어하기 위한 메인 제어부(도시되지 않음)에 의하여 제어될 수도 있음은 자명하다.
포인터 위치 판단부(239)는 키입력부(도시되지 않음)가 사용자의 선택에 상응하는 신호(이하, '키입력 명령'이라 칭함)를 생성하여 전송하면, 메인 제어부(240)의 제어에 의하여 포인터 이동 제어 장치(200)를 포함하는 전자기기(100)가 키입력 명령에 상응하는 기능을 수행하도록 하기 위한 신호(이하, '기능 수행 명령'이라 칭함)를 생성하여 메인 제어부(250)로 출력한다. 여기에서, 키입력부(도시되지 않음)는 포인터 이동 제어 장치의 하부에 구비된 돔 스위치일 수 있으며, 포인터 이동 제어 장치 내에 포함된 구성 부분일 수도 있다. 예를 들어, 포인터 이종 제어 장치에 포함된 키입력부(도시되지 않음)는 미리 설정된 시간차를 두고 연속적으로 입력되는 복수의 피사체 영상 데이터를 분석하여 피사체의 외곽선의 지름 및/또는 외곽선 내의 면적이 급격하게 커지는 경우에는 이를 사용자의 키입력으로 인지하여 상응하는 키입력 명령을 생성할 수 있다. 또는, 키입력부(도시되지 않음)를 별도로 구비하지 아니하고 메인 제어부(250) 등에서 상술한 키입력부의 동작을 수행하도록 소프트웨어적으로 구현될 수도 있을 것이다. 이하, 키입력부(도시되지 않음)는 포인터 이동 제어 장치의 하부에 구비된 돔 스위치인 경우를 가정하여 설명한다.
사용자는 손가락 등을 이용하여 포인터 이동 제어 장치의 상부에 구비된 투 광부(도시되지 않음)를 누르면, 투광부의 탄성력에 의해 포인터 이동 제어 장치(200)가 전체적으로 하향 이동하는데, 이에 의해 키입력부(997)의 기능이 수행될 수 있다. 따라서 사용자는 피사체(140)를 움직여서 디스플레이 상에서 포인터를 움직여 원하는 메뉴, 아이콘 등을 선택한 후 투광부(910)를 가압할 수 있다. 이에 의하여 키입력부는 키입력 명령을 생성하여 출력하면, 포인터 위치 판단부(239)는 포인터 이동 제어 장치(200)를 포함하는 전자기기(100)가 포인터 위치에 상응하는 기능을 수행하도록 하기 위한 기능 수행 명령을 생성하여 메인 제어부(250)로 전송한다.
이하, 도 3a 및 도 3b를 참조하여 포인터 위치 판단부(239)가 포인터의 위치를 판단하는 방법에 대하여 설명한다.
도 3a는 본 발명의 제1 실시예에 따른 포인터 이동 제어 장치의 평면도이다.
도 3a를 참조하면, 본 발명의 제2 실시예에 따른 포인터 이동 제어 장치(330)는 포인터 이동 제어 장치(330)의 상부에 위치한 원형의 투광부(320)의 중앙 부분에 위치한다. 커버(310)는 포인터 이동 제어 장치(310)를 포함하는 전자기기의 디스플레이부 또는 본체부의 일면에 해당할 수 있다. 여기에서는 원형의 투광부(320)를 가정하여 설명하나, 투광부(320)의 형태가 본 발명의 범위를 제한하는 것이 아님은 자명하다.
도 3b는 본 발명에 따른 포인터 이동 제어 장치의 키입력 인식 영역 구획 방법의 일 실시예를 나타낸 도면이다.
도 3b은 제1 영상 데이터 또는 제2 영상 데이터의 영역을 미리 설정된 9개의 구간으로 구분한 실시예로서, 이하에서는 제2 영상 데이터의 영역을 구분한 것으로 가정하여 포인터 이동 제어 장치의 키입력 인식 영역 구획 방법에 대하여 설명한다.
도 3b에 도시된 바와 같이, 제2 영상 데이터는 n x m (세로 x 가로)개의 화소(pixel)로 구성되어 있고, 제2 영상 데이터의 하단을 x축, 제2 영상 데이터의 좌측을 y축으로 가정하면, 영역 (1)은 하기한 직선 y1보다 작고 하기한 직선 y3보다 큰 영역일 수 있다.
Figure 112006077463816-pat00031
Figure 112006077463816-pat00032
동일한 방법에 의하여 영역 (2) 내지 영역 (9)도 설정할 수 있다. 다만, 영역 (5)의 경우는 제2 영상 데이터의 중심부에 설정되며, 영역 (1) 내지 영역 (5)와 겹치지 아니하는 범위에서 설정될 것이다. 보다 바람직하게는 도시된 바와 같이 제2 영상 데이터의 중심에서 일정한 반지름을 가지는 원으로 설정될 수 있다.
또한, 각 영역간에는 일정한 간격 영역(예를 들어, y1보다 크며 하기한 식 y2보다 작은 영역으로서 영역 (5)가 아닌 영역)이 존재하는데, 이에 대한 설명은 후술한다. 또한, 도 3b에서는 간격 영역의 간격(즉, b1과 b2의 차의 절대값)을 넓게 표시하였으나, 이는 이해 및 설명을 용이하게 하기 위함이고, 실질적으로는 간격 영역의 간격을 좁게 설정함이 타당하다.
Figure 112006077463816-pat00033
이때, 상기한 각 수식의 문자(x, y, a 및 b(첨부 번호는 생략함))는 실수이다.
이하, 포인터 위치 판단부(239)가 상술한 방법으로 구분된 제2 영상 데이터의 영역들(이하, '키입력 인식 영역'이라 칭함)을 이용하여 포인터 위치를 판단하는 방법에 대하여 설명한다. 이때, 상술한 키입력 인식 영역 구분 방법은 일 실시예에 불과한 바 당해 방법에 의하여 본 발명의 범위가 제한되는 것은 아니다.
포인터 위치 판단부(239)는 키입력부(도시되지 않음)가 사용자의 선택에 상응하는 키입력 명령을 생성하여 전송하면, 메인 제어부(240)의 제어에 의하여 포인터 이동 제어 장치(200)를 포함하는 전자기기(100)가 키입력 명령에 상응하는 기능을 수행하도록 하기 위하여 기능 수행 명령을 생성하여 메인 제어부(250)로 출력함은 상술한 바와 같다. 이때, 포인터 위치 판단부(239)는 중심 판단부(237)에서 추출한 피사체의 중심점의 좌표를 분석하여 구분된 키입력 인식 영역 중 어느 영역에 중심점의 좌표가 존재하는지 판단하여 이에 상응하는 기능 수행 명령을 생성할 수 있다. 예를 들어, 디스플레이부(240)의 포인터는 '메뉴 기능'위에 표시되어 있고, 사용자가 메뉴 기능을 실행시키기 위하여 피사체의 움직임을 멈추고 돔 스위치(도시되지 않음)를 가압하면 포인터 위치 판단부(239)는 피사체의 중심점의 좌표를 판단하여 복수의 키입력 인식 영역 중 어느 영역에 중심점이 존재하는지 판단할 수 있다. 즉, 도 3b의 영역 (7)이 '메뉴 기능'에 상응하는 영역으로 설정된 경우, 포 인터 위치 판단부(239)는 피사체의 중심점의 좌표가 영역 (7)에 위치한다면 사용자가 '메뉴 기능'을 선택하였음을 판단하여 상응하는 기능 수행 명령을 생성하여 출력할 수 있다.
만일 포인터 위치 판단부(239)가 키입력 명령에 상응하여 피사체의 중심부의 좌표를 판단한 결과 간격 영역에 피사체의 중심부가 존재한다면, 포인터 위치 판단부(239)는 아무런 반응을 하지 아니하거나(즉, 기능 수행 명령을 생성하지 아니하거나) 에러(error)에 상응하는 표시를 디스플레이부(240)에 표시하기 위한 기능 수행 명령을 생성하여 출력할 수 있다. 이때, 간격 영역은 인접하는 키입력 인식 영역을 구분하기 위한 영역이며, 디스플레이부(240)에 표시된 각종 기능 간의 경계에 상응하는 영역일 수 있다.
또한, 영역 (5)는 제2 영상 데이터의 중심부에 위치하는데, 이는 아무런 기능에 상응하지 아니하는 비설정 영역이다. 일반적으로 사용자는 포인터 이동 제어 장치(330)를 사용하기 위하여 피사체를 이동시킴에 있어서 포인터 이동 제어 장치(330)의 중간 지점에서부터 피사체를 움직이기 시작할 것이다. 따라서, 키입력 인식 영역의 중심부에서 일정 영역을 영역 (5)로 설정하고, 영역 (5)를 비설정 영역(즉, 아무런 기능에 상응하지 아니하는 영역)으로 설정할 수 있다. 영역 (5)에 의하여 영역 (5)를 제외한 나머지 키입력 인식 영역이 구분될 뿐만 아니라, 포인터 위치 설정부(238)는 영역 (5)에 피사체의 중심점이 위치하는 경우 사용자가 피사체를 움직이지 아니하고 대기 중인 것으로 판단할 수 있다.
여기에서는 키입력 인식 영역을 9개 영역으로 구분하는 방법에 대하여 설명 하였으나, 이는 설명을 용이하게 하기 위한 하나의 실시예에 불과하므로 키입력 인식 영역의 개수가 본 발명의 범위를 제한하는 것은 아니다.
다시 도 2를 참조하면, 디스플레이부(240)는 포인터 이동 제어 장치(200)가 수행하는 각종 기능들을 사용자가 인식할 수 있도록 외부로 출력하는 기능을 수행한다. 디스플레이부(240)는 LCD(Liquid Crystal Display)일 수 있다.
메인 제어부(250)는 포인터 이동 제어 장치(200)의 전반적인 동작을 제어한다. 특히, 포인터 위치 판단부(239)에서 기능 수행 명령을 생성하여 출력하면, 메인 제어부(250)는 이를 수신하여 상응하는 동작을 수행하도록 포인터이동 제어 장치(200)를 제어한다.
도 4는 본 발명의 바람직한 제1 실시예에 따른 포인터 이동 제어 장치의 키입력 인식 방법에 관한 순서도이다.
도 4를 참조하면, 단계 S410에서, 촬상부는 피사체를 포함하는 이미지를 촬상하여 제1 영상 데이터를 생성한다.
단계 S420에서, 촬상된 피사체의 이미지에 대해 선명도를 조절하여 제2 영상 데이터를 생성한다. 여기서, 이미지의 심도에 따라서 선명도 조절이 달라질 수 있다. 즉, 렌즈부의 초점 거리에 가까운 위치에 있는 피사체 외곽선의 경우 배경이 되는 이미지에 비해 선명도가 크게 증가할 수 있다.
단계 S430에서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 산출하고, 단계 S440에서, 산출한 차분 값에 대해서 감마 보정하여 피사체 외곽선 에 대한 휘도값을 증가시킬 수 있다. 따라서 감마 보정된 차분 값으로부터 피사체의 외곽선이 명확하게 될 수 있다. 여기서 차분 값은 모든 픽셀에 대해서 산출되며, 이하 단계들은 각 픽셀마다 개별적으로 수행된다.
단계 S450에서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값이 미리 설정된 기준 휘도값보다 큰지 여부를 체크한다. 차분 값이 미리 설정된 기준 휘도값 보다 큰 경우에는 이러한 픽셀은 피사체의 일단에 상응하는 외곽선으로 추출된다. 그러나 차분 값이 미리 설정된 기준 휘도값 보다 작은 경우에는 다음 픽셀에 대한 차분값에 대해서 미리 설정된 기준 휘도값보다 큰지 여부를 체크하며, 모든 픽셀들에 대해서 차분값에 대해서 미리 설정된 기준 휘도값보다 작은 경우 처음 단계로 돌아가서 모든 단계가 다시 반복될 수 있다.
단계 S460에서, 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값이 미리 설정된 기준 휘도값보다 큰 좌표값으로부터 피사체의 일단에 상응하는 외곽선을 추출한다.
단계 S470에서, 피사체의 외곽선을 이용해서 이미지 중심점을 인식한다. 즉, 상술한 무게 중심을 구하거나, 추출된 피사체의 외곽선으로부터 곡률 반경을 산출하고 해당 곡률 반경에 상응하는 중심점의 좌표값을 추출할 수 있다. 또는 곡률 반경을 별도로 산출하지 않고, 피사체의 윤곽이 형성하는 원형의 외곽선을 나타내는 각 픽셀 간의 거리를 계산하고, 계산된 각 픽셀의 거리가 가장 큰 두 픽셀의 중간값을 이용하여 현재 중심점의 좌표값을 추출할 수도 있다. 이외에도 미리 설정된 다양한 방법에 의해 현재 중심점의 좌표값이 추출될 수 있다.
단계 S480에서, 추출된 중심점의 좌표값에 대응하여 디스플레이부의 포인터를 이동시킨다.
단계 S490에서, 사용자의 키입력이 감지되면, 즉 사용자의 선택에 의하여 키입력부(예를 들어, 돔 스위치(도시되지 않음))가 동작되면 포인터 위치 판단부(239)는 피사체의 중심점의 좌표를 판단한다(단계 S491).
단계 S492에서, 포인터 위치 판단부(239)는 판단된 중심점의 좌표에 상응하는 기능 수행 명령을 생성하여 출력한다. 이때, 포인터 위치 판단부(239)는 도 3a 및 도 3b를 참조하여 설명한 방법에 의하여 사용자의 선택에 상응하는 기능 수행 명령을 생성할 수 있다. 포인터 위치 판단부(239)가 기능 수행 명령을 생성하는 방법은 위에서 상세히 설명한 바, 여기에서는 이에 대한 상세한 설명은 생략한다.
상술한 단계 S410 내지 단계 S492은 포인터 이동 제어 장치 종료 명령이 수신될 때까지 반복 수행될 수 있으며, 포인터 이동 제어 장치 종료 명령이 수신되면 포인터 이동 제어 장치의 키입력 인식 방법의 수행은 종료된다(단계 S493). 이때 포인터 이동 제어 장치 종료 명령은 사용자의 종료 선택에 상응하여 키입력부(예를 들어, 돔 스위치)에서 생성되어 포인터 이동 제어 장치로 전송된 신호일 수 있다.
도 5는 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치의 블록 구성도이다.
도 5를 참조하면, 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치(500)는 상술한 제1 실시예에서 도시하지 아니한 광원부(514)를 더 포함하는 촬상부(510), 피사체 추출부(532), 중심 판단부(534), 포인터 위치 설정부(536) 및 포인터 위치 판단부(538)를 포함하는 이미지 처리부(530), 디스플레이부(540) 및 메인 제어부(550)를 포함한다.
이하에서 상기한 각 구성 요소의 동작에 대하여 설명한다. 다만, 광원부(514)를 제외한 촬상부(510)의 구성 요소, 디스플레이부(540) 및 메인 제어부(550)의 동작에 대하여는 도 2를 참조하여 제1 실시예에서 설명한 동작과 동일 또는 유사한 바, 이들의 동작에 대한 상세한 설명은 생략한다.
광원부(514)는 특정의 파장을 가지는 광(light)을 출력할 수 있고, 이러한 광은 피사체에서 반사되어 필터부(512)를 통과함으로써 주위의 노이즈(noise)로 작용할 수 있는 다른 파장의 광을 차단할 수 있는 효과가 있다. 특히, 광원부(514)는 메인 제어부(도시되지 않음)의 제어를 받아 미리 설정된 시간을 간격으로 점등될 수 있다. 이때, 이미지 센서부(518)는 광원부(514)가 광을 출력하는 동안에 피사체(140)를 촬상하여 제1 영상 데이터를, 광원부(514)가 광을 출력하지 아니하는 동안에 피사체(140)를 촬상하여 제2 영상 데이터를 각각 생성하여 이미지 처리부(530)로 출력할 수 있다. 이때, 광원부(514)는 메인 제어부(도시되지 않음)의 제어를 받아 미리 설정된 시간을 간격으로 점등될 수 있으며, 이미지 센서부(518)는 제1 영상 데이터를 생성한 직후에 광원부(514)가 불활성화되면 제2 영상 데이터를 생성할 수 있다. 또한, 메인 제어부(도시되지 않음)는 본 발명의 바람직한 제3 실시예에 따른 포인터 이동 제어 장치(500)를 포함하는 전자기기(예를 들어, 휴대용 단말기, 노트북 등)의 전반적인 동작을 제어하는 제어부일 수 있으며, 촬상부(510) 내에 별도로 구비된 제어부로서 광원부(514) 만을 제어하기 위한 구성 요소일 수 있다.
피사체 추출부(532)는 촬상부(510)로부터 입력받은 제1 영상 데이터 및 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성한다. 예를 들어, 제3 영상 데이터는 제1 영상 데이터의 휘도값에서 각 픽셀에 상응하는 제2 영상 데이터의 휘도값을 감산한 데이터일 수 있다. 즉, 제1 영상 데이터는 광원부(514)가 활성화된 상태에서 촬상된 영상 데이터이므로 광원부(514)에서 가까운 위치에서 촬상된 피사체(140)는 휘도값이 클 것이고, 광원부(514)에서 먼 위치에서 촬상된 배경 부분의 휘도값은 상대적으로 적을 것이다. 또한, 제2 영상 데이터는 광원부(514)가 불활성화된 상태에서 촬상된 영상 데이터이므로 피사체(140) 부분의 휘도값과 배경 부분의 휘도값은 제1 영상 데이터에 비하여 그 차이가 적을 것이다. 또한, 제1 영상 데이터와 제2 영상 데이터의 각 배경 부분은 모두 광원부(514)와 피사체에 비하여 먼 거리에 위치할 것이므로 휘도값의 차이가 매우 적을 것이다. 따라서, 제1 영상 데이터의 휘도값에서 각 픽셀에 상응하는 제2 영상 데이터의 휘도값을 감산해주면 피사체(140)를 제외한 배경 부분의 휘도값은 거의 '0(zero)'에 가까운 값이 될 것이고, 피사체(140)에 상응하는 부분의 휘도값 만이 존재할 것이다. 이러한 방법에 의하여 피사체 추출부(532)는 촬상된 영상 데이터에서 피사체(140)만을 추출한 제3 영상 데이터를 생성할 수 있다.
중심 판단부(534)는 피사체 추출부(532)에서 생성한 제3 영상 데이터를 분석하여 피사체(140)의 중심점을 판단하기 위하여 피사체(140)가 촬상된 픽셀(이하, ' 기준 픽셀'이라 칭함)을 추출한다. 예를 들어, 이미지 센서부(518)의 해상도가 640*480(가로*세로)이고, 각 픽셀의 휘도값이 0 내지 255로 구분된 경우를 가정한다. 휘도값이 '0'인 경우는 밝기가 '0'이므로 검정색일 것이고, 휘도값이 '255'인 경우는 가장 밝은 경우이므로 흰색으로 표현될 것이다. 만일 기준 픽셀을 추출하기 위하여 미리 설정된 기준 경계값이 '10,000'이라면 중심 판단부(534)는 제3 영상 데이터에서 휘도값이 큰 픽셀 순서로 10,000개의 기준 픽셀을 추출할 수 있다. 이때, 기준 경계값이 너무 크면 제3 영상 데이터의 대부분의 픽셀이 기준 픽셀로 추출될 것이고, 기준 경계값이 너무 작으면 제3 영상 데이터의 극히 일부분만이 기준 픽셀로 추출될 것이다. 이러한 경우 기준 픽셀에는 피사체(140)가 촬상된 픽셀 외에 이와 무관한 배경 부분에 대한 픽셀(즉, 노이즈(noise) 픽셀)의 비율이 높아지게 될 것이다. 즉, 기준 경계값이 너무 크거나 너무 작으면 노이즈 픽셀의 비율이 높아지므로 중심 판단부(534)는 촬상된 피사체(140)의 정확한 위치를 파악하기 힘들 것이다. 따라서, 기준 경계값은 노이즈 픽셀의 비율을 무시할 수 있도록 상한값 및/또는 하한값이 설정될 수 있다. 예를 들어, 기준 경계값이'10,000'이고, 하한값이 '50'인 경우를 가정하자. 이 경우 중심 판단부(534)는 제3 영상 데이터에서 휘도값이 50보다 큰 픽셀만을 대상으로 하여 휘도값이 큰 픽셀 순서로 10,000개의 기준 픽셀을 추출할 수 있다. 즉, 중심 판단부(534)는 제3 영상 데이터의 각 픽셀을 분석하여 휘도값이 큰 순서대로 10,000개의 기준 픽셀을 추출하되, 이들 중 휘도값이 50 미만(또는 이하)인 픽셀을 기준 픽셀에서 제외할 수 있다. 또한, 피사체(140)는 일반적으로 사용자의 손가락일 경우가 많을 것이므로 휘도값이 너무 큰 경우는 노이즈 픽셀에 해당할 가능성이 높다. 따라서, 기준 경계값이'10,000'이고 상한값이 '200'인 경우를 가정하면, 중심 판단부(534)는 제3 영상 데이터에서 휘도값이 '200' 미만(또는 이하)인 픽셀만을 대상으로 하여 기준 픽셀을 추출할 수 있다.
또한, 기준 경계값은 휘도값이 큰 픽셀의 개수가 아닌 미리 설정된 휘도값일수 있다. 즉, 중심 판단부(534)는 제3 영상 데이터를 분석하여 기준 경계값을 넘는 픽셀을 모두 기준 픽셀로 추출할 수 있다. 예를 들어, 기준 경계값이'150'으로 설정되어 있는 경우, 중심 판단부(534)는 제3 영상 데이터에서 휘도값이 '150'을 넘는 픽셀을 모두 기준 픽셀로 추출할 수도 있다. 이 경우에도 상술한 바와 같이 기준 경계값이 너무 크거나 너무 작은 경우에는 기준 픽셀에서의 노이즈 픽셀의 비율이 높을 것이므로 기준 경계값에 대한 상한값 및/또는 하한값이 설정될 수 있음은 자명하다.
또한, 중심 판단부(534)는 기준 픽셀을 분석하여 피사체(140)의 중심점을 판단한다. 이때, 중심점은 피사체(140)의 무게 중심일 수 있다. 예를 들어, 피사체(140)의 내부에 위치한 특정 좌표인 무게 중심은 다음과 같은 수학식에 의해 산출될 수 있다.
Figure 112006077463816-pat00034
(7)
Figure 112006077463816-pat00035
(8)
Figure 112006077463816-pat00036
(9)
여기서, R은 무게 중심, M은 피사체의 기준 픽셀의 휘도값을 모두 더한 값, mi는 피사체의 각 기준 픽셀의 휘도값, ri는 기준 픽셀의 좌표값이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내며, 식 (9)는 식 (7)과 식 (8)에 대한 벡터 표현이다.
다만, 중심 판단부(534)가 상술한 수학식에 의하여 피사체(140)의 중심점을 핀단하는 경우에는 기준 픽셀의 휘도값을 모두 반영하여야 하므로 연산량이 많아지게 되어 포인터 이동 제어 장치(500)의 전반적인 기능을 저하시키는 문제점이 발생할 수 있다. 따라서, 피사체(140)의 중심점은 다음과 같은 수학식에 의하여 판단될 수도 있다.
Figure 112006077463816-pat00037
(10)
Figure 112006077463816-pat00038
(11)
Figure 112006077463816-pat00039
(12)
여기서, R은 무게 중심, ri는 기준 픽셀의 좌표값, n은 기준 픽셀의 개수이다. 아래 첨자 x, y는 각각 X축과 Y축에 해당하는 값임을 나타내고, 식 (12)은 식 (10)과 식 (11)에 대한 벡터 표현이다.
즉, 중심 판단부(534)는 기준 픽셀의 휘도값을 반영하지 않고 피사체(140)의 중심점을 판단할 수 있다. 이는 각 기준 픽셀의 휘도값은 큰 차이가 없을 것이므로 중심 판단부(534)는 이에 대한 반영을 하지 아니하고 기준 픽셀의 좌표값의 평균값을 피사체(140)의 중심점으로 산출할 수 있다. 예를 들어, 기준 픽셀의 휘도값을 '1', 나머지 픽셀의 휘도값을 '0'으로 구분지을 경우, 제3 영상 데이터는 기준 픽셀(즉, 피사체(140)가 촬상된 부분)은 흰색으로 표시되고, 나머지 부분은 검은색으로 표시될 것이다. 따라서, 흰색으로 표시된 기준 픽셀(즉, 피사체(140))의 무게 중심은 상기한 수식 (2)에 의하여 각 픽셀의 휘도값을 반영하지 아니하고 구할 수 있을 것이다.
또한, 중심 판단부(534)는 기준 픽셀의 외곽선이 곡선형인 경우 그 곡률 반경을 산출하고, 해당 곡률 반경에 상응하는 중심점의 좌표값을 추출할 수 있다. 이를 산출하는 방법은 당업자에 있어서 자명한 바, 여기에서는 이에 대한 상세한 설명은 생략한다.
포인터 위치 설정부(536)는 산출된 특정 좌표에 디스플레이부(540)의 포인터 가 위치되도록 제어한다. 즉, 포인터의 위치가 특정 좌표, 예를 들면, 피사체(140)의 중심점(예를 들어, 무게 중심)의 좌표값에 특정된다.
포인터 위치 판단부(239)는 키입력부(도시되지 않음)가 사용자의 선택에 상응하는 키입력 명령을 생성하여 전송하면, 메인 제어부(240)의 제어에 의하여 포인터 이동 제어 장치(200)를 포함하는 전자기기(100)가 키입력 명령에 상응하는 기능을 수행하도록 하기 위하여 기능 수행 명령을 생성하여 메인 제어부(250)로 출력한다. 포인터위치 판단부(239)가 기능 수행 명령을 생성하는 방법은 도 3a 및 도 3b를 참조하여 상술한 방법과 동일 또는 유사할 수 있다. 따라서, 여기에서는 이에 대한 상세한 설명은 생략한다.
도 6은 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치의 키입력 인식 방법에 관한 순서도이다.
이하, 도 6을 참조하여 본 발명의 바람직한 제2 실시예에 따른 포인터 이동 제어 장치의 키입력 인식 방법에 대하여 설명한다.
단계 S610에서, 이미지 센서부(518)는 광원부(514)가 활성화된 상태 즉, 광을 출력하는 동안에 피사체(140)를 촬상하여 제1 영상 데이터를 생성하여 이미지 처리부(530)로 출력한다.
단계 S620에서, 이미지 센서부(518)는 광원부(514)가 불활성화된 상태 즉, 광을 출력하지 않는 동안에 피사체(140)를 촬상하여 제2 영상 데이터를 생성하여 이미지 처리부(530)로 출력한다.
이때, 광원부(514)는 메인 제어부(550)의 제어를 받아 미리 설정된 시간을 간격으로 점등될 수 있으며, 이미지 센서부(518)는 제1 영상 데이터를 생성한 직후에 광원부(514)가 불활성화되면 제2 영상 데이터를 생성할 수 있다.
단계 S630에서, 피사체 추출부(532)는 촬상부(510)로부터 입력받은 제1 영상 데이터 및 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성한다. 제3 영상 데이터를 생성하는 방법은 도 5를 참조하여 상술한 바, 여기에서는 이에 대한 상세한 설명은 생략한다.
단계 S640에서, 중심 판단부(534)는 피사체 추출부(532)에서 생성한 제3 영상 데이터를 분석하여 피사체(140)의 중심점을 판단하기 위하여 피사체(140)가 촬상된 픽셀(이하, '기준 픽셀'이라 칭함)을 추출한다.
단계 S650에서, 중심 판단부(534)는 기준 픽셀의 좌표값를 추출하고, 단계 S660에서 중심 판단부(534)는 피사체(140)의 중심점을 산출한다. 피사체(140)의 중심점을 산출하는 방법에 대해서도 도 10을 참조하여 상술한 바, 여기에서는 이에 대한 상세한 설명은 생략한다.
단계 S670에서, 포인터 위치 설정부(536)는 산출된 피사체(140)의 중심점에 상응하는 디스플레이부(540)의 위치에 포인터가 위치되도록 제어한다. 즉, 포인터의 위치가 피사체(140)의 중심점(예를 들어, 무게 중심)의 좌표값에 특정된다.
단계 S680에서, 사용자의 키입력이 감지되면, 즉 사용자의 선택에 의하여 키입력부(예를 들어, 돔 스위치(도시되지 않음))가 동작되면 포인터 위치 판단부(538)는 피사체의 중심점의 좌표를 판단한다(단계 S681).
단계 S682에서, 포인터 위치 판단부(538)는 판단된 중심점의 좌표에 상응하는 기능 수행 명령을 생성하여 출력한다. 이때, 포인터 위치 판단부(538)는 도 3a 및 도 3b를 참조하여 설명한 방법에 의하여 사용자의 선택에 상응하는 기능 수행 명령을 생성할 수 있다. 포인터 위치 판단부(239)가 기능 수행 명령을 생성하는 방법은 위에서 상세히 설명한 바, 여기에서는 이에 대한 상세한 설명은 생략한다.
상술한 단계 S610 내지 단계 S682은 포인터 이동 제어 장치 종료 명령이 수신될 때까지 반복 수행될 수 있으며, 포인터 이동 제어 장치 종료 명령이 수신되면 포인터 이동 제어 장치의 키입력 인식 방법의 수행은 종료된다(단계 S683). 이때 포인터 이동 제어 장치 종료 명령은 사용자의 종료 선택에 상응하여 키입력부(예를 들어, 돔 스위치)에서 생성되어 포인터 이동 제어 장치로 전송된 신호일 수 있다.
도 7은 본 발명의 일 실시예에 따른 포인터 이동 제어 장치의 구성을 나타내는 개략도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 포인터 이동 제어 장치(700)는 빛이 통과할 수 있는 투광부(710) 상에 피사체(740)가 일정한 방향으로 이동하면, 이미지 센서부(730)가 피사체(140)를 연속적으로 촬영하고 제어부(도시하지 않음)에 의해 피사체(140)의 움직임에 따른 정보가 입력되게 한 것이다. 예를 들어, 광원부(750)에서 나온 빛은 피사체(140)인 사용자의 손가락에서 반사되어 이미지 센서부(730)에 입사되고, 이미지 센서부(930)는 피사체(140)에 의해 반사된 빛을 수광하여 상응하는 이미지 데이터를 생성할 수 있다. 이에 따라 제어부(도시하지 않음)에 의해 피사체의 움직임이 인식되어 포인터 이동 제어 장치(990)가 구비된 전자기기(예를 들어, 이동통신 단말기, 노트북 등)의 디스플레이부에는 포인터가 사용자에 의해 원하는 위치로 이동할 수 있다.
포인터 이동 제어 장치(700)가 구비된 전자기기가 이동통신 단말기인 경우, 사용자는 한 손으로 이동통신 단말기를 파지하고 엄지 손가락 등을 이용하여 포인터를 원하는 위치로 이동시킨다. 그러나 사용자의 손가락은 일반적으로 투광부(710)의 중심 즉 이미지 센서부(730)의 중심 상에 위치하지 않고, 도 7에 도시된 바와 같이, 이미지 센서부(730) 중심에서 약간 아래 쪽에 위치할 경우가 많을 것이다. 이러한 경우 이미지 센서부(730)는 피사체(140)의 일부만 촬영하기 때문에 피사체(140)의 움직임을 정확하게 인식하는데 어려움이 있을 수 있다.
이와 같은 문제점을 해결하기 위해서 이미지 센서부(730)의 촬상각을 크게 할 수 있는 광각 렌즈를 사용할 수 있다. 그러나 광각 렌즈는 단가가 높기 때문에 광 포인팅 장치의 전체적인 가격 상승을 유발하는 문제점이 있으며, 광각 렌즈는 같은 거리에서 촬영할 때 더욱 넓은 범위를 찍을 수 있도록 하는 것이므로 상의 왜곡을 초래할 수도 있다.
상술한 문제점을 해결하기 위한 방법에 대하여 도 8 및 도 9를 참조하여 설명한다.
도 8a는 본 발명의 일 실시예에 따른 포인터 이동 제어 장치의 구성을 나타내는 단면도이고, 도 8b는 본 발명의 일 실시예에 따른 포인터 이동 제어 장치의 평면도이다.
도 8a를 참조하면, 포인터 이동 제어 장치(800)는 이미지 센서부(830), 렌즈부(850) 및 광원부(860)을 포함하는 촬상부(870), 촬상부(870)를 수용하는 하우징(890), 하우징(890)의 상부에 구비된 투광부(810), 하우징(890)의 하부에 구비된 키입력부(897) 및 촬상부(870)에 의해 생성된 영상 데이터를 처리하여 정보가 입력되게 하는 제어부(899)를 포함한다. 또한 투광부(810) 상에는 그 움직임을 추출하여 정보를 입력하기 위한 피사체(740)가 도시되어 있다. 이하, 각 구성부에 대하여 상세히 설명한다. 다만, 촬상부(870)(즉, 이미지 센서부(830), 렌즈부(850) 및 광원부(860) 등)에 대한 설명은 상술한 바 여기에서는 이에 대한 설명은 생략한다.
투광부(810)는 외부로 노출되는 부분으로서, 그 상부에는 도 8에 도시된 바와 같이 피사체(예를 들면, 사용자의 손가락)(140)가 위치한다. 광원부(860)에서 나온 빛은 투광부(810)를 통과한 후 피사체(740)에서 반사되어 다시 투광부(810) 및 렌즈부(850) 등을 통하여 이미지 센서부(830)로 입사한다. 투광부(810)는 유리 또는 투광성을 갖는 투명 플라스틱을 이용하여 제작될 수 있다.
투광부(810)는 원형의 형상을 갖고 그 중심을 통과하는 X축을 가질 수 있다. 그리고 이미지 센서부(830) 및 렌즈부(850)로 이루어지는 촬상부(870)의 중심선(Y)은 X축과 일정 간격 이격되어 있다. 촬상부(870)가 상기 X축으로부터 이격된 방향은, 도 11에 도시된 바와 같이, 투광부(810)의 중심에서 하측 방향이다. 따라서 피사체(740)가 투광부(810)의 중심에서 약간 아래 쪽에 위치하더라도 촬상부(870)는 피사체(740)를 더욱 선명하게 촬영할 수 있게 된다.
이동통신 단말기 또는 PDA(Personal Digital Assistant) 등과 같은 휴대용 단말기에 있어서, 사용자는 단말기를 한 손 또는 양 손으로 파지한 상태에서 단말기를 사용자의 신장 방향에 대해 일정한 경사각을 형성한 상태에서 들고 사용하며, 사용자의 시각도 단말기를 일정한 각도를 가지고 응시한다. 따라서 사용자가 자신의 손가락 또는 볼펜 등과 같은 피사체(740)의 중심이 투광부(810)의 중심에 위치한 것으로 시각적으로 인식하더라도, 실제로는 도 8a과 같이 피사체(740)를 투광부(810)의 하측 방향에 위치한 상태에서 사용하는 경향이 있다. 따라서 도 8b에 도시된 바와 같이 이미지 센서부(830) 등 포인터 이동 제어 장치(800)를 하측으로 이동시켜 촬상부(870)의 중심(Y축)에 피사체(740)의 중심을 최대한 근접하게 함으로써 피사체(740)의 이미지를 더욱 선명하게 촬영할 수 있도록 하는 것이 바람직하다.
투광부(810)의 측면에는 회전돌기(891)가 둘레를 따라서 형성되어 있다. 회전돌기(891)는 커버(893)의 가이드홈(895)에 삽입되어 투광부(810) 및 하우징(890)의 회전을 가능하게 한다. 그리고 투광부(810)의 상면에는 조절 손잡이(820)가 구비되어 있다. 따라서 사용자는 조절 손잡이(820)를 이용하여 투광부(810), 하우징(890) 및 하우징(890)의 내부에 수용된 촬상부(870)를 미리 설정된 좌표계(즉, 도 8a에서는 x축(투광부(810)의 중심), 이하, '기준 좌표계'라 칭함)를 기준으로 원하는 각도로 회전할 수 있다. 조절 손잡이(820)를 투광부(810)의 중심선(X축)에 대해서 촬상부(870)와 반대 방향에 형성함으로써, 조절 손잡이(820)에 의해 촬상부(870)의 영상 획득에 방해가 되지 않고 사용자의 조작을 용이하게 하는 것이 바 람직하다.
그리고 도면에는 도시하지 않았지만, 회전돌기(891) 및 가이드홈(895)에서 상호 대향하는 부분에 걸림돌기 및 상기 걸림돌기가 삽입될 수 있는 걸림홈이 형성될 수 있다. 따라서 사용자는 조절 손잡이(820)를 이용하여 투광부(810)를 돌리면, 걸림돌기가 회전하면서 일정한 주기로 걸림홈에 걸려서 회전감을 느낄 수 있게 된다. 그리고 걸림돌기 및 걸림홈을 일정한 각도, 예를 들면 15ㅀ 간격으로 형성함으로써 사용자가 원하는 각도만큼 투광부(810) 및 촬상부(870)를 회전하게 할 수 있다.
또한, 도시하지는 않았지만, 투광부(810)에는 적외선 필터가 장착될 수 있다. 이때 광원부(860)로는 적외선 LED 등을 사용함으로써, 광원부(860)에서 나온 빛 중에서 피사체(740)에서 반사된 빛만 이미지 센서부(830)가 수광하고 기타 잡광은 적외선 필터에 의해 필터링 되도록 할 수 있다.
도시된 커버(893)는, 포인터 이동 제어 장치(800)가 구비된 전자기기의 디스플레이부 또는 본체부의 일면에 해당할 수 있다.
하우징(890)은 중공의 원통 형상을 갖고 투광부(810)의 하부에 고정되어 있다. 그리고 하우징(890)의 내부에는 인쇄회로기판(880), 이에 실장된 광원부(860) 및 이미지 센서(830)가 수용되어 있다.
그리고 하우징(890)의 하부에는 키입력부(897)가 구비되어 있다. 사용자는 손가락 등을 이용하여 투광부(810)를 누르면, 커버(893) 및 투광부(810)의 탄성력에 의해 포인터 이동 제어 장치(800)가 전체적으로 하향 이동하는데, 이에 의해 상 술한 키입력부(897)의 기능이 수행될 수 있다. 예를 들어, 사용자는 피사체(740)를 움직여서 디스플레이 상에서 포인터를 움직여 원하는 메뉴, 아이콘 등을 선택한 후 투광부(710)를 가압할 수 있다. 이에 의하여 키입력부(897)는 키입력 명령을 생성하여 출력할 수 있다. 즉, 사용자는 피사체(740)를 움직여서 디스플레이 상에서 포인터를 움직여서 원하는 메뉴, 아이콘 등을 선택한 후 투광부(810)를 가압함으로써 선택한 메뉴 또는 아이콘 등을 실행할 수 있다. 이때, 키입력부(897)는 돔 스위치(Dome switch)일 수 있다.
제어부(899)는 촬상부(870)와 연결되어 촬상부(870)에 의해 생성된 영상 데이터를 수신한 후 영상 처리하여 디스플레이 상에 포인터가 표시되게 한다. 제어부(899)는 이미지 센서부(830)와는 구별되는 별도의 블록으로 구성될 수 있지만, 이미지 센서부(830)와 일체로 형성된 하나의 블록일 수도 있다. 제어부(899)는 도 2 및/또는 도 5을 참조하여 설명한 이미지 처리부(230 및/또는 530)일 수 있다.
도 9a는 본 발명의 또 다른 실시예에 따른 포인터 이동 제어 장치 상에 피사체가 위치한 상태를 나타내는 개략도이고, 도 9b는 본 발명의 또 다른 실시예에 따른 포인터 이동 제어 장치의 키입력 인식 영역 구획 방법의 일 실시예를 나타낸 도면이며, 도 9c는 본 발명의 다른 실시예에 따른 포인터 이동 제어 장치의 키입력 인식 영역 구획 방법의 다른 실시예를 나타낸 도면이다.
도 9a를 참조하면, 피사체(940)가 사용자의 오른손 엄지 손가락인 경우 일반적으로 피사체(940)는 투광부의 중심을 지나는 종축(a)에 대해서 우측에 위치하고 횡축(b)에 대해서는 하부에 위치한다. 따라서 이미지 센서부(830)가 피사체940)의 이미지를 더욱 용이하게 촬영할 수 있도록 하기 위해서 사용자는 조절 손잡이(820)를 이용해서 투광부(810) 및 촬상부 등을 종축(a)에 대해 반시계 방향으로 회전한다. 이로 인해 회전한 이미지 센서부(830-1)는 회전하기 전의 이미지 센서부(830)에 비해서 피사체(940)의 더욱 많은 부분을 촬영할 수 있다.
도 9a에서는 사용자가 피사체(940)의 위치에 따라서 이미지 센서부(830) 등을 회전 하는 것으로 도시하였지만, 이미지 센서부(830) 등은 종축(a)에 대해서 일정한 각도로 회전한 상태에서 고정될 수 있다. 즉, 포인터 이동 제어 장치(800)가 휴대 단말기에 장착되고 사용자가 왼손잡이인 경우 이미지 센서부(830) 등은 종축(a)에 대해서 시계 방향으로 회전된 상태에서 고정될 수 있다. 그리고 오른손잡이 사용자의 경우 이미지 센서부(830) 등은 도 9a에 도시된 바와 같이 종축(a)에 대해서 반 시계 방향으로 회전된 상태에서 고정될 수 있다. 이와 같이 이미지 센서부(830)를 포함하는 투광부(87) 및 하우징(1090)이 커버(893)에 대해서 고정된 경우에는 포인터 이동 제어 장치를 구비한 전자기기(800)는 회전 돌기(820) 및 가이드홈(1095)과 같은 구성을 구비할 필요가 없게 된다.
도 9a에서와 같이 이미지 센서부(830) 등이 일정한 방향으로 회전한 경우에는 피사체의 촬상이 회전한 상태에서 이루어 지므로 도 9b에 도시된 바와 같이 제2 영상 데이터(제1 영상 데이터도 마찬가지임)도 회전된 이미지 데이터일 것이다. 이 경우, 도 3b을 참조하여 설명한 키입력 인식 영역 구획 방법을 그대로 이용할 수도 있다. 다만, 각 키입력 인식 영역에 상응하는 기능도 회전 반대 방향으로 회전하여 야 할 것이다. 즉, 만일 이미지 센서부(830) 등이 회전되기 이전에 '메뉴 기능'이 키입력 인식 영역 중 영역 (7)에 상응하였다면, 이미지 센서부(830-1)가 시계 반대 방향으로 회전한 경우(도 9b 참조)에는 '메뉴 기능'에 상응하는 키입력 인식 영역은 영역 (4)로 변경될 수 있다. 즉, 도 9c에 도시된 바와 같이, 이미지 센서부(830) 등이 회전한 정도에 상응하여 각 키입력 인식 영역도 회전할 수 있다.
여기에서는 키입력 인식 영역을 영역 (1) 내지 영역 (9)의 9개 영역으로 구분하는 방법에 대하여 설명하였으나, 이는 본 발명의 설명을 용이하게 함이며 키입력 인식 영역의 개수는 본 발명의 범위를 제한하지 아니한다.
그 외 본 발명의 실시예에 따른 포인터 이동 제어 장치에 대한 기타 구체적인 부품, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 및 엑추에이터, 배터리, 카메라, 센서 등 부품 표준화 기술 등에 대한 구체적인 설명은 생략하기로 한다.
상술한 본 발명의 실시예에 따른 포인터 이동 제어 방법은 기록매체에 저장된 후 소정의 장치, 예를 들면, 이동 통신 단말기와 결합하여 수행될 수 있다. 여기서, 기록매체는 비디오 테이프, CD, VCD, DVD와 같은 자기 또는 광 기록매체이거나 또는 오프라인 또는 온라인 상에 구축된 클라이언트 또는 서버 컴퓨터의 데이터베이스일 수도 있다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
상술한 바와 같이, 본 발명에 따르면 피사체 주위의 명도에 관계없이 피사체의 움직임을 추출하여 디스플레이 상의 포인터를 제어할 수 있는 포인터 이동 제어 장치를 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면 피사체의 움직임을 추출하기 위해 피사체를 조명할 별도의 광원이 필요하지 않은 포인터 이동 제어 장치를 제공할 수 있는 효과도 있다.
또한, 본 발명에 따르면 피사체의 움직임을 추출하기 위해 복수의 영상 프레임이 필요없는 포인터 이동 제어 장치를 제공할 수 있는 효과도 있다.
또한, 본 발명에 따르면 카메라 촬상장치를 이용하여 디스플레이 상의 포인터를 제어할 수 있는 포인터 이동 제어 장치를 제공할 수 있는 효과도 있다.
또한, 본 발명에 따르면 기존의 키패드의 일부를 생략할 수 있음으로써 전자 장치의 공간적인 활용도를 높일 수 있고, 전자 장치의 소형화가 가능한 포인터 이동 제어 장치를 제공할 수 있는 효과도 있다.
또한, 본 발명에 따르면 전자장치 제조시 제조 공정이 간단해지고 그 제조 단가를 줄일 수 있는 포인터 이동 제어 장치를 제공할 수 있는 효과도 있다.
또한, 본 발명에 따르면 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 포인터 이동 제어 장치를 제공할 수 있는 효과도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구 범위에 기재된 본 발명 및 그 균등물의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (22)

  1. 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에 있어서,
    상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 촬상부;
    상기 촬상부에서 촬상한 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 선명도 조절부;
    상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 생성하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 외곽선 추출부;
    상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 포인터 위치 설정부; 및
    상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 포인터 위치 판단부를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치.
  2. 제1항에 있어서,
    사용자의 키입력에 상응하는 키입력 명령을 생성하여 출력하는 키입력부를 더 포함하되,
    상기 포인터 위치 판단부는 상기 키입력 명령에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 것을 특징으로 하는 포인터 이동 제어 장치.
  3. 제1항에 있어서,
    상기 포인터 위치 판단부는 상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단한 후 상응하는 기능 수행 명령을 생성하여 출력하는 것을 특징으로 하는 포인터 이동 제어 장치.
  4. 제3항에 있어서,
    상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되,
    상기 포인터 위치 판단부는 상기 간격 영역에 상기 특정 위치가 속하는 경우에는 상기 기능 수행 명령을 생성하지 아니하는 것을 특징으로 하는 포인터 이동 제어 장치.
  5. 제3항에 있어서,
    상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역 을 구분하는 간격 영역이 존재하되,
    상기 포인터 위치 판단부는 상기 간격 영역에 상기 특정 위치가 속하는 경우에는 에러(error)에 상응하는 상기 기능 수행 명령을 생성하는 것을 특징으로 하는 포인터 이동 제어 장치.
  6. 제3항에 있어서,
    상기 복수의 키입력 인식 영역 중 상기 어느 하나의 영역은 비설정 영역으로 미리 설정되어 있고, 상기 비설정 영역은 상기 제1 영상 데이터 또는 상기 제2 영상 데이터의 중심부에 위치되며, 상기 비설정 영역에 의하여 상기 비설정 영역을 제외한 상기 복수의 키입력 인식 영역이 구분되는 것을 특징으로 하되,
    상기 포인터 위치 판단부는 상기 비설정 영역에 상기 특정 위치가 속하는 경우에는 상기 기능 수행 명령을 생성하지 아니하는 것을 특징으로 하는 포인터 이동 제어 장치.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 포인터 이동 제어 장치는 메인 제어부를 더 포함하고, 상기 키입력부는 상기 포인터 이동 제어 장치의 하부에 위치하되,
    상기 포인터 위치 판단부는 상기 기능 수행 명령을 생성하여 상기 메인 제어 부로 출력하고,
    상기 메인 제어부는 상기 기능 수행 명령에 상응하는 기능을 수행하도록 상기 포인터 이동 제어 장치의 동작을 제어하는 것을 특징으로 하는 포인터 이동 제어 장치.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표를 구하는 중심 판단부를 더 포함하는 것을 특징으로 하는 포인터 이동 제어 장치.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제7항에 있어서,
    상기 외곽선 내에 포함되는 특정 위치는 상기 외곽선의 무게 중심인 것을 특징으로 하는 포인터 이동 제어 장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서,
    상기 중심 판단부는 하기 식에 의해 상기 외곽선의 무게 중심을 산출하는 것을 특징으로 하는 포인터 이동 제어 장치.
    여기서,
    Figure 112006077463816-pat00041
    은 무게 중심, M은 상기 외곽선을 나타내는 픽셀의 휘도값을 모두 더한 값, mi는 상기 외곽선을 나타내는 각 픽셀 휘도값,
    Figure 112006077463816-pat00042
    는 상기 외곽선을 나타내는 픽셀의 좌표값임.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서,
    상기 중심 판단부는 하기 식에 의해 상기 외곽선의 무게 중심을 산출하는 것을 특징으로 하는 포인터 이동 제어 장치.
    Figure 112006077463816-pat00043
    여기서,
    Figure 112006077463816-pat00044
    은 무게 중심, n은 상기 외곽선을 나타내는 픽셀의 개수,
    Figure 112006077463816-pat00045
    는 상기 외곽선을 나타내는 픽셀의 좌표값임.
  12. 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에 있어서,
    미리 설정된 시간을 간격으로 점등되는 광원부;
    상기 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하고, 상기 광원부가 불활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 이미지 센서부;
    상기 제1 영상 데이터와 상기 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성하는 피사체 추출부;
    상기 제3 영상 데이터를 분석하여 촬상된 상기 피사체의 중심점을 산출하는 중심 판단부;
    상기 중심점에 상응하는 좌표에 상기 포인터를 위치시키는 포인터 위치 설정부; 및
    상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 포인터 위치 판단부를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치.
  13. 제12항에 있어서,
    사용자의 키입력에 상응하는 키입력 명령을 생성하여 출력하는 키입력부를 더 포함하되,
    상기 포인터 위치 판단부는 상기 키입력 명령에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 것을 특징으로 하는 포인터 이동 제어 장치.
  14. 제12항에 있어서,
    상기 포인터 위치 판단부는 상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단한 후 상응하는 기능 수행 명령을 생성하여 출력하는 것을 특징으로 하는 포인터 이동 제어 장치.
  15. 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에서 기능 수행 명령을 생성하는 방법에 있어서,
    (a) 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계;
    (b) 상기 제1 영상 데이터의 선명도를 조절하여 제2 영상 데이터를 생성하는 단계;
    (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차분 값을 추출하여 상기 피사체의 일단에 상응하는 소정의 외곽선을 추출하는 단계;
    (d) 상기 소정의 외곽선 내에 포함되는 특정 위치에 상응하는 좌표에 상기 포인터를 위치시키는 단계;
    (e) 사용자의 키입력에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  16. 제15항에 있어서,
    상기 단계 (e)는
    상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단하는 단계;
    상기 특정 영역이 속하는 키입력 인식 영역에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    제16항에 있어서,
    상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되,
    상기 단계 (e)는
    상기 특정 영역이 속하는 키입력 인식 영역이 상기 간격 영역인 경우에는 상기 기능 수행 명령을 생성하지 아니하는 단계를 더 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    제16항에 있어서,
    상기 복수의 키입력 인식 영역의 각 영역 사이에는 각각의 키입력 인식 영역을 구분하는 간격 영역이 존재하되,
    상기 단계 (e)는
    상기 특정 영역이 속하는 키입력 인식 영역이 상기 간격 영역인 경우에는 상기 에러(error)에 상응하는 기능 수행 명령을 생성하는 단계를 더 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제16항에 있어서,
    상기 복수의 키입력 인식 영역 중 상기 어느 하나의 영역은 비설정 영역으로 미리 설정되어 있고, 상기 비설정 영역은 상기 제1 영상 데이터 또는 상기 제2 영상 데이터의 중심부에 위치되며, 상기 비설정 영역에 의하여 상기 비설정 영역을 제외한 상기 복수의 키입력 인식 영역이 구분되는 것을 특징으로 하되,
    상기 단계 (e)는
    상기 특정 영역이 속하는 키입력 인식 영역이 상기 비설정 영역인 경우에는 상기 기능 수행 명령을 생성하지 아니하는 단계를 더 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  20. 피사체의 움직임에 따라 포인터의 이동을 제어하는 포인터 이동 제어 장치에서 기능 수행 명령을 생성하는 방법에 있어서,
    (a) 광원부가 활성화된 상태에서 상기 피사체를 촬상하여 제1 영상 데이터를 생성하는 단계;
    (b) 상기 광원부가 비활성화된 상태에서 상기 피사체를 촬상하여 제2 영상 데이터를 생성하는 단계;
    (c) 상기 제1 영상 데이터와 상기 제2 영상 데이터를 비교하여 제3 영상 데이터를 생성하는 단계;
    (d) 상기 제3 영상 데이터를 분석하여 촬상된 상기 피사체의 중심점을 산출하는 단계;
    (e) 상기 중심점에 상응하는 좌표에 상기 포인터를 위치시키는 단계; 및
    (f) 사용자의 키입력에 따라 상기 특정 위치에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  21. 제20항에 있어서,
    상기 단계 (f)는
    상기 특정 위치가 상기 제1 영상 데이터 또는 상기 제2 영상 데이터 내에 미리 설정된 복수의 키입력 인식 영역 중 어느 하나의 영역에 속하는지를 판단하는 단계;
    상기 특정 영역이 속하는 키입력 인식 영역에 상응하는 기능 수행 명령을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 포인터 이동 제어 장치에서의 기능 수행 명령 생성 방법.
  22. 제3항 또는 제14항에 있어서,
    상기 포인터 이동 제어 장치가 미리 설정된 기준 좌표계를 기준으로 일정한 방향으로 이동되어 위치하되,
    상기 키입력 인식 영역이 상기 이동에 상응하여 변경되는 것을 특징으로 하는 포인터 이동 제어 장치.
KR1020060104226A 2006-10-25 2006-10-25 포인터 이동 제어 장치 Active KR100799766B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060104226A KR100799766B1 (ko) 2006-10-25 2006-10-25 포인터 이동 제어 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060104226A KR100799766B1 (ko) 2006-10-25 2006-10-25 포인터 이동 제어 장치

Publications (1)

Publication Number Publication Date
KR100799766B1 true KR100799766B1 (ko) 2008-02-01

Family

ID=39341992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060104226A Active KR100799766B1 (ko) 2006-10-25 2006-10-25 포인터 이동 제어 장치

Country Status (1)

Country Link
KR (1) KR100799766B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547457B1 (ko) 2013-10-30 2015-08-26 주식회사 엠씨넥스 방향 인식 카메라

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980033069A (ko) * 1996-10-18 1998-07-25 니시무로 다이조 정보입력장치, 정보입력방법 및 고체촬상장치
JPH10326148A (ja) 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
US6977645B2 (en) 2001-03-16 2005-12-20 Agilent Technologies, Inc. Portable electronic device with mouse-like capabilities
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR20070044354A (ko) * 2005-10-24 2007-04-27 소니 에릭슨 모빌 커뮤니케이션즈 재팬, 아이엔씨. 휴대 단말기 장치, 마우스 애플리케이션 프로그램, 및 휴대단말기 장치를 무선 마우스 장치로서 사용하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980033069A (ko) * 1996-10-18 1998-07-25 니시무로 다이조 정보입력장치, 정보입력방법 및 고체촬상장치
JPH10326148A (ja) 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
US6977645B2 (en) 2001-03-16 2005-12-20 Agilent Technologies, Inc. Portable electronic device with mouse-like capabilities
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR20070044354A (ko) * 2005-10-24 2007-04-27 소니 에릭슨 모빌 커뮤니케이션즈 재팬, 아이엔씨. 휴대 단말기 장치, 마우스 애플리케이션 프로그램, 및 휴대단말기 장치를 무선 마우스 장치로서 사용하는 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547457B1 (ko) 2013-10-30 2015-08-26 주식회사 엠씨넥스 방향 인식 카메라

Similar Documents

Publication Publication Date Title
US8818027B2 (en) Computing device interface
US9632592B1 (en) Gesture recognition from depth and distortion analysis
KR101503017B1 (ko) 모션 검출 방법 및 장치
KR100853024B1 (ko) 디스플레이의 영상 제어 방법 및 그 장치
JP2018132799A (ja) 電子黒板システム、電子ペン、表示装置及び電子ペン位置検出方法
KR101432295B1 (ko) 카메라를 구비한 휴대단말기에서 마우스 실행 장치 및 방법
KR100860331B1 (ko) 포인터 이동 제어 장치를 포함하는 전자기기
CN101262557A (zh) 遥控器、视频设备遥控系统及电视机遥控方法
KR100799766B1 (ko) 포인터 이동 제어 장치
KR100849532B1 (ko) 무접점 마우스 기능을 가지는 장치 및 방법
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
KR100869144B1 (ko) 피사체 회전 동작 감지 장치 및 방법
KR20080037312A (ko) 포인터 이동 제어 장치 및 방법
KR20080032446A (ko) 광 포인팅 장치 및 이를 구비한 휴대 단말기
KR100807625B1 (ko) 포인터 이동 제어 방법 및 그 장치
KR100799907B1 (ko) 피사체 움직임 감지 장치 및 그 방법
WO2001020441A1 (en) Remote control method and apparatus for remote control mouse
KR20080045577A (ko) 피사체 회전 동작 감지 장치 및 방법
KR20080045578A (ko) 피사체 클릭 동작 감지 장치 및 방법
KR20080079459A (ko) 피사체 움직임 감지 장치 및 그 방법
KR100829142B1 (ko) 피사체 움직임 감지 장치 및 방법
KR20080045584A (ko) 피사체 움직임 감지 장치 및 그 방법
KR100807620B1 (ko) 포인터 이동 제어 방법 및 그 장치
CN111314520B (zh) 一种终端设备
CN113873132B (zh) 镜头模组、移动终端、拍摄方法和拍摄装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20061025

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20071024

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110111

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20120106

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130111

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20131227

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20171221

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20171221

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20181226

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20191223

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20210114

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20230109

Start annual number: 16

End annual number: 16