[go: up one dir, main page]

KR101184460B1 - 마우스 포인터 제어 장치 및 방법 - Google Patents

마우스 포인터 제어 장치 및 방법 Download PDF

Info

Publication number
KR101184460B1
KR101184460B1 KR1020100011069A KR20100011069A KR101184460B1 KR 101184460 B1 KR101184460 B1 KR 101184460B1 KR 1020100011069 A KR1020100011069 A KR 1020100011069A KR 20100011069 A KR20100011069 A KR 20100011069A KR 101184460 B1 KR101184460 B1 KR 101184460B1
Authority
KR
South Korea
Prior art keywords
mouse pointer
images
image
value
difference image
Prior art date
Application number
KR1020100011069A
Other languages
English (en)
Other versions
KR20110091301A (ko
Inventor
이동혁
권무식
이상윤
카 안 토
이효빈
김영성
오범석
김수연
Original Assignee
연세대학교 산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 삼성전자주식회사 filed Critical 연세대학교 산학협력단
Priority to KR1020100011069A priority Critical patent/KR101184460B1/ko
Priority to US12/985,915 priority patent/US8957857B2/en
Publication of KR20110091301A publication Critical patent/KR20110091301A/ko
Application granted granted Critical
Publication of KR101184460B1 publication Critical patent/KR101184460B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명인 마우스 포인터 제어 장치는 디스플레이부, 제1 객체와 제2 객체의 영상을 촬영하는 영상 촬영부, 및 상기 촬영된 영상에서 상기 제1 객체와 제2 객체 사이의 일지점을 마우스 포인터의 위치로 설정하고, 상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단하는 제어부를 포함하고, 손가락의 움직임에 따른 차영상을 이용하여 손가락의 움직임을 검출하기 때문에, 계속해서 변하는 주변의 조명이나, 손가락의 색상과 비슷한 사용자의 얼굴이 배경에 포함되어도 손가락의 움직임을 정확하게 식별해 낼 수 있다.

Description

마우스 포인터 제어 장치 및 방법{DEVICE AND METHOD FOR CONTROLLING A MOUSE POINTER}
본 발명은 마우스 포인터 제어 장치 및 방법에 관한 것으로, 특히 물체의 동작에 따라 비접촉식으로 마우스 포인터를 제어하는 장치에 관한 것이다.
현대 사회에서 GUI(Graphic User Interface) 기반의 프로그램은 개인용 PC는 물론 랩탑 PC, 타블릿 PC, 내비게이터, PMP, 스마트폰과 같은 휴대용 단말기 등 다양한 종류의 전자기기에 사용되고 있다. 일반적으로, 이러한 GUI 기반의 프로그램으로 구동되는 각종 전자기기는 화면상에 다양한 종류의 아이콘이 배치되어 있으며, 마우스 포인터와 같은 사용자 제어 포인트를 이동시켜 상기 아이콘을 클릭함으로써 해당되는 프로그램을 실행시키도록 구현된다. 현재 마우스 포인터를 이동시키거나 클릭하는 사용자의 제어 동작을 인식하기 위해 다양한 종류의 사용자 인터페이스가 사용되는데, 이와 같은 사용자 인터페이스에는 마우스, 터치패드, 터치스크린, 트랙볼 또는 트랙포인트 등이 있다.
이처럼 다양하고 고차원적인 사용자 인터페이스가 GUI 기반의 프로그램으로 구동되는 전자기기에 사용되고 있지만, 위와 같은 인터페이스를 통해 전자기기를 제어하기 위해선 손으로 마우스를 잡는 등 인터페이스에 물리적인 신체접촉이 불가피하다. 또한, 휴대용 전자기기를 사용시 마우스와 같은 별도의 인터페이스를 사용하는 경우 휴대성 면에서 사용자의 편의성이 떨어지는 문제점이 있다.
상기와 같은 문제점을 해결하기 위해 대한민국 공개특허공보 제2007-30398호에는 이동 통신 단말기가 구비한 디스플레이부에 나타난 마우스 포인터를 손동작으로 이동시키는 방법 및 이동 통신 단말기에 대해 개시하고 있다.
그러나, 상기 종래기술은 색상 정보를 이용하여 손 부분을 추출하여 손동작을 인식하기 때문에, 주변의 조명이 계속해서 변하는 경우 색상 정보만을 이용하여 손 부분을 추출하는 데에는 어려움이 있어왔다. 또한, 도 2와 같이 이동 통신 단말기와 같은 전자기기의 전면에 영상 촬영부가 장착되어 있는 경우에는, 화면에 손 이외에도 손과 비슷한 색상을 갖는 사용자의 얼굴이 동시에 촬영되기 때문에, 손과 얼굴 사이의 정확한 경계를 검출하기가 어려웠다.
따라서, 별도의 하드웨어를 부가하거나 교체하지 않고서도, 주위의 조명과 얼굴이 포함된 복잡한 배경에서도 손가락을 정확히 인식함으로써 정확한 제어가 가능한 전자기기에서의 마우스 포인터 제어 방법이 필요하였다.
상기와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 이동 통신 단말기와 같은 전자기기에 장착된 영상 촬영부를 사용하여 디스플레이에 나타난 마우스 포인터를 손가락 동작으로 이동시키고, 사용자의 선택 명령에 따라 메뉴를 선택함으로써 사용자의 편의를 증대시키는 것을 목적으로 한다. 또한, 손가락의 움직임에 따른 영상들의 차이를 이용하여 손가락을 식별하기 때문에 계속해서 변하는 주변의 조명이나, 손가락의 색상과 비슷한 사용자의 얼굴이 배경에 포함되어도 손가락의 움직임을 정확하게 식별해서 마우스 포인터를 제어할 수 있는 전자기기를 제공함을 목적으로 한다.
본 발명의 일 실시 예에 따르면, 마우스 포인터 제어 장치는 디스플레이부, 제1 객체와 제2 객체의 영상을 촬영하는 영상 촬영부, 및 상기 촬영된 영상에서 상기 제1 객체와 제2 객체 사이의 일지점을 상기 디스플레이부 상에서의 마우스 포인터의 위치로 설정하고, 상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단하는 제어부를 포함한다.
상기 실시 예에서, 상기 촬영된 영상을 저장하는 저장부를 더 포함하며, 상기 제어부는 상기 저장된 영상 중 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 차영상을 각각 계산하고, 상기 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출할 수 있다.
또한, 상기 제어부는 상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 평균 차영상을 각각 계산하며, 상기 평균 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출할 수 있다.
또한, 상기 제어부는 상기 각각의 평균 차영상을 소정의 비율로 균분한 블록들로 나눠서 블록화하고, 상기 블록화된 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정하며, 상기 유효 블록들에 대하여 이웃하는 유효 블록들을 하나의 그룹으로 묶어 그룹화하고, 상기 그룹화된 그룹들로부터 상기 제1 객체 및 제2 객체를 검출할 수 있다.
나아가, 상기 제어부는 상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부로 검출함으로써 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 상기 디스플레이부 상에서의 마우스 포인터의 위치로 설정할 수 있다.
상기 실시 예에서, 상기 제1 객체 및 제2 객체의 단부를 검출함에 있어서, 이전에 검출된 두 단부와 비교하여 움직임의 범위가 소정의 범위를 초과하면 이전에 검출된 두 단부를 리턴할 수 있다.
본 발명의 일 실시 예에 따른 마우스 포인터 제어 방법은, 제1 객체 및 제2 객체에 대한 영상을 촬영하는 단계, 상기 촬영된 영상에서 검출된 상기 제1 객체와 제2 객체 사이의 일지점을 마우스 포인터의 위치로 설정하는 단계, 및 상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단하는 단계를 포함한다.
상기 실시 예에서, 상기 촬영된 영상 중 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 차영상을 각각 계산하고, 상기 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출할 수 있다.
또한, 상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 평균 차영상을 각각 계산하고, 상기 평균 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출할 수 있다.
또한, 상기 각각의 평균 차영상을 소정의 비율로 균분한 블록들로 나눠서 블록화하고, 상기 블록화된 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정하며, 상기 유효 블록들에 대하여 이웃하는 유효 블록들을 하나의 그룹으로 묶어 그룹화하고, 상기 그룹화된 그룹들로부터 상기 제1 객체 및 제2 객체를 검출할 수 있다.
나아가, 상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 마우스 포인터의 위치로 설정할 수 있다.
상기 실시 예에서, 상기 제1 객체 및 제2 객체의 단부를 검출함에 있어서, 이전에 검출된 두 단부와 비교하여 움직임의 범위가 소정의 범위를 초과하면 이전에 검출된 두 단부를 리턴할 수 있다.
본 발명에 따른 마우스 포인터 제어 장치 및 방법은 이동 통신 단말기와 같은 전자기기의 기존 리소스를 이용하여 손가락이나 막대 형태의 물체의 움직임을 인식하여 작동하기 때문에, 별도의 하드웨어를 구비할 필요가 없으므로 생산 비용이 절감되고, 사용이 편리한 이점이 있다.
또한, 본 발명에 따른 마우스 포인터 제어 장치 및 방법은 손가락의 움직임에 따른 차영상을 이용하여 손가락의 움직임을 검출하기 때문에, 계속해서 변하는 주변의 조명이나, 손가락의 색상과 비슷한 사용자의 얼굴이 배경에 포함되어도 손가락의 움직임을 정확하게 식별해 낼 수 있는 이점이 있다.
나아가, 본 발명에 따른 마우스 포인터 제어 장치 및 방법은 이동 통신 단말기와 같은 전자기기에서 단순 메뉴 선택뿐만 아니라, HCI(Human Computer Interface)를 필요로 하는 다양한 콘텐츠 및 프로그램을 제어하는데 있어서 사용자들이 편리하게 사용할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 마우스 포인터 제어 장치의 구성도;
도 2는 본 발명의 일 실시 예에 따른 마우스 포인터 제어 장치에서 손가락으로 마우스 포인터를 제어하는 모습을 도시한 도면;
도 3은 제1 객체 및 제2 객체 사이의 거리에 따른 사용자의 선택 명령의 입력을 도시한 도면;
도 4는 저장부에 연속적으로 저장되는 제1 객체 및 제2 객체의 영상을 도시한 도면;
도 5는 제어부에서 차영상 및 평균 차영상을 구하는 것을 도시한 도면;
도 6은 평균 차영상을 블록화하고, 각 블록에 대해 명암값을 설정하는 것을 도시한 도면;
도 7은 유효 블록들을 하나의 그룹으로 그룹화하는 것을 도시한 도면;
도 8은 제1 객체 및 제2 객체의 검출을 도시한 도면;
도 9는 본 발명의 일 실시 예에 따른 마우스 포인터 제어 방법의 각 단계를 도시한 순서도;
도 10은 상기 마우스 포인터 제어 방법에서 블록 명암값 설정 단계를 도시한 순서도.
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 마우스 포인터 제어 장치의 구성도이다. 도 1에 도시된 바와 같이, 상기 실시 예에 따른 마우스 포인터 제어 장치(10)는 영상 촬영부(11), 저장부(12), 디스플레이부(13), 입력부(14), 음성 처리부(15), 통신부(16) 및 제어부(17)를 포함한다.
상기 영상 촬영부(11)는 디지털 카메라 및 촬영한 영상을 영상처리하기 위한 모듈을 포함한다. 상기 디지털 카메라는 렌즈부, 적외선 차단 필터 및 이미지 센서를 포함한다.
상기 렌즈부는 복수의 렌즈들을 포함한다. 또한, 상기 복수의 렌즈들의 각각은 광축에 대해 회전 대칭성을 갖고, 상기 복수의 렌즈들의 광축이 일축 상에 배열된다. 상기 복수의 렌즈는 구면 또는 비구면 형상으로 이루어질 수 있다. 또한, 상기 렌즈부는 플라스틱 재질로 형성된 3개의 렌즈로 이루어질 수 있다.
상기 적외선 차단 필터는 인간의 눈이 민감하게 반응하지 않는 적외선 대역의 입사광을 차단시키는 기능을 갖는다. 상기 이미지 센서는 인간의 눈으로는 인식하기 어려운 적외선 대역(파장이 약 750nm이상인 광선)의 입사광에도 민감하게 반응한다. 따라서, 이들 적외선 대역의 입사광에 의해서 상기 이미지 센서에 촬영된 화상은 피사체의 자연색과 비교하여 색상 차이가 있기 때문에, 일반적으로 디지털 카메라에는 이와 같은 적외선 대역의 입사광을 차단하기 위해 적외선 차단 필터가 사용된다.
상기 이미지 센서는 동일한 구성을 갖는 픽셀들(pixels)이 N×M 매트릭스(matrix) 구조로 배치된 구조를 갖는다. 상기 이미지 센서로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등이 사용될 수 있다.
상기 저장부(12)는 제1 객체 및 제2 객체의 움직임에 대한 영상을 저장한다. 상기 저장부(12)의 구성 소자는 플래쉬 메모리와 같은 비휘발성 메모리가 사용될 수 있다. 또한, 마우스 포인터의 제어를 위해 필요한 영상만을 임시적으로 저장하고, 이후 무용한 영상은 그때그때 지워도 무방하기 때문에 휘발성 메모리를 사용할 수도 있다. 나아가, 상기 저장부(12)는 상기 단말기(10)의 구동을 위한 일반적인 프로그램 및 어플리케이션들을 저장할 수 있다.
상기 디스플레이부(13)는 본 발명에 따라 제어된 마우스 포인터의 위치를 시각적으로 표시한다. 또한, GUI 기반의 어플리케이션들을 실행하기 위한 아이콘(icon)들을 표시한다. 사용자는 본 발명에 따른 마우스 포인터 제어 장치의 사용자 인터페이스를 통해 상기 디스플레이부(13) 상에서 상기 마우스 포인터를 움직여 상기 어플리케이션을 실행하기 위한 아이콘 상에 위치시킨 후, 사용자 선택 명령, 즉 클릭(click) 동작 등을 수행함으로써 상기 어플리케이션을 실행할 수 있다.
상기 디스플레이부(13)는 단말기(10)에 있어서 시각적인 출력 장치중 하나에 해당하며, 터치스크린(touch screen) 방식으로 구현하는 경우 상기 입력부(14)로 동작할 수도 있다. 상기 디스플레이부(13)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), CRT(Cathode-Ray Tube) 또는 PDP(Plasma Display Pannel) 등으로 이루어질 수 있다.
상기 입력부(14)는 키 매트릭스 구조를 가지며 문자 키, 숫자 키, 각종 기능 키 및 외부 볼륨 키를 구비하여 사용자가 입력하는 키에 대응하는 키 입력 신호를 상기 제어부(17)로 출력한다. 상기 입력부(14)는 상기 디스플레이부(13)를 터치스크린 형태로 구현함으로써, 상기 디스플레이부(13)와 통합될 수 있다.
상기 음성 처리부(15)는 마이크(Microphone) 및 스피커를 포함한다. 사용자는 상기 스피커를 통해 본 발명에 따른 단말기(10)의 동작음을 확인할 수 있다. 예를 들어, 특정 프로그램을 나타내는 아이콘 위에 마우스 커서를 올려놓으면 아이콘 활성화에 따른 동작음이 들릴 수 있도록 할 수 있으며, 특정 프로그램을 나타내는 아이콘을 선택하는 명령, 즉 클릭하는 동작에 따른 동작음이 들릴 수 있다.
상기 통신부(16)는 상기 제어부(17)의 제어 하에 음성 데이터, 문자 데이터, 영상 데이터 및 제어 데이터의 송수신을 담당하며 이를 위해 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 및 송수신을 위한 안테나 등을 포함한다. 상기 통신부(16)를 구비함으로써, 상기 단말기(10)와 통신되는 다른 통신 단말기에 대하여, 본 발명에 따른 마우스 포인터 제어 장치를 이용하여 원격으로 제어할 수 있다.
상기 제어부(17)는 상기 영상 촬영부(11)를 통해서 촬영된 영상에서 상기 제1 객체와 제2 객체 사이의 일지점을 상기 디스플레이부(13) 상에서의 마우스 포인터의 위치로 설정하고, 상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단한다. 또한, 상기 제어부(17)는 본 발명에 따른 단말기(10)의 구성 요소들, 예를 들어 상기 영상 촬영부(11), 저장부(12), 디스플레이부(13), 입력부(14), 음성 처리부(15) 및 통신부(16)를 제어한다.
도 2는 본 발명에 따른 마우스 포인터 제어 장치에서 손가락으로 마우스 포인터를 제어하는 모습을 도시한 도면이다.
도 2에 도시된 바와 같이, 상기 단말기(10)의 전면에 상기 디스플레이부(13) 및 영상 촬영부(11)가 배치되어 있다. 상기 영상 촬영부(11)를 통해서 상기 제1 객체(21) 및 제2 객체(22)를 촬영한다. 촬영된 영상은 마우스 포인터의 위치 및 사용자 선택 명령을 인식하고 판단하기 위한 데이터일 뿐이므로, 상기 디스플레이부(13)에 표시되지 않는다. 다만, 마우스 포인터의 동작 상태를 확인하기 위해 상기 영상 촬영부(11)를 통해 촬영된 영상이 상기 디스플레이부(13)에 표시될 수도 있으며, 특히 단말기의 구동화면과 겹쳐서 보이도록 반투명하게 표시될 수도 있다.
상기 제1 객체 및 제2 객체는 막대(rod) 형태의 임의의 물체라도 될 수 있다. 본 발명의 일 실시 예에 따르면, 상기 영상 촬영부(11)에 의해 촬영되어 상기 제어부(17)에 의해 영상 처리가 되는 제1 객체 및 제2 객체는 사람의 두 손가락이 될 수 있다. 상기 제1 객체 및 제2 객체로는 양손에서 하나씩의 손가락이 될 수도 있지만, 바람직하게는 하나의 손 내에서 2개의 손가락이 된다. 또한, 하나의 손 내에서 검지와 중지, 중지와 약지 등의 조합이 가능하지만 바람직하게는 엄지와 검지 또는 검지와 엄지가 상기 제1 객체 및 제2 객체가 된다. 도 2에서는 검지가 제1 객체(21)가 되고, 엄지가 제2 객체(22)가 된 모습을 나타내고 있다.
도 2에 도시된 바와 같이, 상기 영상 촬영부(11)에는 제1 객체 및 제2 객체인 검지와 엄지 손가락 이외에도 얼굴 및 손가락과 유사한 색상의 신체의 일부가 함께 촬영된 것을 볼 수 있다. 종래 기술에 의한 마우스 포인터 제어 장치의 경우, 위와 같은 상황에서 제1 객체 및 제2 객체의 색상이 배경색과 동일하기 때문에 색상차이를 구분하기가 곤란해지며, 그만큼 제1 객체 및 제2 객체의 움직임을 검출하기가 어려워서 마우스 포인터를 원활하게 제어할 수가 없게 된다. 그러나, 본 발명에 따른 마우스 포인터 제어 장치는 제1 객체 및 제2 객체를 촬영한 영상의 차영상 즉, 제1 객체 및 제2 객체의 움직임을 검출하여 상기 마우스 포인터를 제어하기 때문에, 배경에 제1 객체 및 제2 객체와 유사한 색상의 다른 물체가 있더라도 종래 발명에 비해 검출 능력이 뛰어나며, 따라서 마우스 포인터를 보다 원활하게 제어할 수 있게 된다.
도 3은 제1 객체 및 제2 객체 사이의 거리에 따른 사용자의 선택 명령의 입력을 도시한 도면이다.
앞서 설명한 바와 같이 사용자의 선택 명령이란 특정 어플리케이션의 실행과 같은 특정 작업을 위하여, 사용자가 단말기의 배경화면에 배치되어 있는 특정 아이콘을 클릭(click)한다든지, 더블 클릭(double click)을 하는 등의 특정 행위를 말한다.
도 3(a)는 검지와 엄지에 해당하는 제1 객체 및 제2 객체 사이가 소정의 거리 이상인 경우에 해당한다. 상기 소정의 거리는 사용자가 임의로 설정가능하며, 필요에 따라 다양하게 변경할 수 있다. 예를 들어, 사용자는 상기 소정의 거리를 제1 객체의 두께만큼의 길이로 설정하거나, 50 픽셀 또는 5밀리미터 등 다양하게 설정할 수 있다. 본 발명에 따른 단말기는 상기 제1 객체 및 제2 객체 사이의 거리가 사용자가 설정한 상기 소정의 거리 이상을 유지하는 경우, 사용자 선택 명령은 없는 것으로 판단하며 상기 제1 객체 및 제2 객체 사이의 일지점을 상기 디스플레이부 상에서의 상기 마우스 포인트의 위치로 설정하고, 상기 제1 객체 및 제2 객체의 움직임에 따라 상기 마우스 포인트의 위치를 이동하는 동작만 수행된다.
도 3(b)는 검지와 엄지에 해당하는 제1 객체 및 제2 객체 사이가 소정의 거리 미만인 경우에 해당한다. 이 경우 해당 마우스 포인트 위치에 있는 특정 아이콘 등을 사용자가 선택 명령을 한 것으로 판단하고, 그에 해당하는 작업을 실행한다.
본 발명의 일 실시 예에 따르면, 상기 제1 객체 및 제2 객체에 해당하는 엄지와 검지를 상기 소정의 거리 미만으로 오므렸다 펴는 동작을 하나의 클릭 동작으로 판단하고서, 사용자가 상기 클릭 동작을 연속하여 2회 실시하는 경우 더블 클릭을 실행한 것으로 판단하도록 설정할 수도 있다. 이 경우, 앞서 행하는 클릭과 뒤에 행하는 클릭 사이의 임계 시간을 설정하여, 상기 임계 시간 이내에 2회의 클릭이 이루어진 경우만 더블 클릭으로 인식하도록 하는 시간 범위를 설정할 수 있다. 또한, 특정 아이콘 위에 마우스 포인터를 위치시킨 후, 엄지와 검지를 오므려서 상기 아이콘을 마우스 포인터에 고정시키고, 상기 마우스 포인터를 다른 위치로 이동시켜서 상기 아이콘을 상기 다른 위치로 이동시킨 후, 엄지와 검지를 소정의 거리 이상으로 펴서 상기 아이콘을 고정 해제시키는 이른바 드래그-앤-드롭(drag-and-drop) 기능도 구현할 수 있다.
또한, 상기와 같은 다양한 사용자 선택 명령이 실행되는 경우 각각에 해당되는 동작음이 상기 음성 처리부(15)를 통해 출력될 수 있다.
도 4는 상기 저장부(12)에 연속적으로 저장되는 제1 객체 및 제2 객체의 영상을 도시한 도면이다. 도 4에 도시된 바와 같이, 제1 객체 및 제2 객체를 촬영한 영상은 상기 저장부(12)에 저장할 수 있다. 다만, 저장 공간의 용량을 고려하여 마우스 포인터의 영상 처리가 종료되어 무용한 영상은 필요 시 삭제할 수도 있다. 도 4에 따른 실시 예에서는 연속하는 4매의 영상이 순차적으로 상기 저장부(12)에 저장되는 모습을 도시하고 있다.
도 5는 상기 제어부(17)에서 차영상 및 평균 차영상을 구하는 것을 도시한 도면이다.
도 5에 있어서, 상기 제어부(17)는 먼저 제1 객체 및 제2 객체에 대한 시간적으로 연속하는 4매의 영상(즉, 스틸 사진이나 프레임(frame))을 상기 영상 촬영부(11)나 상기 저장부(12)로부터 수신한다. 수신된 상기 4매의 영상에 대해, 상기 제어부(17)는 시간적으로 연속하는 전후 영상으로부터 각각의 차영상을 계산한다. 차영상이란 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 영상을 말한다. 도 5에 따른 실시 예에서는 상기 4매의 제1 객체 및 제2 객체에 대한 영상으로부터 총 3매의 차영상(51 내지 53)을 계산할 수 있다. 상기 차영상은 8bit 그레이 스케일(gray scale)로 이루어질 수 있다.
상기 차영상을 계산 후, 상기 제어부(17)는 상기 차영상들로부터 평균 차영상(50)을 계산한다. 상기 평균 차영상이란 상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 영상을 말한다. 도 5에 따른 실시 예에서는 상기 3매의 차영상(51 내지 53)에 대해서 평균값을 계산하여 1매의 평균 차영상(50)을 계산할 수 있다. 상기 평균 차영상 또한 8bit 그레이 스케일(gray scale)로 이루어질 수 있다.
도 5에 따른 실시 예에서는 4매의 영상에 대해서 차영상을 계산하고, 3매의 차영상에 따른 평균 차영상을 계산하였지만, 5매 이상의 영상 또는 3매의 영상에 대한 차영상 및 평균 차영상을 계산하여 마우스 포인터를 제어하는 장치도 구현할 수 있다.
다만, 2매의 영상에 대한 차영상을 이용하여 곧바로 마우스 포인터의 위치를 판단할 경우, 제1 객체 및 제2 객체의 움직임이 적어 움직임이 없는 부분과 비교하여 차영상에서 구분하기가 곤란할 수도 있다. 반면, 많은 매수의 영상에 대해서 차영상을 계산하고, 평균 차영상을 계산하는 경우 움직임이 너무 많아서 제1 객체 및 제2 객체의 정확한 움직임을 검출하기 곤란할 수도 있다. 따라서, 4 내지 10매씩의 영상으로부터 차영상 및 평균 차영상을 계산하여 마우스 포인터를 검출하는 것이 바람직하다.
도 6은 평균 차영상을 블록화하고, 각 블록에 대해 명암값을 설정하는 것을 도시한 도면이다.
도 6에서는, 상기 도 5에 따라 계산된 평균 차영상에 대하여, 상기 제어부(17)는 종횡으로 소정의 비율로 균분한 블록들로 나누고, 나누어진 상기 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정한다.
상기 소정의 비율은 사용자가 임의로 설정할 수 있다. 예를 들어, 종횡으로 8×6의 비율로 상기 평균 차영상을 균분할 수 있다.
상기 소정의 명암값은 사용자가 임의로 설정할 수 있다. 예를 들어, 8bit 그레이 스케일의 상기 평균 차영상에서 명암도가 0 내지 255까지 존재한다면, 128에 해당하는 명암값을 소정의 명암값으로 설정하고, 이를 픽셀수만큼 곱한 다음, 블록 내 명암값의 총합이 상기 128×픽셀수 미만인 경우에는 블록 내 모든 픽셀들의 명암값을 "0"으로 만들도록 사용자가 설정할 수 있다.
도 6(a)는 평균 차영상을 나타내며, 도 6(b)는 상기 평균 차영상에 대해 소정의 비율로 균분한 블록들로 나눠서 각 블록들에 대해서 명암값을 설정하고, 유효 블록에 대해서 원형의 점을 찍은 모습을 나타내고 있다. 즉, 원형으로 찍힌 점들에 해당하는 부분은 움직임이 있다고 판단되어 표시된 부분이다.
도 7은 상기 유효 블록들을 하나의 그룹으로 그룹화하는 것을 도시한 도면이다.
도 7에서 상기 제어부(17)는 상기 유효 블록들에 대하여 이웃하는 유효 블록들을 하나의 그룹으로 묶어 그룹화한다. 즉, 도 6에 따른 단계에서, 추정된 손가락 영역 부분의 성능을 향상시키기 위해 블록들을 하나의 그룹으로 묶는다. 본 발명에 따른 실시 예에서, 상기 움직임이 추정된 부분이 제1 객체 및 제2 객체의 원래 모양처럼 분류되는 경우도 있으나, 대부분 불연속적으로 분포되어 있어 제1 객체 및 제2 객체를 검출하는데 어려움이 있다. 이러한 문제점을 해결하기 위해, 상기 추정된 블록들 중에서 이웃해 있는 것들끼리 묶어서 하나의 그룹을 생성한다. 상기 생성된 다수의 그룹의 크기를 비교하여 소정의 크기보다 작으면 잡음으로 간주하고서 명암값을 "0"으로 설정함으로써 이를 제거한다.
도 8은 제1 객체 및 제2 객체를 검출하는 것을 도시한 도면이다.
도 8에서 상기 제어부(17)는 상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부로 검출함으로써 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 상기 디스플레이부 상에서의 마우스 포인터의 위치로 설정한다.
도 8(a)에 표시된 제1 객체의 단부를 찾기 위해서, 기울기가 무한대인 지점을 찾아서 상기 제1 객체의 단부로 검출할 수도 있지만, 도면에서와 같이 제1 객체의 원래 모양과 상당히 상이한 모양을 하고 있기 때문에 기울기가 무한대인 지점이 복수 개 존재할 수 있어서 마우스 포인터의 설정을 불가능하게 만들 수 있다. 따라서, 본 발명에 따른 일 실시 예에서는 제1 객체의 후보를 결정한다.
상기 제1 객체의 후보를 결정함에 있어, 마우스 포인터의 움직임에 대한 일관성을 유지하기 위해 이전의 평균 차영상으로부터 계산된 제1 객체의 후보와의 상관관계를 계산함으로써 계산할 수 있다. 나아가, 제1 객체 및 제2 객체의 움직임의 범위를 제한함으로써, 갑자기 제1 객체 및 제2 객체의 위치가 바뀌는 것을 방지할 수도 있다.
또한, 본 발명의 일 실시 예에 따라, 상기 제1 객체 및 제2 객체로서 검지와 엄지를 사용함에 있어서, 좌측 손을 사용하는 경우 상기 디스플레이부(13)의 오른쪽 방향에, 우측 손을 사용하는 경우 상기 디스플레이부(13)의 왼쪽 방향에 손가락의 끝이 위치한다는 것을 이용하여 상기 제1 객체 및 제2 객체의 후보를 결정할 수 있다.
상기 후보 내에 포함된 픽셀들의 명암값으로부터 경계 부분을 추출한 후, 상기 추출된 경계 부분에 대한 접선의 기울기 즉, 미분값들을 검토하여, 미분값의 부호가 변하는 부분을 제1 객체의 단부로 검출하는 방법을 적용한다.
도 8(c)에서 상기 미분값의 부호가 변하는 부분을 개략적으로 도시하였다. 상기 제1 객체에 해당하는 영역에서 양(+)에 해당하는 미분값 d1으로부터 음(-)에 해당하는 미분값 d2로 부호가 변했으며 각 접점 사이에 상기 제1 객체의 단부가 존재한다는 것을 확인할 수 있으며, 상기 각 접점 사이에서 미분값이 무한대가 되는 접점이 바로 상기 제1 객체의 단부로 검출될 것이다. 마찬가지로, 상기 제2 객체에 해당하는 영역에서 양(+)에 해당하는 미분값 d3으로부터 음(-)에 해당하는 미분값 d4로 부호가 변하는 각 접점의 사이에서, 미분값이 무한대가 되는 접점이 바로 상기 제2 객체의 단부로 검출될 것이다.
상기 검출된 제1 객체 및 제2 객체의 단부들 사이의 일지점을 상기 디스플레이부 상에서의 마우스 포인터의 위치로 설정하며, 상기 단부들 사이의 거리가 소정의 거리 미만이 될 경우 상기 마우스 포인트 위치에 대해 사용자 선택 명령이 있는 것으로 판단한다. 상기 마우스 포인터의 위치로 설정되는 일지점은 상기 단부들 사이의 임의의 점이 될 수 있지만, 바람직하게는 상기 단부들 사이의 중심이 될 수 있다.
본 발명의 일 실시 예에 따른 마우스 포인터 제어 방법은, 제1 객체 및 제2 객체에 대한 영상을 촬영하는 단계, 상기 촬영된 영상에서 검출된 상기 제1 객체와 제2 객체 사이의 일지점을 마우스 포인터의 위치로 설정하는 단계, 및 상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단하는 단계를 포함한다.
상기 실시 예에서, 상기 촬영된 영상 중 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 차영상을 각각 계산하고, 상기 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출할 수 있다.
또한, 상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 평균 차영상을 각각 계산하고, 상기 평균 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출할 수 있다.
또한, 상기 각각의 평균 차영상을 소정의 비율로 균분한 블록들로 나눠서 블록화하고, 상기 블록화된 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정하며, 상기 유효 블록들에 대하여 이웃하는 유효 블록들을 하나의 그룹으로 묶어 그룹화하고, 상기 그룹화된 그룹들로부터 상기 제1 객체 및 제2 객체를 검출할 수 있다.
나아가, 상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 마우스 포인터의 위치로 설정할 수 있다.
상기 실시 예에서, 상기 제1 객체 및 제2 객체의 단부를 검출함에 있어서, 이전에 검출된 두 단부와 비교하여 움직임의 범위가 소정의 범위를 초과하면 이전에 검출된 두 단부를 리턴할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 마우스 포인터 제어 방법의 각 단계를 도시한 순서도이다.
도 9에 따른 실시 예에서, 제1 객체 및 제2 객체에 대한 영상을 촬영하는 단계(S91)에서, 단말기에 구비되어 있는 영상 촬영부를 이용하여 제1 객체 및 제2 객체에 대한 영상을 촬영한다. 촬영된 영상은 마우스 포인터의 위치 및 사용자 선택 명령을 인식하고 판단하기 위한 데이터일 뿐이므로, 상기 디스플레이부에 표시되지 않는다. 다만, 마우스 포인터의 동작 상태를 확인하기 위해 상기 영상 촬영부(11)를 통해 촬영된 영상이 상기 디스플레이부에 표시될 수도 있으며, 특히 단말기의 구동화면과 겹쳐서 보이도록 반투명하게 표시될 수도 있다.
상기 제1 객체 및 제2 객체는 막대(rod) 형태의 임의의 물체라도 될 수 있다. 본 발명의 일 실시 예에 따르면, 상기 영상 촬영부에 의해 촬영되어 상기 제어부에 의해 영상 처리가 되는 제1 객체 및 제2 객체는 사람의 두 손가락이 될 수 있다. 상기 제1 객체 및 제2 객체로는 양손에서 하나씩의 손가락이 될 수도 있지만, 바람직하게는 하나의 손 내에서 2개의 손가락이 된다. 또한, 하나의 손 내에서 검지와 중지, 중지와 약지 등의 조합이 가능하지만 바람직하게는 엄지와 검지 또는 검지와 엄지가 상기 제1 객체 및 제2 객체가 된다.
상기 영상 촬영부에는 제1 객체 및 제2 객체인 검지와 엄지 손가락 이외에도 얼굴 및 손가락과 유사한 색상의 신체의 일부가 함께 촬영될 수 있다. 종래 기술에 의한 마우스 포인터 제어 장치의 경우, 위와 같은 상황에서 제1 객체 및 제2 객체의 색상이 배경색과 동일하기 때문에 색상차이를 구분하기가 곤란해지며, 그만큼 제1 객체 및 제2 객체의 움직임을 검출하기가 어려워서 마우스 포인터를 원활하게 제어할 수가 없게 된다. 그러나, 본 발명에 따른 마우스 포인터 제어 방법에 의하면 제1 객체 및 제2 객체를 촬영한 영상의 차영상 즉, 제1 객체 및 제2 객체의 움직임을 검출하여 상기 마우스 포인터를 제어하기 때문에, 배경에 제1 객체 및 제2 객체와 유사한 색상의 다른 물체가 있더라도 종래 발명에 비해 검출 능력이 뛰어나므로 마우스 포인터를 보다 원활하게 제어할 수 있게 된다.
또한, 제1 객체 및 제2 객체를 촬영한 영상은 단말기에 구비된 저장부에 저장할 수 있다. 다만, 저장 공간의 용량을 고려하여 마우스 포인터의 영상 처리가 종료되어 무용한 영상은 필요 시 삭제할 수도 있다.
상기 차영상을 각각 계산하는 단계(S92)에서, 제1 객체 및 제2 객체에 대한 시간적으로 연속하는 영상(즉, 스틸 사진이나 프레임(frame))에 대해 시간적으로 연속하는 전후 영상으로부터 각각의 차영상을 계산한다. 차영상이란 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 영상을 말한다. 만약 4매의 제1 객체 및 제2 객체에 대한 영상으로부터 차영상을 계산한다면 총 3매의 차영상을 계산할 수 있다. 상기 차영상은 8bit 그레이 스케일(gray scale)로 이루어질 수 있다.
상기 평균 차영상을 계산하는 단계(S93)에서, 상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 평균 차영상을 계산한다. 상기 3매의 차영상에 대해서 평균값을 계산하여 1매의 평균 차영상을 계산할 수 있다. 상기 평균 차영상 또한 8bit 그레이 스케일(gray scale)로 이루어질 수 있다.
본 발명의 일 실시 예에서는 4매의 영상에 대해서 차영상을 계산하고, 3매의 차영상에 따른 평균 차영상을 계산하였지만, 5매 이상의 영상 또는 3매의 영상에 대한 차영상 및 평균 차영상을 계산하여 마우스 포인터를 제어하는 방법도 구현할 수 있다.
다만, 2매의 영상에 대한 차영상을 이용하여 곧바로 마우스 포인터의 위치를 판단할 경우, 제1 객체 및 제2 객체의 움직임이 적어 움직임이 없는 부분과 비교하여 차영상에서 구분하기가 곤란할 수도 있다. 반면, 많은 매수의 영상에 대해서 차영상을 계산하고, 평균 차영상을 계산하는 경우 움직임이 너무 많아서 제1 객체 및 제2 객체의 정확한 움직임을 검출하기 곤란할 수도 있다. 따라서, 4 내지 10매씩의 영상으로부터 차영상 및 평균 차영상을 계산하여 마우스 포인터를 검출하는 것이 바람직하다.
상기 평균 차영상을 블록화하는 단계(S94)에서, 상기 계산된 평균 차영상을 종횡으로 소정의 비율로 균분한 블록들로 나눈다. 본 단계는 제1 객체 및 제2 객체의 움직임 이외의 배경의 움직임과 같은 불필요한 움직임을 제거하기 위한 전 단계에 해당된다. 크기가 너무 작은 블록으로 나눌 경우 불필요한 움직임인 잡음을 제거하는 효과가 떨어지며, 너무 큰 블록으로 나눌 경우 상대적으로 적게 움직인 제1 객체 및 제2 객체의 움직임에 대한 부분도 제거될 수 있으므로 적절한 크기의 블록으로 나누어야 한다. 본 발명의 일 실시 예에 따르면 종횡으로 8×6의 비율로 상기 평균 차영상을 블록화한다.
상기 블록의 명암값을 설정하는 단계(S95)에서, 상기 나누어진 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정한다.
도 10은 상기 마우스 포인터 제어 방법에서 블록 명암값 설정 단계의 세부 단계를 도시하고 있다.
상기 소정의 명암값은 사용자가 임의로 설정할 수 있다. 예를 들어, 8bit 그레이 스케일의 상기 평균 차영상에서 명암도가 0 내지 255까지 존재한다면, 128에 해당하는 명암값을 소정의 명암값으로 설정하고, 이를 픽셀수만큼 곱한 다음, 블록 내 명암값의 총합이 상기 128×픽셀수 미만인 경우에는 블록 내 모든 픽셀들의 명암값을 "0"으로 만들도록 사용자가 설정할 수 있다.
상기 유효 블록들을 그룹화하는 단계(S96)에서, 추정된 손가락 영역 부분의 성능을 향상시키기 위해 블록들을 하나의 그룹으로 묶는다. 본 발명에 따른 실시 예에서, 상기 움직임이 추정된 부분이 제1 객체 및 제2 객체의 원래 모양처럼 분류되는 경우도 있으나, 대부분 불연속적으로 분포되어 있어 제1 객체 및 제2 객체를 검출하는데 어려움이 있다. 이러한 문제점을 해결하기 위해, 상기 추정된 블록들 중에서 이웃해 있는 것들끼리 묶어서 하나의 그룹을 생성한다. 상기 생성된 다수의 그룹의 크기를 비교하여 소정의 크기보다 작으면 잡음으로 간주하고서 명암값을 "0"으로 설정함으로써 이를 제거한다.
상기 마우스 포인터 위치 설정 단계(S97)에서, 상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부로 검출함으로써 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 마우스 포인터의 위치로 설정한다.
앞서 설명한 바와 같이, 도 8(a)에 표시된 제1 객체의 단부를 찾기 위해서, 기울기가 무한대인 지점을 찾아서 상기 제1 객체의 단부로 검출할 수도 있지만, 도면에서와 같이 제1 객체의 원래 모양과 상당히 상이한 모양을 하고 있기 때문에 기울기가 무한대인 지점이 복수 개 존재할 수 있어서 마우스 포인터의 설정을 불가능하게 만들 수 있다. 따라서, 본 발명에 따른 일 실시 예에서는 제1 객체의 후보를 결정한다.
상기 제1 객체의 후보를 결정함에 있어, 마우스 포인터의 움직임에 대한 일관성을 유지하기 위해 이전의 평균 차영상으로부터 계산된 제1 객체의 후보와의 상관관계를 계산함으로써 계산할 수 있다. 나아가, 제1 객체 및 제2 객체의 움직임의 범위를 제한함으로써, 갑자기 제1 객체 및 제2 객체의 위치가 바뀌는 것을 방지할 수도 있다.
또한, 본 발명의 일 실시 예에 따라, 상기 제1 객체 및 제2 객체로서 검지와 엄지를 사용함에 있어서, 좌측 손을 사용하는 경우 상기 디스플레이부의 오른쪽 방향에, 우측 손을 사용하는 경우 상기 디스플레이부의 왼쪽 방향에 손가락의 끝이 위치한다는 것을 이용하여 상기 제1 객체 및 제2 객체의 후보를 결정할 수 있다.
상기 후보 내에 포함된 픽셀들의 명암값으로부터 경계 부분을 추출한 후, 상기 추출된 경계 부분에 대한 접선의 기울기 즉, 미분값들을 검토하여, 미분값의 부호가 변하는 부분을 제1 객체의 단부로 검출하는 방법을 적용한다.
도 8(c)를 참고하면, 상기 미분값의 부호가 변하는 부분을 개략적으로 도시되어 있다. 상기 제1 객체에 해당하는 영역에서 양(+)에 해당하는 미분값 d1으로부터 음(-)에 해당하는 미분값 d2로 부호가 변했으며 각 접점 사이에 상기 제1 객체의 단부가 존재한다는 것을 확인할 수 있으며, 상기 각 접점 사이에서 미분값이 무한대가 되는 접점이 바로 상기 제1 객체의 단부로 검출될 것이다. 마찬가지로, 상기 제2 객체에 해당하는 영역에서 양(+)에 해당하는 미분값 d3으로부터 음(-)에 해당하는 미분값 d4로 부호가 변하는 각 접점의 사이에서, 미분값이 무한대가 되는 접점이 바로 상기 제2 객체의 단부로 검출될 것이다. 상기 검출된 제1 객체 및 제2 객체의 단부들 사이의 일지점을 마우스 포인터의 위치로 설정하고, 바람직하게는 상기 두 단부들 사이의 중심을 마우스 포인터의 위치로 설정한다.
상기 마우스 포인터를 표시하는 단계(S98)에서, 상기 설정된 위치로 상기 마우스 포인터를 표시한다. 다양한 모양의 마우스 포인터를 사용할 수 있으며, 사용자 선택 명령 즉, 클릭 동작이나 더블클릭 동작에 대해선 다른 모양의 마우스 포인터가 사용될 수 있다. 제1 객체 및 제2 객체의 모습은 앞서 설명한 바와 같이, 디스플레이부에 표시할 필요는 없지만, 마우스 포인터의 제어환경 설정을 위해서 임시적으로 표시할 수도 있으며, 반투명하게 표시할 수도 있다.
상기 사용자 선택 명령을 판단하는 단계(S99)에서, 제1 객체 및 제2 객체 사이 또는 그들 각각의 단부 사이가 소정의 거리 미만인 경우 해당 마우스 포인트 위치에 있는 특정 아이콘 등을 사용자가 선택 명령을 한 것으로 판단하고, 그에 해당하는 작업을 실행한다.
본 발명의 일 실시 예에 따르면, 상기 제1 객체 및 제2 객체에 해당하는 엄지와 검지를 상기 소정의 거리 미만으로 오므렸다 펴는 동작을 하나의 클릭 동작으로 판단하고서, 사용자가 상기 클릭 동작을 연속하여 2회 실시하는 경우 더블 클릭을 실행한 것으로 판단하도록 설정할 수도 있다. 이 경우, 앞서 행하는 클릭과 뒤에 행하는 클릭 사이의 임계 시간을 설정하여, 상기 임계 시간 이내에 2회의 클릭이 이루어진 경우만 더블 클릭으로 인식하도록 하는 시간 범위를 설정할 수 있다. 또한, 특정 아이콘 위에 마우스 포인터를 위치시킨 후, 엄지와 검지를 오므려서 상기 아이콘을 마우스 포인터에 고정시키고, 상기 마우스 포인터를 다른 위치로 이동시켜서 상기 아이콘을 상기 다른 위치로 이동시킨 후, 엄지와 검지를 소정의 거리 이상으로 펴서 상기 아이콘을 고정 해제시키는 이른바 드래그-앤-드롭(drag-and-drop) 기능도 구현할 수 있다.
또한, 상기와 같은 다양한 사용자 선택 명령이 실행되는 경우 각각에 해당되는 동작음이 상기 음성 처리부를 통해 출력될 수 있다.
상기 S91 내지 S99 단계를 실시함으로써, 단말기에서 마우스 포인터를 제어하는 방법을 구현할 수 있다. 본 발명에 따른 마우스 포인터 제어 방법은 이동 통신 단말기의 기존 리소스를 이용하여 손가락이나 막대 형태의 물체의 움직임을 인식하여 작동하기 때문에, 별도의 하드웨어를 구비할 필요가 없으므로 생산 비용이 절감되고, 사용이 편리한 이점이 있다.
또한, 본 발명에 따른 마우스 포인터 제어 장치 및 방법은 손가락의 움직임에 따른 차영상을 이용하여 손가락의 움직임을 검출하기 때문에, 계속해서 변하는 주변의 조명이나, 손가락의 색상과 비슷한 사용자의 얼굴이 배경에 포함되어도 손가락의 움직임을 정확하게 식별해 낼 수 있는 이점이 있다.
한편 이상에서는 본 발명의 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (12)

  1. 디스플레이부;
    제1 객체와 제2 객체의 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 영상에서 검출된 상기 제1 객체와 제2 객체 사이의 일지점을 상기 디스플레이부 상에서의 마우스 포인터의 위치로 설정하고, 상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단하는 제어부를 포함하고,
    상기 제1 객체와 제2 객체는 각각 상기 제어부에 의해 움직임이 검출되는 상기 촬영된 영상 내 물체인 것을 특징으로 하는 마우스 포인터 제어 장치.
  2. 제1항에 있어서,
    상기 촬영된 영상을 저장하는 저장부를 더 포함하며,
    상기 제어부는 상기 저장된 영상 중 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 차영상을 각각 계산하고, 상기 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출하는 것을 특징으로 하는 마우스 포인터 제어 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 평균 차영상을 각각 계산하고, 상기 평균 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출하는 것을 특징으로 하는 마우스 포인터 제어 장치.
  4. 제3항에 있어서,
    상기 제어부는 상기 각각의 평균 차영상을 소정의 비율로 균분한 블록들로 나눠서 블록화하고, 상기 블록화된 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정하며, 상기 유효 블록들에 대하여 이웃하는 유효 블록들을 하나의 그룹으로 묶어 그룹화하고, 상기 그룹화된 그룹들로부터 상기 제1 객체 및 제2 객체를 검출하는 것을 특징으로 하는 마우스 포인터 제어 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부로 검출함으로써 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 마우스 포인터의 위치로 설정하는 것을 특징으로 하는 마우스 포인터 제어 장치.
  6. 제5항에 있어서,
    상기 제1 객체 및 제2 객체의 단부를 검출함에 있어서, 이전에 검출된 두 단부와 비교하여 움직임의 범위가 소정의 범위를 초과하면 이전에 검출된 두 단부를 리턴하는 것을 특징으로 하는 마우스 포인터 제어 장치.
  7. 제1 객체 및 제2 객체에 대한 영상을 촬영하는 단계;
    상기 촬영된 영상에서 검출된 상기 제1 객체와 제2 객체 사이의 일지점을 마우스 포인터의 위치로 설정하는 단계; 및
    상기 제1 객체와 제2 객체 사이의 거리가 소정의 거리 미만일 경우 상기 일지점에 대해 사용자 선택 명령이 입력된 것으로 판단하는 단계를 포함하고,
    상기 제1 객체와 제2 객체는 각각 움직임이 검출되는 상기 촬영된 영상 내 물체인 것을 특징으로 하는 마우스 포인터 제어 방법.
  8. 제7항에 있어서,
    상기 촬영된 영상 중 연속하는 두 영상들에 대하여 전후 영상의 동일 위치에 배치된 픽셀들의 명암값의 차이에 따라 명암값이 결정되는 픽셀들로 이루어진 차영상을 각각 계산하고, 상기 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출하는 것을 특징으로 하는 마우스 포인터 제어 방법.
  9. 제8항에 있어서,
    상기 차영상들을 시간순으로 소정의 매수씩 그룹화하여 각 그룹 내의 차영상들의 동일 위치에 배치된 픽셀들의 명암값의 평균값으로 결정되는 픽셀들로 이루어진 평균 차영상을 각각 계산하고, 상기 평균 차영상을 이용하여 상기 제1 객체 및 제2 객체를 검출하는 것을 특징으로 하는 마우스 포인터 제어 방법.
  10. 제9항에 있어서,
    상기 각각의 평균 차영상을 소정의 비율로 균분한 블록들로 나눠서 블록화하고, 상기 블록화된 블록들에 포함된 픽셀들에 대한 명암값의 총합을 소정의 명암값과 비교하여 상기 총합이 상기 소정의 명암값 이상인 유효 블록에 대해서는 내부의 각 픽셀의 명암값을 유지하고, 상기 총합이 상기 소정의 명암값 미만인 무효 블록에 대해서는 내부의 각 픽셀의 명암값을 0으로 설정하며, 상기 유효 블록들에 대하여 이웃하는 유효 블록들을 하나의 그룹으로 묶어 그룹화하고, 상기 그룹화된 그룹들로부터 상기 제1 객체 및 제2 객체를 검출하는 것을 특징으로 하는 마우스 포인터 제어 방법.
  11. 제10항에 있어서,
    상기 그룹화된 유효 블록들로부터 상기 제1 객체 및 제2 객체의 후보를 결정하고, 상기 결정된 제1 객체 및 제2 객체의 후보 내에 포함된 픽셀들의 명암값으로부터 상기 제1 객체 및 제2 객체의 후보 각각의 경계 부분을 추출하며, 상기 추출된 각각의 경계 부분의 커브에서 미분값의 부호가 바뀌는 부분을 상기 제1 객체 및 제2 객체의 단부 사이의 일지점을 마우스 포인터의 위치로 설정하는 것을 특징으로 하는 마우스 포인터 제어 방법.
  12. 제11항에 있어서,
    상기 제1 객체 및 제2 객체의 단부를 검출함에 있어서, 이전에 검출된 두 단부와 비교하여 움직임의 범위가 소정의 범위를 초과하면 이전에 검출된 두 단부를 리턴하는 것을 특징으로 하는 마우스 포인터 제어 방법.
KR1020100011069A 2010-02-05 2010-02-05 마우스 포인터 제어 장치 및 방법 KR101184460B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100011069A KR101184460B1 (ko) 2010-02-05 2010-02-05 마우스 포인터 제어 장치 및 방법
US12/985,915 US8957857B2 (en) 2010-02-05 2011-01-06 Device and method for controlling mouse pointer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100011069A KR101184460B1 (ko) 2010-02-05 2010-02-05 마우스 포인터 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110091301A KR20110091301A (ko) 2011-08-11
KR101184460B1 true KR101184460B1 (ko) 2012-09-19

Family

ID=44353298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100011069A KR101184460B1 (ko) 2010-02-05 2010-02-05 마우스 포인터 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US8957857B2 (ko)
KR (1) KR101184460B1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101058726B1 (ko) * 2009-11-11 2011-08-22 삼성전자주식회사 조명 성분을 제거하기 위한 이미지 보정 장치 및 방법
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
TWI522870B (zh) * 2011-10-25 2016-02-21 原相科技股份有限公司 點擊偵測裝置
WO2013095678A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US12260023B2 (en) 2012-01-17 2025-03-25 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JP5721662B2 (ja) * 2012-04-26 2015-05-20 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力受付方法、入力受付プログラム、及び入力装置
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
JP5998861B2 (ja) * 2012-11-08 2016-09-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9014428B2 (en) * 2013-02-15 2015-04-21 Sony Corporation Object detection using difference of image frames
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
FR3003985B1 (fr) * 2013-03-27 2016-08-05 Nexys Dispositif et procede de recherche d'un mouvement d'une main
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9996160B2 (en) * 2014-02-18 2018-06-12 Sony Corporation Method and apparatus for gesture detection and display control
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
CA2950048A1 (en) * 2014-05-24 2015-12-03 Centre For Development Of Telematics Gesture based human machine interface using marker
CN105278664B (zh) * 2014-07-24 2019-09-27 腾讯科技（深圳）有限公司 一种执行操作的方法和装置
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
CN106651751B (zh) * 2016-09-13 2020-05-05 Oppo广东移动通信有限公司 图像处理方法及终端
CN107749046B (zh) * 2017-10-27 2020-02-07 维沃移动通信有限公司 一种图像处理方法及移动终端
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
JP2022087700A (ja) * 2020-12-01 2022-06-13 京セラドキュメントソリューションズ株式会社 電子機器および画像形成装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100853024B1 (ko) 2006-12-01 2008-08-20 엠텍비젼 주식회사 디스플레이의 영상 제어 방법 및 그 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US10242255B2 (en) * 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
JP3979894B2 (ja) * 2002-07-22 2007-09-19 本田技研工業株式会社 物体検出装置及び方法
GB2411229B (en) * 2003-07-22 2006-04-12 Hitachi Int Electric Inc Object tracking method and object tracing apparatus
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
JP5160235B2 (ja) * 2005-01-07 2013-03-13 クアルコム，インコーポレイテッド 画像中の物体の検出及び追跡
KR20070030398A (ko) 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP4605170B2 (ja) * 2007-03-23 2011-01-05 株式会社デンソー 操作入力装置
US8487881B2 (en) * 2007-10-17 2013-07-16 Smart Technologies Ulc Interactive input system, controller therefor and method of controlling an appliance
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US8860672B2 (en) * 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100853024B1 (ko) 2006-12-01 2008-08-20 엠텍비젼 주식회사 디스플레이의 영상 제어 방법 및 그 장치

Also Published As

Publication number Publication date
KR20110091301A (ko) 2011-08-11
US8957857B2 (en) 2015-02-17
US20110193778A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
KR101184460B1 (ko) 마우스 포인터 제어 장치 및 방법
KR102664705B1 (ko) 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
CN111182205B (zh) 拍摄方法、电子设备及介质
US20130088429A1 (en) Apparatus and method for recognizing user input
KR101608423B1 (ko) 모바일 디바이스상의 풀 3d 상호작용
EP4047549A1 (en) Method and device for image detection, and electronic device
CN109857306B (zh) 截屏方法及终端设备
US9641743B2 (en) System, method, and apparatus for controlling timer operations of a camera
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
US10866649B2 (en) Gesture identification method and electronic device
JPWO2013046596A1 (ja) 携帯型情報処理端末
US9811197B2 (en) Display apparatus and controlling method thereof
CN108563383A (zh) 一种图像查看方法及移动终端
CN110830713A (zh) 一种变焦方法及电子设备
CN113253908B (zh) 按键功能执行方法、装置、设备及存储介质
CN108833791B (zh) 一种拍摄方法和装置
US20250093990A1 (en) Speed Adapted Touch Detection
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN110365906A (zh) 拍摄方法及移动终端
JP7413546B2 (ja) 撮影方法及び電子機器
CN111093035B (zh) 图像处理方法、电子设备及存储介质
WO2018082498A1 (en) Mid-air finger pointing detection for device interaction
KR20230168568A (ko) 정보 입력 방법 및 장치, 전자 기기 및 저장 매체
CN111107270B (zh) 拍摄方法及电子设备
CN104978016A (zh) 具有虚拟输入功能的电子装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100205

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20101007

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100205

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120116

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120830

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120913

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120913

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150828

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160830

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170830

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180830

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200828

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220830

Start annual number: 11

End annual number: 11

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240624