[go: up one dir, main page]

KR20100030404A - 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 - Google Patents

스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 Download PDF

Info

Publication number
KR20100030404A
KR20100030404A KR1020080089340A KR20080089340A KR20100030404A KR 20100030404 A KR20100030404 A KR 20100030404A KR 1020080089340 A KR1020080089340 A KR 1020080089340A KR 20080089340 A KR20080089340 A KR 20080089340A KR 20100030404 A KR20100030404 A KR 20100030404A
Authority
KR
South Korea
Prior art keywords
user
screen
hand
shape
recognizing
Prior art date
Application number
KR1020080089340A
Other languages
English (en)
Inventor
김현규
Original Assignee
김현규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김현규 filed Critical 김현규
Priority to KR1020080089340A priority Critical patent/KR20100030404A/ko
Priority to US13/063,197 priority patent/US20110199338A1/en
Priority to PCT/KR2009/004459 priority patent/WO2010030077A2/ko
Publication of KR20100030404A publication Critical patent/KR20100030404A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 관한 것으로, 스크린에 접근한 사용자를 감지하여 사용자의 위치를 인식하는 단계와, 상기 스크린 상에 위치한 사용자의 접근상태를 감지하여 사용자 손의 위치를 인식하는 단계와, 상기 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 사용자의 왼손 및 오른손을 인식하는 단계와, 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계와, 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태를 인식하는 단계와, 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당하는 단계를 포함함으로써, 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있다.
스크린, 상황인지, 오브젝트, 손, 손가락, 움직임, 카메라, 적외선 센서

Description

스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법{USER INFORMATION INPUT METHOD BY RECOGNIZING A CONTEXT-AWARE ON SCREENS}
본 발명은 사용자 정보 입력방법에 관한 것으로, 보다 상세하게는 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있도록 한 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 관한 것이다.
일반적으로, 컴퓨터의 발달은 사람들의 생활을 다양하게 변화시키고 있다. 또한, 컴퓨터 사용에 대한 인식이 높아지면서 컴퓨터의 초기 계산목적에서 서류작성이나 저장, 검색, 엔터테인먼트 및 게임 등 점차 그 활용범위가 확대되고 있다.
특히, 가상현실의 구현은 게임, 교육 및 훈련 등에서 획기적인 성과를 거두고 있다. 가상현실을 통해 저렴한 비용으로 실제 상황과 동일한 체험을 할 수 있고 효율적이고 안전하게 교육 및 훈련이 가능하다. 이미 해저탐험, 비행훈련 및 기관 차 운전 등 여러 분야에서 사용되고 있다.
이러한 가상현실(Virtual Reality) 기술은 1980년대 이후 빠른 속도로 발전해왔다. 특히, 대형스크린을 이용한 프로젝션(Projection) 타입의 가상환경을 구축하는 것은 가상현실의 기본적인 기능인 완전 몰입성(Immersion), 상호작용(Interactivity), 원격지와의 협업(Collaboration) 및 인터페이스(Interface)를 통한 증강현실 구현 등의 장점으로 인해 많은 분야에서 활용되고 있다.
또한, 가상현실은 그 응용분야로 건축, 의료공학, 자동차 등 각종 디자인, 문화 콘텐츠 복원 및 개발, 생명공학, 지구환경 시뮬레이션 구현 등으로 매우 다양하다. 즉, 가상현실은 실제의 환경에서 사람들이 쉽게 접하지 못하는 환경을 가상으로 만들어 줄 수 있고, 또 복잡한 실제 환경을 사람들의 수준에 맞게 조정해 주어 실제의 자연 환경을 보완한 교육 환경을 구축하는데 효과적이다.
실제로 최근 많은 연구에서 다양한 시뮬레이션 구축이 가능한 가상현실 환경을 과학이나 수학 교육에 사용하였다. 그 예로 뉴턴의 물리역학을 쉽게 배울 수 있도록 해주는 뉴턴의 세계, 고릴라의 습성과 행동거지 및 서식지에 대해 공부할 수 있도록 도와주는 가상 고릴라(The Virtual Gorilla Project), 그리고 "지구는 둥글다"라는 개념을 가르치도록 도와주는 둥근 지구 프로젝트(The Round Earth), 초등학생들의 과학적 관찰력과 탐구능력을 키워주는 가상 주변환경(The Virtual Ambients), 오염이나 홍수 등 환경요인이 어떻게 해양에 영향을 미치는지를 관찰하고 측정할 수 있는 가상 푸젯 해협(The Virtual Puget Sound) 등이 있다.
그 외에도 가상현실 기술을 사용하여 문화유적지 혹은 문화재를 그대로 복원 하거나 관람자들로 하여금 역사 속의 과거 시대로 돌아가 체험할 수 있도록 도와주는 가상현실 문화유산 환경연구도 많이 진행되고 있다. 가상현실 문화유산 환경은 실제로 현존하고 있는 유적지나 지금은 많이 손상되었거나 아예 자취조차 남아있지 않는 문화유산을 가상현실로 복원 또는 재현한다. 서라벌 프로젝트는 통일신라의 도성 신라왕경인 서라벌 복원을 통하여 대표적 불교유적지인 석굴암, 불국사, 황룡사, 남산 불상군 등을 가상현실 기술로 제작하여 마치 당시 화려한 문화를 구가했던 신라왕경의 시공간으로 돌아간 느낌을 주었다.
전술한 바와 같은 가상현실 즉, 3차원 애플리케이션(Application)에서 사용되는 인터페이스는 지금까지 여러 가지 장치들이 제시되어왔다. 이러한 인터페이스 장치는 3차원 공간상에서의 위치정보를 얻는 것이 중요한데, 보통의 경우에 사람의 몸에 센서를 달거나 센서가 부착된 도구들을 사용한다. 그러나, 이러한 종래의 인터페이스 장치들은 사람에게 자연스런 움직임을 보장해주지 못하며 또한 사용하기에 앞서 학습이 필요하다는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있도록 한 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, (a) 스크린에 접근한 사용자를 감지하여 사용자의 위치를 인식하는 단계; (b) 상기 스크린 상에 위치한 사용자의 접근상태를 감지하여 사용자 손의 위치를 인식하는 단계; (c) 상기 단계(a) 및 단계(b)에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 사용자의 왼손 및 오른손을 인식하는 단계; (d) 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; (e) 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태를 인식하는 단계; 및 (f) 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계(c) 내지 단계(e)에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락 의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공하는 것이다.
상기 단계(a)에서, 상기 스크린에 접근한 사용자는 상기 스크린의 사방에 설치된 적어도 하나의 카메라 또는 라인 센서를 이용하여 감지함이 바람직하다.
바람직하게, 상기 단계(a)에서, 상기 스크린에 접근한 사용자는 RFID 통신 또는 지문인식 방식을 이용하여 감지할 수 있다.
바람직하게, 상기 단계(b)에서, 상기 스크린 상에 위치한 사용자의 접근상태는 적어도 하나의 카메라, 적외선 센서 또는 정전용량 방식 중 어느 하나를 이용하여 감지할 수 있다.
바람직하게, 상기 단계(d)에서, 상기 인식된 사용자 손의 형상과 특정 움직임을 기반으로 특정 명령을 할당하여 실행할 수 있다.
바람직하게, 상기 단계(d)에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식할 수 있다.
바람직하게, 상기 단계(e)에서, 상기 실시간 이미지 프로세싱 방식은 상기 스크린 상에 위치한 사용자 손의 이미지를 획득한 후, 기 저장된 다양한 손의 형태 이미지와 대조하여 인식할 수 있다.
바람직하게, 상기 단계(f)에서, 상기 스크린 상에 접촉된 오브젝트는 카메라, 적외선 센서 또는 정전용량 방식 중 어느 하나를 이용하여 감지할 수 있다.
본 발명의 제2 측면은, (a') 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; 및 (b') 상기 인식된 사용자 손의 형상과 특정 움직임을 바탕으로 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 제공하는 것이다.
상기 단계(a')에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식함이 바람직하다.
본 발명의 제3 측면은, 상술한 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.
이상에서 설명한 바와 같은 본 발명의 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 따르면, 스크린 상에서 사용자의 다양한 상황 인지적 인식을 통해 보다 정확하고 간편하게 사용자 정보를 입력할 수 있으며, 스크린 상에서 입력된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있는 이점이 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으 며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 1은 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 설명하기 위한 전체적인 흐름도이다.
도 1을 참조하면, 먼저, 스크린(Screen)의 내/외측 또는 주변부에 설치된 사용자 인식수단을 통해 상기 스크린에 접근한 사용자를 감지하여 사용자 개별인식 즉, 사용자의 위치를 인식한다(S100).
여기서, 상기 스크린은 통상의 디스플레이(Display) 장치로서 예컨대, CRT(Cathode Ray Tube) 모니터를 비롯한 액정표시장치(Liquid Crystal Display, LCD), 전계 방출 표시장치(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 장치, 일렉트로 루미네센스(Electro-Luminescence, EL) 표시장치, 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 표시장치, 디지털 마이크로미러 디바이스(Digital Micro-mirror Device, DMD) 또는 터치 스크린(Touch Screen) 등으로 구현될 수 있다.
또한, 상기 사용자 인식수단은 상기 스크린의 일정 영역에 근접한 사용자를 개별적으로 감지하는 기능을 수행하는 것으로서, 상기 스크린의 사방에 설치됨이 바람직하며, 예컨대, 실시간 트랙킹이 가능한 적어도 하나의 카메라(Camera) 또는 라인 센서(Line Sensor) 등을 이용하여 감지함이 바람직하다.
상기 카메라는 연속적인 동영상을 촬영할 수 있는 통상의 비디오 카메 라(Video Camera), 고체촬상소자(Charge Coupled Device, CCD) 카메라 또는 CCD 라인센서와 같은 이미지 센서와 렌즈를 갖는 CCD 카메라로 구현됨이 바람직하지만, 이에 국한하지 않으며, 추후에 개발될 연속적인 동영상을 촬영할 수 있는 다른 형태의 카메라로도 구현 가능하다.
또한, 상기 라인 센서로서는 자외광, 가시광 및 적외광 등의 광 또는 전자파를 감지하여 1차원적인 정보를 얻을 수 있도록 배열된 것이면 어느 것을 사용해도 좋다. 예컨대, 상기 라인 센서의 예로는 포토다이오드 어레이(PDA), 및 격자형상으로 배열된 사진필름이 열거된다. 이 중에서도, 포토다이오드 어레이가 바람직하다.
한편, 상기 스크린에 접근한 개별사용자의 특성화 필요 시 예컨대, 무선 인식(Radio Frequency Identification, RFID) 또는 지문인식 바코드 방식 등을 이용하여 감지할 수도 있다.
다음으로, 상기 스크린의 내/외측 또는 주변부에 설치된 접근상태 인식수단을 통해 상기 스크린 상에 위치한 사용자의 접근상태 즉, 직접적인 터치(Touch)외의 접근상태를 감지하여 사용자 손의 위치를 인식한다(S200).
이때, 상기 접근상태 인식수단은 상기 스크린 상에 위치한 사용자의 접근상태를 감지하기 위한 것으로서, 예컨대, 적어도 하나의 카메라, 적외선 센서 또는 통상의 터치스크린에서 사용되는 방식과 같은 정전용량 방식 중 어느 하나를 이용하여 감지할 수 있다.
이후에, 상기 단계S100 및 단계S200에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 해당 사용자의 왼손 및 오른손을 인식한 다(S300).
그런 다음, 상기 스크린의 내/외측 또는 주변부에 설치된 움직임 인식수단을 통해 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식한다(S400).
이때, 상기 움직임 인식수단은 상기 스크린 상에 위치한 사용자 즉, 손의 움직임을 감지하기 위한 것으로서, 예컨대, 연속적인 동영상을 촬영할 수 있는 통상의 CCD 카메라 또는 적외선 센서 등을 이용하여 3차원(X,Y,Z) 좌표 형태로 실시간 감지할 수 있다.
한편, 상기 단계S400에서 인식된 사용자 손의 형상과 특정 움직임을 기반으로 특정 명령을 할당하여 실행할 수 있다.
예컨대, 상기 스크린 상에서 사용자가 손날을 새워서 합장을 한 다음 펼치면, 숨어있던 커맨드(Command) 아이콘이 화면상에 나타난다. 또한, 상기 스크린 상에 위치한 사용자의 손 높이에 따라 다른 메뉴를 출력한다(즉, 스크린과 오브젝트의 거리(Z)좌표 인식가능).
이후에, 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태(예컨대, 왼손/오른손의 엄지, 검지, 중지, 약지 및 소지)를 인식한다(S500).
도 2는 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 적용된 실시간 이미지 프로세싱을 이용하여 사용자 손가락의 형태 인식을 나타낸 도면으로서, 도 2의 (a)는 스크린에서 바라본 손의 형 상을 나타낸 것이고, 도 2의 (b)는 컴퓨터에서 화상 이미지 데이터로 변환된 모습을 나타낸 것이다.
상기 실시간 이미지 프로세싱 방식은 통상적으로 상기 스크린 상에 위치한 사용자 손의 이미지를 획득한 후, 기 저장된 다양한 손의 형태 이미지와 대조하여 인식할 수 있다.
마지막으로, 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계S300 내지 단계S500에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당한다(S600). 예컨대, 엄지로 접촉 시 A 명령이 할당되고, 검지로 접촉 시 B 명령이 할당된다.
이에 따라, 상기 인식된 접촉 좌표가 손가락이 아닐 때 무시되는 원리로 손바닥 접촉 등으로 인한 오작동을 효과적으로 방지할 수 있다.
이때, 상기 스크린 상에 접촉된 오브젝트는 예컨대, 카메라, 적외선 센서 또는 정전용량 방식 등 다중 인식이 가능한 방식을 이용하여 감지할 수 있다.
한편, 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식하는 과정은 상기 단계S100 내지 단계S500과 병렬로 동시에 이루어짐이 바람직하다.
도 3은 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에서 스크린 상의 오프젝트를 인식하는 과정의 일 예를 설명하기 위한 도면으로서, 도 3의 (a)와 같이 수광한 적외선의 강도에 따라 화상의 명암으로 변환한 후, 도 3의 (b)와 같이 각 픽셀의 명암을 각각 깊이로 변환한다.
상기와 같은 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 이용하여 전체적인 제어를 담당하는 통상의 마이크로 컨트롤러(Micro Controller)를 비롯한 사용자 인식수단, 접근상태 인식수단, 움직임 인식수단, 이미지 처리수단, 및 저장 수단 등을 포함하여 사용자 정보 입력장치를 구현할 수도 있다.
또한, 전술한 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 이용하여 터치스크린 또는 가상현실 즉, 3차원 애플리케이션(Application)에서 사용되는 인터페이스 등에 용이하게 적용할 수 있다.
한편, 본 발명의 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
도 1은 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법을 설명하기 위한 전체적인 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에 적용된 실시간 이미지 프로세싱을 이용하여 사용자 손가락의 형태 인식을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법에서 스크린 상의 오프젝트를 인식하는 과정의 일 예를 설명하기 위한 도면이다.

Claims (11)

  1. (a) 스크린에 접근한 사용자를 감지하여 사용자의 위치를 인식하는 단계;
    (b) 상기 스크린 상에 위치한 사용자의 접근상태를 감지하여 사용자 손의 위치를 인식하는 단계;
    (c) 상기 단계(a) 및 단계(b)에서 인식된 사용자의 위치 및 사용자 손의 위치에 따른 각도와 거리를 이용하여 사용자의 왼손 및 오른손을 인식하는 단계;
    (d) 상기 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계;
    (e) 실시간 이미지 프로세싱 방식을 이용하여 상기 스크린 상에 위치한 사용자 손가락의 형태를 인식하는 단계; 및
    (f) 상기 스크린 상에 접촉된 오브젝트를 감지하여 해당 오브젝트의 좌표를 인식한 후, 상기 단계(c) 내지 단계(e)에서 인식된 사용자의 왼손 및 오른손, 사용자 손의 형상과 특정 움직임 또는 사용자 손가락의 형태 중 적어도 어느 하나를 바탕으로 상기 인식된 접촉 좌표에 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  2. 제1 항에 있어서,
    상기 단계(a)에서, 상기 스크린에 접근한 사용자는 상기 스크린의 사방에 설 치된 적어도 하나의 카메라 또는 라인 센서를 이용하여 감지하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  3. 제1 항에 있어서,
    상기 단계(a)에서, 상기 스크린에 접근한 사용자는 RFID 통신 또는 지문인식 방식을 이용하여 감지하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  4. 제1 항에 있어서,
    상기 단계(b)에서, 상기 스크린 상에 위치한 사용자의 접근상태는 적어도 하나의 카메라, 적외선 센서 또는 정전용량 방식 중 어느 하나를 이용하여 감지하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  5. 제1 항에 있어서,
    상기 단계(d)에서, 상기 인식된 사용자 손의 형상과 특정 움직임을 기반으로 특정 명령을 할당하여 실행하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  6. 제1 항에 있어서,
    상기 단계(d)에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  7. 제1 항에 있어서,
    상기 단계(e)에서, 상기 실시간 이미지 프로세싱 방식은 상기 스크린 상에 위치한 사용자 손의 이미지를 획득한 후, 기 저장된 다양한 손의 형태 이미지와 대조하여 인식하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  8. 제1 항에 있어서,
    상기 단계(f)에서, 상기 스크린 상에 접촉된 오브젝트는 카메라, 적외선 센서 또는 정전용량 방식 중 어느 하나를 이용하여 감지하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  9. (a') 스크린 상에 위치한 사용자의 움직임을 감지하여 사용자 손의 형상과 특정 움직임을 인식하는 단계; 및
    (b') 상기 인식된 사용자 손의 형상과 특정 움직임을 바탕으로 특정 명령을 할당하는 단계를 포함하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  10. 제9 항에 있어서,
    상기 단계(a')에서, 상기 스크린 상에 위치한 사용자 손의 형상과 특정 움직임은 3차원(X,Y,Z) 좌표를 이용하여 실시간으로 인식하는 것을 특징으로 하는 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법.
  11. 제1 항 내지 제10 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020080089340A 2008-09-10 2008-09-10 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법 KR20100030404A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080089340A KR20100030404A (ko) 2008-09-10 2008-09-10 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
US13/063,197 US20110199338A1 (en) 2008-09-10 2009-08-11 Touch screen apparatus and method for inputting user information on a screen through context awareness
PCT/KR2009/004459 WO2010030077A2 (ko) 2008-09-10 2009-08-11 터치 스크린 장치 및 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080089340A KR20100030404A (ko) 2008-09-10 2008-09-10 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법

Publications (1)

Publication Number Publication Date
KR20100030404A true KR20100030404A (ko) 2010-03-18

Family

ID=42005595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080089340A KR20100030404A (ko) 2008-09-10 2008-09-10 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법

Country Status (3)

Country Link
US (1) US20110199338A1 (ko)
KR (1) KR20100030404A (ko)
WO (1) WO2010030077A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140118826A (ko) * 2013-03-29 2014-10-08 가부시키가이샤 재팬 디스프레이 전자 기기 및 전자 기기의 제어 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI412838B (zh) * 2009-11-23 2013-10-21 Coretronic Corp 觸控顯示裝置及背光模組
US20110122810A1 (en) * 2009-11-25 2011-05-26 T-Mobile Usa, Inc. Router-Based Home Network Synchronization
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
WO2011129131A1 (ja) * 2010-04-12 2011-10-20 シャープ株式会社 表示装置
US9898122B2 (en) 2011-05-12 2018-02-20 Google Technology Holdings LLC Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device
US9001086B1 (en) * 2011-06-08 2015-04-07 Amazon Technologies, Inc. Display illumination with light-based touch sensing
JP2013069272A (ja) * 2011-09-07 2013-04-18 Nitto Denko Corp ユーザインタフェース表示装置
TWI490733B (zh) * 2011-11-01 2015-07-01 Pixart Imaging Inc 手寫系統及其感測方法
TW201346516A (zh) * 2012-05-11 2013-11-16 Pixart Imaging Inc 具省電功能之感測模組及其方法
KR102092944B1 (ko) * 2013-10-23 2020-03-25 삼성디스플레이 주식회사 터치스크린 패널 및 이를 이용한 터치 위치 검출 방법
TWI528226B (zh) * 2014-01-15 2016-04-01 緯創資通股份有限公司 影像式觸控裝置及其控制方法
US9704013B2 (en) * 2014-03-21 2017-07-11 Sony Mobile Communications Inc. Electronic device with display-based fingerprint reader
KR102213311B1 (ko) * 2014-03-25 2021-02-05 엘지이노텍 주식회사 제스처 인식장치
TWI533181B (zh) * 2014-09-18 2016-05-11 緯創資通股份有限公司 光學式觸控感測裝置及其觸控信號判斷方法
FR3027127B1 (fr) * 2014-10-10 2017-12-08 Thales Sa Interface tactile pour le systeme de gestion du vol d'un aeronef
US10042478B2 (en) 2014-12-31 2018-08-07 Texas Instruments Incorporated Rear projection display with near-infrared emitting touch screen
CN106160673B (zh) * 2016-06-30 2021-03-30 唯捷创芯(天津)电子技术股份有限公司 谐波抑制方法及相应的低噪声放大器、通信终端
US10474860B2 (en) * 2017-09-29 2019-11-12 Apple Inc. Electronic device including a display driven based upon first and second alternatingly read memories and related methods
US11301665B2 (en) * 2019-02-20 2022-04-12 Novatek Microelectronics Corp. Fingerprint and proximity sensing apparatus and sensing process thereof
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241733A (ja) * 1992-02-27 1993-09-21 Hitachi Ltd タッチパネルの入力誤差補正方式
JPH06110610A (ja) * 1992-09-30 1994-04-22 Toshiba Corp 座標入力装置
US5659764A (en) * 1993-02-25 1997-08-19 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
JPH07253853A (ja) * 1994-03-15 1995-10-03 Matsushita Electric Works Ltd タッチパネル及びタッチパネルを用いたディスプレー装置
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US20050219229A1 (en) * 2004-04-01 2005-10-06 Sony Corporation Image display device and method of driving image display device
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7830357B2 (en) * 2004-07-28 2010-11-09 Panasonic Corporation Image display device and image display system
US7692627B2 (en) * 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140118826A (ko) * 2013-03-29 2014-10-08 가부시키가이샤 재팬 디스프레이 전자 기기 및 전자 기기의 제어 방법
US9740395B2 (en) 2013-03-29 2017-08-22 Japan Display Inc. Electronic apparatus with sensor-integrated display device and method of controlling the same

Also Published As

Publication number Publication date
WO2010030077A3 (ko) 2010-06-24
US20110199338A1 (en) 2011-08-18
WO2010030077A2 (ko) 2010-03-18

Similar Documents

Publication Publication Date Title
KR20100030404A (ko) 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
US12032746B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US20240427426A1 (en) User-defined virtual interaction space and manipulation of virtual cameras with vectors
US10895868B2 (en) Augmented interface authoring
CN105493023B (zh) 对表面上的内容的操纵
CN101730874B (zh) 基于免接触的手势的输入
Gemignani et al. Living with robots: Interactive environmental knowledge acquisition
KR20140047733A (ko) 현실 세계에서 표면들의 정보의 투영을 위한 동적 선택
Saoji et al. Air canvas application using Opencv and numpy in python
Rehman et al. Gestures and marker based low-cost interactive writing board for primary education
Conci et al. Natural human-machine interface using an interactive virtual blackboard
Rieger et al. Conquering the Mobile Device Jungle: Towards a Taxonomy for App-enabled Devices.
KR101964192B1 (ko) 시뮬레이션용 스마트 테이블 장치
Ahsan et al. Interactive white board using gestures with KINECT
Şimşek et al. Developing an interactive learning environment with kinect
Dong et al. Android-based visual tag detection for visually impaired users: System design and testing
Roudaki et al. PhoneLens: A low-cost, spatially aware, mobile-interaction device
Streeter et al. Teaching introductory programming concepts through a gesture-based interface
KR101486488B1 (ko) 다중 사용자 인식 멀티 터치 인터페이스 방법
EP4439244A1 (en) Calibration method for emulation of a physical input device for touchless control of a computer device
Lazewatsky et al. Accessible interfaces for robot assistants
Yong et al. Smart Human-Computer Interaction
Zhou et al. Human-machine interaction using the projection screen and light spots from multiple laser pointers
Yang et al. Deep gesture interaction for augmented anatomy learning

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080910

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130905

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080910

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140630

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140923

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20140630

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I