[go: up one dir, main page]

KR101919010B1 - 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 - Google Patents

안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 Download PDF

Info

Publication number
KR101919010B1
KR101919010B1 KR1020120024119A KR20120024119A KR101919010B1 KR 101919010 B1 KR101919010 B1 KR 101919010B1 KR 1020120024119 A KR1020120024119 A KR 1020120024119A KR 20120024119 A KR20120024119 A KR 20120024119A KR 101919010 B1 KR101919010 B1 KR 101919010B1
Authority
KR
South Korea
Prior art keywords
user
control command
screen
cursor
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120024119A
Other languages
English (en)
Other versions
KR20130102918A (ko
Inventor
이준석
유경화
이상원
정진용
조성구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120024119A priority Critical patent/KR101919010B1/ko
Priority to US14/383,795 priority patent/US9864429B2/en
Priority to PCT/KR2013/001893 priority patent/WO2013133664A1/ko
Publication of KR20130102918A publication Critical patent/KR20130102918A/ko
Priority to US15/864,745 priority patent/US10481685B2/en
Application granted granted Critical
Publication of KR101919010B1 publication Critical patent/KR101919010B1/ko
Priority to US16/682,531 priority patent/US20200081531A1/en
Priority to US16/871,141 priority patent/US11231777B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스가 제공된다. 디바이스가 사용자의 안구 동작에 기초하여 상기 디바이스의 동작을 제어하는 방법은, 사용자의 안구 동작에 관한 정보를 수신하는 단계; 상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 단계; 상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 단계; 및 상기 생성된 제어 명령에 기초하여, 상기 디바이스의 동작을 제어하는 단계;를 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성한다.

Description

안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스{METHOD FOR CONTROLLING DEVICE BASED ON EYE MOVEMENT AND DEVICE THEREOF}
본 발명은 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스에 관한 것으로서, 보다 상세하게는, 사용자의 안구 동작 및 사용자의 눈의 깜박임에 기초하여 디바이스를 제어하는 방법 및 이를 위한 디바이스에 관한 것이다.
마우스는 컴퓨터 입력 장치의 일종으로, 마우스를 움직이면 디스플레이 화면 속의 커서가 움직이고, 버튼을 클릭하면 명령이 실행되는 비교적 간단한 사용법 때문에 키보드와 더불어 현재까지 가장 대중적으로 많이 사용되는 입력 장치로 꼽힌다.
마우스는 구동 방식에 따라 볼 마우스, 광마우스, 자이로스코프 마우스(에어 마우스) 등으로 나뉜다. 볼 마우스는 기계식 마우스의 일종으로 내부에 작은 공을 탑재해 이 공을 굴려 방향과 이동 거리를 계산한다. 하지만, 볼 마우스는 볼에 이물질이 달라붙어 감도가 급격하게 떨어진다는 단점이 있다.
광마우스는 마우스 바닥의 광학 센서에서 빛을 발사해 바닥에 반사된 빛으로 변화를 감지한다. 현재 가장 대중적으로 많이 쓰이는 방식이다. 광마우스는 센서의 방식에 따라 다시 옵티컬(optical), 레이저(laser), 블루트랙(blue track) 등으로 나뉜다.
자이로스코프 마우스는 바닥 접촉이 필요 없는 마우스다. 자이로스코프 마우스는, 자이로스코프 센서를 탑재해, 마우스의 기울기에 따라 X, Y, Z축 3차원 좌표를 감지하며, 대부분 무선 형태로 출시된다. 공중에서 사용한다고 하여 ‘에어 마우스’ 라고도 부른다.
하지만, 상기 언급된 마우스의 경우, 거동이 불편한 장애인이 입력 장치로 사용하기는 어렵다. 따라서, 안구 마우스가 연구되고 있다. 안구 마우스는 눈동자의 움직임을 따라 커서가 움직이도록 설계되는 장애인용 특수 장비를 의미한다.
본 발명의 일 실시예는 사용자의 안구 동작 및 눈의 깜박임에 관한 정보를 이용하여 디바이스를 제어할 수 있는 방법 및 이를 위한 디바이스를 제공한다.
또한, 본 발명의 일 실시예는 화면의 분할된 영역에 대한 사용자 시선 및 시선의 이동에 기초하여 디바이스를 제어할 수 있는 방법 및 이를 위한 디바이스를 제공한다.
또한, 본 발명의 일 실시예는 화면 상의 커서의 위치를 보정하고, 커서를 세밀하게 이동시킬 수 있는 제어 방법 및 이를 위한 디바이스를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 사용자의 안구 동작에 관한 정보를 수신하는 단계; 상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 단계; 상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 단계; 및 상기 생성된 제어 명령에 기초하여, 상기 디바이스의 동작을 제어하는 단계;를 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성하는 것인, 방법디바이스가 사용자의 안구 동작에 기초하여 상기 디바이스의 동작을 제어하는 방법을 제공할 수 있다.
또한, 상기 방법은, 상기 디바이스의 화면을 복수의 영역으로 분할하는 단계;
를 더 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 분할된 영역 중 상기 사용자의 시선이 위치한 영역, 및 상기 사용자의 시선이 위치한 영역으로부터의 상기 사용자의 시선의 이동 방향에 기초하여, 상기 제어 명령을 생성할 수 있다.
또한, 상기 방법은, 상기 디바이스의 화면을 분할하는 단계는, 상기 디바이스에서 콘텐트가 디스플레이되는 영역에 기초하여 상기 디바이스의 화면을 분할 할 수 있다.
또한, 상기 제어 명령을 생성하는 단계는, 상기 사용자의 시선이 상기 화면 내에서 상기 화면 밖으로 이동됨에 따라 상기 시선의 이동에 기초하여 제어 명령을 생성 할 수 있다.
또한, 상기 방법은, 제어 명령의 목록을 포함하는 제어 명령 선택창을 표시하는 단계; 상기 표시된 제어 명령 선택창을 통한 사용자 입력에 기초하여, 상기 제어 명령 선택창에 포함된 제어 명령 목록을 선택하는 단계; 및 상기 사용자의 안구 동작 정보에 기초하여, 상기 디바이스의 화면 상의 커서를 소정의 객체로 이동하는 단계;를 더 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 사용자의 눈의 깜박임에 응답하여, 상기 객체에 대하여, 상기 선택된 제어 명령 목록에 대응되는 제어 명령을 생성 할 수 있다.
또한, 상기 방법은, 상기 사용자의 시선에 대응되는 커서의 위치를 고정하는 단계; 상기 고정된 위치로의 상기 사용자의 시선의 이동에 응답하여, 상기 이동된 시선의 위치와 상기 고정된 커서의 위치를 매칭하는 단계;를 더 포함 할 수 있다.
또한, 상기 방법은, 사용자 입력에 기초하여, 커서 주변의 기 설정된 영역을 표시하는 단계; 및 상기 표시된 영역에 대한 상기 사용자 시선의 위치에 기초하여, 상기 커서의 위치를 이동하는 단계;를 더 포함할 수 있다.
또한, 상기 방법은, 상기 안구 동작 정보에 기초하여 이동되는 커서가 상기 디바이스 화면 상의 객체로부터 기 설정된 범위 내에 위치함에 따라, 상기 커서를 상기 객체가 위치한 곳으로 이동시키는 단계;를 더 포함 할 수 있다.
또한, 본 발명의 제 2 측면은, 사용자의 안구 동작에 관한 정보를 수신하는 안구 동작 정보 수신부; 상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 깜박임 정보 수신부; 및 상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 제어 명령 생성부;를 포함하며, 상기 제어 명령 생성부는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성하는 것인, 사용자의 안구 동작에 기초하여 동작을 제어하는 디바이스를 제공할 수 있다.
또한, 본 발명의 제 3 측면은, 상기 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 시스템의 전체 개요도이다.
도 2는 본 발명의 일 실시예에 따른 디바이스의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 제어 명령 생성부의 세부 구성도이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 방법의 세부 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 디바이스가 사용자의 시선에 대응되는 커서의 위치를 보정하는 방법의 세부 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 디바이스가 커서의 위치를 미세하게 이동시키는 방법의 세부 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 눈의 깜박임 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 분할된 화면 영역의 일례를 도시한 도면이다. 사용자는 화면의 안과 밖의 다양한 영역을 응시할 수 있으며, 사용자의 시선의 위치 및 이동에 기초하여 여러 종류의 제어 명령이 생성될 수 있다.
도 9는 본 발명의 일 실시예에 따른 제어 명령을 선택하기 위한 선택창을 이용하여, 안구 동작에 따른 디바이스의 동작을 제어하는 일례를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 디바이스가 사용자의 시선에 대응되는 커서의 위치를 보정하는 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 디바이스가 커서를 미세하게 이동시키는 일례를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 TV 제어 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 이동 단말의 화면에 표시된 콘텐트의 목록을 이동시키는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 이동 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 디바이스의 화면에 표시된 객체로부터 소정의 영역 내에 커서가 위치하는 경우에, 커서를 객체로 이동시키는 일례를 도시한 도면이다.
도 16은 본 발명의 일 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 디바이스가 지도 애플리케이션을 제어하는 일례를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 시스템의 전체 개요도이다.
도 1에 도시된 바와 같이, 감지 장치(1000)는 사용자의 안구의 동작 및 사용자의 눈의 깜박임을 감지하고, 감지 장치(1000)와 연결된 복수의 디바이스들은 감지된 안구 동작 및 깜박임 정보에 기초하여 자신의 동작을 각각 제어할 수 있다. 디바이스는, 예를 들어, TV(2100), 스마트폰(2200), 태블릿 PC(2300) 및 PC(2400)를 포함할 수 있다. 또한, 디바이스는, 예를 들어, 노트북 컴퓨터(laptop computer), 전자북 단말기, 스마트 TV, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션을 포함할 수 있으나, 이에 제한되지 않는다.
감지 장치(1000)는 사용자의 안구 동작 및 눈의 깜박임에 관한 데이터를 획득할 수 있다. 안구 동작에 관한 데이터는, 안구의 응시 위치 및 안구의 이동 속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 눈의 깜박임에 관한 데이터는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한, 감지 장치(1000)는 적외선 LED 및 카메라를 포함하는 아이 트래커(eye-tracker)를 이용하여 사용자의 안구 동작 및 눈의 깜박임에 관한 데이터를 획득할 수 있다. 또한, 감지 장치(1000)는 사용자가 착용하는 안경에 포함되거나 부착될 수 있으나, 이에 제한되지 않는다.
적외선 LED를 카메라 축에 가까운 곳에 둘 경우 동공은 보통 혈액이 풍부한 망막에서 빛을 반사시키기 때문에 평소보다 더욱 밝게 보인다. 이런 현상은 "Bright pupil effect"라고 불리는데, 눈동자를 검출하고 추적하는데 아주 유용하게 이용될 수 있다.
카메라에 근접하게 설치된 적외선 LED(on axls leds)가 켜지면, 아이 트래커는 눈동자가 밝게 빛나는 영상을 얻게 되고, 카메라에서 멀리 떨어진 적외선 LED(off-axls leds)가 켜지면, 아이 트래커는 눈동자가 빛나지 않는 영상을 얻을 수 있다. 아이 트래커는 이렇게 얻어진 두 영상에서 밝게 빛나는 눈의 동공 부분을 검출해 낼 수 있도록 먼저 영상을 흑백 영상으로 변환하고, 두 영상의 차이를 구함으로써, 안구 동작을 검출할 수 있는 것이다.
또한, 도 1에서는 감지 장치(1000)가 복수의 디바이스들과 별개의 장치인 것으로 설명하였지만, 이에 제한되지 않으며, 감지 장치(1000)는 복수의 디바이스들의 일부 또는 전부에 각각 포함될 수 있다.
도 2는 본 발명의 일 실시예에 따른 디바이스(2000)의 세부 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(2000)는 안구 동작 정보 수신부(2010), 깜박임 정보 수신부(2020), 제어 명령 생성부(2030), 디스플레이부(2040), 오차 보정부(2050), 미세 입력 조절부(2060), DB(2070) 및 제어부(2080)를 포함한다.
안구 동작 정보 수신부(2010)는 감지 장치(1000)로부터 사용자의 안구 동작에 관한 정보를 수신한다. 안구 동작 정보는 사용자의 안구의 눈동자의 움직임에 관한 정보를 포함한다. 또한, 안구 동작 정보는 안구의 움직임에 기초한 사용자의 시선의 위치 및 시선의 이동 속도를 판단하는데 이용될 수 있다. 구체적으로, 안구의 움직임에 기초하여 디바이스(2000)의 화면 상의 사용자의 시선의 위치가 판단될 수 있으며, 화면 상의 사용자의 시선의 이동 방향 및 이동 속도가 판단될 수 있다.
깜박임 정보 수신부(2020)는 감지 장치(1000)로부터 사용자의 눈의 깜박임에 관한 정보를 수신한다. 눈의 깜박임에 관한 정보는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수에 관한 정보를 포함할 수 있다. 또한, 깜박임 속도 및 횟수에 따라 다양한 종류의 이벤트가 매칭될 수 있다.
제어 명령 생성부(2030)는 안구 동작 정보 및 깜박임 정보에 기초하여 디바이스(2000)의 제어 명령을 생성한다. 제어 명령 생성부(2030)는 화면 상의 사용자의 시선의 위치, 화면 상의 사용자의 시선의 이동 방향, 이동 속도, 눈의 깜박임 속도 및 눈의 깜박임 횟수 중 적어도 둘의 조합에 대응되는 제어 명령을 생성할 수 있다.
구체적으로, 제어 명령 생성부(2030)는 디바이스(2000)의 화면을 복수 개의 영역으로 분할하고, 분할된 영역 중 사용자가 바라보는 영역을 판단할 수 있다. 또한, 제어 명령 생성부(2030)는 사용자가 바라보는 영역의 변화를 확인할 수 있다. 또한, 제어 명령 생성부(2030)는 눈의 깜박임 속도 및 눈의 깜박임 횟수를 확인할 수 있다. 또한, 제어 명령 생성부(2030)는 사용자가 바라보는 영역, 사용자가 바라보는 영역의 변화, 눈의 깜박임 속도 및 눈의 깜박임 횟수 중 적어도 둘의 조합에 대응되는 제어 명령을 설정할 수 있다.
제어 명령 생성부(2030)는 사용자의 안구 동작 및 깜박임 정보에 기초하여 커서를 이동시키는 명령, 화면 상의 소정의 객체를 선택하는 명령, 디바이스(2000)의 소정의 동작을 실행시키는 명령을 생성할 수 있다. 객체는 디스플레이 화면 상에서 사용자가 선택할 수 있는 대상을 의미한다. 객체는, 예를 들어, 아이콘, 이미지, 및 텍스트를 포함하나 이에 제한되지 않는다.
이러한 제어 명령 생성부(2030)에 대하여는 도 3에서 보다 상세히 설명하기로 한다.
디스플레이부(2040)는 디바이스(2000)를 통한 사용자 입력을 수신하기 위하여 사용자 인터페이스를 화면에 표시한다. 디스플레이부(2040)는 안구 동작에 따라 화면 상의 커서를 이동시킬 수 있으며, 소정의 제어 명령을 생성하기 위한 제어 명령 선택창을 화면에 표시할 수 있다. 제어 명령 선택창은 눈의 깜박임에 대응한 제어 명령의 목록을 포함할 수 있으며, 예를 들어, 우클릭, 좌클릭, 드래그 및 스크롤 중 적어도 하나의 제어 명령의 목록을 포함할 수 있다. 따라서, 사용자가 눈을 이용하여 제어 명령 선택창에서 우클릭을 선택하고, 커서를 화면 상의 소정의 객체로 이동시킨 후 눈을 깜박임으로써, 디바이스(2000)가 소정의 객체를 우클릭을 통해 선택하는 제어 명령을 생성하도록 할 수 있다.
또한, 디스플레이부(2040)는 후술할 오차 보정부(2050)가 사용자의 시선에 대응되는 커서의 위치를 보정할 수 있도록, 사용자 인터페이스를 화면에 표시할 수 있다. 또한, 디스플레이부(2040)는 후술할 미세 입력 조절부(2060)가 커서의 위치를 미세하게 이동시킬 수 있도록 사용자 인터페이스를 화면에 표시할 수 있다.
또한, 화면 상에 소정의 객체가 표시되어 있고 커서가 객체로부터 기 설정된 범위 내에 위치한 경우에, 디스플레이부(2040)는 커서를 객체의 위치로 이동하여 표시할 수 있다. 예를 들어, 웹 사이트의 주소 입력창으로부터 10 픽셀 이내의 거리에 커서가 위치하는 경우에, 디스플레이부(2040)는 커서를 주소 입력창 내의 영역으로 이동시켜 표시할 수 있다.
오차 보정부(2050)는 사용자의 시선에 대응되는 커서의 위치를 보정한다. 오차 보정부(2050)는 화면 상의 커서의 위치를 고정시키고, 고정된 커서를 바라보는 사용자의 시선의 위치를 고정된 커서와 매칭시킴으로써, 커서의 위치를 보정할 수 있다. 예를 들어, 사용자가 눈을 기 설정된 시간동안 감는 경우에 디바이스(2000)는 커서의 위치를 보정하기 위하여 화면 상의 커서의 위치를 고정할 수 있으며, 이후 고정된 커서를 바라보는 사용자의 안구 동작에 관한 정보를 수신할 수 있다. 또한, 오차 보정부(2050)는 고정된 커서의 위치 및 고정된 커서를 바라보는 사용자의 시선 위치를 매칭함으로써, 사용자의 시선에 대응되는 커서의 위치를 보정할 수 있다. 이 경우, 커서 위치를 보정하기 위한 소정의 사용자 인터페이스가 화면에 표시될 수 있다.
미세 입력 조절부(2060)는 커서의 위치를 미세하게 이동시킨다. 미세 입력 조절부(2060)는 커서의 위치에 표시된 소정의 영역에 대한 사용자 시선이 위치한 곳의 방향에 기초하여 커서를 미세하게 이동시킬 수 있다. 예를 들어, 디스플레이부(2040)는 커서 주변의 기 설정된 영역을 화면에 사각형으로 표시할 수 있다. 또한, 화면에 표시된 사각형의 우변의 오른쪽 방향에 사용자 시선이 위치하는 경우에, 미세 입력 조절부(2060)는 디스플레이부(2040)가 커서를 사각형의 오른쪽 방향으로 기설정된 이하의 속도로 이동시키도록 할 수 있다.
DB(2070)는 디바이스(2000)가 사용자의 안구 동작 정보에 기초하여 디바이스(2000)의 동작을 제어할 수 있도록 각종의 정보를 저장한다. DB(2070)는 다양한 종류의 안구 동작 정보 및 깜박임 정보를 저장할 수 있으며, 다양한 종류의 안구 동작 정보 및 깜박임 정보의 조합에 대응되는 제어 명령의 설정 값을 저장할 수 있다.
제어부(2080)는 디바이스(2000)가 사용자의 안구 동작 정보에 기초하여 디바이스(2000)의 동작을 제어할 수 있도록 안구 동작 정보 수신부(2010), 깜박임 정보 수신부(2020), 제어 명령 생성부(2030), 디스플레이부(2040), 오차 보정부(2050), 미세 입력 조절부(2060) 및 DB(2070)를 제어한다.
도 3은 본 발명의 일 실시예에 따른 제어 명령 생성부(2030)의 세부 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제어 명령 생성부(2030)는 화면 분할부(2032) 및 제어 명령 매칭부(2034)를 포함한다.
화면 분할부(2032)는 디바이스(2000)의 화면을 복수 개의 영역으로 분할한다. 화면 분할부(2032)는 디바이스(2000)의 화면 안의 영역을 복수 개로 분할할 수 있다. 예를 들어, 화면 분할부(2032)는 디바이스(2000)의 화면 안의 영역을 9개의 영역으로 분할할 수 있다. 구체적으로, 화면 분할부(2032)는 디바이스(2000)의 화면 안의 영역을 좌측 상단 영역, 중앙 상단 영역, 우측 상단 영역, 좌측 중앙 영역, 중앙 영역, 우측 중앙 영역, 좌측 하단 영역, 중앙 하단 영역, 및 우측 하단 영역으로 분할할 수 있다. 또한, 예를 들어, 화면 분할부(2032)는 9개의 영역 중 좌측 중앙 영역, 중앙 영역, 우측 중앙 영역을 결합하여 수평 중앙 영역을 설정할 수 있다. 또한, 예를 들어, 화면 분할부(2032)는 9개의 영역 중 중앙 상단 영역, 중앙 영역, 우측 하단 영역을 결합하여 수직 중앙 영역을 설정할 수 있다.
또한, 화면 분할부(2032)는 화면에 콘텐트가 디스플레이되는 영역을 제외한 영역을 분할할 수 있다. 예를 들어, 디바이스(2000)의 화면 중앙에 소정의 콘텐트가 디스플레이되는 경우에, 화면 분할부(2032)는 콘텐트가 디스플레이되는 영역을 제외한 가장자리 영역을 좌측 상단 가장자리 영역, 중앙 상단 가장자리 영역, 우측 상단 가장자리 영역, 좌측 중앙 가장자리 영역, 우측 중앙 가장자리 영역, 좌측 하단 가장자리 영역, 중앙 하단 가장자리 영역, 우측 하단 가장자리 영역으로 분할할 수 있다. 이 경우, 콘텐트가 디스플레이되는 영역을 제외한 가장자리 영역에 커서 또는 사용자 시선이 위치하는 경우에 사용자의 안구 동작에 기초한 제어 명령이 생성될 수 있다.
또한, 화면 분할부(2032)는 디바이스(2000)의 화면 밖의 영역을 분할할 수 있다. 예를 들어, 화면 분할부(2032)는 디바이스(2000)의 화면 밖의 영역을 화면 밖 좌측 영역, 화면 밖 우측 영역, 화면 밖 상단 영역, 화면 밖 하단 영역으로 분할할 수 있다.
제어 명령 매칭부(2034)는 사용자의 안구 동작 및 눈의 깜박임 동작에 소정의 제어 명령을 매칭한다. 제어 명령 매칭부(2034)는 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 눈의 깜박임 횟수 및 눈의 깜박임 속도 중 적어도 하나에 대응되는 이벤트를 구별할 수 있으며, 각각의 이벤트에 대하여 제어 명령을 매칭할 수 있다.
예를 들어, 제어 명령 매칭부(2034)는, 사용자가 디바이스 화면의 중앙 상단 영역을 바라보고 눈을 1회 빠르게 깜박인 경우에, 디바이스(2000)의 볼륨을 증가시키는 제어 명령이 생성되도록 할 수 있다.
또한, 예를 들어, 제어 명령 매칭부(2034)는, 사용자가 디바이스 화면의 우측 중앙 영역으로부터 화면 밖 우측 영역으로 시선을 이동시킨 경우에, 디바이스(2000)의 화면에 좌우로 정렬된 콘텐트의 목록을 우측으로 이동시키는 제어 명령이 생성되도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 방법의 세부 흐름도이다.
단계 S400에서 디바이스(2000)는 제어 명령을 설정한다. 단계 S400에서 디바이스(2000)는 사용자의 안구 동작 및 눈의 깜박임 동작에 소정의 제어 명령을 매칭할 수 있다. 디바이스(2000)는 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 및 눈의 깜박임 동작 중 적어도 하나에 대응되는 이벤트를 구별할 수 있으며, 각각의 이벤트에 대하여 제어 명령을 매칭할 수 있다. 또한, 단계 S400에서 디바이스(2000)는 디바이스(2000)의 종류, 애플리케이션의 종류 및 화면에 표시된 사용자 인터페이스의 종류에 따라 각각의 이벤트에 대하여 상이한 제어 명령을 매칭할 수 있다. 또한, 디바이스(2000)의 화면 안의 영역 및 화면 밖의 영역은 기 설정된 기준에 따라 복수 개로 분할될 수 있다.
예를 들어, 디바이스(2000)는, 디바이스(2000)에서 멀티미디어 애플리케이션이 실행 중이고 사용자가 디바이스 화면의 중앙 상단 영역을 바라보고 눈을 1회 깜박인 경우에, 디바이스(2000)의 볼륨을 증가시키는 제어 명령이 생성되도록 할 수 있다. 또한, 예를 들어, 디바이스(2000)는, 디바이스(2000)에서 콘텐트의 목록 화면이 표시되어 있고 사용자가 디바이스 화면의 우측 중앙 영역으로부터 화면 밖 우측 영역으로 시선을 이동시킨 경우에, 디바이스(2000)의 화면에 좌우로 정렬된 콘텐트의 목록을 우측으로 이동시키는 제어 명령이 생성되도록 할 수 있다.
단계 S402에서 디바이스(2000)는 안구 동작 정보를 수신한다. 단계 S402에서 디바이스(2000)는 감지 장치(1000)로부터 사용자의 안구 동작에 관한 정보를 수신할 수 있다. 안구 동작 정보는 사용자의 안구의 눈동자의 움직임에 관한 정보를 포함한다. 또한, 안구 동작 정보는 안구의 움직임에 기초한 사용자의 시선의 위치 및 시선의 이동 속도를 판단하는데 이용될 수 있다. 구체적으로, 안구의 움직임에 기초하여 디바이스(2000)의 화면 상의 사용자의 시선의 위치가 판단될 수 있으며, 화면 상의 사용자의 시선의 이동 방향 및 이동 속도가 판단될 수 있다.
단계 S404에서 디바이스(2000)는 눈의 깜박임 정보를 수신한다. 단계 S404에서 디바이스(2000)는 감지 장치(1000)로부터 사용자의 눈의 깜박임에 관한 정보를 수신할 수 있다. 눈의 깜박임에 관한 정보는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수에 관한 정보를 포함할 수 있다.
단계 S406에서 디바이스(2000)는 설정 값에 기초하여 제어 명령을 확인한다. 단계 S406에서 디바이스(2000)는 수신된 안구 동작 정보 및 눈의 깜박임 정보에 기초하여, 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 눈의 깜박임 횟수 및 눈의 깜박임 속도를 판단할 수 있다. 또한, 디바이스(2000)는 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 눈의 깜박임 횟수 및 눈의 깜박임 속도 중 적어도 하나에 대응되는 제어 명령을 설정 값으로부터 확인할 수 있다.
단계 S408에서 디바이스(2000)는 사용자의 안구 동작 및 눈의 깜박임에 기초하여 디바이스(2000)의 동작을 제어한다. 단계 S408에서 디바이스(2000)는 확인된 제어 명령을 생성하고, 생성된 제어 명령을 이용하여 디바이스(2000)의 동작을 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디바이스(2000)가 사용자의 시선에 대응되는 커서의 위치를 보정하는 방법의 세부 흐름도이다.
단계 S500에서 디바이스(2000)는 커서 위치의 오차를 보정을 요청하는 사용자 입력을 수신한다. 예를 들어, 사용자가 디바이스(2000)의 화면의 소정 위치를 5초 이상 응시하고 눈을 깜박이지 않는 경우에, 디바이스(2000)는 디바이스(2000)에 표시된 커서의 위치를 보정하도록 할 수 있다.
단계 S502에서 디바이스(2000)는 소정의 시선의 위치에 대응하여 표시되는 커서를 고정한다. 단계 S502에서 디바이스(2000)는 오차를 보정을 요청하는 사용자 입력을 수신함에 따라, 화면에 표시된 커서를 고정할 수 있다. 커서가 고정된 이후에는 사용자의 안구 동작에 응답하여 커서가 화면 상에서 이동되지 않을 수 있다.
단계 S504에서 디바이스(2000)는 고정된 커서를 바라보는 사용자의 시선을 확인한다. 커서가 고정된 이후에 사용자는 안구를 움직임으로써 시선의 위치를 고정된 커서로 이동시킬 수 있다. 또한, 사용자는 커서로 시선을 이동시킨 이후에 눈을 1회 깜박일 수 있으며, 디바이스(2000)는 눈을 깜박인 때의 시선의 위치를 확인할 수 있다.
단계 S506에서 디바이스(2000)는 확인된 시선을 고정된 커서에 매칭시킨다. 단계 S506에서 확인된 시선이 고정된 커서에 매칭됨으로써, 이후의 사용자의 시선의 위치와 커서의 위치가 일치될 수 있다.
도 6은 본 발명의 일 실시예에 따른 디바이스(2000)가 커서의 위치를 미세하게 이동시키는 방법의 세부 흐름도이다.
단계 S600에서 디바이스(2000)는 미세 입력 조절을 요청하는 사용자 입력을 수신한다. 예를 들어, 사용자가 눈을 1.5초 이상 감았다가 뜬 경우에, 디바이스(2000)는 눈을 뜬 이후의 눈의 동작에 기초하여 디바이스(2000)에 표시된 커서를 미세하게 이동시키도록 할 수 있다.
단계 S602에서 디바이스(2000)는 커서 주변의 소정의 영역을 표시한다. 단계 S602에서 디바이스(2000)는 미세 입력 조절을 요청하는 사용자 입력이 수신됨에 따라 커서 주변의 소정의 영역을 사각형의 테두리로 표시할 수 있다.
단계 S604에서 디바이스(2000)는 표시된 영역을 기준으로 사용자의 시선의 위치에 따라 기 설정된 속도로 커서를 이동한다. 예를 들어, 커서 주변에 표시된 사각형의 테두리로부터 우측 방향에 사용자의 시선이 위치한 경우에, 디바이스(2000)는 커서를 우측 방향으로 기 설정된 이하의 속도로 이동시킬 수 있다. 또한, 예를 들어, 커서 주변에 표시된 사각형의 테두리로부터 좌측 방향에 사용자의 시선이 위치한 경우에, 디바이스(2000)는 커서를 좌측 방향으로 기 설정된 이하의 속도로 이동시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 눈의 깜박임 동작을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 눈의 깜박임 동작은 눈을 뜨고 있는 동작(open), 눈을 빠르게 깜빡이는 동작(blink), 눈을 짧게 감았다가 뜨는 동작(short_click), 눈을 감았다가 뜨는 동작(click), 눈을 길게 감았다가 뜨는 동작(long_click), 눈을 감고 있는 동작(close), 화면의 소정 영역을 소정 시간 이상 응시하는 동작(dwell)을 포함할 수 있다. 또한, 눈의 깜박임 동작은 눈을 감았다가 뜨는 속도에 기초하여 각각 구분될 수 있다. 또한, 눈의 깜박임 동작은 안구의 동작에 관한 정보와 조합됨으로써 디바이스가 다양한 종류의 사용자 입력을 구별하는데 이용될 수 있다.
도 8은 본 발명의 일 실시예에 따라 분할된 화면 영역의 일례를 도시한 도면이다. 사용자는 화면의 안과 밖의 다양한 영역을 응시할 수 있으며, 사용자의 시선의 위치 및 이동에 기초하여 여러 종류의 제어 명령이 생성될 수 있다.
도 8a는 화면 밖의 영역(420)을 나타내는 도면이다. 화면 밖의 영역(420)은 화면 밖 좌측 영역(1), 화면 밖 우측 영역(2), 화면 밖 상단 영역(3), 화면 밖 하단 영역(4)이 있을 수 있다.
도 8b는 균등하게 분할된 화면 안의 영역(410)을 나타내는 도면이다. 도 8b에서는 화면이 9개로 분할 표시 되어있지만, 이에 한정되는 것은 아니다. 도 8b에 의하면, 화면 안의 영역(410)은 좌측 상단 영역(5), 중앙 상단 영역(6), 우측 상단 영역(7), 좌측 중앙 영역(8), 중앙 영역(9), 우측 중앙 영역(10), 좌측 하단 영역(11), 중앙 하단 영역(12), 우측 하단 영역(13)이 있을 수 있다. 한편, 화면 안의 영역(410)은 수평 중앙 영역(8, 9, 10), 중앙 수직 영역(6, 9, 12) 등이 있을 수 있다.
도 8c는 화면 안의 가장자리 영역을 나타내는 도면이다. 화면에 콘텐트가 디스플레이되는 경우, 디바이스(2000)는 콘텐트가 디스플레이되는 영역을 결정하고, 결정된 영역 외의 영역을 분할할 수 있다. 예를 들어, 디바이스(2000)는 콘텐트가 디스플레이되는 화면의 중앙 부분을 중앙 영역(18)으로 결정하고, 중앙 영역(18) 외의 가장 자리 영역을 분할할 수 있다. 또한, 가장 자리 영역은 좌측 상단 가장자리 영역(14), 중앙 상단 가장자리 영역(15), 우측 상단 가장자리 영역(16), 좌측 중앙 가장자리 영역(17), 우측 중앙 가장자리 영역(19), 좌측 하단 가장자리 영역(20), 중앙 하단 가장자리 영역(21), 우측 하단 가장자리 영역(22)으로 분할될 수 있다. 또한, 디바이스(2000)는 사용자의 시선이 가장 자리 영역 및 화면 밖에 위치하는 경우에, 사용자의 안구 동작에 기초한 제어 명령을 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 제어 명령을 선택하기 위한 선택창을 이용하여, 안구 동작에 따른 디바이스의 동작을 제어하는 일례를 설명하기 위한 도면이다.
도 9를 참조하면, 디바이스(2000)는 소정의 제어 명령을 생성하기 위한 제어 명령 선택창(90)을 화면에 표시할 수 있다. 또한, 제어 명령 선택창은 눈의 깜박임에 대응한 제어 명령의 목록을 포함할 수 있으며, 예를 들어, 우클릭, 좌클릭, 드래그 및 스크롤 중 적어도 하나의 제어 명령의 목록을 포함할 수 있다. 만약, 사용자가 눈을 움직여 커서(94)를 제어 명령 선택창(90)의 우클릭 필드(92)을 선택하고, 커서(94)를 화면 상의 아이콘(96)으로 이동시킨 후 눈을 깜박인다면, 디바이스(2000)는 아이콘(96)을 우클릭을 통해 선택하는 제어 명령을 생성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 디바이스(2000)가 사용자의 시선에 대응되는 커서의 위치를 보정하는 일례를 도시한 도면이다.
도 10을 참조하면, 사용자가 화면의 소정 위치를 응시하는 경우에, 사용자 시선(10)의 위치와 상이한 위치에 커서(12)가 표시될 수 있다. 이 경우, 사용자가 화면을 5초 이상 응시하고 눈을 깜박이지 않는 경우에, 디바이스(2000)는 디바이스(2000)에 표시된 커서(12)의 위치를 보정하도록 할 수 있다.
구체적으로, 디바이스(2000)는 사용자의 시선(10)의 위치에 대응하여 표시되는 커서(12)를 고정할 수 있다. 또한, 커서(12)를 고정시킨 이후에 사용자가 고정된 커서(12)의 위치로 시선(10)을 이동시킴에 따라, 디바이스(2000)는 이동된 시선(10)의 위치를 확인할 수 있다. 또한, 사용자는 커서(12)의 위치로 시선(10)을 이동시킨 이후에 눈을 1회 깜박일 수 있으며, 디바이스(2000)는 눈을 깜박인 때의 시선(10)의 위치를 고정된 커서(12)의 위치에 매칭시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 디바이스(2000)가 커서를 미세하게 이동시키는 일례를 도시한 도면이다.
도 11을 참조하면, 사용자가 눈을 1.5초 이상 감았다가 뜬 경우에, 디바이스(2000)는 눈을 뜬 이후의 눈의 동작에 기초하여 커서(16) 주변의 소정의 영역을 사각형의 테두리로 표시할 수 있다. 이후, 사용자의 시선(14)이 사각형의 우측 방향에 사용자의 시선이 위치하면, 디바이스(2000)는 커서(16)를 우측 방향으로 기 설정된 이하의 속도로 이동시킬 수 있다.
도 12는 본 발명의 일 실시예에 따른 TV 제어 방법을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 디바이스(2000)가 TV인 경우, 사용자가 TV 화면(700)의 좌측 영역(710)에서 눈을 빠르게 깜빡(blink)인 후 좌측 바깥으로 시선을 넘기면 볼륨을 감소시키고, 우측 영역(720)에서 눈을 빠르게 깜빡(blink)인 후 우측 바깥으로 시선을 넘기면 볼륨을 증가시키고, 상단 영역(730)에서 눈을 빠르게 깜빡(blink)인 후 상단 바깥으로 시선을 넘기면 채널을 증가시키고, 하단 영역(740)에서 눈을 빠르게 깜빡(blink)인 후 하단 바깥으로 시선을 넘기면 채널을 감소시킬 수 있다.
도 13은 본 발명의 일 실시예에 따른 이동 단말의 화면에 표시된 콘텐트의 목록을 이동시키는 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 사용자가 화면에 표시된 콘텐트의 목록을 바라보고 눈을 깜박인 이후에 시선을 좌측으로 이동시키면, 콘텐트의 목록이 좌측으로 스와이프(swipe)될 수 있다.
도 14는 본 발명의 일 실시예에 따른 이동 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 14a에 도시된 바와 같이, 디바이스(2000)가 이동 단말인 경우, 사용자의 안구 동작 및 안구 응시 위치에 따라 화면을 상하좌우로 스와이프(swipe)할 수 있다. 또한, 사용자가 소정 영역을 응시하면서 빠르게 소정 횟수 이상 깜빡이는 경우, 소정 영역에 존재하는 객체가 선택될 수도 있다.
한편, 도 14b에 도시된 바와 같이, 사용자가 선택할 수 있는 객체가 복수 개 존재하는 경우, 사용자가 안구 동작에 의해 객체를 정확히 선택하기 어려울 수 있다. 따라서, 디바이스(2000)는, 해당 객체로부터 소정 영역 내에 안구의 응시 위치가 존재하는 경우, 사용자가 해당 객체를 선택한 것으로 판단할 수 있다.
도 15는 본 발명의 일 실시예에 따른 디바이스(2000)의 화면에 표시된 객체로부터 소정의 영역 내에 커서가 위치하는 경우에, 커서를 객체로 이동시키는 일례를 도시한 도면이다.
도 15를 참조하면, 디바이스(2000)의 화면 상에 웹 페이지가 표시되고 소정의 객체(52) 주변에 커서(50)가 위치하면, 커서(50)를 객체(52)의 위치로 이동시킬 수 있다. 따라서, 사용자가 시선을 객체(52)의 위치로 정확하게 이동시키지 않는 경우에도, 커서(50)를 효과적으로 객체(52)에 위치시킬 수 있으며, 객체를 선택하여 디바이스(2000)가 소정의 동작을 수행하도록 할 수 있다.
도 16은 본 발명의 일 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 16에 도시된 바와 같이, 디바이스(2000)가 전자북(E-book) 단말이며, 사용자가 화면의 좌측 가장자리를 응시하면서 눈을 감았다가 뜨는 경우, 디바이스(2000)는 현재 표시된 페이지의 이전 페이지를 디스플레이하고(910), 사용자가 화면의 우측 가장자리를 응시하면서 눈을 감았다가 뜨는 경우, 다음 페이지를 디스플레이(920)할 수 있다. 또한, 디바이스(2000)는 사용자가 어느 영역에서든지 소정 시간 미만 눈을 감았다가 뜬 경우(short_click), 다음 페이지를 디스플레이할 수 있고(930), 사용자가 어느 영역에서든지 눈을 감았다가 뜨는 경우(click), 화면에 표시된 컨텐츠를 소정 비율로 확대하여 디스플레이할 수도 있다(940).
도 17은 본 발명의 다른 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 17에 도시된 바와 같이, 사용자가 소정 시간 이상 눈을 감았다가 뜬 경우(long_click), 디바이스(2000)는 다른 컨텐츠를 선택할 수 있는 컨텐츠 리스트를 디스플레이할 수도 있다(950).
도 18은 본 발명의 일 실시예에 따른 디바이스(2000)가 지도 애플리케이션을 제어하는 일례를 설명하기 위한 도면이다.
도 18에 도시된 바와 같이, 사용자에 의해 선택된 애플리케이션이 지도 애플리케이션인 경우, 사용자가 안구의 응시 위치를 변화시키면, 디바이스(2000)는 변화된 안구의 응시 위치를 촬영한 지도 화면을 디스플레이할 수 있다(1010). 예를 들어, 사용자가 지도 상의 도로를 따라 위치한 소정의 건물로 시선을 이동시키는 경우에, 이동된 시선에 위치한 건물을 촬영한 정면 사진이 화면에 디스플레이될 수 있다.
또한, 사용자가 소정 방향을 응시하면서 눈을 깜빡이면, 디바이스(2000)는 사용자의 시선이 변화함에 따라 이동되는 지도 화면을 디스플레이할 수 있다(1020). 예를 들어, 사용자가 지도에 표시된 도로 상의 소정의 위치를 응시하고 눈을 깜빡이는 경우에, 디바이스(2000)는 사용자의 시선의 위치에서 촬영된 도로 사진을 화면에 디스플레이할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 디바이스가 사용자의 안구 동작에 기초하여 상기 디바이스의 동작을 제어하는 방법에 있어서,
    상기 디바이스의 화면 상에 콘텐트가 디스플레이 되는 영역을 결정하고, 결정된 영역 외의 가장자리 영역을 복수개의 제어 영역으로 분할하는 단계;
    사용자의 안구 동작에 관한 정보를 수신하는 단계;
    상기 사용자의 눈의 깜박임의 속도 및 횟수를 포함하는 눈의 깜박임에 관한 정보를 수신하는 단계;
    사용자의 안구 동작에 관한 정보에 기초하여 상기 디바이스의 화면에서 사용자의 시선이 위치하는 영역을 식별하는 단계;
    상기 사용자의 시선이 상기 복수개의 제어 영역 중 어느 하나의 제어 영역에 위치한 경우, 상기 사용자의 시선이 위치한 제어 영역의 변경에 기초하여, 상기 눈의 깜박임의 속도 및 횟수에 대응하는 제어 명령을 생성하는 단계; 및
    상기 생성된 제어 명령에 기초하여, 상기 디바이스의 동작을 제어하는 단계;를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제어 명령을 생성하는 단계는, 상기 분할된 복수개의 제어 영역 중 상기 사용자의 시선이 위치한 영역, 및 상기 사용자의 시선이 위치한 영역으로부터의 상기 사용자의 시선의 이동 방향에 기초하여, 상기 제어 명령을 생성하는 것인, 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제어 명령을 생성하는 단계는, 상기 사용자의 시선이 상기 디바이스의 화면 내에서 상기 디바이스의 화면 밖으로 이동됨에 따라 상기 시선의 이동에 기초하여 제어 명령을 생성하는 것인, 방법.
  5. 제 1 항에 있어서,
    제어 명령의 목록을 포함하는 제어 명령 선택창을 표시하는 단계;
    상기 표시된 제어 명령 선택창을 통한 사용자 입력에 기초하여, 상기 제어 명령 선택창에 포함된 제어 명령 목록을 선택하는 단계; 및
    상기 사용자의 안구 동작 정보에 기초하여, 상기 디바이스의 화면 상의 커서를 소정의 객체로 이동하는 단계;
    를 더 포함하며,
    상기 제어 명령을 생성하는 단계는,
    상기 사용자의 눈의 깜박임의 속도 및 횟수에 응답하여, 상기 객체에 대하여, 상기 선택된 제어 명령 목록에 대응되는 제어 명령을 생성하는 것인, 방법.
  6. 제 1 항에 있어서,
    상기 사용자의 시선에 대응되는 커서의 위치를 고정하는 단계;
    상기 고정된 위치로의 상기 사용자의 시선의 이동에 응답하여, 상기 이동된 시선의 위치와 상기 고정된 커서의 위치를 매칭하는 단계;
    를 더 포함하는, 방법.
  7. 제 1 항에 있어서,
    사용자 입력에 기초하여, 커서 주변의 기 설정된 영역을 표시하는 단계; 및
    상기 표시된 영역에 대한 상기 사용자 시선의 위치에 기초하여, 상기 커서의 위치를 이동하는 단계;
    를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 안구 동작 정보에 기초하여 이동되는 커서가 상기 디바이스 화면 상의 객체로부터 기 설정된 범위 내에 위치함에 따라, 상기 커서를 상기 객체가 위치한 곳으로 이동시키는 단계;
    를 더 포함하는, 방법.
  9. 사용자의 안구 동작에 기초하여 동작을 제어하는 디바이스에 있어서,
    사용자의 안구 동작에 관한 정보를 수신하는 안구 동작 정보 수신부;
    상기 사용자의 눈의 깜박임의 속도 및 횟수를 포함하는 눈의 깜박임에 관한 정보를 수신하는 깜박임 정보 수신부; 및
    상기 디바이스의 화면 상에 콘텐트가 디스플레이 되는 영역을 결정하고, 결정된 영역 외의 가장자리 영역을 복수개의 제어 영역으로 분할하고, 사용자의 안구 동작에 관한 정보에 기초하여 상기 디바이스의 화면에서 사용자의 시선이 위치하는 영역을 식별하고, 상기 사용자의 시선이 상기 복수개의 제어 영역 중 어느 하나의 제어 영역에 위치한 경우, 상기 사용자의 시선이 위치한 제어 영역의 변경에 기초하여, 상기 눈의 깜박임의 속도 및 횟수에 대응하는 제어 명령을 생성하고, 상기 생성된 제어 명령에 기초하여 상기 디바이스의 동작을 제어하는 제어부를 포함하는, 디바이스.
  10. 제 9 항에 있어서,
    상기 제어부는,
    상기 디바이스의 화면을 복수의 제어 영역으로 분할하고, 상기 분할된 영역 중 상기 사용자의 시선이 위치한 영역, 및 상기 사용자의 시선이 위치한 영역으로부터의 상기 사용자의 시선의 이동 방향에 기초하여, 상기 제어 명령을 생성하는 것인, 디바이스.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 제어부는,
    상기 사용자의 시선이 상기 디바이스의 화면 내에서 상기 화면 밖으로 이동됨에 따라 상기 시선의 이동에 기초하여 제어 명령을 생성하는 것인, 디바이스.
  13. 제 9 항에 있어서,
    사용자의 눈의 깜박임에 대응되는 제어 명령의 목록을 포함하는 제어 명령 선택창을 표시하는 디스플레이부;
    를 더 포함하며,
    상기 제어부는, 상기 표시된 제어 명령 선택창을 통한 사용자 입력에 기초하여 상기 제어 명령 목록에 포함된 상기 제어 명령 목록이 선택되고 사용자의 눈의 깜박임이 감지됨에 따라, 커서가 위치한 곳의 객체에 대하여 상기 선택된 제어 명령 목록에 대응되는 제어 명령을 생성하는 것인, 디바이스.
  14. 제 9 항에 있어서,
    상기 사용자의 시선에 대응되는 커서의 위치를 고정하고, 상기 고정된 위치로의 상기 사용자의 시선의 이동에 응답하여, 상기 이동된 시선의 위치와 상기 고정된 커서의 위치를 매칭하는 오차 보정부;
    를 포함하는, 디바이스.
  15. 제 9 항에 있어서,
    사용자 입력에 기초하여, 커서 주변의 기 설정된 영역을 표시하는 디스플레이부; 및
    상기 표시된 영역에 대한 상기 사용자 시선이 위치한 곳의 방향에 기초하여, 상기 커서의 위치를 이동하는 미세 입력 조절부;
    를 더 포함하는 디바이스.
  16. 제 9 항에 있어서,
    상기 안구 동작 정보에 기초하여 이동되는 커서가 상기 디바이스 화면 상의 객체로부터 기 설정된 범위 내에 위치함에 따라, 상기 커서를 상기 객체가 위치한 곳으로 이동시키는 디스플레이부;
    를 더 포함하는, 디바이스.
  17. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120024119A 2012-03-08 2012-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 Active KR101919010B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020120024119A KR101919010B1 (ko) 2012-03-08 2012-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US14/383,795 US9864429B2 (en) 2012-03-08 2013-03-08 Method for controlling device on the basis of eyeball motion, and device therefor
PCT/KR2013/001893 WO2013133664A1 (ko) 2012-03-08 2013-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US15/864,745 US10481685B2 (en) 2012-03-08 2018-01-08 Method for controlling device on the basis of eyeball motion, and device therefor
US16/682,531 US20200081531A1 (en) 2012-03-08 2019-11-13 Method for controlling device on the basis of eyeball motion, and device therefor
US16/871,141 US11231777B2 (en) 2012-03-08 2020-05-11 Method for controlling device on the basis of eyeball motion, and device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024119A KR101919010B1 (ko) 2012-03-08 2012-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스

Publications (2)

Publication Number Publication Date
KR20130102918A KR20130102918A (ko) 2013-09-23
KR101919010B1 true KR101919010B1 (ko) 2018-11-16

Family

ID=49117070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024119A Active KR101919010B1 (ko) 2012-03-08 2012-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스

Country Status (3)

Country Link
US (4) US9864429B2 (ko)
KR (1) KR101919010B1 (ko)
WO (1) WO2013133664A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609715S1 (en) * 2007-06-28 2010-02-09 Apple Inc. Animated graphical user interface for a display screen or portion thereof
USD658195S1 (en) * 2010-01-27 2012-04-24 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR102097637B1 (ko) * 2013-10-21 2020-04-06 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
KR101580397B1 (ko) * 2014-05-27 2015-12-24 전남대학교산학협력단 안구 운동을 사용하는 디바이스의 제어 장치 및 방법
USD798334S1 (en) 2014-09-01 2017-09-26 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10645218B2 (en) * 2014-10-31 2020-05-05 Avaya Inc. Contact center interactive text stream wait treatments
WO2016085212A1 (ko) 2014-11-24 2016-06-02 삼성전자 주식회사 디스플레이를 제어하는 전자 장치 및 방법
KR101663993B1 (ko) 2014-12-18 2016-10-12 숭실대학교산학협력단 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체
US20160231812A1 (en) * 2015-02-06 2016-08-11 The Eye Tribe Aps Mobile gaze input system for pervasive interaction
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
KR101671838B1 (ko) * 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
EP3353632B1 (en) * 2015-09-24 2022-10-05 Tobii AB Eye-tracking enabled wearable devices
US9830708B1 (en) 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
KR101671839B1 (ko) * 2016-09-01 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
JP6862202B2 (ja) * 2017-02-08 2021-04-21 キヤノン株式会社 画像処理装置、撮像装置および制御方法
USD876469S1 (en) * 2017-04-17 2020-02-25 Samsung Display Co., Ltd. Combined display device and screen with an animated graphical user interface
KR102668725B1 (ko) 2017-10-27 2024-05-29 매직 립, 인코포레이티드 증강 현실 시스템들에 대한 가상 레티클
WO2020018938A1 (en) * 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
USD916867S1 (en) 2019-02-15 2021-04-20 Apple Inc. Display screen or portion thereof with graphical user interface
US11009698B2 (en) * 2019-03-13 2021-05-18 Nick Cherukuri Gaze-based user interface for augmented and mixed reality device
KR102741538B1 (ko) * 2019-09-05 2024-12-10 엘지전자 주식회사 운전자 시선에 기반한 길 안내 서비스 지원 장치 및 이를 이용한 자동차 내비게이션 시스템
TW202301083A (zh) 2021-06-28 2023-01-01 見臻科技股份有限公司 提供精準眼動追蹤之光學系統和相關方法
US11995231B2 (en) * 2022-07-21 2024-05-28 Dell Products Lp System and method for headset haptic or audio confirmation feedback for gaze activation
US12204689B2 (en) * 2022-09-27 2025-01-21 Tobii Dynavox Ab Method, system, and computer program product for drawing and fine-tuned motor controls
WO2025101397A1 (en) * 2023-11-09 2025-05-15 Verily Life Sciences Llc Activating a pass through mode of a headset based on eye pattern

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749744A (ja) 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
KR20000072494A (ko) * 2000-09-06 2000-12-05 고병삼 눈동자 움직임을 광원을 이용하여 감지할 수 있는 기기 및무선원격장치.
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
KR101098687B1 (ko) 2004-09-23 2011-12-23 엘지전자 주식회사 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
US8587514B2 (en) * 2005-09-27 2013-11-19 Penny Ab Device for controlling an external unit
KR20070043469A (ko) * 2005-10-21 2007-04-25 엘지전자 주식회사 장애인을 위한 마우스 동작 인식 시스템
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
TW200938176A (en) * 2008-03-05 2009-09-16 Coretronic Corp Eyeball locating method and system
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP4991829B2 (ja) * 2009-11-09 2012-08-01 株式会社デンソー 遠隔操作デバイス用表示制御装置
KR20110083770A (ko) * 2010-01-15 2011-07-21 에스케이텔레콤 주식회사 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8884892B2 (en) * 2011-08-12 2014-11-11 Blackberry Limited Portable electronic device and method of controlling same
US10158638B2 (en) * 2011-08-31 2018-12-18 Salesforce.Com, Inc. Computer implemented methods and apparatus for providing access to an online social network
US8860660B2 (en) * 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스

Also Published As

Publication number Publication date
US10481685B2 (en) 2019-11-19
KR20130102918A (ko) 2013-09-23
WO2013133664A1 (ko) 2013-09-12
US11231777B2 (en) 2022-01-25
US20200081531A1 (en) 2020-03-12
US20180129283A1 (en) 2018-05-10
US20150091793A1 (en) 2015-04-02
US20200272234A1 (en) 2020-08-27
US9864429B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
KR101919010B1 (ko) 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
EP3571673B1 (en) Method for displaying virtual image, storage medium and electronic device therefor
US6886137B2 (en) Eye gaze control of dynamic information presentation
US20220100270A1 (en) Methods for navigating user interfaces
US9728163B2 (en) Operation mode switching method and electronic device
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US20190179411A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US20240220009A1 (en) Gazed based interactions with three-dimensional environments
CN102033696B (zh) 图片控制装置和图片控制方法
US20120256967A1 (en) Gaze-based content display
US20120019447A1 (en) Digital display device
US20140168054A1 (en) Automatic page turning of electronically displayed content based on captured eye position data
US11915671B2 (en) Eye gaze control of magnification user interface
US20230259265A1 (en) Devices, methods, and graphical user interfaces for navigating and inputting or revising content
CN106155693A (zh) 控制方法及控制装置
CN117136347A (zh) 用于触摸稳定的方法、系统和计算机程序
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
US9582074B2 (en) Controlling method and electronic apparatus utilizing the controlling method
KR102730600B1 (ko) 시선 추적을 위한 디스플레이 제어 장치 및 그 방법
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
JP5994370B2 (ja) 文字サイズ変更装置および電子書籍端末
US20250111471A1 (en) Techniques for presenting magnified views in an extended reality environment
Hueber Using facial tracking for expressive mobile device interactions

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120308

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170308

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120308

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171226

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180619

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20171226

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180619

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180226

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20180809

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20180719

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20180619

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180226

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181109

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181112

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211028

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221028

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241030

Start annual number: 7

End annual number: 7