[go: up one dir, main page]

KR102098277B1 - 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 - Google Patents

시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 Download PDF

Info

Publication number
KR102098277B1
KR102098277B1 KR1020130066578A KR20130066578A KR102098277B1 KR 102098277 B1 KR102098277 B1 KR 102098277B1 KR 1020130066578 A KR1020130066578 A KR 1020130066578A KR 20130066578 A KR20130066578 A KR 20130066578A KR 102098277 B1 KR102098277 B1 KR 102098277B1
Authority
KR
South Korea
Prior art keywords
image
user
electronic device
gaze
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130066578A
Other languages
English (en)
Other versions
KR20140144510A (ko
Inventor
김명식
김창용
한익상
김준우
김진호
오윤제
정선태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130066578A priority Critical patent/KR102098277B1/ko
Priority to US14/294,775 priority patent/US9851788B2/en
Priority to CN201910012472.1A priority patent/CN109683716B/zh
Priority to CN201410257721.0A priority patent/CN104238739B/zh
Priority to EP14171946.8A priority patent/EP2813922B1/en
Priority to EP18163361.1A priority patent/EP3382510A1/en
Priority to CN201910012778.7A priority patent/CN109739361B/zh
Publication of KR20140144510A publication Critical patent/KR20140144510A/ko
Priority to US15/853,277 priority patent/US10203754B2/en
Priority to US16/266,978 priority patent/US10514758B2/en
Priority to US16/266,998 priority patent/US11194388B2/en
Priority to US16/812,060 priority patent/US11366516B2/en
Application granted granted Critical
Publication of KR102098277B1 publication Critical patent/KR102098277B1/ko
Priority to US17/478,529 priority patent/US12182322B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 측면에 따른 시선 추적을 이용한 시인성 개선 방법은, 카메라를 이용하여 사용자의 시선을 검출하는 과정과; 전자 장치의 디스플레이 유닛을 통해 보이는 적어도 하나의 객체 중에서 상기 사용자의 시선이 가리키는 주목 대상을 확인하는 과정과; 상기 주목 대상에 대응하며 상기 주목 대상보다 시인성이 높은 이미지를 상기 디스플레이 유닛을 통해 표시하는 과정을 포함한다.

Description

시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치{VISIBILITY IMPROVEMENT METHOD BASED ON EYE TRACKING, MACHINE-READABLE STORAGE MEDIUM AND ELECTRONIC DEVICE}
본 발명은 카메라에 의해 촬영된 이미지를 처리하는 방법에 관한 것으로서, 특히 사용자의 시선을 고려한 이미지 처리 방법에 관한 것이다.
종래에, 카메라를 이용한 시선 추적 기술의 발달로 사람의 시선을 추적하여 화면상의 주목된 물체를 확대 및 축소하거나 관련 정보를 물체 주변에 표시하는 등, 사람의 관심사에 맞춰 정보를 제공하는 기술이 개시되어 있다.
예를 들어, 사용자의 시선을 추적하여, 화면상의 특정한 부분을 주목하는 경우에, 상기 특정 부분을 확대 또는 축소하는 기술이 있다.
또한 예를 들어, 야구장에서 선수들을 바라보면 각 선수들에 대한 정보가 표시되거나, 유적지 등에서 유적에 대한 정보를 표시하는 것이 가능하다.
종래 기술에 있어서, 사용자가 특정한 영역을 주목하는 경우에 특정 영역의 확대 및 관련 텍스트 정보의 표시는 사용자에게 보다 상세한 정보를 제공하는데 목적이 있지만, 종래 기술의 경우 화면상의 이미지, 또는 얼굴에 부착한 카메라 등을 통해 사용자가 바라보고 있는 실제 환경에서 촬영한 이미지가 저해상도이거나, 주변 광량 부족으로 어둡거나 노출이 부족하여 선명하지 않을 때, 간판 등 보고자 하는 물체까지의 거리가 멀어 확대해도 사용자가 원하는 시각 정보를 제공하기에는 어려움이 있다.
또한, 텍스트로 대상 물체에 대한 정보를 표시하는 기술의 경우에는 시각 정보에서는 드러나지 않는 상세한 정보를 제공할 수 있는 장점이 있지만 실제 대상의 모습이나 색상 등 자세한 시각 정보는 제공하지 못하는 한계가 있다.
본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.
본 발명의 일 목적은, 기존의 이미지 확대 및 텍스트 정보 표시의 정보 제공 방식을 개선하기 위한 것으로, 시선을 추적하여 주목하는 대상을 판별한 후 이미지를 재처리하거나 관련된 이미지 등으로 대체하여 보다 시인성이 높은 이미지를 제공함으로써, 사용자가 편안하게 대상을 식별할 수 있고 사용자에게 보다 풍부한 시각 정보를 제공함에 있다.
본 발명의 일 측면에 따른 시선 추적을 이용한 시인성 개선 방법은, 카메라를 이용하여 사용자의 시선을 검출하는 과정과; 전자 장치의 디스플레이 유닛을 통해 보이는 적어도 하나의 객체 또는 투명한 디스플레이 등에 사용자의 시선의 연장선상에 있는 객체 중에서 상기 사용자의 시선이 가리키는 주목 대상을 확인하는 과정과; 상기 주목 대상에 대응하며 상기 주목 대상보다 시인성이 높은 이미지를 상기 디스플레이 유닛을 통해 표시하는 과정을 포함한다.
본 발명의 다른 측면에 따른 전자 장치는, 사용자의 눈을 촬영하는 카메라와; 적어도 하나의 객체를 표시하는 디스플레이 유닛과; 상기 촬영된 사용자의 눈에서 시선을 검출하고, 상기 적어도 하나의 객체 중에서 상기 사용자의 시선이 가리키는 주목 대상을 확인하고, 상기 주목 대상에 대응하며 상기 주목 대상보다 시인성이 높은 이미지를 상기 디스플레이 유닛을 통해 표시하는 제어부를 포함한다.
본 발명에 따르면, 시선을 추적하여 주목하는 대상을 판별한 후 이미지를 재처리하거나 관련된 이미지 등으로 대체하여 보다 시인성이 높은 이미지를 제공함으로써, 사용자가 편안하게 대상을 식별할 수 있고 사용자에게 보다 풍부한 시각 정보를 제공할 수 있다.
도 1은 본 발명의 제1 예에 따른 제1 전자 장치를 나타내는 개략적인 블록도,
도 2는 본 발명의 제1 예에 따른 제1 전자 장치의 전면 사시도를 나타낸 도면,
도 3은 본 발명의 제1 예에 따른 제1 전자 장치의 후면 사시도를 나타낸 도면,
도 4는 본 발명의 제2 예에 따른 제2 전자 장치를 외측에서 본 사시도,
도 5는 제2 전자 장치를 내측에서 본 사시도,
도 6은 제2 전자 장치의 회로 구성을 나타내는 도면,
도 7은 본 발명의 제1 예에 따른 시선 추적을 이용한 시인성 개선 방법을 나타내는 흐름도,
도 8은 사용자의 눈을 나타내는 도면,
도 9는 얼굴 표정에 근거한 주목 여부의 판단 방법을 설명하기 위한 도면,
도 10은 본 발명의 제1 예에 따른 주목 대상 검출 방법을 설명하기 위한 도면,
도 11은 본 발명의 제2 예에 따른 주목 대상 검출 방법을 설명하기 위한 도면,
도 12는 본 발명의 제3 예에 따른 주목 대상 검출 방법을 설명하기 위한 도면,
도 13은 본 발명의 제1 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면,
도 14는 본 발명의 제2 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면,
도 15는 본 발명의 제3 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면,
도 16은 본 발명의 제4 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면,
도 17은 서버의 구성을 나타내는 도면,
도 18 및 도 19는 본 발명의 제5 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면들,
도 20은 본 발명의 제6 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면,
도 21은 본 발명의 일 예에 따른 시인성 높은 이미지의 표시를 중단하는 방법을 설명하기 위한 도면,
도 22는 본 발명의 제2 예에 따른 시선 추적을 이용한 시인성 개선 방법을 나타내는 흐름도,
도 23은 본 발명의 제3 예에 따른 시선 추적을 이용한 시인성 개선 방법을 나타내는 흐름도,
도 24는 주목 대상의 변경을 설명하기 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에서 전자 장치는 임의의 장치일 수 있으며, 전자 장치는 휴대 단말, 이동 단말, 통신 단말, 휴대용 통신 단말, 휴대용 이동 단말 등으로 칭할 수 있다.
예를 들어, 전자 장치는 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다. 전자 장치는 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말이나 부착형 통신 단말로서 구현될 수 있다. 또한, 전자 장치는 플렉서블 장치, 플렉서블 디스플레이 장치, 투명 디스플레이 장치 등일 수 있다.
본 발명의 제1 예에 따른 전자 장치는 휴대폰이며, 이러한 전자 장치의 대표적인 구성에서 일부 구성 소자는 필요에 따라 생략되거나 변경될 수 있다.
도 1은 본 발명의 제1 예에 따른 제1 전자 장치를 나타내는 개략적인 블록도이고, 도 2는 본 발명의 제1 예에 따른 제1 전자 장치의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 제1 예에 따른 제1 전자 장치의 후면 사시도를 나타낸 도면이다.
도 1을 참조하면, 제1 전자 장치(100)는 제1 통신 모듈(120), 커넥터 등을 통해 외부 전자 장치(도시되지 아니함)와 연결될 수 있다. 외부 전자 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치, 와이파이 다이렉트(WiFi Direct) 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 제1 전자 장치(100)는 유선 또는 무선을 이용하여 다른 휴대 단말 또는 전자 장치, 예를 들어, 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC 및 서버 중의 하나와 연결될 수 있다.
도 1을 참조하면, 제1 전자 장치(100)는 적어도 하나의 터치 스크린(190)을 포함한다. 또한, 제1 전자 장치(100)는 제1 제어부(110), 제1 통신 모듈(120), 카메라 모듈(150), 제1 입/출력 모듈(160), 제1 센서 모듈(170) 및 제1 저장부(175)를 포함한다.
제1 제어부(110)는 CPU(111), 제1 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 제1 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 제1 전자 장치(100)에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
또한, 제1 제어부(110)는 제1 통신 모듈(120), 카메라 모듈(150), 제1 입/출력 모듈(160), 제1 센서 모듈(170), 제1 저장부(175) 및 터치 스크린(190)을 제어할 수 있다.
제1 제어부(110)는 터치 스크린(190) 상에 복수의 객체 또는 아이템이 표시된 상태에서 사용자의 손가락 등의 터치 가능한 사용자 입력 수단이 어느 하나의 객체를 터치하거나, 그에 접근하거나, 그에 근접하게 위치함에 따른 사용자 입력을 감지하고, 사용자 입력이 발생한 터치 스크린(190) 상의 위치에 대응하는 객체를 식별한다. 터치 스크린(190)을 통한 사용자 입력은 객체를 직접 터치하는 직접 터치 입력과, 미리 설정된 인식 거리 이내로 객체에 접근하지만 객체를 직접 터치하지 않는 간접 터치 입력인 호버링 입력 중의 하나를 포함한다. 본 발명에서 사용자 입력은, 터치 스크린(190)을 통한 사용자 입력 외에, 카메라 모듈(150)을 통한 제스처 입력, 버튼(161)을 통한 스위치/버튼 입력, 마이크(162)를 통한 음성 입력 등을 포함한다.
객체 또는 아이템(또는 기능 아이템)은 제1 전자 장치(100)의 터치 스크린(190) 상에 표시되거나, 표시될 수 있는 것으로서, 예를 들어, 이미지, 애플리케이션, 메뉴, 문서, 위젯, 사진, 동영상, 이메일, SMS 메시지 및 MMS 메시지 중 적어도 하나를 나타내며, 사용자 입력 수단에 의해 선택, 실행, 삭제, 취소, 저장 및 변경될 수 있다. 이러한 아이템은 버튼, 아이콘(또는 단축 아이콘), 썸네일 이미지 또는 단말에서 적어도 하나의 객체를 저장하고 있는 폴더를 포괄하는 의미로도 사용될 수 있다. 또한, 이러한 아이템은 이미지, 텍스트 등의 형태로 표시될 수 있다.
단축 아이콘은 각각의 애플리케이션 또는 제1 전자 장치(100)에서 기본적으로 제공되는 통화, 연락처, 메뉴 등의 빠른 실행을 위해 제1 전자 장치(100)의 터치 스크린(190) 상에 표시되는 이미지로서, 이를 실행하기 위한 명령 또는 선택이 입력되면 해당 애플리케이션을 실행한다.
제1 제어부(110)는 미리 설정된 아이템 또는 객체에 대해, 또는 미리 설정된 방식에 따라 사용자 입력 이벤트가 발생되면, 사용자 입력 이벤트에 대응하는 미리 설정된 프로그램 동작을 수행한다.
제1 전자 장치(100)는 성능에 따라 이동 통신 모듈(121), 무선랜 모듈(131), 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다.
이동 통신 모듈(121)은 제1 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 제1 전자 장치(100)가 외부 전자 장치와 연결되도록 할 수 있다. 이동 통신 모듈(121)은 제1 전자 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 통신사에 의해 제공되는 통신망을 거쳐 송/수신한다.
서브 통신 모듈(130)은 무선랜 모듈(131)과 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리 통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리 통신 모듈(132)을 모두 포함할 수 있다. 서브 통신 모듈(130)은 복수의 근거리 통신 모듈을 포함할 수도 있다.
무선랜 모듈(131)은 제1 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신 모듈(132)은 제1 제어부(110)의 제어에 따라 제1 전자 장치(100)과 외부 전자 장치 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
카메라 모듈(150)은 제1 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래시(153)를 더 포함할 수 있다. 제1 카메라(151)는 상기 제1 전자 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 제1 전자 장치(100)의 후면에 배치될 수 있다.
제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호(또는 디지털 이미지)로 변환하여 제1 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
제1 입/출력 모듈(160)은 적어도 하나의 버튼(161), 적어도 하나의 마이크(162), 적어도 하나의 스피커(163), 커넥터 중 적어도 하나를 포함할 수 있다.
버튼(161)은 상기 제1 전자 장치(100)의 하우징(또는 케이스)의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제1 제어부(110)의 제어에 따라 음성(voice) 또는 소리를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제1 제어부(110)의 제어에 따라 다양한 신호 또는 데이터(예를 들어, 무선 데이터, 방송 데이터, 디지털 오디오 데이터, 디지털 동영상 데이터 등)에 대응되는 소리를 제1 전자 장치(100)의 외부로 출력할 수 있다. 커넥터(도시되지 아니함)는 상기 제1 전자 장치(100)와 외부 전자 장치 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제1 제어부(110)는 커넥터에 연결된 유선 케이블을 통해 제1 전자 장치(100)의 제1 저장부(175)에 저장된 데이터를 외부 전자 장치로 전송하거나 외부 전자 장치로부터 데이터를 수신할 수 있다.
제1 센서 모듈(170)은 제1 전자 장치(100)의 상태 또는 주변 환경 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 제1 센서 모듈(170)은 사용자의 제1 전자 장치(100)에 대한 접근 여부를 검출하는 근접 센서, 제1 전자 장치(100) 주변의 빛의 양을 검출하는 조도 센서, 또는 제1 전자 장치(100)의 동작(예를 들어, 제1 전자 장치(100)의 회전, 제1 전자 장치(100)의 가속 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 제1 전자 장치(100)의 회전 운동을 검출하는 자이로스코프, 제1 전자 장치(100)의 가속 운동을 검출하는 가속도계, 지구 자기장을 이용해 제1 전자 장치(100)의 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter), GPS 모듈(157) 등의 적어도 하나의 센서를 포함할 수 있다.
또한, 제1 센서 모듈(170)은 제1 및 제2 생체 센서(171, 176)를 포함한다.
제1 생체 센서(171)는 제1 전자 장치(100)의 전면에 배치되며, 제1 생체 센서(171)는 제1 적외선 광원(172)과 제1 적외선 카메라(173)를 포함한다. 제1 적외선 광원(172)은 적외선을 출력하고, 제1 적외선 카메라(173)는 피사체로부터 반사된 적외선을 검출한다. 예를 들어, 제1 적외선 광원(172)은 행렬 구조의 LED 어레이로 구성될 수 있다.
예를 들어, 제1 적외선 카메라(173)는 적외선을 통과시키고 적외선 이외의 파장 대역을 차단하는 필터와, 필터를 통과한 적외선을 포커싱하는 렌즈계와, 렌즈계에 의해 형성된 광학 이미지를 전기적인 이미지 신호로 변환하여 출력하는 이미지 센서를 포함할 수 있다. 예를 들어, 이미지 센서는 행렬 구조의 PD 어레이로 구성될 수 있다.
제2 생체 센서(176)는 제1 전자 장치(100)의 후면에 배치되며, 제2 생체 센서(176)는 제1 생체 센서(171)와 동일한 구성을 가지며, 제2 적외선 광원(177)과 제2 적외선 카메라(178)를 포함한다.
GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)으로부터 전파를 수신하고, GPS 위성으로부터 제1 전자 장치(100)까지의 전파 도달 시간(Time of Arrival)을 이용하여 제1 전자 장치(100)의 위치를 산출할 수 있다.
제1 저장부(175)는 제1 제어부(110)의 제어에 따라 제1 통신 모듈(120), 카메라 모듈(150), 제1 입/출력 모듈(160), 제1 센서 모듈(170) 또는 터치 스크린(190)의 동작에 따라 입/출력되는 신호 또는 데이터를 저장할 수 있다. 제1 저장부(175)는 제1 전자 장치(100) 또는 제1 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
또한, 제1 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 시선 추적을 이용한 시인성 개선 방법과 관련된 데이터베이스들 또는 데이터, 제1 전자 장치(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 이미지들 등을 저장할 수 있다.
또한, 제1 저장부(175)는 본 발명에 따른 시선 추적을 이용한 시인성 개선 방법을 실행하기 위한 프로그램 및 관련 데이터를 저장할 수 있다.
제1 저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.
그리고, 제1 전자 장치(100)는 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 그래픽 인터페이스를 제공하는 적어도 하나의 터치 스크린(190)을 포함할 수 있다.
터치 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 유닛(예를 들어, 스타일러스 펜, 전자 펜)을 통해 적어도 하나의 사용자 입력을 수신할 수 있다.
터치 스크린(190)은 하나의 터치의 연속적인 움직임(즉, 드래그 입력)을 수신할 수도 있다. 본 발명에서 터치는 터치 스크린(190)과 손가락 또는 입력 유닛과의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(190)과의 직접 접촉 없이 사용자 입력 수단을 검출할 수 있는 인식 거리(예를 들어, 1cm) 이내에 사용자 입력 수단이 위치하는 경우)을 포함할 수 있다.
이러한, 터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 초음파(acoustic wave) 방식, EMR(Electromagnetic Resonance) 방식 또는 이들의 조합으로 구현될 수 있다.
도 2 및 도 3을 참조하면, 제1 전자 장치(100)의 전면(101) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 제1 전자 장치(100)의 전면(101)의 대부분을 차지하도록 크게 형성될 수 있다.
상기 터치 스크린(190)의 아래에는 홈 버튼(161a), 메뉴 버튼(161b), 뒤로 가기 버튼(161c) 등과 같은 터치 키들, 기계식 버튼들 또는 이들의 조합이 형성될 수 있다. 또한, 이러한 터치 키들은 상기 터치 스크린(190)의 일부로 구성될 수 있다.
홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다.
메뉴 버튼(161b)은 터치 스크린(190) 상에 표시될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 표시하거나, 가장 최근에 사용된 애플리케이션을 종료시키는 경우에 사용될 수 있다.
제1 전자 장치(100)의 전면(101)의 상측에는 제1 카메라(151), 조도 센서(170a), 근접 센서(170b) 및 제1 생체 센서(171)가 배치될 수 있다. 제1 전자 장치(100)의 후면(103)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163) 및 제2 생체 센서(176)가 배치될 수 있다.
제1 전자 장치(100)의 측면(102)에는 예를 들어 전원/잠금 버튼, 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)을 갖는 볼륨 버튼(161e), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다.
또한, 제1 전자 장치(100)의 하단 측면에는 커넥터가 형성될 수 있다. 커넥터에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다.
본 발명은 시선 추적을 이용한 시인성 개선 방법을 제공하며, 이러한 시선 추적을 이용한 시인성 개선 방법은 일반적인 터치 스크린 상의 객체, 투명 터치 스크린을 통해 보이는 주변 객체, 증강 현실, 헤드-마운티드 디스플레이(Head Mounted Display: HMD) 장치 등에 적용될 수 있다.
제1 제어부(110)는 제1 전자 장치(100)의 전반적인 동작을 제어하며, 제1 제어부(110)는 제1 전자 장치(100) 내 다른 구성 소자들을 제어하여 본 발명에 따른 시선 추적을 이용한 시인성 개선 방법을 수행한다.
도 4는 본 발명의 제2 예에 따른 제2 전자 장치를 외측에서 본 사시도이고, 도 5는 제2 전자 장치를 내측에서 본 사시도이다. 제2 예에 따른 제2 전자 장치(200)는 헤드-마운티드 디스플레이(Head Mounted Display: HMD)이다.
제2 전자 장치(200)는 전체적으로 안경의 외관을 가지며, 휴대 가능한 단말(또는 휴대 통신 단말)이며, 하우징(10)과, 하우징(10) 내에 실장된 회로를 포함한다.
하우징(10)은 좌측 눈 및 우측 눈에 각각 대응되는 제1 및 제2 윈도우(280, 285)가 고정되는 프론트 프레임(15)과, 제1 및 제2 힌지(22, 23)에 의해 내측으로 접거나 외측으로 펼칠 수 있는 제1 및 제2 템플 프레임(20, 21)을 포함한다. 이하, 좌측 눈 및 우측 눈은 제1 눈 및 제2 눈으로 칭할 수도 있다. 본 발명에서, 제1 및 제2 윈도우(280, 285)는 제1 및 제2 윈도우 패널이라고 칭할 수도 있다.
프론트 프레임(15)의 내측면에는 제3 카메라(260)가 배치되어 있고, 프론트 프레임(15)의 외측면에는 제4 카메라(265)가 배치되어 있으며, 제3 및 제4 카메라(260, 265)는 제1 및 제2 윈도우(280, 285) 사이의 프론트 프레임(15)의 부분(즉, 통상의 안경에서 브릿지에 해당)에 배치된다.
또한, 프론트 프레임(15)의 외측면에는 마이크(212)가 배치되어 있고, 또한 프론트 프레임(15)의 외측면에 터치 센서(250)가 배치되어 있다.
프론트 프레임(15)의 내측면에는 프론트 프레임(15) 내에 배치된 제1 프로젝터(270)로부터 출력되는 제1 투사 광(310)이 프론트 프레임(15)의 외부로 출력되는 통로가 되는 제1 개구(11)가 배치되어 있다. 또한, 프론트 프레임(15)의 내측면에는 프론트 프레임(15) 내에 배치된 제2 프로젝터(275)로부터 출력되는 제2 투사 광(320)이 프론트 프레임(15)의 외부로 출력되는 통로가 되는 제2 개구(12)가 배치되어 있다.
제1 템플 프레임(20)의 외측면에는 적어도 하나의 버튼(213)이 배치된다.
제1 및 제2 템플 프레임(20, 21)의 내측면에는 적어도 하나의 스피커(211)가 배치된다.
제1 프로젝터(270)는 제1 가상 이미지를 형성하기 위한 제1 투사 광(310)을 출력하고, 제1 프로젝터(270)로부터 출력되는 제1 투사 광(310)은 제1 윈도우(280)에 의해 집속 및 반사되고, 집속 및 반사된 제1 투사 광(312)은 사용자의 좌측 눈(330)의 망막에 제1 가상 이미지를 형성한다. 이때, 집속은 광을 모으는 것을 말하고, 광을 한 점에 모으는 수렴이나, 광의 빔 스팟을 감소시키는 것 등을 포함하는 의미이다. 바람직하게는, 반사된 제1 투사 광(312)은 좌측 눈(330)의 수정체 또는 동공에 수렴한다.
제2 프로젝터(275)는 제2 가상 이미지를 형성하기 위한 제2 투사 광(320)을 출력하고, 제2 프로젝터(275)로부터 출력되는 제2 투사 광(320)은 제2 윈도우(285)에 의해 집속 및 반사되고, 집속 및 반사된 제2 투사 광(322)은 사용자의 우측 눈(335)의 망막에 제2 가상 이미지를 형성한다. 바람직하게는, 집속 및 반사된 제2 투사 광(322)은 우측 눈(335)의 수정체 또는 동공에 수렴한다. 본 예에서, 2개의 프로젝터를 사용하는 것을 예시하고 있으나, 하나의 프로젝터만을 사용할 수도 있다.
이하의 설명에서, 제1 가상 이미지와 제2 가상 이미지는 좌측 눈 및 우측 눈에 각각 표시된다는 점을 제외하고는 서로 동일하나, 본 발명은 이에 한정되지 않고, 제1 가상 이미지와 제2 가상 이미지 중의 하나만을 표시할 수도 있다.
도 6은 제2 전자 장치의 회로 구성을 나타내는 도면이다. 제2 전자 장치(200)의 회로 구성은 제1 전자 장치(100)의 회로 구성과 유사하므로, 중복되는 설명은 생략하기로 한다.
제2 전자 장치(200)는 제2 입/출력 모듈(210)과, 제2 저장부(220)와, 제2 센서 모듈(225)과, 제2 통신 모듈(240)과, 터치 센서(250)와, 제3 및 제4 카메라(260, 265)와, 제1 및 제2 프로젝터(270, 275)와, 제1 및 제2 윈도우(280, 285)와, 제2 제어부(290)를 포함한다.
제2 입/출력 모듈(210)은 사용자 입력을 수신하거나, 사용자에게 정보를 알리거나, 외부로부터 데이터를 수신하거나, 외부로 데이터를 출력하기 위한 수단으로서, 적어도 하나의 스피커(211), 적어도 하나의 마이크(212), 적어도 하나의 버튼(213), 커넥터, 키패드 또는 이들의 조합을 포함할 수 있다.
하나의 마이크(212)가 프론트 프레임(15)의 외측면에 배치될 수 있다. 본 명세서에서, 신호는 데이터로 대체 표기될 수 있으며, 또한 데이터는 데이터 신호로도 표기할 수 있다.
버튼(213)은 사용자 입력을 수신하기 위해 제공되며, 제2 전자 장치(200)의 온/오프, 메뉴 항목 또는 아이템의 선택 및/또는 검색 등을 위해 사용된다. 버튼(213)은 제1 템플 프레임(120)의 외측면에 배치될 수 있다.
제2 센서 모듈(225)은 제2 전자 장치(100)의 상태 또는 주변 환경 상태를 검출하는 적어도 하나의 센서를 포함한다.
제2 통신 모듈(240)은 유선, 무선 또는 유/무선 통신부일 수 있으며, 제2 제어부(290)로부터의 데이터를 유선 또는 무선으로 외부 통신망 또는 대기를 통해 외부 전자 장치로 전송하거나, 외부 통신망 또는 대기를 통해 외부 전자 장치로부터 데이터를 유선 또는 무선으로 수신하여 제2 제어부(290)로 전달한다.
터치 센서(250)는 적어도 하나의 터치 입력에 대응되는 신호를 제2 제어부(290)로 전송할 수 있다. 제2 제어부(290)는 이러한 터치 입력 정보로부터 메뉴 항목 또는 아이템의 선택 또는 이동이나, 필기 입력 등의 사용자 입력 정보를 파악하고, 이러한 사용자 입력 정보에 대응하는 기능(전화 연결, 카메라 촬영, 메시지 작성/보기, 데이터 전송 등)을 수행한다.
제3 및 제4 카메라(260, 265)는 각각 렌즈계 및 이미지 센서를 포함하고, 플래쉬 등을 더 포함할 수 있다. 제3 및 제4 카메라(260, 265)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광을 전기적인 이미지 신호로 변환하여 제2 제어부(290)로 출력하고, 사용자는 이러한 카메라(260, 265)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
제2 제어부(290)는 카메라(260, 265)로부터 입력되는 이미지, 제2 저장부(220)에 저장된 이미지, 또는 제2 저장부(220)에 저장된 데이터를 이용하여 제2 제어부(290)에 의해 구성된 이미지를 프레임(frame) 단위로 처리하며, 제1 및/또는 제2 프로젝터(270, 275)의 화면 출력 특성(크기, 화질, 해상도 등)에 맞도록 변환된 이미지를 제1 및/또는 제2 프로젝터(270, 275)를 통해 외부로 출력한다.
제2 제어부(290)는 제1 및/또는 제2 프로젝터(270, 275)를 통해 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영 등)에 대응되는 이미지를 제공할 수 있다.
사용자는 주변 광에 의한 주변 풍경 이미지와 프로젝터(270, 275)로부터 입력된 광에 의한 가상 이미지가 중첩된 이미지를 보게 되며, 사용자에게 이러한 가상 이미지는 주변 풍경 위에 투명한 층이 겹쳐진 것처럼 보여질 수 있다.
제2 제어부(290)는 제2 전자 장치(200)의 전반적인 동작을 제어하며, 제2 전자 장치(200) 내 다른 구성 소자들을 제어하여 시선 추적을 이용한 시인성 개선 방법을 수행한다.
상기 제2 제어부(290)는 제2 센서 모듈(225), 제2 입/출력 모듈(210), 제3 또는 제4 카메라(260, 265), 또는 터치 센서(250)를 통해 입력되는 사용자 명령, 메뉴 항목 또는 아이콘 선택, 또는 이벤트 정보에 따라 제2 저장부(220)에 저장되어 있거나, 제2 통신 모듈(240)을 통해 수신되거나, 제2 저장부(220)에 저장된 데이터를 이용하여 제2 제어부(290)에 의해 구성된 이미지 데이터를 제1 및/또는 제2 프로젝터(270, 275)를 통해 사용자에게 표시할 수 있다. 이때, 상기 이미지는 정지 이미지 또는 동영상일 수 있다.
제2 저장부(220)는 제2 제어부(290)의 제어에 따라 신호 또는 데이터를 저장할 수 있다. 제2 저장부(220)는 제2 전자 장치(200) 또는 제2 제어부(290)를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
이하, 제1 전자 장치를 위주로 하여, 시선 추적을 이용한 시인성 개선 방법을 설명하기로 한다.
도 7은 본 발명의 제1 예에 따른 시선 추적을 이용한 시인성 개선 방법을 나타내는 흐름도이다.
S110 단계는 사용자 검출 단계로서, 제1 제어부(110)는 제1 카메라(151) 또는 제1 생체 센서(171)를 통해 사용자를 검출한다. 제1 제어부(110)는 제1 카메라(151)에 의해 촬영된 이미지 내에 포함된 피사체가 얼굴을 포함하는지의 여부를 판단할 수 있다.
예를 들어, 얼굴 인식은 통상의 얼굴 인식 방법을 이용하여 수행되는데, 제1 저장부(175)에 저장된 얼굴의 윤곽선, 얼굴 피부의 색상 및/또는 질감, 템플리트 등을 이용한 얼굴 인식 기술이 이용될 수 있다. 예를 들어, 제1 제어부(110)는 다수의 사용자의 얼굴 이미지들을 통해 얼굴 학습을 수행하고, 이러한 얼굴 학습에 근거하여 입력 이미지에서 얼굴을 인식할 수 있다. 이러한 얼굴 학습 정보는 제1 저장부(175)에 저장되어 있다.
또한, 제1 제어부(110)는 제1 카메라(151)로부터 입력된 이미지에서 제1 전자 장치(100)에 미리 등록된 사용자가 검출되는지의 여부를 판단할 수도 있다. 이러한 사용자의 등록은 사용자를 검출하기 위한 정보를 제1 저장부(175)의 데이터베이스에 저장함으로써 이루어진다. 이러한 등록된 사용자를 검출하기 위한 정보는 사용자의 얼굴 이미지, 사용자 얼굴 이미지의 특징점(또는 특징 이미지, 특징 패턴 등으로 지칭할 수도 있음) 정보 등을 포함할 수 있다. 이러한 특징점은 에지, 코너, 이미지 패턴, 외곽선 등일 수 있다.
예를 들어, 제1 제어부(110)는 등록된 사용자 이미지의 특징점들과 입력 이미지에서 검출된 특징점들의 매칭 과정을 수행함으로써, 입력 이미지의 사용자가 등록된 사용자인지의 여부를 결정할 수 있다.
또는, 제1 제어부(110)는 제1 생체 센서(171)에 의해 촬영된 이미지 내에 포함된 피사체가 생체를 포함하는지의 여부를 판단할 수 있다.
이러한 생체는 눈, 홍채, 얼굴, 혈관(정맥 등) 등을 포함할 수 있다.
도 8은 사용자의 눈을 나타내는 도면이다.
도 8의 (a)를 참조하면, 사용자의 눈(400)은 동공(410), 홍채(420) 및 공막(430)을 가지며, 제1 적외선 광원(172)은 사용자의 눈(400)에 적외선을 조사하고, 제1 적외선 카메라(173)는 사용자의 눈(400)을 촬영하여 눈 이미지를 출력한다.
예를 들어, 눈 인식은 통상의 눈 인식 방법을 이용하여 수행되는데, 제1 저장부(175)에 저장된 눈의 윤곽선, 템플리트 등을 이용한 눈 인식 기술이 이용될 수 있다. 예를 들어, 제1 제어부(110)는 다수의 사용자의 눈 이미지들을 통해 눈 학습을 수행하고, 이러한 눈 학습에 근거하여 입력 이미지에서 눈을 인식할 수 있다. 이러한 눈 학습 정보는 제1 저장부(175)에 저장되어 있다.
또한, 제1 제어부(110)는 제1 저장부(175)에 저장된 사용자의 홍채 정보(홍채 이미지, 특징점 정보 등)와 입력 이미지를 비교함으로써, 사용자의 홍채를 인식할 수 있고, 입력 이미지의 사용자가 등록된 사용자인지의 여부를 결정할 수 있다.
전술한 바와 마찬가지로, 제2 제어부(290)는 제3 카메라(260)를 통해 사용자를 검출할 수 있다.
S120 단계는 시선 검출 단계로서, 제1 제어부(110)는 입력 이미지에서 사용자의 시선을 검출한다. 제1 제어부(100)는 통상의 눈 추적(Eye Tracking) 기술을 이용하여 입력 이미지에서 사용자의 시선을 검출할 수 있다.
도 8의 (b)를 참조하면, 제1 제어부(100)는 동공(410)의 포즈(위치 및/또는 방향)로부터 사용자의 시선(또는 시선 방향)을 검출한다.
S130 단계는 주목 상태 확인 단계로서, 제1 제어부(110)는 사용자가 임의의 객체를 주목(또는 주시)하고 있는지의 여부를 판단한다. 예를 들어, 제1 제어부(110)는 입력 이미지 내 얼굴 표정, 시선 고정 시간 또는 동공(410)의 변화에 근거하여 사용자의 주목 여부를 판단할 수 있다.
도 9는 얼굴 표정에 근거한 주목 여부의 판단 방법을 설명하기 위한 도면이다.
도 9의 (a)는 사용자가 주목하고 있지 않은 상태의 얼굴 표정을 나타내며, 양 눈(400)과, 양 눈썹(440)과, 미간 부위(450)에 위치한 양 눈썹(440) 사이의 추미근(460)(눈썹주름근)과, 미간 부위(450)에 위치한 양 눈(400) 사이의 비근근(470)(눈살근)이 표시되어 있다.
도 9의 (b)는 사용자가 주목하고 있는 상태의 얼굴 표정을 나타내며, 사용자가 주목하는 경우에, 일반적으로 미간을 찌푸리게 되며, 이러한 미간 부위(450)의 근육 변화를 이용하여 주목 여부를 판단할 수 있다. 예를 들어, 사용자가 주목하는 경우, 추미근의 움직임에 따라 양 눈썹(440) 사이가 좁아지면서 미간에 주름(480)이 생기는 변화와 비근근의 움직임에 따라 코가 위로 당겨지면서 콧등 부분에 주름(480)이 생기는 변화가 발생한다.
또는, 제1 제어부(110)는 시선 고정 시간에 근거하여 주목 여부를 판단하며, 사용자의 시선이 검출되면, 미리 설정된 제한 시간(즉, 임계값에 해당)을 갖는 타이머를 설정한다. 예를 들어, 타이머의 제한 시간은 1초일 수 있고, 타이머는 1초부터 0초까지 카운트 다운을 수행하고, 타이머의 잔여 시간이 0초가 되면 타이머의 만료를 제어부(110)에 통지하거나, 제1 제어부(110)가 타이머의 만료를 감지할 수 있다. 또는, 타이머는 0초부터 경과 시간을 카운트하고, 경과 시간이 1초가 되면 타이머의 만료를 제1 제어부(110)에 통지하거나, 제1 제어부(110)가 타이머의 만료를 감지할 수 있다. 제1 제어부(110)는 타이머의 제한 시간 동안에 시선 변화가 없으면 사용자가 주목하고 있는 것으로 판단할 수 있다.
또는, 제1 제어부(110)는 사용자의 동공(410)의 변화를 통해 주목 여부를 판단하며, 주목할 때 동공(410)이 확장되는 현상을 이용하여 동공(410)의 변화로 주목 여부를 판단할 수 있다.
제1 제어부(110)는 사용자가 주목 상태인 경우에 S140 단계를 수행하고, 사용자가 주목 상태가 아닌 경우에 사용자의 주목 여부를 주기적 또는 연속적으로 모니터링한다.
S140 단계는 주목 대상/영역 검출 단계로서, 제1 제어부(110)는 사용자의 시선과 상면이 교차하는 영역(즉, 주목 영역)을 확인하고, 주목 영역에 위치하는 객체를 검출한다.
도 10은 본 발명의 제1 예에 따른 주목 대상 검출 방법을 설명하기 위한 도면이다. 본 예는 터치 스크린(190)이 불투명 터치 스크린인 경우를 예시한다.
상면(510)은 터치 스크린(190)의 화면 또는 표면이 되며, 사용자 눈(400)의 시선(440)과 상면(510)이 교차하는 영역이 주목 영역(520)이 된다. 제1 제어부(110)는 주목 영역(520) 내 객체(530)를 확인한다.
도 11은 본 발명의 제2 예에 따른 주목 대상 검출 방법을 설명하기 위한 도면이다. 본 예는 터치 스크린(190)이 불투명 터치 스크린인 경우를 예시한다.
제2 카메라(152)의 화각(620)에 의해 제한된 주변 풍경, 즉 제2 카메라(152)에 의해 촬영된 주변 풍경 영역의 이미지가 상면(630)이 되며, 사용자(610) 눈의 시선(612)과 상면(630)이 교차하는 영역이 주목 영역(640)이 된다.
도 12는 본 발명의 제3 예에 따른 주목 대상 검출 방법을 설명하기 위한 도면이다. 본 예는 제2 전자 장치(200)에서 주목 대상을 검출하는 경우를 예시한다. 주목 대상은 사람, 동물, 식물, 사물, 건물, 산 등 주변 풍경 내 임의의 객체를 포함한다.
제4 카메라(265)의 화각에 의해 제한된 주변 풍경(720), 즉 제4 카메라(265)에 의해 촬영된 주변 풍경 영역(720)의 이미지가 상면(730)이 되며, 사용자 눈(400)의 시선(440)과 상면(730)이 교차하는 영역이 주목 영역(732)이 된다. 제2 제어부(290)는 주변 풍경(720) 내 나무(722)에 대응되는 주목 영역(732) 내 나무 이미지(734)를 주목 대상으로 확인한다. 즉, 투명 윈도우(280, 285)에 사용자의 시선의 연장선상에 있는 영역 또는 객체가 주목 영역 또는 주목 대상이 된다. 다시 말해서, 투명 터치 스크린(190), 투명 윈도우(280, 285) 등과 같은 투명한 디스플레이에 사용자의 시선의 연장선상에 있는 영역 또는 객체가 주목 영역 또는 주목 대상이 된다.
S150 단계는 이미지 검색 및 표시 단계로서, 제1 제어부(110)는 주목 대상에 대응하는 시인성 높은 이미지를 검색하고, 검색된 이미지를 표시한다.
시인성이 높은 이미지는 고해상도(또는 고화질)의 이미지, 선명도를 높인 이미지, 벡터 그래픽스 이미지, 근거리에서의 이미지, 시간적으로 광량이 풍부할 경우에 촬영한 이미지(즉, 주변 조도가 높은 상태에서 촬영한 이미지) 등이 있다. 시인성 높은 이미지는 동일한 크기를 기준으로 상기 주목 대상보다 해상도, 선명도 또는 밝기가 높다.
제1 제어부(110)는 제1 저장부(175)에서 시인성 낮은 주목 대상에 대응하는 시인성 높은 이미지를 검색할 수 있으며, 예를 들어, 제1 제어부(110)는 이미지 매칭 과정을 통해 제1 저장부(175)에 저장된 시인성 높은 이미지를 확인할 수 있다.
또는, 제1 제어부(110)는 시인성 높은 이미지를 외부의 서버로부터 검색할 수 있다. 예를 들어, 제1 제어부(110)는 시인성 낮은 주목 대상을 포함하는 이미지(또는 이미지와 주목 대상의 위치 정보) 및/또는 주목 대상 관련 정보를 서버로 전송하고, 서버로부터 검색된 시인성 높은 이미지를 수신할 수도 있다. 이러한 주목 대상 관련 정보는 주목 대상을 촬영한 시점의 제1 전자 장치(100)의 위치 정보, 자세(또는, 방위 내지는 방향) 정보, 이미지 출처 정보(이미지 관련 프로그램, 이미지를 다운로드한 웹 주소 등) 등을 포함할 수 있다.
도 13은 본 발명의 제1 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면이다.
도 13의 (a)을 참조하면, 사용자의 눈(400)은 터치 스크린(190)에 표시된 썸네일 이미지(810)에 주목하고 있다.
도 13의 (b)는 본 발명의 비교예로서, 해상도가 낮은 썸네일 이미지를 확대한 이미지(812)를 나타낸다.
도 13의 (c)를 참고하면, 제1 제어부(110)는 썸네일 이미지(810)의 관련 정보(즉, 원본 이미지의 위치 정보)를 확인하고, 터치 스크린(190)에 확대된 원본 이미지(814)를 표시한다.
도 13의 (b)와 같이, 해상도가 낮은 썸네일 이미지를 확대하면, 선명하지 않은 저화질의 이미지(812)가 표시되는 반면에, 도 13의 (c)와 같이, 썸네일 이미지과 연관된 원본 이미지를 사용함으로써 선명한 고화질의 이미지(814)를 표시할 수 있다.
도 14는 본 발명의 제2 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면이다.
도 14의 (a)를 참고하면, 제1 전자 장치(100)의 터치 스크린(190)에는 탁자 위에 놓인 제1 내지 제3 박스(830, 832, 834)를 촬영한 이미지(820)가 도시되어 있다. 제1 제어부(110)는 사용자의 시선에 근거하여 제1 박스(830)를 포함하는 주목 영역(840)을 확인한다.
도 14의 (b)를 참고하면, 제1 제어부(110)는 주목 영역 이미지(840)를 서버로 전송한다.
도 14의 (c)를 참고하면, 제1 제어부(110)는 서버로부터 주목 영역 내 제1 박스에 대한 시인성 높은 이미지(832)를 수신하고, 터치 스크린(190)에는 시인성 높은 이미지(832)가 표시된다.
도 15는 본 발명의 제3 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면이다.
도 15의 (a)를 참고하면, 제1 전자 장치(100)의 터치 스크린(190)에는 새를 촬영한 선명도가 낮은 이미지(850)가 도시되어 있다. 제1 제어부(110)는 사용자의 시선에 근거하여 시인성 낮은 이미지(850)를 주목 대상으로서 확인한다.
도 15의 (b)를 참고하면, 제1 제어부(110)는 주목 대상에 대응하는 시인성 높은 이미지를 검색할 수 없는 경우에, 이미지 필터링 또는 시각 효과 적용을 통해 선명도 높은 이미지를 생성하고, 생성된 선명도 높은 이미지(852)를 터치 스크린(190)에 표시한다.
또한 촬영시 사용한 카메라의 파라메터를 조정하는 것이 가능하다. 예를 들어 새 주변의 광량이 많거나 어두운 경우 카메라 조리개나 화이트 밸런스 수치에 의해 주목하는 대상이 제대로 찍히지 않는 경우 주목하는 대상을 확인 후 주목하는 대상을 중심으로 카메라의 파라메터를 조정하여 시인성이 높은 이미지를 표시한다.
도 16은 본 발명의 제4 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면이다.
도 16의 (a)을 참조하면, 사용자는 터치 스크린(190)에 표시된 글자(870)에 주목하고 있고, 제1 제어부(110)는 사용자의 시선에 근거하여 주목 영역(860)을 확인하고, 크기가 작아서 시인성이 낮은 글자(870)를 주목 대상으로서 확인한다.
도 16의 (b)는 본 발명의 비교 예로서, 크기가 작은 글자를 나타내는 래스터 그래픽스 이미지 또는 비트맵 이미지를 확대한 경우에, 확인하기 어려운 이미지(872)가 생성됨을 나타낸다.
도 16의 (c)을 참조하면, 제1 제어부(110)는 비트맵 이미지 내 주목 대상인 글자를 통상의 문자 인식 방법을 이용하여 인식하고, 주목 대상에 대응하는 벡터 이미지를 제1 저장부(175)에서 검색하며, 검색된 벡터 이미지(874)를 확대하여 표시한다. 또한, 주목 대상인 글자가 벡터 이미지인 경우에 글자 크기를 증가시켜서 표시할 수 있다.
도 17은 서버의 구성을 나타내는 도면이다.
서버(900)는 제3 통신 모듈(920), 제3 저장부(930) 및 제3 제어부(910)를 포함한다.
제3 통신 모듈(920)은 제1 전자 장치(100) 또는 제2 전자 장치(200)와의 유선 또는 무선 통신을 수행한다.
제3 저장부(930)는 제1 또는 제2 전자 장치(100, 200)가 시인성 높은 이미지를 표시하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 상기 프로그램의 업데이트 정보, 이미지 데이터베이스, 스트리트 파노라마 데이터베이스, 2차원 맵 등을 포함한다.
스트리트 파노라마 데이터베이스는 서로 다른 다수의 위치들과 맵핑된 스트리트 뷰 이미지들을 포함한다. 스트리트 파노라마 데이터베이스는 맵 데이터베이스로서 도시 또는 거리를 카메라로 촬영한 실사 이미지로 이루어진 실사 3차원 맵을 저장한다. 여기서 실사 3D 맵이란 차량 또는 항공기 등을 이용하여 실제 거리를 촬영하고, 상기 촬영된 실사를 이용하여 구현된 3D 맵을 의미한다. 이러한 실사 3D 맵은 차량에 장착된 스트레오 카메라를 이용하여 도시 또는 거리를 촬영함으로써 촬영된 영상 내에 포함된 객체들의 3차원 좌표(x축, y축, z축 좌표들)뿐만 아니라 상기 촬영에 사용된 카메라와 상기 객체들간의 거리에 대응하는 뎁스(depth) 정보를 얻을 수 있다. 또한, 이러한 실사 3D 맵은 항공기를 이용하여 넓은 지역에 대한 다수의 2차원 영상들을 촬영하고, 촬영된 영상들 중 인접한 2개의 2D 영상간의 겹치는 영역에서 뎁스(depth) 정보를 추출하고 3차원 매핑(mapping)을 통한 3차원 모델링에 의하여 구현될 수도 있다. 또한 상기 실사 3D 맵에 포함된 각 오브젝트들을 다수의 3차원 정보 및 뎁스 정보를 갖게 된다. 예를 들어 상기 각 오브젝트를 표시하는 다수의 픽셀(pixel)들 각각이 3차원 정보 및 뎁스 정보를 가질 수 있다. 이에 따라 상기 실사 3D 맵은 특정 빌딩의 위치뿐만 아니라 상기 특정 빌딩의 전면, 후면, 측면들과 같은 빌딩의 윤곽을 구분할 수 있고, 또한 상기 빌딩의 각 층을 구분할 수 있다. 이와 대조적으로, 기존 2D 맵에서는 단순히 GPS 정보만을 이용하였기 때문에 특정 건물에 대해서는 하나의 위치 정보만을 제공하였을 뿐, 특정 건물의 전면, 후면 또는 각 층을 세부적으로 구분하지 못하였다는 점에 실사 3D 맵과 차이가 있다.
제3 제어부(910)는 제1 또는 제2 전자 장치(100, 200)의 요청 또는 자동으로 프로그램 또는 업데이트 정보를 상기 제1 또는 제2 전자 장치(100, 200)로 전송한다.
또한, 제3 제어부(910)는 제1 또는 제2 전자 장치(100, 200)로부터 수신한 주목 대상 이미지(및/또는 관련 정보)와 이미지 데이터베이스 또는 스트리트 파노라마 데이터베이스에 저장된 이미지를 매칭하고, 매칭된 시인성 높은 이미지를 제1 또는 제2 전자 장치(100, 200)로 전송한다. 제3 제어부(910)는 제1 또는 제2 전자 장치(100, 200)로부터 수신한 주목 대상 관련 정보를 이용하여 매칭 속도 및 정확도를 향상시킬 수 있다. 각 데이터베이스는 이미지 외에 이와 대응되는 위치, 자세(방위) 등을 포함하는 위치 정보, 이미지 출처 정보(이미지 관련 프로그램, 이미지를 다운로드한 웹 주소 등) 등을 저장할 수 있다.
전술한 예들에서 제1 전자 장치(100)를 위주로 설명하였으나, 본 발명의 예들은 제1 또는 제2 전자 장치(100, 200)에 동일 또는 유사하게 적용될 수 있다. 이하, 제2 전자 장치(200)를 이용한 시인성 높은 이미지를 표시하는 방법의 다른 예들을 예시하자면 아래와 같다.
도 18 및 도 19는 본 발명의 제5 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면들이다.
사용자의 시선 방향에 복수의 주목 대상들이 존재하는 경우, 또는 하나의 주목 대상이 존재하는 경우에, 제2 제어부(290)는 사용자의 명령에 따라 사용자의 시점을 가상으로 이동할 수 있다. 이러한 시점 이동은 전술한 예들에서 주목 대상의 확대 표시에 대응되나, 또한 주목 대상의 축소에 대응될 수도 있다.
도 18의 (a)를 참조하면, 사용자 눈(1010)의 시선 방향(1020)에 제1 및 제2 주목 대상(1030, 1040)이 존재하는 경우에, 제2 제어부(290)는 사용자와 가까운 제1 주목 대상(1030)에 대한 시인성 높은 이미지를 표시하나, 사용자의 명령에 따라 가상 시점을 시선 방향을 따라 전후로 이동시킬 수 있다.
도 18의 (b)는 사용자가 제2 전자 장치(200)의 제2 윈도우(285)를 통해 제1 및 제2 주목 대상(1030, 1040)을 보는 것을 나타낸다.
도 19의 (a)는 사용자와 제1 주목 대상(1030) 사이의 제1 가상 시점(1012)에서의 확대된 제1 주목 대상(1032)(즉, 시인성 높은 이미지)이 제2 윈도우(285)를 통해 표시된다. 이와 마찬가지로, 제1 윈도우(280)를 통해서도 확대된 제1 주목 대상이 표시된다.
도 19의 (b)는 제1 주목 대상(1030) 및 제2 주목 대상(1040) 사이의 제2 가상 시점(1014)에서의 확대된 제2 주목 대상(1042)(즉, 시인성 높은 이미지)이 제2 윈도우(285)에 표시된다.
제2 제어부(290)는 주목 대상의 이미지 및 관련 정보(제2 전자 장치(200)의 위치 정보, 자세(또는, 방위 내지는 방향) 정보)를 서버(900)로 전송하고, 서버(900)로부터 수신한 시인성 높은 주목 대상의 이미지를 수신하여 사용자에게 표시할 수 있다. 이러한 가상 시점의 전환은 사용자의 명령(음성, 손짓, 터치)에 따라 수행될 수 있다. 또한 사용자의 표정 변화 (주목을 유지하는 경우 먼 곳의 물체 이미지 제공 등)에 의해 제공하는 이미지를 전환하는 것이 가능하다.
도 24는 주목 대상의 변경을 설명하기 위한 도면이다.
제 2 윈도우(285)에 시인성 높은 이미지를 표시할 때 검출된 시선의 각도 오차에 의해 사용자의 의도와는 다른 위치에 있는 이미지를 표시하는 경우가 생길 수 있다. 시인성 높은 이미지를 표시할 때 사용자의 시선 이동을 검출하여 주목 대상을 변경함으로써 사용자의 의도에 맞는 이미지를 표시할 수 있도록 할 수 있다.
도 24의 (a)를 참조하면, 사용자의 시선(1072)이 실제로는 제2 물체(1060)를 향하고 있는데, 주목 대상 판별시 오차에 의해 사용자의 시선(1071)이 제1 물체(1050)를 향하고 있는 것으로 잘못 판단될 수 있다.
도 24의 (b)를 참조하면, 제2 제어부(290)는 사용자가 제1 물체(1050)를 주목하고 있는 것으로 잘못 측정함으로써, 제1 물체(1050)의 시인성 높은 이미지(1052)를 제 2 윈도우(285)의 중앙에 표시한다.
이후, 제2 제어부(290)는 사용자의 시선을 추적하여 사용자의 시선(1073)이 제2 물체(1060)의 시인성 높은 이미지(1062)를 향하고 있음을 확인하고, 주목 대상을 변경한다.
도 24의 (c)를 참조하면, 제2 제어부(290)는 주목 대상을 변경하고, 제2 물체(1060)의 시인성 높은 이미지(1062)를 제 2 윈도우(285)의 중앙에 표시한다.
본 예에서는, 사용자의 시선을 추적하여 제공한 이미지에서 사용자가 재차 주목하고 있는 대상을 중심으로 제공 대상 이미지를 보정하고 있으나, 이러한 시선 감지 외에도 사용자의 명령(손짓, 음성, 터치 등)에 따라 제공한 이미지의 세부 조정이 가능하다.
도 20은 본 발명의 제6 예에 따른 시인성 높은 이미지를 표시하는 방법을 설명하기 위한 도면이다.
도 20의 (a)는 사용자(1010)가 주변이 어두운 밤에 제2 전자 장치(200)의 제2 윈도우(285)를 통해 어두운 주목 대상(1040)을 보는 것을 나타낸다.
도 20의 (b)를 참고하면, 주목 대상(1040)의 확대된 밝은 이미지(1044)(즉, 시인성 높은 이미지)가 제2 윈도우(285)에 표시된다.
제2 제어부(290)는 주목 대상(1040)의 이미지 및 관련 정보(제2 전자 장치(200)의 위치 정보, 자세(또는, 방위 내지는 방향) 정보)를 서버(900)로 전송하고, 서버(900)로부터 수신한 시인성 높은 주목 대상의 이미지(1044)를 수신하여 사용자에게 표시할 수 있다.
전술한 예들에서, 시인성 높은 이미지를 사용자에게 표시한 이후, 이전 화면으로의 복귀는 주목 상태의 해제에 의해 수행될 수 있다. 예를 들어, 제어부(110, 290)는 사용자의 시선이 변경된 경우, 찌푸린 표정이 풀린 경우 등과 같이 사용자가 해당 객체를 더 이상 주목하지 않을 때 시인성 높은 이미지를 표시하기 직전의 화면을 표시할 수 있다. 투명 터치 스크린이나 제2 전자 장치(200)의 경우에, 제어부(110, 290)는 시인성 높은 이미지의 표시를 중단할 수 있다.
도 21은 본 발명의 일 예에 따른 시인성 높은 이미지의 표시를 중단하는 방법을 설명하기 위한 도면이다.
도 21의 (a)는 터치 스크린(190)에 시인성 높은 이미지인 확대된 웹페이지(1110)가 표시된 것을 나타낸다.
도 21의 (b)를 참고하면, 사용자(1120)가 '후'라는 입김(1122)을 불면, 제1 제어부(110)는 시인성 높은 이미지를 표시하기 직전의 화면, 즉 확대되기 이전의 웹페이지(1112)를 표시한다. 제1 제어부(110)는 입김이 마이크(162)를 지날 때의 마찰음을 이용하여 주목 상태의 해제 여부를 판단할 수 있다.
전술한 예에서는, 제어부(110, 290)는 사용자가 임의의 객체를 주목(또는 주시)하고 있는지의 여부를 판단하였으나, 이러한 주목 여부는 얼굴 표정, 시선 고정 시간뿐만 아니라, 사용자의 직접적인 명령에 의해 판단될 수도 있다. 이는 주목 여부의 판단 대신에 사용자 명령이 수신되는지의 여부를 판단하는 것으로도 볼 수 있다.
도 22는 본 발명의 제2 예에 따른 시선 추적을 이용한 시인성 개선 방법을 나타내는 흐름도이다.
S210 단계는 사용자 검출 단계로서, 제1 제어부(110)는 제1 카메라(151) 또는 제1 생체 센서(171)를 통해 사용자를 검출한다. 제1 제어부(110)는 제1 카메라(151) 또는 제1 생체 센서(171)에 의해 촬영된 이미지 내에 포함된 피사체가 얼굴 또는 생체를 포함하는지의 여부를 판단할 수 있다.
S220 단계는 시선 검출 단계로서, 제1 제어부(110)는 입력 이미지에서 사용자의 시선을 검출한다.
S230 단계는 사용자 명령 확인 단계로서, 제1 제어부(110)는 사용자 명령이 수신되는지의 여부를 판단한다.
이러한 명령은 음성, 터치 또는 물리적인 키/버튼 입력, 사용자 제스쳐, 제1 전자 장치(100)의 모션, 사용자의 표정, 사용자의 입김, 뇌파 등 사용자의 의도를 전달하는 모든 수단을 통해 이루어질 수 있다.
예를 들어, 사용자는 "확대", "축소", "밝게" 등의 음성 명령을 입력할 수 있으며, 제1 제어부(110)는 마이크(162)를 통해 음성 명령을 수신할 수 있고, 시인성 높은 이미지를 확대, 축소 또는 밝게 하여 표시할 수 있다. 축소의 경우에, 제1 제어부(110)는 시인성 높은 이미지를 해당 객체보다 작게 표시하거나, 이미 표시되어 있는 시인성 높은 이미지를 축소하여 표시할 수 있다. 확대의 경우에도, 제1 제어부(110)는 이미 표시되어 있는 시인성 높은 이미지를 추가 확대하여 표시할 수 있다.
예를 들어, 제1 제어부(110)는 터치 스크린(190)에 시인성 높은 이미지의 표시를 나타내는 버튼을 표시하거나, 물리적인 키들인 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)에 "확대" 및 "축소" 기능을 맵핑할 수 있다.
예를 들어, 제2 제어부(200)는 제4 카메라(265)를 통해 미리 설정된 제스쳐가 검출되는지의 모니터링할 수 있다. 이러한 제스쳐의 예들은, 윈도우(280, 285)를 투과하여 보이는 객체를 손가락으로 가리키는 동작에 의한 주목 대상의 지정, 손가락의 핀치 동작(오므리거나 펴는 동작)을 통한 주목 대상의 확대 및 축소, 손가락을 전후로 움직이는 동작(손가락이 제2 전자 장치(200)에 가까워지거나 멀어지는 동작)에 의한 가상 시점의 이동을 포함한다.
예를 들어, 사용자는 제1 전자 장치(100)를 전후로 움직이거나, 기울이는 동작을 취할 수 있으며, 제1 제어부(110)는 제1 센서 모듈(170)을 통해 제1 전자 장치(100)의 움직임을 감지할 수 있다. 제1 제어부(110)는 제1 전자 장치(100)가 전방으로(즉, 사용자와 대면하는 방향) 이동하거나 기울어지는 경우에 시인성 높은 이미지를 확대하여 표시하고, 제1 전자 장치(100)가 후방으로(즉, 사용자와 멀어지는 방향) 이동하거나 기울어지는 경우에 시인성 높은 이미지를 축소하여 표시할 수 있다.
예를 들어, 제1 제어부(110)는 사용자가 얼굴을 찌푸리는 정도에 따라 시인성이 높은 이미지의 확대 정도를 결정할 수 있다. 또는, 이미 시인성이 높은 이미지가 표시되어 있는 경우에, 제1 제어부(110)는 사용자가 얼굴을 더 찌푸리면 시인성이 높은 이미지를 추가 확대하고, 찌푸린 얼굴을 풀면 시인성이 높은 이미지를 축소할 수 있다.
제2 제어부(290)는 얼굴을 찌푸리는 정도에 따라 가상 시점의 위치를 결정하거나, 이미 시인성이 높은 이미지가 표시되어 있는 경우에, 제2 제어부(290)는 사용자가 얼굴을 더 찌푸리면 가상 시점을 보다 가깝게 또는 보다 멀리 이동시킬 수 있다.
제1 제어부(110)는 사용자 명령을 수신한 경우에 S240 단계를 수행하고, 사용자 명령을 수신하지 못한 경우에 사용자 명령의 수신 여부를 주기적 또는 연속적으로 모니터링한다.
S240 단계는 주목 대상/영역 검출 단계로서, 제1 제어부(110)는 사용자의 시선과 상면이 교차하는 영역(즉, 주목 영역)을 확인하고, 주목 영역에 위치하는 객체를 검출한다.
S250 단계는 이미지 검색 및 표시 단계로서, 제1 제어부(110)는 주목 대상에 대응하는 시인성 높은 이미지를 검색하고, 검색된 이미지를 표시한다. 이때, 제1 제어부(110)는 S230 단계의 사용자 명령에 따라 검색된 이미지를 표시할 수 있다.
도 23은 본 발명의 제3 예에 따른 시선 추적을 이용한 시인성 개선 방법을 나타내는 흐름도이다.
S310 단계는 사용자 명령 수신 단계로서, 제어부(110)는 음성, 터치 또는 물리적인 키/버튼 입력, 사용자 제스쳐, 제1 전자 장치(100)의 모션, 사용자의 표정, 사용자의 입김, 뇌파 등 사용자의 의도를 전달하는 임의의 수단을 통해 사용자 명령을 수신한다.
S320 단계는 사용자 검출 단계로서, 제1 제어부(110)는 제1 카메라(151) 또는 제1 생체 센서(171)를 통해 사용자를 검출한다.
S330 단계는 시선 검출 단계로서, 제1 제어부(110)는 입력 이미지에서 사용자의 시선을 검출한다.
S340 단계는 주목 대상/영역 검출 단계로서, 제1 제어부(110)는 사용자의 시선과 상면이 교차하는 영역(즉, 주목 영역)을 확인하고, 주목 영역에 위치하는 객체를 검출한다.
S350 단계는 이미지 검색 및 표시 단계로서, 제1 제어부(110)는 주목 대상에 대응하는 시인성 높은 이미지를 검색하고, 검색된 이미지를 표시한다. 이때, 제1 제어부(110)는 S310 단계의 사용자 명령에 따라 검색된 이미지를 표시할 수 있다.
전술한 예들에서, 화면을 표시하는 디스플레이 유닛의 대표적인 예로 터치 스크린을 예시하고 있으나, 터치 스크린 대신에 터치 감지 기능이 없는 액정표시장치(Liquid Crystal Display: LCD), 유기발광다이오드(Organic Light Emitting Diodes: OLED), LED 등과 같은 통상의 디스플레이 유닛 또는 투명 디스플레이를 사용할 수도 있다.
또한, 제2 전자 장치(200)에 있어서, 제1 및 제2 윈도우(280, 285)는 디스플레이 유닛(들) 또는 투명 디스플레이로 볼 수 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 전자 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
100: 전자 장치, 110: 제어부, 120: 통신 모듈, 130: 서브 통신 모듈, 140: 멀티미디어 모듈, 150: 카메라 모듈, 157: GPS 모듈, 160: 입/출력 모듈, 168: 입력 유닛, 170; 센서 모듈, 175: 저장부, 180: 전원 공급부, 190: 터치스크린, 195: 터치스크린 컨트롤러

Claims (20)

  1. 전자 장치의 시선 추적을 이용한 시인성 개선을 위한 제어 방법에 있어서,
    상기 전자 장치의 디스플레이 상에 제 1 이미지를 표시하는 단계;
    상기 제 1 이미지가 상기 전자 장치의 상기 디스플레이 상에 표시되는 동안, 상기 전자 장치의 카메라를 이용하여 사용자의 시선을 획득하는 단계;
    상기 사용자의 시선의 유지 시간에 기초하여, 상기 제 1 이미지의 제 1 부분을 판단하는 단계;
    서버로부터, 상기 제 1 이미지의 상기 제 1 부분에 기초하여, 상기 제 1 이미지의 상기 제 1 부분 보다 더 높은 시인성을 가지는 제 2 부분을 갖는 제 2 이미지를 수신하는 단계; 및
    상기 서버로부터 수신된 더 높은 시인성을 갖는 상기 제 2 부분을 갖는 상기 제 2 이미지를 상기 전자 장치의 상기 디스플레이 상에 표시하는 단계;를 포함하고,
    상기 제 1 이미지의 상기 제 1 부분 보다 더 높은 시인성을 갖는 상기 제 2 이미지가 갖는 상기 제 2 부분은 상기 제 1 부분의 해상도 보다 더 높은 해상도, 상기 제 1 부분의 선명도 보다 더 높은 선명도, 및 상기 제 1 부분의 밝기 보다 더 높은 밝기 중 적어도 하나를 가지고,
    상기 제어 방법은:
    상기 전자 장치의 디스플레이 상에 상기 제 2 이미지가 표시되는 동안, 상기 사용자의 시선에 기초하여 상기 사용자의 가상 시점의 이동을 판단하는 단계;를 더 포함하고,
    상기 더 높은 시인성을 갖는 상기 제 2 이미지가 갖는 상기 제 2 부분은 거리 또는 도시를 촬영함으로써 획득되는 실제 이미지인 것을 특징으로 하는 제어 방법.
  2. 제1항에 있어서,
    상기 제 1 이미지는 거리 또는 도시를 촬영함으로써 획득되고,
    상기 제 1 이미지 및 상기 제 2 이미지는 상기 서버의 지도 데이터베이스로부터 획득되는, 제어 방법.
  3. 제1항에 있어서,
    상기 카메라를 이용하여 상기 사용자의 눈을 검출하는 단계;를 더 포함하고,
    상기 사용자의 시선은 상기 사용자의 눈의 동공의 위치에 기초하여 검출되는 제어 방법.
  4. 제1항에 있어서,
    상기 사용자가 상기 디스플레이 상에 표시되는 상기 제 1 이미지의 상기 제 1 부분을 주목하고 있는지의 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  5. 제4항에 있어서,
    상기 사용자가 상기 제 1 이미지의 상기 제 1 부분을 주목하고 있는지 여부는 상기 사용자의 얼굴 표정 또는 동공의 변화에 기초하여 판단되는 것을 특징으로 하는, 제어 방법.
  6. 제1항에 있어서,
    상기 제 2 이미지의 상기 제 2 부분이 확대되고, 상기 제 2 이미지의 상기 제 2 분의 확대된 정도는 상기 사용자의 얼굴의 찡그린 정도에 기초하거나, 또는
    상기 사용자의 가상 시점은 상기 사용자의 얼굴의 상기 찡그린 정도에 기초하여 판단되는, 제어 방법.
  7. 제1항에 있어서,
    상기 사용자의 명령을 수신하는 단계;를 더 포함하고,
    상기 사용자의 시선의 획득은 상기 사용자의 명령에 기초하는, 제어 방법.
  8. 제1항에 있어서,
    상기 사용자의 명령을 수신하는 단계;를 더 포함하고,
    상기 제 1 이미지의 상기 제 1 부분의 판단은 상기 사용자의 명령에 기초하는, 제어 방법.
  9. 삭제
  10. 전자 장치에 있어서,
    카메라;
    디스플레이;
    통신 인터페이스;
    명령들을 저장하는 적어도 하나의 메모리; 및
    상기 저장된 명령들의 적어도 일부를 실행하도록 설정된 적어도 하나의 프로세서;를 포함하고, 상기 명령들은 상기 적어도 하나의 프로세서가:
    제 1 이미지를 표시하도록 상기 디스플레이를 제어하고,
    상기 제 1 이미지가 상기 디스플레이 상에 표시되는 동안, 사용자의 시선을 획득하도록 상기 카메라를 제어하고,
    상기 사용자의 시선의 유지 시간에 기초하여, 상기 제 1 이미지의 제 1 부분을 판단하고,
    서버로부터, 상기 제 1 이미지의 상기 제 1 부분에 기초하여, 상기 제 1 이미지의 상기 제 1 부분 보다 더 높은 시인성을 가지는 제 2 부분을 갖는 제 2 이미지를 수신하도록 상기 통신 인터페이스를 제어하고,
    상기 서버로부터 수신된 더 높은 시인성을 갖는 상기 제 2 부분을 갖는 상기 제 2 이미지를 표시하도록 상기 디스플레이를 제어하도록 설정되고,
    상기 제 1 이미지의 상기 제 1 부분 보다 더 높은 시인성을 갖는 상기 제 2 이미지가 갖는 상기 제 2 부분은 상기 제 1 부분의 해상도 보다 더 높은 해상도, 상기 제 1 부분의 선명도 보다 더 높은 선명도, 및 상기 제 1 부분의 밝기 보다 더 높은 밝기 중 적어도 하나를 가지고,
    상기 적어도 하나의 프로세서는:
    상기 전자 장치의 디스플레이 상에 상기 제 2 이미지가 표시되는 동안, 상기 사용자의 시선에 기초하여 상기 사용자의 가상 시점의 이동을 판단하도록 더 설정되고,
    상기 더 높은 시인성을 갖는 상기 제 2 이미지가 갖는 상기 제 2 부분은 거리 또는 도시를 촬영함으로써 획득되는 실제 이미지인 것을 특징으로 하는 전자 장치.
  11. 제10항에 있어서,
    상기 제 1 이미지는 거리 또는 도시를 촬영함으로써 획득되고,
    상기 제 1 이미지 및 상기 제 2 이미지는 상기 서버의 지도 데이터베이스로부터 획득되는, 전자 장치.
  12. 제10항에 있어서, 상기 명령들은 상기 적어도 하나의 프로세서가:
    상기 사용자의 눈을 검출하도록 상기 카메라를 제어하도록 더 설정되고,
    상기 사용자의 시선은 상기 사용자의 눈의 동공의 위치에 기초하여 검출되는, 전자 장치.
  13. 제10항에 있어서, 상기 명령들은 상기 적어도 하나의 프로세서가:
    상기 사용자가 상기 디스플레이 상에 표시되는 상기 제 1 이미지의 상기 제 1 부분을 주목하고 있는지의 여부를 판단하도록 더 설정된, 전자 장치.
  14. 전자 장치의 시선 추적을 이용한 시인성 개선을 위한 시스템으로서,
    디스플레이;
    제 1 통신 인터페이스;
    제 1 명령들을 저장하는 적어도 하나의 제 1 메모리; 및
    상기 저장된 제 1 명령들의 적어도 일부를 실행하도록 설정된 적어도 하나의 제 1 프로세서;를 포함하는 제 1 장치;를 포함하고, 상기 제 1 명령들은 상기 적어도 하나의 제 1 프로세서가:
    제 1 이미지가 상기 제 1 장치의 상기 디스플레이 상에 표시되는 동안, 사용자의 시선을 획득하도록 상기 제 1 장치에 연결된 카메라를 제어하고,
    상기 사용자의 시선의 유지 시간에 기초하여, 상기 제 1 이미지의 제 1 부분을 판단하고,
    제 2 장치로부터, 상기 제 1 이미지의 상기 제 1 부분에 기초하여, 상기 제 1 이미지의 상기 제 1 부분 보다 더 높은 시인성을 가지는 제 2 부분을 갖는 제 2 이미지를 수신하도록 상기 제 1 통신 인터페이스를 제어하고, 상기 제 1 이미지의 상기 제 1 부분 보다 높은 시인성을 갖는 상기 제 2 이미지가 갖는 상기 제 2 부분은 상기 제 1 부분의 해상도 보다 더 높은 해상도, 상기 제 1 부분의 선명도 보다 더 높은 선명도, 및 상기 제 1 부분의 밝기 보다 더 높은 밝기 중 적어도 하나를 가지고,
    상기 제 2 장치로부터 수신된 더 높은 시인성을 갖는 상기 제 2 부분을 갖는 상기 제 2 이미지를 표시하도록 상기 디스플레이를 제어하도록 설정되고,
    제 2 통신 인터페이스;
    제 2 명령들을 저장하는 적어도 하나의 제 2 메모리; 및
    상기 저장된 제 2 명령들의 적어도 일부를 실행하도록 설정된 적어도 하나의 제 2 프로세서;를 포함하는 상기 제 2 장치;를 포함하고, 상기 제 2 명령들은 상기 적어도 하나의 제 2 프로세서가:
    상기 제 1 이미지의 상기 제 1 부분과 관련된 정보를 수신하도록 상기 제 2 통신 인터페이스를 제어하고,
    상기 제 1 이미지의 상기 제 1 부분 보다 더 높은 시인성을 가지는 제 2 부분을 갖는 제 2 이미지를 상기 제 1 장치로 송신하도록 상기 제 2 통신 인터페이스를 제어하도록 설정된, 시스템.
  15. 제14 항에 있어서,
    상기 제 1 이미지는 거리 또는 도시를 촬영함으로써 획득되고,
    상기 제 1 이미지 및 상기 제 2 이미지는 상기 제 2 장치의 지도 데이터베이스로부터 획득되는, 시스템.
  16. 제14 항에 있어서,
    상기 제 1 명령들은 상기 적어도 하나의 제 1 프로세서가:
    상기 사용자의 시선을 검출하도록 상기 카메라를 제어하도록 더 설정되고,
    상기 시선은 상기 사용자의 동공의 위치에 기초하여 검출되는, 시스템.
  17. 제14 항에 있어서,
    상기 제 1 명령들은 상기 적어도 하나의 제 1 프로세서가:
    상기 사용자가 상기 디스플레이 상에 표시되는 상기 제 1 이미지의 상기 제 1 부분을 주목하고 있는지의 여부를 판단하도록 더 설정된, 시스템.
  18. 제17항에 있어서,
    상기 사용자가 상기 제 1 이미지의 상기 제 1 부분을 주목하고 있는지 여부는 상기 사용자의 얼굴 표정 또는 동공의 변화에 근거하여 판단되는 것을 특징으로 하는, 시스템.
  19. 삭제
  20. 삭제
KR1020130066578A 2013-06-11 2013-06-11 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 Active KR102098277B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020130066578A KR102098277B1 (ko) 2013-06-11 2013-06-11 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US14/294,775 US9851788B2 (en) 2013-06-11 2014-06-03 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN201410257721.0A CN104238739B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
EP14171946.8A EP2813922B1 (en) 2013-06-11 2014-06-11 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
EP18163361.1A EP3382510A1 (en) 2013-06-11 2014-06-11 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN201910012778.7A CN109739361B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
CN201910012472.1A CN109683716B (zh) 2013-06-11 2014-06-11 基于眼睛跟踪的可见度提高方法和电子装置
US15/853,277 US10203754B2 (en) 2013-06-11 2017-12-22 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US16/266,978 US10514758B2 (en) 2013-06-11 2019-02-04 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US16/266,998 US11194388B2 (en) 2013-06-11 2019-02-04 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US16/812,060 US11366516B2 (en) 2013-06-11 2020-03-06 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US17/478,529 US12182322B2 (en) 2013-06-11 2021-09-17 Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130066578A KR102098277B1 (ko) 2013-06-11 2013-06-11 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039807A Division KR102159767B1 (ko) 2020-04-01 2020-04-01 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Publications (2)

Publication Number Publication Date
KR20140144510A KR20140144510A (ko) 2014-12-19
KR102098277B1 true KR102098277B1 (ko) 2020-04-07

Family

ID=51032917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130066578A Active KR102098277B1 (ko) 2013-06-11 2013-06-11 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Country Status (4)

Country Link
US (6) US9851788B2 (ko)
EP (2) EP2813922B1 (ko)
KR (1) KR102098277B1 (ko)
CN (3) CN109739361B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11997250B2 (en) 2021-10-21 2024-05-28 Samsung Display Co., Ltd. Device for providing augmented reality and system for providing augmented reality using the same
US12027101B2 (en) 2022-08-12 2024-07-02 Samsung Display Co., Ltd. Display device and method of driving the same

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
WO2015054562A1 (en) * 2013-10-11 2015-04-16 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
FR3022377B1 (fr) * 2014-06-13 2017-08-25 Morpho Dispositif d'acquisition optique pour systemes biometriques
USD761860S1 (en) * 2014-06-20 2016-07-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
TW201605247A (zh) * 2014-07-30 2016-02-01 國立臺灣大學 影像處理系統及方法
US9945755B2 (en) * 2014-09-30 2018-04-17 Marquip, Llc Methods for using digitized sound patterns to monitor operation of automated machinery
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
CN104484043A (zh) * 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
EP4372682A3 (en) * 2015-03-03 2024-11-27 Apple Inc. Head mounted eye tracking device and method for providing drift free eye tracking through a lens system
CN104699250B (zh) * 2015-03-31 2018-10-19 小米科技有限责任公司 显示控制方法及装置、电子设备
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102429427B1 (ko) * 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN105025131B (zh) * 2015-07-31 2018-06-08 瑞声声学科技(深圳)有限公司 一种手机的工作方法
US10757399B2 (en) 2015-09-10 2020-08-25 Google Llc Stereo rendering system
US10401953B2 (en) * 2015-10-26 2019-09-03 Pillantas Inc. Systems and methods for eye vergence control in real and augmented reality environments
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US9983709B2 (en) 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
CN106873758A (zh) * 2015-12-10 2017-06-20 深圳市中兴微电子技术有限公司 一种屏幕显示方法和终端
CN105677026B (zh) * 2015-12-31 2020-01-31 联想(北京)有限公司 信息处理方法及电子设备
US9858672B2 (en) 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
CN105575368B (zh) * 2016-03-16 2018-07-31 广东欧珀移动通信有限公司 一种调节显示屏亮度的方法及装置
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
TW201743241A (zh) * 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
KR101945082B1 (ko) * 2016-07-05 2019-02-01 안규태 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
WO2018017972A1 (en) 2016-07-22 2018-01-25 Brandeis University Systems and methods for surveying the sclera of the eye
JP2018031822A (ja) * 2016-08-22 2018-03-01 パイオニア株式会社 表示装置及び方法、並びにコンピュータプログラム及び記録媒体
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
KR102809632B1 (ko) * 2016-11-18 2025-05-20 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
CN110023816A (zh) * 2016-12-01 2019-07-16 黄绅嘉 辨别情绪或心理状态的系统
US20200019240A1 (en) * 2016-12-20 2020-01-16 Vestel Elektronik Sanayi Ve Ticaret A.S. Data transmission method and data transmission device
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10025384B1 (en) 2017-01-06 2018-07-17 Oculus Vr, Llc Eye tracking architecture for common structured light and time-of-flight framework
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10679366B1 (en) 2017-01-30 2020-06-09 Facebook Technologies, Llc High speed computational tracking sensor
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019204161A1 (en) 2018-04-20 2019-10-24 Pcms Holdings, Inc. Method and system for gaze-based control of mixed reality content
US10509467B1 (en) * 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
CN109164555B (zh) * 2018-09-30 2021-11-12 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
JP7226836B2 (ja) * 2018-11-06 2023-02-21 日本電気株式会社 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
KR102444924B1 (ko) * 2019-04-04 2022-09-19 주식회사 빌리버 가상 현실 장치 및 그 제어 방법
KR102752922B1 (ko) * 2019-07-25 2025-01-10 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN110638524B (zh) * 2019-09-16 2021-11-02 山东省肿瘤防治研究院（山东省肿瘤医院） 一种基于vr眼镜的肿瘤穿刺实时模拟系统
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
EP4172741A1 (en) * 2020-06-30 2023-05-03 Snap Inc. Eyewear including shared object manipulation ar experiences
CN116917846A (zh) 2021-06-29 2023-10-20 三星电子株式会社 用于校正注视方向识别期间的误差的电子装置及操作方法
KR20230001715A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 시선 방향 인식 시에 에러를 보정하는 전자 장치 및 전자 장치의 동작 방법
EP4357838A4 (en) 2021-09-27 2024-10-16 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR DISPLAYING CONTENT
US12026831B2 (en) 2021-10-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method for spatial mapping using the same
KR20230060315A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 전자 장치 및 이를 이용한 공간 매핑 방법
EP4498664A1 (en) 2022-09-02 2025-01-29 Samsung Electronics Co., Ltd Electronic device and method for controlling display of at least one external object among one or more external objects
WO2024138467A1 (en) * 2022-12-28 2024-07-04 Intel Corporation Ar display system based on multi-view cameras and viewport tracking
WO2025012524A1 (fr) * 2023-07-08 2025-01-16 Fogale Optique Procede et dispositif d'affichage personnalise d'une scene a partir d'image(s) de ladite scene, sur un support d'affichage

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003174578A (ja) * 2001-12-07 2003-06-20 Nikon Corp 電子カメラおよび画像表示装置および画像表示方法
JP2009192448A (ja) 2008-02-18 2009-08-27 Tama Art Univ 情報表示装置及び情報提供システム
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP2004312401A (ja) 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP2009530731A (ja) * 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像操作の眼球追跡制御のためのホットスポット
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US9229230B2 (en) * 2007-02-28 2016-01-05 Science Applications International Corporation System and method for video image registration and/or providing supplemental data in a heads up display
US20090175551A1 (en) * 2008-01-04 2009-07-09 Sony Ericsson Mobile Communications Ab Intelligent image enhancement
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101242531B1 (ko) 2009-09-30 2013-03-12 에스케이플래닛 주식회사 시선 인식을 이용한 화면 처리 방법 및 휴대단말
KR101254037B1 (ko) 2009-10-13 2013-04-12 에스케이플래닛 주식회사 시선 및 제스처 인식을 이용한 화면 처리 방법 및 휴대단말
US8762846B2 (en) 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
CN102301316B (zh) * 2009-12-14 2015-07-22 松下电器（美国）知识产权公司 用户界面装置以及输入方法
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
JP2011205358A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
KR20110114114A (ko) 2010-04-13 2011-10-19 최현환 실사형 3차원 네비게이션 구현방법
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR101740728B1 (ko) * 2010-04-23 2017-05-29 주식회사 비즈모델라인 영상 데이터 출력 시스템과 이를 위한 영상 출력 장치
US20110273369A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2499963A1 (en) 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
KR20120127790A (ko) 2011-05-16 2012-11-26 경북대학교 산학협력단 시선추적 시스템 및 그 방법
US20120326969A1 (en) * 2011-06-24 2012-12-27 Krishnan Ramanathan Image slideshow based on gaze of a user
KR101830966B1 (ko) * 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
EP3974041B1 (en) 2011-10-28 2024-07-10 Magic Leap, Inc. System and method for augmented and virtual reality
US8917238B2 (en) 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003174578A (ja) * 2001-12-07 2003-06-20 Nikon Corp 電子カメラおよび画像表示装置および画像表示方法
JP2009192448A (ja) 2008-02-18 2009-08-27 Tama Art Univ 情報表示装置及び情報提供システム
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11997250B2 (en) 2021-10-21 2024-05-28 Samsung Display Co., Ltd. Device for providing augmented reality and system for providing augmented reality using the same
US12027101B2 (en) 2022-08-12 2024-07-02 Samsung Display Co., Ltd. Display device and method of driving the same

Also Published As

Publication number Publication date
EP2813922B1 (en) 2018-05-16
CN104238739A (zh) 2014-12-24
US20220004255A1 (en) 2022-01-06
US11366516B2 (en) 2022-06-21
US20140361984A1 (en) 2014-12-11
US10203754B2 (en) 2019-02-12
CN109739361A (zh) 2019-05-10
CN104238739B (zh) 2019-02-01
KR20140144510A (ko) 2014-12-19
US10514758B2 (en) 2019-12-24
US20180120935A1 (en) 2018-05-03
EP3382510A1 (en) 2018-10-03
US20190179410A1 (en) 2019-06-13
US12182322B2 (en) 2024-12-31
US20190179411A1 (en) 2019-06-13
CN109683716A (zh) 2019-04-26
CN109683716B (zh) 2021-10-22
US20200209961A1 (en) 2020-07-02
EP2813922A1 (en) 2014-12-17
US9851788B2 (en) 2017-12-26
CN109739361B (zh) 2022-04-26
US11194388B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US12249036B2 (en) Augmented reality eyewear with speech bubbles and translation
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20220326530A1 (en) Eyewear including virtual scene with 3d frames
US12169968B2 (en) Augmented reality eyewear with mood sharing
US11500510B2 (en) Information processing apparatus and non-transitory computer readable medium
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP7575571B2 (ja) 情報表示装置および方法
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR102473669B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130611

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180611

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130611

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190701

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200102

GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20200401

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200401

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200402

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230330

Start annual number: 4

End annual number: 4