[go: up one dir, main page]

KR102463712B1 - 가상 터치 인식 장치 및 그의 인식 오류 보정 방법 - Google Patents

가상 터치 인식 장치 및 그의 인식 오류 보정 방법 Download PDF

Info

Publication number
KR102463712B1
KR102463712B1 KR1020170158175A KR20170158175A KR102463712B1 KR 102463712 B1 KR102463712 B1 KR 102463712B1 KR 1020170158175 A KR1020170158175 A KR 1020170158175A KR 20170158175 A KR20170158175 A KR 20170158175A KR 102463712 B1 KR102463712 B1 KR 102463712B1
Authority
KR
South Korea
Prior art keywords
user
image
virtual touch
eye
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170158175A
Other languages
English (en)
Other versions
KR20190060197A (ko
Inventor
신희원
김동우
지상우
김석중
Original Assignee
현대자동차주식회사
기아 주식회사
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 주식회사 브이터치 filed Critical 현대자동차주식회사
Priority to KR1020170158175A priority Critical patent/KR102463712B1/ko
Priority to US16/182,909 priority patent/US10866636B2/en
Priority to CN201811382126.4A priority patent/CN109840014B/zh
Publication of KR20190060197A publication Critical patent/KR20190060197A/ko
Application granted granted Critical
Publication of KR102463712B1 publication Critical patent/KR102463712B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

본 발명은 가상 터치 인식 장치 및 그의 인식 오류 보정 방법에 관한 것으로, 가상 터치 인식 장치는 사용자의 눈 위치를 검출하는 제스처 인식기, 상기 사용자의 전방의 영상 표시 위치에 영상을 투영하는 전방 디스플레이, 및 상기 사용자의 눈 위치 및 상기 영상 표시 위치에 근거하여 가상 터치의 인식 오류를 보정하는 제어기를 포함한다.

Description

가상 터치 인식 장치 및 그의 인식 오류 보정 방법{VIRTUAL TOUCH RECOGNITION APPARATUS AND METHOD FOR CORRECTING RECOGNITION ERROR THEREOF}
본 발명은 전방 디스플레이(HUD: Head Up Display)와 연계하여 가상 터치 기술을 적용할 때 사용자의 눈 위치 및/또는 전방 디스플레이의 영상 표시 위치에 따라 가상 터치의 인식 오류를 보정하는 가상 터치 인식 장치 및 그의 인식 오류 보정 방법에 관한 것이다.
헤드 업 디스플레이(Head Up Display)는 차량 주행에 필요한 정보를 차량의 전면 유리에 표시하도록 설계된 전방 표시장치이다. 즉, 헤드 업 디스플레이는 차량의 클러스터(cluster)에 표시되는 차량의 현재 속도와 연료 잔량, 및 네비게이션의 길 안내 정보 등을 가상 영상으로 투영하여 윈드실드(windshield)에 표시한다. 이와 같이, 헤드 업 디스플레이는 운전자의 가시영역 내에 운전에 필요한 정보를 제공하여 운전자의 시선 이동을 최소화함으로써, 운전 중 운전자의 주의를 분산시키지 않도록 하여 안전을 확보하는 역할을 한다.
헤드 업 디스플레이와 같이 운전자의 주의 분산을 방지하기 위해, 3차원(3D) 카메라를 이용하여 운전자의 눈과 손가락의 움직임을 감지하여 가상 터치 위치를 인식하고 그 인식된 가상 터치 위치에 따라 네비게이션 및/또는 공조 시스템 등의 기기들을 조작할 수 있도록 하는 가상 터치(제스처 컨트롤) 인식 기술을 차량에 적용하고 있다.
이러한 헤드 업 디스플레이와 가상 터치 인식 기술을 연계하여 차량에 적용하는 경우, 헤드 업 디스플레이의 영상이 운전자의 눈 위치 및/또는 헤드 업 디스플레이의 영상 표시 위치에 따라 운전자에게 보여지는 가상 영상의 위치가 달라지기 때문에 사용자의 가상 터치 위치를 인식할 때 인식 오류가 발생하게 된다.
KR 101151962 B1 KR 101272458 B1 KR 101381928 B1 KR 101364133 B1 KR 101235432 B1 KR 101343748 B1 KR 101533320 B1 KR 101321274 B1 KR 101334585 B1 KR 101441882 B1 KR 101533319 B1 KR 101611898 B1 KR 101754126 B1
본 발명은 전방 디스플레이와 연계하여 가상 터치 기술을 적용할 때 운전자의 눈 위치에 따라 전방 디스플레이에 의해 투영되는 영상 내 컨트롤 객체의 위치를 보정하는 가상 터치 인식 장치 및 그의 인식 오류 보정 방법을 제공하고자 한다.
또한, 본 발명은 전방 디스플레이와 연계하여 가상 터치 기술을 적용할 때 전방 디스플레이의 영상 표시 위치에 따라 전방 디스플레이에 의해 투영되는 영상 내 컨트롤 객체의 위치를 보정하는 가상 터치 인식 장치 및 그의 인식 오류 보정 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 가상 터치 인식 장치는 사용자의 눈 위치를 검출하는 제스처 인식기, 상기 사용자의 전방의 영상 표시 위치에 영상을 투영하는 전방 디스플레이, 및 상기 사용자의 눈 위치 및 상기 영상 표시 위치에 근거하여 가상 터치의 인식 오류를 보정하는 제어기를 포함하는 것을 특징으로 한다.
상기 전방 디스플레이는, 상기 사용자의 전방에 위치하는 차량의 전면유리에 영상을 투영하는 것을 특징으로 한다.
상기 제스처 인식기는, 상기 사용자의 영상을 촬영하는 영상 촬영기, 및 상기 영상 촬영기를 통해 획득한 영상을 분석하여 상기 사용자의 눈 위치 및 손가락 위치를 산출하는 공간좌표 산출기를 포함하는 것을 특징으로 한다.
상기 영상 촬영기는, 3차원 카메라로 구현되는 것을 특징으로 한다.
상기 공간좌표 산출기는, 차량의 앞바퀴 중심을 기준좌표로 사용자의 눈 중심 및 손가락 끝의 공간좌표를 산출하는 것을 특징으로 한다.
상기 제어기는, 상기 제스처 인식기로부터 출력되는 사용자의 눈 위치 및 손가락 위치에 근거하여 가상 터치 위치를 산출하는 것을 특징으로 한다.
상기 제어기는, 메모리에 기저장된 룩업 테이블을 참조하여 상기 눈 위치 및 상기 영상 표시 위치에 따른 보정량을 결정하는 것을 특징으로 한다.
상기 제어기는, 상기 전방 디스플레이에 의해 투영되는 영상 내 컨트롤 객체의 좌표를 보정하는 것을 특징으로 한다.
상기 컨트롤 객체는, 특정 기능이 부여된 그래픽 객체인 것을 특징으로 한다.
상기 제어기는, 상기 컨트롤 객체의 좌표를 보정한 후 사용자의 눈 위치 및 상기 영상 표시 위치 중 적어도 어느 하나 이상이 변경되면 상기 룩업 테이블을 참조하여 상기 컨트롤 객체의 좌표를 재보정하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법은 영상 촬영기를 이용하여 사용자의 눈 위치를 검출하는 단계, 전방 디스플레이로부터 상기 사용자의 전방에 투영되는 영상의 위치를 획득하는 단계, 및 상기 눈 위치 및 상기 투영되는 영상의 위치에 근거하여 가상 터치의 인식 오류를 보정하는 단계를 포함하는 것을 특징으로 한다.
상기 전방 디스플레이는, 상기 사용자의 전방에 위치하는 차량의 전면유리에 영상을 투영하는 것을 특징으로 한다.
상기 사용자의 눈 위치를 검출하는 단계는, 3차원 카메라를 통해 사용자 영상을 획득하고 획득한 사용자 영상을 분석하여 사용자의 눈 중심의 공간좌표를 산출하는 것을 특징으로 한다.
상기 사용자의 눈 위치를 검출하는 단계는, 3차원 좌표 산출 방식을 이용하여 상기 사용자의 눈 중심의 공간좌표를 산출하는 것을 특징으로 한다.
상기 사용자의 눈 위치를 검출하는 단계는, 차량의 앞바퀴 중심을 기준좌표로 상기 사용자의 눈 중심의 공간좌표를 산출하는 것을 특징으로 한다.
상기 사용자의 눈 위치를 검출하는 단계에서, 상기 획득한 사용자 영상을 이용하여 상기 사용자의 손가락 끝의 공간좌표를 산출하는 것을 특징으로 한다.
상기 가상 터치의 인식 오류를 보정하는 단계는, 상기 투영되는 영상 내 컨트롤 객체의 위치를 보정하는 것을 특징으로 한다.
상기 컨트롤 객체는, 특정 기능이 부여된 그래픽 객체로 구현되는 것을 특징으로 한다.
상기 가상 터치의 인식 오류를 보정하는 단계 이후, 상기 눈 위치 및 상기 투영되는 영상의 위치가 변경되면 룩업 테이블을 참조하여 상기 컨트롤 객체의 위치를 재보정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 가상 터치의 인식 오류를 보정하는 단계는, 룩업 테이블을 참조하여 상기 눈 위치 및 상기 투영되는 영상의 위치에 따른 보정량을 결정하는 것을 특징으로 한다.
본 발명은 전방 디스플레이와 연계하여 가상 터치 기술을 적용할 때 운전자의 눈 위치에 따라 전방 디스플레이에 의해 투영되는 영상 내 컨트롤 객체의 위치를 보정하므로 가상 터치 위치를 정확하게 인식할 수 있다.
또한, 본 발명은 전방 디스플레이와 연계하여 가상 터치 기술을 적용할 때 전방 디스플레이의 영상 표시 위치에 따라 전방 디스플레이에 의해 투영되는 영상 내 컨트롤 객체의 위치를 보정하므로 가상 터치 인식 에러율을 크게 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 터치 인식 장치의 블록구성도.
도 2a 및 도 2b는 본 발명과 관련된 전방 디스플레이에 의해 투영되는 영상을 도시한 예시도.
도 3은 본 발명과 관련된 가상 터치 보정을 위한 룩업 테이블을 도시한 예시도.
도 4는 본 발명과 관련된 가상 터치 위치를 산출하는 방법을 설명하기 위한 도면.
도 5a 및 도 5b는 본 발명과 관련된 눈 위치 및 영상 표시 위치에 따른 가상 터치 인식 오류를 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법을 도시한 흐름도.
도 7은 본 발명의 다른 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법을 도시한 흐름도.
도 8은 본 발명의 또 다른 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법을 도시한 흐름도.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 가상 터치를 이용하는 제스처 컨트롤(gesture control) 기술을 헤드 업 디스플레이(Head Up Display, HUD)와 접목하여 차량에 적용하는 경우 운전자의 눈 위치 및 HUD 영상의 표시 위치(투영 위치)에 따라 발생되는 가상 터치 인식 오류를 최소화하기 위한 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 터치 인식 장치의 블록구성도이고, 도 2a 및 도 2b는 본 발명과 관련된 전방 디스플레이에 의해 투영되는 영상을 도시한 예시도이며, 도 3은 본 발명과 관련된 가상 터치 보정을 위한 룩업 테이블을 도시한 예시도이고, 도 4는 본 발명과 관련된 가상 터치 위치를 산출하는 방법을 설명하기 위한 도면이며, 도 5a 및 도 5b는 본 발명과 관련된 눈 위치 및 영상 표시 위치에 따른 가상 터치 인식 오류를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 가상 터치 인식 장치(100)는 제스처 인식기(110), 사용자 인터페이스(120), 전방 디스플레이(130), 메모리(140), 및 제어기(150)를 포함한다.
제스처 인식기(110)는 사용자(운전자)에 의해 입력되는 제스처(gesture)를 인식한다. 제스처 인식기(110)는 영상 촬영기(111) 및 공간좌표 산출기(112)를 포함한다.
영상 촬영기(111)는 차량 내 전방에 사용자를 향하도록 설치되어 사용자의 영상(사용자 영상)을 촬영한다. 영상 촬영기(111)는 깊이(depth distance)를 알 수 있는 3차원(3D, Depth) 카메라로, TOF(Time of Flight) 카메라, 스테레오 카메라, 및 구조광(Structured Light) 카메라 등의 카메라들 중 어느 하나의 카메라로 구현될 수 있다.
이러한 영상 촬영기(111)는 조명(1111), 이미지 센서(1112) 및 렌즈(1113)를 포함할 수 있다.
조명(1111)은 사용자를 향해 빛을 발산한다. 조명(1111)은 하나 이상의 적외선 발광소자(IR LED) 또는 레이저 다이오드로 구현될 수 있다. 또한, 조명(1111)은 사용자를 향해 스페클 패턴(speckle pattern)과 같은 특정 패턴을 투영할 수 있다.
이미지 센서(1112)는 특정 패턴이 투영된 사용자 영상을 획득한다. 이미지 센서(1112)는 획득한 영상을 공간좌표 산출기(112) 및/또는 제어기(150)로 전송한다. 이미지 센서(1112)는 획득한 영상을 메모리(140)에 저장할 수도 있다.
이미지 센서(1112)는 CCD(charge coupled device) 이미지 센서(image sensor), CMOS(complementary metal oxide semi-conductor) 이미지 센서, CPD(charge priming device) 이미지 센서 및 CID(charge injection device) 이미지 센서 등과 같은 이미지 센서들 중 적어도 하나 이상의 이미지 센서로 구현될 수 있다.
예를 들어, 영상 촬영기(111)는 3D 이미지 센서 또는 깊이 이미지 센서를 포함할 수 있으며, 적어도 하나 이상의 컬러 이미지 센서를 선택적(옵션)으로 포함할 수도 있다.
렌즈(1113)는 표준 렌즈, 초광각 렌즈, 광각 렌즈, 줌 렌즈, 접사 렌즈, 망원 렌즈, 어안 렌즈 및 준어안 렌즈 등의 렌즈들 중 적어도 하나 이상의 렌즈를 구비할 수 있다.
영상 촬영기(111)는 이미지 센서(1112)를 통해 획득한 영상에 대한 노이즈(noise) 제거, 컬러재현, 화질 및 채도 조절, 및 파일 압축 등의 이미지 처리를 수행하는 이미지 처리기(image processor)를 포함할 수도 있다.
공간좌표 산출기(112)는 공지된 3차원 좌표 검출 방법들 중 어느 하나를 이용하여 사용자의 신체(예: 눈 및 손가락 등)의 3차원 좌표(공간좌표)를 산출할 수 있다. 3차원 좌표 검출 방법으로는 대표적으로 광학적인 삼각측량법 또는 시간지연측정법 등이 사용될 수 있다. 광학적인 삼각측량법은 빔 프로젝터를 이용하여 구조화된 광선 패턴을 객체에 투영하여 구조화된 광선 패턴이 투영된 객체를 카메라로 촬영하고 카메라에 의해 촬영된 영상을 이용하여 3차원 위치를 산출하는 방법이다.
시간지연측정법은 발신기로부터 발생한 레이저, 적외선 또는 초음파가 객체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 계산하고 그 계산된 시간차를 이용하여 3차원 위치를 산출하는 방법이다.
공간좌표 산출기(112)는 영상 촬영기(111)를 통해 획득한 사용자 영상을 분석하여 사용자의 눈 및 손가락을 인식한다. 공간좌표 산출기(112)는 인식한 사용자의 눈 및 손가락의 위치를 산출한다. 공간좌표 산출기(112)는 차량의 앞바퀴 중심을 기준좌표로 눈의 중심 위치(눈 중심의 공간좌표) 및 손가락 끝 위치(손가락 끝의 공간좌표)를 산출한다.
공간좌표 산출기(112)는 프로세서(미도시)와 메모리(미도시)를 포함할 수 있다. 여기서, 프로세서(미도시)는 이미지 프로세서(image processors), ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나 이상을 포함할 수 있다.
사용자 인터페이스(120)는 사용자의 조작에 따른 입력 데이터를 발생시킨다. 또한, 사용자 인터페이스(120)는 가상 터치 인식 장치(100)의 온(ON) 또는 오프(OFF)를 지시하는 신호를 발생시킬 수 있다. 사용자 인터페이스(120)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 토글 스위치(toggle switch), 조그 휠, 및 조그 스위치 등의 입력수단 중 적어도 하나 이상으로 구성될 수 있다
전방 디스플레이(130)는 차량의 대시보드에 설치되어 각종 정보들을 그래픽 이미지(virtual image)로 차량의 윈드실드(windshield)에 투영한다. 각종 정보들은 길 안내 정보, 주행 속도, 연료잔량, 체크 컨트롤 메시지, 컨트롤 객체, UI(User Interface) 및 GUI(Graphic User Interface) 등을 포함한다. 윈드실드의 외측 판유리와 내측 판유리 사이에는 고스트(ghost) 영상이 나타나는 현상을 방지하기 위한 특수 플라스틱 필름이 배치된다.
예를 들어, 전방 디스플레이(130)는 도 2a 및 도 2b에 도시된 바와 같이 차량의 윈드실드에 차량의 주행 속도, 네비게이션의 길 안내 정보, 특정 명령이 부여된 컨트롤 객체(그래픽 아이콘 또는 시각적 지시자 등)들(201 내지 203) 및 멀티미디어 재생기의 컨트롤 아이콘들(204 및 205)이 표시된다.
전방 디스플레이(130)는 투영 디스플레이, 백라이트, 및 반사체 등을 포함한다. 투영 디스플레이는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 및 플렉시블 디스플레이(flexible display) 중 어느 하나로 구현될 수 있다.
백라이트는 투영 디스플레이의 배경조명으로 작용하며 동시에 전방 디스플레이(130)의 밝기에 필요한 빛을 발생시킨다. 백라이트는 녹색 LED와 적색 LED로 구성되는 LED-어레이(array) 이다. 반사체는 투영 디스플레이에 표시되는 정보(그래픽 이미지)를 윈드실드에 반사시키는 역할을 한다.
전방 디스플레이(130)는 현재 출력되는 영상의 표시 위치(영상 표시 위치)를 제어기(150)로 출력한다. 여기서, 영상 표시 위치(영상 투영 위치)는 기준좌표를 기준으로 차량의 윈드실드에 투영되는 영상의 중심이 위치하는 지점의 공간좌표를 의미한다.
메모리(140)는 제어기(150))가 기정해진 동작을 수행하도록 프로그래밍된 소프트웨어를 저장할 수 있고, 입/출력 데이터를 임시 저장할 수도 있다. 메모리(140)는 영상 촬영기(111)에 의해 촬영된 영상 데이터를 저장할 수 있다.
또한, 메모리(140)는 가상 터치 보정을 위한 룩업 테이블(lookup table)을 저장하고 있다. 룩업 테이블은 사용자의 눈 위치 및 영상 표시 위치에 따른 차량의 높이 방향 및/또는 폭(너비) 방향으로의 보정값(보정량)들을 포함하고 있다.
예를 들어, 룩업 테이블은 기준 눈 높이 및 기준 영상 표시 높이일 때를 기준으로 운전자의 눈 높이 및 HUD 영상의 표시 높이에 따른 차량 높이 방향으로의 보정값을 포함한다. 도 3에 도시된 바와 같이, 눈 높이가 850mm이고 영상 표시 높이가 10단계일 때를 기준으로 하면, 이때의 보정값은 0 이다. 눈 높이만 850mm에서 790mm로 변경되면 차량 높이 방향으로의 보정값을 +20mm 이다.
메모리(140)는 제어기(150))의 내부 및/또는 외부에 설치될 수 있다. 메모리(140)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 및 웹 스토리지(web storage) 등의 저장매체 중 적어도 하나 이상의 저장매체로 구현될 수 있다.
제어기(150)는 가상 터치 인식 장치(100)의 전반적인 동작을 제어한다. 제어기(150)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나 이상을 포함할 수 있다.
제어기(150))는 공간좌표 산출기(112)에서 출력되는 사용자의 눈 위치(제1공간좌표) 및 손가락 위치(제2공간좌표)를 이용하여 가상 터치 위치(가상 터치 좌표)를 산출한다. 도 4를 참조하면, 제어기(150)는 제1공간좌표(P1)과 제2공간좌표(P2)를 연결하는 직선이 윈드실드(W) 상에 가상 영상이 투영되어 표시되는 표시면(반사면)과 만나는 접점을 가상 터치 위치(가상 터치 좌표)(P3)로 산출한다.
제어기(150)는 제스처 인식기(110) 및 전방 디스플레이(130)로부터 사용자의 눈 위치와 영상 표시 위치를 획득한다. 제어기(150)는 가상 터치 위치를 보정하기 위해 획득한 눈 위치와 영상 표시 위치에 근거하여 전방 디스플레이(130)에 의해 차량의 윈드실드에 표시되는 영상 내 컨트롤 객체의 좌표를 보정한다. 이때, 제어기(160)는 룩업 테이블을 참조하여 컨트롤 객체의 좌표를 보정한다. 컨트롤 객체는 특정 명령(기능)이 할당되어 있으며 그래픽 아이콘 또는 시각적 지시자(visual indicators)로 구현될 수 있다. 컨트롤 객체의 좌표는 전방 디스플레이(130)에 의해 가상 영상이 투영되는 투영면(윈드실드) 상에 컨트롤 객체가 위치하는 지점의 공간좌표를 의미한다.
제어기(150)는 컨트롤 객체의 좌표를 보정한 후 사용자의 눈 위치 및 영상 표시 위치 중 적어도 어느 하나의 위치가 기준(예: 반경 5mm) 이상 변경되면, 룩업 테이블을 참조하여 컨트롤 객체의 좌표를 재보정한다.
제어기(150)는 컨트롤 객체의 좌표를 보정한 후 제스처 인식기(110)로부터 출력되는 사용자의 눈 위치 및 손가락 위치에 근거하여 가상 터치 위치를 산출한다. 제어기(150)는 산출된 가상 터치 위치가 보정된 컨트롤 객체의 좌표와 일치하면 해당 컨트롤 객체에 할당된 기능을 수행한다.
예를 들어, 도 5a에 도시된 바와 같이 HUD 영상 내 특정 기능(명령)이 할당된 컨트롤 객체의 위치가 1, 2, 및 3으로 설정되어 있는 경우, 운전자의 키가 크거나 시트 위치를 높게 조절하여 운전자의 눈 높이가 기준 높이보다 높아지면, 운전자에게 HUD 영상이 기준 영상 표시 높이보다 낮게 보인다. 이로 인해, 운전자가 가상 터치를 입력할 때 제어기(150)가 컨트롤 객체의 위치(좌표)를 1", 2", 및 3"으로 인식하는 인식 오류가 발생한다.
한편, 키가 작은 운전자이거나 시트 위치를 낮게 조정하여 운전자의 눈 높이가 기준 눈 높이보다 낮아지면 운전자에게 HUD 영상이 기준 영상 표시 높이보다 높게 보인다. 이로 인해, 제어기(150)가 가상 터치(제스처)를 인식할 때 컨트롤 객체의 위치를 1', 2', 및 3'으로 오인식하게 된다.
또한, 도 5b와 같이 HUD 영상 내 컨트롤 객체의 위치가 A, B, 및 C로 설정된 경우, 운전자가 HUD 영상의 높이를 조정하여 HUD 영상 표시 높이가 기준 높이보다 높아지면 제어기(150)는 운전자가 가상 터치를 통해 컨트롤 객체 A, B, 및 C를 선택하여도 A', B' 및 C'으로 인식하는 오류가 발생한다.
한편, 운전자가 HUD 영상 표시 높이를 기준 높이보다 낮아지게 조정하면 제어기(150)는 운전자가 가상 터치를 입력하면 컨트롤 객체의 위치 A, B, 및 C를 A", B" 및 C"으로 인식한다.
이와 같이, 운전자의 눈 높이 및/또는 HUD 영상 표시 높이가 기준과 상이하여 발생하는 인식 오류를 보정하기 위해 제어기(150)는 운전자의 눈 위치 및 HUD 영상 표시 높이를 확인하고 룩업 테이블을 참조하여 확인한 눈 위치 및 HUD 영상 표시 높이에 따른 보정량(보정값)으로 컨트롤 객체의 위치(좌표)를 보정한다.
예컨대, 가상 터치 인식 장치(100)는 운전자의 눈 높이가 높아지면 룩업 테이블을 참조하여 기설정된 컨트롤 객체 위치 1, 2, 및 3을 1", 2", 및 3"으로 보정하고, 눈 높이가 낮아지면 컨트롤 객체 위치 1, 2, 및 3을 1', 2', 및 3'으로 보정한다.
한편, 가상 터치 인식 장치(100)는 운전자가 HUD 영상 표시 높이를 기준 영상 표시 높이보다 높게 조정하는 경우, 룩업 테이블을 참조하여 컨트롤 객체 위치 A, B 및 C를 A', B' 및 C'으로 보정하고, 운전자가 HUD 영상 표시 높이를 기준 영상 표시 높이보다 낮게 조정하면 컨트롤 객체 위치 A, B 및 C를 A", B" 및 C"으로 보정한다.
이와 같이, 운전자의 눈 위치 및 HUD 영상 표시 높이에 근거하여 컨트롤 객체의 위치(좌표)를 보정하므로, 가상 터치 인식 장치(100)가 사용자의 가상 터치 입력을 정확하게 인식할 수 있게 한다.
도 6은 본 발명의 일 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법을 도시한 흐름도이다.
도 6을 참조하면, 가상 터치 인식 장치(100)의 제어기(150)는 사용자 인터페이스(120)로부터 출력되는 명령에 따라 가상 터치 인식 장치(100)를 온(ON) 시킨다(S110).
제어기(150)는 가상 터치 인식 장치(100)가 온 되면, 제스처 인식기(110)를 통해 사용자의 눈 위치를 검출한다(S120). 제스처 인식기(110)는 제어기(150)의 제어에 따라 영상 촬영기(111)를 제어하여 사용자 영상을 획득한다. 제스처 인식기(110)의 공간좌표 산출기(112)는 영상 촬영기(111)를 통해 획득한 사용자 영상을 이용하여 사용자의 눈 중심의 공간좌표를 산출한다. 제스처 인식기(110)는 공간좌표 산출기(112)에 의해 산출된 사용자의 눈 중심의 공간좌표를 제어기(150)에 전송한다.
제어기(150)는 전방 디스플레이(130)로부터 현재 영상 표시 위치를 획득한다(S130). 즉, 전방 디스플레이(130)는 제어기(150)의 요청에 따라 설정된 영상 표시 위치(높이)를 제어기(150)에 제공한다.
제어기(150)는 검출한 사용자의 눈 위치 및 획득한 영상 표시 위치를 이용하여 전방 디스플레이 영상 내 컨트롤 객체의 위치를 보정한다(S140). 제어기(150)는 룩업 테이블을 참조하여 검출한 사용자의 눈 위치 및 획득한 영상 표시 위치에 따른 보정량을 결정한다. 제어기(150)는 결정된 보정량에 근거하여 컨트롤 객체의 좌표를 보정한다.
이후, 제어기(150)는 정해진 주기(예: 1초, 10초 또는 가상 터치 입력이 발생할 때 마다)로 S120 내지 S140를 반복 수행한다.
또한, 제어기(150)는 사용자의 가상 터치 입력이 발생하면 제스처 인식기(110)를 통해 사용자의 눈 중심 및 손가락 끝의 위치(공간좌표)를 인식한다. 제어기(150)는 인식된 눈 중심 및 손가락 끝의 위치(공간좌표)를 이용하여 가상 터치 위치를 산출하고, 그 산출된 가상 터치 위치가 보정된 컨트롤 객체의 위치와 매칭되는지를 확인한다. 제어기(150)는 산출된 가상 터치 위치가 보정된 컨트롤 객체의 위치와 매칭되면 해당 컨트롤 객체에 부여된 기능을 수행한다.
도 7은 본 발명의 다른 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법을 도시한 흐름도이다.
먼저, 가상 터치 인식 장치(100)의 제어기(150)는 가상 터치 인식 장치(100)가 온 된 이후 최초 보정인지를 확인한다(S210). 제어기(150)는 사용자 인터페이스(120)를 통해 입력되는 사용자 입력에 따라 가상 터치 인식 장치(100)를 온 시키고 금번 가상 터치 보정이 가상 터치 인식 장치(100) 온 이후 최초 보정인지를 확인한다.
제어기(150)는 금번 가상 터치 보정이 가상 터치 인식 장치(100)의 온 이후 최초 보정이면 제스처 인식기(110)를 통해 사용자의 눈 위치를 검출한다(S220). 즉, 제스처 인식기(110)는 영상 촬영기(111)를 통해 사용자 영상을 획득하고, 공간좌표 산출기(112)를 통해 획득한 영상으로부터 사용자의 눈 중심의 공간좌표를 산출한다.
이어서, 제어기(150)는 전방 디스플레이(130)로부터 현재 설정된 영상 표시 위치를 획득한다(S230). 제어기(150)는 검출한 사용자의 눈 위치 및 획득한 영상 표시 위치를 이용하여 전방 디스플레이 영상 내 컨트롤 객체의 위치를 최초 보정한다(S240). 제어기(150)는 메모리(140)에 저장된 룩업 테이블을 참조하여 검출한 사용자의 눈 위치 및 획득한 영상 표시 위치에 따른 보정량을 결정한다. 제어기(150)는 결정한 보정량에 따라 컨트롤 객체의 위치를 보정한다.
한편, S210에서 가상 터치 인식 장치(100)가 온 된 이후 최초 보정이 아니면, 제어기(150)는 제스처 인식기(110)를 통해 사용자의 눈 위치를 검출한다(S250). 다시 말해서, 금번 가상 터치 보정이 가상 터치 인식 장치(100)가 온 된 이후 최초로 수행하는 것이 아니면, 제어기(150)는 제스처 인식기(110)를 통해 사용자의 눈 중심의 공간좌표를 산출한다.
제어기(150)는 전방 디스플레이(130)로부터 현재 설정된 영상 표시 위치를 획득한다(S260). 예컨대, 제어기(150)는 전방 디스플레이(130)에 의해 투영되는 영상이 기준 좌표로부터 차량 높이 방향으로 이격된 수직 거리(전방 디스플레이 영상 표시 높이)를 산출한다.
제어기(150)는 눈 위치 및 영상 표시 위치 중 적어도 하나 이상이 변경되었는지를 확인한다(S270). 제어기(150)는 검출한 눈 위치 및 획득한 영상 표시 위치를 이전에 검출된 눈 위치 및 이전에 획득한 영상 표시 위치와 비교하여 눈 위치 및 영상 표시 위치가 변경되었는지를 확인한다.
제어기(150)는 눈 위치 및 영상 표시 위치 중 적어도 하나 이상이 변경된 경우, 룩업 테이블을 참조하여 컨트롤 객체의 위치를 보정한다(S240). 제어기(150)는 룩업 테이블을 통해 획득한 눈 위치 및 영상 표시 위치에 따른 보정량을 확인하여 컨트롤 객체의 위치를 보정한다.
이후, 제어기(150)는 정해진 주기(예: 1초, 10초 또는 가상 터치 입력이 발생할 때 마다)마다 상기한 보정 절차를 반복 수행한다.
또한, 제어기(150)는 사용자의 가상 터치 입력이 발생하면 제스처 인식기(110)를 통해 사용자의 눈 중심 및 손가락 끝의 위치(공간좌표)를 검출한다. 제어기(150)는 검출한 눈 중심 및 손가락 끝의 위치(공간좌표)를 이용하여 가상 터치 위치를 산출하고, 그 산출된 가상 터치 위치가 보정된 컨트롤 객체의 위치와 매칭되는지를 확인한다. 제어기(150)는 산출된 가상 터치 위치가 보정된 컨트롤 객체의 위치와 매칭되면 해당 컨트롤 객체에 부여된 기능(동작)을 수행한다.
도 8은 본 발명의 또 다른 실시예에 따른 가상 터치 인식 장치의 인식 오류 보정 방법을 도시한 흐름도이다.
먼저, 가상 터치 인식 장치(100)의 제스처 인식기(110)는 제어기(150)의 제어에 따라 영상 촬영기(111)를 통해 사용자 영상을 획득한다(S310).
제스처 인식기(110)는 획득한 사용자 영상을 분석하여 사용자의 눈 위치 및 손가락 위치를 검출한다(S320). 제스처 인식기(110)의 공간좌표 산출기(112)는 사용자 영상을 이용하여 사용자의 눈 중심의 공간좌표 및 손가락 끝의 공간좌표를 산출한다.
가상 터치 인식 장치(100)의 제어기(150)는 제스처 인식기(110)를 통해 검출한 눈 위치 및 손가락 위치를 이용하여 가상 터치 위치를 산출한다(S330). 제어기(150)는 눈 중심의 공간좌표와 손가락 끝의 공간좌표를 연결하는 직선(연장선)이 윈드실드(W) 상에 가상 영상이 투영되어 표시되는 표시면(반사면 또는 투영면)과 만나는 접점을 가상 터치 위치로 산출한다.
제어기(150)는 전방 디스플레이(130)로부터 영상 표시 위치를 획득한다(S340).
제어기(150)는 눈 위치 및 영상 표시 위치 중 적어도 하나 이상의 위치가 변경되었는지를 확인한다(S350). 제어기(150)는 검출한 눈 위치 및 획득한 영상 표시 위치를 이전에 검출된 눈 위치 및 이전에 획득한 영상 표시 위치와 비교하거나, 또는 검출한 눈 위치 및 획득한 영상 표시 위치를 기준 눈 위치 및 기준 영상 표시 위치와 비교하여 눈 위치 및 영상 표시 위치의 변경여부를 확인한다.
제어기(150)는 눈 위치 및 영상 표시 위치 중 적어도 하나 이상이 변경된 경우 메모리(140)에 저장된 룩업 테이블을 참조하여 산출한 가상 터치 위치를 보정한다(S360).
제어기(150)는 보정된 가상 터치 위치에 대응하는 동작(기능)을 실행한다(S370). 예컨대, 제어기(150)는 보정된 가상 터치 위치에 대응하는 컨트롤 객체를 인식하고 그 인식한 컨트롤 객체에 부여된 특정 기능을 수행한다.
한편, S350에서 눈 위치 및 영상 표시 위치가 변경되지 않은 경우, 제어기(150)는 산출한 가상 터치 위치에 대응하는 동작을 실행한다(S370).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 가상 터치 인식 장치
110: 제스처 인식기
111: 영상 촬영기
1111: 조명
1112: 이미지 센서
1113: 렌즈
112: 공간좌표 산출기
120: 사용자 인터페이스
130: 전방 디스플레이
140: 메모리
150: 제어기

Claims (20)

  1. 사용자의 눈 위치를 검출하는 제스처 인식기,
    상기 사용자의 전방의 영상 표시 위치에 영상을 투영하는 전방 디스플레이, 및
    상기 사용자의 눈 위치 및 상기 영상 표시 위치에 근거하여 가상 터치의 인식 오류를 보정하는 제어기를 포함하고,
    상기 제어기는 메모리에 기저장된 룩업 테이블을 참조하여 상기 눈 위치 및 상기 영상 표시 위치에 따른 보정량을 결정하고,
    상기 룩업 테이블은 기준 눈 높이 및 기준 영상 표시 높이를 기준으로 상기 눈 위치 및 상기 영상 표시 위치에 따른 차량의 높이 방향 및 너비 방향으로의 보정값을 포함하는 것을 특징으로 하는 가상 터치 인식 장치.
  2. 제1항에 있어서,
    상기 전방 디스플레이는,
    상기 사용자의 전방에 위치하는 차량의 전면유리에 영상을 투영하는 것을 특징으로 하는 가상 터치 인식 장치.
  3. 제1항에 있어서,
    상기 제스처 인식기는,
    상기 사용자의 영상을 촬영하는 영상 촬영기, 및
    상기 영상 촬영기를 통해 획득한 영상을 분석하여 상기 사용자의 눈 위치 및 손가락 위치를 산출하는 공간좌표 산출기를 포함하는 것을 특징으로 하는 가상 터치 인식 장치.
  4. 제3항에 있어서,
    상기 영상 촬영기는,
    3차원 카메라로 구현되는 것을 특징으로 하는 가상 터치 인식 장치.
  5. 제3항에 있어서,
    상기 공간좌표 산출기는,
    차량의 앞바퀴 중심을 기준좌표로 사용자의 눈 중심 및 손가락 끝의 공간좌표를 산출하는 것을 특징으로 하는 가상 터치 인식 장치.
  6. 제3항에 있어서,
    상기 제어기는,
    상기 제스처 인식기로부터 출력되는 사용자의 눈 위치 및 손가락 위치에 근거하여 가상 터치 위치를 산출하는 것을 특징으로 하는 가상 터치 인식 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 제어기는,
    상기 전방 디스플레이에 의해 투영되는 영상 내 컨트롤 객체의 좌표를 보정하는 것을 특징으로 하는 가상 터치 인식 장치.
  9. 제8항에 있어서,
    상기 컨트롤 객체는,
    특정 기능이 부여된 그래픽 객체인 것을 특징으로 하는 가상 터치 인식 장치.
  10. 제8항에 있어서,
    상기 제어기는,
    상기 컨트롤 객체의 좌표를 보정한 후 사용자의 눈 위치 및 상기 영상 표시 위치 중 적어도 어느 하나 이상이 변경되면 상기 룩업 테이블을 참조하여 상기 컨트롤 객체의 좌표를 재보정하는 것을 특징으로 하는 가상 터치 인식 장치.
  11. 영상 촬영기를 이용하여 사용자의 눈 위치를 검출하는 단계,
    전방 디스플레이로부터 상기 사용자의 전방에 투영되는 영상의 위치를 획득하는 단계, 및
    상기 눈 위치 및 상기 투영되는 영상의 위치에 근거하여 가상 터치의 인식 오류를 보정하는 단계를 포함하고,
    상기 가상 터치의 인식 오류를 보정하는 단계는,
    룩업 테이블을 참조하여 상기 눈 위치 및 상기 투영되는 영상의 위치에 따른 보정량을 결정하는 단계를 포함하고,
    상기 룩업 테이블은 기준 눈 높이 및 기준 영상 표시 높이를 기준으로 상기 눈 위치 및 상기 투영되는 영상의 위치에 따른 차량의 높이 방향 및 너비 방향으로의 보정값을 포함하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  12. 제11항에 있어서,
    상기 전방 디스플레이는,
    상기 사용자의 전방에 위치하는 차량의 전면유리에 영상을 투영하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  13. 제11항에 있어서,
    상기 사용자의 눈 위치를 검출하는 단계는,
    3차원 카메라를 통해 사용자 영상을 획득하고 획득한 사용자 영상을 분석하여 사용자의 눈 중심의 공간좌표를 산출하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  14. 제13항에 있어서,
    상기 사용자의 눈 위치를 검출하는 단계는,
    3차원 좌표 산출 방식을 이용하여 상기 사용자의 눈 중심의 공간좌표를 산출하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  15. 제13항에 있어서,
    상기 사용자의 눈 위치를 검출하는 단계는,
    차량의 앞바퀴 중심을 기준좌표로 상기 사용자의 눈 중심의 공간좌표를 산출하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  16. 제13항에 있어서,
    상기 사용자의 눈 위치를 검출하는 단계에서,
    상기 획득한 사용자 영상을 이용하여 상기 사용자의 손가락 끝의 공간좌표를 산출하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  17. 제11항에 있어서,
    상기 가상 터치의 인식 오류를 보정하는 단계는,
    상기 투영되는 영상 내 컨트롤 객체의 위치를 보정하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  18. 제17항에 있어서,
    상기 컨트롤 객체는,
    특정 기능이 부여된 그래픽 객체로 구현되는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  19. 제17항에 있어서,
    상기 가상 터치의 인식 오류를 보정하는 단계 이후,
    상기 눈 위치 및 상기 투영되는 영상의 위치가 변경되면 룩업 테이블을 참조하여 상기 컨트롤 객체의 위치를 재보정하는 단계를 더 포함하는 것을 특징으로 하는 가상 터치 인식 장치의 인식 오류 보정 방법.
  20. 삭제
KR1020170158175A 2017-11-24 2017-11-24 가상 터치 인식 장치 및 그의 인식 오류 보정 방법 Active KR102463712B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170158175A KR102463712B1 (ko) 2017-11-24 2017-11-24 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US16/182,909 US10866636B2 (en) 2017-11-24 2018-11-07 Virtual touch recognition apparatus and method for correcting recognition error thereof
CN201811382126.4A CN109840014B (zh) 2017-11-24 2018-11-20 虚拟触摸识别装置及用于校正其识别误差的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158175A KR102463712B1 (ko) 2017-11-24 2017-11-24 가상 터치 인식 장치 및 그의 인식 오류 보정 방법

Publications (2)

Publication Number Publication Date
KR20190060197A KR20190060197A (ko) 2019-06-03
KR102463712B1 true KR102463712B1 (ko) 2022-11-08

Family

ID=66633014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158175A Active KR102463712B1 (ko) 2017-11-24 2017-11-24 가상 터치 인식 장치 및 그의 인식 오류 보정 방법

Country Status (3)

Country Link
US (1) US10866636B2 (ko)
KR (1) KR102463712B1 (ko)
CN (1) CN109840014B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10706300B2 (en) 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
KR102686009B1 (ko) * 2019-01-07 2024-07-19 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
US11106044B2 (en) * 2019-07-02 2021-08-31 GM Global Technology Operations LLC Eye height based virtual image alignment for head-up display
US20210157135A1 (en) * 2019-11-26 2021-05-27 GM Global Technology Operations LLC Head-up display image acquistion and correction
CN113947652A (zh) * 2020-07-15 2022-01-18 北京芯海视界三维科技有限公司 实现目标物体定位的方法、装置及显示器件
US11833901B2 (en) * 2020-10-12 2023-12-05 GM Global Technology Operations LLC System and method for adjusting a location and distortion of an image projected onto a windshield of a vehicle by a head-up display
US20220187600A1 (en) * 2020-12-14 2022-06-16 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method of realizing touch for head-up display
KR20240132830A (ko) * 2023-02-27 2024-09-04 삼성전자주식회사 복수의 시각적 객체들 중 하나를 선택하기 위한 전자 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160012A1 (en) * 2012-12-11 2014-06-12 Automotive Research & Test Center Automatic correction device of vehicle display system and method thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101151962B1 (ko) 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101364133B1 (ko) 2011-06-15 2014-02-21 주식회사 브이터치 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101343748B1 (ko) 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101533320B1 (ko) 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
KR101272458B1 (ko) 2012-05-11 2013-06-07 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101321274B1 (ko) 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR101334585B1 (ko) 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101441882B1 (ko) 2012-11-12 2014-09-22 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
CN105593787B (zh) * 2013-06-27 2019-07-05 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
KR101611898B1 (ko) 2014-05-24 2016-04-12 주식회사 브이터치 매칭 시스템
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
KR101713740B1 (ko) * 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
CN107787497B (zh) 2015-06-10 2021-06-22 维塔驰有限公司 用于在基于用户的空间坐标系中检测手势的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160012A1 (en) * 2012-12-11 2014-06-12 Automotive Research & Test Center Automatic correction device of vehicle display system and method thereof

Also Published As

Publication number Publication date
KR20190060197A (ko) 2019-06-03
CN109840014A (zh) 2019-06-04
CN109840014B (zh) 2024-03-08
US10866636B2 (en) 2020-12-15
US20190163268A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
KR102463712B1 (ko) 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10261316B2 (en) Head-up display control apparatus and method
US9886933B2 (en) Brightness adjustment system and method, and mobile terminal
US9794536B2 (en) Projector, and method of controlling projector
TWI522257B (zh) 車用安全系統及其運作方法
US11077793B2 (en) Rearview display device, rearview display method, and program
US10913355B2 (en) Head-up display
US11146768B2 (en) Projection system and projection method
US8982101B2 (en) Optical touch system and optical touch-position detection method
US9804483B2 (en) Projector and method of controlling projector
TWI430151B (zh) 觸控裝置及其觸控方法
US11597278B2 (en) Projection control device, head-up display device, projection control method, and non-transitory storage medium
US10936079B2 (en) Method and apparatus for interaction with virtual and real images
WO2018092627A1 (ja) プロジェクターシステム
CN109791294B (zh) 用于运行具有数据眼镜的显示系统的方法和设备
US12019797B2 (en) Gaze tracking for a retinal projection display system
KR102552490B1 (ko) 차량용 영상 처리 장치 및 방법
US20150185321A1 (en) Image Display Device
US20160019424A1 (en) Optical touch-control system
JP2018085553A (ja) プロジェクターシステム
JP7178888B2 (ja) 情報入力装置
KR20180038316A (ko) 운전자 상태 판단 장치 및 방법
US10572731B1 (en) Infrared transparent backlight device for eye tracking applications
KR102417534B1 (ko) 터치 인터랙션이 가능한 프로젝터
US9684415B2 (en) Optical touch-control system utilizing retro-reflective touch-control device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171124

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201029

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171124

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220210

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220811

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221101

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration