[go: up one dir, main page]

KR101741691B1 - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR101741691B1
KR101741691B1 KR1020150092820A KR20150092820A KR101741691B1 KR 101741691 B1 KR101741691 B1 KR 101741691B1 KR 1020150092820 A KR1020150092820 A KR 1020150092820A KR 20150092820 A KR20150092820 A KR 20150092820A KR 101741691 B1 KR101741691 B1 KR 101741691B1
Authority
KR
South Korea
Prior art keywords
gesture
fingers
pinch
change
icons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150092820A
Other languages
English (en)
Other versions
KR20170002902A (ko
Inventor
민정상
주시현
이정엄
홍기범
맥스 프릴 앤디
Original Assignee
현대자동차주식회사
기아자동차주식회사
현대자동차 유럽기술연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사, 현대자동차 유럽기술연구소 filed Critical 현대자동차주식회사
Priority to KR1020150092820A priority Critical patent/KR101741691B1/ko
Priority to US14/951,559 priority patent/US20170003853A1/en
Priority to DE102015223497.5A priority patent/DE102015223497B4/de
Priority to CN201510906502.5A priority patent/CN106325493A/zh
Publication of KR20170002902A publication Critical patent/KR20170002902A/ko
Application granted granted Critical
Publication of KR101741691B1 publication Critical patent/KR101741691B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B60K2350/1052—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

복수 개의 아이콘을 표시하는 제1 표시 단계;와 입력된 사용자의 제스처를 인식하는 제스처 인식 단계;와 인식된 제스처가 핀치 제스처이면, 핀치 제스처에 응답하여 아이콘 개수를 변경하여 표시하는 제2 표시 단계;를 포함하는 차량의 제어방법을 제공한다.

Description

차량 및 그 제어방법{VEHICLE AND METHOD OF CONTROLLING THE SAME}
사용자 제스처에 적응하여 아이콘을 표시하는 차량 및 그 제어방법에 관한 것이다.
차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 네비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 각종 부가 기능이 마련된다.
이와 같은 부가 기능은 차량에 마련된 인터페이스 화면을 통해 설정되고, 사용자는 인터페이스 화면을 통해 표시되는 각종 아이콘을 이용하여 부가 기능을 제어한다.
인터페이스 화면에 표시되는 아이콘이 많을수록 직접적으로 아이콘에 접근할 수 있은 장점이 있으나, 아이콘의 접근을 위한 조작이 어려워지는 문제가 있다.
또한, 사용자 또는 주행 상황마다 인터페이스에 표시되는 화면이 최적화될 필요가 있다.
간단한 제스처를 이용하여 사용자 인터페이스의 구성을 변경할 수 있는 차량 및 그 제어방법을 제공하는 것을 그 목적으로 한다.
상술한 과제를 해결하기 위한 일 양상에 따른 차량은 사용자의 제스처를 입력 받는 제스처 인터페이스;와 복수의 아이콘을 표시하는 디스플레이부;와 입력된 사용자의 제스처를 인식하고, 인식된 제스처가 핀치 제스처이면 표시되는 아이콘의 개수가 변경되도록 디스플레이부를 제어하는 제어부;를 포함한다.
디스플레이부는 손을 오므리는 핀치 클로즈 제스처에 응답하여 아이콘의 개수를 감소시켜 표시한다.
이때, 제어부는, 두 손가락 사이의 거리 변화를 검출하고, 두 손가락 사이의 거리가 감소하면 핀치 클로즈 제스처로 인식할 수 있다.
또한, 제어부는, 복수 개의 손가락에 의하여 형성되는 제스처 공간의 크기 변화를 검출하고, 제스처 공간의 크기가 감소하면 핀치 클로즈 제스처로 인식할 수 있다. 여기서, 제어부는, 복수 개의 손가락의 끝점을 연결하여 제스처 공간을 형성한다.
디스플레이부는, 손을 펼치는 핀치 오픈 제스처에 응답하여 아이콘의 개수를 증가시켜 표시한다.
이때, 제어부는, 두 손가락 사이의 거리 변화를 검출하고, 두 손가락 사이의 거리가 증가하면 핀치 오픈 제스처로 인식할 수 있다.
또한, 제어부는, 복수 개의 손가락에 의하여 형성되는 제스처 공간의 크기 변화를 검출하고, 제스처 공간의 크기가 증가하면 핀치 오픈 제스처로 인식할 수 있다.
제스처 인터페이스는, 사용자의 터치 입력을 감지하는 터치 인터페이스;를 포함하고, 제어부는 터치 인터페이스에 의하여 검출된 터치 좌표를 이용하여 복수 개의 손가락의 위치 변화를 검출하고, 복수 개의 손가락의 위치 변화에 기초하여 사용자의 제스처를 인식할 수 있다. 이때, 터치 인터페이스는 중심점을 더 포함하고, 제어부는 복수 개의 손가락과 중심점의 거리 변화에 기초하여 사용자의 제스처를 인식할 수 있다. 제어부는, 복수 개의 손가락과 중심점의 거리가 감소하면 핀치 클로즈 제스처로 인식하고, 복수 개의 손가락과 중심점의 거리가 증가하면 핀치 오픈 제스처로 인식할 수 있다.
또한, 제스처 인터페이스는 사용자에 대한 영상을 획득하여 사용자의 공간 제스처를 입력 받는 공간 인터페이스;를 더 포함하고, 제어부는 영상에서 손가락을 검출하여 복수 개의 손가락의 위치 변화를 분석하고, 복수 개의 손가락의 위치 변화에 기초하여 사용자의 제스처를 인식할 수 있다.
또한, 디스플레이부는 손을 회전시키는 멀티 로테이션 제스처에 응답하여, 복수 개의 아이콘의 구성을 변경하여 표시할 수 있다. 아이콘의 구성은 복수 개의 아이콘의 색상, 형상, 위치, 크기 및 배치 중 적어도 하나를 포함한다.
또한, 터치 인터페이스는 손을 회전시키는 멀티 로테이션 제스처에 응답하여 조사하는 조명 색상이 변경될 수 있다.
또한, 제어부는, 핀치 제스처의 크기에 따라 변경될 아이콘의 개수를 결정할 수 있다. 그리고, 제어부는, 미리 저장된 우선 순위 리스트에 저장된 우선 순위에 따라 디스플레이부에 표시될 아이콘을 결정될 수 있다.
상술한 과제를 해결하기 위한 일 양상에 따른 차량의 제어방법은 복수 개의 아이콘을 표시하는 제1 표시 단계;와 입력된 사용자의 제스처를 인식하는 제스처 인식 단계;와 인식된 제스처가 핀치 제스처이면, 핀치 제스처에 응답하여 아이콘 개수를 변경하여 표시하는 제2 표시 단계;를 포함한다.
제2 표시 단계는, 손을 오므리는 핀치 클로즈 제스처에 응답하여 표시되는 아이콘의 개수를 감소시키는 단계;를 포함할 수 있다.
이때, 인식 단계는, 두 손가락 사이의 거리 변화를 검출하는 단계;와 두 손가락 사이의 거리가 감소하면 핀치 클로즈 제스처로 인식하는 단계;를 포함할 수 있다.
또한, 인식 단계는, 복수 개의 손가락의 끝점에 의하여 형성되는 제스처 공간의 크기를 검출하는 단계;와 제스처 공간의 크기가 감소하면, 핀치 클로즈 제스처로 인식하는 단계;를 포함할 수 있다.
또한, 인식 단계는, 복수 개의 손가락과 미리 설정된 중심점과의 거리를 산출하는 단계;와 복수 개의 손가락과 미리 설정된 중심점과의 거리가 감소하면, 핀치 클로즈 제스처로 인식하는 단계;를 포함할 수 있다.
한편, 제2 표시 단계는, 손을 펼치는 핀치 오픈 제스처에 응답하여 표시되는 아이콘의 개수를 증가시키는 단계;를 포함할 수 있다.
이때, 인식 단계는, 두 손가락 사이의 거리 변화를 검출하는 단계; 와 두 손가락 사이의 거리가 증가하면 핀치 오픈 제스처로 인식하는 단계;를 포함할 수 있다.
또한, 인식 단계는, 복수 개의 손가락의 끝점에 의하여 형성되는 제스처 공간의 크기를 검출하는 단계;와 제스처 공간의 크기가 증가하면, 핀치 오픈 제스처로 인식하는 단계;를 포함할 수 있다.
또한, 인식 단계는, 복수 개의 손가락과 미리 설정된 중심점과의 거리를 산출하는 단계;와 복수 개의 손가락과 미리 설정된 중심점과의 거리가 증가하면, 핀치 오픈 제스처로 인식하는 단계;를 포함할 수 있다.
한편, 차량의 제어 방법은 손을 회전시키는 멀티 로테이션 제스처에 응답하여 복수 개의 아이콘의 구성을 변경시켜 표시하는 제3 표시 단계;를 더 포함할 수 있다.
또한, 손을 회전시키는 멀티 로테이션 제스처에 응답하여 제스처 인터페이스의 조명 색상을 변경하는 단계;를 더 포함할 수 있다.
또한, 인식 단계는, 터치 인터페이스에 의하여 검출된 터치 좌표를 이용하여 복수 개의 손가락의 위치 변화를 검출하는 단계;를 포함할 수 있다.
사용자는 제스처를 이용하여 사용자 인터페이스를 개인화할 수 있다. 구체적으로, 사용자는 핀치 제스처를 이용하여 표시되는 아이콘의 개수를 동적으로 조절하여, 주행 상황에 최적화된 사용자 인터페이스를 제공받을 수 있다.
또한, 멀티 로테이트 제스처를 이용하여 아이콘의 구성을 동적으로 조절하여, 주행 상황에 최적화된 사용자 인터페이스를 제공받을 수 있다.
도 1은 일 실시예에 따른 차량의 외부를 개략적으로 도시한 도면이다.
도 2는 일 실시예에 따른 차량의 내부를 개략적으로 도시한 도면이다.
도 3은 일 실시예에 따른 차량에 포함된 입력 장치의 일 실시예를 도시한 도면이다.
도 4은 일 실시예에 따른 차량의 동작을 설명하기 위한 제어 블록도이다.
도 5는 우선 순위 리스트의 일례를 도시한 도면이다.
도 6는 일 실시예에 따른 차량에 포함된 디스플레이부의 화면 예시도이다.
도 7은 핀치 클로즈 제스처를 설명하기 위한 도면이다.
도 8은 핀치 오픈 제스처를 설명하기 위한 도면이다.
도 9은 멀티 로테이션 제스처를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이다.
도 11은 일 실시예에 따른 핀치 클로즈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
도 12은 다른 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이다.
도 13은 다른 실시예에 따른 핀치 클로즈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
도 14은 또 다른 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이다.
도 15은 또 다른 실시예에 따른 핀치 클로즈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
도 16a와 도 16b는 핀치 클로즈 제스처의 인식에 따른 디스플레이부의 화면 변화를 설명하기 위한 도면들이다.
도 17은 핀치 클로즈 제스처의 입력에 따른 디스플레이 제어 방법을 도시한 도면이다.
도 18은 일 실시예에 따른 핀치 오픈 제스처의 인식 방법을 도시한 순서도이다.
도 19은 일 실시예에 따른 핀치 오픈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
도 20은 다른 실시예에 따른 핀치 오픈 제스처의 인식 방법을 도시한 순서도이다.
도 21은 다른 실시예에 따른 핀치 오픈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
도 22은 또 다른 실시예에 따른 핀치 오픈 제스처의 인식 방법을 도시한 순서도이다.
도 23은 또 다른 실시예에 따른 핀치 오픈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
도 24a와 도 24b는 핀치 오픈 제스처의 인식에 따른 디스플레이부의 화면 변화를 설명하기 위한 도면들이다.
도 25은 핀치 오픈 제스처의 입력에 따른 디스플레이 제어 방법을 도시한 도면이다.
도 26은 로테이션 제스처의 인식에 따른 디스플레이부(200)의 화면 변화를 설명하기 위한 도면들이다.
도 27은 일 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이다.
도 28는 일 실시예에 따른 차량(1)의 제어 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 실시예들에 대해 구체적으로 설명한다. 이하에서 실시예의 이해를 돕기 위한 세부 사항들이 설명된다. 다만, 실시예의 양상이 모호해지지 않도록, 공지된 방법, 구성, 회로 등에 대해서는 구체적인 설명을 생략한다.
이하, "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 이러한 서수는 구성 요소들 간의 구별을 위해 사용되는 것으로, 구성 요소들은 용어들에 의해 한정되지는 않는다.
도 1은 일 실시예에 따른 차량의 외부를 개략적으로 도시한 도면이고, 도 2는 일 실시예에 따른 차량의 내부를 개략적으로 도시한 도면이다.
도 1에 도시된 바와 같이, 차량(1)은 차량(1)의 외관을 형성하는 차체, 차량(1)을 이동시키는 차륜(12, 13)을 포함한다.
차체는 엔진 등과 같이 차량(1)에 구동에 필요한 각종 장치를 보호하는 후드(11a), 실내 공간을 형성하는 루프 패널(11b), 수납 공간이 마련된 트렁크 리드(11c), 차량(1)의 측면에 마련된 프런트 휀더(11d)와 쿼터 패널(11e)을 포함할 수 있다. 또한, 차체(11)의 측면에는 차체와 흰지 결합된 복수 개의 도어(14)가 마련될 수 있다.
후드(11a)와 루프 패널(11b) 사이에는 차량(1) 전방의 시야를 제공하는 프런트 윈도우(19a)가 마련되고, 루프 패널(11b)과 트렁크 리드(11c) 사이에는 후방의 시야를 제공하는 리어 윈도우(19b)가 마련될 수 있다. 또한, 도어(15)의 상측에는 측면의 시야를 제공하는 측면 윈도우(19c)가 마련될 수 있다.
또한, 차량(1)의 전방에는 차량(1)의 진행 방향으로 조명을 조사하는 헤드램프(15, Headlamp)가 마련될 수 있다.
또한, 차량(1)의 전방, 후방에는 차량(1)의 진행 방향을 지시하기 위한 방향지시램프(16, Turn Signal Lamp)가 마련될 수 있다.
또한, 차량(1)의 후방에는 테일램프(17)가 마련될 수 있다. 테일램프(17)는 차량(1)의 후방에 마련되어 차량(1)의 기어 변속 상태, 브레이크 동작 상태 등을 표시할 수 있다.
도 2에 도시된 바와 같이, 차량(1) 내부에는 운전석(DS)과 조수석(PS)이 마련될 수 있으며, 차량(1)의 방향을 조작하는 스티어링 휠(30), 차량(1)의 동작을 제어하고 차량(1)의 운행 정보를 표시하는 각종 계기가 마련되는 대시 보드(40)가 마련된다.
운전석(DS)의 헤드라이닝(50)에는 음성 수신부(90)와 동작 인터페이스(320)가 마련될 수 있다. 음성 수신부(90)는 사용자의 음성 명령을 전기적 신호를 변경하는 마이크를 포함할 수 있으며, 입력되는 음성의 잡음을 제거하기 위한 노이즈 제거 필터를 더 포함할 수 있다.
대시 보드(40)의 중앙에는 디스플레이부(200)가 마련될 수 있다. 디스플레이부(200)는 차량(1)과 관련된 정보, 차량(1)에 제어 명령을 입력하기 위한 인터페이스 등을 제공할 수 있다.
구체적으로, 디스플레이부(200)는 차량(1)의 각 기능을 제어하기 위한 제어 아이콘을 포함하는 인터페이스 화면을 제공할 수 있다. 이때, 디스플레이부(200)에서 제공되는 인터페이스 화면의 구성은 이하에서 설명할 사용자의 제스처에 따라 변경될 수 있다.
디스플레이부(200)는 액정 디스플레이 (Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널, 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 구현될 수 있으나, 이에 한정되는 것이 아니다.
한편, 도 2에서는 디스플레이부(200)가 대시 보드(40)에 마련된 것으로 설명하였으나, 이는 디스플레이부(200)의 배치의 일례를 도시한 것으로 디스플레이부(200)의 위치가 이에 한정되는 것이 아니다.
대시 보드(40)의 하단에는 센터 콘솔(80)이 마련된다. 센터 콘솔(80)은 운전석(DS)과 조수석(PS) 사이에 마련되어, 운전석(DS)과 조수석(PS)을 구획할 수 있다.
센터 콘솔(80)의 후방에는 차량(1)의 사용자가 팔을 거치할 수 있도록 암레스트(Arm Rest)가 마련될 수 있다.
또한, 센터 콘솔(80)에는 차량(1)의 각종 기능을 조작하기 위한 입력장치(100)가 마련될 수 있다. 사용자는 조작장치(100)를 이용하여 차량(1)의 설정을 변경하거나, 차량(1)에 마련된 다양한 편의 장치, 예를 들어, 공조 장치, AVN(Audio/Video/Navigation) 장치 등을 제어할 수 있으며, 디스플레이부(200)에 표시되는 화면은 사용자의 입력장치(100) 조작에 응답하여 변경될 수 있다.
도 3은 일 실시예에 따른 차량에 포함된 입력장치의 일 실시예를 도시한 도면이다.
도 3를 참조하면, 입력장치(100)는 장착면(140)과, 장착면(140)에 설치되되, 장착면(140)으로부터 돌출되는 돌출부(120)와, 돌출부(120) 내측에 요입되도록 형성되는 요입부(130)를 포함한다. 이때, 돌출부(120)와 요입부(130) 는 일체로 형성되거나 서로 결합하여 하나의 구조체를 형성할 수 있으나, 이에 한정되는 것은 아니다.
장착면(140)은 입력장치(100)의 전반적인 외관을 형성하는 것으로, 돌출부(120), 및 요입부(130)와 별도의 부재로 마련될 수 있으나, 이에 한정되는 것은 아니다.
장착면(140)은 대략적으로 평면 형상으로 마련될 수 있으나, 장착면(140)의 형상이 이에 한정되는 것이 아니다. 예를 들어, 장착면(140)은 볼록하거나 오목한 형상으로 마련될 수도 있다.
한편, 도 3에는 도시되어 있지 않지만, 입력장치(100)는 다른 입력 수단을 더 포함할 수 있다. 예를 들어, 장착면(140)에는 제어 명령을 입력하기 위한 푸시 버튼(Push Button), 또는 멤브레인 버튼(Membrane Button)이 마련하고, 돌출부(120) 또는 요입부(130)에 토글 스위치(Toggle Switch)가 마련될 수 있다.
돌출부(120)는 장착면(140)으로부터 돌출되어 마련될 수 있다. 구체적으로, 돌출부(120)는 장착면(140)과 연결되는 외측면부(121)와 외측면부(121)와 연결되는 등성이부(122)를 포함할 수 있다.
이때. 외측면부(121)는 장착면(140)과 등성이부(122) 사이에 소정의 곡률을 가지고 마련되어. 장착면(140)과 등성이부(122)를 부드럽게 연결할 수 있으나, 외측면부(121)의 형상이 이에 한정되는 것은 아니다. 예를 들어, 외측면부(121)는 원기둥 형상으로 마련될 수도 있다.
등성이부(122)는 요입부(130)와 대응되는 형상, 예를 들어, 링 형상으로 마련될 수 있으나, 등성이부(122)는 입력장치(100)에 마련되는 터치 인터페이스(310)의 형상에 따라 변경될 수 있다.
요입부(130)는 등성이부(122)로부터 돌출부(120)의 내측으로 요입되도록 형성된다. 요입부(130)는 수평 단면이 원형 형상의 개구를 포함할 수 있다. 일 예로, 요입부(130)는 등성이부(122)에서 원형으로 개구되어 내측으로 요입되는 형상일 수 있다.
요입부(130)는 등성이부(122)와 연결되는 내측면부(131)와 터치 인터페이스(310)가 마련되는 바닥부(132)를 포함한다. 일 예로, 도면에는 원기둥 내측 형상의 내측면부(131)와 원형 평면 형상의 바닥부(132)가 도시된다.
또한, 요입부(130)는 내측면부(131)와 바닥부(132)를 연결하는 연결부(133)를 포함할 수 있다. 일 예로, 연결부(133)는 경사면 또는 음의 곡률을 가지는 곡면으로 형성될 수 있다. 여기서 음의 곡률이란 요입부(130)의 외측에서 보았을 때 오목하도록 형성되는 곡률을 의미한다.
이때, 연결부(133)에는 사용자의 터치 입력을 더 직관적으로 하기 위하여 소정의 간격으로 눈금이 형성될 수 있다. 눈금은 양각 또는 음각 방식으로 형성될 수 있다.
사용자가 연결부(133)를 따라 터치 제스처를 입력을 하는 경우, 눈금에 의한 촉각적 자극으로 인하여 사용자는 롤링 터치 입력을 더 직관적으로 할 수 있다.
바닥부(132)는 도 3b에 도시된 바와 같이 하측으로 오목한 형상을 가질 수 있으나, 터치 인터페이스(310)의 형상이 이에 한정되는 것이 아니다. 예를 들어, 터치 인터페이스(310)는 평편하게 마련되거나, 상측으로 볼록한 형상을 가질 수도 있다.
바닥부(132)에는 터치 인터페이스(310)가 마련되어 사용자의 직관적인 제어 명령 입력을 돕는다. 터치 인터페이스(310)에 대해서는 아래에서 상세히 설명한다.
장착면(140)은 사용자의 손목을 지지하는 손목 지지부(141)를 더 포함할 수 있다. 손목 지지부(141)는 터치 인터페이스(310) 보다 높게 위치할 수 있다. 이로 인해 사용자가 손목 지지부(141)에 손목을 지지한 상태에서 손가락으로 터치 인터페이스(310)에 제스처를 입력할 때, 손목이 위로 꺾이는 것을 방지할 수 있다. 따라서 사용자의 근곤격계 질환을 방지하고 보다 편안한 조작감을 제공할 수 있다.
상기 도 3에서는 입력장치(100)가 오목한 형상의 터치 인터페이스(310)를 가지는 것으로 도시되어 있으나, 입력장치(100)가 이에 한정되는 것이 아니며 사용자가 터치할 수 있는 터치 인터페이스(310)를 가진 다양한 장치는 모두 일 실시예에 따른 입력장치(100)가 될 수 있다.
도 4은 일 실시예에 따른 차량의 동작을 설명하기 위한 제어 블록도이고, 도 5는 우선 순위 리스트의 일례를 도시한 도면이고, 도 6는 일 실시예에 따른 차량에 포함된 디스플레이부의 화면 예시도이다.
도 7은 핀치 클로즈 제스처를 설명하기 위한 도면이고, 도 8은 핀치 오픈 제스처를 설명하기 위한 도면이고, 도 9은 멀티 로테이션 제스처를 설명하기 위한 도면이다.
도 5를 참조하면, 차량(1)은 화면을 표시하는 디스플레이부(200), 사용자로부터 제스처를 입력 받는 제스처 인터페이스(300), 차량(1)의 구동에 필요한 데이터를 저장하는 저장부(450), 및 사용자의 제스처에 응답하여 화면을 구성하는 제어부(400)를 포함할 수 있다.
디스플레이부(200)는 차량(1)과 관련된 정보를 표시하기 위한 화면 및 차량(1)의 기능 설정을 위한 화면을 표시할 수 있다.
도 5에 도시된 바와 같이, 디스플레이부(200)는 복수 개의 아이콘(201 내지 206)을 표시할 수 있다. 사용자는 디스플레이부(200)에 표시된 복수 개의 아이콘(201 내지 206)을 선택하여 차량(1)을 제어할 수 있다.
구체적으로, 사용자는 네비게이션 아이콘(201)을 선택하여 네비게이션 기능을 실행하거나, 비디오 아이콘(202)을 선택하여 비디오 기능을 실행하거나, 오디오 아이콘(203)을 선택하여 오디오 기능을 실행하거나, 설정 아이콘(204)을 선택하여 차량(1)의 설정을 변경하거나, 전화 아이콘(205)을 선택하여 전화 연결 기능을 실행하거나, 공조기 아이콘(206)을 선택하여 공조기 기능을 실행시킬 수 있다.
디스플레이부(200)에 표시되는 아이콘의 개수는 사용자의 제스처 또는 사용자의 음성 명령에 의하여 변경될 수 있다. 이에 대해서는 아래에서 상세히 설명한다.
저장부(450)는 차량(1)의 구동에 필요한 각종 데이터를 저장할 수 있다. 예를 들어, 저장부(450)는 차량(1)의 구동에 필요한 운영체제 및 어플리케이션을 저장할 수 있으며, 필요에 따라 제어부(400)의 구동에 따라 발생하는 임시 데이터를 저장할 수 있다.
또한, 저장부(450)는 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM) 등을 포함할 수 있으나, 이에 한정 되는 것은 아니다.
또한, 저장부(450)는 차량(1)과 탈착이 가능할 수 있다. 예를 들어, 저장부(450)는 CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick)을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하, 저장부(450)와 제어부(400)가 별도의 장치로 구현된 것으로 설명하나, 저장부(450)와 제어부(400)는 하나의 칩으로 구현될 수도 있다.
한편, 저장부(450)는 우선 순위 리스트(451)를 더 포함할 수 있다. 우선 순위 리스트(451)는 도 6에 도시된 바와 같이 디스플레이부(200)에 표시되는 메뉴의 우선 순위 정보를 저장한다.
즉, 우선 순위 리스트(451)에 저장된 메뉴의 우선 순위 정보에 기초하여 디스플레이부(200)에 표시될 아이콘이 결정될 수 있으며, 이하에서 설명할 핀치 제스처에 따라 추가로 표시될 아이콘 또는 삭제될 아이콘이 결정될 수 있다.
우선 순위 정보는 미리 설정된 것일 수 있으나, 사용자의 사용 패턴에 따라 결정될 수도 있다.
사용 패턴에 따른 결정의 일 실시예로, 우선 순위 정보는 사용자의 메뉴 사용 빈도에 따라 결정될 수 있다. 즉, 사용 빈도가 높은 메뉴일수록 우선 순위가 높게 결정되고, 사용 빈도가 낮은 메뉴일수록 우선 순위가 낮게 결정될 수 있다.
사용 패턴에 따른 결정의 다른 예로, 우선 순위 정보는 메뉴의 최근 사용 이력에 따라 결정될 수 있다. 즉, 최근에 사용된 메뉴일수록 우선 순위가 높게 결정되고, 과거에 사용된 아이콘일수록 우선 순위가 낮게 결정된다.
이와 같이 사용 패턴에 따라 결정된 우선 순위 정보에 따라 디스플레이부(200)에 표시될 아이콘을 결정함으로써, 사용자의 메뉴 접근성을 향상시킬 수 있다.
제스처 인터페이스(300)는 사용자의 제스처 입력을 감지하고, 감지된 제스처에 대응되는 전기적 신호를 생성한다. 이와 같이 생성된 전기적 신호는 제어부(400)로 전달된다.
다시 말하면, 제스처 인터페이스(300)는 사용자가 제스처를 이용하여 차량(1)의 제어 명령을 입력할 수 있도록, 사용자가 입력한 제스처를 감지할 수 있다. 구체적으로, 사용자 인터페이스는 사용자의 플리킹(Flicking), 스와이핑(Swiping), 롤링(Rolling), 서클링(Circling), 스핀(Spin), 탭(Tap)등의 한 손가락을 이용한 제스처 입력을 감지할 수 있다.
또한, 제스처 인터페이스(300)는 핀치(Pinch) 제스처와 멀티 로테이트(Multi-rotate) 제스처와 같이 복수 개의 손가락을 이용한 제스처 입력을 감지할 수 할 수 있다.
핀치 제스처는 손을 오므리는 제스처인 핀치 클로즈(Pinch-close) 제스처와 손을 펼치는 제스처인 핀치 오픈(Pinch-open) 제스처로 구분될 수 있다.
핀치 클로즈 제스처는 복수 개의 손가락을 오므리는 제스처를 의미하는 것으로, 도 7a에 도시된 것과 같이 두 손가락만을 오므리는 핀치-인(pinch-in) 제스처뿐만 아니라, 도 7b에 도시된 것과 같이 3개의 손가락을 오므리는 제스처, 도 7c와 같이 4개의 손가락을 오므리는 제스처, 도 7d와 같이 5개의 손가락을 오므리는 제스처, 모두 핀치 클로즈 제스처가 될 수 있다.
핀치 오픈 제스처는 복수 개의 손가락을 펼치는 제스처를 의미하는 것으로, 도 8a에 도시된 것과 같이 두 손가락만을 펼치는 핀치-아웃(pinch- out) 제스처뿐만 아니라, 도 8b에 도시된 것과 같이 3개의 손가락을 펼치는 제스처, 도 8c와 같이 4개의 손가락을 펼치는 제스처, 도 8d와 같이 5개의 손가락을 펼치는 제스처, 모두 핀치 오픈 제스처가 될 수 있다.
멀티 로테이트 제스처는 복수 개의 손가락을 회전시키는 동작을 의미하는 것으로, 도 9a에 도시된 바와 두 손가락을 회전시키는 제스처뿐만 아니라, 도 9b에 도시된 것과 같이 3개의 손가락을 회전시키는 제스처, 도 9c와 같이 4개의 손가락을 회전시키는 제스처, 도 9d와 같이 5개의 손가락을 회전시키는 제스처, 모두 멀티 로테이트 제스처가 될 수 있다.
다시 도 4를 참조하면, 제스처 인터페이스(300)는 제스처를 감지하기 위하여 사용자의 터치 제스처를 감지하는 터치 인터페이스(310)와 사용자의 공간 제스처를 감지하는 공간 인터페이스(320)를 포함할 수 있다.
터치 인터페이스(310)는 사용자의 터치 제스처 입력을 감지하고, 감지된 터치 제스처에 대응되는 전기적 신호를 출력한다. 터치 인터페이스(310)는 도 3에 도시된 바와 같이 입력장치(100)의 바닥부(132)에 마련될 수 있다. 터치 인터페이스(310)는 입력장치(100) 바닥을 따라 소정의 곡률을 가지도록 마련될 수 있다. 즉, 터치 인터페이스(310)는 바닥부(132)의 형상을 따라 오목한 형상으로 마련될 수 있다.
이때, 터치 인터페이스(310)의 가장 오목한 지점을 중심점(C)이라고 한다. 중심점(C)은 제스처 인식의 기준으로 사용될 수 있다. 이에 대해서는 아래에서 상세히 설명한다.
한편, 터치 인터페이스(310)의 위치가 바닥부(132)에 한정되는 것은 아니다. 예를 들어, 터치 인터페이스(310)는 연결부(133)에도 마련되어, 연결부(133)에 입력되는 터치 제스처도 감지할 수 있다.
또한, 터치 인터페이스(310)는 디스플레이부(200)와 일체로 마련될 수 있다. 구체적으로, 터치 인터페이스(310)는 디스플레이부(200)의 화면에 위치하는 애드 온 타입(add-on type)이나, 디스플레이부(200)의 내에 삽입되는 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다.
또한, 터치 인터페이스(310)는 사용자의 터치를 감지하기 위한 터치 패널을 포함할 수 있다. 터치 패널은 저항막 방식, 광학 방식, 정전용량 방식, 초음파 방식, 또는 압력 방식 등을 사용하는 사용자의 근접 또는 접촉을 인식하는 것 일 수 있으나, 이에 한정되는 것은 아니다.
터치 패널은 터치 발생에 대응되는 전기적 신호 생성하여 제스처 인식기(410)로 전달한다. 구체적으로, 터치 패널은 터치 이벤트가 발생하면, 터치 이벤트가 발생한 영역에 대응되는 터치 좌표를 감지하고, 감지된 터치 좌표를 제스처 인식기(410)로 전달할 수 있다.
한편, 공간 인터페이스(320)는 사용자의 공간 제스처 입력을 감지하고, 감지된 공간 제스처에 대응되는 전기적 신호를 출력한다. 구체적으로, 공간 인터페이스(320)는 사용자에 대한 영상을 획득하고, 획득된 영상을 제스처 인식기(410)로 전달할 수 있다.
공간 인터페이스(320)는 도 2에 도시된 것과 같이, 헤드라이닝(50)에 배치될 수 있으나, 공간 인터페이스(320)의 위치가 이에 한정되는 것은 아니다. 예를 들어, 공간 인터페이스(320)는 대시 보드(40)에 배치되거나, 센터 콘솔(80)에 배치될 수도 있다.
공간 인터페이스(320)는 사용자가 입력하는 공간 제스처를 감지하기 위하여 적어도 하나의 카메라를 포함할 수 있다. 여기서, 카메라는 전하 결합 소자(Charge-Couple Device; CCD) 또는 상보형 금속 산화막 반도체(Complementary Metal??Oxide??Semiconductor; CMOS) 포토트랜지스터를 포함하고, 하나 이상의 렌즈를 통해 투사되는 광을 수광하여 영상을 획득할 수 있다.
또한, 공간 인터페이스(320)는 3차원 영상을 획득하기 위하여 스테레오 카메라(Stereo Camera)로 구현될 수 있다.
또한, 사용자 손의 명확하게 인식하기 위하여, 공간 인터페이스(320)는 적외선 영상을 획득할 수 있다. 이를 위해, 공간 인터페이스(320)는 사용자에게 적외선을 조사하기 위한 적외선 광원, 적외선 영역의 영상을 획득하는 적외선 카메라를 포함할 수 있다.
제어부(400)는 사용자의 제스처를 인식하고, 인식된 제스처에 따라 차량(1)을 전반적으로 제어할 수 있다. 제어부(400)는 하나 또는 복수 개의 프로세서에 해당할 수 있다.
이때, 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수 있다. 예를 들어, 제어부(400)는 MCU(Micro Controller Unit)로 구현되거나, CPU(central processing unit) 및 GPU(graphic processing unit)등과 같은 범용적인 프로세서로 구현될 수 있다.
또한, 제어부(400)는 제스처 인터페이스(300)를 통해 입력된 사용자의 제스처 또는 음성 수신부(90)를 통해 입력된 음성 명령에 따라 차량(1)을 각 기능을 제어할 수 있다. 즉, 사용자는 음성 명령과 제스처 입력을 통해 차량(1)을 제어할 수 있다.
또한, 제어부(400)는 사용자의 음성 명령을 인식하고, 인식된 음성 명령에 대응되는 기능을 실행하는 음성 인식기(420)와 사용자의 제스처를 인식하고, 인식된 제스처에 대응되는 기능을 실행하는 제스처 인식기(410)를 포함할 수 있다.
음성 인식기(420)는 음성 수신부(90)를 통해 입력된 음성 명령을 인식하고, 인식된 음성 명령에 대응되는 기능을 실행한다. 음성 명령의 인식에는 공지된 음성 인식(speech recognition) 알고리즘 또는 음성 인식 엔진(speech recognition engine)이 이용될 수 있으며, 추후 기술의 발전으로 개발될 음성 인식 알고리즘 또는 음성 인식 엔진이 적용될 수도 있다.
제스처 인식기(410)는 사용자의 제스처를 인식하고, 인식된 제스처에 따라 차량(1)의 기능을 제어한다. 또한, 제스처 인식기(410)는 인식된 사용자의 제스처에 따라 디스플레이부(200)의 화면 표시를 제어할 수 있다.
구체적으로, 제스처 인식기(410)는 제스처 인터페이스(300)를 통해 감지된 사용자의 제스처에 기초하여 사용자의 손가락의 위치 변화를 분석하고, 분석된 손가락의 위치 변화에 기초하여 사용자가 어떠한 제스처를 입력하였는지 인식할 수 있다.
여기서, 손가락 위치 변화의 분석 방법은 제스처 인터페이스(300)의 종류에 따라 달라질 수 있다.
구체적으로, 제스처 인터페이스(300)가 터치 인터페이스(310)인 경우, 터치 인터페이스(310)에서 감지되는 터치 좌표는 사용자의 손가락과 접촉한 지점의 좌표에 대응되므로, 제스처 인식기(410)는 터치 좌표의 감지 여부에 기초하여 사용자의 터치 시작, 터치 종료를 판단할 수 있고, 터치 좌표의 이동 궤적을 추적하여 손가락의 위치 변화를 분석할 수 있다.
한편, 제스처 인터페이스(300)가 공간 인터페이스(320)인 경우, 제스처 인식기(410)는 공간 인터페이스(320)에서 촬영된 영상에서 손바닥 및 손가락의 끝점을 검출하고, 손가락 및 손바닥 끝점의 위치 변화를 추적하여 손가락의 위치 변화를 분석할 수 있다.
그리고, 제스처 인식기(410)는 분석된 손가락의 위치 변화에 기초하여 사용자가 입력한 제스처를 인식하고, 인식된 제스처에 대응되는 기능을 수행할 수 있다.
구체적으로, 제스처 인식기(410)는 도 7에 도시된 핀치 클로즈 제스처를 인식할 수 있다. 이하, 핀치 클로즈 제스처의 인식 방법에 대하여 구체적으로 설명한다.
도 10은 일 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이고, 도 11은 일 실시예에 따른 핀치 클로즈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
일 실시예로, 제스처 인식부(410)는 손가락 사이의 거리 변화를 이용하여 핀치 클로즈 제스처의 입력을 인식할 수 있다.
도 10 및 도 11를 참조하면, 차량(1)은 두 손가락의 위치 변화를 검출한다(611). 사용자가 터치 인터페이스(310)에 도 7a와 같이 두 손가락으로 핀치 클로즈 제스처를 입력하면, 터치 좌표는 도 11에 도시된 것과 같이 변화한다. 이와 같은, 터치 좌표의 변화는 두 손가락의 위치 변화에 대응되므로, 제스처 인식부(410)는 터치 좌표의 변화에 따라 두 손가락의 위치 변화를 검출할 수 있다.
차량(1)은 검출된 위치 변화에 기초하여 두 손가락 사이의 거리 변화를 산출한다(612). 제스처 인식부(410)는 단속적으로 두 손가락 사이의 거리 변화를 산출할 수 있다.
상술한 바와 같이 두 손가락의 위치는 터치 좌표에 대응되므로, 제스처 인식부(410)는 터치 시작시의 터치 좌표(f11, f21) 간의 거리 D1를 터치 시작시의 두 손가락 사이의 거리로, 소정 시간이 경과한 후의 터치 좌표(f12, f22) 간의 거리 D2를 소정 시간에서의 두 손가락 사이의 거리로, 터치 종료시의 터치 좌표(f13, f23) 간의 거리 D3를 터치 종료시의 두 손가락 사이의 거리로 산출할 수 있다.
한편, 도 11과는 달리 제스처 인식부(410)는 연속적으로 두 손가락 사이의 거리 변화를 산출할 수 있다.
차량(1)은 두 손가락 사이의 거리가 감소하였는지 판단하다(613). 제스처 인식부(410)는 두 손가락 사이의 거리 변화에 기초하여 두 손가락 사이의 거리가 감소하였는지 판단할 수 있다. 구체적으로, 제스처 인식부(410)는 두 손가락 사이의 거리가 산출 시간에 따라 D1, D2, D3 순서로 감소하면, 두 손가락 사이의 거리가 감소한 것으로 판단한다.
한편, 두 손가락 사이의 거리 변화의 산출이 연속적으로 이루어진 경우, 제스처 인식부(410)는 연속적으로 산출된 두 손가락 사이의 거리가 감소하는 방향으로 변화하면 두 손가락 사이의 거리가 감소한 것으로 판단한다.
차량(1)은 두 손가락 사이의 거리가 감소하면(613의 예), 입력된 제스처를 핀치 클로즈 제스처로 인식할 수 있다(614).
도 12은 다른 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이고, 도 13은 다른 실시예에 따른 핀치 클로즈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
다른 실시예로, 제스처 인식부(410)는 복수 개의 손가락에 의하여 형성하는 제스처 공간의 크기 변화를 이용하여 핀치 클로즈 제스처의 입력을 인식할 수 있다. 여기서, 제스처 공간은 3개 이상의 손가락의 끝점을 연결함으로써, 형성되는 가상의 공간을 의미한다.
도 12 및 도 13를 참조하면, 차량(1)은 손가락의 위치 변화를 검출한다(621). 사용자가 터치 인터페이스(310)에 도 7c와 같이 4개의 손가락으로 핀치 클로즈 제스처가 입력하면, 터치 좌표는 각각 도 13에 도시된 것과 같이 변화한다. 이와 같은, 터치 좌표의 변화는 손가락의 위치 변화에 대응되므로, 제스처 인식부(410)는 터치 좌표의 변화에 따라 손가락의 위치 변화를 검출할 수 있다.
차량(1)은 검출된 위치 변화에 기초하여 복수의 손가락이 형성하는 제스처 공간의 크기 변화를 산출한다(622). 제스처 인식부(410)는 단속적으로 복수의 손가락이 형성하는 제스처 공간의 크기를 산출할 수 있다.
상술한 바와 같이 손가락의 위치는 터치 좌표에 대응되므로, 제스처 인식부(410)는 도 13와 같이 터치 시작시의 복수 개의 터치 좌표(f11, f21, f31, f41)를 서로 연결하여 터치 시작시의 제스처 공간 S1을 산출하고, 소정 시간이 경과한 후의 복수 개의 터치 좌표(f12, f22, f32, f42)를 서로 연결하여 소정 시간이 경과한 후의 제스처 공간 S2을 산출하고, 터치 종료시의 복수 개의 터치 좌표(f13, f32, f33, f43)를 서로 연결하여 터치 종료시의 제스처 공간 S3을 산출할 수 있다.
한편, 도 13과는 달리 제스처 인식부(410)는 연속적으로 제스처 공간을 산출할 수 있다.
차량(1)은 제스처 공간의 크기가 감소하였는지 판단하다(623). 제스처 인식부(410)는 시간에 따라 산출된 제스처 공간의 크기를 비교하여 제스처 공간의 크기가 연속적으로 감소하는 판단한다. 구체적으로, 제스처 인식부(410)는 제스처 공간의 크기가 산출 시간에 따라 S1, S2, S3 순서로 감소하면, 제스처 공간의 크기가 감소한 것으로 판단할 수 있다.
한편, 제스처 공간의 크기 산출이 연속적으로 이루어진 경우, 제스처 인식부(410)는 연속적으로 산출된 제스처 공간의 크기가 미리 설정된 기준보다 감소하는 방향으로 변화하면 제스처 공간의 크기가 감소한 것으로 판단한다.
차량(1)은 제스처 공간의 크기가 감소하면(623의 예), 입력된 제스처를 핀치 클로즈 제스처로 인식할 수 있다(624).
한편, 도 13에서는 4 손가락을 이용한 핀치 클로즈 제스처를 인식하는 방법에 대하여 설명하였으나, 터치되는 손가락이 3개인 경우 및 터치되는 손가락이 4개보다 많은 경우에도 동일한 방법으로 제스처 공간의 크기 감소 여부를 판단하여 핀치 클로즈 제스처가 인식될 수 있음은 통상의 기술자에게 자명하다.
도 14은 또 다른 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이고, 도 15은 또 다른 실시예에 따른 핀치 클로즈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
또 다른 실시예로, 제스처 인식부(410)는 미리 설정된 중심점(C)과 손가락 사이의 거리 변화를 이용하여 핀치 클로즈 제스처의 입력을 인식할 수 있다.
도 14 및 도 15를 참조하면, 차량(1)은 손가락의 위치 변화를 검출한다(631). 사용자가 터치 인터페이스(310)에 도 7b와 같이 3 손가락으로 핀치 클로즈 제스처를 입력하면, 터치 좌표는 도 15a에 도시된 것과 같이 변화한다. 이와 같은, 터치 좌표의 변화는 두 손가락의 위치 변화에 대응되므로, 제스처 인식부(410)는 터치 좌표의 변화에 따라 두 손가락의 위치 변화를 검출할 수 있다.
차량(1)은 검출된 위치 변화에 기초하여 복수의 손가락과 중심점(C) 사이의 거리 변화를 산출한다(632). 제스처 인식부(410)는 단속적으로 복수의 손가락과 중심점(C) 사이의 거리 변화를 산출할 수 있다.
상술한 바와 같이 손가락의 위치는 터치 좌표에 대응되므로, 제스처 인식부(410)는 도 15b와 같이 터치 시작시의 복수 개의 터치 좌표(f11, f21, f31)와 중심점(C) 사이의 거리(D11, D12, D13)의 평균값 D1을 산출하고, 도 15c와 같이 소정 시간이 경과한 후의 복수 개의 터치 좌표(f12, f22, f32)와 중심점(C) 사이의 거리(D21, D22, D23)의 평균값 D2 산출하고, 도 15d와 같이 터치 종료시의 복수 개의 터치 좌표(f13, f23, f33)와 중심점(C) 사이의 거리(D31, D32, D33)의 평균값 D3을 산출한다.
한편, 도 15와는 달리 제스처 인식부(410)는 연속적으로 복수의 손가락과 중심점(C) 사이의 거리의 변화를 산출할 수 있다.
차량(1)은 복수의 손가락과 중심점(C) 사이의 거리가 감소하였는지 판단하다(633). 제스처 인식부(410)는 복수의 손가락과 중심점(C) 사이의 거리가 산출 시간에 따라 D1, D2, D3 순서로 감소하면 복수의 손가락과 중심점(C) 사이의 거리가 감소한 것으로 판단할 수 있다.
한편, 복수의 손가락과 중심점(C) 사이의 거리 변화의 산출이 연속적으로 이루어진 경우, 제스처 인식부(410)는 연속적으로 측정된 두 손가락 사이의 거리가 미리 설정된 기준보다 감소하는 방향으로 변화하면 두 손가락 사이의 거리가 감소한 것으로 판단한다.
차량(1)은 복수의 손가락과 중심점(C)의 거리가 감소하면(633의 예), 입력된 제스처를 핀치 클로즈 제스처로 인식할 수 있다(634).
도 16a와 도 16b는 핀치 클로즈 제스처의 인식에 따른 디스플레이부(200)의 화면 변화를 설명하기 위한 도면들이고, 도 17은 핀치 클로즈 제스처의 입력에 따른 디스플레이 제어 방법을 도시한 도면이다.
사용자가 입력한 제스처가 핀치 클로즈 제스처로 인식되면, 제스처 인식기(410)는 핀치 클로즈 제스처에 대응하여, 디스플레이부(200)에 표시되는 아이콘의 개수가 감소하도록 디스플레이부(200)를 제어할 수 있다.
즉, 도 5과 같이 6개의 아이콘이 표시된 상태에서 핀치 클로즈 제스처가 입력되면, 디스플레이부(200)에 표시되는 아이콘의 개수는 도 16과 같이 감소한다.
이때, 표시되는 아이콘의 개수는 핀치 클로즈 제스처의 크기에 따라 결정될 수 있다. 예를 들어, 핀치 클로즈 제스처의 크기가 임계치보다 작은 경우에는 도 16a와 같이 5개의 아이콘(201 내지 206)이 표시되고, 핀치 클로즈 제스처의 크기가 임계치보다 큰 경우에는 도 16b와 같이 4개의 아이콘(201 내지 204)이 표시될 수 있다.
또한, 디스플레이부(200)에 표시되지 않을 아이콘은 미리 설정된 우선 순위 리스트(451)의 우선 순위 정보에 따라 결정될 수 있다.
이하. 도 17을 참조하여, 핀치 클로즈 제스처에 따른 디스플레이 제어 방법을 상세히 설명한다.
도 17을 참조하면, 차량(1)은 핀치 클로즈 제스처의 크기에 기초하여 삭제될 아이콘의 개수를 결정한다(651). 제스처 인식부(410)는 핀치 클로즈 제스처의 크기를 산출하고, 산출된 핀치 클로즈 제스처의 크기에 따라 삭제될 아이콘의 개수를 결정할 수 있다. 클로즈 제스처의 크기의 산출 방법은 핀치 클로즈 제스처의 인식 방법에 따라 달라질 수 있다.
예를 들어, 도 11과 같이 두 손가락 사이의 거리에 기초하여 핀치 클로즈 제스처를 인식한 경우, 두 손가락 사이의 거리 감소율이 높을수록 핀치 클로즈 제스처가 큰 것으로 판단될 수 있다.
또한, 도 13과 같이 제스처 공간의 크기 감소에 기초하여 핀치 클로즈 제스처를 인식한 경우, 제스처 공간의 크기 감소율이 높을수록 핀치 클로즈 제스처가 큰 것으로 판단될 수 있다.
또한, 도 15와 같이 복수 개의 손가락과 중심점(C) 사이의 거리에 기초하여 핀치 클로즈 제스처를 인식한 경우, 복수의 손가락과 중심점(C) 사이의 거리 감소율이 높을수록 핀치 클로즈 제스처가 큰 것으로 판단될 수 있다.
차량(1)은 우선 순위 리스트에 기초하여 삭제될 아이콘을 결정한다(652). 삭제될 아이콘의 미리 설정된 우선 순위에 따라 결정된다. 즉, 우선 순위가 낮은 메뉴에 대응되는 아이콘이 먼저 삭제된다.
예를 들어, 우선 순위 리스트(451)가 도 6과 같이 설정된 경우, 메뉴의 우선 순위가 공조기 아이콘(206), 전화 아이콘(205) 순서로 삭제될 아이콘이 결정된다.
차량(1)은 결정된 아이콘을 삭제하여 화면을 표시한다(653). 예를 들어, 1개의 아이콘이 삭제되면 도 16a과 같이 공조기 아이콘(206)이 삭제되고, 네비게이션 아이콘(201), 비디오 아이콘(202), 오디오 아이콘(203), 설정 아이콘(204), 전화 아이콘(205)이 표시된다.
또한, 2개의 아이콘이 삭제되면 도 16b와 같이 공조기 아이콘(206), 및 전화 아이콘(205)이 삭제되고, 네비게이션 아이콘(201), 비디오 아이콘(202), 오디오 아이콘(203), 설정 아이콘(204)이 표시된다.
한편, 아이콘의 삭제에 대응하여 화면의 표시되는 아이콘의 크기나 배치도 조절될 수 있다.
한편, 제스처 인식기(410)는 도 8에 도시된 핀치 오픈 제스처를 인식할 수 있다. 이하, 핀치 오픈 제스처의 인식 방법에 대하여 구체적으로 설명한다.
도 18은 일 실시예에 따른 핀치 오픈 제스처의 인식 방법을 도시한 순서도이고, 도 19은 일 실시예에 따른 핀치 오픈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
일 실시예로, 제스처 인식부(410)는 손가락 사이의 거리 변화를 이용하여 핀치 오픈 제스처의 입력을 인식할 수 있다.
도 18 및 도 19를 참조하면, 차량(1)은 두 손가락의 위치 변화를 검출한다(711). 사용자가 터치 인터페이스(310)에 도 8a와 같이 두 손가락으로 핀치 오픈 제스처를 입력하면, 터치 좌표는 도 19에 도시된 것과 같이 변화한다. 이와 같은, 터치 좌표의 변화는 두 손가락의 위치 변화에 대응되므로, 제스처 인식부(410)는 터치 좌표의 변화에 따라 두 손가락의 위치 변화를 검출할 수 있다.
차량(1)은 검출된 위치 변화에 기초하여 두 손가락 사이의 거리 변화를 산출한다(712). 제스처 인식부(410)는 단속적으로 두 손가락 사이의 거리 변화를 산출할 수 있다.
상술한 바와 같이 두 손가락의 위치는 터치 좌표에 대응되므로, 제스처 인식부(410)는 터치 시작시의 터치 좌표(f11, f21) 간의 거리 D1를 터치 시작시의 두 손가락 사이의 거리로, 소정 시간이 경과한 후의 터치 좌표(f12, f22) 간의 거리 D2를 소정 시간에서의 두 손가락 사이의 거리로, 터치 종료시의 터치 좌표(f13, f23) 간의 거리 D3를 터치 종료시의 두 손가락 사이의 거리로 산출할 수 있다.
한편, 도 19와는 달리 제스처 인식부(410)는 연속적으로 두 손가락 사이의 거리 변화를 산출할 수 있다.
차량(1)은 두 손가락 사이의 거리가 증가하였는지 판단하다(713). 제스처 인식부(410)는 두 손가락 사이의 거리 변화에 기초하여 두 손가락 사이의 거리가 증가하였는지 판단할 수 있다. 구체적으로, 제스처 인식부(410)는 두 손가락 사이의 거리가 산출 시간에 따라 D1, D2, D3 순서로 증가하면, 두 손가락 사이의 거리가 증가한 것으로 판단한다.
한편, 두 손가락 사이의 거리 변화의 산출이 연속적으로 이루어진 경우, 제스처 인식부(410)는 연속적으로 산출된 두 손가락 사이의 거리가 증가하는 방향으로 변화하면 두 손가락 사이의 거리가 증가한 것으로 판단한다.
차량(1)은 두 손가락 사이의 거리가 증가하면(713의 예), 입력된 제스처를 핀치 오픈 제스처로 인식할 수 있다(714).
도 20은 다른 실시예에 따른 핀치 오픈 제스처의 인식 방법을 도시한 순서도이고, 도 21은 다른 실시예에 따른 핀치 오픈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
다른 실시예로, 제스처 인식부(410)는 복수 개의 손가락에 의하여 형성하는 제스처 공간의 크기 변화를 이용하여 핀치 오픈 제스처의 입력을 인식할 수 있다.
도 20 및 도 21를 참조하면, 차량(1)은 손가락의 위치 변화를 검출한다(721). 사용자가 터치 인터페이스(310)에 도 8c와 같이 4개의 손가락으로 핀치 오픈 제스처가 입력하면, 터치 좌표는 각각 도 21에 도시된 것과 같이 변화한다. 이와 같은, 터치 좌표의 변화는 손가락의 위치 변화에 대응되므로, 제스처 인식부(410)는 터치 좌표의 변화에 따라 손가락의 위치 변화를 검출할 수 있다.
차량(1)은 검출된 위치 변화에 기초하여 복수의 손가락이 형성하는 제스처 공간의 크기 변화를 산출한다(722). 제스처 인식부(410)는 단속적으로 복수의 손가락이 형성하는 제스처 공간의 크기를 산출할 수 있다.
상술한 바와 같이 손가락의 위치는 터치 좌표에 대응되므로, 제스처 인식부(410)는 도 21과 같이 터치 시작시의 복수 개의 터치 좌표(f11, f21, f31, f41)를 서로 연결하여 터치 시작시의 제스처 공간 S1을 산출하고, 소정 시간이 경과한 후의 복수 개의 터치 좌표(f12, f22, f32, f42)를 서로 연결하여 소정 시간이 경과한 후의 제스처 공간 S2을 산출하고, 터치 종료시의 복수 개의 터치 좌표(f13, f32, f33, f43)를 서로 연결하여 터치 종료시의 제스처 공간 S3을 산출할 수 있다.
한편, 도 21과는 달리 제스처 인식부(410)는 연속적으로 제스처 공간을 산출할 수 있다.
차량(1)은 제스처 공간의 크기가 증가하였는지 판단하다(723). 제스처 인식부(410)는 시간에 따라 산출된 제스처 공간의 크기를 비교하여 제스처 공간의 크기가 연속적으로 증가하는 판단한다. 구체적으로, 제스처 인식부(410)는 제스처 공간의 크기가 산출 시간에 따라 S1, S2, S3 순서로 증가하면, 제스처 공간의 크기가 증가한 것으로 판단할 수 있다.
한편, 제스처 공간의 크기 산출이 연속적으로 이루어진 경우, 제스처 인식부(410)는 연속적으로 산출된 제스처 공간의 크기가 미리 설정된 기준보다 증가하는 방향으로 변화하는 경우, 제스처 공간의 크기가 증가한 것으로 판단한다.
차량(1)은 제스처 공간의 크기가 증가하면(723의 예), 입력된 제스처를 핀치 오픈 제스처로 인식할 수 있다(724).
한편, 도 21에서는 4 손가락을 이용한 핀치 오픈 제스처를 인식하는 방법에 대하여 설명하였으나, 터치되는 손가락이 3개인 경우 및 터치되는 손가락이 4개보다 많은 경우에도 동일한 방법으로 제스처 공간의 크기 증가 여부에 기초하여 핀치 오픈 제스처가 인식될 수 있음은 통상의 기술자에게 자명하다.
도 22은 또 다른 실시예에 따른 핀치 오픈 제스처의 인식 방법을 도시한 순서도이고, 도 23은 또 다른 실시예에 따른 핀치 오픈 제스처의 입력에 따른 터치 좌표의 변화를 도시한 도면이다.
제스처 인식부(410)는 중심점(C)과 손가락 사이의 거리 변화를 이용하여 핀치 오픈 제스처의 입력을 인식할 수 있다.
도 22 및 도 23를 참조하면, 차량(1)은 손가락의 위치 변화를 검출한다(731). 사용자가 터치 인터페이스(310)에 도 8b와 같이 3 손가락으로 핀치 오픈 제스처를 입력하면, 터치 좌표는 도 23a에 도시된 것과 같이 변화한다. 이와 같은, 터치 좌표의 변화는 두 손가락의 위치 변화에 대응되므로, 제스처 인식부(410)는 터치 좌표의 변화에 따라 두 손가락의 위치 변화를 검출할 수 있다.
차량(1)은 검출된 위치 변화에 기초하여 복수의 손가락과 중심점(C) 사이의 거리 변화를 산출한다(732). 제스처 인식부(410)는 단속적으로 복수의 손가락과 중심점(C) 사이의 거리 변화를 산출할 수 있다.
상술한 바와 같이 손가락의 위치는 터치 좌표에 대응되므로, 제스처 인식부(410)는 도 23b와 같이 터치 시작시의 복수 개의 터치 좌표(f11, f21, f31)와 중심점(C) 사이의 거리(D11, D12, D13)의 평균값 D1을 산출하고, 도 23c와 같이 소정 시간이 경과한 후의 복수 개의 터치 좌표(f12, f22, f32)와 중심점(C) 사이의 거리(D21, D22, D23)의 평균값 D2 산출하고, 도 23d와 같이 터치 종료시의 복수 개의 터치 좌표(f13, f23, f33)와 중심점(C) 사이의 거리(D31, D32, D33)의 평균값 D3을 산출한다.
한편, 도 23과는 달리 제스처 인식부(410)는 연속적으로 복수의 손가락과 중심점(C) 사이의 거리의 변화를 산출할 수 있다.
차량(1)은 복수의 손가락과 중심점(C) 사이의 거리가 증가하였는지 판단하다(733). 제스처 인식부(410)는 복수의 손가락과 중심점(C) 사이의 거리가 산출 시간에 따라 D1, D2, D3 순서로 증가하면 복수의 손가락과 중심점(C) 사이의 거리가 증가한 것으로 판단할 수 있다.
한편, 복수의 손가락과 중심점(C) 사이의 거리 변화의 산출이 연속적으로 이루어진 경우, 제스처 인식부(410)는 연속적으로 측정된 두 손가락 사이의 거리가 미리 설정된 기준보다 증가하는 방향으로 변화하면 두 손가락 사이의 거리가 증가한 것으로 판단한다.
차량(1)은 복수의 손가락과 중심점(C)의 거리가 증가하면(733의 예), 입력된 제스처를 핀치 오픈 제스처로 인식할 수 있다(734).
도 24a와 도 24b는 핀치 오픈 제스처의 인식에 따른 디스플레이부의 화면 변화를 설명하기 위한 도면들이고, 도 25은 핀치 오픈 제스처의 입력에 따른 디스플레이 제어 방법을 도시한 도면이다.
사용자가 입력한 제스처가 핀치 오픈 제스처로 인식되면, 제스처 인식기(410)는 핀치 오픈 제스처에 대응하여, 디스플레이부(200)에 표시되는 아이콘이 증가하도록 디스플레이부(200)를 제어할 수 있다.
즉, 도 5과 같이 6개의 아이콘이 표시된 상태에서 핀치 오픈 제스처가 입력되면, 디스플레이부(200)에 표시되는 아이콘의 개수는 도 24와 같이 증가한다.
이때, 표시되는 아이콘의 개수는 핀치 오픈 제스처의 크기에 따라 결정될 수 있다. 예를 들어, 핀치 오픈 제스처의 크기가 임계치보다 작은 경우에는 도 24a와 같이 7개의 아이콘(201 내지 207)이 표시되고, 핀치 오픈 제스처의 크기가 임계치보다 큰 경우에는 도 24b와 같이 8개의 아이콘(201 내지 207)이 표시될 수 있다.
또한, 디스플레이부(200)에 추가로 표시될 아이콘은 미리 설정된 우선 순위 리스트(451)의 우선 순위 정보에 따라 결정될 수 있다.
이하. 도 25을 참조하여, 핀치 오픈 제스처에 따른 디스플레이 제어 방법을 상세히 설명한다.
도 25을 참조하면, 차량(1)은 핀치 오픈 제스처의 크기에 기초하여 추가될 아이콘의 개수를 결정한다(751). 제스처 인식부(410)는 핀치 오픈 제스처의 크기를 산출하고, 산출된 핀치 오픈 제스처의 크기에 따라 추가될 아이콘의 개수를 결정할 수 있다. 오픈 제스처의 크기의 산출 방법은 핀치 오픈 제스처의 인식 방법에 따라 달라질 수 있다.
예를 들어, 도 19와 같이 두 손가락 사이의 거리에 기초하여 핀치 오픈 제스처를 인식한 경우, 두 손가락 사이의 거리 증가율이 높을수록 핀치 오픈 제스처가 큰 것으로 판단될 수 있다.
또한, 도 21과 같이 제스처 공간의 크기 증가에 기초하여 핀치 오픈 제스처를 인식한 경우, 제스처 공간의 크기 증가율이 높을수록 핀치 오픈 제스처가 큰 것으로 판단될 수 있다.
또한, 도 23과 같이 복수 개의 손가락과 중심점(C) 사이의 거리에 기초하여 핀치 오픈 제스처를 인식한 경우, 복수의 손가락과 중심점(C) 사이의 거리 증가율이 높을수록 핀치 오픈 제스처가 큰 것으로 판단될 수 있다.
차량(1)은 미리 설정된 우선 순위에 기초하여 추가될 아이콘을 결정한다(752). 추가될 아이콘은 미리 설정된 우선 순위 리스트(451)에 따라 결정될 수 있다. 즉, 우선 순위가 높은 메뉴에 대응되는 아이콘이 먼저 추가된다.
예를 들어, 우선 순위 리스트(451)가 도 6과 같이 설정된 경우 메뉴의 우선 순위에 따라 음성 녹음 아이콘(207), 인터넷 아이콘(208) 순서로 아이콘이 추가된다.
차량(1)은 결정된 아이콘을 추가하여 화면을 표시한다(753). 예를 들어, 1개의 아이콘이 추가되면 도 24a과 같이 음성 녹음 아이콘(207)이 추가된 화면이 표시되고, 2개의 아이콘이 삭제되면 도 16b와 같이 음성 녹음 아이콘 (207), 및 인터넷 아이콘(208)이 추가된 화면이 표시된다.
한편, 아이콘의 삭제에 대응하여 화면의 표시되는 아이콘의 크기나 배치도 조절될 수 있다.
도 26은 로테이션 제스처의 인식에 따른 디스플레이부의 화면 변화를 설명하기 위한 도면들이고, 도 27은 일 실시예에 따른 핀치 클로즈 제스처의 인식 방법을 도시한 순서도이다.
제스처 인식부(410)는 도 9에 도시된 멀티 로테이션 제스처를 인식하고, 멀티 로테이션 제스처에 대응하여 디스플레이부(200)의 아이콘 구성이 변경되도록 디스플레이부(200)를 제어할 수 있다.
도 27을 참조하면, 차량(1)은 손가락의 회전 방향을 검출한다(811). 제스처 인식부(410)는 손가락의 위치 변화를 분석하여 각 손가락의 회전 방향을 검출한다.
차량(1)은 검출된 회전 방향의 규칙성이 있는지 판단한다(812). 즉, 제스처 인식부(410)는 복수 개의 손가락이 동일한 방향으로 회전하고 있는지 판단한다.
차량(1)은 검출된 회전 방향의 규칙성이 있으면(812), 멀티 로테이션 제스처로 인식한다(813).
차량(1)은 멀티 로테이션 제스처에 응답하여 아이콘의 구성을 변경하여 표시한다(814). 아이콘의 구성은 디스플레이부(200)에 표시되는 아이콘의 색상, 형상, 위치, 크기 및 그 배치를 의미하는 것으로, 제스처 인식부(410)의 제어에 의하여 디스플레이부(200)에 표시되는 아이콘의 구성이 변경될 수 있다.
예를 들어, 도 26에 도시된 바와 같이, 디스플레이부(200)의 표시되는 아이콘(201a 내지 206a)의 형상, 위치, 크기 및 그 배치가 변경된다.
차량(1)은 입력장치(100)의 조명 색상을 변경할 수 있다(815). 예를 들어, 입력장치(100)에서 조사되는 조명이 더 진해지거나, 입력장치(100)에서 조사되는 조명의 색상이 다른 변경될 수 있다.
도 28는 일 실시예에 따른 차량(1)의 제어 방법을 설명하기 위한 도면이다.
도 28을 참조하면, 차량(1)은 복수 개의 아이콘을 표시한다(911). 디스플레이부(200)는 복수 개의 아이콘을 구성된 화면을 표시한다. 사용자는 디스플레이부(200)에 표시된 복수 개의 아이콘을 이용하여 차량(1)의 기능을 제어하거나 설정을 변경할 수 있다.
이때, 화면에 표시되는 아이콘의 개수는 사용자의 음성 인식 결과에 따라 결정될 수 있다. 예를 들어, 사용자가 6개라고 발화하면, 도 5에 도시된 바와 같이 디스플레이부(200)에는 6개의 아이콘이 표시될 수 있다.
차량(1)은 사용자의 제스처를 인식한다(912). 차량(1)은 사용자의 손가락의 위치 변화를 검출하고, 검출된 위치 변화에 기초하여 사용자가 입력한 제스처를 인식할 수 있다.
차량(1)은 인식된 사용자의 제스처가 핀치 제스처인지 판단한다(913). 구체적으로, 차량(1)은 사용자가 손을 오므리는 핀치 클로즈 제스처인지 사용자가 손을 펼치는 핀치 오픈 제스처인지 판단할 수 있다.
인식된 제스처가 핀치 제스처이면, 차량(1)은 핀치 제스처에 응답하여 아이콘을 개수를 변경하여 표시한다(914). 구체적으로, 핀치 클로즈 제스처에 응답하여, 디스플레이부(200) 는 도 16과 같이 아이콘을 개수가 감소한 화면을 표시한다.
그리고, 핀치 오픈 제스처에 응답하여, 디스플레이부(200)는 도 24와 같이 아이콘의 개수가 증가한 화면을 표시한다.
이때, 감소하거나 추가될 아이콘의 개수는 사용자가 입력한 핀치 제스처의 크기에 따라 결정될 수 있으며, 감소하거나 추가될 아이콘은 우선 순위 리스트(451)에 의하여 결정될 수 있다.
차량(1)은 인식된 사용자의 제스처가 멀티 로테이트 제스처인지 판단한다(915).
인식된 제스처가 멀티 로테이트 제스처이면 아이콘의 구성을 변경하여 표시한다(916). 사용자의 멀티 로테이션 응답하여, 디스플레이부(200)는 아이콘의 색상, 형상, 위치, 크기 및 그 배치를 변경하여 표시할 수 있다.
이와 같이 사용자의 제스처를 기반으로 디스플레이부에 표시되는 아이콘이 개수와 구성이 변경하여 사용자의 기호에 대응되는 인터페이스를 제공할 수 있다.
본원 발명의 실시예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 차량 90: 음성 수신부
100: 입력 장치 200: 디스플레이부
300: 제스처 인터페이스 310: 터치 인터페이스
320: 공간 인터페이스 400: 제어부
410: 제스처 인식기 420: 음성 인식기
450: 저장부 451: 우선 순위 리스트

Claims (30)

  1. 사용자의 제스처를 입력 받는 제스처 인터페이스;
    복수의 아이콘을 표시하는 디스플레이부; 및
    상기 입력된 사용자의 제스처를 인식하고, 복수 개의 손가락에 의하여 형성되는 제스처 공간의 크기 변화를 검출하고, 상기 제스처 공간의 크기가 감소하면 핀치 클로즈 제스처로 인식하고, 상기 인식된 제스처가 핀치 클로즈 제스처이면 표시되는 아이콘의 개수가 변경되도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 디스플레이부는, 손을 오므리는 상기 핀치 클로즈 제스처에 응답하여 아이콘의 개수를 감소시켜 표시하는 차량.
  3. 제1항에 있어서,
    상기 제어부는, 두 손가락 사이의 거리 변화를 검출하고, 두 손가락 사이의 거리가 감소하면 상기 핀치 클로즈 제스처로 인식하는 차량.
  4. 사용자의 제스처를 입력 받는 제스처 인터페이스;
    복수의 아이콘을 표시하는 디스플레이부; 및
    상기 입력된 사용자의 제스처를 인식하고, 복수 개의 손가락에 의하여 형성되는 제스처 공간의 크기 변화를 검출하고, 상기 제스처 공간의 크기가 증가하면 핀치 오픈 제스처로 인식하고, 상기 인식된 제스처가 핀치 오픈 제스처이면 표시되는 아이콘의 개수가 변경되도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 차량.
  5. 제1항 또는 제4항에 있어서,
    상기 제어부는, 상기 복수 개의 손가락의 끝점을 연결하여 상기 제스처 공간을 형성하는 차량.
  6. 제4항에 있어서,
    상기 디스플레이부는, 손을 펼치는 상기 핀치 오픈 제스처에 응답하여 아이콘의 개수를 증가시켜 표시하는 차량.
  7. 제4항에 있어서,
    상기 제어부는, 두 손가락 사이의 거리 변화를 검출하고, 두 손가락 사이의 거리가 증가하면 상기 핀치 오픈 제스처로 인식하는 차량.
  8. 삭제
  9. 제1항 또는 제4항에 있어서,
    상기 제스처 인터페이스는, 사용자의 터치 입력을 감지하는 터치 인터페이스;를 포함하고,
    상기 제어부는 상기 터치 인터페이스에 의하여 검출된 터치 좌표를 이용하여 복수 개의 손가락의 위치 변화를 검출하고, 상기 복수 개의 손가락의 위치 변화에 기초하여 상기 사용자의 제스처를 인식하는 차량.
  10. 제9항에 있어서,
    상기 터치 인터페이스는 중심점을 더 포함하고,
    상기 제어부는 상기 복수 개의 손가락과 상기 중심점의 거리 변화에 기초하여 상기 사용자의 제스처를 인식하는 차량.
  11. 제10항에 있어서,
    상기 제어부는, 상기 복수 개의 손가락과 상기 중심점의 거리가 감소하면 핀치 클로즈 제스처로 인식하고, 상기 복수 개의 손가락과 상기 중심점의 거리가 증가하면 핀치 오픈 제스처로 인식하는 차량.
  12. 제1항 또는 제4항에 있어서,
    상기 제스처 인터페이스는 사용자에 대한 영상을 획득하여 사용자의 공간 제스처를 입력 받는 공간 인터페이스;를 더 포함하고,
    상기 제어부는 상기 영상에서 손가락을 검출하여 복수 개의 손가락의 위치 변화를 분석하고, 상기 복수 개의 손가락의 위치 변화에 기초하여 상기 사용자의 제스처를 인식하는 차량.
  13. 제1항 또는 제4항에 있어서,
    상기 디스플레이부는 손을 회전시키는 멀티 로테이션 제스처에 응답하여, 상기 복수 개의 아이콘의 구성을 변경하여 표시하는 차량.
  14. 제13항에 있어서,
    상기 아이콘의 구성은 상기 복수 개의 아이콘의 색상, 형상, 위치, 크기 및 배치 중 적어도 하나를 포함하는 차량.
  15. 제13항에 있어서,
    상기 제스처 인터페이스는 손을 회전시키는 상기 멀티 로테이션 제스처에 응답하여 조사하는 조명 색상이 변경되는 차량.
  16. 제1항 또는 제4항에 있어서,
    상기 제어부는, 상기 제스처의 공간 크기에 따라 상기 변경될 아이콘의 개수를 결정하는 차량.
  17. 제16항에 있어서,
    상기 제어부는, 미리 저장된 우선 순위 리스트에 저장된 우선 순위에 따라 상기 디스플레이부에 표시될 아이콘을 결정하는 차량.
  18. 복수 개의 아이콘을 표시하는 제1 표시 단계;
    입력된 복수 개의 손가락의 끝점에 의하여 형성되는 제스처 공간의 크기를 검출하는 단계;
    상기 제스처 공간의 크기가 감소하면, 핀치 클로즈 제스처로 인식하는 단계;및
    상기 인식된 제스처가 상기 핀치 클로즈 제스처이면, 상기 핀치 클로즈 제스처에 응답하여 아이콘 개수를 변경하여 표시하는 제2 표시 단계;를 포함하는 차량의 제어방법.
  19. 제18항에 있어서,
    상기 제2 표시 단계는, 손을 오므리는 상기 핀치 클로즈 제스처에 응답하여 표시되는 아이콘의 개수를 감소시키는 단계;를 포함하는 차량의 제어방법.
  20. 제18항에 있어서,
    상기 인식 단계는, 두 손가락 사이의 거리 변화를 검출하는 단계; 및
    두 손가락 사이의 거리가 감소하면 상기 핀치 클로즈 제스처로 인식하는 단계;를 포함하는 차량의 제어방법.
  21. 삭제
  22. 제18항에 있어서,
    상기 인식 단계는, 복수 개의 손가락과 미리 설정된 중심점과의 거리를 산출하는 단계; 및
    상기 복수 개의 손가락과 미리 설정된 중심점과의 거리가 감소하면, 상기 핀치 클로즈 제스처로 인식하는 단계;를 포함하는 차량의 제어방법.
  23. 복수 개의 아이콘을 표시하는 제1 표시 단계;
    입력된 사용자의 복수 개의 손가락의 끝점에 의하여 형성되는 제스처 공간의 크기를 검출하는 단계;
    상기 제스처 공간의 크기가 증가하면, 핀치 오픈 제스처로 인식하는 단계; 및
    상기 인식된 제스처가 상기 핀치 오픈 제스처이면, 아이콘 개수를 변경하여 표시하는 제2 표시 단계;를 포함하는 차량의 제어방법.
  24. 제23항에 있어서,
    상기 인식 단계는, 두 손가락 사이의 거리 변화를 검출하는 단계; 및
    두 손가락 사이의 거리가 증가하면 상기 핀치 오픈 제스처로 인식하는 단계;를 포함하는 차량의 제어방법.
  25. 제23항에 있어서,
    상기 인식 단계는, 복수 개의 손가락의 끝점에 의하여 형성되는 제스처 공간의 크기를 검출하는 단계; 및
    상기 제스처 공간의 크기가 증가하면, 상기 핀치 오픈 제스처로 인식하는 단계;를 포함하는 차량의 제어방법.
  26. 제23항에 있어서,
    상기 인식 단계는, 복수 개의 손가락과 미리 설정된 중심점과의 거리를 산출하는 단계; 및
    상기 복수 개의 손가락과 미리 설정된 중심점과의 거리가 증가하면, 상기 핀치 오픈 제스처로 인식하는 단계;를 포함하는 차량의 제어방법.
  27. 제18항 또는 제23항에 있어서,
    손을 회전시키는 멀티 로테이션 제스처에 응답하여 상기 복수 개의 아이콘의 구성을 변경시켜 표시하는 제3 표시 단계;를 더 포함하는 차량의 제어방법.
  28. 제18항 또는 제23항에 있어서,
    손을 회전시키는 멀티 로테이션 제스처에 응답하여 제스처 인터페이스의 조명 색상을 변경하는 단계;를 더 포함하는 차량의 제어방법.
  29. 제18항 또는 제23항에 있어서,
    상기 인식 단계는, 터치 인터페이스에 의하여 검출된 터치 좌표를 이용하여 복수 개의 손가락의 위치 변화를 검출하는 단계;를 포함하는 차량의 제어방법.
  30. 제 23항에 있어서,
    상기 제2 표시 단계는, 손을 펼치는 상기 핀치 오픈 제스처에 응답하여 표시되는 아이콘의 개수를 증가시키는 단계;를 포함하는 차량의 제어방법.
KR1020150092820A 2015-06-30 2015-06-30 차량 및 그 제어방법 Active KR101741691B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150092820A KR101741691B1 (ko) 2015-06-30 2015-06-30 차량 및 그 제어방법
US14/951,559 US20170003853A1 (en) 2015-06-30 2015-11-25 Vehicle and Method of Controlling the Same
DE102015223497.5A DE102015223497B4 (de) 2015-06-30 2015-11-26 Fahrzeug und verfahren zum steuern desselben
CN201510906502.5A CN106325493A (zh) 2015-06-30 2015-12-09 车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150092820A KR101741691B1 (ko) 2015-06-30 2015-06-30 차량 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170002902A KR20170002902A (ko) 2017-01-09
KR101741691B1 true KR101741691B1 (ko) 2017-05-30

Family

ID=57582530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150092820A Active KR101741691B1 (ko) 2015-06-30 2015-06-30 차량 및 그 제어방법

Country Status (4)

Country Link
US (1) US20170003853A1 (ko)
KR (1) KR101741691B1 (ko)
CN (1) CN106325493A (ko)
DE (1) DE102015223497B4 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676431B1 (en) 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
USD750663S1 (en) * 2013-03-12 2016-03-01 Google Inc. Display screen or a portion thereof with graphical user interface
USD777784S1 (en) * 2015-08-26 2017-01-31 Google Inc. Display screen with icon
JP2017174071A (ja) * 2016-03-23 2017-09-28 株式会社東海理化電機製作所 操作装置
KR102080725B1 (ko) * 2018-05-28 2020-02-24 연세대학교 산학협력단 스트레처블 디스플레이를 이용한 차량용 유저인터페이스 제공 장치 및 그 동작 방법
KR102659058B1 (ko) * 2018-12-13 2024-04-19 현대자동차주식회사 디스플레이를 구비한 조작계를 이용한 차량용 제어 장치 및 그 제어 방법
CN114911935A (zh) * 2019-05-17 2022-08-16 爱酷赛股份有限公司 聚类分析方法、聚类分析系统及聚类分析程序
CN110147198A (zh) * 2019-05-21 2019-08-20 北京伏羲车联信息科技有限公司 一种手势识别方法、手势识别装置及车辆
CN110333782B (zh) * 2019-06-25 2023-10-20 浙江吉利控股集团有限公司 一种大灯照射角度调节方法及其系统
USD989717S1 (en) * 2021-06-14 2023-06-20 Buzzztv Ltd Display screen
CN115237302A (zh) * 2021-06-30 2022-10-25 达闼机器人股份有限公司 基于数字孪生的场景切换方法、装置、介质和电子设备
WO2024049042A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 제스쳐의 궤적을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222229A (ja) * 2012-04-12 2013-10-28 Konica Minolta Inc 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム
JP2013257775A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチセンサ

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP5636678B2 (ja) * 2010-01-19 2014-12-10 ソニー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US8990732B2 (en) * 2010-05-14 2015-03-24 Sap Se Value interval selection on multi-touch devices
TWI441051B (zh) * 2011-01-25 2014-06-11 Compal Electronics Inc 電子裝置及其資訊呈現方法
US20140309878A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Providing gesture control of associated vehicle functions across vehicle zones
US20140062917A1 (en) * 2012-08-29 2014-03-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling zoom function in an electronic device
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
CN103777748A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种体感输入方法及装置
CN108089789A (zh) * 2013-01-28 2018-05-29 华为终端（东莞）有限公司 图标显示的调整方法和终端
KR20140097820A (ko) * 2013-01-30 2014-08-07 삼성전자주식회사 전자장치에서 웹페이지 내의 특정 객체의 속성을 조절하기 위한 방법 및 장치
JP6102474B2 (ja) * 2013-05-01 2017-03-29 富士通株式会社 表示装置、入力制御方法、及び入力制御プログラム
CN103336665B (zh) * 2013-07-15 2016-07-20 小米科技有限责任公司 一种显示方法、装置和终端设备
JP5798160B2 (ja) * 2013-08-09 2015-10-21 本田技研工業株式会社 車両用操作装置
WO2015092489A1 (en) * 2013-12-20 2015-06-25 Sony Corporation Method of controlling a graphical user interface for a mobile electronic device
CN103714345B (zh) * 2013-12-27 2018-04-06 Tcl集团股份有限公司 一种双目立体视觉检测手指指尖空间位置的方法与系统
CN103699331A (zh) * 2014-01-07 2014-04-02 东华大学 一种控制屏幕画面缩放的手势方法
JP2017068291A (ja) * 2014-02-14 2017-04-06 アルプス電気株式会社 入力方法、及び入力装置
JP6330611B2 (ja) * 2014-10-09 2018-05-30 トヨタ車体株式会社 ウィンドウ表示装置
CN104407746A (zh) * 2014-12-01 2015-03-11 湖北印象光电信息产业有限公司 一种基于红外光电技术的多点触摸系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222229A (ja) * 2012-04-12 2013-10-28 Konica Minolta Inc 入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラム
JP2013257775A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチセンサ

Also Published As

Publication number Publication date
DE102015223497A1 (de) 2017-01-05
CN106325493A (zh) 2017-01-11
KR20170002902A (ko) 2017-01-09
US20170003853A1 (en) 2017-01-05
DE102015223497B4 (de) 2025-07-24

Similar Documents

Publication Publication Date Title
KR101741691B1 (ko) 차량 및 그 제어방법
CN110045825B (zh) 用于车辆交互控制的手势识别系统
KR101537936B1 (ko) 차량 및 그 제어방법
US8760432B2 (en) Finger pointing, gesture based human-machine interface for vehicles
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
KR101575650B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
US12353636B2 (en) Methods and devices for hand-on-wheel gesture interaction for controls
US20110205155A1 (en) Methods and Systems for Position Detection Using an Interactive Volume
JP2003131785A (ja) インタフェース装置および操作制御方法およびプログラム製品
JP2016538780A (ja) 車両の機能を遠隔制御する方法及び装置
US20170108988A1 (en) Method and apparatus for recognizing a touch drag gesture on a curved screen
EP2815292A1 (en) Engagement-dependent gesture recognition
KR102333631B1 (ko) 스티어링 휠, 이를 포함하는 차량, 및 차량의 제어방법
US20160378200A1 (en) Touch input device, vehicle comprising the same, and method for controlling the same
CN106314157A (zh) 用于车辆的输入装置及包括该输入装置的车辆
JP6144501B2 (ja) 表示装置、および、表示方法
CN105264463A (zh) 用于汽车导航仪的手势输入装置
KR102684822B1 (ko) 입력장치 및 이를 포함하는 차량
KR102080725B1 (ko) 스트레처블 디스플레이를 이용한 차량용 유저인터페이스 제공 장치 및 그 동작 방법
CN106095299A (zh) 触摸输入设备和具有该触摸输入设备的交通工具
US20170060312A1 (en) Touch input device and vehicle including touch input device
US20140098998A1 (en) Method and system for controlling operation of a vehicle in response to an image
RU2410259C2 (ru) Интерактивное устройство управления и способ эксплуатации интерактивного устройства управления
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
KR20170029254A (ko) 차량, 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150630

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160803

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20170214

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170511

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170524

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170525

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200428

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210428

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220427

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230425

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240425

Start annual number: 8

End annual number: 8