[go: up one dir, main page]

KR101219933B1 - 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법 - Google Patents

증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법 Download PDF

Info

Publication number
KR101219933B1
KR101219933B1 KR1020100089436A KR20100089436A KR101219933B1 KR 101219933 B1 KR101219933 B1 KR 101219933B1 KR 1020100089436 A KR1020100089436 A KR 1020100089436A KR 20100089436 A KR20100089436 A KR 20100089436A KR 101219933 B1 KR101219933 B1 KR 101219933B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
mobile device
information
pattern information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100089436A
Other languages
English (en)
Other versions
KR20120027696A (ko
Inventor
석동철
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020100089436A priority Critical patent/KR101219933B1/ko
Priority to JP2010260248A priority patent/JP5666264B2/ja
Priority to US12/955,267 priority patent/US8761962B2/en
Priority to DE102010062282.6A priority patent/DE102010062282B4/de
Priority to CN201010568087.4A priority patent/CN102398600B/zh
Publication of KR20120027696A publication Critical patent/KR20120027696A/ko
Application granted granted Critical
Publication of KR101219933B1 publication Critical patent/KR101219933B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 증강현실을 이용한 차량내 디바이스 제어 시스템 및 그 방법에 관한 기술이다.
본 발명에 따른 증강현실을 이용한 차량내 디바이스 제어 시스템은, 차량 대상부를 이미지로 인식하여 상기 이미지의 증강현실 구현을 통해 차량 제어 명령을 입력받는 모바일 장치와, 상기 모바일 장치로 차종정보를 전송하고, 상기 모바일 장치로부터 명령신호를 수신하면 상기 명령신호에 해당하는 차량내 디바이스를 제어하는 구동제어부를 포함한다.
본 발명은 차량내 디바이스를 모바일 장치의 증강현실 이미지상에서 원격제어하도록 함으로써 사용자의 편의성을 증대시키는 효과가 있다.

Description

증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법{System for controlling device in vehicle using augmented reality and thereof method}
본 발명은 증강현실을 이용한 차량내 디바이스 제어 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 모바일 장치를 이용하여 차량내 디바이스를 증강현실로 제어할 수 있도록 하는 기술에 관한 것이다.
일반적으로 차량의 에어컨, 오디오, 네비게이션, 라디오, DMB 등의 차량내 조작버튼은 차량내의 센터페시아 즉 운전자 및 조수석 사이 가운데에 위치하고 있다.
이에, 차량의 뒷자석에서 에어컨, 오디오, 네비게이션 등의 차량내 조작버튼을 조작하기 어렵고, 뒷자석에서 승객이 일어나서 상체를 구부린 상태로 차량의 센터페시아의 조작부를 조작하는 경우 차량이 급발진하거나 급정지하는 경우 사고로 이어질 가능성이 높은 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 차량내 디바이스를 모바일 장치의 증강현실을 이용하여 원격으로 제어할 수 있도록 하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 증강현실을 이용한 차량내 디바이스 제어 시스템은, 차량 대상부를 이미지로 인식하여 상기 이미지의 증강현실 구현을 통해 차량 제어 명령을 입력받는 모바일 장치와, 상기 모바일 장치로 차종정보를 전송하고, 상기 모바일 장치로부터 명령신호를 수신하면 상기 명령신호에 해당하는 차량내 디바이스를 제어하는 구동제어부를 포함한다.
또한, 상기 모바일 장치는, 상기 차량 대상부의 이미지를 획득하는 카메라와, 상기 차량 대상부의 이미지 패턴정보 및 상기 차종정보를 저장하는 저장부와, 상기 카메라로부터 상기 이미지가 획득되면, 상기 저장부에 저장되어 있는 이미지 패턴정보와 상기 획득된 이미지의 패턴정보를 비교하여 일치하는 경우 차량 원격제어모드로 진입하고, 명령어 입력을 위한 아이콘을 제공하며 상기 아이콘을 통해 상기 차량 제어 명령이 입력되면 상기 차량 제어 명령을 상기 구동제어부로의 전송을 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 차량 대상부의 이미지가 획득되면, 획득된 상기 차량 대상부의 이미지를 상기 차종정보에 따라 참조영역과 비참조 영역으로 구분하고, 상기 저장부에 저장되어 있는 상기 이미지 패턴정보와 상기 획득된 이미지의 참조영역의 패턴정보를 비교하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 차량 대상부가 차량의 센터페시아인 경우, 상기 참조영역은 에어컨 그릴영역인 것을 특징으로 한다.
또한, 상기 차량내 디바이스는, 에어컨, 오디오, 라디오, DMB, 네비게이션, 차량 실내 조명, 창문 중 어느 하나인 것을 특징으로 한다.
또한, 상기 구동제어부는, 상기 모바일 장치가 차량과 일정거리내에 진입하면, 상기 차량의 차종정보를 상기 모바일장치로 전송하는 것을 특징으로 한다.
또한, 상기 구동제어부는, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하는 경우, 상기 차량의 차종정보를 상기 모바일장치로 전송하는 것을 특징으로 한다.
또한, 상기 모바일 장치는, 상기 차량 대상부의 이미지를 획득하는 카메라; 차종별 차량 대상부의 이미지 패턴정보를 저장하되, 상기 이미지상의 조작버튼에 해당하는 좌표정보를 저장하는 저장부; 상기 카메라로부터 상기 이미지가 획득되면, 상기 저장부에 저장되어 있는 이미지 패턴정보와 상기 획득된 이미지의 패턴정보를 비교하여 일치하는 경우 차량 원격제어모드로 진입하고, 상기 획득된 이미지상의 조작버튼이 터치되면, 터치된 부분의 좌표정보와 상기 저장부에 저장된 좌표정보를 비교하여 차량 제어 명령을 판단한 후 상기 차량 제어 명령을 상기 구동제어부로의 전송을 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따른 증강현실을 이용한 차량내 디바이스 제어방법은, 차종별 센터페시아 이미지 패턴정보를 모바일 장치에 미리 저장하는 과정; 상기 모바일 장치가 차량으로부터 차종정보를 수신하는 과정; 차량 대상부의 이미지가 모바일 장치의 화면상에 나타나도록 하여 이미지를 획득하는 과정; 상기 모바일 장치에서 상기 차종정보에 따라 상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지의 패턴정보를 비교하는 과정; 상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지 패턴정보가 일치하는 경우, 상기 모바일 장치가 차량 원격 제어모드로 진입하는 과정; 및 상기 모바일 장치가 차량의 디바이스 제어 명령 아이콘을 화면상에 표시하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 차종정보를 수신하는 과정은, 상기 모바일 장치가 차량과 일정거리내로 진입한 경우, 상기 차량이 상기 모바일 장치로 상기 차량의 차종정보를 전송하는 것을 특징으로 한다.
또한, 상기 차종정보를 수신하는 과정은, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하는 경우, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하여 상기 차량의 차종정보를 수신하는 것을 특징으로 한다.
또한, 상기 패턴정보를 비교하는 과정은, 상기 획득된 이미지를 상기 차종정보에 따라 참조영역과 비참조영역으로 구분하는 과정; 및 상기 획득된 이미지의 참조영역의 패턴정보와 상기 미리 저장된 이미지 패턴정보를 비교하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 차량대상부가 센터페시아인경우, 에어컨 그릴부가 상기 참조영역이 되고, 센터부가 상기 비참조영역이 되는 것을 특징으로 한다.
또한, 차량의 디바이스 제어 명령 아이콘을 선택받으면, 상기 아이콘에 해당하는 명령신호를 구동제어부로 무선송신하는 과정; 상기 구동제어부가 수신한 명령신호에 따라 차량내 디바이스를 제어하는 과정을 더 포함하는 것을 특징으로 한다.
또한, 상기 차량내 디바이스는, 에어컨, 오디오, 라디오, DMB, 네비게이션, 차량 실내 조명, 창문 중 어느 하나인 것을 특징으로 한다.
본 발명에 따른 증강현실을 이용한 차량내 디바이스 제어 방법은, 차종별 차량 대상부의 이미지 패턴정보 및 상기 차량 대상부의 이미지 상의 좌표정보를 모바일 장치에 미리 저장하는 과정과, 상기 모바일 장치가 차량으로부터 차종정보를 수신하는 과정과, 상기 차량 대상부의 이미지가 모바일 장치의 화면상에 나타나도록 하여 이미지를 획득하는 과정과, 상기 모바일 장치에서 상기 차종정보에 따라 상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지의 패턴정보를 비교하는 과정과, 상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지 패턴정보가 일치하는 경우, 상기 모바일 장치가 차량 원격 제어모드로 진입하는 과정과, 상기 모바일 장치가 화면에 표시한 상기 차량 대상부의 이미지 터치를 통해 차량내 디바이스 제어 명령을 입력받는 과정과, 상기 차량내 디바이스 제어명령을 상기 차량으로 전송하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 차종정보를 수신하는 과정은, 상기 모바일 장치가 차량과 일정거리내로 진입한 경우, 상기 차량이 상기 모바일 장치로 상기 차량의 차종정보를 전송하는 것을 특징으로 한다.
또한, 상기 차종정보를 수신하는 과정은, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하는 경우, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하여 상기 차량의 차종정보를 수신하는 것을 특징으로 한다.
또한, 상기 패턴정보를 비교하는 과정은, 상기 획득된 이미지를 상기 차종정보에 따라 참조영역과 비참조영역으로 구분하는 과정과, 상기 획득된 이미지의 참조영역의 패턴정보와 상기 미리 저장된 이미지 패턴정보를 비교하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 차량내 디바이스 제어 명령을 입력받는 과정은, 상기 모바일 장치가 화면에 표시한 상기 차량 대상부의 이미지가 터치되면, 터치된 부분의 좌표정보와 상기 미리 저장된 차량 대상부의 이미지 상의 좌표정보를 비교하여, 차량 제어 명령을 판단하는 것을 특징으로 한다.
상기와 같이 본 발명은 차량내 디바이스를 모바일 장치의 증강현실 이미지상에서 원격제어하도록 함으로써 사용자의 편의성을 증대시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 차량내 디바이스 제어 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 차량내 디바이스 제어 방법을 나타내는 순서도.
도 3은 모바일 장치의 화면에 센터페시아 이미지를 획득한 예시를 나타내는 도면.
도 4는 도 3의 센터페시아 이미지의 참조 영역과 비참조 영역을 구분한 예시를 나타내는 도면.
도 5 및 도 6은 차종별 에어컨 그릴을 이미지 패턴정보로 저장하는 예시를 나타내는 도면.
이하, 본 발명에 따른 증강현실을 이용한 차량내 디바이스 제어 시스템을 첨부된 도 1 내지 도 6을 참조하여 상세히 설명한다.
증강현실(Augmented Reality)은 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정확하게 정합하는 사용자 인터페이스 기술이다. 이러한 증강현실을 이용하면 사용자에게 보다 향상된 현실감 및 인지도를 제공할 수 있게 된다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 차량내 디바이스 제어 시스템의 구성도이다.
본 발명의 실시예에 따른 증강현실을 이용한 차량내 디바이스 제어 시스템은 모바일 장치(100), 구동제어부(200), 차량 대상부(300) 및 차량내 디바이스(400)를 포함한다.
모바일 장치(100)는 차량 대상부(300)의 이미지를 획득하고 이미지를 통해 차량 제어 명령을 입력받아 차량 제어 명령을 구동제어부(200)로 전송한다.이를 위해, 모바일 장치(100)는 카메라(100), 저장부(120), 무선통신부(130), 제어부(140) 및 표시부(150)를 구비한다. 이때, 모바일 장치(100)는 스마트폰 등의 각종 어플리케이션의 구현이 가능한 단말을 포함한다.
카메라(110)는 차량 대상부(300)의 이미지를 획득한다. 이때, 카메라(110)는 이미지를 촬영하지 않고 이미지가 모바일 장치(100)의 표시부(150)에 나타나도록 카메라(100)의 온(on) 상태를 유지시킨다.
저장부(120)는 구동제어부(200)로부터 수신한 차종정보, 차종별 차량 대상부(300)의 이미지 패턴정보 및 이미지 좌표정보를 저장한다. 이때, 차량대상부(300)가 센터페시아인 경우 차량 대상부(300)의 이미지 패턴정보는 에어컨 그릴의 패턴정보를 의미한다.
무선통신부(130)는 블루투스 등을 통해 구동제어부(200)와 무선통신을 수행한다.
제어부(140)는 카메라(110)로부터 이미지가 획득되면, 미리 수신한 차종정보에 따라 획득된 차량 대상부(300)의 이미지를 참조영역(320)과 비참조 영역(330)으로 구분하고, 저장부(120)에 저장되어 있는 차종별 차량대상부(300)의 이미지 패턴정보와 카메라(110)를 통해 획득된 이미지 참조영역의 패턴정보를 비교하여 일치하는 경우 차량 원격 제어모드로 진입하고, 차량 내 디바이스 제어 명령어 입력을 위한 아이콘을 제공한다. 그리고, 제어부(140)는 사용자로부터 아이콘을 통해 차량 제어 명령을 입력받으면 차량 제어 명령을 구동 제어부(200)로 전송하도록 제어한다.
또한, 제어부(140)는 카메라(110)를 통해 획득된 이미지상의 조작버튼이 터치되면, 터치된 부분의 좌표정보를 인식하고 터치된 부분의 좌표정보와 미리 저장해둔 이미지 좌표정보를 비교하여 조작버튼의 명령을 인식한다. 예를 들어, 쏘나타 차종의 센터페시아 이미지에서 오디오 버튼의 좌표가 (A, B), DMB 버튼의 좌표가 (C, D)로 저장되어 있는 경우, 카메라(110)를 통해 획득된 이미지상에서 사용자에 의해 터치된 부분의 좌표가 (C, D)인 경우 사용자가 DMB 버튼을 조작하고자 하는 것으로 인식하고 DMB 버튼 조작 명령신호를 구동제어부(200)로 전송하게 된다.
구동제어부(200)는 모바일 장치(100)로부터 명령신호를 수신하면 명령신호에 따라 차량내 디바이스(400)를 제어한다. 또한, 구동제어부(200)는 모바일 장치(100)가 차량과 일정거리 내에 진입하면, 차량의 차종정보를 모바일장치(100)로 전송한다.
차량대상부(300)는 원격제어를 위한 센터페시아(310) 등의 대상물을 포함한다.
차량내 디바이스(400)는 에어컨, 오디오, 라디오, DMB, 차량 실내 조명, 창문 개폐 등을 포함한다.
이하, 도 2를 참조하여 본 발명의 실시예에 따른 증강현실을 이용한 차량내 디바이스 제어 방법을 구체적으로 설명하기로 한다. 도 2에서는 차량의 센터페시아(310)를 제어하는 예를 개시하고 있으나, 본 발명은 차량의 도어 개폐, 창문 개폐 등 다양한 차량 제어에 적용될 수 있다.
먼저, 모바일 장치(100)의 저장부(120)에 차종별 센터페시아 이미지 패턴정보를 저장한다(S101). 이때, 모바일 장치(100)는 텔레매틱스 센터(미도시) 또는 차량 관련 사이트 등에서 차종별 센터페시아 이미지 패턴정보를 다운받아 미리 저장해두는 것이 바람직하다.
이때, 도 3과 같은 차종별 센터페시아 이미지는 도 4와 같이, 양측의 에어컨 그릴부(320)를 참조영역으로, 센터부(330)를 비참조영역으로 구분하고, 각 참조영역을 도 5 및 도 6과 같이 패턴화하여 차종별로 저장한다. 도 5는 에어컨 그릴부가 센터페시아 양측에 존재하는 경우의 패턴이미지이고, 도 6은 에어컨 그릴부가 센터페시아 상단에 나란히 존재하는 경우의 패턴이미지의 예이다.
그 후, 모바일 장치(100)와 차량이 무선통신을 수행하여 모바일 장치(100)는 차량의 구동제어부(200)로부터 차종정보를 수신한다(S102). 이때, 모바일 장치(100)가 차종정보를 수신하는 방법은, 모바일 장치(100)가 차량과 일정거리내로 진입하는 경우 이를 구동제어부(200)가 인지하여, 모바일 장치(100)로 차종 정보를 전송하도록 구현할 수 있다. 또한, 사용자가 차에 탑승 후 모바일 장치(100)가 차량으로 차종정보를 요청하는 경우(차량 원격 제어 어플리케이션을 구동시키는 경우), 모바일 장치(100)가 구동제어부(200)로 차종정보를 요청하고 구동제어부(200)가 모바일 장치(100)로 차종정보를 전송하도록 구현할 수도 있다.
그 후, 사용자에 의해 모바일 장치(100)의 카메라(110)가 구동되어 센터페시아(310)가 모바일 장치(100)의 화면상에 나타나도록 조정되면(S103), 제어부(140)는 화면상에 나타난 센터페시아 이미지를 도 4와 같이 차종에 따라 참조영역(320)과 비참조영역(330)으로 구분한다(S104). 예를 들어, 차종이 쏘나타인 경우, 에어컨 그릴이 도 5와 같이 양측에 위치하므로 화면상에 나타난 센터페시아 이미지의 양측면을 참조영역(320)으로 설정하고, 센터부를 비참조영역(330)으로 설정한다.
이어서, 제어부(140)는 화면상에 나타난 센터페시아 이미지의 참조영역(320)의 패턴정보와 상기 과정 S101에서 미리 저장해둔 차종별 센터페시아 이미지 패턴정보를 비교한다(S105).
상기 과정 S105의 비교 결과, 일치하지 않으면 카메라(110)의 위치 및 각도를 다시 조정하여 화면상에 센터페시아의 에어컨 그릴이 들어오도록 조정하도록 한다. 한편, 상기 과정 S105의 비교 결과, 일치하는 경우 제어부(140)는 차량 원격 제어 모드로 진입한다(S106).
그 후, 제어부(140)는 센터페시아 제어 아이콘을 모바일 장치(100)의 표시부(150)에 나타낸다(S107). 이때, 센터페시아 제어 아이콘은 에어컨, 네비게이션, 오디오, DMB, 차량 실내조명 등의 차량 내 제어관련 아이콘을 포함한다.
그 후, 제어부(140)는 사용자로부터 모바일장치(100)의 표시부(150)에 나타낸 아이콘을 선택받으면(S108), 선택된 아이콘에 해당하는 명령신호를 무선통신부(130)를 통해 구동 제어부(200)로 전송한다(S109). 이때, 무선통신부(130)는 블루투스 통신을 수행하는 것이 바람직하다.
이어, 구동제어부(200)는 모바일 장치(100)로부터 수신한 명령신호에 따라 차량내 디바이스(400;에어컨, 오디오, 네비게이션, DMB, 차량 실내 조명 등)를 제어한다(S110).
본 발명에서는 차종마다 형태, 크기가 다른 에어컨 그릴의 형태를 패턴 이미지로 인식하는 예를 설명하고 있으나, 센터페시아의 오디오 조절버튼 또는 라디오 버튼 등 조작버튼의 형태에 따라 패턴 이미지를 인식하도록 할 수도 있다.
또한, 본 발명에서는 센터페시아 제어 아이콘을 이용하는 예를 개시하고 있으나, 터치스크린 형태로 사용자가 직접 센터페시아 이미지 정보의 센터부(330)를 터치하여 명령을 입력받도록 할 수도 있다. 이때는 차종별 센터페시아 이미지 정보의 센터부(330)의 조작버튼별 좌표정보를 저장부(120)에 미리 저장해두고, 사용자에 의해 센터페시아 이미지 정보의 센터부(330)의 조작버튼이 터치되면, 제어부(140)가 터치된 위치의 좌표정보에 따라 명령신호를 인식하고 해당 명령신호를 구동제어부(200)로 전송하도록 하는 것이 바람직하다.
100 : 모바일 장치
200 : 구동제어부
300 : 차량 대상부
400 : 차량내 디바이스
110 : 카메라
120 : 저장부
130 : 무선통신부
140 : 제어부
150 : 표시부

Claims (20)

  1. 삭제
  2. 차량 대상부를 이미지로 인식하여 상기 이미지의 증강현실 구현을 통해 차량 제어 명령을 입력받는 모바일 장치와, 상기 모바일 장치로 차종정보를 전송하고, 상기 모바일 장치로부터 명령신호를 수신하면 상기 명령신호에 해당하는 차량내 디바이스를 제어하는 구동제어부를 포함하며,
    상기 모바일 장치는,
    차량 대상부의 이미지를 획득하는 카메라;
    상기 차량 대상부의 이미지 패턴정보 및 상기 구동 제어부로부터 수신된 차종정보를 저장하는 저장부; 및
    상기 저장부에 저장되어 있는 상기 이미지 패턴정보와 상기 카메라로부터 획득된 이미지의 패턴정보를 비교하여 일치하는 경우 차량 원격제어모드로 진입하고, 명령어 입력을 위한 아이콘을 제공하며 상기 아이콘을 통해 상기 차량 제어 명령이 입력되면 상기 차량 제어 명령을 상기 구동제어부로의 전송을 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  3. 청구항 2에 있어서,
    상기 제어부는,
    상기 차량 대상부의 이미지가 획득되면, 획득된 상기 차량 대상부의 이미지를 상기 차종정보에 따라 참조영역과 비참조 영역으로 구분하고, 상기 저장부에 저장되어 있는 상기 이미지 패턴정보와 상기 획득된 이미지의 참조영역의 패턴정보를 비교하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  4. 청구항 3에 있어서,
    상기 제어부는,
    상기 차량 대상부가 차량의 센터페시아인 경우,
    상기 참조영역은 에어컨 그릴영역인 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  5. 청구항 2에 있어서,
    상기 차량내 디바이스는,
    에어컨, 오디오, 라디오, DMB, 네비게이션, 차량 실내 조명, 창문 중 어느 하나인 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  6. 청구항 2에 있어서,
    상기 구동제어부는,
    상기 모바일 장치가 차량과 일정거리내에 진입하면, 상기 차량의 차종정보를 상기 모바일장치로 전송하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  7. 청구항 2에 있어서,
    상기 구동제어부는,
    상기 모바일 장치가 상기 차량으로 차종정보를 요청하는 경우, 상기 차량의 차종정보를 상기 모바일장치로 전송하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  8. 차량 대상부를 이미지로 인식하여 상기 이미지의 증강현실 구현을 통해 차량 제어 명령을 입력받는 모바일 장치와, 상기 모바일 장치로 차종정보를 전송하고 상기 모바일 장치로부터 명령신호를 수신하면 상기 명령신호에 해당하는 차량내 디바이스를 제어하는 구동제어부를 포함하며,
    상기 모바일 장치는,
    차량 대상부의 이미지를 획득하는 카메라;
    차종별 차량 대상부의 이미지 패턴정보를 저장하되, 상기 이미지상의 조작버튼에 해당하는 좌표정보를 저장하는 저장부; 및
    상기 저장부에 저장되어 있는 이미지 패턴정보와 상기 카메라로부터 획득된 이미지의 패턴정보를 비교하여 일치하는 경우 차량 원격제어모드로 진입하고, 상기 획득된 이미지 상의 조작버튼이 터치되면, 터치된 부분의 좌표정보와 상기 저장부에 저장된 좌표정보를 비교하여 차량 제어 명령을 판단한 후 상기 차량 제어 명령을 상기 구동제어부로의 전송을 제어하는 제어부
    를 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 시스템.
  9. 차종별 센터페시아 이미지 패턴정보를 모바일 장치에 미리 저장하는 과정;
    상기 모바일 장치가 차량으로부터 차종정보를 수신하는 과정;
    차량 대상부의 이미지가 모바일 장치의 화면상에 나타나도록 하여 이미지를 획득하는 과정;
    상기 모바일 장치에서 상기 차종정보에 따라 상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지의 패턴정보를 비교하는 과정;
    상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지 패턴정보가 일치하는 경우, 상기 모바일 장치가 차량 원격 제어모드로 진입하는 과정; 및
    상기 모바일 장치가 차량의 디바이스 제어 명령 아이콘을 화면상에 표시하는 과정
    을 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  10. 청구항 9 있어서,
    상기 차종정보를 수신하는 과정은,
    상기 모바일 장치가 차량과 일정거리내로 진입한 경우, 상기 차량이 상기 모바일 장치로 상기 차량의 차종정보를 전송하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  11. 청구항 9 있어서,
    상기 차종정보를 수신하는 과정은,
    상기 모바일 장치가 상기 차량으로 차종정보를 요청하는 경우, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하여 상기 차량의 차종정보를 수신하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  12. 청구항 9 있어서,
    상기 패턴정보를 비교하는 과정은,
    상기 획득된 이미지를 상기 차종정보에 따라 참조영역과 비참조영역으로 구분하는 과정; 및
    상기 획득된 이미지의 참조영역의 패턴정보와 상기 미리 저장된 이미지 패턴정보를 비교하는 과정
    을 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  13. 청구항 12에 있어서,
    상기 차량대상부가 센터페시아인경우,
    에어컨 그릴부가 상기 참조영역이 되고, 센터부가 상기 비참조영역이 되는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  14. 청구항 9에 있어서,
    차량의 디바이스 제어 명령 아이콘을 선택받으면, 상기 아이콘에 해당하는 명령신호를 구동제어부로 무선송신하는 과정; 및
    상기 구동제어부가 수신한 명령신호에 따라 차량내 디바이스를 제어하는 과정
    을 더 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  15. 청구항 14에 있어서,
    상기 차량내 디바이스는,
    에어컨, 오디오, 라디오, DMB, 네비게이션, 차량 실내 조명, 창문 중 어느 하나인 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  16. 차종별 차량 대상부의 이미지 패턴정보 및 상기 차량 대상부의 이미지 상의 좌표정보를 모바일 장치에 미리 저장하는 과정;
    상기 모바일 장치가 차량으로부터 차종정보를 수신하는 과정;
    상기 차량 대상부의 이미지가 모바일 장치의 화면상에 나타나도록 하여 이미지를 획득하는 과정;
    상기 모바일 장치에서 상기 차종정보에 따라 상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지의 패턴정보를 비교하는 과정;
    상기 획득된 이미지의 패턴정보와 상기 미리 저장된 이미지 패턴정보가 일치하는 경우, 상기 모바일 장치가 차량 원격 제어모드로 진입하는 과정;
    상기 모바일 장치가 화면에 표시한 상기 차량 대상부의 이미지 터치를 통해 차량내 디바이스 제어 명령을 입력받는 과정; 및
    상기 차량내 디바이스 제어명령을 상기 차량으로 전송하는 과정
    을 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  17. 청구항 16 있어서,
    상기 차종정보를 수신하는 과정은,
    상기 모바일 장치가 차량과 일정거리내로 진입한 경우, 상기 차량이 상기 모바일 장치로 상기 차량의 차종정보를 전송하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  18. 청구항 16 있어서,
    상기 차종정보를 수신하는 과정은,
    상기 모바일 장치가 상기 차량으로 차종정보를 요청하는 경우, 상기 모바일 장치가 상기 차량으로 차종정보를 요청하여 상기 차량의 차종정보를 수신하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  19. 청구항 16 있어서,
    상기 패턴정보를 비교하는 과정은,
    상기 획득된 이미지를 상기 차종정보에 따라 참조영역과 비참조영역으로 구분하는 과정; 및
    상기 획득된 이미지의 참조영역의 패턴정보와 상기 미리 저장된 이미지 패턴정보를 비교하는 과정
    을 포함하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
  20. 청구항 16에 있어서,
    상기 차량내 디바이스 제어 명령을 입력받는 과정은,
    상기 모바일 장치가 화면에 표시한 상기 차량 대상부의 이미지가 터치되면, 터치된 부분의 좌표정보와 상기 미리 저장된 차량 대상부의 이미지 상의 좌표정보를 비교하여, 차량 제어 명령을 판단하는 것을 특징으로 하는 증강현실을 이용한 차량내 디바이스 제어 방법.
KR1020100089436A 2010-09-13 2010-09-13 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법 Active KR101219933B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100089436A KR101219933B1 (ko) 2010-09-13 2010-09-13 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
JP2010260248A JP5666264B2 (ja) 2010-09-13 2010-11-22 拡張現実を利用した車両内デバイス制御システム及びその方法
US12/955,267 US8761962B2 (en) 2010-09-13 2010-11-29 System for controlling an in-vehicle device using augmented reality and method thereof
DE102010062282.6A DE102010062282B4 (de) 2010-09-13 2010-12-01 System zum Steuern einer Einrichtung im Fahrzeug, wobei erweiterte Realität benutzt wird und Verfahren hierfür
CN201010568087.4A CN102398600B (zh) 2010-09-13 2010-12-01 使用扩增实境来控制车内装置的系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100089436A KR101219933B1 (ko) 2010-09-13 2010-09-13 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120027696A KR20120027696A (ko) 2012-03-22
KR101219933B1 true KR101219933B1 (ko) 2013-01-08

Family

ID=45756186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100089436A Active KR101219933B1 (ko) 2010-09-13 2010-09-13 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법

Country Status (5)

Country Link
US (1) US8761962B2 (ko)
JP (1) JP5666264B2 (ko)
KR (1) KR101219933B1 (ko)
CN (1) CN102398600B (ko)
DE (1) DE102010062282B4 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112539A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량 및 이를 포함하는 원격 차량 조작 시스템
KR20170037585A (ko) 2017-03-16 2017-04-04 동의대학교 산학협력단 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
WO2023224432A1 (ko) * 2022-05-20 2023-11-23 주식회사 엘지유플러스 원격 제어 주행 상태인 자율 주행 차량의 제어 신호 유효성 검증 방법 및 그를 위한 장치 및 시스템

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114466A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
US8818626B2 (en) * 2012-06-21 2014-08-26 Visteon Global Technologies, Inc. Mobile device wireless camera integration with a vehicle
CN103507810B (zh) * 2012-06-29 2016-09-07 比亚迪股份有限公司 一种控制车辆行驶的系统及控制车辆行驶的方法
CN103577071A (zh) * 2012-07-23 2014-02-12 鸿富锦精密工业（深圳）有限公司 产品使用说明书显示系统及方法
DE102012016774A1 (de) * 2012-08-24 2014-02-27 GM Global Technology Operations, LLC (n.d. Ges. d. Staates Delaware) Vorrichtung zur Konfiguration eines Kraftfahrzeuges
US9858809B2 (en) * 2012-11-08 2018-01-02 Qualcomm Incorporated Augmenting handset sensors with car sensors
KR101913707B1 (ko) * 2012-11-08 2018-10-31 현대모비스 주식회사 차량 내 모니터의 터치 데이터 처리 방법
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US10423214B2 (en) * 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US8712632B2 (en) 2013-01-30 2014-04-29 Navteq B.V. Method and apparatus for complementing an instrument panel by utilizing augmented reality
US9631930B2 (en) 2013-03-15 2017-04-25 Apple Inc. Warning for frequently traveled trips based on traffic
US9200915B2 (en) 2013-06-08 2015-12-01 Apple Inc. Mapping application with several user interfaces
EP3101392B1 (en) * 2013-03-15 2021-12-15 Apple Inc. Mapping application with turn-by-turn navigation mode for output to vehicle display
US9317813B2 (en) 2013-03-15 2016-04-19 Apple Inc. Mobile device with predictive routing engine
DE102013016096A1 (de) * 2013-09-27 2015-04-02 Audi Ag Kraftfahrzeugkonfiguration mittels Kommunikationsendgerät
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
WO2015051818A1 (en) * 2013-10-07 2015-04-16 Metaio Gmbh Method and system for providing position or movement information for controlling at least one function of a vehicle
KR101513017B1 (ko) * 2013-10-15 2015-04-17 한국기술교육대학교 산학협력단 네비게이션 장치의 제어 방법
KR101565344B1 (ko) 2013-12-13 2015-11-03 현대자동차주식회사 차량 연동 단말기 조명 제어 시스템 및 제어 방법
US9550419B2 (en) * 2014-01-21 2017-01-24 Honda Motor Co., Ltd. System and method for providing an augmented reality vehicle interface
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US10106172B2 (en) 2014-08-18 2018-10-23 Ford Global Technologies, Llc Shared vehicle system
DE102014013206B4 (de) * 2014-09-06 2016-06-09 Audi Ag Optionale manuelle Fahrzeugsteuerung mittels ausfahrbarem Lenkrad, Pedalen und Display
US10249088B2 (en) 2014-11-20 2019-04-02 Honda Motor Co., Ltd. System and method for remote virtual reality control of movable vehicle partitions
KR101625872B1 (ko) * 2015-01-27 2016-06-01 국민대학교산학협력단 스마트단말기의 이벤트 기반의 차량조명 제어시스템 및 그 제어방법, 그리고 이를 위한 컴퓨터로 판독가능한 기록매체
US20160257198A1 (en) 2015-03-02 2016-09-08 Ford Global Technologies, Inc. In-vehicle component user interface
WO2016182159A1 (en) * 2015-05-08 2016-11-17 Lg Electronics Inc. Center fascia and controlling method thereof
US9622159B2 (en) * 2015-09-01 2017-04-11 Ford Global Technologies, Llc Plug-and-play interactive vehicle interior component architecture
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
DE102016011071A1 (de) * 2016-09-14 2017-04-06 Daimler Ag Verfahren zum Fernsteuern eines Kraftfahrzeugs mittels eines mobilen Steuergeräts und Fernsteuersystem
CN107861777A (zh) * 2016-09-22 2018-03-30 比亚迪股份有限公司 车辆仪表设置方法、设置终端、车辆仪表和车辆
CN108072374A (zh) * 2016-11-11 2018-05-25 英业达科技有限公司 导航系统及导航方法
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
TWI757318B (zh) * 2017-08-03 2022-03-11 宏碁股份有限公司 儀表板顯示畫面的控制方法及使用其方法的電子裝置
DE102017007854A1 (de) 2017-08-18 2019-02-21 Daimler Ag Vorrichtung und Verfahren zur Informationsausgabe und/oder Informationseingabe innerhalb eines Fahrzeugs
JP6912324B2 (ja) * 2017-08-30 2021-08-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置及び情報処理プログラム
US10901409B2 (en) 2017-10-25 2021-01-26 Oshkosh Corporation Vehicle control system
US10410426B2 (en) 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
KR102017802B1 (ko) * 2017-12-21 2019-09-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10970560B2 (en) * 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
JP7303171B2 (ja) * 2020-10-28 2023-07-04 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置
CN112249029B (zh) * 2020-10-30 2022-03-11 高新兴科技集团股份有限公司 一种基于ar辅助车辆近距离调整姿态的方法及系统
DE102020131931A1 (de) 2020-12-02 2021-10-28 Audi Aktiengesellschaft Steuersystem und Verfahren zum Steuern von Interieurfunktionen eines Kraftfahrzeugs
US11483533B2 (en) 2021-01-05 2022-10-25 At&T Intellectual Property I, L.P. System and method for social immersive content rendering
TWI817823B (zh) * 2022-11-10 2023-10-01 宏達國際電子股份有限公司 車輛控制系統、頭戴式顯示裝置及車輛控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060099989A (ko) * 2005-03-15 2006-09-20 엘지전자 주식회사 장치 자동 인식형 통합 리모콘 장치와 그 제어 방법
JP2006256373A (ja) * 2005-03-15 2006-09-28 Toyota Motor Corp 遠隔制御装置
KR100809395B1 (ko) * 2005-12-08 2008-03-05 한국전자통신연구원 원격 제어 기능을 구비한 휴대 단말 장치 및 이를 이용한원격 제어 방법
KR20100036900A (ko) * 2008-09-30 2010-04-08 주식회사 모뉴엘 촬영 조작형 조작장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148212A (en) * 1997-12-18 2000-11-14 Ericsson Inc. System and method for cellular control of automobile electrical systems
WO2000052539A1 (de) 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
JP2002087183A (ja) * 2000-09-19 2002-03-26 Mazda Motor Corp 車両用情報処理装置および車両用情報処理プログラムが格納された記録媒体
US6853841B1 (en) * 2000-10-25 2005-02-08 Sun Microsystems, Inc. Protocol for a remote control device to enable control of network attached devices
US7899243B2 (en) * 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US7215322B2 (en) 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
WO2004074950A1 (de) 2003-02-24 2004-09-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur visualisierung eines reparaturablaufs an einem fahrzeug
JP2004356803A (ja) * 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> 遠隔機器操作システム，そのシステムにおける操作端末および撮像装置
KR20060111570A (ko) * 2003-12-10 2006-10-27 마츠시타 덴끼 산교 가부시키가이샤 도난방지시스템
WO2005066744A1 (en) * 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
JP4419758B2 (ja) 2004-08-31 2010-02-24 株式会社デンソー 自動車用ユーザもてなしシステム
JP4588395B2 (ja) * 2004-09-24 2010-12-01 富士通株式会社 情報処理端末
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
WO2006082644A1 (ja) * 2005-02-03 2006-08-10 Fujitsu Limited 車両画像データ生成プログラムおよび車両画像データ生成装置
EP1739572A1 (en) 2005-07-01 2007-01-03 Bayerische Motoren Werke Aktiengesellschaft A method of generating a graphical manual
KR100987248B1 (ko) 2005-08-11 2010-10-12 삼성전자주식회사 이동 통신 단말의 사용자 입력 방법 및 장치
JP4676303B2 (ja) * 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
JP4673251B2 (ja) * 2006-05-11 2011-04-20 アルプス電気株式会社 キーレスエントリー装置
KR20080029548A (ko) * 2006-09-29 2008-04-03 삼성전자주식회사 실사기반 이동기기 제어 방법 및 장치
WO2009109231A1 (en) 2008-03-07 2009-09-11 Code-X Ag Communication system for use with a vehicle
US7707073B2 (en) 2008-05-15 2010-04-27 Sony Ericsson Mobile Communications, Ab Systems methods and computer program products for providing augmented shopping information
KR101465668B1 (ko) 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
JP2010130669A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd 車載装置および無線通信システム
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
EP2603863A1 (en) * 2010-08-09 2013-06-19 Valeo Schalter und Sensoren GmbH Method for supporting a user of a motor vehicle in operating the vehicle and portable communication device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060099989A (ko) * 2005-03-15 2006-09-20 엘지전자 주식회사 장치 자동 인식형 통합 리모콘 장치와 그 제어 방법
JP2006256373A (ja) * 2005-03-15 2006-09-28 Toyota Motor Corp 遠隔制御装置
KR100809395B1 (ko) * 2005-12-08 2008-03-05 한국전자통신연구원 원격 제어 기능을 구비한 휴대 단말 장치 및 이를 이용한원격 제어 방법
KR20100036900A (ko) * 2008-09-30 2010-04-08 주식회사 모뉴엘 촬영 조작형 조작장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160112539A (ko) * 2015-03-19 2016-09-28 현대자동차주식회사 차량 및 이를 포함하는 원격 차량 조작 시스템
KR101682880B1 (ko) * 2015-03-19 2016-12-20 현대자동차주식회사 차량 및 이를 포함하는 원격 차량 조작 시스템
KR20170037585A (ko) 2017-03-16 2017-04-04 동의대학교 산학협력단 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
WO2023224432A1 (ko) * 2022-05-20 2023-11-23 주식회사 엘지유플러스 원격 제어 주행 상태인 자율 주행 차량의 제어 신호 유효성 검증 방법 및 그를 위한 장치 및 시스템

Also Published As

Publication number Publication date
KR20120027696A (ko) 2012-03-22
DE102010062282B4 (de) 2024-12-19
CN102398600A (zh) 2012-04-04
CN102398600B (zh) 2016-06-08
US20120065814A1 (en) 2012-03-15
JP2012059242A (ja) 2012-03-22
DE102010062282A1 (de) 2012-03-15
US8761962B2 (en) 2014-06-24
JP5666264B2 (ja) 2015-02-12

Similar Documents

Publication Publication Date Title
KR101219933B1 (ko) 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
KR102395288B1 (ko) 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
KR102686009B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법
US10618406B2 (en) User interface apparatus, vehicle having the same, and method of controlling the vehicle
US10019155B2 (en) Touch control panel for vehicle control system
US9392105B2 (en) In-vehicle device, control method thereof, and remote control system
JP6035717B2 (ja) 車両制御装置および携帯情報端末用コンピュータプログラム
US20150205943A1 (en) Manipulation apparatus
KR101535032B1 (ko) 차량 인터페이스 확장 방법
CN103869970B (zh) 通过2d相机操作用户界面的系统和方法
JP7077615B2 (ja) 駐車制御方法及び駐車制御装置
CN104025006A (zh) 便携终端
US20190286118A1 (en) Remote vehicle control device and remote vehicle control method
KR20150000076A (ko) 차량용 블라인드 콘트롤 시스템
US20210280157A1 (en) Vehicle operation system and computer readable non-transitory storage medium
US11661007B2 (en) Wireless mirror control device
JP2018501998A (ja) 自動車の機器を制御するためのシステムおよび方法
US10228769B2 (en) Equipment control device, equipment control method, and non-transitory recording medium
CN107585115B (zh) 车辆、包括该车辆的车辆系统以及车辆系统的控制方法
WO2013179636A1 (en) Touch-sensitive input device compatibility notification
KR20140074557A (ko) 내비게이션 디스플레이 장치
KR101190445B1 (ko) 차량용 오디오비디오 기기의 원격 제어 시스템 및 그 제어방법
KR20190071876A (ko) 단말기, 차량 및 단말기 제어방법
KR20180127042A (ko) 운전자 통합 정보 시스템의 퀵메뉴 제공장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100913

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120522

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121121

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151229

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161228

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20171227

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20181213

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20181213

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191210

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210104

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20231218

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20241226

Start annual number: 13

End annual number: 13