[go: up one dir, main page]

KR101910383B1 - 차량 운전 보조 장치 및 이를 구비한 차량 - Google Patents

차량 운전 보조 장치 및 이를 구비한 차량 Download PDF

Info

Publication number
KR101910383B1
KR101910383B1 KR1020150110724A KR20150110724A KR101910383B1 KR 101910383 B1 KR101910383 B1 KR 101910383B1 KR 1020150110724 A KR1020150110724 A KR 1020150110724A KR 20150110724 A KR20150110724 A KR 20150110724A KR 101910383 B1 KR101910383 B1 KR 101910383B1
Authority
KR
South Korea
Prior art keywords
vehicle
voice
control
mobile terminal
uttered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150110724A
Other languages
English (en)
Other versions
KR20170017178A (ko
Inventor
최성하
이세영
김동욱
박연희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150110724A priority Critical patent/KR101910383B1/ko
Priority to PCT/KR2015/008602 priority patent/WO2017022879A1/ko
Priority to US15/750,455 priority patent/US20180226077A1/en
Publication of KR20170017178A publication Critical patent/KR20170017178A/ko
Application granted granted Critical
Publication of KR101910383B1 publication Critical patent/KR101910383B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/563—Vehicle displaying mobile device information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/569—Vehicle controlling mobile device functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 복수의 이동 단말기와 연동된 차량 운전 보조 장치 및 이를 구비한 차량에 관한 것으로, 디스플레이부와 차량 내부의 사용자로부터 발화된 음성을 수신하도록 형성된 마이크와 차량 내부에 위치한 복수의 이동 단말기와 무선으로 통신을 수행하도록 형성된 무선 통신부와 상기 복수의 이동 단말기의 차량 내부의 위치를 감지하는 위치 감지부 및 상기 마이크로부터 입력된 음성에 대응되는 음성 데이터가 처리되도록, 상기 무선 통신부를 통하여, 상기 음성 데이터를 상기 복수의 이동 단말기 중 어느 하나의 이동 단말기에 전송하는 제어부를 포함하고, 상기 복수의 이동 단말기는, 서로 다른 음성 인식 알고리즘을 통하여 음성 데이터를 처리하는 것을 특징으로 한다.

Description

차량 운전 보조 장치 및 이를 구비한 차량{DRIVER ASSISTANCE APPARATUS AND VEHICLE INCLUDING THE SAME}
본 발명은 복수의 이동 단말기와 연동된 차량 운전 보조 장치 및 이를 구비한 차량에 관한 것이다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
한편, 전자 기술의 발달로 차량에 있어서, 차량의 자동화 기술이 많이 개발되었다. 또한, 차량의 전자 기술의 발달과 함께 운전자의 주행을 보조하기 위한 다양한 기능들이 개발되었다. 이러한 기술들을 일반적으로 ADAS(advanced Driver Assitance System) 시스템이라고 명칭된다.
이렇게 차량의 주행을 보조하기 위한 일 분야로써, 음성 인식을 통한 차량의 제어 방법이 개발되고 있다. 다만, 차량 내부에 구비된 음성 인식 엔진만으로는 음성을 인식하는데 한계가 있었다.
이러한 한계점을 개선하기 위하여, 본 발명은 차량 운전 보조 장치와 연동된 이동 단말기를 통하여 음성 인식을 수행하고, 이를 처리하는 방법을 제안한다.
본 발명의 일 목적은 차량과 연동된 복수의 이동 단말기를 통하여 음성 인식 기능을 수행하여, 차량을 제어하는 방법을 제공한다.
본 발명의 또 다른 목적은 차량 내부의 음성의 발화 위치에 따라 차량을 제어하는 방법을 제공한다.
본 발명은 이동 단말기에 관한 것으로, 디스플레이부와 차량 내부의 사용자로부터 발화된 음성을 수신하도록 형성된 마이크와 차량 내부에 위치한 복수의 이동 단말기와 무선으로 통신을 수행하도록 형성된 무선 통신부와 상기 복수의 이동 단말기의 차량 내부의 위치를 감지하는 위치 감지부 및 상기 마이크로부터 입력된 음성에 대응되는 음성 데이터가 처리되도록, 상기 무선 통신부를 통하여, 상기 음성 데이터를 상기 복수의 이동 단말기 중 어느 하나의 이동 단말기에 전송하는 제어부를 포함하고, 상기 복수의 이동 단말기는, 서로 다른 음성 인식 알고리즘을 통하여 음성 데이터를 처리하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 복수의 이동 단말기 각각을 나타내는 복수의 그래픽 객체를 표시하도록 상기 디스플레이부를 제어하고, 상기 복수의 그래픽 객체 중 상기 음성 데이터를 수신한 어느 하나의 이동 단말기를 나타내는 그래픽 객체를 나머지 그래픽 객체들과 시각적으로 구별하여 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 기 설정된 조건에 근거하여, 상기 복수의 이동 단말기 중 상기 음성 데이터를 수신할 어느 하나의 이동 단말기를 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 조건은 이동 단말기의 리소스 정보, 이동 단말기의 위치 정보 및 이동 단말기의 음성 인식 엔진 종류 정보 중 적어도 하나와 관련된 조건인 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 복수의 그래픽 객체 중 사용자에 의하여 선택된 어느 하나의 그래픽 객체에 대응되는 이동 단말기를 통하여 음성 데이터가 처리되도록, 상기 음성 데이터를 상기 어느 하나의 이동 단말기에 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 복수의 그래픽 객체 중 어느 하나의 그래픽 객체에 대하여 기 설정된 방식의 터치가 가해지는 것에 근거하여, 상기 마이크를 통하여 음성의 수신이 제한되도록 상기 어느 하나의 그래픽 객체에 대응되는 이동 단말기를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스플레이부 상에는, 상기 차량 내부의 특정 위치에서 발화되는 음성을 수신하도록 상기 마이크를 제어하는 기능과 연계된 그래픽 객체가 표시되고, 상기 제어부는, 상기 마이크를 제어하는 기능과 연계된 그래픽 객체에 대한 터치가 가해지는 것에 근거하여, 상기 특정 위치에서 발화되는 음성을 수신하도록 상기 마이크를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 발화된 음성의 발화 위치에 기초하여, 상기 발화된 음성에 대응되는 제어명령을 처리하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 차량은 복수의 가상 구역으로 구획되고, 상기 제어부는
상기 발화된 음성에 대응되는 제어 명령에 기초하여, 상기 복수의 가상 구역 중 상기 발화된 음성의 발화 위치가 포함된 특정 구역을 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 발화된 음성에 대응되는 제어 명령이 상기 발화된 음성의 발화 위치가 포함된 특정 구역과 다른 구역을 제어하기 위한 제어 명령인 경우, 상기 발화된 음성에 대응되는 제어 명령의 실행을 제한하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 발화된 음성의 발화 위치를 나타내는 그래픽 객체를 상기 디스플레이부 상에 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 발화 위치를 나타내는 그래픽 객체에 대한 터치가 가해지는 것에 응답하여, 상기 발화된 음성의 수신을 차단하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 차량의 제어명령에 기초하여 차량이 제어된 결과 정보를 상기 디스플레이부에 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 결과 정보가 프라이버시 정보에 해당하는 경우, 상기 결과 정보의 표시를 제한하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 복수의 이동 단말기는, 상기 차량 운전 보조 장치와 무선 통신을 통하여 연동된 이동 단말기인 것을 특징으로 한다.
본 발명의 또 다른 예에 따른 이동 단말기의 제어 방법에 있어서, 차량 내부의 사용자로부터 발화된 음성을 수신하는 단계와 상기 차량 내부에 위치한 복수의 이동 단말기 중 특정 이동 단말기를 통하여, 상기 음성에 대응되는 음성 데이터가 처리되도록, 상기 특정 이동 단말기에 상기 음성 데이터를 전송하는 단계와 상기 음성 데이터의 전송 후, 상기 특정 이동 단말기로부터 처리된 음성 데이터에 기초하여 생성된 차량의 제어 명령을 수신하는 단계 및 상기 수신된 차량의 제어 명령에 기초하여 차량의 제어를 수행하는 단계를 포함한다.
일 실시 예에 있어서, 상기 복수의 이동 단말기는, 서로 다른 음성 인식 알고리즘을 통하여 음성 데이터를 처리하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 특정 이동 단말기는 사용자에 선택 또는 기 설정된 조건에 의하여 결정되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 차량의 제어를 수행하는 단계에서는, 상기 음성의 발화 위치에 기초하여, 차량의 제어를 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 차량의 제어를 수행하는 단계에서는, 상기 음성의 발화 위치와 인접한 구역에 포함된 차량의 구성 요소들을 제어하는 것을 특징으로 한다.
본 발명은 차량 내부에서 발화된 음성에 대응되는 음성 데이터를 복수의 이동 단말기에 설치된 음성 인식 기능을 이용하여, 처리할 수 있다. 이를 통하여, 본 발명은 다양한 음성 인식 알고리즘을 통하여 음성을 인식하여, 음성 인식 기능의 정확도를 높일 수 있다.
또한, 본 발명은 차량 내부에서 발화된 음성이 발화된 위치에 따라 차량 내부의 제어를 수행할 수 있다. 이를 통하여, 차량 내부에 위치한 사용자는 자신이 위치한 영역 내의 차량 구성 요소들을 음성을 통하여 제어할 수 있다.
도 1a은 본 발명과 관련된 차량 제어 장치를 설명하기 위한 블록도이다.
도 1b는 본 명세서에 개시된 실시 예에 따른 텔레매틱스 단말기 시스템을 나타낸 블록도이다.
도 1c은 본 발명의 일 실시 예에 따른 텔레매틱스 단말기(200)의 구성을 나타낸 블록도이다.
도 2a 및 도 2b는 차량 운전 보조 장치와 이동 단말기의 관계를 설명하는 개념도들이다.
도 3은 차량의 운전을 보조하는 차량 운전 보조 장치에 있어서, 음성을 통하여 차량을 제어하는 방법을 나타낸 흐름도이다.
도 4a 및 도 4b는 도 3의 제어방법을 나타낸 개념도들이다.
도 5a, 도 5b 및 도 5c는 차량 내부에 위치한 복수의 이동 단말기 중 사용자로부터 발화된 음성에 대응되는 음성 데이터를 처리할 이동 단말기를 결정하는 제어 방법을 나타낸 개념도들이다.
도 6은 차량 내부에 위치한 복수의 이동 단말기에 대하여 음성 인식 기능을 제한하는 방법을 나타낸 개념도이다.
도 7a 및 도 7b는 차량 내부에 위치한 복수의 사용자들 중 특정 사용자로부터 발화된 음성을 입력받기 위하여 마이크를 제어하는 방법을 나타낸 개념도들이다.
도 8a 및 도 8b는 음성 인식 기능의 실행 중인 이동 단말기의 음성 인식 기능을 취소하는 방법을 나타낸 개념도들이다.
도 9a, 도 9b 및 도 9c는 음성이 발화된 발화 위치에 기초하여, 차량을 제어하는 방법을 나타낸 개념도들이다.
도 10a 및 도 10b는 차량 운전 보조 장치에서 자연어 처리를 수행하는 방법을 나타낸 개념도들이다.
도 11은 음성 인식 기능의 수행 후, 결과 정보를 디스플레이부에 표시하는 방법을 나타낸 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 차량은 차량 주변의 여러 환경과 관련된 정보를 센싱하고, 이에 따라 전자적인 제어가 가능한 차량일 수 있다.
도 1a은 본 발명과 관련된 차량 제어 장치를 설명하기 위한 블록도이다.
상기 차량 제어 장치(100)는 무선 통신부(110), 입력부(120), 구동부(130), 감지부(140, 또는 센싱부), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 차량를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 차량는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 차량 제어 장치(100)와 차량 사이, 차량 제어 장치(100)와 무선 통신 시스템 사이, 또는 차량 제어 장치(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 차량 제어 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
상기 무선 통신부(110)는, 이동 단말기 또는 서버와 무선(wireless) 방식으로, 데이터를 교환할 수 있다. 또한 무선 통신부(110)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi Direct, WiFi, APiX, NFC 등 다양한 데이터 통신 방식이 가능하다.
또한, 상기 무선 통신부(110)는, 이동 단말기 또는 서버로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다.
한편, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기와 차량 제어 장치(100)는, 자동으로 또는 사용자의 요청에 따라, 근거리 통신부(114)를 통하여, 서로 페어링(pairing)을 수행할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
구동부(130)는, 차량에 구성된 전반적인 부품들을 제어할 수 있다. 이러한 구동부(130)에는, 램프 구동부(131), 조향 구동부(132), 브레이크 구동부(133), 동력원 구동부(134), 썬루프 구동부(135), 서스펜션 구동부(136), 공조 구동부(137), 윈도우 구동부(138), 에어백 구동부(139) 등이 포함될 수 있다.
램프 구동부(131)는, 차량 내부 또는 외부에 배치되는 램프의 턴 온(turn on)/턴 오프(turn off)를 제어할 수 있다. 또한, 램프 구동부(131)은 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들어, 램프 구동부(131)은 차량에 구비된 방향 지시 램프, 브레이크 램프 등의 대하여, 턴 온 또는 턴 오프를 수행할 수 있다.
조향 구동부(132)는, 차량 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 상기 조향 장치는 차량 내에 구비되어, 차량 본체의 움직임을 제어하는 사용자 입력부일 수 있다. 예를 들어, 상기 조향 장치는 핸들(handle) 또는 스티어링 휠(steering wheel)이 될 수 있다.
상기 조향 장치는, 사용자 입력에 의하여 차량 본체의 이동 방향을 제어할 수 있다. 예를 들어, 사용자는 스티어링 휠을 오른쪽으로 회전시킴으로써, 차량의 진행 방향이 오른쪽을 향하도록, 상기 차량을 제어할 수 있다.
브레이크 구동부(133)는, 차량 내의 브레이크 장치(brake equipment)에 대한 전자식 제어를 수행할 수 있다. 상기 브레이크 장치는 차량을 제동하기 위하여 구비된 부품으로써, 제동력을 바퀴 및 기타 장치에 전달하여, 차량의 운동을 제동시키는 역할을 수행할 수 있다. 상기 브레이크 장치는, 제동력 발생의 동력을 기준으로, 핸드 브레이크(hand brake), 공기 브레이크, 전기 브레이크 등을 포함할 수 있다.
상기 브레이크 구동부(133)는 상기 브레이크 장치에서 발생한 제동력이 바퀴 및 기타 장치에 전달되도록, 상기 브레이크 장치를 제어할 수 있다. 예를 들어, 브레이크 구동부(133)는 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량의 속도를 줄일 수 있다. 다른 예로, 브레이크 구동부(133)는 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
동력원 구동부(134)는, 차량 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(134)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 상기 동력원 구동부(134)는 엔진의 출력 토크 등을 제어할 수 있다. 다른 예로, 전기 기반의 모터가 동력원인 경우, 동력원 구동부(134)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 상기 동력원 구동부(134)는 모터의 회전 속도, 토크 등을 제어할 수 있다.
썬루프 구동부(135)는, 차량 내의 썬루프 장치(sunroof apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
서스펜션 구동부(136)는, 차량 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량의 진동이 저감되도록 제어할 수 있다.
공조 구동부(137)는, 차량 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(138)는, 차량 내의 서스펜션 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(139)는, 차량(200) 내의 서스펜션 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 에어백 구동부(139)는 차량의 사고 감지시, 에어백이 터지도록 제어할 수 있다.
센싱부(140)는 차량 내 정보, 차량을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 감지하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 소리 센서(143), 헤딩 센서(heading sensor), 요 센서(yaw sensor), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등), 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전 정도를 감지하는 스티어링 센서 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 차량은, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
또한, 센싱부(14)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 구비할 수 있다.
상기 소리 센서(143)은 마이크(122)의 일 구성 요소이거나, 독립하여 존재할 수 있다. 상기 소리 센서(143)는 오디오 신호를 감지하도록 형성될 수 있다. 상기 오디오 신호는 차량의 외부 또는 내부에서 발생한 소리일 수 있다. 본 명세서에 개시된 차량는, 상기 소리 센서(143)에서 감지된 오디오 신호에 대응되는 정보를 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량 제어 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 차량 제어 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
상기 디스플레이부(151)는 차량 내부 전면의 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. 한편, 상기 디스플레이부(151)가 HUD 인 경우, 차량 제어 장치(100)의 전면 유리에 이미지를 투사하는 투사 모듈을 포함할 수 있다.
인터페이스부(160)는 차량 제어 장치(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 차량의 ECU(270), 차량 센서부(260), 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 차량 제어 장치(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 차량 제어 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 차량 제어 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 차량 제어 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 차량 제어 장치(100)의 기본적인 기능(예를 들어, 길 안내 기능, 차량 제어 기능)을 위하여 출고 당시부터 차량 제어 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 차량 제어 장치(100) 상에 설치되어, 제어부(180)에 의하여 상기 차량의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 차량 제어 장치(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 이러한 제어부(180)는, 차량의 ECU(electronic control unit)와 동일 또는 유사한 역할을 수행하는 구성 요소로 이해될 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 차량 제어 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 차량 제어 장치(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
도 1b는 본 명세서에 개시된 실시 예에 따른 텔레매틱스 단말기 시스템을 나타낸 블록도이다.
도 1b에 도시한 바와 같이, 차량 텔레매틱스 단말기 시스템은, 교통 정보 및 각종 데이터(예를 들면, 프로그램, 실행 파일 등)를 제공하는 정보 제공 센터(40)와; 차량 내에 장착되고, 원거리 무선 통신망(30) 및/또는 근거리 무선 통신망을 통해 교통 정보를 수신하고, 인공위성(20)을 통해 수신된 GPS 신호 및 상기 교통 정보를 근거로 길 안내 서비스를 제공하는 텔레매틱스 단말기(200)로 구성된다. 여기서, 상기 통신망은 LAN(Local Area Network), WAN(Wide Area Network)과 같은 유무선 통신 네트워크를 더 포함할 수도 있다.
상기 통신망을 통해서는 신호등 정보를 비롯한 각종 교통정보(예컨대, 도로 교통 정보 또는 관심지역 정보)가 수집되며, 수집된 정보는 정보 제공 센터(40)(예컨대, 서버)에서 TPEG(Transport Protocol Expert Group) 규격에 따라 처리되어 방송국으로 전송된다. 이에 따라 방송국에서는 신호등 정보를 포함하는 교통정보를 방송신호에 삽입하여 상기 텔레매틱스 단말기(200)으로 방송한다. 여기서, 상기 신호등 정보는 차량이 신호등에 인접할 때 신호등에 설치된 서버(도시하지 않음)로부터 수신될 수도 있다.
상기 서버는 통신망에 연결된 여러 가지 경로, 예를 들어 운영자 입력, 유무선 인터넷, TDC(Transparent Data Channel), MOC(Multimedia Object Transport)와 같은 디지털 방송 서비스, 타 서버 또는 검증 카(probe car)로부터 수집되는 각종 교통정보를, 예를 들면 교통정보 서비스를 위한 규격인 TPEG(Transport Protocol Expert Group) 규격에 따른 포맷과 같은 교통정보 포맷으로 재구성하여 방송국으로 전송한다.
상기 서버는 신호등 정보를 포함하는 TPEG 규격의 교통정보 포맷을 생성하여 방송국으로 전송할 수 있다.
방송국은 교통정보 수신 단말기 역할을 수행하는 차량 등에 탑재된 텔레매틱스 단말기(200), 예를 들어 네비게이션 장치가 수신할 수 있도록 서버로부터 수신한 신호등 정보를 포함하는 교통 정보를 방송신호에 실어 무선으로 송출한다. 상기 교통정보는 신호등 정보를 포함하며, 그 밖에 사고, 도로 상황, 교통 혼잡, 도로 건설, 도로 폐쇄, 공공 교통망 지연, 항공 운항 지연과 같은 도로, 해양, 항공 운항을 위해 필요한 각종 교통 조건에 대한 정보를 포함할 수 있다.
상기 방송국은 서버로부터 처리된 신호등 정보를 포함하는 교통정보를 수신하여, 다양한 디지털 방송 규격에 따른 디지털 신호를 통해 상기 텔레매틱스 단말기(200)에 전송한다. 이 경우, 방송 규격으로는 유레카-147[ETSI EN 300 401]에 기반한 유럽향 디지털 오디오 방송 (Digital Audio Broadcasting; DAB) 규격, 지상파 또는 위성 디지털 멀티미디어 방송(Digital Multimedia Broadcasting; DMB), 지상파 디지털 비디오 방송(Digital Video Broadcasting; DVB-T) 규격, 휴대용 디지털 비디오 방송(Digital Video Broadcasting-Handheld; DVB-H) 규격, MFLO(Media Forward Link Only) 규격과 같은 각종 디지털 방송 규격을 포함한다.
또한, 상기 방송국은 신호등 정보를 포함하는 교통정보를 유무선 인터넷과 같은 유무선 네트워크를 통해 전송할 수 있다.
상기 텔레매틱스 단말기(200)를 탑재한 상기 차량은 일반적인 승용차, 버스, 기차, 선박, 항공기 등 사람이나 물건의 이동을 목적으로 기계, 전자 장치를 이용하여 구현된 가능한 모든 운반체를 의미한다.
상기 차량은 교통정보 수신 단말기를 탑재하며, 탑재된 교통정보 수신 단말기를 이용하여 방송국으로부터 신호등 정보를 수신하고, 신호등 정보를 처리하여, 처리된 신호등 정보를 그래픽, 텍스트 및/또는 오디오를 통해 사용자에게 전달한다.
한편, 상기 텔레매틱스 단말기(200)는 이동 통신 모듈을 포함할 수 있다. 상기 이동 통신 모듈은, 이동 통신망 상에서 기지국(10), 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 및/또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
또한, 상기 텔레매틱스 단말기(200)는 유무선 통신 방식에 의하여 차량 단말기(100)와 통신을 수행한다. 상기 차량 단말기(100)는 일반적인 차량 제어를 수행하거나, 차량의 속도 및 기어 상태 등 차량에 대한 정보를 제공하거나, 차량의 비상등을 온(On)/오프(Off) 제어하거나, 전조등(headlight)을 온/오프 제어하거나, 차량 내 좌석에 설치된 감지 센서를 통해 승객이 착석했는지를 판단하거나, 경적의 온/오프를 제어한다. 상기 차량 단말기(100)는 HUD(Head-Up Display) 또는 프로젝터(projector)를 포함할 수 있다.
도 1c은 본 발명의 일 실시 예에 따른 텔레매틱스 단말기(200)의 구성을 나타낸 블록도이다.
도 1c에 도시한 바와 같이, 텔레매틱스 단말기(200)는 텔레매틱스 단말기(200)를 전체적으로 제어하는 제어부(예를 들면, 중앙 처리 장치, CPU)(212)와, 각종 정보를 저장하는 메모리(213)와, 각종 키 신호를 제어하는 키 제어부(211)와, LCD(liquid crystal display)를 제어하는 LCD 제어부(214)를 내장한 메인 보드(210)로 구성된다.
상기 메모리(213)는 길 안내 정보를 디지털 지도상에 표시하기 위한 지도 정보(지도 데이터)를 저장한다. 또한, 상기 메모리(213)는 차량이 현재 주행하는 도로 상황에 따른 교통 정보를 입력할 수 있도록 하는 교통 정보 수집 제어 알고리즘 및 상기 알고리즘의 제어를 위한 정보를 저장한다.
상기 메인 보드(210)는 텔레매틱스 단말기(200)와 무선 통신 시스템 간의 무선 통신 또는 텔레매틱스 단말기(200)와 그 텔레매틱스 단말기(200)가 위치한 네트워크 간의 무선 통신을 수행하게 하는 무선 통신 모듈(206); 차량의 위치 안내, 출발지부터 목적지까지의 주행 경로 추적 등을 위한 GPS 신호를 수신하거나 사용자에 의해서 수집된 교통정보를 GPS(Global Positioning System) 신호로 송신하는 위치 정보 모듈(207); CD(compact disk)에 기록된 신호를 재생하기 위한 CD 데크(CD deck)(208); 자이로 센서(gyro sensor)(209) 등으로 구성된다. 상기 무선 통신 모듈(206) 및 위치 정보 모듈(207)은 각 모듈들을 위한 안테나(204, 205)를 통하여 신호를 송신/수신한다.
상기 무선 통신 모듈(206)은 고유의 기기번호가 부여된 이동 전자기기로서 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신하기 위한 이동 통신 모듈(206a); WLAN(Wireless LAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband; Wibro), 와이맥스(World Interoperability for Microwave Access; Wimax), HSDPA(High Speed Downlink Packet Access) 등과 같은 방식으로 무선 인터넷을 접속할 수 있는 무선 인터넷 모듈(206b); 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wireless LAN (Bluetooth, 802.11n 등등 프로토콜)등과 같은 방식으로 통신을 수행하는 근거리 통신 모듈(206c) 등을 포함할 수 있다.
또한, 방송 수신 모듈(222)은 상기 메인 보드(210)에 연결되고, 안테나(223)를 통해서 방송 신호를 수신한다. 상기 메인보드(210)에는 인터페이스 보드(203)를 통해서 상기 LCD 제어부(214)의 제어를 받는 표시부(LCD)(201)와, 키 제어부(211)의 제어를 받는 프론트 보드(202)와 차량의 내부 및/또는 외부를 촬영하는 카메라(227)가 연결된다. 상기 표시부(201)는, 각종 비디오 신호, 문자 신호를 표시하고, 상기 프론트 보드(202)는 각종 키 신호 입력을 위한 버튼을 구비하고, 사용자 선택이 이루어진 버튼에 해당하는 키 신호를 메인 보드(210)에 제공한다. 또한, 상기 표시부(201)는 도2의 근접 센서 및 터치 센서(터치 스크린)을 포함한다.
상기 프론트 보드(202)는 교통정보를 직접 입력하기 위한 메뉴 키를 구비하며, 상기 메뉴 키는 키 제어부(211)의 제어를 받도록 구성될 수 있다.
상기 오디오 보드(217)는 상기 메인 보드(210)와 연결되고, 각종 오디오 신호를 처리한다. 상기 오디오 보드(217)는 오디오 보드(217)의 제어를 위한 마이크로컴퓨터(219), 라디오 신호를 수신하는 튜너(218), 상기 마이크로컴퓨터(219)에 전원을 공급하는 전원부(216), 각종 음성 신호를 처리하는 신호 처리부(215)로 구성된다.
또한, 상기 오디오 보드(217)는 라디오 신호를 수신하기 위한 라디오 안테나(220)와, 오디오 테이프를 재생하기 위한 테이프 데크(221)로 구성된다. 상기 오디오 보드(217)는 상기 오디오 보드(217)에서 신호 처리된 음성 신호를 출력하기 위한 음성 출력부(예를 들면, 앰프)(226)를 더 구성할 수도 있다.
상기 음성 출력부(앰프)(226)는 차량 인터페이스(224)에 연결된다. 즉, 상기 오디오 보드(217)와 메인 보드(210)는 상기 차량 인터페이스(224)에 연결된다. 상기 차량 인터페이스(224)는 음성 신호를 입력하는 핸즈프리(225a), 탑승자 안전을 위한 에어백(225b), 차량의 속도를 검출하기 위한 속도 센서(225c) 등이 연결될 수도 있다. 상기 속도 센서(225c)는 차량 속도를 산출하고, 그 산출된 차량 속도 정보를 상기 중앙 처리 장치(212)에 제공한다.
상기 텔레매틱스 단말기(200)에 적용된 네비게이션 세션(301)은, 지도 데이터 및 차량 현재 위치 정보를 근거로 길 안내 정보를 발생하고, 그 발생된 길 안내 정보를 사용자에게 통지한다.
상기 표시부(201)는 근접 센서를 통해 표시창 내에서 근접 터치를 감지한다. 예를 들면, 상기 표시부(201)는 포인터(예를 들면, 손가락 또는 스타일러스 팬(stylus pen))가 근접 터치될 때 그 근접 터치의 위치를 검출하고, 그 검출된 위치에 대응하는 위치 정보를 상기 제어부(212)에 출력한다.
음성 인식 장치(또는 음성 인식 모듈)(302)는 사용자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다.
상기 텔레매틱스 단말기(200)에 적용된 네비게이션 세션(session)(301)은, 지도 데이터 상에 주행 경로를 표시한다.
이상에서는 차량 운전 보조 장치를 구성하는 구성 요소들에 대하여 설명하였다. 이하에서는, 본 발명에 따른 차량 운전 보조 장치와 이동 단말기의 관계를 설명한다. 도 2a 및 도 2b는 차량 운전 보조 장치와 이동 단말기의 관계를 설명하는 개념도들이다.
본 발명에 따른 차량 운전 보조 장치(100)는 도 1a에서 설명한 구성 요소들 중 적어도 하나를 포함할 수 있다. 보다 구체적으로, 도 2a에 도시된 바와 같이, 차량 운전 보조 장치(100)는 통신부(110), 입력부(120), 출력부(150) 및 제어부(180)를 포함할 수 있다. 또한, 비록 도시되지는 않았지만, 차량 운전 보조 장치(200)는 차량 내부에 위치한 이동 단말기의 위치를 판단하기 위한 위치정보부(미도시됨)를 더 포함할 수 있다.
상기 통신부(110)는, 차량 또는, 차량과 인접한 위치에 있는 통신 가능한 전자기기와 유선 또는 무선으로 통신을 수행할 수 있다. 예를 들어, 상기 통신부(110)는, 차량 운전 보조 장치와 차량, 차량 운전 보조 장치와 차량 내부에 위치한 이동 단말기, 차량 운전 보조 장치와 외부 서버 간의 데이터 교환을 위하여 유선 또는 무선으로 통신을 수행할 수 있다.
상기 입력부(120)는 사용자로부터 제어 명령을 입력받도록 형성될 수 있다. 예를 들어, 상기 입력부는 차량 내부에 위치한 사용자로부터 발화된 음성을 입력받는 마이크(124)를 포함할 수 있다.
상기 출력부(150)는 차량 운전 보조 장치에서 실행되는 기능과 관련된 정보를 시각적으로 출력하도록 디스플레이부(151)를 포함할 수 있다. 상기 디스플레이부(151)는, HUD(Head up display), 클러스터(cluster) 내장형 디스플레이 등이 포함될 수 있다.
상기 제어부(180)는 차량을 제어하기 위하여, 상기 통신부(110), 입력부(120) 및 출력부(150)를 제어할 수 있다. 예를 들어, 상기 제어부(180)는 차량 내부의 특정 이동 단말기로부터 제어 명령이 수신되었음을 알리는 알림 정보를 상기 디스플레이부(151)에 표시할 수 있다. 또 다른 예로, 상기 제어부(180)는, 입력부를 통하여 수신된 제어 명령을 통하여, 차량의 에어콘 제어의 수행 결과를 상기 디스플레이부(151)에 표시할 수 있다.
상기 위치정보부는 차량 내부에 위치한 이동 단말기의 위치를 판단하도록 차량 내부에 특정 신호를 출력하고, 출력된 신호에 대한 응답 신호를 수신하도록 형성될 수 있다. 예를 들어, 상기 위치정보부는, 비콘(beacon) 신호를 출력하고, 출력된 비콘 신호의 응답 신호를 수신함으로써, 차량 내부에 위치한 이동 단말기의 위치를 판단할 수 있다.
또한, 상기 차량 운전 보조 장치와 통신을 수행하는 이동 단말기(200)는 통신부(230), 출력부(250), 입력부(240) 및 제어부(280)를 포함할 수 있다. 상기 이동 단말기의 각 구성 요소들은 앞서 설명한 차량의 전자 기기의 구성 요소들과 동일 또는 유사한 기능을 수행할 수 있다. 따라서, 이에 대한 설명은 앞선 설명으로 대체한다.
한편, 차량 운전 보조 장치는 차량(300) 내부를 복수의 가상 구역으로 구획할 수 있다. 예를 들어, 도 2b에 도시된 바와 같이, 차량 내부는 차량 앞쪽의 운전석을 포함한 제1구역(300), 차량 앞쪽의 조수석을 포함한 제2구역(310), 운전석 뒤쪽 좌석을 포함한 제3구역(320) 및 조수석 뒤쪽 좌석을 포함한 제4구역(330)을 포함할 수 있다.
또한, 비록 도시되지는 않았지만, 차량 내부는 사용자의 선택에 따라, 또는 차량의 종류, 챠랑의 구조 등에 의하여 다양한 형태 및 다양한 숫자의 가상 구역으로 구획될 수 있다. 이하에서는, 4개의 구역으로 나뉘어진 경우에 대하여 설명하지만, 본 발명은, 여러개의 구역으로 나누어진 경우에 대해서도 동일하게 적용될 수 있다.
또한, 차량 운전 보조 장치는 상기 복수의 가상 구역을 기준으로, 각 구역마다 서로 다른 제어 권한을 부여할 수 있다. 여기에서, 제어 권한이란 차량을 제어할 수 있는 권한을 의미할 수 있다.
즉, 차량 운전 보조 장치는, 차량 제어를 위한 제어명령이 상기 복수의 가상 구역 중 어느 가상 구역에 위치한 사용자로부터 입력되었는지 여부에 따라 차량의 제어를 수행할지 여부를 결정할 수 있다. 예를 들어, 차량 운전 보조 장치는 차량 내부의 공기 정화를 위한 제어 명령이 제1구역(300)에 위치한 사용자를 통하여 입력된 경우, 차량 공기 정화 기능을 실행하도록 차량을 제어할 수 있다. 이와 달리, 차량 운전 보조 장치는, 차량 내부의 공기 정화를 위한 제어 명령이 제3구역(320)에 위치한 사용자를 통하여 입력된 경우, 차량 공기 정화 기능을 실행하지 않도록 상기 차량을 제어할 수 있다.
또는, 상기 차량 운전 보조 장치의 제어부(180)는 차량의 제어 명령을 생성하기 위한 음성의 발화 위치에 기초하여, 상기 차량의 제어 명령을 상기 음성의 발화 위치에 연계시켜 처리할 수 있다. 보다 구체적으로, 상기 제어부(180)는, 상기 복수의 가상 구역 중 상기 음성의 발화 위치를 포함하는 특정 구역을 검출하고, 상기 특정 구역에 대하여, 상기 음성에 대응되는 차량의 제어 명령을 처리할 수 있다. 예를 들어, 상기 제어부(180)는 "에어컨 켜줘"라는 음성의 발화 위치가 운전석을 포함하는 제1구역에 해당하는 경우, 제1구역의 에어컨 동작시킬 수 있다. 보다 구체적인 설명은 도 9a 내지 도 9c를 통하여 설명한다.
이를 위하여, 차량 운전 보조 장치의 제어부(180)는 차량 내부에 위치한 복수의 이동 단말기의 위치 또는 차량 내부에 구비된 입력부(120)의 위치에 기초하여, 복수의 가상 구역 중 어느 가상 구역에서 수신된 입력인지 여부를 판단할 수 있다.
예를 들어, 도 2b에 도시된 바와 같이, 제어부(180)는 차량 내부에 위치한 복수의 이동 단말기(200a, 200b, 200c, 200d)가 상기 복수의 가상 구역 중 어느 구역에 위치하였는지 여부를 판단할 수 있다. 따라서, 제어부(180)는, 복수의 이동 단말기 중 제어 명령을 입력한 이동 단말기의 위치를 통하여, 제어 명령이 입력된 가상 구역을 판단할 수 있다.
또 다른 예로, 차량 운전 보조 장치의 제어부(180)는 차량 내부에 구비된 입력부(120)를 통하여, 복수의 가상 구역 중 어느 가상 구역에서 수신된 입력인지 여부를 판단할 수 있다. 예를 들어, 제어부(180)는 차량 내부에 구비된 입력부(120)가 제1구역(300)에 위치한 경우, 상기 입력부(120)를 통하여 입력된 제어 명령을 제1구역(300)에서 발생한 제어 명령으로 인식할 수 있다.
이하에서는, 앞서 설명한 구성 요소들 중 적어도 하나를 포함하는 차량 운전 보조 장치에 있어서, 음성으로 차량을 제어하는 방법을 설명한다.
도 3은 차량의 운전을 보조하는 차량 운전 보조 장치에 있어서, 음성을 통하여 차량을 제어하는 방법을 나타낸 흐름도이다. 도 4a 및 도 4b는 도 3의 제어방법을 나타낸 개념도들이다.
우선, 본 발명에 차량 운전 보조 장치는 차량 내부의 사용자로부터 발화된 음성에 대응되는 음성 데이터를 수신할 수 있다(S310).
차량 내부에는, 적어도 하나의 사용자가 위치할 수 있다. 이때, 차량 운전 보조 장치의 제어부(180)는 차량 내부에 위치한 적어도 하나의 사용자로부터 발화된 적어도 하나의 음성에 대응되는 음성 데이터를 수신할 수 있다.
상기 음성 데이터를 수신하는 차량 운전 보조 장치에 구비된 마이크(124) 또는 차량 내부에 위치한 이동 단말기의 마이크는 사용자의 요청에 근거하여, 사용자로부터 발화된 음성을 수신하도록 활성화될 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 사용자는 차량에 구비된 스티어링 휠(steering wheel)의 버튼(button, 450)을 통하여, 음성 입력을 위한 제어 명령을 입력할 수 있다. 이 경우, 제어부(180)는, 상기 음성 입력을 위한 제어 명령에 응답하여, 차량 운전 보조 장치에 구비된 마이크(124) 또는, 차량과 통신이 가능한 이동 단말기의 마이크를 활성화시킬 수 있다. 또 다른 예로, 사용자는, 자신이 소지한 이동 단말기에 음성 입력을 위한 제어 명령을 입력할 수 있다. 이 경우, 이동 단말기는, 사용자의 음성을 입력받기 위하여, 차량 운전 보조 장치에 구비된 마이크(124) 또는, 이동 단말기에 구비된 마이크를 활성화시킬 수 있다.
상기 적어도 하나의 사용자는 상기 활성화된 차량 운전 보조 장치에 구비된 마이크(124) 또는 차량 내부에 위치한 이동 단말기의 마이크를 통하여 음성을 입력할 수 있다. 예를 들어, 운전석에 위치한 사용자는 운전석과 인접한 곳에 위치한 마이크(124)를 통하여 음성에 대응되는 음성 데이터를 입력할 수 있다. 또 다른 예로, 조수석에 위치한 사용자는 자신의 이동 단말기에 구비된 마이크를 통하여, 음성에 대응되는 음성 데이터를 입력할 수 있다.
또한, 상기 적어도 하나의 사용자 중 특정 사용자는, 특정 사용자 이외의 다른 사용자의 음성이 입력되는 것을 제한할 수 있다. 예를 들어, 운전자는 조수석에 위치한 사용자로부터 차량 제어를 위한 음성이 입력되는 것을 제한할 수 있다.
또는, 운전자는, 디스플레이부 상에 표시된 마이크를 제어하는 기능과 연계된 그래픽 객체를 이용하여, 조수석의 사용자로부터 발화된 음성이 입력되도록 마이크를 제어하는 제어 명령을 입력할 수 있다. 이 경우, 상기 제어부(180)는 조수석에 위치한 사용자로부터 발화된 음성을 입력하도록, 마이크를 제어할 수 있다.
상기 음성 데이터를 수신한 차량 운전 보조 장치는, 차량 내부에 위치한 복수의 이동 단말기 중 어느 하나의 이동 단말기에 상기 수신된 음성에 대응되는 음성 데이터를 전송할 수 있다(S320).
상기 차량 운전 보조 장치의 제어부(180)는 수신된 음성 데이터의 처리를 위하여, 차량 내부에 위치한 복수의 이동 단말기 중 어느 하나의 이동 단말기에 상기 수신된 음성에 대응되는 음성 데이터를 전송할 수 있다.
상기 차량 내부에 위치한 복수의 이동 단말기는 차량과 유선 또는 무선으로 통신을 수행할 수 있는 이동 단말기일 수 있다. 이렇게 차량과 유선 또는 무선으로 통신을 수행할 수 있는 이동 단말기는 차량과 연동된 이동 단말기와 동일한 의미로 이해될 수 있다. 예를 들어, 상기 복수의 이동 단말기는 블루투스(bluetooth) 통신을 통하여, 차량 운전 보조 장치와 연동될 수 있다.
한편, 차량 운전 보조 장치는, 차량 내부에 위치한 복수의 이동 단말기 전부와 연동될 수도 있지만, 사용자의 선택에 의하여, 복수의 이동 단말기 중 일부의 이동 단말기만 연동될 수도 있다. 이때, 상기 차량과 연동될 일부 이동 단말기는 사용자에 의하여 선택될 수 있다. 예를 들어, 도 4a의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 차량 내부에 위치한 4대의 이동 단말기를 검출할 수 있다. 또한, 상기 제어부(180)는 상기 검출된 4대의 이동 단말기 각각을 나타내는 그래픽 객체(410, 420, 430, 440)를 표시할 수 있다.
사용자는 상기 4대의 이동 단말기를 나타내는 그래픽 객체(410, 420, 430, 440) 중 차량과 연동될 2대의 이동 단말기를 나타내는 그래픽 객체(410, 440)를 선택할 수 있다. 이 경우, 상기 제어부(180)는 상기 선택된 2대의 이동 단말기와 연동을 수행할 수 있다. 또한, 도 4a의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 선택되지 않은 2대의 이동 단말기를 나타내는 그래픽 객체(420, 430)를 상기 선택된 2대의 이동 단말기를 나타내는 그래픽 객체(410, 440)와 시각적으로 구별되도록 표시할 수 있다.
이하에서는, 차량 내부에 위치한 복수의 이동 단말기가 모두 차량 운전 보조 장치와 연동된 경우를 가정하고 설명하나, 본 발명은, 차량 내부에 위치한 일부의 이동 단말기와 차량 운전 보조 장치가 연동된 경우에 대하여 동일 또는 유사한 방식으로 적용될 수 있다.
또한, 상기 차량 운전 보조 장치와 연동된 복수의 이동 단말기는 서로 다른 음성 인식 알고리즘을 통하여 음성 데이터를 처리하도록 형성될 수 있다. 여기에서, 음성 인식은 음성 데이터의 언어적 의미 내용을 식별하여, 의미를 추출하는 처리 과정을 의미한다. 보다 구체적으로, 음성 인식은, 기 설정된 데이터 베이스에 기초하여, 음성 데이터의 언어적 의미 내용을 식별하고, 이를 문자열로 변환할 수 있다.
예를 들어, 상기 복수의 이동 단말기 중 제1단말기는, 제1 음성 인식 알고리즘을 통하여 음성 데이터를 처리하고, 상기 복수의 이동 단말기 중 제2단말기는, 제2 음성 인식 알고리즘을 통하여 음성 데이터를 처리할 수 있다. 즉, 본 발명에 따른 차량 운전 보조 장치는, 복수의 음성 인식 알고리즘 중 어느 하나의 음성 인식 알고리즘을 통하여, 음성 데이터를 처리할 수 있다.
상기 음성 데이터를 처리하기 위한 어느 하나의 이동 단말기는, 디폴트(default)로 설정되어 있거나, 사용자의 선택 또는 기 설정된 조건에 의하여 결정될 수 있다. 여기에서, 기 설정된 조건은 이동 단말기의 리소스(resource) 정보, 이동 단말기의 위치 정보, 이동 단말기의 음성 인식 엔진 종류 정보 중 적어도 하나와 관련된 조건일 수 있다. 상기 리소스는 이동 단말기의 데이터 처리와 관련된 자원을 총칭하는 의미로, 예를 들어, 공통 메모리의 엑세스(access) 경합 정도일 수 있다. 이때, 리소스를 적게 사용하고 있다는 것은 현재 메모리의 사용량이 적다는 의미로 해석되고, 리소스를 많이 사용하고 있다는 것은 현재 메모리의 사용량이 많다는 의미로 해석될 수 있다.
상기 음성 인식 엔진 종류는, 음성 인식 알고리즘을 제공하는 공급자 정보로써, 예를 들어, 음성 인식 알고리즘을 제공하는 구글(google), 네이버(naver), 다음(daum), 넥서스(nexus) 등이 될 수 있다.
예를 들어, 상기 제어부(180)는 음성을 발화한 사용자와 가장 인접한 영역에 위치한 이동 단말기를 디폴트 이동 단말기로 설정할 수 있다. 이 경우, 상기 제어부(180)는, 사용자의 음성에 대응되는 음성 데이터가 입력되면, 사용자와 가장 인접한 영역에 위치한 이동 단말기에 상기 음성 데이터를 전송할 수 있다.
또 다른 예로, 상기 제어부(180)는 복수의 이동 단말기 각각에 대한 복수의 그래픽 객체를 디스플레이부(151)에 표시할 수 있다. 이 경우, 사용자는 상기 복수의 그래픽 객체 중 어느 하나의 그래픽 객체에 대한 터치 입력을 가함으로써, 상기 어느 하나의 그래픽 객체가 나타내는 어느 하나의 이동 단말기를 선택할 수 있다.
또 다른 예로, 상기 제어부(180)는 복수의 이동 단말기로부터 각 이동 단말기의 리소스 정보를 수신하고, 상기 리소스 정보 중 가장 적은 리소스를 사용하는 어느 하나의 이동 단말기를 선택할 수 있다.
상기 음성 데이터를 수신한 어느 하나의 이동 단말기는, 이동 단말기에 기 설정된 음성 인식 알고리즘을 통하여, 상기 음성 데이터를 처리할 수 있다.
상기 음성 인식 알고리즘은 사람이 발화한 음성을 전자적으로 처리하여, 문자 데이터로 전환하는 알고리즘을 의미한다. 예를 들어, 상기 음성 인식 알고리즘은, HMM(Hidden Markov Model)로써, 다양한 화자들이 발화한 음성들을 통계적으로 모델링하여, 언어 모델을 구사하는 알고리즘이 있다.
나아가, 상기 음성 인식 알고리즘은 자연 언어 처리 알고리즘(NLP, Natural Language Processing Algorithm)을 포함할 수 있다. 자연 언어 처리 알고리즘은 사람이 발화하는 자연의 언어를 기계적으로 분석하여, 컴퓨터가 처리하는 알고리즘이다.
상기 어느 하나의 이동 단말기는, 음성 인식 알고리즘을 통하여, 음성 데이터를 처리하고, 상기 처리된 음성 데이터에 기초하여, 차량의 제어를 위한 차량 제어 명령을 생성할 수 있다.
상기 제어부(180)는, 상기 어느 하나의 이동 단말기가 선택되면, 디스플레이부(151)에 표시된 복수의 이동 단말기 중 어느 하나의 이동 단말기를 나타내는 그래픽 객체를 나머지 그래픽 객체들과 시각적으로 구별하여 표시할 수 있다. 즉, 본 발명의 차량 운전 보조 장치는 현재 음성 데이터의 처리를 위하여, 음성 인식 알고리즘이 실행 중인 이동 단말기를 사용자가 인지할 수 있도록 다른 이동 단말기들과 시각적으로 구별할 수 있다. 또한, 차량 내부에 위치한 복수의 사용자들은 현재 음성 인식을 수행하는 사용자를 인지할 수 있다.
한편, 앞선 설명에서는 복수의 이동 단말기가 차량 내부에 위치한 경우에 대하여 설명하지만, 하나의 이동 단말기에서, 복수의 서로 다른 음성 인식 알고리즘을 통하여 음성 데이터를 처리하는 경우, 하나의 이동 단말기에 음성 데이터를 전송할 수 있다. 이 경우, 상기 이동 단말기는, 복수의 서로 다른 음성 인식 알고리즘 중 사용자의 선택 또는 기 설정된 조건에 의하여, 어느 하나의 음성 인식 알고리즘을 통하여, 음성 데이터를 처리할 수 있다.
즉, 본 발명에 따른 차량 운전 보조 장치는 차량과 연동된 복수의 이동 단말기에 기 설치된 다양한 음성 인식 알고리즘을 통하여 음성 데이터를 처리할 수 있다.
상기 음성 데이터의 전송 후, 차량 운전 보조 장치는 상기 어느 하나의 이동 단말기로부터 수신된 차량의 제어명령에 기초하여, 차량 제어를 수행할 수 있다(S330).
차량 운전 보조 장치의 제어부(180)는 음성 데이터의 처리를 위하여, 상기 어느 하나의 이동 단말기로 음성 데이터를 전송한 후, 상기 어느 하나의 이동 단말기로부터 차량의 제어 명령을 수신할 수 있다.
상기 차량의 제어 명령은 차량의 주행 보조를 위한 제어 명령, 차량의 구성 요소들의 제어를 위한 제어 명령 등이 포함될 수 있다. 예를 들어, 상기 차량의 제어 명령은 차량의 에어컨(air conditioner)의 온/오프(on/off) 제어 명령, 차량의 스피커 볼륨 제어 명령, 음성 수신 온/오프 제어 명령, 공기 정화 기능과 관련된 제어 명령, 차량 온도 제어를 위한 제어 명령 등일 수 있다.
즉, 상기 제어부(180)는 사용자로부터 수신된 음성에 대응되는 음성 데이터에 기초하여, 생성된 상기 차량의 제어 명령을 수신할 수 있다. 또한, 상기 제어부(180)는 상기 차량의 제어 명령에 기초하여, 차량 제어를 수행할 수 있다. 예를 들어, 상기 제어부(180)는 "운전석 에어컨 켜줘"라는 음성 데이터가 수신되는 경우, 상기 음성 데이터를 어느 하나의 이동 단말기에 전송할 수 있다.
상기 음성 데이터를 수신한 어느 하나의 이동 단말기는 "운전석 에어컨 켜줘"라는 음성 데이터에 기초하여 "운전석 에어컨 동작"과 관련된 제어 명령을 생성할 수 있다. 그 후, 상기 어느 하나의 이동 단말기는 상기 생성된 "운전석 에어컨 동작"과 관련된 제어 명령을 차량 운전 보조 장치에 전송할 수 있다. 또한, 상기 이동 단말기는 상기 이동 단말기의 디스플레이부(151) 상에 상기 "운전석 에어컨 동작"과 관련된 제어 명령이 전송되었음을 나타내는 알림 정보를 표시할 수 있다.
이 경우, 상기 차량 운전 보조 장치의 제어부(180)는 상기 운전석 에어컨 동작과 관련된 제어 명령에 기초하여, 운전석의 에어컨을 가동시킬 수 있다.
한편, 상기 제어부(180)는 음성 데이터에 대응되는 음성의 발화 위치에 기초하여, 상기 차량의 제어 명령을 상기 음성의 발화 위치를 포함하는 특정 구역과 연계시켜 처리할 수 있다. 예를 들어, 상기 제어부(180)는 상기 음성 데이터에 대응되는 음성의 발화 위치가 운전석을 포함하는 제1구역에 위치한 경우, 상기 차량의 제어 명령에 기초하여, 제1구역 내의 차량의 구성 요소들을 제어할 수 있다. 이 경우, 상기 제어부(180)는 제1구역 이외의 제2, 제3 및 제4 구역 내의 차량의 구성 요소들을 제어하지 않을 수 있다.
또한, 상기 제어부(180)는, 상기 음성 데이터에 대응되는 차량의 제어 명령이, 상기 음성 데이터가 발화된 발화 위치를 포함하는 특정 구역 이외의 다른 구역에 대한 제어 명령인 경우, 상기 차량의 제어를 수행할지 여부를 묻는 팝업창을 디스플레이부(151) 상에 표시할 수 있다. 즉, 상기 제어부(180)는 상기 음성 데이터에 대응되는 차량의 제어 명령에 대하여, 운전자에게 제어의 수행 여부를 선택받도록 할 수 있다. 이를 통하여, 본 발명은, 주행 안전성을 위하여, 운전석 이외의 사용자에 의한 차량 전반적인 제어를 제한할 수 있다.
한편, 상기 제어부(180)는 운전석을 포함한 제1구역에서 발화된 음성의 경우, 나머지 구역(제2구역, 제3구역 및 제4구역)에서 발화된 음성과 달리, 상기 제1구역에서 발화된 음성에 대응되는 제어 명령에 기초하여, 상기 제1구역 이외의 나머지 구역에 대한 제어를 수행할 수 있다. 즉, 운전자의 경우, 차량 전반적인 제어 권한을 가짐으로써, 차량의 전반적인 제어를 수행할 수 있다.
상기 제어부(180)는 상기 차량의 제어 명령에 기초하여, 차량의 제어가 수행된 후, 상기 차량의 제어를 수행한 결과 정보를 디스플레이부(151)에 표시할 수 있다. 또한, 상기 제어부(180)는, 상기 결과 정보가 프라이버시(privacy) 정보에 해당하는지 여부에 따라, 상기 결과 정보의 출력 정도를 결정할 수 있다. 예를 들어, 상기 제어부(180)는 상기 결과 정보가 프라이버시 정보에 해당하는 경우, 상기 결과 정보의 간략 정보만을 표시하거나, 상기 결과 정보를 표시하지 않을 수 있다. 따라서, 본 발명은 차량 내부에 복수의 사용자의 프라이버시를 보호할 수 있다.
이상에서는, 차량 내부에서 발화된 음성을 차량 내부에 위치한 이동 단말기를 통하여 처리하고, 상기 이동 단말기로부터 처리된 음성 데이터에 기초한 제어 명령을 통하여 차량을 제어하는 방법에 대하여 설명하였다.
이하에서는 차량 내부에 위치한 복수의 이동 단말기 중 사용자로부터 발화된 음성에 대응되는 음성 데이터를 처리할 이동 단말기를 결정하는 방법을 설명한다. 도 5a, 도 5b 및 도 5c는 차량 내부에 위치한 복수의 이동 단말기 중 사용자로부터 발화된 음성에 대응되는 음성 데이터를 처리할 이동 단말기를 결정하는 제어 방법을 나타낸 개념도들이다.
제어부(180)는 차량 내부에 위치한 복수의 이동 단말기 중, 음성 인식 기능을 수행할 어느 하나의 이동 단말기를 결정할 수 있다. 보다 구체적으로, 상기 제어부(180)는, 디폴트로 설정된 이동 단말기를 음성 인식 기능을 수행할 어느 하나의 이동 단말기로 결정할 수 있다. 또는 상기 제어부(180)는 기 설정된 조건에 근거하여, 차량 내부에 위치한 복수의 이동 단말기 중 어느 하나의 이동 단말기를 선택할 수 있다. 또는 상기 제어부(180)는 사용자의 선택에 근거하여, 차량 내부에 위치한 복수의 이동 단말기 중 어느 하나의 이동 단말기를 선택할 수 있다.
예를 들어, 도 5a의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 디폴트로 설정된 운전석에 위치한 이동 단말기를 음성 인식 기능을 수행할 이동 단말기로 결정할 수 있다. 상기 디폴트로 설정된 이동 단말기는, 차량 운전 보조 장치에 식별 정보가 미리 저장된 이동 단말기일 수 있다. 예를 들어, 상기 식별 정보가 미리 저장된 이동 단말기는, 차량 운전 보조 장치와 연동된 이력이 있는 이동 단말기일 수 있다.
상기 음성 인식 기능을 수행할 이동 단말기가 결정된 경우, 도 5a의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 상기 음성 인식 기능을 수행할 이동 단말기에 대응되는 그래픽 객체를 선택되지 않은 나머지 이동 단말기를 나타내는 그래픽 객체들과 사각적으로 구별하여 디스플레이부(151) 상에 표시할 수 있다.
또한, 상기 제어부(180)는 기 설정된 조건에 근거하여, 차량 내부에 위치한 복수의 이동 단말기 중 어느 하나의 이동 단말기를 선택할 수 있다. 예를 들어, 상기 제어부(180)는 복수의 이동 단말기 중 음성을 발화한 사용자의 위치와 가장 인접한 영역에 위치한 이동 단말기를 음성 인식 기능을 수행할 이동 단말기로 결정할 수 있다. 또 다른 예로, 상기 제어부(180)는, 복수의 이동 단말기 중 리소스를 가장 적게 사용하는 이동 단말기를 음성 인식 기능을 수행할 이동 단말기로 결정할 수 있다.
또 다른 예로, 상기 제어부(180)는, 복수의 이동 단말기 중 사용자에 의하여 선택된 특정 음성 인식 엔진을 사용하는 이동 단말기를 음성 인식 기능을 수행할 이동 단말기로 결정할 수 있다. 보다 구체적으로, 도 5b에 도시된 바와 같이, 상기 제어부(180)는, 사용자의 요청에 근거하여, 복수의 음성 인식 엔진에 대한 항목을 포함한 음성 인식 엔진 리스트(500)를 표시할 수 있다. 여기에서, 복수의 음성 인식 엔진은 차량 운전 보조 장치와 연동된 복수의 이동 단말기에 기 설정된 음성 인식 엔진일 수 있다. 이때, 상기 제어부(180)는 사용자의 요청에 근거하여, 복수의 음성 인식 엔진 중 어느 하나의 엔진이 선택되면, 상기 어느 하나의 엔진에 대응되는 어느 하나의 이동 단말기를 음성 인식 기능을 수행할 이동 단말기로 결정할 수 있다.
또한, 비록 도시되지는 않았지만, 상기 제어부(180)는 상기 음성 인식 기능을 수행할 이동 단말기에 대응되는 그래픽 객체를 선택되지 않은 나머지 이동 단말기를 나타내는 그래픽 객체들과 사각적으로 구별하여 디스플레이부(151) 상에 표시할 수 있다.
또한, 상기 제어부(180)는 사용자의 선택에 근거하여, 음성 인식 기능을 수행할 이동 단말기를 설정할 수 있다. 예를 들어, 도 5c의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 복수의 이동 단말기를 각각 나타내는 복수의 그래픽 객체(410, 420, 430, 440)를 디스플레이부(151) 상에 표시할 수 있다. 이때, 상기 제어부(180)는, 상기 복수의 그래픽 객체(410, 420, 430, 440) 중 사용자에 의하여 터치가 가해진 어느 하나의 그래픽 객체(420)에 대응되는 어느 하나의 이동 단말기를 음성 인식 기능을 수행할 이동 단말기로 설정할 수 있다.
또한, 도 5c의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 상기 음성 인식 기능을 수행할 어느 하나의 이동 단말기가 선택되면, 상기 어느 하나의 이동 단말기에 대응되는 그래픽 객체(420)를 나머지 그래픽 객체들(410, 430, 440)과 시각적으로 구별되도록 표시할 수 있다.
상기 제어부(180)는, 앞서 설명한 방식을 통하여, 음성 인식 기능을 수행할 특정 이동 단말기가 결정되면, 상기 특정 이동 단말기를 통하여, 음성 인식 기능을 실행할 수 있다.
이상에서는 차량 내부에 위치한 복수의 이동 단말기 중, 음성 인식 기능을 수행할 특정 이동 단말기를 결정하는 방법을 설명하였다. 이를 통하여, 본 발명은 차량 내부에 위치한 복수의 이동 단말기를 통하여 음성 인식 기능을 수행함으로써, 다양한 음성 인식 엔진을 통하여, 음성 데이터를 처리할 수 있다.
또한, 본 발명은 음성을 발화한 자신의 이동 단말기 이외에 다른 이동 단말기를 통하여 음성 인식을 수행할 수 있다. 이를 통하여, 본 발명은 자신의 이동 단말기에 설치된 음성 인식 알고리즘 이외에 다른 음성 인식 알고리즘을 통하여 음성 인식을 수행할 수 있다.
이하에서는, 차량 내부에 위치한 복수의 이동 단말기에 대하여 음성 인식 기능을 제어하는 방법을 설명한다. 도 6은 차량 내부에 위치한 복수의 이동 단말기에 대하여 음성 인식 기능을 제한하는 방법을 나타낸 개념도이다.
제어부(180)는 차량 내부에 위치한 복수의 이동 단말기에 대하여, 음성 인식 기능의 실행을 제어할 수 있다. 보다 구체적으로, 제어부(180)는, 복수의 이동 단말기 중 음성 인식 기능을 실행할 어느 하나의 이동 단말기를 결정할 수 있다.
한편, 상기 제어부(180)는, 상기 복수의 이동 단말기 중 특정 이동 단말기에 대하여, 음성 인식 기능의 실행을 제한할 어느 하나의 이동 단말기를 결정할 수 있다. 즉, 본 발명은 차량 내부에 위치한 복수의 이동 단말기 중 특정 이동 단말기를 통하여 음성 인식 기능의 실행을 제한할 수 있다.
예를 들어, 도 6의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 복수의 이동 단말기 각각을 나타내는 복수의 그래픽 객체(410, 420, 430, 440) 중 특정 이동 단말기에 대응되는 그래픽 객체(440)에 대하여, 기 설정된 방식의 터치가 가해지는 것을 감지할 수 있다. 여기에서, 기 설정된 방식의 터치는, 더블 터치, 롱 터치 등이 될 수 있다.
상기 제어부(180)는 상기 터치가 가해진 그래픽 객체(440)에 대응되는 특정 이동 단말기가 음성 데이터를 처리할 수 없도록, 특정 이동 단말기와 차량 운전 보조 장치의 연동을 해제할 수 있다. 상기 특정 이동 단말기는, 상기 연동이 해제되면, 차량 운전 보조 장치로부터 음성 데이터를 수신할 수 없다. 이때, 도 6의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 상기 특정 이동 단말기가 음성 데이터를 처리할 수 없도록 설정된 경우, 상기 특정 이동 단말기에 대응되는 그래픽 객체(440)를 상기 음성 데이터를 처리할 수 없는 상태임을 나타내는 그래픽 객체(600)로 변경할 수 있다. 이를 통하여, 본 발명은 차량 내부에 위치한 아이들이 차량을 무분별하게 제어하는 것을 방지할 수 있다.
한편, 비록 도시되지는 않았지만, 상기 제어부(180)는 상기 음성 데이터를 처리할 수 없는 상태임을 나타내는 그래픽 객체(600)에 대하여 터치가 가해지면, 상기 음성 데이터의 처리가 가능하도록 상기 그래픽 객체(600)에 대응되는 특정 이동 단말기를 제어할 수 있다. 이 경우, 상기 디스플레이부(151) 상에는, 상기 음성 데이터를 처리할 수 없는 상태임을 나타내는 그래픽 객체(600)를 음성 데이터의 처리가 가능한 상태임을 나타내는 특정 이동 단말기에 대응되는 그래픽 객체(440)로 다시 변경할 수 있다.
이상에서는 특정 구역의 음성 인식 기능을 제한하는 방법에 대하여 설명하였다. 이를 통하여, 본 발명은 음성을 통한 무분별한 차량 제어를 방지할 수 있다.
이하에서는 차량 내부에 위치한 복수의 사용자들 중 특정 사용자로부터 발화된 음성을 입력받기 위하여 마이크를 제어하는 방법을 설명한다. 도 7a 및 도 7b는 차량 내부에 위치한 복수의 사용자들 중 특정 사용자로부터 발화된 음성을 입력받기 위하여 마이크를 제어하는 방법을 나타낸 개념도들이다.
상기 제어부(180)는 차량 내부에 위치한 복수의 사용자 중 특정 사용자가 발화한 음성을 입력받도록 이동 단말기의 차량에 구비된 마이크(124)를 제어할 수 있다. 보다 구체적으로, 상기 차량 보조 운전 장치에 구비된 마이크(124)는 운전석에 위치한 사용자의 음성을 입력받도록 디폴트로 설정될 수 있다. 이때, 상기 제어부(180)는, 사용자의 선택에 근거하여, 차량 내부에 가상으로 구획된 복수의 가상 구역 중 상기 운전석을 제외한 특정 구역에 위치한 사용자로부터 발화된 음성을 상기 마이크(124)를 통하여 입력받도록, 상기 마이크(124)를 제어할 수 있다.
예를 들어, 도 7a의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 차량 내부에 가상으로 구획된 복수의 가상 구역 중 운전석을 포함한 구역을 제외한 나머지 구역에 대하여, 각 구역의 마이크를 활성화하는 기능과 연계된 그래픽 객체들(710, 720, 730)을 표시할 수 있다. 상기 제어부(180)는 상기 마이크를 활성화하는 기능과 연계된 그래픽 객체들(710, 720, 730) 중 어느 하나의 그래픽 객체(710)에 대한 터치가 가해지는 것에 응답하여, 상기 마이크(124)를 상기 어느 하나의 그래픽 객체(710)에 연계된 마이크(124)를 활성화시킬 수 있다.
상기 제어부(180)는 상기 어느 하나의 그래픽 객체(710)와 연계된 구역의 마이크(124)가 활성화된 경우, 상기 어느 하나의 그래픽 객체(710)를 마이크가 활성화되었음을 나타내도록 시각적 외관을 변경할 수 있다. 예를 들어, 도 7a의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 상기 어느 하나의 그래픽 객체(710)와 연계된 구역의 마이크(124)가 활성화된 경우, 상기 어느 하나의 그래픽 객체(710)의 색을 변경하여 표시할 수 있다. 따라서, 사용자는 현재 차량 내부에 구획된 복수의 가상 구역 중 특정 구역에서 발화된 음성의 입력이 가능한 상태임을 인지할 수 있다.
한편, 상기 제어부(180)는 운전석을 포함한 구역 이외의 특정 구역에서 발화된 음성의 입력받도록, 상기 마이크(124)를 제어한 후에도, 상기 운전석을 포함한 구역에서 발화된 음성을 입력받을 수 있다. 즉, 본 발명은, 운전석을 포함한 구역에서 발화된 음성은 항상 입력받을 수 있도록 디폴트로 설정되어 있고, 나머지 구역에서 발화된 음성의 수신 여부를 결정할 수 있다.
한편, 앞선 설명에서는, 차량 운전 보조 장치에 구비된 마이크(124)를 통하여 음성이 입력받는 경우에 대하여 설명하였지만, 본 발명은, 각 가상의 구역에 위치한 이동 단말기의 마이크로부터 입력된 음성에 대해서도 동일하게 처리할 수 있다.
또한, 상기 제어부(180)는, 상기 특정 구역에서 발화된 음성의 입력이 가능하도록 마이크(124)를 제어한 후, 상기 특정 구역에서 발화된 음성의 입력을 더 이상 입력받지 않도록 마이크(124)를 제어할 수 있다.
보다 구체적으로, 상기 제어부(180)는 운전석을 포함한 이외의 구역에서 발화된 음성이 입력되도록 마이크가 제어된 상태인 경우, 마이크를 비활성화시키기 위한 제어 명령이 가해지면, 운전석을 포함한 이외의 구역에서 발화된 음성을 입력받지 않도록 마이크를 제어할 수 있다.
예를 들어,도 7b의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 특정 구역에서 발화된 음성을 수신하도록 마이크가 제어된 상태에서, 마이크를 비활성화시키기 위한 제어 명령과 연계된 그래픽 객체(740)에 대한 터치를 감지할 수 있다. 이 경우, 상기 제어부(180)는, 운전석을 포함한 구역 이외의 구역에서 발화된 음성을 수신하지 못하도록 상기 마이크(124)를 제어할 수 있다. 따라서, 본 발명은 운전석에서 발화된 음성을 항상 수신할 수 있다.
이상에서는 차량 내부의 마이크를 제어하는 방법에 대하여 설명하였다. 이를 통하여, 차량 운전 보조 장치는, 차량 내부의 마이크를 통하여, 운전석 이외의 다양한 위치에서 발화된 음성을 수신할 수 있다.
이하에서는 음성 인식 기능의 실행 중인 이동 단말기의 음성 인식 기능을 취소하는 방법을 설명한다. 도 8a 및 도 8b는 음성 인식 기능의 실행 중인 이동 단말기의 음성 인식 기능을 취소하는 방법을 나타낸 개념도들이다.
제어부(180)는 특정 구역에서 음성 인식 기능이 실행 중인 상태에서, 사용자 요청에 근거하여, 상기 음성 인식 기능의 실행을 취소할 수 있다. 상기 음성 인식 기능의 취소는 입력 중인 음성의 입력을 종료하거나, 처리 중인 음성 데이터의 처리를 종료하는 것을 의미할 수 있다.
예를 들어, 도 8a의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는, 특정 구역에 위치한 음성 인식 기능이 실행 중인 이동 단말기를 나타내는 그래픽 객체(800)를 음성 인식 기능이 실행 중이지 않은 이동 단말기의 그래픽 객체(410, 420, 440)와 시각적으로 구별하여 표시할 수 있다.
이때, 상기 제어부(180)는 상기 음성 인식 기능을 실행 중인 이동 단말기의 그래픽 객체(800)에 대하여 기 설정된 방식의 터치가 가해지는 것에 응답하여, 음성 인식 기능의 실행을 취소하기 위하여, 상기 그래픽 객체(800)에 대응되는 이동 단말기에 음성 인식 기능의 실행 취소를 위한 제어 명령을 전송할 수 있다. 이 경우, 상기 그래픽 객체(800)에 대응되는 이동 단말기는, 상기 음성 인식 기능의 실행을 취소할 수 있다. 여기에서, 상기 기 설정된 방식의 터치는 멀티 터치, 더블 터치, 숏 터치, 롱 터치 등이 될 수 있다.
또한, 상기 제어부(180)는, 상기 이동 단말기에 음성 인식 기능의 실행 취소를 위한 제어 명령이 전송된 후, 상기 그래픽 객체(810)를 음성 인식 기능의 실행이 취소되었음을 나타내는 그래픽 객체(820)로 변경하여 표시할 수 있다. 따라서 사용자는 이동 단말기를 통한 음성 인식 기능이 취소되었음을 알 수 있다.
상기 음성 인식 기능의 실행이 취소된 이동 단말기는, 이동 단말기로부터 입력 중이던 음성의 입력을 종료하거나, 이동 단말기에서 처리 중인 음성 데이터의 처리를 종료할 수 있다. 또한, 이동 단말기에서 차량 운전 보조 장치로 전송될 예정이였던 음성 데이터에 대응되는 제어 명령을 전송하지 않을 수 있다. 즉, 본 발명은, 음성 인식 기능의 실행이 취소된 이동 단말기가, 더 이상 차량 제어를 수행할 수 없도록, 제어할 수 있다.
한편, 상기 제어부(180)는 운전석을 포함한 구역에 위치한 이동 단말기의 음성 인식 기능의 취소를 제한할 수 있다. 즉, 상기 제어부(180)는 운전석을 포함한 구역에 위치한 이동 단말기에 대하여 음성 인식 기능을 취소할 수 없다.
예를 들어, 도 8b의 첫번째 도면에 도시된 바와 같이, 디스플레이부(151) 상에는 운전석을 포함한 구역에 위치한 이동 단말기가 음성 인식 기능을 실행 중임을 나타내는 그래픽 객체(830)가 표시될 수 있다. 상기 제어부(180)는, 상기 음성 인식 기능을 실행 중임을 나타내는 그래픽 객체(830)에 대하여 기 설정된 방식의 터치가 가해지는 것을 감지할 수 있다. 이 경우, 도 8b의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 "운전석의 음성 인식 기능을 제한할 수 없습니다"라는 알림 정보를 포함한 팝업창(840)을 상기 디스플레이부(151) 상에 표시할 수 있다. 이에 따라, 본 발명은 운전석의 음성 인식 기능을 유지함으로써, 주행 안전성을 획득할 수 있다.
이상에서는 차량 내부에 위치한 이동 단말기를 통하여 실행 중인 음성 인식 기능을 취소 또는 제한하는 방법을 설명하였다.
이하에서는 음성이 발화된 발화 위치에 기초하여, 차량을 제어하는 방법을 설명한다. 도 9a, 도 9b 및 도 9c는 음성이 발화된 발화 위치에 기초하여, 차량을 제어하는 방법을 나타낸 개념도들이다.
제어부(180)는 차량 내부의 복수의 가상 구역 중 특정 구역에 포함된 특정 위치에서, 발화된 음성을 입력받을 수 있다. 또한, 상기 제어부(180)는, 상기 발화된 음성에 대응되는 제어 명령에 기초하여, 차량의 제어를 수행할 수 있다.
상기 제어부(180)는 상기 음성이 발화된 발화 위치에 기초하여, 상기 음성에 대응되는 제어명령을 처리할 수 있다. 보다 구체적으로, 상기 제어부(180)는 상기 음성에 대응되는 제어 명령을 차량 내부의 복수의 가상 구역 중 상기 발화된 음성의 발화 위치가 포함된 특정 구역과 연계시켜 처리할 수 있다.
예를 들어, 상기 제어부(180)는, 운전석을 포함하는 제1구역 내에서 발화된 음성을 수신할 수 있다. 이 경우, 도 9a의 첫번째 도면에 도시된 바와 같이, 상기 디스플레이부(151) 상에는 운전석을 포함하는 제1구역 내에서 음성 인식 기능이 실행 중임을 나타내는 그래픽 객체(900)가 표시될 수 있다.
이때, 상기 제어부(180)는 상기 발화된 음성에 대응되는 제어 명령에 기초하여, 차량의 제어를 수행할 수 있다. 예를 들어, 도 9a의 두번째 도면에 도시된 바와 같이, 상기 발화된 음성에 대응되는 제어 명령이 차량의 창문을 닫기 위한 제어 명령인 경우, 상기 제어부(180)는 제1구역 내에 위치한 차량의 창문을 닫는 동작을 수행할 수 있다.
또한, 상기 제어부(180)는 상기 발화된 음성의 발화 위치가 제1위치와 다른 제2위치인 경우, 상기 발화된 음성에 대응되는 차량의 제어명령을 상기 제2위치와 연계시켜 처리할 수 있다.
예를 들어, 도 9b의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 운전석의 뒷좌석을 포함한 제3구역 내에서, 발화된 "에어컨 틀어줘"라는 음성을 입력받을 수 있다. 이 경우, 상기 디스플레이부(151) 상에는 상기 운전석의 뒷좌석을 포함한 제3구역 내에서 발화된 음성이 수신 중임을 나타내는 그래픽 객체(910)가 표시될 수 있다.
이때, 도 9b의 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는, 에어컨의 가동을 위한 제어 명령이 수신되면, 상기 제3구역 내의 에어컨을 가동시킬 수 있다. 이때, 상기 제어부(180)는 제3구역 이외의 나머지 구역의 에어컨을 가동하지 않을 수 있다. 즉, 제어부(180)는 상기 발화된 음성의 발화 위치가 포함된 구역 내의 제어만을 수행할 수 있다.
또 다른 예로, 상기 제어부(180)는 뒷좌석을 포함하는 구역에서 발화된 음성에 대응되는 제어 명령이 뒷좌석의 음량 조절 제어 명령인 경우, 뒷좌석의 음량 조절 제어를 실행할 수 있다. 이 경우, 앞좌석의 음량 조절 제어는 수행되지 않을 수 있다.
한편, 상기 제어부(180)는, 상기 발화된 음성에 대응되는 제어 명령이 상기 발화된 음성의 발화 위치를 포함하는 특정 구역 이외의 다른 구역을 제어하기 위한 제어 명령인 경우, 상기 음성에 대응되는 제어 명령에 따른 제어를 제한할 수 있다.
이때, 상기 제어부(180)는 상기 음성에 대응되는 제어 명령의 실행 여부를 운전자에게 입력받기 위한 팝업창(920)을 상기 디스플레이부(151)에 표시할 수 있다. 이를 통하여, 본 발명은 운전자가 특정 구역에 위치한 사용자가 다른 구역에 대한 제어를 허용할지 여부를 선택할 수 있게 한다.
예를 들어, 도 9c의 첫번째 및 두번째 도면에 도시된 바와 같이, 상기 제어부(180)는 음성의 발화 위치가 제3구역에 포함되고, 상기 음성에 대응되는 제어 명령이 제1, 제2 및 제4구역에 대한 제어 명령인 경우, 상기 음성에 대응되는 제어 명령의 실행 여부를 운전자에게 입력받기 위한 팝업창(920)을 상기 디스플레이부(151)에 표시할 수 있다. 예를 들어, 상기 제1, 제2 및 제4구역에 대한 제어 명령은 차량 내부의 공기 정화 기능(Ionizer)일 수 있다.
또 다른 예로, 상기 제어부(180)는 뒷좌석을 포함하는 구역의 위치에서 발화된 음성에 대응되는 제어 명령이 앞좌석의 음량 조절 제어 명령인 경우, 음량 조절 제어의 실행 여부를 선택받기 위한 팝업창을 상기 디스플레이부(151)에 표시할 수 있다. 즉, 본 발명은 특정 위치를 포함한 제어 명령이 특정 위치가 아닌 다른 위치에서 발화된 경우, 특정 위치의 제어를 수행할지 여부를 사용자에게 선택하게 할 수 있다.
이 경우, 운전자는 상기 팝업창(920)을 통하여, 공기 정화 기능의 실행 여부를 판단할 수 있다. 즉, 본 발명은 음성이 발화된 발화 위치가 포함된 구역 이외의 구역에 대한 제어 시, 주행 안전성을 위하여 제어를 제한할 수 있다.
즉, 본 발명은 운전석을 포함한 구역 이외의 구역에서 발화된 음성의 경우, 차량의 전반적인 제어를 제한할 수 있다. 이를 통하여, 본 발명은 운전자 이외의 사용자의 차량의 무분별한 제어를 제한하여, 주행 안전성을 확보할 수 있다.
한편, 비록 도시되지는 않았지만, 상기 제어부(180)는 운전석을 포함한 제1구역에서 발화된 음성에 대응되는 제어 명령이, 제1구역 이외의 나머지 구역에 대한 제어를 수행하기 위한 제어 명령인 경우, 상기 음성에 대응되는 제어 명령을 실행할 수 있다. 즉, 운전석을 포함한 제1구역에서 발화된 음성은 다른 구역에서 발화된 음성과 달리, 제1구역 이외의 나머지 구역에 대한 제어가 가능할 수 있다.
예를 들어, 상기 제어부(180)는 운전석을 포함한 제1구역에서 발화된 음성에 대응되는 제어 명령이, 제3 및 제4구역의 스피커의 음량을 줄이기 위한 제어 명령인 경우, 상기 제1구역에서 발화된 음성에 대응되는 제어 명령에 기초하여, 제3 및 제4구역의 스피커의 음량을 줄일 수 있다. 즉, 본 발명은 운전자에 대하여 차량 전반적인 제어 권한을 부여할 수 있다.
이상에서는, 차량 내부에서 발화된 음성의 발화 위치에 따라 제어를 수행하는 방법을 설명하였다.
이하에서는 차량 운전 보조 장치에서 자연어 처리를 수행하는 방법을 설명한다. 도 10a 및 도 10b는 차량 운전 보조 장치에서 자연어 처리를 수행하는 방법을 나타낸 개념도들이다.
제어부(180)는 차량 운전 보조 장치와 연동된 이동 단말기의 음성 인식 엔진을 통하여, 자연어 처리를 수행할 수 있다. 상기 자연어 처리는, 사용자의 요청에 의하여 실행될 수 있다. 예를 들어, 도 10a의 첫번째 도면에 도시된 바와 같이, 상기 제어부(180)는 디스플레이부(151) 상에 자연어 처리 기능의 실행을 선택할 수 있는 팝업창(1000)을 표시할 수 있다. 이 경우, 도 10a의 두번째 도면에 도시된 바와 같이, 상기 팝업창(1000)에 대한 터치에 응답하여, 자연어 처리 기능을 실행할 수 있다. 이 경우, 도 10b에 도시된 바와 같이, 상기 디스플레이부(151) 상에는 자연어 처리 기능이 실행되었음을 나타내는 알림 정보(1010)가 표시될 수 있다.
상기 자연어 처리 기능이 실행되면, 상기 제어부(180)는 사용자로부터 발화된 음성에 대응되는 음성 데이터의 자연어 처리를 수행할 수 있다. 예를 들어, 상기 제어부(180)는 "운전석의 뒷좌석의 온도를 낮춰줘"라는 음성에 대응되는 음성 데이터를 자연어 처리를 통하여, 운전석의 뒷좌석의 에어컨 온도를 낮추는 동작을 수행하기 위한 제어 명령을 수행할 수 있다.
이와 마찬가지로, 상기 제어부(180)는, "춥다", "덥다"라는 음성 데이터의 자연어 처리를 통하여, "에어컨 온도 1도 높이기", "에이컨 온도 1도 낮추기"를 수행하는 제어 명령을 생성할 수 있다.
또한, 상기 제어부(180)는, "너무(too, so, very) 춥다" 또는 "매우(too, so, very) 덥다"라는 음성 데이터의 형용사를 이용한 자연어 처리를 통하여, "에어컨 온도는 31도 이상 유지하기" 또는 "에어컨 온도를 18도 이하로 유지하기" 등의 제어 명령을 생성할 수 있다.
한편, 앞서 도 9a 및 도 9c에서 설명한 바와 같이, 상기 제어부(180)는 음성 데이터의 자연어 처리를 수행한 후, 상기 발화된 음성의 발화 위치에 기초하여, 차량의 제어를 수행할 수 있다.
예를 들어, 상기 제어부(180)는 "추워"라는 음성의 음성 데이터를 자연어 처리를 수행하여, 에어컨 온도를 높이는 제어 명령을 생성할 수 있다. 그 후, 상기 제어부(180)는 음성의 발화 위치가 포함된 구역 내의 에어컨 온도만을 높이는 동작을 수행할 수 있다. 예를 들어, 상기 음성의 발화 위치가 조수석인 경우, 상기 제어부(180)는 조수석의 에어컨의 온도를 높이는 동작을 수행할 수 있다. 즉, 상기 제어부(180)는, 음성의 발화 위치에 따라 특정 구역 내의 차량의 구성 요소만을 제어할 수 있다.
이상에서는 자연어 처리를 수행하여 차량을 제어하는 방법에 대하여 설명하였다.
이하에서는 음성 인식 기능의 수행 후, 결과 정보를 디스플레이부에 표시하는 방법에 대하여 설명한다. 도 11은 음성 인식 기능의 수행 후, 결과 정보를 디스플레이부에 표시하는 방법을 나타낸 개념도이다.
상기 제어부(180)는 음성 데이터에 대응되는 제어 명령을 통하여, 제어를 수행하는 경우, 상기 제어의 수행 결과를 상기 디스플레이부(151)에 표시할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 상기 제어부(180)는 운전석의 뒷좌석에서 음량을 높이는 제어가 수행된 경우, 운전석의 뒷좌석을 나타내는 그래픽 객체(1100) 및 뒷자석이 음량을 높이는 제어가 수행되었음을 알리는 알림 정보를 표시할 수 있다.
한편, 상기 제어부(180)는 상기 결과 정보가 프라이버시(privacy) 정보에 해당하는 경우, 디스플레이부(151)에 결과 정보의 간략 정보만을 표시할 수 있다. 상기 프라이버시 정보는 개인 정보와 관련된 정보일 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 상기 제어부(180)는 상기 결과 정보가 특정 사람과 관련된 정보인 경우, "문자 전송"이라는 간략 정보만을 디스플레이부(151)에 표시할 수 있다. 이 경우, 상기 특정 사람의 이동 단말기 상에는, 상기 결과 정보가 표시될 수 있다. 따라서, 차량 내부의 사용자의 프라이버시를 보호할 수 있다.
본 발명은 차량 내부에서 발화된 음성에 대응되는 음성 데이터를 복수의 이동 단말기에 설치된 음성 인식 기능을 이용하여, 처리할 수 있다. 이를 통하여, 본 발명은 음성 인식 기능의 정확도를 높일 수 있다.
또한, 본 발명은 차량 내부에서 발화된 음성이 발화된 위치에 따라 차량 내부의 제어를 수행할 수 있다. 이를 통하여, 차량 내부에 위치한 사용자는 자신이 위치한 영역 내의 차량 구성 요소들을 음성을 통하여 제어할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 디스플레이부;
    차량 내부에 위치한 복수의 탑승자 중 적어도 하나의 탑승자가 발화한 음성을 수신하도록 형성된 마이크;
    상기 복수의 탑승자가 소지한 복수의 이동 단말기와 무선으로 통신을 수행하도록 형성된 무선 통신부;
    상기 복수의 이동 단말기 각각의 차량 내부의 위치를 감지하는 위치 감지부; 및
    상기 복수의 이동 단말기의 위치 정보를 이용하여, 상기 차량 내부를 복수의 가상 공간으로 구획하고, 상기 복수의 가상 공간 중 특정 가상 공간에 대하여, 상기 마이크를 통하여 수신된 음성 명령 따른 차량 제어를 수행하는 제어부를 포함하고,
    상기 제어부는
    상기 마이크를 통하여, 차량 내부의 공간에 대한 정보가 포함되지 않은 음성이 수신되면, 상기 수신된 음성의 발화 위치를 추출하고,
    상기 복수의 가상 공간 중 상기 추출된 발화 위치와 연관된 특정 가상 공간에 대하여, 상기 수신된 음성 명령에 따른 차량 제어를 수행하는 것을 특징으로 하는 차량 운전 보조 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 복수의 이동 단말기 각각을 나타내는 복수의 그래픽 객체를 표시하도록 상기 디스플레이부를 제어하고,
    상기 복수의 그래픽 객체 중 상기 음성 데이터를 수신한 어느 하나의 이동 단말기를 나타내는 그래픽 객체를 나머지 그래픽 객체들과 시각적으로 구별하여 표시하는 것을 특징으로 하는 차량 운전 보조 장치.
  3. 제1항에 있어서,
    상기 제어부는
    기 설정된 조건에 근거하여, 상기 복수의 이동 단말기 중 상기 음성 데이터를 수신할 어느 하나의 이동 단말기를 검출하는 것을 특징으로 하는 차량 운전 보조 장치.
  4. 제3항에 있어서,
    상기 기 설정된 조건은
    이동 단말기의 리소스 정보, 이동 단말기의 위치 정보 및 이동 단말기의 음성 인식 엔진 종류 정보 중 적어도 하나와 관련된 조건인 것을 특징으로 하는 차량 운전 보조 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 복수의 그래픽 객체 중 사용자에 의하여 선택된 어느 하나의 그래픽 객체에 대응되는 이동 단말기를 통하여 음성 데이터가 처리되도록, 상기 음성 데이터를 상기 어느 하나의 이동 단말기에 전송하는 것을 특징으로 하는 차량 운전 보조 장치.
  6. 제1항에 있어서,
    상기 제어부는
    상기 복수의 그래픽 객체 중 어느 하나의 그래픽 객체에 대하여 기 설정된 방식의 터치가 가해지는 것에 근거하여, 상기 마이크를 통하여 음성의 수신이 제한되도록 상기 어느 하나의 그래픽 객체에 대응되는 이동 단말기를 제어하는 것을 특징으로 하는 차량 운전 보조 장치.
  7. 제1항에 있어서,
    상기 디스플레이부 상에는,
    상기 차량 내부의 특정 위치에서 발화되는 음성을 수신하도록 상기 마이크를 제어하는 기능과 연계된 그래픽 객체가 표시되고,
    상기 제어부는,
    상기 마이크를 제어하는 기능과 연계된 그래픽 객체에 대한 터치가 가해지는 것에 근거하여, 상기 특정 위치에서 발화되는 음성을 수신하도록 상기 마이크를 제어하는 것을 특징으로 하는 차량 운전 보조 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 발화된 음성의 발화 위치에 기초하여, 상기 발화된 음성에 대응되는 제어명령을 처리하는 것을 특징으로 하는 차량 운전 보조 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 제어부는
    상기 발화된 음성에 대응되는 제어 명령이 상기 발화된 음성의 발화 위치가 포함된 특정 구역과 다른 구역을 제어하기 위한 제어 명령인 경우, 상기 발화된 음성에 대응되는 제어 명령의 실행을 제한하는 것을 특징으로 하는 차량 운전 보조 장치.
  11. 제1항에 있어서,
    상기 제어부는
    상기 발화된 음성의 발화 위치를 나타내는 그래픽 객체를 상기 디스플레이부 상에 표시하는 것을 특징으로 하는 차량 운전 보조 장치.
  12. 제10항에 있어서,
    상기 제어부는
    상기 발화 위치를 나타내는 그래픽 객체에 대한 터치가 가해지는 것에 응답하여, 상기 발화된 음성의 수신을 차단하는 것을 특징으로 하는 차량 운전 보조 장치.
  13. 제1항에 있어서,
    상기 제어부는
    상기 차량의 제어명령에 기초하여 차량이 제어된 결과 정보를 상기 디스플레이부에 표시하는 것을 특징으로 하는 차량 운전 보조 장치.
  14. 제13항에 있어서,
    상기 제어부는
    상기 결과 정보가 프라이버시 정보에 해당하는 경우, 상기 결과 정보의 표시를 제한하는 것을 특징으로 하는 차량 운전 보조 장치
  15. 제1항에 있어서,
    상기 복수의 이동 단말기는,
    상기 차량 운전 보조 장치와 무선 통신을 통하여 연동된 이동 단말기인 것을 특징으로 하는 차량 운전 보조 장치.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020150110724A 2015-08-05 2015-08-05 차량 운전 보조 장치 및 이를 구비한 차량 Active KR101910383B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150110724A KR101910383B1 (ko) 2015-08-05 2015-08-05 차량 운전 보조 장치 및 이를 구비한 차량
PCT/KR2015/008602 WO2017022879A1 (ko) 2015-08-05 2015-08-18 차량 운전 보조 장치 및 이를 구비한 차량
US15/750,455 US20180226077A1 (en) 2015-08-05 2015-08-18 Vehicle driving assist and vehicle having same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150110724A KR101910383B1 (ko) 2015-08-05 2015-08-05 차량 운전 보조 장치 및 이를 구비한 차량

Publications (2)

Publication Number Publication Date
KR20170017178A KR20170017178A (ko) 2017-02-15
KR101910383B1 true KR101910383B1 (ko) 2018-10-22

Family

ID=57943197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150110724A Active KR101910383B1 (ko) 2015-08-05 2015-08-05 차량 운전 보조 장치 및 이를 구비한 차량

Country Status (3)

Country Link
US (1) US20180226077A1 (ko)
KR (1) KR101910383B1 (ko)
WO (1) WO2017022879A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141130A (ko) * 2019-06-10 2020-12-18 건국대학교 산학협력단 운전 보조 시스템의 동작 방법, 운전 보조 시스템의 구동을 위한 프로세싱 유닛 및 운전 보조 장치의 구동 시스템
KR102331882B1 (ko) * 2020-05-28 2021-11-29 주식회사대성엘텍 음성 인식 기반의 차량 제어 방법 및 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170090740A1 (en) * 2015-09-30 2017-03-30 Agco Corporation User Interface for Mobile Machines
US10852720B2 (en) * 2016-02-10 2020-12-01 Harman International Industries, Incorporated Systems and methods for vehicle assistance
DE102016205184A1 (de) * 2016-03-30 2017-10-05 Siemens Aktiengesellschaft Verfahren und Anordnung zum Steuern einer Ausgabelautstärke wenigstens einer akustischen Ausgabeeinrichtung
DE102016120638B4 (de) * 2016-10-28 2018-10-18 Preh Gmbh Eingabegerät mit Betätigungsteil und magnetischem Messfeld zur Ermittlung eines Positionsparameters des Betätigungsteils
CN107315519A (zh) * 2017-06-30 2017-11-03 北京奇虎科技有限公司 驾驶状态下的os切换方法、装置及移动终端
CN109859749A (zh) * 2017-11-30 2019-06-07 阿里巴巴集团控股有限公司 一种语音信号识别方法和装置
WO2019220254A1 (en) * 2018-05-14 2019-11-21 Gentex Corporation Vehicle control module for smart home control system
JP6962301B2 (ja) * 2018-09-25 2021-11-05 株式会社オートネットワーク技術研究所 中継装置
WO2020072759A1 (en) * 2018-10-03 2020-04-09 Visteon Global Technologies, Inc. A voice assistant system for a vehicle cockpit system
JP6778735B2 (ja) * 2018-12-26 2020-11-04 本田技研工業株式会社 表示装置、表示方法、およびプログラム
JP7092045B2 (ja) * 2019-01-16 2022-06-28 トヨタ自動車株式会社 車室内制御装置
WO2020208397A1 (en) * 2019-04-09 2020-10-15 Harman International Industries, Incorporated Voice control of vehicle systems
US11140524B2 (en) * 2019-06-21 2021-10-05 International Business Machines Corporation Vehicle to vehicle messaging
WO2021042238A1 (en) * 2019-09-02 2021-03-11 Nuance Communications, Inc. Vehicle avatar devices for interactive virtual assistant
CN111124347B (zh) * 2019-12-03 2023-05-26 杭州蓦然认知科技有限公司 一种聚合形成交互引擎簇的方法、装置
CN112606734A (zh) * 2020-12-17 2021-04-06 安徽通盛能源科技有限公司 一种基于轨道车用控制驱动系统
JP7646963B2 (ja) * 2021-08-17 2025-03-18 アルプスアルパイン株式会社 制御装置、及び制御方法
US20230214171A1 (en) * 2021-12-30 2023-07-06 Harman International Industries, Incorporated In-vehicle multi-occupant media management
US12095828B2 (en) 2021-12-30 2024-09-17 Harman International Industries, Incorporated In-vehicle communications and media mixing
CN115019810A (zh) * 2022-05-30 2022-09-06 中国第一汽车股份有限公司 一种车载多音区智能语音安全交互系统及运行方法
WO2025022763A1 (ja) * 2023-07-26 2025-01-30 マクセル株式会社 車載システムおよび虚像表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130223A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 音声操作システムおよび音声操作方法
KR101513643B1 (ko) * 2014-05-26 2015-04-22 엘지전자 주식회사 정보 제공 장치 및 그 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482534B2 (en) * 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
US6587824B1 (en) * 2000-05-04 2003-07-01 Visteon Global Technologies, Inc. Selective speaker adaptation for an in-vehicle speech recognition system
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
US8787949B2 (en) * 2011-01-04 2014-07-22 General Motors Llc Method for controlling a mobile communications device while located in a mobile vehicle
JP2013102373A (ja) * 2011-11-09 2013-05-23 Denso Corp ハンズフリー装置
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US20140309878A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Providing gesture control of associated vehicle functions across vehicle zones
KR101961139B1 (ko) * 2012-06-28 2019-03-25 엘지전자 주식회사 이동 단말기 및 그것의 음성 인식 방법
JP6155592B2 (ja) * 2012-10-02 2017-07-05 株式会社デンソー 音声認識システム
KR101911253B1 (ko) * 2012-11-21 2018-10-24 엘지전자 주식회사 전자 태그와 모바일 디바이스 및 디스플레이 장치를 포함하는 시스템의 제어 방법, 모바일 디바이스 그리고 디스플레이 장치
JP5376072B1 (ja) * 2013-01-09 2013-12-25 日本電気株式会社 車載情報システムおよび音声認識適応方法
JP6148163B2 (ja) * 2013-11-29 2017-06-14 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9712948B2 (en) * 2014-04-30 2017-07-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Image triggered pairing
KR20150130818A (ko) * 2014-05-14 2015-11-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20160039356A1 (en) * 2014-08-08 2016-02-11 General Motors Llc Establishing microphone zones in a vehicle
US9509820B2 (en) * 2014-12-03 2016-11-29 Harman International Industries, Incorporated Methods and systems for controlling in-vehicle speakers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130223A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 音声操作システムおよび音声操作方法
KR101513643B1 (ko) * 2014-05-26 2015-04-22 엘지전자 주식회사 정보 제공 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141130A (ko) * 2019-06-10 2020-12-18 건국대학교 산학협력단 운전 보조 시스템의 동작 방법, 운전 보조 시스템의 구동을 위한 프로세싱 유닛 및 운전 보조 장치의 구동 시스템
KR102196460B1 (ko) 2019-06-10 2020-12-29 건국대학교 산학협력단 운전 보조 시스템의 동작 방법, 운전 보조 시스템의 구동을 위한 프로세싱 유닛 및 운전 보조 장치의 구동 시스템
KR102331882B1 (ko) * 2020-05-28 2021-11-29 주식회사대성엘텍 음성 인식 기반의 차량 제어 방법 및 장치

Also Published As

Publication number Publication date
KR20170017178A (ko) 2017-02-15
WO2017022879A1 (ko) 2017-02-09
US20180226077A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
KR101910383B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101977090B1 (ko) 차량 제어 장치 및 이를 구비한 차량의 제어방법
US10962378B2 (en) Autonomous vehicle and method of controlling the autonomous vehicle
US20210166275A1 (en) System and method for providing content to a user based on a predicted route identified from audio or images
KR101930462B1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
KR101989523B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP6295924B2 (ja) 車両用報知制御装置、及び車両用報知制御システム
US20080211693A1 (en) Display apparatus
KR20190088090A (ko) 차량에 구비된 디스플레이 장치
KR20180051977A (ko) 차량용 사용자 인터페이스 장치 및 차량
JP4558753B2 (ja) 表示装置
JP4305538B2 (ja) 表示装置
US20250234126A1 (en) Acoustic control method and acoustic control device
KR102023995B1 (ko) 차량 제어 방법
KR101602256B1 (ko) 차량 제어 장치 및 그 제어 방법
KR20170041418A (ko) 차량용 디스플레이 장치 및 그 제어방법
KR101859043B1 (ko) 이동단말기, 차량과 이동 단말기의 연동 시스템
JP2010538884A (ja) 複雑な、メニューコントロールされる多機能の車両システム用ナビゲーションシステム
KR101807788B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
KR20180040820A (ko) 차량용 사용자 인터페이스 장치, 차량과 이동 단말기의 연동 시스템
KR101892498B1 (ko) 차량용 사용자 인터페이스 장치, 차량과 이동 단말기의 연동 시스템
KR101870726B1 (ko) 계기판 디스플레이 및 그것을 포함하는 차량
KR101910055B1 (ko) 차량용 멀티미디어 장치
KR101951426B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20240023253A (ko) 메타버스 기반 차량용 디스플레이 장치 및 이를 위한 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150805

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170414

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150805

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180329

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180724

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181016

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181017

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210909

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220907

Start annual number: 5

End annual number: 5