[go: up one dir, main page]

WO2021040060A1 - 차량용 전자 장치 및 그의 동작 방법 - Google Patents

차량용 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2021040060A1
WO2021040060A1 PCT/KR2019/010739 KR2019010739W WO2021040060A1 WO 2021040060 A1 WO2021040060 A1 WO 2021040060A1 KR 2019010739 W KR2019010739 W KR 2019010739W WO 2021040060 A1 WO2021040060 A1 WO 2021040060A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
processor
risk
learning model
information
Prior art date
Application number
PCT/KR2019/010739
Other languages
English (en)
French (fr)
Inventor
정상경
김현규
송기봉
이철희
정준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/259,258 priority Critical patent/US20220348217A1/en
Priority to PCT/KR2019/010739 priority patent/WO2021040060A1/ko
Priority to KR1020190130392A priority patent/KR20190126258A/ko
Publication of WO2021040060A1 publication Critical patent/WO2021040060A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/145—Haulage vehicles, trailing trucks

Definitions

  • the present invention relates to an electronic device for a vehicle using artificial intelligence.
  • a vehicle is a device that moves in a direction desired by a boarding user.
  • a typical example is a car.
  • Autonomous vehicle refers to a vehicle that can be driven automatically without human driving operation.
  • ADAS advanced driver assistance system
  • the artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike the existing rule-based smart system, the machine learns, judges, and becomes smarter by itself. As the AI system is used, the recognition rate improves and users' tastes can be understood more accurately, and the existing rule-based smart system is gradually being replaced by a deep learning-based artificial intelligence system.
  • an object of the present invention is to provide a method capable of detecting in advance a dangerous situation that may occur during driving by using artificial intelligence technology after learning information obtained through a sensor mounted on a vehicle. .
  • an object of the present invention is to provide a method of notifying a dangerous situation so that a driver can be safe in a detected dangerous situation and responding to the dangerous situation.
  • the electronic device for a vehicle receives sensor data including an image outside the vehicle, identifies a risk factor from the sensor data through a first learning model, and generates a second learning model. And a processor that learns a risk determination criterion according to the risk factor and, when the risk factor satisfies the risk determination criterion, generates a warning signal to warn a user of the existence of the risk factor.
  • the electronic device for a vehicle includes a processor for generating at least one other response control method to a risk factor through a third learning model, and learning a response control method selected by a user from among the at least one response control method.
  • the electronic device for a vehicle includes a processor that generates a signal for controlling at least one vehicle driving device among a braking device, a steering device, and an acceleration device according to a corresponding control method selected by a user.
  • the electronic device for a vehicle includes a processor that calculates the safety level of the corresponding control method selected by the user based on the position and speed information of the vehicle changed according to the corresponding control signal.
  • the electronic device for a vehicle in the autonomous driving mode, selects a response control method with the highest safety level among at least one response control method learned through a third learning model, and according to the response control method with the highest safety level, the vehicle It includes; a processor that controls the driving device.
  • the first learning model, the second learning model, and the third learning model according to the present invention include a deep neural network (DNN) model capable of learning location and time information.
  • DNN deep neural network
  • the electronic device for a vehicle when the risk factor identified through the first learning model satisfies the risk determination criterion learned through the second learning model, the stored icon and the third learning model according to the type of the risk factor are stored. And a processor that generates the warning signal for displaying the response control method with the highest safety level learned through augmented reality on a head up display (HUD).
  • HUD head up display
  • the electronic device for a vehicle includes a processor that transmits information on a risk factor to one or more nearby vehicles using V2V communication when generating a warning signal.
  • the electronic device for a vehicle includes a processor that generates a signal for displaying to a user a response control method of whether to move to a safe lane or whether to change the vehicle speed by avoiding a risk factor to a driver in text or sound. .
  • the present invention it is possible to obtain information on surrounding objects using a radar and an ADAS camera of a vehicle, detect object types and vehicle types around the host vehicle using a model learned based on DNN, and calculate the risk for each lane. .
  • the embodiment according to the present invention detects a vehicle that changes lanes without an operation of a direction indicator or a vehicle that cannot travel while maintaining a lane using a model learned based on a DNN, and acquires a rear driver image through a high-resolution camera. It can be determined whether the driver is drowsy driving or neglects to look forward.
  • a road surface condition is checked with a vehicle front camera, a damaged road surface is detected using a model learned based on DNN, and a warning when entering a road where a damaged road surface exists, or through augmented reality You can mark the area.
  • the vehicle front camera acquires front vehicle information, detects a cargo vehicle using a model learned based on DNN, extracts a height for safe driving, and determines that it is an overloaded vehicle. Vehicle marking and danger radius can be displayed.
  • a degree of symmetry and a degree of shaking of a cargo loaded on a preceding vehicle may be extracted using a model learned based on a DNN.
  • the present invention it is possible to determine whether a vehicle in front is applying a brake using a model learned based on a DNN, and at the same time, detect whether a brake or the like of the vehicle in front is operating properly.
  • the embodiment according to the present invention uses the in-vehicle commuting route DB and the reckless driving vehicle DB, the real-time front/rear camera image information of the vehicle, the navigation movement route, and the AI technology so that the driver is away from the reckless driving vehicle on the commute route It can be guided to move safely to the commute.
  • the embodiment according to the present invention learns the road situation and the occurrence of dangerous objects for each section through the day of the week, time, driving speed information, and front/rear image information for the current driving section, and based on the learned model, a congested road or The child protection zone can be recognized in advance, and information on the frequent section of dangerous objects can be provided to the driver in advance.
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a control block diagram of a vehicle according to an embodiment of the present invention.
  • FIG. 3 is a control block diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 4 is a view showing a camera mounted on a vehicle according to an embodiment of the present invention.
  • FIG. 5 is a flow chart of a processor according to an embodiment of the present invention.
  • FIG. 6 is a flow chart for generating a corresponding control method according to an embodiment of the present invention.
  • FIG. 7A to 7B are diagrams useful in understanding transmission of signals through V2V communication according to an embodiment of the present invention.
  • FIG. 8 is a diagram showing a type of a risk factor, a type of a lane in which the risk factor is located, and a degree of risk according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a state in which a rear vehicle detected from a rear image of the vehicle travels without maintaining a lane.
  • FIG. 10 is a diagram illustrating a vehicle in which a brake light acquired from a front image of the vehicle has failed.
  • 11A to 11B are diagrams illustrating a case where a damaged road surface is detected in a front image of the vehicle.
  • 12A to 12C are diagrams illustrating a case where a freight vehicle is detected in a front image of the vehicle.
  • FIG. 13 shows a flow chart for searching and guiding a reckless driving vehicle.
  • FIG. 14 shows a flow chart for searching and guiding a congested road section.
  • 15 is a diagram showing a notification through an RGB LED.
  • 16A to 16C are diagrams for displaying icons according to types of risk factors using augmented reality.
  • 17 is a view showing a state of guiding to move to a safe lane to avoid risk factors.
  • 19 shows an example of an application operation of an autonomous vehicle and a 5G network in a 5G communication system.
  • 20 to 23 show an example of an operation of an autonomous vehicle using 5G communication.
  • FIG. 1 is a view showing a vehicle according to an embodiment of the present invention.
  • a vehicle 10 is defined as a transportation means running on a road or track.
  • the vehicle 10 is a concept including a car, a train, and a motorcycle.
  • the vehicle 10 may be a concept including both an internal combustion engine vehicle including an engine as a power source, a hybrid vehicle including an engine and an electric motor as a power source, and an electric vehicle including an electric motor as a power source.
  • the vehicle 10 may be a shared vehicle.
  • the vehicle 10 may be an autonomous vehicle.
  • the vehicle 10 may include an electronic device 100.
  • the electronic device 100 may be a device that detects a risk factor that may occur while driving in the vehicle 10 and provides a response control method so that the driver can be safe.
  • FIG. 2 is a control block diagram of a vehicle according to an embodiment of the present invention.
  • the vehicle 10 includes an electronic device 100 for a vehicle, a user interface device 200, an object detection device 210, a communication device 220, a driving operation device 230, and a main ECU 240. , A vehicle driving device 250, a driving system 260, a sensing unit 270, and a location data generating device 280.
  • the electronic device 100 may receive sensor data obtained through the sensing unit 270.
  • the electronic device 100 may detect an object through the object detection device 210.
  • the electronic device 100 may exchange data with a nearby vehicle using the communication device 220.
  • the electronic device 100 may warn of a dangerous situation and display a response control method through the output unit.
  • a microphone, speaker, and display provided in the vehicle 10 may be used.
  • the microphone, speaker, and display provided in the vehicle 10 may be sub-components of the user interface device 200.
  • the electronic device 100 may safely control driving through the vehicle driving device 250.
  • the user interface device 200 is a device for communicating with the vehicle 10 and a user.
  • the user interface device 200 may receive a user input and provide information generated in the vehicle 10 to the user.
  • the vehicle 10 may implement a user interface (UI) or a user experience (UX) through the user interface device 200.
  • UI user interface
  • UX user experience
  • the user interface device 200 may include an input unit and an output unit.
  • the input unit is for receiving information from the user, and data collected by the input unit may be processed as a control command of the user.
  • the input unit may include a voice input unit, a gesture input unit, a touch input unit, and a mechanical input unit.
  • the output unit is for generating an output related to visual, auditory or tactile sense, and may include at least one of a display unit, an audio output unit, and a haptic output unit.
  • the display unit may display graphic objects corresponding to various pieces of information.
  • the display unit is a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, 3 It may include at least one of a 3D display and an e-ink display.
  • the display unit forms a layer structure with the touch input unit or is integrally formed, thereby implementing a touch screen.
  • the display unit may be implemented as a head up display (HUD).
  • a projection module may be provided to output information through a windshield or an image projected on a window.
  • the display unit may include a transparent display. The transparent display can be attached to a windshield or window.
  • the display unit is arranged in one region of the steering wheel, one region of the instrument panel, one region of the seat, one region of each pillar, one region of the door, one region of the center console, one region of the headlining, and one region of the sun visor. Alternatively, it may be implemented in one region of the windshield or one region of the window.
  • the user interface device 200 may include a plurality of display units.
  • the sound output unit converts the electrical signal provided from the processor 170 into an audio signal and outputs it.
  • the sound output unit may include one or more speakers.
  • the haptic output unit generates a tactile output. For example, by vibrating the steering wheel, seat belt, and seat, it can be operated so that the user can perceive the output.
  • the user interface device 200 may be referred to as a vehicle display device.
  • the object detection device 210 may detect an object outside the vehicle 10.
  • the object detection device 210 may include at least one sensor capable of detecting an object outside the vehicle 10.
  • the object detection device 210 may include at least one of a camera 130, a radar, a lidar, an ultrasonic sensor, and an infrared sensor.
  • the object detection device 210 may provide object information generated based on a sensing signal generated by a sensor to at least one electronic device included in the vehicle.
  • the objects may be various objects related to the operation of the vehicle 10.
  • it may include lanes, other vehicles, pedestrians, two-wheeled vehicles, traffic signals, lights, roads, structures, speed bumps, terrain objects, animals, and the like.
  • the object may be classified into a moving object and a fixed object.
  • the moving object may be a concept including other vehicles and pedestrians
  • the fixed object may be a concept including traffic signals, roads, and structures.
  • the camera 130 may be positioned at an appropriate place on the vehicle in order to acquire an image outside the vehicle.
  • the camera may be a mono camera, a stereo camera, an AVM (Around View Monitoring) camera, or a 360 degree camera.
  • the camera 130 may acquire location information of an object, distance information of an object, or information of a relative speed with an object by using various image processing algorithms.
  • the camera 130 may acquire distance information and relative speed information from the object based on a change in the size of the object over time.
  • the camera 130 may obtain distance information and relative speed information with an object through a pin hole model, road surface profiling, or the like.
  • the camera 130 may obtain distance information and relative speed information from an object based on disparity information from a stereo image obtained from a stereo camera.
  • the radar may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar may be implemented in a pulse radar method or a continuous wave radar method according to the principle of radio wave emission.
  • the radar may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar detects an object based on an electromagnetic wave, a Time of Flight (TOF) method or a phase-shift method, and detects the position of the detected object, the distance to the detected object, and the relative speed.
  • TOF Time of Flight
  • phase-shift method detects the position of the detected object, the distance to the detected object, and the relative speed. I can.
  • the radar can be placed in a suitable location outside of the vehicle to detect objects located in front, rear, or to the side of the vehicle.
  • the radar may include a laser transmitting unit and a receiving unit.
  • the rider may be implemented in a Time of Flight (TOF) method or a phase-shift method.
  • TOF Time of Flight
  • the lidar can be implemented either driven or non-driven. When implemented as a drive type, the rider is rotated by a motor, and objects around the vehicle 10 can be detected. When implemented in a non-driven manner, the lidar may detect an object located within a predetermined range with respect to the vehicle 10 by optical steering.
  • the vehicle 10 may include a plurality of non-driven lidars.
  • the radar detects an object by means of laser light, based on a time of flight (TOF) method or a phase-shift method, and detects the position of the detected object, the distance to the detected object, and the relative speed. can do.
  • TOF time of flight
  • the lidar can be placed in a suitable location outside the vehicle to detect objects located in front, rear or side of the vehicle.
  • the ultrasonic sensor may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor may detect an object based on ultrasonic waves, and may detect a position of the detected object, a distance to the detected object, and a relative speed.
  • the ultrasonic sensor may be disposed at an appropriate position outside the vehicle to detect an object located in the front, rear or side of the vehicle.
  • the infrared sensor may include an infrared transmitter and a receiver.
  • the infrared sensor may detect an object based on infrared light, and may detect a position of the detected object, a distance to the detected object, and a relative speed.
  • the infrared sensor may be disposed at an appropriate location outside the vehicle to detect objects located in front, rear or side of the vehicle.
  • the object information may include information on the presence or absence of an object, location information of the object, distance information between the vehicle 10 and the object, and relative speed information between the vehicle 10 and the object.
  • the communication device 220 may exchange signals with devices located outside the vehicle 10.
  • the communication device 220 may exchange signals with at least one of an infrastructure (eg, a server, a broadcasting station) and another vehicle.
  • the communication device 220 may include at least one of a transmission antenna, a reception antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 220 may include a short-range communication unit, a location information unit, a V2X communication unit, an optical communication unit, a broadcast transmission/reception unit, and an Intelligent Transport Systems (ITS) communication unit.
  • ITS Intelligent Transport Systems
  • the V2X communication unit is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit may include an RF circuit capable of implementing communication with infrastructure (V2I), vehicle-to-vehicle communication (V2V), and communication with pedestrians (V2P) protocols.
  • the vehicle 10 may exchange information on a risk factor including type and location information of the risk factor with one or more nearby vehicles through V2V communication. Further, the vehicle 10 can also exchange signals related to the corresponding control method through V2V communication. Nearby vehicles can prepare for a hazardous situation by receiving signals about the risk factors and countermeasure control methods.
  • the communication device 220 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be referred to as a telematics device or an audio video navigation (AVN) device.
  • APN audio video navigation
  • the driving manipulation device 230 is a device that receives a user input for driving. In the manual mode, the vehicle 10 may be driven based on a signal provided by the driving operation device 230.
  • the driving operation device 230 may include a steering input device (eg, a steering wheel), an acceleration input device (eg, an accelerator pedal), and a brake input device (eg, a brake pedal).
  • the main ECU 240 may control the overall operation of at least one electronic device provided in the vehicle 10.
  • the drive control device 250 is a device that electrically controls various vehicle driving devices in the vehicle 10.
  • the drive control device 250 may include a power train drive control device, a chassis drive control device, a door/window drive control device, a safety device drive control device, a lamp drive control device, and an air conditioning drive control device.
  • the power train drive control device may include a power source drive control device and a transmission drive control device.
  • the power source drive control device may control the power source of the vehicle 10. For example, when a fossil fuel-based engine is a power source, electronic control of the engine may be performed. Thereby, it is possible to control the output torque of the engine and the like.
  • the power source driving control device may perform control of the motor, and may adjust the rotational speed and torque of the motor according to the control of the processor 170.
  • the transmission drive control device may perform control of the transmission, and may adjust the state of the transmission to forward (D), reverse (R), neutral (N), or parking (P).
  • the chassis drive control device may control the operation of the chassis device and may include a steering drive control device, a brake drive control device, and a suspension drive control device.
  • the steering drive control apparatus may change the traveling direction of the vehicle by performing electronic control on a steering apparatus in the vehicle 10.
  • the brake drive control apparatus may perform electronic control of a brake apparatus in the vehicle 10. For example, it is possible to reduce the speed of the vehicle 10 by controlling the operation of the brake disposed on the wheel.
  • the suspension drive control apparatus may perform electronic control on a suspension apparatus in the vehicle 10. For example, when there is a curvature on the road surface, the suspension device may be controlled to reduce vibration of the vehicle 10.
  • the safety device driving control device may include a safety belt driving control device for controlling the safety belt.
  • the control driving device 250 may be referred to as a control Electronic Control Unit (ECU).
  • ECU control Electronic Control Unit
  • the driving system 260 may control the movement of the vehicle 10 or generate a signal for outputting information to a user based on data on an object received by the object detection device 210.
  • the driving system 260 may provide the generated signal to at least one of the user interface device 200, the main ECU 240, and the vehicle driving device 250.
  • the driving system 260 may be a concept including ADAS.
  • ADAS 260 includes an adaptive cruise control system (ACC), an automatic emergency braking system (AEB), a forward collision warning system (FCW), and a lane maintenance assistance system (LKA: Lane). Keeping Assist), Lane Change Assist (LCA), Target Following Assist (TFA), Blind Spot Detection (BSD), Adaptive High Beam Control System (HBA: High Beam) Assist), Auto Parking System (APS), PD collision warning system, Traffic Sign Recognition (TSR), Traffic Sign Assist (TSA), Night At least one of a vision system (NV: Night Vision), a driver status monitoring system (DSM), and a traffic jam assistance system (TJA) may be implemented.
  • ACC adaptive cruise control system
  • AEB automatic emergency braking system
  • FCW forward collision warning system
  • LKA Lane maintenance assistance system
  • LKA Lane Change Assist
  • TSA Traffic Spot Detection
  • HBA High Beam Control System
  • APS
  • the driving system 260 may include an autonomous driving electronic control unit (ECU).
  • the autonomous driving ECU may set an autonomous driving route based on data received from at least one of other electronic devices in the vehicle 10.
  • the autonomous driving ECU is based on data received from at least one of the user interface device 200, the object detection device 210, the communication device 220, the sensing unit 270, and the location data generating device 280, You can set the driving route.
  • the autonomous driving ECU may generate a control signal so that the vehicle 10 travels along the autonomous driving path.
  • the control signal generated by the autonomous driving ECU may be provided to at least one of the main ECU 240 and the vehicle driving device 250.
  • the sensing unit 270 may sense the state of the vehicle.
  • the sensing unit 270 is an IMU (inertial navigation unit) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight detection sensor, a heading sensor, a position module, and a vehicle advancement.
  • IMU inertial navigation unit
  • the inertial navigation unit (IMU) sensor may include one or more of an acceleration sensor, a gyro sensor, and a magnetic sensor.
  • the sensing unit 270 may generate state data of the vehicle based on a signal generated by at least one sensor.
  • the sensing unit 270 includes vehicle attitude information, vehicle motion information, vehicle yaw information, vehicle roll information, vehicle pitch information, vehicle collision information, vehicle direction information, vehicle angle information, vehicle speed information , Vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, battery information, fuel information, tire information, vehicle ramp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, vehicle external illuminance, and accelerator pedals. It is possible to obtain a sensing signal for the applied pressure and the pressure applied to the brake pedal.
  • the sensing unit 270 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), a throttle position sensor (TPS), It may further include a TDC sensor, a crank angle sensor (CAS), and the like.
  • AFS air flow sensor
  • ATS intake air temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • the sensing unit 270 may generate vehicle state information based on the sensing data.
  • the vehicle status information may be information generated based on data sensed by various sensors provided inside the vehicle.
  • vehicle status information includes vehicle attitude information, vehicle speed information, vehicle tilt information, vehicle weight information, vehicle direction information, vehicle battery information, vehicle fuel information, vehicle tire pressure information, vehicle Steering information, vehicle interior temperature information, vehicle interior humidity information, pedal position information, vehicle engine temperature information, and the like.
  • the sensing unit may include a tension sensor.
  • the tension sensor may generate a sensing signal based on the tension state of the seat belt.
  • the location data generating device 280 may generate location data of the vehicle 10.
  • the location data generating apparatus 280 may include at least one of a Global Positioning System (GPS) and a Differential Global Positioning System (DGPS).
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the location data generating apparatus 280 may generate location data of the vehicle 10 based on a signal generated by at least one of GPS and DGPS.
  • the location data generation apparatus 280 may correct the location data based on at least one of an IMU (Inertial Measurement Unit) of the sensing unit 270 and a camera of the object detection apparatus 210.
  • IMU Inertial Measurement Unit
  • the location data generating device 280 may be referred to as a location positioning device.
  • the location data generating device 280 may be referred to as a Global Navigation Satellite System (GNSS).
  • GNSS Global Navigation Satellite System
  • Vehicle 10 may include an internal communication system 50.
  • a plurality of electronic devices included in the vehicle 10 may exchange signals through the internal communication system 50. Signals may contain data.
  • the internal communication system 50 may use at least one communication protocol (eg, CAN, LIN, FlexRay, MOST, Ethernet).
  • FIG. 3 is a control block diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may include a memory 140, a processor 170, an interface unit 180, and a power supply unit 190.
  • the electronic device 100 may include at least one printed circuit board (PCB).
  • the memory 140, the interface unit 180, the power supply unit 190, and the processor 170 may be electrically connected to a printed circuit board.
  • the memory 140 is electrically connected to the processor 170.
  • the memory 140 may store basic data for a unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may store data processed by the processor 170.
  • the memory 140 may be configured with at least one of ROM, RAM, EPROM, flash drive, and hard drive.
  • the memory 140 may store various data for overall operation of the electronic device 100, such as a program for processing or controlling the processor 170.
  • the memory 140 may be implemented integrally with the processor 170. Depending on the embodiment, the memory 140 may be classified as a sub-element of the processor 170.
  • the memory 140 may store image data generated by the camera 130. When it is determined by the processor 170 that the second user is invading the virtual barrier, the memory 140 may store image data that is the basis of the determination.
  • the interface unit 180 may exchange signals with at least one electronic device provided in the vehicle 10 by wire or wirelessly.
  • the interface unit 180 includes an object detection device 210, a communication device 220, a driving operation device 230, a main ECU 240, a vehicle driving device 250, an ADAS 260, a sensing unit 270, and Signals may be exchanged with at least one of the location data generating devices 280 by wire or wirelessly.
  • the interface unit 180 may be configured with at least one of a communication module, a terminal, a pin, a cable, a port, a circuit, an element, and a device.
  • the interface unit 180 may receive location data of the vehicle 10 from the location data generating device 280.
  • the interface unit 180 may receive driving speed data from the sensing unit 270.
  • the interface unit 180 may receive object data around the vehicle from the object detection device 210.
  • the interface unit 180 may be used to transmit, to the output unit, a signal regarding a response control method capable of securing a driver's safety in response to a risk factor generated by the processor 170.
  • the power supply unit 190 may supply power to the electronic device 100.
  • the power supply unit 190 may receive power from a power source (eg, a battery) included in the vehicle 10 and supply power to each unit of the electronic device 100.
  • the power supply unit 190 may be operated according to a control signal provided from the main ECU.
  • the power supply unit 190 may be implemented as a switched-mode power supply (SMPS).
  • SMPS switched-mode power supply
  • the processor 170 may be electrically connected to the memory 140, the interface unit 180, and the power supply unit 190 to exchange signals.
  • the processor 170 includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers. controllers), micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • controllers micro-controllers, microprocessors, and electrical units for performing other functions.
  • the processor 170 may be driven by power provided from the power supply unit 190.
  • the processor 170 may receive data, process data, generate a signal, and provide a signal while power is supplied by the power supply unit 190.
  • the processor 170 may receive information from another electronic device in the vehicle 10 through the interface unit 180.
  • the processor 170 may provide a control signal to another electronic device in the vehicle 10 through the interface unit 180.
  • the processor 170 receives sensor data, identifies a risk factor based on the sensor data, learns a risk determination criterion for each risk factor, and if the risk factor satisfies the risk determination criterion, the Warning signals can be generated to warn of the presence of hazards.
  • the processor 170 may receive sensor data sensed by the sensing unit 270 or the object detection device 210 through the interface unit 180.
  • the sensor data may include an image of a vehicle external image acquired through a radar or a camera.
  • the processor 170 may obtain front object information, rear object information including a rear vehicle, and surrounding object information from sensor data.
  • the processor 170 may detect or identify one or more risk factors based on sensor data.
  • the processor 170 based on the image data obtained through the camera, a vehicle that changes lanes without an operation of a turn signal, a vehicle that cannot maintain a lane, and a vehicle that is driven without maintaining a lane, a damaged road surface and a type of lane, a freight vehicle, and deceleration. It is possible to identify the vehicle to be used.
  • the processor 170 may identify a risk factor from sensor data through the first learning model.
  • the first learning model may be a learned DNN model.
  • a deep neural network refers to an artificial neural network (ANN) that includes multiple hidden layers between an input layer and an output layer.
  • ANN artificial neural network
  • the processor 170 may learn a risk determination criterion for each risk factor in order to determine whether the detected risk factor satisfies the risk determination criterion.
  • the processor 170 may learn a risk determination criterion according to a risk factor through the second learning model.
  • the second learning model may be a learned DNN model.
  • the processor 170 identifies the type of the object including the type of the vehicle and the type of the lane from the image outside the vehicle through the first learning model, and the type of the object and the type of the lane through the second learning model. As a parameter, the degree of risk according to the parameter can be learned.
  • the processor 170 through the first learning model, identifies a vehicle that changes lanes without a turn indicator operation from the rear image of the vehicle or a vehicle that runs without maintaining the lane, obtains a rear driver image through the camera, The state of the rear driver may be learned from the rear driver image through the second learning model.
  • the processor 170 may identify types of damaged road surfaces and lanes from the front image of the vehicle through the first learning model, and learn the degree of shaking of the vehicle while driving on the road through the second learning model.
  • the processor 170 identifies at least one of the type of the cargo vehicle or the degree of symmetry of the cargo loaded in the cargo vehicle from the front image of the vehicle through the first learning model, and Height information according to the type or the degree of shaking according to the degree of symmetry of the cargo loaded in the cargo vehicle may be learned.
  • the processor 170 may identify the front vehicle decelerating from the front image of the vehicle through the first learning model, and learn whether to operate the brake light according to the deceleration of the front vehicle through the second learning model.
  • the processor 170 may determine whether the risk factor satisfies the risk determination criterion, and when the risk factor satisfies the risk determination criterion, may generate a warning signal to warn of the presence of the risk factor.
  • the warning signal may be a signal that displays the type and location of the risk factor, and the degree of danger through the display unit.
  • the processor 170 numerically calculates and calculates the risk, and if the numerical risk is greater than or equal to a set value, a warning signal indicating the type of object and the numerical risk, and a color stored according to the risk are RGB LEDs mounted in the vehicle. It is possible to generate a warning signal to indicate through.
  • the processor 170 determines a drowsy driving state, and if the gaze direction of the rear driver does not face the front, the processor 170 determines that a negligent looking forward state, and the drowsy driving state or the front A warning signal can be generated to indicate a state of negligence.
  • the processor 170 stores a front image of the vehicle together with location information when the degree of shaking of the vehicle is greater than or equal to a set value, and generates a first warning signal when the vehicle enters a distance less than a preset distance in the location information.
  • a second warning signal may be generated.
  • the processor 170 calculates a risk radius, which is a fall range of the cargo according to the height information and the degree of shaking, and A warning signal indicating the vehicle and the danger radius may be generated.
  • the processor 170 determines that the front vehicle is decelerating and the brake light does not operate, it displays that the brake light of the front vehicle is lit through an AR while the front vehicle is deceleration, and the occurrence of a defect such as the brake. You can create a warning signal to guide you.
  • the processor 170 may indicate the location of the risk factor through a signal indicating the location of the lane where the risk factor exists.
  • the processor 170 may display the location of the risk factor by storing different colors for each lane and displaying the color of the lane in which the risk factor exists.
  • the processor 170 may generate one or more corresponding control methods capable of securing driver safety in response to a risk factor.
  • the processor 170 may generate one or more corresponding control methods according to risk factors through the third learning model.
  • the third learning model may be a learned DNN model.
  • the processor 170 may generate one or more corresponding control methods according to the risk factors through the third learning model, and determine whether it is in the autonomous driving mode. If the processor 170 determines that the autonomous driving mode is not in the autonomous driving mode, the processor 170 may receive an input signal from a user and learn a corresponding control method according to the user input signal among one or more corresponding control methods.
  • the processor 170 may generate a corresponding control signal for controlling at least one vehicle driving device among a braking device, a steering device, and an acceleration device according to a corresponding control method according to a user input signal.
  • the processor 170 may calculate the safety level of the corresponding control method selected by the user based on the position information, speed information, and vehicle state information of the vehicle changed according to the corresponding control signal.
  • the processor 170 may determine whether it is an autonomous driving mode, and if it is determined that the autonomous driving mode is the autonomous driving mode, the processor 170 may select the corresponding control method having the highest degree of safety among the one or more corresponding control methods learned through the third learning model. The processor 170 may control the vehicle driving apparatus according to the corresponding control method having the highest degree of safety.
  • the processor 170 may generate a corresponding control signal for controlling at least one vehicle driving device among a braking device, a steering device, and an acceleration device according to a corresponding control method having the highest level of safety.
  • the processor 170 stores icons and a third learning model according to the type of the risk factor.
  • a signal for displaying the corresponding control method with the highest safety level learned through augmented reality on a head up display (HUD) may be generated.
  • the processor 170 may generate a signal that calculates and displays the degree of risk.
  • the risk is defined as a probability of occurrence of an accident with the own vehicle, and the processor 170 may calculate and calculate the risk for each risk factor based on the learned DNN model. And it is possible to generate a signal indicating the degree of risk that has been quantified.
  • the processor 170 may receive a driver's selection signal for a corresponding control method through the interface unit 180 and may generate a corresponding control signal according to the corresponding control method.
  • the corresponding control signal may be a signal for controlling at least one of a steering control device, a brake control device, and an acceleration control device.
  • the driver's selection can be made through the input unit.
  • the processor 170 may generate the corresponding control signal according to the safest corresponding control method learned by the deep neural network model.
  • the processor 170 may calculate the risk based on the learned DNN model. If the identified risk factor satisfies the risk determination criterion, the processor 170 may calculate a risk that can be defined as a probability of an accident with the own vehicle based on the learned data, and may indicate the risk in% units.
  • the processor 170 may numerically calculate and calculate the risk of the risk factor based on the learned DNN model, and display a color for each risk level corresponding to the risk of the risk factor calculated through the RGB LED mounted in the vehicle. With RGB LEDs, the driver can intuitively detect danger while looking ahead.
  • the processor 170 may store icons according to types of risk factors by selection of the driver and display the icons through the display unit.
  • the display can use the HUD, and the icon display can be displayed through augmented reality. Detailed guidance on dangerous situations may be possible through HUD and augmented reality.
  • the processor 170 may inform the driver of whether to move to a safe lane or change the speed of the vehicle to avoid the detected risk factor. In this case, it can be displayed by text through the display or guided by voice through the speaker. That is, the processor 170 may display the corresponding control method to the driver in text or voice.
  • the first learning model, the second learning model, and the third learning model may include a deep neural network (DNN) model capable of learning location and time information.
  • DNN deep neural network
  • the processor 170 may identify a risk factor using the first, second, and third learning models, determine the degree of risk according to the risk determination criteria, and guide a safe response control method for each situation, and the learning
  • the models may be a deep neural network-based model trained using a machine learning algorithm or a deep learning algorithm.
  • the learning model may be learned by a learning processor of an artificial intelligence device, or may be learned by a learning processor of an artificial intelligence server.
  • the processor 170 may directly identify risk factors by using the learning model stored in the memory 140, transmit sensor information to the artificial intelligence server, and respond generated by using the learning model from the artificial intelligence server. It can also receive control information. In this case, 5G communication can be used. The basic operation method of the autonomous driving vehicle 10 and 5G communication will be described later with reference to FIGS. 18 to 23.
  • FIG. 4 is a view showing a camera mounted on a vehicle according to an embodiment of the present invention.
  • the camera 130 may be positioned at an appropriate place on the vehicle in order to acquire an image outside the vehicle.
  • the camera may be a mono camera, a stereo camera, an AVM (Around View Monitoring) camera, or a 360 degree camera.
  • the camera 130 may be disposed close to the front windshield in the interior of the vehicle in order to acquire an image of the front of the vehicle.
  • it can be placed around the front bumper or radiator grille.
  • the camera 130 may be disposed close to the rear glass in the interior of the vehicle in order to acquire an image of the rear of the vehicle.
  • it may be placed around a rear bumper, trunk or tailgate.
  • the camera 130 may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the side of the vehicle.
  • it may be disposed around a side mirror, a fender, or a door.
  • FIG. 5 is a flow chart of a processor according to an embodiment of the present invention.
  • the processor 170 includes: receiving sensor data (S510), identifying a risk factor based on the sensor data (S520), learning a risk determination criterion for each risk factor (S530), the risk factor It may be operated through the step of determining whether or not the risk determination criterion is satisfied (S535), the step of generating a warning signal (S540), and the step of generating one or more corresponding control methods (S550).
  • the sensor data reception step S510 may be a step of receiving sensor data sensed by the sensing unit 270 through the interface unit 180.
  • the sensor data may include front object information including a front vehicle acquired through a radar or a camera, rear object information including a rear vehicle, and surrounding object information.
  • the step of identifying a risk factor may mean detecting or identifying one or more risk factors from raw sensor data.
  • the processor 170 based on the image data obtained through the camera, a vehicle that changes lanes without an operation of a turn signal, a vehicle that cannot maintain a lane, and a vehicle that is driven without maintaining a lane, a damaged road surface and a type of lane, a freight vehicle, and deceleration. It is possible to identify the vehicle to be used. In this case, the first learning model may be used.
  • the risk factors may be various objects related to the operation of the vehicle 10. For example, vehicles and pedestrians around the host vehicle, vehicles that change lanes without direction indication, vehicles that cannot drive while maintaining lanes, damaged road surfaces, overloaded vehicles, speeding vehicles, brake defective vehicles, reckless driving vehicles, and congested road sections. And the like may be included.
  • the step of learning the risk determination criterion may be a step of learning a risk determination criterion capable of putting the driver in a dangerous situation according to the type of the identified risk factor.
  • the risk determination criterion according to the type of risk factor may be learned through the second learning model and stored in the memory 140.
  • the first learning model and the second learning model may be a deep neural network (DNN) model.
  • DNN deep neural network
  • a deep neural network refers to an artificial neural network (ANN) that includes multiple hidden layers between an input layer and an output layer.
  • ANN artificial neural network
  • Deep neural networks can learn various nonlinear relationships including multiple hidden layers.
  • the deep neural network can be used as a core model for deep learning by applying techniques such as drop-out, rectified linear unit (ReLU), and batch normalization.
  • ReLU rectified linear unit
  • deep neural networks include a deep trust neural network (DBN) based on unsupervised learning, a deep autoencoder, etc., and are synthesized for processing 2D data such as images. It may include a product neural network (CNN), a recurrent neural network (RNN) for processing time series data, and the like.
  • DNN deep trust neural network
  • CNN product neural network
  • RNN recurrent neural network
  • the step of determining whether the risk factor satisfies the risk determination criterion is a step of determining whether the risk factor identified through the first learning model satisfies the risk determination criterion learned through the second learning model. I can. If the risk factor satisfies the risk determination criterion, a warning signal generation step (S540) is performed, and if the risk factor does not satisfy the risk determination criterion, a sensor data reception step (S510) is performed.
  • the warning signal generation step S540 may be a step of warning the user of the existence of the risk factor when the risk factor satisfies the risk determination criterion.
  • the warning signal may be a signal that displays the type and location of a risk factor, and a degree of risk through an output unit.
  • the location of the risk factor may be indicated through a signal indicating the location of a lane in which the risk factor exists.
  • the processor 170 may display the location of the risk factor by storing different colors for each lane and displaying the color of the lane in which the risk factor exists through an output unit.
  • the output unit may include a display unit and an audio output unit.
  • the processor 170 may transmit an output signal to the output unit through the interface unit 180.
  • the output signal may include a warning signal and a display signal of a corresponding control method.
  • the signal indicating the degree of risk includes a signal that displays a color corresponding to the degree of risk through an RGB LED mounted in the vehicle, and the processor 170 selects and stores a color corresponding to the degree of risk according to the user's input signal. I can.
  • the warning signal may be a signal in which a numerical risk level is displayed together with a risk factor, or a signal in which a stored risk level color is superimposed on a lane and displayed.
  • the signal indicating the type of risk factor includes a signal for displaying an icon according to the type of risk factor on a head up display (HUD) using augmented reality, and the processor 170 is You can select and save icons according to the type of risk factor.
  • HUD head up display
  • the step of generating a response control method may be a step of generating a method for safely driving avoiding a risk factor that satisfies the learned risk determination criteria.
  • the corresponding control method may be more than one, and one corresponding control method may be selected according to an input signal of a user, or the safest corresponding control method may be selected by a third learning model.
  • a first response control method may be a lane change to a safe lane
  • a second response control method may be overtaking the overloaded vehicle
  • a third response control method may be a shoulder stop.
  • the safest response control method according to the third learning model may be a lane change to a safe lane, which is the first control method.
  • FIG. 6 is a flow chart for determining a risk factor according to an embodiment of the present invention.
  • determining whether the electronic device 100 is autonomously driving (S551), and when not in the autonomous driving mode, receiving a user input signal from among the one or more corresponding control methods (S552). ), in the case of the autonomous driving mode, selecting a corresponding control method with the highest degree of safety among the one or more corresponding control methods (S553), generating a corresponding control signal (S554), calculating the degree of safety (S555), And learning and storing the corresponding control method and safety level (S556).
  • the processor 170 may generate one or more corresponding control methods according to the risk factors through the third learning model, and determine whether it is in the autonomous driving mode. If the processor 170 determines that the autonomous driving mode is not in the autonomous driving mode, the processor 170 may receive an input signal from a user and learn a corresponding control method according to the user input signal among one or more corresponding control methods.
  • the corresponding control signal generation step S554 may mean generating a corresponding control signal according to the selected corresponding control method when one of the at least one corresponding control method is selected.
  • the corresponding control signal may be a signal for controlling at least one of a steering control device, a brake control device, and an acceleration control device.
  • step of calculating the safety level when a corresponding control signal for a corresponding control method is generated and the position, speed, or state of the vehicle is changed, the position information, speed information, and vehicle state of the vehicle changed according to the corresponding control signal. It may be a step of calculating the degree of safety based on the information.
  • the vehicle state information may include a degree of vehicle damage when an accident occurs as a result of controlling according to a corresponding control method.
  • the learning and storage step S556 may include learning a response control method according to a user input signal among one or more correspondence control methods, learning and storing a response control method according to user preference. In addition, it may include learning and storing the safety level according to the corresponding control method.
  • the degree of safety may be used in the selection step (S553) of the corresponding control method in the autonomous driving mode.
  • the learning and storage step S556 may be a step of learning a response control method according to a user preference and a safety level according to the response control method through a third learning model.
  • the third learning model may include a DNN learning model.
  • Selecting a corresponding control method with the highest degree of safety may be a step in which, in the autonomous driving mode, the processor S170 selects a corresponding control method with the highest degree of safety through a third learning model.
  • the electronic device 100 can be operated through the corresponding control signal generation step (S554), the safety level calculation step (S555), and the learning and storage step (S556). have.
  • the safety level calculation step S555 after the response control signal according to the response control method with the highest level of safety is generated may be a step of updating the existing level of safety.
  • FIGS. 7A to 7B are diagrams illustrating transmission of signals through V2V communication according to an embodiment of the present invention.
  • the host vehicle may transmit a signal regarding a risk factor to one or more surrounding vehicles 702 including the vehicle in front 701 through communication.
  • V2V communication can be used.
  • the signal related to the risk factor may include the type and location of the risk factor, the degree of risk, and a response control method.
  • signals transmitted to the vehicle in front 701 and surrounding vehicles 702 may vary. Signals can be displayed as messages.
  • a signal regarding a risk factor may be output to the driver by voice through the sound output unit.
  • the vehicle 10 can protect the safety of drivers of nearby vehicles by transmitting a signal about a risk factor to surrounding vehicles using V2V communication, and by transmitting a different signal for each vehicle, the vehicle 10 is efficient according to the situation of each vehicle. You can make it possible to cope.
  • FIG. 8 is a diagram showing a type of a risk factor, a type of a lane in which the risk factor is located, and a degree of risk according to an embodiment of the present invention.
  • the processor 170 may identify the type of object and the type of lane from the rear image of the vehicle acquired through the rear camera.
  • the identification of the type of object may include identification of the type of vehicle, such as whether it is a passenger car or a truck, as well as identification of a pedestrian or a vehicle.
  • Identification of risk factors may be performed based on the first learning model.
  • the risk factor may be a moving object around the vehicle.
  • the processor 170 may learn a risk according to the parameter by using the type of the object and the type of the lane as parameters through the second learning model.
  • a truck may be more risky than a car.
  • an object in the same lane may have a higher risk than the next lane.
  • the risk level can be defined as the probability of an accident occurring in the own vehicle by the identified risk factors, and can be quantified as a percentage (%).
  • the degree of risk of a risk factor can be calculated based on the type of risk factor, speed, location, distance from the vehicle, weather, and road conditions.
  • the processor 170 may quantify the risk of the risk factor and display it to the driver through the interface unit 180.
  • a pedestrian OB801 and a truck OB802 and two passenger cars OB803 and OB804 may be identified as risk factors.
  • the risk of the pedestrian (OB801) is 16%
  • the truck (OB802) is 90%
  • the two passenger cars (OB803, OB804) can be calculated numerically as 51% and 72%, respectively.
  • the calculated risk along with the type of the identified risk factor may be displayed through the display.
  • the processor 170 may store colors for each risk level according to a user's selection. For example, if the risk is low (more than 0% and less than 25%), it can be green, if the risk is medium (more than 25% and less than 75%), it can be yellow, and if the risk is high (more than 75% and less than 100%), it can be saved as red. In addition, colors for each risk level can be displayed by superimposing them on the lanes.
  • the lane (OB806) where the truck (OB802) with a risk of 90% exists is displayed in red, and the lane (OB807) with two passenger cars (OB803, OB804) with a risk of 51% and 72% is displayed in yellow.
  • a lane OB805 close to a pedestrian OB801 with a risk of 16% may be displayed in green.
  • FIG. 9 is a diagram illustrating a state in which a rear vehicle detected from a rear image of the vehicle travels without maintaining a lane.
  • the processor 170 may identify a vehicle changing lanes without a turn indicator operation or a vehicle driving without maintaining a lane from the rear image of the vehicle through the first learning model.
  • the processor 170 may acquire a rear driver image through a high-resolution camera, and learn the state of the rear driver from the rear driver image through a second learning model.
  • the state of the rear driver may include an eye blinking speed or a gaze direction.
  • the processor 170 determines a drowsy driving state, and if the rear driver's gaze direction does not face the front, the processor 170 determines that a forward gaze is negligent, and the drowsy driving state or the forward gaze Can generate warning signs to indicate negligence
  • a rear vehicle OB901 running without maintaining a lane is identified in the rear image of the vehicle 10.
  • the lane where the identified rear vehicle (OB901) exists (OB902) and the invading lane (OB903) use the stored color (e.g., red) when the risk is high.
  • OB902, OB903 can be displayed overlaid.
  • a stored color eg, green
  • a stored color may be superimposed on the lane OB904 and displayed.
  • FIG. 10 is a diagram illustrating a vehicle in which a brake light acquired from a front image of the vehicle has failed.
  • the processor 170 identifies a decelerating front vehicle from a front image of the vehicle through a first learning model, and learns whether a brake light operates according to a deceleration of the front vehicle through the second learning model. can do.
  • the state of the vehicle in front may be analyzed using a radar or an ADAS camera of the vehicle, and information such as distance and speed between vehicles may be extracted through an object identified from image information obtained by the camera.
  • a learned DNN model capable of detecting information such as whether the vehicle in front has applied the brake or the deceleration of the vehicle in front can be stored in advance.
  • information obtained through a sensor such as a camera or a radar may be input into the learned DNN model to determine whether the vehicle in front is applying the brake, and at the same time, it is possible to detect whether the brake of the vehicle in front is operating properly. If the brake light does not operate even though it is determined that the vehicle in front has stepped on the brake, it can be determined as a defect such as a brake, which is one of the risk factors.
  • the processor 170 determines that the vehicle in front is decelerating through the sensor, the brake of the vehicle in front through the HUD, etc.
  • the augmented reality may indicate 1001 that the brake light is turned on.
  • whether to move to a lane different from a lane in which a vehicle in front of the vehicle in which a brake or other defect has occurred may be guided by text or voice (1002).
  • 11A to 11B are diagrams illustrating a case where a damaged road surface is detected in a front image of the vehicle.
  • the processor 170 may identify the road ahead as an object through the front camera, and identify the damaged road surface and the type of lane from the front image of the vehicle through the first learning model. can do.
  • the processor 170 may learn the degree of shaking of the vehicle while driving on the road and the damage state of the front road surface through the second learning model.
  • the processor 170 stores the front image of the vehicle together with the location information when the degree of shaking of the vehicle is greater than or equal to the set value, generates a first warning signal when the vehicle enters the location information less than a preset distance, and generates a first warning signal.
  • a second warning signal may be generated.
  • the road surface condition is continuously learned while driving on the road, and when the vehicle is shaken by a certain level or more based on the degree of shaking of the vehicle while driving, the immediately preceding road condition may be determined as a damaged road surface and stored together with the GPS. Through continuous driving, it is possible to repeatedly learn the image data on the damaged road surface.
  • the identified front road surface is determined to be a risk factor such as a damaged road surface according to the risk determination criteria, as shown in FIG.
  • the damaged road surface and the danger range can be displayed (1104) through augmented reality.
  • FIG. 11A when the damaged road surface OB1101 is found in the front through the front camera, the corresponding area may be displayed 1102 through the display.
  • a warning may be issued through a voice or a display when entering a road with a damaged road surface.
  • 12A to 12C are diagrams illustrating a case where an overloaded vehicle is detected in a front image of the vehicle.
  • the processor 170 may identify the vehicle in front as an object through the front camera, and determine whether the identified vehicle in front is a risk factor is the type, speed, position, and own vehicle of the moving object. It can be based on the criteria for determining the risk, including the distance to and from.
  • the processor 170 identifies at least one of the type of the cargo vehicle or the degree of symmetry of the cargo loaded on the cargo vehicle from the front image of the vehicle through the first learning model, and according to the type of the cargo vehicle through the second learning model. It is possible to learn the degree of shaking according to the height information or the degree of symmetry of the cargo loaded in the cargo vehicle.
  • the degree of symmetry and shaking can be calculated through the degree of symmetry of the loaded cargo based on the reference line learned through the DNN model and the degree of inclination of the loaded cargo based on the reference angle learned through the DNN model.
  • the condition of the immediately preceding road can be determined as a damaged road surface and stored together with the GPS. Through continuous driving, it is possible to repeatedly learn the image data on the damaged road surface.
  • the overload vehicle When the identified freight vehicle is determined to be an overloaded vehicle that is a risk factor based on the learned risk determination criteria of the height, type, speed, symmetry and shaking degree of the vehicle, the road type and the road surface condition, the overload vehicle is located. And it is possible to generate a signal indicating the expected fall range when the cargo falls.
  • the presence and location of the overloading vehicle OB1202 may be displayed 1203 as shown in FIG. 12A.
  • the learned reference line 1204 and the reference angle 1205 may be displayed, and based on this, it may be an image indicating that a shake 1206 greater than the reference is detected.
  • a falling range or a danger radius expected when the load is dropped may be displayed to the driver through augmented reality (1207).
  • the expected fall range of the load can be determined by considering the speed of the overloaded vehicle, the height of the load, and the degree of shaking.
  • FIG. 13 shows a flow chart for searching and guiding a reckless driving vehicle.
  • the electronic device 100 utilizes commuting route data, reckless driving vehicle data, real-time front and rear camera image information of the vehicle, a navigation movement route, and a learned DNN model to allow a driver to move away from a reckless driving vehicle on a commute route. Thus, you can guide them to safely travel to the commute.
  • the processor 170 identifies at least one vehicle among a vehicle that changes lanes without a turn indicator operation, a vehicle that stops suddenly, a speeding vehicle, and a vehicle without a safety distance through the first learning model, and identifies the vehicle through the second learning model.
  • the driving pattern of the identified vehicle is learned, and when the identified vehicle is determined to be a reckless driving vehicle, a warning signal indicating the presence and location of the reckless driving vehicle may be generated.
  • the commute route data with the current moving route, the day of the week, and the time (S1301), and determine whether the commuting route is correct (S1302). If the commuting route is correct, the vehicle front and rear image information is acquired (S1303), and reckless driving vehicles are identified (S1304), and the vehicle license plate may be recognized (S1305).
  • Whether it is a reckless driving vehicle (S1304) may be determined through a learned DNN model based on risk determination criteria such as whether to frequently change lanes, whether to stop suddenly, whether to exceed a regulated speed on a road, and whether or not a safety distance has been secured.
  • Recognition of the license plate of the vehicle (S1305) may also be performed through the DNN model.
  • the vehicle license plate data for reckless driving and the corresponding vehicle license plate S1306
  • the vehicle If the vehicle is located in the same lane behind the driver's vehicle, it is determined whether more than 1Km remains from the current position to the exit change (S1311), and if so, a lane change from the vehicle to a safe driving lane may be guided (S1312). If not, it is notified that the reckless driving vehicle is near (S1313), and whether the vehicle is located in front of the driver's vehicle (S1314) and whether the vehicle is located in the same lane as the driver's vehicle (S1315) is learned through the learned DNN model. I can judge.
  • FIG. 14 shows a flow chart for searching and guiding a congested road section.
  • the electronic device 100 learns a road situation and a dangerous object appearance situation for each section through driving day and time, driving speed information, and front and rear image information, and based on the learned DNN model, a congested road or a child It is possible to recognize the protected area in advance and provide the driver with information on the frequent section of the occurrence of dangerous objects in advance.
  • the processor 170 identifies the moving object through the first learning model, learns the frequency of appearance of the moving object according to time and section information through the second learning model, and if the frequency of appearance of the moving object is greater than or equal to a set value, , It is possible to generate a warning signal indicating time and section information and possible moving objects.
  • S1401 first, while driving is started, current day and time, driving speed information and section information are obtained (S1401), and based on this, a road congestion section may be learned, and a DNN model may be stored and updated (S1402).
  • S1403 the vehicle front and rear image information is acquired (S1403), and whether the object is recognized based on the learned DNN model (S1404), whether the object is mobile (S1405), whether the object can be distinguished (S1406), and the risk of an accident due to the object. It can be determined whether there is (S1407).
  • the object of occurrence of the dangerous object for each section may be learned and the model may be stored and updated (S1408).
  • the current driving road information is obtained (S1409), and whether it is a congested road or a child protection zone (S1410), it is possible to inform the driver that it is a congested road or a child protection zone section (S1411).
  • 15 is a diagram showing a notification through an RGB LED.
  • the electronic device 100 may store colors for each level of risk according to a driver's selection. For example, if the risk is high, it can be saved as red, if the risk is medium, it can be saved as yellow, and if the risk is low, it can be saved as green.
  • the processor 170 may calculate and quantify the risk based on the learned DNN model.
  • the degree of risk can be defined as the probability of an accident occurring in the own vehicle by the identified object.
  • the degree of risk can be calculated through the learned DNN model based on the object type, speed, location, distance to the own vehicle, weather, and road conditions.
  • the processor 170 may quantify the degree of risk of the object and display it to the driver through the interface unit 180.
  • the processor 170 may calculate the risk of the risk factor based on the learned DNN model, and display a color for each risk level corresponding to the risk of the risk factor calculated through the RGB LED 1501 mounted in the vehicle. For example, if the risk is high, a red light, if the risk is medium, a yellow light, and if the risk is low, a green light can be displayed.
  • RGB LEDs With RGB LEDs, the driver can intuitively detect danger while looking ahead.
  • 16A to 16C are diagrams for displaying icons according to types of risk factors using augmented reality.
  • the electronic device 100 may select and store an icon according to a type of risk factor according to a user input signal, and display the icon through the display unit.
  • the processor 170 may generate a signal indicating the type of risk factor through the icon.
  • the display may include a HUD, and the icon display may be displayed through augmented reality. Detailed guidance on dangerous situations may be possible through HUD and augmented reality.
  • the icon of FIG. 16A may be a first icon 1601 representing a large vehicle, for example, a truck identified in an image in front of the vehicle, which is one of the risk factors.
  • a first icon 1601 corresponding to a large vehicle, which is a risk factor, is stored by the driver's selection, and when the risk factor satisfies the risk determination criterion, the first icon 1601 may be displayed on the HUD as augmented reality.
  • the lane 1611 where the risk factor is located may be displayed in red with a high risk.
  • the icon of FIG. 16B may be a second icon 1602 representing a vehicle that cannot travel while maintaining the driving lane identified in the image in front of the vehicle, which is one of the risk factors.
  • a second icon 1602 corresponding to a vehicle that cannot maintain a lane, which is a risk factor, is stored by the driver's selection, and if the risk factor satisfies the risk determination criteria, the second icon 1602 is displayed as augmented reality on the HUD. I can.
  • the lane 1621 where the risk factor is located and the lane 1622 next to it may be marked in red with a high risk.
  • the icon of FIG. 16C may be a third icon 1603 representing a speeding vehicle identified in a vehicle rear image that is one of the risk factors.
  • a third icon 1603 corresponding to a speeding vehicle, which is a risk factor, is stored by the driver's selection, and when the risk factor satisfies the risk determination criterion, the third icon 1603 may be displayed on the HUD as augmented reality.
  • the lane 1630 in which the risk factor is located may be displayed in red with a high risk.
  • 17 is a view showing a state of guiding to move to a safe lane to avoid risk factors.
  • the electronic device 100 may inform the driver of whether to move to a safe lane or change the speed of the vehicle to avoid the detected risk factor.
  • it can be displayed by text through the display or guided by voice through the speaker. That is, the processor 170 may generate a signal indicating the corresponding control method as a signal displaying text or voice to the driver.
  • the electronic device 100 displays, through augmented reality, a response control method for moving to a safe next lane OB1702 to avoid the front vehicle OB1701 when the front vehicle OB1701 satisfies the risk determination criterion (1703). )can do.
  • the speed limit of the corresponding section is also displayed (1704) to guide the driver to safely change lanes while keeping the speed limit.
  • the processor 170 may determine any one of the one or more corresponding control methods according to the user's input signal, and the safest one of the one or more corresponding control methods is determined by the learned DNN model. You can decide.
  • the processor 170 controls at least one of a steering control device, a brake control device, or an acceleration control device according to the determined response control method. It can generate a control signal.
  • the electronic device 100 changes the lane through a signal for controlling the steering control device, and when the second response control method for overtaking a vehicle in front is determined, the steering control device And passing through a signal for controlling the acceleration control device, and when a third corresponding control method for stopping the shoulder is determined, the vehicle may be stopped on the shoulder through a signal for controlling the steering control device and the braking control device.
  • the autonomous vehicle 10 transmits specific information transmission to the 5G network (S1).
  • the specific information may include autonomous driving related information.
  • the autonomous driving related information may be information directly related to driving control of the vehicle 10.
  • the autonomous driving related information may include one or more of object data indicating objects around the vehicle, map data, vehicle state data, vehicle location data, and driving plan data. .
  • the autonomous driving related information may further include service information necessary for autonomous driving.
  • the service information may include information about a destination and a safety level of the vehicle 10 input through the user terminal.
  • the 5G network may determine whether to remotely control the vehicle 10 (S2).
  • the 5G network may include a server or module that performs remote control related to autonomous driving.
  • the 5G network may transmit information (or signals) related to remote control to the autonomous vehicle 10 (S3).
  • the information related to the remote control may be a signal directly applied to the autonomous vehicle 10, and further may further include service information necessary for autonomous driving.
  • the autonomous vehicle 10 may provide services related to autonomous driving by receiving service information such as insurance for each section selected on the driving route and information on dangerous sections through a server connected to the 5G network. I can.
  • an essential process for 5G communication between the autonomous driving vehicle 10 and the 5G network (for example, , The initial connection procedure between the vehicle and the 5G network, etc.) will be outlined.
  • 19 shows an example of an application operation of an autonomous vehicle 10 and a 5G network in a 5G communication system.
  • the autonomous vehicle 10 performs an initial access procedure with the 5G network (S20).
  • the initial access procedure includes a cell search for obtaining a downlink (DL) operation, a process for obtaining system information, and the like.
  • the autonomous vehicle 10 performs a random access procedure with the 5G network (S21).
  • the random access process includes a preamble transmission for uplink (UL) synchronization or UL data transmission, a random access response reception process, and the like.
  • the 5G network transmits a UL grant for scheduling transmission of specific information to the autonomous vehicle 10 (S22).
  • the UL Grant reception includes a process of receiving time/frequency resource scheduling for transmission of UL data to a 5G network.
  • the autonomous vehicle 10 transmits specific information to the 5G network based on the UL grant (S23).
  • the 5G network determines whether to remotely control the vehicle 10 (S24).
  • the autonomous vehicle 10 receives a DL grant through a physical downlink control channel in order to receive a response to specific information from the 5G network (S25).
  • the 5G network transmits information (or signals) related to remote control to the autonomous vehicle 10 based on the DL grant (S26).
  • the initial access process and/or the random access process may be performed through the processes S20, S22, S23, S24, and S26.
  • the initial access process and/or the random access process may be performed through the processes S21, S22, S23, S24, and S26.
  • a process in which the AI operation and the downlink grant reception process are combined may be performed through S23, S24, S25, and S26.
  • S20, S21, S22, and S25 may be selectively combined with S23 and S26 to operate.
  • the operation of the autonomous vehicle 10 may include S21, S22, S23, and S26.
  • the operation of the autonomous vehicle 10 may include S20, S21, S23, and S26.
  • the operation of the autonomous vehicle 10 may include S22, S23, S25, and S26.
  • 20 to 23 show an example of an operation of the autonomous vehicle 10 using 5G communication.
  • the autonomous driving vehicle 10 including the autonomous driving module performs an initial access procedure with a 5G network based on a synchronization signal block (SSB) in order to obtain DL synchronization and system information (S30). .
  • SSB synchronization signal block
  • the autonomous vehicle 10 performs a random access procedure with a 5G network to acquire UL synchronization and/or transmit UL (S31).
  • the autonomous vehicle 10 receives a UL grant through a 5G network to transmit specific information (S32).
  • the autonomous vehicle 10 transmits specific information to the 5G network based on the UL grant (S33).
  • the autonomous vehicle 10 receives a DL grant for receiving a response to specific information from the 5G network (S34).
  • the autonomous vehicle 10 receives information (or signals) related to remote control from the 5G network based on the DL grant (S35).
  • a beam management (BM) process may be added to S30, and a beam failure recovery process related to PRACH (physical random access channel) transmission may be added to S31, and a UL grant is included in S32.
  • a QCL relationship may be added in relation to the beam reception direction of the PDCCH, and the QCL relationship addition is added in relation to the beam transmission direction of a physical uplink control channel (PUCCH)/physical uplink shared channel (PUSCH) including specific information in S33. Can be.
  • a QCL relationship may be added to S34 in relation to the beam reception direction of the PDCCH including the DL grant.
  • the autonomous vehicle 10 performs an initial access procedure with a 5G network based on SSB in order to obtain DL synchronization and system information (S40).
  • the autonomous vehicle 10 performs a random access procedure with the 5G network to acquire UL synchronization and/or transmit UL (S41).
  • the autonomous vehicle 10 transmits specific information to the 5G network based on a configured grant (S42). Instead of performing the UL grant from the 5G network, it may be transmitted based on a configured grand (configured grant).
  • the autonomous vehicle 10 receives information (or signals) related to remote control from the 5G network based on the set grant (S43).
  • the autonomous vehicle 10 performs an initial access procedure with a 5G network based on SSB in order to obtain DL synchronization and system information (S50).
  • the autonomous driving vehicle 10 performs a random access procedure with a 5G network to acquire UL synchronization and/or transmit UL (S51).
  • the autonomous vehicle 10 receives a DownlinkPreemption IE from the 5G network (S52).
  • the autonomous vehicle 10 receives a DCI format 2_1 including a preemption instruction from the 5G network based on the DownlinkPreemption IE (S53).
  • the autonomous driving vehicle 10 does not perform (or expect or assume) the reception of eMBB data in the resource (PRB and/or OFDM symbol) indicated by the pre-emption indication (S54).
  • the autonomous vehicle 10 receives a UL grant through a 5G network to transmit specific information (S55).
  • the autonomous vehicle 10 transmits specific information to the 5G network based on the UL grant (S56).
  • the autonomous vehicle 10 receives a DL grant for receiving a response to specific information from the 5G network (S57).
  • the autonomous vehicle 10 receives information (or signals) related to remote control from the 5G network based on the DL grant (S58).
  • the autonomous vehicle 10 performs an initial access procedure with a 5G network based on SSB in order to obtain DL synchronization and system information (S60).
  • the autonomous vehicle 10 performs a random access procedure with a 5G network to acquire UL synchronization and/or transmit UL (S61).
  • the autonomous vehicle 10 receives a UL grant through a 5G network to transmit specific information (S62).
  • the UL grant includes information on the number of repetitions for transmission of the specific information, and the specific information is repeatedly transmitted based on the information on the number of repetitions (S63).
  • the autonomous vehicle 10 transmits specific information to the 5G network based on the UL grant.
  • repetitive transmission of specific information may be performed through frequency hopping, transmission of first specific information may be transmitted in a first frequency resource, and transmission of second specific information may be transmitted in a second frequency resource.
  • the specific information may be transmitted through a narrowband of 6RB (Resource Block) or 1RB (Resource Block).
  • the autonomous vehicle 10 receives a DL grant for receiving a response to specific information from the 5G network (S64).
  • the autonomous vehicle 10 receives information (or signals) related to remote control from the 5G network based on the DL grant (S65).
  • the above salpin 5G communication technology may be applied in combination with the methods proposed in the present specification to be described above in FIGS. 1 to 17, or may be supplemented to specify or clarify the technical characteristics of the methods proposed in the present specification.
  • the vehicle 10 described in this specification is connected to an external server through a communication network, and can move along a preset route without driver intervention by using autonomous driving technology.
  • the vehicle 10 of the present invention may be implemented as an internal combustion engine vehicle including an engine as a power source, a hybrid vehicle including an engine and an electric motor as a power source, and an electric vehicle including an electric motor as a power source.
  • the user may be interpreted as a driver, a passenger, or an owner of a user terminal.
  • the user terminal may be a mobile terminal, for example, a smart phone, which is portable by the user and capable of executing phone calls and various applications, but is not limited thereto.
  • the user terminal may be interpreted as a mobile terminal, a personal computer (PC), a notebook computer, or an autonomous vehicle system.
  • the type and frequency of accidents may vary greatly depending on the ability to sense surrounding hazards in real time.
  • the route to the destination may include sections with different levels of risk due to various causes, such as weather, terrain characteristics, and traffic congestion.
  • necessary insurance is guided for each section and the insurance guide is updated through real-time risk section monitoring.
  • At least one of the autonomous vehicle 10, the user terminal and the server of the present invention is an artificial intelligence module, a drone (Unmanned Aerial Vehicle, UAV), a robot, an augmented reality (AR) device, a virtual reality ( Virtual reality, VR), 5G service-related devices, etc. can be linked or converged.
  • a drone Unmanned Aerial Vehicle, UAV
  • a robot an augmented reality (AR) device
  • 5G service-related devices etc.
  • the autonomous vehicle 10 may operate in connection with at least one artificial intelligence module and a robot included in the vehicle 10.
  • the vehicle 10 may interact with at least one robot.
  • the robot may be an Autonomous Mobile Robot (AMR) capable of driving by magnetic force.
  • AMR Autonomous Mobile Robot
  • the mobile robot can move by itself and is free to move, and is provided with a plurality of sensors to avoid obstacles while driving, so that it can travel avoiding obstacles.
  • the mobile robot may be a flying robot (eg, a drone) provided with a flying device.
  • the mobile robot may be a wheel-type robot that has at least one wheel and is moved through rotation of the wheel.
  • the mobile robot may be a legged robot that has at least one leg and is moved using the leg.
  • the robot can function as a device that complements the convenience of a vehicle user.
  • the robot may perform a function of moving the luggage loaded in the vehicle 10 to the user's final destination.
  • the robot may perform a function of guiding a user who gets off the vehicle 10 to a final destination.
  • the robot may perform a function of transporting a user who gets off the vehicle 10 to a final destination.
  • At least one electronic device included in the vehicle 10 may communicate with the robot through the communication device 220.
  • At least one electronic device included in the vehicle 10 may provide data processed by at least one electronic device included in the vehicle 10 to the robot.
  • at least one electronic device included in the vehicle 10 includes object data indicating objects around the vehicle 10, map data, state data of the vehicle 10, and a location of the vehicle 10.
  • At least one of data and driving plan data may be provided to the robot.
  • At least one electronic device included in the vehicle 10 may receive data processed by the robot from the robot. At least one electronic device included in the vehicle 10 may receive at least one of sensing data generated by the robot, object data, robot state data, robot position data, and movement plan data of the robot.
  • At least one electronic device included in the vehicle 10 may generate a control signal further based on data received from the robot. For example, at least one electronic device included in the vehicle 10 compares information on an object generated in the object detection device with information on an object generated by the robot, and based on the comparison result, a control signal Can be created. At least one electronic device included in the vehicle 10 may generate a control signal so that interference between the movement path of the vehicle 10 and the movement path of the robot does not occur.
  • At least one electronic device included in the vehicle 10 may include a software module or a hardware module (hereinafter, an artificial intelligence module) that implements artificial intelligence (AI). At least one electronic device included in the vehicle 10 may input acquired data to an artificial intelligence module and use data output from the artificial intelligence module.
  • an artificial intelligence module that implements artificial intelligence (AI).
  • At least one electronic device included in the vehicle 10 may input acquired data to an artificial intelligence module and use data output from the artificial intelligence module.
  • the artificial intelligence module may perform machine learning on input data using at least one artificial neural network (ANN).
  • ANN artificial neural network
  • the artificial intelligence module may output driving plan data through machine learning on input data.
  • At least one electronic device included in the vehicle 10 may generate a control signal based on data output from the artificial intelligence module.
  • At least one electronic device included in the vehicle 10 may receive data processed by artificial intelligence from an external device through the communication device 220. At least one electronic device included in the vehicle 10 may generate a control signal based on data processed by artificial intelligence.
  • the present invention described above can be implemented as a computer-readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, etc.
  • HDDs hard disk drives
  • SSDs solid state disks
  • SDDs silicon disk drives
  • ROMs read-only memory
  • RAM compact disc drives
  • CD-ROMs compact discs
  • magnetic tapes magnetic tapes
  • floppy disks magnetic tapes
  • optical data storage devices etc.
  • carrier wave for example, transmission over the Internet
  • the computer may include a processor or a control unit. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 차량 외부의 영상을 포함하는 센서 데이터를 수신하고, 제1 학습 모델을 통해 상기 센서 데이터로부터 위험 요소를 식별하고, 제2 학습 모델을 통해 상기 위험 요소에 따른 위험 판단 기준을 학습하고, 상기 위험 요소가 상기 위험 판단 기준을 만족하면, 사용자에게 상기 위험 요소의 존재를 경고하는 경고 신호를 생성하는 프로세서;를 포함하는 차량용 전자 장치에 관한 것이다. 본 발명의 자율 주행 차량, 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.

Description

차량용 전자 장치 및 그의 동작 방법
본 발명은 인공지능을 활용한 차량용 전자 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 자율 주행 차량(Autonomous Vehicle)은 인간의 운전 조작 없이 자동으로 주행할 수 있는 차량을 의미한다.
한편, 차량을 이용하는 사용자의 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있고, 이를 위해 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 종래의 차량에 장착된 다양한 센서들은 차량 본연의 기능을 위해서만 존재하였다. 예를 들어, 차량에 설치되어 있는 카메라는 앞차와의 거리, 사물 위치 등의 많은 데이터를 제공하지만, 안전을 위한 데이터 분석 및 위험 방지 방안을 제시하지는 못한다.
다시 말해, 차량에 장착된 센서를 통해 제공되는 각종 데이터는 복잡하고 가공되어 있지 않아서, 운전자가 스스로 분석하여 위험을 파악해야하는 어려움이 존재하는 문제점이 있었다.
한편, 인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용 할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
본 발명은 상기한 문제점을 해결하기 위하여, 차량에 장착된 센서를 통해 얻은 정보를 학습시킨 후 인공지능 기술을 활용하여 주행 중 발생할 수 있는 위험 상황을 미리 탐지할 수 있는 방법을 제공하는데 목적이 있다.
또한, 본 발명은 탐지된 위험 상황에서 운전자가 안전할 수 있도록 위험 상황을 알려주고, 상기 위험 상황에 대응하는 방법을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명에 따른 차량용 전자 장치는, 차량 외부의 영상을 포함하는 센서 데이터를 수신하고, 제1 학습 모델을 통해 상기 센서 데이터로부터 위험 요소를 식별하고, 제2 학습 모델을 통해 상기 위험 요소에 따른 위험 판단 기준을 학습하고, 상기 위험 요소가 위험 판단 기준을 만족하면, 사용자에게 상기 위험 요소의 존재를 경고하는 경고 신호를 생성하는 프로세서;를 포함한다.
본 발명에 따른 차량용 전자 장치는, 제3 학습 모델을 통해 위험 요소에 다른 하나 이상의 대응 제어 방법을 생성하고, 상기 하나 이상의 대응 제어 방법 중 사용자가 선택한 대응 제어 방법을 학습하는 프로세서;를 포함한다.
본 발명에 따른 차량용 전자 장치는, 사용자가 선택한 대응 제어 방법에 따라 제동 장치, 조향 장치, 가속 장치 중 적어도 어느 하나의 차량 구동 장치를 제어하는 신호를 생성하는 프로세서;를 포함한다.
본 발명에 따른 차량용 전자 장치는, 대응 제어 신호에 따라 변경된 차량의 위치 및 속도 정보에 기초하여, 사용자가 선택한 대응 제어 방법의 안전도를 계산하는 프로세서;를 포함한다.
본 발명에 따른 차량용 전자 장치는, 자율주행 모드에서, 제3 학습 모델을 통해 학습한 하나 이상의 대응 제어 방법 중 안전도가 가장 높은 대응 제어 방법을 선택하고, 안전도가 가장 높은 대응 제어 방법에 따라, 차량 구동 장치를 제어하는 프로세서;를 포함한다.
본 발명에 따른 제1 학습 모델, 제2 학습 모델 및 제3 학습 모델은, 위치 및 시간 정보의 학습이 가능한 심층 신경망(DNN: Deep Neural Network) 모델을 포함한다.
본 발명에 따른 차량용 전자 장치는, 제1 학습 모델을 통해 식별한 위험요소가, 제2 학습 모델을 통해 학습한 위험 판단 기준을 만족하면, 위험 요소의 종류에 따라 저장된 아이콘 및 제3 학습 모델을 통해 학습한 상기 안전도가 가장 높은 대응 제어 방법을, HUD(Head Up Display)에 증강 현실을 통해 표시하는 상기 경고 신호를 생성하는 프로세서;를 포함한다.
본 발명에 따른 차량용 전자 장치는, 경고 신호를 생성하는 경우, V2V 통신(Vehicle to Vehicle communication)을 이용해 하나 이상의 주변 차량에게 위험 요소에 대한 정보를 송신하는 프로세서;를 포함한다.
본 발명에 따른 차량용 전자 장치는, 위험 요소를 피해 안전한 차선으로의 이동 여부 또는 차량의 속도 변경 여부의 대응 제어 방법을 운전자에게 문자 또는 소리로 사용자에게 표시하기 위한 신호를 생성하는 프로세서;를 포함한다.
본 발명에 따른 실시예는, 차량의 레이더 및 ADAS 카메라를 이용하여 주변 오브젝트 정보를 획득하고, DNN 기반으로 학습된 모델을 활용하여 자차 주위의 오브젝트 종류 및 차종을 검출하고 차선 별 위험도를 계산할 수 있다.
본 발명에 따른 실시예는, DNN 기반으로 학습된 모델을 활용하여 방향 지시등의 동작 없이 차선을 변경하는 차량 또는 차선을 유지하며 주행하지 못하는 차량을 검출하고, 고해상도 카메라를 통해 후방 운전자 영상을 획득하여 운전자가 졸음 운전 중인지 또는 전방 주시를 태만하는지 여부를 판단할 수 있다.
본 발명에 따른 실시예는, 차량 전방 카메라로 노면 상태를 확인하고, DNN 기반으로 학습된 모델을 활용하여 파손된 노면을 검출하고, 파손된 노면이 존재하는 도로에 진입 시 경고하거나 증강현실을 통해 해당 영역 표시할 수 있다.
본 발명에 따른 실시예는, 차량 전방 카메라로 전방 차량 정보를 획득하고, DNN 기반으로 학습된 모델을 활용하여 화물 차량을 검출하고, 안전한 주행을 위한 높이를 추출하고, 과적 차량으로 판단 시, 위험 차량 표시 및 위험 반경을 표시할 수 있다.
본 발명에 따른 실시예는, DNN 기반으로 학습된 모델을 활용하여 선행 차량에 적재된 화물의 대칭 정도 및 흔들림 정도를 추출할 수 있다.
본 발명에 따른 실시예는, DNN 기반으로 학습된 모델을 활용하여 전방 차량이 브레이크를 밟고 있는지 여부를 판단하고 동시에 전방 차량의 브레이크 등이 제대로 동작하는지 탐지할 수 있다.
본 발명에 따른 실시예는, 차량 내 출 퇴근 경로 DB 및 난폭 운전 차량 DB, 차량의 실시간 전/후방 카메라 영상정보, 네비게이션 이동경로 및 AI 기술을 활용하여 출퇴근 경로에서 운전자가 난폭 운전 차량을 멀리하여 안전하게 출퇴근지까지 이동할 수 있도록 안내할 수 있다.
본 발명에 따른 실시예는, 현재 주행 구간에 대해 요일, 시간, 주행 속도 정보, 전/후방 영상정보를 통해 도로 상황과 구간별 위험 객체 출현 상황을 학습하고, 학습된 모델을 바탕으로 혼잡 도로 또는 어린이 보호 구역을 미리 인지하고 위험 객체 출현 다발 구간에 대한 정보를 운전자에게 미리 제공할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 학습된 DNN 모델을 기반으로 하나 이상의 오브젝트를 식별하는 구성을 통해 보다 정확하게 오브젝트를 식별할 수 있는 효과가 있다.
둘째, 학습된 DNN 모델을 기반으로 위험 요소인지를 판단하는 구성을 통해 센서 데이터를 주행 중 발생 가능한 위험 상황을 미리 탐지할 수 있는 데이터로 활용할 수 있는 효과가 있다.
셋째, 위험 요소에 대응하는 대응 제어 방법을 표시하는 구성을 통해 운전자의 안전을 확보할 수 잇는 효과가 있다.
넷째, 대응 제어 신호를 생성하는 구성을 통해 운전자가 인지하지 못하는 상황에서도 위험 상황에 대처할 수 있는 효과가 있다.
다섯째, 가공된 센서 데이터를 통해 운전자가 스스로 분석하는 시간을 줄임으로써, 운전자로 하여금 위험 상황에 대한 빠른 인식 및 빠른 대처가 가능하게 하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 3는 본 발명의 실시예에 따른 전자 장치의 제어 블럭도이다.
도 4은 본 발명의 실시예에 따른 차량에 장착된 카메라를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 프로세서에 대한 플로우 차트이다.
도 6는 본 발명의 실시예에 따른 대응 제어 방법 생성에 대한 플로우 차트이다.
도 7a 내지 도 7b는 본 발명의 실시예에 따른 V2V 통신을 통한 신호의 송신을 이해하는데 도움이 되는 도면이다.
도 8은 본 발명의 실시예에 따른 위험 요소의 종류, 위험 요소가 위치하는 차선의 종류 및 위험도를 나타내는 도면이다.
도 9는 차량의 후방 이미지에서 검출한 후방 차량이 차선을 유지하지 않고 주행하는 모습을 나타내는 도면이다.
도 10은 차량의 전방 이미지에서 획득한 브레이크 등이 고장난 차량을 나타내는 도면이다.
도 11a 내지 11b는 차량의 전방 이미지에서 파손된 노면이 검출된 경우를 나타내는 도면이다.
도 12a 내지 도 12c는 차량의 전방 이미지에서 화물 차량이 검출된 경우를 나타내는 도면이다.
도 13은 난폭 운전 차량 검색 및 안내에 대한 플로우 차트를 나타낸다.
도 14는 도로 혼잡 구간 검색 및 안내에 대한 플로우 차트를 나타낸다.
도 15는 RGB LED 통한 알림을 나타내는 도면이다.
도 16a 내지 도 16c는 위험 요소의 종류에 따른 아이콘을 증강 현실을 이용하여 표시하는 도면이다.
도 17은 위험 요소를 피해 안전한 차선으로 이동하도록 가이드하는 모습을 나타내는 도면이다.
도 18은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 19는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 20 내지 도 23은 5G 통신을 이용한 자율 주행 차량의 동작의 일 예를 나타낸다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 차량을 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 차량(10)은 도로나 선로 위를 달리는 수송 수단으로 정의된다. 차량(10)은 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다.
차량(10)은 전자 장치(100)를 포함할 수 있다. 전자 장치(100)는 차량(10)에서 주행 중 발생할 수 있는 위험 요소를 탐지하고 운전자가 안전할 수 있도록 대응 제어 방법을 제공하는 장치일 수 있다.
도 2는 본 발명의 실시예에 따른 차량의 제어 블럭도이다.
도 2를 참조하면, 차량(10)은 차량용 전자 장치(100), 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), 주행 시스템(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다.
전자 장치(100)는 센싱부(270)를 통해 얻은 센서 데이터를 수신할 수 있다. 전자 장치(100)는 오브젝트 검출 장치(210)를 통해 오브젝트를 검출할 수 있다. 전자 장치(100)는 통신 장치(220)를 이용하여 주변 차량과 데이터를 교환할 수 있다. 전자 장치(100)는 출력부를 통해 위험 상황에 대해 경고하고 대응 제어 방법을 표시할 수 있다. 이경우, 차량(10)에 구비된 마이크, 스피커, 디스플레이가 이용될 수 있다. 차량(10)에 구비된 마이크, 스피커, 디스플레이는, 사용자 인터페이스 장치(200)의 하위 구성일 수 있다. 전자 장치(100)는 차량 구동 장치(250)를 통해 안전하게 주행을 제어할 수 있다.
사용자 인터페이스 장치(200)는 차량(10)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은 사용자 인터페이스 장치(200)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는 입력부와 출력부를 포함할 수 있다.
입력부는 사용자로부터 정보를 입력받기 위한 것으로, 입력부에서 수집한 데이터는 사용자의 제어 명령으로 처리될 수 있다. 입력부는 음성 입력부, 제스쳐 입력부, 터치 입력부 및 기계식 입력부를 포함할 수 있다. 출력부는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로 디스플레이부, 음향 출력부 및 햅틱 출력부 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부는 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부는 터치 입력부와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 디스플레이부는 HUD(Head Up Display)로 구현될 수 있다. 이경우, 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다. 디스플레이부는 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
디스플레이부는 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 윈도우의 일영역에 구현될 수 있다.
한편, 사용자 인터페이스 장치(200)는 복수의 디스플레이부를 포함할 수 있다.
음향 출력부는 프로세서(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부는 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부는 촉각적인 출력을 발생시킨다. 예를 들면, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
한편, 사용자 인터페이스 장치(200)는 차량용 디스플레이 장치로 명명될 수 있다.
오브젝트 검출 장치(210)는 차량(10) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(210)는 차량(10) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치(210)는 카메라(130), 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트 정보를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
오브젝트는 차량(10)의 운행과 관련된 다양한 물체들일 수 있다. 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
한편, 오브젝트는 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는 타 차량, 보행자를 포함하는 개념일 수 있고, 고정 오브젝트는 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
카메라(130)는 차량 외부 영상을 획득하기 위해, 차량의 적절한 곳에 위치할 수 있다. 카메라는 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.
카메라(130)는 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다.
예를 들면, 카메라(130)는 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
예를 들면, 카메라(130)는 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
예를 들면, 카메라(130)는 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
레이다는 전자파 송신부, 수신부를 포함할 수 있다. 레이더는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더는 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다는 레이저 송신부, 수신부를 포함할 수 있다. 라이다는 TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다는 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는 모터에 의해 회전되며, 차량(10) 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는 광 스티어링에 의해, 차량(10)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(10)은 복수의 비구동식 라이다를 포함할 수 있다.
라이다는 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다는 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서는 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서는 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서는 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서는 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서는 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서는 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
오브젝트 정보는 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(10)과 오브젝트와의 거리 정보 및 차량(10)과 오브젝트와의 상대 속도 정보를 포함할 수 있다.
통신 장치(220)는 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는 인프라(예를 들면, 서버, 방송국) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(220)는 근거리 통신부, 위치 정보부, V2X 통신부, 광통신부, 방송 송수신부, ITS(Intelligent Transport Systems) 통신부를 포함할 수 있다.
V2X 통신부는 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부는 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
차량(10)은, V2V 통신을 통해 하나 이상의 주변 차량과 위험 요소의 종류 및 위치 정보를 포함하는 위험 요소에 대한 정보를 교환할 수 있다. 또한, 차량(10)은, V2V 통신을 통해, 대응 제어 방법에 관한 신호도 교환할 수 있다. 주변 차량은 위험 요소 및 대응 제어 방법에 관한 신호를 수신함으로써 위험 상황에 대비할 수 있다.
한편, 통신 장치(220)는 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
운전 조작 장치(230)는 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
메인 ECU(240)는 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
구동 제어 장치(250)는 차량(10)내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(250)는 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다.
파워 트레인 구동 제어 장치는 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다.
동력원 구동 제어 장치는 차량(10)의 동력원에 대한 제어를 수행할 수 있다. 예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동 제어 장치는 모터에 대한 제어를 수행할 수 있고, 프로세서(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동 제어 장치는 변속기에 대한 제어를 수행할 수 있고, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
샤시 구동 제어 장치는 샤시 장치의 동작을 제어할 수 있고 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다.
조향 구동 제어 장치는 차량(10) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행하여 차량의 진행 방향을 변경할 수 있다.
브레이크 구동 제어 장치는 차량(10) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여 차량(10)의 속도를 줄일 수 있다.
서스펜션 구동 제어 장치는 차량(10) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(10)의 진동이 저감되도록 제어할 수 있다.
한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.
제어 구동 장치(250)는, 제어 ECU(Electronic Control Unit)로 명명될 수 있다.
주행 시스템(260)은 오브젝트 검출 장치(210)에서 수신한 오브젝트에 대한 데이터에 기초하여, 차량(10)의 움직임을 제어하거나, 사용자에게 정보를 출력하기 위한 신호를 생성할 수 있다. 주행 시스템(260)은 생성된 신호를, 사용자 인터페이스 장치(200), 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나에 제공할 수 있다.
주행 시스템(260)은 ADAS를 포함하는 개념일 수 있다. ADAS(260)는 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
주행 시스템(260)은 자율 주행 ECU(Electronic Control Unit)를 포함할 수 있다. 자율 주행 ECU는 차량(10) 내 다른 전자 장치들 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나로부터 수신되는 데이터에 기초하여, 자율 주행 경로를 설정할 수 있다. 자율 주행 ECU는 자율 주행 경로를 따라 차량(10)이 주행하도록 제어 신호를 생성할 수 있다. 자율 주행 ECU에서 생성된 제어 신호는 메인 ECU(240) 및 차량 구동 장치(250) 중 적어도 어느 하나로 제공될 수 있다.
센싱부(270)는 차량의 상태를 센싱할 수 있다. 센싱부(270)는 IMU(inertial navigation unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서 및 브레이크 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial navigation unit) 센서는 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(270)는 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 센싱부(270)는 차량 자세 정보, 차량 모션 정보, 차량 요(yaw) 정보, 차량 롤(roll) 정보, 차량 피치(pitch) 정보, 차량 충돌 정보, 차량 방향 정보, 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(270)는 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
센싱부(270)는 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다.
예를 들면, 차량 상태 정보는 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
한편, 센싱부는 텐션 센서를 포함할 수 있다. 텐션 센서는 안전 벨트의 텐션 상태에 기초하여 센싱 신호를 생성할 수 있다.
위치 데이터 생성 장치(280)는 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는 GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는 GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는 센싱부(270)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(210)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다.
위치 데이터 생성 장치(280)는 위치 측위 장치로 명명될 수 있다. 위치 데이터 생성 장치(280)는 GNSS(Global Navigation Satellite System)로 명명될 수 있다.
차량(10)은 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
도 3은 본 발명의 실시예에 따른 전자 장치의 제어 블럭도이다.
도 3을 참조하면, 전자 장치(100)는 메모리(140), 프로세서(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다. 전자 장치(100)는 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 메모리(140), 인터페이스부(180), 전원 공급부(190) 및 프로세서(170)는, 인쇄 회로 기판에 전기적으로 연결될 수 있다.
메모리(140)는 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 전자 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는 프로세서(170)의 하위 구성으로 분류될 수 있다.
메모리(140)는 카메라(130)에서 생성된 영상 데이터를 저장할 수 있다. 메모리(140)는 프로세서(170)에 의해 제2 사용자가 버추얼 배리어를 침범하는 것으로 판단되는 경우, 판단의 기초가 되는 영상 데이터를 저장할 수 있다.
인터페이스부(180)는 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(180)는 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 차량 구동 장치(250), ADAS(260), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(180)는 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
인터페이스부(180)는 위치 데이터 생성 장치(280)로부터, 차량(10) 위치 데이터를 수시할 수 있다. 인터페이스부(180)는 센싱부(270)로부터 주행 속도 데이터를 수신할 수 있다. 인터페이스부(180)는 오브젝트 검출 장치(210)로부터, 차량 주변 오브젝트 데이터를 수신할 수 있다.
인터페이스부(180)는 프로세서(170)에서 생성된 위험 요소에 대응하여 운전자의 안전을 확보할 수 있는 대응 제어 방법에 관한 신호를 출력부로 전송하는데 이용될 수 있다.
전원 공급부(190)는 전자 장치(100)에 전원을 공급할 수 있다. 전원 공급부(190)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 전자 장치(100)의 각 유닛에 전원을 공급할 수 있다. 전원 공급부(190)는 메인 ECU로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(190)는 SMPS(switched-mode power supply)로 구현될 수 있다.
프로세서(170)는 메모리(140), 인터페이스부(180), 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는 전원 공급부(190)로부터 제공되는 전원에 의해 구동될 수 있다. 프로세서(170)는 전원 공급부(190)에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성하고, 신호를 제공할 수 있다.
프로세서(170)는 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로부터 정보를 수신할 수 있다. 프로세서(170)는 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로 제어 신호를 제공할 수 있다.
프로세서(170)는, 센서 데이터를 수신하고, 상기 센서 데이터를 기반으로 위험 요소를 식별하고, 상기 위험 요소별 위험 판단 기준을 학습하고, 상기 위험 요소가 상기 위험 판단 기준을 만족하면, 사용자에게 상기 위험 요소의 존재를 경고하는 경고 신호를 생성할 수 있다.
프로세서(170)는, 인터페이스부(180)를 통해, 센싱부(270) 또는 오브젝트 검출 장치(210)가 센싱한 센서 데이터를 수신할 수 있다. 센서 데이터는 레이더 또는 카메라 등을 통해 획득한 차량 외부 영상의 영상을 포함할 수 있다.
프로세서(170)는, 센서 데이터로부터 전방 오브젝트 정보, 후방 차량을 포함하는 후방 오브젝트 정보 및 주변 오브젝트 정보를 획득할 수 있다.
프로세서(170)는, 센서 데이터를 기반으로 하나 이상의 위험 요소를 검출하거나 식별할 수 있다.
예를 들면, 프로세서(170)는, 카메라를 통해 얻은 이미지 데이터를 기반으로 방향 지시등 동작 없이 차선을 변경하는 차량, 차선을 유지하지 못하고 주행하는 차량, 파손된 노면 및 차선의 종류, 화물 차량, 감속하는 차량 등을 식별할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 센서 데이터로부터 위험 요소를 식별할 수 있다. 이경우, 제1 학습 모델은, 학습된 DNN 모델일 수 있다.
심층 신경망 (DNN : Deep Neural Network)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)을 포함하는 인공 신경망(ANN: Artificial Neural Network)을 의미한다.
프로세서(170)는, 검출한 위험 요소가 위험 판단 기준을 만족하는지 판단하기 위해, 상기 위험 요소별 위험 판단 기준을 학습할 수 있다.
프로세서(170)는, 제2 학습 모델을 통해 위험 요소에 따른 위험 판단 기준을 학습할 수 있다. 이경우, 제2 학습 모델은, 학습된 DNN 모델일 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 상기 차량 외부의 영상으로부터 차량의 종류를 포함하는 오브젝트의 종류 및 차선의 종류를 식별하고, 제2 학습 모델을 통해 상기 오브젝트의 종류 및 상기 차선의 종류를 파라미터로 하여 상기 파라미터에 따른 위험도를 학습할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 상기 차량의 후방 영상으로부터 방향 지시등 동작 없이 차선을 변경하는 차량 또는 차선을 유지하지 못하고 주행하는 차량을 식별하고, 카메라를 통해 후방 운전자 영상을 획득하고, 제2 학습 모델을 통해 상기 후방 운전자 영상으로부터 상기 후방 운전자의 상태를 학습할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 파손된 노면 및 차선의 종류를 식별하고, 제2 학습 모델을 통해 도로 주행 중 차량의 흔들림 정도를 학습할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 화물 차량의 종류 또는 상기 화물 차량에 적재된 화물의 대칭 정도 중 적어도 하나를 식별하고, 제2 학습 모델을 통해 상기 화물 차량의 종류에 따른 높이 정보 또는 상기 화물 차량에 적재된 화물의 대칭 정도에 따른 흔들림 정도를 학습할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 감속하는 전방 차량을 식별하고, 제2 학습 모델을 통해 상기 전방 차량의 감속에 따른 브레이크등의 동작 여부를 학습할 수 있다.
프로세서(170)는, 위험 요소가 위험 판단 기준을 만족하는지 여부를 판단하고, 상기 위험 요소가 상기 위험 판단 기준을 만족하면, 상기 위험 요소의 존재를 경고하는 경고 신호를 생성할 수 있다. 경고 신호는, 위험 요소의 종류 및 위치, 위험한 정도를 디스플레이부를 통해 표시하는 신호일 수 있다.
프로세서(170)는, 위험도를 수치화하여 계산하고, 수치화된 위험도가 설정 값 이상이면, 오브젝트의 종류와 상기 수치화된 위험도를 표시하는 경고 신호 및, 상기 위험도에 따라 저장된 색상을 차량 내 장착된 RGB LED를 통해 표시하는 경고 신호를 생성할 수 있다.
프로세서(170)는, 후방 운전자의 눈 깜빡임 속도가 설정 값 이하이면 졸음 운전 상태로 판단하고, 상기 후방 운전자의 시선 방향이 정면을 향하지 않는다면 전방 주시 태만 상태로 판단하고, 상기 졸음 운전 상태 또는 상기 전방 주시 태만 상태를 표시하는 경고 신호를 생성할 수 있다.
프로세서(170)는, 차량의 흔들림 정도가 설정 값 이상이면, 상기 차량의 전방 영상을 위치 정보와 함께 저장하고, 상기 차량이 상기 위치 정보에 기 설정된 거리 이하로 진입하면 제1 경고 신호를 생성하고, 상기 차량의 전방 영상에 상기 파손된 노면이 식별되면 제2 경고 신호를 생성할 수 있다
프로세서(170)는, 높이 정보가 화물 차량의 종류에 따라 설정된 값 이상이거나, 흔들림 정도가 설정 값 이상이면, 상기 높이 정보 및 상기 흔들림 정도에 따른 화물의 낙하 범위인 위험 반경을 계산하고, 상기 화물 차량 및 상기 위험 반경을 표시하는 경고 신호를 생성할 수 있다.
프로세서(170)는, 전방 차량이 감속하는데 브레이크등이 동작하지 않는다고 판단하면, 상기 전방 차량이 감속하는 동안 상기 전방 차량의 브레이크등에 AR을 통해 불이 켜진 것으로 표시하고, 상기 브레이크 등의 결함의 발생을 안내하는 경고 신호를 생성할 수 있다.
프로세서(170)는, 위험 요소의 위치를 상기 위험 요소가 존재하는 차선의 위치를 표시하는 신호를 통해 나타낼 수 있다. 프로세서(170)는, 차선별 색상을 다르게 저장하고, 상기 위험 요소가 존재하는 차선의 색상을 표시함으로써 상기 위험 요소의 위치를 표시할 수 있다.
프로세서(170)는, 위험 요소에 대응하여 운전자의 안전을 확보할 수 있는 하나 이상의 대응 제어 방법을 생성할 수 있다.
프로세서(170)는, 제3 학습 모델을 통해 위험 요소에 따른 하나 이상의 대응 제어 방법을 생성할 수 있다. 이경우, 제3 학습 모델은, 학습된 DNN 모델일 수 있다.
프로세서(170)는, 제3 학습 모델을 통해 상기 위험 요소에 따른 하나 이상의 대응 제어 방법을 생성하고, 자율주행 모드인지를 판단할 수 있다. 프로세서(170)는, 자율주행 모드가 아니라고 판단하면, 사용자의 입력 신호를 수신하고, 하나 이상의 대응 제어 방법 중 사용자 입력 신호에 따른 대응 제어 방법을 학습할 수 있다.
프로세서(170)는, 사용자 입력 신호에 따른 대응 제어 방법에 따라 제동 장치, 조향 장치, 가속 장치 중 적어도 어느 하나의 차량 구동 장치를 제어하는 대응 제어 신호를 생성할 수 있다.
프로세서(170)는, 대응 제어 신호에 따라 변경된 상기 차량의 위치 정보, 속도 정보 및 차량 상태 정보에 기초하여 상기 사용자가 선택한 대응 제어 방법의 안전도를 계산할 수 있다.
프로세서(170)는, 자율주행 모드인지를 판단하여, 자율주행 모드라고 판단하면, 상기 제3 학습 모델을 통해 학습한 상기 하나 이상의 대응 제어 방법 중 안전도가 가장 높은 상기 대응 제어 방법을 선택할 수 있다. 프로세서(170)는, 안전도가 가장 높은 대응 제어 방법에 따라 차량 구동 장치를 제어할 수 있다.
프로세서(170)는, 안전도가 가장 높은 대응 제어 방법에 따라 제동 장치, 조향 장치, 가속 장치 중 적어도 어느 하나의 차량 구동 장치를 제어하는 대응 제어 신호를 생성할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 식별한 상기 위험요소가, 제2 학습 모델을 통해 학습한 상기 위험 판단 기준을 만족하면, 상기 위험 요소의 종류에 따라 저장된 아이콘 및 제3 학습 모델을 통해 학습한 상기 안전도가 가장 높은 상기 대응 제어 방법을 HUD(Head Up Display)에 증강 현실을 통해 표시하는 신호를 생성할 수 있다.
프로세서(170)는 위험도를 계산하고 표시하는 신호를 생성할 수 있다. 위험도는 자차와의 사고 발생 가능성으로 정의되고, 프로세서(170)는 학습된 DNN 모델을 기반으로 위험 요소별 위험도를 수치화하여 계산할 수 있다. 그리고 수치화된 위험도를 표시하는 신호를 생성할 수 있다.
프로세서(170)는 인터페이스부(180)를 통해 대응 제어 방법에 대한 운전자의 선택 신호를 입력받고, 상기 대응 제어 방법에 따른 대응 제어 신호를 생성할 수 있다. 대응 제어 신호는 조향 제어 장치, 브레이크 제어 장치, 가속 제어 장치 중 적어도 어느 하나의 장치를 제어하는 신호일 수 있다. 운전자의 선택은 입력부를 통해서 이루어질 수 있다.
프로세서(170)는 대응 제어 방법에 대해 운전자의 선택 신호의 입력이 없는 경우, 심층 신경망 모델에 의해 학습된 가장 안전한 대응 제어 방법에 따라 대응 제어 신호를 생성할 수 있다.
프로세서(170)는, 학습된 DNN 모델을 기반으로 위험도를 계산할 수 있다. 프로세서(170)는, 식별된 위험 요소가 위험 판단 기준을 만족하면, 학습된 데이터를 기반으로 자차와의 사고 발생 가능성으로 정의할 수 있는 위험도를 계산하고, 위험도를 %단위로 나타낼 수 있다.
프로세서(170)는, 학습된 DNN 모델을 기반으로 위험 요소의 위험도를 수치화하여 계산하고, 차량 내 장착된 RGB LED를 통해 계산된 위험 요소의 위험도에 대응하는 위험도별 색상을 표시할 수 있다. RGB LED를 통해, 운전자는 전방을 주시하면서도 직관적으로 위험을 감지할 수 있다.
프로세서(170)는, 운전자의 선택에 의해 위험 요소의 종류에 따른 아이콘을 저장하고, 디스플레이부를 통해 상기 아이콘을 표시할 수 있다. 디스플레이는 HUD를 이용할 수 있고, 아이콘 표시는 증강 현실을 통해 표시할 수 있다. HUD와 증강 현실을 통해 위험 상황에 대한 자세한 안내가 가능할 수 있다.
프로세서(170)는, 검출된 위험 요소를 피해 안전한 차선으로의 이동 여부 또는 차량의 속도 변경 여부를 운전자에게 안내할 수 있다. 이경우, 디스플레이를 통한 문자로 표시하거나 스피커를 통한 음성으로 안내할 수 있다. 즉, 프로세서(170)는, 대응 제어 방법을 운전자에게 문자 또는 음성으로 표시할 수 있다.
제1 학습 모델, 제2 학습 모델 및 제3 학습 모델은, 위치 및 시간 정보의 학습이 가능한 심층 신경망(DNN: Deep Neural Network) 모델을 포함할 수 있다.
프로세서(170)는, 제1, 제2 및 제3 학습 모델을 이용하여 위험 요소를 식별하고, 위험 판단 기준에 의한 위험한 정도를 판단하고, 상황별 안전한 대응 제어 방법을 안내할 수 있으며, 상기 학습 모델들은 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습된 심층 신경망 기반의 모델일 수 있다.
학습 모델은, 인공 지능 장치의 러닝 프로세서에서 학습된 것일 수도 있고, 인공 지능 서버의 러닝 프로세서에서 학습된 것일 수도 있다.
프로세서(170)는, 메모리(140)에 저장된 학습 모델을 직접 이용하여 위험 요소들을 식별 등을 할 수도 있고, 인공 지능 서버에 센서 정보를 전송하고, 인공 지능 서버로부터 학습 모델을 이용하여 생성된 대응 제어 정보를 수신할 수도 있다. 이경우 5G 통신을 이용할 수 있다. 자율 주행 차량(10)과 5G 통신의 기본적인 동작 방법은, 도 18 내지 도 23에서 후술한다.
도 4은 본 발명의 실시예에 따른 차량에 장착된 카메라를 도시한 도면이다.
도 4를 참조하면, 카메라(130)는 차량 외부 영상을 획득하기 위해, 차량의 적절한 곳에 위치할 수 있다. 카메라는 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다.
예를 들면 카메라(130)는 차량 전방의 영상을 획득하기 위해, 차량의 실내에서 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면 카메라(130)는 차량 후방의 영상을 획득하기 위해, 차량의 실내에서 리어 글라스에 근접하게 배치될 수 있다. 또는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면 카메라(130)는 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
도 5는 본 발명의 실시예에 따른 프로세서에 대한 플로우 차트이다.
도 5를 참조하면. 프로세서(170)는, 센서 데이터를 수신하는 단계(S510), 상기 센서 데이터를 기반으로 위험 요소를 식별하는 단계(S520), 상기 위험 요소별 위험 판단 기준을 학습하는 단계(S530), 상기 위험 요소가 상기 위험 판단 기준을 만족하는지를 판단하는 단계(S535), 경고 신호를 생성하는 단계 (S540) 및 하나 이상의 대응 제어 방법을 생성하는 단계(S550)를 통해 동작할 수 있다.
센서 데이터 수신 단계(S510)는 인터페이스부(180)를 통해, 센싱부(270)가 센싱한 센서 데이터를 수신하는 단계일 수 있다. 센서 데이터는 레이더 또는 카메라를 통해 획득한 전방 차량을 포함하는 전방 오브젝트 정보, 후방 차량을 포함하는 후방 오브젝트 정보 및 주변 오브젝트 정보를 포함할 수 있다.
위험 요소를 식별하는 단계(S520)는 가공되지 않은 센서 데이터에서 하나 이상의 위험 요소를 검출하거나 식별하는 것을 의미할 수 있다. 예를 들면, 프로세서(170)는, 카메라를 통해 얻은 이미지 데이터를 기반으로 방향 지시등 동작 없이 차선을 변경하는 차량, 차선을 유지하지 못하고 주행하는 차량, 파손된 노면 및 차선의 종류, 화물 차량, 감속하는 차량 등을 식별할 수 있다. 이경우, 제1 학습 모델이 이용될 수 있다.
위험 요소는 차량(10)의 운행과 관련된 다양한 물체들일 수 있다. 예를 들면, 자차 주변의 차량 및 보행자, 방향 지시 등 없이 차선 변경하는 차량, 차선을 유지하며 주행하지 못하는 차량, 파손된 노면, 과적 차량, 과속 차량, 브레이크 결함 차량, 난폭 운전 차량, 혼잡 도로 구간 등이 포함될 수 있다.
위험 판단 기준을 학습하는 단계(S530)는, 식별된 위험 요소의 종류에 따라 운전자를 위험 상황에 놓이게 할 수 있는 위험 판단 기준을 학습하는 단계일 수 있다. 위험 요소 종류에 따른 위험 판단 기준은, 제2 학습 모델을 통해 학습되어 메모리(140)에 저장될 수 있다.
제1 학습 모델 및 제2 학습 모델은 심층 신경망(DNN) 모델일 수 있다.
심층 신경망 (DNN : Deep Neural Network)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)을 포함하는 인공 신경망(ANN: Artificial Neural Network)을 의미한다.
심층 신경망은 다중의 은닉층을 포함하여 다양한 비선형적 관계를 학습할 수 있다. 심층 신경망은 드롭아웃(drop-out), ReLU(Rectified Linear Unit), 배치 정규화(batch normalization) 등의 기법이 적용되면서 딥 러닝(deep learning)의 핵심 모델로 활용될 수 있다.
심층 신경망은 알고리즘에 따라 비지도 학습 방법(unsupervised learning)을 기반으로 하는 심층 신뢰 신경망(DBN: Deep Belief Network), 심층 오토인코더(deep autoencoder) 등이 있고, 이미지와 같은 2차원 데이터 처리를 위한 합성곱 신경망(CNN: Convolutional Neural Network), 시계열 데이터 처리를 위한 순환 신경망(RNN: Recurrent Neural Network) 등을 포함할 수 있다.
위험 요소가 위험 판단 기준을 만족하는 여부를 판단하는 단계(S535)는, 제1 학습 모델을 통해 식별된 위험 요소가 제2 학습 모델을 통해 학습된 위험 판단 기준을 만족하는지 여부를 판단하는 단계일 수 있다. 상기 위험 요소가 상기 위험 판단 기준을 만족하면, 경고 신호 생성 단계(S540)가 실행되고, 상기 위험 요소가 상기 위험 판단 기준을 만족하지 않으면, 센서 데이터 수신 단계(S510)가 실행된다.
경고 신호 생성 단계(S540)는, 위험 요소가 위험 판단 기준을 만족하면, 사용자에게 상기 위험 요소의 존재를 경고하는 단계일 수 있다. 상기 경고 신호는, 위험 요소의 종류 및 위치, 위험도를 출력부를 통해 표시하는 신호일 수 있다.
위험 요소의 위치는, 상기 위험 요소가 존재하는 차선의 위치를 표시하는 신호를 통해 나타낼 수 있다. 프로세서(170)는, 차선별 색상을 다르게 저장하고, 상기 위험 요소가 존재하는 차선의 색상을 출력부를 통해 표시함으로써 상기 위험 요소의 위치를 표시할 수 있다.
출력부는 디스플레이부와 음향 출력부를 포함할 수 있다. 프로세서(170)는, 인터페이스부(180)를 통해 출력부로 출력 신호를 송신할 수 있다. 출력 신호는 경고 신호와 대응 제어 방법의 표시 신호를 포함할 수 있다.
위험도를 표시하는 신호는, 차량 내 장착된 RGB LED를 통해 상기 위험도에 대응하는 색상을 표시하는 신호를 포함하고, 프로세서(170)는 사용자의 입력 신호에 의해 상기 위험도에 대응하는 색상을 선택 및 저장할 수 있다.
예를 들면, 위험도가 높으면 빨간색, 위험도가 중간이면 노란색, 위험도가 낮으면 초록색으로 저장할 수 있다. 경고 신호는, 수치화된 위험도를 위험 요소와 함께 표시한 신호 또는 저장된 위험도별 색상을 차선 위에 중첩하여 표시한 신호일 수 있다.
위험 요소의 종류를 표시하는 신호는, HUD(head up display)에 상기 위험 요소의 종류에 따른 아이콘을 증강 현실을 이용하여 표시하는 신호를 포함하고, 프로세서(170)는 사용자의 입력 신호에 의해 상기 위험 요소의 종류에 따른 아이콘을 선택 및 저장할 수 있다.
대응 제어 방법을 생성하는 단계(S550), 학습된 위험 판단 기준을 만족하는 위험 요소를 피해 안전하게 주행할 수 있는 방법을 생성하는 단계일 수 있다. 상기 대응 제어 방법은 하나 이상일 수 있고, 사용자의 입력 신호에 의해 하나의 대응 제어 방법이 선택되거나 제3 학습 모델에 의해 가장 안전한 대응 제어 방법이 선택될 수 있다.
예를 들면, 전방의 과적 차량이 발견된 경우, 제1 대응 제어 방법은 안전한 차선으로의 차선 변경이고, 제2 대응 제어 방법은 상기 과적 차량의 추월이고, 제3 대응 제어 방법은 갓길 정차일 수 있다. 제3 학습 모델에 의한 가장 안전한 대응 제어 방법은, 제1 제어 방법인 안전한 차선으로의 차선 변경일 수 있다.
도 6는 본 발명의 실시예에 따른 위험 요소 판단에 대한 플로우 차트이다.
도 6을 참조하면, 전자 장치(100)의 동작 방법은, 자율 주행인지를 판단하는 단계(S551), 자율 주행 모드가 아닌 경우, 상기 하나 이상의 대응 제어 방법 중에서 사용자 입력 신호를 수신하는 단계(S552), 자율 주행 모드인 경우, 상기 하나 이상의 대응 제어 방법 중에서 안전도가 가장 높은 대응 제어 방법을 선택하는 단계(S553), 대응 제어 신호를 생성하는 단계(S554), 안전도를 계산하는 단계(S555), 및 상기 대응 제어 방법 및 안전도를 학습하고 저장하는 단계(S556)를 더 포함할 수 있다.
프로세서(170)는, 제3 학습 모델을 통해 상기 위험 요소에 따른 하나 이상의 대응 제어 방법을 생성하고, 자율주행 모드인지를 판단할 수 있다. 프로세서(170)는, 자율주행 모드가 아니라고 판단하면, 사용자의 입력 신호를 수신하고, 하나 이상의 대응 제어 방법 중 사용자 입력 신호에 따른 대응 제어 방법을 학습할 수 있다.
대응 제어 신호 생성 단계(S554)는, 하나 이상의 대응 제어 방법 중 하나의 대응 제어 방법이 선택되면, 상기 선택된 대응 제어 방법에 따른 대응 제어 신호를 생성하는 것을 의미할 수 있다. 대응 제어 신호는 조향 제어 장치, 제동 제어 장치, 가속 제어 장치 중 적어도 어느 하나의 장치를 제어하는 신호일 수 있다.
안전도를 계산하는 단계(S555)는, 대응 제어 방법에 대한 대응 제어 신호가 생성되어 차량의 위치, 속도 또는 상태가 변경되면, 상기 대응 제어 신호에 따라 변경된 상기 차량의 위치 정보, 속도 정보 및 차량 상태 정보에 기초하여 안전도를 계산하는 단계일 수 있다.
차량 상태 정보는, 대응 제어 방법에 따라 제어한 결과 사고가 발생한 경우, 차량 파손 정도를 포함할 수 있다.
학습 및 저장 단계(S556)는, 하나 이상의 대응 제어 방법 중 사용자 입력 신호에 따른 대응 제어 방법을 학습하여, 사용자 선호도에 따른 대응 제어 방법을 학습하고 저장하는 것을 포함할 수 있다. 또한, 대응 제어 방법에 따른 안전도를 학습하고 저장하는 것을 포함할 수 있다.
안전도는, 자율주행 모드에서의 대응 제어 방법의 선택 단계(S553)에서 사용될 수 있다.
학습 및 저장 단계(S556)는, 제3 학습 모델을 통해 사용자 선호도에 따른 대응 제어 방법 및 대응 제어 방법에 따른 안전도 등을 학습하는 단계일 수 있다. 제3 학습 모델은 DNN 학습 모델을 포함할 수 있다.
안전도가 가장 높은 대응 제어 방법을 선택하는 단계(S553)는, 자율주행 모드에서, 프로세서(S170)가 제3 학습 모델을 통해, 안전도가 가장 높은 대응 제어 방법을 선택하는 단계일 수 있다. 안전도에 따른 대응 제어 방법이 선택되면, 상술한 바와 같이, 대응 제어 신호 생성 단계(S554), 안전도 계산 단계(S555), 학습 및 저장 단계(S556)를 통해 전자 장치(100)가 동작할 수 있다.
안전도가 가장 높은 대응 제어 방법에 따른 대응 제어 신호가 생성된 후의 안전도 계산 단계(S555)는, 기존 안전도를 업데이트하는 단계일 수 있다.
도 7a 내지 도 7b는 본 발명의 실시예에 따른 V2V 통신을 통한 신호의 송신을 나타내는 도면이다.
도 7a를 참조하면, 자차는 전방 차량(701)을 포함한 하나 이상의 주변 차량(702)에게 통신을 통해 위험 요소에 관한 신호를 송신할 수 있다. 이 경우 V2V통신이 이용될 수 있다. 상기 위험 요소에 관한 신호는 위험 요소의 종류 및 위치, 위험한 정도, 대응 제어 방법 등을 포함할 수 있다. 위험 요소의 종류에 따라 전방 차량(701)과 주변 차량(702)에게 전송하는 신호는 달라질 수 있다. 신호는 메시지로 표시될 수 있다.
도 7b를 참조하면, 전방 차량(701)과 주변 차량(702)에게 다른 신호가 전송되는 것을 알 수 있다. 예를 들면, 전방 차량(701)의 브레이크 등(brake light)이 고장나서 브레이크를 밟아도 브레이크 등이 동작하는 않는 경우, 위험 요소는 브레이크 등의 고장일 수 있고, 전방 차량(701)에는 ‘Your brake Light is failed!!’의 메시지(710)를 전송하고, 주변 차량(502)에는 ‘1234 Car’ brake Light is failed!! Take Care!!’의 메시지(720)를 전송할 수 있다.
도면에 도시되어 있지는 않지만, 음향 출력부를 통해서 음성으로 운전자에게 위험 요소에 관한 신호를 출력할 수 있다.
차량(10)은, V2V 통신을 이용해 주변 차량들에게 위험 요소에 관한 신호를 송신함으로써, 주변 차량 운전자들의 안전을 보호할 수 있고, 각 차량별 다른 신호를 송신함으로써, 각 차량별 상황에 따른 효율적인 대처가 가능하도록 할 수 있다.
도 8은 본 발명의 실시예에 따른 위험 요소의 종류, 위험 요소가 위치하는 차선의 종류 및 위험도를 나타내는 도면이다.
도 8을 참조하면, 프로세서(170)는 후방 카메라를 통해 획득한 차량의 후방 영상으로부터 오브젝트의 종류 및 차선의 종류를 식별할 수 있다. 오브젝트의 종류의 식별은, 보행자 또는 차량의 식별뿐만 아니라, 승용차인지 트럭인지와 같은 차량의 종류의 식별을 포함할 수 있다.
위험 요소의 식별은 제1 학습 모델을 기반으로 수행될 수 있다. 도 8의 경우, 위험 요소는 차량 주위의 이동 오브젝트일 수 있다. 프로세서(170)는 제2 학습 모델을 통해 상기 오브젝트의 종류 및 상기 차선의 종류를 파라미터로 하여 상기 파라미터에 따른 위험도를 학습할 수 있다.
예를 들면, 승용차보다는 트럭이 위험도가 높을 수 있다. 예를 들면, 옆차선보다는 같은 차선에 있는 오브젝트의 위험도가 높을 수 있다.
위험도는, 식별된 위험 요소에 의해 자차가 사고가 발생할 확률로 정의할 수 있고, 퍼센트(%)로 수치화할 수 있다. 위험 요소의 위험도는 위험 요소의 종류, 속도, 위치, 자차와의 거리, 날씨, 도로 상태 등을 기준으로 계산할 수 있다. 프로세서(170)는 위험 요소의 위험도를 수치화하여 인터페이스부(180)를 통해 운전자에게 표시할 수 있다.
도 8의 경우, 차량(10)의 후방 이미지에서, 보행자(OB801)와 트럭(OB802), 두 대의 승용차(OB803, OB804)가 위험 요소로 식별될 수 있다. 보행자(OB801)의 위험도는 16%, 트럭(OB802)은 90%, 두 대의 승용차(OB803, OB804)는 각각 51%, 72%로 수치화되어 계산될 수 있다. 또한, 식별된 위험 요소의 종류와 함께 계산된 위험도가 디스플레이를 통해 표시될 수 있다.
프로세서(170)는, 사용자의 선택에 의해 위험도별 색상을 저장할 수 있다. 예를 들면, 위험도가 낮으면(0% 초과 25% 이하) 초록색, 위험도가 중간이면(25% 초과 75% 이하) 노란색, 위험도가 높으면(75% 초과 100% 미만) 빨간색으로 저장할 수 있다. 또한, 위험도별 색상을 차선 위에 중첩하여 표시할 수 있다.
위험도가 90%인 트럭(OB802)이 존재하는 차선(OB806)은 빨간색으로 표시되고, 위험도가 51%, 72%인 두 대의 승용차(OB803, OB804)가 있는 차선(OB807)은 노란색으로 표시되고, 위험도가 16%인 보행자(OB801)가 근접한 차선(OB805)은 초록색으로 표시할 수 있다. 이로써, 운전자는 어느 차선이 위험한지를 직관적으로 인식할 수 있다.
도 9는 차량의 후방 이미지에서 검출한 후방 차량이 차선을 유지하지 않고 주행하는 모습을 나타내는 도면이다.
도 9를 참조하면, 프로세서(170)는 제1 학습 모델을 통해 상기 차량의 후방 영상으로부터 방향 지시등 동작 없이 차선을 변경하는 차량 또는 차선을 유지하지 못하고 주행하는 차량을 식별할 수 있다.
프로세서(170)는, 고해상도 카메라를 통해 후방 운전자 영상을 획득할 수 있고, 제2 학습 모델을 통해 상기 후방 운전자 영상으로부터 상기 후방 운전자의 상태를 학습할 수 있다. 상기 후방 운전자의 상태는 눈 깜빡임 속도 또는 시선 방향을 포함할 수 있다.
프로세서(170)는, 후방 운전자의 눈 깜빡임 속도가 설정 값 이하이면 졸음 운전 상태로 판단하고, 후방 운전자의 시선 방향이 정면을 향하지 않는다면 전방 주시 태만 상태로 판단하고, 상기 졸음 운전 상태 또는 상기 전방 주시 태만 상태를 표시하는 경고 신호를 생성할 수 있다
도 9의 경우, 차량(10)의 후방 이미지에서 차선을 유지하지 않고 주행하는 후방 차량(OB901)이 식별된 것으로 볼 수 있다. 운전자의 선택에 의해 위험도별 색상을 저장하면, 식별된 후방 차량(OB901)이 존재하는 차선(OB902)과 침범하는 차선(OB903)은 위험도가 높은 경우에 저장된 색상(예를 들면, 빨간색)을 차선(OB902, OB903) 위에 중첩하여 표시할 수 있다. 그 외 차선(OB904)은 위험도가 낮은 경우에 저장된 색상(예를 들면, 초록색)을 차선(OB904) 위에 중첩하여 표시할 수 있다.
도 10은 차량의 전방 이미지에서 획득한 브레이크 등이 고장난 차량을 나타내는 도면이다.
도 10을 참조하면, 프로세서(170)는, 제1 학습 모델을 통해 차량의 전방 영상으로부터 감속하는 전방 차량을 식별하고, 제2 학습 모델을 통해 전방 차량의 감속에 따른 브레이크등의 동작 여부를 학습할 수 있다.
구체적으로, 차량의 레이더 또는 ADAS 카메라를 이용하여 전방 차량의 상태를 분석하고, 카메라로 얻어진 영상 정보에서 식별된 오브젝트를 통해 차간 거리 및 속도 등의 정보를 추출할 수 있다. 이경우, 전방 차량이 브레이크를 밟았는지 또는 전방 차량의 감속이 얼마인지 등의 정보 검출이 가능한 학습된 DNN 모델을 미리 저장해 놓을 수 있다.
또한, 카메라 또는 레이더 등의 센서를 통해 얻은 정보를 학습된 DNN 모델에 입력하여 전방 차량이 브레이크를 밟고 있는 여부를 판단하고 동시에 전방 차량의 브레이크 등이 제대로 동작하는지 탐지할 수 있다. 만약 전방 차량이 브레이크를 밟았다고 판단됨에도 브레이크 등이 동작하지 않으면 위험요소의 하나인 브레이크 등의 결함으로 판단할 수 있다.
식별된 전방 차량이 상기 위험 판단 기준에 의해 브레이크 등이 고장난 차량 등의 위험 요소로 판단되면, 프로세서(170)는 센서를 통해 전방 차량이 감속하고 있다고 판단하는 경우, HUD를 통해 전방 차량의 브레이크 등에 증강 현실로 브레이크 등이 켜진 것으로 표시(1001)할 수 있다. 또한, 동시에 안전 운전을 위해 브레이크 등의 결함이 발생한 전방 차량이 있는 차선과 다른 차선으로 이동할지 여부에 대하여 문자 또는 음성 등으로 안내(1002)할 수 있다.
도 11a 내지 11b는 차량의 전방 이미지에서 파손된 노면이 검출된 경우를 나타내는 도면이다.
도 11a내지 도 11b를 참조하면, 프로세서(170)는, 전방 카메라를 통해 전방 도로를 오브젝트로 식별할 수 있고, 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 파손된 노면 및 차선의 종류를 식별할 수 있다.
프로세서(170)는, 제2 학습 모델을 통해 도로 주행 중 차량의 흔들림 정도 및 전방 노면의 파손 상태를 학습할 수 있다.
프로세서(170)는, 차량의 흔들림 정도가 설정 값 이상이면, 차량의 전방 영상을 위치 정보와 함께 저장하고, 차량이 상기 위치 정보에 기 설정된 거리 이하로 진입하면 제1 경고 신호를 생성하고, 차량의 전방 영상에 상기 파손된 노면이 식별되면 제2 경고 신호를 생성할 수 있다.
구체적으로, 도로 주행 중 지속적으로 노면 상태를 학습하고, 주행 중 차량의 흔들림 정도를 바탕으로 일정 수준 이상 흔들릴 경우 직전 도로 상태를 파손된 노면으로 판단하여 GPS와 함께 저장할 수 있다. 지속적인 주행을 통해서 파손된 노면에 대한 이미지 데이터를 반복하여 학습할 수 있다.
또한, 차량 전방 카메라로 노면 상태를 확인하여 정상적인 노면 상태와 파손된 노면 상태를 DNN 학습 모델을 통해 구분할 수 있다. 예를 들면, 주행 중 차량의 흔들림이 발생하여도 고속 방지턱 등 정상적인 도로 상태인 경우, 획득한 카메라 이미지 및 DNN 학습 모델을 기반으로 파손된 노면과 구분할 수 있다.
식별된 전방 노면이 위험 판단 기준에 의해 파손된 노면 등의 위험 요소로 판단되면, 도 11b와 같이, 프로세서(170)는 파손된 노면이 존재하는 도로(1103) 근방으로 진입 시 음성으로 경고하거나 디스플레이에 증강현실을 통해 파손된 노면과 위험범위를 표시(1104)할 수 있다. 도 11a와 같이, 전방 카메라를 통해 파손된 노면(OB1101)이 전방에 발견되면 디스플레이를 통해 해당 영역을 표시(1102)할 수 있다.
한편, 레인센서를 통해 눈이나 비가 인지된 상태에서 파손된 노면이 존재하는 도로에 진입 시 음성 또는 디스플레이를 통해 경고를 할 수 있다.
도 12a 내지 도 12c는 차량의 전방 이미지에서 과적 차량이 검출된 경우를 나타내는 도면이다.
도 12a 내지 도 12c를 참조하면, 프로세서(170)는 전방 카메라를 통해 전방 차량을 오브젝트로 식별할 수 있고, 식별한 전방 차량에 대해 위험 요소인지를 판단은 이동 오브젝트의 종류, 속도, 위치 및 자차와의 거리를 포함하는 위험 판단 기준에 의할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 차량의 전방 영상으로부터 화물 차량의 종류 또는 화물 차량에 적재된 화물의 대칭 정도 중 적어도 하나를 식별하고, 제2 학습 모델을 통해 화물 차량의 종류에 따른 높이 정보 또는 화물 차량에 적재된 화물의 대칭 정도에 따른 흔들림 정도를 학습할 수 있다.
구체적으로, 도로 주행 중 지속적으로 노면 상태 및 도로 종류에 따라 화물 차량의 데이터를 수집하고, 화물 차량 종류별 높이 정도 등을 DNN 모델을 기반으로 학습시키고 저장하여 주행에 문제가 없는 이상적인 높이를 추출할 수 있다.
또한, 전방의 화물 차량의 운행 중 대칭 및 흔들림 정도를 지속적으로 학습하고, 학습된 정보를 기반으로 기준선 및 기준각을 설정할 수 있다. 그리고 DNN 모델을 통해 학습된 기준선을 기초로한 적재된 화물의 대칭 정도 및 DNN 모델을 통해 학습된 기준각을 기초로한 적재된 화물의 기울임 정도를 통해 대칭 및 흔들림 정도를 계산할 수 있다.
주행 중 차량의 흔들림 정도를 바탕으로 일정 수준 이상 흔들릴 경우 직전 도로 상태를 파손된 노면으로 판단하여 GPS와 함께 저장할 수 있다. 지속적인 주행을 통해서 파손된 노면에 대한 이미지 데이터를 반복하여 학습할 수 있다.
프로세서(170)는 식별된 화물 차량이 차량의 높이, 종류, 속도, 대칭 및 흔들림 정도, 도로 종류 및 노면 상태의 학습된 위험 판단 기준에 의해 위험 요소인 과적 차량으로 판단되면, 상기 과적 차량의 위치 및 화물 낙하 시의 예상 낙하 범위를 표시하는 신호를 생성할 수 있다.
예를 들면, 식별된 전방 화물 차량(OB1201, OB1202)이 과적 차량(OB1202)의 위험 요소로 판단되면, 도 12a와 같이, 과적 차량(OB1202)의 존재 및 위치를 표시(1203)할 수 있다. 도 12b의 경우 학습된 기준선(1204)및 기준각(1205)이 표시되고 이를 기초로 기준이상의 흔들림(1206)이 감지된 것을 표시한 이미지일 수 있다.
또한, 도 12c와 같이, 적재물의 낙하 시 예상되는 낙하 범위 또는 위험 반경을 증강 현실을 통해 운전자에게 표시(1207)할 수 있다. 이경우, 과적 차량의 속도와 적재물의 높이, 흔들림 정도를 고려하여 적재물의 예상 낙하 범위를 파악할 수 있다.
도 13은 난폭 운전 차량 검색 및 안내에 대한 플로우 차트를 나타낸다.
도 13을 참조하면, 전자 장치(100)는 출퇴근 경로 데이터, 난폭 운전 차량 데이터, 차량의 실시간 전후방 카메라 영상 정보, 네비게이션 이동 경로 및 학습된 DNN 모델을 활용하여 출퇴근 경로에서 운전자가 난폭 운전 차량을 멀리하여 안전하게 출퇴근지까지 이동할 수 있도록 안내할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 방향 지시등 동작 없이 차선을 변경하는 차량, 급정거하는 차량, 과속 차량 및 안전거리 미확보 차량 중 적어도 어느 하나의 차량을 식별하고, 제2 학습 모델을 통해 상기 식별된 차량의 주행 패턴을 학습하고, 식별된 차량이 난폭 운전 차량으로 판단되면, 난폭 운전 차량의 존재 및 위치를 표시하는 경고 신호를 생성할 수 있다.
구체적으로, 우선 출퇴근 경로 데이터와 현재 이동 경로, 요일, 시간을 비교하고(S1301), 출퇴근 경로가 맞는지 판단할 수 있다(S1302). 출퇴근 경로가 맞으면 차량 전후방 영상 정보를 취득하고(S1303), 난폭 운전 차량을 구분하여(S1304) 해당 차량 번호판을 인식할 수 있다(S1305).
난폭 운전 차량인지(S1304)는 잦은 차선 변경 여부, 급정거 여부, 도로 규정속도 초과 여부, 안전거리 미확보 여부 등의 위험 판단 기준으로 학습된 DNN 모델을 통해 판단할 수 있다. 해당 차량의 번호판 인식(S1305)도 DNN 모델을 통해 수행할 수 있다.
난폭 운전 차량 번호판 데이터와 해당 차량 번호판을 비교하여(S1306) 해당 차량 번호판이 신규한지 판단할 수 있다(S1307). 신규하다면 난폭 운전 차량 번호판 데이터를 업데이트하고(S1308), 해당 차량이 운전자 차량의 후방에 위치하는지 (S1309), 해당 차량이 운전자 차량과 동일 차선에 위치하는지(S1310)를 학습된 DNN 모델을 통해서 판단할 수 있다.
해당 차량이 운전자 차량의 후방 동일 차선에 위치한다면, 현재 위치에서 출구 변경까지 1Km 이상 남았는지(S1311)를 판단하고, 그렇다면 해당 차량으로부터 안전한 주행 차선으로 차선 변경을 안내할 수 있다(S1312). 그렇지 않다면, 난폭 운전 차량이 가까이 있음을 알리고(S1313), 해당 차량이 운전자 차량의 전방에 위치하는지(S1314), 해당 차량이 운전자 차량과 동일 차선에 위치하는지(S1315)를 학습된 DNN 모델을 통해서 판단할 수 있다.
해당 차량이 운전자 차량의 전방 동일 차선에 위치한다면, 현재 위치에서 출구 변경까지 1Km 이상 남았는지(S1316) 판단하고, 그렇다면 해당 차량으로부터 안전한 주행 차선으로 차선 변경을 안내할 수 있다(S1317). 그렇지 않다면, 난폭 운전 차량이 가까이 있음을 알릴 수 있다(S1318).
도 14는 도로 혼잡 구간 검색 및 안내에 대한 플로우 차트를 나타낸다.
도 14를 참조하면, 전자 장치(100)는 주행 요일과 시간, 주행 속도 정보, 전후방 영상 정보를 통해 도로 상황과 구간별 위험 객체 출현 상황을 학습하고, 학습된 DNN 모델을 기반으로 혼잡 도로 또는 어린이 보호 구역을 미리 인지하고 위험 객체 출현 다발 구간에 대한 정보를 운전자에게 미리 제공할 수 있다.
프로세서(170)는, 제1 학습 모델을 통해 이동 오브젝트를 식별하고, 제2 학습 모델을 통해 시간 및 구간 정보에 따른 상기 이동 오브젝트의 출현 빈도를 학습하고, 이동 오브젝트의 출현 빈도가 설정 값 이상이면, 시간 및 구간 정보와 출현 가능한 이동 오브젝트를 표시하는 경고 신호를 생성할 수 있다.
구체적으로, 우선 주행을 시작하면서 현재 요일과 시간, 주행 속도 정보 및 구간 정보를 획득하고(S1401), 이를 기초로 도로 혼잡 구간을 학습하고 DNN 모델을 저장 및 업데이트할 수 있다(S1402). 그리고 차량 전후방 영상 정보를 획득하고(S1403), 학습된 DNN 모델을 기초로 객체가 인식되었는지(S1404), 객체가 이동성이 있는지(S1405), 객체를 구분할 수 있는지(S1406) 및 객체로 인한 사고 위험이 있는지(S1407) 판단할 수 있다.
그 결과 위험 객체로 판단되면, 구간별 위험 객체 출현 대상을 학습하고 모델을 저장 및 업데이트(S1408)할 수 있다. 학습된 DNN 모델을 기반으로 현재 주행 도로 정보를 획득하고(S1409), 혼잡 도로 또는 어린이 보호 구역인가를 판단하여(S1410), 운전자에게 혼잡 도로 또는 어린이 보호 구역 구간임을 안내할 수 있다(S1411).
또한, 구간별 위험 객체 출현 대상을 학습한 DNN 모델을 기반으로 위험 객체 다발 출현 정보를 획득하고(S1412), 현재 주행 중인 구간이 위험 객체 다발 출현 구간인지 판단하여(S1413), 운전자에게 위험 객체 출현 가능 지역임을 알리고(S1414), 출현 가능한 위험 객체를 알릴 수 있다(S1415).
도 15는 RGB LED 통한 알림을 나타내는 도면이다.
도 15를 참조하면, 전자 장치(100)는 운전자의 선택에 의해 위험도별 색상을 저장할 수 있다. 예를 들면, 위험도가 높으면 빨간색, 위험도가 중간이면 노란색, 위험도가 낮으면 초록색으로 저장할 수 있다. 프로세서(170)는 학습된 DNN 모델을 기반으로 위험도를 수치화하여 계산할 수 있다.
위험도는 식별된 오브젝트에 의해 자차가 사고가 발생할 확률로 정의할 수 있다. 위험도는 오브젝트의 종류, 속도, 위치, 자차와의 거리, 날씨, 도로 상태 등을 기준으로 학습된 DNN 모델을 통해 계산할 수 있다. 프로세서(170)는 오브젝트의 위험도를 수치화하여 인터페이스부(180)를 통해 운전자에게 표시할 수 있다.
프로세서(170)는 학습된 DNN 모델을 기반으로 위험 요소의 위험도를 계산하고, 차량 내 장착된 RGB LED(1501)를 통해 계산된 위험 요소의 위험도에 대응하는 위험도별 색상을 표시할 수 있다. 예를 들면, 위험도가 높으면 빨간색 불, 위험도가 중간이면 노란색 불, 위험도가 낮으면 초록색 불을 표시할 수 있다.
RGB LED를 통해, 운전자는 전방을 주시하면서도 직관적으로 위험을 감지할 수 있다.
도 16a 내지 도 16c는 위험 요소의 종류에 따른 아이콘을 증강 현실을 이용하여 표시하는 도면이다.
도 16a 내지 도 16c를 참조하면, 전자 장치(100)는 사용자 입력 신호에 의해 위험 요소의 종류에 따른 아이콘을 선택 및 저장하고, 디스플레이부를 통해 상기 아이콘을 표시할 수 있다. 프로세서(170)는 상기 아이콘을 통한 위험 요소의 종류를 표시하는 신호를 생성할 수 있다.
디스플레이는 HUD를 포함할 수 있고, 아이콘 표시는 증강 현실을 통해 표시할 수 있다. HUD와 증강 현실을 통해 위험 상황에 대한 자세한 안내가 가능할 수 있다.
도 16a의 아이콘은, 위험 요소 중 하나인 차량 전방 이미지에서 식별한 대형차, 예를 들면 트럭을 나타내는 제 1 아이콘(1601)일 수 있다. 운전자의 선택에 의해 위험 요소인 대형차에 따른 제 1 아이콘(1601)이 저장되고, 위험 요소가 위험 판단 기준을 만족하면, HUD에 증강 현실로 제 1 아이콘(1601)이 표시될 수 있다. 또한, 상기 위험 요소가 위치하는 차선(1611)은 높은 위험도의 빨간색으로 표시될 수 있다.
도 16b의 아이콘은, 위험 요소 중 하나인 차량 전방 이미지에서 식별한 주행 차선을 유지하며 주행하지 못하는 차량을 나타내는 제 2 아이콘(1602)일 수 있다. 운전자의 선택에 의해 위험 요소인 차선을 유지하지 못하는 차량에 따른 제 2 아이콘(1602)이 저장되고, 위험 요소가 위험 판단 기준을 만족하면, HUD에 증강 현실로 제 2 아이콘(1602)이 표시될 수 있다. 또한, 상기 위험 요소가 위치하는 차선(1621)과 그 옆 차선(1622)은 높은 위험도의 빨간색으로 표시될 수 있다.
도 16c의 아이콘은, 위험 요소 중 하나인 차량 후방 이미지에서 식별한 과속 차량을 나타내는 제 3 아이콘(1603)일 수 있다. 운전자의 선택에 의해 위험 요소인 과속 차량에 따른 제 3 아이콘(1603)이 저장되고, 위험 요소가 위험 판단 기준을 만족하면, HUD에 증강 현실로 제 3 아이콘(1603)이 표시될 수 있다. 또한, 상기 위험 요소가 위치하는 차선(1630)은 높은 위험도의 빨간색으로 표시될 수 있다.
도 17은 위험 요소를 피해 안전한 차선으로 이동하도록 가이드하는 모습을 나타내는 도면이다.
도 17을 참조하면, 전자 장치(100)는 검출된 위험 요소를 피해 안전한 차선으로의 이동 여부 또는 차량의 속도 변경 여부를 운전자에게 안내할 수 있다. 이경우, 디스플레이를 통한 문자로 표시하거나 스피커를 통한 음성으로 안내할 수 있다. 즉, 프로세서(170)는 대응 제어 방법을 표시하는 신호를 운전자에게 문자 또는 음성으로 표시하는 신호로 생성할 수 있다.
전자 장치(100)는 차량 전방 이미지에서 전방 차량(OB1701)이 위험 판단 기준을 만족하면, 전방 차량(OB1701)을 피해 안전한 옆 차선(OB1702)으로 이동하라는 대응 제어 방법을 증강 현실을 통해 표시(1703)할 수 있다. 또한, 해당 구간의 제한 속도도 함께 표시(1704)하여 운전자로 하여금 제한 속도를 지키면서 안전하게 차선 변경하도록 안내해 줄 수 있다.
대응 제어 방법은 하나 이상일 수 있다. 프로세서(170)는 사용자의 입력 신호에 의해 상기 하나 이상의 대응 제어 방법 중 어느 하나의 대응 제어 방법을 결정할 수 있고, 학습된 DNN 모델에 의해서 상기 하나 이상의 대응 제어 방법 중 가장 안전한 하나의 대응 제어 방법을 결정할 수 있다.
프로세서(170)는 사용자의 입력 신호에 의해 어느 하나의 대응 제어 방법이 결정되면, 상기 결정된 대응 제어 방법에 따라 조향 제어 장치, 제동 제어 장치 또는 가속 제어 장치 중 적어도 어느 하나의 장치를 제어하는 상기 대응 제어 신호를 생성할 수 있다.
예를 들면, 전자 장치(100)는 차선 변경의 제1 대응 제어 방법이 결정되면 조향 제어 장치를 제어하는 신호를 통해 차선을 변경하고, 전방 차량 추월의 제2 대응 제어 방법이 결정되면 조향 제어 장치 및 가속 제어 장치를 제어하는 신호를 통해 추월하고, 갓길 정차의 제3 대응 제어 방법이 결정되면 조향 제어 장치 및 제동 제어 장치를 제어하는 신호를 통해 갓길에 정차시킬 수 있다.
도 18은 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
자율 주행 차량(10)은 특정 정보 전송을 5G 네트워크로 전송한다(S1). 상기 특정 정보는, 자율 주행 관련 정보를 포함할 수 있다. 상기 자율 주행 관련 정보는, 차량(10)의 주행 제어와 직접적으로 관련된 정보일 수 있다.
예를 들어, 자율 주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
상기 자율 주행 관련 정보는 자율 주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 상기 서비스 정보는, 사용자 단말기를 통해 입력된 목적지와 차량(10)의 안정 등급에 관한 정보를 포함할 수 있다. 그리고, 상기 5G 네트워크는 차량(10)의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 상기 5G 네트워크는 자율 주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
그리고, 상기 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 상기 자율 주행 차량(10)으로 전송할 수 있다(S3).
전술한 바와 같이, 상기 원격 제어와 관련된 정보는 자율 주행 차량(10)에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율 주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시예에서는 자율 주행 차량(10)은, 상기 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율 주행과 관련된 서비스를 제공할 수 있다.
이하 도 19 내지 도 23에서는 본 발명의 일 실시예에 따라 자율 주행 과정에서 구간별 적용 가능한 보험 서비스를 제공하기 위하여, 자율 주행 차량(10)과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명한다.
도 19는 5G 통신 시스템에서 자율 주행 차량(10)과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
자율 주행 차량(10)은 5G 네트워크와 초기 접속(initial access) 절차를 수행한다(S20).
상기 초기 접속 절차는 하향 링크(Downlink, DL) 동작 획득을 위한 셀 서치(cell search), 시스템 정보(system information)를 획득하는 과정 등을 포함한다.
그리고, 상기 자율 주행 차량(10)은 상기 5G 네트워크와 임의 접속(random access) 절차를 수행한다(S21).
상기 임의 접속 과정은 상향 링크(Uplink, UL) 동기 획득 또는 UL 데이터 전송을 위해 프리엠블 전송, 임의 접속 응답 수신 과정 등을 포함한다.
그리고, 상기 5G 네트워크는 상기 자율 주행 차량(10)으로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송한다(S22).
상기 UL Grant 수신은 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원 스케줄링을 받는 과정을 포함한다.
그리고, 상기 자율 주행 차량(10)은 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다(S23).
그리고, 상기 5G 네트워크는 차량(10)의 원격 제어 여부를 결정한다(S24).
그리고, 자율 주행 차량(10)은 5G 네트워크로부터 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL grant를 수신한다(S25).
그리고, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 자율 주행 차량(10)으로 원격 제어와 관련된 정보(또는 신호)를 전송한다(S26).
한편, 도 19에서는 자율 주행 차량(10)과 5G 통신의 초기 접속 과정, 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 예를 S20 내지 S26의 과정을 통해 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, S20, S22, S23, S24, S26 과정을 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 S21, S22, S23, S24, S26 과정을 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한 S23, S24, S25, S26을 통해 AI 동작과 하향링크 그랜트 수신과정이 결합되는 과정을 수행할 수 있다.
또한, 도 19에서는 자율 주행 차량(10) 동작에 대하여 S20 내지 S26을 통해 예시적으로 설명한 것이며, 본 발명은 이에 한정되지 않는다.
예를 들어, 상기 자율 주행 차량(10) 동작은, S20, S21, S22, S25가 S23, S26과 선택적으로 결합되어 동작할 수 있다. 또한 예를 들어, 상기 자율 주행 차량(10) 동작은, S21, S22, S23, S26으로 구성될 수도 있다. 또한 예를 들어, 상기 자율 주행 차량(10) 동작은, S20, S21, S23, S26으로 구성될 수 있다. 또한, 예를 들어, 상기 자율 주행 차량(10) 동작은, S22, S23, S25, S26으로 구성될 수 있다.
도 20 내지 도 23은 5G 통신을 이용한 자율 주행 차량(10) 동작의 일 예를 나타낸다.
먼저 도 20을 참고하면, 자율 주행 모듈을 포함하는 자율 주행 차량(10)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(synchronization signal block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S30).
그리고, 상기 자율 주행 차량(10)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S31).
그리고, 상기 자율 주행 차량(10)은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S32).
그리고, 상기 자율 주행 차량(10)은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S33).
그리고, 상기 자율 주행 차량(10)은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S34).
그리고, 상기 자율 주행 차량(10)은 원격 제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S35).
S30에 빔 관리(beam management, BM) 과정이 추가될 수 있으며, S31에 PRACH(physical random access channel) 전송과 관련된 빔 실패 복구(beam failure recovery) 과정이 추가될 수 있으며, S32에 UL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계 추가될 수 있으며, S33에 특정 정보를 포함하는 PUCCH (physical uplink control channel)/PUSCH (physical uplink shared channel)의 빔 전송 방향과 관련하여 QCL 관계 추가가 추가될 수 있다. 또한, S34에 DL grant를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계 추가될 수 있다.
도 21를 참고하면, 자율 주행 차량(10)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S40).
그리고, 상기 자율 주행 차량(10)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S41).
그리고, 상기 자율 주행 차량(10)은 설정된 그랜트(configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(S42). 상기 5G 네트워크로부터 UL grant를 수행하는 과정 대신, 설정된 그랜드(configured grant)에 기초하여 전송할 수 있다.
그리고, 상기 자율 주행 차량(10)은 원격 제어와 관련된 정보(또는 신호를) 상기 설정된 그랜트에 기초하여 5G 네트워크로부터 수신한다(S43).
도 22를 참고하면, 자율 주행 차량(10)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S50).
그리고, 상기 자율 주행 차량(10)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S51).
그리고, 상기 자율 주행 차량(10)은 5G 네트워크로부터 DownlinkPreemption IE를 수신한다(S52).
그리고, 상기 자율 주행 차량(10)은 상기 DownlinkPreemption IE에 기초하여 프리엠션 지시를 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다(S53).
그리고, 상기 자율 주행 차량(10)은 pre-emption indication에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다(S54).
그리고, 상기 자율 주행 차량(10)은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S55).
그리고, 상기 자율 주행 차량(10)은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다(S56).
그리고, 상기 자율 주행 차량(10)은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S57).
그리고, 상기 자율 주행 차량(10)은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S58).
도 23을 참고하면, 자율 주행 차량(10)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(S60).
그리고, 상기 자율 주행 차량(10)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(S61).
그리고, 상기 자율 주행 차량(10)은 특정 정보를 전송하기 위해 5G 네트워크로 UL grant를 수신한다(S62).
상기 UL grant는 상기 특정 정보의 전송에 대한 반복 횟수에 대한 정보를 포함하고, 상기 특정 정보는 상기 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(S63).
그리고, 상기 자율 주행 차량(10)은 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다.
그리고, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
상기 특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(narrowband)을 통해 전송될 수 있다.
그리고, 상기 자율 주행 차량(10)은 특정 정보에 대한 응답을 수신하기 위한 DL grant를 5G 네트워크로부터 수신한다(S64).
그리고, 상기 자율 주행 차량(10)은 원격제어와 관련된 정보(또는 신호)를 DL grant에 기초하여 5G 네트워크로부터 수신한다(S65).
앞서 살핀 5G 통신 기술은 도 1 내지 도 17에서 전술할 본 명세서에서 제안하는 방법들과 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
본 명세서에서 기술되는 차량(10)은 통신망을 통해 외부 서버에 연결되고, 자율 주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능하다. 본 발명의 차량(10)은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등으로 구현될 수 있다.
이하의 실시 예에서, 사용자는 운전자, 탑승자 또는 사용자 단말기의 소유자로 해석될 수 있다. 사용자 단말기는 사용자가 휴대 가능하고 전화 통화와 다양한 어플리케이션(application)을 실행할 수 있는 이동 단말기 예를 들어, 스마트 폰일 수 있으나 이에 한정되지 않는다. 예를 들어, 사용자 단말기는 이동 단말기, PC(Personal computer), 노트북 컴퓨터 또는 자율 주행 차량 시스템으로 해석될 수 있다.
자율주행 차량(10)에서는 주변 위험 요소들을 실시간 센싱하는 능력에 따라 사고 발생 유형 및 빈도가 크게 달라질 수 있다. 목적지까지의 경로는 날씨, 지형 특성, 교통 혼잡도 등 다양한 원인에 의해 위험 수준이 서로 다른 구간들을 포함할 수 있다. 본 발명은 사용자의 목적지 입력시 구간별로 필요한 보험을 안내하고 실시간으로 위험구간 모니터링을 통해 보험 안내를 업데이트 한다.
본 발명의 자율 주행 차량(10), 사용자 단말기 및 서버 중 하나 이상이 인공 지능(Artificial Inteligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR), 5G 서비스와 관련된 장치 등과 연계 혹은 융복합될 수 있다.
예를 들어, 자율 주행 차량(10)은 차량(10)에 포함된 적어도 하나의 인공지능 모듈, 로봇과 연계되어 동작할 수 있다.
예를 들어, 차량(10)은, 적어도 하나의 로봇(robot)과 상호 작용할 수 있다. 로봇은, 자력으로 주행이 가능한 이동 로봇(Autonomous Mobile Robot, AMR)일 수 있다. 이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행 중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다. 이동 로봇은, 비행 장치를 구비하는 비행형 로봇(예를 들면, 드론)일 수 있다. 이동 로봇은, 적어도 하나의 바퀴를 구비하고, 바퀴의 회전을 통해 이동되는 바퀴형 로봇일 수 있다. 이동 로봇은, 적어도 하나의 다리를 구비하고, 다리를 이용해 이동되는 다리식 로봇일 수 있다.
로봇은 차량 사용자의 편의를 보완하는 장치로 기능할 수 있다. 예를 들면, 로봇은, 차량(10)에 적재된 짐을 사용자의 최종 목적지까지 이동하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(10)에서 하차한 사용자에게 최종 목적지까지 길을 안내하는 기능을 수행할 수 있다. 예를 들면, 로봇은, 차량(10)에서 하차한 사용자를 최종 목적지까지 수송하는 기능을 수행할 수 있다.
차량(10)에 포함되는 적어도 하나의 전자 장치는, 통신 장치(220)를 통해, 로봇과 통신을 수행할 수 있다.
차량(10)에 포함되는 적어도 하나의 전자 장치는, 로봇에 차량(10)에 포함되는 적어도 하나의 전자 장치에서 처리한 데이터를 제공할 수 있다. 예를 들면, 차량(10)에 포함되는 적어도 하나의 전자 장치는, 차량(10) 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량(10) 상태 데이터, 차량(10) 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 적어도 어느 하나를 로봇에 제공할 수 있다.
차량(10)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터, 로봇에서 처리된 데이터를 수신할 수 있다. 차량(10)에 포함되는 적어도 하나의 전자 장치는, 로봇에서 생성된 센싱 데이터, 오브젝트 데이터, 로봇 상태 데이터, 로봇 위치 데이터 및 로봇의 이동 플랜 데이터 중 적어도 어느 하나를 수신할 수 있다.
차량(10)에 포함되는 적어도 하나의 전자 장치는, 로봇으로부터 수신된 데이터에 더 기초하여, 제어 신호를 생성할 수 있다. 예를 들면, 차량(10)에 포함되는 적어도 하나의 전자 장치는, 오브젝트 검출 장치에 생성된 오브젝트에 대한 정보와 로봇에 의해 생성된 오브젝트에 대한 정보를 비교하고, 비교 결과에 기초하여, 제어 신호를 생성할 수 있다. 차량(10)에 포함되는 적어도 하나의 전자 장치는, 차량(10)의 이동 경로와 로봇의 이동 경로간의 간섭이 발생되지 않도록, 제어 신호를 생성할 수 있다.
차량(10)에 포함되는 적어도 하나의 전자 장치는, 인공 지능(artificial intelligence, AI)를 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다. 차량(10)에 포함되는 적어도 하나의 전자 장치는, 획득되는 데이터를 인공 지능 모듈에 입력(input)하고, 인공 지능 모듈에서 출력(output)되는 데이터를 이용할 수 있다.
인공 지능 모듈은, 적어도 하나의 인공 신경망(artificial neural network, ANN)을 이용하여, 입력되는 데이터에 대한 기계 학습(machine learning)을 수행할 수 있다. 인공 지능 모듈은, 입력되는 데이터에 대한 기계 학습을 통해, 드라이빙 플랜 데이터를 출력할 수 있다.
차량(10)에 포함되는 적어도 하나의 전자 장치는, 인공 지능 모듈에서 출력되는 데이터에 기초하여, 제어 신호를 생성할 수 있다.
실시예에 따라, 차량(10)에 포함되는 적어도 하나의 전자 장치는, 통신 장치(220)를 통해, 외부 장치로부터, 인공 지능에 의해 처리된 데이터를 수신할 수 있다. 차량(10)에 포함되는 적어도 하나의 전자 장치는, 인공 지능에 의해 처리된 데이터에 기초하여, 제어 신호를 생성할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 차량 외부의 영상을 포함하는 센서 데이터를 수신하고,
    제1 학습 모델을 통해 상기 센서 데이터로부터 위험 요소를 식별하고,
    제2 학습 모델을 통해 상기 위험 요소에 따른 위험 판단 기준을 학습하고,
    상기 위험 요소가 상기 위험 판단 기준을 만족하면,
    사용자에게 상기 위험 요소의 존재를 경고하는 경고 신호를 생성하는 프로세서;를 포함하는 차량용 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    제3 학습 모델을 통해 상기 위험 요소에 따른 하나 이상의 대응 제어 방법을 생성하고,
    상기 하나 이상의 대응 제어 방법 중 사용자 입력 신호에 따른 대응 제어 방법을 학습하는, 차량용 전자 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 사용자 입력 신호에 따른 대응 제어 방법에 따라 제동 제어 장치, 조향 제어 장치, 가속 제어 장치 중 적어도 어느 하나의 차량 구동 장치를 제어하는 대응 제어 신호를 생성하는, 차량용 전자 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 대응 제어 신호에 따라 변경된 상기 차량의 위치 정보, 속도 정보 및 차량 상태 정보에 기초하여, 상기 사용자 입력 신호에 따른 대응 제어 방법의 안전도를 계산하는, 차량용 전자 장치.
  5. 제 4 항에 있어서
    상기 프로세서는,
    자율주행 모드에서,
    상기 제3 학습 모델을 통해 학습한 상기 하나 이상의 대응 제어 방법 중 상기 안전도가 가장 높은 상기 대응 제어 방법을 선택하고,
    상기 안전도가 가장 높은 상기 대응 제어 방법에 따라 상기 차량 구동 장치를 제어하는, 차량용 전자 장치.
  6. 제 5 항에 있어서,
    상기 제1 학습 모델, 상기 제2 학습 모델 및 상기 제3 학습 모델은,
    위치 및 시간 정보의 학습이 가능한 심층 신경망(DNN: Deep Neural Network) 모델을 포함하는, 차량용 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 식별한 상기 위험 요소가,
    상기 제2 학습 모델을 통해 학습한 상기 위험 판단 기준을 만족하면,
    상기 위험 요소의 종류에 따라 저장된 아이콘 및 상기 제3 학습 모델을 통해 학습한 상기 안전도가 가장 높은 상기 대응 제어 방법을,
    HUD(Head Up Display)에 증강 현실을 통해 표시하는 신호를 생성하는, 차량용 전자 장치.
  8. 제 7 항에 있어서,
    상기 프로세서는,
    상기 경고 신호를 생성하는 경우,
    V2V 통신(Vehicle to Vehicle communication)을 이용해 하나 이상의 주변 차량에게 상기 위험 요소에 대한 정보를 송신하는, 차량용 전자 장치.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 상기 차량 외부의 영상으로부터 차량의 종류를 포함하는 오브젝트의 종류 및 차선의 종류를 식별하고,
    상기 제2 학습 모델을 통해 상기 오브젝트의 종류 및 상기 차선의 종류를 파라미터로 하여 상기 파라미터에 따른 위험도를 학습하는, 차량용 전자 장치.
  10. 제 9 항에 있어서
    상기 프로세서는,
    상기 위험도를 수치화하여 계산하고,
    상기 수치화된 위험도가 설정 값 이상이면,
    상기 오브젝트의 종류와 상기 수치화된 위험도를 표시하는 상기 경고 신호 및,
    상기 위험도에 따라 저장된 색상을 차량 내 장착된 RGB LED를 통해 표시하는 상기 경고 신호를 생성하는, 차량용 전자 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 상기 차량의 후방 영상으로부터 방향 지시등 동작 없이 차선을 변경하는 차량 또는 차선을 유지하지 못하고 주행하는 차량을 식별하고,
    카메라를 통해 후방 운전자 영상을 획득하고,
    상기 제2 학습 모델을 통해 상기 후방 운전자 영상으로부터 상기 후방 운전자의 상태를 학습하고,
    상기 후방 운전자의 상태는 눈 깜빡임 속도 또는 시선 방향을 포함하는, 차량용 전자 장치.
  12. 제 11 항에 있어서
    상기 프로세서는,
    상기 후방 운전자의 눈 깜빡임 속도가 설정 값 이하이면 졸음 운전 상태로 판단하고,
    상기 후방 운전자의 시선 방향이 정면을 향하지 않는다면 전방 주시 태만 상태로 판단하고,
    상기 졸음 운전 상태 또는 상기 전방 주시 태만 상태를 표시하는 상기 경고 신호를 생성하는, 차량용 전자 장치.
  13. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 파손된 노면 및 차선의 종류를 식별하고,
    상기 제2 학습 모델을 통해 도로 주행 중 차량의 흔들림 정도를 학습하는, 차량용 전자 장치.
  14. 제 13 항에 있어서
    상기 프로세서는,
    상기 차량의 흔들림 정도가 설정 값 이상이면,
    상기 차량의 전방 영상을 위치 정보와 함께 저장하고,
    상기 차량이 상기 위치 정보에 기 설정된 거리 이하로 진입하면 제1 경고 신호를 생성하고,
    상기 차량의 전방 영상에 상기 파손된 노면이 식별되면 제2 경고 신호를 생성하는, 차량용 전자 장치.
  15. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 화물 차량의 종류 또는 상기 화물 차량에 적재된 화물의 대칭 정도 중 적어도 하나를 식별하고,
    상기 제2 학습 모델을 통해 상기 화물 차량의 종류에 따른 높이 정보 또는 상기 화물 차량에 적재된 화물의 대칭 정도에 따른 흔들림 정도를 학습하는, 차량용 전자 장치.
  16. 제 15 항에 있어서
    상기 프로세서는,
    상기 높이 정보가 상기 화물 차량의 종류에 따라 설정된 값 이상이거나,
    상기 흔들림 정도가 설정 값 이상이면,
    상기 높이 정보 및 상기 흔들림 정도에 따른 화물의 낙하 범위인 위험 반경을 계산하고,
    상기 화물 차량 및 상기 위험 반경을 표시하는 상기 경고 신호를 생성하는, 차량용 전자 장치.
  17. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 상기 차량의 전방 영상으로부터 감속하는 전방 차량을 식별하고,
    상기 제2 학습 모델을 통해 상기 전방 차량의 감속에 따른 브레이크등의 동작 여부를 학습하는, 차량용 전자 장치.
  18. 제 17 항에 있어서
    상기 프로세서는,
    상기 전방 차량이 감속하는데 상기 브레이크등이 동작하지 않는다고 판단하면,
    상기 전방 차량이 감속하는 동안 상기 전방 차량의 브레이크등에 AR을 통해 불이 켜진 것으로 표시하고,
    상기 브레이크등의 결함의 발생을 안내하는 상기 경고 신호를 생성하는, 차량용 전자 장치.
  19. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 방향 지시등 동작 없이 차선을 변경하는 차량, 급정거하는 차량, 과속 차량 및 안전거리 미확보 차량 중 적어도 어느 하나의 차량을 식별하고,
    상기 제2 학습 모델을 통해 상기 식별된 차량의 주행 패턴을 학습하고,
    상기 식별된 차량이 난폭 운전 차량으로 판단되면,
    상기 난폭 운전 차량의 존재 및 위치를 표시하는 상기 경고 신호를 생성하는, 차량용 전자 장치.
  20. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제1 학습 모델을 통해 이동 오브젝트를 식별하고,
    상기 제2 학습 모델을 통해 시간 및 구간 정보에 따른 상기 이동 오브젝트의 출현 빈도를 학습하고,
    상기 이동 오브젝트의 출현 빈도가 설정 값 이상이면,
    상기 시간 및 구간 정보와 출현 가능한 상기 이동 오브젝트를 표시하는 상기 경고 신호를 생성하는, 차량용 전자 장치.
PCT/KR2019/010739 2019-08-23 2019-08-23 차량용 전자 장치 및 그의 동작 방법 WO2021040060A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/259,258 US20220348217A1 (en) 2019-08-23 2019-08-23 Electronic apparatus for vehicles and operation method thereof
PCT/KR2019/010739 WO2021040060A1 (ko) 2019-08-23 2019-08-23 차량용 전자 장치 및 그의 동작 방법
KR1020190130392A KR20190126258A (ko) 2019-08-23 2019-10-21 차량용 전자 장치 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/010739 WO2021040060A1 (ko) 2019-08-23 2019-08-23 차량용 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2021040060A1 true WO2021040060A1 (ko) 2021-03-04

Family

ID=68535918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010739 WO2021040060A1 (ko) 2019-08-23 2019-08-23 차량용 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20220348217A1 (ko)
KR (1) KR20190126258A (ko)
WO (1) WO2021040060A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113479197A (zh) * 2021-06-30 2021-10-08 银隆新能源股份有限公司 车辆的控制方法及其装置、计算机可读存储介质
US20230373476A1 (en) * 2022-05-19 2023-11-23 Hyundai Motor Company Vehicle for predicting collision and operating method thereof
EP4389550A4 (en) * 2021-10-20 2025-01-22 Samsung Electronics Co., Ltd. VEHICLE-MOUNTED ELECTRONIC DEVICE AND OPERATING METHOD THEREOF

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7207434B2 (ja) * 2018-12-27 2023-01-18 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
DE102019006685B4 (de) * 2019-09-24 2021-07-08 Daimler Ag Verfahren zum Betreiben eines Fahrzeuges
US11738804B2 (en) * 2020-02-07 2023-08-29 Micron Technology, Inc. Training a vehicle to accommodate a driver
CN111611904B (zh) * 2020-05-15 2023-12-01 新石器慧通（北京）科技有限公司 基于无人车行驶过程中的动态目标识别方法
CN112052776B (zh) * 2020-09-01 2021-09-10 中国人民解放军国防科技大学 无人车自主驾驶行为优化方法、装置和计算机设备
KR20220040884A (ko) * 2020-09-24 2022-03-31 삼성전자주식회사 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
CN115200697A (zh) * 2021-03-25 2022-10-18 九号智能(常州)科技有限公司 震动行为识别方法、装置、电动车、电子设备及存储介质
CN113071497B (zh) * 2021-04-28 2022-05-24 中国第一汽车股份有限公司 一种驾驶场景判断方法、装置、设备及存储介质
CN114715038A (zh) * 2022-03-16 2022-07-08 深圳市德驰微视技术有限公司 基于域控制器的盲区监测图像后处理方法及系统
US11697346B1 (en) * 2022-03-29 2023-07-11 GM Global Technology Operations LLC Lane position in augmented reality head-up display system
CN114454889B (zh) * 2022-04-14 2022-06-28 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
CN115027481B (zh) * 2022-05-20 2024-09-27 上汽通用五菱汽车股份有限公司 行驶路况检测方法、装置、电子设备及可读存储介质
US12145625B2 (en) * 2022-05-27 2024-11-19 GM Global Technology Operations LLC System and method for detection and reporting of data signal interference through vehicle crowd sourcing
CN116227849B (zh) * 2023-01-18 2023-09-15 北京图安世纪科技股份有限公司 一种用于企业危险作业的规范化管理及预警系统
US20250037602A1 (en) * 2023-07-26 2025-01-30 Toyota Research Institute, Inc. Providing a virtual chasing car via one or more display units

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016037A (ja) * 2011-07-04 2013-01-24 Toyota Central R&D Labs Inc 走行場面認識モデル生成装置、運転支援装置、及びプログラム
KR20180125858A (ko) * 2017-05-16 2018-11-26 삼성전자주식회사 차량의 동작을 제어하는 전자 장치 및 방법
KR20190052417A (ko) * 2017-11-08 2019-05-16 한국전자통신연구원 기계 학습 모델을 이용한 차량의 자동 제동 방법 및 이를 위한 장치
KR20190058520A (ko) * 2016-09-20 2019-05-29 2236008 온타리오 인크. 자율 주행 차량 제어 시스템을 위한 위치에 따른 지원
US20190180144A1 (en) * 2017-12-07 2019-06-13 Imra Europe S.A.S. Danger ranking using end to end deep neural network

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699230B2 (ja) * 2016-02-25 2020-05-27 住友電気工業株式会社 道路異常警告システム及び車載機
KR102436962B1 (ko) * 2017-09-19 2022-08-29 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법
US10423844B2 (en) * 2017-09-27 2019-09-24 Toyota Jidosha Kabushiki Kaisha Personalized augmented reality vehicular assistance for color blindness condition
US11420636B2 (en) * 2018-09-13 2022-08-23 Sony Semiconductor Solutions Corporation Information processing device, moving apparatus, method, and program
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11440471B2 (en) * 2019-03-21 2022-09-13 Baidu Usa Llc Automated warning system to detect a front vehicle slips backwards

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016037A (ja) * 2011-07-04 2013-01-24 Toyota Central R&D Labs Inc 走行場面認識モデル生成装置、運転支援装置、及びプログラム
KR20190058520A (ko) * 2016-09-20 2019-05-29 2236008 온타리오 인크. 자율 주행 차량 제어 시스템을 위한 위치에 따른 지원
KR20180125858A (ko) * 2017-05-16 2018-11-26 삼성전자주식회사 차량의 동작을 제어하는 전자 장치 및 방법
KR20190052417A (ko) * 2017-11-08 2019-05-16 한국전자통신연구원 기계 학습 모델을 이용한 차량의 자동 제동 방법 및 이를 위한 장치
US20190180144A1 (en) * 2017-12-07 2019-06-13 Imra Europe S.A.S. Danger ranking using end to end deep neural network

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113479197A (zh) * 2021-06-30 2021-10-08 银隆新能源股份有限公司 车辆的控制方法及其装置、计算机可读存储介质
EP4389550A4 (en) * 2021-10-20 2025-01-22 Samsung Electronics Co., Ltd. VEHICLE-MOUNTED ELECTRONIC DEVICE AND OPERATING METHOD THEREOF
US20230373476A1 (en) * 2022-05-19 2023-11-23 Hyundai Motor Company Vehicle for predicting collision and operating method thereof

Also Published As

Publication number Publication date
KR20190126258A (ko) 2019-11-11
US20220348217A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
WO2021040060A1 (ko) 차량용 전자 장치 및 그의 동작 방법
WO2020226258A1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
WO2021141142A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017209313A1 (ko) 차량용 디스플레이 장치 및 차량
WO2017022881A1 (ko) 차량 및 그 제어방법
WO2017094952A1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2021182655A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021045256A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020080566A1 (ko) 전자 제어 장치 및 통신 장치
WO2020213772A1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
WO2020145442A1 (ko) 자율 주행 차량의 제어 권한 이양 장치 및 방법
WO2020159245A1 (ko) 차량 간 영상 공유 방법
WO2020017677A1 (ko) 영상 출력 장치
WO2020235714A1 (ko) 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법
WO2021141143A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021091039A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2021040057A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020226192A1 (ko) 자율 주행 차량을 위한 보험 안내 시스템 및 방법
WO2021010507A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19943665

Country of ref document: EP

Kind code of ref document: A1