[go: up one dir, main page]

CN113519020B - 驾驶辅助装置及驾驶辅助方法 - Google Patents

驾驶辅助装置及驾驶辅助方法 Download PDF

Info

Publication number
CN113519020B
CN113519020B CN201980093310.3A CN201980093310A CN113519020B CN 113519020 B CN113519020 B CN 113519020B CN 201980093310 A CN201980093310 A CN 201980093310A CN 113519020 B CN113519020 B CN 113519020B
Authority
CN
China
Prior art keywords
reliability
unit
result
output
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980093310.3A
Other languages
English (en)
Other versions
CN113519020A (zh
Inventor
森善彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN113519020A publication Critical patent/CN113519020A/zh
Application granted granted Critical
Publication of CN113519020B publication Critical patent/CN113519020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • B60W50/045Monitoring control system parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • B60W2050/041Built in Test Equipment [BITE]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明的驾驶辅助装置中,传感器获取部(11)获取搭载在车辆(1)上的传感器(2)的输出结果。运算部(14)使用机器学习算法来运算用于控制车辆(1)的推理结果,该机器学习算法将传感器获取部(11)获取的传感器(2)的输出结果作为输入。可靠度推定部(12)求出由传感器获取部(11)获取到的输出结果与用于机器学习算法的学习的教师数据之间的相似度,并且基于相似度推定由运算部(14)运算出的推理结果的可靠度。控制输出部(15)将由可靠度推定部(12)推定出的可靠度附加到由运算部(14)运算出的推理结果,并作为车辆控制信息进行输出。

Description

驾驶辅助装置及驾驶辅助方法
技术领域
本发明涉及一种车辆的驾驶辅助装置和驾驶辅助方法。
背景技术
以往的驾驶辅助装置中,对从搭载在车辆上的传感器获取到的信息与用于控制车辆的辅助信息之间的对应关系进行机器学习。以往这样的驾驶辅助装置基于传感器的可靠性来评价辅助信息的可靠度(例如,参照专利文献1)。
现有技术文献
专利文献
专利文献1:
日本专利特开2015-82324号公报
发明内容
发明所要解决的技术问题
在以往的驾驶辅助装置中,机器学习算法所进行的运算是黑盒(blackbox)运算,并且以机器学习算法所输出的辅助信息具有统一的可靠度为前提。由此,由于以往的驾驶辅助装置没有评价由机器学习算法输出的辅助信息的可靠度,因此存在车辆有可能基于低可靠度的辅助信息作出非预期的行为的问题。
本发明是为了解决上述问题而完成的,其目的在于抑制因机器学习而导致车辆作出非预期行为的发生。
用于解决技术问题的技术手段
本发明的驾驶辅助装置包括:传感器获取部,该传感器获取部用于获取搭载在车辆上的传感器的输出结果;运算部,该运算部使用机器学习算法来运算用于控制车辆的推理结果,该机器学习算法将由传感器获取部获取到的输出结果作为输入;可靠度推定部,该可靠度推定部推定由运算部运算出的推理结果的可靠度;以及控制输出部,该控制输出部将由可靠度推定部推定出的可靠度附加到由运算部运算出的推理结果,并作为车辆控制信息输出。
发明效果
根据该发明,对使用以传感器获取部的输出结果为输入的机器学习算法运算出的推理结果的可靠度进行推定,因此能抑制由于机器学习而导致的车辆非预期行为的发生。
附图说明
图1是示出实施方式1所涉及的驾驶辅助装置的结构例的框图。
图2是示出实施方式1所涉及的驾驶辅助装置的动作例的流程图。
图3是示出实施方式2所涉及的驾驶辅助装置的结构例的框图。
图4是表示实施方式2中运算部所具有的多层神经网络的结构例的图。
图5是示出实施方式2所涉及的驾驶辅助装置的动作例的流程图。
图6是表示实施形态2中推理结果的分布例的相对频率分布图。
图7是示出实施方式3所涉及的驾驶辅助装置的结构例的框图。
图8是示出实施方式3所涉及的驾驶辅助装置的动作例的流程图。
图9是示出实施方式4所涉及的驾驶辅助装置的结构例的框图。
图10是示出实施方式4所涉及的驾驶辅助装置的动作例的流程图。
图11是示出各实施方式所涉及的驾驶辅助装置的硬件结构的一个示例的图。
图12是示出各实施方式所涉及的驾驶辅助装置的硬件结构的另一个示例的图。
具体实施方式
下面,为了更详细地说明本发明,根据附图对用于实施本发明的方式进行说明。
实施方式1.
图1是表示实施方式1所涉及的驾驶辅助装置10的结构例的框图。传感器2、车辆控制部3以及驾驶辅助装置10安装在车辆1上。驾驶辅助装置10包括传感器获取部11、可靠度推定部12、教师数据存储部13、运算部14和控制输出部15。传感器2和车辆控制部3连接到该驾驶辅助装置10。
传感器2用于检测车辆1的周围环境。该传感器2例如是用于拍摄车辆1的周围的摄像头、或用于检测存在于车辆1的周围的物体的毫米波雷达。另外,传感器2不限于一个传感器或一种传感器,也可以由多个传感器或多种传感器构成。
图2是示出实施方式1所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图2的流程图所示的动作,并重复动作直到点火开关断开为止。
在步骤ST11中,传感器获取部11获取由传感器2检测到的信息,并且通过整合获取到的信息来生成表示车辆1的周围环境的周围环境信息。传感器获取部11将周围环境信息输出到可靠度推定部12和运算部14。周围环境信息是能够识别存在于车辆1周围的其他车辆或行人等的状态、车辆1周围的地形等、障碍物等的信息。此外,周围环境信息可以是由传感器2输出的原始数据,也可以是通过执行某种处理而进行抽象化的信息。抽象化的信息例如是在与车辆1的周围空间相对应的坐标系中绘制周围物体等的图表。
在步骤ST12中,运算部14使用以来自传感器获取部11的周围环境信息作为输入的机器学习算法来运算用于控制车辆1的推理结果。机器学习算法例如是神经网络或多层神经网络(深度学习)。推理结果例如是制动器或加速器的踏入量或方向盘的转向角。运算部14将运算出的推理结果输出到控制输出部15。
在步骤ST13中,可靠度推定部12将来自传感器获取部11的周围环境信息与存储在教师数据存储部13中的教师数据进行比较,以获得两者之间的相似度。教师数据存储部13中存储运算部14所具有的机器学习算法进行学习时所使用的教师数据。
例如,可靠度推定部12通过对教师数据实施统计处理来计算教师数据的特征量。同样地,可靠度推定部12通过对周围环境信息也实施统计处理来计算周围环境信息的特征量。然后,可靠度推定部12计算教师数据的特征量和周围环境信息的特征量之间的相关值,并将相关值设为相似度。用于计算特征量的统计处理例如是用于计算平均值的处理或通过自动编码(Auto Encoder)的维度压缩处理。教师数据存储部13可以存储教师数据的特征量来代替教师数据。
在步骤ST14中,可靠度推定部12基于教师数据与周围环境信息之间的相似度,推定由运算部14使用该周围环境信息运算出的推理结果的可靠度。可靠度推定部12将推定的可靠度输出到控制输出部15。
相似度越高,可靠度推定部12推定出的推理结果的可靠度越高。例如,可靠度推定部12通过相似度和预定的阈值之间的比较判定来推定离散型的可靠度(例如,从级别1到级别5的可靠度)。或者,可靠度推定部12可以通过对相似度实施多项式变形处理来推定连续型的可靠度(例如,从0%到100%的可靠度)。
在步骤ST15中,控制输出部15将来自可靠度推定部12的可靠度附加到来自运算部14的推理结果,从而生成车辆控制信息。控制输出部15向车辆控制部3输出车辆控制信息。
车辆控制部3使用包括在来自控制输出部15的车辆控制信息中的推理结果来控制车辆1的动作。此外,车辆控制部3根据附加到推理结果的可靠度来改变控制内容。例如,当可靠度为预定的阈值以上时,车辆控制部3通过使用附加了该可靠度的推理结果来控制车辆1的动作,当可靠度小于上述预定的阈值时,废弃附加了该可靠度的推理结果,而不进行动作控制。
如上所述,实施方式1的驾驶辅助装置10具备传感器获取部11、运算部14、可靠度推定部12和控制输出部15。传感器获取部11获取搭载在车辆1上的传感器2的输出结果。运算部14使用机器学习算法来运算用于控制车辆1的推理结果,该机器学习算法以传感器获取部11获取的传感器2的输出结果作为输入。可靠度推定部12求出由传感器获取部11获取到的输出结果与用于机器学习算法的学习的教师数据之间的相似度,并且基于相似度推定由运算部14运算出的推理结果的可靠度。控制输出部15将由可靠度推定部12推定出的可靠度附加到由运算部14运算出的推理结果,并作为车辆控制信息进行输出。通过该结构,驾驶辅助装置10能够推定机器学习算法的推理结果的可靠度。因此,当机器学习算法的推理结果的可靠度由于不成熟的学习等原因而较低时,驾驶辅助装置10能够抑制车辆1非预期行为的发生。
另外,根据实施方式1,可靠度推定部12也可以是求出由传感器获取部11获取的传感器2的输出结果的特征量与教师数据的特征量之间的相似度的结构。通过该结构,能够减小用于存储教师数据的教师数据存储部13的容量。
实施方式2.
在实施方式1中,基于作为传感器2的输出结果的周围环境信息与用于机器学习算法的学习的教师数据之间的相似度来推定推理结果的可靠度,但是在实施方式2中,基于预先试用机器学习算法时的试用结果来推定推理结果的可靠度。
图3是表示实施方式2所涉及的驾驶辅助装置10的结构例的框图。实施方式2的驾驶辅助装置10构成为具有可靠度推定部12a和试用结果存储部21,以代替图1所示的实施方式1的驾驶辅助装置10中的可靠度推定部12和教师数据存储部13。对于图3中与图1相同或相当的部分,标注相同的标号并省略说明。
试用结果存储部21存储运算部14所具有的机器学习算法在试用时的试用结果。试用结果例如是在运算部14中设定机器学习算法之前进行试用时,构成该机器学习算法的神经网络中从输入到输出的各个路径的使用次数。
图4是表示实施方式2中运算部14所具有的多层神经网络的结构例的图。在图4中,机器学习算法是3层的多层神经网络。另外,假设输入层由包括节点N0的三个节点构成,中间层由包括节点N1的四个节点构成,输出层由包括节点N2的两个节点构成。周围环境信息X0、X1、X2被输入到多层神经网络的输入层的各个节点。此外,从多层神经网络的输出层的各个节点输出推理结果Y0、Y1。
当进行图4所示的多层神经网络的学习时,优化连接节点间的链路(例如连接节点N0和节点N1的链路L0)的权重,使得当输入作为教师数据的周围环境信息X0、X1、X2时,输出作为教师数据的推理结果Y0、Y1。此外,在试用学习后的多层神经网络时,收集该多层神经网络中从输入到输出的各个路径被使用的使用次数,并将该路径和使用次数相关联的试用结果存储在试用结果存储部21中。从输入到输出的路径例如是节点N0、链路L0、节点N1、链路L1再到节点N2的路径。这里,使用是指路径上一定数量以上的节点的输出的绝对值为规定的阈值以上。例如,当路径上的所有节点数量为“10”、一定数量为“8”、阈值为“0.6”时,输出为0.6以上的节点有8个以上的路径被计为“已使用”。
图5是示出实施方式2所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图5的流程图所示的动作,并重复该动作直到点火开关断开为止。
图5的步骤ST11中的动作与图2的步骤ST11中的动作相同。
在步骤ST12中,与实施方式1相同,运算部14使用以来自传感器获取部11的周围环境信息作为输入的机器学习算法来运算用于控制车辆1的推理结果。
另外,在实施方式2中,运算部14将表示在构成机器学习算法的神经网络中对推理结果进行运算时使用的从输入到输出的路径的运算过程信息输出到可靠度推定部12a。例如,当运算部14在运算推理结果Y0时,使用图4的节点N0、链路L0、节点N1、链路L1再到节点N2为止的路径的情况下,链路L0和链路L1的权重影响推理结果Y0。因此,运算部14将该路径作为运算过程信息输出到可靠度推定部12a。
在步骤ST21中,可靠度推定部12a从试用结果存储部21中存储的各个路径的使用次数中,选择与基于来自运算部14的运算过程信息的从输入到输出的路径一致的路径的使用次数。可靠度推定部12a基于从试用结果存储部21选择出的使用次数来推定由运算部14运算出的推理结果的可靠度。
使用次数越多,可靠度推定部12推定出的推理结果的可靠度越高。例如,可靠度推定部12a通过使用次数和预定的阈值之间的比较判定来推定离散型的可靠度(例如,从级别1到级别5的可靠度)。或者,可靠度推定部12可以对使用次数实施多项式变形处理来推定连续型的可靠度(例如,从0%到100%的可靠度)。
图5的步骤ST15中的动作与图2的步骤ST15中的动作相同。
如上所述,实施方式2的可靠度推定部12a使用表示机器学习算法在试用时构成该机器学习算法的神经网络中从输入到输出的各路径的使用次数的信息,基于与运算部14对推理结果进行运算时使用的神经网络中从输入到输出的路径对应的使用次数,来推定推理结果的可靠度。通过该结构,驾驶辅助装置10能够推定机器学习算法的运算过程的可靠度。因此,当机器学习算法的推理结果的可靠度由于不成熟的学习等原因而较低时,驾驶辅助装置10能够抑制车辆1非预期行为的发生。
另外,在上述例子中,可靠度推定部12a利用神经网络中从输入到输出的路径的使用次数来推定推理结果的可靠度,但不限于该推定方法。可靠度推定部12a例如可以将预定推理结果的分布与由运算部14运算出的推理结果的分布进行比较,并且基于两者的一致比例来推定由运算部14运算出的推理结果的可靠度。预定的推理结果的分布例如是基于在试用机器学习算法时输出的多个推理结果的相对频率分布,并且存储在试用结果存储部21中。
图6是表示实施方式2中的推理结果的分布例的相对频率分布图。在图6的图表中,横轴是推理结果Y0的值,纵轴是推理结果Y0的各个值的相对频率。此外,黑色条形表示预定的推理结果的相对频率分布,白色条形表示由运算部14在最近的规定期间内运算出的推理结果的相对频率分布。相对频率分布的一致比例越高,可靠度推定部12推定的推理结果的可靠度越高。例如,可靠度推定部12a通过一致比例和预定的阈值之间的比较判定来推定离散型的可靠度(例如,从级别1到级别5的可靠度)。或者,可靠度推定部12a可以对一致比例实施多项式变形处理来推定连续型的可靠度(例如,从0%到100%的可靠度)。
实施方式3.
在实施方式3中,基于周围环境信息的复杂度,校正作为传感器2的输出结果的周围环境信息与机器学习算法进行学习所用的教师数据之间的相似度。
图7是表示实施方式3所涉及的驾驶辅助装置10的结构例的框图。实施方式3的驾驶辅助装置10构成为具有可靠度推定部12b来代替图1所示的实施方式1的驾驶辅助装置10中的可靠度推定部12。对于图7中与图1相同或相当的部分,标注相同的标号并省略说明。
图8是示出实施方式3所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图8的流程图所示的动作,并重复该动作直到点火开关断开为止。
图8的步骤ST11、ST12、ST13中的动作与图2的步骤ST11、ST12、ST13中的动作相同。
在步骤ST31中,可靠度推定部12b计算来自传感器获取部11的周围环境信息的复杂度。
例如,可靠度推定部12b可以基于传感器获取部11从传感器2获取到的信息的熵(例如,拍摄图像的白噪声)来计算复杂度,也可以基于传感器获取部11识别出的车辆1的周围物体数量等来计算复杂度。
在步骤ST32中,可靠度推定部12b将复杂度与预定的阈值进行比较。当复杂度为上述预定的阈值以上时(步骤ST32的“是”),可靠度推定部12b在步骤ST33中进行用于减小相似度的校正。例如,可靠度推定部12b计算大小与周围环境信息的复杂度成比例的减小值,并从步骤ST13中求出的相似度中减去计算出的减小值。在随后的步骤ST14中,可靠度推定部12b基于减小后的相似度推定由运算部14运算出的推理结果的可靠度。因此,当周围环境信息的复杂度较大时,相似度下降,作为结果,可靠度也下降。
另一方面,当复杂度小于上述预定的阈值时(步骤ST32的“否”),可靠度推定部12b在步骤ST14中基于在步骤ST13中求出的相似度来推定由运算部14运算出的推理结果的可靠度。
如上所述,实施方式3的可靠度推定部12b计算由传感器获取部11获取的传感器2的输出结果的复杂度,并基于输出结果的复杂度校正相似度。通过该结构,驾驶辅助装置10能够更精确地推定推理结果的可靠度。
实施方式4.
在实施方式4中,基于周围环境信息的属性信息和教师数据的属性信息,校正作为传感器2的输出结果的周围环境信息与机器学习算法进行学习所用的教师数据之间的相似度。
图9是表示实施方式4所涉及的驾驶辅助装置10的结构例的框图。实施方式4的驾驶辅助装置10构成为具备传感器获取部11c、可靠度推定部12c和教师数据存储部13c,来代替图1所示的实施方式1的驾驶辅助装置10中的传感器获取部11、可靠度推定部12和教师数据存储部13。对于图9中与图1相同或相当的部分,标注相同的标号并省略说明。
教师数据存储部13c存储运算部14所具有的机器学习算法进行学习时使用的教师数据、教师数据的属性信息。教师数据存储部13c可以存储教师数据的特征量来代替教师数据。
属性信息包括获取教师数据时的日期时间信息、天气信息和地理信息中的至少一个。日期时间信息可以是由秒、分钟等表示的时刻,也可以是早晨和晚上等的时间段。天气信息可以是晴、雨、以及多云等类别,也可以是气压、风速等的数值。地理信息可以是纬度和经度等的数值,也可以是高速公路和城市街区等的类别。
图10是示出实施方式4所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图10的流程图所示的动作,并重复该动作直到点火开关断开为止。
在步骤ST41中,传感器获取部11c与实施方式1同样地,获取由传感器2检测到的信息,并且通过整合获取到的信息来生成表示车辆1的周围环境的周围环境信息。
此外,在实施方式4中,传感器获取部11c从传感器2获取日期时间信息、天气信息和地理信息中的至少一个,并且将获取到的信息设为属性信息。传感器获取部11c将周围环境信息输出到运算部14,并将周围环境信息和属性信息输出到可靠度推定部12c。除了从传感器2获取属性信息之外,传感器获取部11c还可以从汽车导航装置或车外的服务器装置等获取属性信息。
图10的步骤ST12、ST13中的动作与图2的步骤ST12、ST13中的动作相同。
在步骤ST42,可靠度推定部12c将来自传感器获取部11c的属性信息与教师数据存储部13c中存储的教师数据的属性信息进行比较。当具有与周围环境信息的属性信息一致的属性信息的教师数据的数量(即,属性信息的一致比例)为预定的阈值以上时(步骤ST43的“是”),可靠度推定部12c在步骤ST44中进行增加相似度的校正。例如,可靠度推定部12c计算大小与属性信息的一致比例成比例的增加值,并将算出的增加值加到在步骤ST13中求出的相似度上。在接着的步骤ST14中,可靠度推定部12c基于增加后的相似度推定由运算部14运算出的推理结果的可靠度。因此,当周围环境信息的属性信息与教师数据的属性信息一致时,相似度提高,结果可靠度也提高。
另一方面,当属性信息的一致比例小于上述预定的阈值时(步骤ST43的“否”),可靠度推定部12c在步骤ST14中基于在步骤ST13中求出的相似度来推定由运算部14运算出的推理结果的可靠度。
如上所述,实施方式4的可靠度推定部12c将传感器获取部11c获取传感器2的输出结果时的日期时间信息、天气信息、和地理信息中的至少一个与教师数据的日期时间信息、天气信息、和地理信息中的至少一个进行比较,来校正相似度。通过该结构,驾驶辅助装置10能够更精确地推定推理结果的可靠度。
另外,在实施方式4中,说明了使用具有各种日期时间信息、天气信息以及地理信息的教师数据来学习运算部14的机器学习算法的例子,但是,也可以针对每个日期时间、每个天气或者每个地理那样,针对每个属性信息来学习机器学习算法。在这种情况下,运算部14具有针对每个属性信息的机器学习算法。该运算部14从传感器获取部11c获取周围环境信息的属性信息,并且通过使用与获取到的属性信息一致的属性信息的机器学习算法来运算推理结果。可靠度推定部12c可以求出周围环境信息和具有与该周围环境信息的属性信息一致的属性信息的教师数据之间的相似度,并基于求出的相似度推定可靠度。在这种情况下,可靠度推定部12c不需要基于属性信息的一致比例来校正相似度。
作为具体示例,传感器获取部11c生成降雨时的周围环境信息。在这种情况下,运算部14通过使用降雨时的教师数据进行学习的机器学习算法来运算推理结果。可靠度推定部12c将降雨时的周围环境信息与上述降雨时的教师数据进行比较,计算相似度,并基于计算出的相似度推定可靠度。
另外,,也可以将实施方式2、实施方式3、和实施方式4中的至少一个与实施方式1组合。
在此,对将实施方式1和实施方式2进行组合的例子进行说明。例如,可靠度推定部12与实施方式1同样地,求出来自传感器获取部11的周围环境信息与教师数据存储部13中存储的教师数据之间的相似度,并基于相似度推定推理结果的可靠度。接着,可靠度推定部12与实施方式2同样地使用试用结果存储部21中存储的试用结果,推定推理结果的可靠度。并且,可靠度推定部12使用通过实施方式1的方法推定的可靠度和通过实施方式2的方法推定的可靠度,算出最终的可靠度,并向控制输出部15输出。例如,可靠度推定部12计算通过实施方式1的方法推定的可靠度和通过实施方式2的方法推定的可靠度的平均值作为最终的可靠度。
最后,说明各实施方式所涉及的驾驶辅助装置10的硬件结构。
图11和图12是示出各实施方式所涉及的驾驶辅助装置10的硬件结构例的图。驾驶辅助装置10中的教师数据存储部13、13c和试用结果存储部21是存储器102。驾驶辅助装置10中的传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的功能由处理电路实现。即,驾驶辅助装置10具备用于实现上述功能的处理电路。处理电路可以是作为专用硬件的处理电路100,也可以是执行存储于存储器102的程序的处理器101。
如图11所示,在处理电路为专用的硬件的情况下,处理电路100例如相当于单一电路、复合电路、程序化处理器、并联程序化处理器、ASIC(Application SpecificIntegrated Circuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)或它们的组合。可以由多个处理电路100实现传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的功能,也可以汇总各部分的功能由一个处理电路100实现。
如图12所示,当处理电路是处理器101时,传感器获取部11和11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的功能通过软件、固件或软件和固件的组合来实现。软件或固件以程序的形式来表述,并存储于存储器102。处理器101读取存储于存储器102的程序并执行,从而实现各部的功能。即,驾驶辅助装置10具备存储器102,存储器102用于存储在由处理器101来执行时最终执行图2等的流程图中所示的步骤的程序。此外,可以说,该程序使计算机执行传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的步骤或方法。
此处,处理器101指CPU(Central Processing Unit:中央处理部)、处理装置、运算装置或微处理器等。
存储器102例如可以是RAM(Random Access Memory:随机存取存储器)、ROM(ReadOnly Memory:只读存储器)、EPROM(Erasable Programmable ROM:可擦可编程只读存储器)、或闪存等非易失性或易失性的半导体存储器,也可以是硬盘、软盘等磁盘,也可以是CD(Compact Disc:压缩盘)或DVD(Digital Versatile Disc:数字通用盘)等光盘。
另外,传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14以及控制输出部15的功能可以是一部分由专用硬件来实现,另一部分由软件或固件来实现。如上所述,驾驶辅助装置10中的处理电路可以利用硬件、软件、固件或它们的组合来实现上述功能。
另外,在上述例子中,传感器获取部11、11c、可靠度推定部12、12a、12b、12c、教师数据存储部13、13c、运算部14、控制输出部15、以及试用结果存储部21的功能集中于作为车载设备的驾驶辅助装置10的结构,但也可以分散于网络上的服务器装置、智能手机等便携式信息终端、以及车载设备等。例如,驾驶辅助系统由具有可靠度推定部12、12a、12b、12c、教师数据存储部13、13c、运算部14和试用结果存储部21的服务器装置和具有传感器获取部11、11c和控制输出部15的车载设备构成。
本发明在其发明范围内,能够自由组合各实施方式,将各实施方式的任意结构要素进行变形,或者也可以省略各实施方式的任意的结构要素。
工业上的实用性
本发明的驾驶辅助装置推定机器学习的可靠度,因此适合用于使用机器学习的驾驶辅助装置等。
标号说明
1车辆,2传感器,3车辆控制部,10驾驶辅助装置,11、11c传感器获取部,12、12a、12b、12c可靠度推定部,13、13c教师数据存储部,14运算部,15控制输出部,21试用结果存储部,100处理电路,101处理器,102存储器,L0、L1链路,N0、N1、N2节点,X0、X1、X2周围环境信息,Y0、Y1推理结果。

Claims (9)

1.一种驾驶辅助装置,其特征在于,包括:
传感器获取部,该传感器获取部用于获取搭载在车辆上的传感器的输出结果;
运算部,该运算部使用机器学习算法来运算用于控制所述车辆的推理结果,该机器学习算法将由所述传感器获取部获取到的所述输出结果作为输入;
可靠度推定部,该可靠度推定部推定由所述运算部运算出的所述推理结果的可靠度;以及
控制输出部,该控制输出部将由所述可靠度推定部推定出的所述可靠度附加到由所述运算部运算出的所述推理结果,并作为车辆控制信息而输出,
所述可靠度推定部求出由所述传感器获取部获取到的所述输出结果与所述机器学习算法进行学习所用的教师数据之间的相似度,并基于所述相似度推定由所述运算部运算出的所述推理结果的可靠度。
2.如权利要求1所述的驾驶辅助装置,其特征在于,
所述可靠度推定部计算由所述传感器获取部获取到的所述输出结果的复杂度,并基于所述输出结果的复杂度来校正所述相似度。
3.如权利要求1所述的驾驶辅助装置,其特征在于,
所述可靠度推定部求出由所述传感器获取部获取到的所述输出结果的特征量与所述教师数据的特征量之间的相似度。
4.如权利要求1所述的驾驶辅助装置,其特征在于,
所述可靠度推定部将所述传感器获取部获取所述输出结果时的日期时间信息与所述教师数据的日期时间信息进行比较,从而校正所述相似度。
5.如权利要求1所述的驾驶辅助装置,其特征在于,
所述可靠度推定部将所述传感器获取部获取所述输出结果时的天气信息与所述教师数据的天气信息进行比较,从而校正所述相似度。
6.如权利要求1所述的驾驶辅助装置,其特征在于,
所述可靠度推定部将所述传感器获取部获取所述输出结果时的地理信息与所述教师数据的地理信息进行比较,从而校正所述相似度。
7.一种驾驶辅助装置,其特征在于,包括:
传感器获取部,该传感器获取部用于获取搭载在车辆上的传感器的输出结果;
运算部,该运算部使用机器学习算法来运算用于控制所述车辆的推理结果,该机器学习算法将由所述传感器获取部获取到的所述输出结果作为输入;
可靠度推定部,该可靠度推定部推定由所述运算部运算出的所述推理结果的可靠度;以及
控制输出部,该控制输出部将由所述可靠度推定部推定出的所述可靠度附加到由所述运算部运算出的所述推理结果,并作为车辆控制信息而输出,
所述可靠度推定部使用表示在试用所述机器学习算法时在构成所述机器学习算法的神经网络中的从输入到输出的各个路径的使用次数的信息,并基于与在所述运算部运算所述推理结果时使用的所述神经网络中的从输入到输出的路径相对应的所述使用次数,来推定所述推理结果的可靠度。
8.一种驾驶辅助方法,其特征在于,
传感器获取部获取搭载在车辆上的传感器的输出结果,
运算部使用机器学习算法来运算用于控制所述车辆的推理结果,该机器学习算法将由所述传感器获取部获取到的所述输出结果作为输入,
可靠度推定部求出由所述传感器获取部获取到的所述输出结果与所述机器学习算法进行学习所用的教师数据之间的相似度,并基于所述相似度推定由所述运算部运算出的所述推理结果的可靠度,
控制输出部将由所述可靠度推定部推定出的所述可靠度附加到由所述运算部运算出的所述推理结果,并作为车辆控制信息进行输出。
9.一种驾驶辅助方法,其特征在于,
传感器获取部获取搭载在车辆上的传感器的输出结果,
运算部使用机器学习算法来运算用于控制所述车辆的推理结果,该机器学习算法将由所述传感器获取部获取到的所述输出结果作为输入,
可靠度推定部使用表示在试用所述机器学习算法时在构成所述机器学习算法的神经网络中的从输入到输出的各个路径的使用次数的信息,并基于与在所述运算部运算所述推理结果时使用的所述神经网络中的从输入到输出的路径相对应的所述使用次数,推定所述推理结果的可靠度,
控制输出部将由所述可靠度推定部推定出的所述可靠度附加到由所述运算部运算出的所述推理结果,并作为车辆控制信息进行输出。
CN201980093310.3A 2019-03-11 2019-03-11 驾驶辅助装置及驾驶辅助方法 Active CN113519020B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/009688 WO2020183568A1 (ja) 2019-03-11 2019-03-11 運転支援装置及び運転支援方法

Publications (2)

Publication Number Publication Date
CN113519020A CN113519020A (zh) 2021-10-19
CN113519020B true CN113519020B (zh) 2023-04-04

Family

ID=72427356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093310.3A Active CN113519020B (zh) 2019-03-11 2019-03-11 驾驶辅助装置及驾驶辅助方法

Country Status (5)

Country Link
US (1) US20220161810A1 (zh)
JP (1) JP7113958B2 (zh)
CN (1) CN113519020B (zh)
DE (1) DE112019007012T5 (zh)
WO (1) WO2020183568A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007681T5 (de) * 2019-09-02 2022-06-09 Mitsubishi Electric Corporation Automatische Fahrsteuerungsvorrichtung und automatisches Fahrsteuerungsverfahren
JP7363621B2 (ja) * 2020-03-17 2023-10-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7600031B2 (ja) 2021-05-17 2024-12-16 株式会社日立製作所 運転支援システム
FR3131260B1 (fr) * 2021-12-24 2024-10-18 Renault Dispositif et procédé d’évaluation d’un système d’aide à la conduite pour véhicule automobile, le système d’aide à la conduite mettant en œuvre un réseau neuronal artificiel

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
JP2015118500A (ja) * 2013-12-18 2015-06-25 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
CN107077792A (zh) * 2014-11-18 2017-08-18 日立汽车系统株式会社 行驶控制系统
JP2018114930A (ja) * 2017-01-20 2018-07-26 トヨタ自動車株式会社 運転支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4055653B2 (ja) * 2003-05-27 2008-03-05 株式会社デンソー 車速制御装置およびプログラム
JP4941752B2 (ja) * 2007-08-15 2012-05-30 オムロン株式会社 運転支援装置および方法、並びに、プログラム
US9466032B2 (en) * 2011-06-03 2016-10-11 Siemens Aktiengesellschaft Method for the computer-supported generation of a data-driven model of a technical system, in particular of a gas turbine or wind turbine
US9098747B1 (en) * 2013-04-16 2015-08-04 Google Inc. Systems and methods for identifying locations of infrastructure assets using aerial imagery
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
EP2865576B1 (en) 2013-10-22 2018-07-04 Honda Research Institute Europe GmbH Composite confidence estimation for predictive driver assistant systems
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
JP7083809B2 (ja) * 2016-08-02 2022-06-13 アトラス5ディー, インコーポレイテッド プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
JP6441980B2 (ja) * 2017-03-29 2018-12-19 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
JP6524144B2 (ja) * 2017-06-02 2019-06-05 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium
US10809735B2 (en) * 2018-04-09 2020-10-20 SafeAI, Inc. System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application
US12217138B2 (en) * 2018-08-03 2025-02-04 Sony Corporation Information processing device and information processing method
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和系统
US11100222B2 (en) * 2018-11-05 2021-08-24 Nxp B.V. Method for hardening a machine learning model against extraction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
JP2015118500A (ja) * 2013-12-18 2015-06-25 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
CN107077792A (zh) * 2014-11-18 2017-08-18 日立汽车系统株式会社 行驶控制系统
JP2018114930A (ja) * 2017-01-20 2018-07-26 トヨタ自動車株式会社 運転支援装置

Also Published As

Publication number Publication date
US20220161810A1 (en) 2022-05-26
CN113519020A (zh) 2021-10-19
JPWO2020183568A1 (ja) 2021-09-13
JP7113958B2 (ja) 2022-08-05
DE112019007012T5 (de) 2022-01-20
WO2020183568A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
CN113519020B (zh) 驾驶辅助装置及驾驶辅助方法
CN113056769B (zh) 利用软交叉熵损失的语义分段
US11586856B2 (en) Object recognition device, object recognition method, and object recognition program
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
CN108372857B (zh) 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
KR20190026116A (ko) 객체 인식 방법 및 장치
JP6981224B2 (ja) 車両制御装置、方法およびプログラム
CN113269163B (zh) 基于鱼眼图像的立体泊车位检测方法及装置
CN113260936B (zh) 移动体控制装置、移动体控制学习装置及移动体控制方法
JP5185554B2 (ja) オンラインリスク学習システム
CN115205335A (zh) 行人轨迹预测方法、装置和电子设备
CN116449356A (zh) 基于聚集的lidar数据对准
US20210190509A1 (en) Position estimating apparatus and position estimating method
CN113361312A (zh) 检测对象的电子装置和方法
JP2011003076A (ja) リスク認識システム
JP2018084972A (ja) 車両軌道用グラフ生成装置
US20230075659A1 (en) Object ranging apparatus, method, and computer readable medium
US10467486B2 (en) Method for evaluating credibility of obstacle detection
JP2019178971A (ja) 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム
CN118254811A (zh) 车辆驾驶意图预测方法、装置、设备和计算机存储介质
EP3985643A1 (en) Outside environment recognition device
KR20210060779A (ko) 차량센서의 이상 진단 장치 및 그 방법
US20220358316A1 (en) Vehicle lidar system with neural network-based dual density point cloud generator
US20230410532A1 (en) Object detection device, monitoring device, training device, and model generation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant