[go: up one dir, main page]

CN116701165A - 用于验证或核实技术系统的方法 - Google Patents

用于验证或核实技术系统的方法 Download PDF

Info

Publication number
CN116701165A
CN116701165A CN202310215707.3A CN202310215707A CN116701165A CN 116701165 A CN116701165 A CN 116701165A CN 202310215707 A CN202310215707 A CN 202310215707A CN 116701165 A CN116701165 A CN 116701165A
Authority
CN
China
Prior art keywords
model
output
technical system
component
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310215707.3A
Other languages
English (en)
Inventor
D·里布
K·帕特尔
K·S·M·巴尔西姆
M·坎德米尔
S·格尔温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN116701165A publication Critical patent/CN116701165A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3604—Analysis of software for verifying properties of programs
    • G06F11/3612—Analysis of software for verifying properties of programs by runtime analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3604—Analysis of software for verifying properties of programs
    • G06F11/3616—Analysis of software for verifying properties of programs using software metrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Manipulator (AREA)

Abstract

用于验证或核实技术系统的方法，技术系统基于供应给技术系统的输入信号发出输出信号，方法包括步骤：获得技术系统包括的组件的模型并获得组件的模型之间的连接，连接表征哪个模型将哪个输出作为输入传递给另一模型；获得多个验证测量，其包括测量输入和测量输出，如果测量输入被提供给组件，则从用于测量输入的技术系统的组件获得测量输出；基于模型的测试输入和模型之间的连接获得模型的测试输出；通过经由模型传播模型的差异的上界或下界来确定技术系统的输出的上界或下界，模型的差异表征组件的测量输出的分布和针对组件的模型获得的测试输出的分布之间的差异；基于确定的输出上界或下界来核实和/或验证技术系统是否以预定义概率履行标准。

Description

用于验证或核实技术系统的方法
技术领域
本发明涉及用于验证或核实技术系统的计算机实现的方法、计算机程序和机器可读存储介质。
现有技术
Shalev-Shwartz等人在2018年的“On a Formal Model of Safe and ScalableSelf-driving Cars”(https：//arxiv.org/pdf/1708.06374.pdf)公开了安全保证的数学模型。
Danquah等人在2021年的“Statistical Validation Framework for AutomotiveVehicle Simulations Using Uncertainty Learning”(https：//doi.org/10.3390/app11051983)公开了一种用于具有改变参数配置的动态系统的统计验证框架。
背景技术
技术系统包括组件，其中该系统可以被理解为定义组件之间的交互和/或相互关系。例如，诸如自主车辆的机器人的控制系统通常包括用于感测机器人的环境、用于规划机器人在这样的环境中的动作以及用于确定给机器人的致动器的控制信号以执行所规划的动作的组件。
现代技术系统通常包括相当大量的组件，这进而可能使得非常难以预测这样的系统的行为。给定前述示例，用于感测环境的组件可能在感测过程中出错，例如，错过环境中的对象，规划组件可能面对在规划组件中不知道合适动作的感测环境，或者在规划动作和机器人实际实行的动作之间可能存在差异。
一般而言，非常难以核实和/或验证技术系统在其环境中展现出期望的行为，更不用说保证这样的期望行为。其主要原因是系统所包括的组件本身可能展现出未知的和/或随机的行为和/或可能如此复杂以至于它们仅能被视为黑盒。例如，机器人的现代环境感知组件通常依赖于来自机器学习领域的方法、特别是深度学习方法来感测环境。这样的方法固有地是统计的，并且它们的复杂性通常不允许用于确定感知系统的确切行为的直接方法。
甚至除此之外，系统的组件本身可以是系统，即，该系统实际上可以是系统的系统。在这样的系统的系统中，复杂性增长得相当迅速，这进而使得非常难以准确地预测这样的系统的系统的行为，即，核实和/或验证系统如所要求或所期望的那样表现。
有利的是，所提出的发明允许核实和/或验证技术系统，即使该技术系统是复杂的，例如，即使该技术系统包括错综复杂地链接在一起的多个组件。
发明内容
在第一方面，本发明涉及一种用于确定技术系统履行期望标准的概率的计算机实现的方法，其中该技术系统基于供应给该技术系统的输入信号而输出信号，其中该方法包括以下步骤：
·获得技术系统所包括的组件的模型，并获得组件的模型之间的连接，其中连接表征哪个模型将哪个输出作为输入传递给另一个模型；
·获得多个验证测量，其中验证测量包括测量输入和测量输出，其中如果测量输入被提供给组件，则从用于测量输入的技术系统的组件获得测量输出；
·基于模型的测试输入和模型之间的连接，获得模型的测试输出；
·通过经由模型传播模型的差异的上界或下界来确定技术系统的输出的上界或输出的下界，其中模型的差异表征组件的测量输出的分布和针对组件的模型获得的测试输出的分布之间的差异；
·基于所确定的输出上界来核实和/或验证技术系统是否以预定义概率履行标准，或者基于所确定的输出下界来核实和/或验证技术系统是否以预定义概率履行标准。
一般而言，用于核实和/或验证技术系统的方法的目的可以理解为帮助该方法的用户确定技术系统履行期望标准的概率。然后，可以将所确定的概率与概率阈值进行比较，并且如果履行期望标准的概率等于或高于概率阈值，则可以认为该技术系统相对于该标准得到核实和/或验证。如果所确定的概率没有达到或超过概率阈值，则可以认为该标准不能被核实或不能被验证。例如，技术系统可以是移动机器人，并且标准可以表述为“机器人没有偏离机器人的期望路径多于50cm”。然后，该方法将允许统计地评估履行标准的概率。
替代地，该方法也可以用于确定违反期望标准的概率。在这种情况下，可以认为所确定的概率等于或低于概率阈值的标准被核实和/或验证。
有利的是，发明人发现所确定的概率是针对履行标准的概率的保证下界(或者反之亦然，针对违反标准的概率的保证上界)。这允许给出关于技术系统的特性的明确答案，即，允许对技术系统的深入理解，这进而允许正确操作技术系统。
在一些实施例中，期望标准可以是关于一些规范(例如，设计规范或法律规范)的一个要求或多个要求。例如，它可以是如下要求：包括内燃机的车辆的动力系(即，技术系统)在预定义的操作时间内仅产生指定量的排放颗粒(例如，NOx颗粒的数量必须低于预定义的阈值)。在这种特定情况下，该方法可以帮助验证工程师确定动力系是否实际上根据指定的排放量操作的概率。
概率阈值可以根据系统的规范来选择。替代地，概率阈值也可以由法律规定给出或从法律规定中导出。
一般而言，该方法可以用于包括组件或子系统的任何系统。对于所有这样的系统，该方法允许引导过程。由于核实和/或验证通常是相对于发布开发中的系统的必要构建块，因此如果标准被核实和/或验证为被履行，则系统可以例如被发布。替代地，该方法可以用于核实和/或验证多个标准，并且如果所有标准被核实和/或验证为被履行，则系统可以被发布。替代地，该方法可以是用于评估系统是否可以发布的更大测试策略的一部分。在上面讨论的所有实施例中，如果一个标准或多个标准不能被核实和/或验证，则系统可以例如不被发布。在这样的情况下，可以改进技术系统的组件，并且在组件改进之后可以再次运行该方法，以便相对于一个标准或多个标准来核实和/或验证改进的系统。例如，在来自上文的实施例中，发动机可以在其功率方面被限制以便减少排放颗粒的量，和/或可以将动力系的组件更换为关于排放颗粒更高效的组件。
换言之，该方法可以被理解为人机引导的过程，用于评估当在现实世界中使用该系统时是否可以预期履行某个标准。
技术系统借助于基于输入信号确定输出信号与现实世界交互。在来自上文的示例性实施例中，动力系可以例如配备有用于测量动力系的环境温度的传感器，并且可以相应地控制发动机和/或废气后处理的部分，例如催化剂。然而，至系统的输入信号不一定需要借助于传感器或通信设备输入到技术系统中。输入信号例如也可以表征技术系统的环境条件，所述环境条件对技术系统的操作有影响。例如，内燃机产生的排放量通常取决于内燃机的环境温度。在这样的实施例中，温度可以被认为是技术系统的输入信号，即使发动机没有借助于传感器或通信设备接收温度信息亦如此。换言之，在没有发动机测量温度的情况下，温度对发动机有物理影响。因此，输入信号也可以理解为输入激励。
因此，技术系统的不同组件可以借助于例如通过信号(例如测量数据、控制信号)的信息交换和/或借助于物理交互(例如废气处理)来连接。
一般地，如本发明中描述的技术系统可能例如在技术系统的组件彼此交互的方式方面相当复杂和/或关于技术系统的个体组件是复杂的，这可能使得非常难以准确地评估技术系统关于不同环境情形和技术系统的这样不同输入信号的行为。利用已知的方法，评估这样的技术系统的行为的唯一方式通常是将该技术系统视为关于其输入-输出行为的黑盒，在现实世界中运行该技术系统以收集关于输入-输出行为的数据，并使用统计方法来推断关于输入-输出行为的信息。这也可以理解为收集数据以预测技术系统的输入-输出行为。然而，这样的方法的主要缺点是，通常需要收集大量的数据，以便准确地评估输入-输出行为。尤其是对于安全关键系统和/或技术系统，其受限于关于其输入-输出行为的某种形式的法律规定(例如，在特定操作时间内仅允许最大数量的排放颗粒)，收集这样的数据以准确地预测输入-输出行为需要过度的测试或验证活动，由于必需收集极大量的数据，这通常是不可行的。
有利的是，所提出的方法允许极大地减少需要收集的现实世界数据的实际量，同时仍然能够给出关于技术系统的输入-输出行为的近似保证。特别是，该方法允许在不需要端到端数据(黑盒)而是仅需要组件级数据的情况下的技术系统的核实和/或验证；因此，核实和/或验证可以在技术系统的设计期间执行，甚至在完整的技术系统被组装之前。
从抽象的视角来看，可以在如下范围内理解该方法：借助于通过不同模型对技术系统的不同组件进行建模，并且然后能够借助于该模型模拟技术系统的行为，从而构造技术系统的模型。有利的是，技术系统的模型(例如，技术系统的组件的不同模型的组合)被链接到技术系统，使得可以确定模型的输出和技术系统的输出之间的差的概念。基于这种差的概念，即使用于确定模型输出的数据是基于模拟的，也可以给出技术系统本身行为的概率保证。
在第一步骤中，获得用于技术系统的组件的模型。模型可以是物理模型。在来自上文的示例中，动力系的发动机(动力系是技术系统，发动机是技术系统的组件)可以通过发动机的物理模型来建模。替代地，模型可以由组件本身给出。例如，发动机控制器可以是由一片软件实例化的算法。软件本身可以直接用作模型。替代地，也可能的是模型是统计模型，例如是诸如神经网络的机器学习模型。
有利的是，可以在用户的裁量下选择建模粒度。也就是说，模型的细节可以在用户的裁量下选择。例如，用户可以确定是将发动机的组件建模为单个模型还是应用细粒度的建模，例如，通过对燃料喷射行为、燃烧行为和/或发动机零件(诸如活塞、气门和曲轴)的机械特性进行建模。
换言之，该方法不知道组件的建模级别(粗粒度、细粒度或介于之间的任何)。
在第二步骤中，获得用于技术系统组件的验证测量。在该方法的上下文中，验证测量被理解为输入测量和输出测量对，其中如果向组件提供输入测量，则获得输出测量。换言之，输出测量链接至组件。第一组件的输出测量可以作为输入测量提供给第二组件。技术系统的测量输入也可以用作对技术系统的一个或多个组件的输入测量。有利的是，用于技术系统的每个组件的验证测量可以通过例如在测试台上单独运行和测量相应的组件来获得。如果总体技术系统已经被组装和/或可用于运行，则也可以通过在现实世界中运行技术系统的一次或多次测试运行(有时也称为验证运行)并测量每个组件的相应输入测量和输出测量来获得验证测量。
在第三步骤中，获得用于个体模型的测试输入。使用用于模型的测试输入，模型用于确定测试输出，其中通过运行用于测试输入的模型来确定测试输出。优选地，这可以通过经由模型链将可能的输入(例如，通过模拟获得的输入)转发给技术系统并且确定模型链中每个模型的测试输入和测试输出来实现。
测试输入和测试输出对可以被认为是对测量输入和测量输入的对应物。在测量输入和测量输出链接至技术系统的组件的情况下，测试输入和测试输出链接至组件的模型。测试输入和测试输出尤其可以通过模拟来获得，例如，通过将可能的输入合成到技术系统，并将这些合成的输入通过模型转发，以便确定测试输入和测试输出。有利的是，这允许始终模拟技术系统的行为，同时能够确定模拟结果与现实世界中技术系统的行为有多接近。换言之，基于模拟结果，向用户给出了关于技术系统行为的统计保证。
在该方法中，这是通过将组件的输出分布与模型的输出分布进行比较来实现的。该比较尤其可以基于概率分布之间的差异度量。该方法能够基于技术系统的输出分布偏离从技术系统的模型获得的输出分布有多远的上界来确定其保证。模型的差异可以被理解为表征针对组件获得的测量输出的分布和针对组件的模型获得的测试输出的分布之间的差异。换言之，发明人发现关于个体组件的差异可以通过技术系统的模型传播，其中技术系统的模型的特征在于包括组件的模型以及它们的连接，即哪个模型向哪个其他模型提供输入。通过能够传播差异，该方法能够确定技术系统的输出的上界或技术系统的输出的下界。该上界或下界然后可以用于核实和/或验证任务。
两个分布之间的差异(也称为差异度量)可以理解为将两个概率分布(定义在同一空间上)映射到实数的函数。差异可以被理解为量化第一概率分布离第二概率分布有多接近，尽管从技术上而言，并不需要是这种情况。特别是，差异不需要是正向的，不需要是正定的，不需要是对称的和/或不需要满足三角不等式。
用于确定差异的函数示例如下：
·相对于分布基础空间上的核函数，分布之间的最大平均差异(MMD)或其平方；
·相对于分布基础空间上的核函数的余弦相似性；
·相对于分布基础空间上的距离度量的Wasserstein距离；
·来自任何范数的两个分布之间的范数距离，诸如全变分范数；
·f-散度，诸如Kullback-Leibler散度、Renyi散度或类似的度量；
·仿射组合或任何这样的差异度量的任何实值函数；
·任何这样的差异度量的放宽和近似。
优选地，使用函数作为差异度量，其携带分布的基础空间中的距离概念，诸如Wasserstein距离或基于核的度量，其中核携带这样的距离概念(例如，经由长度标度或经由中间嵌入)。
优选地，可能的是使用这样的差异度量的放宽和近似(其也是差异度量)。优选地，差异可以被放宽或公式化以产生凸函数或凹函数。这是有利的，因为确定技术系统的输出的上界或下界可以通过优化问题获得，并且于是产生的优化可以通过凸求解器求解。使用凸求解器可以导致优化所必需的时间的减少。
优选地，分布被建模为加权经验分布。也就是说，给定组件以及其对应的模型，组件或模型的每个测量输入、测量输出、测试输入和测试输出可以分别被分配权重。测量输入和测量输出上的权重可以被理解为允许从足够接近测试输入分布的测量输入当中构造分布，并且从在实现期望标准的意义上作为最坏情况的测量输出当中构造分布。
在本发明的优选实施例中，通过迭代地确定第二模型的差异的上界，模型的差异的上界通过模型被传播，其中该差异是基于第一模型的差异确定的，并且其中第一模型向第二模型提供输入。
优选地，根据第一个公式确定第二模型的差异：
受制于D(pα，qc)≤Bc
其中pα表征技术系统的组件c的测量输入的加权经验概率分布其中具有索引c的组件对应于第二模型，并且每个测量输入被分配权重αi，Bc+1是第二模型的差异的上界，D是差异度量，Sc+1[pα]是当使用权重αi时对于具有索引c+1的组件(对应于第二模型的组件)获得的测量输出的加权分布，qc+1是第二模型的测试输出的分布，qc是第一模型的测试输出的分布，并且Bc是为第一模型确定的差异。
如从第一个公式可以看出，可以基于针对“先前”模型确定的差异来针对每个模型确定差异，其中模型的次序由哪个模型向哪个其他模型提供输入来确定。例如，第一模型向第二模型提供输入，并且因此在第二模型之前。也可能的是让多个第一模型向第二模型提供输入。在这种情况下，来自上面的第一个公式将根据如第一个公式中所显示的第一个约束针对向第二模型提供输入的每个模型获取约束。
该分布pα可以理解为第二模型的测量输入的分布，并且该分布Sc+1[pα]可以理解为测量输出的分布，其中测量输出中的元素的权重与用于确定测量输出的测量输入的权重相同。
对于直接处理技术系统的输入或合成输入的模型，可以提供关于输入或合成输入的分布的约束，作为通过模型传播差异的上界的起点。例如，该约束可以表征在现实世界中出现的数据和用于确定模型的测试输出的合成数据之间可以假设的最坏情况偏差。
来自上文的第一个公式也可以用于使用合成数据作为输入的模型，即前面没有另一个模型的模型。在这样的情况下，pα可以理解为针对与前面没有另一个模型的模型相对应的组件(即技术系统的输入组件)获得的测量输入的分布，qc可以理解为对应于该组件的模型的测试输入的分布，例如合成数据的分布，并且Bc可以理解为输入组件的测量输入的分布和对应于输入组件的模型的测试输入的分布之间的最大偏差。在这种情况下，Bc可以理解为现实世界中出现的数据和用于从模型确定输出的数据(例如合成数据)之间的先验预期最坏情况偏差。虽然先验预期最坏情况偏差可以作为外部参数提供给该方法，但是也可能的是根据数据估计B0。例如，可以根据输入组件的测量输入和对应于输入组件的模型的测试输入来估计B0。优选地，这可以通过使用诸如MMD或MMD平方的差异度量来确定测量输入的分布和测量输出的分布之间的差异来实现。为此，相应分布的权重可以选择为均匀的。替代地，也可能的是基于尚未被用作测量输入或者没有被用作测量输入的现实世界的可能输入来估计B0。例如，可以执行验证运行来仅收集系统的可能输入，而不记录组件的个体测量输出。在这种情况下，可以使用可能的输入代替前述方法中的测量输入来确定B0。
一般而言，根据第一个公式的优化问题可能不是凸优化问题。优选地，可能的是使用变换的差异度量，从而导致优化问题能够被放宽为凸(并且甚至可能是半定)优化问题。
优选地，二次最大平均差异被用作差异度量，其中二次最大平均差异度量可以根据第二个公式来确定：
其中是在具有权重αi的点xi上的经验分布(满足ai≥0和∑iαi＝1)，是在具有权重γj的点zj上的经验分布(满足γj≥0和∑jγj＝1)，p和q被定义在同一空间上，并且k是该空间上的核。
作者发现，根据第一个公式的优化问题的放宽可以由第三个公式来表征：
受制于Tr[EinA]≤Bc
1TA1＝1
A≥0
其中是要优化的对称矩阵，Eout是通过根据第二个公式书写MMD(Sc+1[pα]，qc+1)2而产生的V×V矩阵，Ein是通过根据第二个公式书写MMD(pα，qc)2而产生的V×V矩阵，并且是具有所有条目1的V维向量，其中V标示具有索引c的组件的测量输入(以及因此还有测量输出)的数量，并且其中第二约束中的不等式符号“≥”标示矩阵的半正定性，并且最后约束中的不等式符号要求所有矩阵条目都是非负的。令人惊讶的是，作者发现放宽通常是确切的，即优化放宽问题给出了与优化非放宽问题相同的上界。这是有利的，因为通过这种方式，对应于输出组件的模型的上界不是不必要的封闭式，即，是收紧的。收紧的界限导致由该方法确定的更准确的概率，并且进而允许对技术系统的更好理解。例如，宽松的界限可能潜在地导致所确定的违反期望标准的概率太高(或者相反地，所确定的实现期望标准的概率太低)。这将潜在地触发系统被安排进行改进，其中这种改进是不必要的，因为如果不是由于宽松的界限所致的不准确确定的概率，该标准可能已经被核实和/或验证。
通过迭代地或递归地确定对于相应模型的上界，用户最终得到对应于技术系统的输出组件的模型的上界，该输出组件即是提供技术系统的输出信号、技术系统的输出信息或技术系统的输出动作的组件。在来自上文的动力系的示例中，输出可以例如表征技术系统的排放颗粒的量，其中输出组件是用于确定来自动力系的排气组件的排放颗粒的测量设备。
已经获得了针对输出组件的该上界，然后可以确定履行期望标准的概率。例如，系统的输出(即来自pC的样本)可以由实值来表征，并且标准可以声明该值不应超过的阈值θ。针对履行该标准的概率的下界可以通过确定由以下公式表征的优化问题的结果来获得：
其中Vmin是概率。可以通过使用θ作为积分的下界和∞作为积分的上界并且利用最大化替换最小化来获得针对违反标准的概率的上界。前述公式中的优化在输出空间(例如排放值e空间)上的所有概率分布p之上扩展，所述概率分布p满足所声明的约束，即它们没有偏离模拟输出分布qC多于先前计算的上界BC。
在其他实施例中，该标准可以声明输出不应落到其之下的阈值。针对履行该标准的概率的下界可以通过确定由以下公式表征的优化问题的结果来获得：
可以通过使用-∞作为积分的下界和θ作为积分的上界并且用最大化替换最小化来获得违反该标准的概率。
在优选实施例中，也可能的是技术系统的输出由验证目标函数相对于期望标准来评估。验证目标函数可以被理解为将技术系统的输出组件的任何输出y映射到实值量的函数优选地，V(y)∈[0，1]可以是y违反期望标准的概率。作为示例，指示y是否违反某一规范spec；特别是当是实值时，可以指示输出y是否超过某个给定的阈值θ(诸如排放阈值)。这是来自上文的示例。替代地，也可能的是可以是更复杂输出y的概述，诸如例如来自瞬时排放时间序列y的累积尾气排放V(y)。在这种情况下，该方法递送了针对典型行程内平均尾气排放的上界。
规范可以理解为与期望标准同义。
在该方法的上下文中，验证目标函数的最大值或验证目标函数的最小值可以被理解为充当用于确定系统是否可以相对于标准被核实和/或验证的手段。
这可以优选地通过根据第四个公式求解优化问题来实现：
Vmax指示针对验证目标函数V的平均值的上界。然后Vmax可以与期望的接受的阈值Vthreshold进行比较，并且如果Vmax没有超过预定义的阈值Vthreshold(即，期望标准)，则该技术系统可以被认为相对于规范被核实和/或验证。
为了使优化在计算上可行，可以优选地通过量化输出组件的输出空间来确定Vmax，例如，通过等距点或一般网格，为每个点(或网格中的每个点)分配权重，并且求解与用于确定模型上界的优化问题类似的优化问题。因此，可以根据以下公式来确定优化：
受制于D(pα，qC)≤BC
其中pα标示在点(或网格中的点)上的加权经验分布。在前述实施例中的任一个中，可能的是如果标准不能被核实和/或验证，则模型被改进。
Vmax然后可以用作关于期望标准的统计保证。例如，使用动力系的示例，输出可以是排放计数，诸如从动力系排放的NOx颗粒的数量，并且然后Vmax可以指示该量。
未能够核实和/或验证该标准可能仅仅取决于在该方法中使用的模型太不准确，以便允许在对输出组件建模的模型的输出上足够收紧的界限。宽松的界限可能导致未能满足标准，其中未能满足标准可能仅仅源于一个或多个模型相对于它们相应的组件的不准确性，这可能导致对输出的界限过于封闭式。因此，可以有利地改进一个或多个模型，即，它们可以适于更准确地反映它们相应组件的行为。这可以通过使用模型的相应差异作为损失函数并优化模型使得差异减小来实现。如果模型是可微分的，则这可以借助于梯度下降算法来实现。替代地，或者对于不可微分的模型，演进算法可以用于优化。
有利的是，模型的改进导致对应于输出组件的模型的更收紧的界限，并且因此导致标准的更准确的评估。评估这种改进应当优选地使用没有用于改进模型的测量数据(即，测量输入和测量输出)来完成，因为否则这可能导致过拟合和/或信息泄漏。
在前述实施例中的任一个中，进一步可能的是如果标准不能被核实和/或验证，则技术系统的组件被改进。
这可以理解为确定技术系统不能或很可能不能够实现期望标准，并且因此必须改进以便满足期望标准。使用来自动力系的示例，对组件的改进可以例如包括降低发动机的功率以便消耗更少的燃料并因此排放更少的颗粒，和/或替换动力系的催化剂以便过滤掉更多的排放颗粒。
附图说明
将参考以下各图更详细地讨论本发明的实施例。各图示出了：
图1控制系统；
图2控制至少部分自主的机器人的控制系统；
图3控制制造机器的控制系统。
具体实施方式
图1示例性地示出了包括多个组件(S1，S2，CC)的技术系统(40)可以如何被核实和/或验证。控制系统(40)可以被理解为在本申请中提到的技术系统的实施例。对于每个组件，提供了相应的模型(M1，M2，MC)。模型(M1，M2，MC)与虚线箭头所指示的组件(S1，S2，CC)具有一对一的对应关系。
控制系统(40)包括输入组件(S1)，其被配置为接受来自传感器的输入。传感器可以优选是控制系统(40)的一部分。传感器向输入组件提供输入测量。输入测量(输入信号)可以理解为遵循分布(p0)，其中分布(p0)可以优选地通过加权经验分布来建模。用于构建加权经验分布的样本可以通过运行验证运行以收集输入信号来确定。然后，加权经验分布可以由以下公式来表征：
其中是权重，是输入信号，并且V是输入信号的数量。
控制系统(40)被配置为基于输入测量来确定输出或动作。为此，输入测量通过组件转发。因此，每个组件接收基于输入测量但已经由控制系统(40)的组件处理的输入(除非该组件是输入组件)。例如，输入组件(S1)接收输入测量，根据输入测量确定某个输出，并将确定的输出转发给控制系统(40)的另一组件(S2)。进而，其他组件(S2)处理提供给其他组件(S2)的输入，并将其输出转发给又一个组件(未示出)。
根据这个链，每个组件(S1，S2，CC)接收输入(也称为测量输入)并且提供输出(也称为测量输出)。组件(S1，S2，CC)的输出可以被理解为遵循某种分布(p1，p2，pC-1，pC)，这可以优选地通过加权经验分布来建模。这样的加权的经验分布可以由以下公式来表征：
其中是权重，是测量输出，并且上标c指示与特定组件(S1，S2，CC)的关系。例如，测量输出是基于输入测量的第二组件(S2)的测量输出，其中测量输出是基于从输入组件(S1)获得的测量输出确定的。测量输出也可以理解为对第二组件(S2)的测量输入。
对于每个组件存在模型(M1，M2，MC)。模型是根据它们所对应的组件(S1，S2，CC)的链接来链接的。对应于输入组件(S1)的输入模型(M1)被提供来自测试数据集的数据，即测试输入。测试输入可以优选地合成地、例如基于合成模型来被确定，该合成模型被配置为对控制系统(40)的输入测量进行建模。合成模型可以优选地是来自机器学习领域的模型，例如，诸如生成性对抗网络的生成性模型。
根据建模链，每个模型(M1，M2，MC)接收输入(也称为测试输入)并且提供输出(也称为测试输出)。模型(M1，M2，MC)的输出可以理解为遵循某种分布(q1，q2，qC-1，qC)，这可以优选地通过加权经验分布来建模。这样加权的经验分布可以由以下公式来表征：
其中是权重，是测试输出，并且上标c指示与特定模型(M1，M2，MC)的关系。例如，测试输出是第二模型(M2)的测试输出，其中测试输出是通过处理从另一模型(M1)获得的测试输出来确定的。测试输出也可以理解为对第二模型(M2)的测试输入。测试数据的数据集也可以理解为遵循加权经验分布q0。优选地，经验分布q0对分布中的每个样本使用相等的权重。
控制系统(40)的输出组件(SC)的输出可以是表征要执行的动作和/或表征实数的信号。例如，如果控制系统(40)被配置为确定机器人(例如，至少部分自主的车辆)的控制信号，则输出可以表征机器人要执行的高级动作(例如，执行变道)或者可以表征用于控制机器人的数值(例如，转向角位置、加速度和/或制动力)。该输出可以被理解为受制于由所提出的方法相对于某个期望标准的核实和/或验证。使用机器人的示例，标准可以是机器人采取的任何动作都不可以导致机器人与预定义或确定的路径偏离多于预定义的允许距离。在另外的实施例(未示出)中，也可能的是控制系统(40)的输出组件是“特殊”组件，该“特殊”组件原本在操作控制系统(40)时不被使用，但用于评估控制系统(40)的行为。例如，例如在控制系统(40)是动力系的情况下，输出组件可以是用于确定从控制系统(40)的组件排放的颗粒量的排放测量设备。
优选地，可能存在将输出组件的输出映射到实值的验证目标函数。验证目标函数可以理解为将控制系统(40)的输出组件的任何输出y映射到实值量的函数优选地，V(y)∈[0，1]可以是y违反期望标准的概率。作为示例，指示y是否违反某个规范spec；特别是当是实值时，可以指示输出y是否超过某个给定的阈值θ(诸如排放阈值)。换言之，该方法可以被理解为确定不履行规范的概率的上界(或者相反，即履行规范的概率的下界)。为了确定这个上界(或下界)，差异(D)的上界(B1，B2，BC-1，BC)可以通过模型(M1，M2，MC)传播。特别是，差异(D)可以指示组件(S1，S2，CC)的测量输出(p1，p2，pC-1，pC)的分布与链接到该组件的模型(M1，M2，MC)的测试输出(q1，q2，qC-1，qC)的分布的偏差。这可以理解为确定从现实世界中的组件获得的测量输出和针对模型确定的测试输出之间的差异(D)。在实施例中，相应模型(M1，M2，MC)的差异的上界(B1，B2，BC-1，BC)根据第三个公式确定：
作为差异度量(D)，可以优选地使用平方MMD。为了确定对应于输入组件的模型(M1)的差异(D)，需要差异B0。在实施例中，这是通过确定输入测量的均匀加权经验分布和测试数据集(来自测试数据集的输入)的均匀加权经验分布之间的平方MMD来实现的。
已经获得了对应于输出组件的模型的差异，然后可以确定履行规范的概率的上界(或下界)。
图2示出了实施例，其中控制系统(40)用于控制至少部分自主的机器人，例如至少部分自主的车辆(100)。
车辆(100)的传感器(30)可以包括一个或多个视频传感器和/或一个或多个雷达传感器和/或一个或多个超声传感器和/或一个或多个LiDAR传感器。这些传感器中的一些或全部优选地但不是必须地集成在车辆(100)中。控制系统可以例如被配置为自动地将车辆(100)保持在与车辆(100)的环境中的其他对象的预定义距离以上，或者使车辆不将与环境中的车辆碰撞的时间减少到预定义阈值以下。待验证的期望标准例如可以是车辆(100)靠近比预定义距离更近的另一车辆的概率低于预定义百分比阈值。
控制系统(40)可以优选地包括图像分类器作为组件，例如作为输入组件(S1)。图像分类器可以被配置为基于输入图像检测至少部分自主的机器人附近的对象。输入图像的测量输出可以包括信息，该信息表征对象位于至少部分自主的机器人附近的何处。然后，后续组件可以确定穿过环境的合适的行驶路径，使得对于所有识别出的对象保持预定义距离或关于碰撞时间的预定义阈值。然后可以从控制系统(40)的输出组件确定控制信号。控制信号可以用于控制车辆(100)的致动器(10)。控制信号可以被设置为使车辆根据行驶路径行驶。
优选地集成在车辆(100)中的致动器(10)可以由车辆(100)的制动器、推进系统、发动机、动力系或转向装置来给出。
在另外的实施例中，至少部分自主的机器人可以由另一个移动机器人(未示出)给出，该移动机器人可以例如通过飞行、游泳、潜水或步进来移动。移动机器人尤其可以是至少部分自主的割草机，或者至少部分自主的清洁机器人。在所有上述实施例中，可以确定控制信号，使得移动机器人的推进单元和/或转向装置和/或制动器被控制，使得移动机器人可以避免与所述标识的对象碰撞。
在另外的实施例中，至少部分自主的机器人可以由园艺机器人(未示出)给出，该园艺机器人使用传感器(30)(优选为光学传感器)来确定环境(20)中植物的状态。致动器(10)可以控制用于喷洒液体的喷嘴和/或例如刀片的切割设备。取决于植物的标识的种类和/或标识的状态，可以确定控制信号，以使得致动器(10)以适当量的适当液体喷洒植物和/或切割植物。
在更另外的实施例中，至少部分自主的机器人可以由家用电器(未示出)给出，该家用电器像例如是洗衣机、炉子、烤箱、微波炉或洗碗机。传感器(30)(例如光学传感器)可以检测将由家用电器进行处理的对象的状态。例如，在家用电器是洗衣机的情况下，传感器(30)可以检测洗衣机内部衣物的状态。然后可以取决于检测到的衣物材料来确定控制信号。
图3示出了实施例，其中控制系统(40)用于控制例如作为生产线的部分的制造系统(200)的制造机器(11)，例如冲压机、切割机、枪钻、焊接机器人或夹具。制造机器(11)可以包括移动制造产品(12)的运输设备，例如传送带或装配线。控制系统(40)控制致动器(10)，致动器(10)又控制制造机器(11)。
用于向控制系统(40)提供输入测量的传感器(30)可以由捕获例如制造产品(12)的特性的光学传感器给出。控制系统(40)可以包括图像分类器作为输入组件(S1)。
图像分类器可以确定制造产品(12)相对于运输设备的位置。然后，可以取决于所确定的制造产品(12)的位置来控制致动器(10)，用于制造产品(12)的后续制造步骤。例如，致动器(10)可以被控制以沿着制造产品(12)上的特定路径切割或焊接制造产品。在这些实施例中，路径可以由控制系统(40)的组件确定，其中控制系统(40)的另一组件然后确定用于制造机器(11)的致动器(10)的控制信号。期望标准可以是切割或焊接没有偏离规划路径多于预定义阈值。
替代地，可以设想图像分类器对制造产品是否破损或展现缺陷进行分类。然后，可以控制致动器(10)以便从运输设备中移除制造产品(12)。在这种情况下，期望标准可以是被错误拣选的制造产品(12)(例如，实际上没有破损或展现出缺陷但仍然被拣选的产品)的量低于预定义阈值。

Claims (14)

1.一种用于核实和/或验证技术系统(40)是否以预定义概率履行期望标准的计算机实现的方法，其中所述技术系统(40)基于供应给技术系统(40)的输入信号发出输出信号，其中所述方法包括以下步骤：
·获得技术系统(40)所包括的组件(S1，S2，CC)的模型(M1，M2，MC)，并获得组件(S1，S2，CC)的模型(M1，M2，MC)之间的连接，其中连接表征哪个模型(M1，M2，MC)将哪个输出作为输入传递给另一个模型(M1，M2，MC)；
·获得多个验证测量，其中验证测量包括测量输入和测量输出，其中如果测量输入被提供给组件(S1，S2，CC)，则从用于测量输入的技术系统(40)的组件(S1，S2，CC)获得测量输出；
·基于模型(M1，M2，MC)的测试输入和模型(M1，M2，MC)之间的连接，获得模型(M1，M2，MC)的测试输出；
·通过经由模型(M1，M2，MC)传播模型(M1，M2，MC)的差异(D)的上界或下界(B1，B2，BC-1，BC)来确定技术系统(40)的输出的上界或输出的下界，其中模型(M1，M2，MC)的差异(D)表征组件(S1，S2，CC)的测量输出(p1，p2，pC-1，pC)的分布和针对组件(S1，S2，CC)的模型(M1，M2，MC)获得的测试输出(q1，q2，qC-1，qC)的分布之间的差异(D)；
·基于所确定的输出上界来核实和/或验证技术系统(40)是否以预定义概率履行标准，或者基于所确定的输出下界来核实和/或验证技术系统(40)是否以预定义概率履行标准。
2.根据权利要求1所述的方法，其中，通过迭代地确定第二模型的差异(D)的上界(B1，B2，BC-1，BC)，模型(M1，M2，MC)的差异(D)的上界(B1，B2，BC-1，BC)通过模型(M1，M2，MC)被传播，其中差异(D)是基于第一模型的差异(D)确定的，并且其中第一模型向第二模型提供输入。
3.根据权利要求2所述的方法，其中，第二模型的差异(D)通过最大化针对所述组件获得的测量输出的分布的差异(D)来确定，第二模型对应于针对第二模型获得的测试输出的分布，其中所述差异在针对所述组件获得的测量输出的可能分布之上被最大化。
4.根据权利要求3所述的方法，其中，所述差异的最大化是凸约束下的凸优化问题。
5.根据权利要求1至4中任一项所述的方法，其中，针对所述组件获得的测量输出的分布是加权经验分布。
6.根据当从属于权利要求3或4时的权利要求5所述的方法，其中，根据第一个公式确定第二模型的差异：
7.根据权利要求1至6中任一项所述的方法，其中，测量输出的分布和测试输出的分布之间的差异由相应分布的元素的核评估的加权和来确定。
8.根据当从属于权利要求6时的权利要求7所述的方法，其中，根据第一个公式的放宽来确定第二模型的差异，其中所述放宽表征凸优化问题。
9.根据权利要求1至8中任一项所述的方法，其中，通过合成技术系统(40)的输入并通过模型转发合成的输入来确定测试输入和测试输出。
10.根据权利要求1至9中任一项所述的方法，其中，如果所述标准不能被核实和/或验证，则改进模型。
11.根据权利要求1至10中任一项所述的方法，其中，如果所述标准不能以预定义概率被核实和/或验证，则改进所述技术系统(40)的组件。
12.根据权利要求1至11中任一项所述的方法，其中，所述技术系统(40)被配置为向制造机器和/或机器人提供控制信号。
13.一种计算机程序，如果所述计算机程序由处理器实行，则所述计算机程序被配置为使得计算机实行根据权利要求1至12中任一项的方法以及其所有步骤。
14.一种机器可读存储介质，其上存储了根据权利要求13的计算机程序。
CN202310215707.3A 2022-03-02 2023-03-01 用于验证或核实技术系统的方法 Pending CN116701165A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22159748.7 2022-03-02
EP22159748.7A EP4239421A1 (en) 2022-03-02 2022-03-02 Method for validating or verifying a technical system

Publications (1)

Publication Number Publication Date
CN116701165A true CN116701165A (zh) 2023-09-05

Family

ID=80953256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215707.3A Pending CN116701165A (zh) 2022-03-02 2023-03-01 用于验证或核实技术系统的方法

Country Status (5)

Country Link
US (1) US20230280705A1 (zh)
EP (1) EP4239421A1 (zh)
JP (1) JP2023129342A (zh)
KR (1) KR20230129944A (zh)
CN (1) CN116701165A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001206A2 (en) * 1999-06-30 2001-01-04 Strategic Simulation Systems, Inc. System dynamics model builder and simulator
CN112305938B (zh) * 2020-09-23 2021-11-30 东风汽车集团有限公司 一种控制模型开环仿真验证方法、装置、设备和介质

Also Published As

Publication number Publication date
US20230280705A1 (en) 2023-09-07
EP4239421A1 (en) 2023-09-06
JP2023129342A (ja) 2023-09-14
KR20230129944A (ko) 2023-09-11

Similar Documents

Publication Publication Date Title
Corso et al. A survey of algorithms for black-box safety validation of cyber-physical systems
US7542879B2 (en) Virtual sensor based control system and method
US8977373B2 (en) Systems and methods for extending physical sensor range using virtual sensors
JP5026433B2 (ja) プロセスモデルベースの仮想センサシステムおよび方法
US7505949B2 (en) Process model error correction method and system
US8478506B2 (en) Virtual sensor based engine control system and method
US20080154811A1 (en) Method and system for verifying virtual sensors
Nyulászi et al. Fault detection and isolation of an aircraft turbojet engine using a multi-sensor network and multiple model approach
CN102418919B (zh) 设备的控制装置和火力发电设备的控制装置
US20090300422A1 (en) Analysis method and system using virtual sensors
JP2010530179A (ja) 仮想センサ・システムおよび方法
US20140012791A1 (en) Systems and methods for sensor error detection and compensation
US11396825B2 (en) Turbine diagnostic feature selection system
Kyriakis et al. Specification mining and robust design under uncertainty: A stochastic temporal logic approach
Vladov et al. Optimization of Helicopters Aircraft Engine Working Process Using Neural Networks Technologies.
Camilli et al. Enforcing resilience in cyber-physical systems via equilibrium verification at runtime
CN116134455A (zh) 用于配置神经网络的神经网络模型、方法及建模环境
US11629856B2 (en) Apparatus for managing combustion optimization and method therefor
JP6906935B2 (ja) 出力−排出物パラメータに関するガスタービンの調節における装置特有の確率的制御、関連の制御システム、コンピュータプログラム製品、及び方法
CN115329832A (zh) 基于图论解耦和概率融合的多部件机械系统故障诊断方法
CN116701165A (zh) 用于验证或核实技术系统的方法
US20240085897A1 (en) Method for validating or verifying a technical system
US20240085898A1 (en) Method for validating or verifying a technical system
KR20120086844A (ko) 사이버-물리 시스템 환경을 위한 하이브리드 모델 시뮬레이션 방법
US20240280976A1 (en) Method and system for controlling a production system to manufacture a product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination