BE1028777B1 - Systeem en methode voor het detecteren van inconsistenties in de outputs van perceptiesystemen van autonome voertuigen - Google Patents

Abstract

Een systeem en methode voor de detectie van inconsistenties in waarnemingssystemen van autonome voertuigen wordt beschreven. Het systeem ontvangt de waarnemingen van voorwerpen in de omgeving van een of meer sensoren of waarnemingssystemen van een geautomatiseerd voertuig. Op het moment zelf schat het systeem de consistentie van de op dat moment waargenomen elementen van het waarnemingssysteem op basis van de eerder ontvangen inputs. Deze consistentie wordt bepaald door de grenzen te berekenen van de mogelijke toestanden van de eerder waargenomen elementen, op basis van de ontvangen informatie en van veronderstellingen.

Description

Systeem en methode voor het detecteren van inconsistenties in de outputs van perceptiesystemen van autonome voertuigen.

ACHTERGROND Geautomatiseerde voertuigen (ook autonome voertuigen genoemd) zijn robotplatforms met verschillende waarnemingssensoren voor het verkrijgen van ruwe metingen over de omringende omgeving. De ruwe metingen worden verder verwerkt door waarnemingssystemen, die een model van de omgeving opstellen dat de controle- en besluitvormingseenheid van het voertuig in staat stelt dienovereenkomstig te handelen en op de juiste wijze in het verkeer te manoeuvreren.

Bestaande perceptiesystemen voor geautomatiseerde voertuigen kunnen elementen uit de scène en de omgeving detecteren en volgen. Deze systemen detecteren de objecten in de scène met een objectdetectiealgoritme op basis van enkelvoudige of meervoudige sensoren, zoals camera, LIDAR of radar. Vervolgens worden het objecttype en de objecttoestand geschat. Tegelijkertijd wordt het nieuwe object gecontroleerd en geassocieerd met eerder gedetecteerde objecten.

Eris echter geen kwaliteitsborgingssysteem voor de waargenomen informatie in runtime. Het beste wat een opsporings- en volgsysteem kan doen, is een score geven die de onzekerheid van de opsporings- en volgresultaten weergeeft.

Het is zeer wenselijk de kwaliteit van de perceptiesystemen van geautomatiseerde voertuigen tijdens runtime te beoordelen. Perceptiesystemen zijn het beginpunt voor elke verdere interactie van geautomatiseerde voertuigen met de omgeving. Fouten in de perceptiesystemen kunnen dus leiden tot acties van de geautomatiseerde voertuigen die catastrofaal kunnen zijn bij het manoeuvreren, vooral in gedeelde ruimtes met mensen.

Perceptiesystemen zijn imperfect en niet-robuust. Bovendien zijn state-of-the-art perceptiestapels in autonoom rijdende belichamingen gebaseerd op niet- verklaarbare architecturen zoals diepe neurale netwerken. Het garanderen van de kwaliteit van deze perceptiesystemen is nog steeds een grote uitdaging. Daarom is het van vitaal belang om de kwaliteit van de perceptiesystemen van geautomatiseerde voertuigen tijdens runtime te beoordelen. Als de kwaliteit van deze waarnemingssystemen verslechtert, moet de voertuigbesturingseenheid daarvan onmiddellijk op de hoogte worden gebracht, zodat zij onveilige beslissingen en acties kan vermijden. In de echte wereld is er op runtime geen "ground-truth" informatie over de omringende objecten en de omgeving. Ground-truth wordt over het algemeen opgevat als de werkelijke en exacte positie en status van de elementen van de scène. Zonder die informatie is de beoordeling van de kwaliteit van waarnemingssystemen tijdens runtime zonder menselijke supervisie niet triviaal.

KORTE BESCHRIJVING VAN DE UITVINDING De uitvinders hebben nu verrassend een systeem en methode gevonden voor het analyseren van de juiste evolutie van de rijscène en het detecteren van inconsistenties in de outputs van perceptiesystemen van geautomatiseerde voertuigen tijdens het rijden, om de veiligheid van geautomatiseerde voertuigen en soortgelijke robotplatforms te verhogen. Veiligheidsrisico's met betrekking tot de waargenomen informatie worden vastgesteld met behulp van het systeem en de methode van deze uitvinding. Telkens wanneer een nieuw resultaat van het waarnemingssysteem binnenkomt, wordt dit vergeleken met eerdere resultaten om inconsistenties op te sporen. Het nieuwe resultaat wordt ook gedurende een vaste tijdspanne, bijvoorbeeld 2 seconden, opgeslagen voor toekomstige vergelijkingen. De vergelijking wordt gedaan door eerst de resultaten uit het verleden over een korte periode naar de toekomst te propageren, op basis van verschillende aannames over het gedrag van elk object. De propagatie berekent de grens van alle mogelijke toekomstige toestanden van het object. Vervolgens wordt de nieuw geschatte toestand van het object gecontroleerd om te zien of deze binnen de berekende grens blijft. Bijgevolg is het eerste voorwerp van de uitvinding een in een computer geïmplementeerde methode voor het opsporen van inconsistenties in de informatie van de waarnemingssensoren (1.1) en de waarnemingssystemen (1.2),

hierna gezamenlijk waarnemingen genoemd, van een geautomatiseerd voertuig (1) en die op een elektronische besturingseenheid (1.3) draait, welke de stappen omvat van: a. het ontvangen en opslaan van de waargenomen toestanden van de scène van perceptiesystemen (1.2) en sensoren (1.1), b. berekening van de grenzen van een of meer mogelijke toestanden van een eerder waargenomen object op een gegeven tijdstip op basis van de aard van het object, de eerdere toestanden van het object, de aannames over het gedrag van het object, of de omgevingsomstandigheden, of een combinatie daarvan, C. controleren of een geschatte toestand van een scène of object binnen de berekende verwachte grenzen blijft, d. het verzenden van een melding wanneer een geschatte toestand niet binnen een verwachte grens blijft naar de elektronische regeleenheid (1.3), e. de elektronische besturingseenheid naar keuze veiligheidsmaatregelen laten uitvoeren op basis van de melding van stap d.

Een ander aspect is dat het inconsistentiesignaleringssysteem vrij is van menselijke supervisie en controle.

In een ander aspect zijn de waargenomen toestanden van de scène objecten, wegvormen, of omgevingsomstandigheden of combinaties daarvan.

In een ander aspect worden de waargenomen en geschatte toestanden van scènes, objecten, wegvormen, of omgevingsomstandigheden of combinaties daarvan opgeslagen en vervolgens gebruikt om de grenzen van toestanden van scènes en objecten in de toekomst te berekenen of om de huidige waargenomen toestanden te vergelijken met toekomstige waargenomen toestanden.

In een ander aspect worden de waargenomen en geschatte toestanden gedurende een vaste periode opgeslagen, waarbij de vaste periode tussen 0,1 seconde en 10 seconden ligt, bij voorkeur tussen 1 seconde en 5 seconden, nog meer bij voorkeur tussen 1,5 seconde en 3 seconden.

In een ander aspect worden de geschatte toestanden bijgewerkt of opgeslagen wanneer er nieuwe informatie over wordt ontvangen.

In een ander aspect worden de grenzen van mogelijke toestanden van een object of een scène berekend op een bepaalde tijdstempel.

In een ander aspect worden de grenzen berekend op basis van een of meer van de volgende parameters en kenmerken: . de vorige bounding box van het object, 10 . de vorige snelheid van het object, . de vorige versnelling van het object, . de vorige rubriek van het object, . de vormen van de weg of de rijstrookmarkeringen, . de aanname van de maximale versnelling van het object, 15 . de aanname van de minimale versnelling van het object, die negatief kan zijn, . de aanname van de maximumsnelheid van het object, . de aanname van de minimumsnelheid van het object, . de aanname over de ruimtegrens die het object zou kunnen bereiken.

In een ander aspect worden de veronderstellingen bepaald voor een of meer van de volgende objecttypes, bestaande uit: - Voetganger, - Fiets, - Motorfiets, - Passagiersauto, - Vrachtwagen, - Voertuigen van hulpdiensten, of Of een of meer van de volgende scènetype-indelingen, bestaande uit: - Snelweg, - Stedelijke weg - Regionale weg, of

Of een of meer omgevingscondities bestaande uit: - Regen, - Zon, - Mist, 5 - Storm, - Dag, of - Goedenacht. In een ander aspect zijn de veronderstellingen een combinatie van types en voorwaarden, bestaande uit: - Snelweg 's nachts in regenachtige omstandigheden, of - Stadsweg overdag in zonnige omstandigheden. In een ander aspect zijn de berekende grenzen een of meer van de volgende parameters en kenmerken: - de maximum- en minimumsnelheid van het voorwerp, - de bezettingsruimte van het voorwerp, voorgesteld door het maximum en het minimum op elke as van een coördinatenstelsel.

- de omgevingsomstandigheden en scènetypes, wat inhoudt dat deze niet drastisch mogen veranderen binnen het geanalyseerde tijdsinterval.

In een ander aspect bestaan de coördinatenstelsels uit: - Een 2D cartesisch coördinatenstelsel, - Een 3D cartesisch coördinatenstelsel, of - Een 2D of een 3D Frenet coördinatenstelsel.

In een ander aspect wordt de aanname over de nieuwe snelheden en posities van de objecten op basis van de versnelling van de objecten als volgt berekend: - v_max = vorige_v + a_max*delta_t - v_min = vorige_v + a_min*detla_t - p_max = vorige_p_max + vorige_v*delta_t + 0,5*a_max*delta_t"2

- pmin = previous p min + previous v*deltat + 0,5*a_min*delta_t"2. In een ander aspect wordt de veronderstelling over de maximum- en minimumsnelheden van de objecten als volgt berekend: — V_max = min(vorige_v + a_max*delta_t, v_aanname_max) — v_min = max(vorige_v + a_min*delta_t, v_aanname_min) In een ander aspect wordt gecontroleerd - of een geschatte begrenzingsbox van het object binnen de grenzen blijft die de maximum- en minimumpositie van de begrenzingsbox definiëren, en - of de geschatte snelheid van het voorwerp binnen de grenzen van de maximum- en de minimumsnelheid blijft - of als een van die In een ander aspect worden het waargenomen scènetype en de omgevingsomstandigheden, of combinaties van types en omstandigheden zoals hierboven beschreven, geanalyseerd en aan elkaar aangepast gedurende het tijdsinterval.

In een ander aspect wordt een melding verzonden wanneer de geschatte toestand van het object buiten de berekende grenzen blijft, bij voorkeur via de CAN-bus.

Acties die na ontvangst van dit signaal worden ontwikkeld, zoals bijvoorbeeld het in gang zetten van een noodmanoeuvre, zijn facultatief voor het systeem, en vallen buiten het toepassingsgebied van de uitvinding.

Een ander voorwerp van de uitvinding is een gegevensverwerkingssysteem voor het opsporen van inconsistenties in de waarnemingen van waarnemingssystemen (1.2) en waarnemingssensoren (1.1) van een geautomatiseerd voertuig (1) en dat op een elektronische besturingseenheid (1.3) draait, met middelen voor het uitvoeren van de stappen van: a. het ontvangen en opslaan van de waargenomen toestanden van de scène van perceptiesystemen (1.2) en sensoren (1.1), b. berekening van de grenzen van een of meer mogelijke toestanden van een eerder waargenomen object op een gegeven tijdstip op basis van de eerdere toestanden van het object, de aannames over het gedrag van het object, of de evolutie van het scènetype en/of de omgevingsomstandigheden, of een combinatie daarvan, c. controleren of een geschatte toestand van een scène of object binnen de berekende grenzen blijft, d. verzending van een melding wanneer een geschatte toestand niet binnen een berekende grens blijft naar de elektronische regeleenheid (1.3), e. de elektronische besturingseenheid naar keuze veiligheidsmaatregelen laten uitvoeren op basis van de melding van stap d. Een ander voorwerp van de uitvinding is een computer-leesbaar medium met opgeslagen instructies om de computer de stappen te laten uitvoeren van de inconsistentie-opsporingsmethode van de onderhavige uitvinding.

Een ander doel van de uitvinding is een AD/ADAS-voertuig met het gegevensverwerkingssysteem van de uitvinding, of het computer-leesbare medium van de uitvinding.

KORTE BESCHRIJVING VAN DE TEKENINGEN Figuur 1 is een schematisch stroomdiagram van het inconsistentiesignaleringssysteem van de onderhavige uitvinding in een autonoom voertuig.

Figuur 2 is een stroomschema van de methode voor de detectie van inconsistenties in autonome voertuigen van de onderhavige uitvinding.

GEDETAILLEERDE BESCHRIJVING VAN DE TEKENINGEN Figuur 1 is een schematisch stroomschema van het inconsistentiesignaleringssysteem van de onderhavige uitvinding in een autonoom voertuigsysteem (1). De door sensoren (1.1) gemeten informatie uit de omgeving wordt naar de waarnemingssystemen (1.2) van het geautomatiseerde voertuig geleid.

Voorbeelden van sensoren zijn: =» Camera's, = Light Detection And Ranging, ook wel LIDAR genoemd, « Radars, of = Plaatsbepaling met wereldwijd satellietnavigatiesysteem, ook GNSS- plaatsbepaling genoemd.

De perceptiesystemen (1.2) van het voertuig interpreteren de ruwe informatie van de sensoren (1.2) en extraheren waarnemingen over de scène.

Deze waarnemingen omvatten een of meer van de aanwezige elementen, hun positie of de omgevingsomstandigheden.

De voertuigcentrale (1.3) is in staat verschillende voertuigprocessen uit te voeren, zoals voertuigbesturing en besluitvormingseenheden die taken als trajectplanning uitvoeren.

De outputs van de voertuigcentrale (1.3) worden uitgevoerd door de actuatoren van het voertuig (1.4). Het inconsistentiesignaleringssysteem (1.5) van de onderhavige uitvinding bewaakt informatie van de sensoren (1.1) en de waarnemingssystemen (1.2), hierna gezamenlijk aangeduid als waarnemingen.

Het inconsistentiesignaleringssysteem (1.5) informeert de voertuigcentrale (1.3) over de betrouwbaarheid van deze waarnemingen.

Het systeem draait op een elektronische besturingseenheid met een of meer processoren en een geheugen.

Het geheugen kan een of meer instructies bevatten die door een of meer processoren kunnen worden uitgevoerd en die leiden tot de opsporing van inconsistenties in de invoerwaarnemingen die bij de elektronische besturingseenheid zijn binnengekomen.

Het systeem ontvangt waarnemingen van het tafereel en van voorwerpen in de omgeving van een of meer sensoren (1.1) of van een of meer waarnemingssystemen (1.2) in het voertuig.

Het systeem kan aanvullende input ontvangen van informatie over de weg, zoals de vorm van de weg, de kromming, de verkeerssituatie, de toestand van het wegdek of een combinatie daarvan.

Het systeem kan ook aanvullende input ontvangen zoals omgevingsomstandigheden, waaronder de stand van de zon, het weer of de vochtigheidsgraad.

In een andere belichaming ontvangt het systeem de waarnemingen op één enkel tijdstip of gedurende een interval dat opeenvolgende tijdstippen omvat. In een andere belichaming ontvangt het systeem eerder vermelde input, waarnemingen en tijden.

In het algemeen genereert elke waarneming van het reële tafereel dat door de sensoren (1.1) of de waarnemingssystemen (1.2) wordt waargenomen, één of meer waarnemingstoestanden in het inconsistentiesysteem die aan een tijd gekoppeld zijn. Elke waargenomen toestand wordt gedurende een vaste tijdsperiode opgeslagen. Een waargenomen toestand kan bijvoorbeeld gedurende 2 seconden worden opgeslagen. In de daaropvolgende perioden worden de systeeminputs van de huidige waargenomen toestand geactualiseerd tot geschatte toestanden. De geschatte toestanden worden verkregen door berekening van de grenzen van de mogelijke toestanden van de objecten of het tafereel, hierna toestandsgrenzen genoemd. De berekening van de staatsgrenzen is gebaseerd op een of meer van de volgende parameters en kenmerken: = de eerder ontvangen waarnemingen, = de veronderstellingen over het gedrag of het aspect van het object, en = de ontvangen informatie over de weg en de milieuomstandigheden. Zodra de huidige waarnemingen zijn ontvangen, beoordeelt het inconsistentiedetectiesysteem (1.5) hun consistentie, zoals aangegeven in figuur

2. In een eerste stap controleert het inconsistentiedetectiesysteem (1.5) voor elke nieuwe waargenomen toestand of er eerder opgeslagen geschatte toestanden van hetzelfde object of dezelfde scène bestaan. Indien er geen eerder opgeslagen geschatte toestanden van hetzelfde object of volledige of gedeeltelijke scène zijn, voert het systeem geen inconsistentiecontrole uit. Indien er eerder opgeslagen geschatte toestanden van hetzelfde object of volledige of gedeeltelijke scène zijn, voert het systeem een inconsistentiecontrole uit. De inconsistentiecontrole bestaat uit het beoordelen of de huidige waargenomen toestand al dan niet binnen de geschatte toestandsgrenzen ligt. Indien de nieuwe waargenomen toestand buiten de berekende grenzen ligt, zal het inconsistentiedetectiesysteem (1.5) de output van het waarnemingssysteem (1.2) of van de sensoren (1.1) als inconsistent beschouwen.

Als een inconsistentie wordt gedetecteerd, stuurt het inconsistentiedetectiesysteem een signaal naar de regeleenheden in het voertuig om dienovereenkomstig en veilig te handelen. Met deze signalering kunnen de regeleenheden passende acties uitvoeren om de inconsistentie te beperken, zoals het informeren van andere daaropvolgende systemen, zoals bijvoorbeeld systemen die verantwoordelijk zijn voor planning, besluitvorming en controle van het autonome voertuig. In één uitvoering vallen de acties die worden ondernomen door het besturingssysteem (1.4) dat de inconsistentiesysteem-signalen van sensor- of waarnemingsinconsistenties ontvangt, buiten het toepassingsgebied van deze uitvinding. Tabel 1: Engelse uitdrukkingen die in de tekeningen zijn gebruikt voor de vertaling: Autonomous vehicle Autonoom voertuig Sensor Sensor Perception component Perceptie-element Inconsistency detector Inconsistenteetector Planning and control components Onderdelen voor planning en regeling Actuators Actuatoren Receive a new observation Ontvang een nieuwe waarneming Check if there exists previous Controleer of er eerdere observations of the same object waarnemingen van hetzelfde object bestaan Yes Ja No Nee

Exit Exit Calculate boundaries from each previous Bereken de grenzen van iedere observation voorgaande waarneming Check whether the new observation stays Controleer of de nieuwe waarneming inside all boundaries binnen alle grenzen blijft Notify other systems about the Informeer andere systemen over de inconsistency inconsistentie

Claims (13)

1. Een in een computer geïmplementeerde methode voor het opsporen van inconsistenties in de waarnemingen van waarnemingssystemen (1.2) en waarnemingssensoren (1.1) van een geautomatiseerd voertuig (1) en die op een elektronische besturingseenheid (1.3) draait, die de stappen omvat van: a. het ontvangen en opslaan van de waargenomen toestanden van de scène en de omgeving van perceptiesystemen (1.2) en sensoren (1.1), b. berekening van de grenzen van een of meer mogelijke toestanden van een eerder waargenomen object op een gegeven tijdstip, gebaseerd op de eerdere toestanden van het object, de veronderstellingen omtrent het gedrag van het object, of het type scène, of de omgevingsomstandigheden, of een combinatie daarvan, c. controleren of een geschatte toestand van een scène of object binnen de in stap b verkregen berekende grenzen blijft, d. het verzenden van een melding wanneer een geschatte toestand niet binnen een berekende grens blijft naar de elektronische regeleenheid (1.3), e. de elektronische besturingseenheid naar keuze veiligheidsmaatregelen laten uitvoeren op basis van de melding van stap d.

2. De inconsistentie-detectiemethode van conclusie 1, waarbij de waargenomen toestanden van de scène objecten, wegvormen, of omgevingscondities of combinaties daarvan zijn.

3. De inconsistentiedetectiemethode van een van de voorgaande conclusies, waarbij de waargenomen en geschatte toestanden van scènes, objecten, wegvormen, of omgevingsomstandigheden of combinaties daarvan worden opgeslagen en vervolgens gebruikt om de grenzen van toestanden van objecten in de toekomst te berekenen of om de huidige waargenomen toestanden te vergelijken met toekomstige waargenomen toestanden.

4. De inconsistentiedetectiemethode van een van de voorgaande conclusies, waarbij de waargenomen en geschatte toestanden gedurende een vaste tijdsperiode worden opgeslagen, waarbij de vaste periode tussen 0,1 en 10 seconden ligt, bij voorkeur tussen 1 en 5 seconden, nog meer bij voorkeur tussen 1,5 en 3 seconden.

5. De inconsistentie-detectiemethode van een van de voorgaande conclusies, waarbij de waargenomen en geschatte toestanden worden opgeslagen totdat nieuwe informatie over hetzelfde object wordt ontvangen.

6. De inconsistentie-detectiemethode van een van de voorgaande conclusies, waarbij grenzen van mogelijke toestanden van een object of een scène worden berekend op een gegeven tijdstempel.

7. De inconsistentiedetectiemethode van een van de voorgaande conclusies, waarbij de grenzen worden berekend op basis van een of meer van de volgende elementen a. de vorige bounding box van het object, b. de vorige snelheid van het object, c. de vorige versnelling van het object, d. de vorige rubriek van het object, e. de vormen van de weg of de rijstrookmarkeringen, f. de aanname van de maximale versnelling van het object, g. de aanname van de minimale versnelling van het object, die negatief kan zijn, h. de aanname van de maximumsnelheid van het object, i de aanname van de minimumsnelheid van het object, j de aanname over de ruimtegrens die het object zou kunnen bereiken, k. de veronderstelling dat de omgevingscondities fluctueren...

8. De inconsistentiedetectiemethode van een van de voorgaande conclusies, waarbij de berekende grenzen een of meer van de volgende waarden zijn: a. de maximum- en minimumsnelheid van het voorwerp, b. de bezettingsruimte van het voorwerp, voorgesteld door het maximum en het minimum op elke as van een coördinatenstelsel.

9. De inconsistentiedetectiemethode van een van de voorgaande conclusies, waarbij de coördinatenstelsels bestaan uit: a. Een 2D cartesisch coördinatenstelsel, b. Een 3D cartesisch coördinatenstelsel, of c. Een 2D of een 3D Frenet coördinatenstelsel.

10. De inconsistentie-detectiemethode van een van de voorgaande conclusies, waarbij de aanname over de versnelling van de objecten als volgt wordt berekend: a. v max = vorige v + a_max*delta_t b. v_min = vorige _v + a_min*detla_t c. p_max = vorige_p_max + vorige_v*delta_t + 0,5*a_max*delta_t"2 d. p_min = previous_p_min + previous _v*delta_t + 0,5*a_min*delta_t"2.

11.De inconsistentiedetectiemethode van een van de voorgaande conclusies, waarbij de aanname over de versnelling en snelheid van de objecten als volgt wordt berekend: a. v_max = min(vorige_v + a_max*delta_t, v_aanname_max) b. v_min = max(vorige_v + a_min*delta_t, v_aanname_min)

12.Een gegevensverwerkingssysteem voor het opsporen van inconsistenties in de waamemingen van waarmemingssystemen (1.2) en waarnemingssensoren (1.1) van een geautomatiseerd voertuig (1) en dat draait op een elektronische besturingseenheid (1.3), voor het uitvoeren van de stappen van: a. het ontvangen en opslaan van de waargenomen toestanden van de scène van perceptiesystemen (1.2) en sensoren (1.1), b. berekening van de grenzen van een of meer mogelijke toestanden van een eerder waargenomen object op een gegeven tijdstip, gebaseerd op de eerdere toestanden van het object, de veronderstellingen omtrent het gedrag van het object, of het type scène, of de omgevingsomstandigheden, of een combinatie daarvan, c. controleren of een geschatte toestand van een scène of object binnen de in stap b verkregen berekende grenzen blijft,

d. verzending van een melding wanneer een geschatte toestand niet binnen een berekende grens blijft naar de elektronische regeleenheid (1.3), e. de elektronische besturingseenheid naar keuze veiligheidsmaatregelen laten uitvoeren op basis van de melding van stap d.

13.Een AD/ADAS-voertuig met het gegevensverwerkingssysteem van conclusie 12, of geconfigureerd om de methode van de conclusies 1 tot en met 11 toe te passen.