NL1005705C2 - Inrichting voor het afleiden van positie-informatie omtrent doosvormige voorwerpen en werkwijze waarbij de inrichting wordt toegepast. - Google Patents

Description

Titel: Inrichting voor het afleiden van positie-informatie omtrent doosvormige voorwerpen en werkwijze waarbij de inrichting wordt toegepast

Achtergrond van de uitvinding

De uitvinding betreft een inrichting voor het afleiden van informatie omtrent de ruimtelijke positie van doosvormige voorwerpen uit beeld-Informatie omtrent die voorwerpen. Voorts betreft de 5 uitvinding een werkwijze waarbij de inrichting wordt toegepast.

Bij het transport en de distributie van goederen vindt in veel gevallen tussenopslag van de goederen plaats. Dit gebeurt o.a. bij de verzending van pakketten, bijvoorbeeld door een 10 postorganisatie. De pakketten, in het algemeen doosvormige voorwerpen, worden ten behoeve van de genoemde tussenopslag in geordende stapels ondergebracht, zoals in kooivormige houders (rolcontainers) of op laadborden (pallets). Pakketten moeten te eniger tijd ook weer uit die stapels worden genomen, om ze te kunnen distribueren over 15 verschillende bestemmingen. Wanneer dit met de hand gebeurt, is dit een arbeidsintensief en lichamelijk belastend proces. Er wordt derhalve naar mogelijkheden gezocht om dit proces door robots te doen uitvoeren. Deze dienen daartoe over informatie te beschikken omtrent de ruimtelijke positie van pakketten in de betrokken stapel. De stapel 20 is in die zin geordend, dat de begrenzende vlakken - de zijwanden, boven- en onderkant - van de pakketten hoofdzakelijk horizontale en verticale rechthoekige vlakken zijn en de randen van die vlakken in hoofdzaak parallel lopen. Het bepalen van ruimtelijke informatie omtrent de pakketten uit beelden van de stapel komt dan neer op het 25 onderscheiden van horizontale en verticale vlakken in de beelden en het bepalen van de overgangen tussen die vlakken, de randen van de vlakken. Een probleem hierbij vormt het feit dat de reflectiecoëfficiënt, het licht-weerkaatsend vermogen representerend, over één vlak van een bepaald pakket sterk kan variëren. Deze variatie 30 is dan veelal het gevolg van het aanwezig zijn van opschriften, labels of versieringen, maar kan ook veroorzaakt worden door sterk reflecterende gebieden, bijvoorbeeld op plaatsen waar plakband is aangebracht. Het is derhalve niet voldoende om abrupte lichtintensiteitsovergangen in een, van een stapel pakketten 35 opgenomen, beeld te detecteren.

1005705 2

Samenvatting van de uitvinding

De inrichting volgens de uitvinding verschaft de middelen om het onderscheiden van horizontale en verticale vlakken van doosvormige 5 voorwerpen, in het bijzonder pakketten, in een stapel mogelijk te maken, alsmede de overgangen tussen dergelijke vlakken vast te stellen, waarbij de invloed van variaties in de reflectiecoëfficiënt nagenoeg wordt geëlimineerd. Een inrichting volgens de uitvinding omvat daartoe: 10 - een camera op een eerste positie schuin boven en vóór de stapel, zodanig dat de optische as van de camera zich bevindt in een verticaal vlak dat hoofdzakelijk loodrecht staat op zijvlakken van de voorwerpen die, vanuit de camera gezien voorvlakken van de voorwerpen zijn, waarbij de optische as een eerste hoek et maakt met 15 het horizontale vlak waarop de stapel rust; - een eerste lichtbron op een tweede positie, waarvan het licht hoofdzakelijk gebundeld is in een richting onder een tweede hoek met het horizontale vlak waarop de stapel rust, waarbij die tweede hoek groter is dan a; 20 - een tweede lichtbron op een derde positie, waarvan het licht hoofdzakelijk gebundeld is in een richting onder een derde hoek met het horizontale vlak waarop de stapel rust, waarbij die derde hoek kleiner is dan de tweede hoek; - geheugenmiddelen voor het opslaan van intens!teitswaarden voor 25 beeldpunten in met behulp van de camera opgenomen beelden; - rekenmiddelen voor het uitvoeren van mathematische bewerkingen op intensiteitswaarden, opgeslagen in de geheugenmiddelen.

Hoewel verder steeds sprake zal zijn van twee afzonderlijke 30 lichtbronnen, kunnen in een inrichting volgens de uitvinding de eerste en tweede lichtbron gevormd worden door één en dezelfde lichtbron, die op geëigende tijdstippen van de tweede naar de derde positie, of in omgekeerde richting, wordt verplaatst, danwel waarvan de lichtbundel met behulp van spiegels achtereenvolgens in twee verschillende 35 richtingen wordt geleid.

Volgens een voorkeursuitvoering van de uitvinding bevindt de camera zich in een zodanige positie, dat de optische as een hoek van 10 0 5 7 0 5 3 omstreeks 45 graden maakt met het horizontale vlak waarop de stapel rust, is het licht van de eerste lichtbron gebundeld in een richting onder een hoek van 60 tot 90 graden met het horizontale vlak en is het licht van de tweede lichtbron gebundeld in een richting onder een hoek 5 van 0 tot 30 graden met het horizontale vlak. De camera en de beide lichtbronnen bevinden zich daarbij vóór en boven de stapel.

De werkwijze volgens de uitvinding, gebruik makend van de inrichting volgens de uitvinding, omvat de volgende stappen: 10 - het met de camera opnemen van een eerste beeld van de stapel voorwerpen, waarbij de stapel verlicht wordt door de eerste of door de tweede lichtbron, alsmede het in de geheugenmiddelen opslaan van intens!teitswaarden voor de beeldpunten in het opgenomen eerste beeld; 15 - het met de camera opnemen van een tweede beeld van de stapel voorwerpen, waarbij de stapel verlicht wordt door de tweede of door de eerste lichtbron, alsmede het in de geheugenmiddelen opslaan van intensiteitswaarden voor de beeldpunten in het opgenomen tweede beeld; 20 - het vergelijken van de intensiteitswaarde voor een beeldpunt in het eerste beeld en de intensiteitswaarde voor een beeldpunt in het tweede beeld.

In een voorkeursuitvoering van de werkwijze volgens de 25 uitvinding omvat de werkwijze voorts nog de volgende stappen: • het bepalen van de verhouding tussen de intensiteitswaarde voor een beeldpunt in het eerste beeld en de intensiteitswaarde voor het overeenkomstige beeldpunt in het tweede beeld; - het uitvoeren van een mathematische bewerking op de bepaalde 30 verhoudingen voor alle beeldpunten in het eerste en het tweede beeld; - het, aan de hand van de resultaten van de mathematische bewerkingen in de geheugenmiddelen doen opslaan van een matrix van beeldpunten voor een virtueel derde beeld, waarbij aan een bepaald beeldpunt van 35 het derde beeld een intensiteitswaarde wordt toegekend die representatief is voor het resultaat van de mathematische bewerking op de intensiteitsverhouding voor die beeldpunten in het eerste en het tweede beeld welke corresponderen met het beeldpunt in het derde 10 0 5 70 8 4 beeld.

In een verdere voorkeursuitvoering van de werkwijze volgens de uitvinding omvat de werkwijze voorts nog de volgende stappen: 5 - het in het derde beeld vaststellen van lijnen die de grenzen vormen tussen eerste en tweede gebieden, waarbij geldt dat binnen de eerste gebieden de intensiteit voor de tot die eerste gebieden behorende beeldpunten op of omstreeks een eerste waarde ligt en dat binnen de tweede gebieden de intensiteit voor de tot die tweede gebieden 10 behorende beeldpunten op of omstreeks een tweede waarde ligt, en waarbij de eerste gebieden overeenkomen met nagenoeg horizontale vlakken van de voorwerpen en de tweede gebieden met nagenoeg verticale vlakken van de voorwerpen; - het, uitgaande van een eerste lijn, die de grens vormt tussen een 15 horizontaal en een verticaal vlak, waarbij het horizontale vlak zich in het derde beeld boven het verticale vlak bevindt, vaststellen of het verticale vlak een hoofdzakelijk rechthoekige vorm heeft, begrensd door de eerste lijn en drie ononderbroken lijnen daaronder.

20

Korte beschrijving van de tekening

De uitvinding zal nader worden toegelicht middels een beschrijving van een uitvoeringsvoorbeeld, waarbij wordt verwezen naar een tekening, waarin: 25 FIG. IA een zij-aanzicht verschaft van een inrichting volgens de uitvinding; FIG. 1B een aanzicht verschaft van een inrichting volgens de uitvinding, in een richting loodrecht op die van FIG. IA; FIG. 2 een beeld geeft van de omtrekken van een pakket, zoals 30 dit vanaf het camerastandpunt kan worden waargenomen; FIG. 3 een zijaanzicht verschaft van een mogelijke stapeling van voorwerpen.

35 Beschrijving van een uitvoeringsvoorbeeld

De inrichting volgens de uitvinding kan bijvoorbeeld deel uitmaken van een inrichting voor het leeghalen van een kooivormige houder voor tussenopslag van goederen. In het bijzonder kan het 1005705 5 hierbij gaan om het leeghalen van rolcontainers met pakketten, teneinde deze pakketten verder te distribueren. In het te beschrijven uitvoeringsvoorbeeld wordt uitgegaan van grijpermiddelen voor het oppakken van een pakket die enerzijds aangrijpen op de onderste rand 5 van een verticaal vlak dat, gezien vanuit het camerastandpunt, de voorkant van het pakket genoemd kan worden, anderzijds op de achterrand van de bovenkant van het pakket. Om een pakket te kunnen oppakken is het dan derhalve noodzakelijk om de onderrand van de voorkant en de achterrand van de bovenkant van een pakket te 10 detecteren. Uiteraard geldt dat, wanneer gebruik wordt gemaakt van grijpermiddelen die op andere punten aangrijpen, bijvoorbeeld van een vacuümgrijper die een pakket van bovenaf benadert, de door de inrichting afgeleide positie-informatie op een daaraan aangepaste wijze dient te worden benut.

15

Het heeft uiteraard alleen maar zin om te trachten een pakket op te pakken waartoe de grijpermiddelen onbelemmerd toegang hebben, zonder dat een ander pakket zich in de baan van de grijpermiddelen bevindt. Daarom dient ook te worden vastgesteld of een pakket, waarvan 20 de genoemde randen zijn gedetecteerd, toegankelijk is, "grijpbaar" is.

De figuren FIG. IA en FIG. 1B geven respectievelijk een zijaanzicht en een aanzicht loodrecht daarop van de inrichting volgens een voorkeursuitvoering van de uitvinding. In FIG. IA en FIG. 1B is 25 (C) een zwart-wit-camera, waarmee beelden kunnen worden opgenomen van een stapel pakketten. De stapel bestaat in FIG. IA en FIG. 1B, teneinde het beeld niet te overladen, uit slechts drie pakketten. Eén lichtbron, (LV) in de figuren FIG. IA en FIG. 1B, bevindt zich nagenoeg recht boven de stapel, de andere lichtbron (LH) nagenoeg 30 recht vóór de stapel, gezien vanuit een positie ten opzichte van de stapel nabij de camera. In een voorkeursopstelling maakt de optische as van de camera een hoek van omstreeks 45 graden met het horizontale vlak; de lichtbundel, uitgestraald door lichtbron (LV), maakt een hoek van omstreeks 63 graden met het horizontale vlak. Voor de hoek die de 35 lichtbundel van lichtbron (LH) met het horizontale vlak maakt, is in de voorkeursopstelling 25 graden gekozen. Voor beide lichtbundels geldt dat ze niet parallel aan de optische as van de camera gericht zijn, zoals in FIG. 1B zichtbaar is. Anders gezegd; de lichtbronnen 10 0 5 7 0 5 6 (LV) en (LH) bevinden zich op enige afstand aan weerszijden van een verticaal vlak door de optische as van de camera. Voorts dienen de lichtbronnen elk op voldoende afstand van de camera te staan, teneinde het contrast tussen een beeld, opgenomen onder verlichting door de ene S lichtbron, en een beeld, opgenomen onder verlichting door de andere lichtbron, voldoende groot te doen zijn. In deze beschrijving is steeds sprake van twee lichtbronnen, maar er zou ook gebruik gemaakt kunnen worden van een enkele lichtbron die afwisselend op de ene en dan weer op de andere van de voorkeursposities wordt geplaatst. In het 10 beschreven uitvoeringsvoorbeeld is verder voor de hoek, die de door (LH) uitgezonden lichtbundel met het horizontale vlak maakt, gekozen voor een waarde die kleiner is dan die van de hoek, die de optische as van de camera met het horizontale vlak maakt. Essentieel voor het maken van onderscheid tussen horizontale en verticale vlakken is 15 echter slechts dat de hoekwaarde voor (LH) kleiner is dan die voor (LV).

De opstelling volgens de figuren FIG. IA en FIG. 1B maakt het mogelijk: 20 a) tegelijk zowel een beeld van de bovenkant als van de voorkant van een pakket op te nemen met de camera; b) een beeld op te nemen van de stapel, terwijl deze verlicht wordt door de ene lichtbron en vervolgens een beeld met verlichting door de andere lichtbron; 25 c) verticale spleten tussen pakketten te benadrukken.

De eigenschappen a), b) en c) van de inrichting zijn enerzijds nodig om de grijpermiddelen op de bovengeschetste wijze een pakket te kunnen laten oppakken. Anderzijds maken zij het mogelijk om storende 30 details op de boven- of voorkant van een pakket nagenoeg te elimineren door op geschikte wijze beelden, die na elkaar met afwisselend ingeschakelde lichtbronnen zijn opgenomen, te combineren.

In een verdere voorkeursuitvoering van de inrichting worden de 35 lichtbronnen (LV) en (LH) gevormd door flitslampen. Dit komt de snelheid van de beeldvorming ten goede, terwijl de lichtkracht hoog is ten opzichte van het omgevingslicht, zodat de inrichting in dit opzicht niet afhankelijk is van omgevingsinvloeden.

1 0 05 7 0 5 7 FIG. 2 geeft een beeld van de omtrekken van een pakket, zoals dit vanaf het camerastandpunt kan worden waargenomen. Door perspectivische vertekening zijn sommige lijnen, die in werkelijkheid evenwijdig lopen, in het beeld niet evenwijdig. Het gaat hierbij om de 5 in werkelijkheid horizontaal verlopende lijnen (4) en (6) en de in werkelijkheid verticaal verlopende lijnen (5) en (7). In FIG. 2 is (T) de bovenkant van het pakket en (F) de voorkant. Voor het bepalen van de plaatsen, waarop grijpermiddelen op de in de inleiding genoemde wijze dit pakket zouden kunnen aangrijpen, dienen de posities van de 10 randen (1) en (3) te worden vastgesteld.

FIG. 3 verschaft een zijaanzicht van een mogelijke stapeling van pakketten. Camera en lichtbronnen zijn in deze figuur niet weergegeven, maar zij dienen geacht te worden zich te bevinden, zoals 15 in FIG. IA, in een gebied links van en boven de stapel; in FIG. 3 is de doorsnede van dit gebied met het vlak van het papier gearceerd aangegeven. In het geval van de weergegeven stapeling van pakketten heeft de aanwezigheid van het linker pakket tot gevolg dat de overige pakketten niet toegankelijk zijn voor de grijpermiddelen. Alleen dit 20 linker pakket is toegankelijk; de plaatsen voor aangrijping door de grijpermiddelen zijn in FIG. 3 met pijlen aangegeven. De streeplijnen in de figuur geven grenzen aan van het gebied (8), waarbinnen zich pakketten mogen bevinden. Dit gebied (8) is een denkbeeldig parallellepipedum; het heeft uiteraard ook een afmeting loodrecht op 25 het papier.

De in figuren FIG. IA en FIG. 1B afgebeelde inrichting wordt in de werkwijze volgens de uitvinding op de volgende wijze gebruikt.

30 Op een eerste tijdstip wordt met camera (C) een eerste beeld opgenomen, onder verlichting van de stapel pakketten door één van beide lichtbronnen; in de hierna volgende beschrijving wordt er van uitgegaan dat het eerste beeld wordt opgenomen onder verlichting door lichtbron LV, met een nagenoeg verticaal gerichte lichtbundel. Het 35 beeld wordt in gedigitaliseerde vorm in geheugenmiddelen opgeslagen, waarbij in een voorkeursuitvoering de lichtintensiteit Iv(x,y) voor elk beeldpunt (x,y) een waarde van 0 tot en met 255 kan hebben; er wordt dus met 8 bits per beeldpunt gecodeerd. De waarde 0 komt overeen met 10 0 5 7 0 5 8 zwart, de waarde 255 met maximaal helder.

Op een volgend, tweede tijdstip wordt een tweede beeld opgenomen, onder verlichting van de stapel door de andere lichtbron, 5 in het beschreven geval dus LH, met een nagenoeg horizontaal gerichte lichtbundel. Ook dit tweede beeld wordt in gedigitaliseerde vorm, als intensiteitswaarden Ih(x,y) in geheugenmiddelen opgeslagen, met dezelfde codering als het eerste beeld.

10 Het eerste en het tweede beeld worden op de volgende wijze gecombineerd. Voor elk paar beeldpunten (x,y) in het eerste en het tweede beeld wordt een vergelijking gemaakt tussen de intensiteitswaarde voor een beeldpunt (x1(yj) in het eerste beeld, Iv(Xl,yj) en de intensiteitswaarde voor het overeenkomstige beeldpunt 15 (op dezelfde plaats in het beeld) in het tweede beeld, Ij^x^yj).

Teneinde horizontale vlakken te kunnen onderscheiden van verticale vlakken, is het voldoende te bepalen voor welke vlakken de intensiteitswaarde bij verlichting door LV groter is dan bij verlichting door LH. Anders gezegd: er is sprake van een horizontaal 20 vlak ter plaatse van (xt,yj), indien geldt: I^x^yj) > Ih(xltyj), althans tot een zekere grens. Indien I^x^yj) > Ij^x^yj), dan is er kennelijk sprake van een schaduw (op een verticaal vlak) bij belichting door LH.

25 Overigens is bij de hierboven weergegeven redenering aangenomen dat de lichtbronnen LV en LH dezelfde sterkte hebben. In dit verband zou het gebruik van een enkele lichtbron, die afwisselend op de positie van LV en van LH wordt geplaatst, voordelen bieden. Verder verdient het aanbeveling een normering toe te passen op de 30 intensiteitswaarden in een beeld, door bepaling van de intensiteitswaarden ter plaatse van een balkje, in FIG. IA en FIG. 1B met (B) aangegeven, met een bekende oriëntatie. Uit deze bekende oriëntatie volgt dan wat de intensiteitsverhouding Iy/I^ zou moeten zijn voor een horizontaal, respectievelijk verticaal vlak.

35

Bij voorkeur wordt ter vergelijking van Iv en Ih de verhouding Ι,/Ijj bepaald. Aangenomen mag worden dat de reflectiecoëfficiënt, in het geval van pakketten zoals deze zich in de inrichting bevinden, 100 5 7 0 5 9 niet afhankelijk is van de hoek, waaronder licht op een vlak van een pakket valt. Met andere woorden: van de oppervlakken van pakketten mag worden verondersteld dat ze in het algemeen Lambertiaans zijn. Bij bepaling van de verhouding Iy/Ih zal dan in de teller en noemer van de 5 breuk dezelfde reflectiecoëfficiënt voorkomen, hetgeen resulteert in een waarde voor de verhouding 1^/1^ die niet afhankelijk is van de reflectiecoëfficiënt. Dit gaat alleen niet op voor gedeelten van pakketoppervlakken die geen Lambertiaanse verstrooiing opleveren, zoals waar sterk reflecterend plakband aanwezig is.

10

Teneinde een betere verdeling van intensiteitsverhoudingswaarden over een waardenbereik te verkrijgen, wordt in een voorkeursuitvoering van de werkwijze volgens de uitvinding op de waarden voor Ιγ/Ι^ een mathematische bewerking uitgevoerd. Met voordeel kan hiervoor de 15 arctangensfunctie worden gebruikt. De betrokken stap in de werkwijze houdt dan in: het bepalen, voor elk beeldpunt (x,y), van de waarde voor arctangens^ix.yJ/Ijjix.y)). Aan de hand hiervan wordt aan het overeenkomstige beeldpunt (weer op dezelfde plaats in het beeld) een intensiteitswaarde toegekend in het resulterende derde beeld.

20

De intensiteitswaarden voor het derde beeld zijn weer (nagenoeg) onafhankelijk van waarden voor de reflectiecoëfficiënt voor de verschillende, vlakken die zichtbaar zijn voor de camera.

25 Voor het bepalen van de aangrijpingspunten voor grijpermiddelen op vlakken van een voor die grijpermiddelen toegankelijk pakket, is het niet voldoende de positie van horizontale en verticale vlakken in het verkregen beeld vast te stellen. Juist voor het bepalen of een pakket al of niet toegankelijk is, dienen ook de randen en de 30 eventuele onderbrekingen daarin te worden vastgesteld. Daartoe wordt op het geconstrueerde derde beeld - in feite een matrix van intensiteitswaarden van beeldpunten in een virtueel beeld - een aantal bewerkingen uitgevoerd, hierna te beschrijven.

35 In de matrix van intensiteitswaarden worden achtereenvolgens van links naar rechts en in iedere kolom van boven naar beneden de intensiteitswaarden van beeldpunten in beschouwing genomen. Voor elk beeldpunt in het derde beeld kan worden vastgesteld of het tot een 1005705 10 horizontaal of tot een verticaal vlak behoort. In het hierna volgende deel van de beschrijving zal een beeldpunt, behorend tot een horizontaal vlak, met H worden aangeduid en een beeldpunt, behorend tot een verticaal vlak, met V. Per kolom worden alle "H-*V-overgangen" 5 vastgesteld, dat wil zeggen: alle plaatsen waar zich in de matrix een H boven een V bevindt. Daarmee worden dus de overgangen tussen bovenkanten (T) en voorkanten (F) van pakketten bepaald, de "T/F-randen". Is in een kolom met coördinaat xt een H-»V-overgang aangetroffen, dan wordt nagegaan of zich in de kolom links hiervan, 10 met coördinaat Xj.j, een H-*V-overgang bevindt, die een overgang is tussen dezelfde vlakken als die in kolom in beschouwing zijn genomen. Daartoe kan op de hierna beschreven wijze te werk worden gegaan.

15 Stel dat in kolom x1 een H-*V-overgang wordt geconstateerd, waarbij geldt dat beeldpunt (x1(yj) tot de categorie H behoort (kortweg: (x^y^) is H) en (xlfyj+i) is V. In het "ideale" geval, waarin sprake is van een horizontale rand tussen een horizontaal en een verticaal vlak, zal (Xj._i.yj) H zijn en (Xj._i»yj+i) zal V zijn. Met 20 andere woorden: het grenspunt (x1(yj) heeft een linkerbuur in kolom x^, met óók een H-*V - overgang, op dezelfde hoogte in de matrix. Dan behoren de H-»V-overgangen in kolom x^j en kolom kennelijk tot dezelfde overgangslijn tussen een horizontaal (boven)vlak en een verticaal (voor)vlak. De betrokken grenspunten worden opgeslagen in 25 een lijst, een "randlijst" voor de betrokken overgangslijn, c.q. het grenspunt in kolom xt wordt toegevoegd aan een bestaande randlijst. In plaats van dit "ideale" geval kunnen zich nog andere voordoen, met name wanneer de rand tussen horizontaal en verticaal vlak niet horizontaal is. Er kunnen in totaal vier situaties worden 30 onderscheiden. In een eerste ervan bevindt zich een linkerbuur van (xlfyp boven de rij yj in de matrix, in een tweede is er een linkerbuur op dezelfde hoogte in de matrix, in een derde is er een linkerbuur onder de rij yj en in de vierde situatie is er geen linkerbuur. Teneinde vast te stellen of zich één van de eerste drie 35 situaties voordoet, kan als volgt te werk worden gegaan. Uitgaande van de in kolom geconstateerde H-»V-overgang ((x^yj) is H en (xi(yj+1) is V), wordt allereerst nagegaan of er in de kolom links ervan eveneens een H-*V-overgang aanwezig is op dezelfde hoogte: (xi_i,yj) is 1005705 11 dan H en (*ι.ι^+ι) Is V. Is dit niet zo, dan wordt omlaag gaande in de matrix gekeken of zich naast een V in kolom x1 een H bevindt in kolom . Zo lang dit zo is, wordt verder omlaag gegaan in de matrix. Wordt daarbij de onderste rij van de matrix bereikt, dan is de 5 conclusie gerechtvaardigd dat zich onder de rij yj geen linkerbuur bevindt en wordt naar een eventuele linkerbuur boven de rij yj gezocht. Wordt daarentegen bij het omlaag gaan in de matrix een rij yj+k bereikt waarvoor geldt: (xi.i.yj+fc) is V, dan luidt de conclusie dat een linkerbuur onder de rij y^ is gevonden en wordt het grenspunt in 10 kolom xt toegevoegd aan de randlijst voor de overgangslijn waarin de linkerbuur was opgenomen, c.q. worden de betrokken grenspunten in een nieuwe randlijst opgeslagen. Een linkerbuur boven de rij y^ wordt op overeenkomstige wijze gevonden door, uitgaande van de

"oorspronkelijke" H-*V-overgang in kolom xi( omhoog te gaan in de matrix 15 en daarbij vast te stellen of zich naast een H in kolom xt een V

bevindt in kolom x^j. Wordt daarbij de bovenste rij, yj, bereikt, dan mag worden aangenomen dat zich boven de rij yj geen linkerbuur bevindt. Is zo gevonden dat zich geen van de eerste drie situaties voordoet, dan wordt de conclusie getrokken dat er geen linkerbuur is van de 20 "oorspronkelijke" H-»V-overgang in kolom xt en wordt deze H-»V-over gang vooralsnog niet opgenomen in een randlijst. Zo wordt voorkomen dat een geïsoleerde overgang, bijvoorbeeld ontstaan door een beeldstoring, in beschouwing wordt genomen tijdens het vervolg van het proces. Wordt daarentegen bij het omhoog gaan in de matrix een rij yj.m bereikt 25 waarvoor geldt: (x^, yj.B) is H, dan wordt geconcludeerd dat een linkerbuur boven de rij yj is gevonden en wordt het grenspunt in kolom xt toegevoegd aan de randlijst voor de overgangslijn waarin de linkerbuur was opgenomen, c.q. worden de betrokken grenspunten in een nieuwe randlijst opgeslagen.

30

Ter verfijning van het bovenbeschreven proces en om onnodige activiteiten in de rest van het proces te voorkomen, wordt niet tot een beginpunt van een nieuwe overgangslijn besloten, wanneer de beschouwde beeldpunten tot de achtergrond behoren. Hiertoe wordt een 35 drempelwaarde gehanteerd voor de intensiteitswaarden van de beeldpunten in de beelden waarvan wordt uitgegaan.

Is het onderzoek naar linkerburen van alle H-*V- overgangen in 1 0 0 5 7 0 5 12 kolom xt voltooid, dan wordt verder gezocht in de rechts er naast zich bevindende kolom x1+1. Zo komen achtereenvolgens alle kolommen van de matrix aan de beurt, resulterend in een verzameling randlijsten, samen de randen representerend tussen horizontale en verticale vlakken.

5

Zijn eenmaal de randen tussen horizontale en verticale vlakken, de "T/F-randen", gevonden, dan is het zaak na te gaan of deze ook inderdaad corresponderen met de posities van de pakketten, dus om de resultaten van de gevolgde werkwijze te valideren. Er kunnen zich twee 10 soorten fouten voordoen: I) De gevonden randlijn wordt geconstateerd als gevolg van de aanwezigheid van verscheidene pakketten, dus niet van één pakket.

II) De gevonden randlijn is niet de complete (zichtbare) rand 15 van het betrokken pakket.

Ad Iï

Deze situatie treedt op wanneer twee (of meer) pakketten naast elkaar gestapeld zijn. Bij het gaan langs de betrokken randlijn moet 20 vastgesteld worden of er bijvoorbeeld sprake is van een (min of meer verticale) scheidslijn tussen twee pakketten. Is deze aanwezig, dan moet de gevonden randlijn in twee afzonderlijke lijnen worden gesplitst.

25 Ad II)

Een complete "T/F-rand" wordt begrensd door twee (min of meer) verticale randen: de linker en rechter rand van voorkant en bovenkant van het betrokken pakket. Zij deze er niet, dan is de gevonden "T/F-rand" niet compleet, waarschijnlijk omdat er een ander pakket bovenop 30 gestapeld is. De gevonden randlijn mag verder niet in beschouwing worden genomen.

Zijn de gevonden randlijnen gevalideerd, dan wordt onderzocht of zich een voorkant van een pakket bevindt onder deze randlijnen. Als er 35 geen pakketten aanwezig zijn vóór de desbetreffende voorkant, zal dit vlak van het pakket nagenoeg een rechthoek zijn. Nagenoeg, omdat er in de afbeelding door de camera vertekening optreedt. Niettemin wordt een pakketvoorkant gekenmerkt door een begrenzing door vier rechte randen.

1005705 13

Is de begrenzing anders, dan dient het betrokken pakket verder buiten beschouwing te blijven: het is niet toegankelijk voor de grijperaiddelen. Er behoeft dus slechts gezocht te worden naar een (nagenoeg) rechthoekig vlak, waarvan de gevonden "T/F-rand" de 5 bovenste begrenzing vormt. Het zoeken naar de voorkant van een pakket komt dan neer op het zoeken naar de overige drie randen van de voorkant. Hierbij kan worden volstaan met de bewerking van beeldinformatie in een relatief klein deel van het beeld, onder de "T/F-rand". De drie randen die gevonden dienen te worden, voldoen bij 10 behoren tot een pakketvoorkant aan een aantal voorwaarden: - De onderrand van de voorkant is (nagenoeg) evenwijdig aan de "T/F-rand" en dient vrijwel dezelfde lengte te hebben. De kolom waarin de onderrand begint en die waarin de onderrand eindigt, komen bij 15 benadering overeen met de respectievelijke kolommen voor de "T/F- rand" .

- De linkerrand staat (nagenoeg) loodrecht op de "T/F-rand". Het bovenste punt van de linkerrand valt samen met het begin van de "T/F-rand".

20 - De rechterrand staat (nagenoeg) loodrecht op de "T/F-rand". Het bovenste punt van de rechterrand valt samen met het einde van de "T/F-rand".

Zijn de randen van de voorkant van een pakket gevonden, dan is 25 er kennelijk een rechthoekig gebied met F-beeldelementen (beeldelementen die tot een voorkant F behoren) in het beeld aanwezig, onder de "T/F-rand". Dit betekent nog niet noodzakelijkerwijs dat de voorkant in zijn geheel is gevonden: andere pakketten in de stapel kunnen het zicht op een deel van de voorkant belemmeren. De 30 toegankelijkheid van de voorkant moet in een latere fase nog worden bevestigd.

Op soortgelijke wijze als hierboven beschreven, kan de bovenkant van het pakket, waartoe de gevonden "T/F-rand" behoort, worden 35 opgespoord. Zoeken naar de bovenkant hoeft echter niet te geschieden, indien geen voorkant is gevonden. Het betrokken pakket is dan toch al niet toegankelijk voor de grijpermiddelen.

1005705 14

Na bepaling van de positie in het beeld van de voorkant en de bovenkant van een pakket, moet nog worden vastgesteld of de grijpermiddelen het pakket kunnen grijpen, het pakket toegankelijk is voor de grijpermiddelen. Hiertoe dient een antwoord te worden gevonden 5 op een aantal vragen: 1. Is de gevonden achterrand van de bovenkant werkelijk de achterrand van de bovenkant van het pakket, of wordt de gevonden achterrand gevormd door een rand van een pakket dat op het 10 beschouwde pakket rust? 2. Is de gevonden onderrand van de voorkant werkelijk de onderrand van de voorkant van het pakket, of is het vinden van de onderrand het resultaat van bedekking door een ander pakket (een pakket dat zich vóór het beschouwde pakket bevindt of dat een 15 schaduw op dat beschouwde pakket werpt)? 3. Kan één van de grijpermiddelen worden gepositioneerd vóór het beschouwde pakket, op dezelfde hoogte als de onderrand, en kan dit grijpermiddel dan horizontaal bewegen in de richting van het pakket, zonder andere pakketten te beschadigen? 20 4. Kan het andere grijpermiddel verticaal omlaag bewegen en aangrijpen op de achterrand van de bovenkant, ter ondersteuning?

Ad 1^ 25 De in het beeld zichtbare bovenkant wordt begrensd door de gevonden achterrand. Achter die bovenkant bevindt zich een ander gebied. Dit kan bestaan uit achtergrond, schaduw, of pakket-oppervlak (hetzij voorkant, hetzij bovenkant). Er zijn ook combinaties mogelijk, bijvoorbeeld wanneer het beschouwde pakket breed is en aan de 30 linkerzijde van de achterrand de achtergrond zichtbaar is, in het midden van de achterrand een voorkant van een ander pakket en aan de rechterzijde van de achterrand een schaduw, geworpen door LH.

Afhankelijk van wat zich achter de gevonden achterrand blijkt te 35 bevinden, kunnen conclusies worden getrokken met betrekking tot de toegankelijkheid van de achterkant van het pakket: la) Het gebied achter de achterrand behoort tot de achtergrond.

Dit houdt in dat de achterrand daar ter plaatse niet in 1005705 15 aanraking is met andere objecten en de achterrand daar dus ook overeenkomt met de werkelijke achterrand van het pakket. Aangezien uit de vorige stap in het proces bekend is dat de gevonden achterrand zich over de gehele breedte van het pakket 5 uitstrekt, kan geconcludeerd worden dat de gehele zichtbare achterrand overeenkomt met de werkelijke achterrand van het pakket en niet het resultaat is van bedekking door een ander pakket.

lb) Het gebied achter de achterrand wordt gevormd door een schaduw, 10 geworpen door LH.

Als de bovenkant van het beschouwde pakket een schaduw werpt wanneer de (nagenoeg) horizontaal gerichte lichtbron is ingeschakeld, betekent dit dat zich achter het pakket een spleet bevindt. Aangezien weer bekend is dat de gevonden achterrand 15 zich over de gehele breedte van het pakket uitstrekt, luidt ook hier de conclusie dat de gehele zichtbare achterrand overeenkomt met de werkelijke achterrand van het pakket.

lc) Het gebied achter de achterrand wordt gevormd door een schaduw, geworpen door LV.

20 Ter plaatse van de door LV geworpen schaduw moet zich een ander pakket boven het schaduwgebied bevinden. Uit de beschikbare informatie is geen conclusie te trekken omtrent de werkelijke, fysiek aanwezige, achterrand van het beschouwde pakket. Het verdient aanbeveling eerst de pakketten boven het beschouwde 25 pakket te bezien; het pakket dat de verticale schaduw werpt, zal dan worden verwijderd uit de stapel. Daarmee is dan de onzekerheid opgeheven.

ld) Het gebied achter de achterrand wordt gevormd door een voorkant. Er doen zich dan twee mogelijkheden voor. In het ene geval 30 bevindt het beschouwde pakket zich vóór een ander pakket, in het andere geval ligt een ander pakket (gedeeltelijk) boven op het beschouwde pakket. Als beide pakketten precies even breed zijn, kan geen onderscheid worden gemaakt tussen de twee gevallen. Oplossing van dit probleem is dan een zaak van "trial and 35 error". Overigens: als een pakket boven op het beschouwde pakket ligt, dat smaller is dan het beschouwde pakket, dan is die situatie al herkend bij het bepalen van de positie van de achterrand: die achterrand is dan niet doorlopend in het beeld.

1005705 16 le) Het gebied achter de achterrand Is een bovenkant.

Dit levert geen grond voor conclusies omtrent het samenvallen van de gevonden achterrand en de werkelijke, fysiek aanwezige, achterrand van het beschouwde pakket. Dit hangt samen met het 5 feit dat het vaak voorkomt dat, midden op het bovenvlak van het pakket, flappen samengeplakt zijn en daar een streep over de hele breedte van het pakket loopt. Deze streep wordt al snel gezien als een 'achterrand' en achter deze 'achterrand' bevindt zich dan een bovenkant, namelijk de andere helft van de 10 bovenkant van het beschouwde pakket, tenzij dit samenplakken leidt tot een gebied met directe reflectie, leidend tot conclusie lf.

lf) Het gebied achter de achterrand is er een met directe reflectie. Het is zeer onwaarschijnlijk dat een groot gebied in het beeld 15 wordt gevormd door beeldelementen met "directe reflectie"- eigenschappen. Dit treedt namelijk slechts op, indien de reflectie in de richting van de camera plaats vindt. In de praktijk heeft zich deze situatie nog niet voorgedaan.

20 Op deze wijze kan worden getracht de gevonden achterrand te valideren. In een aantal gevallen is een positieve conclusie mogelijk, in de overige situaties is geen conclusie mogelijk. Na bewerking van de beeldinformatie op de beschreven wijze en de nog te beschrijven analyse van het voorvlak en van de toegankelijkheid, wordt aan de 25 besturingsinrichting van de grijpermiddelen het pakket aangewezen waarvoor de meeste positieve conclusies kunnen worden getrokken. Pakketten waarvoor negatieve conclusies zijn getrokken, worden niet aangewezen.

30

Ad 2)

Op soortgelijke wijze als beschreven onder "Ad 1)" kan de onderrand 35 van de voorkant van het beschouwde pakket worden gevalideerd. Er kunnen zich weer verschillende situaties voordoen: 2a) Het gebied onder de onderrand behoort tot de achtergrond.

Dit houdt in dat het beschouwde pakket niet op andere pakketten 10 0 5 7 0 5 17 rust en dat de gevonden onderrand de werkelijke, fysiek aanwezige onderrand van het pakket is.

2b) Het gebied onder de onderrand wordt gevormd door een schaduw, geworpen door LH.

5 Dit betekent dat de (nagenoeg) horizontaal gerichte lichtbron een schaduw werpt op de voorkant van het beschouwde pakket. Daarom komt de gevonden onderrand overeen met de begrenzing van de schaduw en niet met de werkelijke, fysiek aanwezige, onderrand. Dit houdt ook in dat de voorkant van het beschouwde 10 pakket niet toegankelijk is voor het horizontaal bewegende grij permiddel.

2c) Het gebied onder de onderrand wordt gevormd door een schaduw, geworpen door LV.

In dit geval wordt het beschouwde pakket (gedeeltelijk) niet 15 ondersteund door een ander pakket en werpt de (nagenoeg) verticaal gerichte lichtbron een schaduw onder het pakket. De gevonden onderrand komt overeen met de werkelijke, fysiek aanwez ige, onderrand.

2d) Het gebied onder de onderrand wordt gevormd door een voorkant. 20 Dit komt relatief vaak voor: de pakketten kunnen zodanig op elkaar gestapeld zijn dat de voorkanten zich (nagenoeg) in één vlak bevinden. Een conclusie is niet mogelijk.

2e) Het gebied onder de onderrand is een bovenkant.

Dit treedt op, wanneer een ander pakket zich vóór/onder het 25 beschouwde pakket bevindt. Net als bij situatie ld) is geen definitieve conclusie mogelijk.

2f) Het gebied onder de onderrand is er een met directe reflectie. Hier geldt hetzelfde voor als voor situatie lf).

30

Ad. 3_)

Voor het vaststellen van de toegankelijkheid van de voorkant moet onderzocht worden of eventueel aanwezige pakketten vóór de gevonden onderrand hoger zijn dan overeenkomt met de hoogte van die onderrand.

35 Het komt er op neer dat moet worden bepaald of er in het beeld een bovenkant van een ander pakket is vóór, zowel als boven, de onderrand van het beschouwde pakket. Daartoe dient bij voorkeur ook (relatieve) diepte-informatie beschikbaar te zijn.

1005705 18

Om de toegankelijkheid van de voorkant van een pakket zonder ingewikkelde berekeningsmethoden te kunnen vaststellen, is het gewenst enkele zaken aan te nemen: - Er zijn geen belemmerende objecten buiten het gezichtsveld van de 5 camera. Hiertoe dient slechts de ruimte, waarbinnen zich pakketten mogen bevinden (de "workcell"), op geëigende wijze te zijn gedefinieerd.

- De pakketten zijn rechthoekig. Dit betekent dat alle pakketoppervlakken vlak en rechthoekig van vorm zijn.

10 - Alle bovenkanten zijn horizontale vlakken.

Het systeem dient te controleren of de grijpermiddelen het pakket kunnen verwijderen, zonder andere pakketten te beschadigen. Aangezien in de beschreven uitvoeringsvorm één van de grijpermiddelen 15 het pakket van voren benadert en aangrijpt vlak boven de onderrand van het pakket, moet het gebied voor en boven de onderrand van het pakket vrij zijn van andere objecten. Dit wordt als volgt gecontroleerd door verwerking van de opgeslagen beelden: • De onderrand van het pakket was reeds bepaald bij eerdere 20 bewerkingen.

- Voor elk beeldpunt tussen de onderrand van het pakket en het balkje B wordt de hoogte geschat op een nader toe te lichten manier.

- Is enig punt hoger dan de onderrand van het pakket, dan zal dit pakket voor een grijpermiddel, dat van voren nadert, niet 25 verwerkbaar zijn.

Het vaststellen van de ruimtelijke positie van een objectpunt is niet zonder meer mogelijk als alleen de corresponderende beeldcoördinaten van dit objectpunt bekend zijn. De beeldcoördinaten 30 leggen namelijk alleen de waarnemingsrichting vast, gerekend vanuit het optisch centrum van de camera. De beeldcoördinaten definiëren de denkbeeldige lijn tussen cameracentrum en objectpunt, maar waar op deze lijn zich het objectpunt bevindt is niet bekend. Hiervoor is een derde gegeven nodig. Dit kan zijn het gegeven dat het objectpunt zich 35 in een zeker vlak bevindt. Het objectpunt komt dan overeen met het snijpunt van de lijn en het vlak en de bijbehorende objectcoördinaten kunnen zodoende bepaald worden. Startend met de beeldpunten op het referentiebalkje B in een beeldkolom en omhoogwerkend in deze 1005705 19 beeldkolom, kunnen de objectcoördinaten als volgt berekend worden. Van het referentiebalkje Is door calibratie van het systeem bekend In welk vlak dit gelegen is. Hiermee kunnen voor elk beeldpunt van het referentiebalkje de overeenkomstige wereldcoördinaten berekend worden.

5 Dit geldt ook voor de grenspunten van het referentiebalkje. Een grenspunt is ook het snijpunt van het referentievlak en een volgend vlak. De oriëntatie van dit vlak is bekend: aangenomen wordt een ordelijke stapeling, zodat de vlakken horizontaal of verticaal zijn. Het onderscheid hiertussen volgt uit de intensiteitswaarde in het 10 derde beeld, zoals eerder beschreven. In geval van schaduwpunten, volgt de oriëntatie van het vlak uit de lamppositie en de schaduwwerpende rand. De lamppositie wordt vooraf vastgesteld. De schaduwwerpende rand is het zojuist berekende grenspunt. Met het grenspunt en de vlakoriëntatie is het vlak volledig gekarakteriseerd.

15 Dit betekent, dat ook voor elk beeldpunt van dit nieuwe vlak, de wereldcoördinaten berekend kunnen worden. Hetzelfde geldt ook voor de grenspunten van dit nieuwe vlak. Op iteratieve wijze kunnen zodoende voor elk beeldpunt de overeenkomstige ruimtelijke coördinaten berekend worden. Aan de aanname dat de vlakken zuiver horizontaal of verticaal 20 zijn, wordt in de praktijk niet volledig voldaan, zodat bij de praktische toepassing van deze werkwijze een afwijking optreedt, die groter is naarmate de stapel chaotischer wordt. De onnauwkeurigheid hoeft geen bezwaar te zijn, als men het grijpermiddel het object laat naderen langs de lijn vanaf de camera in de waarnemingsrichting.

25

Het pakket is nu gedetecteerd, vastgesteld is dat het ene grijpermiddel het pakket kan benaderen en de positie van de onderrand is bepaald. Na bepaling van de toegankelijkheid, voor het andere grijpermiddel, van de achterrand van de bovenkant, op overeenkomstige 30 wijze als onder "Ad 3)" beschreven, kan de robotgrijper opdracht en informatie krijgen om het pakket van de stapel af te nemen.

Opgemerkt wordt dat de werkwijze slechts hoeft te leiden tot het vinden van één of twee grijpbare pakketten, bij een eenmalige 35 toepassing van de werkwijze. Het is niet noodzakelijk om een totaaloverzicht van de opbouw van de stapel te krijgen, als het ware een compleet model van de stapel op te bouwen. Indien toepassing van de werkwijze als resultaat heeft dat één juist gekozen pakket van de 1005705 20 stapel kan worden genomen, Is dat voldoende. Na verwijdering van dat pakket zal dan de werkwijze nogmaals kunnen worden toegepast om een volgend grijpbaar pakket op te sporen. Niet wachten tot een compleet model van de stapel is opgebouwd, maar herhaald gebruiken van de 5 werkwijze, leidt - ook bij gebruik van relatief eenvoudige computermiddelen - tot een voldoend snelle werking voor pakketbehandeling met behulp van robots.

< 0 0 5 7 0 5

Claims (9)

1. Inrichting voor het afleiden van positie-informatie omtrent doosvormige voorwerpen uit beeld-informatie omtrent die voorwerpen, waarbij die voorwerpen op en naast elkaar zijn gestapeld, zodanig dat de zijvlakken van de voorwerpen in de stapel hoofdzakelijk parallel 5 zijn, omvattende: - een camera op een eerste positie schuin boven en vóór de stapel, zodanig dat de optische as van de camera zich bevindt in een verticaal vlak dat hoofdzakelijk loodrecht staat op zijvlakken van de voorwerpen die, vanuit de camera gezien voorvlakken van de 10 voorwerpen zijn, waarbij de optische as een eerste hoek α maakt met het horizontale vlak waarop de stapel rust; - een eerste lichtbron op een tweede positie, waarvan het licht hoofdzakelijk gebundeld is in een richting onder een tweede hoek met het horizontale vlak waarop de stapel rust, waarbij die tweede hoek 15 groter is dan a; - een tweede lichtbron op een derde positie, waarvan het licht hoofdzakelijk gebundeld is in een richting onder een derde hoek met het horizontale vlak waarop de stapel rust, waarbij die derde hoek kleiner is dan de tweede hoek; 20. geheugenmiddelen voor het opslaan van intensiteitswaarden voor beeldpunten in met behulp van de camera opgenomen beelden; - rekenmiddelen voor het uitvoeren van mathematische bewerkingen op intensiteitswaarden, opgeslagen in de geheugenmiddelen.

2. Inrichting volgens conclusie 1, met het kenmerk dat de eerste en tweede lichtbron gevormd worden door één en dezelfde lichtbron, die op geëigende tijdstippen van de tweede naar de derde positie, of in omgekeerde richting, wordt verplaatst.

3. Inrichting volgens conclusie 1, met het kenmerk dat de eerste en tweede lichtbron gevormd worden door één en en dezelfde lichtbron, waarvan de lichtbundel met behulp van spiegels achtereenvolgens in twee verschillende richtingen, onder de tweede of de derde hoek met het horizontale vlak waarop de stapel rust, wordt 35 geleid. 1005705

4. Inrichting volgens conclusie 1, 2 of 3, met het kenmerk dat de camera zich in een zodanige positie bevindt dat de optische as een hoek van omstreeks 45 graden maakt met het horizontale vlak waarop de stapel rust, het licht van de eerste lichtbron gebundeld is in een 5 richting onder een hoek van 60 tot 90 graden met het horizontale vlak en het licht van de tweede lichtbron gebundeld is in een richting onder een hoek van 0 tot 30 graden met het horizontale vlak, terwijl de camera en de beide lichtbronnen zich bevinden vóór en boven de stapel. 10

5. Inrichting volgens één der voorgaande conclusies, met het kenmerk dat de eerste en de tweede lichtbron zich elk op enige afstand aan weerszijden van een verticaal vlak door de optische as van de camera bevinden. 15

6. Werkwijze voor het afleiden van positie-informatie omtrent doosvormige voorwerpen onder gebruikmaking van de inrichting volgens één der voorgaande conclusies, omvattende de volgende stappen: - het met de camera opnemen van een eerste beeld van de stapel 20 voorwerpen, waarbij de stapel verlicht wordt door de eerste of door de tweede lichtbron, alsmede het in de geheugenmiddelen opslaan van intensiteitswaarden voor de beeldpunten in het opgenomen eerste beeld; - het met de camera opnemen van een tweede beeld van de stapel 25 voorwerpen, waarbij de stapel verlicht wordt door de tweede of door de eerste lichtbron, alsmede het in de geheugenmiddelen opslaan van intensiteitswaarden voor de beeldpunten in het opgenomen tweede beeld; - het vergelijken van de intensiteitswaarde voor een beeldpunt in het 30 eerste beeld en de intensiteitswaarde voor een beeldpunt in het tweede beeld.

7. Werkwijze volgens conclusie 6, waarbij het vergelijken van de intensiteitswaarde voor een beeldpunt in het eerste beeld en de 35 intensiteitswaarde voor een beeldpunt in het tweede beeld geschiedt door het bepalen van de verhouding tussen de intensiteitswaarde voor een beeldpunt in het eerste beeld en de intensiteitswaarde voor het overeenkomstige beeldpunt in het tweede beeld, welke werkwijze voorts 1005705 omvat de volgende stappen: - het uitvoeren van een mathematische bewerking op de bepaalde verhoudingen voor alle beeldpunten in het eerste en het tweede beeld; 5. het, aan de hand van de resultaten van de mathematische bewerkingen in de geheugenmiddelen doen opslaan van een matrix van beeldpunten voor een virtueel derde beeld, waarbij aan een bepaald beeldpunt van het derde beeld een intens!teitswaarde wordt toegekend die representatief is voor het resultaat van de mathematische bewerking 10 op de intens!teitsverhouding voor die beeldpunten in het eerste en het tweede beeld welke corresponderen met het beeldpunt in het derde beeld.

8. Werkwijze volgens conclusie 7, met het kenmerk dat de 15 mathematische bewerking bestaat uit het bepalen van de waarde van de arctangens.

9. Werkwijze volgens conclusie 6, 7 of 8, voorts omvattende de volgende stappen: 20. het in het derde beeld vaststellen van lijnen die de grenzen vormen tussen eerste en tweede gebieden, waarbij geldt dat binnen de eerste gebieden de intensiteit voor de tot die eerste gebieden behorende beeldpunten, op of omstreeks een eerste waarde ligt en dat binnen de tweede gebieden de intensiteit voor de tot die tweede gebieden 25 behorende beeldpunten op of omstreeks een tweede waarde ligt, en waarbij de eerste gebieden overeenkomen met nagenoeg horizontale vlakken van de voorwerpen en de tweede gebieden met nagenoeg verticale vlakken van de voorwerpen; - het, uitgaande van een eerste lijn, die de grens vormt tussen een 30 horizontaal en een verticaal vlak, waarbij het horizontale vlak zich in het derde beeld boven het verticale vlak bevindt, vaststellen of het verticale vlak een hoofdzakelijk rechthoekige vorm heeft, begrensd door de eerste lijn en drie ononderbroken lijnen daaronder; • het, uitgaande van de eerste lijn, vaststellen of het horizontale 35 vlak een hoofdzakelijk rechthoekige vorm heeft, begrensd door de eerste lijn en drie ononderbroken lijnen daarboven. 1005705