NL1003131C2

NL1003131C2 - Inrichting en werkwijze voor het voor niet-uniformiteit corrigeren van met behulp van een beeldopnemer verkregen beeldsignalen.

Info

Publication number: NL1003131C2
Application number: NL1003131A
Authority: NL
Inventors: Johan Cornelis Van De Heuvel
Original assignee: Tno
Priority date: 1996-05-15
Filing date: 1996-05-15
Publication date: 1997-11-18

Description

*

Titel: Inrichting en werkwijze voor het voor niet- uniformiteit corrigeren van met behulp van een beeldopnemer verkregen beeldsignalen.

De uitvinding heeft betrekking op een inrichting voor het voor niet-uniformiteit corrigeren van beeldsignalen omvattende een beeldopnemer, bestaande uit een matrix van discrete beeldopneemelementen, waarmee opeenvolgende 5 beeldrasters kunnen worden verkregen; middelen voor het doen bewegen van de beeldopnemer en middelen voor het compenseren van de offset in het uitgangssignaal van elk van de beeldopneemelementen .

Bij het waarnemen van een scène met behulp van een uit 10 discrete beeldopneemelementen, bijvoorbeeld CCD-elementen, opgebouwde beeldopnemers ontstaat een probleem doordat de verschillende beeldopneemelementen niet geheel gelijk aan elkaar zijn en bij een zelfde ingangssignaal een verschillend uitgangssignaal afgeven. Dit verschijnsel is 15 bekend onder de naam offset. In een ideaal geval zou, bij het waarnemen van een egale scène, ieder beeldopneemelement een zelfde uitgangssignaal afgeven. Door de ongelijkheid tussen de beeldopneemelementen ontstaat er echter een verschil in uitgangssignalen, welke verschillen ten onrechte 20 als in de scène aanwezige voorwerpen zouden kunnen worden geïnterpreteerd. Ook in een scène waarin wel voorwerpen aanwezig zijn ontstaan problemen, doordat ten gevolge van de offset van de beeldopneemelementen niet-aanwezige voorwerpen gedetecteerd kunnen worden of wel-aanwezige voorwerpen weg 25 kunnen vallen.

Het is reeds bekend om in een beeldopnemer voor de offset van de verschillende beeldopneemelementen een compensatie uit te voeren. Deze compensatie geschiedt hetzij vooraf, hetzij door met tussenpozen het waarnemen van de 30 scène ter wille van de compensatie te onderbreken. Het eerstgenoemde type compensatie heeft als bezwaar dat later 1003131 2 ontstane verschillen in de eigenschappen van de beeldopneemelementen, bijvoorbeeld ten gevolge van temperatuurveranderingen, niet kunnen worden gecompenseerd. Het als tweede genoemde type compensatie heeft als bezwaar dat het 5 waarnemen van de scène, al is het maar kortstondig, wordt onderbroken, hetgeen bij bepaalde toepassingen ongewenst is.

In de Europese octrooiaanvrage 0.600.742 is een inrichting en werkwijze beschreven waarbij een compensatie van de offset van de verschillende beeldopneemelementen 10 mogelijk is zonder de waarneming van de scène te onderbreken. Bij deze bekende werkwijze wordt door middel van een "antimediaan plus" gevormd algoritme een correctie op de beeldsignalen uitgevoerd. Hierdoor wordt hoogfrequente niet-uniformiteit geëlimineerd. Voor een uitgebreide beschrijving 15 van deze correctie wordt in de Europese octrooiaanvrage verwezen naar het Amerikaanse octrooischrift 4.975.864. Om te voorkomen dat door middel van deze correctie ook alle beeldinformatie wordt geëlimineerd, stelt de Europese octrooiaanvrage voor de beeldopnemer zodanig te bewegen, dat 20 elk van de beeldopneemelementen en dus de gehele beeldopnemer zich langs een tevoren bepaald traject verplaatst. Door nu door verplaatsing van de beeldopneemelementen een aantal beeldopneemelementen dezelfde beeldinformatie te laten ontvangen, kan door middel van elektronische signaal-25 bewerking het gemiddelde beeldopneemelementuitgangssignaal voor die beeldinformatie worden bepaald en kunnen de uitgangssignalen van de diverse beeldopneemelementen zo worden gecompenseerd, dat zij alle vrijwel hetzelfde uitgangssignaal afgeven bij een zelfde ingangssignaal.

30 Een bezwaar van de bekende inrichting en methode is, dat geen onderscheid gemaakt kan worden tussen signalen ten gevolge van de offset van de beeldopneemelementen en signalen die door de waargenomen scène worden veroorzaakt, zodanig dat ook deze laatste worden onderdrukt, hetgeen 35 vanzelfsprekend ongewenst is. Verder kan de bekende methode alleen werken als de beeldopneemelementen een tevoren bepaalde vaste baan over een relatief groot gebied afleggen, 1003131 3 zodat kostbare apparatuur voor het op nauwkeurige wij ze reproduceerbaar realiseren van de bewegingsbaan nodig is terwijl ook de elektronica voor het bewerken van de beeld-signalen complex en dus kostbaar is. Daarnaast kan met de 5 bekende werkwijze alleen hoogfrequente, niet-uniformiteit worden gecorrigeerd.

De uitvinding beoogt te voorzien in een inrichting en werkwijze die deze bezwaren niet hebben en waarmee het in beginsel mogelijk is om met een zeer kleine beweging van de 10 beeldopneemelementen een nauwkeurige correctie van de niet-uniformiteit te realiseren, zonder dat beeldinformatie deze correctie nadelig beïnvloedt.

De uitvinding voorziet hiertoe in een inrichting van voomoemde soort waarbij voorzien is in middelen om de 15 beeldopnemer van een eerste positie naar een tweede positie te verplaatsen, en in middelen om het uitgangssignaal van elk van de beeldopneemelementen in een in de eerste positie verkregen beeldraster te vergelijken met het uitgangssignaal van hetzelfde beeldopneemelement in een in de tweede positie 20 verkregen beeldraster ter verkrijging van een compensatiesignaal voor elk van de beeldopneemelementen.

Indien men een correctie van de niet-uniformiteit zou willen uitvoeren op basis van iedere willekeurige beweging van de beeldopnemer tussen twee opeenvolgende beeldrasters, 25 zou het oplossen van de voor de twee opeenvolgende beeldrasters verkregen vergelijkingen tot een enorme hoeveelheid berekeningen leiden, die in real time niet zijn te realiseren.

Volgens de uitvinding is er echter verrassenderwijs 30 gevonden, dat het aantal op te lossen vergelijkingen en de complexiteit daarvan aanzienlijk afneemt indien men de toe-gestane beweging van de beeldopnemer beperkt tot de afmeting van enkele, en meer in het bijzonder één beeldopneemelement (en) in verticale of horizontale richting. Dit wordt 35 in het hiernavolgende toegelicht.

Veronderstel, dat de camera bestaat uit een matrix of array van detectoren of beeldopneemelementen met de volgende 1003131 4 uitdrukking voor het signaal van de detector (i,j) op de positie (x,y): ΓΔχ r Ay di.j(x.y) = ai(j + Jo du Jo dvS (u, v) r (x+u,y+v) (1) 5 hierin is ai,j de offset, S(x,y) de ruimtelijke responsie, Δχ en Ay de afmeting van een detector en r(x,y) de straling van de scène.

Formule (1) kan discreet worden gemaakt door de straling 10 van de scène onder te verdelen in beeldpunten van de scène: rm,n = r(raAxR,nAyR) (2)

Het discreet maken leidt tot de volgende uitdrukking: 15 ΓΔΧΚ ΓΔΥΚ di.j = ai,j + IIrm,Jo duJo dvS (u+mAxR-χΔχ-δχ, v+nAyR- jAy-6y) (3) m n hierin is (5x,öy) de verplaatsing van de detector matrix ten opzichte van de oorsprong. Formule (3) kan in matrixvorm 20 gebracht worden, waarbij blijkt, dat een oplossing in real time van de complete matrixvergelijking niet mogelijk is. Indien men de straling van de scène op dezelfde wijze als de detector matrix onderverdeelt, dat wil zeggen AxR=Ax en AyR=Ay, zijn volgens de uitvinding de vergelijkingen wel in 25 real time op te lossen, als de verplaatsing van de beeld-opnemer kleiner is dan de afmeting van een detector of beeldopneemelement. In dat geval vereenvoudigt de vergelijking zich namelijk tot: i+l j+1 r r 30 difj = aifj + I I rm,n ··· =

m=i n=j * J

ai( j + ri( jS0o + ri+i( jSio+ri( j+1S0i+ri+1( j+1Su (4) 1003131 5 hierin zijn Soo · · · sn integralen over de ruimtelijke responsie en zijn δχ en 5y beide positief. Voor een negatieve verplaatsing loopt de som eenvoudigweg van i-1 tot i.

Als δχ > öy, kan een derde vereenvoudiging worden toegepast: 5 ^i,j e ^i,j + rï,j (Soo+Soi) +ri+i( j (Sio+Sn) = ai,j + Γΐ^3ο +i"i+i(jSi (5)

Indien men gebruik maakt van twee opeenvolgende beeldrasters, waarbij d^ j het detectorsignaal in raster n is, verkrijgt 10 men twee vergelijkingen: di,j = ai,j +ri,j (6) en dj(j = ai#j +ri(jS0 ♦r^jSi. (7)

Met deze formules kan door middel van recursie de detector-15 offset ai,j en de scènestraling Sn van ieder detectorelement worden berekend uit: di,j " ai,j ” ri,jS0 ,0 ri+i,j = —-<r- (8) en ai+1(j = di+1(j - ri+1(j (9) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1003131

Het zal duidelijk zijn dat op een zelfde wijze voor een 2 beweging in de y-richting, dat wil zeggen by > δχ, de offset 3 voor de detectorelementen berekend kan worden. Wanneer 4 öy " δχ wordt een geringe fout geïntroduceerd, die echter in 5 de praktijk geen wezenlijke invloed op het gecorrigeerde 6 beeldsignaal heeft.

7

Met de inrichting volgens de uitvinding is een 8 correctie van de niet-uniformiteit in real time mogelijk 9 waarbij in feite nauwelijks een beweging van de beeldopnemer 10 nodig is en de bewegingsbaan zelf niet ter zake doet. Daar- 11 naast is de compensatie uiterst nauwkeurig omdat bij het 12 bepalen van de compensatiesignalen onderscheid gemaakt kan 13 worden tussen beeldopneemelementsignalen die ontstaan ten 14 gevolge van offset en beeldopneemelementsignalen die door 15 een scène worden veroorzaakt.

6

De beweging van de beeldopnemer over de grootte van een beeldopneemelement kan tijdens het aftasten van een scène worden verkregen door de beeldopnemer op mechanische wijze te bewegen, zodanig dat de beeldrasters voldoende snel op 5 elkaar volgen om aan het verplaatsingscriterium te voldoen. Dit betekent dikwijls een relatief langzaam scannen. Een andere mogelijkheid is om door middel van een op zich bekende microscanner een beweging van de scène ten opzichte van de stilstaande beeldopnemer te verkrijgen. Nog een 10 andere mogelijkheid is om gebruik te maken van op zich bekende optiek voor gebruik in de camera waarvan de beeldopnemer deel uitmaakt, die de gewenste verplaatsing van de scène over de matrix tot stand kan brengen, zonder dat de beeldopnemer zelf wordt verplaatst.

15 De uitvinding voorziet tevens in een werkwijze voor het voor niet-uniformiteit corrigeren van beeldsignalen die verkregen worden van beeldopneemelementen die deel uitmaken van een uit een matrix van beeldopneemelementen bestaande beeldopnemer, die opeenvolgende beeldrasters afgeeft, waar-20 bij de beeldopnemer wordt bewogen en op basis van de in verschillende posities van de beeldopnemer verkregen beeldsignalen offsetcorrectiesignalen worden bepaald, met het kenmerk, dat de beeldopnemer van een eerste positie naar een tweede positie wordt bewogen, dat ieder beeld-25 opneemelement d? j van het in de eerste positie verkregen beeldraster wordt vergeleken met het beeldopneemelement signaal d* j van het in de tweede positie verkregen beeldraster, waarbij ö? ^ een beeldopneemelement op de positie x,y in de matrix tijdens het raster n is, dat de 30 offset ai(j van het beeldopneemelement difj op recursieve wijze bepaald wordt met behulp van de formules ^i,j ' ai,j " ri,jSo 0 ri+l,j — en ai+l,j «= " ri+l,j 1 1003131 waarin So, de ruimtelijke responsie van de scène voor respectievelijk het eerste en het tweede raster is en rif j 7 de straling van de scène, en dat het uitgangssignaal van ieder beeldopneemelement d1? . in een volgend raster n wordt

J- i J

gecorrigeerd met het signaal ai(j, of een gedeelte daarvan. Alhoewel de uitvinding toepasbaar is voor iedere beeld-5 opnemer bestaande uit een matrix van beeldopneemelementen, is de uitvinding bij uitstek geschikt voor toepassing bij infraroodcamera's, omdat vooral bij dergelijke camera's de beeldopneemelementen onderling een grote niet-uniformiteit vertonen.

10 De uitvinding zal in het hiernavolgende worden toege licht aan de hand van een uitvoeringsvoorbeeld onder verwijzing naar de tekening. Hierin toont: figuur 1 een schematische weergave in blokvorm van een inrichting volgens de uitvinding; en 15 figuur 2 een stroomdiagram waarin de diverse stappen voor de werkwijze volgens de uitvinding zijn getoond.

In f iguur 1 wordt door een beeldopneeminrichting l bestaande uit een matrix van beeldopneemelementen l', een beeldsignaal afgegeven aan een offsetcorrectiecircuit 2.

20 Wanneer er voor de eerste maal een beeldsignaal wordt aangeboden, zal het circuit 2 daarop geen invloed uitoefenen en het ongecorrigeerd doorlaten naar de uitgang 3 van het circuit 2. Een eerste door het circuit 2 doorgelaten beeldraster wordt toegevoerd aan de ingangsklem van een op 25 zich bekende beeldsynchronisatieschakeling 4, die het gesynchroniseerde beeldraster toevoert aan een rasterbuffer-keten 5. Het daaropvolgende door de beeldopneeminrichting afgegeven beeldraster wordt op dezelfde wijze via het circuit 2 en de schakeling 4 opgeslagen in een rasterbuffer-30 keten 6. Wanneer beide bufferketens 5 en 6 met een beeldraster gevuld zijn, worden deze rasters toegevoerd aan enerzijds een beeldverplaatsingbepalingsinrichting 7 en in de tweede plaats aan een offsetbepalingscircuit 8. De beeld-verplaatsingbepalingsinrichting 7 bepaalt of de beeld-35 verplaatsing, zoals die wordt gerepresenteerd door beide beeldrasters, beperkt is gebleven tot een tevoren bepaald 1 0031 3 1 8 gebied, in het bijzonder een verplaatsing over maximaal één beeldopneemelement in verticale of horizontale richting. Dat wil zeggen dat het middelpunt van een beeldopneemelement, zoals beeldopneemelement x in figuur 1, niet verder 5 verplaatst is dan naar het middelpunt van de posities van de aangrenzende, gearceerde beeldopneemelementen. De inrichting 7 kan bijvoorbeeld ingangssignalen ontvangen van bewegingssensoren die met de beeldopnemer gekoppeld zijn. Indien de verplaatsing wel te groot is, vindt geen offset-10 bepaling plaats. Indien echter de verplaatsing binnen het bepaalde gebied blijft, wordt in het circuit 8 de offset bepaald door deze met behulp van de formule (9) uit de signalen van steeds één zelfde beeldopneemelement uit twee opeenvolgende beeldrasters te bepalen. De offsetcorrectie-15 signalen worden opgeslagen in keten 9 en van daaruit via synchronisatieketen 10 zodanig gesynchroniseerd toegevoerd aan het offsetcorrectiecircuit 2, dat steeds ieder signaal van een bepaald beeldopneemelement met het juiste offset-signaal, dat voor dat specifieke beeldopneemelement in het 20 circuit 8 is bepaald, wordt gecorrigeerd. Het is ook moge-lijk om het berekende offsetcorrectiesignaal slechts ten dele te benutten om een zo gelijkmatig mogelijk verloop van de correctie te bereiken. Grote sprongen in het offset-correctiesignaal, bijvoorbeeld ten gevolge van een "hot-25 spot", kunnen op op zich bekende wijze worden geëlimineerd.

Het zal duidelijk zijn dat na een aantal rasters aan de uitgang 3 van het offsetcorrectiecircuit 2 een voor offset gecompenseerd beelduitgangssignaal beschikbaar is.

Figuur 2 toont in een stroomdiagram de stappen die bij 30 de werkwijze volgens de uitvinding achtereenvolgens worden genomen. De diverse stappen volgen het signaal zoals beschreven onder verwijzing naar figuur 1. In blok 11 wordt een beeldraster ingevoerd in keten 2, in blok 12 wordt dit gecorrigeerd, als er correctiesignalen zijn, en in blok 13 35 wordt het gecorrigeerde raster ingelezen in de rasterbuffer-keten 5. In blok 14 wordt bepaald of beide rasterbuffer-ketens 5 en 6 gevuld zijn, zo ja, wordt overgegaan naar 1 003131 9 blok 16, zo nee, wordt het raster in blok 15 in buffer-geheugen 5 naar buffergeheugen 6 geschreven en wordt via blok 11 een tweede raster opgehaald en in bufferketen 5 opgeslagen. Wanneer beide bufferketens 5 en 6 zijn gevuld, 5 wordt in blok 16 de verplaatsing bepaald met behulp van circuit 7. Indien in blok 17 wordt vastgesteld dat de verplaatsing niet binnen het tevoren bepaalde gebied is gebleven, wordt geen correctie uitgevoerd en wordt direct doorgegaan naar blok 20 om beide bufferketens te wisselen.

10 Indien de verplaatsing wel binnen het bepaalde gebied is gebleven, wordt in blok 18 met behulp van circuit 8 de offset voor ieder beeldopneemelement bepaald en worden in blok 19 met behulp van de opslagketen 9 de meest recente offsetcorrectiesignalen opgeslagen. Hierna worden beide 15 bufferketens gewist en worden via de blokken 11-20 opnieuw twee rasters ingelezen en nieuwe offsetcorrectiewaarden bepaald.

Indien de signalen die toegevoerd worden aan de bufferketens 5 en 6, eerst door een laagdoorlaatfilter 20 worden bewerkt, is het mogelijk om de eis, dat de verplaatsing van de beeldopnemer ten hoogste gelijk is aan de afmeting van een beeldopneemelement, te versoepelen. Een verplaatsing van enkele beeldopneemelementen is dan mogelijk, waarbij een gering verlies aan hoogfrequent 25 correctie acceptabel is.

Met de bovenbeschreven inrichting kunnen bijvoorbeeld als volgt opeenvolgende beeldrasters worden gecorrigeerd.

Met behulp van rasters 1 en 2 worden op de wijze volgens de uitvinding in het offsetcorrectiecircuit 8 offsetcorrectie-30 signalen berekend; deze worden benut voor het in circuit 2 corrigeren van de volgende rasters 4, 5 en 6. De rasters 4 en 5 worden weer gebruikt om offsetcorrectiesignalen te berekenen en deze worden gebruikt voor het corrigeren van de offset in de rasters 7, 8 en 9, etc. Het is vanzelfsprekend 35 ook mogelijk om minder vaak de offset te bepalen en/of om geen direct op elkaar volgende rasters te gébruiken.

1003131

Claims

1. Inrichting voor het voor niet-uniformiteit corrigeren van beeldsignalen omvattende een beeldopnemer, bestaande uit een matrix van discrete beeldopneemelementen, waarmee opeenvolgende beeldrasters kunnen worden verkregen; middelen voor 5 het doen bewegen van de beeldopnemer en middelen voor het corrigeren van de offset in het uitgangssignaal van elk van de beeldopneemelementen, met het kenmerk, dat voorzien is in middelen om de beeldopnemer van een eerste positie te verplaatsen naar een tweede positie, en in middelen om het 10 uitgangssignaal van elk van de beeldopneemelementen in een in de eerste positie verkregen beeldraster te vergelijken met het uitgangssignaal van hetzelfde beeldopneemelement in een in de tweede positie verkregen beeldraster ter verkrijging van een correctiesignaal voor elk van de beeld-15 opne eme1ementen.

2. Inrichting volgens conclusie 1, met het kenmerk, dat de afstand tussen de eerste en de tweede positie ten hoogste gelijk is aan de afmeting van een beeldopneemelement. 20 3. inrichting volgens conclusie 1 of 2, met het kenmerk, dat voor de verplaatsing tussen twee opeenvolgende rasters voorzien is in een microscanner.

4. Inrichting volgens conclusie 1, 2 of 3, met het kenmerk, dat voorzien is in bewegingsopnemers om te bepalen of de verplaatsing van de beeldopnemer binnen het tevoren bepaalde gebied is gebleven.

5. Inrichting volgens ten minste één der conclusies 1-4, met het kenmerk, dat de inrichting een infraroodcamera is. 1 2 1003131 Werkwijze voor het voor niet-uniformiteit corrigeren 2 van beeldsignalen die verkregen worden van beeldopneem-35 elementen die deel uitmaken van een uit een matrix van beeldopneemelementen bestaande beeldopnemer, die opeenvolgende beeldrasters afgeeft, waarbij de beeldopnemer wordt bewogen en op basis van de in verschillende posities van de beeldopnemer verkregen beeldsignalen offsetcorrectiesignalen 5 worden bepaald, met het kenmerk, dat de beeldopnemer van een eerste positie naar een tweede positie wordt bewogen, dat ieder beeldopneemelement d° ^ van het in de eerste positie verkregen beeldraster wordt vergeleken met het beeldopneemelement signaal d* ^ van het in de tweede positie verkregen t J 10 beeldraster, waarbij dA j een beeldopneemelement op de positie x,y in de matrix tijdens het raster n is, dat de offset ai,j van het beeldopneemelement dj.,j op recursieve wijze bepaald wordt met behulp van de formules ^i,j ‘ ai.3 ” ri/jS0 ,0 15 ri+i,j = -^- en ai+i, j = di+i(j - ri+1<j waarin So, Si de ruimtelijke responsie van de scène voor respectievelijk het eerste en het tweede raster is en ri(j de straling van de scène, en dat het uitgangssignaal van 20 ieder beeldopneemelement d^j in een volgend raster n wordt gecorrigeerd met het signaal ai,j, of een gedeelte daarvan.

7. Werkwijze volgens conclusie 6, met het kenmerk, dat de afstand tussen de eerste en de tweede positie ten hoogste 25 gelijk is aan de afmeting van een beeldopneemelement. 1 1 0031 3 1 i Werkwijze volgens conclusie 7, met het kenmerk, dat wordt bepaald of de verplaatsing van de beeldopnemer tussen twee opeenvolgende, voor het berekenen vein de offset- 30 correctiesignalen te gébruiken beeldrasters, binnen het tevoren bepaalde gebied is gebleven en dat uitsluitend offsetcorrectiesignalen worden berekend indien dit het geval is.