SE519942C2 - Autofokusering, samt ett förfarande, arrangemang, digitalt minnesmedium och mikroskopsystem för detsamma - Google Patents

Description

lO 15 20 25 30 35 2 Vid en sådan avsökning krävs ständiga omfokuserin- gar, eftersom provglaset sällan är plant och eftersom den mekanism som förskjuter objektet transversellt inte kan antas vara perfekt i den betydelsen att ingen förflyttning längs den optiska axeln sker. Om systemet skall kunna leverera nya, välfokuserade bilder exempelvis med frekvensen 5OHz måste då fokusering ske både snabbt och tillförlitligt.

Fokuseringen kan sägas ha två ingående steg. I ett första steg uppskattas fokusavvikelsen, dvs avståndet mellan det optiska systemets fokusplan, och objektet. andra steg kan det optiska systemet justeras, eller kan det avbildade objektet förflyttas så att det hamnar De små förflytt- vilket systemet avbildar föremål med optimal skärpa, I ett närmare det optiska systemets fokusplan. ningar som krävs för genomförande av det andra steget kan åstadkommas relativt tillförlitligt med hjälp av växlade stegmotorer eller med piezoelektriska kristaller. Ett jämförelsevis svårare problem är då att i det första steget snabbt, enkelt och billigt åstadkomma en till- förlitlig skattning av fokusavvikelsen.

Skattningen av fokusavvikelsen baseras på en fokus- mätprincip, mått, dvs ett förfarande, som genererar ett fokus- dvs ett mått på hur välfokuserat systemet är.

Fokusmätprincipen kan vara aktiv eller passiv, såsom kommer att förklaras nedan. Fokusmåttet kan vara rela- tivt, exempelvis stickprovsvariansen av bildens ingående pixelintensiteter, eller absolut, dvs ett direkt mått på fokusavvikelsen.

Ett exempel på en aktiv fokusmätprincip är att ut- nyttja infrarött ljus som utsänds av det optiska systemet och som reflekteras av det objekt som skall avbildas.

Sådana fokusmätprinciper används i många stillbilds- kameror med autofokusering. Nackdelen med en sådan princip är, förutom att den kräver en extra ljuskälla, extra optik, extra sensorer och särskild kalibrering, att den endast fungerar tillfredsställande om det är det lO l5 20 25 30 35 519 942 3 intressanta objektet eller delobjektet i exempelvis ett prov som reflekterar det infraröda ljuset och inte till exempel ett täckglas applicerat på provet.

Hädanefter behandlas endast passiva fokusmätprin- ciper. Då passiva fokusmätprinciper används utnyttjas informationen från en eller flera mottagande bildsensorer för att erhålla ett fokusmått. Ett bra relativt fokusmått skall då ha sitt maximum eller minimum vid optimalt fokus. Ett exempel på fokusmått vid passiva mätningar är den pixelvisa stickprovsvariansen i en bild. En illa fokuserad och därmed mera suddig bild ger då lägre stickprovsvarians än en bättre fokuserad och därmed mera kontrastrik bild.

Det är dock inte säkert att det endast med utgångs- punkt från en sådan bild går att uppskatta fokusavvikel- sen. Det kan ju vara så, att det avbildade objektet per se är tämligen kontrastfattigt och därmed ger en låg stickprovsvarians, vilket tyder på en stor fokusavvik- else, trots att bilden är jämförelsevis väl fokuserad.

Och även om så inte är fallet vet man inte från ett enda värde på stickprovsvariansen åt vilket håll det avbildade objektet skall förflyttas för att erhålla optimalt fokus.

Ett system baserat på en sådan fokusmätprincip kommer därför att justeras åt fel håll vid första försöket i 50% av fallen och blir därför långsamt. En avsökande mikro- skopering stannar dessutom upp.

En möjlig metod att göra en sådan fokusmätprincip snabbare är att tillföra systemet extra optik som möjlig- gör beräkning av fokusmått i flera bildplan samtidigt.

Ett exempel på ett sådant system visas i US-A-5 912 699.

Där används tre bildsensorer, med tre åtskilda fokusplan.

Nackdelarna med sådana system är framför allt högre pris och ökad komplexitet. Sådana system kan heller inte göra tillräckligt korrekta mätningar på preparat som innehål- ler flera skikt, eftersom dessa skikt stör varandra då fokusmått baserade på varians beräknas. 10 15 20 25 30 35 519 9152 4 Sammanfattning av uppfinningen Ett ändamål med föreliggande uppfinning är att helt eller delvis avhjälpa ovannämnda problem.

Detta ändamål uppnås med ett förfarande för upp- skattning av avståndet mellan en del av ett objekt och ett fokusplan tillhörande en första bild som avbildar ob- jektet enligt krav 1, ett optiskt system enligt krav 12, ett minnesmedium innehållande ett datorprogram enligt krav 15 och ett mikroskopsystem enligt krav 17.

Närmare bestämt avser uppfinningen enligt en första aspekt ett förfarande, i ett optiskt system, för upp- skattning av avståndet mellan ett objekt och ett fokus- plan tillhörande en första bild som avbildar objektet.

Förfarandet kännetecknas av att en andra bild utnyttjas, som har ett fokusplan beläget på ett känt avstånd från den första bildens fokusplan, av att den första bildens skärpa modifieras genom signalbehandling med en grad så att den första och den andra bilden är väsentligen lika skarpa, och att avståndet mellan objektet och den första bildens fokusplan uppskattas på basis av denna grad av modifiering och nämnda kända avstånd.

Enkelt uttryckt utnyttjar systemet det faktum att den av de första och andra bilderna vars fokusplan ligger närmast det avbildade delobjektet kommer att se skarpast ut. Hur mycket den skarpare bilden behöver göras suddi- gare (eller den suddigare bilden göras skarpare) för att de två bilderna skall ha lika stor skärpa är ett mått på hur mycket närmare delobjektet den skarpare bildens fo- kusplan ligger. Om den första och den andra bilden är lika skarpa/oskarpa kan det antas att delobjektet ligger mitt emellan de båda bildernas fokusplan. Om det inbördes avståndet mellan fokusplanen är känt kan avståndet mellan vart och ett av dessa och delobjektet uppskattas.

Ett sådant förfarande har visat sig prestera till- förlitliga skattningar mycket snabbt. Skattningarna ger inte bara om hur stor en fokusavvikelse är, utan dvs åt vilket håll syste- uppgift, även om vilket tecken den har, lO l5 20 25 30 35 519 Qfizfíiiiiiïf, i i 5 mets optik eller objektet skall justeras. Det krävs nor- malt ingen extra optik för att realisera systemet, vilket ger ett billigt mätförfarande.

Företrädesvis ingår vidare i förfarandet stegen: att generera en första uppsättning sekundära bilder utifrån den första bilden, genom olika grader av modifiering av skärpan i den första bilden; att uppskatta en första upp- sättning korrelationer mellan överlappande delar av å ena sidan åtminstone en delmängd av den första uppsättningen sekundära bilder och å andra sidan den andra bilden; att identifiera den grad av modifiering av skärpan som resul- terar i den största bland korrelationerna, varefter den identifierade graden utnyttjas vid skattningen av av- ståndet mellan objektet och den första bildens fokusplan.

Korrelation mellan överlappande delar av två bilder ger ett mycket bra mått på hur lika skärpan i bilderna är.

Enligt en föredragen utföringsform innefattar för- farandet vidare de ytterligare stegen: att generera en andra uppsättning sekundära bilder utifrån den andra bil- den, genom olika grader av modifiering av skärpan i den andra bilden; och att uppskatta en andra uppsättning kor- relationer mellan överlappande delar av å ena sidan åt- minstone en delmängd av den andra uppsättningen sekundära bilder och å andra sidan den första bilden. Då sker nämnda identifiering även med utgångspunkt från nämnda andra uppsättning korrelationer; och hänsyn tas, vid upp- skattningen, även till vilken av nämnda första och andra uppsättningar korrelationer som inbegriper det största värdet.

Detta medger en jämförelsevis exakt mätning av av- ståndet mellan objektet och den första bildens fokusplan och modifieringen av skärpan behöver endast göras genom minskning av skärpenivån, vilket benämns blurrning.

Företrädesvis innebär modifieringen av skärpan åt- minstone minskning av skärpan, företrädesvis medelst ett gaussiskt, eller approximativt gaussiskt filter. l0 l5 20 25 30 35 519 942 6 Detta är en jämförelsevis snabb och enkel metod, som inte tillför brus till bilden.

Enligt en utföringsform innebär modifieringen av skärpan åtminstone ökning av skärpan, medelst ett approximativt inverst gaussiskt filter.

En sådan utföringsform medger exakt mätning av ovan- nämnda avstånd, så länge delobjektet ligger mellan den första och den andra bildens respektive fokusplan, även om endast den första bildens skärpa modifieras.

Företrädesvis utförs modifieringen av skärpan med- elst en faltning, vilket är ett relativt snabbt för- farande.

Enligt en utföringsform av föreliggande uppfinning fouriertransformeras den första och den andra bilden, varefter nämnda modifiering av skärpan och nämnda upp- skattning av korrelationer utförs i frekvensdomänen. Om fouriertransformeringen kan ske snabbt medger detta enk- lare modifiering av skärpan och uppskattning av korrela- tioner. Det blir framför allt ett snabbare förfarande om många skärpemodifieringar och många korrelations- skattningar skall göras.

Företrädesvis genereras den första bilden medelst ljus inom ett första våglängdsområde och den andra bilden genereras medelst ljus inom ett från det första våg- längdsområdet åtminstone delvis skilt andra våglängds- område.

Enligt ett sådant förfarande utnyttjas att optiken har en bristande longitudinell färgkorrektion. Ingen ex- tra sensor behöver då användas, men den första och den andra bilden kan ändå registreras utan omjustering av op- tiken.

Enligt en alternativ utföringsform genereras den första bilden före en till belopp och tecken känd juster- ing av systemets optik och den andra bilden genereras ef- ter nämnda justering.

Detta ger en enkel och tillförlitlig mätmetod i sy- stem där sådan justering sker av annan anledning. 10 15 20 25 30 35 519 94") 7 Enligt en andra alternativ utföringsform genereras den första bilden före en till belopp och tecken känd förflyttning av objektet i förhållande till ett fokusplan hos det optiska systemet och den andra bilden genereras efter nämnda förflyttning.

Detta ger en enkel och tillförlitlig mätmetod i sy- stem där sådan förflyttning sker av annan anledning.

Enligt en tredje alternativ utföringsform registre- ras den första bilden medelst en första bildsensor och den andra bilden registreras medelst en andra bildsensor.

Detta ger snabb och precis uppskattning av ovan- nämnda avstånd i system där ingen eller endast liten bristande färgkorrigering finns.

Enligt en andra aspekt av uppfinningen avser denna ett arrangemang i ett optiskt system för uppskattning av avståndet mellan ett objekt och ett fokusplan tillhörande en första bild som avbildar objektet. Arrangemanget ut- nyttjar en andra bild, som har ett fokusplan beläget på ett känt avstånd från den första bildens fokusplan och har medel för att modifiera den första bildens skärpa med en grad så att den första och den andra bilden är väsent- ligen lika skarpa, och medel för att uppskatta avståndet mellan objektet och den första bildens fokusplan på basis av denna grad av modifiering och nämnda kända avstånd.

Detta arrangemang innebär motsvarande fördelar som ovan visade förfarande och kan i likhet med detta modi- fieras på ett flertal motsvarande sätt. Allmänt innefat- tar arrangemanget då medel för utförande av de i för- farandena visade stegen.

Enligt en tredje aspekt av uppfinningen avser denna ett digitalt minnesmedium innefattande ett datorprogram för uppskattning i ett optiskt system av avståndet mellan ett objekt och ett fokusplan tillhörande en första bild som avbildar objektet. bild, från den första bildens fokusplan, Datorprogrammet utnyttjar en andra som har ett fokusplan beläget på ett känt avstånd och innefattar in- struktioner för att modifiera den första bildens skärpa 10 15 20 25 30 35 519 QD $> FJ 8 med en grad så att den första och den andra bilden är vä- sentligen lika skarpa och instruktioner för att uppskatta avståndet mellan objektet och den första bildens fokus- plan på basis nämnda grad av modifiering och nämnda kända avstånd.

Detta datorprogram innebär motsvarande fördelar som ovan visade förfarande och kan modifieras på ett flertal motsvarande sätt i likhet med detta. Allmänt innefattar datorprogrammet då instruktioner för utförande av de i förfarandena visade stegen.

Enligt en fjärde aspekt avser uppfinningen ett mikroskopsystem med ett mikroskop och ett datorsystem, vilket innefattar ett arrangemang enligt ovan. Ett sådant system innebär motsvarande fördelar.

Uppfinningen kommer nu att beskrivas mer i detalj med hänvisning till de bifogade figurerna.

Kort figurbeskrivning Fig l visar schematiskt ett optiskt system.

Fig 2 visar ett antal bilder av ett objekt innefat- tande icke-infargade röda blodkroppar, vilka avbildats med faskontrastmikroskopi.

Fig 3 visar ett antal bilder av ett objekt innefat- tande MGG-infärgade röda blodkroppar, vilka avbildats med ljusfältsmikroskopi.

Fig 4 visar ett system, i vilket ett förfarande enligt föreliggande uppfinning tillämpas.

Fig 5a visar resultatet av ett experiment baserat på bilderna i fig 2.

Fig 5b visar resultatet av ett experiment baserat pà bilderna i fig 3.

Fig 6 visar ett flödesschema för ett förfarande en- ligt uppfinningen.

Beskrivning av föredragna utföringsformer Fig 1 visar schematiskt ett optiskt system. Ett ob- jektiv l avbildar då en bild av ett objekt 6, som är lO 15 20 25 30 35 519 942 9 beläget i ett objektplan 5, på ett sensorbildplan 2, tillhörande en tvådimensionell sensor. Systemet är för åskådlighets skull visad med endast en lins. I ett verk- ligt mikroskopsystem förekommer åtskilliga linser. Op- tiken, dvs i detta fall systemet av objektiv och sensor har två visade associerade fokusplan. Ett första fokusplan 3 är beläget på avståndet (fokusavvikelsen) 21 ovanför objektplanet och är det plan i vilket ovannämnda optik är fokuserad för blått ljus. Ett andra fokusplan är beläget på avståndet (fokusavvikelsen) z2 nedanför ob- jektets plan och är det plan i vilket optiken är foku- serad för grönt ljus. De första och andra fokusplanen är väsentligen parallella och belägna på det kända avståndet zu från varandra. Optiken kan även antas ha ett tredje åtskilt fokusplan för rött ljus (icke visat).

Att det första och det andra fokusplanet inte sam- manfaller beror av det faktum att optikens brännvidd är våglängdsberoende. Man säger då att optiken har ofull- ständig longitudinell färgkorrektion. Detta betraktas vanligen som ett problem. I samband med föreliggande upp- finning kan emellertid denna ofullständighet utnyttjas för att underlätta fokusering av systemet.

Fig 2 visar ett antal bilder, tagna med en CCD- bildsensor, av ett objekt innefattande icke-infärgade röda blodkroppar, vilka avbildats med faskontrastmikro- skopi. Objektet befinner sig vid fem olika lägen i för- hållande till mikroskopets optik. Avståndet mellan två näraliggande lägen är ca 0,5 um. För de olika lägena visas bilder 30- 34 med grön färgkomponent i vänstra kolumnen och motsvarande bilder 35- 39 med blå färg- komponent i högra kolumnen. Bilderna 30- 39 är återgivna i gråskala. Såsom framgår av bilden uppstår de skarpaste gröna och blå bilderna vid inbördes olika avstånd från objektivet.

Fig 3 visar ett antal bilder av ett objekt inne- fattande MGG-(May-Grünwald-Giemsa)-infärgade röda blodkroppar, vilka avbildats med ljusfältsmikroskopi. 10 15 20 25 30 35 519 942 10 Objektet befinner sig vid fem olika lägen i förhållande till mikroskopets optik. Avståndet mellan två näralig- gande lägen är ca 0,8 um. bilder 40- och motsvarande bilder 45- 49 med blå färgkomponent i För de olika lägena visas 44 med grön färgkomponent i vänstra kolumnen högra kolumnen. Såsom framgår av bilden uppstår de skarpaste gröna och blå bilderna vid olika avstånd från objektivet.

Fig 4 visar ett mikroskopsystem innefattande ett mikroskop, ett datorsystem och ett arrangemang enligt en föredragen form av föreliggande uppfinning. Arrangemanget utför ett förfarande enligt en föredragen utföringsform av föreliggande uppfinning. En ljuskälla 100 belyser då ett prov 102, utgöras av ett medicinskt prov i form av ett infärgat som skall avbildas. Provet kan exempelvis blodutstryk på ett provglas. Ett intressant objekt kan då utgöras av en vit blodkropp i detta prov. En del av det ljus som transmitteras genom provet 102 fångas upp av ett objektiv, som avbildar det på en bildsensor 106.

Bildsensorn 106 kan vara en enchips- eller en trechips färgsensor, men innefattar normalt en matris med små ljuskänsliga element, vilka var och en genererar en pixel i en registrerad bild. Sensorn kan även innefatta pixel- element försedda med filter så att de registrerar ljus med viss färg. Bildsensorn 106 är ansluten till ett bild- minne 108, som kan lagra av bildsensorn 106 mottagna bilder.

Ljuskällan 100 kan sägas avge en röd, en grön och en blå färgkomponent (dvs ljus med olika våglängder), betecknade ro, go och bo. Dessa kan avges samtidigt som vitt ljus, men det är även möjligt att anordna en eller flera ljuskällor som avger ljus med två eller tre av de grönt och blått, sig i en viss sekvens. Detta kan möjliggöra utnyttjandet primära färgerna rött, var och en för av en enklare bildsensor.

Det ljus som transmitteras genom objektet kan på samma sätt sägas utgöras av tre grundbilder, en röd, en 10 15 20 25 30 519 942 11 grön och en blå. Objektivet 104 projicerar dessa bilder på bildsensorn 106, vilket Dessa betecknas rl, gl och bl. resulterar i tre registrerade bilder betecknade r, g och b. Dessa bilder kan även utnyttjas i enheter för bildbehandling 110 och bildanalys 112. Bilderna r, g och b kommer att vara transformationer av rl, gl och bl, eftersom objektivet inte är idealt. Eftersom objektivet inte heller kan antas behandla inkommande ljus helt oberoende av våglängd, kommer dessa transformationer dessutom att skilja sig åt för de olika färgerna.

Hädanefter behandlas endast funktionaliteten för färgerna grönt och blått i detalj, principen för rött är emeller- tid densamma.

Förhållandet mellan bilderna vid det genomlysta ob- jektet och vid bildsensorn kan uttryckas: b=@*m@flÅ» g:g| *hÅÛ-z 22)) Tecknet “*” betecknar då en tvådimensionell faltning.

Funktionerna hl och hg betecknar impulssvar, vilka har varsin våglängdsparameter ol resp og, samt vilka är starkt beroende av varsin parameter zl resp 22, vilka betecknar avståndet mellan aktuell färgs fokusplan och objektet, såsom är visat i fig 1.

De gröna och blå bilder som upptas av bildsensorn 106 och lagras i bildminnet 108 skickas till en skatt- ningsmodul, för att uppskatta avstånden zl och 22. Det kan antas att avståndet mellan det gröna och det blå fokus- planet zu, jfr fig 1, är känt. Avståndet zu kan vara uppmätt vid tillverkning av systemet, men företrädesvis uppmäts det vid återkommande kalibreringsförfaranden.

Den blå bilden b, kopplas till en första faltningsmodul 116. Den gröna bilden en andra faltningsmodul 120. som är en matris med pixelvärden, (även den en matris med pixelvärden) kopplas till Faltningsmodulerna är här 10 15 20 25 30 519 94-2 12 allmänt medel för modifiering av en bilds skärpa. I faltningsmodulerna modifieras bilderna på elektronisk väg. I en föredragen utföringsform tillförs oskärpa till bilderna. Detta kallas nedan att bilden blurras (eng. blur= göra suddig). Graden av tillförd oskärpa benämns nedan blurr-parametern, betecknad oy Utsignalen från den första faltningsmodulen 116 kan kallas en blurrad blå bild och betecknas b*(o¿), där: b*(Û'3)=b*h(Û-3) Beteckningen “*” innebär då en tvådimensionell dis- kret faltning, och h är ett gaussiskt impulssvar: -w 1 -e h(x,y,0) = 2 O' _0O På samma sätt genereras en blurrad grön bild g*«n) i den andra skattningsmodulen 120, varvid: g*(0;)=g*h(03) Bilden kan eventuellt bandpassfiltreras före, efter eller integrerat med modifieringen av skärpan. Detta kan göras för att kompensera för högfrekvent brus , lågfrek~ venta ljusvariationer eller färgskillnader. Allmänt används bandpassfiltreringen för att framhäva komponenter som innehåller skärpeinformation. Företrädesvis används då ett modifierat gaussiskt filter vid skärpemodi- fieringen.

Den blurrade blå bilden b*(o3) och den ursprungliga gröna bilden g inmatas till en första korrelationsmodul 122, två bilder beräknas. Allmänt uttrycks denna korrelation i vilken den pixelvisa korrelationen mellan dessa mellan två bilder a och b: 10 15 20 25 30 519 9~1l2 varvid m och n uttrycker bildernas storlek i antal pix- lar. De olika bildernas stickprovsmedelvärden betecknas ä och b_.

Negativa korrelationsvärden är emellertid inte troliga i Korrelationen kan anta värden mellan 1 och -1. detta sammanhang. Ovan används pixelvis korrelation, vilket är att föredra, andra korrelationsberäkningar, såsom exempelvis mellan grupper av pixlar är emellertid tänkbara. Den första korrelationsmodulen 122 genererar utparametern p(o3), vilken uttrycker korrelationen mellan g och b*(0fi.

På samma sätt genererar en andra korrelationsmodul 124 en utparameter p"(o3), vilken uttrycker korrelationen mellan b och g*kn).

Modifieringen av bilderna och korrelation mellan bilderna behöver inte nödvändigtvis utföras på hela bilderna. Förfarandet kan även utföras på del av bild.

I systemet finns en parameterberäknare 126. Denna styr blurrparametern 03 tills ett globalt största värde för p(o3) och p~(o3) erhålles. Med globalt största värde menas det gemensamma maximat för p(o3) och p"(ofi.

Det värde på o3som genererar ett maximalt korrela- tionsvärde används därefter för uppskattningen av z1 och z2. Vid denna uppskattning görs ett antal antaganden. Det antas att hl och hgär gaussiska och identiska med de 120, undantag för sina respektive våglängds- och fokus- impulssvar som används i faltningsmodulerna 116, med avvikelseparametrar. Vidare antas att de detaljer i objektet som framträder med blått ljus även syns med grönt ljus. Under sådana förutsättningar kan uttrycken för grön, respektive blå färgkomponent förenklas till: b I bl *h(Û_1(Z1 g I bl *h(o'z(zz)) 519 942 14 Tre fall är möjliga: a) Om ö2(z2)>ö1(z1) ges p(03)=l då: g o b* = [a * hbxzz ))]° [b. * h( = [b] *h<«fz>1o[f».*h( Uazaflf: )]:1 »fw då Ü22(Z2)=Û12(Z1)+Û'32 5 b) Om o¿(z1)>o¿(z2) ges på liknande sätt p~(o3)=l då: Û12(Z1):Ü22(Zz)+Ü32 10 c) Om o¿(z1)=o¿(z2) ges på liknande sätt fi>(03)=D~(03)=1 då! o',2(z])=0š(z2), dvs då a3=0 15 För vart och ett av dessa fall skall ett ekvations- system lösas med avseende på 21 och 2; a) {Û'fi(Z2):Ü12(Z1)+Ü32 q+z2=42 20 b) Z1+Zz :212 c) { z1+z2 = 212 10 15 20 25 30 35 519 942 15 Parameterberäknaren 126 utför numeriska beräkningar motsvarande de ovan visade och kan därför med ledning av ol, og, 03 och 212 åstadkomma skattningar av 21 och 22.

Dessa skattningar kan sedan utnyttjas av det optiska sys- temet. I det visade exemplet är skattningarna indata till en fokusregulator 128, som reglerar en fokusmekanism 129 till önskat läge.

Parameterberäknaren 126 liksom faltnings- 116, 120 och korrelationsmodulerna 122, 124 kan utföras som ASIC- kretsar (Application Specific Integrated Circuit) eller FGPA-kretsar (Field Programmable Gate Array). Alternativt kan hela eller delar av beräkningsförfarandet som ingår i uppfinningen implementeras mjukvarumässigt som ett dator- program. Datorprogrammet innefattar då instruktioner vilka är ämnade att utföras i en digital signalprocessor (DSP), meterberäknaren åtminstone ett medel för att identifiera PC-processor eller liknande. Allmänt utgör para- det 63 som ger störst korrelation och medel för att beräkna skattningar för värdena på 21 och z2.

Enkelt uttryckt kan det sägas att systemet utnyttjar att den bild vars fokusplan ligger närmast det avbildade delobjektet kommer att se skarpast ut. Hur mycket den skarpare bilden genom signalbehandling behöver göras suddigare (eller den suddigare bilden göras skarpare) för att de två bilderna skall ha lika stor skärpa är ett mått på hur mycket närmare delobjektet ligger i förhållande till den skarpare bildens fokusplan. Om den första och den andra bilden är lika skarpa/oskarpa kan det antas att delobjektet ligger mitt emellan de båda bildernas fokus- plan. Om det inbördes avståndet mellan fokusplanen är känt kan avståndet mellan vart och ett av dessa och del- objektet uppskattas.

Det är möjligt att använda endast en faltningsmodul 116 och en korrelationsmodul 122. Man kan då tala om ett asymmetriskt system, eftersom skärpan modifieras i endast en av bilderna i motsats till i det i fig 4 visade sys- temet. En förutsättning för att detta skall fungera till- 10 15 20 25 30 35 16 fredsställande är att skärpan inte bara kan minskas i faltningsmodulen, utan även ökas. Vid ökning av skärpan utnyttjas ett approximativt inverst gaussiskt filter. Ett sådant filter förstärker kontrasterna i figuren, men kan även antas förstärka och tillföra brus till bilden, ef- tersom kontraster som kanske inte alls existerar i en fo- kuserad bild kan åstadkommas.

Storleken på det mätområde inom vilket en relevant fokusavvikelseskattning kan göras bestäms av avståndet zu mellan fokusplanen. Så länge det intressanta objektet be- finner sig mellan dessa plan ger förfarandet en direkt användbar uppskattning. En stor bristande longitudinell färgkorrektion i ett optiskt system, vilket i de flesta fall anses negativt, resulterar enligt uppfinningen i ett stort mätområde, vilket får anses positivt. Åtminstone tre möjligheter finns för att åstadkomma bilder med olika färginnehåll. Antingen kan en bildsensor med färgfilterförsedda pixelelement användas. En sådan en blå och en röd bild. Alternativt används olika bildsensorer för de olika färgerna. Ett yt- sensor avger en grön, terligare alternativ är att exempelvis först belysa ob- jektet med grönt ljus varvid en första bild registreras, varefter objektet belyses med blått ljus och en andra bild registreras.

Alternativa sätt finns emellertid även för att åstadkomma bilder med skilda fokusplan utan att utnyttja bristande longitudinell färgkorrektion. Denna möjlighet kan utnyttjas om man vill ha ett större mätområde. En möjlighet är då att registrera en första bild före och en andra bild efter en till belopp och tecken känd justering av systemets optik, exempelvis en omfokusering. Alter- nativt kan bilderna registreras före och efter en till belopp och tecken känd förflyttning av objektet längs sy- stemets optiska axel. En ytterligare möjlighet är att ut- nyttja flera sensorer med skilda optiska avstånd till det avbildade objektet. 10 15 20 25 30 35 519 94-2 17 Fig 5a visar resultatet av ett experiment baserat på bilderna i fig 2. För varje par av bilder, vid ett givet avstånd mellan objektet och objektivet, ges en tvådelad korrelationskurva, som en funktion av blurrningspara- metern 03. Varje korrelationskurva består till sin vänstra och högra del av p, (exempelvis 123), som funk- tion av o3(dvs olika skärpemodifieringar i den första bilden), o3(dvs olika skärpemodifieringar av den andra bilden). De respektive p~, (exempelvis 125), som funktion av resulterande fem korrelationskurvorna har sina maxima för fem olika värden på o3, vilket motsvarar att objektet be- funnit sig på fem olika lägen i förhållande till objek- tivet. Kurvan 130 hänger ihop med bildparet 30, 35 2), kurvan 131 med 31,36 (fig 2) maxima når upp till korrelationen 1 såsom i antagandet (fig osv. Inget av de fem ovan. Anledningen är att då verkliga bildpar analyseras är det ofta flera av förutsättningarna i beskrivningen ovan i samband med fig 4 som ej är uppfyllda.

För det första är objektet ej alltid tunt i för- hållande till objektivets skärpedjup. Den resulterande korrelationskurvan blir då en sammanvägning av ett antal korrelationskurvor - en för varje tunt ”lager” i objek- tet. toppen, Då kan läget för den resulterande korrelations- och därmed motsvarande skattningar av fokus- avvikelserna, komma att störas mer eller mindre.

För det andra är det sällan så att både objektet och fokusplanen är helt plana. Resultatet blir då, eftersom (och varierar över bilden. effekterna knappast tar ut varandra, att zl och 22 därmed GL G2 och det optimala og Även zu kan variera över bilden.

För det tredje är ett impulssvar för ett mikroskop- objektiv sammansatt av en diffraktionsbegränsad del och en defokuseringsberoende del. Den förstnämnda delen är endast approximativt gaussisk.

För det fjärde beter sig sällan objektets samtliga detaljer lika för exempelvis grönt och blått ljus. 10 15 20 25 30 35 519 942 18 Trots att de antaganden som gjordes i samband med beskrivningen av fig 4 endast är approximativt korrekta ger modellen mycket bra skattningar av systemets fokus- avvikelser. Det går även att om nödvändigt justera meto- den för att kompensera för en del av dessa avvikelser från antagandena. Om exempelvis en infärgad vit blodcell avbildas ger denna betydligt större amplituder i grönt än i blått. Det är möjligt att kompensera för detta genom att vid korrelationsberäkningen utesluta de pixlar där den gröna komponenten avviker med mer än ett visst belopp från sitt medelvärde.

Systemet påverkas däremot inte i någon större ut- sträckning av den rörelseoskärpa som kommer av att prov- glaset befinner sig i rörelse vid avsökande mikroskope- ring. Detta beror av att de olika färgernas bilder på- verkas väsentligen lika av rörelsen (jämför strålgången r, g, b i fig 4).

Fig 5b visar resultatet av ett experiment baserat på bilderna i fig 3. Kurvan 140 hänger ihop med bildparet 40,45 (fig 3), kurvan 141 med 41,46 (fig 3), det tydligt att objektet inte längre går att betrakta som osv. Här är tunt. Körrelationskurvorna uppvisar tydliga dubbla top- par. Ett infärgat prov av röda blodceller innehåller två huvudsakliga ”lager”, som är möjliga att avbilda med ljusfältsmikroskopi, nämligen objektglasets ovansida re- spektive de röda blodcellernas ovansida. Då ett icke in- färgat prov av röda blodceller avbildas med faskontrast- mikroskopi återges framförallt objektets variationer i brytningsindex, vilka främst uppträder i det ”lager” där de röda cellerna varvas med mikroskopolja.

I ett system enligt uppfinningen kan därför två av- stånd genereras som båda är korrekta. Detta är en av- görande skillnad i förhållande till de system som utnytt- jar fokusmàtt baserade på varians. I sådana system stör de två ”lagren” varandra så att ett felaktigt fokusmått blir resultatet. I den i fig 3 visade bildserien ger en 10 l5 20 25 30 35 519 942 19 relativ fokusmätprincip baserad på ett variansmått därför ett fel på cirka 0,2 pm vid beräkning av bästa fokusläge.

Enligt föreliggande uppfinning ger ett prov med två skikt däremot en viss fördel, eftersom det väsentligen räcker att ett av de två skikten ligger inom mätområdet, dvs mellan de två bildernas fokusplan, för att en in- tressant avståndsberäkning skall kunna utföras.

Som ett alternativ till de i fig 4 visade faltnings- modulerna kan ett system baserat på en fouriertransform utnyttjas. De inkommande gröna och blå bilderna b och g transformeras då med hjälp av en diskret fouriertransform till frekvensplanet, varefter modifiering av skärpegrad och korrelation utförs med de transformerade bilderna.

Transformen beräknas numeriskt på känt sätt med en FFT- (Fast Fourier Transform)-algoritm. Själva transformen är relativt beräkningskrävande och därmed tidskrävande. Om emellertid många olika modifieringar och korrelations- beräkningar skall utföras för varje par av bilder blir denna metod ändå totalt sett snabbare, eftersom skärpe- modifiering och korrelation går betydligt snabbare att utföra i frekvensplanet. Således är FFT-algoritmen lämp- lig att utnyttja om många värden på og skall prövas.

Allmänt går transformeringen, skärpemodifieringen och korrelationsberäkningarna till såsom följer då FFT- algoritmen utnyttjas.

De i de gröna och blå bilderna överlappande områden som transformeras bör vara kvadratiska med en sida, som har en storlek i antal pixlar, vilken kan uttryckas i en 2-potens, exempelvis 256*256 pixlar. Det som skall trans- formeras är alltså en matris med pixelintensitetsvärden.

Fouriertransformen kräver för att fungera tillfreds- ställande att en periodisk fortsättning finns i en bild.

Av denna anledning speglas bilderna i två dimensioner, så att större bilder åstadkommes. Exempelvis speglas en matris: 10 15 20 25 519 942 20 till en större matris: 1 2 2 1 3 4 4 3 3 4 4 3 1 2 2 1 Detta medför att den efterföljande FFT-algoritmen ger mer användbara resultat. Resultatet av den diskreta fourier- transformen blir för den blå bilden det tvådimensionella frekvensspektrat B(u,v) och för den gröna bilden det motsvarande spektrat G(u,v).

Spektrat för den blå och den gröna bilden normeras därefter så att B(0,0)=G(0,0)=0. Detta motsvarar att medelvärdet av pixelintensiteten i respektive bild sätts till noll då korrelationen utförs.

Modifiering av skärpan i exempelvis den blå bilden kan därefter beräknas som BTk(u,v)=B(u,v)*Tk(u,v), där Tk(u,v) är fouriertransformen av det kzte gaussiska filtret. Istället för att göra en beräkningsmässigt krävande faltning görs således istället en multi- plikation.

Korrelationen mellan den skärpemodifierade blå bilden och den gröna bilden kan beräknas som : 2 flßçu, mk (m) - GW, n] Jzzlßnlnqïknhnf -Zzkïnrnjz På motsvarande sätt beräknas korrelationen mellan en PUf) = skärpemodifierad grön bild och en blå bild: 2 Z|G(u,v)Tk(u,v) - B(u,v)1 JZZ|G(u,v)Tk(u,v)|2 -22|B(u,v)|2 fiflf) = lO 15 20 25 30 35 519 9fè2 21 Resultatet av dessa beräkningar blir approximativt detsamma som vid de ovan visade beräkningarna i falt- ningsmodulerna. Det värde på parametern k som resulterar i maximal korrelation utnyttjas då för beräkning av det sökta avståndet.

För bilder med enbart eller nästan enbart blodceller i finns en möjlighet att göra den ovan nämnda fourier- Skälet till detta är att blod- cellerna i en bild ser ut som små cirklar, det finns inga transformen snabbare. eller nästan inga långsträckta föremål i någon speciell riktning i bilden. Tack vare detta kan man göra ett anta- gande att fouriertransformen av bilden är rotations- symmetrisk runt nollpunkten (exempelvis B(0,0)). Därför behöver endast endimensionella fouriertransformer beräk- och G(u,O). morna blir då istället enkelsummor, vilket förenklar be- nas, såsom B(u,O) De ovan visade dubbelsum- räkningen. En ännu större vinst med detta förfarande är att inga tvådimensionella, stora mellanresultat behöver mellanlagras under beräkningen, vilket väsentligen för- enklar den hårdvara som behöver användas. Detta möjliggör användandet av en relativt långsam och billig DSP, och är därför en föredragen utföringsform.

Det är inte heller säkert nödvändigt att utnyttja alla pixlar i en rad vid beräkningarna. För vissa typer av bilder kan nedsampling göras, dvs enbart var nzte pixel längs en rad utnyttjas vid beräkningarna. Detta kan ge tillförlitliga resultat trots att beräkningarna kan göras snabbare.

Fig 6 visar ett flödesschema för ett förfarande enligt uppfinningen. I ett första steg genereras då en första uppsättning sekundära bilder utifrån en första bild.

I ett andra steg genereras en andra uppsättning sekundära bilder utifrån en andra bild.

I ett tredje steg beräknas korrelationer mellan å ena sidan den första bilden och å andra sidan åtminstone en delmängd av den andra uppsättningen sekundära bilder. 10 15 20 519 942 22 I ett fjärde steg beräknas korrelationer mellan à ena sidan den andra bilden och å andra sidan åtminstone en delmängd av den första uppsättningen sekundära bilder.

I ett femte steg identifieras vilken grad av modi- fiering av den första eller den andra bilden som resul- terar i det största korrelationsvärde som framkommit vid de tredje och fjärde stegen.

I ett sjätte steg görs en uppskattning av avståndet mellan den första bilden fokusplan och det avbildade objektet, vid vilken uppskattning den identifierade graden av modifiering är indata.

Den inbördes ordningen mellan flera av de ovan- stående stegen kan omkastas. Hela den första uppsätt- ningen sekundära bilder behöver inte skapas samtidigt.

Det är att föredra att generera sekundära bilder konti- nuerligt och samtidigt avgöra korrelationer för skapade sekundära bilder. Den i fig 4 visade parameterberäknaren styr då graden av skärpemodifiering tills ett relevant korrelationsmaximum hittats. Uppsättningen sekundära bilder behöver då inte göras större.

Uppfinningen begränsas ej av de ovan visade ut- föringsformerna, utan kan modifieras på ett flertal sätt inom ramen för de bifogade patentkraven.

Claims (17)

10 15 20 25 30 35 4.1; n 519 9 Ja. BJ 23 PATENTKRAV

1. l. Förfarande i ett optiskt system för uppskattning (zl) mellan ett objekt (6) och ett tillhörande en första bild som avbildar av fokusavvikelsen fokusplan (3) objektet, k ä n n e t e c k n a t av att en andra bild, vilken bild har ett som avbildar objektet, utnyttjas, fokusplan (4) fràn den (212) första bildens fokusplan, av att den första bildens beläget pà ett känt avstånd skärpa genom signalbehandling modifieras med en grad så att den första och den andra bilden är väsentligen lika skarpa, och att fokusavvikelsen mellan objektet (6) och den första bildens fokusplan uppskattas pä basis av denna grad av modifiering och nämnda kända avstånd (zu).

2. Förfarande enligt krav l, (151) innefattande stegen: - att generera en första uppsättning sekundära bilder utifrân den första bilden, genom olika grader av modifiering av skärpan i den första bilden; (154) tioner mellan överlappande delar av ä ena sidan àtmin- - att beräkna en första uppsättning korrela- stone en delmängd av nämnda första uppsättning sekundära bilder och à andra sidan den andra bilden; (155) skärpan som resulterar i den största bland nämnda korre- - att identifiera den grad av modifiering av lationer; varefter den identifierade graden utnyttjas vid uppskattningen av fokusavvikelsen mellan objektet och den första bildens fokusplan.

3. Förfarande enligt krav 2, varvid förfarandet vi- dare innefattar stegen: (152) bilder utifràn den andra bilden, genom olika grader av - att generera en andra uppsättning sekundära modifiering av skärpan i den andra bilden; och (153) tioner mellan överlappande delar av à ena sidan ätmin- - att beräkna en andra uppsättning korrela- stone en delmängd av nämnda andra uppsättning sekundära bilder och à andra sidan den första bilden; 10 15 20 25 30 35 519 942 24 - varvid nämnda identifiering (155) sker även med utgångspunkt från nämnda andra uppsättning korrelationer; och (156), även till vilken av nämnda första och andra uppsättningar - varvid, vid nämnda uppskattning hänsyn tas korrelationer som inbegriper det största värdet.

4. Förfarande enligt något av föregående krav, var- vid nämnda modifiering av skärpan innebär åtminstone minskning av skärpan, medelst ett gaussiskt filter.

5. Förfarande enligt något av föregående krav, vid vilket nämnda modifiering av skärpan innebär åtminstone ökning av skärpan, medelst ett approximativt inverst gaussiskt filter.

6. Förfarande enligt något av föregående krav, vid vilket nämnda modifiering av skärpan utförs medelst en faltning.

7. Förfarande enligt något av krav 2-5, vid vilket nämnda första och andra bild fouriertransformeras, var- efter nämnda modifiering av skärpan och nämnda uppskatt- ning av korrelationer utförs i frekvensdomänen.

8. Förfarande enligt något av föregående krav, vid vilket den första bilden genereras medelst ljus inom ett första våglängdsområde och den andra bilden genereras me- delst ljus inom ett från det första våglängdsområdet åt- minstone delvis skilt andra våglängdsområde.

9. Förfarande enligt något av krav l-7, vid vilket den första bilden genereras före en till belopp och tec- ken känd justering av systemets optik och den andra bil- den genereras efter nämnda justering.

10. Förfarande enligt något av krav 1-7, vid vilket den första bilden genereras före en till belopp och tec- ken känd förflyttning av objektet i förhållande till ett fokusplan hos det optiska systemet och den andra bilden genereras efter nämnda förflyttning.

11. ll. Förfarande enligt något av krav 1-7, vid vilket den första bilden registreras medelst en första bildsen- 10 15 20 25 30 35 1 . . ~ n , . - . « i .2- ..- 25 sor och den andra bilden registreras medelst en andra bildsensor.

12. Arrangemang i ett optiskt system för uppskatt- ning av fokusavvikelsen mellan ett objekt och ett fokus- plan tillhörande en första bild som avbildar objektet, k ä n n e t e c k n a t av att arrangemanget utnyttjar en andra bild, som ätminstone delvis överlappar den första bilden, och som har ett fokusplan beläget pà ett känt avstànd frän den första bildens fokusplan, av medel (116) för att genom signalbehandling modifiera den första bildens skärpa med en grad sä att den första och den andra bilden är väsentligen lika skarpa, och av medel (126) för att uppskatta fokusavvikelsen mellan objektet och den första bildens fokusplan pä basis av denna grad av modifiering och nämnda kända avstånd.

13. Arrangemang enligt krav 12, vidare innefattande medel (116) för att generera en första uppsättning sekun- dära bilder utifrån den första bilden, genom olika grader av modifiering av skärpan i den första bilden; medel (122) för att beräkna en första uppsättning korrelationer mellan överlappande delar av ä ena sidan ätminstone en delmängd av nämnda första uppsättning sekundära bilder (126) för att identifiera den grad av modifiering av skärpan som resul- och à andra sidan den andra bilden; medel terar i den största bland nämnda korrelationer, vilken identifierade grad utnyttjas av nämnda medel för att upp- skatta fokusavvikelsen mellan objektet och den första bildens fokusplan.

14. Arrangemang enligt krav 13, vilket vidare inne- fattar: medel (120) för att generera en andra uppsättning sekundära bilder utifrän den andra bilden, genom olika grader av modifiering av skärpan i den andra bilden; me- del (124) för att beräkna en andra uppsättning korrela- tioner mellan överlappande delar av à ena sidan ätmin- stone en delmängd av nämnda andra uppsättning sekundära bilder och à andra sidan den första bilden; varvid nämnda (126) medel för att identifiera är anordnat att verka med 10 15 20 25 30 35 519 942 . . . . i. . | - « n 26 utgångspunkt även från nämnda andra uppsättning korrela- (126) skattning av fokusavvikelsen är anordnat att ta hänsyn tioner; och varvid vid nämnda medel för upp- även till vilken av nämnda första och andra uppsättningar korrelationer som inbegriper det största värdet.

15. Digitalt minnesmedium innefattande ett dator- program för uppskattning i ett optiskt system av fokusavvikelsen mellan ett objekt och ett fokusplan tillhörande en första bild som avbildar objektet, k ä n ' n e t e c k n a t av att datorprogrammet utnyttjar en andra bild, som åtminstone delvis överlappar den första bilden, och som har ett fokusplan beläget på ett känt avstånd från den första bildens fokusplan, av att datorprogrammet innefattar instruktioner för att genom signalbehandling modifiera den första bildens skärpa med en grad så att den första och den andra bilden är väsentligen lika skarpa och instruktioner för att upp- skatta fokusavvikelsen mellan objektet och den första bildens fokusplan på basis nämnda grad av modifiering och nämnda kända avstånd.

16. Digitalt minnesmedium enligt krav 15 varvid da- torprogrammet vidare innefattar instruktioner för stegen: - att generera en första uppsättning sekundära bilder utifrån den första bilden, genom olika grader av modifiering av skärpan i den första bilden; - att beräkna en första uppsättning korrelationer mellan överlappande delar av à ena sidan åtminstone en delmängd av nämnda första uppsättning sekundära bilder och ä andra sidan den andra bilden; - att identifiera den grad av modifiering av skärpan som resulterar i den största bland nämnda korrelation, varefter denna grad utnyttjas vid uppskattningen av fokusavvikelsen mellan objektet och den första bildens fokusplan.

17. Mikroskopsystem med ett mikroskop och ett dator- system, vilket innefattar ett arrangemang enligt något av kraven 12-14.