DE69215760T2

DE69215760T2 - Kreuzkorrelationsausrichtsystem für einen Bildsensor

Info

Publication number: DE69215760T2
Application number: DE69215760T
Authority: DE
Inventors: Martin Alan Parker; Kenneth A Parulski
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1991-06-10
Filing date: 1992-06-02
Publication date: 1998-02-05
Anticipated expiration: 2012-06-03
Also published as: EP0518185B1; DE69215760D1; JPH05183916A; US5453840A; EP0518185A2; EP0518185A3

Description

Die Erfindung bezieht sich auf ein System, das automatisch zwei oder mehrere Sensoren ausrichtet, und zwar unter Verwendung der Kreuzkorrelation der durch die Sensoren abgefühlten Bilder, wobei das System sodann elektronisch räumlich sich ändernde Fehlausrichtungssfehler korrigiert. Insbesondere bezieht sich die Erfindung auf ein System, das die Subpixelausrichtung erreicht, und zwar durch Verwendung einer mathematischen Rotationskreuzkorrelation mit Interpolation oder "Spitzen"-Jagen, um die Position der höchsten Korrelation zu finden, wodurch die Fehlausrichtung bestimmt wird, und um ferner die Sensoren an ihren Platz zu bewegen, und zwar basierend auf der Position der höchsten Korrelation, um sodann regional angeordnete sich räumlich verändernde Fehlausrichtungsfehler zu korrigieren, und zwar verursacht durch chromatische Aberrationen in einem Linsensystem, das das Bild für die Sensoren vorsieht.
In Mehrfachband- oder Mehrfachfarb-Abbildsystemen, in denen zwei oder mehrere Sensoren hinter einem optischen Strahlenteiler angeordnet sind, müssen die Sensoren bezüglich einander in der Bildebene derart ausgerichtet sein, daß sie das Bild an der richtigen oder der gleichen Stelle tasten (sample). Normalerweise ist ein als der Bezugs- oder Referenzsensor bezeichnete Sensor in der Bildebene befestigt und andere sind mit ihm ausgerichtet. Zwei Möglichkeiten werden typischerweise eingesetzt, um solche Mehrfachsensor-Abbildsysteme auszurichten. Bei der ersten, optischen Möglichkeit verwendet ein Benutzer eine spezielle Vergrößerungsoptik, um in die Eintrittsstirnfläche des Strahlenteilers zu schauen und Bezugs- oder Referenzausrichtungsmarkierungen, Verbindungsflächen oder andere geeignete Merkmale an den Sensoren mit denjenigen an der Referenz auszurichten. Eine zweite aktive Möglichkeit besteht darin, das System zu betreiben und eine Testszene, die Ausrichtungsmarkierungen enthält, abzubilden. Während ein Monitor oder eine andere visuelle Anzeige beobachtet wird, wird der auszurichtende Sensor durch einen Benutzer eingestellt, bis die Bilder in die richtige Ausrichtung gebracht sind oder Wellenformen die richtigen Qualitäten besitzen. Diese beiden Möglichkeiten können in einem gewissen Ausmaß automatisiert werden.
EP-A-0115780 zeigt ein System zum automatischen Einstellen einer Farbfernsehkamera. In diesem System wird ein Ausrichtfehler dadurch detektiert, daß man die Zeiten des Auftretens von Pegelübergängen in zwei Videosignalen in Korrelation bringt, und ein unipolarer Impuls wird ansprechend auf einen Pegelübergang in dem anderen der Videosignale vorgesehen, wobei die zwei Impulssignale multipliziert werden und das Produkt integriert wird, um ein Signal zu erzeugen, dessen Amplitude und Polarität sich mit dem Ausrichtfehler verändert. Ein Mikroprozessorsteuersystem detektiert Größen und Zentrier-Fehler durch Messen von Ausrichtfehlern an unterschiedlichen Punkten am Raster. Bevor ein Einstellfehler korrigiert wird, bestimmt der Mikroprozessor, daß es adequate Pegelübergänge in der abgebildeten Szene gibt, und zwar geschieht dies durch methodisches Einstellen der Einstellsteuerungen über einen Bereich von Werten hinweg und die entsprechende Feststellung, ob die gemessenen Ausricht- oder Größen-Fehler sich dementsprechend ändern.

Zusammenfassung der Erfindung.

Es ist ein Ziel der vorliegenden Erfindung, eine automatische Sensorausrichtung zu erzeugen, und zwar unter Verwendung einer mathematischen Kreuzkorrelation zwischen den durch zwei oder mehrere Sensor erzeugten Bildern.
Ein weiteres Ziel der Erfindung ist es, eine automatische Subpixelausrichtung der Sensoren vorzusehen.
Es ist ferner ein Ziel der Erfindung, eine Dreh- oder Rotationsausrichtung der Sensoren automatisch anzugeben.
Ein weiteres Ziel der Erfindung besteht darin, räumlich sich ändernde Ausrichtfehler zwischen ausgerichteten Sensoren zu korrigieren.
Gemäß der vorliegenden Erfindung wird ein Bildsensorausrichtsystem bzw. ein Verfahren nach Anspruch 1 bzw. 6 vorgesehen. Bevorzugte Ausführungsbeispiele der Erfindung sind in den abhängigen Ansprüchen offenbart.
Die obigen Ziele können mit einem System erreicht werden, welches ein Zufallsrauschtestmuster verwendet, um die Sensoren auszurichten, und zwar durch Ausführungen von mathematischen Kreuzkorrelationen zwischen durch die Sensoren erzeugten gedrehten oder rotierten Bilder. Die Rotations- oder Dreh-Kreuzkorrelation wird dazu verwendet, um Größen der Translations- und Rotationsbewegung eines der Sensoren zu bestimmen, die notwendig ist, um die Sensoren auszurichten. Sobald die Sensoren ausgerichtet sind und fest in einem Platz sich befinden, berechnet das System die Kreuzkorrelation von regionalen Segmenten des Bildes, um die Verzögerungs- und Interpolationsfilterkoeffizientenwerte zu bestimmen. Die Koeffizienten werden dazu verwendet, die sich regional oder räumlich verändernden Ausrichtfehler zu korrigieren.
Diese Ziele zusammen mit weiteren Zielen und Vorteilen ergeben sich aus den Einzelheiten des Aufbaus und des Betriebes, was im folgenden näher beschrieben und beansprucht wird, wobei hier Bezug genommen wird auf die beigefügten Zeichnungen, in denen gleiche Bezugszeichen gleiche Teile bezeichnen.

Kurze Beschreibung der Zeichnung

Fig. 1 zeigt ein Abbildsystem mit Sensoren 10, 12 und 14, die gemäß der Erfindung ausgerichtet werden müssen, und zwar unter Verwendung eines Test- oder Zieltargets 16;
Fig. 2 zeigt eine Kreuzkorrelationsoperation, ausgeführt gemäß der Erfindung;
Fig. 3 veranschaulicht ein Sensorausrichtziel 16 gemäß der Erfindung;
Fig. 4 veranschaulicht die Komponenten in einem Ausrichtsystem 48 gemäß der Erfindung;
Fig. 5 ist ein Flußdiagramm des durch den Computer 58 in Fig. 4 ausgeführten Prozesses;
Fig. 6 veranschaulicht ein System 118, welches räumlich sich ändernde Fehlausrichtungsfehler korrigiert;
Fig. 7 ist ein Flußdiagramm des durch den Computer 58 in dem System der Fig. 65 ausgeführten Prozesses;
Fig. 8A und 8B zeigen Einzelheiten einer Korrekturschaltung 122 der Fig. 6;
Fig. 9a und 9B veranschaulichen die räumlich sich ändernde Fehlausrichtungsfehlerkorrektur;
Fig. 10 veranschaulicht ein 4x4-Filter; und
Fig. 11-13 veranschaulichen Filterkoeffizientenbinning (binning bedeutet speichern in einem "bin" oder Speicher).
Es seien nunmehr bevorzugte Ausführungsbeispiele der Erfindung beschrieben.
Bei der vorliegenden Erfindung handelt es sich um ein System, bei dem Sensoren automatisch in situ mit einem hohen Genauigkeitsgrad ausgerichtet werden. Das System projeziert ein Bild eines speziell konstruierten Testziels oder Testtargets auf die auszurichtenden Sensoren, und zwar durch die Optikmittel, die durch das Abbildsystem verwendet werden. Das Target ist leicht herzustellen, erfordert keine Präzisionsmerkmale und wird auf einem geeigneten Testtargetmedium gebildet, wie beispielsweise Papier. Das System berechnet sodann eine Kreuzkorrelation der Bilddaten aus dem am Platz fixierten Sensor, die als Referenz- oder Bezugssensor bezeichnet wird und der Sensor wird mit dem Bezugssensor ausgerichtet. Die Lage der Spitze in der Kreuzkorrelationsfunktion sieht zwei-dimensionale Information vor, und zwar betreffend die Translationsausrichtung des Sensors, der relativ zum Bezugssensor ausgerichtet ist. Die Dreh- oder Rotationsfehlausrichtung wird dadurch bestimmt, daß man eine Reihe solcher Kreuzkorrelationen berechnet, in denen ein Bild mathematisch in definierten Inkrementen durch die angenommene Ausrichtpositionen verdreht wird. Die Kreuzkorrelation mit der höchsten Spitze liegt am nächsten zu der korrekten Rotationsposition. Eine genauere (d. h. Subpixel)-Ausrichtung kann entweder durch Interpolation der Kreuzkorrelationsfunktionsausgangsgrößen oder durch einen Spitzenverfolgungs- oder Jageprozeß erhalten werden. Sobald der Sensor fest an seinem Platz ist, können basierend auf der höchsten Kreuzkorrelationsfunktionsspitze weitere Kreuzkorrelationsfunktionen für kleine Regionen oder Zonen des in Ausrichtung befindlichen Sensorbildes berechnet werden, um räumlich sich verändernde Fehlausrichtungen oder durch optische Aberrationen im Linsensystem des Abbildsystems hervorgerufene Fehler zu bestimmen. Die Ergebnisse der regionalen Kreuzkorrelation werden dazu verwendet, um Koeffizienten zu erzeugen, und zwar zur Verzögerung und zur zwei-dimensionalen Interpolation der Sensorsignalausgangsgrößen zum Reduzieren von räumlich sich verändernden Fehlausrichtungsfehlern.
Die Fig. 1 veranschaulicht ein Einstelltestbett 8, welches zum Ausrichten von roten 10, grünen 12 und blauen 14 Sensoren und deren Befestigung am Platz verwendet wird. In dieser Figur ist angenommen, daß der grüne Sensor 12 der feste oder Bezugssensor ist, obwohl alternativ auch der rote 10 oder blaue 14 Sensor als die Referenz oder Bezugsgröße verwendet werden könnte. Das System weist ein spezielles Ausrichttarget 16 auf, wobei das Bild davon durch eine Linse 18 und ein Strahlenteiler 20 läuft, wobei es sich hier um die Optik für die endgültige Vorrichtung, wie beispielsweise eine Kamera, handeln könnte. Die Sensoren 10, 12 und 14 sind an den drei Austrittsstirnflächen des Strahlenteilers 20 derart positioniert, daß sie in der gleichen Bildebene liegen. Da die Brennweiten (Focus) der Sensoren in der gleichen Ebene des Bildes liegen und keine Kippung besitzen (die Kippung ist vor der Ausrichtung entfernt) sind die verbleibenden Freiheitsgrade für die Sensorfehlausrichtung X und Y (Translation) und φ (Rotation) . Nach dem der Bezugssensor, beispielsweise der grüne Sensor 12, in Position festgelegt ist, beispielsweise dadurch, daß man ihn an dem Strahlenteiler 20 klebt, müssen die anderen beiden Sensoren 10 und 14 genau ausgerichtet werden, so daß sie die gleichen Stellen des Targets 16 tasten oder aber das sich ergebende Farbbild wird als fehlausgerichtet erscheinen. Die Einstellungen der Positionen der Sensoren und 14 werden durch eine Bewegung des Steuersystems ausgeführt, was im einzelnen unter Bezugnahme auf Fig. 2 erläutert wird, und welches Motoren 22 für alle drei Freiheitsgrade einsetzt, die dazu verwendet werden, um die Sensoren in eine Position zu bewegen, welche die Fehlausrichtungsfehler minimiert.
Die vorliegende Erfindung basiert auf der Erkenntnis der Erfinder, daß die diskrete mathematische Kreuzkorrelationsfunktion der Bilddaten des Bezugssensors 12 und des in Ausrichtung befindlichen Sensors (10 oder 14) eine genaue Ausrichtzustands-Metrik vorsieht. Die diskrete, 2-dimensionale Kreuzkorrelation der zwei stationären Signale f(x, y) und g(x,y) wird wie folgt definiert:
Wenn f(x,y)=g(x,y) dann ist c(x,y) als die Autokorrelationsfunktion bekannt. Wenn ferner c(x,y)=0 für x,y ≠ 0, dann ist f(x,y) das weiße Rauschen mit Nullmittelwert und c(x,y) = Iδ(x,y), wobei I eine Konstante ist, die mit dem Wert des Leistungsspektrums f(x,y) bei allen Frequenzen in Beziehung steht.
Da in der Praxis eine begrenzte Pixelzahl in einem Sensor ist, wird die periodische Kreuzkorrelation berechnet. Für zwei gegebene Sensorbilder f(x,y) und g(x,y), jedes der Größe K,L mit zwei Null-erweitererten (padding) Sequenzen gebildet, f (x,y) und g (x,y), jede der Größen M = 2K-1 N=2L-1,
wobei M = 2K-1, N=2L-1, wobei sodann gilt:
Die periodische Kreuzkorrelation wird wie folgt definiert: c (x,y)=f (x,y)og (x,y) =
Die Erweiterung mit Null der Sensordatensequenzen stellt sicher, daß kein Verschiebungsfehler in c (x,y) assoziiert mit der Periodizität der Funktion auftritt. Wenn f(x,y)=g(x,y) und g(x,y) eine Nullmittelwert-Weißrauschsequenz ist, dann würde c (x,y) nicht notwendigerweise O sein für x,y = O, sondern c (0,0), würde der Maximalwert von c (x,y) sein und c (x,y) würde für große K und L Iδ(m,n) annähern. Wenn f(x,y) und g(x,y) Pixelwerte von zwei Idealflächenbildsensoren sind, und jeder Sensor exakt an den gleichen Stellen eines Weiß-Rausch-Bildes tastet ohne Verlust optischer oder elektrische Bandbreite, dann hat die Kreuzkorrelation c (x,y) einen Spitzenwert x=y und nähert sich für große K und L Iδ(x,y). Wenn die zwei Sensoren relativ zueinander einer Translationsbewegung ausgesetzt werden, dann würde die Spitze von c (x,y) eine Translationsbewegung ähnlich der Sensoren ausführen. Somit kann die Spitze der Kreuzkorrelationsfunktion, wenn das geeignete Bild Target oder Ziel gegeben ist, zur Identifikation der relativen Translation zwischen den Bildsensoren verwendet werden.
Wenn die zwei Sensoren beide bezüglich einander verdreht oder rotiert und einer Translation unterzogen werden, dann würde die Spitze der Kreuzkorrelationfunktion nicht nur einer Translation unterzogen, sondern in ihrer Amplitude verringert und verbreitert, da die Drehung oder Rotation den Effekt des Ent-korrelierens der Signale haben würde, und insbesondere an Punkten, die von der Drehachse wegliegen. Wenn jedoch eines der Bilder automatisch vorrotiert wird, und zwar in Inkrementen, die das resultierende Bild durch den Punkt der Null-Rotation bezüglich des anderen bringen, und wenn die Kreuzkorrelation zwischen den Referenz- und vorrotierten Bildern für jedes Winkelinkrement ausgeführt wird, dann würde durch die Sequenz die Amplitude der Kreuzkorrelationsspitze ansteigen, ein Maximum in der Nähe perfekter Rotationsausrichtung erreichen und wieder verschwinden. Diese Sequenz ist in Fig. 2 als ein drei-dimensionaler Raum dargestellt. Fig. 2 zeigt die zwei-dimensionalen Kreuzkorrelationsamplitudenwerte für sechs Rotationsinkremente, das heiß, sechs Scheiben 24-34, durch die Rotationskreuzkorrelation. Jede Scheibe zeigt gleiche Amplitudenkonturen der Translationsquerkorrelation. Beispielsweise zeigt die Scheibe 24 drei gleiche Amplitudenkonturen 36-40. Wenn die Rotationskorrelation fortschreitet, zu annähernd der vierten Scheibe 30, so bewegen sich die Konturen dichter zusammen, so daß die Neigung der Kreuzkorrelationsfunktion zu einer Spitze oder Impulskurve fortschreitet und der Maximalwert der Scheibe steigt an. Das Globalmaximum der Rotationskreuzkorrelationen ist der Punkt der Rotation und Translation, das erforderlich ist, um die Sensoren mit dem geringsten Fehlerausrichtungsfehler auszurichten. Mit dieser Sequenz oder Folge von Verarbeitungsschritten wird ein Vektor berechnet, der das Ausmaß der Drehung und Translation der zwei Sensoren bezüglich einander anzeigt, das notwendig für die beste Ausrichtung ist. Wenn die wahre Drehachse der Sensoren nicht die gleiche ist, wie die der mathematischen Rotation, dann müßte der Vektor aus den mathematischen x,y,θ-Koordinaten in die Sensorkoordinaten x',y' und θ transformiert werden.
Wenn die Sensoren in einem Ausrichtsystem angebracht sind, in dem die Translation und Rotation der Sensoren relativ zueinander mit einem hohen Ausmaß an Genauigkeit erreicht werden kann, wie dies unter Bezugnahme auf Fig. 4 diskutiert wird, so wird der Vektor verwendet, um die exakte Position zu bestimmen, in der die Sensoren in Ausrichtung sind und das Ausrichtsystem wird dementsprechend betrieben. Um Subpixelgenauigkeit beim Positionsvektor zu erreichen, wird die Interpolation der Kreuzkorrelationsfunktion in der Nähe des globalen Maximums verwendet, um die wahre Spitzenlage abzuschätzen und der Sensor, der ausgerichtet wird, wird in Subpixelinkrementen bewegt. Um Kanteneffekte im rotierten Bild zu vermeiden, wird das rotierte Bild einer Fensterbehandlung unterworfen, derart daß die Kanten außerhalb der Fenstergrenzen sind.
Wenn die numerische Genauigkeit der Rotationsberechnungen nicht ausreicht, können kleine Rotationsfehlerausrichtungen schwer durch dieses Verfahren detektiert werden und die Interpolation in der Dreh(θ)-Achse kann gegenüber Rauschen empfindlich sein. Wenn dies für einen bestimmten Sensor der Fall ist, kann dann, sobald die grobe Rotationsfehlerausrichtung korrigiert ist, ein alternatives Verfahren verwendet werden, wo die Kreuzkorrelationsfunktion an Punkten in der Nachbarschaft der Spitze berechnet wird, wobei der in Ausrichtung befindliche Sensor etwas (in einem Subpixelinkrement) gedreht oder rotiert wird, eine neue Kreuzkorrelationfunktion berechnet wird und der Prozeß so lange wiederholt wird, bis das globale Maximum gefunden ist. In bestimmten Situationen ist es auch möglich, eine solche Spitzenjagd oder Verfolgungsoperation auszuführen, bei der der Sensor tatsächlich körperlich bewegt wird, und zwar an Stelle der mathematischen in Fig. 2 veranschaulichten Rotationssequenz. Das bevorzugte mathematische Verfahren der Rotationart wird im einzelnen unter Bezugnahme auf Fig. 5 diskutiert.
Das Verhalten der Kreuzkorrelationsfunktion hängt von dem Targetbildinhalt ab. Eine wohl definierte einzige Spitze schmaler Breite in der Autokorrelationsfunktion des Sensorsignals zeigt an, daß benachbarte Tastungen im Bild relativ unkorrigiert sind und die Kreuzkorrelationsfunktion wird sehr empflindlich sein gegenüber unterschiedlichen Taststellen in der Bildebene für die zwei Sensoren. Somit ist ein wichtiges Merkmal der Erfindung die Art des zu verwendenden Targets oder Ziels 16. Ein ideales Target 16 hat die folgenden Qualitäten: 1) Eine zwei-dimensionale Verteilung von reflektierenden (oder durchlässigen) Gebieten oder Flächen im Target ist entweder an regulären Intervallen oder an Zufallsstellen. 2) Für jedes reflektierte (oder durchlässige) Gebiet im Target oder Ziel existiert eine vorbestimmte Wahrscheinlichkeit, daß eine Reflektivität (oder Durchlässigkeit) vorliegt zwischen der minimalen oder maximalen Reflektivität oder Durchlässigkeit, die mit dem Medium erhaltbar ist. 3) Die Eigenschaft, daß die periodische Autokorrelationsfunktion der Targetbilddaten einen idealen Sensor bilden, und zwar in der Bildebene für jeden Sensor Kippwinkel θ, Horizontal position x und Vertikalposition y, 4) Das Spektralansprechen jedes reflektierenden oder durchlässigen Gebietes über den Bereich der durch die Sensoren zu detektierenden Wellenlängen steht in Beziehung mit dem Spektralansprechen irgendeines anderen Gebietes durch einen Skalar. 5) Das durch die Sensoren abgefühlte Target besitzt Subpixelmerkmale, die dadurch erreicht werden können, daß man das Target mit einem geeigneten Abstand vor der Linse anordnet. Ein derartiges Target ist in Fig. 3 dargestellt.
Das Target der Fig. 3, welches alle die oben genannten Eigenschaften besitzt, wird, wenn das Target mit einem entsprechenden Abstand vor der Linse angeordnet ist, folgendes fördern: 1) Die zwei-dimensionale Autokorrelationsfunktion jeder Sensorausgangsgröße oder der Kreuzkorrelation der Ausgangsgrößen von zwei perfekt ausgerichteten Sensoren werden so nahe zu einem Impuls sein wie möglich mit einem prominenten globalen Maximum. 2) Die Signale, die durch zwei irgendwelche perfekt ausgerichtete gegenüber unterschiedlichen Wellenlängen empfindliche Sensoren erzeugt sind, werden linear in Beziehung stehen. Das Target der Fig. 3 besitzt die Qualität, daß die reflektierenden Gebiete eine 50%-Wahrscheinlichkeit besitzen, daß sie entweder maximal oder minimal reflektierend sind. Es können jedoch auch andere Wahrscheinlichkeitsdichtefunktionen, wie beispielsweise die gleichförmigen oder Gaus'schen-Verteilungen verwendet werden.
Um ein derartiges Target zu erzeugen, wird ein eine Zufallszahlsequenz erzeugendes Computerprogramm verwendet. Die Zahlsequenz wird mit der gewünschten Verteilung (gleichförmig, Gaus'sisch usw.) erzeugt. Sobald die Zahlen erzeugt sind, werden sie in Pixelwerte umgewandelt und in einer Anordnung angeordnet, und zwar durch Füllen der Zahlen der Anordnung mit der Sequenz der Zahlen in der erzeugten Ordnung oder Reihenfolge. Die Pixelwerte werden sodann auf das entsprechende Medium durch einen konventionellen Drucker gedruckt. Das Target in Fig. 3 wurde auf einem konventionellen Laserdrucker gedruckt. Ein Bild eines Fernsehschirmes, das ein Bild auf einem nicht benutzten Kanal erzeugt, oder ein Billd von photographischen Filmkorn könnte auch einige der erwünschten Charakteristika erfüllen.
Wie in Fig. 4 gezeigt, umfaßt das Ausrichtsystem 48 der Erfindung konventionelle Signalverarbeitungsvorrichtungen 50 und 52, die das durch die Sensoren 10, 12 und 14 erzeugte Signal konditionieren, beispielsweise durch Ausführung bekannter Verstärkung, korrelierter Doppeltastung und Weißausgleich. Die Ausgangsgröße der Signalprozessoren 50 und 52 wird in digitale Proben (samples) von beispielsweise 8 Bits jeweils durch analoge Digitalumwandler 54 und 56 umgewandelt und an eine Kreuzkorrelationsrecheneinheit 58 geliefert, die vorzugsweise ein Computer, wie beispielsweise eine Sun 4 -Serie Workstation ist. Der Computer berechnet, wie zuvor erwähnt, einen Translations- und Rotationsvektor, der in das Koordinatensystem des auszurichtenden Sensors 10-14 umgewandelt wird und verwendet wird zur Steuerung einer Motorantriebssteuereinheit 60, die bewirkt, daß die Motoren 62, 64 und 66 in einer Ausrichtanordnung oder einem Rahmen den Sensors 10/14 zur gewünschten Stelle bewegen, wo der Fehlausrichtungsfehler am meisten reduziert wird. Eine geeignete Motorantriebssteuerschaltung 60 und Motoren 62, 64 und 66, die in der Lage sind, Bewegungsinkremente (1/10 Mikron) vorzusehen, sind von der Firma Kilinger Scientific of Gareden City, New york, USA, erhältlich. Es ist auch möglich, eine Anzeige 68 vorzusehen, die dazu verwendet werden kann, um eine Ausgangsgröße zu liefern, ähnlich den Drehscheiben der Fig. 2, die graphisch den Ausrichtspunkt zwischen durch die Sensoren erzeugte0n Bildern produzieren würden.
Ein Computer 58 des Ausrichtsystems 48 der Fig. 4 startet, wie in Fig. 5 gezeigt, durch Erfassen 82 und 84 der Bilder vom Referenzsensor 12 und vom Sensor 10/14 unter Ausrichtung. Das System initialisiert dann eine Rotationsvariable. Für einen Mega-Pixelsensor, wie beispielsweise den KAI-1000-Sensor der Firma Eastman Kodak Company, Rochester, New York, ist ein Rotationswinkel (θ) von 2º in Inkrementen von 0,10 geeignet. Andere Sensoren können unterschiedliche Winkel und Inkremente erforderlich machen, um die adequate Rotationsstastung zu erhalten. Sodann tritt das System in eine Schleife ein, in der die Kreuzkorrelation für jedes Rotationsinkrement ausgeführt wird. Das Bild vom Sensor, der ausgerichtet wird, wird gedreht, und zwar zur geeigneten Position durch Translation des Bildes ausreichend, um die gewünschte Rotation zu erreichen. Als nächstes berechnet das System die Kreuzkorrelation zwischen dem in Ausrichtung befindlichen Sensor und dem Referenzmotor. Dieser Schritt ist rechnermäßig sehr intensiv, wie man aus Gleichung 4 oben erkennen kann. Eine Berechnung mit "brutaler" Kraft der Gleichung 4 umfaßt, wie ein Fachmann erkennt, eine Schleife innerhalb einer Schleife, während welcher das Bild um ein Pixel in der X-Richtung verschoben wird und das Produkt entsprechender Pixel wird akkumuliert und gespeichert. Dieses gespeicherte Resultat sieht einen Punkt in der zwei-dimensionalen Kreuzkorrelationsfunktion oder Ausgangsgröße vor. Diese Schleife wird fortgesetzt, bis das Bild verschoben ist und Punkte der Funktion, beispielsweise in X-Richtung, über den die Gleichung 4 erforderlichen Bereich gespeichert sind. Sodann wird das Bild um ein Pixel in der äußeren Schleife in orthogonaler Richtung verschoben, beispielsweise der Y-Richtung. Das System tritt ein in die X-Pixelverschiebung und Akkumulationsschleife und berechnet eine weitere Serie von Punkten der Funktion. Die Ausgangsgröße ist eine Serie von Korrelationswerten, die sowohl X- als auch Y-Koordinaten assoziiert damit besitzen. Wenn diese Werte in einer Anordnung gespeichert werden, in der die Zeilen und Spalten der Anordnung den X- und Y-Positionen der Pixel in dem Bezugsbild entsprechen, dann sind die Zeilen- und Spaltenindices des Maximalwertes die Spitze in Korrelation zwischen dem Bezugssensor und dem in Ausrichtung befindlichen Sensor.
Sobald die zwei-dimensionale Kreuzkorrelation zwischen den verdrehten Bildern erhalten ist, werden die gespeicherten Ergebnisse (der Anordnung) abgetastet 92, um die Spitze in der Funktion zu detektieren und die Translationsposition und die Rotationsposition der Spitze wird aufgezeichnet. Eine drei-dimensionale Nachbarschaft von Kreuzkorrelationswerten zentriert an der Spitze werden für die spätere Interpolation gespeichert 93. Die gleiche Nachbarschaft wird für darauffolgende Iterationen verwendet. Das System inkrementiert 94 dann die Rotationsvariable. Sodann bestimmt das System, ob die Rotationsvariable anzeigt, daß eine volle Rotationsspanne vollendet ist. Wenn nicht, wird die Schleife wiederum ausgeführt. Wenn die volle Rotationsspanne vollendet ist, werden die gespeicherten Spitzenresultate der Rotationen abgetastet 98, um das globale Maximum in der Spitze zu bestimmen, die ein ganzzahliger Wert von Anordnungzeilen und -spalten und ein Realwert des Rotationswinkels ist. Das System führt dann eine konventionelle Linearinterpolation aus, und zwar mit Korrelationswerten in der drei-dimensionalen Nachbarschaft der Spitze und bestimmt die wahre Spitze. Die Anzahl der auf jeder Seite der Spitze gespeicherten Punkte hängt von der Natur der verwendeten Interpolation ab und mindestens eine Interpolation sollte verwendet werden. Dieser Schritt erzeugt die Subpixelausrichtung.
Sobald eine wahre Spitze bestimmt ist, wird die Verschiebung des Sensors als ein Verschiebungsvektor berechnet. Dieser Schritt umfaßt die Verwendung der realen oder teilweisen Zeilen- und Spaltenstelle der interpolierten Spitze zur Berechnung der X- und Y-Bewegungsabstände zur Mitte des Bildsensors und den Bewegungabstand notwendig zur Ausführung der gewünschen Rotation. Der Verschiebevektor wird dazu verwendet, die Treibersignalwerte für die Motoren 62, 64 und 66 zu bestimmen. Die Treibersignalwerte werden an die Steuereinheit 60 angelegt, um den Sensor in Ausrichtung zu bewegen. Der nächste Schritt 106 ist ein wahlweiser Schritt, während welcher die Schritte 82-100 ausgeführt werden können, wiederum zur Prüfung der Ausrichtbewegung. Alternativ kann ein konventioneller Spitzenjage- oder-verfolgungsvorgang verwendet werden, um die Ausrichtung fein abzustimmen. Sobald der Sensor in seine endgültige Position bewegt wird, ist er an seinem Platz beispielsweise durch Kleben des Sensors an den Strahlenteiler fixiert.
Die obige Beschreibung der vorliegenden Erfindung beschrieb die Berechnung des Kreuzkorrelationsschrittes 90 unter Verwendung einer einfachen Berechnung mit "brutaler Kraft", bei der einzelne Bildpixel von den Sensoren multipliziert und dann summiert werden. Dieser direkte Multiplikationsrechnungsvorgang ist der rechnermäßig am wenigsten effiziente für Bilder, wie beispielsweise das bevorzugte Testtarget, da ein M mal N-Bild M² Nn² Multiplikationen erforderlich machen würde. Ein rechnermäßig effizienterer Lösungsvorschlag besteht darin, eine diskrete Fourier-Transformation jedes erzeugten Bildes vorzusehen, wobei die transformierten Bilder multipliziert werden und sodann die inverse Transformation des Produkts erzeugt wird. Dies erfordert annährend mn(1+1,5 log&sub2;(MN))-Komplexmultiplikationen, was eine signifikante Reduktion gegenüber der Lösung mit "roher Kraft" ist. Eine rechnermäßig noch effizientere und bevorzugte Lösungsmöglichkeit besteht darin, daß man eine differentiale Kreuzkorrelation der folgenden Formel ausführt:
c=ΣΣ f-g (5)
Diese Lösungsmöglichkeit erfordert keine Multiplikationen. Anstelle einer Spitze würde dieses System jedoch ein Minimum erzeugen, wenn die Korrelation die größte ist.
Die obige Diskussion umfaßte die Berechnung der Korrelation für das gesamte Bild mit Nullerweiterung (Null-padding) um das Bild herum. In vielen Fällen könnte die anfängliche Fehlausrichtung auf eine relativ kleine Region eingeschränkt werden, und zwar entsprechend zur Mitte der Kreuzkorrelationsmatrix. Beispielsweise könnte die Ausrichtungseinspannvorrichtung eine Anfangsfehlausrichtung von nur +/- 10 Pixel sowohl horizontal als auch vertikal zulassen. In einer solchen Situation ist es nicht notwendig, die Korrelationsfunktion irgendwo außerhalb eines 20x20-Fensters zentriert am Ursprung der Korrelationsfunktion zu berechnen. Wenn eine solche Situation beständig existiert, können die Zahl der für eine Korrelation notwendigen Berechnungen wesentlich reduziert werden.
Wegen der lateralen chromatischen Aberrationen echter Kameralinsen und Strahlteiler ist es unmöglich, die Bilder für Mehrfachsensoren 10, 12 und 14 über das gesamte Feld des Bildes perfekt auszurichten. Das hier beschriebene Sensorausrichtverfahren minimiert die Gesamtgröße der Bildfehlausrichtung und liefert typischerweise gute Ausrichtung in der Mitte des Feldes. Die Ecken des Feldes könnten jedoch signifikante Fehlausrichtung zeigen. Ein Verfahren zur Reduzierung der Fehlausrichtung in den Ekken des Feldes oder Bildes wird im einzelnen unter Bezugnahme auf die Fig. 6-8 beschrieben. Bei diesem Verfahren wird das Bild in viele kleine Regionen gleicher bzw. ähnlicher Größe unterteilt und die zuvor (ohne Rotation) beschriebene Kreukorrelationsfunktion wird für jede der Regionen berechnet. Die Resultate der Korrelationsfunktion zeigen die relative Fehlausrichtung der zwei Sensoren in der für die Berechnung verwendeten Region. Diese Information wird sodann dazu verwendet, geeignete Verzögerungen und Filterkoeffizienten zu berechnen, und zwar für eine zwei-dimensionale Interpolationsschaltung, die Bildpixel des zweiten Sensors in der Region des Bildes örtlich oder regional verschiebt, um die Fehlausrichtungsfehler zwi schen den zwei Bildern weiter zu reduzieren.
Fig. 6 veranschaulicht ein System 118, welches eine modifizierte Version des Systems 58 der Fig. 4 ist, welches sobald der in Ausrichtung befindliche Sensor am Platz fixiert ist, regionale oder räumlich sich ändernde Fehlausrichtungsfehler korrigiert. Die Kreuzkorrelationsrecheneinheit 58 dieses Ausführungsbeispiels führt regionale oder örtliche Korrelationen aus, und zwar zwischen den durch den Bezugssensor 12 und die ausgerichteten Sensoren 10-14 erzeugten Bilder. Die regionalen Kreuzkorrelationsmaxima werden dazu verwendet, um Verzögerungswerte und Interpolationskoeffizientenwerte zu berechnen, die in einer Korrekturwertspeichereinheit 120 gespeichert sind, die vorzugsweise eine permanente Speichervorrichtung, wie beispielsweise ein ROM ist. Nachdem die Korrekturwerte bestimmt sind, und wenn das Abbildsystem in eine Vorrichtung, wie beispielsweise eine Kamera, eingebaut ist, so ist die Kreuzkorrelationsrecheneinheit 58 entfernt und die Werte im Speicher 120 werden dazu verwendet, um Korrekturwerte für eine Fehlausrichtungskorrekturschaltung 122 vorzusehen, die in Assoziation mit einer festen Verzögerungseinheit 124 eine Realzeitinterpolation der Ausgangsgrößen von den ausgerichteten Sensoren 10-14 ausführt, wenn das Bild in der Vorrichtung, wie beispielsweise einer Kamera, getastet wird.
Der durch die Kreuzkorrelationsrecheneinheit 58 in der Fig. 6 ausgeführte Prozeß ist in Fig. 7 dargestellt. Die Schritte 132 und 134 sind identisch mit den Schritten 82 und 84 in Fig. 5. Sobald die Bilder von den Sensoren erhalten sind, wird das Bild in einer Anzahl K-Blöcke unterteilt, wobei jeder Block beispielsweise 16x16 Pixel haben kann. Die Dimensionen der Blockes müssen basierend auf den Optikmitteln des Systems derart gewählt sein, daß die Aberrationen nicht signifikant innerhalb des Blockes variieren oder isotrop innerhalb der Region des Bildes innerhalb jedes Blockes sind. Diese Blöäcke können benachbart zueinander lokalisiert sein und von gleichförmiger Größe sein. Es ist auch möglich, überlappende Blökke oder Blöcke unterschiedlicher Größe in unterschiedlichen Regionen des Bildes zu verwenden, beispielsweise in der Mitte und in den Eckregionen. Der gesamte Sensor könnte auch in Blöcken vorgesehen sein. Für jeden der Blöcke wird die Kreuzkorrelation berechnet 136, und zwar in einer Art und Weise, ähnlich oder gleich den Schritten 88-96 der Fig. 5. Als nächstes bestimmt 138 das System, die Spitzen der Kreuzkorrelationsfunktion für jeden der Blöcke durch Ausführen der Schritte 98 und 100 der Fig. 5. Sodann berechnet das System einen Verzögerungswert und Interpolationsfilterkoeffizienten für jeden der Blöcke von Pixeln und speichert 142 diese Werte in Korrekturwertspeichereinheit 120. Die durch die Einheit 124 vorgesehene feste Verzögerung wird auf eine Verzögerung eingestellt gleich dem Maximum des erwarteten Fehlausrichtungswertes für irgendeinen der K-Blöcke.
Fig. 8 (einschließlich der Fig. 8A und 8B) veranschaulichen die Komponenten der Fehlausrichtungskorrekturschaltung 122 in Fig. 6 einschließlich einer zwei-dimensionalen 3x3-Interpolationsvorrichtung 148. Diese Korrekturschaltung 122 weist auch eine Verzögerungseinheit 150 auf, die in der Lage ist, eine einstellbare Mehrfachzeilenverzögerung vorzusehen, und zwar plus einer einstellbaren Mehrfachpixelverzögerung für die Pixelwerte von A/D 56 in Fig. 6. Diese Einheit liefert eine Eingangsgröße an eine Einzelpixelverzögerungseinheit 152, die eine weitere Einzelpixelverzögerungseinheit 154 beliefert. Die Einheit 150 beliefert auch eine Einzelzeilenverzögerungseinheit 156, die serienmäßig die Einzelpixelverzögerungseinheit 158 und 160 speist. Die Einzelzeilenverzögerungseinheit 156 liefert auch eine Ausgangsgröße an die Einzelzeilenverzögerungseinheit 162, die serienmäßig Einzelpixelverzögerungseinheiten 164 und 166 beliefert. Die Ausgangsgröße der Verzögerungsschaltung 150-166 werden an insgesamt neun Multiplizierer geliefert, von denen drei als Multiplizierer 168-172 dargestellt sind, die die verzögerten Pixel mit den neun Filterkoeffizienten gespeichert in der Speichereinheit 120 multiplizieren. Die Ausgangsgrößen der Multiplizierer 168-170 werden durch eine konventionelle Addiervorrichtung 174 addiert und als das Realzeitfehlerausrichtungsfehler korrigierte Signal ausgegeben.
Der Betrieb der Fehlausrichtungskorrektursfhaltung 122, durch die die räumlich sich ändernden Fehlausrichtungsfehler für jeden Block von Pixeln korrigiert werden, wird unter Bezugnahme auf die Fig. 9A und 9B beschrieben. Fig. 9A zeigt ein zwei-dimensionales Gitter von Photoplätzen oder -stellen 310, wobei die Zeilen als Linien O bis 5 numeriert sind und die Spalten als Pixel O bis 5 numeriert sind. Das Gitter wird verwendet, um graphisch die relativen Differenzen bei den Korrelationsspitzen darzustellen, und zwar zwischen dem Bezugssensor 12 in Fig. 6 und dem Sensor 10 oder 14, der räumlich sich verändernde Fehlausrichtungsfehler zeigt, und zwar bezüglich des Bezugssensors 12. Das 3 Zeilen x 3 Pixel abgedunkelte Gitter 310 zeigt die räumlichen Stellen der Pixel P O,O bis p 2,2 vorgesehen für die Eingänge der Multipliziervorrichtun- gen 168-172 in Fig. 8, wenn ein einstellbarer Verzögerungswert von zwei Zeilen (Linien) (angedeutet durch den Pfeil 312) plus zwei Pixel (angezeigt durch Pfeil 314) verwendet wird. Der Punkt 320 in Fig. 9A zeigt die Stelle der Korrelationspitzenposition für die genaue Ausrichtung der zwei Sensoren. Im allgemeinen werden die Korrelationsspitzen für jeden der Blöcke von Pixeln in unterschiedlichen Regionen des Bildes normalerweise nicht mit dem Punkt 320 zusammenfallen, sondern stattdessen an nahegelegenen Stellen zerstreut sein, beispielsweise an den Punkten 322, 324, 326 und 328, die Korrelationsspitzen von vier unterschiedlichen Blöcken von Pixeln in unterschiedlichen Gebieten des Bildes repräsentieren.
Wenn für einen gegebenen Block des Bildes die Korrelationsspitzenposition nicht genau mit der Referenzsensorkorrelationsspitze 320 zusammenfällt (d. h.. die zwei Sensoren sind in dieser Region oder Zone des Bildes gut ausgerichtet), und die feste Verzögerung 124 in Fig. 6 gleich 3 Zeilen plus 3 Pixel (um die Korrektur von Fehlern bis zu ± drei Zeilen (Linien) in Vertikalrichtung und ± drei Pixeln in Horizontalrichtung zu gestatten), so arbeitet die Schaltung der Fig. 8 wie folgt. Der Verzögerungswert für die einstellbare Verzögerung 150 in Fig. 8 wird auf gleich 2 Zeilen plus zwei Pixel eingestellt und die Koeffizienten P0,0 bis P2,2 sind alle gleich Null eingestellt mit Ausnahme für den Koeffizienten P1,1, der gleich eins gesetzt ist. Dieses liefert eine zusätzliche 1 Zeile (Linie) plus 1 Pixelverzögerung. Daher ist die Gesamtverzögerung vorgesehen durch die Fehlausrichtungsschaltung 122 in Fig. 6 gleich 3 Zeilen plus 3 Pixel, was genau der Verzögerung entspricht, die durch die feste Verzögerung 124 vorgesehen ist. Diese Verzögerung und Koeffizientenwerte werden für alle Pixel des Blocks verwendet.
Für Blöcke, wo die Korrelationsspitzenposition nicht der Referenzsensorkorrelationsspitze entspricht, werden die Einstellungen des einstellbaren Verzögerungswertes und die Koeffizienten P0,0 und P2,2 eingestellt, um diese Differenz zu kompensieren. Dies wird in zwei Stufen getan. Die erste Stufe besteht darin, daß der einstellbare Verzögerungswert genau eingestellt wird, was gestattet, daß die Fehlausrichtung innerhalb eines Abstandes gleich dem Pixelabstand des Sensors korrigiert wird. Dies ist graphisch in Fig. 9B dargestellt. Der einstellbare Verzögerungswert ist nunmnehr auf drei Zeilen (angedeutet durch Pfeil 312) plus drei Pixel (angedeutet durch Pfeil 314) eingestellt. Dies zentriert das 3x3-Interpolationsschaltungs-"Fenster" über der Korrelationsspitze 328 dieses Blockes. Der zweite Schritt besteht darin, hinsichtlich der Subpixel bemessenen Differenz zu korrigieren, und zwar zwischen der Stelle der Korrelationsspitze 328 und der Mitte des Pixels angedeutet durch Punkt 330. Diese Korrelation erfolgt durch richtiges Einstellen der Werte der Interpolationskoeffizienten P00 bis P22. Die zur Berechnung dieser Interpolationskoeffizienten verwendeten Techniken sind auf dem Gebiet der Technik bekannt und in Beispiel in der folgenden Literatur beschrieben: "Digital Image Processing" von William K. Pratt, John Wiley & Sons, New York, 1978; diese Literaturstelle ist durch Bezug in die vorliegende Anmeldung aufgenommen.
Das vorherige Interpolationsverfahren und die Vorrichtung führt eine 3x3 zwei-dimensionale Interpolation aus, und zwar unter Verwendung eines nicht-trennbaren Kerns. Eine bevorzugte Möglichkeit zur Subpixelausrichtungskorrektur besteht in der Verwendung von Koeffizienten-Bins zur Schaffung von Koeffizienten für ein trennbares 4x4 Interpolationsfilter. Bei dieser Möglichkeit würden die Schritte 140 und 142 der Fig. 4 die Verzögerung und X-, Y-Bins für jeden der Pixelblöcke berechnen und speichern. Die Interpolation mit dem Koeffizienten "binning" wird im einzelnen in folgender Literaturstelle diskutiert: "Resampling Algorithm for Image Resizing and Rotation" vom Ward et al. SPIE Proceedings, Band 1075, Seiten 260-269, 1989; diese Literaturstelle wird durch Bezugnahme in die Offenbarung des voprliegenden Patentes mit aufgenommen. Sobald die Koeffizienten bestimmt sind, kann eine Schaltung, wie in Fig. 10 gezeigt, verwendet werden. Diese Fehlausrichtungskorrekturschaltung 180 weist eine einstelblare Verzögerungseinheit auf, die ähnlich der einstellbaren Verzögerung 150 in Fig. 9 ist und drei Einzelzeilen oder Linienverzögerungseinheiten 184-188 aufweist. Diese Einheiten liefern Ausgangsgrößen an Multipliziervorrichtungen 190-196, die vertikale Interpolationskoeffizienten (V&sub1;-V&sub4;) an verzögerte Pixelwerte anlegen. Eine Addiervorrichtung 198 summiert die Multipliziererausgangsgröße, um eine vertikale ein-dimensionale Interpolation vorzusehen. Das vertikale interpolierte Signal wird sodann an die Pixelverzögerungseinheit 200-204 geliefert. Der vertikale interpolierte Pixelwert und die Ausgangsgrößen der Pixelverzögerungseinheiten 200-204 werden an die Multipliziervorrichtung 206 bis 212 angelegt, die die horizontalen Koeffizienten (H&sub1;-H&sub4;) anlegen. Die Addiervorrichtung 214 summiert die Multipliziervorrichtungsausgangsgröße und erzeugt horizontal interepolierte Pixelwerte.
Die Filterkoeffizienten V&sub1;-V&sub4; und H&sub1;-H&sub4; werden durch die Koeffizientenspeicher 400 und 410, die in Fig. 11 gezeigt sind, vorgesehen. Die Speicher sind als nur Lesespeicher (ROM)-Schaltungen dargestellt, und zwar jede mit vier Eingangsadressenleitungen und vier 16 Bit Ausgangsleitungen, die vier Koeffizientenwerte vorsehen. Für jeden Pixelblock müssen daher nur die 4 Bit vertikal "Bin" und die 4 Bit horiontal " Bin" Werte gespeichert werden anstelle der tatsächlichen Koeffizientenwerte. Dies reduziert in signifikanter Weise den erforderlichen Speicher. Fig. 12 zeigt wie das Binning-Verfahren verwendet wird, um die Subpixel bemessene Differenz zwischen der Lage oder Stelle der Korrelationsspitze 328 und der Mitte des Pixels, angedeutet durch Punkt 330, zu bemessen, und zwar im Gegensatz zu dem zuvor unter Bezugnahme auf Fig. 8 beschriebenen Verfahren. Das Gebiet innerhalb des Pixels wird in 16 horizontale und 16 vertikale Pixel "Bins" unterteilt. Die Korrektur des Pixelblockes mit Korrelationsspitze 328 wird durch Speichern im Speicher 120 der Fig. 6 erreicht, und zwar des horizontal "Bin" Werts (gleich 12) und des vertikal "Bins" Werts (gleich 13), und auch eines entsprechenden Wertes für die einstellbare Verzögerung 150. Wenn die Pixel des Blockes in der Korrekturspitze 328 durch die Schaltung in Fig. 10 verarbeitet werden, so werden die gespeicherten Horizontal- und Vertikal-Bin-Werte verwendet, um den Speicher 400 anzuadressieren, der die korrekten Koeffizientenwert V&sub1;-V&sub4; und H1-H&sub4; für die Schaltung 180 vorsieht.
Die Fehlausrichtungskorrekturschaltung gemäß Fig. 10 besitzt bezüglich der Schaltung gemäß den Fig. 8A und 8B zwei Vorteile. Zum ersten gestattet die Verwendung des "Binning" weniger Speicher zu verwenden zum Speichern der Korrekturwerte für jeden Block. Zweitens reduzieren die trennbaren Interpolationsfilter die Anzahl der erfordenichen Multiplizierervorrichtungen.
Wenn die zur Ausführung der regionalen Kreuzkorrelationsfunktion verwendeten Pixelblöcke groß genug sind, so daß die Ausrichtungsänderung innerhalb eines Blockes signifikant sind, so kann die Fehlausrichtungg nicht perfekt korriegiert werden unter Verwendung des so weit beschriebenen Verfahrens. Eine Möglichkeit der Korrektur der Fehlausrichtung besteht in der Verwendung kleinerer Blökke. Dies vergrößert jedoch die Größe der Korrekturwertspeicher 120 in ig. 6 und verkleinert die Präzision der Kreuzkorrelationfunktion. Eine bevorzugte Möglichkeit ist die Interpolation neuer Fehlausrichtungswerte für alle Pixel in dem Bild unter Verwendung der Fehlausrichtungswerte berechnet für die nächsten benachbarten Pixelblöcke. Fig. 13 zeigt eine mögliche Implementierung, wo die relative Horiontalposition innerhalb eines Blocks und die Werte des Hotizontal "Bin" des laufenden Blockes und die des am nächsten horizontal benachbarten Blockes verwendet werden als Adressen für eine Nachschautabelle (ROM 412) als eine linear interpolierte horizontale "Bin" Ausgangsgröße für jedes Pixel vorsieht und die relative vertikale Position innerhalb eines Blockes und die Werte der vertikal "Bin" des laufenden Blockes und des nächsten vertikal benachbarten Blockes werden als Adressen für die Nachschautabelle (ROM 414) verwendet als eine linear interpolierte vertikale "Bin" Ausgangsgröße jedes Pixels vorsieht.
Linsen mit variabler Brennweite (d. h. Zoom) Linsen, besitzen typischerweise chromatische Aberrationen, die sich als eine Funktion der Brennweiten ändern. Wenn daher die Linse 18 in Fig. 6 eine Zoom-Linse ist, dann führt die Korrelationsberechnungseinheit 50 die regionalen Kreuzkorrelationen für eine Anzahl (beispielsweise 16) unterschiedliche Zoom-Einstellungen aus. Die Korrekturwerte für jede Zoom-Einstellung werden in dem Korrekturwertspeicher 120 gespeichert und die der tatsächlichen Zoom- Einstellung nächsten Korrekturwerte werden zu irgendeiner gegebenen Zeit an die Schaltung 122 angelegt.
Obwohl die Schaltungen gemäß Fig. 6 die Kreuzkorrelationsfunktion verwendet haben, um die relative Fehlausrichtung zwischen unterschiedlichen Blöcken im Bild zu bestimmen, können stattdessen auch andere Verfahren verwendet werden, um die Fehlausrichtungswerte zu bestimmen. Die vorliegende Erfindung wurde unter Bezugnahme auf die Ausführung einer Kreuzkorrelation zwischen Bildern des Targets, erzeugt durch die Sensoren, verwendet. Die Verwendung der Differentialkreuzkorrelation wird bevorzugt, obwohl andere Arten von Korrelationsfunktionen verwendet werden können. Wenn eine Zoom-Linse anstelle der festen Linse, wie zuvor erwähnt, eingesetzt würde, so ist ein unterschiedlicher Satz von Korrekturwerten für jede unterschiedliche Vergrößerung erforderlich und Korrekturwerte am dichtesten zu der tatsächlichen Zoom-Einstellung werden vorzugsweise verwendet. Es können jedoch die Korrekturwerte zwischen den Zoom-Einstellungen durch Linearinterpolation erzeugt werden.
Die vielen Merkmale und Vorteile der Erfindung ergeben sich aus der ins einzelne gehende Beschreibung und die beigefügten Ansprüche sollen alle diese Merkmale und Vorteile der Erfindung abdecken. Da ferner zahlreiche Modifikationen und Änderungen dem Fachmann ohne weiteres zur Verfügung stehen, ist es nicht erwünscht, die Erfindung auf die dargestellte und beschriebene exakte Konstruktion und die entsprechende Arbeitsweise einzuschränken.

Claims

1. Bildsensorausrichtsystem (48), welches folgendes aufweist:

einen Bezugs- oder Referenzsensor (12), der ein in Blöcke unterteiltes Referenzbild erzeugt;

einen ausrichtbaren Sensor (10, 14) der ein in Blöcke unterteiltes ausrichtbares Bild erzeugt;

ein Bildsensorausrichtziel oder Target (16) zur Kreuzkorrelationsausrichtung der Referenz- und ausrichtbaren Sensoren (12; 10, 14), wobei das Target (16) folgendes aufweist:

ein Substrat; und

auf dem Substrat gebildete für weißes Rauschen reflektierende oder durchlässige Gebiete von Subpixelgröße, wobei ein spektrales Ansprechen jedes Gebietes über einen Bereich von Wellenlängen detektiert durch die Bezugs- und Ausricht- oder ausrichtbaren Sensoren (12; 10, 14) in Beziehung steht mit dem spektralen Ansprechen jedes anderen Gebietes um einen Skalar, wobei jedes Gebiet eine vorbestimmte Wahrscheinlichkeit des Aufweisens einer Reflexionsvermögen (Reflexionsgröße) oder Durchlässigkeit besitzt, und zwar zwischen einem maximalen Reflexionsvermögen oder Durchlässigkeit erhältlich mit dem Substrat, und wobei die Gebiete an Zufallsstellen angeordnet sind und wobei wenn Bilder des Targets (16) durch die Referenz- und Ausrichtsensoren (12; 10, 14) erzeugt werden eine periodische Autokorrelation der Bilder, wenn diese perfekt ausgerichtet sind, eine hervorstechende Spitze besitzt;

Ausrichtkorrelationsmittel (58) zur Bestimmung der Rotations-Translations-Kreuzkorrelation zwischen dem Referenzbild und dem ausrichtbaren Bild;

Sensorausrichtmittel (22; 62, 64, 66) zur Bewegung des Ausrichtsensors (10; 14) in Ausrichtung ansprechend auf die Rotations-Translations-Kreuzkorrelation und zur Erzeugung von ausgerichteten Sensoren.

2. Bildsensorausrichtsystem nach Anspruch 1, wobei ferner folgendes vorgesehen ist:

Korrekturkorrelationsmittel (122) zur Bestimmung von Korrekturkreuzkorrelationen zwischen entsprechenden Blöcken der Bilddaten erzeugt durch die ausgerichteten Sensoren;

Koeffizientenmittel zur Bestimmung von Korrekturwerten für entsprechende Blöcke ansprechend auf die Korrekturkreuzkorrelationen; und

ein Koeffizienten-Interpolationsfilter (Koeffizienten "bin" Interpolationsfilter) zur Korrektur von Fehlausrichtungsfehlern unter Verwendung der Korrekturwerte.

3. System nach Anspruch 2, wobei die Korrekturkorrelationsmittel eine Translationskreuz- oder querkorrelation für jeden Block ausführen.

4. System nach einem der vorhergehenden Ansprüche, wobei ferner ein Korrekturwertspeicher (120) vorgesehen ist, der zwischen die Fehlerbestimmungsmittel und die Korrekturschaltung geschaltet ist.

5. System nach einem der vorhergehenden Ansprüche, wobei die Korrekturschaltung eine zweidimensionale Interpolationsschaltung aufweist.

6. Ein Bildsensorausrichtverfahren, wobei folgende Schritte vorgesehen sind:

(a) Erhalt von Referenz- und Ausrichtbildern von einem Paar von Sensoren (12; 10, 14) die ausgerichtet werden sollen und Abfühlen eines Ziels oder Targets (16), wobei folgendes vorgesehen ist:

ein Substrat; und

für weißes Rauschen refklektierende oder durchlässige Gebiete von Subpixelgröße gebildet auf dem Substrat, wobei ein Spektralansprechen jedes Gebietes über einen Bereich von Wellenlängen detektiert durch die Referenz- und ausrichtbaren Sensoren (12; 10, 14) in Beziehung steht mit dem Spektralansprechen jedes anderen Gebietes um einen Skalar, wo jedes Gebiet eine vorbestimmte Wahrscheinlichkeit für den Besitz eines Refxionsvermögens oder einer Durchlässigkeit besitzt, und zwar zwischen einem maximalen Reflexionsvermögen oder Durchlässigkeit erhältlich mit dem erwähnten Substrat, und wobei die Gebiete an Zufallsstellen angeordnet sind und wobei dann, wenn Bilder des Targets (16) durch die Referenz und ausrichtbaren Sensoren erzeugt werden eine periodische Autokorrelation der Bilder eine deutliche oder herausragende Spitze zeigt, wenn die Bilder sich in perfekter Ausrichtung befinden;

(b) Bestimmung einer Spitze oder eines Spitzenwertes in der Kreuzkorrelation der Bezugs- und Ausrichtbilder;

(c) Drehen des Ausrichtbildes;

(d) Wiederholen der Schritte (b) und (c) und Erzeugung einer Vielzahl von Spitzen bis eine vorbestimmte Drehung zwischen den Bezugs- und Ausrichtbildern überschritten ist;

(e) Bestimmen einer maximalen Spitze; und

(f) Bewegen eines der Sensoren (10, 14) ansprechend auf die Maximalspitze.

7. Verfahren nach Anspruch 6, wobei der Schritt (b) das Speichern von Korrelationsdaten in der Nähe des Spitzenwertes umfaßt und wobei das Verfahren ferner vor dem Schritt (f) den Schritt des Interpolierens umfaßt, und zwar unter Verwendung der Korrelationsdaten und des maximalen Spitzenwertes zur Bestimmung eines interpolierten Spitzenwertes, wobei Schritt (f) den einen der Sensoren bewegt, und zwar ansprechend auf den interpolierten Spitzenwert.

8. Verfahren nach Anspruch 6 oder 7, wobei der Schritt (e) eine Spitzenwertverfolgung ausführt.

9. Verfahren nach einem der Ansprüche 6 bis 8, wobei ferner folgendes vorgesehen ist:

(g) Festlegen eines der Sensoren (12) in einer festen Position;

(h) Erhalt von Korrekturbildern von den Sensoren die das Ziel oder Target (16) abfühlen, wobei die Korrelationsbilder in entsprechende Blöcke unterteilt sind;

(i) Bestimmung der Kreuzkorrelationsspitzen zwischen entsprechenden Blöcken;

(j) Erzeugung von Fehlausrichtungskorrekturwerten für die entsprechenden Blöcke aus den Kreuzkorrelationsspitzen; und

(k) Interpolation der Bilder erzeugt durch einen der Sensoren ansprechend auf die Korrekturwerte.