DE69601880T2

DE69601880T2 - Verfahren und vorrichtung zur erstellung der lage einer fernsehkamera zur verwendung in einem virtuellen studio

Info

Publication number: DE69601880T2
Application number: DE69601880T
Authority: DE
Inventors: David 63415 Tel-Aviv Aufhauser; Zinovy 43451 Raanana Livshits; Moshe 43254 Raanana Nissim; Avi 67727 Ramat Hasharon Sharir; Alexander 43452 Raanana Steinberg; Michael 69122 Tel Aviv Tamir; Itzhak 47212 Ramat-Gan Wilf
Original assignee: Orad Hi Tec Systems Ltd
Current assignee: Orad Hi Tec Systems Ltd
Priority date: 1995-09-08
Filing date: 1996-09-09
Publication date: 1999-07-29
Anticipated expiration: 2016-09-10
Also published as: BR9606555A; GB2305050A; EP0848886B1; ZA967588B; JPH11503588A; DE69601880D1; NO981010L; CN1104816C; WO1997009830A1; NO981010D0; IL123372A0; US6304298B1; AU6935396A; ATE178180T1; GB9518432D0; CN1196151A; IL123372A; TR199800397T2; PL325423A1; EP0848886A1

Description

Die vorliegende Erfindung bezieht sich auf Verfahren und Vorrichtungen zum Erzeugen virtueller Bilder und zum Bestimmen der Relativposition einer Fernsehkamera.
Farbsättigungsschirme sind bekannt zur Verwendung in Fernsehstudios. Durch Fokussieren einer Fernsehkamera auf einen Farbsättigungshintergrund (bzw. einen Farbsättigungsschirm) und Positionieren eines Vordergrundobjekts vor dem Schirm kann ein kombiniertes Bild erzeugt werden, in dem das Vordergrundobjekt vor einem virtuellen Hintergrund erscheint, der z. B. ein stehendes Bild oder eine Videosequenz sein kann.
Ein Problem, das von dieser Grundtechnik herrührt, ist, daß der Kamera nicht erlaubt werden kann, sich zu bewegen, weil der virtuelle Hintergrund und das Vordergrundobjekt (möglicherweise ein Fernsehmoderator) sich nicht synchron wie im wahren Leben bewegen werden.
In der JP 57-93788 wird ein Farbsättigungsschirm verwendet, der eine Reihe von äquidistanten parallelen Geraden, Fig. 11, aus zwei unterschiedlichen Schattierungen der Hintergrundfarbe umfaßt, um jegliche Änderungen der Vergrößerung anzuzeigen, die sich als Änderungen in der Frequenz des Videosignals zeigen. Die Grenzen eines Farbsättigungsfensters werden detektiert, um so das eingesetzte Bild in Größe und Position auf das Farbsättigungsfenster abzustimmen.
Die Perspektive kann durch Verwendung eines zwei Schattierungen aufweisenden Musters mit charakteristischen Merkmalen aufgelöst werden. Solche Merkmale können Buchstaben, Symbole, Eckpunkte von Polygonen etc. sein. Wann immer mindestens die Bildmerkmale mit dem physikalischen Muster in Übereinstimmung gebracht werden können, kann die Perspektive aufgelöst werden.
Für den Zweck der folgenden Erfindung wird die Beschreibung allgemein auf die Verwendung einer Fernsehkamera innerhalb eines virtuellen Studios beschränkt werden, aber es ist zu verstehen, daß die Erfindung für das grundsätzliche Fahren einer Fernsehkamera oder eines Objekts, auf der diese angeordnet ist, verwendet werden kann.
In der parallel anhängigen israelischen Patentanmeldung Nr. 109 487 (WO-A-95/30312) desselben Anmelders, wird die Verwendung von gemusterten Farbsättigungsschirmen offenbart. Diese Schirme haben ein definiertes Muster, was es ermöglicht, das von der Fernsehkamera erzeugte Videosignal zu verarbeiten, um die Position der Kamera festzustellen.
Die PCT-Patentanmeldung WO-A-94/05118 offenbart einen gleichmäßig gemusterten Farbsättigungshintergrundschirm und umfaßt Mittel für das Bestimmen der Perspektive einer Kamera relativ zu dem Schirm mittels eines Bewegungsabschätzungsprozesses, der auf der Änderung des sichtbaren Bilds des gleichmäßig gemusterten Schirms von einem abgelegten Video zum nächsten basiert, unter der Annahme einer bekannten Ausgangsposition.
Ein Problem, das bei dem obigen Systemen des Stands der Technik auftritt, ist, daß bei großen Vergrößerungsfaktoren die Merkmale im Blickfeld (Field of View = FOV) in ihrer Zahl reduziert werden. Außerdem kann bei einer wesentlichen Okklusion die Erkennung von groben Merkmalen schwierig sein. Da die vorliegende Erfindung eine Bewegung und einen Vergrößerungswechsel der Kamera erlaubt und es dem Vordergrundobjekt ebenfalls erlaubt ist, sich zu bewegen, ist es sehr wahrscheinlich, daß diese Umstände eintreten.
Zusätzlich machen große perspektivische Verzerrungen die Erkennung von Merkmalen sehr schwierig, insbesondere, wenn diese Merkmale Buchstaben, graphische Symbole etc. aufweisen.
Wenn die Kamera die Synchronisation zwischen dem realen Vordergrundobjekt und dem virtuellen Hintergrund verliert, dann ist der Effekt ein Verlust an Realität bei dem zusammengesetzten Bild. So waren, wie oben beschrieben, frühere Vorgängersysteme auf eine statische Kamera beschränkt und spätere Systeme, obwohl sie eine Kamerabewegung erlaubten, konnten immer noch einen Verlust an Synchronisation zwischen dem Vordergrund und dem Hintergrund unterworfen sein.
Offensichtlich kann die Synchronisation nicht erhalten bleiben, wenn nichts von dem gemusterten Farbsättigungshintergrund sichtbar ist. Sie ist dann aber auch nicht notwendig, da kein virtueller Hintergrund gezeigt werden wird.
Wenn die Kamera das Vordergrundobjekt vergrößert, wird der Hintergrundfarbsättigungsschirm zunehmend durch das Vordergrundobjekt verdeckt und das charakteristische Muster wird gebrochen und/oder im Fall großer perspektivischer Ansichten verzerrt.
Es ist ein Gegenstand der vorliegenden Erfindung, eine Fernsehkamerapositionsbestimmungsvorrichtung und ein Verfahren zum Messen der Position einer Fernsehkamera relativ zu einem Schirm bereitzustellen, wenn ein Teil des Schirms durch ein Vordergrundobjekt verdeckt ist.
Es ist auch ein Gegenstand der vorliegenden Erfindung, ein virtuelles Studiosystem bereitzustellen, in dem die Fernsehkamera seitlich bezüglich eines Vordergrundobjekts und bezüglich eines Hintergrundfarbsättigungsschirms bewegt werden kann, indem die Kamera das Vordergrundobjekt vergrößern und verkleinern kann, ohne die Synchronisation zwischen dem Vordergrundobjekt und dem virtuellen Hintergrund zu verlieren, selbst wenn der Farbsättigungsschirm im wesentlichen vollständig von dem Vordergrundobjekt verdeckt wird.
Es ist auch ein weitere Gegenstand der vorliegenden Erfindung, eine Kamerapositioniervorrichtung bereitzustellen, bei der die Position einer Fernsehkamera relativ zu einem gemusterten Schirm bestimmt werden kann, selbst wenn ein wesentlicher Teil des Schirms durch ein verdeckendes Objekt abgedeckt ist.
Die vorliegende Erfindung stellt deshalb ein Verfahren zum Bestimmen der Position einer Fernsehkamera relativ zu einem gemusterten Schirm bereit, der durch die Videokamera betrachtet wird, mit den Schritten:
Identifizieren einer Mehrzahl von Kantenpunkten des Musters aus dem von der Kamera erzeugten Videosignal und Verwenden dieser Kantenpunkte zum Berechnen der Perspektive des Musters relativ zu der Kamera, dadurch gekennzeichnet, daß die Mehrzahl der Kantenpunkte unter Anwendung eines Steigungs- und Achsenabschnittsverfahrens mit assoziierten Kantenpunkten zu spezifischen Geraden gruppiert werden und daß die relative Position der Kamera und des gemusterten Schirms unter Verwendung der Perspektive und der Größe des Schirms, wie er von der Kamera betrachtet wird, bestimmt wird.
Vorzugsweise weist das Verfahren die Schritte des Identifizierens einer Mehrzahl von ersten Kantenpunkten und einer Mehrzahl von zweiten Kantenpunkten auf und das Erzeugen eines Kantenbilds.
Vorzugsweise werden zwei oder mehr Familien von Kanten verwendet, so daß die Kanten jeder Familie auf einem Satz von parallelen Geraden liegen, der mindestens zwei Geraden aufweist. Vorzugsweise sind die Orientierungen der Familien ausreichend unterschiedlich, so daß ein Kantenpunkt allein aufgrund seiner Orientierung einer bestimmten Familie zugeordnet werden kann.
In einer speziellen Ausführungsform, weist der gemusterte Schirm ein Muster aus vertikalen und horizontalen geraden Kanten auf, die Geraden definieren, welche eine Farbdifferenz markieren, wobei jeder Kantenpunkt auf einer der horizontalen bzw. vertikalen Geraden angeordnet ist.
In einer zweiten Ausführungsform weisen die Schritte des Verarbeitens des Videosignals, das sich auf die erste und die zweite Mehrzahl von Kantenpunkten bezieht, die Schritte des Analysierens aller detektierten Kantenpunkte und des Zusammengruppierens der Kantenpunkte in eine erste Mehrzahl von Gruppen, die den horizontalen Geraden entspricht, und eine zweite Mehrzahl von Gruppen, die den vertikalen Geraden entspricht, auf.
Vorzugsweise werden die Kantenpunkte in der ersten und der zweien Mehrzahl von Gruppen vorbereitend bestimmten horizontalen und vertikalen Geraden zugeordnet.
Vorzugsweise folgt dem Schritt der Zuordnung eine Berechnung der Fluchtpunkte der horizontalen und der vertikalen Geraden, wobei die Fluchtpunkte mit einem definierten Ortsfehler berechnet werden.
Die perspektivische Projektion jedes Satz von parallelen Geraden, die nicht parallel zur Bildebene liegen, wird in einen Fluchtpunkt konvergieren. In dem Ausnahmefall, in dem die Geraden parallel zur Bildebene liegen, liegt der Fluchtpunkt im Unendlichen.
Vorzugsweise umfaßt das Verfahren auch den Schritt des Projizierens der Kanten, die horizontalen Kanten entsprechen, um eine Kantenprojektionsprofilkarte zu erhalten, die Peaks und Minimumbereiche aufweist.
In dem Projektionsprozeß wird ein vertikales Akkumulatorarray H[y] vorzugsweise auf null zurückgesetzt. Dann wird für jede horizontale Kante die Gerade berechnet, die den Fluchtpunkt (zuvor für horizontale Kanten berechnet) mit der Kante verbindet. Diese Gerade wird dann mit der Vertikalachse (x = 0) geschnitten. Der Eintrag des Akkumulatorarrays, welcher dem Schnittpunkt entspricht, wird dann inkrementiert. Peaks in dem Array entsprechen Kanditatengeraden.
Vorzugsweise umfaßt das Verfahren weiterhin den Schritt des Zuordnens jeder horizontalen Kante zu einem meistwahrscheinlichen Peak und des Erzeugens einer Liste von Kanten für jede einer Mehrzahl von Kanditatengeraden, die durch den Peak angezeigt wird.
Vorzugsweise wird eine Gerade für jede Liste von Kanten spezifiziert, wobei Kanten, die keiner spezifizierten Geraden entsprechen, nicht beachtet werden.
Die Verfahrensschritte werden dann vorzugsweise für vertikale Kanten und Geraden wiederholt.
Bei dem Verfahren wird ein genaues Videobildkantengeradenmuster erzeugt, wobei das bekannte Muster auf dem Schirm mit dem Kantengeradenmuster verglichen wird.
Dieser Vergleich weist vorzugsweise einen ersten Schritt des Indentifizierens einer ersten horizontalen Geraden in dem genauen Videokantenbildmuster, des Indentifizierens einer zweiten horizontalen Geraden in dem genauen Videokantenbildmuster, des Berechnens der Distanz zwischen der ersten und der zweiten Videobildgeraden, des Vergleichens der berechneten Distanz zwischen den Videobildgeraden mit dem bekannten Muster zum Durchführen einer horizontalen Positions- und Skalierungsbestimmung, des Wiederholens der Schritte zum Durchführen einer vertikalen Positions- und Skalierungsbestimmung und des Bestimmens der Position der Fernsehkamera relativ zu dem Schirm aus den horizontalen und vertikalen Positions- und Skalierungsbestimmungen auf.
Wenn einmal alle Positionen und Skalierungen bestimmt worden sind, ist die Übereinstimmung zwischen dem Muster und dem Bild jetzt vollständig. Vorzugsweise wird diese Übereinstimmung verwendet, um die endgültige genau perspektivische Transformation zwischen dem Muster und dem Bild aufzulösen.
Vorzugsweise wird die perspektivische Transformation verwendet, um die Position der Fernsehkamera relativ zu dem Schirm aufzulösen.
Vorzugsweise weist der gemusterte Schirm einen Farbsättigungsschirm mit zwei getrennt identifizierbaren Sättigungsfarben auf. Vorzugsweise weist der gemusterte Schirm zwei oder mehr durch Abstand codierte Familien von Geraden auf.
In einer weiteren bevorzugten Ausführungsform weist der gemusterte Schirm zwei oder mehr Familien von Geraden derart auf, daß sich die Geraden jeder Familie in einem gemeinsamen Punkt schneiden.
Die vorliegende Erfindung stellt auch eine Vorrichtung zum Bestimmen der Position einer Fernsehkamera relativ zu einem gemusterten Schirm, der durch die Fernsehkamera betrachtet wird, bereit, wobei die Vorrichtung Mittel zum Identifizieren einer Mehrzahl von Kantenpunkten des Musters aus dem von der Kamera erzeugten Videosignal und zum Verwenden der Kantenpunkte zum Berechnen der Perspektive des Musters relativ zu der Kamera umfaßt, dadurch gekennzeichnet, daß die Vorrichtung weiterhin Mittel zum Gruppieren der Mehrzahl von Kantenpunkten unter Verwendung eines Steigungs- und Achsenabschnittsverfahrens zu assoziierten Kantenpunkten für spezifische Geraden umfaßt und daß die Vorrichtung Mittel zum Bestimmen der relativen Position der Kamera und des gemusterten Schirms unter Bezugnahme auf die Perspektive und die Größe des Schirms, wie er von der Kamera betrachtet wird, umfaßt.
Ausführungsformen der vorliegenden Erfindung werden jetzt in Form von Beispielen mit Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen:
Fig. 1 einen gemusterten Schirm zur Verwendung bei der vorliegenden Erfindung zeigt;
Fig. 2 eine Naheinstellung eines Bereichs des Schirms gemäß Fig. 1 mit einem verdeckenden Objekt, das einen Teil des Musters abdeckt, zeigt;
Fig. 3 eine perspektivische Ansicht von Fig. 2 von einer Seite zeigt;
Fig. 4 eine komplexe perspektivische Ansicht von einer Seite und von oben zeigt;
Fig. 5 den Prozeß der Identifikation von Kantenpunkten illustriert;
Fig. 6 schematisch die anfängliche Fluchtpunktberechnung für die Kantenpunkte illustriert;
Fig. 7 schematisch das berichtigte Geradenbild illustriert;
Fig. 8 die projizierten Geradenbilder für horizontale Geraden illustriert;
Fig. 9 die genauen Videogeraden nach dem abschließenden Verarbeiten zum Vergleich mit dem Muster gemäß Fig. 1 zeigt;
Fig. 10 das erfinderische Konzept des Verwendens von codierten Bündeln von Geraden illustriert;
Fig. 11 den Hauptfluß der Verarbeitung zeigt, und
Fig. 12 den Geradendetektionsprozeß illustriert.
Jetzt mit Bezugnahme auf die Zeichnungen zeigt Fig. 1 einen gemusterten Schirm 10, der eine Mehrzahl von vertikalen und horizontalen Geraden 12, 14 aufweist. Diese Geraden können durch schmale Geraden oder Streifen von unterschiedlicher Farbe ausgebildet sein, deren Funktion es ist, eine Mehrzahl von definierten Kanten bereitzustellen.
Bei Farbsättigungsschirmen sind die Farben der Geraden bzw. Streifen vorzugsweise unterschiedliche Schattierungen derselben Farbe.
Die Geraden müssen keine horizontalen bzw. vertikalen Geraden sein. Sie werden jedoch vorzugsweise immer parallele geradlinige Geraden mit einer vorgegebenen Winkelbeziehung zwischen den im wesentlichen horizontalen und vertikalen Geraden sein. Vorzugsweise sind in jedem Muster zwei oder mehr Familien von Kanten derart vorgesehen, daß die Kanten von jeder Familie auf einem Satz von parallelen Geraden liegen, der mindestens 2 Geraden aufweist. Ebenfalls vorzugsweise sind die Orientierungen der Familien derart weit unterschiedlich, daß ein Kantenpunkt allein aufgrund seiner Orientierung einer bestimmten Familie zugeordnet werden kann.
Die schematisch angedeutete Fernsehkamera 20 ist in Fig. 1 dargestellt, wie sie den Schirm direkt von vorne betrachtet.
In Fig. 2 ist das Videobild gezeigt, das von der Kamera 20 gesehen wird. Die Fernsehkamera 20 wird bedient, um den in Fig. 1 gestrichelten Bereich 10' zu vergrößern, und ein verdeckendes Objekt 30 von unregelmäßiger Form ist gezeigt, wie es einen Teil des Musters verdeckt. Das Muster in Fig. 2 ist deshalb nicht kontinuierlich, und es ist sichtbar, daß keine durchgehenden horizontalen Geraden in dem vergrößerten Videobild vorliegen.
In Fig. 2 ist nur ein verdeckendes Objekt gezeigt, aber es können mehrere verdeckende Objekte existieren, die weitere Diskontinuitäten bei den Geraden erzeugen.
In Fig. 3 ist die Kamera verschoben worden, um eine einfache Perspektive zu erzeugen, die illustriert, daß die im wesentlichen horizontalen Geraden 40 nicht länger parallel sind, und in Fig. 4, in der noch komplexeren Perspektive, sind weder die horizontalen noch die vertikalen Geraden parallel.
Mit der Änderung in der Größe des Musters, den Diskontinuitäten der Geraden und dem nicht parallelen Bild ist das Anpassen des Videobildmusters in Fig. 4 an ein Muster des Schirms, das in digitalem Format gespeichert ist, extrem schwierig, das kein Teil des Videobilds dem gespeicherten Muster entspricht.
Das Verfahren der vorliegenden Erfindung stellt ein Mittel zum Bestimmen der Position der Fernsehkamera aus dem Videobild gemäß Fig. 4 bereit.
Vorzugsweise sind in dem Muster gemäß Fig. 1 die Geradenabstände nicht alle gleich, so daß die Abstandsverhältnisse in Sätzen von benachbarten Geraden einmalig innerhalb der Familie entweder der horizontalen oder vertikalen Geraden sind. So kann, falls es möglich ist, den Geradenabstand zwischen zwei vertikalen Geraden 121, 122 und zwei horizontalen Geraden 141, 142 zu identifizieren, der Bereich des Musters, der den Bereich des Videobilds ausbildet, identifiziert werden.
Aufgrund der unbekannten Vergrößerung bzw. des unbekannten Zooms der Fernsehkamera, der unbekannten komplexen Perspektive und der Verdeckung erscheinen die Geraden vollständig anders als in dem Muster in Fig. 1.
Das Verfahren weist das Identifizieren einer großen Mehrzahl von Kantenpunkten 144 auf, wie in Fig. 5 gezeigt ist. Jeder Kanten punkt kann angesehen werden, als Weise er eine Mini-Gerade mit einer Steigung und einem Achsenabschnitt auf, wie durch einen Winkel 148 angedeutet ist. Er kann auch eine nominelle Richtung haben, falls er auf einer Gerade irgendeiner Stärke liegt, wie durch einen Pfeil 146 angedeutet ist. Die Lagen dieser Kantenpunkte werden digital gespeichert, um eine anfängliche Kantenpunktkarte bereitzustellen. Wie in Fig. 4 gesehen werden kann, kann es im Zentralbereich, wo eine Abdeckung vorliegt, im wesentlich weiße Flächen geben, aber innerhalb dieser Fläche kann es falsche Kantenpunkte geben, die nicht korrekt zu dem Muster gehören, die aber aufgezeichnet werden und aussortiert werden müssen.
Die Kantenpunkte werden unter Verwendung der Hough-Transformation [J. Illingworth und J. Kittler, A survey of the Hough transform, Computer Vision, Graphics and Image Processing, 26, Seiten 139 bis 161 (1986)] in Gruppen bestimmten Geraden in horizontaler und vertikaler Richtung zugeordnet.
Alternativ wird die anfängliche Parallelität des Geradensatzes verwendet, um ungefähre Positionen des Geradensatzes in der horizontalen und vertikalen Richtung bereitzustellen.
Aus Fig. 4 ist ersichtlich, daß keine der Geraden aufgrund der perspektivischen Veränderung entweder horizontal oder vertikal ist. Diese Begriffe werden deshalb hier verwendet, um allgemein auf die Geraden Bezug zu nehmen, die im wesentlichen horizontal oder vertikal verlaufen, die sozusagen der Horizontalen näher als der Vertikalen sind und umgekehrt.
Jetzt bezugnehmend auf Fig. 6 wird jede Gerade, wie sie ungefähr entweder durch Gruppieren von Kantenpunkten und/oder durch Berechnung aus der anfänglichen Parallelität des Geradensatzes bestimmt wurde, auf einen ungefähren Fluchtpunkt sowohl für horizontale (150) als auch für vertikale Geraden (152) projiziert. Wie dargestellt werden sich die Geraden aufgrund der Fehler nicht in einem einzigen Punkt schneiden, und so ist ein "Fehlerkreis" (159, 152) erlaubt, wobei beispielsweise der Kreismittelpunkt als Fluchtpunkt betrachtet wird. Wenn die Kamera senkrecht auf den Schirm schaut, ist der Fluchtpunkt im unendlichen. Beim Arbeiten in einem homogenen Koordinatensystem, kann der letzte Fall gleichwie gehandhabt werden.
Mit Bezugnahme auf Fig. 7 wird der horizontale Fluchtpunkt verwendet, um die horizontalen Kantenpunkte in Geraden zu Gruppieren. Die Gerade, die den Fluchtpunkt Ph mit einem Kantenpunkt E1 verbindet, wird mit der vertikalen Achse geschnitten. Der Prozeß wird für alle horizontalen Kantenpunkte wiederholt. Natürlich tendieren die Achsenabschnitte von realen Geraden, die durch eine Mehrzahl von Kantenpunkten charakterisiert sind, dazu, sich zu akkumulieren, wie in Fig. 7 gezeigt ist. Falsche Kanten und sehr kurze sichtbare Geraden werden mehr zufällig beitragen. In Fig. 8 stellen die Achsenabschnitte eine Funktion vom Histogrammtyp dar. Der Prozeß ist für horizontale Geraden beschrieben, wird aber für vertikale Geraden wiederholt.
Jeder Kantenpunkt wird erneut durch Zuordnen zu dem meistwahrscheinlichen Peak eingestuft, und eine revidierte Liste von Kanten wird dann für jeden möglichen Kandidaten gespeichert, so wie 160, 161, 162 in Fig. 8.
Jene Kantenpunkte, von denen herausgefunden wird, daß sie keinem wahrscheinlichen Kandidaten entsprechen, werden verworfen. So ist für die horizontalen Geraden jetzt eine Liste von Kantenpunkten erzeugt worden, die exakt auf die horizontalen Geraden 141, 142 ausgerichtet sind, wobei die Gerade 141 beispielsweise auf dem Peak 161 und die Gerade 142 auf den Peak 162 mittels einer Liste von Kantenpunkten für jede Gerade ausgerichtet ist. Die Geraden sind deshalb exakt detektiert worden.
Dieser Prozeß wird dann für die vertikalen Geraden wiederholt.
Die Kantenpunkte, die einem meistwahrscheinlichen Peak zugeordnet sind, werden verarbeitet, um eine Gerade zu finden, die durch diese Punkte in einem optimalen Sinne hindurchtritt. Zum Beispiel kann eine Gerade mit dem kleinsten quadratischen Fehler berechnet werden. Die Fluchtpunkte können jetzt genauer als meistwahrscheinlicher Schnittpunkt eines Satzes von horizontalen (bzw. vertikalen) Geraden berechnet werden.
Der Fluchtpunkt des horizontalen Bündels sei in homogenen Koordinaten gegeben, durch (Xh, Yh, Wh). Weiterhin sei der Fluchtpunkt des vertikalen Bündels (bzw. Satzes von Geraden) gegeben durch (Xv, Yv, Wv). Diese Punkte entsprechen den Fluchtpunkten (1, 0, 0) und (0, 1, 0) der parallelen Bündel auf dem Schirm. Aus dieser Entsprechung kann die perspektivische Transformation aufgelöst werden in die Verschiebungs- und Skalierungsbestimmungen für beide Bündel. Das Anwenden der inversen Transformation auf die detektierten Geraden erzeugt ein genaues Gittermuster wie in Fig. 9 gezeigt.
Dieses Muster wird dann für jede Achse unabhängig mit dem gespeicherten Muster (Fig. 1) abgestimmt. In dem Suchprozeß kann jede Gerade L4 irgendeine Gerade in dem horizontalen Muster sein. L5 ist jedoch die nächste Gerade und da der Abstand oder das Muster einmalig ist, können die Geraden identifiziert werden. Wenn wir annehmen, daß keine Geraden fehlen, haben wir eine passende Lösung in der horizontalen Richtung und durch einen vergleichbaren Prozeß werden wir eine passende Lösung in der vertikalen Richtung erhalten.
Falls einige Geraden fehlen, dann wird eine Bewertung durchgeführt bezüglich der Zahl anderer passender Geraden, und eine Suche nach irgendwelchen fehlenden Geraden kann unter Verwendung der Kenntnis der passenden Geraden durchgeführt werden. Falls diese fehlenden Geraden vollständig verdeckt werden, kann eine Entscheidung aus einer Anpassung unter Verwendung eines Grenzwerts für die Bewertung sowohl der vertikalen als auch der horizontalen Richtung gefällt werden.
Um die exakten Fluchtpunkte und die Perspektive zu erhalten, wird für jede Gerade die korrigierte Liste von Kantenpunkten verwendet, um exakte Geradengleichungen bereitzustellen, wodurch es ermöglicht wird, die Fluchtpunkte exakt zu berechnen.
Wenn die Geraden angepaßt worden sind, kennt man nicht nur die perspektivische Verzerrung wie vorher, sondern auch die Verschiebungen und Skalierungen. Dies komplettiert die Bestimmung der perspektivischen Transformation und somit die Position der Fernsehkamera relativ zu dem Schirm.
Das System kann solche Informationen sowohl in dem Fall bereitstellen, daß eine oder mehrere Geraden in dem Muster vollständig verdeckt sind, als auch in dem Fall, daß die Geraden diskontinuierlich sind. Das System kann deshalb mit hohen Kameravergrößerungsparametern arbeiten, wobei nur ein kleiner Bruchteil des Schirms sichtbar ist.
Bezugnehmend jetzt auf Fig. 10 kann das Konzept einer Familie von parallelen Geraden ausgedehnt werden auf eine Familie sich schneidender Geraden unter Verwendung eines alternativen Systems von codierten Bündeln 200 (Fig. 10a) (Familien von Geraden). Die Geraden sind nicht parallel, dennoch kann man grundsätzlich dieselben Techniken anwenden.
Betrachte zwei parallele codierte Bündel 202', 204' ("primäre Bündel"), die durch eine bekannte perspektivische Transformation (die "Vortransformation") bei dem Schirmauslegungsprozeß in zwei sich schneidende Bündel ("Musterbündel") transformiert werden. Diese Bündel werden weiter transformiert durch die (unbekannte) Kameraperspektiventransformation und erscheinen als "Bildbündel" 202", 204" (Fig. 10c).
Es ist klar, daß die Kombination der Vortransformation und der Kameratransformation eine unbekannte perspektivische Transformation ist. Wir gehen wie in dem gewöhnlichen Algorithmus vor, um die unbekannte Transformation (zwischen den primären Bündeln Fig. 10a und den Bildbündeln Fig. 10c) herauszufinden. Wenn diese Transformation einmal bekannt ist, verwenden wir die Vortransformation, um die Kameratransformation (zwischen den Musterbündeln und den Bildbündeln) zu extrahieren.
Fig. 11 zeigt den Hauptfluß der Verarbeitung, der von einem Videosignal 1100 ausgeht und eine Abschätzung der perspektivischen Transformation 1102 von dem Schirm in das Bild erzeugt. Um die Anzahl von falschen Kanten aufgrund von Vordergrundobjekten zu reduzieren, wird eine Farbsättigungsentschlüsselung 1104 verwendet, um den Hintergrund (der die Musterinformation enthält) von dem Vordergrund zu trennen. Diese Trennung wird basierend auf einem Farbschlüsselsignal durchgeführt, das den Abstand eines bestimmten Bildpunkts von der Hintergrundfarbe (vorzugsweise blau oder grün) beschreibt. Um die Anzahl der falschen Kanten weiter zu reduzieren, wird das Farbschlüsselsignal vorzugsweise gefiltert 1106, um isolierte Merkmale und Pixel nahe der Grenze des Vordergrundobjekts zu entfernen. Dieses Filtern wird vorzugsweise unter Anwendung einer morphologischen Bildverarbeitung [Serra, J. Image Analysis and Mathematical Morphology, Academic Press, London 1982] ausgeführt.
Die Kantendetektion 1108 wird dann auf das Hintergrundbild angewendet. Das Verfahren ist nicht empfindlich bezüglich des im einzelnen verwendeten Kantendetektors für eine Übersicht siehe [A. Rosenfeld und A. Kak, Digital Picture Processing, Academic Press 1982, Vol. 2, Seiten 84-112].
Vorzugsweise besteht der Kantendetektionsprozeß aus den folgenden Schritten:
1. Glätten des Bilds, um den Effekt von Bildrauschen zu reduzieren.
2. Berechnen eines Gradientenvektors (Größe und Richtung) an jedem Bildpunkt durch räumliche x- und y-Ableitungen.
3. Grenzwertvergleichen der Gradientengröße und Unterdrücken von Pixeln, bei denen die Gradientenantwort kein lokales Maximum hat. Dieser Unterdrückungsschritt ist notwendig, um dünne Kantenkonturen zu erhalten.
4. Speichern der Kantenpunkte in einem Kantenarray.
Der Geradendetektionsprozeß wird mit Bezugnahme auf Fig. 12 für horizontale Geraden weiter beschrieben. Vertikale Geraden werden in vergleichbarer Weise bearbeitet.
Aus einer Liste von horizontalen Kantenpunkten wird ein ungefährer Fluchtpunkt berechnet 1202. Jede Kante wird durch einen Fluchtpunkt projiziert 1204, um ein Projektionshistogramm zu erzeugen, das analysiert wird 1206, um die Peaks zu finden. Die Liste der Peaks wird mit jedem Kantenpunkt verglichen, um einen Kantenpunkt einem Peak zuzuordnen und um dann die Geraden 1208 anzupassen, um eine Liste von Geraden bereitzustellen.

Claims

1. Verfahren zum Bestimmen der Position einer Fernsehkamera (20) relativ zu einem gemusterten Schirm (10), der durch die Fernsehkamera betrachtet wird, mit den Schritten: Identifizieren einer Mehrzahl von Kantenpunkten (E1, E2, E3) des Musters aus dem von der Kamera (20) erzeugten Videosignal und Verwenden dieser Kantenpunkte zum Berechnen der Perspektive des Musters relativ zu der Kamera, dadurch gekennzeichnet, daß die Mehrzahl der Kantenpunkte (E1, E2, E3) unter Anwendung eines Steigungs- und Achsenabschnittsverfahrens mit assoziierten Kantenpunkten zu spezifischen Geraden gruppiert werden und daß die relative Position der Kamera und des gemusterten Schirms unter Verwendung der Perspektive und der Größe des Schirms, wie er von der Kamera betrachtet wird, bestimmt wird.

2. Verfahren nach Anspruch 1, das die Schritte aufweist: Identifizieren einer Mehrzahl von ersten Kantenpunkten und einer Mehrzahl von zweiten Kantenpunkten und Erzeugen eines Kantenbild.

3. Verfahren nach Anspruch 2, wobei der Schirm ein Muster aus vertikalen (L1, L2, L3) und horizontalen (L4, L5) geraden Kanten aufweist, die Geraden definieren, welche eine Farbdifferenz beschreiben, und wobei jeder Kantenpunkt auf einer der horizontalen bzw. vertikalen geradlinigen Geraden angeordnet ist.

4. Verfahren nach Anspruch 3, wobei die Schritte des Verarbeitens des Videosignals, das sich auf die erste und zweite Mehrzahl von Kantenpunkten bezieht, die Schritte aufweist: Analysieren aller detektierten Kantenpunkte und Zusammengruppieren der Kantenpunkte in eine erste Mehrzahl von Gruppen, die den horizontalen Geraden entspricht (202), und in eine zweite Mehrzahl von Gruppen, die den vertikalen Geraden entspricht (204').

5. Verfahren nach Anspruch 4, wobei die Kantenpunkte in der ersten und der zweiten Mehrzahl von Gruppen vorbereitend bestimmten horizontalen bzw. vertikalen Geraden zugeordnet werden.

6. Verfahren nach Anspruch 5, wobei dem Schritt der Zuordnung eine Berechnung der Fluchtpunkte der horizontalen und der vertikalen Geraden folgt, wobei die Fluchtpunkte mit einem definierten Ortsfehler berechnet werden.

7. Verfahren nach Anspruch 6, das weiterhin den Schritt aufweist: Projizieren der Kanten, die horizontalen Kanten entsprechen, um eine Kantenprojektionsprofilkarte (1206) zu erhalten, die Peaks (160, 161, 162) und Minimumbereiche aufweist.

8. Verfahren nach Anspruch 7, das weiterhin den Schritt aufweist Zuordnen jeder horizontalen Kante (1208) zu einem meistwahrscheinlichen Peak und Erzeugen einer Liste von Kanten für jede einer Mehrzahl von Kanditatengeraden, die durch den Peak angezeigt wird.

9. Verfahren nach Anspruch 8, wobei eine Gerade für jede Liste von Kanten spezifiziert wird, wobei Kanten, die keiner spezifizierten Gerade entsprechen, nicht beachtet werden.

10. Verfahren nach den Ansprüchen 6 bis 9, wobei die Schritte, die sich auf die horizontalen Kanten und Geraden beziehen, für die vertikalen Kanten und Geraden wiederholt werden.

11. Verfahren nach Anspruch 10, wobei genaue Fluchtpunkte aus den spezifizierten Geraden berechnet werden.

12. Verfahren nach Anspruch 10, wobei die Transformation der Perspektive aufgelöst wird, in Bestimmungen der Verschiebung und Skalierung für beide Familien von Geraden.

13. Verfahren nach Anspruch 12, wobei ein genaues Geradenmuster mittels inverser perspektivischer Transformation erzeugt wird und wobei das bekannte Muster auf dem Schirm mit dem Kantengeradenmuster verglichen wird.

14. Verfahren nach Anspruch 13, wobei der Vergleich einen ersten Schritt des Identifizierens einer ersten horizontalen Gerade in dem genauen Videokantenbildmuster, des Identifizierens einer zweiten horizontalen Gerade in dem genauen Videokantenbildmuster, des Berechnens der Distanz zwischen der ersten und der zweiten Videobildgeraden, des Vergleichens der berechneten Distanz zwischen den Videobildgeraden mit dem bekannten Muster zum Durchführen einer horizontalen Positions- und Skalierungsbestimmung, des Wiederholens der Schritte zum Durchführen einer vertikalen Positions- und Skalierungsbestimmung und des Bestimmens der Position der Fernsehkamera relativ zu dem Schirm aus den horizontalen und vertikalen Positions- und Skalierungsbestimmungen aufweist.

15. Verfahren nach einem der Ansprüche 1 bis 14, wobei der gemusterte Schirm ein Farbsättigungsschirm mit zwei getrennt identifizierbaren Sättigungsfarben aufweist.

16. Verfahren nach einem der Ansprüche 1 bis 4, wobei der gemusterte Schirm zwei oder mehr Familien von Geraden (202, 204) aufweist, die derart angeordnet sind, daß die Distanzen zwischen jeder Gerade und der benachbarten Gerade ungleich der Distanz zwischen der benachbarten Gerade und der nächsten benachbarten Gerade ist.

17. Verfahren nach einem der Ansprüche 1 bis 14, wobei der gemusterte Schirm zwei oder mehr Familien von Geraden derart aufweist, daß sich die Geraden jeder Familie in einem gemeinsamen Punkt (150, 152) schneiden.

18. Verfahren nach Anspruch 15, wobei die Bestimmung der Position der Fernsehkamera relativ zu dem Schirm verwendet wird, um die Perspektive eines Hintergrundvideobilds relativ zu einem Vordergrundobjekt zu berechnen.

19. Vorrichtung zum Bestimmen der Position einer Fernsehkamera (20) relativ zu einem gemusterten Schirm (10), der durch die Fernsehkamera betrachtet wird, wobei die Vorrichtung aufweist: Mittel (1108) zum Identifizieren einer Mehrzahl von Kantenpunkten (E1, E2, E3) des Musters aus dem von der Kamera (20) erzeugten Videosignal und zum Verwenden der Kantenpunkte zum Berechnen der Perspektive des Musters relativ zu der Kamera, dadurch gekennzeichnet, daß die Vorrichtung weiterhin Mittel zum Gruppieren der Mehrzahl von Kantenpunkten (E1, E2, E3) unter Verwendung eines Steigungs- und Achsenabschnittsverfahrens zu assoziierten Kantenpunkten für spezifische Geraden aufweist und daß die Vorrichtung Mittel zum Bestimmen der relativen Position der Kamera und des gemusterten Schirms unter Bezugnahme auf die Perspektive und die Größe des Schirms, wie er von der Kamera betrachtet wird, aufweist.

20. Vorrichtung nach Anspruch 19, wobei der gemusterte Schirm (10) ein Farbsättigungsschirm ist.

21. Vorrichtung nach Anspruch 19, die weiterhin weitere Verarbeitungsmittel (1102, 1104, 1108) zum Verarbeiten der berechneten Position der Kamera, Hintergrundszenenspeichermittel zum Speichern einer Hintergrundszene, perspektivische Verschiebungsmittel zum Einstellen der Perspektive der Hintergrundszene in Abstimmung auf die berechnete Kameraposition und Videoanzeigemittel zum Anzeigen der Hintergrundszene in korrekter Perspektive auf dem Farbsättigungshintergrundschirm, wobei Vordergrundobjekte zwischen der Kamera und dem Hintergrundschirm angeordnet sind, aufweist.

22. Vorrichtung nach einem der Ansprüche 19 und 21, wobei der gemusterte Schirm zwei oder mehr Familien von Geraden aufweist, die so angeordnet sind, daß die Distanzen zwischen jeder Gerade und der benachbarten Gerade ungleich der Distanz zwischen der benachbarten Gerade und der nächstbenachbarten Gerade sind.

23. Vorrichtung nach einem der Ansprüche 19 bis 21, wobei der gemusterte Schirm zwei oder mehr Familien von Geraden derart aufweist, daß sich die Geraden jeder Familie in einem gemeinsamen Punkt schneiden (150, 152).