-
Gegenstand der Erfindung sind Systeme für plastisches oder
stereoskopisches Fernsehen. Insbesondere betrifft die Erfindung ein neuartiges
Verfahren zur Verarbeitung und Übertragung von Folgen von stereoskopischen
Bildern durch einen Datenübertragungskanal, das es ermöglicht, am Ende
der Übertragungskette ein kompatibles Bild für ein herkömmliches
Fernsehgerät oder ein stereoskopisches Bild für ein stereoskopisches
Fernsehgerät wiederherzustellen.
-
Ein System für stereoskopisches Fernsehen hat zum Ziel, auf einem
Bildschirm von im Vergleich zur Kinoleinwand geringer Größe den Eindruck
der Räumlichkeit zu erzeugen, d.h. es dem Fernsehzuschauer zu
ermöglichen, den Effekt der Tiefe bei den betrachteten Punkten der realen Szene
nachzuempfinden.
-
Die Erfindung fügt sich ein in die Landschaft bestehender
stereoskopischer Fernsehsysteme und respektiert die Besonderheiten der "MAC"- oder
Multiplex-Analogique-en-Composantes-Übertragungsnorm bei
Direktausstrahlung über Satellit.
-
Es sind Übertragungsverfahren von Bilderfolgen durch einen
Übertragungskanal bekannt, der einen analogen Videoweg verbunden mit einem
digitalen Weg nach "MAC"-Art enthält. Die Abtastung der realen Szene
geschieht durch zwei synchronisierte Kameras, die eine rechte und eine
linke Ansicht der betrachteten Szene liefern.
-
Nach diesen bekannten Übertragungsverfahren von Bilderfolgen, werden
über den analogen Videoweg des Übertragungskanals die jeweils einer
einzelnen Ansicht - der rechten oder der linken - entsprechenden
Bilderfolgen und über den zugehörigen digitalen Weg die komplementären Daten
in Form einer Karte von Zuordnungsvektoren übertragen, wobei diese
komplementären Daten es ermöglichen, beim stereoskopischen Fernsehgerät die
nicht übertragene Ansicht aus der übertragenen Ansicht lokal für die
räumliche Sichtbarmachung zu rekonstruieren.
-
Dieses Verfahren bevorzugt das kompatible Bild, d.h. ein herkömmliches
Fernsehgerät kann ohne Verschlechterung des erzeugten flächigen Bildes
leicht die einer der Ansichten entsprechenden Bilderfolgen erzeugen, indem
es die übertragenen komplementären Daten unbeachtet läßt.
-
Ein großer Nachteil dieser Verfahren besteht darin, daß das auf einem
stereoskopischen Fernsehgerät aufgrund dieser Informationen erzeugte
stereoskopische Bild insbesondere in den "nicht vorhersagbaren"
Bildbereichen stark verschlechtert ist, wenn zum Beispiel die Vorderseite eines
auf einer Ansicht sichtbaren Gegenstandes auf der anderen Ansicht nicht
sichtbar ist. Im übrigen nehmen diese Mängel noch zu, wenn die Karte
von Zuordnungsvektoren nicht genau genug ist oder zu
Übertragungsfehlern neigt.
-
Der Artikel "Fernseh- und Kino-Technik", Band 42, No. 2; Feb. 1988
- S. 67-73 (Heidelberg B. Kost), mit dem Titel "Konstruktion von
Zwischenansichten für Multi-Viewpoint-3DTV-Systeme" spricht das Problem an, das
die nicht beiden Ansichten gemeinsamen Zonen eines stereoskopischen
Bildes darstellen, und schlägt in diesem Zusammenhang ein
Korrelationsrechenverfahren vor.
-
Der Stand der Technik kennt keine Möglichkeit, diesen verschiedenen
Problemen zu begegnen, und es gibt insbesondere keine
Datenverarbeitungsverfahren, die dazu geeignet sind, diese kritischen Fälle zu beseitigen
oder wenigstens deren Erscheinen auf dem erzeugten stereoskopischen Bild
abzuschwächen.
-
Es ist dementsprechend die Aufgabe der Erfindung, ein neues Verfahren
zur Verarbeitung und Übertragung von stereoskopischen Bildern durch
einen Kanal, der einen analogen Videoweg verbunden mit einem digitalen
Weg enthält, vorzuschlagen, das die Erzeugung eines stereoskopischen
Bildes zufriedenstellender Qualität ohne Beeinträchtigung des kompatiblen
Bildes erlaubt.
-
Es ist weiterhin eine Aufgabe der Erfindung, ein neues Verfahren zur
Verarbeitung und Übertragung von stereoskopischen Bildern vorzuschlagen,
das sich dem lokalen oder globalen Inhalt der stereoskopischen Bilder
und ihrer räumlichen und zeitlichen Aktivität sowohl für eine simultane
wie auch für eine alternierende Sichtbarmachung der stereoskopischen
Ansichten anpaßt.
-
Diese Aufgaben werden wie in Anspruch 1 angegeben mit Hilfe eines
Verfahrens zur Verarbeitung und Übertragung einer Folge von
stereoskopischen Fernsehbildpaaren durch einen Kanal, der insbesondere einen
analogen Videoweg verbunden mit einem digitalen Weg enthält, zur Erzeugung
eines kompatiblen Bildes oder eines räumlichen Bildes am Ende des
Übertragungskanals gelöst.
-
Aufgrund der Tatsache, daß die übertragenen Informationen gleichzeitig
die Informationen der rechten und linken Bilder der stereoskopischen
Bildpaare integrieren, leidet daher das erzeugte stereoskopische Bild im
Gegensatz zum Stand der Technik nicht unter dem durch die den beiden
Wegen nicht gemeinsamen Zonen hervorgerufenen Mangel. Es ist jedoch
darauf hinzuweisen, daß dieser Mangel auf dem kompatiblen Bild
wiedergegeben wird. Dennoch ist die Verschlechterung des kompatiblen Bildes
weniger gravierend als bei dem gemäß dem vorbekannten Stand der
Technik erhaltenen stereoskopischen Bild, denn im ersten Fall handelt es sich
um ein flächiges Bild.
-
Die besagten rechten und linken Bilder gehören jeweils demselben
Bildpaar oder zwei in der Folge aufeinanderfolgenden Bildpaaren an.
Die Zuordnung der Bildelemente ermöglicht es, die übertragenen
Bildelemente auf die Ebene eines Coders zu verschieben oder auf die Ebene eines
Decoders umzuschichten, indem parallel zu dem Signal des kompatiblen
Fernsehbildes über den digitalen Weg des Übertragungskanals eine Karte
von Zuordnungsvektoren übertragen wird. Die Umschichtung der
Bildelemente eines Bildes im Verhältnis zu einem anderen sichern - was letzteres
angeht - die visuelle Kompatibilität für das übertragene kompatible
Fernsehbild.
-
Nach einem weiteren Merkmal der Erfindung ist das Multiplexing der
Bildelemente der Bilder der Bildpaare der Folge an die Bewegungsgröße des
lokalen oder globalen Inhalts des laufenden Bildpaares selbstanpassend.
-
Auf diese Weise ist es möglich, daß entweder die räumliche Auflösung
oder die zeitliche Auflösung je nach Bewegungsgröße des lokalen oder
globalen Inhalts des zu übertragenden laufenden Bildpaares begünstigt
wird. Die nicht übertragenen Bilder oder Bildteile werden durch lineare
Filtration oder durch Bewegungsausgleich wiederhergestellt (die
Bewegungsinformationen werden in dem Coder berechnet und nach Reduzierung
der Datenrate zum Beispiel durch Segmentierung an den Decoder
übertragen, der die Wiederherstellung sichert).
-
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der
nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels und den
beigefügten Zeichnungen. Dabei zeigen
-
Fig. 1 ein Übersichtsdiagramm des erfindungsgemäßen Verfahrens,
-
Fig. 2A bis 2F eine diagrammatische Darstellung der Raster der Folge
abgetasteter stereoskopischer Bildpaare, der Raster der
Folge von übertragenen kompatiblen Fernsehbildern und
der Raster der im Wechsel oder simultan erzeugten Folge
von stereoskopischen Bildern.
-
In bekannter Weise benutzen stereoskopische Fernsehsysteme für die
Bildabtastung einen Satz von zwei Fernsehkameras, die auf einem
mechanischen Träger angebracht sind, der die Steuerung der stereoskopischen
Basis, der Brennweiten, der Konvergenzebenen und -winkel etc.
ermöglicht. Jede Kamera liefert jeweils eine linke und eine rechte Ansicht,
wobei die beiden Ansichten nach einem Übertragungsmodus zum Beispiel
des "MAC"-Typs auf kompatible oder räumliche Fernsehempfänger
übertragen werden. Man unterscheidet zwei Modi der räumlichen Sichtbarmachung,
nämlich die simultane Sichtbarmachung und die alternierende
Sichtbarmachung. Im Falle einer alternierenden Sichtbarmachung arbeiten die
stereoskopischen Fernsehgeräte mit erhöhten zeitlichen Frequenzen, z.B.
100 Hz. Die räumliche Sichtbarmachung wird mittels passiver Brillen durch
Polarisierung über einen am Fernsehgerät angebrachten aktiven Schirm o-
der mittels aktiver Brillen aus transparenter Keramik auf der Basis von
mit Blei und Lanthan dotiertem Zirkoniumtitan oder Brillen aus
Flüssigkristallen erreicht.
-
Die simultane Sichtbarmachung erfordert zwei unabhängige
Projektionsröhren, jeweils eine pro Ansicht, für den stereoskopischen Empfänger. Es ist
eine Polarisationsoptik zur Kennzeichnung jeder generell auf der Ebene
des Projektorobjektivs angeordneten Ansicht vorgesehen. Die beiden
Ansichten werden simultan auf einen nicht depolarisierenden Schirm
projektiert. Der Fernsehzuschauer erhält eine polarisierte Brille, die für
jedes Auge die entsprechende Ansicht selektioniert. Diese beiden Techniken
der Sichtbarmachung sind dem Fachmann bekannt.
-
Fig. 1 zeigt, daß die Bildabtastung über einen Satz von zwei Kameras
durchgeführt wird, die eine Folge von stereoskopischen Bildpaaren
liefern, von denen jedes ein linkes Bild G10 und ein rechtes Bild D20
enthält. Die Folge von Bildpaaren wird auf den Eingang eines Coders 1
gegeben, in welchem die Vorbehandlung der Bilder im Hinblick auf die
Übertragung eines einem kompatiblen Bild C30 entsprechenden Bildsignals
über den analogen Bildweg des Übertragungskanals und auf die
Übertragung von Hilfsdaten A60 über den digitalen Weg stattfindet. Die
Vorbehandlung der Folge von stereoskopischen Bildpaaren G10, D20 umfaßt
zunächst einen Schritt der Zuordnung 100 zwischen den Bildelementen eines
linken Bildes G10 und den Bildelementen eines rechten Bildes D20 zum
Erzeugen einer Karte von Zuordnungsvektoren, die die Gesamtheit oder
einen Teil der Hilfsdaten A60 bilden. Dieser Schritt der Zuordnung läuft
über (nicht dargestellte) Schaltungen entsprechend vorbekannten Verfahren
ab und kann für rechte und linke Bilder jeweils eines dem Coder 1
eingangsseitig eingespeisten Bildpaares, aber auch für rechte und linke
Bilder verschiedener, in der Folge aufeinanderfolgender Bildpaare
angewendet werden.
-
Der Schritt der Zuordnung wird gefolgt von einem Schritt der
Verschiebung 150 der Bildelemente in dem rechten Bild D20 entsprechend den
Bildelementen des linken Bildes G10 oder umgekehrt, wobei das rechte Bild
und das linke Bild demselben laufenden stereoskopischen Bildpaar oder
verschiedenen, in der Folge aufeinanderfolgenden Bildpaaren angehören
können. Man multiplext 200 die Bildelemente der linken Bilder G10 mit den
Bildelementen der verschobenen rechten Bilder D20 unter Berücksichtigung
der sich bei der Zuordnungsverarbeitung ergebenden Informationen. Der
Schritt des Multiplexing liefert ausgangsseitig des Coders 1 ein Signal
eines kompatiblen Fernsehbildes C30, in welchem die jeweils den linken
und rechten Bildern des oder der stereoskopischen Bildpaare der Folge
zugehörigen Signalelemente verknüpft worden sind. Das Signal des
kompatiblen Fernsehbildes C30 kann so unmittelbar auf der Ebene eines
herkömmlichen Fernsehgeräts erzeugt werden. Wenn das Signal des
kompatiblen Fernsehbildes für ein stereoskopisches Fernsehgerät bestimmt ist,
wird es mit Hilfsdaten A60 auf einen an den stereoskopischen Fernseher
gekoppelten Decoder 2 übertragen. Eingangsseitig des Decoders 2 wird das
Signal des kompatiblen Fernsehbildes einem Demultiplexing 250 zur
Herstellung eines nach einem Schritt der Umschichtung der Bildelemente 300
erhaltenen linken Bildes G40 und rechten Bildes D50 unterworfen.
-
Das erfindungsgemäße Verfahren sieht ein adaptives Multiplexing der
Bildelemente der rechten und linken Bilder abhängig von der räumlichen
und zeitlichen Aktivität des laufenden Bildpaares der Folge vor, was eine
dynamische Stereovision möglich macht. Bei der dynamischen Stereovision
wird der zeitliche Aspekt, insbesondere mit Hilfe der Bewegungsschätzung
oder des Fortlaufs der Merkmale in jeder Bildfolge, entsprechend der
rechten und linken Ansicht berücksichtigt für die Wahl des Modus des
Multiplexing für die Übertragung der Bildelemente, Fig. 2B bis 2D, und
gegebenenfalls zur Gewährleistung der Wiederherstellung der nicht
übertragenen Raster (unabhängig von der rechten und linken Ansicht). Das
Ergebnis der Bewegungsschätzung ist durch eine Selektionsfunktion
gegeben, die sei es eine schnelle Bewegung des laufenden Bildpaares, sei es
eine schwache Bewegung, sei es eine sehr schwache Bewegung
entsprechend einem festen Inhalt des Bildpaares für mindestens zwei in der
Folge sukzessive Paare unterscheidet. Wie Fig. 1 zeigt, findet die
Bewegungsschätzung 350 für die Folge von laufenden Bildpaaren vor dem
Schritt der Zuordnung statt, wobei das Ergebnis der Schätzung in die
Zuordnungs-, Verschiebungs- und Multiplexingschritte eingeht.
-
Das Feld der Bewegungsvektoren wird über den digitalen Weg als Teil der
Hilfsdaten A60 nach Reduzierung der Datenrate zum Beispiel durch
Segmentierung übertragen.
-
Im Fall der simultanen Sichtbarmachung (Fig. 2F) paßt sich das
Verfahren gemäß der Erfindung an das Ergebnis der Bewegungsschätzung an.
Wenn daher der Inhalt des laufenden Bildpaares der Folge als schnelle
Bewegung erkannt wird, ist die zeitliche Lösung vorzuziehen. Das
Multiplexing der Bildelemente der rechten und linken Bilder des
stereoskopischen Bildpaares wird zum Beispiel durch die räumliche, zeilenweise
Verknüpfung eines Rasters eines anamorphotischen linken Bildes T1D mit
einem Raster eines anamorphotischen und verschobenen rechten Bildes T1D
(in Fig. 2A sichtbar) zur Bildung eines ausgangsseitig des Coders 1
übertragenen Verbundrasters T1G, T1Dd des kompatiblen Fernsehbildes
bewirkt, wie aus Fig. 2B erkennbar ist. Die räumliche Auflösung jedes
rechten und linken Bildes wird durch Anamorphose reduziert, d.h. durch
Filtern und Subsampling, und nur das anamorphotische rechte Bild wird
verschoben. Im Decoder ist zur Anwendung der Umkehrfunktion der
Anamorphose auf die übertragenen beziehungsweise nach dem Demultiplexing
250 und der Umschichtung 300 in dem Decoder 2 erstellten Bildelemente
eine Verarbeitung durch ein lineares Filter vorgesehen. Darüber hinaus
ist vorteilhafterweise ein Demultiplexing von das Bewegungsvektorfeld
betreffenden Informationen vor der linearen Filtrierung auf der Ebene des
Decoders 2 vorgesehen.
-
Wenn der Inhalt der laufenden Bildpaare der Folge als schwache
Bewegung erkannt wird, reduziert man gleichzeitig die zeitliche und die
räumliche Auflösung durch zeitliche Verknüpfung eines ungeradzahligen
Rasters T&sub1;G eines linken Bildes gefolgt von einem verschobenen
geradzahligen Raster T&sub2;Dd eines rechten Bildes oder umgekehrt. Jedes
sukzessive Raster der übertragenen kompatiblen Fernsehbilder entspricht
daher der Wechselfolge von jeweils einem von zwei Rastern jedes rechten
und linken Bildes der Bildpaare der Folge, wie Fig. 2C zeigt, wobei die
räumliche Auflösung der übertragenen Raster nicht reduziert ist. Im
übrigen sind zusätzlich zu dem Schritt der Zuordnung zusätzliche
Verarbeitungen wie zum Beispiel die Bewegungsschätzung vorzusehen, die die
notwendigen Informationen als Hilfsdaten liefert, damit durch Interpolation
auf der Ebene des Decoders 2 die nicht übertragenen Raster der rechten
oder linken Bilder der Bildpaare der Folge wiederhergestellt werden
können.
-
Fig. 2D zeigt die aus dem Multiplexing der Bildelemente der rechten und
linken Bilder der stereoskopischen Bildpaare im Fall einer sehr schwachen
Bewegung ihres Inhalts hervorgegangenen Raster der kompatiblen
Fernsehbilder der übertragenen Folge. In diesem Fall bleibt die räumliche
Auflösung erhalten, d.h. es werden zwei sukzessive Raster T&sub1;G, T&sub2;G eines
linken Bildes gefolgt von zwei sukzessiven Raster T&sub3;Dd, T&sub4;Dd eines
verschobenen rechten Bildes zeitlich verknüpft, so daß zwei sukzessive
Raster eines übertragenen kompatiblen Fernsehbildes im Wechsel zwei
sukzessiven Rastern eines rechten oder eines linken Bildes von
stereoskopischen Bildpaaren der Folge entsprechen. In diesem Fall sind wie oben
ebenfalls ergänzende Verarbeitungen vorgesehen, die auf der Ebene des
Decoders aufgrund der sich aus diesen zusätzlichen Verarbeitungen
ergebenden Daten die Wiederherstellung und durch Interpolation das Erzeugen
der fehlenden Bilder einer der Ansichten ermöglichen.
-
Aufgrund dieses neuen Verfahrens wird das stereoskopische Bild
bevorzugt, indem auf der Ebene des mit einem stereoskopischen Fernsehgerät
verbundenen Decoders 2 den beiden Ansichten der Bildzerlegung zugehörige
Bildelemente angeordnet werden. Die nicht übertragenen Bildelemente, die
zu den den rechten und linken Ansichten entsprechenden Bildern gehören,
werden mit Hilfe der Hilfsdaten wiederhergestellt. Nach dem
erfindungsgemäßen Verarbeitungs- und Übertragungsverfahren weist das
stereoskopische Bild nicht die aus dem Stand der Technik bekannten Mängel auf.
-
Die übertragene kompatible Bildfolge erlaubt eine flächige
Sichtbarmachung von annehmbarer Qualität aufgrund der Tatsache, daß die bei
der Sichtbarmachung auf einem herkömmlichen Fernseher häufig
auftretenden Mängel weitgehend durch die bekannten Verfahren zum Beispiel des
Filterns und Glättens der Konturen eliminiert werden.
-
Die obenbeschriebenen Ausführungsformen eignen sich für stereoskopisches
Fernsehen mit alternierender Sichtbarmachung, Fig. 2E. Bei der
alternierenden Sichtbarmachung entspricht jedes erzeugte linke Bild immer einem
ungeradzahligen Raster des abgetasteten linken Bildes und jedes erzeugte
rechte Bild entspricht einem geradzahligen Raster des abgetasteten rechten
Bildes. Es befindet sich daher jedes visualisierte Bild in der vertikalen
Halbauflösung und es müssen immer Zwischenraster interpoliert werden.
-
Eine besondere Ausführungsform der Erfindung gestattet die Vereinfachung
der auf der Ebene des Decoders 2 durchgeführten Verarbeitungen,
insbesondere die Umwandlung der zeitlichen Frequenz, wobei im Fall einer
alternierenden Erzeugung bei 100 Hz davon auszugehen ist, daß die
Bildabtastung der rechten und linken Ansichten simultan abläuft und daß das
Verfahren zur Verarbeitung und Übertragung der Folge von
stereoskopischen Bildpaaren in der zeitlichen Verknüpfung eines ungeradzahligen
Rasters eines linken Bildes gefolgt von einem geradzahligen Raster eines
rechten Bildes zur Bildung einer Folge von kompatiblen Fernsehbildern
gemäß Fig. 2C besteht.
-
Wie Fig. 2C zeigt, werden die den ungeradzahligen Rastern der linken
Bilder der Folge von stereoskopischen Bildpaaren entsprechenden
Originalraster T1G, T3G vollständig übertragen. Bei der Erzeugung im
alternierenden Modus bei 100 Hz ist es wie aus Fig. 2E ersichtlich notwendig,
die ungeradzahligen Zwischenraster T1G, die den nicht übertragenen
Rastern der linken Bilder der Folge von Bildpaaren entsprechen, durch
Umwandlung der zeitlichen Frequenz wiederherzustellen, wobei die
Umwandlung auf der Ebene des Decoders 2 auf beide Raster der erzeugten
linken Bilder angewendet wird. Bei den erzeugten rechten Bildern werden
alle entsprechenden geradzahligen Raster TpD auf der Ebene des Decoders
neu berechnet, indem insbesondere ein Disparitätsverfahren und ein
Verfahren zur Umwandlung der zeitlichen Frequenz auf sie angewendet wird.
-
Vorteilhafterweise wird die Komplexität des Decoders 2 erfindungsgemäß
durch Vereinfachung der mit ihm verbundenen Verarbeitungsschritte
reduziert. Diese Vereinfachung erreicht man durch Berechnung der
geradzahligen, den erzeugten rechten Bildern entsprechenden Raster und
insbesondere durch Umwandlung der zeitlichen Frequenzen auf der Ebene des
Coders 1.
-
Aufgrund dieser auf der Ebene des Coders 1 realisierten Vorverarbeitung
wird die Umwandlung der zeitlichen Frequenz nur bei jedem zweiten
geradzahligen Raster der rechten Bilder der Folge von stereoskopischen
Bildpaaren angewendet. Dann wird das zeitliche Multiplexing der
ungeradzahligen Raster der linken Bilder mit den geradzahligen Rastern der
rechten, zuvor in ihrer Frequenz umgewandelten Bilder der
stereoskopischen Bildpaare zur Erzeugung der Folge kompatibler Fernsehbilder
durchgeführt, wobei jeweils die Verschiebungs- und
Umschichtungsmaßnahmen notwendig sind.
-
Natürlich ist die Erfindung auch mit einem System kompatibel, das zur
Sichtbarmachung mit einem linsenförmigen Raster ausgestattet ist. Die
notwendigen Anpassungen bestehen im wesentlichen in der Interpolation
von n Zwischenansichten in dem Decoder auf der Basis von im Coder
berechneten und von diesem übertragenen Daten.