DE10015826A1

DE10015826A1 - System und Verfahren zur Erzeugung eines Bildes

Info

Publication number: DE10015826A1
Application number: DE10015826A
Authority: DE
Inventors: Johannes Bieger; Rainer Graumann; Norbert Rahn
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 2000-03-30
Filing date: 2000-03-30
Publication date: 2001-10-11
Also published as: US20010035871A1; US6768496B2

Abstract

Die Erfindung betrifft ein System und ein Verfahren zur Erzeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten enthält. Das System weist erste Mittel (1, 3) zur Gewinnung eines Bilddatensatzes von einem Objekt (P) und zweite Mittel (2) zur Aufnahme eines Videobildes von dem Objekt (P) auf. Mit Hilfe von Mitteln zur Positionsbestimmung, vorzugsweise einem Navigationssystem (10), werden die Positionen der ersten (1, 3) und zweiten (2) Mittel bei der Gewinnung der Bilddatensätze ermittelt, anhand denen die Position des mit den ersten Mitteln (1, 3) gewonnenen Bilddatensatzes und die Position des Videobilddatensatzes im Raum ermittelt werden können, so dass die beiden Bilddatensätze einander überlagert bzw. miteinander fusioniert werden können. Außerdem sind Mittel (23) zur Erzeugung eines mit Bilddaten des mit den ersten Mitteln (1, 3) gewonnenen Bilddatensatzes erweiterten Videobildes vorgesehen.

Description

Die Erfindung betrifft ein System und ein Verfahren zur Er zeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten enthält, aufweisend erste Mittel zur Gewinnung ei nes Bilddatensatzes von einem Objekt und zweite Mittel zur Aufnahme eines Videobildes von dem Objekt.

Bei minimal invasiven chirurgischen Eingriffen, z. B. bei der Endoskopie oder der Laparoskopie, bei welchen medizinische Instrumente über kleine Öffnungen in den Körper eines zu be handelnden Lebewesens eingeführt werden, hat der behandelnde Chirurg in der Regel keine direkte Sicht auf das Operations feld. Die direkte Sicht auf das Operationsfeld ist bei derar tigen chirurgischen Eingriffen daher durch eine Videobildge bung vom Operationsfeld ersetzt, welche in der Regel mit in ein Endoskop, ein Laparoskop oder einen Katheter integrierten optischen Mitteln erfolgt. Im Gegensatz zur direkten Sicht auf das Operationsfeld sind die Sichtverhältnisse bei der Videobildgebung jedoch deutlich eingeschränkt.

Eine Verbesserung der Sicht ergibt sich, wenn bei den minimal invasiven Eingriffen das Endoskop, das Laparoskop oder der Katheter bzw. deren jeweiliges optisches System zur Bildauf nahme geschwenkt wird. Des weiteren lässt sich die Sicht auf das Operationsfeld durch eine Vergrößerung des Abstandes des optischen Systems zu dem abzubildenden Objekt verbessern.

Ein anderer, in der US 5,912,720 für die Behandlung von Au genkrankheiten beschriebener Ansatz zur Erweiterung des Sichtfeldes eines Arztes besteht in der Überlagerung gespei cherter optischer oder angiographischer Bilder von einem Ob jekt mit einem oder mehreren in Echtzeit gewonnenen optischen Bildern von dem Objekt. Die Überlagerung der Bilder beruht dabei auf einer Registrierung sogenannter anatomischer Landmarken, also bestimmter anatomischer Eigenheiten des aufge nommenen Gewebes, welche in den einander zu überlagernden Bildern abgebildet sind und als Anhaltspunkt für die Überla gerung dienen.

Aus der US 5,776,050 ist es bekannt, ein mit einem Endoskop gewonnenes Videobild mit topologischen, in einem Computer gespeicherten Bilddaten eines 3D-Bilddatensatzes zu einem um die topologischen Bilddaten erweiterten Bild zu ergänzen. Mit einem Navigationssystem wird dabei die Position des Endoskops in einem von dem Koordinatensystem des 3D-Bilddatensatzes verschiedenen Koordinatensystem ermittelt. Um eine Beziehung zwischen den beiden Koordinatensystemen und somit dem 3D- Bilddatensatz und den Videobilddaten herzustellen, so dass eine Überlagerung der Videobilddaten mit den topologischen Bilddaten möglich ist, wird eine Registrierungsprozedur, bei spielsweise anhand anatomischer Landmarken, durchgeführt. Anschließend können von dem Endoskop gelieferte Videobilder aufgrund der kontinuierlichen Positionserfassung des Endo skops durch das Navigationssystem und die durch die Regist rierung ermittelte Transformationsvorschrift zwischen den Koordinatensystemen Videobilder kontinuierlich mit topologi schen Daten zu einem erweiterten, das Sichtfeld vergrößernden Bild ergänzt werden.

Als nachteilig an diesem Vorgehen erweist sich jedoch, dass die erforderliche Registrierungsprozedur zeitaufwendig und fehleranfällig und daher schwer in einen routinemäßigen Ab lauf im Zuge eines minimal invasiven chirurgischen Eingriffes zu integrieren ist.

Der Erfindung liegt daher die Aufgabe zugrunde, ein System der eingangs genannten Art derart auszuführen bzw. ein Ver fahren der eingangs genannten Art derart anzugeben, dass eine Überlagerung oder Fusion von beispielsweise nicht invasiv aus dem Inneren eines Objektes gewonnenen Bilddaten und Videobilddaten zur Erzeugung eines Bildes ohne Registrierungspro zedur erfolgen kann.

Nach der Erfindung wird die das System betreffende Aufgabe gelöst durch ein System zur Erzeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten enthält, aufweisend erste Mittel zur Gewinnung eines Bilddatensatzes von einem Objekt, zweite Mittel zur Aufnahme eines Videobildes von dem Objekt, Mittel zur Bestimmung der Position der ersten Mittel bei der Gewinnung des Bilddatensatzes und der Position der zweiten Mittel bei der Aufnahme des Videobildes, Mittel zur Bestimmung der Position des mit den ersten Mitteln gewonnenen Bilddatensatzes und der Position des mit den zweiten Mitteln aufgenommenen Videobildes, Mittel zur Überlagerung oder Fusi on von Bilddaten des mit den ersten Mitteln gewonnenen Bild datensatzes und von Bilddaten des mit den zweiten Mitteln gewonnenen Videobildes und Mittel zur Erzeugung eines Bildes aus den überlagerten oder fusionierten Bilddaten. Erfindungs gemäß sind bei dem System also Mittel vorgesehen, mit denen sowohl die Position der ersten Mittel bei der Gewinnung des Bilddatensatzes, als auch die Position der zweiten Mittel bei der Aufnahme eines Videobildes in einem Referenzkoordinaten system bestimmt werden, so dass die Positionen der ersten und zweiten Mittel relativ zueinander bekannt sind. Da anhand der bekannten Position der ersten Mittel bei der Gewinnung eines Bilddatensatzes aufgrund der ebenfalls bekannten Aufnahmepa rameter auch die Position des mit den ersten Mitteln gewonne nen Bilddatensatzes und da anhand der bekannten Position der zweiten Mittel bei der Aufnahme des Videobildes aufgrund der ebenfalls bekannten Aufnahmeparameter auch die Position der Bildebene des Videobildes in dem Referenzkoordinatensystem ermittelbar ist, können Bilddaten des mit den ersten Mitteln gewonnenen Bilddatensatzes und Videobilddaten einander über lagert oder miteinander fusioniert werden. Auf diese Weise lassen sich z. B. bei minimal invasiven medizinischen Eingrif fen ohne Registrierungsprozedur zur Herstellung einer räumli chen Beziehung zwischen den Bilddaten des mit den ersten Mitteln gewonnenen Bilddatensatzes und den Videobilddaten intra operativ Bilder erzeugen, welche Videobilddaten und bei spielsweise nicht invasiv gewonnene Bilddaten aus dem Inneren des Objektes enthalten. Vorzugsweise werden dabei Videobilder erzeugt, welche um nicht invasiv gewonnene Bilddaten des mit den ersten Mitteln erzeugten Bilddatensatzes ergänzt sind, so dass das möglicherweise eingeschränkte Sichtfeld eines Video bildes erweitert wird. Die Videobilddaten werden beispiels weise um Bilddaten aus der mit der Bildebene des Videobildes korrespondierenden Bildebene des Bilddatensatzes ergänzt. Die Darstellung der erzeugten Bilder kann beispielsweise als Bild-in-Bild-Darstellung erfolgen.

Eine besonders bevorzugte Ausführungsform der Erfindung sieht vor, dass mit den Mitteln zur Bestimmung der Positionen der ersten und der zweiten Mittel auch die Position, d. h. die Lage und Orientierung, des Objektes im Raum bestimmbar ist. Auf diese Weise können beispielsweise bei minimal invasiven medizinischen Eingriffen auch nicht invasiv, präoperativ ge wonnene Bilddaten von dem Objekt zur Überlagerung oder Fusion mit während des minimal invasiven chirurgischen Eingriffs aufgenommenen Videobilddaten verwendet werden. Durch die Er fassung der Position des Objektes bei der präoperativ vorge nommenen Aufnahme eines Bilddatensatzes mit den ersten Mit teln und durch die Erfassung der Position des Objektes bei der Durchführung des eigentlichen chirurgischen Eingriffes an dem Objekt können die Änderungen in der Position des Objektes berücksichtigt werden und der Bilddatensatz hinsichtlich sei ner Lage im Raum an die veränderte Lage des Objektes ange passt bzw. mit der veränderten Lage des Objektes in Überein stimmung gebracht werden. Darüber hinaus ist die Bestimmung der Position des Objektes auch dann sinnvoll, wenn sich das zu untersuchende Objekt während des Eingriffs zwischen der Gewinnung des Bilddatensatzes mit den ersten Mitteln und der Aufnahme des Videobildes bewegt bzw. bewegt wird. Das Objekt ist demnach in dem mit den ersten Mitteln gewonnenen Bildda tensatz in einer anderen Lage als bei der Aufnahme des Videobildes mit den zweiten Mitteln. Durch die Erfassung der Bewe gungen des Objektes wird es aber ermöglicht unter Berücksich tigung der Bewegungen des Objektes, den mit den ersten Mit teln gewonnenen Bilddatensatz mit der neuen Lage des Objektes in Übereinstimmung zu bringen, so dass ein bei der neuen Lage des Objektes aufgenommenes Videobild problemlos mit Bilddaten des angepassten Bilddatensatzes überlagert oder fusioniert werden kann.

Nach einer Variante der Erfindung umfassen die Mittel zur Bestimmung der Positionen der ersten und der zweiten Mittel ein Navigationssystem. Bei dem Navigationssystem kann es sich beispielsweise um ein an sich bekanntes optisches, ein elekt romagnetisches, ein auf Ultraschall basierendes oder auch ein anderes an sich bekanntes Navigationssystem handeln.

Eine besonders bevorzugte Ausführungsform der Erfindung sieht vor, dass mit den ersten Mitteln zur Gewinnung eines Bildda tensatzes ein 3D-Bilddatensatz gewonnen werden kann. Nach Varianten der Erfindung umfassen die ersten Mittel ein Rönt gensystem, vorzugsweise ein C-Bogen-Röntgensystem, oder ein Ultraschallsystem und die zweiten Mittel ein Endoskop, ein Laparoskop oder einen Katheter. Der Vorteil der Verwendung eines C-Bogen-Röntgensystem oder eines Ultraschallsystems zur nicht invasiven Gewinnung eines Bilddatensatzes liegt in der relativ kostengünstigen Erzeugung der Bilddatensätze im Ver gleich zur Gewinnung von Datensätzen mit Röntgencomputerto mographen oder Magnetresonanzgeräten.

Die das Verfahren betreffende Aufgabe wird gelöst durch ein Verfahren zur Erzeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten enthält, aufweisend folgende Ver fahrensschritte:

a) Gewinnung eines Bilddatensatzes von einem Objekt mit ers ten Mitteln zur Gewinnung von Bilddaten,
b) Aufnahme eines Videobildes von dem Objekt mit zweiten Mitteln,
c) Bestimmung der Position der ersten Mittel bei der Gewin nung des Bilddatensatzes und der Position der zweiten Mittel bei der Aufnahme des Videobildes,
d) Bestimmung der Position des mit den ersten Mitteln gewon nenen Bilddatensatzes und der Position des mit den zwei ten Mitteln aufgenommenen Videobildes,
e) Überlagerung oder Fusion von Bilddaten des mit den ersten Mitteln gewonnenen ersten Bilddatensatzes und von Bildda ten des mit den zweiten Mitteln aufgenommenen Videobildes und
f) Erzeugung eines Bildes aus den überlagerten oder fusio nierten Bilddaten.

Bei dem erfindungsgemäßen Verfahren werden also, wie im Zu sammenhang mit dem erfindungsgemäßen System beschrieben, an hand der ermittelten Position der ersten Mittel bei der Ge winnung des Bilddatensatzes und der Position der zweiten Mit tel bei der Aufnahme des Videobildes in bezug auf ein Refe renzkoordinatensystem die Position des mit den ersten Mitteln gewonnenen Bilddatensatzes und die Position des mit den zwei ten Mitteln aufgenommenen Videobildes relativ zueinander in dem Referenzkoordinatensystem bestimmt. Da demnach die Lage der Bilddaten des Bilddatensatzes zu der Lage der Videobild daten bekannt ist, können die Bilddaten einander überlagert oder miteinander fusioniert werden, wodurch Bilder erzeugt werden können, welche Videobilddaten und beispielsweise nicht invasiv gewonnene Bilddaten aus dem Inneren eines Objektes enthalten.

Nach Varianten der Erfindung werden auch die Position des Objektes bestimmt, wobei die Bestimmung der Positionen der ersten und der zweiten Mittel sowie die Bestimmung der Posi tion des Objektes nach einer Variante der Erfindung mit einem Navigationssystem erfolgt. Die Verwendung eines an sich be kannten Navigationssystems stellt eine besonders praktische Form zur Ermittlung der Positionen der ersten und zweiten Mittel sowie der Position des Objektes dar.

Weitere vorteilhafte Varianten des erfindungsgemäßen Verfah rens ergeben sich aus den Unteransprüchen.

Ein Ausführungsbeispiel der Erfindung ist in den beigefügten schematischen Zeichnungen dargestellt. Es zeigen:

Fig. 1 ein System mit einem Navigationssystem zur Durch führung des Verfahrens zur Erzeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten auf weist, und

Fig. 2 die Lage eines 3D-Bilddatensatzes und einer Bild ebene eines Videobildes relative zueinander.

Bei dem in der Fig. 1 dargestellten erfindungsgemäßen System handelt es sich um ein medizinisches System für minimal inva sive chirurgische Eingriffe an Lebewesen. Das medizinische System weist erste Mittel zur nicht invasiven Gewinnung eines Bilddatensatzes von einem Patienten P in Form eines Ultra schallgerätes 1 und zweite Mittel zur Aufnahme eines Video bildes aus dem Körperinneren des Patienten P in Form eines Endoskops 2 auf.

Das Ultraschallgerät 1 umfasst einen auf der Körperoberfläche des Patienten P applizierbaren Ultraschallkopf 3, welcher an eine an sich bekannte Bildverarbeitungseinheit 4 des Ultra schallgerätes 1 mit einer Leitung 5 angeschlossen ist. Das Ultraschallgerät 1 weist außerdem eine in nicht dargestellter Weise mit der Bildverarbeitungseinheit 4 verbundene Anzeige einrichtung 6 auf. Mit dem Ultraschallkopf 3 können in an sich bekannter Weise in sogenannten Sektorscans nicht invasiv 2D-Ultraschallbilder aus dem Körperinneren des Patienten P gewonnen und nach einer Bildverarbeitung durch die Bildverar beitungseinheit 4 in nicht dargestellter Weise auf der Anzeigeeinrichtung 6 dargestellt werden. Das Ultraschallgerät 1 zeichnet sich außerdem dadurch aus, dass mit ihm 3D- Bilddatensätze von Körpergewebe des Patienten P gewonnen wer den können. Ein derartiger 3D-Bilddatensatz wird in an sich bekannter Weise aus einer Vielzahl von aus verschiedenen Richtungen aufgenommenen Ultraschallschnittbildern von der Bildverarbeitungseinheit 4 erzeugt und bildet die Grundlage für die Rekonstruktion verschiedener 3D-Ultraschallbilder.

Das Endoskop 2, welches im Falle des vorliegenden Ausfüh rungsbeispiels durch eine Öffnung in den Körper des Patienten P eingedrungen ist, weist nicht näher dargestellte, aber an sich bekannte optische Mittel in Form einer Linsenanordnung und einer mit der Linsenanordnung zusammenwirkenden Bildauf nahmeeinheit, z. B. einer CCD-Kamera, auf. Die von der CCD- Kamera aufgenommenen Videobilder werden über eine Leitung 7 an einen mit einer Anzeigeeinrichtung 8 versehenen Visuali sierungsrechner 9 übertragen und können von dem Visualisie rungsrechner 9 auf der Anzeigeeinrichtung 8 dargestellt wer den. Eine an sich zur Aufnahme von Videobildern aus dem Kör perinneren des Patienten P erforderliche Lichtquelle, z. B. eine Kaltlichtquelle, ist in der Fig. 1 nicht explizit darge stellt.

Das medizinische System weist im Falle des vorliegenden Aus führungsbeispiels außerdem ein elektromagnetisches Navigati onssystem 10 auf, welches eine Positionserfassungseinheit 11 in Form eines Rechners, einen Sender 12 und an hinsichtlich ihrer Position zu erfassenden Objekten anbringbare Positions sensoren 13 bis 15 umfasst. Die Positionserfassungseinheit 11 ist über eine Leitung 16 mit dem Sender 12 und über Leitungen 17 bis 19 mit den Positionssensoren 13 bis 15 verbunden. Im Betrieb des Navigationssystems 10 erzeugt der Sender 12 ein in Fig. 1 mit gestrichelten Linien angedeutetes elektromagne tisches Feld 20. Befinden sich die Positionssensoren 13 bis 15 des Navigationssystems 10 in dem elektromagnetischen Feld 20 erzeugen diese Signale, aus denen die Positionserfassungseinheit 11 die Positionen der Positionssensoren 13 bis 15 und somit die Positionen der die Positionssensoren 13 bis 15 tra genden Objekte in einem Referenzkoordinatensystem K1 ermit teln kann. Der Sender 12 des Navigationssystems 10 ist dabei in definierter Weise in dem Referenzkoordinatensystem K1 an geordnet.

Im Falle des vorliegenden Ausführungsbeispiels ist der Posi tionssensor 13 des Navigationssystems 10 in derart definier ter Weise an dem Ultraschallkopf 3 angeordnet, dass durch die Bestimmung der Position des Positionssensors 13 in dem von der Positionserfassungseinheit 11 festgelegten Bezugskoordi natensystem K1 nicht nur die Position der Ultraschallsende- und -empfängerflächen des Ultraschallkopfes 3, sondern auf grund der bekannten Aufnahmeparameter bei der Gewinnung von Ultraschallbildern auch die Positionen, d. h. die Lagen und Orientierungen, der mit dem Ultraschallkopf 3 erfassten Bild daten im Bezugskoordinatensystem K1 ermittelbar sind.

Der Positionssensor 14 ist in derart definierter Weise an dem Endoskop 2 angeordnet, dass durch die Bestimmung der Position des Positionssensors 14 auch die Position der optischen Lin senanordnung des Endoskops 2 und somit der Bildebene eines von der Linsenanordnung und der CCD-Kamera aufgenommenen Vi deobildes ermittelbar ist.

Um das allein durch die Videobildgebung mit dem Endoskop 2 eingeschränkte Sichtfeld eines in der Fig. 1 nicht dargestell ten Chirurgen bei minimal invasiven Eingriffen an dem Patien ten P zu erweitern, werden mit dem medizinischen System Bil der erzeugt, welche Bilddaten eines mit dem Ultraschallgerät 1 gewonnenen 3D-Bilddatensatzes und Bilddaten eines mit dem Endoskop 2 gewonnenen Videobildes enthalten. Zur Erzeugung eines derartigen Bildes werden vorzugsweise intra-operativ, also während des minimal invasiven chirurgischen Eingriffs, ein 3D-Bilddatensatz von dem zu behandelnden Körperteil des Patienten P mit dem Ultraschallgerät 1 und Videobilder mit dem in das entsprechende Körperteil des Patienten P einge drungenem Endoskop 2 gewonnen. Zu den Zeitpunkten der Aufnah men der Ultraschallschnittbilder mit dem Ultraschallgerät 1 sowie zu den Zeitpunkten der Aufnahme der Videobilder werden mit Hilfe des Navigationssystems 10 die Positionen des Ultra schallkopfes 3 und die Positionen des Endoskops 2 ermittelt. Die an dem Ultraschallkopf 3 und dem Endoskop 2 angeordneten Positionssensoren 13 bzw. 14 sind dabei, wie bereits erwähnt, in dem in der Fig. 1 mit gestrichelten Linien angedeuteten elektromagnetischen Feld 20 des Senders 12 angeordnet und erzeugen Signale, aus denen die Positionserfassungseinheit 11 die Positionen, d. h. die Lagen und Orientierungen des Ultra schallkopfes 3 und des Endoskops 2, bezüglich des Referenzko ordinatensystems K1 bestimmen kann. Die Aufnahme der Bildda ten und die Bestimmung der Positionen des Ultraschallkopfes 3 und des Endoskops 2 erfolgt dabei synchron, wobei eine Posi tionsbestimmung jeweils durch eine Bildaufnahme ausgelöst wird. Die Bildverarbeitungseinheit 4 des Ultraschallgerätes 1 und der Visualisierungsrechner 9 des Endoskops 2 sind hierzu mit Leitungen 21, 22 mit der Positionserfassungseinheit 11 verbunden.

Anhand der mit dem Navigationssystem 10 ermittelten Positio nen des Ultraschallkopfes 3 bei der Gewinnung der Ultra schallschnittbilder kann auch die Lage und Orientierung eines aus den 2D-Ultraschallschnittbildern erzeugten 3D- Bilddatensatzes in dem Referenzkoordinatensystem K1 ermittelt werden. Im Falle des vorliegenden Ausführungsbeispiels er folgt die Erzeugung des 3D-Ultraschallbilddatensatzes mit einem Überlagerungs- und Fusionsrechner 23 in an sich bekann ter Weise, an welchen die Positionserfassungseinheit 11 über eine Leitung 24 und das Ultraschallgerät 1 über eine Leitung 25 angeschlossen sind. Der Überlagerungs- und Fusionsrechner 23 erhält dabei alle für die Erzeugung des 3D-Bilddatensatzes erforderlichen Positionsdaten von der Positionserfassungsein heit 11 und alle Ultraschalldaten von dem Ultraschalgerät 1. Aufgrund der bekannten räumlichen Beziehung zwischen den gewonnenen 2D-Ultraschallbilddaten und den Sende- und Empfän gerflächen des Ultraschallkopfes 3 kann der Überlagerungs- und Fusionsrechner 23 schließlich für jedes Bilddatum des erzeugten 3D-Ultraschallbilddatensatzes, aus dem verschiedene 3D-Bilder vom Körperinneren des Patienten P rekonstruierbar sind, die Lage und Orientierung im Referenzkoordinatensystem K1 bestimmen. Demnach ist auch für einen beliebig aus dem 3D- Ultraschallbilddatensatz rekonstruierten 3D-Bildkubus die Lage und Orientierung im Referenzkoordinatensystem K1 als auch die Voxelgröße, beispielsweise in Millimetern und Grad, in dem Referenzkoordinatensystem K1 bekannt. Alternativ könn te die Erzeugung des 3D-Ultraschallbilddatensatzes auch mit der Bildverarbeitungseinheit 4 des Ultraschallgerätes 1 er folgen.

Da auch der Visualisierungsrechner 9 des Endoskops 2 über eine Leitung 26 an den Überlagerungs- und Fusionsrechner 23 angeschlossen ist, kann der Überlagerungs- und Fusionsrechner 23 anhand der Positionsdaten der Positionserfassungseinheit 11 sowie anhand der an ihn übertragenen Einstelldaten und der Videobilder des Endoskops 2 auch die Positionen, d. h. die Lagen und Orientierungen, des Endoskops 2 und somit die Bild ebene eines jeden mit dem Endoskop 2 erfassten Videobildes in dem Referenzkoordinatensystem K1 bestimmen. Aufgrund der be kannten Positionen des 3D-Ultraschallbilddatensatzes und der Videobilddaten kann der mit einer entsprechenden Software betriebene Überlagerungs- und Fusionsrechner 23 die Bilddaten des 3D-Ultraschallbilddatensatzes und die Videobilddaten ein ander überlagern oder miteinander fusionieren. In Fig. 2 ist in schematischer exemplarischer Darstellung die Position des mit einem Kubus 27 angedeuteten 3D-Ultraschallbilddatensatzes und die Position der Bildebene 28 eines Videobildes in dem Referenzkoordinatensystem K1 gezeigt.

Die Fusion der Bilddaten des 3D-Ultraschallbilddatensatzes mit den Videobilddaten kann mit bekannten Fusions-Verfahren, z. B. Alpha-Blending, als anteilsmäßige Überlagerung bewerkstelligt werden. Mit Hilfe dieser überlagerten Darstellung kann insbesondere Körpergewebe halbtransparent dargestellt werden, wodurch z. B. ein Blick durch ein Organ möglich wird, indem dem Videobild Ultraschallbilddaten jenseits eines im Videobild gezeigten Organs überlagert werden. Des weiteren können dem Videobild funktionelle Informationen, z. B. der Blutfluss, sowie Gefäße überlagert werden. Geeignete Darstel lungsarten stellen hierbei beispielsweise das "perspektivi sche Surface Shaded Display" oder das "perspektivische Volume Rendering" dar.

Darüber hinaus kann der Überlagerungs- und Fusionsrechner 23 aus den überlagerten oder fusionierten Bilddaten Videobilder erzeugen, welche beispielsweise um Bilddaten aus der mit der Bildebene des Videobildes korrespondierenden Ebene des 3D- Ultraschallbilddatensatzes ergänzt sind, welche als Bild-in- Bild darstellbar sind. In Fig. 1 ist in vergrößerter schemati scher Darstellung ein aus den bekannten Bilddaten erzeugtes Bild als Bild-in-Bild-Visualisierung auf einer Anzeigeein richtung 29 des Überlagerungs- und Fusionsrechner 23 darge stellt. Das Videobild 30 ist dabei mit Ultraschalldaten 31 ergänzt, so dass das Sichtfeld des Videobildes 30 erweitert ist. Eine weitere Darstellungsform ist die Seite-an-Seite- Darstellung der Bilddaten, bei der Bilddaten des 3D- Ultraschallbilddatensatzes und Videobilddaten in gleicher Orientierung und Position dargestellt werden.

Bei der Überlagerung bzw. der Fusion des 3D-Ultraschallbild datensatzes mit den Videobilddaten wird es in der Regel er forderlich sein, die Bilddaten auch von ihrer Struktur her aneinander anzupassen, dass heißt zum Beispiel, dass die Vi deobilddaten, welche bedingt durch den variablen Abstand zwi schen dem Endoskop 2 und dem aufzunehmenden Gewebe im Ver gleich zu den Bilddaten des 3D-Ultraschallbilddatensatzes in verschiedenen Skalierungen vorliegen, derart skaliert werden müssen, dass die Bilddaten zueinander passen. Der Skalie rungsfaktor lässt sich aber bestimmen, da die Lage des Endoskops 2 relativ zu dem 3D-Ultraschallbilddatensatz bekannt ist. Die Skalierung wird im Falle des vorliegenden Ausfüh rungsbeispiels durch den Überlagerungs- bzw. Fusionsrechner 23 vorgenommen.

Weitere Parameter für die Bilddarstellung wie die Lage und Blickrichtung können interaktiv mit an sich bekannten, in Fig. 1 nicht dargestellten an den Überlagerungs- und Fusionsrech ner 23 angeschlossenen Bedienerschnittstellen für die 3D- Bildverarbeitung verändert werden. Das Mischungsverhältnis von 3D-Ultraschallbilddaten mit Videobilddaten kann ebenfalls interaktiv verändert werden.

In der vorstehend beschriebenen Weise kann also ein intra operativ mit dem Endoskop 2 erzeugtes Videobild aus dem Kör perinneren des Patienten P mit intra-operativ erzeugten Ult raschallbild erweitert werden. Für die Überlagerung oder Fu sion der Bilddaten ist dabei erfindungsgemäß keine Registrie rung erforderlich.

Wird der Patient P zwischen den Aufnahmen der Ultraschall schnittbilder mit dem Ultraschallgerät 1 und den Aufnahmen der Videobilder bewegt, wird auch die Bewegung des Patienten P mit dem Navigationssystem 10 erfasst. Hierzu ist im Falle des vorliegenden Ausführungsbeispiels an dem Patienten P der Positionssensor 15 angebracht. Durch die Erfassung der Bewe gung des Patienten P wird es ermöglicht, auch präoperativ ermittelte 3D-Ultraschallbilddatensätze, welche bei einer Lage des Patienten P aufgenommen wurden, welche sich von der Lage des Patienten P bei dem minimal invasiven chirurgischen Eingriff unterscheidet, mit der Lage des Patienten P während des Eingriffes in Übereinstimmung zu bringen. Auf diese Weise kann auch ein präoperativ ermittelter und angepasster Bildda tensatz zur Überlagerung oder Fusion mit intra-operativ ge wonnenen Videobilddaten verwendet werden.

Sollten die Videobilder im Vergleich zur realen Patientenana tomie verzerrt vorliegen, was der Fall ist, wenn Endoskope mit verzerrender Optik eingesetzt werden, so kann vor der Überlagerung bzw. Fusion der Videobilddaten mit den Ultra schalldaten in an sich bekannter Weise eine Entzerrung der Videobilder durchgeführt werden. Nach der Entzerrung liegen die Videobilder schließlich verzeichnungsfrei vor.

Sollte die Genauigkeit der mit dem Navigationssystem 10 er mittelten Positionen des 3D-Ultraschallbilddatensatzes und der Videobilddaten nicht ausreichend sein, um hochwertige Bilder mit überlagerten oder fusionierten Bilddaten erzeugen zu können, kann ausgehend von den ermittelten Positionen der Bilddaten zusätzlich eine Feinregistrierung erfolgen. Bei dieser Feinregistrierung können gängige Registrierungsverfah ren zur Anwendung kommen, bei denen die gesuchte räumliche Transformation zwischen den beteiligten Bilddaten mit Hilfe von sogenannten anatomischen Landmarken oder mit Hilfe von Oberflächen oder Kanten ermittelt wird. Auch gängige voxelba sierte Registrierungsansätze können hierzu verwendet werden. Bei Bedarf können auch gängige Registrierungsansätze verwen det werden, bei denen einer der beiden Bilddatensätze elas tisch deformiert wird, um eine optimale Registrierung zu er möglichen. Durch diese elastische Deformation können auch durch die Verzerrung der Endoskopoptik bedingte Verzeichnun gen der Videobilder korrigiert werden. Weiterhin ist die e lastische Deformation in Situationen hilfreich, bei denen Patientenumlagerungen, -bewegungen und/oder -atmung zwischen den Aufnahmen der prä- oder intra-operativ gewonnenen 3D- Ultraschallbilddaten und der Aufnahme der endoskopischen Vi deobilddaten stattfinden.

Die Überlagerung oder Fusion von 3D-Ultraschallbilddaten und von Videobilddaten muss im übrigen nicht notwendigerweise von dem Überlagerungs- und Fusionsrechner 23 vorgenommen werden. Vielmehr kann auch die Bildverarbeitungseinheit 4 des Ultra schallgerätes 1 oder der Visualisierungsrechner 9 die Überlagerung bzw. Fusion vornehmen und Bilder erzeugen, welche ü berlagerte oder fusionierte Bilddaten aufweisen.

Im Unterschied zum vorliegend beschriebenen Ausführungsbei spiel muss es sich bei dem Navigationssystem 10 nicht notwen digerweise um ein elektromagnetisches Navigationssystem han deln. Vielmehr kann das Navigationssystem auch optisches oder ein anderes bekanntes Navigationssystem sein.

Des weiteren ist die vorliegende Erfindung nicht auf die Fu sion bzw. Überlagerung eines 3D-Bilddatensatzes mit Video bilddaten beschränkt, sondern es können auch 2D- Bilddatensätze und Videobilddaten einander überlagert bzw. miteinander fusioniert werden.

Darüber hinaus muss es sich bei den ersten Mitteln nicht not wendigerweise um ein Ultraschallgerät handeln. Vielmehr kön nen die ersten Mittel auch ein Röntgengerät, z. B. ein C- Bogen-Röntgengerät, oder einen Computertomographen oder ein Magnetresonanzgerät umfassen. Alle diese Gerätschaften ges tatten es Bilddatensätze zu erzeugen, deren Lage mit Hilfe eines Navigationssystems relativ zu einem Videobild bestimmt werden kann.

Anstelle des Endoskops kann auch ein mit optischen Mitteln zur Bildaufnahme versehenes Laparoskop oder ein Katheter ver wendet werden.

Die Erfindung wurde vorstehend am Beispiel eines medizini schen Systems beschrieben. Die Erfindung ist jedoch nicht auf den Bereich der Medizin beschränkt.

Claims

1. System zur Erzeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten enthält, aufweisend erste Mittel (1, 3) zur Gewinnung eines Bilddatensatzes von einem Objekt (P), zweite Mittel (2) zur Aufnahme eines Videobildes von dem Objekt (P), Mittel (10) zur Bestimmung der Position der ers ten Mittel (1, 3) bei der Gewinnung des Bilddatensatzes und der Position der zweiten Mittel (2) bei der Aufnahme des Vi deobildes, Mittel (23) zur Bestimmung der Position des mit den ersten Mitteln (1, 3) gewonnenen Bilddatensatzes und der Position des mit den zweiten Mittel (2) aufgenommenen Video bildes, Mittel (23) zur Überlagerung oder Fusion von Bildda ten des mit den ersten Mitteln (1, 3) gewonnenen Bilddaten satzes und von Bilddaten des mit den zweiten Mitteln (2) ge wonnenen Videobildes und Mittel (23) zur Erzeugung eines Bil des aus den überlagerten oder fusionierten Bilddaten.

2. System nach Anspruch 1, bei dem mit den Mitteln (10) zur Bestimmung der Positionen der ersten (1, 3) und der zweiten (2) Mittel auch die Position des Objektes (P) bestimmbar ist.

3. System nach Anspruch 1 oder 2, bei dem die Mittel zur Be stimmung der Positionen der ersten (1, 3) und der zweiten (2) Mittel ein Navigationssystem (10) umfassen.

4. System nach einem der Ansprüche 1 bis 3, bei dem mit den ersten Mitteln (1, 3) zur Gewinnung eines Bilddatensatzes ein 3D-Bilddatensatz gewonnen werden kann.

5. System nach einem der Ansprüche 1 bis 4, bei dem die ers ten Mittel ein Röntgensystem umfassen.

6. System nach einem der Ansprüche 1 bis 4, bei dem die ers ten Mittel ein Ultraschallsystem (1, 3) umfassen.

7. System nach einem der Ansprüche 1 bis 6, bei dem die zwei ten Mittel ein Endoskop (2), ein Laparoskop oder einen Kathe ter umfassen.

8. System nach einem der Ansprüche 1 bis 7, welches ein medi zinisches System ist.

9. Verfahren zur Erzeugung eines Bildes, welches überlagerte oder fusionierte Bilddaten enthält, aufweisend folgende Ver fahrensschritte:

a) Gewinnung eines Bilddatensatzes von einem Objekt (P) mit ersten Mitteln (1, 3) zur Gewinnung von Bilddaten,
b) Aufnahme eines Videobildes von dem Objekt (P) mit zweiten Mitteln (2),
c) Bestimmung der Position der ersten Mittel (1, 3) bei der Gewinnung des Bilddatensatzes und der Position der zwei ten Mittel (2) bei der Aufnahme des Videobildes,
d) Bestimmung der Position des mit den ersten Mitteln (1, 3) gewonnenen Bilddatensatzes und der Position des mit den zweiten Mitteln (2) aufgenommenen Videobildes,
e) Überlagerung oder Fusion von Bilddaten des mit den ersten Mitteln (1, 3) gewonnenen ersten Bilddatensatzes und von Bilddaten des mit den zweiten Mitteln (2) aufgenommenen Videobildes, und
f) Erzeugung eines Bildes aus den überlagerten oder fusio nierten Bilddaten.

10. Verfahren nach Anspruch 9, bei dem die Position des Ob jektes (P) bestimmt wird.

11. Verfahren nach Anspruch 9 oder 10, bei dem die Bestimmung der Positionen der ersten (1, 3) und der zweiten (2) Mittel und die Bestimmung der Position des Objektes (P) mit einem Navigationssystem (10) erfolgt.

12. Verfahren nach einem der Ansprüche 9 bis 11, bei dem mit den ersten Mitteln (1, 3) ein 3D-Bilddatensatz gewonnen wer den kann.

13. Verfahren nach einem der Ansprüche 9 bis 12, bei dem die ersten Mittel ein Röntgensystem umfassen.

14. Verfahren nach einem der Ansprüche 9 bis 12, bei dem die ersten Mittel ein Ultraschallsystem (1, 3) umfassen.

15. Verfahren nach einem der Ansprüche 9 bis 14, bei dem die zweiten Mittel ein Endoskop (2), ein Laparoskop oder einen Katheter umfassen.

16. Verfahren nach einem der Ansprüche 9 bis 15, bei dem vor der Überlagerung oder Fusion von Bilddaten des mit den ersten Mitteln (1, 3) gewonnenen Bilddatensatzes und von Bilddaten des mit den zweiten Mitteln (2) aufgenommenen Videobildes eine geometrische Entzerrung des Videobildes erfolgt.

17. Verfahren nach einem der Ansprüche 9 bis 16, bei dem eine Feinregistrierung zwischen den Bilddaten des mit den ersten Mitteln (1, 3) gewonnenen Bilddatensatzes und den Bilddaten des mit den zweiten Mitteln (2) aufgenommenen Videobildes erfolgt.