[go: up one dir, main page]

DE102018131501A1 - Method and system for operation-supporting visualization, computer program product - Google Patents

Method and system for operation-supporting visualization, computer program product Download PDF

Info

Publication number
DE102018131501A1
DE102018131501A1 DE102018131501.5A DE102018131501A DE102018131501A1 DE 102018131501 A1 DE102018131501 A1 DE 102018131501A1 DE 102018131501 A DE102018131501 A DE 102018131501A DE 102018131501 A1 DE102018131501 A1 DE 102018131501A1
Authority
DE
Germany
Prior art keywords
patient
radiopaque markers
insertion channel
operated
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102018131501.5A
Other languages
German (de)
Inventor
Katharina Reichel
Moritz Koroschetz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Winter and Ibe GmbH
Olympus Corp of the Americas
Original Assignee
Olympus Winter and Ibe GmbH
Olympus Corp of the Americas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter and Ibe GmbH, Olympus Corp of the Americas filed Critical Olympus Winter and Ibe GmbH
Priority to DE102018131501.5A priority Critical patent/DE102018131501A1/en
Publication of DE102018131501A1 publication Critical patent/DE102018131501A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966Radiopaque markers visible in an X-ray image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur operationsunterstützenden Visualisierung, insbesondere zur visuellen Unterstützung einer perkutanen Nephrolithotomie.Es wird ein 3-dimensionales Muster von wenigstens drei radiopaken Markern (12) auf der Hautoberfläche (20) eines für die Operation vorzubereitenden Patienten im Bereich eines geplanten Zugangs zu einem zu operierenden Organ erstellt, 3-dimensionale Referenzdaten mittels eines oder mehrerer bildgebender Scans des zu operierenden Bereichs mit den radiopaken Markern (12) und daraus ein virtuelles 3-dimensionales Modell (40) des Gewebes (22) des Patienten im zu operierenden Bereich mit den Positionen der radiopaken Marker (12) erstellt, ergänzt oder abgeglichen und am virtuellenThe invention relates to a method and a system for visualization to assist surgery, in particular for visually supporting a percutaneous nephrolithotomy. A 3-dimensional pattern of at least three radiopaque markers (12) on the skin surface (20) of a patient to be prepared for the operation in the area of a planned access to an organ to be operated, 3-dimensional reference data created using one or more imaging scans of the area to be operated with the radiopaque markers (12) and from this a virtual 3-dimensional model (40) of the patient's tissue (22) in the operating area with the positions of the radiopaque markers (12) created, supplemented or compared and on the virtual

Description

Die Erfindung betrifft ein Verfahren und ein System zur operationsunterstützenden Visualisierung für einen Eingriff an einem Patienten, insbesondere zur visuellen Unterstützung einer perkutanen Nephrolithotomie, sowie ein Computerprogrammprodukt.The invention relates to a method and a system for operation-supporting visualization for an intervention on a patient, in particular for the visual support of a percutaneous nephrolithotomy, and a computer program product.

Die Erfindung betrifft das Feld der operationsunterstützenden Visualisierung, speziell in Feldern, in denen ein direkter Einblick in den zu operierenden Körper fehlt. Dies ist in manchen minimalinvasiven Prozeduren der Fall, wie beispielsweise bei der Implantation von Cochlear-Implantaten, perkutaner Lungenbiopsie oder perkutaner Nephrolithotomie (PCNL). Bei perkutaner Nephrolithotomie werden Nierensteine lokalisiert und minimalinvasiv unter Punktion der betroffenen Niere entfernt. Der Patient liegt bei der Operation in Rücken- oder Bauchlage. Der Eingriff erfolgt typischerweise mit rigiden Endoskopen oder Hohlnadeln. Das Endoskop bzw. die Hohlnadel wird dabei entlang eines Einführkanals oder „Nephrostomie-Trakts“ durch die Haut und das dazwischenliegende Gewebe in die Niere eingeführt. Dieser Einführkanal wird üblicherweise mit einer dünnen Hohlnadel erzeugt, die das Nierenparenchym durchstößt und in das Nierenbecken eindringt, wo sich der Nierenstein befindet.The invention relates to the field of operation-supporting visualization, especially in fields in which a direct view of the body to be operated is missing. This is the case in some minimally invasive procedures, such as the implantation of cochlear implants, percutaneous lung biopsy or percutaneous nephrolithotomy (PCNL). In percutaneous nephrolithotomy, kidney stones are localized and removed minimally invasively by puncturing the affected kidney. The patient lies supine or prone during the operation. The intervention is typically carried out with rigid endoscopes or hollow needles. The endoscope or hollow needle is inserted into the kidney along an insertion channel or “nephrostomy tract” through the skin and the tissue in between. This insertion channel is usually created with a thin hollow needle that pierces the renal parenchyma and penetrates into the renal pelvis, where the kidney stone is located.

Diese Punktionen werden üblicherweise von einer Fluoroskopie begleitet. Die Fluoroskopie wird mittels eines Röntgengeräts durchgeführt, welches an einem C-Arm drehbar und kippbar aufgehängt ist und Live-Röntgenaufnahmen in verschiedenen Projektionsebenen erstellen kann. Es kommt ein Kontrastmittel zur Abbildung des Nierenbeckens zum Einsatz, sowie ggf. auch begleitende Ultraschallmessungen. Diese Bilder und Messungen dienen dazu, zu beurteilen, ob die Hohlnadel richtig gesetzt ist. Die Vorbereitung und die Durchführung der Punktion ist der zeitraubendste Verfahrensschritt der PCNL und dauert bis zu 60 Minuten. Er umfasst die Vorbereitung für die Fluoroskopie, die Positionierung des C-Arms durch einen technischen Assistenten und die Aufnahme mehrerer Röntgenbilder, um das richtige Bild der betroffenen Anatomie aufzunehmen und zu identifizieren. Außerdem muss der C-Arm um 45 bis 90 Grad in einem Polarwinkel gedreht werden, um die Position der Niere in der dritten Dimension zu erfassen. Diese Information wird verwendet, um die Hohlnadel für den Zugang zum Nierensammelsystem, also dem Nierenbecken, zu positionieren und auszurichten.These punctures are usually accompanied by fluoroscopy. The fluoroscopy is carried out by means of an X-ray device, which can be rotated and tilted on a C-arm and can take live X-rays in different projection planes. A contrast medium is used to image the kidney pelvis, as well as accompanying ultrasound measurements, if necessary. These images and measurements are used to assess whether the hollow needle is correctly placed. The preparation and execution of the puncture is the most time-consuming process step of the PCNL and takes up to 60 minutes. It includes preparation for fluoroscopy, positioning of the C-arm by a technical assistant, and taking multiple X-rays to take and identify the correct image of the anatomy involved. In addition, the C-arm must be rotated 45 to 90 degrees in a polar angle to detect the position of the kidney in the third dimension. This information is used to position and align the hollow needle for access to the kidney collection system, i.e. the kidney pelvis.

Da mehrere Röntgenbilder nötig sind, um während der Operation Informationen bezüglich der Positionen der Niere zu gewinnen, ist die für die Fluoroskopie (Röntgenaufnahme) verwendete Zeit relativ hoch, im Durchschnitt etwa 240 Sekunden. Dies bringt eine hohe Strahlenbelastung mit sich. Es ist daher gewünscht, diese Strahlenbelastung für den Patienten und das die Operation ausführende Personal zu reduzieren.Since several x-rays are needed to obtain information regarding the positions of the kidneys during the operation, the time used for fluoroscopy (x-ray) is relatively long, on average around 240 seconds. This entails high radiation exposure. It is therefore desirable to reduce this radiation exposure for the patient and the personnel performing the operation.

Eine weitere Komplikation kann daraus erwachsen, wenn die Punktion nicht ausreichend zielgerichtet erfolgt. Dies kann zu einer Verletzung benachbarter Organe und des Pleuraraums sowie zu Blutungen führen.A further complication can arise if the puncture is not sufficiently targeted. This can result in injury to neighboring organs and the pleural space, as well as bleeding.

Die der Erfindung zugrundeliegende Aufgabe besteht demgegenüber darin, Risiken für den Patienten zu verringern.In contrast, the object on which the invention is based is to reduce risks for the patient.

Diese Aufgabe wird durch ein Verfahren zur operationsunterstützenden Visualisierung für einen Eingriff an einem Patienten gelöst, insbesondere zur visuellen Unterstützung einer perkutanen Nephrolithotomie, umfassend die folgenden Verfahrensschritte:

  1. a) Erstellen eines 3-dimensionalen Musters von wenigstens drei radiopaken Markern durch Platzieren der radiopaken Marker auf der Hautoberfläche eines für die Operation vorzubereitenden Patienten an mehreren Stellen im Bereich eines geplanten Zugangs zu einem zu operierenden Organ,
  2. b) Erstellen von 3-dimensionalen Referenzdaten mittels eines oder mehrerer bildgebender Scans des zu operierenden Bereichs mit den radiopaken Markern,
  3. c) Erstellen, Ergänzen oder Abgleichen eines virtuellen 3-dimensionalen Modells des Gewebes, insbesondere eines zu operierenden Organs, des Patienten im zu operierenden Bereich, mit den Positionen der radiopaken Marker,
  4. d) Bestimmen von räumlicher Positionierung und Orientierung eines Einführkanals für ein chirurgisches Instrument, insbesondere eine Hohlnadel oder ein Endoskop, am virtuellen 3-dimensionalen Modell,
  5. e) Erfassen momentaner Positionen der radiopaken Marker am Patienten mittels einer AR-Brille und Abgleich der erfassten Positionen mit den Positionen der radiopaken Marker im virtuellen 3-dimensionalen Modell,
  6. f) Berechnung einer momentanen Lage und Orientierung des Einführkanals relativ zur AR-Brille anhand des Abgleichs aus Verfahrensschritt e) mit den erfassten momentanen Positionen der radiopaken Marker und
  7. g) Darstellen einer lagerichtigen Repräsentation des Einführkanals und/oder einer Verlängerung des Einführkanals außerhalb des Körpers des Patienten in einer Überlagerung visueller Informationen in der AR-Brille.
This task is solved by a method for the visualization of surgery for an intervention on a patient, in particular for the visual support of a percutaneous nephrolithotomy, comprising the following method steps:
  1. a) creating a 3-dimensional pattern of at least three radiopaque markers by placing the radiopaque markers on the skin surface of a patient to be prepared for the operation at several locations in the area of a planned access to an organ to be operated on,
  2. b) Creation of 3-dimensional reference data by means of one or more imaging scans of the area to be operated with the radiopaque markers,
  3. c) creating, supplementing or comparing a virtual 3-dimensional model of the tissue, in particular an organ to be operated on, of the patient in the area to be operated on, with the positions of the radiopaque markers,
  4. d) determining the spatial positioning and orientation of an insertion channel for a surgical instrument, in particular a hollow needle or an endoscope, on the virtual 3-dimensional model,
  5. e) Acquisition of current positions of the radiopaque markers on the patient using AR glasses and comparison of the acquired positions with the positions of the radiopaque markers in the virtual 3-dimensional model,
  6. f) calculation of a current position and orientation of the insertion channel relative to the AR glasses on the basis of the comparison from method step e) with the recorded current positions of the radio-opaque markers and
  7. g) Representing a positionally correct representation of the insertion channel and / or an extension of the insertion channel outside the patient's body in a superimposition of visual information in the AR glasses.

Die Sicherheit des Patienten wird erhöht und die Belastung von Patient und operierendem Personal durch ionisierende Strahlung verringert, indem der Eingriff durch ein bildgebendes Verfahren, in welchem ein virtuelles 3D-Modell des zu operierenden Bereichs des Körpers erstellt wird, unterstützt wird. Dies ermöglicht es, die Positionierung der Hohlnadel bzw. des Instruments zu verbessern und abzusichern und den allgemeinen Bedarf an begleitender Live-Fluoroskopie, welche zu einer hohen Strahlenbelastung führt, zu senken. The patient's safety is increased and the exposure of the patient and operating personnel to ionizing radiation is reduced by the intervention being supported by an imaging method in which a virtual 3D model of the region of the body to be operated on is created. This makes it possible to improve and secure the positioning of the hollow needle or the instrument and to reduce the general need for accompanying live fluoroscopy, which leads to high radiation exposure.

Hierzu wird zunächst ein virtuelles 3-dimensionales Modell auf der Grundlage eines bildgebenden Verfahrens, beispielsweise eines CT-Scans oder auch einer Mehrzahl von Röntgen-Scans aus verschiedenen Richtungen und Perspektiven, erstellt, ergänzt oder abgeglichen, welches als Grundlage für die Bestimmung eines geeigneten Punktions- bzw. Einführkanals dient. Unter Verwendung einer AR-Brille (Augmented Reality) wird dem operierenden Arzt dann eine Überlagerung des Modells oder zumindest einer Repräsentation des Einführkanals angezeigt, die lagerichtig auf das vom operierenden Arzt oder einer Kamera der AR-Brille wahrgenommene Bild überlagert wird. Der Arzt sieht somit nicht nur den Patienten vor sich, sondern auch eine Überlagerung des Einführkanals und ggf. des zu durchstoßenden Gewebes und/oder des zu operierenden Organs sowie ggf. weiterer Organe. AR-Brillen haben zu diesem Zweck eine Lagesensorik sowie eigene stereoskopische Aufnahmevorrichtungen, welche es ermöglichen, die relative Lage der AR-Brille relativ zum erfassten Objekt, in diesem Fall den Patienten, zu bestimmen.For this purpose, a virtual 3-dimensional model is first created, supplemented or compared on the basis of an imaging method, for example a CT scan or a plurality of X-ray scans from different directions and perspectives, which serves as the basis for determining a suitable puncture - or insertion channel is used. Using AR glasses (augmented reality), the surgeon is then shown an overlay of the model or at least a representation of the insertion channel, which is superimposed in the correct position on the image perceived by the surgeon or a camera of the AR glasses. The doctor therefore not only sees the patient in front of him, but also a superimposition of the insertion channel and, if applicable, the tissue to be pierced and / or the organ to be operated on and any other organs. For this purpose, AR glasses have position sensors and their own stereoscopic recording devices, which make it possible to determine the relative position of the AR glasses relative to the detected object, in this case the patient.

Um ein gemeinsames Koordinatensystem als Referenz für die verschiedenen Perspektiven zu definieren, werden dem Patienten vor der Operation und vor Beginn der CT- oder Röntgen-Scans radiopake Marker auf die Hautoberfläche im Bereich der geplanten Einstichstelle aufgesetzt, die auch während der Operation an den einmal angesetzten Positionen auf der Hautoberfläche verbleiben. Die radiopaken Marker sind strahlenundurchlässig (radio-opak) und werden sowohl in CT-Scans als auch in Röntgen-Scans deutlich kontrastierend abgebildet. Das virtuelle 3D-Modell enthält somit neben den räumlichen Informationen über das Gewebe des Patienten im Bereich des Einführkanals auch die Positionsinformationen der Marker und, für die Tiefeninformation, ggf. die Lage eines Nierensteins, welcher sich ebenfalls kontrastierend in den Aufnahmen abhebt.In order to define a common coordinate system as a reference for the different perspectives, radiopaque markers are placed on the skin surface in the area of the planned puncture site before the operation and before the start of the CT or X-ray scans Positions remain on the skin surface. The radiopaque markers are radio-opaque and are clearly contrasted in both CT scans and X-ray scans. The virtual 3D model thus contains, in addition to the spatial information about the patient's tissue in the area of the insertion channel, also the position information of the markers and, for the depth information, possibly the position of a kidney stone, which is also contrasting in the images.

In einem Aspekt der Erfindung wird vor dem Erstellen des 3-dimensionalen Musters von wenigstens drei radiopaken Markern in Schritt a) ein virtuelles 3-dimensionales Modell des Gewebes, insbesondere eines zu operierenden Organs, des Patienten im zu operierenden Bereich, erstellt, welches im Schritt c) um die Positionen der radiopaken Marker ergänzt wird oder mit welchem die Positionen der radiopaken Marker abgeglichen und/oder registriert werden.In one aspect of the invention, before creating the 3-dimensional pattern of at least three radiopaque markers in step a), a virtual 3-dimensional model of the tissue, in particular of an organ to be operated on, of the patient in the area to be operated on, which is created in the step c) the positions of the radiopaque markers are supplemented or with which the positions of the radiopaque markers are compared and / or registered.

Die Erstellung des virtuellen Modells auf der Grundlage von CT-Scans oder Röntgenscans kann im Rahmen der Erfindung grundsätzlich mit oder ohne vorherige Platzierung der radiopaken Marker erfolgen. Eine vorherige Platzierung, die in der Merkmalsalternative des Schritts c) enthalten ist, dass das virtuelle Modell mit den Positionen der radiopaken Marker erstellt wird, erlaubt es, das virtuelle Modell mit den Positionen der Marker in einem Zug zu bestimmen, so dass eine unmittelbare Lagebeziehung der Marker zu dem Gewebe bzw. den Organen im Modell besteht und nur ein Scan notwendig ist.Within the scope of the invention, the creation of the virtual model on the basis of CT scans or X-ray scans can in principle take place with or without the radiopaque markers being placed beforehand. A previous placement, which is contained in the feature alternative of step c), that the virtual model is created with the positions of the radiopaque markers, allows the virtual model to be determined with the positions of the markers in one go, so that an immediate positional relationship the marker for the tissue or organs in the model exists and only a scan is necessary.

Bei einer nachträglichen Aufbringung der radiopaken Marker nach der Erstellung des virtuellen Modells ist ein weiter Scan, beispielsweise eine Fluoroskopie oder ein CT- oder Röntgen-Scan, notwendig, der es erlaubt, die Positionen der radiopaken Marker mit dem vorhandenen virtuellen Modell in Beziehung zu setzen. Das Modell wird entweder um die Positionen der radiopaken Marker ergänzt, oder es wird eine feste Beziehung zwischen Modell und Markerpositionen registriert, also ein Abgleich vorgenommen. Dies hat den Vorteil, dass damit eventuelle Verschiebungen der Anatomie zwischen dem Zeitpunkt des Scans und der Operation sehr gering gehalten werden können, während der zeitaufwändigere Schritt der Erstellung des virtuellen Modells schon vorher stattgefunden hat. Dies erhöht die Sicherheit des Verfahrens.If the radiopaque markers are applied after the virtual model has been created, a further scan, for example a fluoroscopy or a CT or X-ray scan, is necessary, which allows the positions of the radiopaque markers to be related to the existing virtual model . The model is either supplemented with the positions of the radio-opaque markers, or a fixed relationship between the model and marker positions is registered, ie a comparison is made. This has the advantage that any shifts in the anatomy between the time of the scan and the operation can be kept very small, while the more time-consuming step of creating the virtual model has already taken place beforehand. This increases the security of the process.

Da die AR-Brille ebenfalls über eine Kamera verfügt, erfasst auch sie die optisch auffälligen radiopaken Marker auf der Hautoberfläche des Patienten. Es kann daher abgeglichen werden, wo sich die AR-Brille in Bezug auf das virtuelle 3D-Modell befindet und wie somit das 3D-Modell und der Einführkanal abzubilden sind. Hierbei handelt es sich um bekannte 3-dimensionale Transformationen, also Translationen und Rotationen, für die in der Informationstechnologie viele Software- und Hardware-Lösungen existieren.Since the AR glasses also have a camera, they also record the optically striking radiopaque markers on the patient's skin surface. It can therefore be compared where the AR glasses are in relation to the virtual 3D model and how the 3D model and the insertion channel are to be represented. These are known 3-dimensional transformations, i.e. translations and rotations, for which there are many software and hardware solutions in information technology.

Während des Ansetzens und des Einführens der Nadel wird dem Operateur in der AR-Brille, die von dem Operateur getragen wird, der Einführkanal angezeigt. Dies ist vergleichbar mit der Anzeige einer Einflugschneise oder eines Einflugkorridors für einen Flugzeug-Piloten und unterstützt den Arzt dabei, die Hohlnadel korrekt einzuführen und somit weitere Schädigungen des Patienten zu vermeiden.While the needle is being inserted and inserted, the insertion channel is displayed to the surgeon in the AR glasses worn by the surgeon. This is comparable to the display of an entry lane or an entry corridor for an aircraft pilot and supports the doctor in correctly inserting the hollow needle and thus avoiding further damage to the patient.

Vorteilhafterweise wird oder werden der Einführkanal, und insbesondere eine Einstichstelle, visuell hervorgehoben, insbesondere eingerahmt oder farblich markiert. Diese Hervorhebung ermöglicht es dem behandelnden Arzt zu überprüfen, dass seine reale Hohlnadel richtig gesetzt ist. Da die AR-Brille Lageveränderungen erfasst, wird die Anzeige des Einführkanals entsprechend in der Anzeige mitgeführt. Der Arzt kann so kontrollieren, ob die Hohlnadel auch in den verschiedenen Perspektiven korrekt mit dem geplanten Einführkanal übereinstimmt.Advantageously, the insertion channel, and in particular a puncture site, is visually highlighted, in particular framed or marked in color. This highlighting makes it possible to check the attending doctor that his real hollow needle is correctly inserted. Since the AR glasses detect changes in position, the display of the insertion channel is accordingly carried along in the display. In this way, the doctor can check whether the hollow needle also corresponds correctly with the planned insertion channel in the different perspectives.

Vorteilhafterweise werden während eines operativen Eingriffs die Verfahrensschritte e), f) und g) fortwährend durchgeführt. Dies bedeutet, dass während der Operation fortlaufend geprüft wird, an welcher Position sich die AR-Brille in Bezug auf den Patienten, maßgeblich in Bezug auf die radiopaken Marker, befindet, so dass die Anzeige, die die AR-Brille dem Arzt anbietet, zu jedem Zeitpunkt die lagerichtige perspektivische Darstellung des Einführkanals sowie ggf. des umliegenden Gewebes zeigt.Process steps e), f) and g) are advantageously carried out continuously during an operative intervention. This means that during the operation it is continuously checked at which position the AR glasses are in relation to the patient, mainly in relation to the radiopaque markers, so that the display that the AR glasses offers to the doctor is closed shows the correct perspective view of the insertion channel as well as the surrounding tissue at any time.

Als bildgebende Scans in Verfahrensschritt b) wird vorzugsweise ein CT-Scan durchgeführt und/oder es werden ein oder mehrere Röntgen-Scans in mehreren Ebenen durchgeführt, aus denen eine räumliche Verteilung des Gewebes extrahiert wird.A CT scan is preferably carried out as imaging scans in method step b) and / or one or more X-ray scans are carried out in several planes, from which a spatial distribution of the tissue is extracted.

Vorteilhafterweise wird im Verfahrensschritt f) zusätzlich eine momentane Lage und Orientierung von Gewebestrukturen oder dem zu operierenden Organ aus dem virtuellen 3-dimensionalen Modell berechnet und die Gewebestrukturen oder das zu operierende Organ aus dem 3-dimensionalen Modell im Verfahrensschritt g) in einer lagerichtigen Repräsentation in der AR-Brille dargestellt. Hierbei umfasst der Begriff „Gewebe“ bzw. „Gewebestruktur“ auch die Organe des Patienten. Dies gibt dem Arzt die Möglichkeit, neben der reinen Lage und Ausrichtung des Einführkanals auch abzuschätzen, wo das umliegende Gewebe und wo das zu behandelnde Organ liegt, um in den verschiedenen Phasen der Einführung der Hohlnadel in das Gewebe besser abschätzen zu können, wie nah benachbarte Organe sind und somit so wenig schädlich wie möglich beispielsweise auf Bewegungen des Patienten reagieren zu können.Advantageously, in step f), a current position and orientation of tissue structures or the organ to be operated is additionally calculated from the virtual 3-dimensional model and the tissue structures or organ to be operated from the 3-dimensional model in step g) in a positionally correct representation the AR glasses. The term “tissue” or “tissue structure” also includes the patient's organs. This gives the doctor the opportunity, in addition to the pure position and orientation of the insertion channel, to also estimate where the surrounding tissue and where the organ to be treated is located, in order to be able to better estimate how closely neighboring tissue is in the various phases of insertion of the hollow needle into the tissue Organs are and therefore as little harmful as possible, for example being able to react to patient movements.

Während des operativen Eingriffs werden vorteilhafterweise laufende Bilder einer Live-Fluoroskopie, welche auch die radiopaken Marker erfasst, anhand der in der Live-Fluoroskopie erfassten Positionen der radiopaken Marker in das räumliche System des virtuellen 3-dimensionalen Modells umgerechnet und in der AR-Brille lagerichtig dargestellt. Dieser Teil des Verfahrens wird auch bislang bereits bei der Einführung der Hohlnadel durchgeführt und ist mit einer Strahlenbelastung für den Patienten und das operierende Personal verbunden. Da allerdings die Einführung der Hohlnadel erfindungsgemäß visuell unterstützt wird, dient die Live-Fluoroskopie vor allem noch zur Kontrolle und kann daher wesentlich schneller und somit mit weniger Strahlenbelastung als zuvor erfolgen. Es reicht in diesem Fall auch aus, wenn die Live-Fluoroskopie in einer Ebene durchgeführt wird, welche den Einführkanal vollständig umfasst, mit anderen Worten, dass der Einführkanal in der abgebildeten Ebene liegt und nicht perspektivisch verkürzt dargestellt ist. Die Ebene kann so gewählt sein, dass besonders gut erkennbar ist, an welchen kritischen Stellen die Hohlnadel bei Abweichung vom angezeigten Einführkanal besonders großen Schaden anrichten würde.During the surgical intervention, live images of a live fluoroscopy, which also records the radiopaque markers, are advantageously converted into the spatial system of the virtual 3-dimensional model based on the positions of the radiopaque markers recorded in the live fluoroscopy and are correctly positioned in the AR glasses shown. This part of the procedure has already been carried out when the hollow needle was introduced and is associated with radiation exposure for the patient and the operating personnel. However, since the introduction of the hollow needle is visually supported according to the invention, live fluoroscopy is primarily used for control purposes and can therefore be carried out much faster and therefore with less radiation exposure than before. In this case, it is also sufficient if the live fluoroscopy is carried out in a plane which completely encompasses the insertion channel, in other words that the insertion channel lies in the plane shown and is not shown in a shortened perspective. The level can be selected in such a way that it is particularly easy to see at which critical points the hollow needle would cause particularly great damage if it deviates from the indicated insertion channel.

Dazu werden vorteilhafterweise die Scans der Live-Fluoroskopie in einer Ebene des Einführkanals erzeugt.For this purpose, the scans of the live fluoroscopy are advantageously generated in one plane of the insertion channel.

In einer Ausführungsform des Verfahrens werden im Verfahrensschritt f) bei der Berechnung der momentanen Lage und Orientierung des Einführkanals und gegebenenfalls zusätzlich der Gewebestrukturen oder des zu operierenden Organs, Verformungen des Gewebes einberechnet, die aufgrund von Lageänderungen des Patienten gegenüber einer Lage des Patienten bei der Aufnahme der Referenzdaten in Verfahrensschritt b) oder durch natürliche Bewegungen des Patienten auftreten, wobei die Berechnung von räumlicher Positionierung und Orientierung des Einführkanals an die Verformungen angepasst wird. Damit kann berücksichtigt werden, dass beispielsweise die Position des Patienten in einem CT-Scanner eine andere war als auf dem Operationstisch, oder es können natürliche Bewegungen des Patienten mit einberechnet werden, beispielsweise die Atmung.In one embodiment of the method, in method step f), when calculating the current position and orientation of the insertion channel and, if appropriate, additionally the tissue structures or the organ to be operated on, deformations of the tissue are taken into account, which are due to changes in the position of the patient compared to a position of the patient during the admission of the reference data in method step b) or as a result of natural movements of the patient, the calculation of the spatial positioning and orientation of the insertion channel being adapted to the deformations. It can thus be taken into account that, for example, the position of the patient in a CT scanner was different from that on the operating table, or natural movements of the patient, for example breathing, can be taken into account.

Dabei werden die Lageänderungen des Patienten vorzugsweise anhand der in der Live-Fluoroskopie erfassten Positionen der radiopaken Marker erfasst. Diese Vorgehensweise erlaubt anhand von Positionsänderungen der radiopaken Marker eine genaue Erfassung von Lageänderungen, welche sich auf die Lagebeziehungen der Organe und des geplanten Einführkanals auswirken können. Entsprechende Algorithmen, welche Bewegungen der internen Organe, beispielsweise in Antwort auf das Atmen oder andere Bewegungen auftreten, sind bekannt und können in die Berechnung des virtuellen Modells implementiert werden.The patient's changes in position are preferably recorded using the positions of the radiopaque markers recorded in live fluoroscopy. Based on changes in the position of the radio-opaque markers, this procedure allows an accurate detection of changes in position, which can affect the positional relationships of the organs and the planned insertion channel. Corresponding algorithms, which movements of the internal organs occur, for example in response to breathing or other movements, are known and can be implemented in the calculation of the virtual model.

In einem Aspekt der Erfindung wird ein akustisches, optisches oder taktiles Warnsignal ausgegeben, wenn das chirurgische Instrument beim Einführen in das Gewebe des Patienten vom Einführkanal abweicht. Dies hilft, Verletzungen des Patienten zu vermeiden.In one aspect of the invention, an acoustic, optical or tactile warning signal is emitted if the surgical instrument deviates from the insertion channel during insertion into the patient's tissue. This helps to avoid injury to the patient.

Gemäß einem weiteren Aspekt der Erfindung wird dem Operateur für die vorbereitende Berechnung des Einführkanals am virtuellen 3-dimensionalen Modell ein Einfluss gewährt, wobei insbesondere bei einer perkutanen Nephrolithotomie auszuwählen ist, durch welchen Nierenkelch der zu operierenden Niere der Einführkanal verlaufen soll. Dazu kann dem Operateur das errechnete virtuelle Modell angezeigt werden, und dieser kann entweder selbst den virtuellen Einführkanal positionieren, oder das Programm sucht einen geeigneten Einführkanal, den der Operateur noch seinen Erfahrungen nach verschieben kann, oder eine Auswahl aus verschiedenen möglichen Einführkanälen, was besonders bei der perkutanen Nephrolithotomie sinnvoll sein kann, da möglicherweise die Auswahl zwischen dem Zugang durch verschiedene Nierenkelche gegeben sein kann, von denen einer auszuwählen ist.According to a further aspect of the invention, the surgeon is granted an influence for the preparatory calculation of the insertion channel on the virtual 3-dimensional model, in particular in the case of a percutaneous nephrolithotomy, through which kidney cup the patient to be operated must be selected Kidney the insertion channel should run. For this purpose, the calculated virtual model can be displayed to the surgeon, and the surgeon can either position the virtual insertion channel themselves, or the program searches for a suitable insertion channel, which the surgeon can still move according to his experience, or a selection from various possible insertion channels, which is particularly important for Percutaneous nephrolithotomy may be useful, since there may be a choice of access through different kidney cups, one of which must be selected.

Die der Erfindung zugrundeliegende Aufgabe wird auch durch ein System zur operationsunterstützenden Visualisierung für einen Eingriff an einem Patienten, insbesondere zur visuellen Unterstützung einer perkutanen Nephrolithotomie, gelöst, umfassend wenigstens einen ersten bildgebenden Scanner, insbesondere CT-Scanner oder Röntgen-Scanner, wenigstens drei radiopake Marker, eine Datenverarbeitungseinrichtung, eine AR-Brille und ein fluoroskopisches Bildgebungssystem mit einem C-Arm, wobei die radiopaken Marker ausgebildet und eingerichtet sind, auf der Hautoberfläche eines Patienten befestigt zu werden, und die Datenverarbeitungseinrichtung ausgebildet und eingerichtet ist, einen oder mehrere der Verfahrensschritte des hierüber beschriebenen erfindungsgemäßen Verfahrens und seinen verschiedenen Aspekten durchzuführen. Damit verwirklicht das System die hierüber zu dem erfindungsgemäßen Verfahren genannten Vorteile, Merkmale und Eigenschaften.The object on which the invention is based is also achieved by a system for operation-supporting visualization for an intervention on a patient, in particular for the visual support of a percutaneous nephrolithotomy, comprising at least one first imaging scanner, in particular CT scanner or X-ray scanner, at least three radiopaque markers , a data processing device, AR glasses and a fluoroscopic imaging system with a C-arm, wherein the radiopaque markers are designed and set up to be attached to the skin surface of a patient, and the data processing device is designed and set up one or more of the method steps of the perform the inventive method described above and its various aspects. The system thus realizes the advantages, features and properties mentioned for the method according to the invention.

In einem weiteren Aspekt umfasst das System ein chirurgisches Instrument, insbesondere eine Hohlnadel oder ein Endoskop, welches insbesondere eine spezifische radiopake Struktur aufweist, welche sich auf fluoroskopischen Live-Aufnahmen abhebt. Eine solche spezifische radiopake Struktur kann eine genaue Lokalisierung der Spitze der Hohlnadel begünstigen, was insbesondere sinnvoll ist bei Operationen in komplizierten und engen Gewebestrukturen, aber auch unter anderen Bedingungen eine gute Abschätzung gestattet, ob die Positionierung und die Einhaltung des Einführkanals gewährleistet sind.In a further aspect, the system comprises a surgical instrument, in particular a hollow needle or an endoscope, which in particular has a specific radiopaque structure which stands out on fluoroscopic live recordings. Such a specific radiopaque structure can favor an exact localization of the tip of the hollow needle, which is particularly useful during operations in complicated and narrow tissue structures, but also under other conditions allows a good estimate of whether the positioning and compliance with the insertion channel are guaranteed.

Die der Erfindung zugrundeliegende Aufgabe wird außerdem durch ein Computerprogrammprodukt, insbesondere Computerprogramm mit Programmcodemitteln, gelöst, die bei Ausführung auf einer Datenverarbeitungseinrichtung eines zuvor beschriebenen erfindungsgemäßen Systems einen oder mehrere Verfahrensschritte des zuvor beschriebenen erfindungsgemäßen Verfahrens und seinen verschiedenen Aspekten ausführen. Auch hierdurch sind die gleichen Eigenschaften, Merkmale und Vorteile realisiert wie bei dem zuvor beschriebenen erfindungsgemäßen Verfahren und System.The object on which the invention is based is also achieved by a computer program product, in particular a computer program with program code means, which, when executed on a data processing device of a system according to the invention described above, carry out one or more method steps of the method described above and its various aspects. This also realizes the same properties, features and advantages as in the method and system according to the invention described above.

Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.Further features of the invention will become apparent from the description of embodiments according to the invention together with the claims and the accompanying drawings. Embodiments according to the invention can fulfill individual features or a combination of several features.

Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:

  • 1 eine schematische Darstellung der Einführung einer Hohlnadel in eine Niere,
  • 2 ein Röntgen-Kontrastbild einer Niere,
  • 3 eine Querschnittsdarstellung durch einen menschlichen Oberkörper,
  • 4 eine Virtualisierung eines 3D-Modells von inneren Organen,
  • 5 die Sicht eines Operateurs durch eine AR-Brille mit erfindungsgemäßer visueller Unterstützung und
  • 6 eine schematische Darstellung eines erfindungsgemäßen Systems.
The invention is described below without restricting the general inventive concept on the basis of exemplary embodiments with reference to the drawings, reference being expressly made to the drawings with regard to all details according to the invention not explained in more detail in the text. Show it:
  • 1 1 shows a schematic representation of the introduction of a hollow needle into a kidney,
  • 2nd an X-ray contrast image of a kidney,
  • 3rd a cross-sectional view through a human torso,
  • 4th a virtualization of a 3D model of internal organs,
  • 5 the view of an operator through AR glasses with visual support according to the invention and
  • 6 is a schematic representation of a system according to the invention.

In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.In the drawings, the same or similar elements and / or parts are provided with the same reference numerals, so that a renewed presentation is not given.

1 zeigt im schematischen Querschnitt einen Teil eines menschlichen Körpers im horizontalen Schnitt durch eine Niere 30. Erkennbar ist die Hautoberfläche 20 des Rückens, das innere Gewebe 22, ein Rückenwirbel 24 sowie Nierenrinde 31, Nierenbecken 32, Nierenkelch 34 und Nierenparenchym 36 der Niere 30. Eine Hohlnadel 10 zur Vorbereitung einer PCNL zur Entfernung eines nicht dargestellten Nierensteins ist durch die Hautoberfläche 20 und das dazwischenliegende Gewebe 22 in die Niere 30 eingeschoben und gelangt über einen Nierenkelch 34 in das Nierenbecken 32, der ggf. einen zu entfernenden Nierenstein enthält (nicht dargestellt). 1 shows in schematic cross section a part of a human body in horizontal section through a kidney 30th . The surface of the skin can be seen 20th of the back, the inner tissue 22 , a vertebra 24th as well as kidney cortex 31 , Kidney pelvis 32 , Kidney cup 34 and renal parenchyma 36 the kidney 30th . A hollow needle 10th To prepare a PCNL for removing a kidney stone, not shown, is through the skin surface 20th and the tissue in between 22 in the kidney 30th inserted and passes through a kidney cup 34 into the kidney pelvis 32 , which may contain a kidney stone to be removed (not shown).

2 zeigt eine Röntgen-Kontrastaufnahme einer Niere. Im linken Bereich sind Wirbel der Wirbelsäule erkennbar, während zentral das mit einem Röntgen-Kontrastmittel gefüllte Nierenbecken 32 dargestellt ist. Erkennbar sind die von dem Nierenbecken 32 abzweigenden Nierenkelche, die ebenfalls mit Röntgen-Kontrastmittel gefüllt sind. Von der rechten Seite des Bildes ist eine Hohlnadel 10 erkennbar, welche bis zum Nierenbecken 32 eingeführt ist. 2nd shows an X-ray contrast image of a kidney. Vertebrae of the spine are visible in the left area, while the renal pelvis filled with an X-ray contrast medium is central 32 is shown. You can see those from the kidney pelvis 32 branching kidney cups, which are also filled with X-ray contrast media. From the right side of the picture is a hollow needle 10th recognizable which up to the kidney pelvis 32 is introduced.

3 zeigt in einem Querschnitt einen horizontalen Schnitt durch den Oberkörper eines Menschen, und zwar auf der Höhe von Herz und Lunge. Neben einem Rückenwirbel 24 und dem Brustkorb 26 mit mehreren Wirbeln sind auf der Hautoberfläche 20 mehrere radiopake Marker 12 angebracht, die sich auch in dem zugrundeliegenden CT-Scan stark kontrastierend abheben und somit gut lokalisiert sind. Derartige CT-Scans, wahlweise auch Röntgen-Scans, werden erfindungsgemäß verwendet, um ein virtuelles 3-dimensionales Modell des Aufbaus des zu operierenden Gewebes zu erstellen, welches anschließend dem Operateur als Overlay in einer AR-Brille zur Verfügung gestellt wird. 3rd shows in a cross section a horizontal section through the upper body of a person, at the level of the heart and lungs. Next to a vertebra 24th and the rib cage 26 with multiple vertebrae are on the skin surface 20th several radiopaque markers 12 attached, which also contrast strongly in the underlying CT scan and are therefore well localized. Such CT scans, optionally also X-ray scans, are used according to the invention to create a virtual 3-dimensional model of the structure of the tissue to be operated on, which is then made available to the surgeon as an overlay in AR glasses.

In 4 ist eine Darstellung eines solchen virtuellen 3D-Modells gezeigt, wobei deutlich Organe und Blutgefäße im Inneren des Körpers erkennbar sind.In 4th A representation of such a virtual 3D model is shown, organs and blood vessels being clearly recognizable inside the body.

In 5 ist die Sicht eines mit einer AR-Brille bewehrten Operateurs gezeigt. Es handelt sich um eine Aufnahme der Kamera einer AR-Brille, welche die Perspektive des Operateurs einnimmt. Dem Bild ist in einem zentralen Ausschnitt 44 eine Darstellung des virtuellen Modells des Gewebes lagerichtig perspektivisch überlagert, so dass der Operateur einen Eindruck davon hat, in welchem räumlichen und organischen Zusammenhang die Punktion zu diesem Zeitpunkt erfolgt.In 5 the view of an surgeon armored with AR glasses is shown. It is a picture of the camera of AR glasses, which takes the perspective of the surgeon. The picture is in a central section 44 a representation of the virtual model of the tissue is superimposed in the correct perspective, so that the surgeon has an impression of the spatial and organic context in which the puncture takes place at this time.

Ebenso hervorgehoben ist mit umrahmenden Punkten der Einführkanal 14, in den die Hohlnadel 10 eingeführt wird.The insertion channel is also highlighted with framing points 14 into which the hollow needle 10th is introduced.

In 6 ist schematisch ein System 50 gemäß der Erfindung gezeigt, welches in diesem Fall einen CT-Scanner 52 als erste bildgebende Vorrichtung sowie einen Röntgen-Scanner 54 mit einem nicht dargestellten C-Arm aufweist, welcher während des Vorgangs des Einführens einer Hohlnadel 10 in den Patienten Aufnahmen des Körperinneren macht. Anstelle eines CT-Scanners 52 kann auch der Röntgen-Scanner 54 für die Aufgabe der ersten bzw. vorbereitenden Bildgebung zur Erstellung des virtuellen Modells 40 verwendet werden.In 6 is schematically a system 50 shown according to the invention, which in this case is a CT scanner 52 as the first imaging device and an X-ray scanner 54 with a C-arm, not shown, which during the process of inserting a hollow needle 10th takes pictures of the inside of the body in the patient. Instead of a CT scanner 52 can also use the X-ray scanner 54 for the task of the first or preparatory imaging to create the virtual model 40 be used.

Beide Scanner sind mit einer Datenverarbeitungseinrichtung 56 verbunden, welche ausgebildet und eingerichtet ist, die notwendigen Verfahrensschritte durchzuführen. Dazu zählt das Herstellen eines virtuellen 3-dimensionalen Modells 40 aus den vom CT-Scanner 52 erfassten Bilddaten, die Berechnung oder Bestimmung eines Einführkanals anhand des virtuellen 3-dimensionalen Modells 40, die Verarbeitung der vom Röntgen-Scanner 54 während der Operation aufgenommenen Daten sowie die Darstellung des Modells und ggf. der Daten des Röntgen-Scanners 54 in der AR-Brille 58. Zu diesem Zweck ist die AR-Brille 58 über eine drahtlose Verbindung mit der Datenverarbeitungseinrichtung 56 verbunden. Die AR-Brille 58 empfängt nicht nur die Bilddaten, die von der Datenverarbeitungseinrichtung 56 an die AR-Brille 58 übermittelt werden, sondern übermittelt auch Positionsdaten sowie Bilddaten aus der brilleneigenen Kamera an die Datenverarbeitungseinrichtung 56, welche diese Daten dazu verwendet, zu berechnen, welche Ansicht des virtuellen 3-dimensionalen Modells 40 in der AR-Brille 58 dargestellt werden muss.Both scanners are equipped with a data processing device 56 connected, which is trained and set up to carry out the necessary procedural steps. This includes the creation of a virtual 3-dimensional model 40 from those from the CT scanner 52 captured image data, the calculation or determination of an insertion channel using the virtual 3-dimensional model 40 processing by the x-ray scanner 54 Data recorded during the operation as well as the representation of the model and possibly the data of the X-ray scanner 54 in AR glasses 58 . For this purpose, the AR glasses 58 via a wireless connection to the data processing device 56 connected. The AR glasses 58 not only receives the image data from the data processing device 56 to the AR glasses 58 are transmitted, but also transmits position data and image data from the glasses own camera to the data processing device 56 which uses this data to calculate which view of the virtual 3-dimensional model 40 in AR glasses 58 must be represented.

Die Hohlnadel 10 verfügt in dem in 6 gezeigten Ausführungsbeispiel außerdem an ihrer distalen Spitze über eine radiopake Struktur 11, welche ein leicht identifizierbares Bildsignal in den Bilddaten vom Röntgen-Scanner 54 erzeugt, und damit den Fortschritt der Einführung der Hohlnadel 10 in den Patienten nachverfolgbar macht.The hollow needle 10th has in the 6 shown embodiment also at its distal tip via a radiopaque structure 11 which have an easily identifiable image signal in the image data from the X-ray scanner 54 generated, and thus the progress of the introduction of the hollow needle 10th traceable in the patient.

Ferner sind als Teil des Systems 50 drei radiopake Marker 12 dargestellt. Es können aber auch mehr radiopake Marker 12 vorhanden sein. Diese sind beispielsweise in einer von der Anmelderin vertriebenen Form ausgestattet, dass eine strahlenundurchlässige Kugel in einer Verpackung auf einem Pflaster oder Haftstreifen aufgebracht ist, welche für die Dauer der Vorbereitung und der Operation des Patienten auf die Hautoberfläche geklebt werden und somit bezüglich ihrer Positionierung fixiert werden. Die Marker können dabei auch optische Strukturen, beispielsweise konzentrische Kreise, Kreuze, etc., aufweisen, die in einer optischen Bildverarbeitung von Bildern, die von der Kamera der AR-Brille 58 aufgenommen werden, erkannt werden können, um die Position der radiopaken Marker 12 in den Bildern der AR-Brille 58 zu identifizieren, um somit eine Basis für den Abgleich mit dem virtuellen 3-dimensionalen Modell 40 zu schaffen. Dieser Abgleich bildet die Grundlage für die Berechnung der Ansicht, die dem operierenden Arzt mittels der AR-Brille angezeigt wird, so dass der Arzt durch die AR-Brille 58 eine Überlagerung auf der natürlichen Umgebung mit einem von der AR-Brille wiedergegebenen Bild erfährt. Diese „Augmentierung“ der Realität wird in dem vorliegenden Fall dazu benutzt, durch Visualisierung eines Einführkanals für die Hohlnadel bzw. ein Endoskop zu unterstützen.Furthermore, as part of the system 50 three radiopaque markers 12 shown. However, more radiopaque markers can also be used 12 to be available. These are equipped, for example, in a form sold by the applicant that a radiopaque ball is applied in a package on a plaster or adhesive strip, which are glued to the surface of the skin for the duration of the preparation and the operation of the patient and are thus fixed in terms of their positioning . The markers can also have optical structures, for example concentric circles, crosses, etc., which are used in an optical image processing of images by the camera of the AR glasses 58 can be recognized, the position of the radiopaque marker 12 in the pictures of the AR glasses 58 To identify a basis for the comparison with the virtual 3-dimensional model 40 to accomplish. This comparison forms the basis for the calculation of the view that is displayed to the operating doctor using the AR glasses, so that the doctor can see through the AR glasses 58 experiences an overlay on the natural environment with an image reproduced by the AR glasses. This “augmentation” of reality is used in the present case to support the visualization of an insertion channel for the hollow needle or an endoscope.

Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.All of the features mentioned, including those that can be seen in the drawings alone and also individual features that are disclosed in combination with other features, are considered to be essential to the invention, alone and in combination. Embodiments according to the invention can be fulfilled by individual features or a combination of several features. In the context of the invention, features that are labeled “in particular” or “preferably” are to be understood as optional features.

BezugszeichenlisteReference symbol list

1010th
HohlnadelHollow needle
1111
radiopake Strukturradiopaque structure
1212
radiopaker Markerradiopaque markers
1414
EinführkanalInsertion channel
2020th
HautoberflächeSkin surface
2222
Gewebetissue
2424th
RückenwirbelDorsal vertebrae
2626
BrustkorbRib cage
3030th
Nierekidney
3131
NierenrindeRenal cortex
3232
NierenbeckenRenal pelvis
3434
NierenkelchKidney cup
3636
NierenparenchymRenal parenchyma
4040
virtuelles 3-dimensionales Modellvirtual 3-dimensional model
4444
zentraler Ausschnittcentral neckline
5050
Systemsystem
5252
CT-ScannerCT scanner
5454
Röntgenscanner mit C-ArmX-ray scanner with C-arm
5656
DatenverarbeitungseinrichtungData processing equipment
5858
AR-BrilleAR glasses

Claims (15)

Verfahren zur operationsunterstützenden Visualisierung für einen Eingriff an einem Patienten, insbesondere zur visuellen Unterstützung einer perkutanen Nephrolithotomie, umfassend die folgenden Verfahrensschritte: a) Erstellen eines 3-dimensionalen Musters von wenigstens drei radiopaken Markern (12) durch Platzieren der radiopaken Marker (12) auf der Hautoberfläche (20) eines für die Operation vorzubereitenden Patienten an mehreren Stellen im Bereich eines geplanten Zugangs zu einem zu operierenden Organ (30), b) Erstellen von 3-dimensionalen Referenzdaten mittels eines oder mehrerer bildgebender Scans des zu operierenden Bereichs mit den radiopaken Markern (12), c) Erstellen, Ergänzen oder Abgleichen eines virtuellen 3-dimensionalen Modells (40) des Gewebes (22), insbesondere eines zu operierenden Organs (30), des Patienten im zu operierenden Bereich, mit den Positionen der radiopaken Marker (12), d) Bestimmen von räumlicher Positionierung und Orientierung eines Einführkanals (14) für ein chirurgisches Instrument, insbesondere eine Hohlnadel (10) oder ein Endoskop, am virtuellen 3-dimensionalen Modell (40), e) Erfassen momentaner Positionen der radiopaken Marker (12) am Patienten mittels einer AR-Brille (58) und Abgleich der erfassten Positionen mit den Positionen der radiopaken Marker (12) im virtuellen 3-dimensionalen Modell (40), f) Berechnung einer momentanen Lage und Orientierung des Einführkanals (14) relativ zur AR-Brille (58) anhand des Abgleichs aus Verfahrensschritt e) mit den erfassten momentanen Positionen der radiopaken Marker (12) und g) Darstellen einer lagerichtigen Repräsentation des Einführkanals (14) und/oder einer Verlängerung des Einführkanals (14) außerhalb des Körpers des Patienten in einer Überlagerung visueller Informationen in der AR-Brille (58).Process for visualization to support surgery on a patient, in particular for visual support of a percutaneous nephrolithotomy, comprising the following process steps: a) creating a 3-dimensional pattern of at least three radiopaque markers (12) by placing the radiopaque markers (12) on the skin surface (20) of a patient to be prepared for the operation at several locations in the area of a planned access to an organ to be operated on ( 30), b) creating 3-dimensional reference data by means of one or more imaging scans of the area to be operated with the radiopaque markers (12), c) creating, supplementing or comparing a virtual 3-dimensional model (40) of the tissue (22), in particular an organ (30) to be operated on, of the patient in the area to be operated on, with the positions of the radiopaque markers (12), d) determining the spatial positioning and orientation of an insertion channel (14) for a surgical instrument, in particular a hollow needle (10) or an endoscope, on the virtual 3-dimensional model (40), e) detecting current positions of the radiopaque markers (12) on the patient using AR glasses (58) and comparing the detected positions with the positions of the radiopaque markers (12) in the virtual 3-dimensional model (40), f) calculation of a current position and orientation of the insertion channel (14) relative to the AR glasses (58) on the basis of the comparison from method step e) with the detected current positions of the radio-opaque markers (12) and g) displaying a positionally correct representation of the insertion channel (14) and / or an extension of the insertion channel (14) outside the patient's body in a superimposition of visual information in the AR glasses (58). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass vor dem Erstellen des 3-dimensionalen Musters von wenigstens drei radiopaken Markern in Schritt a) ein virtuelles 3-dimensionales Modell (40) des Gewebes (22), insbesondere eines zu operierenden Organs, des Patienten im zu operierenden Bereich, erstellt wird, welches im Schritt c) um die Positionen der radiopaken Marker ergänzt wird oder mit welchem die Positionen der radiopaken Marker abgeglichen und/oder registriert werden.Procedure according to Claim 1 , characterized in that before creating the 3-dimensional pattern of at least three radiopaque markers in step a) a virtual 3-dimensional model (40) of the tissue (22), in particular of an organ to be operated, of the patient in the area to be operated on, is created, which is supplemented in step c) with the positions of the radiopaque markers or with which the positions of the radiopaque markers are compared and / or registered. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Einführkanal (14), und insbesondere eine Einstichstelle, visuell hervorgehoben wird oder werden, insbesondere eingerahmt oder farblich markiert wird oder werden.Procedure according to Claim 1 or 2nd , characterized in that the insertion channel (14), and in particular a puncture site, is or are visually highlighted, in particular framed or marked in color. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass während eines operativen Eingriffs die Verfahrensschritte e), f) und g) fortwährend durchgeführt werden.Procedure according to one of the Claims 1 to 3rd , characterized in that the process steps e), f) and g) are carried out continuously during an operative intervention. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass als bildgebende Scans in Verfahrensschritt b) ein CT-Scan durchgeführt wird und/oder ein oder mehrere Röntgen-Scans in mehreren Ebenen durchgeführt werden, aus denen eine räumliche Verteilung des Gewebes (22) extrahiert wird.Procedure according to one of the Claims 1 to 4th , characterized in that a CT scan is carried out as imaging scans in method step b) and / or one or more X-ray scans are carried out in several planes from which a spatial distribution of the tissue (22) is extracted. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass im Verfahrensschritt f) zusätzlich eine momentane Lage und Orientierung von Gewebestrukturen oder dem zu operierenden Organ (30) aus dem virtuellen 3-dimensionalen Modell (40) berechnet und die Gewebestrukturen oder das zu operierende Organ (30) aus dem 3-dimensionalen Modell (40) im Verfahrensschritt g) in einer lagerichtigen Repräsentation in der AR-Brille (58) dargestellt wird.Procedure according to one of the Claims 1 to 5 , characterized in that in method step f) additionally an instantaneous position and orientation of tissue structures or the organ (30) to be operated is calculated from the virtual 3-dimensional model (40) and the tissue structures or organ (30) to be operated is calculated from the 3rd -dimensional model (40) in method step g) is represented in the correct position in the AR glasses (58). Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass während des operativen Eingriffs laufende Bilder einer Live-Fluoroskopie, welche auch die radiopaken Marker (12) erfasst, anhand der in der Live-Fluoroskopie erfassten Positionen der radiopaken Marker (12) in das räumliche System des virtuellen 3-dimensionalen Modells (40) umgerechnet werden und in der AR-Brille (58) lagerichtig dargestellt werden.Procedure according to one of the Claims 1 to 6 , characterized in that running images of a live Fluoroscopy, which also detects the radiopaque markers (12), is converted into the spatial system of the virtual 3-dimensional model (40) based on the positions of the radiopaque markers (12) recorded in live fluoroscopy and in the AR glasses (58 ) are displayed in the correct position. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Scans der Live-Fluoroskopie in einer Ebene des Einführkanals (14) erzeugt werden.Procedure according to Claim 7 , characterized in that the scans of the live fluoroscopy are generated in one plane of the insertion channel (14). Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass im Verfahrensschritt f) bei der Berechnung der momentanen Lage und Orientierung des Einführkanals (14) und gegebenenfalls zusätzlich der Gewebestrukturen oder des zu operierenden Organs (30), Verformungen des Gewebes (22) einberechnet werden, die aufgrund von Lageänderungen des Patienten gegenüber einer Lage des Patienten bei der Aufnahme der Referenzdaten in Verfahrensschritt b) oder durch natürliche Bewegungen des Patienten auftreten, und die Berechnung von räumlicher Positionierung und Orientierung des Einführkanals (14) an die Verformungen angepasst wird.Procedure according to one of the Claims 1 to 8th , characterized in that in method step f) when calculating the current position and orientation of the insertion channel (14) and, if appropriate, additionally the tissue structures or the organ (30) to be operated, deformations of the tissue (22) are calculated which are due to changes in the position of the Patients appear in relation to a position of the patient when recording the reference data in method step b) or by natural movements of the patient, and the calculation of the spatial positioning and orientation of the insertion channel (14) is adapted to the deformations. Verfahren nach den Ansprüchen 7 und 9 oder nach den Ansprüchen 7, 8 und 9, dadurch gekennzeichnet, dass die Lageänderungen des Patienten anhand der in der Live-Fluoroskopie erfassten Positionen der radiopaken Marker (12) erfasst werden.Procedure according to the Claims 7 and 9 or after the Claims 7 , 8th and 9 , characterized in that the position changes of the patient are recorded on the basis of the positions of the radiopaque markers (12) recorded in the live fluoroscopy. Verfahren nach einem der Ansprüche 1 bis 10, dass ein akustisches, optisches oder taktiles Warnsignal ausgegeben wird, wenn das chirurgische Instrument (10) beim Einführen in das Gewebe (22) des Patienten vom Einführkanal (14) abweicht.Procedure according to one of the Claims 1 to 10th that an acoustic, optical or tactile warning signal is emitted if the surgical instrument (10) deviates from the insertion channel (14) during insertion into the patient's tissue (22). Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass dem Operateur für die vorbereitende Berechnung des Einführkanals (14) am virtuellen 3-dimensionalen Modell (40) ein Einfluss gewährt wird, wobei insbesondere bei einer perkutanen Nephrolithotomie auszuwählen ist, durch welchen Nierenkelch (34) der zu operierenden Niere (30) der Einführkanal verlaufen soll.Procedure according to one of the Claims 1 to 11 , characterized in that the surgeon is granted an influence for the preparatory calculation of the insertion channel (14) on the virtual 3-dimensional model (40), in particular in the case of a percutaneous nephrolithotomy it is necessary to select the kidney cup (34) of the kidney to be operated on ( 30) the insertion channel should run. System (50) zur operationsunterstützenden Visualisierung für einen Eingriff an einem Patienten, insbesondere zur visuellen Unterstützung einer perkutanen Nephrolithotomie, umfassend wenigstens einen ersten bildgebenden Scanner, insbesondere CT-Scanner (52) oder Röntgen-Scanner, wenigstens drei radiopake Marker (12), eine Datenverarbeitungseinrichtung (56), eine AR-Brille (58) und ein fluoroskopisches Bildgebungssystem (54) mit einem C-Arm, wobei die radiopaken Marker (12) ausgebildet und eingerichtet sind, auf der Hautoberfläche (20) eines Patienten befestigt zu werden, und die Datenverarbeitungseinrichtung (56) ausgebildet und eingerichtet ist, einen oder mehrere der in den Patentansprüchen 1 bis 12 genannten Verfahrensschritte durchzuführen.System (50) for operation-supporting visualization for an intervention on a patient, in particular for the visual support of a percutaneous nephrolithotomy, comprising at least one first imaging scanner, in particular CT scanner (52) or X-ray scanner, at least three radiopaque markers (12), one Data processing device (56), AR glasses (58) and a fluoroscopic imaging system (54) with a C-arm, the radiopaque markers (12) being designed and set up to be attached to the skin surface (20) of a patient, and the data processing device (56) is designed and set up, one or more of the in the Claims 1 to 12 perform the above-mentioned process steps. System nach Anspruch 13, dadurch gekennzeichnet, dass ein chirurgisches Instrument umfasst ist, insbesondere eine Hohlnadel (10) oder ein Endoskop, welches insbesondere eine spezifische radioparke Struktur (11) aufweist, welche sich auf fluoroskopischen Live-Aufnahmen abhebt.System according to Claim 13 , characterized in that a surgical instrument is included, in particular a hollow needle (10) or an endoscope, which in particular has a specific radiopark structure (11) which stands out on fluoroscopic live recordings. Computerprogrammprodukt, insbesondere Computerprogramm mit Programmcodemitteln, die bei Ausführung auf einer Datenverarbeitungseinrichtung (56) eines Systems (50) nach Anspruch 13 oder 14 einen oder mehreren der Verfahrensschritte des Verfahrens nach einem der Ansprüche 1 bis 12 ausführen.Computer program product, in particular computer program with program code means, which, when executed on a data processing device (56) of a system (50) Claim 13 or 14 one or more of the method steps of the method according to one of the Claims 1 to 12 To run.
DE102018131501.5A 2018-12-10 2018-12-10 Method and system for operation-supporting visualization, computer program product Ceased DE102018131501A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018131501.5A DE102018131501A1 (en) 2018-12-10 2018-12-10 Method and system for operation-supporting visualization, computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018131501.5A DE102018131501A1 (en) 2018-12-10 2018-12-10 Method and system for operation-supporting visualization, computer program product

Publications (1)

Publication Number Publication Date
DE102018131501A1 true DE102018131501A1 (en) 2020-06-10

Family

ID=70776251

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018131501.5A Ceased DE102018131501A1 (en) 2018-12-10 2018-12-10 Method and system for operation-supporting visualization, computer program product

Country Status (1)

Country Link
DE (1) DE102018131501A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses

Similar Documents

Publication Publication Date Title
EP3393391B1 (en) Device for intraoperative image-guided navigation during surgical interventions in the vicinity of the spine and the adjoining thoracic, pelvic or head area
DE102005030646B4 (en) A method of contour visualization of at least one region of interest in 2D fluoroscopic images
DE10136709B4 (en) Device for performing surgical interventions and method for displaying image information during such an intervention on a patient
DE10210646A1 (en) Method for displaying a medical instrument brought into an examination area of a patient
DE19829224A1 (en) Accurate location of treatment targets in region of soft body parts during treatment which involves positional changes
EP1153572A1 (en) Method of registering of patient data of an imaging method for navigation supported surgical operations by means of X-ray image correspondance
DE102011083522A1 (en) Method for visualization of quality of ablation process for patient suffering from atrial fibrillation, involves determining quality characteristic value based on position of image model of ablation instrument to anatomical object
DE102009025077A1 (en) System for orientation support and representation of an instrument in the interior of an examination object, in particular in the human body
EP1348393A1 (en) Medical navigation or pre-operative treatment planning supported by generic patient data
DE102006001884A1 (en) Medical instrument`s e.g. intracranial catheter, guidance visual aiding method, involves marking input point and/or target point in spatial representation of hollow organ section of examination object by medical personnel
DE102007009764A1 (en) Catheter application supporting method for treating cardiac arrhythmia, involves determining position of patient during recording of image and/or during recording of electro-anatomical mapping
DE102014205313B4 (en) Method for registering a near-infrared spectroscopy map and an anatomy image data set and x-ray device
DE102010062340A1 (en) Method for image support of the navigation of a medical instrument and medical examination device
EP1348394A1 (en) Planning or navigation assistance by generic obtained patient data with two-dimensional adaptation
DE102006013476B4 (en) Method for positionally accurate representation of tissue regions of interest
DE102005027678A1 (en) Three-dimensional-structure marking method of two-dimensional projection image, used in medical interventions, by calculating theoretical position of position marker on further two-dimensional projection image in three-dimensional space
DE102006006038B4 (en) System for illustrated tracking of an at least partially introduced into a study object, moving medical instrument
DE102019200786A1 (en) Medical imaging device, method for assisting medical personnel, computer program product and computer readable storage medium
DE10057023A1 (en) Method and appliance for identifying correct alignment of fractured bones by superimposition of templates on images of those bones
DE10235795B4 (en) Medical device
DE102010039604A1 (en) Method for generating medical image of patient, involves performing three-dimensional registering of planning image data set and control image data set such that instrument containing region of control image data set is not accounted
DE102007032786B4 (en) Method and device for merging or superimposing a 3D image and a 2D image of a moving tissue region of a living being
DE102018131501A1 (en) Method and system for operation-supporting visualization, computer program product
WO2012025081A2 (en) Method for displaying stored high-resolution diagnostic 3-d image data and 2-d realtime sectional image data simultaneously, continuously, and in parallel during a medical intervention of a patient and arrangement for carrying out said method
DE102014212089A1 (en) Method for monitoring the image of a minimally invasive procedure, image processing device and ultrasound image recording device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final