[go: up one dir, main page]

CN102762142B - 3d表面的激光增强重建 - Google Patents

3d表面的激光增强重建 Download PDF

Info

Publication number
CN102762142B
CN102762142B CN201180008838.XA CN201180008838A CN102762142B CN 102762142 B CN102762142 B CN 102762142B CN 201180008838 A CN201180008838 A CN 201180008838A CN 102762142 B CN102762142 B CN 102762142B
Authority
CN
China
Prior art keywords
laser spot
dimensional object
matrix
reconstruction
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180008838.XA
Other languages
English (en)
Other versions
CN102762142A (zh
Inventor
A·波波维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102762142A publication Critical patent/CN102762142A/zh
Application granted granted Critical
Publication of CN102762142B publication Critical patent/CN102762142B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/317—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for bones or joints, e.g. osteoscopes, arthroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

一种用于重建三维对象（41）的表面的方法，包括：通过激光器（11）将激光光斑图案（12，14）投影到三维对象（41）的表面上，并且当内窥镜（21）相对于三维对象（41）被平移和/或旋转时生成一系列内窥镜图像（24）。每幅内窥镜图像（24）图示当被激光器（11）投影到三维对象（41）的表面上时的激光光斑图案（12，14）内的激光光斑阵列（13，15）的不同视图（23）。激光光斑阵列（13，15）可以与激光光斑图案（12，14）相同或是其子集。所述方法还包括根据如内窥镜图像（24）中图示的激光光斑阵列（13，15）的不同视图（23）的对应关系而重建三维对象（41）的表面。

Description

3D表面的激光增强重建
本发明大体涉及在微创内窥镜手术期间对象的三维（“3D”）表面的重建。本发明具体涉及生成、检测和使用对象表面上的激光光斑图案的可再现并且准确的特征，以用于操作中内窥镜的相机校准和对象表面的3D重建。
微创内窥镜手术是一种手术程序，其中，通过自然开口或皮肤上的小切口（即，端口），在患者体内引入刚性或柔性内窥镜。通过类似的端口在患者体内引入额外的手术工具，并且所述内窥镜用于为外科医生提供与手术部位有关的手术工具的视觉反馈。微创内窥镜手术的范例包括但不限于，内窥镜心脏手术（例如，心脏搭桥或二尖瓣置换）、腹部的腹腔镜检查、关节的关节内窥镜检查和肺部的支气管镜检查。
内窥镜检查中的激光计量是提供可能的内窥镜图像中对象尺寸测量的一类方法。其通常用于工业内窥镜，但是它也用于医学中。在激光测量中，准直激光束置于与内窥镜相机的光轴平行。激光束将激光点投影到所考虑的对象上或对象的附近。由于激光的光束准直，对象上或对象附近的点的尺寸独立于到对象的距离而保持不变。因而，该点的尺寸用作图像的尺寸标定器。
现有技术中已知的一种方法将激光发生设备置于内窥镜的远端以针对激光计量生成校准激光点。基本上，该激光计量方法向对象（例如组织）投影一个（1）准直激光点并且通过激光点的直径获取对象的尺度。
作为对比，现有技术中已知的另一方法使用具有与内窥镜相机的光轴平行的四组激光束的内窥镜向对象（例如，组织）投影四个（4）准直激光点，以得到图像中对象的尺寸。针对这种方法，使用棋盘式校准网格获得扭曲参数来执行径向扭曲补偿。然后，使用透镜几何位置通过各点之间的几何位置关系计算激光点的3D位置。最后，在内窥镜图象上显示校准标尺。
如本文中前面针对微创内窥镜手术的叙述，内窥镜提供手术位置的仅有的视觉反馈。然而，内窥镜图像通常是二维的（“2D”），这给获得视图中对象的深度信息以及相对位置和尺寸带来困难。通过一系列2D图象重建3D表面的已知算法依赖于寻找两个或多个帧中点之间的对应关系。这种算法得到的3D重建的质量严重依赖于匹配特征的准确性。特别地，为了从2D+t系列重建3D表面，使用随机采样一致性（“RANSAC”）优化，必须找到八个（8）或者更多个特征匹配。然而，在外科手术中，内窥镜视图中的对象通常是平滑并且没有特征的（例如，心脏内窥镜中的心脏组织或关节内窥镜中的骨表面），这使得特征检测和匹配成为困难的任务。
前面提及的激光计量方法通过使用平行于内窥镜的光轴定位的单一准直激光点或多个激光束来解决尺度问题（即，对象尺寸）。然而，这些方法并未解决3D重建的质量问题。这些方法的另一不足是，它们需要激光束平行于内窥镜的光轴。因而，激光源和内窥镜光纤必须集成到内窥镜本身中，其增加了内窥镜的直径，这增加了手术程序的创伤。
本发明使用激光器用于在3D对象（例如感兴趣器官或组织）的表面上投影激光光斑图案（例如，圆点矩阵），以便于对象表面的准确重建和相机的操作中校准，这克服了从2D内窥镜视图获得对象的表面的深度信息以及相对位置和尺寸的困难。
本发明的一种形式是采用激光器、内窥镜和图像重建设备的系统。在操作中，激光器在3D对象（例如，感兴趣器官或组织）的表面上投影激光光斑图案（例如，圆点矩阵）。内窥镜在当其相对于3D对象被平移和/或被旋转时生成一系列内窥镜图像，其中每幅内窥镜图像图示了当被激光器投影到所述3D对象的表面上时的激光光斑图案内激光光斑阵列的不同视图。图像重建设备根据如所述内窥镜图像中图示的激光光斑阵列的不同视图的对应关系，重建3D对象的表面。
为了本发明的目的，术语“激光光斑图案”在本文中被广泛地定义为针对内窥镜应用的任何几何形状的、任何颜色的和任何实际尺寸的两个或更多个激光光斑的任何空间排列，并且术语“激光光斑阵列”在本文中被广泛地定义为具有相关联的激光光斑图案或它的任意子集的激光光斑的空间排列。在激光光斑图案和激光光斑阵列内，每个斑点的几何形状、颜色和维度可以是相同的或者在一些或所有激光光斑中是有变化的。额外地，激光光斑阵列可以操作前或操作中在激光光斑图案内被定义。
此外，术语“内窥镜”在本文中被广泛地定义为具有从体内成像的能力的任何设备。用于本发明目的的内窥镜的范例包括但不限于，任何种类的观测仪器，柔性的或刚性的，（例如，内窥镜、关节内窥镜、支气管镜、胆管镜、结肠镜、膀胱镜、十二指肠镜、胃窥镜、子宫镜、腹腔镜、喉镜、神经镜、耳镜、推入肠窥镜、鼻喉镜、乙状结肠镜、窦腔镜、胸腔镜等）和与配备有成像系统的观测仪器类似的任何设备（例如，带成像的嵌套插管）。成像是局部的，并且表面图像可以用光纤、透镜、或小型化（例如，基于CCD的）成像系统来光学地获得。
通过结合附图阅读本发明的各实施例的以下述具体描述，本发明的上述和其他的形式以及本发明的各特征和优势将变得更加明显。详细的描述和附图仅为本发明的图解而非限制，本发明的范围在所附权利要求及其等价物中定义。
图1图示了根据本发明的3D图像重建系统的示例性实施例；
图2图示了根据本发明的激光光斑阵列的不同视图的示范性系列；
图3图示了图2中所示出的根据本发明的激光光斑阵列的不同视图的另一示范性系列；
图4图示了表示根据本发明的内窥镜手术方法的示范性实施例的流程图；
图5图示了图1中所示系统采用的图4中所示方法的示范性内窥镜应用；
图6图示了表示根据本发明的3D表面重建方法的示范性实施例的流程图。
本发明的3D表面重建算法的实施是通过投影激光光斑图案到3D对象上的激光器和生成激光光斑图案内的激光光斑阵列的一系列2D内窥镜图像的内窥镜实现的。当被投影到3D对象上，激光光斑图案被用作可再现并且准确的特征，以便在内窥镜图像中建立激光光斑阵列的对应关系。
例如，如图1中所示，由激光源10供电的激光器11投影出具有7x7圆点矩阵排列的激光光斑图案12。在激光光斑图案12内是具有3x3圆点矩阵排列的激光光斑阵列13。在微创内窥镜手术中，内窥镜21聚焦于激光光斑图案12的全部或者一部分，其中，内窥镜21的视场22包围激光光斑阵列13。
更具体地，图2图示了当内窥镜21在3D对象的一方向上平移时由内窥镜21生成的内窥镜视图序列23a-23c。这样，激光光斑图案12在不同内窥镜视图23a-23c中放大，并且在每个内窥镜视图23a-23c中激光光斑阵列13能够被识别。激光光斑图案在不同内窥镜视图23a-23c中的放大用作激光光斑阵列13的运动以达到实施3D表面重建算法的目的，如在此将进一步描述的。
图3图示了当内窥镜21在3D对象的一方向上进一步平移时内窥镜21生成的另外的内窥镜视图序列23d-23f。再次，激光光斑图案12在不同内窥镜视图23d-23f中放大，并且在每个内窥镜视图23d-23f中能够识别激光光斑阵列13，且激光光斑图案在不同内窥镜视图23d-23f中的放大用作激光光斑阵列13的运动以达到实施3D表面重建算法的目的，如在此将进一步描述的。
提供图2和图3以强调将本发明的激光光斑图案原理，为投影到3D对象上的可再现并且准确的特征，以便于内窥镜图像中激光光斑阵列的对应关系。在实践中，优选地，激光光斑图案包括九个（9）或更多个激光光斑，内窥镜图像的数量为两（2）幅或更多，并且内窥镜相机和激光光斑图案之间的距离便于遍及所有内窥镜图像识别整个激光光斑图案，其中激光光斑图案本身用作激光光斑阵列。不过，图2和3突出了，激光光斑阵列，不管是整个或部分激光光斑图案，必须在所有内窥镜图像中是能够识别的。
回来参考图1，图像重建设备20处理所生成的激光光斑阵列的图像以重建对象表面的3D图像。为了本发明的目的，图像重建设备在这里被广泛地定义为被结构性配置为通过根据3D重建算法（例如，编程计算机）处理内窥镜图像以生成对象表面的3D重建的设备，而这里使用的术语“生成”被广泛地定义为包括现有技术当前或之后所知的任何用于以下的技术：创建、计算、提供、修饰、获取、产生、形成、发展、演化、修改、变换、转化、或另外使信息（例如，数据、文本、图像、语音和视频）可用于计算机处理和存储器存储/检索的目的，特别是，图像数据集和视频帧。
图4图示了表示本发明的内窥镜手术方法的流程图30。流程图30包括操作前阶段S32和S33，和操作中阶段S34-S37。在这里使用的术语“操作前”被广泛地定义为描述发生在或涉及内窥镜应用之前的时段或准备的任意活动，并且在这里使用的术语“操作中”被广泛地定义为描述在内窥镜应用（例如，操作内窥镜）的过程中发生、实施或遇到的任何活动。内窥镜应用的范例包括但不限于，关节内窥镜、支气管镜、结肠镜、腹腔镜、大脑内窥镜、和内窥镜心脏手术。内窥镜心脏手术的范例包括但不限于，内窥镜冠状动脉搭桥手术、内窥镜二尖瓣和主动脉瓣修复和替换。
操作前阶段S31包括选择激光器以向3D对象上投影激光光斑图案。在实践中，在内窥镜应用中可以使用LasirisTMSNF激光器，其中激光器的波长约为600nm并且功率小于100mW。此外，激光器优选地投影绿色或蓝色的7x7圆点矩阵的激光光斑图案，其中八个（8）或更多个圆点可作为激光光斑阵列。此外，圆点可具有0.5mm的直径并且圆点之间的间隔为4mm。为了确定九十（90）度或更小角度的扇形角（FA），根据以下公式[1]必须知道对象尺寸（L）和操作距离（D）：
FA=2*arcsin(L/(2*D))[1]
图5图示了包括与具有对象尺寸L的膝盖40的组织41距离为D的激光器11的关节内窥镜应用的范例。
再次参考图4，操作前阶段S32包括已知的内窥镜的相机校准。在一个实施例中，激光器将激光光斑图案投影到对比平面表面（例如，白色平面表面），并且激光光斑图案具有均一矩阵（例如，7x7圆点矩阵）或者在两个维度上具有不同激光光斑数量的矩阵（例如，6x7圆点矩阵）。校准参数及径向扭曲通过在内窥镜相对于平面表面的两个（2）或更多个不同取向上采集激光光斑图案在平面表面上的图像以及通过检测图像中激光点来估计。
操作中阶段S33包括在3D对象的表面上生成激光光斑图案。例如，如图5中所示，将激光器11插入到膝盖40的手术仪器端口43中，从而将5x5圆点矩阵的激光光斑图案14投影到组织41上。
操作中阶段S34的执行取决于在操作前阶段期间是否未执行阶段S32，或内窥镜是否需要重校准。如果被执行，那么操作前阶段S32包括在内窥镜相对于激光光斑图案的两个（2）或更多个不同取向上拍摄激光光斑图案投影到3D对象上的图像的内窥镜。例如，如图5中所示，将内窥镜21插入到膝盖40的视觉端口42中，从而生成激光光斑图案14的图像（例如，图像24）。内窥镜24可以以任意方向和旋转绕端口42（即，支点）运动以从不同视角和方向生成同一激光光斑阵列的图像。之后，在图像内检测作为激光光斑阵列的激光光斑图案14或在图像内检测激光光斑阵列15将使得能够估计相机参数。
检测激光光斑可以用现有技术中已知的任何算法，例如颜色阈值来执行。检测的结果是每幅图像的坐标系中光斑的x=[x,y]T位置。
操作中阶段S35包括当内窥镜相对于端口42和3D对象被平移和/或被旋转时生成3D对象上的激光光斑图案的一系列两（2）个或更多个图像。例如，如图5中所示，将内窥镜21插入到膝盖40的端口42中，以因而在当内窥镜21沿箭头示出的组织41的方向平移时，生成激光光斑图案14的图像（例如，图像24）。
操作中阶段S36包含根据阶段S35期间采集的内窥镜图像对对象表面的3D重建和对操作前阶段S32或操作中阶段S34期间获得的内窥镜的校准。在实践中，在阶段S36期间可以实施任意3D重建算法以达到所述对象的3D重建。在一个实施例中，如图6中所示，可以在阶段S36期间实施代表3D表面重建的流程图50。
参考图6，流程图50的阶段S51包括生成基础矩阵（F）用于使遍及内窥镜图像的激光光斑阵列的不同视图相关。在一个实施例中，对于两个不同视图（x）和（x’）下的同一激光光斑，基础矩阵（F）是3x3矩阵并且根据如下已知公式[2]定义：
xT*F*x’=0[2]
对于两个不同视图下的N个激光光斑，N个公式集定义为：
x1 T*F*x1’=0
…[3]
xN T*F*xN’=0
如果激光光斑阵列具有八个（8）激光光斑（N=8），那么公式[3]的未知量（F）可以使用八点算法来计算，或者如果激光光斑阵列包括九个（9）或更多个激光光斑，那么可以使用迭代方法（例如，RANSAC）来计算。
阶段S52包括生成本质矩阵（E）或使遍及内窥镜图像的激光光斑阵列的不同视图相关。在一个实施例中，从如下已知公式[4]计算本质矩阵（E）：
E=KT*F*K=0[4]
校准矩阵（K）是代表内窥镜的操作前或操作中校准的3x3矩阵。
阶段S53包括根据本质矩阵（E）生成平移向量（T）和旋转矩阵（R）（如果内窥镜被旋转）。在一个实施例中，平移向量（T）和旋转矩阵（R）从如下已知公式[5]中导出：
E=U*∑*VT=0[5]
阶段S54包括为激光光斑阵列的每个视图生成投影矩阵。在一个实施例中，针对所述激光光斑阵列的两个（2）视图，通过如下已知公式[6]和[7]计算针对与光斑（x）相关联的视图的投影矩阵P1和针对与光斑（x’）相关联的视图的投影矩阵P1：
P1=K*[I|0][6]
P2=KT*[R|T]*K[7]
阶段S55包括根据内窥镜图像中的激光光斑阵列或对象的显著特征（例如，边缘）的3D对象点重建。在一个实施例中，使用针对两个（2）视图的针孔相机模型，从如下已知公式[8]和[9]计算3D对象点X：
x=P1*X[8]
x’=P2*X[9]
计算的3D对象点X可以使用三角测量和公式[8]和[9]重建。
对于点x和x’，可以为阶段S55使用两个集合。
在第一个实施例中，激光光斑x和x’可以被用作特征。这些是强的特征，因为它们非常准确并且可靠。这个实施例将导致具有与相关联的激光光斑阵列一样多的点的非常稀疏的3D模型。
在第二个实施例中，可以与从点x和x’计算的投影矩阵P1和P2一起使用利用现有技术中已知的特征检测方法（例如，SIFT方法）检测到的弱的对象表面特征（例如，边缘）。该方法将导致具有点x和x’的较低精度的稠密表面，但保持了投影矩阵P1和P2的高精度。
尽管图示和描述了本发明的各种实施例，但本领域技术人员将理解，此处所描述的本发明的实施例是图解性的，且在不偏离本发明的真正范围的情况下可以进行各种变形和修改，并且其中的元件可以被等价物替换。另外，在不偏离本发明的核心作用范围的情况下，可以进行各种修改以适应本发明的教导。因此，宗旨是，本发明不应被限制到此处所公开的预期为实施本发明的最佳模式的具体实施例，而是本发明包括落在所附权利要求范围内的所有实施例。

Claims (12)

1.一种用于重建三维对象(41)的表面的系统，包括：
激光器(11)，其用于将激光光斑图案(12，14)投影到所述三维对象(41)的所述表面上；
内窥镜(21)，其用于当所述内窥镜(21)相对于所述三维对象(41)被平移和被旋转中的至少一项时生成一系列内窥镜图像(24)，
其中，每幅内窥镜图像(24)图示当被所述激光器(11)投影到所述三维对象(41)的所述表面上时的所述激光光斑图案(12，14)内的激光光斑阵列(13，15)的不同视图(23)；
图像重建设备(20)，其与所述内窥镜(21)通信，用于根据如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)的对应关系而重建所述三维对象(41)的所述表面，
其中，通过在所述内窥镜(21)相对于所述激光光斑图案(12，14)的两个或更多个不同取向上采集所述对象上的所述激光光斑图案(12，14)的图像以及通过检测所述图像中的激光光斑来估计与所述内窥镜(21)的相机校准相关联的相机校准矩阵K。
2.如权利要求1所述的系统，其中，所述激光光斑图案(12，14)和所述激光光斑阵列(13，15)是相同的。
3.如权利要求1所述的系统，其中，所述激光光斑阵列(13，15)是所述激光光斑图案(12，14)的子集。
4.如权利要求1所述的系统，其中，所述三维对象(41)的所述表面的所述重建包括：
生成基础矩阵(F)，所述基础矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关；以及
根据所述基础矩阵(F)和所述激光光斑阵列(13，15)的所述不同视图(23)重建三维对象点。
5.如权利要求1所述的系统，其中，所述三维对象(41)的所述表面的所述重建包括：
生成基础矩阵(F)，所述基础矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关；
检测如所述内窥镜图像(24)中图示的所述三维对象(41)的表面特征；以及
根据所述基础矩阵(F)和所述内窥镜图像(24)中检测到的所述三维对象(41)的所述表面特征重建三维对象点。
6.如权利要求1所述的系统，其中，所述三维对象(41)的所述表面的所述重建包括：
生成基础矩阵(F)，所述基础矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关。
7.如权利要求6所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括：
生成本质矩阵(E)，所述本质矩阵用于使如所述内窥镜图像(24)中图示的所述激光光斑阵列(13，15)的所述不同视图(23)相关，所述本质矩阵(E)是所述基础矩阵(F)和与所述内窥镜(21)的所述相机校准相关联的所述相机校准矩阵(K)的函数。
8.如权利要求7所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括：
根据所述本质矩阵(E)生成平移向量(T)和旋转矩阵(R)。
9.如权利要求8所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括：
根据所述平移向量(T)和所述旋转矩阵(R)生成针对所述激光光斑阵列(13，15)的每个视图(23)的投影矩阵(P)，每个投影矩阵(P)是所述激光光斑阵列(13，15)的相关联的视图(23)的线性变换。
10.如权利要求9所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括：
根据每个投影矩阵(P)和所述激光光斑阵列(13，15)的相关联的视图(23)重建三维对象点。
11.如权利要求9所述的系统，其中，所述三维对象(41)的所述表面的所述重建还包括：
针对所述激光光斑阵列(13，15)的每个视图(23)检测如所述内窥镜图像(24)中图示的所述三维对象(41)的表面特征；以及
根据每个投影矩阵(P)和所述内窥镜图像(24)中检测到的所述三维对象(41)的每个表面特征重建三维对象点。
12.如权利要求1所述的系统，其中，根据所述内窥镜图像(24)中的至少两幅在操作中校准所述内窥镜(21)。
CN201180008838.XA 2010-02-12 2011-01-14 3d表面的激光增强重建 Expired - Fee Related CN102762142B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30370210P 2010-02-12 2010-02-12
US61/303,702 2010-02-12
PCT/IB2011/050171 WO2011098927A1 (en) 2010-02-12 2011-01-14 Laser enhanced reconstruction of 3d surface

Publications (2)

Publication Number Publication Date
CN102762142A CN102762142A (zh) 2012-10-31
CN102762142B true CN102762142B (zh) 2016-01-27

Family

ID=43902768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008838.XA Expired - Fee Related CN102762142B (zh) 2010-02-12 2011-01-14 3d表面的激光增强重建

Country Status (5)

Country Link
US (2) US11022433B2 (zh)
EP (1) EP2533679B1 (zh)
JP (1) JP6144914B2 (zh)
CN (1) CN102762142B (zh)
WO (1) WO2011098927A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102762142B (zh) * 2010-02-12 2016-01-27 皇家飞利浦电子股份有限公司 3d表面的激光增强重建
US8900126B2 (en) 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
US8897502B2 (en) * 2011-04-29 2014-11-25 Aptina Imaging Corporation Calibration for stereoscopic capture system
US8900125B2 (en) * 2012-03-12 2014-12-02 United Sciences, Llc Otoscanning with 3D modeling
DE102013200898A1 (de) * 2013-01-21 2014-07-24 Siemens Aktiengesellschaft Endoskop, insbesondere für die minimal-invasive Chirurgie
CN104083172B (zh) * 2013-11-28 2016-02-17 北京华科创智健康科技股份有限公司 一种电子内窥镜病灶尺寸定量测量的方法和装置
CN105982751A (zh) * 2015-02-02 2016-10-05 王辉 一种稳定快速的腔内物体表面3d成像系统
CN105982752A (zh) * 2015-02-02 2016-10-05 王辉 一种腔内物体表面大视场3d成像系统
CN105982750A (zh) * 2015-02-02 2016-10-05 王辉 一种稳定的腔内物体表面3d成像系统
WO2016199518A1 (ja) * 2015-06-09 2016-12-15 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10512508B2 (en) 2015-06-15 2019-12-24 The University Of British Columbia Imagery system
ES3019009T3 (en) * 2016-10-07 2025-05-20 Schneider Electric Ind Sas Method for 3d mapping of 2d point of interest
EP3558088A4 (en) 2016-12-20 2020-10-28 3dintegrated ApS MEDICAL PROBE SET
EP3565450B1 (en) * 2017-01-06 2024-06-26 Photonicare, Inc. Self-orienting imaging device and methods of use
EP3824621B1 (en) 2018-07-19 2025-06-11 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
WO2020140042A1 (en) 2018-12-28 2020-07-02 Activ Surgical, Inc. User interface elements for orientation of remote camera during surgery
EP3903165A4 (en) 2018-12-28 2023-01-25 Activ Surgical, Inc. SYSTEMS AND METHODS TO OPTIMIZE AVAILABILITY, WORKPLACE AND SKILL IN MINIMALLY INVASIVE SURGERY
WO2020206401A1 (en) * 2019-04-05 2020-10-08 Witham Nicholas Steven Otoscope
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
US12292564B2 (en) 2019-04-08 2025-05-06 Activ Surgical, Inc. Systems and methods for medical imaging
WO2020214821A1 (en) 2019-04-19 2020-10-22 Activ Surgical, Inc. Systems and methods for trocar kinematics
US10908412B2 (en) 2019-05-02 2021-02-02 VPIX Medical Incorporation Image generating device
US11071443B2 (en) * 2019-06-20 2021-07-27 Cilag Gmbh International Minimizing image sensor input/output in a pulsed laser mapping imaging system
US11612309B2 (en) 2019-06-20 2023-03-28 Cilag Gmbh International Hyperspectral videostroboscopy of vocal cords
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
EP4024113B1 (en) * 2019-08-28 2025-06-25 FUJIFILM Corporation Endoscope system and method for operating same
CA3232181A1 (en) * 2019-09-23 2021-04-01 Boston Scientific Scimed, Inc. System and method for endoscopic video enhancement, quantitation and surgical guidance
US12087007B2 (en) 2021-03-31 2024-09-10 Auris Health, Inc. Vision-based 6DOF camera pose estimation in bronchoscopy
CN119027474B (zh) * 2024-10-31 2024-12-31 长春理工大学 一种非视域图像重建方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513276A (en) * 1994-06-02 1996-04-30 The Board Of Regents Of The University Of Oklahoma Apparatus and method for three-dimensional perspective imaging of objects
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US20030123707A1 (en) * 2001-12-31 2003-07-03 Park Seujeung P. Imaging-based distance measurement and three-dimensional profiling system
WO2004076970A1 (de) * 2003-02-27 2004-09-10 Storz Endoskop Produktions Gmbh Verfahren und optisches system zur vermessung der topographie eines messobjekts
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
WO2007080563A2 (en) * 2006-01-11 2007-07-19 Densys Ltd. Three-dimensional modeling of the oral cavity
CN101264002A (zh) * 2008-05-06 2008-09-17 中国科学院上海光学精密机械研究所 基于光栅投影的三维内窥测量装置和方法
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3126065B2 (ja) * 1991-12-09 2001-01-22 オリンパス光学工業株式会社 計測用内視鏡装置
GB9216743D0 (en) 1992-08-07 1992-09-23 Epstein Ruth A device to calibrate adsolute size in endoscopy
JP3438937B2 (ja) 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
US5933223A (en) * 1996-12-13 1999-08-03 Board Of Trustees Of The University Of Arkansas Optical device for measuring small dimensions in vivo
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
WO2001074267A1 (en) * 2000-03-30 2001-10-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US7625335B2 (en) * 2000-08-25 2009-12-01 3Shape Aps Method and apparatus for three-dimensional optical scanning of interior surfaces
US6945930B2 (en) * 2001-08-31 2005-09-20 Olympus Corporation Environment adaptable measurement endoscope
US6868194B2 (en) * 2001-12-19 2005-03-15 General Electric Company Method for the extraction of image features caused by structure light using image reconstruction
US7744528B2 (en) * 2003-02-26 2010-06-29 Infinite Biomedical Technologies, Llc Methods and devices for endoscopic imaging
JP3738291B2 (ja) * 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
FR2868550B1 (fr) * 2004-04-02 2006-09-29 Tokendo Soc Par Actions Simpli Dispositif de metrologie par pointage laser pour sonde videoendoscopique
US8243123B1 (en) * 2005-02-02 2012-08-14 Geshwind David M Three-dimensional camera adjunct
US7724379B2 (en) * 2005-05-12 2010-05-25 Technodream21, Inc. 3-Dimensional shape measuring method and device thereof
US20070161854A1 (en) 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
WO2008066911A2 (en) * 2006-11-30 2008-06-05 Newton Laboratories, Inc. Spectroscopically enhanced imaging
US8305432B2 (en) 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
DE102007054906B4 (de) * 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
JP2009240621A (ja) * 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
US8334900B2 (en) * 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
US8384789B2 (en) * 2008-07-23 2013-02-26 Pixart Imaging Inc. Sensor array module with wide angle, and image calibration method, operation method and application for the same
CN102762142B (zh) * 2010-02-12 2016-01-27 皇家飞利浦电子股份有限公司 3d表面的激光增强重建
US8649024B2 (en) * 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513276A (en) * 1994-06-02 1996-04-30 The Board Of Regents Of The University Of Oklahoma Apparatus and method for three-dimensional perspective imaging of objects
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US20030123707A1 (en) * 2001-12-31 2003-07-03 Park Seujeung P. Imaging-based distance measurement and three-dimensional profiling system
WO2004076970A1 (de) * 2003-02-27 2004-09-10 Storz Endoskop Produktions Gmbh Verfahren und optisches system zur vermessung der topographie eines messobjekts
CN101288105A (zh) * 2005-10-11 2008-10-15 普莱姆传感有限公司 用于物体重现的方法和系统
WO2007080563A2 (en) * 2006-01-11 2007-07-19 Densys Ltd. Three-dimensional modeling of the oral cavity
CN1975323A (zh) * 2006-12-19 2007-06-06 南京航空航天大学 利用单数码相机自由拍摄进行物体三维测量的方法
CN101264002A (zh) * 2008-05-06 2008-09-17 中国科学院上海光学精密机械研究所 基于光栅投影的三维内窥测量装置和方法

Also Published As

Publication number Publication date
US11022433B2 (en) 2021-06-01
CN102762142A (zh) 2012-10-31
US20120310098A1 (en) 2012-12-06
WO2011098927A1 (en) 2011-08-18
JP6144914B2 (ja) 2017-06-07
EP2533679B1 (en) 2017-01-11
US20210285759A1 (en) 2021-09-16
EP2533679A1 (en) 2012-12-19
JP2013519417A (ja) 2013-05-30

Similar Documents

Publication Publication Date Title
CN102762142B (zh) 3d表面的激光增强重建
JP2013519417A5 (zh)
CN103313675B (zh) 用于内窥镜手术的术中照相机校准
JP5836267B2 (ja) 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
US10702346B2 (en) Image integration and robotic endoscope control in X-ray suite
CN105188503B (zh) 尤其用于微创手术的内窥镜
US20130345509A1 (en) System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
CN115187531B (zh) 一种三维模型的配准方法、医疗终端及装置
CN108475436A (zh) 使用轮廓标志的外科手术图像采集设备的配准
JP2012505695A (ja) 画像に基づくローカライゼーション方法及びシステム
CN102711650A (zh) 用于内窥镜手术的基于图像整合的配准和导航
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
Reichard et al. Intraoperative on-the-fly organ-mosaicking for laparoscopic surgery
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: a proof of concept
Chadebecq et al. How big is this neoplasia? Live colonoscopic size measurement using the Infocus-Breakpoint
Geurten et al. Endoscopic laser surface scanner for minimally invasive abdominal surgeries
Gong et al. Mapping surgical fields by moving a laser-scanning multimodal scope attached to a robot arm
Speidel et al. Interventional imaging: vision
Decker et al. Performance evaluation and clinical applications of 3D plenoptic cameras
Long et al. ArthroNavi framework: stereo endoscope-guided instrument localization for arthroscopic minimally invasive surgeries
Koishi et al. A navigation system using projection images of laparoscopic instruments and a surgical target with improved image quality
Aubin 3D visualization tool for minimally invasive discectomy assistance
US20240293000A1 (en) Medical endoscope system and operation method thereof
Tamadazte et al. Augmented 3-d view for laparoscopy surgery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160127

Termination date: 20220114