CN106535806B

CN106535806B - 来自多端口视角的手术场景的定量三维成像

Info

Publication number: CN106535806B
Application number: CN201580024439.0A
Authority: CN
Inventors: D·潘埃斯库; D·H·琼斯
Original assignee: Intuitive Surgical Operations Inc
Current assignee: Intuitive Surgical Operations Inc
Priority date: 2014-03-28
Filing date: 2015-03-28
Publication date: 2019-06-18
Anticipated expiration: 2035-03-28
Also published as: JP6609616B2; EP3125807A4; JP2017518148A; KR20160139017A; WO2015149046A1; CN106535806A; EP3125807A1; US10334227B2; EP3125807B1; KR102373714B1; US20170180704A1

Abstract

提供一种系统，其包括定量三维(Q3D)内窥镜，该内窥镜通过提供到体腔的入口的第一端口插入到第一位置，在第一位置处，从所述内窥镜的视角中捕捉解剖结构的第一部分的第一3D图像。基于捕捉的第一图像产生第一Q3D模型。该内窥镜通过提供到体腔的入口的第二端口插入到第二位置，在第二位置处，捕捉解剖结构的第二部分的第二图像。基于捕捉的第二图像产生第二定量Q3D模型。第一Q3D模型和第二Q3D模型组合在一起，以产生解剖结构的扩展的Q3D模型。扩展的Q3D模型能够被存储以用于进一步的操纵或者能够以3D进行显示。

Description

来自多端口视角的手术场景的定量三维成像

相关申请

本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“来自多端口视角的手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES FROMMULTIPORT PERSPECTIVES)”的美国临时专利申请No.62/096,525的优先权的利益，所述专利申请的全部内容以引用方式并入本文。

技术领域

本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。

背景技术

定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。

飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensional image sensor IC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。

延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatus andmethod for endoscopic 3D data collection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调制的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。

使用结构光以确定对象在视觉图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”(Medical ImageAnalysis，16(2012)1063-1072)中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。

已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(Systems and Methods for Determining Depth from multiple Views of aScene that Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。

图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。

图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S₁₁到S₃₃的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S₁₁到S₃₃。传感器S₁₁到S₃₃中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S₁₁到S₃₃排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。

图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。

关于上述已知的成像器传感器排列架构的附加信息在美国申请No.US 8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060 A1(提交于2012年9月19日)中有所提供。

发明内容

在一方面，系统和方法包括通过提供到体腔的入口(access)的第一端口插入到第一位置的定量三维(Q3D)内窥镜，在第一位置处，从所述内窥镜的视角中捕捉解剖结构的第一部分的第一Q3D图像。基于捕捉的第一图像产生第一Q3D模型。内窥镜或第二内窥镜通过提供到体腔的入口的第二端口插入到第二位置，在第二位置处，捕捉解剖结构的第二部分的第二图像。基于捕捉的第二图像产生第二定量Q3D模型。第一Q3D模型和第二Q3D模型组合在一起，以产生解剖结构的扩展的Q3D模型。扩展的Q3D模型能够被存储以用于进一步的操纵，或者能够以立体方式或3D方式显示。进一步的操纵可以包括其他器械之间或器械和解剖结构之间的距离的定量测量。

附图说明

当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。

图1为示出已知成像器传感器的细节的示意图。

图2为示出图1的成像器传感器的已知传感器阵列的简化平面图的示意图。

图3为图2的传感器阵列的传感器内的像素的已知微透镜像素堆叠的示意图。

图4为示出通过根据一些实施例的透过观察器312的手术场景的透视图的示意图。

图5为根据一些实施例的使用一个或多个机械臂来执行微创手术程序的远程操作手术系统的示意方框图。

图6为根据一些实施例的图5的系统的患者侧系统的示意透视图。

图7A为根据一些实施例的包括第一图像捕捉系统的第一内窥镜的示意图。

图7B为根据一些实施例的包括第二图像捕捉系统的第二内窥镜的示意图。

图8为示出根据一些实施例的与图7A的包括第一图像捕捉系统的第一内窥镜相关联的控制块，并且示出操作中的系统的示意方框图。

图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。

图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。

图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。

图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。

图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI)的示意图。

图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。

图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右偏移以与ROI内的指定基准传感器中的投影图像对齐。

图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。

图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。

图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。

图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。

图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。

图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。

图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。

图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。

图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。

图25A至图25C为示出根据一些实施例的设置在多个不同位置处以从不同视角捕捉图像信息的内窥镜的示意图，图像信息用于产生解剖结构的Q3D模型。

图26A至图26C为表示根据一些实施例的使用图25A至图25C的第一图像信息、第二图像信息和第三图像信息产生的第一Q3D模型、第二Q3D模型和第三Q3D模型的示意图。

图27为示出根据一些实施例的图26A至图26C的相应Q3D模型的示例对齐的示意图。

图28A至图28C为表示根据一些实施例的示例第二Q3D模型和第三Q3D模型的示例旋转(图28A)、平移(图28B)和所得的对齐(图28C)的示意图。

图29为示出根据一些实施例的示例复合Q3D模型的示意图，其中图25A至图25C的多个Q3D模型拼接(stitch)在一起。

图30A至图30C为示出根据一些实施例的在三个不同示例“抖动(jitter)”位置中以捕捉目标区域的三个不同图像观察点的内窥镜示意图。

图31为根据一些实施例的捕捉多视角Q3D模型的过程的示意性流程图。

图32为示出根据一些实施例的处理器的细节的示意图，处理器用3D透视图将Q3D模型显示在3D显示器上。

具体实施方式

给出以下描述以使本领域技术人员能够创建并使用具有多个图像传感器的手术内窥镜检查系统，每个传感器包括与另一个传感器的像素阵列分离的像素阵列，以便确定图像传感器的视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所定义的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。

简要概述

根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。

图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察系统可以提供优良的3D观察视角。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400和目标410之间的场景内。

远程操作医疗系统

远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。

图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。

用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作控制的内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。

患者侧系统152包括一个或多个机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂156来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。

图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152包括通过基座172支撑的推车柱170。一个或多个机械插入手术臂/连杆158分别附接到一个或多个组合臂(set-up arm)156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180。

除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。

机械手术臂158A至158D各自可以包括一个或多个位移换能器、取向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪系统辅助器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和或取向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。

关于远程操作医疗系统的附加信息在美国专利申请公开No.US2012/0020547(提交于2011年9月30日)中有所公开。

内窥镜成像器系统

图7A为根据一些实施例的带有第一图像捕捉系统101C的第一内窥镜的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出)的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。

图7B为根据一些实施例的带有第二图像捕捉系统101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉系统101C的第一内窥镜相同的第二图像捕捉系统101C2的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移位。在一些实施例中，成像器传感器阵列210被移位到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。

图8为示出根据一些实施例的与带有图7A的第一图像捕捉系统101C的第一内窥镜101相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器104，视频处理器104经由总线105与控制器106进行通信。视频处理器104可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。

根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。

在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在3D显示器110上。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。

数据总线107和数据总线108交换信息并且控制视频处理器104、控制器106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。

输入系统112接收3D视觉表示并且将其提供给处理器106。输入系统112可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成3D模型的系统(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D视觉表示之间的预期对齐。更具体地，在没有限制的情况下，输入系统112可以包括处理器，处理器经配置在系统152和成像系统(未示出)(诸如MRI、CT或超声波成像系统)之间建立以太网通信连接。可以使用其他成像系统。可以使用其他类型的通信连接，诸如蓝牙、WiFi、光纤等。替代地，系统152和成像系统可以结合在一个更大的系统中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或系统或如图25所显示的流程提供进一步的操纵。

添加到场景图像的Q3D信息的示例

再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧取景器410L和右侧取景器401R中的任何器械400和目标410。取景器中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。

具有两个观察元件401R、401L的观察系统可以提供优良的3D观察视角。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。

可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.US2012/0020547(提交于2011年9月30日)的[0043]至[0053]段和对应附图中有所提供，其以引用方式明确地并入本文。

处理定量三维物理信息

图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉系统101C的内窥镜进行描述。模块401配置控制器106以从成像传感器S_ij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x₀，y₀，z₀)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器S_ij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D视觉表示和Q3D模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。

应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。

图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，在没有限制的情况下，通过使来自传感器S_ij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S₁₁接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(N_x，N_y)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器S_ij观察相同场景所导致的图像多样性在与各种单个图像S_ij中的具体目标相关联的正确识别(N_x，N_y)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S₁₁、S₁₂和S₁₃的简化情境，如果2D像素坐标的三元数组[(Nx₁₁，Ny₁₁)、(Nx₁₂，Ny₁₂)、(Nx₁₃，Ny₁₃)]并不对应于相同目标到[S₁₁，S₁₂和S₁₃]上的投影，则数量和(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(N_X11，Ny₁₁)、(Nx₁₂，Ny₁₂)、(Nx₁₃，Ny₁₃)来自相同目标的投影，则和应该是相等的。

如果和不近似相等，则控制流程返回到模块402.4并且使传感器平面S_ij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，和之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值和应满足类似的限制。响应于确定计算的2D像素坐标值(N_x，N_y)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。

应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z)坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。

表格1

像素标识符

颜色值

强度值

位置(x，y，z)

确定Q3D信息的示例

投影匹配的示例

图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210包括传感器S₁₁至S₃₃的阵列，传感器S₁₁至S₃₃的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。阵列中的每个传感器S_ij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lens stack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S₁₁至S₃₃和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US8,514,491(提交于2010年11月22日)和美国专利申请公开No.US2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。

根据一些实施例，传感器的特征为N_x和N_y(传感器在x方向和y方向上的像素的总数)，以及视野角度θ_x和θ_y。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以δ距离分开。传感器布置间距δ在整个此格网上可以对称或不对称。

在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S₁₁至S₁₃占据顶行，传感器S₂₁至S₂₃占据中间行，并且传感器S₃₁至S₃₃占据底行。每个传感器包括N行像素和N列像素。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器。为了进行示意性的说明，仅示出到顶行中的传感器S₁₁、S₁₂和S₁₃的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色)或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S₂₁至S₃₃。然而，为了简化说明，未示出这些其他光线。

根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器S_ij(仅示出S₁₁、S₁₂和S₁₃)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的多个透视投影，即不同投影。具体地，当从S₁₁前进到S₁₂到S₁₃时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。

根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时视觉影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域(ROI)。

根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S₁₁、S₁₂和S₁₃中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S₁₃的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S₁₃中的位置在传感器S₁₂中按照量σ₂₃像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S₁₃中的位置在传感器S₁₁中按照量σ₁₃像素向右偏移。应该认识到，由于传感器S₁₂、S₁₁的视野(FOV)观察轴各自偏移到传感器S₁₃的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S₁₁在传感器S₁₃和传感器S₁₂中向左偏移。

图15为示出根据一些实施例的ROI内的传感器S₁₁和S₁₂中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S₁₃中的投影图像对齐。在当前示例中，传感器S₁₃被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S₁₃中被识别，并且在其他传感器例如传感器S₁₁和传感器S₁₂中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。

具体地，例如，三个示例对象的投影在传感器S₁₂中按照量σ₂₃像素向右移位，并且三个示例性对象的投影在传感器S₁₃中按照量σ₁₃像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他转换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。

根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA)可以用于将S₁₃中ROI内的投影与S₁₂中ROI内的投影对齐，并且将S₁₃中ROI内的投影与S₁₁中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器S_ij的图像。更具体地，S₁₂中ROI内的投影图像被移位并且与S₁₃中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S₁₁中ROI内的投影图像被移位并且与S₁₃中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S₁₃中ROI的投影和S₁₂中ROI的投影之间的偏移，并且通过确定S₁₃中ROI的投影和S₁₁中ROI的投影之间的偏移，来识别传感器S₁₁和传感器S₁₂中ROI的投影位置。

候选像素选择和精确化的示例

根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S₁₁、S₁₂和S₁₃中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z)目标点位置。

应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S₁₁和S₁₂与S₁₃最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S₁₁、S₁₂和S₁₃中的每个中的像素。因此，S₁₁、S₁₂和S₁₃中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。

换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S₁₁、S₁₂和S₁₃中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的S₁₁、S₁₂和S₁₃中的每个中的像素确定的精确度作出进一步确定。

继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S₁₁、S₁₂和S₁₃上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(N_X11，Ny₁₁)、(Nx₁₂，Ny₁₂)、(Nx₁₃，Ny₁₃)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的和作为模块402.5的一部分。作为模块402.6的一部分，计算范数并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。

参考图17，其示出包括传感器S₁₁、S₁₂和S₁₃的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δ_ij。S₁₁和S₁₂之间的物理位置间距为δ₁₂，并且S₁₂和S₁₃之间的物理位置间距为δ₂₃。在一些实施例中，所有传感器S_ij之间的间距是相同的、等于δ的构造规格。传感器S_ij还具有已知的视野角度θ。

如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。

为了简化起见，假设所有的传感器S_ij均具有N×N像素。在距传感器S₁₁的距离z处，传感器的N像素宽度向外扩展到通过FOV₁指示的S₁₁的y维度视野。同样地，在距传感器S₁₂的距离z处，传感器S₁₂的y维度视野通过FOV₂来指示。而且，在距传感器S₁₃的距离z处，传感器S₁₃的y维度视野通过FOV₃来指示。长度FOV₁、FOV₂和FOV₃彼此重叠，预示着传感器S₁₁、S₁₂和S₁₃实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV₁、FOV₂和FOV₃也将相同。应该认识到，三个长度FOV₁、FOV₂和FOV₃均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。

参考图18，其示出当前所选目标点T到图像传感器S₁₁、S₁₂和S₁₃上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S₁₁、S₁₂和S₁₃上的投影，n_x1＝n_x2＝n_x3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θ_x＝θ_y。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y和z物理坐标。

目标T的图像在图像传感器S₁₁的平面中，投影到传感器S₁₁内的几何坐标(n_x1，n_y1)处的物理点。更具体地，目标点T到传感器S₁₁上的投影沿y轴线位于n_y1像素，并且沿x轴线位于n_x1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S₁₂的平面中，投影到传感器S₁₂内的几何坐标(n_x2，n_y2)处的物理点。目标T的图像在图像传感器S₁₃的平面中，投影到传感器S₁₃内的几何坐标(n_x3，n_y3)处的物理点。应该认识到，每个传感器内的像素位置(n_xi，n_yi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如，在没有限制的情况下，此类坐标系的原点可以放置在传感器S₁₁的几何中心处。

参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S₁₁中被设置到原点左侧的n_y1像素。所选目标T的投影在S₁₂中被设置到原点左侧的n_y2像素。所选目标T的投影在S₁₃中被设置到原点左侧的n_y3像素。如上所述，为简化说明，假设目标的投影在所有三个传感器中均落在距原点相同的x像素距离处。

参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器S₁₁、S₁₂和S₁₃的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z)物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z处，每个传感器的y方向视野延伸过标记为FOV_i的长度。在一些实施例中，该长度FOV_i对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOV_i。

如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。

确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例

根据模块402.5，为所选目标计算两个或更多个二维(N_x，N_y)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S₁₁的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：

其中：

N为成像传感器的像素维度；

n_x1为目标点T的以在x方向上距S₁₁平面的原点的像素数目来表达的位置；

n_y1为目标点T的以在y方向上距离S₁₁平面的原点的像素数目来表达的位置；

n_y2为目标点T的以在y方向上距离S₁₂平面的原点的像素数目来表达的位置；以及

n_y2为目标点T的以在y方向上距离S₁₂平面的原点的像素数目来表达的位置；

θ为视野的角度。

而且，如果使用传感器S₁₁和传感器S₁₃执行相同的公式并且假定S₁₁和S₁₃之间的间隔为2δ，则我们得到：

其中：

n_x3为目标点T的以在x方向上距S₁₃平面的原点的像素数目表达的位置；以及

n_y3为目标点T的以在y方向上距S₁₃平面的原点的像素数目表达的位置。

因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6)来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5)来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4)来确定。

更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x，y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值ε_y，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以定义不同的可接受公差水平。

考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用n_xi代替n_yi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6的本质是确定传感器S₁₁、S₁₂和S₁₃的平面上的正确目标投影。为此，针对x轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x，y，z)作为模块403和模块404的一部分被计算，如下文所述。

确定目标的物理z位置的示例

如图19所示，根据模块403和404，z坐标的初始估计值z₀用于开始实施计算过程。根据医疗应用，该初始值被自动定义。医疗应用定义要进行可视化的预期世界视图。初始值z₀开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z₀可以远离Q3D内窥镜202的远端208 1mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z₀插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z₀为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平ε_x内的相同值或大致相等的值。

|x₍₃₎-x₍₆₎|＜ε_x (7)

如果(3)和(6)在可接受的公差ε_x以外，那么迭代继续并且尝试z的新估计值。根据一些实施例，新估计值被自动定义。例如，z₁＝z₀+Δ，其中Δ为迭代的步长。通常，在第k次迭代处，z_k＝z_k-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知系统。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡Δ的步长和完成迭代过程所需的计算时间。

出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S₁₁、S₁₂和S₁₃。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。

借助Q3D信息引导内窥镜手术

图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。

决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、视觉队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。

图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。

图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。

图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键)从而输入器械顶端400L、400R的图像的选择。

再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。

图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。

多端口

图25A至图25C为示出根据一些实施例的与Q3D图像传感器阵列相关联的内窥镜101C的示意图，Q3D图像传感器阵列设置在多个不同的位置处，以从多个不同位置的不同视角捕捉解剖结构2502的Q3D图像信息。再次参考图6，根据一些实施例的患者侧系统152包括多个机械手术臂158A至158D。如图5所示，不同的机械臂可以与不同的器械101A至101C相关联，器械101A至101C可以经由不同的端口(port)插入到患者体腔的内部，以参与微创手术程序。如本文所使用的术语“端口”可以指的是提供到患者体腔内的手术部位的入口的自然开口或手术切口。插管(未示出)可以被插入以沿端口的轮廓形成行(line)，从而在到体腔的进入点处用作器械和患者的体组织之间的保护屏障并且用作插入到体腔中的手术器械的引导件。替代地，可以不使用插管。

根据本发明的附加方面，参考图7A至图8所描述的内窥镜成像器系统与图像传感器阵列210相关联，内窥镜成像器系统可以替代地联接到多个手术臂158A至158D中的每个。每个臂可以用于通过不同的端口插入内窥镜。不同的端口在不同的位置处提供到体腔的入口，并且当联接到手术臂中的不同手术臂时，内窥镜具有体腔内场景的不同透视图。因此，通过将内窥镜替代地联接到不同的臂并且将内窥镜通过不同的端口插入体腔中，内窥镜可以用于从不同的视角捕捉Q3D信息。下面的描述在使用单个内窥镜的背景下进行，并且应该理解，类似的任选实施方式可以通过使用两个或更多个内窥镜来实现，每个内窥镜经由不同的端口进入，或者每个内窥镜经由相同的端口进入并且从空间中的不同位置成像。

参考图25A，图像捕捉系统101C(也被称为“内窥镜”)联接到通过第一端口2504插入的第一手术臂158A，第一端口2504提供通过解剖组织壁2510到体腔2512的入口，体腔2512包括将要成像的解剖结构2502。当联接到第一手术臂158A时，图像捕捉系统101C从第一观察视角捕捉第一视野(FOV₁)内的第一图像信息2514。第一图像信息2514用于产生第一Q3D模型2515，第一Q3D模型2515存储在非暂时机器可读存储设备2516中。标为2517的箭头以简化形式指示图9至图19的过程，由此第一图像信息2514被集中，并且用于产生根据一些实施例的第一Q3D模型2515。

在图25B中，图像捕捉系统101C联接到通过第二端口2506插入的第二手术臂158B。当联接到第二手术臂158B时，图像捕捉系统101C从第二视角捕捉第二视野(FOV₂)内的第二图像信息2524。第二图像信息2524用于产生第二Q3D模型2525，第二Q3D模型2525存储在非暂时机器可读存储设备2516中。标为2517的箭头以简化形式指示图9至图19的过程，由此第二图像信息2524被集中，并且用于产生根据一些实施例的第二Q3D模型2525。

在图25C中，图像捕捉系统101C联接到通过第三端口2508插入的第三手术臂158C。当联接到第三手术臂158C时，图像捕捉系统101C从第三视角捕捉第三视野(FOV₃)内的第三图像信息2534。第三图像信息2534用于产生第三Q3D模型2535，第三Q3D模型2535存储在非暂时机器可读存储设备2516中。标为2517的箭头以简化形式指示图9至图19的过程，由此第三图像信息2534被集中，并且用于产生根据一些实施例的第三Q3D模型2535。

图26A至图26C为表示根据一些实施例的使用图25A至图25C的第一图像信息2514、第二图像信息2524和第三图像信息2534产生的第一Q3D模型2515、第二Q3D模型2525和第三Q3D模型2535的示意图。应该注意，在该示例中，每个独特的Q3D模型包括未呈现于其他Q3D模型中的Q3D结构信息，并且每个Q3D模型包括与至少一个其他Q3D模型重叠的信息。例如，如图所示的三角形结构2602仅在第一Q3D模型2515中表示，矩形结构2604仅在第二Q3D模型2525中表示，并且圆形结构2606仅在第三Q3D模型2535中表示。然而，伸长的矩形结构2608-1、2608-2、2608-3与三个Q3D模型重叠。为增强Q3D精确度，来自图26A至图26C的多个Q3D模型可以使用受控的抖动技术来取得，如下面更充分地描述。受控的抖动可以机械地产生，诸如通过控制机器臂158A至158C，或者电子地产生，诸如通过控制阵列透镜的光学性质。

图27为示出图26A至图26C的相应Q3D模型的示例对齐的示意图。应该注意，第一Q3D模型2515、第二Q3D模型2525和第三Q3D模型2535重叠。例如，可以看出伸长的矩形结构2808的第一重叠部分2808-4包括在第一Q3D模型2515和第二Q3D模型2525两者中。而且，例如，可以看出伸长的矩形结构2808的第二重叠部分2808-5包括在第二Q3D模型2525和第三Q3D模型2535两者中。

由Niemeyer等人发明的名称为“在微创手术装置中相机参考控制(CameraReferenced Control in a Minimally Invasive Surgical Apparatus)”的美国专利号US6,424,885B1(提交于1999年8月13日)(“885专利”)公开了使用运动学的系统和方法，所述专利的全部内容以引用方式明确地并入本文，根据一些实施例该专利用在本文中，以映射联接到不同手术臂158A至158C的器械101A至101C的相对位置，使得相对位置已知。再次参考附图25A至图25C，例如，第一手术臂158A与第一笛卡尔坐标系(x1，y1，z1)相关联。第二手术臂158B与第二笛卡尔坐标系(x2，y2，z2)相关联。第三手术臂158C与第三笛卡尔坐标系(x3，y3，z3)相关联。如‘885专利所解释的，基于在与臂中的每个相关联的坐标系之中的已知运动学关系，联接到第一手术臂、第二手术臂和第三手术臂的器械的相对位置已知。换言之，臂(和联接到臂的器械)中的任一个的绝对位置的改变可以改变臂相对于彼此的位置。然而，如‘885专利中所解释的，由于臂(和联接到臂的器械)之间的已知运动学关系，因此臂彼此的相对位置已知。

在Q3D模型的示例对齐中，当联接到第二手术臂158B并且定位成捕捉用于产生第二模型Q3D 2525的第二图像信息2524时，假设图像捕捉系统101C的视角和对应的FOV₂作为参考视角。参考视角的确定包括图像捕捉系统101C相对于与第二手术臂158B相关联的第二笛卡尔坐标系(x2，y2，z2)的取向(u_x2，u_y2，u_z2)的确定。换言之，根据一些实施例，虽然基于整个系统的运动学，第二手术臂158B的相对位置已知，但当内窥镜101C联接到第二臂158B时，内窥镜101C相对于第二臂158B的取向有助于第二视野FOV₂的取向的确定。类似地，当图像捕捉系统101C固定到第一手术臂158A并且定位成捕捉用于产生第一模型Q3D模型2515的第一图像信息2514时，图像捕捉系统101C的第一工作空间视角包括图像捕捉系统101C相对于与第一手术臂158A相关联的第一笛卡尔坐标系(x1，y1，z1)的取向(u_x1，u_y1，u_z1)。同样地，当图像捕捉系统101C固定到第三手术臂158C并且定位成捕捉用于产生第三模型Q3D模型2535的第三图像信息2534时，图像捕捉系统101C的第三工作空间视角包括图像捕捉系统101C相对于与第三手术臂158C相关联的第三笛卡尔坐标系(x3，y3，z3)的取向(u_x3，u_y3，u_z3)。

第一手术臂158A和第二手术臂158B之间的已知运动学关系用于确定FOV₁和FOV₂的相对位置，这进而确定通过第一Q3D模型2515和第二Q3D模型2525表示的相对位置。类似地，第二手术臂158B和第三手术臂158C之间的已知运动学关系用于确定FOV₂和FOV₃的相对位置，这进而确定通过第二Q3D模型2525和第三Q3D模型2535表示的相对位置。根据一些实施例，该相对视野位置信息进而可以用于使第一Q3D模型与第二Q3D模型对齐，如图27所示，其中第一Q3D模型借助第一视野FOV₁内的第一图像信息2514产生，第二Q3D模型借助第二视野FOV₂内的第二图像信息2524产生。类似地，该相对视野位置信息可以用于使第三Q3D模型与第二Q3D模型对齐，如图27所示，其中第三Q3D模型借助第三视野FOV₃内的第三图像信息2534产生，第二Q3D模型借助第二视野FOV₂内的第二图像信息2524产生。

继续上面的示例，替代地，根据一些实施例，出现在第一Q3D模型、第二Q3D模型和第三Q3D模型的一部分中的共同基准点以及几何转换(例如，旋转和平移)可以用于确定FOV₁、FOV₂和FOV₃的相对位置。图28A至图28C为表示根据一些实施例的示例第二Q3D模型和第三Q3D模型的示例旋转(图28A)、平移(图28B)和所得的对齐(图28C)的示意图。参考图28A，所示第二Q3D模型2525和第三Q3D模型2535稍微未对齐。第一基准点2802和第二基准点2804被认为是出现在第二Q3D模型2525和第三Q3D模型2535两者中。继续该示例，根据一些实施例，进行第三Q3D模型2535的取向的旋转和平移转换，以将第一基准点2802和第二基准点2804在第三Q3D模型2535中的出现与它们在第二Q3D模型2525中的出现对齐。

仍然参考图28A中的示例，如果需要，则通过采用由旋转角α限定的旋转矩阵M_x使第三Q3D模型2535围绕其x-轴线旋转。如果需要，则通过采用由旋转角β限定的旋转矩阵M_y使第三Q3D模型2535围绕其y-轴线旋转。最后，如果需要，则通过采用由旋转角γ限定的旋转矩阵M_z使第三Q3D模型2535围绕其z-轴线旋转。旋转矩阵的使用对本领域的技术人员而言众所周知，并且无需在本文中详细描述。如图28B所示，根据一些实施例，这些虚拟旋转的目的和结果是使得转换的第三Q3D模型2535与第二Q3D模型2525旋转地对齐。

所得的总体旋转矩阵M等于：

M＝M_x·M_y·M_z (8)

或者，以三角函数格式：

现在参考图28B中的示例，确定虚拟位置平移以将第三Q3D模型2535移动到与第二Q3D模型2525重叠的位置关系处，使得发生出现在第二模型2525和第三模型2535中的每个中的基准点2802、2804现在重叠，从而指示模型现在被对齐，如图28C所示。几何位置平移通过图28B所示的矢量、T_v来限定。几何平移对本领域的技术人员而言是众所周知的并且无需在本文中详细描述。

从以上解释应该理解，可做出类似的旋转和平移以使第一Q3D模型2515和第二Q3D模型2525对齐。

图29为示出根据一些实施例的示例复合Q3D模型的示意图，其中图25A至图25C的多个Q3D模型拼接在一起。如本文所使用的，“拼接”指的是对齐的重叠Q3D模型的合成以产生无缝的或基本上无缝的复合Q3D模型。将重叠图像信息拼接在一起的技术是众所周知的。参见例如Richard Szeliski的“图像对齐和拼接：指南(Image Alignment and Stitching：A Tutorial)”(Technical Report，MSR-TR-2004-92，微软公司，微软研究院，最新更新于2006年12月10日)，其公开了可以用于将多个Q3D模型拼接在一起的图像对齐和图像拼接算法。

在根据一些实施例的图像捕捉期间，用于捕捉图像的内窥镜101C的观察视角以受控样式被“抖动”。在上下文中，“抖动”意味着在两个或更多个实际观察点、取向或组合的观察点和取向之间进行调整或移动。在每个此观察点或取向处，Q3D内窥镜从目标区域捕捉图像信息，以便增强基于捕捉的图像信息所产生的Q3D模型的分辨率和精确度。图30A至图30C为示出根据一些实施例的在三个不同示例抖动位置中以捕捉目标区域的三个不同图像观察点的内窥镜101C的示意图。为到达不同的抖动位置，按照已知的较小量移动内窥镜101C，使得不同的抖动位置或取向相对于彼此已知。不同的内窥镜位置相差较小的距离，例如小于5mm。连续取向之间的较小的相对距离确保对应的3D图像中的足够的冗余信息。冗余用于改善Q3D模型的精确度。

内窥镜101C的受控抖动增加对应于目标感兴趣区域的空间体积内的点的坐标(x，y，z)的计算精确度。由于向以上参考图9至图19所描述的过程提供来自附加地或稍微地改变的视角的附加数据，所以精确度增加。具体地，受控抖动帮助图9的过程更精确地在步骤402至步骤404处发现目标。这可以通过改善发现在图10中的步骤402.3至402.5处所描述的最佳匹配的精确度来实现。内窥镜101C的抖动受控的事实从稍微不同的角度提供感兴趣的目标场景的视图。这相当于传感器S_ij之间距离的虚拟增加。受控抖动可以通过控制支撑内窥镜101C的机器臂158C的硬件来实现，例如如参考图5所示。替代地，如果使用具有电子可调整的光学性质的透镜来构建Q3D内窥镜101C，则抖动可以被电子地引入。例如，根据Hassan firoozi等人的“用于3D内窥镜的液晶透镜阵列(Liquid crystal lens array fora 3D endoscope)”(Proceedings SPIE 9117，2014年5月9日)，可以采用液晶透镜阵列。此类透镜如果与内窥镜101C结合使用，则可以使其光学性质通过控制电压信号的调制进行调整。因此可以通过基于已知图案修改控制电压来引入光学抖动。例如，可以调整此类透镜的光学轴。该行为具有机械地抖动101C的取向的等效作用。无论是通过第三手术臂158C的运动进行的机械抖动，还是通过液晶透镜的控制电压的调制进行的电子抖动，在计算目标点的坐标(x，y，z)中均具有增强精确度的相同结果。

图31为根据一些实施例的捕捉多视角Q3D模型的过程3100的示意性流程图。应该认识到，系统152可以经配置实施过程3100中的方框或步骤中的一个或多个。在方框3102中，选择手术臂。为了解释的方便和清楚起见，下面的图表将参考上面的示例系统和Q3D模型来解释，但是应该理解，原则更广泛地适用。在方框3104中，图像捕捉系统101C固定到所选手术臂。假设，例如首先选择第一手术臂158A以使图像捕捉系统固定到其上。在方框3106中，固定到所选手术臂158A的图像捕捉系统通过体腔壁中的第一端口插入到具有以下视角的位置，即从该视角基于例如第一视野内FOV₁内的第一图像信息2514使用内窥镜产生第一Q3D模型2515。根据一些实施例，在方框3106中，确定图像捕捉系统101C相对于与第一手术臂158A相关联的第一笛卡尔坐标系(x1，y1，z1)的取向(u_x1，u_y1，u_z1)，并且将该取向存储于计算机可读存储设备(未示出)中。在方框3108中，用于生成第一Q3D模型2515的信息来自第一视野FOV₁，如图25A所表示，并且存储于计算机可读存储设备(未示出)中。决定模块3110确定存在附加手术臂和对应的端口用于获得Q3D模型，并且因此控制流程再次到步骤3102，并且选择下一个手术臂。

继续上面的示例，假设在第二次通过方框3102中选择第二手术臂158B。

在第二次通过方框3104中，固定到所选手术臂158B的图像捕捉系统通过体腔壁中的第二端口插入到具有以下视角的位置，即从该视角基于例如第二视野FOV₂内的第二图像信息2524使用内窥镜产生第二Q3D模型2525。

根据一些实施例，在第二次通过方框3106中，确定图像捕捉系统101C相对于与第二手术臂158B相关联的第二笛卡尔坐标系的取向(u_x2，u_y2，u_z2)，并且将该取向存储于计算机可读存储设备中。

在第二次通过方框3108中，从第二视野FOV₂中捕捉用于产生第二Q3D模型2525的信息，如图25B所表示，并且将该信息存储于计算机可读设备中。

仍然继续上面的示例，决定步骤3110确定存在另外的手术臂和对应的端口用于获得Q3D模型，并且因此，控制流程再次到步骤3102，并且选择下一个手术臂。假设在第三次通过方框3102中选择第三手术臂158C。在第三次通过方框3104中，固定到所选第三手术臂158C的图像捕捉系统通过体腔壁中的第三端口插入到具有以下视角的位置，即从该视角基于例如第三视野FOV₃内的第三图像信息2534使用内窥镜产生第三Q3D模型2535。根据一些实施例，在第三次通过方框3106中，确定图像捕捉系统101C相对于与第三手术臂158C相关联的第三笛卡尔坐标系的取向(u_x3，u_y3、u_z3)，并且将该取向存储于计算机可读存储设备中。在方框3108中，从第三视野FOV₃中捕捉用于生成第三Q3D模型2535的信息，如图27C所表示，并且将该信息存储于计算机可读存储设备中。

接下来，根据上面的示例，决定步骤3110确定不存在附加手术臂和对应的端口用于获得Q3D模型，并且因此，控制流程到步骤3012。

替代地，参考图25A至图25C，Q3D内窥镜可以使用相同但定位在不同的端口2504、2506或2508中的臂例如158A中进行操纵。根据一些实施例，内窥镜在第一笛卡尔坐标系中的取向(u_x1，u_y1，u_z1)和内窥镜101在第二笛卡尔坐标系中的取向(u_x2，u_y2，u_z2)之间的已知运动学关系用于使第一Q3D模型和第二Q3D模型对齐，如图27所表示。内窥镜101在第二笛卡尔坐标系中的取向(u_x2，u_y2，u_z2)和内窥镜101在第三笛卡尔坐标系中的取向(u_x3，u_y3，u_z3)之间的已知运动学关系用于使第二Q3D模型和第二Q3D模型对齐，如图27所表示。

替代地，根据一些实施例并且如上面参考图28A至图28C所解释的，在第一Q3D模型、第二Q3D模型和第三Q3D模型的一部分中，或者在对应模型对中发现的共同基准点可以用于使模型对齐。如上所述，几何转换可以用于实现呈现于不同Q3D模型中的共同基准点的对齐的最佳匹配。

一旦Q3D模型对齐，方框3114就将第一Q3D模型、第二Q3D模型和第三Q3D模型拼接在一起，如图29所表示。一旦在方框3114中被创建，则组合并扩展的Q3D模型可以通过模块407来存储，或者通过模块408以3D来显示，这二者均参考图9。Q3D模型可以基于图32所描述的过程以3D来显示。出于该目的可以使用许多3D视频算法和硬件实施方式。应该理解，以3D进行显示包括立体显示和真实3D图像显示，其中立体显示创建三维中的观察错觉，真实3D图像显示创建占据三个空间维度的图像。该描述依据立体3D显示进行描述，并且本领域的技术人员将理解如何类似地创建加上必要变更的真实3D图像。

图32为示出根据一些实施例的处理器的细节的示意图，处理器用3D透视图将Q3D模型显示在3D显示器上。计算机模块3202配置包括视频处理器104、控制器106和显示驱动器109的图8的系统，以将Q3D模型分成右眼视图3204R和左眼视图3204L，规定平均人类瞳孔间距(IPD)为62mm至65mm。为实现该行为，应用体视学和人类IPD的已知细节。根据一些实施例，模块3206配置3D显示驱动器109的3D视频控制器106，以按已知的帧频在向左眼3208L提供视频帧和向右眼3208R提供帧之间交替地切换，以便给予观察者3D场景的印象。图32所描述的方法采用3D观察眼镜，诸如呈现于诸如图4至图6中所描述的远程操作手术系统中的那些。然而，可以使用其他3D视频显示机制。例如，授予Lipton的美国专利No.4,562,463(提交于1981年5月15日)和授予Naglele的美国专利No.6,008,839(提交于1995年11月27日)提供了附加的实施细节，并且这些专利的全部内容以引用方式并入本文。在被显示之后，用户可以根据关于图23和图24所提供的描述来操纵组合的Q3D模型。进一步的操纵可以包括其他器械之间或器械和解剖结构之间的距离的定量测量。

根据本发明的实施例的上述描述和附图仅说明本发明的原理。例如，可使用单个端口而不是使用多个端口来获得多个不同的视角，其中单个内窥镜动态地重新定位以从不同视角捕捉信息。例如，安装在内窥镜远端上的成像系统可以动态地转向以从各个视角进行成像，其中内窥镜安装在手术臂腕部机构上。因此，应该理解，本领域的技术人员在不背离所附权利要求定义的本发明的精神和范围的情况下，可以对本实施例进行各种修改。

Claims

1.一种用于手术场景的3D成像的系统，其包括：

一个或多个定量三维内窥镜，即一个或多个Q3D内窥镜，其可操作以使体腔内的解剖结构成像；

至少一个操纵器，其经配置通过第一端口并且通过至少第二端口插入所述一个或多个Q3D内窥镜中的一个，所述第一端口和所述第二端口各自提供到所述体腔的入口；以及

至少一个处理器，其经配置：

基于在所述一个或多个Q3D内窥镜中的一个在所述第一端口中捕捉的第一图像内的提供采样多样性的重叠视野产生第一Q3D模型；

基于在所述一个或多个Q3D内窥镜中的一个在所述第二端口中捕捉的第二图像内的提供采样多样性的重叠视野产生第二Q3D模型；

其中所述第一Q3D模型和所述第二Q3D模型重叠；以及

将所述第一Q3D模型和所述第二Q3D模型组合在一起。

2.根据权利要求1所述的系统，

其中所述组合在一起包括：

当所述一个或多个Q3D内窥镜中的一个处于所述第一端口中时，确定所述一个或多个Q3D内窥镜中的所述一个相对于第一坐标系的第一位置；

当所述一个或多个Q3D内窥镜中的一个处于所述第二端口中时，确定所述一个或多个Q3D内窥镜中的一个相对于第二坐标系的第二位置；

使用所述一个或多个Q3D内窥镜中的所述一个的所述第一位置和所述一个或多个Q3D内窥镜中的所述一个的所述第二位置之间的运动学关系，以使所述第一Q3D模型和所述第二Q3D模型对齐。

3.根据权利要求1所述的系统，

其中所述组合在一起包括：

识别所述第一Q3D模型和所述第二Q3D模型内的共同基准点；以及

彼此几何地转换所述第一Q3D模型和所述第二Q3D模型的相对位置，以便使所述识别的共同基准点对齐。

4.根据权利要求1所述的系统，其进一步包括：

3D显示器，其经配置显示扩展的3D模型。

5.根据权利要求1所述的系统，其进一步包括：

操纵所述Q3D模型的装置。

6.根据权利要求5所述的系统，其中所述操纵所述Q3D模型的装置经配置执行第一手术器械和第二手术器械之间或者手术器械和解剖结构之间的距离的定量测量。

7.根据权利要求1所述的系统，其进一步包括：

控制所述至少一个操纵器以使所述一个或多个Q3D内窥镜中的一个的位置抖动到连续位置的装置。