CN110740676B - 内窥镜系统、内窥镜图像处理方法以及记录介质 - Google Patents

Abstract

内窥镜系统具有：内窥镜(1)，其对被检体内进行摄像而取得图像；三维位置估计部(22)，其根据图像估计被检体内的对象部分的三维位置；以及判定部(27)，其根据内窥镜系统的规定的参数，判定由三维位置估计部(22)估计出的三维位置的可靠度。

Description

内窥镜系统、内窥镜图像处理方法以及记录介质

技术领域

本发明涉及根据由内窥镜取得的图像估计被检体内的对象部分的三维位置的内窥镜系统、内窥镜图像处理方法以及记录介质。

背景技术

以往提出了根据由内窥镜取得的图像估计被检体内的对象部分的三维位置的技术。

例如，在日本特开2014-161355号公报中记载了一种内窥镜装置，该内窥镜装置包括：图像取得部，其通过摄像部的摄像而取得包含被摄体的像的摄像图像；距离信息取得部，其取得基于从摄像时的摄像部到被摄体的距离的距离信息；明亮度改善部，其根据距离信息对摄像图像进行明亮度调整处理；以及图像强调部，其根据距离信息对明亮度调整处理后的摄像图像进行强调被摄体的构造的强调处理。

此外，在日本特开2014-144034号公报中记载了一种内窥镜装置，该内窥镜装置包括：图像取得部，其取得包含被摄体的像的摄像图像；距离信息取得部，其取得基于从对该摄像图像进行摄像时的摄像部到被摄体的距离的距离信息；凹凸信息取得部，其根据距离信息取得被摄体的凹凸信息作为提取凹凸信息；判定部，其按照摄像图像的每个规定区域判定是否除外或抑制提取凹凸信息；以及凹凸信息修正部，其将判定为除外或抑制的规定区域的提取凹凸信息除外，或者抑制凹凸的程度。

进而，在日本特开2016-64281号公报中记载了一种内窥镜装置，该内窥镜装置包括：图像取得部，其取得包含对被摄体照射来自光源部的照明光而得到的被摄体像的摄像图像；关注区域设定部，其根据摄像图像计算特征量，根据具有规定的特征量的区域设定关注区域；以及调光控制部，其根据所设定的关注区域对照明光的光量进行调光控制。

例如在估计被检体内的对象部分的形状时，使用上述这种根据图像估计出的三维位置。但是，由于各种噪声等的影响，有时估计出的三维位置混合存在有估计精度高的部分和估计精度低的部分。当根据这些各种估计精度的三维位置估计被检体内的对象部分的形状时，有时无法正确估计形状。此外，关于根据多次观察同一对象部分而得到的多个图像估计出的三维位置，有时根据图像估计出的三维位置不一致，无法根据多个图像正确地再现形状。

本发明是鉴于上述情况而完成的，其目的在于，提供能够提高估计出的三维位置的可靠性的内窥镜系统、内窥镜图像处理方法以及记录介质。

发明内容

用于解决问题的手段

本发明的一个方式的内窥镜系统具有：内窥镜，其对被检体内进行摄像而取得图像；三维位置估计部，其根据由所述内窥镜取得的规定的图像估计所述被检体内的对象部分的三维位置；判定部，其针对由所述三维位置估计部估计出的所述三维位置，设定与在取得所述规定的图像时确定的内窥镜系统的规定的参数对应的可靠度；以及三维图像生成部，在存在针对所述对象部分的多个三维位置的情况下，选择所述多个三维位置中可靠度最高的三维位置作为规定的三维位置，根据由所述判定部设定的所述可靠度来选择所述多个三维位置中的规定的三维位置，根据所选择的所述规定的三维位置生成三维形状图像。

本发明的另一个方式的内窥镜图像处理方法具有以下步骤：三维位置估计步骤，根据通过内窥镜对被检体内进行摄像而取得的规定的图像，估计所述被检体内的对象部分的三维位置；判定步骤，针对通过所述三维位置估计步骤估计出的所述三维位置，设定与在取得所述规定的图像时确定的内窥镜系统的规定的参数对应的可靠度；以及图像生成步骤，在存在针对所述对象部分的多个三维位置的情况下，选择所述多个三维位置中可靠度最高的三维位置作为规定的三维位置，根据通过所述判定步骤设定的所述可靠度来选择所述多个三维位置中的规定的三维位置，根据所选择的所述规定的三维位置生成三维形状图像。

本发明的另一个方式的计算机可读取的记录介质存储使计算机执行的内窥镜图像处理程序，其特征在于，在通过处理器执行所述内窥镜图像处理程序时，执行以下步骤：三维位置估计步骤，根据通过内窥镜对被检体内进行摄像而取得的规定的图像，估计所述被检体内的对象部分的三维位置；判定步骤，针对通过所述三维位置估计步骤估计出的所述三维位置，设定与在取得所述规定的图像时确定的内窥镜系统的规定的参数对应的可靠度；以及图像生成步骤，在存在针对所述对象部分的多个三维位置的情况下，选择所述多个三维位置中可靠度最高的三维位置作为规定的三维位置，根据通过所述判定步骤设定的所述可靠度来选择所述多个三维位置中的规定的三维位置，根据所选择的所述规定的三维位置生成三维形状图像。

附图说明

图1是示出本发明的实施方式1中的内窥镜系统的结构的框图。

图2是示出上述实施方式1中的内窥镜系统的作用的流程图。

图3是示出上述实施方式1的内窥镜系统中根据亮度设定的可靠度的一例的图。

图4是示出上述实施方式1的内窥镜系统中根据亮度更加简易地设定的可靠度的例子的图。

图5是示出上述实施方式1的内窥镜系统中的三维位置删除的处理的流程图。

图6是示出上述实施方式1中、利用直线连结三维位置和内窥镜的前端的位置的状况的图，该三维位置是根据内窥镜的前端位于某个位置时取得的图像估计出的三维位置。

图7是示出上述实施方式1的内窥镜系统中的三维位置删除的处理的变形例的流程图。

图8是示出本发明的实施方式2中的内窥镜系统的结构的框图。

图9是示出上述实施方式2中的内窥镜系统的结构的变形例的框图。

图10是示出上述实施方式2中的内窥镜系统的作用的流程图。

图11是示出上述实施方式2的内窥镜系统中的移动时三维位置删除的处理的流程图。

图12是示出上述实施方式2中、被检体内的内窥镜取得图像的摄像位置与对象部分的位置关系的例子的图。

图13是示出上述实施方式2中、各摄像位置处取得的各图像中的对象部分、根据各图像分别估计出的三维位置和综合的总三维位置的图表。

图14是示出上述实施方式2中、从内窥镜的前端的位置对根据第1摄像位置取得的图像估计出的三维位置引直线的状况的图。

图15是示出上述实施方式2中、根据图14中引出的直线进行三维位置删除的处理的例子的图。

图16是示出上述实施方式2中、从内窥镜的前端的位置对根据第2摄像位置取得的图像估计出的三维位置引直线的状况的图。

图17是示出上述实施方式2中、根据图16中引出的直线进行三维位置删除的处理的例子的图。

图18是示出上述实施方式2中、从内窥镜的前端的位置对根据第3摄像位置取得的图像估计出的三维位置引直线的状况的图。

图19是示出上述实施方式2中、根据图18中引出的直线进行三维位置删除的处理的例子的图。

图20是示出本发明的实施方式3中的内窥镜系统的作用的流程图。

图21是示出上述实施方式3的内窥镜系统中的三维位置删除的处理的流程图。

图22是示出上述实施方式3中、根据针对关注三维位置设定的可靠度设定的附近范围的大小的一例的线图。

图23是示出上述实施方式3中、根据针对三维位置设定的可靠度设定的附近范围的一例的线图。

图24是示出本发明的实施方式4中、根据评价值变化量设定三维位置的可靠度的例子的线图。

图25是示出上述实施方式4中、根据映出取得三维位置的对象部分的像素与图像中的光学中心之间的距离设定三维位置的可靠度的例子的线图。

图26是示出上述实施方式4中、根据映出取得三维位置的对象部分的像素的色相设定三维位置的可靠度的例子的线图。

图27是示出上述实施方式4中、根据内窥镜的前端的移动速度设定三维位置的可靠度的例子的线图。

图28是示出上述实施方式4中、根据内窥镜的前端的位置的计测可靠度设定三维位置的可靠度的例子的线图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

[实施方式1]

图1～图7示出本发明的实施方式1，图1是示出内窥镜系统的结构的框图。

该内窥镜系统具有内窥镜1、处理系统2、光源3和显示装置4。另外，在图1所示的例子中，设处理系统2和光源3是分体的，但是，也可以是一体的。

内窥镜1是对呈三维形状的被检体内进行摄像而取得图像的图像取得装置，具有摄像部11、照射部12和操作部13。其中的摄像部11和照射部12例如配置于内窥镜1的插入部的前端1a(参照图6等)的部分，操作部13与插入部的近前侧连接设置。

另外，在本实施方式中，作为呈三维形状的被检体，举例肾脏的肾盂肾盏，但是不限于此，只要是能够进行内窥镜观察的被检体，则能够广泛应用。

照射部12朝向被检体的内部照射从光源3经由例如光导传输的照明光。但是，也可以将照射部12构成为LED等发光源，构成为通过从光源3供给的电力发出照明光。

摄像部11具有摄像元件11a，通过物镜光学系统对被照射照明光的被检体的内部的光学像进行成像，通过摄像元件11a进行光电转换，由此进行摄像，生成并取得摄像图像。

操作部13用于进行图像的拍摄，在插入部设置有弯曲部的情况下，用于进行弯曲部的弯曲操作等内窥镜1的各种操作。

处理系统2对内窥镜1和光源3进行控制，并且对从内窥镜1取得的摄像图像进行处理，生成显示用的图像数据。进而，处理系统2根据所取得的图像估计被检体内的三维位置D3P(参照图6等)，根据估计出的三维位置D3P生成被检体内的三维图像作为例如引导图像，将其输出到显示装置4。

该处理系统2具有图像处理部21、三维位置估计部22、三维图像生成部23、图像合成输出部24和控制部25。

图像处理部21对从摄像部11输出的摄像图像进行例如同时化处理(或去马赛克处理)、白平衡处理、彩色矩阵处理、伽马转换处理等各种图像处理，生成内窥镜图像。

三维位置估计部22根据图像(由摄像元件11a取得的摄像图像或由图像处理部21进行处理后的内窥镜图像)，估计被检体内的对象部分的三维位置D3P。

具体而言，三维位置估计部22根据由后述距离估计部26估计出的从内窥镜1的前端1a到被检体的对象部分的距离、以及图像中的对象部分的位置(图像中的映出对象部分的像素的位置)，估计对象部分的三维位置D3P。

这里，内窥镜1的物镜光学系统的结构是已知的，预先得知视场角等信息。此时，能够根据由内窥镜1取得的图像中的映出对象部分的像素的位置，得知从内窥镜1的前端1a观察到的对象部分的方位。因此，能够得知从内窥镜1的前端1a观察到的对象部分的距离和方位、即对象部分相对于内窥镜1的相对三维位置(相对坐标系中的三维位置)。

此外，在本实施方式中，假设内窥镜1相对于被检体配置成固定的位置关系(作为一例为腹腔镜等)，即，设处置室内等绝对坐标系中的内窥镜1自身的位置和方位是已知的。

这样，通过三维位置估计部22估计绝对坐标系中的对象部分的三维位置D3P。

三维图像生成部23根据由三维位置估计部22估计出的三维位置D3P，生成与可靠度对应的三维形状图像。

更具体而言，三维图像生成部23根据由三维位置估计部22估计出的被检体的多个三维位置D3P，使用例如滚球(Ball-Pivoting)算法等公知方法计算多边形，生成由多个多边形构成的三维形状图像(该三维形状图像可以通过多边形的结构仅示出形状，进而，也可以对各多边形粘贴内窥镜图像)。

图像合成输出部24将由图像处理部21生成的内窥镜图像和由三维图像生成部23生成的三维形状图像合成为一个图像，将其输出到显示装置4。由此，用户能够借助显示装置4，一边将三维形状图像作为引导，一边进行内窥镜1的插入和拔出，通过内窥镜图像观察被检体内并进行处置等。

控制部25与上述图像处理部21、三维位置估计部22、三维图像生成部23和图像合成输出部24连接，对处理系统2的整体进行控制，并且还进行内窥镜1的控制和光源3的接通/断开、光量等的控制。

该控制部25具有距离估计部26和判定部27。

距离估计部26根据图像估计内窥镜1与被检体的距离。这里，作为距离估计部26根据图像估计从内窥镜1的前端1a到被检体的对象部分的距离的方法的一例，举出以下方法。

当假设被检体的各部位的光反射率相同时，关于从照射部12照射且在被检体反射而返回的返回光，与内窥镜1的前端1a之间的距离越远，则该返回光越暗，相反，距离越近，则该返回光越亮。因此，能够根据图像的亮度(图像中映出的对象部分的亮度)估计与被检体的对象部分之间的距离。

另外，这里说明了根据图像的亮度估计内窥镜1与被检体的距离的方法，但是不限于此。例如，在内窥镜1具备具有视差的多个摄像部的结构的情况下，也可以根据从多个摄像部得到的多个图像的相位差计算内窥镜1与被检体的距离。或者，也可以构成为内窥镜系统具有基于图案照射方式或TOF(Time Of Flight)方式等的距离图像传感器，计算内窥镜1与被检体之间的距离。

判定部27根据该内窥镜系统的规定的参数，判定由三维位置估计部22估计出的三维位置D3P的可靠度。这里，如本实施方式和后述实施方式中说明的那样，规定的参数包含图像中映出的对象部分的亮度、对向被检体照射的照明光的光量进行控制的光源光阑31的光源光阑值、取得图像的摄像元件11a的增益、图像中映出的对象部分相对于图像的光学中心的位置、图像中映出的对象部分的色相、内窥镜1的前端1a的移动速度、和后述计测部的计测值的可靠度中的至少一方。

光源3产生向被检体照射的照明光，具有光源光阑31，该光源光阑31通过限制光的通过范围来控制照明光的光量。

显示装置4以能够观察的方式显示从图像合成输出部24输出的包含内窥镜图像和三维形状图像的图像。

接着，图2是示出内窥镜系统的作用的流程图。

在内窥镜1设置于被检体内的规定位置和规定方位且确定了位置方位后，当开始进行该处理后，控制部25设定光源3的光源光阑31的光源光阑值、针对从摄像部11输出的摄像图像的增益等拍摄条件，以使得图像的明亮度成为预先确定的初始值的明亮度(步骤S1)。

然后，在所设定的拍摄条件下通过摄像元件11a进行曝光，从摄像部11输出所生成的摄像图像，由此取得图像(步骤S2)。处理系统2通过图像处理部21对所取得的摄像图像进行处理，生成内窥镜图像。

距离估计部26根据摄像图像或内窥镜图像，例如使用图像上的所决定的位置的像素的亮度，估计从内窥镜1的前端1a到像素中映出的被检体内的对象部分的距离。这里，一般而言，所决定的位置在图像上设定为多个部位，因此，根据1张图像估计出的与对象部分之间的距离也为多个。

三维位置估计部22根据由距离估计部26估计出的与对象部分之间的距离、映出对象部分的像素在图像内的位置、以及内窥镜1的规定位置和规定方位，估计对象部分的三维位置D3P(步骤S3)。

判定部27判定由三维位置估计部22估计出的三维位置D3P的可靠度并进行设定(步骤S4)。

这里，图3是示出根据亮度设定的可靠度的一例的图，图4是示出根据亮度更加简易地设定的可靠度的例子的图。

在本实施方式中，根据估计距离时使用的像素的亮度，如图3或图4所示，判定三维位置D3P的可靠度并进行设定。即，在本实施方式中，作为内窥镜系统的规定的参数，使用图像中映出的对象部分的亮度。

首先，图3示出根据亮度使可靠度连续变化的例子。另一方面，图4成为具有根据亮度使可靠度不连续变化的部分的例子，利用折线近似图3所示的曲线，由此实现处理的简易化。

在这些图3和图4的任意例子中，在像素的亮度进入低亮度域的情况下，给出低可靠度，在进入中亮度域的情况下，给出高可靠度，在进入高亮度域的情况下，给出随着亮度提高而单调减小的可靠度。

另外，图3和图4所示的可靠度曲线等是一例，因此，根据被检体和拍摄环境等构建适当的可靠度曲线等即可。

这样，针对由三维位置估计部22估计出的全部三维位置D3P设定可靠度后，控制部25判定是否进入形状计算的处理(步骤S5)。

这里，在判定为还未进入形状计算的处理的情况下，控制部25使拍摄条件、即光源光阑31的光源光阑值和针对摄像图像的增益等的值变化(步骤S6)。另外，此时，设内窥镜1的位置和方位维持上述规定位置和规定方位而没有变化。

然后，在通过步骤S6变化后的拍摄条件下，进行上述步骤S2的处理，取得图像。通过反复多次进行这种步骤S2～S6的处理，取得拍摄条件不同的多个图像，根据所取得的多个图像，针对被检体内的同一对象部分估计多个三维位置D3P。

在拍摄条件不同的图像达到必要数量后，在步骤S5中判定为进入形状计算的处理，如后面参照图5说明的那样，由三维图像生成部23进行根据可靠度删除针对同一对象部分估计出的多个三维位置D3P的三维位置删除的处理(步骤S7)。

这样，根据删除可靠度低的三维位置D3P后保留的三维位置D3P，如上所述，三维图像生成部23例如使用滚球(Ball-Pivoting)算法计算多边形，由此生成由多个多边形构成的三维形状图像(步骤S8)。

即，三维图像生成部23在存在针对对象部分的多个三维位置D3P的情况下，删除可靠度最高的三维位置D3P以外的三维位置D3P，根据删除后保留的三维位置D3P生成三维形状图像。

然后，判定是否结束该处理(步骤S9)，在判定为不结束的情况下，返回步骤S2，进行下一个图像取得，另一方面，在判定为结束的情况下，结束该处理。

接着，图5是示出内窥镜系统中的三维位置删除的处理的流程图。

当开始进行该处理后，设定连结内窥镜1的前端1a的位置(参照图6)和多个三维位置D3P的每一个三维位置D3P的直线，其中，该多个三维位置D3P是根据在前端1a的位置取得的图像估计出的(步骤S11)。

另外，直线不限于具有无限长度的直线，也可以是具有有限长度的线段(设内窥镜1的前端1a的位置和三维位置D3P为两端的线段)，还可以是从内窥镜1的前端1a的位置和三维位置D3P中的任意一方朝向另一方的向量。

图6是示出利用直线连结三维位置D3P和内窥镜1的前端1a的位置的状况的图，其中，该三维位置D3P是根据在内窥镜1的前端1a位于某个位置时取得的图像而估计出的。

在结束步骤S11的处理后，接着，判定是否存在还未进行将一个三维位置D3P设为关注位置的处理的未关注三维位置D3P(步骤S12)。

这里，在判定为存在未关注三维位置D3P的情况下，将未关注三维位置D3P中的例如可靠度最高的一个三维位置D3P设定为关注三维位置D3P(步骤S13)。

另外，这里将可靠度最高的一个三维位置D3P设定为关注三维位置D3P是为了高效地进行处理，因此，如果不要求高处理效率，则不限于按照可靠度从高到低的顺序进行处理。

判定在连结内窥镜1的前端1a的位置和关注三维位置D3P的直线上是否存在关注三维位置D3P以外的其他三维位置D3P(步骤S14)。另外，在数学上的点和直线、即大小无限小的点和粗细无限小的直线的组合中，在直线上存在多个点是极其稀少的。因此，在该判定中，设其他三维位置D3P和直线中的至少一方为有限大小(既不是点也不是面的三维的立体)进行处理。

作为有限大小进行处理的第1方法是如下方法：针对以关注三维位置D3P为中心的一定大小的区域(例如一定半径的球区域)，计算将内窥镜1的前端1a的位置作为顶点而相切的圆锥面，设直线是该圆锥面内的立体区域(圆锥)进行处理，判定圆锥是否与数学上的点即其他三维位置D3P相交。

此外，第2方法是如下方法：设连结内窥镜1的前端1a的位置和关注三维位置D3P的直线是具有一定半径的圆柱进行处理，判定圆柱是否与数学上的点即其他三维位置D3P相交。

进而，第3方法是如下方法：连结内窥镜1的前端1a的位置和关注三维位置D3P的直线是数学上的直线，但是，设其他三维位置D3P是具有一定大小的区域(例如具有一定半径的球区域)进行处理。

另外，也可以组合上述第1～第3方法。例如，在第3方法中，作为数学上的直线进行处理，但是，取而代之，也可以使用第1方法中说明的圆锥或第2方法中说明的圆柱，判定是否与具有一定大小的其他三维位置D3P相交。

而且，在上述第1～第3方法中，设其他三维位置D3P或直线的大小为固定，但是不限于此，也可以根据三维位置D3P的可靠度设定大小。例如，在第1或第2方法中，根据与关注三维位置D3P的可靠度对应的半径计算圆锥或圆柱即可。此外，在第3方法中，根据其他三维位置D3P的可靠度确定例如球区域的半径即可。这里，作为可靠度和半径(大小)的具体关系，例如可以在可靠度高的情况下增大半径，在可靠度低的情况下减小半径(即半径相对于可靠度的高度单调增加)。

这里，在判定为存在其他三维位置D3P的情况下，判定关注三维位置D3P的可靠度是否为其他三维位置D3P的可靠度以下(步骤S15)。

然后，在判定为关注三维位置D3P的可靠度大于其他三维位置D3P的可靠度的情况下，删除其他三维位置D3P(步骤S16)。

接着，判定在关注的直线上是否还存在其他三维位置D3P(步骤S17)。

这里，在判定为还存在其他三维位置D3P的情况下，返回步骤S15，根据关注三维位置D3P的可靠度和还存在的其他三维位置D3P的可靠度，进行上述这种可靠度的比较和三维位置D3P的删除的处理。

另一方面，在步骤S15中判定为关注三维位置D3P的可靠度为其他三维位置D3P的可靠度以下的情况下，删除关注三维位置D3P(步骤S18)。

这样，三维图像生成部23将由三维位置估计部22估计出的多个三维位置D3P中的一个三维位置D3P设定为关注三维位置D3P，在取得作为估计关注三维位置D3P的基础的图像时的内窥镜1的前端1a的位置和关注三维位置D3P之间引直线，将位于直线上的其他三维位置D3P的可靠度与关注三维位置D3P的可靠度进行比较，删除关注三维位置D3P和其他三维位置D3P中的可靠度低的一方。

另外，在步骤S15、S16、S18中，在可靠度相等的情况下删除关注三维位置D3P而保留其他三维位置D3P，但是，也可以与其相反，以删除其他三维位置D3P而保留关注三维位置D3P的方式进行处理。或者，也可以新计算关注三维位置D3P和可靠度与关注三维位置D3P相等的其他三维位置D3P的平均三维位置D3P，以保留计算出的平均三维位置D3P而删除关注三维位置D3P和其他三维位置D3P双方的方式进行处理。这样，删除可靠度低的关注三维位置D3P是处理的基本，但是，当存在可靠度相等的多个三维位置D3P时，能够适当决定删除哪个而保留哪个。

在进行了步骤S18的处理的情况下，在步骤S17中判定为不存在其他三维位置D3P的情况下、或在步骤S14中判定为直线上不存在其他三维位置D3P的情况下，返回步骤S12，进行上述这种处理。

这样，在步骤S12中判定为不存在未关注三维位置D3P的情况下，从该处理返回图2所示的处理。

接着，图7是示出内窥镜系统中的三维位置删除的处理的变形例的流程图。

当开始进行该处理后，进行上述步骤S12和步骤S13的处理。但是，在步骤S13中，可以将任意的未关注三维位置D3P设定为关注三维位置D3P，不需要按照可靠度从高到低的顺序进行设定。

然后，判定关注三维位置D3P的可靠度是否小于阈值(步骤S15A)。该判定中使用的阈值可以是预先设定的固定值，也可以是根据全部三维位置D3P的可靠度的统计而计算出的值。

这里，在判定为关注三维位置D3P的可靠度小于阈值的情况下，进行步骤S18的处理，删除关注三维位置D3P。

在进行步骤S18的处理或在步骤S15A中判定为关注三维位置D3P的可靠度为阈值以上的情况下，返回步骤S12，进行上述这种处理。

这样，在步骤S12中判定为不存在未关注三维位置D3P的情况下，从该处理返回图2所示的处理。

另外，根据删除可靠度低的三维位置D3P的而保留的三维位置D3P，三维图像生成部23计算多边形，生成三维形状图像，但是，在保留的三维位置D3P中也存在可靠度的大小。因此，三维图像生成部23在生成三维形状图像时，也可以生成使颜色在由高可靠度的三维位置D3P构建的多边形和由低可靠度的三维位置D3P构建的多边形中不同(即，使每个部分的颜色根据可靠度而不同)的三维形状图像。由此，用户能够针对三维形状图像中的形状的可靠性高的部分和可靠性低的部分，一目了然地简单地识别三维形状图像。

根据这种实施方式1，根据内窥镜系统的规定的参数，判定由三维位置估计部22估计出的三维位置D3P的可靠度，因此，能够提高估计出的三维位置D3P的可靠性。

此时，三维图像生成部23生成与可靠度对应的三维形状图像，由此，能够观察提高了可靠性的三维形状图像。

特别是在存在针对对象部分的多个三维位置D3P的情况下，删除可靠度最高的三维位置D3P以外的三维位置D3P，根据删除后保留的三维位置D3P生成三维形状图像，由此，能够再现三维形状，而不受估计误差较大的三维位置D3P的影响。

此外，将多个三维位置D3P中的一个三维位置D3P设定为关注三维位置D3P，在取得作为估计关注三维位置D3P的基础的图像时的内窥镜1的前端1a的位置和关注三维位置D3P之间引直线，将位于直线上的其他三维位置D3P的可靠度与关注三维位置D3P的可靠度进行比较，删除关注三维位置D3P和其他三维位置D3P中的可靠度低的一方，由此，能够适当地删除从内窥镜1观察时重复的三维位置D3P。

[实施方式2]

图8～图19示出本发明的实施方式2，图8是示出内窥镜系统的结构的框图。

在该实施方式2中，对与上述实施方式1相同的部分标注相同标号等并适当省略说明，主要仅对不同之处进行说明。

在上述实施方式1中，假设内窥镜1相对于被检体配置成固定的位置关系，但是，在本实施方式中，假设一边将内窥镜1插入到被检体内一边进行被检体内的观察、即内窥镜1相对于被检体的位置关系变化。因此，本实施方式的内窥镜系统在实施方式1的图1所示的结构的基础上，具有取得内窥镜1的位置信息和姿态信息的位置姿态信息取得部。

首先，在图8所示的结构中，内窥镜1在上述摄像部11、照射部12和操作部13的基础上，例如还具有在内窥镜1的插入部的前端1a配置的计测部即位置方位检测部14。

位置方位检测部14检测内窥镜1的插入部的前端1a的位置并输出位置检测信号，并且检测内窥镜1的插入部的前端1a朝向的方向而输出方位检测信号。该位置方位检测部14例如根据磁场等检测作为空间坐标的3轴(xyz轴)的坐标和绕3轴的角度，也被称为6D传感器等。

此外，处理系统2的控制部25除了具有距离估计部26和判定部27以外，还具有位置姿态计算部28。

该位置姿态计算部28根据由位置方位检测部14检测到的位置检测信号和方位检测信号，生成内窥镜1的前端1a的位置信息和姿态信息。

这样，位置方位检测部14和位置姿态计算部28构成取得内窥镜1的位置信息和姿态信息的位置姿态信息取得部。

由位置姿态计算部28取得的内窥镜1的位置信息和姿态信息被输出到三维位置估计部22。这样，三维位置估计部22除了使用从内窥镜1取得的图像以外，还使用从位置姿态计算部28取得的位置信息和姿态信息，来估计被检体内的对象部分的三维位置D3P。

此外，图9是示出内窥镜系统的结构的变形例的框图。

在该图9所示的变形例中，代替图8的位置方位检测部14和位置姿态计算部28，在处理系统2的控制部25内设置位置姿态估计部29作为位置姿态信息取得部。

除了通过传感器等检测内窥镜1的位置信息和姿态信息的技术以外，还公知有根据图像等估计内窥镜1的位置信息和姿态信息的技术。因此，该位置姿态估计部29例如根据由内窥镜1取得的图像进行运算等，由此估计内窥镜1的位置和姿态，取得位置信息和姿态信息。在三维位置估计部22进行的三维位置D3P的估计中使用所取得的内窥镜1的位置信息和姿态信息，这点与上述相同。

接着，图10是示出内窥镜系统的作用的流程图。

当开始进行该处理后，进行上述步骤S1～S5的处理。

然后，在步骤S5中判定为还未进入形状计算的处理的情况下，伴随着内窥镜1的插入等而使拍摄位置(还包含方位、以下同样)变化，控制部25根据新的拍摄位置而使拍摄条件变化(步骤S6B)。另外，这里，与上述实施方式1同样，即使拍摄位置不变化，也可以有意地使拍摄条件变化。

然后，在变化后的拍摄条件和拍摄位置下进行上述步骤S2的处理，取得图像。通过反复多次进行这种步骤S2～S6B的处理，取得拍摄条件和拍摄位置中的至少一方不同的多个图像，根据所取得的多个图像，针对被检体内的同一对象部分估计多个三维位置D3P。

这里，图12是示出被检体OBJ内的内窥镜1取得图像的摄像位置P1～P3与对象部分OP的位置关系的例子的图。

当内窥镜1插入到被检体OBJ内后，前端1a的摄像位置例如如P1→P2→P3那样移动。这里，摄像位置P1～P3示出，在摄像位置P1取得1张图像，在内窥镜1被插入的摄像位置P2取得1张图像，在内窥镜1进一步被插入的摄像位置P3进一步取得1张图像。

当摄像位置不同时，所取得的图像中的对象部分OP的映出方式也不同。

图13是示出各摄像位置P1～P3取得的各图像中的对象部分OP、根据各图像分别估计出的三维位置D3P和综合的总三维位置D3P的图表。

在图13中，从左侧起的第1个纵栏示出摄像位置是上述P1～P3中的哪个位置。

然后，从左侧起的第2个纵栏示出各摄像位置进行摄像而得到的图像和图像内的对象部分OP。如图所示，随着摄像位置接近对象部分OP，图像内的对象部分OP的大小增大。此外，一般而言，如果内窥镜1的方位变化，则图像内的对象部分OP的位置也变化。

此外，从左侧起的第3个纵栏以比较的方式示出根据在各摄像位置拍摄到的图像估计出的三维位置D3P和实际的被检体OBJ的位置。这里，通过作为四边形标记的D3P1示出根据在摄像位置P1拍摄到的图像估计出的三维位置，通过作为圆形标记的D3P2示出根据在摄像位置P2拍摄到的图像估计出的三维位置，通过作为三角标记的D3P3示出根据在摄像位置P3拍摄到的图像估计出的三维位置。

进而，从左侧起的第4个纵栏将根据在各摄像位置P1～P3拍摄到的各图像估计出的三维位置D3P1～D3P3汇总，并与实际的被检体OBJ的位置进行比较而示出。

当在步骤S5中判定为得到多个图像而进入形状计算的处理后，如后面参照图11说明的那样，三维图像生成部23进行移动时三维位置删除的处理(步骤S20)。

这样，根据删除可靠度低的三维位置D3P后保留的三维位置D3P，在步骤S8中，三维图像生成部23如上所述生成三维形状图像。

然后，在步骤S9中判定是否结束该处理，在判定为不结束的情况下，返回步骤S2，进行下一个图像取得，另一方面，在判定为结束的情况下，结束该处理。

接着，图11是示出内窥镜系统中的移动时三维位置删除的处理的流程图。

在图10的步骤S20中进入该处理后，根据图像取得时由位置姿态信息取得部(图8所示的位置方位检测部14和位置姿态计算部28或图9所示的位置姿态估计部29)取得的内窥镜1的位置信息，设定构建三维形状图像的空间中的内窥镜1的前端1a的位置(步骤S21)。

如果设定内窥镜1的前端1a的位置，则从内窥镜1的前端1a的位置相对观察到的对象部分的位置也在构建三维形状图像的空间内被确定。

然后，在步骤S7中，着眼于根据在步骤S21中设定的内窥镜1的前端1a的位置处取得的图像估计出的三维位置D3P，进行图5所示的三维位置删除的处理。

然后，判定是否存在步骤S21中还未设定的内窥镜1的前端1a的位置(步骤S22)。

这里，在判定为存在未设定的内窥镜1的前端1a的位置的情况下，返回步骤S21，设定内窥镜1的前端1a的下一个位置，进行上述这种处理。

图14是示出从内窥镜1的前端1a的位置对根据在第1摄像位置P1取得的图像估计出的三维位置D3P1引直线的状况的图，图15是示出根据图14中引出的直线进行三维位置删除的处理的例子的图。

在上述图11的步骤S21中将内窥镜1的前端1a的位置设定为第1摄像位置P1的情况下，引出该图14所示的直线。然后，在一个直线上存在多个三维位置D3P(该三维位置D3P不仅是D3P1，D3P2、D3P3等其他摄像位置的图像的三维位置也包含在对象中)的情况下，如图5中说明的那样，删除可靠度低的三维位置D3P(在可靠度相等时删除任意一方，或者新计算上述平均三维位置D3P并保留，删除关注三维位置D3P和其他三维位置D3P双方)。图14中6个四边形标记的三维位置D3P1在进行三维位置删除的处理后的图15中被删除一个而成为5个。

接着，图16是示出从内窥镜1的前端1a的位置对根据在第2摄像位置P2取得的图像估计出的三维位置D3P2引直线的状况的图，图17是示出根据图16中引出的直线进行三维位置删除的处理的例子的图。

在着眼于第1摄像位置P1的处理结束后，从图11的步骤S22返回步骤S21的处理，接着着眼于第2摄像位置P2进行同样的处理。即，如图16所示，引出从前端1a的位置到各三维位置D3P2的直线，在一个直线上存在多个三维位置D3P的情况下，删除可靠度低的三维位置D3P(在可靠度相等时删除任意一方，或者新计算上述平均三维位置D3P并保留，删除关注三维位置D3P和其他三维位置D3P双方)。

具体而言，图16中5个四边形标记的三维位置D3P1和6个圆形标记的三维位置D3P2在进行三维位置删除的处理后的图17中被删除若干个，分别成为2个四边形标记和5个圆形标记。

图18是示出从内窥镜1的前端1a的位置对根据在第3摄像位置P3取得的图像估计出的三维位置D3P3引直线的状况的图，图19是示出根据图18中引出的直线进行三维位置删除的处理的例子的图。

在着眼于第2摄像位置P2的处理结束后，再次从图11的步骤S22返回步骤S21的处理，接着着眼于第3摄像位置P3进行同样的处理。即，如图18所示，引出从前端1a的位置到各三维位置D3P3的直线，在一个直线上存在多个三维位置D3P的情况下，删除可靠度低的三维位置D3P(在可靠度相等时删除任意一方，或者新计算上述平均三维位置D3P并保留，删除关注三维位置D3P和其他三维位置D3P双方)。

具体而言，图18中2个四边形标记的三维位置D3P1、5个圆形标记的三维位置D3P2和6个三角标记的三维位置D3P3在进行三维位置删除的处理后的图19中被删除若干个，分别成为2个四边形标记、5个圆形标记和1个三角标记。

这样，在存在未设定的内窥镜1的前端1a的位置的情况下，依次在步骤S21中设定前端1a的下一个位置，其结果，在步骤S22中判定为不存在未设定的内窥镜1的前端1a的位置的情况下，从该处理返回图10所示的处理。

另外，在上述中，按照对图像进行摄像的摄像位置的顺序依次进行处理，但是不限于此，也可以与摄像位置无关，一边依次变更要着眼的三维位置D3P，一边进行如下处理：着眼于一个三维位置D3P引出直线，在直线上存在多个三维位置D3P的情况下，删除可靠度低的三维位置D3P(在可靠度相等时删除任意一方，或者新计算上述平均三维位置D3P并保留，删除关注三维位置D3P和其他三维位置D3P双方)。

根据这种实施方式2，发挥与上述实施方式1大致相同的效果，并且，使用由位置姿态信息取得部取得的内窥镜1的位置信息和姿态信息估计对象部分OP的三维位置D3P，因此，在一边移动内窥镜1一边多次观察相同对象部分OP来估计形状的情况下，也能够正确估计形状，进而正确进行再现。

此外，在使用作为计测部的位置方位检测部14及位置姿态计算部28作为位置姿态信息取得部的情况下，能够根据计测结果准确地取得内窥镜1的位置信息和姿态信息。

另一方面，在使用位置姿态估计部29作为位置姿态信息取得部的情况下，能够取得内窥镜1的位置信息和姿态信息而不使用磁场产生装置等结构，能够简化结构。

[实施方式3]

图20～图23示出本发明的实施方式3，图20是示出内窥镜系统的作用的流程图。

在该实施方式3中，对与上述实施方式1、2相同的部分标注相同标号等并适当省略说明，主要仅对不同之处进行说明。

本实施方式相对于上述实施方式1，使进行三维位置删除的处理的定时不同，并且使进行三维位置删除的处理的方法不同。另外，这里，以实施方式1为基础进行说明，但是，进行使进行三维位置删除的处理的定时不同和使进行三维位置删除的处理的方法不同中的至少一方的变更可以应用于实施方式1、2中的任意一方(即，可以应用于内窥镜1相对于被检体的位置关系固定的情况和变化的情况中的任意一方)。

具体而言，当开始进行图20所示的处理后，在进行步骤S1～S4的处理后，进行三维位置删除的处理(步骤S30)。

即，在上述实施方式1、2中，在判定为完成取得多张图像而进入形状计算的处理后，进行三维位置删除的处理，但是，在本实施方式中，每当取得1张图像时，进行三维位置删除的处理。

然后，在步骤S5中判定是否进入形状计算的处理，在判定为不进入的情况下，进行步骤S6的处理，在判定为进入的情况下进行步骤S8和步骤S9的处理。然后，在步骤S9中判定为结束该处理的情况下，结束该处理。

接着，图21是示出内窥镜系统中的三维位置删除的处理的流程图。

当开始进行该处理后，进行步骤S12的处理，在判定为存在未关注三维位置D3P的情况下，将未关注三维位置D3P中的可靠度最高的一个三维位置D3P设定为关注三维位置D3P(步骤S13C)。

接着，针对关注三维位置D3P设定与关注三维位置D3P的可靠度对应的范围的附近(步骤S31)。

这里，图22是示出根据针对关注三维位置D3P设定的可靠度而设定的附近范围的大小的一例的线图，图23是示出根据针对三维位置D3P设定的可靠度而设定的附近范围的一例的线图。

首先，如图22所示，附近范围设定为可靠度越高，则该附近范围越大。其结果，如图23所示，设定为可靠度高的三维位置D3P2的附近范围NH2最大，可靠度居中的三维位置D3P1的附近范围NH1小于附近范围NH2，可靠度小的三维位置D3P3的附近范围NH3更加小于附近范围NH1。

然后，判定针对关注三维位置D3P设定的附近范围内是否存在其他三维位置D3P(步骤S14C)。

这里，在判定为存在其他三维位置D3P的情况下，进行上述步骤S15的处理、以及步骤S16或步骤S18的处理。

在进行了步骤S16的处理的情况下，进一步判定针对关注三维位置D3P设定的附近范围内是否还存在其他三维位置D3P(步骤S17C)。

这里，在判定为还存在其他三维位置D3P的情况下，返回步骤S15，根据关注三维位置D3P的可靠度和还存在的其他三维位置D3P的可靠度，进行上述这种可靠度的比较和三维位置D3P的删除的处理。

这样，三维图像生成部23将由三维位置估计部22估计出的多个三维位置D3P中的一个三维位置D3P设定为关注三维位置D3P，设定与关注三维位置D3P的可靠度对应的大小的附近范围，将位于附近范围内的其他三维位置D3P的可靠度与关注三维位置D3P的可靠度进行比较，删除可靠度低的关注三维位置D3P或其他三维位置D3P。

在进行了步骤S18的处理的情况下，在步骤S17C中判定为不存在其他三维位置D3P的情况下、或在步骤S14C中判定为附近范围内不存在其他三维位置D3P的情况下，返回步骤S12，进行上述这种处理。

这样，在步骤S12中判定为不存在未关注三维位置D3P的情况下，从该处理返回图20所示的处理。

根据这种实施方式3，发挥与上述实施方式1、2大致相同的效果，并且，设定与关注三维位置D3P的可靠度对应的大小的附近范围，将位于附近范围内的其他三维位置D3P的可靠度与关注三维位置D3P的可靠度进行比较，删除可靠度低的关注三维位置D3P或其他三维位置D3P，因此，能够根据可靠度适当地整理位于接近位置的多个三维位置D3P。

此时，按照可靠度从高到低的顺序依次设定关注三维位置D3P，由此能够进行高效的处理。

此外，每当取得1张图像时进行三维位置删除的处理，因此，能够削减存储三维位置D3P的存储器的存储容量。进而，要管理的三维位置D3P的数量也较少，因此，能够使处理高速化。

[实施方式4]

图24～图28示出本发明的实施方式4。在该实施方式4中，对与上述实施方式1～3相同的部分标注相同标号等并适当省略说明，主要仅对不同之处进行说明。

在上述各实施方式中，如图3或图4所示，根据图像中映出的对象部分的亮度进行可靠度的设定。与此相对，在本实施方式中，给出针对可靠度的设定的各种变形。

首先，图24是示出根据评价值变化量设定三维位置D3P的可靠度的例子的线图。

这里，例如根据光源光阑31的光源光阑值F、取得图像的摄像元件11a的增益G等设定评价值E，例如使用F和G这2个变量的函数即评价函数f如下那样记载。

E＝f(F,G)

表示这样求出的评价值E在帧间如何变化的是评价值变化量ΔE，当设当前帧的评价值为En、当前帧的前一帧的评价值为E(n-1)时，例如通过下式求出。

ΔE＝En-E(n-1)

当该评价值变化量ΔE较大时，例如认为由于内窥镜1的前端1a的方向变化等而使作为摄像对象的部位变化成不同的部位等。

因此，图24是示出在评价值变化量ΔE较大的情况下将可靠度设定为较低的状况的线图。

另外，上述评价函数是一例，因此，也可以使用仅利用光源光阑值F和增益G中的任意一方的评价函数，还可以使用值根据其他变量而变化的多变量函数等评价函数。

接着，图25是示出根据映出取得三维位置D3P的对象部分的像素与图像中的光学中心之间的距离来设定三维位置D3P的可靠度的例子的线图。

内窥镜1的物镜光学系统一般为广角，因此在图像的周边存在畸变。在估计三维位置D3P时，使用对该畸变进行校正后的图像，但是，越是图像的周边，要使用的像素的间隔越宽，校正的误差越大，因此，与中央部相比，图像的周边部的画质较低。因此，在该图25所示的例子中，与保持比较高的画质的区域的可靠度相比，降低画质较低的周边部的可靠度。

另外，这里，说明了根据与光学中心之间的距离进行设定的例子，但是，画质的差异不限于仅依赖于距离(例如即使与光学中心之间的距离相同，在左右方向和上下方向上，画质也不同等)，因此，更一般而言，可以根据图像中映出的对象部分相对于图像的光学中心的位置来设定三维位置D3P的可靠度。例如，也可以根据相对于光学中心的位置将图像分成多个区域，按照每个区域给出可靠度，还可以生成记载了相对于光学中心的位置与可靠度的对应关系的表，将其存储在控制部25内的存储部中。

接着，图26是示出根据映出取得三维位置D3P的对象部分的像素的色相来设定三维位置D3P的可靠度的例子的线图。

在内窥镜1例如是医疗用内窥镜的情况下，作为被检体的体腔内大部分进入特定的色相区域。因此，在该图26所示的例子中，仅在图像中映出的对象部分的色相进入红色与黄色之间的桔色附近的色相区域的情况下给出规定的可靠度，在除此以外的色相的情况下降低可靠度(在该例子中将可靠度设定为0)。

例如，即使与内窥镜1的前端1a之间的距离相同，在体腔内的血管部分和血管部分以外的部分中，亮度也不同。因此，当根据亮度估计与对象部分之间的距离时，在血管部分和血管部分以外的部分中测定出不同的距离。

另一方面，在血管部分和血管部分以外的部分中，不仅亮度不同，色相也不同。因此，通过进行图26所示的仅对特定的色相区域给出规定的可靠度的设定，不容易受到血管等的影响，能够提高所估计的三维位置D3P的精度。

图27是示出根据内窥镜1的前端1a的移动速度设定三维位置D3P的可靠度的例子的线图。

当内窥镜1的前端1a的移动速度较大时，在所取得的图像中产生抖动。因此，在内窥镜1的前端1a的移动速度为一定值以上时，根据移动速度的大小，将可靠度设定为较低。另外，例如，能够根据由图8所示的位置方位检测部14和位置姿态计算部28取得的多帧的位置信息来计算内窥镜1的前端1a的移动速度。也可以在内窥镜1的前端1a另外设置速度传感器等来检测移动速度。

图28是示出根据内窥镜1的前端1a的位置的计测可靠度设定三维位置D3P的可靠度的例子的线图。

在使用图8所示的作为计测部的位置方位检测部14和位置姿态计算部28作为位置姿态信息取得部的情况下(具体而言为使用磁场传感器等的情况下)，构成为得到表示计测值的可靠度有多高的计测可靠度。

而且，根据高计测可靠度的内窥镜1的前端1a的位置估计出的三维位置D3P的可靠度较高，相反，根据低计测可靠度的内窥镜1的前端1a的位置估计出的三维位置D3P的可靠度较低。

因此，在内窥镜1的前端1a的位置的计测可靠度低于某个固定值时，根据计测可靠度的低的程度，将三维位置D3P的可靠度设定为较低。

此外，上述若干个可靠度的设定方法可以仅使用一个，但是，也可以组合多个。

例如，当设根据图像中映出的对象部分的亮度设定的可靠度为C1(图3或图4)、根据评价值变化量ΔE设定的可靠度为C2(图24)、根据与光学中心之间的距离(更一般而言为相对于光学中心的位置)设定的可靠度为C3(图25)、根据色相设定的可靠度为C4(图26)、根据内窥镜1的前端1a的移动速度设定的可靠度为C5(图27)、根据内窥镜1的前端1a的位置的计测可靠度设定的可靠度为C6(图28)时，也可以根据使用这6个可靠度C1、C2、C3、C4、C5、C6的评价函数C求出总可靠度C。

C＝C(C1,C2,C3,C4,C5,C6)

根据这种实施方式4，发挥与上述实施方式1～3大致相同的效果，并且，作为规定的参数，使用图像中映出的对象部分的亮度、对向被检体照射的照明光的光量进行控制的光源光阑值、取得图像的摄像元件的增益、图像中映出的对象部分相对于图像的光学中心的位置、图像中映出的对象部分的色相、内窥镜1的前端1a的移动速度、计测部的计测值的可靠度中的至少一方，判定三维位置D3P的可靠度，因此，能够提高可靠度的精度。由此，能够提高由三维图像生成部23生成的三维形状图像的形状的再现性。

进而，如果使用上述总可靠度C，则能够以更高精度设定三维位置D3P的可靠度，能够进一步提高三维形状图像的形状再现性。

另外，上述各部的处理也可以通过构成为硬件的一个以上的处理器来进行。例如，各部可以是分别构成为电子电路的处理器，也可以是由FPGA(Field Programmable GateArray)等集成电路构成的处理器中的各电路部。或者，也可以是由一个以上的CPU构成的处理器读入并执行记录介质中记录的处理程序，由此执行作为各部的功能。

此外，在上述中，主要说明了内窥镜系统，但是，也可以是使内窥镜系统如上所述进行工作的工作方法，还可以是用于使计算机进行与内窥镜系统相同的处理的处理程序、记录该处理程序的计算机可读取的非暂时性的记录介质等。

进而，本发明不限于上述实施方式，能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。此外，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明的方式。例如，可以从实施方式所示的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式的结构要素。这样，当然能够在不脱离发明主旨的范围内进行各种变形和应用。

本申请以2017年6月15日在日本申请的日本特愿2017-117990号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书和附图中。

Claims (14)

1.一种内窥镜系统，其特征在于，所述内窥镜系统具有：

内窥镜，其对被检体内进行摄像而取得图像；

三维位置估计部，其根据由所述内窥镜取得的规定的图像估计所述被检体内的对象部分的三维位置；

判定部，其针对由所述三维位置估计部估计出的所述三维位置，设定与在取得所述规定的图像时确定的内窥镜系统的规定的参数对应的可靠度；以及

三维图像生成部，在存在针对所述对象部分的多个三维位置的情况下，选择所述多个三维位置中可靠度最高的三维位置作为规定的三维位置，根据由所述判定部设定的所述可靠度来选择所述多个三维位置中的规定的三维位置，根据所选择的所述规定的三维位置生成三维形状图像。

2.根据权利要求1所述的内窥镜系统，其特征在于，

所述三维图像生成部将由所述三维位置估计部估计出的所述多个三维位置中的一个三维位置设定为关注三维位置，在取得作为估计所述关注三维位置的基础的所述图像时的所述内窥镜的前端位置和所述关注三维位置之间引直线，将位于所述直线上的其他三维位置的可靠度与所述关注三维位置的可靠度进行比较，选择所述关注三维位置和所述其他三维位置中的可靠度高的一方。

3.根据权利要求1所述的内窥镜系统，其特征在于，

所述三维图像生成部将由所述三维位置估计部估计出的所述多个三维位置中的一个三维位置设定为关注三维位置，设定与所述关注三维位置的可靠度对应的大小的附近范围，将位于所述附近范围内的其他三维位置的可靠度与所述关注三维位置的可靠度进行比较，选择所述关注三维位置和所述其他三维位置中的可靠度高的一方。

4.根据权利要求2所述的内窥镜系统，其特征在于，

所述三维图像生成部从由所述三维位置估计部估计出的所述多个三维位置中的所述可靠度高的所述三维位置起，依次设定为所述关注三维位置。

5.根据权利要求3所述的内窥镜系统，其特征在于，

所述三维图像生成部从由所述三维位置估计部估计出的所述多个三维位置中的所述可靠度高的所述三维位置起，依次设定为所述关注三维位置。

6.根据权利要求1所述的内窥镜系统，其特征在于，

所述三维图像生成部选择由所述三维位置估计部估计出的所述多个三维位置中的判定为所述可靠度高于阈值的三维位置，作为所述规定的三维位置。

7.根据权利要求1所述的内窥镜系统，其特征在于，

所述三维图像生成部生成使每个部分的颜色根据所述可靠度而不同的所述三维形状图像。

8.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有距离估计部，该距离估计部根据所述图像估计所述内窥镜与所述被检体之间的距离，

所述三维位置估计部根据由所述距离估计部估计出的所述距离和所述图像中的所述对象部分的位置，估计所述对象部分的所述三维位置。

9.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有位置姿态信息取得部，该位置姿态信息取得部取得所述内窥镜的位置信息和姿态信息，

所述三维位置估计部还使用所述位置信息和所述姿态信息估计所述对象部分的所述三维位置。

10.根据权利要求9所述的内窥镜系统，其特征在于，

所述位置姿态信息取得部具有计测部，该计测部计测所述内窥镜的位置和姿态，取得所述位置信息和所述姿态信息。

11.根据权利要求10所述的内窥镜系统，其特征在于，

所述规定的参数包含所述图像中映出的所述对象部分的亮度、对向所述被检体照射的照明光的光量进行控制的光源光阑值、取得所述图像的摄像元件的增益、所述图像中映出的所述对象部分相对于所述图像的光学中心的位置、所述图像中映出的所述对象部分的色相、所述内窥镜的前端的移动速度、所述计测部的计测值的可靠度中的至少一方。

12.根据权利要求9所述的内窥镜系统，其特征在于，

所述位置姿态信息取得部具有位置姿态估计部，该位置姿态估计部根据由所述内窥镜取得的所述图像估计所述内窥镜的位置和姿态，取得所述位置信息和所述姿态信息。

13.一种内窥镜图像处理方法，其特征在于，所述内窥镜图像处理方法具有以下步骤：

三维位置估计步骤，根据通过内窥镜对被检体内进行摄像而取得的规定的图像，估计所述被检体内的对象部分的三维位置；

判定步骤，针对通过所述三维位置估计步骤估计出的所述三维位置，设定与在取得所述规定的图像时确定的内窥镜系统的规定的参数对应的可靠度；以及

图像生成步骤，在存在针对所述对象部分的多个三维位置的情况下，选择所述多个三维位置中可靠度最高的三维位置作为规定的三维位置，根据通过所述判定步骤设定的所述可靠度来选择所述多个三维位置中的规定的三维位置，根据所选择的所述规定的三维位置生成三维形状图像。

14.一种计算机可读取的记录介质，其存储使计算机执行的内窥镜图像处理程序，其特征在于，在通过处理器执行所述内窥镜图像处理程序时，执行以下步骤：

三维位置估计步骤，根据通过内窥镜对被检体内进行摄像而取得的规定的图像，估计所述被检体内的对象部分的三维位置；

判定步骤，针对通过所述三维位置估计步骤估计出的所述三维位置，设定与在取得所述规定的图像时确定的内窥镜系统的规定的参数对应的可靠度；以及

图像生成步骤，在存在针对所述对象部分的多个三维位置的情况下，选择所述多个三维位置中可靠度最高的三维位置作为规定的三维位置，根据通过所述判定步骤设定的所述可靠度来选择所述多个三维位置中的规定的三维位置，根据所选择的所述规定的三维位置生成三维形状图像。

Images