CN114529477B - 一种具有高动态范围的双目内窥镜、系统及成像方法 - Google Patents

Abstract

本发明提出一种具有高动态范围的双目内窥镜、系统及成像方法，其中双目内窥镜包括镜体管，在镜体管的头部左右对称的设有两个镜头，在其中一个镜头中设有用于降低图像亮度的光学机构，镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，CMOS图像传感器用于与图像处理器相连接；镜体管内还设有用于照明的导光光纤。上述具有高动态范围的双目内窥镜、系统及成像方法，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取同一拍摄时刻高低曝光的两幅原始图像，两幅原始图像不存在拍摄时间延迟，通过图像融合方法合成双目镜头获得的两幅原始图像，得到亮度适中、符合人眼观测需求的目标图像。

Description

一种具有高动态范围的双目内窥镜、系统及成像方法

技术领域

本发明涉及内窥镜技术领域，尤其涉及一种具有高动态范围的双目内窥镜、系统及成像方法。

背景技术

图像的动态范围(dynamic range，DR)是指一幅图像中可见区域最大亮度与最小亮度的比值。场景中最大光度与最小光度的比值被称为场景的动态范围。高动态范围(highdynamic range，HDR)图像表示记录动态范围跨度很大的真实场景的图像。对于记录图像的传感器元器件CCD/CMOS，也有表征图像传感器性能的动态范围指标，图像传感器的动态范围指的是芯片像素上满陷容量(full well capacity)与读出噪声的比值。图像传感器的动态范围越高，能记录场景的动态范围也就越高。当图像传感器的动态范围低于场景动态范围时，传感器只能记录部分亮度区间的图像，其他亮度的图像信息则无法被记录，在图像中表现为局部过亮或者过暗。

内窥镜需要观测大视场角、大景深的体内图像，场景的动态范围比较高，意味着内窥镜需要记录的整幅图像的动态范围比较高，这就对图像传感器CMOS芯片的动态范围提出了巨大的要求；由于场景的动态范围非常大，要大于CMOS的动态范围，导致单次曝光下，CMOS无法记录场景下图像亮度的全部信息，出现内窥镜图像局部过曝或者过暗的情况。

目前，提升内窥镜动态范围的手段主要有2种方式，算法实现和硬件实现的2种方式。其中算法的实现方式是使用HDR算法，即通过记录先后两帧或者多帧高低曝光得到的亮度不同的图像，对不同亮度图像进行HDR算法合成或者图像融合，得到高质量亮度适中的图像的算法实现方式。这种HDR算法，对处理静止的图像有一定的效果。但在内窥镜平台上应用的效果往往不佳，原因在于内窥镜需要实时观测，这就对HDR算法处理的速度提出了巨大的要求。首先，HDR算法需要获取先后至少两帧图像来合成一幅图像，意味着，合成后的图像的帧率至少减半；同时，内窥镜在使用过程中，拍摄的镜头相对于拍摄物体，有可能会发生位置移动，先后两帧或者多帧的原始图像会出现像素错位等情况，由于原始图像的错位情况是未知的，需要做复杂的配准算法来对偏离的像素做修正，进一步增加了应用的难度。

硬件的实现方式主要是通过增加硬件(如旋转滤光片)来使用高动态的单色CCD传感器来记录高动态范围场景，需要将高动态范围的单色CCD记录的单色图像合成高动态的彩色RGB图像，这种方式需要增加额外的光学硬件以及配套的同步、控制的硬件和电路。

发明内容

为了解决现有技术中存在的问题，本申请提出了一种具有高动态范围的双目内窥镜、系统及成像方法，使用双目内窥镜，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取同一拍摄时刻高低曝光的两幅原始图像。不同于常规的HDR方法，本申请中原始图像始终是在同一时刻拍摄得到，不存在常规HDR方法需要处理单目镜头拍摄的相邻帧图像，导致待HDR融合的原始图像由于内窥镜运动产生的图像错位问题。本申请涉及的HDR方法实现方式简单，通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像亮度适中，符合人眼的观测需求。

为了实现上述目的，本申请的一方面提出了一种具有高动态范围的双目内窥镜，包括镜体管，在所述镜体管的头部左右对称的设有两个镜头，分别记作左目镜头和右目镜头，所述左目镜头或右目镜头中设有用于降低图像亮度的光学机构，在所述镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，所述CMOS图像传感器用于与图像处理器相连接；在所述镜体管内还设有用于照明的导光光纤。

在一些实施例中，设有所述光学机构的镜头获得的图像的亮度是未设置所述光学机构的镜头获得的图像的亮度的30％～60％。

在一些实施例中，所述左目镜头和右目镜头中的镜片组的结构一致，所述镜片组从物面到像面依次包括第一透镜、第二透镜、第三透镜以及胶合透镜，在所述第二透镜和第三透镜之间设有光阑。

在一些实施例中，设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是中性滤光片，所述中性滤光片设置在所述胶合透镜与CMOS图像传感器上的保护玻璃之间的位置处，所述中性滤光片的物侧面和像侧面均为平面。

在一些实施例中，设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是膜层结构，这种情况下，设有膜层结构的镜头的胶合透镜的像侧面为平面，在该平面上镀膜形成膜层结构。

在一些实施例中，所述左目镜头满足以下条件式：3.5mm≤TTL≤7mm，其中TTL为所述双目内窥镜左目镜头的光学总长；0.6mm≤f≤1.2mm，其中f表示所述双目内窥镜左目镜头的有效焦距；80°≤FOV≤100°，其中FOV表示左目镜头的入瞳视场角；BFL≥1mm，其中BFL表示左目镜头的光学后焦距；左目镜头的景深不小于20mm～100mm；所述右目镜头满足的条件式与左目镜头一致。

本申请的另一方面提出了一种具有高动态范围的双目内窥镜系统，包括所述双目内窥镜、通过数据传输线与所述双目内窥镜相连接的图像处理器、以及通过视频信号传输线与所述图像处理器相连接的显示器。

本申请还提出了一种基于上述具有高动态范围的双目内窥镜系统的成像方法，包括以下步骤：

步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像；

步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善；步骤3、对每幅图像的RGB分量计算拉普拉斯金字塔，得到对应的拉普拉斯金字塔图像；

步骤4、对两幅拉普拉斯金字塔图像的相对应层次的子图像进行融合，得到融合的拉普拉斯金字塔图像；

步骤5、通过融合的拉普拉斯金字塔图像恢复出对应的高斯金字塔图像，高斯金字塔图像的第零层子图像即为最终的目标图像。

在一些实施例中，在所述步骤2中，预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量。

在一些实施例中，在所述步骤5中，对于金字塔层数为n的拉普拉斯金字塔图像与高斯金字塔图像，二者有如下的递推关系式：

其中，L_n代指具有n层的拉普拉斯金字塔图像的最高层子图像，其为已知量，L_k代指拉普拉斯金字塔图像的第k层子图像，其为已知量，G_n代指高斯金字塔图像的最高层子图像，G^* _k+1指的是高斯金字塔图像的第(k+1)层子图像通过内插的方式，即将该子图像的分辨率在水平和竖直方向上各增大两倍后得到的图像。

本申请的该方案的有益效果在于上述具有高动态范围的双目内窥镜、系统及成像方法，使用双目内窥镜，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取同一拍摄时刻高低曝光的两幅原始图像，两幅原始图像不存在拍摄时间延迟。不同于常规的HDR方法，本申请中原始图像始终是在同一时刻拍摄得到，不存在常规HDR方法需要处理单目镜头拍摄的相邻帧图像，导致待HDR融合的原始图像由于内窥镜运动产生的图像错位问题。本申请涉及的HDR方法实现方式简单，通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像亮度适中，符合人眼的观测需求。

附图说明

图1示出了实施例中双目内窥镜的结构示意图。

图2示出了实施例中双目内窥镜头部的结构示意图。

图3示出了实施例中左目镜头的结构示意图。

图4示出了实施例中左目镜头的光路示意图。

图5示出了实施例中右目镜头的结构示意图。

图6示出了实施例中右目镜头的光路示意图。

图7示出了实施例中无中性滤光片的情况下的成像示意图。

图8示出了实施例中有中性滤光片的情况下的成像示意图。

图9示出了实施例中不同透过率的中性滤光片的示意图。

图10示出了实施例中中性滤光片对可见光的透过率示意图。

图11示出了实施例中镀膜的示意图。

图12示出了实施例中双目内窥镜系统的结构示意图。

图13示出了现有技术中HDR实现方式示意图。

图14示出了实施例中金字塔分层算法示意图。

图15示出了现有技术中标准的金字塔融合算法过程示意图。

图16示出了实施例中金字塔融合算法过程示意图。

图17(a)示出了实施例中右目镜头获取的原始图像示意图，(b)示出了该原始图像的亮度直方图。

图18(a)示出了实施例中左目镜头获取的原始图像示意图，(b)示出了该原始图像的亮度直方图。

图19(a)示出了实施例中最终获得的目标图像示意图，(b)示出了该目标图像的亮度直方图。

图20示出了显示器中，gamma设为1.5后，图像的显示效果图。

图21示出了实施例中成像方法的流程图。

附图标记：1-双目内窥镜，2-数据传输线，21-第一数据传输线，22-第二数据传输线，3-图像处理器，4-视频信号传输线，5-显示器，6-镜头，61-左目镜头，62-右目镜头，7-光纤口，71-第一光纤口，72-第二光纤口，8-CMOS图像传感器，81-第一CMOS图像传感器，82-第二CMOS图像传感器，9-镜体管，10-镜片组，11-光源接口，12-透镜，L1-第一透镜，L2-第二透镜，L3-第三透镜，L4-胶合透镜，ST-光阑，L5-CMOS图像传感器上的保护玻璃，F1-中性滤光片。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步的说明。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

如图1-2所示，本申请所涉及的具有高动态范围的双目内窥镜1包括镜体管9，在所述镜体管9的头部左右对称的设有两个镜头6，分别记作左目镜头61和右目镜头62，在所述镜体管9内还设有两个CMOS图像传感器8，分别记作第一CMOS图像传感器81和第二CMOS图像传感器82，两个CMOS图像传感器8与两个镜头6一一对应，所述第一CMOS图像传感器81和第二CMOS图像传感器82用于与图像处理器3相连接，具体地，所述第一CMOS图像传感器81和第二CMOS图像传感器82分别通过第一数据传输线21和第二数据传输线22与所述图像处理器3相连接。在所述镜体管9内还设有两根导光光纤，导光光纤用于通过设置在所述镜体管9上的光源接口11与光源相连接，导光光纤通过设置在所述镜体管9端部的光纤口7进行照明，在所述镜体管9端部上下对称的设置两个光纤口7，分别记作第一光纤口71和第二光纤口72，两根导光光纤与两个光纤口7一一对应。

为了实现高动态范围，本申请所涉及的左目镜头61或右目镜头62中设有用于降低图像亮度的光学机构，使得设有所述光学机构的镜头获得的图像的亮度是未设置所述光学机构的镜头获得的图像的亮度的30％～60％。在本实施例中，在所述右目镜头62中设有用于降低图像亮度的光学机构，所述右目镜头62获得的图像的亮度是左目镜头61获得的图像的亮度的30％～60％。

如图3-4所示，在本实施例中，所述左目镜头61中的镜片组10从物面S100到像面S200依次包括第一透镜L1、第二透镜L2、第三透镜L3以及胶合透镜L4，在所述第二透镜L2和第三透镜L3之间设有光阑ST。

所述右目镜头62中的镜片组10从物面S100到像面S200也依次包括第一透镜L1、第二透镜L2、第三透镜L3以及胶合透镜L4，在所述第二透镜L2和第三透镜L3之间设有光阑ST。设置在所述右目镜头62中的用于降低图像亮度的光学机构可以是中性滤光片F1，所述中性滤光片F1设置在物面S100到CMOS图像传感器上的保护玻璃L5之间的任意位置，所述中性滤光片F1的物侧面S12和像侧面S13均为平面，优选地，将所述中性滤光片F1设置在所述胶合透镜L4与CMOS图像传感器上的保护玻璃L5之间的位置处，如图5-6所示，所述中性滤光片F1的作用是控制可见光的透过率，达到调节成像亮度的目的。很明显，当右目镜头62中加入中性滤光片F1后，在相同的曝光参数下，所述右目镜头62获得的图像的亮度要比左目镜头61获得的图像的亮度整体暗一些；另外，在成像光路上，由于中性滤光片F1没有光焦度，所以所述右目镜头62与不加入中性滤光片F1的左目镜头61的成像质量完全一样，如图7-8所示，这对后续的图像处理过程(即对高低曝光的原始图像的融合)是非常有益的。

如图9所示，所述中性滤光片F1对可见光基本上是等比例衰减的，使用不同透过率的中性滤光片F1，所述右目镜头62获得的图像的亮度会不同。在本实施例中，采用透过率为30％～60％的中性滤光片F1，图10示出了透过率为30％的中性滤光片F1。

设置在所述右目镜头62中的用于降低图像亮度的光学机构还可以是膜层结构。此时，所述右目镜头62的各透镜中，至少有一个透镜的物侧面或像侧面为平面，在其中一个平面上镀膜形成膜层结构，如图11所示。优选地，所述右目镜头62的胶合透镜L4的像侧面为平面，在该平面上镀膜形成膜层结构。具体地，所述膜层结构为SiO₂和TiO₂的复合膜层，因为SiO₂和TiO₂符合生物相容性要求，对人体无伤害。

在本实施例中，第一透镜L1具有负光焦度，且物侧面S1为平面、像侧面S2为凹面，第一透镜L1是玻璃球面透镜。

第二透镜L2具有正光焦度，且物侧面S3为凸面、像侧面S4为凸面，第二透镜L2是玻璃球面透镜。

第三透镜L3具有正光焦度，且物侧面S5为凹面、像侧面S6为凸面，第三透镜L3是玻璃球面透镜。

胶合透镜L4具有正光焦度，且物侧面S7为凸面、像侧面S9为平面，胶合透镜L4是玻璃球面透镜。

也就是说，在本实施例中，第一透镜L1的物侧面S1为平面面型，胶合透镜L4的像侧面S9为平面面型。其中，第一透镜L1的物侧面S1设计为平面，这样可以直接在第一透镜L1的物侧面S1的外侧胶合保护玻璃(如蓝宝石)，以达到保护镜头、耐刮擦的目的，保证镜头的长期使用有效性。将胶合透镜L4的像侧面S9设计为平面，目的是可以对该平面镀膜形成膜层结构。把需镀膜的平面放置到右目镜头62中最后一个透镜的最后一个面的有益效果是：镀膜的阶段既可以放在镜头中透镜装配工艺之前，也可以在透镜装配好之后，对整个右目镜头62进行镀膜。镀膜时，只需要把右目镜头62放置在镀膜设备中，让右目镜头62的最后一个平面接收沉积的膜层，即可以实现镀膜的目的。镀膜的膜层非常薄，在um数量级，相对于整个成像的光学系统，膜层对成像的质量基本上不影响。之所以将镀膜面设计为平面，是为了确保镀膜前后，镜头的光学成像质量不存在任何差异。

在胶合透镜L4中，面型引入的光焦度为：Φ＝n/r，其中，Φ为光焦度，n为镜片折射率，r为面型的曲率半径。如果胶合透镜L4的像侧面S9有曲率，则镀膜后胶合透镜L4的像侧面S9的折射率会发生微小的变化，光焦度不会做到100％不改变。对此，将胶合透镜L4的像侧面S9设计为平面面型，r＝∞，镀膜前后，该面型引入的光焦度始终为0，从而保证镀膜对像质100％不影响，进而保证后续图像融合的准确性。

在本实施例中，所述左目镜头61还满足以下条件式：

1)3.5mm≤TTL≤7mm，其中TTL为所述双目内窥镜左目镜头61的光学总长，光学总长是指镜头第一镜片到CMOS焦平面的距离。镜头物理长度加上镜头的光学后焦等于其光学总长。将所述左目镜头61的光学总长设置在3.5mm到7mm之间的目的是：约束内窥镜左目镜头的尺寸，如果内窥镜的左目镜头长度过大，则在内窥镜使用的可拓展性上受限制。对于头端可弯曲的内窥镜，镜头太长则不利于这一弯曲功能的实现和应用。

2)0.6mm≤f≤1.2mm，其中f表示所述双目内窥镜左目镜头61的有效焦距。

3)80°≤FOV≤100°，其中FOV表示左目镜头61的入瞳视场角。

4)BFL≥1mm，其中BFL表示左目镜头的光学后焦距，是指左目镜头61中最后一个透镜的最后一个面S9到像面S200的距离(其包含CMOS图像传感器上的保护玻璃L5的厚度，在本实施例中，其厚度为0.4mm)。具体地，设计的左目镜头61之所以要有足够大的后焦距，是为了保证能够在镜头中加入中性滤光片F1。

5)左目镜头61的景深不小于20mm～100mm。

在本实施例中，如图3所示，所述左目镜头61以及CMOS图像传感器上的保护玻璃L5(S10为物侧面，S11为像侧面，S10和S11均为平面)的相关参数如表1所示。

表1

所述右目镜头62满足的条件式与左目镜头61一致。当用于降低图像亮度的光学机构采用膜层结构时，所述右目镜头62的参数与所述左目镜头61的参数完全一致。当在所述右目镜头62中加入中性滤光片F1(S12为物侧面，S13为像侧面)，且所述中性滤光片F1设置在所述胶合透镜L4与CMOS图像传感器上的保护玻璃L5之间的位置处时，如图5所示，所述右目镜头62以及CMOS图像传感器上的保护玻璃L5的相关参数如表2所示。

表2

如图12所示，本申请所涉及的具有高动态范围的双目内窥镜系统包括上述双目内窥镜1、通过数据传输线2与所述双目内窥镜1相连接的图像处理器3、以及通过视频信号传输线4与所述图像处理器3相连接的显示器5。

在具体的使用过程中，双目镜头同时观测物成像，所成的像分别被两个CMOS图像传感器8记录，CMOS图像传感器8将光信号转化为电信号，并分别通过第一数据传输线21和第二数据传输线22将两路图像信号传输到图像处理器3。图像处理器3负责将CMOS图像传感器8输出的原始图像信号，进行图像处理，使得输出的图像在色彩和清晰度上满足内窥镜观测的需求；同时，最重要的不同亮度的双目图像的融合也是在图像处理器3上完成。最终，处理好的图像数据，通过视频信号传输线4(例如HDMI、DVI、SDI等)传输到显示器5上显示。

如图13所示，展示了2种HDR算法实现过程。其中，传统的HDR技术，首先，需要对拍摄的LDR(低动态范围)图像合成HDR高动态文件，HDR高动态图像文件无法直接显示，然后，HDR图像文件基于拍摄相机的响应函数和色调映射关系，转化为符合人眼视觉观测效果的低动态LDR图像。这个过程耗时，同时对相机的内部参数要求完全获取。鉴于上述方式的缺点，本申请所涉及的成像方法利用图像融合的算法(例如金字塔融合算法)，因为图像融合不依赖于拍摄相机的参数，只与待融合的原图像的亮度参数有关。

图像金字塔为不同分辨率下一系列子图像的合集。图像金字塔操作，即是将图像按照不同的图像分辨率进行图像处理的过程。具体地，高斯金字塔是一个在图像分辨率上逐层减半的一组图像序列。其中，高斯金字塔是由图像序列中的每一层图像均为其前一层图像低通滤波后做隔行、隔列降采样得到。拉普拉斯金字塔则是通过对高斯金字塔做如下的数学运算得到：

L_i＝G_i-PyrUp(PyrDown(G_i))

其中，L_i为拉普拉斯金字塔图像的第i层子图像；G_i为高斯金字塔图像的第i层子图像；PyrUp为金字塔的上采样过程，即通过插值的方式将图像的分辨率在水平和竖直方向各增大两倍；PyrDown即是金字塔的下采样过程，即通过在水平和竖直方向上，剔除偶数行或列的方式将图像的分辨率在水平和竖直方向上各减小一半。

此外，基于内窥镜图像亮度过渡平滑的特点，本申请中利用图像金字塔分层融合算法，将曝光度不同的两幅LDR源图像通过图像融合，形成一幅高动态的HDR图像并显示，不需要计算和生成高动态HDR文件。基于图像融合的过程相较于传统的HDR处理过程相对简单，且具有同样达到提升图像动态范围的效果。

具体地，如图21所示，本申请所涉及的成像方法包括以下步骤：

步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像。如图17-18所示，受成像CMOS芯片动态范围的限制，右目和左目原始图像存在明显的过暗和过曝情况，通过单次曝光，无法通过单次曝光获得整幅图像亮度都是比较适中的原始图像。

步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善。具体的预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量。

步骤3、对每幅图像的RGB分量计算拉普拉斯金字塔，得到对应的拉普拉斯金字塔图像。

步骤4、对两幅拉普拉斯金字塔图像的相对应层次的子图像进行融合，得到融合的拉普拉斯金字塔图像。也就是将两幅拉普拉斯金字塔图像中相同分辨率下(即相同层次)的子图像进行累加融合，得到融合的拉普拉斯金字塔图像。这样，在得到的融合的拉普拉斯金字塔图像中，每个层次的子图像都是已知的，如图14所示。

步骤5、通过融合的拉普拉斯金字塔图像恢复出对应的高斯金字塔图像，高斯金字塔图像的第零层子图像G0即为最终的目标图像，如图19所示。经过处理得到的目标图像亮度适中，比较符合人眼的观测需求。目标图像中基本上不存在非常暗和非常亮的区域，整个图像区域都包含有效信息，相对暗的图像区域，可以通过后续步骤的显示器中gamma参数设置来重点改善。而当图像中，存在过暗区域(如图17a)和过亮区域(如图18a)，则无法通过后续步骤中的显示器参数设置来调整。

具体地，融合的拉普拉斯金字塔图像具有一系列不同分辨率的高频子图像信息，主要体现在不同分辨率下图像的边缘、轮廓等细节。为了得到目标图像，还需要将融合后的拉普拉斯金字塔图像通过插值的方式恢复到高斯金字塔图像，得到高斯金字塔图像的第零层子图像G0，第零层子图像G0即是目标图像。

在所述步骤5中，对于金字塔层数为n的拉普拉斯金字塔图像与高斯金字塔图像，二者有如下的递推关系式：

其中，L_n代指具有n层的拉普拉斯金字塔图像的最高层子图像，其为已知量，L_k代指拉普拉斯金字塔图像的第k层子图像，其为已知量，G_n代指高斯金字塔图像的最高层子图像，G^* _k+1指的是高斯金字塔图像的第(k+1)层子图像通过内插的方式，即将该子图像的分辨率在水平和竖直方向上各增大两倍后得到的图像。

通过上述公式便可以从融合的拉普拉斯金字塔图像恢复出对应的高斯金字塔图像，高斯金字塔图像的第零层子图像G0即为最终的目标图像。

步骤6、将得到的目标图像在显示器上显示，使用gamma参数使显示图像亮度最佳。

显示器中gamma参数优选，gamma＝1.5。显示器的gamma参数可以提升图像暗处的亮度。可以看到，gamma＝1.5后，显示图像的暗处得到了明显的提升，如图20所示。

传统标准的金字塔图像融合算法过程，需要对源图像的对比度、饱和度、曝光度参数进行评估、并且计算每个颜色通道上像素对应的这三个参数的权重值，这个复杂的过程不利于实时HDR的实现，如图15所示。本申请所涉及的成像方法是针对内窥镜使用场景，由于内窥镜图像过渡比较平滑，对比度、饱和度参数不需要额外关注；图像的曝光情况通过金字塔融合可以最终达到比较适中的图像曝光，因此曝光度也不需要初始关注和评估，这样便省掉了复杂的原始图像对比度、饱和度、曝光度计算和权重参数计算的过程，大大减少了算法运行时间，同时，也能达到标准的金字塔图像融合算法的效果，如图16所示。因此，可以顺利地在内窥镜硬件平台上实现改进的金字塔图像融合算法的移植。

本申请所涉及的具有高动态范围的双目内窥镜、系统及成像方法，使用双目内窥镜，通过在一目的镜头中加入降低图像亮度的光学机构，单次曝光，即可获取同一拍摄时刻高低曝光的两幅原始图像，两幅原始图像不存在拍摄时间延迟。不同于常规的HDR方法，本申请中原始图像始终是在同一时刻拍摄得到，不存在常规HDR方法需要处理单目镜头拍摄的相邻帧图像，导致待融合的图像由于内窥镜运动产生的图像错位问题。本申请涉及的HDR方法实现方式简单，通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像亮度适中，符合人眼的观测需求。

另外，降低图像亮度的光学机构采用膜层结构或者中性滤光片的光学设计方案，能够使双目成像质量完全一致，且透过率不同，从而使HDR的两幅源图像始终同步，且成像质量完全一致。HDR图像合成过程中，不需要做复杂的由于图像运动引入的图像错位等问题。

本申请所涉及的成像方法中采用图像金字塔分层融合的方法，通过对图像进行不同分辨率尺度的分层处理，图像的亮度融合更加充分，更加符合人眼的视觉感知。金字塔融合算法在图像处理过程中不需要生成HDR图像文件，此外，它还可以最大限度地减少传统色调映射算法中可能出现的颜色偏差。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，根据本申请的技术方案及其构思加以等同替换或改变，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种具有高动态范围的双目内窥镜，其特征在于：包括镜体管，在所述镜体管的头部左右对称的设有两个镜头，分别记作左目镜头和右目镜头，所述左目镜头或右目镜头中设有用于降低图像亮度的光学机构，在所述镜体管内还设有两个CMOS图像传感器，两个CMOS图像传感器与两个镜头一一对应，所述CMOS图像传感器用于与图像处理器相连接；在所述镜体管内还设有用于照明的导光光纤，所述图像处理器用于通过图像融合方法合成双目获得的两幅原始图像，得到目标图像，经过处理得到的目标图像亮度适中。

2.根据权利要求1所述的具有高动态范围的双目内窥镜，其特征在于：设有所述光学机构的镜头获得的图像的亮度是未设置所述光学机构的镜头获得的图像的亮度的30％～60％。

3.根据权利要求1所述的具有高动态范围的双目内窥镜，其特征在于：所述左目镜头和右目镜头中的镜片组的结构一致，所述镜片组从物面到像面依次包括第一透镜、第二透镜、第三透镜以及胶合透镜，在所述第二透镜和第三透镜之间设有光阑。

4.根据权利要求3所述的具有高动态范围的双目内窥镜，其特征在于：设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是中性滤光片，所述中性滤光片设置在所述胶合透镜与CMOS图像传感器上的保护玻璃之间的位置处，所述中性滤光片的物侧面和像侧面均为平面。

5.根据权利要求3所述的具有高动态范围的双目内窥镜，其特征在于：设置在所述左目镜头或右目镜头中的用于降低图像亮度的光学机构是膜层结构，这种情况下，设有膜层结构的镜头的胶合透镜的像侧面为平面，在该平面上镀膜形成膜层结构。

6.根据权利要求3所述的具有高动态范围的双目内窥镜，其特征在于：所述左目镜头满足以下条件式：3.5mm≤TTL≤7mm，其中TTL为所述双目内窥镜左目镜头的光学总长；0.6mm≤f≤1.2mm，其中f表示所述双目内窥镜左目镜头的有效焦距；80°≤FOV≤100°，其中FOV表示左目镜头的入瞳视场角；BFL≥1mm，其中BFL表示左目镜头的光学后焦距；左目镜头的景深不小于20mm；

所述右目镜头满足的条件式与左目镜头一致。

7.一种具有高动态范围的双目内窥镜系统，其特征在于：包括权利要求1至6中任意一项所述的双目内窥镜、通过数据传输线与所述双目内窥镜相连接的图像处理器、以及通过视频信号传输线与所述图像处理器相连接的显示器。

8.一种基于权利要求7所述的具有高动态范围的双目内窥镜系统的成像方法，其特征在于：包括以下步骤：

步骤1、获取双目内窥镜拍摄的两幅图像，作为待处理的原始图像；

步骤2、对两幅原始图像进行预处理，使预处理后的两幅图像信噪比得到改善；

步骤3、对每幅图像的RGB分量计算拉普拉斯金字塔，得到对应的拉普拉斯金字塔图像；

步骤4、对两幅拉普拉斯金字塔图像的相对应层次的子图像进行融合，得到融合的拉普拉斯金字塔图像；

步骤5、通过融合的拉普拉斯金字塔图像恢复出对应的高斯金字塔图像，高斯金字塔图像的第零层子图像即为最终的目标图像。

9.根据权利要求8所述的成像方法，其特征在于：在所述步骤2中，预处理包括：对两幅原始图像分别进行去噪处理，提升图像质量。

10.根据权利要求8或9所述的成像方法，其特征在于：在所述步骤5中，对于金字塔层数为n的拉普拉斯金字塔图像与高斯金字塔图像，二者有如下的递推关系式：

其中，L_n代指具有n层的拉普拉斯金字塔图像的最高层子图像，其为已知量，L_k代指拉普拉斯金字塔图像的第k层子图像，其为已知量，G_n代指高斯金字塔图像的最高层子图像，G^* _k+1指的是高斯金字塔图像的第(k+1)层子图像通过内插的方式，即将该子图像的分辨率在水平和竖直方向上各增大两倍后得到的图像。