CN111683234B - 一种内窥镜成像方法、装置及相关设备 - Google Patents

Abstract

本申请公开了一种内窥镜成像方法、装置及相关设备，该方法包括：获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。由此可见，本申请提供的内窥镜成像方法，对具有较高的空间分辨率的灰度图像和具有具有较低空间空间分辨率的彩色图像进行融合处理而得到多光谱图像，可以提升多光谱图像的清晰度，提升图像质量。

Description

一种内窥镜成像方法、装置及相关设备

技术领域

本申请涉及内窥镜技术领域，更具体地说，涉及一种内窥镜成像方法、一种内窥镜成像装置、一种图像处理器以及一种内窥镜系统。

背景技术

内窥镜系统在医疗领域已取得广泛的临床应用，其一般由内窥镜光源、内窥镜、图像处理器、显示设备等构成。其中，内窥镜光源产生照明光，并通过光路耦合结构将照明光耦合进内窥镜的导光光纤，由此对体腔内的被检测对象进行照明。由被检测对象反射的照明光通过内窥镜的光学系统成像到成像元件上，并生成内窥镜成像信号由图像处理器进行处理。显示设备显示处理后的图像，以便进行观察。当前，内窥镜系统的成像模式通常包括白光成像模式和特殊光成像模式。其中，白光成像模式能够显示被检测对象的真实颜色，用于常规观察；特殊光成像模式采用特定光谱波段的照明光照射被检测对象，用于凸显病灶区域黏膜血管结构。

为了实现多种成像模式，内窥镜成像的方式通常为：采用一个具有mosaic镀膜的图像传感器对被摄对象进行多光谱成像。具体为，通过图像传感器中的不同像素采集不同光谱对应的图像，再在图像处理器中，通过像素插值方式形成各光谱图像，进而基于所选定的成像模式对各光谱图像进行融合处理以得到与该成像模式对应的融合图像。

然而，采用上述方式，各光谱图像的实际空间分辨率相对较低，从而使得融合得到的多光谱图像的图像清晰度不佳。因此，现有的内窥镜成像方式还有待改进。

发明内容

本申请的目的在于提供一种内窥镜成像方法、装置及相关设备，以提高内窥镜系统最终获得的多光谱图像的清晰度。

为实现上述目的，本申请提供了一种内窥镜成像方法，包括：

获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；

校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

其中，所述获取目标对象的灰度图像和彩色图像，包括：

通过第一图像传感器获取目标对象的灰度图像和彩色图像；其中，

在所述第一图像传感器中，用于获取所述灰度图像的像素点数大于用于获取任意一副所述彩色图像的像素点数。

其中，所述第一图像传感器为多孔径成像系统中的图像传感器，所述多孔径成像系统通过微透镜阵列将所述第一图像传感器分割为三个或三个以上的成像区域，其中面积最大的成像区域用于获取所述灰度图像，其他成像区域用于分别获取不同颜色的彩色图像；

则，所述将所述校准后的灰度图像和彩色图像进行融合，得到融合图像，包括：

将所述校准后的灰度图像和彩色图像进行像素配准；

将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

其中，所述获取目标对象的灰度图像和彩色图像，包括：

通过第二图像传感器获取目标对象的灰度图像，并通过第三图像传感器获取目标对象的彩色图像，所述第二图像传感器与所述第三图像传感器之间存在固定的位置偏移量；

则，所述将所述校准后的灰度图像和彩色图像进行融合，得到融合图像，包括：

将所述校准后的灰度图像和彩色图像进行像素配准；

将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

其中，所述获取目标对象的灰度图像和彩色图像之前，所述内窥镜成像方法还包括：

确定当前的成像模式；

则，所述获取目标对象的灰度图像和彩色图像，包括：

获取目标对象的灰度图像和与所述成像模式对应的彩色图像。

其中，所述彩色图像包括红光图像、绿光图像和蓝光图像。

为实现上述目的，本申请提供了一种内窥镜成像装置，包括：

图像获取单元，用于获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；

分辨率校准单元，用于校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

融合单元，用于将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

其中，所述内窥镜成像装置还包括：

模式确认单元，用于确定当前的成像模式；

则，所述图像获取单元具体用于：

获取目标对象的灰度图像和与所述成像模式对应的彩色图像。

为实现上述目的，本申请提供了一种图像处理器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述内窥镜成像方法的步骤。

为实现上述目的，本申请提供了一种内窥镜系统，包括：如上述的图像处理器。

通过以上方案可知，本申请提供的一种内窥镜成像方法，包括：获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

其中，由于图像传感器在采集灰度图像时不存在因滤波而造成的光损失问题，感光能力更强，所以可以在所形成的图像中保留较多的细节结构，而人眼对结构细节比较敏感，但对色彩较为不敏感，因此基于具有较高的空间分辨率的灰度图像和具有较低空间空间分辨率的彩色图像融合得到的多光谱图像，相对于现有技术得到的多光谱图像，能够在显示出彩色的同时，呈现出更多的细节结构，从而使得图像更加清晰。由此可见，本申请提供的内窥镜成像方法，对具有较高的空间分辨率的灰度图像和具有具有较低空间空间分辨率的彩色图像进行融合处理而得到多光谱图像，可以提升多光谱图像的清晰度，提升图像质量。本申请还公开了一种内窥镜成像装置、一种图像处理器和一种内窥镜系统，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为根据一示例性实施例示出的第一种内窥镜成像方法的流程图；

图2为根据一示例性实施例示出的第二种内窥镜成像方法的流程图；

图3为根据一示例性实施例示出的第三种内窥镜成像方法的流程图；

图4为根据一示例性实施例示出的一种多孔径成像系统的结构图；

图5为根据一示例性实施例示出的一种目标图像的示例图；

图6为根据一示例性实施例示出的第四种内窥镜成像方法的流程图；

图7为根据一示例性实施例示出的一种内窥镜成像装置的结构图；

图8为根据一示例性实施例示出的一种图像处理器的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例公开了一种内窥镜成像方法，以提高内窥镜系统最终获得的多光谱图像的清晰度。

参见图1，根据一示例性实施例示出的第一种内窥镜成像方法的流程图，如图1所示，包括：

S101：获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；

本实施例的执行主体为图像处理器，目的为通过内窥镜对目标对象(体腔、器官等)进行成像。可以理解的是，由于图像传感器在采集灰度图像时不存在因滤波而造成的光损失问题，感光能力更强，所以可以在所形成的图像中保留较多的细节结构，而人眼对结构细节比较敏感，但对色彩较为不敏感，因此本步骤同时采集具有较高的空间分辨率的灰度图像和具有较低空间空间分辨率的彩色图像，以便后续步骤进行融合得到更加清晰的多光谱图像。

在具体实施中，采集到的灰度图像的空间分辨率为V1，采集到的第n幅彩色图像的空间分辨率为V2n，V1>V2n。

S102：校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

本步骤的目的在于校准灰度图像和彩色图像的分辨率，校准后各图像的空间分辨率为V3。作为一种可行的实施方式，可以将所有彩色图像的分辨率恢复为灰度图像的分辨率，可以利用插值法将低分辨率的彩色图像的空间分辨率恢复成灰度图像的空间分辨率，即V1＝V3，此处的插值方法可以包括但不限于：双线性内插法、最近邻插法、三次内插法等。作为另一种可行的实施方式，在实际应用中，当需要呈现更大的图像时(比如，当需要提供与显示设备分辨率相匹配的图像时)，可以基于需要呈现的图像大小即最终融合图像的大小校准灰度图像和彩色图像的空间分别率，比如，当基于单一的图像传感器采集所述灰度图像和彩色图像时，可以将灰度图像和彩色图像的空间分辨率均恢复成图像传感器的空间分辨率，即V3>V1，此处同样可以利用上述插值法进行空间分辨率的恢复，在此不再赘述。

S103：将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

在本步骤中，对相同分辨率的灰度图像和彩色图像进行融合，得到目标对象的融合图像。由于图像传感器在采集灰度图像时不存在因滤波而造成的光损失问题，感光能力更强，所以可以在所形成的图像中保留较多的细节结构，而人眼对结构细节比较敏感，但对色彩较为不敏感，因此基于具有较高的空间分辨率的灰度图像和具有较低空间空间分辨率的彩色图像融合得到的多光谱图像，相对于现有技术得到的多光谱图像，能够在显示出彩色的同时，呈现出更多的细节结构，从而使得图像更加清晰。

由此可见，本申请实施例提供的内窥镜成像方法，对具有较高的空间分辨率的灰度图像和具有具有较低空间空间分辨率的彩色图像进行融合处理而得到多光谱图像，可以提升多光谱图像的清晰度，提升图像质量。

本申请实施例公开了一种具体的获取目标对象的灰度图像和彩色图像的方式，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图2，根据一示例性实施例示出的第二种内窥镜成像方法的流程图，如图2所示，包括：

S201：通过第二图像传感器获取目标对象的灰度图像，并通过第三图像传感器获取目标对象的彩色图像；其中，所述第二图像传感器与所述第三图像传感器之间存在固定的位置偏移量；

在本实施例中，第二图像传感器用于采集高分辨率的灰度图像，第三图像传感器用于采集低分辨率的彩色图像。具体地，可以通过第二图像传感器采集全分辨率的灰度图像；第三图像传感器可设置有拜耳滤波器，拜耳滤波器中包括多个滤波片，不同的滤波片用于过滤不同颜色的光，以形成对应的彩色图像，即第三传感器可以利用其中的拜尔滤波器同时采集多个较低分辨率的彩色图像。

S202：校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

S203：将所述校准后的灰度图像和彩色图像进行像素配准；

需要说明的是，由于第二图像传感器与第三图像传感器之间存在固定的位置偏移量，因此在对灰度图像和彩色图像的空间分辨率进行校准后，还需要对校准后的灰度图像和彩色图像进行像素配准。在具体实施中，可以计算校准后的彩色图像相对于校准后的灰度图像的相对偏移量，即上述于第二图像传感器与第三图像传感器之间的位置偏移量，并按照该偏移量进行图像配准，配准误差在一个像素以内，配准方法可以是基于特征的匹配法、基于灰度的匹配法、基于变换域的匹配法或模板匹配法等，在此不进行具体限定。

S204：将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

由此可见，在本实施例中，通过第二图像传感器和第三传感器分别获取目标对象的灰度图像和彩色图像，统一彩色图像和灰度图像的分辨率后对校准后的灰度图像和彩色图像进行像素配准，将配准后的彩色图像与灰度图像进行融合，可以提高融合图像的图像质量。

本申请实施例公开了另一种具体的获取目标对象的灰度图像和彩色图像的方式，相对于第一个实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图3，根据一示例性实施例示出的第三种内窥镜成像方法的流程图，如图3所示，包括：

S301：通过第一图像传感器获取目标对象的灰度图像和彩色图像；其中，在所述第一图像传感器中，用于获取所述灰度图像的像素点数大于用于获取任意一副所述彩色图像的像素点数；

S302：校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

S303：将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

在本实施例中，利用第一图像传感器(即，单一图像传感器)同时采集高分辨率的灰度图像和低分辨率的彩色图像。

在一种可行的实施方式，可以是直接在第一图像传感器的成像表面按照特定的规律镀膜，部分像素点用于采集灰度图像，部分像素点用于采集其他彩色图像，用于获取所述灰度图像的像素点数大于用于获取任意一副所述彩色图像的像素点数，以保证灰度图像的空间分辨率大于任一彩色图像的空间分辨率。在这种实施方式中，可以通过分别对灰度图像和各幅彩色图像进行插值处理，以校准所述灰度图像和所述彩色图像的空间分辨率。又，由于在这种实施方式中不存在像素偏移的情况，因此在图像融合前无需进行像素配准。

在另一种可行的实施方式中，所述第一图像传感器为多孔径成像系统中的图像传感器，所述多孔径成像系统通过微透镜阵列将所述第一图像传感器分割为三个或三个以上的成像区域，其中面积最大的成像区域用于获取所述灰度图像，其他成像区域用于分别获取不同颜色的彩色图像。

在具体实施中，多孔径成像系统可以如图4所示，包括沿光路方向设置的双远心系统100、微透镜阵列200、第一图像传感器300和转像单元400。其中，双远心系统100包括沿所述光路方向设置的第一透镜110、视场光阑120和第二透镜130。

微透镜阵列200包括沿光路方向的垂直方向设置的至少两种类型的子透镜，用于将所述第一图像传感器300分割为三个或三个以上的成像区域，其中面积最大的成像区域用于获取所述灰度图像，其他成像区域用于分别获取不同颜色的彩色图像。微透镜阵列200中每种类型的子透镜具有不同的孔径大小和焦距，孔径大小越大，焦距越大，其对应的成像区域越大。第一图像传感器300位于焦距最大的子透镜的焦平面，即用于采集灰度图像的子透镜的焦平面；转像单元400设置于其他焦距较小的子透镜与第一图像传感器300之间，用于将焦距较小的子透镜所成的像转移到第一图像传感器300。

其中，所述第一透镜的焦距为F₁，所述第二透镜的焦距为F₂，所述微透镜阵列中的子透镜的孔径大小为d_n，焦距为F_3n；则，所述视场光阑的大小D满足：D≤F₂×d_n/F_3n。视场光阑限制进入微透镜阵列的光线，控制着微透镜阵列中各个子透镜的的视场角，进而使得任一子透镜的的最大正视场与相邻子透镜的最大负视场两者对应的像高在同一位置处或互不干扰，从而可以有效防止图像之间产生串扰。

可以理解的是，由于物方具有相同的视场角，经过不同焦距的子透镜后，成像的位置没有位于同一平面上，经过焦距越大的子透镜成像位置距离子透镜的距离越远。因此第一图像传感器300位于焦距最大的子透镜的焦平面，同时需要设置转像单元，将其他焦距较小的子透镜所成的像转移到焦距最大的子透镜的焦平面上，使得所有的子块图像位于同一平面即第一图像传感器300上。

进一步的，转像单元400包括：沿光路方向设置的场镜410和中继镜组420，场镜410设置于所述焦距较小的子透镜的焦平面处，用于采集所述焦距较小的子透镜所成的像，并限制进入中继镜组420的光线，中继镜组420用于将场镜输出的发散光线重新成像于图像传感器300。

在本实施例中，微透镜阵列200中可以包括第一类子透镜210和第二类子透镜220；第一类子透镜210的孔径大小均为d₁，焦距均为F₃₁，第二类透镜220的孔径大小均为d₂，焦距均为F₃₂，其中，d₁＞d₂，F₃₁＞F₃₂且视场光阑120的大小D＝F₂d₁/F₃₁＝F₂d₂/F₃₂。

由于第一类子透镜210的焦距F₃₁大于第二类子透镜220的焦距F₃₂，因此图像传感器300位于第一类子透镜210的焦平面上，转像单元400需要将第二类子透镜220所成的像转移到图像传感器300上。具体地，根据第一类子透镜210的焦距F₃₁和第二类子透镜220的焦距F₃₂，可以求得第一类子透镜210的焦平面与第二类子透镜220的焦平面的距离L；为了不改变第二类子透镜220所成的像的大小，遵循2倍焦距的原理，可求得中继镜组的420焦距F₅＝L/4。为保证第一类子透镜210的焦平面与第二类子透镜220的焦平面之间的光学元件不干扰相邻孔径的成像，需在第二类子透镜220的焦平面处设置场镜410，并且调整场镜410的焦距使得中继镜组420的尺寸降到最小，则场镜410的焦距F₄＝L×F₃₂/(2F₃₂+L)。

其中，可以理解的是，虽然图4中仅示意出一个第一类子透镜210和一个第二类子透镜220，但实际应用中，第一类子透镜210和第二类子透镜220的数量可以分别为1个、2个、3个或者更多个，其可根据实际需求而确定。对应地，转像单元400中的场镜410和中继镜组的420的数量、设置位置和光学特性等也可根据实际需求而做出相应的改变。

进一步地，在本实施例中，为了能够同时采集到多光谱图像，可以在各个子透镜或者其在图像传感器中对应的成像区域设置不同颜色的滤光膜层。具体地，所述第一类子透镜210和其在所述图像传感器中对应的成像区域均无滤光膜层，以获取具有较高空间分辨率的灰度图像；所述第二类子透镜220或其在所述图像传感器中对应的成像区域设置有滤光膜层，以获取具有较低空间分辨率的彩色图像。

其中，由于多光谱图像通常由红色图像信号、绿色图像信号和蓝色图像信号组成，因此，在实际应用中，所述第一类子透镜210可以包括1个，所述第二类子透镜220可以包括至少3个，所述滤光膜层可以包括红光滤光膜层、绿光滤光膜层和蓝光滤光膜层。由此，本实施例获得的彩色图像可以包括：红光图像、绿光图像和蓝光图像。

当然，为了能够采集到更多彩色图像信号，以实现多模式成像，所述第二类子透镜220还可以包括更多个，比如，如图5所示，其所形成的彩色图像还可以包括荧光图像和UV光图像(即，蓝紫光图像)。

在这种实施方式中，各个成像区域均是对同一物象即目标对象的空间成像，只是各成像区域的面积大小不同，因此可以通过放大操作或者插值法使各个图像的画幅一致，即对灰度图像和彩色图像的空间分辨率进行校准，使得校准后的灰度图像和彩色图像具有相同的空间分辨率。需要说明的是，在这种实施方式中，由于微透镜阵列中的各子透镜之间存在位置偏移，因此在融合图像前需要进行像素配准，即，所述将所述校准后的灰度图像和彩色图像进行融合，得到融合图像的步骤包括：将所述校准后的灰度图像和彩色图像进行像素配准；将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。具体的配准过程在上一实施例已经进行详细介绍，此处不再赘述。

由此可见，在本实施例中，通过第一图像传感器即可同时采集高分辨率的灰度图像和低分辨率的彩色图像，并得到具有较高清晰度的多光谱图像。从而，本实施例提供的内窥镜成像方法能够在不增加内窥镜摄像结构复杂性的情况下，提升多光谱图像的清晰度，提升图像质量。

本申请实施例公开了一种内窥镜成像方法，相对于第一个实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图6，根据一示例性实施例示出的第四种内窥镜成像方法的流程图，如图6所示，包括：

S401：确定当前的成像模式；

S402：获取目标对象的灰度图像和与所述成像模式对应的彩色图像；

可以理解的是，选取不同的图像进行融合可以得到不同成像模式下的融合图像，从而，在本实施例中，可以在确定当前的成像模式后，有针对性地获取与该成像模式对应的彩色图像，以避免不必要的运算量。

作为一种可行的实施方式，将红光图像、绿光图像、蓝光图像和灰度图像进行融合可以得到白光模式的融合图像。其中，红光图像、绿光图像和蓝光图像的比例系数可以通过白平衡校正方法确定。

作为另一种可行的实施方式，将红光图像、绿光图像、蓝光图像、灰度图像和UV光图像进行融合可以得到特殊光染色模式的融合图像。其中，UV光图像、红光图像、绿光图像和蓝光图像的比例可以按照一特定的预设系数确定。例如，为了凸显浅表层血管，可以将UV光图像、红光图像、绿光图像和蓝光图像的比例系数设置为2:1:1:1。

作为又一种可行的实施方式，将绿光图像和荧光图像进行融合可以得到荧光模式的融合图像。需要说明的是，为了区分绿光图像和荧光图像，可以将荧光图像进行色彩变换，然后乘以一特定比例系数与绿光图像进行融合，以获得结构清晰的荧光融合图像。

S403：校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

S404：将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

由此可见，在本实施例中，用户可以通过选择当前的成像模式控制图像传感器采集对应的彩色图像，通过图像融合可以得到不同成像模式的融合图像，提供了图像采集的灵活性。

下面对本申请实施例提供的一种内窥镜成像装置进行介绍，下文描述的一种内窥镜成像装置与上文描述的一种内窥镜成像方法可以相互参照。

参见图7，根据一示例性实施例示出的一种内窥镜成像装置的结构图，如图7所示，包括：

图像获取单元701，用于获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；

分辨率校准单元702，用于校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

融合单元703，用于将所述校准后的灰度图像和彩色图像进行融合，得到融合图像。

由于图像传感器在采集灰度图像时不存在因滤波而造成的光损失问题，感光能力更强，所以可以在所形成的图像中保留较多的细节结构，而人眼对结构细节比较敏感，但对色彩较为不敏感，因此基于具有较高的空间分辨率的灰度图像和具有较低空间空间分辨率的彩色图像融合得到的多光谱图像，相对于现有技术得到的多光谱图像，能够在显示出彩色的同时，呈现出更多的细节结构，从而使得图像更加清晰。由此可见，本申请实施例提供的内窥镜成像方法，对具有较高的空间分辨率的灰度图像和具有具有较低空间空间分辨率的彩色图像进行融合处理而得到多光谱图像，可以提升多光谱图像的清晰度，提升图像质量。

在上述实施例的基础上，作为一种优选实施方式，所述图像获取单元701具体用于：

通过第一图像传感器获取目标对象的灰度图像和彩色图像；其中，

在所述第一图像传感器中，用于获取所述灰度图像的像素点数大于用于获取任意一副所述彩色图像的像素点数。

在上述实施例的基础上，作为一种优选实施方式，所述第一图像传感器为多孔径成像系统中的图像传感器，所述多孔径成像系统通过微透镜阵列将所述第一图像传感器分割为三个或三个以上的成像区域，其中面积最大的成像区域用于获取所述灰度图像，其他成像区域用于分别获取不同颜色的彩色图像；

则，所述融合单元703具体用于：

将所述校准后的灰度图像和彩色图像进行像素配准；

将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

在上述实施例的基础上，作为一种优选实施方式，所述图像获取单元701具体用于：

通过第二图像传感器获取目标对象的灰度图像，并通过第三图像传感器获取目标对象的彩色图像，所述第二图像传感器与所述第三图像传感器之间存在固定的位置偏移量；

则，所述融合单元703具体用于：

将所述校准后的灰度图像和彩色图像进行像素配准；

将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

在上述实施例的基础上，作为一种优选实施方式，所述内窥镜成像装置还包括：

模式确认单元，用于确定当前的成像模式；

则，所述图像获取单元701具体用于：

获取目标对象的灰度图像和与所述成像模式对应的彩色图像。

在上述实施例的基础上，作为一种优选实施方式，所述彩色图像包括红光图像、绿光图像和蓝光图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式及其有益效果已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种图像处理器，参见图8，本申请实施例提供的一种图像处理器800的结构图，如图8所示，可以包括处理器11和存储器12。该图像处理器800还可以包括输入/输出(I/O)接口13，以及通信组件14中的一者或多者。

其中，处理器11用于控制该图像处理器800的整体操作，以完成上述的内窥镜成像方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该图像处理器800的操作，这些数据例如可以包括用于在该图像处理器800上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。I/O接口13为处理器11和其他接口模块之间提供接口。通信组件14用于该图像处理器800与其他设备(如图像传感器)之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件14可以包括：Wi-Fi模块，蓝牙模块，NFC模块或者通信线缆。

在一示例性实施例中，图像处理器800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的内窥镜成像方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述内窥镜成像方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由图像处理器800的处理器11执行以完成上述的内窥镜成像方法。

本申请实施例还提供了一种内窥镜系统，包括内窥镜和如上述实施例提供的图像处理器。

需要说明的是，本实施例中的内窥镜可以为任意具有能够采集具有较高空间分辨率的灰度图像和具有较低空间分辨率的彩色图像(包括至少两幅不同颜色的彩色图像)的摄像系统的内窥镜，其具体可以为如腹腔镜等刚性镜体，也可以为如胃镜、结肠镜、十二指肠镜等软镜镜体，在此不进行具体限定。

本实施例中通过内窥镜中的摄像系统，针对目标对象采集具有较高的空间分辨率的灰度图像和具有具有较低空间空间分辨率的彩色图像，利用图像处理器对获取到的灰度图像和彩色图像进行图像融合处理，得到目标对象的多光谱图像，可以在显示出彩色的同时，呈现出更多的细节结构，从而提升多光谱图像的清晰度，提升图像质量。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种内窥镜成像方法，其特征在于，包括：

获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；

校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

将所述校准后的灰度图像和彩色图像进行融合，得到融合图像；

其中，所述获取目标对象的灰度图像和彩色图像，包括：

通过第一图像传感器获取目标对象的灰度图像和彩色图像；其中，在所述第一图像传感器中，用于获取所述灰度图像的像素点数大于用于获取任意一副所述彩色图像的像素点数；

其中，所述第一图像传感器为多孔径成像系统中的图像传感器，所述多孔径成像系统包括沿光路方向设置的双远心系统、微透镜阵列、第一图像传感器和转像单元，双远心系统包括沿所述光路方向设置的第一透镜、视场光阑和第二透镜，微透镜阵列包括沿光路方向的垂直方向设置的至少两种类型的子透镜，用于将所述第一图像传感器分割为三个或三个以上的成像区域，其中面积最大的成像区域用于获取所述灰度图像，其他成像区域用于分别获取不同颜色的彩色图像；

其中，所述第一透镜的焦距为F₁，所述第二透镜的焦距为F₂，所述微透镜阵列中的子透镜的孔径大小为d_n，焦距为F_3n；则，所述视场光阑的大小D满足：D≤F₂×d_n/F_3n。

2.根据权利要求1所述的内窥镜成像方法，其特征在于，所述将所述校准后的灰度图像和彩色图像进行融合，得到融合图像，包括：

将所述校准后的灰度图像和彩色图像进行像素配准；

将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

3.根据权利要求1所述的内窥镜成像方法，其特征在于，所述获取目标对象的灰度图像和彩色图像，包括：

通过第二图像传感器获取目标对象的灰度图像，并通过第三图像传感器获取目标对象的彩色图像，所述第二图像传感器与所述第三图像传感器之间存在固定的位置偏移量；

则，所述将所述校准后的灰度图像和彩色图像进行融合，得到融合图像，包括：

将所述校准后的灰度图像和彩色图像进行像素配准；

将像素配准所得的灰度图像和彩色图像进行融合，得到融合图像。

4.根据权利要求1～3任一项所述的内窥镜成像方法，其特征在于，所述获取目标对象的灰度图像和彩色图像之前，所述内窥镜成像方法还包括：

确定当前的成像模式；

则，所述获取目标对象的灰度图像和彩色图像，包括：

获取目标对象的灰度图像和与所述成像模式对应的彩色图像。

5.根据权利要求4所述的内窥镜成像方法，其特征在于，所述彩色图像包括红光图像、绿光图像和蓝光图像。

6.一种内窥镜成像装置，其特征在于，包括：

图像获取单元，用于获取目标对象的灰度图像和彩色图像；其中，所述彩色图像包括至少两幅不同颜色的图像，所述灰度图像的空间分辨率V1大于任意一幅所述彩色图像的空间分辨率V2n；

分辨率校准单元，用于校准所述灰度图像和所述彩色图像的空间分辨率，以使校准后的灰度图像和彩色图像具有相同的空间分辨率V3；其中，所述V3≥V1；

融合单元，用于将所述校准后的灰度图像和彩色图像进行融合，得到融合图像；

其中，所述图像获取单元具体用于：通过第一图像传感器获取目标对象的灰度图像和彩色图像；其中，在所述第一图像传感器中，用于获取所述灰度图像的像素点数大于用于获取任意一副所述彩色图像的像素点数；

其中，所述第一图像传感器为多孔径成像系统中的图像传感器，所述多孔径成像系统包括沿光路方向设置的双远心系统、微透镜阵列、第一图像传感器和转像单元，双远心系统包括沿所述光路方向设置的第一透镜、视场光阑和第二透镜，微透镜阵列包括沿光路方向的垂直方向设置的至少两种类型的子透镜，用于将所述第一图像传感器分割为三个或三个以上的成像区域，其中面积最大的成像区域用于获取所述灰度图像，其他成像区域用于分别获取不同颜色的彩色图像；

其中，所述第一透镜的焦距为F₁，所述第二透镜的焦距为F₂，所述微透镜阵列中的子透镜的孔径大小为d_n，焦距为F_3n；则，所述视场光阑的大小D满足：D≤F₂×d_n/F_3n。

7.根据权利要求6所述的内窥镜成像装置，其特征在于，所述内窥镜成像装置还包括：

模式确认单元，用于确定当前的成像模式；

则，所述图像获取单元具体用于：

获取目标对象的灰度图像和与所述成像模式对应的彩色图像。

8.一种图像处理器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的内窥镜成像方法。

9.一种内窥镜系统，其特征在于，包括：如权利要求8所述的图像处理器。

Images