CN106028943B - 超声虚拟内窥成像系统和方法及其装置 - Google Patents

Abstract

一种超声虚拟内窥成像系统和方法及其装置，其系统包括：显示处理模块(110)，用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；定点选择模块(120)，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；空间映射模块(130)，用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及标记模块(140)，用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置；所述系统及方法解决了现有技术中3D超声虚拟内窥成像技术中无法显示3D图像和2D图像之间对应关系的问题。

Description

超声虚拟内窥成像系统和方法及其装置

技术领域

本发明涉及超声虚拟内窥成像技术，特别是涉及一种超声虚拟内窥成像系统和方法及其装置。

背景技术

虚拟内窥技术(Virtual Endoscopy，VE)是虚拟现实技术在现代医学中的应用。它利用医学影像作为原始数据，融合图像处理、计算机图形学、科学计算可视化等手段，模拟传统光学内窥镜的一种技术。虚拟内窥技术克服了传统光学内窥镜需要把内窥镜体插入人体内的缺点，是一种完全无接触式的检查方法，临床中可以用于辅助诊断、手术规划和实现手术的精确定位等。虚拟内窥技术在3D CT和MR成像中已经成熟应用多年，由于CT和MR的成像特性，主要用于集中在具有空腔结构的器官例如结肠、气管、血管、食道、心脏等。

超声作为一种快速、无创的影像检查技术在临床中应用广泛。近来，由于2D传统超声中往往会存在扫查范围不全面、遗漏信息等缺陷，3D超声影像可以看到器官和深层嵌入结构的真正位置和方向，为临床医生提供更准确的信息。超声的3D和4D技术迅速发展，在如妇产科、血管内科、泌尿科等都有广泛的应用。

超声虚拟内窥技术是将观察视角置入液体充盈的管腔或血管内部，结合可视化技术立体地展示观察空腔内部结构，以达到更为准确地诊断效果和制定治疗方案等。作为一项不同于传统超声3D的fly over方式，超声虚拟内窥可以理解为fly through方式进行观察，该项技术是一种独特的超声后处理方法，提供全新的视角以观察器官内部的结构。但是，目前的3D超声虚拟内窥的显示时仅仅是提供多平面重组(Multi-planar reformation，MPR)的三个正交面和三维渲染虚拟内窥图像。一方面，与CT、MR相比，超声图像的分辨率比较差，3D渲染图像中往往会存在伪像，容易与病灶混淆，从而会影响医生对病情的判断。医生需要不断结合2D图像来判断3D图像上对应位置是病灶还是伪像。另一方面，由于内窥模式与传统的3D成像模式视角不同，同时医生更加习惯看二维超声图像，因此使用者难以想象空间结构关系，在使用中往往很难将3D图像和2D图像联系起来。基于现有技术中存在的问题有待进一步的提高相关图像处理技术。

发明内容

基于此，有必要针对现有技术中3D超声虚拟内窥成像技术中无法显示3D图像和2D图像之间对应关系从而导致无法给医护人员提供更加准确、更加细致、更加人性化的生理信息判断依据的问题，提供一种超声虚拟内窥成像系统和方法及其装置。

本发明提供的一种超声虚拟内窥成像系统，其包括：

显示处理模块，用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

定点选择模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；

空间映射模块，用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及

标记模块，用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。

基于上述系统结构，本发明还提供了一种超声虚拟内窥成像方法，其包括：

在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

从所述显示界面上显示的任意一幅图像中获得预标记点或区域；

根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；

标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。基于上述系统和方法，本发明还提供了一种超声虚拟内窥成像装置，其包括：

图像采集模块，用于发射和接收超声波形，获得目标组织的三维图像数据；

存储器，用于存储所述三维图像数据及对所述三维图像数据执行操作的结果；

人机交互模块，用于获取对所述三维图像数据进行操作的指令；

显示器，用于同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；及

处理器模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域的位置，根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置，并标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。

本发明的超声虚拟内窥成像系统和方法及其装置，在常规超声虚拟内窥模式的基础上，通过人机交互方式，可以方便的建立3D图像与2D图像之间的对应关系，根据用户在2D或者3D图像中指定感兴趣点或区域，通过空间映射关系即可获得其对应的3D或者2D图像中的位置，并且可加以标记与显示，从而给医护人员提供更加准确、更加细致、更加人性化的生理信息判断依据。

附图说明

图1为本发明的超声虚拟内窥成像系统的结构示意图；

图2为本发明显示界面示意图；

图3为本发明空间映射模块130的结构示意图；

图4为平行投影和透视投影示意图；

图5为光线投射示意图；

图6为沿光线方向等间距采样示意图；

图7为成像平面示意图；

图8为标记模块140的一实施例结构示意图；

图9为标记模块140的又一实施例结构示意图；

图10为本发明超声虚拟内窥成像系统的一实施例结构示意图；

图11为图10实施例的显示界面的示意图；

图12为本发明超声虚拟内窥成像系统的又一实施例结构示意图；

图13为图12实施例的显示界面的示意图；

图14为本发明超声虚拟内窥成像系统的另一实施例结构示意图；

图15为图14实施例的显示界面的示意图；

图16为本发明的超声虚拟内窥成像方法的流程示意图；

图17为本发明的超声虚拟内窥成像装置的结构示意图；

图18为本发明超声虚拟内窥成像方法的一实施例流程示意图；

图19为本发明在实现坐标转换的一优选实施例示意图；

图20为本发明在实现坐标转换的另一优选实施例示意图。

具体实施方式

本发明基于3D超声虚拟内窥成像技术，提供一种超声虚拟内窥成像系统和方法及其装置，其在常规超声虚拟内窥模式的基础上，通过人机交互方式，可以方便的建立3D图像与2D图像之间的对应关系，根据用户在2D或者3D图像中指定感兴趣点或区域，通过空间映射关系即可获得其对应的3D或者2D图像中的位置并且加以标记与显示。以下结合附图详细说明本发明的各个具体实施方式。

本发明的超声虚拟内窥成像系统主要应用于超声虚拟内窥成像装置上，该装置通常包括：用于发射和接收超声波形解析获得目标组织的三维图像数据的图像采集模块、用于存储上述三维图像数据及对上述三维图像数据执行操作的结果的存储器、用于获取对上述三维图像数据进行操作指令的人机交互模块和用于显示基于多平面重组(MPR)所获得图像的显示器。如图1和图2所示，基于上述硬件环境，本实施例提供了一种超声虚拟内窥成像系统100，其包括：

显示处理模块110，用于在同一显示界面1上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像，这里的平面图像是指通过多平面重组获得的切面二维图像，用于显示在图2中的A、B、C区域，这里的立体图像是指3D渲染虚拟内窥图像，用于显示在图2中的3D区域；

定点选择模块120，用于从上述显示界面上显示的任意一幅图像中获得预标记点或区域2，如图2中的黑方点所表示的预标记点或区域2；

空间映射模块130，用于根据上述预标记点或区域2的空间位置坐标，基于空间映射关系获得上述预标记点或区域2对应在上述显示界面上的所有图像中的位置；及

标记模块140，用于标记上述预标记点或区域2对应在上述显示界面上的所有图像中的相应位置，如图2所示，在A\B\C\3D区域均标记对应的黑方点2，用以表示预标记点或区域在相应图像中的位置。

如图2所示，本实施例通过在同一显示界面上所有图像上关联显示指定的感兴趣点或区域(如图2中的预标记点或区域2)，可以为医护人员提供更加准确、更加细致、更加人性化的生理信息判断依据，方便医护人员直接通过显示器上的显示图像直观获得D图像与2D图像之间的对应关系。

基于上述实施例，如图3所示，本实施例中的空间映射模块130包括：

第一转换单元131，用于将来自上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述立体图像中的位置；

第二转换单元132，用于将来自上述立体图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述所有平面图像中的位置；及

判断单元133，用于判断上述预标记点或区域是否来自任意一副上述平面图像、或者是否来自上述立体图像，根据判断结果调用上述第一转换单元或上述第二转换单元。

本实施例中第一转换单元131主要用于将2D图像中的坐标位置转换为3D图像中的坐标位置，第二转换单元132主要用于将3D图像中的坐标位置转换为2D图像中的坐标位置，空间映射关系的具体实现方法具体参见下述内容。

通常超声虚拟内窥技术与传统3D体绘制采用的平行投影方式不同，为了仿真内窥镜的成像效果，采用透视投影方式。如图4(a)所示平行投影的视景体是一个平行的长方体，两端相同，也就是说物体和屏幕之间的距离并不会影响其看上去的大小。与此不同，透视投影的视景体是一个类似于金字塔的梯形体，一端大而另一端小，因此物体距离屏幕越近看上去就显得越大，如图4(b)所示。

透视投影中光线投射方式如图5所示，假定一条光线从视眼位置P点发出沿单位向量d方向投射，与视平面UV相交于S(u，v)点，与物体相交于Q点，P点与Q点的直线距离是t，那么Q点的坐标为Q＝P+td。

图6展示了沿光线方向等间距采样的过程。假设一组光线503从视眼位置P(501)发出，穿过视平面502与物体504边界相交于F点，从L点投出，在物体中穿越过程中进行等间隔采样。采样过程中按照预定规则获得的颜色与透明度值，然后进行累加混合最终获得图像平面S点S(u，v)的像素值作为最终结果显示在宽度为W、高度为H的屏幕(视平面)上，如图7所示。

基于上述有关图4至图7的模型原理，本实施例中，为了将2D坐标转换为3D坐标，本实施例提供了一最优实现方案，具体的第一转换单元131可以包括以下单元：

第一位置单元，用于根据来自上述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域(即图5中的Q点)的空间位置坐标；

第一计算单元，用于基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域(即图5中的S点)到上述第二映射点或区域的直线距离方程(具体参见下述公式(1))和上述视平面的方程(具体参见下述公式(2))；

第一求解单元，用于关联上述直线距离方程和上述视平面方程的计算，获得在XYZ空间系中上述视平面中第一映射点或区域(即图5中的S点)的坐标；及

第一位置转换单元，用于将获得的上述第一映射点或区域(即图5中的S点)在XYZ空间系中的坐标，转换为上述第一映射点或区域(即图5中的S点)在视平面中的坐标，从而获得上述预标记点或区域对应在上述立体图像中的位置。

本实施例的具体原理如下所示：

通常基于XYZ空间系对物体进行采样，在2D和3D互相定位交互过程中，视眼位置P始终保持不变，即坐标为(x₀，y₀，z₀)。当用户在界面上选择预标记点或区域后，相当于图5中Q点坐标唯一确定为(x₁，y₁，z₁)。因此，空间直线PQ的方程可以表示为下述公式(1)。

已知P点到视平面距离为D，视平面法线方向为N(A，B，C)，则视平面方程可以写成下述公式(2)。

联立上述公式(1)和公式(2)可以计算出直线PQ与视平面的交点S(x，y，z)，该交点为XYZ空间系中一点，通过空间映射关系到UV平面S(u，v)，则视平面上位于(u，v)的像素点位置就是空间点Q在3D渲染图像上对应的位置。

基于上述有关图4至图7的模型原理，本实施例中，为了将3D坐标转换为2D坐标，本实施例提供了一最优实现方案，具体的第二转换单元132可以包括以下单元：

第二位置单元，用于根据来自上述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域(即图5中的S点)的空间位置坐标；

第二位置转换单元，用于将上述视平面中的第一映射点或区域(即图5中的S点)的空间位置坐标转换为XYZ空间系下的坐标；

第二计算单元，用于基于从视眼位置经过上述第一映射点或区域(即图5中的S点)到上述预标记点或区域对应在XYZ空间系中的第二映射点或区域(即图5中的Q点)建立的直线距离方程(具体见上述公式(1))，计算从上述第一映射点或区域(即图5中的S点)的XYZ空间系坐标发射出光线的光线投射向量并跟踪；

第二判断单元，根据上述光线投射向量和采样间隔建立上述第二映射点或区域(即图5中的Q点)在XYZ空间系中的空间位置，并判断采样时间内上述第二映射点或区域的空间位置是否满足预设条件；及

第二求解单元，用于根据满足上述预设条件时对应的上述第二映射点或区域(即图5中的Q点)的空间位置，获得上述预标记点或区域对应在上述所有平面图像中的位置。上述提到的预设条件可以是针对上述第二映射点或区域(即图5中的Q点)的空间位置采样时的灰度值是否达到预设阈值。

本实施例的具体原理如下所示：如图2和图4至图7所示，在根据用户在3D渲染的图像3D区域中选择预标记点或区域2时，在交互过程中视眼位置P始终保持不变，坐标为(x₀，y₀，z₀)。当用户在在3D渲染的图像3D区域中设置预标记点或区域2时，该点位于成像平面(u，v)(即上述视平面)内的位置S。将S(u，v)变换到XYZ空间系，获得成像平面(u，v)内位置S在XYZ空间系下的坐标S(x₁，y₁，z₁)。那么连接P、S两点并以Q点为末端的直线方程可以表示为上述公式(1)的内容。

基于上述公式(1)，则该光线的光线投射向量表示为下述公式(3)的内容。

根据光线投射算法，沿该条光线对物体空间进行采样，则上述Q点(即上述第二映射点或区域)在XYZ空间系中的空间位置坐标可以表示为下述公式(4)所示内容。

其中Δt为采样间隔，i＝0，1，......为采样点索引，P表示视眼位置P的坐标。当采样时间内，针对Q点的采样首次到达某个满足预设条件(例如灰度值大于某阈值Gth)采样位置时，该空间位置即为最终需要标记的3D图像中位置坐标。

基于上述坐标转换的过程，上述空间映射模块130还包括：若上述预标记点或区域来自上述平面图像，则执行将来自任意一副上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述其他平面图像中位置的步骤的单元。这里平面图像之间的感兴趣点的位置映射，可以基于图5中在Q点位置进行多个切面而获得的二维图像与Q点空间位置的映射关系获得。

基于上述各个实施例，本实施例中对于获得的预标记点或区域对应在显示界面上所有图像内的位置进行标记时，如图2所示，可以利用颜色或者符号对相应位置进行特殊标记，以示区别。如图2中采用黑色方框标示预标记点或区域，也可以采用十字、圆点、矩形、方框、三角形等多种图标中的一种来进行标记，颜色的选择应与背景图像对比度差异较大的色彩。同时为了使图标不会阻挡图像、不影响用户观察，颜色标记应该能够调节透明度达到可以透视的效果。

基于上述实施例，本实施例中为了提供用户更多的选择和便于根据需要自由选择标记方式，并同时实现在同一个显示界面上能对多个选择的预标记点或区域进行区分标记，则如图8所示，上述标记模块140包括：

标记指令接收单元141，用于在上述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；及

标记执行单元142，用于将上述第一标记指令中选择的标记符号和/或颜色信息，叠加到上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。

基于上述实施例，如图9所示，为了实现对颜色的透明度进行自由选择，本实施例中标记模块140还包括：

透明度选择单元143，用于在上述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；及

显示调整单元144，用于根据上述第二标记指令中的透明度选择信息，调整叠加到上述预标记点或区域对应在上述所有图像中相应位置的颜色透明度。

基于上述实施例，为了便于能够基于上述标记位置直接读取相关位置的实际尺寸，则如图10和图11所示，本实施例的超声虚拟内窥成像系统还包括：背景叠加模块150，用于将标尺或含有刻度标示信息的背景图像叠加到上述平面图像和/或上述立体图像中作为背景显示。具体如图11所示(其中虚线框3表示截取的上述显示界面的一部分，以下同)，图11(a)中在虚线框3内的成像区域4为宽度为W、高度为H的显示图像(即可以是基于多平面重组(MPR)所获得二维平面图像或立体图像)，则在该成像区域4的上面或左边分别叠加标尺5，根据标尺上的刻度可以直观清晰的了解在二维平面图像或立体图像中标记的位置的相应尺寸。这里的标尺优选在成像区域4的上面时为长度为W的标尺，而在在成像区域4的左边时为长度为H的标尺。此外，还可以采用另一种方式直观显示标记位置的相应尺寸，即如图11(b)所示在虚线框3内的成像区域4为宽度为W、高度为H的显示图像，在该成像区域4内成像时叠加等间距网格图像6作为背景显示，这里的等间距网格图像6即为含有刻度标示信息的背景图像，但本发明不限于此一种方式的含有刻度标示信息的背景图像，只要可以在显示界面上直观显示标记位置的相关定量位置关系的背景图像均可，比如将图11(a)中的标尺5替换为，仅具有一行或一列的等间距网格，对一行或一列中等间距划分即可以表示刻度标示信息。

基于上述实施例，如图12所示，为了能使标尺或含有刻度标示信息可以随客户的需要进行调整，本实施的超声虚拟内窥成像系统100还包括：

距离设定单元170，用于在上述显示界面上提供用于择一选择上述标尺或上述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；及

刻度调整单元160，用于根据上述刻度调整指令中的刻度和/或该刻度比例信息，调整上述标尺的刻度或上述背景图像中的刻度标示信息。

基于上述实施例，如图12和图13所示，为了能更加直观准确的了解图像中被标记位置与叠加尺寸信息的关系，本实施的超声虚拟内窥成像系统100还包括：引线产生模块180，用于在上述预标记点或区域的位置被选中时，在上述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至上述标尺或上述背景图像中的刻度标示信息用以指示刻度标示信息。如图13所示，在虚线框3内的成像区域4为宽度为W、高度为H的显示图像，当其中的被标记点(即图中的黑色方点)被选中时，则生成垂直引线和平行引线7分别连接到位于成像区域4上方和左边的标尺5上，可以很方便的令图像观察者了解该标记点的相应位置。此外，为了不影响对成像区域其他地方图的观察，则优选当释放预标记点或区域的选中时，则垂直引线和平行引线7均消失。

基于上述实施例，如图14和图15所示，本实施的超声虚拟内窥成像系统100还包括：

距离标示模块191，用于测量上述定点选择模块获得的两个预标记点或区域的位置之间的距离；及

距离标记模块192，用于将含有上述距离的信息叠加到上述平面图像和/或立体图像中用以显示。

具体的如图15所示，在虚线框3内的成像区域4为宽度为W、高度为H的显示图像，针对用黑色方点标记的预标记点或区域2-2、黑色三角形方点标记的预标记点或区域2-1、黑色圆点标记的预标记点或区域2-3中的每两个点之间叠加相应的距离信息8，这样可以更加方便直观的了解多个标记位置的相对位置关系，为系统使用者提供更加人性化的、更加直观的定量分析显示结果。

基于上述超声虚拟内窥成像系统，如图16所示，本实施例还提供了一种超声虚拟内窥成像方法，其包括：

步骤610，在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

步骤620，从上述显示界面上显示的任意一幅图像中获得预标记点或区域；

步骤630，根据上述预标记点或区域的空间位置坐标，基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置；

步骤640，标记上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。

本实施例其实提供了一种成像标记显示方法，利用本实施例的方法可以对利用虚拟内窥技术获得的图像进行标记与显示，能从同时显示平面图像和立体图像的显示界面上直观、清晰的获得感兴趣点的位置对应关系，为传统的超声虚拟内窥成像系统增加了新的功能。上述步骤620中获得预标记点或区域可以利用人机交互模块来实现在显示图像上标记相应位置的方式获得。

基于上述实施例，本实施例中，如图18所示，上述步骤630根据上述预标记点或区域的空间位置坐标，基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置的过程包括：

步骤631，判断上述预标记点或区域是否来自任意一副上述平面图像、或者是否来自上述立体图像；

步骤632，若上述预标记点或区域来自上述平面图像，则将来自上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述立体图像中的位置；

步骤633，若上述预标记点或区域来自上述立体图像，则将来自上述立体图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述所有平面图像中的位置。

本实施例中步骤632主要用于将2D图像中的坐标位置转换为3D图像中的坐标位置，步骤633主要用于将3D图像中的坐标位置转换为2D图像中的坐标位置，空间映射关系的具体实现方法具体参见下述内容。

基于上述实施例，如图19所示，本实施例中上述将来自上述平面图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述立体图像中的位置的步骤632优选采用以下方式实现：

步骤321，根据来自上述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；

步骤322，基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到上述第二映射点或区域的直线距离方程和上述视平面的方程；

步骤323，关联上述直线距离方程和上述视平面方程的计算，获得在XYZ空间系中上述视平面中第一映射点或区域的坐标；

步骤324，将获得的上述第一映射点或区域在XYZ空间系中的坐标，转换为上述第一映射点或区域在视平面中的坐标，从而获得上述预标记点或区域对应在上述立体图像中的位置。

基于上述实施，如图20所示，本实施例中上述将来自上述立体图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述所有平面图像中的位置的步骤633包括：

步骤331，根据来自上述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；

步骤332，将上述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；

步骤333，基于从视眼位置经过上述第一映射点或区域到上述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从上述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；

步骤334，根据上述光线投射向量和采样间隔建立上述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内上述第二映射点或区域的空间位置是否满足预设条件；

步骤335，根据满足上述预设条件时对应的上述第二映射点或区域的空间位置，获得上述预标记点或区域对应在上述所有平面图像中的位置。

这里的第一映射点或区域为图5中的S点，第二映射点或区域为图5中的Q点，以上有关步骤632和步骤633的原理解释参见上述关于第一转换单元131和第二转换单元132的相关说明，在此不作累述。

基于上述实施例，如图18所示，本实施例中还包括：若上述预标记点或区域来自上述平面图像，则还包括将来自任意一副上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述其他平面图像中位置的步骤634。这里平面图像之间的感兴趣点的位置映射，可以基于图5中在Q点位置进行多个切面而获得的二维图像与Q点空间位置的映射关系获得。

基于上述各个实施例，为了提供用户更多的选择和便于根据需要自由选择标记方式，并同时实现在同一个显示界面上能对多个选择的预标记点或区域进行区分标记，本实施例中上述标记预标记点或区域对应在上述显示界面上的所有图像中的相应位置的步骤640包括：

在上述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；

将上述第一标记指令中选择的标记符号和/或颜色信息，叠加到上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。

本实施例中的上述标记符号为十字、圆点、矩形、方框、三角形等中的一种。

基于上述各个实施例，为了实现对颜色的透明度进行自由选择，并使图标不会阻挡图像、不影响用户观察，本实施例中上述标记上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置的步骤640还包括：

在上述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；

根据上述第二标记指令中的透明度选择信息，调整叠加到上述预标记点或区域对应在上述所有图像中相应位置的颜色透明度。

基于上述实施例，通过选择不同的标记符号和/或颜色，可以同时在同一个显示界面上同时区别显示多个预标记点或区域的位置。

基于上述实施例，为了便于能够基于上述标记位置直接读取相关位置的实际尺寸，本实施例中上述方法还包括：将标尺或含有刻度标示信息的背景图像叠加到上述平面图像和/或上述立体图像中作为背景显示。具体标记显示方式参见上述有关图11的相关说明。

基于上述实施例，为了能更加直观准确的了解图像中被标记位置与叠加尺寸信息的关系，本实施例中上述方法还包括：在上述预标记点或区域的位置被选中时，在上述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至上述标尺或上述背景图像中的刻度标示信息用以指示刻度信息。具体标记显示方式参见上述有关图13的相关说明。

基于上述实施例，为了能使标尺或含有刻度标示信息可以随客户的需要进行调整，本实施例中的超声虚拟内窥成像方法还包括：在上述显示界面上提供用于择一选择上述标尺或上述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；并根据上述刻度调整指令中的刻度和/或该刻度比例信息，调整上述标尺的刻度或上述背景图像中的刻度标示信息。

基于上述实施例，本实施例中的上述超声虚拟内窥成像方法还包括：测量上述定点选择模块获得的两个预标记点或区域的位置之间的距离，并将含有上述距离的信息叠加到上述平面图像和/或立体图像中用以显示。本实施可以直接通过距离信息的标记显示直接获知多个标记位置之间的相对位置关系，为系统使用者提供更加人性化的、更加直观的定量分析显示结果。

上述有关超声虚拟内窥成像方法中的相关细化内容可以参见上述有关超声虚拟内窥成像系统的相关说明，比如基于空间映射关系进行坐标转换的方法可以参见上述有关公式(1)至公式(4)的具体说明内容。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例系统和方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的超声虚拟内窥成像系统及方法的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性计算机可读存储介质(如ROM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的系统结构和方法。

如果将上述各个实施例所呈现的本发明的超声虚拟内窥成像系统及方法应用于超声虚拟内窥成像装置中，即可赋予其新的功能，使得在现有超声虚拟内窥成像装置中能够具有可视化2D与3D图像对应关系并量化标记点位置的功能，为超声虚拟内窥成像装置的使用者提供更加直观、更加精确的对比信息。具体如下所示。

基于上述内容，如图17所示，本发明还提供了一种超声虚拟内窥成像装置装置700，其包括：

图像采集模块705，用于发射和接收超声波形，获得目标组织的三维图像数据；

存储器702，用于存储上述三维图像数据及对上述三维图像数据执行操作的结果；

人机交互模块701，用于获取对上述三维图像数据进行操作的指令；

显示器703，用于同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；及

处理器模块704，用于从上述显示界面上显示的任意一幅图像中获得预标记点或区域的位置，根据上述预标记点或区域的空间位置坐标，基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置，并标记上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。

基于上述的超声虚拟内窥成像装置，本实施例的装置在根据预标记点或区域的空间位置坐标、基于空间映射关系获得上述预标记点或区域对应在上述显示界面上的所有图像中的位置时，通过判断上述预标记点或区域是否来自任意一副上述平面图像、或者是否来自上述立体图像来获得转换指令，根据该转换指令，选择执行将来自上述平面图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述立体图像中的位置，或执行将来自上述立体图像的预标记点或区域的空间位置坐标，转换为上述预标记点或区域对应在上述所有平面图像中的位置。这里有关转换指令获得的具体流程可参见上述结合附图18进行的相关说明，在此不累述。

在本实施例的超声虚拟内窥成像装置中，上述处理器模块704在将来自上述平面图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述立体图像中的位置时或将来自上述立体图像的预标记点或区域的空间位置坐标、转换为上述预标记点或区域对应在上述所有平面图像中的位置时，可参见上述结合附图19和20的有关步骤632和633的相关具体说明，在此不累述。

基于上述的超声虚拟内窥成像装置，为了能提供更多的标记方式选择，并同时在同一个显示界面上同时区别显示多个预标记点或区域的位置，其上述处理器模块704通过在上述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，来获取包含设定的标记符号和/或颜色信息的第一标记指令，用以将上述第一标记指令中选择的标记符号和/或颜色信息，叠加到上述预标记点或区域对应在上述显示界面上的所有图像中的相应位置。这里的标记符号可以为十字、圆点、矩形、方框、三角形等中的一种。

基于上述的超声虚拟内窥成像装置，为了在选择标记颜色后，图标不会阻挡图像、不影响用户观察，其上述处理器模块704通过在上述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，来获取包含透明度选择信息的第二标记指令，根据上述第二标记指令中的透明度选择信息，用以调整叠加到上述预标记点或区域对应在上述所有图像中相应位置的颜色透明度。

基于上述的超声虚拟内窥成像装置，为了能使用户直观的从显示界面上获取标记位置的尺寸信息，则其上述处理器模块704还通过将标尺或含有刻度标示信息的背景图像叠加到上述平面图像和/或上述立体图像中作为背景显示。这里的标尺或含有刻度标示信息的背景图像的解释参见上述有关图11的相关说明。

基于上述的超声虚拟内窥成像装置，为了能使用户自由选择上述标尺和背景图像中刻度信息的大小，其上述处理器模块704还通过在上述显示界面上提供用于择一选择上述标尺或上述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，来获取包含设定的刻度和/或该刻度比例信息的刻度调整指令，用以根据上述刻度调整指令中的刻度和/或该刻度比例信息，调整上述标尺的刻度或上述背景图像中的刻度标示信息。

基于上述的超声虚拟内窥成像装置，为了直观了解多个标记位置之间的相对位置关系，其上述处理器模块704通过测量同一显示图像中被选中的两个预标记点或区域位置之间的距离，并将含有上述距离的信息叠加到上述平面图像和/或立体图像中用以显示。

基于上述的超声虚拟内窥成像装置，为了能精确的了解标记位置对应在上述标尺或刻度信息上的尺寸信息，则其在上述预标记点或区域的位置被选中时，在上述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至上述标尺或上述背景图像中的刻度标示信息用以指示刻度信息。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (23)

1.一种超声虚拟内窥成像系统，其特征在于，所述系统包括：

显示处理模块，用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

定点选择模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；

空间映射模块，用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及

标记模块，用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置；

所述空间映射模块包括：

第一转换单元，用于将来自所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述立体图像中的位置；

所述第一转换单元包括：

第一位置单元，用于根据来自所述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；

第一计算单元，用于基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到所述第二映射点或区域的直线距离方程和所述视平面的方程；

第一求解单元，用于关联所述直线距离方程和所述视平面方程的计算，获得在XYZ空间系中所述视平面中第一映射点或区域的坐标；及

第一位置转换单元，用于将获得的所述第一映射点或区域在XYZ空间系中的坐标，转换为所述第一映射点或区域在视平面中的坐标，从而获得所述预标记点或区域对应在所述立体图像中的位置。

2.根据权利要求1所述的超声虚拟内窥成像系统，其特征在于，所述空间映射模块还包括：

第二转换单元，用于将来自所述立体图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所有所述平面图像中的位置；

判断单元，用于判断所述预标记点或区域是否来自任意一副所述平面图像、或者是否来自所述立体图像，根据判断结果调用所述第一转换单元或所述第二转换单元。

3.根据权利要求2所述的超声虚拟内窥成像系统，其特征在于，所述空间映射模块还包括：若所述预标记点或区域来自所述平面图像，则执行将来自任意一幅所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在其他平面图像中位置的步骤的单元。

4.根据权利要求3所述的超声虚拟内窥成像系统，其特征在于，所述第二转换单元包括：

第二位置单元，用于根据来自所述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；

第二位置转换单元，用于将所述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；

第二计算单元，用于基于从视眼位置经过所述第一映射点或区域到所述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从所述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；

第二判断单元，根据所述光线投射向量和采样间隔建立所述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内所述第二映射点或区域的空间位置是否满足预设条件；及

第二求解单元，用于根据满足所述预设条件时对应的所述第二映射点或区域的空间位置，获得所述预标记点或区域对应在所有所述平面图像中的位置。

5.一种超声虚拟内窥成像系统，其特征在于，所述系统包括：

显示处理模块，用于在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

定点选择模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域；

空间映射模块，用于根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；及

标记模块，用于标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置；

所述空间映射模块包括：

第二转换单元，用于将来自所述立体图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所有所述平面图像中的位置；

所述第二转换单元包括：

第二位置单元，用于根据来自所述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；

第二位置转换单元，用于将所述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；

第二计算单元，用于基于从视眼位置经过所述第一映射点或区域到所述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从所述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；

第二判断单元，根据所述光线投射向量和采样间隔建立所述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内所述第二映射点或区域的空间位置是否满足预设条件；及

第二求解单元，用于根据满足所述预设条件时对应的所述第二映射点或区域的空间位置，获得所述预标记点或区域对应在所有所述平面图像中的位置。

6.根据权利要求5所述的超声虚拟内窥成像系统，其特征在于，所述空间映射模块还包括：

第一转换单元，用于将来自所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述立体图像中的位置；

判断单元，用于判断所述预标记点或区域是否来自任意一副所述平面图像、或者是否来自所述立体图像，根据判断结果调用所述第一转换单元或所述第二转换单元。

7.根据权利要求6所述的超声虚拟内窥成像系统，其特征在于，所述第一转换单元包括：

第一位置单元，用于根据来自所述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；

第一计算单元，用于基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到所述第二映射点或区域的直线距离方程和所述视平面的方程；

第一求解单元，用于关联所述直线距离方程和所述视平面方程的计算，获得在XYZ空间系中所述视平面中第一映射点或区域的坐标；及

第一位置转换单元，用于将获得的所述第一映射点或区域在XYZ空间系中的坐标，转换为所述第一映射点或区域在视平面中的坐标，从而获得所述预标记点或区域对应在所述立体图像中的位置。

8.根据权利要求1或5所述的超声虚拟内窥成像系统，其特征在于，所述标记模块包括：

标记指令接收单元，用于在所述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；及

标记执行单元，用于将所述第一标记指令中选择的标记符号和/或颜色信息，叠加到所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。

9.根据权利要求8所述的超声虚拟内窥成像系统，其特征在于，所述标记模块还包括：

透明度选择单元，用于在所述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；及

显示调整单元，用于根据所述第二标记指令中的透明度选择信息，调整叠加到所述预标记点或区域对应在所述所有图像中相应位置的颜色透明度。

10.根据权利要求1或5所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：

背景叠加模块，用于将标尺或含有刻度标示信息的背景图像叠加到所述平面图像和/或所述立体图像中作为背景显示。

11.根据权利要求10所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：

距离设定单元，用于在所述显示界面上提供用于择一选择所述标尺或所述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；及

刻度调整单元，用于根据所述刻度调整指令中的刻度和/或该刻度比例信息，调整所述标尺的刻度或所述背景图像中的刻度标示信息。

12.根据权利要求1或5所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：

距离标示模块，用于测量所述定点选择模块获得的两个预标记点或区域的位置之间的距离；及

距离标记模块，用于将含有所述距离的信息叠加到所述平面图像和/或立体图像中用以显示。

13.根据权利要求10所述的超声虚拟内窥成像系统，其特征在于，所述系统还包括：

引线产生模块，用于在所述预标记点或区域的位置被选中时，在所述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至所述标尺或所述背景图像中的刻度标示信息。

14.一种超声虚拟内窥成像方法，其特征在于，所述方法包括：

在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

从所述显示界面上显示的任意一幅图像中获得预标记点或区域；

根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；

标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置；

所述根据所述预标记点或区域的空间位置坐标、基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置的步骤包括：

判断所述预标记点或区域是否来自任意一幅所述平面图像；

若所述预标记点或区域来自所述平面图像，则将来自所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述立体图像中的位置；

所述将来自所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所述立体图像中的位置的步骤包括：

根据来自所述平面图像的预标记点或区域，获得在XYZ空间系中该预标记点或区域对应的第二映射点或区域的空间位置坐标；

基于XYZ空间系内的透视投影成像方式，计算视眼位置经过视平面中的第一映射点或区域到所述第二映射点或区域的直线距离方程和所述视平面的方程；

关联所述直线距离方程和所述视平面方程的计算，获得在XYZ空间系中所述视平面中第一映射点或区域的坐标；

将获得的所述第一映射点或区域在XYZ空间系中的坐标，转换为所述第一映射点或区域在视平面中的坐标，从而获得所述预标记点或区域对应在所述立体图像中的位置。

15.根据权利要求14所述的超声虚拟内窥成像方法，其特征在于，所述方法中还包括：若所述预标记点或区域来自所述平面图像，则还包括将来自任意一幅所述平面图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在其他平面图像中位置的步骤。

16.一种超声虚拟内窥成像方法，其特征在于，所述方法包括：

在同一显示界面上同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；

从所述显示界面上显示的任意一幅图像中获得预标记点或区域；

根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置；

标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置；

所述根据所述预标记点或区域的空间位置坐标、基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置的步骤包括：

判断所述预标记点或区域是否来自所述立体图像；

若所述预标记点或区域来自所述立体图像，则将来自所述立体图像的预标记点或区域的空间位置坐标，转换为所述预标记点或区域对应在所有所述平面图像中的位置；

根据来自所述立体图像的预标记点或区域，获得基于透视投影成像方式时该预标记点或区域对应在视平面中的第一映射点或区域的空间位置坐标；

将所述视平面中的第一映射点或区域的空间位置坐标转换为XYZ空间系下的坐标；

基于从视眼位置经过所述第一映射点或区域到所述预标记点或区域对应在XYZ空间系中的第二映射点或区域建立的直线距离方程，计算从所述第一映射点或区域的XYZ空间系坐标发射出光线的光线投射向量并跟踪；

根据所述光线投射向量和采样间隔建立所述第二映射点或区域在XYZ空间系中的空间位置，并判断采样时间内所述第二映射点或区域的空间位置是否满足预设条件；

根据满足所述预设条件时对应的所述第二映射点或区域的空间位置，获得所述预标记点或区域对应在所有所述平面图像中的位置。

17.根据权利要求14或16所述的超声虚拟内窥成像方法，其特征在于，所述标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置的步骤包括：

在所述显示界面上提供用于择一选择标记符号和/或颜色的提示框、或按键、或指令输入框，以获取第一标记指令；

将所述第一标记指令中选择的标记符号和/或颜色信息，叠加到所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。

18.根据权利要求17所述的超声虚拟内窥成像方法，其特征在于，所述标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置的步骤还包括：

在所述显示界面上提供用于择一选择填充区域透明度的提示框、或按键、或指令输入框，以获取第二标记指令；

根据所述第二标记指令中的透明度选择信息，调整叠加到所述预标记点或区域对应在所述所有图像中相应位置的颜色透明度。

19.根据权利要求14或16所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：将标尺或含有刻度标示信息的背景图像叠加到所述平面图像和/或所述立体图像中作为背景显示。

20.根据权利要求19所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：在所述显示界面上提供用于择一选择所述标尺或所述刻度标示信息的刻度和/或该刻度比例的提示框、或按键、或指令输入框，以获取刻度调整指令；并根据所述刻度调整指令中的刻度和/或该刻度比例信息，调整所述标尺的刻度或所述背景图像中的刻度标示信息。

21.根据权利要求14或16所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：测量两个预标记点或区域的位置之间的距离，并将含有所述距离的信息叠加到所述平面图像和/或立体图像中用以显示。

22.根据权利要求19所述的超声虚拟内窥成像方法，其特征在于，所述方法还包括：在所述预标记点或区域的位置被选中时，在所述显示界面上的所有图像中分别生成垂直线和/或平行线，并关联至所述标尺或所述背景图像中的刻度标示信息。

23.一种包含了权利要求1-13任意一项所述的超声虚拟内窥成像系统的超声虚拟内窥成像装置，其特征在于，所述装置包括：

图像采集模块，用于发射和接收超声波形，获得目标组织的三维图像数据；

存储器，用于存储所述三维图像数据及对所述三维图像数据执行操作的结果；

人机交互模块，用于获取对所述三维图像数据进行操作的指令；

显示器，用于同时显示利用虚拟内窥技术获得的至少一个平面图像与至少一个立体图像；及

处理器模块，用于从所述显示界面上显示的任意一幅图像中获得预标记点或区域的位置，根据所述预标记点或区域的空间位置坐标，基于空间映射关系获得所述预标记点或区域对应在所述显示界面上的所有图像中的位置，并标记所述预标记点或区域对应在所述显示界面上的所有图像中的相应位置。