CN118212277B - 基于器官的多模态配准方法及装置 - Google Patents

Abstract

本申请涉及一种基于器官的多模态配准方法及装置，获取目标影像序列后通过器官识别和三维重建，得到器官影像和三维模型，确认当前被检查对象和磁场发生器的相对位置，在显示区域显示基于三维重建模型的采集引导，用户根据采集引导控制超声探头获取被检查对象的超声图像，基于被检查对象和磁场发生器的相对位置、器官影像和超声图像，通过算法计算得到目标影像序列的影像坐标系和磁场的磁场坐标系的转换关系，基于该转换关系可将两个模态对应的坐标系中的任意坐标互相转换，以实现多模态的图像配准融合，以上方法，在用户操作层面上精简了配准流程、提高配准效率、降低了用户的操作门槛，且各个步骤均可逆，提高了容错率，避免用户重复操作。

Description

基于器官的多模态配准方法及装置

技术领域

本申请涉及多模态图像配准领域，特别是涉及一种基于器官的多模态配准方法及装置。

背景技术

医用的多模态融合系统，最核心的环节是多个模态数据的配准过程，该过程需要对不同坐标系下的不同图像进行坐标系的统一以此来确保融合结果准确，目前传统的图像坐标融合方式一般需要操作人员根据选定的某张CT/MRI/PET图像作为参考图像，控制超声探头移动使得超声探头采集的超声成像显示内容与选定的参考图像显示的内容经过人工判断认为基本一致后，将当前采集的超声成像的图像信息和坐标信息发送至计算机与参考图像进行比对计算，重复上述步骤多次，最终通过超声图像与CT/MRI图像的匹配来完成器官配准，进一步实现两个模态的坐标系统一配准；以上主流的配准方式流程较为繁琐，耗时较长，也较为依赖操作人员的经验，降低了临床中的操作体验和拉高了操作门槛。

发明内容

基于此，有必要针对现有技术中提出的配准流程繁琐、耗时长以及操作门槛较高等技术问题，提供一种基于器官的多模态配准方法及装置。

本申请第一方面提供了一种基于器官的多模态配准方法，包括：

获取被检查对象的目标影像序列，并基于所述目标影像序列进行目标器官识别和三维重建，获取被检查对象的目标器官影像序列和三维重建模型；在第一显示区域显示器官配准操作界面，所述器官配准操作界面包括磁场方位选择控件和超声图像采集控件，所述磁场方位选择控件用于选择磁场方位，所述磁场方位用于表征磁场发生器与所述被检查对象的相对位置关系；响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位；响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示；所述超声探头基于所述采集引导提示对所述被检查对象进行超声采样，获取被检查对象的超声图像；基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准。

在一个实施例中，所述响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位，之后还包括：响应于针对体位选择控件的触发操作，在所述器官配准操作界面显示多个备选体位，并从多个所述备选体位中确定目标体位，所述体位选择控件用于选择被检查对象的体位，所述体位用于表征被检查对象的当前姿态。

在一个实施例中，所述采集引导提示包括在所述三维重建模型的目标器官区域显示有用于引导所述超声探头运动的箭头类轨迹指引。

在一个实施例中，所述目标器官影像序列的获取方式包括：在所述器官配准操作界面逐帧显示所述目标影像序列；响应于首帧确认操作，确定所述目标影像序列中出现所述目标器官的第一帧；响应于尾帧确认操作，确定所述目标影像序列中出现所述目标器官的最后一帧；获取所述第一帧到所述最后一帧的所有所述目标影像序列，确定为目标器官影像序列。

在一个实施例中，所述器官配准操作界面还包括相对位置显示区域，所述相对位置显示区域用于显示所述磁场发生器与所述被检查对象的相对位置关系。

在一个实施例中，响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示，包括：响应于针对所述超声图像采集控件的触发操作，所述触发操作包括自动采集触发操作和手动采集触发操作；在所述第二显示区域的第一子区域实时显示所述超声探头采集的超声图像，以及，在所述第二显示区域的第二子区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示；在所述器官配准操作界面显示采集内容，所述采集内容由所述自动采集触发操作和所述手动采集触发操作决定。

在一个实施例中，当所述触发操作为自动采集触发操作时，在所述器官配准操作界面显示所述采集内容，所述采集内容包括采集时长和所述超声探头采集的超声图像帧数。

在一个实施例中，当所述触发操作为手动采集触发操作时：在所述器官配准操作界面显示采集控件；响应于所述采集控件触发操作，获取所述超声探头当前采集的超声图像；在所述器官配准操作界面显示所述采集内容，所述采集内容包括所述超声探头采集的超声图像，所述超声图像按照采集顺序依次在所述器官配准操作界面显示。

在一个实施例中，所述基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准，包括：基于所述目标磁场方位，确定所述磁场发生器与所述被检查对象的相对位置关系，基于所述相对位置关系，确定所述磁场发生器的磁场坐标系与目标器官影像序列的影像坐标系的调整系数；识别所述被检查对象的超声图像中含有目标器官的超声图像，作为目标器官超声序列；基于所述目标器官影像序列和所述目标器官超声序列，构建各序列对应的器官三维体，并计算所述各序列对应的器官三维体的几何中心；基于所述几何中心和调整系数，旋转所述磁场坐标系与所述影像坐标系中的至少一个，使所述各序列对应的器官三维体的几何中心重合，以及所述磁场坐标系与所述影像坐标系的三轴朝向相同；根据各序列对应的器官三维体，根据ICP算法配准、能量场算法配准以及基于图像相似性算法配准中的至少一个计算得到坐标变换矩阵；基于所述坐标变换矩阵，将所述磁场坐标系与所述影像坐标系中的任意坐标映射至另一坐标系下，完成所述磁场坐标系与所述影像坐标系的配准

本申请第二方面提供了一种基于器官的多模态配准装置，包括：影像获取模块，用于获取被检查对象的目标影像序列，并基于所述目标影像序列进行目标器官识别和三维重建，获取被检查对象的目标器官影像序列和三维重建模型；第一显示模块，用于在第一显示区域显示器官配准操作界面，所述器官配准操作界面包括磁场方位选择控件和超声图像采集控件，所述磁场方位选择控件用于选择磁场方位，所述磁场方位用于表征磁场发生器与所述被检查对象的相对位置关系；磁场控件响应模块，用于响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位；第二显示模块，用于响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示；超声采集模块，用于通过超声探头基于所述采集引导提示对所述被检查对象进行超声采样，获取被检查对象的超声图像；配准模块，用于基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准。

上述基于器官的多模态配准方法及装置，获取目标影像序列后通过器官识别和三维重建，得到对应的器官影像和三维模型，并确认当前被检查对象和磁场发生器的相对位置，在显示区域显示基于三维重建模型的采集引导，用户根据采集引导控制超声探头获取被检查对象的超声图像，基于被检查对象和磁场发生器的相对位置、器官影像和超声图像，通过算法计算得到目标影像序列的影像坐标系和磁场的磁场坐标系的转换关系，基于该转换关系可将任一坐标在两个坐标系中互相转换，基于任一超声图像的坐标信息即可在目标影像序列里确定对应的图像帧，通过在同一显示区域内同时显示超声图像和图像帧，以实现多模态的融合显示效果，以上配置融合方法，在用户操作层面上精简了配准流程、提高配准效率、降低了用户的操作门槛。

附图说明

图1为一个实施例中基于器官的多模态配准方法的流程示意图；

图2为一个实施例中磁场方位与体位控件示意图；

图3为一个实施例中备选磁场方位与备选体位示意图；

图4为一个实施例中第二显示区域显示内容示意图；

图5为一个实施例中目标影像序列的首尾帧示意图；

图6为一个实施例中超声图像采集完成的界面示意图；

图7为一个实施例中自动采集的示意图；

图8为一个实施例中手动采集的示意图；

图9为一个实施例中多模态配准装置的结构框图；

图10为另一个实施例中多模态融合设备的示意图；

图11为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请所使用的术语“包括”、“包含”、“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已清楚地列出的步骤或单元，而是还可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请所使用的术语 “多个”的含义是两个以上（包括两个），除非另有明确具体的限定。

本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分，但这些对象本身不受这些术语限制，不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系等。应当理解，在不脱离本申请的范围的情况下，这些术语在适当的情况下可以互换。例如，可将“第一显示区域”描述为“第二显示区域”，且类似地，将“第二显示区域”描述为“第一显示区域”。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在本文中使用以下术语。

多模融合/超声融合：是指将US与CT/MRI/PET的断层图像结合，并在同一屏幕上实时同步显示的一项技术，该技术将CT/MRI/PET图像导入超声系统，通过多种定位方式将超声与CT/MRI断层图像相互匹配，并利用磁场定位，实现实时超声与CT/MRI容积图像联动，能同时具备CT/MRI 等成像的高分辨率与US的实时性、易操作与任意切面显示的特点，将多种影像学信息相互补充，精准定位病灶。

US：Ultrasound，简称US，为超声技术，通过超声技术扫描人体获取成像信息即为超声成像技术，超声成像是利用超声声束扫描人体，通过对反射信号的接收、处理，以获得体内器官的图象；

目标影像序列：包含目标器官的影像序列，目标器官根据用户的检查项目可以是肾脏、前列腺或其他器官，影像序列由一帧帧的切片图像构成，每一帧切片的排列顺序与扫描时的顺序一致，切片图像通常为CT/MRI/PET等格式，均按照DICOM标准进行存储，每一帧切片图像除了包含二维的图像信息外，还包括在DICOM坐标系下的三维坐标，其坐标系即为DICOM默认的坐标系。

DICOM坐标系：DICOM中坐标系的定义是以病人为准：以病人中心作为原点，病人左手指向的方向为X轴正向；病人背后的方向为Y轴的正向；病人头部的方向为Z轴的正向，即，DICOM坐标系是以病人为中心的右手坐标系。

图1为本公开实施例提供的一种基于器官的多模态配准方法的流程示意图，该方法可以由多模态配准装置执行，其中该装置可由软件和/或硬件实现，一般可集成在电子设备中，集成方式可以是客户端安装在对应电子设备中，该客户端可以是用于显示配准过程的应用程序，也可以是网页客户端，还可以是在母应用的运行环境中运行的子应用，该电子设备可以为手机、智能手表、平板电脑以及个人数字助理等移动设备；也可为台式计算机等其他设备；进一步的，也可是各个医疗设备，如超声融合设备等。

下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

在一个实施例中，如图1所示，提供了一种基于器官的多模态配准方法，该方法包括以下步骤：

步骤S101、获取被检查对象的目标影像序列，并基于所述目标影像序列进行目标器官识别和三维重建，获取被检查对象的目标器官影像序列和三维重建模型。

获取被检查对象的目标影像序列，通常可通过与用于执行医学扫描的仪器通信连接或者与医院内部服务器通信连接，从而可以获取仪器扫描得到的目标影像序列；在另一个实施场景中，也可以通过闪存介质、邮件等方式获取得到目标影像序列，具体的获取方式在此不做限定，在一个实施例中，用户在设备端的交互界面上进行操作，通过点击或触摸导入按钮等操作，选择确定目标影像序列、以此来获取该目标影像序列。

目标影像序列，通常是CT/MRI/PET中的一种，包含有被检查对象的目标器官的切片图像。

目标器官识别，指将目标影像序列中含有目标器官的切片通过算法模型识别或人工勾勒等方式，识别出目标器官及其轮廓。

三维重建，基于目标影像序列中的各个切片，将包含的被检查对象的器官、组织、骨骼以及皮肤等图像信息、坐标信息等进行三维重建，由于切片之间的扫描具有间隔，未被扫描到的被检查对象的身体部分，通过算法模型进行补充和模拟，最终得到完整的三维重建模型，用于反映被检查对象的内部构造。

目标器官影像序列，基于目标器官识别，从目标影像序列中选出含有目标器官的切片，按照顺序单独排列为目标器官影像序列。

步骤S102、在第一显示区域显示器官配准操作界面，所述器官配准操作界面包括磁场方位选择控件和超声图像采集控件，所述磁场方位选择控件用于选择磁场方位，所述磁场方位用于表征磁场发生器与所述被检查对象的相对位置关系。

第一显示区域，可以是一个屏幕中的部分显示区域，也可以是指一个屏幕所能显示的全部区域，在一个实施例中，第一显示区域和下文中出现的第二显示区域，指相互独立的两块显示屏幕。

器官配准操作界面，指供用户进行操作交互的显示窗口，该显示窗口可以全屏在第一显示区域展示，也可以在第一显示区域的部分区域中展示。

磁场方位选择控件，指在器官配准操作界面中设置的供用户进行点击或触摸的交互控件，用于供用户选择磁场发生器与被检查对象的相对位置关系，其中磁场发生器用于发射呈半球体的磁场，以在该磁场坐标系下定位磁场内的对象，同时该磁场覆盖被检查对象，在多个实施例中，磁场发生器置于被检查对象的左上方或右上方。

步骤S103、响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位。

备选磁场方位，指存在的多种磁场发生器与被检查对象的相对位置，在实际的应用场景中，考虑到仪器的摆放空间不影响医护人员对被检查对象的检查，为了使磁场发生器发射的磁场覆盖被检查对象，磁场发生器一般设置在被检查对象的左上方，或是设置在被检查对象的右上方。

目标磁场方位，即当前磁场发生器与被检查对象的相对位置，在备选磁场方位中确定目标磁场方位，即确定了当前磁场发生器与被检查对象的相对位置。

如图2所示，通过对磁场方位选择控件即“电磁选择”的触发操作，在操作界面中显示多个备选的磁场方位，医护人员根据现场实际的磁场发生器与被检查对象的摆放情况，选择对应的磁场方位。

步骤S104、响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示。

第二显示区域，可以是一个屏幕中的部分显示区域，也可以是指一个屏幕所能显示的全部区域，在一个实施例中，第二显示区域和上文中出现的第一显示区域，指相互独立的两块显示屏幕。

采集引导界面，指用于引导医护人员操作超声探头采集被检查对象的超声图像的界面，该显示界面可以全屏在第二显示区域展示，也可以在第二显示区域的部分区域中展示，基于器官的多模态融合，需要采集的超声图像上包含有完整的器官图像，因此该采集引导界面基于在先的三维重建模型，在三维重建模型上进行采集引导提示，来引导医护人员按照既定方式手持超声探头进行超声图像的采集，采集引导提示一般可以是在三维模型上的箭头引导，也可以是模型上的超声探头模型的运动轨迹，亦或是包含医护人员模型的手持超声探头采集超声图像的完整流程演示等等，医护人员基于以上的相关提示，可以准确快速的采集到满足融合条件和要求的被检查对象的含有目标器官的超声图像。

步骤S105、所述超声探头基于所述采集引导提示对所述被检查对象进行超声采样，获取被检查对象的超声图像。

在一个实施例中，超声探头设置有电磁传感器，用于感应电磁传感器在磁场中的坐标信息，进一步的即可采集超声探头在磁场，即磁场坐标系的坐标信息，超声探头在采集超声图像时，通过电磁传感器实时获取每一张超声图像切片在三维磁场中的空间位姿信息，因此最终采集到且输出至客户端的超声图像切片，包含有每一超声图像切片在磁场坐标系下的三维坐标信息。

超声探头在对被检查对象的超声采样过程中，可以在第二显示区域中的部分区域实时显示当前超声探头返回的超声图像，用于供医护人员判断当前位置的超声探头所采集的超声图像是否符合多模态融合对超声图像采集的内容的要求。

被检查对象的超声图像，可以是超声探头实时采集到并返回到第二显示区域显示的超声图像，也可以是将实时采集到的超声图像，经过医护人员筛选后的超声图像，在此不做限定，无论何种获取方式，在确定被检查对象的超声图像后，该超声图像即参与后续的超声图像配准。

步骤S106、基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准。

根据目标磁场方位，可得到当前磁场发生器与被检查对象的相对位置关系，进一步的，由于磁场发生器的磁场坐标系三轴xyz朝向恒定不变，且目标器官影像序列的坐标系是DICOM坐标系，而DICOM坐标系又是以被检查对象为中心进行作为原点，在某些特定的检查中如前列腺检查，被检查对象均是身体仰卧面朝上的坐姿，因此在确定了磁场发生器和被检查对象的相对位置关系后，即确定了磁场坐标系的三轴xyz与DICOM坐标系的三轴xyz各自的朝向，基于以上两个坐标系下的三轴朝向，即可确定使两个坐标系三轴朝向一致的坐标旋转系数。

根据采集到的超声图像，通过算法模型识别或人工勾勒等方式，识别出目标器官及其轮廓，将其中含有目标器官轮廓的超声图像切片筛选整理后，基于每张超声图像切片在三维磁场空间上的空间位姿信息，即三维坐标信息，结合每张超声图像切片中的用于表征目标器官轮廓的像素点在二维超声图像的排列位置，通过空间映射从而得到目标器官轮廓的三维坐标信息，基于各个超声图像切片上的器官轮廓进行三维体重构，得到一个大致的器官三维体，同理对目标器官影像序列进行上述处理，也得到一个大致的器官三维体，分别计算两个三维的几何中心，然后移动其中一个器官三维体下的坐标系，使得两个三维体器官的几何中心重合，并根据上文中得到的坐标旋转系数，再对一个坐标系进行旋转，使得两个坐标系下的xyz轴朝向一致，最终使两个器官三维体大致重合。

根据上述两个大致重合的器官三维体，通过三维体轮廓点的坐标进行ICP算法配准、基于能量场的配准以及基于图像相似性等至少一个以上的算法配准计算，能够得到两个坐标系的坐标变换矩阵，通过这个矩阵，可以将两个坐标系下的任意一个坐标映射到另一个坐标系下。

在具体的应用场景下，在完成配准步骤后，在之后的术式中，如前列腺穿刺、肾脏穿刺等，医护人员只需按照正常的手术流程，将超声探头采集对应器官的超声图像，根据返回的超声图像的磁场坐标系下的三维坐标信息，通过坐标变换矩阵确定对应的DICOM坐标系下的映射坐标，基于该映射坐标确定对应的CT/MRI/PET切片，将该切片与对应的超声图像在同一显示区域中重叠或排列显示，以实现多模态的超声融合。

对应的，由于在器官三维体重合和三维体轮廓点配准的过程中，可以任意选择其中一个坐标系作为参考坐标系，如将磁场坐标系作为参考坐标系，将DICOM 坐标系进行平移、旋转使得坐标系下的器官三维体的几何中心与磁场坐标系下的器官三维体的几何中心重合，以及使DICOM 坐标系的三轴朝向与磁场坐标系下的三轴朝向一致，再在根据旋转平移关系的基础上，通过三维体轮廓点的坐标进行ICP算法配准、基于能量场的配准以及基于图像相似性等至少一个以上的算法配准计算，得到的是DICOM 坐标系的坐标转换成磁场坐标系的坐标变换矩阵，在后续的术中融合过程中，是需要将获取的超声图像下的磁场坐标在DICOM坐标系中确地映射坐标，因此需要将坐标变换矩阵进行逆变换后作为磁场坐标系转换DICOM 坐标系的坐标变换矩阵，同样的，若在配准环节中将DICOM 坐标系作为参考坐标系，最终获取的坐标变换矩阵无需再进行逆变换，即可实现磁场坐标系下的坐标向DICOM坐标系下的坐标映射。

上述方案，基于器官的多模态配准方法及装置，获取目标影像序列后通过器官识别和三维重建，得到对应的器官影像和三维模型，并确认当前被检查对象和磁场发生器的相对位置，在显示区域显示基于三维重建模型的采集引导，用户根据采集引导控制超声探头获取被检查对象的超声图像，基于被检查对象和磁场发生器的相对位置、器官影像和超声图像，通过算法计算得到目标影像序列的影像坐标系和磁场的磁场坐标系的转换关系，基于该转换关系可将任一坐标在两个坐标系中互相转换，基于任一超声图像的坐标信息即可在目标影像序列里确定对应的图像帧，通过在同一显示区域内同时显示超声图像和图像帧，以实现多模态的融合显示效果，以上配置融合方法，在用户操作层面上精简了配准流程、提高配准效率、降低了用户的操作门槛，同时在先的方位选择、图像采集等步骤均可逆，可供医护人员在调用算法进行配准计算前进行调整纠错，进一步提高了配准的容错率，同时也避免了某个参数设置错误导致需要重复执行全流程的繁琐，进一步提高了配准效率和用户体验。

在一个实施例中，响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位，之后还包括：响应于针对体位选择控件的触发操作，在所述器官配准操作界面显示多个备选体位，并从多个所述备选体位中确定目标体位，所述体位选择控件用于选择被检查对象的体位，所述体位用于表征被检查对象的当前姿态。

如图2所示，在器官配准操作界面中除了设置“电磁选择”即磁场方位选择控件外，还设置有“体位选择”即体位选择控件，当用户通过点击或触摸等操作触发“体位选择”控件时，器官配准操作界面显示相关的被检查对象的多个备选的可能体位，如俯卧位、侧卧位或斜侧卧位等等，如图3所示，医护人员基于当前被检查对象的躺姿体位，在备选体位中选择对应的目标体位，完成系统确定的体位和被检查对象的实际体位的对应。

结合在先确定的目标磁场方位，以及被检查对象的当前体位，在已经确定磁场发生器与被检查对象的相对位置关系下，再确定被检查对象的躺姿体位，进一步确定磁场坐标系与DICOM坐标系的坐标旋转系数。

在临床环境中，由于不同的术式针对的目标器官不同，因此对患者的躺姿体位的要求也不同，如前列腺的术式需要患者仰卧，而肾脏的术式需要患者露出后背部分，因此需要的躺姿与前列腺的截然不同，通过设置不同的体位选择，能让多模融合适配不同的临床环境，提高配准方法的兼容性，同时将体位具体细化后，能提供更精准的坐标旋转系数，优化配准计算流程，精简计算量，提高配准的效率和精度。

在一个实施例中，采集引导提示包括在所述三维重建模型的目标器官区域显示有用于引导所述超声探头运动的箭头类轨迹指引。

如图4所示，采集引导提示是建立在以目标影像序列为源数据重建的三维重建模型上进行的引导提示，在一个实施例中，采集引导提示的在第二显示区域中的部分显示区域中显示，如图4所示的右下角，其显示有基于被检查对象在先检查的目标影像序列重建的三维重建模型，在对应术式中如前列腺活检穿刺中，通过箭头指引医护人员按照箭头方向操作超时探头进入被检查对象的会阴或直肠，来对前列腺器官进行超声采样。

其中三维重建模型包括由对应器官的相关骨骼如耻骨、肌肉组织等，便于医护人员通过其他组织骨骼定位采集方向，提高了采集过程中的被检查对象的可视化程度和多维信息的覆盖。

采集引导提示还可以是在三维重建模型上的超声探头模型的运动轨迹，亦或是包含医护人员模型的手持超声探头采集超声图像的完整流程演示，基于三维重建模型上的对超声探头采集的引导提示，不局限于上述实施例。

在一个实施例中，目标器官影像序列的获取方式包括：在所述器官配准操作界面逐帧显示所述目标影像序列；响应于首帧确认操作，确定所述目标影像序列中出现所述目标器官的第一帧；响应于尾帧确认操作，确定所述目标影像序列中出现所述目标器官的最后一帧；获取所述第一帧到所述最后一帧的所有所述目标影像序列，确定为目标器官影像序列。

获取目标影像序列后，在器官配准操作界面中逐帧显示该序列，如图5所示，获取的目标影像序列共有60帧，用户可通过操作界面中的上下箭头切换上下帧，或者是拖动每帧图片下的进度条进度来切换当前显示的图像帧，由于每帧的图片顺序按照采集顺序依次排列，通常在CT/MR的扫描过程中是由脚到头逐次扫描被检查对象，因此序列中的前几帧和后几帧不含有目标器官，医护人员通过逐次检查图像帧，把首次确定目标器官的图像帧作为目标影像序列的首帧，把最后一帧出现目标器官的图像帧作为目标影像序列的尾帧，即通过首尾帧可以确定目标影像序列含有目标器官的图像帧，在响应医护人员的确认操作后，将上述包含有目标器官的图像帧确定为目标器官影像序列，该目标器官影像序列包含二维图像信息、坐标信息等相关信息，并将目标器官影像序列作为后续配准的影像序列。

通过上述操作，可对导入的目标影像序列进行进一步精简筛选，降低了设备终端计算量的同时，也能对减少医护人员对识别结果的审核工作量，进一步精简了配准流程，提高了配准效率

在一个实施例中，器官配准操作界面还包括相对位置显示区域，所述相对位置显示区域用于显示所述磁场发生器与所述被检查对象的相对位置关系。

如图6所示，完成超声图像的采集确认后，在对超声图像的器官轮廓确认界面，可进一步确认对超声图像的器官轮廓识别结果，确认无误后，系统即会调用相关算法，并基于在先步骤导入的图像序列、坐标旋转系数等参数进行配准计算，同时，在界面的右上角部分区域显示有在先选择的磁场方位，即表示磁场发生器与被检查对象的相对位置关系，用于辅助用户在此阶段进行纠错调整，避免因为在先的选择失误导致需要重复执行设置、采集等步骤，进一步提高了配准的效率和容错率。

进一步的，相对位置显示区域还可进一步显示在先选择的被检查对象的体位，医护通过触发“体位/电磁选择”控件，在如图3所示的备选磁场方位和备选体位中，进一步修正目标磁场方位和目标体位。

在一个实施例中，响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示，包括：响应于针对所述超声图像采集控件的触发操作，所述触发操作包括自动采集触发操作和手动采集触发操作；在所述第二显示区域的第一子区域实时显示所述超声探头采集的超声图像，以及，在所述第二显示区域的第二子区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示；在所述器官配准操作界面显示采集内容，所述采集内容由所述自动采集触发操作和所述手动采集触发操作决定。

超声图像采集控件，包括自动采集控件和手动采集控件，针对不同采集控件的触发操作，在第一子区域显示不同内容。

在本实施例中，第二显示区域指第二显示屏幕，如图4所示，第一子区域指在第二显示屏幕中的上半部分，其中第一子区域中根据超声探头的不同探面又细分为不同的显示部分，用于分别显示超声探头的各探面实时采集到的超声图像，第一显示区域指第一显示屏幕，用于全屏或部分显示器官配准操作界面，当检测到用户针对超声图像采集控件的触发操作后，器官配准操作界面显示对应的采集内容。

超声图像采集控件，包括自动采集控件和手动采集控件，针对不同采集控件的触发操作，在第一子区域显示不同内容，用于辅助医护人员判断不同采集模式下的采集情况，如自动采集下需要关注采集的超声图像数量，而手动采集下需要关注采集的具体的超声图像的图像内容。

在一个实施例中，触发操作为自动采集触发操作时，在所述器官配准操作界面显示所述采集内容，所述采集内容包括采集时长和所述超声探头采集的超声图像帧数。

如图7所示，医护人员触发“自动采集”控件，在器官配准操作界面中实时显示与自动采集模式关联的采集内容，如当前采集的帧数、采集时长等，用于供医护人员直观掌握采集的图像数量和所占用的时长，以此供医护人员评估后续配准的计算量，以及是否及时调整超声探头的采集速度等，以提供更多的干预选择，如当医护人员判断当前采集的超声图像足够支撑后续的配准计算后，即可提前选择结束本次采集。

在一个应用场景中，医护人员触发“自动采集”控件，第二显示区域显示超声探头实时采集的超声图像，并同时显示剩余的采集时长，用户根据回传的超声图像控制超声探头以一定速率和方向移动，以获取器官的完整超声图像，同时同步显示采集倒计时，为医护人员提供直观的采集剩余时间外，当出现数值一直为0时，说明超声探头可能接触不良等问题，可提醒医护人员及时调整，

也进一步规定了采集的超声图像的数据上限，避免用户采集过多且重复的冗余数据，其次医护人员也可以根据不断递增的数值去选择是否提前结束采集，降低计算量的同时，提高配准效率。

在一个实施例中，触发操作为手动采集触发操作时：在所述器官配准操作界面显示采集控件；响应于所述采集控件触发操作，获取所述超声探头当前采集的超声图像；在所述器官配准操作界面显示所述采集内容，所述采集内容包括所述超声探头采集的超声图像，所述超声图像按照采集顺序依次在所述器官配准操作界面显示。

如图8所示，医护人员触发“手动采集”控件，在器官配准操作界面中实时显示采集的超声图像，每帧超声图像按照采集的先后顺序依次在操作界面中排列显示，并同时显示当前采集到的帧数，医护人员通过浏览采集到的超声图像，判断获取的器官超声图像是否完整。

在一个应用场景中，医护人员触发“手动采集”控件，第二显示区域显示超声探头实时采集的超声图像，用户控制超声探头缓慢移动，当当前回传的超声图像包含有目标器官时，触发“采样”控件，获取当前的超声图像，随后继续移动超声探头，当回传的超声图像满足配准需求时，再次触发“采样”控件，获取当前的超声图像，以此操作多次，直到获取目标器官完整的超声图像。

通过上述采集方式，能够实时确定当前采集的超声图像的二维内容，同时由于每帧超声图像按照采集顺序排序，医护人员可直观的判断获取的一系列超声图像是否能构成完整的器官轮廓，进一步判断采集的超声图像是否满足配准的要求，增加了整个采集过程中的可视化程度，提供纠错功能的同时进一步提高了容错率。

在一个实施例中，基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准，包括：基于所述目标磁场方位，确定所述磁场发生器与所述被检查对象的相对位置关系，基于所述相对位置关系，确定所述磁场发生器的磁场坐标系与目标器官影像序列的影像坐标系的调整系数；识别所述被检查对象的超声图像中含有目标器官的超声图像，作为目标器官超声序列；基于所述目标器官影像序列和所述目标器官超声序列，构建各序列对应的器官三维体，并计算所述各序列对应的器官三维体的几何中心；基于所述几何中心和调整系数，旋转所述磁场坐标系与所述影像坐标系中的至少一个，使所述各序列对应的器官三维体的几何中心重合，以及所述磁场坐标系与所述影像坐标系的三轴朝向相同；根据各序列对应的器官三维体，根据ICP算法配准、能量场算法配准以及基于图像相似性算法配准中的至少一个计算得到坐标变换矩阵；基于所述坐标变换矩阵，将所述磁场坐标系与所述影像坐标系中的任意坐标映射至另一坐标系下，完成所述磁场坐标系与所述影像坐标系的配准。

ICP算法，ICP算法配准是一种经典的数据配准算法，主要用于解决基于自由形态曲面的配准问题。其基本原理是，通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数。

图像相似性算法配准，即将不同坐标系下的不同器官三维体进行二维切面，基于切面的图像进行相似度计算，获取对应的相似度满足预设标准的切片，并基于切片的三维坐标信息，计算二者的转换关系，以此重复多次，取多张不同坐标系下的不同切片完成相识度计算，进一步获取多个坐标的转换关系，综合计算后得两个坐标系的坐标转换系数。

根据目标磁场方位，可得到当前磁场发生器与被检查对象的相对位置关系，进一步的，由于磁场发生器的磁场坐标系三轴xyz朝向恒定不变，且目标器官影像序列的坐标系是DICOM坐标系，而DICOM坐标系又是以被检查对象为中心进行作为原点，在某些特定的检查中如前列腺检查，被检查对象均是身体仰卧面朝上的坐姿，因此在确定了磁场发生器和被检查对象的相对位置关系后，即确定了磁场坐标系的三轴xyz与DICOM坐标系的三轴xyz各自的朝向，基于以上两个坐标系下的三轴朝向，即可确定使两个坐标系三轴朝向一致的坐标旋转系数。

根据采集到的超声图像，通过算法模型识别或人工勾勒等方式，识别出目标器官及其轮廓，将其中含有目标器官轮廓的超声图像切片筛选整理后，基于各个切片上的器官轮廓进行三维体重构，得到一个大致的器官三维体，同理对目标器官影像序列进行上述处理，也得到一个大致的器官三维体，分别计算两个三维的几何中心，然后移动其中一个器官三维体下的坐标系，使得两个三维体器官的几何中心重合，并根据上文中得到的坐标旋转系数，再对一个坐标系进行旋转，使得两个坐标系下的xyz轴朝向一致，最终使两个器官三维体大致重合。

根据上述两个大致重合的器官三维体，通过三维体轮廓点的坐标进行ICP算法配准、基于能量场的配准以及基于图像相似性等至少一个以上的算法配准计算，能够得到两个坐标系的坐标变换矩阵，通过这个矩阵，可以将两个坐标系下的任意一个坐标映射到另一个坐标系下。

在具体的应用场景下，在完成配准步骤后，在之后的术式中，如前列腺穿刺、肾脏穿刺等，医护人员只需按照正常的手术流程，将超声探头采集对应器官的超声图像，根据返回的超声图像的磁场坐标系下的三维坐标信息，通过坐标变换矩阵确定对应的DICOM坐标系下的映射坐标，基于该映射坐标确定对应的CT/MRI/PET切片，将该切片与对应的超声图像在同一显示区域中重叠或排列显示，以实现多模态的超声融合。

根据本公开的一个或多个实施例，如图9所示，提供了一种基于器官的多模态配准装置200，包括：

影像获取模块201，用于获取被检查对象的目标影像序列，并基于所述目标影像序列进行目标器官识别和三维重建，获取被检查对象的目标器官影像序列和三维重建模型；

第一显示模块202，用于在第一显示区域显示器官配准操作界面，所述器官配准操作界面包括磁场方位选择控件和超声图像采集控件，所述磁场方位选择控件用于选择磁场方位，所述磁场方位用于表征磁场发生器与所述被检查对象的相对位置关系；

磁场控件响应模块203，用于响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位；

第二显示模块204，用于响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示；

超声采集模块205，用于通过超声探头基于所述采集引导提示对所述被检查对象进行超声采样，获取被检查对象的超声图像；

配准模块206，用于基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准。

上述基于器官的多模态配准装置，获取目标影像序列后通过器官识别和三维重建，得到对应的器官影像和三维模型，并确认当前被检查对象和磁场发生器的相对位置，在显示区域显示基于三维重建模型的采集引导，用户根据采集引导控制超声探头获取被检查对象的超声图像，基于被检查对象和磁场发生器的相对位置、器官影像和超声图像，通过算法计算得到目标影像序列的影像坐标系和磁场的磁场坐标系的转换关系，基于该转换关系可将任一坐标在两个坐标系中互相转换，基于任一超声图像的坐标信息即可在目标影像序列里确定对应的图像帧，通过在同一显示区域内同时显示超声图像和图像帧，以实现多模态的融合显示效果，以上配置融合方法，在用户操作层面上精简了配准流程、提高配准效率、降低了用户的操作门槛。

关于基于器官的多模态配准装置的具体限定可以参见上文中对于基于器官的多模态配准方法的限定，在此不再赘述。上述基于器官的多模态配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

参考图10所示，在一个具体的应用场景中，病患进行前列腺穿刺引导手术，此时病患以固定姿势平躺在手术台上，旁边放置一台多模态融合设备，该设备整合了磁场发生器、电磁传感器、超声探头、第一显示屏幕和第二显示屏幕等装置，磁场发生器至于病患左上或右上方，用来发射一半球体的磁场覆盖病患全身，多个电磁传感器可拆卸的固定安装在超声探头上，另一端和多模态融合设备连接，当超声探头在磁场范围内移动时，可通过电磁传感器感应到对应的坐标信息和朝向信息，并返回至多模态融合设备，此前在多模态融合设备中导入的病患前列腺器官的MRI图像，在多模态融合设备的第一显示屏幕，即第一显示区域中显示器官配准操作界面，对导入的MRI图像进行首尾帧确认后，进一步选择被检查对象的当前姿态体位和磁场发生器的相对位置关系后，医护人员操作超声探头实时采集被检查对象的超声图像，并在第二显示屏幕，即第二显示区域中实时观察超声探头返回的超声图像，同时第二显示屏幕还实时显示有基于三维重建模型的引导提示，医护根据引导提示控制超声探头按照引导轨迹或方向移动，医护人员通过自动采集或手动采集等方式完成超声图像的采集后，在器官配准操作界面确认采集内容，由多模态融合设备根据在先的参数设置如体位、磁场方位等，结合在先导入的MRI图像筛选后的器官首尾帧和采集的超声图像，调用内置算法，完成两个磁场坐标系和MRI图像下的DICOM坐标系的配准。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是用户终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统和计算机程序，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境，该计算机程序被处理器执行时以实现一种医学图像显示方法。该通信接口用于与外部的终端通过网络连接通信。该显示屏可以是液晶显示屏或者电子墨水显示屏。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于器官的多模态配准装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于器官的多模态配准装置的各个程序模块，比如，图9所示的影像获取模块、第一显示模块、磁场控件响应模块、第二显示模块、超声采集模块和配准模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于器官的多模态配准方法中的步骤。

据此，在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请任一实施例提供的基于器官的多模态配准方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

据此，在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例提供的医学基于器官的多模态配准方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的部分实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于器官的多模态配准方法，其特征在于，包括：

获取被检查对象的目标影像序列，并基于所述目标影像序列进行目标器官识别和三维重建，获取被检查对象的目标器官影像序列和三维重建模型；

在第一显示区域显示器官配准操作界面，所述器官配准操作界面包括磁场方位选择控件和超声图像采集控件，所述磁场方位选择控件用于选择磁场方位，所述磁场方位用于表征磁场发生器与所述被检查对象的相对位置关系；

响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位；

响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示，所述采集引导提示包括通过箭头方向、运动轨迹或流程演示来引导所述超声探头运动；

所述超声探头基于所述采集引导提示对所述被检查对象进行超声采样，获取被检查对象的超声图像，所述超声图像包括目标器官的超声图像；

基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准；所述基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准，包括：

基于所述目标磁场方位，确定所述磁场发生器与所述被检查对象的相对位置关系，基于所述相对位置关系，确定所述磁场发生器的磁场坐标系与目标器官影像序列的影像坐标系的调整系数；

识别所述被检查对象的超声图像中含有目标器官的超声图像，作为目标器官超声序列；

基于所述目标器官影像序列和所述目标器官超声序列，构建各序列对应的器官三维体，并计算所述各序列对应的器官三维体的几何中心；

基于所述几何中心和调整系数，旋转所述磁场坐标系与所述影像坐标系中的至少一个，使所述各序列对应的器官三维体的几何中心重合，以及所述磁场坐标系与所述影像坐标系的三轴朝向相同；

根据各序列对应的器官三维体，根据ICP算法配准、能量场算法配准以及基于图像相似性算法配准中的至少一个计算得到坐标变换矩阵；

基于所述坐标变换矩阵，将所述磁场坐标系与所述影像坐标系中的任意坐标映射至另一坐标系下，完成所述磁场坐标系与所述影像坐标系的配准。

2.根据权利要求1所述的配准方法，其特征在于，所述响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位，之后还包括：

响应于针对体位选择控件的触发操作，在所述器官配准操作界面显示多个备选体位，并从多个所述备选体位中确定目标体位，所述体位选择控件用于选择被检查对象的体位，所述体位用于表征被检查对象的当前姿态。

3.根据权利要求1所述的配准方法，其特征在于，所述采集引导提示包括在所述三维重建模型的目标器官区域显示有用于引导所述超声探头运动的箭头类轨迹指引。

4.根据权利要求1所述的配准方法，其特征在于，所述目标器官影像序列的获取方式包括：

在所述器官配准操作界面逐帧显示所述目标影像序列；

响应于首帧确认操作，确定所述目标影像序列中出现所述目标器官的第一帧；

响应于尾帧确认操作，确定所述目标影像序列中出现所述目标器官的最后一帧；

获取所述第一帧到所述最后一帧的所有所述目标影像序列，确定为目标器官影像序列。

5.根据权利要求1或2所述的配准方法，其特征在于，所述器官配准操作界面还包括相对位置显示区域，所述相对位置显示区域用于显示所述磁场发生器与所述被检查对象的相对位置关系。

6.根据权利要求1所述的配准方法，其特征在于，响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示，包括：

响应于针对所述超声图像采集控件的触发操作，所述触发操作包括自动采集触发操作和手动采集触发操作；

在所述第二显示区域的第一子区域实时显示所述超声探头采集的超声图像，以及，在所述第二显示区域的第二子区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示；

在所述器官配准操作界面显示采集内容，所述采集内容由所述自动采集触发操作和所述手动采集触发操作决定。

7.根据权利要求6所述的配准方法，其特征在于，当所述触发操作为自动采集触发操作时，在所述器官配准操作界面显示所述采集内容，所述采集内容包括采集时长和所述超声探头采集的超声图像帧数。

8.根据权利要求6所述的配准方法，其特征在于，当所述触发操作为手动采集触发操作时：

在所述器官配准操作界面显示采集控件；

响应于所述采集控件触发操作，获取所述超声探头当前采集的超声图像；

在所述器官配准操作界面显示所述采集内容，所述采集内容包括所述超声探头采集的超声图像，所述超声图像按照采集顺序依次在所述器官配准操作界面显示。

9.一种基于器官的多模态配准装置，其特征在于，包括：

影像获取模块，用于获取被检查对象的目标影像序列，并基于所述目标影像序列进行目标器官识别和三维重建，获取被检查对象的目标器官影像序列和三维重建模型；

第一显示模块，用于在第一显示区域显示器官配准操作界面，所述器官配准操作界面包括磁场方位选择控件和超声图像采集控件，所述磁场方位选择控件用于选择磁场方位，所述磁场方位用于表征磁场发生器与所述被检查对象的相对位置关系；

磁场控件响应模块，用于响应于针对所述磁场方位选择控件的触发操作，在所述器官配准操作界面显示多个备选磁场方位，并从多个所述备选磁场方位中确定目标磁场方位；

第二显示模块，用于响应于针对所述超声图像采集控件的触发操作，在第二显示区域显示用于引导超声探头采集超声图像的采集引导界面，所述采集引导界面包括基于所述三维重建模型的采集引导提示，所述采集引导提示包括通过箭头方向、运动轨迹或流程演示来引导所述超声探头运动；

超声采集模块，用于通过超声探头基于所述采集引导提示对所述被检查对象进行超声采样，获取被检查对象的超声图像，所述超声图像包括目标器官的超声图像；

配准模块，用于基于所述目标磁场方位、所述目标器官影像序列和所述超声图像，完成所述目标影像序列与所述超声图像的配准，所述配准模块还用于执行以下步骤：

基于所述目标磁场方位，确定所述磁场发生器与所述被检查对象的相对位置关系，基于所述相对位置关系，确定所述磁场发生器的磁场坐标系与目标器官影像序列的影像坐标系的调整系数；

识别所述被检查对象的超声图像中含有目标器官的超声图像，作为目标器官超声序列；

基于所述目标器官影像序列和所述目标器官超声序列，构建各序列对应的器官三维体，并计算所述各序列对应的器官三维体的几何中心；

基于所述几何中心和调整系数，旋转所述磁场坐标系与所述影像坐标系中的至少一个，使所述各序列对应的器官三维体的几何中心重合，以及所述磁场坐标系与所述影像坐标系的三轴朝向相同；

根据各序列对应的器官三维体，根据ICP算法配准、能量场算法配准以及基于图像相似性算法配准中的至少一个计算得到坐标变换矩阵；

基于所述坐标变换矩阵，将所述磁场坐标系与所述影像坐标系中的任意坐标映射至另一坐标系下，完成所述磁场坐标系与所述影像坐标系的配准。