CN112053346B - 一种操作引导信息的确定方法和系统 - Google Patents

Abstract

本申请实施例公开了一种操作引导信息的确定方法和系统。所述方法包括：获取目标对象的光学图像；获取医疗任务中所述目标对象的皮肤下的目标部位信息；根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息。

Description

一种操作引导信息的确定方法和系统

技术领域

本申请涉及图像处理技术领域，特别涉及一种操作位置的确定方法和系统。

背景技术

目前在外科手术中通常都是依靠医生的经验来选取皮肤上的下刀位置，完全依赖医生的经验。医生对于病灶对应的皮肤表面位置的定位准确度有限。为了使医生能够更加方便快捷的准确定位病灶对应的皮肤表面位置，有必要提出一直辅助医生确定操作引导信息的方法。

发明内容

本说明书实施例之一提供一种操作引导信息的确定方法，所述方法包括：获取目标对象的光学图像；获取医疗任务中所述目标对象的皮肤下的目标部位信息；根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息。

本说明书实施例之一提供一种用于确定操作位置引导信息的系统，所述系统包括：光学图像获取模块，用于获取目标对象的光学图像；目标部位获取模块，用于获取医疗任务中所述目标对象的皮肤下的目标部位信息；操作位置操作引导确定模块，用于根据所述光学图像、以及所述目标部位信息以及预设算法，确定与所述目标对象上部位相关联的操作位置操作引导信息；所述操作位置信息能够反映所述目标部位相对所述目标对象的位置。

本说明书实施例之一提供一种用于确定操作引导信息的装置，所述装置包括处理器，所述处理器用于执行上述的操作引导信息的确定方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述的操作引导信息的确定方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，

其中：

图1是根据本申请一些实施例所示的操作引导信息的确定系统的应用场景示意图；

图2是根据本申请一些实施例所示的操作引导信息的确定方法的示例性流程图；

图3是根据本申请一些实施例所示的机器学习模型训练的示例性流程图；

图4是根据本申请一些实施例所示的操作引导信息的确定系统的模块图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块或单元做出了各种引用，然而，任何数量的不同模块或单元可以被使用并运行在客户端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请一个或多个实施例涉及一种操作引导信息的确定系统，可以用于外科手术中的操作引导信息，所述操作引导信息可以辅助医生确定患者病灶对应的表面皮肤上的操作位置。所述外科手术包括但不限于骨科手术，仅作为示例，用骨科手术进行举例说明：例如，在骨科手术中，患者的病灶通常位于骨骼上，医生在对患者进行手术治疗时，需要先在患者表面皮肤上确定操作位置，然后从操作位置进入病灶区域对病灶进行治疗。

通常情况下，医生在进行外科手术时，需要凭经验对患者选择下刀位置下刀，即确定操作位置。该方式完全依赖医生经验，选择的下刀位置因人而异，不够客观、准确。本申请的一个或多个实施例的操作引导信息的确定系统根据患者的光学图像和医学图像来确定操作引导信息，进而在患者皮肤表面确定操作位置。通过本申请实施例的方式确定的操作位置，可以准确的与病灶区域对应，无需依赖医生的经验。

本申请的实施例中的操作引导信息的确定系统还可以在确定患者表面皮肤上的操作引导信息后，对相应的操作位置进行显示，或者对该操作位置进行指示，使得医生可以快速获得该操作位置的具体信息。本申请一个或多个实施例涉及一种操作引导信息的确定系统，也可以用于确定其他实验体的操作引导信息。在一些实施例中，所述其他实验体包括其他动物活体，或非活体的实验模型。本申请一个或多个实施例涉及一种操作引导信息的确定系统可以集成于外科手术平台中，辅助医生实施外科手术。应当理解的是，本申请的操作引导信息的确定系统的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。

图1是根据本申请一些实施例所示的操作引导信息的确定系统的应用场景示意图。

如图1所述，操作引导信息的确定系统100可以包括服务器110、数据库120、摄影设备130、终端设备140以及网络150。

在一些实施例中，服务器110可以用于处理与确定操作引导信息相关的信息和/或数据。例如，服务器110可以基于机器学习模型确定光学图像中目标对象上的操作引导信息。在一些实施例中，服务器110还可以通过网络150获取数据库120和/或摄影设备130的相关信息。例如，服务器110可以从摄影设备130中获取目标对象的光学图像。又例如，服务器110可以从数据库120中获取医疗任务中目标对象的目标部位信息。

在一些实施例中，服务器110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如：服务器110可以是分布系统)。在一些实施例中，该服务器110可以是区域的或者远程的。例如，服务器110可通过网络120访问存储于数据库120、摄影设备130中的信息和/或资料。在一些实施例中，服务器110可直接与数据库120、摄影设备130连接以访问存储于其中的信息和/或资料。在一些实施例中，服务器110可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云等中的一种或其任意组合。

在一些实施例中，数据库120可以用于存储与确定操作引导信息相关的数据。在一些实施例中，数据库120可以存储医疗任务及其相关信息。例如，数据库120可以存储医疗任务中的医学图像。又例如，数据库120可以存储医疗任务中目标对象的目标部位信息。在一些实施例中，数据库120可以提供用于训练机器学习模型的样本训练数据。在一些实施例中，数据库120可以通过网络150与摄影设备130、服务器110进行直接或间接通讯。可选地，服务器110可以访问数据库120的样本训练数据，以用于训练机器学习模型。在一些实施例中，样本训练数据可以包括历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像。在一些实施例中，数据库120或服务器110或其他外部设备可以计算出该样本训练数据的数据标签。数据库120还可以包括样本训练数据的数据标签。

在一些实施例中，摄影设备130可以是用于获取目标对象的光学图像的采集系统，其包括但不限于至少一个成像设备。在一些实施例中，摄影设备130可以是光学成像设备。例如，照相机或摄影机。在一些实施例中，摄影设备130可以通过网络150与服务器110进行通讯，将其获得的光学图像存储在服务器110中以便进行后续处理。在一些实施例中，摄影设备130也可以与数据库120进行通讯，将其获得的光学图像作为样本训练数据存入数据库120中，以便用于机器学习模型的训练。在一些实施例中，摄影设备130还可以获取目标对象的实时光学图像。在一些实施例中，摄影设备130可以通过网络150与显示设备140进行通讯，以便将其获取的实时光学图像显示在显示设备140中。例如，摄影设备130的摄像机组件可以持续获取医生操作时的实时影像信息，并将其显示在显示设备140中。

在一些实施例中，终端设备140可以用于输出目标对象的操作引导信息。在一些实施例中，所述操作引导信息的输出形式包括但不限于显示输出或语音输出等。对应地，在一些实施例中，终端设备140可以包括显示设备，用于对目标对象的操作引导信息进行显示。例如，显示设备可以在目标对象的光学图像中使用醒目的标志(如红色“X”状标志)标示出操作引导信息的具体位置信息。在一些实施例中，显示设备也可以用于对操作过程进行实时显示。例如，显示设备可以同时显示医生的当前操作引导信息与标志的位置，以便医生可以准确的找到标志位置进行操作。在一些实施例中，终端设备140可以包括语音输出设备，将所述操作引导信息的具体信息通过语音播报的形式进行输出。在一些实施例中，终端设备140还可以包括指示装置，用于在目标对象上指示操作引导信息。例如，指示装可以包括激光指示器，用于向目标对象的操作引导信息投射激光束，激光束指向的目标对象上的位置即为目标对象的操作引导信息，医生可以据此对目标对象进行操作。

在一些实施例中，网络150可以促进信息和/或数据的交换。在一些实施例中，操作引导信息的确定系统100(例如，服务器110、数据库120、摄影设备130和显示设备140)的一个或以上部件可以经由网络150向操作引导信息的确定系统100中的其他部件发送信息和/或数据。例如，服务器110可以经由网络150从摄影设备130获得光学图像。又例如，摄影设备130可以通过网络150向显示设备140发送光学图像。在一些实施例中，网络150可以为任意形式的有线或无线网络，或其任意组合。

图2是根据本申请一些实施例所示的操作引导信息的确定方法的示例性流程图。

步骤210，获取目标对象的光学图像。在一些实施例中，步骤210可以由光学图像获取模块410执行。

在一些实施例中，所述目标对象可以是活体，例如人体、动物体等。在一些实施例中，所述目标对象也可以是非活体，例如，实验模型。在一些实施例中，所述目标对象可以是医疗关系中的患者。在一些实施例中，所述光学图像可以是采用光学摄影系统获取的灰度和颜色连续变化的图像。在一些实施例中，所述光学图像可以包括目标对象的表面信息。在一些实施例中，摄影设备130可以包括所述光学摄影系统。在一些实施例中，所述光学摄影系统可以包括但不限于利用可见光成像、红外光成像、多波段成像的相机或摄像机。例如，摄影设备130可以包括可见光相机，其可以采集目标对象的可见光图像。在一些实施例中，服务器110可以通过网络150从摄影设备130获取采集到的光学图像。在一些实施例中，摄影设备130也可以通过网络将采集到的光学图像发送至显示设备140中，显示设备140可以显示所述光学图像。

步骤220，获取医疗任务中所述目标对象的皮肤下的目标部位信息。在一些实施例中，步骤220可以由目标部位获取模块420执行。

在一些实施例中，所述目标部位可以理解为在医疗任务中需要对目标对象进行相关操作的部位。在一些实施例中，所述部位位于目标对象的皮肤下。例如，所述部位可以包括患者需要进行治疗或手术操作的骨骼、组织或器官等。在一些实施例中，所述目标部位信息可以是能够反映所述目标部位的相关信息。例如，所述目标部位信息可以是目标部位的名称等。在一些实施例中，所述医疗任务可以理解为对所述目标对象进行的相关医疗操作。其中，医疗操作可以包括但不限于手术操作、超声检查操作、心脏支架操作、血管造影的导丝操作等。在一些实施例中，服务器110可以获取目标对象的医疗任务。在一些实施例中，服务器110也可以获取与所述医疗任务相关的医疗协议信息以及目标部位的医学图像。例如，服务器110可以从医学影像设备获取目标部位的医学图像。在一些实施例中，所述医疗协议信息可以是指与医疗任务的协议相关的信息。在一些实施例中，所述目标部位的医学图像是指通过医学影像设备获取的目标部位的图像。在一些实施例中，所述医学影像设备可以包括但不限于X射线影像设备、CT影像设备、PET-CT设备、DSA设备、MRI影像设备、超声影像设备、核素显像影像设备等，还包括多模态设备。

在一些实施例中，服务器110可以从所述医疗协议信息中获取目标对象的目标部位信息。例如，服务器110从医疗协议信息中获知患者进行脊椎移位治疗，则服务器110可以获取目标对象的目标部位信息包括目标部位为脊椎、目标部位的病情为脊椎移位。在一些实施例中，目标对象的目标部位信息可以从前述医学影像设备的一张或者多张图像中确定的：举例，通过X射线影像设备得到X片，医师根据X片确定病灶部位，例如脊椎的某部位；通过MR影像设备得到MR片，医师根据MR片确定病灶部位，例如肝脏的某部位；通过PET-CT影像设备得到PET-CT图像，医师根据PET-CT图像确定肺部病灶部位；通过DSA设备得到的血管造影透视图像，医师确定需要进行心脏支架或者行导丝扩张的部位。

在一些实施例中，服务器110可以从所述医学图像中获取目标对象的目标部位信息。例如，服务器110可以从医学图像中获取目标部位的名称、目标部位的病灶位置等。

步骤230，根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息。在一些实施例中，步骤230可以由操作引导信息确定模块430执行。

在一些实施例中，服务器110可以根据所述光学图像以及所述目标部位信息，确定所述目标对象上与目标部位相关联的操作引导信息。在一个例子中，操作引导信息可以包括为了使操作元件引导到目标部位而从体表和目标部位之间限定的一个或者多个位置或一条或者多条轨迹的信息，其中操作元件可以为手术元件(例如，手术刀)或者介入式元件(例如，导丝或者支架)或者植入式元件；在一个例子中，操作引导信息可以直观地视觉化体现到目标对象上，也可以视觉化体现到显示器上，当在显示器显示时，可以直接在目标对象对应的图像上进行显示，也可以在模型对应的图像上显示。在一个例子中，操作引导信息除了视觉化信息外还包括其他非视觉化信息，比如语音等。在一个例子中，该操作引导信息包括一个或者多个位置信息，这个位置即为医生进行操作的操作位置，也叫操作位置信息，它能够反映所述目标部位相对所述目标对象的方位，以方便医生基于这个位置对所述目标对象进行相关操作。在一些实施例中，所述位置可以是外科手术中，医生可以在目标对象皮肤表面的下刀位置。在一些实施例中，所述位置信息可以理解为能够反映操作位置的相关信息。

在一些实施例中，可以通过如下方式来反映所述操作引导信息：所述操作引导信息可以展示在光学图像中，也可以不展示在光学图像中。在一些实施例中，若所述操作引导信息展示在光学图像中，则可以根据目标部位的形状，在目标对象表面画出目标部位的轮廓图，所述轮廓图即为操作引导信息，所述轮廓图内的任意位置即为所述操作位置；也可以在光学图像中将目标部位对应在人体表面的位置标注(例如，使用“·”或“×”标注)出来，该位置标注即为操作引导信息，该位置标注所对应的位置即为所述操作位置。例如，可以将目标部位的中心点对应于人体表面的位置作为操作引导信息进行标注。在一些实施例中，还可以在光学图像中通过文本的形式显示操作引导信息，例如，在光学图像中以坐标的形式显示操作引导信息。在一些实施例中，还可以在光学图像中通过文本显示的形式描述所述操作引导信息。在一些实施例中，若所述操作引导信息不展示在光学图像中，则可以把操作引导信息通过文本的形式进行显示，例如，可以在显示设备中显示操作引导信息中操作位置的坐标；也可以通过语音播报的形式将操作引导信息播放成语音，例如，可以通过终端设备播报操作引导信息中操作位置的坐标；又例如，可以通过终端设备播报所述操作引导信息的相关描述内容。

在一些实施例中，所述目标部位信息可以通过医疗协议信息获取，服务器110可以根据所述光学图像以及所述医疗协议信息，确定所述操作引导信息。在一些实施例中，所述目标部位信息可以通过医学图像获取，服务器110可以根据第一预设算法对所述光学图像以及所述医学图像进行处理，确定所述操作引导信息。在一些实施例中，服务器110可以通过确定所述操作引导信息中的操作位置在光学图像中的具体坐标来展示操作位置的具体方位。

在一些实施例中，所述第一预设算法可以根据所述光学图像和所述目标部位信息确定所述目标对象上的操作引导信息。在一些实施例中，所述第一预设算法可以包括机器学习模型。在一些实施例中，所述机器学习模型的输入可以是目标对象的光学图像以及目标部位的医学图像信息，所述机器学习模型的输出可以是目标对象上的操作引导信息。在一些实施例中，所述机器学习模型可以包括但不限于卷积神经网络模型、循环神经网络模型、全连接神经网络模型等。

在一些实施例中，服务器110可以将所述光学图像以及所述目标部位信息输入所述机器学习模型，以确定所述操作引导信息。在一些实施例中，服务器110可以将目标对象的光学图像和医学图像作为输入数据输入至机器学习模型，机器学习模型可以输出所述操作引导信息。在一些实施例中，所述机器学习模型可以直接输出带有醒目标志的光学图像。在一些实施例中，所述机器学习模型可以将输入数据转化为其对应的向量表示。在一些实施例中，所述输入数据经过机器学习模型的计算后可以转换为输出向量。在一些实施例中，所述机器学习模型的输出向量可以是表示操作引导信息的向量。在一些实施例中，服务器110可以根据机器学习模型的输出向量确定所述操作引导信息的具体信息，包括操作位置的具体方位信息。关于机器学习模型的具体训练过程，在图3的相关描述中进行说明。在一些实施例中，服务器110可以将目标对象的光学图像、医学图像以及临床信息作为输入数据输入至机器学习模型，机器学习模型可以输出所述操作引导信息。在一种例子中，临床信息包括基于患者特异性的信息，比如该患者的历史手术情况或该患者的解剖学异常或该患者的血管异常情况。

在一些实施例中，所述目标部位信息还可以包括目标部位上的病灶区域信息。在一些实施例中，所述病灶区域信息可以理解为能够反映所述病灶区域情况的信息，例如，病灶的大小、病灶的位置等。在一些实施例中，所述病灶区域信息可以体现在医疗任务的协议信息中，即协议信息中可以包括病灶区域在目标部位上的所处的方位。在一些实施例中所述病灶区域信息可以体现在医疗任务的医学图像中。在一些实施例中，通过病灶区域信息可以准确定位最佳的操作位置，医生在实施外科手术时，可以从最佳的操作位置下刀，提高治疗效果和效率。在一些实施例中，所述目标部位的医学图像可以包括所述目标部位上的病灶区域。在一些实施例中，服务器110可以根据所述光学图像以及所述医学图像中的病灶区域的位置信息，确定所述操作引导信息。在一些实施例中，所述操作引导信息能够反映所述病灶区域相对所述目标对象的位置。在一些实施例中，所述操作引导信息可以包括所述病灶区域所对应的所述目标对象的表面上的位置信息。

在一些实施例中，服务器110可以通过机器学习模型输出所述医学图像中的病灶区域所对应的标记信息。在一些实施例中，所述标记信息可以反映目标对象表面上的操作位置。

在一些实施例中，所述医学图像还包括所述目标部位上病灶区域的深度信息。在一些实施例中，所述深度信息可以是能够反映病灶区域在目标对象内部所处深度的空间位置信息。在一些实施例中，服务器110可以根据所述医学图像以及所述光学图像，确定病灶区域相对所述操作引导信息的方位信息和/或病灶区域相对所述目标对象的空间位置信息。在一些实施例中，所述方位信息可以包括病灶相对操作位置的位置信息，以及病灶相对于操作位置的方向。在一些实施例中，所述空间位置信息可以是病灶相对目标对象的表面的位置信息，其可以包括病灶对应于目标对象的表面位置以及相对于目标对象表面的深度位置。在一些实施例中，医生可以根据所述方位信息以及所述空间位置信息，选择准确的下刀位置、下刀方向以及下刀深度，对病灶进行治疗操作，有助于医生在外科手术中更加精准的对病灶进行治疗操作。

在一些实施例中，服务器110可以根据第二预设算法对所述光学图像以及所述医学图像进行图像融合处理，确定内部可视化图像。在一些实施例中，内部可视化图像是指能够可视化地显示出目标对象皮肤下的内部部位的图像。在一些实施例中，内部可视化图像可以作为操作引导信息，为医生提供操作指引，医生在实际操作中可以根据内部可视化图像快速准确的选择下刀位置及下刀方向。在一些实施例中，所述第二预设算法包括第一机器学习模型，服务器110可以使用第一机器学习模型确定内部可视化图像。在一些实施例中，所述第一机器学习模型的输入可以包括光学图像以及医学图像，所述第一机器学习模型的输出可以包括内部可视化图像。在一些实施例中，所述第一机器学习模型可以包括但不限于卷积神经网络模型、循环神经网络模型、全连接神经网络模型等。

在一些实施例中，所述第一机器学习模型可以通过以下训练过程获得：

将历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像作为样本训练数据输入初始机器学习模型。在一些实施例中，所述样本训练数据可以由服务器110获取。

对所述历史光学图像以及所述历史医学图像进行图像融合处理，确定对应的历史可视化图像。在一些实施例中，所述历史可视化图像可以是历史目标对象的内部可视化图像。

将所述历史光学图像以及所述历史医学图像作为输入数据，所述历史可视化图像作为输出数据，输入初始机器学习模型进行训练，获得训练好的第一机器学习模型。

在一些实施例中，服务器110还可以在内部可视化图像中标记操作位置信息。在一些实施例中，所述操作位置信息可以包括在内部可视化图像中指示出与操作位置相关的信息。在一些实施例中，与操作位置相关的信息可以包括但不限于操作位置、操作方向、操作深度、操作轨迹以及病灶位置。在一些实施例中，所述操作位置信息可以作为操作引导信息，为医生提供操作指引。

在一些实施例中，所述第二预设算法包括第二机器学习模型，服务器110可以使用第二机器学习模型确定操作位置信息。在一些实施例中，第二机器学习模型的输入可以是内部可视化图像。在一些实施例中，第二机器学习模型的输入也可以是光学图像以及医学图像。在一些实施例中，第二机器学习模型的输出可以包括操作位置信息。

在一些实施例中，所述第二机器学习模型可以通过以下训练过程获得：

将历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像作为样本训练数据输入初始机器学习模型。在一些实施例中，所述样本训练数据可以由服务器110获取。

对所述历史光学图像以及所述历史医学图像进行图像融合处理，确定对应的历史可视化图像。在一些实施例中，所述历史可视化图像可以是历史目标对象的内部可视化图像。

对所述历史可视化图像标记对应的历史操作位置信息，以确定标记信息。在一些实施例中，所述标记信息可以是在历史可视化图像中对与操作位置相关的信息所做出的标记。例如，操作位置的标记、操作轨迹的标记等。

将所述历史可视化图像作为输入数据，所述标记信息作为输出数据，输入初始机器学习模型进行训练获得训练好的第二机器学习模型。

在一些实施例中，服务器110可以获取目标对象的临床信息，并根据所述光学图像、所述目标部位信息以及所述临床信息，确定所述操作引导信息。在一些实施例中，服务器110可以将所述光学图像以及所述医学图像输入至第一机器学习模型进行处理，确定内部可视化图像。在一些实施例中，服务器110可以将获得的内部可视化图像以及临床信息输入至第二机器学习模型，并根据第二机器学习模型确定操作位置信息。在一些实施例中，所述操作位置信息即为服务器110确定的与所述目标部位相关联的操作引导信息。在一些实施例中，服务器110也可以通过一个机器学习模型(即第三机器学习模型)实现上述过程。在一些实施例中，所述第三机器学习模型的输入可以是光学图像、医学图像以及临床信息，所述第三机器学习模型的输出可以是操作位置信息。在一些实施例中，所述第三机器学习模型可以通过以下训练过程获得：将历史目标对象的历史光学图像、历史临床信息，以及所述历史目标对象上的一个或多个目标部位的历史医学图像作为样本训练数据，将历史目标对象的历史操作位置信息作为标签输入初始机器学习模型进行训练，获得训练好的第三机器学习模型。

服务器110确定所述操作引导信息后，可以根据不同的应用场景，将所述操作信息发送至不同的装置进行输出或展示。

在一些实施例中，终端设备140可以包括指示装置。服务器110可以将操作引导信息发送至所述指示装置进行输出，指示装置可以发出指示信息，在目标对象表面上指示出操作引导信息中的操作位置。该方式有助于医生直观看见操作位置在目标对象表面的具体方位，医生可以根据指示装置指出的位置点，直接下刀进行操作。该实施例的后续步骤可进一步参见步骤240的相关描述。

在一些实施例中，服务器110也可以将操作引导信息发送至终端设备140，并由终端设备140直接输出所述操作引导信息。医生可以查看或收听终端设备140上显示或播放的操作引导信息，快速找到目标对象表面的下刀位置，可以提高医生操作的准确度以及操作效率。该实施例的后续步骤可进一步参见步骤242的相关描述。

步骤240，根据所述操作引导信息，确定能够通过指示装置反映在所述目标对象表面的指示信息。在一些实施例中，步骤240可以由第一指示信息确定模块执行。

在一些实施例中，所述指示信息可以是能够指明所述操作引导信息的信息。在一些实施例中，所述指示装置可以是能够发出指示信息的装置。例如，激光指示器。在一些实施例中，服务器110可以根据所述操作引导信息，确定所述指示信息，并通过网络150将所述指示信息发送至指示装置，指示装置根据所述指示信息在目标对象表面对所述操作引导信息进行指示。在该实施例中，医生可以根据指示装置指出的位置点，快速找到下刀位置，进行后续操作。

在一些实施例中，所述指示信息的指示方式可以包括激光指示。在一些实施例中，所述指示装置可以是激光指示器，其发出的激光束可以在目标对象表面指示出所述操作引导信息。例如，医生实施外科手术的手术台可以设置一个用于指示操作引导信息的激光指示器，医生操作过程中，激光指示器可以将激光束投射到目标对象上，激光束可以在目标对象表面留下小的光点，该光点即可指示出操作引导信息中的操作位置。

在一些实施例中，服务器110还可以根据所述方位信息和/或所述空间位置信息以及所述操作引导信息，确定能够反映在所述目标对象表面的指示信息。在一些实施例中，终端设备140可以通过指示装置指示所述方位信息和/或所述空间位置信息。例如，指示装置可以通过激光束及其方向指示操作位置以及方位信息，以便医生确定操作的位置及操作的方向；又例如，指示装置可以在目标对象上指示出操作位置及空间位置信息，以便医生确定操作的位置及操作的深度；还例如，指示装置可以同时指示出操作引导信息、方位信息和空间位置信息，以便医生确定操作的位置、方向及深度。在一些实施例中，所述指示装置可以包括多个，分别用于在目标对象表面指示方位信息和空间位置信息。在一些实施例中，所述指示装置也可以是一个能够同时在目标对象表面指示方位信息和空间位置信息的指示装置。

步骤242，通过终端设备输出所述操作引导信息。在一些实施例中，步骤242可以由操作引导信息输出模块450执行。

在一些实施例中，服务器110也可以通过网络150将所述操作引导信息发送至终端设备140，终端设备140可以通过显示或语音播报的方式输出所述操作引导信息。

在一些实施例中，所述终端设备140可以包括显示设备。在一些实施例中，显示设备可以显示所述光学图像，并在所述光学图像中显示出目标部位的轮廓，将所述轮廓作为输出的操作引导信息。在一些实施例中，显示设备可以显示所述光学图像，并在所述光学图像中使用醒目标志(如“×”状标志或“·”状标志)在光学图像中标示出操作引导信息的具体操作位置。在一些实施例中，显示设备也可以在光学图像中使用文字描述操作引导信息的位置信息(例如，操作位置的坐标)。在一些实施例中，显示设备也可以不显示所述光学图像，而是直接通过文字信息显示所述操作引导信息的位置信息(例如，操作位置操作引导信息的坐标)。医生在进行操作时，可以通过查看显示设备上显示的操作引导信息，快速找到目标对象表面的下刀位置，可以提高医生操作的准确度以及操作效率。

在一些实施例中，终端设备140也可以包括语音设备，其可以通过语音播报的方式输出所述操作引导信息。例如，语音设备可以通过语音播报操作位置位于人体的部位名称，与其他部位的距离值等。医生可以在手术过程中，通过听语音播报信息的方式快速找到下刀位置，此方式医生不需要进行其他观察活动，可以有效提高医生在手术操作时的专注程度，提高手术操作的准确度。

在一些实施例中，操作引导信息的确定系统100可以集成于外科手术平台中，辅助医生实施外科手术。系统100可以采集手术中患者的光学图像，并向医生指示患者手术的操作引导信息。医生可以根据指示对患者进行手术操作。

在一些实施例中，服务器110还可以通过摄影设备130获取场景信息。在一些实施例中，所述场景信息可以包括目标对象在场景中所处的位置信息。在一些实施例中，所述场景信息还可以包括指示装置距离目标对象的位置信息。

在一些实施例中，服务器110还可以根据所述光学图像、所述目标部位信息、所述场景信息以及预设算法，确定能够反映在所述目标对象表面的指示信息。服务器110可以根据光学图像、目标部位信息以及预设算法确定操作引导信息。服务器110还可以根据所述操作引导信息以及所述场景信息，计算得到指示到目标对象表面的指示信息。例如，服务器110可以通过场景信息确定指示装置在场景中的位置坐标，以及指示装置与目标对象的距离，并根据目标对象上的操作引导信息的坐标信息以及指示装置的位置坐标、指示装置与目标对象的距离，计算确定指示装置指示到目标对象表面的指示信息。

在一些实施例中，服务器110也可以基于机器学习模型得到指示到目标对象表面的指示信息。在一些实施例中，服务器110可以将所述光学图像、所述目标部位信息以及所述场景信息输入机器学习模型，机器学习模型可以直接输出指示信息。在该实施例中，机器学习模型的训练过程中，需要在样本训练数据中加入场景信息。

在一些实施例中，服务器110可以将所述指示信息发送至指示装置，指示装置可以根据所述指示信息，向场景中的目标对象表面指示出操作引导信息的具体位置信息。

应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程200进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。

在一些实施例中，服务器110可以将所述光学图像以及所述目标部位信息输入所述机器学习模型，以确定所述操作引导信息。以下将介绍所述机器学习模型的训练过程。

图3是根据本申请一些实施例所示的机器学习模型训练的示例性流程图。在一些实施例中，如下模型训练的示例性流程可以由模型训练模块执行。

步骤310，获取样本训练数据。

在一些实施例中，所述样本训练数据包括历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像。在一些实施例中，所述历史目标对象可以是历史操作中的目标对象。所述历史光学图像可以是历史操作中对目标对象采集的光学图像，其包括历史目标对象的表面信息。所述历史医学图像可以是历史操作中目标对象医疗任务中的医学图像，其包括历史目标对象的目标部位信息。

步骤320，根据历史光学图像以及所述历史医学图像的融合结果信息，确定所述历史光学图像的标记信息。

在一些实施例中，获取样本训练数据后，可以对样本训练数据进行处理。在一些实施例中，所述处理可以包括将所述历史光学图像以及所述历史医学图像进行融合，获得融合结果信息。在一些实施例中，所述融合结果信息可以包括历史目标对象的目标部位信息以及目标部位所对应的表面信息。在一些实施例中，所述处理还可以包括根据所述融合结果信息，确定所述历史光学图像的标记信息。在一些实施例中，所述标记信息可以是所述历史目标对象表面的位置信息。

步骤330，将历史光学图像以及历史医学图像作为输入数据，标记信息作为输出数据或参考标准，输入初始机器学习模型进行训练。

在一些实施例中，将历史光学图像以及历史医学图像作为输入数据，标记信息作为输出数据或参考标准，并利用上述输入数据和对应的输出数据来训练初始机器学习模型。在一些实施例中，所述初始机器学习模型可以是神经网络模型。

在一些实施例中，输入数据在经过初始机器学习模型的神经网络层后，可以被输出为结果向量。所述结果向量能够反映历史光学图像中的位置信息。在一些实施例中，经过一定次数的训练，实际输出的结果向量与上述输出数据中的目标向量表示的相似度会越来越高。

在实际训练的过程中，可以根据实际输出的结果向量与输出数据中的目标向量表示的比较结果来决定是否结束训练。在一些实施例中，可以通过向量的相似度计算来判断实际输出的结果向量与输出数据中的目标向量之间的接近程度。当结果向量与输出数据相同或相近时，则表示模型是训练好的机器学习模型，终止训练过程，获得训练好的机器学习模型。

在一些实施例中，所述机器学习模型的训练方法还可以包括：

获取样本训练数据，所述样本训练数据包括历史目标对象的历史光学图像。

利用专家对所述历史目标对象的历史光学图像进行标记，确定所述历史光学图像的标记信息。

将历史光学图像作为输入数据，标记信息作为输出数据或参考标准，输入初始机器学习模型进行训练。

两种实施例的训练方法均可获得训练好的机器学习模型。后者实施例的训练方法需要依赖专家的经验，前者实施例的训练方法获得的机器学习模型不需要依赖专家的经验，获得的结果更加客观准确。

图4是根据本申请一些实施例所示用于确定操作引导信息的系统的模块图。

如图4所示，该用于确定操作引导信息的系统400可以包括光学图像获取模块410、目标部位获取模块420、操作引导信息确定模块430、第一指示信息确定模块440和操作引导信息输出模块450。

在一些实施例中，光学图像获取模块410用于获取目标对象的光学图像。

在一些实施例中，目标部位获取模块420用于获取医疗任务中所述目标对象的目标部位信息。在一些实施例中，目标部位获取模块420还用于获取所述目标对象中皮肤下的目标部位的医学图像。

在一些实施例中，操作引导信息确定模块430用于根据所述光学图像、所述目标部位信息以及预设算法，确定所述目标对象上的操作引导信息。在一些实施例中，操作引导信息确定模块430还用于根据所述第一预设算法对所述光学图像以及所述医学图像进行处理，确定所述操作引导信息。在一些实施例中，操作引导信息确定模块430还用于将所述光学图像以及所述目标部位信息输入所述机器学习模型，以确定所述操作引导信息。在一些实施例中，操作引导信息确定模块430还用于根据所述光学图像以及所述医学图像中的病灶区域的位置信息，确定所述操作引导信息，所述操作引导信息能够反映所述病灶区域相对所述目标对象的位置。在一些实施例中，操作引导信息确定模块430还用于根据所述医学图像以及所述光学图像，确定病灶区域相对所述操作引导信息的方位信息和/或病灶区域相对所述目标对象的空间位置信息。在一些实施例中，操作引导信息确定模块430还用于根据第二预设算法对所述光学图像以及所述医学图像进行图像融合处理，确定内部可视化图像。在一些实施例中，操作引导信息确定模块430还用于在所述内部可视化图像中标记操作位置信息。在一些实施例中，操作引导信息确定模块430还用于将所述光学图像以及所述医学图像输入所述第一机器学习模型，所述第一机器学习模型的输出包括所述内部可视化图像。在一些实施例中，操作引导信息确定模块430还用于将所述内部可视化图像输入所述第二机器学习模型，所述第二机器学习模型的输出包括所述操作位置信息。在一些实施例中，用于确定操作引导信息的系统400还包括临床信息获取模块，用于获取目标对象的临床信息。所述操作引导信息确定模块430还用于根据所述光学图像、所述目标部位信息以及所述临床信息，确定所述操作引导信息。在一些实施例中，所述操作引导信息确定模块430还用于根据第一机器学习模型对所述光学图像信息以及所述医学图像进行处理，确定内部可视化图像；根据第二机器学习模型对所述内部可视化图像以及所述临床信息进行处理，确定操作位置信息。

在一些实施例中，第一指示信息确定模块440用于根据所述操作引导信息，确定能够通过指示装置反映在所述目标对象表面的指示信息。

在一些实施例中，操作引导信息输出模块450用于通过终端设备输出所述操作引导信息。

在一些实施例中，用于确定操作引导信息的系统400还包括第二指示信息确定模块，用于根据所述方位信息和/或所述空间位置信息以及所述操作引导信息，确定能够反映在所述目标对象表面的指示信息。

应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于用于确定操作引导信息的系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可以在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图4中披露的光学图像获取模块410、目标部位获取模块420和操作引导信息确定模块430可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。又例如，第一指示信息确定模块440可以省略。又例如，操作引导信息输出模块450也可以省略。又例如，第二指示信息确定模块也可以省略。又例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。

本申请实施例可能带来的有益效果包括但不限于：(1)通过光学图像和医学图像相结合的方式，可以准确确定目标部位和/或目标部位上的病灶区域对应于目标对象表面的操作位置；(2)通过机器学习模型对光学图像和医学图像进行训练，不需要完全依赖医生的经验即可准确定位手术操作位置；(3)通过终端设备输出操作引导信息，可以使医生更直观的找到操作位置和操作轨迹进行操作，提高医生的操作效率。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (19)

1.一种操作引导信息的确定方法，其特征在于，所述方法包括：

获取目标对象的光学图像；

获取医疗任务中所述目标对象的皮肤下的目标部位信息，其中包括：获取所述目标对象中皮肤下的目标部位的医学图像；

根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息，其中包括：根据第二预设算法对所述光学图像以及所述医学图像进行图像融合处理，确定内部可视化图像，所述内部可视化图像是可视化地显示出目标对象皮肤下的内部部位的图像，所述操作引导信息包括为了使操作元件引导到目标部位而从体表和目标部位之间限定的一个或者多个位置或一条或者多条轨迹的信息。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述光学图像、所述目标部位信息，确定与所述目标部位相关联的操作引导信息包括：

根据第一预设算法对所述光学图像以及所述医学图像进行处理，确定所述操作引导信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述操作引导信息，确定能够通过指示装置反映在所述目标对象表面的指示信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过终端设备输出所述操作引导信息。

5.根据权利要求2所述的方法，其特征在于，所述第一预设算法包括机器学习模型，所述根据所述光学图像、所述目标部位信息，确定与目标部位相关联的操作引导信息还包括：

将所述光学图像以及所述目标部位信息输入所述机器学习模型，以确定所述操作引导信息。

6.根据权利要求5所述的方法，其特征在于，所述机器学习模型通过如下训练方法获得：

获取样本训练数据，所述样本训练数据包括历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像；

根据所述历史光学图像以及所述历史医学图像的融合结果信息，确定所述历史光学图像的标记信息；

将所述历史光学图像以及所述历史医学图像作为输入数据，所述标记信息作为输出数据或参考标准，输入初始机器学习模型进行训练。

7.根据权利要求2所述的方法，其特征在于，所述医学图像包括所述目标部位上的病灶区域；

所述根据所述光学图像以及所述医学图像，确定所述操作引导信息包括：

根据所述光学图像以及所述医学图像中的病灶区域的位置信息，确定所述操作引导信息，所述操作引导信息能够反映所述病灶区域相对所述目标对象的位置。

8.根据权利要求2所述的方法，其特征在于，所述医学图像还包括所述目标部位上病灶区域的深度信息；所述根据所述光学图像、所述目标部位信息，确定与目标部位相关联的操作引导信息还包括：

根据所述医学图像以及所述光学图像，确定病灶区域相对所述操作位置的方位信息和/或病灶区域相对所述目标对象的空间位置信息。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

根据所述方位信息和/或所述空间位置信息以及所述操作引导信息，确定能够反映在所述目标对象表面的指示信息。

10.根据权利要求1所述的方法，其特征在于，根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息还包括：

在所述内部可视化图像中标记操作位置信息。

11.根据权利要求1所述的方法，其特征在于，所述第二预设算法包括第一机器学习模型，所述根据第二预设算法对所述光学图像以及所述医学图像进行图像融合处理，确定内部可视化图像包括：

将所述光学图像以及所述医学图像输入所述第一机器学习模型，所述第一机器学习模型的输出包括所述内部可视化图像。

12.根据权利要求11所述的方法，其特征在于，所述第一机器学习模型通过如下训练方法获得：

获取样本训练数据，所述样本训练数据包括历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像；

对所述历史光学图像以及所述历史医学图像进行图像融合处理，确定对应的历史可视化图像；

将所述历史光学图像以及所述历史医学图像作为输入数据，所述历史可视化图像作为输出数据，输入初始机器学习模型进行训练。

13.根据权利要求10所述的方法，其特征在于，所述第二预设算法还包括第二机器学习模型，根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息还包括：

将所述内部可视化图像输入所述第二机器学习模型，所述第二机器学习模型的输出包括所述操作位置信息。

14.根据权利要求13所述的方法，其特征在于，所述第二机器学习模型通过如下训练方法获得：

获取样本训练数据，所述样本训练数据包括历史目标对象的历史光学图像，以及所述历史目标对象上的一个或多个目标部位的历史医学图像；

对所述历史光学图像以及所述历史医学图像进行图像融合处理，确定对应的历史可视化图像；

对所述历史可视化图像标记对应的历史操作位置信息，以确定标记信息；

将所述历史可视化图像作为输入数据，所述标记信息作为输出数据，输入初始机器学习模型进行训练。

15.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取目标对象的临床信息；

所述根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息包括：

根据所述光学图像、所述目标部位信息以及所述临床信息，确定所述操作引导信息。

16.根据权利要求15所述的方法，其特征在于，所述目标部位信息包括医学图像；

根据所述光学图像以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息还包括：

根据第一机器学习模型对所述光学图像以及所述医学图像进行处理，确定内部可视化图像；

根据第二机器学习模型对所述内部可视化图像以及所述临床信息进行处理，确定操作位置信息。

17.一种用于确定操作引导信息的系统，其特征在于，所述系统包括：

光学图像获取模块，用于获取目标对象的光学图像；

目标部位获取模块，用于获取医疗任务中所述目标对象的皮肤下的目标部位信息，其中包括：获取所述目标对象中皮肤下的目标部位的医学图像；

操作引导信息确定模块，用于根据所述光学图像、以及所述目标部位信息，确定与所述目标部位相关联的操作引导信息，其中包括：根据第二预设算法对所述光学图像以及所述医学图像进行图像融合处理，确定内部可视化图像，所述内部可视化图像是可视化地显示出目标对象皮肤下的内部部位的图像，所述操作引导信息包括为了使操作元件引导到目标部位而从体表和目标部位之间限定的一个或者多个位置或一条或者多条轨迹的信息。

18.一种用于确定操作引导信息的装置，包括处理器，其特征在于，所述处理器用于执行权利要求1～16中任一项所述的操作引导信息的确定方法。

19.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～16任一项所述的操作引导信息的确定方法。