CN114569252B - 手术机器人主从映射比例控制系统及方法 - Google Patents

Abstract

本发明涉及手术机器人技术领域，特别涉及一种基于手术任务特征的手术机器人主从映射比例控制系统及方法，包括主从运动控制器、手术任务识别模块以及内窥镜成像模块，所述手术任务识别模块依据所述主从运动控制器的各个关节驱动器参数与所述内窥镜成像模块的手术实时影像数据，自动对手术任务进行识别，实现对所述主从运动控制器在映射比例上的调整，能够减少基于人工干预的主从映射比例调整的不确定性，可以在无需人工反复干预的情况下，帮助术者调整到合适的主从映射比例，在保障手术操作安全的前提下，提高手术操作速度，加快手术进程，减少手术机器人在手术时间上的劣势。

Description

手术机器人主从映射比例控制系统及方法

技术领域

本发明涉及手术机器人技术领域，特别涉及一种基于手术任务特征的、手术机器人主从映射比例控制系统及方法。

背景技术

既往的研究已经证实，手术机器人在狭窄空间中的效率和手术效果优于内窥镜手术。然而，在机器人手术中，手术机器人的安装时间延长了手术总时间，相对于普通内窥镜手术存在时间上的劣势，依靠反复训练缩短了机器人的安装时间后，该劣势并不能完全摆脱。因此，通过其他的方法改进手术机器人的工作效率势在必行。

胃癌根治术、结直肠癌根治术等这类手术既包括大范围的运动和相对粗糙的手术，又包括小范围的运动和精细手术。与传统的根治性前列腺切除术之类的机器人手术相比，这种类型的手术在运动范围上可以代表机器人手术中的混合型手术。运动缩放是一种平衡手术任务的速度和精度的功能。依靠实时动态缩放比例的异步手动调整系统，有望提高各种手术中机器人手术的效率，扩大手术机器人的应用范围。

应用手术机器人进行胃切除术的案例中，发现不适当的主从映射比例可能会使外科医生的手术速度减慢。为了提高工作空间中的移动速率，同时又确保机器人手术系统的安全性和有效性，需要根据术中情况调整手术机器人的运动缩放比例。

其中，手术机器人两只手的运动缩放比例不一致可能是许多研究人员关注的问题之一。在使用该系统之前，许多研究人员认为，这种不一致的运动缩放比例可能会导致外科医生适应问题并带来身体症状。但是，在系统应用后，运动缩放的实时调整被证明具有一定的现实意义。根据先前实验的结论，外科医生左手的主要功能是拖动和露出，特别是在缝合任务中活跃。右手的主要功能是自由运动和切除，因此左手运动更快、更粗糙，右手运动更慢、更柔和，以免损坏重要结构。双手动作的不一致导致这种“混合映射”在理论上具有一定的合理性。

根据手术录像发现这主要是因为两只手的主要功能不同，右手主要用于解剖和切除，左手主要用于牵引。映射比例更大的右手可以在血管和淋巴结附近进行精细的解剖和切除，而映射比例更小的左手可以快速移动并快速牵引质量组织。当需要更精确的操作，过小的映射比例会导致执行器械容易失控，过度的操作也需要反复调整，导致继发性损伤，需要额外的止血措施并消耗更多的持续时间；过大的主从映射比例将缺乏器械快速牵引的能力。

可见，正确的主从映射比例主要是受到当前手术任务的影响。通常，一台手术有很多个手术分任务，不同的任务有不同的主从映射比例需求。为了达到更高的操作效率，需要反复的调整主从映射比例。然而对于手术人员来说，反复调整会打断手术进程和节奏。如果能依据当前手术任务的基础上，自动对主从映射比例进行实时的、动态的调整，将有效提高手术效率。由于目前的手术机器人并不能主动识别手术任务，因此依靠人工识别手术任务等方式，不仅需要额外的人工，而且可靠性欠佳。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本发明的目的是：针对上述背景技术中存在的不足，提供一种基于手术任务特征的、手术机器人主从映射比例控制方案，以在当前手术任务的基础上，自动的对主从映射比例进行实时的、动态的调整，有效提高手术机器人的手术效率及可靠性。

为了达到上述目的，本发明提供了一种手术机器人主从映射比例控制系统，包括主从运动控制器、手术任务识别模块以及内窥镜成像模块；所述手术任务识别模块依据所述主从运动控制器的各个关节驱动器参数与所述内窥镜成像模块的手术实时影像数据，自动对手术任务进行识别，实现对所述主从运动控制器在映射比例上的调整。

进一步地，所述关节驱动器参数包括关节驱动器编码器反馈的当前位置、实时运动速率、电机实时电流或电压。

进一步地，所述关节驱动器参数包括无刷电机控制器反馈的当前驱动力、力矩及电机实时电流或电压。

进一步地，所述手术实时影像数据包括所述内窥镜成像模块获得的二维和/或三维视频数据。

进一步地，所述手术任务识别模块包含有处理器、存储器及图像处理单元。

进一步地，所述手术任务识别模块采用基于机器学习的算法来识别手术任务。

进一步地，所述机器学习的算法包括集成学习、随机森林、卷积神经网络或循环神经网络算法的一种或几种。

进一步地，所述手术任务识别模块识别视频数据中各像素对应的器官、手术器械以及器官与手术器械的相对位置关系来识别手术任务。

进一步地，所述手术任务识别模块能够依据手术任务的需要在不同自由度上实现一致或不一致的映射比例控制。

本发明还提供了一种手术机器人主从映射比例控制方法，包括如下步骤：

步骤一、根据预设类型的手术术式将手术全程划分为数个子手术任务，根据子手术任务的需要，对子手术任务的主从映射比例进行人工调整并适配；

步骤二、对各关节驱动器参数进行基于时间轴的记录；

步骤三、对手术实时影像进行基于时间轴的记录；

步骤四、对手术实时影像进行基于子手术任务的时间轴划分，同时进行关节驱动器参数的时间轴划分，得到关节驱动器参数的手术任务标记标签；

步骤五、训练模型，将手术实时影像数据和关节驱动器参数经过手术任务识别模块的输入接口输入，手术任务标记标签同时输入，并储存在手术任务识别模块内，将储存的数据分割为训练集与测试集后，将训练集输入建模并训练好的基于机器学习模型中，对该模型进行训练并完成预设次数迭代，将模型代入测试集，观察模型拟合度；如果模型拟合度大于预设比例，则模型训练完成；如果模型拟合度小于预设比例，则模型训练未完成，继续进行训练；

步骤六、如果后一轮迭代模型拟合度上升，则继续迭代；如果后一轮迭代模型拟合度下降，则终止迭代，要求输入更多的训练模型数据；

步骤七、当手术任务识别模块用于手术任务识别时，实时影像数据和关节驱动器参数输入手术任务识别模块，导入建模并训练好的模型中，经过模型计算得出手术任务识别结果，依据识别结果动态调整映射比例；

步骤八、预设时间间隔后，再次进行步骤七。

本发明的上述方案有如下的有益效果：

本发明提供的手术机器人主从映射比例控制系统及方法，基于手术任务识别体系，依据主从运动控制器的各个关节驱动器参数与内窥镜成像模块的手术实时影像数据，自动对手术任务进行识别，实现对主从运动控制器在映射比例上的调整，能够减少基于人工干预的主从映射比例调整的不确定性，可以在无需人工反复干预的情况下，帮助术者调整到合适的主从映射比例，在保障手术操作安全的前提下，提高手术操作速度，加快手术进程，减少手术机器人在手术时间上的劣势；

本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

图1为本发明的系统结构及流程图；

图2为本发明的方法流程图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是锁定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

如图1所示，本发明的实施例1提供了一种手术机器人主从映射比例控制系统，包括主从运动控制器、手术任务识别模块以及内窥镜成像模块，当然还包括手术机器人主操作台、患者侧机器人(主机器人)。该控制系统基于手术任务识别体系，依据主从运动控制器的各个关节驱动器参数与内窥镜成像模块的手术实时影像数据，自动对手术任务进行识别，实现对主从运动控制器在映射比例上的调整。因此，减少基于人工干预的主从映射比例调整的不确定性，可以在无需人工反复干预的情况下，帮助术者调整到合适的主从映射比例，在保障手术操作安全的前提下，提高手术操作速度，加快手术进程，减少手术机器人在手术时间上的劣势。

在本实施例中，关节驱动器参数包括关节驱动器编码器反馈的当前位置、实时运动速率、电机实时电流或电压。同时，关节驱动器参数还包括无刷电机控制器反馈的当前驱动力、力矩及电机实时电流或电压。相对应地，映射比例所对应的运动缩放可以包括位置运动缩放、速度运动缩放、加速度运动缩放和力运动缩放等。

在本实施例中，手术任务识别模块依据的手术实时影像数据包括内窥镜成像模块获得的二维和/或三维视频数据。

在本实施例中，手术任务识别模块包含有处理器、存储器及图像处理单元(Graphic process unit)，手术实时影像数据、关节驱动器参数等储存在存储器中，再通过处理器与图像处理器的加速运算训练模型以及拟合度判断等。

具体地，手术任务识别模块采用基于机器学习的算法来识别手术任务。作为优选，该机器学习的算法包括集成学习、随机森林、卷积神经网络或循环神经网络算法的一种或几种，及其优化算法。

在本实施例中，手术任务识别模块是通过识别视频数据中各像素对应的器官、手术器械以及器官与手术器械的相对位置关系来识别手术任务的。

在本实施例中，手术任务识别模块能够依据手术任务的需要在不同自由度上、例如器械的前进、后退、左移、右移、上移、下移、沿器械末端轴的偏转以及旋转上实现一致或不一致的映射比例控制，达到“混合映射”的技术目的。

采用本实施例提供的控制系统，通过手术设计和临床数据验证，采用的三种最常用的运动缩放比例是1：3、1：6和1:10。

实施例2：

同时如图2所示，本发明的实施例2提供了一种手术机器人主从映射比例控制方法，采用实施例1提供的控制系统，具体包括如下步骤：

步骤一、根据预设类型的手术术式、如胃癌根治术将手术全程划分为数个子手术任务，如游离大网膜，清扫胃网膜左血管旁淋巴结，游离胃小弯侧，根据子手术任务的需要，由经验丰富的机器人术者对子手术任务的主从映射比例进行人工调整并适配，决定游离大网膜处采用左手1:3，右手1:3的映射比例，清扫胃网膜左血管旁淋巴结处采用左手1:6，右手1:6的映射比例，游离胃小弯侧处采用左手1:3，右手1:6的映射比例。

步骤二、对各关节驱动器参数进行基于时间轴的记录，包含各关节驱动器编码器反馈的当前位置、实时运动速度、电机实时电流或电压等参数，或无刷电机控制器反馈的当前驱动力、力矩及电机实时电流或电压等参数。

步骤三、对手术实时影像进行基于时间轴的记录。

步骤四、由专家对手术实时影像进行基于子手术任务的时间轴划分，同时进行关节驱动器参数的时间轴划分，得到关节驱动器参数的手术任务标记标签。

步骤五、当手术任务识别模块用于训练模型时，将来自内窥镜成像模块的手术实时影像数据和来自主从运动控制器的关节驱动器参数经过手术任务识别模块的输入接口输入，手术任务标记标签同时输入，并储存在包含有处理器、存储器及图像处理单元的手术任务识别模块内，将储存的数据分割为训练集与测试集后，将训练集输入建模并训练好的基于集成学习+卷积神经网络模型中，经过处理器与图像处理器的加速运算，对该模型进行训练并完成100次迭代，将模型代入测试集，观察模型拟合度；如果模型拟合度大于预设比例、如95％，则模型训练完成；如果模型拟合度小于95％，则模型训练未完成，继续进行训练。

步骤六、如果后一轮迭代模型拟合度上升，则继续迭代；如果后一轮迭代模型拟合度下降，则终止迭代，要求输入更多的训练模型数据。

步骤七、当手术任务识别模块用于手术任务识别时，将来自内窥镜成像模块的手术实时影像数据和来自主从运动控制器的关节驱动器参数经过手术任务识别模块的输入接口输入，导入建模并训练好的模型中，经过处理器与图像处理器的加速运算，得出手术任务识别的结果，如识别的是正处于清扫胃网膜左血管旁淋巴结处的过程，则手术机器人根据识别结果将映射比例动态调整为左手1:6，右手1:6的映射比例。

步骤八、预设时间间隔、例如15秒后，再次进行步骤七的识别过程，如识别的是正处于游离胃小弯侧处的过程，则手术机器人根据识别结果将映射比例动态调整为左手1:3，右手1:6的映射比例。其中，两手的主从映射比例可不一致，只需达到效率最大化的目标即可。

另外，如识别的是正处于游离大网膜处的过程，则手术机器人根据识别结果将映射比例动态调整为左手1:3，右手1:3的映射比例。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种手术机器人主从映射比例控制系统，其特征在于，包括主从运动控制器、手术任务识别模块以及内窥镜成像模块；所述手术任务识别模块依据所述主从运动控制器的各个关节驱动器参数与所述内窥镜成像模块的手术实时影像数据，自动对手术任务进行识别，实现对所述主从运动控制器在映射比例上的调整；

系统采用一种手术机器人主从映射比例控制方法，包括：

步骤一、根据预设类型的手术术式将手术全程划分为数个子手术任务，根据子手术任务的需要，对子手术任务的主从映射比例进行人工调整并适配；

步骤二、对各关节驱动器参数进行基于时间轴的记录；

步骤三、对手术实时影像进行基于时间轴的记录；

步骤四、对手术实时影像进行基于子手术任务的时间轴划分，同时进行关节驱动器参数的时间轴划分，得到关节驱动器参数的手术任务标记标签；

步骤五、训练模型，将手术实时影像数据和关节驱动器参数经过手术任务识别模块的输入接口输入，手术任务标记标签同时输入，并储存在手术任务识别模块内，将储存的数据分割为训练集与测试集后，将训练集输入建模并训练好的基于机器学习模型中，对该模型进行训练并完成预设次数迭代，将模型代入测试集，观察模型拟合度；如果模型拟合度大于预设比例，则模型训练完成；如果模型拟合度小于预设比例，则模型训练未完成，继续进行训练；

步骤六、如果后一轮迭代模型拟合度上升，则继续迭代；如果后一轮迭代模型拟合度下降，则终止迭代，要求输入更多的训练模型数据；

步骤七、当手术任务识别模块用于手术任务识别时，实时影像数据和关节驱动器参数输入手术任务识别模块，导入建模并训练好的模型中，经过模型计算得出手术任务识别结果，依据识别结果动态调整映射比例；

步骤八、预设时间间隔后，再次进行步骤七。

2.根据权利要求1所述的手术机器人主从映射比例控制系统，其特征在于，所述关节驱动器参数包括关节驱动器编码器反馈的当前位置、实时运动速率、电机实时电流或电压。

3.根据权利要求1所述的手术机器人主从映射比例控制系统，其特征在于，所述关节驱动器参数包括无刷电机控制器反馈的当前驱动力、力矩及电机实时电流或电压。

4.根据权利要求1所述的手术机器人主从映射比例控制系统，其特征在于，所述手术实时影像数据包括所述内窥镜成像模块获得的二维和/或三维视频数据。

5.根据权利要求1所述的手术机器人主从映射比例控制系统，其特征在于，所述手术任务识别模块包含有处理器、存储器及图像处理单元。

6.根据权利要求1所述的手术机器人主从映射比例控制系统，其特征在于，所述手术任务识别模块采用基于机器学习的算法来识别手术任务。

7.根据权利要求6所述的手术机器人主从映射比例控制系统，其特征在于，所述机器学习的算法包括集成学习、随机森林、卷积神经网络或循环神经网络算法的一种或几种。

8.根据权利要求4所述的手术机器人主从映射比例控制系统，其特征在于，所述手术任务识别模块识别视频数据中各像素对应的器官、手术器械以及器官与手术器械的相对位置关系来识别手术任务。

9.根据权利要求1所述的手术机器人主从映射比例控制系统，其特征在于，所述手术任务识别模块能够依据手术任务的需要在不同自由度上实现一致或不一致的映射比例控制。