CN116919597B - 基于多视觉融合采集信息的手术导航系统 - Google Patents

Abstract

本发明涉及手术辅助技术领域，具体地说，涉及基于多视觉融合采集信息的手术导航系统。其包括器械特征存储单元、视觉采集单元、指令通信单元、器械识别单元和虚拟现实融合单元。本发明通过器械特征存储单元采集手术所需器械的图像特征，建立数据集，实现通过视觉采集单元采集医护人员视角的手术室视觉图像时，指令通信单元发出待使用的器械语音，调出数据集中的图像特征与器械识别单元的器械特征进行匹配，并通过虚拟现实融合单元对匹配的器械进行虚拟的标记，实现医护人员的视角能同时观察到手术室内实景和虚拟的标记点，有利于快速确定导航所需器械的位置，提高手术效率和质量。

Description

基于多视觉融合采集信息的手术导航系统

技术领域

本发明涉及手术辅助技术领域，具体地说，涉及基于多视觉融合采集信息的手术导航系统。

背景技术

外科手术简称手术，俗称开刀，凡指透过外科设备或外科仪器，经外科医师或其他专业人员的操作下，进入人体或其他生物组织，以外力方式排除病变、改变构造或植入外来物的处理过程，在进行外科手术时，需要医护人员切换不同的医疗器械对患者进行手术，由于医疗器械较多，将医疗器械摆放在置物架上，不能确保医护人员准确的记住每个医疗器械放置的位置，导致手术过程中不能快速定位所需器械的位置，需要医护人员主动去找寻，占用较多手术时间，影响手术效率和质量，鉴于此，我们提出基于多视觉融合采集信息的手术导航系统。

发明内容

本发明的目的在于提供基于多视觉融合采集信息的手术导航系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供基于多视觉融合采集信息的手术导航系统，包括器械特征存储单元、视觉采集单元、指令通信单元、器械识别单元和虚拟现实融合单元；

所述器械特征存储单元用于采集手术所需器械的图像特征，并建立器械名称和器械特征一一对应的数据集进行存储；

所述视觉采集单元佩戴在医护人员眼睛处，用于以医护人员的视角采集手术室内的视觉图像；

所述指令通信单元用于识别医护人员的待寻找器械的语音，将语音转换为器械名称的文字输入至器械特征存储单元中，从数据集调出器械名称对应的图像特征；

所述器械识别单元用于接收视觉采集单元的视觉图像，提取视觉图像中的多个器械特征，并依次将多个器械特征与指令通信单元的图像特征匹配；

所述虚拟现实融合单元用于在器械识别单元发出器械特征与图像特征匹配时，标记器械特征对应的器械，将虚拟的标记点融合在所述视觉采集单元的现实的视觉图像内，使医护人员的视角能同时观察到手术室内实景和虚拟的标记点。

作为本技术方案的进一步改进，所述器械特征存储单元包括预先采集模块、器械特征提取模块和存储模块；

所述预先采集模块用于采集各种手术器械的图像，并对每个手术器械对应的图像定义器械名称；

所述器械特征提取模块用于提取所述预先采集模块的图像的特征向量，用特征向量表示器械特征；

所述存储模块用于将所述预先采集模块的每个器械名称和所述器械特征提取模块对应的特征向量作为一条数据，存储在数据库中。

作为本技术方案的进一步改进，所述视觉采集单元包括佩戴器和视觉图像采集模块；

所述佩戴器用于辅助视觉图像采集模块固定在医护人员的头部；

所述视觉图像采集模块用于在医护人员的眼睛处采集医护人员的第一人称视角图像作为视觉图像，并使医护人员透过视觉图像观看手术室。

作为本技术方案的进一步改进，所述指令通信单元包括语音识别模块和信号传输模块；

所述语音识别模块用于采用语音识别技术实时捕捉并转换医护人员的语音指令；

所述信号传输模块用于将所述语音识别模块的语音指令转换为器械名称的文字输入存储模块的数据库中，输出器械特征。

作为本技术方案的进一步改进，所述指令通信单元还包括语音认证接收模块，所述语音认证接收模块用于通过声纹识别技术将负责拿取手术器械的医护人员的声音特征进行录制和建模，并用于验证和识别，只有通过认证的声音特征才会被所述语音识别模块识别。

作为本技术方案的进一步改进，所述器械识别单元包括图像处理模块、图像特征提取模块和特征匹配模块；

所述图像处理模块用于接收所述视觉图像采集模块的视觉图像，并进行图像去噪、图像增强和图像分割的预处理；

所述图像特征提取模块用于提取出预处理后视觉图像中的特征，并将特征与器械模板匹配，如果匹配度超过一定阈值，则判断为手术器械，然后采用特征提取算法提取确定为手术器械物品的颜色、纹理、形状特征；

所述特征匹配模块与所述信号传输模块输出端连接，用于将器械特征依次与多个图像特征进行比较匹配。

作为本技术方案的进一步改进，所述虚拟现实融合单元包括图像标记模块和实景融合模块；

所述图像标记模块用于当所述特征匹配模块成功匹配器械特征与图像特征后，使用计算机图形学技术在视觉图像内添加虚拟的标记点；

所述实景融合模块用于使用虚拟现实技术将虚拟的标记点的位置和实景图像对应融合起来，对图像进行叠加和混合处理，使得医护人员经过视觉采集单元在观察手术室实景时，同时能够看到标记点。

作为本技术方案的进一步改进，所述器械识别单元还包括锁定定位模块，所述锁定定位模块用于在特征匹配模块输出匹配成功信号后，锁定匹配成功的图像特征对应位置，并更新所述实景融合模块中的标记点位置和显示内容。

作为本技术方案的进一步改进，所述虚拟现实融合单元还包括可视化交互模块，所述可视化交互模块用于显示视觉采集单元通过所述实景融合模块融合后的图像，并提供交互选项供医护人员操作。

与现有技术相比，本发明的有益效果：

该基于多视觉融合采集信息的手术导航系统中，通过器械特征存储单元采集手术所需器械的图像特征，建立数据集，实现通过视觉采集单元采集医护人员视角的手术室视觉图像时，指令通信单元发出待使用的器械语音，调出数据集中的图像特征与器械识别单元的器械特征进行匹配，并通过虚拟现实融合单元对匹配的器械进行虚拟的标记，实现医护人员的视角能同时观察到手术室内实景和虚拟的标记点，有利于快速确定导航所需器械的位置，提高手术效率和质量。

附图说明

图1为本发明的整体结构原理框图；

图2为本发明的器械识别单元和虚拟现实融合单元的原理框图。

图中各个标号意义为：

100、器械特征存储单元；200、视觉采集单元；300、指令通信单元；400、器械识别单元；500、虚拟现实融合单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1-图2所示，本实施例提供基于多视觉融合采集信息的手术导航系统，包括器械特征存储单元100、视觉采集单元200、指令通信单元300、器械识别单元400和虚拟现实融合单元500；

器械特征存储单元100用于采集手术所需器械的图像特征，图像特征比如颜色、纹理、形状等，并建立器械名称和器械特征一一对应的数据集进行存储；

具体的，器械特征存储单元100包括预先采集模块、器械特征提取模块和存储模块；

预先采集模块用于采集各种手术器械的图像，并对每个手术器械对应的图像定义器械名称，可通过使用高清摄像头采集各种可能使用到的手术器械的图像，对每种器械拍摄多张图像，手动标注每个图像对应的器械名称，如“牵引器”“切割器”等；

器械特征提取模块用于提取预先采集模块的图像的特征向量，用特征向量表示器械特征，可以使用图像特征提取算法提取特征向量，比如SIFT、SURF等获得特征点；

存储模块用于将预先采集模块的每个器械名称和器械特征提取模块对应的特征向量作为一条数据，存储在数据库中，数据库记录格式为：[器械名称，器械特征]，能够建立起每个器械与其视觉特征的对应关系，当需要识别某个器械时，只需提取当前视角图像的特征，在数据库中找到最匹配的特征向量所对应的器械名称，从而实现快速定位该器械，实现了基于视觉特征进行器械识别与定位的知识库构建，是该导航系统可以正常工作的基础。

视觉采集单元200佩戴在医护人员眼睛处，用于以医护人员的视角采集手术室内的视觉图像；

其中，视觉采集单元200包括佩戴器和视觉图像采集模块；

佩戴器用于辅助视觉图像采集模块固定在医护人员的头部，可以选择轻量化的头显设备，提高佩戴舒适性；

视觉图像采集模块用于在医护人员的眼睛处采集医护人员的第一人称视角图像作为视觉图像，并使医护人员透过视觉图像观看手术室，有利于随着医护人员头部转动改变视角，而切换视角图像采集的角度，方便对手术室内进行动态视频采集。

指令通信单元300用于识别医护人员的待寻找器械的语音，将语音转换为器械名称的文字输入至器械特征存储单元100中，从数据集调出器械名称对应的图像特征；

值得说明的，指令通信单元300包括语音识别模块和信号传输模块；

语音识别模块用于采用语音识别技术实时捕捉并转换医护人员的语音指令，比如医护人员说“我要牵引器”，从语音中提取出器械的名称“牵引器；

信号传输模块用于将语音识别模块的语音指令转换为器械名称的文字输入存储模块的数据库中，输出器械特征；

因此，指令通信单元通过语音识别技术，将语音输入进行分析和处理，提取出语音中的语音特征，然后与预设的器械名称进行匹配，一旦匹配成功，就会将器械名称转换为文字形式，并输入到数据库中，输出器械特征，方便后续根据医护人员的视角在手术室内导航。

由于手术室内各种仪器的噪音、多个医护人员之间相互交谈，不能准确识别负责拿取手术器械的医护人员，易造成语音识别不准确，因此，使指令通信单元300还包括语音认证接收模块，语音认证接收模块用于通过声纹识别技术将负责拿取手术器械的医护人员的声音特征进行录制和建模，并用于验证和识别，只有通过认证的声音特征才会被语音识别模块识别，避免其他噪音和交谈对语音识别的影响，减少噪音和其他干扰对系统性能的影响，提高了语音指令的准确性。

器械识别单元400用于接收视觉采集单元200的视觉图像，提取视觉图像中的多个器械特征，并依次将多个器械特征与指令通信单元300的图像特征匹配；

虚拟现实融合单元500用于在器械识别单元400发出器械特征与图像特征匹配时，标记器械特征对应的器械，将虚拟的标记点融合在视觉采集单元200的现实的视觉图像内，使医护人员的视角能同时观察到手术室内实景和虚拟的标记点。

进一步的，器械识别单元400包括图像处理模块、图像特征提取模块和特征匹配模块；

图像处理模块用于接收视觉图像采集模块的视觉图像，并进行图像去噪、图像增强和图像分割的预处理，以提高图像质量和准确性；

图像特征提取模块用于提取出预处理后视觉图像中的特征，并将特征与器械模板匹配，如果匹配度超过一定阈值，则判断为手术器械，然后采用特征提取算法提取确定为手术器械物品的颜色、纹理、形状特征，例如，可以利用颜色直方图、纹理描述子如LBP、HOG等、边缘特征等提取器械的特征通过这些特征提取方法，能够从视觉图像中提取出一系列代表器械特征的向量或特征描述子；

特征匹配模块与信号传输模块输出端连接，用于将器械特征依次与多个图像特征进行比较匹配，常用的特征匹配方法包括基于特征点匹配的方法如SIFT、SURF等或者基于特征向量的相似度匹配方法如欧氏距离、余弦相似度等，例如：图像特征对应的为牵引器，则将牵引器与医护人员视角内确定为手术器械的器械特征进行比对，直至确定视角内出现牵引器，表示器械特征与图像特征匹配。

此外，虚拟现实融合单元500包括图像标记模块和实景融合模块；

图像标记模块用于当特征匹配模块成功匹配器械特征与图像特征后，使用计算机图形学技术在视觉图像内添加虚拟的标记点；

实景融合模块用于使用虚拟现实技术将虚拟的标记点的位置和实景图像对应融合起来，对图像进行叠加和混合处理，使得医护人员经过视觉采集单元200在观察手术室实景时，同时能够看到标记点，可以通过调整透明度、颜色融合等方式，使虚拟的标记点与实景图像融为一体，呈现出医护人员所观察到的增强实景图像，经过处理后的增强实景图像将通过视觉采集单元200展示给医护人员，使其可以同时看到实景和虚拟的标记点，提供更准确的定位和指引，有利于医护人员快速确定需要器械的位置，提高手术效率。

综上，本发明考虑到在进行外科手术时，需要医护人员切换不同的医疗器械对患者进行手术，由于医疗器械较多，将医疗器械摆放在置物架上，不能确保医护人员准确的记住每个医疗器械放置的位置，导致手术过程中不能快速定位所需器械的位置，需要医护人员主动去找寻，占用较多手术时间，影响手术效率和质量，因此，通过器械特征存储单元100采集手术所需器械的图像特征，建立数据集，实现通过视觉采集单元200采集医护人员视角的手术室视觉图像时，指令通信单元300发出待使用的器械语音，调出数据集中的图像特征与器械识别单元400的器械特征进行匹配，并通过虚拟现实融合单元500对匹配的器械进行虚拟的标记，实现医护人员的视角能同时观察到手术室内实景和虚拟的标记点，有利于快速确定导航所需器械的位置，提高手术效率和质量。

实施例2

在特征匹配模块确定器械特征与图像特征匹配时，若不能定位器械的位置，易导致后续标记错误，且随着医护人员头部晃动，导致视觉图像的视角改变，影响快速确定器械位置，因此，使器械识别单元400还包括锁定定位模块，锁定定位模块用于在特征匹配模块输出匹配成功信号后，锁定匹配成功的图像特征对应位置，并更新实景融合模块中的标记点位置和显示内容，其中，锁定定位模块特征匹配模块和实景融合模块的实现方法，工作原理如下：特征匹配成功后，获取匹配的特征点在图像中的位置坐标，根据医护人员的视角信息，计算特征点在实景图像上的位置坐标，使用视觉几何方法，如相机投影模型，将图像坐标转换为实景世界坐标，根据实景图像的尺度和医护人员头部晃动的程度，对特征点的实景坐标进行平滑处理，以减少标记点的抖动，将平滑处理后的特征点实景坐标传递给实景融合模块，进行标记点位置的更新和显示内容的更新，提高器械定位的准确性，并减少标记错误的发生。

由于实景融合模块使得医护人员在观察手术室实景时，同时能够看到标记点，仅能使负责拿取手术器械的医护人员看到，不能可视化的表现，因此，使虚拟现实融合单元500还包括可视化交互模块，可视化交互模块用于显示视觉采集单元200通过实景融合模块融合后的图像，并提供交互选项供医护人员操作，如放大、旋转、添加备注等功能，以帮助医护人员更好地观察和操作所需器械。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.基于多视觉融合采集信息的手术导航系统，其特征在于：包括器械特征存储单元（100）、视觉采集单元（200）、指令通信单元（300）、器械识别单元（400）和虚拟现实融合单元（500）；

所述器械特征存储单元（100）用于采集手术所需器械的图像特征，并建立器械名称和器械特征一一对应的数据集进行存储；

所述视觉采集单元（200）佩戴在医护人员眼睛处，用于以医护人员的视角采集手术室内的视觉图像；

所述指令通信单元（300）用于识别医护人员的待寻找器械的语音，将语音转换为器械名称的文字输入至器械特征存储单元（100）中，从数据集调出器械名称对应的图像特征；

所述器械识别单元（400）用于接收视觉采集单元（200）的视觉图像，提取视觉图像中的多个器械特征，并依次将多个器械特征与指令通信单元（300）的图像特征匹配；

所述虚拟现实融合单元（500）用于在器械识别单元（400）发出器械特征与图像特征匹配时，标记器械特征对应的器械，将虚拟的标记点融合在所述视觉采集单元（200）的现实的视觉图像内，使医护人员的视角能同时观察到手术室内实景和虚拟的标记点。

2.根据权利要求1所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述器械特征存储单元（100）包括预先采集模块、器械特征提取模块和存储模块；

所述预先采集模块用于采集各种手术器械的图像，并对每个手术器械对应的图像定义器械名称；

所述器械特征提取模块用于提取所述预先采集模块的图像的特征向量，用特征向量表示器械特征；

所述存储模块用于将所述预先采集模块的每个器械名称和所述器械特征提取模块对应的特征向量作为一条数据，存储在数据库中。

3.根据权利要求2所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述视觉采集单元（200）包括佩戴器和视觉图像采集模块；

所述佩戴器用于辅助视觉图像采集模块固定在医护人员的头部；

所述视觉图像采集模块用于在医护人员的眼睛处采集医护人员的第一人称视角图像作为视觉图像，并使医护人员透过视觉图像观看手术室。

4.根据权利要求3所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述指令通信单元（300）包括语音识别模块和信号传输模块；

所述语音识别模块用于采用语音识别技术实时捕捉并转换医护人员的语音指令；

所述信号传输模块用于将所述语音识别模块的语音指令转换为器械名称的文字输入存储模块的数据库中，输出器械特征。

5.根据权利要求4所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述指令通信单元（300）还包括语音认证接收模块，所述语音认证接收模块用于通过声纹识别技术将负责拿取手术器械的医护人员的声音特征进行录制和建模，并用于验证和识别，只有通过认证的声音特征才会被所述语音识别模块识别。

6.根据权利要求4所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述器械识别单元（400）包括图像处理模块、图像特征提取模块和特征匹配模块；

所述图像处理模块用于接收所述视觉图像采集模块的视觉图像，并进行图像去噪、图像增强和图像分割的预处理；

所述图像特征提取模块用于提取出预处理后视觉图像中的特征，并将特征与器械模板匹配，如果匹配度超过一定阈值，则判断为手术器械，然后采用特征提取算法提取确定为手术器械物品的颜色、纹理、形状特征；

所述特征匹配模块与所述信号传输模块输出端连接，用于将器械特征依次与多个图像特征进行比较匹配。

7.根据权利要求6所述的基于多视觉融合采集信息的手术导航系统，其特征在于：虚拟现实融合单元（500）包括图像标记模块和实景融合模块；

所述图像标记模块用于当所述特征匹配模块成功匹配器械特征与图像特征后，使用计算机图形学技术在视觉图像内添加虚拟的标记点；

所述实景融合模块用于使用虚拟现实技术将虚拟的标记点的位置和实景图像对应融合起来，对图像进行叠加和混合处理，使得医护人员经过视觉采集单元（200）在观察手术室实景时，同时能够看到标记点。

8.根据权利要求7所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述器械识别单元（400）还包括锁定定位模块，所述锁定定位模块用于在特征匹配模块输出匹配成功信号后，锁定匹配成功的图像特征对应位置，并更新所述实景融合模块中的标记点位置和显示内容。

9.根据权利要求8所述的基于多视觉融合采集信息的手术导航系统，其特征在于：所述虚拟现实融合单元（500）还包括可视化交互模块，所述可视化交互模块用于显示视觉采集单元（200）通过所述实景融合模块融合后的图像，并提供交互选项供医护人员操作。