CN110974299A - 超声扫查机器人系统、超声扫查方法及介质 - Google Patents
超声扫查机器人系统、超声扫查方法及介质 Download PDFInfo
- Publication number
- CN110974299A CN110974299A CN201911415733.0A CN201911415733A CN110974299A CN 110974299 A CN110974299 A CN 110974299A CN 201911415733 A CN201911415733 A CN 201911415733A CN 110974299 A CN110974299 A CN 110974299A
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic
- scanning
- ultrasound
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000002604 ultrasonography Methods 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 58
- 238000003062 neural network model Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000003908 quality control method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000005507 spraying Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000007921 spray Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013130 cardiovascular surgery Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种超声扫查机器人系统、超声扫查方法及介质，包括：根据超声图像识别当前扫查部位，根据超声图像识别当前扫查切面，根据当前扫查部位和/或当前扫描切面以及场景图像，输出操作超声换能器到预定方位的导航信息至机械臂。本发明能够准确识别扫查部位与切面，从而使机械臂操纵超声换能器快速、准确地定位目标部位和切面，获取相应的超声图像。
Description
技术领域
本发明涉及超声技术领域，具体地，涉及一种超声扫查机器人系统、超声扫查方法及介质。
背景技术
超声利用声波的反射来反映组织的纹理和解剖结构，并形成图像。超声经历数十年的发展，模态不断丰富，主要包括灰阶成像、多普勒成像、弹性成像、造影成像等。超声凭借其低成本、安全、实时性等优势逐渐成为应用最为普遍的医学影像技术，同时在产科、心脏等领域发挥着不可替代的重要作用。
超声是医学影像设备便携化的先驱，既有传统的大型台车超声设备，也有中型的笔记本超声设备。近年来，还出现了小型的掌上超声设备。超声设备的便携性使得超声可以进入新的应用场景，同时被内/外科、麻醉科、急诊科等非超声医生所接受和使用。这些新场景和新用户为超声开辟新天地的同时，也对超声提出了新的需求和挑战。
近年来，以达芬奇手术机器人为代表的医疗机器人快速发展，临床应用逐渐从腹腔镜手术扩展至骨科、神经、心血管等领域。高效的机器人技术是超声的有力补充，两者的有机结合充满前景。
主流超声技术由操作者手持探头通过特定的声窗扫描人体内的二维结构切面，视角和视场都会受到一定的空间限制。因此，超声成像的空间定位和图像质量很大程度上依赖于操作者的经验与技巧，存在一定的主观性，标准化程度和可重复性较低。便携超声的逐渐普及加剧了超声操作者严重不足的形势。快速、准确地定位目标解剖部位，获取可靠、标准的超声切面图像面临挑战。
目前已有一些公司研发利用机械臂操纵超声换能器执行多种动作，但是，在保证被检查对象安全和超声图像质量等方面，以及在高效、准确定位目标扫查部位和扫查切面等方面，还有待突破。例如专利：CN109998590A；WO2019075719A1；CN209004045U；CN208822821U；CN108577886A。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种超声扫查机器人系统、超声扫查方法及介质。
根据本发明提供的一种超声扫查机器人系统，包括：
超声换能器，安装在机械臂上，配置为发射和接收超声成像信号，所述超声换能器配置有压力传感器，所述压力传感器实时获取被扫查对象的接触信息；
摄像头，配置为拍摄被扫查对象与超声换能器当前位置，得到场景图像；
波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号；
超声图像处理模块，配置为根据所述合成信号生成对应的超声图像；
部位识别模块，配置为根据所述超声图像识别当前扫查部位；
切面识别模块，配置为根据所述超声图像识别当前扫查切面；
扫查控制模块，配置为根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制所述机械臂。
优选地，还包括语音提示模块，配置为为被检查对象提供语音指导信息。
优选地，还包括三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。
优选地，所述部位识别模块包括部位识别神经网络模型，用于根据所述超声图像识别当前扫查部位，所述部位识别神经网络模型通过以下步骤训练得到：
获得部位识别训练数据，所述部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；
使用所述部位识别训练数据训练一个卷积神经网络，得到所述部位识别神经网络模型。
优选地，所述切面识别模块包括切面识别神经网络模型，用于根据所述超声图像识别当前扫查切面，所述切面识别神经网络模型通过以下步骤训练得到：
获得切面识别训练数据，所述切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；
使用所述切面识别训练数据训练一个卷积神经网络，得到所述切面识别神经网络模型。
优选地，所述卷积神经网络模型由卷积层、池化层、批归一化层组成，训练所述卷积神经网络模型的损失函数为：
或
其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。
优选地，所述部位识别模块配置为根据所述超声图像识别当前扫查部位是目标部位的部位识别概率；所述切面识别模块配置为根据所述超声图像识别当前扫查切面是目标切面的切面识别概率。
优选地，所述超声扫查机器人系统还包括图像质控模块，所述图像质控模块包括图像评分神经网络模型，用于对所述超声图像的质量进行评分，所述图像评分神经网络模型通过以下步骤训练得到：
获得图像评分训练数据，所述图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；
使用所述图像评分训练数据训练一个卷积神经网络，得到所述图像评分神经网络模型。
优选地，所述机械臂上配置有耦合剂喷涂装置；所述扫查控制模块还配置为获取所述图像质控模块得到的评分，当所述评分低于设定阈值时，控制所述耦合剂喷涂装置喷涂耦合剂。
优选地，所述切面识别模块配置为根据所述超声图像识别到的当前扫查部位来识别当前扫查切面。
根据本发明提供的一种超声扫查方法，包括：
对接收到的多个超声成像信号进行波束合成，得到合成信号；
实时获取超声换能器与被扫查对象的接触信息；
实时拍摄被扫查对象与超声换能器当前位置，得到场景图像；
根据所述合成信号生成对应的超声图像；
根据所述超声图像识别当前扫查部位；
根据所述超声图像识别当前扫查切面；
根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的超声扫查方法。
与现有技术相比，本发明具有如下的有益效果：
本发明能够准确识别扫查部位与切面，从而使机械臂操纵超声换能器快速、准确地定位目标部位和切面，获取相应的超声图像；
本发明能够提升超声扫查的准确性、可重复性和标准化程度；降低超声的使用门槛，节约医疗人力资源。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的结构示意图；
图2为本发明超声换能器的结构示意图；
图3为本发明的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种超声扫查机器人系统，包括：超声换能器1、处理系统2以及摄像头(图中未示出)。
超声换能器1安装在机械臂上，配置为发射和接收超声成像信号，超声换能器1配置有压力传感器11，实时获取被扫查对象的接触信息。摄像头拍摄被扫查对象与超声换能器当前位置，得到场景图像。
当超声图像是三维图像时，超声三维空间结构重建通过多个三维超声图像的拼接来实现。运动补偿等图像处理算法用于优化拼接效果。运动补偿包括两个方面，一是补偿被检查对象呼吸、心跳等组织运动造成的图像错位，二是用于补偿超声换能器的运动造成的图像错位。当超声图像为二维图像时，不同方位的二维超声图像实现对超声三维空间结构的稀疏重建。
处理系统2可以是各类具备数据处理功能的设备，如计算机等。具体的，处理系统2中包括：
波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号。
超声图像处理模块，配置为根据所述合成信号生成对应的超声图像。
部位识别模块，配置为根据所述超声图像识别当前扫查部位。
切面识别模块，配置为根据所述超声图像识别当前扫查切面。
三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。
扫查控制模块：配置为根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。
语音提示模块，配置为被检查对象提供语音指导信息，语音指导信息包括指导被检查对象躺在检查床上、掀起衣物等信息。
依据被检查对象超声检查项目，所述语音提示模块通过发出语音指导信息指导被检查对象在超声检查床上保持特定的体位，显露待扫查体表皮肤。机械臂起始位置位于超声检查床正上方。摄像头获取被检查对象在超声检查床上的图像，扫查控制模块利用计算机视觉/机器学习等算法结合摄像头图像判断被检查对象体位是否符合超声检查项目的要求，如不符合，语音提示模块向被检查对象发出语音指导信息。
被检查对象体位满足要求后，扫查控制模块利用计算机视觉/机器学习等算法结合摄像头采集到的图像确定针对超声检查项目的超声换能器位于被检查对象体表的位置。扫查控制模块控制机械臂移动至已确定的被检查对象体表位置，进一步控制机械臂将超声换能器放置于已确定的被检查对象体表位置。
扫查控制模块控制机械臂操作超声换能器对被检查对象体表施加适当的压力，实时获取超声图像。图像质控模块根据超声换能器实时获取的超声图像评估超声图像质量并提供定量评分，超声图像质控模块还能够分析超声图像质量欠佳的潜在原因，包括耦合剂不足、肋骨遮挡、超声换能器位置偏离、超声成像参数不匹配、被检查对象成像条件较差等，并提供相应的解决方案，如系统调整机械臂借助超声换能器对被检查对象体表施加的压力，在保证被检查对象安全的前提下，使超声换能器保持在持续稳定获取优质超声图像的状态。
扫查控制模块根据计算得到的导航信息控制机械臂操纵超声换能器，执行平移、倾斜、摆动或旋转等动作，实时获取不同时刻的多帧超声图像，并记录对应时刻的超声图像的方位信息。三维重建模块根据超声图像和对应的方位信息，重建得到相应部位的三维图像。
部位识别模块利用计算机视觉/机器学习等算法结合重建的超声三维空间结构能够较为准确地识别出扫查部位。部位识别算法的一个实例是基于神经网络模型构建部位分类器，部位分类器预先利用大量不同部位的超声三维空间结构与对应的部位标签进行训练，经训练的部位分类器预测出输入的超声三维空间结构属于特定部位的概率。部位识别算法的另一个实例是基于神经网络模型构建部位分类器，部位分类器预先利用大量不同部位的二维超声图像与对应的部位标签进行训练，经训练的部位分类器预测出输入的二维超声图像属于特定部位的概率。
所述分类器为经训练的卷积神经网络模型，由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：
其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。
超声图像是实时获取的，因此部位识别概率也是实时更新的。部位识别概率的计算不只是基于当前时刻获取的超声图像，也基于之前时刻获取的超声图像。所以，随着超声换能器在第一个位置停留时间的延长，部位识别的准确性和可信度将不断提升。在本实施例中，部位识别模块包括部位识别神经网络模型，用于根据超声图像识别当前扫查部位，部位识别神经网络模型通过以下步骤训练得到：获得部位识别训练数据，部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；使用部位识别训练数据训练一个卷积神经网络，得到部位识别神经网络模型。
如果目标扫查部位的部位识别概率最大，并且高于95％，则认为别出来的扫查部位为实际扫查的部位。然后进入切面识别环节。
上述扫查部位定位环节获取的重建的超声三维空间结构能够协助系统定位目标扫查平面。控制倾斜、摆动或旋转超声换能器，用于采集多帧超声图像，扫查控制模块处理超声图像，利用机器视觉、机器学习等算法识别出当前扫查的切面，并推断出识别到的切面是特定切面的概率。在本发明中，由于是通过机械臂来控制超声换能器，将识别到的概率最高或到达指定概率之上的结果作为导航信息计算的输入，计算得到用于控制机械臂的导航信息。
在本实施例中，切面识别模块同样包括切面识别神经网络模型，用于根据超声图像识别当前扫查切面，切面识别神经网络模型通过以下步骤训练得到：获得切面识别训练数据，切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；使用切面识别训练数据训练一个卷积神经网络，得到切面识别神经网络模型。
所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：
其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。
在本实施例中，部位识别模块配置为根据超声图像识别当前扫查部位是目标部位的部位识别概率；切面识别模块配置为根据超声图像识别当前扫查切面是目标切面的切面识别概率。识别信息输出模块配置为以柱状图或扇形图的方式显示部位识别概率或切面识别概率。
超声换能器的方向、角度和旋转信息被其内部嵌入的加速度计、陀螺仪、磁力计等传感器检测并记录。超声换能器的空间方位与超声图像以及切面识别概率一一对应。
超声换能器被放置在被检查对象体表的某一个位置，操作者控制超声换能器进行倾斜、摆动、旋转、成角等非滑动操作。任意时刻的超声图像与该时刻的超声换能器的方位、角度信息为一一对应地记录和保存。每个时刻的二维超声图像都是对超声成像三维空间的一次二维采样。利用该时刻的超声换能器的方位、角度信息能够将二维超声图像唯一地映射到超声成像三维空间中。多帧带有超声换能器方位、角度的超声图像能够形成超声成像三维空间的稀疏重建。理论上，当这样的超声图像足够多，覆盖的方位、角度足够丰富时，超声成像三维空间能够被完整的重建。
基于多帧超声图像对超声成像三维空间的稀疏重建，利用计算机视觉、机器学习等算法，识别出超声换能器正在扫查的部位。同时，利用计算机视觉、机器学习等算法还可以推断出已识别部位相应的若干目标标准超声扫查切面所在的大致方位。
在其他实施例中，超声扫查机器人系统还包括图像质控模块，图像质控模块包括图像评分神经网络模型，用于对超声图像的质量进行评分，图像评分神经网络模型通过以下步骤训练得到：获得图像评分训练数据，图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；使用图像评分训练数据训练一个卷积神经网络，得到图像评分神经网络模型。利用计算机视觉、机器学习等算法建立一个超声图像质量评估系统。同时，结合超声图像、超声换能器内嵌的传感器、力反馈装置等信息，利用计算机视觉、机器学习等算法向操作者超声图像质量欠佳的潜在原因，包括耦合剂不足、肋骨遮挡、超声换能器位置偏离、超声成像参数不匹配、被检查对象成像条件较差等，与相应的解决方案。在此基础上，机械臂上还配置有耦合剂喷涂装置，扫查控制模块还可配置为获取所述图像质控模块得到的评分，当所述评分低于设定阈值时，控制所述耦合剂喷涂装置喷涂耦合剂，以便于提高后续获取的超声图像的质量。
本发明记载的部位识别神经网络模型、切面识别神经网络模型、图像评分神经网络模型是使用训练数据训练一个卷积神经网络的到的。在一个实施例中，卷积神经网络包括：输入层，配置为将超声图像输入卷积神经网络；卷积层，配置为对超声图像进行特征提取；池化层，配置为对卷积层提取到的特征降采样；全连接层，配置为将池化层降采样得到的特征映射到样本标记空间；输出层，配置为输出结果。
以部位识别神经网络模型为例，其训练过程如下：
(1)在获得超声图像之后，对得到的超声图像进行标注，根据不同的部位分为不同的类别，例如：肝脏、脾脏、肾脏...等。
(2)将70％的数据作为训练数据，输入到卷积神经网络中进行训练。
(3)将20％的数据用于计算训练中每一次参数迭代更新之后的损失值，来评估模型的质量，当损失值下降到较小的值并且不再继续下降时，模型训练完成。
(4)将10％的数据作为测试数据，用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。
扫查控制模块和图像质控模块可以以专用芯片的形式安装运行在本地的超声换能器或机械臂上，也可以以专用芯片或软件的形式安装运行在本地或远程的手机、平板/台式电脑、独立硬件或超声主机等设备中。扫查控制模块和图像质控模块还可以以软件的形式安装运行在云端，同时辅助多个位于不同地理位置的机械臂操纵超声换能器。
如图3所示，在上述一种超声扫查系统的基础上，本发明还提供一种超声扫查方法，包括：
对接收到的多个超声成像信号进行波束合成，得到合成信号。
实时获取超声换能器与被扫查对象的接触信息。
实时拍摄被扫查对象与超声换能器当前位置，得到场景图像。
根据所述合成信号生成对应的超声图像。
根据所述超声图像识别当前扫查部位。
根据所述超声图像识别当前扫查切面。
根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。
本发明还提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的超声扫查方法。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统的一部分及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种超声扫查机器人系统，其特征在于，包括：
超声换能器，安装在机械臂上，配置为发射和接收超声成像信号，所述超声换能器配置有压力传感器，所述压力传感器实时获取被扫查对象的接触信息；
摄像头，配置为拍摄被扫查对象与超声换能器当前位置，得到场景图像；
波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号；
超声图像处理模块，配置为根据所述合成信号生成对应的超声图像；
部位识别模块，配置为根据所述超声图像识别当前扫查部位；
切面识别模块，配置为根据所述超声图像识别当前扫查切面；
扫查控制模块，配置为根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制所述机械臂。
2.根据权利要求1所述的超声扫查机器人系统，其特征在于，还包括三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。
3.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述部位识别模块包括部位识别神经网络模型，用于根据所述超声图像识别当前扫查部位，所述部位识别神经网络模型通过以下步骤训练得到：
获得部位识别训练数据，所述部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；
使用所述部位识别训练数据训练一个卷积神经网络，得到所述部位识别神经网络模型。
4.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述切面识别模块包括切面识别神经网络模型，用于根据所述超声图像识别当前扫查切面，所述切面识别神经网络模型通过以下步骤训练得到：
获得切面识别训练数据，所述切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；
使用所述切面识别训练数据训练一个卷积神经网络，得到所述切面识别神经网络模型。
5.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述部位识别模块配置为根据所述超声图像识别当前扫查部位是目标部位的部位识别概率；所述切面识别模块配置为根据所述超声图像识别当前扫查切面是目标切面的切面识别概率。
6.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述超声扫查机器人系统还包括图像质控模块，所述图像质控模块包括图像评分神经网络模型，用于对所述超声图像的质量进行评分，所述图像评分神经网络模型通过以下步骤训练得到：
获得图像评分训练数据，所述图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；
使用所述图像评分训练数据训练一个卷积神经网络，得到所述图像评分神经网络模型。
7.根据权利要求6所述的超声扫查机器人系统，其特征在于，所述机械臂上配置有耦合剂喷涂装置；所述扫查控制模块还配置为获取所述图像质控模块得到的评分，当所述评分低于设定阈值时，控制所述耦合剂喷涂装置喷涂耦合剂。
8.根据权利要求1所述的超声扫查机器人系统，其特征在于，所述切面识别模块配置为根据所述超声图像识别到的当前扫查部位来识别当前扫查切面。
9.一种超声扫查方法，其特征在于，包括：
对接收到的多个超声成像信号进行波束合成，得到合成信号；
实时获取超声换能器与被扫查对象的接触信息；
实时拍摄被扫查对象与超声换能器当前位置，得到场景图像；
根据所述合成信号生成对应的超声图像；
根据所述超声图像识别当前扫查部位；
根据所述超声图像识别当前扫查切面；
根据所述场景图像、所述当前扫查部位、所述当前扫描切面以及所述接触信息，计算得到机械臂操作所述超声换能器到目标扫查位置的导航信息，根据所述导航信息控制机械臂。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求9所述的超声扫查方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415733.0A CN110974299A (zh) | 2019-12-31 | 2019-12-31 | 超声扫查机器人系统、超声扫查方法及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911415733.0A CN110974299A (zh) | 2019-12-31 | 2019-12-31 | 超声扫查机器人系统、超声扫查方法及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110974299A true CN110974299A (zh) | 2020-04-10 |
Family
ID=70079958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911415733.0A Pending CN110974299A (zh) | 2019-12-31 | 2019-12-31 | 超声扫查机器人系统、超声扫查方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110974299A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111643116A (zh) * | 2020-07-03 | 2020-09-11 | 吉林大学 | 一种仿生智能超声检查体位变换装置 |
| CN112612274A (zh) * | 2020-12-22 | 2021-04-06 | 清华大学 | 用于超声检查机器人的自主运动决策控制方法及系统 |
| CN112754517A (zh) * | 2020-12-30 | 2021-05-07 | 中国科学院长春光学精密机械与物理研究所 | 一种超声检测装置、超声检测方法、超声系统 |
| CN113951932A (zh) * | 2021-11-30 | 2022-01-21 | 上海深至信息科技有限公司 | 一种超声设备的扫查方法及设备 |
| WO2022073413A1 (zh) * | 2020-10-10 | 2022-04-14 | 达闼机器人有限公司 | 超声波诊断设备、超声波图像的生成方法及存储介质 |
| WO2022136294A1 (en) * | 2020-12-22 | 2022-06-30 | Ropca Holding Aps | Robotic system for performing an ultrasound scan |
| CN114848019A (zh) * | 2022-04-19 | 2022-08-05 | 山东大学 | 基于柔性协作机器人的自动心脏超声检测系统及方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060089624A1 (en) * | 2004-10-22 | 2006-04-27 | Voegele James W | System and method for planning treatment of tissue |
| US20060293592A1 (en) * | 2005-05-13 | 2006-12-28 | General Electric Company | System and method for controlling a medical imaging device |
| CN105208958A (zh) * | 2013-03-15 | 2015-12-30 | 圣纳普医疗(巴巴多斯)公司 | 用于微创治疗的导航和模拟的系统和方法 |
| CN107595387A (zh) * | 2017-07-28 | 2018-01-19 | 浙江大学 | 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统 |
| US20180103912A1 (en) * | 2016-10-19 | 2018-04-19 | Koninklijke Philips N.V. | Ultrasound system with deep learning network providing real time image identification |
| CN108095761A (zh) * | 2012-03-07 | 2018-06-01 | 齐特奥股份有限公司 | 空间对准设备、空间对准系统及用于指导医疗过程的方法 |
| WO2018120840A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳开立生物医疗科技股份有限公司 | 超声成像设备、超声成像方法及装置 |
| CN109009211A (zh) * | 2018-06-22 | 2018-12-18 | 联想(北京)有限公司 | 智能设备、基于超声波检测的方法及装置 |
| CN109077752A (zh) * | 2017-05-31 | 2018-12-25 | 西门子医疗有限公司 | 移动机器臂 |
| CN109447940A (zh) * | 2018-08-28 | 2019-03-08 | 天津医科大学肿瘤医院 | 卷积神经网络训练方法、超声图像识别定位方法及系统 |
| CN109480906A (zh) * | 2018-12-28 | 2019-03-19 | 无锡祥生医疗科技股份有限公司 | 超声换能器导航系统及超声成像设备 |
| CN109480908A (zh) * | 2018-12-29 | 2019-03-19 | 无锡祥生医疗科技股份有限公司 | 换能器导航方法及成像设备 |
| CN109549667A (zh) * | 2018-12-29 | 2019-04-02 | 无锡祥生医疗科技股份有限公司 | 超声换能器扫描系统、方法及超声成像设备 |
| CN110020610A (zh) * | 2019-03-16 | 2019-07-16 | 复旦大学 | 基于深度学习的肠镜质量检查控制系统 |
| CN110114834A (zh) * | 2016-11-23 | 2019-08-09 | 通用电气公司 | 用于医疗程序的深度学习医疗系统和方法 |
| CN110115598A (zh) * | 2019-06-19 | 2019-08-13 | 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） | 一种可自动涂抹耦合剂的超声探头控制系统及方法 |
| CN110464380A (zh) * | 2019-09-12 | 2019-11-19 | 李肯立 | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 |
| CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断系统的智能扫查方法 |
| CN110555836A (zh) * | 2019-09-05 | 2019-12-10 | 李肯立 | 一种超声图像中胎儿标准切面的自动识别方法和系统 |
-
2019
- 2019-12-31 CN CN201911415733.0A patent/CN110974299A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060089624A1 (en) * | 2004-10-22 | 2006-04-27 | Voegele James W | System and method for planning treatment of tissue |
| US20060293592A1 (en) * | 2005-05-13 | 2006-12-28 | General Electric Company | System and method for controlling a medical imaging device |
| CN108095761A (zh) * | 2012-03-07 | 2018-06-01 | 齐特奥股份有限公司 | 空间对准设备、空间对准系统及用于指导医疗过程的方法 |
| CN105208958A (zh) * | 2013-03-15 | 2015-12-30 | 圣纳普医疗(巴巴多斯)公司 | 用于微创治疗的导航和模拟的系统和方法 |
| US20180103912A1 (en) * | 2016-10-19 | 2018-04-19 | Koninklijke Philips N.V. | Ultrasound system with deep learning network providing real time image identification |
| CN110114834A (zh) * | 2016-11-23 | 2019-08-09 | 通用电气公司 | 用于医疗程序的深度学习医疗系统和方法 |
| WO2018120840A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳开立生物医疗科技股份有限公司 | 超声成像设备、超声成像方法及装置 |
| CN109077752A (zh) * | 2017-05-31 | 2018-12-25 | 西门子医疗有限公司 | 移动机器臂 |
| CN107595387A (zh) * | 2017-07-28 | 2018-01-19 | 浙江大学 | 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统 |
| CN109009211A (zh) * | 2018-06-22 | 2018-12-18 | 联想(北京)有限公司 | 智能设备、基于超声波检测的方法及装置 |
| CN109447940A (zh) * | 2018-08-28 | 2019-03-08 | 天津医科大学肿瘤医院 | 卷积神经网络训练方法、超声图像识别定位方法及系统 |
| CN109480906A (zh) * | 2018-12-28 | 2019-03-19 | 无锡祥生医疗科技股份有限公司 | 超声换能器导航系统及超声成像设备 |
| CN109480908A (zh) * | 2018-12-29 | 2019-03-19 | 无锡祥生医疗科技股份有限公司 | 换能器导航方法及成像设备 |
| CN109549667A (zh) * | 2018-12-29 | 2019-04-02 | 无锡祥生医疗科技股份有限公司 | 超声换能器扫描系统、方法及超声成像设备 |
| CN110020610A (zh) * | 2019-03-16 | 2019-07-16 | 复旦大学 | 基于深度学习的肠镜质量检查控制系统 |
| CN110115598A (zh) * | 2019-06-19 | 2019-08-13 | 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） | 一种可自动涂抹耦合剂的超声探头控制系统及方法 |
| CN110555836A (zh) * | 2019-09-05 | 2019-12-10 | 李肯立 | 一种超声图像中胎儿标准切面的自动识别方法和系统 |
| CN110464380A (zh) * | 2019-09-12 | 2019-11-19 | 李肯立 | 一种对中晚孕期胎儿的超声切面图像进行质量控制的方法 |
| CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断系统的智能扫查方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马超等: "《可视化超声引导注射规范化操作引导》", 30 November 2019 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111643116A (zh) * | 2020-07-03 | 2020-09-11 | 吉林大学 | 一种仿生智能超声检查体位变换装置 |
| CN111643116B (zh) * | 2020-07-03 | 2023-03-31 | 吉林大学 | 一种仿生智能超声检查体位变换装置 |
| WO2022073413A1 (zh) * | 2020-10-10 | 2022-04-14 | 达闼机器人有限公司 | 超声波诊断设备、超声波图像的生成方法及存储介质 |
| CN112612274A (zh) * | 2020-12-22 | 2021-04-06 | 清华大学 | 用于超声检查机器人的自主运动决策控制方法及系统 |
| WO2022136294A1 (en) * | 2020-12-22 | 2022-06-30 | Ropca Holding Aps | Robotic system for performing an ultrasound scan |
| CN112612274B (zh) * | 2020-12-22 | 2022-07-22 | 清华大学 | 用于超声检查机器人的自主运动决策控制方法及系统 |
| CN112754517A (zh) * | 2020-12-30 | 2021-05-07 | 中国科学院长春光学精密机械与物理研究所 | 一种超声检测装置、超声检测方法、超声系统 |
| CN113951932A (zh) * | 2021-11-30 | 2022-01-21 | 上海深至信息科技有限公司 | 一种超声设备的扫查方法及设备 |
| CN114848019A (zh) * | 2022-04-19 | 2022-08-05 | 山东大学 | 基于柔性协作机器人的自动心脏超声检测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110974299A (zh) | 超声扫查机器人系统、超声扫查方法及介质 | |
| CN110960262B (zh) | 超声扫查系统、方法及介质 | |
| US12070354B2 (en) | Methods and system for detecting medical imaging scan planes using probe position feedback | |
| Jiang et al. | Robotic ultrasound imaging: State-of-the-art and future perspectives | |
| CN104797199B (zh) | 用于实时胎儿心脏评估的标准平面的自动定位 | |
| US10679753B2 (en) | Methods and systems for hierarchical machine learning models for medical imaging | |
| EP2514366A1 (en) | Automatic ultrasonic scanning system and scanning method thereof | |
| CN111134727B (zh) | 基于神经网络的静脉与动脉识别的穿刺引导系统 | |
| US20210202069A1 (en) | Method and system for providing a guided workflow through a series of ultrasound image acquisitions with reference images updated based on a determined anatomical position | |
| CN111544037B (zh) | 一种基于双目视觉的超声定位方法及系统 | |
| US20210077069A1 (en) | Methods and systems for a medical imaging device | |
| CN112998749A (zh) | 一种基于视觉伺服的自动超声检查系统 | |
| CN112888370A (zh) | 基于深度学习的超声成像引导和关联的设备、系统和方法 | |
| CN112545551B (zh) | 用于医学成像设备的方法和系统 | |
| US20190076127A1 (en) | Method and system for automatically selecting ultrasound image loops from a continuously captured stress echocardiogram based on assigned image view types and image characteristic metrics | |
| JP7538705B2 (ja) | 超音波診断システム及び操作支援方法 | |
| CN110881997A (zh) | 超声波诊断装置以及体数据取入方法 | |
| CN112515705B (zh) | 用于投影轮廓启用的计算机辅助检测的方法和系统 | |
| US20230346486A1 (en) | Medical operation assistance system | |
| Hao et al. | Development and preliminary testing of a prior knowledge-based visual navigation system for cardiac ultrasound scanning | |
| Paranawithana et al. | Ultrasound-guided involuntary motion compensation of kidney stones in percutaneous nephrolithotomy surgery | |
| JP2013017870A (ja) | 超音波画像診断システム、及びその制御方法 | |
| Zhou et al. | A VS ultrasound diagnostic system with kidney image evaluation functions | |
| CN113081030B (zh) | 用于基于m模式分析进行辅助超声扫描平面识别的方法和系统 | |
| US12094061B2 (en) | System and methods for updating an anatomical 3D model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |
|
| RJ01 | Rejection of invention patent application after publication |