CN107358608B - 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 - Google Patents
基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 Download PDFInfo
- Publication number
- CN107358608B CN107358608B CN201710727149.3A CN201710727149A CN107358608B CN 107358608 B CN107358608 B CN 107358608B CN 201710727149 A CN201710727149 A CN 201710727149A CN 107358608 B CN107358608 B CN 107358608B
- Authority
- CN
- China
- Prior art keywords
- bone tissue
- measurement
- segmentation
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 130
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 238000005516 engineering process Methods 0.000 title claims abstract description 19
- 230000000877 morphologic effect Effects 0.000 title claims description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 86
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000004140 cleaning Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000005489 elastic deformation Effects 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000007639 printing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000011496 digital image analysis Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 7
- 238000003703 image analysis method Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 18
- 210000001519 tissue Anatomy 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 9
- 208000035032 Multiple sulfatase deficiency Diseases 0.000 description 7
- 201000006033 mucosulfatidosis Diseases 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 208000023178 Musculoskeletal disease Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 208000020084 Bone disease Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000028571 Occupational disease Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002436 femur neck Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000528 lesser trochanter Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于图像处理技术的骨组织几何形态学参数自动测量装置及方法，通过医用X光机拍摄骨组织X线片，通过计算机对骨骼X线成像进行预处理、骨组织分割、骨组织参数测量，最终形成骨组织参数测量结果报告进行传输和打印。用户只需要在处理前选择骨组织名称和需要测量的参数即可，分割和测量过程完全自动，不需要医生进行初始化轮廓选择或标注。装置包括X线片数据输入接口单元、图像处理单元、测量参数存储与输出单元、网络接口单元和打印机接口。本发明针对X线片骨组织的快速自动分割、测量问题，利用目前先进的GPU等硬件设备和图像分析方法进行X线片骨组织自动分割、测量，提高医生读片的自动化、智能化水平。
Description
技术领域
本发明涉及智能医学影像诊断技术领域，尤其涉及X线片自动目标分析与识别、骨组织参数测量装置与方法领域，具体涉及一种基于图像处理技术的骨组织几何形态学参数自动测量装置及方法。
背景技术
肌肉骨骼疾病(Musculoskeletal Disorders，MSDs)是一个重大的公共卫生问题，在英国该疾病影响到16％的成年人和30％65岁以上的人，英国每年关节炎的治疗总费用估计超过300亿英镑。相关评估表示美国每年因MSDs支出的费用约为130-540亿美元。我国虽然缺乏全国性的MSDs的相关人数和费用数据，MSDs也尚未列入法定职业病名单，但在不同行业中的流行病学研究已表明MSDs在我国职业人群中是一类常见疾患。许多肌肉骨骼疾病是慢性的，会引起严重的疼痛，限制日常活动、降低生活质量、降低生产力，后续治疗和医疗保健费用也很高。大部分MSDs的发生率会随着年龄的增长而升高，人口老龄化也会伴随MSDs患者的大量增加。骨骼疾病临床上最常用的方法是拍摄X线片进行诊断、术前规划和分析治疗，如骨关节炎诊断、关节置换规划、骨质疏松症诊断(裂缝检查、骨密度测量、骨龄测定)等，通常都需要根据X线片中的骨骼轮廓进行诊断。另外，在疾病进展检测、假体设计中也需要对X线片的骨组织进行精确的参数测量。目前不论是学术界还是产业界，都没有一种快速有效的方法能够很好的解决X线片骨组织的自动分割和参数测量问题，只能靠医生手工标注、测量，费时费力且测量数据不稳定。因此，在科研、诊疗、假体定制等工作中需要相关的图像数据分析工具来辅助医生更加高效、准确的完成骨组织的参数测量。进行骨组织几何形态学参数自动测量需要先进行骨组织分割，然后进行测量。分割方面，文章<Fullyautomatic segmentation of the proximal femur using random forest regressionvoting>中对X线片骨组织进行分割，并表示该方法是分割效果最好，但是基于轮廓形状的方法受初始轮廓选定的影响巨大，需要有经验的医生进行初始形状定位，然后通过算法迭代直至收敛来得到较好的分割效果，时间开销过大，无法实现快速自动测量。
文章<U-Net:Convolutional Networks for Biomedical Image Segmentation>、<LearningDense Volumetric Segmentation from Sparse Annotation>使用一种U型深度神经网络进行医学图像分割，但并未见X线片骨组织分割的相关研究。
由于骨骼非对称、多孔、结构复杂，测量其尺寸有很大难度，目前接触式测量主要依靠医生使用游标卡尺或其他辅助测量装置进行参数测量，非接触的测量主要通过医生在X线、CT、MRI图像上手工标定测量，自动化程度不高。专利申请公布的“医用X线摄影测量尺(CN203677110U)”在X线摄像时能与被摄物贴附紧密，与被摄物同倍率放大，并直接在影像上标示被摄物尺寸的医用X线摄影测量尺，解决目前X线摄影测量不准确影响诊断和治疗的问题，主要用于X线摄影的量化测量，可建立一种图像坐标和世界坐标之间的关系。专利申请公布的“眼眶修复材料的制作方法和装置(CN201610329830.8)”提供一种眼眶修复材料的制作方法，其中包括对眼部骨骼医学图像数据进行图像处理，检测出待修复部位，提取待修复部位的组织结构数据，但方法中并未提及使用的是什么分割方法，骨骼数据如何提取。
如前所述，目前的X线片骨组织分割还未见有比较快速准确的方法，参数测量主要靠医生进行标注测量，还未实现自动化。
发明内容
本发明的目的在于，针对骨组织的快速自动分割、测量问题，以骨组织前段为对象，利用目前先进的GPU等硬件设备和图像分析方法进行X光骨骼分割、测量，最终实现能够准确、快速完成骨组织参数自动测量的软件系统。
为实现上述目的，本发明采用的技术方案如下：一种基于图像处理技术的骨组织几何形态学参数自动测量装置，其特征在于：由X线片数据输入接口、测量工作站、输出单元、供电系统组成；X线片数据输入接口用于接收医用X光机拍摄的X线片图像；测量工作站包括图像处理单元和测量参数存储单元，图像处理单元用于对X线片进行分割和测量处理，测量参数存储单元用于对测量的参数结果和分割图像进行存储；输出单元包括网络接口和打印机接口，网络接口用于将测量工作站生成的分割图像结果和测量参数上传到PACS系统，打印机接口用于连接打印机进行报告输出打印；供电系统用于为输入、输出接口和测量工作站供电。
其中，该装置能够处理X光机产生的Dicom格式图像，并输出骨组织参数测量结果，其中，所述测量工作站利用计算机实现，计算机基本配置至少为：CPU：Intel e5 2683*2@2.0GHz，内存256G DDR4，硬盘：1TB SSD，显卡：GTX1080TI*2+P6000*2，用于进行分割模型训练；所述测量工作站可以是医院原有PACS系统(即影像归档和通信系统)中的计算机，可以进行dicom文件选择、骨组织选择、分割和测量选择等操作；分割结果和测量参数会显示在计算机的显示器上；所述输出单元包括网络接口，网络接口用于和整个PACS系统相连，可以进行图像分割和测量结果进行传输，打印机接口用于和打印机相连并进行测量结果报告打印。
本发明还提供一种基于图像处理技术的骨组织几何形态学参数自动测量方法，该方法利用上述的基于图像处理技术的骨组织几何形态学参数自动测量装置，该方法包括训练和分割测量两部分，具体有以下步骤：
步骤1：训练部分：
步骤1-1：骨组织X线片数据清洗；数据清洗主要包括以下三步：第一，用图像处理的方法将原始图像分类，第二，针对不同类别的数据进行校正，第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理；
步骤1-2：样本标记：由放射科医生进行样本标记，提取骨组织区域和边缘；
步骤1-3：医学图像的小样本数据增强：首先，通过对骨组织X线片的分析确定其不变且鲁棒的特征属性，并利用这些属性指导数据增强；其次，使用基于目标轮廓形状弹性形变数据增强方法通过图像压缩、仿射变换、弹性形变进行数据增强，增加样本；
步骤1-4：X线片骨组织自动分割模型训练：利用U型网络进行分割通过下采样——上采样的策略最终得到和原图大小一致的分割结果；
步骤2：分割测量：已训练好分割模型，在分割中将dicom图像输入，即可得到骨组织的分割结果；
步骤2-1：参数确定：确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达；
步骤2-2：基于步骤2分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算；
步骤2-3：分别用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性；
步骤2-4：基于步骤2-1至步骤2-3得到以Dicom数据为输入的骨组织X线片自动测量分析系统；
步骤2-5：实现数据接口、数据存储和分析报告输出。
其中，将目前的完全依靠医生手工在PACS系统上用电子游标进行X线骨组织图像测量的方法改进为依靠计算机图像分析进行骨组织参数自动测量的方法，能够节省医生时间、提高测量效率和测量数据的稳定性。
本发明的原理在于：基于图像处理技术的骨组织几何形态学参数自动测量装置，包括医用X光机接口、电源、高性能计算机、测量工作站(含显示器)、输出接口(包括网络接口和打印机接口)，该装置能够处理X光机产生的Dicom格式图像，并输出骨组织参数测量结果，其中，
所述高性能计算机基本配置至少为：CPU：Intel e5 2683*2@2.0GHz，内存256GDDR4，硬盘：1TB SSD，显卡：GTX1080TI*2+P6000*2，用于进行基于深度神经网络的分割模型训练；
所述测量工作站可以是医院原有PACS系统(影像归档和通信系统)中的计算机，可以进行dicom文件选择、骨组织选择、分割和测量选择等操作；分割结果和测量参数会显示在计算机的显示器上；
所述输出接口主要包括网络接口和打印机接口，网络接口用于和整个PACS系统相连，可以进行图像分割和测量结果进行传输，打印机接口用于和打印机相连并进行测量结果报告打印；
本发明还提供一种基于图像处理技术的骨组织几何形态学参数自动测量方法，该方法利用上述的骨组织参数测量装置，该方法包括训练和分割测量两部分，具体有以下步骤：
步骤1：分割神经网络训练部分。
步骤1-1：骨组织X线片数据清洗。医院影像科拍摄的原始数据比较杂乱，如图3中301所示(此处提供三种示例)，原始图像数据中混杂有含假体的X线片、90度旋转后的X线片、包含其他组织的X线片、灰度范围差异较大的X线片以及高噪声X线片等。数据清洗主要包括以下三步：第一，用图像处理的方法将原始图像分类，如通过骨组织X线片中的关键点检测判断图像是否旋转，计算图像的灰度分布判断灰度范围是否正常、是否有假体，根据初步分割目标的几何形状判断是否是大范围、含有其他组织的X线片等；第二，针对不同类别的数据进行校正，如进行图像旋转、含假体图像的剪切(只保留不含假体的骨组织图像区域)、其他组织区域的剪裁等；第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。
步骤1-2：样本标记。由放射科医生进行样本标记，提取骨组织区域和边缘，样本中只含有选定骨组织的区域或边缘部分。
步骤1-3：医学图像的小样本数据增强。为了解决样本数量的问题，对医学图像的小样本数据进行增强。首先，通过对骨组织X线片的分析确定其不变且鲁棒的特征属性(如旋转不变、变形鲁棒性等)并利用这些属性指导数据增强；其次，数据增强，一方面使用传统的数据增强方法，如旋转、灰度变换、加噪等策略增加标注样本，另一方面提出基于目标轮廓形状弹性形变数据增强方法，每个人的骨组织结构大体相同，但长短、宽窄、大转子小转子的相对位置等会有差异，据此通过图像压缩、仿射变换、弹性形变等方法进行数据增强，增加样本。
步骤1-4：X线片骨组织自动分割模型训练。利用U型网络进行分割，如图3中302所示，网络的左半边为通过池化提取特征的收缩部分，右半边是基于左边的特征进行上采样以实现像素定位的扩张部分，通过下采样——上采样的策略最终得到和原图大小一致的分割结果。另外，借鉴深度对抗网络的思想，除区域样本外，还将使用预先提取的边缘样本进行分割(结果为骨骼边缘)，初期分割的边缘样本可以反馈给数据增强模块进行基于边缘形变的数据增强。
步骤2：分割测量。已训练好分割模型，在分割中将dicom图像输入，即可得到骨组织的分割结果。X线骨组织的几何形态学参数数学拟合测量主要分为三部分：参数确定、参数计算、计算结果验证。
步骤2-1：参数确定。首先确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达。
步骤2-2：基于分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算。
步骤2-3：用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性。
步骤2-4：将上述算法集成为骨组织X线片自动分割、测量、分析系统。基于上述数据预处理、自动分割和测量算法，设计以Dicom数据为输入的骨组织X线片自动测量分析系统，实现数据接口、数据存储和分析报告输出。
进一步的，将目前完全依靠医生手工在PACS系统上用电子游标进行X线骨组织图像测量的方法改进为依靠计算机图像分析进行骨组织参数自动测量的方法，能够节省医生时间、提高测量效率和测量数据的稳定性。
进一步的，后期可以进行系统升级。通过进行模型选择和训练，利用整个系统框架，可以进行其他组织或器官的分割和测量。
本发明的具体方案还在于：
基于图像处理技术的骨组织几何形态学参数自动测量装置及方法，包括包括医用X光机接口、电源、高性能计算机、测量工作站(含显示器)、输出接口(包括网络接口和打印机接口)五部分。高性能计算机用于进行前期基于深度神经网络的分割模型训练。日常使用时，医用X光机生成的骨组织图像通过X光机接口输入到测量工作站中，该工作站通常和医院的PACS系统相连。在工作站上进行X线图像的分割和测量，分割结果和测量结果可以以文本报告形式和图文结合形式进行输出，可以在PACS系统中传输，也可以通过打印机接口进行打印。
所述高性能计算机主要用于进行数据增强和分割模型训练，因为本发明的数据训练使用深度神经网络模型，要处理的模型参数和输入数据量较大，因此处CPU外还使用GPU进行并行计算，加快训练速度以尽快得到训练模型；
所述测量工作站连接医院原有PACS系统(影像归档和通信系统)，用于进行dicom文件选择、骨骼部位选择、测量参数选择、分割和测量操作选择；分割结果和测量参数会实时显示在计算机的显示器上，也可以选择在PACS系统中传输或进行打印；
所述输入接口指和X光机相连，用于将X光机产生的X线片读入到高性能计算机或测量工作站中的接口；
所述输出接口主要包括网络接口和打印机接口，网络接口将测量工作站和整个PACS系统相连，将X线片的分割和测量结果在PACS系统中传输；打印机接口用于和打印机相连并进行分割测量结果报告打印。
本发明基于上述装置的骨组织参数测量方法，系统进行以下步骤：
骨组织X线片通过输入接口输入到测量工作站中，对X线片预处理，通过剪切、灰度均衡、插值与压缩等图像处理方法对原始X线片尺寸、灰度分布、骨组织在图像中的相对位置和大小等进行归一化处理，剔除背景中无关的其他组织；
预处理后的图像输入到已训练好的U型深度神经网络进行像素分类和定位以实现分割，分割完毕的骨组织将作为测量模块的输入；
由使用者通过鼠标在工作站屏幕上确定需要测量的X线骨组织几何形态学参数，工作站的图像测量模块会根据数字图像处理方法和计算机图形学原理计算骨组织几何形态学参数；
使用者可以选择将测量参数上传到PACS系统或将测量报告打印输出。
本发明与现有技术相比的优点在于：
X线片的骨骼检查是诊断骨骼肌肉类疾病、假体设计中最常用的方法之一，在医生科研和临床工作中常需要测量X线片骨组织参数，目前国内外市场上还未见针对骨组织参数自动测量的医学影像分析软件，在医生的科研、临床诊断、假体定制中主要使用影像归档和通信系统(PACS)进行X线片的手工标注测量。这种方式时间、人力成本非常高，且测量结果不够稳定。而本发明为医生提供了一种更加快捷、易用、准确的分析测量工具，节约了医生的人力和时间，能够更好的促进医生科研和临床工作的开展；对患者而言，不用长途跋涉到外地看病，可以留在基层，节约看病成本和医疗资源；医疗机构也节省了人力成本，也可一定程度上避免因误诊造成的医疗纠纷，获得更多经营成果。
由于本发明的功能模块独立设计，利于后期设备升级改造，通过用不同的组织和器官图像进行模型训练，可以将本系统由目前的骨骼参数测量升级为其他的组织分割和参数测量系统，提高了装置的可扩展性和实用性。在信号处理部分，使用智能图像信息分析方法进行骨骼参数测量，促进医疗设备的智能化，推进智能诊断技术的发展。
附图说明
图1是基于图像处理技术的骨组织几何形态学参数自动测量装置系统结构图；
图2是设备的安装布局及连接方式示意图；
图3是基于图像处理技术的骨组织几何形态学参数自动测量方法的整体流程框图。
具体实施方式
下面结合附图对本发明作进一步的说明。
参见图1本装置的具体结构如下：
基于图像处理技术的骨组织几何形态学参数自动测量装置，由X线片数据输入接口101、测量工作站102、输出单元103、供电系统104组成；X线片数据输入接口101用于接收医用X光机拍摄的X线片图像；测量工作站102包括图像处理单元和测量参数存储单元，图像处理单元用于对X线片进行分割和测量处理，测量参数存储单元用于对测量的参数结果和分割图像进行存储；输出单元103包括网络接口和打印机接口，网络接口用于将测量工作站生成的分割图像结果和测量参数上传到PACS系统，打印机接口用于连接打印机进行报告输出打印。供电系统104用于为输入、输出接口和测量工作站供电。
图2是设备的安装(连接)方式示意图。201是医用X光机，202是电源，203为测量工作站，204是打印机，205为PACS系统。电源202给医用X光机201、测量工作站203和打印机204供电。医用X光机201拍摄的X线片通过输入接口101输入到测量工作站102，测量工作站102处理完毕的图像和测量参数报告通过网络接口传输到PACS系统或发送到打印机进行打印。
图3是利用本装置进行分割测量工作的整体算法流程图。(1)骨组织X线片数据清洗、样本标记。从医院影像科拿到的数据比较杂乱，如图3中301所示(此处提供三种示例)，原始图像数据中混杂有含假体的X线片、90度旋转后的X线片、包含其他组织的X线片、灰度范围差异较大的X线片以及高噪声X线片等。数据清洗主要有三步：第一，用图像处理的方法将原始图像分类，如通过骨组织正向X线片中的关键点检测判断图像是否旋转，计算图像的灰度分布判断灰度范围是否正常、是否有假体，根据初步分割目标的几何形状判断是否是大范围、含有其他组织的X线片等；第二，针对不同类别的数据进行校正，如进行图像旋转、含假体图像的剪切(只保留不含假体的骨组织图像区域)、其他组织区域的剪裁等；第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。由放射科医生进行样本标记，提取骨组织前段组织区域和边缘。(2)医学图像的小样本数据增强。获取大量的已标注的样本对很多医学图像处理方面的研究来说都是一个难题，为了解决样本数量的问题，对医学图像的小样本数据进行增强。首先，通过对骨组织X线片的分析确定其不变且鲁棒的特征属性(如旋转不变、变形鲁棒性等)并利用这些属性指导数据增强；其次，数据增强，一方面使用传统的数据增强方法，如旋转、灰度变换、加噪等策略增加标注样本，另一方面提出基于目标轮廓形状弹性形变数据增强方法，每个人的骨组织结构大体相同，但长短、宽窄、相对位置等会有差异，据此通过图像压缩、仿射变换、弹性形变等方法进行数据增强，增加样本。(3)X线片骨组织自动分割。利用U型网络进行分割，如图3中302所示，网络的左半边为通过池化提取特征的收缩部分，右半边是基于左边的特征进行上采样以实现像素定位的扩张部分，通过下采样——上采样的策略最终得到和原图大小一致的分割结果。另外，借鉴深度对抗网络的思想，使用预先提取的边缘样本进行分割(结果为骨组织边缘)，初期分割的边缘样本可以反馈给数据增强模块进行基于边缘形变的数据增强。(4)X线骨组织的几何形态学参数数学拟合测量。骨组织的参数测量主要分为三部分：参数确定、参数计算、计算结果验证。首先确定要测量的骨组织几何形态学参数，如图3中303示例(A为股骨偏距，B为股骨直径，C为有效股骨颈长，D为小转子顶点上方20mm处髓腔宽度)，根据医学上的规定确定参数的定义和数学表达。其次，基于(3)分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算。最后，用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性。(5)骨组织X线片自动分割、测量、分析系统。基于上述数据预处理、自动分割和测量算法，设计以Dicom数据为输入的骨组织X线片自动测量分析系统，实现数据接口、数据存储和分析报告输出，并对系统进行测试和优化。
系统中图像的具体处理过程如下：
X射线图像：图像通过输入接口进入测量工作站的处理器中，通过相应的算法进行骨组织分割，然后再根据用户的选择的参数进行测量计算，在液晶显示器中显示分割结果和相关参数，图像及参数一方面通过可以根据用户选择通过网络接口上传到PACS系统，也可以通过打印机接口进行报告打印。
实际应用举例如下：
本发明适用于需要进行X线片股组织参数测量的场所，如医疗机构、医学影像中心、医学研究中心等场所。
1.硬件安装与系统建立：按照图2所示将电源和X光机、测量工作站、打印机相连，通过输入接口连接医用X光机和测量工作站，利用打印机接口连接测量工作站和打印机，利用网络接口将测量工作站和PACS系统用网线相连。
2.装置初始化：系统启动后，对所有部件进行的初始化，检查各接口的连接状态，若出现连接故障，在测量工作站203的液晶显示器上显示故障信息；如果自检正常，监控系统开始工作。
3.装置工作过程：首先由使用者在工作站203的屏幕上选择要进行测量的X线片，图像会显示在屏幕左边区域，屏幕右边会出现需要测量参数的列表，可以进行多项选择，选择完毕之后可以选择“测量”按钮进行参数测量；工作站会调用相关处理算法进行图像的分割与测量，测量结果会显示在屏幕上，会以图像标注形式和文档报告两种形式显示；用户可以根据需要进行选择打印测量报告或将报告上传到PACS系统中。
4.骨组织参数测量算法：(1)训练阶段：数据清洗、样本标记，用图像处理的方法将原始图像分类，如通过X线片中的关键点检测判断图像是否旋转，计算图像的灰度分布判断灰度范围是否正常、是否有假体，根据初步分割目标的几何形状判断是否是大范围、含有其他组织的X线片等；针对不同类别的数据进行校正，如进行图像旋转、含假体图像的剪切(只保留不含假体的骨组织图像区域)、其他组织区域的剪裁等；人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理。由放射科医生进行样本标记，提取组织区域和边缘。为了解决样本数量的问题，对医学图像的小样本数据进行增强。首先，通过对X线片的分析确定其不变且鲁棒的特征属性(如旋转不变、变形鲁棒性等)并利用这些属性指导数据增强；其次，数据增强，一方面使用传统的数据增强方法，如旋转、灰度变换、加噪等策略增加标注样本，通过图像压缩、仿射变换、弹性形变等方法进行数据增强，增加样本。建立分割网络模型，利用U型网络进行分割，如图3中302所示，网络的左半边为通过池化提取特征的收缩部分，右半边是基于左边的特征进行上采样以实现像素定位的扩张部分，通过下采样——上采样的策略最终得到和原图大小一致的分割结果。另外，借鉴深度对抗网络的思想，将使用预先提取的边缘样本进行分割(结果为骨组织边缘)，初期分割的边缘样本可以反馈给数据增强模块进行基于边缘形变的数据增强。(2)实时处理测量阶段：测量工作站从X光机获取组织X线片。由用户确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达，基于分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算。
Claims (4)
1.基于图像处理技术的骨组织几何形态学参数自动测量装置，其特征在于：由X线片数据输入接口(101)、测量工作站(102)、输出单元(103)、供电系统(104)组成；X线片数据输入接口(101)用于接收医用X光机拍摄的X线片图像；测量工作站(102)包括图像处理单元和测量参数存储单元，图像处理单元用于对X线片进行分割和测量处理，测量参数存储单元用于对测量的参数结果和分割图像进行存储；输出单元(103)包括网络接口和打印机接口，网络接口用于将测量工作站生成的分割图像结果和测量参数上传到PACS系统，打印机接口用于连接打印机进行报告输出打印；供电系统(104)用于为输入、输出接口和测量工作站供电；
该基于图像处理技术的骨组织几何形态学参数自动测量装置工作方式包括训练和分割测量两部分：
步骤1：训练部分：
步骤1-1：骨组织X线片数据清洗；数据清洗主要包括以下三步：第一，用图像处理的方法将原始图像分类，第二，针对不同类别的数据进行校正，第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理；
步骤1-2：样本标记：由放射科医生进行样本标记，提取骨组织区域和边缘；
步骤1-3：医学图像的小样本数据增强：首先，通过对骨组织X线片的分析确定其不变且鲁棒的特征属性，并利用这些属性指导数据增强；其次，使用基于目标轮廓形状弹性形变数据增强方法通过图像压缩、仿射变换、弹性形变进行数据增强，增加样本；
步骤1-4：X线片骨组织自动分割模型训练：利用U型网络进行分割通过下采样——上采样的策略最终得到和原图大小一致的分割结果；
步骤2：分割测量：已训练好分割模型，在分割中将dicom图像输入，即可得到骨组织的分割结果；
步骤2-1：参数确定：确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达；
步骤2-2：基于步骤2分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算；
步骤2-3：分别用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性；
步骤2-4：基于步骤2-1至步骤2-3得到以Dicom数据为输入的骨组织X线片自动测量分析系统；
步骤2-5：实现数据接口、数据存储和分析报告输出。
2.根据权利要求1所述的基于图像处理技术的骨组织几何形态学参数自动测量装置，其特征在于：该装置能够处理X光机产生的Dicom格式图像，并输出骨组织参数测量结果，其中，所述测量工作站(102)利用计算机实现，计算机基本配置至少为：CPU：Intele52683*2@2.0GHz，内存256GDDR4，硬盘：1TBSSD，显卡：GTX1080TI*2+P6000*2，用于进行分割模型训练；所述测量工作站是医院原有PACS系统中的计算机，可以进行dicom文件选择、骨组织选择、分割和测量选择操作；分割结果和测量参数会显示在计算机的显示器上；所述输出单元(103)包括网络接口，网络接口用于和整个PACS系统相连，可以进行图像分割和测量结果进行传输，打印机接口用于和打印机相连并进行测量结果报告打印。
3.一种基于图像处理技术的骨组织几何形态学参数自动测量方法，该方法利用权利要求1所述的基于图像处理技术的骨组织几何形态学参数自动测量装置，其特征在于：该方法包括训练和分割测量两部分，具体有以下步骤：
步骤1：训练部分：
步骤1-1：骨组织X线片数据清洗；数据清洗主要包括以下三步：第一，用图像处理的方法将原始图像分类，第二，针对不同类别的数据进行校正，第三，人工判断清洗之后的样本是否满足需求，如果不满足则进行清洗算法改进或对个别不满足要求的原始图像进行人工处理；
步骤1-2：样本标记：由放射科医生进行样本标记，提取骨组织区域和边缘；
步骤1-3：医学图像的小样本数据增强：首先，通过对骨组织X线片的分析确定其不变且鲁棒的特征属性，并利用这些属性指导数据增强；其次，使用基于目标轮廓形状弹性形变数据增强方法通过图像压缩、仿射变换、弹性形变进行数据增强，增加样本；
步骤1-4：X线片骨组织自动分割模型训练：利用U型网络进行分割通过下采样——上采样的策略最终得到和原图大小一致的分割结果；
步骤2：分割测量：已训练好分割模型，在分割中将dicom图像输入，即可得到骨组织的分割结果；
步骤2-1：参数确定：确定要测量的骨组织几何形态学参数，根据医学上的规定确定参数的定义和数学表达；
步骤2-2：基于步骤2分割出的骨组织区域用计算机图形学的方法进行各个参数的拟合与计算；
步骤2-3：分别用计算机方法和人工方法对一定数量的骨组织参数进行测量，并对结果进行比对分析，验证结果的准确性；
步骤2-4：基于步骤2-1至步骤2-3得到以Dicom数据为输入的骨组织X线片自动测量分析系统；
步骤2-5：实现数据接口、数据存储和分析报告输出。
4.根据权利要求3所述的一种基于图像处理技术的骨组织几何形态学参数自动测量方法，其特征在于：将目前的完全依靠医生手工在PACS系统上用电子游标进行X线骨组织图像测量的方法改进为依靠计算机图像分析进行骨组织参数自动测量的方法，能够节省医生时间、提高测量效率和测量数据的稳定性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710727149.3A CN107358608B (zh) | 2017-08-23 | 2017-08-23 | 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710727149.3A CN107358608B (zh) | 2017-08-23 | 2017-08-23 | 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107358608A CN107358608A (zh) | 2017-11-17 |
| CN107358608B true CN107358608B (zh) | 2023-07-21 |
Family
ID=60288794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710727149.3A Active CN107358608B (zh) | 2017-08-23 | 2017-08-23 | 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107358608B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764241A (zh) * | 2018-04-20 | 2018-11-06 | 平安科技（深圳）有限公司 | 分割股骨近端的方法、装置、计算机设备和存储介质 |
| CN108765417B (zh) * | 2018-06-15 | 2021-11-05 | 西安邮电大学 | 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法 |
| CN109377497A (zh) * | 2018-08-17 | 2019-02-22 | 西安电子科技大学 | 一种低场强胃部mri图像的分割装置及方法 |
| CN109671068B (zh) * | 2018-12-14 | 2022-09-13 | 复旦大学附属中山医院 | 一种基于深度学习的腹部肌肉标注方法及装置 |
| CN111493903B (zh) * | 2019-01-30 | 2024-02-13 | 上海西门子医疗器械有限公司 | 器官程序自动选择方法、存储介质和x-射线医疗设备 |
| CN110634133A (zh) * | 2019-09-04 | 2019-12-31 | 杭州健培科技有限公司 | 一种基于x线平片的膝关节骨科测量方法及装置 |
| CN111105549A (zh) * | 2019-12-19 | 2020-05-05 | 紫光云(南京)数字技术有限公司 | 光学字符识别方法、装置及计算机存储介质 |
| CN111652888B (zh) * | 2020-05-25 | 2021-04-02 | 北京长木谷医疗科技有限公司 | 基于深度学习的确定髓腔解剖轴线的方法及装置 |
| CN111652301B (zh) * | 2020-05-27 | 2021-03-02 | 北京长木谷医疗科技有限公司 | 基于深度学习的股骨小转子识别方法、装置及电子设备 |
| CN116052831B (zh) * | 2023-03-30 | 2023-08-18 | 山东颐养健康集团淄博医院 | 骨科脊柱用数据信息处理方法及其装置 |
| CN116521041A (zh) * | 2023-05-10 | 2023-08-01 | 北京天工科仪空间技术有限公司 | 基于前端页面的遥感数据标注方法、计算机设备和介质 |
| CN117952962B (zh) * | 2024-03-25 | 2024-07-30 | 南京科进实业有限公司 | 一种骨密度检测图像处理方法及系统 |
| CN118274977B (zh) * | 2024-05-31 | 2024-08-02 | 成都格理特电子技术有限公司 | 一种基于视频分析异常温度检测预警方法及系统、介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1540575A (zh) * | 2003-04-25 | 2004-10-27 | 上海第二医科大学附属第九人民医院 | 一种影象叠加分层截骨方法 |
| CN1819794A (zh) * | 2003-06-19 | 2006-08-16 | 计算医学公司 | 利用dicom格式的骨骼x－射线图像分析骨骼状况的方法及系统 |
| CN105303604A (zh) * | 2015-10-19 | 2016-02-03 | 中国科学院软件研究所 | 一种用于人体单侧肢体骨骼骨性损伤测量的方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3443033A (en) * | 1963-10-31 | 1969-05-06 | Bell Telephone Labor Inc | Ringing arrangement for time division telephone systems |
| US8538117B2 (en) * | 2009-04-07 | 2013-09-17 | Virginia Commonwealth University | Accurate pelvic fracture detection for X-ray and CT images |
| US9480439B2 (en) * | 2012-11-01 | 2016-11-01 | Virginia Commonwealth University | Segmentation and fracture detection in CT images |
-
2017
- 2017-08-23 CN CN201710727149.3A patent/CN107358608B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1540575A (zh) * | 2003-04-25 | 2004-10-27 | 上海第二医科大学附属第九人民医院 | 一种影象叠加分层截骨方法 |
| CN1819794A (zh) * | 2003-06-19 | 2006-08-16 | 计算医学公司 | 利用dicom格式的骨骼x－射线图像分析骨骼状况的方法及系统 |
| CN105303604A (zh) * | 2015-10-19 | 2016-02-03 | 中国科学院软件研究所 | 一种用于人体单侧肢体骨骼骨性损伤测量的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 复发性髌骨脱位手术治疗进展;滕跃;赵金忠;;国际骨科学杂志(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107358608A (zh) | 2017-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358608B (zh) | 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法 | |
| CN107767376B (zh) | 基于深度学习的x线片骨龄预测方法及系统 | |
| CN107622492B (zh) | 肺裂分割方法及系统 | |
| Paniagua et al. | Clinical application of SPHARM-PDM to quantify temporomandibular joint osteoarthritis | |
| EP4307223A2 (en) | Detecting tooth wear using intra-oral 3d scans | |
| AU2016212031A1 (en) | Estimating and predicting tooth wear using intra-oral 3D scans | |
| CN111862044A (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN108491770B (zh) | 一种基于骨折影像的数据处理方法 | |
| CN113222951B (zh) | 一种识别髋关节x线的骨质疏松人工智能诊断装置 | |
| Lu et al. | The JNU-IFM dataset for segmenting pubic symphysis-fetal head | |
| CN111640093A (zh) | 医学图像的质控方法和计算机可读存储介质 | |
| Lindner et al. | Development of a fully automatic shape model matching (FASMM) system to derive statistical shape models from radiographs: application to the accurate capture and global representation of proximal femur shape | |
| Ridel et al. | Automatic landmarking as a convenient prerequisite for geometric morphometrics. Validation on cone beam computed tomography (CBCT)-based shape analysis of the nasal complex | |
| Zhou et al. | Artificial intelligence X-ray measurement technology of anatomical parameters related to lumbosacral stability | |
| CN108062749A (zh) | 肛提肌裂孔的识别方法、装置和电子设备 | |
| Peloschek et al. | An automatic model-based system for joint space measurements on hand radiographs: initial experience | |
| CN104933759B (zh) | 一种人脑组织高维可视化方法 | |
| CN111652300A (zh) | 脊柱曲度分类方法、计算机设备和存储介质 | |
| Williams et al. | Automatic extraction of hiatal dimensions in 3-D transperineal pelvic ultrasound recordings | |
| CN111325734B (zh) | 一种基于视觉模型的骨龄预测方法及装置 | |
| Vera et al. | Artificial intelligence techniques for automatic detection of peri-implant marginal bone remodeling in intraoral radiographs | |
| Zeng et al. | TUSPM-NET: A multi-task model for thyroid ultrasound standard plane recognition and detection of key anatomical structures of the thyroid | |
| Ukil et al. | Smoothing lung segmentation surfaces in three-dimensional x-ray ct images using anatomic guidance1 | |
| Memiş et al. | A novel approach for computerized quantitative image analysis of proximal femur bone shape deformities based on the hip joint symmetry | |
| Valsecchi et al. | A robust and efficient method for skull-face overlay in computerized craniofacial superimposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |