CN101716077B - 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 - Google Patents
基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 Download PDFInfo
- Publication number
- CN101716077B CN101716077B CN200910186622A CN200910186622A CN101716077B CN 101716077 B CN101716077 B CN 101716077B CN 200910186622 A CN200910186622 A CN 200910186622A CN 200910186622 A CN200910186622 A CN 200910186622A CN 101716077 B CN101716077 B CN 101716077B
- Authority
- CN
- China
- Prior art keywords
- image
- wireless
- image processing
- images
- wireless capsule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001839 endoscopy Methods 0.000 title abstract description 13
- 238000001727 in vivo Methods 0.000 title abstract description 4
- 230000000968 intestinal effect Effects 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 32
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000011503 in vivo imaging Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 210000000813 small intestine Anatomy 0.000 description 11
- 208000032843 Hemorrhage Diseases 0.000 description 8
- 230000000740 bleeding effect Effects 0.000 description 8
- 210000000936 intestine Anatomy 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000001072 colon Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 208000011231 Crohn disease Diseases 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 201000003741 Gastrointestinal carcinoma Diseases 0.000 description 2
- 208000012671 Gastrointestinal haemorrhages Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000030304 gastrointestinal bleeding Diseases 0.000 description 2
- 201000002313 intestinal cancer Diseases 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 239000000560 biocompatible material Substances 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 102000038379 digestive enzymes Human genes 0.000 description 1
- 108091007734 digestive enzymes Proteins 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011846 endoscopic investigation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004347 intestinal mucosa Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 150000003722 vitamin derivatives Chemical class 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统,所述方法包括以下步骤:(1)通过无线胶囊内视镜或视频内窥镜的图像传感器逆投影到肠壁连续捕获肠道内壁的二维逆图像,连续序列的二维逆图像由无线胶囊内视镜或视频内窥镜的无线发送装置发送给图像处理装置储存;(2)所述图像处理装置对步骤(1)得到的二维逆图像连续序列的重合部分进行识别;(3)所述图像处理装置对连续序列的逆图像重合部分进行剪裁拼接形成表示整体肠道内壁的三维图像。该方法可以减少医护人员研究摄影图像的时间,大大提高了诊断效率。
Description
技术领域
本发明属于临床观察与诊断小肠黏膜疾病的辅助设备技术领域,涉及一种对临床肠道内视镜捕获的图像进行处理的方法,以方便医护人员进行诊断和减少诊断时间和成本。
背景技术
平均成人消化肠道是约10米长。上消化肠道包括食道管胃肠和十二指肠,平均长度为1米。末端为结肠和直肠,大约2米。两者之间是小肠,小肠的特点就是很长(平均7米)而且弯曲皱褶比较多。消化道疾病的诊治一般采用胃视镜检查,现有技术中的胃视镜是一种长且有弹性的薄壁软管并且在其末端设置摄像头;将其末端吞入口腔进行检查。而结肠和直肠则常用结肠内视镜检查,经常由消化道末端进入检查。
现在内视镜技术常被用来检测疾病如Crohn病,胃溃疡和结肠癌。然而,由于消化道大部分处于检测仪器的检测范围之外,如超出了先前两项技术的检测范围;而采用特殊成像技术像CT扫描或MRI进行检测小肠等消化道却无法进行。现有技术中也存在增加内视镜的长度等措施来解决这个问题,然而由于内视镜的长度增加使操作复杂度和难度增加,而且患者的依从性也比较差。
随着技术的发展,无线胶囊内视镜(WCE)技术可以达到观察与诊断小肠黏膜的目的,解决了现有技术中常规内视镜的缺陷。WCE最大的优点就是无线,可以在没有其它人体器官阻碍下有效的观察十二指肠和小肠,也同时消除了传统有线内视镜给患者带来的不适。该技术在内视镜上设有传感器装置,包含一个彩色摄像机和无线射频发射器,而且目前使用的WCE在大多数模型设有4个LED灯和足够的电池,其电量可以在消化道中维持8个小时,可以采集近50000张彩色图像。该技术是一种非侵略性技术,胶囊的尺寸大小约为最大的维生素药丸,胶囊是由特殊生物相容性材料密封能抵抗胃酸和强大的消化酶。一旦WCE由病人吞咽将会被消化道慢慢的推进。无线胶囊内视镜最适合用来观察与诊断含糊的消化道出血。
中国专利ZL200620003888.5于2007年9月12日也公开了一种医用无线胶囊微型照相系统,该系统包括无线照相胶囊和图像记录仪及影像工作站,所述无线照相胶囊包括胶囊壳体、与壳体连接的光学前盖、LED照明阵列、光学镜头、电源开关模块、照相模块、微处理器、射频收发模块及收发天线,所述图像记录仪包括收发天线阵、无线收发模块、图像记录仪微处理器、电源及内存卡,所述无线收发模块通过总线的方式与图像记录仪微处理器连接,所述图像记录仪微处理器通过串行接口RS232或USB接口连接影像工作站,所述计算机影像工作站是一台安装了所需程序的基于Windows操作系统的计算机平台。
早期研究系统表示,WCE是一种对诊断Crohn病非常有效的工具;此外,预计WCE将提高小肠癌患者的生存率,目前现在小肠癌的检测技术并不完善所以它往往很晚才被诊断出来。此外,早期的研究表示,无线胶囊内视镜可以检测到许多传统内视镜所不能检测到疾病。最受欢迎WCE的开发和制造商有Olympus,Intromedic and Given Imaging。一般来说这些胶囊每秒摄取两个图像然后传送到录制设备。所录制的图像,将会被下载到电脑然后由医生来分析。检测期间,胶囊平均摄取五万五千张图像,其中包括大约100张来自消化道入口,4000张来自胃,30000张来自小肠和20000张来自大肠。这些图像质量能够达到传统内视镜的标准。WCE检测程序已经美国食品和药物管理局在2001年批准用于检测胃肠道疾病。
无线胶囊内视镜最适合用来观察与诊断含糊的消化道出血。早期研究系统表示,这是一个对患Crohn病非常有效的诊断工具;此外,预计WCE将提高小肠癌患者的生存率,因为现在小肠癌的检测技术并不完善所以它往往很晚才被诊断出来。这些图像必须由专门医生检测或分析,并且将相关的图像加以注释,然后整理出一份最后相关的报告。由于拥有大量的图像,所以在检测或分析的过程中需要大量时间和金钱而产生显着的成本问题。此外,较长的诊断时间意味着它将耽搁这项诊断服务的好处和限制的病人数目。因此所有研究学者都渴望降低这项技术的时间和成本,让更多患者能够享用和负担得起这项发明。
正如之前所说的WCE平均生产五万多张图像,这些图像必须由专门医生检测或分析,并且将相关的图像加以注释,然后整理出一份最后相关的报告。由于拥有大量的图像,所以在检测或分析的过程中需要大量时间和金钱而产生显着的成本问题。此外,较长的诊断时间意味着它将延误这项诊断服务的好处和限制的病人数目。因此必须降低这项技术的时间和成本,让更多患者能够负担得起这项发明成果。
如上所述WCE诊断最大的限制是需要很有经验的负责人员用视觉来检测所获得的图像,从中判定任何小异常。医生一般需要花45至180分钟来分析无线胶囊内视镜所取得的具体数据。此外由于相对较低的图像分辨率,和有限照明条件下,WCE所摄取的图像有可能会错过一些较隐密部位的疾病。因此很显然胶囊内视镜有一个非常重要的挑战那就是研究如何减少医生在分析上所需的时间。
这些目标可以用以下两种截然不同的做法来实现:
第一个方法就是提高自动检测出隐蔽出血和将病状清楚的标明在图像上。如果这样的技术已经存在,专科医生只需关注在标明的图像上。这将极大减少分析上所需的时间。其实胶囊制造商也提供了一些自动图像分析功能的软件。但是这些分析功能软件的表现却不能令人满意。特别是它们的高错误率,从而限制其实际的使用性。
第二个方法就是要在摄取图像上展现更好视觉效果,这将使有经验的人员更快的检测所收集到的图像。后期图像处理技术将可以弥补WCE硬件的诸多局限,并且可以详细阐述所摄取的图像。值得强调的是以上技术也将会充份利用这些重叠图像部分的信息来增强和扩充最终的图像分辨率,这将极大提高WCE图像中的分辨率。
最近已经出现一些关于WCE自动检测图像处理的文章,并提出自动判别消化器官技术,如食道,胃,小肠和结肠。在文章,识别正常和异常组织的系统,已被描述,而在作者尝试用MPEG-7的有利功能检测各种活动,如出血,溃疡和息肉。自动检测出血地区的问题已得到解决在,文章中作者提出利用最高值的集群和Bayesian信息。
在Phooi Yee等撰写的Detection of bleeding patterns in wce videousing multiple features文献中,建议两个图像处理步骤;第一步骤是鉴别出血图像,使用基于块状饱和度色彩的方法;第二个步骤是细致的初步分类,并使用基于像素亮度饱和度分析。在文章里利用众所周知的Reed-Xiaoli(RX)探测器,这是用来鉴别两个不同的数据集,然后加入到WCE异常检测的框架。在基础技术的概念上“提高自动检测隐蔽出血和病状”是相当具有挑战性。事实上,复杂的实况、有差异的人体组织结构和照明条件,使得如出血检测等情况几乎不可能监测完成。
这些情况说明,这些技术展现相对较高失误率,从而降低其减少图像分析诊断有效性。此外,更重要的这些技术通常是针对非常具体的目标,因此,不能用于各类疾病的检测,举个例子来说:自动检测出血地区的技术,却不能用来检测其它病状。本发明由此而来。
发明内容
本发明目的在于提供一种基于无线胶囊内视镜体内摄像的图像处理方法,解决了现有技术中无线胶囊内视镜摄像图像信息繁杂影响了医护人员诊断甄别疾病的速度,使诊断结果不能及时应用于临床的弊病。
为了解决现有技术中的这些问题,本发明提供的技术方案是:
一种基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法,其特征在于所述方法包括以下步骤:
(1)通过无线胶囊内视镜或视频内窥镜的图像传感器逆投影到肠壁连续捕获肠道内壁的二维逆图像,连续序列的二维逆图像由无线胶囊内视镜或视频内窥镜的无线发送装置发送给图像处理装置储存;
(2)所述图像处理装置对步骤(1)得到的二维逆图像连续序列的重合部分进行识别;
(3)所述图像处理装置对连续序列的逆图像重合部分进行剪裁拼接形成表示整体肠道内壁的三维图像。
优选的,所述无线胶囊内视镜或视频内窥镜的图像传感器前端设置对焦镜片,所述对焦镜片的外侧设置发光二极体,所述图像传感器后端发设置供应整个无线胶囊内视镜或视频内窥镜的电池;所述无线发送装置与外置的图像处理装置的无线接收装置沟通。
优选的,所述图像传感器选自CMOS传感器或CCD传感器。
优选的,所述步骤(1)还包括捕获二维逆图像后,在图像处理过程中进行调整无线胶囊内视镜或视频内窥镜的焦距,传感器直径,视野参数到适宜值的步骤。
优选的,所述步骤(2)中识别步骤包括通过基于像素域的块匹配方法进行移动估计连续序列逆图像的区域块间的相关性,通过相关性识别二维逆图像重合部分。
优选的,所述识别步骤还包括在识别前对二维逆图像使用二维插值技术填补无线胶囊内视镜或视频内窥镜所捕获的二维逆图像像素间距离使逆图像具有均匀的网格以备识别。
优选的,所述块匹配方法包括以下步骤:
A、选取连续二维图像的相同维数的两像素区域块,计算两像素区域块间的欧氏距离;
B、在图像处理过程中调整无线胶囊内视镜或视频内窥镜的旋转角度和沿肠道运动的运动向量,继续选取连续二维逆图像的相同维数的两像素区域块继续循环计算两像素区域块间的欧氏距离得到两像素区域块的最小欧氏距离,即获得连续二维图像中匹配的同一像素区域块。
优选的,所述步骤(3)中图像处理装置识别重合部分时进行判断无线胶囊是否发生旋转或偏移,如发生旋转或偏移,则二维逆图像剪切拼接时进行旋转偏移校正。
本发明的另一目的在于提供一种基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理系统,所述无线胶囊内视镜包括图像传感器和无线发送装置,所述图像传感器前后端分别设置对焦镜片和电池,所述对焦镜片的外侧设置发光二极体,所述发光二极体、对焦镜片、图像传感器、无线发送装置和电池均设置在无线胶囊内,所述无线发送装置与电池连接,且与外置的图像处理装置的无线接收装置沟通,其特征在于所述图像处理装置包括图像接收储存模块、识别图像接收储存模块中图像重合部分的识别模块,对重合部分进行剪裁拼接的整合模块。
优选的,所述的识别模块为移动估计识别模块。
在本发明技术方案中,重建小肠内壁的图像是无线胶囊内的图像传感器如摄像机沿着肠道腔道轴线所拍摄到的。移动摄像机所摄取的图像即为传感器(例如电荷耦合器件--CCD)所摄取到的小肠内壁表面二维图像。图1中显示了WCE图像的采集过程。显然,整个过程当中将产生大量的重叠连续图像,这是因为相同部分的内壁将会出现在许多连续二维图像里。而且实际上,肠道内壁部分所出现的图像例如在图像a,它会出现在下一个图像b和在更下一个图像里,直到这些部分超出摄像机的视野。这意味着,许多图像在同一地区会出现不同程度的分辨率。这种采集到的重叠图像并没有太大的意义,专门的医生将只是读取不同分辨率的相同信息但却没有任何好处。图1显示了胶囊在不同内部肠道位置所摄取的图案视线,并且也显示了两个连续图像所存在重叠区域。
本发明开发了一种优越的肠道内壁二维逆图像重新重叠技术,通过这样可以制作出一个与真实长度和大小类似或相同的三维小肠内部图像。本发明将大大减少医护人员进行分析所需要的信息数量。为了实现这个目的,本发明人经长期研究,将CCD像素逆投影到肠道内壁,这其中需要考虑WCE参数,包括焦距,传感器直径,视野等,可以事先进行调整,并在图像识别拼合时考虑校正。采集获得连续的多个二维逆图像并且储存在外置的图像处理装置中,连续图像的每一阶段都反映了小肠内壁的视野内切片部分。方法的下一步是确认连续的连序图像之间的重叠,并且将这些切片部分连接成一个完整的图像。为了达到这目标,本发明人利用移动估计技术来确定重叠的部分(通过重叠数量来表示)。另外需要考虑的是,由于胶囊在肠里的移动旋转,移动估计技术需要进一步修改来配合胶囊在肠里旋转所带来的影响。
当两张连序图像的重叠部份被识别出来,就需要对重合部分进行剪裁,以减少非有用的信息;并进行重要部分的连接。最后将剪裁部分合并成一个单一的完整图像,该图像完全可以反应真实的小肠内壁。本发明将提高传递给医护人员的图像质量和方式,将使WCE检测技术更有经济效应与发展性,并且能够帮助医生更有效的诊断。
本发明通过引用市场现有的无线胶囊内视镜和视频内视镜所产生的图像,完成无线胶囊内视镜(WCE)二维图像到三维图像的重映射。这种图像重映射技术将大量减少所产生图像的数量让医生能更快进行检测分析。因此这将弥补在WCE技术程序上的一大缺陷。值得强调的是这项技术可以满足各种不同医疗项目的需求并且可以轻易沿着预定路线提取拍摄一系列所需要的信息。
此外,本发明也将极大提高无线胶囊内视镜图像的分辨率。事实上以上技术会拍摄到很多重叠的信息,所以此项发明技术将充分利用这些重叠图像部分的信息来增强和扩充最终的图像分辨率。因此这将大量提高WCE图像中的分辨率。值得关注的是这些图像分辨率的增加不是因为使用更了高分辨率的视频传感器(这需要更大的电池和更复杂的器件),而是通过后期图像处理已经捕捉得到的二维逆图像。这将有助于改善WCE的性能,同时也解决了WCE硬件所拥有的限制。本发明强调后期图像处理技术,目的是减少WCE所拍摄到的重叠的信息从而删除重叠数据,将减少分析图像所需要的时间和极大的费用。
另外值得注意的,本发明中的移动估计技术可以是其它类似于移动估计的技术,只要其可以用来实现剪切重合部分并进行对齐整合的目的。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明实施例基于无线胶囊内视镜体内摄像的图像处理方法的原理图;其中a)胶囊第一位置的现场视觉图像;b)胶囊前进的胶囊第二位置的现场视觉图像c)图像a和b图像处理后形成的同时涉及重叠区域的图像;
图2为本发明实施例二维图像形成三维图像的过程示意图;其中2a、2b、2c为胶囊捕获的连续三张现场视觉图像,2d是经移动估计和图像处理后得到的拼接三维图像;
图3为本发明实施例二维逆图像重映射过程示意图;其中3a)为无线胶囊内视镜在肠内摄像时轴向剖视示意图;3b)为无线胶囊内视镜在肠内摄像时径向剖视示意图;
图4为本发明实施例移动估计块匹配方法的原理示意图;其中4a)为逆图像f;4b)为逆图像f+1,4c)为计算逆图像f、f+1相同维数的像素块欧氏距离;4d)逆图像f、f+1图像处理后拼接的逆图像;
图5为本发明实施例中图像处理方法的流程示意图。
具体实施方式
以下结合具体实施例对上述方案做进一步说明。应理解,这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整,未注明的实施条件通常为常规实验中的条件。
实施例基于无线胶囊内视镜体内摄像的图像处理实例
本实施例中,采用的无线胶囊内视镜为Given公司PillCam产品;所述无线胶囊内视镜包括图像传感器CCD和无线发送装置,所述图像传感器前后端分别设置对焦镜片和电池,所述对焦镜片的外侧设置发光二极体,所述发光二极体、对焦镜片(LENS)、图像传感器、无线发送装置和电池均设置在无线胶囊内,所述无线发送装置与电池连接,且与外置的图像处理装置的无线接收装置沟通。其性能为小肠胶囊为2帧/秒,食道胶囊为18帧/秒,大肠胶囊为4帧/秒。小肠检查全部拍摄照片约55000张左右,结肠胶囊的图片有11万张以上。
本实施例基于无线胶囊内视镜体内摄像的图像处理过程如图1和图5:
(1)通过无线胶囊内视镜的图像传感器逆投影到肠壁连续捕获肠道内壁的二维逆图像,连续序列的二维逆图像由无线胶囊内视镜的无线发送装置发送给图像处理装置储存;
在捕获二维逆图像后,在图像处理过程中可以进行调整无线胶囊内视镜的焦距,传感器直径,视野参数到适宜值的步骤。对无线胶囊内视镜的CCD图像传感器上图像的红、绿、蓝(RGB)三分量分别进行相应的逆投影,就可以得到彩色的逆图像。图5中图像传感器将二维图像传输给设置在体外的图像处理装置(图5中的框架n),图像数据比较大,其中可以进行必要的缓冲;图像处理装置可以对图像传感器进行必要的调节,如焦距,传感器直径和视野变化等等,并进行二维图像到三维图像的制图形成;这过程中需要对连续图像间的非重叠部分进行检测,检测到重叠部分(重合部分)后可以对图片处理缓冲,合并等。
如图2~4所示为2D图像和3D图像的重映射过程,这种重映射消除了重叠信息,进而减少专科医生所需要分析的信息量。图3中重映射将序列中每幅图像的CCD像素逆投影到柱面的内壁,所生成的图像序列就表示了肠道内壁的部分切片图。
图中,逆投影过程中所需的参数含义如下:
p CCD上的像素
pp 像素p在肠道内壁的投影
ρ CCD像素p与其投影的距离(pp)
f 镜头与CCD的距离
D 肠道的平均直径
r 像素与CCD中心的距离
θ 像素p与y轴的夹角
假设无线胶囊内视镜WCE的主轴与z轴同向,那么就可以通过下面简单的几何特性来确定像素p(x,y)在肠道内壁的逆投影pp(ρ,φ):
这里 显然φ=θ+180°,而
(2)所述图像处理装置对步骤(1)得到的逆图像连续序列的重合部分进行识别;识别步骤包括通过基于像素域的块匹配方法进行移动估计连续序列逆图像的区域块间的相关性,通过相关性识别二维逆图像重合部分。
值得注意的是,尽管CCD像素等距离分布,然而逆投影后的图像的像素并不是等距离分布的。所以识别步骤还包括在识别前对二维逆图像使用二维插值技术填补无线胶囊内视镜或视频内窥镜所捕获的二维逆图像像素间距离使逆图像具有均匀的网格以备识别。由于二维逆图像的像素非均匀性分布由非线性几何变换引起,可以通过下式:
从上式可见,如果dx或dy是常量,那么ρ就是可变的,它由x和y所决定。为了使得随后的图像处理工具能够继续使用,需要使逆图像具有均匀的网格,这可以通过二维的插值技术来填补逆图像像素间的距离。
像素域的块匹配方法包括以下步骤:
A、选取连续二维图像的相同维数的两像素区域块,计算两像素区域块间的欧氏距离;
B、在图像处理过程中调整无线胶囊内视镜或视频内窥镜的旋转角度和沿肠道运动的运动向量,继续选取连续二维逆图像的相同维数的两像素区域块继续循环计算两像素区域块间的欧氏距离。这样就能找到连续二维图像间两像素块的最短距离,从而了解该像素块的旋转和线性运动向量,从而可以进行剪切拼接。
产生二维逆图像之后,可以利用它们之间的相关性进行移动估计。移动估计将识别不同图像中的相似物体,进而达到由原始图像构造出运动图像。由于移动估计以其在视频压缩领域的关键地位而成为一项广泛研究的课题,本实施例中不再详述。由于视频中的运动估计多是线性运动和平移,而WCE中,相邻图像之间的位置变换主要是由肠道内胶囊的旋转和前向运动造成的,所以这一技术不能直接的应用到WCE。
如图4所示,肠道内胶囊的旋转和前向运动可以通过参数θ和z表示。本实施例的移动估计需要考虑和补偿旋转和线性运动,需要考虑估计造成WCE图像所有运动的全局运动矢量,而不是视频压缩中图像间的部分运动区域。本实施例的移动估计由基于像素域的块匹配算法完成。
如图4,首先,取f+1图像和f图像的一段(即代表了肠道内壁的一圈)。然后,在f、f+1图像中取相同维数的一块像素区域块。计算两块区域的欧氏距离(即图4中的w),存储该距离。通过,调整或了解肠道内胶囊的旋转角度θ和/或前向运动的距离z,可取得图像f的不同像素区域块,计算图像f的不同像素区域块与图像f+1的像素区域块欧氏距离,并存储相应的距离。对图像f中的所有块重复上述过程,即θ=[0,...,180]和z=[0,...,imagelength],然后找出欧氏距离最小的块对应的旋转角度和前向运动向量参数。该参数即为考虑到了旋转和线性运动的WCE的运动向量。值得指出的是,所得到的运动向量表示了连续图像间的重叠区域,在下文中使用(zm,θm)表示。
(3)所述图像处理装置对连续序列的二维逆图像重合部分进行剪裁拼接形成表示整体肠道内壁的三维图像。图像处理装置识别重合部分时进行判断无线胶囊是否发生旋转或偏移,如发生旋转或偏移,则二维逆图像剪切拼接时进行旋转偏移校正。
同前所述,图像f中由zm开始的区域在f+1图像也有体现,然而,由于在WCE上的相近,该区域应该更好的体现在f+1图像中。因此,合成图像将包括图像f中0≤z≤zm的区域,其它的区域将由补偿了旋转θm的图像f+1构成。其中如果图像f、f+1中存在不清楚的像素块,也可以通过其他的图像中相同的像素块进行填补置换,所以本发明的方法得到的三维图像更为清晰可辨。
上述实例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于无线胶囊内视镜体内摄像的图像处理方法,其特征在于所述方法包括以下步骤:
(1)通过无线胶囊内视镜的图像传感器逆投影到肠壁连续捕获肠道内壁的二维逆图像,连续序列的二维逆图像由无线胶囊内视镜的无线发送装置发送给图像处理装置储存;
(2)所述图像处理装置对步骤(1)得到的二维逆图像连续序列的重合部分进行识别;
(3)所述图像处理装置对连续序列的逆图像重合部分进行剪裁拼接形成表示整体肠道内壁的三维图像。
2.根据权利要求1所述的方法,其特征在于所述无线胶囊内视镜的图像传感器前端设置对焦镜片,所述对焦镜片的外侧设置发光二极体,所述图像传感器后端设置供应整个无线胶囊内视镜的电池;所述无线发送装置与外置的图像处理装置的无线接收装置沟通。
3.根据权利要求1所述的方法,其特征在于所述图像传感器选自CMOS传感器或CCD传感器。
4.根据权利要求1所述的方法,其特征在于所述步骤(1)还包括捕获二维逆图像后,在图像处理过程中调整无线胶囊内视镜的焦距、传感器直径、视野参数的步骤。
5.根据权利要求1所述的方法,其特征在于所述步骤(2)中识别步骤包括通过基于像素域的块匹配方法进行移动估计连续序列逆图像的区域块间的相关性,通过相关性识别二维逆图像重合部分。
6.根据权利要求5所述的方法,其特征在于所述识别步骤还包括在识别前对二维逆图像使用二维插值技术填补无线胶囊内视镜所捕获的二维逆图像像素间距离使逆图像具有均匀的网格以备识别。
7.根据权利要求5所述的方法,其特征在于所述像素域的块匹配方法包括以下步骤:
A、选取连续二维图像的相同维数的两像素区域块,计算两像素区域块间的欧氏距离;
B、在图像处理过程中调整无线胶囊内视镜的旋转角度和沿肠道运动的运动向量,继续选取连续二维逆图像的相同维数的两像素区域块循环计算两像素区域块间的欧氏距离得到两像素区域块的最小欧氏距离。
8.根据权利要求1所述的方法,其特征在于所述步骤(3)中图像处理装置识别重合部分时进行判断无线胶囊是否发生旋转或偏移,如发生旋转或偏移,则二维逆图像剪切拼接时进行旋转偏移校正。
9.一种基于无线胶囊内视镜体内摄像的图像处理系统,所述无线胶囊内视镜包括图像传感器和无线发送装置,所述图像传感器前后端分别设置对焦镜片和电池,所述对焦镜片的外侧设置发光二极体,所述发光二极体、对焦镜片、图像传感器、无线发送装置和电池均设置在无线胶囊内,所述无线发送装置与电池连接,且与外置的图像处理装置的无线接收装置沟通,其特征在于所述图像处理装置包括图像接收储存模块、识别图像接收储存模块中图像重合部分的识别模块,对重合部分进行剪裁拼接的整合模块。
10.根据权利要求9所述的基于无线胶囊内视镜体内摄像的图像处理系统,其特征在于所述的识别模块为移动估计识别模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910186622A CN101716077B (zh) | 2009-12-03 | 2009-12-03 | 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910186622A CN101716077B (zh) | 2009-12-03 | 2009-12-03 | 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101716077A CN101716077A (zh) | 2010-06-02 |
CN101716077B true CN101716077B (zh) | 2012-09-12 |
Family
ID=42430777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910186622A Active CN101716077B (zh) | 2009-12-03 | 2009-12-03 | 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101716077B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103190881A (zh) * | 2012-01-04 | 2013-07-10 | 清华大学 | 胶囊式内窥镜及其图像处理方法 |
JP6215236B2 (ja) * | 2012-01-31 | 2017-10-18 | ギブン イメージング リミテッドGiven Imaging Ltd. | 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法 |
CN102743147A (zh) * | 2012-07-24 | 2012-10-24 | 北京圣博亚科技有限公司 | 用于医用电子内窥镜的工具轴、医用电子内窥镜 |
US9456752B2 (en) * | 2013-03-14 | 2016-10-04 | Aperture Diagnostics Ltd. | Full-field three-dimensional surface measurement |
CN105308621B (zh) * | 2013-05-29 | 2019-05-21 | 王康怀 | 从活体内多相机胶囊重建影像 |
CN104939793A (zh) * | 2015-07-06 | 2015-09-30 | 上海理工大学 | 基于液体透镜的可调焦3-d胶囊内窥镜系统 |
CN105942959B (zh) * | 2016-06-01 | 2018-08-24 | 安翰光电技术(武汉)有限公司 | 胶囊内窥镜系统及其三维成像方法 |
CN106709967B (zh) * | 2016-12-23 | 2024-03-26 | 天津恒宇医疗科技有限公司 | 一种内窥成像算法及控制系统 |
WO2018152066A1 (en) | 2017-02-14 | 2018-08-23 | Ototechnologies Corp. | Ear canal modeling using pattern projection |
CN108007946A (zh) * | 2017-12-27 | 2018-05-08 | 同方威视技术股份有限公司 | 安全检查系统和检查方法 |
CN109801360B (zh) * | 2018-12-24 | 2021-04-27 | 北京理工大学 | 基于图像的胃肠三维重构和可视化方法 |
CN110381265B (zh) * | 2019-07-12 | 2021-08-31 | 武汉恒新动力科技有限公司 | 筒状工件内壁图像获取方法、设备及计算机可读存储介质 |
CN112261399B (zh) * | 2020-12-18 | 2021-03-16 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
CN114972144B (zh) * | 2022-05-23 | 2024-02-02 | 江苏势通生物科技有限公司 | 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备 |
-
2009
- 2009-12-03 CN CN200910186622A patent/CN101716077B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101716077A (zh) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101716077B (zh) | 基于无线胶囊内视镜或视频内窥镜体内摄像的图像处理方法及其系统 | |
US7684599B2 (en) | System and method to detect a transition in an image stream | |
US7813538B2 (en) | Shadowing pipe mosaicing algorithms with application to esophageal endoscopy | |
JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP5580637B2 (ja) | 画像処理装置、内視鏡装置の作動方法及びプログラム | |
CN101065052B (zh) | 医疗图像处理装置和医疗图像处理方法 | |
US9514556B2 (en) | System and method for displaying motility events in an in vivo image stream | |
JP5771757B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
CN106618454B (zh) | 一种胶囊式内窥镜系统 | |
US20060106283A1 (en) | Methods and devices for endoscopic imaging | |
US20130002842A1 (en) | Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy | |
WO2005039402A1 (en) | Diagnostic alignment of in vivo images | |
JP2017534322A (ja) | 膀胱の診断的マッピング方法及びシステム | |
US20110135170A1 (en) | System and method for display speed control of capsule images | |
US10835113B2 (en) | Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract | |
US12201261B2 (en) | Capsule endoscope apparatus and method of supporting lesion diagnosis | |
CN103705200A (zh) | 基于无线供能的胃肠道癌前病变无创检测系统 | |
Kim et al. | Current status of interpretation of small bowel capsule endoscopy | |
Mackiewicz | Capsule endoscopy-state of the technology and computer vision tools after the first decade | |
CN108937871A (zh) | 一种消化道微光学相干断层成像图像分析系统及方法 | |
CN114049934B (zh) | 辅助诊断方法、装置、系统、设备和介质 | |
US20220047154A1 (en) | Endoluminal robotic systems and methods employing capsule imaging techniques | |
Hackner et al. | Deep-learning based reconstruction of the stomach from monoscopic video data | |
CN104665756A (zh) | 一种体内微型传感器图像采集处理装置及其处理方法 | |
Huang et al. | Capsule Endoscopy Technology: A New Era in Digestive Tract Examination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |