CN104350742B - 用于显示图像流的系统和方法 - Google Patents
用于显示图像流的系统和方法 Download PDFInfo
- Publication number
- CN104350742B CN104350742B CN201380030190.5A CN201380030190A CN104350742B CN 104350742 B CN104350742 B CN 104350742B CN 201380030190 A CN201380030190 A CN 201380030190A CN 104350742 B CN104350742 B CN 104350742B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- pixel
- band
- image stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 239000011148 porous material Substances 0.000 claims description 46
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000011503 in vivo imaging Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 12
- 230000001174 ascending effect Effects 0.000 claims description 5
- 238000001727 in vivo Methods 0.000 abstract description 18
- 230000000875 corresponding effect Effects 0.000 description 39
- 239000002775 capsule Substances 0.000 description 28
- 238000001514 detection method Methods 0.000 description 25
- 230000008602 contraction Effects 0.000 description 23
- 238000003860 storage Methods 0.000 description 19
- 210000001519 tissue Anatomy 0.000 description 18
- 230000002496 gastric effect Effects 0.000 description 16
- 210000000813 small intestine Anatomy 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 230000000968 intestinal effect Effects 0.000 description 11
- 210000003736 gastrointestinal content Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 210000001072 colon Anatomy 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000004899 motility Effects 0.000 description 5
- 210000002784 stomach Anatomy 0.000 description 5
- 239000012491 analyte Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000002429 large intestine Anatomy 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002572 peristaltic effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010000234 Abortion spontaneous Diseases 0.000 description 1
- 241000252983 Caecum Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 241000981595 Zoysia japonica Species 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004534 cecum Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000008991 intestinal motility Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 208000015994 miscarriage Diseases 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000037452 priming Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 208000000995 spontaneous abortion Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
呈现用于显示通过活体内成像装置俘获的图像流的系统和方法。方法包括接收通过所述活体内装置俘获的图像帧流,每一帧包括多个像素。可以产生包括概括数据元素的概括图像呈现,每一概括数据元素对应于来自所述图像流的至少一个帧。通过根据第一分类参数对一或多个图像帧的像素进行排序;根据预定采样方案对所述排序的像素进行采样以获得排序的像素的子集;以及组合或附加经过采样的像素以形成概括数据元素而产生概括数据元素。组合所述概括数据元素以形成概括图像呈现。
Description
技术领域
本发明涉及一种用于对举例来说在活体内俘获的图像流进行图像处理的方法和系统。更具体来说,本发明涉及用于产生举例来说胃肠道的图像流中的图像和/或事件的概括表示的系统和方法,并且涉及用于显示图像流的动态预览表示的系统和方法。
背景技术
人类胃肠(GI)道是指从嘴到肛门的器官。小肠是GI道的一部分,连接着胃与大肠。成人体内的小肠长度是不同的,平均为7米。小肠的主要功能是消化和吸收食物中的营养和矿物质。为了这样做,小肠借助一种称为肠道动力的生理机制推动食物穿过。
结肠是大多数脊椎动物体内的消化系统的接下来的一部分。在结肠中,水、钠和一些脂肪可溶解维生素被吸收。这个过程的发生是因为结肠收缩使大肠的内容物前后混合但是不向前移动。发生在大肠中的第二类型的动力是高幅传播性收缩,这是非常强的收缩,会使大肠的内容物向前移动。
肠道动力可以分为两个种类:蠕动,例如肠壁的负责使食物在一个方向上移动的同步移动;和独立收缩,例如,肠壁的非同步移动,其中肌肉基本上彼此独立地挤压,这样可能具有使内容物混合但是不使其前后移动的效果。
例如通过包含可吞咽胶囊的活体内成像系统执行的活体内成像方法可以用于为患者体内的体腔成像。所述成像系统可以在胶囊穿过GI腔的同时俘获和向外部记录装置传输(举例来说)GI道的图像。所述胶囊可以用举例来说每秒1-40帧的可变的帧速率俘获图像。可以收集大量图像(举例来说100,000到300,000张图像)以便在成像程序(成像程序可以在一到八小时的持续时间中执行)过程中观察,并且可以被实时地观察和/或处理。所述图像可以按顺序组合,并且可以向用户呈现图像流或影片。
授予霍尔(Horn)等人的第7,215,338号美国专利公开了一种用于创建在活体内俘获的数据流的固定概括图形呈现的系统和方法,该专利的全文以引用方式并入本文中。所述图形呈现可以采用色带的形式,所述色带可以基于一或多个图像帧的平均图像像素值来计算。然而,霍尔等人所公开的固定概括呈现中可能无法检测到邻近图像之间的差异,并且当用户检查固定概括呈现时,可能无法辨别单个图像的不同特性、部分或片段(例如,腔孔、组织、肠内容物)。此外,所公开的固定概括图形呈现不够详细,并且并未提供关于可收缩活动或动力事件的信息。因此,提供一种用于以可辨别的方式显示图像特性的概括信息的方法和系统可能是有用的。
使用举例来说授予格鲁科夫斯基(Glukhovsky)等人的第6,944,316和/或7,200,253号美国专利和授予格鲁科夫斯基(Glukhovsky)等人的第7,724,928号美国专利中所公开的活体内图像序列可以确定各种图像属性、肠道事件、可收缩活动或动力,这些专利中的每一个以引用方式全文并入本文中。例如在第6,944,316号美国专利的图3中公开了图表形式的动力数据的呈现。由于流中有大量图像,所以这样的呈现(对于整个图像流)可能难以用单个带或图表在监视器上显示。屏幕上用于呈现全部可用动力数据所必需的区域可能过大或者过长,无法配合到屏幕显示器中,屏幕显示器还可能包含举例来说一或多个图像流窗和提供给用户的附加医疗信息。因此可能必需提供一种新的显示方法,所述显示方法使用可用的量的屏幕空间,并且与图形用户界面显示器组合。
发明内容
(一)要解决的技术问题
根据本发明的实施例提供一种计算机实施的方法,用于显示举例来说通过活体内成像装置俘获的肠道图像等连续图像的概括图像呈现。所述方法可以包含接收举例来说通过活体内装置、摄像机或安全或监控相机俘获的图像流。所述图像流可以包含数字图像帧,每一帧可以包含布置成像素阵列的多个图像像素。针对所述图像帧的至少一子集,可以产生包括例如像素条等概括数据元素的概括图像呈现。每一概括数据元素可以对应于来自所述图像流的至少一个帧或者与来自所述图像流的至少一个帧相关联。在一些实施例中,产生概括数据元素可以包含根据第一分类参数对一或多个图像帧的像素进行排序,和根据预定采样方案对所述排序的像素进行采样以获得排序的像素的子集。排序的像素的每一子集可以组合成图形格式,例如,在像素条、线或另一空间布置中邻近地对准、定位或布置以形成概括数据元素。虽然在一个实施例中概括数据元素是例如像素等子元素的线或系列或条,但是可以使用其它形式或形状的概括数据元素。在一些实施例中,可以用曲线图、绘图或图表的形式呈现概括图像呈现。
(二)技术方案
在一些实施例中,可以在视觉显示单元上显示概括呈现(例如,靠近或者沿着图像流的视频显示)。然而,视频显示和概括呈现不需要是邻接的或者邻近的以便“沿着”,并且在一些实施例中不是沿着彼此或者接近彼此。视频显示可以包含在每一时隙中显示的至少一个帧,并且可以举例来说根据所述帧的帧俘获时间或俘获次序来连续地显示所述帧。视频显示可以包含例如根据图像的俘获次序以固定或变化的帧显示速率来作为影片播放所俘获的图像。
在一个实施例中,分类参数可以是基于像素值。举例来说,色度相关(例如,色纯度)像素值,例如在红-绿-蓝(RGB)颜色空间中呈现的像素的红/绿值,或者在色调饱和度值(HSV)颜色空间中呈现的像素的H值。一些实施例可以包含根据第二分类参数对一或多个图像帧的像素进行排序(或重新排序),所述第二分类参数可以是基于像素值,例如,明度或强度相关像素值。第二分类参数的实例包含RGB颜色空间中的R或HSV颜色空间中的V。可以使用其它颜色空间和/或其它分类参数。
在另一实例中,分类参数可以是基于可以应用于图像帧的一或多个特征检测器的得分。在一个实例中,混浊内容物检测器可以产生每像素的内容物得分,并且可以使用所述得分作为分类参数。在一些实施例中,可能在图像帧中检测到腔孔,并且可以使用每个像素的腔检测得分作为分类参数。可以使用其它检测器和/或其它得分。在一些实施例中,分类参数可以是基于检测器得分和像素值的组合。可以使用一个以上或两个以上分类参数。在一些实施例中,可以基于概括图像表示或其一部分例如通过处理单元自动地确定某些图像特性、属性和/或肠道事件。
还呈现一种用于动态地显示图像流的至少一部分的详细预览的系统和方法。可以用连续地或间歇性地变化的方式计算和向用户显示例如动态预览带等动态预览呈现。可以作为视频流或影片举例来说与概括图像预览呈现同时地或在概括图像预览呈现旁边并且与概括图像预览呈现相关地显示图像流。当图像流继续时,或者当用户指示待预览的流的一部分时(举例来说,例如,通过用输入装置指向或者悬停在概括图形呈现上),可以产生并且可以更新或调整图像流的当前部分的动态预览。动态预览呈现可以与一或多个图像帧相关,所述一或多个图像帧可以在图像流的视频显示中基本上并行地或者同时地显示。动态预览呈现可以包含详细数据片段,详细数据片段与在显示器屏幕的视频显示窗或部分中同时地显示的至少一个帧和邻近于被显示的至少一个帧的帧相关联。动态预览呈现还可以包含减少的数据片段。在一些实施例中,可以例如在视觉显示单元上沿着图像流的视频显示来显示动态预览呈现。
附图说明
参照图式和下面的描述,可以更好地理解根据本发明的系统和方法的原理和操作,应理解,提供这些图式只是为了说明的目的,而并不打算是限制性的,其中:
图1A展示了根据本发明的实施例的用于产生概括图像呈现的活体内成像系统的示意图;
图1B展示了根据本发明的实施例的用于产生动态预览呈现的活体内成像系统的示意图;
图2A展示了根据本发明的实施例的概括图像数据的两个示范性元素;
图2B展示了根据本发明的实施例的概括图像呈现的一部分;
图3展示了根据本发明的实施例的图像的分类像素的曲线图;
图4图解说明了根据本发明的实施例的用于产生概括图像元素的方法的流程图;
图5A-5D展示了根据本发明的实施例的图像流的不同动态预览带;
图6A和6B呈现了根据本发明的实施例的动态预览呈现中表示的图像流帧的时间失真的示范性曲线图;和
图7是根据本发明的实施例的用于显示动态预览带的方法的流程图。
应了解的是,为了说明起来简单清楚,图中展示的元件未必是按比例绘制的。举例来说,为了清楚起见,有些元件的尺寸和/或宽高比可能相对于其它元件被夸大。此外,在被视为适当的地方,各图之间可以重复使用参考标号来指示连续视图中的对应或类似的元件。
具体实施方式
在下面的描述中,将描述本发明的各种方面。出于说明的目的,阐述了特定的配置和细节以便提供对本发明的透彻理解。然而,对所属领域的技术人员还将显而易见的是,可以在没有本文中呈现的特定细节的情况下实践本发明。此外,可以省略或者简化众所周知的特征以便不会模糊本发明。
除非另有具体陈述,否则通过下面的论述显而易见的是,应了解,在说明书通篇中,利用例如“处理”、“计算”、“存储”、“确定”或类似者的论述是指计算机或计算系统或类似电子计算装置的动作和/或过程,其将在计算系统的寄存器和/或存储器内被表示为物理(例如电子)量的数据操纵和/或变换成在计算系统的存储器、寄存器或其它此类信息存储、传输或显示装置内类似地被表示为物理量的其它数据。本发明的实施例可包含例如计算机或处理器可读非暂时性存储媒体等物件,例如举例来说存储器、磁盘驱动器或USB快闪存储器,其编码、包含或存储指令,例如,计算机可执行指令,所述指令在被处理器或控制器执行时使得处理器或控制器执行本文中公开的方法。
根据本发明的实施例的装置,包含适合于与本发明的实施例一起使用的成像、接收、处理、存储和/或显示单元,可以类似于授予戴维森(Davidson)等人的名称为“用于编辑在活体内俘获的图像流的系统和方法(System and Method for Editing an ImageStream Captured In-Vivo)”的第7,986,337号美国专利、授予伊丹(Iddan)等人的名称为“用于活体内成像的装置(Device for In-Vivo Imaging)”的第7,009,634号美国专利和/或名称为“活体内成像装置的组装方法(Method of Assembling an In-Vivo ImagingDevice)”的第2007/0118012号美国专利申请公开案中所描述的实施例,这些专利或公开案各自都转让给本申请的共同受让人,并且以引用方式全文并入本文中。
当然,本文中描述的装置和系统可以具有其它配置和其它组件集合。根据本发明的一些实施例的装置、系统和方法可以类似于基文影像有限公司(Given Imaging,Ltd.)提供的商用SB2或结肠胶囊和相关联的数据记录器和工作站。
患者可以吞咽的活体内成像胶囊可以因使得肠道组织的壁移动的蠕动收缩而沿着GI道被操控或者被动前进。在其行程的过程中,胶囊穿过不同GI器官,例如食道、胃、小肠和结肠。由于小肠组织壁的相对狭窄的隧道结构,在胶囊在小肠中行进时,胶囊可以维持一个平行于隧道方向的位置。成像胶囊的纵轴(例如,穿过胶囊的长维度的轴,例如图1A中的L轴)总体上可以保持平行于胶囊在小肠中的前进方向。胶囊的成像系统可以位于胶囊的纵向末端中的至少一个中,使得成像总体上是朝小肠隧道的方向看向前和/或向后执行的,使得腔壁的开合图像被非常有规律地俘获。俘获腔壁的开合的图像数据组合对每一图像的俘获时间的记录,可以准许分析、显示和/或计算小肠的动力事件或者蠕动活动的类型和频率。本发明的实施例可以使得动力相关信息能够以高效并且容易分析的方式显示给医学专业人士。
肠道动力的特定事件的检测和表征在肠道动力领域是已知的,例如下列文献中的肠道收缩检测:Vu、H.、越后(Echigo)、T.等人的“来自无线胶囊内视镜的图像序列的小肠中的收缩检测(Contraction detection in small bowel from an image sequence ofwireless capsule endoscopy)”(在MICCAI'07论文集中;2007年第一卷,第775至783页),Vu、H.、越后(Echigo)T.、左川(Sagawa)、R.、八木(Yagi)、K.、克雷斯波(Shiba)、M.、樋口(Higuchi)、K.等人的“来自无线胶囊内视镜视频的小肠的自适应通过时间中的收缩检测(Detection of contractions in adaptive transit time of the small bowel fromwireless capsule endoscopy videos)”(计算生物医药(ComputBiol Med)2009年;39:16-26),和威拉瑞诺(Vilarino)F.、斯普瑞多诺(Spyridonos)、P.、戴奥里欧(Deiorio)、F.,威彻(Vitria)、J.、艾斯比罗斯(Azpiroz)、F.、瑞德法(Radeva)、P.的“使用视频胶囊内视镜的肠道动力评估:局部肠道收缩的自动注解(Intestinal motility assessment with videocapsule endoscopy:automatic annotation of phasic intestinal contractions)”(《IEEE医学成像汇刊》2010年;29(2):246-59)。
当专业检验人员(例如,内科医生)检验GI成像程序时,提供关于将被观察的即将发生的或即将来临的帧的详细信息数据可能是有用的。在成像程序过程中可以俘获例如100,000张图像等大量图像。从具有常规尺寸和分辨率的监视器上的沿着图像流窗的固定动力显示中的所有这些图像中概括数据,可能无法提供关于较小的相关图像流子组(例如,当前查看的图像周围的20个帧)的帧特性的详细信息,因为,鉴于屏幕大小和分辨率参数,包括固定动力显示的每一条像素都可能会概括较大帧子组(例如,100个帧)的数据。对于诊断来说可能较为重要的一些事件(例如具有许多肠道内容物的患者的GI道或GI道的较小区域的动力事件)可能无法在固定显示器中清楚地看到,因为固定显示器的分辨率是有限的。可以在相对少量的图像(例如,不到20个图像)中俘获这些事件。那些帧序列期间的景象变化可能非常大,举例来说,可以在例如10个帧的序列中俘获收缩,并且出现在图像中的腔孔可能在帧序列的第一图像中较大,朝序列中间变小,并且朝序列末尾变大。因此,在检验图像流的过程中显示对应于少量图像(例如,即将来临的接下来几个帧)的数据的详细预览可以提供对成像程序整个过程中的所关注的肠道区域或所关注的肠道点的增强视觉显示。
本发明的实施例描述了一种用于基于对从在GI道中俘获的图像帧中提取到的数据的分析和处理来显示图像数据的概括呈现的系统和方法。每一图像帧可以表示为像素的二维阵列,举例来说,某个高度和某个宽度的矩形或正方形像素阵列(例如,320X320像素)。每一像素可以由一或多个位的信息组成,这些信息表示那个点处的图像的亮度,并且可能包含可以被编码为RGB三重体的颜色信息。
对图像数据的分析和处理可以由处理装置自动执行,无需用户介入。例如可以通过一或多个处理器、一个工作站、电路、一个检测器或任何其它计算装置来执行对图像数据的概括显示,举例来说使用概括带、窗或显示,其包含举例来说概括的像素条或概括图像数据的其它布置。根据本发明的一些实施例,可以使用动态或固定显示器向健康专业人士显示一或多个概括显示窗或带以便进行诊断。
可以概括图像数据,并且可以向用户呈现对应于在图像中描绘的各种结构或内容的图像像素指示。根据本发明的实施例,可以将肠道组织的图像分段成不同类别。所述类别可包含在图像帧或特定像素特性中描绘的可见结构的不同类型。下列类别是在肠道图像中可以检测到的片段类型的实例:
1)腔孔-可能比图像的其余部分明显暗并且描绘组织壁的开口的图像部分;
2)“组织壁”-描绘组织壁的图像部分;和
3)“混浊内容物”-被肠道内容物遮蔽的腔孔和/或组织壁。
可以另外或者替代地使用其它类别。
获得较大量的图像数据可以允许详细地分析生理结构或事件。然而,大量数据可能必需长时间的视频可视性,并且内科医生对患者的成像程序的诊断可能要花费相对长的时间。提供动态预览带或显示可能是有用的,动态预览带或显示展示了表示医学专业人士所检验的图像流中的即将来临的图像的信息数据。
肠道事件可能与一些图像序列有关,这些图像序列可能具有可以在来自图像流的连续图像的序列中描绘的某种模式或者特定的动力相关属性。举例来说,肠道事件可包含肠道收缩,肠道收缩可以作为描绘开-合-开的腔孔的模式的图像序列被检测到。在另一实例中,肠道事件可包含静态腔壁(例如,打开腔孔的重复图像,其可以称为打开隧道序列)或闭合腔孔的周期。另一类型的肠道事件是混浊的或被遮蔽的腔开口,其指示图像中的肠道内容物的存在。可以基于图像流的图像来检测其它类型或类别的事件。
参考图1A,该图展示了根据本发明的实施例的用于产生概括图像呈现的活体内成像系统的示意图。在示范性实施例中,所述系统包含胶囊40,其具有:一或多个成像器46,用于俘获图像;一或多个照明源42,用于给体腔照明;以及发射器41,用于将图像和可能其它信息传输到接收装置。通常,所述图像俘获装置可以对应于在授予伊丹(Iddan)等人的第7,009,634号美国专利和/或在授予吉拉德(Gilad)的第2007-0118012号美国专利申请公开案中所描述的实施例,所述专利或公开案中的每一个以引用方式全文并入本文中,但是在替代实施例中,可包含其它种类的图像俘获装置。成像器系统所俘获的图像可以具有任何合适的形状,包含举例来说圆形、正方形、矩形、八边形、六边形等。通常,位于患者身体外部的一或多个位置中的有:图像接收器12,通常包含天线或天线阵列;图像接收器存储单元16;数据处理器14;数据处理器存储单元19;以及图像监视器或视觉显示单元18,用于显示尤其是胶囊40所记录的图像。通常,数据处理器存储单元19包含图像数据库21。
通常,数据处理器14、数据处理器存储单元19和监视器18是个人计算机或工作站11的一部分,个人计算机或工作站11包含标准组件,例如处理器14、存储器、磁盘驱动器和例如鼠标22和键盘等输入-输出装置,但是替代配置也是可能的。数据处理器14可包含任何标准数据处理器,例如微处理器、多处理器、加速板或者任何其它串行的或者并行的高性能数据处理器。作为其功能性的一部分的数据处理器14可以用作一个控制器,控制图像的显示(例如,哪些图像、图像在各种窗当中的位置、图像显示的定时或持续时间等)。图像监视器18通常是常规视频显示器,但是也可以另外是任何其它能够提供图像或其它数据的装置。图像监视器18呈现图像数据(通常采用静态图片和移动图片的形式)、动力数据,并且另外可以呈现其它信息。在示范性实施例中,在窗中显示各种类别的信息。窗可以是举例来说显示器或监视器上的一个片段或区域(可能被划界或者限界);可以使用其它窗。可以使用多个监视器来显示图像帧、概括图像呈现、动力属性、动力事件和其它数据。在一个实施例中,图像接收器12中也可以包含图像监视器。
在图像俘获程序期间,成像器46俘获图像,并且可以将表示图像的数据发送到发射器41,发射器41使用(举例来说)电磁无线电波将图像发射到图像接收器12。图像接收器12将图像数据传送到图像接收器存储单元16。在某一段数据收集时间之后,可以将存储在存储单元16中的图像数据发送到数据处理器14或数据处理器存储单元19。举例来说,图像接收器12或图像接收器存储单元16可以被从患者体内取出,并且经由标准数据链接(例如,串行、并行、USB或已知构造的无线接口)连接到包含数据处理器14和数据处理器存储单元19的个人计算机或工作站。接着,将图像数据从图像接收器存储单元16传送到数据处理器存储单元19内的图像数据库21。通常,图像流作为一系列图像存储在图像数据库21中,图像数据库21可以用多种已知方式实施。数据处理器14可以分析数据,并且将经分析的数据提供给图像监视器18,用户在图像监视器18上观察图像数据。举例来说,数据处理器14或另一数据处理器(例如,在接收器12中)可以根据本发明的实施例处理图像并且创建肠道事件带。数据处理器14操作软件,所述软件结合例如操作系统和装置驱动器等基本操作软件来控制数据处理器14的操作。通常,控制数据处理器14的软件包含用C++语言编写的代码,并且可以使用例如微软的.NET平台等各种开发平台来实施,但是可以用各种已知方法来实施。
胶囊40所记录和传输的图像数据可以是数字颜色图像数据,并且可以举例来说在RGB(红、绿、蓝)颜色空间中俘获,但是在替代实施例中,可以使用其它图像格式。在示范性实施例中,根据已知方法,每一帧图像数据包含320行,每行320个像素(例如,320行和320列),每一像素包含用于颜色和亮度的字节。举例来说,每一成像器像素可包含颜色传感器,颜色传感器可以对应于单个原色,例如红、绿或蓝。通过一个字节(即,0-255)的亮度值,可以记录总体像素的亮度。图像可以举例来说按顺序存储在数据处理器存储单元19中。所存储的数据包括一或多个像素属性,包含颜色和亮度。可以使用用于图像表示的其它格式。替代地,在每一像素中,可以通过圆柱坐标表示格式来表示数据,例如色调、饱和度和明亮度(HSL或HLS)、色调、饱和度和值或亮度(HSV或HSB)或色调、饱和度和强度(HIS)。RGB颜色空间的圆柱坐标表示是如下表征的:通过围绕中央垂直轴的角度来表示颜色或色调信息,而离所述轴的距离和沿着所述轴的距离对应于其它信息,例如饱和度和亮度。举例来说,当使用HSV表示时,色调(H)值可以表示围绕中央垂直轴的角度,饱和度(S)值可以表示离所述轴的距离,并且值(V)可以表示沿着所述轴的距离。替代地,可以使用其它表示,例如YCbCr(Y是发光度或明度分量,并且Cb和Cr是蓝色差和红色差色度分量),Lab颜色空间等。根据一个实施例,图像可以举例来说按顺序存储在数据处理器存储单元19中。所存储的数据可包含一或多个像素属性,包含H、S和V。
数据处理器存储单元19可以存储通过胶囊40记录的一系列图像。胶囊40所俘获的图像(举例来说,在胶囊40移动或被操控而穿过患者的GI道时)可以连续组合以形成一系列图像,这一系列图像可以显示为图像流。当观察图像流时,通常在监视器18上向用户呈现一或多个窗,在替代实施例中,不需要使用多个窗,并且可以只显示图像流。在提供多个窗的实施例中,举例来说,图像窗可以提供图像流,或者还是所述图像的一些部分。另一窗可包含按钮或其它控件,所述按钮或其它控件可以改变图像的显示;举例来说,停止、播放、暂停、俘获图像、跳跃、快进、倒带或其它控件。这些控件可以举例来说通过例如鼠标或轨迹球等指示装置来激活。通常,图像流可以被冻结或暂停以观察一个帧、加速或倒退;一些片段可以被跳过;或者可以对图像流应用任何其它用于观察图像的方法。
可以基于来自图像流的一或多个连续图像检测图像属性和/或肠道(例如,动力)事件。根据本发明的实施例,可以使对图像流中的图像属性和/或所定义的序列的视觉检测与概括呈现中的某些属性或序列相关或者相关联。概括呈现可以用于视觉化例如图像中的肠道内容物的数量等图像属性、在成像程序期间发生的动力事件,和/或确定经成像的腔的动力属性(例如,可以指示反常动力)。可以执行下列图像属性和/或肠道事件序列中的一或多个的视觉检测(通过检验人员或通过处理器自动地):混浊帧(有较大百分比的肠道内容物)、松弛腔序列或收缩。可以使用其它图像属性和/或序列类别。在这个上下文中,检测可包含(举例来说)指示哪些帧被肠道内容物遮蔽,以及标记每一类型的序列的开始和末尾,或者使来自图像流的开始图像和末尾图像与每一类型的序列相关。在另一实例中,可以将图像流中的图像归类或者归属为属于一或多个类别(例如,与某些图像属性和/或类型的事件序列相关联)。
概括呈现或显示可包含多个概括图像元素。虽然在一个实施例中概括呈现可以形成为“带”,但是可以使用除了带之外的视觉数据的并且除了带之外的形状的显示或组织作为概括显示。数据处理器14可包含或者可操作性地连接到概括图像呈现产生器30。概括图像呈现产生器30可以处理来自所俘获的图像集合的图像,并且可以获得图像的视觉属性或部分以便在图形用户界面(GUI)的预览部分中显示。概括图像呈现产生器30可以产生多个概括数据元素(例如,条),每一元素概括一或多个俘获到的图像的数据。可以基于(举例来说)来自图像流的图像的像素特性计算概括数据。可以组合(例如,邻近地对准或者定位并且组合、附加或合并)概括数据元素以形成概括带。数据处理器14和/或显示器18可包含或可经配置以执行图形软件或硬件以便产生概括呈现。
为了产生概括呈现,可以将来自图像流的图像集合提供到概括图像呈现产生器30。图像集合可包含(举例来说)成像装置俘获的所有图像。在一些实施例中,可以使用图像子集来产生概括带。可以举例来说根据预定选择准则来选择图像子集。
在一些实施例中,可以为GI道的选定部分产生概括呈现或显示。举例来说,可以为选定器官(食道、小肠、结肠、胃等)或者为来自完整成像程序的选定持续时间(举例来说,前2个小时)产生概括呈现。根据本发明的实施例,可以基于来自图像流的图像检测动力事件或动力属性,例如,选择图像帧或图像序列(例如,来自图像流的一系列连续图像帧,其可包含举例来说从图像流选择的多个连续帧)。
在一个实例中,用于产生概括呈现的图像子集可包含在图像流中可以识别出的某些关注点之间俘获的图像。在一些实施例中,可以选择解剖标志或病变作为关注点,例如,诸如十二指肠、盲瓣、Z线(指示胃的入口)等等解剖标志。可以选择俘获到的图像流中的两个关注点(例如,可以是系统中预定的,或者由检验图像流的用户选择),并且概括呈现的产生中可以包含在胶囊从第一选定点行进到第二选定点的时间期间俘获的所有图像。在一些实施例中,可以为小肠的图像产生概括呈现,例如为在第一十二指肠图像与第一盲肠图像之间俘获的成像程序的部分。
可以根据预定准则从完整的俘获图像集合中选择用于产生概括呈现的图像。在一些实施例中,可以从图像流中排除某些图像,例如,过暗或者过亮的图像。可以使用类似于授予戴维森(Davidson)等人的第7,986,337号美国专利中所描述的方法的方法来选择图像以便产生概括呈现,该美国专利公开了用于创建减少的影片的活体内图像流的编辑方法的实施例。可以使用为减少的图像流选择的图像来产生概括呈现。在又一实例中,可以例如基于邻近图像之间的类似性来合并或者融合图像,并且可以基于融合或者合并的图像的子集产生概括呈现,例如,概括带的形式的概括呈现。可以使用其它图像选择方法来确定图像子集。在一些实施例中,可以组合不同的图像选择方法以便产生可以用于产生概括呈现的图像子集。
概括图像呈现产生器30可以产生概括数据,其表示选定图像集合的一个图像或一组图像(例如,完整图像流或减少的图像流中的每一图像)。可以举例来说以像素条的形式产生概括数据。当在本文中使用时,像素“条”可包含所显示的概括呈现的条形元素。所述条可包含多个布置成线的邻近像素,其中在所述条中概括了可以使用来自所述一或多个图像帧的像素参数计算的像素值。所述条可以用各种方法产生。条通常是矩形的,并且可以具有某个像素长度和一或多个像素的宽度。图2A中展示了示范性条。可以使用除了条或条纹之外的组成概括呈现或显示的元素,其具有除了条或条纹之外的形状。每一像素元素或条可以对应于一或多个帧,展示从一或多个帧导出的数据,或者与一或多个帧相关联。
在一些实施例中,可以选择一个图像或多个图像的像素的子集以便产生概括数据元素。举例来说,可以为图像流定义固定模板或掩模以便指定或选择从每一图像中选择的一个所关注区域。可以基于胶囊40的成像系统的已知光学属性和/或照明属性来定义所关注区域。可以基于所关注区域中包含的像素子集来执行概括数据元素(例如,像素条)的产生。在一个实例中,俘获到的图像可以成形为举例来说直径为320像素的圆形,并且图像中的所关注区域可以定义为更小的圆(例如,直径为200像素),这个更小的圆在俘获到的图像的中心。图像中的所关注区域可以选择成使得从图像中选择主要在中央的像素,并且不选择较暗的像素(其在图像的外围区域中)。这种像素选择可以帮助避免图像中的腔孔的误称,这可能是因为活体内景象而不是图像中描绘的实际腔孔的照明不足。
可以使用图像中的腔孔检测来产生一或多个图像的概括预览数据。为了以概括形式提供一个图像或多个图像的预览信息,在可能描绘腔孔的像素与可能描绘组织或肠道内容物的像素之间进行区分可能是有用的。这些像素类型之间的区分(例如,分类)可以(举例来说)通过概括图像呈现产生器30执行,并且可以用于产生指示腔孔以及其在所表示的图像中的相对大小和/或位置的概括数据条。在一个实施例中,可以使用图像像素的RGB值来检测一或多个图像中的腔孔。在另一实施例中,可以基于边缘检测方法或皱纹检测(例如,如授予斯普瑞多诺(Spyridonos)等人的第20110044515号美国专利申请公开案中所公开的,该美国专利申请公开案被转让给本申请的共同受让人)来进行腔检测。在图像序列中检测到的腔孔的大小或大小估计可以指示收缩、隧道序列或其它动力相关肠道事件。可以组合不同参数以检测图像中的腔孔,例如,检测可以基于RGB像素属性和边缘检测两者。
动力信息可以基于在图像中可以看到的腔孔的大小。举例来说,在可以描绘第一图像中的大腔孔的图像序列中可检测到收缩,这个大腔孔朝收缩的峰值(在随后的图像中)逐渐变小,并且当收缩停止时再次变大。授予瑞德法(Radeva)等人的转让给本申请的共同受让人的第20090284589号美国专利申请公开案的图2中展示了示范性收缩序列。
在一个实施例中,概括图像呈现产生器30可以根据至少一个像素参数值对一个图像帧(或多个帧)的选定像素进行分类。可以使用不同像素参数值,举例来说,像素的R、G或B值(在RGB颜色空间中表示)或者其任何线性或非线性组合,或者可以基于转换成不同颜色空间(例如,诸如HSV、HSB等色度-明度颜色空间)的像素来计算的明度或色度值。可以根据预定采样方案对经过分类的像素进行采样。可以使用经过采样的像素值来产生概括呈现元素,例如,以/将在图像流的概括呈现中显示的像素条的形式。
可以使用其它方法产生概括呈现或显示的概括数据元素。在一些实施例中,可以在每一图像中检测腔孔,并且其面积可以是确定的。所确定的面积可以是相对大小,举例来说腔孔在图像内占据的像素数目的比率或百分比,或者可以是在图像中描绘的腔孔的绝对(例如,实际)面积的估计。在一个实施例中,如果只描绘了腔孔的一部分,则可以提供(如果在图像中完整描绘了该腔孔的话)该腔孔将占据的图像部分的估计,并且可以使用估计的腔面积值产生用于图像的概括数据元素。
图像(例如,活体内图像)的概括呈现的产生可以是固定的或者动态的。现在参考图1B,其示意性地图解说明了根据本发明的实施例的用于产生动态预览呈现的活体内成像系统。图1B的元件类似于图1A的元件,并且图中重复使用参考标号来指示对应或类似元件。
动态预览带可以允许用户检查对应于一或多个图像帧的信息的详细预览。可以在详细预览中指示例如像素数据、像素属性、在图像中描绘的结构、图像特性或在图像中检测到的其它特征等信息。本文中针对图像流的概括呈现的动态显示所描述的方法和系统可以应用于各种概括呈现或带,例如举例来说,本文中公开的概括呈现、第7,215,338号美国专利中公开的图形概括呈现、第2007/0060798号美国专利申请公开案中公开的图形概括呈现或其它可以包含对应于大量活体内图像的概括数据的概括数据带。
可以使用动态预览产生器31动态地创建和/或显示预览带。产生和/或显示图像流的概括呈现的过程可以是动态的进行中的任务,其举例来说在向用户显示图像流的过程中由动态预览产生器31(基本上)连续地或者重复地执行,并且可以连续地或者重复地更新动态预览带。这个意义上的连续更新可以意味着重复地,例如,每N秒或者每N微秒,或者某个其它固定或可变间隔。对于图像流观察窗中当前可能显示的每一帧(或每一组帧),可以调整、更新或重新计算动态预览带并且向用户显示动态预览带,以便提供图像流的邻近或即将来临的帧的详细、特写或者放大预览。可以在相同预览带中提供在成像程序的更早或者更晚周期期间所俘获的图像帧的不太详细的预览。
重新计算的动态预览带可以每帧或者每组帧向程序检验人员提供信息数据,例如可以在图像中描绘的各种结构的预览或指示,肠道内容物的量、收缩或通过检查预览带的与图像流的一部分(例如,图像流的当前显示的帧和邻近帧)相关或者相关联的详细片段而可以检测到的其它动力事件的指示。可以例如针对每个所显示的图像帧频繁地或者连续地更新或重新计算动态预览带,使得用户可以用详细格式看见即将来临的帧(例如,即将来临的100个帧)的预览,该格式能够实现对可能在相对少量帧中(例如,10个帧中)发生的肠道事件的检测。在其它实施例中,可以针对预定数目的帧的组(例如,每5个所显示的帧)或者以恒定的时间间隔(例如,每30秒一次)更新或重新计算动态预览带。
动态概括呈现(例如,动态预览带)可以分成两个或更多个片段。第一片段可包含详细数据片段,对应于图像流的一个部分,并且第二片段可包含减小的数据片段,对应于图像流的其它部分。动态预览带可以在详细数据片段中提供扩展的预览信息,举例来说与图像流的相关部分有关或者与来自在图像流窗中并行地、同时地或基本上同时地显示的图像流的图像相关联的预览信息。在一些实施例中,可以根据用户对图像流的一部分的选择来计算和显示详细数据片段,例如使用例如鼠标、控制杆、触摸屏等输入装置从图像流中选择图像帧或片段。也可以显示与图像流的其它部分(例如,未并行地显示的部分,或者在并行地显示图像帧之前或之后某段时间俘获的部分)相关联的减少的预览数据,举例来说在单个动态概括呈现中沿着详细片段或者位于详细片段的附近。
可以在动态预览带中提供两个以上片段,并且可以在每一片段中变化针对图像流的每一部分在动态预览带中显示的细节等级。举例来说,第一片段可以具有第一等级的详细数据,第二片段可以包含第二等级的详细数据,以此类推。与先前等级的细节相比,每一等级的数据可以不太详细,或者其向用户提供的细节量减少。如此,第一等级的细节可以提供对应于图像流的第一部分的最详细数据,第二等级可以提供对应于图像流的第二部分的不太详细的数据,并且最后等级的细节可以提供对应于与其相关联的图像流部分的最少量的细节。在一个实施例中,第一等级的细节与可以在图像流窗中并行地或者同时地显示的图像流部分相关联,并且其它等级的数据可以对应于在成像程序中更晚或者更早俘获的图像流部分。
在一些实施例中,预览带中的数据的细节等级可以根据图像帧的俘获时间逐渐地增加或者减少。例如,可以用高细节等级显示邻近于图像流窗中当前显示的帧而俘获的帧,并且可以在动态预览带中用逐渐减少的细节等级显示稍微更晚或者更早俘获的帧。随着所述帧离所显示的当前帧或者被用户选择的当前帧的距离(例如,以时间为单位测量的)增加,在动态预览带的相关联片段中显示的对应细节等级可以降低。在一些实施例中,可以例如根据预定函数向动态预览带的对应片段中的特定细节等级指派帧识别编号或帧俘获时间,如本文中的图6A和6B中图解说明的。
动态预览产生器31可以为图像流计算初始预览带。初始预览带可以包括一些预览带元素,例如,概括数据元素310和320,并且每一元素可以是针对一或多个图像帧计算的。可以使用其它方法来计算初始预览带的预览带元素。动态预览产生器31可以产生一个初始预览带,其中在所表示的图像帧之间没有时间失真,例如,每一预览带元素可以表示来自图像流的相同数量的帧。初始预览带可以是固定的或静态的。
当用户开始播放图像流时,或者在用户选择了一个图像帧或一个图像流片段时,动态预览产生器31可以举例来说当在图像流窗(例如,图5A中的窗250)中流式传输或者显示图像流的同时连续地计算更新的动态预览带。在一些实施例中,用户可以使用例如鼠标、触摸屏或控制杆等输入装置来选择图像流部分或者在图像流部分上悬停,例如使用初始预览带或动态预览带。动态预览产生器31可以动态地产生新的(重新计算的)动态预览带,其反映用户的选择或正沿着预览带显示的图像流部分。图像流观察窗可以自动地显示相关联的图像帧,或者可以前进或跳进到图像流的对应部分。当用户继续沿着时间线或动态预览带移动输入装置时,或者当图像流继续其显示并且帧正在变化时,动态预览产生器31连续地再生动态预览带,以便提供与同时选择或显示的图像相关的预览。可以用减少的方式概括不再显示的或者不邻近于并行显示的图像流部分的图像,并且不为其提供详细预览。在这个上下文中,动态预览带的连续或动态产生可以包含动态预览带的恒定更新、有规律的更新、频繁的间歇性更新或者重复更新。
根据本发明的实施例的成像程序的一些用户界面可以自动地向用户建议GI标志(例如,胃的入口、小肠入口、结肠入口)。用户可以接受建议,或者选择另一图像帧作为标志。当用户点击建议的标志时,可以自动地调整或修改动态预览带以提供对流中的建议点附近的图像流部分的预览。因而向用户提供邻近于某个时间周期或者在某个时间周期内俘获的帧的详细预览作为建议标志,并且可以实现用户对自动建议的标志的方便的微调。在其它实施例中,如果没有自动建议标志,则用户可以例如通过点击概括带、初始预览带或动态预览带而选择图像流中的一个点,并且动态预览产生器31可以显示对应于图像流中的选定点的详细数据部分。用户可以基于在动态预览带中针对即将来临的和/或在选定点前面的图像提供的详细数据来快速并且高效地微调标志选择。
在一些实施例中,动态预览带的某些片段可以保持固定,而其它部分可以根据当前观看的图像帧来调整、修改或者重新计算。举例来说,如果当前显示的帧对应于成像程序的第三个小时(例如,总共8小时的程序时间中的),则与图像流显示一起显示的、在图像流显示旁边或附近显示的动态预览带部分可以是固定的,而对应于第三个小时的部分随着影片的播放而改变。动态预览和显示不需要是邻接的或者邻近的以便“沿着”,并且在一些实施例中不是沿着彼此或者接近彼此的。作为一个实例,对应于成像程序的前两个小时的影片部分以及对应于最后4个小时的影片部分可以保持固定。动态预览带的变化部分可以被相关,以便视觉上连接到当前查看的图像帧(例如,在这个实例中是第三个小时的)或者与之相关联。
在一些实施例中,可以在一个系统中实施概括图像呈现产生器30和动态预览产生器31两者,例如,在单个处理单元中或者使用多个处理单元实施。可以通过处理器14或另一执行软件的处理器来执行本文中论述的概括图像呈现产生器30、动态预览产生器31和其它模块或过程,并且因此在一些实施例中,处理器14可以包含概括图像呈现产生器30、动态预览产生器31和/或本文中论述的其它组件或模块。可以使用其它方法;举例来说,概括图像呈现产生器30和/或动态预览产生器31可以是专用的硬件或电路。
根据一些实施例,可以使用概括呈现(例如,通过处理器)对帧属性和图像流特性进行自动分析。举例来说,可以基于概括呈现在图像帧中检测或确定肠道结构或图像片段,并且可以(例如,通过概括图像呈现产生器30、动态预览产生器31和/或处理器14)向用户显示在整个成像程序过程中识别出的图像片段、结构、特性或事件类型的指示或标记。可以基于检测到的动力事件来执行视频分段。视频分段可以包含(举例来说)将图像序列分类成多个肠道事件类别。
还可以使用概括呈现来分析图像流的动力属性。可以计算和概括不同的动力相关属性,例如收缩的模式、类型、节奏、频率和/或持续时间、平均收缩持续时间、GI道的某个区域中的收缩频率等。可以检测其它动力事件,并且可以计算和显示相关属性。可以向用户呈现某个范围的正常和异常值以及(举例来说)计算出的属性,以便使得能够在属性的正常范围与检测到的值之间进行比较,并且在一些实施例中,可以提供关于(举例来说)可能已经检测到的异常行为的指示。
现在参考图2A,该图展示了示范性概括数据元素,例如,根据本发明的实施例的概括呈现带的条形元素。概括数据元素310和320可以各自包含来自图像流的一或多个帧的概括颜色数据。条310和320被放大以便演示其结构。条的典型大小可以是(举例来说)宽度为一个像素并且长度为几个像素(例如,25个)。可以使用其它条大小。
概括数据元素310和320可以由不同颜色的多个像素部分构成,例如,分别是颜色部分311-315和321-325。在一些实施例中,所述颜色可以分类并且布置成条,举例来说,具有满足某个条件(例如,预定条件)的颜色值的像素可以布置在条的顶部(例如,在上部部分330中),并且具有满足不同条件(例如,预定条件)的颜色值的像素可以布置在条的底部(例如,下部部分332)。
举例来说,活体内图像可以具有活体内组织典型的淡红色,和/或肠道内容物典型的淡绿色。当产生表示一或多个肠道活体内图像的概括数据元素时,描绘组织壁的淡红像素可以举例来说布置在概括数据元素的底部部分332处。例如由于肠道内容物的淡绿或淡黄像素可以布置在概括数据元素的顶部部分330处。由于这种布置,描绘大量肠道内容物的图像可以在条的顶部部分处具有淡绿色,并且在条的底部部分处具有淡红色。仅描绘组织的图像将在顶部和底部部分处具有淡红色,并且仅描绘肠道内容物的图像将在顶部和底部部分处具有淡绿色。基于根据分类参数分类的像素值,其它布置也是可能的。
分类参数可以包含(举例来说)红色、绿色和蓝色值(对于在RGB颜色空间中表示的帧)或色调、饱和度或亮度(例如,针对以HSV颜色空间表示或者转换成HSV颜色空间的帧)。可以将像素参数的任何线性或非线性组合定义为分类参数以便在条中布置像素。图4中更详细地说明在概括数据元素中对像素进行分类和排序的方法。
在一些实施例中,条的中间部分331(例如,通过部分313和323来指示)可以包含一或多个图像帧中发现的最暗的颜色。最暗的颜色可以是可以在帧中描绘的典型腔孔。如果帧中的腔孔相对较大,则对应的条(例如,条310)包含具有暗色的较长的中间部分331。如果帧中的腔孔相对较小(例如,当发生收缩时,或者当相机指向组织壁时),则对应条(例如,条320)包含暗色的较小中间部分331,或者可以基本上不包含暗色部分。
在一些实施例中,概括数据元素可以表示多个图像帧。概括数据元素的部分可以表示(举例来说)多个图像帧的多个部分的中值或者平均颜色。举例来说,在概括数据元素中指示的腔孔大小(例如,以像素为单位测量的)可以是针对每个图像帧计算出的腔孔大小的平均值,或者是最大或最小大小,或者是针对每个帧计算出的概括数据元素的任何其它线性组合。在其它实施例中,通过对从多个图像帧中合并的像素进行分类和采样而计算针对多个图像帧产生的概括数据元素。
概括呈现(例如,图2B中的带370)可以包含大量邻近地定位或对准的条,从而形成单个矩形带。例如,根据视觉显示单元中可用的显示像素数量和/或屏幕空间,带的长度可以是固定的和预定的。在一些实施例中,所显示的概括呈现的长度可以比视觉显示单元的单个行或列长,并且可以占据计算机监视器或屏幕上的几个行。在其它实施例中,概括呈现的长度可以是固定的,并且可以(举例来说)通过用所显示的带中的可用像素的数目除以用于产生带的帧的数目,来计算单个概括数据元素所表示的图像帧的数目。在其它实例中,概括呈现可以具有固定大小,并且对应于单个概括数据元素的图像帧的数目可以举例来说根据在图像流的视频显示器中同时显示的帧(本文中在图7中进一步描述)动态地变化。视频显示器可以包含举例来说被显示以产生移动图像的一系列静态图像。
每一条可以包含来自图像流的一或多个帧的概括的颜色数据。在向用户播放图像流(例如,作为视频流)的同时,可以举例来说不断地或连续地更新所述条。
图2B中图解说明示范性概括呈现带370。概括呈现带370图解说明了多个概括数据元素350-361,其邻近于彼此定位或对准。在这个实例中,每一概括数据元素与单个图像帧相关联。在这个实例中,每一概括数据元素350-361是由三个片段构成的:内容物片段340,其出现在每一概括数据元素的上部部分中,腔孔片段341,其出现在每一概括数据元素的中间部分中,以及组织片段342,其出现在下部部分中。每一概括数据元素部分可以包含几个颜色值,如图2A所示。
概括呈现带370可以向用户提供与对应于概括数据元素的图像帧有关的信息的概述。举例来说,用户可以注意在图像中描绘的内容物(和/或组织)的数量。用户还可以用简单并且容易的方式检测腔孔大小的变化。举例来说,概括数据元素354、356和358小于概括数据元素350-361的其它腔孔片段。可以使对应于这些元素的图像帧与(举例来说)GI器官的收缩峰值相关,因为腔孔可能在收缩的峰值期间是最小的。概括数据元素353、355、357和359-361大于概括数据元素350-361的其它腔孔片段。可以使对应于这些元素的图像帧与(举例来说)打开或松弛的腔孔相关。
可以在概括呈现带370中识别事件模式,例如,肠道事件,例如,可以检测到三个收缩。第一收缩在对应于元素353的图像帧处开始,并且在对应于图像帧355的图像帧处结束。第二收缩在对应于元素355的图像帧处开始,并且在对应于图像帧357的图像帧处结束,而第三收缩在对应于元素357的图像帧处开始,并且在对应于图像帧359的图像帧处结束。
可以例如由用户和/或通过处理单元自动地基于概括呈现带370识别其它类型的事件,例如,与GI道有关的事件。举例来说,用户可能能够容易在基本上静态的或者非信息性的图像流片段(例如,连续图像之间有较大类似性,或者图像中有大量内容物)之间进行区分。当图像流中的景象改变时,或者当连续帧之间的差别变得更加可检测时,通过浏览预览带,可以提前警示用户所述变化,并且用户可以采取行动,举例来说,降低流的观察速度、标记图像流中的变化的位置或时间(例如,通过产生书签或图像缩略图)、增加与检测到的变化有关的注释或评论等。在另一实例中,如果用户通过分析概括呈现带370意识到即将来临的图像是无用的或者是非信息性的,则他/她可以提高观察速度。
现在参考图3,该图图解说明了一或多个图像帧的分类的像素的实例,所述分类的像素可以用于根据本发明的实施例产生概括数据元素。在这个实例中,在RGB颜色空间中呈现像素照明值,并且根据红色像素值来布置像素。在一些实施例中,并不对所有图像像素都进行分类;举例来说,可以只使用来自一或多个图像的选定像素子集,例如图像的被剪切的部分。可以根据图像的被良好照明的区域来选择剪切部分。基于装置的照明分配,剪切部分可以从一个成像装置到另一个成像装置改变。在曲线图400的当前实例中,对图像中的10x104像素当中的3.5xl04的子集进行分类。曲线图400的X轴中展示了像素数目,而Y轴中展示了从0到255范围内的像素照明值。
曲线图400中的线410表示红色像素的值,线420表示绿色像素的值,而线430表示蓝色像素的值。在根据色度相关分类参数对像素进行分类之后,可以举例来说通过发现色度相关像素分类参数的中间值而将像素子集分成两个集合。曲线图400中的点444用色度相关像素分类参数的中间值来表示像素,在这个实例中这个中间值是可以使用其它方法将像素划分成两个集合,举例来说,像素的平均值或固定(例如,预定)阈值。
可以基于选定的像素值将像素子集分成两个集合。在一个实例中,选定值可以是第一分类参数的中间值,并且第一集合可以包含所有值低于中值(例如,所有在点(0,0)到点444之间的值)的像素。在这个实例中,第二集合可以包含所有值高于中值(例如,所有具有大于曲线图中的点444的X坐标的值)的像素。可以选择其它值以便将像素分成两个集合。
在将像素分成两个集合之后,可以根据第二分类参数以降序布置第一集合,并且可以根据第二分类参数以升序布置第二集合。所述集合可以(举例来说)布置在允许排序的两个列表、阵列或其它数据结构中。第二分类参数可以例如基于像素的亮度而与明度相关。举例来说,明度相关的分类参数可以是RGB颜色空间中的红色像素值。活体内图像的红色值可以与像素亮度高度相关。在另一实施例中,像素可以变换成HSV颜色空间,H(色调值,主波长)可以用作第一分类参数,并且像素的V值(例如,亮度值)可以用作第二分类参数。可以使用其它数目的分类参数。
所述两个排序的列表可以组合或附加到单个列表中,如曲线图400所示。可以使用其它方法和其它像素分类参数对像素进行分类,并且将像素分成两个(或更多个)集合。可以使用组合成单个列表的布置列表产生概括数据元素。
现在参考图4,该图是根据本发明的实施例的用于产生概括呈现元素的方法的流程图。举例来说可以由处理器或例如概括图像呈现产生器30等计算单元接收到一或多个图像帧。图像帧可以在RGB颜色空间中表示,并且可以包含每个像素的R、G和B值。在操作500中,可以从每一图像帧中选择一个像素子集。所述像素子集可以包含(举例来说)每一图像的某个预定区域内的像素(例如,图像帧中的预定大小和位置的中央圆形或正方形区域中的像素)。在一些实施例中,像素子集可以选择为使得像素满足某个算术条件。在一些实施例中,可以使用图像帧的所有像素。
在操作502中,可以根据第一分类参数对像素进行分类。在一个实施例中,第一分类参数可以是色度相关的,并且可以反映像素颜色的感知强度。第一分类参数的实例包含:像素的R、G或B值,或者这些值例如(在RGB颜色空间中的)线性或非线性组合。所述像素还可以转换成不同颜色空间,例如HSV,并且可以使用初始颜色空间或新的颜色空间中的像素值的任何线性或非线性组合作为分类参数。色度相关分类参数的另一实例是HSV颜色空间中的像素的H(色调)值。
可以使用其它分类参数。举例来说,可以激活不同图像处理检测器,并且可以为这个图像中(或多个图像中)的每个像素获得检测器得分。在一个实施例中,第一分类参数可以是像素的内容物检测得分。授予布扎格洛(Buzaglo)等人的第7,567,692号美国专利和授予皮乐格(Peleg)的第13/729,263号美国专利申请中公开了可以用于获得每个像素的内容物检测得分的示范性内容物检测器,这两个专利都被转让给本发明的共同受让人并且以引用方式并入本文中。可以使用其它方法获得每个像素的内容物检测得分。
在操作504中,可以将分类的像素分成两个集合。可以举例来说通过计算像素的第一分类参数值的中间值或平均值来执行分成两个集合。例如,第一像素集合可以包含具有低于中值的分类参数值的像素,并且第二像素集合可以包含具有高于中值的分类参数值的像素。可以使用其它方法将分类的像素分成两个集合。举例来说,可以使用第一分类参数的预定或固定值作为阈值,并且可以向第一集合指派高于阈值的所有像素值,并且可以向第二集合指派其余像素。
在操作506和508中,可以根据第二分类参数对每一像素集合进行分类。第二分类参数可以包含(举例来说)像素值的任何线性或非线性组合,例如R、G和B(在RGB颜色空间中)。曲线图400中展示的示范性分类参数是R(红色值)。所述像素还可以转换成不同颜色空间,例如HSV,并且可以使用新的颜色空间中的像素值的任何线性或非线性组合作为第二分类参数。可以使用从一个颜色空间到另一个颜色空间(例如,从RGB颜色空间到HSV颜色空间)的图像像素和在HSV颜色空间中表示的每一像素的V值对每一像素集合进行分类。可以根据第二分类参数对第一集合(举例来说下部集合)进行分类,并且像素可以在列表中以降序布置。可以根据第二分类参数对第二集合进行分类,并且像素可以在列表中采用升序。当以降序对一个集合进行分类并且以升序对另一个集合进行分类时,所得的布置可以创建一个中间部分,这个中间部分在概括数据元素中是较暗的,并且可以指示所表示的图像帧中的腔孔的外观和/或大小。
在一些实施例中,第二分类参数可以是基于腔检测器得分。腔检测器可以包含图像处理功能性,其可以(举例来说)针对图像帧的每个像素提供一个腔得分。腔得分可以指示描绘图像中的腔孔的像素的概率。可以举例来说基于像素照明参数和/或基于图像中的形状辨识方法的边缘检测来执行腔检测。在授予斯普瑞多诺(Spyridonos)等人的美国专利申请公开案20110044515中公开了可以使用的检测腔孔(例如,腔斑块)的示范性方法。在这个实例中,第一分类参数可以是根据像素的内容物得分。在指派了内容物得分(例如,在操作502中)之后,可以基于中值或平均内容物得分将像素分成两个集合,并且可以根据腔得分对像素进行分类。
在操作510中,可以对排序列表进行采样。举例来说,排序列表中的像素数目可以是35,000个,而针对概括数据元素选择的像素数目可以在举例来说20到50个像素的范围内。因此,采样方案可能需要大量减少像素数目。实例采样方案可以包含通过使用固定间隔从分类的列表中选择像素,举例来说可以选择分类的列表中的每200个像素当中的一个像素。选定像素可以满足某个条件,例如,所述间隔中的具有(分类参数或另一选定值的)最高值的像素。在另一实例中,可以选择每隔N个像素(例如,任意地)。
在又一实例中,可以定义采样方案,使得概括数据元素将包含几个不同部分,每一部分表示帧的某个特性。可以选择分类的像素使得创建多个可检测的部分,举例来说,三个可检测的部分,例如,如图2A所示,概括数据元素的顶部、中间和底部结构,其可以表示肠道内容物像素(图2A中的上部部分)、腔孔(图2A中的中间部分)和组织像素(图2A中的底部部分)。为了提高所述部分之间的差别并且创建信息概括呈现,采样方案可以是非线性的,并且从一个部分中选择的像素可以比从其它部分中选择的像素多。在一个实施例中,可以从较暗的部分(例如,包含表示腔孔的较暗像素的中间部分)中选择(采样)更多像素。举例来说,参考图3中的曲线图400,可以从点444周围的区域中采样更多像素,点444对应于图像中的表示腔孔的较暗像素。这样的采样方案可以强调或加亮可以基于图像中的腔孔的大小检测的图像帧属性和/或肠道收缩或其它事件。可以不太密集地对来自曲线图的其它区域的像素进行采样。如果对图像帧执行了腔检测(例如,为了确定每个像素的腔得分),则可以计算腔孔的面积(例如,通过确定腔孔中的像素的数目)。类似地,如果执行了内容物检测,则可以计算图像中的含有内容物(或清楚组织)的面积。可以对图像帧的每一区域(内容物、腔和组织)进行采样,并且可以选择表示每一区域的像素以产生概括数据元素。
在对像素集合进行采样之后,可以组合或附加经过采样的像素以产生表示图像帧的概括数据元素,例如条(操作512)。在一些实施例中,如果针对多个图像帧计算概括数据元素,则可以针对多个图像中的每个图像产生一个概括数据元素,接着可以计算概括数据元素的平均值(例如,概括数据元素的每个部分的平均值)。在其它实施例中,可以通过如上所述对来自多个图像的像素进行分类并且对其进行排序和采样来计算多个图像的概括数据元素。可以使用从多个帧创建概括数据元素的其它方法。
举例来说可以通过以长方形或带的形式邻近地定位或对准概括数据元素来组合多个产生的概括数据元素(例如,像素条)以创建概括呈现。所产生的概括呈现可以采用固定(或静态)带的形式(例如,图2B中的概括呈现带370),或者采用动态带的形式(例如,图5A-5D的动态预览带240)。
可以举例来说通过使概括数据元素例如在纵向预览带或窗(举例来说在图5A-5D中展示的)中彼此邻近地定位而基于概括数据元素产生动态预览带。在一些实施例中,可以通过在固定或恒定预览带的一部分上放大而产生动态预览带,其中预览带的被放大或扩大的部分与可以在图像流观察窗中同时显示的图像流部分相关联。
检验胶囊所俘获的图像流的过程可能要专业检验人员(例如,内科医生或护士)花费相对长的时间。显示图像流的即将来临的部分的详细预览可以帮助减少检验时间。在一个实施例中,可以举例来说沿着图像流观察窗提供图像的详细预览。当即将来临的图像主要是静态的、不变化的或者非信息性的时候,进行检验的内科医生可以加快图像流的观察速率。例如,对于所描绘的图像是重复的或高度相似的图像流部分,或者对于描绘主要是混浊的内容物的流部分,检验人员可以扫视动态预览带,并且分析即将来临的图像是否需要关注或者是否是信息性的。类似地,当动态预览带指示即将来临的帧非常不同、以很快的速率变化或者如果可以通过动态预览带确定需要关注的肠道事件时,检验人员可以变得更加警觉,或者降低观察速率。观察速率的这种加速或者减速可以减少观察时间,和/或可以改进检验过程,例如,提高检验的效率、质量或敏感度。
动态预览带还可以用于其它用途。在一个实例中,检验影片流的内科医生可能想要确定GI标志或器官(例如,小肠入口、结肠等)。检验人员可以举例来说在动态预览带上移动例如鼠标等输入装置,并且可以为对应于输入装置所指示的预览带片段的图像流部分显示详细预览。内科医生因此可能能够快速并且高效地确定期望的标志。
现在参考图5A-5D,图中包含根据本发明的实施例的图像流和动态预览带的示范性显示。图5A-5D各自包含在窗250中显示的图像流的当前帧,窗250是在针对当前帧计算的动态预览带240旁边或者附近同时显示的。图像流帧和预览带240不需要彼此一个接一个地显示,但是可以彼此并排显示,并且彼此分开,并且不需要靠近彼此。图5A-5D中出现的参考标号在各图当中重复,以指示系列视图中的对应元素。光标200(通过虚线指示)指定当前所显示的图像帧在图像流的所俘获的帧的完整集合中的位置,所述帧是根据俘获时间按时间排序的。帧的俘获时间可以定义为(举例来说)从程序开始到俘获到当前帧为止流逝的时间;可以使用其它俘获时间量度。时间指示241指示沿着动态预览带240的时间(例如,以小时为单位),例如,对应于线201-207。根据当前在窗250中显示的帧,时间指示241可以在沿着动态预览带240的不同位置或间隔处标记。
动态预览带中的点S和E分别指示成像程序的开始和末尾。这些点可以固定在动态带呈现中,例如,对于窗250中的每个所显示的图像帧在相同位置处指示。举例来说,动态预览带240可以与图像流的显示同时一起作为固定预定大小的带显示。动态预览带240的固定大小可以从一个计算机显示器到另一个计算机显示器变化,例如,根据检验人员查看的监视器18和/或应用程序窗口的可用大小或分辨率。举例来说,动态预览带240可以是200个像素长并且20个像素高。
光标200指示对应于当前所显示的图像的概括像素数据条。根据当前显示的一个帧(或多个帧)的俘获时间或另一次序量度,光标200可以沿着动态预览带240定位在点S到E之间的相对位置。授予戴维森(Davidson)等人的第7,505,062号美国专利中公开了在单个时隙中显示多个帧的示范性方法,该美国专利以引用方式全文并入本文中。举例来说,光标200可以位于点S到E之间,在对应于从程序开始所经过的时间与当前所显示的图像的俘获时间之间的比率的一个点中。举例来说,当光标恰好位于点S与E之间的距离的一半时,其指示当前所显示的图像是在成像程序的持续时间的一半之后俘获的。
在一些实施例中,为了提供对应于靠近接近当前所显示的图像所俘获的图像的更详细的数据,反映图像的俘获时间(例如,从成像程序开始所经过的时间)的时间线指示241可能失真,例如在动态预览带240上标记的相等时间间隔(例如,1小时)可能不以固定距离均匀分布,并且可以根据光标200的位置和当前显示的帧而动态地变化。光标200可以位于时间线上的任何点处,并且可以指示从成像程序开始到当前所显示的图像所经过的时间与程序持续的时间总量之间的比率或比例。应注意,虽然时间比例失真,但是光标200沿着预览带240的位置可以准确地反映所述比率。本文中相对于图6A和6B进一步描述了根据帧的俘获时间并且与同时显示的帧对应的帧的分布。
线201-207可以指示帧俘获时间的固定时间间隔。帧俘获时间可以举例来说是绝对时间(俘获到帧的一天中的时间)、相对于图像俘获开始的时间或某个其它时间量度。举例来说,如果图5A-5D中显示的程序总共持续8个小时,则每一条线可以指示一个小时。可以使用其它时间间隔。可以在图5A-5D的系列中看到,在每一图中,根据窗250中的当前所显示的图像的俘获时间,线201-207可以位于沿着动态预览带240的不同位置中。图5A-5D展示了在整个单个成像程序过程中按照俘获时间的升序俘获的四个图像。图5A和5B中的图像是在第一小时(通过线201指示)与第二小时(通过线202指示)之间俘获的,而图5C和5D中的图像是在程序的第二小时与第三小时(通过线203指示)之间俘获的。
可以观察到,动态预览带240包含在所有四个图5A-5D中非常类似的部分,举例来说动态预览带240的位于点S与线201之间的部分,和线203到线E之间的部分。改变最大的部分是与窗250中目前所显示的图像相关联的部分,在这个实例中,这些部分位于线201到203之间。这些部分经过修改以反映当前和/或最近所显示的图像帧的像素特性,并且可以提供图像流中的即将来临的帧的详细预览。沿着预览带240可能被标记或者视觉上被强调或可能未被标记或者视觉上未被强调的预览窗242可以指示最详细或放大的预览带240部分。在一些实施例中,可以为即将来临的图像以及最近查看的图像两者提供动态预览带240的最详细预览部分。动态预览带240的位于光标200正好前面的部分和位于光标200正好后面的部分可以向观看者提供最详细的信息,而动态预览带240的其余部分可以提供较不详细的信息或者分辨率较低的信息。动态预览带240的这样的连续地更新的计算可以允许检测图像流中的不同帧特性和/或动力相关事件,并且可以允许进行检验的内科医生举例来说在检验图像流的基本上静态的或非信息性部分时对于图像流中的即将来临的变化更加警觉。
现在参考图6A,该图图解说明了根据本发明的实施例的位于动态预览带上的预览带元素(表示图像帧)的时间失真的实例。所述实例反映了时间失真函数,所述时间失真函数被应用于或者相关于表示正在图像流观察窗中显示的一或多个特定图像帧的动态预览带元素(或者例如使用输入装置选择的预览带元素)在预览带上的位置。在这个实例中,动态预览带的长度包含大概510个像素,在曲线图440的X轴中展示。可以使用其它长度。图像流中的图像的数量大概是56,000个,如通过曲线图440的Y轴中的帧标识(“帧ID”)所指示。曲线450使帧ID(其举例来说是从成像程序开始起俘获的帧的连续编号)与在所产生的动态预览带中的位置相关。曲线图中的点452对应于在图像流观察窗中显示的当前帧,当前帧在这个实例中对应于帧ID 150,000。
曲线图440中展示的函数可以是分段线性或非线性的。在这个实例中,所述函数是非线性的,并且可以分成三个片段:从曲线图中的点(0,0)到点451的第一片段,从点451到453的第二片段,以及从点453到455的第三片段。曲线的斜率可以在这些片段之间实质性变化-在第一片段中,斜率十分陡峭,并且随着其接近点451而逐渐地变得不太陡峭,在第二片段中,曲线450基本上是线性的,几乎不倾斜(几乎水平的),并且在第三片段中,斜率开始接近水平并且朝点455逐渐地变得更陡峭。对应于第一片段的图像帧的数目大概是16,000个,这通过大概100个像素条表示(在动态预览带中)。在第二片段中,每一帧对应于动态预览带中的单个像素条,换言之,长度为100个像素的带表示100个图像。第二片段对应于动态预览带的详细部分,其提供与跟曲线的第二片段相关联的图像帧相关的最详细信息。对应于第三片段(在点453到455之间)的图像帧的数目大概是40,000个,并且这些帧与动态预览带的包含剩余像素条的最后部分(在这个实例中大概310个)相关联。可以使用其它数目的条和帧。在这个实例中,曲线的第一和第三片段与动态预览带的减少的数据部分相关联。应注意,这些片段中的时间失真不是线性的,并且在每一片段内变化,使得最减少的数据与图像流的边缘或末尾(例如,流的开始和末尾)相关联,并且随着帧ID更接近显示的当前帧,数据更加详细。
在其它实施例中,所述函数可以是分段线性的,并且可以类似地分成三个片段,第一片段具有预定的陡峭斜率,对应于图像流中的较早查看的图像,第二片段具有几乎水平的斜率(对应于预览窗,例如,预览带的窗242),并且第三片段具有预定的陡峭斜率,对应于图像流中尚未显示的图像,并且不逼近当前所显示的图像帧。
这些实例示范了位于动态预览带上的预览带元素的时间失真,以便为邻近于当前显示的帧的图像帧提供更详细的数据,并且为遥远的帧提供更少的数据。可以举例来说针对每个所显示的帧或者每个预定的时间周期调整时间失真函数。当检验所显示的图像流时,当前帧ID前进,并且可以不断地重新计算或更新时间失真函数,以便提供与目前显示的帧和邻近于目前显示的帧的有限数目的帧相关的更详细的像素和帧信息(例如,一个像素条表示100个帧的序列的一个帧),并且为离目前显示的帧较远的帧提供不太详细的信息(其中一个像素条可以表示例如50或100个帧)。在一些实施例中,曲线450可包括多于三个片段,并且针对每个片段可以应用不同的时间失真函数。
现在参考图6B,该图图解说明了各种时间失真函数,每一个时间失真函数与在不同时间俘获的图像帧相关。参考标号在图6A和6B之间重复以指示对应元素。可以根据通过曲线450、460和470表示的时间失真函数来产生三个动态预览带。所有动态预览带都是针对相同图像流产生的,并且变化是由于所显示的当前图像帧所致。在这个实例中产生的动态预览带的长度包含大概510个像素,在曲线图441的“动态预览带上的位置”的X轴中展示(可以使用其它长度),并且通过动态预览带表示的图像流中的图像的数量大概是56,000个,如通过曲线图441的Y轴中的帧标识(“ID”)所指示。曲线450、460和470各自使帧ID与对应预览带元素在所产生的动态预览带中的位置相关。曲线450上的点452对应于检验图像流期间的时间点,其中在图像流观察窗中显示的帧在这个实例中对应于帧ID 150,000。曲线460上的点462对应于检验相同图像流期间的不同时间点,在图像流观察窗中显示的帧对应于帧ID230,000。曲线470上的点472对应于检验相同图像流期间的又一时间点,在图像流观察窗中显示的帧对应于帧ID 380,000。在一些实施例中,可以基于帧俘获时间而不是帧ID来计算帧与在动态预览带上的位置的相关。
应注意,表示在各种时间点处显示的当前帧的所有点(例如,点452、462、472)位于一条直线480上。这反映了位于动态预览带上在对应于正显示的图像的俘获时间的点处的光标(例如,光标200)的线性前进,与确定表示图像的其它预览带元素在动态预览带上的位置的时间失真函数无关。
曲线450的位于点451到453之间的片段与正在显示帧ID 150,000时显示的动态预览带的最详细数据片段相关。类似地,曲线460的位于点461到463之间的片段与在显示帧ID230,000时显示的动态预览带的最详细数据片段相关,并且曲线470的位于点471到473之间的片段与在显示帧ID 380,000时显示的动态预览带的最详细数据片段相关。
现在参考图7,该图是根据本发明的实施例的用于显示动态预览带的方法的流程图。在操作600中,可以举例来说通过例如接收器12等图像接收器来接收和存储图像流。所述流可以包含举例来说通过摄像机或通过活体内成像装置连续地俘获的多个图像,并且每一图像可以具有连续的编号和/或可以与一个俘获时间相关联。
在操作602中,可以针对图像流计算初始预览带。初始预览带可以包括一些预览带元素,例如,概括数据元素310和320,并且每一元素可以是针对一或多个图像帧计算的。在一些实施例中,可以用其它方法计算初始预览带的预览带元素,举例来说通过计算图像帧的颜色的平均值。在初始状态中,可以产生预览带并且在所表示的图像帧之间没有时间失真,例如,每一预览带元素可以表示来自图像流的相同数量的帧。初始预览带可以是固定的或静态的。在其它实施例中,可以产生初始预览带,以便针对图像流的一组第一帧产生详细预览数据(例如,针对第一帧并且针对某个数目的邻近帧),并且针对其余帧产生减少的预览数据。在这个实施例中,预览带的第一部分可以向用户显示详细预览信息,用户可以使用这个信息来检测图像属性,例如:明度参数、颜色或色度参数、腔孔大小、外观、图像属性的位置和变化或沿着详细预览部分的景象变化。用户还可以检测与动态预览带的详细部分相关联的帧的混浊内容物等级。在一些实施例中,可以自动执行对这些属性的检测(例如,通过例如处理器14等处理单元),并且可以向用户显示检测到的属性或图像流的变化。在一个实例中,可以通过分析动态预览带的详细部分在图像流中检测景象的变化,并且可以向用户显示所述变化的指示,举例来说作为动态预览带上或沿着图像流的标记或指示。
在操作604中,可以向用户显示来自流的第一图像(或多个图像),举例来说在初始预览带旁边显示。当图像流开始播放时,例如,当用户按压与流式传输显示器相关联的用户界面上的“播放”按钮时,可以用本文中描述的动态预览带取代初始预览带。
在操作606中,可以为可以从图像流同时地、基本上同时地或并行地显示的一个图像(或多个图像)计算动态预览带。在另一选项中,用户可以例如使用例如鼠标等输入装置来选择动态预览带上或初始预览带上的一个点或片段,并且可以针对图像流的选定部分计算和显示新的动态预览带。可以产生动态预览带,以便与邻近于并行显示的图像的图像对应地计算详细预览数据,并且对应于遥远的图像计算减少的预览数据。预览带元素的产生可以包含举例来说本文中在图4中列举的操作。在一些实施例中,可以使用其它产生图像的预览带或概括图形呈现的方法,例如,授予霍尔(Horn)等人的第7,215,338号美国专利和/或授予霍尔(Horn)等人的第20070060798号美国专利申请公开案中公开的方法。产生详细预览数据可以包含产生对应于单个帧的概括像素数据,例如,像素条形式的预览带元素。可以针对成像程序的检验人员查看的当前所显示的图像帧并且针对邻近于当前帧定位的图像帧产生详细预览数据。在一个实施例中,可以针对所显示的当前图像、并且针对图像流中的预定数目(例如,50个)先前图像和/或即将来临的图像、或者针对在当前所显示的图像之前和/或之后的预定时间周期俘获的图像计算详细预览数据。
可以针对位置离当前所显示的图像更远的图像产生减少的预览数据,所述图像例如是位置离连续图像流中的目前帧有超过预定数目的图像的距离的图像(或者在当前显示的帧之前或之后的多于预定或计算出的时间周期所俘获的图像)。在一个实施例中,减少的预览数据可以包含多个预览带元素(例如,像素条),每一预览带元素概括对应于来自图像流的多个连续图像的像素数据。在一些实施例中,可以存在不同程度的减少的预览数据,并且在预览带中可以存在针对远离当前显示的帧的帧显示的逐渐减少的细节等级,例如,根据所述帧离当前帧的距离。在其它实施例中,预览窗(例如,预览窗242)可以为图像流的一部分呈现详细预览数据,而预览带的其余部分可以为不与动态预览带的预览窗部分相关联的图像呈现减少的预览数据。
在操作608中,可以举例来说与针对当前显示的帧产生的动态预览带一起显示图像流的一或多个帧。动态预览带可以位于显示器上的各种位置中。在一些实施例中,图像流和动态预览带可以在分开的监视器或显示器上同时显示。可以获得用户输入,举例来说,用户可以选择或点击动态预览带上的某个点,以便显示与所点击的选定时间点相关联的图像流的片段或部分。
操作606-608可以例如以固定或变化的时间间隔或者在显示了每预定数目个帧之后举例来说间歇性地重复、循环或者迭代。可以举例来说在图像流检验的持续时间的整个过程中连续地或基本上连续地重复操作606-608,使得动态预览带被重复地重新计算并且与视频流窗中显示的当前图像帧适配。
应注意,图像流未必需要是活体内图像流。可以针对任何其它类型的图像(举例来说,安全或监视相机等俘获的影片、图像流等)产生减少的和动态的预览数据。
可以使用其它操作或系列操作。
本文中公开了不同实施例。某些实施例的特征可以与其它实施例的特征组合;因此,某些实施例可以是多个实施例的特征的组合。
已经为了说明和描述而呈现了前面对本发明的实施例的描述。前面的描述不意在是详尽的或者将本发明限于所公开的精确形式。本领域的技术人员应明白,鉴于上面的教示可以做出许多修改、变化、替换、改变和等效物。因此,应理解,所附权利要求书意在涵盖属于本发明的真实精神内的所有这些修改和改变。
Claims (21)
1.一种用于显示通过活体内成像装置俘获的图像流的计算机实施的方法,所述方法包括:
接收通过所述活体内成像装置俘获的图像流,所述图像流包括多个图像帧,每一帧包括多个像素;
显示所述图像流的视频显示,其中在每一时隙中显示至少一个帧,并且根据所述帧的帧俘获时间连续地显示所述帧;
产生动态预览带,所述动态预览带与在所述视频显示中同时显示的至少一个图像帧相关,其中所述动态预览带包括详细数据片段和减少的数据片段,并且其中所述详细数据片段是针对在所述视频显示中同时显示的所述至少一个帧产生的;以及
在视觉显示单元上沿着所述图像流的所述视频显示来显示所述动态预览带。
2.根据权利要求1所述的方法,其中针对邻近于在所述视频显示中同时显示的所述至少一个帧的帧产生所述详细数据片段。
3.根据权利要求1所述的方法,其中针对由用户选择的所述图像流的片段产生所述详细数据片段。
4.根据权利要求1所述的方法,其中针对不邻近于在所述视频显示中当前显示的所述帧的帧产生所述减少的数据片段。
5.根据权利要求1所述的方法,其中根据来自所述图像流的所显示的当前图像连续地更新所述动态预览带。
6.根据权利要求1所述的方法,其中在所述视觉显示单元上视觉上强调所述详细数据片段。
7.根据权利要求1所述的方法,其包括基于所述动态预览带确定图像属性或肠道事件。
8.一种用于显示通过活体内成像装置俘获的图像流的系统,所述系统包括:
视觉显示单元;以及
处理器,用以:
接收通过所述活体内成像装置俘获的图像流,所述图像流包括多个图像帧,每一帧包括多个像素;以及产生动态预览带,所述动态预览带与在所述视觉显示单元中当前显示的所述图像帧相关,其中所述动态预览带包括详细数据片段和减少的数据部分,并且其中所述详细数据片段是针对在所述视觉显示单元中当前显示的所述帧并且针对邻近帧产生的,
其中所述视觉显示单元被配置成显示所述图像流的视频显示,并且其中在每一时隙中显示至少一个帧,并且根据所述帧的帧俘获时间连续地显示所述帧,所述视觉显示单元进一步用以沿着所述图像流的所述视频显示来显示所述动态预览带。
9.根据权利要求8所述的系统,其中所述处理器用以针对邻近于在所述视频显示中同时显示的所述至少一个帧的帧产生所述详细数据片段。
10.根据权利要求8所述的系统,其中所述处理器用以根据来自所述图像流的所显示的当前图像连续地更新所述动态预览带。
11.一种用于显示通过活体内成像装置俘获的图像流的计算机实施的方法,所述方法包括:
接收通过所述活体内成像装置俘获的图像流,所述图像流包括多个图像帧,每一帧包括多个像素;
针对所述帧的至少一子集,产生概括数据元素,每一概括数据元素对应于来自所述图像流的至少一个帧,其中产生概括数据元素包括:
根据第一分类参数对一或多个图像帧的像素进行排序,所述第一分类参数基于像素值,或基于检测器得分,或基于像素值和检测器得分的组合;
根据预定采样方案对所述排序的像素进行采样以获得排序的像素的经过采样的集合;以及
组合排序的像素的所述经过采样的集合的像素以形成概括数据元素;
组合所述概括数据元素以形成概括图像呈现;以及
在视觉显示单元上显示所述概括图像呈现。
12.根据权利要求11所述的方法,其中产生概括数据元素包括根据像素颜色值或根据像素在每一图像中的区域或根据像素的子集是否满足某个算术条件从每一图像帧选择像素的一子集,并且其中对像素进行排序包括对像素的所述子集进行排序。
13.根据权利要求11所述的方法,其中组合所述概括数据元素以形成概括图像呈现包括使所述概括数据元素邻近地定位。
14.根据权利要求11所述的方法,其中所述第一分类参数是基于在所述图像帧中检测腔孔。
15.根据权利要求11所述的方法,其中在R、G、B(红、绿、蓝)颜色空间中表示像素,并且基于R、G和/或B值的组合来计算所述第一分类参数。
16.根据权利要求11所述的方法,其包括在视觉显示单元上显示所述图像流的视频显示,其中在每一时隙中显示至少一个帧,并且根据所述帧的帧俘获时间连续地显示所述帧;其中沿着所述图像流的所述视频显示来显示所述概括图像呈现。
17.根据权利要求11所述的方法,其中产生概括数据元素包括根据第二分类参数对一或多个图像帧的像素进行重新排序,所述第二分类参数基于像素值,或基于检测器得分,或基于像素值和检测器得分的组合。
18.根据权利要求17所述的方法,其包括:
基于所述第一分类参数将所述分类的像素分成两个集合,
根据所述第二分类参数以降序布置所述两个集合中的第一集合,以及
根据所述第二分类参数以升序布置所述两个集合中的第二集合。
19.根据权利要求11所述的方法,其中所述概括数据元素是像素的线。
20.根据权利要求11所述的方法,其中帧的所述子集包含来自所述图像流的连续图像帧的序列。
21.一种用于显示通过活体内成像装置俘获的图像流的系统,所述系统包括:
处理器,用以:
接收通过所述活体内成像装置俘获的图像流,所述图像流包括多个图像帧,每一帧包括多个像素;针对所述帧的至少一子集,产生包括概括数据元素的预览带,每一概括数据元素对应于来自所述图像流的至少一个帧,其中产生概括数据元素包括:
根据第一分类参数对一或多个图像帧的像素进行排序,所述第一分类参数基于像素值,或基于检测器得分,或基于像素值和检测器得分的组合;
根据预定采样方案对所述排序的像素进行采样以获得排序的像素的子集;以及
组合排序的像素的所述子集的像素以形成概括数据元素;
组合所述概括数据元素以形成概括图像呈现;以及
视觉显示单元,用以显示所述概括图像呈现。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261666142P | 2012-06-29 | 2012-06-29 | |
US61/666,142 | 2012-06-29 | ||
PCT/IL2013/050550 WO2014002096A2 (en) | 2012-06-29 | 2013-06-27 | System and method for displaying an image stream |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104350742A CN104350742A (zh) | 2015-02-11 |
CN104350742B true CN104350742B (zh) | 2018-07-06 |
Family
ID=49783962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380030190.5A Active CN104350742B (zh) | 2012-06-29 | 2013-06-27 | 用于显示图像流的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10405734B2 (zh) |
EP (1) | EP2868100B1 (zh) |
JP (1) | JP6342390B2 (zh) |
CN (1) | CN104350742B (zh) |
WO (1) | WO2014002096A2 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140028820A1 (en) * | 2012-07-24 | 2014-01-30 | Capso Vision, Inc. | System and Method for Display of Capsule Images and Associated Information |
US10204411B2 (en) | 2014-05-09 | 2019-02-12 | Given Imaging Ltd. | System and method for sequential image analysis of an in vivo image stream |
EP3226551A1 (en) * | 2014-11-27 | 2017-10-04 | Olympus Corporation | Image playback apparatus and image playback program |
DE112015005733T5 (de) * | 2015-01-23 | 2017-09-14 | Olympus Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm |
US9942294B1 (en) * | 2015-03-30 | 2018-04-10 | Western Digital Technologies, Inc. | Symmetric and continuous media stream from multiple sources |
US10478047B2 (en) * | 2016-09-23 | 2019-11-19 | Ankon Medical Technologies (Shanghai) Co., Ltd | System and method for using a capsule device |
US10288410B2 (en) * | 2016-11-10 | 2019-05-14 | The Boeing Company | Method and system for identifying wire contact insertion holes of a connector |
JP6624046B2 (ja) * | 2016-12-28 | 2019-12-25 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
CN107484019A (zh) * | 2017-08-03 | 2017-12-15 | 乐蜜有限公司 | 一种视频文件的发布方法及装置 |
JP6941233B2 (ja) * | 2018-06-04 | 2021-09-29 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
US10506921B1 (en) * | 2018-10-11 | 2019-12-17 | Capso Vision Inc | Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract |
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
EP4076130A1 (en) | 2019-12-19 | 2022-10-26 | Ambu A/S | Image capture selection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101248452A (zh) * | 2005-08-22 | 2008-08-20 | 奥林巴斯株式会社 | 图像显示装置 |
WO2011118288A1 (ja) * | 2010-03-23 | 2011-09-29 | オリンパス株式会社 | 蛍光観察装置 |
Family Cites Families (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3909792A (en) | 1973-02-26 | 1975-09-30 | American Optical Corp | Electrocardiographic review system |
JPS5519124A (en) | 1978-07-27 | 1980-02-09 | Olympus Optical Co | Camera system for medical treatment |
JPS5745833A (en) | 1980-09-01 | 1982-03-16 | Taeko Nakagawa | Stomack camera |
US5993378A (en) | 1980-10-28 | 1999-11-30 | Lemelson; Jerome H. | Electro-optical instruments and methods for treating disease |
US4936823A (en) | 1988-05-04 | 1990-06-26 | Triangle Research And Development Corp. | Transendoscopic implant capsule |
JPH04109927A (ja) | 1990-08-31 | 1992-04-10 | Toshiba Corp | 電子内視鏡装置 |
JP2643596B2 (ja) | 1990-11-29 | 1997-08-20 | 株式会社日立製作所 | スカラ量分布表示方法 |
DE69222102T2 (de) | 1991-08-02 | 1998-03-26 | Grass Valley Group | Bedienerschnittstelle für Videoschnittsystem zur Anzeige und interaktive Steuerung von Videomaterial |
US5392072A (en) | 1992-10-23 | 1995-02-21 | International Business Machines Inc. | Hybrid video compression system and method capable of software-only decompression in selected multimedia systems |
JP3020376B2 (ja) | 1993-03-26 | 2000-03-15 | サージミヤワキ株式会社 | 動物用体内型個体識別器具 |
IL108352A (en) | 1994-01-17 | 2000-02-29 | Given Imaging Ltd | In vivo video camera system |
US5784175A (en) | 1995-10-05 | 1998-07-21 | Microsoft Corporation | Pixel block correlation process |
US6222547B1 (en) | 1997-02-07 | 2001-04-24 | California Institute Of Technology | Monitoring and analysis of data in cyberspace |
US6240312B1 (en) | 1997-10-23 | 2001-05-29 | Robert R. Alfano | Remote-controllable, micro-scale device for use in in vivo medical diagnosis and/or treatment |
US6219837B1 (en) | 1997-10-23 | 2001-04-17 | International Business Machines Corporation | Summary frames in video |
US6188403B1 (en) | 1997-11-21 | 2001-02-13 | Portola Dimensional Systems, Inc. | User-friendly graphics generator using direct manipulation |
IL122602A0 (en) | 1997-12-15 | 1998-08-16 | Tally Eitan Zeev Pearl And Co | Energy management of a video capsule |
US6097399A (en) | 1998-01-16 | 2000-08-01 | Honeywell Inc. | Display of visual data utilizing data aggregation |
US8636648B2 (en) | 1999-03-01 | 2014-01-28 | West View Research, Llc | Endoscopic smart probe |
EP1166269B1 (en) | 1999-03-30 | 2018-05-23 | TiVo Solutions Inc. | Multimedia program bookmarking system |
IL134017A (en) | 2000-01-13 | 2008-04-13 | Capsule View Inc | Camera for photography inside the intestines |
US7039453B2 (en) | 2000-02-08 | 2006-05-02 | Tarun Mullick | Miniature ingestible capsule |
WO2001065995A2 (en) | 2000-03-08 | 2001-09-13 | Given Imaging Ltd. | A device and system for in vivo imaging |
US6709387B1 (en) | 2000-05-15 | 2004-03-23 | Given Imaging Ltd. | System and method for controlling in vivo camera capture and display rate |
IL163684A0 (en) | 2000-05-31 | 2005-12-18 | Given Imaging Ltd | Measurement of electrical characteristics of tissue |
FR2812293B1 (fr) | 2000-07-28 | 2002-12-27 | Rhodia Chimie Sa | Procede de synthese de polymeres a blocs par polymerisation radicalaire controlee |
EP1330826A1 (en) | 2000-09-08 | 2003-07-30 | Koninklijke Philips Electronics N.V. | Reproducing apparatus providing a colored slider bar |
US20020042562A1 (en) | 2000-09-27 | 2002-04-11 | Gavriel Meron | Immobilizable in vivo sensing device |
US7119814B2 (en) | 2001-05-18 | 2006-10-10 | Given Imaging Ltd. | System and method for annotation on a moving image |
AU2002304266A1 (en) | 2001-06-20 | 2003-01-02 | Given Imaging Ltd. | Motility analysis within a gastrointestinal tract |
US7724928B2 (en) | 2001-06-20 | 2010-05-25 | Given Imaging, Ltd. | Device, system and method for motility measurement and analysis |
US7219034B2 (en) | 2001-09-13 | 2007-05-15 | Opnet Technologies, Inc. | System and methods for display of time-series data distribution |
ATE372028T1 (de) | 2002-02-12 | 2007-09-15 | Given Imaging Ltd | System und verfahren zur anzeige eines bildstroms |
US20040066398A1 (en) | 2002-10-03 | 2004-04-08 | Koninklijke Philips Electronics N.V | System and method for removing, trimming and bookmarking images of an ultrasound image sequence |
US20040184639A1 (en) | 2003-02-19 | 2004-09-23 | Linetech Industries, Inc. | Method and apparatus for the automated inspection and grading of fabrics and fabric samples |
US7557805B2 (en) | 2003-04-01 | 2009-07-07 | Battelle Memorial Institute | Dynamic visualization of data streams |
JP4493386B2 (ja) | 2003-04-25 | 2010-06-30 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
JP3810381B2 (ja) | 2003-04-25 | 2006-08-16 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
CN101288582A (zh) | 2003-04-25 | 2008-10-22 | 奥林巴斯株式会社 | 图像显示装置和图像显示方法 |
AU2004277001B2 (en) | 2003-10-02 | 2010-08-19 | Given Imaging Ltd. | System and method for presentation of data streams |
US20070268280A1 (en) * | 2004-08-23 | 2007-11-22 | Manabu Fujita | Image Display Apparatus, Image Display Method, and Image Display Program |
US7986337B2 (en) | 2004-09-27 | 2011-07-26 | Given Imaging Ltd. | System and method for editing an image stream captured in vivo |
JP2006288612A (ja) * | 2005-04-08 | 2006-10-26 | Olympus Corp | 画像表示装置 |
US20090027486A1 (en) * | 2005-08-22 | 2009-01-29 | Katsumi Hirakawa | Image display apparatus |
WO2007031946A2 (en) * | 2005-09-12 | 2007-03-22 | Dvp Technologies Ltd. | Medical image processing |
US20070060798A1 (en) * | 2005-09-15 | 2007-03-15 | Hagai Krupnik | System and method for presentation of data streams |
US7567692B2 (en) | 2005-09-30 | 2009-07-28 | Given Imaging Ltd. | System and method for detecting content in-vivo |
US7896805B2 (en) | 2005-11-23 | 2011-03-01 | Given Imaging Ltd. | In-vivo imaging device and optical system thereof |
JP4823659B2 (ja) | 2005-11-24 | 2011-11-24 | オリンパスメディカルシステムズ株式会社 | 生体内画像表示装置 |
ES2405879T3 (es) | 2006-03-13 | 2013-06-04 | Given Imaging Ltd. | Dispositivo, sistema y método para la detección automática de actividad contráctil en una trama de imagen |
US8441530B2 (en) | 2006-03-13 | 2013-05-14 | Given Imaging Ltd. | Cascade analysis for intestinal contraction detection |
US8043209B2 (en) * | 2006-06-13 | 2011-10-25 | Given Imaging Ltd. | System and method for transmitting the content of memory storage in an in-vivo sensing device |
JP2008148835A (ja) | 2006-12-15 | 2008-07-03 | Hoya Corp | 画像信号伝送システム、電子内視鏡、内視鏡プロセッサ |
JP5403880B2 (ja) | 2007-06-27 | 2014-01-29 | オリンパスメディカルシステムズ株式会社 | 画像情報の表示処理装置 |
WO2009008125A1 (ja) | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
JP5226987B2 (ja) | 2007-08-23 | 2013-07-03 | コマツ産機株式会社 | プレス機械 |
KR100868339B1 (ko) * | 2007-11-15 | 2008-11-12 | 주식회사 인트로메딕 | 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법 |
JP5379442B2 (ja) * | 2008-10-14 | 2013-12-25 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
US20120162401A1 (en) * | 2009-04-20 | 2012-06-28 | Envisionier Medical Technologies, Inc. | Imaging system |
CN102316785B (zh) | 2009-05-12 | 2014-10-08 | 奥林巴斯医疗株式会社 | 被检体内摄像系统以及被检体内导入装置 |
WO2011008209A1 (en) * | 2009-07-16 | 2011-01-20 | Jiang Gu | Virtual telemicroscope |
CN102256533B (zh) * | 2009-07-29 | 2014-03-05 | 奥林巴斯医疗株式会社 | 图像显示装置、解读辅助系统以及解读辅助方法 |
US8446465B2 (en) * | 2010-01-05 | 2013-05-21 | Given Imaging Ltd. | System and method for displaying an image stream captured in-vivo |
KR101136009B1 (ko) * | 2010-10-27 | 2012-04-17 | 아이쓰리시스템 주식회사 | 캡슐내시경용 이미지센서의 영상데이터 제어시스템 |
US20120113239A1 (en) | 2010-11-08 | 2012-05-10 | Hagai Krupnik | System and method for displaying an image stream |
US8763914B2 (en) | 2012-01-17 | 2014-07-01 | On Track Innovations Ltd. | Decoupled contactless bi-directional systems and methods |
US9514556B2 (en) * | 2012-01-31 | 2016-12-06 | Given Imaging Ltd. | System and method for displaying motility events in an in vivo image stream |
-
2013
- 2013-06-27 CN CN201380030190.5A patent/CN104350742B/zh active Active
- 2013-06-27 EP EP13810537.4A patent/EP2868100B1/en active Active
- 2013-06-27 JP JP2015519488A patent/JP6342390B2/ja active Active
- 2013-06-27 US US14/411,161 patent/US10405734B2/en active Active
- 2013-06-27 WO PCT/IL2013/050550 patent/WO2014002096A2/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101248452A (zh) * | 2005-08-22 | 2008-08-20 | 奥林巴斯株式会社 | 图像显示装置 |
WO2011118288A1 (ja) * | 2010-03-23 | 2011-09-29 | オリンパス株式会社 | 蛍光観察装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2014002096A2 (en) | 2014-01-03 |
CN104350742A (zh) | 2015-02-11 |
EP2868100A2 (en) | 2015-05-06 |
US10405734B2 (en) | 2019-09-10 |
JP2015528716A (ja) | 2015-10-01 |
EP2868100A4 (en) | 2015-09-16 |
WO2014002096A3 (en) | 2014-03-13 |
US20150320299A1 (en) | 2015-11-12 |
JP6342390B2 (ja) | 2018-06-13 |
EP2868100B1 (en) | 2019-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104350742B (zh) | 用于显示图像流的系统和方法 | |
KR102818145B1 (ko) | 생체 내 이미지들의 스트림의 스터디를 생성하고 디스플레이하기 위한 시스템들 및 방법들 | |
EP2810216B1 (en) | System and method for displaying motility events in an in vivo image stream | |
KR101708726B1 (ko) | 생체내 영상들 일부 표시 시스템 및 방법 | |
US9072442B2 (en) | System and method for displaying an image stream | |
US11776692B2 (en) | Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus | |
US8290280B2 (en) | Image processing device, image processing method, and computer readable storage medium storing image processing program | |
US7577283B2 (en) | System and method for detecting content in-vivo | |
US7567692B2 (en) | System and method for detecting content in-vivo | |
US20070060798A1 (en) | System and method for presentation of data streams | |
US10204411B2 (en) | System and method for sequential image analysis of an in vivo image stream | |
JP2007125373A (ja) | 生体内のフィーチャーを検出するためのシステム及び方法 | |
US20100083178A1 (en) | Image display apparatus, image display method, and computer program product | |
EP3005934A1 (en) | Medical device | |
KR100931947B1 (ko) | 캡슐 내시경에 의하여 촬영된 소화 기관 이미지들의 디스플레이 프로세싱 방법 | |
WO2015170321A1 (en) | System and method for motility analysis of an in vivo image stream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |