KR101708726B1 - 생체내 영상들 일부 표시 시스템 및 방법 - Google Patents
생체내 영상들 일부 표시 시스템 및 방법 Download PDFInfo
- Publication number
- KR101708726B1 KR101708726B1 KR1020127028118A KR20127028118A KR101708726B1 KR 101708726 B1 KR101708726 B1 KR 101708726B1 KR 1020127028118 A KR1020127028118 A KR 1020127028118A KR 20127028118 A KR20127028118 A KR 20127028118A KR 101708726 B1 KR101708726 B1 KR 101708726B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- portions
- layout
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000001727 in vivo Methods 0.000 title claims abstract description 22
- 230000003902 lesion Effects 0.000 claims description 61
- 239000002775 capsule Substances 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 10
- 210000001519 tissue Anatomy 0.000 description 40
- 208000037062 Polyps Diseases 0.000 description 32
- 238000003860 storage Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 15
- 210000001072 colon Anatomy 0.000 description 13
- 208000032843 Hemorrhage Diseases 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012552 review Methods 0.000 description 11
- 238000011503 in vivo imaging Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000000740 bleeding effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 210000001035 gastrointestinal tract Anatomy 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 230000000968 intestinal effect Effects 0.000 description 5
- 206010061218 Inflammation Diseases 0.000 description 4
- 208000025865 Ulcer Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004054 inflammatory process Effects 0.000 description 4
- 210000000813 small intestine Anatomy 0.000 description 4
- 231100000397 ulcer Toxicity 0.000 description 4
- 210000001198 duodenum Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 206010015150 Erythema Diseases 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000941 bile Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 208000008384 ileus Diseases 0.000 description 2
- 238000007918 intramuscular administration Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 210000001187 pylorus Anatomy 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009747 swallowing Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000015943 Coeliac disease Diseases 0.000 description 1
- 208000011231 Crohn disease Diseases 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 210000001815 ascending colon Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 210000001731 descending colon Anatomy 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 231100000321 erythema Toxicity 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007788 roughening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003384 transverse colon Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
질환 또는 해부학적 기준점 영상들 일부와 같은 생체내 영상들 일부를 표시하는 방법 및 시스템은, 신체 내강에서 획득된 생체내 영상들 스트림을 수신하는 단계, 및 의심되는 병소 영상들과 같은 관련 영상들 일부를 스트림에서, 하나 이상의 소정의 기준에 따라 선택하는 단계를 포함한다. 영상들 일부의 공간 배치가 결정되고, 선택된 영상들 일부를 적당한 크기로 재조정하고, 선택된 영상들 일부의 행과 열이 서로 인접하도록 결정된 공간 배치에 따라 사각 또는 육각 배열 레이아웃으로 표시된다.
Description
본 발명은 생체내 획득 영상 스트림 표시 방법 및 시스템에 관한 것이다. 더욱 상세하게는, 본 발명은 영상 일부(image portions)를 예를 들면 배열 형태로 배치하고 표시하는 시스템 및 방법에 관한 것이다.
환자 신체 내강을 영상화하기 위하여 삼킬 수 있는 캡슐에 의해 구현되는 생체내 촬상 시스템과 같은 생체내 촬상 방법이 사용될 수 있다. 캡슐이 GI 내강을 통과하는 동안, 촬상시스템은 예를 들면, 위장(GI)관 영상을 획득하여 외부 기록장치에 전송할 수 있다. 이러한 생체내 촬상시스템은 신체 내강에 대한 동영상 스트림 또는 정지 영상을 볼 수 있는 기반을 제공한다. 촬상 과정에서 많은 수의 영상들, 예를 들면 100,000 내지 300,000 영상들이 얻어지고 보여진다. 영상들은 순서대로 조합되고, 30-120분 간의 영상 스트림 또는 동영상이 사용자에게 제시된다.
사용자, 예를 들면 의사 또는 의료전문가는완전한 영상 스트림, 예를 들면, 생체내 장치로 획득된 영상들의 원본 스트림을 보거나, 또는 약간 줄어든 영상들의 스트림(예를 들면 비슷한 영상들이 합쳐지고 생략된), 및 서로 다른 실질적으로 모든 영상들이 제시된다. 이러한 스트림을 볼 때, 사용자는 통상 상대적으로 신속한 디스플레이 생성률, 예를 들면, 초당 20-30 프레임을 적용한다.
사용자는 영상 스트림 시청 시간을 줄이기를 원할 수 있다. 시청시간 감축에 대한 공지 방법이 존재한다. 예를 들면, 편집방법에 기반하여 전체 영상 스트림의 요약 동영상이 생성될 수 있다. 편집방법은 예를 들면, 소정 기준을 따르는 영상들의 선택을 포함한다. 단축된 동영상이 만들어지고 의사들의 시청시간 감축에 도움이 될 수 있다.
그러나, 요약 동영상을 시청하는 것은 일정한 단점 또는 문제가 있을 수 있다. 예를 들면, 실질적으로 동일한 영상들은 병소들(pathologies)을 가진다. 요약 동영상에서 불필요한 영상들이 여과될 수 있고, 일부 경우에 병소를 가지는 하나 또는 소량의 대표적인 영상 프레임이 요약 동영상에 제시될 수 있다.
사용자, 예를 들면 의사에게 다른 화면 또는 영상들의 디스플레이를 제공하여, 한편으로는 영상들 또는 영상들 일부를 자세히 검사할 수 있고 다른 한편으로는, 시청시간을, 최소한 상당히 증가시키지 않도록 하는 것이 바람직하다.
일 실시예에서, 생체내 영상들 일부를 표시하는 방법 및 시스템이 제공된다. 본 방법은 신체 내강에서 획득된 생체내 영상들 스트림을 수신하는 단계를 포함한다. 의심되는 병소를 보이거나 또는 해당하는 영상들 일부 또는 영상들은 스트림에서, 예를 들면 하나 이상의 선택 기준에 따라 선택된다. 영상들 일부는 적당한 크기로 잘라내기(cropped), 크기 조절 되고(resized), 선택된 분포방식 또는 레이아웃 배치, 예를 들면 사각 또는 육각 배열 레이아웃에 따라 공간 배열될 수 있다. 선택된 영상들 일부의 행과 열은 서로 인접하도록, 예를 들면 인접한 영상 일부들 사이 여백, 경계 또는 배경이 없도록 위치된다. 예를 들면, 하나의 영상의 영상 화소들은 또 다른 영상의 영상 화소들과, 개제되는 비-영상 화소들 없이, 붙거나 직접 인접된다.
일부 실시예들에서, 사각 배열 레이아웃에 표시되는 영상들 일부 개수는 사용자 설정에 의해 예정되거나, 영상 스트림에서 발견되는의심되는 병소 영상들 일부 개수에 따라 조정될 수 있다. 레이아웃에 보여지는 영상 일부의 공간 배치는 결정되거나 선택되고, 현재 레이아웃에 보여지는 영상 일부들의 획득 시간(capture time)을 표기하는 커서를 가지는 시간 바(time bar)가 표시된다.
일부 실시예들은 표시되어야 하는 선택된 영상 일부들 사이 유사성(similarity)을 결정하는 단계를 포함한다. 유사 영상들 일부는 시간 순서대로 레이아웃에 배열된다. 다른 실시예에서, 의심되는 모든 병소 영상 일부들이 시간 순서대로 레이아웃에 배열된다. 일 실시예에서, 레이아웃에 있는 사용자에 의해 마크된 영상 일부에 해당하는 완전한 영상 프레임이 표시될 수 있다. 선택 기준은 예를 들면 사용자에 의해 결정되거나 예정되어 시스템에 저장된다.
본 발명의 시스템 및 방법의 원리 및 작동은 도면 및 하기 상세한 설명을 참조하여 더욱 이해될 수 있고, 이들 도면은 설명을 목적으로 주어지는 것이며 이에 제한되지 않는다:
도 1은 본 발명의 실시예에 의한 생체내 촬상시스템의 개략도를 도시한 것이다;
도 2a 및 도 2b는 본 발명의 실시예에 의한 의심되는 병소를 가지는 영상을 도시한 것이다;
도 3a 및 도 3b는 예시적 디스플레이 인터페이스이며, 정상적인 건강한 조직을 가지는 프레임 일부들의 세트와 비교할 때 본 발명의 실시예에 따라 병소를 가지는 프레임 일부들의 하나의 세트(배열) 예를 보인다;
도 4a, 도 4b 및 도 4c는 예시적 디스플레이 인터페이스이며, 본 발명의 실시예에 따라 영상들 일부에 대한 레이아웃의 다른 공간 배치를 보인다;
도 5a 및 도 5b 본 발명의 실시예에 따라 다른 크기의 레이아웃을 보이는 예시적 공간 배열이다;
도 6은 본 발명의 실시예에 따른 영상들 일부 배열 표시 방법의 흐름도이다;
도 7은 본 발명의 실시예에 의한 예시적 스크린 디스플레이이다.
간단하고도 명확하게 설명할 목적으로 도면 요소들은 척도를 고려하지 않고 도시되었다. 예를 들면, 일부 요소의 치수 및/또는 종횡비는 명확하게 할 목적으로 다른 요소에 비하여 과정될 수 있다. 또한, 적당하다고 판단되는 한, 일련의 도면들에 걸쳐 상당하거나 유사한 요소들을 표기하는데 도면부호가 반복적으로 사용될 수 있다.
도 1은 본 발명의 실시예에 의한 생체내 촬상시스템의 개략도를 도시한 것이다;
도 2a 및 도 2b는 본 발명의 실시예에 의한 의심되는 병소를 가지는 영상을 도시한 것이다;
도 3a 및 도 3b는 예시적 디스플레이 인터페이스이며, 정상적인 건강한 조직을 가지는 프레임 일부들의 세트와 비교할 때 본 발명의 실시예에 따라 병소를 가지는 프레임 일부들의 하나의 세트(배열) 예를 보인다;
도 4a, 도 4b 및 도 4c는 예시적 디스플레이 인터페이스이며, 본 발명의 실시예에 따라 영상들 일부에 대한 레이아웃의 다른 공간 배치를 보인다;
도 5a 및 도 5b 본 발명의 실시예에 따라 다른 크기의 레이아웃을 보이는 예시적 공간 배열이다;
도 6은 본 발명의 실시예에 따른 영상들 일부 배열 표시 방법의 흐름도이다;
도 7은 본 발명의 실시예에 의한 예시적 스크린 디스플레이이다.
간단하고도 명확하게 설명할 목적으로 도면 요소들은 척도를 고려하지 않고 도시되었다. 예를 들면, 일부 요소의 치수 및/또는 종횡비는 명확하게 할 목적으로 다른 요소에 비하여 과정될 수 있다. 또한, 적당하다고 판단되는 한, 일련의 도면들에 걸쳐 상당하거나 유사한 요소들을 표기하는데 도면부호가 반복적으로 사용될 수 있다.
하기 설명에서, 본 발명의 다양한 양태들이 개시될 것이다. 설명 목적으로 특정한 구성 및 상세한 설명이 제공되어 본 발명을 완전히 이해할 수 있다. 그러나, 본 발명의 숙련가들은 본원에 제시된 특정 상세한 설명에 구애되지 않고 본 발명을 구현할 수 있다는 것은 명백하다. 또한 본 발명에 대한 애매 모호함이 없도록 널리 공지된 구성들은 생략하거나 단순화될 수 있다.
달리 명백하게 언급되지 않는 한, 본원의 설명에 있어서 예를 들면 "처리", "계산", "저장", "결정" 등과 같은 용어를 사용하는 것은 컴퓨터 또는 전산시스템, 또는 유사한 전산장치의 행위 및/또는 처리를 의미하는 것이고, 전사시스템 레지스터 및/또는 메모리에서의 예를 들면 전자적인 물리적 정량치로 표시되는 데이터를 전산시스템 메모리, 레지스터 또는 기타 이러한 정보 저장장치, 전송 또는 표시장치들의 물리적 정량치로 유사하게 표시되는 데이터로 조작 및/또는 전환하는 것이라는 것을 이해할 수 있다.
본 발명의 일부 실시예들은 삼킬 수 있는 자체적(autonomous) 캡슐과 같은 삼킬 수 있는 생체내 장치에 관한 것이다. 다른 실시예들은 삼킬 수 있거나 자율적일 필요는 없고, 다른 형상 또는 형태를 가질 수 있다. 본 발명의 실시예들 적용에 적합한 촬상, 수신, 처리, 저장 및/또는 디스플레이 유닛들을 포함하는 본 발명에 의한 장치는, 본원에 참조로 전체가 포함되는 "생체내 획득 영상 스트림 편집 시스템 및 방법" 명칭의 미국특허출원공개번호 2006/0074275, "생체내 비디오 카메라 시스템" 명칭의 Iddan 등에게 부여된 미국특허번호 5,604,531, 및/또는 "생체내 촬상 장치" 명칭의 Iddan 등에게 부여된 미국특허번호 7,009,634에 기재된 실시예들과 유사하다. 물론 본원에 기재된 장치 및 시스템은 다른 구성 및 다른 조합의 부품들을 가질 수 있다. 본 발명의 일부 실시예들에 의한 장치, 시스템 및 방법은 Given Imaging, Ltd.에서 상업적으로 제공되는 PillCam® SB2 또는 PillCam® Colon 캡슐 및 연결된 데이터 기록기 및 RAPID® 워크스테이션 및 소프트웨어와 유사할 수 있다.
일 실시예에서, 사용자, 예를 들면 의사는 예를 들면 바둑판식 또는 격자식 배열로 배치되는 영상들 또는 영상들 일부의 레이아웃을 볼 수 있다. 레이아웃은 촬상 과정에서 획득된 입력 영상 스트림의 영상들 서브세트, 또는 영상들 서브세트의 선택된 일부를 가진다. 배열 또는 격자는, 예를 들면, 정사각 또는 직각 또는 육각 배열일 수 있고, 선택된 일부 또는 영상들은 사용자 검토 효율을 높이도록 배열될 수 있다. 영상들 또는 이의 일부는, 하나 이상의 소정의 기준에 따라 선택될 수 있다. 전형적으로, 영상들은 영상들에서 있을 수 있는(possible) 병소를 나타내는 기준에 따라 선택될 수 있다. 다른 예에서, 영상들은 촬상된 신체 내강에서 있을 수 있는 기준점, 예를 들면 소장 입구, 결장 입구 등을 나나내는 기준에 따라 선택될 수 있다. 배열은 영상들 또는 이의 일부의 소정의 또는 가변적 분량을 포함하고, 다수의 배열들은생성되고 예를 들면 초기(original) 입력 영상 스트림에서 선택된 영상들의 총 개수에 따라, 사용자에게 표시된다.
이상 조직은 특이하고 정상조직 및 아니라 병소를 보이는 다수의 영상들 또는 이의 일부를 관찰하는 사용자 눈에 띈다. 유사하게, 영상들 또는 영상들 일부 배열에 정상조직만이 제시되면, 사용자는 현재 영상들 레이아웃에 병소가 존재하지 않는다고 속히 판단하고, 다음 배열로 넘어가 검사한다(예를 들면, 디스플레이가 재표시 또는 이동되도록 입력 장치 사용). 사용자는 디스플레이 장치에 공간 배치되는 하나 이상의 영상들 또는 영상들 일부 배열을 차례로 넘기면서 이상 조직 또는 병소 의심 조직을 쉽게 또는 신속하게 발견할 수 있다. 각각의 프레임이 상대적으로 짧은 소정의 타임 슬롯동안 표시되고 연속 영상으로 자동으로 대체되는 비디오 디스플레이와는 달리, 본 검토 방법은 각각의 의심 부위를 상대적으로 더욱 긴 시간 표시하고 사용자는 능동적으로 다음 배열로 넘어갈 수 있다. 또한, 비디오 또는 영상 스트림 디스플레이에서는, 관찰자에게는 전체 프레임이 주어지므로 사용자는 의심 및 비-의심 부위들을 둘다 분석하여야 하지만, 의심 부위들 및 영상들 배열에 따른 검토 방법은 비-의심 영상들 일부를 제거할 수 있어 완전한 프레임 분석에 요구되는 시간을 줄일 수 있다. 이러한 검토 방법은 의사의 관찰시간을 줄일 수 있고 병소가 있거나, 의심이 가거나 비정상적인 부위의 영상을 발견할 가능성이 높은 신뢰할 수 있는 진단이 가능하다.
본 발명의 예시적 실시예는 바람직하게는 섭취하거나 삼킬 수 있는 캡슐과 같은 생체내 촬상 장치에 의해 생성된 영상 스트림을 표시하는 시스템 및 방법을 제공한다. 워크스테이션은 생체내 영상들을 수신하고 영상들 서브세트 또는 영상 프레임의 선택된 서브세트 일부를, 예를 들면 디스플레이 장치 또는 모니터에 사각 바둑판식 배열 또는 격자들과 같은 다수의 레이아웃들로 표시한다.
영상 스트림은 편집되거나 감축될 수 있거고, 또한 보여질 영상들 서브세트은 먼저 보기(initial viewing) 또는 미리보기(preview)를 위하여 선택될 수 있고, 이때 편집방법은 소정의 프레임 선택 및 프레임 건너뛰기(skipping)에 기반한 수 많은 방법, 또는 소정의 기준 예를 들면 용종, 출혈 및/또는 궤양 등과 같은 공지의 증상에 속하는 영상들에 대한 알고리즘적 인식에 기반한 방법에 기반한 방법을 포함한다. 본 발명 실시예들에 의해 적용되는 편집방법은 "생체내 획득된 영상 스트림 편집을 위한 시스템 및 방법" 명칭의 미국특허공개번호 2006/0074275 및/또는 "생체내 특징부 검출을 위한 시스템 및 방법" 명칭의 미국특허공개번호 2007/0078335와 유사하거나 및/또는 이에 기술된 방법을 포함할 수 있다. 예를 들면, 미국특허공개번호 2007/0078335 도면 2에 해당하는 예시는 용종과 같은 병소 조직을 보이는 의심 영상 일부를 식별하는 방법을 교시한다.
영상들 또는 영상들 일부의 하나 이상의 배열 또는 격자는 본 발명의 실시예에 의한 특정 공간 레이아웃에 생성되고 표시된다. 일부 실시예들에서, 영상들 또는 이의 일부는 선택된 표시 영상들, 예를 들면 하나 이상의 소정의 기준에 해당하는 영상들 또는 영상들 일부를 포함한다. 바람직하게는, 선택된 표시 영상들 또는 이의 일부는 하나 이상의 소정의 기준에 따라 처리기 또는 필터에 의해 자동 검출 또는 여과된 선택된 영상들을 포함한다. 선택된 영상들 또는 선택된 영상들 일부는, 예를 들면: 용종 검출기에 의해 검출되고 용종이 있을 수 있는 것으로 표기되는 영상들 일부, 출혈 검출기에 의해 검출되고 출혈이 의심되는 영상들 일부, 병변 검출기에 의해 잠재적으로 병변을 가지는 영상들, 및 이상 검출기에 의해 검출되고 예상된 정상조직이 아닌 이상조직을 가지는 영상들 일부와 같은 영상(또는 일부)를 포함한다. 이러한 영상들 일부는 주변 조직보다 더 높은 정도의 적열상태를 가지는 조직 및/또는 소정의 위장병에서 전형적인 형상, 패턴 또는 조직상태 또는 부종, 미란, 홍반, 염증, 종양, 또는 용종과 같은 병소를 포함한다.
일 실시예에서, 선택된 영상 일부는, 예를 들면, 검출 병소 또는 의심 이상을 가지는 실질적 영상 일부를 포함할 수 있고, 또는 프레임 또는 자른 영상 버전(cropped version)의 상당 부분이 정상 영상보다 의심 이상 부위 또는 병소를 가지는 프레임 또는 자른 영상 버전을 포함할 수 있다. 예를 들면, 용종 검출기에 의해 식별되는 의심 용종이 선택된 영상 일부에 있을 수 있다. 의심 용종외에도, 의심 병소를 이루지 않는 일부 주변 배경 화소들이 선택된 영상 일부에 포함될 수도 있다. 이것은 조직 면적에서 의심 병소를 관찰하기 위한 검토자 필요에 의한 것이고, 일부 배경 화소들를 부가함으로써, 사용자는 의심되는 병소를 더욱 양호하게 식별할 수 있다. 또한, 선택된 영상 일부는 전형적으로 직사각, 정사각 육각일 수 있지만, 의심 병소들의 경계는 다른 형상으로도 형성될 수 있다. 다른 예에서, 선택된 영상 일부는 출혈 검출기에 의해 의심 출혈을 보이거나 상당하는 프레임 일부를 포함할 수 있다. 또 다른 실시예에서, 선택된 영상 일부는 의심 병변, 궤양, 염증 등을 가진다. 프레임 또는 자른 영상 버젼은 검출된 이상 부위를 가지는 않는 영상 일부를 생략할 수 있지만, 선택된 일부 또는 자른 버전은 전형적으로 정사각, 직사각 또는 육각 형태이므로, 선택된 일부의 일부분 또는 화소들은 이상 부위를 포함하지 않을 수 있고, 예를 들면 의심되는 병소 주변 조직을 포함하는 화소들은 자른 영상 버전에 포함되지 않을 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 생체내 촬상시스템이 개략적으로 도시된다. 일부 실시예들에 의하면, 시스템은 장치, 예를 들면, 캡슐(40)를 포함한다. 캡슐(40)은 삼킬 수 있는 생체내 캡슐일 수 있지만, 다른 종류의 장치 또는 적합한 구성들이 사용될 수 있다. 일 실시예에 의하면, 캡슐(40)은 데이터를 표시하고 제어하고 기타 기능을 제공하는 외부 수신 및 디스플레이 시스템과 통신한다. 예를 들면, 내부 배터리(45) 또는 무선 수신 시스템에 의해 전원이 제공된다. 다른 실시예들은 다른 구성 및 성능을 가질 수 있다.
캡슐(40)은 영상들 획득을 위한 하나 이상의 촬상기(46), 신체 내강 조명을 위한 하나 이상의 조명원(42), 및 영상 데이터 및 기타 있을 수 있는 정보를 수신기(12)와 같은 수신 장치로 전송하기 위한 송신기(41)를 포함한다. 송신기(41)는 수신기 성능을 가질 수 있고, 예를 들면, 제어 정보를 수신할 수 있다. 일부 실시예들에서, 수신기 성능은 별도의 부품에 포함될 수 있다. 예를 들면, 렌즈(49), 렌즈홀더(44) 또는 거울을 포함하는 광학 시스템은 반사광이 촬상기(46)로 집중되도록 조력한다. 렌즈홀더(44), 조면 유닛(42), 및 촬상기(46)는 기판(56)에 장착될 수 있다. 촬상 헤드(57 및/또는 58)는 광학 시스템, 광학 돔(54), 촬상기(46), 조면 유닛(42), 및 기판(56)을 포함할 수 있다.
바람직하게는, 환자 신체 외부 하나 이상의 지점에 영상 수신기(12)가 배치되며, 바람직하게는 안테나 또는 안테나 군, 영상 수신기 저장 유닛(16), 데이터 처리기(14), 데이터 처리기 저장 유닛(19), 및 예를 들면, 캡슐(40)이 기록한 영상들을 표시하는 영상 모니터(18)를 포함한다. 바람직하게는, 영상 수신기(12) 및 영상 수신기 저장 유닛(16)은 소형 휴대용이고, 영상 기록 과정에서 환자 신체에 착용될 수 있다. 데이터 처리기(14), 데이터 처리기 저장 유닛(19), 및 영상 모니터(18)는 컴퓨터 또는 워크스테이션(11)에 포함될 수 있다.
본 발명의 실시예에 의하면, 데이터 처리기 저장 유닛(19)은 영상 데이터베이스(10) 및 논리 편집 데이터베이스(20)를 포함한다. 논리 편집 데이터베이스(20)는 예를 들면, 영상 데이터베이스(10)에 저장되고,(예를 들면, 도 2의 관찰 윈도우(200)에) 관찰자에게 표시되어야 하는 영상들 또는 이의 일부를 선택하기 위한 미리-정의된(pre-defined) 기준 및 규칙을 포함한다. 일부 실시예들에서, 미리-정의된 기준 및 규칙 목록은 관찰자에 의해 선택되도록(예를 들면, 도 3a 및 3b의 선택 기준 버튼과 관련) 표시된다. 다른 실시예들에서, 규칙 또는 기준은 사용자에 의해 선택될 필요가 없다. 예시적 선택 기준은 제한적이지 않지만: 영상의 평균 강도, 영상의 R, B, 또는 G 화소들 평균값, 화소 강도의 중앙값, HSV 색공간, 이전 기준의 B/R, G/R, STD(표준편차) 값들에 기반한 기준, 영상들 차이 등을 포함한다. 일부 실시예들에서, 다수의 소정 기준은 규칙 또는 검출기와 연관되고, 예를 들면, 용종 검출기는 여러 기준을 적용하여 후보 용종이 영상이 존재하는지를 결정한다. 유사하게, 출혈 또는 적열 검출기는 다른 기준을 적용하여 영상이 의심 출혈 또는 이상 수준의 적열을 가지는 병태적 조직을 가지는지를 결정한다. 일부 실시예들에서, 사용자는 어떠한 규칙 및/또는 검출기가 활성되어야 하는지를 결정할 수 있다.
본 발명의 일 실시예에 의하면, 데이터 처리기(14), 데이터 처리기 저장 유닛(19) 및 모니터(18)는, 다른 구성들도 가능하지만, 처리기, 메모리, 디스크 드라이브, 및 입출력 장치와 같은 표준 부품을 포함하는 개인용 컴퓨터 또는 워크스테이션(11)의 일부이며, 본 발명의 시스템 및 방법은 여러 적합한 전산 시스템에서 구현될 수 있다. 입력 장치(24)는 사용자로부터(예를 들면, 포인트 장치, 클릭-휠 또는 마우스, 키, 더치 스크린, 녹음기/마이크, 기타 입력 부품들을 통하여) 입력을 수신하여 해당 명령을 전송하여 컴퓨터 부품들, 예를 들면, 데이터 처리기(14) 제어를 촉발시킨다.
데이터 처리기(14)는 하나 이상의 표준 데이터 처리기, 예를 들면 마이크로프로세서, 다중처리기, 가속회로판, 또는 임의의 기타 직렬 또는 병렬 고성능 데이터 처리기를 포함한다. 영상 모니터(18)는 컴퓨터 스크린, 통상적인 비디오 화면, 또는 영상 또는 기타 데이터를 제공할 수 있는 임의의 기타 장치일 수 있다.
바람직하게는, 촬상기(46)는 적합한 상보성 금속 산화막 반도체(CMOS) 카메라, 예를 들면 이스라엘의 Given Imaging Ltd.에 의해 특정되고 미국, 캘리포니아 Aptina Corporation에서 설계된 예를 들면 "칩 상의 카메라" 유형의 CMOS 촬상기일 수 있다. 다른 실시예들에서, 촬상기(46)는 다른 장치, 예를 들면, 전하결합소자(CCD)일 수 있다. 조명원(42)은, 예를 들면, 하나 이상의 발광다이오드, 또는 다른 적합한 광원 일 수 있다.
생체내 촬상 과정에서, 촬상기(46)는 영상들을 획득하여 영상 데이터를 송신기(41)로 보내고, 이것은 영상들을 예를 들면 무선 전자파로 영상 수신기(12)에 전송한다. 기타 신호 전송방법도 가능하고, 달리, 과정이 종료되면 데이터는 캡슐(40)에서 다운로드될 수 있다. 영상 수신기(12)는 영상 데이터를 영상 수신기 저장 유닛(16)으로 전달한다. 일정한 데이터 수집 시간 경과 후, 저장 유닛(16)에 저장된 영상 데이터는 데이터 처리기(14) 또는 데이터 처리기 저장 유닛(19)으로 보내진다. 예를 들면, 영상 수신기 저장 유닛(16)을 환자 신체에서 떼어내고 표준 데이터 링크, 예를 들면, 공지 구성의 직렬 또는 병렬 인터페이스를 통하여 데이터 처리기(14) 및 데이터 처리기 저장 유닛(19)가 있는 개인용 컴퓨터 또는 워크스테이션에 연결한다. 영상 데이터는 영상 수신기 저장 유닛(16)에서 데이터 처리기 저장 유닛(19) 내의 영상 데이터베이스(10)로 전달된다. 다른 실시예들에서, 데이터는 무선 통신 프로토콜, 예를 들면 블루투스, WLAN, 또는 기타 무선망 프로토콜을 이용하여 영상 수신기 저장 유닛(16)에서 영상 데이터베이스(10)로 전달된다 .
데이터 처리기(14)는 예를 들면, 논리 편집 데이터베이스(20)에 따라 데이터를 분석하고 편집하여, 분석되고 편집된 데이터를 영상 모니터(18)로 제공하고, 여기에서 예를 들면 의료전문가는 영상 데이터를 관찰한다. 데이터 처리기(14)는 운영체계와 같은 기본 작동 소프트웨어 및 장치 드라이버와 연관되어 데이터 처리기(14) 작동을 제어하는 소프트웨어를 작동한다. 일 실시예에 의하면, 데이터 처리기(14)를 제어하는 소프트웨어는, 예를 들면, C++ 언어 및 달리 또는 추가로 적용 가능한 언어들로 쓰여진 코드를 포함하고 여러 공지된 방법으로 구현될 수 있다.
수집되고 저장된 영상 데이터는 영구적으로 저장될 수 있고, 다른 곳으로 전달되고, 조작 또는 분석될 수 있다. 의료전문가는 영상들을 이용하여 예를 들면, GI 관의 병리 상태를 진단하고, 추가로, 본 시스템은 병소 위치 관련 정보를 제공할 수 있다. 데이터 처리기 저장 유닛(19)이 먼저 데이터를 수집한 후 데이터를 데이터 처리기(14)로 보내는 시스템에서는, 영상 데이터는 실시간으로 관찰되지 않으며, 다른 구성을 통하여 실시간 또는 유사-실시간 관찰이 가능하다.
일 실시예에 의하면, 캡슐(40)이 GI 관을 횡단하면서 일련의 정지 영상들을 수집한다. 이후 영상들은, 예를 들면, GI 관 횡단 영상 스트림 또는 동영상으로 제시된다. 캡슐(40)은 GI 관을 수 시간 횡단하므로 하나 이상의 생체내 촬상 시스템은 대량의 데이터를 수집한다. 촬상기(46)는 예를 들면, 초당 2 내지 40 영상들을 기록한다(예를 들면 분 당 4 프레임들과 같은 다른 속도가 적용될 수 있다). 촬상기(46)는 고정 또는 가변적 프레임 획득 및/또는 전송 속도를 가질 수 있다. 촬상기(46)가 가변 또는 적응적 프레임 속도(AFR)를 가지는 경우, 예를 들면, 캡슐(40) 속도, 예측 위치, 연속 영상들의 유사성, 또는 기타 기준과 같은 인자들에 기반하여 촬상기(46)는 프레임 속도 사이에서 속도를 변경시킨다. 수 천의 전체 영상들, 예를 들면, 300,000 영상들 이상이 기록된다. 영상 기록 속도, 프레임 획득 속도, 전체 영상들 개수, 편집 동영상을 위하여 선택되는 전체 영상들 개수, 및 편집 동영상 시청 시간은 고정되거나 가변적일 수 있다.
바람직하게는, 캡슐(40)에 의해 기록되고 전송된 영상 데이터는 디지털 색채 영상 데이터이지만, 다른 실시예들에서 다른 포맷의 영상들이 적용될 수 있다. 예시적 실시예에서, 영상 데이터의 각 프레임은 256 행의 각각 256 화소들을 포함하며, 각 화소는 공지 방법에 따라 색채 및 휘도 바이트를 포함한다. 예를 들면, 각각의 화소에서, 색채는 4개의 부- 화소들의 조합으로 나타나고, 각각의 부-화소는 적, 녹 또는 청의 원색에 해당한다(하나의 원색은 2회 표현). 전체 화소 휘도는1 바이트(즉, 0-255) 휘도값으로 기록된다. 일 실시예에 의하면, 영상들은 데이터 처리기 저장 유닛(19)에 순차로 저장된다. 저장 데이터는 색채 및 휘도를 포함한 하나 이상의 화소 특성을 포함한다.
바람직하게는, 정보 수집, 저장 및 처리는 소정의 유닛에서 수행되지만, 본 발명의 시스템 및 방법은 대안적 구성으로 구현될 수 있다. 예를 들면, 영상 정보 수집 부품은 캡슐에 있을 필요는 없고, 인체 내강 횡단에 적합한 기타 임의의 운반체 예를 들면 내시경, 스텐트, 카테터, 니들 등에 포함될 수 있다.
데이터 처리기 저장 유닛(19)은 캡슐(40)에 의해 기록된 일련의 영상들을 저장한다. 캡슐(40)이 환자 GI 관을 이동하면서 기록한 영상들은 연속적으로 조합되어 동영상 스트림 또는 활동 영상을 형성한다.
본 발명의 실시예에 따르면, 데이터 처리기(14)는 동영상 스트림 편집을 위한 편집 필터(22)를 포함한다. 편집 필터(22)는 편집 필터 처리기이며 데이터 처리기(14)에 의해 구현될 수 있다. 편집 필터는 도 1에서 처리기(14)와는 별개로 이에 연결된 것으로 도시되지만, 일부 실시예들에서 편집 필터는, 예를 들면, 처리기(14)에 의해 실행되는 코드 또는 지시어 조합일 수 있다. 편집 필터(22)는 하나 이상의 전용 처리기이거나 이를 포함할 수 있다. 편집 필터(22)는 초기 영상들 입력 세트의 서브세트를 생성시킬 수 있다(나머지 영상들은 보기에서 제거 또는 감춰진다). 편집 필터(22)는 논리 데이터베이스(20)에 있는 다수의 미리-정의된 기준 각각에 대한 각 프레임에서의 정도 또는 빈도(occurrence)를 평가한다. 편집 필터(22)는 논리 데이터베이스(20)에 의해 제공되는 예정된 기준, 제한, 및 규칙에 맞는 영상들의 서브세트만을 선택하여, 관심있는 영상들의 서브세트을 형성한다. 바람직하게는, 편집 필터(22)는 일부 영상들의 일부, 예를 들면 예정된 기준에 맞는 영상 일부, 예를 들면 논리 데이터베이스(20)에서 제공되는 하나 이상의 규칙 또는 기준에 따라 높은 점수(score)를 받는 영상 일부만을 표시하기 위하여 선택한다. 일부를 선택할 때, 일부는 프레임에 적합하게 제작되므로, 일부는 선택되지 않은 영상 데이터를 포함할 수 있다.
일 실시예에 의하면, 편집 필터(22)는 하나 이상의 촬상기(46)에 의해 획득된 하나 이상의 영상 스트림으로부터 영상들 또는 영상들 일부를 선택할 수 있다. 영상 스트림은 개별적으로 처리될 수 있고, 예를 들면, 각각의 스트림은 별도의 스트림으로 처리되고 영상들은 단일 촬상기(46)에 의해 획득된 각각의 스트림으로부터 독립적으로 선택된다. 다른 실시예들에서, 스트림은 합쳐지고, 예를 들면 둘 이상의 스트림으로부터의 영상들은 영상들 획득 시간에 따라 순서대로 분류되고 단일 스트림으로 합쳐진다. 예를 들면 영상들 간 유사성과 같은 다른 영상 인자들, 또는 병소 또는 이상 검출기에 의해 영상들 일부에 부여된 점수에 기초한 기타 분류 방법들이 가능하다. 합쳐진 스트림은 하나의 스트림과 같이 처리된다(예를 들면, 편집 필터(22)는 각각의 스트림으로부터 개별적이 아닌 합쳐진 스트림으로부터 영상들을 선택할 수 있다).
생체내 영상들을 효과적으로 검토하기 위하여 고려되어야 할 많은 인자들이 있으며, 이들은 상이한 실시예들에서 적용되는 편집에 영향을 미친다. 일 실시예에서, 표시 영상들 세트는 의료전문가에 의한 정확한 환자 병태 진단과 관련된 가능한 많은 영상들을 포함한다. 정확한 진단을 위하여 표시 영상들 세트로부터 정보성이 높은 영상들을 생략하는 것은 바람직하지 않다. 인간 조직에서의 병소 또는 이상 부위는 매우 광범위한 증상을 가지므로, 어떤 경우에는 발견하기 어렵다. 따라서, 편집 필터(22)는 특정한 예정 기준, 또는 다수의 소정의 기준 조합에 따른 프레임 또는 프레임 일부를 선택할 수 있다.
소정의 기준은, 예를 들면, 하나 이상의 병소 검출 및/또는 이상 기준점 검출(예를 들면, 프레임 화소들의 색채, 조직감, 구조 또는 패턴 인식 분석에 기초하여 결정되는 용종 검출기, 출혈 검출기, 궤양 검출기, 기형 검출기, 십이지장 검출기, 비장의 및/또는 결장에서 우결장의 곡들(flexures) 검출기 등) 측정값 또는 점수, 음영 또는 잔재와 같은 특징으로 왜곡되거나 모호해질 수 있는 생체조직 프레임의 시정 또는 시야 측정값 또는 점수, 캡슐 추정 위치 또는 영역(예를 들면, 특정 관심 영역에서 획득된 프레임에 더 높은 우선권이 부여된다), 캡슐이 바람직한 영역에 있을 가능성(예를 들면, 결장 촬상 과정에서의 결장, 또는 소장 촬상 과정에서의 소장), 2차적(비-영상) 센서 정보(예를 들면, pH, 압력, 캡슐이 장 통과 벽에 대한 인접성 판단을 위한 센서의 전기 유도), 캡슐 이동 또는 운동성, 캡슐 배향, 프레임 획득 또는 전송 속도, 또는 이들의 임의 조합 또는 파생을 포함한다. 일부 실시예들에서, 적용되는 기준은 다른 기준과 함께 평가되기 전에 점수, 숫자 또는 등급(rating)으로 전환되어, 여러 기준들은 서로 간에 비교될 수 있다.
편집 필터(22)는 하나 이상의 소정의 기준에 기초하여 하나 이상의 측정값, 등급 또는 점수 또는 숫자를 계산하고 각각의 프레임에 부여한다.
일부 실시예들에서, 단일 기준이 적용되어 선택된 기준에 맞는 영상들 일부만을 표시하도록 영상들의 서브세트가 선택된다. 예를 들면, 용종 검사를 위하여 용종 검출기에 의해 각각의 영상이 얻어진다. 용종 검출기는 영상에서 용종 존재 가능성 점수를 부여하고, 영상에서 용종의 추정 경계를 제공한다. 추정 경계에 따라, 관련 영상 일부만이 선택된 영상들의 서브세트로 추출되어 표시될 수 있다(예를 들면 도 2 참고).
일부 실시예들에서, 영상들 일부의 여러 상이한 서브세트가 표시되도록 선택되며, 각각의 서브세트는 상이한 기준에 적합하다. 예를 들면, 영상들의 하나의 서브세트는 높은 점수 또는 용종 존재 가능성과 연관된 모든 영상들 또는 영상들 일부를 포함하고, 영상들의 다른 서브세트는 영상들에서 출혈 또는 적열 검출과 관련되거나 연관되는 모든 영상 또는 이의 일부를 제시한다. 일부 실시예들에서, 동일 영상이 상이한 기준의 둘 이상의 서브세트 일부분일 수 있다. 의료전문가가 동일 증상 또는 병소에 속한 모든 영상들 일부을 포함한 영상들의 서브세트를 관찰하는 것은 정확한 진단 가능성을 높이기 때문에, 예를 들면 필터(22)에 의해 제안된 진정 양성(예를 들면 실제 용종)을 신속하게 발견하고, 거짓양성(필터(22)에 의해 용종으로 잘못 검출된 영상들 일부)을 쉽게 식별할 수 있으므로 유익하다. 이러한 관찰은 내시경에 의한 의료적 처치의 양성예측치(또는 정확하게 진단된 양성 검사 결과를 가지는 환자들에 비례한 정확도)를 높일 수 있다. 필터(22) 결과가 변하지는 않지만, 특정 표시방법으로 인하여 의사 또는 의료전문가는 더욱 쉽게 병소를 볼 수 있는 한편, 명백하게 병소가 아닌 영상들(거짓양성)을 재빨리 넘김으로써, 진정 양성 검출율을 개선하고, 단일 케이스에 투여되는 전체 진단 시간을 줄일 수 있다.
점수, 등급, 또는 측정치는 영상 또는 영상 일부의 복잡한 특성(예를 들면, 색채 변화, 소정의 조직 또는 구조 패턴 출현, 영상 또는 이의 일부에서의 광도, 출혈 검출 등과 같은 기준)을 단순화시킨 표식(예를 들면, 정수 0-100와 같이 유도된 값 또는 등급)이다. 점수는 특징부 또는 기준의 임의의 등급, 순위, 위계, 계층 또는 상대값을 포함한다. 전형적으로 점수는 수치이다, 예를 들면, 1 내지 10이지만, 이에 국한될 필요는 없다. 예를 들면, 점수는, 예를 들면, 문자(A, B, C, …), 부호 또는 기호(+, -), 컴퓨터 비트 값(0, 1), 예를 들면, 하나 이상의 전산 플래그(computing flag) 상태로 표시되는 하나 이상의 결정 또는 조건 결과(예 아니오)를 포함할 수 있다. 점수는 이산(비-연속) 값들, 예를 들면, 정수, a, b, c 등이거나, 연속적인 값, 예를 들면, 0 내지 1 사이 임의의 실수(수치 표현에 대한 컴퓨터 정밀도에 의존)일 수 있다. 연속 점수들 사이 임의의 간격이 설정될 수 있고(예를 들면, 0.1, 0.2, …, 또는 1, 2, … 등) 점수는 정규화되거나 그렇지 않을 수 있다.
각각의 프레임 또는 이의 일부에 대한 점수는 동일 데이터베이스(예를 들면, 영상 데이터베이스(10))에서 프레임에 저장된다. 점수는, 예를 들면, 헤더 또는 요약 프레임 정보 패키지에서, 초기 영상 스트림 또는 2차 편집 영상 스트림으로 복사되는 프레임에 있는 데이터와 함께 규정된다. 달리 또는 추가로, 점수는 영상들에 대한 포인터를 가지고 영상들과 별개로 데이터베이스(예를 들면, 논리 데이터베이스(20))에 저장된다. 별개의 데이터베이스에서 점수는 예정된 기준, 제한, 및 규칙과 연관하여 저장되어 선택된 영상들 일부의 서브세트를 형성한다.
점수를 사용함으로써, 복잡한 영상 특성을 나타내기 위하여 사용되는 데이터 용량은 줄어들 수 있고 이에 따라 영상에 대한 복잡한 계산적 노력도 감소된다. 예를 들면, 편집 필터(22)는 영상 B 일부보다 영상 A 일부에서 기준 또는 특징부가 더욱 가시적인지를 결정하고 이후 영상 C 일부보다 영상 B 일부에서 기준 또는 특징부가 더욱 보여지는지를 결정하려고 한다. 점수가 없다면, 영상 A와의 비교 및 이후 영상 C와의 비교를 위하여 영상 B 컨텐츠는 2회 평가되어야 한다. 반대로, 본 발명의 실시예들에 따라 점수를 사용하면, 각각의 영상 컨덴츠는 각각의 기준에 대하여 영상 점수를 결정하기 위하여 한번만 평가된다. 점수가 영상 B 또는 이의 일부에 부여되면, 점수에 대한 간단한 수치 비교(예를 들면, 보다 큰, 보다 작은 또는 동일한)이 구현되어 본 영상 프레임을 영상들 A 및 C 모두와 비교한다. 영상들을 비교, 선택하기 위하여 점수를 사용하면 최소한 영상 컨텐츠 평가 횟수 따라서 영상 비교를 위한 계산 수고가 크게 줄어든다.
일 실시예에서, 편집 필터(22)는 단일한 조합 점수, 예를 들면, 둘 이상 다수의 소정의 기준들과 연관된 조합 프레임 특성들에 기초하여 각각의 프레임 또는 프레임 군을 등급화하는 스칼라 값을 부여할 수 있다. 점수는, 예를 들면, 둘 이상의 소정 기준 각각에 대한 프레임 값들의 정규화 또는 가중화 평균이다. 일 실시예에서, 각각의 프레임은 각각의 소정 기준, 1, 2, 3, …에 대하여 부여된 점수, s1,s2,s3,…를 가질 수 있고, 프레임 조합 점수, S는 평균 점수, S=(s1+s2+s3)/c이고, 이때 c는 환산 계수이고, 또한 가중화 평균이고, S=(w1*s1+w2*s2+w3*s3)/c, 이때 w1, w2, 및 w3은 각각의 미리-정의된 기준에 대한 가중치이다. 다른 예에서, 프레임 조합 점수, S는 점수들의 곱, S=(s1*s2*s3)/c 또는 S=(s1*s2+s2*s3+s1*s3)/c일 수 있다.
다른 실시예에서, 편집 필터(22)는 각각의 개별 기준에 대하여 각각의 점수를 개별적으로 저장할 수 있다. 예를 들면, 각각의 프레임은 "점수 벡터" S=(s1,s2,s3,…)를 가질 수 있고, 여기에서 점수 벡터 각각의 좌표는 프레임에 대하여 상이한 미리-정의된 기준에 대한 값을 제공하여 각각의 기준은 별개로 적용, 평가 및 분석된다. 각각의 기분에 대하여 점수를 분리함으로써, 예를 들면, 벡터 연산으로편집 필터는 기준의 다른 조합에 대한 점수를 신속하게 비교할 수 있다. 예를 들면, 영상들의 서브세트을 표시하기 위하여 기준의 서브세트(예를 들면, 기준 2 및 5)이 선택되면, 편집 필터(22)는 해당 점수들(예를 들면, 점수 벡터 S=(s2,s5)의 2번째 및 5번째 좌표)을 신속하게 가져올 수 있다. 점수 벡터는 예를 들면, 표 또는 데이터 배열과 같은 각각의 기준에 대한 개별 점수들을 나누는 임의의 표식 또는 저장 형태를 의미한다. 점수 벡터에서, 점수들은 모두 동일 단위(예를 들면, 숫자)이지만, 반드시 그런 것은 아니다.
편집 필터(22)는 프레임 가중화 점수를 부여하고, 다른 기준보다 일부 미리-정의된 기준에 대하여 더 큰 가중치가 부여될 수 있다. 예를 들면, 작은 용종(예를 들면, 직경이 1mm)보다 더 큰 용종(예를 들면, 직경이 최소한 6 mm)이 진단에 있어서 더욱 중요하므로, 큰 용종 점수에 할당되는 가중치는 작은 용종 점수에 부여되는 가중치보다 더욱 크다. 일부 실시예들에서 용종이 논의되지만, 기타 병소 및 다른 특징부가 검출, 등급화 또는 점수화될 수 있다. 각각의 기준에 대한 점수는 적당한 방식으로 가중되거나 조합될 수 있다. 일 실시예에서, 하나의 점수 가중치는 하나 이상의 다른 점수 가중치(들)에 영향을 미친다. 예를 들면, 하나의 점수가 소정의 한계값을 초과하면, 다른 점수들의 가중치는 조합 점수에서 변경되거나 본 점수가 더해지거나(예를 들면, 가중치는 0에서 1 또는 이상으로 변경) 조합 점수에서 제거(예를 들면, 가중치는 1에서 0으로 변경)된다. 다른 실시예에서, GI 관의 상이한 영역을 위하여 하나 이상의 점수에 대한 다른 가중치들이 적용될 수 있다. 예를 들면, 캡슐이 결장에 있을 때(또는 추정될 때)(예를 들면, 위치 점수 또는 결장에 있을 가능성으로 표시), 결장이 상대적으로 넓은 통로를 가지므로 조직 가시화를 모호하게 하지 않으므로 다른 점수들보다 특징부 규정에 낮은 점수를 부여하여 조직 가시화 표시 점수는 가중치가 덜 주어질 수 있다.
점수 또는 측정치는 절대값 또는 상대값일 수 있다. 각각의 프레임 또는 프레임 일부에 대한 절대 점수(들)은 단일 프레임에 대한 기준과 연관된 값을 가질 수 있다. 각각의 프레임 또는 프레임 일부에 대한 상대 점수(들)은 이전 또는 인접 프레임에 대한 기준과 연관된 값에 대하여 기준과 연관된 값의 변경일 수 있다. 절대 및 상대 점수들은 등급화(정규화)되거나 되지 않을 수 있다. 점수들은 상이한 환산 계수로 등급화, 예를 들면, GI 관 각각의 영역 내부에서 획득되거나 획득되는 것으로 추정되는 영상, 영상 스트림의 각 부분에 대하여 또는 각각 상이한 프레임 획득 및/또는 전송 속도에 대하여 등급화될 수 있다.
2-차원 바둑판식 배열 레이아웃에 표시되는 영상들의 서브세트를 선택하기 위하여 사용되는 특정한 소정 기준 및 이들의 측정값, 등급 또는 점수는 미리 설정되거나(예를 들면, 프로그래머에 의해서 또는 공장에서), 데이터 처리기(14) 또는 편집 필터(22) 자체로 자동 선택되거나 및/또는 사용자에 의해(예를 들면, 입력 장치(24) 사용) 수동으로 선택될 수 있다. 일 실시예에서, 예를 들면 사용자에 의해 변경되지 않는 한 편집 필터(22)는 언제나 하나 이상의 기본(default) 기준을 사용한다. 편집 그래픽 사용자 인터페이스(GUI)으로 사용자는 잠재적인 다수의 기준(예를 들면, 도 3a 및 3b의 선택 기준 버튼에서 하나 이상의 기준을 선택할 수 있다. 다른 실시예에서, 소정의 기준은 처리기에 의해 반-자동으로 선택되거나 및/또는 사용자에 의해 반-수동으로 선택된다. 예를 들면, 사용자는 원하는 특성 또는 동영상과 연관된 제한, 예를 들면 최대 동영상 길이(예를 들면, 45 분 또는 9000 영상들), 검토 방식(예를 들면, 동영상 미리보기, 빨리 보기 모드, 병소 검출 모드, 결장 분석 모드, 소장 분석 모드 등), 또는 기타 편집 제한요건을 선택하여 소정의 기준을 간접적으로 선택할 수 있다. 이들 인자는 다시 사용자-선택 제한요건에 맞도록 처리기에 의한 소정 기준 자동 선택을 촉발시킨다.
편집 필터(22)는 프레임 또는 프레임 일부가 선택 기준에 상응하는지를 결정하고, 상응도에 따라 점수를 부여한다. 편집 필터(22)는 각 영상 일부의 점수를 소정의 한계값 또는 범위와 비교한다. 편집 필터는 소정의 값을 초과하는(또는 미만의) 점수 또는 소정의 범위 내의 점수를 가지는 각각의 표시 프레임을 선택한다. 따라서, 편집 필터(22)는 소정의 값 이하 또는 소정의 범위 외의 점수를 가지는 각각의 프레임이 표시되지 않도록 선택(또는 제거하도록 선택)할 수 있다. 일부 실시예들에서, 점수 한계값은 예정되지 않고, 대신 편집 필터(22) 및/또는 데이터 처리기(14)에 의해 자동 계산될 수 있다. 점수들은, 예를 들면, 초기 영상 스트림 영상들 개수에 기반하여(따라서 소정 개수의 입력 영상들이 한계값을 만족하거나 소정의 비율의 입력 영상들이 한계값을 만족), 선택된 영상들 세트에 필요한 영상들 개수에 기반하여(따라서 소정 개수의 선택된 영상들이 한계값을 만족), 또는 선택된 영상들 세트 디스플레이 제한 시간에 기반하여(따라서 예를 들면 표준 또는 평균 디스플레이 속도로 선택된 영상들 세트를 시청할 때 한계값을 만족하는 영상들 개수는 소정의 시간보다 짧거나 동일한 시청시간에 선택된 영상들 세트를 형성) 계산될 수 있다. 일부 실시예들에서 사용자는 이러한 인자들을 설정할 수 있고, 다른 실시예들에서 인자들은 편집 필터(22)에 의해 예정되거나 자동생성될 수 있다.
일부 실시예들에서, 편집 필터(22)는 영상을 잘라, 관련 영상 일부(정사각 또는 직사각과 같은 프레임 내부에 가능한)를 남기고, 이것을 공간 레이아웃에 표시할 선택된 일부로 저장한다. 초기 영상 또는 프레임은 프레임이 선택되도록 병소 검출기에서 검출된 경계 또는 모서리에 기초하여 잘라질 수 있다. 예를 들면, 용종 검출기에 의해 높은 점수를 받은 후 초기 프레임이 선택된다. 용종 검출기는 프레임에서 용종을 검출하고, 용종의 모서리를 결정하거나 추정한다. 편집 필터는 초기 영상을 잘라 선택된 영상 일부에 검출기에 의해 결정된 용종의 모서리를 포함한 용점(및 일부 주변 화소들)만을 남긴다. 유사하게, 다른 병소 검출기에 기반하여 높은 점수를 받은 프레임은 검출 병소의 결정된 모서리 또는 추정 경계에 따라 잘라질 수 있다. 일부 경우에, 하나 이상의 병소가 단일 프레임에서 검출되고, 동일 프레임의 다중 부분들이 공간 레이아웃에 표시되도록 선택된다.
일부 실시예들에서, 편집 필터(22)는 캡슐(40)이 횡단하는 신체 내강에 있는 소장, 십이지장, 유문, 회장 말단부, 막창자, 비장굴곡, 또는 우결장곡 입구와 같은 소정의 해부학적 기준점과 관련된 영상을 선택할 수 있다. 기타 해부학적 기준점이 편집 필터(22)에 의해 검출되고 표시되도록 선택될 수 있다.
편집 필터(22)는 점수들을 계산하고 비교하기 위한 예를 들면, 더하기, 곱하기, 나누기 등과 같은 산술연산을 실행하는 산술논리유닛(ALU)과 같은 하나 이상의 실행 유닛들을 포함하거나 이로부터 구현될 수 있다. 편집 필터(22)는 처리기(예를 들면, 하드웨어) 운영 소프트웨어이거나 이로부터 구현될 수 있다. 편집 필터(22)는 하나 이상의 논리 게이트 및 기타 하드웨어 부품들을 포함하여 초기 영상 스트림을 편집하고 편집된 영상 스트림을 생성한다. 달리 또한 추가로, 편집 필터(22)는 예를 들면 논리 데이터베이스(20) 또는 기타 메모리에 저장된 소프트웨어 파일로 구현될 수 있고, 이 경우 일련의 명령어는 예를 들면 데이터 처리기(14)에 의해 실행되어 본원에 기재된 기능을 수행한다.
초기 영상 스트림은 여러 세그먼트들로 나뉘어진다. 세그먼트는 상이한 인자들, 예를 들면 시간 인자(예를 들면 일 분 동안 획득된 세그먼트), 프레임 개수(예를 들면, 1000개의 연속 프레임), 또는 신체 내강에서 검출되거나 추정되는 해부학적 영역 또는 기준점 관련 프레임(예를 들면, 식도, 위장, 소장, 상행결장, 횡행결장, 하행결장, 막창자, 십이지장, 직장, 유문 등)에 기반하여 정의된다. 일부 실시예들에서, 하나 이상의 인자가 동시에 사용되어 세그먼트를 정의할 수 있다. 예를 들면, 초기 영상 스트림의 결장 세그먼트는 영상들 서브세트에서 소정의 한계값보다 많은 개수의 영상들로 나타난다. 결장 세그먼트는, 예를 들면, 소정 개수의 영상들(예를 들면, 100) 또는 소정의 시간(예를 들면, 5 초)의 부-세그먼트들로 더욱 나뉘어진다. 각각의 세그먼트는 공간 레이아웃에 표시되도록 선택되는 최소한 소정 개수의 영상들 또는 영상들 일부(예를 들면, 하나 또는 둘)로 나타난다. 선택된 영상들 서브세트는 스크린 또는 디스플레이(18)상에서 사각 바둑판식 배열 레이아웃으로 표시된다.
레이아웃 유닛(28)은 편집 필터(22)에 의해 선택된 영상들 일부에 대한 스크린 또는 디스플레이(18)에서의 배치를 결정한다. 도 1에서 레이아웃 유닛(28)은 처리기(14)와는 별개로 이에 연결되는 것으로 도시되지만, 일부 실시예들에서 레이아웃 유닛(28)은 처리기(14)에 의해 실행되는 코드 또는 지시어의 집합일 수 있다. 레이아웃 유닛(28)은 하나 이상의 전용 처리기이거나 이를 포함할 수 있다. 레이아웃 유닛(28)은 선택된 영상들 또는 이의 일부를 포함하는 초기 영상 스트림 서브세트의 공간 배치를 선택하거나 생성한다. 영상들 일부 서브세트에 대한 디스플레이(18)상의 공간 배치는 예정되거나, 사용자에 의해, 예를 들면 도 3a 및 3b의 선택 배치 버튼을 이용하여 가능한 레이아웃 배치 리스트에서 선택될 수 있다.
사용자는 소정의 또는 선택된 기준 또는 규칙에 부합하는 선택된 프레임 중 관련 부분만을 포함한 레이아웃 예를 들면 각 유형의 선택 기준에 대하여 결정된 일정한 한계값보다 크거나 작은 점수를 받은 프레임 일부만을 관찰하기 원한다. 예를 들면, 초기 입력 영상 스트림에서 선택된 프레임의 관련된 일부인 10 행 및 10 열의 100 영상들로 이루어진 사각 바둑판식 배열이 표시되도록 생성된다. 바람직하게는, 예를 들면 도 3a - 도 3b, 도 4a - 도 4c, 및 도 5a - 도 5b 및 도 7에 도시된 바와 같이 모든 부분들이 서로 인접하게 배치되어, 프레임 일부들 사이에 여백 또는 배경 공간이 없는 바둑판식 배열을 만든다. 바둑판식 배열은 의심 영상들 일부의 동질적 관찰을 가능하게 하고 병소는 눈에 띄거나 이러한 배열 또는 배치에서 두드러지므로 이러한 배치는 질환 조직이 표시 레이아웃에 존재한다면 가시도를 높인다. 선택된 영상들 일부는 크기가 조절되고, 예를 들면 레이아웃 유닛(28)에 의해, 선택된 레이아웃, 공간 배치 및/또는 격자에 따라 적당한 치수 또는 크기로 조절될 수 있다. 일부 실시예들에서 선택된 영상들 일부는 단일 균일 치수로 재조절되고, 다른 실시예들은 레이아웃에 표시되는 영상들 일부를 다른 치수들로 재조절하거나 크기를 조정할 수 있다.
편집 필터(22)에 의해 검출되는 선택된 프레임의 연관된 일부들은, 레이아웃 유닛(28)에 의해 디스플레이 배열의 균등성 또는 균일성이 최대가 되도록 배치된다. 레이아웃 유닛(28)은 필터(예를 들면, "균일화" 필터)를 적용하여 균등하지 않거나 균일하지 않은 노이지 프레임 레이아웃 또는 사용자 시야를 교란시키는 일부를 생성하는 프레임 일부를 제거한다. 예를 들면, 레이아웃 유닛(28)은 불필요하게 의사의 관심을 유발시키는 영상들 일부, 예를 들면 장액 또는 내용물, 탁한 매질, 담즙, 기포, 영상 몽롱화, 또는 기타 원인들로 인하여 가시성이 악화되는 어두운 프레임 일부 또는 일부들의 빈도를 최소화할 수 있다. 선택된 기준에 부합되는 편집 필터(22)에 의해 검출된 영상들 일부는, 선택된 영상 일부 내에서 악화된 가시성을 가지는 영역 검출에 기반하여 추가적인 처리 또는 잘라내기가 가능하다. 예를 들면 본 발명의 공동 양수인에게 양수되고 전체로써 참조로 포함되는 미국특허번호 7,577,283, 특히 도 3에 기재된 바와 같은 본 분야에서 공지된 방법을 사용하여 이러한 영역이 검출된다. 가시성이 악화된 프레임 일부는 표시 영상 일부에서 잘라지거나, 영상 일부는 표시 레이아웃에서 완전히 제거된다. 결과적으로, 무의미하거나 무관한 영상들 일부 빈도는 영상들 일부의 표시 배열에서 최소화되고, 캡슐 절차의 양성 예측 및 진단 값은 높아진다.
레이아웃 유닛(28)은 점수들을 계산하고 비교하는 하나 이상의 실행 유닛 예를 들면, 더하기, 곱하기, 나누기 등 산술연산에 적합한 산술논리유닛(ALU)을 포함하거나 여기에서 구현된다. 레이아웃 유닛(28)은 처리기(예를 들면, 하드웨어) 운영 소프트웨어일 수 있다. 레이아웃 유닛(28)은 하나 이상의 논리 게이트 및 기타 하드웨어 부품들을 포함하여 초기 영상 스트림을 편집하고 편집된 영상 스트림을 생성한다. 레이아웃 유닛(28)은 예를 들면 논리 데이터베이스(20) 또는 기타 메모리에 저장된 소프트웨어 파일로 구현될 수 있고, 이 경우 일련의 지시어는 예를 들면 데이터 처리기(14)에 의해 실행되어 본원에 기재된 기능을 수행한다.
편집 필터(22)가 영상들 일부를 선택하면, 이들은 레이아웃 유닛(28)에 의해 합쳐서 바둑판식 배열 레이아웃 또는 격자를 형성한다. 레이아웃 페이지에서 영상들 일부에 대한 다른 표시 배치 또는 분배가 예를 들면 도 4a, 도 4b 및 도 4c에 기술된다. 레이아웃에 표시되는 영상들 일부의 분해능 또는 개수는 예정되거나, 예를 들면 도 3a 및 3b의 선택 레이아웃 배열 버튼을 사용하여 선호도에 따라 사용자에 의해 선택될 수 있다. 디스플레이 레이아웃의 상이한 크기들은, 예를 들면, 도 5a 및 도 5b에서 설명된다.
레이아웃 유닛(28)은 선택된 영상들 일부 세트를 수신하고, 선택된 영상들 일부 중 어떤 것을 각각의 레이아웃 페이지에 표시할 것인지를 결정한다. 예를 들면, 초기 영상 스트림으로부터 선택된 영상들 일부는 5,000개일 수 있다. 레이아웃 페이지에서 생성되고 선택되는 공간 배치에는 각각의 레이아웃 페이지에100개의 영상들 일부를 포함할 수 있다. 따라서, 각각 상이한 선택된 영상들 일부를 포함하는 50개의 비-겹침 레이아웃 페이지가 레이아웃 유닛(28)에 의해 생성되고 예를 들면 순서대로(시간 순서대로) 또는 예를 들면 선택된 일부들 간 유사성 점수 정도와 같은 다른 분류 방법를 사용하여 사용자에게 표시된다. 전형적으로, 의사는 상이한 레이아웃 페이지 간 시간 순서를 선호하지만, 레이아웃 페이지에서 일부들의 내부 배치는 반드시 시간 순서일 필요는 없다. 다른 실시예에서, 영상들 일부를 특정 레이아웃 페이지로 분할하는 것은 영상들 간 유사성, 또는 편집 필터(22)에 의해 생성되는 상이한 기준의 점수들에 기초하여 결정될 수 있다.
일 실시예에서, 레이아웃 페이지는 촬상기(46)에 의해 획득되고 편집 필터(22)에 의해 선택되는 최종 영상들 일부로부터 시작하여, 마지막으로는 초반에 획득된 영상들 일부를 포함하는 레이아웃을 끝에서 보여주는 시간 역순으로 표시될 수 있다. 이러한 배치는 대장내시경검사에서 전형적으로 표시되는 것과 유사한 방향이므로 의사가 관찰하기 용이하다(항문에서 출발하여 궁극적으로 막창자 영역 또는 더 나아가 소장에 도달).
일 실시예에서, 선택된 영상들 일부는 초기 영상 스트림에서 선택되는 프레임 일부들의 복사본을 포함하고, 이들은 초기 영상 스트림과는 별도로 2차 영상 스트림으로 저장된다. 다른 실시예에서, 선택된 영상들 일부는 초기 프레임의 어떠한 영상들 및 영상들 일부가 영상들 일부의 사각 배열 형태로 표시되기 위하여 선택되는지를 나타내는 포인터 또는 플래그 세트를 포함한다. 디스플레이 어플리케이션은 예를 들면 플래그 또는 포인터로 표시되는 이들 영상들 일부를 표시함으로서 선택된 영상들 일부의 하나 이상의 사각 배열를 표시하거나, 비-선택된 영상들 또는 일부들을 건너뛴다.
이제 도 2a 및 도 2b를 참고한다. 도 2a는 병소, 예를 들면, 편집 필터(22)에 포함될 수 있는 용종 검출기에 의해 검출된 용종을 가지는 것으로 의심될 수 있는 영상(200) 예를 도시한 것이다. 용종 검출기는 영상(200)의 모서리들(210, 220)을 의심 용종 모서리들로 표기한다. 일 실시예에서, 질환으로 의심되는 프레임의 관련 부분만이 격자 또는 공간 레이아웃에 표시되도록 선택될 수 있다. 공간 레이아웃에서 각각의 요소(바둑판식 배열에서 각각의 영상 일부 또는 각각의 타일) 크기는 모든 요소에 대하여 고정적으로 균일하고, 사용자에 의해 선택되거나 시스템에 의해 예정될 수 있다.
바람직하게는, 각각의 영상 일부는 직사각, 정사각 또는 육각형 영상 일부이고, 의심되는 병소, 의심 이상 부위 또는 편집 필터(22)에 의해 선택되는 편집 기준 중 최소한 하나에 의해 높은 점수를 받은 부위를 포함한다. 표시되도록 선택된 일부의 화소들 실제 크기는 영상에서 검출되는 의심되는 병소 크기에 따라 달라질 수 있다. 일부 실시예들에서, 모든 의심 영역들 또는 선택된 영상들을 균일한 크기로 재조정하여 의심 영상들 일부 또는 선택된 영상들에 대한 균일한 디스플레이를 생성하는 것이 바람직하다. 예를 들면, 영상(200)에서 질환으로 의심되는 모서리들(210, 220)로 표기되는 관련 영역들을 예를 들면 편집 필터(22), 처리기(14) 및/또는 레이아웃 유닛(28)에 의해 영상 프레임에서 추출할 수 있다. 예를 들면, 영상들 일부(211, 212)가 프레임(200)에서 추출된 후, 레이아웃 유닛(28)(또는 기타 처리기)로 잘라지고 최종 레이아웃에 표시되는 균일한 예정된 크기로 크기를 재조절할 수 있다. 이러한 방법에서, 초기 영상들에서 다른 크기로 나타날 수 있는 다른 병소의 크기는, 거의 균일한 크기로 재조정되어 표시된다. 영상 일부 잘라내기는 검출된 이상 또는 병소 모서리들에 기초하여 수행되므로, 크기 재조절은 영상에서 초기 병소 크기를 고려하지 않고 수행될 수 있다. 다른 실시예들에서, 영상들 일부는 균일한 크기로 잘라지지만 크기를 재조정하지 않고, 예를 들면 더 작은 용종은 생성된 영상 일부에서 더 많은 주변 화소들(예를 들면, 초기 영상에서 병소 경계 외부에 위치하는 화소들)을 적용하여 잘라진다. 일부 실시예들에서, 완전한 영상 프레임이 크기가 재조절되고 선택된 레이아웃에서 섬네일(thumbnail) 방식으로 표시된다. 예를 들면, 사용자가 표시하기 원하는 특정 영상 일부 위를 마우스와 같은 입력 장치를 클릭할 때, 이러한 기능이 적용될 수 있다. 또 다른 실시예들에서, 영상들 일부는 레이아웃 페이지의 선택된 격자 및 배치에 기초하여 잘라지고 다른 크기들로 재조정될 수 있다.
도 2b는 예를 들면, 레이아웃 유닛(28)에 의해 크기가 재조정된 후의 일부(230)를 도시한 것이다. 일부(230)는 영상(200) 일부분(211)에 해당하고, 의심 용종의 모서리들(210)을 포함한다. 일부(230)는 초기 영상(200)에서 소정 크기(예를 들면, 영상 프레임 일부들의 9 행 및 11 열)의 바둑판식 레이아웃에 맞도록 정사각형 또는 직사각형으로 잘라진 것이다. 유사하게, 다른 편집 기준 또는 방법(예를 들면 출혈 또는 적열 검출기, 궤양 검출기 등)으로 영상에서의 의심 병소에 대한 다른 형상 및 크기를 결정할 수 있고, 영상의 관련 영역들이 잘라져, 영상에서 의심되는 병소 조직 세그먼트(및 있을 수 있는 배경 영상들 일부)만이 직사각, 정사각 또는 육각 부분에 포함되어 사용자에게 표시될 수 있다.
이제 도 3a 및 도 3b를 참조하면, 본 발명의 실시예에 따라 질환 프레임 일부들을 가지는 예시적 레이아웃(도 3a) 및 정상조직 프레임 일부들을 가지는 다른 예시적 레이아웃(용종 검출기의 거짓양성)을 보이는 예시적 그래픽 사용자 인터페이스가 도시된다. 도 3a 및 도 3b에 도시된 모든 영상들 일부는 처리기(예를 들면 처리기(14) 또는 편집 필터(22))에 의해, 예를 들면 용종 검출 기준에 따라 자동으로 선택된다. 그러나, 도 3b에 도시된 상기 레이아웃의 모든 부분들은 정상적인 건강한 조직을 포함하고, 바둑판식 레이아웃(350)을 검토하는 의사는 재빨리 병소들이 없다고 결론짓고, 건강 조직의 영상들 세트에 대하여 추가 시간을 소비하지 않고 영상들 일부의 다음 레이아웃으로 넘어간다. 유사하게, 도 3a에 있는 일부들 세트를 검토할 때, 의사는 세그먼트(306)에 포함된 일부들은 건강 조직이라고 결론지을 수 있다. 한편, 도 3a에 있는 세그먼트(310)의 대부분의 일부들은 명백히 질환이고, 용종을 가지지만, 세그먼트(308)에 있는 영상들은 질환 여부를 결정하기 어려울 수 있다. 질환으로 의심되는 영상들 일부를 포함하는 공간 레이아웃으로 의사는 예를 들면 질환 조직이 산발적으로 소량 발견되는 요약 동영상 스트림을 보는 것보다 더 쉽게 검토하고 진단할 수 있고, 이것은 빠른a 프레임 속도를 적용하여 디스플레이될 수 있다.
바람직하게는, 사용자는 각각의 레이아웃 검토시간을, 예를 들면(예를 들면 포인팅 또는 기타 입력 장치를 클릭하여) "이전" 및 "다음" 버튼들(315, 316)을 이용하여 조절할 수 있다. 버튼(316)을 클릭하면, 도 1의 레이아웃 유닛(28)에 의해 생성된 영상들 일부의 다음 레이아웃이 디스플레이되며, 버튼(315)을 클릭하면 이전 레이아웃이 디스플레이된다. 사용자를 위하여 다른 버튼들(330), 예를 들면 마지막 레이아웃으로 점프, 처음 레이아웃으로 점프, 또는 몇몇 여러 레이아웃을 앞으로 또는 뒤로 건너뛰기가 제공될 수 있다. 일 실시예에서, 예를 들면 본원의 공동 양수인에게 양도된 미국특허번호 7,215,338에 기재된 바와 같이 디스플레이는 시간/조직 바(314)를 포함한다. 바(314)는 커서(324)를 포함하고, 이것은 초기 영상 스트림 획득 영역 또는 시간 어디에서 영상들 일부의 현재 레이아웃을 발췌한 것인지를 표기한다. 이러한 표기는, 예를 들면, 병소가 위치한 신체 내강의 구역 또는 해부학적 영역을 의사가 평가함에 유익하다. 커서(324)는 크기와 폭을 변경할 수 있고, 예를 들면 디스플레이 장치에 현재 표시되는 영상들 레이아웃에 따라, 현재 레이아웃 영상들 개수에 따라; 또는 표시되는 영상들(또는 일부들)이 선택되는 영상들 개수에 따라 변경될 수 있다. 예를 들면, 하나의 타일 또는 영상 일부 예를 들면 325를 선택하면 윈도우(311, 312, 313)가 표시되어, 영상들의 선택된 서브세트 또는 요약 동영상에서 초기(입력) 영상 스트림에 나타나는 바와 같은 일부(325)로 잘려진 완전한 영상 프레임(312), 및 다음 및 이전의 완전한 영상 프레임(311, 313)을 보인다. 일 실시예에서, 예를 들면 레이아웃에 있는 영상들 일부 중 하나 위에(마우스와 같은) 입력 장치를 움직이면 완전한 영상 프레임(312) 및 이전 및 다음 프레임(311, 313)은 자동으로 사용자에게 표시된다. 영상 일부 선택 또는 마우스 더블클릭으로, 예를 들면, 선택된 영상 일부(예를 들면, 선택된 영상 또는 일부가 추출된 영상 이전 및 이후 몇몇 영상들)를 포함한 영상 스트림의 세그먼트를 열수 있다. 일부 실시예들에서, 레이아웃 페이지에서 영상 일부를 마크하면 자동으로 영상을 초기 영상 스트림의 섬네일로 마크한다. 워크스테이션은 배열된 선택 영상에 대한 사용자 표기(예를 들면, 포인팅 장치를 통하여)를 수신하여 선택된 영상에 상응하는 완전한 영상 프레임을 디스플레이한다. 일 실시예에서, 사용자는 하나 이상의 프레임 일부들(325, 326)을 선택하고 이들을 예를 들면 섬네일로 마크하며, 설명, 북마크 또는 주석을 붙인다. 이러한 선택된 섬네일은 저장되어 이후 예를 들면 자동 생성된 보고서에서 또는 초기 동영상 스트림 또는 요약 동영상 스트림을 보는 도중에 사용자에게 제시된다.
상기 선택 기준 버튼은 선택 기준 또는 규칙 목록을 포함하고, 사용자는 어떠한 영상들 일부가 레이아웃 페이지에 표시되어야 하는지를 선택할 수 있다. 선택 기준 버튼은 용종 검출, 병변 검출, 염증 검출, 출혈 검출 등과 같은 고-수준 검출 옵션을 포함할 수 있다. 일 실시예에서, 하나 이상의 규칙/기준이 사용자에 의해 선택될 수 있고, 다른 실시예들에서는 미리 기준이 예정되거나 프로그램화될 수 있다. 사용자는, 예를 들면, 의심 출혈 영상들로 표시되는 영상들 일부만을 선택하거나, 최소한 하나의 이용 가능한 검출기에 의해 의심 질환으로 검출되는 모든 영상들을 관찰하도록 선택할 수 있다. 상기 선택 배치 버튼은 사용자로 하여금 레이아웃에서 영상들 일부에 대한 특정 공간 배치를 선택할 수 있도록 한다. 영상들 일부에 대한 다양한 공간 배치가 이하 도 4a-도 4c에서 설명된다. 상기 선택 레이아웃 배열 버튼은 사용자로 하여금 배열의 행렬에 나타날 영상들 일부의 개수 및/또는 크기를 선택하도록 한다.
일부 실시예들에서, 레이아웃 유닛(28)은 예를 들면 도 1에서의 캡슐(40)의 하나 이상의 촬상기(46), 예를 들면 촬상 헤드(57, 58)에 의해 획득되는 다중 영상들 스트림을 수신한다. 다수의 스트림은 여러 방법으로 배치되어 표시된다. 예를 들면, 개별 영상 스트림의 동시 보이기가 선택되어, 단일 레이아웃에 각각의 영상 스트림에서 선택되는 여러 영상들 일부를 디스플레이한다. 일 실시예에서, 레이아웃 좌측은 촬상 헤드(57)로부터의 선택된 영상들 일부를 포함하고, 레이아웃 우측에는 촬상 헤드(58)로부터의 선택된 영상들 일부가 배치된다. 다른 예에서, 예를 들면 소정의 시간에 각각의 촬상 헤드(57, 58)로부터 선택되는 영상들 일부 분량에 기초하여 개별 촬상 헤드 간레이아웃 분할은 동적이다. 예를 들면, 10 분간의 영상 획득 절차에서 30 영상들이 하나의 촬상기에 의해 선택될 수 있고 또 다른 촬상기에서70 영상들이 선택될 수 있다. 일 실시예에서, 100 영상들 일부는 단일 레이아웃 스크린에 동시에 디스플레이되고, 촬상 헤드(57)로부터의 30 영상들 일부는 레이아웃 좌측 열에 배치되고, 촬상 헤드(58)로부터의70 영상들 일부는 레이아웃 페이지 나머지(우측) 열에 배치될 수 있다. 사용자는 촬상 헤드들 간 레이아웃 내부 배치를 변경시킬 수 있고, 예를 들면 촬상 헤드(57)로부터의 영상들을 레이아웃 최상단에, 촬상 헤드(58)로부터의 영상들을 레이아웃 최하단에 배치할 수 있다. 다른 실시예에서, 레이아웃은 단일 촬상기만으로부터의 영상들 일부를 포함할 수 있다. 제1 레이아웃 페이지는 촬상 헤드(57)에서 획득된 선택된 영상들 일부를 표시하고, 다음 레이아웃 페이지는 촬상 헤드(58)에서 획득된 선택된 영상들 일부를 표시할 수 있다. 다른 배치들도 가능하다.
단일 촬상 과정에서 생성된 레이아웃 페이지 세트의 공간 배치는 일관적이고, 예를 들면, 사용자가 제1 레이아웃 페이지에 대하여 선호되는 레이아웃 배치를 선택하면, 이것은 저장되어 모든 레이아웃 페이지에 대하여 사용될 수 있다. 사용자는 선택된 레이아웃 배치에서 영상들 일부의 배열에 익숙하게 된다. 동일한 레이아웃 배치를 이용하면 사용자가 본 배치에 익숙하게 되므로 검토 과정의 생산성을 높일 수 있고, 병소 영상들 일부를 더욱 쉽게 식별하고, 및/또는 해부학적 기준점들을 더욱 신속하게 검출할 수 있다.
본 발명의 실시예에 따라 디스플레이 레이아웃에 대한 다른 공간 배치들을 도시한 도 4a, 도 4b 및 도 4c를 참조한다. 스크린에 영상들 일부를 배치하기 위하여 상이한 인자들이 적용될 수 있다. 예를 들면, 영상들 일부는 영상(또는 일부) 조도에 따라, 영상 획득 시간 순서에 따라, 영상들 일부 간 유사성 정도에 따라, 색채 인자들(예를 들면 RGB 영역에서, R 화소들의 중간값)에 따라 또는 다른 특징부, 예를 들면 초기 획득된 영상 스트림에서 영상들 일부를 선택하기 위하여 적용되었던 기준 또는 특징부의 점수에 기초하여 분류될 수 있다. 상이한 공간 레이아웃 배치들은 사용자에게 더욱 양호한 관찰 환경을 제공하며, 영상들 일부 레이아웃, 및/또는 영상 스트림에 대한 전체 시청시간을 줄일 수 있다. 프레임 일부들을 배치하기 위한 다른 인자는 시간 순의 순차적 영상들 간의 유사성 정도이며, 레이아웃에 별도로 놓이는 것보다 바람직하게는 연속적으로 또는 격자 또는 배열의 동일 구역에 배치될 수 있다. 영상들은 점수, 시간, 또는 다른 기준에 따라 공간적으로 순서가 정해질 수 있다.
도 4a는 배열에서 영상들 일부의 공간 배치 제1예를 도시한 것이다. 영상들 일부는 초기 획득 영상들에서 선택된 영상들 서브세트에서 소정의 기준에 따라 추출된다. 본 예에서 영상들 일부는 시간 순서로 왼쪽에서 오른쪽으로 배치된 배열(각각의 열에서 영상들은 최상부에서 최하부로 시간 순서로 배치된다)로 표시된다. 영상들 일부는 획득 시간에 따라 먼저 열로(예를 들면, 최상부에서 최하부로), 이후 행으로(예를 들면, 좌측에서 우측 또는 반대로) 배치될 수 있다. 다른 순서들이 적용될 수 있고, 예를 들면 영상들 일부는 획득 시간 반대로 배치되고, 시간 외의 기준(예를 들면, 유사성, 하나 이상의 검출기가 부여한 점수 또는 편집 필터(22) 등에서 사용되는 기준) 이 적용될 수 있다. 도시된 영상들 일부의 레이아웃은, 예를 들면, 소정의 시간 프레임 과정에서 획득된 초기 영상 스트림의 세그먼트를 나타낼 수 있다. 예를 들면, 영상들 일부(1401-1488)는 신체 내강을 지나는 여러 캡슐 통과 시간 과정에서 획득된 영상들, 예를 들면 초기 영상 스트림의 최종 10분 동안 획득된 영상들로부터 추출된 것일 수 있다. 일부(1401)는 부분들(1402-1488)이 획득된 영상들보다 초기 영상 스트림에서 더 초기에 획득된 영상으로부터 추출되었고, 부분(1402)은 부분(1401) 획득 시간 이후에 획득된 영상에서 추출되었다. 선택된 부분들을 획득 시간에 따라 배열하는 이점은, 캡슐이 동일 위치에 있는 동안 획득된 여러 영상들은 획득 타임스탬프 순서대로 표시되므로 유사 영상들 일부가 서로 옆에 표시되는 것이다. 예를 들면, 순차 서열(420, 421)은 시간 순서의 공간 배치로 인하여 함께 유지되는 유사 영상들 일부의 예이다.
일부 실시예들에서, 사용자에서 표시되는 선택된 영상들 일부 개수는 예정되거나 사용자에 의해 선택될 수 있다. 기준 검출기의 감도, 예를 들면 영상 일부가 레이아웃에 표시되도록 선택될 것인지를 결정하는하나 이상의 한계값은 조정될 수 있고 따라서, 필요한 영상들 개수는 선택 기준에 따라 선택되어 표시된다. 예를 들면, 선택되는 영상들 일부의 개수는 소정의 상수, 예를 들면 5,000 영상들 또는 이의 일부이거나, 예를 들면 선택 기준에 따라 하나 이상의 소정의 한계값을 통과한 영상들 분량에 의존하는 가변 인자일 수 있다. 더 많은 영상들이 선택되면, 표시되는 레이아웃의 감도가 높아지고, 더 많은 정보가 사용자에게 제시되므로, 소정의 관심 영상이 표시되지 않을 가능성이 낮아진다. 한편, 표시되는 영상들 일부 개수가 증가하면, 거짓양성 영상들(예를 들면, 건강 조직을 보이거나 이에 상응하지만, 최소한 하나의 병소 검출/선택 기준 한계값을 통과하는 영상들) 개수가 증가하고, 따라서 공간 레이아웃 검토 효율성은 줄어든다.
도 4b는 배열 또는 레이아웃에 선택된 영상들 일부의 상이한 공간 배치를 도시한 것이고, 여기에서 영상들 일부(2436, 2437, 2444, 2445)는 장내강 구역을 보인다. 영상에서 내강 암홀을 보이거나 상당하는 영상들 일부가 장내강 구역이고, 이것은 개방 내강 또는 부분 또는 완전 폐쇄 내강일 수 있다. 도 4b에 도시된 공간 배치에서, 장내강 구역을 보이는 부분들은 레이아웃 중앙에 디스플레이되고, 조직벽들을 가지는 영상들 일부(예를 들면 2401, 2402, 2409, 2486, 2487, 2488 등)는 레이아웃 주위에 배치된다. 장내강 일부를 가지는 영상들이, 예를 들면 레이아웃 유닛(28)에 의해, 평균 영상 밝기, 영상에 있는 암홀 검출, 또는 본 분야에서 공지된 기타 방법과 같은 상이한 기법들 이용하여 검출될 수 있다. 일 실시예에서, 영상화 조직으로부터 촬상 장치 광학 시스템의 거리는, 예를 들면 영상 밝기값을 이용하여 추정될 수 있다. 다른 예에서, 영상의 황색 정도(예를 들면 RGB 영상의 청색면의 평균 또는 중간 밝기값, 또는 청색면에 기초하여 생성되는 히스토그램의 최고값, 또는 B/R의 평균 또는 중간값)는 예를 들면 광학 시스템 및 조직 사이 존재하는 담즙으로 인하여 조직이 촬상 장치로부터 멀다는 것을 표시한다. 더욱 분홍 색조의 영상은 촬상 장치가 조직벽에 더 가깝다는 것을 의미한다. 임의의 거리 평가방법 또는 영상화 조직으로부터 캡슐(40)의 거리 추정방법이 적용된다. 레이아웃 유닛(28)은 예를 들면, 영상 일부에 있는 청색 화소들의 평균 또는 중간값을 결정하고, 이러한 값에 기초하여 촬상 장치로부터 영상 일부까지의 근사 거리를 추정한다. 레이아웃 중앙에 있는 내강 영상들 일부 및 레이아웃 주변에 있는 조직벽 일부들의 공간 배치는 캡슐(40)에 의해 획득된 전형적인 단일 영상 구조와 유사하다. 특히 소장을 통과하거나 결장에서 캡슐(40)의 전방 이동 과정에서, 캡슐 촬상시스템는 전형적으로 장내강 구역 중심을 향하고, 획득된 영상은 영상 주변에 위치한 근처 조직의 일부 및 영상 중앙에 있는 거의 개방 내강의 일부를 담는다.
일부 실시예들에서, 유사한 영상들의 순차, 예를 들면 순차(sequences) 440, 441, 및/또는 442는, 레이아웃 유닛(28)(또는 기타 처리기)에 의해 검출되고, 배치된 레이아웃에서, 병소는 배치된 레이아웃에서 눈에 띄므로 의사가 병소를 쉽고 간단하게 식별하도록 레이아웃을 가능한 균일하게 유지하기 위하여 순차 위치에 유지될 수 있다. 레이아웃을 스캔할 때 다수의 연속적인 질환 조직 일부들은 단일 질환 조직 일부보다 더욱 현저하므로 유사 영상들 또는 유사 영상들 일부를 순차로 또는 레이아웃의 동일한 주위 또는 구역에서 함께 유지하면 의사가 건강 조직 및 질환 조직을 구별하는데 수월하다. 유사하게, 다수의 건강 조직 일부들을 검토할 때, 균일한 배치로 인하여 건강한 일부들은 레이아웃에서 건강한 조직 일부들과 섞일 수 있고, 의사가 신속하게 이를 둘러볼 수 있으므로, 의심 영상 일부 레이아웃에 대한 총 검토 시간을 줄어든다.
영상들 또는 영상들 일부 간의 유사성은 EMD(지구중력거리) 기법 또는 순차 프레임 화소들의 색채값, 두 영상들 간 유클리디안 거리(또는 정규화 차이), 또는 영상들(및/또는 영상들 일부) 간 정규화 상호 상관을 이용하여 구현된다. 영상들은, 예를 들면 게인 및 노출시간에서, 유사성 결정 전에 정규화된다. 다수의 영상들 일부가 유사하다록 결정되면(예를 들면 소정의 유사성 한계값을 통과), 그 일부들은 레이아웃에서 함께 유지되고, 예를 들면 행(예를 들면 순차 440), 열(예를 들면 순차 441)에서 순서대로 서로 인접하거나, 달리 상호 인접하게(예를 들면 순차 442) 표시된다. 레이아웃에 표시되는 영상들 일부 가운데 일단 순차가 결정되면, 공간 배치 선택에 따라 공간적으로 다른 순차를 배치하여 레이아웃을 생성한다. 레이아웃에서 순차 및 이들의 위치 간 순서가 변경되지만, 각각의 순차 내에서의 순서는 시간 순서대로 유지된다.
도 4c는 배열에서 선택된 영상들 또는 영상들 일부의 또 다른 예시적 공간 배치를 보인다. 본 배열 또는 레이아웃에서, 인접 조직벽들을 보이는 일부들은 레이아웃 최하 열들(예를 들면, 일부(3408) 열, 일부 (3407)열)에 위치하고, 장내강 홀 또는 구역(또는 캡슐(40)에서 더 떨어진 조직)을 보이는 일부들은 레이아웃 최상 열들(예를 들면 일부(3401) 열, 일부(3402) 열)에 배치된다. 사용자가 본 배치로 영상들 일부를 검토하면, 전형적으로 최상부는 더 많은 정보를 보이는 영상들을 포함하므로 사용자 관심 대부분은 스크린 최상부를 향한다. 다른 공간 배치가 가능하고, 예를 들면 영상들 일부를 사행(snake-like) 방식으로 배치한다. 유사한 부분들은 순서대로, 예를 들면 순차(450) 유지된다.
일부 실시예들에서, 레이아웃에서 영상들 일부의 공간 배치는 전체 2-차원 단위의 정사각형을 채우는 범위의 곡선들인 공간점유곡선(페아노 곡선으로도 알려짐)에 기초한다. 영상들 일부는 선택된 격자 또는 배열 크기와 연관되는 페아노 곡선, 예를 들면 힐버트 곡선을 따라 배치된다. 영상들 일부는, 예를 들면 시간 순서대로 페아노 곡선을 따라 배치되거나, 먼저 유사성 또는 다른 기준(예를 들면 편집 필터(22)의 기준)에 따라 분류될 수 있다. 예를 들면, 영상들 일부가 페아노 곡선을 따라 유사성에 기초하여 배치되면, 하나의 영상 일부 및 인접 또는 근처 영상 일부 사이 큰 폭 또는 차이가 없이 유사한 영상들 일부가 서로 근처에 배치되므로, 더욱 양호한 레이아웃 균일성 또는 균등성을 달성할 수 있다.
이제 다른 유형의 영상 일부 배열 또는 레이아웃 디스플레이를 보이는 도 5a 및 도 5b를 참조한다. 도 5a에서 영상들 일부가 7 행 및 9 열로 디스플레이되며, 78% 종횡비(행 개수 나누기 열 개수)로 제공된다. 도 5b에서, 10 행 및 12 열로 표시되며, 종횡비는 83%이다. 다른 종횡비들도 가능하며, 일 실시예에서 사용자는 예를 들면 "선택 레이아웃 배열" 버튼(333)을 이용하여 개인 취향에 따라 행열로 표시되는 영상들 일부의 개수를 선택 및/또는 변경할 수 있다. 일 실시예에서, 소정의 레이아웃 옵션 다수가 사용자 인터페이스를 통하여 사용자에 의해 선택되도록 제공되며, 다른 실시예들에서 사용자는 단일 레이아웃에 동시에 보여질 영상들 일부의 행렬의 개수를 자유로이 선택할 수 있다. 단일 스크린에서 더 많은 영상을 시청한다면 각각의 레이아웃 시청시간을 줄일 수 있지만, 검토 유효성은 낮아진다. 다른 예에서, 선택된 배열 유형에서 영상들 일부의 윈도우 크기가 다르다. 예를 들면, 최상 행들은 더 큰 영상들 일부를 가지고, 최하 열들은 더 작은 영상들 일부를 보일 수 있다. 디스플레이 배열을 선택하고 결정할 때, 사용자는 단일 배열에서 표시될 영상들 일부의 개수, 표시될 행 및 열의 개수 및/또는 각각의 영상 일부의 치수를 결정할 수 있다.
다른 인자들이 단일 스크린에서 동시에 디스플레이되는 선택된 종횡비에 영향을 준다. 예를 들면, 사용자는 스크린 상의 레이아웃을 신속하게 훑어보고 현재 레이아웃 페이지에서 질환 조직 존재 여부를 결정하기 원할 수 있다. 종횡비는 모든 영상들 일부를 훑어보는데 소요되는 시청시간, 디스플레이되는 영상 일부 크기, 및 과도한 정보없이 사람 눈으로 효과적으로 훑어볼 수 있는 데이터 분량 간의 타협점(tradeoff)이다. 최적 종횡비는 시청자들마다 다를 수 있다.
본 발명의 실시예에 따른 영상들의 배치 레이아웃을 표시하는 방법에 대한 흐름도인 도 6을 참조한다. 단계(600)에서, 생체내 촬상 장치로부터 영상들의 초기 스트림이 수신된다. 초기 영상들 스트림은 전형적으로 생체내 촬상 과정에서 촬상 장치에 의해 획득되는 모든 영상을 포함하거나, 예비-필터되거나 또는 달리 편집될 수 있다. 초기 영상 스트림은 도 1에서 장치(12)와 같은 무신 수신 장치에 의해 수신되고, 및/또는 도 1의 워크스테이션(11)과 같은 전용 워크스테이션 또는 컴퓨터에서 수신될 수 있다.
단계(610)에서, 영상들의 초기 스트림에서 하나 이상의 소정의 기준(예를 들면, 병소 또는 해부학적 기준점)에 관련되거나 상당하는 영상들 또는 영상들이 선택된다. 본 기준은 사용자에 의해, 예를 들면 도 3의 선택 버튼(331)을 이용하여 목록에서 기준을 선택하여 결정되거나, 예를 들면 도 1의 필터(22) 또는 데이터 처리기(14)에 예비-프로그램화되어 저장되어 예정될 수 있다. 일부 실시예들에서, 선택 기준에 따라 영상을 선택한다는 것은 영상 일부가 하나 이상의 의심 병소들, 예를 들면 출혈, 염증, 용종, 병변, 셀리악병, 종양, 크론병 등을 포함한다는 것을 나타낸다. 다른 실시예에서, 사용자는 영상 스트림의 정확한 해부학적 기준점을 결정하기 원하고, 해부학적 기준점 검출과 관련된 기준을 선택할 수 있다.
선택된 영상들 일부 개수는 일부 실시예들에서 예정되거나, 사용자에 의해 설정되거나,(예를 들면, 조정가능한) 선택 기준 한계값을 통과하는 영상들 일부 분량에 따라 달라질 수 있다.
단계(620)에서, 공간 레이아웃에 디스플레이되는 격자 또는 배열 크기(예를 들면 영상들 일부의 행 및 열의 개수)는 사용자에 의해, 예를 들면 상기 선택 레이아웃 배열 버튼을 이용하여 결정될 수 있다. 일부 실시예들에서, 격자 크기는 이미 선택되어, 예를 들면 영상 레이아웃 유닛(28)에 저장된다. 레이아웃 페이지를 따라 선택된 영상들 일부를 공간 배치 또는 배열하는 것은 사용자에 의해(상기 선택 배치 버튼 사용) 선택되거나 미리 선택되어 영상 레이아웃 유닛(28)에 저장될 수 있다. 예를 들면, 사용자는 각각의 레이아웃 페이지에서 영상들 일부를 8 열 및 11 행의 균일-크기의 배열을 선택하고, 사용자 선호 디스플레이에 기초하여 레이아웃에서 영상들 일부의 내부 배치는 영상 획득 쵤상 헤드 개수에 따라 달라질 수 있다. 레이아웃에서 영상들 일부의 내부 배치의 예들은, 제한적이지 않지만, 배열의 행 및/또는 열을 따르는 시간 순서, 선택된 영상들 일부 간 유사성 정도, 영상 일부에 있는 객체와 캡슐 돔(54) 사이 추정 거리에 기초한 영상들 일부 배치 등을 포함한다.
단계(630)에서 예를 들면 선택된 격자 배치 및 크기에 기초하거나, 기타 기준에 기초하고, 스크린 디스플레이의 분해능 특성에 따라 영상들 일부는 적당한 크기 또는 치수로 재조정된다. 일 실시예에서, 모든 영상들 일부가 균등 치수로 크기가 재조정된 후, 행렬 레이아웃, 예를 들면 균등-크기 영상들 일부의 사각 배열에 배치된다. 다른 실시예에서, 디스플레이되는 선택된 배열 또는 레이아웃은 상이한-크기의 영상들 일부, 예를 들면 더 큰 일부들은 레이아웃 중간에 배치되고, 더 작은 일부들은 레이아웃 주변에 놓이며, 또는 그 역(더 작은 일부들은 배열 중앙에 더 큰 것들은배열 주위에)를 포함한다. 기타 레이아웃 배치들도 가능하다.
일부 실시예들에서, 크기가 조정된 영상들 일부를 배치함에 있어, 이들 간에 여백 없이 배치하여 영상들 일부의 모서리들이 인접 일부들의 모서리들과 붙도록 배치하는 것이 바람직하다. 일부 실시예들에서, 레이아웃에 나타나는 영상들 일부의 모서리들은 흐리고 및/또는 희미하여 영상들 일부 사이 경계 가시성을 낮춘다. 크기가 조정된 영상들 일부는 선택된 공간 레이아웃 배치 및 격자 크기에 따라 단계(640)에서 디스플레이된다. 기타 단계들이 포함될 수 있고, 일부 실시예들에서, 모든 단계들이 수행될 필요는 없다.
본 발명의 실시예에 따라 도 1의 모니터(18)와 같은 모니터에서 표시되는 편집 도구 세트가 있는 스크린 디스플레이 및 그래픽 사용자 인터페이스(GUI)의 예인 도 7를 참조한다.
도 7에서, 영상들 일부 또는 생체내 영상들은(예를 들면, 모니터(18) 상에) 사용자에게 본 예에서는 서로 붙어있는 하나 이상의 그룹들, 모음들(collages) 또는 배치 예를 들면 육각형(2032)의 그룹, 배열 또는 격자(2030)로 디스플레이된다. 격자 또는 그룹 레이아웃은 육각으로 경계를 이루거나 형상을 가지는 영상들을 포함한다.
도 7에 도시된 실시예에서 소정 개수 및 배치의 육각형들이 도시되지만, 다른 실시예들에서 다른 배치 및 개수도 적용될 수 있다. 그룹(2030)은 영상 스트림으로 표시될 수 있다. 예를 들면, 영상 스트림 또는 동영상이 표시될 때 일련의 육각형 그룹들은 동일 위치에 연속하여 디스플레이되고, 다른 점은 각 시간 주기 마다 하나의 영상이 아닌 다중 영상들이 표시되는 것이다. 도 7에 있는 콘트롤 또는 버튼들은 도 3a 및 3b에 대하여 설명된 것들과 유사하다.
다른 실시예들에서 육각형들은 붙어있을 필요는 없고, 경계들이 적용될 수 있다. 일 실시예에서, 하나의 영상 프레임 또는 영상, 또는 이의 일부는 육각형 당 (per hexagon) 표시될 수 있다.
일 실시예에서, 장치(40)과 같은 촬상기의 광학 시스템으로 생성된 영상들은 일반적으로 원형이다. 원형의 영상 또는 영상 일부를 육각형 또는 육각-형상의 윈도우 또는 일부에 표시하면, 예를 들면, 영상이 사각형인 경우보다 육각형으로 맞출 때 영상이 덜 잘려지거나 제거된다. 육각 형상의 영상들은 원형의 영상들보다 더욱 양호하게 서로 끼워지거나 맞추어지고, 육각형들은 바둑판식이 되어 스크린 또는 디스플레이 면적이 더욱 효율적으로 사용될 수 있다. 영상들은 완전한 윈도우 면적 또는 형상에 맞도록 왜곡되고, 형상으로 육각을 사용하면 사각형상 또는 영상을 사용할 때보다 덜 왜곡된다. 일부 실시예들에서, 사각 형상으로 왜곡되면 일부 코너 주위가 왜곡되어 인접 부분들 간 모서리들은 더욱 뚜렷하고 스크린 시청, 및 다음 영상으로 넘어가는 것이 덜 자연스럽다. 표시되는 부분들이 전체 또는 실질적으로 전체적인 프레임에 기초할 때 이러한 이점들은 더욱 확연하다.
원형 영상을 육각형으로 또는 육각형 내부로 맞추기 위하여, 영상 외부 면적은 잘려지거나 제거되거나, 원형 영상은육각 형상으로 휘거나 왜곡될 수 있다(예를 들면, 왜곡-최소화 매핑 적용). 예를 들면, 가능한 가장 큰 육각형을 영상에 적용시키고, 육각형 외부의 영상 화소들을 제거한다. 이러한 기법들의 조합이 적용될 수 있다. 바람직한 실시예에서 휨 또는 왜곡화가 잘라내기 대신 사용되어 데이터 손실을 방지한다.
일 실시예에서 촬상 장치에 의해 획득되는 전형적인 영상은 내부 원형 부분을 포함하고 이는(내부 원형 부분에서 전형적으로 그것들의 사각 경계로 연장된)어두운 또는 달리 유용하지 않은 부분에 의해 둘러싸인 유효 마스크라고 칭하는 유용한 정보를 담고 있다. 유효 마스크 바깥 최외부는버린다. 영상들에서 주변부에 있는 어두운 영역을 줄이면(예를 들면, 어두운 조명으로 인한 검은색의 경제들이 없어지거나 줄어들어)더욱 자연스럽고 연속적인 영상들 모음 또는 조립, 및 이웃 영상들 간 자연스러운 넘김이 가능하다.
예를 들면 비네팅 효과, 시야 바깥을 향한 빛 또는 조명 감소로 인하여 영상 바깥 부분은 덜 유용할 수 있다.
일 실시예에서, 등각사상이 적용되어 원형 영상을 육각 프레임으로 휘도록 또는 이에 맞춘다. 등각사상은 상당한 계산이 필요하고, 따라서 일부 실시예들에서 등각사상 계산은 오프-라인에서, 또는 환자로부터 실제 영상들을 수집하기 전에 수행된다.
오프라인 계산이 적용되면, 사상(mapping)은, 예를 들면 특정 환자에 대한 영상들이 수집되기 전에(및 사상은 환자로부터 실제 수집된 영상들에 대하여 이후에 적용될 수 있다), 또는 영상들이 완전히 처리되기 전에(및 사상은 처리 과정에서 순차적으로 적용될 수 있다) 수행될 수 있다. 사상은 정준 원형에서 정준 육각형으로, 또는 특정 캡슐에서 수신된 데이터에 의해 규정되는 원형으로부터 계산된다. 이러한 변환은 등각사상일 수 있다. 이러한 초기 계산은(유효 마스크가 알려져 있거나 예정거나, 모든 캡슐에 대하여 유효한 것으로 추정되면) 일회만 수행되고, 결과는 파일로 저장되거나(일부 분해능에서) 또는 디스플레이 소프트웨어 또는 디스플레이 시스템의 일부일 수 있다. 이러한 초기 계산은 사용되는 캡슐마다 수행되고, 입력 마스크는 비디오마다 또는 캡슐마다 변하므로 결과는 특정 캡슐에 대한 영상들에 적용된다. 계산은 환자에게서 모아진 모든 프레임에 적용된다.
일부 실시예들에서 온라인 계산이 적용될 수도 있다.
기타 사용자 인터페이스 특징부들이 사용될 수 있고, 조합된 편집 도구가 적용될 수 있다.
본 발명의 실시예는 본원의 동작을 수행할 수 있는 장치들을 포함한다. 이러한 장치들은 용도에 따라 특정하게 제조되거나, 컴퓨터에 저장되는 컴퓨터 프로그램에 의해 선택적으로 활성되거나 재구성될 수 있는 범용 컴퓨터를 포함한다. 이러한 컴퓨터 프로그램은 컴퓨터 판독 가능한 저장 매체, 예를 들면, 제한적이지 않지만, 임의 유형의 디스크 예를 들면 플라피 디스크, 광학 디스크, CD-ROM, 자기-광학 디스크, 판독 전용 메모리(ROM), 무작위 접근 메모리(RAM) 전기적 프로그램 가능 판독 전용 메모리(EPROM), 전기적 소거 가능 및 프로그램 가능 판독 전용 메모리(EEPROM), 자기 또는 광학 카드, 또는 전자적 명령어를 저장할 수 있고 컴퓨터 시스템 버스와 연결될 수 있는임의 기타 유형의 매체에 저장될 수 있다.
본원에 제시된 프로세스 및 디스플레이는 임의의 특정 컴퓨터 또는 기타 장치에 본질적으로 관련되지 않는다. 다양한 범용 시스템이 본원 교시에 따른 프로그램과 함께 적용될 수 있고, 또한 소망 방법을 구현하기 위하여 더욱 전용적인 장치를 제조하는 것이 더욱 편리할 수 있다. 다양한 프로그램 언어들이 본원에 기재된 발명 교시를 구현하기 위하여 사용될 수 있다는 것을 이해하여야 한다.
본 발명의 실시예들에 대한 상기 설명들은 설명 및 기재를 목적으로 제시되었다. 개시된 정확한 형태로 본 발명을 한정하거나 제한할 의도는 아니다. 본 분야의 숙련가들은 상기 교시에 따라 많은 변형, 변경, 치환, 개변, 및 균등이 가능하다는 것을 이해할 것이다. 따라서 첨부 청구범위에 의해 본 발명의 진정한 사상에 속하는 이러한 모든 변형 및 변경이 포함된다는 것을 이해하여야 한다.
Claims (18)
- 신체 내강에서 획득된 생체내 영상들 스트림 수신단계;
스트림 영상들로부터 의심되는 병소에 해당되는 영상들을 하나 이상의 선택 기준에 따라 선택하는 단계;
적어도 복수의 선택된 영상들의 각각의 영상에 대하여, 상기 의심되는 병소를 포함하는 각 영상의 영상 일부를 획득하도록 상기 각각의 영상을 잘라내는(cropping) 단계; 및
배열에 공간적으로 배치되는 선택된 영상 일부들을 표시하는 단계
를 포함하는,
생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 배열에 표시되는 영상 일부들의 개수를 결정하는 단계를 더 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 배열에서 선택된 영상 일부들의 치수를 결정하는 단계, 및 상기 선택된 영상 일부들을 상기 치수로 크기를 재조정하는 단계를 더 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
순차적 영상 일부들 간 유사성을 결정하는 단계; 및
순차적 영상 일부들을 시간 순서대로 배열에 배치하는 단계를 더 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
선택된 영상 일부들은 인접한 영상 일부들 간 여백, 배경 또는 경계가 없도록 서로 붙어있도록 배열에서 표시되는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
배열에서 선택된 영상 일부에 대한 사용자 지시(indication)를 수신하는 단계; 및
선택된 영상 일부에 해당하는 완전한 영상 프레임을 표시하는 단계를 더 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 하나 이상의 선택 기준을 미리결정함으로써 또는 상기 하나 이상의 선택 기준에 대한 사용자 지시를 수용함으로써, 상기 하나 이상의 선택 기준을 결정하는 단계를 더 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 배열에서 상기 선택된 영상 일부들의 내적 분배를 결정하도록 상기 선택된 영상 일부들을 표시하기 위해 공간 배치를 수신하는 단계를 더 포함하고,
상기 공간 배치는: 배열에서 시간 순서대로 영상 일부들을 배열, 장내강 구역을 나타내는 영상 일부들을 배열 중앙에 배열하고 조직벽을 담고 있는 영상 일부들을 배열 주변에 배열, 및 장내강 구역을 나타내는 영상 일부들을 배열 최상 열들에 배열하고 조직벽을 담고 있는 영상 일부들을 배열 아래 열들에 배열하는 것에서 선택되는, 생체내 영상 일부들을 표시하는 방법. - 촬상 캡슐에 의해 신체 내강에서 획득된 생체내 영상들 스트림을 수신하며 편집 필터를 포함하는 처리 유닛으로서, 상기 편집 필터는 스트림 영상들에서 의심되는 병소에 해당하는 영상들을 하나 이상의 선택 기준에 따라 선택하고, 적어도 복수의 선택된 영상들의 각각의 영상에 대하여, 상기 의심되는 병소를 포함하는 각 영상의 영상 일부를 획득하도록 상기 각각의 영상을 잘라내는, 처리 유닛; 및
배열에 공간적으로 배치되는 선택된 영상 일부들을 표시하는 디스플레이 장치
를 포함하는,
생체내 영상 일부들을 표시하는 시스템. - 제9항에 있어서,
상기 처리 유닛은 상기 배열에서 표시되는 선택된 영상 일부들의 개수를 결정하기 위한 레이아웃 유닛을 더 포함하고,
상기 레이아웃 유닛은 순차적으로 선택된 영상 일부들 간 유사성을 결정하고, 유사한 영상 일부들을 시간 순서대로 배열에 배치하는, 생체내 영상 일부들을 표시하는 시스템. - 제9항에 있어서,
상기 하나 이상의 선택 기준에 대한 사용자 지시를 수용함으로써, 상기 하나 이상의 선택 기준을 결정하기 위한 사용자 인터페이스를 더욱 포함하는, 생체내 영상 일부들을 표시하는 시스템. - 신체 내강에서 획득되는 생체내 영상들 스트림을 수신하는 단계;
하나 이상의 편집 기준에 해당하는 영상들의 서브세트를 얻기 위하여 편집 필터를 이용하여 영상 스트림을 편집하는 단계;
영상들의 서브세트에서 각각의 영상으로부터, 편집 기준에 상응하는 의심되는 병소 또는 이상을 포함하는 영상 일부들을 잘라내는 단계;
격자 레이아웃에 영상 일부들을 위한 공간 배치를 선택하는 단계;
잘라낸 영상 일부들을 선택된 공간 배치에 기초하여 치수로 크기를 재조정하는 단계; 및
격자 레이아웃에 공간적으로 배치되는 크기가 재조정된 영상 일부들을 표시하는 단계
를 포함하는,
생체내 영상 일부들을 표시하는 방법. - 제12항에 있어서,
격자 레이아웃은 육각형으로 경계를 이루는 영상들의 격자를 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 배열은 육각형들의 배열을 포함하는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 잘라내는 단계는 각 영상의 영상 일부의 더 큰 부분이 각 영상에 대하여 상기 의심되는 병소를 포함하도록 수행되는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 잘라내는 단계는 각각의 영상 일부가 상기 영상 부분에서 상기 의심되는 병소를 둘러싸는 배경 화소를 더 포함하도록 수행되는, 생체내 영상 일부들을 표시하는 방법. - 제1항에 있어서,
상기 잘라내는 단계는 각 영상 내의 의심되는 병소의 검출된 모서리에 기초하여 수행되는, 생체내 영상 일부들을 표시하는 방법. - 제9항에 있어서,
상기 각각의 영상을 잘라내는 것은 각 영상 내의 의심되는 병소의 검출된 모서리에 기초하여 수행되는, 생체내 영상 일부들을 표시하는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US32870510P | 2010-04-28 | 2010-04-28 | |
| US61/328,705 | 2010-04-28 | ||
| PCT/IL2011/000345 WO2011135573A1 (en) | 2010-04-28 | 2011-04-28 | System and method for displaying portions of in-vivo images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130067257A KR20130067257A (ko) | 2013-06-21 |
| KR101708726B1 true KR101708726B1 (ko) | 2017-02-21 |
Family
ID=44860958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127028118A Expired - Fee Related KR101708726B1 (ko) | 2010-04-28 | 2011-04-28 | 생체내 영상들 일부 표시 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9060673B2 (ko) |
| EP (2) | EP2567347A4 (ko) |
| JP (1) | JP5972865B2 (ko) |
| KR (1) | KR101708726B1 (ko) |
| CN (2) | CN106923779A (ko) |
| WO (1) | WO2011135573A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200005831A (ko) * | 2018-07-09 | 2020-01-17 | 주식회사 셀바스에이아이 | 조기 위암의 예측 방법 및 이를 이용한 디바이스 |
| KR102193302B1 (ko) * | 2020-07-06 | 2020-12-22 | 주식회사 스마트 잭 | 영상을 이용한 시약 정보 수집 방법 및 장치 |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5972865B2 (ja) | 2010-04-28 | 2016-08-17 | ギブン イメージング リミテッドＧｉｖｅｎ Ｉｍａｇｉｎｇ Ｌｔｄ． | 生体内画像の部分を表示するシステム及びその作動方法 |
| US8913807B1 (en) * | 2010-12-30 | 2014-12-16 | Given Imaging Ltd. | System and method for detecting anomalies in a tissue imaged in-vivo |
| JP5580765B2 (ja) * | 2011-03-03 | 2014-08-27 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US8855413B2 (en) * | 2011-05-13 | 2014-10-07 | Abbyy Development Llc | Image reflow at word boundaries |
| EP2570986A1 (en) * | 2011-09-13 | 2013-03-20 | Alcatel Lucent | Method for creating a cover for an electronic device and electronic device |
| US20130167072A1 (en) * | 2011-12-22 | 2013-06-27 | Sap Portals Israel Ltd. | Smart and Flexible Layout Context Manager |
| BR112014019162A8 (pt) * | 2012-02-07 | 2017-07-11 | Koninklijke Philips Nv | Sistema de obtenção de imagem que gera um conjunto de imagem do paciente, método para geração de um conjunto de imagem do paciente, e meio legível em computador não-transiente |
| CN104798107B (zh) * | 2012-11-23 | 2018-02-06 | 皇家飞利浦有限公司 | 从医学图像生成关键图像 |
| US9854958B1 (en) * | 2013-03-23 | 2018-01-02 | Garini Technologies Corporation | System and method for automatic processing of images from an autonomous endoscopic capsule |
| US20140378810A1 (en) | 2013-04-18 | 2014-12-25 | Digimarc Corporation | Physiologic data acquisition and analysis |
| CN105393252B (zh) * | 2013-04-18 | 2019-04-19 | 数字标记公司 | 生理数据采集和分析 |
| US10178971B2 (en) | 2013-04-18 | 2019-01-15 | Koninklijke Philips N.V. | Acquiring cervical images |
| US20140321770A1 (en) * | 2013-04-24 | 2014-10-30 | Nvidia Corporation | System, method, and computer program product for generating an image thumbnail |
| US9743824B2 (en) * | 2013-09-04 | 2017-08-29 | Siemens Medical Solutions Usa, Inc. | Accurate and efficient polyp detection in wireless capsule endoscopy images |
| US9430706B1 (en) | 2013-10-02 | 2016-08-30 | Given Imaging Ltd. | System and method for detection of in-vivo pathology sequences |
| WO2015049962A1 (ja) | 2013-10-02 | 2015-04-09 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
| CN105683889B (zh) * | 2013-11-21 | 2019-08-13 | 奥林巴斯株式会社 | 图像显示装置 |
| US9349160B1 (en) * | 2013-12-20 | 2016-05-24 | Google Inc. | Method, apparatus and system for enhancing a display of video data |
| US9342881B1 (en) * | 2013-12-31 | 2016-05-17 | Given Imaging Ltd. | System and method for automatic detection of in vivo polyps in video sequences |
| US10117563B2 (en) * | 2014-01-09 | 2018-11-06 | Gyrus Acmi, Inc. | Polyp detection from an image |
| CA2946724A1 (en) * | 2014-04-23 | 2015-10-29 | Abbott Medical Optics Inc. | Medical device data filtering for real time display |
| US11120547B2 (en) * | 2014-06-01 | 2021-09-14 | CapsoVision, Inc. | Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching |
| US9633276B2 (en) * | 2014-07-14 | 2017-04-25 | Sony Corporation | Blood detection system with real-time capability and method of operation thereof |
| JP6425931B2 (ja) * | 2014-07-16 | 2018-11-21 | オリンパス株式会社 | カプセル型内視鏡及び内視鏡システム |
| US10660533B2 (en) * | 2014-09-30 | 2020-05-26 | Rapsodo Pte. Ltd. | Remote heart rate monitoring based on imaging for moving subjects |
| US9727949B1 (en) * | 2014-11-19 | 2017-08-08 | Google Inc. | Providing secure digital images |
| CN107205630A (zh) * | 2014-12-04 | 2017-09-26 | M·特罗尔萨斯 | 用于图像撷取控制的胶囊涂层 |
| WO2016098430A1 (ja) * | 2014-12-15 | 2016-06-23 | ソニー株式会社 | 情報処理方法、映像処理装置及びプログラム |
| USD776713S1 (en) * | 2014-12-17 | 2017-01-17 | Rgi Informatics, Llc | Display device with a timeline graphical user interface |
| CN107735136B (zh) | 2015-06-30 | 2021-11-02 | 瑞思迈私人有限公司 | 使用移动应用的面罩大小调整工具 |
| JP6269610B2 (ja) * | 2015-07-28 | 2018-01-31 | 株式会社リコー | 情報処理装置、画像表示方法、通信システム、プログラム |
| US10861151B2 (en) | 2015-08-07 | 2020-12-08 | The Arizona Board Of Regents On Behalf Of Arizona State University | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| US10572997B2 (en) * | 2015-12-18 | 2020-02-25 | Given Imaging Ltd. | System and method for detecting anomalies in an image captured in-vivo using color histogram association |
| JP6427280B2 (ja) * | 2016-03-03 | 2018-11-21 | Hoya株式会社 | 補正データ生成方法及び補正データ生成装置 |
| CN105955738A (zh) * | 2016-04-28 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种3d列表数据对应的用户界面显示方法及装置 |
| EP3457909B1 (en) * | 2016-05-18 | 2025-07-16 | Given Imaging Ltd. | Method for selecting for display images captured in vivo |
| EP3267394A1 (en) * | 2016-07-04 | 2018-01-10 | Centre National De La Recherche Scientifique | Method and apparatus for real-time detection of polyps in optical colonoscopy |
| WO2018211674A1 (ja) * | 2017-05-18 | 2018-11-22 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US20190139643A1 (en) * | 2017-11-08 | 2019-05-09 | International Business Machines Corporation | Facilitating medical diagnostics with a prediction model |
| CN108024061A (zh) * | 2017-12-08 | 2018-05-11 | 合肥工业大学 | 医用内窥镜人工智能系统的硬件架构及图像处理方法 |
| CN108055454B (zh) * | 2017-12-08 | 2020-07-28 | 合肥工业大学 | 医用内窥镜人工智能芯片的体系架构及图像处理方法 |
| CN108042090B (zh) * | 2017-12-08 | 2020-12-01 | 合肥工业大学 | 配置人工智能芯片的医用内窥镜系统及图像处理方法 |
| EP3539455A1 (fr) * | 2018-03-14 | 2019-09-18 | Sorbonne Université | Procédé pour déterminer automatiquement la qualité de visualisation des images en vidéocapsule endoscopique |
| US11112952B2 (en) * | 2018-03-26 | 2021-09-07 | Microscopes International, Llc | Interface for display of multi-layer images in digital microscopy |
| US11100633B2 (en) * | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
| JP7163079B2 (ja) * | 2018-06-22 | 2022-10-31 | 株式会社エビデント | 撮像システム、画像構築方法 |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| EP3866667A4 (en) * | 2018-10-19 | 2022-04-20 | Given Imaging Ltd. | Systems and methods for generating and displaying a study of a stream of in vivo images |
| JP7497355B2 (ja) * | 2018-12-05 | 2024-06-10 | ストライカー コーポレイション | 医療用撮像データを表示するためのシステム及び方法 |
| US12311073B2 (en) * | 2018-12-05 | 2025-05-27 | Moraine Corporation | Hygiene evaluating device, hygiene evaluation imaging system, imaging stand, and hygiene evaluation method |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| CN109903269B (zh) * | 2019-01-24 | 2021-05-04 | 刘星宇 | 确定脊柱横断面图像的异常类型的方法及计算设备 |
| CN109934276B (zh) * | 2019-03-05 | 2020-11-17 | 安翰科技(武汉)股份有限公司 | 基于迁移学习的胶囊内窥镜图像分类系统及方法 |
| CN109965829B (zh) * | 2019-03-06 | 2022-05-06 | 重庆金山医疗技术研究院有限公司 | 成像优化方法、图像处理装置、成像装置及内窥镜系统 |
| TWI737318B (zh) * | 2020-05-27 | 2021-08-21 | 禾瑞亞科技股份有限公司 | 觸控處理方法、裝置與觸控系統 |
| CN112863700A (zh) * | 2021-01-28 | 2021-05-28 | 青岛海信医疗设备股份有限公司 | 医疗影像协同方法、装置、设备及计算机存储介质 |
| KR102641492B1 (ko) * | 2022-01-05 | 2024-02-27 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 검출 방법, 장치 및 프로그램 |
| KR102641489B1 (ko) * | 2022-01-05 | 2024-02-27 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 검출 방법, 장치 및 프로그램 |
| CN116932193B (zh) * | 2022-04-07 | 2024-08-20 | 华为技术有限公司 | 一种显示子系统的通道分配方法、装置及存储介质 |
| DE102023133361A1 (de) * | 2023-11-29 | 2025-06-05 | Resolve Biosciences Gmbh | Optisches system zur darstellung eines objekts |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009018048A (ja) | 2007-07-12 | 2009-01-29 | Fujifilm Corp | 医用画像表示装置、方法及びプログラム |
Family Cites Families (112)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CS175782B1 (ko) | 1974-10-16 | 1977-05-31 | ||
| US4243652A (en) | 1978-07-14 | 1981-01-06 | The Procter & Gamble Company | Gastrointestinal scanning agent |
| JPS5519124A (en) | 1978-07-27 | 1980-02-09 | Olympus Optical Co | Camera system for medical treatment |
| JPS5697872A (en) | 1980-01-07 | 1981-08-06 | Fuji Photo Film Co Ltd | Measuring material for concentration of hemoglobin in blood |
| JPS5745833A (en) | 1980-09-01 | 1982-03-16 | Taeko Nakagawa | Stomack camera |
| US5993378A (en) | 1980-10-28 | 1999-11-30 | Lemelson; Jerome H. | Electro-optical instruments and methods for treating disease |
| DE3440177A1 (de) | 1984-11-02 | 1986-05-15 | Friedrich Dipl.-Ing. 8031 Eichenau Hilliges | Fernseh-aufnahme- und -wiedergabeeinrichtung zur endoskopie an menschlichen und tierischen koerpern |
| JPS61143876A (ja) | 1984-12-17 | 1986-07-01 | Hitachi Medical Corp | 複数画像表示の画像処理装置 |
| US4698664A (en) | 1985-03-04 | 1987-10-06 | Apert-Herzog Corporation | Audio-visual monitoring system |
| JPH0761309B2 (ja) | 1987-03-03 | 1995-07-05 | オリンパス光学工業株式会社 | 内視鏡装置 |
| JPH0684970B2 (ja) | 1987-03-31 | 1994-10-26 | 株式会社京都医科学研究所 | 糞便中の潜血検出方法 |
| US4907095A (en) | 1987-04-16 | 1990-03-06 | Fuji Photo Film Co., Ltd. | Still image trimming apparatus |
| US4938823A (en) | 1988-10-07 | 1990-07-03 | The Pultrusions Corporation | Pultrusion/extrusion method |
| US5697885A (en) | 1989-01-30 | 1997-12-16 | Olympus Optical Co., Ltd. | Endoscope for recording and displaying time-serial images |
| JP2750151B2 (ja) | 1989-04-27 | 1998-05-13 | オリンパス光学工業株式会社 | 画像記録検索表示装置 |
| JPH04109927A (ja) | 1990-08-31 | 1992-04-10 | Toshiba Corp | 電子内視鏡装置 |
| JPH04144533A (ja) | 1990-10-05 | 1992-05-19 | Olympus Optical Co Ltd | 内視鏡 |
| JPH04357927A (ja) | 1991-01-14 | 1992-12-10 | Olympus Optical Co Ltd | 画像表示装置 |
| EP0522674B1 (en) | 1991-07-12 | 1998-11-11 | Mark R. Robinson | Oximeter for reliable clinical determination of blood oxygen saturation in a fetus |
| JP3237900B2 (ja) | 1992-06-19 | 2001-12-10 | 株式会社東芝 | 画像表示システム |
| JPH0638219A (ja) | 1992-07-20 | 1994-02-10 | Olympus Optical Co Ltd | 映像表示装置 |
| US5381784A (en) | 1992-09-30 | 1995-01-17 | Adair; Edwin L. | Stereoscopic endoscope |
| US5603687A (en) | 1992-10-28 | 1997-02-18 | Oktas General Partnership | Asymmetric stereo-optic endoscope |
| EP0596651A1 (en) | 1992-11-02 | 1994-05-11 | National Semiconductor Corporation | Network for data communication with isochronous capability |
| JP3020376B2 (ja) | 1993-03-26 | 2000-03-15 | サージミヤワキ株式会社 | 動物用体内型個体識別器具 |
| US5642157A (en) | 1993-11-29 | 1997-06-24 | Kabushiki Kaisha Toshiba | Electronic endoscope apparatus usable in combination with medical diagnosis apparatus |
| IL108352A (en) | 1994-01-17 | 2000-02-29 | Given Imaging Ltd | In vivo video camera system |
| US5880777A (en) | 1996-04-15 | 1999-03-09 | Massachusetts Institute Of Technology | Low-light-level imaging and image processing |
| US7194117B2 (en) | 1999-06-29 | 2007-03-20 | The Research Foundation Of State University Of New York | System and method for performing a three-dimensional virtual examination of objects, such as internal organs |
| JP3250467B2 (ja) | 1996-10-04 | 2002-01-28 | 松下電器産業株式会社 | 映像要約方法および映像表示方法 |
| US6173317B1 (en) | 1997-03-14 | 2001-01-09 | Microsoft Corporation | Streaming and displaying a video stream with synchronized annotations over a computer network |
| US6240312B1 (en) | 1997-10-23 | 2001-05-29 | Robert R. Alfano | Remote-controllable, micro-scale device for use in in vivo medical diagnosis and/or treatment |
| IL122602A0 (en) | 1997-12-15 | 1998-08-16 | Tally Eitan Zeev Pearl And Co | Energy management of a video capsule |
| GB9802415D0 (en) | 1998-02-05 | 1998-04-01 | Danmere Limited | Storage tape control system |
| JP4074366B2 (ja) | 1998-02-24 | 2008-04-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 |
| JP2000047651A (ja) | 1998-07-29 | 2000-02-18 | Mitsubishi Electric Corp | 映像再生装置 |
| IL126727A (en) | 1998-10-22 | 2006-12-31 | Given Imaging Ltd | A method of bringing a device to the goal |
| US6654539B1 (en) | 1998-10-26 | 2003-11-25 | Sony Corporation | Trick playback of digital video data |
| US6208354B1 (en) | 1998-11-03 | 2001-03-27 | Ati International Srl | Method and apparatus for displaying multiple graphics images in a mixed video graphics display |
| US6504990B1 (en) | 1998-11-12 | 2003-01-07 | Max Abecassis | Randomly and continuously playing fragments of a video segment |
| US6408128B1 (en) | 1998-11-12 | 2002-06-18 | Max Abecassis | Replaying with supplementary information a segment of a video |
| JP3826598B2 (ja) | 1999-01-29 | 2006-09-27 | 株式会社日立製作所 | 画像監視装置及び記録媒体 |
| US8636648B2 (en) | 1999-03-01 | 2014-01-28 | West View Research, Llc | Endoscopic smart probe |
| US6563959B1 (en) | 1999-07-30 | 2003-05-13 | Pixlogic Llc | Perceptual similarity image retrieval method |
| US6791601B1 (en) | 1999-11-11 | 2004-09-14 | Stryker Corporation | Multi-function image and video capture device for use in an endoscopic camera system |
| JP2001209785A (ja) | 1999-11-19 | 2001-08-03 | Fujitsu Ltd | 画像処理装置、画像処理方法、および画像処理プログラム記憶媒体 |
| JP2001167248A (ja) | 1999-12-06 | 2001-06-22 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| US6976229B1 (en) | 1999-12-16 | 2005-12-13 | Ricoh Co., Ltd. | Method and apparatus for storytelling with digital photographs |
| JP4573393B2 (ja) | 2000-01-06 | 2010-11-04 | オリンパス株式会社 | 画像表示装置 |
| US20010015753A1 (en) | 2000-01-13 | 2001-08-23 | Myers Kenneth J. | Split image stereoscopic system and method |
| IL134017A (en) | 2000-01-13 | 2008-04-13 | Capsule View Inc | Camera for photography inside the intestines |
| US7039453B2 (en) | 2000-02-08 | 2006-05-02 | Tarun Mullick | Miniature ingestible capsule |
| WO2001065995A2 (en) | 2000-03-08 | 2001-09-13 | Given Imaging Ltd. | A device and system for in vivo imaging |
| JP3810268B2 (ja) | 2000-04-07 | 2006-08-16 | シャープ株式会社 | オーディオビジュアルシステム |
| US6709387B1 (en) | 2000-05-15 | 2004-03-23 | Given Imaging Ltd. | System and method for controlling in vivo camera capture and display rate |
| US8538770B2 (en) | 2000-08-01 | 2013-09-17 | Logical Images, Inc. | System and method to aid diagnoses using cross-referenced knowledge and image databases |
| US7260777B2 (en) | 2001-08-17 | 2007-08-21 | Desknet Inc. | Apparatus, method and system for transforming data |
| AU2002213404A1 (en) | 2000-10-24 | 2002-05-06 | Howmedica Osteonics Corp. | Barrel-shaped apparatus for fusing adjacent bone structure |
| US7027633B2 (en) | 2000-11-30 | 2006-04-11 | Foran David J | Collaborative diagnostic systems |
| IL156961A0 (en) | 2001-01-16 | 2004-02-08 | Given Imaging Ltd | System and method for wide field imaging of body lumens |
| US6891570B2 (en) | 2001-01-31 | 2005-05-10 | Itt Manufacturing Enterprises Inc. | Method and adaptively deriving exposure time and frame rate from image motion |
| JP4067407B2 (ja) | 2001-03-14 | 2008-03-26 | ギブン・イメージング・リミテツド | 生体内での比色分析の異常を検出するための方法およびシステム |
| US6697123B2 (en) | 2001-03-30 | 2004-02-24 | Koninklijke Philips Electronics N.V. | Adaptive picture-in-picture |
| US7119814B2 (en) | 2001-05-18 | 2006-10-10 | Given Imaging Ltd. | System and method for annotation on a moving image |
| IL143260A (en) | 2001-05-20 | 2006-09-05 | Given Imaging Ltd | Array and method for locating an intra-body signal source |
| AU2002304266A1 (en) | 2001-06-20 | 2003-01-02 | Given Imaging Ltd. | Motility analysis within a gastrointestinal tract |
| US7272657B2 (en) | 2001-07-30 | 2007-09-18 | Digeo, Inc. | System and method for displaying video streams ranked by user-specified criteria |
| JP4744026B2 (ja) | 2001-07-30 | 2011-08-10 | オリンパス株式会社 | カプセル内視鏡およびカプセル内視鏡システム |
| US7347817B2 (en) | 2001-08-02 | 2008-03-25 | Given Imaging Ltd. | Polarized in vivo imaging device, system and method |
| US20030086596A1 (en) | 2001-11-07 | 2003-05-08 | Medical Metrics, Inc. | Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae |
| IL153510A0 (en) | 2001-12-18 | 2003-07-06 | Given Imaging Ltd | Device, system and method for capturing in-vivo images with three-dimensional aspects |
| US8022980B2 (en) * | 2002-02-12 | 2011-09-20 | Given Imaging Ltd. | System and method for displaying an image stream |
| US7474327B2 (en) * | 2002-02-12 | 2009-01-06 | Given Imaging Ltd. | System and method for displaying an image stream |
| ATE372028T1 (de) | 2002-02-12 | 2007-09-15 | Given Imaging Ltd | System und verfahren zur anzeige eines bildstroms |
| JP2004023458A (ja) | 2002-06-17 | 2004-01-22 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| JP3810381B2 (ja) | 2003-04-25 | 2006-08-16 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
| JP4328125B2 (ja) | 2003-04-25 | 2009-09-09 | オリンパス株式会社 | カプセル型内視鏡装置およびカプセル型内視鏡システム |
| WO2004100776A1 (ja) | 2003-05-14 | 2004-11-25 | Olympus Corporation | カプセル型医療装置 |
| AU2004277001B2 (en) | 2003-10-02 | 2010-08-19 | Given Imaging Ltd. | System and method for presentation of data streams |
| US7319781B2 (en) | 2003-10-06 | 2008-01-15 | Carestream Health, Inc. | Method and system for multiple passes diagnostic alignment for in vivo images |
| US20050075537A1 (en) | 2003-10-06 | 2005-04-07 | Eastman Kodak Company | Method and system for real-time automatic abnormality detection for in vivo images |
| US7510283B2 (en) | 2003-11-20 | 2009-03-31 | Heidelberg Engineering Optische Messsysteme Gmbh | High resolution imaging for diagnostic evaluation of the fundus of the human eye |
| US8164672B2 (en) | 2003-12-31 | 2012-04-24 | Given Imaging Ltd. | System and method for displaying an image stream |
| US20070268280A1 (en) * | 2004-08-23 | 2007-11-22 | Manabu Fujita | Image Display Apparatus, Image Display Method, and Image Display Program |
| JP4133981B2 (ja) * | 2004-09-09 | 2008-08-13 | 株式会社東芝 | メタデータと動画像の再生装置 |
| US7986337B2 (en) | 2004-09-27 | 2011-07-26 | Given Imaging Ltd. | System and method for editing an image stream captured in vivo |
| US7558413B2 (en) * | 2004-10-12 | 2009-07-07 | Siemens Medical Solutions USA, Inc, | Method for detecting polyps in a three dimensional image volume |
| KR20070083861A (ko) | 2004-10-29 | 2007-08-24 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 어셈블링 방법과 디바이스, 모바일 장치 및 프로그램 제품 |
| US7486981B2 (en) | 2004-11-15 | 2009-02-03 | Given Imaging Ltd. | System and method for displaying an image stream |
| KR100633288B1 (ko) | 2004-12-27 | 2006-10-11 | 삼성토탈 주식회사 | 스티렌을 제조하는 방법 |
| JP4547293B2 (ja) * | 2005-04-04 | 2010-09-22 | オリンパス株式会社 | 画像表示装置 |
| US8423123B2 (en) * | 2005-09-30 | 2013-04-16 | Given Imaging Ltd. | System and method for in-vivo feature detection |
| US7577283B2 (en) | 2005-09-30 | 2009-08-18 | Given Imaging Ltd. | System and method for detecting content in-vivo |
| KR20070078335A (ko) | 2006-01-26 | 2007-07-31 | 엘지전자 주식회사 | 프로세서에서의 온칩메모리 제어장치 |
| JP5005981B2 (ja) * | 2006-08-03 | 2012-08-22 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
| US8900124B2 (en) | 2006-08-03 | 2014-12-02 | Olympus Medical Systems Corp. | Image display device |
| JP2008109637A (ja) | 2006-09-25 | 2008-05-08 | Toshiba Corp | 動画像符号化装置及びその方法 |
| WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
| US20090074265A1 (en) | 2007-09-17 | 2009-03-19 | Capsovision Inc. | Imaging review and navigation workstation system |
| US9426414B2 (en) | 2007-12-10 | 2016-08-23 | Qualcomm Incorporated | Reference selection for video interpolation or extrapolation |
| US20090228834A1 (en) * | 2008-02-29 | 2009-09-10 | Christopher Reynolds | Flow radiology user interface |
| JP2009226170A (ja) * | 2008-03-25 | 2009-10-08 | Olympus Medical Systems Corp | 医療用画像処理装置 |
| JP5374078B2 (ja) | 2008-06-16 | 2013-12-25 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US20100014738A1 (en) * | 2008-07-21 | 2010-01-21 | Tomtec Imaging Systems Gmbh | Method and system for breast cancer screening |
| US8628015B2 (en) | 2008-10-31 | 2014-01-14 | Hand Held Products, Inc. | Indicia reading terminal including frame quality evaluation processing |
| US8150124B2 (en) * | 2009-10-12 | 2012-04-03 | Capso Vision Inc. | System and method for multiple viewing-window display of capsule images |
| US8446465B2 (en) | 2010-01-05 | 2013-05-21 | Given Imaging Ltd. | System and method for displaying an image stream captured in-vivo |
| US8682142B1 (en) | 2010-03-18 | 2014-03-25 | Given Imaging Ltd. | System and method for editing an image stream captured in-vivo |
| JP5972865B2 (ja) | 2010-04-28 | 2016-08-17 | ギブン イメージング リミテッドＧｉｖｅｎ Ｉｍａｇｉｎｇ Ｌｔｄ． | 生体内画像の部分を表示するシステム及びその作動方法 |
| US20120069049A1 (en) * | 2010-09-16 | 2012-03-22 | Omnyx, LLC | Digital pathology image manipulation |
| US20120113239A1 (en) | 2010-11-08 | 2012-05-10 | Hagai Krupnik | System and method for displaying an image stream |
| JP5784404B2 (ja) * | 2011-07-29 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2011
- 2011-04-28 JP JP2013506809A patent/JP5972865B2/ja active Active
- 2011-04-28 CN CN201610932584.5A patent/CN106923779A/zh active Pending
- 2011-04-28 KR KR1020127028118A patent/KR101708726B1/ko not_active Expired - Fee Related
- 2011-04-28 WO PCT/IL2011/000345 patent/WO2011135573A1/en active Application Filing
- 2011-04-28 US US13/643,483 patent/US9060673B2/en active Active
- 2011-04-28 CN CN201180021287.0A patent/CN102934127B/zh active Active
- 2011-04-28 EP EP11774537.2A patent/EP2567347A4/en not_active Ceased
- 2011-04-28 EP EP21153056.3A patent/EP3852010B1/en active Active
-
2015
- 2015-05-15 US US14/713,016 patent/US10101890B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009018048A (ja) | 2007-07-12 | 2009-01-29 | Fujifilm Corp | 医用画像表示装置、方法及びプログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200005831A (ko) * | 2018-07-09 | 2020-01-17 | 주식회사 셀바스에이아이 | 조기 위암의 예측 방법 및 이를 이용한 디바이스 |
| KR102275760B1 (ko) * | 2018-07-09 | 2021-07-09 | 주식회사 셀바스에이아이 | 조기 위암의 예측 방법 및 이를 이용한 디바이스 |
| KR102193302B1 (ko) * | 2020-07-06 | 2020-12-22 | 주식회사 스마트 잭 | 영상을 이용한 시약 정보 수집 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130109915A1 (en) | 2013-05-02 |
| JP5972865B2 (ja) | 2016-08-17 |
| EP3852010A1 (en) | 2021-07-21 |
| EP3852010B1 (en) | 2025-04-09 |
| US20150248223A1 (en) | 2015-09-03 |
| EP2567347A4 (en) | 2014-08-27 |
| US10101890B2 (en) | 2018-10-16 |
| US9060673B2 (en) | 2015-06-23 |
| CN102934127B (zh) | 2016-11-16 |
| CN106923779A (zh) | 2017-07-07 |
| JP2013524988A (ja) | 2013-06-20 |
| EP2567347A1 (en) | 2013-03-13 |
| KR20130067257A (ko) | 2013-06-21 |
| CN102934127A (zh) | 2013-02-13 |
| WO2011135573A1 (en) | 2011-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101708726B1 (ko) | 생체내 영상들 일부 표시 시스템 및 방법 | |
| KR102818145B1 (ko) | 생체 내 이미지들의 스트림의 스터디를 생성하고 디스플레이하기 위한 시스템들 및 방법들 | |
| US9072442B2 (en) | System and method for displaying an image stream | |
| US8682142B1 (en) | System and method for editing an image stream captured in-vivo | |
| CN104350742B (zh) | 用于显示图像流的系统和方法 | |
| JP4971615B2 (ja) | 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法 | |
| US11478125B2 (en) | Systems and methods for assessment and monitoring of a mucosal disease in a subjects gastrointestinal tract | |
| JP7084994B2 (ja) | 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム | |
| US20120113239A1 (en) | System and method for displaying an image stream | |
| US20150016700A1 (en) | System and method for displaying motility events in an in vivo image stream | |
| US20070076930A1 (en) | System and method for detecting content in-vivo | |
| US20070078300A1 (en) | System and method for detecting content in-vivo | |
| KR100942997B1 (ko) | 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법 | |
| CN116457827A (zh) | 用于息肉大小估计的系统和方法 | |
| JP7602438B2 (ja) | 医療画像処理装置及びその作動方法 | |
| KR100931931B1 (ko) | 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20121026 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20150429 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160614 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20161227 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170215 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170215 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20200203 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210202 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220125 Start annual number: 6 End annual number: 6 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20231126 |