[go: up one dir, main page]

JP6434532B2 - 気管を検出するためのシステム - Google Patents

気管を検出するためのシステム Download PDF

Info

Publication number
JP6434532B2
JP6434532B2 JP2016563459A JP2016563459A JP6434532B2 JP 6434532 B2 JP6434532 B2 JP 6434532B2 JP 2016563459 A JP2016563459 A JP 2016563459A JP 2016563459 A JP2016563459 A JP 2016563459A JP 6434532 B2 JP6434532 B2 JP 6434532B2
Authority
JP
Japan
Prior art keywords
slice image
connected component
active object
image
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016563459A
Other languages
English (en)
Other versions
JP2017522912A (ja
Inventor
イゴール エー. マルコフ,
イゴール エー. マルコフ,
ユリ クレイニン,
ユリ クレイニン,
Original Assignee
コヴィディエン リミテッド パートナーシップ
コヴィディエン リミテッド パートナーシップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コヴィディエン リミテッド パートナーシップ, コヴィディエン リミテッド パートナーシップ filed Critical コヴィディエン リミテッド パートナーシップ
Publication of JP2017522912A publication Critical patent/JP2017522912A/ja
Application granted granted Critical
Publication of JP6434532B2 publication Critical patent/JP6434532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Description

(関連出願への相互参照)
本出願は、2014年7月2日に出願された米国仮特許出願番号第62/020,257号に基づく利益および優先権を主張しており、その全体の内容は、参考として本明細書中に援用される。
(背景)
(技術分野)
本開示は、気管を検出するためのシステムおよび方法に関する。より具体的には、本開示は、胸部の3次元体積のスライス画像に基づいて、気管を検出するシステムおよび方法に関する。
(関連する技術の説明)
胸部の視覚化に関連する視覚化技法は、臨床医が、胸部内に含まれる器官または他の部分に診断および/または外科手術を実施することに役立つように開発されている。視覚化は、特に、疾患領域の場所を識別するために重要である。さらに、疾患領域を治療するとき、外科手術が胸部内の正しい場所において実施されるように、疾患領域の特定の場所の識別に付加的な重点が置かれている。
これまで、走査された胸部の2次元画像が、視覚化を補助するために使用されていた。走査された胸部の2次元画像から肺を視覚化するために、2次元画像のある面積が肺の一部であるかどうかを判定することが重要である。したがって、開始場所、例えば、肺に接続されるか、または肺の一部に接続される器官もしくは他の部分の場所を検出することもまた、肺を識別するために重要である。一実施例では、気管がその長さに沿って実質的に一定の直径を有し、肺に接続されていることが既知であるため、気管は、開始場所として使用されることができる。
(要旨)
本開示に従って、患者の気管を検出するためのシステムが、提供される。
本開示のある側面では、本システムは、患者の画像データを得るように構成される、撮像デバイスと、プロセッサと、プロセッサによって実行されると、コンピューティングデバイスに、画像データに基づいて、患者の胸部の3次元(3D)モデルを生成させ、軸方向に沿って、3Dモデルのスライス画像を生成させ、生成されたスライス画像の第1のスライス画像内の、潜在的な接続される構成要素を識別させ、生成されたスライス画像の第2のスライス画像内の、潜在的な接続される構成要素を識別させ(ここで、第2のスライス画像は、第1の生成されたスライス画像の直後に続き)、第1および第2のスライス画像の潜在的な接続される構成要素が、接続されていることを確認させ、潜在的な接続される構成要素を、接続される構成要素として標識化させ、第1のスライス画像を、生成されたスライス画像のトップスライス画像として標識化させ、トップスライス画像内の接続される構成要素を、アクティブオブジェクトとして標識化させ、生成されたスライス画像の現在のスライス画像内の各接続される構成要素を、接続性基準に基づいて、前のスライス画像内の対応する接続される構成要素と関連付けさせ、先行するスライス画像の接続される構成要素と関連付けられる、現在のスライス画像内の各接続される構成要素を、アクティブオブジェクトとして標識化させ、アクティブオブジェクトの長さに基づいて、アクティブオブジェクトを気管として識別させる、命令を記憶するメモリとを含む、コンピューティングデバイスと含む。
本開示の別の側面では、画像データは、トモグラフィ技法、X線撮影法、コンピュータ軸トモグラフィ走査によってもたらされるトモグラム、磁気共鳴撮像、超音波検査法、造影撮像、蛍光透視法、核走査法、または陽電子放射トモグラフィを使用する撮像デバイスによって得られる。
本開示のさらなる側面では、命令はさらに、コンピューティングデバイスに、前のスライス画像内のアクティブオブジェクトを決定させる。
本開示の別の側面では、スライス画像は、相互から等しい距離に離間される。
本開示のさらなる側面では、命令はさらに、コンピューティングデバイスに、決定されたアクティブオブジェクト内に含まれるスライス画像の数から1を引いたものと、各スライス画像間の距離とを乗算することによって、決定されたアクティブオブジェクトの長さを計算させる。
本開示の別の側面では、決定されたアクティブオブジェクトの長さが、70mmを上回るか、またはそれに等しいと、命令はさらに、コンピューティングデバイスに、気管が識別されることを示させる。
本開示のさらなる側面では、決定されたアクティブオブジェクトの長さが、30mmを上回るか、またはそれに等しいが、70mmを下回ると、命令はさらに、コンピューティングデバイスに、気管が潜在的に識別されることを示させる。
本開示の別の側面では、決定されたアクティブオブジェクトの長さが、30mmを下回ると、命令はさらに、コンピューティングデバイスに、気管が識別されていないことを示させる。
本開示のさらなる側面では、現在のスライス画像の接続される構成要素におけるピクセルの座標が、前のスライス画像内の対応する接続される構成要素におけるピクセルの座標と整合すると、現在のスライス画像の接続される構成要素が、前のスライス画像内の対応する接続される構成要素と関連付けられる。
本開示の別の側面では、現在のスライス画像の接続される構成要素の質量中心と、前のスライス画像内の対応する接続される構成要素の質量中心との間の差異が、事前判定された値を下回ると、現在のスライス画像の接続される構成要素が、前のスライス画像内の対応する接続される構成要素と関連付けられる。
本開示のさらなる側面では、現在のスライス画像の接続される構成要素の面積と、前のスライス画像内の対応する接続される構成要素の面積との間の差異が、事前判定された値を下回ると、現在のスライス画像の接続される構成要素が、前のスライス画像内の対応する接続される構成要素と関連付けられる。
本開示の別の側面では、命令はさらに、コンピューティングデバイスに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定させ、関連付けパラメータは、現在のスライス画像内の接続される構成要素の面積を、前のスライス画像内の対応する接続される構成要素の面積で除算することによって計算される、面積比である。
本開示のさらなる側面では、命令はさらに、コンピューティングデバイスに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定させ、関連付けパラメータは、前のスライス画像内の対応するアクティブオブジェクトの座標と整合する、現在のスライス画像の接続される構成要素の座標の数と、現在のスライス画像の接続される構成要素の整合しない座標の数との間の比率である。
本開示の別の側面では、命令はさらに、コンピューティングデバイスに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定させ、関連付けパラメータは、現在のスライス画像の接続される構成要素の面積である。
本開示のさらなる側面では、命令はさらに、コンピューティングデバイスに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定させ、関連付けパラメータが事前判定された値を上回ると、アクティブオブジェクトとしての前のスライスの対応するアクティブオブジェクトの標識を除去させる。
本開示の別の側面では、命令はさらに、関連付けパラメータが事前判定された値を上回ると、コンピューティングデバイスに、アクティブオブジェクトとしての現在のスライスの接続される構成要素の標識を除去させる。
本開示のさらなる側面では、命令はさらに、コンピューティングデバイスに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定させ、アクティブオブジェクトは、関連付けパラメータが事前判定された値を下回ると決定される。
本開示のさらなる側面では、命令はさらに、コンピューティングデバイスに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定させ、関連付けパラメータが第1の事前判定された値を上回るか、またはそれに等しく、第2の事前判定された値を下回るか、またはそれに等しいと、現在のスライスの接続される構成要素を、アクティブオブジェクトとして標識化させる。
本開示に従って、患者の気管を検出するための方法が、提供される。
本開示のある側面では、本方法は、患者の胸部の3次元(3D)モデルを得るステップと、軸方向に沿って、3Dモデルのスライス画像を生成するステップと、生成されたスライス画像の第1のスライス画像内の、潜在的な接続される構成要素を識別するステップと、生成されたスライス画像の第2のスライス画像内の、潜在的な接続される構成要素を識別するステップであって、第2のスライス画像は、第1の生成されたスライス画像の直後に続く、ステップと、第1および第2のスライス画像の潜在的な接続される構成要素が、接続されていることを確認するステップと、潜在的な接続される構成要素を、接続される構成要素として標識化するステップと、第1のスライス画像を、生成されたスライス画像のトップスライス画像として標識化するステップと、トップスライス画像内の接続される構成要素を、アクティブオブジェクトとして標識化するステップと、生成されたスライス画像の現在のスライス画像内の各接続される構成要素を、接続性基準に基づいて、前のスライス画像内の対応する接続される構成要素と関連付けるステップと、先行するスライス画像の接続される構成要素と関連付けられる、現在のスライス画像内の各接続される構成要素を、アクティブオブジェクトとして標識化するステップと、アクティブオブジェクトの長さに基づいて、アクティブオブジェクトを気管として識別するステップとを含む。
本開示のさらなる側面では、3Dモデルは、トモグラフィ技法、X線撮影法、コンピュータ軸トモグラフィ走査によってもたらされるトモグラム、磁気共鳴撮像、超音波検査法、造影撮像、蛍光透視法、核走査法、または陽電子放射トモグラフィを使用する撮像デバイスによって得られる画像データに基づいて生成される。
本開示の別の側面では、本方法はさらに、前のスライス画像内のアクティブオブジェクトを決定するステップを含む。
本開示のさらなる側面では、スライス画像は、相互から等しい距離に離間される。
本開示の別の側面では、本方法はさらに、決定されたアクティブオブジェクト内に含まれるスライス画像の数から1を引いたものと、各スライス画像間の距離とを乗算することによって、決定されたアクティブオブジェクトの長さを計算するステップを含む。
本開示のさらなる側面では、決定されたアクティブオブジェクトの長さが、70mmを上回るか、またはそれに等しいと、本方法はさらに、気管が識別されることを示すステップを含む。
本開示の別の側面では、決定されたアクティブオブジェクトの長さが、30mmを上回るか、またはそれに等しいが、70mmを下回ると、本方法はさらに、気管が潜在的に識別されることを示すステップを含む。
本開示のさらなる側面では、決定されたアクティブオブジェクトの長さが、30mmを下回ると、本方法はさらに、気管が識別されていないことを示すステップを含む。
本開示の別の側面では、現在のスライス画像の接続される構成要素におけるピクセルの座標が、前のスライス画像内の対応する接続される構成要素におけるピクセルの座標と整合すると、現在のスライス画像の接続される構成要素が、前のスライス画像内の対応する接続される構成要素と関連付けられる。
本開示のさらなる側面では、現在のスライス画像の接続される構成要素の質量中心と、前のスライス画像内の対応する接続される構成要素の質量中心との間の差異が、事前判定された値を下回ると、現在のスライス画像の接続される構成要素が、前のスライス画像内の対応する接続される構成要素と関連付けられる。
本開示の別の側面では、現在のスライス画像の接続される構成要素の面積と、前のスライス画像内の対応する接続される構成要素の面積との間の差異が、事前判定された値を下回ると、現在のスライス画像の接続される構成要素が、前のスライス画像内の対応する接続される構成要素と関連付けられる。
本開示のさらなる側面では、本方法はさらに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定するステップを含み、関連付けパラメータは、現在のスライス画像内の接続される構成要素の面積を、前のスライス画像内の対応する接続される構成要素の面積で除算することによって計算される、面積比である。
本開示の別の側面では、本方法はさらに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定するステップを含み、関連付けパラメータは、前のスライス画像内の対応するアクティブオブジェクトの座標と整合する、現在のスライス画像の接続される構成要素の座標の数と、現在のスライス画像の接続される構成要素の整合しない座標の数との間の比率である。
本開示のさらなる側面では、本方法はさらに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定するステップを含み、関連付けパラメータは、現在のスライス画像の接続される構成要素の面積である。
本開示の別の側面では、本方法はさらに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定するステップと、関連付けパラメータが事前判定された値を上回ると、アクティブオブジェクトとしての前のスライスの対応するアクティブオブジェクトの標識を除去するステップとを含む。
本開示のさらなる側面では、本方法はさらに、関連付けパラメータが事前判定された値を上回ると、アクティブオブジェクトとしての現在のスライスの接続される構成要素の標識を除去するステップを含む。
本開示の別の側面では、本方法はさらに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定するステップを含み、アクティブオブジェクトは、関連付けパラメータが事前判定された値を下回ると決定される。
本開示のさらなる側面では、本方法はさらに、関連付けパラメータに基づいて、前のスライス画像内のアクティブオブジェクトを決定するステップと、関連付けパラメータが第1の事前判定された値を上回るか、またはそれに等しく、第2の事前判定された値を下回るか、またはそれに等しいと、現在のスライスの接続される構成要素を、アクティブオブジェクトとして標識化するステップとを含む。
本開示の上記の側面および実施形態のいずれかは、本開示の範囲から逸脱することなく組み合わせられ得る。
本開示されるシステムおよび方法の目的ならびに特徴は、種々の実施形態の説明が付随の図面を参照して読み取られるとき、当業者に明白になる。
図1は、本開示の実施形態による、患者の肺の3Dモデルにおいて気管を検出するために使用され得る、例示的デバイスの概略図である。 図2は、本開示の実施形態による、軸および冠状配向における気管を示す3Dモデルから生成される、2Dスライス画像を描写する。 図3は、本開示の実施形態による、患者の胸部の2Dスライス画像内の接続される構成要素のグラフ例証である。 図4は、本開示の実施形態による、患者の胸部の2Dスライス画像の平面図のグラフ例証である。 図5Aは、本開示の実施形態による、気管を検出するための方法のフローチャートである。 図5Bは、本開示の実施形態による、2Dスライス画像間の関連付けを判定するための方法のフローチャートである。
(詳細な説明)
本開示は、患者の胸部の2Dスライス画像に基づいて、気管を自動的に検出するためのシステムおよび方法に関する。気管を識別することは、電磁的ナビゲーション(EMN)システムを使用してELECTROMAGNETIC NAVIGATION BRONCHOSCOPY(登録商標)(ENB)手技を実施するための経路計画の必要な構成要素であり得る。
ENB手技は、概して、少なくとも2つの段階、すなわち、(1)患者の肺内に、またはそれに隣接して位置する標的への経路を計画するステップと、(2)計画された経路に沿って、プローブを標的にナビゲートするステップとを伴う。これらの段階は、概して、(1)「計画」および(2)「ナビゲーション」と称される。肺は気管に接続されるため、気管を検出することによって、肺が、肺の外側の面積と視覚的に区別されることができる。本明細書に説明される計画ソフトウェアの例が、その全てがCovidien LPによって2013年3月15日に出願され、「Pathway Planning System and Method」と題された、米国特許出願第13/838,805号、第13/838,997号、および第13/839,224号(その全ては、参照することによって本明細書に組み込まれる)に見出されることができる。計画ソフトウェアの例は、本発明の譲受人に譲渡され、「SYSTEM AND METHOD FOR NAVIGATING WITHIN THE LUNG」と題された、米国仮特許出願第62/020,240号(その全内容は、参照することによって本明細書に組み込まれる)にも見出されることができる。
計画段階に先立って、患者の肺は、例えば、コンピュータトモグラフィ(CT)走査によって撮像されるが、付加的かつ適用可能な撮像方法が、当業者に公知である。CT走査中に収集された画像データは、次いで、例えば、Digital Imaging and Communications in Medicine(DICOM)フォーマット内に記憶され得るが、付加的かつ適用可能なフォーマットが、当業者に公知である。CT走査画像データは、次いで、計画ソフトウェアアプリケーション(「アプリケーション」)中にロードされ、ENB手技の計画段階中に使用され得る、3Dモデルを生成するために処理され得る。
本アプリケーションは、患者の肺の3Dモデルを生成するために、CT走査画像データを使用し得る。3Dモデルは、とりわけ、患者の肺の実際の気道に対応するモデル気道樹を含み、患者の実際の気道樹の種々の通路、枝、および分岐部を示し得る。CT走査画像データは、画像データ内に含まれる間隙、脱落、および/または他の欠陥を有し得るが、3Dモデルは、患者の気道の平滑な表現であり、CT走査画像データ内の任意のそのような間隙、脱落、および/または不完全さは、補填もしくは補正される。
計画段階は、概して、3Dモデル内の少なくとも1つの標的を識別するステップと、標的への経路を生成するステップとを伴う。経路は、概して、患者の口から、気管および接続される気道を通して、標的に延び得る。しかしながら、標的への経路を生成するために、3Dモデル内の気管の場所が、把握されなければならない。
以下により詳細に説明されるように、本願は、3Dモデル内の気管を自動的に検出することを試みる。しかしながら、気管の自動検出が失敗する事例が存在し得る。そのような事例では、気管は、手動で識別およびマーキングされる必要があり得る。本プロセスは、共同所有であり、「Trachea Marking」と題され、Lachmanovich et al.によって2014年7月2日に出願された、米国仮特許出願第62/020,253号(その全内容は、参照することによって本明細書に組み込まれる)により完全に説明されている。
気管は、呼吸のための通路を提供する。気管は、上側端部において喉頭および咽頭に接続される。特に、気管の上側部分は、喉頭および咽頭から胸板の後方に実質的に直線状に延在する。気管の下側部分は、より小さい管の対、すなわち、一次気管支に枝分かれし、各管は、肺に接続する。主要気管分岐部は、一次気管支への気管の枝分かれによって形成される、軟骨性突起部である。気管の直径は、その長さ(すなわち、軸方向)に沿って、実質的に一定である一方、肺のサイズは、気管の長さと同一の方向に実質的に沿って変化する。したがって、3Dモデルの2Dスライス画像を分析することによって、気管は、検出され得る。
図1は、3Dモデルにおける気管の場所を検出するために、ENB手技の計画段階中に使用され得る、画像処理デバイス100を示す。デバイス100は、以下に説明される機能を実施するように構成される、特殊化画像処理コンピュータであり得る。デバイス100は、ラップトップ、デスクトップ、タブレット、または他の類似するコンピュータ等、当業者に公知の任意の形状因子において具現化されてもよい。デバイス100は、とりわけ、1つまたはそれを上回るプロセッサ110、とりわけ、上記に参照されるアプリケーション122を記憶するメモリ120、ディスプレイ130、1つまたはそれを上回る特殊化グラフィックプロセッサ140、ネットワークインターフェース150、および1つまたはそれを上回る入力インターフェース160を含んでもよい。上記に留意されるように、3Dモデルの2Dスライス画像は、種々の配向において表示され得る。例として、図2は、軸および冠状配向における患者の肺の3Dモデルの2Dスライス画像を示し、2Dスライス画像210は、軸面に沿って生成され、2Dスライス画像220は、冠状面に沿って生成される。
2Dスライス画像210および220は両方とも、気管212および主要気管分岐部214を示す。3Dモデルの2Dスライス画像は、高い強度を伴う高密度面積および低い強度を伴う低密度面積を示し得る。例えば、骨、筋肉、血管、または癌性部分が、肺の気道の内側面積よりも高い強度を伴って表示される。
ある側面では、2Dスライス画像は、所与の場所における患者の軸方向、冠状面、および矢状面ビューを描写するように生成されてもよい。例えば、3Dモデルの各交差点において、3つの独立した方向において生成される、3つの異なる2Dスライス画像が存在してもよい。これらの2Dスライス画像は、表示のために再フォーマット化され得る。例えば、アプリケーション122は、意図されるような2Dスライス画像を表示するために、2Dスライス画像の色空間を表示のために好適な別の色空間に変換し、そして、撮像プロセス、例えば、スケーリング、回転、平行移動、または投影を実施し得る。
2Dスライス画像は、領域成長アルゴリズムを使用することによって、バイナリ化されてもよい。領域成長アルゴリズムに基づいて、かつシードピクセルから開始することで、3Dモデルの2Dスライス画像内の全ピクセルは、各ピクセルに割り当てられたハウンスフィールド値が閾値を下回るかどうか、および各ピクセルがシードピクセルに接続されているかどうか判定するようにチェックされる。ピクセルに割り当てられた値が閾値を下回るハウンスフィールド値を有し、シードピクセルに接続されていることが判定されると、ピクセルのハウンスフィールド値は、1または最大値に設定される。そうでなければ、ピクセルのハウンスフィールド値は、ゼロまたは最小値に設定される。領域成長アルゴリズムの一部として、肺内に漏出を引き起こし、したがって、気道から漏出される強度値で肺を充填するために十分に高い値を伴う閾値が、選択される。
3Dモデルの2Dスライス画像内の全ピクセルが最大または最小値に設定された後、2Dスライス画像は、2色のみのピクセルを有し得る。結果は、2Dスライス画像のセットであり、最大ハウンスフィールド値を有するピクセルは、白色で出現し、最小ハウンスフィールド値を有するピクセルは、黒色で出現するであろう。いくつかの事例では、3Dモデルの2Dスライス画像内のピクセルの値は、肺領域が黒色で示され、非肺領域が白色または別の色で示されるように逆転される。バイナリ化された2Dスライス画像は、非肺面積(例えば、骨、胃、心臓、血管、気道壁等)として白色領域を、肺面積(例えば、肺、気管、および接続される構成要素)として黒色領域を示してもよい。以下により詳細に説明されるように、接続される構成要素は、他の2Dスライス画像の1つまたはそれを上回るものにおいて対応する面積を有するように識別される2Dスライス画像の面積であり、したがって、患者の肺または気管を表し得る。
図3は、本開示の実施形態による、3Dモデルに基づいて生成される3つの2Dスライス画像を例証する。画像305は、軸方向に沿って生成され、画像310は、矢状面方向に沿って生成され、画像315は、冠状面方向に沿って生成される。3つの画像305、310、および315内に示される黒色面積は、肺領域であり、3つの画像305、310、および315内に含まれる白色面積は、非肺面積である。白色面積は、血管および気道壁を表し得る。接続される構成要素の内部面積が十分に大きく、肺領域を構成する組織よりも低い密度(例えば、血液、空気、または粗空間)を有する場合では、黒色面積もまた、出現する。この意味で、接続される構成要素は、肺面積も含む。例えば、画像305内の接続される構成要素は、左肺320、右肺325、左一次気管支330、および右一次気管支335である。左肺320および右肺325の内側の白色面積は、接続される構成要素ではなく、血管または気道壁である。
気管の上側部分は、喉頭および咽頭から胸板または胸骨の後方に実質的に直線状に延在する。気管の下側部分は、より小さい管の対、すなわち、一次気管支に枝分かれし、各管は、肺に接続する。気管の直径は、その長さ(すなわち、軸方向)に沿って、実質的に一定である一方、肺のサイズは、気管の長さと同一の方向に実質的に沿って変化する。したがって、3Dモデルに基づいて生成される各2Dスライス画像内の接続される構成要素の面積を分析することによって、気管は、検出され得る。この理由から、軸方向に沿って生成される画像が、本開示では、気管を検出するために分析されてもよい。他の実施形態では、他の2つの方向に沿って生成される画像もまた、気管を検出するために使用されてもよい。
図4は、本開示の実施形態による、3Dモデルから生成される、2Dスライス画像を示す。画像405は、患者に沿った軸方向場所を描写する、患者の冠状面方向画像であり、軸方向画像410a−430bは、本開示に従って識別および処理される。例えば、画像410aは、1番上のグレー色線によって示される、胸部に沿った軸方向位置から取得され、画像415aは、第2のグレー色線によって示される、胸部に沿った別の軸方向位置から取得され、画像420aは、第3のグレー色線によって示される、胸部に沿った別の軸方向位置から取得され、以下同様である。
画像410a−430bの軸方向場所は、相互から等しい距離に離間され得、任意の2つの近傍2Dスライス画像間の距離は、同一の距離Dであることを意味する。軸方向2Dスライス画像410a、415a、420a、425a、および430aは、異なる場所における患者の胸部の部分を描写する。バイナリ化の結果、これらの画像410a、415a、420a、425a、および430aはそれぞれ、気管および/または肺組織を表す、黒色で取り囲まれた面積を示す。
気管を検出するためのプロセスは、各軸方向2Dスライス画像410a、415a、420a、425a、および430a内の識別された接続される構成要素に基づき得る。概して、第1の軸方向2Dスライス画像は、バイナリ化基準を満たす(すなわち、気管または肺のいずれかの可能性が高い)、1つまたはそれを上回る識別される面積を識別するために分析される。バイナリ化基準を満たす軸方向2Dスライス画像の面積を識別することに加えて、ピクチャ境界に接続する軸方向2Dスライス画像410aの任意の部分をフィルタ除去する、接続される構成要素初期分析が、行われる。さらに、あるサイズ閾値を上回るか、または下回る接続される構成要素もまた、フィルタ除去される。任意の1つの軸方向画像スライス、例えば、410aの残りの接続される構成要素は、他の画像内の接続される構成要素との接続性基準に応じて、アクティブオブジェクトと関連付けられる。軸方向の接続される構成要素分析が施行され、そこでは、2つの連続的軸方向2Dスライス画像内の接続される構成要素が、相互に地理的に重複するかどうかの判定がなされる。地理的重複は、連続的画像内のアクティブオブジェクトの座標を比較し、同一の座標(例えば、XおよびY座標)が連続的画像のアクティブオブジェクト内に出現するかどうかを判定することによって、判定されることができる。その場合、2つの軸方向2Dスライス画像からの接続される構成要素は、相互と関連付けられ、両方とも、アクティブオブジェクトとして対応して標識化される。アクティブオブジェクトとして標識化された接続される構成要素が、気管として識別されるべき候補である。付加的な接続される構成要素が、前の2Dスライス画像からの1つまたはそれを上回る接続される構成要素と地理的に重複しないとき、付加的な接続される構成要素は、新しいアクティブオブジェクトとして標識化される。さらに、続く軸方向スライスにおいて、先行する画像と重複する接続される構成要素オブジェクトが全く存在しないと判定される場合、先行する画像において最後に識別されたアクティブオブジェクトが、決定される。上記に説明されるステップは、各冠状面2Dスライス画像内の各接続される構成要素が、識別され、適切である場合、アクティブオブジェクトとして分類されるまで、各2Dスライス画像に対して実施される。
上記に説明されるプロセスの詳細はさらに、図4を参照して明確にされる。ある実施形態では、1番上の軸方向2Dスライス画像(トップスライス画像)410aが、接続される構成要素411を識別および標識化するために、最初に処理される。一実施形態では、1番上の軸方向2Dスライス画像410a内の任意の接続される構成要素が、アクティブオブジェクトとして標識化される。その結果、上記に説明されるフィルタ処理の画像410bでは、単一のアクティブオブジェクト412が、示される。
次に、第2の軸方向2Dスライス画像415aが、3つの接続される構成要素416、417、および418を識別するために、冠状面2Dスライス画像410aと類似する様式で処理される。再び、上記に説明されるフィルタ処理が、施行され、画像415b内に描写される3つのアクティブオブジェクト416、417、および418の識別をもたらす。接続される構成要素416−418のうちの1つまたはそれを上回るものが、前の軸方向2Dスライス画像内の接続される構成要素(例えば、411)と地理的に重複するかどうかが、判定される。この分析の結果、アクティブオブジェクト413および414は、新しいアクティブオブジェクトであり、先行する軸方向2Dスライス画像410bにおいて匹敵する接続される構成要素を全く伴わない。しかしながら、接続される構成要素416は、2Dスライス画像410a内の接続される構成要素411と地理的に重複し、それと関連付けられ、したがって、2つの接続される構成要素416および411を相互に垂直に(すなわち、軸方向スライスから軸方向スライスに)接続する。その結果、関連付けられた接続される構成要素416および411は、共通アクティブオブジェクト標識412を共有する。
第3の軸方向2Dスライド画像420aを参照すると、3つの接続される構成要素421−423が、識別される。上記に説明されるフィルタ処理に続いて、各接続される構成要素421−423が、第2の軸方向2Dスライス画像415aの接続される構成要素416−418と別個に比較される。接続される構成要素421は、接続される構成要素416と地理的に重複し、接続される構成要素416のものと類似するサイズまたは面積を有する。したがって、接続される構成要素421は、接続される構成要素416と関連付けられ、接続される構成要素416と同一のアクティブオブジェクト412として標識化され、これは、その軸方向画像スライス410a内の接続される構成要素411とのその比較に基づいた。
接続される構成要素422および423は、それぞれ、接続される構成要素417および418と地理的に重複し、したがって、この重複に基づいて、アクティブオブジェクト413および414として標識化されるべき候補である。しかしながら、接続される構成要素422および423もまた、上記に説明されるように、サイズによってフィルタ処理されなければならない。接続される構成要素422および423の面積は、事前判定された最大サイズよりも大きいため、それらは、アクティブオブジェクトとして考慮せずにフィルタ処理されなければならない。図420bでは、これらの接続される構成要素は、黒色から白色への色の変化に基づいてフィルタ除去されるように示される。対照的に、アクティブオブジェクト412と関連付けられる接続される構成要素421は、黒色のままである。本開示の文脈では、気管は、その長さに沿って実質的に一貫した直径を有することが既知であり、その直径は、概して、男性では約27〜13mm、女性では約23〜10mmの周知の範囲内であるため、接続される構成要素が、前の2Dスライス画像内の対応する接続される構成要素の面積よりも実質的に大きい面積を有するように識別されると、そのような接続される構成要素によって表される器官は、気管以外の何かであると判定され、したがって、分析から除外される。代替または付加的ステップとして、接続される構成要素422および423は、接続される構成要素416および418のものよりも大きい面積を有するため、接続される構成要素422および423もまた、大きすぎ、したがって、気管の一部ではないと見なされ得る。さらに、第2の軸方向2Dスライス画像415bの接続される構成要素417および418は、アクティブオブジェクト指定を除去するために、再標識化されてもよい。その結果、2Dスライス画像410b、415b、および420bは、1つのみのアクティブオブジェクト412を有する。
上記に簡潔に説明されるように、別個の2Dスライス画像の接続される構成要素は、接続性基準に基づいて、隣接する上側2Dスライス画像の接続される構成要素と関連付けられてもよい。接続性基準は、現在の2Dスライス画像上の座標と、隣接する上側2Dスライス画像の座標との同等性の考慮を含んでもよい。ある実施形態では、2Dスライス画像のピクセルの座標は、デカルト座標系に基づいてもよく、起点は、2Dスライス画像の左上角に位置し得、座標は、左から右、上から下に増加する。代替として、ピクセルの座標は、意図される目的に対して好適である、極座標系等の別の座標系に基づいてもよい。
また、関連付けパラメータとも呼ばれる、2つの異なる画像からの2つの接続される構成要素間の地理的重複は、隣接する上側2Dスライス画像の接続される構成要素のピクセルの座標と整合する、現在の2Dスライス画像の接続される構成要素のピクセルの数に基づいて計算されてもよい。代替として、重複は、質量中心に基づいて評価されてもよい。つまり、現在の2Dスライス画像の接続される構成要素の質量中心が、隣接する上側2Dスライス画像の接続される構成要素のものと類似するとき、現在の2Dスライス画像の接続される構成要素は、隣接する上側2Dスライス画像の接続される構成要素と関連付けられる。質量中心は、以下のように接続される構成要素内の全ピクセルへの等しい加重を用いて計算されてもよい。
式中、CおよびCは、それぞれ、質量中心のx軸ならびにy軸座標であり、xおよびyは、接続される構成要素のi番目のピクセルの座標であり、Nは、接続される構成要素内に含まれるピクセルの合計数である。
別の側面では、接続性基準は、面積比に基づいてもよい。特に、現在の2Dスライス画像の接続される構成要素の重複しない部分の面積と、現在のスライスの接続される構成要素の重複する面積の面積との比率が、第1の事前判定された値と比較されてもよい。例えば、本比率は、隣接する上側2Dスライス画像の接続される構成要素の重複する部分の面積を、隣接する上側2Dスライス画像の接続される構成要素の重複しない部分の面積で除算することによって算出されてもよい。本比率が第1の事前判定された値を下回ると、現在の2Dスライス画像の接続される構成要素および隣接する上側2Dスライス画像の対応する接続される構成要素は、関連付けられる。
図4を参照すると、第4の軸方向2Dスライス画像425aが、軸方向に沿って取得され、3つの接続される構成要素426−428が、検出される。上記に説明される接続性基準およびフィルタ処理技法を使用して、接続される構成要素426は、接続される構成要素421と関連付けられ、接続される構成要素427は、接続される構成要素422と関連付けられ、接続される構成要素428は、接続される構成要素423と関連付けられる。接続される構成要素422および423は、より大きいツールとして前にフィルタ除去され、アクティブオブジェクトとしての標識を与えられなかったため、接続される構成要素427および428もまた、フィルタ除去され、図425bにおいてアクティブオブジェクトとして指定されない。しかしながら、接続される構成要素426は、接続される構成要素421と関連付けられ、最終的に、画像425bに示されるように、アクティブオブジェクト412の一部として標識化される。
軸方向2Dスライス画像430aは、1番上の2Dスライス画像410aから5番目の2Dスライス画像である。再び、3つの接続される構成要素431−433が、2Dスライス画像430a内で検出される。上記に説明される接続性基準およびフィルタ処理プロセスに基づいて、接続される構成要素431は、接続される構成要素426と関連付けられ、接続される構成要素432は、接続される構成要素427と関連付けられ、接続される構成要素433は、接続される構成要素428と関連付けられる。画像425bにおけるように、接続される構成要素427および428は、大きすぎてアクティブオブジェクトとして標識化されないため、接続される構成要素432および433も同様に、アクティブオブジェクトと関連付けられず、分析から除去される。しかしながら、接続される構成要素431は、画像430bに示されるように、前にアクティブオブジェクト412と関連付けられた、接続される構成要素426と関連付けられる。
2Dスライス画像430aおよび430bに示されるように、接続される構成要素431の面積は、2Dスライス画像425a内の接続される構成要素426、2Dスライス画像420a内の接続される構成要素421、2Dスライス画像415a内の接続される構成要素416、および2Dスライス画像410a内の接続される構成要素411の面積と比較して小さく、その全てが、アクティブオブジェクト412と関連付けられる。少なくとも一実施形態では、接続される構成要素431の面積と、2Dスライス画像425aの接続される構成要素426の面積との比率が、閾値を下回るため、接続される構成要素411、416、421、426、および431を含むアクティブオブジェクト412は、決定され得、アクティブオブジェクト412が閉じられたことを意味する。アクティブオブジェクトが決定された後、いかなる他の接続される構成要素も、アクティブオブジェクトと関連付けられない。
アクティブオブジェクト412が決定されると、アクティブオブジェクトの長さが、アクティブオブジェクトを含む2Dスライス画像の数を、隣接する2Dスライス画像間の距離で乗算することによって計算され得る。アクティブオブジェクトの長さに基づいて、アクティブオブジェクトが気管であるかどうかが判定される。ある側面では、アクティブオブジェクトの長さが70ミリメートル(mm)を上回る場合、アクティブオブジェクトは、気管として識別される。別の側面では、アクティブオブジェクトの長さが30mmを上回るか、またはそれに等しく、かつ70mmを下回るか、またはそれに等しい場合、アクティブオブジェクトは、気管として識別される。アクティブオブジェクトの長さが30mmを下回る場合、アクティブオブジェクトは、気管として識別されない。
図5Aおよび5Bは、本開示の実施形態による、気管を自動的に検出するための方法500のフローチャートである。方法500は、患者の肺の3Dモデルが生成される、ステップ505において開始する。3Dモデルは、患者の胸部のCT走査中に得られるCT走査画像データに基づき、DICOM画像フォーマット内に記憶され得る。ある側面では、撮像モダリティはまた、X線撮影法、CAT走査によってもたらされるトモグラム、MRI、超音波検査法、造影撮像、蛍光透視法、核走査法、およびPETであってもよい。
ステップ510では、2Dスライス画像が、3Dモデルから生成され得る。生成された2Dスライス画像は、黒色および白色ピクセルのみを含むバイナリ化された2Dスライス画像であり得る。2Dスライス画像は、軸方向に沿って生成され得る。代替として、2Dスライス画像は、軸方向以外の方向に沿って生成される。ある側面では、2Dスライス画像は、任意の2つの2Dスライス画像間の距離が容易に計算され得るように、等しい距離に離れて生成される。別の側面では、2Dスライス画像は、異なる距離で生成され得るが、各2Dスライス画像が1番上の2Dスライス画像から離れる距離の程度を示す距離情報を含んでもよい。
ステップ515では、接続される構成要素が、2Dスライス画像内で識別される。上記に留意されるように、接続される構成要素は、各画像内に1つの色ピクセル(例えば、図4に示されるような黒色)のみを伴う取り囲まれる領域である。1番上の2Dスライス画像内で識別される任意の接続される構成要素が、ステップ520において、アクティブオブジェクトとして標識化される。アクティブオブジェクトは、気管の候補と考えられる。ステップ525では、カウンタiが、2に設定され、次の2Dスライス画像が、調べられる。
図5Bは、気管を自動的に検出するための方法500の一部として、接続される構成要素を関連付け、標識化するためのフローチャートを示す。ステップ526では、i番目の2Dスライス画像内の接続される構成要素が、(i−1)番目の2Dスライス画像内の接続される構成要素と関連付けられるかどうかが判定される。ある側面では、現在の2Dスライス画像内の接続される構成要素が、現在および前の2Dスライス画像のそれぞれの接続される構成要素の場所に基づいて、前の2Dスライス画像内の接続される構成要素と関連付けられてもよい。接続される構成要素が重複すると、それらは、相互に関連付けられる。そうでなければ、接続される構成要素は、関連付けられない。
現在の2Dスライス画像(すなわち、i番目の2Dスライス画像)内の接続される構成要素が、前の2Dスライス画像(すなわち、(i−1)番目の2Dスライス画像)内の接続される構成要素と関連付けられないと判定されると、現在の2Dスライス画像の接続される構成要素は、ステップ528において、アクティブオブジェクトとして標識化される。ステップ570(図5A)が、次いで、実施される。
現在の2Dスライス画像内の接続される構成要素が、ステップ526において、前の2Dスライス画像内の接続される構成要素と関連付けられると判定されると、前の2Dスライス画像の接続される構成要素が、ステップ530において、アクティブオブジェクトであるかどうかが別に判定される。標識化プロセス後、図5Aのステップ570が、続く。
前の2Dスライス画像の接続される構成要素が、アクティブオブジェクトとして標識化される場合では、関連付けパラメータRが、ステップ534において、現在の2Dスライス画像および前の2Dスライス画像の接続される構成要素間で計算される。関連付けパラメータは、接続性基準に基づき、これは、近傍2Dスライス画像の2つの接続される構成要素が密接に関連するかどうかを判定するために使用される。
ある側面では、関連付けパラメータは、現在の2Dスライス画像の接続される構成要素の面積と、前の2Dスライス画像の対応する接続される構成要素の面積との比率である、面積比である。ステップ536では、関連付けパラメータは、2つの事前判定された値と比較される。関連付けパラメータRが第1の事前判定された値Pを下回る場合では、アクティブオブジェクトとして標識化される、前の2Dスライス画像の接続される構成要素が、ステップ538において、決定される。この場合は、現在の2Dスライス画像の接続される構成要素の面積が、有意に減少しているか、または完全に欠落しているときに起こる。例えば、気管の下側端部は枝分かれしているため、気管の底部の画像は、接続される構成要素を示し得、その面積は、気管の断面積よりもはるかに小さい。接続される構成要素の面積の有意な減少は、気管の底部に到達していることを示し得る。
関連付けパラメータRが、第1の事前判定された値Pを上回るか、またはそれに等しいが、第2の事前判定された値Pを下回るか、またはそれに等しいとき、現在の2Dスライス画像の接続される構成要素は、ステップ540において、アクティブオブジェクトとして標識化される。この場合には、現在の2Dスライス画像の接続される構成要素は、先行する2Dスライス画像内で識別されるアクティブオブジェクトの継続(例えば、気管候補)と考えられる。
関連付けパラメータRが第2の事前判定された値Pを上回るとき、前の2Dスライス画像の接続される構成要素の標識は、ステップ542において、これがアクティブオブジェクトとして標識化されないように除去されてもよい。これは、現在の2Dスライス画像の接続される構成要素の面積が、有意に増加しているときに起こる。その結果、関連付けパラメータは、100%に到達し得る。そのような事例では、ステップ541において、現在の画像スライスの接続される構成要素の直径が、事前判定された閾値、例えば、男性では30mmおよび女性では25mmを上回るかどうかの第2の問い合わせが、行われる。そのような接続される構成要素の直径は、接続される構成要素が気管であり得ないことを示すであろう。したがって、前の2Dスライス画像の接続される構成要素は、気管として考えられない。ステップ544では、現在の2Dスライス画像の接続される構成要素の標識もまた、これがアクティブオブジェクトとして標識化されないように除去される。
ステップ538、540、および544後、現在の2Dスライス画像内に、未処理の接続される構成要素が存在するかどうかが判定される。未処理の接続される構成要素が存在すると判定されると、いかなる付加的な未処理の接続される構成要素も、現在の2Dスライス画像内に見出されなくなるまで、ステップ526−546が、繰り返される。現在の2Dスライス画像内に、もはや未処理の接続される構成要素が存在しないと判定されると、図5Aのステップ570が、続く。
ここで、図5Aに目を向けると、カウンタiは、ステップ570において、1だけ増加される。ステップ575では、カウンタiは、2Dスライス画像の数Nと比較される。カウンタiが2Dスライス画像の数Nを下回るか、またはそれに等しいと、本方法は、図5Aに例証されるステップ526において繰り返される。そうでなければ、各2Dスライス画像内の全ての接続される構成要素が、処理される。ステップ580では、アクティブオブジェクトの長さが、計算される。
ステップ585および586では、アクティブオブジェクトの長さが、事前判定された範囲の値と比較される。ステップ590において、アクティブオブジェクトの長さが事前判定された値を上回る場合、これは、気管であると判定される。同様に、ステップ592において、アクティブオブジェクトの長さが事前判定された範囲内である場合、これは、潜在的に気管であると標識化され、臨床医は、ENB手技の次のステップが施行され得る前に、これを確認する必要があり得る。ステップ595において、アクティブオブジェクトが事前判定された範囲よりも小さい場合、気管の自動検出は、失敗し、気管の手動識別およびマーキングが、必要となる。ある側面では、事前判定された範囲は、30mm〜70mmである。したがって、アクティブオブジェクトの長さが70mmを上回る場合、これは、気管であると判定され、アクティブオブジェクトの長さが30mm〜70mmである場合、これは、潜在的に気管であると標識化される。このように、方法500は、2Dスライス画像から気管を自動的に検出する。
ここで、図1に目を向けると、メモリ120が、プロセッサ110によって実行され得る、EMN計画および手技ソフトウェア等のアプリケーション122および他のデータを含む。例えば、データは、DICOMフォーマット内に記憶されるCT走査画像データおよび/またはCT走査画像データに基づいて生成される3Dモデルであり得る。メモリ120はまた、患者の医療記録、処方箋、および/または患者の病歴等の他の関連データも記憶し得る。メモリ120は、記憶装置コントローラおよび通信バスを通してプロセッサに接続される、1つまたはそれを上回るソリッドステート記憶デバイス、フラッシュメモリチップ、大容量記憶装置、テープドライブ、または任意のコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のための任意の方法もしくは技術において実装される、非一過性、揮発性および不揮発性、可撤性および非可撤性媒体を含む。例えば、コンピュータ可読記憶媒体は、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、消去可能プログラマブル読取専用メモリ(EPROM)、電気的消去可能プログラマブル読取専用メモリ(EEPROM)、フラッシュメモリもしくは他のソリッドステートメモリ技術、CD−ROM、DVD、もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶デバイス、または所望される情報を記憶するために使用され得、デバイス100によってアクセスされ得る、任意の他の媒体を含む。
ディスプレイ130は、ディスプレイ130が入力デバイスと出力デバイスの両方としての役割を果たすことを可能にする、タッチ感応式および/または音声起動式であってもよい。
グラフィックプロセッサ140は、CT走査画像データを処理して、3Dモデルを生成し、3Dモデルを処理して、上記に説明されるような種々の配向における3Dモデルの2Dスライス画像ならびに3Dモデルの3Dレンダリングを生成する等の画像処理機能を実施する、特殊化グラフィックプロセッサであり得る。グラフィックプロセッサ140はさらに、ディスプレイ130上に表示されるべきグラフィカルユーザインターフェース(GUI)を生成するように構成されてもよい。GUIは、とりわけ、2Dスライス画像および3Dレンダリングを示すビューを含んでもよい。実施形態では、グラフィックプロセッサ140は、1つまたはそれを上回る汎用プロセッサ110が他の機能のために利用可能であり得るように、画像処理機能のみを実施する、専用グラフィック処理ユニット(GPU)等の特殊化グラフィックプロセッサであってもよい。特殊化GPUは、スタンドアローンの専用グラフィックカードまたは統合グラフィックカードであってもよい。
ネットワークインターフェース150は、デバイス100が、有線および/または無線ネットワーク接続を通して、他のデバイスと通信することを可能にする。ある実施形態では、デバイス100は、撮像デバイスからネットワーク接続を介して、CT走査画像データを受信してもよい。他の実施形態では、デバイス100は、ディスクまたは当業者に公知の他の外部記憶媒体等の記憶デバイスを介して、CT走査画像データを受信してもよい。
入力インターフェース160は、設定値、テキスト情報、および/または制御デバイス100等のデータまたは制御情報を入力するために使用される。入力インターフェース160は、キーボード、マウス、タッチセンサ、カメラ、マイクロホン、または当業者に公知のユーザ相互作用のために使用される他のデータ入力デバイスもしくはセンサを含んでもよい。
ENB手技の計画またはナビゲーションのいずれの段階においても使用可能な画像およびデータ生成、管理、ならびに操作のさらなる側面が、共同所有である、「Real−Time Automatic Registration Feedback」と題され、Brown et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,220号、「Methods for Marking Biopsy Location」と題され、Brownによって2014年7月2日に出願された、米国仮特許出願第62,020,177号、「System and Method for Navigating Within the Lung」と題され、Brown et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,240号、「Intelligent Display」と題され、Kehat et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,238号、「Unified Coordinate System for Multiple CT Scans of Patient Lungs」と題され、Greenburgによって2014年7月2日に出願された、米国仮特許出願第62,020,242号、「Alignment CT」と題され、Klein et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,245号、「Algorithm for Fluoroscopic Pose Estimation」と題され、Merletによって2014年7月2日に出願された、米国仮特許出願第62,020,250号、「System and Method for Segmentation of Lung」と題され、Markov et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,261号、「Cone View−A Method of Providing Distance and Orientation Feedback While Navigating in 3D」と題され、Lachmanovich et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,258号、および「Dynamic 3D Lung Map View for Tool Navigation Inside the Lung」と題され、Weingarten et al.によって2014年7月2日に出願された、米国仮特許出願第62,020,262号(その全ての全内容は、参照することによって本明細書に組み込まれる)により完全に説明される。
実施形態が、例証および説明を目的として、付随の図面を参照して詳細に説明されたが、発明的プロセスおよび装置は、本明細書によって限定されるものとして解釈されるべきではないことを理解されたい。前述の実施形態への種々の修正が、本開示の範囲から逸脱することなく成され得ることが、当業者に明白となる。

Claims (18)

  1. 患者の気管を検出するためのシステムであって、
    前記患者の画像データを得るように構成される、撮像デバイスと、
    コンピューティングデバイスとを備え、
    前記コンピューティングデバイスは、プロセッサとメモリとを含み、前記メモリは、前記プロセッサによって実行されると、コンピューティングデバイスに、
    前記画像データに基づいて、前記患者の胸部の3次元(3D)モデルを生成させ、
    軸方向に沿って、前記3Dモデルのスライス画像を生成させ、
    前記生成されたスライス画像の第1のスライス画像内の、潜在的な接続される構成要素を識別させ、
    前記生成されたスライス画像の第2のスライス画像内の、潜在的な接続される構成要素を識別させ、前記第2のスライス画像は、前記第1の生成されたスライス画像の直後に続き、
    前記第1および第2のスライス画像の潜在的な接続される構成要素が、接続されていることを確認させ、
    前記潜在的な接続される構成要素を、接続される構成要素として標識化させ、
    前記第1のスライス画像を、前記生成されたスライス画像のトップスライス画像として標識化させ、
    前記トップスライス画像内の接続される構成要素を、アクティブオブジェクトとして標識化させ、
    前記生成されたスライス画像の現在のスライス画像内の各接続される構成要素を、接続性基準に基づいて、前のスライス画像内の対応する接続される構成要素と関連付けさせ、
    前記先行するスライス画像の接続される構成要素と関連付けられる、前記現在のスライス画像内の各接続される構成要素を、前記アクティブオブジェクトとして標識化させ、そして
    前記アクティブオブジェクトの長さに基づいて、前記アクティブオブジェクトを前記気管として識別させる命令を記憶している、システム。
  2. 前記画像データは、トモグラフィ技法、X線撮影法、コンピュータ軸トモグラフィ走査によってもたらされるトモグラム、磁気共鳴撮像、超音波検査法、造影撮像、蛍光透視法、核走査法、または陽電子放射トモグラフィを使用する撮像デバイスによって得られる、請求項1に記載のシステム。
  3. 前記命令はさらに、前記コンピューティングデバイスに、前記前のスライス画像内のアクティブオブジェクトを決定させる、請求項1に記載のシステム。
  4. 前記スライス画像は、相互から等しい距離に離間される、請求項3に記載のシステム。
  5. 前記命令はさらに、前記コンピューティングデバイスに、決定されたアクティブオブジェクト内に含まれるスライス画像の数から1を引いたものと、各スライス画像間の距離とを乗算することによって、決定されたアクティブオブジェクトの長さを計算させる、請求項4に記載のシステム。
  6. 前記決定されたアクティブオブジェクトの長さが、70mmを上回るか、またはそれに等しいと、前記命令はさらに、前記コンピューティングデバイスに、前記気管が識別されることを示させる、請求項5に記載のシステム。
  7. 前記決定されたアクティブオブジェクトの長さが、30mmを上回るか、またはそれに等しいが、70mmを下回ると、前記命令はさらに、前記コンピューティングデバイスに、前記気管が潜在的に識別されることを示させる、請求項5に記載のシステム。
  8. 前記決定されたアクティブオブジェクトの長さが、30mmを下回ると、前記命令はさらに、前記コンピューティングデバイスに、前記気管が識別されていないことを示させる、請求項5に記載のシステム。
  9. 前記現在のスライス画像の接続される構成要素におけるピクセルの座標が、前記前のスライス画像内の対応する接続される構成要素におけるピクセルの座標と整合すると、前記現在のスライス画像の接続される構成要素が、前記前のスライス画像内の対応する接続される構成要素と関連付けられる、請求項1に記載のシステム。
  10. 前記現在のスライス画像の接続される構成要素の質量中心と、前記前のスライス画像内の対応する接続される構成要素の質量中心との間の差異が、事前判定された値を下回ると、前記現在のスライス画像の接続される構成要素が、前記前のスライス画像内の対応する接続される構成要素と関連付けられる、請求項1に記載のシステム。
  11. 前記現在のスライス画像の接続される構成要素の面積と、前記前のスライス画像内の対応する接続される構成要素の面積との間の差異が、事前判定された値を下回ると、前記現在のスライス画像の接続される構成要素が、前記前のスライス画像内の対応する接続される構成要素と関連付けられる、請求項1に記載のシステム。
  12. 前記命令はさらに、前記コンピューティングデバイスに、関連付けパラメータに基づいて、前記前のスライス画像内のアクティブオブジェクトを決定させ、前記関連付けパラメータは、前記現在のスライス画像内の接続される構成要素の面積を、前記前のスライス画像内の対応する接続される構成要素の面積で除算することによって計算される、面積比である、請求項3に記載のシステム。
  13. 前記命令はさらに、前記コンピューティングデバイスに、関連付けパラメータに基づいて、前記前のスライス画像内のアクティブオブジェクトを決定させ、前記関連付けパラメータは、前記前のスライス画像内の対応するアクティブオブジェクトの座標と整合する、前記現在のスライス画像の接続される構成要素の座標の数と、前記現在のスライス画像の接続される構成要素の整合しない座標の数との間の比率である、請求項3に記載のシステム。
  14. 前記命令はさらに、前記コンピューティングデバイスに、関連付けパラメータに基づいて、前記前のスライス画像内のアクティブオブジェクトを決定させ、前記関連付けパラメータは、前記現在のスライス画像の接続される構成要素の面積である、請求項3に記載のシステム。
  15. 前記命令はさらに、前記コンピューティングデバイスに、
    関連付けパラメータに基づいて、前記前のスライス画像内のアクティブオブジェクトを決定させ、
    前記関連付けパラメータが、事前判定された値を上回ると、アクティブオブジェクトとしての前記前のスライスの対応するアクティブオブジェクトの標識を除去させる、請求項3に記載のシステム。
  16. 前記命令はさらに、前記関連付けパラメータが前記事前判定された値を上回ると、前記コンピューティングデバイスに、アクティブオブジェクトとしての前記現在のスライスの接続される構成要素の標識を除去させる、請求項15に記載のシステム。
  17. 前記命令はさらに、前記コンピューティングデバイスに、関連付けパラメータに基づいて、前記前のスライス画像内のアクティブオブジェクトを決定させ、前記アクティブオブジェクトが前記関連付けパラメータが事前判定された値を下回るときにアクティブオブジョクトが決定される、請求項3に記載のシステム。
  18. 前記命令はさらに、前記コンピューティングデバイスに、
    関連付けパラメータに基づいて、前記前のスライス画像内のアクティブオブジェクトを決定させ、
    前記関連付けパラメータが第1の事前判定された値を上回るか、またはそれに等しく、第2の事前判定された値を下回るか、またはそれに等しいと、前記現在のスライスの接続される構成要素を、前記アクティブオブジェクトとして標識化させる、請求項3に記載のシステム。
JP2016563459A 2014-07-02 2015-06-30 気管を検出するためのシステム Active JP6434532B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462020257P 2014-07-02 2014-07-02
US62/020,257 2014-07-02
PCT/US2015/038522 WO2016004020A1 (en) 2014-07-02 2015-06-30 System and method for detecting trachea

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018210629A Division JP2019048114A (ja) 2014-07-02 2018-11-08 気管を検出するためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2017522912A JP2017522912A (ja) 2017-08-17
JP6434532B2 true JP6434532B2 (ja) 2018-12-05

Family

ID=55017324

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016563459A Active JP6434532B2 (ja) 2014-07-02 2015-06-30 気管を検出するためのシステム
JP2018210629A Pending JP2019048114A (ja) 2014-07-02 2018-11-08 気管を検出するためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018210629A Pending JP2019048114A (ja) 2014-07-02 2018-11-08 気管を検出するためのシステムおよび方法

Country Status (7)

Country Link
US (7) US9530219B2 (ja)
EP (1) EP3164073B1 (ja)
JP (2) JP6434532B2 (ja)
CN (2) CN111449669B (ja)
AU (1) AU2015284303B2 (ja)
CA (1) CA2946615A1 (ja)
WO (1) WO2016004020A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
CN111449669B (zh) 2014-07-02 2023-04-18 柯惠有限合伙公司 用于检测气管的系统和方法
JP6707036B2 (ja) 2014-07-02 2020-06-10 コヴィディエン リミテッド パートナーシップ アラインメント
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US10136103B2 (en) 2015-11-23 2018-11-20 Lexmark International, Inc. Identifying consumer products in images
US9990561B2 (en) * 2015-11-23 2018-06-05 Lexmark International, Inc. Identifying consumer products in images
US10582914B2 (en) 2016-01-15 2020-03-10 Covidien Lp Navigable endobronchial tool to access tissue outside a bronchus
WO2017218926A1 (en) 2016-06-17 2017-12-21 Alexion Pharmaceuticals, Inc. Lysosomal acid lipase deficiency compositions and methods
US10777324B2 (en) * 2016-11-03 2020-09-15 The University Of Akron Engineered 3D lung airway tree
CN108470331B (zh) * 2017-02-23 2021-12-21 富士通株式会社 图像处理装置和图像处理方法
US10451697B2 (en) * 2017-07-25 2019-10-22 Spintech, Inc. Systems and methods for strategically acquired gradient echo imaging
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
WO2020044758A1 (ja) * 2018-08-29 2020-03-05 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
DE112019005888T5 (de) * 2018-11-27 2021-09-30 Fujifilm Corporation Ähnlichkeitsbestimmungsvorrichtung, ähnlichkeitsbestimmungsverfahren und ähnlichkeitsbestimmungsprogramm
CN109636789B (zh) * 2018-12-13 2021-07-30 银河水滴科技(北京)有限公司 基于图像分割的轨道扣件的零件缺失检测方法及装置
EP3843038B1 (en) * 2019-12-23 2023-09-20 HTC Corporation Image processing method and system
US11941731B2 (en) * 2020-11-26 2024-03-26 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Family Cites Families (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757557B1 (en) 1992-08-14 2004-06-29 British Telecommunications Position location system
US5913820A (en) 1992-08-14 1999-06-22 British Telecommunications Public Limited Company Position location system
DE4304571A1 (de) 1993-02-16 1994-08-18 Mdc Med Diagnostic Computing Verfahren zur Planung und Kontrolle eines chirurgischen Eingriffs
US5881124A (en) 1994-03-31 1999-03-09 Arch Development Corporation Automated method and system for the detection of lesions in medical computed tomographic scans
US5829444A (en) 1994-09-15 1998-11-03 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
US5803089A (en) 1994-09-15 1998-09-08 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6694163B1 (en) 1994-10-27 2004-02-17 Wake Forest University Health Sciences Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5920319A (en) 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5611025A (en) 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
US6151404A (en) 1995-06-01 2000-11-21 Medical Media Systems Anatomical visualization system
US5752513A (en) 1995-06-07 1998-05-19 Biosense, Inc. Method and apparatus for determining position of object
US5729129A (en) 1995-06-07 1998-03-17 Biosense, Inc. Magnetic location system with feedback adjustment of magnetic field generator
US5592939A (en) 1995-06-14 1997-01-14 Martinelli; Michael A. Method and system for navigating a catheter probe
US5697377A (en) 1995-11-22 1997-12-16 Medtronic, Inc. Catheter mapping system and method
US5682886A (en) * 1995-12-26 1997-11-04 Musculographics Inc Computer-assisted surgical system
ES2212079T3 (es) 1996-02-15 2004-07-16 Biosense, Inc. Sonda marcadora de posicion.
DE69732362T2 (de) 1996-02-15 2006-03-23 Biosense Webster, Inc., Diamond Bar Methode zur Eichung einer Sonde
US5699799A (en) 1996-03-26 1997-12-23 Siemens Corporate Research, Inc. Automatic determination of the curved axis of a 3-D tube-shaped object in image volume
US6047080A (en) 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US5971767A (en) 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US5891030A (en) 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
US8682045B2 (en) 1997-02-25 2014-03-25 Wake Forest University Health Sciences Virtual endoscopy with improved image segmentation and lesion detection
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US6019725A (en) 1997-03-07 2000-02-01 Sonometrics Corporation Three-dimensional tracking and imaging system
US6246784B1 (en) 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6181348B1 (en) 1997-09-22 2001-01-30 Siemens Corporate Research, Inc. Method for selective volume visualization via texture mapping
US5987960A (en) 1997-09-26 1999-11-23 Picker International, Inc. Tool calibrator
JPH11155881A (ja) 1997-09-26 1999-06-15 Olympus Optical Co Ltd 手術経路検索装置
US6201387B1 (en) 1997-10-07 2001-03-13 Biosense, Inc. Miniaturized position sensor having photolithographic coils for tracking a medical probe
US7167180B1 (en) 1998-02-23 2007-01-23 Algotec Systems Ltd. Automatic path planning system and method
US6138045A (en) 1998-08-07 2000-10-24 Arch Development Corporation Method and system for the segmentation and classification of lesions
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
DE19854241B4 (de) 1998-11-24 2014-03-06 Siemens Aktiengesellschaft Verfahren zum Darstellen von an einem Anzeigemonitor wiedergebbaren Bildern sowie Vorrichtung zum Verarbeiten und Wiedergeben digitaler Bilder
JP2002534191A (ja) 1999-01-04 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造を示す画像を処理し、その構造を通る経路を構成する方法、システム及び装置
US6501981B1 (en) 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US6466815B1 (en) 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US6233476B1 (en) 1999-05-18 2001-05-15 Mediguide Ltd. Medical positioning system
US7113918B1 (en) * 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US6237604B1 (en) 1999-09-07 2001-05-29 Scimed Life Systems, Inc. Systems and methods for preventing automatic identification of re-used single use devices
US6611793B1 (en) 1999-09-07 2003-08-26 Scimed Life Systems, Inc. Systems and methods to identify and disable re-use single use devices based on detecting environmental changes
US6387092B1 (en) 1999-09-07 2002-05-14 Scimed Life Systems, Inc. Systems and methods to identify and disable re-used single use devices based on time elapsed from first therapeutic use
US6651669B1 (en) 1999-09-07 2003-11-25 Scimed Life Systems, Inc. Systems and methods to identify and disable re-used single use devices based on cataloging catheter usage
JP2003526407A (ja) 1999-09-08 2003-09-09 キューロン メディカル,インコーポレイテッド 1組の治療デバイスを制御するシステム
US6381485B1 (en) 1999-10-28 2002-04-30 Surgical Navigation Technologies, Inc. Registration of human anatomy integrated for electromagnetic localization
US7366562B2 (en) 2003-10-17 2008-04-29 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US6505065B1 (en) 1999-10-29 2003-01-07 Koninklijke Philips Electronics, N.V. Methods and apparatus for planning and executing minimally invasive procedures for in-vivo placement of objects
US6535756B1 (en) 2000-04-07 2003-03-18 Surgical Navigation Technologies, Inc. Trajectory storage apparatus and method for surgical navigation system
US7085400B1 (en) 2000-06-14 2006-08-01 Surgical Navigation Technologies, Inc. System and method for image based sensor calibration
US6650927B1 (en) 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
US6850794B2 (en) 2000-09-23 2005-02-01 The Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
US7072501B2 (en) 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6925200B2 (en) 2000-11-22 2005-08-02 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6829379B1 (en) 2000-11-27 2004-12-07 Ge Medical Systems Global Technology Company, Llc Methods and apparatus to assist and facilitate vessel analysis
US7179220B2 (en) 2001-02-07 2007-02-20 Siemens Corporate Research, Inc. Method for guiding flexible instrument procedures
EP1260179B1 (de) 2001-05-22 2003-03-26 BrainLAB AG Röntgenbildregistrierungseinrichtung mit einem medizinischen Navigationssystem
US7324104B1 (en) 2001-09-14 2008-01-29 The Research Foundation Of State University Of New York Method of centerline generation in virtual objects
AU2002341671A1 (en) * 2001-09-14 2003-04-01 Cornell Research Foundation, Inc. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
WO2006103644A1 (en) 2005-03-31 2006-10-05 Paieon Inc. Method and apparatus for positioning a device in a tubular organ
US7336809B2 (en) 2001-11-23 2008-02-26 R2 Technology, Inc. Segmentation in medical images
US7397937B2 (en) 2001-11-23 2008-07-08 R2 Technology, Inc. Region growing in anatomical images
WO2003070102A2 (en) * 2002-02-15 2003-08-28 The Regents Of The University Of Michigan Lung nodule detection and classification
US6947786B2 (en) 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US6774624B2 (en) 2002-03-27 2004-08-10 Ge Medical Systems Global Technology Company, Llc Magnetic tracking system
US7006677B2 (en) 2002-04-15 2006-02-28 General Electric Company Semi-automatic segmentation algorithm for pet oncology images
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7630752B2 (en) 2002-08-06 2009-12-08 Stereotaxis, Inc. Remote control of medical devices using a virtual device interface
US6892090B2 (en) 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
US8862204B2 (en) 2002-11-18 2014-10-14 Mediguide Ltd. Reducing mechanical stress on conductors and connection points in a position determinable interventional medical device
US7123760B2 (en) * 2002-11-21 2006-10-17 General Electric Company Method and apparatus for removing obstructing structures in CT imaging
US6898263B2 (en) 2002-11-27 2005-05-24 Ge Medical Systems Global Technology Company, Llc Method and apparatus for soft-tissue volume visualization
US7505809B2 (en) 2003-01-13 2009-03-17 Mediguide Ltd. Method and system for registering a first image with a second image relative to the body of a patient
US8045770B2 (en) * 2003-03-24 2011-10-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US20050033117A1 (en) 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US7822461B2 (en) 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
CA2473963A1 (en) * 2003-07-14 2005-01-14 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging
US8055323B2 (en) 2003-08-05 2011-11-08 Imquant, Inc. Stereotactic system and method for defining a tumor treatment region
JP4401140B2 (ja) 2003-10-24 2010-01-20 株式会社日立メディコ 画像診断支援装置
JP3820244B2 (ja) 2003-10-29 2006-09-13 オリンパス株式会社 挿入支援システム
WO2005041761A1 (ja) 2003-10-31 2005-05-12 Olympus Corporation 挿入支援システム
JP3847744B2 (ja) 2003-11-04 2006-11-22 オリンパス株式会社 挿入支援システム
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
EP1725179A1 (de) 2004-03-03 2006-11-29 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Inkrementelle, echtzeitregistrierung von getrackten instrumenten in röhrenförmigen organstrukturen innerhalb des menschlichen körpers
US7315639B2 (en) 2004-03-03 2008-01-01 Mevis Gmbh Method of lung lobe segmentation and computer system
US7811294B2 (en) 2004-03-08 2010-10-12 Mediguide Ltd. Automatic guidewire maneuvering system and method
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
GB2414357A (en) * 2004-05-18 2005-11-23 Medicsight Plc Nodule boundary detection
US8409167B2 (en) 2004-07-19 2013-04-02 Broncus Medical Inc Devices for delivering substances through an extra-anatomic opening created in an airway
US7428334B2 (en) 2004-08-27 2008-09-23 General Electric Company Methods and systems for 3D segmentation of ultrasound images
US7373271B1 (en) 2004-09-20 2008-05-13 Ascension Technology Corporation System and method for measuring position and orientation using distortion-compensated magnetic fields
US7452357B2 (en) 2004-10-22 2008-11-18 Ethicon Endo-Surgery, Inc. System and method for planning treatment of tissue
CN101128151A (zh) * 2004-11-02 2008-02-20 宾夕法尼亚大学受托人 用于在病人体内精确放置医用导管的光学引导系统
US7805269B2 (en) 2004-11-12 2010-09-28 Philips Electronics Ltd Device and method for ensuring the accuracy of a tracking device in a volume
CN101116103B (zh) 2005-02-11 2010-05-19 皇家飞利浦电子股份有限公司 从三维医学图像中自动提取肺动脉树的方法
JP4914574B2 (ja) 2005-04-18 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡形状検出装置
US8571278B2 (en) * 2005-06-24 2013-10-29 The University Of Iowa Research Foundation System and methods for multi-object multi-surface segmentation
US7236558B2 (en) 2005-07-07 2007-06-26 Terarecon, Inc. Three-dimensional image display device creating three-dimensional image directly from projection data
CA2617380A1 (en) 2005-08-04 2007-02-08 Sascha Krueger System and method for magnetic tracking of a sensor for interventional device localization
DE102005037000B4 (de) 2005-08-05 2011-06-01 Siemens Ag Vorrichtung zur automatisierten Planung eines Zugangspfades für einen perkutanen, minimalinvasiven Eingriff
US20070092864A1 (en) * 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
US7301332B2 (en) 2005-10-06 2007-11-27 Biosense Webster, Inc. Magnetic sensor assembly
US7702153B2 (en) 2005-10-07 2010-04-20 Siemens Medical Solutions Usa, Inc. Systems and methods for segmenting object of interest from medical image
JP4721865B2 (ja) * 2005-10-18 2011-07-13 株式会社日立メディコ 医用画像表示装置
US7518619B2 (en) 2005-11-07 2009-04-14 General Electric Company Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
US20070242868A1 (en) * 2005-11-09 2007-10-18 Dexela Limited Methods and apparatus for displaying images
US7756316B2 (en) * 2005-12-05 2010-07-13 Siemens Medicals Solutions USA, Inc. Method and system for automatic lung segmentation
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
US7907772B2 (en) 2006-03-30 2011-03-15 Accuray Incorporated Delineation on three-dimensional medical image
EP2004071B1 (en) 2006-03-30 2013-05-15 Koninklijke Philips Electronics N.V. Targeting device, computer readable medium and program element
JP4899068B2 (ja) * 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
WO2007129616A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
US8195278B2 (en) * 2006-05-15 2012-06-05 Siemens Medical Solutions Usa, Inc. Method for automatically determining an image plane having a biopsy device therein
EP2036037B1 (en) 2006-05-18 2013-04-17 Resonant Medical Inc. Methods and systems for segmentation using boundary reparameterization
EP2051631A4 (en) 2006-06-30 2013-06-05 Broncus Tech Inc SELECTION OF AIRWAY BYPASS SITE AND PLANNING A TREATMENT
US8044972B2 (en) * 2006-12-21 2011-10-25 Sectra Mamea Ab Synchronized viewing of tomosynthesis and/or mammograms
US8267927B2 (en) 2007-01-24 2012-09-18 Koninklijke Philips Electronics N.V. Advanced ablation planning
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
JP4545169B2 (ja) 2007-04-12 2010-09-15 富士フイルム株式会社 画像表示方法、装置およびプログラム
EP2144568B1 (en) 2007-05-10 2021-03-17 Koninklijke Philips N.V. Targeting method
US8355552B2 (en) * 2007-06-20 2013-01-15 The Trustees Of Columbia University In The City Of New York Automated determination of lymph nodes in scanned images
US20090012390A1 (en) 2007-07-02 2009-01-08 General Electric Company System and method to improve illustration of an object with respect to an imaged subject
EP2188782B1 (en) 2007-08-03 2018-11-07 Koninklijke Philips N.V. Coupling the viewing direction of a blood vessel's cpr view with the viewing angle on this 3d tubular structure's rendered voxel volume and/or with the c-arm geometry of a 3d rotational angiography device's c-arm system
FR2921177B1 (fr) * 2007-09-17 2010-01-22 Gen Electric Procede de traitement d'images anatomiques en volume et systeme d'imagerie mettant en oeuvre ce procede
US8009891B2 (en) 2007-09-27 2011-08-30 General Electric Company Systems and methods for image processing of 2D medical images
US8391952B2 (en) 2007-10-11 2013-03-05 General Electric Company Coil arrangement for an electromagnetic tracking system
US20110093243A1 (en) * 2007-11-14 2011-04-21 Tawhai Merryn H Method for multi-scale meshing of branching biological structures
US8150113B2 (en) * 2008-01-23 2012-04-03 Carestream Health, Inc. Method for lung lesion location identification
EP2244633A4 (en) * 2008-02-14 2013-10-23 Penn State Res Found MEDICAL IMAGING SYSTEM AND METHOD
CN101971213A (zh) * 2008-02-29 2011-02-09 新加坡科技研究局 图像中解剖结构分割与建模的方法及系统
CA2716598A1 (en) * 2008-03-04 2009-09-11 Tomotherapy Incorporated Method and system for improved image segmentation
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5372406B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US8218848B2 (en) * 2008-07-23 2012-07-10 Siemens Aktiengesellschaft System and method for the generation of attenuation correction maps from MR images
US8385688B2 (en) * 2008-08-27 2013-02-26 International Business Machines Corporation System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
US8143892B2 (en) * 2008-10-31 2012-03-27 The Board Of Regents Of The University Of Texas System System and methods for active suppression of superior tagging in flow-sensitive alternating inversion recovery
US9144461B2 (en) 2008-12-03 2015-09-29 Koninklijke Philips N.V. Feedback system for integrating interventional planning and navigation
CN102317977A (zh) * 2009-02-17 2012-01-11 奥美可互动有限责任公司 用于姿势识别的方法和系统
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
JP5300569B2 (ja) * 2009-04-14 2013-09-25 株式会社日立メディコ 画像処理装置
WO2010144405A2 (en) 2009-06-08 2010-12-16 Surgivision, Inc. Mri-guided surgical systems with proximity alerts
US8706193B2 (en) 2009-06-22 2014-04-22 Biosense Webster, Inc. Catheter with obliquely-oriented coils
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
JP5388781B2 (ja) * 2009-09-29 2014-01-15 株式会社東芝 X線コンピュータ断層撮影装置
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US8698806B2 (en) 2009-11-09 2014-04-15 Maxon Computer Gmbh System and method for performing volume rendering using shadow calculation
US9076222B2 (en) 2009-12-16 2015-07-07 Koninklijke Philips N.V. Use of collection of plans to develop new optimization objectives
WO2011102012A1 (ja) 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
JP4931027B2 (ja) 2010-03-29 2012-05-16 富士フイルム株式会社 医用画像診断支援装置および方法、並びにプログラム
CN102240212B (zh) * 2010-05-14 2015-03-25 Ge医疗系统环球技术有限公司 测量气胸的方法和装置
US8965108B2 (en) * 2010-06-16 2015-02-24 A2 Surgical Method and system of automatic determination of geometric elements from a 3D medical image of a bone
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US10165928B2 (en) 2010-08-20 2019-01-01 Mark Hunter Systems, instruments, and methods for four dimensional soft tissue navigation
KR101194290B1 (ko) * 2010-09-24 2012-10-29 삼성메디슨 주식회사 이미지 필터링을 이용한 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법
US9286719B2 (en) * 2010-09-29 2016-03-15 Siemens Aktiengesellschaft Automated detection of airway and vessel orientations for quantitative analysis and visualization
CN102548482B (zh) * 2010-10-07 2015-04-08 株式会社东芝 医用图像处理装置
US8798227B2 (en) 2010-10-15 2014-08-05 Kabushiki Kaisha Toshiba Medical image processing apparatus and X-ray computed tomography apparatus
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
EP2659335A4 (en) * 2010-12-29 2016-05-18 Thomson Licensing SYSTEM AND METHOD FOR GESTURE DETECTION
CN103068294B (zh) 2011-01-24 2015-06-24 奥林巴斯医疗株式会社 医疗设备
US9757021B2 (en) 2011-02-04 2017-09-12 The Penn State Research Foundation Global and semi-global registration for image-based bronchoscopy guidance
US9275452B2 (en) * 2011-03-15 2016-03-01 The Trustees Of Columbia University In The City Of New York Method and system for automatically determining compliance of cross sectional imaging scans with a predetermined protocol
US20120249546A1 (en) * 2011-04-04 2012-10-04 Vida Diagnostics, Inc. Methods and systems for visualization and analysis of sublobar regions of the lung
US8709034B2 (en) 2011-05-13 2014-04-29 Broncus Medical Inc. Methods and devices for diagnosing, monitoring, or treating medical conditions through an opening through an airway wall
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
CN102254097A (zh) * 2011-07-08 2011-11-23 普建涛 肺部ct图像上的肺裂识别方法
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
CN102521833B (zh) * 2011-12-08 2014-01-29 东软集团股份有限公司 一种从胸部ct图像中获得气管树的方法及装置
US8920368B2 (en) 2011-12-22 2014-12-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Multi-user touch-based control of a remote catheter guidance system (RCGS)
CA2864719C (en) * 2012-02-24 2019-09-24 Thomas J. Moscarillo Gesture recognition devices and methods
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
US8744551B2 (en) * 2012-07-12 2014-06-03 Northshore University Healthsystem Method for non-contrast enhanced magnetic resonance angiography
US8819812B1 (en) * 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9741085B2 (en) * 2013-03-14 2017-08-22 Artificial Intelligence Research Group Limited System and method of encoding content and an image
US9274607B2 (en) * 2013-03-15 2016-03-01 Bruno Delean Authenticating a user using hand gesture
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
CN105849775B (zh) * 2013-12-20 2019-07-19 皇家飞利浦有限公司 Pet/mr系统中的密度引导的衰减图生成
CN111449669B (zh) 2014-07-02 2023-04-18 柯惠有限合伙公司 用于检测气管的系统和方法
JP2023512418A (ja) * 2019-12-24 2023-03-27 レスメド・プロプライエタリー・リミテッド 取り外し可能な接続性モジュールおよびその構成要素を備えた呼吸治療装置

Also Published As

Publication number Publication date
US20180286042A1 (en) 2018-10-04
CN111449669A (zh) 2020-07-28
US20170103531A1 (en) 2017-04-13
US11823431B2 (en) 2023-11-21
EP3164073B1 (en) 2020-07-01
JP2019048114A (ja) 2019-03-28
AU2015284303A1 (en) 2016-11-03
CN111449669B (zh) 2023-04-18
JP2017522912A (ja) 2017-08-17
US9607395B2 (en) 2017-03-28
EP3164073A1 (en) 2017-05-10
CN106232010B (zh) 2020-03-31
US20200410676A1 (en) 2020-12-31
CN106232010A (zh) 2016-12-14
US20170365056A1 (en) 2017-12-21
US11361439B2 (en) 2022-06-14
US20160005162A1 (en) 2016-01-07
CA2946615A1 (en) 2016-01-07
US9990721B2 (en) 2018-06-05
AU2015284303B2 (en) 2019-07-25
US20220284576A1 (en) 2022-09-08
WO2016004020A1 (en) 2016-01-07
US10776914B2 (en) 2020-09-15
US20160005163A1 (en) 2016-01-07
EP3164073A4 (en) 2018-01-03
US9530219B2 (en) 2016-12-27
US9741115B2 (en) 2017-08-22

Similar Documents

Publication Publication Date Title
JP6434532B2 (ja) 気管を検出するためのシステム
US10878573B2 (en) System and method for segmentation of lung
AU2015284213B2 (en) Trachea marking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181108

R150 Certificate of patent or registration of utility model

Ref document number: 6434532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250