[go: up one dir, main page]

JP5815513B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5815513B2
JP5815513B2 JP2012514744A JP2012514744A JP5815513B2 JP 5815513 B2 JP5815513 B2 JP 5815513B2 JP 2012514744 A JP2012514744 A JP 2012514744A JP 2012514744 A JP2012514744 A JP 2012514744A JP 5815513 B2 JP5815513 B2 JP 5815513B2
Authority
JP
Japan
Prior art keywords
image
folded
image processing
luminal organ
coordinate conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012514744A
Other languages
English (en)
Other versions
JPWO2011142222A1 (ja
Inventor
後藤　良洋
良洋 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2012514744A priority Critical patent/JP5815513B2/ja
Publication of JPWO2011142222A1 publication Critical patent/JPWO2011142222A1/ja
Application granted granted Critical
Publication of JP5815513B2 publication Critical patent/JP5815513B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Computer Graphics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、複数の断層像から3次元画像を生成する画像処理装置及び画像処理方法に関する。
従来から、例えばX線CT(computed tomography)装置やMRI(magnetic resonance imaging)装置、超音波診断装置等によって撮影される一連の断層像群を用い、対象物の3次元画像を生成する手法が知られている。例えば、特許文献1には、管腔臓器を撮影した医用画像から管腔臓器の輪郭を抽出し、管腔臓器の内側に設定した放射中心から管腔の輪郭に向けて放射状線を設定し、管腔臓器内部の点の画素値を輪郭点より外側の放射状線上にコピーすることにより、臓器内側表面が外側表面に裏返されたような裏返し画像を生成、表示する画像表示装置について記載されている。
また、特許文献2には、被検体の断層像を積み重ねてなるボリューム画像を任意の視点面での座標系に透視変換して2次元画像を生成し、被検体内部に設定した仮想の線光源の位置と被検体の内側の輪郭点との距離を求め、この距離を2次元画像の陰影付けに反映させることにより、被検体内部の凹凸を外側から確認できるようにする3次元画像構成方法が記載されている。また、特許文献3には、管腔臓器内部に視点を設定し、投影面の中心部と周辺部とで異なる方向に投影方向を設定することにより、例えば画像の中心部では内視鏡で観察する画像と同等な仮想内視鏡画像を表示させ、画像の周辺部では管腔臓器内部を展開したような画像を表示させる医用画像処理装置について記載されている。
特開2010-17490号公報 特開平9-237352号公報 特開2009-22411号公報
上述のように、被検体内部を外側に表した画像を生成する技術には様々なものがある。
しかし、内面の凹凸やヒダに隠れた部分を見やすくするためには、臓器の裏側から指を押し当てて表面を拡げるように、画像上でも臓器の表面の形状を変形させることができれば、より観察しやすくなる。また、観察したい箇所を変形する場合、元の形状や位置とかけ離れた画像になってしまうと、かえって理解を妨げることとなるので、元の位置や形状を直感的に理解しやすく表示させることが望ましい。
本発明は、以上の問題点に鑑みてなされたものであり、管腔臓器の形状を服の袖口を折返したような形状に変形させ、管腔臓器の一部の内面を外側に露出させた折返し画像を生成、表示することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
前述した目的を達成するために、本発明は、複数の断層像を積み重ねてなるボリューム画像から抽出された管腔臓器の外側に設定した所定の凸面に沿って前記管腔臓器内部の各点を折返すように座標変換し、座標変換後の対応点に元の位置の画素値を与える座標変換手段と、前記座標変換手段による座標変換後の画像情報を用いて、折返しボリューム画像を生成する生成手段と、を備えることを特徴とする画像処理装置である。
また本発明は、複数の断層像を積み重ねてなるボリューム画像から抽出された管腔臓器の外側に設定した所定の凸面に沿って前記管腔臓器内部の各点を折返すように座標変換し、座標変換後の対応点に元の位置の画素値を与える座標変換工程と、 前記座標変換工程による座標変換後の画像情報を用いて、折返しボリューム画像を生成する生成工程と、 を備えることを特徴とする画像処理方法である。
本発明の画像処理装置及び画像処理方法により、管腔臓器の形状を服の袖口を折返したような形状に変形させ、管腔臓器の一部の内面を外側に露出させた折返し画像を生成、表示することが可能となる。
画像処理装置100の全体構成を示す図 本発明に係る画像処理装置100が実行する折返し画像生成処理の流れを説明するフローチャート ボリューム画像40内の管腔臓器50を平面20にて分割する例を説明する図 凸面(円30)に沿って管腔臓器50を折返す(座標変換する)場合の座標の対応付けを示す図 平面20における管腔臓器50の折返し画像80の一例 内視鏡画像のように3次元表示した折返し3次元画像90の一例 折返し3次元画像90にスケールを付加して表示する一例
以下図面に基づいて、本発明の実施形態を詳細に説明する。
まず、図1を参照して、本発明の画像処理装置100を適用した画像処理システム1の構成について説明する。
図1に示すように、画像処理システム1は、表示装置107、入力装置109を有する画像処理装置100と、画像処理装置100にネットワーク110を介して接続される画像データベース111と、医用画像撮影装置112とを備える。
画像処理装置100は、画像生成、画像解析等の処理を行うコンピュータである。例えば、病院等に設置される医用画像処理装置を含む。
画像処理装置100は、図1に示すように、CPU(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106を備え、各部はバス113を介して接続されている。
CPU101は、主メモリ102または記憶装置103等に格納されるプログラムを主メモリ102のRAM上のワークメモリ領域に呼び出して実行し、バス113を介して接続された各部を駆動制御し、画像処理装置100が行う各種処理を実現する。
また、CPU101は、後述する折返し画像生成処理(図2参照)を実行し、折返し3次元画像90を生成して表示装置107に表示する。折返し3次元画像90及び折返し画像生成処理については後述する。
主メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。ROMは、コンピュータのブートプログラムやＢIOS等のプログラム、データ等を恒久的に保持している。また、RAMは、ROM、記憶装置103等からロードしたプログラム、データ等を一時的に保持するとともに、CPU101が各種処理を行う為に使用するワークエリアを備える。
記憶装置103は、HDD(ハードディスクドライブ)や他の記録媒体へのデータの読み書きを行う記憶装置であり、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、CPU101により必要に応じて読み出されて主メモリ102のRAMに移され、各種の手段として実行される。
通信I/F104は、通信制御装置、通信ポート等を有し、画像処理装置100とネットワーク110との通信を媒介する。また通信I/F104は、ネットワーク110を介して、画像データベース111や、他のコンピュータ、或いは、X線CT装置、MRI装置等の医用画像撮影装置112との通信制御を行う。
I/F106は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106を介して接続させるようにしてもよい。
表示メモリ105は、CPU101から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置107に出力される。
表示装置107は、液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ105を介してCPU101に接続される。表示装置107はCPU101の制御により表示メモリ105に蓄積された表示データを表示する。
入力装置109は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をCPU101に出力する。操作者は、表示装置107、入力装置109、及びマウス108等の外部機器を使用して対話的に画像処理装置100を操作する。
ネットワーク110は、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、インターネット等の各種通信網を含み、画像データベース111やサーバ、他の情報機器等と画像処理装置100との通信接続を媒介する。
画像データベース111は、医用画像撮影装置112によって撮影された画像データを蓄積して記憶するものである。図1に示す画像処理システム1では、画像データベース111はネットワーク110を介して画像処理装置100に接続される構成であるが、画像処理装置100内の例えば記憶装置103に画像データベース111を設けるようにしてもよい。
次に、図2〜図6を参照して、画像処理装置100の動作について説明する。
画像処理装置100のCPU101は、主メモリ102から図2に示す折返し画像生成処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。
なお、以下の処理の実行開始に際して、演算対象とするボリューム画像40のデータは画像データベース111等からネットワーク110及び通信I/F104を介して取り込まれ、画像処理装置100の記憶装置103に記憶されているものとする。ボリューム画像40とは、図3に示すように、複数の断層像41，42，43、・・・を積み重ねてなる画像データである。ボリューム画像40の各画素(ボクセル)はそれぞれ画素値を有する。
図2の折返し画像生成処理において、まず画像処理装置100のCPU101は、対象領域を撮影した一連の断層像41，42，・・・を積み重ねたボリューム画像40を入力画像データとして読み込む。ここで読み込むボリューム画像40は、例えば大腸等の管腔臓器50を含む領域の一連の断層像群とする。入力画像データの好適な例として、超音波画像、CT画像、またはMR画像等が挙げられる。なお、対象領域は大腸に限定されるものではなく、他の管腔状の臓器、例えば血管や気管支等としてもよい。
まず、CPU101は、ボリューム画像40から抽出した管腔臓器50の内部に任意の視点21を設定し、管腔臓器50の内部に設定した任意の視線ベクトル23を含む複数の平面、または管腔臓器50の中心線に沿った複数の平面で管腔臓器50を分割する(ステップS1)。以下の説明において、管腔臓器50を分割する平面を平面20と呼ぶ。
上述の視点21は、本実施の形態のように最終的に仮想内視鏡画像を生成しようとしている場合には、その仮想内視鏡画像の視点とすればよい。視線ベクトル23は、視点21から管腔臓器50の奥行き方向の任意の方向に向かって設定される。
管腔臓器50の中心線とは、管腔臓器50の各断面の重心の座標を管腔臓器50に沿って繋いだ線である。重心の座標は、管腔臓器の壁(臓器領域とその他領域との境界)の座標を用いて算出できる。
図3は管腔臓器50の視線ベクトル23を含む平面20による分割の一例を示す図である。
図3に示すように、ボリューム画像40内の管腔臓器50の内部に任意の視点21が設定され、また、管腔臓器50の奥行き方向に視線ベクトル23が設定される。この視線ベクトル23を含む複数の平面20によって管腔臓器50が分割される。管腔臓器50は複数の平面20により、視点21を中心として放射状に分割されることとなる。
図4に示すように、管腔臓器50を分割した各平面20は、管腔臓器50の壁、内側領域、及び外側領域の画像情報を有することとなる。
なお、図4は、平面20のX軸と視線ベクトル23とが一致する例である。平面20が図3の点線で示す領域である場合は、図4のX軸の下側部分は平面20には含まれない。
ただし、図4のX軸の下側部分は管腔臓器50を分割する他の平面に含まれることとなる。なお、図4のように、X軸の上側部分と下側部分とが同一の平面に含まれるように管腔臓器50を分割してもよい。
次に、CPU101は、分割した各平面20で管腔臓器50内部の点を外側に折り返すように座標変換する(ステップS2)。すなわち、CPU101は、分割した各平面20上で、管腔臓器50の外側に設定した所定の凸面に沿って管腔臓器50内部の各点を折返した場合の対応点を算出し、算出した対応点に元の位置の画素値を与える。
図4を参照して、ステップS2の座標変換処理について説明する。
図4に示すように、視線ベクトル23を含む平面20において、視線ベクトル23の方向をX方向、視線ベクトル23と垂直方向をY方向とする。また管腔臓器50の外側には所定の凸面が設定される。図4の例では、凸面を半径r0の円30とし、この円30は管腔臓器50の外側表面に接するように設定される。
CPU101は、凸面(円30)に沿って、管腔臓器50の内部の各点P(X1，Y1)を座標変換する。
例えば、管腔臓器50の表面の点P’(X1，Y1’)から距離rだけ内部にある点P(X1，Y1)を円30に沿って折り返す場合は、円30の円周に沿って距離Lだけ移動させ、その点から円30の法線方向に距離rだけ離れた点Qを、座標変換後の対応点とする。上述の距離Lは、円30と管腔臓器50との接点Rと点P’との距離である。
管腔臓器50の内部の点P(X1，Y1)の対応点Q(X，Y)の座標は、以下の式から算出される。
X1＝X0−L＝X0−ψ・r0＝X0−(2π−θ−π／2)・r0
Y1＝Y0−r0−r
X＝X0＋(r＋r0)・cosθ
Y＝Y0＋(r＋r0)・sinθ
ここで、
(X0，Y0)は円30の中心Oの座標
θは、円30の中心OからX軸正方向に伸ばした直線OWと直線OQとのなす角度(折返し角度)
r0は、円30の半径
rは、点Pから管腔臓器50の表面までの距離
である。
対応点Q(X，Y)の画素値には、元の点P(X1，Y1)の画素値が割り当てられ、座標変換された画像(折返し画像80)が得られる。
図5に示すように、平面20上で形成された折返し画像80の折返し部分82は、管腔臓器50の内部の各点Pが凸面(円30)に沿って座標変換されるため、円30から遠い画素ほど対応点Qが粗く算出される。そのため、CPU101は対応点Q以外の画素値を、周辺の対応点Qの画素値を補間することにより求める。
なお、折返した管腔臓器50を後述するステップS4において仮想内視鏡表示する場合は、座標変換する範囲(対応点Qを算出する点Pの範囲)を、図4の点P’と点R間の距離がL＝0(管腔臓器50と円30との接点)からL＝π・r0(円30の半円周長)までの範囲にある点Pに限定してもよい。これは、後述するステップS4において仮想内視鏡表示する際に、L＝π・r0より遠い範囲は円30の裏側にまわってしまい仮想内視鏡画像上に表れないからである。
また、L＞π・r0の範囲にある点Pの対応点Qを算出する場合、L＝π・r0までの範囲は円30に沿い、L＝π・r0を超える範囲についてはX軸に平行な直線ＵＶに沿うように、対応点Qを算出してもよい。
ステップS2のように座標変換を行うと、例えば、図5に示すような折返し画像80を得ることとなる。
図5に示すように、服の袖口をまくったような形状に管腔臓器50が変形された折返し部分82では、管腔臓器50の内部が外側に露出することとなる。折返し部分82は凸面(円30)に沿った形状に変形されているため、折返し部分82でヒダが拡がり、ヒダに隠れた箇所が観察しやすくなる。
次にCPU101は、ステップS1の逆の処理を行う。すなわち、折返し画像80の画像情報を有する各平面20を、ステップS1とは逆の手順で合成し、折返しボリューム画像を得る(ステップS3)。
CPU101は、折返しボリューム画像から折返し3次元画像90を作成する(ステップS4)。ここで作成する折返し3次元画像90は、陰影付け三次元画像や立体視画像等のいずれであってもよい。
陰影付け3次元画像とは、任意の視点及び視線ベクトルを設定し、投影面に対してボリューム画像を投影した2次元画像の各画素に、所定の陰影付けを行なって3次元的に見せた画像である。陰影付けの方法は、ボリュームレンダリング法、レイキャスティング法、サーフェイス法、デプス法等のいずれでもよい。また、投影される画像は、平行投影、中心投影のいずれでもよい。管腔臓器50の内部に視点を設定するとともに管腔の奥行き方向に視線ベクトルを設定して中心投影を行なった場合は、管腔臓器50を内視鏡で観察したような仮想内視鏡画像を得ることをできる(図6参照)。立体視画像とは、両眼視差を意図的に発生させて観察者の大脳内に立体視映像を実現するものであり、レンチキュラレンズを利用したものやパララックスバリアを利用したものが知られている(特開2004-78086号公報等)。
図6は、仮想内視鏡表示された折返し3次元画像90の一例である。管腔臓器50の一部が折り返された折返しボリューム画像を仮想内視鏡表示すると、図6のように、画像90の中心部92に通常の仮想内視鏡画像が表示され、画像90の周辺部94に折り返し部分82が表示される。画像90の中心部92には、管腔臓器50の内側ヒダが折り返されずに表示され、周辺部94には、管腔臓器50の内側ヒダが外側に露出したように表示される。
このように、管腔臓器50が服の袖口をまくるように折り返され、内部のヒダが拡げられて画像の一部(仮想内視鏡画像の場合は画像の周辺部94)に表示される。このため、折り返し部分82について管腔臓器50の内部が容易に観察できるようになる。また、折り返し部分82は、凸面(円30)に沿って座標変換されるため、あたかも裏側(管腔臓器50の外側)から手指を当てて内側表面が押し広げられたように変形されるため、ヒダで隠れた部位が拡張され観察しやすくなる。また、折返し部分82以外の部位は、通常の3次元画像と同様に表示されるため(仮想内視鏡画像の場合は画像の中心部が通常の内視鏡画像となる)、医師等が通常行なっている画像診断と同じ感覚で観察することが可能であり、観察箇所の元の位置や元の形状を直感的に把握しやすくなる。
また、折返し3次元画像90の表示状態を所定の順序または操作者の操作に従って、変更できるようにしてもよい。
例えば、図6に示すように、ユーザに操作される静止ボタン95、回転ボタン96、移動ボタン97、表面変形ボタン98、終了ボタン99を設け、CPU101は、各ボタンへのクリック操作に応じて折返し3次元画像90の表示状態を変更する。
表示状態としては、例えば、ステップS4に示すような静止表示モードの他に、回転表示モード、移動表示モード、表面変形モード等を含む。
回転表示モードでは、仮想内視鏡表示の視線ベクトル23の方向が変更される。視線ベクトル23の方向は、設定操作に応じて変更される。CPU101は、変更された視線ベクトル23に基づいて、上述の折返し画像生成処理を実行し、折返し3次元画像90を生成して表示する。
移動表示モードでは、CPU101は、円30(凸面)を管腔臓器50に沿って順次移動させつつ所定範囲内にある点Pの対応点Qを算出する(ステップS2の座標変換を行う)ことにより、複数の折返し3次元画像90を生成し、動画のように順次表示させる。
これにより、管腔臓器50の折返し位置を奥行き方向へ進行させながら折返し3次元画像90を順次表示させることができるので、管腔臓器全体の観察が容易となる。
表面変形モードでは、CPU101は、折返しに使用する凸面の形状を変化させて対応点Qを算出する(ステップS2の座標変換を行う)ことにより、折返し位置の表面形状の異なる折返し3次元画像90を複数生成し、順次表示する。例えば、円30の半径の値を変更して折返し3次元画像90を生成したり、円30に代えて、楕円、放物線、双曲線等の任意の曲線や、三角形、四角形、その他の多角形に沿った折返し3次元画像90を生成する。これにより、ヒダの拡がり方や見える角度の異なる様々な折返し3次元画像90を複数表示させることができるようになる。
また、静止表示モード、回転表示モード、移動表示モード、及び表面変形モードの各表示状態を適宜組み合わせて表示させるようにしてもよい。
終了ボタン99が操作され、終了指示が入力されると、一連の折返し画像生成処理を終了する。
また、折返し3次元画像90に周方向のスケールを付加して表示させても良い。
例えば、図7に示すように、管腔臓器の内部の周方向の間隔を示す目盛りを楕円の周上に付加したスケール71が折返し3次元画像90の折返し部分に重ねて表示される。図7の例では半径方向に2つのスケール71が並べられて表示されているが、スケール71の表示数は2つに限定されない。
スケール71の楕円の扁平率は、視線方向や視点の位置に応じて変えられても良い。すなわち、視線方向が管腔臓器の奥行き方向と平行である場合や、視点の位置が管腔臓器の中心線上である場合には楕円を真円に近づけるようにしても良い。他方、視線方向と管腔臓器の奥行き方向との角度が大きくなるほど、また視点の位置が管腔臓器の中心線から離れるほど、楕円の扁平率が大きくなるようにしても良い。
折返し部分では管腔臓器50の内部が外側に広げられているので、楕円の周上の目盛りの間隔は外側のスケールほど大きくなる。また折返し部分の形状に応じて、目盛りの間隔が変えられても良い。例えば、より押し広げられている折返し部分では目盛りの間隔を大きくするようにしてもよい。
スケール71の目盛りの位置は、ステップS1において管腔臓器50を分割した平面の位置、あるいは隣り合う平面の中間に一致させられても良い。このようにすることにより、補間することにより求められた画素値の位置を操作者が知ることができる。
スケール71の表示と非表示の切替えは、表示装置107に表示されるスケールボタン70を操作者がクリック操作することにより行われる。
折返し3次元画像90にスケール71を重ねて表示することにより、変形して表示される折返し部分の大きさを他の部分と比較しながら操作者が知ることができる。
以上説明したように、本発明の画像処理装置100は、複数の断層像を積み重ねてなるボリューム画像40から抽出された管腔臓器50を管腔臓器の奥行き方向に設定した任意の視線ベクトル23を含む複数の平面20、または管腔臓器の中心線に沿った複数の平面で分割し、各平面20上で、管腔臓器50の外側に設定した所定の凸面(例えば、円30)に沿って変形させる。すなわち、CPU101は、管腔臓器50内部の所定範囲にある各点Pを凸面(円30)に沿って折返した場合の対応点Qを算出し、算出した対応点Qに元の位置の画素値を与える。このように、座標変換された画像を載せた各平面20を、分割した手順の逆の手順で合成して、折返しボリューム画像を生成する。そして、折返しボリューム画像を任意の視点方向から投影面に投影し、陰影付けした折返し3次元画像90を生成し、表示装置107に表示する。
従って、管腔臓器50が服の袖をまくるように折り返され、内部のヒダが外側に表示されるため、管腔臓器50の内部の観察が容易となる。また、凸面に沿って折り返されるため、ヒダで隠れた部位も広げられて表示され、観察しやすくなる。更に、折り返された内側のヒダは、通常の管腔臓器50の画像の近傍に表示されるため、折り返す前の位置や形状を直感的に把握しやすく、医師等の診断に有効である。
また、上述の凸面は、管腔臓器50の外側表面に接する円または楕円を含む任意の曲面或いは任意の多角形のいずれであってもよい。内面のヒダの状態に応じて適切な凸面を選択すれば、観察しやすい折返し3次元画像を生成できる。
また、上述の例のように仮想内視鏡表示のみならず、折返し3次元画像90を様々な表示形式で表示してもよい。例えば、上述の凸面を前記管腔臓器の外側表面に沿って順次移動させつつ凸面に沿って管腔臓器50内部の各点を座標変換することにより、複数の折返し3次元画像90を生成し、動画のように順次表示する移動表示モードが好適である。移動表示モードにより、管腔臓器50を順次折返しながら奥行き方向へ進むように折返し画像を表示させることができるので、管腔臓器全体の観察が容易となる。
また、上述の凸面の形状を順次または操作者の操作に従って変化させて、凸面に沿って管腔臓器50内部の各点を座標変換することにより、折返し位置における表面形状の異なる折返し3次元画像90を複数生成し、順次表示する表面変形モードが好適である。
表面変形モードでは、折返しの形状を様々な形状に変化させるため、ヒダの拡がり方や見える角度の異なる折返し3次元画像90を複数表示させることができるようになる。
また、ラッパ形状の曲面へ管腔臓器の画素値を投影することにより折返しボリューム画像を作成しても良い。
以上、添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1 画像処理システム、100 画像処理装置、101 CPU、102 主メモリ、103 記憶装置、104 通信I/F、105 表示メモリ、106 I/F、107 表示装置、108 マウス、109 入力装置、20 視線ベクトルを含む平面または管腔臓器の中心線に沿った平面、30 円、40 ボリューム画像、41，42，… 断層像、50 管腔臓器、80 平面20上で管腔臓器50の内側の点を折返した画像、82 折返し部分、90 仮想内視鏡表示された折返し3次元画像、92 折返し3次元画像90の中心部、94 折返し3次元画像90の周辺部、95 静止ボタン、96 回転ボタン、97 移動ボタン、98 表面変形ボタン、99 終了ボタン、P 管腔臓器内部の点、Q 座標変換後の対応点、R 円30と管腔臓器50との接点

Claims (14)

  1. 複数の断層像を積み重ねてなるボリューム画像から抽出された管腔臓器の外側表面に接するように設定した所定の凸面に沿って前記管腔臓器内部の各点を折返すように座標変換し、座標変換後の対応点に元の位置の画素値を与える座標変換手段と、
    前記座標変換手段による座標変換後の画像情報を用いて、折返しボリューム画像を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記管腔臓器の領域を前記管腔臓器の奥行き方向に設定した任意の視線ベクトルを含む複数の平面、または管腔臓器の中心線に沿った複数の平面で分割する分割手段をさらに備え、
    前記座標変換手段は前記分割手段により分割された各平面上で座標変換を行い、
    前記生成手段は座標変換後の画像情報を有する前記各平面を合成することにより前記折返しボリューム画像を生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記生成手段により生成された前記折返しボリューム画像を任意の視点方向から投影し、折返し3次元画像を生成し、表示する表示手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  4. 前記表示手段に表示される前記折返し3次元画像に応じて、前記座標変換手段によって座標変換される範囲が限定されることを特徴とする請求項3に記載の画像処理装置。
  5. 前記凸面は、円、楕円、放物線、双曲線のうち少なくともいずれか1つを含むことを特徴とする請求項1に記載の画像処理装置。
  6. 前記凸面を前記管腔臓器の外側表面に沿って順次移動させつつ前記座標変換手段による座標変換を行うことにより、複数の前記折返し3次元画像を生成し、順次表示する3次元動画表示手段を更に備えることを特徴とする請求項3に記載の画像処理装置。
  7. 前記凸面の形状を順次または操作者の操作に従って変化させて前記座標変換手段による座標変換を行うことにより、折返し位置における表面形状の異なる前記折返し3次元画像を複数生成し、順次表示する表面変形表示手段を更に備えることを特徴とする請求項3に記載の画像処理装置。
  8. 複数の断層像を積み重ねてなるボリューム画像から抽出された管腔臓器の外側表面に接するように設定した所定の凸面に沿って前記管腔臓器内部の各点を折返すように座標変換し、座標変換後の対応点に元の位置の画素値を与える座標変換工程と、
    前記座標変換工程による座標変換後の画像情報を用いて、折返しボリューム画像を生成する生成工程と、
    を備えることを特徴とする画像処理方法。
  9. 前記管腔臓器の領域を前記管腔臓器の奥行き方向に設定した任意の視線ベクトルを含む複数の平面、または管腔臓器の中心線に沿った複数の平面で分割する分割工程をさらに備え、
    前記座標変換工程は前記分割工程により分割された各平面上で座標変換を行い、
    前記生成工程は座標変換後の画像情報を有する前記各平面を合成することにより前記折返しボリューム画像を生成することを特徴とする請求項8に記載の画像処理方法。
  10. 前記生成工程により生成された前記折返しボリューム画像を任意の視点方向から投影し、折返し3次元画像を生成し、表示する表示工程をさらに備えることを特徴とする請求項8に記載の画像処理方法。
  11. 前記表示工程に表示される前記折返し3次元画像に応じて、前記座標変換工程によって座標変換される範囲が限定されることを特徴とする請求項10に記載の画像処理方法。
  12. 前記凸面は、円、楕円、放物線、双曲線のうち少なくともいずれか1つを含むことを特徴とする請求項8に記載の画像処理方法。
  13. 前記凸面を前記管腔臓器の外側表面に沿って順次移動させつつ前記座標変換工程による座標変換を行うことにより、複数の前記折返し3次元画像を生成し、順次表示する3次元動画表示工程を更に備えることを特徴とする請求項10に記載の画像処理方法。
  14. 前記凸面の形状を順次または操作者の操作に従って変化させて前記座標変換工程による座標変換を行うことにより、折返し位置における表面形状の異なる前記折返し3次元画像を複数生成し、順次表示する表面変形表示工程を更に備えることを特徴とする請求項10に記載の画像処理方法。
JP2012514744A 2010-05-10 2011-04-20 画像処理装置及び画像処理方法 Expired - Fee Related JP5815513B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012514744A JP5815513B2 (ja) 2010-05-10 2011-04-20 画像処理装置及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010108109 2010-05-10
JP2010108109 2010-05-10
PCT/JP2011/059673 WO2011142222A1 (ja) 2010-05-10 2011-04-20 画像処理装置及び画像処理方法
JP2012514744A JP5815513B2 (ja) 2010-05-10 2011-04-20 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2011142222A1 JPWO2011142222A1 (ja) 2013-07-22
JP5815513B2 true JP5815513B2 (ja) 2015-11-17

Family

ID=44914278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012514744A Expired - Fee Related JP5815513B2 (ja) 2010-05-10 2011-04-20 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US8977020B2 (ja)
JP (1) JP5815513B2 (ja)
CN (1) CN102883661B (ja)
WO (1) WO2011142222A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7366712B2 (ja) 2019-11-27 2023-10-23 新晃工業株式会社 室内空気の温度拡散システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010064687A1 (ja) * 2008-12-05 2010-06-10 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
JP5988088B2 (ja) * 2012-06-08 2016-09-07 富士通株式会社 描画プログラム、描画方法、および、描画装置
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
US10510171B2 (en) 2016-11-29 2019-12-17 Biosense Webster (Israel) Ltd. Visualization of anatomical cavities
JP6842329B2 (ja) * 2017-03-24 2021-03-17 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
US11823376B2 (en) 2018-05-16 2023-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
CN112013784B (zh) * 2019-05-28 2021-09-28 深圳中科飞测科技股份有限公司 一种检测方法和检测系统
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226418B1 (en) * 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
JP2002150313A (ja) 2000-11-08 2002-05-24 Hitachi Medical Corp 三次元画像表示装置
US20020090119A1 (en) * 2001-01-08 2002-07-11 Motoaki Saito Displaying multiple slice images
EP1500053B1 (en) * 2002-04-16 2006-06-28 Koninklijke Philips Electronics N.V. Medical viewing system and image processing method for visualisation of folded anatomical portions of object surfaces
DE10254908B4 (de) * 2002-11-25 2006-11-30 Siemens Ag Verfahren zum Herstellen eines Bildes
US20050113680A1 (en) * 2003-10-29 2005-05-26 Yoshihiro Ikeda Cerebral ischemia diagnosis assisting apparatus, X-ray computer tomography apparatus, and apparatus for aiding diagnosis and treatment of acute cerebral infarct
DE102006003179B4 (de) 2006-01-23 2009-02-26 Siemens Ag Verfahren und Vorrichtung zur virtuellen Endoskopie eines Hohlkanals
JP4559501B2 (ja) 2007-03-14 2010-10-06 富士フイルム株式会社 心機能表示装置、心機能表示方法およびそのプログラム
JP5191989B2 (ja) 2007-07-31 2013-05-08 株式会社日立メディコ 医用画像表示装置、医用画像表示方法
US8175352B2 (en) * 2007-09-21 2012-05-08 Siemens Aktiengesellschaft System and method for automated magnetic resonance scan prescription for optic nerves
JP5392644B2 (ja) * 2008-06-13 2014-01-22 株式会社日立メディコ 画像表示装置、方法、及びプログラム
US8340378B2 (en) * 2008-10-16 2012-12-25 Riverain Medical Group, Llc Ribcage segmentation
US20130104086A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7366712B2 (ja) 2019-11-27 2023-10-23 新晃工業株式会社 室内空気の温度拡散システム

Also Published As

Publication number Publication date
CN102883661A (zh) 2013-01-16
US8977020B2 (en) 2015-03-10
WO2011142222A1 (ja) 2011-11-17
US20130039560A1 (en) 2013-02-14
CN102883661B (zh) 2015-06-03
JPWO2011142222A1 (ja) 2013-07-22

Similar Documents

Publication Publication Date Title
JP5815513B2 (ja) 画像処理装置及び画像処理方法
Haouchine et al. Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US9036882B2 (en) Diagnosis assisting apparatus, diagnosis assisting method, and recording medium having a diagnosis assisting program stored therein
JP5775244B2 (ja) 医学的イメージング・ボリュームの３ｄグラフィカル・プリスクリプションのためのシステム及び方法
CN104000655B (zh) 用于腹腔镜外科手术的组合的表面重构和配准
US9808213B2 (en) Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
JP6396310B2 (ja) 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
CN103402434B (zh) 医用图像诊断装置、医用图像显示装置以及医用图像处理装置
CN101166470A (zh) 图像显示装置及程序
KR20110104019A (ko) 화상 처리 장치, 그 제어 방법, 화상 처리 시스템 및 컴퓨터 판독가능 저장 매체
JP2007195970A (ja) 断層撮影システムおよび断層撮影表示の可視化方法
US10092264B2 (en) Image processing apparatus, image processing method, radiation imaging system, and non-transitory computer-readable storage medium
JP5114121B2 (ja) 医用画像処理装置
JP5662082B2 (ja) 画像表示装置および方法、並びに、プログラム
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
JP6739897B2 (ja) レンダリングを行う方法及びシステム
CN107170021B (zh) 时变数据的细化重构
JP2008067915A (ja) 医用画像表示装置
Jayarathne et al. Real-time 3D ultrasound reconstruction and visualization in the context of laparoscopy
JP2006122663A (ja) 画像処理装置及び画像処理方法
JP2013048688A (ja) 画像処理装置、画像処理方法及びプログラム
JP6702751B2 (ja) 医用画像表示装置、医用画像表示システム及びプログラム
JP2006055402A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150924

R150 Certificate of patent or registration of utility model

Ref document number: 5815513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees