JPH11104072A - 医療支援システム - Google Patents

Abstract

(57)【要約】 【課題】 自然でリアルな三次元画像を提供できなかっ
た。 【解決手段】 所定の情報を入力する入力手段２０と、
臓器の形状を測定したデータおよび上記臓器の内面を撮
影した画像に基づき仮想空間内に、上記入力手段により
入力された情報に応じた上記臓器の三次元画像を生成す
る演算手段１０とを備えたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、内視鏡、腹腔鏡
といった人間の臓器に関する情報を取り出して病変があ
るかどうかを判断する医療支援システムに関するもので
ある。特に診断の対象である臓器の形状と臓器の内面の
画像と組み合わせ、仮想空間内にこの臓器の三次元画像
を生成し、生成した三次元画像を任意の視点方向から表
示できるようにした医療支援システムに関するものであ
る。

【０００２】

【従来の技術】内視鏡装置には胃カメラ（腹腔鏡）、フ
ァイバースコープ、電子スコープのような構造の異なっ
た機種が存在する。従来この種の装置には、例えば特開
昭６３−２６７３２８号公報及び特開昭６２−２６６０
３１号公報に示されたもののように生体内へ挿入自在な
内視鏡スコープを具備し、内臓内壁など特定部の観察、
診断、治療に利用されている。内視鏡スコープの視野方
向には、４方向アングルが設けられており、固体撮影素
子やレンズより得られたカラー撮影情報より、粘膜の微
小な色調変化、構造変化を捉えることができる。

【０００３】しかしながら、従来の内視鏡により得られ
る画像は二次元情報であるため、それのみから病変部の
立体的な構造を正確に捉えることは非常に困難である。
そこで、病変部の三次元情報を得るための装置が考案さ
れている。

【０００４】例えば特開平２−１１６３４７号公報のよ
うに内視鏡のカメラを二眼２カメラ式または一眼２カメ
ラ式とし、この内視鏡を用いてステレオ撮影した後、適
切な画像処理技術を施すことにより、立体感のある画像
を得る電子内視鏡装置がある。この装置により、内視鏡
より得られる像から病変があるかどうかを判断する医師
は、立体感（奥行き情報）を容易に知覚しながら、医療
行為を行うことが可能となる。

【０００５】また、特開昭６３ー３０２８３５号公報に
示すように超音波探触子により特定する部位のみをビー
ム照射する照明手段を内視鏡の挿入先端部に設けた超音
波内視鏡がある。超音波内視鏡では、通常の内視鏡画像
に加えて、病変部位の大きさ、病変の辺縁の性状、内部
エコーのパターン、などの情報が得られる。また、超音
波内視鏡で得られる画像は病変部の断層像である。病変
部の立体像を構成するために、断層画像から立体像を構
成する処理が必要である。例えば、平３ー５００７２６
号公報は、人の臓器の内部から超音波を発信することに
より、臓器の内部の形状情報を３次元で視覚表示する装
置である。

【０００６】また、特開平２ー２９７５１５号公報に示
された立体電子内視鏡は内視鏡のライトチャンネルの先
端部にグリッド投影装置を備え、臓器内壁にグリッドを
投影して得た縞模様画像をコンピュータに取り込むとと
もに、三角測量法を用いて縞模様の変形具合か対象とな
る臓器内壁の凸部の高さや凹部の深さなど情報を求め、
臓器内壁の表面形状を生成するものである。

【０００７】さらに、仮想気管支内視鏡検査システムと
して、胸部Ｘ線とＣＴ像から気管支の三次元ポリゴンレ
ンダリング画像（３次元画像の表面を３角形に分割する
とともに、このそれぞれの３角形に対応する色をつける
こと。）を構築、管腔臓器の内視的表示を行うシステム
がある。管腔臓器内の視点の移動はマウスあるいはそれ
に類似したデバイスで操作し、臓器内部をリアルタイム
でウォークスルーすることができる。

【０００８】

【発明が解決しようとする課題】以下に、従来の技術で
解決できない問題点を示す。一般的な内視鏡では、臓器
の内部をカメラなどにより撮影した画像（すなわち色調
／テクスチャデータ）を単に表示するだけのものである
ため、表示される画像には奥行きに関する情報が不足し
ている。このため、診断する医師等が必要とする病変部
の形状に関する情報（特に奥行き距離情報）を得ること
ができないといった問題があった。

【０００９】上述の問題を解決した内視鏡として、二眼
式内視鏡やステレオ内視鏡などがある。また、赤外線レ
ンジファインダを内視鏡の先端に組み込み、三次元の形
状に関する情報を得る内視鏡も開発されている。しかし
ながら、これらの内視鏡は、先端が太くなるため患者に
与える苦痛が増すといった問題がある。さらに取り扱え
る画像は色調／テクスチャデータまたは形状データのど
ちらか一方しか取り扱えないといった問題があった。

【００１０】病変部を動的に観察するには、周辺を含め
た病変部の遠景や全体像、接近して病変部の微細な性状
を詳細に分析する必要がある。しかし、内視鏡は少ない
とはいえ侵襲的であるから、手際よく検査を行うことが
望ましい。従来の内視鏡では、観察視野の位置／方向に
制限があり、必ずしも病変候補を最適視野で検査できて
いない。病変部症状を正確に捉える手法の開発は重要な
課題であり、本発明は、三次元形状データとそれに位置
対応した色調／テクスチャデータを計測することによ
り、病変部位の最適視野を医師に提示する。

【００１１】三次元形状データとそれに位置対応した色
調／テクスチャデータとは、時間／空間的に変化してい
く内視鏡画像を融合して作成する。任意視点で観察を可
能とするものに、仮想気管支内視鏡システムがあるが、
この情報は形状のみであり、表面の色調／テクスチャデ
ータは実際のものではない。

【００１２】正常組織と病変部は、三次元形状、色調／
テクスチャともに違いが認められる。従来ではこれらの
情報を別個のものとしてそれぞれ独立に扱っていたが、
本発明では統合して扱うことにより、新たな臨床に役立
つ情報の定量化手法、表示手法を提案する。

【００１３】従来の内視鏡では、カメラ画像をそのまま
表示するだけであり、臓器に対する、現在の診断領域／
診断済み領域／未診断領域の位置関係、および治療個所
の位置関係を示すような表示をしていない。このため診
断する医師は、未診断領域や未治療個所が生じないよう
注意を払いながら診断／治療を行う必要があった。

【００１４】本発明は、実画像を用いて仮想空間に三次
元臓器を生成し表示することが可能な医療支援システム
を得ることを目的とする。さらには、臓器内での内視鏡
の位置／姿勢の表示、臓器と診断領域／診断済み領域／
未診断領域の位置関係表示、および臓器と治療個所の位
置関係表示／記録を行うことにより、未診断領域発生の
防止、医師の負荷軽減、診断時間の短縮による患者の負
荷を軽減することが可能な医療支援システムを得ること
を目的とする。

【００１５】

【課題を解決するための手段】この発明に係る医療支援
システムは、所定の情報を入力する入力手段と、臓器の
形状を測定したデータおよび上記臓器の内面を撮影した
画像に基づき仮想空間内に、上記入力手段により入力さ
れた情報に応じた上記臓器の三次元画像を生成する演算
手段とを備えたことを特徴とするものである。

【００１６】この発明に係る医療支援システムは、演算
手段は臓器の内面を撮影した画像から複数の視方向から
の画像を抽出する手段と、上記抽出した複数の視方向か
らの画像に基づき、入力手段により入力された視方向か
ら見たときの上記臓器の画像を算出する手段とを備えた
ことを特徴とするものである。

【００１７】この発明に係る医療支援システムは、演算
手段は仮想空間内に上記臓器の形状を構成する手段と、
上記仮想空間内に構成された臓器の形状に、入力手段に
より入力された視方向から見たときの上記臓器の画像を
マッピングする手段とを備えたことを特徴とするもので
ある。

【００１８】この発明に係る医療支援システムは、マッ
ピングする手段は、特徴点抽出、曲面分割／モザイク処
理を行うことを特徴とするものである。

【００１９】この発明に係る医療支援システムは、演算
手段は臓器の形状を測定したデータおよび上記臓器の内
面を撮影した画像に基づきボリュ−ムデータを構成する
手段と、上記ボリュームデータを構成する手段の出力に
対しボリュームレンダリングを行う手段とを備えたこと
を特徴とするものである。

【００２０】この発明に係る医療支援システムは、ボリ
ュームデータを構成する手段は、ＣＴ装置、ＭＲＩ装置
または超音波内視鏡により得られる断層像を積み上げて
ボリュームデータを構成することを特徴とするものであ
る。

【００２１】この発明に係る医療支援システムは、演算
手段は臓器の形状を測定したデータおよび上記臓器の内
面を撮影した画像に基づきサーフェースデータを構成す
る手段と、入力手段により入力された視方向から見たと
きの上記臓器の画像を上記サーフェースデータにマッピ
ングする手段と、上記マッピング手段の出力に対しサー
フェースレンダリングを行う手段とを備えたことを特徴
とするものである。

【００２２】この発明に係る医療支援システムは、サー
フェースデータを構成する手段は、臓器の内面を撮影し
た画像からシェープドフロムシェーディング（shaped f
rom shading）の手法によりサーフェースデータを構成
するか、臓器のボリュームデータからゼグメンテーショ
ン（segmentation）によりサーフェースデータを構成す
るかまたはレーザ光でモアレもしくは格子もしくはチェ
ックもしくはチェックと類似するパターンを上記臓器内
部に投影しその画像を計測することによるサーフェース
データを構成することを特徴とするものである。

【００２３】この発明に係る医療支援システムは、サー
フェースデータを構成する手段は、対象のボリュームデ
ータからゼグメンテーション（segmentation）によりサ
ーフェースデータを構成するとき、上記ボリュームデー
タの表面を再分割したことを特徴とするものである。

【００２４】この発明に係る医療支援システムは、演算
手段は、ボリュームレンダリングを行う手段により生成
されるボリュームレンダリング画像と、サーフェースレ
ンダリングを行う手段により生成されるサーフェースレ
ンダリング画像の少なくとも一部を半透明にした画像と
を重ねて表示する手段とを備えたことを特徴とするもの
である。

【００２５】この発明に係る医療支援システムは、演算
手段は臓器の形状を測定したデータから上記臓器の形状
の特徴量を算出する手段と、上記臓器の内面を撮影した
画像から上記臓器の色調の特徴量を算出する手段と、臓
器の内面の画像をテクスチャ画像として捉え、このテク
スチャの特徴量を算出する手段と、臓器の形状を測定し
たデータ、上記臓器の内面を撮影した画像、上記形状の
特徴量を算出する手段の出力、色調の特徴量を算出する
手段の出力およびテクスチャの特徴量を算出する手段の
出力を保存する手段と、上記形状の特徴量を算出する手
段の出力および色調の特徴量を算出する手段の出力の変
化を解析する手段とを備えたことを特徴とするものであ
る。

【００２６】この発明に係る医療支援システムは、形状
の特徴量を算出する手段は、臓器の表面の曲率変化、対
象の体積、対象の断面面積、対象の半径などの形状を算
出することを特徴とするものである。

【００２７】この発明に係る医療支援システムは、色調
の特徴量を算出する手段は、臓器の表面輝度の平均、分
散、対象の表面の色分布、色湿度を算出することを特徴
とするものである。

【００２８】この発明に係る医療支援システムは、テク
スチャの特徴量を算出する手段は、臓器のテクスチャの
フラクラル次元または局所高次相関を算出することを特
徴とするものである。

【００２９】この発明に係る医療支援システムは、演算
手段は、既存の癌病変の臓器の画像を保存する癌病変画
像データベースを備え、上記癌病変の臓器の画像に対し
特徴量抽出に基づく分類処理を行い上記癌病変画像デー
タベースに保存するように構成したことを特徴とするも
のである。

【００３０】この発明に係る医療支援システムは、演算
手段は、診断の対象となる臓器において、診断中領域ま
たは診断済み領域または未診断領域のいずれであるのか
を区分して表示する手段と、上記臓器内の生検箇所と治
療箇所との三次元位置関係を表示する手段と、上記臓器
内において病変部の可能性が高い領域をマーキングする
手段とを備えたことを特徴とするものである。

【００３１】

【発明の実施の形態】

実施の形態１．本発明の医療支援システムを図１〜図６
に基づいて説明する。図１は実施の形態１の医療支援シ
ステムを示すブロック図である。図１において、１０は
演算手段に対応する演算部、２０は入力手段に対応する
ユーザーインターフェース入力部、３０は出力手段に対
応するユーザーインターフェース出力部である。

【００３２】ユーザーインターフェース入力部２０は例
えば操作パネルを有する。ユーザーインターフェース出
力部３０は例えばマルチ表示ウィンドウを有するもので
ある。演算部２０により得られた演算結果は、ユーザー
インターフェース入力部２０により入力された情報に応
じてユーザーインターフェース出力部３０に出力され
る。

【００３３】１００は対象となる人間の臓器の内壁の画
像を例えばカメラなどを用いて取得する臓器内壁画像取
得手段に対応する内視鏡装置である。内視鏡装置１００
は例えばその先端に３次元位置センサ、姿勢センサが設
けてあり、カメラの撮影位置および撮影方向を制御する
ことが可能となる。内視鏡装置１００の代わりに腹腔鏡
装置を用いても良い。内視鏡装置１００を所定の方向に
そって複数の視点から臓器の内壁を撮影することによ
り、例えば臓器の内壁の色のデータ、テクスチャデータ
といった画像情報を得るためのものである。内視鏡装置
１００から得られた内壁の画像はユーザインターフェー
ス入力部１０を経由して演算部（詳しくは内視鏡画像生
成／表示部４０）に伝送される。

【００３４】１１０は臓器の内面の形状に関する情報を
取得する臓器形状情報取得手段および臓器の内面の画像
を取得する臓器内面画像取得手段に対応する超音波内視
鏡装置である。超音波内視鏡装置１１０により、対象と
なる臓器、対象となる臓器において超音波探索を行う方
向を決定することにより、対象となる臓器の形状に関す
るＣＴ像（ＣＴ（Computed Tomography）装置を用いて
取得した像）、ＭＲＩ像（ＭＲＩ（Magnetic Resonanc
e Imaging）装置を用いて取得した像）またはＸ線像
（Ｘ線装置を用いて取得した像）と、対象となる臓器の
超音波内視鏡画像（あるいはＣＴ像、ＭＲＩ像）を得る
ことが可能となる。

【００３５】１２０は使用者が必要に応じて入力するべ
きデータであり、ここでは使用者がユーザーインターフ
ェース入力部２０に入力するべきデータである。入力す
るべきデータは例えば、診断の対象となる臓器の種類
（または観察対象）、視方向（または観察方向）、表示
する臓器を拡大／縮小するための命令、画像表示モード
の選択／指定などである。

【００３６】１３０は臓器の形状をとり出す臓器形状情
報取得手段である。臓器形状情報取得手段１２０は例え
ば、ＣＴ装置、ＭＲＩ装置、Ｘ線装置などである。ＣＴ
装置、ＭＲＩ装置は対象となる臓器を複数に分割し、対
象となる臓器の形状を計測し、これを再び合わせること
により、対象となる臓器の形状を表示するものである。

【００３７】９０は使用者が入力した対象となる臓器の
情報をもとに仮想空間内に三次元の臓器のモデルを形成
する三次元臓器モデル形成手段に対応する三次元モデル
構成／表示部である。４０は内視鏡装置１００より得ら
れる内視鏡装置より得られる内視鏡画像を入力とし、こ
の画像を仮想空間内の三次元画像に投影するための画像
に変換する内視鏡画像変換手段に対応する内視鏡画像生
成／表示部である。５０は内視鏡画像生成／表示部４０
から得られる画像を三次元モデル形成手段９０により形
成された仮想空間内の三次元臓器の所定の箇所にマッピ
ングして表示するマッピング表示手段に対応するマッピ
ング表示部である。

【００３８】６０は内視鏡画像生成／表示部４０、マッ
ピング表示部５０の情報から仮想空間内に対象となる臓
器の三次元の実画像を生成し、表示する三次元画像生成
表示手段に対応する三次元画像生成表示手段に対応する
三次元画像生成／表示部である。７０は対象の三次元画
像データから対象の特徴量を表示し、患者の病変部を認
知する病変部認知手段に対応する病変部認知支援部であ
る。８０は入力されたデータ、ＣＴ画像、ＭＲＩ画像、
演算部１０で演算した結果などを表示、記憶、保存する
データ表示／保存部である。

【００３９】入力データ／画像として、先端部に三次元
位置センサを装備した内視鏡／腹腔鏡装置による記録画
像（静止像とビデオ画像）と、ユーザの選択／指定した
画像表示モード、観察対象、観察方向と、臓器の形状に
関するＣＴ像（あるいはＭＲＩ 像、Ｘ線像）と、観察
対象に関する超音波内視鏡画像（あるいはＣＴ像、ＭＲ
Ｉ像）が可能である。ユーザインターフェース入力部２
０の操作パネルに、これらの入力データ／画像を選択
し、入力するための操作をインターラクティブにサポー
トする機能が含まれている。

【００４０】また、ユーザインターフェース出力部３０
には、演算部１０で処理した結果を、ユーザ選択したモ
ードに従い、マルチ表示ウィンドウで表示する。演算部
１０は、任意の視方向からの観察対象の内視鏡画像生成
／表示部４０と、観察対象の内視鏡画像の三次元臓器画
像へのマッピング表示部５０と、対象の三次元画像生成
／表示部６０と、対象の三次元画像データに基づく、対
象の特徴量表示による病変部認知支援部７０と、内視鏡
検査／診断／治療データ表示／保存部８０と、三次元臓
器モデル構成／表示部からなる。

【００４１】そして、様々な出力データ／画像を、ユー
ザ選択の表示モードに併せて提供することが可能であ
る。出力データ／画像として、観察対象の任意指定方向
の内視鏡画像、三次元臓器に内視鏡画像をマッピングし
た画像、観察対象のボリュームレンダリング画像、対象
の内視鏡画像マッピングを施したサーフェースレンダリ
ング画像、対象のオーバーレイ（overlay）画像、観察
対象の特徴量データ、観察対象の時経変化データ、内視
鏡診断領域表示画像または内視鏡生検領域表示画像など
を出力することが可能となる。

【００４２】この実施形態に係るシステムは、内視鏡／
腹腔鏡の病変部診断支援システムとして、内視鏡／腹腔
鏡を用いる医療行為に利用でき、検査／治療時間の短
縮、および病変の正確の診断／治療に役立つ。また、従
来は限られていた視方向を、任意に設定した画像が得る
ことができ、観察情報を著しく増やすことができる。任
意の視点からの画像を得られることにより、実際には正
面からの観察が困難な位置にある病変部の正面視画像、
任意の拡大／縮小率を持つ画像、他の形態（様式）の画
像との統合画像など、診断に効果的な画像を施術者また
は医師に提示することができる。これは医学応用のみな
らず、工業用内視鏡が用いられる各分野にも応用でき
る。さらに、臓器の三次元形状モデルと、臨床上重要な
情報である患部の色調やテクスチャなどを同時に得るこ
とができるので、バーチャル内視鏡と低侵襲手術シミュ
レーションなどの目的で構成される教育訓練用VRシステ
ムの開発にも応用できる。

【００４３】また、このview morphing画像生成手段よ
り、対象を観察する限られた幾つの視方向の内視鏡画像
から、任意の視方向から見た対象の仮想内視鏡画像が得
られるため、観察情報を著しく増やすと同時に、診断あ
たりに必要とする撮影コマ数を適当に低減させることを
可能にする。病変部三次元画像の生成／保存、あるいは
臓器内部における治療個所の獲得／保存により、ファイ
リング保管と画像の遠隔転送においても、データ量と転
送時間を減少することが可能となり、従来ビデオなどで
経時的に保存していた診断／治療データの保存を効率化
できる。

【００４４】図２は内視鏡画像生成／表示部４０の具体
的な構成を示すブロック図である。図において、４１は
先端部に三次元位置センサを装備した内視鏡／腹腔鏡装
置による記録画像を入力とし、ユーザが指定した観察対
象に対して、この観察対象に関する複数の視方向からの
内視鏡画像を抽出する内視鏡画像抽出部である。４２は
内視鏡画像抽出部４１で抽出した複数の内視鏡画像を入
力とし、この複数の内視鏡画像をもとに所定の方向（こ
こでは三次元位置センサを動かした方向）に動かしたと
き、これに伴い内視鏡画像がどのように連続的に変化す
るかを計算する（ヴューモーフィング（view morphin
g）と称す）view morphing処理部である。

【００４５】view morphing処理部４２を有することに
より内視鏡／腹腔鏡装置による内視鏡画像は異なる視方
向から撮像した複数の画像から、任意の視方向から見た
ときの画像を生成し表示することが可能となる。よっ
て、医師が観察できる情報を著しく増やすと同時に、診
断あたりに必要とする撮影コマ数を低減させることを可
能にする。これは検査時間を短縮させ、患者にとって侵
襲性の大きい長時間検査や重複検査を避けられる効果が
ある。

【００４６】view morphing処理部４２に、病変部全体
をカバーする最も効率的なmorphingpaths自動設定アル
ゴリズムを備える。また、view morphingの技術を用い
ることにより、二つの視方向から撮影した臓器の内面の
画像から、これらの視方向間で撮影したときの画像を仮
想空間内に生成できるため、臓器の内面を新しい視点か
ら見たときの自然でリアルな画像が提供できるようにな
る。

【００４７】図３マッピング表示部５０の具体的な構成
を示す図である。図において、５２はview morphing処
理部４２により処理された画像を入力とし、この画像を
三次元臓器モデル構成表示部９０により仮想空間内に形
成された３次元臓器モデルにマッピングする曲面ヴュー
ディペンデントテクスチャーマッピング（view-depnede
nt texture mapping）処理部である。曲面view-depnede
nt texture mapping処理部５２は、内視鏡画像の局所性
の欠点を補助するための機能で、三次元空間における臓
器と病変部の位置関係を分かりやすくするための表示で
ある。

【００４８】また、仮想空間において、視点の移動や拡
大（縮小）操作により、融合した立体を自由に表示する
こともできる。三次元空間における臓器と病変の位置関
係、解剖学的な構造に対する理解を助け、安全な治療計
画が実現できる。

【００４９】従来のＣＴやＭＲＩなどからの三次元処理
画像は、形状情報のみを持ち、臓器内壁の色調／テクス
チャ情報を持たなかった。曲面view-dependent texture
mapping処理部５２有することより、三次元形状情報に
表面の色調／テクスチャ情報を持たせることが可能とな
り、仮想空間における三次元画像を臨床レベルにまで高
める。このような表面色調、テクスチャ情報を持つ臓器
モデルは、バーチャル内視鏡システムと低侵襲手術シミ
ュレーションシステムと医療教育訓練用VR内視鏡システ
ムに適用することも可能である。

【００５０】曲面view-depend mapping処理部５２は、
従来view-depend mappingを拡張したもので、平面ベー
スの物体だけではなく、特徴点抽出と、曲面分割／モザ
イクなどの処理によって、内臓のような曲面物体にも適
用できる。

【００５１】図４は三次元画像生成／表示部６０の具体
的な構成を示すブロック図である。図において６１は超
音波内視鏡装置１１０より取得した画像を入力とし、対
象となる臓器のボリュームデータ（仮想空間内の臓器の
３次元画像を構成する最小単位の立体要素（例えば立方
体（boxel cubic））を構成するボリュームデータ構成
部である。６２はボリュームデータ構成部６１により構
成されたボリュームデータにボリュームレンダリング処
理（立体要素を所定の色で塗りつぶす処理）を行い表示
するボリュームレンダリング表示部である。６３はボリ
ュームデータ構成部６１により算出された情報から対象
となる臓器のサーフェースデータ（仮想空間内の臓器の
３次元画像の表面を構成する最小単位の平面要素（例え
ば三角形）を構成するサーフェースデータ構成部であ
る。サーフェースデータ構成部６３により構成されたサ
ーフェースデータと、viewmorphing処理部４２により出
力された画像とは、曲面view-depend mapping処理部５
２により組み合わされることにより、サーフェースデー
タの上に画像がマッピングされる。

【００５２】６４は曲面view-depend mapping処理部５
２により処理された情報を表示するサーフェースレンダ
リング表示部である。６５はボリュームレンダリング表
示部６２により出力されるボリュームレンダリング画像
とサーフェースレンダリング表示部６４により出力され
る画像とを同時に表示する三次元画像同時表示部であ
る。対象の３次元画像を生成する手段より、２眼式内視
鏡を利用せずに、対象を立体的に観察できる。内視鏡の
口径は小さくなり、太い内視鏡による患者への侵襲と苦
痛を低減する効果がある。

【００５３】対象のボリュームデータ構成部６１は、Ｃ
Ｔ、ＭＲＩ、超音波あるいは超音波内視鏡に基づいて、
対象のボリュームデータの断層像を積み上げる方法を利
用して構成する。対象のボリュームレンダリング表示部
６２は、対象のボリュームデータ構成部６１からの入力
データを用いて、対象のボリュームレンダリングを行
う。この超音波内視鏡から対象の三次元データを構築す
る手段は、３次元ボリュームデータに深さ情報を融合さ
せ、病変部の辺縁と臓器壁層の関係、粘膜下腫瘍の形態
をビジュアルに表示する効果がある。

【００５４】対象の三次元サーフェースデータ（表面形
状）構成部６３は、内視鏡画像からshaped from shadin
gの手法（画素の濃淡から物体の形状を特定する手法）
による表面形状の構成方式、あるいは対象のボリューム
データからsegmentationによる表面形状の構成方式、あ
るいはレーザ光でモアレあるいは格子あるいはチェック
あるいはチェックと類似するパターンを対象内部に投影
しその画像を計測することによる表面形状の構成方式を
利用して、対象のサーフェースデータを構成する。

【００５５】サーフェースデータ構成部６３は、対象の
ボリュームデータからのsegmentationの際に、ポリゴン
subdivision技術（物体の表面を構成するポリゴンを細
分割する技術）を応用することにより、間隔の大きい断
層像から精密かつ滑らかなサーフェースデータを生成す
ることが可能で、入力する超音波断層像のデータ量を低
減する効果がある。

【００５６】サーフェースレンダリング表示部６４は、
サーフェースデータ構成部６３で構成された対象の三次
元表面形状に、対象の各方向に対応する内視鏡画像（任
意視方向から対象の仮想内視鏡画像生成／表示部による
仮想内視鏡画像も含め）を、マッピングしながらレンダ
リングを行う。ここでも、曲面view-dependent texture
mapping処理部５２が用いられる。そして、対象の三次
元形状、表面の性状（色調、血管分布、わずかに凹んだ
不整形の発赤）を忠実に表わす三次元画像が得られる。
病変部の立体的な構造を正確に捉えると同時に、三次元
的に病変部の形状、色、テクスチャなどを定量化するこ
ともできる。リアルかつ正確な臓器内壁の色調とテクス
チャを持つ三次元画像を生成／表示できる。仮想視点か
らの画像を任意に得られることにより、実際には正面か
らの観察が困難な位置にある病変部の正面視画像、任意
の拡大／縮小率を持つ画像、他の形態の画像との統合画
像など、診断に効果的な画像を医師に提示することがで
きる。

【００５７】対象の三次元画像同時表示部６５には、二
つのウィンドウ（window）にそれぞれ対象のボリューム
レンダリング画像と内視鏡画像のマッピングを施したサ
ーフェースレンダリング画像を表示する方式と、一つの
ウィンドウに対象のボリュームレンダリング画像とサー
フェースレンダリング画像の少なくともその一部を半透
明的に表示した画像とを重ね合せた形で表示するオーバ
ーレイ（overlay）表示方式が可能である。このような
三次元画像同時表示不６５により、多くの画像情報をよ
り効果的に術者に提供することができる。また、臓器の
内面特に病変部の内部情報と表面情報を立体的に対応付
けしながら、観察することができ、臓器の病変部を正確
に把握するために非常に有効である。

【００５８】図５は病変部認知支援部７０の具体的な構
成を示す図である。図において７１は対象となる臓器の
形状の特徴量を算出する形状特徴量算出部である。７２
は対象となる臓器の色調の特徴量を算出する色調特徴量
算出部である。７３は対象となる臓器をテクスチャ画像
としてとらえたときの特徴量を算出するテクスチャ特徴
量算出部である。７４は入力された画像のデータを保存
するとともに、形状特徴量算出部７１、色調特徴量算出
部７２、テクスチャ特徴量算出部で算出されたデータを
保存する画像データ／特徴量データ保存部である。

【００５９】７５は形状特徴量算出部７１、色調特徴量
算出部７２、テクスチャ特徴量算出部で算出されたデー
タから対象となる臓器が時間的にどのように変化してい
るかを解析する経時変化解析部である。７６は対象とな
る臓器が癌に犯されたときの画像が蓄えられた癌病変画
像データベースである。

【００６０】病変部認知支援部７０は、対象となる臓器
各種の特徴量データと対象となる臓器の時間経過変化デ
ータを算出し、出力する。このような特徴量を計算する
手段、あるいはそれらを効率よく医師に提示する手段よ
り、医師は、定量化された特徴量を用いて、客観的かつ
正確に病変部の状態を把握できる。また、これらのデー
タを経時的に解析することにより、病変部の経時変化も
診断に利用できる。

【００６１】対象となる臓器の形状の特徴量を算出する
特徴量算出部７１では、例えば対象の表面の曲率変化、
対象の体積、対象の断面面積、対象の半径などの形状を
表わす特徴量を算出し、出力する。また、対象となる臓
器の色調のデータを算出する特徴量算出部７２では、例
えば対象の表面輝度の平均、分散、対象の表面の色分
布、色湿度などの色調を表わす特徴量を算出し、出力す
る。さらに、対象となる臓器のテクスチャの情報を算出
する特徴量算出部７３では、対象表面のテクスチャのフ
ラクラル次元、局所高次相関などのテクスチャを表わす
特徴量を算出し、出力する。

【００６２】画像データ／特徴量データ保存部７４に保
存されたデータを、時経変化解析部７６により処理する
ことによって、同一対象の臓器の時間経過に伴う変化を
判別することができる。 そして、医師が長期に渡っ
て、病変の疑いのある部分について、定量的に観察、診
断することを支援する。

【００６３】既存の癌病変の内視鏡資料に対して、特徴
量抽出に基づく分類処理を行い、癌病変画像データベー
ス７６を構成することができる。このデータベースは３
次元形状と色彩／テクスチャ情報を統合した癌診断支援
システムの基礎要素となる。

【００６４】図６はデータ表示／保存部８０の具体的な
構成を示すブロック図である。図において、８１は対象
となる臓器を内視鏡により診断中の領域、診断済みの領
域または未診断の領域に区分して表示する区分表示部で
ある。８２は対象となる臓器の生検箇所／治療箇所の三
次元的な位置関係を表示する三次元位置関係表示部であ
る。８３は対象となる臓器の病変部をマーキングして表
示するマーキング表示部である。８４は内視鏡により診
断したデータ、治療したデータを保存する内視鏡診断／
治療データ保存部である。

【００６５】従来のＣＴ像、ＭＲＩ像、Ｘ線像からの三
次元臓器形状データの生成する方法と従来のボリューム
レンダリング方法を用いた三次元臓器モデル構成／表示
部９０から、臓器の三次元データ／画像から得られ、内
視鏡診断領域表示画像と内視鏡生検領域表示画像を出力
する。このような臓器形状データと内視鏡の位置姿勢デ
ータを用いて臓器内の検査領域あるいは治療個所を表示
／保存する手段より、検査領域の忘れ／重複などを防止
し、診断／治療の信頼性向上、時間短縮、コスト低減、
低侵襲化、医師の負荷軽減などの効果が期待できる。

【００６６】今回開示した実施の形態はすべての点で例
示であって、制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなく、特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００６７】

【発明の効果】この発明に係る医療支援システムは、所
定の情報を入力する入力手段と、臓器の形状を測定した
データおよび上記臓器の内面を撮影した画像に基づき仮
想空間内に、上記入力手段により入力された情報に応じ
た上記臓器の三次元画像を生成する演算手段とを備えた
ので、よりリアルな画像を施術者または医師に提供でき
るため、施術者または医師はより的確な判断を行うこと
が可能となる。

【００６８】この発明に係る医療支援システムは、演算
手段は臓器の内面を撮影した画像から複数の視方向から
の画像を抽出する手段と、上記抽出した複数の視方向か
らの画像に基づき、入力手段により入力された視方向か
ら見たときの上記臓器の画像を算出する手段とを備えた
ので、任意の視方向から見た三次元画像を得ることがで
き、診断の対象となる臓器の情報が著しく増える同時
に、診断あたりに必要とする撮影コマ数を低減させるこ
とを可能にする。よって、臓器の内面を撮影するための
検査時間の短縮ができ、患者にとって侵襲性の大きい長
時間検査や重複検査を避けることができる。

【００６９】この発明に係る医療支援システムは、演算
手段は仮想空間内に上記臓器の形状を構成する手段と、
上記仮想空間内に構成された臓器の形状に、入力手段に
より入力された視方向から見たときの上記臓器の画像を
マッピングする手段とを備えたので、三次元空間におけ
る臓器と病変部の位置関係を分かりやすなる。さらに、
仮想（またはバーチャル）空間において、視点の移動や
拡大（縮小）操作により、融合した立体を自由に表示す
ることもできる。さらに３D空間に置ける臓器と病変の
位置関係、解剖学的な構造に対する理解を助け、安全な
治療計画が実現できる。

【００７０】この発明に係る医療支援システムは、マッ
ピングする手段は、特徴点抽出、曲面分割／モザイク処
理を行うので、臓器のような曲面物体にマッピングする
ことが可能となる。

【００７１】この発明に係る医療支援システムは、演算
手段は臓器の形状を測定したデータおよび上記臓器の内
面を撮影した画像に基づきボリュ−ムデータを構成する
手段と、上記ボリュームデータを構成する手段の出力に
対しボリュームレンダリングを行う手段とを備えたの
で、ボリュームデータに臓器の内面からの深さの情報を
融合さることにより、病変部の辺縁と臓器壁層の関係、
粘膜下腫瘍の形態をビジュアルに表示することが可能と
なる。

【００７２】この発明に係る医療支援システムは、ボリ
ュームデータを構成する手段は、ＣＴ装置、ＭＲＩ装置
または超音波内視鏡により得られる断層像を積み上げて
ボリュームデータを構成するので、ボリュームデータに
臓器の内面からの深さの情報を融合さることにより、病
変部の辺縁と臓器壁層の関係、粘膜下腫瘍の形態をビジ
ュアルに表示することが可能となる。

【００７３】この発明に係る医療支援システムは、演算
手段は臓器の形状を測定したデータおよび上記臓器の内
面を撮影した画像に基づきサーフェースデータを構成す
る手段と、入力手段により入力された視方向から見たと
きの上記臓器の画像を上記サーフェースデータにマッピ
ングする手段と、上記マッピング手段の出力に対しサー
フェースレンダリングを行う手段とを備えたので、対象
となる臓器の三次元形状、表面の形状（色調、血管分
布、わずかに凹んだ不整形の発赤）を忠実に表わす三次
元画像が得られる。さらには、病変部の立体的な構造を
正確に捉えるとともに、三次元的に病変部の形状、色、
テクスチャなどを定量化することもでき、リアルかつ正
確な臓器内壁の色調とテクスチャを持つ三次元画像を生
成／表示できる。

【００７４】この発明に係る医療支援システムは、サー
フェースデータを構成する手段は、臓器の内面を撮影し
た画像からシェープドフロムシェーディング（shaped f
rom shading）の手法によりサーフェースデータを構成
するか、臓器のボリュームデータからゼグメンテーショ
ン（segmentation）によりサーフェースデータを構成す
るかまたはレーザ光でモアレもしくは格子もしくはチェ
ックもしくはチェックと類似するパターンを上記臓器内
部に投影しその画像を計測することによるサーフェース
データを構成するので、対象となる臓器の三次元形状、
表面の形状（色調、血管分布、わずかに凹んだ不整形の
発赤）を忠実に表わす三次元画像が得られる。

【００７５】この発明に係る医療支援システムによれ
ば、サーフェースデータを構成する手段は、対象のボリ
ュームデータからゼグメンテーション（segmentation）
によりサーフェースデータを構成するとき、上記ボリュ
ームデータの表面を再分割したので、間隔の大きい断層
像から精密かつ滑らかなサーフェースデータを生成する
ことが可能で、臓器の形状のデータのデータ量を低減す
ことが可能となる。

【００７６】この発明に係る医療支援システムによれ
ば、演算手段は、ボリュームレンダリングを行う手段に
より生成されるボリュームレンダリング画像と、サーフ
ェースレンダリングを行う手段により生成されるサーフ
ェースレンダリング画像の少なくとも一部を半透明にし
た画像とを重ねて表示する手段とを備えたので、オーバ
ーレイ（over lay）画像を施術者または医師に提供する
ことが可能となる。これにより、多くの画像情報を施術
者または医師により効果的に提供することができるとと
もに、対象の内部情報と表面情報を立体的に対応付けし
ながら、観察することができ、病変部を正確に把握する
ことが可能となる。

【００７７】この発明に係る医療支援システムによれ
ば、演算手段は臓器の形状を測定したデータから上記臓
器の形状の特徴量を算出する手段と、上記臓器の内面を
撮影した画像から上記臓器の色調の特徴量を算出する手
段と、臓器の内面の画像をテクスチャ画像として捉え、
このテクスチャの特徴量を算出する手段と、臓器の形状
を測定したデータ、上記臓器の内面を撮影した画像、上
記形状の特徴量を算出する手段の出力、色調の特徴量を
算出する手段の出力およびテクスチャの特徴量を算出す
る手段の出力を保存する手段と、上記形状の特徴量を算
出する手段の出力および色調の特徴量を算出する手段の
出力の変化を解析する手段とを備えたので、施術者また
は医師は、定量化された特徴量を用いて、客観的かつ正
確に臓器の状態を把握することができる。また、これら
のデータを経時的に解析することにより、病変部の経時
変化も診断に利用できる。

【００７８】この発明に係る医療支援システムによれ
ば、形状の特徴量を算出する手段は、臓器の表面の曲率
変化、対象の体積、対象の断面面積、対象の半径などの
形状を算出するので、施術者または医師は、臓器の形状
の情報を正確に把握することができる。

【００７９】この発明に係る医療支援システムによれ
ば、色調の特徴量を算出する手段は、臓器の表面輝度の
平均、分散、対象の表面の色分布、色湿度を算出するこ
ので、施術者または医師は、臓器の色調に関する情報を
正確に把握することができる。

【００８０】この発明に係る医療支援システムによれ
ば、テクスチャの特徴量を算出する手段は、臓器のテク
スチャのフラクラル次元または局所高次相関を算出する
ので、臓器のフラクラル次元または局所高次相関に関す
る情報を正確に把握することができる。

【００８１】この発明に係る医療支援システムによれ
ば、演算手段は、既存の癌病変の臓器の画像を保存する
癌病変画像データベースを備え、上記癌病変の臓器の画
像に対し特徴量抽出に基づく分類処理を行い上記癌病変
画像データベースに保存するように構成したので、施術
者または医者は対象となる臓器が癌細胞に犯されている
かどうかをより客観的に判断することが可能となる。

【００８２】この発明に係る医療支援システムによれ
ば、演算手段は、診断の対象となる臓器において、診断
中領域または診断済み領域または未診断領域のいずれで
あるのかを区分して表示する手段と、上記臓器内の生検
箇所と治療箇所との三次元位置関係を表示する手段と、
上記臓器内において病変部の可能性が高い領域をマーキ
ングする手段とを備えたので、検査領域の忘れ／重複な
どを防止し、診断／治療の信頼性が向上する。

【図面の簡単な説明】

【図１】 この発明の実施の形態１の医療支援システム
のブロック図である。

【図２】 この発明の実施の形態１の医療支援システム
において、内視鏡画像生成／表示部の具体的構成を示す
ブロック図である。

【図３】 この発明の実施の形態１の医療支援システム
において、マッピング表示部の具体的構成を示すブロッ
ク図である。

【図４】 この発明の実施の形態１の医療支援システム
において、三次元画像生成／表示部の具体的構成を示す
ブロック図である。

【図５】 この発明の実施の形態１の医療支援システム
において、病変認知支援部の具体的構成を示すブロック
図である。

【図６】 この発明の実施の形態１の医療支援システム
において、データ表示／保存部の具体的構成を示すブロ
ック図である。

【符号の説明】

１０ 演算部 ２０ ユーザインターフェース入力部 ３０ ユーザインターフェース出力部 ４０ 内視鏡画像生成表示部 ４１ 内視鏡画像抽出部 ４２ view morphing処理部 ５０ マッピング表示部 ５２ 曲面view-dependent texture mapping処理部 ６０ 三次元画像生成／表示部 ６１ ボリュームデータ構成部 ６２ ボリュームレンダリング表示部 ６３ サーフェースデータ構成部 ６４ サーフェースレンダリング表示部 ６５ 三次元画像同時表示部 ７０ 病変部認知支援部 ７１ 形状特徴量算出部 ７２ 色調特徴量算出部 ７３ テクスチャ特徴量算出部 ７４ 画像データ／特徴量データ保存部 ７５ 時経変化解析部 ７６ 癌病変画像データベース ８０ データ表示／保存部 ８１ 領域区分表示部 ８２ 三次元位置関係表示部 ８３ 病変部候補マーキング表示部 ８４ 内視鏡診断／治療データ保存部 ９０ 三次元臓器モデル構成／表示部

フロントページの続き (72)発明者 前田 満雄 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 室井 克信 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (16)

【特許請求の範囲】
1. 【請求項１】 所定の情報を入力する入力手段と、 臓器の形状を測定したデータおよび上記臓器の内面を撮
   影した画像に基づき仮想空間内に、上記入力手段により
   入力された情報に応じた上記臓器の三次元画像を生成す
   る演算手段とを備えたことを特徴とする医療支援システ
   ム。
2. 【請求項２】 演算手段は臓器の内面を撮影した画像か
   ら複数の視方向からの画像を抽出する手段と、 上記抽出した複数の視方向からの画像に基づき、入力手
   段により入力された視方向から見たときの上記臓器の画
   像を算出する手段とを備えたことを特徴とする請求項１
   に記載の医療支援システム。
3. 【請求項３】 演算手段は仮想空間内に上記臓器の形状
   を構成する手段と、 上記仮想空間内に構成された臓器の形状に、入力手段に
   より入力された視方向から見たときの上記臓器の画像を
   マッピングする手段とを備えたことを特徴とする請求項
   ２に記載の医療支援システム。
4. 【請求項４】 マッピングする手段は、特徴点抽出、曲
   面分割／モザイク処理を行うことを特徴とする請求項３
   に記載の医療支援システム。
5. 【請求項５】 演算手段は臓器の形状を測定したデータ
   および上記臓器の内面を撮影した画像に基づきボリュ−
   ムデータを構成する手段と、 上記ボリュームデータを構成する手段の出力に対しボリ
   ュームレンダリングを行う手段とを備えたことを特徴と
   する請求項１に記載の医療支援システム。
6. 【請求項６】 ボリュームデータを構成する手段は、 ＣＴ装置、ＭＲＩ装置または超音波内視鏡により得られ
   る断層像を積み上げてボリュームデータを構成すること
   を特徴とする請求項５に記載の医療支援システム。
7. 【請求項７】 演算手段は臓器の形状を測定したデータ
   および上記臓器の内面を撮影した画像に基づきサーフェ
   ースデータを構成する手段と、 入力手段により入力された視方向から見たときの上記臓
   器の画像を上記サーフェースデータにマッピングする手
   段と、 上記マッピング手段の出力に対しサーフェースレンダリ
   ングを行う手段とを備えたことを特徴とする請求項１に
   記載の医療支援システム。
8. 【請求項８】 サーフェースデータを構成する手段は、 臓器の内面を撮影した画像からシェープドフロムシェー
   ディング（shaped from shading）の手法によりサーフ
   ェースデータを構成するか、臓器のボリュームデータか
   らゼグメンテーション（segmentation）によりサーフェ
   ースデータを構成するかまたはレーザ光でモアレもしく
   は格子もしくはチェックもしくはチェックと類似するパ
   ターンを上記臓器内部に投影しその画像を計測すること
   によるサーフェースデータを構成することを特徴とする
   請求項７に記載の医療支援システム。
9. 【請求項９】 サーフェースデータを構成する手段は、 対象のボリュームデータからゼグメンテーション（segm
   entation）によりサーフェースデータを構成するとき、
   上記ボリュームデータの表面を再分割したことを特徴と
   する請求項８に記載の医療支援システム。
10. 【請求項１０】 演算手段はボリュームレンダリングを
    行う手段により生成されるボリュームレンダリング画像
    と、サーフェースレンダリングを行う手段により生成さ
    れるサーフェースレンダリング画像の少なくとも一部を
    半透明にした画像とを重ねて表示する手段とを備えたこ
    とを特徴とする請求項７に記載の医療支援システム。
11. 【請求項１１】 演算手段は臓器の形状を測定したデー
    タから上記臓器の形状の特徴量を算出する手段と、 上記臓器の内面を撮影した画像から上記臓器の色調の特
    徴量を算出する手段と、 臓器の内面の画像をテクスチャ画像として捉え、このテ
    クスチャの特徴量を算出する手段と、 臓器の形状を測定したデータ、上記臓器の内面を撮影し
    た画像、上記形状の特徴量を算出する手段の出力、色調
    の特徴量を算出する手段の出力およびテクスチャの特徴
    量を算出する手段の出力を保存する手段と、 上記形状の特徴量を算出する手段の出力および色調の特
    徴量を算出する手段の出力の変化を解析する手段とを備
    えたことを特徴とする請求項１に記載の医療支援システ
    ム。
12. 【請求項１２】 形状の特徴量を算出する手段は、 臓器の表面の曲率変化、対象の体積、対象の断面面積、
    対象の半径などの形状を算出することを特徴とする請求
    項１１に記載の医療支援システム。
13. 【請求項１３】 色調の特徴量を算出する手段は、 臓器の表面輝度の平均、分散、対象の表面の色分布、色
    湿度を算出することを特徴とする請求項１１に記載の医
    療支援システム。
14. 【請求項１４】 テクスチャの特徴量を算出する手段
    は、 臓器のテクスチャのフラクラル次元または局所高次相関
    を算出することを特徴とする請求項１１に記載の医療支
    援システム。
15. 【請求項１５】 演算手段は、 既存の癌病変の臓器の画像を保存する癌病変画像データ
    ベースを備え、 上記癌病変の臓器の画像に対し特徴量抽出に基づく分類
    処理を行い上記癌病変画像データベースに保存するよう
    に構成したことを特徴とする請求項１１に記載の医療支
    援システム。
16. 【請求項１６】 演算手段は、 診断の対象となる臓器において、診断中領域または診断
    済み領域または未診断領域のいずれであるのかを区分し
    て表示する手段と、 上記臓器内の生検箇所と治療箇所との三次元位置関係を
    表示する手段と、 上記臓器内において病変部の可能性が高い領域をマーキ
    ングする手段とを備えたことを特徴とする請求項１に記
    載の医療支援システム。