JP6812193B2 - 画像表示システム、画像表示方法、及びプログラム - Google Patents

Description

本発明は、画像表示システム、画像表示方法に関する。

医用診断においては診断能の向上を図るために、表示アプリケーションを用いて互い異なる複数の画像を重畳して表示し、重畳画像を診断に利用することが行われている。特許文献１には、光音響画像と超音波画像とを重畳表示することが記載されている。

特開２００５−２１８６８４号公報

ところが、例えば、互いに異なる複数の画像の重畳表示においては、一般的なビューワで重畳画像を表示する際に、操作者による表示アプリケーション上での詳細な表示パラメータの調整が必要である。例えば、診断のたびに操作者が重畳される画像の画像種別に適した表示パラメータの設定をしなければならないため、操作者の手間を要していた。

そこで、本発明は、診断に適した画像を表示するための操作者の手間を軽減することのできる画像表示システムを提供することを目的とする。

本発明に係る画像表示システムは、複数の画像データを取得する第１の取得手段と、複数の画像データに関連づけられたメタ情報の組み合わせを示す情報を取得する第２の取得手段と、メタ情報の組み合わせを示す情報に基づいて、メタ情報の組み合わせに対応する重畳表示態様を決定し、当該重畳表示態様で複数の画像データの重畳画像を表示手段に表示させる表示制御手段と、を有する。

本発明に係る画像表示システムによれば、診断に適した画像を表示するための操作者の手間を軽減することができる。

第１の実施形態に係る画像表示システムの構成を示す模式図 第１の実施形態に係るプローブの模式図 第１の実施形態に係るコンピュータ及びその周辺機器の構成図 第１の実施形態に係るファイル選択ウィンドウを示す図 第１の実施形態に係る表示部の表示画面を示す図 第１の実施形態に係る画像種別の組み合わせと表示画像との関係を示すテーブルを示す図 第１の実施形態に係る画像種別の組み合わせと重畳表示態様との関係を示すテーブルを示す図 第１の実施形態に係る表示部の表示領域の配置例を示す図 実施例５に係る表示部の表示画面を示す図 実施例５に係る表示部の表示画面を示す図 実施例５に係る表示部の表示画面を示す図 実施例６に係る通知メッセージを示す図 実施例７に係る表示部の表示画面の例を示す図 実施例７に係る画像の凡例を示す図 実施例７に係る表示部の表示画面を示す図 実施例７に係る表示部の表示画面を示す図 実施例７に係る表示部の表示画面を示す図 第３の実施形態に係る画像表示システムの構成を示す模式図 実施例９に係る表示部の表示画面を示す図 実施例９に係る表示部の表示画面を示す図 実施例９に係る表示部の表示画面を示す図 実施例９に係る表示部の表示画面を示す図 ＨＩＳ、ＲＩＳ、モダリティ、及びＰＡＣＳの間のデータフローを示す図

本発明は、複数の画像データの重畳画像を表示させるときに、各画像データに関連づけられた画像種別等のメタ情報に基づいて、重畳表示態様を決定することを特徴とする。すなわち、本発明は、複数の画像データに関連づけられたメタ情報の組み合わせに応じて、重畳表示態様を決定することを特徴とする。ここで、画像種別とは、画像データの種類、すなわち画像データに含まれる画像値の意味の違いを示すものである。

例えば、超音波診断装置において画像種別としては、Ｂモード、ドップラー、及びエラストなどが挙げられる。すなわち、１つのモダリティから複数の画像種別の画像データを生成することもできる。

また、光音響診断装置において画像種別としては、初期音圧、光吸収係数、総ヘモグロビン量、酸素飽和度などが挙げられる。本明細書においては、便宜上、光照射による光吸収体の熱膨張によって発生する音響波を光音響波と呼ぶ。また、便宜上、トランスデューサから送信された音響波またはその反射波（エコー）を超音波と呼ぶ。

その他、ＣＴ、ＭＲＩ、及びＰＥＴなどのモダリティで得られる各画像についても、画像種別が割り当てられてもよい。

ところで、医療分野において読影・診断などの用途に広く用いられている医用画像フォーマットと、それらの画像の医用画像機器間の通信プロトコルを定義した標準規格として、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）がある。

ＤＩＣＯＭのデータファイルに関して、その画像ファイルに対応する装置情報や患者ＩＤ、その他画像ファイルに関連した情報を、メタ情報として詳細に保持することができる。例えば、Ｘ線画像や超音波画像など、様々な医療装置画像の情報を保存することが可能である。これにより、異なる医療装置で撮影された情報も、ＤＩＣＯＭという標準規格に従い、一つの画像表示システムで読影・診断することが可能である。

本発明では、ＤＩＣＯＭのデータファイルのタグに画像種別を示す情報を保持することにより、画像種別を示す情報を画像データに関連づけてもよい。また、本発明では、ＤＩＣＯＭのデータファイルのファイル名に画像種別を示す文字列を保持することにより、画像種別を示す情報を画像データに関連づけてもよい。

その他、画像データに関連付けられるメタ情報としては、一般的なＤＩＣＯＭのタグに含まれているＩｎｓｔａｎｃｅ ＣｒｅａｔｉｏｎＤａｔｅ等の撮像時刻に関する情報を含むことができる。また、画像データに関連付けられるメタ情報としては、Ｍｏｄａｌｉｔｙ等の撮像装置に関する情報を含むことができる。また、画像データに関連付けられるメタ情報としては、ＰａｔｉｅｎｔＩＤ（患者ＩＤ）等の被検者・被検体に関する情報を含むことができる。また、画像データに関連付けられるメタ情報としては、画像データに関する画像領域・画像データ単位等の入れ子要素の項目を含むことができる。また、画像データに関連付けられるメタ情報としては、表示画像のカラーマップ、透過率、輝度レンジを示す情報を含むことができる。また、画像データに関連付けられるメタ情報としては、複数の画像種別のＤＩＣＯＭのデータファイル間で重畳可能な画像種別、画像データの重なり順序（重畳順序）、重畳対象の対応するフレーム数を示す情報を含むことができる。その他、画像データに関連するあらゆる情報をメタ情報として関連づけてもよい。

図２３は、典型的な病院内における医療情報のデータフローを示す模式図である。ここで、病院情報システム（ＨＩＳ：Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ）は、自動受付システムや電子カルテシステムなどの病院での情報を扱うシステムである。放射線科システム（ＲＩＳ：Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ）は、医療機器での検査と治療の予約、患者情報、検査情報を管理するシステムである。画像保存通信システム（ＰＡＣＳ：Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）は、モダリティからＤＩＣＯＭファイルを受信し、データベースに保存する。また、ＰＡＣＳは、表示アプリケーションからのリクエストに対して、ＤＩＣＯＭファイルを探索して転送することが可能であるサーバとそのシステムの名称である。この図では矢印で示す情報通信や画像データにおいて、ＤＩＣＯＭの規格を用いる箇所がある。

ここで、ＤＩＣＯＭとは、医用画像フォーマットと、医用画像機器間の通信プロトコルを定義した標準規格の名称である。本明細書において、ＤＩＣＯＭファイルとは、ＤＩＣＯＭのメタ情報と画像データとを合わせたファイルである。ＤＩＣＯＭ画像とは、ＤＩＣＯＭファイルの画像データ部に保持された情報を表す。ＤＩＣＯＭ通信とは、ＤＩＣＯＭの規格にしたがって行われる通信を表すこととする。

ＤＩＣＯＭファイルは、一般的にモダリティで患者を撮像した際に作成される画像ファイルであり、モダリティからＰＡＣＳサーバに送信され、保存される。なお、モダリティにより作成されたＤＩＣＯＭファイルは、ＰＡＣＳサーバに送信されずに直接表示アプリケーションを持つＰＣなどの制御装置のメモリに送信・保存されてもよい。

モダリティは、ＤＩＣＯＭファイルを作成・通信することができる医療機器、または医療機器やＰＣ等に含まれるＤＩＣＯＭファイルを作成可能な画像処理アプリケーションであることが好ましい。ＤＩＣＯＭファイルを作成する医療機器としては、既存のモダリティでもよいし、新規のモダリティでもよい。既存のモダリティとしては、Ｂモード画像やドプラ画像等を作成する超音波診断装置、Ｔ１強調画像やＴ２強調画像等を作成するＭＲＩ（核磁気共鳴画像装置）、Ｘ線診断装置、ＳＰＥＣＴ・ＰＥＴなどが挙げられる。新規のモダリティとしては、レーザーを照射して発生する光音響波を検出して画像化する光音響診断装置などが挙げられる。

モダリティは、ケーブル等を通じてＰＡＣＳサーバやＰＣに接続することができる。モダリティで撮影を行った際に、モダリティ側からＤＩＣＯＭファイルがＰＡＣＳサーバやＰＣに自動的に送信されてもよいし、操作者がモダリティ側で保存するディレクトリを選択することで保存されてもよい。

それらのモダリティにより得られる画像データに関連づけて保存されるメタ情報は、ＤＩＣＯＭファイルのプライベートタグとして保持されていてもよいし、規格として標準化されたものでもよい。

なお、本明細書では、ＤＩＣＯＭにしたがって生成される画像データについて説明するが、生成される画像データはＤＩＣＯＭに限らず、いかなるフォーマットで生成されたものであってもよい。

また、本発明に係る表示制御は、モダリティと一体となった画像表示システムの表示アプリケーションに適用してもよい（後述する第１の実施形態を参照）。また、本発明に係る表示制御は、ＰＡＣＳなどのサーバに保存された画像データを閲覧する表示アプリケーションに適用してもよい（後述する第３の実施形態を参照）。

また、本発明に係る表示制御においては、複数の画像データに関連づけられたメタ情報の組み合わせに基づいて、表示レイアウトを決定してもよい（後述する第２の実施形態を参照）。

なお、本発明に係る表示制御において、２つの画像データを用いた重畳画像を表示するだけでなく、３つ以上の画像データが重畳された重畳画像を表示してもよい。

以下、本発明の実施の形態について、図面を用いて説明する。同一の構成要素には原則として同一の符号を付して、説明を省略する。

［第１の実施形態］
以下、第１の実施形態の画像表示システムの構成の構成及び処理について説明する。

第１の実施形態では、操作者がＤＩＣＯＭ画像のファイル選択画面において、２つのＤＩＣＯＭファイルを選択する形態を説明する。本実施形態では、ＤＩＣＯＭファイルのタグに記載されている情報、例えば画像種別を示す情報に基づいて、選択された２つのＤＩＣＯＭファイルに適した重畳表示態様を決定する。本実施形態では、複数のＤＩＣＯＭファイルの画像種別の組み合わせに応じて、表示カラーマップ（配色）、重なり順序（重畳順序）、透過率、輝度レンジなどの重畳表示態様のうち少なくとも１つを決定する。そして、決定された重畳表示態様で、選択された２つのＤＩＣＯＭファイルの画像を重畳して表示する。

本実施形態に係る表示制御によれば、操作者がＤＩＣＯＭファイルの画像種別に適した重畳表示態様が分からない場合でも、表示アプリケーション側で診断に適した重畳表示態様を設定することができる。また、操作者が画像種別の重畳表示態様を把握している場合であっても、表示アプリケーション側で診断に適した重畳表示がなされるため、適切な重畳画像を表示させるための操作者の手間を軽減することができる。

本実施形態において、モダリティとして光音響診断装置及び超音波診断装置を用いた例を説明する。図１を用いて本実施形態に係る画像表示システムの構成を説明する。図１は、画像表示システム全体の概略ブロック図である。本実施形態に係る画像表示システムは、信号収集部１４０、コンピュータ１５０、表示部１６０、入力部１７０、及びプローブ１８０を有する。信号収集部１４０、プローブ１８０、及びコンピュータ１５０の一部が、ＤＩＣＯＭファイルなどの画像データを生成するモダリティとしての機能を担う。

図２は、本実施形態に係るプローブ１８０の模式図である。プローブ１８０は、光照射部１１０、把持部を含む筺体１２０、及び送受信部１３０を有する。測定対象は、被検体１００である。

光照射部１１０がパルス光１１３を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。送受信部１３０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。また、送受信部１３０は、被検体１００に対する超音波の送信し、送信された超音波のエコー波を受信することによりアナログ信号としての電気信号（超音波信号）を出力する。

信号収集部１４０は、送受信部１３０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号収集部１４０から出力されたデジタル信号を、超音波または光音響波に由来する信号データとして記憶する。

コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、超音波画像または光音響画像を表す画像データを生成する。また、コンピュータ１５０は、得られた画像データに対して画像処理を施した後に、画像データを表示部１６０に出力する。表示部１６０は、超音波画像または光音響画像を表示する。操作者としての医師や技師等は、表示部１６０に表示された超音波画像や光音響画像を確認することにより、診断を行うことができる。表示画像は、操作者やコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどに保存される。

また、コンピュータ１５０は、画像表示システムに含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、操作者が情報を入力できるように構成されている。操作者は、入力部１７０を用いて表示画像の保存指示などの操作を行うことができる。

本実施形態に係る画像表示システムにより得られる光音響画像は、光照射により発生した光音響波に由来するあらゆる画像を含む概念である。光音響画像は、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、光吸収係数、及び被検体を構成する物質の濃度に関する情報などの少なくとも１つの空間分布を表す画像データを含む。物質の濃度に関する情報とは、オキシヘモグロビン濃度、デオキシヘモグロビン濃度、総ヘモグロビン量、または酸素飽和度等である。総ヘモグロビン量とは、オキシヘモグロビンおよびデオキシヘモグロビンの総量のことである。酸素飽和度とは、全ヘモグロビンに対するオキシヘモグロビンの割合のことである。なお、光音響画像は、空間分布を表す画像に限らず、数値や文字を表す画像などであってもよい。例えば、光音響画像は、光音響信号そのもの（ＲＡＷデータ）、被検体を構成する物質の平均的な濃度、空間分布の特定位置の画素値、空間分布の画素値の統計値（平均値や中央値など）などの光音響信号に由来する情報を表すあらゆる画像を含む概念である。例えば、光音響画像として、被検体を構成する物質の平均的な濃度の数値が、表示部１６０に表示されてもよい。

本実施形態に係る画像表示システムにより得られる超音波画像は、Ｂモード画像、ドップラー画像、及びエラストグラフィ画像の少なくとも１つの画像データを含む。超音波画像は、超音波の送受信により得られるあらゆる画像を含む概念である。

以下、本実施形態に係る被検体情報取得装置の各構成の詳細を説明する。

（光照射部１１０）
光照射部１１０は、パルス光１１３を発する光源と、光源から射出されたパルス光１１３を被検体１００へ導く光学系とを含む。なお、パルス光は、いわゆる矩形波、三角波などの光を含む。

光源が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。生体表面近傍の血管を高解像度でイメージングする場合は、好ましくは血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いる。一方、生体の深部をイメージングする場合には、好ましくは生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。

光源としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変換が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源１１１として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源としてマイクロウェーブ源を用いてもよい。

光学系には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体１００とする場合、パルス光のビーム径を広げて照射することが好ましいため、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。

なお、光照射部１１０が光学系を備えずに、光源から直接被検体１００にパルス光１１３を照射してもよい。また、光源などの光照射部１１０の構成を、筺体１２０の外部に設けてもよい。

（送受信部１３０）
送受信部１３０は、音響波を受信することにより電気信号を出力するトランスデューサ１３１と、トランスデューサ１３１を支持する支持体１３２とを含む。また、トランスデューサ１３１は、音響波を送信することもできる。便宜上、図２においてはトランスデューサ１３１を１つしか図示していないが、送受信部１３０は複数のトランスデューサを含むことが好ましい。

トランスデューサ１３１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、受信素子により得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表したものである。

光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１３１として、これらの周波数を検出することのできるものを適宜採用することができる。

支持体１３２は、機械的強度が高い金属材料などから構成されていてもよい。なお、操作者が筺体１２０を把持してプローブ１８０を走査する場合、支持体１３２は、軽量性の観点からプラスチックのようなポリマー材料などを用いることが好ましい。照射光を被検体に多く入射させるために、支持体１３２の被検体１００側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施例において支持体１３２は半球殻形状であり、半球殻上に複数のトランスデューサ１３１を支持できるように構成されている。この場合、支持体１３２に配置されたトランスデューサ１３１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１３１から出力された電気信号群を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１３２はトランスデューサ１３１を支持できる限り、いかなる構成であってもよい。支持体１３２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。

また、支持体１３２は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体１３２をトランスデューサ１３１と被検体１００との間に音響マッチング材を配置するための容器としてもよい。

また、送受信部１３０が、トランスデューサ１３１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、送受信部１３０が、トランスデューサ１３１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、送受信部１３０が後述する信号収集部１４０を備えてもよい。

なお、音響波を様々な角度で検出できるようにするために、理想的には被検体１００を全周囲から囲むようにトランスデューサ１３１を配置することが好ましい。ただし、被検体１００が大きく全周囲を囲むようにトランスデューサを配置できない場合は、図２に示したように半球状の支持体上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。

なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる送受信部１３０を採用することができる。

送受信部１３０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体１００やトランスデューサ１３１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。

なお、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとが、同じトランスデューサで構成されていてもよい。また、超音波を送受信するためのトランスデューサと、光音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送受信するトランスデューサと光音響波を受信するトランスデューサとが、同じトランスデューサで構成されていてもよい。

（信号収集部１４０）
信号収集部１４０は、トランスデューサ１３１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号収集部１４０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップなどで構成されてもよい。信号収集部１４０から出力されるデジタル信号は、コンピュータ１５０内の記憶部１５２に記憶される。信号収集部１４０は、Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号収集部１４０は、光照射部１１０の光射出部に取り付けられた光検出センサと接続されており、パルス光１１３が光照射部１１０から射出されたことをトリガーに、同期して処理を開始してもよい。また、信号収集部１４０は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。

（コンピュータ１５０）
コンピュータ１５０は、演算部１５１、記憶部１５２、制御部１５３を含む。各構成の機能については処理フローの説明の際に説明する。

演算部１５１としての演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部１５１は、入力部１７０から、被検体音速や保持カップの構成などの各種パラメータを受けて、受信信号を処理してもよい。

記憶部１５２は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部１５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部１５２は、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。

記憶部１５２は、後述する方法で演算部１５１により生成される超音波画像や光音響画像を示す画像データを保存することができる。また、記憶部１５２は、本実施形態に係る検査システムとは別のモダリティ装置で得られた画像を保存してもよい。

制御部１５３は、ＣＰＵなどの演算素子で構成される。制御部１５３は、光音響装置の各構成の動作を制御する。制御部１５３は、入力部１７０からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部１５３は、記憶部１５２に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。

コンピュータ１５０は専用に設計されたワークステーションであってもよい。また、コンピュータ１５０の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ１５０の少なくとも一部の構成は単一のハードウェアで構成されてもよい。

図３は、本実施例に係るコンピュータ１５０の具体的な構成例を示す。本実施例に係るコンピュータ１５０は、ＣＰＵ１５４、ＧＰＵ１５５、ＲＡＭ１５６、ＲＯＭ１５７、外部記憶装置１５８から構成される。また、コンピュータ１５０には、表示部１６０としての液晶ディスプレイ１６１、入力部１７０としてのマウス１７１、キーボード１７２が接続されている。

また、コンピュータ１５０および複数のトランスデューサ１３１は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。

（表示部１６０）
表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイである。コンピュータ１５０により得られた被検体情報等に基づく画像や特定位置の数値等を表示する装置である。表示部１６０は、画像や装置を操作するためのＧＵＩを表示してもよい。なお、被検体情報の表示にあたっては、表示部１６０またはコンピュータ１５０において画像処理（輝度値の調整等）を行った上で表示することもできる。

（入力部１７０）
入力部１７０としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０としてもよい。入力部１７０は、ユーザーが後述する保存指示などの指示を行うためのフリーズボタンなどを含みうる。

なお、画像表示システムの各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、画像表示システムの少なくとも一部の構成が一体となった１つの装置として構成されてもよい。

（被検体１００）
被検体１００は画像表示システムを構成するものではないが、以下に説明する。本実施形態に係る画像表示システムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の乳房や頸部、腹部、各臓器、血管網、頭部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、メチレンブルー（ＭＢ）、インドシニアングリーン（ＩＣＧ）などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。

（画像生成フロー）
プローブ１８０は、被検体１００に対して超音波を送受信することにより、超音波信号を出力する。信号収集部１４０は、超音波信号に対してＡＤ変換処理等を行い、処理後の超音波信号をコンピュータ１５０に送信する。デジタル信号としての超音波信号は、記憶部１５２に記憶される。演算部１５１は、超音波信号に対して整相加算（Ｄｅｌａｙ ａｎｄ Ｓｕｍ）等の再構成処理を行うことにより、超音波画像を生成する。なお、超音波画像を生成したところで、記憶部１５２に保存された超音波信号を削除してもよい。 まず、制御部１５３は、プローブ１８０に光照射を示す情報（制御信号）をプローブ１８０に送信する。光照射を示す情報を受け取ったプローブ１８０は、被検体１００に光を照射し、この光照射に起因して発生した光音響波を受信し、光音響信号を出力する。信号収集部１４０は、光音響信号に対してＡＤ変換処理等を行い、処理後の光音響信号をコンピュータ１５０に送信する。デジタル信号としての光音響信号は、記憶部１５２に記憶される。演算部１５１は、光音響信号に対してＵｎｉｖｅｒｓａｌ Ｂａｃｋ−Ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）等の再構成処理を行うことにより、光音響画像を生成する。なお、光音響画像を生成したところで、記憶部１５２に保存された光音響信号を削除してもよい。

（表示制御フロー）
本実施形態では、制御部１５３が、以下説明する表示制御を実行する。すなわち、以下説明する表示アプリケーションの動作は制御部１５３により制御されている。

まず、操作者が入力部１７０を用いて起動指示を行うと、制御部１５３が表示アプリケーションを起動させる。

次に、表示対象となるＤＩＣＯＭファイルの選択画面を表示部１６０に表示する。この選択画面は、表示アプリケーションのモード選択等を行うことで表示することができる。例えば、操作者が表示アプリケーション中のＤＩＣＯＭファイル選択ボタンなどを選択すると、ＵＩ中にＤＩＣＯＭファイル格納ディレクトリが表示される。続けて、操作者はそのＵＩで表示したいＤＩＣＯＭファイルを選択する。制御部１５３がＤＩＣＯＭファイルに関連付けて保存された画像種別等のメタ情報を取得し、重畳に適した画像種別の組み合わせとなるＤＩＣＯＭファイルを認識し、重畳に適したＤＩＣＯＭファイルの組み合わせを識別できるように表示してもよい。図４は、ＤＩＣＯＭファイルの選択画面の例である。操作者が重畳に適した画像種別の組み合わせを識別できるように、図４に示すようにファイル名の周囲に色付きの点線や実線などで囲ってもよいし、点滅などによる強調表示を行ってもよい。符号１０１は、表示アプリケーションにおけるＤＩＣＯＭファイル選択時の選択ウィンドウである。選択ウィンドウ１０１の中に、ＤＩＣＯＭファイルを示す画像データ群のアイコン１０２〜１０７が表示されている。アイコン１０２〜１０５に対応する画像種別のＤＩＣＯＭファイルは、重畳に適した組み合わせのＤＩＣＯＭファイルであり、点線で表現されている。同様にアイコン１０５とアイコン１０６に対応する画像種別のＤＩＣＯＭファイルも重畳に適した組み合わせのため、実線で表現されている。アイコン１０７に対応する画像種別のＤＩＣＯＭファイルは、いずれのファイルとも重畳に適さないため、線による強調表示がなされていない。この例では囲い線によって、そのファイルの重畳の適切度を表現したが、いかなる方法で重畳の適切度を表示してもよい。なお、画像データ群の画像種別を示すアイテムとして、アイコンを用いる例を説明したが、その他のアイテムにより表示してもよい。例えば、画像データ群の画像種別が記されたリストボックスなどのアイテムにより、画像種別を識別できるように表示してもよい。

なお、制御部１５３は、画像データに関連づけられた画像種別の組み合わせによって応じて、重畳の適切度を判別してもよい。制御部１５３は、画像種別の組み合わせと重畳の適切度との関係を示すテーブルを参照し、対象の画像種別の組み合わせが重畳に適切か否かを判別してもよい。また、画像データに、その画像データとの重畳が適切である画像種別を示す情報が関連づけられていてもよい。この場合、制御部１５３は、その情報に基づいて、対象の画像データの組み合わせが重畳に適しているか否かを判別し、その判別結果を表示部１６０などの通知手段に通知してもよい。通知手段は、視覚的な表示の他に、音声などで通知するものであってもよい。

また、制御部１５３は、画像取得の際の同期方法や撮影時刻に応じて画像データを重畳の適切度を判別してもよい。例えば、制御部１５３は、同期方法が同様な画像データや、撮影時刻が時間的に近傍の画像データを重畳に適した組み合わせとして判別してもよい。

また、制御部１５３は、画像データに関連づけられた患者ＩＤに基づいて、重畳の適切度を判別してもよい。患者ＩＤは、医療機器で撮影を行った患者に対して割り当てられるＩＤである。例えば、制御部１５３は、同じ患者ＩＤ同士の画像は重畳に適していると判別し、異なる患者ＩＤ同士の画像は重畳に適していないと判別してもよい。なお、異なる患者ＩＤであったとしても、複数の病院において撮影が行われた等の場合には、同一の患者である可能性がある。その場合は、異なる患者ＩＤであったとしても同一の患者に紐づけられていることで、異なる患者ＩＤの画像データを同一の患者の画像データであるとして重畳に適していると判別してもよい。

次に、操作者が重畳して表示したい複数のＤＩＣＯＭファイルをカーソルで選択する。本実施形態では、図５を用いて、画像データを選択するためのＵＩの例を説明する。図５のおいては、Ｂモード画像と総ヘモグロビン量画像が選択された例で説明する。符号２０６は表示アプリケーションを起動してファイル選択をする際に現れるＤＩＣＯＭファイル選択用のポップアップウィンドウである。符号２０７はＤＩＣＯＭファイル群であり、現在選択されているＢモード画像のＤＩＣＯＭファイルと総ヘモグロビン量画像のＤＩＣＯＭファイルが太線で強調表示されている。符号２０８は画像表示アプリケーションの画像ビューワの画像表示領域である。操作者が入力部１７０を用いて画像データ群２０７から所望のファイルを画像表示領域２０８にドラッグアンドドロップ等することで、ビューワ上で重畳表示が可能となる。符号２０９は、選択したファイル群のドラッグアンドドロップの操作を示した矢印である。その際、複数ファイルが選択されている状態で、ファイルをディスプレイ上のカーソル等で複数ファイルまとめてドラッグアンドドロップすることで画像表示領域２０８に重畳表示させてもよい。また、ファイルを１つずつ画像表示領域２０８にドラッグアンドドロップすることにより重畳表示させてもよい。また、選択されたファイルを右クリック等することにより出現する選択リスト中の、ファイルを読み込むボタンを押下するなどして読み込むファイルを選択してもよい。なお、ドラッグアンドドロップした先が画像表示領域２０８以外の領域である場合にも、画像が選択されたと判断し、選択対象のＤＩＣＯＭファイルの重畳画像を表示してもよい。なお、操作者が重畳表示したい画像データを選択できる限り、その方法はいかなる方法であってもよい。

制御部１５３は、画像表示領域２０８にドロップされたＤＩＣＯＭファイルに関連付けて保存された画像種別等のメタ情報を読み出し、ドロップされたＤＩＣＯＭファイルのメタ情報の組み合わせに基づいて、重畳表示態様の設定を行う。制御部１５３は、メタ情報の組み合わせと重畳表示態様との関係を示す情報（参照情報）を参照して、前述したように選択された複数の画像データのメタ情報の組み合わせに対応する重畳表示態様を設定する。

図６及び図７は、画像種別の組み合わせと重畳表示態様との関係を示す情報としてのテーブルの例である。図６及び図７の一番左の列は、画像種別の組み合わせのバリエーションを示す番号を示す。

図６は、画像種別の組み合わせが各バリエーションのときに、どの表示画像を表示するのかを示すテーブルである。例えば、Ｂモード及び総ヘモグロビン量が選択された場合には、Ｎｏ．１の組み合わせに対応する表示画像１及び表示画像２が表示されることを示している。

図７は、画像種別の組み合わせが各バリエーションのときに表示される表示画像の重畳表示態様を示している。例えば、図７は、Ｎｏ．１の組み合わせのときに、グレイスケールのＢモードを表示画像１として表示部１６０の（１，１）に相当する表示領域に表示することを示している。また、図７は、Ｎｏ．１の組み合わせのときには、Ｂモード（ベース画像）、総ヘモグロビン量の順に重畳された表示画像２も、表示部１６０の（１，２）に対応する表示領域に表示することを示している。さらに、図７は、表示画像２を構成するＢモードをグレイスケールで、総ヘモグロビン量を黄色のカラースケールで表示することを示している。このように、制御部１５３は、画像種別の組み合わせに応じた重畳表示態様を決定することができる。図８は、表示部１６０の表示領域の配置例を示し、例えば、図７に示される表示領域は、図８に示す表示部１６０の表示領域（１，１）〜（２，３）に対応する。

なお、操作者が入力部１７０を用いて、画像種別の組み合わせの各バリエーションに対応する重畳表示態様のパラメータを変更できるように構成されていてもよい。

また、制御部１５３は、選択されたＤＩＣＯＭファイルが重畳に適している否かを上述した方法で判別し、通知手段を用いて操作者に通知させてもよい。

また、図７に示すテーブルに記載されていない表示パラメータについては、画像データに関連づけられたメタ情報に基づいて設定されてもよい。例えば、図７には、透過率や輝度レンジなどが記載されていないため、これらの表示パラメータについては、画像データに関連づけられた透過率や輝度レンジなどの情報を基に設定されてもよい。

透過率は、画像を重畳する際に、重畳する画像データの一つ以上において、表示するカラーマップの色を透過して設定される割合の値である。本実施形態における表示に関しては、Ｂモード画像を透過率０％で表示し、その上に総ヘモグロビン量画像の透過率を適宜設定して重畳している。すなわち、少なくとも前面に配置される画像の透過率を適宜設定し、重畳している。

仮に総ヘモグロビン量画像Ｈが２次元画像である場合に、Ｈ（ｉ，ｊ）のピクセルでの透過率Ｔ（ｉ，ｊ）（％）は、式１に従って計算を行う。

ここで、ｍｉｎＨはＨ（ｉ，ｊ）の最小値、ｍａｘＨはＨ（ｉ，ｊ）の最大値で、式１の右辺第２項は、Ｈ（ｉ，ｊ）の強度を１００に正規化している。その値を１００から減算することで透過率が算出できる。つまり、Ｈ（ｉ，ｊ）で強度が最も高いピクセルでは、Ｔ（ｉ，ｊ）が０％となり、総ヘモグロビン量の値に対応するカラーマップ中の色で表示される。さらに、ここでは透過率をヘモグロビン量の最大値と最小値を用いて正規化しているが、画像全体でピクセル値が最大値を持つ場合は透過率０％となってしまい、重畳相手の画像が見えなくなる。よって、必ずしも透過率を０％から１００％の範囲で計算する必要は無く、最小透過率２０％〜最大透過率１００％になるように透過率を計算するなどして、重畳相手が透過して見えるようにしてもよい。

制御部１５３が、画像データに関連付けられた透過率を示す数式を読み出し、当該数式に基づいて演算して各ピクセル・ボクセルに対して透過率を算出してもよい。また、制御部１５３は、画像データに関連付けられた全ピクセル・ボクセルの透過率の情報を読み出してもよい。

輝度レンジは、画像データの強度の最大値と最小値である。この輝度レンジをもとに、表示における画像強度に対する表示カラーや透過率、ウィンドウレベル等を設定する。

撮影時刻は、画像が撮影された時刻である。複数の種別で、複数の撮影時刻で撮影されたＤＩＣＯＭファイルがある。その場合は、それぞれの時刻、もしくはほぼ同じ撮影時刻で撮影されたＤＩＣＯＭ画像同士を重畳して比較を行いたいこともある。その場合は、タグに、重畳して表示するための、重畳相手として対応する撮影時刻のＤＩＣＯＭの情報（名称・ＵＩＤなど）を記載しておくことで、複数の撮影時刻のＤＩＣＯＭ画像を、それぞれの時刻ごとに重畳して表示することが可能となる。

スライス数は、ＤＩＣＯＭファイルの持つスライス数であり、ＤＩＣＯＭファイルには１つのフレームを持つシングルフレームと、複数のスライス数を持つマルチフレームのＤＩＣＯＭファイルがある。スライス間隔は、複数のスライスの配置されている間隔である。２つのマルチフレームのＤＩＣＯＭを重畳して表示することを考えた際、それぞれのスライスの間隔が等しく、スライス数も等しい場合であれば、対応する全てのスライス同士を重畳して表示することができる。しかし、スライス数もスライス間隔も異なるＤＩＣＯＭファイルを重畳することを考えた場合には、片方のＤＩＣＯＭファイルのそれぞれのスライス全てに対して、もう片方のＤＩＣＯＭファイルの異なるスライスを割り当てることはできない。上記の場合には、重畳表示したい片方のＤＩＣＯＭ画像のスライスの座標（スライスが増える方向軸におけるスライス位置）に対して、最近傍の座標にあるもう片方のＤＩＣＯＭ画像のスライスを割り当てて表示してもよい。その他、重畳表示したい片方のＤＩＣＯＭ画像のスライスの座標に対して、近傍の座標に位置するもう片方のＤＩＣＯＭ画像の複数のスライスから、座標位置に従って補間することで、対応するスライスを作成してもよい。その際、補間して得られるスライスのある位置での画像のピクセル強度は、空間的に近傍にある少なくとも１枚以上の他のスライスの、同じ位置での画像のピクセル強度を用いて求めてもよい。

同様に、複数のマルチフレームのＤＩＣＯＭ画像を、複数の画像表示領域に表示し、ビューワで各スライスを一枚ずつ同期して表示していく際、最小のスライス幅のスライスに合わせて、そのスライス幅で同期表示するのが望ましい。その際、一つのＤＩＣＯＭ画像で表示しているスライスと、その他のＤＩＣＯＭ画像のスライスの位置が合わない場合は、再近傍にあるスライスを表示する等に処理を行ってもよいし、近傍にあるスライスから補間で求めても良い。

シングルフレーム、マルチフレームに限らず、ＤＩＣＯＭの画像データ部分以外のメタ情報に含まれているデータを使用して、一つのＤＩＣＯＭファイルで重畳画像を作成してもよい。例えば、ＤＩＣＯＭの画像データ部には酸素飽和度画像が保持されており、酸素飽和度画像の各ピクセル・ボクセルに対応する総ヘモグロビン量データがタグに保持されている場合、ＤＩＣＯＭファイルを複数用意せずとも、画像の重畳が可能である。この場合も、タグに保持された画像データの画像種別（この場合は、総ヘモグロビン量）を示す情報を関連付けて保存しておくことが好ましい。また、例えば、ＤＩＣＯＭファイルの画像データ部にＤＩＣＯＭの画像データ部には酸素飽和度画像が保持されており、各ピクセルまたはボクセルに対して１または０を対応付けたマスク画像がタグに保持されていてもよい。この場合、タグからマスク画像を読み出し、マスク画像を用いて画像データ部に保持された酸素飽和度画像をマスクした後に表示してもよい。

さらに、画像種別の異なるマルチフレームのＤＩＣＯＭ画像を同期、もしくは重畳して表示する際、重畳する２つのＤＩＣＯＭ画像の状態を、できる限り揃えてから表示を行ってもよい。つまり、向きや大きさが異なる状態で保持されている画像同士を同期・重畳表示する際、少なくとも一方の画像の向きや大きさを３次元的に変換し、変形位置合わせを行った後に重畳して表示してもよい。その場合には、重畳画像に変形条件を関連付けて保持してもよい。

また、制御部１５３は、複数のＤＩＣＯＭファイルとそのメタ情報を読み込み、当該メタ情報の組み合わせに応じて表示部１６０上でのレイアウトを設定してもよい。なお、メタ情報の組み合わせに応じて表示可能なレイアウトを、表示アプリケーションによるポップアップウィンドウ等で提示することで、その中から操作者がレイアウトを選択してもよい。

また、制御部１５３は、選択されたＤＩＣＯＭ画像を重畳しなくてもよい。操作者によって選択されたレイアウトのそれぞれの画面に、操作者がＤＩＣＯＭファイルをドラッグアンドドロップした結果、いずれの画面においても重畳画像が作成されていなくてもよい。さらに、複数のファイルを両方とも選択された状態にして、それらすべてを同時に特定の表示領域にドラッグアンドドロップしてもよいし、選択したファイルを１つずつ特定の表示領域にドラッグアンドドロップしてもよい。また、異なる３つの画像を重畳して表示してもよい。

また、制御部１５３は、メタ情報に基づいて、撮影時刻・タイミングの一致するＤＩＣＯＭ画像同士を自動で重畳してもよい。また、制御部１５３は、メタ情報に基づいて、１つの種別で撮影時刻の異なる複数のＤＩＣＯＭ画像と、他の種別で撮影時間の異なる複数のＤＩＣＯＭ画像とを重畳して表示したりしてもよい。このとき、撮像対象が同じ位置もしくは近傍の位置で撮影された画像同士や、時間的に同じタイミングもしくは近傍のタイミングに得られた画像同士を重畳して表示してもよい。また、制御部１５３は、撮影時刻の異なる複数の重畳画像を１画面で時間順に順々に更新して表示させてもよいし、複数の画面で時間経過がわかるように並べて表示させてもよい。

また、制御部１５３は、初期状態として設定されている重畳表示態様を、操作者が入力部１７０を用いて変更してもよい。

なお、画像種別の組み合わせに対応する重畳表示態様が用意されていない表示パラメータに関しては、画像データに関連付けて保存された画像種別以外のメタ情報に基づいて決定されてもよい。例えば、画像種別の組み合わせに対応する配色や重なり順序が用意されていない場合、制御部１５３は、画像データのタグに記載された配色や重なり順序を示す情報に基づいて、配色や重畳順序を決定してもよい。

また、各画像種別に対応する表示態様をテーブルとして用意し、各画像種別に対応する表示態様で画像データを重畳することにより、画像種別の組み合わせに対応する重畳表示態様で重畳画像を表示されてもよい。例えば、画像種別がドプラ画像の場合、プローブに近づいてくる血流を赤色、プローブから遠ざかる血流を青色に表示する表示態様とし、画像種別がＢモード画像であればグレイスケールの表示態様として重畳表示させてもよい。ただし、このように重畳表示態様の設定する場合、重畳画像に不都合が生じる場合がある。例えば、各画像種別で推奨されるカラーマップにて重畳しようとしたときに、類似する系統の色を含んでいる場合、画像を区別することが困難となり、診断を妨げてしまう可能性がある。その場合は、どちらか片方に許容カラーマップを記載するタグがあるかを調べ、いずれかの許容カラーマップに識別しやすいカラーマップがある場合は、その許容カラーマップを用いてもよい。例えば、重畳する片方の画像種別に対応するカラーマップが赤〜緑〜青のＤＩＣＯＭ画像に対して、もう片方の画像種別に対応するカラーマップが青〜白〜赤であったりする場合を考える。この場合に、いずれかの許容カラーマップにグレイスケールがある場合は、片方のカラーマップをグレイスケールとして表示すればよい。また、双方のＤＩＣＯＭ画像の画像種別に対応するカラーマップがともにグレイスケールである場合、片方の許容カラーマップに白黒以外の色が表示されている場合は、そのカラーマップで表示すればよい。なお、これらの表示を行うために、各種モダリティは、画像データに許容カラーマップを示すメタ情報を関連付けて保存してもよい。

また、片方のＤＩＣＯＭ画像が赤〜緑〜青のカラーマップで、もう片方のＤＩＣＯＭ画像が青〜白〜赤のカラーマップである場合には、片方のカラーマップを白黒に変換したり、両方のカラーマップをより見やすいカラーマップに変換して表示したりしてもよい。また、一般的に用いられているカラーマップが無い画像種別については、特定のカラーマップ無しとしてタグに記載してもよい。また、その場合は表示アプリケーション側で、重畳する対象のカラーマップに対して読影に混乱をきたさないカラーマップに適切に設定すればよい。表示される画像の色は、１色であってもよいし、画像強度に対して色が変化するようなカラーマップでもよい。画像データのタグに数式などの画像値に対する関係性を記載し、制御部１５３が当該数式を基に演算してカラーマップを作成してもよい。

なお、画像表示領域に画像を重畳表示した場合、そのまま表示するだけでは表示している画像種別や詳細が判別しづらい場合がある。そのため、画像表示領域の近傍に、表示画像の詳細を凡例として表示してもよい。また、表示画像を右クリックしたり、表示画像を選択した状態で情報表示ボタン等を選択したりすることで、ポップアップウィンドウが立ち上がり、選択された画像の詳細が表示されてもよい。

本実施形態の表示方法によれば、診断に適した画像を表示させるために操作者が表示パラメータを設定する手間を軽減することができる。

以下、より具体的な実施例について説明する。本実施例では、光音響診断装置から出力された総ヘモグロビン量画像と超音波診断装置から出力されたＢモード画像を、表示用アプリケーションにより表示部に表示する。その際、Ｂモード画像は強度が０〜２５５のグレイスケールで、総ヘモグロビン量は黄色を用いたカラーマップで、超音波のＢモード画像上に総ヘモグロビン量画像を重畳するよう表示される。

本実施例では、まず、操作者がＰＣの表示用アプリケーションを起動して画像ビューワを立ち上げ、表示アプリケーションのＤＩＣＯＭファイル選択ボタンを押下する。操作者がＤＩＣＯＭファイル選択ボタンを押下すると、ポップアップウィンドウとして選択画面が現れ、操作者が表示させたいＤＩＣＯＭファイルを選択する。本実施例では、操作者が総ヘモグロビン量のＤＩＣＯＭファイルとＢモード画像のＤＩＣＯＭファイルを選択し、ドラッグアンドドロップでビューワ上にドロップする。制御部１５３は、２つのＤＩＣＯＭファイルがドロップされると、各ＤＩＣＯＭファイルのタグに記載されている画像種別を示す情報を読み出す。制御部１５３は、読みだされた画像種別の組み合わせに対応する読影・診断に適したカラーマップ、強度、透過率、重畳対象の種別名の情報を取得する。そして、制御部１５３は、その画像種別に対応する読影・診断に適したカラーマップ、強度、透過率、重畳対象の種別名の情報等の重畳表示に必要な情報を設定して、重畳表示する。

本実施例では、表示アプリケーションは、第１層（奥側）にベース画像としてのＢモード画像を０−２５５の強度のグレイスケールで設定し、第２層（手前側）に総ヘモグロビン量画像を黄色のカラーマップで設定する。表示アプリケーションは、第２層の総ヘモグロビン量画像に画像種別の組み合わせに応じた透過率を設定し、第１層のＢモード画像の上に重畳して表示する。総ヘモグロビン量が小さい場合は透過度を高く、総ヘモグロビン量が大きい場合は透過度を低くすることで、血液が多く、総ヘモグロビン量が大きい箇所がより高強度の黄色で表示されるようになっている。

これにより、操作者が表示用アプリケーションにおいて、表示したい複数のＤＩＣＯＭファイルを選択すると、それらのタグに記載されている情報に基づいて、読影・診断に適した条件で表示させることができる。

本実施例では、光音響診断装置から出力された酸素飽和度画像、超音波診断装置から出力されたＢモード画像が、表示部に表示される。その際、Ｂモード画像は強度が０〜２５５のグレイスケールで、酸素飽和度画像は青色〜赤色のカラーマップで、Ｂモード画像上に酸素飽和度画像を重畳するよう表示される。

本実施例では、まず、操作者がＰＣの表示用アプリケーションを起動し、表示アプリケーションのＤＩＣＯＭファイル選択ボタンを押下する。ＤＩＣＯＭファイル選択ボタンを押下すると、ポップアップウィンドウとして選択画面が現れ、表示したいＤＩＣＯＭ画像が選択できるようになっている。本実施例では、酸素飽和度のＤＩＣＯＭファイルとＢモード画像のＤＩＣＯＭファイルを選択する。制御部１５３は、２つのＤＩＣＯＭファイルが選択されると、各ＤＩＣＯＭファイルのタグに記載されている画像種別を示す情報を読み出す。制御部１５３は、その画像種別の組み合わせに対応する読影・診断に適したカラーマップ、強度、透過率、重畳対象の種別名の情報を取得する。そして、制御部１５３は、その画像種別の組み合わせに対応する読影・診断に適したカラーマップ、強度、透過率、重畳対象の種別名の情報等、表示に必要な情報を設定して表示する。

本実施例では、第１層にＢモード画像を０−２５５の強度のグレイスケールで設定し、第２層に酸素飽和度画像を酸素飽和度が１００％を赤色〜酸素飽和度が０％を青色のカラーマップで設定する。その際、酸素飽和度のＤＩＣＯＭファイルの一つのタグには、画像の各ピクセルに対して、酸素飽和度算出時に使用した吸収係数の情報から吸収係数分布の最大値を元に吸収係数を正規化して得られた重みが記載されている。第２層の酸素飽和度画像に対して設定する透過率には、吸収係数を正規化して得られた重みを用いて、第１層のＢモード画像の上に赤色〜青色のカラーマップで重畳して表示する。

この場合、透過率は、正規化された吸収係数値の重みが小さい場合は大きく、正規化された吸収係数値の重みが大きい場合は小さくすることで、血液が多く吸収係数が大きい箇所がより高強度で表示されるようになっている。

また、各ボクセルに対する吸収係数値の重みはタグに記載されており、制御部１３がタグから透過率の分布として読み込んでもよい。

これにより、操作者が表示用アプリケーションにおいて、表示したい酸素飽和度値とＢモード画像のＤＩＣＯＭファイルを選択すると、それらのタグに記載されている情報から、読影・診断に適した条件で表示する技術を提供することができる。

本実施例では、透過率に用いる重みがタグに記載されていた。しかし、その手法以外でも、吸収係数のＤＩＣＯＭファイルと酸素飽和度のＤＩＣＯＭファイル、ＢモードのＤＩＣＯＭファイルを一度に読み込んでもよい。そして、ＤＩＣＯＭファイルの画像種別の組み合わせを示す情報を基に、表示アプリケーション側でその吸収係数のＤＩＣＯＭファイルから透過率のための正規化された重み分布を算出する。そして、表示アプリケーション側でその重み分布で重みづけされた酸素飽和度画像をＢモード画像に重畳してもよい。その際、正規化するための最大値は画像中の最大輝度値でもよいし、事前に入力された値でもよいし、操作者がＵＩ上で設定した値でもよい。

本実施例では、光音響診断装置から出力された酸素飽和度画像及び総ヘモグロビン量画像のＤＩＣＯＭ画像を、各画像種別に対応する表示態様で重畳して表示する。なお、各ＤＩＣＯＭファイルの画像種別に対応するカラーマップが、いずれもグレイスケールではない場合を説明する。

本実施例では、まず、操作者がＰＣの表示用アプリケーションを起動し、表示用アプリケーションのＤＩＣＯＭファイル選択ボタンを押下する。ＤＩＣＯＭファイル選択ボタンを押下すると、ポップアップウィンドウとして選択画面が現れ、表示したいＤＩＣＯＭファイルが選択できるようになっている。本実施例では、操作者が酸素飽和度画像と総ヘモグロビン量画像を選択し、ドラッグアンドドロップで１画面のビューワ上にドロップする。制御部１５３は、２つのＤＩＣＯＭファイルがドロップされると、タグに記載されている画像種別を示す情報を読み出す。制御部１５３は、その画像種別に対応する読影・診断に適したカラーマップ、強度、透過率、重畳対象の種別名の情報を取得する。そして、制御部１５３は、その画像種別に対応する読影・診断に適したカラーマップ、強度、透過率、重畳対象の種別名の情報等、表示に必要な情報を設定して表示する。

本実施例の場合、双方のＤＩＣＯＭファイルから読み込んだ画像種別に対応するカラーマップが、酸素飽和度は赤〜青、総ヘモグロビン量は黄色となっており、そのまま重畳するとそれぞれの画像を区別しにくくなってしまう。その場合は、制御部１５３がそれぞれのＤＩＣＯＭファイルの許容されるカラーマップタグを読み込み、重畳した際に適切なカラーマップになるか判断を行う。この例では、酸素飽和度画像は許容カラーマップの記載が無いが、総ヘモグロビン量画像には許容カラーマップとしてグレイスケールが設定されているため、総ヘモグロビン量画像をグレイスケールで表示することで両画像を区別して重畳表示することができる。しかし、色が重なることで重畳部分がより明確になる場合には、必ずしもカラーマップを変更する必要はない。

これにより、各画像データの画像種別に対応するカラーマップを用いた重畳表示では各画像を区別することが困難である場合に、画像種別以外のタグに記載されている情報に基づいて読影・診断に適したカラーマップを設定することができる。

［第２の実施形態］
以下、第２の実施形態の画像表示システムの構成の構成及び処理について説明する。本実施形態の画像表示システムは、第１の実施形態の画像表示システムとほぼ同様の装置構成であるため、各構成の詳細説明は省略する。以下では、第１の実施形態とは異なる部分を中心に説明する。

本実施形態の制御部１５３は、操作者がＤＩＣＯＭファイルを選択する前に、もしくはファイル選択画面で複数のＤＩＣＯＭファイルを選択した際、自動または操作者が選択する形で画面のレイアウトを設定することができる。画面のレイアウトとは、画像を表示する領域の数と配置方法を決定するものである。

操作者が画面のレイアウトを設定し、設定されたレイアウトにしたがって画像を配置する方法を、図９と図１０を用いて説明する。図９はレイアウトの選択方法を説明する図である。符号３０１はレイアウト選択画面、符号３０２はそれぞれの画面数に対応した画像表示領域である。符号３０３は４画面以上になる場合のレイアウト選択ボタン、符号３０４は画像表示領域の並べ方を画面に向かって縦方向に並べるか横方向に並べるかを選択できるボタンである。図９において、画像表示領域は横方向に並べられている。図１０は画像配置方法を説明する図である。符号３０６はビューワ中の画像表示領域である。符号３０７は表示アプリケーションのファイル選択ウィンドウであり、符号３０８は互いに異なる複数のＤＩＣＯＭファイルを示すアイコンである。ファイル選択ウィンドウ３０７には、操作者がこれらのアイコン３０８から任意のファイルを選択できるように、アイコン３０８は並べられている。符号３０９の矢印は、操作者による、アイコン３０８の中から所望のＤＩＣＯＭファイルを表示したい画像表示領域にドラッグアンドドロップする操作を示す。画像表示領域３０６は３ヶ所（左・中・右）あり、左の画像表示領域にはＢモード画像が、中の画像表示領域にはＢモード画像及び総ヘモグロビン量画像が、右の画像表示領域にはＢモード画像及び酸素飽和度画像がドラッグアンドドロップされている。ここで、中と右の画像表示領域には、複数のＤＩＣＯＭファイルがドロップされており、それらのＤＩＣＯＭファイルに対応する画像が重畳されることを想定している。

この図では、ＤＩＣＯＭファイルをそれぞれの画像表示領域にドラッグアンドドロップすることで、操作者がどのファイルを重畳して表示するかを選択している。なお、レイアウトを選択した後、各画像表示領域をクリックすることで、それぞれの画像表示領域に対して符号３０７のファイル選択画面が立ち上がり、表示する画像を選択してもよい。

また、操作者が複数のＤＩＣＯＭファイルを１つの画像表示領域にドラッグアンドドロップした結果、それぞれのタグに重畳可能対象と書かれていない場合や、双方の画像種別に対応するカラーマップが画像の区別を困難にさせるものである場合がある。また、３つ以上のＤＩＣＯＭファイルを１つの画像表示領域にドラッグアンドドロップする場合などもある。これらの場合には、ポップアップウィンドウ等で操作者に重畳ができない旨の通知を行うことや別のＤＩＣＯＭファイルを選択されるための選択ウィンドウ等を出してもよい。

本実施形態によれば、操作者が画面レイアウトを選択し、重畳したい画像を選択してドラッグアンドドロップすることで、画像データのメタ情報を基に、表示アプリケーション側で適切な重畳表示することが可能となる。

以下、より具体的な実施例について説明する。本実施例では、３つ以上のＤＩＣＯＭファイルを選択した際に、操作者がレイアウトを選択することなく、表示アプリケーション側で表示レイアウトを設定して表示される。

本実施例では、まず、操作者がＰＣの表示用アプリケーションを起動して画像ビューワを立ち上げ、表示アプリケーションのＤＩＣＯＭファイル選択ボタンを押下する。操作者がＤＩＣＯＭファイル選択ボタンを押下すると、ポップアップウィンドウとして選択画面が現れ、表示したいＤＩＣＯＭ画像が選択できるようになっている。本実施例では、ファイル選択画面上で、酸素飽和度のＤＩＣＯＭファイル、総ヘモグロビン量のＤＩＣＯＭファイル、及びＢモードのＤＩＣＯＭファイルの３つを選択する。

表示用アプリケーションは、各ＤＩＣＯＭファイルの画像種別を示す情報を読み出し、選択されたＤＩＣＯＭファイルの画像種別の組み合わせに対応する表示態様を、例えば図６及び図７に示すテーブルから読み出す。本実施例の場合、Ｎｏ．２の画像種別の組み合わせに該当するため、表示画像３、表示画像４、及び表示画像５をディスプレイに表示する。

また、画像種別以外のメタ情報の組み合わせに基づいて、３つ以上の画像データの表示態様を決定してもよい。例えば、本実施例において、Ｂモード画像には、重畳対象として、タグに酸素飽和度画像と総ヘモグロビン量画像が記載されていてもよい。一方、酸素飽和度画像には重畳可能対象としてＢモード画像のみが、総ヘモグロビン量画像には重畳対象としてＢモード画像のみが記載されていてもよい。制御部１５３は、３つのファイルのメタ情報を読み込むことで、それぞれのファイルの重畳対象を判断する。この例で重畳可能なのは、酸素飽和度画像とＢモード画像の組み合わせと、総ヘモグロビン量画像とＢモード画像の組み合わせである。画像レイアウトとして２画面の画像表示領域を設定し、それぞれのＤＩＣＯＭファイルのメタ情報から詳細を読み込み、その情報にしたがって画像表示領域にそれらの組み合わせを表示することができる。

本実施例によれば、操作者が表示させたい３つの画像データを選択すると、表示アプリケーション側で自動でレイアウトと重畳の組み合わせを判断し、重畳画像を読影・診断に適した条件で表示させることができる。

本実施例では、操作者が画像表示のレイアウトを選択し、選択されたレイアウト中のそれぞれの画像表示領域に対して、操作者が表示したいＤＩＣＯＭファイルを選択する。そして、表示アプリケーション側で選択されたＤＩＣＯＭファイルを読み込み、読み込んだ詳細なメタ情報を基に表示を行う。

本実施例では、まず、操作者がＰＣの表示アプリケーションを起動して画像ビューワを立ち上げる。操作者が表示アプリケーションのＤＩＣＯＭファイル選択ボタンを押下すると、ポップアップウィンドウでレイアウト選択画面が立ち上がる。操作者はレイアウト選択画面から所望のレイアウトを選択する。その後ファイル選択画面が立ち上がり、操作者が選択したレイアウトのそれぞれの画像表示領域に、表示したいＤＩＣＯＭファイルをドラッグアンドドロップする。

本実施例では、図９、図１０に示したように、操作者がレイアウト選択画面で３つの画像表示領域を含むレイアウトを選択し、それぞれの画像表示領域に画像を表示させたいＤＩＣＯＭファイルをドラッグアンドドロップしていく。この例でも、図９のように、左の画像表示領域にはＢモード画像を、中の画像表示領域にはＢモード画像と総ヘモグロビン量画像を、右の画像表示領域にはＢモード画像と酸素飽和度画像をドラッグアンドドロップする。

制御部１５３は、３つのファイルのメタ情報を読み込むことで、それぞれのＤＩＣＯＭ画像の表示に適した条件で画像を表示する。

本実施例によれば、操作者が表示アプリケーションにおいて、表示したいレイアウトを選択し、それぞれの画像表示領域に表示させたい画像を選択することで、画像を読影・診断に適した条件で表示させることができる。

本実施例では、操作者はまず始めにレイアウト選択を行ったが、表示したいＤＩＣＯＭファイルを選択した後、レイアウト選択画面が表示されてもよいし、その順序はいずれの方法でもよい。

また、操作者がレイアウト選択のためにレイアウト選択ボタン等を押すたびにレイアウトが変更される例を説明したが、それ以外の方法でレイアウトを決定してもよい。例えば、図１１のようにビューワ上の一部にレイアウトを選択可能なレイアウトバーを表示し、その中の各レイアウトボタンを選択することで設定してもよい。符号３１０はレイアウトバーであり、表示されているレイアウト以外のその他レイアウトを選択するためのボタンも付いている。

本実施例では、操作者が画像表示のレイアウトを選択し、選択されたレイアウト中のそれぞれの画像表示領域に対して、操作者が表示したいＤＩＣＯＭファイルを選択する。このときに、各画像をメタ情報に対応するカラーマップで重畳するときに、カラーマップが類似するなどの理由から各画像を区別することが困難な場合には、表示アプリケーション側で操作者にその旨の通知を行い、その後に別の画像を選択することができる。

本実施例では、まず、操作者がＰＣの表示アプリケーションを起動して画像ビューワを立ち上げる。操作者が表示アプリケーションのレイアウト選択ボタンを押下すると、ポップアップウィンドウでレイアウト選択画面が立ち上がり、操作者がレイアウトを選択する。その後ファイル選択画面が立ち上がり、操作者が選択したレイアウトのそれぞれの画像表示領域に、表示させたいＤＩＣＯＭファイルをドラッグアンドドロップする。

本実施例では、図９、図１０に示したように、レイアウト選択画面で、３つの画像表示領域のレイアウトを選択し、操作者がそれぞれの画像表示領域に、画像を表示させたいＤＩＣＯＭファイルをドラッグアンドドロップしていく。この例では、左の画像表示領域にはＢモード画像を、中の画像表示領域にはＢモード画像と総ヘモグロビン量画像を、右の画像表示領域には総ヘモグロビン量画像と酸素飽和度画像をドラッグアンドドロップする。

制御部１５３は、３つのファイルのメタ情報を読み込むことで、それぞれのＤＩＣＯＭ画像の表示に適した条件で表示態様を設定する。右の画像表示領域に二つのファイルがドラッグアンドドロップされた際に、それらのファイルのメタ情報に基づいて、各画像のカラーマップを設定する。このとき、各画像ファイルのメタ情報に対応するカラーマップ同士が、各画像を区別できないカラーマップであると判断した場合、図１２のようにポップアップウィンドウを立ち上げ、操作者にその旨を通知する。また、後述するように、両画像を区別できる許容カラーマップが存在する場合、重畳する場合には許容カラーマップで表示される旨（この場合は、総ヘモグロビン量がグレイスケールで表示される旨）を通知することができる。

この例では、酸素飽和度画像のメタ情報に対応するカラーマップが青〜赤であり、タグには許容カラーマップが記載されていない。一方、総ヘモグロビン量画像のメタ情報に対応するカラーマップが黄色であり、タグには許容カラーマップとしてグレイスケールが記載されている。この場合、総ヘモグロビン量画像のカラーマップをグレイスケールに変更することで、両画像を区別できる重畳画像を表示することができる。そこで、表示アプリケーションは、総ヘモグロビン量画像のカラーマップをグレイスケールに設定し、２画面の重畳を行う。

なお、選択された画像の組が重畳に不適切であることを通知した際に、ポップアップウィンドウ上に、重畳するか否かを表示することや、カラーマップ等の表示態様を設定可能なＧＵＩを表示してもよい。

本実施例では、撮影時刻が異なり、かつ、画像種別の異なる複数のＤＩＣＯＭファイルを選択した際に、表示アプリケーション側で画像の時間的な対応を判断し、時間的に近傍の撮影時刻に対応する画像同士を重畳して表示する。

本実施例では、まず、操作者がＰＣの表示アプリケーションを起動して画像ビューワを立ち上げる。操作者が表示アプリケーションのレイアウト選択ボタンを押下すると、ポップアップウィンドウでレイアウト選択画面が立ち上がり、操作者が１つの画像表示領域のレイアウトを選択する。その後ファイル選択画面が立ち上がり、操作者が表示させたいＤＩＣＯＭファイルを選択する。

図１３は、ファイル選択画面とビューワの画像表示領域である。符号４０１はファイル選択画面である。この中には、撮影時刻の異なるＢモード画像が３つと、撮影時刻の異なる光音響診断装置による酸素飽和度画像が３つ、１つのＣＴ画像のＤＩＣＯＭファイルが含まれている。ここで、選択中のＢモード画像と酸素飽和度画像が、太線で強調されている。それぞれのＤＩＣＯＭファイルに書かれている数字はファイルに関連付けられたメタ情報としての撮影時刻（年月日時分秒）を表す。制御部１５３は撮影時刻を示すメタ情報を基に重畳対象を判断することができる。符号４０２はビューワの画像表示領域である。符号４０３ＡはＢモード画像中の腫瘍を表し、符号４０３Ｂは酸素飽和度画像中の血管を表す。符号４０４は画像を示す凡例である。符号４０４の凡例は、図１４に詳細が示されている。

ここで、画像を重畳する際に、重畳する対象のＤＩＣＯＭファイルの撮影時刻は完全に一致する必要はなく、時間的に近傍の撮影時刻の画像同士を重畳すればよい。重畳対象となる画像種別については、ＤＩＣＯＭファイルのメタ情報を基に制御部１５３が判断してもよい。図１３では、撮影時刻を示す数字が最も小さいＢモード画像と、撮影時刻を示す数字が最も小さい酸素飽和度画像との重畳画像を示している。ここで、撮影時刻を示す数字が最も小さいＢモード画像は、ファイル選択画面４０１の１番上に配置されたＢモード画像を表す。また、撮影時刻を示す数字が最も小さい酸素飽和度画像は、ファイル選択画面４０１の上から４番目の酸素飽和度画像を表す。図１３に示す例では、ある撮影タイミングに対応する重畳画像が１つの画像表示領域に重畳され、マウスのクリックやホイール等の操作に応じて異なる撮影タイミングに対応する重畳画像に切り替わる。ここでは、撮影タイミングをもとに重畳対象の画像を判定したが、装置に対する座標位置や臓器に対する座標位置など、座標位置等から重畳対象の画像を判定してもよい。

図１５は、撮影時刻が時間的に近傍の画像同士の重畳画像を並列に表示されるモードである。符号４０４は凡例であり、符号４０５は互いに異なる複数の撮影タイミングに対応する重畳画像（撮影時刻が時間的に近傍の画像同士の重畳画像）である。対象の画像を選択してアクティブにした状態で右クリックしたり、アプリケーション上の情報表示ボタンを選択したりすることで、ポップアップウィンドウの形で凡例が提示されてもよい。この図では３つの重畳画像が表示されているが、重畳画像の組数分表示してもよいし、操作者が画像を視認できるレベルの大きさでビューワに表示する表示数を決めてもよい。また、ビューワに３つの画像が表示する状態で、クリックやホイール等の操作を行うことにより、３つの表示数のまま、撮影時刻順に並んだ重畳画像を右から左に流れていくように画像送りを行ってもよい。これにより表示数以上の重畳画像を表示可能となる。これらのレイアウトは、操作者が選択画面からレイアウトを選択してもよい。また、操作者が複数のファイルを選択した段階で、さらに撮影時刻送りモードと並列表示モードとを選択できるようになっていてもよい。また、図１６に示すように複数の重畳画像を重ねて表示してもよい。符号４０６は、時系列に重畳画像を重ねて表示したものである。操作者がクリックやマウスホイール等の操作を行うことで、時系列の重畳画像４０６の最前面に表示されている画像が変更されてもよい。また、複数の重畳画像の各撮影タイミングの順序がわかる形で表示してもよい。

また、この実施例ではシングルフレームのＤＩＣＯＭファイルを複数選択し、対応するＤＩＣＯＭファイルと重畳して表示するよう説明したが、異なる画像種別のマルチフレームのＤＩＣＯＭファイルを選択し、対応画像同士を重畳させて表示してもよい。また、選択した異なる画像種別のマルチフレームのＤＩＣＯＭファイルのフレーム数がそれぞれ対応していなくても、始めのフレームから重畳を行って表示してもよいし、操作者の送りに対してタグに対応情報が書かれているフレームのみ表示していってもよい。

本実施例では、撮影時刻が異なり、かつ、画像種別の異なる複数のＤＩＣＯＭファイルを重畳表示した際に、心電計等のその他のデータと同期して画像を表示する。

本実施例では、まず、操作者がＰＣの表示アプリケーションを起動して画像ビューワを立ち上げる。ファイル選択画面を起動し、操作者は重畳するＤＩＣＯＭファイル（この場合は酸素飽和度画像のＤＩＣＯＭファイルとＢモード画像のＤＩＣＯＭファイル）を選択する。次に、操作者は、その他同期させる心電計データを選択する。すると、それらのファイルの撮影時刻にしたがい、重畳画像と心電計が同期されて表示される。本実施例に係る表示アプリケーションは、ＤＩＣＯＭファイルの画像種別と、それらのファイルと同期させるデータ（心電図データ）との組み合わせに応じて、表示態様を決定する。

図１７は、本実施例に係る表示アプリケーションのビューワの図である。符号４０７は心電計の心拍データ、符号４０８の数値は心電計のとあるピークを０とした時の時刻（ｍｓ）、符号４０９の点線は重畳画像の撮影タイミング、符号４１０はＢモード画像と酸素飽和度画像の重畳画像である。なお、撮影タイミング４０９は、重畳対象の複数の画像のいずれかの撮影時刻やそれぞれの撮影時刻の中間時刻など、それぞれの撮影時刻から決定された撮影タイミングである。

図１７では、酸素飽和度画像とＢモード画像が重畳され、撮影タイミングごとに並列に表示されている。また、図１７では、心電計データについても撮影時刻が関連づけて保存されており、心電計データの心拍の撮影時刻と重畳画像の撮影タイミングとの対応を示す点線４０９を示すことができる。なお、図１７において、上段の右端の画像と下段の左端の画像とが同じ重畳画像を表す。これにより、表示領域が制限された場合であっても、操作者が画像間の時間的な繋がりを視認しやすくなっている。

また、心電計の表示周期（時間の長さ）を変更することにより、心電計の表示周期に応じて表示対象となる重畳画像が更新される。心電計の表示周期によっては、重畳画像が並列に表示しきれない場合があるが、表示させる重畳画像の数を変更することによって、心電計の表示周期に対応した数の画像を表示できる。

［第３の実施形態］
以下、第３の実施形態の画像表示システムの構成の構成及び処理について説明する。本実施形態の画像表示システムは、記憶手段としてのサーバに保存された複数のモダリティのＤＩＣＯＭファイルを、様々なＰＣから閲覧・検索できる構成になっている。以下では、第１の実施形態とは異なる部分を主に説明する。

図１８は本実施形態の画像表示システムの構成を示す模式図である。本実施形態に係る画像表示システムは、第１の実施形態とは異なり、モダリティ機能に相当するプローブ１８０、信号収集部１４０を有していない。一方、本実施形態に係る画像表示システムは、あらゆるモダリティで得られた画像データが保存されたサーバ２００を含む。なお、コンピュータ１５０が行う表示制御の機能を有するシステムを画像表示システムとしてもよい。

サーバ２００は、ＤＩＣＯＭファイルを送信する機能をもつモダリティからデータを受信してデータを保存する。制御部１５３からの要求に従い、対応するＤＩＣＯＭファイルを検索したり、情報を送信したりできる。また、サーバ２００からその他ネットワーク上のデータセンターのサーバに情報保存することで、ネットワークに接続していればいずれの端末からでもアクセスできるようなシステムでもよい。

制御部１５３は、サーバ２００と通信を行うことが可能であり、サーバ２００に保存されているＤＩＣＯＭファイルを検索することができる。操作者が一つのＤＩＣＯＭファイルを選択した場合、制御部１５３は、そのＤＩＣＯＭファイルのメタ情報を読み込み、取得した患者ＩＤをサーバ２００上で検索してもよい。この場合、制御部１５３は、同一の患者ＩＤのＤＩＣＯＭファイルや、関連するＤＩＣＯＭファイルのメタ情報を取得することができる。そして、制御部１５３は、同一の患者の複数のＤＩＣＯＭファイルのメタ情報を読み出し、メタ情報の組み合わせに応じた重畳表示態様で、重畳画像を表示部１６０に表示させることができる。

また、操作者が一つのＤＩＣＯＭファイルを指定しなくても、表示アプリケーション側に検索窓があり、患者ＩＤや撮影日、画像種別、撮影病院等の情報を指定することで、サーバ２００で対応する画像データを検索してもよい。すなわち、操作者が入力部１７０を用いて患者ＩＤ等のメタ情報を入力し、制御部１５３が入力されたメタ情報を基にサーバ２００上で検索を行い、関連するＤＩＣＯＭファイルを取得してもよい。なお、他病院で撮影された等の事情から患者ＩＤが異なっている場合であっても、当該患者ＩＤと同一の患者であることを示す情報がＤＩＣＯＭファイルのタグに記載されていれば、同じ患者の関連するＤＩＣＯＭファイルとして取得してよい。

なお、本実施形態では、１台のコンピュータ１５０がサーバ２００に画像データを閲覧・検索する構成を説明したが、サーバ２００に対して、複数のコンピュータが画像データを閲覧・検索してもよい。

以下、より具体的な実施例について説明する。本実施例では、操作者が記憶部１５２に予め保存されていたＤＩＣＯＭファイルを選択することで、制御部１５３が当該ＤＩＣＯＭファイルの患者ＩＤを読み込み、サーバ２００で関連するＤＩＣＯＭファイルを検索して、制御部１５３に送信する。制御部１５３は、サーバ２００から送信されたＤＩＣＯＭファイルを、選択されたＤＩＣＯＭファイルに関連するファイルとしてファイル名や重畳画像を表示することができる。

図１９は、操作者が記憶部１５２に予め保存されている一つのＤＩＣＯＭファイルをダブルクリックで選択し、画像レイアウトボタンも押した際に表示部１６０に表示される画面である。符号５０１はダブルクリックによって選択したＤＩＣＯＭファイルである。ＤＩＣＯＭファイル５０１が選択されると、制御部１５３は、このＤＩＣＯＭファイルの患者ＩＤを読み込み、サーバ２００で患者ＩＤの検索を行う。符号５０２は、検索により見つかった同じ患者ＩＤのＤＩＣＯＭファイルである。符号５０３はビューワに表示されているレイアウト選択画面である。本例では４画面表示させたいため、操作者が４画面以上のボタン５０４を押し、４画面の画像表示領域のレイアウトを選択する。

図２０は、４画面のレイアウトを選択した後、それぞれの画像表示領域に表示したい画像をドラッグアンドドロップした結果である。符号５０４は、それぞれ選択したＤＩＣＯＭファイルをドラッグアンドドロップする操作を表したものである。符号５０５は画像表示領域であり、この例ではビューワ中に画像表示領域が４ヶ所ある。それぞれの画像表示領域で画像が表示されている。左上では、Ｂモード画像のみが、左下ではＢモード画像と総ヘモグロビン量画像が重畳されており、右上ではＢモード画像と酸素飽和度画像が重畳されており、右下ではＭＲ画像のみが表示されている。これによると、Ｂモード画像のみでは表示されていない組織も、機能情報である酸素飽和度画像や総ヘモグロビン量画像と重畳することで表示位置を知ることができる。また、ＭＲＩなどの他のモダリティ画像とも比較することが可能である。

本実施例では、まず、操作者がＰＣの表示アプリケーションを起動して画像ビューワを立ち上げる。操作者がファイル選択ボタンを押し、制御部１５３は記憶部１５２に予め保存されているＤＩＣＯＭを選択して読み込む。

制御部１５３は、選択されたＤＩＣＯＭのメタ情報を読み込むことで、患者ＩＤを取得する。取得した患者ＩＤをサーバ２００で検索を行い、サーバ２００は検索して得られたＤＩＣＯＭを制御部１５３に送信する。

制御部１５３は、送信されたＤＩＣＯＭを表示部１６０のファイル選択画面に表示する。操作者は、表示されたファイル選択画面から既に表示している画像以外で表示したいＤＩＣＯＭを選択して、既に表示されている画像に選択された画像を重畳する。その際、画像の表示設定に関しては、これまでの実施形態のように制御部１５３が読み込んだメタ情報を基に設定を行う。なお、重畳以外の表示が行われてもよい。例えば、既に表示されている画像と並べて選択された画像を表示してもよい。

本実施例では、異なる種別の複数のマルチフレームのＤＩＣＯＭ画像のうちの一つを、ビューワ上で大きさや向きを変化させて位置合わせを行った後、その他を重畳して同期表示する。

図２１は本実施例に係るビューワの図である。ビューワ中の一つの画像表示領域６０１には、すでにマルチフレームで同じスライス数のＢモード画像と酸素飽和度画像が重畳されてある１断面が表示されている。ビューワ中のもう一つの画像表示領域６０２には、マルチフレームで酸素飽和度とは異なるスライス数の大きさも異なるＭＲＩ画像の１断面が表示されている。符号６０３は、各画像中の同一の生体組織を示すが、画像間で大きさも向きも異なっていることがわかる。符号６０４は、ドラッグアンドドロップの動作を示す矢印である。

ここで、ビューワの右の画像表示領域上で、クリックやドラッグ（画像をクリックして引っ張る）を行い、画像の向きを変更と拡大を行い、位置合わせを行う。位置合わせを行った結果が図２２であり、生体組織の大きさと向きが位置合わせできていることがわかる。その上で、ビューワの右の画像表示領域に総ヘモグロビン量画像のＤＩＣＯＭファイルをドラッグアンドドロップすることで、形と向きが位置合わせできた状態で重畳が行えることがわかる。さらに、この状態でスライスを送っていく場合、双方の画像表示領域に表示中の画像のスライス間隔が異なっている場合は、表示しているいずれかのＤＩＣＯＭ画像のスライス座標の最近傍のスライスを表示するなどしてもよい。

この例では、マルチフレームの１断面を用いて拡大と向きの変更を行ったが、ビューワに表示する画像としては３次元的に表示し、大きさや向きの変更を行ってもよい。その際、２次元的なスライスの集まりであるマルチフレーム画像から、３次元的な画像をボリュームレンダリング等で作成し、画像の拡大や向きの変更を行って、重畳対象の画像に対応するスライス数、ピクセルピッチで上記表示や重畳などを行ってもよい。

これにより、様々なモダリティの様々な種別・条件のＤＩＣＯＭでも、向きや大きさを操作者が位置合わせすることにより、読影・診断に適した条件で自由に表示することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１５０ コンピュータ
１６０ 表示部
１７０ 入力部
１８０ プローブ

Claims (17)

1. 画像保存サーバに保存されている画像データのファイルから、重畳画像として表示される表示対象となる画像データのファイルを複数選択する選択手段と、
   該選択された複数のファイルに対応する複数の画像データを取得する第１の取得手段と、
   前記複数の画像データに関連づけられたメタ情報の組み合わせを示す情報を取得する第２の取得手段と、
   前記選択手段で選択された複数の画像データのファイルに対応する複数の画像データに関連付けられた前記メタ情報の組み合わせを示す情報に基づいて、前記メタ情報の組み合わせに対応する前記複数の画像データの重なり順序と透過率とを重畳表示態様として決定し、当該重なり順序と透過率に基づいて前記複数の画像データの重畳画像を表示手段に表示させる表示制御手段と、を有することを特徴とする画像表示システム。
2. 前記第２の取得手段は、前記メタ情報の組み合わせを示す情報として、前記複数の画像データに関連づけられた画像種別の組み合わせを示す情報を取得し、
   前記表示制御手段は、前記画像種別の組み合わせを示す情報に基づいて、前記画像種別の組み合わせに対応する重畳表示態様を決定し、当該重畳表示態様で前記複数の画像データの重畳画像を前記表示手段に表示させることを特徴とする請求項１に記載の画像表示システム。
3. 前記表示制御手段は、前記メタ情報の組み合わせを示す情報に基づいて、前記重畳表示態様として前記複数の画像データの配色を決定し、当該配色で前記複数の画像データの重畳画像を前記表示手段に表示させることを特徴とする請求項１または２に記載の画像表示システム。
4. 前記表示制御手段は、前記メタ情報の組み合わせを示す情報に基づいて、前記重畳表示態様として前記複数の画像データの重なり順序を決定し、当該重なり順序で前記複数の画像データを重畳した重畳画像を前記表示手段に表示させることを特徴とする請求項１または２に記載の画像表示システム。
5. 前記表示制御手段は、
   前記メタ情報の組み合わせを示す情報に基づいて、前記複数の画像データの重畳画像、及び、前記複数の画像データの少なくとも１つの画像データの画像の表示レイアウトを決定し、当該表示レイアウトで前記重畳画像及び前記少なくとも１つの画像データの画像を並べて前記表示手段に表示させることを特徴とする請求項１または２に記載の画像表示システム。
6. 前記表示制御手段は、前記メタ情報の組み合わせを示す情報に基づいて、メタ情報の組み合わせと重畳表示態様との関係を示す情報を参照することにより、前記メタ情報の組み合わせに対応する重畳表示態様を決定することを特徴とする請求項１または２に記載の画像表示システム。
7. 前記表示制御手段は、
   前記メタ情報の組み合わせを示す情報に基づいて、前記複数の画像データが重畳に適しているか否かを判別し、当該判別結果を前記表示手段に表示させることを特徴とする請求項１または２に記載の画像表示システム。
8. 前記第１の取得手段は、画像保存通信システムに保存された前記複数の画像データを読み出すことにより、前記複数の画像データを取得することを特徴とする請求項１から７のいずれか１項に記載の画像表示システム。
9. 前記表示制御手段は、前記画像種別の組み合わせと重畳の適切度との関係を示すテーブルを参照し、前記重畳画像として表示される表示対象の画像データの画像種別の組み合わせが重畳に適切か否かを判別することを特徴とする請求項２に記載の画像表示システム。
10. 前記表示制御手段は、前記画像データの画像取得の際の同期方法又は撮影時刻に応じて、前記適切度を判別することを特徴とする請求項９に記載の画像表示システム。
11. 前記重畳画像として表示される表示対象となる画像データのファイルを複数選択する際、前記表示制御手段は、重畳に適した画像データのファイルの組み合わせを識別可能に表示することを特徴とする請求項１に記載の画像表示システム。
12. 前記表示制御手段は、該重畳に適した画像データのファイルの組み合わせを識別可能なように、前記画像データのファイル名を強調表示することを特徴とする請求項１に記載の画像表示システム。
13. 前記表示制御手段は、前記表示手段の画像表示領域にドロップされた画像データのファイルに関連付けて保存されたメタ情報を読み出し、ドロップされた画像データのファイルのメタ情報の組み合わせに基づいて、前記重畳表示態様の設定を行うことを特徴とする請求項１に記載の画像表示システム。
14. 前記表示制御手段は、前記メタ情報の組み合わせを示す情報に基づいて、前記メタ情報の組み合わせに対応する前記複数の画像データの配色と重なり順序と透過率とを重畳表示態様として決定することを特徴とする請求項１に記載の画像表示システム。
15. 前記表示制御手段は、前記メタ情報の組み合わせを示す情報に基づいて、前記メタ情報の組み合わせに対応する前記複数の画像データの配色と重なり順序と透過率と表示領域とを重畳表示態様として決定することを特徴とする請求項１に記載の画像表示システム。
16. 画像保存サーバに保存されている画像データのファイルから、重畳画像として表示される表示対象となる画像データのファイルを複数選択し、
    選択された複数のファイルに対応する複数の画像データを取得し、
    選択された複数の画像データのファイルに対応する前記複数の画像データに関連付けられたメタ情報の組み合わせに応じて、前記メタ情報の組み合わせに対応する前記複数の画像データの重なり順序と透過率とを重畳表示態様として設定し、当該重なり順序と透過率に基づいて前記複数の画像データの重畳画像を表示することを特徴とする画像表示方法。
17. 請求項１６に記載の画像表示方法をコンピュータに実行させるためのプログラム。

Images