JP4537813B2 - ３次元画像表示装置 - Google Patents

Description

本発明は、医用画像としてのボリュームデータファイルをサムネイルで一覧表示するとともに、その中から所望の一つを呼び出して表示する３次元画像表示装置に関する。

画像の絵柄が一目で分かるように、画素を間引いたり、又は近傍の複数画素を束ねることにより、縦横画素数を小さくした低解像度の画像見本（サムネイル）を作成して一覧表示することが一般的に行われている。３次元画像表示装置においても同様にこの技法が使われており、図１０に例示するように、元のボリュームデータファイルから所定の視点及び方向で２次元の投影画像を作成し、それを一覧で表示することがなされている。サムネイルの一覧から選択されたボリュームデータファイルから高解像度で作成された画像が表示される。

このように３次元画像表示装置が扱っているボリュームデータファイルの一覧を表示する場合にも、２次元画像表示と同様に、ボリュームデータファイルから所定の視点で所定の視線方向（投影方向）により作成した２次元投影画像を一覧で表示することが行われていたが、このとき立体情報が失われるために、輪郭がはっきりしないことが多い医用画像の場合はサムネイルだけを見て画像識別することは難しく、ボリュームデータファイルの内容の傾向が似たようなものでは画像選択できない、またはボリュームデータファイルを代わる代わる何度も呼び出して見るといったという事態も起こり得る。この場合、特にボリュームデータファイルの呼び出しの時間を多く要するなど、ボリュームデータファイルの選択操作において問題があった。
特開平１１−３１８９０５号広報

本発明の目的は、複数のボリュームデータファイルをサムネイルで一覧表示する際の画像識別能を向上するにある。

本発明に係る３次元画像表示装置は、複数のボリュームデータファイルを保管する保管部と、前記複数のボリュームデータファイルからそれぞれ対応する複数のサムネイルファイルを作成するサムネイル作成部と、前記複数のサムネイルファイルを一覧で表示する表示部とを具備し、前記複数のサムネイルファイル各々は、視点と視線方向の少なくとも一方が相違する複数の２次元投影画像からなることを特徴とする。

本発明に係る３次元画像表示装置は、複数のボリュームデータファイルを保管する保管部と、前記複数のボリュームデータファイルからそれぞれ対応する複数のサムネイルファイルを作成するサムネイル作成部と、前記複数のサムネイルファイルを一覧で表示する表示部とを具備し、前記サムネイル作成部は、前記ボリュームデータファイルの過去の表示時の操作履歴に応じた視点と視線方向との少なくとも一方に基づいて複数の２次元投影画像を前記複数のサムネイルファイルとして作成することを特徴とする。

以下、図面を参照して本発明の実施形態を説明する。
本実施形態の理解を促進するために、本実施形態によるサムネイルの表示画面について説明する。複数のボリュームデータファイルをサムネイルで一覧表示する際の相互識別能を向上するために、図３にサムネイル表示画面例を示すように、画面のサムネイル一覧表示領域１２を例えば３×３のサイズでサムネイル表示枠１５に分割し、各サムネイル表示枠１５にそれぞれボリュームデータファイルに対応するサムネイルファイルを表示する。サムネイルファイルは、ボリュームデータファイルからそれぞれ作成される視点と視線方向との少なくとも一方が相違する低解像度の複数（マルチフレーム）の２次元投影画像１１からなり、これら複数の２次元投影画像を各枠１５で所定の時間間隔で切り替えて表示することで、ボリュームを視点や方向を移動しながらアニメーションのように表現することができる。選択ハイライト１３で選択されたボリュームデータファイルは表示ボタン１４のクリックとともに保管装置から読み込まれて高解像度で３次元表示される。このように各ボリュームデータファイルを複数の２次元投影画像により視点や方向を移動しながらアニメーションのように表示するので、いろいろな方向からボリュームデータファイルを観察でき、それにより単一の２次元投影画像を表示するよりも、ボリュームデータファイルの識別能を向上することができる。なお、複数の２次元投影画像をサムネイル表示枠１５でアニメーション表示する代わりに、図４に例示するように、サムネイル表示枠２５を拡大して、各ボリュームデータファイルから作成した視点や方向の相違する複数の２次元投影画像を配列して表示するようにしてもよい。この場合、画面のサムネイル一覧表示領域２２を例えば１×３のサイズでサムネイル表示枠（マルチフレームサムネイルを構成するフレーム）２３に分割し、各サムネイル表示枠２３にそれぞれボリュームデータファイルに対応するサムネイル画像群２１を配列する。選択ハイライト２４で選択されたボリュームデータファイルは表示ボタン２５のクリックとともに保管装置から読み込まれて高解像度で３次元表示される。選択ハイライト２４で単一のフレーム（投影画像）が選択されたとき、選択された投影画像と同じ視点及び視線方向のもと高解像度で投影処理がなされ、そのレンダリング画像が初期的に表示される。この場合も、いろいろな方向からボリュームデータファイルを観察できるので、単一の２次元投影画像を表示するよりも、ボリュームデータファイルの識別能を向上することができる。

図１に本実施形態による３次元画像表示装置の構成を示している。ボリュームデータファイル保管装置４は、単一又は多種多様な複数のボリュームデータファイルを保管するための大容量記憶装置である。ボリュームデータファイルは、通信装置９を介して外部装置から取得される。またボリュームデータファイルは、ボリュームデータ収集装置１０により発生される。ボリュームデータ収集装置１０は、Ｘ線コンピュータ断層撮影装置（ＣＴ）、磁気共鳴映像装置（ＭＲＩ）、超音波診断装置、ＳＰＥＣＴ(single photon emission computed tomography)、ＰＥＴ(positron emission tomography)、Ｘ線立体撮影装置等のボリュームデータ（３次元領域データ）を収集できる１又は複数の装置からなる。当該３次元画像表示装置は、その他に、全体制御のためのＣＰＵ３、メインメモリ７、さらに、サムネイルデータファイル（複数の投影画像のデータ）、収集時又は通信装置９を介して取得したときに初期的に表示したときの操作履歴データ、スナップショット像データを保管するためのデータ保管装置８を有する。また、当該３次元画像表示装置は、ボリュームデータファイルから即時的に２次元投影画像を作成するための２次元投影用レンダリング処理部６、画像表示デバイス１、画像表示デバイス１への２次元投影画像等の表示を担当するグラフィックボード２、マウスやキーボード等のユーザー入力デバイス５を有する。

図２に、本実施形態に係る３次元画像表示装置によるボリュームデータ収集からサムネイル表示までの一連の処理の手順を示している。まず、ボリュームデータファイルがボリュームデータ収集装置１０により発生され、又は通信装置９を介して受信される（Ｓ１）。ボリュームデータファイルは、ボリュームデータ保管装置４に記憶されるとともに、確認のために、２次元投影用レンダリング処理部６及びグラフィックボード２を介して画像表示デバイス１に表示される（Ｓ２）。なお、ボリュームデータファイルを表示確認しないで終了することもある。ユーザーがボリュームデータファイルを確認する場合、ユーザーは入力デバイス５を操作して、ボリュームを見る視点位置と視線方向との少なくとも一方を任意に変更しながら、ボリュームを回転、拡大、縮小、移動する（Ｓ３）。視点位置や視線方向が変更されると、それに対応する２次元投影画像を２次元投影用レンダリング処理部６では即時的に作成する。観察期間中の操作履歴データが、ＣＰＵ３により発生され、データ保管装置８に記憶される（Ｓ４）。操作履歴には、ユーザが入力デバイス５を操作して視点位置と視線方向との少なくとも一方を変更した時刻（観察開始時点からの経過時間）と、その時々の視点位置及び視線方向とが記述される。視点位置及び視線方向の代わりに、座標及び回転角等の画像処理上の他のパラメータでもよい。なお、この操作履歴とともに、視点位置と視線方向との少なくとも一方の変更により生成された投影画像のデータそのものをスナップショットデータとしてデータ保管装置８に記憶するようにしてもよい（Ｓ５）。スナップショットデータを記憶するか否かはユーザーの指示により決定される。また、観察期間中に例えば関心部位が良好に見えるような好適な投影画像が表示されたとき、ユーザーは入力デバイス５のブックマークボタンを押すことができる。ブックマークボタンが押されたとき、ブックマークボタンコードがその時刻とともにＣＰＵ３により操作履歴に書き込まれる。

次に、ユーザーの指示により、保存された複数のボリュームデータファイルがサムネイルで一覧表示されるとき、ＣＰＵ３は、すでにマルチフレームサムネイルデータが作成されデータ保管装置８に保管されているか否かをボリュームデータファイルごとに調べる（Ｓ６）。なお、マルチフレームサムネイルデータとは、画面の一部領域（サムネイル表示枠１５）のマトリクスサイズに相当する程度に解像度が低く、しかも視点と視線方向の少なくとも一方の相違する複数の２次元投影画像のデータである。マルチフレームサムネイルデータが保管されている場合はそのままマルチフレームサムネイルを図３の対応するサムメイル表示枠１５又は図４の対応するサムメイル表示枠２５に表示する（Ｓ７）。

マルチフレームサムネイルデータが保管されていない場合は、ＣＰＵ３は操作履歴データがデータ保管装置８に保管されているか否かをボリュームデータファイルごとに調べる（Ｓ８）。ボリュームデータファイルについて操作履歴データが保管されている場合は、２次元投影用レンダリング処理得部６はＣＰＵ３の制御のもとで次に説明する（ａ）〜（ｅ）のいずれかの規則に従って当該ボリュームデータファイルの操作履歴からマルチフレームサムネイルデータを作成する（Ｓ９）。ユーザーはいずれの規則を適用するかを初期的に設定することができる。ユーザーは初期設定した規則から他の規則に随時変更することができる。

図５に規則（ａ）について示している。横軸は便宜上、上記Ｓ３の観察開始から観察終了までの時間軸を示していて、観察時間を“Ｔ”で表記している。この観察時間Ｔを初期設定されているフレーム数Ｎの（Ｎ−１）で割って得られた時間間隔Ｔ／（Ｎ−１）により観察時間軸を等間隔に分け、観察時に各時点で設定していた視点と視線方向に従って最終的にＮ枚（Ｎフレーム）の２次元投影画像を作成する。

図６に規則（ｂ）について示している。Ｓ３の観察時において、視点／視線方向の変更操作の間隔を比較し、最も長い上位Ｎの間隔を選択する。選択した間隔内で設定していた視点と視線方向に従ってＮ枚（Ｎフレーム）の２次元投影画像を作成する。つまり、視点や視線方向を変更しないで長い時間観察し、注目していた画像を同じ視点及び視線方向で２次元投影画像を再現するものである。

図７に規則（ｃ）について示している。所定の間隔で観察時間軸を分割し、各間隔で視点と視線方向との少なくとも一方を変更した回数（操作頻度）を計数し、操作頻度が最も高い上位Ｎの間隔を選択する。選択した間隔内の最初の時点、中間時点又は最終時点で設定していた視点と視線方向に従ってＮ枚（Ｎフレーム）の２次元投影画像を作成する。つまり、視点や視線方向の変更を頻繁に繰り返していた期間に応じた視点及び視線方向で２次元投影画像を再現するものであり、これはユーザーが試行錯誤を繰り返していた時期に応じて視点や視線方向を設定するものである。

図８に規則（ｄ）について示している。Ｓ３の観察時にユーザーがブックマークボタンをクリックした時刻に設定していた視点と視線方向に従って２次元投影画像を作成する。

図９に規則（ｅ）について示している。規則（ｅ）は、同一対象についてボリュームデータを繰り返し収集するときに適用される。規則（ｅ）では、観察時間軸ではなく、撮影時間軸が適用され、撮影開始から撮影終了までの撮影時間ＴＴを初期設定されているフレーム数Ｎの（Ｎ−１）で割って得られた時間間隔ＴＴ／（Ｎ−１）により等間隔に分け、各時点で収集したボリュームデータから、間隔の順番により少しずつ変化するように初期設定されている視点と視線方向に従って最終的にＮ枚（Ｎフレーム）の２次元投影画像を作成する。

図２に戻る。Ｓ８で操作履歴が保管されていないときは、そのボリュームデータファイルについてスナップショットデータが保管されているか否かをＣＰＵ３はデータ保管装置８をアクセスすることにより調べる（Ｓ１０）。スナップショットデータが保管されているときには、スナップショットデータからそれよりも解像度の低いサムネイルデータを間引きまたは画素束ね処理により作成し（Ｓ１１）、一覧に表示する（Ｓ７）。スナップショットデータが保管されていないときには、デフォルトルールに従ってボリュームデータファイルからマルチフレームサムネイルデータを作成する（Ｓ１１）。デフォルトルールとしては例えば視点がＸ、Ｙ、Ｚ又は傾斜軸に周りに所定角度ずつ回転する等の任意の規則が設定される。

本実施形態により、一つのボリュームデータファイルに対して視点や方向が相違する複数の投影画像をサムネイルで一覧表示することにより、ボリュームデータファイルの内容が判別しやすくなり、呼び出しの操作を少なくすることが可能となる。またサムネイル画像を決定する際にボリュームデータファイルの特徴をよく表わす２次元投影画像を表示することで、サムネイル一覧表示における一覧性を高めることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態による３次元画像表示装置の構成を示す図。 本実施形態による画像表示動作の流れを示す図。 図２のマルチフレームサムネイルの表示例を示す図。 図２のマルチフレームサムネイルの他の表示例を示す図。 図２のマルチフレームサムネイルの作成規則（ａ）の説明図。 図２のマルチフレームサムネイルの作成規則（ｂ）の説明図。 図２のマルチフレームサムネイルの作成規則（ｃ）の説明図。 図２のマルチフレームサムネイルの作成規則（ｄ）の説明図。 図２のマルチフレームサムネイルの作成規則（ｅ）の説明図。 従来のボリュームデータファイルのサムネイルの表示例を示素図。

符号の説明

１…画像表示デバイス、２…グラフィックボード、３…ＣＰＵ、４…ボリュームデータファイル保管装置、５…ユーザー入力デバイス、６…２次元投影用レンダリング処理部、７…メインメモリ、８…データ保管装置、９…通信装置、１０…ボリュームデータファイル収集装置。

Claims (8)

1. 複数のボリュームデータファイルを保管する保管部と、
   前記複数のボリュームデータファイルからそれぞれ対応する複数のサムネイルファイルを作成するサムネイル作成部と、
   前記複数のサムネイルファイルを一覧で表示する表示部とを具備し、
   前記サムネイル作成部は、前記ボリュームデータファイルの過去の表示時の操作履歴に応じた視点と視線方向との少なくとも一方に基づいて複数の２次元投影画像を前記複数のサムネイルファイルとして作成することを特徴とする３次元画像表示装置。
2. 前記複数の２次元投影画像は、１フレームずつ切り替えながら動画として表示されることを特徴とする請求項１記載の３次元画像表示装置。
3. 前記複数の２次元投影画像は、同時に配列表示されることを特徴とする請求項１記載の３次元画像表示装置。
4. 前記複数の２次元投影画像は、前記ボリュームデータファイルの過去の表示時間軸上における複数時点の視点及び視線方向に基づいて作成されることを特徴とする請求項１記載の３次元画像表示装置。
5. 前記複数の２次元投影画像は、前記ボリュームデータファイルの過去の表示時間軸上における視点／視線方向の変更操作の間隔が長い上位所定数の間隔で設定されていた視点と視線方向に基づいて作成されることを特徴とする請求項１記載の３次元画像表示装置。
6. 前記複数の２次元投影画像は、前記ボリュームデータファイルの過去の表示時間軸上における複数の間隔から視点／視線方向の変更操作の頻度が多い上位所定数の間隔で設定されていた視点と視線方向に基づいて作成されることを特徴とする請求項１記載の３次元画像表示装置。
7. 前記複数の２次元投影画像は、前記ボリュームデータファイルの過去の表示時間軸上において操作者に指定された複数時点の視点及び視線方向に基づいて作成されることを特徴とする請求項１記載の３次元画像表示装置。
8. 前記ボリュームデータファイルごとに過去の表示操作履歴のデータを保管する表示操作履歴データ保管部をさらに備えることを特徴とする請求項１記載の３次元画像表示装置。

Images