JP2016185247A - Image processing system and image processing method - Google Patents
Image processing system and image processing method Download PDFInfo
- Publication number
- JP2016185247A JP2016185247A JP2015067069A JP2015067069A JP2016185247A JP 2016185247 A JP2016185247 A JP 2016185247A JP 2015067069 A JP2015067069 A JP 2015067069A JP 2015067069 A JP2015067069 A JP 2015067069A JP 2016185247 A JP2016185247 A JP 2016185247A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- resolution
- condition
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000002194 synthesizing effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 6
- 238000005266 casting Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明は、ボリュームデータを投影して投影画像を生成する画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for projecting volume data to generate a projection image.
３次元で撮影を行う画像診断装置（例えばＣＴ、ＭＲＩ）が生成したボリュームデータを表示装置で表示する場合、ボリュームデータに基づく投影画像を生成する。投影画像を生成する方法として、ボリュームレンダリングと呼ばれる方法がある。ボリュームレンダリングを比較的高速に実行する方法に、レイキャスティングと呼ばれる方法もある。 When displaying volume data generated by an image diagnostic apparatus (for example, CT or MRI) that performs three-dimensional imaging on a display device, a projection image based on the volume data is generated. As a method for generating a projection image, there is a method called volume rendering. There is also a method called ray casting as a method for executing volume rendering at a relatively high speed.
近年、ボリュームデータや表示装置の解像度は高精細化が進んでおり、一枚の投影画像を生成するのに時間がかかるようになってきた。そのため、複数の解像度で段階的に投影画像を生成する段階的投影方法を用いることがある。（例えば、特許文献１） In recent years, the resolution of volume data and display devices has been increased, and it takes time to generate a single projection image. Therefore, there is a case where a stepwise projection method that generates projection images stepwise with a plurality of resolutions may be used. (For example, Patent Document 1)
しかしながら、従来の段階的投影方法を用いたとしても、投影条件を変更してから高解像度の投影画像が表示されるまでの時間は高速化されない。そのため、高解像度の投影画像の生成処理に要する時間よりも短い時間で連続して操作を行うと、長時間に渡って高解像度の投影画像が表示されないことになる。
そこで、本発明は、段階的投影方法において、投影条件を変更する場合、所望の投影画像の表示に要する時間を短縮することを目的とする。
However, even if the conventional stepwise projection method is used, the time from when the projection condition is changed to when a high-resolution projection image is displayed is not increased. Therefore, if the operation is continuously performed in a time shorter than the time required for generating the high-resolution projection image, the high-resolution projection image is not displayed for a long time.
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to reduce the time required for displaying a desired projection image when changing projection conditions in a stepwise projection method.
本発明の目的を達成するために、画像処理装置は、予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成する画像生成部と、投影画像が生成される毎に投影画像を表示装置に出力する画像出力部とを備え、画像生成部において投影画像を生成している際に投影に関する投影条件が変更された場合、画像生成部は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。 In order to achieve an object of the present invention, an image processing apparatus includes: an image generation unit that generates a projection image from volume data at a plurality of resolutions according to a preset projection order; and a projection image that is generated each time a projection image is generated. An image output unit that outputs to the display device, and when the projection condition related to the projection is changed while the projection image is generated in the image generation unit, the image generation unit includes the projection image generated before the change A projection image is generated by combining the projection images generated after the change.
また、画像処理方法は、予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成するステップと、投影画像が生成される毎に投影画像を表示させるステップとを有し、前記投影画像を生成している際に投影に関する投影条件が変更された場合、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。 The image processing method includes a step of generating a projection image from volume data at a plurality of resolutions in accordance with a preset projection order, and a step of displaying the projection image every time a projection image is generated. When the projection condition related to the projection is changed while generating the image, a projection image is generated by combining the projection image generated before the change and the projection image generated after the change.
本発明によれば、段階的投影方法において、投影条件を変更する場合、投影画像の表示に要する時間を短縮することができる。 According to the present invention, when the projection condition is changed in the stepwise projection method, the time required for displaying the projection image can be shortened.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The following embodiments do not limit the present invention, and all the combinations of features described in the present embodiment are not necessarily essential to the solution means of the present invention. In addition, about the same structure, the same code | symbol is attached | subjected and demonstrated.
図１は本発明の画像処理システムを示すブロック図である。画像処理システムは、画像処理を行う画像処理装置１００と、画像診断装置から出力されるボリュームデータを記憶する記憶装置１５０と、操作者が操作する際に入力する入力装置１６０と、画像処理装置１００で画像処理が行われた画像を表示する表示装置１７０とを備えている。
FIG. 1 is a block diagram showing an image processing system of the present invention. The image processing system includes an
記憶装置１５０は、ハードディスク、サーバなどの記憶媒体であり、ＣＴやＭＲＩなどの画像診断装置が生成したボリュームデータを記憶する。入力装置１６０は、マウスやキーボードなどから構成されている。表示装置１７０は、モニタ、ディスプレイなどである。
The
画像処理装置１００は、記憶装置１５０と、入力装置１６０と、表示装置１７０とにそれぞれ接続されている。画像処理装置１００は、記憶装置１５０に記憶されたボリュームデータを入力装置１６０の入力情報に基づいて画像処理を行い、表示装置１７０に出力する。表示装置１７０は、画像処理装置１００で画像処理が行われた画像を表示する。
The
また、図１は、本発明の画像処理システムの構成を示すブロック図である。画像処理装置１００は、バス２０１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０４と、入力装置Ｉ／Ｆ（インターフェース）２０５と、記憶装置Ｉ／Ｆ（インターフェース）２０６とを備えている。
FIG. 1 is a block diagram showing the configuration of the image processing system of the present invention. The
バス２０１は、情報の通信路である。具体的には、バス２０１を通じて、ＣＰＵ２０２と、ＲＡＭ２０３と、ＧＰＵ２０４と、入力装置Ｉ／Ｆ２０５と、記憶装置Ｉ／Ｆ２０６が接続されている。バス２０１は、画像処理装置１００内の各構成要素間で、ボリュームデータや画像処理情報、入力装置１６０によって入力された入力情報などのデータを伝達する。つまり、バス２０１を通じて各構成要素間でデータをやり取りすることができる。
The
ＣＰＵ２０２は、汎用的な演算を行うものであり、予め設定されたプログラム、入力装置１６０によって入力された入力情報に基づくプログラムによって数値演算や情報処理などを行うものである。ここでは、ＣＰＵ２０２は、ボリュームデータの画像処理を行う。
The
ＲＡＭ２０３は、各種情報を一時的に記憶するものである。ここでは、ＲＡＭ２０３はボリュームデータ、投影に関する情報（後述する投影順、投影画像など）を記憶する。
The
ＧＰＵ２０４は、主に画像処理の演算を行うものである。ＧＰＵ２０４は、表示装置１７０に接続され、内包するフレームバッファの画素値を出力する。本実施例において、ＣＰＵ２０２がボリュームデータの画像処理を行うが、一部の画像処理をＧＰＵ２０４に実行させてもかまわない。
The
入力装置Ｉ／Ｆ２０５は、入力装置１６０に接続されている。入力装置Ｉ／Ｆ２０５は、入力装置１６０から入力情報を受信して、バス２０１を介して、各構成要素に入力情報を送信する。
The input device I / F 205 is connected to the
記憶装置Ｉ／Ｆ２０６は、記憶装置１５０に接続されている。記憶装置Ｉ／Ｆ２０６は、記憶装置１５０からボリュームデータを受信して、バス２０１を介して、各構成要素にボリュームデータを送信する。なお、記憶装置Ｉ／Ｆ２０６は、記憶装置１５０からボリュームデータに付帯する付帯情報を受信して、バス２０１を介して、各構成要素にボリュームデータとともに付帯情報を送信することもできる。記憶装置Ｉ／Ｆ２０６は、記憶装置１５０の読み書きを行うこともできる。
The storage device I / F 206 is connected to the
図２は、本実施例の画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、図１に示すように、ハードディスク、サーバなどの記憶装置１５０、マウスやキーボードなどの入力装置１６０、ディスプレイ、モニタなどからなる表示装置１７０に接続されている。
FIG. 2 is a block diagram illustrating a configuration of the
画像処理装置１００は、記憶装置１５０からボリュームデータを取得するボリュームデータ取得部１０１と、入力装置１６０から入力情報を取得する入力情報取得部１０２とを備えている。また、画像処理装置１００は、入力情報に基づいて投影画像の投影条件を設定する投影条件設定部１０３と、投影条件設定部１０３において設定された投影条件に基づいて投影順を設定する投影順設定部１０４と、投影順設定部１０４において設定された投影順に基づいてボリュームデータから投影画像を生成する画像生成部１０５と、画像生成部１０５において生成された投影画像を表示装置１７０に出力する画像出力部１０６とを備えている。画像処理装置１００は、画像生成部１０５における投影画像の生成を中断させる中断部１１０を備えている。
The
ボリュームデータ取得部１０１は、ボリュームデータを記憶している記憶装置１５０からボリュームデータを読み出す。読み出されたボリュームデータは、図１に示されるＲＡＭ２０３に格納される。なお、当該読出処理と格納処理は、他の処理が実行される前に予め実行される。図２に示すように、ボリュームデータ取得部１０１で取得されたボリュームデータは、画像生成部１０５に入力される。ボリュームデータは、ＣＴやＭＲＩなどの画像診断装置が生成した画像データであり、３次元空間を格子状に区切った領域毎の濃度や密度などの情報である。つまり、ボリュームデータは、３次元空間に分布する濃度や密度などの情報である。
The volume
画像生成部１０５は、ボリュームデータ取得部１０１で取得されたボリュームデータに対してボリュームレンダリングを行い、投影画像を生成する。
The
図３は、投影画像を生成する際に用いられるボリュームレンダリングの模式図である。ボリュームレンダリングの一手法であるレイキャスティングにおいては、画像生成部１０５は、視点３００から仮想的なスクリーン３０１の各画素に対して伸びる直線（視線）に沿って、適当な間隔でボリュームデータ３０２のボクセル値をサンプリングして画素値に加算する。具体的には、画像生成部１０５は、各画素に対して伸びる直線（視線）に沿って各ボクセル値と不透明度との積を加算していき、不透明度における和が１となったときまでに加算された加算値を画素値として出力する。また、画像生成部１０５は、各画素に対して伸びる直線（視線）に沿って各ボクセル値と不透明度との積を加算していき、ボリュームデータ３０２を通過するまでに加算された加算値を画素値として出力する。画像生成部１０５は、投影処理をスクリーン３０１の全ての画素について行うことで、スクリーン３０１全体の投影画像を生成する。
FIG. 3 is a schematic diagram of volume rendering used when generating a projection image. In ray casting, which is a method of volume rendering, the
投影画像は、操作者が被検者の患部を観察するために用いられる。よって、ボリュームデータの位置、大きさ、視点の位置、視線の向きといった投影条件を、操作者による入力情報に応じて変更可能とし、患部などの注目領域を詳細に観察可能とするのが一般的である。この場合、入力装置１６０（マウスやキーボード）を用いて、投影条件の変更がなされる。 The projection image is used by the operator to observe the affected area of the subject. Therefore, the projection conditions such as the position, size, viewpoint position, and line-of-sight direction of the volume data can be changed according to the input information by the operator, and the attention area such as the affected part can be observed in detail. It is. In this case, the projection condition is changed using the input device 160 (mouse or keyboard).
入力情報取得部１０２は、入力装置１６０から入力情報を取得する。入力情報とは、マウスやキーボードなどから入力された入力情報である。入力情報には、投影に関する情報が含まれる。入力情報取得部１０２で取得された入力情報は、投影条件設定部１０３に入力される。
The input
投影条件設定部１０３は、入力情報取得部１０２で取得された入力情報に基づいて、ボリュームデータの位置、大きさ、視点の位置、視線の向きといった投影条件を設定する。例えば、操作者は、入力装置１６０を用いて、図３に示す視点３００の位置を移動させることができる。操作者は、入力装置１６０を用いて、ボリュームデータ３０２の位置を移動させることができる。なお、投影条件設定部１０３は、入力情報取得部１０２が取得した入力情報が、投影条件設定部１０３で設定された投影条件が変更されるか否かを判定してもよい。投影条件の変更である場合、後段の投影順設定部１０４、中断部１１０に対して、投影条件の変更情報を出力する。投影条件設定部１０３で設定された投影条件が変更される場合、中断部１１０は、画像生成部１０５における投影画像の生成を中断させる。
Based on the input information acquired by the input
投影順設定部１０４は、投影条件設定部１０３において設定された投影条件に基づいて投影順を設定する。具体的には、投影順設定部１０４は、複数の解像度で段階的に投影画像が生成されるように投影順を設定する。例えば、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が生成されるように、投影順を設定することができる。初期では、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が順次生成されるように、投影順が設定されている。
The projection
なお、投影順設定部１０４は、高解像度から次第に低解像度に投影されて投影画像が順次生成されるように、投影順を任意に設定することもできる。つまり、投影順設定部１０４は、複数の解像度に基づいて投影順を設定する。
Note that the projection
画像生成部１０５は、投影順設定部１０４で設定された投影順に従って、複数の解像度で投影画像を生成する。図４は、段階的投影方法によって表示される投影画像を示す図である。図４（Ａ）〜図４（Ｃ）は解像度が異なる投影画像である。ここでは、低解像度から次第に高解像度に投影されて投影画像が生成されるようになっている。
The
図４（Ａ）は、高速に投影処理を行うことができる低解像度の投影画像の例である。操作者が入力装置１６０に対して入力した後に低解像度の投影画像が表示装置１７０に表示される。操作者が入力装置１０６に対して入力を止めてから時間が経つに従い、図４（Ｂ）、図４（Ｃ）と段階的に解像度の高い投影画像が表示装置１７０に表示される。画像生成部１０５は、低解像度から高解像度へと段階的に投影画像を生成することができる。
FIG. 4A is an example of a low-resolution projection image that can be projected at high speed. After the operator inputs to the
図５は、画像生成部１０５において投影を行う画素を示すイメージ図である。ここでは、低解像度（表示解像度の１／１６）、中解像度（表示解像度の４／１６）、高解像度（表示解像度の１２／１６）の３つの段階を示している。低解像度、中解像度、高解像度はそれぞれ図５（Ａ）、図５（Ｂ）、図５（Ｃ）に対応している。図５において、○となっている画素は投影を行う画素であり、×は先に生成した投影画像を流用する画素を示している。
FIG. 5 is an image diagram showing pixels to be projected in the
具体的には、まず、画像生成部１０５は、図５（Ａ）に示すように、低解像度の投影画像を生成する。低解像度の投影画像が表示装置１７０に表示される。
Specifically, first, the
そして、画像生成部１０５が低解像度の投影画像を生成した後に、画像生成部１０５は、図５（Ａ）の低解像度の投影画像と、図５（Ｂ）に示される中解像度の投影画像を合成して、投影画像を生成する。そして、画像生成部１０５が中解像度の投影画像を生成した後に、画像生成部１０５は、図５（Ａ）の低解像度の投影画像と、図５（Ｂ）に示される中解像度の投影画像と、図５（Ｃ）に示される高解像度の投影画像を合成して、投影画像を生成する。画像生成部１０５によって生成された投影画像は、スクリーン上の全ての画素が生成され、画像生成部１０５は最高解像度の投影画像を生成したことになる。
Then, after the
なお、図５において無印となっている投影処理を行わなかった画素に関しては、画像生成部１０５は、投影処理を行った○の画素から補間してもよい。図５（Ａ）の○の各画素について、画像生成部１０５は、その画素を含めた右下方向の４×４の矩形領域にその画素値をコピーして投影画像を生成してもよい。同様にして、図６（Ｂ）の投影画像であれば、画像生成部１０５は、２×２の矩形領域に対してコピーして投影画像を生成してもよい。
Note that for the pixels that have not been subjected to the projection processing that is not marked in FIG. 5, the
画像出力部１０６は、画像生成部１０５によって生成された投影画像を表示装置１７０の解像度に変換して、表示装置１７０に出力する。
The
図６、７は、本実施例における画像処理装置１００の処理を示すフローチャートである。以降、図６、７を用いて、詳細に説明する。
6 and 7 are flowcharts showing processing of the
Ｓ３００は、ボリュームデータの位置、大きさ、視点の位置、視線の向きといった投影条件を初期化するステップであり、ＣＰＵ２０２で実行される。ここでは、投影条件設定部１０３における投影条件が初期化される。
S300 is a step of initializing projection conditions such as the position, size, viewpoint position, and line-of-sight direction of the volume data, and is executed by the
Ｓ３０１は、投影画像表示の準備動作を行うステップである。表示装置１７０の最高解像度の１／１６の解像度（低解像度）、最高解像度の４／１６の解像度（中解像度）、最高解像度の１２／１６の解像度（高解像度）の各投影画像を初期化する。ＣＰＵ２０２で実行される。ここでは、画像生成部１０５において生成された投影画像が表示装置１７０に表示することができるように、ＲＡＭ２０３などのメモリ容量の確保が行われる。
S301 is a step of performing a preparatory operation for displaying a projected image. Initializing each of the projection images of 1/16 resolution (low resolution), 4/16 resolution (medium resolution), and 12/16 resolution (high resolution) of the
Ｓ３０２は、複数の解像度に応じて投影順を設定するステップであり、ＣＰＵ２０２で実行される。投影順設定部１０４は、複数の解像度で段階的に投影画像が生成されるように投影順を設定する。例えば、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が生成されるように、投影順を設定する。投影条件設定部１０３で設定された投影条件が変更される場合、投影順設定部１０４は投影順を変更する。
S302 is a step of setting the projection order according to a plurality of resolutions, and is executed by the
Ｓ３０３は、投影順に基づく解像度を取り出し（ここで取り出した解像度は投影順から削除される）、解像度に対応する投影画像を生成するステップであり、ＣＰＵ２０２で実行される。各解像度で投影が行われる画素は、図５の○となっている画素である。画像生成部１０５は画素ごとに投影処理を順次行なう。そして、画像生成部１０５は、複数の解像度の投影画像を記憶する。なお、画像生成部１０５は、先に生成した投影画像で投影を行ってある画素、すなわち図５の×となっている画素については、投影処理を省略する。
S303 is a step of extracting the resolution based on the projection order (the resolution extracted here is deleted from the projection order) and generating a projection image corresponding to the resolution, and is executed by the
Ｓ３０４は、Ｓ３０３で生成された投影画像を表示するステップであり、ＣＰＵ２０２で実行される。画像生成部１０５は、複数の解像度の投影画像を合成し、表示装置１７０は合成された投影画像を表示する。
S304 is a step of displaying the projection image generated in S303, and is executed by the
具体的には、まず、画像生成部１０５で生成された投影画像をＧＰＵ２０４のフレームバッファにコピーする。次に、低解像度で投影済みの画素（図５の×となっている画素）について、対応する低解像度の投影画像から同じフレームバッファにコピーする。次に、画像生成部１０５で投影処理を行わなかった画素（図５の無印の画素）について、近傍の投影済みの画素を同じフレームバッファにコピーする。そして、フレームバッファを表示装置１７０に出力する。
Specifically, first, the projection image generated by the
Ｓ３０５は、全ての解像度で投影画像を生成したか判定するステップであり、ＣＰＵ２０２で実行される。画像生成部１０５は、全ての解像度で投影画像を生成したか判定する。全ての解像度で投影画像を生成した場合、本フローを終了し、そうでなければＳ３０３に進む。具体的には、画像生成部１０５は投影順設定部１０４で設定された投影順が空かどうかで判定する。投影順が空であった場合には、本フローを終了し、そうでなければＳ３０３に進む。
S <b> 305 is a step of determining whether projection images have been generated at all resolutions, and is executed by the
なお、Ｓ３００〜Ｓ３０５の実行中に操作者が入力装置１６０に対して入力した場合には、制御はＳ３０６に移る。
If the operator inputs to the
図７に示すように、Ｓ３０６は、操作者が入力装置１６０に対して入力した入力情報を取得するステップであり、ＣＰＵ２０２で実行される。入力情報取得部１０２は、入力装置１６０から入力情報を受け取り、入力情報取得部１０２で取得された入力情報は、投影条件設定部１０３に入力される。
As shown in FIG. 7, S <b> 306 is a step of acquiring input information input to the
Ｓ３０７は取得した操作が、投影位置や投影条件の変更など、投影条件の変更であったか否かを判定するステップであり、ＣＰＵ２０２で実行される。投影条件設定部１０３は、入力情報取得部１０２が取得した入力情報が、投影条件設定部１０３で設定された投影条件が変更されたか否かを判定する。投影条件が変更であった場合にはＳ３０８に進み、そうでなければＳ３０６に戻る。
S307 is a step of determining whether or not the acquired operation is a change in projection conditions such as a change in projection position or projection condition, and is executed by the
Ｓ３０８は、Ｓ３０３で実行していた投影処理を中断するステップであり、ＣＰＵ２０２で実行される。投影条件設定部１０３で設定された投影条件が変更された場合、中断部１１０は、画像生成部１０５における投影画像の生成を中断させる。このとき、画像生成部１０５で中断時に投影処理を行っていた解像度に対応する投影画像は未完成であるため初期化される。なお、Ｓ３０３の投影処理を実行していない場合には、特に何もせずＳ３０９に進む。
S308 is a step of interrupting the projection processing executed in S303, and is executed by the
Ｓ３２０は、投影処理が中断された後に投影処理を行う投影順を設定するステップであり、ＣＰＵ２０２で実行される。投影順設定部１０４は、中断された投影処理に応じて、変更された投影条件における高解像度の投影画像が最初に生成されるように、投影順を設定する。また、投影順設定部１０４は、変更された投影条件において、中断された投影処理における投影画像の解像度と同じ解像度の投影画像が最初に生成されるように、投影順を設定することもできる。
S320 is a step of setting the projection order in which the projection processing is performed after the projection processing is interrupted, and is executed by the
次に図８を用いて、本発明の画像処理装置１００の処理を具体的に説明する。図８は、画像処理装置１００の処理のタイムチャートを示している。図８（ａ）に示すように、視点情報である視点１を含む投影条件が初期に設定されているとする。ここでは、投影順設定部１０４は、低解像度から次第に高解像度に投影されて投影画像が順次生成されるように、投影順が設定されている。
Next, the processing of the
時刻ｔ１から画像生成部１０５による第１投影処理が開始される。投影順設定部１０４は、低解像度から投影されるため、第１投影処理は低解像度の投影処理である。
The first projection processing by the
時刻ｔ２において、画像生成部１０５による第１投影処理が終了し、画像生成部１０５による第２投影処理が開始される。第２投影処理は中解像度の投影処理であり、第１投影処理よりも時間がかかる投影処理である。時刻ｔ２において、画像生成部１０５によって低解像度の投影画像が生成され、表示装置１７０は低解像度の投影画像を表示する。
At time t2, the first projection process by the
時刻ｔ３において、画像生成部１０５による第２投影処理が終了し、画像生成部１０５による第３投影処理が開始される。第３投影処理は高解像度の投影処理であり、第１投影処理と第２投影処理よりも時間がかかる投影処理である。時刻ｔ３において、画像生成部１０５によって中解像度の投影画像が生成され、視点１における低解像度の投影画像と中解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。
At time t3, the second projection process by the
時刻ｔ４において、画像生成部１０５による第３投影処理が終了する。画像生成部１０５によって高解像度の投影画像が生成され、視点１における低解像度の投影画像と中解像度の投影画像と高解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。
At time t4, the third projection process by the
図８（ｂ）は、画像生成部１０５による投影処理が処理中であるときに、投影条件が変更された形態を示している。ここでは、視点１における第３投影処理が処理中であるときに、視点１から視点２に投影条件が変更された形態を示している。
FIG. 8B shows a form in which the projection condition is changed when the projection processing by the
時刻ｔ５において、視点１における第３投影処理において投影処理が処理中であるときに、視点１から視点２に投影条件が変更された場合、画像生成部１０５は視点２における第３投影処理を開始する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。時刻ｔ５において、中断部１１０は、視点１における第３投影処理を中断させている。
At time t5, when the projection process is being processed in the third projection process at the viewpoint 1, when the projection condition is changed from the viewpoint 1 to the viewpoint 2, the
時刻ｔ６において、画像生成部１０５による視点２における第３投影処理が終了し、画像生成部１０５による視点２における第１投影処理が開始される。画像生成部１０５によって視点２における高解像度の投影画像が生成され、視点１における低解像度の投影画像と中解像度の投影画像と、視点２における高解像度の投影画像が合成される。つまり、画像生成部１０５は、投影条件（視点）と解像度が異なる投影画像を合成することにより、低解像度〜高解像度のすべての解像度を含んだ投影画像を合成することができる。つまり、投影条件を変更する前に生成された投影画像と投影条件を変更した後に生成された投影画像は、互いに投影条件と解像度が異なる。表示装置１７０は合成された投影画像（合成画像）を表示する。
At time t6, the third projection process at the viewpoint 2 by the
時刻ｔ６から開始される視点２における第１投影処理は低解像度の投影処理である。画像生成部１０５によって視点２における第１投影処理を行うのは、視点１における低解像度の投影画像を置き換える（書き換える）ためである。
The first projection process at the viewpoint 2 that starts at time t6 is a low-resolution projection process. The reason why the
時刻ｔ７において、画像生成部１０５による視点２における第１投影処理が終了し、画像生成部１０５による視点２における第２投影処理が開始される。画像生成部１０５によって視点２における低解像度の投影画像が生成され、視点１における中解像度の投影画像と、視点２における高解像度の投影画像と低解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。
At time t7, the first projection process at the viewpoint 2 by the
時刻ｔ７から開始される視点２における第２投影処理は中解像度の投影処理である。画像生成部１０５によって視点２における第２投影処理を行うのは、視点１における中解像度の投影画像を置き換える（書き換える）ためである。
The second projection process at the viewpoint 2 that starts at time t7 is a medium-resolution projection process. The reason why the
時刻ｔ８において、画像生成部１０５による視点２における第２投影処理が終了する。画像生成部１０５によって視点２における中解像度の投影画像が生成され、視点２における高解像度の投影画像と中解像度の投影画像と低解像度の投影画像が合成される。つまり、時刻ｔ８において、視点２における低解像度〜高解像度のすべての解像度を含んだ投影画像を合成することができる。画像生成部１０５は、変更後の同じ投影条件であり、解像度が異なる投影画像を合成することにより、投影画像を生成することができる。表示装置１７０は合成された投影画像を表示する。
At time t8, the second projection process at the viewpoint 2 by the
ここで、時刻ｔ５において、視点１から視点２に投影条件が変更された場合、画像生成部１０５は視点２における第１投影処理〜第３投影処理を実行すると、すべての解像度を含んだ投影画像を生成すると時刻ｔ８になる。本実施例によれば、時刻ｔ６において、画像生成部１０５はすべての解像度を含んだ投影画像を合成して投影画像を生成することができる。よって、高解像度の投影画像の表示に要する時間を短縮することができる。
Here, when the projection condition is changed from the viewpoint 1 to the viewpoint 2 at time t5, when the
図８（ｃ）は、画像生成部１０５による投影処理が処理中であるときに、投影条件が変更された形態を示している。ここでは、第２投影処理が処理中であるときに、視点１から視点２に投影条件が変更された形態を示している。
FIG. 8C shows a form in which the projection conditions are changed when the projection processing by the
時刻ｔ９において、視点１における第２投影処理において投影処理が処理中であるときに、視点１から視点２に投影条件が変更された場合、画像生成部１０５は視点２における第２投影処理を開始する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。時刻ｔ９において、中断部１１０は、視点１における第２投影処理を中断させている。
At time t <b> 9, when the projection process is being processed in the second projection process at the viewpoint 1, if the projection condition is changed from the viewpoint 1 to the viewpoint 2, the
時刻ｔ１０において、画像生成部１０５による視点２における第２投影処理が終了し、画像生成部１０５による視点２における第３投影処理が開始される。画像生成部１０５によって視点２における中解像度の投影画像が生成され、視点１における低解像度の投影画像と、視点２における中解像度の投影画像が合成される。つまり、画像生成部１０５は、投影条件（視点）と解像度が異なる投影画像を合成することにより、低解像度と中解像度を含んだ投影画像を合成することができる。表示装置１７０は合成された投影画像を表示する。
At time t10, the second projection process at the viewpoint 2 by the
時刻ｔ１１において、画像生成部１０５による視点２における第３投影処理が終了し、画像生成部１０５による視点２における第１投影処理が開始される。画像生成部１０５によって視点２における高解像度の投影画像が生成され、視点１における低解像度の投影画像と、視点２における高解像度の投影画像と中解像度の投影画像が合成される。表示装置１７０は合成された投影画像を表示する。
At time t11, the third projection process at the viewpoint 2 by the
時刻ｔ１１から開始される視点２における第１投影処理は低解像度の投影処理である。画像生成部１０５によって視点２における第１投影処理を行うのは、視点１における低解像度の投影画像を置き換える（書き換える）ためである。
The first projection process at the viewpoint 2 that starts at time t11 is a low-resolution projection process. The reason why the
時刻ｔ１２において、画像生成部１０５による視点２における第１投影処理が終了する。画像生成部１０５によって視点２における低解像度の投影画像が生成され、視点２における高解像度の投影画像と中解像度の投影画像と低解像度の投影画像が合成される。つまり、時刻ｔ１２において、視点２における低解像度〜高解像度のすべての解像度を含んだ投影画像を合成することができる。画像生成部１０５は、変更後の同じ投影条件であり、解像度が異なる投影画像を合成することにより、投影画像を生成することができる。表示装置１７０は合成された投影画像を表示する。
At time t12, the first projection processing at the viewpoint 2 by the
以上、本実施例によれば、予め設定された投影順に従って複数の解像度でボリュームデータから投影画像を生成する画像生成部１０５と、投影画像が生成される毎に投影画像を表示装置１７０に出力する画像出力部１０６とを備え、画像生成部１０５において投影画像を生成している際に投影に関する投影条件が変更された場合、画像生成部１０５は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成する。
As described above, according to this embodiment, the
よって、段階的投影方法において、投影条件を変更する場合、所望の投影画像の表示に要する時間を短縮することができる。なお、所望の投影画像は、低解像度〜高解像度の投影画像が含まれた最高解像度の投影画像であってもよい。 Therefore, when changing the projection condition in the stepwise projection method, the time required for displaying a desired projection image can be shortened. Note that the desired projection image may be the highest resolution projection image including low resolution to high resolution projection images.
次に実施例２について説明する。実施例１と異なる点は、画像処理装置１００は、予め設定された投影条件と投影条件設定部１０３で設定した投影条件との変更量を算出する変更量算出部１１１とを備え、投影順設定部１０４は変更量に応じて投影順を設定する点である。図９は、本実施例の画像処理装置１００の構成を示すブロック図である。ここでは、図２に示した画像処理装置１００の構成と異なる点のみ説明する。
Next, Example 2 will be described. The difference from the first embodiment is that the
変更量算出部１１１は、変更前後の投影条件がどの程度変更されるかを算出する。また、変更量算出部１１１は、変更前後の投影条件に基づいて、画像生成部１０５で生成される投影画像がどの程度変更されるかを算出してもよい。投影順設定部１０４は、変更量算出部１１１において算出された変更量に基づいて、投影順を設定する。
The change
図１０は、本実施例における画像処理装置１００の処理を示すフローチャートである。実施例１で説明した図７に置き換わるフローチャートである。以降、図１０を用いて、詳細に説明する。
FIG. 10 is a flowchart illustrating processing of the
Ｓ３０６は、操作者が入力装置１６０に対して入力した入力情報を取得するステップであり、ＣＰＵ２０２で実行される。入力情報取得部１０２は、入力装置１６０から入力情報を受け取り、入力情報取得部１０２で取得された入力情報は、投影条件設定部１０３に入力される。
S <b> 306 is a step of acquiring input information input to the
Ｓ３０７は、入力情報取得部１０２が取得した入力情報が、投影位置や投影条件の変更など、投影条件の変更であったか否かを判定するステップであり、ＣＰＵ２０２で実行される。投影条件設定部１０３は、入力情報取得部１０２が取得した入力情報が、投影条件設定部１０３で設定された投影条件の変更であるか否かを判定する。投影条件が変更であった場合にはＳ３０８に進み、そうでなければＳ３０６に戻る。
S307 is a step of determining whether or not the input information acquired by the input
Ｓ３０８は、Ｓ３０３で実行していた投影処理を中断するステップであり、ＣＰＵ２０２で実行される。中断部１１０は、画像生成部１０５における投影画像の生成を中断させる。このとき、画像生成部１０５で中断時に投影処理を行っていた解像度に対応する投影画像は未完成であるため初期化される。なお、Ｓ３０３の投影処理を実行していない場合には、特に何もせずＳ３０９に進む。
S308 is a step of interrupting the projection processing executed in S303, and is executed by the
Ｓ３０９は、Ｓ３１０からＳ３１４のステップを、低解像度から高解像度まで繰り返し行うステップであり、ＣＰＵ２０２で実行される。
S309 is a step of repeatedly performing steps S310 to S314 from low resolution to high resolution, and is executed by the
Ｓ３１０は、変更前後の投影条件がどの程度変更されるかを算出するステップである。若しくは、変更前の投影条件での投影画像と変更後の投影条件での投影画像がどの程度変更されるかを算出するステップであり、ＣＰＵ２０２で実行される。変更量算出部１１１は、予め設定された投影条件と投影条件設定部１０３で設定した投影条件との変更量を算出する。変更量算出部１１１は、変更前の投影条件での投影画像と変更後の投影条件での投影画像を比較して変更量を算出する。
S310 is a step of calculating how much the projection conditions before and after the change are changed. Alternatively, this is a step of calculating how much the projection image under the projection condition before the change and the projection image under the projection condition after the change are changed. The change
図１１は、ボリュームデータを移動した投影条件の変更を例示したものである。破線のボリュームデータ４００は、移動前のボリュームデータを示している。実線のボリュームデータ４０１は、移動後のボリュームデータを示している。
FIG. 11 shows an example of changing the projection condition in which the volume data is moved. Broken
ボリュームデータを移動量は、移動前のボリュームデータ４００の頂点４０２と移動後のボリュームデータ４０１の頂点４０３から変更量として求めることができる。ボリュームデータの頂点の移動量が多いほど、変更量も多いことになる。よって、本実施例では、移動前のボリュームデータ４００の頂点を投影してスクリーン座標系における頂点座標を取得する。移動後のボリュームデータ４０１の頂点を投影してスクリーン座標系における頂点座標を取得する。変更量算出部１１１は、スクリーン座標系における頂点の移動量４０６を変更量として算出する。なお、変更量算出部１１１は、スクリーン座標系における頂点座標の移動量を８つの全頂点について合計したものを変更量として算出することもできる。
The movement amount of the volume data can be obtained as a change amount from the
なお、変更量の算出方法は、本実施例に限定されることはなく、変更量に相関があれば、他の方法でもよい。 The method for calculating the change amount is not limited to the present embodiment, and other methods may be used as long as the change amount has a correlation.
Ｓ３１１は、Ｓ３１０で求めた変更量が多いか判定するステップであり、ＣＰＵ２０２で実行される。本実施例では、頂点座標の移動量としているため、例えばＳ３１０で求めた変更量が閾値を超えればＳ３１２に進み、そうでなければＳ３１４に進む。なお、閾値は、例えば１としては設定することができる。なお、投影するボリュームデータの種類や投影画像の解像度に合わせて閾値の変更が可能である。
S <b> 311 is a step of determining whether the amount of change obtained in S <b> 310 is large, and is executed by the
Ｓ３１２は、対応する解像度の投影画像を初期化するステップであり、ＣＰＵ２０２で実行される。画像生成部１０５において生成された投影画像が表示装置１７０に表示することができるように、ＲＡＭ２０３などのメモリ容量の確保が行われる。Ｓ３１２は、Ｓ３０１と同様である。
S <b> 312 is a step of initializing a projection image having a corresponding resolution, and is executed by the
Ｓ３１３は、Ｓ３１１で変更量が少ないとされた解像度よりも先に実行されるよう、投影順に設定するステップであり、ＣＰＵ２０２で実行される。この処理の後、Ｓ３０３に戻る。投影順設定部１０４は、移動後のボリュームデータにおいて高解像度から次第に低解像度に投影されて投影画像が生成されるように、投影順を設定する。
S313 is a step of setting the projection order so that it is executed before the resolution determined to have a small change amount in S311 and is executed by the
ここで、図１２を用いて、本発明の画像処理装置１００の処理を具体的に説明する。図１２は、画像処理装置１００の処理のタイムチャートを示している。
Here, the processing of the
変更量が少ないと判定された場合、図１２（ａ）に示す処理が行われる。時刻ｔ５において、移動前のボリュームデータにおける第３投影処理において投影処理が処理中であるときに、移動後のボリュームデータに投影条件が変更された場合、画像生成部１０５は移動後のボリュームデータにおける第３投影処理を開始する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。以降の処理は、図８（ａ）の投影処理と同様であり、視線の変更とボリュームデータの移動の違いのみであるため、ここでは説明を省略する。
When it is determined that the amount of change is small, the process shown in FIG. At time t5, when the projection process is being performed in the third projection process for the volume data before the movement, if the projection condition is changed to the volume data after the movement, the
Ｓ３１４は、Ｓ３１１で変更量が多いとされた解像度よりも後に実行されるよう、投影順に設定するステップであり、ＣＰＵ２０２で実行される。この処理の後、Ｓ３０３に戻る。変更量が多いと判定された場合、図１２（ｂ）に示す処理が行われる。時刻ｔ５において、移動前のボリュームデータにおける第３投影処理において投影処理が処理中であるときに、移動後のボリュームデータに投影条件が変更された場合、画像生成部１０５は移動後のボリュームデータにおける第１投影処理を開始する。つまり、投影順設定部１０４は、移動後のボリュームデータにおいて低解像度から次第に高解像度に投影されて投影画像が生成されるように、投影順を設定する。このとき、中断部１１０は、画像生成部１０５における投影画像の生成を中断させている。
S314 is a step of setting the projection order so as to be executed after the resolution determined to have a large change amount in S311 and is executed by the
つまり、変更量が閾値より多いと判定された場合、画像生成部１０５は、投影条件が異なる投影画像を合成しない。例えば、視点１と視点２が所定以上離れていた場合、画像生成部１０５は、投影条件が異なる投影画像を合成しないとすることもできる。
That is, when it is determined that the amount of change is greater than the threshold, the
以上に示した通り、投影条件が変更された際に、変更量が多い解像度が先に投影され、そうでなければ後に投影する投影順が生成される。一般に、投影条件が変更された場合、低解像になるほど変更量は少ない傾向にある。従って、既に生成済みの投影画像から変更の少ない低解像度の投影画像の生成が後回しとなり、より早いタイミングで、最高解像度の投影画像を出力することができる。 As described above, when the projection condition is changed, a resolution with a large amount of change is projected first, and if not, a projection order to be projected later is generated. Generally, when the projection condition is changed, the amount of change tends to be smaller as the resolution becomes lower. Therefore, generation of a low-resolution projection image with little change from the already generated projection image is postponed, and a projection image with the highest resolution can be output at an earlier timing.
なお、低解像度の投影画像生成が後回しとなるのは、投影画像の変更量が少ない場合のみなので、大きく画質を損なうことはない。また、時間が経つにつれ、後回しになった解像度の投影画像も生成される。 Note that the low-resolution projection image generation is postponed only when the amount of change in the projection image is small, so that the image quality is not greatly impaired. In addition, as time passes, projection images with later resolution are also generated.
１００ 画像処理装置
１０２ 入力情報取得部
１０３ 投影条件設定部
１０４ 投影順設定部
１０５ 画像生成部
１０６ 画像出力部
１１０ 中断部
１１１ 変更量算出部
１５０ 記憶装置
１６０ 入力装置
１７０ 表示装置
DESCRIPTION OF
Claims (10)
前記画像生成部において投影画像を生成している際に投影に関する投影条件が変更された場合、前記画像生成部は、当該変更前に生成された投影画像と変更後に生成された投影画像を合成した投影画像を生成することを特徴とする画像処理装置。 An image generation unit that generates a projection image from volume data at a plurality of resolutions according to a preset projection order, and an image output unit that outputs the projection image to a display device each time a projection image is generated,
When a projection condition related to projection is changed while generating a projection image in the image generation unit, the image generation unit combines the projection image generated before the change and the projection image generated after the change. An image processing apparatus that generates a projection image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015067069A JP2016185247A (en) | 2015-03-27 | 2015-03-27 | Image processing system and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015067069A JP2016185247A (en) | 2015-03-27 | 2015-03-27 | Image processing system and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016185247A true JP2016185247A (en) | 2016-10-27 |
Family
ID=57202899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015067069A Pending JP2016185247A (en) | 2015-03-27 | 2015-03-27 | Image processing system and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016185247A (en) |
-
2015
- 2015-03-27 JP JP2015067069A patent/JP2016185247A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8970580B2 (en) | Method, apparatus and computer-readable medium rendering three-dimensional (3D) graphics | |
| CN108122266B (en) | Method, device and storage medium for caching rendering textures of skeleton animation | |
| US20140321771A1 (en) | Techniques for real-time clearing and replacement of objects | |
| KR102279300B1 (en) | Virtual object display control apparatus, virtual object display system, virtual object display control method, and virtual object display control program | |
| US11238645B2 (en) | Method and system for computer graphics rendering | |
| JP2020173529A (en) | Information processing device, information processing method, and program | |
| EP4258221A2 (en) | Image processing apparatus, image processing method, and program | |
| CN101310303B (en) | Method for displaying high-resolution image data and time-varying low-resolution image data | |
| CN114928718B (en) | Video monitoring method, device, electronic equipment and storage medium | |
| JP5111900B2 (en) | Rendering method and apparatus using point interpolation | |
| JP5413263B2 (en) | Image generation method | |
| JP4827659B2 (en) | Image processing apparatus, image processing method, and computer program | |
| CN111133474B (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP2016185247A (en) | Image processing system and image processing method | |
| KR101227155B1 (en) | Graphic image processing apparatus and method for realtime transforming low resolution image into high resolution image | |
| JP2016090906A (en) | Image processor, image processing method, and program | |
| JP2015197374A (en) | Three-dimensional shape estimation device and three-dimensional shape estimation method | |
| JP5994320B2 (en) | Depth production support apparatus, depth production support method, and program | |
| KR101839963B1 (en) | Overlapped Area Removal-based Image Interpolation method for head mounted display | |
| JP5966837B2 (en) | Depth production support apparatus, depth production support method, and program | |
| JP2012039331A (en) | Parallax image creation device, parallax image creation method, program, and storage medium | |
| JP2005115011A (en) | Image display apparatus, image display method, image display program and recording medium recording the program | |
| Dong et al. | Occlusion handling method for ubiquitous augmented reality using reality capture technology and GLSL | |
| JP5721410B2 (en) | Image processing apparatus, image processing method, and program | |
| CN118196348A (en) | Image display method and display device, electronic device and readable storage medium |