JP2012221448A - Method and device for visualizing surface-like structures in volume data sets - Google Patents
Method and device for visualizing surface-like structures in volume data sets Download PDFInfo
- Publication number
- JP2012221448A JP2012221448A JP2011089858A JP2011089858A JP2012221448A JP 2012221448 A JP2012221448 A JP 2012221448A JP 2011089858 A JP2011089858 A JP 2011089858A JP 2011089858 A JP2011089858 A JP 2011089858A JP 2012221448 A JP2012221448 A JP 2012221448A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- calculated
- predetermined position
- local coordinate
- lcs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 90
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 15
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 88
- 230000008859 change Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- SYUPLLHVMCLXEM-UHFFFAOYSA-N 4,5-dichloro-2-(3-methylphenyl)pyridazin-3-one Chemical compound CC1=CC=CC(N2C(C(Cl)=C(Cl)C=N2)=O)=C1 SYUPLLHVMCLXEM-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004993 emission spectroscopy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Generation (AREA)
Abstract
Description
本発明は、ボリュームレンダリング等のボリュームデータセット内の表面様構造を可視化し、特に超音波データ取得によるサンプルデータの実時間レンダリングのためにそのような表面様構造を照明するための方法及び装置に関する。本発明は、具体的には、三次元データボリュームから二次元画像をボリュームレンダリングする三次元医用画像化に関する。更に、本発明は、独立クレーム1及び11に記載された方法及び装置を実施することができるコンピュータプログラム製品に関する。
The present invention relates to a method and apparatus for visualizing surface-like structures in a volume data set such as volume rendering and in particular for illuminating such surface-like structures for real-time rendering of sample data by ultrasound data acquisition. . The present invention specifically relates to 3D medical imaging for volume rendering of 2D images from 3D data volumes. Furthermore, the invention relates to a computer program product capable of implementing the method and apparatus described in
三次元超音波イメージングだけなくCT又はMRイメージングも、一般にデカルト座標系でない座標系でフォーマットされた三次元データを生成する。そのような非デカルト格子は、例えば人間の心臓の像を取得する例えば超音波プローブの音響格子(acoustic grid)である。体積を表わすそのようなデータは、通常、ボリュームレンダリングされる前にデカルト座標系に沿って走査変換される。走査された物体を表示するときは、物体の表面を表示する必要があり、そのような表面は、「できるだけ自然」に表示されなければならない。それを行う一方法は、仮想外部光源を使用し、そのような外部光源の寄与分をボリュームレンダリング積分に組み込むことである。そのような三次元データセットをレンダリングするためにはそのような三次元シェーディングが使用され、三次元シェーディングにはOpenGLやDirectX等のアプリケーションプログラミングインタフェースが使用される。 CT or MR imaging as well as 3D ultrasound imaging generally generates 3D data formatted in a coordinate system that is not a Cartesian coordinate system. Such a non-Cartesian grid is, for example, an acoustic grid of an ultrasound probe that acquires an image of the human heart, for example. Such data representing the volume is typically scan converted along a Cartesian coordinate system before volume rendering. When displaying a scanned object, it is necessary to display the surface of the object, and such a surface must be displayed "as natural as possible". One way to do that is to use a virtual external light source and incorporate such external light source contributions into the volume rendering integration. Such 3D shading is used to render such 3D datasets, and application programming interfaces such as OpenGL and DirectX are used for 3D shading.
Blinn−Phongシェーディングモデル等の照明モデルの場合は、通常、選択された位置におけるシェーディングモデルを評価するために表面法線を定義しなければならない。Blinn−Phongシェーディングモデルは、Phong反射モデルの改良版であり、表示すべき表面の各点に対して実行される。これや他のシェーディングモデルの場合、通常、拡散反射を計算するために光ベクトルとそのような面の特定位置の表面法線を定義し、また正反射を計算するために更に他のベクトル(視線ベクトル又はカメラベクトル等)を定義しなければならない。 For illumination models such as the Blinn-Phong shading model, surface normals must usually be defined to evaluate the shading model at a selected location. The Blinn-Phong shading model is an improved version of the Phong reflection model and is performed for each point on the surface to be displayed. For this and other shading models, it is common to define a light vector and a surface normal at a specific location on such a surface to calculate diffuse reflection, and another vector (line of sight) to calculate specular reflection. Vector or camera vector) must be defined.
特定位置の表面法線を近似する一般的な方法は、前方差分法、後方差分法、中心差分法等の有限差分法(finite differencing scheme)を使用することである。ボリュームデータの場合、そのような表面法線は、次のような空間勾配ベクトルとも呼ばれる3つ全ての次元の差分(空間導関数)を使用して計算される。 A general method for approximating a surface normal at a specific position is to use a finite differencing scheme such as a forward difference method, a backward difference method, or a center difference method. In the case of volume data, such surface normals are calculated using all three dimensional differences (spatial derivatives), also called spatial gradient vectors:
式1
スカラ場の勾配は、最も大きい変化の方向であり、従って、一定位置における等値面(isosurface)の表面法線は、次のような正規化勾配と等しい。 The gradient of the scalar field is the direction of greatest change, so the surface normal of the isosurface at a fixed position is equal to the normalized gradient as
式2
サンプルデータボリュームの勾配を計算する安価で迅速な方法は、中心差分を計算することであり、隣接格子値(neighbouring grid value)が使用される。これは、本出願の図1に示されている。 An inexpensive and quick way to calculate the slope of the sample data volume is to calculate the center difference, and a neighboring grid value is used. This is illustrated in FIG. 1 of the present application.
図1は、人間の心臓等の走査される物体の二次元断面画像を得るために超音波ビーム等のビーム1を送出している音響プローブの先端Aを示す。選択されたサンプル点Pにおける勾配Gを計算するために(ここでは、本発明をよく理解できるように二次元計算だけを示す)、2個の勾配成分Ga及びGbを計算しなければならない。なお、aとbは局所(有限)座標系の軸である。
FIG. 1 shows the tip A of an acoustic probe that emits a
Ga=(f(P+x)−f(P-x))/2
Gb=(f(P-y)−f(P+y))/2
式3
G a = (f (P + x ) −f (P −x )) / 2
G b = (f (P -y ) -f (P + y)) / 2
三次元ボリュームデータセットでは、6個の位置において、三次元ボリュームデータをサンプリングするfの値を求めなければならないことは明らかである。シェーディング作業に使用される中心サンプルf(P)を含め、各陰影位置(例えば、三次元ボクセル空間内の各ボクセル)について7個のfの値を求めなければならない。 Obviously, in the three-dimensional volume data set, the value of f for sampling the three-dimensional volume data must be obtained at six positions. Seven f values must be determined for each shadow location (eg, each voxel in the three-dimensional voxel space), including the center sample f (P) used for the shading operation.
先行技術では、各離散位置における勾配ベクトルを事前に計算することによってそのような計算を高速化することは既知である。三次元デカルト座標系において各離散ボクセル位置で差が計算され、元のスカラ値と一緒に4要素ベクトル(Ga,Gb,Gc,f)で記憶される。性能の点では、そのような三次元ボクセル空間内の面をシェーディングするときの参照数が減少する。シェーディングは、勾配ベクトル成分とスカラ値だけを使用することで行われ、事前に計算された4要素ベクトルを使用することによってそれらの位置を照明できる。しかしながら、主な欠点は、データサイズの増大である。ボリュームデータは少なくとも4倍に増え、これは、少ないメモリ量のマシンでは問題になりやすい。 In the prior art, it is known to speed up such calculations by pre-calculating gradient vectors at each discrete location. The difference is calculated at each discrete voxel position in the three-dimensional Cartesian coordinate system and stored as a four-element vector (G a , G b , G c , f) along with the original scalar value. In terms of performance, the number of references when shading a surface in such a three-dimensional voxel space is reduced. Shading is done by using only gradient vector components and scalar values, and their positions can be illuminated by using pre-calculated 4-element vectors. However, the main drawback is an increase in data size. Volume data increases at least four times, which can be a problem on machines with small amounts of memory.
非デカルトデータの場合、空間導関数(勾配)とその結果得られる表面法線の数値計算はもっと複雑になり、照明計算は、全域デカルト座標系に基づき、光源、観察者位置(カメラ位置)等は、そのようなデカルト座標系で与えられる。Blinn−PhongやPhong等の幾つかのシェーディングモデルは全て、シェーディング計算にデカルト座標系を使用する。 In the case of non-Cartesian data, the numerical calculation of the spatial derivative (gradient) and the resulting surface normal becomes more complicated, and the illumination calculation is based on the global Cartesian coordinate system, light source, observer position (camera position), etc. Is given in such a Cartesian coordinate system. Some shading models such as Blinn-Phong and Phong all use a Cartesian coordinate system for shading calculations.
例えばいわゆる音響座標で与えられる超音波データ等の非デカルトデータの場合、Blinn−PhongモデルやPhong反射モデル等のモデルをそのまま使用することはできず、このために前述のように所定のサンプル位置での勾配ベクトルが使用され、前述の差分法のいずれか使用される。これは座標系がデカルト座標系ではないためである。これは図1にも示されている。軸aと軸bを有する局所座標系は、値f(P+x)及びf(P-x)がそのような空間内にないため、方向aの正しい勾配ベクトル成分を提供しない。従って、勾配ベクトルGを計算するために、最初に三次元データセットを再サンプリングしてデカルト座標系のデータにして勾配成分を計算し、これにより、勾配成分は全域デカルト座標系で提供される。 For example, in the case of non-Cartesian data such as ultrasonic data given by so-called acoustic coordinates, a model such as a Blin-Phong model or a Phong reflection model cannot be used as it is, and for this reason, at a predetermined sample position as described above. Gradient vectors are used and any of the difference methods described above are used. This is because the coordinate system is not a Cartesian coordinate system. This is also shown in FIG. A local coordinate system with axes a and b does not provide the correct gradient vector component in direction a because the values f (P + x ) and f (P −x ) are not in such a space. Therefore, in order to calculate the gradient vector G, the three-dimensional data set is first resampled into data in the Cartesian coordinate system to calculate the gradient component, whereby the gradient component is provided in the global Cartesian coordinate system.
別の手法が特許文献1に示されており、この特許では、最初に、音響ドメイン内のデータから勾配が決定され、次にデカルト座標又は表示スクリーンドメインに変換される。変換マトリックスは、サンプリングされた三次元音響データ内の各位置ごとに指定される。前述の解決策は、高価なデカルト座標配置(geometry)へのサンプリング段階を必要とする。 Another approach is shown in US Pat. No. 6,057,056, in which the gradient is first determined from the data in the acoustic domain and then converted to Cartesian coordinates or the display screen domain. A transformation matrix is specified for each position in the sampled three-dimensional acoustic data. The solution described above requires a sampling step into an expensive Cartesian geometry.
従って、本発明の目的は、デカルト座標系で提供されないボリュームデータセット内の表面様構造を可視化し、それにより既知の照明又はシェーディングモデルの使用を可能にする方法及び装置を提供することである。具体的には、本発明は、実時間の画像処理ユニット(GPU)を使用した音響格子におけるボリュームレンダリングを行うための高速勾配計算及び表面照明のソリューションを提供するものとする。 Accordingly, it is an object of the present invention to provide a method and apparatus that visualizes surface-like structures in a volume data set that are not provided in a Cartesian coordinate system, thereby allowing the use of known illumination or shading models. Specifically, the present invention provides a fast gradient calculation and surface illumination solution for volume rendering in acoustic grids using real-time image processing units (GPUs).
本発明は、これらの目的を独立クレーム1及び11の特徴によって解決する。好ましい利点は、対応するそれぞれの従属クレーム内に定義され請求されている。
The present invention solves these objects by the features of
本発明の主な利点は、データをデカルト座標配置に再サンプリングしなくてもよいことであり、本発明は、また、計算をより簡単に高速で実行し、それにより既知のシェーディング及び照明モデルの使用を可能にすることである。 The main advantage of the present invention is that the data does not have to be resampled into Cartesian coordinate arrangements, and the present invention also makes the calculations easier and faster, thereby making known shading and lighting models It is possible to use.
本発明の方法は、
a)前記ボリュームデータセットのサンプル点(P)において局所座標系(LCSi)を定義する段階と、
b)前記サンプル点(Pi)の前記局所座標系(LCSi)内の勾配ベクトル成分(Gai,Gbi,Gci)を計算する段階と、
c)前記外部パラメータを全体座標系(OCS)から選択されたサンプル点又は基準格子の点における前記局所座標系(LCSi)に変換する段階と、
d)前記勾配ベクトル成分(Gai,Gbi,Gci)を使用して、前記ボリュームデータセットの所定位置(Q)における表面法線(N)を計算する段階と、
e)前記選択されたサンプル点又は基準格子の点における前記局所座標系(LCSi)の変換済み外部パラメータを使用することによって、前記所定位置(Q)における前記全体座標系(GCS)からの外部パラメータを計算する段階とを含む。
The method of the present invention comprises:
a) defining a local coordinate system (LCS i ) at the sample points (P) of the volume data set;
b) calculating gradient vector components (Gai, G bi , G ci ) in the local coordinate system (LCS i ) of the sample points (P i );
c) converting the external parameters into the local coordinate system (LCS i ) at a sample point or a reference grid point selected from the global coordinate system (OCS);
d) calculating a surface normal (N) at a predetermined position (Q) of the volume data set using the gradient vector components (G ai , G bi , G ci );
e) external from the global coordinate system (GCS) at the predetermined position (Q) by using the transformed external parameters of the local coordinate system (LCS i ) at the selected sample points or reference grid points. Calculating a parameter.
外部パラメータは、データセットの可視化(ボリュームレンダリング)を決定する位置及び/又は方向をそれぞれ定義する位置座標及び/又はベクトルを含むことが好ましい。外部パラメータは、例えば、1個又は幾つかの光源の位置、観察者位置、レンダリングに使用される光ベクトル、及び/又は観察者のベクトル/方向でよい。 The external parameters preferably include position coordinates and / or vectors that define the position and / or direction, respectively, that determines the visualization (volume rendering) of the data set. The external parameter may be, for example, the position of one or several light sources, the observer position, the light vector used for rendering, and / or the observer vector / direction.
例えば様々な観察者方向から表面構造を可視化するには、これらの外部パラメータを実時間で変更できることが望ましいので、本発明によって提供されるような高速アルゴリズムは重要である。 For example, to visualize surface structures from various observer directions, it is desirable to be able to change these external parameters in real time, so a fast algorithm as provided by the present invention is important.
一実施形態によれば、ボリュームデータセットは、超音波画像診断、コンピュータ断層撮影法、磁気共鳴映像法、ポジトロン放射分光法等の医用画像技術によって取得された。サンプル点は、データセットを構成する点である。 According to one embodiment, the volume data set was acquired by medical imaging techniques such as ultrasound imaging, computed tomography, magnetic resonance imaging, positron emission spectroscopy and the like. Sample points are points that make up the data set.
局所座標系は、各サンプル点において、ボリュームデータセットの座標系(例えば、音響座標系)と整合された座標系であることが好ましい。従って、局所座標系は、各サンプル点ごとに僅かに異なり、局所座標系は、サンプル点間で滑らかに変化することが好ましい。 The local coordinate system is preferably a coordinate system that is aligned with the coordinate system (eg, acoustic coordinate system) of the volume data set at each sample point. Accordingly, the local coordinate system is slightly different for each sample point, and the local coordinate system preferably changes smoothly between the sample points.
全体座標系は、ボリュームデータセットの位置と向き、並びに1個又は幾つかの光源の位置、観察者の位置、レンダリングに使用される光ベクトル、及び/又は観察者の方向等のボリュームレンダリング段階で必要とされる外部パラメータが全て同一の座標系で定義される座標系である。これは、一般にデカルト座標系であるが、必要条件ではない。 The global coordinate system is at the volume rendering stage, such as the position and orientation of the volume data set, as well as the position of one or several light sources, the position of the observer, the light vector used for rendering, and / or the direction of the observer. A coordinate system in which all necessary external parameters are defined in the same coordinate system. This is generally a Cartesian coordinate system, but is not a requirement.
サンプル点の前記局所座標系内の勾配ベクトル成分を計算することによって、サンプル点(及び、対応する勾配ベクトル成分)を全域デカルト座標系に変換する必要はない。実際に、光源又はカメラ若しくは観察者の位置等の外部パラメータは、全体座標系から各サンプル点又は選択されたサンプル点の局所座標系に変換される。外部パラメータのそのような変換は、シェーディングすべき位置でそのような局所座標系を定義することによって可能である。 By calculating the gradient vector component of the sample point in the local coordinate system, it is not necessary to convert the sample point (and the corresponding gradient vector component) to a global Cartesian coordinate system. In practice, external parameters such as the position of the light source or camera or observer are converted from the global coordinate system to the local coordinate system of each sample point or selected sample point. Such a transformation of external parameters is possible by defining such a local coordinate system at the position to be shaded.
可能な局所座標系は、接ベクトル空間であり、例えば局所的バンプマッピング計算に使用される。ここで、レンダリングされる物体の表面法線の摂動は、各サンプル点におけるテクスチャマップで参照され、照明計算が行われる前に適用される。それにより、より豊かで細やかな曲面表現が得られる(例えば、Phongシェーディングを参照)。ノーマルマッピングとパララックスマッピングは、最も一般に使用されるバンプマッピング技術である。この場合、局所座標系を定義するために接ベクトル空間がしばしば使用される。 A possible local coordinate system is a tangent vector space, which is used for local bump mapping calculations, for example. Here, the surface normal perturbation of the rendered object is referenced in the texture map at each sample point and applied before the illumination calculation is performed. Thereby, a richer and more detailed curved surface expression can be obtained (see, for example, Phong shading). Normal mapping and parallax mapping are the most commonly used bump mapping techniques. In this case, a tangent vector space is often used to define a local coordinate system.
表面の接ベクトル空間を作成するには、3本の垂直軸(即ち、T,B,N)を計算しなければならない。T(接線ベクトル)は、パラメトリック曲面上でS又はTの増大する方向と平行である。N(法線ベクトル)は、局所表面と垂直である。B(従法線)は、NとTの両方に垂直であり、Tと同様に表面上にある。これは、表面に付けられ且つシェーディングされるサンプル点と共に移動する「移動座標系」である。 To create a surface tangent vector space, three vertical axes (ie, T, B, N) must be calculated. T (tangent vector) is parallel to the increasing direction of S or T on the parametric curved surface. N (normal vector) is perpendicular to the local surface. B (normal line) is perpendicular to both N and T and is on the surface like T. This is a “moving coordinate system” that moves with the sample points attached to the surface and shaded.
音響座標の場合には、3本の直交軸が、3方向のアジマス、エレベーション及びレンジと位置合わせされることが好ましい。例えば、Nはレンジに対応し、Tはエレベーションに対応し、Sはアジマスに対応する。各サンプル点における局所座標系は、同じように音響座標と整合されることが好ましい。 In the case of acoustic coordinates, the three orthogonal axes are preferably aligned with the three directions of azimuth, elevation and range. For example, N corresponds to a range, T corresponds to elevation, and S corresponds to azimuth. The local coordinate system at each sample point is preferably aligned with the acoustic coordinates as well.
本発明は、各サンプル点においてそのようなサンプル点の局所座標系内で勾配ベクトル成分が計算される技術を使用する。前記サンプル点は、特殊な座標系である音響格子の格子点であることが好ましく、その理由は、例えば、音響格子の方向の直交軸(例えば、レンジ、エレベーション及びアジマス)を有する少なくとも三次元座標系超音波画像が走査され、次にそのようなサンプル点で局所座標系が定義されるからである。前記局所座標系内の勾配ベクトル成分の計算は、例えば、好ましくは、それぞれの隣接するサンプル点の離散値を用い、サンプル点の有限差分を求めることによって全ての次元の空間導関数を計算することで行うことができる。 The present invention uses a technique in which gradient vector components are calculated at each sample point in the local coordinate system of such sample point. The sample points are preferably lattice points of an acoustic grating, which is a special coordinate system, for example because at least three-dimensional having orthogonal axes (eg range, elevation and azimuth) in the direction of the acoustic grating. This is because a coordinate system ultrasound image is scanned and then a local coordinate system is defined with such sample points. The calculation of the gradient vector components in the local coordinate system is preferably, for example, calculating the spatial derivatives of all dimensions by using the discrete values of each adjacent sample point and determining the finite difference of the sample points. Can be done.
前記ボリュームデータセットの所定位置(サンプル点又はそのようなサンプル点間のボクセル)を照明すべき場合は、サンプル点の勾配ベクトル成分を使用することによってそのような所定位置における表面法線を計算することができる。所定位置は、ボリュームレンダリングされた画像を作成するために光反射を計算することが望まれる位置である。可視化又はボリュームレンダリングプロセスが、レイキャスティング法によって行われる場合は、所定位置は、例えばそのような光線上にあり、スライスに基づく方法が使用される場合は、所定位置は、そのようなスライス上の画素位置になる。所定位置の全てではないにしても殆どは、通常、サンプル点と同一でなく、選択されたサンプル点とも基準格子上の点とも同一でない。 If a predetermined location (sample points or voxels between such sample points) of the volume data set is to be illuminated, the surface normal at such predetermined location is calculated by using the gradient vector component of the sample points. be able to. The predetermined position is the position where it is desired to calculate the light reflection to create a volume rendered image. If the visualization or volume rendering process is performed by a ray casting method, the predetermined position is on such a ray, for example, and if a slice based method is used, the predetermined position is on such a slice. It becomes the pixel position. Most if not all of the predetermined positions are usually not the same as the sample points, and neither the selected sample points nor the points on the reference grid are the same.
本発明の好ましい実施形態によれば、所定位置における前記表面法線は、最初に隣接するサンプル点の非正規化勾配ベクトル成分を補間し、次にその位置の補間された勾配ベクトルを正規化することによって計算される。 According to a preferred embodiment of the present invention, the surface normal at a given position first interpolates the non-normalized gradient vector components of adjacent sample points and then normalizes the interpolated gradient vector at that position. Is calculated by
次に所定位置における表面法線を計算しなければならないとき、本発明の好ましい実施形態により、例えば8個の隣接するサンプル点の非正規化勾配ベクトル成分を補間することができ、サンプル点は、そのような三次元(ボクセル)空間内のそのような所定位置に隣接している。それにより、計算がサンプル点だけに減少するが、全ての他の(ボクセル)位置は、それぞれの隣接するサンプル点の勾配ベクトル成分を補間することにより計算される。 The next time the surface normal at a given position must be calculated, the preferred embodiment of the present invention can interpolate, for example, the denormalized gradient vector components of eight adjacent sample points, It is adjacent to such a predetermined position in such a three-dimensional (voxel) space. Thereby, the calculation is reduced to sample points only, but all other (voxel) positions are calculated by interpolating the gradient vector components of each adjacent sample point.
本発明の重要な様相によれば、所定位置での対応する勾配ベクトルを得るために、これらのサンプル点の正規化勾配ベクトル又は法線ベクトルを補間するのではなく、非正規化勾配ベクトル成分を補間し、後でそのような所定位置で正規化を行なう。 According to an important aspect of the present invention, instead of interpolating the normalized gradient vector or normal vector of these sample points to obtain the corresponding gradient vector at a given location, the unnormalized gradient vector component is Interpolation is performed later, and normalization is performed at such a predetermined position.
一実施形態によれば、隣接するサンプル点の勾配ベクトル成分間のそのような補間は、勾配ベクトル成分が異なる局所座標系に存在するという事実を考慮せずに行われる。換言すると、補間は、寄与する全てのサンプル点からの勾配ベクトル成分が同一の局所座標系内にあるかのように行われる。この近似は、少なくとも音響座標では座標系の幾何学形状に鋭い変化がなく、即ち隣接するサンプル点の局所座標系の向きは僅かしか相違しないために行うことができる。この状況は、互いに離れたサンプル点を比較しなければならない場合には異なるが、そうでないときは、この手順から生じる不正確さは結果を損なわない。 According to one embodiment, such interpolation between the gradient vector components of adjacent sample points is performed without considering the fact that the gradient vector components exist in different local coordinate systems. In other words, the interpolation is performed as if the gradient vector components from all contributing sample points are in the same local coordinate system. This approximation can be made because there is no sharp change in the geometric shape of the coordinate system, at least in acoustic coordinates, ie the orientation of the local coordinate system of adjacent sample points is only slightly different. This situation is different when sample points that are far from each other must be compared, otherwise the inaccuracy resulting from this procedure does not compromise the results.
本発明の別の様相によれば、光源(及び他の外部パラメータ)は、三次元データ格子の幾つかの点における局所座標系に変換される。これらの点は、選択されたサンプル点でもよく、音響格子内で定義されるが音響格子のサンプル点と一致しなくてもよい基準格子の点でもよい。本発明の一実施形態によれば、外部パラメータの局所座標系へ転換/変換は、極めて計算集約的になるので、全てのサンプル点で行われるわけではなく、データセットの幾つかの選択された点(例えば、各次元で3番目〜50番目ごとサンプル点)又は事前に定義された基準格子の点でのみ行われ、その場合、基準格子は、サンプル点の分解能より低い分解能(例えば、5〜30分の1)を有する。 According to another aspect of the invention, the light source (and other extrinsic parameters) are converted to a local coordinate system at several points in the three-dimensional data grid. These points may be selected sample points, or may be points of a reference grid that are defined in the acoustic grid but may not coincide with the sample points of the acoustic grid. According to one embodiment of the present invention, the conversion / transformation of external parameters to a local coordinate system is very computationally intensive and is not performed at every sample point, rather than several selected data sets. It is performed only at points (eg, every third to 50th sample point in each dimension) or points of a predefined reference grid, in which case the reference grid has a lower resolution (eg, 5 to 5) than the resolution of the sample points. 1/30).
外部パラメータのサンプル点又は基準格子上の点の局所座標系への変換は、例えば、全体座標系とそれぞれの局所座標系との間の変換マトリックスを計算し、外部座標をサンプル点又は基準点における局所座標系にマッピングすることによって行われる。 The conversion of the external parameter sample points or the points on the reference grid to the local coordinate system is performed, for example, by calculating a conversion matrix between the global coordinate system and the respective local coordinate system, and the external coordinates at the sample points or reference points. This is done by mapping to a local coordinate system.
次に、本発明の好ましい実施形態によれば、前記所定位置における前記全体座標系からの外部パラメータを、選択されたサンプル点又は基準格子の点、好ましくは隣接する選択されたサンプル点又は基準格子の隣接する点の前記局所座標系の変換済み外部パラメータを使用することによって計算することもできる。これにより、外部パラメータの各所定位置における局所座標系への変換を計算する必要がなく、前記三次元(音響)データ格子内の選択されたサンプル点に関してそのような計算を行うだけでよいので計算時間が更に短縮される。前述のように、これらのサンプル点は、米国特許出願番号2005/0253841 A1に記載されたような事前に定義された基準格子の格子点であってもよい。従って、一実施形態によれば、デカルト(全体座標系)座標配置から音響(局所座標系)座標配置への変換は、全てのサンプル点に関して行われるわけではなく、より粗いレベルで行われる。 Next, according to a preferred embodiment of the present invention, the external parameters from the global coordinate system at the predetermined position are converted into selected sample points or reference grid points, preferably adjacent selected sample points or reference grids. Can also be calculated by using the transformed external parameters of the local coordinate system of neighboring points. This eliminates the need to calculate the transformation of the external parameters into the local coordinate system at each predetermined position, and only requires such calculations for selected sample points in the three-dimensional (acoustic) data grid. Time is further reduced. As mentioned above, these sample points may be grid points of a predefined reference grid as described in US Patent Application No. 2005/0253841 A1. Thus, according to one embodiment, the conversion from a Cartesian (global coordinate system) coordinate arrangement to an acoustic (local coordinate system) coordinate arrangement is not performed for all sample points, but at a coarser level.
一実施形態によれば、所定位置における外部パラメータは、次に、外部パラメータが局所座標系に変換された最も近いサンプル点又は基準格子の点から補間される。これは近似であるが、この場合も、幾何学形状に鋭い変化がないので、補間を使用して十分に滑らかな結果が得られる。 According to one embodiment, the extrinsic parameters at a given location are then interpolated from the nearest sample point or reference grid point where the extrinsic parameters have been converted to the local coordinate system. This is an approximation, but again, since there is no sharp change in geometry, interpolation is used to obtain a sufficiently smooth result.
本発明の別の好ましい様相によれば、所定位置のシェーディングは、従来の照明モデルによって行われ、前記所定位置における表面法線は、前記所定位置における前記全体座標系からの計算済み外部パラメータと共に使用される。 According to another preferred aspect of the invention, the shading of the predetermined position is performed by a conventional illumination model, and the surface normal at the predetermined position is used together with the calculated external parameters from the global coordinate system at the predetermined position. Is done.
本発明によれば、サンプリングされた生の超音波データから導出されたボリュームデータセットを使用することができ、局所座標系内の前記勾配ベクトル成分は、生の超音波データの各サンプル点から計算され、4要素ベクトル(Ga,Gb,Gc,F)を含む新しいデータセットにサンプル点のスカラ値と一緒に記憶される。任意の所定位置のために、これらの勾配ベクトル成分と隣接するサンプル点のそのようなスカラ値が、次に、所定位置における表面法線を計算するために使用される。その後で、前記サンプル点の局所座標系の変換された外部パラメータは、所定位置における外部パラメータを計算するために使用され、所定位置は、次に、計算済み外部パラメータと計算済み表面法線を使用することによって従来の照明モデルによって照明される。表面法線、光ベクトル、観察者ベクトル(viewers vector)、半正規、反射ベクトル等の関連要素が、各サンプル点の局所座標系内にあり、各所定位置ごとに補間されるので、従来のBlinn−Phong照明モデルを使用することができる。 According to the present invention, a volume data set derived from sampled raw ultrasound data can be used, and the gradient vector component in the local coordinate system is calculated from each sample point of the raw ultrasound data. And stored in a new data set containing the four-element vectors (G a , G b , G c , F) along with the sample point scalar values. For any given location, these scalar vector components and such scalar values of adjacent sample points are then used to calculate the surface normal at the given location. Thereafter, the transformed external parameters of the local coordinate system of the sample points are used to calculate the external parameters at a predetermined position, which in turn uses the calculated external parameters and the calculated surface normal. Is illuminated by a conventional illumination model. Since related elements such as surface normal, light vector, viewer vector, semi-normal and reflection vector are in the local coordinate system of each sample point and are interpolated at each predetermined position, the conventional Blinn -A Phong lighting model can be used.
本発明によれば、サンプリングされた生の超音波データは、最初に、グラフィック処理装置(GPU)に送られ、次にそこでシェーダー(shader)を使用して計算され、全体座標系から外部パラメータの局所座標系への変換は、例えば、超音波コンピュータシステムのグラフィック処理ユニット(GPU)によって実行される。次に、局所座標系内の勾配ベクトル成分が、中心差分、ソーベル演算子又は他の推定量を使用することにより計算される。 According to the present invention, the sampled raw ultrasound data is first sent to a graphics processing unit (GPU), where it is then calculated using a shader, and from the global coordinate system, an external parameter of The conversion to the local coordinate system is performed, for example, by a graphic processing unit (GPU) of the ultrasonic computer system. Next, the gradient vector components in the local coordinate system are calculated by using center differences, Sobel operators or other estimators.
本発明は、また、ボリュームデータセット内の表面様構造を可視化するための装置であって、
a)前記ボリュームデータセットのサンプル点において局所座標系を定義し、且つ
b)外部パラメータを全体座標系から前記局所座標系に変換するための第1の演算処理装置(PU1)と、
c)前記サンプル点の前記局所座標系内の勾配ベクトル成分を計算し、且つ
d)前記勾配ベクトル成分を使用して前記ボリュームデータセットの所定位置における表面法線を計算するための第2の演算処理装置(PU2)とにより可視化するための装置に関する。
The present invention is also an apparatus for visualizing surface-like structures in a volume data set, comprising:
a) defining a local coordinate system at sample points of the volume data set; and b) a first arithmetic processing unit (PU1) for converting external parameters from a global coordinate system to the local coordinate system;
c) a second operation for calculating a gradient vector component of the sample point in the local coordinate system, and d) calculating a surface normal at a predetermined position of the volume data set using the gradient vector component. The present invention relates to a device for visualization with a processing device (PU2).
両方の演算処理装置(PU1,PU2)は、CPUが照明又はシェーディングに必要な処理時間を最小にするのを支援するグラフィック演算処理装置であることが好ましい。グラフィック処理装置(GPU)は、一般に表示スクリーンドメインと同一のデカルト座標系内の計算済み外部パラメータと計算済み表面法線を使用することによって、従来の照明モデルによって照明された所定位置を表示する。この場合、グラフィック処理装置は、一般に、また、所定位置における全体座標系からの外部パラメータを、隣接するサンプル点の局所座標系の変換済み外部パラメータを補間してそのような局所格子点における変換され補間された関連する外部パラメータを得ることによって計算しており、そのような点は、音響格子の点(又は、これらの格子点間の点)、又は米国出願番号2005/0253841 A1に記載されたような基準格子の点である。 Both processing units (PU1, PU2) are preferably graphic processing units that assist the CPU in minimizing the processing time required for lighting or shading. A graphics processing unit (GPU) displays a predetermined position illuminated by a conventional illumination model by using calculated external parameters and calculated surface normals, typically in the same Cartesian coordinate system as the display screen domain. In this case, the graphics processing apparatus generally transforms the external parameters from the global coordinate system at a predetermined position by interpolating the transformed external parameters of the local coordinate system of the adjacent sample points at such local grid points. Such points are described in the acoustic grid points (or points between these grid points) or in US application No. 2005/0253841 A1. Such a reference grid point.
米国特許出願番号2005/0253841 A1は、基準格子(座標系)の変形を三次元データセット内で定義された切断平面の関数として開示している。米国特許出願番号2005/0253841 A1は、走査ボリュームを表わす代理幾何学形状(proxy geometry)と切断平面の交点を使用することを提案し、グラフィック処理ユニット(GPU)の頂点プロセッサは、次に、基準格子を変形し、デカルト座標とテクスチャ座標を基準格子のそれぞれの格子点に関して決定する。しかしながら、本発明では、格子点をデカルト座標に変換しなくてもよい。 US Patent Application No. 2005/0253841 A1 discloses the deformation of the reference grid (coordinate system) as a function of the cutting plane defined in the three-dimensional data set. US Patent Application No. 2005/0253841 A1 proposes to use the intersection of the proxy geometry representing the scan volume and the cutting plane, the vertex processor of the graphics processing unit (GPU) then The grid is deformed and Cartesian coordinates and texture coordinates are determined for each grid point of the reference grid. However, in the present invention, the grid points need not be converted to Cartesian coordinates.
本発明は、また、コンピュータ可読媒体に記憶されたプログラムコードを含むコンピュータプログラム製品であって、そのようなコンピュータプログラム製品がコンピュータ上で実行された場合に前述の方法を実行するコンピュータプログラム製品に関する。 The invention also relates to a computer program product comprising program code stored on a computer readable medium, wherein the computer program product performs the method described above when such computer program product is executed on a computer.
本発明の好ましい実施形態は、添付図面について説明することにより更に詳しく説明される。 Preferred embodiments of the present invention will be described in further detail by referring to the accompanying drawings.
図1は、頂点A、ビーム1及びロー2を有する従来の超音波(音響)格子を示し、ビーム1とロー2は、二次元表現の音響座標系(例えば、それぞれレンジとアジマス)を表わす。本発明をよりよく理解するために、図1には第3次元(例えば、球座標系のエレベーション)は示されていない。
FIG. 1 shows a conventional ultrasound (acoustic) grating with vertex A,
前述のように、局所勾配ベクトルGは、サンプル点Pの局所勾配ベクトル成分Ga及びGbによって定義され、これらの成分は、前述のような差分方法によって計算される。 As described above, the local gradient vector G is defined by the local gradient vector components G a and G b of the sample point P, and these components are calculated by the difference method as described above.
図2は、光源LS等の外部パラメータの全体座標系GCSから局所座標系(即ち、第1の局所座標系LCS1と第2の局所座標系LCS2)への変換を概略的に示し、これらの局所座標系は、図1に示されたような音響格子では第1のサンプル点P1と第2のサンプル点P2で定義される。 FIG. 2 schematically shows the conversion of the external parameters such as the light source LS from the global coordinate system GCS to the local coordinate system (that is, the first local coordinate system LCS 1 and the second local coordinate system LCS 2 ). 1 is defined by the first sample point P 1 and the second sample point P 2 in the acoustic lattice as shown in FIG.
各サンプル点Piは、局所勾配ベクトル成分Gai及びGbiを有する局所勾配ベクトルGiを有する。第1のサンプル点P1は、第1の勾配ベクトル成分Ga1と第2の勾配ベクトル成分Gb1を有し、第1の局所座標系LCS1の軸b1は、ビーム1と平行であり、一方第2の局所座標系軸a1は、ロー2の接線ベクトルであり且つ第1の座標系軸b1に垂直である。
Each sample point P i has a local gradient vector G i having local gradient vector components G ai and G bi . The first sample point P 1 has a first gradient vector component G a1 and a second gradient vector component G b1 , and the axis b 1 of the first local coordinate
第1の局所勾配ベクトルG1は、隣接するサンプル点(サンプル点P2や他のサンプル点等)を使用することにより定義される。この際、中心差分法(式1)等の周知の差分法、ソーベルフィルタ等の離散的畳み込みフィルタリング、又は立方体Bスプラインやその派生物等の連続的畳み込みフィルタリング等が使用される(隣接する4x4x4)。 The first local gradient vector G 1 is defined by using adjacent sample points (sample point P 2 , other sample points, etc.). At this time, a known difference method such as the central difference method (Equation 1), discrete convolution filtering such as a Sobel filter, or continuous convolution filtering such as a cubic B-spline or a derivative thereof is used (adjacent 4 × 4 × 4). ).
図2は、また、軸x及びyを有する全体座標系GCSと、そのような全体座標系GCSで与えられた光ベクトルLGを示す。サンプル点P1,P2を全体座標系GCSに再サンプリングする代わりに、光源LSが局所座標系LCS1及びLCS2に変換され、それにより第1の局所光ベクトルLL1と第2の局所光ベクトルLL2が得られる。一実施形態によれば、光源等の外部パラメータは、全てのサンプル点の局所座標系に変換されるわけではなく、サンプル点のより粗い格子の局所座標系又は基準格子の点の局所座標系だけに変換される。 Figure 2 also shows the global coordinate system GCS having axes x and y, a light vector L G given in such a global coordinate system GCS. Instead of re-sampling the sample points P 1 and P 2 to the global coordinate system GCS, the light source LS is converted into the local coordinate systems LCS 1 and LCS 2 , whereby the first local light vector L L1 and the second local light A vector L L2 is obtained. According to one embodiment, extrinsic parameters such as light sources are not converted to the local coordinate system of all sample points, only the local coordinate system of the coarser grid of sample points or the local coordinate system of the points of the reference grid Is converted to
図2は、また、所定位置Qを示し、そのような所定位置Qの局所光ベクトルLQは、必ずしも光源LSを所定位置Qの局所座標系LCSQに変換することによって計算されるわけではなく、そのような光ベクトルLQは、サンプル点P1及びP2の第1の局所光ベクトルLL1及び第2の局所光ベクトルLL2と、必要に応じて、更に他のサンプル点の更に他の局所光ベクトルを使用することにより計算されることが好ましい。従って、外部パラメータは、音響格子又は前記基準格子の選択された隣接するサンプル点から、既に変換された外部パラメータを補間することによって、所定位置Qの局所座標系LCSQに変換される。 FIG. 2 also shows a predetermined position Q, and the local light vector L Q at such a predetermined position Q is not necessarily calculated by converting the light source LS to the local coordinate system LCS Q at the predetermined position Q. , Such a light vector L Q may be a first local light vector L L1 and a second local light vector L L2 of sample points P 1 and P 2 , and further other sample points as required. Is preferably calculated by using the local light vector of. Therefore, the external parameters are converted to the local coordinate system LCS Q at the predetermined position Q by interpolating the already converted external parameters from the selected adjacent sample points of the acoustic grid or the reference grid.
同様に、所定位置Qの法線ベクトルNは、第1のサンプル点P1の勾配ベクトル成分Ga1,Gb1及びGC1並びに第2のサンプル点P2(図示せず)の勾配ベクトル成分Ga2,Gb2及びGc2を使用することによって計算され、従って、座標系又は外部パラメータを変換することにより各所定位置における照明モデルに必要なベクトルを計算しなくてもよく、離散的サンプル点における外部パラメータの変換値を計算し、それぞれのサンプル点P1の非正規化勾配ベクトル成分を補間することにより所定位置Qにおける表面法線N(及び他のベクトル)を得るだけでよい。この場合も、外部パラメータは、音響格子又は前記基準格子の選択された隣接するサンプル点から、既に変換された外部パラメータを補間することによって、所定位置Qの局所座標系LCSQに変換される。 Similarly, the normal vector of the predetermined position Q N is the gradient vector component G a2 of the gradient vector components of the first sample point P 1 G a1, G b1 and G C1 and the second sample point P2 (not shown) , G b2 and G c2 , thus eliminating the need to calculate the vector required for the illumination model at each given location by transforming the coordinate system or extrinsic parameters, and the external at discrete sample points. It is only necessary to calculate the parameter conversion value and interpolate the non-normalized gradient vector component of each sample point P 1 to obtain the surface normal N (and other vectors) at the predetermined position Q. In this case as well, the external parameters are converted to the local coordinate system LCS Q at the predetermined position Q by interpolating the already converted external parameters from the selected adjacent sample points of the acoustic lattice or the reference lattice.
そのようにして、局所空間内だけで音響格子又は基準格子の格子点でだけの光源LSを計算し、また中間の点又はピクセルについての直線補間を使用することによって、計算コストを削減することができる。それにより、変換計算コストの大部分を削減することができる。何故なら、格子が粗いためである。 In that way, the calculation cost can be reduced by calculating the light source LS only at the grid points of the acoustic grid or the reference grid only in the local space, and by using linear interpolation for intermediate points or pixels. it can. Thereby, most of the conversion calculation cost can be reduced. This is because the lattice is coarse.
本発明は、各所定位置(三次元デカルトボクセル空間内の各ボクセル)における値は補間によって求められることを受け入れることにより、格子(音響格子、基準格子、又はこれらの格子の一部分若しくは組み合わせ)の内の幾つか又は全ての点だけにおいて外部パラメータを変換することによって計算モデルを縮小できる。そのような補間結果は照明計算だけに使用されるので、これは、理にかなった近似であると考えられる。人間の目は、照明の高周波数変化に極めて敏感である(例えば、鋭い縁や硬い切り口は見えやすい)。しかしながら、幾何学形状に鋭い変化がないので、本発明の補間技術を使用することによりかなり滑らかな結果を得ることができる。人間の目は、通常、照明結果の違いに気付かない。 The present invention accepts that the value at each predetermined location (each voxel in the 3D Cartesian voxel space) is determined by interpolation, so that within a grid (acoustic grid, reference grid, or part or combination of these grids). The computational model can be reduced by transforming the external parameters at only some or all of the points. Since such an interpolation result is only used for lighting calculations, this is considered a reasonable approximation. The human eye is extremely sensitive to high frequency changes in lighting (eg, sharp edges and hard cuts are easily visible). However, since there is no sharp change in geometry, fairly smooth results can be obtained by using the interpolation technique of the present invention. The human eye is usually unaware of the difference in lighting results.
図3は、生命体三次元超音波走査等の実時間用途の本発明の別の好ましい実施形態を示す。実時間用途が必要なとき勾配計算がしばしば障害になる。現在、処理前の(pre-process)勾配がCPUで計算され、後でGPUに転送される。本発明によれば、レンダリング段階で元の生データを転送して予備計算を実行することが可能となった。最新ハードウェアは、三次元ボリュームテクスチャの個別スライスへのそのようなレンダリングを支援する。 FIG. 3 illustrates another preferred embodiment of the present invention for real-time applications such as life-form 3D ultrasound scanning. Gradient calculation is often an obstacle when real-time applications are required. Currently, the pre-process gradient is calculated by the CPU and later transferred to the GPU. According to the present invention, it is possible to execute the preliminary calculation by transferring the original raw data in the rendering stage. Modern hardware supports such rendering of individual 3D volume textures into individual slices.
図3の段階Iに示されたような生データは、最初に、その固有の形式(例えば、11サンプル当たり8ビット)でGPUに転送される。第2の段階IIで、各サンプルが繰り返され、勾配が計算される。中心差分、ソーベル演算子又は他の推定量を使用することができる。その後で、非正規化勾配成分(Ga,Gb,Gc,F)が、図3に概略的に示されたような新しい三次元ボリュームで記憶される。ここで、いかなる量子化アーティファクトも回避するために高精度(例えば、16又は32ビット浮動)を使用することが好ましい。 Raw data as shown in stage I of FIG. 3 is first transferred to the GPU in its native format (eg, 8 bits per 11 samples). In the second stage II, each sample is repeated and the slope is calculated. Center differences, Sobel operators or other estimators can be used. Thereafter, the denormalized gradient components (G a , G b , G c , F) are stored in a new three-dimensional volume as schematically shown in FIG. Here, it is preferable to use high precision (eg 16 or 32 bit float) to avoid any quantization artifacts.
本発明によれば、事前計算された勾配をこの段階で正規化するのではなく、その代わりに正規化されていない勾配ベクトル成分を記憶することが有利である。 According to the present invention, it is advantageous not to normalize the precomputed gradients at this stage, but instead to store the unnormalized gradient vector components.
図3に段階IIIに示されたように、所定位置Qにおける表面法線Nは、第1のサンプル点P1の勾配G1、第2のサンプル点P2の勾配G2、第3のサンプル点P3の勾配G3、及び第4のサンプル点P4の勾配G4の勾配ベクトル成分を補間することにより計算される。各勾配は、それぞれの勾配ベクトル成分を有し、これらの勾配ベクトル成分は全て所定位置Qにおける勾配ベクトルを定義するために使用され、この勾配ベクトルを正規化するだけで表面法線Nを得ることができる。 As shown in step III in FIG. 3, the surface normal N at the predetermined position Q, the first gradient G 1 sample point P 1, the second gradient G 2 sample points P 2, the third sample It is calculated by interpolating the gradient vector component of the gradient G 4 of the point P 3 of the gradient G 3, and a fourth sample point P 4. Each gradient has its own gradient vector component, all of which are used to define a gradient vector at a given location Q, and only normalizing this gradient vector yields a surface normal N. Can do.
本発明は、使用する方法が基準格子の採用に上手く適合するという利点を有する。何故なら、ピクセルシェーダ段での作業負荷が少なく高性能な実時間勾配レンダリングが得られるためである。更に、全ての照明計算は局所座標系で行われる。音響空間内の勾配ボリュームは、照明が迅速化されるように事前に計算し記憶することが可能である。
The invention has the advantage that the method used is well adapted to the adoption of a reference grid. This is because the workload in the pixel shader stage is low and high performance real-time gradient rendering is obtained. Furthermore, all lighting calculations are performed in the local coordinate system. The gradient volume in the acoustic space can be calculated and stored in advance so that illumination is expedited.
Claims (14)
a)前記ボリュームデータセットのサンプル点(P)において局所座標系(LCSi)を定義する段階と、
b)前記サンプル点(Pi)の前記局所座標系(LCSi)内の勾配ベクトル成分(Gai,Gbi,Gci)を計算する段階と、
c)前記外部パラメータを全体座標系(GCS)から選択されたサンプル点又は基準格子の点における前記局所座標系(LCSi)に変換する段階と、
d)前記勾配ベクトル成分(Gai,Gbi,Gci)を使用して前記ボリュームデータセットの所定位置(Q)における表面法線(N)を計算する段階と、
e)前記選択されたサンプル点又は基準格子の点における前記局所座標系(LCSi)の変形済み外部パラメータを使用することによって、前記所定位置(Q)における前記全体座標系(GCS)からの外部パラメータを計算する段階とを含む方法。 A method of visualizing a surface-like structure in a volume data set, wherein the visualization is determined by a set of external parameters including position coordinates and / or orientations that define the visualization,
a) defining a local coordinate system (LCS i ) at the sample points (P) of the volume data set;
b) calculating gradient vector components (G ai , G bi , G ci ) in the local coordinate system (LCS i ) of the sample points (P i );
c) transforming the external parameters into the local coordinate system (LCS i ) at a sample point or a reference grid point selected from the global coordinate system (GCS);
d) calculating a surface normal (N) at a predetermined position (Q) of the volume data set using the gradient vector components (G ai , G bi , G ci );
e) external from the global coordinate system (GCS) at the predetermined position (Q) by using the transformed external parameters of the local coordinate system (LCS i ) at the selected sample points or points of the reference grid Calculating the parameter.
任意の所定位置(Q)に関して、前記勾配ベクトル成分(Gai,Gbi,Gci)と隣接するサンプル点(P1)の前記スカラ値(F)が、前記所定位置(Q)における表面法線(N)を計算するために使用され、
前記選択されたサンプル点又は基準格子の点の前記局所座標系(LCSi)の前記変換済み外部パラメータが、前記所定位置(Q)における外部パラメータを計算するために使用され、前記所定位置(Q)が、前記計算済み外部パラメータと前記計算済み表面法線(N)を使用することによって従来の照明モデルによって照明される、請求項の1〜7の何れかに記載の方法。 The volume data set is derived from the sampled raw ultrasound data, and the gradient vector components (G ai , G bi , Gci) in the local coordinate system (LCS i ) are transformed into the raw ultrasound data Calculated for each sample point (P i ) and stored in a new data set (G ai , G bi , G ci , F) along with the scalar value (F) of the sample point (P i ),
For any given position (Q), the scalar value (F) of the sample point (P 1 ) adjacent to the gradient vector component (G ai , G bi , G ci ) is the surface method at the given position (Q). Used to calculate the line (N),
The transformed external parameter of the local coordinate system (LCS i ) of the selected sample point or reference grid point is used to calculate an external parameter at the predetermined position (Q), and the predetermined position (Q 8) is illuminated by a conventional illumination model by using the calculated extrinsic parameters and the calculated surface normal (N).
a)前記ボリュームデータセットのサンプル点(P)において局所座標系(LCSi)を定義し、且つ
b)外部パラメータを全体座標系(GCS)から前記局所座標系(LCSi)に変換するための第1の演算処理装置(PU1)と、
c)前記サンプル点(Pi)の前記局所座標系(LCSi)内の勾配ベクトル成分(Gai,Gbi,Gci)を計算し、且つ、
d)前記勾配ベクトル成分(Gai,Gbi,Gci)を使用して、前記ボリュームデータセットの所定位置(Q)における表面法線(N)を計算するための第2の演算処理装置(PU2)とを含む装置。 A device for visualizing the surface-like structure of a volume dataset,
a) defining a local coordinate system (LCS i ) at the sample points (P) of the volume data set; and b) converting external parameters from a global coordinate system (GCS) to the local coordinate system (LCS i ). A first arithmetic processing unit (PU1);
c) calculating gradient vector components (G ai , G bi , G ci ) in the local coordinate system (LCS i ) of the sample points (P i ), and
d) a second arithmetic processing unit (N) for calculating a surface normal (N) at a predetermined position (Q) of the volume data set using the gradient vector components (G ai , G bi , G ci ); PU2).
A computer program product comprising program code for performing the method according to any of claims 1 to 10 when stored on a computer readable medium and executed on a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011089858A JP2012221448A (en) | 2011-04-14 | 2011-04-14 | Method and device for visualizing surface-like structures in volume data sets |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011089858A JP2012221448A (en) | 2011-04-14 | 2011-04-14 | Method and device for visualizing surface-like structures in volume data sets |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012221448A true JP2012221448A (en) | 2012-11-12 |
Family
ID=47272829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011089858A Withdrawn JP2012221448A (en) | 2011-04-14 | 2011-04-14 | Method and device for visualizing surface-like structures in volume data sets |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012221448A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016174905A (en) * | 2015-03-18 | 2016-10-06 | 株式会社東芝 | Ultrasound diagnostic device, medical image processor and medical image processing program |
| WO2018159709A1 (en) * | 2017-02-28 | 2018-09-07 | 富士フイルム株式会社 | Three-dimensional image processing device, method, and program |
| CN110060347A (en) * | 2019-03-01 | 2019-07-26 | 新疆远山矿产资源勘查有限公司 | The method of isopleth is generated under a kind of spherical coordinate system |
| CN112241996A (en) * | 2019-07-18 | 2021-01-19 | 通用电气精准医疗有限责任公司 | Method and system for rendering volume rendering images |
-
2011
- 2011-04-14 JP JP2011089858A patent/JP2012221448A/en not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016174905A (en) * | 2015-03-18 | 2016-10-06 | 株式会社東芝 | Ultrasound diagnostic device, medical image processor and medical image processing program |
| WO2018159709A1 (en) * | 2017-02-28 | 2018-09-07 | 富士フイルム株式会社 | Three-dimensional image processing device, method, and program |
| JPWO2018159709A1 (en) * | 2017-02-28 | 2019-08-08 | 富士フイルム株式会社 | Three-dimensional image processing apparatus, method and program |
| US10832459B2 (en) | 2017-02-28 | 2020-11-10 | Fujifilm Corporation | Three-dimensional image display apparatus for displaying target to which color is assigned |
| CN110060347A (en) * | 2019-03-01 | 2019-07-26 | 新疆远山矿产资源勘查有限公司 | The method of isopleth is generated under a kind of spherical coordinate system |
| CN110060347B (en) * | 2019-03-01 | 2023-12-26 | 新疆远山矿产资源勘查有限公司 | Method for generating contour line under spherical coordinate system |
| CN112241996A (en) * | 2019-07-18 | 2021-01-19 | 通用电气精准医疗有限责任公司 | Method and system for rendering volume rendering images |
| CN112241996B (en) * | 2019-07-18 | 2025-02-25 | 通用电气精准医疗有限责任公司 | Method and system for coloring a volume rendered image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8736609B2 (en) | Method and device for visualizing surface-like structures in volumetric data sets | |
| JP5120926B2 (en) | Image processing apparatus, image processing method, and program | |
| US5831623A (en) | Volume rendering apparatus and method | |
| US7239319B2 (en) | Rendering outline fonts | |
| US9177416B2 (en) | Space skipping for multi-dimensional image rendering | |
| US20060262112A1 (en) | System and method for three-dimensional shape generation from partial and incomplete views, and interactive design system using same | |
| CN104933749B (en) | Clipping of graphics primitives | |
| US20050143654A1 (en) | Systems and methods for segmented volume rendering using a programmable graphics pipeline | |
| US7893940B2 (en) | Super resolution contextual close-up visualization of volumetric data | |
| US6563501B2 (en) | Bicubic surface rendering | |
| US20040138560A1 (en) | Real-time scan conversion and rendering of ultrasound data | |
| JP5288795B2 (en) | Image processing of volume data | |
| US20060227131A1 (en) | Flat texture volume rendering | |
| US7602180B2 (en) | System and method for fast texture-based tensor field visualization for DT-MRI | |
| Jense | Voxel-based methods for CAD | |
| CN103106685A (en) | Abdominal viscera three dimension visualization method based on graphic processing unit (GPU) | |
| JP4885042B2 (en) | Image processing method, apparatus, and program | |
| CN105825471A (en) | Unity-3D-based three-dimensional surface reconstruction and rendering method | |
| US20050237336A1 (en) | Method and system for multi-object volumetric data visualization | |
| JP2012221448A (en) | Method and device for visualizing surface-like structures in volume data sets | |
| Sakas | Interactive volume rendering of large fields | |
| US20070188492A1 (en) | Architecture for real-time texture look-up's for volume rendering | |
| JP2006000127A (en) | Image processing method, apparatus and program | |
| US7586501B2 (en) | Simultaneous projection of multi-branched vessels and their context on a single image | |
| US20040179010A1 (en) | Apparatus and method for semi-automatic classification of volume data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |
