[go: up one dir, main page]

JPH08164139A - Ultrasonic diagnostic system - Google Patents

Ultrasonic diagnostic system

Info

Publication number
JPH08164139A
JPH08164139A JP6313102A JP31310294A JPH08164139A JP H08164139 A JPH08164139 A JP H08164139A JP 6313102 A JP6313102 A JP 6313102A JP 31310294 A JP31310294 A JP 31310294A JP H08164139 A JPH08164139 A JP H08164139A
Authority
JP
Japan
Prior art keywords
frame
dimensional
received signal
image
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6313102A
Other languages
Japanese (ja)
Other versions
JP3544722B2 (en
Inventor
Yasuhiko Abe
康彦 阿部
Ryoichi Kanda
良一 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP31310294A priority Critical patent/JP3544722B2/en
Publication of JPH08164139A publication Critical patent/JPH08164139A/en
Application granted granted Critical
Publication of JP3544722B2 publication Critical patent/JP3544722B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

PURPOSE: To provide an ultrasonic diagnostic system capable of making the infarcted myocardium into an image characteristically by distinguishing from the normal myocardium. CONSTITUTION: This ultrasonic diagnostic system can obtain a reception signal of one frame repeatedly by scanning the two-dimensional area of an examinee by an ultrasonic wave. and generates the image by detecting the reception signal. Also, the system is equipped with a feature quantity image generating part 7 which generates the two-dimensional distribution of feature quantity representing similarity between the reception signal in the kernel ROI of a first frame and the reception signal in the object ROI of a second frame with scanning timing different from that of the first frame, and a display part 6 which displays such two-dimensional distribution as a feature quantity image.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、被検体の2次元領域を
超音波で走査し、得られた受信信号を検波して組織断層
像を生成する超音波診断装置に係り、特に、正常心筋と
差別して梗塞心筋を画像化する新規な技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an ultrasonic diagnostic apparatus for scanning a two-dimensional region of a subject with ultrasonic waves and detecting a received signal obtained to generate a tissue tomographic image. And a new technique for imaging infarcted myocardium.

【0002】[0002]

【従来の技術】超音波は、音響インピーダンスが異なる
2つの媒質の境界で反射、屈折を繰り返しながら伝搬す
る。反射強度は2つの媒質の音響インピーダンスの差に
依存する。超音波イメージングは反射信号の振幅を輝度
変換して表示するもので、反射信号の振幅が小さい、つ
まり音響インピーダンスの差が小さいと2つの媒質間で
輝度変化(濃度変化)が小さくなり、したがってこのよ
うな音響インピーダンスの差が小さい2つの媒質を超音
波断層像上で識別する精度は、診断医師の知識や経験に
依存する場合が多く、客観性に乏しい。
2. Description of the Related Art Ultrasonic waves propagate while being repeatedly reflected and refracted at the boundary between two media having different acoustic impedances. The reflection intensity depends on the difference between the acoustic impedances of the two media. In ultrasonic imaging, the amplitude of a reflected signal is converted into luminance and displayed. When the amplitude of the reflected signal is small, that is, the difference in acoustic impedance is small, the luminance change (concentration change) between the two media is small, so The accuracy of discriminating two media having a small difference in acoustic impedance on an ultrasonic tomographic image often depends on the knowledge and experience of a diagnostic doctor, and thus lacks objectivity.

【0003】このようなケースは例えば心筋梗塞の超音
波診断に当て嵌まる。つまり、梗塞心筋と正常心筋との
音響インピーダンスの差は小さく、両者を超音波断層像
上で識別することは困難であり且つ客観性に乏しい。
Such a case is applicable to ultrasonic diagnosis of myocardial infarction, for example. That is, the difference in the acoustic impedance between the infarcted myocardium and the normal myocardium is small, and it is difficult to distinguish both on the ultrasonic tomographic image, and the objectivity is poor.

【0004】[0004]

【発明が解決しようとする課題】本発明では、正常心筋
と差別して梗塞心筋を特徴的に画像化することのできる
超音波診断装置を提供しようとするものである。
SUMMARY OF THE INVENTION An object of the present invention is to provide an ultrasonic diagnostic apparatus capable of characteristically imaging infarcted myocardium in distinction from normal myocardium.

【0005】[0005]

【課題を解決するための手段】本発明は、被検体の2次
元領域を超音波で走査することにより、1フレーム分の
受信信号を繰り返し得、この受信信号を検波することに
より画像を生成する超音波診断装置において、第1フレ
ームの第1局所領域内の受信信号と、前記第1フレーム
と走査タイミングの異なる第2フレームの第2局所領域
内の受信信号との間の類似性を表す特徴量の2次元分布
を生成する特徴量2次元分布生成手段と、前記2次元分
布を特徴量画像として表示する表示手段とを具備する。
According to the present invention, a two-dimensional region of a subject is scanned with ultrasonic waves to obtain a reception signal for one frame repeatedly, and an image is generated by detecting the reception signal. In the ultrasonic diagnostic apparatus, a feature representing the similarity between the received signal in the first local area of the first frame and the received signal in the second local area of the second frame whose scanning timing is different from that of the first frame. A feature quantity two-dimensional distribution generation means for generating a two-dimensional distribution of quantities, and a display means for displaying the two-dimensional distribution as a feature quantity image.

【0006】[0006]

【作用】本発明によれば、正常心筋の周期的な収縮に従
って、組織が変型しないで単に位置が変化(転移)する
梗塞部分を、第1フレームの第1局所領域内の受信信号
と第2フレームの第2局所領域内の受信信号との間の類
似性を高いとして、とらえることができる。
According to the present invention, the infarcted portion in which the position is not changed (metastatic) is simply changed according to the cyclic contraction of the normal myocardium, and the infarcted portion in the first local area of the first frame is The similarity with the received signal in the second local area of the frame can be regarded as high.

【0007】[0007]

【実施例】以下、図面を参照して本発明の一実施例を説
明する。なお、ここでは心臓診断に好適な浅部視野が狭
く深部視野の広いセクタ電子走査法が採用されるものと
して説明するが、被検体の2次元領域を走査可能であれ
ば、リニア電子走査法やコンベックス電子走査法さらに
他の走査法であってもかまわない。音響信号と電気信号
とを可逆的に変換する複数の振動子を配列したセクタ走
査用の振動子アレイを先端に装備してなる超音波プロー
ブ1は、送信時には送信系2に接続され、受信時には受
信系3に接続される。送信系2は、クロック発生器、レ
ートパルス発生器、振動子毎(チャンネル毎)に設けら
れた遅延回路、振動子毎(チャンネル毎)に設けられた
パルサから構成される。クロック発生器から発生するク
ロックパルスはレートパルス発生器で例えば5KHzの
レートパルスに分周される。このレートパルスは分配さ
れ各遅延回路を介してパルサに送られる。各遅延回路
は、超音波をビーム状に集束し且つこの超音波ビームの
方向(走査線方向または方位方向と呼ばれる)を決定す
るのに必要な遅延時間をレートパルスに与える。パルサ
はレートパルスを受けたタイミングで、対応する振動子
にパルス電圧を印加する。これによりプローブ1から超
音波パルスが遅延時間に応じた方位方向に発射される。
被検体内の音響インピーダンスの境界で反射した反射波
は、プローブ1の各振動子で電気信号に変換され、受信
器3で取り込まれる。
An embodiment of the present invention will be described below with reference to the drawings. It should be noted that although a sector electronic scanning method with a narrow shallow visual field and a wide deep visual field, which is suitable for heart diagnosis, will be described here, a linear electronic scanning method or a linear electronic scanning method can be used if a two-dimensional region of a subject can be scanned. The convex electronic scanning method or another scanning method may be used. An ultrasonic probe 1 equipped with a transducer array for sector scanning, in which a plurality of transducers for reversibly converting acoustic signals and electric signals are arranged, is connected to a transmission system 2 at the time of transmission, and at the time of reception. It is connected to the receiving system 3. The transmission system 2 is composed of a clock generator, a rate pulse generator, a delay circuit provided for each transducer (each channel), and a pulser provided for each transducer (each channel). The clock pulse generated from the clock generator is divided into rate pulses of, for example, 5 KHz by the rate pulse generator. This rate pulse is distributed and sent to the pulsar via each delay circuit. Each delay circuit provides the rate pulse with the delay time necessary to focus the ultrasonic waves into a beam and determine the direction (called the scan line direction or azimuth direction) of the ultrasonic beam. The pulsar applies the pulse voltage to the corresponding vibrator at the timing of receiving the rate pulse. Thereby, the ultrasonic pulse is emitted from the probe 1 in the azimuth direction according to the delay time.
The reflected wave reflected at the boundary of the acoustic impedance inside the subject is converted into an electric signal by each transducer of the probe 1, and is captured by the receiver 3.

【0008】受信系3としては、特公平6−14934
号に示されているようなディジタルビームフォーマ方式
が好例として挙げられ、前置増幅器、アナログディジタ
ル変換器、ディジタル遅延回路、加算器から構成され
る。各振動子からのアナログの受信信号は、前置増幅器
で増幅された後、アナログディジタル変換器でディジタ
ル信号に変換され、ディジタル遅延回路に送られ、そこ
で受信指向性を得るために、送信時とは逆の遅延時間を
チャンネル毎に与えられ、さらに加算器で加算される。
この加算ディジタル信号を以下、RF受信信号と称す
る。上述した送受信時の遅延時間制御を超音波パルスの
繰り返し毎に順次変化させることにより、被検体の2次
元領域をセクタ走査して、1フレーム分のRF受信信号
群を得ることができる。さらに、このようなセクタ走査
を繰り返すことにより、RF受信信号群を繰り返し得る
ことができる。
As the receiving system 3, Japanese Patent Publication No. 6-14934
The digital beam former method as shown in No. 1 is given as a good example, and is composed of a preamplifier, an analog-digital converter, a digital delay circuit and an adder. The analog received signal from each oscillator is amplified by the preamplifier, then converted to a digital signal by the analog-digital converter, and sent to the digital delay circuit. Is given a reverse delay time for each channel and further added by an adder.
This added digital signal is hereinafter referred to as an RF reception signal. By sequentially changing the delay time control at the time of transmission / reception described above for each repetition of the ultrasonic pulse, the two-dimensional area of the subject can be sector-scanned and the RF reception signal group for one frame can be obtained. Further, by repeating such sector scanning, the RF reception signal group can be repeatedly obtained.

【0009】受信系3からの出力は、信号処理部4で検
波され、さらにダイナミックレンジを実質的に拡大する
対数増幅にかけられる。これによりBモード画像(組織
断層像)データが生成される。このBモード画像データ
はディジタルスキャンコンバータ(DSC)5を介して
表示器6に送られ、アナログに変換された後、ビジュア
ルなBモード画像として濃淡表示される。
The output from the receiving system 3 is detected by the signal processing unit 4 and is further subjected to logarithmic amplification which substantially expands the dynamic range. As a result, B-mode image (tissue tomographic image) data is generated. This B-mode image data is sent to the display 6 via the digital scan converter (DSC) 5, converted into analog, and then displayed as a light and shade as a visual B-mode image.

【0010】また、受信系3からの出力は、特徴量画像
生成部7に送られる。特徴量画像生成部7は、走査タイ
ミングが異なり、且つ心拍時相の異なる2フレームのR
F受信信号群を用いて、心筋の梗塞程度に応じて値が変
化する特徴量の2次元分布(特徴量画像)を生成するこ
とができるように構成される。この特徴量画像データは
表示器6に送られ、アナログに変換された後、ビジュア
ルな特徴量画像として濃淡またはカラー表示される。
The output from the receiving system 3 is sent to the feature amount image generating section 7. The feature amount image generation unit 7 uses two frames of R having different scanning timings and different heartbeat time phases.
The F received signal group is used to generate a two-dimensional distribution (feature amount image) of feature amounts whose values change according to the degree of infarction of the myocardium. The feature amount image data is sent to the display unit 6, converted into analog, and then displayed in gray scale or color as a visual feature amount image.

【0011】図2は特徴量画像生成部7のブロック図で
ある。フレームメモリ11は、一連のセクタ走査の繰り
返しにより得られた時間的に連続する複数フレーム分の
RF受信信号群を記憶できる容量を有している。また、
フレームメモリ11には2つの出力ポートが設けられて
いる。一方の出力ポートには、第1フレームのRF受信
信号群が装填され、他方の出力ポートには、第1フレー
ムと心拍時相の異なる、例えば第1フレームから1フレ
ーム分遅れた第2フレームのRF受信信号群が装填され
る。
FIG. 2 is a block diagram of the feature amount image generating section 7. The frame memory 11 has a capacity capable of storing RF reception signal groups for a plurality of temporally consecutive frames obtained by repeating a series of sector scans. Also,
The frame memory 11 is provided with two output ports. One of the output ports is loaded with the RF reception signal group of the first frame, and the other output port of the second frame whose heartbeat time phase is different from that of the first frame, for example, the second frame delayed by one frame from the first frame. A group of RF reception signals is loaded.

【0012】例えば複数フレーム分のRF受信信号群は
フレーム単位でフレーム番号nで管理される。フレーム
番号nは、走査順序にしたがって連番として付される。
同様に、DSC5では画像はフレーム番号Nで管理され
る。フレーム番号nとフレーム番号Nとは対応させてお
く。表示器6に表示された特定の画像を図示しない入力
器を介してオペレータが指定すると、当該特定の画像の
フレーム番号Nに対応する第1フレームとしてのフレー
ム番号nのRF受信信号群が一方の出力ポートに装填さ
れ、第2フレームとしてのフレーム番号n+1のRF受
信信号群が他方の出力ポートに装填される。このように
オペレータは、特徴量画像を作成するための心拍時相
を、当該所望とする心拍時相の画像を指定することで特
定することが可能となる。
For example, an RF reception signal group for a plurality of frames is managed in frame units with a frame number n. The frame number n is added as a serial number according to the scanning order.
Similarly, the image is managed by the frame number N in the DSC 5. The frame number n and the frame number N are associated with each other. When the operator designates a specific image displayed on the display 6 via an input device (not shown), the RF reception signal group of the frame number n as the first frame corresponding to the frame number N of the specific image is one of The RF reception signal group of the frame number n + 1 as the second frame is loaded in the output port and is loaded in the other output port. In this way, the operator can specify the heartbeat time phase for creating the feature amount image by designating the image of the desired heartbeat time phase.

【0013】一方の出力ポートからは所定のサイズの局
所領域(カーネルROIという)内のRF受信信号群
が、また他方の出力ポートからは同じサイズであって、
カーネルROIの近傍の局所領域(オブジェクトROI
という)内のRF受信信号群がそれぞれ特徴量演算部1
2に取り込まれる。特徴量演算部12は、両RF受信信
号群どうしの類似性を表す特徴量、例えば相互相関係数
を計算する。特徴量演算部12は、カーネルROIの位
置を固定したままで、オブジェクトROIの位置を所定
の範囲のサーチROI内で転移しながら、特徴量の計算
を繰り返す。これにより、或る位置のカーネルROIに
対して、複数の特徴量が計算され、特徴量演算部12は
これら複数の特徴量の中から最大値(または最小値)を
選択し、この選択した最大値を当該カーネルROIに対
応する特徴量として認識する。特徴量演算部12は、カ
ーネルROIの位置を変えながら、このような特徴量の
計算を繰り返す。これにより、特徴量の2次元分布、つ
まり特徴量画像データが得られる。この特徴量画像デー
タはディジタルスキャンコンバータ(DSC)13を介
して表示器6に送られ、アナログに変換された後、ビジ
ュアルな特徴量画像として濃淡またはカラー表示され
る。
From one output port, a group of RF reception signals in a local area (called a kernel ROI) of a predetermined size, and from the other output port are the same size,
A local region near the kernel ROI (object ROI
The RF reception signal groups in the
Taken in 2. The feature amount calculation unit 12 calculates a feature amount indicating the similarity between the RF reception signal groups, for example, a cross-correlation coefficient. The feature amount calculator 12 repeats the calculation of the feature amount while transferring the position of the object ROI within the search ROI within a predetermined range while keeping the position of the kernel ROI fixed. As a result, a plurality of feature quantities are calculated for the kernel ROI at a certain position, and the feature quantity calculation unit 12 selects the maximum value (or the minimum value) from the plurality of feature quantities and selects the selected maximum value. The value is recognized as a feature amount corresponding to the kernel ROI. The feature amount calculation unit 12 repeats such feature amount calculation while changing the position of the kernel ROI. As a result, the two-dimensional distribution of the feature amount, that is, the feature amount image data is obtained. The feature amount image data is sent to the display 6 via the digital scan converter (DSC) 13, converted into analog, and then displayed in gray scale or color as a visual feature amount image.

【0014】なお、制御系10は、1フレーム分の特徴
量画像データの生成処理及びそのDSC13への格納が
終了して特徴量画像の表示が可能となったとき、特徴量
画像表示が可能となった旨のメッセージをDSC13を
介して表示器6に表示させるようにすることが好まし
い。このメッセージが表示された後、図示しない入力器
を介してオペレータが特徴量画像を表示させるための指
示をしたとき、制御系10は、これを受けてDSC13
から特徴量画像データを表示器6に読み出させ表示させ
る。
The control system 10 can display the feature amount image when the generation process of the feature amount image data for one frame and the storage thereof in the DSC 13 are completed and the feature amount image can be displayed. It is preferable to display a message to the effect that the message is displayed on the display 6 via the DSC 13. After this message is displayed, when the operator gives an instruction to display the feature amount image via an input device (not shown), the control system 10 receives this instruction and the DSC 13
The feature amount image data is read out and displayed on the display 6.

【0015】図3はDSC13のブロック図である。特
徴量演算部12で求められた特徴量画像データは、輝度
変換部14、座標変換部15、フレームメモリ16を介
して適当な例えばオペレータに指定されたタイミングで
ディジタルビデオ信号として表示器6に送られる。輝度
変換部14は、特徴量を輝度データ(またはRGB色相
データ)に変換するものであり、例えば、入力を特徴量
とし、出力を輝度としたROMで構成される。この特徴
量と輝度の対応関係(いわゆる設定)は割り付けテーブ
ルに纏められて輝度変換部14に記憶される。輝度変換
部14は、図5に示すような設定の異なる複数種類のテ
ーブルを装備し、オペレータの指定により任意のテーブ
ルを選択可能に構成されていることが好ましい。図5
(a)は輝度変換の設定を示し、図5(b)は色相変換
の設定を示している。座標変換部15は、特徴量が表現
されている座標系(θ,d)を、表示器6に応じた適当
な座標系、例えば直交座標系(x,y)に変換する。θ
とは超音波ビームの振り角,dは深さを示している。な
お、DSC13では特徴量の空間的な補間を実行するこ
とが好ましい。
FIG. 3 is a block diagram of the DSC 13. The characteristic amount image data obtained by the characteristic amount calculation unit 12 is sent to the display unit 6 as a digital video signal via the luminance conversion unit 14, the coordinate conversion unit 15, and the frame memory 16 at an appropriate timing specified by the operator. To be The brightness conversion unit 14 converts the feature amount into brightness data (or RGB hue data), and is composed of, for example, a ROM having an input as a feature amount and an output as brightness. The correspondence relationship (so-called setting) between the feature amount and the brightness is collected in the allocation table and stored in the brightness conversion unit 14. The brightness conversion unit 14 is preferably equipped with a plurality of types of tables having different settings as shown in FIG. 5, and is configured to be able to select an arbitrary table by the operator's designation. Figure 5
FIG. 5A shows the setting of luminance conversion, and FIG. 5B shows the setting of hue conversion. The coordinate conversion unit 15 converts the coordinate system (θ, d) expressing the feature amount into an appropriate coordinate system according to the display device 6, for example, an orthogonal coordinate system (x, y). θ
Is the swing angle of the ultrasonic beam, and d is the depth. It is preferable that the DSC 13 executes spatial interpolation of the feature amount.

【0016】図4は特徴量画像の生成過程の概略的説明
図である。上述したように特徴量とは、心筋の梗塞程度
を数値化した梗塞心筋を正常心筋と差別化可能な計算値
である。例えば、特徴量が大きいほど梗塞程度が強く、
特徴量が小さいほど正常に近くなることを意味する。と
ころで、梗塞心筋は、正常心筋に対して収縮率が小さ
く、心臓の拍動に関係なく、その部分の組織が固形化
(梗塞)している。したがって、梗塞部分は、正常心筋
の周期的な収縮に従って、単に位置が変化(転移)する
のみである。本発明はこの点に着目したものであり、つ
まり、第1フレームの梗塞心筋部分と、その部分が転移
した第2フレームの梗塞心筋部分とは、組織変化が少な
いので、その部分内のRF受信信号群の分布は両フレー
ム間で非常に類似(酷似)し、このRF受信信号群どう
しの類似性を数値化したものが特徴量として与えられ
る。しかし、梗塞心筋部分はどの位置に転移するか不明
であるのが問題である。この問題は後述するように、カ
ーネルROIの位置を固定したままで、オブジェクトR
OIの位置をサーチROI内で転移しながら、その各位
置で特徴量を計算し、複数の特徴量の中の最大値を当該
カーネルROIに対応する特徴量として決定する、つま
り梗塞心筋部分が転移する可能性のある広い範囲でオブ
ジェクトROIを移動して特徴量をサーチすることで解
決する。以下に特徴量画像の生成過程を具体的に説明す
る。
FIG. 4 is a schematic explanatory view of the process of generating the feature amount image. As described above, the feature amount is a calculated value that is capable of differentiating the infarcted myocardium from the normal myocardium in which the degree of infarction of the myocardium is quantified. For example, the greater the feature amount, the stronger the infarct level,
It means that the smaller the characteristic amount, the closer to normal. By the way, the contraction rate of the infarcted myocardium is smaller than that of the normal myocardium, and the tissue in that portion is solidified (infarcted) regardless of the pulsation of the heart. Therefore, the infarcted portion simply changes its position (metastasis) according to the periodic contraction of normal myocardium. The present invention focuses on this point, that is, since the infarcted myocardial portion of the first frame and the infarcted myocardial portion of the second frame to which the portion has metastasized have little tissue change, RF reception within that portion The distributions of the signal groups are very similar (similar to each other) between both frames, and a numerical value indicating the similarity between the RF reception signal groups is given as a feature amount. However, the problem is that it is not known where the infarcted myocardial portion will metastasize. As will be described later, this problem is caused by the object R with the position of the kernel ROI fixed.
While transferring the position of the OI within the search ROI, the feature amount is calculated at each position, and the maximum value among the plurality of feature amounts is determined as the feature amount corresponding to the kernel ROI, that is, the infarcted myocardial portion is transferred. The problem is solved by moving the object ROI in a wide range and searching for the feature amount. The process of generating the feature amount image will be specifically described below.

【0017】図4(a)に示すように、走査タイミング
が異なり、且つ心拍時相の異なる2フレームのRF受信
信号群、好ましくはBモード像を観察しながらオペレー
タにより指定されたフレーム番号nの第1フレームのR
F受信信号群と、第1フレームから1フレーム分遅れた
フレーム番号n+1の第2フレームのRF受信信号群と
から、特徴量画像が生成される。
As shown in FIG. 4A, two frames of RF reception signals having different scanning timings and different heartbeat time phases, preferably the frame number n designated by the operator while observing the B-mode image. R of the first frame
A feature amount image is generated from the F reception signal group and the RF reception signal group of the second frame of frame number n + 1 delayed by one frame from the first frame.

【0018】まず、図4(b),(c),(d)を参照
して、或るカーネルROI(中心点(xm,ym,n ))の特
徴量を求める手順を説明する。フレームメモリ11の一
方の出力ポートからは第1フレームのカーネルROI内
のRF受信信号群が、また他方の出力ポートからは、カ
ーネルROIの近傍の第2フレームのオブジェクトRO
I内のRF受信信号群が、特徴量演算部12に取り込ま
れる。両RF受信信号群の分布の類似性(特徴量)が、
例えば相互相関係数として計算される。特徴量の計算方
法の詳細は後述する。このカーネルROIの位置を固定
したままで、オブジェクトROIの位置をサーチROI
内で転移し、この特徴量を計算する。さらに、オブジェ
クトROIの位置を転移し、同様に特徴量を計算する。
このようにオブジェクトROIをサーチROI内で転移
しながら、カーネルROIの位置が同じで、オブジェク
トROIの位置が異なる複数の特徴量を求める。これら
複数の特徴量の中の最大値(または最小値)が、当該カ
ーネルROIに対応する特徴量として認識され、この最
大値に当該カーネルROIの中心点の位置情報が与えら
れる。
First, with reference to FIGS. 4B, 4C, and 4D, a procedure for obtaining the feature quantity of a certain kernel ROI (center point (xm, ym, n)) will be described. The RF reception signal group in the kernel ROI of the first frame is output from one output port of the frame memory 11, and the object RO of the second frame near the kernel ROI is output from the other output port.
The RF received signal group in I is taken in by the feature amount calculation unit 12. The similarity (feature amount) of the distribution of both RF reception signal groups is
For example, it is calculated as a cross-correlation coefficient. Details of the calculation method of the feature amount will be described later. The position of the object ROI is searched while keeping the position of this kernel ROI fixed.
It is transferred within and the feature quantity is calculated. Further, the position of the object ROI is transferred, and the feature amount is calculated in the same manner.
In this way, while transferring the object ROI in the search ROI, a plurality of feature quantities with the same position of the kernel ROI but different positions of the object ROI are obtained. The maximum value (or the minimum value) of the plurality of feature quantities is recognized as the feature quantity corresponding to the kernel ROI, and the position information of the center point of the kernel ROI is given to this maximum value.

【0019】そして、カーネルROIを例えば中心点
(xm+1,ym+1,n )に移動し、同様に特徴量を求める。カ
ーネルROIの位置を変えながら、その各位置で特徴量
を求める。これにより、特徴量の2次元分布、つまり特
徴量画像が求められる。
Then, the kernel ROI is moved to, for example, the center point (xm + 1, ym + 1, n), and the feature quantity is similarly obtained. While changing the position of the kernel ROI, the feature amount is obtained at each position. As a result, the two-dimensional distribution of the feature amount, that is, the feature amount image is obtained.

【0020】こうして求められた特徴量画像は、DSC
13の輝度変換部14、座標変換部15、フレームメモ
リ16を順に介して、適当な例えばオペレータに指定さ
れたタイミングでディジタルビデオ信号として表示器6
に送られ、図6(a)に示すようにBモード画像と並列
に、または図6(b)に示すようにBモード画像に重ね
合わして表示される。
The feature amount image thus obtained is the DSC.
The luminance conversion unit 14, the coordinate conversion unit 15, and the frame memory 16 of the display unit 13 are sequentially displayed as a digital video signal at a timing specified by an operator.
And is displayed in parallel with the B-mode image as shown in FIG. 6A or overlaid on the B-mode image as shown in FIG. 6B.

【0021】次に特徴量の計算方法を説明する。特徴量
の計算方式としては、2つの方式を提供する。特徴量演
算部12を両方式実行可能に構成して、オペレータの指
示で選択的に使用するようにしてもよいし、予め一方の
方式を固定的に採用してもよい。第1の方式は特徴量と
して相互相関係数を計算する方式であり、第2の方式は
特徴量として両フレームのカーネルとROIオブジェク
トROI間での差分の絶対値の総和を計算する方式であ
る。
Next, a method of calculating the characteristic amount will be described. Two methods are provided as the method of calculating the feature amount. The feature amount calculation unit 12 may be configured to be capable of executing both types, and may be selectively used according to an operator's instruction, or one of the types may be fixedly used in advance. The first method is a method of calculating a cross-correlation coefficient as a feature amount, and the second method is a method of calculating a sum of absolute values of differences between the kernels of both frames and the ROI object ROI as a feature amount. .

【0022】さらに、第1の方式として、直接法と2次
元フーリエ変換法とが提供される。直接法は相互相関係
数の一般式(定義式)に基づいて計算するものであり、
2次元フーリエ変換法は相互相関関数が原関数のパワー
スペクトラムのフーリエ逆変換であるというウィナー・
ヒンチンの定理を利用して計算するものである。
Further, as the first method, the direct method and the two-dimensional Fourier transform method are provided. The direct method calculates based on the general formula (definition formula) of the cross-correlation coefficient,
In the two-dimensional Fourier transform method, the cross-correlation function is the inverse Fourier transform of the power spectrum of the original function.
It is calculated using Hinchin's theorem.

【0023】図7は第1の方式の全体の流れの説明図で
ある。c(x,y)が求める相互相関係数分布である。c(x,y)
は複素信号なので、最終的に画像化するには絶対値処理
が必要である。ここで、演算点X,Yループのステップ
(カーネルROIの転移ピッチ)は、図8に示したカー
ネルROI(オブジェクトROIに同じ)のサイズの縦
横(rx、ry)に対して、それぞれ1/4程度とする
ことは、c(x,y)の誤差が許容範囲に収まり、且つ計算時
間の短縮化という観点から好ましい。この場合、計算し
なかったc(x,y)は、補間する。
FIG. 7 is an explanatory diagram of the overall flow of the first method. c (x, y) is the cross-correlation coefficient distribution obtained. c (x, y)
Is a complex signal, so absolute value processing is required to finally image it. Here, the step of the calculation points X and Y loops (transition pitch of the kernel ROI) is 1/4 each with respect to the vertical and horizontal (rx, ry) of the size of the kernel ROI (same as the object ROI) shown in FIG. The degree is preferable from the viewpoint that the error of c (x, y) is within the allowable range and the calculation time is shortened. In this case, c (x, y) not calculated is interpolated.

【0024】図9は直接法の計算手順の説明図であり、
図10は2次元フーリエ変換法の計算手順の説明図であ
る。なお、前提条件として図8のように定義する。 *c
はcの複素共役、 cc(τx,τy)は相互相関係数、csumは
相互相関係数の x=τx 、 y=τy の要素値、ccとcsum
は複素信号とする。
FIG. 9 is an explanatory diagram of the calculation method of the direct method,
FIG. 10 is an explanatory diagram of the calculation procedure of the two-dimensional Fourier transform method. The prerequisite is defined as shown in FIG. * c
Is the complex conjugate of c, cc (τx, τy) is the cross-correlation coefficient, csum is the cross-correlation coefficient x = τx, y = τy element value, cc and csum
Is a complex signal.

【0025】図11は第2の方式の説明図である。或る
カーネルROI(中心点(x,y) )に対してオブジェクト
ROIをサーチROI内で移動しながら各位置で、対応
位置間での差分の総和の絶対値ε(xi,yj) 、及びこのε
(xi,yj) のカーネルROI内の総和に対する比率ε´(x
i,yj) を計算し、ε´(xi,yj) の最小値(または最大
値)を当該カーネルROI(中心点(x,y) )における特
徴量とする。このような計算をカーネルROIを転移し
ながら繰り返すことにより特徴量の2次元分布を生成す
る。
FIG. 11 is an explanatory diagram of the second method. While moving the object ROI in the search ROI with respect to a certain kernel ROI (center point (x, y)), at each position, the absolute value ε (xi, yj) of the sum of the differences between the corresponding positions, and this ε
The ratio of (xi, yj) to the sum in the kernel ROI ε '(x
i, yj) is calculated, and the minimum value (or maximum value) of ε '(xi, yj) is set as the feature amount at the kernel ROI (center point (x, y)). By repeating such calculation while transferring the kernel ROI, a two-dimensional distribution of the feature amount is generated.

【0026】上述したように本実施例によると、心筋の
変形の程度を、心時相の異なる2フレームを用いて各フ
レームの局所領域内のRF受信信号の分布間での類似度
(特徴量)として定量化(数値化)して、梗塞心筋を客
観的に画像化できる。しかも、この類似度は、サーチ領
域をサーチするので、梗塞心筋の転移を追従できる。
As described above, according to this embodiment, the degree of deformation of the myocardium is determined by using two frames having different cardiac time phases, the degree of similarity (feature amount) between the distributions of the RF reception signals in the local region of each frame. ), The infarcted myocardium can be objectively imaged. Moreover, since the similarity searches the search area, the infarcted myocardial metastasis can be followed.

【0027】本実施例は、次のように変形可能であり、
上述の説明では2次元の局所領域間のRF受信信号の分
布に基づいて類似性を見たものであるが、これを1次元
追加して3次元の局所領域間での類似性に発展させたも
のである。これは、RF受信信号の位置情報に奥行き情
報を加えることで、容易に実現できる。つまり、図12
に示すように、図1の構成にプローブ1の位置を検出す
る位置検出器20を追加し、特徴量画像生成部7にこの
プローブ1の位置情報を奥行き情報として与えること
で、プローブ1を例えば平行移動しながら得られる多段
層のRF受信信号群を1つの3次元データとして取り扱
うことが可能となる。図13に、3次元画像処理を施し
たBモード画像と並列に表示した3次元の特徴量画像の
一例を示す。この変型例によれば、不明な梗塞心筋の3
次元的な転移を捕捉可能である。本発明はその要旨を逸
脱しない範囲において種々変形して実施可能である。な
お上述ではBモード、カラーフローマッピングにも適用
可能である。
This embodiment can be modified as follows,
In the above description, the similarity was observed based on the distribution of the RF reception signals between the two-dimensional local regions, but this was added to one dimension to develop the similarity between the three-dimensional local regions. It is a thing. This can be easily realized by adding depth information to the position information of the RF reception signal. That is, FIG.
1, a position detector 20 for detecting the position of the probe 1 is added to the configuration of FIG. 1, and the position information of the probe 1 is given to the feature amount image generation unit 7 as depth information, so that the probe 1 It is possible to handle the multi-layered RF reception signal group obtained while moving in parallel as one three-dimensional data. FIG. 13 shows an example of a three-dimensional feature amount image displayed in parallel with the B-mode image subjected to the three-dimensional image processing. According to this variant, 3 of unknown infarcted myocardium
It is possible to capture dimensional transitions. The present invention can be variously modified and implemented without departing from the scope of the invention. It should be noted that, in the above, it is also applicable to B mode and color flow mapping.

【0028】[0028]

【発明の効果】本発明は、被検体の2次元領域を超音波
で走査することにより、1フレーム分の受信信号を繰り
返し得、この受信信号を検波することにより画像を生成
する超音波診断装置において、第1フレームの第1局所
領域内の受信信号と、前記第1フレームと走査タイミン
グの異なる第2フレームの第2局所領域内の受信信号と
の間の類似性を表す特徴量の2次元分布を生成する特徴
量2次元分布生成手段と、前記2次元分布を特徴量画像
として表示する表示手段とを具備し、正常心筋の周期的
な収縮に従って、組織が変型しないで単に位置が変化
(転移)する梗塞部分を、第1フレームの第1局所領域
内の受信信号と第2フレームの第2局所領域内の受信信
号との間の類似性を高いとして、とらえることができる
ので、正常心筋と差別して梗塞心筋を特徴的に画像化す
ることのできる超音波診断装置を提供できる。
Industrial Applicability The present invention is an ultrasonic diagnostic apparatus for repeatedly receiving a reception signal for one frame by scanning a two-dimensional region of a subject with ultrasonic waves and detecting the received signal to generate an image. In two dimensions, the two-dimensional feature quantity indicating the similarity between the received signal in the first local area of the first frame and the received signal in the second local area of the second frame whose scanning timing is different from that of the first frame. A feature quantity two-dimensional distribution generation means for generating a distribution and a display means for displaying the two-dimensional distribution as a feature quantity image are provided, and the position of the tissue is simply changed without deformation according to the periodic contraction of normal myocardium ( The infarcted portion that is transferred can be regarded as a high similarity between the received signal in the first local area of the first frame and the received signal in the second local area of the second frame, so that a normal myocardium is obtained. And the difference The infarcted myocardium can be provided an ultrasonic diagnostic apparatus capable of characteristically imaged.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明による超音波診断装置の一実施例の構成
を示すブロック図。
FIG. 1 is a block diagram showing the configuration of an embodiment of an ultrasonic diagnostic apparatus according to the present invention.

【図2】図1の特徴量画像生成部のブロック図。FIG. 2 is a block diagram of a feature amount image generation unit in FIG.

【図3】図2のDSCのブロック図。3 is a block diagram of the DSC of FIG.

【図4】特徴量画像の生成過程の概略的説明図。FIG. 4 is a schematic explanatory diagram of a process of generating a feature amount image.

【図5】輝度及び色相変換の設定変化を示す図。FIG. 5 is a diagram showing setting changes in luminance and hue conversion.

【図6】特徴量画像の表示例を示す図。FIG. 6 is a diagram showing a display example of a feature amount image.

【図7】特徴量を求める第1の方式の説明図。FIG. 7 is an explanatory diagram of a first method for obtaining a feature amount.

【図8】相互相関係数計算に使われるパラメータの説明
図。
FIG. 8 is an explanatory diagram of parameters used in cross-correlation coefficient calculation.

【図9】相互相関係数を計算する直接法の計算手順の説
明図。
FIG. 9 is an explanatory diagram of a calculation procedure of a direct method for calculating a cross correlation coefficient.

【図10】相互相関係数を計算する2次元フーリエ変換
法の計算手順の説明図。
FIG. 10 is an explanatory diagram of a calculation procedure of a two-dimensional Fourier transform method for calculating a cross correlation coefficient.

【図11】特徴量を求める第2の方式の説明図。FIG. 11 is an explanatory diagram of a second method for obtaining a feature amount.

【図12】本発明の超音波診断装置の変型例の構成を示
すブロック図。
FIG. 12 is a block diagram showing the configuration of a modified example of the ultrasonic diagnostic apparatus of the present invention.

【図13】変型例による特徴量画像の表示例を示す図。FIG. 13 is a diagram showing a display example of a feature amount image according to a modified example.

【符号の説明】[Explanation of symbols]

1…超音波プローブ、 2…送信系、3…受信系、
4…信号処理部、5…DSC、
6…表示器、7…特徴量画像生成部。
1 ... Ultrasonic probe, 2 ... Transmission system, 3 ... Reception system,
4 ... Signal processing unit, 5 ... DSC,
6 ... Display device, 7 ... Feature amount image generation unit.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 被検体の2次元領域を超音波で走査する
ことにより、1フレーム分の受信信号を繰り返し得、こ
の受信信号を検波することにより画像を生成する超音波
診断装置において、 第1フレームの第1局所領域内の受信信号と、前記第1
フレームと走査タイミングの異なる第2フレームの第2
局所領域内の受信信号との間の類似性を表す特徴量の2
次元分布を生成する特徴量2次元分布生成手段と、 前記2次元分布を特徴量画像として表示する表示手段と
を具備することを特徴とする超音波診断装置。
1. An ultrasonic diagnostic apparatus for generating an image by detecting a received signal for one frame repeatedly by scanning a two-dimensional region of a subject with ultrasonic waves, and detecting the received signal. A received signal in a first local area of a frame, and
The second of the second frame whose scanning timing is different from that of the frame
2 of the feature quantity that represents the similarity with the received signal in the local area
An ultrasonic diagnostic apparatus comprising: a feature quantity two-dimensional distribution generation means for generating a dimensional distribution; and a display means for displaying the two-dimensional distribution as a feature quantity image.
【請求項2】 前記特徴量2次元分布生成手段は、1つ
の第1局所領域に対して空間的に近傍する複数の第2局
所領域各々について特徴量を求め、複数の特徴量の中の
最大値と最小値の一方を当該第1局所領域の特徴量とす
ることを特徴とする請求項1記載の超音波診断装置。
2. The feature quantity two-dimensional distribution generation means obtains a feature quantity for each of a plurality of second local areas spatially adjacent to one first local area, and determines the maximum value among the plurality of feature quantities. The ultrasonic diagnostic apparatus according to claim 1, wherein one of the value and the minimum value is set as the feature amount of the first local region.
【請求項3】 前記特徴量は前記第1局所領域内の受信
信号と、前記第2局所領域内の受信信号との間の相互相
関係数であることを特徴とする請求項1記載の超音波診
断装置。
3. The super-characteristic according to claim 1, wherein the characteristic amount is a cross-correlation coefficient between a received signal in the first local area and a received signal in the second local area. Sound wave diagnostic equipment.
【請求項4】 前記特徴量は前記第1局所領域内の受信
信号と、前記第2局所領域内の受信信号との間の差分値
であることを特徴とする請求項1記載の超音波診断装
置。
4. The ultrasonic diagnosis according to claim 1, wherein the characteristic amount is a difference value between a received signal in the first local area and a received signal in the second local area. apparatus.
【請求項5】 前記表示手段は前記2次元分布を輝度変
換処理と色相変換処理の一方を介して表示することを特
徴とする請求項1記載の超音波診断装置。
5. The ultrasonic diagnostic apparatus according to claim 1, wherein the display unit displays the two-dimensional distribution through one of a luminance conversion process and a hue conversion process.
【請求項6】 被検体の3次元領域を超音波で繰り返し
走査することにより前記3次元領域に関する受信信号を
繰り返し得る手段と、 走査タイミングの異なる第1の受信信号と第2の受信信
号を用いて局所領域間の類似性を表す特徴量の3次元分
布を生成する特徴量3次元分布生成手段と、 前記3次元分布を3次元の特徴量画像として表示する表
示手段とを具備することを特徴とする超音波診断装置。
6. A means for repeatedly receiving a reception signal relating to the three-dimensional area by repeatedly scanning a three-dimensional area of a subject with ultrasonic waves, and using a first reception signal and a second reception signal having different scanning timings. And a display unit for displaying the three-dimensional distribution as a three-dimensional feature amount image. And ultrasonic diagnostic equipment.
JP31310294A 1994-12-16 1994-12-16 Ultrasound diagnostic equipment Expired - Fee Related JP3544722B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31310294A JP3544722B2 (en) 1994-12-16 1994-12-16 Ultrasound diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31310294A JP3544722B2 (en) 1994-12-16 1994-12-16 Ultrasound diagnostic equipment

Publications (2)

Publication Number Publication Date
JPH08164139A true JPH08164139A (en) 1996-06-25
JP3544722B2 JP3544722B2 (en) 2004-07-21

Family

ID=18037184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31310294A Expired - Fee Related JP3544722B2 (en) 1994-12-16 1994-12-16 Ultrasound diagnostic equipment

Country Status (1)

Country Link
JP (1) JP3544722B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002177273A (en) * 2000-12-12 2002-06-25 Toshiba Corp Ultrasonic diagnostic device
JP2003061964A (en) * 2001-08-24 2003-03-04 Toshiba Corp Ultrasonic diagnostic apparatus
JP2006026151A (en) * 2004-07-16 2006-02-02 Toshiba Corp Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
JP2006212166A (en) * 2005-02-03 2006-08-17 Hitachi Medical Corp Ultrasonic diagnostic equipment
DE112007001982T5 (en) 2006-08-21 2009-06-10 Panasonic Corp., Kadoma Pulse echo device
JP2011000470A (en) * 2010-10-01 2011-01-06 Toshiba Corp Ultrasonic diagnostic apparatus
WO2013061664A1 (en) * 2011-10-28 2013-05-02 日立アロカメディカル株式会社 Ultrasound imaging apparatus, ultrasound imaging method and ultrasound imaging program
JP5470253B2 (en) * 2008-08-25 2014-04-16 株式会社日立メディコ Ultrasonic diagnostic equipment
JP2022027439A (en) * 2020-07-30 2022-02-10 エヌ・シー・アール・コーポレイション Analysis method of image/video using activity signature and analysis system of the same

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002177273A (en) * 2000-12-12 2002-06-25 Toshiba Corp Ultrasonic diagnostic device
JP2003061964A (en) * 2001-08-24 2003-03-04 Toshiba Corp Ultrasonic diagnostic apparatus
JP2006026151A (en) * 2004-07-16 2006-02-02 Toshiba Corp Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
JP2006212166A (en) * 2005-02-03 2006-08-17 Hitachi Medical Corp Ultrasonic diagnostic equipment
US8465426B2 (en) 2006-08-21 2013-06-18 Tohoku University Ultrasonograph
DE112007001982T5 (en) 2006-08-21 2009-06-10 Panasonic Corp., Kadoma Pulse echo device
JP5470253B2 (en) * 2008-08-25 2014-04-16 株式会社日立メディコ Ultrasonic diagnostic equipment
JP4709937B2 (en) * 2010-10-01 2011-06-29 株式会社東芝 Ultrasonic diagnostic apparatus and image processing apparatus
JP2011000470A (en) * 2010-10-01 2011-01-06 Toshiba Corp Ultrasonic diagnostic apparatus
WO2013061664A1 (en) * 2011-10-28 2013-05-02 日立アロカメディカル株式会社 Ultrasound imaging apparatus, ultrasound imaging method and ultrasound imaging program
JPWO2013061664A1 (en) * 2011-10-28 2015-04-02 日立アロカメディカル株式会社 Ultrasonic imaging apparatus, ultrasonic imaging method, and ultrasonic imaging program
JP2022027439A (en) * 2020-07-30 2022-02-10 エヌ・シー・アール・コーポレイション Analysis method of image/video using activity signature and analysis system of the same
US11475669B2 (en) 2020-07-30 2022-10-18 Ncr Corporation Image/video analysis with activity signatures

Also Published As

Publication number Publication date
JP3544722B2 (en) 2004-07-21

Similar Documents

Publication Publication Date Title
JP4831281B2 (en) Method and apparatus for automatic blood vessel tracking in ultrasound imaging
US5785654A (en) Ultrasound diagnostic apparatus
US5329929A (en) Ultrasonic diagnostic apparatus
JP3043873B2 (en) Ultrasonic aperture synthesis system
US6980844B2 (en) Method and apparatus for correcting a volumetric scan of an object moving at an uneven period
JP3402703B2 (en) Ultrasound diagnostic equipment
JPH08173422A (en) Ultrasonic diagnostic system
JPH10118068A (en) Ultrasonograph
JP2005177494A (en) Method and apparatus for flow parameter imaging
CN101404940A (en) Echocardiographic apparatus and method for analysis of cardiac dysfunction
JPH04317639A (en) Ultrasonic diagnostic system
JPH11327A (en) Ultrasonograph
JP4659974B2 (en) Ultrasonic diagnostic equipment
JP2023001139A (en) Triple-mode ultrasound imaging for anatomical, functional and hemodynamic imaging
JPS63317141A (en) Ultrasonic diagnostic apparatus
JP2007020908A (en) Ultrasonic diagnostic equipment and control program of ultrasonic diagnostic equipment
JP3544722B2 (en) Ultrasound diagnostic equipment
US20120203111A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image acquisition method
JP4381028B2 (en) Ultrasonic diagnostic equipment
US20070112269A1 (en) Clutter filtering with small ensemble lengths in ultrasound imaging
JP4709937B2 (en) Ultrasonic diagnostic apparatus and image processing apparatus
EP1616201A1 (en) Heart wall strain imaging
JP3695807B2 (en) 2D Doppler ultrasound system
JP3558586B2 (en) Ultrasound diagnostic equipment
JP4679141B2 (en) Ultrasonic diagnostic apparatus and method for displaying ultrasonic diagnostic image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080416

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees