JP4356414B2 - Biological tissue multidimensional visual device - Google Patents
Biological tissue multidimensional visual device Download PDFInfo
- Publication number
- JP4356414B2 JP4356414B2 JP2003343185A JP2003343185A JP4356414B2 JP 4356414 B2 JP4356414 B2 JP 4356414B2 JP 2003343185 A JP2003343185 A JP 2003343185A JP 2003343185 A JP2003343185 A JP 2003343185A JP 4356414 B2 JP4356414 B2 JP 4356414B2
- Authority
- JP
- Japan
- Prior art keywords
- cross
- region
- section
- image data
- biological tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000000007 visual effect Effects 0.000 title claims description 26
- 210000004204 blood vessel Anatomy 0.000 claims description 56
- 210000000988 bone and bone Anatomy 0.000 claims description 43
- 210000001519 tissue Anatomy 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 32
- 238000003745 diagnosis Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 52
- 239000000523 sample Substances 0.000 description 20
- 230000002792 vascular Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005534 acoustic noise Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
本発明は、超音波診断装置等を利用した生体組織多次元可視装置に関する。 The present invention relates to a biological tissue multidimensional visual apparatus using an ultrasonic diagnostic apparatus or the like.
超音波診断装置は、線形走査型の超音波プローブを生体組織表面にあてることにより、そのプローブの線形走査方向面内の生体組織の断層画像を表示するようにしたものである。例えば、人体のある組織を観察又は可視化しようとする場合は、超音波診断装置のプローブをその組織に近い体表面にあててパルス状の超音波を発射し反射された超音波の強度を時間軸に表示する。プローブからの上述の超音波を線形走査することによって1つの断層画像が得られる。その組織全体の診断を行うためには、プローブをその線形走査方向と垂直の方向に移動させながら多数の断層画像を得、これら多数の断層画像から目視により判断を行う。 The ultrasonic diagnostic apparatus is configured to display a tomographic image of a biological tissue in a linear scanning direction plane of the probe by applying a linear scanning ultrasonic probe to the surface of the biological tissue. For example, when observing or visualizing a certain tissue of the human body, the probe of the ultrasonic diagnostic apparatus is applied to the body surface close to the tissue, a pulsed ultrasonic wave is emitted, and the intensity of the reflected ultrasonic wave is measured on the time axis. To display. One tomographic image is obtained by linearly scanning the above-described ultrasonic wave from the probe. In order to diagnose the entire tissue, a large number of tomographic images are obtained while moving the probe in a direction perpendicular to the linear scanning direction, and a judgment is made visually from these many tomographic images.
従来の超音波診断装置による診断は、上述したように多数の断層画像を医師などが目視して判断を行うことによって、病理、病変を診断し異常部位を見つけていたので、診断には専門的な高度の経験と熟練とが要求され、特別の訓練を受けた医師が断層画像の読み取りを行うことが必要であった。即ち、従来の超音波診断装置は専門の医師が画像を解読して診断を行うためのものであった。 Diagnosis using conventional ultrasonic diagnostic equipment has been specialized in diagnosis because diagnosis and diagnosis of pathology and lesions have been made by diagnosing a large number of tomographic images by a doctor or the like as described above. A high degree of experience and skill are required, and it is necessary for doctors with special training to read tomographic images. That is, the conventional ultrasonic diagnostic apparatus is used for diagnosis by a specialist doctor decoding an image.
このような不都合を解消するため、超音波診断装置からの断層画像データをコンピュータにより画像処理して2次元画像又は3次元画像を作成し、これを断層画像データに基づく所望の断面の断層画像と同一の画面上に表示することなどにより、特別の経験がなくとも生体組織の観察が容易に行えるようにした多次元可視装置が本出願人により提案され公知となっている(例えば、特許文献1及び2)。 In order to eliminate such inconvenience, the tomographic image data from the ultrasonic diagnostic apparatus is image-processed by a computer to create a two-dimensional image or a three-dimensional image, and this is used as a tomographic image of a desired cross section based on the tomographic image data. A multi-dimensional visual device has been proposed by the present applicant and is publicly known so that a living tissue can be easily observed without special experience by displaying it on the same screen (for example, Patent Document 1). And 2).
このような多次元可視装置を用いて血管を表示する技術も公知である(例えば、特許文献3及び4)。特許文献3には関心血管を指定して他と区別する技術が記載されており、特許文献4には血管の3次元表示方法が記載されている。 A technique for displaying blood vessels using such a multidimensional visual device is also known (for example, Patent Documents 3 and 4). Patent Document 3 describes a technique for specifying a blood vessel of interest and distinguishing it from others, and Patent Document 4 describes a three-dimensional display method of blood vessels.
しかしながら、これら特許文献3及び4のごとく、血管を画面上に表示するだけでは、この血管と他の生体組織との位置関係を把握することが非常に困難であった。 However, as described in Patent Documents 3 and 4, it is very difficult to grasp the positional relationship between the blood vessel and other living tissue simply by displaying the blood vessel on the screen.
従って本発明の目的は、血管と他の生体組織との位置関係を容易に把握することができる生体組織多次元可視装置を提供することにある。 Accordingly, an object of the present invention is to provide a biological tissue multidimensional visual device capable of easily grasping the positional relationship between a blood vessel and another biological tissue.
本発明によれば、生体組織の互いに平行な複数の断面の各々について、超音波進行方向及び超音波走査方向に配列される複数の画素データからなる超音波断層画像データを形成する超音波診断手段と、超音波診断手段を用いて形成した各断面毎の断層画像データを格納する記憶手段と、各断面毎に血管を抽出するための少なくとも1つの第1の関心領域を設定する第1の関心領域設定手段と、各断面毎に骨組織を抽出するための第2の関心領域を設定する第2の関心領域設定手段と、記憶手段に格納されている各断面の断層画像データのうちの第1の関心領域内に存在している画素データを超音波進行方向に沿って演算処理することにより各断面についての血管に関する1次元画像データを求める第1の計算手段と、記憶手段に格納されている各断面の断層画像データのうちの第2の関心領域内に存在している画素データを超音波進行方向に沿って演算処理することにより各断面についての骨組織に関する1次元画像データを求める第2の計算手段と、血管に関する複数の断面における求めた1次元画像データから2次元画像と骨組織に関する複数の断面における該求めた1次元画像データから2次元画像とを同一の画面上に合成して表示する表示手段とを備えた生体組織多次元可視装置が提供される。 According to the present invention, ultrasonic diagnostic means for forming ultrasonic tomographic image data composed of a plurality of pixel data arranged in the ultrasonic traveling direction and the ultrasonic scanning direction for each of a plurality of parallel cross sections of the living tissue. A storage means for storing tomographic image data for each cross section formed by using the ultrasonic diagnostic means, and a first interest for setting at least one first region of interest for extracting a blood vessel for each cross section Of the tomographic image data of each cross-section stored in the storage unit, a second region-of-interest setting unit for setting a second region of interest for extracting a bone tissue for each cross-section, and a storage unit First calculation means for obtaining one-dimensional image data relating to a blood vessel for each cross section by performing arithmetic processing on pixel data existing in one region of interest along the ultrasonic traveling direction, and stored in a storage means A second process for obtaining one-dimensional image data relating to bone tissue for each cross section by performing arithmetic processing on pixel data existing in the second region of interest among the tomographic image data of each cross section along the ultrasonic wave traveling direction. A two-dimensional image from the calculated one-dimensional image data for a plurality of cross sections related to blood vessels and a two-dimensional image from the determined one-dimensional image data for a plurality of cross sections related to bone tissue on the same screen. A biological tissue multidimensional visual device including display means for displaying is provided.
血管に関する2次元画像と骨組織に関する2次元画像とを同一の画面上に合成して表示しているため、血管と骨組織との位置関係を容易に把握することができる。 Since the two-dimensional image related to the blood vessel and the two-dimensional image related to the bone tissue are combined and displayed on the same screen, the positional relationship between the blood vessel and the bone tissue can be easily grasped.
第1の関心域設定手段が、各断面毎に少なくとも1つの局所的な閉領域を設定する閉領域設定手段であることが好ましい。各断面毎に少なくとも1つの局所的な閉領域が設定され、これが関心領域となるので、所望の血管以外の生体組織や超音波の偽像、音響雑音などの影響を排除することができる。その結果、血管のみを抽出して明瞭に画像表示することが可能となる。 The first region of interest setting means is preferably closed region setting means for setting at least one local closed region for each cross section. At least one local closed region is set for each cross section, and this becomes a region of interest, so that it is possible to eliminate the influence of biological tissue other than the desired blood vessel, spurious images of ultrasonic waves, acoustic noise, and the like. As a result, only blood vessels can be extracted and displayed clearly.
閉領域設定手段が、操作者が任意に設定した少なくとも2つの特定の断面における少なくとも1つの局所的な閉領域から、残りの全ての断面における少なくとも1つの局所的な閉領域を補間演算により設定する設定手段であることが好ましい。全ての断面、例えば150断面について、操作者が少なくとも1つの局所的な閉領域を設定することは煩雑であるが、少なくとも2つの特定の断面、例えば3〜5断面のみを設定し、残りは補間計算で自動的に設定することにより、操作者の負担が大幅に軽減され、操作性が大幅に向上する。 The closed region setting means sets at least one local closed region in all the remaining cross sections by interpolation calculation from at least one local closed region in at least two specific cross sections arbitrarily set by the operator. It is preferable that the setting means. For all cross sections, for example 150 cross sections, it is cumbersome for the operator to set at least one local closed region, but only at least two specific cross sections, for example 3-5 cross sections, are set and the rest are interpolated By automatically setting by calculation, the burden on the operator is greatly reduced, and the operability is greatly improved.
この閉領域設定手段が、矩形形状又は楕円形状の少なくとも1つの局所的な閉領域を設定する設定手段であることがより好ましい。 More preferably, the closed area setting means is a setting means for setting at least one local closed area having a rectangular shape or an elliptical shape.
第1の計算手段が、閉領域内に存在している画素データのうちの超音波進行方向に沿った画素データの低輝度部分の輝度値を求めて各断面についての1次元画像データを求める計算手段であることも好ましい。 The first calculation means calculates the luminance value of the low-luminance portion of the pixel data along the ultrasonic traveling direction among the pixel data existing in the closed region, and obtains one-dimensional image data for each cross section. It is also preferable to be a means.
第1の計算手段が、閉領域内に存在している画素データの輝度値を反転し、反転した輝度値が所定の閾値以下の場合は輝度値ゼロとした後、閉領域内において超音波進行方向に沿った画素データの平均輝度値を求めて各断面についての1次元画像データを求める計算手段であることがより好ましい。 The first calculation means inverts the luminance value of the pixel data existing in the closed region, and when the inverted luminance value is equal to or less than a predetermined threshold, sets the luminance value to zero, and then advances the ultrasonic wave in the closed region. More preferably, it is a calculation means for obtaining an average luminance value of pixel data along the direction and obtaining one-dimensional image data for each cross section.
第2の関心域設定手段が、各断面毎に超音波走査方向に沿った帯状の領域を設定する帯状領域設定手段であることも好ましい。 It is also preferable that the second region-of-interest setting unit is a band-shaped region setting unit that sets a band-shaped region along the ultrasonic scanning direction for each cross section.
第2の計算手段が、帯状の領域内に存在している画素データのうちの超音波進行方向に沿った画素データの高輝度部分の輝度値を求めて各断面についての1次元画像データを求める計算手段であることが好ましい。 The second calculation means obtains the luminance value of the high-luminance portion of the pixel data along the ultrasonic wave traveling direction among the pixel data existing in the band-like region, and obtains one-dimensional image data for each cross section. It is preferable that it is a calculation means.
第2の計算手段が、帯状の領域内に存在している画素データのうちの超音波進行方向に沿った所定数の画素の加算値が最大となる部分の平均輝度値を求めて各断面についての1次元画像データを求める計算手段であることがより好ましい。 The second calculation means obtains the average luminance value of the portion where the added value of the predetermined number of pixels along the ultrasonic wave traveling direction of the pixel data existing in the band-like region is the maximum for each cross section. More preferably, the calculation means obtains the one-dimensional image data.
第2の計算手段が、音響陰影を考慮した輝度値を求めて各断面についての1次元画像データを求める計算手段であることも好ましい。この場合、第2の計算手段が、音響陰影が存在する場合は輝度値が高くなるように設定されていることが好ましい。 It is also preferable that the second calculating means is a calculating means for obtaining a luminance value in consideration of the acoustic shadow and obtaining one-dimensional image data for each cross section. In this case, it is preferable that the second calculation means is set so that the luminance value is high when an acoustic shadow is present.
第2の計算手段が、帯状の領域内に存在している画素データのうちの超音波進行方向に沿った全ての画素データの平均値を求めることにより各断面についての1次元画像データを求める計算手段であっても良い。 Calculation in which the second calculation means obtains one-dimensional image data for each cross section by obtaining an average value of all pixel data along the ultrasonic wave traveling direction among the pixel data existing in the band-like region. It may be a means.
表示手段が、両2次元画像と、記憶手段に格納されている断層画像データに基づく所望の断面の断層画像とを同一の画面上に表示可能である表示手段であることが好ましい。 The display means is preferably a display means capable of displaying both two-dimensional images and a tomographic image of a desired cross section based on tomographic image data stored in the storage means on the same screen.
本発明によれば、血管に関する2次元画像と骨組織に関する2次元画像とを同一の画面上に合成して表示しているため、血管と骨組織との位置関係を容易に把握することができる。 According to the present invention, since the two-dimensional image related to the blood vessel and the two-dimensional image related to the bone tissue are combined and displayed on the same screen, the positional relationship between the blood vessel and the bone tissue can be easily grasped. .
図1は本発明における生体組織多次元可視装置の一実施形態の構成を概略的に示すブロック図である。 FIG. 1 is a block diagram schematically showing a configuration of an embodiment of a biological tissue multidimensional visual device according to the present invention.
同図において、10は超音波診断装置、11はこの超音波診断装置10のプローブである。この超音波診断装置10は市販の一般的な超音波診断装置の構成を有するものであり、同図に示すように高周波パルス電圧を発生する発振器10aと、この高周波パルスを増幅してプローブ11に送り出す送信アンプ10bと、プローブ11から送られる反射パルス(エコー信号)を受けて増幅する受信アンプ10cと、受信アンプ10cの出力を表示する例えば液晶表示装置又はCRT等の表示部10dと、受信アンプ10cの出力をビデオ信号に変換する機能と、1断面画像分のビデオ信号を一時的に保存するバッファ機能を有するビデオ信号出力装置10eと、送信する高周波パルスと表示部10dとの同期や発振周波数の選択制御などのその他の制御を行うコントローラ10fとを有している。 In the figure, 10 is an ultrasonic diagnostic apparatus, and 11 is a probe of the ultrasonic diagnostic apparatus 10. This ultrasonic diagnostic apparatus 10 has a configuration of a commercially available general ultrasonic diagnostic apparatus. As shown in the figure, an oscillator 10 a that generates a high-frequency pulse voltage, and a probe 11 that amplifies the high-frequency pulse and applies it to the probe 11. A transmission amplifier 10b that sends out, a reception amplifier 10c that receives and amplifies a reflection pulse (echo signal) sent from the probe 11, a display unit 10d such as a liquid crystal display device or a CRT that displays the output of the reception amplifier 10c, and a reception amplifier 10c having a function of converting the output of 10c into a video signal, a video signal output device 10e having a buffer function of temporarily storing a video signal for one cross-sectional image, and a synchronization and oscillation frequency of a high-frequency pulse to be transmitted and a display unit 10d And a controller 10f for performing other controls such as the selection control of.
発振器10aの発振周波数は、検査対象12aの種類に応じて、例えば骨組織であるのか筋肉や血管等の軟部組織であるのか内臓であるのか等に応じて選択されるものであり、本実施形態においては、例えば、3.5MHz、5.0MHz、7.5MHzのうちから選択できるように構成されている。なお、発振周波数に応じてプローブ11も交換することがある。 The oscillation frequency of the oscillator 10a is selected according to, for example, whether it is a bone tissue, a soft tissue such as a muscle or a blood vessel, or a visceral organ according to the type of the inspection object 12a. Is configured so that it can be selected from, for example, 3.5 MHz, 5.0 MHz, and 7.5 MHz. Note that the probe 11 may be exchanged depending on the oscillation frequency.
プローブ11は、多数の圧電振動子を1次元配列した線形走査型の超音波プローブである。このプローブ11は、図示されてない水袋又は体表に塗られたゼリー状の油を介して検査すべき人体12の皮膚表面に接触保持される。診断装置本体からこのプローブ11へ送られた高周波パルスは、1次元配列された各圧電振動子に順次切り換えて印加され、これにより各圧電振動子から人体12の生体組織に超音波パルスが発射される。人体12内の検査対象12a等で反射された超音波エコーは、各圧電振動子に印加されて電気的パルスに変換されてエコー信号となり、診断装置本体へ送られる。 The probe 11 is a linear scanning ultrasonic probe in which a large number of piezoelectric vibrators are arranged one-dimensionally. The probe 11 is held in contact with the skin surface of the human body 12 to be examined through a water bag (not shown) or a jelly-like oil applied to the body surface. The high-frequency pulse sent from the diagnostic apparatus main body to the probe 11 is sequentially switched and applied to each one-dimensionally arranged piezoelectric vibrator, whereby an ultrasonic pulse is emitted from each piezoelectric vibrator to the living tissue of the human body 12. The The ultrasonic echo reflected from the inspection object 12a or the like in the human body 12 is applied to each piezoelectric vibrator and converted into an electric pulse to be an echo signal, which is sent to the diagnostic apparatus body.
超音波診断装置10のビデオ信号出力装置10eの出力端子は、アナログのビデオ信号をデジタルデータに変換するA/Dコンバータ13を介して、例えばパーソナルコンピュータ等によるデジタルコンピュータ14の入力インタフェース(図示なし)に接続されている。コンピュータ14は、図示されてないCPU(中央処理装置)、後述するプログラムが格納されているROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)、画像メモリ、これらを接続するバス、その他一般的な制御回路を有しており、さらに図示のごときキーボード14aやマウス14bのごとき入力機器、CRT14c、外部メモリ14d等を一般的に備えている。画像メモリは、超音波診断装置10からA/Dコンバータ13を介して送られる断層画像データを一時的に格納しておくものであり、一般的なRAMで構成可能である。本実施形態では150断面分の断層画像データが格納できる容量を有している。この容量を越えるデータが入力された場合は、先頭アドレスから順次オーバーライトされ、従って150画像分の最新画像データが常に記憶されていることとなる。 An output terminal of the video signal output device 10e of the ultrasonic diagnostic apparatus 10 is connected to an input interface (not shown) of the digital computer 14 such as a personal computer via an A / D converter 13 that converts an analog video signal into digital data. It is connected to the. The computer 14 includes a CPU (Central Processing Unit) (not shown), a ROM (Read Only Memory) storing a program to be described later, a RAM (Random Access Memory), an image memory, a bus connecting them, and other general It has a control circuit and generally includes an input device such as a keyboard 14a and a mouse 14b as shown in the figure, a CRT 14c, an external memory 14d and the like. The image memory temporarily stores tomographic image data sent from the ultrasonic diagnostic apparatus 10 via the A / D converter 13, and can be configured by a general RAM. In this embodiment, it has a capacity capable of storing tomographic image data for 150 slices. When data exceeding this capacity is input, it is overwritten sequentially from the head address, so that the latest image data for 150 images is always stored.
次に本実施形態の動作をデジタルコンピュータ14のフローチャートに基づいて説明する。図2は、超音波断層画像データの取り込み動作制御プログラムを説明するフローチャートである。 Next, the operation of the present embodiment will be described based on the flowchart of the digital computer 14. FIG. 2 is a flowchart for explaining an ultrasonic tomographic image data capturing operation control program.
キーボード14aやマウス14bによって、操作者が超音波断層画像データの取り込みを指示すると、まずステップS1において、取り込み動作が所定時間遅延される。これは、取り込み指示からプローブ11の移動開始までの時間的遅れを吸収するためである。 When the operator instructs to capture ultrasonic tomographic image data using the keyboard 14a or mouse 14b, first, in step S1, the capturing operation is delayed for a predetermined time. This is to absorb the time delay from the capture instruction to the start of movement of the probe 11.
操作者又は図示しない自動送り装置がプローブ11を人体12の層表面を所定の軸に沿って一定速度で移動させている間に、ステップS2及びステップS3の処理が実行される。ステップS2では、従来と同様の超音波診断が行われて1画面分の、即ち1つの断面についての、超音波断層画像データが取り込まれ、コンピュータ内の画像メモリに格納される。ステップS3では、あらかじめ指定した分だけ画像を取り込んだかどうか判別する。この判別は、実際に取り込んだ画像数が指定数となったかどうか判定してもよいし、又は起動してから所定時間経過したかどうか判定することによってもよい。後者の方が処理内容を簡易化できる。指定画像分の取り込みが終了してない場合は、ステップS2へ戻り、終了した場合はこの取り込み処理が終了する。 While the operator or an automatic feeder (not shown) moves the probe 11 on the surface of the layer of the human body 12 at a constant speed along a predetermined axis, the processes in steps S2 and S3 are executed. In step S2, ultrasonic diagnosis similar to that in the prior art is performed, and ultrasonic tomographic image data for one screen, that is, one cross section, is captured and stored in an image memory in the computer. In step S3, it is determined whether or not an image has been captured in a predetermined amount. This determination may be performed by determining whether or not the number of images actually captured has reached a specified number, or by determining whether or not a predetermined time has elapsed since activation. The latter can simplify the processing content. If capturing of the designated image has not been completed, the process returns to step S2, and if completed, this capturing process ends.
この時点で、画像メモリ内には指定数の断面に関する超音波断層画像データが格納されている。即ち、図3に示すように、画像メモリ内には人体12の互いに異なるn個の断面についての断層画像データが各断層毎に蓄積されることになる。図4は、このようにして画像メモリ内に格納されたn断面(例えば150断面)の断層画像データの構成を3次元で示している。 At this time, ultrasonic tomographic image data relating to a specified number of cross sections is stored in the image memory. That is, as shown in FIG. 3, tomographic image data for n different cross sections of the human body 12 is accumulated for each tomographic image in the image memory. FIG. 4 shows a three-dimensional configuration of tomographic image data of n slices (for example, 150 slices) stored in the image memory in this way.
図5は、画像表示動作制御プログラムを説明するフローチャートである。 FIG. 5 is a flowchart for explaining the image display operation control program.
キーボード14aやマウス14bによって、操作者が画像表示を指示すると、ステップS11において、画像表示処理動作を開始する。次いでステップS12において、画像メモリに格納されている超音波断層画像データを1画像分(1断面分)だけ取り出し、RAMへ一時的に格納する。 When the operator gives an instruction to display an image using the keyboard 14a or mouse 14b, an image display processing operation is started in step S11. Next, in step S12, ultrasonic tomographic image data stored in the image memory is extracted for one image (one cross section) and temporarily stored in the RAM.
次のステップS13では、この取り出した超音波断層画像データについて低レベルのエコー部分をカットする処理を行う。この処理は、プローブ11と皮膚表面との間で生じるノイズを除去するために行われるものであり、その内容について、以下、図6及び図7を用いて説明する。 In the next step S13, a process of cutting a low level echo portion is performed on the extracted ultrasonic tomographic image data. This process is performed to remove noise generated between the probe 11 and the skin surface, and the contents thereof will be described below with reference to FIGS. 6 and 7.
図6はステップS13における処理を説明するフローチャートであり、図7は1つの断面の画像とその超音波断層画像データとの対応関係を示す図である。図6に示すように、1断面分の超音波断層画像データは、超音波走査方向(X軸、行方向)と超音波進行方向(Y軸、列方向)とのマトリクスで配列された多数の画素データPXYで構成されている。 FIG. 6 is a flowchart for explaining the processing in step S13, and FIG. 7 is a diagram showing the correspondence between one cross-sectional image and its ultrasonic tomographic image data. As shown in FIG. 6, the ultrasonic tomographic image data for one cross section includes a large number of arrays arranged in a matrix of the ultrasonic scanning direction (X axis, row direction) and the ultrasonic traveling direction (Y axis, column direction). It consists of pixel data PXY .
図6のステップS131において、RAM内の超音波断層画像データの先頭アドレスにポインタを合わせ、その画素データP00を読み出す。各画素データPXYはエコーレベルに応じた0〜255の輝度値で表されおり、次のステップS132では読み出した画素データP00が輝度値50以下であるかどうか判別する。画素データが輝度値50以下の場合のみ、次のステップS133においてその画素データP00の輝度値を0としRAMに再格納する。次のステップS134ではY軸方向(超音波進行方向、図7を参照のこと)の次の行の画素データP10に対応する位置にアドレスを歩進させる。次のステップS135ではY軸方向の全ての画素データP01、P02、P03、・・・、P0mについて以上の処理が終了したかどうか判別し、終了してない場合はステップS131に戻ってこれら画素データについて同様の処理を行う。終了した場合は次のステップS136においてX軸方向(超音波走査方向、図7を参照のこと)の次の列の先頭行の画素データP01に対応する位置にアドレスを歩進させる。次のステップS137ではX軸方向についても最後の列の画素データPn0、Pn1、・・・、Pnmまで処理が終了したかどうか判別し、終了してない場合はステップS131に戻って同様の処理を繰り返して行う。終了した場合は図5のステップS14へ進む。 In step S131 in FIG. 6, the pointer is set to the head address of the ultrasonic tomographic image data in the RAM, and the pixel data P00 is read out. Each pixel data P XY is represented by a luminance value of 0 to 255 corresponding to the echo level, the pixel data P 00 read in the next step S132, it is determined whether or less luminance value 50. If the pixel data is less than or equal to the brightness value 50 only, to re-store the luminance value of the pixel data P 00 at the next step S133 to a 0 RAM. Next in step S134 Y-axis direction is incremented to the next address location corresponding to the pixel data P 10 rows of (ultrasonic traveling direction, see FIG. 7). In the next step S135, it is determined whether or not the above processing has been completed for all the pixel data P 01 , P 02 , P 03 ,..., P 0m in the Y-axis direction, and if not, the process returns to step S131. The same processing is performed on these pixel data. If completed, the address is incremented to a position corresponding to the pixel data P 01 in the first row of the next column in the X-axis direction (ultrasonic scanning direction, see FIG. 7) in the next step S136. In the next step S137, it is determined whether or not the processing has been completed up to the pixel data P n0 , P n1 ,..., P nm in the last column also in the X-axis direction. Repeat the process. If completed, the process proceeds to step S14 in FIG.
図5のステップS14では、皮膚表面の座標値の検出を行う。この処理は、超音波断層画像データを超音波の進行方向に順次チェックして隣接する画素データ間の輝度値の差が0ではなくなった位置を皮膚表面として検出するものであり、そのより詳しい内容が図8に示されている。 In step S14 of FIG. 5, the coordinate value of the skin surface is detected. In this process, ultrasonic tomographic image data is sequentially checked in the traveling direction of ultrasonic waves, and a position where the difference in luminance value between adjacent pixel data is no longer 0 is detected as the skin surface. Is shown in FIG.
図8のステップS141において、ステップS13の処理が実施された後のRAM内の超音波断層画像データが格納されている先頭アドレスにポインタを合わせ、その画素データP00を読み出す。次のステップS142では前の画素データとの輝度値の差が0であるかどうか判別する。輝度値の差が0でなくなった場合のみ、この位置が皮膚表面であると判断して次のステップS143においてその画素データの座標値をRAMに格納する。輝度値の差が0である場合はステップS144へ進み、Y軸方向(超音波進行方向、図7を参照のこと)の次の行の画素データP01に対応する位置にアドレスを歩進させる。次のステップS145ではY軸方向の全ての画素データP01、P02、P03、・・・、P0mについて以上の処理が終了したかどうか判別し、終了してない場合はステップS141に戻ってこれら画素データについて同様の処理を行う。終了した場合及び輝度値の差が0でなくなりステップS143の処理を実行した場合は次のステップS146においてX軸方向(超音波走査方向、図7を参照のこと)の次の列の先頭行の画素データP01に対応する位置にアドレスを歩進させる。次のステップS147ではX軸方向についても最後の列の画素データPn0、Pn1、・・・、Pnmまで処理が終了したかどうか判別し、終了してない場合はステップS131に戻って同様の処理を繰り返して行う。終了した場合は図5のステップS15へ進む。 In step S141 in FIG. 8, the pointer is set to the head address where the ultrasonic tomographic image data in the RAM after the processing in step S13 is performed, and the pixel data P00 is read out. In the next step S142, it is determined whether or not the difference in luminance value from the previous pixel data is zero. Only when the difference between the luminance values is not 0, it is determined that this position is the skin surface, and the coordinate value of the pixel data is stored in the RAM in the next step S143. The process proceeds to step S144 if the difference between the luminance value is 0, Y-axis direction is incremented to the next address position corresponding to the pixel data P 01 rows of (ultrasonic traveling direction, see FIG. 7) . In the next step S145, it is determined whether or not the above processing has been completed for all the pixel data P 01 , P 02 , P 03 ,..., P 0m in the Y-axis direction, and if not, the process returns to step S141. The same processing is performed on these pixel data. When the processing is completed or when the difference in luminance value is not 0 and the processing in step S143 is executed, the next row in the next column in the X-axis direction (ultrasonic scanning direction, see FIG. 7) is executed in the next step S146. It is incremented to address the location corresponding to the pixel data P 01. In the next step S147, it is determined whether or not the processing has been completed up to the pixel data P n0 , P n1 ,..., P nm in the last column also in the X axis direction. Repeat the process. If completed, the process proceeds to step S15 in FIG.
以上の処理によりRAM内には、この超音波断層画像データにおける皮膚表面20(図7参照)の座標データが蓄積されることとなる。即ち、プローブ11と人体の層表面との間には水を詰めた水袋又はゼリー状の油のみでありプローブ11から発射された超音波ビームが音響インピーダンスの違いにより最初に反射するのは、その皮膚表面であるとみなされるので、輝度値の差が0であるかどうか判別することによって皮膚表面の位置が分かるのである。 Through the above processing, the coordinate data of the skin surface 20 (see FIG. 7) in the ultrasonic tomographic image data is accumulated in the RAM. That is, between the probe 11 and the layer surface of the human body is only a water bag filled with water or jelly-like oil, and the ultrasonic beam emitted from the probe 11 is first reflected due to the difference in acoustic impedance. Since it is regarded as the skin surface, the position of the skin surface can be known by determining whether or not the difference in luminance value is zero.
図5のステップS15では、指定画像分について以上のステップS12〜S14の処理が全て終了したかどうか判別する。終了していない場合はステップS12へ戻って同様の処理を繰り返して行う。終了した場合はステップS16へ進む。 In step S15 in FIG. 5, it is determined whether or not all the processes in steps S12 to S14 have been completed for the designated image. If not completed, the process returns to step S12 and the same process is repeated. If completed, the process proceeds to step S16.
ステップS16では、ステップS15で得た皮膚表面の座標データから、皮膚表面の補正曲線を作成する。 In step S16, a correction curve for the skin surface is created from the coordinate data of the skin surface obtained in step S15.
次のステップS17では、血管関心領域として、操作者が複数の特定の断層画像上に局所的な閉領域を設定する。図9はこの閉領域設定処理の内容を示すフローチャートである。 In the next step S17, the operator sets a local closed region on a plurality of specific tomographic images as the vascular region of interest. FIG. 9 is a flowchart showing the contents of the closed region setting process.
まず、ステップS171において、操作者が指定した断面の断層画像が表示される。次いで、ステップS172において、操作者がマウス14bなど用いて、その断層画像上で楕円による閉領域を設定する。この設定は、楕円の中心位置及び大きさを指定することにより行われる。即ち、操作者は、表示されている断層画像上において、偽像や音響雑音を避けながら、検査対象である血管のみをできるだけ包み込むようにマウス14bを操作しながら、少なくとも1つの楕円の閉領域を設定する。具体的には、マウス14bをクリックすると、カーソル位置を中心にした規定の大きさの楕円が生成され、表示される。マウスをドラッグするか、又は画面上に表示された操作ボタンをクリックすることによって、その中心位置及び大きさを調整し、血管の外周により近づくことができるように構成されている。 First, in step S171, a tomographic image of a cross section designated by the operator is displayed. Next, in step S172, the operator uses the mouse 14b or the like to set a closed region by an ellipse on the tomographic image. This setting is performed by designating the center position and size of the ellipse. That is, the operator operates at least one oval closed region on the displayed tomographic image while operating the mouse 14b so as to wrap only the blood vessel to be examined as much as possible while avoiding false images and acoustic noise. Set. Specifically, when the mouse 14b is clicked, an ellipse having a prescribed size centered on the cursor position is generated and displayed. By dragging the mouse or clicking an operation button displayed on the screen, the center position and size thereof are adjusted, and the outer periphery of the blood vessel can be approached.
図10は本実施形態における閉領域による血管関心領域、及び帯状の開領域による骨組織関心領域を示している。 FIG. 10 shows a vascular region of interest by a closed region and a bone tissue region of interest by a band-like open region in the present embodiment.
同図に示すごとく、楕円の閉領域100で血管101a及び101bを包み込むように設定することによって、不要な他の生体組織、偽像や音響雑音を含まないように血管関心領域設定が可能となる。一方、骨組織関心領域は、超音波走査方向に沿った帯状の開領域102で骨組織103a及び103bを含むように設定される。なお、図10は、血管関心領域として1つの閉領域を設定する例であるが、2つ以上の閉領域を設定しても良いことは明らかである。 As shown in the figure, by setting so as to wrap the blood vessels 101a and 101b in the oval closed region 100, the blood vessel region of interest can be set so as not to include other unnecessary biological tissues, false images and acoustic noise. . On the other hand, the bone tissue region of interest is set to include the bone tissues 103a and 103b in the band-like open region 102 along the ultrasonic scanning direction. FIG. 10 shows an example in which one closed region is set as the vascular region of interest, but it is obvious that two or more closed regions may be set.
図11に示すように、楕円の中心位置の座標をC(x0,y0)、長径をa、短径をbとすると、楕円の式は(x−x0)2/a2+(y−y0)2/b2=1で与えられる。血管関心領域は楕円の閉領域として表され、画像処理においても楕円で演算されるが、コンピュータ内部では、この楕円が外接する矩形の左上のコーナー座標PC1(x1,y1)及び右下のコーナー座標PC2(x2,y2)が、この断面における関心領域データとして記憶される。この場合、x0=(x1+x2)/2、y0=(y1+y2)/2、a=(x2−x1)/2、b=(y2−y1)/2となる。 As shown in FIG. 11, when the coordinates of the center position of the ellipse are C (x 0 , y 0 ), the major axis is a, and the minor axis is b, the ellipse equation is (x−x 0 ) 2 / a 2 + ( y−y 0 ) 2 / b 2 = 1. The vascular region of interest is represented as a closed region of an ellipse, and is calculated as an ellipse in image processing. However, inside the computer, the upper left corner coordinates P C1 (x 1 , y 1 ) and lower right of the rectangle circumscribed by the ellipse Corner coordinates P C2 (x 2 , y 2 ) are stored as region-of-interest data in this cross section. In this case, x 0 = (x 1 + x 2) / 2, y 0 = (y 1 + y 2) / 2, a = (x 2 -x 1) / 2, b = (y 2 -y 1) / 2 It becomes.
図9の次のステップS173では、複数の特定の断面の断層画像について血管関心領域としての閉領域の設定を終了したかどうか判別し、設定していない場合は、ステップS171へ戻って次の設定すべき断面の断層画像の表示を行ってステップS172へ進み、同様の処理を行う。 In the next step S173 of FIG. 9, it is determined whether or not the setting of the closed region as the vascular region of interest has been completed for the tomographic images of a plurality of specific cross sections, and if not set, the process returns to step S171 and the next setting is performed. The tomographic image of the cross section to be displayed is displayed, the process proceeds to step S172, and the same processing is performed.
操作者による閉領域の設定は、全ての断面、例えば150断面について行うと処理が煩雑となるので、少なくとも2つの特定の断面、例えば3〜5断面のみで行う。この特定の断面としては、最初の断面及び最後の断面に加えて、対象となる血管が変曲している断面を選ぶことが、後に他の断面の断層画像の閉領域を補間で求めた場合に、より正確な閉領域の自動設定が可能となる。 The setting of the closed region by the operator is performed only for at least two specific sections, for example, 3 to 5 sections, because the processing becomes complicated if performed for all sections, for example, 150 sections. As this specific section, in addition to the first section and the last section, it is possible to select a section in which the target blood vessel is inflected. Later, when a closed region of a tomographic image of another section is obtained by interpolation In addition, it is possible to automatically set a more accurate closed region.
図5のステップS18では、ステップS17で設定した複数の特定の断面の断層画像における閉領域から、残りの全ての断面における閉領域を補間演算により自動的に設定する。図12はこの閉領域設定処理の内容を示すフローチャートであり、図13は特定の断面の断層画像とそこで設定されている楕円の閉領域との関係を示す図であり、図14は補間演算を説明する図である。 In step S18 of FIG. 5, from the closed regions in the tomographic images of the plurality of specific cross sections set in step S17, the closed regions in all the remaining cross sections are automatically set by interpolation calculation. FIG. 12 is a flowchart showing the contents of the closed region setting process, FIG. 13 is a diagram showing the relationship between the tomographic image of a specific cross section and the closed region of the ellipse set there, and FIG. 14 shows the interpolation calculation. It is a figure explaining.
まず、ステップS181では、1つの断面の断層画像を取り出して、その断層画像において閉領域が設定されているかどうか設定状況を検出する。その断層画像上に閉領域が設定されている場合はステップS182からステップS183へ進み、設定されていない場合はステップS186へ進む。図13に示すように、最初の断面130では閉領域130aが設定されているので、ステップS183へ進む。 First, in step S181, a tomographic image of one cross section is taken out, and a setting status is detected as to whether or not a closed region is set in the tomographic image. If a closed region is set on the tomographic image, the process proceeds from step S182 to step S183, and if not set, the process proceeds to step S186. As shown in FIG. 13, since the closed region 130a is set in the first cross section 130, the process proceeds to step S183.
ステップS183では、この断面130に対応する断面131、即ち次に閉領域設定が行われている特定の断面131の断層画像を取り出して、その断面で設定されている閉領域131aの状況、例えばその数などを検出する。その断面で設定されている閉領域の数が最初の断面の断層画像の閉領域の数と一致した場合は対応しているとしてステップS184からステップS185へ進み、一致しない場合は補間演算ができないので、この図12の処理、従って図5のステップS18の処理を終了し、操作者による閉領域の設定をやり直す。 In step S183, the tomographic image of the cross section 131 corresponding to the cross section 130, that is, the specific cross section 131 for which the closed area setting is performed next is taken out, and the situation of the closed area 131a set in the cross section, for example, Detect numbers etc. If the number of closed regions set in the cross section matches the number of closed regions in the tomographic image of the first cross section, the process proceeds from step S184 to step S185, and if they do not match, interpolation calculation cannot be performed. Then, the process of FIG. 12, and thus the process of step S18 of FIG. 5, is terminated, and the operator sets the closed region again.
ステップS185では、閉領域が設定されている2つの断面130及び131間の全ての断面について、補間演算により楕円の閉領域が求められる。 In step S185, an elliptical closed region is obtained by interpolation for all cross sections between the two cross sections 130 and 131 for which the closed region is set.
補間演算は、本実施形態では、直線補間が用いられている。即ち、図14に示すように、閉領域の設定されている断面130及び131における楕円の閉領域130a及び131aが外接する矩形130b及び131bの左上のコーナー座標PC1130(x1130,y1130)及びPC1131(x1131,y1131)により、算出する断面133における楕円の閉領域133aが外接する矩形133bの左上のコーナー座標PC1133(x1133,y1133)が直線補間される。同様に、外接矩形130b及び131bの右下のコーナー座標PC2130(x2130,y2130)及びPC2131(x2131,y2131)により、算出する断面133における外接矩形133bの右下のコーナー座標PC2133(x2133,y2133)が直線補間される。 In this embodiment, linear interpolation is used for the interpolation calculation. That is, as shown in FIG. 14, the upper left corner coordinates P C1130 (x 1130 , y 1130 ) of the rectangles 130 b and 131 b circumscribed by the oval closed areas 130 a and 131 a in the cross-sections 130 and 131 where the closed areas are set, and the P C1131 (x 1131, y 1131 ), the upper left corner coordinates P of the rectangle 133b that ellipse closed region 133a in the section 133 to calculate the circumscribed C1133 (x 1133, y 1133) is linear interpolation. Similarly, the lower right corner coordinates P of the circumscribed rectangle 133b in the cross section 133 to be calculated based on the lower right corner coordinates P C2130 (x 2130 , y 2130 ) and P C2131 (x 2131 , y 2131 ) of the circumscribed rectangles 130b and 131b. C2133 (x 2133 , y 2133 ) is linearly interpolated.
この補間演算により、
x1133=(n1x1131+n2x1130)/(n1+n2)
y1133=(n1y1131+n2y1130)/(n1+n2)
x2133=(n1x2131+n2x2130)/(n1+n2)
y2133=(n1y2131+n2y2130)/(n1+n2)
なる座標PC1133(x1133,y1133)及びPC2133(x2133,y2133)が得られる。ただし、n1は断面130からの断面133までの断面数、n2は断面133からの断面131までの断面数である。
By this interpolation calculation,
x 1133 = (n 1 x 1131 + n 2 x 1130 ) / (n 1 + n 2 )
y 1133 = (n 1 y 1131 + n 2 y 1130 ) / (n 1 + n 2 )
x 2133 = (n 1 x 2131 + n 2 x 2130 ) / (n 1 + n 2 )
y 2133 = (n 1 y 2131 + n 2 y 2130 ) / (n 1 + n 2 )
Coordinates P C1133 (x 1133 , y 1133 ) and P C2133 (x 2133 , y 2133 ) are obtained. Here, n 1 is the number of cross sections from the cross section 130 to the cross section 133, and n 2 is the number of cross sections from the cross section 133 to the cross section 131.
次のステップS186においては、全ての断面について閉領域が設定されていることを検出したかどうか判別し、設定されている場合はこの図12の処理を終了する。設定されていない場合はステップS181へ戻り、現在の断面131において閉領域131aが設定されているかどうか設定状況を検出する。この現在の断面131では閉領域131aが設定されているので、ステップS182からステップS183へ進み、前述した内容と同様の処理が実行され、この断面131とこれに対応する断面132との間の断面について補間演算によって閉領域が求められる。 In the next step S186, it is determined whether or not it is detected that the closed region is set for all the cross sections. If it is set, the processing of FIG. 12 is terminated. If it is not set, the process returns to step S181, and a setting state is detected as to whether or not the closed region 131a is set in the current section 131. Since the closed region 131a is set in the current cross section 131, the process proceeds from step S182 to step S183, the same processing as described above is executed, and the cross section between the cross section 131 and the corresponding cross section 132 is executed. A closed region is obtained by interpolation calculation.
このように、図5のステップS18の補間演算によって、全ての断面、例えば150断面の楕円閉領域が設定される。閉領域が複数設定されている場合も同様に補間演算することによって、全ての断面に楕円閉領域が設定される。このようにして設定された閉領域を各断面を縦断する方向に連結すると、対象となる血管に沿ってこれを包含する管状の領域が形成される。 In this way, the elliptical closed region of all cross sections, for example, 150 cross sections, is set by the interpolation calculation in step S18 of FIG. Even when a plurality of closed regions are set, the elliptical closed region is set for all the cross sections by performing the same interpolation calculation. When the closed region set in this way is connected in the direction of longitudinally crossing each cross section, a tubular region including this is formed along the target blood vessel.
図5のステップS19では、超音波断層画像データから血管の2次元画像データを求められる。ステップS19のより詳しい内容が図15に示されている。 In step S19 of FIG. 5, blood vessel two-dimensional image data is obtained from the ultrasonic tomographic image data. More detailed contents of step S19 are shown in FIG.
図15のステップS191においては、コンピュータ14のRAM内のポインタによって指定された1つの断面における血管関心領域である閉領域内の断層画像データの輝度値D=0〜255が反転される。即ち、D´=255−Dの演算が行われる。 In step S191 in FIG. 15, the luminance value D = 0 to 255 of the tomographic image data in the closed region, which is the vascular region of interest in one cross section designated by the pointer in the RAM of the computer 14, is inverted. That is, the calculation of D ′ = 255−D is performed.
次のステップS192では、反転した輝度値D´があらかじめ定めた閾値より大きいかどうか判別し、大きい場合はステップS193へ進みその反転した輝度値D´をその画素の輝度値とし、一方、大きくない場合はステップS194へ進んでその画素の輝度値をゼロにクリアする。 In the next step S192, it is determined whether or not the inverted luminance value D ′ is larger than a predetermined threshold value. If it is larger, the process proceeds to step S193, and the inverted luminance value D ′ is set as the luminance value of the pixel. In this case, the process proceeds to step S194 to clear the luminance value of the pixel to zero.
次のステップS195では、血管関心領域内の全ての画素について上述の処理が終了したかどうか判別し、終了していない場合はステップS192へ戻って同様の処理を繰り返して実行する。 In the next step S195, it is determined whether or not the above process has been completed for all the pixels in the vascular region of interest. If not, the process returns to step S192 and the same process is repeated.
血管関心領域内の全ての画素についてステップS192〜S194の処理が終了した場合はステップS196へ進み、血管関心領域内における超音波走査方向(X軸方向)に並ぶ各画素列について、超音波進行方向(Y軸方向)の画素の輝度値の平均値を求め、これをその断面における1次元画像データとする。 When the processing of steps S192 to S194 has been completed for all the pixels in the vascular region of interest, the process proceeds to step S196, and for each pixel row aligned in the ultrasonic scanning direction (X-axis direction) in the vascular region of interest, the ultrasound traveling direction An average value of luminance values of the pixels in the (Y-axis direction) is obtained, and this is set as one-dimensional image data in the cross section.
次いで、ステップS197において、全ての断面についてこのような1次元の画像データが得られたかどうか判別し、得られていない場合は、次の断面についてステップS191〜S196へ戻って同様の処理を繰り返して実行する。全ての断面(150断面)について終了した場合は図5のステップS20へ進む。 Next, in step S197, it is determined whether or not such one-dimensional image data has been obtained for all cross sections. If not, the process returns to steps S191 to S196 for the next cross section and the same processing is repeated. Execute. When all the cross sections (150 cross sections) are completed, the process proceeds to step S20 in FIG.
以上の処理により、図16に示すように、血管関心領域160内の血管161a及び161bを示す2次元輝度画像データが得られる。血管は超音波断層画像としては、低輝度部分であるが、本実施形態では、その輝度値を反転しているため、得られる2次元輝度画像データでは、高輝度部分として表されることとなる。 By the above processing, as shown in FIG. 16, two-dimensional luminance image data indicating the blood vessels 161a and 161b in the blood vessel region of interest 160 is obtained. The blood vessel is a low-luminance part as an ultrasonic tomographic image, but in this embodiment, since the luminance value is inverted, it is represented as a high-luminance part in the obtained two-dimensional luminance image data. .
図5のステップS20では、超音波断層画像データから骨組織の2次元画像データを求められる。ステップS20のより詳しい内容が図17に示されている。 In step S20 in FIG. 5, two-dimensional image data of bone tissue is obtained from the ultrasonic tomographic image data. A more detailed content of step S20 is shown in FIG.
図17のステップS201においては、コンピュータ14のRAM内のポインタによって指定された1つの断面における超音波断層画像データが読み出される。次いで、ステップS202において、その指定断面における皮膚及びその下の脂肪層に対応する画素データが超音波断層画像データから削除される。皮膚及び脂肪層の深さ192a(図19参照)は、可変の表面補正値としてあらかじめ設定されている。従って、削除すべき画素データ領域は、皮膚表面座標データとこの表面補正値とによって規定されることとなる。 In step S201 in FIG. 17, ultrasonic tomographic image data in one cross section designated by the pointer in the RAM of the computer 14 is read. Next, in step S202, pixel data corresponding to the skin and the fat layer below the specified cross section is deleted from the ultrasonic tomographic image data. The depth 192a (see FIG. 19) of the skin and the fat layer is set in advance as a variable surface correction value. Accordingly, the pixel data area to be deleted is defined by the skin surface coordinate data and the surface correction value.
次のステップS203においては、超音波走査方向(X軸方向)に等幅で展開するその断面における骨組織関心領域である帯状の開領域内の断層画像データから超音波進行方向(Y軸方向)において高輝度部分を探し、その部分の輝度値を算出する。さらに、帯状開領域内の輝度分布から音響陰影の有無を判別し、音響陰影が存在しない部分では、高輝度部分の輝度値が減少するような補正を行い、補正後の高輝度部分の超音波進行方向(Y軸方向)の画素における平均輝度値を求め、これをその断面における1次元画像データとする。 In the next step S203, the ultrasonic traveling direction (Y-axis direction) from the tomographic image data in the band-shaped open region which is the bone tissue region of interest in the cross section developed with the same width in the ultrasonic scanning direction (X-axis direction). A high luminance part is searched for and the luminance value of that part is calculated. Furthermore, the presence or absence of an acoustic shadow is determined from the luminance distribution in the band-shaped open area, and correction is performed so that the luminance value of the high-intensity part decreases in areas where no acoustic shadow exists. An average luminance value in pixels in the traveling direction (Y-axis direction) is obtained, and this is used as one-dimensional image data in the cross section.
以下、このステップS203の演算処理内容について、図18を用いて詳しく説明する。 Hereinafter, the contents of the arithmetic processing in step S203 will be described in detail with reference to FIG.
まず、帯状の骨組織関心領域180内の断層画像データについて、X軸方向の最も手前の画素列において、Y軸方向にm1画素分の輝度値を加算した値D1を求める。Y軸方向に1画素づつずらしながら同様にD1を求め、D1が最大となるY軸方向位置及びそのときの値D1MAXを求める。この最大値D1MAXは、対象とする骨組織181a及び181bの部分である高輝度部分で得られることとなる。次いで、このD1が最大である位置に続けてY軸方向にm2画素分の輝度値を加算した値D2を求める。ただし、この値D2を求める場合、帯状の骨組織関心領域180の外の断層画像データも使用することがある。m1及びm2は、実験的に決定した係数であり、その一例として、例えばm1=5、m2=20である。 First, the tomographic image data in the band of the bone tissue region of interest 180, the front-most pixel column in the X-axis direction, determines the value D 1 obtained by adding the luminance values of m 1 pixel in the Y-axis direction. D 1 is similarly determined while shifting one pixel at a time in the Y-axis direction, and the Y-axis direction position at which D 1 is maximum and the value D 1MAX at that time are determined. This maximum value D1MAX is obtained in a high-luminance portion that is a portion of the target bone tissues 181a and 181b. Then, determine the value D 2 obtained by adding the luminance value of m 2 pixels in the Y-axis direction following the position the D 1 is the maximum. However, when obtaining the value D 2, which may also be used outside of the tomographic image data of the band-shaped bone tissue region of interest 180. m 1 and m 2 are experimentally determined coefficients. For example, m 1 = 5 and m 2 = 20.
次いで、音響陰影に基づく補正係数である音響陰影効果係数SeをSe=D1MAX/(D1MAX+D2)から算出する。この音響陰影効果係数Seは、音響陰影が存在するときは大きくなり、存在しない場合は小さくなる。 Next, an acoustic shadow effect coefficient Se, which is a correction coefficient based on the acoustic shadow, is calculated from Se = D 1MAX / (D 1MAX + D 2 ). The acoustic shadow effect coefficient Se increases when an acoustic shadow exists, and decreases when it does not exist.
その後、この音響陰影効果係数Se及び最大値D1MAXを用いて、そのX軸方向の画素列における平均輝度値Dを、D=D1MAX(k1Se+k2)から求める。k1及びk2も、実験的に決定した係数であり、その一例として、例えばk1=0.7、k2=0.3である。 Thereafter, the average luminance value D in the pixel column in the X-axis direction is obtained from D = D 1MAX (k 1 Se + k 2 ) using the acoustic shadow effect coefficient Se and the maximum value D 1MAX . k 1 and k 2 are also experimentally determined coefficients. For example, k 1 = 0.7 and k 2 = 0.3.
次いで、X軸方向の次の画素列において同様の演算を行って平均輝度値Dを求め、帯状の骨組織関心領域180内の全ての画素列について平均輝度値Dを求めることにより、この断面の1次元画像データを得る。 Next, the same calculation is performed on the next pixel column in the X-axis direction to obtain the average luminance value D, and the average luminance value D is obtained for all the pixel columns in the band-like bone tissue region of interest 180, thereby One-dimensional image data is obtained.
次いで、ステップS204において、指定された断面についてのX軸に沿った平均輝度値Dが(例えば256階調の)輝度情報に変換され、1本の線の輝度画像としてCRT14c上に表示される。これは、例えば図19の破線191aに沿った線画像に相当している。 Next, in step S204, the average luminance value D along the X-axis for the designated cross section is converted into luminance information (for example, with 256 gradations) and displayed as a single line luminance image on the CRT 14c. This corresponds to, for example, a line image along the broken line 191a in FIG.
上述した説明では、帯状の骨組織関心領域内の音響陰影を考慮した高輝度部分の平均輝度値Dを求めて各断面の1次元画像データを算出しているが、帯状の骨組織関心領域内における超音波進行方向(Y軸方向)に沿った全ての画素データの平均値を求めて各断面の1次元画像データを算出しても良い。この場合の平均値の算出方法としては、関心領域内における各列の全ての画素データの和を関心領域内におけるその列の画素数で割り算することによって得られる。なお、本発明における帯状の骨組織領域内に存在している画素データを超音波進行方向に沿って演算処理することによって各断面の1次元画像データを求める方法は、上述したものに限定されるものではない。 In the above description, one-dimensional image data of each cross section is calculated by obtaining the average luminance value D of the high luminance portion in consideration of the acoustic shadow in the band-shaped bone tissue region of interest. One-dimensional image data of each cross section may be calculated by obtaining an average value of all pixel data along the ultrasonic traveling direction (Y-axis direction). In this case, the average value can be calculated by dividing the sum of all the pixel data of each column in the region of interest by the number of pixels in that column in the region of interest. In addition, the method for obtaining one-dimensional image data of each cross section by calculating the pixel data existing in the band-shaped bone tissue region in the present invention along the ultrasonic traveling direction is limited to the above-described method. It is not a thing.
次のステップS205においては、ポインタを次の断面における超音波断層画像データ及び皮膚表面座標データに移動する。次のステップS206では、全ての断面について上述のステップS201〜S205の処理が終了したかどうか判別する。終了していない場合はステップS201へ戻って同様の処理を繰り返して行う。全ての断面について終了した場合は図5のステップS21へ進む。 In the next step S205, the pointer is moved to ultrasonic tomographic image data and skin surface coordinate data in the next cross section. In the next step S206, it is determined whether or not the processing in steps S201 to S205 described above has been completed for all cross sections. If not completed, the process returns to step S201 and the same process is repeated. When all the cross sections are completed, the process proceeds to step S21 in FIG.
以上の処理により、図18に示すように、骨組織関心領域180内の骨組織181a及び181bを示す2次元輝度画像データが得られる。骨組織関心領域180は、超音波走査方向(X軸方向)に拡がった領域であるため、上述の処理によって検出されるのは骨組織だけに限らず、その他の輝度が高い生体組織や全体の輪郭も検出される。 By the above processing, as shown in FIG. 18, two-dimensional luminance image data indicating the bone tissues 181a and 181b in the bone tissue region of interest 180 is obtained. Since the bone tissue region of interest 180 is a region that expands in the ultrasonic scanning direction (X-axis direction), not only the bone tissue is detected by the above-described processing, but also other biological tissues with high luminance and the whole A contour is also detected.
図5のステップS21では、以上のごとくして求められた血管に関する2次元輝度画像データと骨組織に関する2次元輝度画像データとが合成され、コンピュータのCRT14c上に、図19に示すように、合成された2次元の輝度画像191がX線像のごとく表示されることとなる。この合成にあたっては、血管に関する2次元輝度画像データにおいて血管の存在しない部分が骨組織に関する2次元輝度画像データの対応する画素データで置き換えられることとなる。 In step S21 of FIG. 5, the two-dimensional luminance image data related to the blood vessel and the two-dimensional luminance image data related to the bone tissue obtained as described above are synthesized, and synthesized on the CRT 14c of the computer as shown in FIG. The two-dimensional luminance image 191 thus displayed is displayed like an X-ray image. In this synthesis, in the two-dimensional luminance image data related to the blood vessel, the portion where the blood vessel does not exist is replaced with the corresponding pixel data of the two-dimensional luminance image data related to the bone tissue.
次のステップS22では、図19に示すように、指定された断面についての断層画像192がコンピュータ14のRAM内に格納されている超音波断層画像データを用いて、2次元の輝度画像191と同一の画面190内に表示される。次のステップS23では、指定された断面の位置を表すマーク197が2次元画像191の側部に表示され、これによって2次元輝度画像と断層画像との対応関係が一目で分かるようになる。このマーク197の表示としては、例えば、(1)そのマークの表示色を他部分の像と異なる色とする、(2)マーク197を点滅させる、(3)マーク197に破線、鎖線又は点滅線等の特別の線を付随させる等がある。 In the next step S22, as shown in FIG. 19, the tomographic image 192 for the specified cross section is the same as the two-dimensional luminance image 191 using the ultrasonic tomographic image data stored in the RAM of the computer 14. Is displayed in the screen 190. In the next step S23, a mark 197 indicating the position of the designated cross section is displayed on the side of the two-dimensional image 191, thereby making it possible to understand the correspondence between the two-dimensional luminance image and the tomographic image at a glance. Examples of the display of the mark 197 include: (1) the display color of the mark is different from the image of the other part, (2) the mark 197 is blinked, (3) the mark 197 is a broken line, a chain line, or a blinking line And so on.
例えばキーボード14a又はマウス14b等を用いて、画面190上でマーク197を移動させることによって所望の断面を指定し、その指定された断面の超音波断層画像データを画面190上に表示することができる。 For example, a desired cross section can be specified by moving the mark 197 on the screen 190 using the keyboard 14a or the mouse 14b, and the ultrasonic tomographic image data of the specified cross section can be displayed on the screen 190. .
以上述べたように、本実施形態では、図19に示すように、対象となる血管194a及び194bの2次元輝度画像データと骨組織195a、195b及び195cの2次元輝度画像データとが合成されてなる2次元輝度画像データが表示されるため、血管194a及び194bの骨組織195a、195b及び195cに対する位置関係を明確に把握することができる。また、血管194a及び194bの外周にできるだけ近接しできるだけこれら血管のみを包み込むような楕円の血管閉領域193を各断面に設け、このようにして設定された閉領域193を各断面を縦断する方向に連結することにより、血管に沿ってこれを包含する管状の領域が形成され、このような管状の血管関心領域193内で演算を行うことによって、不要な他の生体組織、偽像や音響雑音を含まない画素データでの画像処理が可能となり、所望の血管のみを明瞭に画像表示することが可能となる。さらに、骨組織関心領域196が超音波走査方向(X軸方向)に拡がった領域であるため、検出されるのは骨組織だけに限らず、その他の輝度が高い生体組織や全体の輪郭も検出されるから、血管の位置関係をより明瞭に把握できる。 As described above, in this embodiment, as shown in FIG. 19, the two-dimensional luminance image data of the target blood vessels 194a and 194b and the two-dimensional luminance image data of the bone tissues 195a, 195b and 195c are synthesized. Therefore, the positional relationship of the blood vessels 194a and 194b with respect to the bone tissues 195a, 195b and 195c can be clearly grasped. In addition, an elliptical closed blood vessel region 193 that wraps only the blood vessels as close as possible to the outer circumferences of the blood vessels 194a and 194b is provided in each cross section, and the closed region 193 thus set is arranged in a direction that crosses each cross section longitudinally. By connecting, a tubular region that includes this is formed along the blood vessel, and by performing calculations in such a tubular blood vessel region of interest 193, unnecessary biological tissue, spurious images and acoustic noise can be removed. Image processing with pixel data not included is possible, and only a desired blood vessel can be clearly displayed. Further, since the bone tissue region of interest 196 is an area that extends in the ultrasonic scanning direction (X-axis direction), not only the bone tissue is detected, but also other living tissues with high luminance and the entire contour are detected. Therefore, the positional relationship between blood vessels can be grasped more clearly.
もちろん本実施形態によれば、所望の断面に関する断層画像の隣に検査対象である血管及び骨組織の合成2次元輝度画像が表示され、しかも合成2次元輝度画像のどの位置の断層画像かがマーク等で明示されるので、両者の関係が具体的(客観的)に把握でき、特別の経験がなくとも血管の解析を容易に行うことができる。このため、外部からは診断できないもの及びX線撮像でも診断が難しいものについて、特別の経験がないものでも把握することができる。しかも操作が簡単であり、容易に観察することができる。また、X線のごとく危険性もなく、操作に法的な制限がないのでだれでも簡便に使用することができる。さらに、CTスキャン装置等に比してはるかに安価に製造することができる。 Of course, according to the present embodiment, the combined two-dimensional luminance image of the blood vessel and bone tissue to be examined is displayed next to the tomographic image regarding the desired cross section, and the tomographic image at which position of the combined two-dimensional luminance image is marked. Therefore, the relationship between the two can be grasped concretely (objectively), and blood vessels can be easily analyzed without special experience. For this reason, what cannot be diagnosed from the outside and those that are difficult to diagnose even by X-ray imaging can be grasped even without special experience. Moreover, the operation is simple and can be observed easily. Moreover, there is no danger like X-rays, and since there are no legal restrictions on operation, anyone can use it easily. Furthermore, it can be manufactured at a much lower cost than a CT scanning device or the like.
なお、上述の実施形態においては、血管及び骨組織の2次元画像を輝度画像で表しているが、血管及び骨組織の2次元画像を適当な数の輝度値別に異なる色とした色画像で表示することによってより明瞭に表示するようにしてもよいことは明らかである。 In the above-described embodiment, the two-dimensional image of the blood vessel and the bone tissue is represented by a luminance image. However, the two-dimensional image of the blood vessel and the bone tissue is displayed by a color image having a different color for each appropriate number of luminance values. Obviously, the display may be made clearer.
なお、このようにして表示された2次元輝度画像を参照し、抽出対象の血管が管状の関心領域に含まれるように閉領域の再設定を行うことも可能であり、その場合、より明瞭に画像表示することができる。 It is possible to reset the closed region so that the extraction target blood vessel is included in the tubular region of interest with reference to the two-dimensional luminance image displayed in this way. Images can be displayed.
図20〜図22は、図19に示したごとき断層画像及び2次元輝度画像をコンピュータの画面上に実際に表示した例を示す写真図である。図20は断層画像と血管194a及び194bの2次元画像データとを表示した場合、図21は断層画像と血管194a及び194b及び骨組織195a、195b及び195cの合成した2次元画像データとを表示した場合、図22は断層画像と血管194a及び194bの2次元画像データと骨組織195a、195b及び195cの合成した2次元画像データと血管194a及び194b及び骨組織195a、195b及び195cの合成した2次元画像データとを表示した場合である。 20 to 22 are photographic diagrams showing an example in which the tomographic image and the two-dimensional luminance image as shown in FIG. 19 are actually displayed on the computer screen. 20 shows a tomographic image and two-dimensional image data of blood vessels 194a and 194b. FIG. 21 shows a tomographic image and two-dimensional image data synthesized of blood vessels 194a and 194b and bone tissues 195a, 195b and 195c. FIG. 22 shows a tomographic image, two-dimensional image data of blood vessels 194a and 194b, two-dimensional image data of bone tissues 195a, 195b and 195c, and two-dimensional images of blood vessels 194a and 194b and bone tissues 195a, 195b and 195c. This is a case where image data is displayed.
図20及び図21を比較すれば明らかのように、血管及び骨組織を合成した2次元画像データである図21の本発明では、血管の位置関係を非常に明確に把握することが可能である。 As is clear from a comparison of FIGS. 20 and 21, in the present invention of FIG. 21, which is two-dimensional image data obtained by synthesizing blood vessels and bone tissue, it is possible to grasp the positional relationship between blood vessels very clearly. .
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。 All the embodiments described above are illustrative of the present invention and are not intended to be limiting, and the present invention can be implemented in other various modifications and changes. Therefore, the scope of the present invention is defined only by the claims and their equivalents.
10 超音波診断装置
10a 発振器
10b 送信アンプ
10c 受信アンプ
10d 表示部
10e ビデオ信号出力装置
10f コントローラ
11 プローブ
12 人体
12a 検査対象
13 A/Dコンバータ
14 デジタルコンピュータ
14a キーボード
14b マウス
14c CRT
14d 外部メモリ
20 皮膚表面
100、160、193 血管関心領域
101a、101b、161a、161b、194a、194b 血管
102、180、196 骨組織関心領域
103a、103b、181a、181b、195a、195b、195c 骨組織
130、131、133 断面
130b、131b、133b 矩形領域
190 画面
191 2次元輝度画像
192 断層画像
197 マーク
DESCRIPTION OF SYMBOLS 10 Ultrasonic diagnostic apparatus 10a Oscillator 10b Transmission amplifier 10c Reception amplifier 10d Display part 10e Video signal output device 10f Controller 11 Probe 12 Human body 12a Test object 13 A / D converter 14 Digital computer 14a Keyboard 14b Mouse 14c CRT
14d External memory 20 Skin surface 100, 160, 193 Blood vessel region of interest 101a, 101b, 161a, 161b, 194a, 194b Blood vessel 102, 180, 196 Bone tissue region of interest 103a, 103b, 181a, 181b, 195a, 195b, 195c Bone tissue 130, 131, 133 Cross-section 130b, 131b, 133b Rectangular area 190 Screen 191 Two-dimensional luminance image 192 Tomographic image 197 Mark
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003343185A JP4356414B2 (en) | 2003-10-01 | 2003-10-01 | Biological tissue multidimensional visual device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003343185A JP4356414B2 (en) | 2003-10-01 | 2003-10-01 | Biological tissue multidimensional visual device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005103129A JP2005103129A (en) | 2005-04-21 |
JP4356414B2 true JP4356414B2 (en) | 2009-11-04 |
Family
ID=34537238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003343185A Expired - Lifetime JP4356414B2 (en) | 2003-10-01 | 2003-10-01 | Biological tissue multidimensional visual device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4356414B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5284123B2 (en) * | 2009-01-20 | 2013-09-11 | 株式会社東芝 | Ultrasonic diagnostic apparatus and position information acquisition program |
US8724880B2 (en) | 2011-06-29 | 2014-05-13 | Kabushiki Kaisha Toshiba | Ultrasonic diagnostic apparatus and medical image processing apparatus |
JP5823184B2 (en) * | 2011-06-29 | 2015-11-25 | 株式会社東芝 | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program |
-
2003
- 2003-10-01 JP JP2003343185A patent/JP4356414B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005103129A (en) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2785636B2 (en) | Biological tissue multidimensional visualization device | |
US5181513A (en) | Method of acquiring ultrasound images | |
JP4829217B2 (en) | Data set visualization | |
WO2009013686A2 (en) | Systems and methods for automated image selection in doppler ultrasound imaging systems | |
JP4772516B2 (en) | Ultrasonic diagnostic equipment | |
JP4659974B2 (en) | Ultrasonic diagnostic equipment | |
JP4205957B2 (en) | Ultrasonic diagnostic equipment | |
JP5473853B2 (en) | Ultrasonic image generator | |
JP2005102945A (en) | Biotissue multidimensional visualization equipment | |
JP4575821B2 (en) | Image processing apparatus, image processing method and image diagnosis support system for visualizing peristaltic movement of uterus, computer program therefor, and recording medium recording the same | |
JP5042533B2 (en) | Medical image display device | |
JP4356414B2 (en) | Biological tissue multidimensional visual device | |
JP5630967B2 (en) | Image processing apparatus and control method thereof | |
JP2007521867A (en) | Apparatus and method for automatic tissue segmentation with dynamic change characteristics | |
JP4709937B2 (en) | Ultrasonic diagnostic apparatus and image processing apparatus | |
JP5058638B2 (en) | Ultrasonic diagnostic equipment | |
US12217428B2 (en) | Motion analysis of the digestive tract | |
JP3261999B2 (en) | Biological tissue multi-dimensional visualization device | |
JP4400157B2 (en) | Biological tissue multidimensional visual device | |
JP2785679B2 (en) | Biological tissue multidimensional visualization device | |
JP3896349B2 (en) | Medical image processing apparatus and program | |
CN113842162B (en) | Ultrasonic diagnostic apparatus and diagnostic support method | |
JP2001137240A (en) | Apparatus and method for measuring ultrasonic wave | |
JP3454553B2 (en) | Image processing device | |
CN117881346A (en) | Image processing apparatus, image processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090727 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4356414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |