[go: up one dir, main page]

WO2012008217A1 - 超音波画像の画像復元方法およびその装置並びに超音波診断装置 - Google Patents

超音波画像の画像復元方法およびその装置並びに超音波診断装置 Download PDF

Info

Publication number
WO2012008217A1
WO2012008217A1 PCT/JP2011/061436 JP2011061436W WO2012008217A1 WO 2012008217 A1 WO2012008217 A1 WO 2012008217A1 JP 2011061436 W JP2011061436 W JP 2011061436W WO 2012008217 A1 WO2012008217 A1 WO 2012008217A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
time point
frame
ultrasonic
ultrasonic image
Prior art date
Application number
PCT/JP2011/061436
Other languages
English (en)
French (fr)
Inventor
剛 上瀧
宮本　敦
中平　健治
Original Assignee
株式会社日立メディコ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立メディコ filed Critical 株式会社日立メディコ
Priority to US13/703,961 priority Critical patent/US20130090560A1/en
Priority to JP2012524480A priority patent/JP5649083B2/ja
Publication of WO2012008217A1 publication Critical patent/WO2012008217A1/ja
Priority to US14/739,387 priority patent/US9408591B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present invention relates to an ultrasonic diagnostic apparatus that acquires an image by transmitting / receiving ultrasonic waves to / from a subject, and an image of an ultrasonic image in which processing for improving spatial resolution or temporal resolution is performed on the acquired image by image processing.
  • the present invention relates to a restoration method, an apparatus thereof, and an ultrasonic diagnostic apparatus.
  • Ultrasound diagnostic devices are used in many parts of the body including the abdomen and heart. Unlike X-ray examinations, ultrasonic diagnostic equipment is widely used because it has advantages such as no harm to the living body, simple operation, and real-time observation of moving images. .
  • an ultrasonic wave is emitted from the ultrasonic probe toward the subject, a reflected wave from the tissue inside the subject is received by the ultrasonic probe, and displayed on the monitor.
  • a two-dimensional image or a three-dimensional image can be acquired in real time by scanning the ultrasonic wave converged in a specific direction with respect to the azimuth direction.
  • a high-resolution image can be generated by performing deconvolution processing on an image of one frame acquired as in Patent Document 1.
  • deconvolution processing as described in Non-Patent Document 1, image blurring due to aberration of an ultrasonic beam and image degradation due to sampling are modeled, and an ideal ultrasonic wave without the degradation is obtained from the acquired ultrasonic image.
  • a technique for estimating an image is known.
  • Patent Document 2 by measuring the body motion in the imaging surface of the target object using the ultrasonic image, and adding or subtracting the time series image while adding the correction process for the measured body motion, It describes that information that changes over time, such as the shape of a target object and tissue degeneration, is imaged and displayed.
  • the method of increasing the number of scans per frame can obtain a high-resolution ultrasonic image, but the time required to acquire one frame image increases due to an increase in the propagation time of the ultrasonic wave. There is a problem that the display frame rate is lowered. This is particularly difficult when observing fast-moving parts such as the heart and the frame rate is insufficient. Further, the deconvolution process has a problem that unnatural artifacts are generated in an image having a lot of noise. Therefore, the effect of high resolution cannot be expected for an ultrasonic image with much noise.
  • an ultrasonic probe is used to scan a sample with an ultrasonic signal, and an ultrasonic image obtained from a signal received from a reflected wave from the sample is processed to obtain an ultrasonic image of the sample.
  • an ultrasonic image of a frame at a certain point in time and an ultrasonic wave of a frame before a certain point in time from among a series of ultrasonic images constituting the ultrasonic image obtained by imaging
  • An image is extracted, and the amount of positional deviation between the extracted ultrasonic image of the frame at a certain time point and the ultrasonic image of the frame at a time point before the certain time point is calculated, and information on the calculated positional displacement amount is used.
  • an ultrasonic image restoration apparatus includes a receiving circuit means for receiving a reflected wave signal obtained by scanning a sample with an ultrasonic probe and receiving a reflected wave from the sample.
  • the image generating means for generating an ultrasonic image from the reflected wave signal received by the receiving circuit means, the image processing means for restoring the ultrasonic image generated by the image generating means, and the restoration processing by the image processing means
  • Display means for displaying an ultrasonic image on the screen, and the image processing means includes a frame at a certain point in time from the series of ultrasonic images constituting the ultrasonic image generated by the image generation means.
  • An ultrasonic image and an ultrasonic image of a frame at a time point before the certain time point are extracted, and the extracted ultrasonic image of the frame at a certain time point and a frame at a time point before the certain time point are extracted.
  • the amount of positional deviation from the sound image is calculated, and the ultrasonic image of the frame at a certain point extracted using the information on the calculated amount of positional deviation between the ultrasonic image of the frame at a point in time before the certain point
  • a composite ultrasonic image for one frame is obtained by correcting the positional deviation and synthesizing the extracted ultrasonic image of the frame at a certain time point and the ultrasonic image of the frame at a time point before the certain time point.
  • the high-resolution ultrasonic image with higher resolution than the ultrasonic image is restored without reducing the frame rate lower than the frame rate of the ultrasonic image generated by the image generation means. .
  • an ultrasonic diagnostic apparatus scans a sample with an ultrasonic signal and receives a reflected wave from the sample, and a high-frequency signal that drives the ultrasonic probe.
  • the present invention by applying an image restoration process using a plurality of frames of images, it is possible to achieve a high-resolution ultrasonic image without reducing the frame rate.
  • an ultrasonic probe scanning method suitable for image restoration processing the effect of increasing the resolution can be improved.
  • FIG. 4 is a flowchart when a storage device is provided in the flow of FIG. 3. Front view of an ultrasound image group obtained by converting an ultrasound image group acquired at times t-3, t-2, t-1, and t into a fan-shaped image by a scan converter using the configuration shown in FIG. It is.
  • FIG. 4 is a flowchart when a storage device is provided in the flow of FIG. 3. Front view of an ultrasound image group obtained by converting an ultrasound image group acquired at times t-3, t-2, t-1, and t into a fan-shaped image by a scan converter using the configuration shown in FIG. It is.
  • FIG. 4 Front view of an ultrasound image group obtained by converting an ultrasound image group acquired at times t-3, t-2, t-1, and t into a fan-shaped image by a scan converter using the configuration shown in FIG. It is.
  • FIG. 4 Front view of an ultrasound image group obtained by converting an ultrasound image group acquired at times t-3, t-2, t-1, and
  • FIG. 6 is a front view of an ultrasound image showing an example of a result of executing image restoration processing on ultrasound image groups 502 to 505.
  • FIG. 6 is a front view of an ultrasound image showing an example of a result of executing image restoration processing on ultrasound image groups 507 to 510.
  • FIG. 3 is a front view of an ultrasonic image group obtained by converting an ultrasonic image group acquired at times t ⁇ 2, t ⁇ 1, and t into a fan-shaped image by a scan converter using the configuration illustrated in FIG. 2.
  • FIG. 2 is a front view of an ultrasonic image group obtained by converting an ultrasonic image group acquired at times t ⁇ 2, t ⁇ 1, and t into a fan-shaped image by a scan converter using the configuration illustrated in FIG. 2.
  • FIG. 10 is a diagram showing a state in which a weight parameter for image restoration processing is set by performing region segmentation based on a positional deviation amount in an ultrasonic image 602 acquired at time t-2.
  • FIG. 10 is a diagram showing a state in which a weight parameter for image restoration processing is set by dividing an area based on the amount of positional deviation in an ultrasonic image 603 acquired at time t ⁇ 1. It is a figure which shows the state which divided the area
  • FIG. 10 is a diagram showing a state in which a weight parameter for image restoration processing is set by performing region segmentation based on a positional deviation amount in an ultrasonic image 602 acquired at time t-2.
  • FIG. 10 is a diagram showing a state in
  • FIG. 6 is a diagram illustrating a result of calculating a positional deviation amount between an ultrasonic image 802 at time t ⁇ 1 and an ultrasonic image 803 at time t.
  • the ultrasonic image groups 802 and 803 obtained by converting the ultrasonic image groups acquired at the timings t-1 and t into fan-shaped images by the scan converter, and the front of the ultrasonic image 804 of the intermediate frame estimated by the flow of FIG.
  • FIG. FIG. 6 is a diagram showing a positional deviation amount at time t ⁇ t estimated from an ultrasound image group acquired at timings t-1 and t.
  • One high-resolution ultrasonic image is generated from a plurality of ultrasonic images (ultrasonic image group) acquired in time series by using an image restoration process.
  • the effect of noise was suppressed by generating a single high-resolution ultrasound image using multiple frames of ultrasound images.
  • by using a plurality of frames of images for the image restoration process it is possible to synthesize the image information of each frame in a complementary manner, and a high effect can be obtained in increasing the resolution.
  • an ultrasonic image processing target image
  • an ultrasonic image group input image group
  • a positional deviation amount is calculated for each of the processing target image and the input image group
  • a high-resolution processing target image is generated from the input ultrasonic image group and the positional deviation amount using image restoration processing.
  • the region division can be performed within a manually given region, or can be performed automatically based on the positional deviation amount.
  • the weight parameter is processed so that an image of a larger area is more greatly reflected in the result of the image restoration process. For example, a portion with a large amount of positional deviation is likely to have a large deformation in the shape of its peripheral portion, and it may be difficult to correct the deformation and perform image restoration processing.
  • the weight parameter is set small in an area where it is difficult to correct misalignment according to the present invention, and the image data of the processing target image becomes dominant in the area. That is, according to the present invention, it is possible to automatically extract only the region where the effect of the image restoration processing is obtained even in the observation of the fast moving part such as the heart, thereby increasing the resolution.
  • the image restoration process using a plurality of frames is a process of complementarily synthesizing the image information of each frame, so even if almost the same image group is input to the image restoration process.
  • the effect of high resolution is small.
  • the present invention is characterized in that an ultrasonic probe is controlled to acquire an ultrasonic image group having different scanning conditions, and image restoration processing is performed. That is, by changing the scanning conditions, it is possible to include a large amount of complementary information in the ultrasound image group, and the effect of increasing the resolution by the image restoration process can be improved.
  • an interlace method can be used in which acquisition of only even-numbered scan directions and acquisition of only odd-numbered scan directions are alternately performed for each frame. In places where the movement is small, high resolution can be achieved by simply superimposing the images obtained by the interlace method.
  • jitter when the movement of the subject such as the heart is large, an image shift called jitter may occur at the joint of the image. Even for such a jitter, a seamless frame image composition process can be performed by performing a correction process using the positional deviation amount. In addition, this method can be realized in the same manner even in the case of three frames or more.
  • a method of switching the focal length of scanning for each frame can be used. That is, when the focal point of the ultrasonic beam is narrowed down to a specific position during scanning, a clear image can be acquired at the point where the beam is narrowed, but other parts are blurred. Therefore, by combining the ultrasonic images acquired by changing the scan focal length for each frame, the focused image area can be increased. Since the present invention does not increase the number of scans per frame, it is possible to improve the spatial resolution of an image without reducing the frame rate.
  • FIG. 1 is a diagram illustrating an example of the configuration of the ultrasonic diagnostic apparatus 101.
  • the ultrasonic diagnostic apparatus 101 includes an ultrasonic probe 103 that transmits and receives an ultrasonic signal, a drive circuit 102 that generates a drive signal to be input to the ultrasonic probe 103, and a reception circuit that performs amplification and A / D conversion of the received signal.
  • an image generation unit 105 that generates an image in which scanning line signal sequences of ultrasonic scanning are arranged in a two-dimensional form
  • an image processing unit 106 that performs image processing such as image restoration processing, and an image represented by the scanning line signal sequence
  • a scan converter 112 that performs coordinate conversion processing and interpolation processing
  • a display unit 113 that displays an image generated by the scan converter
  • a control / storage / processing unit 120 that controls the whole and stores and processes data are provided.
  • the ultrasonic probe 103 transmits an ultrasonic signal based on the drive signal to the subject 100, receives a reflected wave from the subject 100 obtained at the time of transmission, and converts it into an electrical reception signal.
  • the types of the ultrasonic probe 103 include, for example, types called linear, convex, sector, and radial.
  • the scan converter 112 converts a rectangular image into a fan-shaped image.
  • the control / storage / processing unit 120 includes an input unit 121, a control unit 122, a storage unit 123, and a processing unit 124. From the input unit 121, a timing for starting image generation, parameters relating to image generation, and the like are provided. Entered.
  • the control unit 122 controls operations of the drive circuit 102, the ultrasonic probe 103, the reception circuit 104, the image processing unit 106, and the like.
  • the storage unit 123 stores a received signal, an image generated by the image generation unit 105, an image calculated by the image processing unit 106, a display image that is an output of the scan converter 112, and the like.
  • the processing unit 124 performs processing for shaping an electrical signal to be input to the ultrasonic probe 103, processing for adjusting brightness and contrast at the time of image display, and the like.
  • the ultrasonic probe 103 transmits an ultrasonic signal based on the drive signal controlled by the control unit 122 of the control / storage / processing unit 120 to the subject 100 and is obtained by this transmission.
  • a reflection signal from the subject 100 is received and converted into an electrical reception signal.
  • the reception signal converted into the electric signal is amplified and A / D converted by the reception circuit 104, and then the A / D converted signal is processed by the image generation unit 105 to generate an image.
  • the image processing unit 106 an image restoration process is performed on the input image, and an output image with high resolution is obtained.
  • this output image is subjected to image coordinate conversion processing and interpolation processing by the scan converter 112 to generate an image.
  • the present invention is not limited to this embodiment, and for example, as shown in the configuration of the ultrasonic diagnostic apparatus 201 in FIG.
  • FIG. 21 and 22 are diagrams showing the internal processing of the image processing unit 106.
  • FIG. The image data output from the image generation unit 105 is first input to the ultrasound image group acquisition unit 2101 to store the frame image in the storage unit 123 of the control / storage / processing unit 120 and to the misregistration amount calculation unit 2102. Sent. Next, the sent frame image and the past frame image group stored in the storage unit 123 are input to the misregistration amount calculation unit 2102 to calculate the misregistration amount.
  • FIG. 22 shows an example of internal processing of the image processing unit 106 different from FIG.
  • the scan condition selection unit 2201 sets the scan direction or focal length of the ultrasonic beam, and picks up an ultrasonic image under the scan condition. Thereafter, an image restoration process is executed in the same manner as the process of FIG.
  • a plurality of ultrasonic image groups acquired along this time series are sent to the image processing unit 106 and input to the ultrasonic image group acquisition unit 2101 of the image processing unit 106 to control / store / process unit 120 for each frame image. Are stored in the storage unit 123.
  • an ultrasonic image (processing target image) that is an image restoration processing target is extracted from the ultrasonic image group output from the ultrasonic image group acquisition unit 2101, and is controlled / stored /
  • An ultrasonic image group (input image group) to be input to the image restoration process is extracted from the frame images stored in the storage unit 123 of the processing unit 120.
  • X [t] output from the ultrasound image group acquisition unit 2101 is set as a processing target image, and the input image group is stored in the storage unit 123 as X [t], X [t ⁇ 1], X [t -2].
  • a positional deviation amount between the processing target image and each image of the input image group is calculated (S302).
  • a calculation method of the positional deviation amount for example, a general positional deviation amount calculation algorithm such as an optical flow method or a block matching method can be used.
  • the image restoration processing unit 2103 generates a high-resolution processing target image Y [t] from the input image group and the calculated positional deviation amount (S303), and displays it on the screen of the display unit 113 (S304). ).
  • Equation 1 Xi is the i-th image of the N input image groups, Y is a high-resolution image generated by image restoration processing, Si is an action indicating the positional deviation of the i-th image, and Fi is the i-th image.
  • D is an effect of quantization, Tx is an effect of shifting the image by 1 pixel in the x direction, and Ty is an effect of shifting the image by 1 pixel in the y direction.
  • the first term of Equation 1 is a term indicating an error from the image Xi observed by the high-resolution image Y receiving various image deterioration factors
  • the second term is a smooth luminance value of the high-resolution image Y to be restored. It is a term that stabilizes so that.
  • the stabilization term is adjusted by the parameter ⁇ .
  • Reference numeral 2301 denotes a high-resolution ultrasonic image Y to be estimated in the image restoration process.
  • 2306-1 and 2306-2 are the acquired ultrasonic images of the first frame and the second frame, respectively.
  • a position shift operation is performed on the image 2301 using the calculated first and second frame position shift amounts (S2302-1, S2302-2).
  • an image blurring effect associated with imaging is performed (S2303-1, S2303-2), and then an image quantization operation is performed (S2304-1, S2304-2).
  • the ultrasonic image of the subject 100 generated by the image generation unit 105 is stored in the storage unit 123 of the control / storage / processing unit 120 as shown in FIG. 4.
  • the stored ultrasonic image groups X [t], X [t-1], and X [t-2] can be used for the image restoration process.
  • high resolution moving image data can be created by collecting the images stored in the storage unit 123 offline and increasing the resolution.
  • an ultrasonic wave is emitted toward the subject 100 using the ultrasonic probe 103, a reflected wave from a tissue inside the subject 100 is detected by the ultrasonic probe 103, and a detection signal is passed through the receiving circuit unit 104.
  • the ultrasonic image group X [t], X [t-1], X [t-2],... Is acquired by sending to the image generating unit 105 and processing (S401).
  • the acquired ultrasonic image groups X [t], X [t-1], X [t-2],... are stored in the storage unit 123 of the control / storage / processing unit 120.
  • the image restoration processing unit 2103 generates a high-resolution processing target image Y [t] from the input image group and the calculated positional deviation amount (S403), and displays it on the screen of the display unit 113 (S404). ).
  • This series of processing is executed until imaging is completed (S405).
  • FIGS. 5A to 5D show examples in which the resolution of the ultrasonic image is increased by the processing flow shown in FIG.
  • images 502 to 505 are ultrasonic image groups acquired at time t-3, t-2, t-1, and t along the time axis 501 respectively.
  • Reference numeral 506 in FIG. 5B denotes an image obtained by increasing the resolution of the ultrasonic image 505 at time t using the images 502 to 505 in FIG. 5A by image restoration processing.
  • processing is performed using an ultrasonic image group obtained by converting image data obtained from the ultrasonic probe 103 into a fan-shaped image by the scan coverter 112 (that is, processing in the apparatus configuration shown in FIG. 2).
  • Example shows examples in which the resolution of the ultrasonic image is increased by the processing flow shown in FIG.
  • images 502 to 505 are ultrasonic image groups acquired at time t-3, t-2, t-1, and t along the time axis 501 respectively.
  • this embodiment can also be applied to the apparatus configuration shown in FIG.
  • a high-resolution ultrasonic image 511 before the scan converter as shown in FIG. 5D is generated from the ultrasonic image groups 507 to 510 before the scan converter as shown in FIG. 5C. That is, in the same way as described with reference to FIGS. 5A and 5B, in FIG. 5C, the images 507 to 510 are acquired along the time axis 501 at timings t-3, t-2, t-1, and t, respectively. It is an ultrasonic image group.
  • Reference numeral 511 in FIG. 5D indicates an image obtained by increasing the resolution of the ultrasonic image 510 at time t using the images 507 to 510 in FIG.
  • the scan converter 112 performs coordinate conversion processing and interpolation processing on the high-resolution ultrasonic image 510, whereby the image is converted into a fan-shaped image in FIG. 5B and can be displayed on the screen of the display unit 113.
  • FIGS. 6A to 6E show an embodiment in which an ultrasonic image is divided into regions based on the amount of misalignment between images, and weight parameters for image restoration processing are set for each divided region.
  • the weight parameter is set to be small in an area where it is difficult to correct misalignment according to the present invention, and the image data of the processing target image is dominant in that area. That is, according to the present invention, it is possible to automatically extract only the region where the effect of the image restoration processing is obtained even in the observation of the fast moving part such as the heart, thereby increasing the resolution.
  • 602 to 604 in FIG. 6A are ultrasonic images captured along the time axis 601.
  • an image to be processed is an ultrasonic image 604.
  • the result of calculating the positional deviation amount between the ultrasonic images 604 and 603 is shown by 605 in FIG. 6E, and the direction and magnitude of the positional deviation are shown by arrows 615.
  • Reference numerals 606 to 608 in FIG. 6E show the result of division into three regions based on the amount of positional deviation.
  • a region 607 is a region having the largest positional deviation
  • a region 606 is a region having the smallest positional deviation.
  • 609 in FIG. 6B, 610 in FIG. 6C, and 611 in FIG. 6D are the results of setting the weight parameters in the image restoration processing based on the region division results 606 to 608 shown in FIG. 6E.
  • the image restoration process considering the weight parameter can be performed by minimizing the following Equation 2.
  • Wi in the equation is an action of applying the weight parameter of the i-th image.
  • the area division can be automatically performed based on the positional deviation amount as described above, or an area specified by the user on the GUI may be used.
  • FIG. 17 shows a high-resolution ultrasonic image generated by performing an image restoration process from an ultrasonic image group acquired by changing the scanning condition for each frame in this embodiment, and displaying it in real time. It is an example of GUI which sets an image restoration process parameter.
  • Reference numeral 1701 denotes an ultrasonic image captured by the ultrasonic probe in real time.
  • an imaging frame rate is set.
  • the actual imaging frame rate is displayed at 1703.
  • parameters for image restoration processing are set.
  • box 1704 the size of the output image after image restoration processing is set.
  • a box 1705 the number of frame images used for image restoration processing is designated.
  • a scan method is selected. If the check box 1707 is selected, the scan direction is imaged in an interlaced manner for each frame. If the check box 1708 is selected, imaging is performed while changing the focal length of the ultrasonic beam for each frame.
  • the button 1709 When the button 1709 is pressed after setting the parameters of the image restoration process, the image restoration process is executed, and the image and the display frame rate, which have been subjected to the image restoration process and have a high resolution, are displayed in real time in 1710 and 1711.
  • the frame rate is improved by estimating and displaying an intermediate frame image on the time axis between acquired ultrasonic images. That is, the first embodiment is a process for improving the spatial resolution, but in this embodiment, the resolution in the time direction is improved by estimating the frame images between the acquired frame images. As a result, the frame rate can be improved without reducing the number of scans per frame (that is, without reducing the spatial resolution of the image).
  • an ultrasonic imaging time interval H (acquired imaging interval) is acquired (S701).
  • the acquired imaging interval H may be given manually or calculated from the required frame rate value.
  • a group of ultrasound images X [t], X [t-1], and X [t-2] obtained by capturing a plurality of images of the subject 100 in time series using the ultrasound probe 103 at the acquisition imaging interval. ,... are acquired (S702).
  • the acquired frame image is stored in the storage unit 123.
  • the amount of positional deviation between images is calculated in the same manner as in the first embodiment (S704).
  • an ultrasonic image (intermediate frame) obtained when the processing target image is captured at a timing shifted from the timing at which the processing target image is captured by a time shorter than the acquisition imaging interval. Image) is estimated (S705) and output to the screen (S706).
  • the processes in S702 to 706 are repeated according to the result of the end determination (S707).
  • FIG. 24 shows a flow when the output frame rate is specified in this processing.
  • the shift amount ⁇ t on the time axis of the estimated intermediate frame image is initialized to zero (S2400).
  • the imaging time interval H of the ultrasonic image is acquired (S2401).
  • the imaging time interval H may be a manually input value or may be calculated from the input frame rate.
  • the time interval K of the output image is acquired (S2402).
  • the time interval K of the output image may be a manually input value, or may be calculated from the required frame rate.
  • the acquired image is stored in the storage device 2410.
  • Ultrasonic images 802 and 803 in FIG. 8B are ultrasonic images imaged at the acquisition imaging interval H along the time axis 801.
  • the ultrasonic image 804 is an image obtained by estimating an ultrasonic image obtained when imaging at t ⁇ t ( ⁇ t ⁇ 1) from the ultrasonic images 802 and 803.
  • the linear portion in the region 805 inside the ultrasonic image 804 moves from the upper left to the lower right between the ultrasonic images 802 and 803, but in the ultrasonic image 804, the portion is located at an intermediate position between them. Is estimated to be placed.
  • the intermediate frame image 804 can be generated by pasting the pixels of the acquired ultrasonic images 802 and 803 shown in FIG. 8B or performing weighted addition based on the estimated amount of displacement.
  • FIG. 19 is an example of a GUI that displays an ultrasonic image with an improved frame rate by estimating an intermediate frame image on the time axis in the captured ultrasonic image in the present embodiment.
  • Reference numeral 1901 displays an ultrasonic image captured by the ultrasonic probe in real time.
  • An imaging frame rate is set in box 1902.
  • the actual imaging frame rate is displayed at 1903.
  • box 1904 the frame rate of the output image is set.
  • Reference numeral 1905 denotes the most recently acquired frame image (t frame)
  • 1906 denotes an image (t-1 frame) acquired immediately before the frame image 1905.
  • Reference numeral 1907 denotes an intermediate frame image (t-0.5 frame) estimated from 1905 and 1906 on the time axis.
  • An image with the frame rate improved by performing the above processing is displayed in 1908 together with the frame rate 1909.
  • a third embodiment of the image restoration process according to the present invention will be described with reference to the flowchart of FIG.
  • the image restoration process is more effectively performed by switching the scanning condition of the ultrasonic probe for each frame. That is, since the image restoration process is a process of interpolating image information between a plurality of frames in a complementary manner, even if almost the same image group is input to the image restoration process, the effect of increasing the resolution is small.
  • the present embodiment is characterized in that an ultrasonic probe is controlled to acquire an ultrasonic image group having different scanning conditions, and image restoration processing is performed. That is, by changing the scanning conditions, it is possible to include a large amount of complementary information in the ultrasound image group, and the effect of increasing the resolution by the image restoration process can be improved.
  • the scanning conditions for the ultrasonic probe are selected and set from a group of scanning conditions prepared in advance (S901).
  • a selectable scan condition an interlace method in which acquisition of only even-numbered scan orientations and acquisition of only odd-numbered scan orientations are alternately switched for each frame can be used. In places where the movement is small, high resolution can be achieved by simply superimposing two frames of images using the interlace method.
  • jitter when the motion is large, a positional shift called jitter may occur at the joint between frames. Even for such jitter, correction processing can be performed using the amount of positional deviation.
  • the scan direction can be switched and combined in the same manner in the case of 3 frames or more.
  • a method of switching the focal length of scanning for each frame can be used.
  • the focal point of the ultrasonic beam is narrowed down to a specific position during scanning, the image can be clearly acquired at that location, but the other locations are blurred. Therefore, by combining the ultrasonic images acquired by changing the scan focal length for each frame, the focused image area can be increased.
  • an ultrasonic image X [t] obtained by imaging the subject 100 under the selected scanning conditions is acquired in time series using the ultrasonic probe 103 (S902).
  • the acquired ultrasonic image groups X [t], X [t ⁇ 1],... are stored in the storage unit 123.
  • a high-resolution ultrasound image Y [t] of the ultrasound image X [t] is generated from the ultrasound image group using image restoration processing (S904) and displayed (S905).
  • image restoration processing S904
  • FIGS. 10A to 10C show an example of switching the scan direction and an example of the result of this processing flow.
  • one frame image is generated from two frame images having different scan directions.
  • scan directions 1001-1 to 1001-5 indicate the scan direction of the ultrasonic beam emitted from the ultrasonic probe 103 in the first frame
  • scan directions 1002-1 to 1002-4 indicate the ultrasonic probe in the second frame.
  • the scan direction of the ultrasonic beam emitted from 103 is shown.
  • Partial images 1003-1 to 1003-5 in FIG. 10B show image data obtained by scanning the first frame
  • partial images 1004-1 to 1004-4 show image data obtained by scanning the second frame. .
  • the image information of each frame can be complementarily synthesized to obtain an ultrasound image 1007 with improved azimuth resolution.
  • the generation of the ultrasonic image 1007 may be performed by obtaining an amount of positional deviation between images in the same manner as in the first embodiment and using image restoration processing, or may be generated by simply performing averaging.
  • the third frame integrates the image data obtained in the second and third frames by emitting ultrasonic beams in the scan directions indicated by arrows 1001-1 to 1001-5 in FIG. 10A.
  • An ultrasonic image with improved resolution can be generated.
  • the ultrasonic image 1007 in FIG. 10B is subjected to the main processing with the ultrasonic image after the scan converter in the system configuration shown in FIG. 2, but using the system configuration shown in FIG. This processing may be performed using a sound image.
  • FIG. 10C is an example in which this processing is applied to the ultrasonic image before the scan converter.
  • image data of partial images 1005-1 to 1005-5 is acquired in the first frame
  • image data of partial images 1006-1 to 1006-4 is acquired in the second frame
  • both image data are combined.
  • a high-resolution ultrasonic image 1008 is generated.
  • the case of 2 frames has been described.
  • the case of 3 frames or more can be performed in the same manner.
  • Fig. 11 shows an example of 3 frames.
  • the scan directions 1101-1 to 1101-3 are the scan directions of the first frame
  • the scan directions 1102-1 to 1102-3 are the scan directions of the second frame
  • the scan directions 1103-1 to 1103-3 are three. It is the scan direction of the frame.
  • the scan direction is changed for each frame.
  • the ultrasonic image group is acquired by changing the focal length of the ultrasonic beam in the scan for each frame.
  • FIGS. 13A and B An example is shown in FIGS. 13A and B.
  • an ultrasonic beam is emitted in the directions of scan directions 1301-1 to 1301-5, but the first frame is focused on the positions of circles 1302-1 to 1302-5.
  • An ultrasonic image is acquired, and in the second frame, an ultrasonic image is acquired by focusing on the positions of circles 1303-1 to 1303-5.
  • the ultrasonic beam has the property that if it is focused at one location, the other is blurred. Normally, this focus is set near the center so that the entire image becomes clear on average.
  • an ultrasonic image is acquired by actively changing the focal position, and by combining these multiple ultrasonic images, a clear ultrasonic image with a focus on the entire image can be acquired. It becomes.
  • this processing can be applied only to an area designated by the user.
  • reference numeral 1402 denotes a region (ROI) designated by the user.
  • the ultrasound probe 103 can be controlled to capture an ultrasound image so that the scan orientation is concentrated on the ROI 1402 in FIG. 14A.
  • this processing irradiates signals in two directions at the same time and receives signals, or irradiates ultrasonic beams in one direction and irradiates ultrasonic beams in the other direction before receiving signals. It can also be applied in combination with the multi-beam method.
  • FIG. 18 shows an example of a GUI that displays a region (ROI) designated by the user with high resolution in this embodiment.
  • Reference numeral 1801 denotes an ultrasonic image captured by the ultrasonic probe in real time.
  • An imaging frame rate is set in a box 1802. The actual imaging frame rate is displayed at 1803.
  • Reference numeral 1804 denotes an ROI designated by the user with a mouse click or the like.
  • parameters for image restoration processing are set.
  • an enlargement magnification of the image by the image restoration process is set.
  • the number of frame images used for image restoration processing is designated.
  • a box 1807 selects a scanning method.
  • an image restoration process is executed only in the ROI 1804, and an image that has been subjected to the image restoration process to increase the resolution is displayed in 1809. It is also possible to concentrate the scan only on the designated ROI and display only the ROI image with high resolution.
  • a fourth embodiment of the image restoration process according to the present invention will be described with reference to the flowchart of FIG.
  • an ultrasonic probe is acquired using the periodic information to acquire an ultrasonic image group, and two or more periods are acquired using image restoration processing.
  • This is an example of generating a high-resolution ultrasonic image group in a shorter time range (for example, for one cycle) from the ultrasonic image group. That is, since a part such as the heart performs cyclic repetitive motion, an ultrasonic image having the same time phase on the period can obtain almost the same image, but for the reason described in the third embodiment, Even if many similar images are input to the image restoration process, the effect of increasing the resolution cannot be expected.
  • the present invention when capturing the target image and the past target image, complementary information is included in the ultrasound image group by changing both images to different scanning conditions.
  • the effect of the image restoration process can be improved.
  • Scan conditions, scan range, scan focal length, etc. can be changed as scan conditions.
  • the acquired image is stored in the storage unit 123.
  • the scan condition can be changed at each cycle, or the scan condition can be changed for each frame as long as the scan conditions between ultrasonic images shifted by one cycle are different. May be. If the image capturing has not ended due to the end determination (S1505), the scanning condition selection step (S1502) and the ultrasonic image acquisition step (S1503) are looped. After the imaging is completed, the ultrasonic image group is input to an image restoration process to generate a high-resolution ultrasonic image group (S1506), which is displayed (S1507).
  • FIG. 16 shows an example in which the scan orientation is changed for each cycle with respect to the subject that periodically moves according to the flow of FIG.
  • the ultrasonic image 1601-1 is a frame image acquired at time t
  • the ultrasonic image 1601-4 is a frame image acquired in the past by one cycle from the ultrasonic image 1601-1.
  • Ultrasonic images 1601-3 and 1601-2 are frame images acquired at times t-T + 1 and t-T + 2, respectively.
  • Scan directions 1602-1 to 1602-4 indicate the scan directions when the ultrasonic images 1601-1 to 1601-4 are acquired, respectively.
  • FIG. 12A is an example of acquiring and synthesizing an image by changing the scan range for each cycle of the subject that periodically moves according to the flow of FIG.
  • Scan azimuths 1201-1 to 1201-3 are scan azimuths at time t
  • scan azimuths 1202-1 to 1202-3 are scan azimuths past by one cycle from scan azimuths 1201-1 to 1201-3
  • scan azimuths 1203 ⁇ 1 to 1203-3 are scan azimuths past by two periods from the scan azimuths 1201-1 to 1201-3.
  • the partial image 1204-1 in FIG. 12B is an ultrasonic image obtained from the scan directions 1201-1 to 1201-3
  • the partial image 1204-2 is an ultrasonic image obtained from the scan directions 1202-1 to 1202-3.
  • Partial images 1204-3 are ultrasonic images obtained by the scan directions 1203-1 to 1203-3.
  • one high-resolution ultrasonic image 1204 can be generated.
  • a portion where the images overlap may be averaged, or correction processing may be applied to the vicinity of the boundary using a blur filter so that the boundary of the connection portion of the image is seamlessly connected.
  • FIG. 20 is an example of a GUI that performs image restoration processing from an ultrasonic image group captured by changing scan conditions using the movement cycle of the subject in this embodiment.
  • the processing according to the present embodiment is not real-time processing as described in the first to third embodiments, but a high-resolution ultrasonic moving image is generated off-line from an ultrasonic image group (input ultrasonic moving image) obtained by imaging a certain time range. This is an example.
  • the ultrasonic movie 2001 indicates an ultrasonic moving image to be processed.
  • the ultrasonic movie 2001 can be previewed by playing, stopping, changing the playback position, etc. on the toolbar 2002.
  • Items 2003 to 2007 are items for setting parameters for image restoration processing.
  • the size of the output image in box 2003 In the box 2004, the period of movement of the subject is set. The period may be given manually, or may be automatically calculated from an input ultrasonic moving image by pressing a button 2008.
  • the time range of the output image of the image restoration process is set.
  • the number of frame images used for the image restoration process is set.
  • box 2007, select the scan method. If the check box 2008 is selected, imaging is performed by switching the scan direction to interlace for each frame. If the check box 2009 is selected, imaging is performed while changing the scan range for each frame. If the check box 2010 is selected, imaging is performed while changing the focal length of the ultrasonic beam for each frame. After setting the parameters for the image restoration processing, when the button 2011 is pressed, the image restoration processing is executed.
  • Images 2013 to 2015 are an input ultrasonic image group for image restoration processing for the output image 2010 being displayed.
  • An image 2014 is a past frame image for one cycle of the output image 2010 being displayed, and an image 2015 is a past frame image for two cycles of the output image 2010 being displayed.
  • the present invention restores an ultrasonic image of a sample by scanning the sample with an ultrasonic signal using an ultrasonic probe and processing an ultrasonic image obtained from the signal received from the reflected wave from the sample.
  • An ultrasonic image of a frame at a certain point in time and an ultrasonic image of a frame at a point before the certain point in time from among a series of ultrasonic images constituting an ultrasonic image obtained by imaging Is extracted, and the amount of positional deviation between the extracted ultrasonic image of the frame at a certain time point and the ultrasonic image of the frame at a time point before the certain time point is calculated, and extraction is performed using the information on the calculated positional deviation amount.
  • the positional deviation between the ultrasonic image of the frame at a certain time point and the ultrasonic image of the frame at the time point before the certain time point is corrected, and the extracted ultrasonic image of the frame at the certain time point and the certain time point are corrected.
  • an ultrasonic image of a frame at a certain time point and an ultrasonic image of a frame at a time point before the extracted certain time point are scanned when a sample is scanned with an ultrasonic signal using an ultrasonic probe.
  • the present invention combines the ultrasonic image of a frame at a certain point in time with the positional deviation corrected and the ultrasonic image of the frame at a point in time before the certain point of time into an ultrasonic image of the frame at a certain point of time.
  • the ultrasonic image of the frame at a time point before a certain time point is divided into local areas, and different weight parameters are set for each of the locally divided areas.
  • the present invention is a method in which an ultrasonic image of a frame at a certain time point that has been corrected for positional deviation and an ultrasonic image of a frame at a time point before the certain time point are combined to combine the ultrasonic image of the frame at a certain time point before the certain time point.
  • the sample performs a periodic operation, and an image obtained by imaging is a super image obtained by scanning the sample under a different scanning condition for each cycle over a time that is twice or more of the cycle. Extracting an ultrasonic image of a frame at a certain time point and an ultrasonic image of a frame at a time point before the certain time point is one period from the ultrasonic image of the frame at a certain time point and the certain time point.
  • the present invention can be used in an ultrasonic diagnostic apparatus that acquires an image by transmitting / receiving ultrasonic waves to / from a subject.
  • an ultrasonic wave that performs processing for improving spatial resolution or temporal resolution by image processing on an acquired image. It can be used for an ultrasonic diagnostic apparatus equipped with an image restoration method.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波診断装置においてフレームレートを維持しつつ高分解能な超音波画像を取得するために、時系列に沿って撮像した複数フレームの超音波画像と位置ずれ量を基に画像復元処理を行い高分解能の超音波画像を生成する、または，超音波プローブを制御してフレーム毎にスキャン方位，あるいはスキャン焦点距離を変化させて取得した複数フレームの超音波画像を基に画像復元処理を行い高分解能の超音波画像を生成するようにした。

Description

超音波画像の画像復元方法およびその装置並びに超音波診断装置
　本発明は，超音波を被検体に送受信して画像を取得する超音波診断装置に係り，取得した画像に対して画像処理によって，空間分解能あるいは時間分解能を向上させる処理を施す超音波画像の画像復元方法及びその装置並びに超音波診断装置に関する。
　腹部や心臓を含む体内の多くの部位の検査において，超音波診断装置が利用されている。超音波診断装置は，X線検査などと異なり生体への害がないこと，操作が簡便であること，実時間での動画像観察が可能なことなどの利点を有し，幅広く活用されている。超音波診断装置では，超音波プローブから被検体にむけて超音波を放射し，被検体内部の組織からの反射波を上記超音波プローブで受信して，モニタ上に表示する。超音波画像の撮像時においては，特定方向に収束させた超音波を方位方向に対してスキャンすることにより，2次元画像または3次元画像をリアルタイムで取得することができる。
　超音波診断装置を用いて医師は超音波画像を観察し，腫瘍などの微小な病変部位の発見や診断を行うため，視認性の高い超音波画像の取得が要求される。特に近年では，ディスプレイモニタの高精細化が進んでおり，これに合わせて超音波画像の高分解能化が求められている。
　これに対して，１フレームあたりの超音波プローブのスキャン回数を増やすことで，スキャン方位方向の分解能を向上させて高分解能の超音波を取得することができる。あるいは，特許文献１のように取得した１フレームの画像に対してデコンボリューション処理を施すことで，高分解能の画像を生成することができる。デコンボリューション処理としては，非特許文献１に記載されているような、超音波ビームの収差による画像ぼやけやサンプリングによる画像劣化をモデル化し，取得した超音波画像から前記劣化のない理想的な超音波画像を推定する技術が知られている。
　また、特許文献２には、超音波画像を用いて着目対象の撮像面内における体動を計測し、計測した体動分の補正処理を加えながら、時系列画像を積算または減算することにより、着目対象の形状や組織変性などの経時的に変化する情報を画像化して表示することが記載されている。
特開２００５－９５３２８号公報 国際公開番号　ＷＯ　２００６/１２３７４２号公報
T.Taxt，R.Jirik:Superresolution of ultrasound images using the first and second harmonic signal， IEEE Trans. Ultrasonics， Ferroelectrics， and Frequency Control， Vol.51， No.2， pp.163-175， 2004
　しかしながら，前記のように１フレームあたりのスキャン回数を増やす方式は，高い分解能の超音波画像を得ることができるものの，超音波の伝播時間の増加により１フレームの画像取得に要する時間が増えるため，表示フレームレートが低下するといった問題がある。これは特に心臓等の動きの早い部位の観察においては，フレームレート不足となり診断に支障が生じる。また，前記デコンボリューション処理に関しては，ノイズが多い画像に対して不自然なアーチファクトが発生するなどの問題が知られている。したがって，ノイズが多い超音波画像ではあまり高分解能化の効果が期待できない。
　また、引用文献２に記載されている方法では、時系列画像から経時的に変化する情報を抽出・画像化することはできても、高分解能な超音波画像を取得することについては記載されていない。
　以上のように，従来技術においてはフレームレートを維持しつつ高分解能な超音波画像を取得することが困難であった。
　本発明の目的は、上記した従来技術の課題を解決して、フレームレートを維持しつつ高分解能な超音波画像を取得することが可能な超音波画像の画像復元方法及びその装置並びにそれを用いた超音波診断装置を提供することにある。
　上記した目的を達成するために、本発明では、超音波プローブを用いて超音波信号で試料をスキャンし該試料からの反射波を受信した信号から得られる超音波画像を処理して試料の超音波画像を復元する方法において、撮像して得た超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像を抽出し、この抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、この算出した位置ずれ量の情報を用いて抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、位置ずれを補正した抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理することを順次繰返すことによりフレームレートを試料を撮像して得た超音波画像のフレームレートよりも落とすことなく超音波画像よりも分解能が高い高分解能超音波画像を作成するようにした。
　又、上記した目的を達成するために、本発明では、超音波画像の画像復元装置を、超音波プローブで試料をスキャンして試料からの反射波を受信した反射波信号を受ける受信回路手段と、この受信回路手段で受信した反射波信号から超音波画像を生成する画像生成手段と、この画像生成手段で生成した超音波画像を復元処理する画像処理手段と、この画像処理手段で復元処理した超音波画像を画面上に表示する表示手段とを備えて構成し、画像処理手段は、画像生成手段で生成した超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、この抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、この算出した位置ずれ量の情報を用いて抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、この位置ずれを補正した抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理することを順次繰返すことによりフレームレートを画像生成手段で生成した超音波画像のフレームレートよりも落とすことなく超音波画像よりも分解能が高い高分解能超音波画像を復元処理するようにした。
　更に、上記目的を達成するために、本発明では、超音波診断装置を超音波信号で試料をスキャンして試料からの反射波を受信する超音波プローブと、超音波プローブを駆動する高周波信号を発生する駆動回路部と、超音波プローブで受信した反射波を処理して超音波画像を生成しこの生成した超音波画像を復元処理する超音波画像復元処理部と、全体を制御すると共にデータを記憶し処理する制御・記憶・処理部とを備えて構成し、このうち超音波画像復元処理部には、超音波プローブで受信した反射波信号を受ける受信回路手段と、
この受信回路手段で受信した反射波信号から超音波画像を生成する画像生成手段と、この画像生成手段で生成した超音波画像を復元処理する画像処理手段と、この画像処理手段で復元処理した超音波画像を画面上に表示する表示手段とを備え、画像処理手段では、画像生成手段で生成した超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、この抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、この算出した位置ずれ量の情報を用いて抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、この位置ずれを補正した前記抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理することを順次繰返すことによりフレームレートを画像生成手段で生成した超音波画像のフレームレートよりも落とすことなく超音波画像よりも分解能が高い高分解能超音波画像を復元処理するようにした。
　本発明によれば，複数フレームの画像を用いた画像復元処理を適用することで，フレームレートを低下させることなく超音波画像の高分解能化が実現する。また，画像復元処理に好適な超音波プローブのスキャン方式を適用することで，高分解能化の効果を向上させることができる。これらにより，フレームレートを維持しつつ高分解能の超音波画像を取得することができ，特に動きの早い病変部位の視認性の向上が期待できる。
本発明を実現するための超音波診断装置の構成を示す図である。 本発明を実現するための図１とは別の超音波診断装置の構成を示す図である。 複数フレーム画像と位置ずれ量を用いて画像復元処理を行うフロー図である。 図３のフローにおいて記憶装置を設けた場合のフロー図である。 時刻ｔ－３、ｔ－２、ｔ－１、ｔのタイミングで取得した超音波画像群を図２に示した構成を用いてスキャンコンバータにより扇型の画像に変換した超音波画像群の正面図である。 超音波画像群５０２～５０５に対して画像復元処理を実行した結果例を示す超音波画像の正面図である。 時刻ｔ－３、ｔ－２、ｔ－１、ｔのタイミングで取得した超音波画像群に対して図１に示した構成を用いて画像復元処理を実行したスキャンコンバータ前の結果例を示す図である。 超音波画像群５０７～５１０に対して画像復元処理を実行した結果例を示す超音波画像の正面図である。 時刻ｔ－２、ｔ－１、ｔのタイミングで取得した超音波画像群を図２に示した構成を用いてスキャンコンバータにより扇型の画像に変換した超音波画像群の正面図である。 時刻ｔ－２のタイミングで取得した超音波画像６０２において位置ずれ量を基に領域分割を行い画像復元処理の重みパラメータを設定した状態を示す図である。 時刻ｔ－１のタイミングで取得した超音波画像６０３において位置ずれ量を基に領域分割を行い画像復元処理の重みパラメータを設定した状態を示す図である。 時刻ｔのタイミングで取得した超音波画像６０４において位置ずれ量を基に領域分割を行い画像復元処理の重みパラメータを設定した状態を示す図である。 超音波画像６０４と６０３との位置ずれ量を算出した結果を示す図である。 撮像した画像群から時間軸上での中間フレームの画像を推定するフロー図である。 時刻ｔ－１における超音波画像８０２と時刻ｔにおける超音波画像８０３との位置ずれ量を算出した結果を示す図である。 時刻ｔ－１とｔのタイミングで取得した超音波画像群をスキャンコンバータにより扇型の画像に変換した超音波画像群８０２と８０３及び図７のフローにより推定した中間フレームの超音波画像８０４の正面図である。 時刻ｔ－１とｔのタイミングで取得した超音波画像群から推定した時刻ｔ－Δｔにおける位置ずれ量を示す図である。 フレーム毎にスキャン条件を変更して撮像した超音波画像群から画像復元処理を行うフロー図である。 フレームごとに変えるスキャン方位を示す超音波プローブの断面図である。 図９のフローにおいてフレーム毎にスキャン方位を変更して撮像した画像を合成した例を示すスキャンコンバータ後の超音波画像の正面図である。 図９のフローにおいてフレーム毎にスキャン方位を変更して撮像した画像を合成した例を示すスキャンコンバータ前の超音波画像の正面図である。 ３フレームの場合のスキャン方位の変更例を示す超音波プローブの断面図である。 フレーム毎にスキャン範囲を変更する状態を示す超音波プローブの断面図である。 フレーム毎にスキャン範囲を変更して撮像した画像を合成した例を示す超音波画像の正面図である。 フレーム毎にスキャンの焦点距離を変える状態を示す超音波プローブの断面図である。 フレーム毎にスキャンの焦点距離を変えて撮像した画像を合成した例を示す超音波画像の正面図である。 超音波画像上でユーザが指定した密にスキャンする領域の例を示す超音波画像の正面図である。 ユーザが指定した領域を密にスキャンする例を示す超音波プローブの断面図である。 被検体の動きの周期性を利用してスキャン条件をフレーム毎に変更して撮像した超音波画像群から画像復元処理を行うフロー図である。 周期上で同一の時間位相となるフレーム画像を異なるスキャン条件で撮像する例を示す超音波画像群の正面図である。 フレーム毎にスキャン条件を変更して撮像した超音波画像群からの画像復元処理の実行およびパラメータ設定のＧＵＩを示す図である。 ユーザが指定した範囲を高分解能化する処理およびパラメータ設定のＧＵＩを示す図である。 撮像した画像群から時間軸上での中間フレームの画像を推定する処理およびパラメータ設定のＧＵＩを示す図である。 被検体の動きの周期を利用してスキャン条件を変更して撮像した超音波画像群の画像復元処理実行およびパラメータ設定のＧＵＩを示す図である。 本発明を実現するための画像復元処理装置の構成を示すブロック図である。 本発明を実現するための図２１とは別の画像復元処理装置の構成を示すブロック図である。 複数フレーム画像を用いた画像復元処理のフロー図である。 取得した超音波画像から時間軸上での中間フレーム画像を生成するフロー図である。
　本発明では，以下の処理を含む超音波画像の画像復元方法および前記画像復元処理を搭載した超音波診断装置あるいは画像処理装置により前記課題を解決する。
　（１）時系列に沿って取得した複数の超音波画像（超音波画像群）から画像復元処理を用いて１枚の高分解能な超音波画像を生成する。すなわち，１フレームの超音波画像を用いて画像復元処理を行うのではなく，複数フレームの超音波画像を用いて１枚の高分解能な超音波画像を生成することにより，ノイズによる影響を抑えた画像復元処理を実現する。さらに，画像復元処理に複数フレームの画像を用いることによって，各フレームの画像情報を相補的に合成することが可能となり，高分解能化において高い効果を得ることができる。
　具体的に本発明では，まず処理対象となる特定の時相における超音波画像（処理対象画像）と画像復元処理に入力する超音波画像群（入力画像群）を抽出する。次に前記処理対象画像と前記入力画像群のそれぞれに対して位置ずれ量を算出し，画像復元処理を用いて前記入力超音波画像群と前記位置ずれ量から，高分解能の処理対象画像を生成する。すなわち，フレーム間での位置ずれ量を算出しておき，これを画像復元処理に用いることで，単純なフレーム平均加算では発生してしまう位置ずれによる画像ぼやけの影響を抑えることができる。さらに，前記処理対象画像の領域分割を行い，分割して得られた領域毎に画像復元処理の重みパラメータを設定することを特徴とする。
　前記領域分割は，手動で与えた領域内で行うこともできるし，前記位置ずれ量を基に自動で行うこともできる。ここで，前記重みパラメータが大きな領域の画像ほど画像復元処理の結果に大きく反映されるように処理されることを特徴とする。例えば，位置ずれ量が大きな箇所は，その周辺部位の形状が大きく変形している可能性が高く，前記変形を補正して画像復元処理を行うことが困難である場合がある。そのような場合においては，本発明により位置ずれ補正が困難な領域は前記重みパラメータが小さく設定され，その領域においては前記処理対象画像の画像データが支配的になる。すなわち，本発明により心臓等の動きが早い部位の観察においても画像復元処理の効果が出る領域のみを自動で抽出して高分解能化することができる。
　（２）時系列に沿って指定した時間間隔（取得撮像間隔）で撮像して得られる超音波画像群と，（１）と同様の方法で算出した画像間の位置ずれ量を用いて，画像復元処理の対象となる超音波画像（処理対象画像）を撮像したタイミングから前記取得撮像間隔より短い時間だけずれたタイミングで撮像したときに得られる超音波画像を推定することを特徴とする。すなわち，（１）は空間分解能を向上させる処理であったが，本発明は取得したフレーム画像間のフレーム画像を推定することにより時間方向の分解能を向上させる処理である。本発明により１フレームあたりのスキャン回数を低減させることなく（すなわち，画像の空間分解能を低下させることなく），フレームレートを向上させることができる。
　（３）（１）で述べたように複数フレームによる画像復元処理は，各フレームの画像情報を相補的に合成する処理であるため，画像復元処理に殆ど同じような画像群を入力しても高分解能化の効果は小さい。それに対して，本発明では超音波プローブを制御してスキャン条件が異なる超音波画像群を取得し，画像復元処理を行うことを特徴とする。すなわち，スキャン条件を変更することにより，超音波画像群に相補的な情報を多分に含ませることが可能となり，画像復元処理による高分解能化の効果を向上させることができる。スキャン条件としては，フレーム毎に偶数番目のスキャン方位のみの取得，および奇数番目のスキャン方位のみの取得を交互に切り替えるインターレース方式を用いることができる。動きが小さな箇所においては前記インターレース方式によって得られた画像を，単純に重ね合わせるだけでも高分解能化できる。
　一方，心臓等の被検体の動きが大きな場合においては，画像のつなぎ目でジッタと呼ばれる画像のずれが発生する場合がある。このようなジッタに対しても，前記位置ずれ量を用いて補正処理を行うことでシームレスなフレーム画像の合成処理が可能である。また，本方式は３フレーム以上の場合においても，同様の要領で実現可能である。
　また，別のスキャン方式としては，フレーム毎にスキャンの焦点距離を切り替える方式を用いることができる。すなわち，スキャン時に超音波ビームの焦点を特定の位置に絞ると，ビームを絞った箇所は鮮明な画像を取得できるが，それ以外の箇所はぼやけてしまう。そこで，フレーム毎にスキャン焦点距離を変えて取得した超音波画像を合成することで，焦点があった画像領域を増やすことができる。なお，本発明は１フレームあたりのスキャン回数を増やすわけではないため，フレームレートを低下させることなく画像の空間分解能を向上させることが可能である。
　（４）観察対象となる部位の動きの周期を取得し，前記周期の２倍以上の時間範囲（撮像時間範囲）を撮像して得られた超音波画像群に対して，画像復元処理を用いて前記撮像時間範囲より短い時間範囲内の超音波画像群を生成することを特徴とする。ここで，前記超音波画像群の各画像（対象画像）と，前記対象画像を撮像するタイミングから前記周期だけ過去にずれたタイミング付近で撮像した画像（過去対象画像）は，それぞれで異なるスキャン条件で撮像されるように超音波プローブを制御することを特徴とする。すなわち，心臓等の部位は周期的な反復運動を行うため，周期上で同一の時間位相となる超音波画像は殆ど同じような画像が得られるが，（３）で述べた理由と同様に，殆ど同じような画像を画像復元処理に多数入力しても高分解能化の効果はあまり望めない。
　これに対して，本発明では前記対象画像と前記過去対象画像を撮像する際は，両画像を異なるスキャン条件に変更して撮像することにより，超音波画像群に相補的な情報を多分に含ませることができ，画像復元処理による効果を向上させることができる。前記スキャン条件としては，スキャン方位，スキャン範囲，あるいは，スキャン焦点距離などを変更することを特徴とする。
　次に、本発明に係る実施の形態について図面を用いて説明する。
  まず，本発明における超音波診断装置の構成について図１および図２を用いて説明する。
  図１は，超音波診断装置１０１の構成の一実施例を表す図である。超音波診断装置１０１は，超音波信号の送受信を行う超音波プローブ１０３，超音波プローブ１０３へ入力するための駆動信号を発生する駆動回路１０２，受信信号の増幅やA/D変換を行う受信回路１０４，超音波スキャンの走査線信号列を２次元状に並べた画像を生成する画像生成部１０５，画像復元処理等の画像処理を行う画像処理部１０６，走査線信号列で表現された画像の座標変換処理や補間処理を行うスキャンコンバータ１１２，スキャンコンバータにより生成された画像を表示する表示部１１３，及びこれら全体を制御すると共にデータを記憶し処理する制御・記憶・処理部１２０を備えている。
　超音波プローブ１０３では，被検体１００に対して駆動信号に基づく超音波信号を送信し，また送信の際に得られる被検体１００からの反射波を受信して電気的な受信信号に変換する。超音波プローブ１０３の種類には，例えば，リニア，コンベックス，セクタ，ラジアルと呼ばれるタイプがある。例えば，超音波プローブ１０３がコンベックスタイプの場合には，スキャンコンバータ１１２により長方形状の画像から扇形状の画像に変換される。また，制御・記憶・処理部１２０は，入力部１２１，制御部１２２，記憶部１２３，および処理部１２４を備えており，入力部１２１からは，画像生成開始のタイミングや画像生成に関するパラメータなどが入力される。
　制御部１２２は，駆動回路１０２，超音波プローブ１０３，受信回路１０４，画像処理部１０６等の動作を制御する。記憶部１２３では，受信信号や，画像生成部１０５により生成された画像，画像処理部１０６で計算された画像，スキャンコンバータ１１２の出力である表示画像等が記憶される。処理部１２４では，超音波プローブ１０３に入力するための電気信号の整形処理や，画像表示の際における明度およびコントラストを調整する処理等を行う。
　以上のような構成において，超音波プローブ１０３は，制御・記憶・処理部１２０の制御部１２２で制御された駆動信号に基づく超音波信号を被検体１００に対して送信し，この送信により得られる被検体１００からの反射信号を受信して電気的な受信信号に変換する。次に電気信号に変換された受信信号を受信回路１０４で増幅してＡ/Ｄ変換した後，このＡ/Ｄ変換した信号を画像生成部１０５で処理して画像を生成し，画像処理部１０６に入力する。画像処理部１０６において，入力された画像に対して，画像復元処理が行なわれ，高分解能の出力画像が得られる。
　更に，この出力画像をスキャンコンバータ１１２で画像の座標変換処理や補間処理を行なって画像を生成する。なお，本実施例に限定されるものではなく，例えば，図２の超音波診断装置２０１の構成に示すように、画像処理部１０６がスキャンコンバータ１１２の前段に配置されていても良い。
　図２１および図２２は画像処理部１０６の内部処理を示す図である。画像生成部１０５より出力された画像データは，まず超音波画像群取得部２１０１に入力されてフレーム画像を制御・記憶・処理部１２０の記憶部１２３に格納すると共に、位置ずれ量算出部２１０２へ送られる。次にこの送られてきたフレーム画像と記憶部１２３に格納された過去のフレーム画像群を位置ずれ量算出部２１０２に入力して位置ずれ量を算出する。
　次に，前記記憶部１２３に格納された過去のフレーム画像群と現在のフレーム画像と前記位置ずれ量を画像復元処理部２１０３に入力して，高分解能な現在のフレーム画像を出力する。図２２は図２１とは別の画像処理部１０６の内部処理例である。本例では，スキャン条件選択部２２０１により超音波ビームのスキャン方位あるいは焦点距離が設定され，そのスキャン条件で超音波画像を撮像する。その後は図２１の処理と同様に画像復元処理が実行される。
  本発明における画像復元処理の実施例を図３のフローを用いて示す。まず，超音波プローブ１０３を用いて被検体１００に向けて超音波を放射し、被検体１００の内部の組織からの反射波を超音波プローブ１０３で検出し、検出信号を受信回路部１０４を経由して画像生成部１０５へ送って処理することにより、時系列に沿って複数撮像した超音波画像群X［t］，X［t-1］，X［t-2］，…を取得する（Ｓ３０１）。ここで，X［t］は最後に撮像した超音波画像で，X［t-1］，X［t-2］，…はX［t］よりも過去に撮像した超音波画像である。　
　この時系列に沿って複数取得された超音波画像群は画像処理部１０６に送られ、画像処理部１０６の超音波画像群取得部２１０１に入力されてフレーム画像ごとに制御・記憶・処理部１２０の記憶部１２３に格納される。続いて，位置ずれ量算出部２１０２において、超音波画像群取得部２１０１から出力された前記超音波画像群から画像復元処理対象となる超音波画像（処理対象画像）を抽出し、制御・記憶・処理部１２０の記憶部１２３に記憶されているフレーム画像の中から画像復元処理に入力する超音波画像群（入力画像群）を抽出する。
　例えば，超音波画像群取得部２１０１から出力されたX［t］を処理対象画像とし，入力画像群を記憶部１２３に記憶されているX［t］，X［t-1］，X［t-2］とする。次に，前記処理対象画像と前記入力画像群のそれぞれの画像との位置ずれ量を算出する（Ｓ３０２）。位置ずれ量の算出法としては，例えば，オプティカルフロー法やブロックマッチング法などの一般の位置ずれ量の算出アルゴリズムを用いることができる。続いて，画像復元処理部２１０３で前記入力画像群と算出された位置ずれ量から高分解能な処理対象画像Y［t］を生成して（Ｓ３０３）、表示部１１３の画面上に表示する（Ｓ３０４）。
　このように，フレーム間での位置ずれ量を算出しておき，これを画像復元処理に用いることで，単純なフレーム平均加算では発生してしまう位置ずれによる画像ぼやけの影響を抑えることができる。複数画像を用いた画像復元処理としては，例えば次に示す数１を最小化することで高分解能画像を推定する再構成型超解像処理を用いることができる。
Figure JPOXMLDOC01-appb-M000001
前記数１のＸiはＮ枚の前記入力画像群のi番目の画像，Ｙは画像復元処理により生成する高分解能画像，Ｓiはi番目の画像の位置ずれを示す作用，Ｆiはi番目の画像のぼやけを示す作用で，Ｄは量子化による作用，Ｔｘは画像をｘ方向に１ピクセルずらす作用，Ｔｙは画像をｙ方向に１ピクセルずらす作用を示す。
　数１の第１項は高分解能な画像Ｙが様々な画像劣化要因を受けて観測された画像Ｘiとの誤差を示す項で，第２項は復元する高分解能な画像Ｙが滑らかな輝度値となるように安定化する項である。安定化項はパラメータγで調整される。このように，１フレームの超音波画像を用いて画像復元処理を行うのではなく，複数フレームの超音波画像を用いて１枚の高分解能な超音波画像を生成することにより，ノイズによる影響を抑えた画像復元処理を実現する。さらに，複数フレームの画像を用いることにより，各フレームの画像情報を相補的に合成することが可能となり，高分解能化において高い効果を得ることができる。
　本画像復元処理のフローを図２３で説明する。２３０１は画像復元処理で推定すべき高分解能な超音波画像Ｙである。２３０６－１および２３０６－２はそれぞれ取得した１フレーム目および２フレーム目の超音波画像である。次に，算出した１フレーム目および２フレーム目の位置ずれ量を用いて画像２３０１に対して位置ずれ作用を施す（Ｓ２３０２－１，Ｓ２３０２－２）。次に，撮像に伴う画像のぼやけの作用を施し（Ｓ２３０３－１，Ｓ２３０３－２），次に画像の量子化の作用を施す（Ｓ２３０４－１，Ｓ２３０４－２）。以上の処理を加えて得たそれぞれの画像ＤＦiＳiＹと撮像画像Ｘiとの差分（Ｓ２３０５－１，Ｓ２３０５－２）を計算し，これらを足し合わせて，この値をＬｎ（Ｙ）とする（Ｓ２３０８）。続いて，前記Ｌｎ（Ｙ）の値を小さくするように画像Ｙの更新を行う（Ｓ２３０９）。以上の処理を繰り返して今回求めたＬｎ（Ｙ）の値とその前の回に求めたＬｎ－１（Ｙ）の値との差が一定値以下になるまで行うことで，複数フレームの超音波画像から一枚の高分解能な超音波画像を生成することができる。
　なお，図３の処理フローは実際の処理においては図４に示すように画像生成部１０５で生成した被検体１００の超音波画像を制御・記憶・処理部１２０の記憶部１２３に格納しておき，格納した超音波画像群X［t］，X［t-1］，X［t-2］を画像復元処理に用いることもできる。また，記憶部１２３に蓄積した各画像をオフラインでまとめて高分解能化することで，高分解能な動画データを作成することもできる。
　図４に示した処理のフローを説明する。まず、超音波プローブ１０３を用いて被検体１００に向けて超音波を放射し、被検体１００の内部の組織からの反射波を超音波プローブ１０３で検出し、検出信号を受信回路部１０４を経由して画像生成部１０５へ送って処理することにより、超音波画像群X［t］，X［t-1］，X［t-2］，…を取得する（Ｓ４０１）。この取得した超音波画像群X［t］，X［t-1］，X［t-2］，…は、制御・記憶・処理部１２０の記憶部１２３に格納される。
　次に，画像処理部１０６の超音波画像群取得部２１０１により記憶部１２３に格納された超音波画像群X［t］，X［t-1］，X［t-2］，…の中から処理対象画像と入力画像群とがそれぞれ取得され、位置ずれ量算出部２１０２において、これらの取得した処理対象画像と入力画像群とのそれぞれの画像の位置ずれ量を算出する（Ｓ４０２）。
　続いて，画像復元処理部２１０３で前記入力画像群と算出された位置ずれ量から高分解能な処理対象画像Ｙ［t］を生成して（Ｓ４０３）、表示部１１３の画面上に表示する（Ｓ４０４）。
　この一連の処理を、撮像が終了するまで実行する（Ｓ４０５）。
　図４で示した処理フローにより超音波画像を高分解能化した例を図５Ａ～Ｄに示す。図５Ａにおいて、画像５０２～５０５は時間軸５０１に沿ってそれぞれ時刻t-3，t-2，t-1，tのタイミングで取得した超音波画像群である。図５Ｂの５０６は画像復元処理により図５Ａの画像５０２～５０５を用いて時刻ｔにおける超音波画像５０５を高分解能化した画像を示す。本例は超音波プローブ１０３から得られた画像データをスキャンコーバータ１１２によって扇型の画像に変換した超音波画像群を用いて処理をした例である（つまり，図２に示す装置構成における処理例である）。
　一方，図１に示す装置構成においても本実施例を適用することができる。この場合，図５Ｃに示すようなスキャンコンバータ前の超音波画像群５０７～５１０から、図５Ｄに示すような高分解能のスキャンコンバータ前の超音波画像５１１を生成する。すなわち、図５Ａ及びＢを用いて説明したのと同様に、図５Ｃにおいて、画像５０７～５１０は時間軸５０１に沿ってそれぞれ時刻t-3，t-2，t-1，tのタイミングで取得した超音波画像群である。図５Ｄの５１１は画像復元処理により図５Ｃの画像５０７～５１０を用いて時刻ｔにおける超音波画像５１０を高分解能化した画像を示す。この高分解能化した超音波画像５１０に対してスキャンコンバータ１１２で座標変換処理や補間処理を行うことにより図5Ｂの扇形をした画像に変換され、表示部１１３の画面上に表示することができる。
　また，画像間の位置ずれ量を基に超音波画像の領域分割を行い，分割された領域毎に画像復元処理の重みパラメータを設定する実施例を図６Ａ～Ｅに示す。ここで，前記重みパラメータが大きな領域の画像ほど画像復元処理の結果に大きく反映されることを特徴とする。例えば，位置ずれ量が大きな箇所は，その周辺部位の形状が大きく変形している可能性が高く，前記変形を補正して画像復元処理を行うことが困難である場合がある。そのような場合においては，本発明により位置ずれ補正が困難な領域は前記重みパラメータが小さく設定され，その領域においては処理対象画像の画像データが支配的になる。すなわち，本発明により心臓等の動きが早い部位の観察においても画像復元処理の効果が出る領域のみを自動で抽出して高分解能化することができる。
　図６Ａの６０２～６０４は時間軸６０１に沿って撮像された超音波画像である。この場合，処理対象となる画像を超音波画像６０４とする。超音波画像６０４と６０３との位置ずれ量を算出した結果を図６Ｅの６０５に示し，位置ずれの方向と大きさを矢印６１５で示している。図６Ｅの６０６～６０８は前記位置ずれ量を基に，３つの領域に分割した結果である。領域６０７は位置ずれがもっとも大きな領域で，領域６０６は位置ずれがもっとも小さな領域である。図６Ｂの６０９、図６Ｃの６１０及び図６Ｄの６１１は図６Ｅに示した領域分割結果６０６～６０８を基に画像復元処理における重みパラメータを設定した結果である。
　図６Ｂ乃至Ｄの位置ずれ量が小さな領域６１２～６１４はそれぞれ0.3，0.3，0.4が設定されている。すなわちこのことは，画像復元処理において，図６Ｂ乃至Ｄの領域６１２～６１４の画像はどれも同じように画像復元結果に反映されることを意味する。図６Ｂ乃至Ｄの位置ずれ量が大きな領域６１５～６１７については，図６Ｄの領域６１７以外は重みパラメータがゼロと設定されている。すなわち図６Ｅの領域６０７の部分に関しては，画像復元処理において図６Ｄの領域６１７の画像のみを画像復元結果に反映させることを意味する。同様に，図６Ｂ乃至Ｄの領域６１８～６２０も重みパラメータを設定されている。
　ここで，重みパラメータを考慮した画像復元処理は，次に示す数式２を最小化することで行うことができる。
Figure JPOXMLDOC01-appb-M000002
ここで，式中のＷiはi番目の画像の重みパラメータをかける作用である。なお，領域分割に関しては上記のように位置ずれ量を基に自動で行うこともできるし，ＧＵＩ上でユーザが指定した領域を用いても良い。
　図１７は、本実施例において、フレーム毎にスキャン条件を変更して取得した超音波画像群から画像復元処理を行って高分解能の超音波画像を生成し，それをリアルタイムに表示およびスキャン条件・画像復元処理パラメータを設定するＧＵＩの例である。１７０１は超音波プローブにより撮像した超音波画像をリアルタイムに表示している。ボックス１７０２で撮像フレームレートを設定する。実際の撮像フレームレートは１７０３に表示している。ボックス１７０４～１７０６で画像復元処理のパラメータを設定する。
　ボックス１７０４では画像復元処理後の出力画像のサイズを設定する。ボックス１７０５では画像復元処理に用いるフレーム画像枚数を指定する。ボックス１７０６ではスキャン方式を選択する。チェックボックス１７０７を選択すれば，フレーム毎にスキャン方位をインターレース方式で撮像する。また，チェックボックス１７０８を選択すれば，フレーム毎に超音波ビームの焦点距離を変化させながら撮像する。
　画像復元処理のパラメータを設定のちに，ボタン１７０９を押すと画像復元処理が実行され，画像復元処理を施して高分解能化した画像および表示フレームレートが１７１０および１７１１にリアルタイムに表示される。
  本発明における画像復元処理の第２の実施例を図７のフローを用いて示す。
  本例では，取得した超音波画像間の時間軸上の中間のフレーム画像を推定して表示することで，フレームレートを向上させる例である。すなわち，実施例１は空間分解能を向上させる処理であったが，本実施例では取得したフレーム画像間のフレーム画像を推定することにより時間方向の分解能を向上させる。これにより１フレームあたりのスキャン回数を低減させることなく（すなわち，画像の空間分解能を低下させることなく），フレームレートを向上させることができる。
　まず，本処理フローにおいては，超音波画像の撮像時間の間隔Ｈ（取得撮像間隔）を取得する（Ｓ７０１）。取得撮像間隔Ｈは手動で与えても良いし要求フレームレート値から割り出してもよい。次に，超音波プローブ１０３を用いて被検体１００を時系列に沿って，前記取得撮像間隔で複数撮像した超音波画像群X［t］，X［t-1］，X［t-2］，…を取得する（Ｓ７０２）。取得したフレーム画像は記憶部１２３に格納される。続いて，実施例１と同様に画像間の位置ずれ量を算出する（Ｓ７０４）。続いて，前記超音波画像群および前記位置ずれ量を基に，前記処理対象画像を撮像したタイミングから前記取得撮像間隔より短い時間だけずれたタイミングで撮像したときに得られる超音波画像（中間フレーム画像）を推定して（Ｓ７０５），画面に出力する（Ｓ７０６）。終了判定（Ｓ７０７）の結果にしたがってＳ７０２～７０６の処理を繰り返す。
　図２４に本処理において，出力フレームレートを指定した場合のフローを示す。まず，推定する中間フレーム画像の時間軸上のずれ量Δtをゼロに初期化する（Ｓ２４００）。次に，超音波画像の撮像時間の間隔Ｈを取得する（Ｓ２４０１）。前記撮像時間の間隔Ｈは手動で入力した値を用いても良いし，入力されたフレームレートから割り出してもよい。次に，出力画像の時間間隔Ｋを取得する（Ｓ２４０２）。前記出力画像の時間間隔Ｋも前記Ｈと同様に，手動で入力した値を用いてもよいし，要求フレームレートから割り出しても良い。次に，前記撮像時間の間隔Ｈで超音波画像X［t］を取得し，時刻t＝ｔ＋１とする（Ｓ２４０３）。取得した画像は記憶装置２４１０に格納される。
　次に，図７のフローと同様に画像間の位置ずれ量を算出し（Ｓ２４０４），中間フレーム画像X［t-Δt］を前記位置ずれ量および記憶部１２３に格納された超音波画像群を基に推定する（Ｓ２４０５）。このとき，もしΔt＝０もしくはΔt＝１の場合は中間フレーム画像を推定せずに，取得した超音波画像を出力することができる。次に，時間軸上のずれ量をΔt←Δt－Ｋ/Ｈと更新する（Ｓ２４０６）。
　処理終了判定（Ｓ２４０７）を経て，処理を継続するならば（Ｎの場合）時間軸上のずれ量Δtの符号を判定する（Ｓ２４０８）。もし，Δtが負の値であるならばΔt←Δt＋１と値を更新（Ｓ２４０９）し，超音波画像X［t］取得ステップ（Ｓ２４０３）へ進む。そうでなければ，位置ずれ量算出ステップ（Ｓ２４０４）に進む。
　図８Ａ乃至Ｃに本フローによる処理結果例を示す。図８Ｂの超音波画像８０２および８０３は時間軸８０１に沿って，取得撮像間隔Ｈで撮像された超音波画像である。一方、超音波画像８０４は、超音波画像８０２および８０３から，t-Δt（Δt≦１）で撮像した場合に得られる超音波画像を推定した画像である。超音波画像８０４の内部の８０５の領域内の線状の部位は，超音波画像８０２および８０３間で左上から右下方向に移動しているが，超音波画像８０４ではその中間の位置に前記部位が配置されるように推定されている。
　中間フレーム画像の推定方法としては，図８Ａに示すように、まず時刻tと時刻t-1との位置ずれ量を算出する（８０６）。次に，前記位置ずれ量８０６から図８Ｃに示すような中間フレーム画像の時刻における位置ずれ量を推定する（８０７）。推定方法としては単純に算出した位置ずれ量８０６を線形補間して求めることができる。最後に，前記推定した位置ずれ量を基に図８Ｂに示す取得した超音波画像８０２および８０３の画素を張り合わせ，あるいは重みつき加算を行うことで中間フレーム画像８０４を生成することができる。
　図１９は、本実施例において、撮像した超音波画像において，時間軸上の中間のフレーム画像を推定し，フレームレートを向上させた超音波画像を表示するＧＵＩの例である。１９０１は超音波プローブにより撮像した超音波画像をリアルタイムに表示している。ボックス１９０２で撮像フレームレートを設定する。実際の撮像フレームレートは１９０３に表示している。ボックス１９０４で出力画像のフレームレートを設定する。ボタン１９１０を押すと本処理が開始される。１９０５は最も新しく取得したフレーム画像（tフレーム）で，１９０６はフレーム画像１９０５の一つ前に取得した画像（t-1フレーム）を示す。１９０７は１９０５および１９０６から推定した，時間軸上でちょうど中間フレームの画像（t-0.5フレーム）である。前記の処理を行ってフレームレートを向上させた画像を１９０８にフレームレート１９０９と共に表示する。
　本発明における画像復元処理の第３の実施例を図９のフローを用いて示す。本例では，超音波プローブのスキャン条件をフレーム毎に切り替えることにより，画像復元処理をより効果的に行う例である。すなわち，画像復元処理は複数フレーム間の画像情報を相補的に補間する処理であるため，画像復元処理に殆ど同じような画像群を入力しても高分解能化の効果は小さい。
　それに対して，本実施例では超音波プローブを制御してスキャン条件が異なる超音波画像群を取得し，画像復元処理を行うことを特徴とする。つまり，スキャン条件を変更することにより，超音波画像群に相補的な情報を多分に含ませることが可能となり，画像復元処理による高分解能化の効果を向上させることができる。
　本処理フローにおいては，まず超音波プローブのスキャン条件を予め用意していたスキャン条件群の中から一つ選択して設定する（Ｓ９０１）。選択可能なスキャン条件としては，フレーム毎に偶数番目のスキャン方位のみの取得，および奇数番目のスキャン方位のみの取得を交互に切り替えるインターレース方式を用いることができる。動きが小さな箇所においては前記インターレース方式で単純に２フレームの画像を重ね合わせるだけでも高分解能化が図れる。
　一方，動きが大きな場合ではフレーム間のつなぎ目でジッタと呼ばれる位置ずれが発生する場合がある。このようなジッタに対しても，前記位置ずれ量を用いて補正処理を行うことが可能である。また，本方式は３フレーム以上の場合でのスキャン方位の切り替え，および合成も同様の要領で可能である。
　また，別のスキャン方式としては，フレーム毎にスキャンの焦点距離を切り替える方式を用いることができる。すなわち，スキャンにおいて超音波ビームの焦点を特定の位置に絞ると，その箇所は鮮明に画像取得できるが，それ以外の箇所はぼやけてしまう。そこで，フレーム毎にスキャン焦点距離を変えて取得した超音波画像を合成することで，焦点があった画像領域を増やすことができる。
　続いて，超音波プローブ１０３を用いて被検体１００を時系列に沿って，選択したスキャン条件で撮像した超音波画像X［t］を取得する（Ｓ９０２）。取得した超音波画像群X［t］，X［t-1］，…は記憶部１２３に格納される。続いて，画像復元処理を用いて前記超音波画像群から超音波画像X［t］の高分解能な超音波画像Y［t］を生成して（Ｓ９０４）表示する（Ｓ９０５）。なお，本実施例では１フレームあたりのスキャン回数を増やすわけではないため，フレームレートを低下させることなく画像の空間分解能を向上させることが可能である。
　図１０Ａ乃至Ｃにスキャン方位を切り替える例および本処理フローの結果例を示す。本例はスキャン方位の異なる２枚のフレーム画像から１枚のフレーム画像を生成した例である。図１０Ａのスキャン方位１００１－１～１００１－５は１フレーム目の超音波プローブ１０３から発した超音波ビームのスキャン方位を示し，スキャン方位１００２－１～１００２－４は２フレーム目の超音波プローブ１０３から発した超音波ビームのスキャン方位を示す。図１０Ｂの部分画像１００３－１～１００３－５は１フレーム目のスキャンによって得られた画像データを示し，部分画像１００４－１～１００４－４は２フレーム目のスキャンによって得られた画像データを示す。このように，両フレームの画像データを統合することで各フレームの画像情報を相補的に合成して方位方向の分解能が向上した超音波画像１００７を取得することができる。
　超音波画像１００７の生成には実施例１と同様に画像間の位置ずれ量を求めて画像復元処理を用いても良いし，単純に加算平均を行って生成してもよい。３フレーム目では１フレーム目と同じく，図１０Ａの矢印１００１－１～１００１－５で示すスキャン方位に超音波ビームを発することで２フレーム目，３フレーム目で得られた画像データを統合して分解能が向上した超音波画像を生成できる。また，図１０Ｂの超音波画像１００７は、図２に示したシステム構成でスキャンコンバータ後の超音波画像で本処理を行っているが，図１に示したシステム構成を用いてスキャンコンバータ前の超音波画像で本処理を行っても良い。
　図１０Ｃの１００８はスキャンコンバータ前の超音波画像で本処理を適用した例である。本例では，１フレーム目に部分画像１００５－１～１００５－５の画像データを取得し，２フレーム目に部分画像１００６－１～１００６－４の画像データを取得して，両画像データを合成して高分解能な超音波画像１００８を生成している。また，本例では２フレームの場合で説明したが，３フレーム以上の場合も同じ要領で行うことができる。
　図１１に３フレームの例を示す。本例ではスキャン方位１１０１－１～１１０１－３が１フレーム目のスキャン方位で，スキャン方位１１０２－１～１１０２－３が２フレーム目のスキャン方位で，スキャン方位１１０３－１～１１０３－３が３フレーム目のスキャン方位となっている。
　また，図１０Ａ乃至Ｃを用いて説明した実施例ではスキャン方位をフレーム毎に変更する場合であったが，フレーム毎にスキャンにおける超音波ビームの焦点距離を変更して超音波画像群を取得する例を、図１３Ａ及びＢに示す。本例では，図１３Ａに示すようにスキャン方位１３０１－１～１３０１－５の方位に超音波ビームを発するが，１フレーム目においては丸印１３０２－１～１３０２－５の位置に焦点を合わせて超音波画像を取得し，２フレーム目においては丸印１３０３－１～１３０３－５の位置に焦点を合わせて超音波画像を取得する。
　すなわち，図１３Ｂに示すような超音波画像のうち１フレーム目は超音波画像の下側の領域１３０５が鮮明になるが，上側の領域１３０６がぼやける。同様に２フレーム目は超音波画像の下側の領域１３０５がぼやけるが，上側の領域１３０６が鮮明になる。このように，超音波ビームはどこか一箇所に焦点を合わせると，それ以外がぼやけるという性質があり，通常，この焦点は画像全体が平均的に鮮明になるように中央付近に焦点が設定される。一方，本発明では積極的に焦点位置を変更して超音波画像を取得し，これらの複数の超音波画像を統合することで，画像全体の焦点のあった鮮明な超音波画像の取得が可能となる。
　また，図１４Ａ及びＢに示すように、本処理はユーザが指定した領域に対してのみ適用することも可能である。図１４Ａの超音波画像１４０１で，１４０２はユーザが指定した領域（ＲＯＩ）である。この場合，図１４Ｂのスキャン方位１４０３で示すスキャン方位のように，超音波プローブ１０３を制御して図１４ＡのＲＯＩ１４０２にスキャン方位を集中させるように超音波画像を撮像することもできる。　
　また，本処理は，同時に二つの方位に超音波ビームを照射して信号を受信，あるいは一方の方位に超音波ビームを照射し信号を受信する前にもう一方の方位に超音波ビームを照射するマルチビーム方式と併用して適用することもできる。
　図１８は、本実施例において、ユーザが指定した領域（ＲＯＩ）を高分解能化して表示するＧＵＩの例である。１８０１は超音波プローブにより撮像した超音波画像をリアルタイムに表示している。ボックス１８０２で撮像フレームレートを設定する。実際の撮像フレームレートは１８０３に表示している。１８０４はユーザがマウスクリック等で指定したＲＯＩである。ボックス１８０５～１８０７で画像復元処理のパラメータを設定する。ボックス１８０５では画像復元処理による画像の拡大倍率を設定する。ボックス１８０６では画像復元処理に用いるフレーム画像枚数を指定する。ボックス１８０７はスキャン方式を選択する。ボタン１８０８を押すと１８０４のＲＯＩ内のみに画像復元処理が実行され，画像復元処理を施して高分解能化した画像が１８０９に表示される。なお，指定したＲＯＩのみにスキャンを集中させて，ＲＯＩの画像のみを高分解能化して表示することもできる。
　本発明における画像復元処理の第４の実施例を図１５のフローを用いて示す。本例では，例えば心臓等の周期的な動きをおこなう被検体に対して，その周期情報を用いて超音波プローブを制御して超音波画像群を取得し，画像復元処理を用いて２周期以上の超音波画像群から，それよりも短い時間範囲（例えば，１周期分）の高分解能の超音波画像郡を生成する例である。すなわち，心臓等の部位は周期的な反復運動を行うため，周期上で同一の時間位相となる超音波画像は殆ど同じような画像が得られるが，実施例３で述べた理由と同様に，殆ど同じような画像を画像復元処理に多数入力しても高分解能化の効果はあまり望めない。
　これに対して，本発明では前記対象画像と前記過去対象画像を撮像する際は，両画像を異なるスキャン条件に変更して撮像することにより，超音波画像群に相補的な情報を多分に含ませることができ，画像復元処理による効果を向上させることができる。
　本処理フローにおいては，まず被検体１００の動きの周期Ｔを取得する（Ｓ１５０１）。周期Ｔは手動で与えても良いし，被検体１００をある程度の時間範囲で撮像して得た超音波画像群から自動で算出することもできる。次に，超音波プローブのスキャン条件を予め用意していたスキャン条件群の中から一つ選択して設定する（Ｓ１５０２）。選択可能なスキャン条件としては，実施例３の場合と同様に、スキャン方位，スキャン範囲，スキャン焦点距離などを変更することができる。続いて，超音波プローブ１０３を用いて被検体１００を時系列に沿って，フレーム毎にスキャン条件を変えて２周期以上の超音波画像群を取得する（Ｓ１５０３）。
　スキャン条件としては，スキャン方位，スキャン範囲，スキャン焦点距離などを変更することができる。取得した画像は記憶部１２３に格納される。スキャン条件の変更のタイミングとしては，１周期毎にスキャン条件を変更してもよいし，１周期分だけずれた超音波画像間のスキャン条件が異なるようにしさえすればフレーム毎にスキャン条件を変更してもよい。画像の撮像は終了判定（Ｓ１５０５）によって撮像が終了していない場合には、スキャン条件選択ステップ（Ｓ１５０２）と超音波画像取得ステップ（Ｓ１５０３）をループする。撮像終了後，前記超音波画像群を画像復元処理に入力して高分解能な超音波画像群を生成し（Ｓ１５０６），それを表示する（Ｓ１５０７）。
　図１６は図１５のフローにより，周期的な動きを行う被検体に対して周期毎にスキャン方位を変更した例を示す。超音波画像１６０１－１は時刻tに取得したフレーム画像で，超音波画像１６０１－４は超音波画像１６０１－１より１周期だけ過去に取得したフレーム画像である。超音波画像１６０１－３及び１６０１－２はそれぞれ時刻t-T+1，t-T+2に取得したフレーム画像である。スキャン方位１６０２－１～１６０２－４はそれぞれ超音波画像１６０１－１～１６０１－４を取得したときのスキャン方位を示す。
　図１２Ａは図１５のフローにより，周期的な動きを行う被検体に対して周期毎にスキャン範囲を変更して画像を取得・合成した例である。スキャン方位１２０１－１～１２０１－３は時刻tのスキャン方位で，スキャン方位１２０２－１～１２０２－３はスキャン方位１２０１－１～１２０１－３よりも１周期だけ過去のスキャン方位で，スキャン方位１２０３－１～１２０３－３はスキャン方位１２０１－１～１２０１－３よりも２周期だけ過去のスキャン方位である。
　図１２Ｂの部分画像１２０４－１はスキャン方位１２０１－１～１２０１－３により得られた超音波画像で，部分画像１２０４－２はスキャン方位１２０２－１～１２０２－３により得られた超音波画像で，部分画像１２０４－３はスキャン方位１２０３－１～１２０３－３により得られた超音波画像である。
　部分画像１２０４－１～１２０４－３を連結することで，１枚の高分解能な超音波画像１２０４を生成することができる。この画像の連結においては，各画像が重なる部分は加算平均をとってもよいし，画像の連結部分の境界がシームレスに繋がるように，前記境界付近をぼかしフィルタなどで補正処理を加えてもよい。
　図２０は、本実施例において、被検体の動きの周期を利用してスキャン条件を変更して撮像した超音波画像群から画像復元処理を行うＧＵＩの例である。本実施例による処理は実施例１乃至３で説明したようなリアルタイム処理ではなく，一定の時間範囲を撮像した超音波画像群（入力超音波動画）から，高分解能の超音波動画をオフラインで生成する例である。
　２００１は処理対象となる超音波動画を示す。超音波動画２００１はツールバー２００２で再生，停止，再生位置の変更等を行いプレビューすることができる。２００３～２００７は画像復元処理のパラメータを設定する項目である。
　ボックス２００３で出力画像のサイズを設定する。ボックス２００４で被検体の動きの周期を設定する。前記周期は手動で与えても良いし，ボタン２００８を押して入力超音波動画から自動で算出してもよい。ボックス２００５で画像復元処理の出力画像の時間範囲を設定する。ボックス２００６で画像復元処理に用いるフレーム画像の枚数を設定する。
　ボックス２００７ではスキャン方式を選択する。チェックボックス２００８を選択すれば，フレーム毎にスキャン方位をインターレースに切り替えて撮像する。また，チェックボックス２００９を選択すれば，フレーム毎にスキャン範囲を変化させながら撮像する。また，チェックボックス２０１０を選択すれば，フレーム毎に超音波ビームの焦点距離を変化させながら撮像する。画像復元処理のパラメータを設定した後に，ボタン２０１１を押すと画像復元処理が実行される。
　２０１１は画像復元処理より出力された高分解能な超音波動画である。この動画はツールバー２０１２で再生，停止，再生位置の変更等を行いプレビューすることができる。また，画像２０１３～２０１５は表示中の出力画像２０１０に対する画像復元処理への入力超音波画像群である。画像２０１４は表示中の出力画像２０１０の１周期だけ過去のフレーム画像で，画像２０１５は表示中の出力画像２０１０の２周期だけ過去のフレーム画像である。
　以上，本発明の実施例について述べてきたが，本発明は上述の実施例に限定されるものでは無く，変形して実施することが可能である。
（付記１）
　以上説明したように、本発明は、超音波プローブを用いて超音波信号で試料をスキャンし試料からの反射波を受信した信号から得られる超音波画像を処理して試料の超音波画像を復元する方法であって、撮像して得た超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、この抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、この算出した位置ずれ量の情報を用いて抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理することを特徴とする超音波画像の画像復元方法である。
（付記２）
　また、本発明は、ある時点のフレームの超音波画像と抽出したある時点よりも前の時点におけるフレームの超音波画像とは、超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの条件が異なる状態で得られたものであることを特徴とする付記１記載の超音波画像の画像復元方法である。
（付記３）
　更に、本発明は、ある時点のフレームの超音波画像と抽出したある時点よりも前の時点におけるフレームの超音波画像とは、超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの方位又は焦点距離のうちの少なくとも一方が異なる状態でスキャンして得られたものであることを特徴とする付記１記載の超音波画像の画像復元方法である。
（付記４）
　更に、本発明は、位置ずれを補正したある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とを合成することを、ある時点のフレームの超音波画像とこのある時点よりも前の時点におけるフレームの超音波画像とをそれぞれ局所的な領域に分割し，この局所的に分割された領域毎に異なる値の重みパラメータを設定し、重みが大きな領域ほど画像復元処理結果を大きく反映させることを特徴とする付記１記載の超音波画像の画像復元方法である。
（付記５）
　更に、本発明は、位置ずれを補正した抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することによりある時点とある時点よりも前の時点との間の時点における１フレーム分の合成超音波画像を推定して作成することを特徴とする付記１記載の超音波画像の画像復元方法である。
（付記６）
　更に、本発明は、試料は周期的な動作を行うものであり、撮像して得た画像は試料を周期の２倍以上の時間に亘って周期ごとの異なるスキャン条件でスキャンして得た超音波画像であり、ある時点のフレームの超音波画像とこのある時点よりも前の時点におけるフレームの超音波画像を抽出することが、ある時点のフレームの超音波画像とこのある時点よりも１周期前の時点におけるフレームの超音波画像を抽出することであることを特徴とする付記１記載の超音波画像の画像復元方法である。
　本発明は，超音波を被検体に送受信して画像を取得する超音波診断装置に利用でき，特に、取得した画像に対して画像処理によって，空間分解能あるいは時間分解能を向上させる処理を施す超音波画像の画像復元方法を備えた超音波診断装置に利用できる。
１００…被検体　　１０１…超音波診断装置　　１０２…駆動回路部　　　１０３…超音波プローブ　　１０４…受診回路部　　１０５…画像生成部　　１０６…画像処理部　　１１２…スキャンコンバータ　　１１３…表示部　　１２０…制御・記憶・処理部　　　　１２１…入力部　　１２２…制御部　　１２３…記憶部　　１２４…処理部。

Claims (18)

  1. 　超音波プローブを用いて超音波信号で試料をスキャンし該試料からの反射波を受信した信号から得られる超音波画像を処理して該試料の超音波画像を復元する方法であって、
    　該撮像して得た超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、
    　該抽出した前記ある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、
    　該算出した位置ずれ量の情報を用いて前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、前記抽出したある時点のフレームの超音波画像と前記ある時点より
    も前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理する
    ことを特徴とする超音波画像の画像復元方法。
  2. 　前記ある時点のフレームの超音波画像と前記抽出したある時点よりも前の時点におけるフレームの超音波画像とは、前記超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの条件が異なる状態で得られたものであることを特徴とする請求項１記載の超音波画像の画像復元方法。
  3. 　前記ある時点のフレームの超音波画像と前記抽出したある時点よりも前の時点におけるフレームの超音波画像とは、前記超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの方位又は焦点距離のうちの少なくとも一方が異なる状態でスキャンして得られたものであることを特徴とする請求項１記載の超音波画像の画像復元方法。
  4. 　前記位置ずれを補正した前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とを合成することを、前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とをそれぞれ局所的な領域に分割し，該局所的に分割された領域毎に異なる値の重みパラメータを設定し、前記重みが大きな領域ほど画像復元処理結果を大きく反映させることを特徴とする請求項１記載の超音波画像の画像復元方法。
  5. 　該位置ずれを補正した前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像とを合成することにより前記ある時点と前記ある時点よりも前の時点との間の時点における１フレーム分の合成超音波画像を推定して作成することを特徴とする請求項１記載の超音波画像の画像復元方法。
  6. 　前記試料は周期的な動作を行うものであり、前記撮像して得た画像は前記試料を前記周期の２倍以上の時間に亘って前記周期ごとの異なるスキャン条件でスキャンして得た超音波画像であり、
    　前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出することが、前記ある時点のフレームの超音波画像と該ある時点よりも１周期前の時点におけるフレームの超音波画像を抽出することであることを特徴とする請求項１記載の超音波画像の画像復元方法。
  7. 　超音波プローブで試料をスキャンして該試料からの反射波を受信した反射波信号を受ける受信回路手段と、
    　該受信回路手段で受信した反射波信号から超音波画像を生成する画像生成手段と、
    　該画像生成手段で生成した超音波画像を復元処理する画像処理手段と、
    　該画像処理手段で復元処理した超音波画像を画面上に表示する表示手段とを有し、前記画像処理手段は、前記画像生成手段で生成した超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、該抽出した前記ある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、該算出した位置ずれ量の情報を用いて前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、該位置ずれを補正した前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理することを特徴とする超音波画像の画像復元装置。
  8. 　前記画像処理手段で処理する前記ある時点のフレームの超音波画像と前記抽出したある時点よりも前の時点におけるフレームの超音波画像とは、前記超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの条件が異なる状態で得られたものであることを特徴とする請求項７記載の超音波画像の画像復元装置。
  9. 　前記画像処理手段で処理する前記ある時点のフレームの超音波画像と前記抽出したある時点よりも前の時点におけるフレームの超音波画像とは、前記超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの方位又は焦点距離のうちの少なくとも一方が異なる状態でスキャンして得られたものであることを特徴とする請求項７記載の超音波画像の画像復元装置。
  10. 　前記画像処理手段は、前記位置ずれを補正した前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とを合成することを、前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とをそれぞれ局所的な領域に分割し，該局所的に分割された領域毎に異なる値の重みパラメータを設定し、前記重みが大きな領域ほど画像復元処理結果を大きく反映させることを特徴とする請求項７記載の超音波画像の画像復元装置。
  11. 　前記画像処理手段は、前記位置ずれを補正した前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像とを合成することにより前記ある時点と前記ある時点よりも前の時点との間の時点における１フレーム分の合成超音波画像を推定して作成することを特徴とする請求項７記載の超音波画像の画像復元装置。
  12. 　前記試料は周期的な動作を行うものであり、前記超音波プローブで撮像して得た画像は前記試料を前記周期の２倍以上の時間に亘って前記周期ごとの異なるスキャン条件でスキャンして得た超音波画像であり、前記画像処理手段において、前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出することが、前記ある時点のフレームの超音波画像と該ある時点よりも１周期前の時点におけるフレームの超音波画像を抽出することであることを特徴とする請求項７記載の超音波画像の画像復元装置。
  13. 　超音波信号で試料をスキャンして該試料からの反射波を受信する超音波プローブと、
    　前記超音波プローブで受信した反射波信号を処理して超音波画像を生成する超音波画像処理部と、
    を備えた超音波診断装置であって、
    　前記超音波画像処理部は、
    　前記反射波信号から超音波画像を生成する画像生成手段と、
    　該画像生成手段で生成した超音波画像を復元処理する画像処理手段と
    を有し、前記画像処理手段は、前記画像生成手段で生成した超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、該抽出した前記ある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、該算出した位置ずれ量の情報を用いて前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像とを合成することにより１フレーム分の合成超音波画像を復元処理することを特徴とする超音波診断装置。
  14. 　前記画像処理手段で処理する前記ある時点のフレームの超音波画像と前記抽出したある時点よりも前の時点におけるフレームの超音波画像とは、前記超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの条件が異なる状態で得られたものであることを特徴とする請求項１３記載の超音波診断装置。
  15. 　前記画像処理手段で処理する前記ある時点のフレームの超音波画像と前記抽出したある時点よりも前の時点におけるフレームの超音波画像とは、前記超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの方位又は焦点距離のうちの少なくとも一方が異なる状態でスキャンして得られたものであることを特徴とする請求項１３記載の超音波診断装置。
  16. 　前記画像処理手段は、前記位置ずれを補正した前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とを合成することを、前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とをそれぞれ局所的な領域に分割し，該局所的に分割された領域毎に異なる値の重みパラメータを設定し、前記重みが大きな領域ほど画像復元処理結果を大きく反映させることを特徴とする請求項１３記載の超音波診断装置。
  17. 　前記画像処理手段は、前記位置ずれを補正した前記抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像とを合成することにより前記ある時点と前記ある時点よりも前の時点との間の時点における１フレーム分の合成超音波画像を推定して作成することを特徴とする請求項１３記載の超音波診断装置。
  18. 　前記試料は周期的な動作を行うものであり、前記超音波プローブで撮像して得た画像は前記試料を前記周期の２倍以上の時間に亘って前記周期ごとの異なるスキャン条件でスキャンして得た超音波画像であり、
    　前記画像処理手段は、前記ある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出することが、前記ある時点のフレームの超音波画像と該ある時点よりも１周期前の時点におけるフレームの超音波画像を抽出することであることを特徴とする請求項１３記載の超音波診断装置。
PCT/JP2011/061436 2010-07-14 2011-05-18 超音波画像の画像復元方法およびその装置並びに超音波診断装置 WO2012008217A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/703,961 US20130090560A1 (en) 2010-07-14 2011-05-18 Ultrasound image reconstruction method, device therefor, and ultrasound diagnostic device
JP2012524480A JP5649083B2 (ja) 2010-07-14 2011-05-18 超音波画像の画像復元方法およびその装置並びに超音波診断装置
US14/739,387 US9408591B2 (en) 2010-07-14 2015-06-15 Ultrasound diagnostic device and method of generating an intermediary image of ultrasound image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010159771 2010-07-14
JP2010-159771 2010-07-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/703,961 A-371-Of-International US20130090560A1 (en) 2010-07-14 2011-05-18 Ultrasound image reconstruction method, device therefor, and ultrasound diagnostic device
US14/739,387 Continuation US9408591B2 (en) 2010-07-14 2015-06-15 Ultrasound diagnostic device and method of generating an intermediary image of ultrasound image

Publications (1)

Publication Number Publication Date
WO2012008217A1 true WO2012008217A1 (ja) 2012-01-19

Family

ID=45469228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061436 WO2012008217A1 (ja) 2010-07-14 2011-05-18 超音波画像の画像復元方法およびその装置並びに超音波診断装置

Country Status (3)

Country Link
US (2) US20130090560A1 (ja)
JP (3) JP5649083B2 (ja)
WO (1) WO2012008217A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150917A1 (ja) * 2012-04-02 2013-10-10 日立アロカメディカル株式会社 超音波診断装置及び超音波画像の超解像生成方法
JP5985007B1 (ja) * 2015-06-02 2016-09-06 株式会社日立製作所 超音波診断装置
JP2016167233A (ja) * 2015-03-10 2016-09-15 富士通株式会社 補間画像生成装置、補間画像生成方法及び補間画像生成用コンピュータプログラム
WO2018052093A1 (ja) 2016-09-14 2018-03-22 富士フイルム株式会社 光音響画像生成装置
CN111182219A (zh) * 2020-01-08 2020-05-19 腾讯科技（深圳）有限公司 一种图像处理方法、装置、服务器及存储介质
CN117503203A (zh) * 2024-01-03 2024-02-06 之江实验室 一种用于超声环阵成像的相位畸变校正方法和系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813752B (zh) * 2012-01-27 2017-11-10 东芝医疗系统株式会社 医用图像处理装置
CN105451662B (zh) * 2013-08-09 2019-03-01 皇家飞利浦有限公司 用于医学成像与信息显示的方法和系统
CN105979878A (zh) * 2014-12-19 2016-09-28 奥林巴斯株式会社 超声波观测装置
US9824442B2 (en) * 2015-08-20 2017-11-21 Siemens Medical Solutions Usa, Inc. View direction adaptive volume ultrasound imaging
JP6597070B2 (ja) * 2015-09-02 2019-10-30 セイコーエプソン株式会社 濃度むら補正方法、及び印刷装置
US10709421B2 (en) * 2016-02-10 2020-07-14 Canon Medical Systems Corporation Ultrasound diagnostic apparatus
CN111885960B (zh) * 2018-03-13 2023-10-13 韦拉索恩股份有限公司 超声探针的通用隔行扫描
WO2019196103A1 (zh) * 2018-04-13 2019-10-17 深圳迈瑞生物医疗电子股份有限公司 超声成像方法及超声成像设备
US11497479B2 (en) 2020-05-09 2022-11-15 Clarius Mobile Health Corp. Method and system for controlling settings of an ultrasound scanner
WO2022114131A1 (ja) * 2020-11-30 2022-06-02 株式会社Lily MedTech 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
CN118212357A (zh) * 2021-07-21 2024-06-18 无锡艾米特智能医疗科技有限公司 一种器官三维图像重建补偿系统
CN113616945B (zh) * 2021-08-13 2024-03-08 湖北美睦恩医疗设备有限公司 一种基于聚焦超声图像识别的检测方法及美容美体装置
WO2023149515A1 (ja) * 2022-02-04 2023-08-10 アイメジャー株式会社 立体物イメージスキャナ
US20250009327A1 (en) * 2023-07-03 2025-01-09 Fujifilm Sonosite, Inc. Microvasculature Imaging Acquisition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002526226A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的に合成された超音波診断画像のブレを補正する方法
JP2002526225A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブレ補正された空間合成を行なう超音波診断撮像システム
JP2003061955A (ja) * 2001-08-30 2003-03-04 Aloka Co Ltd 超音波診断装置
WO2007097108A1 (ja) * 2006-02-22 2007-08-30 Hitachi Medical Corporation 超音波診断装置
JP2009039428A (ja) * 2007-08-10 2009-02-26 Panasonic Corp 超音波診断装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094238B2 (ja) 1991-02-21 2000-10-03 株式会社日立メディコ 超音波診断装置
JP3264963B2 (ja) 1992-02-12 2002-03-11 ジーイー横河メディカルシステム株式会社 超音波診断装置
JPH08307771A (ja) 1995-05-02 1996-11-22 Toshiba Corp 動き領域検出回路並びにこの動き領域検出回路を用いたノイズ低減フィルタ及びｘ線透視装置
US6210328B1 (en) 1998-10-01 2001-04-03 Atl Ultrasound Ultrasonic diagnostic imaging system with variable spatial compounding
US20040225221A1 (en) * 2003-05-06 2004-11-11 Olsson Lars Jonas Diagnostic ultrasound imaging system with adaptive persistence
US7492967B2 (en) 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
JP4519434B2 (ja) 2003-09-24 2010-08-04 株式会社東芝 超解像処理装置及び医用画像診断装置
US8460191B2 (en) 2005-05-20 2013-06-11 Hitachi Medical Corporation Ultrasonic medical diagnostic device for imaging changes with time
JP4473779B2 (ja) * 2005-05-23 2010-06-02 株式会社東芝 超音波診断装置及びその画像処理方法
JP5331313B2 (ja) * 2007-05-24 2013-10-30 株式会社日立メディコ 超音波診断装置
JP2010057010A (ja) 2008-08-29 2010-03-11 Sharp Corp 画像表示装置
JP5208268B2 (ja) * 2009-04-28 2013-06-12 株式会社日立メディコ 超音波画像の画質改善方法、超音波診断装置、及び画質改善プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002526226A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的に合成された超音波診断画像のブレを補正する方法
JP2002526225A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブレ補正された空間合成を行なう超音波診断撮像システム
JP2003061955A (ja) * 2001-08-30 2003-03-04 Aloka Co Ltd 超音波診断装置
WO2007097108A1 (ja) * 2006-02-22 2007-08-30 Hitachi Medical Corporation 超音波診断装置
JP2009039428A (ja) * 2007-08-10 2009-02-26 Panasonic Corp 超音波診断装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150917A1 (ja) * 2012-04-02 2013-10-10 日立アロカメディカル株式会社 超音波診断装置及び超音波画像の超解像生成方法
JP2016167233A (ja) * 2015-03-10 2016-09-15 富士通株式会社 補間画像生成装置、補間画像生成方法及び補間画像生成用コンピュータプログラム
JP5985007B1 (ja) * 2015-06-02 2016-09-06 株式会社日立製作所 超音波診断装置
WO2016194432A1 (ja) * 2015-06-02 2016-12-08 株式会社日立製作所 超音波診断装置
WO2018052093A1 (ja) 2016-09-14 2018-03-22 富士フイルム株式会社 光音響画像生成装置
CN111182219A (zh) * 2020-01-08 2020-05-19 腾讯科技（深圳）有限公司 一种图像处理方法、装置、服务器及存储介质
CN111182219B (zh) * 2020-01-08 2023-04-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置、服务器及存储介质
CN117503203A (zh) * 2024-01-03 2024-02-06 之江实验室 一种用于超声环阵成像的相位畸变校正方法和系统
CN117503203B (zh) * 2024-01-03 2024-03-22 之江实验室 一种用于超声环阵成像的相位畸变校正方法和系统

Also Published As

Publication number Publication date
JP5954806B2 (ja) 2016-07-20
JP2015142832A (ja) 2015-08-06
US20130090560A1 (en) 2013-04-11
US20150272552A1 (en) 2015-10-01
JP5649083B2 (ja) 2015-01-07
US9408591B2 (en) 2016-08-09
JP5859595B2 (ja) 2016-02-10
JPWO2012008217A1 (ja) 2013-09-05
JP2014131777A (ja) 2014-07-17

Similar Documents

Publication Publication Date Title
JP5954806B2 (ja) 超音波画像の中間画像を生成する方法及び超音波診断装置
JP4730125B2 (ja) 血流画像表示装置
JP4734395B2 (ja) 超音波診断装置
JP3934080B2 (ja) 側面距離相関関数を利用した３次元超音波映像形成装置
JP6253999B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP4223775B2 (ja) 超音波診断装置
JP4789854B2 (ja) 超音波診断装置および超音波診断装置の画質改善方法
JP7701416B2 (ja) 超音波診断装置および画像処理方法
JP5065629B2 (ja) 超音波診断装置および超音波診断装置の制御プログラム
JP5268374B2 (ja) 超音波診断装置、及びその制御方法
JP5417048B2 (ja) 超音波診断装置、及び超音波診断プログラム
WO2014021402A1 (ja) 超音波診断装置及び制御方法
JP2009178448A (ja) 超音波診断装置、画像診断装置、及びプログラム
JP2004507298A (ja) 空間的に合成されたパノラマ画像を持つ超音波診断システム
KR20090042183A (ko) 합성 영상을 이용한 조직 도플러 영상 생성 장치 및 방법
KR101348771B1 (ko) 벡터 도플러를 이용하여 파티클의 움직임을 추정하는 초음파 시스템 및 방법
JP5179963B2 (ja) 超音波診断装置及びその作動方法、並びに、画像処理プログラム
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP6385702B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP2007020908A (ja) 超音波診断装置及び超音波診断装置の制御プログラム
JP2012110527A (ja) 超音波診断装置
JP5209351B2 (ja) 超音波診断装置、及びその制御方法
JP2023111022A (ja) 超音波診断装置及び画像処理装置
JP2018023798A (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP5595988B2 (ja) 超音波診断装置および超音波診断装置の画質改善方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11806548

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012524480

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13703961

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11806548

Country of ref document: EP

Kind code of ref document: A1