WO2024157429A1 - 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム - Google Patents
画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム Download PDFInfo
- Publication number
- WO2024157429A1 WO2024157429A1 PCT/JP2023/002521 JP2023002521W WO2024157429A1 WO 2024157429 A1 WO2024157429 A1 WO 2024157429A1 JP 2023002521 W JP2023002521 W JP 2023002521W WO 2024157429 A1 WO2024157429 A1 WO 2024157429A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processing device
- image processing
- local contrast
- microstructure
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 138
- 210000004088 microvessel Anatomy 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims description 129
- 230000001629 suppression Effects 0.000 claims description 70
- 238000005286 illumination Methods 0.000 claims description 59
- 230000015572 biosynthetic process Effects 0.000 claims description 33
- 238000003786 synthesis reaction Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 21
- 235000005811 Viola adunca Nutrition 0.000 claims description 11
- 240000009038 Viola odorata Species 0.000 claims description 11
- 235000013487 Viola odorata Nutrition 0.000 claims description 11
- 235000002254 Viola papilionacea Nutrition 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 2
- 210000001519 tissue Anatomy 0.000 description 37
- 238000000605 extraction Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 25
- 239000000284 extract Substances 0.000 description 13
- 210000004204 blood vessel Anatomy 0.000 description 8
- 210000004877 mucosa Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- This disclosure relates to an image processing device, a medical system, and a method and program for operating the image processing device.
- Patent Document 1 discloses a technology for extracting each of the glandular duct structure and the microvessels by applying frequency filtering processing to images obtained by special light observation using narrow-band blue-violet light.
- the present disclosure has been made in consideration of the above, and aims to provide an image processing device, a medical system, and an operating method and program for the image processing device that can appropriately emphasize and suppress each of the fine structures and microvessels in an image regardless of the observation distance.
- the image processing device is an image processing device equipped with a processor, which irradiates illumination light including narrowband blue-violet light toward biological tissue including microstructures and microvessels, acquires an image signal generated by capturing light returned from the biological tissue, extracts local contrast information from the image signal, and generates a display image based on the local contrast information by performing one or more of the following on the image signal: enhancement processing for enhancing at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue; and suppression processing for suppressing at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue.
- the processor extracts a local contrast value as the local contrast information for each pixel constituting an input image corresponding to the image signal, determines for each pixel whether the local contrast value is equal to or greater than at least one preset reference value, performs one of the enhancement processing and the suppression processing on the signal values of pixels whose local contrast values are equal to or greater than the reference value, and performs the other of the enhancement processing and the suppression processing on the signal values of pixels whose local contrast values are not equal to or greater than the reference value, thereby generating the display image.
- the fine structure information corresponds to pixels with a large signal value, the local contrast value being equal to or greater than the reference value.
- the microvessel information corresponds to pixels whose signal values have a local contrast value that is not equal to or greater than the reference value.
- the enhancement process is a process of moving the local contrast value away from the reference value, and the processor performs the enhancement process on the microstructure information.
- the suppression process is a process of bringing the local contrast value closer to the reference value, and the processor performs the suppression process on the microvascular information.
- the enhancement process is a process of bringing the local contrast value closer to the reference value, and the processor performs the suppression process on the microstructure information.
- the suppression process is a process of moving the local contrast value away from the reference value, and the processor performs the enhancement process on the microvascular information.
- the processor extracts the local contrast information based on the relative signal strength ratio between the signal value of a pixel of interest in an input image corresponding to the image signal and the signal values of pixels surrounding the pixel of interest.
- the processor divides the image signal into an illumination light component and a reflectance component, and increases or decreases the signal amplitude value of the reflectance component.
- the image processing device divides the image signal into an illumination light component and a reflectance component, and increases or decreases the signal amplitude value of the illumination light component.
- the processor divides the image signal into an illumination light component and a reflectance component, performs at least one of the enhancement process and the suppression process on the signal amplitude value of the reflectance component, and generates the display image by combining the reflectance component that has been subjected to at least one of the enhancement process and the suppression process with the illumination light component.
- the processor divides the image signal into an illumination light component and a reflectance component, performs at least one of the enhancement process and the suppression process on the reflectance component, performs a gain adjustment process to adjust the gain of the illumination light component, and generates the display image by combining the illumination light component that has been subjected to the gain adjustment process and the reflectance component that has been subjected to at least one of the enhancement process and the suppression process.
- the processor generates a first illumination light component and a first reflectance component based on the image signal, generates a second reflectance component by combining the first reflectance component and the image signal with a predetermined coefficient, performs at least one of the enhancement process and the suppression process on the second reflectance component to generate a third reflectance component, generates a fourth reflectance component based on the third reflectance component and the image signal, and generates the display image by combining the fourth reflectance component and the first reflectance component.
- the medical system is a medical system including a light source device, an imaging device, and a medical device, in which the light source device has a light source that irradiates illumination light including narrowband blue-violet light toward biological tissue including microstructures and microvessels, the imaging device has an imaging element that generates an image signal by capturing light returned from the biological tissue, and the medical device has a processor, acquires the image signal, extracts local contrast information from the image signal, and generates a display image based on the local contrast information by performing one or more of the following on the image signal: enhancement processing that enhances at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue, and suppression processing that suppresses at least one of the microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue.
- enhancement processing that enhances at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue
- suppression processing that suppresse
- the method of operating an image processing device is a method of operating an image processing device having a processor, in which the processor irradiates illumination light including narrowband blue-violet light toward biological tissue including microstructures and microvessels, acquires an image signal generated by capturing light returned from the biological tissue, extracts local contrast information from the image signal, and generates a display image based on the local contrast information by performing one or more of an enhancement process for enhancing at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue, and a suppression process for suppressing at least one of the microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue.
- the program according to the present disclosure is a program executed by a medical device that includes a processor and is driven according to the cleaning state of a target area, and causes the processor to perform the following operations: irradiate illumination light including narrowband blue-violet light toward biological tissue including microstructures and microvessels, acquire an image signal generated by capturing light returned from the biological tissue, extract local contrast information from the image signal, and generate a display image based on the local contrast information by performing one or more of the following on the image signal: enhancement processing that enhances at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue, and suppression processing that suppresses at least one of microstructural information related to the microstructure and microvascular information related to the microvessels in the biological tissue.
- the present disclosure has the advantage of being able to selectively highlight and suppress fine structures and microvessels in an image, regardless of the observation distance.
- FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
- FIG. 3 is a flowchart illustrating an overview of the processing executed by the endoscope system according to the first embodiment.
- FIG. 4 is a diagram for explaining an outline of the processing executed by the endoscope system according to the first embodiment.
- FIG. 5 is a block diagram showing a functional configuration of an endoscope system according to the second embodiment.
- FIG. 6 is a flowchart showing an outline of processing executed by the endoscope system according to the second embodiment.
- FIG. 7 is a diagram illustrating an outline of the emphasis process and the suppression process executed by the adjustment unit according to the second embodiment.
- FIG. 1 is a schematic configuration diagram of an endoscope system according to a first embodiment.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to
- FIG. 8 is a diagram illustrating an outline of the emphasis process and the suppression process executed by the adjustment unit according to the third embodiment.
- FIG. 9 is a block diagram showing a functional configuration of an endoscope system according to the fourth embodiment.
- FIG. 10 is a flowchart showing an outline of processing executed by the endoscope system according to the fourth embodiment.
- FIG. 11 is a diagram for explaining an outline of a process executed by the endoscope system according to the fourth embodiment.
- FIG. 12 is a diagram illustrating an outline of the emphasis process and the suppression process executed by the adjustment unit according to the fourth embodiment.
- FIG. 13 is a block diagram showing a functional configuration of an endoscope system according to the fifth embodiment.
- FIG. 14 is a flowchart showing an outline of processing executed by the endoscope system according to the fifth embodiment.
- FIG. 15 is a diagram for explaining an outline of the processing executed by the endoscope system according to the fifth embodiment.
- FIG. 16 is a diagram illustrating an outline of the emphasis process and the suppression process executed by the adjustment unit according to the fifth embodiment.
- FIG. 17 is a diagram illustrating an outline of the emphasis process and the suppression process executed by the adjustment unit according to the fifth embodiment.
- FIG. 1 is a schematic diagram of an endoscope system according to a first embodiment.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to the first embodiment.
- the endoscope system 1 shown in FIGS. 1 and 2 is inserted into the body of a subject such as a patient, and displays a display image based on an image signal (image data) generated by capturing an image of the inside of the subject.
- a user such as a doctor examines the presence or absence of a bleeding site, a tumor site, and an abnormal site, and measures the size by observing the display image.
- the present invention is not limited to this, and may be, for example, a medical system equipped with a rigid endoscope.
- the endoscope system 1 may be applied to a medical microscope or a medical surgery robot system that performs surgery, treatment, etc. while displaying a display image based on an image signal (image data) captured by an endoscope on a display device.
- the endoscope system 1 shown in FIG. 1 includes an endoscope device 2, a light source device 3, a display device 4, and a control device 5.
- the endoscope device 2 is inserted into a subject, generates an image signal (RAW data) by capturing an image of the inside of the subject's body, and outputs the generated image signal to the control device 5.
- the endoscope device 2 includes an insertion section 21, an operation section 22, and a universal cord 23.
- the insertion section 21 has a flexible, elongated shape.
- the insertion section 21 has a tip section 24 that incorporates an imaging section 244 (described later), a freely bendable bending section 25 composed of multiple bending pieces, and a long, flexible tube section 26 that is connected to the base end side of the bending section 25 and has flexibility.
- the tip 24 is constructed using glass fiber or the like.
- the tip 24 has a light guide 241 that forms a light guide path for the light supplied from the light source device 3, an illumination lens 242 provided at the tip of the light guide 241, an optical system 243 that collects at least one of the reflected light and the returned light from the subject, and an imaging unit 244 that is disposed at the imaging position of the optical system 243.
- the illumination lens 242 is composed of one or more lenses and emits the light supplied from the light guide 241 to the outside.
- the optical system 243 is configured using one or more lenses, and collects the return light from the subject and the light reflected by the subject to form an image of the subject on the imaging surface of the imaging section 244.
- the optical system 243 may be structured such that the focal position (focus position) can be changed by moving along the optical axis L1 under the drive of an actuator (not shown).
- the optical system 243 may have a zoom lens group in which the focal length can be changed by moving multiple lenses along the optical axis L1.
- the imaging unit 244 is configured using an image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor), captures images at a predetermined frame rate to generate an image signal (RAW data), and outputs this image signal to the control device 5.
- an image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor)
- the operation unit 22 has a bending knob 221 that bends the bending portion 25 in the vertical and horizontal directions, a treatment tool insertion portion 222 that inserts treatment tools such as a biological forceps, a laser scalpel, and an inspection probe into the body cavity, and a number of switches 223 that accept inputs of operation instruction signals for peripheral devices such as the light source device 3, the control device 5, the air supply means, the water supply means, and the gas supply means, and a pre-freeze signal that instructs the imaging unit 244 to take a still image.
- the treatment tool inserted from the treatment tool insertion portion 222 passes through a treatment tool channel (not shown) in the tip portion 24 and emerges from an opening (not shown).
- the universal cord 23 incorporates at least a light guide 241 and a light collecting cable that is a collection of one or more cables.
- the collection cable is a signal line that transmits and receives signals between the endoscope device 2, the light source device 3, and the control device 5, and includes a signal line (signal data) for transmitting and receiving setting data, a signal line for transmitting and receiving an image signal (image data), and a signal line for transmitting and receiving a clock signal for driving the imaging unit 244.
- the universal cord 23 has a connector section 27 that is detachable from the light source device 3.
- the connector section 27 has a coiled coil cable 27a extending therefrom, and has a connector section 28 at the extending end of the coil cable 27a that is detachable from the control device 5.
- the light source device 3 supplies illumination light for irradiating an object from the tip portion 24 of the endoscope device 2.
- the light source device 3 includes a light source unit 31, a light source driver 32, and an illumination control unit 33.
- the light source unit 31 irradiates the subject with at least one of white light including light in the red wavelength band, light in the green wavelength band, and light in the blue wavelength band, and special light.
- the light source unit 31 has a condenser lens 311, a first light source 312, a second light source 313, a third light source 314, a fourth light source 315, and a fifth light source 316.
- the condenser lens 311 is composed of one or more lenses.
- the condenser lens 311 condenses the light emitted by each of the first light source 312, the second light source 313, the third light source 314, the fourth light source 315, and the fifth light source 316, and outputs the light to the light guide 241.
- the first light source 312 is configured using a red LED (Light Emitting Diode) lamp.
- the first light source 312 emits light in the red wavelength band (610 nm to 750 nm) (hereinafter simply referred to as "R light") based on the current supplied from the light source driver 32.
- the second light source 313 is configured using a green LED lamp.
- the second light source 313 emits light in the green wavelength band (500 nm to 560 nm) (hereinafter simply referred to as "G light") based on the current supplied from the light source driver 32.
- the third light source 314 is configured using a blue LED lamp.
- the third light source 314 emits light in the blue wavelength band (435 nm to 480 nm) (hereinafter simply referred to as "B light") based on the current supplied from the light source driver 32.
- the fourth light source 315 is configured using a purple LED lamp.
- the fourth light source 315 emits narrowband light (hereinafter simply referred to as "V light") in the blue-purple wavelength band (e.g., 400 nm to 435 nm) based on the current supplied from the light source driver 32.
- the fifth light source 316 is configured using a green LED lamp and a transmission filter that transmits a predetermined wavelength band.
- the fifth light source 316 emits narrowband light (530 nm to 550 nm) in a predetermined wavelength band (hereinafter simply referred to as "NG light") based on the current supplied from the light source driver 32.
- the light source driver 32 under the control of the illumination control unit 33, supplies current to the first light source 312, the second light source 313, the third light source 314, the fourth light source 315, and the fifth light source 316 to emit light according to the observation mode set in the endoscope system 1. Specifically, under the control of the illumination control unit 33, when the observation mode set in the endoscope system 1 is the normal observation mode, the light source driver 32 causes the first light source 312, the second light source 313, and the third light source 314 to emit light to emit white light (hereinafter simply referred to as "W light").
- W light white light
- the light source driver 32 causes the fourth light source 315 and the fifth light source 316 to emit light to emit special light (hereinafter simply referred to as "S light") capable of narrow band imaging (NBI).
- S light special light
- the lighting control unit 33 controls the lighting timing of the light source device 3 based on the instruction signal received from the control device 5. Specifically, the lighting control unit 33 causes the first light source 312, the second light source 313, and the third light source 314 to emit light at a predetermined cycle.
- the lighting control unit 33 is configured using a CPU (Central Processing Unit) and the like.
- the lighting control unit 33 controls the light source driver 32 to cause the first light source 312, the second light source 313, and the third light source 314 to emit light and emit W light.
- the lighting control unit 33 controls the light source driver 32 to combine the fourth light source 315 and the fifth light source 316 to emit S light.
- the illumination control unit 33 may control the light source driver 32 in accordance with the observation mode of the endoscope system 1 to emit light in combination from any two or more of the first light source 312, the second light source 313, the third light source 314, the fourth light source 315, and the fifth light source 316.
- the display device 4 displays an image based on image data generated by the endoscope device 2 and received from the control device 5.
- the display device 4 displays various information related to the endoscope system 1.
- the display device 4 is configured using a display panel such as a liquid crystal or organic EL (Electro Luminescence) panel.
- the control device 5 receives image data generated by the endoscope device 2, performs predetermined image processing on the received image data, and outputs the processed image data to the display device 4.
- the control device 5 also comprehensively controls the operation of the entire endoscope system 1.
- the control device 5 includes an image processing unit 51, an input unit 52, a recording unit 53, and a control unit 54.
- the image processing unit 51 acquires the image signal generated by the endoscope device 2, performs a predetermined image processing on the acquired image signal, and outputs it to the display device 4.
- the image processing unit 51 is configured using a processor having hardware such as a memory and a GPU (Graphics Processing Unit), a DSP (Digital Signal Processing) or an FPGA (Field Programmable Gate Array).
- the image processing unit 51 has an acquisition unit 511, a division unit 512, an extraction unit 513, an adjustment unit 514, a synthesis unit 515, and a display control unit 516.
- the acquisition unit 511 acquires an image signal (RAW data) from the imaging unit 244 of the endoscope device 2. Specifically, the acquisition unit 511 acquires an image signal generated by the imaging unit 244 irradiating illumination light including narrowband blue-violet light toward biological tissue including microstructures and microvessels, and capturing an image of the return light from the biological tissue.
- RAW data image signal
- the acquisition unit 511 acquires an image signal generated by the imaging unit 244 irradiating illumination light including narrowband blue-violet light toward biological tissue including microstructures and microvessels, and capturing an image of the return light from the biological tissue.
- the splitting unit 512 splits the input image corresponding to the image signal acquired by the acquisition unit 511 into an illumination light component and a reflectance component. Specifically, the splitting unit 512 splits the input image corresponding to the image signal into a base image, which is an illumination light component that is a low-frequency component, and a detail image, which is a reflectance component.
- the extraction unit 513 extracts local contrast information from the image signal acquired by the acquisition unit 511. Specifically, the extraction unit 513 extracts the detail image divided by the division unit 512 as local contrast information of the reflectance component.
- the adjustment unit 514 performs, on the image signal acquired by the acquisition unit 511, one or more of the following: an enhancement process that enhances at least one of the microstructural information related to the microstructure in the biological tissue and the microvascular information related to the microvessels; and a suppression process that suppresses at least one of the microstructural information related to the microstructure in the biological tissue and the microvascular information related to the microvessels.
- the synthesis unit 515 synthesizes the illumination light component, which is the base image divided by the division unit 512 and has been subjected to gradation compression, with the reflectance component, which is the detail image that has been subjected to enhancement processing by the adjustment unit 514.
- the display control unit 516 generates a display image based on the synthesis result produced by the synthesis unit 515 and outputs the image to the display device 4.
- the input unit 52 receives instruction signals that instruct the operation of the endoscope system 1 and instruction signals that instruct the observation mode of the endoscope system 1, and outputs the received instruction signals to the control unit 54.
- the input unit 52 is configured using switches, buttons, a touch panel, etc.
- the recording unit 53 records the various programs executed by the endoscope system 1, data being executed by the endoscope system 1, and image data generated by the endoscope device 2.
- the recording unit 53 is configured using a volatile memory, a non-volatile memory, a memory card, etc.
- the recording unit 53 has a program recording unit 531 that records the various programs executed by the endoscope system 1.
- the control unit 54 has a memory and a processor consisting of at least one hardware such as an FPGA or a CPU.
- the control unit 54 controls each component of the endoscope system 1.
- FIG. 3 is a flowchart showing an outline of the processing executed by the endoscope system 1.
- Fig. 4 is a diagram for explaining the outline of the processing executed by the endoscope system.
- control unit 54 controls the illumination control unit 33 to cause the fourth light source 315 and the fifth light source 316 of the light source device 3 to emit light and irradiate the biological tissue with narrowband blue-violet and green light (step S101).
- control unit 54 causes the imaging unit 244 to capture the return light from the biological tissue (step S102), and causes the imaging unit 244 to generate an image signal (step S103).
- the acquisition unit 511 acquires an image signal (RAW data) from the imaging unit 244 of the endoscope device 2 (step S104).
- the division unit 512 divides the input image corresponding to the image signal acquired by the acquisition unit 511 into an illumination light component and a reflectance component (step S105). Specifically, as shown in FIG. 4, the division unit 512 divides the input image P IN1 corresponding to the image signal into a base image P B1 which is an illumination light component that is a low frequency component, and a detail image P D1 which is a reflectance component. In this case, the division unit 512 divides the base image P B1 which is an illumination light component that is a low frequency component from the input image P IN1 by applying, for example, a well-known bilateral filter to the input image P IN1 .
- the division unit 512 performs gradation compression on the base image P B1 and outputs it.
- the division unit 512 divides the detail image P D1 which is a reflectance component from the input image P IN1 according to the Retinex model.
- the division unit 512 divides the input image P IN1 into a detail image P D1 , which is a reflectance component, according to a well-known SSR (Single-Scale Retinex) model in the Retinex model.
- SSR is a method of estimating an illumination light component by smoothing a pixel of interest and pixels surrounding the pixel of interest with a Gaussian filter, and determining a reflectance component from a ratio between an input pixel value of the pixel of interest and the estimated illumination light component.
- bilateral filter and SSR are well-known techniques, and detailed explanations thereof will be omitted.
- the extraction unit 513 extracts the detail image divided by the division unit 512 as local contrast information of the reflectance component (step S106). Specifically, the extraction unit 513 extracts the difference between the base image P B1 and the input image P IN1 , that is, the detail image, as local contrast information. In this case, the extraction unit 513 extracts the local contrast information by extracting a contrast value, which is a relative signal intensity ratio, as contrast information for each pixel based on the signal value of a pixel of interest in each of the base image P B1 and the input image P IN1 and the signal values of each of a plurality of peripheral pixels around the pixel of interest.
- a contrast value which is a relative signal intensity ratio
- the adjustment unit 514 performs an enhancement process for enhancing each of the microstructure information related to the microstructure in the biological tissue and the microvessel information related to the microvessels on the image signal acquired by the acquisition unit 511 based on the local contrast information extracted by the extraction unit 513 (step S107).
- the adjustment unit 514 performs an enhancement process for enhancing the detail components on the image signal acquired by the acquisition unit 511 based on the local contrast information extracted by the extraction unit 513.
- the adjustment unit 514 performs an enhancement process for enhancing the detail components on the detail image divided by the division unit 512 based on the local contrast information extracted by the extraction unit 513 to generate a detail image P D2 . That is, the adjustment unit 514 performs an enhancement process for increasing the signal amplitude value of the reflectance component divided by the division unit 512 based on the local contrast information extracted by the extraction unit 513.
- the synthesis unit 515 synthesizes the illumination light component, which is the base image divided by the division unit 512 and has been subjected to gradation compression, with the reflectance component, which is the detail image that has been subjected to enhancement processing by the adjustment unit 514 (step S108). Specifically, as shown in Fig. 4, the synthesis unit 515 synthesizes the base image P B1 and the detail image P D2 .
- the display control unit 516 generates a display image based on the synthesis result generated by the synthesis unit 515, and outputs the display image to the display device 4 (step S109). Specifically, as shown in Fig. 4, the display control unit 516 generates a display image POUT1 based on the synthesis result generated by the synthesis unit 515, and outputs the display image POUT1 to the display device 4. This allows the user to improve the accuracy of diagnosis by selectively emphasizing the feature amount of the display image.
- control unit 54 determines whether an instruction signal instructing the end of observation of the subject has been input from the input unit 52 (step S110). If the control unit 54 determines that an instruction signal instructing the end of observation of the subject has been input from the input unit 52 (step S110: Yes), the endoscope system 1 ends this process. On the other hand, if the control unit 54 determines that an instruction signal instructing the end of observation of the subject has not been input from the input unit 52 (step S110: No), the endoscope system 1 returns to the above-mentioned step S101.
- the synthesis unit 515 synthesizes the illumination component, which is the base image divided by the division unit 512, with the reflectance component, which is the detail image that has been subjected to the enhancement process by the adjustment unit 514, and the display control unit 516 generates a display image based on the synthesis result synthesized by the synthesis unit 515 and outputs it to the display device 4.
- the display control unit 516 generates a display image based on the synthesis result synthesized by the synthesis unit 515 and outputs it to the display device 4.
- the endoscope system according to the second embodiment has a different configuration from the endoscope system 1 according to the first embodiment described above, and performs different processing. Specifically, in the second embodiment, at least one of enhancement processing and suppression processing is performed based on local contrast information for each pixel. Therefore, in the following, the functional configuration of the endoscope system according to the second embodiment will be described, and then the processing performed by the endoscope system according to the second embodiment will be described. Note that the same components as those in the endoscope system 1 according to the first embodiment described above will be denoted by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 5 is a block diagram showing a functional configuration of an endoscope system according to embodiment 2.
- the endoscope system 1A shown in Fig. 5 includes a control device 5A instead of the control device 5 of the endoscope system 1 according to the above-mentioned embodiment 1.
- the control device 5A includes an image processing device 51A instead of the image processing device 51 according to the above-mentioned embodiment 1.
- the image processing unit 51A further includes a determination unit 517 in addition to the configuration of the image processing unit 51 according to the first embodiment described above.
- the determination unit 517 determines whether the local contrast value for each pixel is equal to or greater than a predetermined reference value based on the local contrast information extracted by the extraction unit 513, and extracts microstructure information and microvascular information.
- Fig. 6 is a flowchart showing an outline of the process executed by the endoscope system 1A.
- steps S201 to S206 are the same as steps S101 to S106 in Fig. 3 described above, and therefore detailed description thereof will be omitted.
- step S207 the determination unit 517 determines whether the local contrast value for each pixel is equal to or greater than a predetermined reference value set in advance, based on the local contrast information extracted by the extraction unit 513, and extracts the microstructure information and the microvessel information. Note that in the second embodiment, the determination unit 517 makes the determination using one reference value, but is not limited to this, and two separate reference values may be set for extracting each of the microstructure information and the microvessel information.
- the adjustment unit 514 performs at least one of an enhancement process for enhancing at least one of the microstructure information on the microstructure in the biological tissue and the microvessel information on the microvessel, and a suppression process for suppressing at least one of the microstructure information on the microstructure in the biological tissue and the microvessel information on the microvessel (step S208).
- the adjustment unit 514 based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513, the adjustment unit 514 performs an enhancement process by the judgment unit 517 for moving the local contrast value away from the reference value for the signal value of a pixel whose local contrast value is equal to or greater than the reference value, and a suppression process by the judgment unit 517 for moving the local contrast value toward the reference value for the signal value of a pixel whose local contrast value is not equal to or greater than the reference value (pixels smaller than the reference value).
- FIG. 7 is a diagram showing a schematic overview of the enhancement and suppression processes executed by the adjustment unit 514.
- line L1 shows the relationship between the input and output values of the local contrast value before adjustment
- line L2 shows the relationship between the input and output values of the local contrast value after adjustment when the local contrast value is equal to or greater than the reference value
- line L3 shows the relationship between the input and output values of the local contrast value after adjustment when the local contrast value is not equal to or greater than the reference value.
- the adjustment unit 514 performs enhancement processing on the signal values (luminance values) of pixels whose local contrast values are equal to or greater than a reference value by the determination unit 517, based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513, to move the local contrast value away from the reference value. That is, the adjustment unit 514 performs enhancement processing on the basis of the local contrast information extracted by the extraction unit 513, to increase the signal amplitude value of the reflectance component divided by the division unit 512.
- the adjustment unit 514 performs suppression processing on the signal values (luminance values) of pixels whose local contrast values are not equal to or greater than the reference value by the determination unit 517, based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513, to bring the local contrast value closer to the reference value. That is, the adjustment unit 514 performs suppression processing on the basis of the local contrast information extracted by the extraction unit 513, to reduce the signal amplitude value of the illumination light component.
- the adjustment unit 514 can emphasize the fine structure in the biological tissue and suppress the microvessels in the biological tissue.
- Steps S209 to S211 are similar to steps S108 to S111 in FIG. 3 described above, so detailed explanations will be omitted.
- the adjustment unit 514 performs an emphasis process on the signal values of pixels whose local contrast values are equal to or greater than the reference value by the determination unit 517 based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513, in which the local contrast value is moved away from the reference value. Furthermore, the adjustment unit 514 performs a suppression process on the signal values of pixels whose local contrast values are not equal to or greater than the reference value (pixels smaller than the reference value) by the determination unit 517, in which the local contrast value is moved closer to the reference value, based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513. As a result, it is possible to selectively emphasize and suppress each of the mucosa and microvessels, which are fine structures in the image, regardless of the observation distance between the tip 24 of the endoscope device 2 and the biological tissue.
- the adjustment unit 514 performs an enhancement process on the signal values of pixels whose local contrast values are equal to or greater than the reference value by the determination unit 517 based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513, in which the local contrast values are made to move away from the reference value. Furthermore, the adjustment unit 514 performs a suppression process on the signal values of pixels whose local contrast values are not equal to or greater than the reference value (pixels smaller than the reference value) by the determination unit 517, in which the local contrast values are made to move closer to the reference value, based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513. This allows the user to easily observe the fine structure of the mucosa, since blown-out highlights of the mucosa, which is a fine structure, are prevented.
- the adjustment unit 514 performs suppression processing to reduce the signal amplitude value of the illumination light component based on the local contrast information extracted by the extraction unit 513, but is not limited to this.
- emphasis processing may be performed to increase the signal amplitude value of the illumination light component based on the local contrast information extracted by the extraction unit 513.
- the endoscope system according to the third embodiment has the same configuration as the endoscope system 1A according to the second embodiment described above, but the contents of the emphasis processing and the suppression processing performed by the adjustment unit 514 are different. Therefore, the emphasis processing and the suppression processing performed by the adjustment unit 514 will be described below. Note that the same components as those in the endoscope system 1A according to the second embodiment described above are denoted by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 8 is a diagram showing a schematic overview of the enhancement and suppression processes executed by the adjustment unit 514 according to the third embodiment.
- a straight line L1 shows the relationship between the input and output values of the local contrast value before adjustment
- a straight line L4 shows the relationship between the input and output values of the local contrast value after adjustment when the local contrast value is not equal to or greater than the reference value.
- the adjustment unit 514 performs at least one of an enhancement process that enhances microstructure information related to the microstructure in biological tissue and a suppression process that suppresses microvascular information related to the microvessels based on the detail image P D1 divided by the division unit 512 and the local contrast information of the detail image P D1 extracted by the extraction unit 513.
- the adjustment unit 514 performs an emphasis process on the signal values of pixels whose local contrast values are equal to or greater than a reference value by the determination unit 517, in order to move the local contrast values away from the reference value, and performs a suppression process on the signal values of pixels whose local contrast values are not equal to or greater than the reference value (pixels whose local contrast values are smaller than the reference value) by the determination unit 517.
- the adjustment unit 514 performs suppression processing on the signal values of pixels whose local contrast value is not equal to or greater than the reference value (pixels smaller than the reference value) by the determination unit 517 so that the signal values are gently inclined nonlinearly away from the reference value, and also performs suppression processing so that at a certain signal value, the output is linear. This allows the user to improve the accuracy of diagnosis based on the structure of the blood vessels, since blood vessels are emphasized compared to the mucous membrane.
- the adjustment unit 514 performs an emphasis process on the signal values of pixels whose local contrast values are equal to or greater than the reference value by the determination unit 517, moving the local contrast value away from the reference value, based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513. Furthermore, the adjustment unit 514 performs a suppression process on the signal values of pixels whose local contrast values are not equal to or greater than the reference value (pixels smaller than the reference value), moving the local contrast value closer to the reference value, based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513. As a result, it is possible to selectively emphasize and suppress each of the mucosa and microvessels, which are fine structures in the image, regardless of the observation distance between the tip 24 of the endoscope device 2 and the biological tissue.
- the endoscope system according to the fourth embodiment differs from the endoscope system 1A according to the second embodiment in the configuration and in the processing that it executes. Specifically, the endoscope system 1A according to the second embodiment uses the base image as is and synthesizes it into a detail image that has been subjected to at least one of an enhancement process and a suppression process, whereas the endoscope system according to the fourth embodiment performs a predetermined image processing on the base image and then synthesizes it into a detail image. Therefore, in the following, the configuration of the endoscope system according to the fourth embodiment will be described, and then the processing that the endoscope system executes will be described. Note that the same components as those of the endoscope system 1A according to the second embodiment will be denoted by the same reference numerals and detailed description will be omitted.
- FIG. 9 is a block diagram showing a functional configuration of an endoscope system according to embodiment 4.
- the endoscope system 1B shown in Fig. 9 includes a control device 5B instead of the control device 5A of the endoscope system 1A according to the above-mentioned embodiment 2.
- the control device 5B includes an image processing device 51B instead of the image processing device 51A according to the above-mentioned embodiment 2.
- the image processing device 51B includes an adjustment device 514B instead of the adjustment device 514 according to the above-mentioned embodiment 2.
- the adjustment unit 514B performs at least one of an enhancement process to enhance the microstructure information related to the microstructure in the biological tissue and a suppression process to suppress the microvessel information related to the microvessels based on the image signal acquired by the acquisition unit 511 and the local contrast information extracted by the extraction unit 513.
- the adjustment unit 514B also performs a gain adjustment process to adjust the gain of the base image, which is the illumination light component divided by the division unit 512.
- Fig. 10 is a flowchart showing an outline of the processing executed by the endoscope system 1B.
- Fig. 11 is a diagram for explaining the outline of the processing executed by the endoscope system 1B.
- steps S301 to S305 are similar to steps S101 to S105 in Fig. 3 described above, and therefore detailed explanations are omitted.
- step S306 the adjustment unit 514B performs a gain adjustment process to adjust the gain of the base image P B1 , which is the illumination light component divided by the division unit 512. Specifically, as shown in Fig. 11, the adjustment unit 514B performs a gain adjustment process to reduce the gain of the base image P B1 to generate a base image P B2 . For example, the adjustment unit 514B generates the base image P B2 by multiplying the signal value of each pixel constituting the base image P B1 by 0.8. That is, the adjustment unit 514B performs a suppression process to reduce the signal amplitude value of the illumination light component.
- Steps S307 and S308 are similar to steps S206 and S207 in FIG. 6 described above, so detailed explanations are omitted.
- the adjustment unit 514B performs enhancement processing on the signal values of pixels whose local contrast values are equal to or greater than the reference value by the determination unit 517 to move the local contrast values away from the reference value, and performs suppression processing on the signal values of pixels whose local contrast values are not equal to or greater than the reference value by the determination unit 517 to move the local contrast values closer to the reference value, thereby generating a detail image P D2 .
- the endoscope system 1B proceeds to step S310.
- FIG. 12 is a diagram showing a schematic overview of the emphasis and suppression processes executed by the adjustment unit 514B.
- the straight line L1 shows the relationship between the input and output values of the local contrast value before adjustment
- the broken line L5 shows the relationship between the input and output values of the local contrast value after adjustment.
- the adjustment unit 514B performs an enhancement process on the detail image P D1 , in which the determination unit 517 moves the local contrast value of the pixel having the local contrast value equal to or greater than the reference value away from the reference value, while performing an enhancement process stronger than that of the second embodiment described above on the signal value of the pixel having the local contrast value equal to or greater than the reference value by a predetermined value, thereby suppressing halation.
- the adjustment unit 514B performs a suppression process on the pixel having the local contrast value not equal to or greater than the reference value (pixel smaller than the reference value) by the determination unit 517, in which the signal value moves away from the reference value nonlinearly so as to have a gentle slope, thereby generating the detail image P D2 .
- the adjustment unit 514B performs an enhancement process and a suppression process that emphasize the signal value so that the slope of the coefficient multiplied by the signal value is equal to or greater than the reference value.
- the adjustment unit 514 can emphasize the fine structure in the biological tissue, and suppress the microvessels in the biological tissue.
- the synthesis unit 515 synthesizes the base image on which the adjustment unit 514B has performed the gain adjustment process and the detail image on which the adjustment unit 514 has performed at least one of the enhancement process and the suppression process (step S310). Specifically, as shown in Fig. 11, the synthesis unit 515 synthesizes the base image P B2 and the detail image P D2 .
- the display control unit 516 generates a display image based on the synthesis result generated by the synthesis unit 515, and outputs the display image to the display device 4 (step S311). Specifically, as shown in FIG. 11 , the display control unit 516 generates a display image P OUT2 based on the synthesis result generated by the synthesis unit 515, and outputs the display image P OUT2 to the display device 4.
- Step S312 is the same process as step S110 in FIG. 3 described above, so a detailed explanation will be omitted.
- the adjustment unit 514B performs a gain adjustment process to adjust the gain of the base image P B1 , which is the illumination light component divided by the division unit 512. Furthermore, the adjustment unit 514B performs an enhancement process by the determination unit 517 on the signal values of pixels whose local contrast values are equal to or greater than a reference value, to move the local contrast value away from the reference value, and a suppression process by the determination unit 517 on the signal values of pixels whose local contrast values are not equal to or greater than the reference value, to generate a detail image subjected to the enhancement process and the suppression process.
- the synthesis unit 515 synthesizes the base image on which the gain adjustment process is performed by the adjustment unit 514B and the detail image on which the adjustment unit 514 performs at least one of the enhancement process and the suppression process, so that it is possible to selectively enhance and suppress each of the fine structures and the fine blood vessels in the image regardless of the observation distance.
- the endoscope system according to the fifth embodiment has a different configuration from the endoscope system 1A according to the second embodiment described above, and also performs different processing. Specifically, the endoscope system according to the fifth embodiment generates and synthesizes two detail images (detail components) for the mucosa and blood vessels, and then performs at least one of an enhancement process and a suppression process for each of the mucosa and blood vessels. Therefore, in the following, the configuration of the endoscope system according to the fifth embodiment will be described, and then the processing performed by the endoscope system will be described. Note that the same components as those of the endoscope system 1A according to the second embodiment described above will be denoted by the same reference numerals, and detailed description thereof will be omitted.
- FIG. 13 is a block diagram showing a functional configuration of an endoscope system according to embodiment 5.
- An endoscope system 1C shown in Fig. 13 includes a control device 5C instead of the control device 5A of the endoscope system 1A according to embodiment 2 described above.
- the control device 5C includes an image processing device 51C instead of the image processing device 51C according to embodiment 1 described above.
- the image processing device 51C includes an adjustment device 514C instead of the adjustment device 514 according to embodiment 2 described above.
- the adjustment unit 514C generates a first base component that restores the contrast of the image signal and a second base component that reduces the contrast of the bright light component divided by the division unit 512. Furthermore, the adjustment unit 514C generates a first detail component and a second detail component that are different from each other by combining the reflectance component divided by the division unit 512 with each of the first base component and the second base component. Furthermore, the adjustment unit 514C generates a third detail component by combining the first detail component and the second detail component with a predetermined coefficient, and generates a fourth detail component by performing at least one of an emphasis process and the suppression process on the third detail component.
- Fig. 14 is a flowchart showing an outline of the processing executed by the endoscope system 1C.
- Fig. 15 is a diagram for explaining a schematic outline of the processing executed by the endoscope system 1C.
- steps S401 to S405 are similar to steps S101 to S105 in Fig. 3 described above, and therefore detailed description thereof will be omitted.
- step S406 the adjustment unit 514C generates two illumination light components having different frequency bands based on the input image P IN1 .
- the adjustment unit 514C generates a base image P BaseSp and a first detail image P DetSp , which are two illumination light components having different frequency bands, based on the input image P IN1 .
- the adjustment unit 514C generates the base image P BaseSp by the following formulas (1) and (2).
- Base image P BaseSp G VP * I ... (1)
- the base image PBaseSp can be expressed by the following equation (2).
- Base image P BaseSp Wbi * I ... (2)
- Steps S408 and S409 are similar to steps S206 and S207 in FIG. 6 described above, so detailed explanations are omitted.
- step S410 the adjustment unit 514C executes a synthesis process to generate a synthetic image by synthesizing a detail image P DetVp , which is a reflectance component obtained by synthesizing the base image P BaseVp3 and the input image P IN1 , with the detail image P DetSp generated in step S406. Specifically, as shown in Fig. 14, the adjustment unit 514C synthesizes the detail image P DetSp with the detail image P DetSp generated in step S406 to generate a synthetic image P DetSpVp .
- the adjuster 514C performs at least one of an enhancement process for enhancing and a suppression process for suppressing the microstructure information related to the microstructure and the microvessel information related to the microvessels in the biological tissue on the composite image P DetSpVp (step S411).
- FIG. 17 is a diagram showing a schematic overview of the emphasis and suppression processes executed by the adjustment unit 514C.
- a straight line L1 shows the relationship between the input and output values of the local contrast value before adjustment
- a broken line L7 shows the relationship between the input and output values of the local contrast value after adjustment.
- the adjustment unit 514C performs an emphasis process on the signal values of pixels in the detail image P DetSpVp whose local contrast values are equal to or greater than a reference value, thereby moving the local contrast values away from the reference value, and generates a detail image P DetSpVp in which the determination unit 517 performs a suppression process on the signal values of pixels in the detail image P DetSpVp whose local contrast values are not equal to or greater than the reference value (pixels smaller than the reference value), thereby bringing the local contrast values closer to the reference value.
- step S412 the synthesis unit 515 executes a synthesis process to synthesize the detail image P DetSpVp generated by the adjustment unit 514C with the base image P BaseVp2 .
- the synthesis unit 515 synthesizes the detail image P DetSpVp and the base image P BaseVp2 .
- the synthesis unit 515 may synthesize the input image P IN1 instead of the base image P BaseVp2 .
- the display control unit 516 generates a display image based on the synthesis result generated by the synthesis unit 515, and outputs the display image to the display device 4 (step S412). Specifically, as shown in Fig. 15, the display control unit 516 generates a display image POUT3 based on the synthesis result generated by the synthesis unit 515, and outputs the display image POUT3 to the display device 4.
- Step S414 is the same process as step S110 in FIG. 3 described above, so a detailed explanation will be omitted.
- Various inventions can be formed by appropriately combining multiple components disclosed in the endoscope systems according to the above-mentioned embodiments 1 to 5 of the present disclosure. For example, some components may be deleted from all the components described in the endoscope systems according to the above-mentioned embodiments of the present disclosure. Furthermore, the components described in the endoscope systems according to the above-mentioned embodiments of the present disclosure may be appropriately combined.
- the systems are connected to each other by wires, but they may be connected wirelessly via a network.
- the functions of the image processing units 51, 51A, 51B, and 51C provided in the endoscope system such as the functional modules of the acquisition unit 511, division unit 512, extraction unit 513, adjustment units 514, 514A, 514B, and 514C, synthesis unit 515, display control unit 516, and determination unit 517, may be provided in a server connectable via a network or an image processing device capable of bidirectional communication with the endoscope system.
- each functional module may be provided in a server or image processing device.
- an observation mode corresponding to each of the first to fifth embodiments described above may be provided.
- the observation mode corresponding to each of the first to fifth embodiments described above may be switched to in response to an operation signal from the input unit 52 or an operation signal from the multiple switches 223. This allows the user to observe the mucosa and blood vessels of the biological tissue with the desired microstructures and microvessels selectively emphasized and suppressed.
- the "unit" described above can be read as a “means” or a “circuit.”
- a control unit can be read as a control means or a control circuit.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
観察距離に関わらず、画像内における微細構造および微細血管の各々を強調および抑制することができる画像処理装置、医療用システム、画像処理装置の作動方法およびプログラムを提供する。医療用装置は、プロセッサを備え、プロセッサは、生体組織からの戻り光を撮像することによって生成した画像信号を取得し、画像信号における局所コントラスト情報に基づいて、画像信号に対して、微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する。
Description
本開示は、画像処理装置、医療用システム、画像処理装置の作動方法およびプログラムに関する。
近年、内視鏡システムでは、被検体における微細な粘膜構造について着目して診断する「VS(Vessel Plus Surface) Classification」が知られている。この「VS Classification」では、粘膜表層にある微細血管構築像(Microvascular Pattern;V)および粘膜表層の表面微細構造(Microvascular Pattern;S)の各々を独立に診断するため、微細血管構築像および表面微細構造の両方を強調表示することが求められる。このため、特許文献1では、青紫色の狭帯域光を利用した特殊光観察で得られた画像に対して、周波数フィルタリング処理を適用することによって、腺管構造および微細血管の各々を抽出する技術が開示されている。
ところで、腺管構造および微細血管の各々に対応する周波数帯域は、観察距離によって異なる。このため、上述した特許文献1では、微細構造および微細血管の各々を適切に強調および抑制できないという問題点があった。
本開示は、上記に鑑みてなされたものであって、観察距離に関わらず、画像内における微細構造および微細血管の各々を適切に強調および抑制することができる画像処理装置、医療用システム、画像処理装置の作動方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、プロセッサを備える画像処理装置であって、前記プロセッサは、微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、前記生体組織からの戻り光を撮像することによって生成した画像信号を取得し、前記画像信号における局所コントラスト情報を抽出し、前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記画像信号に対応する入力画像を構成する画素毎に、局所コントラスト値を前記局所コントラスト情報として抽出し、前記画素毎に、前記局所コントラスト値が予め設定した少なくとも1つの基準値以上であるか否かを判定し、前記局所コントラスト値が前記基準値以上である画素の信号値に対して、前記強調処理および前記抑制処理の一方を行い、前記局所コントラスト値が前記基準値以上でない画素の信号値に対して、前記強調処理および前記抑制処理の他方を行って前記表示画像を生成する。
また、本開示に係る画像処理装置は、上記開示において、前記微細構造情報は、前記局所コントラスト値が前記基準値以上の大きい信号値の画素に対応する。
また、本開示に係る画像処理装置は、上記開示において、前記微細血管情報は、前記微細血管情報は、前記局所コントラスト値が前記基準値以上でない信号値の画素に対応する。
また、本開示に係る画像処理装置は、上記開示において、前記強調処理は、前記局所コントラスト値を前記基準値から遠ざける処理であり、前記プロセッサは、前記微細構造情報に対して、前記強調処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記抑制処理は、前記局所コントラスト値を前記基準値に近づける処理であり、前記プロセッサは、前記微細血管情報に対して、前記抑制処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記強調処理は、前記局所コントラスト値を前記基準値に近づける処理であり、前記プロセッサは、前記微細構造情報に対して、前記抑制処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記抑制処理は、前記局所コントラスト値を前記基準値から遠ざける処理であり、前記プロセッサは、前記微細血管情報に対して、前記強調処理を行う。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記画像信号に対応する入力画像における注目画素の信号値と、該注目画素における周辺画素の信号値と、の相対的な信号強度の比に基づいて、前記局所コントラスト情報を抽出する。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記画像信号を照明光成分と、反射率成分と、に分割し、前記反射率成分の信号振幅値を増加または減少させる。
また、本開示に係る画像処理装置は、上記開示において、前記画像信号を照明光成分と、反射率成分と、に分割し、前記照明光成分の信号振幅値を増加または減少させる。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記画像信号を照明光成分と、反射率成分と、に分割し、前記反射率成分の信号振幅値に対して、前記強調処理および前記抑制処理の少なくとも一方を行い、前記強調処理および前記抑制処理の少なくとも一方を行った前記反射率成分と、前記照明光成分と、を合成することによって前記表示画像を生成する。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記画像信号を照明光成分と、反射率成分と、に分割し、前記反射率成分に対して、前記強調処理および前記抑制処理の少なくとも一方を行い、前記照明光成分に対して、ゲイン調整するゲイン調整処理を行い、前記ゲイン調整処理を行った前記照明光成分と、前記強調処理および前記抑制処理の少なくとも一方を行った前記反射率成分と、を合成することによって前記表示画像を生成する。
また、本開示に係る画像処理装置は、上記開示において、前記プロセッサは、前記画像信号に基づいて、第1の照明光成分と、第1の反射率成分を生成し、前記第1の反射率成分と、前記画像信号と、を所定の係数で合成することによって第2の反射率成分を生成し、前記第2の反射率成分に対して、前記強調処理および前記抑制処理の少なくとも一方を行って第3の反射率成分を生成し、前記第3の反射率成分と、前記画像信号と、に基づいて、第4の反射率成分を生成し、前記第4の反射率成分と、前記第1の反射率成分と、を合成することによって前記表示画像を生成する。
また、本開示に係る医療用システムは、光源装置と、撮像装置と、医療用装置と、を備える医療用システムであって、前記光源装置は、微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射する光源を有し、前記撮像装置は、前記生体組織からの戻り光を撮像することによって画像信号を生成する撮像素子を有し、前記医療用装置は、プロセッサを有し、前記画像信号を取得し、前記画像信号における局所コントラスト情報を抽出し、前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する。
また、本開示に係る画像処理装置の作動方法は、プロセッサを備え画像処理装置の作動方法であって、前記プロセッサが、微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、前記生体組織からの戻り光を撮像することによって生成した画像信号を取得し、前記画像信号における局所コントラスト情報を抽出し、前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する。
また、本開示に係るプログラムは、プロセッサを備え、対象領域の洗浄状態に応じて駆動する医療用装置が実行するプログラムであって、前記プロセッサに、微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、前記生体組織からの戻り光を撮像することによって生成した画像信号を取得し、前記画像信号における局所コントラスト情報を抽出し、前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する、ことを実行させる。
本開示によれば、観察距離に関わらず、画像内における微細構造および微細血管の各々を選択的に強調および抑制することができるという効果を奏する。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る内視鏡システムの一例として、軟性内視鏡を備える内視鏡システムについて説明する。
(実施の形態1)
〔内視鏡システムの構成〕
図1は、実施の形態1に係る内視鏡システムの概略構成図である。図2は、実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。図1および図2に示す内視鏡システム1は、患者等の被検体の体内に挿入し、被検体の体内を撮像することによって生成した画像信号(画像データ)に基づく表示画像を表示する。医者等の使用者は、表示画像の観察を行うことによって出血部位、腫瘍部位および異常部位の有無を検査したり、サイズの測定を行ったりする。なお、実施の形態1では、内視鏡システム1として、図1に示す軟性鏡を用いた内視鏡システムについて説明するが、これに限定されることなく、例えば硬性の内視鏡を備えた医療用システムであってもよい。さらに、内視鏡システム1として、内視鏡によって撮像された画像信号(画像データ)に基づく表示画像を表示装置に表示させながら手術や処置等を行う医療用顕微鏡または医療用手術ロボットシステム等のものであっても適用することができる。
〔内視鏡システムの構成〕
図1は、実施の形態1に係る内視鏡システムの概略構成図である。図2は、実施の形態1に係る内視鏡システムの要部の機能構成を示すブロック図である。図1および図2に示す内視鏡システム1は、患者等の被検体の体内に挿入し、被検体の体内を撮像することによって生成した画像信号(画像データ)に基づく表示画像を表示する。医者等の使用者は、表示画像の観察を行うことによって出血部位、腫瘍部位および異常部位の有無を検査したり、サイズの測定を行ったりする。なお、実施の形態1では、内視鏡システム1として、図1に示す軟性鏡を用いた内視鏡システムについて説明するが、これに限定されることなく、例えば硬性の内視鏡を備えた医療用システムであってもよい。さらに、内視鏡システム1として、内視鏡によって撮像された画像信号(画像データ)に基づく表示画像を表示装置に表示させながら手術や処置等を行う医療用顕微鏡または医療用手術ロボットシステム等のものであっても適用することができる。
図1に示す内視鏡システム1は、内視鏡装置2と、光源装置3と、表示装置4と、制御装置5と、を備える。
〔内視鏡装置の構成〕
まず、内視鏡装置2の構成について説明する。
内視鏡装置2は、被検体に挿入され、被検体の体内を撮像することによって画像信号(RAWデータ)を生成し、この生成した画像信号を制御装置5へ出力する。内視鏡装置2は、挿入部21と、操作部22と、ユニバーサルコード23と、を備える。
まず、内視鏡装置2の構成について説明する。
内視鏡装置2は、被検体に挿入され、被検体の体内を撮像することによって画像信号(RAWデータ)を生成し、この生成した画像信号を制御装置5へ出力する。内視鏡装置2は、挿入部21と、操作部22と、ユニバーサルコード23と、を備える。
挿入部21は、可撓性を有する細長形状をなす。挿入部21は、後述する撮像部244を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
先端部24は、グラスファイバ等を用いて構成される。先端部24は、光源装置3から供給された光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、被検体からの反射光および戻り光の少なくとも1つを集光する光学系243と、光学系243の結像位置に配置されている撮像部244と、を有する。
照明レンズ242は、1または複数のレンズを用いて構成され、ライトガイド241から供給された光を外部に出射する。
光学系243は、1または複数のレンズを用いて構成され、被検体からの戻り光および被検体において反射された反射光を集光して被写体像を撮像部244の撮像面に結像する。なお、光学系243は、図示しないアクチュエータの駆動のもと、光軸L1に沿って移動することによって焦点位置(ピント位置)を変化可能な構造であってもよい。もちろん、光学系243は、複数のレンズが光軸L1に沿って移動することによって焦点距離を変更可能なズームレンズ群を有してもよい。
撮像部244は、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて構成され、所定のフレームレートで撮像することによって画像信号(RAWデータ)を生成し、この画像信号を制御装置5へ出力する。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、光源装置3、制御装置5に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や撮像部244に静止画撮影を指示するプリフリーズ信号の入力を受け付ける複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、1または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡装置2および光源装置3と制御装置5との間で信号を送受信する信号線であって、設定データを送受信するための信号線(信号データ)、画像信号(画像データ)を送受信するための信号線、撮像部244を駆動するための駆動用のクロック信号を送受信するための信号線等を含む。ユニバーサルコード23は、光源装置3に着脱自在なコネクタ部27を有する。コネクタ部27は、コイル状のコイルケーブル27aが延設し、コイルケーブル27aの延出端に制御装置5に着脱自在なコネクタ部28を有する。
〔光源装置の構成〕
次に、光源装置3の構成について説明する。
光源装置3は、内視鏡装置2の先端部24から被検体を照射するための照明光を供給する。光源装置3は、光源部31と、光源ドライバ32と、照明制御部33と、を備える。
次に、光源装置3の構成について説明する。
光源装置3は、内視鏡装置2の先端部24から被検体を照射するための照明光を供給する。光源装置3は、光源部31と、光源ドライバ32と、照明制御部33と、を備える。
光源部31は、赤色の波長帯域の光と、緑色の波長帯域の光と、青色の波長帯域の光と、を含む白色光、および特殊光の少なくとも一方を被検体へ照射する。光源部31は、集光レンズ311と、第1の光源312と、第2の光源313と、第3の光源314と、第4の光源315と、第5の光源316と、を有する。
集光レンズ311は、1または複数のレンズを用いて構成される。集光レンズ311は、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316の各々が発光した光を集光してライトガイド241へ出射する。
第1の光源312は、赤色LED(Light Emitting Diode)ランプを用いて構成される。第1の光源312は、光源ドライバ32から供給される電流に基づいて、赤色の波長帯域(610nm~750nm)の光(以下、単に「R光」という)を出射する。
第2の光源313は、緑色LEDランプを用いて構成される。第2の光源313は、光源ドライバ32から供給される電流に基づいて、緑色の波長帯域(500nm~560nm)の光(以下、単に「G光」という)を出射する。
第3の光源314は、青色LEDランプを用いて構成される。第3の光源314は、光源ドライバ32から供給される電流に基づいて、青色の波長帯域(435nm~480nm)の光(以下、単に「B光」という)を出射する。
第4の光源315は、紫色LEDランプを用いて構成される。第4の光源315は、光源ドライバ32から供給される電流に基づいて、青紫色の波長帯域(例えば400nm~435nm)の狭帯域光(以下、単に「V光」という)を出射する。
第5の光源316は、緑色LEDランプおよび所定の波長帯域を透過させる透過フィルタを用いて構成される。第5の光源316は、光源ドライバ32から供給される電流に基づいて、所定の波長帯域の狭帯域光(530nm~550nm)(以下、単に「NG光」という)を出射する。
光源ドライバ32は、照明制御部33の制御のもと、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316に対して、電流を供給することによって、内視鏡システム1に設定された観察モードに応じた光を出射させる。具体的には、光源ドライバ32は、照明制御部33の制御のもと、内視鏡システム1に設定された観察モードが通常観察モードである場合、第1の光源312、第2の光源313および第3の光源314を発光させることによって白色光(以下、単に「W光」という)を出射させる。また、光源ドライバ32は、照明制御部33の制御のもと、内視鏡システム1に設定された観察モードが特殊光観察モードである場合、第4の光源315および第5の光源316を発光させることによって狭帯域光観察(NBI:Narrow band Imaging)が可能な特殊光(以下、単に「S光」という)を出射させる。
照明制御部33は、制御装置5から受信した指示信号に基づいて、光源装置3の点灯タイミングを制御する。具体的には、照明制御部33は、所定の周期で第1の光源312、第2の光源313および第3の光源314に出射させる。照明制御部33は、CPU(Central Processing Unit)等を用いて構成される。また、照明制御部33は、内視鏡システム1の観察モードが通常観察モードである場合、光源ドライバ32を制御することによって、第1の光源312、第2の光源313および第3の光源314を発光させてW光を出射させる。また、照明制御部33は、内視鏡システム1の観察モードが特殊光観察モードである場合、光源ドライバ32を制御することによって、第4の光源315および第5の光源316を組み合わせることによってS光を出射させる。なお、照明制御部33は、内視鏡システム1の観察モードに応じて、光源ドライバ32を制御することによって、第1の光源312、第2の光源313、第3の光源314、第4の光源315および第5の光源316のいずれか2つ以上を組み合わせで出射させてもよい。
〔表示装置の構成〕
次に、表示装置4の構成について説明する。
表示装置4は、制御装置5から受信した内視鏡装置2によって生成された画像データに基づく表示画像を表示する。表示装置4は、内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
次に、表示装置4の構成について説明する。
表示装置4は、制御装置5から受信した内視鏡装置2によって生成された画像データに基づく表示画像を表示する。表示装置4は、内視鏡システム1に関する各種情報を表示する。表示装置4は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
〔制御装置の構成〕
次に、制御装置5の構成について説明する。
制御装置5は、内視鏡装置2が生成した画像データを受信し、この受信した画像データに対して所定の画像処理を施して表示装置4へ出力する。また、制御装置5は、内視鏡システム1全体の動作を統括的に制御する。制御装置5は、画像処理部51と、入力部52と、記録部53と、制御部54と、を備える。
次に、制御装置5の構成について説明する。
制御装置5は、内視鏡装置2が生成した画像データを受信し、この受信した画像データに対して所定の画像処理を施して表示装置4へ出力する。また、制御装置5は、内視鏡システム1全体の動作を統括的に制御する。制御装置5は、画像処理部51と、入力部52と、記録部53と、制御部54と、を備える。
画像処理部51は、制御部54の制御のもと、内視鏡装置2が生成した画像信号を取得し、この取得した画像信号に対して所定の画像処理を施して表示装置4へ出力する。画像処理部51は、メモリと、GPU(Graphics Processing Unit)、DSP(Digital Signal Processing)またはFPGA(Field Programmable Gate Array)等のハードウェアを有するプロセッサを用いて構成される。画像処理部51は、取得部511と、分割部512と、抽出部513と、調整部514と、合成部515と、表示制御部516と、を有する。
取得部511は、内視鏡装置2の撮像部244から画像信号(RAWデータ)を取得する。具体的には、取得部511は、撮像部244が微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、この生体組織からの戻り光を撮像することによって生成した画像信号を取得する。
分割部512は、取得部511が取得した画像信号に対応する入力画像に対して、照明光成分と反射率成分とに分割する。具体的には、分割部512は、画像信号に対応する入力画像に対して、低周波成分である照明光成分であるベース画像と、反射率成分であるディティール画像と、に分割する。
抽出部513は、取得部511が取得した画像信号における局所コントラスト情報を抽出する。具体的には、抽出部513は、分割部512が分割したディティール画像を反射率成分の局所コントラスト情報として抽出する。
調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、取得部511が取得した画像信号に対して、生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行う。
合成部515は、分割部512が分割したベース画像である照明光成分であって、階調圧縮した照明光成分と、調整部514が強調処理を行ったディティール画像である反射率成分と、を合成する。
表示制御部516は、合成部515が合成した合成結果に基づく表示画像を生成して表示装置4へ出力する。
入力部52は、内視鏡システム1の動作を指示する指示信号および内視鏡システム1の観察モードを指示する指示信号の入力を受け付け、この受け付けた指示信号を制御部54へ出力する。入力部52は、スイッチ、ボタンおよびタッチパネル等を用いて構成される。
記録部53は、内視鏡システム1が実行する各種プログラム、内視鏡システム1が実行中のデータおよび内視鏡装置2が生成した画像データを記録する。記録部53は、揮発性メモリ、不揮発性メモリおよびメモリカード等を用いて構成される。記録部53は、内視鏡システム1が実行する各種プログラムを記録するプログラム記録部531を有する。
制御部54は、メモリと、少なくともFPGAまたはCPU等の1つ以上のハードウェアからなるプロセッサを有する。制御部54は、内視鏡システム1を構成する各部を制御する。
〔内視鏡システムの処理〕
次に、内視鏡システム1が実行する処理について説明する。図3は、内視鏡システム1が実行する処理の概要を示すフローチャートである。図4は、内視鏡システムが実行する処理の概要を模式的に説明する図である。
次に、内視鏡システム1が実行する処理について説明する。図3は、内視鏡システム1が実行する処理の概要を示すフローチャートである。図4は、内視鏡システムが実行する処理の概要を模式的に説明する図である。
図3に示すように、まず、制御部54は、照明制御部33を制御し、光源装置3の第4の光源315および第5の光源316を発光させて、生体組織に向けて、青紫色および緑色の狭帯域光を照射させる(ステップS101)。
続いて、制御部54は、撮像部244に生体組織からの戻り光を撮像させ(ステップS102)、撮像部244に画像信号を生成させる(ステップS103)。
その後、取得部511は、内視鏡装置2の撮像部244から画像信号(RAWデータ)を取得する(ステップS104)。
続いて、分割部512は、取得部511が取得した画像信号に対応する入力画像に対して、照明光成分と反射率成分とに分割する(ステップS105)。具体的には、図4に示すように、分割部512は、画像信号に対応する入力画像PIN1に対して、低周波成分である照明光成分であるベース画像PB1と、反射率成分であるディティール画像PD1と、に分割する。この場合、分割部512は、入力画像PIN1に対して、例えば周知のバイラテラルフィルタ(Bilateral Filter)を施すことによって低周波成分である照明光成分であるベース画像PB1を入力画像PIN1から分割する。この場合、分割部512は、ベース画像PB1に対して階調圧縮を行って出力する。また、分割部512は、入力画像PIN1に対して、Retinexモデルに従って、入力画像PIN1から反射率成分であるディティール画像PD1を分割する。例えば、分割部512は、Retinexモデルにおける周知のSSR(Single-Scale Retinex)モデルに従って、入力画像PIN1から反射率成分であるディティール画像PD1を分割する。ここで、SSRとは、注目画素と、この注目画素の周辺画素に対してガウシアンフィルタ(Gaussian Filter)で平滑化することによって照明光成分を推定し、注目画素の入力画素値と推定された照明光成分との比から反射率成分を求めるものである。なお、バイラテラルフィルタおよびSSRは、周知の技術のため、詳細な説明を省略する。
続いて、抽出部513は、分割部512が分割したディティール画像を反射率成分の局所コントラスト情報として抽出する(ステップS106)。具体的には、抽出部513は、ベース画像PB1と、入力画像PIN1と、の差を、つまりディティール画像を局所コントラスト情報として抽出する。この場合、抽出部513は、ベース画像PB1および入力画像PIN1の各々の注目画素の信号値と、この注目画素における複数の周辺画素の各々の信号値と、に基づいて、相対的な信号強度の比であるコントラスト値を画素毎にコントラスト情報として抽出することによって局所コントラスト情報を抽出する。
その後、調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、取得部511が取得した画像信号に対して、生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の各々を強調する強調処理を行う(ステップS107)。この場合、調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、取得部511が取得した画像信号に対して、ディティール成分を強調する強調処理を行う。具体的には、図4に示すように、調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、分割部512が分割したディティール画像に対して、ディティール成分を強調する強調処理を行ってディティール画像PD2を生成する。即ち、調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、分割部512が分割した反射率成分の信号振幅値を増加させる強調処理を行う。
その後、合成部515は、分割部512が分割したベース画像である照明光成分であって、階調圧縮した照明光成分と、調整部514が強調処理を行ったディティール画像である反射率成分と、を合成する(ステップS108)。具体的には、図4に示すように、合成部515は、ベース画像PB1と、ディティール画像PD2と、を合成する。
続いて、表示制御部516は、合成部515が合成した合成結果に基づく表示画像を生成して表示装置4へ出力する(ステップS109)。具体的には、図4に示すように、表示制御部516は、合成部515が生成した合成結果に基づく表示画像POUT1を生成し、この表示画像POUT1を表示装置4へ出力する。これにより、ユーザは、表示画像の特徴量の選択的な強調により診断精度を向上させることができる。
続いて、制御部54は、入力部52から被検体の観察の終了を指示する指示信号が入力されたか否かを判断する(ステップS110)。制御部54によって入力部52から被検体の観察の終了を指示する指示信号が入力されたと判断された場合(ステップS110:Yes)、内視鏡システム1は、本処理を終了する。これに対して、制御部54によって入力部52から被検体の観察の終了を指示する指示信号が入力されていないと判断された場合(ステップS110:No)、内視鏡システム1は、上述したステップS101へ戻る。
以上説明した実施の形態1によれば、合成部515が分割部512によって分割されたベース画像である照明成分と、調整部514によって強調処理方が行われたディティール画像である反射率成分と、を合成し、表示制御部516が合成部515によって合成された合成結果に基づく表示画像を生成して表示装置4へ出力する。この結果、内視鏡装置2の先端部24と生体組織との観察距離に関わらず、画像内における微細構造および微細血管の各々を適切に強調および抑制することができる。これにより、ユーザは、表示画像における生体組織の粘膜および血管の各々が強調されるため、所望する領域(関心領域)を容易に着目することができる。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。具体的には、実施の形態2では、画素毎の局所コントラスト情報に基づいて、強調処理および抑制処理の少なくとも一方を行う。このため、以下においては、実施の形態2に係る内視鏡システムの機能構成を説明後、実施の形態2に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態2について説明する。実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1と構成が異なるうえ、実行する処理が異なる。具体的には、実施の形態2では、画素毎の局所コントラスト情報に基づいて、強調処理および抑制処理の少なくとも一方を行う。このため、以下においては、実施の形態2に係る内視鏡システムの機能構成を説明後、実施の形態2に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
〔内視鏡システムの機能構成〕
図5は、実施の形態2に係る内視鏡システムの機能構成を示すブロック図である。図5に示す内視鏡システム1Aは、上述した実施の形態1に係る内視鏡システム1の制御装置5に代えて、制御装置5Aを備える。制御装置5Aは、上述した実施の形態1に係る画像処理部51に代えて、画像処理部51Aを備える。
図5は、実施の形態2に係る内視鏡システムの機能構成を示すブロック図である。図5に示す内視鏡システム1Aは、上述した実施の形態1に係る内視鏡システム1の制御装置5に代えて、制御装置5Aを備える。制御装置5Aは、上述した実施の形態1に係る画像処理部51に代えて、画像処理部51Aを備える。
画像処理部51Aは、上述した実施の形態1に係る画像処理部51の構成に加えて、判定部517をさらに備える。
判定部517は、抽出部513が抽出した局所コントラスト情報に基づいて、画素毎に局所コントラスト値が予め設定した所定の基準値以上であるか否かを判定し、微細構造情報および微細血管情報を抽出する。
〔内視鏡システムの処理〕
次に、内視鏡システム1Aが実行する処理について説明する。図6は、内視鏡システム1Aが実行する処理の概要を示すフローチャートである。図6において、ステップS201~ステップS206は、上述した図3のステップS101~ステップS106と同様の処理のため、詳細な説明を省略する。
次に、内視鏡システム1Aが実行する処理について説明する。図6は、内視鏡システム1Aが実行する処理の概要を示すフローチャートである。図6において、ステップS201~ステップS206は、上述した図3のステップS101~ステップS106と同様の処理のため、詳細な説明を省略する。
ステップS207において、判定部517は、抽出部513が抽出した局所コントラスト情報に基づいて、画素毎に局所コントラスト値が予め設定した所定の基準値以上であるか否かを判定し、微細構造情報および微細血管情報を抽出する。なお、実施の形態2では、判定部517は、1つの基準値を用いて判定しているが、これに限定されることなく、微細構造情報および微細血管情報の各々を抽出するための2つの基準値を別途設けてもよい。
続いて、調整部514は、取得部511が取得した画像信号と、抽出部513が抽出した局所コントラスト情報と、判定部517の判定結果と、に基づいて、生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理の少なくとも一方を行う(ステップS208)。具体的には、調整部514は、取得部511が取得した画像信号と、抽出部513が抽出した局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行い、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行う。
図7は、調整部514が実行する強調処理および抑制処理の概要を模式的に示す図である。図7において、直線L1は、調整前の局所コントラスト値の入力値と出力値との関係を示し、直線L2は、局所コントラスト値が基準値以上である場合における調整後の局所コントラスト値の入力値と出力値との関係を示し、直線L3は、局所コントラスト値が基準値以上でない場合における調整後の局所コントラスト値の入力値と出力値との関係を示す。
図7の直線L1およびL2に示すように、調整部514は、取得部511が取得した画像信号と、抽出部513が抽出した局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上の画素の信号値(輝度値)に対して、局所コントラスト値を基準値から遠ざかる強調処理を行う。即ち、調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、分割部512が分割した反射率成分の信号振幅値を増加させる強調処理を行う。
これに対して、図7の直線L1および直線L3に示すように、調整部514は、取得部511が取得した画像信号と、抽出部513が抽出した局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上でない画素の信号値(輝度値)に対して、局所コントラスト値を基準値に近づける抑制処理を行う。即ち、調整部514は、抽出部513が抽出した局所コントラスト情報に基づいて、照明光成分の信号振幅値を減少させる抑制処理を行う。
このように、調整部514は、生体組織における微細構造を強調することができ、かつ、生体組織にける微細血管を抑制することができる。
ステップS209~ステップS211は、上述した図3のステップS108~ステップS111と同様の処理のため、詳細な説明を省略する。
以上説明した実施の形態2によれば、調整部514が、取得部511によって取得された画像信号と、抽出部513によって抽出された局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行う。さらに、調整部514が、取得部511によって取得された画像信号と、抽出部513によって抽出された局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行う。この結果、内視鏡装置2の先端部24と生体組織との観察距離に関わらず、画像内における微細構造である粘膜および微細血管の各々を選択的に強調および抑制することができる。
また、実施の形態2によれば、調整部514が、取得部511によって取得された画像信号と、抽出部513によって抽出された局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行う。さらに、調整部514が、取得部511によって取得された画像信号と、抽出部513によって抽出された局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行う。これにより、ユーザは、微細構造である粘膜の白飛びが防止されるので、粘膜の微細構造を容易に観察することができる。
なお、実施の形態2によれば、調整部514が抽出部513によって抽出された局所コントラスト情報に基づいて、抽出部513が抽出した局所コントラスト情報に基づいて、照明光成分の信号振幅値を減少させる抑制処理を行っていたが、これに限定されることなく、例えば抽出部513が抽出した局所コントラスト情報に基づいて、照明光成分の信号振幅値を増加させる強調処理を行ってもよい。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと同一の構成を有し、調整部514が行う強調処理および抑制処理の各々の内容が異なる。このため、以下においては、調整部514が行う強調処理および抑制処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態3について説明する。実施の形態3に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと同一の構成を有し、調整部514が行う強調処理および抑制処理の各々の内容が異なる。このため、以下においては、調整部514が行う強調処理および抑制処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
図8は、実施の形態3に係る調整部514が実行する強調処理および抑制処理の概要を模式的に示す図である。図8において、直線L1は、調整前の局所コントラスト値の入力値と出力値との関係を示し、直線L4は、局所コントラスト値が基準値以上でない場合における調整後の局所コントラスト値の入力値と出力値との関係を示す。
図8の直線L1およびL4に示すように、調整部514は、分割部512が分割したディティール画像PD1と、抽出部513が抽出したディティール画像PD1の局所コントラスト情報と、に基づいて、生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の各々を強調する強調処理および抑制する抑制処理の少なくとも一方を行う。
具体的には、図8に示すように、調整部514は、分割部512が分割したディティール画像PD1と、抽出部513が抽出したディティール画像PD1の局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行い、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、抑制処理を行う。
例えば、調整部514は、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、緩やかに傾斜するよう非線形で基準値から遠ざかる抑制処理を行い、かつ、ある一定の信号値では線形で出力されるように抑制処理を行う。これにより、ユーザは、粘膜と比して血管が強調されるため、血管の構造に基づく診断精度を向上させることができる。
以上説明した実施の形態3によれば、調整部514が、取得部511によって取得された画像信号と、抽出部513によって抽出された局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行う。さらに、調整部514が、取得部511によって取得された画像信号と、抽出部513によって抽出された局所コントラスト情報と、に基づいて、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行う。この結果、内視鏡装置2の先端部24と生体組織との観察距離に関わらず、画像内における微細構造である粘膜および微細血管の各々を選択的に強調および抑制することができる。
(実施の形態4)
次に、実施の形態4について説明する。実施の形態4に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aの構成と異なり、実行する処理が異なる。具体的には、上述した実施の形態2に係る内視鏡システム1Aは、ベース画像をそのまま用いて強調処理および抑制処理の少なくとも一方を行ったディティール画像に合成していたが、実施の形態4に係る内視鏡システムでは、ベース画像に所定の画像処理を行ってからディティール画像に合成する。このため、以下においては、実施の形態4に係る内視鏡システムの構成を説明後、内視鏡システムが実行する処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態4について説明する。実施の形態4に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aの構成と異なり、実行する処理が異なる。具体的には、上述した実施の形態2に係る内視鏡システム1Aは、ベース画像をそのまま用いて強調処理および抑制処理の少なくとも一方を行ったディティール画像に合成していたが、実施の形態4に係る内視鏡システムでは、ベース画像に所定の画像処理を行ってからディティール画像に合成する。このため、以下においては、実施の形態4に係る内視鏡システムの構成を説明後、内視鏡システムが実行する処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
〔内視鏡システムの機能構成〕
図9は、実施の形態4に係る内視鏡システムの機能構成を示すブロック図である。図9に示す内視鏡システム1Bは、上述した実施の形態2に係る内視鏡システム1Aの制御装置5Aに代えて、制御装置5Bを備える。制御装置5Bは、上述した実施の形態2に係る画像処理部51Aに代えて、画像処理部51Bを備える。画像処理部51Bは、上述した実施の形態2に係る調整部514に代えて、調整部514Bを有する。
図9は、実施の形態4に係る内視鏡システムの機能構成を示すブロック図である。図9に示す内視鏡システム1Bは、上述した実施の形態2に係る内視鏡システム1Aの制御装置5Aに代えて、制御装置5Bを備える。制御装置5Bは、上述した実施の形態2に係る画像処理部51Aに代えて、画像処理部51Bを備える。画像処理部51Bは、上述した実施の形態2に係る調整部514に代えて、調整部514Bを有する。
調整部514Bは、取得部511が取得した画像信号と、抽出部513が抽出した局所コントラスト情報と、に基づいて、生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の各々を強調する強調処理および抑制する抑制処理の少なくとも一方を行う。また、調整部514Bは、分割部512が分割した照明光成分であるベース画像に対して、ゲイン調整するゲイン調整処理を行う。
〔内視鏡システムの処理〕
図10は、内視鏡システム1Bが実行する処理の概要を示すフローチャートである。図11は、内視鏡システム1Bが実行する処理の概要を模式的に説明する図である。図10において、ステップS301~ステップS305は、上述した図3のステップS101~ステップS105と同様の処理のため、詳細な説明を省略する。
図10は、内視鏡システム1Bが実行する処理の概要を示すフローチャートである。図11は、内視鏡システム1Bが実行する処理の概要を模式的に説明する図である。図10において、ステップS301~ステップS305は、上述した図3のステップS101~ステップS105と同様の処理のため、詳細な説明を省略する。
ステップS306において、調整部514Bは、分割部512が分割した照明光成分であるベース画像PB1に対して、ゲイン調整するゲイン調整処理を行う。具体的には、図11に示すように、調整部514Bは、ベース画像PB1に対して、ゲインを下げるゲイン調整処理を行ってベース画像PB2を生成する。例えば、調整部514Bは、ベース画像PB1を構成する各画素の信号値に対して、0.8を乗じることによってベース画像PB2を生成する。即ち、調整部514Bは、照明光成分の信号振幅値を減少させる抑制処理を行う。
ステップS307およびステップS308は、上述した図6のステップS206およびステップS207と同様の処理のため、詳細な説明を省略する。
ステップS309において、調整部514Bは、図11に示すように、ディティール画像PD1に対して、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行い、判定部517によって局所コントラスト値が基準値以上でない画素の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行ってディティール画像PD2を生成する。ステップS309の後、内視鏡システム1Bは、ステップS310へ移行する。
図12は、調整部514Bが実行する強調処理および抑制処理の概要を模式的に示す図である。図10において、直線L1は、調整前の局所コントラスト値の入力値と出力値との関係を示し、折れ線L5は、調整後の局所コントラスト値の入力値と出力値との関係を示す。
図12の直線L1および折れ線L5に示すように、調整部514Bは、ディティール画像PD1に対して、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざけつつ、局所コントラスト値が基準値より所定値より大きな値以上の画素の信号値に対して、上述した実施の形態2の強調よりも強い強調を行ってハーレーションを抑制する強調処理を行う。さらに、調整部514Bは、判定部517によって局所コントラスト値が基準値以上でない画素(基準値より小さい画素)であって、基準値の付近における信号値に対して、緩やかに傾斜するよう非線形で基準値から遠ざかる抑制処理を行ってディティール画像PD2を生成する。この場合、図12の折れ線L5に示すように、調整部514Bは、信号値に乗じる係数の傾きが基準値以上となるように信号値を強調する強調処理および抑制処理を行う。これにより、調整部514は、生体組織における微細構造を強調することができ、かつ、生体組織にける微細血管を抑制することができる。
続いて、合成部515は、調整部514Bがゲイン調整処理を行ったベース画像と、調整部514が強調処理および抑制処理の少なくとも一方を行ったディティール画像と、を合成する(ステップS310)。具体的には、図11に示すように、合成部515は、ベース画像PB2と、ディティール画像PD2と、を合成する。
その後、表示制御部516は、合成部515が合成した合成結果に基づく表示画像を生成して表示装置4へ出力する(ステップS311)。具体的には、図11に示すように、表示制御部516は、合成部515が生成した合成結果に基づく表示画像POUT2を生成し、この表示画像POUT2を表示装置4へ出力する。
ステップS312は、上述した図3のステップS110と同様の処理のため、詳細な説明を省略する。
以上説明した実施の形態4によれば、調整部514Bが、分割部512によって分割された照明光成分であるベース画像PB1に対して、ゲイン調整するゲイン調整処理を行う。さらに、調整部514Bは、分割部512によって分割された反射率成分であるディティール画像に対して、判定部517によって局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行い、判定部517によって局所コントラスト値が基準値以上でない画素の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行って強調処理および抑制処理を行ったディティール画像を生成する。その後、合成部515は、調整部514Bがゲイン調整処理を行ったベース画像と、調整部514が強調処理および抑制処理の少なくとも一方を行ったディティール画像と、を合成するため、観察距離に関わらず、画像内における微細構造および微細血管の各々を選択的に強調および抑制することができる。
(実施の形態5)
次に、実施の形態5について説明する。実施の形態5に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと構成が異なるうえ、実行する処理が異なる。具体的には、実施の形態5に係る内視鏡システムは、粘膜および血管用の各々の2つのディティール画像(ディティール成分)を生成して合成後、粘膜および血管の各々を強調処理および抑制処理の少なくとも一方を行う。このため、以下においては、実施の形態5に係る内視鏡システムの構成を説明後、内視鏡システムが実行する処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態5について説明する。実施の形態5に係る内視鏡システムは、上述した実施の形態2に係る内視鏡システム1Aと構成が異なるうえ、実行する処理が異なる。具体的には、実施の形態5に係る内視鏡システムは、粘膜および血管用の各々の2つのディティール画像(ディティール成分)を生成して合成後、粘膜および血管の各々を強調処理および抑制処理の少なくとも一方を行う。このため、以下においては、実施の形態5に係る内視鏡システムの構成を説明後、内視鏡システムが実行する処理について説明する。なお、上述した実施の形態2に係る内視鏡システム1Aと同一の構成には同一の符号を付して詳細な説明を省略する。
〔内視鏡システムの機能構成〕
図13は、実施の形態5に係る内視鏡システムの機能構成を示すブロック図である。図13に示す内視鏡システム1Cは、上述した実施の形態2に係る内視鏡システム1Aの制御装置5Aに代えて、制御装置5Cを備える。制御装置5Cは、上述した実施の形態1に係る画像処理部51Cに代えて、画像処理部51Cを備える。画像処理部51Cは、上述した実施の形態2に係る調整部514に代えて、調整部514Cを有する。
図13は、実施の形態5に係る内視鏡システムの機能構成を示すブロック図である。図13に示す内視鏡システム1Cは、上述した実施の形態2に係る内視鏡システム1Aの制御装置5Aに代えて、制御装置5Cを備える。制御装置5Cは、上述した実施の形態1に係る画像処理部51Cに代えて、画像処理部51Cを備える。画像処理部51Cは、上述した実施の形態2に係る調整部514に代えて、調整部514Cを有する。
調整部514Cは、分割部512が分割した明光成分に対して、画像信号のコントラストに戻した第1のベース成分と、コントラストを低下させた第2のベース成分と、を生成する。さらに、調整部514Cは、第1のベース成分および第2のベース成分の各々に、分割部512が分割した反射率成分を合成することによって互いに異なる第1のディティール成分および第2のディティール成分を生成する。さらにまた、調整部514Cは、第1のディティール成分と、第2のディティール成分と、所定の係数で合成することによって第3のディティール成分を生成し、この第3のディティール成分に対して、強調処理および前記抑制処理の少なくとも一方を行って第4のディティール成分を生成する。
〔内視鏡システムの処理〕
次に、内視鏡システム1Cが実行する処理について説明する。図14は、内視鏡システム1Cが実行する処理の概要を示すフローチャートである。図15は、内視鏡システム1Cが実行する処理の概要を模式的に説明する図である。図14において、ステップS401~ステップS405は、上述した図3のステップS101~ステップS105と同様の処理のため、詳細な説明を省略する。
次に、内視鏡システム1Cが実行する処理について説明する。図14は、内視鏡システム1Cが実行する処理の概要を示すフローチャートである。図15は、内視鏡システム1Cが実行する処理の概要を模式的に説明する図である。図14において、ステップS401~ステップS405は、上述した図3のステップS101~ステップS105と同様の処理のため、詳細な説明を省略する。
ステップS406において、調整部514Cは、入力画像PIN1に基づいて、互いに周波数帯域の異なる2つの照明光成分を生成する。具体的には、図15に示すように、調整部514Cは、入力画像PIN1に基づいて、互いに周波数帯域の異なる2つの照明光成分であるベース画像PBaseSpと、第1のディティール画像PDetSpと、を生成する。この場合、調整部514Cは、入力画像PIN1の成分をI、ガウシアンをG、分散をσVP<σSpとした場合、以下の式(1),(2)によって、ベース画像PBaseSpを生成する。
ベース画像PBaseSp=GVP*I ・・・(1)
ここで、バイラテラルフィルタ(Bilateral Filter)の重みをWbiとした場合、ベース画像PBaseSpは、以下の式(2)によって表すことができる。
ベース画像PBaseSp=Wbi*I ・・・(2)
ベース画像PBaseSp=GVP*I ・・・(1)
ここで、バイラテラルフィルタ(Bilateral Filter)の重みをWbiとした場合、ベース画像PBaseSpは、以下の式(2)によって表すことができる。
ベース画像PBaseSp=Wbi*I ・・・(2)
続いて、調整部514Cは、入力画像PIN1と、ベース画像PBaseSpと、を所定の係数で合成することによって第2のディティール画像を生成するαブレンド処理を実行する(ステップS407)。具体的には、図15および図16の折れ線L6に示すように、調整部514Cは、ベース画像PBaseSpおよび入力画像PIN1の各々を用いてαブレンド(Alpha Blending)を行って照明光成分であるベース画像PBaseVp2を生成する。具体的には、調整部514は、以下の式(3)によってベース画像PBaseVp2を生成する。
PBaseVp2=α*PIN1+(1-α)*PBaseSp ・・・(3)
αは、一定の比率で混合することができる。
PBaseVp2=α*PIN1+(1-α)*PBaseSp ・・・(3)
αは、一定の比率で混合することができる。
ステップS408およびステップS409は、上述した図6のステップS206およびステップS207と同様の処理のため、詳細な説明を省略する。
ステップS410において、調整部514Cは、ベース画像PBaseVp3と、入力画像PIN1とを合成した反射率成分であるディティール画像PDetVpと、ステップS406において生成したディティール画像PDetSpと、を合成して合成画像を生成する合成処理を実行する。具体的には、図14に示すように、調整部514Cは、ディティール画像PDetSpと、ステップS406において生成したディティール画像PDetSpと、を合成して合成画像PDetSpVpを生成する。
続いて、調整部514Cは、合成画像PDetSpVpに対して、生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の各々を強調する強調処理および抑制する抑制処理の少なくとも一方を行う(ステップS411)。
図17は、調整部514Cが実行する強調処理および抑制処理の概要を模式的に示す図である。図17において、直線L1は、調整前の局所コントラスト値の入力値と出力値との関係を示し、折れ線L7は、調整後の局所コントラスト値の入力値と出力値との関係を示す。
図17の折れ線L7に示すように、調整部514Cは、抽出部513が抽出した局所コントラスト情報と、に基づいて、判定部517によってディティール画像PDetSpVpの局所コントラスト値が基準値以上の画素の信号値に対して、局所コントラスト値を基準値から遠ざかる強調処理を行い、判定部517によってディティール画像PDetSpVpの局所コントラスト値が基準値以上でない画素(基準値より小さい画素)の信号値に対して、局所コントラスト値を基準値に近づける抑制処理を行ったディティール画像PDetSpVpを生成する。
ステップS412において、合成部515は、調整部514Cが生成したディティール画像PDetSpVpと、ベース画像PBaseVp2と、を合成する合成処理を実行する。具体的には、図15に示すように、合成部515は、ディティール画像PDetSpVp、ベース画像PBaseVp2と、を合成する。なお、合成部515は、調整部514Cが生成したディティール画像PDetSpVpと、ベース画像PBaseVp2と、を合成しているが、ベース画像PBaseVp2に換えて、入力画像PIN1を合成してもよい。
その後、表示制御部516は、合成部515が合成した合成結果に基づく表示画像を生成して表示装置4へ出力する(ステップS412)。具体的には、図15に示すように、表示制御部516は、合成部515が生成した合成結果に基づく表示画像POUT3を生成し、この表示画像POUT3を表示装置4へ出力する。
ステップS414は、上述した図3のステップS110と同様の処理のため、詳細な説明を省略する。
以上説明した実施の形態5によれば、観察距離に関わらず、画像内における微細構造および微細血管の各々を適切に強調することができる。
(その他の実施の形態)
上述した本開示の実施の形態1~5に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
上述した本開示の実施の形態1~5に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態1~5に係る内視鏡システムでは、互いに有線によって接続されていたが、ネットワークを経由して無線によって接続してもよい。
また、本開示の実施の形態1~5では、内視鏡システムが備える画像処理部51,51A,51B,51Cの機能、例えば取得部511、分割部512、抽出部513、調整部514,514A,514B,514C、合成部515、表示制御部516および判定部517の機能モジュールを、ネットワークで接続可能なサーバまたは内視鏡システムに双方向に通信可能な画像処理装置等に設けてもよい。もちろん、機能モジュール毎にサーバまたは画像処理装置等に設けてもよい。
また、本開示の実施の形態1~5では、上述した実施の形態1~5の各々に対応する観察モードを設けてもよい。この場合、本開示の実施の形態1~5によれば、入力部52からの操作信号または複数のスイッチ223からの操作信号に応じて、上述した実施の形態1~5の各々に対応する観察モードに切り替えてもよい。これにより、ユーザは、所望する微細構造および微細血管の各々を選択的に強調および抑制した状態で生体組織の粘膜および血管を観察することができる。
また、本開示の実施の形態1~5に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1,1A,1B,1C 内視鏡システム
2 内視鏡装置
3 光源装置
4 表示装置
5,5A,5B,5C 制御装置
21 挿入部
31 光源部
32 光源ドライバ
33 照明制御部
51,51A,51B,51C 画像処理部
52 入力部
53 記録部
54 制御部
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像部
311 集光レンズ
312 第1の光源
313 第2の光源
314 第3の光源
315 第4の光源
316 第5の光源
511 取得部
512 分割部
513 抽出部
514,514A,514B,514C 調整部
515 合成部
516 表示制御部
517 判定部
531 プログラム記録部
2 内視鏡装置
3 光源装置
4 表示装置
5,5A,5B,5C 制御装置
21 挿入部
31 光源部
32 光源ドライバ
33 照明制御部
51,51A,51B,51C 画像処理部
52 入力部
53 記録部
54 制御部
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像部
311 集光レンズ
312 第1の光源
313 第2の光源
314 第3の光源
315 第4の光源
316 第5の光源
511 取得部
512 分割部
513 抽出部
514,514A,514B,514C 調整部
515 合成部
516 表示制御部
517 判定部
531 プログラム記録部
Claims (17)
- プロセッサを備える画像処理装置であって、
前記プロセッサは、
微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、前記生体組織からの戻り光を撮像することによって生成した画像信号を取得し、
前記画像信号における局所コントラスト情報を抽出し、
前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号に対応する入力画像を構成する画素毎に、局所コントラスト値を前記局所コントラスト情報として抽出し、
前記画素毎に、前記局所コントラスト値が予め設定した少なくとも1つの基準値以上であるか否かを判定し、
前記局所コントラスト値が前記基準値以上である画素の信号値に対して、前記強調処理および前記抑制処理の一方を行い、前記局所コントラスト値が前記基準値以上でない画素の信号値に対して、前記強調処理および前記抑制処理の他方を行って前記表示画像を生成する、
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記微細構造情報は、
前記局所コントラスト値が前記基準値以上の大きい信号値の画素に対応する、
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記微細血管情報は、
前記局所コントラスト値が前記基準値以上でない信号値の画素に対応する、
画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記強調処理は、
前記局所コントラスト値を前記基準値から遠ざける処理であり、
前記プロセッサは、
前記微細構造情報に対して、前記強調処理を行う、
画像処理装置。 - 請求項4に記載の画像処理装置であって、
前記抑制処理は、
前記局所コントラスト値を前記基準値に近づける処理であり、
前記プロセッサは、
前記微細血管情報に対して、前記抑制処理を行う、
画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記強調処理は、
前記局所コントラスト値を前記基準値に近づける処理であり、
前記プロセッサは、
前記微細構造情報に対して、前記抑制処理を行う、
画像処理装置。 - 請求項7に記載の画像処理装置であって、
前記抑制処理は、
前記局所コントラスト値を前記基準値から遠ざける処理であり、
前記プロセッサは、
前記微細血管情報に対して、前記強調処理を行う、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号に対応する入力画像における注目画素の信号値と、該注目画素における周辺画素の信号値と、の相対的な信号強度の比に基づいて、前記局所コントラスト情報を抽出する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号を照明光成分と、反射率成分と、に分割し、
前記反射率成分の信号振幅値を増加または減少させる、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号を照明光成分と、反射率成分と、に分割し、
前記照明光成分の信号振幅値を増加または減少させる、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号を照明光成分と、反射率成分と、に分割し、
前記反射率成分の信号振幅値に対して、前記強調処理および前記抑制処理の少なくとも一方を行い、
前記強調処理および前記抑制処理の少なくとも一方を行った前記反射率成分と、前記照明光成分と、を合成することによって前記表示画像を生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号を照明光成分と、反射率成分と、に分割し、
前記反射率成分に対して、前記強調処理および前記抑制処理の少なくとも一方を行い、
前記照明光成分に対して、ゲイン調整するゲイン調整処理を行い、
前記ゲイン調整処理を行った前記照明光成分と、前記強調処理および前記抑制処理の少なくとも一方を行った前記反射率成分と、を合成することによって前記表示画像を生成する、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記プロセッサは、
前記画像信号に基づいて、互いに周波数帯域の異なる2つの照明光成分を生成し、
前記2つの照明光成分それぞれと、前記画像信号と、に基づいて、2つの反射率成分を生成し、
前記2つの反射率成分を所定の係数で合成し、
前記2つの反射率成分を所定の係数で合成した合成結果に対して、前記強調処理および前記抑制処理の少なくとも一方を行い、
前記強調処理および前記抑制処理の少なくとも一方を行った結果と、前記2つの反射率成分のいずれか一方と、を合成することによって前記表示画像を生成する、
画像処理装置。 - 光源装置と、撮像装置と、医療用装置と、を備える医療用システムであって、
前記光源装置は、
微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射する光源を有し、
前記撮像装置は、
前記生体組織からの戻り光を撮像することによって画像信号を生成する撮像素子を有し、
前記医療用装置は、
プロセッサを有し、
前記画像信号を取得し、
前記画像信号における局所コントラスト情報を抽出し、
前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する、
医療用システム。 - プロセッサを備え画像処理装置の作動方法であって、
前記プロセッサが、
微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、前記生体組織からの戻り光を撮像することによって生成した画像信号を取得し、
前記画像信号における局所コントラスト情報を抽出し、
前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する、
画像処理装置の作動方法。 - プロセッサを備え、対象領域の洗浄状態に応じて駆動する医療用装置が実行するプログラムであって、
前記プロセッサに、
微細構造および微細血管を含む生体組織に向けて青紫色の狭帯域光を含む照明光を照射し、前記生体組織からの戻り光を撮像することによって生成した画像信号を取得し、
前記画像信号における局所コントラスト情報を抽出し、
前記局所コントラスト情報に基づいて、前記画像信号に対して、前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を強調する強調処理および前記生体組織における微細構造に関する微細構造情報および微細血管に関する微細血管情報の少なくとも一方を抑制する抑制処理のいずれか一つ以上を行った表示画像を生成する、
ことを実行させる、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2023/002521 WO2024157429A1 (ja) | 2023-01-26 | 2023-01-26 | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム |
PCT/JP2024/002309 WO2024158040A1 (ja) | 2023-01-26 | 2024-01-25 | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2023/002521 WO2024157429A1 (ja) | 2023-01-26 | 2023-01-26 | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024157429A1 true WO2024157429A1 (ja) | 2024-08-02 |
Family
ID=91970063
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/002521 WO2024157429A1 (ja) | 2023-01-26 | 2023-01-26 | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム |
PCT/JP2024/002309 WO2024158040A1 (ja) | 2023-01-26 | 2024-01-25 | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2024/002309 WO2024158040A1 (ja) | 2023-01-26 | 2024-01-25 | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (2) | WO2024157429A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03105483A (ja) * | 1989-09-19 | 1991-05-02 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH0696200A (ja) * | 1992-06-19 | 1994-04-08 | Agfa Gevaert Nv | ノイズ減少方法および装置 |
WO2014132741A1 (ja) * | 2013-02-27 | 2014-09-04 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
JP2014171505A (ja) * | 2013-03-06 | 2014-09-22 | Fujifilm Corp | 画像処理装置及び内視鏡システムの作動方法 |
-
2023
- 2023-01-26 WO PCT/JP2023/002521 patent/WO2024157429A1/ja unknown
-
2024
- 2024-01-25 WO PCT/JP2024/002309 patent/WO2024158040A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03105483A (ja) * | 1989-09-19 | 1991-05-02 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH0696200A (ja) * | 1992-06-19 | 1994-04-08 | Agfa Gevaert Nv | ノイズ減少方法および装置 |
WO2014132741A1 (ja) * | 2013-02-27 | 2014-09-04 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
JP2014171505A (ja) * | 2013-03-06 | 2014-09-22 | Fujifilm Corp | 画像処理装置及び内視鏡システムの作動方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2024158040A1 (ja) | 2024-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5606120B2 (ja) | 内視鏡装置 | |
WO2018034075A1 (ja) | 撮像システム | |
JP4554944B2 (ja) | 内視鏡装置 | |
RU2391894C2 (ru) | Устройство для считывания изображения живого организма и система формирования изображения живого организма | |
CN108024689B (zh) | 内窥镜装置 | |
WO2007010709A1 (ja) | 内視鏡及び内視鏡装置 | |
JP2012071012A (ja) | 内視鏡装置 | |
WO2017104046A1 (ja) | 内視鏡装置 | |
JP7095693B2 (ja) | 医療用観察システム | |
JPWO2018230066A1 (ja) | 医療用システム、医療用装置および制御方法 | |
WO2021176737A1 (ja) | 医療用観察システムおよび医療用撮像装置 | |
WO2013054817A1 (ja) | 内視鏡システム及び画像生成方法 | |
CN115917394A (zh) | 医疗成像系统、医疗成像装置和操作方法 | |
WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
WO2021157487A1 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム | |
JP6463512B2 (ja) | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム | |
JP7417712B2 (ja) | 医療用画像処理装置、医療用撮像装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム | |
WO2024157429A1 (ja) | 画像処理装置、医療用システム、画像処理装置の作動方法およびプログラム | |
CN114786558A (zh) | 医学图像生成装置、医学图像生成方法和医学图像生成程序 | |
JP5094066B2 (ja) | 画像処理装置の作動方法、および装置、並びに電子内視鏡システム | |
JP6514155B2 (ja) | 電子内視鏡システムおよび内視鏡用光源装置 | |
JP5897663B2 (ja) | 内視鏡装置 | |
JP7596365B2 (ja) | 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム | |
JP2017087078A (ja) | 内視鏡装置 | |
JP6946468B2 (ja) | 画像処理装置および画像処理装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23918393 Country of ref document: EP Kind code of ref document: A1 |