WO2013035738A1 - 蛍光観察装置 - Google Patents
蛍光観察装置 Download PDFInfo
- Publication number
- WO2013035738A1 WO2013035738A1 PCT/JP2012/072610 JP2012072610W WO2013035738A1 WO 2013035738 A1 WO2013035738 A1 WO 2013035738A1 JP 2012072610 W JP2012072610 W JP 2012072610W WO 2013035738 A1 WO2013035738 A1 WO 2013035738A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- fluorescence
- observation
- unit
- value
- Prior art date
Links
- 238000012937 correction Methods 0.000 claims abstract description 215
- 238000002073 fluorescence micrograph Methods 0.000 claims description 360
- 238000007781 pre-processing Methods 0.000 claims description 331
- 238000012805 post-processing Methods 0.000 claims description 184
- 238000012545 processing Methods 0.000 claims description 99
- 238000003384 imaging method Methods 0.000 claims description 62
- 238000005286 illumination Methods 0.000 claims description 61
- 230000005284 excitation Effects 0.000 claims description 46
- 239000000284 extract Substances 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 description 115
- 230000004048 modification Effects 0.000 description 105
- 238000012986 modification Methods 0.000 description 105
- 238000003780 insertion Methods 0.000 description 85
- 230000037431 insertion Effects 0.000 description 85
- 238000000034 method Methods 0.000 description 73
- 230000003902 lesion Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 53
- 230000008859 change Effects 0.000 description 37
- 238000000605 extraction Methods 0.000 description 32
- 230000008901 benefit Effects 0.000 description 21
- 239000003795 chemical substances by application Substances 0.000 description 17
- 238000010276 construction Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000003702 image correction Methods 0.000 description 13
- 238000012935 Averaging Methods 0.000 description 12
- 238000010521 absorption reaction Methods 0.000 description 12
- 239000002131 composite material Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 12
- 239000000203 mixture Substances 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 229910052724 xenon Inorganic materials 0.000 description 11
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 11
- 230000007423 decrease Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 10
- 210000002784 stomach Anatomy 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000010606 normalization Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000002429 large intestine Anatomy 0.000 description 5
- 210000004379 membrane Anatomy 0.000 description 5
- 239000012528 membrane Substances 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000002747 omentum Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000001079 digestive effect Effects 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 208000014081 polyp of colon Diseases 0.000 description 2
- 238000006862 quantum yield reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100398412 Arabidopsis thaliana ASK1 gene Proteins 0.000 description 1
- 101100110018 Arabidopsis thaliana ASK3 gene Proteins 0.000 description 1
- 102100028423 MAP6 domain-containing protein 1 Human genes 0.000 description 1
- 102100025297 Mannose-P-dolichol utilization defect 1 protein Human genes 0.000 description 1
- 101100230207 Oryza sativa subsp. japonica GSK1 gene Proteins 0.000 description 1
- 101100230208 Oryza sativa subsp. japonica GSK2 gene Proteins 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000002494 anti-cea effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 235000004213 low-fat Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Definitions
- the present invention relates to a fluorescence observation apparatus.
- JP-A-62-247332 Japanese Patent Laid-Open No. 3-58729 JP 2006-175052 A
- the present invention has been made in view of the above-described circumstances, and is a fluorescence observation apparatus that can remove the dependency on the observation distance and the observation angle remaining in the image divided by different factors with high accuracy according to the factors.
- the purpose is to provide.
- the present invention includes an illumination unit having a light source that irradiates a subject with excitation light and illumination light, and a fluorescence image acquisition unit that captures fluorescence generated in the subject by irradiation of the excitation light from the light source and acquires a fluorescence image;
- a reference image acquisition unit that captures reflected light returning from the subject by irradiation of the illumination light from the light source and acquires a reference image, and divides and divides the image based on the fluorescence image using the image based on the reference image
- a division image generation unit that generates an image; a display unit that displays a final fluorescence image based on the division image generated by the division image generation unit; and the generation of the division image by the division image generation unit or the display unit Prior to displaying the final fluorescence image, correction processing is performed on at least one of the reference image and the fluorescence image and / or the divided image.
- a correction condition for setting a parameter related to the correction processing by the correction processing unit according to the observation condition determined by the normal processing unit, an observation condition determination unit for determining the observation condition of the subject, and the observation condition determination unit Provided is a fluorescence observation apparatus including a setting unit.
- the fluorescence image generated in the subject is acquired by the fluorescence image acquisition unit by irradiating the subject with the excitation light emitted from the light source, and the reference light emitted together with the excitation light from the light source is acquired from the subject.
- the reference image of the reflected light is acquired by the reference image acquisition unit.
- the division image generation unit generates a division image in which a change in fluorescence intensity depending on an observation distance or an observation angle is reduced by dividing an image based on a fluorescence image on the same subject by an image based on a reference image.
- the correction condition setting unit sets parameters used for the correction processing by the correction processing unit in accordance with the observation condition of the subject determined by the observation condition determining unit. That is, the content of the correction processing performed on the fluorescence image and / or the reference image or the divided image that is the basis of the divided image in accordance with the observation condition that has not been able to correct the influence of the observation distance and the observation angle. Is changed, it is possible to display on the display unit the final fluorescence image from which the dependency on the observation distance and the observation angle remaining in the divided image due to different factors is removed with high accuracy.
- the correction processing unit may include a post-processing unit that generates the final fluorescence image by performing the post-correction processing on the divided image.
- the post-processing unit has a plurality of post-processing modes for performing different post-correction processing on the divided image, and the correction condition setting unit is configured to perform the plurality of post-processing according to the observation conditions.
- the parameter relating to at least one post-processing mode among the modes may be set as a post-processing parameter. In this way, the processing mode applied to the divided image is switched depending on the observation conditions, so that the influence of the observation distance and the observation angle can be further reduced.
- the correction condition setting unit sets a weight assigned to the divided image and the fluorescence image as the post-processing parameter, and the post-processing unit uses the weight set by the correction condition setting unit.
- the division image and the fluorescence image may be weighted, and these weighted images may be multiplied or added.
- the division image includes a background low-luminance region, a region having a relatively high luminance due to fluorescence emitted from a lesion in the fluorescence image, and a reference image coverage.
- a region having a relatively high luminance due to amplification by division due to the color characteristics of the specimen is included. Therefore, a relatively high luminance area in the divided image is an area having a luminance of, for example, the upper 10% to 20% in the divided image, and is an area having high luminance due to fluorescence emitted from the lesion. And a region including high luminance due to the color characteristics of the subject.
- the relatively high luminance region in the fluorescent image is a region having a luminance of about 10% to 20%, for example, in the fluorescent image, and a region having high luminance due to the fluorescence emitted from the lesion, A region including a region having high luminance due to the distance of the subject.
- the intensity change of the reference light due to the difference in the absorption characteristics of the reference light in the subject that affects the divided image is also corrected, and the contrast between the fluorescence from the normal part (background) and the fluorescence from the lesion part is corrected.
- An enlarged final fluorescence image can be generated. Accordingly, it is possible to acquire the information of the subject while suppressing the influence of the background, and it is possible to extract the lesion part more accurately and accurately.
- the influence of the observation distance and the observation angle is suppressed, and the intensity change of the reference light due to the difference in the absorption characteristic of the reference light in the subject that affects the division image , And the contrast between the fluorescence from the normal part (background) and the lesioned part can be enlarged. Therefore, in the final fluorescence image, the information on the subject can be acquired while suppressing the influence of the background, and the lesioned part can be extracted more accurately and accurately.
- the post-processing unit is configured to generate a gradation value of the fluorescent image based on an average value, a standard deviation, and a weighting coefficient of the gradation value for each pixel in the divided image generated by the divided image generation unit. And a contrast in the final fluorescent image between a region having a gradation value larger than the calculated gradation value threshold and a region having a gradation value smaller than the gradation value threshold is expanded.
- the correction condition setting unit may set the weighting coefficient as the post-processing parameter.
- the post-processing unit expands the contrast in the fluorescent image between the area where the gradation value is larger than the gradation value threshold and the area where the gradation value is smaller, thereby reducing the influence of weak fluorescence generated from the background.
- a suppressed and clear final fluorescence image can be acquired.
- the gradation value threshold is updated following the fluctuation of the gradation value by the correction condition setting unit,
- the post-processing unit can maintain the sharpness of the final fluorescent image. Thereby, quantitative information of the subject can be acquired.
- the correction condition setting unit sets a first threshold value for the gradation value of the fluorescent image and a second threshold value for the gradation value of the divided image as the post-processing parameters.
- the post-processing unit extracts a first region having a gradation value higher than the first threshold value of the fluorescent image, and a second region having a gradation value higher than the second threshold value of the divided image. It is good also as extracting the overlapping area
- the post-processing unit can extract a region having a high gradation value, such as a lesioned part, as the first region and distinguish it from a region having a low gradation value such as a background. .
- the post-processing unit can extract a region having a high gradation value, such as a lesioned part, as a second region and distinguish it from a region having a low gradation value, such as a background.
- the influence of the observation distance and the observation angle is also reduced in the false positive portion that is identified as the region having a high gradation value due to the influence of the observation distance and the observation angle and is included in the first region.
- the divided image thus identified can be identified as a part of the background and can be distinguished from the region included in the second region.
- the correction processing unit performs pre-correction processing on at least one of the reference image by the reference image acquisition unit and the fluorescence image by the fluorescence image acquisition unit, thereby causing the division image generation unit to perform the correction process.
- a configuration including a pre-processing unit that generates a reference image for division and a fluorescent image for division used to generate a divided image may be used.
- the pre-processing unit has a plurality of pre-processing modes for performing different pre-correction processing on at least one of the reference image and the fluorescent image
- the correction condition setting unit includes the observation condition.
- the parameter related to at least one of the plurality of preprocessing modes may be set as a preprocessing parameter.
- the correction condition setting unit sets an SN threshold for an SN ratio in the fluorescent image as the preprocessing parameter according to the observation condition
- the preprocessing unit is an imaging unit included in the fluorescent image acquisition unit. Based on the luminance information of the fluorescence image acquired by the element, the number of binning addition pixels and / or the exposure time in the imaging element may be adjusted so that the SN ratio in the fluorescence image is equal to or greater than the SN threshold.
- the fluorescence image captured by the image sensor of the fluorescence image acquisition unit includes noise in the image sensor and noise in the image generation circuit, but is determined according to the amount of light incident on the image sensor, and the amount of incident light is acquired by the image sensor. It can be estimated from the luminance information of the fluorescent image. Therefore, by using the luminance information of the fluorescence image, the post-processing unit adjusts the number of binning addition pixels and / or the exposure time in the image sensor, thereby obtaining a fluorescence image having an SN ratio equal to or greater than a predetermined SN threshold. it can. Thereby, it can observe with more appropriate sensitivity, without degrading the image quality of a fluorescence image.
- the preprocessing unit uses the image sensor of the fluorescence image acquisition unit to obtain luminance information of the fluorescence image. Fluctuation is calculated from the calculated fluctuation, and the SN ratio in the fluorescent image is calculated from the calculated fluctuation and the luminance information, and the binning addition in the imaging device is performed so that the calculated SN ratio is equal to or greater than the predetermined SN threshold value.
- the number of pixels and / or the exposure time may be adjusted.
- the preprocessing unit calculates fluctuation from the luminance information of the fluorescent image, calculates an SN ratio in the fluorescent image from the fluctuation and the luminance information, and binning in the image sensor based on the calculated SN ratio. Adjust the number of added pixels and / or the exposure time. Therefore, the SN ratio of the fluorescent image acquired by the image sensor thereafter becomes equal to or higher than the predetermined SN threshold value, and the image can be observed with more appropriate sensitivity without degrading the image quality of the fluorescent image.
- the correction condition setting unit sets an intensity threshold for the fluorescence intensity of the fluorescence image as the preprocessing parameter
- the preprocessing unit is a fluorescence acquired by an imaging device included in the fluorescence image acquisition unit.
- the number of binning addition pixels and / or the exposure time in the image sensor may be adjusted so that the fluorescence intensity in at least a part of the image is equal to or less than the intensity threshold.
- the sensitivity of the image sensor is high, and then shooting is performed with reduced sensitivity.
- the sensitivity of the image sensor is reduced by reducing the number of binning addition pixels and / or the exposure time.
- the image quality of the acquired image can be improved. Thereby, it is possible to obtain a clear image of the subject having a portion where the fluorescence intensity exceeds a predetermined intensity threshold.
- the correction condition setting unit when the correction condition setting unit irradiates the excitation light with a predetermined intensity toward the subject, the subject from the illumination unit having the luminance of the fluorescent image acquired by the fluorescent image acquisition unit.
- a second power value obtained by power approximation of the distance characteristic from the illumination unit to the subject is set as the preprocessing parameter, and the preprocessing unit sets the reciprocal of the first power value as the fluorescence image.
- the luminance value of the reference image may be raised to the power value, and the reciprocal of the second power value may be raised to the luminance value of the reference image.
- the preprocessing unit raises the reciprocal of the first power value obtained by power approximation of the distance characteristic from the illumination unit to the subject of the luminance of the fluorescent image to the luminance value of the fluorescent image.
- the fluorescence image for division can be acquired.
- the luminance of the reference image is substantially reduced with respect to the change in distance by raising the reciprocal of the second power value obtained by power approximation of the distance characteristic from the illumination unit of the reference image to the subject to the power.
- a constant reference image for division can be acquired. Therefore, by dividing the division fluorescence image by the division reference image, the dependence of the distance between the fluorescence image and the reference image is canceled and a quantitative final fluorescence image that is accurately corrected can be obtained. It is possible to accurately diagnose the lesion.
- a distance information acquisition unit that acquires distance information between the reference image acquisition unit and the subject is provided, and the correction condition setting unit is acquired by the distance information acquisition unit set by the observation condition setting unit. Based on the distance information, a correction coefficient is set as the preprocessing parameter, and the preprocessing unit calculates the power intensity information of at least one of the reference image or the fluorescent image using the correction coefficient as an index. It is good as well.
- the intensity signal of each pixel and the intensity signal of the reference image in the fluorescence image have a dependence on the distance, respectively, so that the intensity signal of the reference image and the fluorescence image is expressed by some index. By raising the power, these dependencies can be reduced.
- the pre-processing unit since the route is different between the reflected light of the illumination light constituting the reference image and the fluorescence constituting the fluorescence image, the dependence on the distance also varies depending on the distance.
- the pre-processing unit generates at least one of the reference image for division or the fluorescent image for division using the correction coefficient set based on the distance information as an index. The final fluorescence image with high quantitativeness that is corrected with high accuracy can be obtained, and accurate fluorescence observation can be performed.
- the distance characteristic or / and angle characteristic of the fluorescence intensity acquired in advance with respect to the standard sample and the distance characteristic or / and angle characteristic of the reflected light intensity are directly proportional to each other in the preprocessing unit.
- a coefficient is stored in association with each observation condition, and at least one of the fluorescence image or the reference image is multiplied by the coefficient, and the correction condition setting unit multiplies the preprocessing unit according to the observation condition.
- the coefficient used in the above may be selected as the preprocessing parameter.
- the distance characteristic of the fluorescence intensity and the reflected light intensity acquired in advance for the standard sample in at least one of the fluorescence image and the reference image in the preprocessing unit is generated by multiplying the distance characteristics with the coefficients having a direct proportional relationship with each other.
- the fluorescence intensity of each pixel constituting the fluorescence image and the reflected light intensity of each pixel constituting the reference image change depending on the distance from the illumination unit to the position on the subject corresponding to the pixel, Can be approximated to the exponential function of. Since the index in the distance characteristic of the fluorescence intensity is different from the index in the distance characteristic of the reflected light intensity, the dependency of the distance cannot be removed even if the fluorescence image is divided by the reference image as it is. Therefore, the fluorescence intensity distance characteristic and the reflected light intensity distance characteristic can be directly proportional to each other by previously raising the fluorescence intensity and the reflected light intensity in advance by the reciprocal of the exponent in the distance characteristic. The distance dependency can be removed.
- the fluorescence image and the reference image by multiplying at least one of the fluorescence image and the reference image from the distance characteristic of the fluorescence intensity and the distance characteristic of the reflected light intensity acquired in advance for the standard sample, the same effect as that obtained by raising the reciprocal of the above-described index to a power Is obtained in advance. Then, the obtained coefficient is multiplied by at least one of the fluorescent image and the reference image to generate a division fluorescent image and a division reference image, and the division image generation unit divides the division fluorescent image by the division reference image. By doing so, it is possible to obtain a fluorescent image corrected so as to sufficiently reduce the dependency on the distance. That is, according to the present configuration, distance dependency can be reduced with higher accuracy than in the case of exponential approximation, and fluorescence observation with high quantitativeness can be performed.
- the observation condition determination unit may determine the observation condition based on a characteristic of the reference image. In this way, since the observation conditions are all automatically selected, an input operation by the operator can be made unnecessary.
- the said observation condition determination part is good also as storing the said observation condition matched with an observation site
- an appropriate parameter value can be easily determined by simply associating the observation region and the parameter relating to the correction process on a one-to-one basis.
- the observation condition determination unit stores an observation site and information related to observation in association with each other, and determines the observation site based on the information related to observation input by an operator and the characteristics of the reference image. It may be determined as an observation condition.
- a fluorescence observation device used for a plurality of applications is provided by providing diagnosis contents and the like as observation-related information to the observation condition determination unit and limiting the observation condition options by the observation condition determination unit. Even so, it is possible to accurately select an appropriate observation condition from among complicated observation conditions.
- 1 is an overall configuration diagram of a fluorescence observation apparatus according to a first embodiment of the present invention. It is a whole block diagram of the fluorescence observation apparatus which concerns on the 2nd Embodiment of this invention. It is a whole block diagram of the fluorescence observation apparatus which concerns on the 3rd Embodiment of this invention. It is a whole block diagram of the fluorescence observation apparatus which concerns on the 4th Embodiment of this invention. It is a whole block diagram of the fluorescence observation apparatus which concerns on the 5th Embodiment of this invention. It is a block diagram which shows the structure of the pre-processing part which performs 1st pre-processing mode. It is the figure which showed the state which set the binning setting of CCD of FIG.
- FIG. 17 It is a figure which shows the graph of the relationship between the S / N ratio of the fluorescence image processed by the pre-processing part of FIG. 17, and an imaging surface illumination intensity. It is a figure which shows the table of the relationship between imaging surface illumination intensity, the number of binning addition pixels, and exposure time produced based on the graph of FIG. It is a flowchart which shows the sensitivity setting procedure of the image pick-up element by the pre-processing part of FIG. It is a block diagram which shows the structure of the pre-processing part which performs the modification of the 1st modification of a 1st pre-processing mode. It is a figure which shows an example of the table with which the sensitivity setting circuit of the pre-processing part of FIG. 21 is equipped.
- FIG. 25 is a diagram showing a table of correspondence between contrast stored in a sensitivity setting circuit of the preprocessing unit in FIG. 24 and an SN ratio threshold value.
- FIG. 27 is a diagram illustrating a correspondence table between the brightness of the reference image and the SN ratio threshold value stored in the sensitivity setting circuit of the preprocessing unit in FIG. 26. It is a block diagram which shows the 3rd modification of the pre-processing part of FIG.
- FIG. 36 is a block diagram illustrating a first modification of the preprocessing unit in FIG. 35.
- FIG. 36 is a block diagram illustrating a second modification of the preprocessing unit in FIG. 35. It is a figure which shows the table of the correspondence of the contrast memorize
- FIG. 36 is a block diagram illustrating a third modification of the preprocessing unit in FIG. 35.
- FIG. 43 is a diagram illustrating a correspondence table between the brightness of the reference image and the SN ratio threshold value stored in the sensitivity setting circuit of the preprocessing unit in FIG. 42.
- FIG. 36 is a block diagram illustrating a fourth modification of the preprocessing unit in FIG. 35.
- 45 is a flowchart for describing processing of a sensitivity setting circuit of the preprocessing unit in FIG. 44.
- 43 is a flowchart for describing processing of a sensitivity setting circuit of the preprocessing unit in FIG.
- FIG. 36 is a block diagram illustrating a fifth modification of the preprocessing unit in FIG. 35.
- FIG. 59 is a flowchart showing a method for calculating a power value of the fluorescence observation apparatus in FIG. 58.
- FIG. It is a flowchart which shows the image process which concerns on the modification of a 2nd pre-processing mode.
- FIG. 63 is a graph showing a relationship between a luminance value and the abundance of a fluorescent agent as a reference example for the fluorescence observation apparatus in FIG. 62.
- FIG. It is a flowchart of the image processing which concerns on another modification of a 2nd pre-processing mode. It is a block diagram which shows the structure of the pre-processing part which concerns on another modification of 2nd pre-processing mode.
- FIG. 66 is a diagram illustrating an example of a gain conversion table included in the fluorescence image standard circuit of the preprocessing unit of FIG. 65.
- FIG. 66 is a flowchart of image processing in the preprocessing unit of FIG. 65.
- FIG. It is a block diagram which shows schematic structure of the fluorescence observation apparatus which concerns on another modification of 2nd pre-processing mode.
- FIG. 69 is a diagram showing an example of an excitation light intensity conversion table provided in the fluorescence image standard circuit of the fluorescence observation apparatus in FIG. 68.
- 69 is a flowchart of image processing in the image processing unit of FIG. 68. It is a block diagram which shows the structure of the pre-processing part which performs the 1st modification of 2nd pre-processing mode.
- FIG. 69 is a block diagram illustrating an example of a gain conversion table included in the fluorescence image standard circuit of the preprocessing unit of FIG. 65.
- FIG. 66 is a flowchart of
- FIG. 72 is a diagram illustrating an operation of setting correction coefficients and boundary values in the preprocessing unit of FIG. 71.
- 73 is a flowchart showing the operation of FIG. 72. It is a flowchart which shows the data acquisition step in the operation
- FIG. 74 is a flowchart showing a correction coefficient etc. determining step in the work of FIG. 73. It is a plot figure which shows the relationship between the observation distance acquired by the operation
- FIG. 77 is a diagram showing a database obtained as a result of power approximation in FIG. 76.
- FIG. 72 is a block diagram illustrating a modification of the preprocessing unit in FIG. 71.
- FIG. 72 is a partial configuration diagram illustrating a modification of the fluorescence observation apparatus including the preprocessing unit of FIG. 71. It is a block diagram which shows the structure of the pre-processing part which performs 3rd pre-processing mode.
- FIG. 83 is a diagram showing an example of a list of correspondences between image gradation values, gains, exposure times, and normalized images for deriving coefficients used in the preprocessing unit of FIG.
- FIG. 84 is a diagram showing an example of a list of correspondence between gradation values and coefficients of a standardized reference image derived from FIG. 83.
- FIG. 83 is an overall configuration diagram showing a modification of the fluorescence observation apparatus in FIG. 82. It is a partial block diagram which shows a fluorescence observation system provided with the fluorescence observation apparatus carrying the pre-processing part of FIG. It is a figure which shows the calibration apparatus of the fluorescence observation system of FIG. It is a block diagram which shows the structure of the post-processing part which performs 1st post-processing mode.
- FIG. 83 is an overall configuration diagram showing a modification of the fluorescence observation apparatus in FIG. 82. It is a partial block diagram which shows a fluorescence observation system provided with the fluorescence observation apparatus carrying the pre-processing part of FIG. It is a figure which shows the calibration apparatus of the fluorescence observation system of FIG. It is a block diagram which shows the structure of the post-processing part which performs 1
- FIG. 88 is an explanatory diagram of a fluorescence image generated in a fluorescence observation apparatus including a post-processing unit in FIG. 87.
- FIG. 88 is an explanatory diagram of a reference image generated in a fluorescence observation apparatus including a post-processing unit in FIG. 87.
- FIG. 88 is an explanatory diagram of a divided image generated in a fluorescence observation apparatus including a post-processing unit in FIG. 87.
- FIG. 88 is an explanatory diagram of a correction image generated in a fluorescence observation apparatus including a post-processing unit in FIG. 87. It is a flowchart which shows the processing method by the post-processing part of FIG.
- 94B is a histogram showing the relationship between the gradation value of the pixel in the final fluorescence image in FIG. 94A and the frequency occupied in the entire image.
- FIG. 96B is a histogram showing the relationship between the gradation value of a pixel in the final fluorescence image in FIG. 96A and the frequency occupied in the entire image. It is a histogram which shows the relationship between the gradation value of the pixel in the division image after the fluctuation
- FIG. 97B is a diagram showing an example of the division image in FIG. 97A. It is a histogram which shows the relationship between the gradation value of the pixel in the division after an image adjustment, and the frequency which occupies for the whole image.
- FIG. 98A It is a flowchart which shows the 1st modification of a 2nd post-processing mode. It is a flowchart which shows the 2nd modification of 2nd post-processing mode. It is a partial block diagram of the fluorescence observation apparatus which performs the 3rd modification of 2nd post-processing mode. It is a flowchart which shows the effect
- FIG. 109B is a histogram showing the relationship between the pixel gradation value and the frequency of the entire image in the divided image of FIG. 108A.
- FIG. It is the figure which showed an example of the last fluorescence image which removed the background.
- 109B is a histogram showing the relationship between the gradation value of the pixel in the final fluorescence image of FIG. 109A and the frequency of the entire image. It is the figure which showed an example of the last fluorescence image.
- It is a partial block diagram of the fluorescence observation apparatus which performs the 1st modification of 3rd post-processing mode. It is a schematic block diagram of the fluorescence observation apparatus which concerns on the modification of FIG. It is a flowchart which shows the effect
- FIG. FIG. 118 is a flowchart showing the operation of the fluorescence observation apparatus in FIG. 115.
- FIG. It is a graph which shows a response
- the fluorescence observation apparatuses 100, 200, 300, 400, and 500 according to the first to fifth embodiments of the present invention will be described with reference to the drawings.
- action of the fluorescence observation apparatus 100,200,300,400,500 which concern on 1st to 5th embodiment are demonstrated previously, and each fluorescence observation apparatus 100,200,300,400,500 is demonstrated. Details of image processing contents by the pre-processing unit 63 and the post-processing unit 65 provided will be described in detail after the outline description.
- a fluorescence observation apparatus 100 according to a first embodiment of the present invention will be described below with reference to FIG.
- a fluorescence observation apparatus 100 according to this embodiment is an endoscope apparatus, and as illustrated in FIG. 1, an elongated insertion section 2 that is inserted into a body, a light source (illumination section) 3, and a light source 3.
- the illumination unit (illumination unit) 4 that emits the illumination light and excitation light from the distal end of the insertion unit 2 toward the observation target (subject) A, and the biological tissue that is the observation target A
- the image processing unit 6 for acquiring the image information, the image processing unit 6 disposed on the proximal end side of the insertion unit 2 for processing the image information acquired by the imaging unit 5, and the observation target for the image processing unit 6
- An observation condition input unit (observation condition determination unit) 7 for inputting the A observation condition and a monitor (display unit) 20 for displaying an image processed by the image processing unit 6 are provided.
- the light source 3 includes a xenon lamp 8, a filter 9 that extracts excitation light and illumination light (wavelength band from 400 nm to 740 nm) from illumination light emitted from the xenon lamp 8, and excitation light and illumination light that is extracted by the filter 9. And a coupling lens 10 for condensing the light.
- the illumination unit 4 is disposed over substantially the entire length in the longitudinal direction of the insertion portion 2, and is provided at the distal end of the insertion portion 2 and a light guide fiber 11 that guides the excitation light and the illumination light collected by the coupling lens 10. And an illumination optical system 12 that diffuses excitation light and illumination light guided by the light guide fiber 11 and irradiates the observation target A facing the distal end surface 2a of the insertion portion 2.
- the imaging unit 5 includes an objective lens 13 that condenses collected light that returns from a predetermined observation range of the observation target A, and light (excitation light and fluorescence) that is longer than the excitation wavelength among the reflected light that is collected by the objective lens 13.
- the dichroic mirror (branching unit) 14 that transmits illumination light having a wavelength shorter than the excitation wavelength, and the reflected light of the illumination light that has passed through the dichroic mirror 14 and the fluorescence reflected by the dichroic mirror 14 are collected.
- reference numeral 19 denotes an excitation light cut filter that blocks excitation light from the light reflected by the dichroic mirror 14.
- the image processing unit 6 includes a reference image generation unit 61 that generates a reference image from the reference image information acquired by the image sensor 17 and a fluorescence image generation unit 62 that generates a fluorescence image from the fluorescence image information acquired by the image sensor 18. And a pre-processing unit (correction process) for generating a reference image for division and a fluorescent image for division by pre-processing the reference image and the fluorescent image generated by the reference image generating unit 61 and the fluorescent image generating unit 62, respectively.
- a pre-processing unit correction process
- a division image generation unit 64 that divides the division fluorescent image generated by the preprocessing unit 63 by the reference image for division, and post-processing on the division image generated by the division image generation unit 64
- the post-processing unit (correction processing unit) 65 that generates the final fluorescence image and the pre-processing unit 63 and the post-processing unit 65 based on the input from the observation condition input unit 7. That the correction condition setting unit 66 for setting a processing condition, and an image combining unit 67 for generating a composite image from the final fluorescence image and the reference image generated by the post-processing unit 65.
- the pre-processing unit 63 is equipped with at least one pre-processing mode for performing pre-correction processing on the reference image and the fluorescent image, as will be described in detail later.
- the pre-processing unit 63 performs pre-correction processing on the reference image and the fluorescence image according to the pre-processing parameter value (parameter) related to the pre-processing mode set by the correction condition setting unit 66, thereby dividing the reference image for division and the division image. Fluorescence images are generated, and these images are output to the divided image generation unit 64.
- the division image generation unit 64 generates a division image by performing a division process on the division fluorescence image for each pixel with the division reference image.
- the post-processing unit 65 has at least one post-processing mode (processing mode) for performing post-correction processing on the divided image.
- the post-processing unit 65 generates a final fluorescence image by performing post-correction processing on the divided image according to the post-processing parameter value (parameter) related to the post-processing mode set by the correction condition setting unit 66.
- the correction condition setting unit 66 includes an observation condition (described later) set in the observation condition input unit 7, a preprocessing parameter value related to the preprocessing mode by the preprocessing unit 63, and a postprocessing related to the postprocessing mode by the postprocessing unit 65. Processing condition data in which processing parameter values are associated with each other is stored.
- the correction condition setting unit 66 sets a parameter value related to the pre-processing mode and the post-processing mode based on the observation condition input from the observation condition input unit 7, and instructs the correction process to be performed with the set parameter value. Are output to the pre-processing unit 63 and the post-processing unit 65, respectively.
- the image composition unit 67 creates a composite image so that, for example, the reference image and the final fluorescence image are arranged in parallel and simultaneously displayed on the monitor 20, and outputs the composite image to the monitor 20.
- the observation condition input unit 7 stores first to fifth items to be described later, and an observation condition for at least one of these items is selected and input by an operation by the operator. .
- the observation condition input unit 7 is configured to be input using an input device such as a mouse from a list displayed on a panel (not shown), for example.
- the observation condition input unit 7 outputs the input observation conditions to the correction condition setting unit 66.
- observation condition setting unit 7 may store all the above five items, or may store only a part of the five items.
- the first item is to determine “local vision” or “overhead view” as an observation condition regarding the observation distance. That is, “local vision” indicates that the distal end surface 2a of the insertion portion 2 is brought close to the observation target A to locally observe a part of the observation target A, and “overhead view” refers to the distal end surface 2a of the insertion portion 2. Is separated from the observation target A, and the entire observation target A is observed from above. The observation distance affects the brightness of the reference image and the fluorescence image.
- the second item is to determine “perspective large” or “perspective small” as the observation condition regarding the size of the perspective width of the observation target A.
- “perspective large” means observing the observation object A having a deep structure such as a lumen and a large width in the perspective
- “small near” means that the depth of the film is small and the width of the perspective is small. It shows observing the observation object A having a structure.
- the third item is to determine “multicolor” or “monochrome” as the observation condition for the hue of the observation object A. That is, “multicolor” indicates that an observation object A in which a plurality of organs and tissues having different hues are mixed is observed, and “monochrome” indicates that an observation object A in which only an organ or tissue having a similar hue exists is observed. Indicates to do.
- the fourth item is to determine “irregularity” or “flatness” as the observation condition regarding the surface shape of the observation target A. That is, “irregularity” means observing the observation object A having a surface shape with many irregularities, and “flat” means observing the observation object A having a smooth surface shape with few irregularities.
- the fifth item is to determine “large amount of fat” or “small amount of fat” as the observation condition regarding the amount of fat present in the observation target. That is, “a large amount of fat” means observing the observation target A such as an organ or tissue whose surface is covered with fat, and “a small amount of fat” means an observation target A where there is no fat or only a small amount. Is observed.
- the illumination light and the excitation light from the light source 3 are irradiated toward the observation target A from the distal end surface 2a of the insertion portion 2 via the illumination unit 4, and the observation target A
- the reflected light on the surface of the image is acquired by the image sensor 17 and the reference image generation unit 61 generates a reference image.
- the fluorescence generated inside the observation object A by being irradiated with the excitation light is acquired by the image sensor 18, and a fluorescence image is generated by the fluorescence image generation unit 62.
- the correction condition setting unit 66 sets parameter values related to each processing mode performed by the pre-processing unit 63 and the post-processing unit 65.
- the reference image and the fluorescence image are pre-processed by the pre-processing unit 63, thereby generating the division reference image and the division fluorescence image.
- the generated division reference image and the division fluorescence image are input to the division image generation unit 64, and the division image is generated by dividing the division fluorescence image by the division reference image.
- the generated divided image is post-processed by the post-processing unit 65 to generate a final fluorescence image.
- the generated final fluorescence image and reference image are combined by the image combining unit 67 and displayed in parallel on the monitor 20.
- the fluorescence observation apparatus 100 by dividing the division fluorescence image based on the fluorescence image by the division reference image based on the reference image, the dependency on the distance and the angle is offset.
- the dependence of the distance and the angle is caused by a plurality of observation conditions such as the shape, structure, color, and the like of the observation target A and the observation distance.
- the parameter values used for the pre-processing for the fluorescence image and the reference image and the post-processing for the divided image are set according to the viewing condition input to the viewing condition input unit 7.
- appropriate correction processing is performed for the dependency of the distance and angle based on a plurality of factors, and the dependency of the distance and angle between the final fluorescence image and the reference image is removed with high accuracy.
- a fluorescence observation apparatus 200 according to the second embodiment of the present invention will be described below with reference to FIG.
- the same reference numerals are assigned to configurations common to the first embodiment, and the description thereof is omitted.
- the image processing unit 6 instead of the observation condition input unit 7, the image processing unit 6 observes based on the characteristics of the reference image input from the reference image generation unit 61. This is mainly different from the first embodiment in that an observation condition determination unit 68 for determining a condition is provided.
- the observation condition determination unit 68 determines an observation condition for at least one of the first to fifth items described above. For the first item (observation distance), the observation condition determination unit 68 detects the average value of the standardized gradation values of the reference image, and compares the average value with a predetermined threshold value. If the average value is equal to or greater than a predetermined threshold, it is determined that the image is “local vision”. The reference image becomes brighter in local viewing when the distal end surface 2a of the insertion unit 2 is brought closer to the observation target A, and the reference image is viewed in overhead view where the distal end surface 2a of the insertion unit 2 is separated from the observation target A. Get dark.
- the observation condition determination unit 68 detects the standard deviation of the gradation values from the gradation values of all the pixels of the reference image, and the standard deviation is predetermined. If it is greater than or equal to the threshold value, it is determined to be “distant and large”, while if the standard deviation is smaller than the threshold value, it is determined to be “far and small”.
- the observation object A has a deep structure such as a lumen, the portion close to the distal end surface 2a of the insertion portion 2 is bright and the portion far from the distal end surface 2a is dark, so the gradation value is in a wide range. Distribution and standard deviation increase.
- the observation target A has a flat structure such as a film, there are few variations in the distance between the distal end surface 2a of the insertion portion 2 and each position of the observation target A. The standard deviation becomes smaller in the range of.
- the observation condition determination unit 68 detects a plurality of predetermined hue distributions from the RGB signals of all pixels of the reference image, and based on the detected distribution of each hue, Determined to be “multicolor” or “monochrome”.
- the observation condition determination unit 68 detects a shadow area from the reference image, and the ratio of the detected shadow area to the entire reference image is equal to or greater than a predetermined threshold value If the ratio of the shadow area to the entire reference image is smaller than a predetermined threshold, it is determined to be “flat”.
- a shadow area detection method a known method such as edge enhancement or luminance value differentiation is used.
- the observation condition determination unit 68 detects the yellow frequency corresponding to the fat color from the RGB signal of each pixel of the reference image, and the yellow frequency is equal to or greater than a predetermined threshold value. In this case, it is determined that the amount of fat is high, and when the yellow frequency is less than a predetermined threshold, it is determined that the amount of fat is low.
- the correction condition setting unit 66 ′ is a parameter value related to each processing mode by the pre-processing unit and the post-processing unit as in the first embodiment. Set.
- the observation condition determination unit 68 determines which observation condition the observation target A corresponds to based on the reference image. The operation by can be made unnecessary.
- the preprocessing mode and the post-processing mode are switched according to the change of the observation target A. Therefore, it is suitable when the insertion part 2 is moved in the body and a plurality of observation objects A are continuously observed.
- the fluorescence observation apparatus 300 includes an observation site input unit 71 that inputs an observation site of the observation target A by an operator, instead of the observation condition input unit 7. This is mainly different from the first embodiment.
- the observation part input unit 71 is configured so that one of a plurality of preset observation parts is input by an operation by the operator.
- the observation site input unit 71 includes, for example, a foot switch (not shown).
- the observation site input unit 71 stores the observation site in the order of observation, and corrects the next observation site when the foot switch is operated by the operator.
- the data is output to the condition setting unit 66 ′′.
- the correction condition setting unit 66 ′′ associates the observation site, the preprocessing mode by the preprocessing unit 63 and its preprocessing parameter value, and the postprocessing mode and the postprocessing parameter value by the postprocessing unit 65.
- the processing condition data is stored.
- the correction condition setting unit 66 ′′ stores each processing mode of the pre-processing mode and the post-processing mode associated with the observation part input from the observation part input unit 71 in the processing condition data. Is set, and a signal instructing to perform correction processing with the set parameter value is output to the preprocessing unit 63 and the postprocessing unit 65, respectively.
- an observation site is input by the operator, and the preprocessing unit 63 is based on the input shape, structure, color, and other properties of the observation site.
- the parameter value of the correction process by the post-processing 65 is set by the correction condition setting unit 66 ".
- the fluorescence observation apparatus 400 replaces the observation condition input unit with an observation information input unit 72 in which information related to observation is input by an operator, and the observation information input unit 72. Is different from the first embodiment in that it includes an observation site determination unit 69 that determines an observation condition based on the observation-related information and the reference image input to the screen.
- the examination name and organ name of the observation target A are set as information related to observation.
- the operator selects one or more pieces of information regarding the set observation and inputs them to the observation information input unit 72.
- the observation site determination unit 69 determines an observation site from information related to observation set in the observation information input unit 72 and features detected from the reference image.
- the observation site determination unit 69 stores, for example, the examination name, the observation site, and the characteristics of the observation site in association with each other.
- the observation site determination unit 69 first selects some of the observation sites based on the examination name input from the observation information input unit 72 from all the stored observation sites.
- the observation region determination unit 69 determines an observation region by selecting one observation region based on the feature detected from the reference image from the selected partial observation regions, and sets the determination result as a correction condition.
- the unit 66 Since the process by the correction condition setting unit 66 ′′ is the same as the process by the correction condition setting unit 66 ′′ in the third embodiment, the description thereof is omitted.
- observation conditions such as an observation site and an observation method are limited
- an appropriate observation condition for each observation site can be determined relatively easily.
- the observation part is determined based on the information related to the observation input by the operator, and the preprocessing unit 63 and the post-processing 65 suitable for the observation part are used.
- the parameter value in the correction process is set by the correction condition setting unit 66 ".
- the fluorescence observation apparatus 500 according to the present embodiment is provided in the IC chip 73 attached to the insertion unit 2, the IC reader 74 provided in the light source 3, and the image processing unit 6. This is mainly different from the first embodiment in that an observation site determination unit 69 ′ is provided.
- the IC chip 73 stores, for example, information relating to the type of the insertion unit 2 as identification information of the insertion unit 2.
- the type of the insertion unit 2 differs depending on the observation conditions such as the observation site and the observation method.
- the identification information stored in the IC chip 73 provided in the insertion part 2 is read by the IC reader 74 and the observation part It is sent to the determination unit 69 ′.
- the observation site determination unit 69 ′ stores the type of the insertion unit 2, the observation site, and the characteristics of the observation site in association with each other.
- the observation site determination unit 69 ′ first selects some of the observation sites based on the type of the insertion unit 2 input from the IC reader 74 from all stored observation sites.
- the observation region determination unit 69 ′ determines the observation region by selecting one observation region based on the feature detected from the reference image from among the selected partial observation regions. Subsequent processing by the observation region determination unit 69 ′ and the correction condition setting unit 66 ′′ is the same as that in the third embodiment, and thus description thereof is omitted.
- the selection of the observation part is narrowed down from the type of the insertion unit 2, and the observation part is determined as one from the feature of the reference image.
- the pre-processing unit and the post-processing unit perform correction processing with the parameter values in the respective processing modes determined according to the observation site determined by the observation site determination unit 69 '.
- appropriate correction processing is performed for the dependency of the distance and angle based on a plurality of factors, and the dependency of the distance and angle between the final fluorescence image and the reference image is removed with high accuracy.
- each of the pre-processing unit 63 and the post-processing unit 65 may be mounted with all the processing modes described later, or only a part of the processing modes.
- the first pre-processing mode is a processing mode in which the overall brightness of the reference image or / and the fluorescence image is adjusted by adjusting the sensitivity of the image sensor according to the number of binning addition pixels and / or the exposure time of the image sensor. .
- Such a first preprocessing mode includes an observation distance from the distal end surface 2a of the insertion portion 2 to the observation object A, and an observation distance remaining in the division image due to attenuation of fluorescence intensity due to fat covering the tissue. This is suitable for removing the dependency on the observation angle. That is, the correction condition setting units 66 and 66 ′ of the fluorescence observation apparatuses 100 and 200 according to the first and second embodiments observe “local vision”, “overhead view”, “fat high fat”, and “fat low fat”.
- a preprocessing parameter value related to the first preprocessing mode is set when input or determined as a condition.
- the correction condition setting unit 66 ′′ of the fluorescence observation apparatuses 300, 400, and 500 according to the third to fifth embodiments is a “large omentum” or “under the diaphragm” that is observed from a bird's-eye view such as “Douglas fossa” that is locally observed
- the preprocessing parameter value related to the first preprocessing mode is set.
- the correction condition setting unit 66, 66 ′, 66 ′′ captures an image in the first pre-processing mode to be described later when the observation condition corresponds to local observation in which the amount of reflected light and fluorescent light tends to increase.
- Pre-processing parameter values are set in a direction to decrease the sensitivity of the element.
- the correction condition setting units 66, 66 ′, 66 ′′ have the observation conditions corresponding to the overhead observation in which the amount of reflected light and fluorescence tends to decrease.
- the preprocessing parameter value is set in a direction to increase the sensitivity of the image sensor.
- the first preprocessing mode is executed by the control circuit 31A provided in the preprocessing unit 63.
- the control circuit 31 ⁇ / b> A generates fluorescence image information based on the electrical signal acquired by the image sensor 18 and controls the sensitivity of the image sensor 18.
- control circuit 31A includes an image sensor driving circuit 32A for driving the image sensor 18, a signal reading circuit 33A for reading an electric signal from the image sensor 18, and an electric signal read by the signal reading circuit 33A.
- a sensitivity control circuit 34A for controlling the sensitivity of the image sensor 18 based on the image information and a image information construction circuit 35A for constructing fluorescence image information based on an electric signal from the signal reading circuit 33A are provided.
- the sensitivity control circuit 34A controls the sensitivity of the image sensor 18, that is, the binning setting control based on the intensity threshold values (preprocessing parameters) S1 and S2 set by the correction condition setting units 66, 66 ′, and 66 ′′.
- the intensity threshold values S1 and S2 are set larger by the correction condition setting units 66, 66 ′, and 66 ”when the observation condition corresponds to“ local observation ”or“ small amount of fat ”.
- the observation condition corresponding to “overhead observation” or “fat mass” is set smaller.
- the sensitivity control circuit 34A controls the signal reading circuit 33A to image the electric signal acquired by the image sensor 18 whose binning setting of the image sensor 18 is cancelled.
- the information is output to the information construction circuit 35A.
- the image information construction circuit 35A receives the electrical signal from the signal reading circuit 33A and constructs the fluorescence image information.
- the image information construction circuit 35 ⁇ / b> A outputs the constructed fluorescence image information to the fluorescence image generation unit 62.
- the operation of the first preprocessing mode performed by the preprocessing unit 63 configured as described above and the image processing unit 6 including the preprocessing unit 63 will be described with reference to FIGS. 7A to 7C and FIG.
- the binning setting of the image sensor 18 is set to binning 4 ⁇ 4 as shown in FIG. 7A (step SA1).
- the timer of the image processing unit 6 is operated to insert the insertion unit 2 into the subject, and a fluorescent image is captured by the imaging element 18 (step SA2).
- fluorescence is converted into an electrical signal.
- Step SA3 The electrical signal acquired by the image sensor 18 is output to the control circuit 31A and read into the signal reading circuit 33A, and it is determined whether or not there is a pixel group exceeding the intensity threshold S1 by the operation of the sensitivity control circuit 34A.
- Step SA3 if it is determined that there is no pixel group exceeding the intensity threshold S1, the process returns to step SA2 (step SA3 “NO”), and step SA2 and step until the pixel group exceeding the intensity threshold S1 is confirmed. The operation of SA3 is repeated.
- step SA3 “YES”) the sensitivity control circuit 34A sets the binning setting of the image sensor 18 to binning 2 ⁇ 2 as shown in FIG. 7B. (Step SA4). Then, by the operation of the image sensor 18 set to binning 2 ⁇ 2, an observation site that is substantially the same as the site imaged in step SA2 is imaged (step SA5).
- the electrical signal from each pixel group acquired by the image sensor 18 set to binning 2 ⁇ 2 is read into the signal reading circuit 33A of the control circuit 31A, and a predetermined intensity threshold S2 is set by the operation of the sensitivity control circuit 34A. It is determined whether or not there is a pixel group that exceeds (step SA6).
- step SA6 the sensitivity control circuit 34A operates to return to step SA1 (step SA6 “NO”), and the binning setting of the image sensor 18 is the same as the initial setting. Set to 4x4. The operations from step SA1 to step SA6 are repeated until a pixel group exceeding the intensity threshold S2 is confirmed.
- step SA6 “YES”) when it is determined that there is a pixel group exceeding the intensity threshold S2 (step SA6 “YES”), the sensitivity control circuit 34A cancels the binning setting of the image sensor 18 as shown in FIG. SA7). Then, due to the operation of the image sensor 18 whose binning setting has been canceled, an observation region that is substantially the same as the region imaged in step SA5 is imaged (step SA8).
- an electrical signal is acquired for each pixel by canceling the binning setting of the image sensor 18. Therefore, shooting can be performed with the highest resolution. Thereby, a clearer image of the observation target A having a portion where the fluorescence intensity exceeds the intensity threshold S2 can be acquired.
- the electrical signal acquired by the image sensor 18 is output from the signal reading circuit 33A to the image information construction circuit 35A by the operation of the sensitivity control circuit 34A, and the fluorescence image information is constructed.
- the fluorescence image information constructed in the image information construction circuit 35A is transmitted to the fluorescence image generation unit 62 of the image processing unit 6.
- the fluorescence image generation unit 62 outputs the fluorescence image generated from the input fluorescence image information to the preprocessing unit 63.
- the image pickup is performed by controlling the binning of the image sensor 18, the possibility of missing a lesion can be reduced, and only the presence / absence of a lesion is detected. In addition, the shape and size can be clearly photographed. In addition, since the acquired image is associated with the passage of time, the position of the lesion can be detected.
- the first preprocessing mode of this modification is mainly different from the first preprocessing mode described above in that the sensitivity control circuit 34A ′ controls the exposure time of the image sensor 18.
- the sensitivity control circuit 34A ′ sets the exposure time of the image sensor 18 as an exposure time T1 for taking in an appropriate amount of light, and an exposure time T0 longer than the exposure time T1. It is supposed to switch to. Further, when the exposure time T1 is set, the sensitivity control circuit 34A ′ controls the signal reading circuit 33A and outputs the read electric signal to the image information construction circuit 35A.
- the pre-processing unit 63 configured as described above first sets the exposure time of the image sensor 18 to T0 as an initial setting as shown in FIG. 10 (step SB1).
- fluorescence is detected for each pixel of the image sensor 18 and imaging is performed (step SB2).
- the exposure time of the image sensor 18 is set to T0, the exposure time is long, and instead of sacrificing the frame rate, the amount of light captured for each pixel can be increased from an appropriate amount. Therefore, even if it is weak fluorescence, since the electric signal acquired for every pixel becomes comparatively large, it is not overlooked and the presence or absence of fluorescence can be detected easily.
- Step SB3 the process returns to Step SB2 (“NO” in Step SB3) and exceeds the intensity threshold S1.
- the operations of step SB2 and step SB3 are repeated until the pixel is confirmed.
- the sensitivity control circuit 34A ′ sets the exposure time of the image sensor 18 to the exposure time T1 (step SB4). Then, a part of the body cavity inner wall 4 that is substantially the same as the part imaged in step SB2 is imaged at the exposure time T1 (step SB5).
- the image sensor 18 by setting the image sensor 18 to the exposure time T1 for taking in an appropriate amount of light, it is possible to improve the frame rate and reduce the influence of blurring, and it is clearer than the previous time around the part where fluorescence exists. An image can be obtained.
- the imaging is performed by controlling the exposure time of the image sensor 18, the possibility of missing a lesion can be reduced, and whether or not a lesion exists. Not only can the shape and size of the image be taken clearly.
- the first preprocessing mode can be modified as follows.
- the sensitivity control circuit 34A ′ controls the exposure time of the image sensor 18, and when there is a fluorescent high-luminance region, the exposure time is shortened to obtain clear fluorescence image information.
- the sensitivity control circuit 34A ′′ may switch the number of averaging processes (that is, the averaging process). For example, as shown in FIG. When the fluorescent image information is sequentially constructed and the fluorescent image information for a plurality of times is averaged and a high-luminance region of fluorescence exists, the sensitivity control circuit 34A ′′ may reduce the number of averaging.
- the average number N0 of the number of constructions is set as an initial setting (step SC1). Fluorescence is detected for each pixel of the image sensor 18 and photographing is performed (step SC2), and the acquired electrical signal is sent to the image information construction circuit 35A 'via the signal reading circuit 33A.
- the image information construction circuit 35A ' fluorescent image information is constructed based on the transmitted electric signal, and the past N0 fluorescent image information is averaged (step SC3).
- step SC4 determines that there is no pixel exceeding the predetermined intensity threshold S1 (“NO” at step SC4), the process returns to step SC2 to confirm the pixel exceeding the intensity threshold S1. The operation from step SC2 to step SC4 is repeated until it is done.
- the sensitivity control circuit 34A ′′ sets the averaging number N1 corresponding to the number of constructions less than the average number N0 (Step SC5) Then, a part of the body cavity inner wall 4 that is substantially the same as the part imaged in Step SC2 is imaged (Step SC6), and the image information construction circuit 35A ′ uses the past N1 times of the constructed fluorescence image information. (Step SC7) In this case, the influence of blurring can be reduced by setting the number of averaging to N1, which is smaller than N0, and the area around the site where fluorescence is present can be reduced. A clearer image than the previous time can be obtained.
- the sensitivity control circuit 34A ′′ switches from the averaging count N0 to the averaging count N1, but for example, there is a pixel that exceeds the luminance of the predetermined intensity threshold S1 by the averaging count N0. If it is determined that, the averaging process may be canceled, and the fluorescence image information recently constructed by the image information construction circuit 35A ′ may be transmitted to the fluorescence image generation unit 62. In the present modification, the image information construction circuit 35A ′ performs the averaging process of the fluorescence image information. However, the image information construction circuit 35A ′ simply adds the fluorescence image information and performs predetermined processing set in accordance with the addition process. The presence or absence of fluorescence may be detected by the intensity threshold.
- the preprocessing mode according to the present modification is executed by an incident light amount calculation circuit 31B and a sensitivity setting circuit 32B included in the preprocessing unit 63.
- Incident light quantity calculating circuit 31B calculates the amount of incident light p in to the imaging device 18.
- the sensitivity setting circuit 32B (storage unit) has a minimum binning addition pixel number B necessary for the SN ratio S / N to be equal to or greater than a preset SN threshold value (preprocessing parameter). It stores a table indicating a correspondence relationship between the incident light quantity p in.
- the correspondence relationship between the incident light quantity S 3 and binning added pixel number B of at least two patterns are set for different SN threshold are stored.
- the correction condition setting unit 66, 66 ′, 66 ′′ selects a table of patterns set for a smaller SN threshold when the observation condition corresponds to “local observation” or “small fat”, and performs “overhead observation” or It is designated to the sensitivity setting circuit 32B so as to select a pattern table set for a larger SN threshold value under the observation condition corresponding to “high fat”.
- Pre-processing unit 63 a binning added pixel number B corresponding to the quantity of incident light p in calculated by the incident light amount calculating circuit 31B, is adapted to set the image sensor 18 sensitivity setting circuit 32B is retrieved from the table .
- a method of calculating the incident light quantity p in accordance with incident light quantity calculating circuit 31B When light is incident on the imaging surface of the image sensor 18, the incident light is converted into charges according to the quantum yield (photon charge conversion efficiency) in the image sensor 18, and the charges are converted into the charge piezoelectric conversion coefficient in the amplifier. Is converted to a voltage in response to. This voltage value is converted into a digital signal according to the AD conversion coefficient of the A / D converter.
- the gradation value (luminance information) V which is a representative value of the pixel of the fluorescent image, is obtained by the equation (1).
- the representative value the average value or median value of the luminance of all pixels, the average value of the luminance of the region of interest, or the average value of the luminance of the upper few% of the histogram is used.
- V p in SB ⁇ C I-V C A-D ⁇ (1)
- p in the amount of incident light photons / ⁇ m 2
- S is the imaging pixel area ([mu] m 2 / pixel)
- B is binning summing the number of pixels (pixel)
- eta is the quantum yield (charge / photon)
- C AD is AD conversion factor.
- the S / N ratio S / N also depends on the noise characteristics of the image sensor 18.
- the S / N ratio S / N is obtained by the equation (3).
- S / N S ⁇ p in / ⁇ ((S ⁇ p in + N d t + N r 2 ) / B) (3)
- Nd is a dark current (charge / sec / pixel) per unit time per pixel
- Nr is readout noise (charge rms)
- t is an exposure time (sec)
- B is the number of binning added pixels.
- the binning addition pixel number B representing the relationship between the incident light quantity p in the SN ratio S / N
- the binning addition pixel number B is exemplified from no binning (1 ⁇ 1) to 10 ⁇ 10.
- S ⁇ 3.0 ⁇ m 2 / pixel, ⁇ 0.4, Nd ⁇ 50 charges / sec / pixel, and Nr ⁇ 5.4 charges rms are used. This value may be changed as appropriate depending on the image sensor to be used.
- the table stored in the sensitivity setting circuit 32B of the preprocessing unit 63 is the minimum binning addition pixel necessary for the SN ratio S / N to be 10 or more in the graph of FIG. It shows the relationship between the incident light quantity p in several B.
- the exposure time t is fixed at, for example, 0.024 sec (24 msec).
- the generated fluorescent image is sent to the preprocessing unit 63 (step SD1), as shown in FIG. Is obtained (step SD2). Then, representative values obtained is input to the incident light quantity calculating circuit 31B that is substituted into equation (2), the amount of incident light p in is calculated (step SD3). Calculated amount of incident light p in by being input to the sensitivity setting circuit 32B, the number of binning added pixel B corresponding to the quantity of incident light p in is output from the sensitivity setting circuit 32B (step SD4), is set to the image pickup device 18 (Step SD5).
- new fluorescence image information is acquired by the imaging element 18 in which the new binning addition pixel number B is set, and the fluorescence image generated by the fluorescence image generation unit 22 is used as the division fluorescence image. Is output.
- the binning addition pixel is extracted from the table stored in the sensitivity setting circuit 32B in accordance with the incident light amount pin determined from the luminance information of the fluorescent image. Since the number B is obtained, the minimum binning addition pixel number B at which the S / N ratio S / N is equal to or greater than the SN threshold can be set in the image sensor 18, and the resolution can be improved while preventing the image quality from being deteriorated. There is an advantage.
- the signal value for calculating the SN ratio S / N does not change even if the binning addition pixel number B changes.
- the signal value may change even if the brightness of the image is the same, and an appropriate SN threshold may not be set. According to the example, an appropriate SN threshold can be set without being affected by the binning addition pixel number B.
- the incident light quantity p in is calculated by the incident light quantity calculating circuit 31B
- the SN ratio S / N is lower than 10.
- a warning display may be performed on the monitor 20.
- the maximum binning addition pixel number B is not limited to 10 ⁇ 10, and may be larger or smaller.
- the SN threshold value of the SN ratio S / N may be set to a numerical value other than 10 depending on the performance of the fluorescent agent used. For example, when using a fluorescent agent with high lesion specificity and a large difference in the amount of fluorescence generated from normal tissue, the SN threshold may be set lower. Thereby, fluorescence observation with higher resolution and higher sensitivity can be performed.
- the first modification of the first preprocessing mode can be further modified as follows. That is, in the modification of the first modification of the first preprocessing mode, the preprocessing unit 63 may adjust not only the binning addition pixel number B but also the exposure time t.
- the preprocessing unit 63 includes an illuminance calculation circuit 33B that calculates the imaging surface illuminance E in on the imaging surface of the imaging element 18 based on the luminance information of the fluorescence image, and the imaging surface illuminance. and a sensitivity setting circuit 32B that stores a table showing the correspondence between the E in the binning summing pixel number B and the exposure time t.
- the imaging surface illuminance E in is the amount of incident light per unit time on the imaging surface, and can be calculated by Expression (4).
- E in V / (tSB ⁇ C I -V C A-D) ⁇ (4)
- the S / N ratio S / N can be expressed as a function of the imaging surface illuminance E in using the binning addition pixel number B and the exposure time t as parameters as shown in FIG. Then, as the table for guiding the imaging surface illuminance E in the number of binning added pixel B and the exposure time t, to adjust the binning added pixel number B as a standard exposure time 24msec in the table shown in FIG. 19, binning added pixel number B The exposure time t is increased or decreased at the time when becomes the maximum or minimum.
- S as used herein, eta, Nd, N r are using the same value as the first modified example described above.
- the imaging surface illuminance E in is obtained from the luminance information of the fluorescent image (step SD3 ′), and the imaging surface illuminance E in Accordingly, the binning addition pixel number B and the exposure time t are obtained from the table stored in the sensitivity setting circuit 32B (step SD4 ′).
- the exposure time t is set to 100 msec to 24 msec with the binning addition pixel number B fixed at 10 ⁇ 10. Is to be selected.
- the imaging surface illuminance E in is from 208 photons / sec / ⁇ m 2 to 4330 photons / sec / ⁇ m 2
- the binning addition pixel number B is 10 ⁇ 10 to 1 ⁇ with the exposure time t fixed at 24 msec. Up to 1 is selected.
- the exposure time t is selected from 24 msec to 8 msec with the binning addition pixel number B fixed at 1 ⁇ 1. It has become.
- SN threshold S 3 of may further include a threshold input section 41 for inputting from the outside.
- Threshold input unit 34B is, for example, a selector switch or button or the like, and is capable of selecting one of 6,10,15 as SN threshold S 3 of the SN ratio S / N.
- the sensitivity setting circuit 32B stores a table shown in FIG. Sensitivity setting circuit 32B, based on the amount of incident light p in which is calculated by the SN threshold S 3 and the incident light amount calculating circuit 31B which is input from the threshold input unit 34B, and select the binning summing pixel number B from the table, the image pickup device 18 It is supposed to be set to.
- the observation site becomes relatively small. Since it is conceivable that the visibility is lowered, there is an advantage that the sensitivity for ensuring the visibility can be obtained by increasing the SN threshold value of the SN ratio S / N.
- the binning added pixel number B stored in the table according to SN threshold S 3 input from the threshold input portion 34B instead of selecting the sensitivity setting circuit 32B is, store a graph shown in FIG. 23 showing the relation between the incident light quantity p in the SN ratio S / N of each number of binning added pixel B, SN threshold S
- the smallest number of binning addition pixels that can achieve an SN ratio S / N that is equal to or higher than the SN threshold S 3 from the stored graph using the input SN threshold S 3 each time It is good also as creating the table which selected B.
- the binning addition pixel number B may be adjusted as in the modification of the first modification. Further, it may be that the SN ratio S / N SN threshold S 3 of an operator input before starting the observation, depending on the application, may be able to enter depending on the situation during the observation.
- the SN threshold S 3 input from the threshold input portion 34B instead of this, as shown in FIG. 24, generated by the fluorescence-image generating unit the contrast calculating circuit 35B for calculating the contrast of the image from the fluorescence image formed, on the basis of the contrast T / C calculated by the contrast calculating circuit 35B, it is also possible to set the SN threshold S 3 of the SN ratio S / N .
- the sensitivity setting circuit 32B should be stored a table for associating the contrast T / C and SN threshold S 3.
- the contrast calculation circuit 35B for example, a histogram of the fluorescent image is generated, and a ratio T / C between the average value C of the entire gradation value and the average value T of the upper 5% of the histogram may be calculated as the contrast.
- the contrast T / C of the fluorescent agent used is high, set low SN threshold S 3 of the SN ratio S / N, the contrast T / C is low Is preferably a table that increases the SN threshold value of the SN ratio S / N. Since setting the SN threshold S 3 of the SN ratio S / N based on the actually obtained fluorescence image, it is possible to set an appropriate SN threshold than when manually entered.
- the average T of the top 5% of the histogram is used as the contrast T / C.
- the average value T is not limited to this.
- the average value T of the upper 10% of the histogram may be used.
- the reference value luminance D / of the reference image is obtained by dividing the representative value D such as the average value of the luminance value of the reference image generated by the reference image generation unit 61 by the exposure time t.
- the luminance calculation circuit 36B for calculating the t provided, the sensitivity setting circuit 32B, a table which corresponds the luminance D / t and SN threshold S 3 of the reference image should be stored.
- an SN threshold S 3 of the SN ratio S / N may be set to a low value.
- the observation site is displayed larger, so that even if the resolution is lowered or image blurring occurs, it is allowed to some extent.
- a higher SN threshold S 3 of the SN ratio S / N it may be to a larger amount of binning added pixel number B.
- the exposure time t may be set so as not to become too much binning added pixel number B too long.
- the value of luminance D / t is an example when the luminance value is expressed in 12-bit gradation and the exposure time is expressed in unit sec. That is, when D / t is 100,000, the gradation value is 2400 when the exposure time is 24 msec.
- an image blur calculation circuit 37B that calculates an image blur M from the reference image generated by the reference image generation unit 61 is provided, and the sensitivity setting circuit 32B determines the magnitude of the calculated image blur M. Accordingly, a table that associates the exposure time t, the binning addition pixel number B, and the imaging surface illuminance E in may be selected.
- the image blur M can be calculated, for example, by calculating a blur amount using a known technique and digitizing the blur amount.
- the sensitivity setting circuit 32B compares the image blur M sent from the image blur calculation circuit 37B with predetermined threshold values M1 and M2, and divides the image blur into three cases of M ⁇ M1, M1 ⁇ M ⁇ M2, and M2 ⁇ M. And select the table.
- FIG. 29 shows an example of a table when M ⁇ M1
- FIG. 19 shows an example of a table when M1 ⁇ M ⁇ M2
- FIG. 30 shows an example of a table when M2 ⁇ M.
- the table of FIG. 29 shows the case where the image blur M is the smallest, and observation with high resolution is performed by giving priority to increasing the exposure time t while keeping the binning addition pixel number B small.
- the table of FIG. 19 shows a case where the image blur M is medium, and the binning addition pixel number B is changed with the exposure time t as a standard value of 24 msec.
- the table of FIG. 30 shows the case where the image blur M is the largest, and priority is given to shortening the exposure time t so as to improve the visibility by suppressing the image blur M. Thereby, sensitivity adjustment more suitable for an observation situation can be performed.
- a luminance calculation circuit 36B for calculating the luminance I of the reference image generated by the reference image generation unit 61 is provided, and the sensitivity setting circuit 32B is calculated.
- a table for associating the exposure time t, the binning addition pixel number B, and the imaging surface illuminance E in may be selected.
- the sensitivity setting circuit 32B compares the luminance I of the reference image sent from the luminance calculation circuit 36B with predetermined threshold values I1 and I2, and in the three cases of I ⁇ I1, I1 ⁇ I ⁇ I2, and I2 ⁇ I.
- the table is selected separately.
- FIG. 32 shows an example of the table when I ⁇ I1
- FIG. 19 shows an example of the table when I1 ⁇ I ⁇ I2
- FIG. 33 shows an example of the table when I2 ⁇ I.
- the table of FIG. 32 shows the case where the luminance I of the reference image is the smallest, and observation with a high resolution is performed by giving priority to increasing the exposure time t while keeping the binning addition pixel number B small. .
- the table of FIG. 19 shows the case where the luminance I is medium, and the binning addition pixel number B is changed with the exposure time t as a standard value of 24 msec.
- the table of FIG. 33 is the case where the luminance I is the highest, and priority is given to shortening the exposure time t, so that image blur is suppressed and visibility is improved.
- a small luminance I means that the observation distance is large, and the size of the lesion in the image is small, so that high-resolution imaging is required. Therefore, it is especially effective for applications that require a high resolution, such as applications where the observation distance is relatively large, such as abdominal endoscopes and observations in the stomach, and small lesions such as peritoneal dissemination metastases. It is a simple method.
- a display correction unit 45 that corrects by multiplying the gradation value of the fluorescent image generated by the fluorescent image generation unit 22 by the conversion coefficient C raw-display of the following equation (7). You may decide.
- C raw-display B max t max / Bt (7)
- B max is an upper limit value of the binning added pixel number B
- t max is an upper limit value of the exposure time t.
- the sensitivity setting circuit 32B includes May store information indicating a correspondence relationship between the incident light amount p in (or imaging surface illuminance) and the appropriate number of binning addition pixels B and exposure time t for each type of information of the insertion unit 2. .
- the identification information in the IC chip 7374 provided in the insertion unit 2 is read by the IC reader 74 and sent to the sensitivity setting circuit 32B.
- the sensitivity setting circuit 32B the binning addition pixel number B and / or the exposure time t corresponding to the identification information of the insertion section 2 are automatically selected, so that observation can be performed with sensitivity suitable for the observation conditions. .
- the second modification of the first preprocessing mode is executed by an SN ratio calculation circuit (image quality evaluation unit) 38B and a sensitivity setting circuit 32B ′ included in the preprocessing unit 63.
- the SN ratio calculation circuit 38B calculates the SN ratio SNR based on the luminance information of the fluorescent image.
- the sensitivity setting circuit 32B ′ sets the sensitivity of the image sensor 18 based on the SN ratio SNR calculated by the SN ratio calculation circuit 38B.
- the S / N ratio calculation circuit 38B sets a region of interest ROI in a fluorescent image, and ROIs of a plurality of fluorescent images acquired at different times sent from the fluorescent image generation unit 22.
- the average value and the fluctuation (standard deviation value) in the time axis direction are calculated from the gradation value of each pixel in the equation 1 and 2.
- V (x, y, j) is the gradation value of the pixel at the coordinate (x, y) in the ROI of the fluorescent image acquired at the j-th time
- V * (x, y) is an average value of the gradation values V (x, y, j) from 1 to n
- n is a preset number of fluorescent images
- S (x, y) is a temporal fluctuation of the 1st to nth gradation values V (x, y, j).
- the S / N ratio SNR is calculated by Equation 3 using the average value V * (x, y) and the fluctuation S (x, y) calculated for all the pixels in the ROI according to Equations 1 and 2. It has become.
- Equation 3 the value obtained by dividing the average value V * (x, y) by the fluctuation S (x, y) is averaged over all the pixels in the ROI.
- the SN ratio calculation circuit 38B stores the gradation values of all the pixels in the ROI each time a fluorescent image is sent from the fluorescent image generation unit 62, and is determined in advance.
- the average value V * (x, y) for all pixels within the ROI and fluctuations S (x, y) and calculates an average value V * (x, y) Is divided by the fluctuation S (x, y).
- the SN ratio SNR is calculated by averaging these. Yes.
- the sensitivity setting circuit 32B ′ stores the first SN threshold value and the second SN threshold value input from the correction condition setting units 66, 66 ′, 66 ′′, and the SN ratio SNR calculated by the SN ratio calculation circuit 38B.
- the sensitivity of the image sensor 18 is adjusted by the binning addition pixel number B and the exposure time t such that the first and second SN threshold values (preprocessing parameters) ) Is set by the correction condition setting unit 66, 66 ′, 66 ”for a smaller value when the observation condition corresponds to“ local observation ”or“ small amount of fat ”, and corresponds to“ overhead observation ”or“ high amount of fat ”. It is set to a larger value when viewing conditions are set.
- the SN ratio SNR calculated by the SN ratio calculation circuit 38B is compared with the first SN threshold (step SE71), and the SN ratio SNR becomes the first SN threshold. If it is smaller, it is determined whether or not the binning addition pixel number B is the upper limit (step SE72). If it is not the upper limit, the binning addition pixel number B is increased (step SE73).
- step SE72 if the binning addition pixel number B is the upper limit, it is determined whether or not the exposure time t is the upper limit (step SE74). If not, the exposure time t is increased. (Step SE75). The new binning addition pixel number B and / or exposure time t is set in the image sensor 18 (step SE81). In step SE74, when the exposure time t is the upper limit, the process returns to the next sensitivity setting without performing the process.
- the SN ratio SNR is compared with the second SN threshold (step SE76), and when the SN ratio SNR is greater than the second SN threshold. Then, it is determined whether or not the binning addition pixel number B is the lower limit (step SE77). If it is not the lower limit, the binning addition pixel number B is reduced (step SE78).
- step SE77 if the binning addition pixel number B is the lower limit, it is determined whether or not the exposure time t is the lower limit (step SE79). If it is not the lower limit, the exposure time is shortened. (Step SE80). The new binning addition pixel number B and / or exposure time t is set in the image sensor 18 (step SE81). In step SE79, when the exposure time t is the lower limit, the process returns to the next sensitivity setting without performing processing.
- a plurality of fluorescent images acquired and generated at different times are sent to the preprocessing unit 63.
- Step SE1 and stored in the SN ratio calculation circuit 38B Step SE2
- step SE3 it is determined whether or not n preset fluorescence images have been accumulated. If accumulated, in the SN ratio calculation circuit 38B, the fluorescence image within the preset ROI is determined. Based on the gradation value of each pixel, the average value and fluctuation of the gradation value are calculated (step SE4), and the average value is divided by the fluctuation for each pixel (step SE5). Further, an average value of values obtained by dividing the average value by fluctuation for all the pixels in the ROI is calculated as the SN ratio SNR (step SE6) and sent to the sensitivity setting circuit 32B '(step SE7).
- the transmitted SN ratio SNR is compared with the first SN threshold value (step SE71).
- the S / N ratio SNR is smaller than the first SN threshold value, it is determined whether or not the set binning addition pixel number B is an upper limit value (step SE72).
- the number of pixels B is increased by a predetermined increase (step SE73) and set to the image sensor 18 (step SE81).
- the exposure time t is the upper limit (step SE74). If the exposure time t is not the upper limit value, the exposure time t is increased by a predetermined increment and set in the image sensor 18 (step SE81). If the exposure time t is the upper limit value, the sensitivity change is performed. The sensitivity setting process ends without being performed.
- step SE71 when the SN ratio SNR is equal to or larger than the first SN threshold, the SN ratio SNR is compared with the second SN threshold (step SE76).
- the S / N ratio SNR is larger than the second SN threshold value, it is determined whether or not the set binning addition pixel number B is the lower limit value (step SE77).
- the number B is decreased by a predetermined decrease (step SE78) and set to the image sensor 18 (step SE81).
- step SE79 it is determined whether or not the exposure time t is the lower limit value.
- the exposure time t is shortened by a predetermined decrease (step SE80), set in the image sensor 18 (step SE81), and the exposure time t is the lower limit value.
- the sensitivity setting process ends without changing the sensitivity. In the sensitivity setting process, the process from step SE1 is repeated until the observation is completed (step SE8).
- the fluorescence image information is acquired by the imaging element 18 in which the binning addition pixel number B and / or the exposure time t is newly set, and the fluorescence image generated in the fluorescence image generation unit 62 is the fluorescence for division.
- the image is output to the divided image generation unit 64 as an image.
- the binning addition pixel number B and / or the exposure time t can be set in the image sensor 18 so that the SN ratio SNR obtained from the luminance information of the fluorescence image is equal to or greater than the first SN threshold. Fluorescence observation can be performed while ensuring the necessary image quality. Further, the number of binning added pixels B and / or the exposure time t can be set in the image sensor 18 so that the S / N ratio SNR is equal to or less than the second SN threshold, and fluorescence observation with minimal influence of image blurring is possible. It can be performed.
- the SN ratio SNR is calculated using the luminance information of the actually acquired fluorescence image, there is an advantage that sensitivity adjustment suitable for the situation can be performed.
- the SN ratio SNR is calculated using the luminance information of the actually acquired fluorescence image, it is always appropriate without being affected by the insertion unit 2 and other individual differences and errors exchanged according to the observation conditions. Sensitivity adjustment can be performed.
- the exposure time t is adjusted when the adjustment becomes impossible after the adjustment of the number B of the binning addition pixels. You may go.
- the binning addition pixel number B and / or the exposure time t are adjusted by the two SN thresholds, it may be adjusted by a single SN threshold instead.
- the SN ratio calculation circuit 38B calculates the average value and fluctuation in the time axis direction, but instead of this, the spatial average value and The SN ratio SNR may be calculated based on the fluctuation.
- the SN ratio calculation circuit 38B for a plurality of regions of interest ROI set in the fluorescent image sent from the fluorescent image generating unit 62, fluctuates with the average value and fluctuation of the gradation value of each pixel in each ROI. (Standard deviation value) is calculated by Equation 4 and Equation 5.
- V (x, y) is the gradation value of the pixel at coordinates (x, y) in the ROI of the fluorescent image
- n (j) is the number of pixels in the jth ROI
- V * (j) is an average value of gradation values V (x, y) in the j-th ROI
- S (j) is a spatial fluctuation of the gradation value V (x, y) in the j-th ROI.
- the SN ratio is calculated from a single fluorescence image, rather than accumulating a plurality of fluorescence images and calculating the SN ratio SNR.
- the calculation of the SNR has an advantage that the SN ratio SNR can be accurately calculated and appropriate sensitivity adjustment can be performed.
- the SN threshold value may be made variable.
- Threshold input unit 34B is, for example, a selector switch or button or the like, and is capable of selecting a SN threshold S 3 of the SN ratio SNR.
- the contrast T / C of the image is calculated from the fluorescence image generated by the fluorescence image generation unit 62 as illustrated in FIG. contrast calculating circuit 35B that 'the provided
- the contrast calculating circuit 35B' on the basis of the contrast T / C calculated by, may set the SN threshold S 3 of the SN ratio SNR.
- the sensitivity setting circuit 32B ′ may store a table associating the contrast T / C and the SN threshold as shown in FIG.
- the contrast calculation circuit 35B ′ for example, a histogram of the fluorescent image is generated, and the ratio T / C between the average value C of the entire gradation value and the average value T of the upper 5% of the histogram may be calculated as the contrast. .
- the SN threshold of the SN ratio SNR is set low, and when the contrast T / C is low, the SN threshold of the SN ratio SNR is increased.
- a table is preferred. By doing in this way, since the SN threshold value of the SN ratio SNR is set based on the actually obtained fluorescence image, it is possible to set a more appropriate SN threshold value than when manually inputting.
- the average T of the top 5% of the histogram is used as the contrast T / C.
- the average value T is not limited to this.
- the average value T of the upper 10% of the histogram may be used.
- the SN threshold value of the SN ratio SNR may be set from the luminance value of the reference image.
- the luminance value D / of the reference image is obtained by dividing the representative value D such as the average value of the luminance values of the reference image generated by the reference image generation unit 61 by the exposure time t.
- a luminance calculation unit 36B ′ for calculating t may be provided, and a table for associating the luminance D / t of the reference image with the SN threshold may be stored in the sensitivity setting circuit 32B ′.
- the SN ratio is improved to improve the visibility of the observation target A.
- the observation site is displayed larger, so that even if the resolution is lowered or image blurring occurs, it is allowed to some extent.
- a higher SN threshold S 3 of the SN ratio SNR it may be to a larger amount of binning added pixel number B.
- the exposure time t may be set so as not to become too much binning added pixel number B too long.
- an image blur calculation circuit 37B ′ for calculating an image blur M from the reference image generated by the reference image generation unit 61 is provided, and the sensitivity setting circuit 32B ′ has the calculated image blur M calculated.
- the exposure time t and the binning addition pixel number B may be set in accordance with the size of.
- the image blur M can be calculated by calculating the amount of image blur using a known technique and digitizing the amount of blur.
- the sensitivity setting circuit 32B determines whether or not the SN ratio SNR is smaller than a first SN threshold value set in advance (step SE71). If it is smaller than the first SN threshold value, the image blur M sent from the image blur calculation circuit 37B ′ is compared with a predetermined threshold M1, and it is determined whether M> M1 (step SE82). When the image blur M is larger than the threshold value M1, the process proceeds to step SE72. When the image blur M is equal to or smaller than the threshold value M1, the process proceeds to step SE74.
- step SE76 If the SN ratio SNR is equal to or greater than the first SN threshold value set in advance, it is determined whether the SN ratio SNR is larger than the second SN threshold value set in advance (step SE76). If it is larger than the second SN threshold value, the image blur M sent from the image blur calculation circuit 37B ′ is compared with a predetermined threshold M1, and it is determined whether M> M1 (step SE83). If the image blur M is larger than the threshold value M1, the process proceeds to step SE77. If the image blur M is equal to or smaller than the threshold value M1, the process proceeds to step SE79.
- a luminance calculation unit 36B ′ for calculating the luminance I of the reference image generated by the reference image generation unit 61 is provided, and the sensitivity setting circuit 32B ′ is provided.
- the exposure time t and the binning addition pixel number B may be set in accordance with the calculated luminance I of the reference image.
- the sensitivity setting circuit 32B determines whether or not the SN ratio SNR is smaller than a first SN threshold value set in advance (step SE71). If it is smaller than the first SN threshold value, the luminance I sent from the luminance calculation unit 36B ′ is compared with a predetermined threshold value I1, and it is determined whether I> I1 (step SE84). When I is larger than the threshold value I1, the process proceeds to step SE72, and when luminance I is equal to or less than the threshold value I1, the process proceeds to step SE74.
- step SE76 If the SN ratio SNR is equal to or greater than the first SN threshold value set in advance, it is determined whether the SN ratio SNR is larger than the second SN threshold value set in advance (step SE76). If it is larger than the second SN threshold value, the luminance I sent from the luminance calculation unit is compared with a predetermined threshold value I1 to determine whether or not I> I1 (step SE85). If greater than the threshold value I1, the process proceeds to step SE77. If the luminance I is less than or equal to the threshold value I1, the process proceeds to step SE79.
- the luminance I is high, that is, when the observation distance is relatively small, the observation region is relatively large and displayed on the image, so that the observation region can be sufficiently visually recognized even if the resolution is slightly reduced. Therefore, in this case, there is an advantage that image blurring can be suppressed because the binning addition pixel number B is set to be larger and the exposure time t may be shorter.
- the binning addition pixel number B is set to be small.
- This configuration allows more appropriate sensitivity adjustment. Especially effective for applications where a high resolution is required, such as applications where the observation distance is relatively large, such as observation in the abdominal endoscope or stomach, or small lesions such as peritoneal dissemination metastases. It is.
- the second modification of the first preprocessing mode described above can be further modified as follows. That is, as shown in FIG. 47, the preprocessing unit 63 measures the movement speed of the insertion unit 2 based on the reference image generated by the reference image generation unit 61, and the fluorescence image generation. SN ratio calculation circuit 381B that calculates the SN ratio SNR from the average value and fluctuation in the time axis direction based on the fluorescence image generated by the unit 62, and SN that calculates the SN ratio SNR from the spatial average value and fluctuation A ratio calculation circuit 382B.
- the sensitivity setting circuit 32B ′ selects which S / N ratio SNR output by the S / N ratio calculation circuit 381B or 382B to be used according to the speed N of movement measured by the movement measurement circuit 39B. It has become. Specifically, when the motion speed N is greater than a predetermined threshold N1, the SN ratio SNR calculated from the spatial average value and fluctuation output from the SN ratio calculation circuit 382B is used, and when the threshold N1 or less. The SNR SNR calculated from the average value and fluctuation in the time axis direction output from the SN ratio calculation circuit 381B is used.
- the ratio SNR is more preferable because it can be accurately calculated.
- the average value in the time axis direction and the SN ratio SNR using fluctuations that are less susceptible to variations due to individual differences among the image sensors 18 can be calculated more accurately. Therefore, it is more preferable.
- an appropriate SN threshold is set for each identification information of the insertion unit 2 in the sensitivity setting circuit 32B ′. It may be memorized.
- the identification information in the IC chip 73 provided in the insertion section 2 is read by the IC reader 74 and the correction condition setting sections 66, 66 ′, 66 ′′ or the sensitivity.
- the correction condition setting unit 66, 66 ′, 66 ′′ or the sensitivity setting circuit 32B ′ the SN threshold value corresponding to the identification information of the insertion unit 2 is automatically selected. Observation can be performed with sensitivity suitable for the conditions.
- the second preprocessing mode is a processing mode in which a value based on the observation distance is raised to at least one of the reference image and the fluorescence image.
- Such a second pre-processing mode is suitable for removing the dependency of the observation distance and the observation angle remaining in the divided image due to the observation distance from the imaging elements 17 and 18 to the observation target A. That is, the correction condition setting units 66 and 66 ′ of the fluorescence observation apparatuses 100 and 200 according to the first and second embodiments are the second when “local vision” and “overhead view” are input or determined as the observation conditions. Set the preprocessing parameters for the preprocessing mode.
- the correction condition setting unit 66 ′′ of the fluorescence observation apparatuses 300, 400, and 500 according to the third to fifth embodiments is a “large omentum” or “under the diaphragm” that is observed from a bird's-eye view, such as “Douglas fossa” that is locally observed.
- enteric membrane or the like is input or determined, the preprocessing parameter of the second preprocessing mode is set.
- the second pre-processing mode is obtained by first approximating the distance characteristic from the illumination unit 4 of the brightness of the fluorescent image generated when the observation target is irradiated with the excitation light of a predetermined intensity to the observation target.
- the reciprocal of the power value (pre-processing parameter) is raised to the luminance value of the fluorescent image
- the distance characteristic from the illumination unit of the reference image generated when the observation object is irradiated with illumination light of a predetermined intensity to the observation object Is a mode in which the reciprocal of the second power value (preprocessing parameter) obtained by power approximation is raised to the luminance value of the reference image.
- the correction condition setting unit 62, 62 ′, 62 ′′ makes the preprocessing unit 63 to increase at least one of the first and second power values when the observation condition corresponds to “local vision”.
- a command is issued, and when the observation condition corresponds to “overhead view”, the command is issued to the preprocessing 63 so that at least one of the first and second power values is reduced.
- the second preprocessing mode is executed by the fluorescence exposure time adjustment circuit 31C, the reflected light exposure time adjustment circuit 32C, and the image correction circuit 33C included in the preprocessing unit 63.
- the fluorescence exposure time adjustment circuit 31C adjusts the exposure time (imaging conditions) of the imaging device 18 for fluorescence images.
- the reflected light exposure time adjustment circuit 58 adjusts the exposure time (imaging condition) of the image sensor 17 for reference images.
- the image correction circuit 33C corrects the fluorescence image generated by the fluorescence image generation unit 62 using the reference image generated by the reference image generation unit 61.
- the fluorescence exposure time adjustment circuit 31C adjusts the exposure time of the image sensor 18 based on the luminance value of the fluorescence image generated by the fluorescence image generation unit 62.
- the reflected light exposure time adjustment circuit 32 ⁇ / b> C adjusts the exposure time of the image sensor 17 based on the luminance value of the reference image generated by the reference image generation unit 61.
- the luminance value of the fluorescent image and the luminance value of the reference image are changed from the illumination unit 20 to the observation target A while changing the distance (hereinafter referred to as “observation distance”) Dn from the distal end 2a of the insertion portion 2 to the observation target A.
- observation distance the distance
- an average value of luminance values of a predetermined region (hereinafter referred to as “region of interest”) of a fluorescence image and a reference image obtained by irradiating excitation light and illumination light is used.
- the observation distance Dn is set to D0, D1, D2 (D0 ⁇ D1 ⁇ D2) with respect to a standard sample 81 that is close to the optical characteristics of a living body, such as a fluorescent dye injected into a large intestine tissue of a pig.
- Illumination light is irradiated while changing to, and fluorescence images as shown in FIGS. 50A to 50C and FIGS. 51A to 51C are acquired.
- reference numeral 83 indicates a field of view of the image sensor 18 and reference numeral 85 indicates a region of interest.
- the region of interest 85 is not affected regardless of the observation distance Dn.
- the luminance value is calculated with a constant size.
- the fluorescence intensity in the standard sample 81 is not constant, for example, when the surface of the observation target A is uneven or when the fluorescence distribution in the observation target A is uneven, it is shown in FIGS. 51A to 51C.
- the brightness value is calculated by changing the size of the region of interest 85 according to the observation distance Dn. By changing the size of the region of interest, the luminance value of the same part can be obtained even if the observation distance Dn is changed.
- the image correction circuit 33C includes a fluorescent image standard circuit 34C that normalizes the luminance of the fluorescent image generated by the fluorescent image generation unit 62, a fluorescent image preprocessing circuit 35C that performs arithmetic processing on the fluorescent image whose luminance is standardized, A reference image standard circuit 36C that normalizes the luminance of the reference image acquired by the reference image generation unit 61 and a reference image preprocessing circuit 37C that performs arithmetic processing on the reference image whose luminance is standardized are provided.
- the division reference image acquired by the reference image preprocessing circuit 37C and the division fluorescence image acquired by the fluorescence image preprocessing circuit 35C are output to the division image generation unit 64.
- the fluorescence image standard circuit 34C reads the luminance value of the fluorescence image from the fluorescence image generation unit 62 and divides it by the exposure time of the image sensor 18 set by the fluorescence exposure time adjustment circuit 31C.
- the fluorescence image preprocessing circuit 35C obtains the observation distance Dn of the luminance of the fluorescence image acquired by the imaging device 18 when the excitation light having a predetermined intensity is irradiated toward the observation target A and normalized by the fluorescence image standard circuit 34C.
- a reciprocal 1 / ⁇ (or -1 / ⁇ ) of the first power value ⁇ obtained by power approximation of the distance characteristic at is raised to the luminance value of the normalized fluorescent image to obtain a division fluorescent image It is like that. Specifically, the following power calculation is performed.
- FL after A ⁇ FL before x (9)
- FL after luminance value of the fluorescent image for division
- FL before luminance value of the fluorescent image
- x 1 / ⁇ or -1 / ⁇ : first power value
- A constant.
- the reference image standard circuit 36C reads the luminance information of the reference image from the reference image generation unit 61, and divides it by the exposure time of the image sensor 17 set by the reflected light exposure time adjustment circuit 32C. .
- the reference image preprocessing circuit 37C observes the luminance of the reference image acquired by the image sensor 17 and standardized by the reference image standard circuit 36C when reflected light having a predetermined intensity is irradiated toward the observation target A.
- the reciprocal 1 / ⁇ (or -1 / ⁇ ) of the second power value ⁇ obtained by power approximation of the distance characteristic at the distance Dn is raised to the luminance value of the standardized reference image to obtain the reference image for division. To get. Specifically, the following power calculation is performed.
- RL after B ⁇ RL before y (10)
- RL after is the luminance value of the reference image for division
- RL before is the luminance value of the reference image
- y is 1 / ⁇ or ⁇ 1 / ⁇
- ⁇ is the second power value
- B is a constant.
- the image synthesis unit 67 As shown in FIG. 52, the luminance value of the divided image K and the abundance of the fluorescent agent (that is, fluorescence) It is preferable that a concentration conversion table 87 associated with (concentration of drug) is provided so that the fluorescence density of a specific region is displayed on the monitor 20.
- the fluorescence image information acquired by the image sensor 18 and the reference image information acquired by the image sensor 17 are respectively sent to the image processing unit 6. Input and image processing.
- the image processing in the image processing unit 6 will be described with reference to the flowchart of FIG.
- Fluorescence image information from the image sensor 18 is input to the fluorescence image generation unit 62, and a two-dimensional fluorescence image is generated.
- the exposure time of the image sensor 18 is set by the fluorescence exposure time adjustment circuit 31C based on the luminance value of the fluorescence image generated by the fluorescence image generation unit 62 (step SF1).
- the fluorescence image generation part 62 the fluorescence image of appropriate brightness is acquired irrespective of the brightness
- the reference image information is input to the reference image generation unit 61, and a two-dimensional reference image is generated.
- the exposure time of the image sensor 17 is adjusted by the reflected light exposure time adjustment circuit 32C based on the luminance value of the reference image generated by the reference image generation unit 61 (step SG1).
- the reference image generation part 61 the reference image of appropriate brightness is acquired irrespective of the brightness
- the fluorescence image generated by the fluorescence image generation unit 62 and the reference image generated by the reference image generation unit 61 are respectively sent to the image correction circuit 33C.
- the fluorescence image acquired by the imaging element 18 includes information on the power of the fluorescence distance at the observation distance Dn
- the reference image acquired by the imaging element 17 includes illumination light at the observation distance D. Contains information about the power of the distance.
- the distance characteristic at the observation distance Dn of the luminance of the fluorescent image and the distance characteristic at the observation distance Dn of the luminance of the reference image Is different.
- the exposure time of the image sensor 18 and the exposure time of the image sensor 17 are different, the luminance value of the fluorescent image and the luminance value of the reference image are different from each other.
- the luminance value of the fluorescent image is divided by the exposure time of the image sensor 18 by the fluorescent image standard circuit 34C (step SF3).
- the difference of the exposure time in a fluorescence image is standardized, and a fluorescence image is unified into the luminance value per unit time.
- the reference image standard circuit 36C divides the luminance value of the reference image by the exposure time of the image sensor 17 (step SG3). Thereby, the influence of the exposure time in the reference image is standardized, and the reference image is unified to the luminance value per unit time.
- the fluorescent image whose luminance is normalized by the fluorescent image standard circuit 34C is sent to the fluorescent image preprocessing circuit 35C, and the reference image whose luminance is standardized by the reference image standard circuit 36C is sent to the reference image preprocessing circuit 37C. It is done.
- the luminance value when the excitation light or the reflected light with a predetermined intensity is irradiated toward the observation target A is set.
- Plotted against the observation distance Dn Plotted against the observation distance Dn.
- the observation distance Dn is changed to D0, D1, D2, D3, and D4 (D0 ⁇ D1 ⁇ D2 ⁇ D3 ⁇ D4), and the obtained distance characteristic is approximated to the power approximation, that is, the power functions D ⁇ and D ⁇ are returned.
- regression curves as shown in FIGS. 55A and 55B are obtained.
- the first power value ⁇ and the second power value ⁇ that indicate the dependence on the observation distance Dn are obtained.
- the vertical axis represents the luminance value of the fluorescent image or the reference image
- the horizontal axis represents the observation distance Dn.
- the reciprocal 1 / ⁇ of the first power value ⁇ is raised to the luminance value for each pixel of the fluorescence image by the correction calculation formula (9) (step SF4).
- the reciprocal 1 / ⁇ of the second power value ⁇ is raised to the luminance value for each pixel of the reference image by the correction calculation formula (10) (step SG4).
- the division fluorescence image and the division reference image are respectively sent to the division image generation unit 64, and the division fluorescence image is divided by the division reference image (step SFG5). Since the fluorescence image for division and the reference image for division are in a relationship in which the luminance is proportional to the change in distance by the power calculation process, dividing the fluorescence image for division by the reference image results in FIG. 56A. As shown in the drawing, it is possible to obtain a quantitatively divided image K in which the dependence of distance is canceled and is accurately corrected.
- the distance between the fluorescence image and the reference image is corrected by correcting the fluorescence image after making the information on the power of the distance included in the fluorescence image and the reference image the same. It is possible to acquire a fluorescence image for division having a high quantitative property in which the dependence of. This makes it possible to accurately diagnose the lesion from the luminance value of the division fluorescent image.
- FIG. 56B shows the relationship between the luminance value of the fluorescent image and the observation distance Dn when the fluorescent image is divided by the reference image without performing the power calculation process. Since the fluorescence image and the reference image that have not been subjected to the power calculation process include information on the power of the distance from each other, simply dividing the fluorescence image by the reference image cannot completely cancel the distance dependency. The effect of distance remains on the fluorescent image after division.
- FIG. 57 shows the relationship between the observation distance Dn of the fluorescent image and the deviation from the average value of the luminance values when the power calculation is performed and when the power calculation is not performed. In the figure, the vertical axis represents the deviation (%) from the average value of the luminance values, and the horizontal axis represents the observation distance Dn.
- the second preprocessing mode can be modified as follows.
- a fluorescence observation apparatus 100, 200, 300, 400, 500 including a preprocessing unit 63 equipped with a second preprocessing mode is A fluorescence observation system may be configured in combination.
- illustration of a part of the configuration is omitted.
- the calibration apparatus 102 is a linear motion stage (observation) in which the standard sample 81 is arranged to face the tip 2a of the insertion portion 2 and the observation distance Dn between the tip 2a of the insertion portion 2 and the standard sample 81 is changed.
- (State setting mechanism) 92 a stage control unit 94 for controlling the position of the linear motion stage 92, a distance information detection unit 96 for detecting distance information of the observation distance Dn, a first power value ⁇ , and a second power value a dependence constant determining unit (power value calculating unit) 98 for calculating ⁇ .
- the dependence constant determination unit 98 is based on the normalized fluorescence image and reference image sent from the fluorescence image standard circuit 34C and the reference image standard circuit 36C, and the distance information detected by the distance information detection unit 96. A power value ⁇ of 1 and a second power value ⁇ are calculated.
- the observation distance Dn is set by the operation of the stage control unit 94 (step SH1), and the observation distance Dn at that time is detected by the distance information detection unit 96 and sent to the dependency constant determination unit 98.
- the standard sample 81 is irradiated with reflected light including excitation light from the illumination unit 20, and fluorescence and reflected light are photographed to obtain a fluorescence image and a reference image (step SH2).
- the fluorescent image and the reference image are normalized by dividing the luminance value by the exposure time (steps SH3 and SH4), and then sent to the dependency constant determining unit 98 to plot the luminance value in association with the distance information. (Step SH5).
- the stage controller 94 repeats the steps SH1 to C6 a plurality of times a predetermined number of times a (a is at least 2 or more) (step SH6).
- the observation distance Dn is changed to D0 and D1
- the obtained distance characteristic is regressed to power approximation, that is, the power functions D ⁇ and D ⁇ to obtain a regression curve (step SH7).
- the first power value ⁇ and the second power value ⁇ indicating the dependence on the observation distance Dn are calculated (step SH8).
- the dependence constant determination part 98 can determine the exact power value of the observation distance Dn and the corresponding fluorescence image and reference image.
- the distance information detection unit 96 may not be provided, and the distance information of the observation distance Dn may be manually input to the dependency constant determination unit 98.
- the luminance value is divided by the exposure time.
- the brightness of the entire fluorescent image and the brightness of the entire reference image are respectively divided by the exposure time.
- the average value of the luminance values of the region of interest of the normalized fluorescent image and reference image may be calculated (step SH4 ′).
- the post-processing unit 65 uses the divided image K acquired by the divided image generation unit 64.
- the first power value ⁇ may be further raised to the luminance value for each pixel (step SFG6).
- the post-processing unit 65 maintains the proportional relationship between the luminance value of the divided image K and the amount of the fluorescent agent (that is, the concentration of the fluorescent agent). Can be reduced.
- FIG. 63 shows a relationship between the luminance value of the divided image K and the concentration of the fluorescent agent when the first power value ⁇ is not raised in the post-processing unit 65.
- the image correction circuit 33C includes the fluorescent image preprocessing circuit 35C.
- a fluorescent image preprocessing circuit 35C and the reference image preprocessing circuit 37C uses the third power value ⁇ / ⁇ (or ⁇ / ⁇ ) obtained by dividing the first power value ⁇ by the second power value ⁇ as the luminance value of the reference image.
- the division reference image may be acquired by raising to a power of.
- the fluorescence image standardized by the fluorescence image standard circuit 34C is sent to the divided image generation unit 64, and the following power calculation is performed in the reference image preprocessing circuit 37C.
- Step SG4 ′ the fluorescence image standardized by the fluorescence image standard circuit 34C is sent to the divided image generation unit 64, and the following power calculation is performed in the reference image preprocessing circuit 37C.
- RL after B ⁇ RL before z (11)
- RL after luminance value of the reference image for division
- RL before luminance value of the reference image
- z third power value ( ⁇ / ⁇ or ⁇ / ⁇ ), ⁇ : first power value
- ⁇ Second power
- B constant.
- the image correction circuit 33C corrects the influence of the distance with a single power operation and obtains a divided image K in which the luminance value and the amount of the fluorescent agent are directly proportional. can do.
- the second pre-processing mode can also be executed by another modification shown below.
- another modification of the second preprocessing mode is a gain value (imaging condition, which amplifies fluorescent image information acquired by the image sensor 18 instead of the fluorescence exposure time adjustment circuit 31C. This is executed by the preprocessing unit 63 including the fluorescence gain value adjustment circuit 38C for adjusting the gain magnification.
- the fluorescence gain value adjustment circuit 38C adjusts the gain value of the image sensor 18 based on the luminance value of the fluorescence image generated by the fluorescence image generation unit 62.
- the fluorescence image standard circuit 34C receives the gain value of the image sensor 18 set by the fluorescence gain value adjustment circuit 38C.
- the fluorescence image standard circuit 34C includes a gain magnification conversion table 287 in which gain values and gain multiplication factors are associated with each other as shown in FIG.
- the fluorescence image generation unit 62 is performed by the fluorescence gain value adjustment circuit 38C.
- the gain value of the image sensor 18 is set based on the luminance value of the fluorescent image generated by (Step SI1). Thereby, in the fluorescence image generation part 62, the fluorescence image of appropriate brightness is obtained irrespective of the incident light quantity of the fluorescence which generate
- the luminance value of the fluorescence image read from the fluorescence image generation unit 62 is divided by the gain multiplication factor corresponding to the gain value at the time of acquisition of the fluorescence image by the image sensor 18 (step SI3).
- the influence of the gain value in the fluorescence image is normalized, and the fluorescence image can be unified to a luminance value per fixed amplification value.
- an excitation light dimming circuit (imaging condition adjustment unit) 354 that adjusts the dimming level of excitation light emitted from the illumination unit 20 and a reflected light dimming circuit (imaging condition adjustment unit) 358 that adjusts the dimming level of illumination light. This is executed by the fluorescence observation apparatus 100, 200, 300, 400, 500 including the preprocessing unit 63 provided.
- the light source 310 includes a xenon lamp 8, a xenon lamp control unit 130, an infrared cut filter 314 that blocks infrared light from the illumination light emitted from the xenon lamp 8, and transmits only reflected light, and an excitation having a wavelength band of 740 nm.
- the semiconductor laser 312 that emits light, the semiconductor laser control unit 313, and the reflected light that has passed through the infrared cut filter 314 are transmitted, the excitation light emitted from the semiconductor laser 312 is reflected, and the reflected light and the excitation light are in the same optical path.
- a light source dichroic mirror 315 for guiding the light source.
- the infrared cut filter 14 is configured to transmit only reflected light having a wavelength band of 400 nm to 680 nm.
- Reference numeral 316A denotes a first coupling lens that collects reflected light transmitted through the infrared cut filter 314, and reference numeral 316B denotes reflected light and excitation light guided to the same optical path by the light source dichroic mirror 315.
- a second coupling lens for condensing light is shown.
- the excitation light dimming circuit 39C adjusts the dimming level of the semiconductor laser 312 by the semiconductor laser control unit 313 based on the luminance value of the fluorescent image generated by the fluorescent image generation unit 62.
- the reflected light dimming circuit 40 ⁇ / b> C adjusts the dimming level of the xenon lamp 8 by the xenon lamp control unit 130 based on the luminance value of the reference image generated by the reference image generation unit 61.
- the fluorescence image standard circuit 34C receives the light control level of the semiconductor laser control unit 313 set by the excitation light light control circuit 39C.
- the fluorescent image standard circuit 34C has an excitation light intensity conversion table 387 in which the light control level and the excitation light intensity are associated with each other as shown in FIG.
- the dimming level of the xenon lamp control unit 130 set by the reflected light dimming circuit 40C is input to the reference image standard circuit 36C.
- the reference image standard circuit 36C has a reflected light intensity conversion table (not shown) in which the light control level and the reflected light intensity (illumination light intensity) are associated with each other.
- the excitation light intensity and the reflected light intensity may be determined by the intensity ratio based on the minimum value.
- the reflected light emitted from the xenon lamp 8 and transmitted through the infrared cut filter 314 and collected by the first coupling lens 316A is reflected.
- the excitation light emitted from the semiconductor laser 312 is reflected by the light source dichroic mirror 315, is transmitted through the light source dichroic mirror 315, is condensed by the second coupling lens 316B through the same optical path, and is condensed on the light guide fiber 22.
- the dimming level of the semiconductor laser control unit 313 based on the luminance value of the fluorescent image generated by the fluorescent image generating unit 62 by the excitation light dimming circuit 39C. Is set (step SJ1).
- the fluorescence image generation part 62 the fluorescence image of appropriate brightness is acquired by changing the intensity of the fluorescence generated in the observation object A (step SJ2).
- the dimming level of the xenon lamp control unit 130 is set by the reflected light dimming circuit 40C based on the luminance value of the reference image generated by the reference image generation unit 61 (step SK1).
- strength of the reflected light which returns from the observation object A is changed, and the reference image of appropriate brightness is acquired (step SK2).
- the fluorescence image standard circuit 34C divides the luminance value of the fluorescence image read from the fluorescence image generation unit 62 by the excitation light intensity corresponding to the dimming level of the semiconductor laser control unit 313 (step SJ3). Thereby, the influence of the dimming level of the excitation light is normalized, and the fluorescence image can be unified to a luminance value per certain excitation light intensity.
- the reference image standard circuit 36C divides the luminance value of the reference image read from the reference image generation unit 61 by the reflected light intensity corresponding to the dimming level of the xenon lamp control unit 130 (step SK3). Thereby, the influence of the dimming level of the illumination light is standardized, and the reference image can be unified with a luminance value per constant reflected light intensity.
- the power calculation is performed after the noise components of the image sensor 18 and the image sensor 17 are subtracted in the fluorescence image preprocessing circuit 35C and the reference image preprocessing circuit 37C. It is good. By doing in this way, the precision of the power calculation can be improved.
- the first modification of the second preprocessing mode at least one of the reference image and the fluorescent image is used by using, as an index, a correction coefficient set based on the distance information between the image sensor for the reference image and the observation target.
- light intensity information is calculated to a power.
- the first modification of the second preprocessing mode is the exposure time adjustment circuits 31D and 32D, the standardized reference image generation circuit 33D, and the standardized fluorescence image generation circuit 34D provided in the preprocessing unit 63. This is executed by the correction coefficient setting circuit 35D.
- the exposure time adjustment circuits 31D and 32D calculate the exposure times S 3 and S 4 of the image sensors 17 and 18 based on the reference image and the fluorescence image generated by the reference image generation unit 61 and the fluorescence image generation unit 22, respectively.
- the standardized reference image generating circuit 33D and the standardized fluorescent image generating circuit 34D generate a standardized reference image and a standardized fluorescent image from the reference image and the fluorescent image, respectively.
- the correction coefficient setting circuit 35D sets the correction coefficients ⁇ and ⁇ based on the standardized reference image generated by the standardized reference image generation circuit 33D.
- the power calculation processing circuit 36D performs the power calculation of the standardized reference image using the correction coefficients ⁇ and ⁇ set by the correction coefficient setting circuit 35D as indices.
- the normalized fluorescence image generated by the normalized fluorescence image generation circuit 34D and the normalized reference image calculated by the power calculation processing circuit 36D are respectively input to the division image generation unit 64 as a division reference image or a division fluorescence image.
- the normalized reference image generation circuit 33D and the normalized fluorescence image generation circuit 34D divide the reference image and the fluorescence image by the exposure times S 3 and S 4 of the image sensors 17 and 18 adjusted by the exposure time adjustment circuits 31D and 32D, respectively. By doing so, a standardized reference image and a standardized fluorescent image are generated. As a result, the standardized reference image and the normalized fluorescent image that have been standardized by removing the fluctuation of the overall signal intensity of the reference image and the fluorescent image depending on the exposure times S 3 and S 4 of the image sensors 17 and 18 are obtained. can get.
- the correction coefficient setting circuit 35D stores, for example, indexes ⁇ and ⁇ as correction coefficients in association with distance information (hereinafter referred to as observation distance information) from the distal end surface 2a of the insertion portion 2 to the surface of the observation target A. ing. Specifically, since the signal intensity and the observation distance D in each pixel of the standardized reference image have a one-to-one correspondence, the indices ⁇ and ⁇ are stored in association with the signal intensity.
- a predetermined boundary value D (n) of the signal intensity is set, and two different correction coefficients ⁇ 1 and ⁇ 2 and two correction coefficients ⁇ 1 before and after the boundary value D (n). , ⁇ 2 is stored.
- the correction coefficient setting circuit 35D compares the signal intensity at each pixel of the standardized reference image sent from the standardized reference image generation circuit 33D with the boundary value D (n), and based on the boundary value D (n).
- the first correction coefficients ⁇ 1 and ⁇ 1 are set when the value is small, and the second correction coefficients ⁇ 2 and ⁇ 2 are set when the value is equal to or greater than the boundary value D (n).
- the two correction coefficients ⁇ and ⁇ and the boundary value D (n) are determined as follows by measurement prior to fluorescence observation. That is, when determining the correction coefficients ⁇ and ⁇ and the boundary value D (n), as shown in FIG. 72, the holder 310 for fixing the insertion portion 2 and the front end surface of the insertion portion 2 fixed to the holder 310 A standard sample 320 that is opposed to 2a with an observation distance D and a linear motion stage 330 that changes the observation distance D between the distal end surface 2a of the insertion portion 2 and the standard sample 320 are prepared.
- the linear motion stage 330 is provided with a movement amount sensor such as an encoder (not shown).
- a data acquisition step SK1 and a correction coefficient etc. determination step SK2 are performed according to the flowcharts shown in FIGS.
- n is initialized (steps SK11 and SK12), the linear motion stage 330 is operated, and the observation distance D (n) (n is a natural number) by the movement amount sensor.
- a reference image and a fluorescence image at that time are acquired (step SK14), a standardized reference image and a standardized fluorescence image are calculated (step SK15), and a predetermined region of interest is set.
- An average value of the signal intensity is calculated (step SK16), and plotted as a signal intensity value with respect to the observation distance D (n) (step SK17). This operation is repeated (step SK18) to obtain a plot of a plurality of points (a) as shown in FIG.
- the region of interest may be set to a constant size regardless of the observation distance D as long as the fluorescence intensity in the standard sample 320 is constant.
- the size of the region of interest is always reduced by decreasing the size of the region of interest as the observation distance D increases. It is preferable to acquire the signal strength.
- D (3) is set as the first boundary value is that data of three or more points is required when using power approximation by the least square method or the like.
- step SK26 power approximation is performed in the observation distance D (1) to D (n) region and D (n) to D (a) region (steps SK24 and SK25), respectively, and the exponent is calculated, and its determination coefficient R 2 and boundary values stored with D (n) (step SK26).
- the coefficient of determination nearest boundary sum of R 2 is a 4-valued D (n) and index alpha, by selecting a combination of beta (step SK28), the correction coefficient setting circuit 35D in the storage (Step SK29).
- the index ⁇ / ⁇ is stored as a correction coefficient by dividing the index ⁇ obtained for the fluorescent image by the index ⁇ obtained for the reference image.
- the power calculation processing circuit 36D performs power calculation processing on the intensity signal (light intensity information) in each pixel of the normalized reference image using the correction coefficient ⁇ / ⁇ set in the correction coefficient setting circuit 35D as an index, and performs a division reference image. Is supposed to generate.
- the division reference image generated in the power calculation processing circuit 36D is input to the division image generation unit 64.
- the normalized fluorescence image is directly input to the division image generation unit 64 as a division fluorescence image.
- the input normalized fluorescence image is used for division. This is called a fluorescence image.
- the input normalized reference image is referred to as a division reference image.
- Exposure time adjustment circuits 31D and 32D calculate exposure times S 3 and S 4 of the image sensors 17 and 18, and automatically adjust exposure of the image sensors 17 and 18.
- the reference image, the fluorescence image, and the exposure times S 3 and S 4 of the image sensors 17 and 18 when the images are captured are sent to the image correction unit 64.
- the standardized reference image generation circuit 33D the standardized reference image generated by the reference image is divided by the exposure time S 3 of the image pickup device 17, the normalized fluorescence image generating circuit 34D, is the normalized fluorescence image generated by the fluorescence image is divided by the exposure time S 4 of the imaging device 18.
- correction coefficients ⁇ and ⁇ are set in the correction coefficient setting circuit 35D, and the correction coefficient ⁇ / ⁇ set for each pixel is set in the power calculation processing circuit 36D.
- a division reference image is generated by calculating the signal intensity of each pixel to the power using the index.
- the divisional reference image and the normalized fluorescent image that is the divisional fluorescent image output from the standardized fluorescent image generation circuit 34D are input to the divisional image generation unit 64, and the divisional fluorescent image is divided by the divisional reference image. As a result, a divided image is generated.
- the signal of the standardized reference image using the indices ⁇ and ⁇ calculated in both the signal intensity of the standardized fluorescent image and the signal strength of the standardized reference image since the power calculation is performed only on the intensity, there is an advantage that the calculation amount can be reduced and quick calculation can be performed compared to the case where the power calculation is performed on both the standardized fluorescent image and the standardized reference image. is there.
- a power calculation processing circuit 361D is also provided on the normalized fluorescent image side, and the normalized reference image is displayed using the indices ⁇ and ⁇ set in the correction coefficient setting circuit 35D.
- a 1 / ⁇ power calculation may be performed, and a 1 / ⁇ power calculation may be performed on the normalized fluorescent image to obtain a division fluorescent image.
- the post-processing unit 65 divides the division fluorescent image by the division reference image in the division image generation unit 64, and the pixel of the division image obtained.
- a power calculation may be performed by raising the normalized fluorescence image to the power of the obtained index ⁇ .
- the signal intensity of each pixel and the amount of fluorescence present in the observation target A can be made proportional, and further quantitative observation can be performed.
- a correspondence table conversion table between the signal intensity and the fluorescence density of the divided image may be provided, and the fluorescence density of a specific area may be displayed on the image.
- a correction coefficient storage unit 370 that stores the correction coefficients ⁇ and ⁇ and the boundary value D (n) in association with the identification information of the insertion unit 2 may be provided.
- the identification information stored in the IC chip 73 of the insertion unit 2 is read by the IC reader 74 and corresponds to the identification information of the insertion unit 2 in the correction coefficient storage unit 370.
- the correction coefficients ⁇ and ⁇ and the boundary value D (n) stored together are read out and stored in the correction coefficient setting circuit 35D.
- the correction coefficient storage unit 370 may be provided in the correction condition setting units 66, 66 ', 66 ".
- a single boundary value D (n) is set and different correction coefficients are set before and after that.
- Two or more boundary values D (n) may be set, and three or more correction coefficients may be set. Even when there are two or more boundary values D (n), the method of setting each correction coefficient may be in accordance with the flowcharts of FIGS.
- two boundary values D1 and D2 are selected in the range of observation distance D (3) ⁇ D ⁇ D (a ⁇ 2), and D (1) ⁇ D ⁇
- a combination of all boundary values D1 and D2 is to perform exponential approximation in each region of D1, D1 ⁇ D ⁇ D2, and D2 ⁇ D ⁇ D (a-2), and to store the exponent, boundary value, and determination coefficient. Do about.
- the index and the boundary values D1 and D2 that make the sum of the determination coefficients closest to 6 may be adopted from the database thus obtained.
- correction is performed by performing power approximation for each of three or more consecutive observation distances D in the range of observation distance D (1) ⁇ D ⁇ D (a).
- a coefficient may be obtained.
- the reference image and the fluorescence image are normalized by the exposure times S 3 and S 4 of the image sensors 17 and 18, respectively. Based on the signal intensity of the reference image and the fluorescence image, the gains of the image sensors 17 and 18 are adjusted, and the reference image and the fluorescence image are divided by the gain multiplication factor corresponding to the gain. You may decide to get
- the light source 3 has a Xe lamp 8 and a laser light source 380, and the dimming is performed by controlling their outputs by the Xe lamp control unit 390 and the laser control unit 401.
- the illumination light dimmer circuit 37D and the excitation light dimmer circuit 38D the reference image and the fluorescence image intensity S 3 and the intensity of the excitation light S 4 of the illumination light is calculated based on the signal strength of the can
- a normalized reference image and a normalized fluorescence image may be obtained by dividing the image and the fluorescence image.
- Reference numeral 430 denotes a condenser lens, and reference numeral 440 denotes a dichroic mirror. In FIG. 81, some components are not shown.
- the noise components of the image sensors 17 and 18 may be subtracted before normalizing the reference image and the fluorescence image. This has the advantage that the calculation accuracy can be improved.
- the third preprocessing mode by the preprocessing unit 63 included in the fluorescence observation apparatuses 100, 200, 300, 400, and 500 according to the first to fifth embodiments will be described.
- the reference image and the fluorescence image are adjusted by adjusting the gradation values according to a reference table (LUT; Look up Table) set based on the distance characteristics of the reflected light and the fluorescence.
- LUT Look up Table
- This third preprocessing mode is suitable for removing the dependency of the observation distance and the observation angle remaining in the divided image due to the difference in distance characteristics for each wavelength. That is, the correction condition setting units 66 and 66 ′ of the fluorescence observation apparatuses 100 and 200 according to the first and second embodiments perform the third preprocessing mode when “multicolor” is input or determined as the observation condition. Set the preprocessing parameters.
- the correction condition setting unit 66 ′′ of the fluorescence observation apparatuses 300, 400, and 500 according to the third to fifth embodiments inputs “large omentum”, “stomach”, and the like in which tissues and organs having different hues are mixed in the visual field.
- the preprocessing parameter of the third preprocessing mode is set when it is determined.
- the correction condition setting units 66, 66 ′, 66 ′′ are distances in advance for each wavelength (hue) for each observation site corresponding to an observation condition in which a plurality of hues are mixed in a third preprocessing mode to be described later.
- a characteristic is measured, and a coefficient for a gradation value, which is a preprocessing parameter calculated based on the measured value, is stored.
- the third pre-processing mode at least one of the fluorescent image and the reference image is multiplied by the coefficient set by the correction condition setting unit 66, 66 ′, 66 ′′ to generate the division fluorescent image and the division reference image.
- the coefficient is set in advance so that the distance characteristic of the fluorescence intensity acquired in advance with respect to the standard sample and the distance characteristic of the reflected light intensity are in direct proportion to each other.
- This pre-processing mode is used alternatively to the above-mentioned second pre-processing mode, and the user arbitrarily selects between the second processing mode and the third processing mode before observation. Alternatively, it may be automatically selected according to observation conditions.
- the third preprocessing mode is executed by the image normalization circuit 31E and the preprocessing circuit 32E included in the preprocessing unit 63.
- the image normalization circuit 31E normalizes the reference image and the fluorescence image generated by the reference image generation unit 61 and the fluorescence image generation unit 62, and generates a normalized reference image and a normalized fluorescence image.
- the preprocessing circuit 32E generates a division reference image and a division fluorescence image from the standardized reference image and the standardized fluorescence image generated by the image normalization circuit 31E.
- a fluorescent image from the fluorescent dye Cy7 may be used.
- a fluorescent drug specific to a tumor-specific fluorescent agent for example, an antibody against the cancer-specific molecule CEA (Anti-CEA antibody) and Cy7 is administered to the observation object A in advance
- a tumor-specific fluorescent image is obtained.
- the reference image for example, an image based on reflected light reflected by the surface of the observation target A and reflected light caused by scattering inside the observation target A may be used.
- the image normalization circuit 31E normalizes the reference image and the fluorescence image using the relational expression shown in Equation 6.
- the predetermined gain is a gain set to 1 when observing reflected light and 100 when observing fluorescence.
- the correction condition setting unit 66, 66 ′, 66 ′′ reflects a coefficient that makes the distance characteristic of the fluorescence intensity with respect to the standard sample and the distance characteristic of the reflected light intensity with respect to the same standard sample mutually proportional.
- a storage unit (not shown) that stores the light intensity in association with the light intensity is provided.
- the correction condition setting units 66, 66 ′, and 66 ′′ measure the hue for each pixel of the reference image, and are stored according to the hue.
- a coefficient (preprocessing parameter) corresponding to the gradation value of each pixel is output to the preprocessing circuit 32E.
- the pre-processing circuit 32E multiplies a coefficient corresponding to the gradation value of each pixel set by the correction condition setting units 66, 66 ′, and 66 ′′ for each pixel of the reference image input from the reference image generation unit 61. In this case, the pre-processing circuit 32E outputs the inputted fluorescence image as it is as a division fluorescence image.
- FIG. 84 an example of the coefficient calculated based on the reference image and the gradation value of the fluorescence image when the observation distance is changed from, for example, 10 mm to 200 mm and an organ such as a phantom or a pig is observed as a standard sample is shown in FIG. And shown in FIG. That is, when the gradation value (reflected light intensity) of one pixel in the acquired reference image is 16.6, the gradation value of this pixel is multiplied by 2.024 as a coefficient. By repeating this operation for all the pixels, a division reference image is obtained. When the gradation value of any pixel is between the two gradation values shown in FIG. 84, the coefficient obtained by linearly interpolating the two coefficients corresponding to the gradation value in FIG. 83 is multiplied. It is like that.
- the reference image and the fluorescence image generated in each of the image generation units 61 and 62 are input to the image normalization circuit 31E and The normalized reference image and the normalized fluorescent image are converted into a reference image for division and a fluorescent image for division in the preprocessing circuit 32E (preprocessing step).
- the standardized reference image is multiplied by a coefficient to become a reference image for division, and the standardized fluorescent image is directly used as a fluorescent image for division.
- the coefficient multiplied by the standardized reference image in the pre-processing circuit 32E is a ratio between the standardized fluorescent image acquired using the standard sample and the standardized reference image, and the fluorescence intensity of the standardized fluorescent image in the standard sample.
- the distance characteristic is selected so as to match the distance characteristic of the reflected light intensity of the standardized reference image in the standard sample. Therefore, the division image generation unit 64 divides the division fluorescent image by the division reference image obtained by multiplying the normalized reference image of the observation object A by this coefficient, thereby determining the dependency of the observation distance. It is possible to obtain a corrected fluorescence image with sufficiently reduced. That is, there is an advantage that fluorescence observation with high quantitativeness can be performed.
- the coefficient is calculated using a plurality of types of standard samples having different hues, and the correction condition setting units 66, 66 ′, 66 ′′ store the coefficient according to the hue, the coefficient is calculated according to the hue of the reference image.
- an appropriate coefficient can be set for each pixel and sent to the preprocessing unit 63.
- the fluorescence image and the reference image acquired by the image sensors 18 and 19 include noise derived from the dark current of the image sensors 18 and 19 and readout. Further, when the division process is performed, if a pixel having a luminance value of zero exists in the reference image, the division result becomes infinite and appropriate correction cannot be performed. Therefore, in the preprocessing circuit 32E, an offset that removes a dark current and a noise component derived from readout is given to the fluorescent image, and a noise component derived from the dark current and readout is removed from the reference image. In addition, an offset may be given so that the luminance values of all the pixels do not become zero.
- the third preprocessing mode is mounted on the fluorescence observation apparatus 500 according to the fifth embodiment shown in FIG. 5, it is suitable for the identification information and each insertion unit 2 as shown in FIG. It is preferable to include a storage unit 331 that stores the coefficients in association with each other. Since the various optical systems included in the insertion unit 2 including the objective lens 13 are changed by detaching and inserting the insertion unit 2 into another insertion unit 2, the numerical aperture (NA) of the objective lens 13 is changed. The coefficient changes due to changes in the diameter of the eye, the pupil diameter, etc., or the change in the wavelength of the fluorescence to be detected, the site to be observed (such as stomach tissue or large intestine tissue).
- the preprocessing circuit 32E receives the coefficient corresponding to the identification information of the insertion unit 2 output from the storage unit 331, and performs the above calculation. By doing in this way, even if the insertion part 2 is replaced
- a coefficient for matching the distance characteristic of the reflected light intensity with respect to the standard sample to the distance characteristic of the fluorescence intensity is adopted in the third pretreatment mode, but the present invention is not limited to this. It may be a coefficient that makes both characteristics directly proportional. Further, instead of the coefficient to be multiplied by the standardized reference image, the coefficient to be multiplied by the standardized fluorescent image may be stored, or the coefficient to be multiplied by the standardized reference image and the standardized fluorescent image may be stored. Good.
- the configuration for reducing the dependency of the observation distance and performing the fluorescence observation with high quantitativeness is adopted, but instead of this, the configuration of reducing the dependency of the observation angle May be adopted.
- the ratio between the standardized fluorescent image and the standardized reference image acquired while changing the observation angle using the standard sample, and the fluorescence intensity of the standardized fluorescent image in the standard sample The normalized reference image of the observation object A is multiplied by a coefficient selected so that the angle characteristic is directly proportional to the angle characteristic of the reflected light intensity of the normalized reference image in the standard sample.
- the division image generation unit 64 can obtain a corrected fluorescence image in which the dependency on the observation angle is sufficiently reduced by dividing the division fluorescence image by the obtained division reference image. That is, there is an advantage that fluorescence observation with high quantitativeness can be performed.
- the fluorescence observation system 600 including a fluorescence observation apparatus equipped with the above-described third preprocessing mode will be described.
- the fluorescence observation system 600 is equipped with the fluorescence observation apparatuses 100, 200, 300, 400, 500 (hereinafter collectively referred to as the fluorescence observation apparatus 1) and the fluorescence observation apparatus 1. And a calibration device 411.
- the fluorescence observation apparatus 1 includes a coefficient determination unit 421 that calculates a coefficient.
- the calibration device 411 is opposed to the holder 431 for fixing the insertion portion 2 and the distal end surface 2a of the insertion portion 2 fixed to the holder 431 with an observation distance.
- a linear motion stage 451 for changing the observation distance between the distal end surface 2a of the insertion portion 2 and the standard sample 441, and the surface of the standard sample 441 with respect to the optical axis of the objective lens 13.
- a tilt stage 461 that changes an angle (observation angle) and a control unit 471 that controls these stages 451 and 461 are provided.
- the controller 471 drives the stages 451 and 461 to change the observation distance or the observation angle, and outputs a trigger signal at a preset timing.
- the coefficient determination unit 421 receives the standardized fluorescent image and the standardized reference image sent from the image standardization circuit 31E, and the luminance of the standardized fluorescent image when the trigger signal S is received from the control unit 471. Value and the luminance value of the standardized reference image are stored, the coefficient is calculated by dividing the luminance value of the standardized fluorescent image by the luminance value of the standardized reference image, and the calculated coefficient is the luminance value of the standardized reference image Are stored in association with the hue.
- the control unit 471 When acquiring the coefficient when the observation distance is changed, the control unit 471 first starts the observation of the distal end surface 2a of the insertion unit 2 with respect to the surface of the standard sample 441 as shown in FIG.
- the linear motion stage 451 is driven so as to be a distance.
- the illumination light and excitation light are irradiated from the unit 4 onto the standard sample 441, and the control unit 471 moves the stage 45 by a predetermined distance in a state where the reflected light and fluorescence are photographed.
- the trigger signal S is output. Accordingly, the coefficient determination unit 421 stores a plurality of coefficients acquired at a plurality of different observation distances in association with the luminance values of the standardized reference image.
- the control unit 471 when acquiring the coefficient when the observation angle is changed, the control unit 471 first observes the distal end surface 2a of the insertion unit 2 with respect to the surface of the standard sample 441 as shown in FIG.
- the linear motion stage 451 and the tilt stage 461 are driven so as to have the starting distance and angle.
- the illumination light and excitation light are irradiated from the unit 4 to the standard sample 441, and the control unit 471 moves the tilt stage 461 by a predetermined distance so that the reflected light and fluorescence are photographed.
- a trigger signal S is output each time.
- the coefficient determination unit 421 stores a plurality of coefficients acquired at a plurality of different observation angles in association with the luminance values of the standardized reference image.
- the coefficient when the observation distance is changed and the coefficient when the observation angle is changed may be appropriately selected according to the observation conditions.
- the coefficient determination unit 421 calculates a coefficient corresponding to the luminance value and outputs the coefficient to the preprocessing circuit 32E. ing. That is, since the coefficient determination unit 421 stores a plurality of coefficients corresponding to the luminance values of a plurality of standardized reference images at intervals, when the luminance value between them is input, the input luminance A new coefficient is calculated by interpolating a coefficient between luminance values sandwiching the value, and is output to the preprocessing circuit 32E.
- the fluorescence observation system 600 even when the observation object A and the observation conditions, for example, each optical system and the fluorescence wavelength used for observation change, a coefficient corresponding to the change is set each time. There is an advantage that it can be observed with a fluorescent image having high quantitativeness even in various observation objects A and observation conditions.
- the difference in the type such as a rigid endoscope or a flexible endoscope, or an observation site such as an upper digestive endoscope or a lower digestive endoscopy is used. Even if there is a difference, an optimum coefficient corresponding to each can be set. Even if the fluorescence observation apparatuses 1 are of the same type, coefficients can be set for individual apparatuses regardless of individual differences. Also, by setting an appropriate coefficient according to the hue, even if different hues (for example, organs with different colors such as the liver and stomach) are observed simultaneously in one screen, they are appropriate for each pixel. Therefore, a more accurate image can be presented.
- the preprocessing mode that is not selected as the preprocessing mode for setting the preprocessing parameter is also in a state in which the preprocessing parameter is set to be constant (with the initial value). It is good also as being used together.
- the preprocessing parameter of the first preprocessing mode is set in the observation condition corresponding to “high fat”, but at the same time, the third preprocessing mode is also used with the preprocessing parameter set as the initial value. Also good.
- the first post-processing mode is a mode in which processing for emphasizing a region where the divided image and the fluorescent image are in common and relatively bright is performed.
- Such a first post-processing mode remains in the divided image due to a deviation in the amount of reflected and fluorescent light caused by a large difference in observation distance in the field of view and a partial decrease in the amount of light due to shadows. This is suitable for removing the dependency of the observation distance and the observation angle. That is, the correction condition setting units 66 and 66 ′ of the fluorescence observation apparatuses 100 and 200 according to the first and second embodiments have “perspective large”, “perspective small”, “unevenness”, and “flat” as the observation conditions.
- the post-processing parameters of the first post-processing mode are set when input or determined.
- the correction condition setting unit 66 ′′ of the fluorescence observation apparatuses 300, 400, and 500 according to the third to fifth embodiments has a visual field such as “Douglas fossa” and “stomach” having a structure having a depth in the depth direction of the visual field. For example, “Ohme”, “Intestinal membrane” with a relatively flat structure, “Ohme”, “Intestinal membrane” with uneven surface shape, etc. “Subdiaphragm” with smooth surface shape, etc.
- the post-processing parameters of the first post-processing mode are set when input or determined.
- the correction condition setting units 66, 66 ′ and 66 ′′ perform division in the first post-processing mode to be described later when the observation condition is that the distance in the field of view is large and the surface of the observation target is smooth. Indexes A and B (described later) as post-processing parameters are set so that the weight of the image is increased.
- the correction condition setting units 66, 66 ′, and 66 ′′ have a small perspective width in the field of view and observation. In the observation condition where the surface of the object is uneven, indices A and B (described later) as post-processing parameters are set so that the weight of the fluorescent image is increased.
- the first post-processing mode is a mode in which a final fluorescent image is generated by multiplying or adding a fluorescent image to a divided image. As shown in FIG. 88, the first post-processing mode is executed by the corrected image generation circuit 31F and the extraction circuit 32F included in the post-processing unit 65.
- the corrected image generating circuit 31F generates a corrected image by multiplying the divided image generated by the divided image generating unit 64 by the fluorescent image.
- the extraction circuit 32F extracts a region having a gradation value larger than a preset threshold value from the corrected image.
- the fluorescence image generation unit 62 generates a two-dimensional fluorescence image from the fluorescence image information acquired by the imaging element 18, and outputs the generated fluorescence image to the division image generation unit 64 and the corrected image generation circuit 31F.
- the fluorescent agent actually accumulates a little in the normal part as well as in the lesion part, and although it is weaker than the fluorescence from the lesion part, the fluorescence is emitted from the normal part.
- the image has a background (FIG. 89A). Therefore, the fluorescent image includes a background low-luminance region (A-1 in FIG. 89A) and a region (FIG. 89A) that is relatively brighter than the low-luminance region due to the fluorescence emitted from the lesion. A-2) of 89A and a region (A-3 of FIG. 89A) that has a relatively high luminance due to the close distance of the subject are included.
- the reference image generation unit 61 generates a two-dimensional reference image G1 from the reference image information acquired by the imaging element 17, and outputs the generated reference image G1 to the divided image generation unit 64 and the image composition unit 67.
- the reference image G1 is an image (FIG. 89B) that is influenced by the color characteristics of the subject, that is, the illumination light absorption characteristics. Therefore, the generated reference image G1 includes a background low-brightness region (B-1 in FIG. 89B) due to the overall distribution of reflected light, and a low-brightness region due to the color characteristics of the subject (see FIG. B-2) of 89B and a region (B-3 of FIG. 89B) that has a relatively high luminance due to the close distance of the subject compared to these low luminance regions.
- the divided image generation unit 64 generates a divided image (FIG. 89C) obtained by dividing the fluorescence image of the same observation target A by the reference image.
- a divided image obtained by dividing the fluorescence image of the same observation target A by the reference image.
- the divided image includes a region (C-2 in FIG. 89C) that has a relatively high luminance due to the fluorescence generated from the lesion.
- the reference image includes a low-luminance region due to the color characteristics of the subject, the luminance of the region corresponding to the low-luminance region is amplified in the divided image, and thus the region having high luminance (FIG. 89C). C-3).
- the corrected image generation circuit 31F calculates the division image and the fluorescence image, (Division image) ⁇ A ⁇ (Fluorescence image) ⁇ B As described above, a corrected image (FIG. 89D) is generated by correcting the divided image by multiplication after exponentiation with exponents A and B (post-processing parameters).
- the corrected image includes a region (D-1 in FIG. 89D) in which the result of reducing the influence of the observation distance and the observation angle is reflected in the divided image.
- a region having a relatively high luminance in the fluorescent image and a region common to the region having a relatively high luminance in the divided image are emphasized, that is, a high luminance region due to the fluorescence emitted from the lesion. (D-2 in FIG. 89D) is emphasized.
- the correction condition setting units 66, 66 ′, 66 ′′ increase the index A in the observation conditions corresponding to “perspective large” and “flat”, and the observation conditions corresponding to “perspective small” and “unevenness”.
- the post-processing unit 65 is commanded so that the index B is set large.
- the extraction circuit 32F extracts, as a feature region, a pixel having a gradation value larger than the threshold among all the pixels of the corrected image based on a predetermined threshold.
- the image composition unit 67 In the post-processing mode, the image composition unit 67 generates a composite image by superimposing the feature region extracted by the extraction circuit 32F on the reference image G1.
- the image information of the observation target A is acquired (step SL11), and the reference image and the fluorescence are obtained from each image information.
- An image is generated (step SL12).
- the fluorescence image is output to the divided image generation unit 64 and the corrected image generation circuit 31F.
- the fluorescent agent actually accumulates a little in the normal part as well as the lesion part, so that weak fluorescence is emitted from the part other than the lesion part (background).
- the fluorescence is relatively strongly emitted even in a normal region, and the lesion portion or the normal portion is obtained in the obtained fluorescence image. It may be difficult to determine whether.
- the division image generation unit 64 generates a division image by dividing the fluorescence image by the reference image.
- the fluorescence intensity change depending on the observation distance or the observation angle can be reduced in the divided image. That is, since the intensity of the reference image greatly depends on the observation distance and the observation angle, the influence of the observation distance and the observation angle can be reduced by normalizing the fluorescent image with the reference image.
- the generated divided image is output to the corrected image generation circuit 31F.
- the original reflected light intensity cannot be obtained due to the difference in the absorption characteristics of the reference light in the subject.
- the division image can suppress the influence of the change in fluorescence intensity caused by the observation distance and the observation angle, but the absorption characteristic of the reference light in the subject. In some cases, the influence of the intensity change of the reflected light due to the difference between the two occurs.
- the corrected image is corrected by correcting the intensity change of the divided image due to the difference in the absorption characteristics of the reflected light in the observation target A by multiplying the divided image by the fluorescent image in the corrected image generation circuit 31F. Is generated. That is, by multiplying the divided image by the fluorescence image not related to the absorption in the observation target A, it is possible to reduce the fluorescence intensity change caused by the observation distance and the observation angle and generate a corrected image in which the influence of the absorption is reduced. it can. More specifically, in the corrected image, fluorescence is generated from a region common to the region having relatively high luminance in the fluorescent image and the region having relatively high luminance in the reference image, that is, a lesion part. The area will be emphasized. The generated corrected image is output to the extraction circuit 32F.
- next step SL15 in the extraction circuit 32F, a pixel having a gradation value larger than the threshold value among all the pixels of the correction image based on a preset threshold value from the correction image input from the correction image generation circuit 31F.
- the feature area is extracted, and the process proceeds to the next step SL16.
- an image displaying the extracted area corresponds to the final fluorescence image.
- the image composition unit 67 generates a composite image. By doing so, in the composite image, the contrast between the lesion and the background is enlarged with a predetermined threshold as a reference.
- the image composition unit 67 outputs the generated composite image to the monitor 20.
- the composite image received from the image composition unit 67 is displayed on the monitor 20.
- the division image generated by the division image generation unit 64 is (division image) ⁇ A ⁇ (fluorescence image) ⁇ B.
- the intensity change of the reflected light caused by the difference in the absorption characteristic of the reference light in the subject that affects the divided image is also corrected.
- a corrected image in which the contrast between the fluorescence (background) and the lesioned part is enlarged can be generated as the final fluorescence image.
- the extraction circuit 32F extracts a region having a gradation value higher than the threshold value and mainly displaying fluorescence from the lesion as a feature region, the feature region is superimposed on the reference image to generate an image.
- the contrast between the lesion and the background is further enlarged as a threshold criterion. Therefore, it is possible to more accurately and accurately extract the lesion from the corrected image in which the influence of the background on the divided image is suppressed depending on the change in the reference light intensity due to the absorption characteristics of the subject.
- a divided image is first generated and then the divided image is multiplied by a fluorescent image.
- the order of calculation is not limited to this.
- the fluorescence image may be multiplied by the fluorescence image, and this may be calculated in an order such as division by the reference image. Also, based on the division image and the fluorescence image, coefficients A and B are used as post-processing parameters.
- the corrected image may be generated by adding the divided image and the fluorescence image.
- the first post-processing mode can be modified as follows.
- the extraction circuit 32F selects a region having a gradation value larger than the threshold value from the corrected image to the threshold value set by the correction condition setting unit 66, 66 ′, 66 ′′.
- the present invention is not limited to this, and the configuration of the post-processing unit 65 that executes the first post-processing mode can be modified as shown in FIG.
- the processing unit 65 can be configured to include a threshold value setting circuit 33F that acquires information of the correction image from the correction image generation circuit 31F, calculates a threshold value based on the correction image, and sets the threshold value. A processing method in the first post-processing mode according to the example will be described.
- the post-processing unit 65 includes a threshold setting circuit 33F that calculates and sets a threshold value that serves as a reference for extracting a feature region by the extraction circuit 32F.
- the threshold setting circuit 33F acquires the information of the corrected image from the corrected image generation circuit 31F, and calculates and sets the threshold based on the average value of the gradation values for each pixel in the corrected image. More specifically, as shown in the following equation (12), the threshold setting circuit 33F sets a value obtained by multiplying the average gradation value m of the entire corrected image by a predetermined coefficient a as the threshold S.
- the set threshold value S is output to the extraction circuit 32F.
- S am
- a modified example of the first post-processing mode by the post-processing unit 65 according to this modified example configured as described above will be described with reference to the flowchart of FIG.
- the post-processing unit 65 according to this modification after the division image and the correction image are generated based on the fluorescence image and the reference image (from step SL21 to step SL24), the generated correction image is sent to the threshold setting circuit 33F. Output to the extraction circuit 32F, and proceeds to the next step SL25.
- the threshold value setting circuit 33F determines the coefficient a of Equation (12) described above, and calculates and sets the average gradation value m of the entire image from the corrected image output from the divided image generation unit 64. Using the coefficient a and the calculated average gradation value m of the entire image, the threshold value S is calculated by Expression (12). Thereby, the threshold value S of the gradation value in the divided image is set, and the set threshold value S is output to the extraction circuit 32F.
- next step SL26 using the threshold S set in step SL25 as a reference, the extraction circuit 32F extracts pixels having a gradation value larger than the threshold S from all the pixels of the corrected image as a feature region from the corrected image. Proceed to next step SL27.
- step SL27 the image composition unit 67 generates a composite image by superimposing the feature region extracted by the extraction circuit 32F on the reference image. By doing so, in the composite image, the contrast between the lesion and the background is enlarged with a predetermined threshold as a reference.
- the image composition unit 67 outputs the generated composite image to the monitor 20.
- the composite image received from the image composition unit 67 is displayed on the monitor 20.
- the extraction circuit 32F has a gradation value higher than the threshold value mainly. Since the region where the fluorescence from the lesion is displayed is extracted as a feature region, the feature region is superimposed on the reference image to generate an image. The contrast of the image is further enlarged.
- the threshold value is set based on the average gradation value of the entire corrected image by the threshold value setting circuit 33F, the threshold value is updated following the fluctuation of the gradation value in the corrected image, and the individual of the subject is acquired in the acquired corrected image. It is possible to reduce the influence of differences and changes over time, and to accurately extract a lesion. Therefore, it is possible to acquire the information of the observation target A while suppressing the influence of the background, and it is possible to extract the lesion part more accurately and accurately.
- the threshold value is set based on the average gradation value m.
- the present invention is not limited to this, and for example, as shown in the following equation (13), the average gradation value m of the entire image
- the threshold setting circuit 33F may set a threshold for each divided image of the next frame, and sets the threshold when the average value of the gradation values of each pixel of the next frame fluctuates beyond a certain ratio. It may be set.
- the observation target A can be specified based on the identification information of the insertion unit 2. That is, in the fluorescence observation apparatus 500 according to the fifth embodiment, the IC chip 73 stores information related to the observation target portion corresponding to each insertion unit 2 as identification information.
- the identification information stored in the IC chip 73 is read by the IC reader 74 and sent to the input unit 75, and the observation target region is specified based on the identification information. Then, information related to the specified observation target is output to the correction condition setting units 66, 66 ', 66 ".
- the color characteristics of the observation target A have been described, but the same effect can be obtained even when the intensity of reflected light decreases due to factors other than distance (for example, a shape such as unevenness).
- the second post-processing mode is a processing mode in which a process for enlarging contrast in a divided image between a region having a gradation value larger than the gradation value threshold and a region having a gradation value smaller than the gradation value threshold is performed.
- Such a second post-processing mode is suitable for removing the dependency of the observation distance / observation angle remaining in the divided image due to the observation distance from the distal end surface 2a of the insertion portion 2 to the observation object A. is there.
- the correction condition setting units 66 and 66 ′ of the fluorescence observation apparatuses 100 and 200 according to the first and second embodiments are configured so that “local vision” and “overhead view” are input or determined as observation conditions. 2.
- the correction condition setting unit 66 ′′ of the fluorescence observation apparatuses 300, 400, and 500 according to the third to fifth embodiments is a “large omentum” or “under the diaphragm” that is observed from a bird's-eye view, such as “Douglas fossa” that is locally observed.
- enteric membrane or the like is input or determined, post-processing parameters of the second post-processing mode are set.
- the correction condition setting units 66, 66 ′, 66 ′′ are in an observation condition corresponding to “local observation” in which the amount of received light of reflected light and fluorescence tends to increase in the second post-processing mode described later.
- the weighting coefficient a (post-processing parameter), which will be described later, is set larger so that the gradation value threshold is higher.
- the correction condition setting units 66, 66 ′, 66 ′′ are weighted so that the gradation value threshold is lower when the observation condition corresponds to “overhead observation” in which the amount of reflected light and fluorescence tends to be low.
- the coefficient a is set smaller.
- the second post-processing mode is executed by an image adjustment circuit 31G and a threshold setting circuit 32G included in the post-processing unit 65.
- the threshold value setting circuit 32G sets the gradation value threshold value of the gradation value in the divided image generated by the divided image generation unit 64.
- the threshold value setting circuit 32G sets the correction condition setting unit 66 to the average value (average gradation value of the entire image) m of each pixel in the divided image, as shown in the following Expression 8.
- 66 ′, 66 ′′ a value obtained by multiplying by the weighting coefficient a is set as the gradation value threshold value.
- the image adjustment circuit 31G adjusts the gradation value in the divided image. Specifically, the image adjustment circuit 31G has a contrast in a divided image of a pixel region having a gradation value larger than the gradation value threshold S set by the threshold setting circuit 32G and a pixel region having a small gradation value. The pixel having the gradation value less than the gradation value threshold S is replaced with the gradation value 0 for display.
- the division image generated by the division image generation unit 64 is sent to the threshold setting circuit 32G and is shown in FIG. 94A. As described above, after the post-processing is performed by the image adjustment circuit 31, it is sent to the monitor 20 together with the reference image for display.
- This division image is mainly composed of a region where weak fluorescence from the background is displayed and a region where strong fluorescence from the lesion is displayed.
- the horizontal axis indicates the gradation value
- the vertical axis indicates the frequency in the entire divided image (the same applies to FIGS. 96B, 97A, and 98A). Note that a histogram as shown in FIG. 94B may be displayed on the monitor 20.
- the dependence on the observation distance and the observation angle differs between the fluorescence and the reflected light, the influence of the observation distance and the observation angle cannot be completely corrected in the divided image, and a certain error may occur.
- the setting of the gradation value threshold by the threshold setting circuit 32G and the adjustment of the divided image by the image adjustment circuit 31G which are performed to acquire quantitative information of the observation target A, will be described with reference to the flowchart shown in FIG. .
- the threshold setting circuit 32G acquires the divided image sent from the divided image generation unit 64 (step SM2)
- the threshold setting circuit 32G calculates the average gradation value m of the entire image (step SM3).
- the average gradation value m of the entire image is calculated by the following formula 9, for example.
- the distribution of the gradation value of the pixel that displays the background and the distribution of the gradation value of the pixel that displays the lesion part follows a normal distribution, and the standard deviation displays the gradation value and the lesion part of the pixel that displays the background. Assuming that it is 10 times the square root of the average value of the gradation values of the pixels to be processed, 96.5% of the background display is erased and 82.9% of the lesion display remains.
- the final fluorescence image in which the contrast between the region displaying the lesion and the region displaying the background is enlarged is displayed on the monitor 20 (step SM6).
- the final fluorescence image is configured by a region where the gradation value is higher than the gradation value threshold S and the fluorescence from the lesioned part is mainly displayed.
- the average value of the gradation value of each pixel in the divided image of the next frame fluctuates in a direction of increasing as shown in FIG. 97A due to an error factor.
- the gradation value threshold value S 1575 is left unchanged after the gradation value change without changing the current gradation value threshold value, the number of areas having gradation values exceeding the gradation value threshold value S is increased.
- FIG. 97B although 99.5% of the display of the lesioned part remains, only 57.7% of the background display is erased, and the sharpness of the divided image is lowered.
- the threshold value setting circuit 32G sets the gradation value threshold value S based on the average gradation value m of the entire image, so that steps SM2 to SM6 are repeated.
- step SM5 the gradation value in the divided image is adjusted in the image adjustment circuit 31G (step SM5), and as shown in FIG. 98B, 98.7% of the background display is erased, and the lesion display 87 is displayed.
- step SM6 A new final fluorescence image with 8% left is displayed.
- step SM6 the gradation value threshold S is updated based on the average gradation value m of the entire image, and the gradation value is adjusted.
- a new final fluorescence image is displayed on the monitor 20.
- the gradation value of the divided image is adjusted by the image adjustment circuit 31G so that the contrast between the lesioned part and the background is enlarged with reference to the predetermined gradation value threshold value.
- the threshold value setting circuit 32G sets the gradation value threshold value based on the average gradation value of the divided image, thereby updating the gradation value threshold value in accordance with the variation of the gradation value in the divided image and acquiring the division value.
- the sharpness of each image can be maintained. Thereby, the quantitative information of the observation object A can be acquired.
- the weighting coefficient a 1.5 is exemplified, but as described above, the value of the weighting coefficient a is appropriately changed according to the observation state by the correction condition setting units 66, 66 ′, 66 ′′.
- the second post-processing mode can be modified as follows.
- the gradation value threshold value is set based on the average gradation value m of the entire divided image.
- the threshold value setting circuit 32G includes As shown in the following formula 10, the gradation value threshold value S may be set based on the average gradation value m, the standard deviation, and the weighting coefficients a and b (post-processing parameters) of the entire image.
- the correction condition setting units 66, 66 ′ and 66 ′′ increase the weighting coefficients a and b when the observation condition corresponds to “local observation”, and when the observation condition corresponds to “overhead observation”.
- the post-processing unit 65 is instructed to set the weighting coefficients a and b small.
- ⁇ Standard deviation of the gradation value of each pixel in the divided image
- the standard deviation ⁇ of the entire image may be calculated by the following formula 11.
- a gradation value 0 1441 among all the pixels of the divided image
- the gradation value threshold S is set based on the sum of the average gradation value m and the standard deviation ⁇ of the entire image, so that the divided image can be compared with the observation distance and the observation angle. Even when an error factor remains, a clear final fluorescence image can be always obtained.
- a gradation value threshold value that is more accurate than the case where the gradation value threshold value is set based only on the average gradation value. Can be set.
- the gradation value threshold value S 1046 is obtained, and the background display 90 % Is erased, leaving 83% of the lesion display. Therefore, it is possible to set a gradation value threshold value that leaves more lesions displayed, which is particularly effective when priority is given to sensitivity over specificity.
- the gradation value threshold S is set for each divided image of the next frame.
- the gradation of each pixel of the next frame is set.
- the gradation value threshold may be set when the average value of the tone values fluctuates beyond a certain ratio.
- the threshold value setting circuit 32G sets the gradation value threshold value S of the gradation value in the divided image, and stores the average gradation value m of the entire image at this time.
- advance step SN3 ′
- a new divided image is displayed in steps SN4 and SN5.
- step SN6 when the divided image of the next frame is acquired in the threshold setting circuit 32G (step SN6), the average gradation value m of the entire image is calculated (step SN7), and the stored entire image of the previous frame is calculated. The average gradation value m is compared (step SN8).
- step SN2 to step SN8. Is repeated.
- the standard deviation ⁇ of the entire image of the next frame is calculated (step SN2), a new gradation value threshold S is set, and a new average gradation value m is stored (step SN3 ').
- step SN8 when the average gradation value m of the entire image of the next frame is 0.8 times or more and 1.2 times or less of the average gradation value m of the entire image of the previous frame, the gradation value threshold value is The final fluorescence image is displayed by adjusting the divided image of the next frame without changing (step SN9), and the process returns to step SN6.
- the gradation value gradation value threshold S is not reset every time a divided image is generated. It is possible to acquire a final fluorescent image with a stable sharpness. Further, by maintaining the threshold value S as long as the average value of the gradation values of each pixel does not fluctuate greatly, the calculation amount of the standard deviation ⁇ can be reduced and the processing speed can be improved.
- the fluorescence observation apparatus includes a threshold value change command unit 261 for inputting a gradation value threshold value change command, and the operator changes the threshold value change command unit 261.
- the gradation value threshold value may be manually changed by operating the. In this way, instead of always setting the gradation value threshold every time a divided image of the next frame is generated, the divided image is displayed when the operator determines that the gradation value threshold is no longer appropriate during observation. Can be adjusted.
- Step SN6 After the division image of the next frame is acquired in the threshold setting circuit 32G (step SN6), a change command is input to the threshold value change command unit 261 from the operator. (Step SO7 “YES”), Step SN1 to Step SO7 may be repeated. As a result, the threshold setting circuit 32G is operated, and the threshold gradation value S is set based on the sum of the average gradation value m of the entire image of the next frame and the standard deviation ⁇ (step SN3).
- Step SO7 “NO”) when a change command is not input from the operator to the threshold value change command unit 261 (step SO7 “NO”), the gradation value of the divided image is adjusted based on the current gradation value threshold value S by the image adjustment circuit 31G. (Step SO8), it is only necessary to return to Step SN6.
- the gradation value threshold value may be set at intervals of several frames instead of always setting the gradation value threshold value every time a divided image of the next frame is generated.
- the information n regarding the frequency of changing the gradation value threshold is individually determined in the insertion unit 2, and the fluorescence observation apparatuses 100, 200, 300, 400, and 500 are connected to the insertion unit.
- the identification value reading unit (not shown) of the insertion unit 2 for reading the information n 2 is provided, and the threshold value setting circuit 32G may change the gradation value threshold based on the read information n.
- the information n may mean, for example, that the gradation value threshold value is changed once when the number of frames i reaches the nth frame.
- the information n and the identification information reading unit of the insertion unit 2 may correspond to the identification information and the IC reader 74 in the fluorescence observation apparatus according to the fifth embodiment, respectively.
- Step SP7 when the number i of the next frame acquired by the threshold setting circuit 32G in step SN6 reaches the nth frame (step SP7 “YES”), the number i is reset. (Step SP8), Step SN2 to Step SP7 may be repeated. Thereby, the gradation value threshold S is set based on the sum of the average gradation value m of the entire image of the next frame and the standard deviation ⁇ (step SN2, step SN3).
- step SP7 “NO”) if the number i of the next frame has not reached the nth frame (step SP7 “NO”), 1 is added to the number i (step SP9), and then the current gradation value threshold value is set by the image adjustment circuit 31G. The gradation value of the divided image is adjusted based on S (step SP10), and the process returns to step SN6.
- the number of times of calculating the average gradation value m and the standard deviation ⁇ of the entire image can be reduced, and the processing can be speeded up.
- the frequency of resetting the tone value threshold S may be lowered under observation conditions that are fixed and the observation distance is relatively constant.
- the image adjustment circuit 31G erases the background fluorescence display and leaves the lesion area display.
- the contrast with the fluorescence from the ground may be increased.
- the gradation value of the pixel is lowered to the extent that the background display is not erased, or the gradation value of the pixel displaying the lesion is increased. It is good as well.
- the third post-processing mode by the post-processing unit 65 included in the fluorescence observation apparatuses 100, 200, 300, 400, and 500 according to the first to fifth embodiments will be described.
- a first region having a gradation value higher than the first threshold value of the fluorescent image is extracted, and a second region having a gradation value higher than the second threshold value of the divided image is extracted.
- an overlapping area where the first area and the second area overlap is extracted from the fluorescence image.
- Such a third post-processing mode is used alternatively to the above-described first post-processing mode. That is, the correction condition setting units 66, 66 ′, and 66 ′′ of the fluorescence observation apparatuses 100, 200, 300, 400, and 500 according to the first to fifth embodiments have the same observation conditions as those in the first post-processing mode.
- the post-processing parameters of the third post-processing mode are set for the first post-processing mode and the third post-processing mode, which may be selected by the user before observation. Alternatively, only one of them may be mounted when manufacturing the device.
- the correction condition setting units 66, 66 ′, 66 ′′ perform division in the third post-processing mode to be described later when the observation condition is that the distance in the field of view is large and the surface of the observation target is smooth.
- a second threshold value (post-processing parameter) for a divided image which will be described later, is set to a smaller value than the first threshold value (post-processing parameter) for a fluorescent image so that the weight of the image increases.
- the condition setting units 66, 66 ′, and 66 ′′ use the first fluorescent image so that the weight of the fluorescent image is increased under the observation conditions in which the perspective width in the field of view is small and the surface of the observation target is uneven.
- the threshold value of 1 is set to a value smaller than the second threshold value for the divided image.
- the third post-processing mode is performed by the first threshold setting circuit 31H and the second threshold setting circuit 32H included in the correction condition setting units 66, 66 ′, and 66 ′′, and the post-processing unit 65.
- the coordinate extraction circuit (second region extraction unit) 33H and the fluorescence image correction circuit (first region extraction unit, corrected fluorescence image generation unit) 34H are provided with the coordinate extraction circuit 33H.
- the fluorescent image correction circuit 34H corrects the fluorescent image.
- the first threshold setting circuit 31H sets, as the first threshold, a threshold for removing a region having a low gradation value such as a background due to weak fluorescence emitted from a normal part of the observation target A in the fluorescence image. .
- the first threshold setting circuit 31H outputs the set first threshold to the fluorescence image correction circuit 34H.
- the second threshold setting circuit 32H sets, as the second threshold, a threshold for removing a region having a low gradation value such as the background of the observation target A in the divided image.
- the second threshold setting circuit 32H outputs the set second threshold to the coordinate extraction circuit 33H.
- the coordinate extraction circuit 33H extracts the coordinates of pixels having a gradation value equal to or lower than the second threshold value input from the second threshold value setting circuit 32H in the divided image.
- the coordinate extraction circuit 33H outputs the extracted coordinates to the fluorescence image correction circuit 34H.
- the fluorescent image correction circuit 34H performs correction to replace a pixel having a gradation value lower than the first threshold value input from the first threshold value setting circuit 31H in the fluorescent image with a gradation value 0. Further, the fluorescence image correction circuit 34H performs correction to replace a pixel having a coordinate overlapping the coordinate extracted by the coordinate extraction circuit 33H in the corrected fluorescence image with a gradation value 0. As a result, an image obtained by correcting the fluorescence image twice is generated as a final fluorescence image. Further, the fluorescence image correction circuit 34H sends the generated final fluorescence image to the image composition unit 67 together with the reference image and the fluorescence image.
- step SR1 the third post-processing mode by the post-processing unit 65 and the correction condition setting units 66, 66 ′, 66 ′′ configured as described above, as shown in FIG. Is set (step SR1) and is output to the fluorescence image correction circuit 34H, and the second threshold is set by the second threshold setting circuit 32H (step SR2) and output to the coordinate extraction circuit 33H. .
- the insertion portion 2 is inserted into the body cavity, and as shown in FIG. 106, the fluorescence image generated based on the image information generated by the imaging elements 17 and 18 by causing the distal end 2a to face the observation target A and The reference image is sent to the monitor 20 via the fluorescent image correction circuit 34H and displayed.
- the fluorescent agent actually accumulates slightly in the normal part as well as the lesion part, weak fluorescence is emitted from the part other than the lesion part, and the background image excluding the lesion part in the fluorescence image, That is, it is displayed as a background. Even if it is a normal part, if the distance from the insertion part 2 is too short, it is identified as a region having a high gradation value in spite of weak fluorescence, and is displayed as if it is a lesioned part on the fluorescent image. (Hereinafter, such a region is referred to as a “false positive portion”).
- this fluorescent image is mainly composed of a lesion area, a false positive area, and a surrounding background area.
- the horizontal axis indicates the gradation value
- the vertical axis indicates the frequency of the entire final fluorescence image (the same applies to FIGS. 108B and 109B).
- the division image (FIG. 108A) generated by the division image generation unit 64 is sent to the coordinate extraction circuit 33H (step SR3).
- this divided image mainly includes a lesion area having a gradation value exceeding the second threshold value and a false positive portion having a gradation value equal to or less than the second threshold value. It is comprised by the background area
- the coordinates of pixels having a gradation value equal to or lower than the second threshold value input from the second threshold value setting circuit 32H are extracted from the division image sent from the division image generation unit 64. It is sent to the fluorescence image correction circuit 34H (step SR4).
- the coordinate extraction circuit 33H extracts a region (second region) having a gradation value higher than the second threshold value of the divided image, that is, the region of the lesion, A region having a low gradation value such as a background is distinguished.
- a pixel having a gradation value lower than the first threshold value input from the first threshold value setting circuit 31H in the fluorescence image is replaced with a gradation value 0 (step SR5).
- the background of the fluorescent image is removed, and the region having the gradation value higher than the first threshold (first region), that is, the region of the lesioned part and the false region A positive area is extracted.
- the fluorescence image correction circuit 34H the pixel corresponding to the coordinate input from the coordinate extraction circuit 33H is replaced with a gradation value 0 in the fluorescence image obtained by extracting the lesion area and the false positive area.
- Step SR6 the area of the false positive part of the fluorescence image is removed, and the area of the lesion part that is the overlapping area of the first area of the fluorescence image and the second area of the divided image is extracted. A final fluorescence image is generated.
- the generated final fluorescence image is sent to the monitor 20 and displayed (step SR7). As described above, when the fluorescence image and the reference image of the next frame are generated, Step SR3 to Step SR7 are repeated, and a new final positive fluorescence image is displayed on the monitor 20.
- the background of the fluorescent image is removed by the first threshold value setting circuit 31H, and the fluorescent image is further increased by the second threshold value setting circuit 32H and the fluorescent image correction circuit 49.
- the final fluorescence image in which only the affected part is extracted is generated by suppressing not only the influence of the background lower than the first threshold but also the influence of the false positive part exceeding the first threshold. be able to.
- a division image such as information on the shape of the edge portion or shadowed portion of the observation target A or information on the color different from the surroundings of the bleeding site, blood vessel, etc. It is possible to suppress the influence of factors that deteriorate the image quality unique to the reference image reflected in the image. As a result, it is possible to acquire a highly accurate final fluorescence image with few factors that deteriorate the image quality.
- the coordinate extracting circuit 33H uses the first of the divided images. It is also possible to directly extract the coordinates of a region (second region) having a gradation value exceeding the threshold value of 2. In this case, the coordinate extraction circuit 33H outputs the coordinates of the second region to the fluorescence image correction circuit 34H, and the pixel corresponding to the coordinates of the second region from the fluorescence image from which the fluorescence image correction circuit 34H has extracted the first region.
- the final fluorescence image may be generated by replacing pixels other than (overlapping area) with a gradation value of 0.
- the fluorescence image correction circuit 34H replaces the pixel having the gradation value lower than the first threshold value of the fluorescence image with the gradation value 0.
- the first region of the fluorescent image and the region having the gradation value lower than the first threshold are displayed in different colors as long as the first region having a gradation value higher than the threshold can be extracted. It is good as well.
- the fluorescence image correction circuit 34H replaces the pixel of the coordinate overlapping the coordinate extracted by the coordinate extraction circuit 33H in the fluorescence image with the gradation value 0, the first region of the fluorescence image and the first of the division image As long as an overlapping area with the second area having a gradation value exceeding the threshold value of 2 can be extracted from the fluorescence image, for example, the overlapping area and the area other than the overlapping area may be displayed in different colors. .
- the third post-processing mode can be modified as follows.
- each threshold value is set by the first threshold value setting circuit 31H and the second threshold value setting circuit 32H.
- FIG. the fluorescence observation apparatus includes a threshold value input unit 611 for inputting each threshold value, and the operator operates the threshold value input unit 611 to first the first threshold value setting circuit 31H and the second threshold value setting circuit 32H, respectively.
- the threshold value and the second threshold value may be manually input. By doing in this way, an operator can set a desired threshold according to an observation object and an observation method.
- the first threshold value and the second threshold value may be set by observing the phantom (standard sample) Y.
- the phantom Y has, for example, a shape having two raised portions A1 and B1 on a flat base portion, and the raised portion A1 emits fluorescence stronger than the surrounding when observed under predetermined observation conditions (distance / angle). It is possible to use an emission fluorescent image having a gradation value of 2000 and a raised portion B1 emitting fluorescence having the same intensity as that of the base portion and indicating a gradation value of 1000 on the fluorescence image.
- the preset first threshold value and second threshold value are reset (step SS1), and the observation distance from the insertion portion 2 to the raised portions A1 and B1
- the phantom Y is set to start observation so that the distance from the insertion portion 2 to the base portion is about 70% (step SS2). Since the fluorescence intensity is inversely proportional to the square of the observation distance, when observed under the above-mentioned predetermined observation conditions, the fluorescent image generation unit 21 causes the base portion to have a gradation value of 1000, the raised portion A1 has a gradation value of about 4000, and the raised portion B1 has A fluorescent image having a gradation value of about 2000 is generated.
- the influence of the observation distance is reduced, so that the base portion and the raised portion B1 have a gradation value of 1000, and the raised portion A1 has a gradation value of about 4000.
- the first threshold value setting circuit 31H sets the first threshold value to 1500 so that only the raised portions A1 and 1B are displayed on the fluorescent image (step SS3).
- the second threshold value setting circuit 32H sets the second threshold value to 1500 so that the raised portion B1 is also identified as being below the second threshold value together with the base portion (step SS4).
- each threshold value is set using a cylindrical phantom as in the lumen of the large intestine, and when observing the stomach, a hollow phantom having a relatively wide space Each threshold value may be set using.
- the fluorescence observation apparatus 101 is stored in a storage unit 631 that stores threshold values set using a plurality of phantoms Y, and a storage unit 631. It is good also as providing the selection part 651 which selects the threshold value for every phantom. By doing in this way, when observing on the same observation conditions, a highly accurate threshold value can be set easily and operability can be simplified.
- the IC chip 73 serves as the identification information of the insertion unit 2 as the light guide fiber 11 and the illumination optics.
- the number of irradiation units constituted by the system 12, the observation angle between the irradiation unit and the light receiving unit constituted by the objective lens 13, and the like may be stored.
- the IC reader 74 reads the identification information of the insertion unit 2 stored in the IC chip 73, and the first threshold setting circuit 31 ⁇ / b> H and the second threshold setting circuit
- the first threshold value setting circuit 31H (threshold value setting unit circuit) 45A and the second threshold value setting circuit 32H (threshold value setting circuit) 45B output the first threshold value and the second threshold value based on the identification information of the insertion unit 2.
- the threshold value may be set. In this way, a practical first threshold value and second threshold value are set for each insertion section 2 having different uses and specifications, and a higher-accuracy final fluorescence image is acquired according to the observation target and the observation method. can do.
- the first threshold value and the second threshold value may be set by observing the phantom Y, as in the first modification example.
- the post-processing unit 65 calculates an average value m of tone values for each pixel in the divided image and a standard deviation ⁇ of the tone values.
- the second threshold setting circuit 32H includes a value calculation circuit 35H, and sets the second threshold S based on the sum of the average value m of the gradation values and the standard deviation ⁇ , as shown in the following Expression 12. What should I do?
- step ST1 the division image generated by the division image generation unit 64 is output to the feature value calculation circuit 35H and the coordinate extraction circuit 33H.
- Step ST2 the average gradation value m of the entire divided image and its standard deviation ⁇ are calculated by the feature value calculation circuit 35H and output to the second threshold setting circuit 32H (step ST3), and the second threshold setting circuit 32H.
- the second threshold value S may be set using Equation 12 and output to the coordinate extraction circuit 33H (step ST4).
- step ST5 to step ST8 are the same as step SR4 to step SR7 in FIG.
- the second threshold value is updated following the change in the gradation value for each pixel in the divided image, or even when the gradation value for each pixel varies, the accuracy is high.
- 2 thresholds can be set. Further, it is possible to absorb an error with respect to an observation distance or an observation error in the divided image, and set a second threshold value with high accuracy for each generated divided image.
- the coefficients a and b may be set so as to be inversely proportional to the ratio of the lesioned part in the assumed divided image, for example. By doing in this way, the minimum value and the maximum value of the second threshold value can be limited based on the ratio of the pixel region having a high gradation value in the divided image.
- the second threshold setting circuit 32H sets the second threshold S based on the sum of the average gradation value m of the entire divided image and the standard deviation ⁇ of the gradation value.
- the first threshold value setting circuit 31H may set the first threshold value based on the sum of the average gradation value of the entire fluorescent image and the standard deviation of the gradation value.
- the feature value calculation circuit 35H calculates the average gradation value of the entire fluorescent image and its standard deviation, and outputs them to the first threshold value setting circuit 31H.
- a coefficient input unit (not shown) for inputting the coefficients a and b may be provided in the feature value calculation circuit 35H.
- the post-processing mode that is not selected as the post-processing mode for setting the post-processing parameter is also in a state where the post-processing parameter is set to be constant (the initial value is maintained). It is good also as being used together.
- the post-processing parameter of the second post-processing mode is set in the observation condition corresponding to “local”, but at the same time, the third post-processing mode may be used with the post-processing parameter as the initial value. Good.
- Illumination unit (illumination part) 5 Imaging unit 6 Image processing unit 7 Observation condition input unit (observation condition determination unit) 17 Image sensor (reference image acquisition unit) 18 Image sensor (fluorescence image acquisition unit) 20 Monitor (display unit) 61 Reference image generation unit 62 Fluorescence image generation unit 63 Pre-processing unit (correction processing unit) 64 division image generation unit 65 post-processing unit (correction processing unit) 66, 66 ′, 66 ′′ correction condition setting unit 67 image composition unit 68 observation condition determination unit (observation condition determination unit) 69, 69 ′ Observation site determination unit (observation condition determination unit) 71 Observation site input unit (observation condition determination unit) 72 Observation information input part (observation condition determination part) 100, 200, 300, 400, 500 Fluorescence observation apparatus A Observation object (subject)
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
異なる要因により除算した画像に残存する観察距離・観察角度に対する依存性をその要因に応じて高精度に除去する。被写体(A)の蛍光画像または参照画像を取得する蛍光画像取得部(18)及び参照画像取得部(17)と、参照画像に基づく画像で蛍光画像に基づく画像を除算し除算画像を生成する除算画像生成部(64)と、除算画像に基づく最終蛍光画像を表示する表示部(20)と、除算画像生成部(64)による除算画像の生成または表示部(20)による最終蛍光画像の表示に先立ち参照画像および蛍光画像のうち少なくとも一方ならびに/もしくは除算画像に対して補正処理を施す補正処理部(65)と、被写体(A)の観察条件を決定する観察条件決定部(7)と、該観察条件決定部(7)によって決定された観察条件に応じて補正処理部(65)による補正処理に係るパラメータを設定する補正条件設定部(66)とを備える蛍光観察装置(100)を提供する。
Description
本発明は、蛍光観察装置に関するものである。
従来、蛍光画像を反射光画像で除算して、観察距離による蛍光画像の明るさの変動を補正する方法が知られている(例えば、特許文献1から特許文献3参照。)。
しかしながら、蛍光と反射光とでは、撮像される明るさの観察距離に対する依存性および観察角度に対する依存性が異なるため、単に蛍光画像を反射光画像で除算したのでは、距離および角度の影響を補正しきれないという問題がある。
さらに、内視鏡観察のように様々な条件の下で観察が行われる場合には、除算した画像に距離・角度の依存性が残存する要因が観察部位の形状、構造、色等の性質や観察距離等の観察条件によって異なる。このように観察条件が異なる全ての画像に対して一様の画像処理を行う特許文献1から3の方法では、蛍光や散乱光の明るさの変化を高精度に補正することが困難である。
さらに、内視鏡観察のように様々な条件の下で観察が行われる場合には、除算した画像に距離・角度の依存性が残存する要因が観察部位の形状、構造、色等の性質や観察距離等の観察条件によって異なる。このように観察条件が異なる全ての画像に対して一様の画像処理を行う特許文献1から3の方法では、蛍光や散乱光の明るさの変化を高精度に補正することが困難である。
本発明は上述した事情に鑑みてなされたものであって、異なる要因により除算した画像に残存する観察距離・観察角度に対する依存性をその要因に応じて高精度に除去することができる蛍光観察装置を提供することを目的としている。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、被写体に励起光および照明光を照射する光源を有する照明部と、前記光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記光源からの前記照明光の照射により前記被写体から戻る反射光を撮影し参照画像を取得する参照画像取得部と、前記参照画像に基づく画像を用いて前記蛍光画像に基づく画像を除算し除算画像を生成する除算画像生成部と、前記除算画像生成部によって生成された前記除算画像に基づく最終蛍光画像を表示する表示部と、前記除算画像生成部による前記除算画像の生成または前記表示部による前記最終蛍光画像の表示に先立ち前記参照画像および前記蛍光画像のうち少なくとも一方ならびに/もしくは前記除算画像に対して補正処理を施す補正処理部と、前記被写体の観察条件を決定する観察条件決定部と、該観察条件決定部によって決定された前記観察条件に応じて前記補正処理部による前記補正処理に係るパラメータを設定する補正条件設定部とを備える蛍光観察装置を提供する。
本発明は、被写体に励起光および照明光を照射する光源を有する照明部と、前記光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記光源からの前記照明光の照射により前記被写体から戻る反射光を撮影し参照画像を取得する参照画像取得部と、前記参照画像に基づく画像を用いて前記蛍光画像に基づく画像を除算し除算画像を生成する除算画像生成部と、前記除算画像生成部によって生成された前記除算画像に基づく最終蛍光画像を表示する表示部と、前記除算画像生成部による前記除算画像の生成または前記表示部による前記最終蛍光画像の表示に先立ち前記参照画像および前記蛍光画像のうち少なくとも一方ならびに/もしくは前記除算画像に対して補正処理を施す補正処理部と、前記被写体の観察条件を決定する観察条件決定部と、該観察条件決定部によって決定された前記観察条件に応じて前記補正処理部による前記補正処理に係るパラメータを設定する補正条件設定部とを備える蛍光観察装置を提供する。
本発明によれば、光源から発せられた励起光が被写体に照射されることにより蛍光画像取得部により被写体において発生した蛍光の蛍光画像が取得され、光源から励起光とともに発せられた参照光が被写体に照射されることにより参照画像取得部によりその反射光の参照画像が取得される。除算画像生成部は、同一の被写体に対する蛍光画像に基づく画像を参照画像に基づく画像で除算することにより、観察距離や観察角度に依存する蛍光強度変化を軽減した除算画像を生成する。
この場合に、観察条件決定部によって決定された被写体の観察条件に応じて補正条件設定部が補正処理部による補正処理に用いられるパラメータを設定する。すなわち、観察距離や観察角度の影響を補正しきれない要因となっていた観察条件に応じて、除算画像の基となる蛍光画像および/または参照画像もしくは除算画像に対して行われる補正処理の内容が変更されることにより、異なる要因で除算画像に残存していた観察距離・観察角度に対する依存性が高精度に除去された最終蛍光画像を表示部に表示することができる。
上記発明においては、前記補正処理部が、前記除算画像に対して前記後補正処理を行うことにより前記最終蛍光画像を生成する後処理部を備えた構成であってもよい。
上記構成においては、前記後処理部が、前記除算画像に対して異なる後補正処理を施す複数の後処理モードを有し、前記補正条件設定部が、前記観察条件に応じて前記複数の後処理モードのうち少なくとも1つの後処理モードに係る前記パラメータを後処理パラメータとして設定することとしてもよい。
このようにすることで、観察条件によって除算画像に施される処理モードが切り替えられるので、観察距離や観察角度の影響を一層軽減することができる。
上記構成においては、前記後処理部が、前記除算画像に対して異なる後補正処理を施す複数の後処理モードを有し、前記補正条件設定部が、前記観察条件に応じて前記複数の後処理モードのうち少なくとも1つの後処理モードに係る前記パラメータを後処理パラメータとして設定することとしてもよい。
このようにすることで、観察条件によって除算画像に施される処理モードが切り替えられるので、観察距離や観察角度の影響を一層軽減することができる。
上記構成においては、前記補正条件設定部は、前記除算画像と前記蛍光画像とに付す重みを前記後処理パラメータとして設定し、前記後処理部が、前記補正条件設定部によって設定された重みで前記除算画像と前記蛍光画像とを重み付けし、重み付けされたこれらの画像を乗算または加算することとしてもよい。
除算画像には、バックグラウンドの低輝度領域と、この低輝度領域に対して、蛍光画像の病変部から発せられた蛍光に起因して相対的に高輝度となる領域、及び、参照画像の被検体の色特性等に起因し除算により増幅されたことによって相対的に高輝度となった領域が含まれる。従って、除算画像のうち相対的に高輝度である領域とは、除算画像において例えば上位10%から20%程度の輝度を有する領域であり、病変部から発せられた蛍光によって高輝度となる領域と、被検体の色特性等に起因して高輝度となる領域とを含む領域である。
また、蛍光画像には、バックグラウンドの低輝度領域と、この低輝度領域に対して、病変部から発せられた蛍光によって相対的に高輝度となる領域、及び、被検体の距離が近いために相対的に高輝度となる領域が含まれる。従って、蛍光画像のうち相対的に高輝度の領域とは、蛍光画像において例えば上位10%から20%程度の輝度を有する領域であり、病変部から発せられた蛍光によって高輝度となる領域と、被検体の距離に起因して高輝度となる領域とを含む領域である。
すなわち、除算画像に影響を与える被検体における参照光の吸収特性の相違に起因する参照光の強度変化をも補正し、正常部からの蛍光(バックグラウンド)と病変部からの蛍光とのコントラストを拡大させた最終蛍光画像を生成することができる。従って、バックグラウンドの影響を抑制して被検体の情報を取得することができ、病変部をより正確に精度よく抽出することができる。
さらに、除算画像に蛍光画像を乗算または加算することにより、観察距離や観察角度の影響を抑えるとともに、除算画像に影響を与える被検体における参照光の吸収特性の相違に起因する参照光の強度変化をも補正し、正常部からの蛍光(バックグラウンド)と病変部とのコントラストを拡大させることができる。従って、最終蛍光画像においては、バックグラウンドの影響を抑制して被検体の情報を取得することができ、病変部をより正確に精度よく抽出することができる。
上記構成においては、前記後処理部が、前記除算画像生成部によって生成された前記除算画像における画素ごとの階調値の平均値と標準偏差と重み付け係数とに基づいて前記蛍光画像の階調値に対する階調値閾値を算出し、算出された前記階調値閾値より大きい階調値を有する領域と前記階調値閾値より小さい階調値を有する領域との前記最終蛍光画像におけるコントラストを拡大し、前記補正条件設定部が、前記重み付け係数を前記後処理パラメータとして設定することとしてもよい。
このようにすることで、後処理部によって階調値が階調値閾値より大きい領域と小さい領域との蛍光画像におけるコントラストが拡大されることで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な最終蛍光画像を取得することができる。また、観察距離等が変動して誤差要因により最終蛍光画像における画素ごとの階調値が変動したとしても、補正条件設定部により階調値の変動に追従して階調値閾値を更新し、後処理部により最終蛍光画像の鮮明度を維持することができる。これにより、被写体の定量的な情報を取得することができる。
上記構成においては、前記補正条件設定部が、前記蛍光画像の階調値に対して第1の閾値を、前記除算画像の階調値に対して第2の閾値をそれぞれ前記後処理パラメータとして設定し、前記後処理部が、前記蛍光画像の前記第1の閾値より高い階調値を有する第1の領域を抽出し、前記除算画像の前記第2の閾値より高い階調値を有する第2の領域を抽出し、抽出した前記第1の領域と前記第2の領域とが重複する重複領域を前記蛍光画像から抽出することとしてもよい。
このようにすることで、後処理部は、病変部等のような階調値が高い領域を第1の領域として抽出し、バックグラウンドのような階調値が低い領域と区別することができる。同様に、後処理部は、病変部等のような階調値が高い領域を第2の領域として抽出し、バックグラウンドのような階調値が低い領域と区別することができる。ここで、蛍光画像上では観察距離や観察角度の影響に起因して階調値が高い領域として識別され第1の領域に含まれてしまう偽陽性部分も、観察距離や観察角度の影響が軽減された除算画像ではバックグラウンドの一部として識別し、第2の領域に含まれる領域と区別することができる。
したがって、後処理部により蛍光画像から第1の領域と第2の領域との重複領域を抽出することで、第1の閾値を下回るバックグラウンドの影響だけでなく、第1の閾値を上回る偽陽性部分の影響をも抑制した最終蛍光画像を生成することができる。また、蛍光画像を基にして最終蛍光画像を生成することで、被写体のエッジ部分や影となる部分等の形状に関する情報や出血部位や血管等の周囲とは異なる色に関する情報といった除算画像に反映されてしまう参照画像特有の画質を悪化させる要因の影響を抑制することができる。これにより、画質を悪化させる要因が少なく高精度な最終蛍光画像を取得することができる。
上記発明においては、前記補正処理部が、前記参照画像取得部による前記参照画像および前記蛍光画像取得部による前記蛍光画像の少なくとも一方に対して前補正処理を行うことにより前記除算画像生成部において前記除算画像の生成に用いられる除算用参照画像および除算用蛍光画像を生成する前処理部を備えた構成であってもよい。
上記構成においては、前記前処理部が、前記参照画像および前記蛍光画像のうち少なくとも一方に対して異なる前補正処理を行う複数の前処理モードを有し、前記補正条件設定部が、前記観察条件に応じて前記複数の前処理モードのうち少なくとも1つの前処理モードに係る前記パラメータを前処理パラメータとして設定することとしてもよい。
このようにすることで、前処理部による前補正処理により除算画像において観察距離・観察角度の影響を軽減し、最終蛍光画像における観察距離・観察角度の影響を一層軽減することができる。
このようにすることで、前処理部による前補正処理により除算画像において観察距離・観察角度の影響を軽減し、最終蛍光画像における観察距離・観察角度の影響を一層軽減することができる。
上記構成においては、前記補正条件設定部が、前記観察条件に応じて前記蛍光画像におけるSN比に対するSN閾値を前記前処理パラメータとして設定し、前記前処理部は、前記蛍光画像取得部が備える撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が前記SN閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節することとしてもよい。
蛍光画像取得部の撮像素子により撮影された蛍光画像には撮像素子におけるノイズや画像生成回路におけるノイズが含まれるが、撮像素子への入射光量に応じて定まっており、入射光量は撮像素子により取得された蛍光画像の輝度情報によって推定できる。したがって、蛍光画像の輝度情報を用いて、後処理部が撮像素子におけるビニング加算画素数および/または露光時間を調節することにより、SN比が所定のSN閾値以上となる蛍光画像を取得することができる。これにより、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
上記前処理部が前記撮像素子における前記ビニング加算画素数および/または露光時間を調節する場合においては、前記前処理部が、前記蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報から揺らぎを算出し、算出された前記揺らぎと前記輝度情報とから前記蛍光画像におけるSN比を算出し、算出されたSN比が所定の前記SN閾値以上となるように前記撮像素子における前記ビニング加算画素数および/または露光時間を調節することとしてもよい。
このようにすることで、前処理部は、蛍光画像の輝度情報から揺らぎを算出し、揺らぎと輝度情報から蛍光画像におけるSN比を算出し、算出されたSN比に基づいて、撮像素子におけるビニング加算画素数および/または露光時間を調節する。したがって、その後に撮像素子により取得される蛍光画像のSN比が所定のSN閾値以上となり、蛍光画像の画質を低下させることなく、より適正な感度で観察することができる。
上記構成においては、前記補正条件設定部が、前記蛍光画像の蛍光強度に対する強度閾値を前記前処理パラメータとして設定し、前記前処理部は、前記蛍光画像取得部が備える撮像素子により取得された蛍光画像の少なくとも一部における蛍光強度が前記強度閾値以下となるように、前記撮像素子におけるビニング加算画素数および/または露光時間を調節することとしてもよい。
この場合に、まず、撮像素子の感度が高い状態で撮影が行われ、次いで、感度を低下させて撮影が行われる。撮像素子の感度を高くして撮影することにより、被検体において発生する微弱な蛍光を見逃すことなく撮影することができる。また、撮像素子により取得された放射光画像の少なくとも一部における蛍光強度が所定の強度閾値を越えたときに、ビニング加算画素数および/または露光時間の短縮により撮像素子の感度を低下させることにより、取得される画像の画質を向上することができる。これにより、蛍光強度が所定の強度閾値を越える箇所を有する被検体の鮮明な画像を得ることができる。
上記構成においては、前記補正条件設定部が、所定の強度の前記励起光を前記被写体に向けて照射したときに前記蛍光画像取得部により取得される前記蛍光画像の輝度の前記照明部から前記被写体までの距離特性を累乗近似して得られる第1の累乗値と、所定の強度の前記照明光を前記被写体に向けて照射したときに前記参照画像取得部により取得される前記参照画像の輝度の前記照明部から前記被写体までの距離特性を累乗近似して得られる第2の累乗値とを前記前処理パラメータとして設定し、前記前処理部が、前記第1の累乗値の逆数を前記蛍光画像の輝度値に累乗し、前記第2の累乗値の逆数を前記参照画像の輝度値に累乗することとしてもよい。
このようにすることで、前処理部において、蛍光画像の輝度の照明部から被写体までの距離特性を累乗近似して得られる第1の累乗値の逆数を蛍光画像の輝度値に累乗することで、除算用蛍光画像を取得することができる。また、参照画像の輝度の照明部から被写体までの距離特性を累乗近似して得られる第2の累乗値の逆数を参照画像の輝度値に累乗することで、距離の変化に対して輝度が略一定の除算用参照画像を取得することができる。したがって、除算用蛍光画像を除算用参照画像により除算することで、蛍光画像および参照画像の距離の依存性が相殺されて精度よく補正された定量性のある最終蛍光画像を取得することができ、病変部を正確に診断することが可能となる。
上記構成においては、前記参照画像取得部と前記被写体との距離情報を取得する距離情報取得部を備え、前記補正条件設定部が、前記観察条件設定部によって設定された距離情報取得部により取得された前記距離情報に基づいて補正係数を前記前処理パラメータとして設定し、前記前処理部が、前記補正係数を指数として用いて前記参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算することとしてもよい。
このようにすることで、蛍光画像における各画素の強度信号および参照画像の強度信号は、それぞれ、距離に対して依存性を有しているので、参照画像および蛍光画像の強度信号を何らかの指数で累乗することで、これらの依存性を低減することができる。この場合において、参照画像を構成する照明光の反射光と蛍光画像を構成する蛍光とはそのルートが異なるため、距離に対する依存性も距離に依存して変動する。本構成によれば、前処理部が距離情報に基づいて設定された補正係数を指数として除算用参照画像または除算用蛍光画像の少なくとも一方を生成するので、観察距離が大きく変動しても、これを精度よく補正した定量性の高い最終蛍光画像を得ることができ、正確な蛍光観察を行うことができる。
上記構成においては、前記前処理部が、標準試料に対して予め取得された蛍光強度の距離特性または/および角度特性と反射光強度の距離特性または/および角度特性とが相互に正比例関係となる係数を各前記観察条件と対応づけて記憶するとともに、前記係数を前記蛍光画像または前記参照画像の少なくとも一方に乗算し、前記補正条件設定部が、前記観察条件に応じて前記前処理部により乗算に用いられる係数を前記前処理パラメータとして選定することとしてもよい。
このようにすることで、除算画像生成部における補正に先立って、前処理部において蛍光画像および参照画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と反射光強度の距離特性とを相互に正比例関係とする係数が乗算されることにより除算用蛍光画像および除算用参照画像が生成される。
すなわち、蛍光画像を構成する各画素の蛍光強度および参照画像を構成する各画素の反射光強度は、照明部から当該画素に対応する被写体上の位置までの距離に依存して変化し、それぞれ距離の指数関数に近似させることができる。蛍光強度の距離特性における指数は、反射光強度の距離特性における指数とは異なるので、蛍光画像を参照画像でそのまま除算しても距離の依存性を除去することはできない。従って、蛍光強度および反射光強度をそれぞれ距離特性における指数の逆数で予め累乗しておくことで、蛍光強度の距離特性と反射光強度の距離特性とを相互に正比例関係とすることができ、除算したときに距離の依存性を除去することができる。
そこで、標準試料について予め取得した蛍光強度の距離特性と反射光強度の距離特性とから、蛍光画像および参照画像の少なくとも一方に乗算することにより、上述した指数の逆数を累乗したのと同様の効果を得られる係数を予め求めておく。そして、求められた係数を蛍光画像および参照画像の少なくとも一方に乗算して、除算用蛍光画像と除算用参照画像を生成し、除算画像生成部において、除算用蛍光画像を除算用参照画像で除算することにより、距離の依存性を十分に低減するように補正された蛍光画像を得ることができる。すなわち、本構成によれば、指数近似による場合よりも精度よく距離の依存性を低減することができ、定量性の高い蛍光観察を行うことができる。
上記発明においては、前記観察条件決定部は、前記参照画像の特徴に基づいて前記観察条件を決定することとしてもよい。
このようにすることで、全て自動で観察条件が選定されるので、操作者による入力操作が不要にすることができる。
このようにすることで、全て自動で観察条件が選定されるので、操作者による入力操作が不要にすることができる。
また、上記発明においては、前記観察条件決定部が、前記観察条件を観察部位と対応付けて記憶し、操作者によって入力された前記観察部位を前記観察条件として決定することとしてもよい。
このようにすることで、観察部位が限られている場合には観察部位と補正処理に係るパラメータとを一対一で対応付けておくだけで容易に適切なパラメータ値を決定することができる。
このようにすることで、観察部位が限られている場合には観察部位と補正処理に係るパラメータとを一対一で対応付けておくだけで容易に適切なパラメータ値を決定することができる。
上記発明においては、前記観察条件決定部は、観察部位と観察に関する情報とを対応づけて記憶し、操作者によって入力された観察に関する情報と前記参照画像の特徴とに基づいて前記観察部位を前記観察条件として決定することとしてもよい。
このようにすることで、診断内容等を観察に関する情報として観察条件決定部に与えて該観察条件決定部による観察条件の選択肢を限定することにより、例えば、複数の用途に使用される蛍光観察装置であっても複雑な観察条件の中から適切な観察条件を正確に選定することができる。
このようにすることで、診断内容等を観察に関する情報として観察条件決定部に与えて該観察条件決定部による観察条件の選択肢を限定することにより、例えば、複数の用途に使用される蛍光観察装置であっても複雑な観察条件の中から適切な観察条件を正確に選定することができる。
本発明によれば、異なる要因により除算した画像に残存する観察距離・観察角度に対する依存性をその要因に応じて高精度に除去することができるという効果を奏する。
以下に、本発明の第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500ついて図面を参照して説明する。なお、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500の構成および作用の概要を先に説明し、各蛍光観察装置100,200,300,400,500が備える前処理部63および後処理部65による画像処理内容の詳細については概要の説明の後に詳述する。
(第1の実施形態)
本発明の第1の実施形態に係る蛍光観察装置100について、図1を参照して以下に説明する。
本実施形態に係る蛍光観察装置100は、内視鏡装置であって、図1に示されるように、体内に挿入される細長い挿入部2と、光源(照明部)3と、該光源3からの照明光および励起光を挿入部2の先端から観察対象(被検体)Aに向けて照射する照明ユニット(照明部)4と、挿入部2の先端に設けられ、観察対象Aである生体組織の画像情報を取得する撮像ユニット5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報を処理する画像処理部6と、該画像処理部6に対して観察対象Aの観察条件を入力する観察条件入力部(観察条件決定部)7と、画像処理部6により処理された画像を表示するモニタ(表示部)20とを備えている。
本発明の第1の実施形態に係る蛍光観察装置100について、図1を参照して以下に説明する。
本実施形態に係る蛍光観察装置100は、内視鏡装置であって、図1に示されるように、体内に挿入される細長い挿入部2と、光源(照明部)3と、該光源3からの照明光および励起光を挿入部2の先端から観察対象(被検体)Aに向けて照射する照明ユニット(照明部)4と、挿入部2の先端に設けられ、観察対象Aである生体組織の画像情報を取得する撮像ユニット5と、挿入部2の基端側に配置され、撮像ユニット5により取得された画像情報を処理する画像処理部6と、該画像処理部6に対して観察対象Aの観察条件を入力する観察条件入力部(観察条件決定部)7と、画像処理部6により処理された画像を表示するモニタ(表示部)20とを備えている。
光源3は、キセノンランプ8と、該キセノンランプ8から発せられた照明光から、励起光および照明光(波長帯域400nmから740nm)を切り出すフィルタ9と、フィルタ9により切り出された励起光および照明光を集光するカップリングレンズ10とを備えている。
照明ユニット4は、挿入部2の長手方向のほぼ全長にわたって配置され、カップリングレンズ10によって集光された励起光および照明光を導光するライトガイドファイバ11と、挿入部2の先端に設けられ、ライトガイドファイバ11によって導光されてきた励起光および照明光を拡散させて、挿入部2の先端面2aに対向する観察対象Aに照射する照明光学系12とを備えている。
撮像ユニット5は、観察対象Aの所定の観察範囲から戻る取り光を集光する対物レンズ13と、該対物レンズ13によって集光された反射光の内、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の照明光を透過するダイクロイックミラー(分岐部)14と、ダイクロイックミラー14を透過した照明光の反射光およびダイクロイックミラー14により反射された蛍光をそれぞれ集光する2つの集光レンズ(撮像光学系)15,16と、集光レンズ15,16によって集光された蛍光および照明光の反射光を撮像するCMOSのような2個の撮像素子(参照画像取得部、蛍光画像取得部)17,18とを備えている。図中、符号19は、ダイクロイックミラー14によって反射された光から励起光を遮断する励起光カットフィルタである。
画像処理部6は、撮像素子17により取得された参照画像情報から参照画像を生成する参照画像生成部61と、撮像素子18により取得された蛍光画像情報から蛍光画像を生成する蛍光画像生成部62と、参照画像生成部61および蛍光画像生成部62によりそれぞれ生成された参照画像および蛍光画像に対して前処理を施すことにより除算用参照画像および除算用蛍光画像を生成する前処理部(補正処理部)63と、該前処理部63により生成された除算用蛍光画像を除算用参照画像で除算する除算画像生成部64と、該除算画像生成部64において生成された除算画像に対して後処理を施すことにより最終蛍光画像を生成する後処理部(補正処理部)65と、観察条件入力部7からの入力に基づいて前処理部63および後処理部65による処理条件を設定する補正条件設定部66と、後処理部65により生成された最終蛍光画像と参照画像とから合成画像を生成する画像合成部67とを備えている。
前処理部63は、後に詳述するように、参照画像および蛍光画像に対して前補正処理を行う少なくとも1つの前処理モードを搭載している。前処理部63は、補正条件設定部66によって設定された前処理モードに係る前処理パラメータ値(パラメータ)に従って参照画像および蛍光画像に対して前補正処理を施すことにより除算用参照画像および除算用蛍光画像を生成し、これらの画像を除算画像生成部64に出力する。
除算画像生成部64は、除算用蛍光画像を除算用参照画像によって画素毎に除算処理することにより、除算画像を生成する。
後処理部65は、後に詳述するように、除算画像に対して後補正処理を行う少なくとも1つの後処理モード(処理モード)を搭載している。後処理部65は、補正条件設定部66によって設定された後処理モードに係る後処理パラメータ値(パラメータ)に従って除算画像に対して後補正処理を施すことにより最終蛍光画像を生成する。
補正条件設定部66は、観察条件入力部7に設定された観察条件(後述)と、前処理部63による前処理モードに係る前処理パラメータ値と、後処理部65による後処理モードに係る後処理パラメータ値とを対応づけた処理条件データを記憶している。補正条件設定部66は、観察条件入力部7から入力された観察条件に基づいて前処理モードおよび後処理モードに係るパラメータ値を設定し、設定したパラメータ値で補正処理を行うように指令する信号を前処理部63および後処理部65にそれぞれ出力する。
画像合成部67は、例えば、参照画像と最終蛍光画像とを並列に配置してモニタ20に同時に表示させるよう合成画像を作成し、モニタ20に出力する。
観察条件入力部7は、後述する第1から第5の項目を記憶し、これらの項目のうち少なくとも1つの項目についての観察条件が操作者による操作によって選択されて入力されるようになっている。観察条件入力部7は、例えば、図示しないパネルに表示されたリストの中からマウス等の入力装置を使用して入力されるように構成されている。観察条件入力部7は、入力された観察条件を補正条件設定部66に出力する。
次に、観察条件入力部7が記憶している第1から第5の項目について説明する。なお、観察条件設定部7は、上記5つの項目全てを記憶していてもよく、5つの項目のうち一部のみを記憶していてもよい。
第1の項目は、観察距離に関し、観察条件として「局所視」または「俯瞰視」を決定するものである。すなわち、「局所視」とは挿入部2の先端面2aを観察対象Aに接近させて観察対象Aの一部を局所観察することを示し、「俯瞰視」とは挿入部2の先端面2aを観察対象Aから離間させて観察対象Aの全体を俯瞰観察することを示す。観察距離は、参照画像および蛍光画像の明るさに影響を与える。
第2の項目は、観察対象Aの遠近の幅の大小に関し、観察条件として「遠近大」または「遠近小」を決定するものである。すなわち、「遠近大」とは管腔等の奥行きがあり遠近の幅の大きい構造を有する観察対象Aを観察することを示し、「遠近小」とは膜等の奥行きが小さく遠近の幅の小さい構造を有する観察対象Aを観察することを示す。
第3の項目は、観察対象Aの色相に関し、観察条件として「多色」または「単色」を決定するものである。すなわち、「多色」とは色相の異なる複数の臓器や組織が混在した観察対象Aを観察することを示し、「単色」とは色相が似た臓器や組織のみが存在する観察対象Aを観察することを示す。
第4の項目は、観察対象Aの表面形状に関し、観察条件として「凸凹」または「平坦」を決定するものである。すなわち、「凸凹」とは凸凹の多い表面形状を有する観察対象Aを観察することを示し、「平坦」とは凸凹の少ない滑らかな表面形状を有する観察対象Aを観察することを示す。
第5の項目は、観察対象に存在する脂肪の量に関し、観察条件として「脂肪多量」または「脂肪少量」を決定するものである。すなわち、「脂肪多量」とは脂肪に表面が覆われた臓器や組織等の観察対象Aを観察することを示し、「脂肪少量」とは脂肪が存在しない、または、少量のみ存在する観察対象Aを観察することを示す。
次に、このように構成された本実施形態に係る蛍光観察装置100の作用について説明する。
本実施形態に係る蛍光観察装置100によれば、光源3からの照明光および励起光が、照明ユニット4を介して挿入部2の先端面2aから観察対象Aに向けて照射され、観察対象Aの表面における反射光が撮像素子17により取得されて、参照画像生成部61により参照画像が生成される。一方、励起光が照射されることにより観察対象Aの内部において発生した蛍光が撮像素子18により取得されて、蛍光画像生成部62により蛍光画像が生成される。
本実施形態に係る蛍光観察装置100によれば、光源3からの照明光および励起光が、照明ユニット4を介して挿入部2の先端面2aから観察対象Aに向けて照射され、観察対象Aの表面における反射光が撮像素子17により取得されて、参照画像生成部61により参照画像が生成される。一方、励起光が照射されることにより観察対象Aの内部において発生した蛍光が撮像素子18により取得されて、蛍光画像生成部62により蛍光画像が生成される。
ここで、操作者は、これから観察する観察対象Aに対応する観察条件を観察条件入力部7に入力する。これにより、補正条件設定部66は、前処理部63および後処理部65によって行う各処理モードに係るパラメータ値を設定する。
これにより、参照画像および蛍光画像に対して前処理部63によって前処理が施されることにより、除算用参照画像および除算用蛍光画像が生成される。生成された除算用参照画像および除算用蛍光画像は除算画像生成部64に入力され、除算用蛍光画像が除算用参照画像によって除算されることにより除算画像が生成される。生成された除算画像は後処理部65によって後処理が施されることにより最終蛍光画像が生成される。生成された最終蛍光画像および参照画像は画像合成部67において合成されてモニタ20に並列して表示される。
このように、本実施形態に係る蛍光観察装置100によれば、蛍光画像に基づく除算用蛍光画像を参照画像に基づく除算用参照画像で除算することにより、距離および角度の依存性が相殺される。ここで、距離および角度の依存性は観察対象Aの形状や構造、色等の性質や観察距離等の複数の観察条件に起因する。本実施形態によれば、観察条件入力部7に入力された観察条件に応じて蛍光画像及び参照画像に対する前処理と、除算画像に対する後処理とに用いられるパラメータ値が設定される。これにより、複数の要因に基づく距離および角度の依存性に対して適切な補正処理が行われることとなり、最終蛍光画像と参照画像との間の距離および角度の依存性を高精度に除去することができるという利点を有する。
(第2の実施形態)
次に、本発明の第2の実施形態に係る蛍光観察装置200について、図2を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置200は、図2に示されるように、観察条件入力部7に代えて、画像処理部6が参照画像生成部61から入力された参照画像の特徴に基づいて観察条件を判定する観察条件判定部68を備えている点において第1の実施形態と主に異なる。
次に、本発明の第2の実施形態に係る蛍光観察装置200について、図2を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置200は、図2に示されるように、観察条件入力部7に代えて、画像処理部6が参照画像生成部61から入力された参照画像の特徴に基づいて観察条件を判定する観察条件判定部68を備えている点において第1の実施形態と主に異なる。
観察条件判定部68は、上述した第1から第5の項目の少なくとも1つについて観察条件を決定する。
第1の項目(観察距離)については、観察条件判定部68は、参照画像の規格化階調値の平均値を検出し、該平均値と所定の閾値とを比較する。そして、平均値が所定の閾値以上の場合は「局所視」であると判定し、平均値が所定の閾値より小さい場合には「俯瞰視」であると判定する。挿入部2の先端面2aを観察対象Aに接近させられている局所視のときには参照画像は明るくなり、挿入部2の先端面2aが観察対象Aから離されている俯瞰視のときには参照画像は暗くなる。
第1の項目(観察距離)については、観察条件判定部68は、参照画像の規格化階調値の平均値を検出し、該平均値と所定の閾値とを比較する。そして、平均値が所定の閾値以上の場合は「局所視」であると判定し、平均値が所定の閾値より小さい場合には「俯瞰視」であると判定する。挿入部2の先端面2aを観察対象Aに接近させられている局所視のときには参照画像は明るくなり、挿入部2の先端面2aが観察対象Aから離されている俯瞰視のときには参照画像は暗くなる。
第2の項目(観察対象の遠近の幅の大小)については、観察条件判定部68は、参照画像の全画素の階調値から該階調値の標準偏差を検出し、標準偏差が所定の閾値以上の場合に「遠近大」であると判定し、一方標準偏差が閾値より小さい場合に「遠近小」であると判定する。観察対象Aが管腔などの奥行きのある構造を有している場合、挿入部2の先端面2aに近い部分は明るく、先端面2aから遠い部分は暗くなるため、階調値は広い範囲に分布し標準偏差が大きくなる。一方、観察対象Aが膜等の平坦な構造を有している場合、挿入部2の先端面2aと観察対象Aとの各位置との距離とのばらつきが少ないため、階調値は一部の範囲に集合し標準偏差は小さくなる。
第3の項目(観察対象の色相)については、観察条件判定部68は、参照画像の全画素のRGB信号から複数の所定の色相の分布を検出し、検出した各色相の分布に基づいて「多色」または「単色」であると判定する。
第4の項目(観察対象の表面形状)については、観察条件判定部68は、参照画像から影領域を検出し、検出した影領域が参照画像全体に対して占める割合が所定の閾値以上の場合に「凸凹」であると判定し、影領域が参照画像全体に対して占める割合が所定の閾値より小さい場合に「平坦」であると判定する。影領域の検出方法としては、エッジ強調や輝度値の微分など公知の方法が用いられる。
第5の項目(脂肪の量)については、観察条件判定部68は、参照画像の各画素のRGB信号から脂肪の色に相当する黄色の度数を検出し、黄色の度数が所定の閾値以上の場合に「脂肪多量」であると判定し、黄色の度数が所定の閾値より少ない場合には「脂肪少量」であると判定する。
補正条件設定部66’は、観察条件判定部68によって決定された各項目の観察条件に基づいて、第1の実施形態と同様にして前処理部および後処理部による各処理モードに係るパラメータ値を設定する。
このように構成された本実施形態に係る蛍光観察装置200によれば、観察対象Aがいずれの観察条件に該当するかが参照画像に基づいて観察条件判定部68によって判定されるので、操作者による操作を不要にすることができる。また、挿入部2の移動に伴って観察対象Aが変化したときに、該観察対象Aの変化に応じて前処理モードおよび後処理モードも切り替わる。従って、挿入部2を体内で移動させて複数の観察対象Aを連続して観察する際に好適である。
(第3の実施形態)
次に、本発明の第3の実施形態に係る蛍光観察装置300について、図3を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置300は、図3に示されるように、観察条件入力部7に代えて、操作者によって観察対象Aの観察部位が入力される観察部位入力部71を備えている点において第1の実施形態と主に異なる。
次に、本発明の第3の実施形態に係る蛍光観察装置300について、図3を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置300は、図3に示されるように、観察条件入力部7に代えて、操作者によって観察対象Aの観察部位が入力される観察部位入力部71を備えている点において第1の実施形態と主に異なる。
観察部位入力部71は、予め設定された複数の観察部位のうち一が操作者による操作によって入力されるようになっている。観察部位入力部71は、例えば、図示しないフットスイッチを備える。挿入部2の挿入経路が予め決まっている場合には、観察部位入力部71は観察部位を観察する順番に記憶しておき、操作者によってフットスイッチが操作されたときに次の観察部位を補正条件設定部66”に出力するようになっている。
本実施形態において補正条件設定部66”は、観察部位と、前処理部63による前処理モードおよびその前処理パラメータ値と、後処理部65による後処理モードおよびその後処理パラメータ値とを対応づけた処理条件データを記憶している。補正条件設定部66”は、まず、観察部位入力部71から入力された観察部位と処理条件データにおいて対応付けられた前処理モードおよび後処理モードの各処理モードによるパラメータ値を設定し、設定したパラメータ値で補正処理を行うように指令する信号を前処理部63および後処理部65にそれぞれ出力する。
このように構成された本実施形態に係る蛍光観察装置300によれば、操作者によって観察部位が入力され、その入力された観察部位の形状や構造、色等の性質に基づいて前処理部63および後処理65による補正処理のパラメータ値が補正条件設定部66”によって設定される。これにより、複数の要因に基づく距離および角度の依存性に対して適切な補正処理が行われることとなり、最終蛍光画像と参照画像との間の距離および角度の依存性を高精度に除去することができるという利点を有する。
(第4の実施形態)
次に、本発明の第4の実施形態に係る蛍光観察装置400について、図4を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置400は、図4に示されるように、観察条件入力部に代えて、操作者によって観察に関する情報が入力される観察情報入力部72と、該観察情報入力部72に入力された観察に関する情報と参照画像とに基づいて観察条件を判定する観察部位判定部69とを備えている点において第1の実施形態と主に異なる。
次に、本発明の第4の実施形態に係る蛍光観察装置400について、図4を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置400は、図4に示されるように、観察条件入力部に代えて、操作者によって観察に関する情報が入力される観察情報入力部72と、該観察情報入力部72に入力された観察に関する情報と参照画像とに基づいて観察条件を判定する観察部位判定部69とを備えている点において第1の実施形態と主に異なる。
観察情報入力部72は、例えば、観察対象Aの検査名や臓器名等が観察に関する情報として設定されている。操作者は、設定された観察に関する情報のうち1つ以上を選択して観察情報入力部72に入力する。
観察部位判定部69は、観察情報入力部72に設定された観察に関する情報と、参照画像から検出した特徴とから観察部位を判定する。観察部位判定部69は、例えば、検査名と、観察部位と、観察部位の特徴とを対応付けて記憶している。観察部位判定部69は、記憶している全ての観察部位の中から、まず観察情報入力部72から入力された検査名に基づいて一部の観察部位を選択する。次いで、観察部位判定部69は、選択した一部の観察部位の中から、参照画像から検出した特徴に基づいて1つの観察部位を選択することにより観察部位を判定し、判定結果を補正条件設定部66”に出力する。
補正条件設定部66”による処理は、第3の実施形態における補正条件設定部66”による処理と同様であるので説明を省略する。
補正条件設定部66”による処理は、第3の実施形態における補正条件設定部66”による処理と同様であるので説明を省略する。
用途が限定されている内視鏡装置の場合、観察部位や観察方法等の観察条件が限られるため、比較的容易に各観察部位に適切な観察条件を判定することができる。一方、汎用の内視鏡装置の場合、様々な構造の観察対象Aや観察方法に適応するためにはできるだけ多くの処理モードが搭載されていることが望ましいが、補正条件設定部66”による各処理モードにおけるパラメータ値の選択肢が増加するために判定精度を確保することが難しい。これに対して、本実施形態に係る蛍光観察装置400によれば、観察情報入力部72に入力された観察に関する情報から観察部位をある程度絞ることにより、参照画像の特徴に基づいて観察部位を正確に判定することができる。
このように、本実施形態に係る蛍光観察装置400によれば、操作者によって入力された観察に関する情報に基づいて観察部位を判定し、その観察部位に適した前処理部63および後処理65による補正処理におけるパラメータ値が補正条件設定部66”によって設定される。これにより、複数の要因に基づく距離および角度の依存性に対して適切な補正処理が行われることとなり、最終蛍光画像と参照画像との間の距離および角度の依存性を高精度に除去することができるという利点を有する。
(第5の実施形態)
次に、本発明の第5の実施形態に係る蛍光観察装置500について、図5を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置500は、図5に示されるように、挿入部2に取り付けられたICチップ73と、光源3に設けられたICリーダ74と、画像処理部6に設けられた観察部位判定部69’とを備える点において第1の実施形態と主に異なる。
次に、本発明の第5の実施形態に係る蛍光観察装置500について、図5を参照して以下に説明する。本実施形態の説明において、第1の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る蛍光観察装置500は、図5に示されるように、挿入部2に取り付けられたICチップ73と、光源3に設けられたICリーダ74と、画像処理部6に設けられた観察部位判定部69’とを備える点において第1の実施形態と主に異なる。
ICチップ73は、挿入部2の識別情報として、例えば、挿入部2の種類に関する情報を記憶している。挿入部2は、観察部位や観察方法等の観察条件に応じて種類が異なる。観察条件を変更するために光源3に接続される挿入部2が交換されたときに、挿入部2に設けられたICチップ73に記憶されている識別情報がICリーダ74によって読み取られて観察部位判定部69’に送られる。
観察部位判定部69’は、挿入部2の種類と、観察部位と、観察部位の特徴とを対応付けて記憶している。観察部位判定部69’は、記憶している全ての観察部位の中から、まずICリーダ74から入力された挿入部2の種類に基づいて一部の観察部位を選択する。次いで、観察部位判定部69’は、選択した一部の観察部位の中から、参照画像から検出した特徴に基づいて1つの観察部位を選択することにより観察部位を判定する。
この後の観察部位判定部69’及び補正条件設定部66”による処理は、第3の実施形態と同様であるので説明を省略する。
この後の観察部位判定部69’及び補正条件設定部66”による処理は、第3の実施形態と同様であるので説明を省略する。
このように、本実施形態に係る蛍光観察装置500によれば、挿入部2の種類から観察部位の選択肢を絞り、さらに参照画像の特徴から観察部位を1つに判定する。前処理部および後処理部は、観察部位判定部69’によって判定された観察部位に応じて決定された各処理モードにおけるパラメータ値で補正処理を施す。これにより、複数の要因に基づく距離および角度の依存性に対して適切な補正処理が行われることとなり、最終蛍光画像と参照画像との間の距離および角度の依存性を高精度に除去することができるという利点を有する。
次に、上述した第1から第5の実施形態に係る蛍光観察装置1,100,200,300,400,500が備える前処理部63による第1から第3の前処理モードおよび後処理部65による第1から第3の後処理モードについて、図117に示す観察条件と処理モードとの対応表を参照して説明する。各実施形態において、前処理部63および後処理部65はそれぞれ、後述する全ての処理モードを搭載してもよく、一部の処理モードのみを搭載してもよい。
{前処理モード}
[第1の前処理モード]
上述した第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える前処理部63による第1の前処理モードについて説明する。第1の前処理モードは、撮像素子の感度を該撮像素子のビニング加算画素数および/または露光時間によって調節することにより参照画像または/および蛍光画像の全体の明るさを調節する処理モードである。
[第1の前処理モード]
上述した第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える前処理部63による第1の前処理モードについて説明する。第1の前処理モードは、撮像素子の感度を該撮像素子のビニング加算画素数および/または露光時間によって調節することにより参照画像または/および蛍光画像の全体の明るさを調節する処理モードである。
このような第1の前処理モードは、挿入部2の先端面2aから観察対象Aまでの観察距離、及び、組織を覆う脂肪による蛍光強度の減衰に起因して除算画像に残存する観察距離・観察角度の依存性を除去するのに好適である。すなわち、第1及び第2の実施形態に係る蛍光観察装置100,200の補正条件設定部66,66’は、「局所視」、「俯瞰視」、「脂肪多量」、「脂肪少量」が観察条件として入力または判定されたときに第1の前処理モードに係る前処理パラメータ値を設定する。第3から第5の実施形態に係る蛍光観察装置300,400,500の補正条件設定部66”は、局所観察される「ダグラス窩」等、俯瞰観察される「大網」、「横隔膜下」、「腸管膜」等、脂肪によって表面が覆われた「胃」、「尿管」等が入力または判定されたときに第1の前処理モードに係る前処理パラメータ値を設定する。
ここで、補正条件設定部66,66’,66”は、後述する第1の前処理モードにおいて、反射光及び蛍光の受光量が高くなる傾向にある局所観察に対応する観察条件のときには、撮像素子の感度を下げる方向に前処理パラメータ値を設定する。一方、補正条件設定部66,66’,66”は、反射光及び蛍光の光量が低くなる傾向にある俯瞰観察に対応する観察条件のときには、撮像素子の感度を上げる方向に前処理パラメータ値を設定する。以下に、第1の前処理モードに係る前処理パラメータ値の設定方法について詳細に説明する。
第1の前処理モードは、図6に示されるように、前処理部63が備える制御回路31Aによって実行される。制御回路31Aは、撮像素子18により取得された電気信号に基づく蛍光画像情報の生成および撮像素子18の感度の制御をする。
具体的には、制御回路31Aは、撮像素子18を駆動させる撮像素子駆動回路32Aと、撮像素子18からの電気信号を読み込む信号読込回路33Aと、該信号読込回路33Aに読み込まれた電気信号に基づいて撮像素子18の感度を制御する感度制御回路34Aと、信号読込回路33Aからの電気信号に基づいて蛍光画像情報を構築する画像情報構築回路35Aとを備えている。
感度制御回路34Aは、補正条件設定部66,66’,66”によって設定された強度閾値(前処理パラメータ)S1,S2に基づいて、撮像素子18の感度の制御、すなわち、ビニング設定の制御を行うようになっている。ここで、強度閾値S1,S2は、補正条件設定部66,66’,66”によって、「局所観察」または「脂肪少量」に対応する観察条件のときにはより大きく設定され、「俯瞰観察」または「脂肪多量」に対応する観察条件のときにはより小さく設定されている。
また、感度制御回路34Aは、撮像素子18のビニング設定を解除した場合には、信号読込回路33Aを制御して、撮像素子18のビニング設定を解除した撮像素子18により取得された電気信号を画像情報構築回路35Aへ出力させるようになっている。これにより、画像情報構築回路35Aは、信号読込回路33Aからの電気信号を受けて、蛍光画像情報を構築するようになっている。また、画像情報構築回路35Aは、構築した蛍光画像情報を蛍光画像生成部62へ出力するようになっている。
このように構成された前処理部63及び該前処理部63を備える画像処理部6による第1の前処理モードの作用について、図7Aから図7Cおよび図8を参照して説明する。
まず、撮像素子駆動回路32Aの作動の開始により、撮像素子18のビニング設定を図7Aに示すようにビニング4×4に設定する(ステップSA1)。そして、画像処理部6のタイマを作動させて、挿入部2を被検体内に挿入し、蛍光画像を撮像素子18により撮影する(ステップSA2)。撮像素子18においては、蛍光が電気信号に変換される。
まず、撮像素子駆動回路32Aの作動の開始により、撮像素子18のビニング設定を図7Aに示すようにビニング4×4に設定する(ステップSA1)。そして、画像処理部6のタイマを作動させて、挿入部2を被検体内に挿入し、蛍光画像を撮像素子18により撮影する(ステップSA2)。撮像素子18においては、蛍光が電気信号に変換される。
この場合に、撮像素子18のビニング設定がビニング4×4に設定されているので、4×4=16個の画素からなる画素群の電気信号が合計されて1画素の電気信号として取得される。したがって、画素ごとに検出される蛍光が微弱であっても、16個の画素を合計した画素群による電気信号は比較的大きいので見逃すことがなく、蛍光の有無を容易に検出することができる。
撮像素子18により取得された電気信号は、制御回路31Aへ出力されて信号読込回路33Aに読み込まれ、感度制御回路34Aの作動により、強度閾値S1を越える画素群があるか否かが判定される(ステップSA3)。その結果、強度閾値S1を越える画素群がないと判定された場合には、ステップSA2へと戻り(ステップSA3「NO」)、強度閾値S1を越える画素群が確認されるまで、ステップSA2およびステップSA3の動作が繰り返される。
一方、強度閾値S1を越える画素群があると判定された場合には(ステップSA3「YES」)、感度制御回路34Aは、図7Bに示すように、撮像素子18のビニング設定をビニング2×2に設定する(ステップSA4)。そして、ビニング2×2に設定された撮像素子18の作動により、ステップSA2で撮影された部位とほぼ同一の観察部位が撮影される(ステップSA5)。
この場合に、撮像素子18をビニング2×2に設定したことにより、2×2=4個の画素からなる画素群の電気信号が合計されて取得される。したがって、感度を低下させて解像度を増加させることができ、蛍光が存在する部位周辺の前回よりも鮮明な画像が得られる。
ビニング2×2に設定された撮像素子18により取得された各画素群からの電気信号は、制御回路31Aの信号読込回路33Aに読み込まれ、感度制御回路34Aの作動により、所定の強度閾値S2を越える画素群があるか否かを判定される(ステップSA6)。
強度閾値S2を越える画素群がないと判定された場合には、感度制御回路34Aの作動により、ステップSA1へと戻り(ステップSA6「NO」)、撮像素子18のビニング設定を初期設定と同じビニング4×4に設定する。そして、強度閾値S2を越える画素群が確認されるまで、ステップSA1からステップSA6の動作が繰り返される。
一方、強度閾値S2を越える画素群があると判定された場合には(ステップSA6「YES」)、感度制御回路34Aは、図7Cに示すように、撮像素子18のビニング設定を解除する(ステップSA7)。そして、ビニング設定が解除された撮像素子18の作動により、ステップSA5で撮影された部位とほぼ同一の観察部位が撮影される(ステップSA8)。
この場合に、撮像素子18のビニング設定を解除したことにより、画素ごとに電気信号が取得される。したがって、最も高解像度で撮影を行うことができる。これにより、蛍光強度が強度閾値S2を越える箇所を有する観察対象Aの、より鮮明な画像を取得することができる。
このとき撮像素子18に取得された電気信号は、感度制御回路34Aの作動により、信号読込回路33Aから画像情報構築回路35Aへ出力されて、蛍光画像情報が構築される。画像情報構築回路35Aにおいて構築された蛍光画像情報は画像処理部6の蛍光画像生成部62に送信される。蛍光画像生成部62は、入力された蛍光画像情報から生成した蛍光画像を前処理部63に出力する。
以上説明したように、第1の前処理モードによれば、撮像素子18のビニングを制御して撮影することとしたので、病変を見逃す可能性を低減させることができるとともに、病変の有無だけでなく、その形状や大きさも鮮明に撮影することができる。また、取得した画像を時間経過と対応付けることとしたので、病変の位置を検出することができる。
次に、上述した第1の前処理モードの変形例について説明する。
本変形例の第1の前処理モードは、感度制御回路34A’が撮像素子18の露光時間を制御する点において、先に説明した第1の前処理モードと主に異なる。
本第1の前処理モードにおいて、感度制御回路34A’は、図9に示すように、撮像素子18の露光時間を、適量な光量を取り込む露光時間T1と、露光時間T1より長い露光時間T0とに切り替えるようになっている。また、感度制御回路34A’は、露光時間T1に設定した場合には、信号読込回路33Aを制御して、読み込んだ電気信号を画像情報構築回路35Aへ出力させるようになっている。
本変形例の第1の前処理モードは、感度制御回路34A’が撮像素子18の露光時間を制御する点において、先に説明した第1の前処理モードと主に異なる。
本第1の前処理モードにおいて、感度制御回路34A’は、図9に示すように、撮像素子18の露光時間を、適量な光量を取り込む露光時間T1と、露光時間T1より長い露光時間T0とに切り替えるようになっている。また、感度制御回路34A’は、露光時間T1に設定した場合には、信号読込回路33Aを制御して、読み込んだ電気信号を画像情報構築回路35Aへ出力させるようになっている。
このよう構成された前処理部63は、まず、図10に示すように、初期設定として、撮像素子18の露光時間をT0に設定する(ステップSB1)。被検体内に挿入部2が挿入されると、撮像素子18の画素ごとに蛍光が検出されて撮影が行われる(ステップSB2)。この場合に、撮像素子18の露光時間がT0に設定されているので露光時間が長く、フレームレートを犠牲にする代わりに、画素ごとに取り込まれる光量を適量より増加することができる。したがって、微弱な蛍光であっても、画素ごとに取得される電気信号が比較的大きくなるので見逃すことがなく、蛍光の有無を容易に検出することができる。
続いて、感度制御回路34A’の作動により、所定の強度閾値S1を越える画素がないと判定された場合には、ステップSB2へと戻されて(ステップSB3「NO」)、強度閾値S1を越える画素が確認されるまで、ステップSB2およびステップSB3の動作が繰り返される。
一方、強度閾値S1を越える画素があると判定された場合には(ステップSB3「YES」)、感度制御回路34A’は、撮像素子18の露光時間を露光時間T1に設定する(ステップSB4)。そして、ステップSB2で撮影された部位とほぼ同一の体腔内壁4の部位が露光時間T1で撮影される(ステップSB5)。この場合に、撮像素子18を適量な光量を取り込む露光時間T1に設定したことにより、フレームレートを向上させるとともにブレの影響を小さくすることができ、蛍光が存在する部位周辺の前回よりも鮮明な画像を得ることができる。
以上説明したように、本第1の前処理モードによれば、撮像素子18の露光時間を制御して撮影することとしたので、病変を見逃す可能性を低減させることができるとともに、病変の有無だけでなく、その形状や大きさも鮮明に撮影することができる。
第1の前処理モードは、以下のように変形することができる。
上述した第1の前処理モードにおいては、感度制御回路34A’が撮像素子18の露光時間を制御し、蛍光の高輝度領域が存在した場合に露光時間を短くして鮮明な蛍光画像情報を取得することとしたが、これに代えて、感度制御回路34A”がアベレージング処理(すなわち、平均化処理)の回数を切り替えることとしてもよい。例えば、図11に示すように、画像情報構築回路35A’が蛍光画像情報を逐次構築して複数回分の蛍光画像情報をアベレージング処理し、蛍光の高輝度領域が存在した場合に、感度制御回路34A”がアベレージング回数を減らすこととすればよい。
上述した第1の前処理モードにおいては、感度制御回路34A’が撮像素子18の露光時間を制御し、蛍光の高輝度領域が存在した場合に露光時間を短くして鮮明な蛍光画像情報を取得することとしたが、これに代えて、感度制御回路34A”がアベレージング処理(すなわち、平均化処理)の回数を切り替えることとしてもよい。例えば、図11に示すように、画像情報構築回路35A’が蛍光画像情報を逐次構築して複数回分の蛍光画像情報をアベレージング処理し、蛍光の高輝度領域が存在した場合に、感度制御回路34A”がアベレージング回数を減らすこととすればよい。
具体的には、図12に示すように、初期設定として多くの構築回数分のアベレージング回数N0に設定する(ステップSC1)。撮像素子18の画素ごとに蛍光が検出されて撮影が行われ(ステップSC2)、取得された電気信号が信号読込回路33Aを介して画像情報構築回路35A’へと送られる。画像情報構築回路35A’においては、送られてきた電気信号に基づいて蛍光画像情報が構築され、過去N0回分の蛍光画像情報がアベレージング処理される(ステップSC3)。多くの構築回数分の蛍光画像情報をアベレージング処理することで、蛍光が存在する画素の輝度を保持したまま、蛍光画像情報にランダムに含まれるノイズのレベルを低減することができる。すなわち、全画素の中で蛍光が存在する画素を際立たせることができ、蛍光を検出し易くすることができる。
続いて、感度制御回路34A”により、所定の強度閾値S1を越える画素がないと判断された場合には(ステップSC4「NO」)、ステップSC2に戻されて、強度閾値S1を越える画素が確認されるまでステップSC2からステップSC4の動作が繰り返される。
一方、強度閾値S1を越える画素があると判定された場合には(ステップSC4「YES」)、感度制御回路34A”は、アベレージング回数N0より少ない構築回数分のアベレージング回数N1に設定する(ステップSC5)。そして、ステップSC2で撮影された部位とほぼ同一の体腔内壁4の部位が撮影され(ステップSC6)、画像情報構築回路35A’により、構築された蛍光画像情報のうち、過去N1回分の蛍光画像情報がアベレージング処理される(ステップSC7)。この場合に、アベレージング回数をN0より少ないN1に設定したことにより、ブレの影響を小さくすることができ、蛍光が存在する部位周辺の前回よりも鮮明な画像を得ることができる。
一方、強度閾値S1を越える画素があると判定された場合には(ステップSC4「YES」)、感度制御回路34A”は、アベレージング回数N0より少ない構築回数分のアベレージング回数N1に設定する(ステップSC5)。そして、ステップSC2で撮影された部位とほぼ同一の体腔内壁4の部位が撮影され(ステップSC6)、画像情報構築回路35A’により、構築された蛍光画像情報のうち、過去N1回分の蛍光画像情報がアベレージング処理される(ステップSC7)。この場合に、アベレージング回数をN0より少ないN1に設定したことにより、ブレの影響を小さくすることができ、蛍光が存在する部位周辺の前回よりも鮮明な画像を得ることができる。
なお、本変形例においては、感度制御回路34A”は、アベレージング回数N0からアベレージング回数N1に切り替えることとしたが、例えば、アベレージング回数N0により所定の強度閾値S1の輝度を超える画素があると判定した場合には、アベレージング処理を解除することとし、画像情報構築回路35A’により直近に構築された蛍光画像情報が蛍光画像生成部62に送信されることとしてもよい。
また、本変形例においては、画像情報構築回路35A’は、蛍光画像情報のアベレージング処理を行うこととしたが、単に蛍光画像情報を加算処理して、これに対応して設定された所定の強度閾値により蛍光の有無を検出することとしてもよい。
また、本変形例においては、画像情報構築回路35A’は、蛍光画像情報のアベレージング処理を行うこととしたが、単に蛍光画像情報を加算処理して、これに対応して設定された所定の強度閾値により蛍光の有無を検出することとしてもよい。
次に、上述した第1の前処理モードの第1の変形例について説明する。
本変形例に係る前処理モードは、図13に示されるように、前処理部63が備える入射光量算出回路31Bおよび感度設定回路32Bよって実行される。
本変形例に係る前処理モードは、図13に示されるように、前処理部63が備える入射光量算出回路31Bおよび感度設定回路32Bよって実行される。
入射光量算出回路31Bは、蛍光画像の輝度情報に基づいて、撮像素子18への入射光量pinを算出する。
感度設定回路32B(記憶部)は、後で詳述するように、SN比S/Nが予め設定されたSN閾値(前処理パラメータ)以上となるために必要な最小のビニング加算画素数Bと入射光量pinとの対応関係を示すテーブルを記憶する。ここで、テーブルには、異なるSN閾値について設定された少なくとも2パターンの入射光量S3とビニング加算画素数Bとの対応関係が記憶されている。補正条件設定部66,66’,66”は、「局所観察」または「脂肪少量」に対応する観察条件のときには、より小さいSN閾値について設定されたパターンのテーブルを選択し、「俯瞰観察」または「脂肪多量」に対応する観察条件のときにはより大きいSN閾値について設定されたパターンのテーブルを選択するように、感度設定回路32Bに対して指定する。
前処理部63は、入射光量算出回路31Bにより算出された入射光量pinに対応するビニング加算画素数Bを、感度設定回路32Bがテーブルから検索して撮像素子18に設定するようになっている。
前処理部63は、入射光量算出回路31Bにより算出された入射光量pinに対応するビニング加算画素数Bを、感度設定回路32Bがテーブルから検索して撮像素子18に設定するようになっている。
ここで、入射光量算出回路31Bによる入射光量pinの算出方法について説明する。
撮像素子18の撮像面に光が入射すると、撮像素子18においては、入射した光が量子収率(光子電荷変換効率)に応じて電荷に変換され、その電荷がアンプにおいて、その電荷圧電変換係数に応じて電圧に変換される。この電圧値は、A/D変換器のAD変換係数に応じてディジタル信号に変換される。
撮像素子18の撮像面に光が入射すると、撮像素子18においては、入射した光が量子収率(光子電荷変換効率)に応じて電荷に変換され、その電荷がアンプにおいて、その電荷圧電変換係数に応じて電圧に変換される。この電圧値は、A/D変換器のAD変換係数に応じてディジタル信号に変換される。
したがって、蛍光画像の画素の代表値である階調値(輝度情報)Vは、式(1)により求められる。代表値としては、全画素の輝度の平均値や中央値、関心領域の輝度の平均値あるいはヒストグラムの上位数%の輝度の平均値が用いられる。
V=pinSBηCI-VCA-D・・・(1)
V=pinSBηCI-VCA-D・・・(1)
ここで、pinは入射光量(フォトン/μm2)、Sは撮像画素面積(μm2/画素)、Bはビニング加算画素数(画素)、ηは量子収率(電荷/フォトン)、CI-Vは電荷電圧変換係数(mV/電荷)、CA-DはAD変換係数である。
式(1)から、入射光量pinは、式(2)により算出できる。
pin=V/(SBηCI-VCA-D)・・・(2)
式(1)から、入射光量pinは、式(2)により算出できる。
pin=V/(SBηCI-VCA-D)・・・(2)
次に、入射光量pinとSN比S/Nの関係について説明する。SN比S/Nは撮像素子18の持つノイズ特性にも依存する。
撮像素子18としてCMOSを用いた場合には、SN比S/Nは式(3)により求められる。
S/N=Sηpin/√((Sηpin+Ndt+Nr 2)/B)・・・(3)
撮像素子18としてCMOSを用いた場合には、SN比S/Nは式(3)により求められる。
S/N=Sηpin/√((Sηpin+Ndt+Nr 2)/B)・・・(3)
ここで、Ndは1画素当たり単位時間当たりの暗電流(電荷/sec/画素)、Nrは読み出しノイズ(電荷rms)、tは露光時間(sec)、Bはビニング加算画素数である。
式(3)から、ビニング加算画素数Bを入射光量pinとSN比S/Nとの関係を表すと、図14のようになる。図14においては、ビニング加算画素数Bとしては、ビニング無し(1×1)から10×10までを例示している。また、本実施例では、例として、S≒3.0μm2/画素、η≒0.4、Nd≒50電荷/sec/画素、Nr≒5.4電荷rmsを用いている。この値は、使用する撮像素子等により、適宜変更すればよい。
図15に示されるように、前処理部63の感度設定回路32Bに記憶されているテーブルは、図14のグラフにおいて、SN比S/Nが10以上となるために必要な最小のビニング加算画素数Bと入射光量pinとの対応関係を示している。このテーブルにおいては、露光時間tは、例えば、0.024sec(24msec)に固定されている。
このように構成された前処理部による第1の前処理モードによれば、図16に示されるように、生成された蛍光画像は前処理部63に送られて(ステップSD1)、その代表値が求められる(ステップSD2)。そして、求められた代表値が入射光量算出回路31Bに入力されて式(2)に代入されることで、入射光量pinが算出される(ステップSD3)。算出された入射光量pinは感度設定回路32Bに入力されることにより、入射光量pinに対応するビニング加算画素数Bが感度設定回路32Bから出力され(ステップSD4)、撮像素子18に設定される(ステップSD5)。
これにより、新たなビニング加算画素数Bが設定された撮像素子18により、新たな蛍光画像情報が取得され、蛍光画像生成部22により生成された蛍光画像が除算用蛍光画像として除算画像生成部64に出力される。
この場合において、第1の前処理モードの第1の変形例によれば、蛍光画像の輝度情報から求めた入射光量pinに応じて、感度設定回路32Bに記憶されているテーブルからビニング加算画素数Bが求められるので、SN比S/NがSN閾値以上となる最小のビニング加算画素数Bを撮像素子18に設定することができ、画質の低下を防止しつつ解像度を向上することができるという利点がある。
すなわち、入射光量pin、つまり、単位面積当たりに入射するフォトン数を基準としているため、ビニング加算画素数Bが変化してもSN比S/Nを算出するための信号値は変化しない。従来のように画像の明るさを基準にして感度調節を行う場合には、画像の明るさが同じでも信号値は変化して適切なSN閾値を設定することができないことがあるが、本変形例によれば、ビニング加算画素数Bの影響を受けることなく適切なSN閾値を設定することができる。
なお、第1の前処理モードの第1の変形例においては、ビニング加算画素数Bを最大(10×10)に設定してもなお、入射光量算出回路31Bにより算出された入射光量pinが5フォトン/μm2より少ない場合には、SN比S/Nが10より低くなるので、そのような場合には、モニタ20上に警告表示を行うこととしてもよい。この場合には観察距離を近づける等の工夫を行うことにより、SN比S/Nが10以上となる観察を行うことが可能となる。
また、最大のビニング加算画素数Bは10×10に限定されるものではなく、それより大きくても小さくてもよい。
また、SN比S/NのSN閾値は、使用する蛍光薬剤の性能等に応じて、10以外の数値に設定してもよい。例えば、病変特異性が高く、正常組織との蛍光発生量の差が大きい蛍光薬剤を使用する場合には、SN閾値を低めに設定することにしてもよい。これにより、より高解像かつ高感度の蛍光観察を行うことができる。
また、SN比S/NのSN閾値は、使用する蛍光薬剤の性能等に応じて、10以外の数値に設定してもよい。例えば、病変特異性が高く、正常組織との蛍光発生量の差が大きい蛍光薬剤を使用する場合には、SN閾値を低めに設定することにしてもよい。これにより、より高解像かつ高感度の蛍光観察を行うことができる。
第1の前処理モードの第1の変形例は、以下のように更に変形することができる。すなわち、第1の前処理モードの第1の変形例の変形例において、前処理部63が、ビニング加算画素数Bのみならず露光時間tをも調節することとしてもよい。
この場合、前処理部63は、図17に示されるように、蛍光画像の輝度情報に基づいて、撮像素子18の撮像面における撮像面照度Einを算出する照度算出回路33Bと、撮像面照度Einとビニング加算画素数Bおよび露光時間tとの対応関係を示すテーブルを記憶する感度設定回路32Bとを備える。
この場合、前処理部63は、図17に示されるように、蛍光画像の輝度情報に基づいて、撮像素子18の撮像面における撮像面照度Einを算出する照度算出回路33Bと、撮像面照度Einとビニング加算画素数Bおよび露光時間tとの対応関係を示すテーブルを記憶する感度設定回路32Bとを備える。
撮像面照度Einは、撮像面における単位時間当たりの入射光量であり、式(4)により算出することができる。
Ein=V/(tSBηCI-VCA-D)・・・(4)
Ein=V/(tSBηCI-VCA-D)・・・(4)
これにより、照度算出回路31により算出された撮像面照度Einに対応するビニング加算画素数Bおよび露光時間tを、感度設定回路32Bがテーブルから検索して撮像素子18に設定するようになっている。
ここで、
pin=Eint・・・(5)
であるから、式(3)および式(5)から、SN比S/Nと撮像面照度Einとの関係は式(6)の通りとなる。
S/N=SηEint/√((SηEint+Ndt+Nr 2)/B)・・・(6)
ここで、
pin=Eint・・・(5)
であるから、式(3)および式(5)から、SN比S/Nと撮像面照度Einとの関係は式(6)の通りとなる。
S/N=SηEint/√((SηEint+Ndt+Nr 2)/B)・・・(6)
すなわち、SN比S/Nは、ビニング加算画素数Bと、露光時間tとをパラメータとして、撮像面照度Einの関数として、図18に示すように表すことができる。
そして、撮像面照度Einからビニング加算画素数Bおよび露光時間tを導くテーブルとしては、図19に示したテーブルにおける露光時間24msecを標準としてビニング加算画素数Bを調節し、ビニング加算画素数Bが最大または最小となった時点で、露光時間tを増減させるようになっている。なお、ここで用いているS、η、Nd、Nrは、上述した第1の変形例と同様の値を用いている。
そして、撮像面照度Einからビニング加算画素数Bおよび露光時間tを導くテーブルとしては、図19に示したテーブルにおける露光時間24msecを標準としてビニング加算画素数Bを調節し、ビニング加算画素数Bが最大または最小となった時点で、露光時間tを増減させるようになっている。なお、ここで用いているS、η、Nd、Nrは、上述した第1の変形例と同様の値を用いている。
このような第1の前処理モードの変形例によれば、図20に示されるように、蛍光画像の輝度情報から撮像面照度Einが求められ(ステップSD3’)、該撮像面照度Einに応じて、感度設定回路32Bに記憶されているテーブルからビニング加算画素数Bおよび露光時間tが求められる(ステップSD4’)。撮像面照度Einが100フォトン/sec/μm2から250フォトン/sec/μm2以下の場合には、ビニング加算画素数Bが10×10に固定された状態で、露光時間tとして100msecから24msecが選択されるようになっている。
また、撮像面照度Einが208フォトン/sec/μm2から4330フォトン/sec/μm2までは、露光時間tが24msecに固定された状態で、ビニング加算画素数Bとして10×10から1×1までが選択されるようになっている。さらに、撮像面照度Einが6500フォトン/sec/μm2以上の場合には、ビニング加算画素数Bが1×1に固定された状態で、露光時間tとして24msecから8msecが選択されるようになっている。
このようにすることで、入射光量Pinが5フォトン/μm2より小さい微弱な蛍光を観察する場合においても、露光時間tを増大させてSN比S/Nを10以上に確保することが可能となる。また、撮像面照度Einの大きな領域(4330フォトン/sec/μm2以上)においては、ビニング加算画素数Bを最小の1×1としても十分に高いSN比S/Nが得られるが、撮像面照度Einが大きくなるに従って露光時間tを短く設定することにより像ブレを抑える効果を高めることができるという利点がある。
第1の前処理モードが前処理部63に搭載される蛍光観察装置100,200,300,400,500は、図21に示されるように、感度設定回路32Bにおいてビニング加算画素数Bを求める際のSN閾値S3を外部から入力させる閾値入力部41を備えることとしてもよい。閾値入力部34Bは、例えば、切替スイッチやボタン等であり、SN比S/NのSN閾値S3として6、10、15のいずれかを選択することができるようになっている。
この構成において、感度設定回路32Bには、図22に示されるテーブルが記憶されている。感度設定回路32Bは、閾値入力部34Bから入力されたSN閾値S3および入射光量算出回路31Bにより算出された入射光量pinに基づいて、テーブルからビニング加算画素数Bを選択し、撮像素子18に設定するようになっている。
このように構成された蛍光観察装置100,200,300,400,500によれば、薬剤の性能やアプリケーションに応じて適切なSN比S/NのSN閾値S3を設定することができる。例えば、コントラストの高い蛍光薬剤を用いる場合には、撮像素子18に求められるSN比S/Nは低くてもよいので、小さいSN閾値S3を設定することにより、入射光量pinが低くても小さいビニング加算画素数Bを設定して、解像度の低下や像ブレの影響を最小限に抑えることができる。
これとは逆に、硬性鏡で腹腔内を観察したり、軟性鏡で胃の中を観察したりするような観察距離が大きいことが想定されるアプリケーションでは、観察部位が相対的に小さくなって視認性が低下することが考えられるので、SN比S/NのSN閾値を大きくすることで、視認性を確保するような感度を得ることができるという利点がある。
なお、このように構成された蛍光観察装置100,200,300,400,500においては、閾値入力部34Bから入力されたSN閾値S3に応じてテーブルに記憶されているビニング加算画素数Bを選択することに代えて、感度設定回路32Bが、ビニング加算画素数B毎の入射光量pinとSN比S/Nとの関係を表す図23に示されるグラフを記憶していて、SN閾値S3が入力されたときには、その都度、入力されたSN閾値S3を用いて、記憶されているグラフから、そのSN閾値S3以上のSN比S/Nを達成可能な最も小さいビニング加算画素数Bを選択したテーブルを作成することとしてもよい。図23では、SN比S/NのSN閾値S3の例として、6、10、15を示す線が描かれている。
このようにすることで、SN比S/NのSN閾値S3を、予め記憶されている値に捕らわれることなく自由に設定でき、よりきめの細かい感度調節を行うことができるという利点がある。
このようにすることで、SN比S/NのSN閾値S3を、予め記憶されている値に捕らわれることなく自由に設定でき、よりきめの細かい感度調節を行うことができるという利点がある。
また、入力されたSN閾値S3を用いて、記憶されているテーブルあるいはグラフから、そのSN閾値S3以上のSN比S/Nを達成可能な最も小さいビニング加算画素数Bを選択することとしたが、これに加えて、第1の変形例の変形例のように、ビニング加算画素数Bおよび露光時間tを調整することにしてもよい。また、SN比S/NのSN閾値S3は用途に応じて観察開始前に操作者が入力することにしてもよいし、観察中に状況に応じて入力することにしてもよい。
さらに、また、本変形例においては、閾値入力部34Bから入力されたSN閾値S3を用いることとしたが、これに代えて、図24に示されるように、蛍光画像生成部により生成された蛍光画像から画像のコントラストを算出するコントラスト算出回路35Bを設け、該コントラスト算出回路35Bにより算出されたコントラストT/Cに基づいて、SN比S/NのSN閾値S3を設定することとしてもよい。
この場合、感度設定回路32BにはコントラストT/CとSN閾値S3とを対応させるテーブルが記憶されていればよい。
この場合、感度設定回路32BにはコントラストT/CとSN閾値S3とを対応させるテーブルが記憶されていればよい。
コントラスト算出回路35Bとしては、例えば、蛍光画像のヒストグラムを生成し、その階調値全体の平均値Cとヒストグラムの上位5%の平均値Tとの比T/Cをコントラストとして算出すればよい。
テーブルとしては、図25に示されるように、使用する蛍光薬剤のコントラストT/Cが高い場合には、SN比S/NのSN閾値S3を低く設定し、コントラストT/Cが低い場合にはSN比S/NのSN閾値を高くするようなテーブルが好ましい。実際に得られた蛍光画像に基づいてSN比S/NのSN閾値S3を設定するので、手動で入力する場合よりも適切なSN閾値を設定することができる。
なお、コントラストT/Cとして、ヒストグラムの上位5%の平均値Tを用いたが、これに限定されるものではなく、例えば、観察する病変が大きいアプリケーション、例えば、大腸ポリープ等の観察に際しては、蛍光画像内の高輝度領域の占める割合が多いと考えられるので、例えば、ヒストグラムの上位10%の平均値Tを用いることにしてもよい。
また、蛍光画像のコントラストT/CからSN比S/NのSN閾値S3を設定することに代えて、参照画像の輝度値からSN比S/NのSN閾値S3を設定することとしてもよい。
この場合には、図26に示されるように、参照画像生成部61により生成された参照画像の輝度値の平均値等の代表値Dを露光時間tで除算することにより参照画像の輝度D/tを算出する輝度算出回路36Bを設け、感度設定回路32Bに、参照画像の輝度D/tとSN閾値S3とを対応させるテーブルが記憶されていればよい。
この場合には、図26に示されるように、参照画像生成部61により生成された参照画像の輝度値の平均値等の代表値Dを露光時間tで除算することにより参照画像の輝度D/tを算出する輝度算出回路36Bを設け、感度設定回路32Bに、参照画像の輝度D/tとSN閾値S3とを対応させるテーブルが記憶されていればよい。
テーブルとしては、図27に示されるように、観察距離が遠くなるようなアプリケーション、すなわち、参照画像の輝度D/tが低い場合には、観察対象Aの視認性を向上するために、SN比S/NのSN閾値S3を高めに設定することが好ましく、観察距離が近くなるアプリケーション、すなわち、参照画像の輝度D/tが高い場合には、SN比S/NのSN閾値S3を低めに設定するようなテーブルとすればよい。
また、これとは逆に、観察距離が近づく場合には観察部位が大きく表示されるので、解像度が低下したり像ブレが発生したりしてもある程度許容される。この場合にはSN比S/NのSN閾値S3を高めに設定して、ビニング加算画素数Bを多めにすることにしてもよい。
また、観察距離が遠い場合には観察部位が小さく表示されるので、解像度の低下や像ブレの影響を大きく受けやすい。そこで、この場合には、SN比S/NのSN閾値S3を低めに設定して、露光時間tが長すぎたりビニング加算画素数Bが多くなりすぎたりしないような設定としてもよい。
図27における、輝度D/tの値は、輝度値を12bit階調、露光時間を単位secで表わしたときの値を例としている。つまり、D/tが100000というのは、露光時間24msecのときは、階調値は2400となる。
図27における、輝度D/tの値は、輝度値を12bit階調、露光時間を単位secで表わしたときの値を例としている。つまり、D/tが100000というのは、露光時間24msecのときは、階調値は2400となる。
また、図28に示されるように、参照画像生成部61により生成された参照画像から像ブレMを算出する像ブレ算出回路37Bを設け、感度設定回路32Bが、算出された像ブレMの大きさに応じて露光時間tおよびビニング加算画素数Bと撮像面照度Einとを対応づけるテーブルを選択することにしてもよい。像ブレMは、例えば、公知技術を用いてブレ量を算出し、そのブレ量を用いて数値化することにより算出できる。
感度設定回路32Bは、像ブレ算出回路37Bから送られてきた像ブレMを所定の閾値M1,M2と比較して、M<M1、M1<M<M2、M2<Mの3つの場合に分けて、テーブルを選択することとしている。M<M1の場合のテーブルの例は図29、M1<M<M2の場合のテーブルの例は図19、M2<Mの場合のテーブルの例は図30の通りである。
図29のテーブルは、像ブレMが最も小さい場合であり、ビニング加算画素数Bを小さく保ったまま露光時間tを長くすることを優先して、解像度の高い観察を行うようにしている。図19のテーブルは、像ブレMが中程度の場合であり、露光時間tを標準値24msecとしてビニング加算画素数Bを変化させている。図30のテーブルは、像ブレMが最も大きい場合であり、露光時間tを短くすることを優先して、像ブレMを抑えて視認性を向上するようにしている。これにより、より観察状況に適した感度調整を行うことができる。
また、像ブレ算出回路37Bに代えて、図31に示すように、参照画像生成部61により生成された参照画像の輝度Iを算出する輝度算出回路36Bを設け、感度設定回路32Bが、算出された参照画像の輝度Iの大きさに応じて露光時間tおよびビニング加算画素数Bと撮像面照度Einとを対応づけるテーブルを選択することにしてもよい。
感度設定回路32Bは、輝度算出回路36Bから送られてきた参照画像の輝度Iを所定の閾値I1,I2と比較して、I<I1、I1<I<I2、I2<Iの3つの場合に分けて、テーブルを選択することとしている。I<I1の場合のテーブルの例は図32、I1<I<I2の場合のテーブルの例は図19、I2<Iの場合のテーブルの例は図33の通りである。
図32のテーブルは、参照画像の輝度Iが最も小さい場合であり、ビニング加算画素数Bを小さく保ったまま露光時間tを長くすることを優先して、解像度の高い観察を行うようにしている。図19のテーブルは、輝度Iが中程度の場合であり、露光時間tを標準値24msecとしてビニング加算画素数Bを変化させている。図33のテーブルは、輝度Iが最も大きい場合であり、露光時間tを短くすることを優先して、像ブレを抑えて視認性を向上するようにしている。
これにより、より観察状況に適した感度調整を行うことができる。輝度Iが小さいということは、観察距離が大きいことを意味し、画像内の病変の大きさが小さくなるため、高解像の撮像が求められる。したがって、特に、腹腔内視鏡や胃の中の観察のような観察距離が比較的大きくなる用途や、腹膜播種転移巣のような小さい病変を観察するときなど、高い解像度が求められる用途に有効な方法である。
また、上記第1の変形例においては、SN比S/Nを基準としてビニング加算画素数Bや露光時間tを調節しているので、除算用蛍光画像の明るさが変動することがある。
そこで、図34に示すように、蛍光画像生成部22により生成された蛍光画像の階調値に以下の式(7)の変換係数Craw-displayを乗算して補正する表示補正部45を設けることにしてもよい。
そこで、図34に示すように、蛍光画像生成部22により生成された蛍光画像の階調値に以下の式(7)の変換係数Craw-displayを乗算して補正する表示補正部45を設けることにしてもよい。
Craw-display=Bmaxtmax/Bt・・・(7)
ここで、Bmaxはビニング加算画素数Bの上限値、tmaxは露光時間tの上限値である。
ここで、Bmaxはビニング加算画素数Bの上限値、tmaxは露光時間tの上限値である。
このようにすることで、感度の調整によって実際の蛍光の明るさとは異なる明るさでモニタ20に表示されてしまうことを回避して、感度を維持しながら定量的な情報を操作者に提供することができるという利点がある。
また、第1の前処理モードの第1の変形例が、図5に示される第5の実施形態に係る蛍光観察装置500が備える前処理部63に搭載される場合、感度設定回路32B内には、挿入部2の種類の情報毎に入射光量pin(あるいは撮像面照度)と適切なビニング加算画素数Bや露光時間tとの対応関係を示す情報を記憶しておくことにしてもよい。
このようにすることで、挿入部2を交換すると、挿入部2に設けられたICチップ7374内の識別情報が、ICリーダ74で読み取られて感度設定回路32Bに送られる。感度設定回路32Bにおいては、その挿入部2の識別情報に対応するビニング加算画素数Bおよび/または露光時間tが自動的に選択されるので、観察条件に適した感度で観察を行うことができる。
また、撮像素子17,18としてCMOSに代えてCCDを用いる場合には、式(3)に代えて、式(8)を用いればよい。
S/N=Sηpin/√((Sηpin+Ndt+Nr 2/B)/B)・・・(8)
S/N=Sηpin/√((Sηpin+Ndt+Nr 2/B)/B)・・・(8)
次に、第1の前処理モードの第2の変形例について説明する。
第1の前処理モードの第2の変形例は、図35に示されるように、前処理部63が備えるSN比算出回路(画質評価部)38Bと感度設定回路32B’とにより実行される。SN比算出回路38Bは、蛍光画像の輝度情報に基づいて、SN比SNRを算出する。感度設定回路32B’は、SN比算出回路38Bにより算出されたSN比SNRに基づいて撮像素子18の感度を設定する。
第1の前処理モードの第2の変形例は、図35に示されるように、前処理部63が備えるSN比算出回路(画質評価部)38Bと感度設定回路32B’とにより実行される。SN比算出回路38Bは、蛍光画像の輝度情報に基づいて、SN比SNRを算出する。感度設定回路32B’は、SN比算出回路38Bにより算出されたSN比SNRに基づいて撮像素子18の感度を設定する。
SN比算出回路38Bは、図36に示されるように、蛍光画像における関心領域ROIを設定しておき、蛍光画像生成部22から送られてくる異なる時刻に取得された複数枚の蛍光画像のROI内の各画素の階調値から時間軸方向に平均値と揺らぎ(標準偏差値)とを、数1および数2により算出するようになっている。
ここで、
V(x,y,j)は、j番目の時刻に取得された蛍光画像のROI内における座標(x,y)の画素の階調値、
V*(x,y)は、1からn番目までの階調値V(x,y,j)の平均値、
nは、予め設定された蛍光画像の枚数、
S(x,y)は、1からn番目までの階調値V(x,y,j)の時間的な揺らぎ
である。
V(x,y,j)は、j番目の時刻に取得された蛍光画像のROI内における座標(x,y)の画素の階調値、
V*(x,y)は、1からn番目までの階調値V(x,y,j)の平均値、
nは、予め設定された蛍光画像の枚数、
S(x,y)は、1からn番目までの階調値V(x,y,j)の時間的な揺らぎ
である。
SN比SNRは、数1および数2により、ROI内の全画素について算出された平均値V*(x,y)と揺らぎS(x,y)とを用いて、数3により算出されるようになっている。数3においては、平均値V*(x,y)を揺らぎS(x,y)で除算した値をROI内の全画素について平均することにより算出している。
すなわち、SN比算出回路38Bは、図37に示されるように、蛍光画像生成部62から蛍光画像が送られてくるたびに、ROI内の全画素の階調値を記憶し、予め定められたn番目の蛍光画像が送られてきた時点で、ROI内の全画素について平均値V*(x,y)と揺らぎS(x,y)とを算出し、平均値V*(x,y)を揺らぎS(x,y)で除算する。そして、ROI内の全画素について平均値V*(x,y)の揺らぎS(x,y)による除算が終了した時点で、これらを加算平均することによりSN比SNRを算出するようになっている。
感度設定回路32B’は、補正条件設定部66,66’,66”から入力された第1のSN閾値と第2のSN閾値とを記憶し、SN比算出回路38Bにより算出されたSN比SNRが2つのSN閾値の間となるように撮像素子18の感度をビニング加算画素数Bや露光時間tによって調節するようになっている。ここで、第1及び第2のSN閾値(前処理パラメータ)は、補正条件設定部66,66’,66”によって、「局所観察」または「脂肪少量」に対応する観察条件のときにはより小さい値について設定され、「俯瞰観察」または「脂肪多量」に対応する観察条件のときにはより大きい値に設定されている。
具体的には、図38に示されるように、SN比算出回路38Bにより算出されたSN比SNRと第1のSN閾値とを比較して(ステップSE71)、SN比SNRが第1のSN閾値より小さい場合には、ビニング加算画素数Bが上限であるか否かを判断し(ステップSE72)、上限ではない場合にはビニング加算画素数Bを増やすようになっている(ステップSE73)。
ステップSE72において、ビニング加算画素数Bが上限である場合には、露光時間tが上限であるか否かを判断し(ステップSE74)、上限ではない場合には露光時間tを長くするようになっている(ステップSE75)。そして、新たなビニング加算画素数Bおよび/または露光時間tは、撮像素子18に設定されるようになっている(ステップSE81)。
ステップSE74において、露光時間tが上限である場合には、処理を行うことなく次の感度設定に戻るようになっている。
ステップSE74において、露光時間tが上限である場合には、処理を行うことなく次の感度設定に戻るようになっている。
また、SN比SNRが第1のSN閾値以上の場合には、SN比SNRと第2のSN閾値とを比較して(ステップSE76)、SN比SNRが第2のSN閾値より大きい場合には、ビニング加算画素数Bが下限であるか否かを判断し(ステップSE77)、下限ではない場合にはビニング加算画素数Bを減らすようになっている(ステップSE78)。
ステップSE77において、ビニング加算画素数Bが下限である場合には、露光時間tが下限であるか否かを判断し(ステップSE79)、下限ではない場合には露光時間を短くするようになっている(ステップSE80)。そして、新たなビニング加算画素数Bおよび/または露光時間tは、撮像素子18に設定されるようになっている(ステップSE81)。ステップSE79において、露光時間tが下限である場合には、処理を行うことなく次の感度設定に戻るようになっている。
このように構成された前処理部63による第1の前処理モードによれば、図37に示されるように、異なる時刻に取得され生成された複数の蛍光画像が前処理部63に送られて(ステップSE1)、SN比算出回路38Bに記憶される(ステップSE2)。次に、予め設定されたn枚の蛍光画像が蓄積されたか否かが判定され(ステップSE3)、蓄積された場合には、SN比算出回路38Bにおいて、各蛍光画像の予め設定されたROI内の各画素の階調値に基づいて階調値の平均値と揺らぎとが算出され(ステップSE4)、画素毎に平均値が揺らぎによって除算される(ステップSE5)。さらに、ROI内の全画素について平均値を揺らぎで除算した値の平均値がSN比SNRとして算出され(ステップSE6)、感度設定回路32B’に送られる(ステップSE7)。
感度設定回路32B’においては、送られてきたSN比SNRと第1のSN閾値とが比較される(ステップSE71)。SN比SNRが第1のSN閾値より小さい場合には、設定されているビニング加算画素数Bが上限値であるか否かが判定され(ステップSE72)、上限値ではない場合には、ビニング加算画素数Bが予め定められた増加分だけ増加させられて(ステップSE73)、撮像素子18に設定される(ステップSE81)。
一方、ビニング加算画素数Bが上限である場合には、露光時間tが上限値であるか否かが判定される(ステップSE74)。露光時間tが上限値ではない場合には、露光時間tが所定の増加分だけ長くされて撮像素子18に設定され(ステップSE81)、露光時間tが上限値である場合には、感度変更が行われることなく感度設定処理が終了する。
また、ステップSE71における比較の結果、SN比SNRが第1のSN閾値以上の場合には、SN比SNRが第2のSN閾値と比較される(ステップSE76)。SN比SNRが第2のSN閾値より大きい場合には、設定されているビニング加算画素数Bが下限値であるか否かが判定され(ステップSE77)、下限値ではない場合にはビニング加算画素数Bが所定の減少分だけ減少させられて(ステップSE78)、撮像素子18に設定される(ステップSE81)。
一方、ステップSE77においてビニング加算画素数Bが下限値である場合には、露光時間tが下限値であるか否かが判定される(ステップSE79)。露光時間tが下限値ではない場合には、露光時間tが所定の減少分だけ短くされて(ステップSE80)、撮像素子18に設定され(ステップSE81)、露光時間tが下限値である場合には、感度変更が行われることなく、感度設定処理が終了する。感度設定処理終了は、観察が終了するまでステップSE1からの処理が繰り返される(ステップSE8)。
そして、このようにして、ビニング加算画素数Bおよび/または露光時間tが新たに設定された撮像素子18によって蛍光画像情報が取得され、蛍光画像生成部62において生成された蛍光画像が除算用蛍光画像として除算画像生成部64に出力される。
このように、蛍光画像の輝度情報から求めた、SN比SNRが第1のSN閾値以上となるようにビニング加算画素数Bおよび/または露光時間tを撮像素子18に設定することができ、最低限必要な画質を確保した蛍光観察を行うことができる。また、SN比SNRが第2のSN閾値以下となるようにビニング加算画素数Bおよび/または露光時間tを撮像素子18に設定することができ、像ブレの影響を最小限に抑えた蛍光観察を行うことができる。
この場合において、SN比SNRの算出を実際に取得された蛍光画像の輝度情報を用いて行うので、状況に適した感度調節を行うことができるという利点がある。また、SN比SNRの算出を実際に取得された蛍光画像の輝度情報を用いて行うので、観察条件に応じて交換される挿入部2その他の個体差や誤差の影響を受けることなく、常に適切な感度調節を行うことができる。
なお、第1の前処理モードの第2の変形例においては、ビニング加算画素数Bの調節後に調節不可能となった場合に露光時間tを調節することとしたが、順序は逆でも交互に行ってもよい。
また、2つのSN閾値によってビニング加算画素数Bおよび/または露光時間tを調節することとしたが、これに代えて、単一のSN閾値によって調節することとしてもよい。
また、2つのSN閾値によってビニング加算画素数Bおよび/または露光時間tを調節することとしたが、これに代えて、単一のSN閾値によって調節することとしてもよい。
また、第1の前処理モードの第2の変形例においては、SN比算出回路38Bが時間軸方向の平均値および揺らぎを算出することとしたが、これに代えて、空間的な平均値および揺らぎに基づいてSN比SNRを算出してもよい。
この場合には、SN比算出回路38Bは、蛍光画像生成部62から送られてくる蛍光画像に設定された複数の関心領域ROIについて、各ROI内の各画素の階調値の平均値と揺らぎ(標準偏差値)とを数4および数5により算出するようになっている。
この場合には、SN比算出回路38Bは、蛍光画像生成部62から送られてくる蛍光画像に設定された複数の関心領域ROIについて、各ROI内の各画素の階調値の平均値と揺らぎ(標準偏差値)とを数4および数5により算出するようになっている。
ここで、
V(x,y)は、蛍光画像のROI内における座標(x,y)の画素の階調値、
n(j)は、j番目のROI内の画素数、
V*(j)は、j番目のROI内の階調値V(x,y)の平均値、
S(j)は、j番目のROI内の階調値V(x,y)の空間的な揺らぎ
である。
V(x,y)は、蛍光画像のROI内における座標(x,y)の画素の階調値、
n(j)は、j番目のROI内の画素数、
V*(j)は、j番目のROI内の階調値V(x,y)の平均値、
S(j)は、j番目のROI内の階調値V(x,y)の空間的な揺らぎ
である。
このような第1の前処理モードによれば、例えば、視野範囲を大きく動かす用途においては、複数の蛍光画像を蓄積してSN比SNRを算出することよりも、単一の蛍光画像からSN比SNRを算出する方が、正確にSN比SNRを算出でき、適切な感度調節を行うことができるという利点がある。
上記の第1の前処理モードの変形例においては、感度設定回路32B’に、予め定められた2つのSN閾値を設定しておくこととしたが、これに代えて、薬剤の性能やアプリケーションに応じてSN閾値を可変にすることとしてもよい。
例えば、図39に例示するように、感度設定回路32B’においてビニング加算画素数Bを求める際のSN閾値S3を外部から入力させる閾値入力部34B’を備えていてもよい。
閾値入力部34B’は、例えば、切替スイッチやボタン等であり、SN比SNRのSN閾値S3を選択することができるようになっている。
閾値入力部34B’は、例えば、切替スイッチやボタン等であり、SN比SNRのSN閾値S3を選択することができるようになっている。
また、閾値入力部34B’から入力されたSN閾値S3を用いることに代えて、図40に例示されるように、蛍光画像生成部62により生成された蛍光画像から画像のコントラストT/Cを算出するコントラスト算出回路35B’を設け、該コントラスト算出回路35B’により算出されたコントラストT/Cに基づいて、SN比SNRのSN閾値S3を設定することとしてもよい。
この場合には、感度設定回路32B’には、図41に示されるようなコントラストT/CとSN閾値とを対応させるテーブルが記憶されていればよい。
この場合には、感度設定回路32B’には、図41に示されるようなコントラストT/CとSN閾値とを対応させるテーブルが記憶されていればよい。
コントラスト算出回路35B’としては、例えば、蛍光画像のヒストグラムを生成し、その階調値全体の平均値Cとヒストグラムの上位5%の平均値Tとの比T/Cをコントラストとして算出すればよい。
テーブルとしては、使用する蛍光薬剤のコントラストT/Cが高い場合には、SN比SNRのSN閾値を低く設定し、コントラストT/Cが低い場合にはSN比SNRのSN閾値を高くするようなテーブルが好ましい。このようにすることで、実際に得られた蛍光画像に基づいてSN比SNRのSN閾値を設定するので、手動で入力する場合よりも適切なSN閾値を設定することができる。
テーブルとしては、使用する蛍光薬剤のコントラストT/Cが高い場合には、SN比SNRのSN閾値を低く設定し、コントラストT/Cが低い場合にはSN比SNRのSN閾値を高くするようなテーブルが好ましい。このようにすることで、実際に得られた蛍光画像に基づいてSN比SNRのSN閾値を設定するので、手動で入力する場合よりも適切なSN閾値を設定することができる。
なお、コントラストT/Cとして、ヒストグラムの上位5%の平均値Tを用いたが、これに限定されるものではなく、例えば、観察する病変が大きいアプリケーション、例えば、大腸ポリープ等の観察に際しては、蛍光画像内の高輝度領域の占める割合が多いと考えられるので、例えば、ヒストグラムの上位10%の平均値Tを用いることにしてもよい。
また、蛍光画像のコントラストT/CからSN比SNRのSN閾値を設定することに代えて、参照画像の輝度値からSN比SNRのSN閾値を設定することとしてもよい。
この場合には、図42に示されるように、参照画像生成部61により生成された参照画像の輝度値の平均値等の代表値Dを露光時間tで除算することにより参照画像の輝度D/tを算出する輝度算出部36B’を設け、感度設定回路32B’に、参照画像の輝度D/tとSN閾値とを対応させるテーブルが記憶されていればよい。
この場合には、図42に示されるように、参照画像生成部61により生成された参照画像の輝度値の平均値等の代表値Dを露光時間tで除算することにより参照画像の輝度D/tを算出する輝度算出部36B’を設け、感度設定回路32B’に、参照画像の輝度D/tとSN閾値とを対応させるテーブルが記憶されていればよい。
テーブルとしては、図43に示されるように、観察距離が遠くなるようなアプリケーション、すなわち、参照画像の輝度D/tが低い場合には、観察対象Aの視認性を向上するために、SN比SNRのSN閾値S3を高めに設定することが好ましく、観察距離が近くなるアプリケーション、すなわち、参照画像の輝度D/tが高い場合には、SN比SNRのSN閾値S3を低めに設定するようなテーブルとすればよい。
また、これとは逆に、観察距離が近づく場合には観察部位が大きく表示されるので、解像度が低下したり像ブレが発生したりしてもある程度許容される。この場合にはSN比SNRのSN閾値S3を高めに設定して、ビニング加算画素数Bを多めにすることにしてもよい。
なお、図43における輝度D/tの値は、輝度値を12bit階調、露光時間を単位secで表したときの値を例としている。つまり、D/t=100000というのは、露光時間24msecのときは階調値2400となる。
なお、図43における輝度D/tの値は、輝度値を12bit階調、露光時間を単位secで表したときの値を例としている。つまり、D/t=100000というのは、露光時間24msecのときは階調値2400となる。
また、観察距離が遠い場合には観察部位が小さく表示されるので、解像度の低下や像ブレの影響を大きく受けやすい。そこで、この場合には、SN比SNRのSN閾値S3を低めに設定して、露光時間tが長すぎたりビニング加算画素数Bが多くなりすぎたりしないような設定としてもよい。
また、図44に示されるように、参照画像生成部61により生成された参照画像から像ブレMを算出する像ブレ算出回路37B’を設け、感度設定回路32B’が、算出された像ブレMの大きさに応じて露光時間tおよびビニング加算画素数Bを設定することにしてもよい。像ブレMは、公知技術を用いて像ぶれ量を算出し、そのぶれ量を用いて数値化することにより算出することができる。
この場合には、感度設定回路32B’は、図45に示されるように、SN比SNRが予め設定された第1のSN閾値より小さいか否かを判断する(ステップSE71)。そして、第1のSN閾値より小さい場合には、像ブレ算出回路37B’から送られてきた像ブレMを所定の閾値M1と比較して、M>M1か否かを判断し(ステップSE82)、像ブレMが閾値M1より大きい場合にステップSE72に進み、像ブレMが閾値M1以下の場合にステップSE74に進むこととしている。
また、SN比SNRが予め設定された第1のSN閾値以上の場合には、SN比SNRが予め設定された第2のSN閾値より大きいかを判断する(ステップSE76)。そして、第2のSN閾値より大きい場合には、像ブレ算出回路37B’から送られてきた像ブレMを所定の閾値M1と比較して、M>M1か否かを判断し(ステップSE83)、像ブレMが閾値M1より大きい場合にステップSE77に進み、像ブレMが閾値M1以下の場合にステップSE79に進むこととしている。
このようにすることで、像ブレMが大きいときには露光時間tを短くすることを優先し、像ブレMが小さいときには露光時間tを長くすることを優先し、ビニング加算画素数Bを減らして解像度の高い蛍光観察を行うことができるという利点がある。これにより、より状況に適した感度調節を行うことができる。
また、像ブレ算出回路29に代えて、図42に示されるように、参照画像生成部61により生成された参照画像の輝度Iを算出する輝度算出部36B’を設け、感度設定回路32B’が、算出された参照画像の輝度Iの大きさに応じて露光時間tおよびビニング加算画素数Bを設定することにしてもよい。
この場合には、感度設定回路32B’は、図46に示されるように、SN比SNRが予め設定された第1のSN閾値より小さいか否かを判断する(ステップSE71)。そして、第1のSN閾値より小さい場合には、輝度算出部36B’から送られてきた輝度Iを所定の閾値I1と比較して、I>I1か否かを判断し(ステップSE84)、輝度Iが閾値I1より大きい場合にステップSE72に進み、輝度Iが閾値I1以下の場合にステップSE74に進むこととしている。
また、SN比SNRが予め設定された第1のSN閾値以上の場合には、SN比SNRが予め設定された第2のSN閾値より大きいかを判断する(ステップSE76)。そして、第2のSN閾値より大きい場合には、輝度算出部から送られてきた輝度Iを所定の閾値I1と比較して、I>I1か否かを判断し(ステップSE85)、輝度Iが閾値I1より大きい場合にステップSE77に進み、輝度Iが閾値I1以下の場合にステップSE79に進むこととしている。
輝度Iが高いとき、つまり、観察距離が比較的小さくなるときには、観察部位が比較的大きく画像上に表示されるので、解像度を若干低下させても十分に観察部位を視認することができる。したがって、この場合にはビニング加算画素数Bを多めに設定し、逆に露光時間tは短くてもよいので像ブレを抑えることができるという利点がある。
逆に、輝度Iが低いときには、観察距離が比較的小さくなるので、観察部位が比較的小さく画面上に表示される。このような場合には解像度は高く維持する必要があるので、ビニング加算画素数Bを少なめに設定している。
このように構成することで、より適切な感度調節を行うことができる。特に、腹腔内視鏡や胃の中の観察のような観察距離が比較的大きくなる用途や、腹膜播種転移巣のような小さい病変を観察するときなど、高い解像度が求められる用途に有効な方法である。
上述した第1の前処理モードの第2の変形例は、以下のようにさらに変形することができる。
すなわち、図47に示されるように、前処理部63が、参照画像生成部61により生成された参照画像に基づいて挿入部2の動きの速さを計測する動き計測回路39Bと、蛍光画像生成部62により生成された蛍光画像に基づいて時間軸方向の平均値と揺らぎとからSN比SNRを算出するSN比算出回路381Bと、空間的な平均値と揺らぎとからSN比SNRを算出するSN比算出回路382Bとを備えている。
すなわち、図47に示されるように、前処理部63が、参照画像生成部61により生成された参照画像に基づいて挿入部2の動きの速さを計測する動き計測回路39Bと、蛍光画像生成部62により生成された蛍光画像に基づいて時間軸方向の平均値と揺らぎとからSN比SNRを算出するSN比算出回路381Bと、空間的な平均値と揺らぎとからSN比SNRを算出するSN比算出回路382Bとを備えている。
そして、感度設定回路32B’は、動き計測回路39Bにより計測された動きの速さNに応じて、どちらのSN比算出回路381B,382Bによって出力されたSN比SNRを使用するかを選択するようになっている。具体的には動きの速さNが所定の閾値N1より大きい場合には、SN比算出回路382Bから出力される空間的な平均値と揺らぎから算出したSN比SNRを用い、閾値N1以下の場合には、SN比算出回路381Bから出力される時間軸方向の平均値と揺らぎとから算出したSN比SNRを用いるようになっている。
挿入部2の動きが早いときには、複数枚の蛍光画像を必要とする時間軸方向の揺らぎを用いたSN比SNRより、単一の蛍光画像により算出できる空間的な平均値と揺らぎを用いたSN比SNRの方が正確に算出できるため、より好ましい。動きが遅いときには、ほぼ同じ場所を見ているので、撮像素子18ごとの個体差によるばらつきの影響を受けにくい時間軸方向の平均値と揺らぎを用いたSN比SNRの方が、正確に算出できるため、より好ましい。
本前処理モードが、図5に示される第5の実施形態に係る蛍光観察装置500に搭載される場合、感度設定回路32B’内には、挿入部2の識別情報毎に適切なSN閾値を記憶しておくことにしてもよい。
このようにすることで、挿入部2を交換すると、挿入部2に設けられたICチップ73内の識別情報が、ICリーダ74で読み取られて補正条件設定部66,66’,66”または感度設定回路32B’に送られる。補正条件設定部66,66’,66”または感度設定回路32B’においては、その挿入部2の識別情報に対応するSN閾値が自動的に選択されるので、観察条件に適した感度で観察を行うことができる。
[第2の前処理モード]
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える前処理部63による第2の前処理モードについて説明する。第2の前処理モードは、観察距離に基づく値を参照画像および蛍光画像の少なくとも一方に累乗する処理モードである。
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える前処理部63による第2の前処理モードについて説明する。第2の前処理モードは、観察距離に基づく値を参照画像および蛍光画像の少なくとも一方に累乗する処理モードである。
このような第2の前処理モードは、撮像素子17,18から観察対象Aまでの観察距離に起因して除算画像に残存する観察距離・観察角度の依存性を除去するのに好適である。すなわち、第1及び第2の実施形態に係る蛍光観察装置100,200の補正条件設定部66,66’は「局所視」、「俯瞰視」が観察条件として入力または判定されたときに第2の前処理モードの前処理パラメータを設定する。第3から第5の実施形態に係る蛍光観察装置300,400,500の補正条件設定部66”は、局所観察される「ダグラス窩」等、俯瞰観察される「大網」、「横隔膜下」、「腸管膜」等が入力または判定されたときに、第2の前処理モードの前処理パラメータを設定する。
第2の前処理モードは、所定の強度の励起光を観察対象に照射したときに生成される蛍光画像の輝度の照明ユニット4から観察対象までの距離特性を累乗近似して得られる第1の累乗値(前処理パラメータ)の逆数を蛍光画像の輝度値に累乗し、所定の強度の照明光を観察対象に照射したときに生成される参照画像の輝度の照明ユニットから観察対象までの距離特性を累乗近似して得られる第2の累乗値(前処理パラメータ)の逆数を参照画像の輝度値に累乗するモードである。ここで、補正条件設定部62,62’,62”は、「局所視」に対応する観察条件のときは、第1および第2の累乗値の少なくとも一方を大きくするように前処理部63に司令を出し、「俯瞰視」に対応する観察条件のときは、第1および第2の累乗値の少なくとも一方を小さくするように前処理63に司令を出す。
第2の前処理モードは、図48に示すように、前処理部63が備える蛍光露光時間調節回路31C、反射光露光時間調節回路32C、及び画像補正回路33Cとにより実行される。蛍光露光時間調節回路31Cは、蛍光画像用の撮像素子18の露光時間(撮影条件)を調節する。反射光露光時間調節回路58は、参照画像用の撮像素子17の露光時間(撮影条件)を調節する。画像補正回路33Cは、参照画像生成部61により生成された参照画像を用いて蛍光画像生成部62により生成された蛍光画像を補正する。
蛍光露光時間調節回路31Cは、蛍光画像生成部62により生成された蛍光画像の輝度値に基づいて撮像素子18の露光時間を調節するようになっている。
同様に、反射光露光時間調節回路32Cは、参照画像生成部61により生成された参照画像の輝度値に基づいて撮像素子17の露光時間を調節するようになっている。
同様に、反射光露光時間調節回路32Cは、参照画像生成部61により生成された参照画像の輝度値に基づいて撮像素子17の露光時間を調節するようになっている。
蛍光画像の輝度値および参照画像の輝度値としては、挿入部2の先端2aから観察対象Aまでの距離(以下「観察距離」とする)Dnを変更しながら、照明ユニット20から観察対象Aに対して励起光および照明光を照射して得られた蛍光画像および参照画像の予め定められた領域(以下、「関心領域」という。)の輝度値の平均値が用いられる。
ここで、輝度値の求め方を以下の参考例を例示して説明する。
例えば、図49に示すように、豚の大腸の組織に蛍光色素を注入したものなど生体の光学特性に近い標準試料81に対し、観察距離DnをD0、D1、D2(D0<D1<D2)に変更しながら照明光を照射し、図50Aから図50Cおよび図51Aから図51Cに示すような蛍光画像を取得する。同図において、符号83は撮像素子18の視野を示し、符号85は関心領域を示している。
例えば、図49に示すように、豚の大腸の組織に蛍光色素を注入したものなど生体の光学特性に近い標準試料81に対し、観察距離DnをD0、D1、D2(D0<D1<D2)に変更しながら照明光を照射し、図50Aから図50Cおよび図51Aから図51Cに示すような蛍光画像を取得する。同図において、符号83は撮像素子18の視野を示し、符号85は関心領域を示している。
標準試料81中の蛍光強度が一定の場合、例えば、被写体である観察対象Aの表面が略平坦な場合には、図50Aから図50Cに示すように、観察距離Dnにかかわらず関心領域85の大きさを一定にして輝度値を算出する。一方、標準試料81中の蛍光強度が一定ではない場合、例えば、観察対象Aの表面に凸凹がある場合や観察対象A中の蛍光分布にむらがある場合には、図51Aから図51Cに示すように、観察距離Dnに応じて関心領域85の大きさを変更して輝度値を算出する。関心領域の大きさを変更することで、観察距離Dnを変更しても同一部位の輝度値を得ることができる。
画像補正回路33Cは、蛍光画像生成部62により生成された蛍光画像の輝度を規格化する蛍光画像規格回路34Cおよび輝度が規格化された蛍光画像に演算処理を施す蛍光画像前処理回路35Cと、参照画像生成部61により取得された参照画像の輝度を規格化する参照画像規格回路36Cおよび輝度が規格化された参照画像に演算処理を施す参照画像前処理回路37Cとを備えている。参照画像前処理回路37Cにより取得された除算用参照画像および蛍光画像前処理回路35Cにより取得された除算用蛍光画像は、除算画像生成部64に出力される。
蛍光画像規格回路34Cは、蛍光画像生成部62から蛍光画像の輝度値を読み出して、蛍光露光時間調節回路31Cにより設定された撮像素子18の露光時間で除算するようになっている。
蛍光画像前処理回路35Cは、所定の強度の励起光を観察対象Aに向けて照射したときに撮像素子18により取得され、蛍光画像規格回路34Cにより規格化された蛍光画像の輝度の観察距離Dnにおける距離特性を累乗近似して得られる第1の累乗値αの逆数1/α(または-1/α)を、規格化後の蛍光画像の輝度値に累乗して除算用蛍光画像を取得するようになっている。具体的には、以下のような累乗演算を行うようになっている。
FLafter=A×FLbefore x・・・(9)
ここで、FLafter:除算用蛍光画像の輝度値、FLbefore:蛍光画像の輝度値、x:1/αまたは-1/α:第1の累乗値、A:定数である。 この累乗演算により、距離の変化に対して輝度が比例する除算用蛍光画像が取得される。
FLafter=A×FLbefore x・・・(9)
ここで、FLafter:除算用蛍光画像の輝度値、FLbefore:蛍光画像の輝度値、x:1/αまたは-1/α:第1の累乗値、A:定数である。 この累乗演算により、距離の変化に対して輝度が比例する除算用蛍光画像が取得される。
同様に、参照画像規格回路36Cは、参照画像生成部61から参照画像の輝度情報を読み出して、反射光露光時間調節回路32Cにより設定された撮像素子17の露光時間で除算するようになっている。
また、参照画像前処理回路37Cは、所定の強度の反射光を観察対象Aに向けて照射したときに撮像素子17により取得され、参照画像規格回路36Cにより規格化された参照画像の輝度の観察距離Dnにおける距離特性を累乗近似して得られる第2の累乗値βの逆数1/β(または-1/β)を、規格化後の参照画像の輝度値に累乗して除算用参照画像を取得するようになっている。具体的には、以下のような累乗演算を行うようになっている。
RLafter=B×RLbefore y・・・(10)
ここで、RLafter:除算用参照画像の輝度値、RLbefore:参照画像の輝度値、y:1/βまたは-1/β、β:第2の累乗値、B:定数である。
この累乗演算により、距離の変化に対して輝度が比例する除算用参照画像が取得される。
RLafter=B×RLbefore y・・・(10)
ここで、RLafter:除算用参照画像の輝度値、RLbefore:参照画像の輝度値、y:1/βまたは-1/β、β:第2の累乗値、B:定数である。
この累乗演算により、距離の変化に対して輝度が比例する除算用参照画像が取得される。
第2の前処理モードが搭載された前処理部63を備えた構成の場合、画像合成部67は、図52に示すような、除算画像Kの輝度値と蛍光薬剤の存在量(すなわち、蛍光薬剤の濃度)とが対応づけられた濃度変換テーブル87を備え、モニタ20に特定の領域の蛍光濃度を表示させるようになっていることが好ましい。
このように構成された前処理部63による第2の前処理モードによれば、撮像素子18により取得された蛍光画像情報および撮像素子17により取得された参照画像情報は、それぞれ画像処理部6に入力されて画像処理される。以下、画像処理部6における画像処理について、図53のフローチャートを参照して説明する。
撮像素子18からの蛍光画像情報は蛍光画像生成部62に入力され、2次元的な蛍光画像が生成される。この場合に、蛍光露光時間調節回路31Cにより、蛍光画像生成部62によって生成された蛍光画像の輝度値に基づいて撮像素子18の露光時間が設定される(ステップSF1)。これにより、蛍光画像生成部62において、観察対象Aにおいて発生した蛍光の輝度にかかわらず適正な明るさの蛍光画像が取得される(ステップSF2)。
同様にして、参照画像情報は参照画像生成部61に入力され、2次元的な参照画像が生成される。この場合に、反射光露光時間調節回路32Cにより、参照画像生成部61によって生成された参照画像の輝度値に基づいて撮像素子17の露光時間が調節される(ステップSG1)。これにより、参照画像生成部61において、観察対象Aから戻る反射光の輝度にかかわらず適正な明るさの参照画像が取得される(ステップSG2)。
蛍光画像生成部62により生成された蛍光画像および参照画像生成部61により生成された参照画像は、それぞれ画像補正回路33Cへと送られる。
ここで、撮像素子18により取得される蛍光画像には、観察距離Dnにおける蛍光の距離の累乗の情報が含まれており、撮像素子17により取得される参照画像には、観察距離Dにおける照明光の距離の累乗の情報が含まれている。また、内部散乱であるか表面反射であるか等の影響により蛍光と反射光の性質が互いに異なるため、蛍光画像の輝度の観察距離Dnにおける距離特性と参照画像の輝度の観察距離Dnにおける距離特性は異なる。さらに、撮像素子18の露光時間と撮像素子17の露光時間が異なる場合には、蛍光画像の輝度値と参照画像の輝度値が互いに異なる。
ここで、撮像素子18により取得される蛍光画像には、観察距離Dnにおける蛍光の距離の累乗の情報が含まれており、撮像素子17により取得される参照画像には、観察距離Dにおける照明光の距離の累乗の情報が含まれている。また、内部散乱であるか表面反射であるか等の影響により蛍光と反射光の性質が互いに異なるため、蛍光画像の輝度の観察距離Dnにおける距離特性と参照画像の輝度の観察距離Dnにおける距離特性は異なる。さらに、撮像素子18の露光時間と撮像素子17の露光時間が異なる場合には、蛍光画像の輝度値と参照画像の輝度値が互いに異なる。
画像補正回路33Cにおいては、まず、蛍光画像規格回路34Cにより蛍光画像の輝度値が撮像素子18の露光時間で除算される(ステップSF3)。これにより、蛍光画像における露光時間の相違が規格化され、蛍光画像が単位時間当たりの輝度値に統一される。また、参照画像規格回路36Cにより参照画像の輝度値が撮像素子17の露光時間で除算される(ステップSG3)。これにより、参照画像における露光時間の影響が規格化され、参照画像が単位時間当たりの輝度値に統一される。
蛍光画像規格回路34Cにより輝度が規格化された蛍光画像は蛍光画像前処理回路35Cに送られるとともに、参照画像規格回路36Cにより輝度が規格化された参照画像は参照画像前処理回路37Cへと送られる。
蛍光画像前処理回路35Cおよび参照画像前処理回路37Cにおいては、図54Aおよび図54Bに示されるように、所定の強度の励起光または反射光を観察対象Aに向けて照射したときの輝度値が、観察距離Dnに対してプロットされる。例えば、観察距離DnをD0、D1、D2、D3、D4(D0<D1<D2<D3<D4)に変更し、得られた距離特性を累乗近似、すなわち、累乗関数Dα,Dβに回帰することにより、図55Aおよび図55Bに示されるような回帰曲線が求まる。これにより、観察距離Dnに対する依存性を示す第1の累乗値α、第2の累乗値βが得られる。図54A,図54Bおよび図55A,図55Bにおいて、縦軸は蛍光画像または参照画像の輝度値を示し、横軸は観察距離Dnを示している。
続いて、蛍光画像前処理回路35Cにおいて、上記補正演算式(9)により、第1の累乗値αの逆数1/αが蛍光画像の画素ごとの輝度値に累乗される(ステップSF4)。これにより、距離の累乗の情報が除去され、距離の変化に対して輝度が比例する除算用蛍光画像が取得される。また、参照画像前処理回路37Cにおいて、上記補正演算式(10)により、第2の累乗値βの逆数1/βが参照画像の画素ごとの輝度値に累乗される(ステップSG4)。これにより、距離の累乗の情報が除去され、距離の変化に対して輝度が比例する除算用参照画像が取得される。
除算用蛍光画像および除算用参照画像はそれぞれ除算画像生成部64に送られ、除算用蛍光画像が除算用参照画像で除算される(ステップSFG5)。上記累乗演算処理により除算用蛍光画像および除算用参照画像は互いに距離の変化に対して輝度が比例する関係になっているので、除算用蛍光画像を参照用画像で除算することで、図56Aに示されるように、距離の依存性が相殺され精度よく補正された定量性のある除算画像Kを取得することができる。
以上説明したように、第2の前処理モードによれば、蛍光画像および参照画像に含まれる距離の累乗の情報を同様にした後に蛍光画像を補正処理することで、蛍光画像および参照画像の距離の依存性が相殺された定量性の高い除算用蛍光画像を取得することができる。これにより、除算用蛍光画像の輝度値から病変部を正確に診断することが可能となる。
第2の前処理モードの参考例として、累乗演算処理を施さずに蛍光画像を参照画像で除算した場合の蛍光画像の輝度値と観察距離Dnの関係を図56Bに示す。累乗演算処理を施していない蛍光画像および参照画像は互いに距離の累乗の情報を含んでいるため、単に蛍光画像を参照画像で除算しただけでは距離の依存性を完全に相殺することができず、除算後の蛍光画像に距離の影響が残る。図57において、累乗演算を行った場合と累乗演算を行わなかった場合の蛍光画像の観察距離Dnと輝度値の平均値からのずれの関係を示す。同図において、縦軸は輝度値の平均値からのずれ(%)を示し、横軸は観察距離Dnを示している。
第2の前処理モードは以下のように変形することができる。
例えば、1つ目の変形例として、図58に示すように、第2の前処理モードを搭載した前処理部63を備える蛍光観察装置100,200,300,400,500は、校正装置102と組み合わせて蛍光観察システムを構成することとしてもよい。なお、図58においては、一部の構成について図示を省略している。
例えば、1つ目の変形例として、図58に示すように、第2の前処理モードを搭載した前処理部63を備える蛍光観察装置100,200,300,400,500は、校正装置102と組み合わせて蛍光観察システムを構成することとしてもよい。なお、図58においては、一部の構成について図示を省略している。
校正装置102としては、挿入部2の先端2aに対して標準試料81を対向させて配置し、挿入部2の先端2aと標準試料81との間の観察距離Dnを変更する直動ステージ(観察状態設定機構)92と、直動ステージ92の位置を制御するステージ制御部94と、観察距離Dnの距離情報を検出する距離情報検出部96と、第1の累乗値αおよび第2の累乗値βを算出する依存定数決定部(累乗値算出部)98とを備えている。依存定数決定部98は、蛍光画像規格回路34Cおよび参照画像規格回路36Cから送られてくる規格化後の蛍光画像および参照画像と、距離情報検出部96により検出された距離情報とに基づいて第1の累乗値αおよび第2の累乗値βを算出するようになっている。
以下、依存定数決定部98による第1の累乗値αおよび第2の累乗値βを算出方法について図59のフローチャートを参照して説明する。
ステージ制御部94の作動により、観察距離Dnが設定され(ステップSH1)、そのときの観察距離Dnが距離情報検出部96により検出されて依存定数決定部98に送られる。この状態で、標準試料81に対して照明ユニット20から励起光を含む反射光が照射され、蛍光および反射光が撮影されて蛍光画像および参照画像が取得される(ステップSH2)。蛍光画像および参照画像は、輝度値が露光時間で除算されて規格化された後(ステップSH3、SH4)、依存定数決定部98に送られて輝度値が距離情報と対応づけられてプロットされる(ステップSH5)。
ステージ制御部94の作動により、観察距離Dnが設定され(ステップSH1)、そのときの観察距離Dnが距離情報検出部96により検出されて依存定数決定部98に送られる。この状態で、標準試料81に対して照明ユニット20から励起光を含む反射光が照射され、蛍光および反射光が撮影されて蛍光画像および参照画像が取得される(ステップSH2)。蛍光画像および参照画像は、輝度値が露光時間で除算されて規格化された後(ステップSH3、SH4)、依存定数決定部98に送られて輝度値が距離情報と対応づけられてプロットされる(ステップSH5)。
ステージ制御部94は、予め定められた回数a(aは少なくとも2以上)だけ上記ステップSH1からステップC6を複数回にわたって繰り返す(ステップSH6)。これにより、例えば、観察距離DnをD0、D1というように変更し、得られた距離特性を累乗近似、すなわち、累乗関数Dα,Dβに回帰することにより回帰曲線が得られ(ステップSH7)、観察距離Dnに対する依存性を示す第1の累乗値α、第2の累乗値βが算出される(ステップSH8)。このようにすることで、依存定数決定部98により、観察距離Dnとこれに対応する蛍光画像および参照画像の正確な累乗値を決定することができる。
なお、本変形例においては、距離情報検出部96を備えず、手動により、依存定数決定部98に観察距離Dnの距離情報を入力することとしてもよい。
なお、本変形例においては、距離情報検出部96を備えず、手動により、依存定数決定部98に観察距離Dnの距離情報を入力することとしてもよい。
また、第2の前処理モードにおいては、規格化前の蛍光画像および参照画像の関心領域の輝度値の平均値を算出した後(図59のステップSH3参照)、これ輝度値として露光時間で除算して規格化することとしたが(同SH4参照)、これに代えて、例えば図60のフローチャートに示すように、蛍光画像全体の輝度および参照画像全体の輝度をそれぞれ露光時間で除算して規格化した後(ステップSH3’)、規格化した蛍光画像および参照画像の関心領域の輝度値の平均値を算出することとしてもよい(ステップSH4’)。
また、第2の前処理モードの変形例としては、例えば、図61のフローチャートに示されるように、画像補正回路33Cにおいて、後処理部65が除算画像生成部64により取得された除算画像Kの画素ごとの輝度値にさらに第1の累乗値αを累乗することとしてもよい(ステップSFG6)。このようにすることで、後処理部65により、図62に示されるように、除算画像Kの輝度値と蛍光薬剤の存在量(すなわち、蛍光薬剤の濃度)が比例関係を保ちつつ距離の依存性を低減することができる。なお、参考例として、図63において、後処理部65において第1の累乗値αを累乗しない場合の除算画像Kの輝度値と蛍光薬剤の濃度との関係を示す。
また、第2の前処理モードを実行する前処理部63においては、画像補正回路33Cが蛍光画像前処理回路35Cを備えることとしたが、もう1つの変形例として、例えば、蛍光画像前処理回路35Cを備えず、参照画像前処理回路37Cが、第1の累乗値αを第2の累乗値βで除算した第3の累乗値α/β(または-α/β)を参照画像の輝度値に累乗して除算用参照画像を取得することとしてもよい。
この場合、図64のフローチャートに示すように、蛍光画像規格回路34Cにより規格化された蛍光画像が除算画像生成部64に送られ、参照画像前処理回路37Cにおいて以下のような累乗演算が行われることとすればよい(ステップSG4’)。
RLafter=B×RLbefore z・・・(11)
ここで、RLafter:除算用参照画像の輝度値、RLbefore:参照画像の輝度値、z:第3の累乗値(α/βまたは-α/β)、α:第1の累乗値、β:第2の累乗値、B:定数である。
このようにすることで、画像補正回路33Cにおいて、累乗演算を1回行うだけで距離の影響を精度よく補正し、輝度値と蛍光薬剤の存在量とが正比例の関係を有する除算画像Kを取得することができる。
RLafter=B×RLbefore z・・・(11)
ここで、RLafter:除算用参照画像の輝度値、RLbefore:参照画像の輝度値、z:第3の累乗値(α/βまたは-α/β)、α:第1の累乗値、β:第2の累乗値、B:定数である。
このようにすることで、画像補正回路33Cにおいて、累乗演算を1回行うだけで距離の影響を精度よく補正し、輝度値と蛍光薬剤の存在量とが正比例の関係を有する除算画像Kを取得することができる。
第2の前処理モードは以下に示すもう1つの変形例によって実行されることもできる。
第2の前処理モードのもう1つの変形例は、図65に示すように、蛍光露光時間調節回路31Cに代えて、撮像素子18により取得される蛍光画像情報を増幅するゲイン値(撮影条件、ゲイン倍率)を調節する蛍光ゲイン値調節回路38Cを備える前処理部63によって実行される。
第2の前処理モードのもう1つの変形例は、図65に示すように、蛍光露光時間調節回路31Cに代えて、撮像素子18により取得される蛍光画像情報を増幅するゲイン値(撮影条件、ゲイン倍率)を調節する蛍光ゲイン値調節回路38Cを備える前処理部63によって実行される。
蛍光ゲイン値調節回路38Cは、蛍光画像生成部62により生成された蛍光画像の輝度値に基づいて撮像素子18のゲイン値を調節するようになっている。
蛍光画像規格回路34Cは、蛍光ゲイン値調節回路38Cにより設定された撮像素子18のゲイン値が入力されるようになっている。また、蛍光画像規格回路34Cは、図66に示すようなゲイン値とゲイン増倍率とが対応づけられたゲイン倍率変換テーブル287を備えている。
蛍光画像規格回路34Cは、蛍光ゲイン値調節回路38Cにより設定された撮像素子18のゲイン値が入力されるようになっている。また、蛍光画像規格回路34Cは、図66に示すようなゲイン値とゲイン増倍率とが対応づけられたゲイン倍率変換テーブル287を備えている。
このように構成された前処理部63による第2の前処理モードの第1の変形例によれば、図67のフローチャートに示されるように、蛍光ゲイン値調節回路38Cにより、蛍光画像生成部62によって生成された蛍光画像の輝度値に基づいて撮像素子18のゲイン値が設定される(ステップSI1)。これにより、蛍光画像生成部62において、観察対象Aにおいて発生した蛍光の入射光量にかかわらず適正な明るさの蛍光画像が得られる(ステップSI2)。
蛍光画像規格回路34Cにおいては、蛍光画像生成部62から読み出される蛍光画像の輝度値が、撮像素子18による蛍光画像の取得時のゲイン値に対応するゲイン増倍率で除算される(ステップSI3)。これにより、蛍光画像におけるゲイン値の影響が規格化され、蛍光画像を一定の増幅値当たりの輝度値に統一することができる。
第2の前処理モードのもう1つの変形例は、図68に示すように、半導体レーザ312をさらに備えた光源310と、蛍光露光時間調節回路31Cおよび反射光露光時間調節回路32Cに代えて、照明ユニット20から発せられる励起光の調光レベルを調節する励起光調光回路(撮影条件調節部)354および照明光の調光レベルを調節する反射光調光回路(撮影条件調節部)358を備えた前処理部63とを備える蛍光観察装置100,200,300,400,500によって実行される。
光源310は、キセノンランプ8と、キセノンランプ制御部130と、キセノンランプ8から発せられた照明光のうち赤外線を遮断して反射光のみを透過させる赤外線カットフィルタ314と、波長帯域が740nmの励起光を発する半導体レーザ312と、半導体レーザ制御部313と、赤外線カットフィルタ314を透過した反射光を透過し、半導体レーザ312から射出された励起光を反射して反射光と励起光とを同一光路へと導く光源ダイクロイックミラー315とを備えている。赤外線カットフィルタ14は、例えば、波長帯域が400nmから680nmの反射光のみを透過させるようになっている。なお、符号316Aは、赤外線カットフィルタ314を透過した反射光を集光する第1のカップリングレンズを示し、符号316Bは、光源ダイクロイックミラー315により同一光路に導光された反射光および励起光を集光する第2のカップリングレンズを示している。
励起光調光回路39Cは、蛍光画像生成部62により生成された蛍光画像の輝度値に基づき、半導体レーザ制御部313による半導体レーザ312の調光レベルを調節するようになっている。
同様に、反射光調光回路40Cは、参照画像生成部61により生成された参照画像の輝度値に基づき、キセノンランプ制御部130によるキセノンランプ8の調光レベルを調節するようになっている。
同様に、反射光調光回路40Cは、参照画像生成部61により生成された参照画像の輝度値に基づき、キセノンランプ制御部130によるキセノンランプ8の調光レベルを調節するようになっている。
蛍光画像規格回路34Cには、励起光調光回路39Cにより設定された半導体レーザ制御部313の調光レベルが入力されるようになっている。また、蛍光画像規格回路34Cは、図69に示すような調光レベルと励起光強度とが対応づけられた励起光強度変換テーブル387を有している。
同様に、参照画像規格回路36Cには、反射光調光回路40Cにより設定されたキセノンランプ制御部130の調光レベルが入力されるようになっている。また、参照画像規格回路36Cは、調光レベルと反射光強度(照明光強度)とが対応づけられた反射光強度変換テーブル(図示略)を有している。なお、励起光強度および反射光強度は、それぞれ最小値を基準とした強度比により決定することとすればよい。
同様に、参照画像規格回路36Cには、反射光調光回路40Cにより設定されたキセノンランプ制御部130の調光レベルが入力されるようになっている。また、参照画像規格回路36Cは、調光レベルと反射光強度(照明光強度)とが対応づけられた反射光強度変換テーブル(図示略)を有している。なお、励起光強度および反射光強度は、それぞれ最小値を基準とした強度比により決定することとすればよい。
このように構成された蛍光観察装置100,200,300,400,500においては、キセノンランプ8から発せられ赤外線カットフィルタ314を透過して第1のカップリングレンズ316Aにより集光された反射光が光源ダイクロイックミラー315を透過させられるとともに、半導体レーザ312から発せられた励起光が光源ダイクロイックミラー315により反射され、それぞれ同一光路を通って第2のカップリングレンズ316Bにより集光されライトガイドファイバ22に入射させられる。
前処理部63においては、図70のフローチャートに示すように、励起光調光回路39Cにより、蛍光画像生成部62によって生成された蛍光画像の輝度値に基づいて半導体レーザ制御部313の調光レベルが設定される(ステップSJ1)。これにより、蛍光画像生成部62において、観察対象Aにおいて発生する蛍光の強度を変えて適正な明るさの蛍光画像が取得される(ステップSJ2)。
同様にして、反射光調光回路40Cにより、参照画像生成部61によって生成された参照画像の輝度値に基づいてキセノンランプ制御部130の調光レベルが設定される(ステップSK1)。これにより、参照画像生成部61において、観察対象Aから戻る反射光の強度を変えて適正な明るさの参照画像が取得される(ステップSK2)。
同様にして、反射光調光回路40Cにより、参照画像生成部61によって生成された参照画像の輝度値に基づいてキセノンランプ制御部130の調光レベルが設定される(ステップSK1)。これにより、参照画像生成部61において、観察対象Aから戻る反射光の強度を変えて適正な明るさの参照画像が取得される(ステップSK2)。
そして、蛍光画像規格回路34Cにより、蛍光画像生成部62から読み出される蛍光画像の輝度値が、半導体レーザ制御部313の調光レベルに対応する励起光強度で除算される(ステップSJ3)。これにより、励起光の調光レベルの影響が規格化され、蛍光画像を一定の励起光強度当たりの輝度値に統一することができる。
また、参照画像規格回路36Cにより、参照画像生成部61から読み出される参照画像の輝度値が、キセノンランプ制御部130の調光レベルに対応する反射光強度で除算される(ステップSK3)。これにより、照明光の調光レベルの影響が規格化され、参照画像を一定の反射光強度当たりの輝度値に統一することができる。
また、参照画像規格回路36Cにより、参照画像生成部61から読み出される参照画像の輝度値が、キセノンランプ制御部130の調光レベルに対応する反射光強度で除算される(ステップSK3)。これにより、照明光の調光レベルの影響が規格化され、参照画像を一定の反射光強度当たりの輝度値に統一することができる。
上述した第2の前処理モードおよびその変形例においては、蛍光画像前処理回路35Cおよび参照画像前処理回路37Cにおいて、撮像素子18および撮像素子17のノイズ成分を減算してから累乗演算を行なうこととしてもよい。このようにすることで、累乗演算の精度を向上することができる。
次に、第2の前処理モードの第1の変形例について説明する。
第2の前処理モードの第1の変形例は、参照画像用の撮像素子と観察対象との距離情報に基づいて設定された補正係数を指数として用いて参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算するモードである。第2の前処理モードの第1の変形例は、図71に示すように、前処理部63が備える露光時間調節回路31D,32D、規格化参照画像生成回路33D、規格化蛍光画像生成回路34D、補正係数設定回路35Dによって実行される。
第2の前処理モードの第1の変形例は、参照画像用の撮像素子と観察対象との距離情報に基づいて設定された補正係数を指数として用いて参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算するモードである。第2の前処理モードの第1の変形例は、図71に示すように、前処理部63が備える露光時間調節回路31D,32D、規格化参照画像生成回路33D、規格化蛍光画像生成回路34D、補正係数設定回路35Dによって実行される。
露光時間調節回路31D,32Dは、参照画像生成部61および蛍光画像生成部22により生成された参照画像および蛍光画像に基づいて、撮像素子17,18の露光時間S3,S4を算出する。規格化参照画像生成回路33Dおよび規格化蛍光画像生成回路34Dは、参照画像および蛍光画像から規格化参照画像および規格化蛍光画像をそれぞれ生成する。補正係数設定回路35Dは、規格化参照画像生成回路33Dにより生成された規格化参照画像に基づいて補正係数α,βを設定する。累乗演算処理回路36Dは、補正係数設定回路35Dにより設定された補正係数α,βを指数として用いて、規格化参照画像の累乗演算を行う。規格化蛍光画像生成回路34Dによって生成された規格化蛍光画像および累乗演算処理回路36Dにおいて累乗演算された規格化参照画像はそれぞれ除算用参照画像または除算用蛍光画像として除算画像生成部64に入力される。
規格化参照画像生成回路33Dおよび規格化蛍光画像生成回路34Dは、参照画像および蛍光画像を露光時間調節回路31D,32Dにより調節された撮像素子17,18の露光時間S3,S4でそれぞれ除算することにより、規格化参照画像および規格化蛍光画像を生成するようになっている。これにより、撮像素子17,18の露光時間S3,S4に依存した参照画像および蛍光画像の全体的な信号強度の変動が除去されて規格化された規格化参照画像および規格化蛍光画像が得られる。
補正係数設定回路35Dは、例えば、挿入部2の先端面2aから観察対象A表面までの距離情報(以下、観察距離情報という。)と対応づけて、補正係数としての指数α,βを記憶している。具体的には、規格化参照画像の各画素における信号強度と観察距離Dとが一対一に対応しているので、信号強度と対応づけて指数α,βを記憶している。
また、本変形例においては、信号強度の所定の境界値D(n)を設定し、その境界値D(n)の前後において異なる2つの補正係数α1,α2および2つの補正係数β1,β2を記憶している。そして、補正係数設定回路35Dは、規格化参照画像生成回路33Dから送られてきた規格化参照画像の各画素における信号強度と境界値D(n)とを比較し、境界値D(n)より小さい場合には第1の補正係数α1,β1、境界値D(n)以上の場合には第2の補正係数α2,β2を設定するようになっている。
この場合において、2つの補正係数α,βおよび境界値D(n)は、蛍光観察に先立つ測定によって、以下の通りにして決定されている。
すなわち、補正係数α,βおよび境界値D(n)の決定に際しては、図72に示されるように、挿入部2を固定するホルダ310と、該ホルダ310に固定された挿入部2の先端面2aに対して観察距離Dをあけて対向させられる標準試料320と、挿入部2の先端面2aと標準試料320との間の観察距離Dを変更する直動ステージ330とを準備する。直動ステージ330には図示しないエンコーダのような移動量センサが設けられている。
すなわち、補正係数α,βおよび境界値D(n)の決定に際しては、図72に示されるように、挿入部2を固定するホルダ310と、該ホルダ310に固定された挿入部2の先端面2aに対して観察距離Dをあけて対向させられる標準試料320と、挿入部2の先端面2aと標準試料320との間の観察距離Dを変更する直動ステージ330とを準備する。直動ステージ330には図示しないエンコーダのような移動量センサが設けられている。
標準試料320としては、観察しようとする生体と同様の散乱や吸収特性を有するファントムを用いてもよいし、ヒトや動物(ブタやマウス等)の切除組織を用いてもよい。
図73,図74,図75に示されるフローチャートに従って、データ取得ステップSK1と、補正係数等決定ステップSK2とを行う。
図73,図74,図75に示されるフローチャートに従って、データ取得ステップSK1と、補正係数等決定ステップSK2とを行う。
まず、データ取得ステップSK1は、図73に示されるように、nを初期化し(ステップSK11,SK12)、直動ステージ330を動作させて移動量センサにより観察距離D(n)(nは自然数)を精度よく設定し(ステップSK13)、そのときの参照画像および蛍光画像を取得し(ステップSK14)、規格化参照画像および規格化蛍光画像を算出し(ステップSK15)、予め設定された関心領域における信号強度の平均値を算出し(ステップSK16)、観察距離D(n)に対する信号強度の値としてプロットする(ステップSK17)。この作業を繰り返して(ステップSK18)、図76に示されるように、複数点(a個)のプロットを得る。
ここで、関心領域としては、標準試料320内の蛍光強度が一定であれば、観察距離Dに拘わらず、一定の大きさに設定してもよい。標準試料320の表面に凸凹がある場合や標準試料320中の蛍光分布にムラがある場合には、観察距離Dが大きくなるに連れて関心領域の大きさを小さくすることにより、常に同じ領域の信号強度を取得することが好ましい。
次いで、補正係数等決定ステップSK2は、図75に示されるように、まず、n=3として(ステップSK21,SK22)、n点目の観察距離D(n)を境界値として設定する(ステップSK23)。D(3)を最初の境界値としたのは、最小二乗法等による累乗近似を使用する場合に3点以上のデータが必要となるからである。
そして、観察距離D(1)からD(n)の領域およびD(n)からD(a)の領域において、累乗近似を行って(ステップSK24,SK25)、それぞれ指数を算出し、その決定係数R2および境界値D(n)と共に保存する(ステップSK26)。
nを1つずつインクリメントして(ステップSK22)、上記作業をn=a-2となるまで繰り返し(ステップSK27)、図77に示されるデータテーブルを得る。そして、このデータテーブルの中から、決定係数R2の総和が4に最も近い境界値D(n)と指数α,βとの組み合わせを選択して(ステップSK28)、補正係数設定回路35Dに記憶しておく(ステップSK29)。
本変形例では、蛍光画像に対して得られた指数αを参照画像に対して得られた指数βで除算することにより、指数α/βを補正係数として記憶しておく。
nを1つずつインクリメントして(ステップSK22)、上記作業をn=a-2となるまで繰り返し(ステップSK27)、図77に示されるデータテーブルを得る。そして、このデータテーブルの中から、決定係数R2の総和が4に最も近い境界値D(n)と指数α,βとの組み合わせを選択して(ステップSK28)、補正係数設定回路35Dに記憶しておく(ステップSK29)。
本変形例では、蛍光画像に対して得られた指数αを参照画像に対して得られた指数βで除算することにより、指数α/βを補正係数として記憶しておく。
累乗演算処理回路36Dは、補正係数設定回路35Dにおいて設定された補正係数α/βを指数として規格化参照画像の各画素における強度信号(光強度情報)に累乗演算処理を施して除算用参照画像を生成するようになっている。累乗演算処理回路36Dにおいて生成された除算用参照画像は、除算画像生成部64に入力されるようになっている。一方、蛍光画像については規格化蛍光画像がそのまま除算用蛍光画像として除算画像生成部64に入力されるようになっている。
なお、本前処理モードの説明においては、規格化蛍光画像が累乗演算処理されずにそのまま除算用蛍光画像として除算画像生成部64に入力される場合、その入力された規格化蛍光画像を除算用蛍光画像と呼ぶこととする。同様に、規格化参照画像が累乗演算処理されずにそのまま除算用参照画像として除算画像生成部64に入力される場合、その入力された規格化参照画像を除算用参照画像と呼ぶこととする。
このように構成された前処理部63による第2の前処理モードによれば、撮像素子17,18により参照画像および蛍光画像が生成されると、生成された参照画像および蛍光画像に基づいて、露光時間調節回路31D,32Dが撮像素子17,18の露光時間S3,S4を算出し、撮像素子17,18の露光を自動調節する。参照画像、蛍光画像およびそれらを撮影した際の各撮像素子17,18の露光時間S3,S4が画像補正部64に送られる。
前処理部63においては、規格化参照画像生成回路33Dにおいて、参照画像が撮像素子17の露光時間S3によって除算されることにより規格化参照画像が生成され、規格化蛍光画像生成回路34Dにおいて、蛍光画像が撮像素子18の露光時間S4によって除算されることにより規格化蛍光画像が生成される。
そして、規格化参照画像の各画素の信号強度に基づいて、補正係数設定回路35Dにおいて補正係数α,βが設定され、累乗演算処理回路36Dにおいて、各画素について設定された補正係数α/βが指数として、該指数で各画素の信号強度を累乗演算することにより、除算用参照画像が生成される。
そして、規格化参照画像の各画素の信号強度に基づいて、補正係数設定回路35Dにおいて補正係数α,βが設定され、累乗演算処理回路36Dにおいて、各画素について設定された補正係数α/βが指数として、該指数で各画素の信号強度を累乗演算することにより、除算用参照画像が生成される。
その後、除算用参照画像および規格化蛍光画像生成回路34Dから出力された除算用蛍光画像である規格化蛍光画像が除算画像生成部64に入力され、除算用蛍光画像が除算用参照画像によって除算されることにより除算画像が生成される。
このように、第2の前処理モードの第1の変形例によれば、所定の観察距離Dを境界値D(n)としてその前後で異なる補正係数α1,β1,α2,β2を指数として累乗演算を行った除算用参照画像を用いて除算用蛍光画像を除算することにより、観察距離Dが大きく変動しても、定量性の高い除算画像を得ることができるという利点がある。
また、第2の前処理モードの第1の変形例においては、規格化蛍光画像の信号強度および規格化参照画像の信号強度の両方において算出した指数α,βを用いて規格化参照画像の信号強度のみに累乗演算を施すこととしたので、規格化蛍光画像および規格化参照画像の両方に累乗演算を施す場合と比較して演算量を低減し、迅速な演算を行うことができるという利点がある。これに代えて、図78に示されるように、規格化蛍光画像側にも累乗演算処理回路361Dを設け、補正係数設定回路35Dにおいて設定された指数α,βを用いて、規格化参照画像に対して1/βの累乗演算を施すとともに、規格化蛍光画像に対して1/αの累乗演算を施し、除算用蛍光画像を得ることにしてもよい。
また、第2の前処理モードの第1の変形例と組み合わせて、後処理部65が、除算画像生成部64において除算用蛍光画像を除算用参照画像によって除算して得られた除算画像の画素毎に、規格化蛍光画像に対して得られた指数αで累乗する累乗演算を施すことにしてもよい。これにより、各画素の信号強度と観察対象A内における蛍光の存在量とを比例させることができ、さらに定量的な観察を行うことができる。
これに代えて、除算画像の信号強度と蛍光濃度との対応表(変換テーブル)を備えていて、画像上に特定の領域の蛍光濃度を表示するようにしてもよい。
これに代えて、除算画像の信号強度と蛍光濃度との対応表(変換テーブル)を備えていて、画像上に特定の領域の蛍光濃度を表示するようにしてもよい。
また、第2の前処理モードの第1の変形例を、図5に示される第5の実施形態に係る蛍光観察装置500に搭載する場合には、図79に示されるように、画像処理部6に、挿入部2の識別情報に対応づけて補正係数α,βおよび境界値D(n)を記憶する補正係数記憶部370を設けておくようにしてもよい。これにより、挿入部2が交換されたときに、挿入部2のICチップ73に記憶されていた識別情報がICリーダ74により読み出され、補正係数記憶部370に挿入部2の識別情報に対応づけて記憶されている補正係数α,βおよび境界値D(n)が読み出され、補正係数設定回路35Dに記憶される。この場合、補正係数記憶部370は、補正条件設定部66,66’,66”に備えられていることとしてもよい。
このようにすることで、挿入部2の個体差による補正係数の変動を精度よく較正することができるという利点がある。
また、ICチップ73が挿入部2の識別情報を保持し、補正係数記憶部370に補正係数α,β等を記憶していることに代えて、図80に示されるように、ICチップ73が補正係数α,βおよび境界値D(n)を直接記憶していて、ICリーダ74により読み出した補正係数α,βおよび境界値D(n)を補正係数設定回路35Dに送ることにしてもよい。
また、ICチップ73が挿入部2の識別情報を保持し、補正係数記憶部370に補正係数α,β等を記憶していることに代えて、図80に示されるように、ICチップ73が補正係数α,βおよび境界値D(n)を直接記憶していて、ICリーダ74により読み出した補正係数α,βおよび境界値D(n)を補正係数設定回路35Dに送ることにしてもよい。
また、第2の前処理モードの第1の変形例においては、単一の境界値D(n)を設定して、その前後において異なる補正係数を設定することとしたが、これに代えて、2以上の境界値D(n)を設定して、3以上の補正係数を設定することにしてもよい。境界値D(n)が2以上存在する場合においても、各補正係数の設定方法は、図73から図75のフローチャートに準ずればよい。
例えば、3以上の補正係数を設定する場合には、観察距離D(3)≦D≦D(a-2)の範囲で2つの境界値D1,D2を選択し、D(1)≦D≦D1、D1≦D≦D2、D2≦D≦D(a-2)のそれぞれの領域において累乗近似を行って、指数、境界値および決定係数を保存することを全ての境界値D1,D2の組み合わせについて行う。これにより得られたデータベースから決定係数の総和が6に最も近くなる指数および境界値D1,D2を採用することにすればよい。
また、さらに多くの境界値によって分割する場合には、例えば、観察距離D(1)≦D≦D(a)の範囲で連続する3点以上の観察距離D毎に累乗近似を行って、補正係数を得ることにしてもよい。
また、第2の前処理モードの第1の変形例においては、撮像素子17,18の露光時間S3,S4によって参照画像および蛍光画像をそれぞれ規格化することとしたが、これに代えて、参照画像および蛍光画像の信号強度に基づいて撮像素子17,18のゲインを調節し、参照画像および蛍光画像をゲインに対応するゲイン増倍率によって除算することにより規格化参照画像および規格化蛍光画像を得ることにしてもよい。
また、図81に示されるように、光源3として、Xeランプ8およびレーザ光源380を有し、それらの出力をXeランプ制御部390およびレーザ制御部401によって制御することで、調光を行うことができる場合には、照明光調光回路37Dおよび励起光調光回路38Dによって、参照画像および蛍光画像の信号強度に基づいて算出された照明光の強度S3および励起光の強度S4によって参照画像および蛍光画像を除算することにより規格化参照画像および規格化蛍光画像を得ることにしてもよい。符号430は集光レンズ、符号440はダイクロイックミラーである。図81においては、一部の構成の図示を省略している。
また、参照画像および蛍光画像の規格化を行う前に、撮像素子17,18のノイズ成分を減算することとしてもよい。これにより演算精度を向上することができるという利点がある。
[第3の前処理モード]
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える前処理部63による第3の前処理モードについて説明する。
第3の前処理モードは、反射光と蛍光のそれぞれの距離特性に基づいて設定された参照テーブル(LUT;Look up Table)に従って参照画像および蛍光画像の階調値を調節することにより参照画像および蛍光画像における観察距離の依存性を一致させる処理モードである。
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える前処理部63による第3の前処理モードについて説明する。
第3の前処理モードは、反射光と蛍光のそれぞれの距離特性に基づいて設定された参照テーブル(LUT;Look up Table)に従って参照画像および蛍光画像の階調値を調節することにより参照画像および蛍光画像における観察距離の依存性を一致させる処理モードである。
このような第3の前処理モードは、波長毎に距離特性が異なることに起因して除算画像に残存する観察距離・観察角度の依存性を除去するのに好適である。すなわち、第1及び第2の実施形態に係る蛍光観察装置100,200の補正条件設定部66,66’は、「多色」が観察条件として入力または判定されたときに第3の前処理モードの前処理パラメータを設定する。第3から第5の実施形態に係る蛍光観察装置300,400,500の補正条件設定部66”は、色相の異なる組織や臓器が視野内に混在する「大網」、「胃」等が入力または判定されたときに第3の前処理モードの前処理パラメータを設定する。
ここで、補正条件設定部66,66’,66”は、後述する第3の前処理モードにおいて、複数の色相が混在する観察条件に該当する各観察部位について、予め波長(色相)毎に距離特性を測定し、その測定値に基づいて算出した前処理パラメータである階調値に対する係数を記憶しておく。
第3の前処理モードは、蛍光画像または参照画像の少なくとも一方に、補正条件設定部66,66’,66”によって設定された係数を乗算して除算用蛍光画像と除算用参照画像とを生成する処理モードである。係数は、標準試料に対して予め取得された蛍光強度の距離特性と反射光強度の距離特性とが相互に正比例関係となるように予め設定されたものである。第3の前処理モードは、上述した第2の前処理モードと択一的に用いられる。第2の処理モードと第3の処理モードのうちいずれを用いるかは、使用者が観察前に任意に選択しても良いし、観察条件に応じて自動的に選択されるものとしてもよい。
第3の前処理モードは、図82に示されるように、前処理部63が備える画像規格化回路31Eと前処理回路32Eとによって実行される。
画像規格化回路31Eは、参照画像生成部61および蛍光画像生成部62により生成された参照画像および蛍光画像を規格化して、規格化参照画像および規格化蛍光画像を生成する。
前処理回路32Eは、画像規格化回路31Eにより生成された規格化参照画像および規格化蛍光画像から除算用参照画像および除算用蛍光画像を生成する。
画像規格化回路31Eは、参照画像生成部61および蛍光画像生成部62により生成された参照画像および蛍光画像を規格化して、規格化参照画像および規格化蛍光画像を生成する。
前処理回路32Eは、画像規格化回路31Eにより生成された規格化参照画像および規格化蛍光画像から除算用参照画像および除算用蛍光画像を生成する。
ここで、蛍光画像としては、たとえば蛍光色素Cy7からの蛍光画像とすればよい。特に、腫瘍特異的な蛍光薬剤、例えば癌特異的分子CEAに対する抗体(Anti-CEA抗体)とCy7とを結合させた蛍光薬剤を予め観察対象Aに投与しておけば、腫瘍特異的な蛍光画像を得ることができる。また、参照画像としては、例えば照明光が観察対象Aの表面で反射した反射光および観察対象Aの内部での散乱による反射光に基づく画像を用いればよい。
画像規格化回路31Eは、数6に示される関係式を用いて参照画像および蛍光画像を規格化するようになっている。
すなわち、参照画像および蛍光画像を取得する際に、撮像素子17,18により16bitの階調で取得するものとすると、各画素の階調値がこの範囲内に入るように露光時間とゲインが調節されるので、観察条件を一定にするために規格化が行われる。数1において所定ゲインは、例えば、反射光観察時には1、蛍光観察時には100と設定されるゲインであるとする。
第3の前処理モードにおいて、補正条件設定部66,66’,66”は、標準試料に対する蛍光強度の距離特性と、同じ標準試料に対する反射光強度の距離特性とを相互に正比例させる係数を反射光強度に対応づけて記憶する記憶部(図示略)を備えている。補正条件設定部66,66’,66”は、参照画像の画素毎に色相を測定し、その色相に応じて記憶されている各画素の階調値に対応する係数(前処理パラメータ)を前処理回路32Eに出力する。
前処理回路32Eは、参照画像生成部61から入力された参照画像の画素毎に、補正条件設定部66,66’,66”によって設定された各画素の階調値に対応する係数を乗算することにより、除算用参照画像を生成するようになっている。この場合、前処理回路32Eにおいては、入力された蛍光画像をそのまま除算用蛍光画像として出力するようになっている。
ここで、観察距離を、例えば10mmから200mmに変化させ、標準試料としてファントムまたは豚等の臓器を観察したときの参照画像および蛍光画像の階調値に基づいて算出された係数の例を図83および図84に示す。
すなわち、取得された参照画像における、一の画素の階調値(反射光強度)が16.6のときは、係数として2.024をこの画素の階調値に乗算する。これを全ての画素について繰り返すことにより、除算用参照画像が得られる。いずれかの画素の階調値が、図84に示される2つの階調値の間の値である場合には、図83の階調値に対応する2つの係数を線形補間した係数を乗算するようになっている。
すなわち、取得された参照画像における、一の画素の階調値(反射光強度)が16.6のときは、係数として2.024をこの画素の階調値に乗算する。これを全ての画素について繰り返すことにより、除算用参照画像が得られる。いずれかの画素の階調値が、図84に示される2つの階調値の間の値である場合には、図83の階調値に対応する2つの係数を線形補間した係数を乗算するようになっている。
このように構成された前処理部63による第3の前処理モードによれば、各画像生成部61,62において生成された参照画像および蛍光画像は、画像規格化回路31Eに入力されて、数6により規格化され、規格化参照画像および規格化蛍光画像は、前処理回路32Eにおいて、除算用参照画像および除算用蛍光画像に変換される(前処理ステップ)。第3の前処理モードにおいては、規格化参照画像に係数が乗算されて除算用参照画像となり、規格化蛍光画像はそのまま除算用蛍光画像となる。
前処理回路32Eにおいて規格化参照画像に乗算される係数は、標準試料を用いて取得された規格化蛍光画像と規格化参照画像との比であり、標準試料における規格化蛍光画像の蛍光強度の距離特性を、同じく標準試料における規格化参照画像の反射光強度の距離特性に一致させるように選定されている。したがって、除算画像生成部64において、この係数を、観察対象Aの規格化参照画像に乗算することにより得られた除算用参照画像によって、除算用蛍光画像を除算することにより、観察距離の依存性を十分に低減した補正された蛍光画像を得ることができる。すなわち、定量性の高い蛍光観察を行うことができるという利点がある。
ここで、異なる色相を有する複数種類の標準試料を用いて係数を算出し、補正条件設定部66,66’,66”が色相に応じて係数を記憶しておけば、参照画像の色相に応じて、画素ごとに適切な係数を設定し、前処理部63に送ることができる。
ここで、異なる色相を有する複数種類の標準試料を用いて係数を算出し、補正条件設定部66,66’,66”が色相に応じて係数を記憶しておけば、参照画像の色相に応じて、画素ごとに適切な係数を設定し、前処理部63に送ることができる。
なお、第3の前処理モードにおいては、撮像素子18,19によって取得された蛍光画像および参照画像には、撮像素子18,19の暗電流や読み出しに由来したノイズが含まれている。また、除算処理をする際に、参照画像に輝度値ゼロの画素が存在すると、除算結果が無限大となって適正な補正を行うことができない。
そこで、前処理回路32Eにおいて、蛍光画像に対しては、暗電流や読み出しに由来するノイズ成分を除去するようなオフセットを与え、参照画像には、暗電流や読み出しに由来するノイズ成分を除去する上に、全ての画素の輝度値がゼロとならないようなオフセットを与えることにしてもよい。
そこで、前処理回路32Eにおいて、蛍光画像に対しては、暗電流や読み出しに由来するノイズ成分を除去するようなオフセットを与え、参照画像には、暗電流や読み出しに由来するノイズ成分を除去する上に、全ての画素の輝度値がゼロとならないようなオフセットを与えることにしてもよい。
また、第3の前処理モードを、図5に示される第5の実施形態に係る蛍光観察装置500に搭載する場合には、図85に示されるように、識別情報と各挿入部2に適した係数とを対応づけて記憶する記憶部331を備えていることが好ましい。挿入部2が着脱されて他の挿入部2に交換されることによって、対物レンズ13を始め、挿入部2に含まれる種々の光学系が変更されるので、対物レンズ13の開口数(NA)や瞳径等の変化、あるいは、検出する蛍光の波長、観察対象部位(胃組織や大腸組織など)等の変化によって、係数が変化する。
前処理回路32Eは、記憶部331から出力される挿入部2の識別情報に対応する係数を受け取って、上記演算を行う。
このようにすることで、光源3に対して挿入部2が交換されても、該挿入部2に最適な係数が設定され、定量性の高い蛍光画像を常に取得することができるという利点がある。
このようにすることで、光源3に対して挿入部2が交換されても、該挿入部2に最適な係数が設定され、定量性の高い蛍光画像を常に取得することができるという利点がある。
また、第3の前処理モード第3の前処理モードにおいては、標準試料に対する反射光強度の距離特性を蛍光強度の距離特性に一致させる係数を採用したが、これに限定されるものではなく、両特性を正比例させる係数でもよい。
また、規格化参照画像に乗算する係数に代えて規格化蛍光画像に乗算する係数を記憶していてもよいし、規格化参照画像および規格化蛍光画像にそれぞれ乗算する係数を記憶していてもよい。
また、規格化参照画像に乗算する係数に代えて規格化蛍光画像に乗算する係数を記憶していてもよいし、規格化参照画像および規格化蛍光画像にそれぞれ乗算する係数を記憶していてもよい。
また、第3の前処理モードにおいては、観察距離の依存性を低減して定量性の高い蛍光観察を行うための構成を採用したが、これに代えて、観察角度の依存性を低減する構成を採用してもよい。具体的には、前処理回路32Eにおいて、標準試料を用いて観察角度を変化させつつ取得された規格化蛍光画像と規格化参照画像との比であり、標準試料における規格化蛍光画像の蛍光強度の角度特性を、同じく標準試料における規格化参照画像の反射光強度の角度特性に正比例させるように選定された係数を、観察対象Aの規格化参照画像に乗算する。そして、除算画像生成部64においては、得られた除算用参照画像によって、除算用蛍光画像を除算することにより、観察角度の依存性を十分に低減した補正された蛍光画像を得ることができる。すなわち、定量性の高い蛍光観察を行うことができるという利点がある。
次に、上述した第3の前処理モードを搭載する蛍光観察装置を備える蛍光観察システム600について説明する。
蛍光観察システム600は、図86に示されるように、蛍光観察装置100,200,300,400,500(以下、これらをまとめて蛍光観察装置1という。)と、該蛍光観察装置1を装着する較正装置411とを備えている。
この構成においては、蛍光観察装置1は、係数を算出する係数決定部421を備えている。
蛍光観察システム600は、図86に示されるように、蛍光観察装置100,200,300,400,500(以下、これらをまとめて蛍光観察装置1という。)と、該蛍光観察装置1を装着する較正装置411とを備えている。
この構成においては、蛍光観察装置1は、係数を算出する係数決定部421を備えている。
較正装置411は、図86および図87に示されるように、挿入部2を固定するホルダ431と、該ホルダ431に固定された挿入部2の先端面2aに対して観察距離をあけて対向させられる色相が既知である標準試料441と、挿入部2の先端面2aと標準試料441との間の観察距離を変更する直動ステージ451と、対物レンズ13の光軸に対する標準試料441の表面の角度(観察角度)を変更するチルトステージ461と、これらのステージ451,461を制御する制御部471とを備えている。
制御部471は、ステージ451,461を駆動して、観察距離または観察角度を変化させるとともに、予め設定されたタイミングでトリガ信号を出力するようになっている。
また、係数決定部421は、画像規格化回路31Eから送られてくる規格化蛍光画像および規格化参照画像を受信するとともに、制御部471からのトリガ信号Sの受信時における規格化蛍光画像の輝度値および規格化参照画像の輝度値を保持し、規格化蛍光画像の輝度値を規格化参照画像の輝度値で除算することにより係数を算出し、算出された係数を規格化参照画像の輝度値と色相とに対応づけて記憶するようになっている。
また、係数決定部421は、画像規格化回路31Eから送られてくる規格化蛍光画像および規格化参照画像を受信するとともに、制御部471からのトリガ信号Sの受信時における規格化蛍光画像の輝度値および規格化参照画像の輝度値を保持し、規格化蛍光画像の輝度値を規格化参照画像の輝度値で除算することにより係数を算出し、算出された係数を規格化参照画像の輝度値と色相とに対応づけて記憶するようになっている。
観察距離を変化させたときの係数を取得する場合には、制御部471は、まず、図87に示されるように、標準試料441の表面に対して挿入部2の先端面2aが観察開始の距離となるように直動ステージ451を駆動させる。次いで、ユニット4から照明光および励起光を標準試料441に対して照射し、反射光および蛍光が撮影される状態として、制御部471は、予め定められた距離ずつステージ45を移動させ、その都度、トリガ信号Sを出力する。これにより、係数決定部421には、異なる複数の観察距離において取得された複数の係数が規格化参照画像の輝度値と対応づけて記憶される。
一方、観察角度を変化させたときの係数を取得する場合には、制御部471は、まず、図87に示されるように、標準試料441の表面に対して挿入部2の先端面2aが観察開始の距離および角度となるように直動ステージ451およびチルトステージ461を駆動させる。次いで、ユニット4から照明光および励起光を標準試料441に対して照射し、反射光および蛍光が撮影される状態として、制御部471は、予め定められた距離ずつチルトステージ461を移動させ、その都度、トリガ信号Sを出力する。これにより、係数決定部421には、異なる複数の観察角度において取得された複数の係数が規格化参照画像の輝度値と対応づけて記憶される。
観察距離を変化させたときの係数と、観察角度を変化させたときの係数とは、観察条件に応じて適宜選択することにすればよい。
観察距離を変化させたときの係数と、観察角度を変化させたときの係数とは、観察条件に応じて適宜選択することにすればよい。
また、係数決定部421は、前処理回路32Eから規格化参照画像の輝度値が入力されると、該輝度値に対応する係数を算出して、前処理回路32Eに対して出力するようになっている。すなわち、係数決定部421には、間隔をあけた複数の規格化参照画像の輝度値に対応づけた複数の係数が記憶されているので、その間の輝度値が入力されたときには、入力された輝度値を挟む輝度値間で係数を補間して新たな係数を算出し、前処理回路32Eに出力するようになっている。
このように、蛍光観察システム600によれば、観察対象Aや観察条件、例えば、各光学系や観察に使用する蛍光波長などが変化しても、その都度、変化に応じた係数を設定することができ、種々の観察対象Aや観察条件においても定量性の高い蛍光画像により観察することができるという利点がある。
例えば、蛍光観察装置1として内視鏡に適用する場合には、硬性鏡や軟性鏡のような種類の違い、あるいは、上部消化器内視鏡や下部消化器内視鏡のような観察部位の違いなどがあったとしても、それぞれに対応した最適な係数を設定することができる。また、同一種類の蛍光観察装置1であったとしても、個体差に拘わらず、個々の装置に対して係数を設定することができる。
また、色相に応じて適切な係数を設定することにより、1画面の中に異なる色相のもの(例えば肝臓と胃など異なる色を持つ臓器)が同時に観察されたとしても、それぞれの画素ごとに適切な係数を設定することができるため、より正確な画像を提示することができる。
また、色相に応じて適切な係数を設定することにより、1画面の中に異なる色相のもの(例えば肝臓と胃など異なる色を持つ臓器)が同時に観察されたとしても、それぞれの画素ごとに適切な係数を設定することができるため、より正確な画像を提示することができる。
なお、標準試料441としては、観察しようとする生体と同様の散乱や吸収特性を有するファントムを用いてもよいし、ヒトや動物(ブタやマウス等)の切除組織を用いてもよい。
なお、上述した第1から第3の前処理モードにおいて、前処理パラメータを設定する前処理モードとして選択されなかった前処理モードも、前処理パラメータを一定(初期値のまま)に設定した状態で併用されることとしてもよい。例えば、「脂肪多量」に対応する観察条件のときには第1の前処理モードの前処理パラメータが設定されるが、同時に第3の前処理モードも、前処理パラメータを初期値としたまま用いられてもよい。
なお、上述した第1から第3の前処理モードにおいて、前処理パラメータを設定する前処理モードとして選択されなかった前処理モードも、前処理パラメータを一定(初期値のまま)に設定した状態で併用されることとしてもよい。例えば、「脂肪多量」に対応する観察条件のときには第1の前処理モードの前処理パラメータが設定されるが、同時に第3の前処理モードも、前処理パラメータを初期値としたまま用いられてもよい。
{後処理モード}
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第1から第3の後処理モードについて詳細に説明する。
[第1の後処理モード]
第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第1の後処理モードについて説明する。第1の後処理モードは、除算画像と蛍光画像とが共通して相対的に高輝度となる領域を強調する処理を行うモードである。
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第1から第3の後処理モードについて詳細に説明する。
[第1の後処理モード]
第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第1の後処理モードについて説明する。第1の後処理モードは、除算画像と蛍光画像とが共通して相対的に高輝度となる領域を強調する処理を行うモードである。
このような第1の後処理モードは、視野内において観察距離が大きく異なることによって生じる反射光および蛍光の光量の偏り、及び、影による光量の部分的な低下に起因して除算画像に残存する観察距離・観察角度の依存性を除去するのに好適である。すなわち、第1及び第2の実施形態に係る蛍光観察装置100,200の補正条件設定部66,66’は、「遠近大」、「遠近小」、「凸凹」、「平坦」が観察条件として入力または判定されたときに第1の後処理モードの後処理パラメータを設定する。第3から第5の実施形態に係る蛍光観察装置300,400,500の補正条件設定部66”は、視野の深さ方向に奥行きのある構造を有する「ダグラス窩」、「胃」等、視野に対して比較的平坦な構造を有する「大網」、「腸管膜」等、凸凹した表面形状を有する「大網」、「腸管膜」等、滑らかな表面形状を有する「横隔膜下」等が入力または判定されたときに第1の後処理モードの後処理パラメータを設定する。
ここで、補正条件設定部66,66’,66”は、後述する第1の後処理モードにおいて、視野内における遠近の幅が大きい、及び観察対象の表面が滑らかである観察条件のときには、除算画像の重みが大きくなるように後処理パラメータである指数A,B(後述)を設定する。一方、補正条件設定部66,66’,66”は、視野内における遠近の幅が小さい、及び観察対象の表面が凸凹である観察条件のときには、蛍光画像の重みが大きくなるように後処理パラメータである指数A,B(後述)を設定する。
第1の後処理モードは、除算画像に蛍光画像を乗算または加算することにより最終蛍光画像を生成するモードである。第1の後処理モードは、図88に示されるように、後処理部65が備える補正画像生成回路31Fと抽出回路32Fとにより実行される。
補正画像生成回路31Fは、除算画像生成部64により生成された除算画像に蛍光画像を乗算して補正画像を生成する。抽出回路32Fは、補正画像のうち予め設定された閾値よりも大きい階調値を有する領域を抽出する。
蛍光画像生成部62は、撮像素子18により取得された蛍光画像情報から2次元的な蛍光画像を生成し、生成した蛍光画像を除算画像生成部64及び補正画像生成回路31Fに出力する。ここで、蛍光薬剤は実際には病変部だけでなく正常部にも若干集積し、病変部からの蛍光よりは弱いものの正常部からも蛍光が発せられるため、生成された蛍光画像は、全体にバックグラウンドを持つ画像(図89A)となる。
従って、蛍光画像には、バックグラウンドの低輝度領域(図89AのA-1)と、この低輝度領域に比して、病変部から発せられた蛍光によって相対的に高輝度となる領域(図89AのA-2)、及び、被検体の距離が近いために相対的に高輝度となる領域(図89AのA-3)が含まれる。
従って、蛍光画像には、バックグラウンドの低輝度領域(図89AのA-1)と、この低輝度領域に比して、病変部から発せられた蛍光によって相対的に高輝度となる領域(図89AのA-2)、及び、被検体の距離が近いために相対的に高輝度となる領域(図89AのA-3)が含まれる。
参照画像生成部61は、撮像素子17により取得された参照画像情報から2次元的な参照画像G1を生成し、生成した参照画像G1を除算画像生成部64及び画像合成部67に出力する。ここで、参照画像G1は、被検体の色特性、すなわち照明光の吸収特性に影響を受けた画像(図89B)である。
従って、生成された参照画像G1には、反射光の全体的な分布によるバックグラウンドの低輝度領域(図89BのB-1)、被検体の色特性に起因して低輝度となる領域(図89BのB-2)、及び、これらの低輝度領域に比して被検体の距離が近いことにより相対的に高輝度となる領域(図89BのB-3)が含まれる。
従って、生成された参照画像G1には、反射光の全体的な分布によるバックグラウンドの低輝度領域(図89BのB-1)、被検体の色特性に起因して低輝度となる領域(図89BのB-2)、及び、これらの低輝度領域に比して被検体の距離が近いことにより相対的に高輝度となる領域(図89BのB-3)が含まれる。
除算画像生成部64は、同一の観察対象Aの蛍光画像を参照画像で除算した除算画像(図89C)を生成する。これにより、観察距離や観察角度による影響を軽減した領域(図89CのC-1)を含む画像(除算画像)を生成することができる。
ここで、除算画像は、病変部から発生された蛍光によって相対的に高輝度となる領域(図89CのC-2)を含む。さらに、参照画像に、被検体の色特性に起因した低輝度領域が含まれる場合には、低輝度領域に相当する領域の輝度が除算画像において増幅されるため、高輝度となる領域(図89CのC-3)を含むこととなる。
ここで、除算画像は、病変部から発生された蛍光によって相対的に高輝度となる領域(図89CのC-2)を含む。さらに、参照画像に、被検体の色特性に起因した低輝度領域が含まれる場合には、低輝度領域に相当する領域の輝度が除算画像において増幅されるため、高輝度となる領域(図89CのC-3)を含むこととなる。
補正画像生成回路31Fは、除算画像と蛍光画像とを、
(除算画像)^A×(蛍光画像)^B
のように、指数A,B(後処理パラメータ)でべき乗した後に乗算することにより除算画像を補正した補正画像(図89D)を生成する。ここで、補正画像は除算画像において観察距離や観察角度による影響を軽減した結果が反映された領域(図89DのD-1)を含んでいる。補正画像において、蛍光画像における相対的に高輝度である領域と除算画像における相対的に高輝度である領域との共通する領域とが強調され、すなわち、病変部から発せられた蛍光による高輝度領域(図89DのD-2)が強調される。その結果、被検体における照明光の吸収特性の相違に起因する照明光の強度変化を軽減した領域(図89DのD-3)を含む画像(補正画像)を生成することができる。
ここで、補正条件設定部66,66’,66”は、「遠近大」、「平坦」に対応する観察条件のときは指数Aを大きく、「遠近小」、「凹凸」に対応する観察条件のときは指数Bを大きく設定するように、後処理部65に司令を出す。
(除算画像)^A×(蛍光画像)^B
のように、指数A,B(後処理パラメータ)でべき乗した後に乗算することにより除算画像を補正した補正画像(図89D)を生成する。ここで、補正画像は除算画像において観察距離や観察角度による影響を軽減した結果が反映された領域(図89DのD-1)を含んでいる。補正画像において、蛍光画像における相対的に高輝度である領域と除算画像における相対的に高輝度である領域との共通する領域とが強調され、すなわち、病変部から発せられた蛍光による高輝度領域(図89DのD-2)が強調される。その結果、被検体における照明光の吸収特性の相違に起因する照明光の強度変化を軽減した領域(図89DのD-3)を含む画像(補正画像)を生成することができる。
ここで、補正条件設定部66,66’,66”は、「遠近大」、「平坦」に対応する観察条件のときは指数Aを大きく、「遠近小」、「凹凸」に対応する観察条件のときは指数Bを大きく設定するように、後処理部65に司令を出す。
抽出回路32Fは、所定の閾値に基づいて、補正画像の全画素のうち閾値よりも大きい階調値を有する画素を特徴領域として抽出する。
本後処理モードにおいては、画像合成部67は、抽出回路32Fにより抽出された特徴領域を、参照画像G1に重畳することにより合成画像を生成する。
このように設定された後処理部65による第1の後処理モードによれば、図90に示すように、観察対象Aの画像情報が取得され(ステップSL11)、各画像情報から参照画像および蛍光画像が生成される(ステップSL12)。蛍光画像は除算画像生成部64及び補正画像生成回路31Fに出力される。
ところで、蛍光薬剤は、実際には病変部だけでなく正常部にも若干集積するため、病変部以外の部分(バックグラウンド)による微弱な蛍光が発せられることになる。また、例えば、挿入部2の先端2aと観察対象Aとの距離や角度に起因して、正常部位であっても相対的に蛍光が強く発せられ、得られた蛍光画像において病変部か正常部かの判断が困難な場合がある。
このため、次のステップSL13では、除算画像生成部64において、蛍光画像を参照画像で除算することにより除算画像を生成する。このようにすることで、除算画像において、観察距離や観察角度に依存する蛍光強度変化を軽減することができる。すなわち、参照画像の強度は、観察距離や観察角度に大きく依存するので、参照画像によって蛍光画像を規格化することにより、観察距離や観察角度の影響を軽減することができる。生成された除算画像は、補正画像生成回路31Fに出力される。
ここで、参照画像において、蛍光と反射光との観察距離や観察角度に対する依存性の相違に加え、被検体における参照光の吸収特性の相違に起因して本来の反射光の強度が得られない場合がある。このため、このような参照画像に基づいて除算画像を生成した場合には、除算画像では、観察距離や観察角度に起因した蛍光強度変化による影響は抑えられるが、被検体における参照光の吸収特性の相違に起因する反射光の強度変化による影響が生ずる場合がある。
そこで、次のステップSL14では、補正画像生成回路31Fにおいて、除算画像に蛍光画像を乗算することにより、観察対象Aにおける反射光の吸収特性の相違に起因する除算画像の強度変化を補正した補正画像を生成する。すなわち、観察対象Aにおける吸収に関係しない蛍光画像を除算画像に乗算することで、観察距離や観察角度に起因した蛍光強度変化を軽減するとともに、吸収による影響を軽減した補正画像を生成することができる。より具体的には、補正画像においては、蛍光画像における相対的に高輝度である領域と参照画像における相対的に高輝度である領域との共通する領域、すなわち病変部から蛍光が発生している領域が強調されることとなる。生成された補正画像は抽出回路32Fに出力される。
次のステップSL15では、抽出回路32Fにおいて、補正画像生成回路31Fから入力された補正画像から、予め設定された閾値に基づいて補正画像の全画素のうち閾値よりも大きい階調値を有する画素を特徴領域として抽出し、次のステップSL16に進む。第1の後処理モードにおいては、抽出された領域を表示した画像が最終蛍光画像に相当する。ステップSL16では、画像合成部67において合成画像を生成する。このようにすることで、合成画像において、所定の閾値を基準として病変部とバックグラウンドとのコントラストが拡大される。画像合成部67は、生成された合成画像をモニタ20に出力する。次のステップSL17においては、画像合成部67から受信した合成画像がモニタ20に表示される。
以上説明したように、第1の後処理モードによれば、補正画像生成回路31Fにおいて、除算画像生成部64により生成された除算画像に対して(除算画像)^A×(蛍光画像)^Bにより乗算することで、観察距離や観察角度の影響を抑えるとともに、除算画像に影響を与える、被検体における参照光の吸収特性の相違に起因する反射光の強度変化をも補正し、正常部からの蛍光(バックグラウンド)と病変部とのコントラストを拡大させた補正画像を最終蛍光画像として生成することができる。
さらに、抽出回路32Fによって閾値よりも階調値が高い、主として病変部からの蛍光が表示される領域を特徴領域として抽出するので、この特徴領域を参照画像に重畳して画像を生成することで、生成された画像において、閾値基準として病変部とバックグラウンドとのコントラストがより拡大される。従って、バックグラウンドが、被検体の吸収特性による参照光強度の変化に依存して除算画像へ与える影響を抑制した補正画像から病変部をより正確に精度よく抽出することができる。
なお、第1の後処理モードにおいて補正画像を生成するに際し、まず除算画像を生成してから、この除算画像に蛍光画像を乗算することとしたが、計算の順序はこれに限られず、例えば、蛍光画像に蛍光画像を乗算して、これを参照画像で除算などの順序で計算してもよい。
また、除算画像と蛍光画像をもとに、係数A,Bを後処理パラメータとして、
A×(除算画像)+B×(蛍光画像)
により除算画像と蛍光画像とを加算することで補正画像を生成してもよい。
なお、第1の後処理モードにおいて補正画像を生成するに際し、まず除算画像を生成してから、この除算画像に蛍光画像を乗算することとしたが、計算の順序はこれに限られず、例えば、蛍光画像に蛍光画像を乗算して、これを参照画像で除算などの順序で計算してもよい。
また、除算画像と蛍光画像をもとに、係数A,Bを後処理パラメータとして、
A×(除算画像)+B×(蛍光画像)
により除算画像と蛍光画像とを加算することで補正画像を生成してもよい。
第1の後処理モードは以下のように変形することができる。
上記した第1の後処理モードでは、抽出回路32Fが、補正条件設定部66,66’,66”によって設定された閾値に補正画像から補正画像のうち閾値よりも大きい階調値を有する領域を抽出することとしたが、これに限られるものではなく、上記第1の後処理モードを実行する後処理部65の構成を図91に示すように変形することができる。すなわち、図91の後処理部65は、補正画像生成回路31Fから補正画像の情報を取得して、この補正画像に基づいて閾値を演算して設定する閾値設定回路33Fを備える構成とすることができる。以下、本変形例に係る第1の後処理モードによる処理方法ついて説明する。
上記した第1の後処理モードでは、抽出回路32Fが、補正条件設定部66,66’,66”によって設定された閾値に補正画像から補正画像のうち閾値よりも大きい階調値を有する領域を抽出することとしたが、これに限られるものではなく、上記第1の後処理モードを実行する後処理部65の構成を図91に示すように変形することができる。すなわち、図91の後処理部65は、補正画像生成回路31Fから補正画像の情報を取得して、この補正画像に基づいて閾値を演算して設定する閾値設定回路33Fを備える構成とすることができる。以下、本変形例に係る第1の後処理モードによる処理方法ついて説明する。
後処理部65は、抽出回路32Fによって特徴領域を抽出するための基準となる閾値を演算し、設定する閾値設定回路33Fを備えている。閾値設定回路33Fは、補正画像生成回路31Fから補正画像の情報を取得し、この補正画像における画素ごとの階調値の平均値に基づいて閾値を演算して設定する。より具体的には、以下の式(12)に示すように、閾値設定回路33Fは、補正画像全体の平均階調値mに所定の係数aを乗算して得られる値を閾値Sと設定し、設定した閾値Sを抽出回路32Fに出力する。
S=am・・・(12)
S=am・・・(12)
このように構成された本変形例に係る後処理部65による第1の後処理モードの変形例について、図92のフローチャートに従って説明する。
本変形例に係る後処理部65によれば、蛍光画像及び参照画像に基づいて除算画像及び補正画像が生成された後(ステップSL21からステップSL24)、生成された補正画像は閾値設定回路33Fに出力されると共に抽出回路32Fに出力され、次のステップSL25に進む。
本変形例に係る後処理部65によれば、蛍光画像及び参照画像に基づいて除算画像及び補正画像が生成された後(ステップSL21からステップSL24)、生成された補正画像は閾値設定回路33Fに出力されると共に抽出回路32Fに出力され、次のステップSL25に進む。
ステップSL25では、閾値設定回路33Fにおいて、上述した式(12)の係数aを決定すると共に、除算画像生成部64から出力された補正画像から画像全体の平均階調値mを算出し、設定された係数aと算出された画像全体の平均階調値mを用いて、式(12)により、閾値Sを算出する。これにより、除算画像における階調値の閾値Sが設定され、設定された閾値Sを抽出回路32Fに出力する。
次のステップSL26では、ステップSL25で設定した閾値Sを基準として、抽出回路32Fにより補正画像からこの補正画像の全画素のうち閾値Sよりも大きい階調値を有する画素を特徴領域として抽出し、次のステップSL27に進む。ステップSL27では、画像合成部67において、抽出回路32Fにより抽出された特徴領域を参照画像に重畳することにより合成画像を生成する。このようにすることで、合成画像において、所定の閾値を基準として病変部とバックグラウンドとのコントラストが拡大される。画像合成部67は、生成された合成画像をモニタ20に出力する。次のステップSL28において、画像合成部67から受信した合成画像がモニタ20に表示される。
以上説明したように、本変形例に係る第1の後処理モードによれば、上述した第1の後処理モードの効果に加え、さらに、抽出回路32Fによって閾値よりも階調値が高い、主として病変部からの蛍光が表示される領域を特徴領域として抽出するので、この特徴領域を参照画像に重畳して画像を生成することで、生成された画像において、閾値基準として病変部とバックグラウンドとのコントラストがより拡大される。特に、閾値設定回路33Fにより補正画像全体の平均階調値に基づいて閾値を設定するため、補正画像における階調値の変動に追従して閾値を更新し、取得する補正画像において被験体の個体差や経時変化による影響を軽減し、病変部を精度よく抽出することができる。従って、バックグラウンドの影響を抑制して観察対象Aの情報を取得することができ、病変部をより正確に精度よく抽出することができる。
なお、本変形例では平均階調値mに基づいて閾値を設定することとしたが、これに限られず、例えば、以下の式(13)に示すように、画像全体の平均階調値mと標準偏差σとの和に基づいて閾値Sを設定することもできる。
S=am+bσ・・・(13)
σ:補正画像における各画素の階調値の標準偏差
この場合、補正画像における画素ごとの階調値にばらつきがある場合であっても、平均階調値だけに基づいて閾値を設定する場合と比較してより精度が高い閾値を設定することができる。
S=am+bσ・・・(13)
σ:補正画像における各画素の階調値の標準偏差
この場合、補正画像における画素ごとの階調値にばらつきがある場合であっても、平均階調値だけに基づいて閾値を設定する場合と比較してより精度が高い閾値を設定することができる。
また、閾値設定回路33Fは、次フレームの除算画像ごとに閾値を設定してもよく、また、次フレームの各画素の階調値の平均値が一定の割合を超えて変動した場合に閾値を設定することとしてもよい。
なお、観察対象Aの特定は挿入部2の識別情報に基づいて行う構成とすることもできる。すなわち、第5の実施形態に係る蛍光観察装置500において、ICチップ73が、識別情報として各挿入部2に対応した観察対象部位に係る情報等を記憶する。
この場合、挿入部2が光源3に接続されると、ICリーダ74によりICチップ73に記憶されている識別情報を読み出して入力部75に送り、識別情報に基づいて観察対象部位を特定する。そして、特定された観察対象に係る情報が補正条件設定部66,66’,66”に出力される。
上記の第1の後処理モードの説明では観察対象Aの色特性について触れたが、距離以外の要因で反射光の強度が落ちる場合(例えば凸凹などの形状など)でも、同様の効果がある。
[第2の後処理モード]
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第2の後処理モードについて説明する。第2の後処理モードは、階調値閾値より大きい階調値を有する領域と階調値閾値より小さい階調値を有する領域との除算画像におけるコントラストを拡大する処理を行う処理モードである。
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第2の後処理モードについて説明する。第2の後処理モードは、階調値閾値より大きい階調値を有する領域と階調値閾値より小さい階調値を有する領域との除算画像におけるコントラストを拡大する処理を行う処理モードである。
このような第2の後処理モードは、挿入部2の先端面2aから観察対象Aまでの観察距離に起因して除算画像に残存する観察距離・観察角度の依存性を除去するのに好適である。すなわち、第1及び第2の実施形態に係る蛍光観察装置100,200の補正条件設定部66,66’は、「局所視」、「俯瞰視」が観察条件として入力または判定されたときに第2の後処理モードの後処理パラメータを設定する。第3から第5の実施形態に係る蛍光観察装置300,400,500の補正条件設定部66”は、局所観察される「ダグラス窩」等、俯瞰観察される「大網」、「横隔膜下」、「腸管膜」等が入力または判定されたときに第2の後処理モードの後処理パラメータを設定する。
ここで、補正条件設定部66,66’,66”は、後述する第2の後処理モードにおいて、反射光及び蛍光の受光量が高くなる傾向にある「局所観察」に対応する観察条件のときには、階調値閾値がより高くなるように後述する重み付け係数a(後処理パラメータ)をより大きく設定する。一方、補正条件設定部66,66’,66”は、反射光及び蛍光の光量が低くなる傾向にある「俯瞰観察」に対応する観察条件のときには、階調値閾値がより低くなるように重み付け係数aをより小さく設定する。
第2の後処理モードは、図93に示すように、後処理部65が備える画像調節回路31Gと閾値設定回路32Gとにより実行される。
閾値設定回路32Gは、除算画像生成部64により生成された除算画像における階調値の階調値閾値を設定する。具体的には、閾値設定回路32Gは、以下の数8に示されるように、除算画像における各画素の階調値の平均値(画像全体の平均階調値)mに、補正条件設定部66,66’,66”によって設定された重み付け係数aを乗算して得られる値を階調値閾値として設定するようになっている。
閾値設定回路32Gは、除算画像生成部64により生成された除算画像における階調値の階調値閾値を設定する。具体的には、閾値設定回路32Gは、以下の数8に示されるように、除算画像における各画素の階調値の平均値(画像全体の平均階調値)mに、補正条件設定部66,66’,66”によって設定された重み付け係数aを乗算して得られる値を階調値閾値として設定するようになっている。
画像調節回路31Gは、除算画像における階調値を調整する。具体的には、画像調節回路31Gは、閾値設定回路32Gにより設定された階調値閾値Sより大きい階調値を有する画素の領域と小さい階調値を有する画素の領域との除算画像におけるコントラストを拡大するように、階調値閾値S未満の階調値を有する画素を階調値0に置き換えて表示するようになっている。
このように構成された後処理部65によって実行される第2の後処理モードによれば、除算画像生成部64によって生成された除算画像は、閾値設定回路32Gに送られるとともに、図94Aに示すように、画像調節回路31によって後処理が施された後に参照画像と一緒にモニタ20に送られて表示される。
この除算画像は、図94Bに示されるように、主にバックグラウンドからの微弱な蛍光が表示される領域と病変部からの強い蛍光が表示される領域とにより構成されている。同図において、横軸は階調値を示し、縦軸は除算画像全体に占める頻度を示している(図96B、図97Aおよび図98Aにおいて同様である。)。なお、図94Bに示すようなヒストグラムをモニタ20に表示することとしてもよい。
ここで、蛍光と反射光とでは観察距離や観察角度に対する依存性が異なるため、除算画像において観察距離や観察角度の影響を完全に補正することができず一定の誤差が生じてしまう場合がある。
以下、観察対象Aの定量的な情報を取得するために行う閾値設定回路32Gによる階調値閾値の設定および画像調節回路31Gによる除算画像の調整について、図95に示すフローチャートを参照して説明する。
以下、観察対象Aの定量的な情報を取得するために行う閾値設定回路32Gによる階調値閾値の設定および画像調節回路31Gによる除算画像の調整について、図95に示すフローチャートを参照して説明する。
閾値設定回路32Gにおいては、補正条件設定部66,66’,66”からの指令に従って上述した数8の重み付け係数a(例えば、a=1.5)が設定される(ステップSM1)。続いて、閾値設定回路32Gは、除算画像生成部64から送られてきた除算画像を取得すると(ステップSM2)、画像全体の平均階調値mを算出する(ステップSM3)。
ここで、除算画像の全画素数を100万画素とした場合、そのうちの95万画素がバックグランドからの蛍光を表示し(バックグラウンドの総画素数n1=950,000)、5万画素が病変部からの蛍光を表示しているものと仮定する(病変部の総画素数n2=50,000)。また、蛍光薬剤のコントラストを1:2とした場合、バックグラウンドの平均階調値m1=1000、病変部の平均階調値m2=2000と仮定する。
このように仮定した場合、計算式(2)により、画像全体の平均階調値m=1050が算出される。
このように仮定した場合、計算式(2)により、画像全体の平均階調値m=1050が算出される。
次に、閾値設定回路32Gにおいて、設定された重み付け係数aと算出された画像全体の平均階調値mを用いて、数8により、階調値閾値S=1575が算出される。これにより、除算画像における階調値の階調値閾値Sが設定され(ステップSM4)、画像調節回路31Gへ送られる。
画像調節回路31Gにおいては、除算画像の全画素のうち、階調値閾値S=1575未満の階調値を有する画素が階調値0に置き換えられる(ステップSM5)。この場合、バックグラウンドを表示する画素の階調値および病変部を表示する画素の階調値の分布が正規分布に従い、標準偏差が、バックグラウンドを表示する画素の階調値および病変部を表示する画素の階調値の平均値の平方根の10倍と仮定すると、バックグラウンドの表示の96.5%が消去され、病変部の表示の82.9%が残されることになる。
これにより、図96Aに示すように、病変部を表示する領域とバックグラウンドを表示する領域とのコントラストが拡大した最終蛍光画像がモニタ20に表示される(ステップSM6)。最終蛍光画像は、図96Bに示されるように、階調値閾値Sより階調値が高い主に病変部からの蛍光が表示される領域により構成されている。
次に、観察距離や観察角度が変動し、誤差要因により次フレームの除算画像における各画素の階調値の平均値が図97Aに示すように高くなる方向に変動するとする。ここで、バックグラウンドを表示する画素の階調値と病変部を表示する画素の階調値の平均値がそれぞれ50%増加するように変動する、すなわち、m1=1500、m2=3000となると仮定する。
この場合、仮に、階調値の変動後も現在の階調値閾値を変更せずに階調値閾値S=1575のままとすると、階調値閾値Sを超える階調値を有する領域の増加により、図97Bに示すように、病変部の表示の99.5%が残されるもののバックグラウンドの表示の57.7%しか消去されず、除算画像の鮮明度が低下することになる。
この場合、仮に、階調値の変動後も現在の階調値閾値を変更せずに階調値閾値S=1575のままとすると、階調値閾値Sを超える階調値を有する領域の増加により、図97Bに示すように、病変部の表示の99.5%が残されるもののバックグラウンドの表示の57.7%しか消去されず、除算画像の鮮明度が低下することになる。
第2の後処理モードにおいては、閾値設定回路32Gにより画像全体の平均階調値mに基づいて階調値閾値Sを設定するため、ステップSM2からステップSM6が繰り返される。
閾値設定回路32Gにより、次フレームの除算画像が取得されると(ステップSM2)、数9に基づき次フレームの画像全体の平均階調値mが算出され(ステップSM3)、図98Aに示されるように、前フレーム時の階調値閾値S=1575より大きい新たな階調値閾値S=2363が設定される(ステップSM4)。
これにより、画像調節回路31Gにおいて、除算画像における階調値が調整され(ステ
ップSM5)、図98Bに示されるように、バックグラウンドの表示の98.7%が消去され、病変部の表示の87.8%が残された新たな最終蛍光画像が表示される(ステップSM6)。
このように、ステップSM2からステップSM6が繰り返され、次フレームの除算画像が生成されるとその画像全体の平均階調値mに基づき階調値閾値Sが更新されて、階調値が調整された新たな最終蛍光画像がモニタ20に表示される。
ップSM5)、図98Bに示されるように、バックグラウンドの表示の98.7%が消去され、病変部の表示の87.8%が残された新たな最終蛍光画像が表示される(ステップSM6)。
このように、ステップSM2からステップSM6が繰り返され、次フレームの除算画像が生成されるとその画像全体の平均階調値mに基づき階調値閾値Sが更新されて、階調値が調整された新たな最終蛍光画像がモニタ20に表示される。
以上説明したように、第2の後処理モードによれば、画像調節回路31Gにより所定の階調値閾値を基準として病変部とバックグラウンドとのコントラストが拡大するように除算画像の階調値を調整することで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な最終蛍光画像を生成することができる。
また、閾値設定回路32Gにより除算画像の平均階調値に基づいて階調値閾値を設定することで、除算画像における階調値の変動に追従して階調値閾値を更新し、取得する除算画像ごとの鮮明度を維持することができる。これにより、観察対象Aの定量的な情報を取得することができる。
なお、上記の説明においては、重み付け係数a=1.5を例示したが、上述の通り、補正条件設定部66,66’,66”によって観察状況に応じて重み付け係数aの値は適宜変更される。
なお、上記の説明においては、重み付け係数a=1.5を例示したが、上述の通り、補正条件設定部66,66’,66”によって観察状況に応じて重み付け係数aの値は適宜変更される。
第2の後処理モードは以下のように変形することができる。
例えば、上述した第2の後処理モードにおいては、除算画像全体の平均階調値mに基づいて階調値閾値を設定することとしたが、第1の変形例としては、閾値設定回路32Gが、以下の数10に示されるように、画像全体の平均階調値mと標準偏差と重み付け係数a,b(後処理パラメータ)に基づいて階調値閾値Sを設定することとしてもよい。ここで、補正条件設定部66,66’,66”は、「局所観察」に対応する観察条件のときは、重み付け係数a,bを大きく、「俯瞰観察」に対応する観察条件のときは、重み付け係数a,bを小さく設定するように後処理部65に指令する。
σ:除算画像における各画素の階調値の標準偏差
例えば、上述した第2の後処理モードにおいては、除算画像全体の平均階調値mに基づいて階調値閾値を設定することとしたが、第1の変形例としては、閾値設定回路32Gが、以下の数10に示されるように、画像全体の平均階調値mと標準偏差と重み付け係数a,b(後処理パラメータ)に基づいて階調値閾値Sを設定することとしてもよい。ここで、補正条件設定部66,66’,66”は、「局所観察」に対応する観察条件のときは、重み付け係数a,bを大きく、「俯瞰観察」に対応する観察条件のときは、重み付け係数a,bを小さく設定するように後処理部65に指令する。
ここで、バックグラウンドの標準偏差σ1および病変部の標準偏差σ2は、理想的にはそれぞれ平均階調値の平方根に近い値となるが、照明の配光分布の揺らぎや観察対象Aの表面における凸凹等の影響により、揺らぎが大きくなる。そこで、標準偏差σ1,σ2は理想的な値(平均階調値の平方根)の10倍あると仮定し、バックグラウンドの標準偏差σ1=316、病変部の標準偏差σ2=447とする。以下、a=b=1として説明する。
このように仮定した場合、図99のフローチャートに示されるように、閾値設定回路32Gにおいて除算画像が取得されると(ステップSN1)、数9及び数11により、その画像全体の平均階調値m=1050、その標準偏差σ=391が算出される(ステップSN2)。また、閾値設定回路32Gにおいて、算出された画像全体の平均階調値mと標準偏差σを用いて、数10により階調値閾値S=1441が算出されて設定される(ステップSN3)。
画像調節回路31Gにおいては、除算画像の全画素のうち階調値閾値S=1441未満の階調値を有する画素が階調値0に置き換えられる(ステップSN4)。これにより、バックグラウンドの表示の91.8%が消去され、病変部の表示の89.5%が残された最終蛍光画像がモニタ20に表示される(ステップSN5)。
次に、観察距離や観察角度が変動し、誤差要因により次フレームの除算画像における各画素の階調値の平均値が高くなる方向に変動するとした場合、仮に、階調値閾値を変更せずに階調値閾値S=1441のままとすると、階調値の変動後は病変部の表示の98.8%が残されるもののバックグラウンドの表示の65.2%しか消去されず、除算画像の鮮明度が低下する。
本変形例においては、閾値設定回路32Gにより画像全体の平均階調値mと標準偏差σとの和に基づいて階調値閾値Sを設定するため、ステップSN1からステップSN5が繰り返される。
例えば、各画素の階調値の平均値が30%変動したとすると、バックグラウンドの平均階調値m1=1300、その標準偏差σ1=361、病変部の平均階調値m2=2600、その標準偏差σ2=510と仮定することができる。
例えば、各画素の階調値の平均値が30%変動したとすると、バックグラウンドの平均階調値m1=1300、その標準偏差σ1=361、病変部の平均階調値m2=2600、その標準偏差σ2=510と仮定することができる。
閾値設定回路32Gにより、次フレームの除算画像が取得されると(ステップSN1)、数9及び数11に基づき算出される次フレームの画像全体の平均階調値m=1365と標準偏差σ=466により(ステップSN2)、数10に基づいて新たな階調値閾値S=1831が設定される(ステップSN3)。これにより、画像調節回路31Gにより除算画像の階調値が調整され(ステップSN4)、バックグラウンドの表示の92.9%が消去されて、病変部の表示の93.4%が残された新たな最終蛍光画像が表示される(ステップSN5)。
以上説明したように本変形例によれば、画像全体の平均階調値mと標準偏差σとの和に基づいて階調値閾値Sを設定することで、除算画像に観察距離や観察角度に対する誤差要因が残存している場合でも、鮮明な最終蛍光画像を常時取得することができる。また、除算画像における画素ごとの階調値にばらつきがある場合であっても、平均階調値だけに基づいて階調値閾値を設定する場合と比較してより精度が高い階調値閾値を設定することができる。
ここで、本変形例の比較例について以下に説明する。
例えば、各画素の階調値の平均値が30%変動し、バックグラウンドの平均階調値m1=700、その標準偏差σ1=265、病変部の平均階調値m2=1400、その標準偏差σ2=374になったと仮定する。この場合、比較例として、画像全体の平均階調値mだけに基づいて階調値閾値Sを算出すると、階調値閾値S=1103となり、バックグラウンドの表示の93%が消去されるが、病変部の表示の78%が残されるに留まる。
例えば、各画素の階調値の平均値が30%変動し、バックグラウンドの平均階調値m1=700、その標準偏差σ1=265、病変部の平均階調値m2=1400、その標準偏差σ2=374になったと仮定する。この場合、比較例として、画像全体の平均階調値mだけに基づいて階調値閾値Sを算出すると、階調値閾値S=1103となり、バックグラウンドの表示の93%が消去されるが、病変部の表示の78%が残されるに留まる。
一方、本変形例のように画像全体の平均階調値mと標準偏差σとの和に基づいて階調値閾値Sを算出すると、階調値閾値S=1046となり、バックグラウンドの表示の90%が消去され、病変部の表示の83%が残される。したがって、病変部の表示をより多く残存させるような階調値閾値を設定することができ、特異度よりも感度を優先する際に特に有効となる。
また、第2の後処理モードおよびその本変形例においては次フレームの除算画像ごとに階調値閾値Sを設定することとしたが、第2の変形例としては、次フレームの各画素の階調値の平均値が一定の割合を超えて変動した場合に階調値閾値を設定することとしてもよい。この場合、図100のフローチャートに示されるように、閾値設定回路32Gにおいて、除算画像における階調値の階調値閾値Sを設定するとともに、このときの画像全体の平均階調値mを記憶しておき(ステップSN3’)、ステップSN4,ステップSN5により新たな除算画像を表示する。
次に、閾値設定回路32Gにおいて、次フレームの除算画像を取得したら(ステップSN6)、その画像全体の平均階調値mを算出し(ステップSN7)、記憶しておいた前フレームの画像全体の平均階調値mと比較する(ステップSN8)。
その結果、例えば、次フレームの画像全体の平均階調値mが前フレームの画像全体の平均階調値mの1.2倍以上または0.8倍以下の場合には、ステップSN2からステップSN8が繰り返される。これにより、次フレームの画像全体の標準偏差σが算出され(ステップSN2)、新たな階調値閾値Sが設定されるとともに新たな平均階調値mが記憶される(ステップSN3’)。
一方、ステップSN8において、次フレームの画像全体の平均階調値mが前フレームの画像全体の平均階調値mの0.8倍以上1.2倍以下の場合には、階調値閾値は変更せずに次フレームの除算画像を調整して最終蛍光画像を表示し(ステップSN9)、ステップSN6に戻る。
観察条件が比較的安定している状態では各画素の階調値の平均値および標準偏差は大きく変動しないため、除算画像を生成するごとに階調値階調値閾値Sを設定し直さないでも鮮明度が安定した最終蛍光画像を取得することができる。また、各画素の階調値の平均値が大きく変動しない限り閾値Sを維持することで、標準偏差σの計算量を低減し処理速度の向上を図ることができる。
また、第3の変形例としては、図101に示すように、蛍光観察装置が、階調値閾値の変更指令を入力するための閾値変更指令部261を備え、操作者が閾値変更指令部261を作動させることにより手動で階調値閾値を変更することができることとしてもよい。このようにすることで、次フレームの除算画像を生成するごとに常に階調値閾値を設定するのではなく、観察中に階調値閾値が適切でなくなったと操作者が判断したときに除算画像を調整することができる。
この場合、図102のフローチャートに示されるように、閾値設定回路32Gに次フレームの除算画像が取得された後(ステップSN6)、操作者から閾値変更指令部261に変更指令が入力された場合は(ステップSO7「YES」)、ステップSN1からステップSO7が繰り返されることとすればよい。これにより、閾値設定回路32Gが作動させられ、次フレームの画像全体の平均階調値mと標準偏差σとの和に基づいて閾階調値値Sが設定される(ステップSN3)。
一方、操作者から閾値変更指令部261に変更指令が入力されない場合は(ステップSO7「NO」)、画像調節回路31Gにより現在の階調値閾値Sに基づいてその除算画像の階調値が調整され(ステップSO8)、ステップSN6に戻ることとすればよい。
また、第4の変形例としては、次フレームの除算画像が生成されるごとに常に階調値閾値を設定するのではなく、数フレーム間隔で階調値閾値を設定することとしてもよい。この場合、例えば、挿入部2には階調値閾値を変更する頻度に関する情報nが個別に決められていることとし、蛍光観察装置100,200,300,400,500が、接続された挿入部2の情報nを読み出す挿入部2の識別情報読み出し部(図略)を備え、読み出された情報nに基づいて閾値設定回路32Gにより階調値閾値が変更されることとすればよい。また、情報nは、例えば、フレーム数iがn枚目に達したら1度階調値閾値を変更することを意味するものとすればよい。情報nおよび挿入部2の識別情報読み出し部はそれぞれ、第5の実施形態に係る蛍光観察装置における識別情報およびICリーダ74に対応することとしてもよい。
この場合、図103のフローチャートに示されるように、ステップSN6において閾値設定回路32Gに取得された次フレームの枚数iがn枚目に達すると(ステップSP7「YES」)、枚数iがリセットされて(ステップSP8)、ステップSN2からステップSP7が繰り返されることとすればよい。これにより、次フレームの画像全体の平均階調値mと標準偏差σとの和に基づいて階調値閾値Sが設定される(ステップSN2,ステップSN3)。
一方、次フレームの枚数iがn枚目に達していない場合は(ステップSP7「NO」)、枚数iに1が加算された後(ステップSP9)、画像調節回路31Gにより現在の階調値閾値Sに基づいてその除算画像の階調値が調整され(ステップSP10)、ステップSN6に戻ることとすればよい。
このようにすることで、画像全体の平均階調値mおよび標準偏差σを計算する回数を低減し、処理の迅速化を図ることができる。例えば、胃のように伸縮に応じて観察距離が大きく変動するような観察条件では比較的頻繁に階調値閾値Sを設定し直した方がいいが、大腸のように管腔の径がある程度決まっており観察距離が比較的一定の観察条件では階調値閾値Sの設定し直しの頻度を低くしてもよい。
また、上記第2の後処理モードおよびその変形例においては、画像調節回路31Gが、バックグラウンドの蛍光の表示を消去し、病変部の表示を残すこととしたが、病変部からの蛍光とバックグラウンドからの蛍光とのコントラストを拡大させればよく、例えば、バックグラウンドの表示を消去しない程度にその画素の階調値を下げたり、病変部を表示する画素の階調値を高くしたりすることとしてもよい。
[第3の後処理モード]
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第3の後処理モードについて説明する。第3の後処理モードは、蛍光画像の第1の閾値より高い階調値を有する第1の領域を抽出し、除算画像の第2の閾値より高い階調値を有する第2の領域を抽出し、第1の領域と第2の領域とが重複する重複領域を蛍光画像から抽出する処理を行うモードである。
次に、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500が備える後処理部65による第3の後処理モードについて説明する。第3の後処理モードは、蛍光画像の第1の閾値より高い階調値を有する第1の領域を抽出し、除算画像の第2の閾値より高い階調値を有する第2の領域を抽出し、第1の領域と第2の領域とが重複する重複領域を蛍光画像から抽出する処理を行うモードである。
このような第3の後処理モードは、上述した第1の後処理モードと択一的に用いられる。すなわち、第1から第5の実施形態に係る蛍光観察装置100,200,300,400,500の補正条件設定部66,66’,66”は、第1の後処理モードと同様の観察条件に対して第3の後処理モードの後処理パラメータを設定する。第1の後処理モードと第3の後処理モードとのうちいずれを用いるかは、使用者によって観察前に選択されることとしてもよいし、装置を製造する際にどちらか一方だけが搭載されることとしてもよい。
ここで、補正条件設定部66,66’,66”は、後述する第3の後処理モードにおいて、視野内における遠近の幅が大きい、及び観察対象の表面が滑らかである観察条件のときには、除算画像の重みが大きくなるように、後述する除算画像用の第2の閾値(後処理パラメータ)を蛍光画像用の第1の閾値(後処理パラメータ)に対して小さい値に設定する。一方、補正条件設定部66,66’,66”は、視野内における遠近の幅が小さい、及び観察対象の表面が凸凹である観察条件のときには、蛍光画像の重みが大きくなるように、蛍光画像用の第1の閾値を除算画像用の第2の閾値に対して小さい値に設定する。
第3の後処理モードは、図104に示すように、補正条件設定部66,66’,66”が備える第1の閾値設定回路31H及び第2の閾値設定回路32Hと、後処理部65が備える座標抽出回路(第2の領域抽出部)33H及び蛍光画像補正回路(第1の領域抽出部、補正蛍光画像生成部)34Hとにより実行される。座標抽出回路33Hは、除算画像における画素の所定の座標を抽出する。蛍光画像補正回路34Hは、蛍光画像を補正する。
第1の閾値設定回路31Hは、蛍光画像における観察対象Aの正常部から発せられる微弱な蛍光によるバックグラウンドのような階調値が低い領域を除去するための閾値を第1の閾値として設定する。また、第1の閾値設定回路31Hは、設定した第1の閾値を蛍光画像補正回路34Hに出力する。
第2の閾値設定回路32Hは、除算画像における観察対象Aのバックグラウンドのような階調値が低い領域を除去するための閾値を第2の閾値として設定する。また、第2の閾値設定回路32Hは、設定した第2の閾値を座標抽出回路33Hに出力する。
座標抽出回路33Hは、除算画像における第2の閾値設定回路32Hから入力された第2の閾値以下の階調値を有する画素の座標を抽出する。また、座標抽出回路33Hは、抽出した座標を蛍光画像補正回路34Hに出力する。
蛍光画像補正回路34Hは、蛍光画像における第1の閾値設定回路31Hから入力された第1の閾値を下回る階調値を有する画素を階調値0に置き換える補正を行う。さらに、蛍光画像補正回路34Hは、補正した蛍光画像のうち座標抽出回路33Hにより抽出された座標と重複する座標の画素を階調値0に置き換える補正を行う。これにより、蛍光画像が2回補正された画像が最終蛍光画像として生成される。また、蛍光画像補正回路34Hは、生成した最終蛍光画像を参照画像および蛍光画像とともに画像合成部67に送る。
このように構成された後処理部65および補正条件設定部66,66’,66”による第3の後処理モードによれば、図105に示すように、第1の閾値設定回路31Hにより第1の閾値が設定され(ステップSR1)、蛍光画像補正回路34Hに出力される。また、第2の閾値設定回路32Hにより第2の閾値が設定され(ステップSR2)、座標抽出回路33Hに出力される。
次に、体腔内に挿入部2を挿入し、図106に示すように、先端2aを観察対象Aに対向させることにより撮像素子17,18によって生成された画像情報に基づき生成された蛍光画像および参照画像は蛍光画像補正回路34Hを介してモニタ20に送られて表示される。
ここで、実際には蛍光薬剤は病変部だけでなく正常部にも若干集積してしまうため、病変部以外の部分からも微弱な蛍光が発せられ、蛍光画像において病変部等を除く背景画像、すなわち、バックグラウンドとして表示される。また、正常部であっても挿入部2との距離が近すぎると、微弱な蛍光にもかかわらず階調値が高い領域として識別され、蛍光画像に病変部であるかのように表示されてしまうことがある(以下、このような領域を「偽陽性部分」とする。)。
この蛍光画像は、図107Aおよび図107Bに示されるように、主に、病変部の領域および偽陽性部分の領域と、その周囲のバックグラウンドの領域により構成されている。図107Bにおいて、横軸は階調値を示し、縦軸は最終蛍光画像全体に占める頻度を示している(図108Bおよび図109Bにおいて同様である。)。一方、除算画像生成部64により生成された除算画像(図108A)は、座標抽出回路33Hに送られる(ステップSR3)。
ここで、除算画像は観察距離や観察角度の影響が軽減されているので、蛍光画像では観察距離や観察角度の影響に起因して第1の閾値を超えてしまう偽陽性部分の領域も、除算画像では第2の閾値を超えずバックグラウンドの一部として識別することができる。この除算画像は、図108Aおよび図108Bに示されるように、主に、第2の閾値を上回る階調値を有する病変部の領域と、第2の閾値以下の階調値を有する偽陽性部分を含むバックグラウンドの領域により構成されている。
座標抽出回路33Hにおいては、除算画像生成部64から送られてきた除算画像のうち、第2の閾値設定回路32Hから入力された第2の閾値以下の階調値を有する画素の座標が抽出され蛍光画像補正回路34Hへ送られる(ステップSR4)。これにより、座標抽出回路33Hによって除算画像の第2の閾値より高い階調値を有する領域(第2の領域)、すなわち、病変部の領域が抽出されるのと同様に、第2の領域とバックグラウンドのような階調値が低い領域とが区別される。
蛍光画像補正回路34Hにおいては、蛍光画像のうち第1の閾値設定回路31Hから入力された第1の閾値を下回る階調値を有する画素が階調値0に置き換えられる(ステップSR5)。これにより、図109Aおよび図109Bに示されるように、蛍光画像のバックグラウンドが除去され、第1の閾値より高い階調値を有する領域(第1の領域)、すなわち、病変部の領域および偽陽性部分の領域が抽出される。
続いて、蛍光画像補正回路34Hにおいては、病変部の領域および偽陽性部分の領域を抽出した蛍光画像のうち、座標抽出回路33Hから入力された座標に対応する画素が階調値0に置き換えられる(ステップSR6)。これにより、図110に示すように、蛍光画像の偽陽性部分の領域が除去され、蛍光画像の第1の領域と除算画像の第2の領域との重複領域である病変部の領域が抽出された最終蛍光画像が生成される。
生成された最終蛍光画像がモニタ20に送られて表示される(ステップSR7)。このように、次フレームの蛍光画像および参照画像が生成されるとステップSR3からステップSR7が繰り返され、新たな最終正蛍光画像がモニタ20に表示される。
以上説明したように、第3の後処理モードによれば、第1の閾値設定回路31Hにより蛍光画像のバックグラウンドを除去し、第2の閾値設定回路32Hおよび蛍光画像補正回路49よりさらに蛍光画像の偽陽性部分を除去することで、第1の閾値を下回るバックグラウンドの影響だけでなく第1の閾値を上回る偽陽性部分の影響をも抑制し病変部のみを抽出した最終蛍光画像を生成することができる。
また、蛍光画像を基にして最終蛍光画像を生成することで、観察対象Aのエッジ部分や影となる部分等の形状に関する情報や出血部位や血管等の周囲とは異なる色に関する情報といった除算画像に反映されてしまう参照画像特有の画質を悪化させる要因の影響を抑制することができる。これにより、画質を悪化させる要因が少なく高精度な最終蛍光画像を取得することができる。
なお、第3の後処理モードにおいては、座標抽出回路33Hにより除算画像の第2の閾値以下の階調値を有する画素の座標を抽出することに代えて、座標抽出回路33Hが除算画像の第2の閾値を上回る階調値を有する領域(第2の領域)の座標を直接抽出することとしてもよい。この場合、座標抽出回路33Hが第2の領域の座標を蛍光画像補正回路34Hに出力し、蛍光画像補正回路34Hが第1の領域を抽出した蛍光画像から第2の領域の座標に対応する画素(重複領域)以外の画素を階調値0に置き換えることにより最終蛍光画像を生成することとしてもよい。
また、第3の後処理モードにおいては、蛍光画像補正回路34Hが蛍光画像の第1の閾値を下回る階調値を有する画素を階調値0に置き換えることとしたが、蛍光画像の第1の閾値を上回る階調値を有する第1の領域を抽出することとができればよく、例えば、蛍光画像の第1の領域と第1の閾値を下回る階調値を有する領域とを異なる色で表示することとしてもよい。また、蛍光画像補正回路34Hが蛍光画像における座標抽出回路33Hにより抽出された座標と重複する座標の画素を階調値0に置き換えることとしたが、蛍光画像の第1の領域と除算画像の第2の閾値を上回る階調値を有する第2の領域との重複領域を蛍光画像から抽出することができればよく、例えば、重複領域と重複領域以外の領域とを異なる色で表示することとしてもよい。
第3の後処理モードは以下のように変形することができる。
例えば、上述した第3の後処理モードにおいては第1の閾値設定回路31Hおよび第2の閾値設定回路32Hにより各閾値が設定されることとしたが、第1の変形例としては、図111に示すように、蛍光観察装置が各閾値を入力する閾値入力部611を備え、術者が閾値入力部611を作動させて第1の閾値設定回路31Hおよび第2の閾値設定回路32Hにそれぞれ第1の閾値および第2の閾値を手動で入力することができるようにしてもよい。このようにすることで、観察対象や観察方法に応じて術者が所望の閾値を設定することができる。
例えば、上述した第3の後処理モードにおいては第1の閾値設定回路31Hおよび第2の閾値設定回路32Hにより各閾値が設定されることとしたが、第1の変形例としては、図111に示すように、蛍光観察装置が各閾値を入力する閾値入力部611を備え、術者が閾値入力部611を作動させて第1の閾値設定回路31Hおよび第2の閾値設定回路32Hにそれぞれ第1の閾値および第2の閾値を手動で入力することができるようにしてもよい。このようにすることで、観察対象や観察方法に応じて術者が所望の閾値を設定することができる。
本変形例においては、例えば、図112に示すように、ファントム(標準試料)Yを観察して第1の閾値および第2の閾値を設定することとしてもよい。ファントムYとしては、例えば、平板状の土台部分に2つの隆起部A1,B1を有する形状であって、所定の観察条件(距離・角度)で観察した場合に隆起部A1が周囲より強い蛍光を発し蛍光画像上で階調値2000を示し、隆起部B1が土台部分と同程度の強度の蛍光を発し蛍光画像上で階調値1000を示すようなものを用いることができる。
この場合、例えば、図113のフローチャートに示されるように、あらかじめ設定されている第1の閾値および第2の閾値をリセットし(ステップSS1)、挿入部2から隆起部A1,B1までの観察距離が挿入部2から土台部分までの距離の約7割程度になるようにファントムYを設置して観察を始める(ステップSS2)。蛍光強度は観察距離の2乗に反比例するので、上記の所定の観察条件で観察すると蛍光画像生成部21により土台部分が階調値1000、隆起部A1が階調値約4000、隆起部B1が階調値約2000となる蛍光画像が生成される。一方、除算画像生成部64により生成される除算画像は、観察距離の影響が軽減されているため、土台部分と隆起部B1が階調値1000、隆起部A1が階調値約4000となる。
次に、第1の閾値設定回路31Hにより、蛍光画像上で隆起部A1,1Bのみが表示されるように、例えば、第1の閾値を1500と設定する(ステップSS3)。また、第2の閾値設定回路32Hにより、隆起部B1も土台部分とともに第2の閾値以下として識別されるように、第2の閾値を1500と設定する(ステップSS4)。各閾値をこのように設定することで、バックグラウンドとなるファントムYの土台部分と偽陽性部分となる隆起部B1を除去し、隆起部A1が表示される最終蛍光画像を生成することができる。したがって、この第1の閾値および第2の閾値を用いて、生体の体腔内の観察対象Aの観察を行うこととすればよい(ステップSS5)。
なお、観察対象となる部位の形状に対応するような形状のファントムを複数用意することにより、様々な観察対象に対して精度よく各閾値を設定することができる。例えば、大腸を観察する場合には、大腸の管腔と同様に筒形状のファントムを用いて各閾値を設定し、また、胃を観察する場合には、比較的広い空間を有する中空形状のファントムを用いて各閾値を設定することとすればよい。
また、本変形例においては、例えば、図114に示すように、蛍光観察装置101が、複数のファントムYを用いて設定した各閾値を記憶する記憶部631と、記憶部631に記憶されているファントムごとの閾値を選択する選択部651とを備えることとしてもよい。このようにすることで、同一の観察条件で観察する際に精度が高い閾値を容易に設定することができ、操作性の簡便化を図ることができる。
また、第2の変形例としては、図5に示される第5の実施形態に係る蛍光観察装置500の構成において、ICチップ73が、挿入部2の識別情報として、ライトガイドファイバ11および照明光学系12により構成される照射部の数や、この照射部と対物レンズ13により構成される受光部との観察角度等を記憶することとしてもよい。
この場合、挿入部2が光源3に接続されると、ICリーダ74がICチップ73に記憶されている挿入部2の識別情報を読み出して第1の閾値設定回路31Hおよび第2の閾値設定回路32Hに出力し、第1の閾値設定回路31H(閾値設定部回路)45Aおよび第2の閾値設定回路32H(閾値設定回路)45Bが挿入部2の識別情報に基づいて第1の閾値および第2の閾値を設定することとすればよい。このようにすることで、用途や仕様が異なる挿入部2ごとに実用的な第1の閾値および第2の閾値を設定し、観察対象および観察方法に応じてより高精度な最終蛍光画像を取得することができる。
なお、本変形例においては、第1の変形例と同様に、ファントムYを観察して第1の閾値および第2の閾値を設定することとしてもよい。
なお、本変形例においては、第1の変形例と同様に、ファントムYを観察して第1の閾値および第2の閾値を設定することとしてもよい。
また、第3の変形例としては、図115に示すように、後処理部65が、除算画像における画素ごとの階調値の平均値mとその階調値の標準偏差σとを算出する特徴値算出回路35Hを備え、第2の閾値設定回路32Hが、以下の数12に示すように、その階調値の平均値mと標準偏差σとの和に基づいて第2の閾値Sを設定することとすればよい。
本変形例に係る蛍光観察装置を用いて生体の体腔内の観察対象Aを観察するには、図116に示すフローチャートに示されるように、まず、特徴値算出回路35Hにより上述した数12の係数a、b(例えば、a=b=1)を設定し(ステップST1)、除算画像生成部64により生成された除算画像を特徴値算出回路35Hと座標抽出回路33Hに出力することとすればよい(ステップST2)。また、特徴値算出回路35Hにより、除算画像全体の平均階調値mとその標準偏差σとを算出して第2の閾値設定回路32Hに出力し(ステップST3)、第2の閾値設定回路32Hにより、数12を用いて第2の閾値Sを設定して座標抽出回路33Hに出力することとすればよい(ステップST4)。以下、ステップST5からステップST8については、図105のステップSR4からステップSR7と同様である。
このようにすることで、除算画像における画素ごとの階調値の変動に追従して第2の閾値を更新したり、画素ごとの階調値にばらつきがある場合であっても精度が高い第2の閾値を設定したりすることができる。また、除算画像における観察距離や観察誤差に対する誤差を吸収し、生成される除算画像ごとに精度が高い第2の閾値を設定することができる。なお、係数a,bは、例えば、想定される除算画像における病変部が占める割合に反比例するように設定することとしてもよい。このようにすることで、除算画像中に占める階調値が高い画素の領域の割合に基づいて、第2の閾値の最低値および最高値を制限することができる。
なお、本変形例においては、第2の閾値設定回路32Hが除算画像全体の平均階調値mとその階調値の標準偏差σとの和に基づいて第2の閾値Sを設定することとしたが、例えば、第1の閾値設定回路31Hも蛍光画像全体の平均階調値とその階調値の標準偏差との和に基づいて第1の閾値を設定することとしてもよい。この場合、第2の閾値Sと同様に、特徴値算出回路35Hが蛍光画像全体の平均階調値とその標準偏差とを算出して第1の閾値設定回路31Hに出力することとすればよい。
また、本変形例においては、特徴値算出回路35Hに係数a,bを入力する係数入力部(図示略)が備えられることとしてもよい。
また、本変形例においては、特徴値算出回路35Hに係数a,bを入力する係数入力部(図示略)が備えられることとしてもよい。
なお、上述した第1から第3の後処理モードにおいて、後処理パラメータを設定する後処理モードとして選択されなかった後処理モードも、後処理パラメータを一定(初期値のまま)に設定した状態で併用されることとしてもよい。例えば、「局所」に対応する観察条件のときには第2の後処理モードの後処理パラメータが設定されるが、同時に第3の後処理モードも、後処理パラメータを初期値としたまま用いられてもよい。
3 光源
4 照明ユニット(照明部)
5 撮像ユニット
6 画像処理部
7 観察条件入力部(観察条件決定部)
17 撮像素子(参照画像取得部)
18 撮像素子(蛍光画像取得部)
20 モニタ(表示部)
61 参照画像生成部
62 蛍光画像生成部
63 前処理部(補正処理部)
64 除算画像生成部
65 後処理部(補正処理部)
66,66’,66” 補正条件設定部
67 画像合成部
68 観察条件判定部(観察条件決定部)
69,69’ 観察部位判定部(観察条件決定部)
71 観察部位入力部(観察条件決定部)
72 観察情報入力部(観察条件決定部)
100,200,300,400,500 蛍光観察装置
A 観察対象(被写体)
4 照明ユニット(照明部)
5 撮像ユニット
6 画像処理部
7 観察条件入力部(観察条件決定部)
17 撮像素子(参照画像取得部)
18 撮像素子(蛍光画像取得部)
20 モニタ(表示部)
61 参照画像生成部
62 蛍光画像生成部
63 前処理部(補正処理部)
64 除算画像生成部
65 後処理部(補正処理部)
66,66’,66” 補正条件設定部
67 画像合成部
68 観察条件判定部(観察条件決定部)
69,69’ 観察部位判定部(観察条件決定部)
71 観察部位入力部(観察条件決定部)
72 観察情報入力部(観察条件決定部)
100,200,300,400,500 蛍光観察装置
A 観察対象(被写体)
Claims (17)
- 被写体に励起光および照明光を照射する光源を有する照明部と、
前記光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
前記光源からの前記照明光の照射により前記被写体から戻る反射光を撮影し参照画像を取得する参照画像取得部と、
前記参照画像に基づく画像を用いて前記蛍光画像に基づく画像を除算し除算画像を生成する除算画像生成部と、
前記除算画像生成部によって生成された前記除算画像に基づく最終蛍光画像を表示する表示部と、
前記除算画像生成部による前記除算画像の生成または前記表示部による前記最終蛍光画像の表示に先立ち前記参照画像および前記蛍光画像のうち少なくとも一方ならびに/もしくは前記除算画像に対して補正処理を施す補正処理部と、
前記被写体の観察条件を決定する観察条件決定部と、
該観察条件決定部によって決定された前記観察条件に応じて前記補正処理部による前記補正処理に係るパラメータを設定する補正条件設定部とを備える蛍光観察装置。 - 前記補正処理部が、前記除算画像に対して前記後補正処理を行うことにより前記最終蛍光画像を生成する後処理部を備える請求項1に記載の蛍光観察装置。
- 前記後処理部が、前記除算画像に対して異なる後補正処理を施す複数の後処理モードを有し、
前記補正条件設定部が、前記観察条件に応じて前記複数の後処理モードのうち少なくとも1つの後処理モードに係る前記パラメータを後処理パラメータとして設定する請求項2に記載の蛍光観察装置。 - 前記補正条件設定部は、前記除算画像と前記蛍光画像とに付す重みを前記後処理パラメータとして設定し、
前記後処理部が、前記補正条件設定部によって設定された重みで前記除算画像と前記蛍光画像とを重み付けし、重み付けされたこれらの画像を乗算または加算する請求項2または請求項3に記載の蛍光観察装置。 - 前記後処理部が、前記除算画像生成部によって生成された前記除算画像における画素ごとの階調値の平均値と標準偏差と重み付け係数とに基づいて前記蛍光画像の階調値に対する階調値閾値を算出し、算出された前記階調値閾値より大きい階調値を有する領域と前記階調値閾値より小さい階調値を有する領域との前記最終蛍光画像におけるコントラストを拡大し、
前記補正条件設定部が、前記重み付け係数を前記後処理パラメータとして設定する請求項2または請求項3に記載の蛍光観察装置。 - 前記補正条件設定部が、前記蛍光画像の階調値に対して第1の閾値を、前記除算画像の階調値に対して第2の閾値をそれぞれ前記後処理パラメータとして設定し、
前記後処理部が、前記蛍光画像の前記第1の閾値より高い階調値を有する第1の領域を抽出し、前記除算画像の前記第2の閾値より高い階調値を有する第2の領域を抽出し、抽出した前記第1の領域と前記第2の領域とが重複する重複領域を前記蛍光画像から抽出する請求項2または請求項3に記載の蛍光観察装置。 - 前記補正処理部が、前記参照画像取得部による前記参照画像および前記蛍光画像取得部による前記蛍光画像の少なくとも一方に対して前補正処理を行うことにより前記除算画像生成部において前記除算画像の生成に用いられる除算用参照画像および除算用蛍光画像を生成する前処理部を備える請求項1から請求項6のいずれかに記載の蛍光観察装置。
- 前記前処理部が、前記参照画像および前記蛍光画像のうち少なくとも一方に対して異なる前補正処理を行う複数の前処理モードを有し、
前記補正条件設定部が、前記観察条件に応じて前記複数の前処理モードのうち少なくとも1つの前処理モードに係る前記パラメータを前処理パラメータとして設定する請求項7に記載の蛍光観察装置。 - 前記補正条件設定部が、前記観察条件に応じて前記蛍光画像におけるSN比に対するSN閾値を前記前処理パラメータとして設定し、
前記前処理部は、前記蛍光画像取得部が備える撮像素子により取得された蛍光画像の輝度情報に基づいて、蛍光画像におけるSN比が前記SN閾値以上となるように前記撮像素子におけるビニング加算画素数および/または露光時間を調節する請求項7または請求項8に記載の蛍光観察装置。 - 前記前処理部が、前記蛍光画像取得部の前記撮像素子により取得された蛍光画像の輝度情報から揺らぎを算出し、算出された前記揺らぎと前記輝度情報とから前記蛍光画像におけるSN比を算出し、算出されたSN比が所定の前記SN閾値以上となるように前記撮像素子における前記ビニング加算画素数および/または露光時間を調節する請求項9に記載の蛍光観察装置。
- 前記補正条件設定部が、前記蛍光画像の蛍光強度に対する強度閾値を前記前処理パラメータとして設定し、
前記前処理部は、前記蛍光画像取得部が備える撮像素子により取得された蛍光画像の少なくとも一部における蛍光強度が前記強度閾値以下となるように、前記撮像素子におけるビニング加算画素数および/または露光時間を調節する請求項7または請求項8に記載の蛍光観察装置。 - 前記補正条件設定部が、所定の強度の前記励起光を前記被写体に向けて照射したときに前記蛍光画像取得部により取得される前記蛍光画像の輝度の前記照明部から前記被写体までの距離特性を累乗近似して得られる第1の累乗値と、所定の強度の前記照明光を前記被写体に向けて照射したときに前記参照画像取得部により取得される前記参照画像の輝度の前記照明部から前記被写体までの距離特性を累乗近似して得られる第2の累乗値とを前記前処理パラメータとして設定し、
前記前処理部が、前記第1の累乗値の逆数を前記蛍光画像の輝度値に累乗し、前記第2の累乗値の逆数を前記参照画像の輝度値に累乗する請求項7または請求項8に記載の蛍光観察装置。 - 前記参照画像取得部と前記被写体との距離情報を取得する距離情報取得部を備え、
前記補正条件設定部が、前記距離情報取得部により取得された前記距離情報に基づいて補正係数を前記前処理パラメータとして設定し、
前記前処理部が、前記補正係数を指数として用いて前記参照画像または前記蛍光画像の少なくとも一方の光強度情報を累乗演算する請求項7または請求項8に記載の蛍光観察装置。 - 前記前処理部が、標準試料に対して予め取得された蛍光強度の距離特性または/および角度特性と反射光強度の距離特性または/および角度特性とが相互に正比例関係となる係数を各前記観察条件と対応づけて記憶するとともに、前記係数を前記蛍光画像または前記参照画像の少なくとも一方に乗算し、
前記補正条件設定部が、前記観察条件に応じて前記前処理部により乗算に用いられる係数を前記前処理パラメータとして選定する請求項7または請求項8に記載の蛍光観察装置。 - 前記観察条件決定部は、前記参照画像の特徴に基づいて前記観察条件を決定する請求項1から請求項14のいずれかに記載の蛍光観察装置。
- 前記観察条件決定部が、前記観察条件を観察部位と対応付けて記憶し、操作者によって入力された前記観察部位を前記観察条件として決定する請求項1から請求項14のいずれかに記載の蛍光観察装置。
- 前記観察条件決定部は、観察部位と観察に関する情報とを対応づけて記憶し、操作者によって入力された観察に関する情報と前記参照画像の特徴とに基づいて前記観察部位を前記観察条件として決定する請求項1から請求項14のいずれかに記載の蛍光観察装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/198,671 US9588046B2 (en) | 2011-09-07 | 2014-03-06 | Fluorescence observation apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-195341 | 2011-09-07 | ||
JP2011195341A JP5926909B2 (ja) | 2011-09-07 | 2011-09-07 | 蛍光観察装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/198,671 Continuation US9588046B2 (en) | 2011-09-07 | 2014-03-06 | Fluorescence observation apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013035738A1 true WO2013035738A1 (ja) | 2013-03-14 |
Family
ID=47832183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/072610 WO2013035738A1 (ja) | 2011-09-07 | 2012-09-05 | 蛍光観察装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9588046B2 (ja) |
JP (1) | JP5926909B2 (ja) |
WO (1) | WO2013035738A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2656774A4 (en) * | 2011-01-31 | 2014-02-26 | Olympus Corp | FLUORESCENCE OBSERVATION DEVICE |
WO2015037724A1 (ja) * | 2013-09-13 | 2015-03-19 | 三菱レイヨン株式会社 | 画像読取り方法 |
EP2735257A4 (en) * | 2011-07-22 | 2015-05-27 | Olympus Corp | FLUORESCENCE ENDOSCOPE SYSTEM |
US9588046B2 (en) | 2011-09-07 | 2017-03-07 | Olympus Corporation | Fluorescence observation apparatus |
US9769394B2 (en) | 2013-12-05 | 2017-09-19 | Olympus Corporation | Image pickup apparatus, image processing apparatus, and computer-readable storage device |
US20170340273A1 (en) * | 2015-03-04 | 2017-11-30 | Olympus Corporation | Image processing device, living-body observation device, and image processing method |
JP2020141916A (ja) * | 2019-03-07 | 2020-09-10 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
JPWO2021210331A1 (ja) * | 2020-04-17 | 2021-10-21 | ||
CN113720825A (zh) * | 2021-11-04 | 2021-11-30 | 四川丹诺迪科技有限公司 | 光学即时检测器及检测方法和应用 |
US11327020B2 (en) * | 2018-04-17 | 2022-05-10 | Fujifilm Corporation | Imaging system, imaging method, and program |
US11992177B2 (en) | 2018-10-26 | 2024-05-28 | Olympus Corporation | Image processing device for endoscope, image processing method for endoscope, and recording medium |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8498695B2 (en) | 2006-12-22 | 2013-07-30 | Novadaq Technologies Inc. | Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy |
WO2012165553A1 (ja) * | 2011-06-03 | 2012-12-06 | オリンパス株式会社 | 蛍光観察装置および蛍光観察方法 |
EP2724657B1 (en) * | 2011-06-21 | 2015-08-05 | Olympus Corporation | Fluorescence observation system, and method fluorescence image processing |
JP6198426B2 (ja) * | 2013-03-29 | 2017-09-20 | 浜松ホトニクス株式会社 | 蛍光観察装置及び蛍光観察方法 |
JP6168879B2 (ja) * | 2013-06-27 | 2017-07-26 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
WO2015015839A1 (ja) * | 2013-08-01 | 2015-02-05 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP6461797B2 (ja) | 2013-08-23 | 2019-01-30 | オリンパス株式会社 | 蛍光観察装置 |
JP6129686B2 (ja) * | 2013-08-23 | 2017-05-17 | 富士フイルム株式会社 | 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法 |
JP6488291B2 (ja) * | 2013-10-17 | 2019-03-20 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | リモート光体積変動記録法のための自動カメラ調整 |
CN106132276B (zh) * | 2014-04-08 | 2018-08-07 | 奥林巴斯株式会社 | 荧光观察内窥镜系统 |
KR20160032587A (ko) * | 2014-09-16 | 2016-03-24 | 삼성전자주식회사 | 영상 촬영 장치 및 이의 촬영 방법 |
JP6450832B2 (ja) * | 2015-03-17 | 2019-01-09 | 浜松ホトニクス株式会社 | 蛍光画像生成装置及び蛍光画像生成方法 |
EP3312607B1 (en) * | 2015-06-18 | 2019-07-24 | Konica Minolta, Inc. | Objective biological substance analysis device, analysis system, analysis method, and analysis program |
AU2016340039B2 (en) * | 2015-10-15 | 2021-10-14 | Lumos Diagnostics IP Pty Ltd | Device for reading an IVD assay |
CN107105982B (zh) * | 2015-10-30 | 2019-05-21 | 奥林巴斯株式会社 | 用于内窥镜系统的控制装置、内窥镜系统以及内窥镜系统的控制方法 |
EP3373842B1 (en) * | 2015-11-13 | 2024-08-21 | Stryker Corporation | Systems and methods for illumination and imaging of a target |
KR102468133B1 (ko) * | 2016-02-29 | 2022-11-18 | 엘지전자 주식회사 | 발 정맥 인증 장치 |
JP6437943B2 (ja) * | 2016-03-07 | 2018-12-12 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
JP6629639B2 (ja) * | 2016-03-07 | 2020-01-15 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
US10869645B2 (en) | 2016-06-14 | 2020-12-22 | Stryker European Operations Limited | Methods and systems for adaptive imaging for low light signal enhancement in medical visualization |
DE112017004403T5 (de) * | 2016-09-02 | 2019-05-23 | Hoya Corporation | Endoskopsystem und charakteristischer betrag-berechnungsverfahren |
JP6931705B2 (ja) | 2017-02-10 | 2021-09-08 | ノバダック テクノロジーズ ユーエルシー | オープンフィールドハンドヘルド蛍光イメージングシステムおよび方法 |
JP2018157918A (ja) * | 2017-03-22 | 2018-10-11 | ソニー株式会社 | 手術用制御装置、制御方法、手術システム、およびプログラム |
KR101882281B1 (ko) * | 2017-09-15 | 2018-08-24 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 생체 인증 방법 |
KR101882282B1 (ko) * | 2017-09-22 | 2018-08-24 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 생체 인증 방법 |
US20200367753A1 (en) * | 2017-10-26 | 2020-11-26 | Trumpf Schweiz Ag | Method and device for monitoring the fluorescence emitted at the surface of a biological tissue |
WO2019231042A1 (ko) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | 생체 인증 장치 |
TWI662940B (zh) * | 2018-06-01 | 2019-06-21 | 廣達電腦股份有限公司 | 影像擷取裝置 |
EP3824621B1 (en) * | 2018-07-19 | 2025-06-11 | Activ Surgical, Inc. | Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots |
JP2022510393A (ja) * | 2018-12-05 | 2022-01-26 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 画像誘導手術のための照明補正近赤外線(nir)イメージング |
JP7257829B2 (ja) * | 2019-03-15 | 2023-04-14 | ソニー・オリンパスメディカルソリューションズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2021033215A1 (ja) * | 2019-08-16 | 2021-02-25 | Hoya株式会社 | 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法 |
US20220322915A1 (en) * | 2019-08-16 | 2022-10-13 | Hoya Corporation | Processor for endoscope, endoscope system, information processing apparatus, non-transitory computer-readable storage medium, and information processing method |
WO2021140601A1 (ja) * | 2020-01-09 | 2021-07-15 | オリンパス株式会社 | 画像処理システム、内視鏡システム及び画像処理方法 |
GB2623925A (en) | 2021-10-05 | 2024-05-01 | Hitachi High Tech Corp | Electrophoresis data processing device and electrophoresis data processing method |
DE102023200671B3 (de) | 2023-01-27 | 2024-08-01 | Carl Zeiss Meditec Ag | Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop |
CN117560826B (zh) * | 2024-01-10 | 2024-03-29 | 西安南洋迪克整装智能家居有限公司 | 一种智能柜子的自动照明装置 |
JP7659858B1 (ja) * | 2024-04-08 | 2025-04-10 | 慶 細矢 | 手術支援装置、手術支援プログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001137175A (ja) * | 1999-11-18 | 2001-05-22 | Fuji Photo Film Co Ltd | 蛍光画像取得方法および装置 |
JP2001314366A (ja) * | 2000-05-08 | 2001-11-13 | Fuji Photo Film Co Ltd | 蛍光画像表示方法および装置 |
JP2008093254A (ja) * | 2006-10-13 | 2008-04-24 | Fujifilm Corp | 画像処理装置 |
WO2008143246A1 (ja) * | 2007-05-22 | 2008-11-27 | Olympus Corporation | カプセル型医療装置およびカプセル型医療システム |
JP2010036017A (ja) * | 2008-07-08 | 2010-02-18 | Hoya Corp | 電子内視鏡用信号処理装置および電子内視鏡装置 |
WO2010110138A1 (ja) * | 2009-03-24 | 2010-09-30 | オリンパス株式会社 | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
JP2010220894A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 蛍光観察システム、蛍光観察装置および蛍光観察方法 |
JP2010220893A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
JP2010227253A (ja) * | 2009-03-26 | 2010-10-14 | Olympus Corp | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
WO2011099363A1 (ja) * | 2010-02-10 | 2011-08-18 | オリンパス株式会社 | 蛍光内視鏡装置 |
JP2011244952A (ja) * | 2010-05-25 | 2011-12-08 | Olympus Corp | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
Family Cites Families (126)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62247232A (ja) | 1986-04-21 | 1987-10-28 | Agency Of Ind Science & Technol | 蛍光測定装置 |
JPS63252134A (ja) | 1987-04-10 | 1988-10-19 | 工業技術院長 | 螢光検出を利用したがん診断装置 |
JPS62247332A (ja) | 1987-04-17 | 1987-10-28 | Canon Inc | カラ−液晶表示セルの製造法 |
JPH0358279A (ja) | 1989-07-27 | 1991-03-13 | Nec Corp | 論理シミュレータ |
US5749830A (en) | 1993-12-03 | 1998-05-12 | Olympus Optical Co., Ltd. | Fluorescent endoscope apparatus |
JPH07222712A (ja) | 1994-02-10 | 1995-08-22 | Olympus Optical Co Ltd | 蛍光内視鏡装置 |
JPH07246184A (ja) | 1994-03-09 | 1995-09-26 | Fuji Photo Optical Co Ltd | 面順次式撮像装置 |
US5590660A (en) | 1994-03-28 | 1997-01-07 | Xillix Technologies Corp. | Apparatus and method for imaging diseased tissue using integrated autofluorescence |
JP3590117B2 (ja) | 1995-01-23 | 2004-11-17 | 日本放送協会 | テレビジョン映像信号のs/n値検出方法および装置 |
JP3537205B2 (ja) * | 1995-02-02 | 2004-06-14 | オリンパス株式会社 | 顕微鏡装置 |
JP3514547B2 (ja) | 1995-05-25 | 2004-03-31 | 株式会社日立メディコ | 磁気共鳴イメージング装置 |
JPH10262160A (ja) | 1997-03-18 | 1998-09-29 | Nippon Hoso Kyokai <Nhk> | Sn比検出装置および雑音低減装置 |
JPH11122540A (ja) | 1997-10-17 | 1999-04-30 | Hamamatsu Photonics Kk | Ccdカメラ及びccdカメラ制御装置並びにccdカメラの感度調整方法 |
US6240312B1 (en) | 1997-10-23 | 2001-05-29 | Robert R. Alfano | Remote-controllable, micro-scale device for use in in vivo medical diagnosis and/or treatment |
US6795238B2 (en) | 1997-12-02 | 2004-09-21 | Olympus Optical Co., Ltd. | Electronic camera for microscope |
US6364829B1 (en) * | 1999-01-26 | 2002-04-02 | Newton Laboratories, Inc. | Autofluorescence imaging system for endoscopy |
US6537211B1 (en) | 1998-01-26 | 2003-03-25 | Massachusetts Institute Of Technology | Flourescence imaging endoscope |
EP2416198B1 (en) | 1998-05-25 | 2013-05-01 | Panasonic Corporation | Range finder device and camera |
ES2174521T3 (es) * | 1998-10-28 | 2002-11-01 | Deutsch Zentr Luft & Raumfahrt | Instalacion de deteccion de fluorescencia para la determinacion de parametros de vegetacion importantes. |
CA2359637A1 (en) | 1999-01-26 | 2000-07-27 | Stephen F. Fulghum, Jr. | Autofluorescence imaging system for endoscopy |
EP1099405B1 (en) | 1999-05-18 | 2005-08-03 | Olympus Corporation | Endoscope |
JP2001137173A (ja) | 1999-11-11 | 2001-05-22 | Fuji Photo Film Co Ltd | 蛍光画像測定方法および装置 |
EP1101438B1 (en) * | 1999-11-18 | 2006-10-18 | Fuji Photo Film Co., Ltd. | Method and apparatus for acquiring fluorescence images |
US7260248B2 (en) | 1999-12-15 | 2007-08-21 | Medispectra, Inc. | Image processing using measures of similarity |
JP2001169999A (ja) | 1999-12-21 | 2001-06-26 | Fuji Photo Film Co Ltd | 蛍光収率測定方法および装置 |
US20020138008A1 (en) * | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
US6917377B2 (en) | 2000-02-04 | 2005-07-12 | Olympus Optical Co., Ltd. | Microscope system |
EP1148717A3 (en) | 2000-04-19 | 2002-03-20 | Fuji Photo Film Co., Ltd. | Method and apparatus for photographing fluorescent and reflected-light images |
EP1161919B1 (en) | 2000-06-06 | 2007-08-29 | FUJIFILM Corporation | Fluorescent-light image display method and apparatus therefor |
JP4327380B2 (ja) | 2000-06-06 | 2009-09-09 | 富士フイルム株式会社 | 蛍光画像表示方法および装置 |
EP1167951B1 (en) | 2000-06-26 | 2005-04-13 | Fuji Photo Film Co., Ltd. | Fluorescent image obtaining apparatus |
EP1210907A1 (en) | 2000-12-04 | 2002-06-05 | Fuji Photo Film Co., Ltd. | Fluorescent image obtaining apparatus |
JP3946985B2 (ja) | 2000-12-04 | 2007-07-18 | 富士フイルム株式会社 | 蛍光画像撮像装置 |
AU2002324422A1 (en) | 2001-02-21 | 2002-12-23 | Amnis Corporation | Method and apparatus for labeling and analyzing cellular components |
US7123756B2 (en) | 2001-04-27 | 2006-10-17 | Fuji Photo Film Co., Ltd. | Method and apparatus for standardized fluorescence image generation |
JP4202671B2 (ja) | 2001-04-27 | 2008-12-24 | 富士フイルム株式会社 | 規格化画像生成方法および装置 |
JP2002345733A (ja) | 2001-05-29 | 2002-12-03 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2003000528A (ja) | 2001-06-27 | 2003-01-07 | Fuji Photo Film Co Ltd | 蛍光診断画像生成方法および装置 |
JP3862582B2 (ja) | 2001-06-29 | 2006-12-27 | 富士フイルムホールディングス株式会社 | 蛍光画像取得方法および装置並びにプログラム |
US20030117491A1 (en) | 2001-07-26 | 2003-06-26 | Dov Avni | Apparatus and method for controlling illumination in an in-vivo imaging device |
IL155046A (en) | 2003-03-23 | 2013-12-31 | Given Imaging Ltd | Install in-body imaging capable of defining its location |
JP2003102672A (ja) | 2001-10-01 | 2003-04-08 | Japan Science & Technology Corp | 病変等の対象部位を自動的に検知かつ治療または採取する方法およびその装置 |
JP2003111716A (ja) | 2001-10-09 | 2003-04-15 | Fuji Photo Film Co Ltd | 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置 |
KR100411631B1 (ko) * | 2001-10-18 | 2003-12-18 | 주식회사 메디미르 | 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법 |
AU2003219759B2 (en) | 2002-02-14 | 2011-01-20 | Veridex, Llc | Methods and algorithms for cell enumeration in a low-cost cytometer |
DE10209095A1 (de) | 2002-03-01 | 2003-09-11 | Basf Ag | Verfahren zur Herstellung von Isocyanaten |
CN1169079C (zh) | 2002-03-25 | 2004-09-29 | 北京工业大学 | 基于样条思内克斯(Snakes)模型的中医舌象计算机分割方法 |
JP4311607B2 (ja) | 2002-05-27 | 2009-08-12 | 富士フイルム株式会社 | 蛍光診断情報生成方法および装置 |
JP2004024497A (ja) | 2002-06-25 | 2004-01-29 | Fuji Photo Film Co Ltd | 蛍光診断画像生成装置 |
JP2004024496A (ja) | 2002-06-25 | 2004-01-29 | Fuji Photo Film Co Ltd | 蛍光診断画像生成方法および装置 |
JP4199510B2 (ja) | 2002-09-30 | 2008-12-17 | Hoya株式会社 | 診断補助用装置 |
DE102004015587A1 (de) | 2003-04-04 | 2004-11-11 | Olympus Corporation | Fluoreszenzmikroskop mit totaler interner Reflexion |
JP2004309702A (ja) | 2003-04-04 | 2004-11-04 | Olympus Corp | 顕微鏡 |
JP3802508B2 (ja) | 2003-04-21 | 2006-07-26 | アロカ株式会社 | 超音波診断装置 |
US20040254478A1 (en) | 2003-05-22 | 2004-12-16 | De Josselin De Jong Elbert | Fluorescence filter for tissue examination and imaging |
JP4663258B2 (ja) | 2003-06-17 | 2011-04-06 | オリンパス株式会社 | 内視鏡装置 |
US20050027166A1 (en) * | 2003-06-17 | 2005-02-03 | Shinya Matsumoto | Endoscope system for fluorescent observation |
JP2005006856A (ja) | 2003-06-18 | 2005-01-13 | Olympus Corp | 内視鏡装置 |
JP4343594B2 (ja) | 2003-06-23 | 2009-10-14 | オリンパス株式会社 | 内視鏡装置 |
JP4198086B2 (ja) | 2003-06-25 | 2008-12-17 | オリンパス株式会社 | 蛍光観察用装置 |
JP4550380B2 (ja) | 2003-07-03 | 2010-09-22 | オリンパス株式会社 | 共焦点顕微鏡 |
JP4009581B2 (ja) | 2003-11-18 | 2007-11-14 | オリンパス株式会社 | カプセル型医療システム |
JP2005185452A (ja) | 2003-12-25 | 2005-07-14 | Pentax Corp | 内視鏡装置 |
JP5461753B2 (ja) | 2004-07-30 | 2014-04-02 | オリンパス株式会社 | 内視鏡装置 |
JP2006043196A (ja) | 2004-08-05 | 2006-02-16 | Pentax Corp | 電子内視鏡システム及び電子内視鏡用プロセッサ |
JP2006061399A (ja) | 2004-08-26 | 2006-03-09 | Hitachi Ltd | 検査カプセル及び検査システム |
JP2006115964A (ja) | 2004-10-20 | 2006-05-11 | Fujinon Corp | 電子内視鏡装置 |
JP2006175052A (ja) | 2004-12-22 | 2006-07-06 | Fuji Photo Film Co Ltd | 蛍光画像撮像装置 |
AU2006225662B2 (en) | 2005-03-22 | 2009-08-13 | Olympus Corporation | Image processing device and endoscope |
JP4297887B2 (ja) | 2005-05-30 | 2009-07-15 | オリンパス株式会社 | 蛍光内視鏡装置 |
JP4745743B2 (ja) | 2005-07-14 | 2011-08-10 | Hoya株式会社 | 蛍光観察内視鏡システム |
JP4855728B2 (ja) | 2005-07-27 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 照明装置及び観察装置 |
JP2007068597A (ja) | 2005-09-05 | 2007-03-22 | Canon Inc | X線撮影装置 |
JP2007205918A (ja) | 2006-02-02 | 2007-08-16 | Olympus Corp | 計測内視鏡 |
JP2007215927A (ja) | 2006-02-20 | 2007-08-30 | Pentax Corp | 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム |
JP5044126B2 (ja) | 2006-02-23 | 2012-10-10 | オリンパス株式会社 | 内視鏡観察装置および画像形成を行う内視鏡の作動方法 |
US8078265B2 (en) * | 2006-07-11 | 2011-12-13 | The General Hospital Corporation | Systems and methods for generating fluorescent light images |
US8039816B2 (en) | 2006-11-24 | 2011-10-18 | Olympus Corporation | Fluorescence observation apparatus |
JP5097715B2 (ja) | 2006-12-11 | 2012-12-12 | オリンパス株式会社 | 蛍光内視鏡 |
JP5019866B2 (ja) | 2006-12-25 | 2012-09-05 | オリンパス株式会社 | 蛍光内視鏡及び蛍光内視鏡の作動方法 |
JP4954699B2 (ja) | 2006-12-28 | 2012-06-20 | オリンパス株式会社 | 蛍光内視鏡システム |
JP5074044B2 (ja) | 2007-01-18 | 2012-11-14 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
JP5396004B2 (ja) | 2007-01-31 | 2014-01-22 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
JP5436757B2 (ja) | 2007-03-20 | 2014-03-05 | オリンパス株式会社 | 蛍光観察装置 |
DE102007016319A1 (de) | 2007-04-04 | 2008-10-09 | Siemens Ag | Ermittlungsverfahren zum Ermitteln einer endgültigen dreidimensionalen Rekonstruktion eines Untersuchungsobjekts durch mehrfache Segmentierung von Metall und hiermit korrespondierende einrichtungstechnische Gegenstände |
JP5174370B2 (ja) | 2007-04-13 | 2013-04-03 | Hoya株式会社 | 蛍光内視鏡システム、及び光源ユニット |
US8062215B2 (en) | 2007-04-13 | 2011-11-22 | Ethicon Endo-Surgery, Inc. | Fluorescent nanoparticle scope |
JP2009034224A (ja) | 2007-07-31 | 2009-02-19 | Olympus Medical Systems Corp | 医療装置 |
US20100292543A1 (en) | 2007-10-30 | 2010-11-18 | Tufts University | Analysis of Endogenous Fluorescence Images to Extract Morphological/Organization Information About Living Samples |
JP5289756B2 (ja) * | 2007-11-26 | 2013-09-11 | オリンパス株式会社 | 顕微鏡観察システム |
JP5295587B2 (ja) | 2008-02-27 | 2013-09-18 | オリンパスメディカルシステムズ株式会社 | 蛍光内視鏡装置及び蛍光内視鏡装置の作動方法 |
JP5074256B2 (ja) | 2008-03-24 | 2012-11-14 | オリンパス株式会社 | 蛍光観察装置 |
US8031938B2 (en) | 2008-04-14 | 2011-10-04 | Eastman Kodak Company | Method and apparatus for providing improved human observer XYZ functions and calculations for CIELAB |
JP2009257967A (ja) * | 2008-04-17 | 2009-11-05 | Olympus Corp | 蛍光観察装置および蛍光観察方法 |
JP2011152154A (ja) | 2008-05-15 | 2011-08-11 | Konica Minolta Medical & Graphic Inc | 動態撮影システム |
US20090289200A1 (en) | 2008-05-22 | 2009-11-26 | Fujifilm Corporation | Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit |
JP5229723B2 (ja) | 2008-05-22 | 2013-07-03 | 富士フイルム株式会社 | 蛍光画像取得装置 |
JP5110702B2 (ja) | 2008-05-22 | 2012-12-26 | 富士フイルム株式会社 | 蛍光画像取得装置 |
JP5407015B2 (ja) * | 2008-07-10 | 2014-02-05 | 国立大学法人徳島大学 | 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム |
US20100080459A1 (en) | 2008-09-26 | 2010-04-01 | Qualcomm Incorporated | Content adaptive histogram enhancement |
US20120057743A1 (en) * | 2009-01-09 | 2012-03-08 | Chemimage Corporation | System and method for fluorescence guided ingredient specific particle sizing |
JP5545612B2 (ja) | 2009-01-14 | 2014-07-09 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、及びプログラム |
JP5346635B2 (ja) | 2009-03-24 | 2013-11-20 | オリンパス株式会社 | 蛍光観察装置 |
JP5361488B2 (ja) | 2009-03-24 | 2013-12-04 | オリンパス株式会社 | 蛍光観察装置 |
JP5443802B2 (ja) | 2009-03-24 | 2014-03-19 | オリンパス株式会社 | 蛍光観察装置 |
JP4642157B2 (ja) | 2009-03-24 | 2011-03-02 | オリンパスメディカルシステムズ株式会社 | 蛍光観察装置 |
JP5449816B2 (ja) | 2009-03-26 | 2014-03-19 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 |
EP2322075B1 (en) | 2009-03-30 | 2012-12-05 | Olympus Medical Systems Corp. | Fluorescence observation device |
JP5289176B2 (ja) | 2009-05-12 | 2013-09-11 | Hoya株式会社 | 医療用ビデオプロセッサ |
JP5242516B2 (ja) | 2009-07-23 | 2013-07-24 | オリンパスメディカルシステムズ株式会社 | 画像処理装置 |
US8668636B2 (en) * | 2009-09-30 | 2014-03-11 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
WO2011048887A1 (ja) | 2009-10-20 | 2011-04-28 | オリンパスメディカルシステムズ株式会社 | 蛍光観察装置 |
JPWO2011048886A1 (ja) | 2009-10-20 | 2013-03-07 | オリンパスメディカルシステムズ株式会社 | 蛍光観察装置 |
JP5356191B2 (ja) | 2009-11-26 | 2013-12-04 | オリンパス株式会社 | 蛍光観察装置 |
JP2011124948A (ja) | 2009-12-14 | 2011-06-23 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 |
JP5558178B2 (ja) * | 2010-04-07 | 2014-07-23 | オリンパス株式会社 | 蛍光観察装置 |
JP5498282B2 (ja) | 2010-07-06 | 2014-05-21 | オリンパス株式会社 | 蛍光観察装置 |
WO2012065163A2 (en) * | 2010-11-12 | 2012-05-18 | Emory University | Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
CN103327880B (zh) | 2011-01-31 | 2015-08-26 | 奥林巴斯株式会社 | 荧光观察装置 |
JP6057890B2 (ja) | 2011-02-21 | 2017-01-11 | オリンパス株式会社 | 蛍光観察装置 |
WO2012165553A1 (ja) | 2011-06-03 | 2012-12-06 | オリンパス株式会社 | 蛍光観察装置および蛍光観察方法 |
WO2012169270A1 (ja) | 2011-06-07 | 2012-12-13 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び蛍光観察の光量制御方法 |
EP2724657B1 (en) | 2011-06-21 | 2015-08-05 | Olympus Corporation | Fluorescence observation system, and method fluorescence image processing |
JP5926909B2 (ja) | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
CN103841876B (zh) | 2011-10-06 | 2016-03-09 | 奥林巴斯株式会社 | 荧光观察装置 |
CN104010558B (zh) | 2011-12-28 | 2017-03-01 | 奥林巴斯株式会社 | 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法 |
-
2011
- 2011-09-07 JP JP2011195341A patent/JP5926909B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-05 WO PCT/JP2012/072610 patent/WO2013035738A1/ja active Application Filing
-
2014
- 2014-03-06 US US14/198,671 patent/US9588046B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001137175A (ja) * | 1999-11-18 | 2001-05-22 | Fuji Photo Film Co Ltd | 蛍光画像取得方法および装置 |
JP2001314366A (ja) * | 2000-05-08 | 2001-11-13 | Fuji Photo Film Co Ltd | 蛍光画像表示方法および装置 |
JP2008093254A (ja) * | 2006-10-13 | 2008-04-24 | Fujifilm Corp | 画像処理装置 |
WO2008143246A1 (ja) * | 2007-05-22 | 2008-11-27 | Olympus Corporation | カプセル型医療装置およびカプセル型医療システム |
JP2010036017A (ja) * | 2008-07-08 | 2010-02-18 | Hoya Corp | 電子内視鏡用信号処理装置および電子内視鏡装置 |
WO2010110138A1 (ja) * | 2009-03-24 | 2010-09-30 | オリンパス株式会社 | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
JP2010220894A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 蛍光観察システム、蛍光観察装置および蛍光観察方法 |
JP2010220893A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Corp | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
JP2010227253A (ja) * | 2009-03-26 | 2010-10-14 | Olympus Corp | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
WO2011099363A1 (ja) * | 2010-02-10 | 2011-08-18 | オリンパス株式会社 | 蛍光内視鏡装置 |
JP2011244952A (ja) * | 2010-05-25 | 2011-12-08 | Olympus Corp | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2656774A4 (en) * | 2011-01-31 | 2014-02-26 | Olympus Corp | FLUORESCENCE OBSERVATION DEVICE |
US9513221B2 (en) | 2011-01-31 | 2016-12-06 | Olympus Corporation | Fluorescence observation apparatus |
EP2735257A4 (en) * | 2011-07-22 | 2015-05-27 | Olympus Corp | FLUORESCENCE ENDOSCOPE SYSTEM |
US9532719B2 (en) | 2011-07-22 | 2017-01-03 | Olympus Corporation | Fluorescence endoscope apparatus |
US9588046B2 (en) | 2011-09-07 | 2017-03-07 | Olympus Corporation | Fluorescence observation apparatus |
WO2015037724A1 (ja) * | 2013-09-13 | 2015-03-19 | 三菱レイヨン株式会社 | 画像読取り方法 |
JP6075572B2 (ja) * | 2013-09-13 | 2017-02-08 | 三菱レイヨン株式会社 | 画像読取り方法 |
US9769394B2 (en) | 2013-12-05 | 2017-09-19 | Olympus Corporation | Image pickup apparatus, image processing apparatus, and computer-readable storage device |
US10856805B2 (en) * | 2015-03-04 | 2020-12-08 | Olympus Corporation | Image processing device, living-body observation device, and image processing method |
US20170340273A1 (en) * | 2015-03-04 | 2017-11-30 | Olympus Corporation | Image processing device, living-body observation device, and image processing method |
US11327020B2 (en) * | 2018-04-17 | 2022-05-10 | Fujifilm Corporation | Imaging system, imaging method, and program |
US11992177B2 (en) | 2018-10-26 | 2024-05-28 | Olympus Corporation | Image processing device for endoscope, image processing method for endoscope, and recording medium |
JP2020141916A (ja) * | 2019-03-07 | 2020-09-10 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
US11737646B2 (en) | 2019-03-07 | 2023-08-29 | Sony Olympus Medical Solutions Inc. | Medical image processing device and medical observation system |
JP7281308B2 (ja) | 2019-03-07 | 2023-05-25 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
WO2021210331A1 (ja) * | 2020-04-17 | 2021-10-21 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
JP7397176B2 (ja) | 2020-04-17 | 2023-12-12 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
JPWO2021210331A1 (ja) * | 2020-04-17 | 2021-10-21 | ||
US11998165B2 (en) | 2020-04-17 | 2024-06-04 | Fujifilm Corporation | Image processing device and method of operating same |
JP7629076B2 (ja) | 2020-04-17 | 2025-02-12 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
CN113720825B (zh) * | 2021-11-04 | 2022-02-08 | 四川丹诺迪科技有限公司 | 光学即时检测器及检测方法和应用 |
CN113720825A (zh) * | 2021-11-04 | 2021-11-30 | 四川丹诺迪科技有限公司 | 光学即时检测器及检测方法和应用 |
Also Published As
Publication number | Publication date |
---|---|
JP2013056001A (ja) | 2013-03-28 |
JP5926909B2 (ja) | 2016-05-25 |
US9588046B2 (en) | 2017-03-07 |
US20140184769A1 (en) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5926909B2 (ja) | 蛍光観察装置 | |
JP5984681B2 (ja) | 蛍光観察装置 | |
JP6057890B2 (ja) | 蛍光観察装置 | |
JP5814698B2 (ja) | 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法 | |
JP5816486B2 (ja) | 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法 | |
JP5393216B2 (ja) | 蛍光観察システムおよび蛍光観察システムの作動方法 | |
US8107158B2 (en) | Fluorescent imaging device and fluorescent image acquiring method | |
WO2013015120A1 (ja) | 蛍光内視鏡装置 | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
CN103140161B (zh) | 医疗设备 | |
JP5393215B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 | |
JPWO2014156493A1 (ja) | 蛍光観察装置 | |
JP4202671B2 (ja) | 規格化画像生成方法および装置 | |
CN111526773A (zh) | 内窥镜图像获取系统及方法 | |
JPWO2011115095A1 (ja) | 蛍光観察装置および蛍光観察方法 | |
JP5592715B2 (ja) | 画像処理装置および画像処理方法 | |
WO2012176285A1 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 | |
JP3946985B2 (ja) | 蛍光画像撮像装置 | |
JP5592700B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 | |
JP6113033B2 (ja) | 内視鏡装置 | |
JP2018201648A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12829429 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12829429 Country of ref document: EP Kind code of ref document: A1 |