[go: up one dir, main page]

WO2012105157A1 - 立体画像撮影装置および内視鏡 - Google Patents

立体画像撮影装置および内視鏡 Download PDF

Info

Publication number
WO2012105157A1
WO2012105157A1 PCT/JP2012/000001 JP2012000001W WO2012105157A1 WO 2012105157 A1 WO2012105157 A1 WO 2012105157A1 JP 2012000001 W JP2012000001 W JP 2012000001W WO 2012105157 A1 WO2012105157 A1 WO 2012105157A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
subject
image
unit
imaging
Prior art date
Application number
PCT/JP2012/000001
Other languages
English (en)
French (fr)
Inventor
シング　ビラハム　パル
克洋 金森
平本　政夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012518660A priority Critical patent/JP5053468B2/ja
Priority to CN201280002286.6A priority patent/CN103053168B/zh
Publication of WO2012105157A1 publication Critical patent/WO2012105157A1/ja
Priority to US13/571,998 priority patent/US9282881B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units

Definitions

  • the present invention relates to a stereoscopic image capturing apparatus and an endoscope capable of generating surface unevenness information and high-definition images exceeding information obtained from a two-dimensional luminance image acquired by an image sensor.
  • a stereoscopic endoscope In the field of endoscopes that illuminate the wall surface of living organs covered with mucous membranes and capture images, information on the depth of the subject is extracted in order to observe minute irregularities on the wall surface of the organ. This is very important. Also, in the field of surgical endoscopes, there is a problem of wanting to grasp a surgical scene three-dimensionally. Therefore, conventionally, a technique of a stereoscopic endoscope has been developed.
  • a stereoscopic endoscope generally employs a “two-lens system” in which two sets of lenses and image sensors are required to acquire a plurality of viewpoint images obtained by viewing a subject from different positions.
  • a plurality of viewpoint images for example, a left eye image and a right eye image
  • a plurality of viewpoint images having parallax
  • the twin-lens system has a drawback that it is difficult to perfectly match the characteristics of the two image sensors. Therefore, as disclosed in, for example, Patent Document 1, a technique of “monocular system” that uses only one lens and one image sensor to obtain a multi-viewpoint image has attracted attention.
  • FIG. 22 (a) and 22 (b) show a configuration of a conventional stereoscopic endoscope.
  • FIG. 22A is a diagram schematically showing the overall configuration of this stereoscopic endoscope
  • FIG. 22B is a schematic cross-sectional view of a part thereof as viewed from above.
  • this conventional endoscope has an imaging system (parallax imaging system) for acquiring a multi-viewpoint image in addition to a normal color image imaging system using a lens 1307 and a CCD 1308.
  • an imaging system parllax imaging system
  • a light passage unit 1302 is disposed between the optical imaging unit 1301 and the imaging unit 1303.
  • the light passage unit 1302 has two openings 1304a and 1304b arranged on the left and right, and the light that has passed through each generates a multi-viewpoint image.
  • the left and right multi-viewpoint images are obtained by alternately opening and closing the openings 1304a and 1304b.
  • two types of images are obtained by separating light from the two openings 1304a and 1304b in an image processing manner.
  • the time gap is eliminated.
  • a polarizing filter having a polarization transmission axis in the vertical direction is added to the opening 1304a
  • a polarizing filter having a polarization transmission axis in the horizontal direction is added to the opening 1304b.
  • the imaging unit 1303 uses a polarization mosaic filter 1305 and an imaging element 1306 in combination.
  • the polarization mosaic filter 1305 has a configuration in which polarization filters 1305a having a polarization transmission axis in the vertical direction and polarization filters 1305b having a polarization transmission axis in the horizontal direction are alternately distributed in space.
  • Light from the left and right openings 1304a and 1304b becomes light whose polarization directions are orthogonal to each other by the polarizing film. For this reason, the light (polarized light) transmitted through the openings 1304a and 1304b is incident on the part of the polarization mosaic filter 1305 having the corresponding polarization transmission axis.
  • the luminance of the light transmitted through the openings 1304a and 1304b can be detected.
  • a viewpoint image can be obtained.
  • the conventional technology has the following problems. That is, there is a problem that the amount of light cannot be used effectively because the light passage portion has a light shielding portion other than the left and right openings, and the sensitivity of the obtained image is poor. In the field of endoscopes that capture images of a dark body cavity without illumination light in color and deep, it is fatal that the amount of light is small. For this reason, the conventional monocular three-dimensional endoscope which shields light other than the opening has been difficult to become a practical technique.
  • the main object of the present invention is to provide a practical stereoscopic image capturing apparatus and endoscope capable of acquiring three-dimensional information related to surface irregularities of a subject.
  • the stereoscopic image capturing apparatus of the present invention has a polarization illumination unit that sequentially irradiates a subject with three or more types of linearly polarized light having different angles of polarization planes, and when the subject is illuminated by each of the linearly polarized light,
  • An imaging unit for imaging the subject and an image processing unit are sequentially provided.
  • the imaging unit includes a lens that forms an image of return light from the subject illuminated by the polarized light illumination unit, an imaging element that generates a pixel signal by photoelectric conversion from an image formed by the lens, and the subject.
  • an incident light transmission portion that transmits the return light, and has a transparent region and a plurality of polarizing filter regions.
  • the plurality of polarizing filter regions include a left filter region and a right filter region that are located outside the transparent region, have an annular shape as a whole, and are arranged on the left and right with respect to the optical axis of the lens. .
  • the left and right filter regions are arranged such that the direction of the polarization transmission axis is larger than 0 ° and smaller than 90 °, and the imaging is performed when the subject is irradiated with each of the linearly polarized light.
  • the image processing unit Based on the pixel signal generated by the element, the image processing unit generates a plurality of images formed by light transmitted through each of the transparent region and the plurality of polarizing filter regions.
  • the polarization illumination unit irradiates non-polarized light with linearly polarized light whose polarization plane sequentially changes into two or more types by transmitting the polarization plane conversion element.
  • the image processing unit includes the left filter of the incident light transmitting unit based on the pixel signal obtained when three or more types of linearly polarized light having different angles of polarization are illuminating the subject. A left image formed by light transmitted through the region and a right image formed by light transmitted through the right filter region of the incident light transmission unit are formed.
  • the pixel signal generated by the imaging device when the polarized illumination unit irradiates the subject with the first linearly polarized light whose polarization plane is ⁇ 1 ° with respect to a reference direction is represented by I ⁇ . 1
  • the pixel signal generated by the imaging device when the polarized illumination unit irradiates the subject with the second linearly polarized light whose polarization plane angle is ⁇ 2 ° with respect to the reference direction I ⁇ 2
  • the pixel signal generated by the imaging device when the polarization illumination unit irradiates the subject with the third linearly polarized light whose polarization plane angle is ⁇ 3 ° with respect to the reference direction is I ⁇ 3
  • the image processing unit generates each of the plurality of images by performing calculations using the pixel signals I ⁇ 1 , I ⁇ 2 , and I ⁇ 3 .
  • the imaging unit includes a monochrome imaging element or a color imaging element as the imaging element.
  • the endoscope according to the present invention has a polarization illumination unit that sequentially irradiates a subject with three or more types of linearly polarized light having different angles of polarization planes, and when the subject is irradiated with each of the linearly polarized light,
  • An imaging unit that images the subject.
  • the imaging unit includes a lens that forms an image of return light from the subject illuminated by the polarized light illumination unit, an imaging element that generates a pixel signal by photoelectric conversion from an image formed by the lens, and the subject. And an incident light transmission portion that transmits the return light, and has a transparent region and a plurality of polarizing filter regions.
  • the plurality of polarizing filter regions are located outside the transparent region, have a ring shape as a whole, and include a left filter region and a right filter region disposed on the left and right with respect to the optical axis of the lens.
  • the left and right filter regions are arranged such that the direction of the polarization transmission axis forms an angle ⁇ larger than 0 ° and smaller than 90 °.
  • the stereoscopic image capturing apparatus of the present invention includes an imaging unit that images a subject and an image processing unit.
  • the imaging unit includes a lens that forms an image of return light from the subject illuminated by a light source, an image sensor that generates a pixel signal by photoelectric conversion from an image formed by the lens, and a front surface of the image sensor.
  • the mosaic polarizing filter array is an mosaic polarizing filter array in which the polarization transmission axes of the individual polarizing filters are directed in two or more directions, and an incident light transmission unit that transmits the return light from the subject. And an incident light transmission part having a transparent region and a plurality of polarizing filter regions.
  • the plurality of polarizing filter regions are located outside the transparent region, have a ring shape as a whole, and include a left filter region and a right filter region disposed on the left and right with respect to the optical axis of the lens.
  • the left and right filter regions are arranged so that the direction of the polarization transmission axis is larger than 0 ° and smaller than 90 °, and the image processing is performed based on the pixel signal generated by the image sensor.
  • the unit generates a plurality of images formed by light transmitted through each of the transparent region and the plurality of polarizing filter regions.
  • the image processing unit includes a left image formed by light transmitted through the left filter region of the incident light transmission unit and the right filter region of the incident light transmission unit based on the pixel signal. And the right image formed by the light transmitted through the.
  • the plurality of polarizing filter regions in the incident light transmission part include an inner filter region and an outer filter region arranged concentrically with respect to the optical axis of the lens.
  • the image processing unit based on the pixel signal, an image formed by light transmitted through the transparent region and the inner filter region of the incident light transmitting unit, and the incident light transmitting unit An image formed by light transmitted through the transparent region, the inner filter region, and the outer filter region is formed.
  • the imaging unit includes a monochrome imaging element as the imaging element.
  • the endoscope of the present invention includes an illumination unit that irradiates a subject with non-polarized light, and an imaging unit that images the subject when the subject is irradiated with the non-polarized light.
  • the imaging unit includes a lens that forms an image of return light from the subject illuminated by the illuminating unit, an imaging device that generates a pixel signal by photoelectric conversion from an image formed by the lens, and the imaging device A mosaic polarizing filter array disposed in front, wherein the polarizing transmission axes of the individual polarizing filters are oriented in two or more directions, and an incident light transmitting unit that transmits return light from the subject. And it has the incident light transmission part which has a transparent area
  • the plurality of polarizing filter regions are located outside the transparent region, have a ring shape as a whole, and include a left filter region and a right filter region disposed on the left and right with respect to the optical axis of the lens.
  • the left and right filter regions are arranged such that the direction of the polarization transmission axis forms an angle ⁇ larger than 0 ° and smaller than 90 °.
  • a plurality of viewpoint images can be obtained by a calculation process of a plurality of images captured by rotating the polarization plane. For this reason, the light-shielding part is unnecessary and the amount of light is not wasted.
  • an image having low parallax but having a parallax and a color image having no parallax but having no problem in sensitivity can be obtained without any timing shift only by calculation between the images.
  • FIG. 1 The figure which shows the structure of the stereo image imaging device in Embodiment 1 of this invention.
  • Diagram showing the operation of the polarization plane control element (A) is a top view which shows the structure of an incident light transmissive part, (b) is the sectional drawing.
  • (A) And (b) is a figure which shows the photosensitive cell arrangement example in an image sensor.
  • Definition of polarization plane angle (A) And (b) is a figure which shows the mode of the reflection of the polarization
  • FIG. 1 Figure showing the relationship between the incident angle and the reflectance according to Fresnel theory
  • FIG. 3 The figure which shows the structure of the stereo image imaging device in Embodiment 3 of this invention.
  • (b) is the polarization plane of polarized illumination Of angle ⁇ I of
  • (A) is a top view which shows the structure of the incident light transmission part in Embodiment 5 of this invention,
  • (b) is a figure which shows angle (PSI) I of the polarization plane of polarization illumination.
  • (A) is a block diagram of a stereoscopic endoscope related to the prior art
  • (b) is a cross-sectional view showing a part thereof
  • FIG. 1 is a diagram schematically illustrating an overall configuration of a stereoscopic image capturing apparatus according to Embodiment 1 of the present invention.
  • the stereoscopic image capturing apparatus includes an endoscope 101 and a control device 102.
  • the endoscope 101 includes a distal end portion 113 having an image sensor 110, a light guide 105, and an insertion portion 103 having a video signal line 111.
  • the actual insertion portion 103 may have a structure that is longer to the left and right than shown in the drawing and can be bent flexibly.
  • the light guide 105 can transmit light even in a bent state.
  • the control device 102 includes a light source 104, an image processor 108, and a synchronization device 112.
  • the image signal output from the control device 102 is output to the stereoscopic display unit 122 via the display image processing unit 121.
  • a doctor or the like observes the image output to the stereoscopic display unit 122 using the observation glasses 123.
  • FIG. 2 shows the configuration of the polarization plane control element 106.
  • the polarization plane control element 106 is a device that can rotate the polarization plane using liquid crystal. Examples of the configuration have already been disclosed in Patent Documents 2 and 3 and Non-Patent Document 1 and the like.
  • the polarization plane control element 106 can be composed of a voltage application type liquid crystal device that combines, for example, a ferroelectric liquid crystal, a polarizing film, a quarter wavelength plate, and the like.
  • the polarization plane control element 106 converts non-polarized light generated by the light source 104 and passed through the light guide 105 into linearly polarized light having a polarization plane at an arbitrary polarization angle.
  • FIG. 1 schematically shows a polarization direction 115 of light applied to the subject and a polarization direction 116 of return light from the subject.
  • the polarization directions 115 and 116 coincide with each other because the polarization direction is maintained upon reflection from the subject.
  • the synchronization device 112 sends an instruction to rotate the polarization plane to the polarization plane control element 106 to rotate the polarization plane of the illumination. This polarized illumination is applied to the subject through the illumination lens 107.
  • the synchronization device 112 simultaneously sends a shooting start signal to the image sensor 110 to acquire an image, and performs the above processing a plurality of times.
  • the imaging system of the present embodiment captures the first image when the polarization plane is 0 ° state 203, captures the second image when the polarization plane is 45 ° state 204, and captures the third image when the polarization plane is 90 ° state 205. It operates so as to pick up an image.
  • the angle of the polarization plane can be set arbitrarily, and is not limited to these three types. When the image sensor is highly sensitive, the exposure time can be shortened when the illumination intensity is high, so that the rotation angle can be set more finely.
  • the time required for the rotation of the polarization plane ranges from a slow operation speed of about 20 (ms) to a high speed type of about 40 to 100 ( ⁇ sec). If high-speed liquid crystal is used and the sensitivity of the image sensor is increased to such an extent that imaging can be performed in this time, even if shooting is performed with polarization rotation in three directions, it has sufficient performance for shooting moving images. Is possible.
  • image processing is performed for image capturing in units of at least three frames, but the processing time can be kept within one frame time by using pipeline processing.
  • the return light from the subject passes through the photographing lens 109 and then passes through the incident light transmitting portion 120 and forms an image on the image sensor 110.
  • the configuration and function of the incident light transmission unit 120 will be described later.
  • the image sensor 110 may be a monochrome image sensor or a single plate color image sensor having a color mosaic.
  • the imaged video signal reaches the image processor 108 via the video signal line 111.
  • the image processor 108 generates an image CC, a left viewpoint image LL, and a right viewpoint image RR by image processing from a plurality of captured images. These images are processed by the display image processing unit 121 and displayed on the stereoscopic image display unit 122. The image displayed on the stereoscopic image display unit 122 is observed as a stereoscopic image using the observation glasses 123 and the like. As the stereoscopic image display unit 122, an existing stereoscopic display that displays left and right multi-viewpoint images can be used.
  • FIG. 3 is a diagram showing the incident light transmission unit 120.
  • FIG. 3A is a plan view of the incident light transmission unit 120 when the incident light transmission unit 120 is viewed from the image sensor 110 side.
  • FIG. 3B is a diagram illustrating a cross section of the incident light transmission unit 120.
  • the incident light transmission unit 120 includes an optically transparent transparent region C and left and right polarizing filter regions L and R to which a polarizing filter is added.
  • the polarizing filter regions L and R have an annular shape (Concentric Ring) as a whole, and surround the transparent region C.
  • the center of the annular polarization filter region (L + R) coincides with the center of the transparent region C.
  • the polarizing filter regions L and R are a left side filter and a right side filter arranged on the left and right sides with respect to the lens optical axis, respectively.
  • “left and right” means that the position is symmetrical with respect to a virtual reference plane including the lens optical axis. Since the orientation and orientation of the distal end portion 113 of the endoscope 101 change during imaging, the “up and down” or “left and right” directions are relative.
  • a constant angle difference ⁇ is (0) between the transmission axis of the polarization filter added to the left filter region L when viewed from the image sensor 110 and the transmission axis of the polarization filter added to the right filter region R. ° ⁇ ⁇ 90 °).
  • the incident light transmission unit 120 is disposed between the photographing lens 109 and the image sensor 110, but the position of the incident light transmission unit 120 is not limited to this example.
  • the incident light transmission unit 120 may be disposed between the subject and the photographing lens 109. Further, the incident light transmission unit 120 may be integrated with the photographing lens 120.
  • a typical example of the incident light transmitting unit 120 includes a transparent substrate formed of, for example, a glass plate and a pair of polarizing filters attached to a predetermined region of the transparent substrate.
  • a region of the transparent substrate where the polarizing filter is not attached functions as the transparent region C.
  • Another example of the incident light transmitting unit 120 may be configured by a pair of polarizing filters and a member that holds the polarizing filters.
  • the transparent region C may be composed of air.
  • the area of the transparent region C can be set, for example, in a range of 10 to 50% with respect to the total area of the polarizing filter regions L and R and the transparent region C.
  • the return light from the subject is also polarized. Part of the return light is transmitted through the transparent region C of the incident light transmitting unit 120, and the remaining part is transmitted through the polarizing filter region L or the polarizing filter region R.
  • FIGS. 4A and 4B are diagrams each illustrating an example of the configuration of the imaging surface of the imaging device 110.
  • FIG. 4A a plurality of photosensitive cells (photodiodes) are regularly arranged in rows and columns (XY direction) on the imaging surface.
  • a color mosaic filter that transmits light of RGB three types of wavelengths is installed.
  • Each photosensitive cell generates an electrical signal according to the amount of incident light by photoelectric conversion.
  • a general single-plate color image sensor can be used for this portion.
  • a conventional color luminance image can be used as the image sensor 110.
  • FIG. 5 is a diagram showing the definition of the angle ⁇ I of the polarization plane in the polarization illumination.
  • An XY coordinate system which is a virtual focal plane, is set from the imaging side toward the subject.
  • the angle ⁇ I of the polarization plane is defined as shown in FIG. 5 with the X-axis direction being 0 °.
  • the angle ⁇ I is preserved in the reflection, the angle of the polarization plane of the reflected light and the angle of the polarization plane of the incident light are the same.
  • the angle ⁇ I of the polarization plane is increased or decreased, the same polarization state is repeated with a period of 180 °.
  • the function having the polarization plane angle ⁇ I as a variable is a periodic function having a period of 180 °.
  • the angle ⁇ I of the polarization plane in the polarized illumination may be referred to as “incident polarization plane angle”.
  • the optical axis of the illumination lens 107 and the optical axis of the photographing lens 109 are substantially equal. This is because shadows are not generated as much as possible on the subject during observation with the endoscope.
  • an unpolarized average luminance image can be generated by adding separate polarized images from the first image to the third image.
  • FIG. 6 shows how the polarized light L having an incident angle close to zero is observed by the camera when the return light V is incident on a smooth flat surface.
  • the polarization plane of the incident polarized light is different by 90 °, but the linear polarization state of the return light is almost the same as the incident light state. This is due to the following reason.
  • FIG. 7 is a graph showing the incident angle dependence of the specular reflectance according to Fresnel theory, where the horizontal axis represents the incident angle and the vertical axis represents the Fresnel reflectance.
  • the incident angle near 0 ° to 15 ° that can be regarded as normal incidence corresponds to the range 701.
  • the angle ⁇ I of the polarization plane of the polarized illumination is observed as it is. Is the angle of polarization. Therefore, the value of ⁇ I of the incident polarized light can be made known on the observed side.
  • FIG. 8 is a diagram schematically showing a state in which the polarizing filter is removed from the incident light transmitting unit 120 in FIG. 3.
  • the light rays constituting the return light from a certain point of the subject the light rays that have passed through the region L, the region R, and the region C are gathered at one point on the image plane by the action of the photographing lens.
  • the luminance I observed at the specific pixel on the imaging surface is the luminance at the specific pixel of the image generated on the imaging surface after passing through each of the region L, the region R, and the region C.
  • the luminance I observed at a specific pixel on the imaging surface is the luminance I L , I R , I C.
  • FIG. 9 is a diagram schematically illustrating a state in which return light from the subject passes through the regions L, C, and R of the incident light transmitting unit 120 in a state where there is no polarizing filter for a certain pixel.
  • the luminance of the light transmitted through the region L, the region C, and the region R is a simple total value of the luminance of the light transmitted through the three regions as shown in Equation 1.
  • Polarization filters having different transmission axis directions are respectively added to the region L and the region R of the actual incident light transmission unit 120. For this reason, the amount of light that passes through the polarizing filter changes depending on the angle between the polarization direction of incident light (return light from the subject) and the transmission axis of the polarizing filter.
  • the polarization direction of the light reflected by the flat surface of the subject matches the polarization direction of the light that illuminates the subject. For this reason, if the angle of the polarization plane of the polarized illumination is controlled, the polarization plane of the light incident on the incident light transmission unit 120 (return light from the subject) can be adjusted.
  • FIG. 10 (a) shows an incident light transmitting portion in which the angle of the transmission axis of the polarizing filter in the filter region L is set to 0 ° and the angle of the transmission axis of the polarizing filter in the filter region R is set to 45 °.
  • the angle of the transmission axis is also defined in the same manner as the angle ⁇ I shown in FIG. In this example, the angle difference ⁇ between the transmission axes of the left and right polarizing filters is 45 °.
  • FIG. 10B shows the angle of the polarization plane of the illumination light that irradiates the subject, and this corresponds to the angle of the polarization plane of the return light from the subject.
  • the arrangement of the polarization filter shown in FIG. 10A is only an example. Even if the angle of the transmission axis of the polarizing filter in the filter region L is set to an angle other than 0 °, the following explanation is valid.
  • the transmittance when the transmission axis of the polarizing filter coincides with the axis of linearly polarized light incident on the polarizing filter is Tp.
  • Tp satisfies 0 ⁇ Tp ⁇ 1.
  • the transmittance of the transparent region C is ideally set to 1.
  • IFL ⁇ I, IFR ⁇ I , IC ⁇ I When illuminates the object with linearly polarized light having an angle PusaiI, region L of the incident light transmitting portion 120, R, a virtual luminance of light is observed through the C, respectively, IFL ⁇ I, IFR ⁇ I , IC ⁇ I.
  • IFL ⁇ I , IFR ⁇ I , and IC ⁇ I are each expressed by the following Expression 2.
  • the actually observed luminance I ⁇ I is the luminance of the combined light transmitted through each of the regions L, R, and C of the incident light transmitting unit 120, and is expressed by the following Expression 3.
  • FIG. 11 is a diagram schematically illustrating a state in which return light from the subject passes through the region L, the region C, and the region R of the incident light transmission unit 120 for a certain pixel. Due to the action of the lens, the return light from the subject passes through each of the regions L, R, and C, and then converges on the imaging surface and is synthesized.
  • the pixel signal generated by the imaging device when the polarization illumination unit irradiates the subject with the first linearly polarized light whose angle of polarization is ⁇ 1 ° with respect to the reference direction is I ⁇ 1
  • the angle of the polarization plane is
  • the pixel signal generated by the imaging device when the polarized illumination unit irradiates the subject with the second linearly polarized light that is ⁇ 2 ° with respect to the reference direction is I ⁇ 2
  • the angle of the polarization plane is relative to the reference direction.
  • the pixel signal generated by the imaging device when the polarized illumination unit irradiates the subject with the third linearly polarized light of ⁇ 3 ° can be set to I ⁇ 3 .
  • the image processing unit generates each of a plurality of images by performing calculations using the pixel signals I ⁇ 1 , I ⁇ 2 , and I ⁇ 3 .
  • Expression 4 When Expression 4 is expressed as a matrix, the following Expression 5 is obtained.
  • the determinant of the matrix M is expressed by the following Expression 6. Therefore, if ⁇ is in the range represented by Equation 7 below,
  • ⁇ is an angle other than 90 °. In this respect, it differs greatly in configuration from many polarization-use systems in which the polarization transmission axes of a pair of polarizing filters are orthogonal.
  • the same number of polarization illumination angles as the number of unknowns are used.
  • observations may be made with more polarization illumination angles, and simultaneous equations may be solved in a least-squares manner without using an inverse matrix.
  • four types of polarization rotation angles of 0 °, 45 °, 90 °, and 135 ° may be used.
  • FIG. 12 is a flowchart showing the flow of image processing in the image processor 108.
  • step S1001 photographing is performed while changing the polarization plane of the illumination light.
  • step S1002 an inverse matrix is calculated.
  • step S1003 left and right multiple viewpoint images LL and RR and a normal image CC are generated from the multiple images.
  • the multi-viewpoint images LL and RR can be created by a simple pixel value calculation.
  • the display image processing unit 121 converts the image LL and the image RR into a stereoscopic display image. For example, the LL image and the RR image are switched and displayed at high speed. At this time, the display of the normal image CC may be either on or off.
  • FIG. 13 shows a state in which the multi-viewpoint images LL and RR and the normal image CC are alternately displayed on the display unit so as to appropriately switch between the stereoscopic view and the normal view.
  • the stereoscopic display unit 122 only the LL image is presented during the period T1 (state 1101), only the RR image is presented during the next period T2 (state 1102), and during the next period T3. Only the CC image is presented (state 1103).
  • This image is emitted as linearly or circularly polarized light 1107 by passing through a polarizing filter plate or the like.
  • An observer wears observation glasses 123 composed of a liquid crystal shutter and observes them.
  • the liquid crystal shutter of the observation glasses repeats opening (transmission) and closing (blocking) with respect to the polarized light 1107 in synchronization with the stereoscopic display unit 122. That is, during the period T1, the L liquid crystal shutter is open and the R liquid crystal shutter is closed (state 1104). During the period T2, the L liquid crystal shutter is closed and the R liquid crystal shutter is open (state 1105). During the period T3, both the L liquid crystal shutter and the R liquid crystal shutter are open (state 1106).
  • FIG. 14 is a diagram showing combinations of periods T1, T2, and T3 on the time axis.
  • FIG. 14A shows a case where the stereoscopic viewing period and the normal viewing period are switched.
  • a conventional color image is observed using a normal viewing period, for example, an overall screening observation inside the stomach is performed.
  • the camera and illumination are located at a long distance (about 50 mm or more) from the stomach wall, it is necessary to use illumination light effectively, and observation is performed using a bright and sensitive CC image.
  • the period T1 and the period T2 are repeated in the stereoscopic viewing period, and the normal viewing is continued only in the period T3.
  • FIG. 14B shows a case where stereoscopic vision and normal vision are mixed.
  • the periods T1, T2, and T3 are alternately repeated.
  • the periods T1 and T2 may be slightly longer than the period T3.
  • the display image processing unit 121 may further perform additional processing.
  • the image CC is not an image showing parallax, but there may be a portion similar to a multi-viewpoint image. For this reason, high-sensitivity multi-viewpoint images LL and RR can be generated by adding the image CC to the multi-viewpoint image at a similar place.
  • the surface of the organ wall can be stereoscopically viewed with an endoscope. For this reason, according to the present embodiment, it is possible to solve the problem that it is difficult to observe surface irregularities, which is one of the drawbacks of an endoscope.
  • the number of polarizing filter regions is 2, but the number of polarizing filter regions in the present invention may be 3 or more. Further, the position of each polarizing filter does not need to be shifted in the horizontal direction, and a multi-viewpoint image can be obtained even if it is shifted in the vertical direction and / or the oblique direction. If such a multi-viewpoint image is obtained, it is possible to obtain three-dimensional information or a parallax image regarding the unevenness of the subject surface.
  • the difference between the stereoscopic image capturing apparatus of the present embodiment and the stereoscopic image capturing apparatus of Embodiment 1 is that the illumination light is not linearly polarized light.
  • FIG. 15 is a diagram schematically illustrating the overall configuration of the stereoscopic image capturing apparatus according to the present embodiment.
  • white non-polarized light emitted from the light source 104 is irradiated to the subject via the light guide 105 without being polarized. That is, the distal end portion 113 does not need to include the polarization plane control element 106 in the first embodiment. Further, the control device 102 does not need to include the synchronization device 112.
  • the light reflected by the subject becomes linearly polarized light for the first time by passing through the polarizing filter regions R and L of the incident light transmitting unit 120.
  • a mosaic array of polarizing filters instead of polarizing the illumination light, a mosaic array of polarizing filters having different polarization transmission axis directions is arranged on the imaging surface of the image sensor 114.
  • FIGS. 16A and 16B are diagrams each illustrating a configuration example of the imaging surface of the imaging device 114 in the present embodiment.
  • an array of polarizing filters having different polarization transmission axis directions is installed instead of the color mosaic filter.
  • Each photosensitive cell generates an electrical signal according to the amount of light incident through the polarization filter by photoelectric conversion.
  • “0”, “45”, and “90” in FIG. 16B are polarizing filters arranged such that the directions of the polarization transmission axes are 0 °, 45 °, and 90 ° with respect to the reference direction, respectively. I mean.
  • “C” in the figure means a transparent region.
  • this embodiment it is not necessary to use linearly polarized light as illumination light, and it is not necessary to rotate the polarization plane of illumination light.
  • this embodiment even if it is a moving image, there exists an advantage that required surface information is easy to be obtained.
  • it is necessary to provide a polarizing filter array in the image sensor 114 it is difficult to use a color mosaic filter. For this reason, this embodiment is particularly effective when acquiring a monochrome image.
  • the difference between the stereoscopic image capturing apparatus according to the present embodiment and the stereoscopic image capturing apparatus according to the first embodiment is in the configuration of the polarization filter region in the incident light transmitting unit 120.
  • FIG. 17 is a diagram showing the incident light transmission unit 120 in the present embodiment.
  • FIG. 17A is a plan view of the incident light transmission unit 120 when the incident light transmission unit 120 is viewed from the image sensor 110 side.
  • FIG. 17B is a diagram illustrating a cross section of the incident light transmission unit 120.
  • the incident light transmitting unit 120 includes an optically transparent transparent region C and concentric polarizing filter regions L and R to which a polarizing filter is added.
  • Each of the polarizing filter regions L and R has an annular shape and surrounds the transparent region C concentrically.
  • the centers of the annular polarizing filter regions (L, R) coincide with the center of the transparent region C, respectively.
  • a certain angular difference ⁇ is given (0 ° ⁇ ⁇ 90 °) between the transmission axis of the polarizing filter added to the filter region L and the transmission axis of the polarizing filter added to the filter region R. Yes.
  • FIG. 18 is a diagram schematically illustrating the overall configuration of the stereoscopic image capturing apparatus according to the present embodiment. Except for the configuration of the incident light transmission unit 120, the configuration is the same as that of the stereoscopic image capturing apparatus according to the first embodiment. For this reason, the description of the first embodiment will not be repeated here. In this embodiment, it is not necessary to wear the observation glasses 123 as in the fourth and fifth embodiments described later.
  • FIG. 19A shows an incident light transmission unit in which the angle of the transmission axis of the polarizing filter in the filter region L is set to 0 ° and the angle of the transmission axis of the polarizing filter in the filter region R is set to 45 °.
  • the angle of the transmission axis is also defined in the same manner as the angle ⁇ I shown in FIG. In this example, the angle difference ⁇ between the transmission axes of the left and right polarizing filters is 45 °.
  • FIG. 19B shows the angle of the polarization plane of the illumination light that irradiates the subject, and this corresponds to the angle of the polarization plane of the return light from the subject.
  • the arrangement of the polarizing filter shown in FIG. 19A is only an example.
  • the angle of the transmission axis of the polarizing filter in the filter region L may be set to an angle other than 0 °.
  • the incident light transmitting unit 120 since the incident light transmitting unit 120 includes the concentric polarizing filter regions L and R, it is not possible to obtain a multi-viewpoint image having parallax on the left and right as described in the first and second embodiments. .
  • an image composed of light rays that pass through an area close to the outer periphery of the photographing lens 109 and an image composed of light rays that pass through an area relatively close to the center of the photographing lens 109 are simultaneously acquired. It becomes possible.
  • luminances I L , I R , and I C can be obtained from I 0 , I 45 , and I 90 .
  • the luminances I L , I R , and I C in the present embodiment are the luminances of light transmitted through the polarizing filter region L, the polarizing filter region R, and the transparent region C of the incident light transmission unit 120, respectively.
  • images with different lens aperture sizes can be obtained. That is, according to the present embodiment, the image formed by the light transmitted through the transparent region C and the inner polarization filter region R of the incident light transmission unit 120 based on the pixel signal, and the transparent region C, An image formed by light transmitted through the inner polarizing filter region R and the outer polarizing filter region L is formed.
  • Non-Patent Document 2 discloses a technique for acquiring depth information of a subject surface from a plurality of images with different lens aperture sizes by image processing.
  • the difference between the stereoscopic image capturing apparatus of the present embodiment and the stereoscopic image capturing apparatus of Embodiment 3 is that the illumination light is not linearly polarized light.
  • FIG. 20 is a diagram schematically illustrating the overall configuration of the stereoscopic image capturing apparatus according to the present embodiment.
  • white non-polarized light emitted from the light source 104 is irradiated to the subject via the light guide 105 without being polarized. That is, the distal end portion 113 does not need to include the polarization plane control element 106 in the first embodiment. Further, the control device 102 does not need to include the synchronization device 112.
  • the light reflected by the subject becomes linearly polarized light for the first time by passing through the polarizing filter regions R and L of the incident light transmitting unit 120.
  • a mosaic array of polarizing filters instead of polarizing the illumination light, a mosaic array of polarizing filters having different polarization transmission axis directions is arranged on the imaging surface of the image sensor 114.
  • the configuration example of the imaging surface of the imaging element 114 in the present embodiment is the same as that shown in FIGS.
  • it is not necessary to use linearly polarized light as illumination light, and it is not necessary to rotate the polarization plane of the illumination light.
  • this embodiment even if it is a moving image, there exists an advantage that required surface information is easy to be obtained.
  • it since it is necessary to provide a polarizing filter array in the image sensor 114, it is difficult to use a color mosaic filter. For this reason, this embodiment is particularly effective when acquiring a monochrome image.
  • FIG. 21A is a plan view showing the incident light transmission unit 120 in the present embodiment.
  • the only difference between the three-dimensional image capturing apparatus of the present embodiment and the basic configuration shown in FIG. 1 is the incident light transmitting portion 120.
  • the transparent region CL is located at the center, and one concentric polarizing filter region R is disposed outside.
  • the incident polarized illumination may be obtained by capturing two images with two angles of polarization planes of 0 ° and 45 °.
  • the incident light transmission unit 120 does not have a light shielding unit, a bright multiple viewpoint image or an image with different lens aperture sizes can be obtained even with a single eye.
  • the endoscope of the present embodiment has a great advantage that it can simultaneously acquire both parallax images for stereoscopic vision and conventional luminance image capturing in one operation mode.
  • the present invention provides a medical endoscope, dermatology, dentistry, internal medicine, surgery and other medical use cameras, industrial endoscopes, fingerprint imaging devices, surface inspection devices, etc. It can be widely applied to the image processing field that is required.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　偏光面制御素子１０６は、偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光と変換できる。同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送り照明の偏光面を回転させ被写体に照射すると同時に撮像素子１１０に撮影開始信号を送って映像を取得し、これを複数回実施する。撮像映像の信号は映像信号線１１１を経由して画像処理プロセッサ１０８に送られる。そこで左右の偏光開口と中心に位置する非偏光部と通過する画像である各ＬＬ、ＲＲ、ＣＣ画像を分離生成し、左右視差画像を生成して立体表示部１２２に送る。

Description

立体画像撮影装置および内視鏡
　本発明は、撮像素子によって取得される２次元輝度画像で得られる情報を超えた表面凹凸情報や高精細画像を生成できる立体画像撮影装置および内視鏡に関する。
　粘膜で覆われた生体の臓器の壁表面に対して照明光を照射して撮像する内視鏡の分野では、臓器の壁表面の微細な凹凸を観察するため、被写体の奥行きに関する情報を抽出することが重要である。また、手術用の内視鏡の分野では、手術情景を立体的に把握したいという課題がある。そこで、従来、立体内視鏡の技術が開発されてきた。立体内視鏡は、通常、異なる位置から被写体を見た複数視点画像を取得するためにレンズと撮像素子がそれぞれ２組必要になる「２眼システム」を採用している。２眼システムによれば、同一の被写体から、視差のある複数視点画像（例えば左目画像と右目画像）を同時に取得できるため、複数視点画像から被写体の立体形状に関する情報を得ることが可能になる。しかし、２眼システムには、２個の撮像素子の特性を完全に合致させることが難しいという欠点がある。そこで、たとえば特許文献１に開示されているように、複数視点画像を取得するために、レンズと撮像素子をそれぞれ１個だけ使う「単眼システム」の技術が注目されている。
　図２２（ａ）、（ｂ）は、従来の立体内視鏡の構成を示す。図２２（ａ）は、この立体内視鏡の全体構成を模式的に示す図であり、図２２（ｂ）は、その一部を上方から視た模式的断面図である。
　図２２（ａ）に示されるように、この従来技術の内視鏡は、レンズ１３０７とＣＣＤ１３０８を用いる通常カラー画像撮像系のほかに複数視点画像を取得するための撮像系（視差撮像系）を有している。視差撮像系では、光学結像部１３０１と撮像部１３０３との間に光通過部１３０２を配置している。光通過部１３０２は、図２２（ｂ）に示すように、左右に配置された２つの開口１３０４ａ、１３０４ｂを有し、各々を透過した光が複数視点画像を生成する。通常は交互に開口１３０４ａ、１３０４ｂを開閉することによって左右の複数視点画像を得るのであるが、本技術では、２つの開口１３０４ａ、１３０４ｂからの光を画像処理的に分離することで２種の画像の時間ずれをなくしている。そのために開口１３０４ａに垂直方向の偏光透過軸を有する偏光フィルタを付加し、開口１３０４ｂに水平方向の偏光透過軸を有する偏光フィルタを付加している。
　撮像部１３０３は、偏光モザイクフィルタ１３０５と撮像素子１３０６を組み合わせて用いる。偏光モザイクフィルタ１３０５は、垂直方向に偏光透過軸を有する偏光フィルタ１３０５ａと水平方向に偏光透過軸を有する偏光フィルタ１３０５ｂとが空間的に交互に分布した構成を有している。左右２箇所の開口１３０４ａ、１３０４ｂからの光は、偏光フィルムにより偏光方向が直交する光となる。このため、開口１３０４ａ、１３０４ｂを透過した光（偏光）は、それぞれ、偏光モザイクフィルタ１３０５のうちの対応する偏光透過軸を有する部分に入射する。こうして、偏光フィルタ１３０５ａにカバーされる画素の信号と、偏光フィルタ１３０５ｂにカバーされる画素の信号とに基づいて、開口１３０４ａ、１３０４ｂを透過した光の輝度を検出することができ、２種の複数視点画像を得ることができる。
特開２００１－１６６１１号公報 特開平１１－３１３２４２号公報 米国特許出願公開第２００９／００７９９８２号明細書
Nicolas Lefaudeux et al.: "Compact and robust linear Stokes polarization camera", Proc. SPIE, Vol. 6972, 69720B, Polarization: Measurement, Analysis, and Remote Sensing VIII(2008); Paul Green et al.: "Multi-Aperture Photography", ACM Transactions on Graphics, Vol. 26, No.3, Article 68, July 2008;
　しかし従来の技術では、以下の課題があった。すなわち光通過部には左右の開口以外の部分には遮光部があるため光量を有効に使えず、得られる画像の感度が悪いという課題があった。照明光の無い暗黒の体腔内をカラーでしかも奥行き深くまで撮像する内視鏡の分野では光量が少ないことが致命的となる。このため、開口部以外を遮光してしまう従来の単眼立体内視鏡は実用的な技術になりにくかった。
　本発明の主な目的は、被写体の表面凹凸に関する３次元情報を取得できる実用的な立体画像撮影装置および内視鏡を提供することにある。
　本発明の立体画像撮影装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備える。前記撮像部は、前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む。前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する。
　ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が２種類以上に順次変化する直線偏光を照射する。
　ある実施形態において、前記画像処理部は、偏光面の角度が異なる３種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。
　ある実施形態において、偏光面の角度が基準方向に対してθ1°である第１の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ1、偏光面の角度が前記基準方向に対してθ2°である第２の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ2、偏光面の角度が前記基準方向に対してθ3°である第３の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ3とするとき、前記画像処理部は、画素信号Ｉθ1、Ｉθ2、Ｉθ3を用いた演算を行うことにより、前記複数の画像の各々を生成する。
　ある実施形態において、前記撮像部は、前記撮像素子として、モノクロ撮像素子またはカラー撮像素子を有している。
　本発明内視鏡は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部とを備える。前記撮像部は、前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている。
　本発明の立体画像撮影装置は、被写体を撮像する撮像部と、画像処理部とを備える。前記撮像部は、光源によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する。
　ある実施形態において、前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。
　ある実施形態において、前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して同心円状に配置された内側フィルタ領域および外側フィルタ領域を含む。
　ある実施形態において、前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記透明領域および前記内側フィルタ領域を透過した光によって形成される画像と、前記入射光透過部の前記透明領域、前記内側フィルタ領域および前記外側フィルタ領域を透過した光によって形成される画像とを形成する。
　ある実施形態において、前記撮像部は、前記撮像素子として、モノクロ撮像素子を有している。
　本発明の内視鏡は、非偏光光を被写体に照射する照明部と、前記非偏光光によって前記被写体が照射されているときに、前記被写体を撮像する撮像部とを備える。前記撮像部は、前記照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている。
　本発明の立体画像撮影装置のある実施形態によれば、偏光面を回転して撮影された複数画像の演算処理により、複数視点画像を得ることができる。このため、遮光部は不要となり光量を無駄にすることが無い。本発明の好ましい実施形態によれば、画像間の演算だけで感度は低いが視差のある画像と、視差はないが感度上問題のないカラー画像がタイミングのずれ無しに得られることになる。
本発明の実施形態１における立体画像撮影装置の構成を示す図 偏光面制御素子の動作を示す図 （ａ）は、入射光透過部の構造を示す平面図、（ｂ）は、その断面図 （ａ）および（ｂ）は、撮像素子における光感知セル配置例を示す図 偏光面角度の定義図 （ａ）および（ｂ）は、滑らかな平坦な表面にほぼ垂直に入射した偏光の反射の様子を示す図 フレネル理論による入射角と反射率の関係を示す図 入射光透過部から偏光フィルタが取り除かれた仮想的状態を示す図 偏光フィルタが無い状態における入射光透過部の各領域を透過する光を示す図 （ａ）は、透過軸の角度差についてα＝４５°の関係が成り立つ２つの偏光フィルタが実装された入射光透過部を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図 入射光透過部の各領域を透過する光を示す図 画像処理プロセッサの処理の流れを示すフローチャート 表示部に表示された画像ＬＬ，ＲＲ，ＣＣと観察メガネの動作を示す図 （ａ）および（ｂ）は、本発明の実施形態に関する立体視と通常視の期間を示す図 本発明の実施形態２における立体画像撮影装置の構成を示す図 （ａ）および（ｂ）は、撮像素子における他の光感知セル配置例を示す図 （ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図、（ｂ）は、その断面図 本発明の実施形態３における立体画像撮影装置の構成を示す図 （ａ）は、透過軸の角度差についてα＝４５°の関係が成り立つ２つの偏光フィルタが実装された実施形態３の入射光透過部を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図 本発明の実施形態４における立体画像撮影装置の構成を示す図 （ａ）は、本発明の実施形態５における入射光透過部の構成を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図 （ａ）は、従来の技術に関する立体内視鏡の構成図、（ｂ）は、その一部を示す断面図
　（実施形態１）
　図１は、本発明の実施形態１における立体画像撮影装置の全体構成を模式的に示す図である。本立体画像撮影装置は、内視鏡１０１と制御装置１０２とを備える。内視鏡１０１は、撮像素子１１０を有する先端部１１３、ライトガイド１０５および映像信号線１１１を有する挿入部１０３を備えている。現実の挿入部１０３は、図面に示されているよりも左右に長く、フレキシブルに曲がり得る構造を有し得る。ライトガイド１０５は曲がった状態でも光を伝達することができる。
　制御装置１０２には、光源１０４、画像処理プロセッサ１０８、および同期装置１１２が含まれる。制御装置１０２から出力される画像信号は、表示画像処理部１２１を経由して立体表示部１２２に出力される。立体表示部１２２に出力された画像は、観察メガネ１２３を利用して医師などが観察する。
　光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれる。図２は、偏光面制御素子１０６の構成を示す。
　偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献２、３ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、たとえば強誘電性液晶と、偏光フィルム、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子１０６は、光源１０４で発生し、ライトガイド１０５を通過した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光へと変換する。図１には、被写体に照射される光の偏光方向１１５と、被写体からの戻り光の偏光方向１１６とが模式的に示される。後述するように、被写体での反射に際して偏光方向が保持されるため、偏光方向１１５、１１６は一致する。
　同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送って照明の偏光面を回転させる。この偏光照明は、照明レンズ１０７を通って被写体に照射される。同期装置１１２は同時に撮像素子１１０に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。
　本実施形態の撮像系は、偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像するように動作する。偏光面の角度は任意に設定でき、この３種類に限るものではない。撮像素子が高感度である場合、照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。
　偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度の遅いものから４０～１００（μsec）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、３方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低３フレーム単位の画像撮像について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間を１フレーム時間内に収めることが可能である。
　被写体からの戻り光は、撮影レンズ１０９を透過した後、入射光透過部１２０を通過して撮像素子１１０上に結像する。入射光透過部１２０の構成および機能については、後述する。撮像素子１１０は、モノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像映像の信号は、映像信号線１１１を経由して画像処理プロセッサ１０８に到達する。
　画像プロセッサ１０８は、撮像された複数の画像から、画像処理により、画像ＣＣと左視点画像ＬＬと右視点画像ＲＲとを生成する。これらの画像は、表示画像処理部１２１によって処理されて、立体画像表示部１２２に表示される。立体画像表示部１２２に表示された画像は、観察メガネ１２３などを用いて立体画像として観察される。この立体画像表示部１２２には、左右の複数視点画像を表示する既存の立体表示ディスプレイを使うことができる。
　図３は入射光透過部１２０を示す図である。図３（ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図である。図３（ｂ）は、入射光透過部１２０の断面を示す図である。図３（ａ）に示されるように、入射光透過部１２０は、光学的に透明な透明領域Ｃと、偏光フィルタが付加された左右の偏光フィルタ領域ＬおよびＲとから構成されている。偏光フィルタ領域ＬおよびＲは、全体として輪帯状の形状（Ｃｏｎｃｅｎｔｒｉｃ　Ｒｉｎｇ）を有し、透明領域Ｃの周りを囲んでいる。輪帯状の偏光フィルタ領域（Ｌ＋Ｒ）の中心は、透明領域Ｃの中心に一致している。偏光フィルタ領域ＬおよびＲは、それぞれ、レンズ光軸に対して左右に配置された左側フィルタおよび右側フィルタである。ここでの左右とは、レンズ光軸を含む仮想的な基準面に対して対称な位置にあることを意味する。内視鏡１０１の先端部１１３の向きや姿勢は、撮像時に変化するため、「上下」または「左右」の方向は相対的である。
　撮像素子１１０から見て左側のフィルタ領域Ｌに付加された偏光フィルタの透過軸と、右側のフィルタ領域Ｒに付加された偏光フィルタの透過軸との間には、一定の角度差αが（０°＜α＜９０°）与えられている。
　図１に示す例において、入射光透過部１２０は、撮影レンズ１０９と撮像素子１１０との間に配置されているが、入射光透過部１２０の位置は、この例に限定されない。入射光透過部１２０は、被写体と撮影レンズ１０９との間に配置されてもよい。また、入射光透過部１２０は、撮影レンズ１２０と一体化されていてもよい。
　入射光透過部１２０の典型例は、例えばガラス板などから形成された透明基板と、この透明基板の所定領域に張り付けられた一対の偏光フィルタとを備えている。この場合、透明基板のうち、偏光フィルタが張り付けられていない領域が、透明領域Ｃとして機能する。入射光透過部１２０の他の例は、一対の偏光フィルタと、偏光フィルタを保持する部材とから構成され得る。この場合、透明領域Ｃは、空気から構成されていてもよい。透明領域Ｃの面積は、偏光フィルタ領域Ｌ、Ｒおよび透明領域Ｃの合計面積に対して例えば１０～５０％の範囲に設定され得る。
　本実施形態では、被写体を偏光照明で照らすため、被写体からの戻り光も偏光している。戻り光の一部は、入射光透過部１２０の透明領域Ｃを透過し、残りの一部は偏光フィルタ領域Ｌまたは偏光フィルタ領域Ｒを透過する。
　図４（ａ）および（ｂ）は、それぞれ、撮像素子１１０の撮像面の構成例を示す図である。図４（ａ）に示すように撮像面には、複数の光感知セル（フォトダイオード）が行および列状（Ｘ－Ｙ方向）に規則的に配列されている。カラー撮像の場合には、図４（ｂ）に示すようにＲＧＢ３種の波長の光を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子１１０としては、従来のカラー輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得することが可能になる。
　図５は、偏光照明における偏光面の角度ΨＩの定義を示す図である。撮像側から被写体に向かって仮想的な焦点面であるＸ－Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸の方向を０°として図５に示すように定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。
　本実施形態では、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。
　なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第３の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。
　次に偏光照明の偏光面を回転した時の入射光透過部１２０の偏光フィルタ領域および透明領域を透過した光の輝度について説明する。
　図６は、入射角がゼロに近い偏光Ｌが、滑らかな平坦な表面に入射したときの戻り光Ｖをカメラで観測する様子を示している。図６（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっているが、戻り光の直線偏光状態はほぼ入射光の状態と同一となる。これは以下の理由による。
　図７は、フレネル理論による鏡面反射率の入射角依存性を示すグラフで横軸が入射角、縦軸がフレネル反射率を示す。屈折率はｎ＝１．８を想定した。
　垂直入射とみなせる０°～１５°付近の入射角度は、範囲７０１に相当する。グラフから読み取れるように、この範囲７０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率ｎ＝１．４～２．０の自然物体において、広く成立する。
　以上のように滑らかな表面に対して偏光が、ほぼゼロ度の入射角度で入射し、それが１回反射して観測される場合、偏光照明の偏光面の角度ΨＩはそのまま観測される戻り光の偏光の角度になる。したがって、観測される側では入射してくる偏光のΨIの値を既知とすることができる。
　図８は、図３の入射光透過部１２０から偏光フィルタを取り除いた状態を模式的に示す図である。被写体のある点からの戻り光を構成する光線のうち、領域Ｌ、領域Ｒ、および領域Ｃを透過した光線は、撮影レンズの働きにより、結像面上の一点に集まる。言い換えると、撮像面上の特定画素で観測される輝度Iは、領域Ｌ、領域Ｒ、および領域Ｃの各々を通過して撮像面上に生じた像の特定画素における輝度である。領域Ｌ、領域Ｒ、および領域Ｃの各々を通過した光線による輝度を、それぞれ、ＩL、ＩR、ＩCのとすると、撮像面上の特定画素で観測される輝度Iは、輝度ＩL、ＩR、ＩCの和になる。
Figure JPOXMLDOC01-appb-M000001
　図９は、ある画素について、被写体からの戻り光が、偏光フィルタの無い状態における入射光透過部１２０の領域Ｌ、領域Ｃ、および領域Ｒを透過する様子を模式的に示す図である。偏光フィルタが無い場合、領域Ｌ、領域Ｃ、および領域Ｒを透過した光の輝度は、式１で示されるように３つの領域を透過してきた光の輝度の単純な合計値になる。実際の入射光透過部１２０の領域Ｌおよび領域Ｒには、それぞれ、透過軸の方向が異なる偏光フィルタが付加されている。このため、偏光フィルタを透過する光の量は、入射光（被写体からの戻り光）の偏光方向と偏光フィルタの透過軸との角度に依存して変化することになる。なお、図６および図７を参照して説明したように、被写体の平坦面で反射した光の偏光方向は、被写体を照明する光の偏光方向に一致している。このため、偏光照明の偏光面の角度を制御すれば、入射光透過部１２０に入射する光（被写体からの戻り光）の偏光面を調整することができる。
　図１０（ａ）は、フィルタ領域Ｌにおける偏光フィルタの透過軸の角度を０°、フィルタ領域Ｒにおける偏光フィルタの透過軸の角度を４５°に設定した入射光透過部を示している。透過軸の角度についても、図５に示す角度ΨＩと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは４５°である。図１０（ｂ）は、被写体を照射する照明光の偏光面の角度を示しており、これは、被写体からの戻り光の偏光面の角度に相当している。図１０（ａ）に示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Ｌにおける偏光フィルタの透過軸の角度は、０°以外の角度に設定しても、以下に説明することが成立する。
　ここで、偏光フィルタの透過軸と、その偏光フィルタに入射する直線偏光の軸とが一致した場合の透過率をＴpとする。Ｔpは、０＜Ｔp＜１を満足する。また、透明領域Ｃの透過率を理想的に１とする。角度ΨIを有する直線偏光で被写体を照明しているときに、入射光透過部１２０の領域Ｌ、Ｒ、Ｃを透過して観測される光の仮想的な輝度を、それぞれ、ＩＦＬΨI、ＩＦＲΨI、ＩＣΨIとする。ＩＦＬΨI、ＩＦＲΨI、ＩＣΨIは、それぞれ、以下の式２で表される。
Figure JPOXMLDOC01-appb-M000002
　実際に観測される輝度ＩΨIは、入射光透過部１２０の領域Ｌ、Ｒ、Ｃの各々を透過してきた光が合成されたものの輝度であるため、以下の式３で表される。
Figure JPOXMLDOC01-appb-M000003
　図１１は、ある画素について、被写体からの戻り光が入射光透過部１２０の領域Ｌ、領域Ｃ、および領域Ｒを透過する様子を模式的に示す図である。レンズの働きにより、被写体からの戻り光は、領域Ｌ、Ｒ、Ｃの各々を透過した後、撮像面上に収束し、合成される。
　たとえば０、４５、９０度の異なる３つの偏光角ΨIの直線偏光で、順次、被写体を照明しながら、３つの画像を撮像すると、各画素の輝度について、次の連立方程式を得る。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｉ0はΨI＝０°のときに観測される輝度、Ｉ45はΨI＝４５°のときに観測される輝度、Ｉ90はΨI＝９０°のときに観測される輝度である。これらの輝度は、撮像素子１１０の各画素から得られる画素信号に相当している。この点をより一般的に説明する。偏光面の角度が基準方向に対してθ1°である第１の直線偏光を偏光照明部が被写体に照射しているときに撮像素子が生成した画素信号をＩθ1、偏光面の角度が前記基準方向に対してθ2°である第２の直線偏光を偏光照明部が被写体に照射しているときに撮像素子が生成した画素信号をＩθ2、偏光面の角度が前記基準方向に対してθ3°である第３の直線偏光を偏光照明部が被写体に照射しているときに撮像素子が生成した画素信号をＩθ3とすることができる。本実施形態では、画像処理部が、画素信号Ｉθ1、Ｉθ2、Ｉθ3を用いた演算を行うことにより、複数の画像の各々を生成する。
　式４を行列で表現すると、以下の式５が得られる。
Figure JPOXMLDOC01-appb-M000005
 ここで行列Ｍの行列式は、以下の式６で表される。
Figure JPOXMLDOC01-appb-M000006
 したがって、αが以下の式７で表される範囲にあれば、|Ｍ|が非０になるので、逆行列Ｍ-1が存在することになる。
Figure JPOXMLDOC01-appb-M000007
 逆行列Ｍ-1が存在すれば、以下の式８により、Ｉ0、Ｉ45、Ｉ90から輝度ＩL、ＩR、ＩCが算出される。
Figure JPOXMLDOC01-appb-M000008
 なお、α＝９０°では、行列Ｍの行列式＝０となって解が得られない。たとえば、０、Ψ１、Ψ２という任意の偏光照射角の組み合わせの場合、式（６）は以下のようになるからである。
Figure JPOXMLDOC01-appb-M000009
　このことからαが９０°以外の角であることは本発明の必要条件である。この点、一対の偏光フィルタが有する偏光透過軸を直交させる多くの偏光利用のシステムとは構成上大きく異なる。
　なお、今回は未知数の数と同じ数の偏光照明角を用いたが、より多くの偏光照明角にて観測し、逆行列を用いずに最小２乗法的に連立方程式を解いてもかまわない。たとえば偏光回転角を０°、４５°、９０°、１３５°の４種類を用いてもかまわない。
Figure JPOXMLDOC01-appb-M000010
　（式６）では、行列Ｍの行列式が非ゼロであることからＭの階数＝３である。そこで、Ｍに１行を付け加えて新たに作られた４×３行列Ｈの階数も３であることが結論でき、ＨとＨの転置行列を乗算するとその結果の３×３行列の階数＝３であり、逆行列が存在する。そこで、以下の式のように最小２乗解を求めることができる。
Figure JPOXMLDOC01-appb-M000011
　次に、図１２を参照して、画像処理プロセッサ１０８における画像処理の例を説明する。図１２は、画像処理プロセッサ１０８における画像処理の流れを示すフローチャートである。
　前述したように、ステップＳ１００１において、照明光の偏光面を変えながら撮影する。次に、ステップＳ１００２において、逆行列を算出する。ステップＳ１００３において、複数画像から左右の複数視点画像ＬＬ、ＲＲ、および通常画像ＣＣを生成する。このように、本発明では、簡単な画素値演算で複数視点画像ＬＬとＲＲを作成することができる。
　表示画像処理部１２１では、画像ＬＬと画像ＲＲを立体視用の表示画像に変換する。たとえば、高速でＬＬ画像とＲＲ画像とを切り替えて表示させる。この際、通常画像ＣＣは表示をオン・オフのいずれでもかまわない。
　図１３は、複数視点画像ＬＬ、ＲＲと通常画像ＣＣとを、表示部に交互に表示することにより立体視と通常視とを適宜切り替えて観察している様子を示す。立体表示部１２２には、期間Ｔ１の間にはＬＬ画像のみが提示され（状態１１０１）、次の期間Ｔ２の間にはＲＲ画像のみが提示され（状態１１０２）、次の期間Ｔ３の間にはＣＣ画像のみが提示される（状態１１０３）。この映像は偏光フィルタ板などを透過させることによって直線または円偏光の光１１０７として発光する。観察者は液晶シャッタなどから構成される観察メガネ１２３をかけてこれを観察する。観察メガネの液晶シャッタは、立体表示部１２２に同期して偏光１１０７に対してオープン（透過）とクローズ（遮断）を繰り返す。すなわち、期間Ｔ１の間はＬ液晶シャッタがオープンでＲ液晶シャッタがクローズ（状態１１０４）となる。期間Ｔ２の間はＬ液晶シャッタがクローズでＲ液晶シャッタがオープン（状態１１０５）となる。期間Ｔ３の間はＬ液晶シャッタ、Ｒ液晶シャッタともにオープン（状態１１０６）となる。短時間に期間Ｔ１と期間Ｔ２を繰り返すことによって人間の視覚系では立体視が成立する。
　図１４は、時間軸上で期間Ｔ１，Ｔ２，Ｔ３の組み合わせを示す図である。図１４（ａ）は、立体視期間と通常視期間が切り替えられる場合を示している。内視鏡への適用では、通常視期間を利用して従来のカラー画像の観察を実施し、たとえば胃内部の全体的なスクリーニング観察を行う。この場合はカメラと照明が胃壁から遠距離（約５０ｍｍ以上）に位置するため、照明光を有効に使う必要があり、明るい感度のよいＣＣ画像を用いて観察する。そして一旦病変部を発見した場合には、患部に接近（たとえば５ｍｍ以下）するため、照明光が十分明るくなりその結果、左右の小面積の偏光フィルタ領域ＬおよびＲを透過した光による感度が低下した画像でも、十分観察が容易になる。そのため、立体視に切り替えて病変部の凹凸を詳細に観察するという両方の特性を生かした使い方ができる。動作としては立体視期間には、期間Ｔ１と期間Ｔ２が繰り返され、通常視は期間Ｔ３だけが継続するようにする。
　図１４（ｂ）は、立体視と通常視が混合している場合を示している。この例では、期間Ｔ１，Ｔ２，Ｔ３が交互に繰り返される。この場合は、立体視の期間には光量が低下し感度低下が発生していることから、期間Ｔ１と期間Ｔ２を期間Ｔ３に比べて若干長めにしてもよい。
　表示画像処理部１２１はさらに追加の処理を行ってもよい。たとえば画像ＣＣは視差を示す画像ではないが、複数視点画像と類似している箇所も有り得る。このため、類似している場所は複数視点画像に画像ＣＣを加えることにより、感度の高い複数視点画像ＬＬ及びＲＲを生成することもできる。
　以上の処理によって内視鏡で臓器の壁の表面の凹凸を立体視できる。このため、本実施形態によれば、内視鏡の欠点の１つである表面凹凸の観察が困難である、という課題を解決することができる。
　上記の実施形態では、偏光フィルタ領域の個数は２であるが、本発明における偏光フィルタ領域の個数は３個以上であってもよい。また、各偏光フィルタの位置は、水平方向にシフトしている必要はなく、垂直方向および／または斜め方向にシフトしていても、複数視点画像は得られる。そのような複数視点画像が得られれば、被写体表面の凹凸に関する３次元情報または視差画像を求めることが可能である。
　（第２の実施形態）
　次に、本発明の第２の実施形態を説明する。
　本実施形態の立体画像撮影装置と実施形態１における立体画像撮影装置との相違点は、照明光が直線偏光光ではない点にある。
　図１５は、本実施形態における立体画像撮影装置の全体構成を模式的に示す図である。本実施形態では、光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して、非偏光のまま被写体に照射される。すなわち、先端部１１３は、実施形態１における偏光面制御素子１０６を備えている必要がない。また、制御装置１０２は、同期装置１１２を備えている必要もない。
　本実施形態では、被写体で反射された光は、入射光透過部１２０の偏光フィルタ領域Ｒ、Ｌを透過することにより、初めて直線偏光光になる。本実施形態では、照明光を偏光させる代わりに、偏光透過軸の方向が異なる偏光フィルタのモザイクアレイが撮像素子１１４の撮像面に配置されている。
　図１６（ａ）および（ｂ）は、それぞれ、本実施形態における撮像素子１１４の撮像面の構成例を示す図である。図１６（ｂ）に示すように、カラーモザイクフィルタの代わりに偏光透過軸の方向が異なる偏光フィルタのアレイが設置されている。個々の光感知セルは、光電変換により、偏光フィルタを介して入射した光の量に応じて電気信号を生成する。図１６（ｂ）における「０」、「４５」、「９０」は、それぞれ、偏光透過軸の方向が基準方向に対して０°、４５°、９０°をなすように配置された偏光フィルタを意味している。また、図中の「Ｃ」は、透明領域を意味する。
　撮像素子１１４に設ける偏光フィルタの偏光透過軸の方向を３種類以上に設定することは、照明光の偏光面を３種類上の角度に回転されることに相当する。言い換えると、実施形態１における照明光の偏光角ΨIが、撮像素子１１４に設ける偏光フィルタの偏光透過軸の方向に対応する。このため、実施形態１について説明した各式における偏光角ΨIの値として、撮像素子１１４における偏光フィルタの偏光透過軸の角度を与えればよい。
　このように本実施形態によれば、直線偏光光を照明光として用いる必要もなく、また、照明光の偏光面を回転させる必要がなくなる。その結果、本実施形態によれば、動画であっても、必要な表面情報を得やすいという利点がある。ただし、偏光フィルタアレイを撮像素子１１４に設ける必要があるため、カラーモザイクフィルタを用いることが困難になる。このため、本実施形態は、モノクロ画像を取得する場合に特に有効である。
　（第３の実施形態）
　次に、本発明の第３の実施形態を説明する。
　本実施形態の立体画像撮影装置と実施形態１における立体画像撮影装置との相違点は、入射光透過部１２０における偏光フィルタ領域の構成にある。
　図１７は、本実施形態における入射光透過部１２０を示す図である。図１７（ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図である。図１７（ｂ）は、入射光透過部１２０の断面を示す図である。図１７（ａ）に示されるように、入射光透過部１２０は、光学的に透明な透明領域Ｃと、偏光フィルタが付加された同心円状の偏光フィルタ領域ＬおよびＲとから構成されている。偏光フィルタ領域ＬおよびＲは、それぞれ、輪帯状の形状を有し、透明領域Ｃの周りを同心円状に囲んでいる。輪帯状の偏光フィルタ領域（Ｌ、Ｒ）の中心は、それぞれ、透明領域Ｃの中心に一致している。
　フィルタ領域Ｌに付加された偏光フィルタの透過軸と、フィルタ領域Ｒに付加された偏光フィルタの透過軸との間には、一定の角度差αが（０°＜α＜９０°）与えられている。
　図１８は、本実施形態における立体画像撮影装置の全体構成を模式的に示す図である。入射光透過部１２０の構成以外の点では、実施形態１における立体画像撮影装置の構成と同一である。このため、実施形態１について説明したことを、ここでは繰り返さない。なお、本実施形態では、後述する第４、第５の実施形態と同様に、観察メガネ１２３の着用は不要である。
　図１９（ａ）は、フィルタ領域Ｌにおける偏光フィルタの透過軸の角度を０°、フィルタ領域Ｒにおける偏光フィルタの透過軸の角度を４５°に設定した入射光透過部を示している。透過軸の角度についても、図５に示す角度ΨＩと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは４５°である。図１９（ｂ）は、被写体を照射する照明光の偏光面の角度を示しており、これは、被写体からの戻り光の偏光面の角度に相当している。図１９（ａ）に示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Ｌにおける偏光フィルタの透過軸の角度は、０°以外の角度に設定してもよい。
　本実施形態では、入射光透過部１２０が同心円状の偏光フィルタ領域Ｌ、Ｒを備えているため、実施形態１、２について説明したような、左右に視差を有する複数視点画像を得ることはできない。しかし、本実施形態によれば、撮影レンズ１０９の外周部に近い領域を通過する光線からなる像と、撮影レンズ１０９の中心に相対的に近い領域を通過する光線からなる像とを同時に取得することが可能になる。そして、実施形態１について説明した式８または式１１を用いて画像処理を行えば、Ｉ0、Ｉ45、Ｉ90から輝度ＩL、ＩR、ＩCを得ることができる。本実施形態における輝度ＩL、ＩR、ＩCは、それぞれ、入射光透過部１２０の偏光フィルタ領域Ｌ、偏光フィルタ領域Ｒ、透明領域Ｃを透過した光による輝度である。
　こうして得られた輝度ＩL、ＩR、ＩCに基づくと、レンズ開口サイズ（Ａｐｅｒｔｕｒｅ　Ｓｉｚｅ）が異なる像を得ることができる。すなわち、本実施形態によれば、画像処理により、画素信号に基づいて、入射光透過部１２０の透明領域Ｃおよび内側の偏光フィルタ領域Ｒを透過した光によって形成される画像と、透明領域Ｃ、内側の偏光フィルタ領域Ｒおよび外側の偏光フィルタ領域Ｌを透過した光によって形成される画像とを形成する。
　フォーカス外れによる画像のぼやけ（Ｄｅｆｏｃｕｓ　Ｂｌｕｒ）を規定する点広がり関数のブラーカーネルは、レンズ開口サイズに依存することが知られている。このため、異なるレンズ開口サイズでの複数の画像から、焦点面から被写体表面までの距離、言い換えると被写体表面の奥行情報を求めることができる。このような奥行情報が得られると、焦点面の位置を任意に設定した画像を生成することが可能になる。焦点面の位置が変化すると、それに応じてフォーカス外れによるぼやけた画像が得られる。被写体表面のうち、焦点面上に位置する部分の像がぼやけず、焦点面からの距離が大きい部分の像は大きくぼやけることになる。焦点面を変化させながら、そのような画像を表示部に表示させると、被写体を立体的に知覚することが可能になる。異なるレンズ開口サイズでの複数の画像から、画像処理により、被写体表面の奥行情報を取得する技術は、例えば非特許文献２に開示されている。
　（第４の実施形態）
　次に、本発明の第４の実施形態を説明する。
　本実施形態の立体画像撮影装置と実施形態３における立体画像撮影装置との相違点は、照明光が直線偏光光ではない点にある。
　図２０は、本実施形態における立体画像撮影装置の全体構成を模式的に示す図である。本実施形態では、光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して、非偏光のまま被写体に照射される。すなわち、先端部１１３は、実施形態１における偏光面制御素子１０６を備えている必要がない。また、制御装置１０２は、同期装置１１２を備えている必要もない。
　本実施形態では、被写体で反射された光は、入射光透過部１２０の偏光フィルタ領域Ｒ、Ｌを透過することにより、初めて直線偏光光になる。本実施形態では、照明光を偏光させる代わりに、偏光透過軸の方向が異なる偏光フィルタのモザイクアレイが撮像素子１１４の撮像面に配置されている。
　本実施形態における撮像素子１１４の撮像面の構成例は、図１６（ａ）および（ｂ）に示すものと同一である。本実施形態によれば、実施形態２と同様に、直線偏光光を照明光として用いる必要もなく、また、照明光の偏光面を回転させる必要がなくなる。その結果、本実施形態によれば、動画であっても、必要な表面情報を得やすいという利点がある。ただし、偏光フィルタアレイを撮像素子１１４に設ける必要があるため、カラーモザイクフィルタを用いることが困難になる。このため、本実施形態は、モノクロ画像を取得する場合に特に有効である。
　（第５の実施形態）
　次に、図２１を参照して本発明の第５の実施形態を説明する。図２１（ａ）は、本実施形態における入射光透過部１２０を示す平面図である。本実施形態の立体画像撮影装置が図１で示す基本構成から異なる部分は、入射光透過部１２０の部分のみである。本実施形態の入射光透過部１２０では、透明領域ＣＬが中心部に位置し、同心状の１つの偏光フィルタ領域Ｒが外側に配置される。入射する偏光照明は、図２１（ｂ）に示すように、偏光面の角度を０°と４５°の２種として２枚の画像を撮像すればよい。透明領域を透過した光の輝度をＩＣＬ、偏光フィルタ領域を透過した光の輝度をＩＲとして、照明偏光角度が０°と４５°における観測輝度を、それぞれ、I0、I45とすると、実施形態１と同様に、以下の式が成立する。
Figure JPOXMLDOC01-appb-M000012
 これを解くと、以下の式が得られる。
Figure JPOXMLDOC01-appb-M000013
 なお、この実施形態では、照明の偏光回転角を他の角度に設定してもよい。行列Ａの行列式は、以下の式１４で表される。
Figure JPOXMLDOC01-appb-M000014
 したがって、Ψは、たとえば０°と９０°でもよい。
　この実施形態では、レンズを通る光を、入射光透過部１２０を用いて２分割するだけなので構成が簡素になる利点がある。本実施形態でも、レンズ開口サイズの異なる画像を取得することができる。
　以上述べたように本発明の好ましい実施形態では、入射光透過部１２０に遮光部が無いので、単眼でも明るい複数視点画像または異なるレンズ開口サイズの画像を得ることができる。
　演算により、偏光フィルタ領域を透過した光から透明領域を透過した光を分離できるため、従来の通常レンズを用いた撮像系と同様の通常のカラーまたはモノクロ観察も同時に可能となる。このため、従来の技術のように撮像光学系が２重に必要になることもない。すなわち本実施形態の内視鏡は、立体視のための視差画像などの取得と従来の輝度画像撮像の両方を１つの動作モードにて同時に取得することができるという大きな利点がある。
　本発明は、医療用内視鏡、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。
１０１　内視鏡
１０２　制御装置
１０３　挿入部
１０４　光源
１０５　ライトガイド
１０６　偏光面制御素子
１０７　照明レンズ
１０８　画像処理プロセッサ
１０９　撮影レンズ
１１０　従来のカラー撮像素子
１１１　映像信号線
１１２　同期装置
１１３　先端部
１１４　偏光撮像素子
１１５　照射される偏光
１１６　戻り光の偏光
１２０　入射光透過部
１２１　表示画像処理部
１２２　立体表示部
１２３　観察メガネ
１２４　被写体表面
ＣＣ　　通常画像
ＬＬ　　左視差画像
ＲＲ　　右視差画像
Ｃ　　　透明領域

Claims (12)

  1. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
    　前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
    　画像処理部と、
    を備え、
    　前記撮像部は、
    　前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、
    　前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
    　前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
    を有し、
    　前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、
    　前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する、立体画像撮影装置。
  2. 　前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が２種類以上に順次変化する直線偏光を照射する請求項１に記載の立体画像撮影装置。
  3. 　前記画像処理部は、偏光面の角度が異なる３種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項１に記載の立体画像撮影装置。
  4. 　偏光面の角度が基準方向に対してθ1°である第１の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ1、偏光面の角度が前記基準方向に対してθ2°である第２の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ2、偏光面の角度が前記基準方向に対してθ3°である第３の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ3とするとき、
    　前記画像処理部は、画素信号Ｉθ1、Ｉθ2、Ｉθ3を用いた演算を行うことにより、前記複数の画像の各々を生成する、請求項１から３のいずれかに記載の立体画像撮影装置。
  5. 　前記撮像部は、前記撮像素子として、モノクロ撮像素子またはカラー撮像素子を有している請求項１に記載の立体画像撮影装置。
  6. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
    　前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
    を備え、
    　前記撮像部は、
    　前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、
    　前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
    　前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
    を有し、
    　前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている、内視鏡。
  7. 　被写体を撮像する撮像部と、
    　画像処理部と、
    を備え、
    　前記撮像部は、
    　光源によって照明された前記被写体からの戻り光を結像するレンズと、
    　前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
    　前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、
    　前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
    を有し、
    　前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、
    　前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する、立体画像撮影装置。
  8. 　前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項７に記載の立体画像撮影装置。
  9. 　前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して同心円状に配置された内側フィルタ領域および外側フィルタ領域を含む請求項７に記載の立体画像撮影装置。
  10. 　前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記透明領域および前記内側フィルタ領域を透過した光によって形成される画像と、前記入射光透過部の前記透明領域、前記内側フィルタ領域および前記外側フィルタ領域を透過した光によって形成される画像とを形成する、請求項９に記載の立体画像撮影装置。
  11. 　前記撮像部は、前記撮像素子として、モノクロ撮像素子を有している請求項７に記載の立体画像撮影装置。
  12. 　非偏光光を被写体に照射する照明部と、
    　前記非偏光光によって前記被写体が照射されているときに、前記被写体を撮像する撮像部と、
    を備え、
    　前記撮像部は、
    　前記照明部によって照明された前記被写体からの戻り光を結像するレンズと、
    　前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
    　前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、
    　前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
    を有し、
    　前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている、内視鏡。
PCT/JP2012/000001 2011-02-01 2012-01-04 立体画像撮影装置および内視鏡 WO2012105157A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012518660A JP5053468B2 (ja) 2011-02-01 2012-01-04 立体画像撮影装置および内視鏡
CN201280002286.6A CN103053168B (zh) 2011-02-01 2012-01-04 立体图像拍摄装置和内窥镜
US13/571,998 US9282881B2 (en) 2011-02-01 2012-08-10 3D image shooting apparatus and endoscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011020084 2011-02-01
JP2011-020084 2011-02-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/571,998 Continuation US9282881B2 (en) 2011-02-01 2012-08-10 3D image shooting apparatus and endoscope

Publications (1)

Publication Number Publication Date
WO2012105157A1 true WO2012105157A1 (ja) 2012-08-09

Family

ID=46602387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000001 WO2012105157A1 (ja) 2011-02-01 2012-01-04 立体画像撮影装置および内視鏡

Country Status (4)

Country Link
US (1) US9282881B2 (ja)
JP (1) JP5053468B2 (ja)
CN (1) CN103053168B (ja)
WO (1) WO2012105157A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014108193A (ja) * 2012-11-30 2014-06-12 Panasonic Corp 画像処理装置および内視鏡
WO2016085112A1 (ko) * 2014-11-28 2016-06-02 (주) 스마트메디칼디바이스 일회용 내시경 커버 본체와 그 커버 본체를 사용하는 내시경
CN109923543A (zh) * 2016-12-16 2019-06-21 谷歌有限责任公司 通过生成视频帧的多个部分的指纹来检测立体视频的方法、系统和介质
CN110929691A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种冰层检测方法、装置、设备及可读存储介质
US11977182B2 (en) 2019-09-18 2024-05-07 Kabushiki Kaisha Toshiba Optical imaging apparatus, robot hand, moving body, and LiDAR apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013109005A1 (de) * 2013-08-20 2015-02-26 Khs Gmbh Vorrichtung und Verfahren zur Identifikation von Codierungen unter Folie
CN106643642B (zh) * 2015-10-29 2019-05-10 原相科技股份有限公司 双孔径测距系统
JP6807546B2 (ja) * 2016-11-15 2021-01-06 パナソニックＩｐマネジメント株式会社 画像形成装置
WO2018189853A1 (ja) * 2017-04-13 2018-10-18 オリンパス株式会社 立体視内視鏡光学系及びそれを備えた内視鏡
CN107238374B (zh) * 2017-05-04 2019-05-07 华南农业大学 一种不规则平面零件的分类和识别定位方法
US10365554B1 (en) * 2018-04-04 2019-07-30 Intuitive Surgical Operations, Inc. Dynamic aperture positioning for stereo endoscopic cameras
JP7684658B2 (ja) * 2019-11-29 2025-05-28 マシンビジョンライティング株式会社 形状復元方法及び画像測定装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990241A (ja) * 1995-09-20 1997-04-04 Terumo Corp 内視鏡
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2003222804A (ja) * 2001-10-31 2003-08-08 Olympus Optical Co Ltd 光学観察装置及びこれに用いる立体画像入力光学系
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法
WO2011142062A1 (ja) * 2010-05-11 2011-11-17 パナソニック株式会社 ３次元撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5424535A (en) * 1993-04-29 1995-06-13 The Boeing Company Optical angle sensor using polarization techniques
US5649897A (en) 1994-11-02 1997-07-22 Terumo Kabushiki Kaisha Endoscope apparatus for compensating for change in polarization state during image transmission
JPH11313242A (ja) 1998-04-28 1999-11-09 Nippon Hoso Kyokai <Nhk> 撮像用光学機器および撮像装置
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
JP2003098570A (ja) 2001-09-21 2003-04-03 Fuji Photo Optical Co Ltd 内視鏡
US7101334B2 (en) * 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
CN100457020C (zh) * 2003-06-23 2009-02-04 微视公司 扫描内窥镜
US7448995B2 (en) 2003-06-23 2008-11-11 Microvision, Inc. Scanning endoscope
US8004675B2 (en) 2007-09-20 2011-08-23 Boss Nova Technologies, LLC Method and system for stokes polarization imaging
JP4600476B2 (ja) * 2007-12-28 2010-12-15 日本電気株式会社 微細構造物の欠陥検査方法及び欠陥検査装置
JP5057389B2 (ja) 2008-03-31 2012-10-24 富士フイルム株式会社 撮像装置
JP2010104422A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法
JP5454187B2 (ja) 2009-03-27 2014-03-26 日立金属株式会社 ケーブル固定方法及びケーブル接続部
US8570530B2 (en) * 2009-06-03 2013-10-29 Carestream Health, Inc. Apparatus for dental surface shape and shade imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990241A (ja) * 1995-09-20 1997-04-04 Terumo Corp 内視鏡
JP2001016611A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置及びカメラ
JP2003222804A (ja) * 2001-10-31 2003-08-08 Olympus Optical Co Ltd 光学観察装置及びこれに用いる立体画像入力光学系
JP2010104424A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法
WO2011142062A1 (ja) * 2010-05-11 2011-11-17 パナソニック株式会社 ３次元撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014108193A (ja) * 2012-11-30 2014-06-12 Panasonic Corp 画像処理装置および内視鏡
WO2016085112A1 (ko) * 2014-11-28 2016-06-02 (주) 스마트메디칼디바이스 일회용 내시경 커버 본체와 그 커버 본체를 사용하는 내시경
CN109923543A (zh) * 2016-12-16 2019-06-21 谷歌有限责任公司 通过生成视频帧的多个部分的指纹来检测立体视频的方法、系统和介质
US11977182B2 (en) 2019-09-18 2024-05-07 Kabushiki Kaisha Toshiba Optical imaging apparatus, robot hand, moving body, and LiDAR apparatus
EP3796081B1 (en) * 2019-09-18 2025-04-30 Kabushiki Kaisha Toshiba Optical imaging apparatus, robot hand, moving body, and lidar apparatus
CN110929691A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种冰层检测方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
JP5053468B2 (ja) 2012-10-17
CN103053168B (zh) 2015-11-25
CN103053168A (zh) 2013-04-17
US20120300033A1 (en) 2012-11-29
US9282881B2 (en) 2016-03-15
JPWO2012105157A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
JP5053468B2 (ja) 立体画像撮影装置および内視鏡
JP4971532B1 (ja) 立体画像撮影装置および内視鏡
US10247866B2 (en) Imaging device
CN103513440B (zh) 成像设备
JP6156787B2 (ja) 撮影観察装置
JP6010895B2 (ja) 撮像装置
US20140055661A1 (en) Imaging device and imaging system
JPWO2015015717A1 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
AU2019221088B2 (en) Method and system for calibrating a plenoptic camera system
CN108073016A (zh) 图像形成装置
JP5740559B2 (ja) 画像処理装置および内視鏡
JP2011191517A (ja) 実体顕微鏡および顕微鏡用制御装置
Kagawa et al. Deep-focus compound-eye camera with polarization filters for 3D endoscopes
Kagawa et al. Variable field-of-view visible and near-infrared polarization compound-eye endoscope
JP6160749B2 (ja) 内視鏡用アダプタ
CN106772981A (zh) 偏振式动态实时体视显微成像装置及方法
JP2007108626A (ja) 立体映像生成システム
WO2017064746A1 (ja) 撮像装置、内視鏡装置及び撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280002286.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012518660

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12741694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12741694

Country of ref document: EP

Kind code of ref document: A1