[go: up one dir, main page]

WO2020026433A1 - 撮像システムおよび内視鏡装置 - Google Patents

撮像システムおよび内視鏡装置 Download PDF

Info

Publication number
WO2020026433A1
WO2020026433A1 PCT/JP2018/029222 JP2018029222W WO2020026433A1 WO 2020026433 A1 WO2020026433 A1 WO 2020026433A1 JP 2018029222 W JP2018029222 W JP 2018029222W WO 2020026433 A1 WO2020026433 A1 WO 2020026433A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
serial
imaging
digital
unit
Prior art date
Application number
PCT/JP2018/029222
Other languages
English (en)
French (fr)
Inventor
秀一 加藤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020534015A priority Critical patent/JP7152490B2/ja
Priority to PCT/JP2018/029222 priority patent/WO2020026433A1/ja
Publication of WO2020026433A1 publication Critical patent/WO2020026433A1/ja
Priority to US17/161,849 priority patent/US11969154B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to an imaging system and an endoscope apparatus using the same.
  • an affected part in a patient's body is photographed by a solid-state imaging device provided at a distal end of an insertion unit, and a signal of an image photographed by the solid-state imaging device is transmitted to a main unit by a signal line provided in the insertion unit.
  • a CCD (Charge Coupled Device) type image sensor has conventionally been used as a solid-state imaging device.
  • a CMOS (Complementary Metal-Oxide Semiconductor) image sensor has been conventionally used as a general solid-state imaging device.
  • adoption of a CMOS image sensor as a solid-state imaging device has been postponed because of poor image quality.
  • CMOS image sensors have been adopted in many fields as solid-state imaging devices replacing CCD image sensors. Therefore, adoption of a CMOS image sensor as a solid-state imaging device in an endoscope device is being studied. In the endoscope apparatus, by switching the CCD image sensor to the CMOS image sensor, effects such as reduction in power consumption, realization of multiple functions, and reduction in the diameter of the insertion portion are expected.
  • a CMOS image sensor can be driven by a single voltage power supply. For this reason, in the endoscope apparatus, the number of power lines is reduced by employing a CMOS image sensor as a solid-state imaging device, as compared with a case where a CCD image sensor requiring a plurality of voltage power supplies is employed. The diameter of the insertion portion can be reduced. In addition, in the endoscope device, by using a CMOS image sensor as the solid-state imaging device, the voltage of the power supply can be set lower than when a CCD image sensor is used, and lower power consumption can be achieved. Can be realized.
  • the size of the CMOS image sensor can be smaller than that of the CCD image sensor due to the difference in the structure of the pixels arranged in the pixel portion that receives light. For this reason, in the endoscope apparatus, by adopting the CMOS image sensor as the solid-state imaging device, it is possible to more easily reduce the size of the distal end of the insertion portion than when using the CCD image sensor. .
  • CMOS image sensor needs to be manufactured using a dedicated manufacturing process for a CCD image sensor, but is manufactured using the same manufacturing process as an integrated circuit such as another general LSI. can do. Therefore, the CMOS image sensor can easily cope with SOC (System ⁇ On ⁇ Chip), and can realize a multi-functional solid-state imaging device. As a result, in the endoscope apparatus, by adopting the CMOS image sensor as the solid-state imaging device, multifunctionality can be easily realized.
  • an analog pixel signal output from the CCD image sensor is transmitted to a main body unit through a thin signal line provided in an elongated insertion unit. Therefore, it is necessary to ensure the quality of the transmitted analog signal (pixel signal) by driving the pixel signal with a large drive circuit. Therefore, it is conceivable to adopt a configuration in which an endoscope apparatus employing a CCD image sensor as a solid-state imaging device converts an analog pixel signal into a digital pixel signal and transmits the digital pixel signal to the main body.
  • peripheral circuits such as a drive signal generation circuit and an AD (analog-digital) conversion circuit are inserted into the insertion section as a separate chip from the CCD image sensor. It is necessary to arrange at the front end of the head, so that the number of components arranged at the front end increases.
  • peripheral circuits including not only a drive signal generation circuit and an AD conversion circuit but also processing circuits such as a CDS (Correlated Double Sampling: correlated double sampling) circuit and an image processing circuit are included. It can be formed inside a CMOS image sensor.
  • CMOS image sensor a technique has been established in which pixels and peripheral circuits are formed on different semiconductor substrates, and the respective semiconductor substrates are stacked to form one CMOS image sensor. Therefore, in the CMOS image sensor, even if peripheral circuits are formed inside, the size (size) of the semiconductor substrate, that is, the chip area (projection area) of the CMOS image sensor does not increase. . For this reason, even when the endoscope apparatus adopts the CMOS image sensor as the solid-state imaging device and transmits digital pixel signals to the main body, the endoscope apparatus adopts the CCD image sensor. Thus, the number of components arranged at the distal end can be reduced, and the distal end of the insertion section can be downsized.
  • the CMOS image sensor can be driven by a single voltage power supply, the pixels are small, and peripheral circuits such as a drive signal generation circuit are formed inside.
  • the insertion portion can be reduced in diameter by taking advantage of advantages over the CCD type image sensor, such as the fact that it can be performed.
  • the operation and execution of various functions including the photographing function provided in the CMOS image sensor are performed from the main body.
  • the main unit rewrites a setting value stored in a register holding a setting corresponding to each function provided in the multi-functionalized CMOS image sensor, thereby operating each function. And control the execution.
  • the main body is provided with a mechanism for controlling rewriting of a register provided in the CMOS image sensor.
  • a serial communication method can be used as a method of controlling rewriting of a register provided in the CMOS image sensor.
  • the serial communication system with the least number of control signals in the conventional general technology is a two-wire serial communication system.
  • Examples of the two-wire serial communication method include an I2C (Inter-Integrated Circuit) serial communication method.
  • CMOS image sensor when a multi-functionalized CMOS image sensor is adopted as a solid-state imaging device in an endoscope device, at least two lines are used for a control signal for controlling rewriting of a register even when considering I2C serial communication. A new signal line is required.
  • the chip area (projection area) of the CMOS image sensor As the chip area (projection area) of the CMOS image sensor is reduced, the number of signal lines connected to external circuits, that is, the pads formed on the semiconductor substrate of the CMOS image sensor, increases as the chip area is reduced.
  • the insertion portion can be reduced in diameter by employing a CMOS image sensor as the solid-state imaging device, but the insertion portion can be further reduced in diameter. In order to realize this, it is required to reduce the number of signal lines provided in the insertion portion connected to the CMOS image sensor.
  • Patent Literature 1 and Patent Literature 2 disclose techniques for reducing a part of a control signal.
  • a camera main side multiplexes a control signal for controlling a camera head unit with a synchronization signal and transmits the signal, and also superimposes a clock signal on a power supply line and transmits the signal.
  • the number has been reduced.
  • a clock signal is separated in a camera head unit, and a control signal multiplexed with a synchronization signal is separated based on the separated clock signal.
  • the camera head operates according to the control from the camera main side in accordance with the control signal.
  • the number of signal lines is reduced by superimposing carrier waves for communication between modules on power lines.
  • communication is performed between the modules by separating a carrier wave superimposed on a power line.
  • an insertion portion connected to the CMOS image sensor can be provided.
  • the number of signal lines provided can be reduced. More specifically, in the endoscope apparatus, when considering a configuration in which a register provided in a CMOS image sensor is rewritten by I2C serial communication, a main body unit supplies a serial clock signal SCL supplied to the register through a dedicated signal line to a power supply. By superimposing on a line, one dedicated signal line for transmitting the serial clock signal SCL in the I2C serial communication can be reduced.
  • Patent Literature 1 and Patent Literature 2 have a configuration in which a signal superimposed on a power supply line (power line) is separated on a controlled side. If this is applied to a CMOS image sensor whose register is rewritten by I2C serial communication, the serial clock signal SCL superimposed on the power supply line is separated inside the CMOS image sensor, and based on the separated serial clock signal SCL.
  • the configuration is such that the set value represented by the serial data signal SDA in the I2C serial communication supplied from the main body unit through a dedicated signal line is rewritten. That is, it is necessary to provide a mechanism for separating the serial clock signal SCL superimposed on the power supply line inside the CMOS image sensor.
  • the mechanism for separating the serial clock signal SCL provided in this register causes an increase in the circuit scale of the CMOS image sensor.
  • the present invention has been made based on the above problem, and provides an imaging system capable of reducing a part of serial communication signals used in a solid-state imaging device, and an endoscope apparatus using the imaging system. It is intended to be.
  • an imaging system includes a solid-state imaging device in which a plurality of pixels are arranged in a two-dimensional matrix and transmits an imaging signal of a continuous image taken, and a transmission from the solid-state imaging device. And a control device that controls the operation of the solid-state imaging device, the solid-state imaging device includes a pixel unit that acquires the imaging signal, and a solid-state imaging device.
  • a register for storing a set value defining an operation, a processing circuit for converting the image signal into a digital image signal by performing analog / digital conversion on the image signal, and a first serial signal for synchronizing with a horizontal synchronizing signal of the photographed image
  • a frame forming unit that generates a serial digital transmission signal embedded in the digital imaging signal as a clock signal; and a data transmission unit that transmits data of the digital transmission signal.
  • the control device generates a second serial clock signal synchronized with the first serial clock signal embedded in the digital imaging signal included in the transmitted digital transmission signal.
  • a clock generation unit; and a register setting unit that transmits a register setting signal for controlling the register in synchronization with the second serial clock signal, wherein the register includes the transmitted register setting signal. Is determined using the first serial clock signal, and the set value is stored according to the determination result.
  • the first serial clock signal may be a horizontal synchronization signal corresponding to the image.
  • the frequency of the first serial clock signal may be 1 kHz or more and 500 kHz or less.
  • the data transmission unit converts the data of the digital transmission signal into two differential signals.
  • the register setting unit may transmit the register setting signal as one single signal.
  • the register setting unit performs only transmission of the register setting signal, The reception need not be performed.
  • the solid-state imaging device oscillates and outputs a reference clock signal.
  • Circuit wherein the register setting unit causes the register to store a setting signal of an oscillation frequency of the reference clock signal, and the clock oscillation circuit stores the setting signal of the oscillation frequency stored in the register.
  • the reference clock signal having a frequency according to the reference may be oscillated.
  • an endoscope apparatus is an endoscope apparatus configured to include the imaging system according to any one of the first to sixth aspects.
  • the solid-state imaging device is disposed at a distal end of an insertion section, and the control device is disposed in a main body.
  • an imaging system capable of reducing some signals of serial communication used in a solid-state imaging device, and an endoscope apparatus using the imaging system.
  • FIG. 1 is a configuration diagram illustrating a schematic configuration of an endoscope apparatus according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging system according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a configuration of a frame of a moving image transmitted to a control device by a solid-state imaging device included in the imaging system according to the embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an example of a schematic configuration of a clock oscillation circuit provided in a solid-state imaging device included in an imaging system according to an embodiment of the present invention.
  • 5 is a timing chart illustrating a relationship between respective signals of serial communication in the imaging system according to the embodiment of the present invention.
  • FIG. 1 is a configuration diagram illustrating a schematic configuration of an endoscope apparatus according to an embodiment of the present invention.
  • the endoscope apparatus 1 includes an endoscope scope unit 10 and a main body unit 20.
  • the endoscope apparatus 1 is, for example, an endoscope apparatus for a digestive organ.
  • the insertion portion of the endoscope scope unit 10 is inserted into the body of a patient (a subject to be inspected), and images a site to be observed such as a lesion tissue in a digestive organ of the subject.
  • the endoscope apparatus 1 captures an image of the region to be observed with the irradiated light.
  • the endoscope scope unit 10 includes an insertion unit 11 and an operation unit 12.
  • the insertion section 11 includes an imaging section 13 at the distal end.
  • the main body unit 20 includes an external processing unit 21 and a color monitor 22.
  • the operation section 12 of the endoscope scope section 10 and the external processing section 21 of the main body section 20 are connected by a universal cord 30.
  • both the operation unit 12 of the endoscope scope unit 10 and a light source device (not shown) provided in the main body unit 20 are provided by a light guide (not shown) that transmits light to be irradiated to a site to be observed. It is connected.
  • the endoscope scope unit 10 has the insertion unit 11 inserted into a digestive organ or the like in the body of the subject to be inspected, and captures an image of a site to be observed (hereinafter, referred to as “observed site”). At this time, the observation site is irradiated with illumination light guided by a light guide (not shown) from the distal end of the insertion section 11.
  • the endoscope scope unit 10 outputs (transmits) an imaging signal corresponding to the image of the observed region to the external processing unit 21 via a signal line in the universal cord 30.
  • the insertion section 11 is inserted into the body of the subject.
  • the imaging unit 13 at the distal end of the insertion unit 11 includes an image sensor that generates an imaging signal obtained by converting an image of an observation site into an electric signal.
  • the image sensor provided in the imaging unit 13 outputs (transmits) the generated imaging signal to the external processing unit 21 via the insertion unit 11, the operation unit 12, and the universal code 30.
  • the operation unit 12 is a support unit that controls the operations of the insertion unit 11 and the imaging unit 13 when operated by, for example, a tester (for example, a doctor performing digestive surgery).
  • the operation unit 12 includes an operation switch 14 for controlling the direction of inserting the distal end of the insertion unit 11 into the body of the examiner and controlling imaging in the endoscope apparatus 1. I have.
  • the operation switch 14 outputs, to the external processing unit 21 via the operation unit 12 and the universal code 30, an instruction signal for instructing imaging of an observation site, for example, in response to an operation performed by an examiner.
  • the external processing unit 21 is a control unit that controls observation and photographing of an observation site by an image sensor included in the imaging unit 13 of the endoscope 10.
  • the external processing unit 21 transmits a control signal for controlling the observation and photographing of the observation region by the image sensor included in the imaging unit 13 through the universal cord 30, the operation unit 12, and a signal line in the insertion unit 11. To be transmitted.
  • the external processing unit 21 receives an image signal of an observation region captured by an image sensor provided in the imaging unit 13 and transmitted through a signal line in the insertion unit 11, the operation unit 12, and the universal cord 30 in advance.
  • This is also an image processing apparatus that performs predetermined image processing and generates an image including a captured observation region.
  • the external processing unit 21 includes a control unit that controls shooting by an image sensor included in the imaging unit 13 and generates an image based on an imaging signal output from the image sensor.
  • the external processing unit 21 includes a light source device (not shown) that emits illumination light for irradiating the observation site under the control of the inspector when observing or photographing the observation site in the endoscope apparatus 1.
  • a light source device (not shown) that emits illumination light for irradiating the observation site under the control of the inspector when observing or photographing the observation site in the endoscope apparatus 1.
  • Illumination light emitted by a light source device is guided to the distal end of the insertion portion 11 of the endoscope 10 by, for example, a light guide (not shown) passing through the universal cord 30, the operation portion 12, and the insertion portion 11.
  • the image is radiated from the imaging unit 13 to the observation site.
  • the external processing unit 21 controls a light source device (not shown) to irradiate the observation site with illumination light.
  • the external processing unit 21 outputs the generated image signal of the image including the observation region to the color monitor 22 to display the image signal.
  • the color monitor 22 displays an image including an observation site according to the image signal input from the external processing unit 21.
  • the color monitor 22 is, for example, a display device such as a liquid crystal display (Liquid Crystal Display: LCD).
  • the endoscope apparatus 1 photographs an observation site such as a lesion tissue in the body of a patient (test subject). Then, the endoscope apparatus 1 presents an image including the captured observation region to the examiner.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the imaging system according to the embodiment of the present invention.
  • the imaging system 100 includes an image sensor 130 provided in the imaging unit 13 provided in the insertion unit 11 and a control unit 210 provided in the external processing unit 21 provided in the main body 20. Is done.
  • the image sensor 130 is a solid-state imaging device that exposes (detects) incident light under the control of the control unit 210 and outputs an electric signal obtained by photoelectrically converting the exposed light as an imaging signal.
  • the image sensor 130 is a multifunctional CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • the structure of the image sensor 130 is not particularly specified. Therefore, the image sensor 130 may have a structure in which all components are formed on one semiconductor substrate, or a semiconductor substrate in which pixels are formed and a semiconductor substrate in which components other than pixels are formed are stacked. It may be a structure.
  • the image sensor 130 captures a moving image under the control of the control unit 210, converts an imaging signal of the captured moving image into a digital imaging signal (hereinafter, “digital imaging signal”), and To be transmitted.
  • digital imaging signal digital imaging signal
  • the control unit 210 is a control device that controls the function of photographing in the image sensor 130 and the operation and execution of functions other than photographing provided in the image sensor 130.
  • the control unit 210 is also an image processing unit that generates an image obtained by performing predetermined image processing on a digital image pickup signal of a moving image transmitted from the image sensor 130.
  • the control unit 210 may be configured to include a processing device such as a CPU (Central Processing Unit), for example.
  • a predetermined clock (hereinafter, “serial clock”) is used for signal transmission between the image sensor 130 and the control unit 210.
  • a signal SCL) and a data signal synchronized therewith (hereinafter referred to as a “serial data signal SDA”) are used to control data.
  • the serial communication system with the least number of control signals in the existing serial communication system is an I2C (Inter-Integrated Circuit) serial communication in which data is controlled by two types of control signals. Controls data with a serial clock signal SCA and a serial data signal SDA according to I2C.
  • I2C Inter-Integrated Circuit
  • the serial clock signal SCL in the I2C serial communication is reduced in order to further reduce the number of signal lines between the image sensor 130 and the control unit 210. Therefore, in the imaging system 100, the image sensor 130 embeds a clock signal corresponding to the serial clock signal SCL in the I2C serial communication in the digital imaging signal and transmits the digital imaging signal to the control unit 210. Then, in the imaging system 100, the control unit 210 synchronizes the serial data signal SDA in the I2C serial communication with the clock signal corresponding to the serial clock signal SCL transmitted from the image sensor 130 embedded in the digital imaging signal. The data is transmitted to the image sensor 130.
  • the image sensor 130 uses the horizontal synchronization signal as a clock signal corresponding to the serial clock signal SCL as a digital imaging signal, that is, an LVDS differential signal (positive differential signal OUTP and differential negative signal OUTN). Shows a state in which the data is embedded and transmitted.
  • the control unit 210 transmits the serial data signal SDA to the image sensor 130 in synchronization with the horizontal synchronization signal (serial clock signal SCL) included in the LVDS differential signal and transmitted. It shows the state that it is doing.
  • the LVDS signal line for transmitting the digital imaging signal from the image sensor 130 to the control unit 210 includes a differential signal line 31P for transmitting the differential positive signal OUTP and a differential negative signal line. And a differential signal line 31N for transmitting the signal OUTN.
  • FIG. 2 also shows two power lines, a power line for supplying power from the control unit 210 to the image sensor 130 and a ground line.
  • the signal lines in the endoscope scope unit 10 and the universal cord 30 are connected to at least two power lines, a power line and a ground line, and a differential signal. It is possible to reduce the number to only two signal lines, that is, two differential signal lines of the line 31P and the differential signal line 31N and five signal lines of the serial signal line 32. Thus, in the endoscope apparatus 1 using the imaging system 100, the diameter of the endoscope scope unit 10 (particularly, the insertion unit 11) can be reduced.
  • the image sensor 130 includes a power supply circuit 1301, a pixel unit 1302, a vertical scanning circuit 1303, a column processing circuit 1304, a horizontal scanning circuit 1305, a serial access register 1306, a timing generator 1307, a frame configuration circuit 1308, An encoding circuit 1309, a line driver 1310, and an oscillator 1311 are provided.
  • the power supply circuit 1301 generates a power supply for each of the voltages used in the image sensor 130 based on the power supplied from the control unit 210 via two power lines, a power line and a ground line.
  • the power supply circuit 1301 supplies the generated power to each component included in the image sensor 130.
  • the oscillator 1311 is a clock oscillation circuit that generates a reference clock signal in the image sensor 130, a so-called master clock signal, based on a set value (parameter) stored in the serial access register 1306.
  • the oscillator 1311 generates (oscillates) a master clock signal having a frequency based on the set value (parameter) stored in the serial access register 1306.
  • the oscillator 1311 supplies the generated master clock signal to each component included in the image sensor 130.
  • the oscillator 1311 is used to transmit the master clock signal from the control unit 210 to the image sensor 130 in the imaging system 100, that is, to reduce the transmission line of the master clock signal between the image sensor 130 and the control unit 210.
  • the components included in the image sensor 130 Therefore, when the imaging system 100 is configured to transmit the master clock signal from the control unit 210 to the image sensor 130, the image sensor 130 may not include the oscillator 1311.
  • the pixel unit 1302 is a pixel array unit in which a plurality of pixels are arranged in a two-dimensional matrix. Each pixel arranged in the pixel portion 1302 generates a signal charge having a charge amount corresponding to the intensity of light incident on each arranged position, and accumulates the generated signal charge.
  • each of the plurality of pixels arranged in the pixel portion 1302 has an on-chip color filter that transmits light in the red (R) wavelength band and an on-chip color filter that transmits light in the green (G) wavelength band. Any one of a chip color filter and an on-chip color filter that transmits light in the blue (B) wavelength band is attached. Thereby, the image sensor 130 accumulates the color signal charges generated according to the intensity of the incident light.
  • the vertical scanning circuit 1303 drives each pixel in the pixel unit 1302 for each row under the control of the timing generator 1307, and outputs a voltage signal corresponding to the signal charge accumulated in each pixel as a pixel signal. Drive circuit. Accordingly, a pixel signal (analog signal) output from each pixel for each row is input to the column processing circuit 1304.
  • the column processing circuit 1304 performs predetermined analog signal processing on analog pixel signals output from respective pixels in the pixel unit 1302 by driving the vertical scanning circuit 1303 in accordance with control from the timing generator 1307. It is a processing circuit to be applied. More specifically, the column processing circuit 1304 performs a noise removal process for removing noise included in an analog pixel signal by, for example, correlated double sampling (Correlated Double Sampling: CDS). The column processing circuit 1304 may perform, for example, a signal amplification process for amplifying the signal level of the analog pixel signal or a digital value representing the magnitude of the analog pixel signal for the analog pixel signal subjected to the CDS process. To an analog / digital conversion (A / D conversion) process.
  • a / D conversion analog / digital conversion
  • the column processing circuit 1304 sequentially outputs, to the frame configuration circuit 1308, a digital imaging signal having a digital value representing the magnitude of an analog / digital converted analog pixel signal under the control of the horizontal scanning circuit 1305. Note that the digital image pickup signal that has been subjected to analog / digital conversion by the column processing circuit 1304 is parallel digital value data.
  • the column processing circuit 1304 may be configured to perform predetermined analog signal processing on an analog pixel signal for each column of pixels arranged in the pixel portion 1302. That is, the column processing circuit 1304 may have a configuration in which one processing circuit for performing analog signal processing is provided for each column of pixels arranged in the pixel portion 1302. Further, the column processing circuit 1304 may be configured to perform predetermined analog signal processing on analog pixel signals for a plurality of columns of pixels arranged in the pixel portion 1302. That is, the column processing circuit 1304 may have a configuration in which one processing circuit for performing analog signal processing is provided for each of a plurality of columns of pixels arranged in the pixel portion 1302. In addition, the column processing circuit 1304 is configured such that one processing circuit sequentially performs predetermined analog signal processing on analog pixel signals output from pixels in each column arranged in the pixel portion 1302. It may be.
  • the horizontal scanning circuit 1305 controls the column processing circuit 1304 for each column of pixels in the pixel unit 1302 in accordance with the control from the timing generator 1307, and the column processing circuit 1304 converts the digital image signal into an analog signal. (Digital value) for each pixel column in the pixel portion 1302.
  • a digital imaging signal representing the magnitude of an analog pixel signal output from each pixel that has been subjected to analog / digital conversion by the column processing circuit 1304 is converted into a frame configuration for each column of pixels arranged in the pixel unit 1302.
  • the signals are sequentially input to the circuit 1308.
  • the frame configuration circuit 1308 controls each digital transmission signal for transmitting a moving image represented by each digital imaging signal sequentially output from the column processing circuit 1304 to the control unit 210 under the control of the timing generator 1307. Is a processing circuit that constitutes. At this time, the frame configuration circuit 1308 allows the control unit 210, which has received the digital imaging signal transmitted from the image sensor 130, to convert one frame (one image) of the corresponding moving image from a block of the received digital imaging signal. Add the information required for configuration.
  • the frame configuration circuit 1308 Based on the set values (parameters) stored in the serial access register 1306, the frame configuration circuit 1308 generates a synchronization signal (vertical synchronization signal) corresponding to each frame (image) constituting the moving image. And a horizontal synchronizing signal). Then, the frame configuration circuit 1308 embeds the information indicating the generated synchronization signal in the digital imaging signal to configure a digital transmission signal for transmission to the control unit 210.
  • the frame configuration circuit 1308 is a digital transmission signal for transmitting each frame (image) of a moving image in which the generated synchronization signal is embedded as a clock signal corresponding to the serial clock signal SCL used by the control unit 210. Is configured.
  • the frame configuration circuit 1308 rearranges the digital imaging signals of the respective columns sequentially output from the column processing circuit 1304 to form a digital imaging signal (digital value) included in each frame (image) constituting the moving image. ) May be configured to change the order of the digital transmission signal.
  • the information indicating the synchronization signal included in the digital transmission signal of the moving image configured by the frame configuration circuit 1308 includes a position indicating a position of a row arranged in a frame (image) configured from a lump of digital imaging signals.
  • Information is included. That is, the information indicating the synchronization signal includes information indicating which row in the frame (image) of the moving image to constitute the digital imaging signal for one row to be transmitted, the digital imaging signal. Is included as information to be transmitted prior to transmission.
  • the frame configuration circuit 1308 converts each piece of data (information representing a synchronization signal such as position information and a digital imaging signal) included in the digital transmission signal of the composed moving image for each row of the constituting moving image frame (image). , And sequentially output to the encoding circuit 1309.
  • the control unit 210 that has received the digital imaging signal transmitted from the image sensor 130 is based on the information representing the synchronization signal embedded in the received digital imaging signal of one frame (one image).
  • the control unit 210 determines which row of each digital imaging signal is a digital imaging signal in one frame (image) of a moving image.
  • the control unit 210 determines the timing of the moving image frame (image) at any timing based on the information indicating the synchronization signal embedded in the received digital imaging signal of one frame (one image). Can be detected.
  • the frame configuration circuit 1308 embeds the digital imaging signal of each frame (image) of the moving image as a clock signal corresponding to the serial clock signal SCL from the information indicating the synchronization signal for each row.
  • the timing of the synchronization signal (vertical synchronization signal and horizontal synchronization signal) can be recognized.
  • the frame configuration circuit 1308 outputs the horizontal synchronization signal among the generated synchronization signals to the serial access register 1306 as a serial clock signal SCL used for serial communication in the image sensor 130.
  • frame configuration processing a series of processing in the frame configuration circuit 1308 described above is referred to as “frame configuration processing”.
  • the encoding circuit 1309 controls the data included in the digital transmission signal formed by the frame configuration processing performed by the frame configuration circuit 1308 under the control of the timing generator 1307, that is, information indicating a synchronization signal such as position information. And converts parallel data including digital imaging signals into data represented by one (single) serial signal (parallel / serial conversion), and generates a digital transmission signal (code), which is an encoded single serial signal.
  • Encoding circuit As an encoding method when the encoding circuit 1309 encodes data represented by a serial signal, various existing encoding methods such as a Manchester encoding method and an 8b / 10b encoding method can be considered.
  • the control unit 210 that has received the digital transmission signal (code) transmits each data (that is, represented by a serial signal) included in the digital transmission signal (code) by clock data recovery.
  • This is an encoding method for multiplexing a data detection clock for restoring the information representing the synchronization signal such as the position information and the digital imaging signal.
  • data of each bit hereinafter, referred to as “bit data”) constituting a digital transmission signal of a single serial signal includes a specific frequency component. Modulate.
  • the digital transmission signal (code) of the single serial signal encoded by the encoding circuit 1309 includes a synchronization signal (data) synchronized with each bit data of the digital transmission signal of the moving image formed by the frame configuration circuit 1308.
  • Detection clock are multiplexed.
  • the data detection clock has a falling edge or a rising edge between the timings at which the respective bit data obtained by serially converting the respective parallel data included in the digital transmission signal of the moving image formed by the frame configuration circuit 1308 are switched. It is a clock signal that appears.
  • the control unit 210 can detect (restore) each bit data from the received digital transmission signal (code) by extracting (recovering) the data detection clock by the clock data recovery.
  • the encoding circuit 1309 encodes each data included in the digital transmission signal configured by performing the frame configuration processing by the frame configuration circuit 1308 using the Manchester encoding method.
  • the encoding circuit 1309 sequentially outputs the digital transmission signal (code) of the single serial signal after the Manchester encoding to the line driver 1310.
  • the line driver 1310 converts the digital transmission signal (code) that is a single serial signal output from the encoding circuit 1309 into an LVDS differential positive signal OUTP and a differential negative signal according to the control of the timing generator 1307. This is a drive circuit that converts the signal into a digital transmission signal (sign differential), which is two serial differential signals with OUTN, and transmits the signal to the control unit 210.
  • the line driver 1310 outputs each differential signal of the converted digital transmission signal (sign differential) from a corresponding output terminal.
  • the serial access register 1306 is a register that stores various setting values (parameters) transmitted from the control unit 210 and necessary for defining the operation of the image sensor 130.
  • the serial access register 1306 includes, for example, an exposure time (accumulation time) when the image sensor 130 performs an exposure (imaging) operation, a frame rate of a moving image, and an image size (a size of an image to be exposed (imaging)).
  • the serial access register 1306 stores setting values (parameters) for controlling the operation and execution of functions other than photographing provided in the image sensor 130 by the respective components such as the frame configuration circuit 1308 and the oscillator 1311.
  • the set value (parameter) of the frame configuration circuit 1308 stored in the serial access register 1306 includes, for example, a vertical blanking period (the number of horizontal synchronization signals) and a horizontal blanking period (master clock signal). ), Etc., necessary for the frame configuration circuit 1308 to generate a synchronization signal (vertical synchronization signal and horizontal synchronization signal).
  • the set value (parameter) related to the oscillator 1311 stored in the serial access register 1306 includes, for example, a set value (such as an oscillation frequency (frequency of a master clock signal) necessary for the oscillator 1311 to generate a reference clock signal). Parameters).
  • the serial access register 1306 is a register of a serial communication system and can be controlled by a serial clock signal SCL and a serial data signal SDA synchronized with the serial clock signal SCL. That is, the serial access register 1306 is a register that can rewrite the stored set values (parameters) by serial communication.
  • the serial access register 1306 uses the horizontal synchronization signal output from the frame configuration circuit 1308 as a serial clock signal SCL. Then, the serial access register 1306 determines a set value (parameter) represented by the serial data signal SDA transmitted from the control unit 210 based on the serial clock signal SCL (horizontal synchronization signal), and determines the determined set value (parameter). ) Is stored. For example, the serial access register 1306 rewrites the currently stored set value (parameter) to the determined set value (parameter).
  • the serial access register 1306 is not limited to the I2C type memory, and may be, for example, a SPI (Serial Peripheral Interface) type register.
  • the serial access register 1306 uses the horizontal synchronization signal output from the frame configuration circuit 1308 as a signal corresponding to the serial clock signal SCK in the SPI system to rewrite the stored set value (parameter). Become.
  • the timing generator 1307 is a timing generation circuit that generates a timing signal for controlling the timing of the entire operation of the image sensor 130.
  • the timing generator 1307 generates, based on the set values (parameters) stored in the serial access register 1306, a timing signal necessary for each component included in the image sensor 130 to execute a function.
  • the timing generator 1307 outputs the generated timing signals to the corresponding components. Thereby, in the image sensor 130, each component operates at a timing according to the timing signal generated by the timing generator 1307.
  • the control unit 210 includes a line receiver 2101, a clock data recovery (Clock @ Data @ Recovery: CDR) circuit 2102, an image generation unit 2103, and a register setting unit 2104.
  • the line receiver 2101 receives a digital transmission signal (sign differential) output from the image sensor 130 and transmitted as an LVDS serial differential signal by the differential signal line 31P and the differential signal line 31N. It is.
  • the line receiver 2101 is a single serial signal after the received digital transmission signal (code differential) is subjected to Manchester encoding by an encoding circuit 1309 provided in the image sensor 130 from an LVDS serial differential signal. Convert to digital transmission signal (code).
  • the line receiver 2101 outputs the digital transmission signal (code) of the converted single serial signal to the clock data recovery circuit 2102.
  • the clock data recovery circuit 2102 derives a data detection clock multiplexed in synchronization with each bit data from each bit data constituting the digital transmission signal (code) of the single serial signal output from the line receiver 2101. This is a restoration circuit for extracting (restoring). More specifically, the clock data recovery circuit 2102 indicates the timing at which the encoding circuit 1309 included in the image sensor 130 switches each bit data included in the digital transmission signal by a falling edge or a rising edge. The timing of the data detection clock is extracted. Then, the clock data recovery circuit 2102 outputs the digital transmission signal (code) of the single serial signal output from the line receiver 2101 and the extracted (restored) data detection clock to the image generation unit 2103. In the control unit 210 shown in FIG.
  • the clock data recovery circuit 2102 uses the digital transmission signal (code) of the single serial signal output from the line receiver 2101 as bit data Data, and extracts the extracted (restored) data detection clock.
  • the signal is output to the image generation unit 2103 as a synchronization signal Sync.
  • control unit 210 shown in FIG. 2 has a configuration in which a digital transmission signal (code) of a single serial signal output from the line receiver 2101 passes through the clock data recovery circuit 2102 and is output to the image generation unit 2103.
  • the digital transmission signal (code) is a single serial signal as it is output from the line receiver 2101. Therefore, in the control unit 210, the line receiver 2101 outputs a digital transmission signal (code) of a single serial signal to each of the clock data recovery circuit 2102 and the image generation unit 2103, and the clock data recovery circuit 2102 extracts ( A configuration may be employed in which only the recovered (restored) data detection clock is output to the image generation unit 2103.
  • the image generation unit 2103 restores information representing a synchronization signal such as position information represented by the bit data Data output from the clock data recovery circuit 2102 and a digital imaging signal, and information representing a synchronization signal such as the restored position information. And an image processing unit that generates a moving image captured by the image sensor 130 based on the digital imaging signal.
  • the image generation unit 2103 First, based on the synchronization signal Sync output from the clock data recovery circuit 2102, the image generation unit 2103 first determines the value of each bit data (“High” level or “High” level) included in the digital transmission signal (code) of the single serial signal. "Low” level data value). At this time, the image generation unit 2103 detects the data value of each bit data using the edge of the clock signal obtained by multiplying the synchronization signal Sync. Thus, the image generation unit 2103 can obtain each bit data included in the digital transmission signal (code) of the single serial signal after the encoding circuit 1309 provided in the image sensor 130 performs the Manchester encoding.
  • the image generation unit 2103 restores, from the detected bit data, each bit data included in the digital transmission signal before the encoding circuit 1309 provided in the image sensor 130 performs the Manchester encoding. That is, the image generation unit 2103 restores the digital transmission signal (code) of the single Manchester-encoded serial signal to the digital transmission signal of the single Manchester-encoded serial signal.
  • the image generation unit 2103 converts the restored digital transmission signal of the single Manchester-encoded serial signal into parallel data (serial / parallel conversion). As a result, the image generation unit 2103 outputs the parallel data (synchronization signal such as position information) included in the digital transmission signal of the moving image formed by performing the frame configuration processing by the frame configuration circuit 1308 included in the image sensor 130. (Representation information and digital imaging signal). That is, the image generation unit 2103 generates the synchronization signal (vertical synchronization signal and horizontal synchronization signal) generated by the frame configuration circuit 1308 and embedded as a clock signal corresponding to the serial clock signal SCL, and the respective output signals from the column processing circuit 1304. The digital imaging signal is restored.
  • the synchronization signal vertical synchronization signal and horizontal synchronization signal
  • the image generation unit 2103 performs various image processing on each data of the restored digital imaging signal, and generates a moving image including the observation region captured by the image sensor 130.
  • the image generation unit 2103 generates the digital imaging signal as a clock signal generated by the frame configuration circuit 1308 provided in the image sensor 130 based on the information representing the synchronization signal such as the restored position information, and the clock signal corresponding to the serial clock signal SCL. It is also a synchronizing signal generation unit that generates synchronizing signals similar to the synchronizing signals (vertical synchronizing signal and horizontal synchronizing signal) embedded in. That is, the image generation unit 2103 is also a synchronization signal generation unit that generates a synchronization signal synchronized with the synchronization signal (vertical synchronization signal and horizontal synchronization signal) generated by the frame configuration circuit 1308.
  • the image generation unit 2103 generates a synchronization signal synchronized with the synchronization signal generated by the frame configuration circuit 1308 in consideration of a fixed delay amount in the transmission of the digital transmission signal (code differential) from the image sensor 130.
  • the configuration may be such that:
  • the moving image and the synchronization signal generated by the image generating unit 2103 are output to, for example, the color monitor 22, and the moving image captured by the image sensor 130 is displayed on the color monitor 22. Further, the image generation unit 2103 outputs the generated synchronization signal to the register setting unit 2104 as a serial clock signal SCL inside the image sensor 130 (that is, the serial access register 1306). In the control unit 210 shown in FIG. 2, the image generation unit 2103 outputs the horizontal synchronization signal Hsync among the generated synchronization signals to the register setting unit 2104 as a serial clock signal SCL.
  • the register setting unit 2104 is a control unit that sets various setting values (parameters) for defining the operation of the image sensor 130 in the serial access register 1306 provided in the image sensor 130.
  • the register setting unit 2104 controls storage of set values (parameters) in the serial access register 1306 and rewriting of set values (parameters) stored in the serial access register 1306 by serial communication.
  • the register setting unit 2104 performs serial communication with the serial access register 1306 using the horizontal synchronization signal Hsync output from the image generation unit 2103 as the serial clock signal SCL.
  • the register setting unit 2104 When controlling storage, rewriting, and reading of a set value (parameter) for the serial access register 1306, the register setting unit 2104 first generates a register setting signal indicating access to the serial access register 1306.
  • the register setting unit 2104 generates a register setting signal indicating the set value (parameter) set in the serial access register 1306 when controlling the storage and rewriting of the set value (parameter) in the serial access register 1306. I do.
  • the register setting unit 2104 sets, for example, a setting value set in the image sensor 130 in order to take an image of an observation site specified by operating the operation switch 14 by the examiner.
  • a register setting signal representing (parameter) is generated.
  • the register setting unit 2104 instructs the serial access register 1306 to read the set value (parameter) when controlling the reading of the set value (parameter) stored in the serial access register 1306. Generate a register setting signal.
  • the register setting unit 2104 sets, for example, the image sensor 130 in order to confirm the current setting instructed by operating the operation switch 14 by the examiner.
  • a register setting signal indicating an instruction to read a set value (parameter) is generated.
  • the register setting unit 2104 uses the generated register setting signal as the serial data signal SDA and transmits it to the image sensor 130 via the serial signal line 32 at the timing synchronized with the horizontal synchronization signal Hsync (that is, the serial clock signal SCL).
  • the image sensor 130 in the imaging system 100, the image sensor 130 generates a synchronization signal and embeds information (such as position information) representing the generated synchronization signal as a clock signal corresponding to the serial clock signal SCL. Constitute a digital transmission signal for transmitting each frame (image). Accordingly, in the imaging system 100, the image sensor 130 transmits the generated synchronization signal to the control unit 210 together with the digital imaging signal as a clock signal corresponding to the serial clock signal SCL. Further, in the imaging system 100, the control unit 210 controls the inside of the image sensor 130 based on information (such as position information) indicating a synchronization signal included in the digital transmission signal (sign differential) transmitted from the image sensor 130. A synchronization signal similar to the generated synchronization signal is generated.
  • information such as position information
  • the generated synchronization signal is used as the serial clock signal SCL used internally by the image sensor 130, and the generated serial data signal SDA is imaged at the timing synchronized with the serial clock signal SCL (synchronization signal).
  • the data is transmitted to the sensor 130 to perform serial communication.
  • the serial clock signal SCL transmitted together with the serial data signal SDA is generated on the side receiving the serial data signal SDA from the side transmitting the serial data signal SDA and transmitted. I do.
  • the side transmitting the serial data signal SDA transmits the generated serial data signal SDA at a timing synchronized with the serial clock signal SCL transmitted from the side receiving the serial data signal SDA.
  • two signal lines (a signal line for a serial clock signal SCL and a serial data signal SDA) are required between the image sensor 130 and the control unit 210 for general I2C serial communication.
  • Signal lines for transmitting the serial clock signal SCL can be reduced.
  • the number of signal lines in the endoscope scope unit 10 and the universal cord 30 is reduced by one compared with the case of a general I2C serial communication configuration.
  • the diameter of the endoscope 10 (particularly, the insertion section 11) can be reduced.
  • the imaging system 100 will be described in more detail.
  • a digital transmission signal transmitted from the image sensor 130 to the control unit 210 will be described.
  • the image sensor 130 forms a digital transmission signal in which a digital imaging signal of a captured moving image and information indicating a generated synchronization signal are combined, and a single serial signal obtained by encoding the configured digital transmission signal. Is transmitted to the control unit 210 by the differential serial transmission system of the LVDS system.
  • FIG. 3 schematically illustrates a configuration of a frame (image) of a moving image transmitted from the solid-state imaging device (image sensor 130) included in the imaging system 100 according to the embodiment of the present invention to the control device (control unit 210).
  • the digital imaging signal corresponding to each pixel in the moving image captured by the image sensor 130 is 12 bits
  • the data of the digital transmission signal transmitted to the control unit 210 (hereinafter, “digital transmission data”). ) Is 16 bits.
  • the vertical scanning circuit 1303 drives each pixel arranged in the pixel portion 1302 row by row, sequentially moves the driven row in the vertical direction (column direction, vertical direction), and
  • the column processing circuit 1304 outputs a pixel signal corresponding to the signal charge generated by the pixel.
  • the horizontal scanning circuit 1305 causes the frame processing circuit 1308 to output a digital image signal that has been subjected to analog / digital conversion by the column processing circuit 1304 for each column of pixels arranged in the pixel portion 1302. That is, in the image sensor 130, the digital imaging signal is output to the frame configuration circuit 1308 in a so-called raster order.
  • FIG. 3 schematically shows a state in which digital imaging signals for one frame (one image) forming a moving image are sequentially output to the frame forming circuit 1308.
  • the vertical scanning circuit 1303 drives a pixel arranged in the first row of the pixel portion 1302 to output a pixel signal to the column processing circuit 1304, and the horizontal scanning circuit 1305 causes the pixel portion 1302 From the digital imaging signal corresponding to the pixel arranged in the first column to the digital imaging signal corresponding to the pixel arranged in the n-th column in order.
  • the vertical scanning circuit 1303 drives the pixel arranged in the second row of the pixel portion 1302 to output a pixel signal to the column processing circuit 1304, and the horizontal scanning circuit 1305 similarly outputs one column of the pixel portion 1302.
  • the digital imaging signal is output to the frame configuration circuit 1308 in order from the eye to the n-th column.
  • the vertical scanning circuit 1303 drives the pixel arranged in the m-th row of the pixel portion 1302 to output a pixel signal to the column processing circuit 1304.
  • the digital imaging signal is output to the frame configuration circuit 1308 in order from the eye to the n-th column.
  • digital imaging signals for one frame (one image) forming a moving image are sequentially output to the frame forming circuit 1308 by the operation of the vertical scanning circuit 1303 and the horizontal scanning circuit 1305. .
  • the number of columns of pixels (n columns) and the number of rows of pixels (m rows) driven by the vertical scanning circuit 1303 are determined by the image size (pixel number ) Are stored in the serial access register 1306 as setting values (parameters).
  • the next one frame constituting the moving image Digital imaging signals for (one image) are sequentially output to the frame configuration circuit 1308 in raster order from the first row of the pixel portion 1302. That is, in the image sensor 130, the digital imaging signal of each moving image frame (image) is output to the frame configuration circuit 1308 according to the set value (parameter) of the vertical blanking period stored in the serial access register 1306. , The so-called frame rate of the moving image is determined.
  • the frame rate of a moving image at which a digital image pickup signal of each moving image frame (image) is output to the frame configuration circuit 1308 is also a photographing cycle in which the image sensor 130 photographs a moving image.
  • the vertical scanning circuit 1303 drives each pixel arranged in the pixel unit 1302 according to a set value (parameter) related to a capturing function stored in the serial access register 1306.
  • a so-called rolling shutter driving method in which each pixel is sequentially driven for each row, or all pixels are driven. Driving at the same time, that is, driving of a so-called global shutter system can be considered.
  • the driving of pixels by the vertical scanning circuit 1303 for capturing a moving image in the image sensor 130 is performed in the vertical direction with respect to the pixel for which the output of the pixel signal of the frame (image) before forming the moving image is completed. This is performed during a blanking period or a period during which the digital imaging signal is output to the frame configuration circuit 1308 in raster order. That is, the driving of the pixel for outputting the pixel signal by the vertical scanning circuit 1303 and the driving of the pixel for capturing a moving image are exclusively performed.
  • the timing when forming a frame (image) of a moving image based on the digital imaging signal received by the control unit 210 that is, each frame (image) of the moving image captured by the image sensor 130
  • the register setting unit 2104 provided in the control unit 210 controls storage, rewriting, and reading of a set value (parameter) for the serial access register 1306 in synchronization with the timing at which is displayed on the color monitor 22. Accordingly, in the following description, a detailed description of driving of pixels by the vertical scanning circuit 1303 for capturing a moving image in the image sensor 130 will be omitted.
  • the frame configuration circuit 1308 performs digital imaging of each moving image frame (image) output by the column processing circuit 1304 based on the set value (parameter) stored in the serial access register 1306. A synchronization signal (vertical synchronization signal and horizontal synchronization signal) corresponding to the signal is generated. Then, in the image sensor 130, the frame configuration circuit 1308 embeds information (position information and the like) representing the generated synchronization signal in a digital imaging signal to configure a digital transmission signal for transmission to the control unit 210.
  • the generated vertical synchronizing signal VD and the horizontal synchronizing signal HD are each added to the digital imaging signal for one frame (one image) constituting the moving image output by the column processing circuit 1304.
  • 5 shows an example of a digital transmission signal of a moving image to which information to be represented is combined.
  • FIG. 3 also shows an example of each of the vertical synchronization signal VD and the horizontal synchronization signal HD generated by the frame configuration circuit 1308 for reference. In each of the vertical synchronizing signal VD and the horizontal synchronizing signal HD shown in FIG.
  • the frame configuration circuit 1308 configures a digital transmission signal of a moving image by combining information representing a synchronization signal and a digital imaging signal as shown in FIG. That is, the frame configuration circuit 1308 converts data in the same format as the digital imaging signal, which is not used for the configuration of the moving image by the control unit 210, within the blanking period represented by each of the vertical synchronization signal VD and the horizontal synchronization signal HD.
  • FIG. 3 shows respective periods of a vertical blanking period (vertical blanking period) represented by the vertical synchronization signal VD and a horizontal blanking period (horizontal blanking period) represented by the horizontal synchronization signal HD.
  • the frame configuration circuit 1308 sequentially outputs, to the encoding circuit 1309, information data or a digital imaging signal representing each synchronization signal included in the configured moving image frame (image), row by row.
  • the frame configuration circuit 1308 adds the information (position information) representing each synchronization signal included in the frame (image) of the configured moving image to the data not used for forming the moving image in each blanking period. Embed the data.
  • the encoding circuit 1309 encodes the data output from the frame configuration circuit 1308, that is, the digital transmission data (parallel data) by the Manchester encoding method, and the line driver 1310 uses the LVDS method.
  • the signal is converted into a differential signal and transmitted to the control unit 210.
  • the frame configuration circuit 1308 converts at least all of the 16 bits of the initially output digital transmission data to “1” (that is, “11111111 — 11111111”). This is based on the fact that in the image sensor 130, the digital imaging signal corresponding to each pixel is 12 bits, and the digital imaging signals represented in the 16-bit digital transmission data do not all become “1”. This is because the head of the row, that is, the timing of the beginning of the horizontal synchronization signal HD is represented by digital transmission data to be output.
  • control unit 210 that has received the digital imaging signal detects the digital transmission data in which all the bits are “1” from the 16-bit digital transmission data represented by the received digital imaging signal, thereby obtaining an image. It is possible to recognize the head of each row in the digital transmission signal of the moving image formed by the sensor 130, that is, the switching timing of the row.
  • the frame configuration circuit 1308 uses the 16-bit digital transmission data to be output next to indicate the position information in the configured digital transmission signal, that is, the row position.
  • the imaging system 100 it is predetermined between the image sensor 130 and the control unit 210 that the digital transmission data next to the digital transmission data in which all the bits are “1” is the data representing the row position. Have been aligned.
  • the control unit 210 that has received the digital imaging signal transmits the 16-bit digital transmission data represented by the received digital transmission signal after the digital transmission data in which all the bits are “1”, and the digital transmission signal to be received from now on. Can be recognized as to which row the digital transmission data represented by.
  • the frame configuration circuit 1308 sequentially outputs 16-bit digital transmission data representing the digital imaging signal of each row.
  • the digital imaging signal is 12-bit data. Therefore, the frame configuration circuit 1308 assigns a digital imaging signal to, for example, lower 12 bits of the 16-bit digital transmission data, and outputs digital transmission data in which all upper 4 bits are set to “0”.
  • the control unit 210 that has received the digital imaging signal can sequentially recognize and process the lower 12 bits of the 16-bit digital transmission data represented by the received digital transmission signal as the digital imaging signal.
  • the vertical blanking period in the digital transmission signal of the moving image formed by the frame configuration circuit 1308 between the image sensor 130 and the control unit 210 corresponds to the number of rows of the digital transmission signal. Is determined in advance and matched.
  • the control unit 210 that has received the digital imaging signal receives the digital transmission data indicating the position of the row, and thereby receives the digital transmission data including the digital imaging signal forming the moving image, It is previously recognized whether to receive digital transmission data during the blanking period.
  • the horizontal blanking period of the digital transmission signal of the moving image formed by the frame configuration circuit 1308 between the image sensor 130 and the control unit 210 corresponds to the period of the digital transmission data. Is determined in advance and matched.
  • the control unit 210 that has received the digital imaging signal receives digital transmission data indicating a row position, and then recognizes in advance from which digital transmission data the digital transmission data representing the digital imaging signal is received. ing. For this reason, the frame configuration circuit 1308 may output any data other than the digital transmission data representing the digital imaging signal to be output after outputting the digital transmission data representing the row position. As described above, since the digital imaging signal is 12-bit data, the frame configuration circuit 1308 outputs the digital transmission data in which all the upper 4 bits are set to “1”, for example. The unit 210 may more surely recognize that the data is not digital transmission data representing a digital imaging signal.
  • the frame configuration circuit 1308 when the frame configuration circuit 1308 outputs the digital transmission data of each row to the encoding circuit 1309, the digital transmission data representing the head of the row and the digital transmission data representing the position of the row Subsequently, the digital transmission data is output in the order of a plurality of digital transmission data representing the digital imaging signal or a plurality of digital transmission data not representing the digital imaging signal.
  • the frame configuration circuit 1308 outputs digital transmission data of one row or digital transmission data not representing the digital imaging signal, and then outputs digital transmission data of the next row. Also at this time, as described above, the frame configuration circuit 1308 encodes each digital transmission data in order from the beginning of the next row, that is, the digital transmission data indicating the start timing of the horizontal synchronization signal HD of the next row. Output to the conversion circuit 1309.
  • the encoding circuit 1309 sequentially converts each digital transmission data into a serial signal to perform Manchester encoding, and the line driver 1310 uses the differential signal sequentially converted to the LVDS method to generate a plurality of signals.
  • the digital transmission data is transmitted to the control unit 210 as a digital transmission signal (code differential).
  • the image generation unit 2103 prepares the image sensor 130 based on the timing at which the digital transmission signal of the digital transmission data representing the head of the row is received.
  • a synchronization signal horizontal synchronization signal Hsync in FIG. 2
  • the register setting unit 2104 performs serial communication with the serial access register 1306 using the horizontal synchronization signal Hsync as the serial clock signal SCL.
  • the control unit 210 does not transmit the master clock signal to the image sensor 130. That is, in the imaging system 100, in the conventional endoscope device, a master clock signal is transmitted from the main body to the solid-state imaging device in order to match the timing at which the solid-state imaging device provided at the distal end of the insertion section operates with the timing at which the main body operates. The number of signal lines for transmission has also been reduced. Therefore, in the imaging system 100, the image sensor 130 includes the oscillator 1311. In the imaging system 100, the control unit 210 sets (stores) a set value (parameter) necessary for the oscillator 1311 to generate (oscillate) a reference clock signal (master clock signal) in the serial access register 1306.
  • the cycle (frequency) of the synchronization signal generated by the frame configuration circuit 1308 provided in the image sensor 130 becomes a constant cycle (frequency).
  • the image generation unit 2103 provided in the control unit 210 has the same synchronization as the synchronization signal (vertical synchronization signal and horizontal synchronization signal) embedded as a clock signal corresponding to the serial clock signal SCL from the image sensor 130. Generate a signal.
  • FIG. 4 is a block diagram illustrating an example of a schematic configuration of a clock oscillation circuit (an oscillator 1311) provided in a solid-state imaging device (image sensor 130) included in the imaging system 100 according to the embodiment of the present invention.
  • the oscillator 1311 includes a ring oscillator 13110 and a variable current source 13111.
  • the ring oscillator 13110 is a clock oscillation circuit having a configuration in which an odd number of logical NOT circuits (INV circuits) are connected in a ring shape. Ring oscillator 13110 oscillates a clock signal having a frequency corresponding to the current value flowing through each INV circuit.
  • INV circuits logical NOT circuits
  • the variable current source 13111 is a current source that supplies a current value to each INV circuit provided in the oscillator 1311.
  • the variable current source 13111 is a digitally controlled variable current source that can change the current flowing according to an input set value (parameter).
  • the set value (parameter) of the oscillation frequency (frequency of the master clock signal) stored in the serial access register 1306 is input to the variable current source 13111.
  • the control unit 210 controls the serial access register 1306 to rewrite the set value (parameter) of the oscillation frequency (frequency of the master clock signal) stored in the serial access register 1306, so that the variable current source 13111 oscillates. Change the frequency of the clock signal.
  • the control unit 210 can set the cycle (frequency) of the synchronization signal generated by the frame configuration circuit 1308 provided in the image sensor 130 to a constant cycle (frequency).
  • the control unit 210 operates the image sensor 130 so that the frequency of the clock signal (the horizontal synchronization signal Hsync in FIG. 2) corresponding to the serial clock signal SCL used by the register setting unit 2104 is between 1 kHz and 500 kHz. May be set to the frequency of the master clock signal generated by the oscillator 1311 provided in the above.
  • control unit 210 sets the cycle (frequency) of the synchronization signal (more specifically, the horizontal synchronization signal HD) generated by the frame configuration circuit 1308 to a constant cycle (frequency), and the image generation unit 2103
  • the sensor 130 generates a synchronization signal similar to a synchronization signal (horizontal synchronization signal) embedded as a clock signal corresponding to the serial clock signal SCL.
  • FIG. 5 is a timing chart showing a relationship between respective signals of serial communication in the imaging system 100 according to the embodiment of the present invention.
  • FIG. 5 shows an example of the timing of the horizontal synchronization signal Hsync as the serial clock signal SCL.
  • FIG. 5 shows an example of the timing of the register setting signal output from the register setting unit 2104 as the serial data signal SDA.
  • the timing of serial communication in the imaging system 100 is the same as the timing of general I2C serial communication. More specifically, the register setting unit 2104 sets the start condition by setting the serial data signal SDA to the “Low” level (that is, providing a falling edge) while the serial clock signal SCL is at the “High” level. I do. The register setting unit 2104 sets the stop condition by setting the serial data signal SDA to the “High” level (that is, providing a rising edge) while the serial clock signal SCL is at the “High” level.
  • the register setting unit 2104 switches the level of the serial data signal SDA to the level of data to be transmitted when the serial clock signal SCL is at the “Low” level, Data is transmitted by maintaining the level of the serial data signal SDA while the SCL is at the “High” level.
  • FIG. 5 shows the timing when the register setting unit 2104 transmits the data “0101” to the serial access register 1306 as the data of the register setting signal.
  • the horizontal synchronization signal Hsync similar to the horizontal synchronization signal HD shown in FIG. 3 generated by the frame configuration circuit 1308 provided in the image sensor 130 is used as the serial clock signal.
  • the case of SCL is shown.
  • the case where the “High” level period and the “Low” level period of the serial clock signal SCL are different, that is, the so-called duty ratio is non-uniform is shown.
  • the serial clock signal SCL is at the “Low” level, the level of the serial data signal SDA is switched to the level of the data to be transmitted.
  • the imaging system 100 if the timing at the beginning of each row, that is, the timing of the start of the horizontal synchronization signal HD is known from the digital transmission data transmitted by the image sensor 130 to the control unit 210, the image generation unit 2103 will operate horizontally.
  • the synchronization signal Hsync can be generated.
  • the timing at which a valid digital transmission signal is transmitted as a moving image can be defined by a set value (parameter) of the serial access register 1306 and the like.
  • the duty ratio of the serial clock signal SCL is previously determined and matched between the image sensor 130 and the control unit 210. That is, in the imaging system 100, the frame configuration circuit 1308 included in the image sensor 130 generates the horizontal synchronization signal used as the serial clock signal SCL by the serial access register 1306, and the image generation unit 2103 included in the control unit 210 generates the horizontal synchronization signal.
  • the duty ratios of the horizontal synchronization signal Hsync used as the serial clock signal SCL by the register setting unit 2104 are previously matched. Thereby, in the imaging system 100, the serial clock signal SCL having a duty ratio different from the horizontal synchronization signal HD shown in FIG. 3 or the horizontal synchronization signal Hsync shown in FIG.
  • serial clock signal SCL when the serial clock signal SCL is at the “High” level, a start condition and a stop condition are defined, and during the period when the serial clock signal SCL is at the “High” level.
  • An example of the timing for transmitting the level of the serial data signal SDA as data is shown.
  • the “High” level and the “Low” level of the serial clock signal SCL may be reversed if the switching timing of the serial clock signal SCL is known.
  • the switching timing between the serial clock signal SCL used by the serial access register 1306 provided in the image sensor 130 and the serial clock signal SCL used by the register setting unit 2104 provided in the control unit 210 is synchronized.
  • the “High” level and the “Low” level in each serial clock signal SCL may be different.
  • the control unit 210 can perform serial communication for reading out the set values (parameters) stored in the serial access register 1306.
  • the register setting unit 2104 instructs the serial access register 1306 to read out by serial communication, and the serial access register 1306 outputs a signal indicating the stored set value (parameter) to the serial data signal SDA.
  • the serial signal line 32 To the serial signal line 32. That is, in the imaging system 100, bidirectional serial communication can be performed between the image sensor 130 and the control unit 210. Therefore, the serial signal line 32 has a so-called open drain configuration in which the serial signal line 32 is connected to a power supply and pulled up by a resistor (not shown) having a predetermined resistance value.
  • the serial signal line 32 does not need to have the open drain configuration.
  • the serial access register 1306 provided in the image sensor 130 does not need to have a configuration for transmitting the stored set values (parameters) in response to the readout instruction. Can be reduced.
  • the open drain method is generally unsuitable for handling long-distance transmissions, it is not possible to use an open drain method in a connection configuration by using only write instead of reading by serial communication and avoiding the open drain method in a connection configuration. It works advantageously for long cables like devices.
  • an endoscope apparatus in which a plurality of pixels are arranged in a two-dimensional matrix and transmits an imaging signal (digital imaging signal) of a captured continuous image (moving image).
  • a solid-state imaging device image sensor 130
  • An imaging system including a control device (control unit 210) provided in an external processing unit (external processing unit 21) that is not inserted into the body of the subject to be inspected in the endoscope apparatus 1 that controls operation.
  • the image sensor 130 includes a pixel unit (pixel unit 1302) that acquires an imaging signal (pixel signal) and a setting that defines an operation of the image sensor 130.
  • a register serial access register 1306) for storing (parameters)
  • a processing circuit column processing circuit 1304) for converting a pixel signal from analog to digital to a digital imaging signal, and horizontal synchronization of a captured image (moving image)
  • a serial signal in which a synchronization signal (which may be a horizontal synchronization signal HD or a vertical synchronization signal VD) synchronized with a signal (horizontal synchronization signal HD) is embedded in a digital imaging signal as a first serial clock signal (serial clock signal SCL).
  • the control unit 210 includes a frame configuration unit (frame configuration circuit 1308) that generates a digital transmission signal, and a data transmission unit (which may include a line driver 1310 and an encoding circuit 1309) that transmits data of the digital transmission signal.
  • a clock generation unit image generation unit 2103 for generating a second serial clock signal (horizontal synchronization signal Hsync) synchronized with the serial clock signal SCL (horizontal synchronization signal HD) embedded in the signal, and synchronization with the horizontal synchronization signal Hsync
  • a register setting unit (register setting unit 2104) for transmitting a register setting signal for controlling the serial access register 1306.
  • the serial access register 1306 performs control represented by the transmitted register setting signal.
  • An imaging system imaging system 100 configured to make a determination using the serial clock signal SCL and store a set value (parameter) according to the determination result is configured.
  • the imaging system 100 is configured in which the serial clock signal SCL is a horizontal synchronization signal (horizontal synchronization signal HD) corresponding to an image (moving image).
  • the serial clock signal SCL is a horizontal synchronization signal (horizontal synchronization signal HD) corresponding to an image (moving image).
  • the imaging system 100 is configured such that the frequency of the serial clock signal SCL is 1 kHz or more and 500 kHz or less.
  • the line driver 1310 transmits the data of the digital transmission signal as two differential signals (for example, differential signals of the LVDS system), and the register setting unit 2104 outputs the register setting signal as 1
  • An imaging system 100 configured to transmit a single signal (for example, a serial data signal SDA in I2C serial communication) is configured.
  • the register setting unit 2104 transmits only the register setting signal and does not receive the signal (in other words, reads the setting value (parameter) stored in the serial access register 1306. No), the imaging system 100 is configured.
  • the image sensor 130 further includes a clock oscillation circuit (oscillator 1311) that oscillates and outputs a reference clock signal (master clock signal), and the register setting unit 2104 includes the serial access register 1306
  • the oscillator 1311 stores the setting signal (setting value (parameter)) of the oscillation frequency of the master clock signal, and the oscillator 1311 stores the setting signal (setting value (parameter)) of the oscillation frequency of the master clock signal stored in the serial access register 1306.
  • An imaging system 100 that oscillates a master clock signal having a frequency according to the configuration is configured.
  • an endoscope apparatus including the imaging system 100 (using the imaging system 100), and the image sensor 130 includes an insertion unit (insertion section)
  • the control unit 210 is disposed at the tip (imaging unit 13) of the unit 11), and the control unit 210 is disposed in the main unit (the main unit 20 or the external processing unit 21 configured in the main unit 20).
  • a mirror device 1) is configured.
  • the solid-state imaging device included in the imaging system used as the endoscope apparatus includes a synchronization signal (corresponding to a frame (image) constituting a captured moving image.
  • a vertical synchronization signal and a horizontal synchronization signal configures a digital transmission signal of a moving image in which information indicating the generated synchronization signal is embedded in a digital imaging signal of the moving image, and transmits the digital transmission signal to a control device configuring an imaging system.
  • the solid-state imaging device transmits to the control device a digital transmission signal of a moving image in which the start timing of the synchronization signal in the captured moving image is embedded.
  • the solid-state imaging device controls the control device based on information representing the synchronization signal embedded in the digital transmission signal of the transmitted moving image, that is, based on the timing of the start of the synchronization signal.
  • a synchronization signal similar to the generated synchronization signal is generated to generate a moving image based on a digital imaging signal included in a digital transmission signal of the transmitted moving image.
  • the control device configuring the imaging system controls the operation and execution of the function of each component included in the solid-state imaging device
  • serial communication with the solid-state imaging device is performed. I do.
  • the register setting unit provided in the control device uses the same synchronization signal as the solid-state imaging device generated in the control device as a clock signal corresponding to the serial clock signal SCL, and outputs the serial data.
  • the signal SDA is transmitted, and the set value (parameter) stored in the serial access register provided in the solid-state imaging device is rewritten.
  • the serial access register uses the synchronization signal generated in the solid-state imaging device as the serial clock signal SCL, and sets the serial data signal SDA transmitted from the control device to the set value (parameter). ) Is received, and the stored set values (parameters) are rewritten. That is, in the embodiment of the present invention, each of the solid-state imaging device and the control device that constitute the imaging system generates a synchronized serial clock signal SCL and performs serial communication. Accordingly, in the embodiment of the present invention, of the two signal lines of the serial clock signal SCL and the serial data signal SDA for performing serial communication between the solid-state imaging device and the control device forming the imaging system, The number of signal lines for transmitting the serial clock signal SCL can be reduced.
  • the number of signal lines in the endoscope scope unit and the electric signal cable is changed to an endoscope having a configuration for performing general I2C serial communication.
  • the endoscope scope section (particularly, the insertion section) can be reduced in diameter by one less than the mirror apparatus.
  • the number of signal lines used for serial communication is reduced, so that the number of pads formed on the solid-state imaging device included in the imaging system is reduced.
  • the area (projection area) of the solid-state imaging device constituting the imaging system is reduced, the mounting area of the solid-state imaging device is reduced, and the endoscope scope unit (particularly, the insertion unit) It is possible to reduce the size of the imaging unit provided at the tip.
  • the horizontal synchronization signal corresponds to the serial clock signal SCL.
  • the configuration in the case where the clock signal is used as the clock signal is described.
  • the signal used as the clock signal corresponding to the serial clock signal SCL in the imaging system of the present invention is not limited to the horizontal synchronizing signal shown in the embodiment of the present invention. That is, a signal used as a clock signal corresponding to the serial clock signal SCL in the imaging system of the present invention is a clock signal generated in the image sensor 130, embedded in the digital imaging signal, and transmitted to the control unit 210 as a digital transmission signal.
  • any clock signal in order for the clock data recovery circuit 2102 to restore each data (bit data) included in the digital transmission signal (code) received by the control unit 210,
  • the data detection clock multiplexed in the encoding method or the 8b / 10b encoding method is not used as a clock signal corresponding to the serial clock signal SCL.
  • a master clock signal generated by the oscillator 1311 as a reference clock signal in the image sensor 130 is not used as a clock signal corresponding to the serial clock signal SCL.
  • the signal indicating the timing of the digital imaging signal included in the digital transmission signal formed by the configuration circuit 1308 is not used as a clock signal corresponding to the serial clock signal SCL. This is because the cycle (frequency) of the data detection clock, the master clock signal, and the signal representing the timing of the digital imaging signal is a cycle (frequency) of 1 kHz to 500 kHz, which is considered to be an effective frequency as the serial clock signal SCL described above. This is because the signal has a shorter period (has a higher frequency) than the signal of ()).
  • a vertical synchronization signal can be considered as a signal used as a clock signal corresponding to the serial clock signal SCL instead of the horizontal synchronization signal. That is, in the imaging system 100, the vertical synchronization signal generated by the frame configuration circuit 1308 may be used as a clock signal corresponding to the serial clock signal SCL. In this case, in the imaging system 100, the image generation unit 2103 outputs the generated vertical synchronization signal to the register setting unit 2104, and the register setting unit 2104 converts the vertical synchronization signal output from the image generation unit 2103 into a serial clock signal. It is configured to perform serial communication with the serial access register 1306 by using it as the SCL.
  • the vertical synchronization signal is a signal that matches a period (frequency) of 1 kHz or more and 500 kHz or less, which is considered to be an effective frequency as the serial clock signal SCL described above, but has a period longer than the horizontal synchronization signal shown in the embodiment. Is a long (low frequency) signal. For this reason, in the imaging system 100, when the vertical synchronization signal is used as the clock signal corresponding to the serial clock signal SCL, the serial access register is more used than when the horizontal synchronization signal is used as the clock signal corresponding to the serial clock signal SCL. It is considered that serial communication with the 1306, that is, rewriting of set values (parameters) stored in the serial access register 1306 is delayed.
  • the vertical synchronizing signal is output without any problem to the clock signal Can be used as Note that the operation of the imaging system 100 in this case can be considered in the same manner as the above-described operation using the horizontal synchronization signal as the serial clock signal SCL, and thus a detailed description is omitted.
  • the timing of the head of each row is determined from the digital transmission signal data (digital transmission data) transmitted by the image sensor 130 to the control unit 210.
  • the configuration has been described in which the image generation unit 2103 generates the horizontal synchronization signal Hsync based on the timing of the start of the synchronization and uses the horizontal synchronization signal Hsync as the serial clock signal SCL.
  • the timing used as a reference when generating the serial clock signal SCL used in the serial communication in the imaging system of the present invention is not limited to the start timing of the horizontal synchronization signal HD shown in the embodiment of the present invention. .
  • the imaging system 100 if the reference timing when the serial clock signal SCL is generated between the image sensor 130 and the control unit 210 is previously matched, for example, the blanking period in the horizontal synchronization signal HD is reduced. A position other than the beginning in each row, such as the end timing, may be set as a reference timing when the serial clock signal SCL is generated. Note that the operation of the imaging system 100 in this case can be considered in the same manner as the above-described operation using the horizontal synchronization signal as the serial clock signal SCL, and thus a detailed description is omitted.
  • the frame configuration circuit 1308 in the imaging system 100, the frame configuration circuit 1308 generates a synchronization signal (vertical synchronization signal VD and horizontal synchronization signal HD) corresponding to each frame (image) constituting a moving image.
  • a synchronization signal vertical synchronization signal VD and horizontal synchronization signal HD
  • the frame configuration circuit 1308 may be any component that constitutes at least a digital transmission signal of a moving image in which information representing a synchronization signal is embedded in a digital imaging signal. Such other components may be generated.
  • the imaging system of the present invention is used as the endoscope apparatus of the present invention.
  • the device in which the imaging system of the present invention is used is not limited to the endoscope device described in the embodiment, and any device that transmits data by serial communication may be used in various devices.
  • the concept of the imaging system can be applied. The same effect can be obtained in various devices to which the concept of the imaging system of the present invention is applied.
  • an imaging system capable of reducing some signals of serial communication used in a solid-state imaging device, and an endoscope apparatus using the imaging system.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

固体撮像装置は、撮像信号を取得する画素部と、固体撮像装置の動作を規定する設定値を記憶するレジスタと、撮像信号をアナログ/デジタル変換してデジタル撮像信号に変換する処理回路と、撮影した画像の水平同期信号に同期する同期信号を第1のシリアルクロック信号としてデジタル撮像信号に埋め込んだシリアルのデジタル伝送信号を生成するフレーム構成部と、デジタル伝送信号のデータを伝送するデータ伝送部と、を備え、制御装置は、伝送されたデジタル伝送信号に含まれるデジタル撮像信号に埋め込まれた第1のシリアルクロック信号に同期した第2のシリアルクロック信号を生成するクロック生成部と、第2のシリアルクロック信号に同期して、レジスタに対する制御をするためのレジスタ設定信号を伝送するレジスタ設定部と、を備え、レジスタは、伝送されたレジスタ設定信号が表す制御を、第1のシリアルクロック信号を用いて判定し、判定結果に応じて設定値の記憶をする。

Description

撮像システムおよび内視鏡装置
 本発明は、撮像システム、およびこれを用いた内視鏡装置に関する。
 従来から、患者(検査対象者)の体内に挿入して患部を撮影したり治療したりする内視鏡装置が実用化されている。ところで、近年の医療業界では、患者の高齢化に伴って、患者の体に対する負担(侵襲)が少ない低侵襲医療が推進されている。そして、内視鏡装置においても、低侵襲性か求められている。内視鏡装置において低侵襲性を実現するためには、患者の体内に挿入する挿入部を細径化することが必要であり、重要な課題である。
 内視鏡装置では、挿入部の先端に備えた固体撮像装置によって患者の体内の患部を撮影し、固体撮像装置が撮影した画像の信号を、挿入部内に備えた信号線によって本体部に伝送する。内視鏡装置では、固体撮像装置として、CCD(Charge Coupled Device:電荷結合素子)型イメージセンサが従来から用いられていた。ところで、一般的な固体撮像装置としては、従来から、CMOS(Complementary Metal-Oxide Semiconductor:相補型金属酸化膜半導体)型イメージセンサもある。しかし、内視鏡装置においては、画質が悪いということから、CMOS型イメージセンサの固体撮像装置としての採用が見送られていた。しかし、近年では、CMOS型イメージセンサにおける技術が向上し、採用が見送られてきた要因である画質などが改善されてきている。そして、近年のCMOS型イメージセンサは、CCD型イメージセンサに代わる固体撮像装置として、多くの分野で採用されてきている。このため、内視鏡装置においても、CMOS型イメージセンサを固体撮像装置として採用することが検討されている。そして、内視鏡装置では、CCD型イメージセンサをCMOS型イメージセンサに切り替えることによって、消費電力の低減や、多機能化の実現、挿入部の細径化などの効果が期待されている。
 より具体的には、CMOS型イメージセンサは、CCD型イメージセンサとは異なり、単一の電圧の電源で駆動することができる。このため、内視鏡装置では、固体撮像装置としてCMOS型イメージセンサを採用することによって、複数の電圧の電源を必要とするCCD型イメージセンサを採用していたときよりも電源線の数を少なくすることができ、挿入部の細径化を実現することができる。また、内視鏡装置では、固体撮像装置としてCMOS型イメージセンサを採用することによって、CCD型イメージセンサを採用していたときよりも電源の電圧を低く設定することができ、低消費電力化を実現することができる。
 また、CMOS型イメージセンサは、光を受光する画素部内に配置する画素の構造の違いから、画素の大きさをCCD型イメージセンサよりも小さくすることができる。このため、内視鏡装置では、固体撮像装置としてCMOS型イメージセンサを採用することによって、CCD型イメージセンサを採用していたときよりも容易に挿入部の先端の小型化を実現することができる。
 また、CMOS型イメージセンサは、CCD型イメージセンサが専用の製造プロセスを用いて製造することが必要であるのに対して、他の一般的なLSIなどの集積回路と同じ製造プロセスを用いて製造することができる。このため、CMOS型イメージセンサでは、容易にSOC(System On Chip)に対応することができ、固体撮像装置の多機能化を実現することができる。このことにより、内視鏡装置では、CMOS型イメージセンサを固体撮像装置として採用することによって、容易に多機能化を実現することができる。
 例えば、内視鏡装置における固体撮像装置としてCCD型イメージセンサを採用していた場合、細長い挿入部内に備えた細い信号線によってCCD型イメージセンサから出力されたアナログの画素信号を本体部に伝送するため、大きなドライブ回路で画素信号を駆動することによって、伝送するアナログ信号(画素信号)の品質を確保する必要があった。そこで、CCD型イメージセンサを固体撮像装置として採用した内視鏡装置においてアナログの画素信号をデジタルの画素信号に変換して本体部に伝送する構成にすることが考えられる。しかしながら、この構成の場合には、大きなドライブ回路は不要になるが、駆動信号生成回路やAD(アナログ-デジタル)変換回路などの周辺の回路を、CCD型イメージセンサとは別のチップとして挿入部の先端に配置する必要があるため、先端部に配置する部品の数が多くなってしまう。これに対してCMOS型イメージセンサでは、駆動信号生成回路やAD変換回路のみならず、CDS(Correlated Double Sampling:相関二重サンプリング)回路や画像処理回路などの処理回路も含めた周辺の回路を、CMOS型イメージセンサの内部に形成することができる。さらに、CMOS型イメージセンサでは、画素と周辺の回路とを異なる半導体基板に形成し、それぞれの半導体基板を積層して1つのCMOS型イメージセンサを構成する技術も確立されている。このため、CMOS型イメージセンサでは、周辺の回路を内部に形成したとしても、半導体基板の大きさ(サイズ)、つまり、CMOS型イメージセンサのチップ面積(投影面積)が大きくなってしまうことはない。このことから、内視鏡装置では、固体撮像装置としてCMOS型イメージセンサを採用することによって、デジタルの画素信号を本体部に伝送する構成にした場合でも、CCD型イメージセンサを採用していたときよりも先端部に配置する部品の数を少なくし、挿入部の先端の小型化を実現することができる。
 内視鏡装置では、上述したように、CMOS型イメージセンサが、単一の電圧の電源で駆動することができること、画素が小さいこと、駆動信号生成回路などの周辺の回路を内部に形成することができることなど、CCD型イメージセンサよりも有利な点を生かして、挿入部の細径化を実現することができる。
 ところで、内視鏡装置において、多機能化したCMOS型イメージセンサを固体撮像装置として採用した場合、CMOS型イメージセンサに備えた撮影の機能を含めた種々の機能の動作や実行は、本体部から制御する。より具体的には、本体部は、多機能化したCMOS型イメージセンサに備えたそれぞれの機能に対応した設定を保持しているレジスタに記憶された設定値を書き換えることによって、それぞれの機能の動作や実行を制御する。このため、本体部には、CMOS型イメージセンサに備えたレジスタの書き換えを制御するための機構を備えることになる。
 ここで、CMOS型イメージセンサに備えたレジスタの書き換えを制御する方法としては、シリアル通信方式を用いることができる。なお、従来の一般的な技術において最も制御信号の数が少ないシリアル通信方式は、2線式のシリアル通信方式である。2線式のシリアル通信方式としては、例えば、I2C(Inter-Integrated Circuit)方式のシリアル通信などがある。
 言い換えれば、内視鏡装置において多機能化したCMOS型イメージセンサを固体撮像装置として採用した場合、I2Cシリアル通信で考えた場合でも、レジスタの書き換えを制御する制御信号のために、少なくとも2本の信号線が新たに必要となる。CMOS型イメージセンサのチップ面積(投影面積)の大きさは、チップ面積の縮小化を進めると、外部の回路と接続する信号線の数、つまり、CMOS型イメージセンサの半導体基板に形成されるパッドの数に依存する。このため、内視鏡装置では、固体撮像装置としてCMOS型イメージセンサを採用することによって、上述したように、挿入部の細径化を実現することができるものの、挿入部のさらなる細径化を実現するためには、CMOS型イメージセンサと接続する挿入部内に備えた信号線の数をより少なくすることが求められる。
 例えば、特許文献1や特許文献2には、制御信号の一部を削減する技術が開示されている。特許文献1に開示された技術では、カメラメイン側がカメラヘッド部を制御するためのコントロール信号を同期信号に多重化して送信するとともに、電源線にクロック信号を重畳して送信することによって信号線の数を削減している。そして、特許文献1に開示された技術では、カメラヘッド部においてクロック信号を分離し、分離したクロック信号に基づいて同期信号に多重化されたコントロール信号を分離する。これにより、特許文献1に開示された技術では、カメラヘッド部が、コントロール信号に従って、カメラメイン側からの制御に応じた動作をする。また、特許文献2に開示された技術では、電力線にそれぞれのモジュール同士が通信するための搬送波を重畳することによって信号線の数を削減している。そして、特許文献2に開示された技術では、電力線に重畳された搬送波を分離することによって、それぞれのモジュールの間で通信をしている。
 この特許文献1や特許文献2に開示された技術を、CMOS型イメージセンサに備えたレジスタの書き換えを制御する制御信号の削減のために適用することによって、CMOS型イメージセンサと接続する挿入部内に備えた信号線の数を削減することができる。より具体的には、内視鏡装置において、CMOS型イメージセンサに備えたレジスタをI2Cシリアル通信によって書き換える構成を考えた場合、本体部が専用の信号線によってレジスタに供給するシリアルクロック信号SCLを電源線に重畳することによって、I2Cシリアル通信におけるシリアルクロック信号SCLを伝送するための1本の専用の信号線を削減することができる。
日本国特開平11-252438号公報 日本国特開2007-110355号公報
 しかしながら、特許文献1や特許文献2に開示された技術では、電源線(電力線)に重畳された信号を、制御される側で分離する構成となっている。このことをI2Cシリアル通信によってレジスタが書き換えられるCMOS型イメージセンサに当てはめると、CMOS型イメージセンサの内部で、電源線に重畳されたシリアルクロック信号SCLを分離し、分離したシリアルクロック信号SCLに基づいて、本体部から専用の信号線によって供給されたI2Cシリアル通信におけるシリアルデータ信号SDAが表す設定値に書き換える構成となる。つまり、CMOS型イメージセンサの内部で、電源線に重畳されたシリアルクロック信号SCLを分離する機構を備える必要がある。このレジスタに備えるシリアルクロック信号SCLを分離する機構は、CMOS型イメージセンサの回路規模が増大してしまう要因となる。
 本発明は、上記の課題に基づいてなされたものであり、固体撮像装置において用いるシリアル通信の一部の信号を削減することができる撮像システム、およびこの撮像システムを用いた内視鏡装置を提供することを目的としている。
 本発明の第1の態様によれば、撮像システムは、複数の画素が2次元の行列状に配置され、撮影した連続した画像の撮像信号を伝送する固体撮像装置と、前記固体撮像装置から伝送された撮像信号を処理するとともに、前記固体撮像装置の動作を制御する制御装置とを含む撮像システムであって、前記固体撮像装置は、前記撮像信号を取得する画素部と、前記固体撮像装置の動作を規定する設定値を記憶するレジスタと、前記撮像信号をアナログ/デジタル変換してデジタル撮像信号に変換する処理回路と、撮影した前記画像の水平同期信号に同期する同期信号を第1のシリアルクロック信号として前記デジタル撮像信号に埋め込んだシリアルのデジタル伝送信号を生成するフレーム構成部と、前記デジタル伝送信号のデータを伝送するデータ伝送部と、を備え、前記制御装置は、伝送された前記デジタル伝送信号に含まれる前記デジタル撮像信号に埋め込まれた前記第1のシリアルクロック信号に同期した第2のシリアルクロック信号を生成するクロック生成部と、前記第2のシリアルクロック信号に同期して、前記レジスタに対する制御をするためのレジスタ設定信号を伝送するレジスタ設定部と、を備え、前記レジスタは、伝送された前記レジスタ設定信号が表す制御を、前記第1のシリアルクロック信号を用いて判定し、判定結果に応じて前記設定値の記憶をする。
 本発明の第2の態様によれば、上記第1の態様の撮像システムにおいて、前記第1のシリアルクロック信号は、前記画像に対応する水平同期信号であってもよい。
 本発明の第3の態様によれば、上記第1の態様または上記第2の態様の撮像システムにおいて、前記第1のシリアルクロック信号の周波数は、1kHz以上500kHz以下であってもよい。
 本発明の第4の態様によれば、上記第1の態様から上記第3の態様のいずれか一態様の撮像システムにおいて、前記データ伝送部は、前記デジタル伝送信号のデータを2本の差動信号で伝送し、前記レジスタ設定部は、前記レジスタ設定信号を1本の単信号で伝送してもよい。
 本発明の第5の態様によれば、上記第1の態様から上記第4の態様のいずれか一態様の撮像システムにおいて、前記レジスタ設定部は、前記レジスタ設定信号の伝送のみを行い、信号の受信は行わなくてもよい。
 本発明の第6の態様によれば、上記第1の態様から上記第5の態様のいずれか一態様の撮像システムにおいて、前記固体撮像装置は、基準のクロック信号を発振して出力するクロック発振回路、をさらに備え、前記レジスタ設定部は、前記レジスタに前記基準のクロック信号の発振周波数の設定信号を記憶させ、前記クロック発振回路は、前記レジスタに記憶された前記発振周波数の前記設定信号に従った周波数の前記基準のクロック信号を発振してもよい。
 本発明の第7の態様によれば、内視鏡装置は、上記第1の態様から上記第6の態様のいずれか一態様の撮像システム、を含んで構成された内視鏡装置であって、前記固体撮像装置は、挿入部の先端に配置され、前記制御装置は、本体部に配置される。
 上記各態様によれば、固体撮像装置において用いるシリアル通信の一部の信号を削減することができる撮像システム、およびこの撮像システムを用いた内視鏡装置を提供することができる。
本発明の実施形態における内視鏡装置の概略構成を示した構成図である。 本発明の実施形態における撮像システムの概略構成を示したブロック図である。 本発明の実施形態の撮像システムを構成する固体撮像装置が制御装置に伝送する動画像のフレームの構成を模式的に示した図である。 本発明の実施形態の撮像システムを構成する固体撮像装置に備えたクロック発振回路の概略構成の一例を示したブロック図である。 本発明の実施形態の撮像システムにおけるシリアル通信のそれぞれの信号の関係を示したタイミングチャートである。
 以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の撮像システムが、本発明の内視鏡装置として用いられている場合について説明する。図1は、本発明の実施形態における内視鏡装置の概略構成を示した構成図である。
 図1において、内視鏡装置1は、内視鏡スコープ部10と、本体部20と、を備えている。内視鏡装置1は、例えば、消化器用の内視鏡装置である。内視鏡装置1は、内視鏡スコープ部10における挿入部が患者(検査対象者)の体内に挿入され、検査対象者の消化器内の病巣組織など、観察対象の部位を撮影する。このとき、内視鏡装置1は、照射した光によって観察対象の部位を撮影する。
 内視鏡装置1において、内視鏡スコープ部10は、挿入部11と、操作部12と、を備えている。内視鏡スコープ部10において、挿入部11は、先端に撮像部13を備えている。また、内視鏡装置1において、本体部20は、外部処理部21と、カラーモニタ22と、を備えている。内視鏡装置1では、内視鏡スコープ部10の操作部12と本体部20の外部処理部21とが、ユニバーサルコード30によって接続されている。なお、内視鏡装置1では、内視鏡スコープ部10の操作部12と本体部20に備えた不図示の光源装置とも、観察対象の部位に照射する光を伝送する不図示のライトガイドによって接続されている。
 内視鏡スコープ部10は、挿入部11が検査対象者の体内の消化器などに挿入され、観察対象の部位(以下、「観察部位」という)の像を撮像する。このとき、観察部位には、不図示のライトガイドによって導かれた照明光が挿入部11の先端から照射される。内視鏡スコープ部10は、撮像した観察部位の像に応じた撮像信号を、ユニバーサルコード30内の信号線によって外部処理部21に出力(伝送)する。
 挿入部11は、検査対象者の体内に挿入される。挿入部11の先端の撮像部13には、観察部位の像を電気信号に変換した撮像信号を生成するイメージセンサを備えている。撮像部13に備えたイメージセンサは、生成した撮像信号を、挿入部11、操作部12、およびユニバーサルコード30を経由して外部処理部21に出力(伝送)する。
 操作部12は、例えば、検査実施者(例えば、消化器の手術を実施している医師など)が操作することによって、挿入部11および撮像部13の動作を制御する支持部である。内視鏡スコープ部10において、操作部12は、挿入部11の先端を検査実施者の体内に挿入する際の方向や、内視鏡装置1における撮影を制御するための操作スイッチ14を備えている。操作スイッチ14は、例えば、検査実施者の操作に応じて、観察部位を撮影することを指示するための指示信号を、操作部12およびユニバーサルコード30を経由して外部処理部21に出力する。
 外部処理部21は、内視鏡スコープ部10の撮像部13に備えたイメージセンサによる観察部位の観察や撮影を制御する制御部である。外部処理部21は、撮像部13に備えたイメージセンサが観察部位の観察や撮影を制御するための制御信号を、ユニバーサルコード30、操作部12、および挿入部11内の信号線を通して撮像部13に伝送する。また、外部処理部21は、挿入部11、操作部12、およびユニバーサルコード30内の信号線を通して伝送されてきた、撮像部13に備えたイメージセンサが撮影した観察部位の撮像信号に対して予め定めた画像処理を施し、撮影した観察部位を含む画像を生成する画像処理装置でもある。外部処理部21には、撮像部13に備えたイメージセンサによる撮影を制御し、イメージセンサから出力された撮像信号に基づいて画像を生成するコントロールユニットを備えている。
 また、外部処理部21は、内視鏡装置1において観察部位の観察または撮影をする際に、検査実施者からの制御に応じて観察部位に照射する照明光を出射する不図示の光源装置を備えている。不図示の光源装置が出射した照明光は、例えば、ユニバーサルコード30、操作部12、および挿入部11内を通る不図示のライトガイドなどによって内視鏡スコープ部10の挿入部11の先端に導かれ、撮像部13から観察部位に照射される。なお、外部処理部21は、観察部位の観察または撮影をするときに、不図示の光源装置を制御して、観察部位に照明光を照射させる。そして、外部処理部21は、生成した観察部位を含む画像の画像信号をカラーモニタ22に出力して表示させる。
 カラーモニタ22は、外部処理部21から入力された画像信号に応じた観察部位を含む画像を表示する。カラーモニタ22は、例えば、液晶ディスプレイ(Liquid Crystal Display:LCD)などの表示装置である。
 このような構成によって内視鏡装置1は、患者(検査対象者)の体内の病巣組織などの観察部位を撮影する。そして、内視鏡装置1は、撮影した観察部位を含む画像を、検査実施者に提示する。
 次に、本発明の撮像システムの構成について説明する。内視鏡装置1では、挿入部11に構成された撮像部13に備えたイメージセンサと、本体部20に構成された外部処理部21に備えたコントロールユニットとで、撮像システムを構成している。図2は、本発明の実施形態における撮像システムの概略構成を示したブロック図である。図2において、撮像システム100は、挿入部11に構成された撮像部13に備えたイメージセンサ130と、本体部20に構成された外部処理部21に備えたコントロールユニット210と、を含んで構成される。
 イメージセンサ130は、コントロールユニット210からの制御に応じて、入射した光を露光(検出)し、露光した光を光電変換した電気信号を撮像信号として出力する固体撮像装置である。イメージセンサ130は、多機能化したCMOS(Complementary Metal-Oxide Semiconductor:相補型金属酸化膜半導体)型イメージセンサである。なお、イメージセンサ130の構造については、特に規定しない。従って、イメージセンサ130は、全ての構成要素を1枚の半導体基板に形成した構造であってもよいし、画素を形成した半導体基板と、画素以外の構成要素を形成した半導体基板とを積層した構造であってもよい。イメージセンサ130は、コントロールユニット210からの制御に応じて、動画像を撮影し、撮影した動画像の撮像信号をデジタルの撮像信号(以下、「デジタル撮像信号」という)に変換してコントロールユニット210に伝送する。
 コントロールユニット210は、イメージセンサ130における撮影の機能や、イメージセンサ130に備えた撮影以外の機能の動作や実行を制御する制御装置である。また、コントロールユニット210は、イメージセンサ130から伝送されてきた動画像のデジタル撮像信号に対して予め定めた画像処理を施した画像を生成する画像処理部でもある。コントロールユニット210は、例えば、CPU(Central Processing Unit)などの処理装置を含んで構成されてもよい。
 撮像システム100では、イメージセンサ130とコントロールユニット210との間の信号線の数を削減するため、イメージセンサ130とコントロールユニット210との間の信号の伝送に、所定のクロック(以下、「シリアルクロック信号SCL」という)と、それに同期したデータ信号(以下、「シリアルデータ信号SDA」という)とによってデータをコントロールするシリアル通信方式を用いる。なお、既存のシリアル通信方式において最も制御信号の数が少ないシリアル通信方式は、2種類の制御信号でデータをコントロールするI2C(Inter-Integrated Circuit)方式のシリアル通信であり、本実施形態のシリアル通信はI2Cに準じ、シリアルクロック信号SCAとシリアルデータ信号SDAでデータをコントロールしている。また、以下の説明においては、イメージセンサ130が、差動インターフェース方式であるLVDS(Low voltage differential signaling)方式のシリアル伝送方式によって、コントロールユニット210にデジタル撮像信号を伝送するものとして説明する。
 また、撮像システム100では、イメージセンサ130とコントロールユニット210との間の信号線の数をさらに削減するため、I2Cシリアル通信におけるシリアルクロック信号SCLを削減する。このため、撮像システム100では、イメージセンサ130が、I2Cシリアル通信におけるシリアルクロック信号SCLに相当するクロック信号を、デジタル撮像信号に埋め込んでコントロールユニット210に伝送する。そして、撮像システム100では、コントロールユニット210が、デジタル撮像信号に埋め込まれてイメージセンサ130から伝送されてきたシリアルクロック信号SCLに相当するクロック信号に同期して、I2Cシリアル通信におけるシリアルデータ信号SDAをイメージセンサ130に伝送する。
 図2においては、イメージセンサ130が、水平同期信号を、シリアルクロック信号SCLに相当するクロック信号としてデジタル撮像信号、つまり、LVDS方式の差動信号(差動正信号OUTPおよび差動負信号OUTN)に埋め込んで送信している状態を示している。また、図2においては、コントロールユニット210が、LVDS方式の差動信号に含まれて送信されてきた水平同期信号(シリアルクロック信号SCL)に同期して、シリアルデータ信号SDAをイメージセンサ130に伝送している状態を示している。
 このように、撮像システム100では、コントロールユニット210がイメージセンサ130の動作を制御するために用いる2本のシリアル通信の信号線のうち、シリアルクロック信号SCLを伝送するためのシリアル信号線を削減して、シリアルデータ信号SDAを伝送するシリアル信号線32のみとする。なお、撮像システム100では、イメージセンサ130がコントロールユニット210にデジタル撮像信号を伝送するためのLVDS方式の信号線は、差動正信号OUTPを伝送するための差動信号線31Pと、差動負信号OUTNを伝送するための差動信号線31Nとの2本である。図2においては、コントロールユニット210からイメージセンサ130に電源を供給するための電源線とグラウンド線との2本の電源線も併せて示している。
 これにより、撮像システム100を用いた内視鏡装置1では、内視鏡スコープ部10およびユニバーサルコード30内の信号線を、少なくとも、電源線およびグラウンド線の2本の電源線と、差動信号線31Pおよび差動信号線31Nの2本の差動信号線と、シリアル信号線32との5本の信号線のみに削減することができる。このことにより、撮像システム100を用いた内視鏡装置1では、内視鏡スコープ部10(特に、挿入部11)の細径化を実現することができる。
 ここで、撮像システム100の構成要素のより詳細な構成について説明する。まず、イメージセンサ130の構成について説明する。イメージセンサ130は、電源回路1301と、画素部1302と、垂直走査回路1303と、列処理回路1304と、水平走査回路1305と、シリアルアクセスレジスタ1306と、タイミングジェネレータ1307と、フレーム構成回路1308と、符号化回路1309と、ラインドライバ1310と、オシュレータ1311と、を備えている。
 電源回路1301は、コントロールユニット210から電源線とグラウンド線との2本の電源線によって供給された電源に基づいて、イメージセンサ130内で用いる電圧のそれぞれ電源を生成する。電源回路1301は、生成した電源をイメージセンサ130に備えたそれぞれの構成要素に供給する。
 オシュレータ1311は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、イメージセンサ130における基準のクロック信号、いわゆる、マスタークロック信号を生成するクロック発振回路である。オシュレータ1311は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいた周波数のマスタークロック信号を生成(発振)する。オシュレータ1311は、生成したマスタークロック信号を、イメージセンサ130に備えたそれぞれの構成要素に供給する。
 なお、オシュレータ1311は、撮像システム100において、コントロールユニット210からイメージセンサ130へのマスタークロック信号の伝送、つまり、イメージセンサ130とコントロールユニット210との間のマスタークロック信号の伝送線を削減するために、イメージセンサ130に備えた構成要素である。従って、撮像システム100を、コントロールユニット210からイメージセンサ130にマスタークロック信号を伝送する構成にした場合には、イメージセンサ130にオシュレータ1311を備えない構成にすることもできる。
 画素部1302は、複数の画素が2次元の行列状に配置された画素アレイ部である。画素部1302内に配置されたそれぞれの画素は、配置されたそれぞれの位置に入射してきた光の強度に応じた電荷量の信号電荷を発生し、発生した信号電荷を蓄積する。なお、イメージセンサ130において画素部1302に複数配置されたそれぞれの画素には、赤色(R)の波長帯域の光を透過するオンチップカラーフィルタ、緑色(G)の波長帯域の光を透過するオンチップカラーフィルタ、および青色(B)の波長帯域の光を透過するオンチップカラーフィルタのいずれか一つのオンチップカラーフィルタが貼付されている。これにより、イメージセンサ130は、入射してきた光の強度に応じて発生したカラーの信号電荷を蓄積する。
 垂直走査回路1303は、タイミングジェネレータ1307からの制御に応じて画素部1302内のそれぞれの画素を行ごとに駆動し、それぞれの画素に蓄積された信号電荷に応じた電圧信号を、画素信号として出力させる駆動回路である。これにより、それぞれの画素が行ごとに出力した画素信号(アナログ信号)が、列処理回路1304に入力される。
 列処理回路1304は、タイミングジェネレータ1307からの制御に応じて、垂直走査回路1303の駆動によって画素部1302内のそれぞれの画素から出力されたアナログの画素信号に対して予め定めたアナログの信号処理を施す処理回路である。より具体的には、列処理回路1304は、例えば、相関二重サンプリング(Correlated Double Sampling:CDS)処理によってアナログの画素信号に含まれるノイズを除去するノイズ除去処理を施す。また、列処理回路1304は、CDS処理が施されたアナログの画素信号に対して、例えば、アナログの画素信号の信号レベルを増幅する信号増幅処理や、アナログの画素信号の大きさを表すデジタル値に変換するアナログ/デジタル変換(A/D変換)処理を施す。列処理回路1304は、水平走査回路1305からの制御に応じて、アナログ/デジタル変換したアナログの画素信号の大きさを表すデジタル値のデジタル撮像信号を、フレーム構成回路1308に順次出力する。なお、列処理回路1304がアナログ/デジタル変換したデジタル撮像信号は、パラレルのデジタル値のデータである。
 なお、列処理回路1304は、画素部1302に配置された画素の列ごとのアナログの画素信号に対して、予め定めたアナログの信号処理を施す構成であってもよい。つまり、列処理回路1304は、アナログの信号処理を施す処理回路を、画素部1302に配置された画素の1列に対して1個ずつ備える構成であってもよい。また、列処理回路1304は、画素部1302に配置された画素の複数列ごとのアナログの画素信号に対して、予め定めたアナログの信号処理を施す構成であってもよい。つまり、列処理回路1304は、アナログの信号処理を施す処理回路を、画素部1302に配置された画素の複数列に対して1個ずつ備える構成であってもよい。また、列処理回路1304は、1個の処理回路が、画素部1302に配置されたそれぞれの列の画素から出力されたアナログの画素信号に対して、予め定めたアナログの信号処理を順次施す構成であってもよい。
 水平走査回路1305は、タイミングジェネレータ1307からの制御に応じて画素部1302内のそれぞれの画素の列ごとに列処理回路1304を制御し、列処理回路1304がアナログ/デジタル変換した後のデジタル撮像信号(デジタル値)を、画素部1302内のそれぞれの画素の列ごとに順次出力させる駆動回路である。これにより、列処理回路1304がアナログ/デジタル変換したそれぞれの画素が出力したアナログの画素信号の大きさを表すデジタル撮像信号が、画素部1302に配置されたそれぞれの画素の列ごとに、フレーム構成回路1308に順次入力される。
 フレーム構成回路1308は、タイミングジェネレータ1307からの制御に応じて、列処理回路1304から順次出力されたそれぞれのデジタル撮像信号によって表される動画像をコントロールユニット210に伝送するためのそれぞれのデジタル伝送信号を構成する処理回路である。このとき、フレーム構成回路1308は、イメージセンサ130から伝送されてきたデジタル撮像信号を受信したコントロールユニット210が、受信したデジタル撮像信号の塊から対応する動画像の1つのフレーム(1つの画像)を構成するために必要な情報を付加する。
 より具体的には、フレーム構成回路1308は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、動画像を構成するそれぞれのフレーム(画像)に対応する同期信号(垂直同期信号および水平同期信号)を生成する。そして、フレーム構成回路1308は、生成した同期信号を表す情報をデジタル撮像信号に埋め込んでコントロールユニット210に伝送するためのデジタル伝送信号を構成する。言い換えれば、フレーム構成回路1308は、生成した同期信号をコントロールユニット210が用いるシリアルクロック信号SCLに相当するクロック信号として埋め込んだ状態の動画像のそれぞれのフレーム(画像)を伝送するためのデジタル伝送信号を構成する。このとき、フレーム構成回路1308は、列処理回路1304から順次出力されたそれぞれの列のデジタル撮像信号を並べ替えて、動画像を構成するそれぞれのフレーム(画像)に含まれるデジタル撮像信号(デジタル値)の順番を変更したデジタル伝送信号を構成してもよい。
 なお、フレーム構成回路1308が構成する動画像のデジタル伝送信号に含まれる同期信号を表す情報としては、デジタル撮像信号の塊から構成するフレーム(画像)内に配置されている行の位置を表す位置情報が含まれている。つまり、同期信号を表す情報には、これから伝送する1行分のデジタル撮像信号が、構成する動画像のフレーム(画像)におけるいずれの行のデジタル撮像信号であるかを表す情報が、デジタル撮像信号の伝送に先立って伝送される情報として含まれている。
 フレーム構成回路1308は、構成した動画像のデジタル伝送信号に含まれるそれぞれのデータ(位置情報などの同期信号を表す情報やデジタル撮像信号)を、構成する動画像のフレーム(画像)の行ごとに、符号化回路1309に順次出力する。
 これにより、イメージセンサ130から伝送されてきたデジタル撮像信号を受信したコントロールユニット210は、受信した1つのフレーム分(1つの画像分)のデジタル撮像信号に埋め込まれている同期信号を表す情報に基づいて、それぞれのデジタル撮像信号が、動画像の1つのフレーム(画像)内のいずれの行のデジタル撮像信号であるのかを判定することができる。また、コントロールユニット210は、受信した1つのフレーム分(1つの画像分)のデジタル撮像信号に埋め込まれている同期信号を表す情報に基づいて、動画像のフレーム(画像)においていずれのタイミングで行が切り替わるかを検出することができる。つまり、コントロールユニット210は、それぞれの行ごとの同期信号を表す情報から、フレーム構成回路1308が動画像のそれぞれのフレーム(画像)のデジタル撮像信号にシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(垂直同期信号および水平同期信号)のタイミングを認識することができる。
 また、フレーム構成回路1308は、生成した同期信号のうち水平同期信号を、イメージセンサ130内でシリアル通信に用いるシリアルクロック信号SCLとして、シリアルアクセスレジスタ1306に出力する。
 なお、以下の説明においては、上述したフレーム構成回路1308における一連の処理を、「フレーム構成処理」という。
 符号化回路1309は、タイミングジェネレータ1307からの制御に応じて、フレーム構成回路1308がフレーム構成処理を施して構成したデジタル伝送信号に含まれるそれぞれのデータ、つまり、位置情報などの同期信号を表す情報やデジタル撮像信号が含まれるパラレルのデータを1本(シングル)のシリアル信号で表すデータに変換(パラレル/シリアル変換)し、さらに符号化したシングルのシリアル信号であるデジタル伝送信号(符号)を生成する符号化回路である。符号化回路1309がシリアル信号で表すデータを符号化する際の符号化方式としては、例えば、マンチェスタ符号化方式や、8b/10b符号化方式など、既存の様々な符号化方式が考えられる。
 マンチェスタ符号化方式や8b/10b符号化方式は、デジタル伝送信号(符号)を受信したコントロールユニット210が、クロックデータリカバリーによってデジタル伝送信号(符号)に含まれるそれぞれのデータ(つまり、シリアル信号で表された位置情報などの同期信号を表す情報やデジタル撮像信号)を復元するためのデータ検出クロックを多重化する符号化方式である。マンチェスタ符号化方式や8b/10b符号化方式の符号化では、シングルのシリアル信号のデジタル伝送信号を構成するそれぞれのビットのデータ(以下、「ビットデータ」という)が特定の周波数成分を含むように変調する。これにより、符号化回路1309が符号化したシングルのシリアル信号のデジタル伝送信号(符号)には、フレーム構成回路1308が構成した動画像のデジタル伝送信号のそれぞれのビットデータに同期した同期信号(データ検出クロック)が多重化される。このデータ検出クロックは、フレーム構成回路1308が構成した動画像のデジタル伝送信号に含まれるそれぞれのパラレルのデータをシリアルに変換したそれぞれのビットデータが切り替わるタイミングの間に、立ち下がりエッジまたは立ち上がりエッジが表れるクロック信号である。このエッジのタイミングで前記ビットデータを検出することにより、該ビットデータの論理を検出(復元)することができる。これにより、コントロールユニット210では、クロックデータリカバリーによってデータ検出クロックを抽出(復元)することによって、受信したデジタル伝送信号(符号)からそれぞれのビットデータを検出(復元)することができる。
 以下の説明においては、符号化回路1309が、フレーム構成回路1308がフレーム構成処理を施して構成したデジタル伝送信号に含まれるそれぞれのデータを、マンチェスタ符号化方式によって符号化するものとして説明する。符号化回路1309は、マンチェスタ符号化した後のシングルのシリアル信号のデジタル伝送信号(符号)を、ラインドライバ1310に順次出力する。
 ラインドライバ1310は、タイミングジェネレータ1307からの制御に応じて、符号化回路1309から出力されたシングルのシリアル信号であるデジタル伝送信号(符号)を、LVDS方式の差動正信号OUTPと差動負信号OUTNとの2本のシリアルの差動信号であるデジタル伝送信号(符号差動)に変換してコントロールユニット210に伝送するドライブ回路である。ラインドライバ1310は、変換したデジタル伝送信号(符号差動)のそれぞれの差動信号を、対応する出力端子から出力する。
 シリアルアクセスレジスタ1306は、コントロールユニット210から伝送されてきたイメージセンサ130の動作を規定するために必要な種々の設定値(パラメータ)を記憶するレジスタである。シリアルアクセスレジスタ1306は、例えば、イメージセンサ130が露光(撮像)の動作をする際の露光時間(蓄積時間)や、動画像のフレームレート、露光(撮像)する画像の大きさを表す画像サイズ(画素数)、撮像信号を出力する際の読み出し方法など、イメージセンサ130における撮影の機能に関する設定値(パラメータ)を記憶する。また、シリアルアクセスレジスタ1306は、例えば、フレーム構成回路1308やオシュレータ1311などのそれぞれの構成要素による、イメージセンサ130に備えた撮影以外の機能の動作や実行を制御するための設定値(パラメータ)を記憶する。ここで、シリアルアクセスレジスタ1306が記憶するフレーム構成回路1308に関する設定値(パラメータ)としては、例えば、垂直方向のブランキング期間(水平同期信号の数)や、水平方向のブランキング期間(マスタークロック信号の数)など、フレーム構成回路1308が同期信号(垂直同期信号および水平同期信号)を生成するために必要な設定値(パラメータ)が含まれている。また、シリアルアクセスレジスタ1306が記憶するオシュレータ1311に関する設定値(パラメータ)としては、例えば、発振周波数(マスタークロック信号の周波数)など、オシュレータ1311が基準のクロック信号を生成するために必要な設定値(パラメータ)が含まれている。
 シリアルアクセスレジスタ1306は、シリアル通信方式のレジスタであり、シリアルクロック信号SCLと、それに同期したシリアルデータ信号SDAによってコントロール可能なレジスタである。つまり、シリアルアクセスレジスタ1306は、記憶している設定値(パラメータ)をシリアル通信によって書き換えることができるレジスタである。シリアルアクセスレジスタ1306は、フレーム構成回路1308から出力された水平同期信号を、シリアルクロック信号SCLとして用いる。そして、シリアルアクセスレジスタ1306は、コントロールユニット210から伝送されてきたシリアルデータ信号SDAが表す設定値(パラメータ)を、シリアルクロック信号SCL(水平同期信号)に基づいて判定し、判定した設定値(パラメータ)を記憶する。例えば、シリアルアクセスレジスタ1306は、現在記憶している設定値(パラメータ)を、判定した設定値(パラメータ)に書き換える。
 なお、シリアルアクセスレジスタ1306は、I2C方式のメモリに限定されるものではなく、例えば、SPI(Serial Peripheral Interface:シリアル・ペリフェラル・インタフェース)方式のレジスタであってもよい。この場合、シリアルアクセスレジスタ1306は、フレーム構成回路1308から出力された水平同期信号を、SPI方式におけるシリアルクロック信号SCKに相当する信号として用いて、記憶している設定値(パラメータ)を書き換える構成となる。
 タイミングジェネレータ1307は、イメージセンサ130における全体の動作のタイミングを制御するためのタイミング信号を生成するタイミング生成回路である。タイミングジェネレータ1307は、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、イメージセンサ130に備えたそれぞれの構成要素が機能を実行するために必要なタイミング信号を生成する。タイミングジェネレータ1307は、生成したそれぞれのタイミング信号を、対応する構成要素に出力する。これにより、イメージセンサ130では、それぞれの構成要素が、タイミングジェネレータ1307が生成したタイミング信号に従ったタイミングで動作する。
 続いて、コントロールユニット210の構成について説明する。コントロールユニット210は、ラインレシーバ2101と、クロックデータリカバリー(Clock Data Recovery:CDR)回路2102と、画像生成部2103と、レジスタ設定部2104と、を備えている。
 ラインレシーバ2101は、イメージセンサ130から出力されて差動信号線31Pおよび差動信号線31NによってLVDS方式のシリアルの差動信号として伝送されてきたデジタル伝送信号(符号差動)を受信するレシーバ回路である。ラインレシーバ2101は、受信したデジタル伝送信号(符号差動)を、LVDS方式のシリアルの差動信号から、イメージセンサ130に備えた符号化回路1309がマンチェスタ符号化した後のシングルのシリアル信号であるデジタル伝送信号(符号)に変換する。ラインレシーバ2101は、変換したシングルのシリアル信号のデジタル伝送信号(符号)をクロックデータリカバリー回路2102に出力する。
 クロックデータリカバリー回路2102は、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)を構成するそれぞれのビットデータから、それぞれのビットデータに同期して多重化されたデータ検出クロックを抽出(復元)する復元回路である。より具体的には、クロックデータリカバリー回路2102は、イメージセンサ130に備えた符号化回路1309がデジタル伝送信号に含まれるそれぞれのビットデータの切り替わりのタイミングのときを立ち下がりエッジまたは立ち上がりエッジで表したデータ検出クロックのタイミングを抽出する。そして、クロックデータリカバリー回路2102は、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)と、抽出(復元)したデータ検出クロックとのそれぞれを、画像生成部2103に出力する。図2に示したコントロールユニット210では、クロックデータリカバリー回路2102が、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)をビットデータDataとし、抽出(復元)したデータ検出クロックを同期信号Syncとして、画像生成部2103に出力している。
 なお、図2に示したコントロールユニット210では、ラインレシーバ2101から出力されたシングルのシリアル信号のデジタル伝送信号(符号)がクロックデータリカバリー回路2102を通過して画像生成部2103に出力される構成を示しているが、デジタル伝送信号(符号)は、ラインレシーバ2101から出力されたそのままのシングルのシリアル信号である。従って、コントロールユニット210では、ラインレシーバ2101が、シングルのシリアル信号のデジタル伝送信号(符号)をクロックデータリカバリー回路2102と画像生成部2103とのそれぞれに出力し、クロックデータリカバリー回路2102が、抽出(復元)したデータ検出クロックのみを画像生成部2103に出力する構成であってもよい。
 画像生成部2103は、クロックデータリカバリー回路2102から出力されたビットデータDataによって表される位置情報などの同期信号を表す情報やデジタル撮像信号を復元し、復元した位置情報などの同期信号を表す情報やデジタル撮像信号に基づいて、イメージセンサ130が撮影した動画像を生成する画像処理部である。
 画像生成部2103は、まず、クロックデータリカバリー回路2102から出力された同期信号Syncに基づいて、シングルのシリアル信号のデジタル伝送信号(符号)に含まれるそれぞれのビットデータの値(“High”レベルまたは“Low”レベルのデータ値)を検出する。このとき、画像生成部2103は、同期信号Syncを逓倍したクロック信号のエッジを用いて、それぞれのビットデータのデータ値を検出する。これにより、画像生成部2103は、イメージセンサ130に備えた符号化回路1309がマンチェスタ符号化した後のシングルのシリアル信号のデジタル伝送信号(符号)に含まれるそれぞれのビットデータを得ることができる。
 その後、画像生成部2103は、検出したビットデータから、イメージセンサ130に備えた符号化回路1309がマンチェスタ符号化をする前のデジタル伝送信号に含まれるそれぞれのビットデータを復元する。つまり、画像生成部2103は、マンチェスタ符号化されたシングルのシリアル信号のデジタル伝送信号(符号)を、マンチェスタ符号化されていないシングルのシリアル信号のデジタル伝送信号に復元する。
 そして、画像生成部2103は、復元したマンチェスタ符号化されていないシングルのシリアル信号のデジタル伝送信号をパラレルのデータに変換(シリアル/パラレル変換)する。これにより、画像生成部2103は、イメージセンサ130に備えたフレーム構成回路1308がフレーム構成処理を施して構成した動画像のデジタル伝送信号に含まれるそれぞれのパラレルのデータ(位置情報などの同期信号を表す情報やデジタル撮像信号)を復元する。つまり、画像生成部2103は、フレーム構成回路1308が生成してシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(垂直同期信号および水平同期信号)と、列処理回路1304が出力したそれぞれのデジタル撮像信号とを復元する。
 そして、画像生成部2103は、復元したデジタル撮像信号のそれぞれのデータに対して種々の画像処理を施して、イメージセンサ130が撮像した観察部位を含む動画像を生成する。
 また、画像生成部2103は、復元した位置情報などの同期信号を表す情報に基づいて、イメージセンサ130に備えたフレーム構成回路1308が生成し、シリアルクロック信号SCLに相当するクロック信号としてデジタル撮像信号に埋め込んだ同期信号(垂直同期信号および水平同期信号)と同様の同期信号を生成する同期信号生成部でもある。つまり、画像生成部2103は、フレーム構成回路1308が生成した同期信号(垂直同期信号および水平同期信号)に同期した同期信号を生成する同期信号生成部でもある。なお、イメージセンサ130からのデジタル伝送信号(符号差動)の伝送に遅延が生じている場合、この遅延は、固定の遅延量であると考えられる。この場合、画像生成部2103は、イメージセンサ130からのデジタル伝送信号(符号差動)の伝送における固定の遅延量を考慮して、フレーム構成回路1308が生成した同期信号に同期した同期信号を生成する構成にしてもよい。
 画像生成部2103が生成した動画像および同期信号は、例えば、カラーモニタ22に出力され、カラーモニタ22にイメージセンサ130が撮影した動画像が表示される。また、画像生成部2103は、生成した同期信号を、イメージセンサ130が内部(つまり、シリアルアクセスレジスタ1306)でシリアルクロック信号SCLとして、レジスタ設定部2104に出力する。図2に示したコントロールユニット210では、画像生成部2103が、生成した同期信号のうち水平同期信号Hsyncを、シリアルクロック信号SCLとしてレジスタ設定部2104に出力している。
 レジスタ設定部2104は、イメージセンサ130に備えたシリアルアクセスレジスタ1306に、イメージセンサ130の動作を規定するための種々の設定値(パラメータ)を設定する制御部である。レジスタ設定部2104は、シリアル通信によって、シリアルアクセスレジスタ1306への設定値(パラメータ)の記憶や、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)の書き換えを制御する。このとき、レジスタ設定部2104は、画像生成部2103から出力された水平同期信号Hsyncを、シリアルクロック信号SCLとして用いて、シリアルアクセスレジスタ1306に対してシリアル通信をする。レジスタ設定部2104は、シリアルアクセスレジスタ1306に対して設定値(パラメータ)の記憶や、書き換え、読み出しを制御する際に、まず、シリアルアクセスレジスタ1306に対するアクセスを表すレジスタ設定信号を生成する。
 例えば、レジスタ設定部2104は、シリアルアクセスレジスタ1306に対して設定値(パラメータ)の記憶や書き換えの制御をする際に、シリアルアクセスレジスタ1306に設定する設定値(パラメータ)を表すレジスタ設定信号を生成する。撮像システム100を用いた内視鏡装置1では、レジスタ設定部2104が、例えば、検査実施者が操作スイッチ14を操作して指示した観察部位の撮影をするためにイメージセンサ130に設定する設定値(パラメータ)を表すレジスタ設定信号を生成する。また、例えば、レジスタ設定部2104は、シリアルアクセスレジスタ1306に対して記憶している設定値(パラメータ)の読み出しの制御をする際に、シリアルアクセスレジスタ1306に設定値(パラメータ)の読み出しを指示するレジスタ設定信号を生成する。撮像システム100を用いた内視鏡装置1では、レジスタ設定部2104が、例えば、検査実施者が操作スイッチ14を操作して指示した現在の設定の確認をするためにイメージセンサ130に設定している設定値(パラメータ)の読み出しの指示を表すレジスタ設定信号を生成する。
 そして、レジスタ設定部2104は、生成したレジスタ設定信号をシリアルデータ信号SDAとし、水平同期信号Hsync(つまり、シリアルクロック信号SCL)に同期したタイミングで、シリアル信号線32によってイメージセンサ130に伝送する。
 このような構成によって撮像システム100では、イメージセンサ130が、同期信号を生成し、生成した同期信号を表す情報(位置情報など)をシリアルクロック信号SCLに相当するクロック信号として埋め込んだ状態で動画像のそれぞれのフレーム(画像)を伝送するためのデジタル伝送信号を構成する。これにより、撮像システム100では、イメージセンサ130が、デジタル撮像信号と共に、生成した同期信号をシリアルクロック信号SCLに相当するクロック信号としてコントロールユニット210に伝送する。また、撮像システム100では、コントロールユニット210が、イメージセンサ130から伝送されてきたデジタル伝送信号(符号差動)に含まれる同期信号を表す情報(位置情報など)に基づいて、イメージセンサ130内で生成した同期信号と同様の同期信号を生成する。そして、撮像システム100では、生成した同期信号を、イメージセンサ130が内部で用いているシリアルクロック信号SCLとして、シリアルクロック信号SCL(同期信号)に同期したタイミングで、生成したシリアルデータ信号SDAをイメージセンサ130に伝送して、シリアル通信をする。
 つまり、撮像システム100では、一般的なI2Cシリアル通信においてはシリアルデータ信号SDAを伝送する側からシリアルデータ信号SDAと共に伝送するシリアルクロック信号SCLを、シリアルデータ信号SDAを受信する側で生成して伝送する。そして、撮像システム100では、シリアルデータ信号SDAを伝送する側が、シリアルデータ信号SDAを受信する側から伝送されてきたシリアルクロック信号SCLに同期したタイミングで、生成したシリアルデータ信号SDAを伝送する。
 これにより、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、一般的なI2Cシリアル通信であれば2本必要になる信号線(シリアルクロック信号SCL用の信号線とシリアルデータ信号SDA用の信号線)のうち、シリアルクロック信号SCLを伝送する信号線を削減することができる。このことにより、撮像システム100を用いた内視鏡装置1では、内視鏡スコープ部10およびユニバーサルコード30内の信号線を、一般的なI2Cシリアル通信をする構成の場合よりも1本少なくして、内視鏡スコープ部10(特に、挿入部11)の細径化を実現することができる。
 次に、撮像システム100についてより詳細に説明する。まず、イメージセンサ130がコントロールユニット210に伝送するデジタル伝送信号について説明する。上述したように、イメージセンサ130は、撮影した動画像のデジタル撮像信号と生成した同期信号を表す情報とを合わせたデジタル伝送信号を構成し、構成したデジタル伝送信号を符号化したシングルのシリアル信号のデジタル伝送信号(符号)を、LVDS方式の差動シリアル伝送方式によってコントロールユニット210に伝送する。
 図3は、本発明の実施形態の撮像システム100を構成する固体撮像装置(イメージセンサ130)が制御装置(コントロールユニット210)に伝送する動画像のフレーム(画像)の構成を模式的に示した図である。なお、以下の説明においては、イメージセンサ130が撮影した動画像におけるそれぞれの画素に対応するデジタル撮像信号が12ビットであり、コントロールユニット210に伝送するデジタル伝送信号のデータ(以下、「デジタル伝送データ」という)が16ビットであるものとして説明する。
 イメージセンサ130では、垂直走査回路1303が、画素部1302に配置されているそれぞれの画素を行ごとに駆動し、駆動する行を垂直方向(列方向、縦方向)に順次移動して、それぞれの画素が発生した信号電荷に応じた画素信号を列処理回路1304に出力させる。そして、イメージセンサ130では、水平走査回路1305が、画素部1302に配置されている画素の列ごとに、列処理回路1304がアナログ/デジタル変換したデジタル撮像信号をフレーム構成回路1308に出力させる。つまり、イメージセンサ130では、デジタル撮像信号が、いわゆる、ラスター順にフレーム構成回路1308に出力される。図3には、動画像を構成する1つのフレーム(1つの画像)分のデジタル撮像信号がフレーム構成回路1308に順次出力される様子を模式的に示している。
 より具体的には、まず、垂直走査回路1303が、画素部1302の1行目に配置された画素を駆動して画素信号を列処理回路1304に出力させ、水平走査回路1305が、画素部1302の1列目に配置された画素に対応するデジタル撮像信号から順にn列目に配置された画素に対応するデジタル撮像信号までフレーム構成回路1308に出力させる。その後、垂直走査回路1303が、画素部1302の2行目に配置された画素を駆動して画素信号を列処理回路1304に出力させ、水平走査回路1305が、同様に、画素部1302の1列目からn列目まで順にデジタル撮像信号をフレーム構成回路1308に出力させる。そして、最後に、垂直走査回路1303が、画素部1302のm行目に配置された画素を駆動して画素信号を列処理回路1304に出力させ、水平走査回路1305が、画素部1302の1列目からn列目まで順にデジタル撮像信号をフレーム構成回路1308に出力させる。イメージセンサ130では、このような垂直走査回路1303と水平走査回路1305との動作によって、動画像を構成する1つのフレーム(1つの画像)分のデジタル撮像信号がフレーム構成回路1308に順次出力される。なお、垂直走査回路1303が駆動する画素の列の数(n列)や画素の行の数(m行)は、イメージセンサ130が露光(撮像)する画像の大きさを表す画像サイズ(画素数)の設定値(パラメータ)としてシリアルアクセスレジスタ1306に記憶されている。
 その後、イメージセンサ130では、シリアルアクセスレジスタ1306に記憶されている垂直方向のブランキング期間の設定値(パラメータ)に応じた一定の時間が経過するごとに、動画像を構成する次の1つのフレーム(1つの画像)分のデジタル撮像信号が、画素部1302の1行目からラスター順に、フレーム構成回路1308に順次出力される。つまり、イメージセンサ130では、シリアルアクセスレジスタ1306に記憶されている垂直方向のブランキング期間の設定値(パラメータ)によって、それぞれの動画像のフレーム(画像)のデジタル撮像信号がフレーム構成回路1308に出力される周期、いわゆる、動画像のフレームレートが決められている。
 なお、それぞれの動画像のフレーム(画像)のデジタル撮像信号がフレーム構成回路1308に出力される動画像のフレームレートは、イメージセンサ130において動画像を撮影する撮影周期でもある。イメージセンサ130における動画像の撮影では、垂直走査回路1303が、シリアルアクセスレジスタ1306に記憶されている撮影の機能に関する設定値(パラメータ)に従って、画素部1302に配置されたそれぞれの画素を駆動する。ここで、イメージセンサ130が動画像の撮影するときの垂直走査回路1303による画素の駆動方法としては、それぞれの画素を行ごとに順次駆動する、いわゆる、ローリングシャッタ方式の駆動、または全ての画素を同時に駆動する、いわゆる、グローバルシャッタ方式の駆動が考えられる。ただし、イメージセンサ130において動画像を撮影するための垂直走査回路1303による画素の駆動は、動画像を構成する前のフレーム(画像)の画素信号の出力が完了した画素に対して、垂直方向のブランキング期間、またはデジタル撮像信号をラスター順にフレーム構成回路1308に出力している期間に実施される。つまり、垂直走査回路1303による画素信号を出力させるための画素の駆動と、動画像を撮影するための画素の駆動とは、排他的に実施される。そして、撮像システム100では、コントロールユニット210が受信したデジタル撮像信号に基づいた動画像のフレーム(画像)を構成する際のタイミング、つまり、イメージセンサ130が撮影した動画像のそれぞれのフレーム(画像)をカラーモニタ22に表示させるタイミングに同期して、コントロールユニット210に備えたレジスタ設定部2104が、シリアルアクセスレジスタ1306に対して設定値(パラメータ)の記憶や、書き換え、読み出しを制御する。従って、以下の説明においては、イメージセンサ130において動画像を撮影するための垂直走査回路1303による画素の駆動に関する詳細な説明は、省略する。
 また、イメージセンサ130では、フレーム構成回路1308が、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)に基づいて、列処理回路1304が出力したそれぞれの動画像のフレーム(画像)のデジタル撮像信号に対応する同期信号(垂直同期信号および水平同期信号)を生成する。そして、イメージセンサ130では、フレーム構成回路1308が、生成した同期信号を表す情報(位置情報など)をデジタル撮像信号に埋め込んでコントロールユニット210に伝送するためのデジタル伝送信号を構成する。
 図3には、列処理回路1304が出力した動画像を構成する1つのフレーム(1つの画像)分のデジタル撮像信号に、生成した垂直同期信号VDと水平同期信号HDとのそれぞれの同期信号を表す情報を合わせた動画像のデジタル伝送信号の一例を示している。なお、図3には、参考として、フレーム構成回路1308が生成した垂直同期信号VDと水平同期信号HDとのそれぞれの同期信号の一例を併せて示している。図3に示した垂直同期信号VDと水平同期信号HDとのそれぞれでは、“High”=“H”レベルで、デジタル伝送信号が動画像として有効な期間であることを表し、“Low”=“L”レベルで、デジタル伝送信号が動画像として無効な期間、つまり、ブランキング期間であることを表している。
 フレーム構成回路1308は、図3に示したような同期信号を表す情報とデジタル撮像信号とを合わせた動画像のデジタル伝送信号を構成する。つまり、フレーム構成回路1308は、垂直同期信号VDと水平同期信号HDとのそれぞれが表すブランキング期間内に、コントロールユニット210による動画像の構成に用いない、デジタル撮像信号と同様の形式のデータを、列処理回路1304から出力されたデジタル撮像信号に埋め込んだデジタル伝送信号を構成する。図3には、垂直同期信号VDが表す垂直方向のブランキング期間(垂直ブランキング期間)内と、水平同期信号HDが表す水平方向のブランキング期間(水平ブランキング期間)内とのそれぞれの期間に動画像の構成に用いないデータを埋め込んで構成した動画像のフレーム(画像)の一例を示している。そして、フレーム構成回路1308は、構成した動画像のフレーム(画像)に含まれるそれぞれの同期信号を表す情報のデータまたはデジタル撮像信号を、行ごとに符号化回路1309に順次出力する。このとき、フレーム構成回路1308は、それぞれのブランキング期間内の動画像の構成に用いないデータに、構成した動画像のフレーム(画像)に含まれるそれぞれの同期信号を表す情報(位置情報)のデータを埋め込む。そして、イメージセンサ130では、符号化回路1309が、フレーム構成回路1308から出力されたデータ、つまり、デジタル伝送データ(パラレルのデータ)をマンチェスタ符号化方式によって符号化し、ラインドライバ1310が、LVDS方式の差動信号に変換してコントロールユニット210に伝送する。
 より具体的には、構成したデジタル伝送信号のそれぞれの行のデジタル伝送データを出力するとき、フレーム構成回路1308は、少なくとも最初に出力するデジタル伝送データの16ビットの全てを“1”(つまり、“11111111_11111111”)にする。これは、イメージセンサ130では、それぞれの画素に対応するデジタル撮像信号が12ビットであり、16ビットのデジタル伝送データに表されるデジタル撮像信号が全て“1”となることがないことを利用して、行の先頭、つまり、水平同期信号HDの始まりのタイミングを出力するデジタル伝送データで表すためである。これにより、デジタル撮像信号を受信したコントロールユニット210は、受信したデジタル撮像信号が表す16ビットのデジタル伝送データの中から、全てのビットが“1”であるデジタル伝送データを検出することによって、イメージセンサ130が構成した動画像のデジタル伝送信号におけるそれぞれの行の先頭、つまり、行の切り替わりのタイミングを認識することができる。
 続いて、フレーム構成回路1308は、次に出力する16ビットのデジタル伝送データで、構成したデジタル伝送信号における位置情報、つまり、行の位置を表す。なお、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、全てのビットが“1”であるデジタル伝送データの次のデジタル伝送データが行の位置を表すデータであることが予め決められ、整合させている。このため、デジタル撮像信号を受信したコントロールユニット210は、全てのビットが“1”であるデジタル伝送データの次に受信したデジタル伝送信号が表す16ビットのデジタル伝送データで、これから受信するデジタル伝送信号が表すデジタル伝送データがいずれの行のデジタル撮像信号であるかを認識することができる。
 その後、フレーム構成回路1308は、それぞれの行のデジタル撮像信号を表す16ビットのデジタル伝送データを順次出力する。ここで、デジタル撮像信号は、12ビットのデータである。このため、フレーム構成回路1308は、16ビットのデジタル伝送データのうち、例えば、下位の12ビットにデジタル撮像信号を割り当て、上位の4ビットの全てを“0”にしたデジタル伝送データを出力する。これにより、デジタル撮像信号を受信したコントロールユニット210は、受信したデジタル伝送信号が表す16ビットのデジタル伝送データのうち、下位12ビットをデジタル撮像信号として順次認識して処理をすることができる。
 なお、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、フレーム構成回路1308が構成した動画像のデジタル伝送信号における垂直方向のブランキング期間が、デジタル伝送信号の何行分の期間であるかが予め決められ、整合させている。これにより、デジタル撮像信号を受信したコントロールユニット210は、行の位置を表すデジタル伝送データを受信することによって、動画像を構成するデジタル撮像信号が含まれるデジタル伝送データを受信するのか、垂直方向のブランキング期間におけるデジタル伝送データを受信するのかを予め認識している。また、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、フレーム構成回路1308が構成した動画像のデジタル伝送信号における水平方向のブランキング期間が、デジタル伝送データのいくつ分の期間であるかが予め決められ、整合させている。これにより、デジタル撮像信号を受信したコントロールユニット210は、行の位置を表すデジタル伝送データを受信した後、いくつ目のデジタル伝送データからデジタル撮像信号を表すデジタル伝送データを受信するのかを予め認識している。このため、フレーム構成回路1308は、行の位置を表すデジタル伝送データを出力した後に出力するデジタル撮像信号を表すデジタル伝送データ以外を、いかなるデータにしてもよい。なお、上述したように、デジタル撮像信号は、12ビットのデータであるため、フレーム構成回路1308は、例えば、上位の4ビットの全てを“1”にしたデジタル伝送データを出力することによって、コントロールユニット210がより確実にデジタル撮像信号を表すデジタル伝送データではないことを認識できるようにしてもよい。
 このように、イメージセンサ130では、フレーム構成回路1308が、それぞれの行のデジタル伝送データを符号化回路1309に出力する際に、行の先頭を表すデジタル伝送データ、行の位置を表すデジタル伝送データに引き続き、デジタル撮像信号を表す複数のデジタル伝送データ、またはデジタル撮像信号を表さない複数のデジタル伝送データの順に、それぞれのデジタル伝送データを出力する。
 その後、フレーム構成回路1308は、1行分のデジタル撮像信号を表すデジタル伝送データ、またはデジタル撮像信号を表さないデジタル伝送データの出力を完了した後、次の行のデジタル伝送データを出力する。このときも、フレーム構成回路1308は、上述したように、次の行の先頭、つまり、次の行の水平同期信号HDの始まりのタイミングを表すデジタル伝送データから順にそれぞれのデジタル伝送データを、符号化回路1309に出力する。
 そして、イメージセンサ130では、符号化回路1309が、それぞれのデジタル伝送データを順次シリアル信号に変換してマンチェスタ符号化をし、ラインドライバ1310が、LVDS方式に順次変換した差動信号によって、複数のデジタル伝送データをデジタル伝送信号(符号差動)としてコントロールユニット210に伝送する。これにより、デジタル伝送信号(符号差動)を受信したコントロールユニット210では、画像生成部2103が、行の先頭を表すデジタル伝送データのデジタル伝送信号を受信したタイミングに基づいて、イメージセンサ130に備えたフレーム構成回路1308が生成した同期信号と同様の同期信号(図2では、水平同期信号Hsync)を生成する。そして、コントロールユニット210では、レジスタ設定部2104が、水平同期信号Hsyncを、シリアルクロック信号SCLとして用いて、シリアルアクセスレジスタ1306に対してシリアル通信をする。
 なお、撮像システム100では、コントロールユニット210がマスタークロック信号をイメージセンサ130に伝送していない。つまり、撮像システム100では、従来の内視鏡装置では挿入部の先端に備えた固体撮像装置が動作するタイミングと本体部が動作するタイミングを合わせるために本体部から固体撮像装置にマスタークロック信号を伝送するための信号線も削減している。このため、撮像システム100では、イメージセンサ130にオシュレータ1311を備えている。そして、撮像システム100では、コントロールユニット210が、オシュレータ1311が基準のクロック信号(マスタークロック信号)を生成(発振)するために必要な設定値(パラメータ)をシリアルアクセスレジスタ1306に設定する(記憶させる)ことによって、マスタークロック信号の周波数を制御する。これにより、撮像システム100では、イメージセンサ130に備えたフレーム構成回路1308が生成する同期信号の周期(周波数)が一定の周期(周波数)となる。そして、撮像システム100では、コントロールユニット210に備えた画像生成部2103が、イメージセンサ130からシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(垂直同期信号および水平同期信号)と同様の同期信号を生成する。
 ここで、イメージセンサ130に備えたオシュレータ1311の構成の一例について説明する。図4は、本発明の実施形態の撮像システム100を構成する固体撮像装置(イメージセンサ130)に備えたクロック発振回路(オシュレータ1311)の概略構成の一例を示したブロック図である。図4において、オシュレータ1311は、リングオシュレータ13110と、可変電流源13111と、を含んで構成される。
 リングオシュレータ13110は、奇数個の論理否定回路(INV回路)が円環状に接続された構成のクロック発振回路である。リングオシュレータ13110は、それぞれのINV回路に流れる電流値に応じた周波数のクロック信号を発振する。
 可変電流源13111は、オシュレータ1311に備えたそれぞれのINV回路に電流値を流す電流源である。可変電流源13111は、入力された設定値(パラメータ)に応じて流す電流を変更することができる、デジタル制御の可変電流源である。可変電流源13111には、シリアルアクセスレジスタ1306に記憶されている発振周波数(マスタークロック信号の周波数)の設定値(パラメータ)が入力されている。コントロールユニット210は、シリアルアクセスレジスタ1306を制御して、シリアルアクセスレジスタ1306に記憶されている発振周波数(マスタークロック信号の周波数)の設定値(パラメータ)を書き換えることによって、可変電流源13111が発振するクロック信号の周波数を変更する。これにより、コントロールユニット210は、イメージセンサ130に備えたフレーム構成回路1308が生成する同期信号の周期(周波数)を一定の周期(周波数)にすることができる。
 なお、シリアルクロック信号SCLとして有効な周波数は、1kHz以上500kHz以下であると考えられる。このため、コントロールユニット210は、レジスタ設定部2104が用いるシリアルクロック信号SCLに相当するクロック信号(図2では、水平同期信号Hsync)の周波数が、1kHz~500kHzの間となるように、イメージセンサ130に備えたオシュレータ1311が生成するマスタークロック信号の周波数を設定してもよい。これにより、コントロールユニット210は、フレーム構成回路1308が生成する同期信号(より具体的には、水平同期信号HD)の周期(周波数)を一定の周期(周波数)とし、画像生成部2103が、イメージセンサ130からシリアルクロック信号SCLに相当するクロック信号として埋め込んだ同期信号(水平同期信号)と同様の同期信号を生成する。
 続いて、コントロールユニット210によるシリアル通信のタイミングについて説明する。上述したように、コントロールユニット210に備えたレジスタ設定部2104は、画像生成部2103から出力された同期信号(図2では、水平同期信号Hsync)を、シリアルクロック信号SCLとして用いて、イメージセンサ130に備えたシリアルアクセスレジスタ1306に対してシリアル通信をする。図5は、本発明の実施形態の撮像システム100におけるシリアル通信のそれぞれの信号の関係を示したタイミングチャートである。図5には、シリアルクロック信号SCLとして、水平同期信号Hsyncのタイミングの一例を示している。また、図5には、シリアルデータ信号SDAとして、レジスタ設定部2104が出力するレジスタ設定信号のタイミングの一例を示している。
 撮像システム100におけるシリアル通信のタイミングは、一般的なI2Cシリアル通信のタイミングと同様である。より具体的には、レジスタ設定部2104は、シリアルクロック信号SCLが“High”レベルの期間中にシリアルデータ信号SDAを“Low”レベルにする(つまり、立ち下がりエッジを設ける)ことによってスタート条件とする。また、レジスタ設定部2104は、シリアルクロック信号SCLが“High”レベルの期間中にシリアルデータ信号SDAを“High”レベルにする(つまり、立ち上がりエッジを設ける)ことによってストップ条件とする。また、レジスタ設定部2104は、スタート条件とストップ条件との間の期間において、シリアルクロック信号SCLが“Low”レベルのときにシリアルデータ信号SDAのレベルを伝送するデータのレベルに切り替え、シリアルクロック信号SCLが“High”レベルの期間中はシリアルデータ信号SDAのレベルを維持することによってデータを伝送する。図5においては、レジスタ設定部2104が、レジスタ設定信号のデータとして、“0101”のデータをシリアルアクセスレジスタ1306に伝送した場合のタイミングを示している。
 なお、図5に示したシリアル通信のタイミングの一例では、イメージセンサ130に備えたフレーム構成回路1308が生成した、図3に示した水平同期信号HDと同様の水平同期信号Hsyncをそのままシリアルクロック信号SCLとした場合を示した。つまり、シリアルクロック信号SCLにおける“High”レベルの期間と“Low”レベルの期間とが異なる、いわゆる、デューティ比が不均一である場合を示した。ところで、シリアル通信においては、上述したように、シリアルクロック信号SCLが“Low”レベルのときにシリアルデータ信号SDAのレベルを伝送するデータのレベルに切り替える。このため、シリアル通信においては、シリアルクロック信号SCLが“Low”レベルの期間を図5に示したタイミングの一例よりも長くした方が、レジスタ設定部2104の動作タイミングに余裕が生まれる。例えば、シリアルクロック信号SCLのデューティ比が50%である方が、図5に示したタイミングの一例よりもレジスタ設定部2104の動作タイミングに余裕が生まれる。
 しかも、撮像システム100では、イメージセンサ130がコントロールユニット210に伝送するデジタル伝送データから、それぞれの行の先頭のタイミング、つまり、水平同期信号HDの始まりのタイミングがわかれば、画像生成部2103は水平同期信号Hsyncを生成することができる。そして、撮像システム100では、動画像として有効なデジタル伝送信号が伝送されるタイミングを、シリアルアクセスレジスタ1306の設定値(パラメータ)などによって規定することができる。
 このため、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、シリアルクロック信号SCLのデューティ比を予め決めて整合しておく。つまり、撮像システム100では、イメージセンサ130に備えたフレーム構成回路1308が生成し、シリアルアクセスレジスタ1306がシリアルクロック信号SCLとして用いる水平同期信号と、コントロールユニット210に備えた画像生成部2103が生成し、レジスタ設定部2104がシリアルクロック信号SCLとして用いる水平同期信号Hsyncとのそれぞれのデューティ比を予め整合させておく。これにより、撮像システム100では、図3に示した水平同期信号HDや図5に示した水平同期信号Hsyncとは異なるデューティ比のシリアルクロック信号SCL(例えば、デューティ比が50%のシリアルクロック信号SCL)を、シリアル通信に用いることができる。つまり、撮像システム100では、イメージセンサ130に備えたシリアルアクセスレジスタ1306が用いるシリアルクロック信号SCLと、コントロールユニット210に備えたレジスタ設定部2104が用いるシリアルクロック信号SCLとのそれぞれのシリアルクロック信号SCLにおけるデューティ比が共有化されていれば、いかなるデューティ比のシリアルクロック信号SCLであっても、シリアル通信に用いることができる。
 なお、図5に示したシリアル通信のタイミングの一例では、シリアルクロック信号SCLが“High”レベルのときに、スタート条件とストップ条件とを規定し、シリアルクロック信号SCLが“High”レベルの期間中のシリアルデータ信号SDAのレベルをデータとして伝送するタイミングの一例を示した。しかし、撮像システム100におけるシリアル通信では、シリアルクロック信号SCLの切り替えタイミングがわかれば、シリアルクロック信号SCLの“High”レベルと“Low”レベルとは逆であってもよい。さらに、撮像システム100では、イメージセンサ130に備えたシリアルアクセスレジスタ1306が用いるシリアルクロック信号SCLと、コントロールユニット210に備えたレジスタ設定部2104が用いるシリアルクロック信号SCLとの切り替えタイミングが同期していれば、それぞれのシリアルクロック信号SCLにおける“High”レベルと“Low”レベルとは異なっていてもよい。
 なお、撮像システム100では、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)を、コントロールユニット210が読み出すためのシリアル通信をすることができる。この場合、撮像システム100では、レジスタ設定部2104が、シリアル通信によってシリアルアクセスレジスタ1306に読み出しを指示し、シリアルアクセスレジスタ1306が、記憶している設定値(パラメータ)を表す信号をシリアルデータ信号SDAとしてシリアル信号線32に出力する。つまり、撮像システム100では、イメージセンサ130とコントロールユニット210との間で、双方向のシリアル通信をすることができる。このため、シリアル信号線32は、予め定めた抵抗値の不図示の抵抗によって電源に接続されてプルアップされた、いわゆる、オープンドレイン構成となっている。しかし、撮像システム100において、コントロールユニット210が、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)の読み出しをしない場合には、シリアル信号線32をオープンドレイン構成にしなくてもよい。この場合、イメージセンサ130に備えたシリアルアクセスレジスタ1306においても、読み出しの指示に応じて記憶している設定値(パラメータ)を伝送する構成を備えなくてもよく、シリアルアクセスレジスタ1306の回路規模を低減することができる。また、オープンドレイン方式は、一般的に長い距離の伝送への対応に不向きであるため、シリアル通信で読み出しをせずに書き込み専用にし、接続構成でオープンドレイン方式を回避することは、内視鏡装置のような長いケーブルに適用するには有利に働く。
 実施形態によれば、複数の画素が2次元の行列状に配置され、撮影した連続した画像(動画像)の撮像信号(デジタル撮像信号)を伝送する内視鏡装置(内視鏡装置1)において患者(検査対象者)の体内に挿入する挿入部(挿入部11)に備わる固体撮像装置(イメージセンサ130)と、イメージセンサ130から伝送されたデジタル撮像信号を処理するとともに、イメージセンサ130の動作を制御する内視鏡装置1において検査対象者の体内に挿入しない外部処理部(外部処理部21)に備わる制御装置(コントロールユニット210)とを含む撮像システム(撮像システム100)であって、イメージセンサ130は、撮像信号(画素信号)を取得する画素部(画素部1302)と、イメージセンサ130の動作を規定する設定値(パラメータ)を記憶するレジスタ(シリアルアクセスレジスタ1306)と、画素信号をアナログ/デジタル変換してデジタル撮像信号に変換する処理回路(列処理回路1304)と、撮影した画像(動画像)の水平同期信号(水平同期信号HD)に同期する同期信号(水平同期信号HD、垂直同期信号VDであってもよい)を第1のシリアルクロック信号(シリアルクロック信号SCL)としてデジタル撮像信号に埋め込んだシリアルのデジタル伝送信号を生成するフレーム構成部(フレーム構成回路1308)と、デジタル伝送信号のデータを伝送するデータ伝送部(ラインドライバ1310、符号化回路1309を含んでもよい)と、を備え、コントロールユニット210は、伝送されたデジタル伝送信号に含まれるデジタル撮像信号に埋め込まれたシリアルクロック信号SCL(水平同期信号HD)に同期した第2のシリアルクロック信号(水平同期信号Hsync)を生成するクロック生成部(画像生成部2103)と、水平同期信号Hsyncに同期して、シリアルアクセスレジスタ1306に対する制御をするためのレジスタ設定信号を伝送するレジスタ設定部(レジスタ設定部2104)と、を備え、シリアルアクセスレジスタ1306は、伝送されたレジスタ設定信号が表す制御を、シリアルクロック信号SCLを用いて判定し、判定結果に応じて設定値(パラメータ)の記憶をする、撮像システム(撮像システム100)が構成される。
 また、実施形態によれば、シリアルクロック信号SCLは、画像(動画像)に対応する水平同期信号(水平同期信号HD)である、撮像システム100が構成される。
 また、実施形態によれば、シリアルクロック信号SCLの周波数は、1kHz以上500kHz以下である、撮像システム100が構成される。
 また、実施形態によれば、ラインドライバ1310は、デジタル伝送信号のデータを2本の差動信号(例えば、LVDS方式の差動信号)で伝送し、レジスタ設定部2104は、レジスタ設定信号を1本の単信号(例えば、I2Cシリアル通信におけるシリアルデータ信号SDA)で伝送する、撮像システム100が構成される。
 また、実施形態によれば、レジスタ設定部2104は、レジスタ設定信号の伝送のみを行い、信号の受信は行わない(言い換えれば、シリアルアクセスレジスタ1306に記憶されている設定値(パラメータ)の読み出しをしない)、撮像システム100が構成される。
 また、実施形態によれば、イメージセンサ130は、基準のクロック信号(マスタークロック信号)を発振して出力するクロック発振回路(オシュレータ1311)、をさらに備え、レジスタ設定部2104は、シリアルアクセスレジスタ1306にマスタークロック信号の発振周波数の設定信号(設定値(パラメータ))を記憶させ、オシュレータ1311は、シリアルアクセスレジスタ1306に記憶されたマスタークロック信号の発振周波数の設定信号(設定値(パラメータ))に従った周波数のマスタークロック信号を発振する、撮像システム100が構成される。
 また、実施形態によれば、撮像システム100、を含んで構成された(撮像システム100を用いた)内視鏡装置(内視鏡装置1)であって、イメージセンサ130は、挿入部(挿入部11)の先端(撮像部13)に配置され、コントロールユニット210は、本体部(本体部20または本体部20に構成された外部処理部21)に配置される、内視鏡装置(内視鏡装置1)が構成される。
 上記に述べたように、本発明の実施形態によれば、内視鏡装置として用いられる撮像システムを構成する固体撮像装置が、撮影した動画像を構成するフレーム(画像)に対応する同期信号(垂直同期信号および水平同期信号)を生成し、動画像のデジタル撮像信号に生成した同期信号を表す情報とを埋め込んだ動画像のデジタル伝送信号を構成して、撮像システムを構成する制御装置に伝送する。つまり、本発明の実施形態では、固体撮像装置が、撮影した動画像における同期信号の始まりのタイミングを埋め込んだ状態の動画像のデジタル伝送信号を、制御装置に伝送する。そして、本発明の実施形態では、制御装置が、伝送されてきた動画像のデジタル伝送信号に埋め込まれている同期信号を表す情報、つまり、同期信号の始まりのタイミングに基づいて、固体撮像装置が生成した同期信号と同様の同期信号を生成して、伝送されてきた動画像のデジタル伝送信号に含まれるデジタル撮像信号に基づいた動画像を生成する。
 また、本発明の実施形態では、撮像システムを構成する制御装置が、固体撮像装置に備えたそれぞれの構成要素における機能の動作や実行を制御する際に、固体撮像装置との間でシリアル通信をする。このとき、本発明の実施形態では、制御装置に備えたレジスタ設定部が、制御装置内で生成した固体撮像装置と同様の同期信号をシリアルクロック信号SCLに相当するクロック信号として用いて、シリアルデータ信号SDAを伝送し、固体撮像装置に備えたシリアルアクセスレジスタに記憶している設定値(パラメータ)を書き換える。そして、本発明の実施形態では、シリアルアクセスレジスタが、固体撮像装置内で生成した同期信号をシリアルクロック信号SCLとして用いて、制御装置から伝送されてきたシリアルデータ信号SDAが表する設定値(パラメータ)を受信して、記憶された設定値(パラメータ)を書き換える。つまり、本発明の実施形態では、撮像システムを構成する固体撮像装置と制御装置とのそれぞれで、同期したシリアルクロック信号SCLを生成してシリアル通信をする。これにより、本発明の実施形態では、撮像システムを構成する固体撮像装置と制御装置との間でシリアル通信をするためのシリアルクロック信号SCLとシリアルデータ信号SDAとの2本の信号線のうち、シリアルクロック信号SCLを伝送するための信号線を削減することができる。
 これにより、本発明の実施形態では、撮像システムを用いた内視鏡装置において、内視鏡スコープ部および電気信号ケーブル内の信号線の数を、一般的なI2Cシリアル通信をする構成の内視鏡装置よりも1本少なくして、内視鏡スコープ部(特に、挿入部)の細径化を実現することができる。また、本発明の実施形態では、シリアル通信に用いる信号線の数が少なくなることにより、撮像システムを構成する固体撮像装置に形成するパッドの数が少なくなる。これにより、本発明の実施形態では、撮像システムを構成する固体撮像装置の面積(投影面積)が小さくなり、固体撮像装置の実装面積を小さくして、内視鏡スコープ部(特に、挿入部の先端に備える撮像部)の小型化を実現することができる。
 なお、本発明の実施形態では、本発明の撮像システム(実施形態では、撮像システム100)において、水平同期信号(実施形態では、水平同期信号HDや水平同期信号Hsync)をシリアルクロック信号SCLに相当するクロック信号として用いる場合の構成について説明した。しかし、本発明の撮像システムにおいてシリアルクロック信号SCLに相当するクロック信号として用いる信号は、本発明の実施形態において示した水平同期信号に限定されるものではない。つまり、本発明の撮像システムにおいてシリアルクロック信号SCLに相当するクロック信号として用いる信号は、イメージセンサ130において生成し、デジタル撮像信号に埋め込んでデジタル伝送信号としてコントロールユニット210に伝送するクロック信号であれば、いかなるクロック信号であってもよい。ただし、本発明の撮像システムにおいては、コントロールユニット210が受信したデジタル伝送信号(符号)に含まれるそれぞれのデータ(ビットデータ)をクロックデータリカバリー回路2102によって復元するために、符号化回路1309がマンチェスタ符号化方式や8b/10b符号化方式において多重化したデータ検出クロックは、シリアルクロック信号SCLに相当するクロック信号としては用いない。また、本発明の撮像システムにおいては、オシュレータ1311がイメージセンサ130における基準のクロック信号として生成するマスタークロック信号も、シリアルクロック信号SCLに相当するクロック信号としては用いない。また、本発明の撮像システムにおいては、垂直走査回路1303が画素部1302から画素信号を出力させるタイミングや、水平走査回路1305が列処理回路1304からデジタル撮像信号を出力させるタイミングの信号、つまり、フレーム構成回路1308が構成するデジタル伝送信号に含まれるデジタル撮像信号のタイミングを表す信号も、シリアルクロック信号SCLに相当するクロック信号としては用いない。これは、データ検出クロックや、マスタークロック信号、デジタル撮像信号のタイミングを表す信号の周期(周波数)は、上述したシリアルクロック信号SCLとして有効な周波数であると考えられる1kHz以上500kHz以下の周期(周波数)の信号よりも周期が短い(周波数が高い)の信号であるからである。
 このため、本発明の撮像システムでは、水平同期信号の代わりにシリアルクロック信号SCLに相当するクロック信号として用いる信号として、例えば、垂直同期信号が考えられる。つまり、撮像システム100において、フレーム構成回路1308が生成する垂直同期信号を、シリアルクロック信号SCLに相当するクロック信号として用いる構成にしてもよい。この場合、撮像システム100では、画像生成部2103が、生成した垂直同期信号をレジスタ設定部2104に出力し、レジスタ設定部2104が、画像生成部2103から出力された垂直同期信号を、シリアルクロック信号SCLとして用いて、シリアルアクセスレジスタ1306に対してシリアル通信をする構成となる。ただし、垂直同期信号は、上述したシリアルクロック信号SCLとして有効な周波数であると考えられる1kHz以上500kHz以下の周期(周波数)に合致した信号であるが、実施形態において示した水平同期信号よりは周期が長い(周波数が低い)の信号である。このため、撮像システム100においてシリアルクロック信号SCLに相当するクロック信号として垂直同期信号を用いた場合には、水平同期信号をシリアルクロック信号SCLに相当するクロック信号として用いた場合よりも、シリアルアクセスレジスタ1306に対するシリアル通信、つまり、シリアルアクセスレジスタ1306に記憶している設定値(パラメータ)の書き換えが遅くなると考えられる。しかし、撮像システム100においてシリアルアクセスレジスタ1306に記憶している設定値(パラメータ)の書き換えの速度が重要な項目ではない場合などにおいては、問題なく垂直同期信号をシリアルクロック信号SCLに相当するクロック信号として用いることができる。なお、この場合の撮像システム100の動作は、上述した水平同期信号をシリアルクロック信号SCLとして用いた動作と同様に考えることができるため、詳細な説明は省略する。
 また、本発明の実施形態では、撮像システム100において、イメージセンサ130がコントロールユニット210に伝送するデジタル伝送信号のデータ(デジタル伝送データ)から、それぞれの行の先頭のタイミング、つまり、水平同期信号HDの始まりのタイミングを基準として画像生成部2103が水平同期信号Hsyncを生成し、シリアルクロック信号SCLとして用いる構成について説明した。しかし、本発明の撮像システムにおいてシリアル通信において用いるシリアルクロック信号SCLを生成する際に基準とするタイミングは、本発明の実施形態において示した水平同期信号HDの始まりのタイミングに限定されるものではない。つまり、撮像システム100において、イメージセンサ130とコントロールユニット210との間でシリアルクロック信号SCLを生成する際に基準とするタイミングを予め整合させておけば、例えば、水平同期信号HDにおいてブランキング期間が終了するタイミングなど、それぞれの行において先頭以外の位置を、シリアルクロック信号SCLを生成する際に基準とするタイミングとしてもよい。なお、この場合の撮像システム100の動作は、上述した水平同期信号をシリアルクロック信号SCLとして用いた動作と同様に考えることができるため、詳細な説明は省略する。
 なお、本発明の実施形態では、撮像システム100において、フレーム構成回路1308が、動画像を構成するそれぞれのフレーム(画像)に対応する同期信号(垂直同期信号VDおよび水平同期信号HD)を生成する構成について説明した。しかし、本発明の撮像システムにおいて同期信号を生成する構成要素は、本発明の実施形態においてフレーム構成回路1308に限定されるものではない。つまり、撮像システム100においてフレーム構成回路1308は、少なくとも、同期信号を表す情報をデジタル撮像信号埋め込んだ動画像のデジタル伝送信号を構成する構成要素であればよく、同期信号は、例えば、タイミングジェネレータ1307などの他の構成要素が生成してもよい。
 なお、本発明の実施形態では、本発明の撮像システムが、本発明の内視鏡装置として用いられる場合について説明した。しかし、本発明の撮像システムが用いられる装置は、実施形態において示した内視鏡装置に限定されるものではなく、シリアル通信によってデータの伝送をする装置であれば、様々な装置に本発明の撮像システムの考え方を適用することができる。そして、本発明の撮像システムの考え方を適用した様々な装置において、同様の効果を得ることができる。
 以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更をすることができる。
 また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
 上記実施形態によれば、固体撮像装置において用いるシリアル通信の一部の信号を削減することができる撮像システム、およびこの撮像システムを用いた内視鏡装置を提供することができる。
 1 内視鏡装置
 10 内視鏡スコープ部
 11 挿入部(挿入部)
 12 操作部
 13 撮像部(挿入部)
 14 操作スイッチ
 20 本体部(本体部)
 21 外部処理部(本体部)
 22 カラーモニタ
 30 ユニバーサルコード
 100 撮像システム
 130 イメージセンサ(固体撮像装置)
 1301 電源回路
 1302 画素部(画素)
 1303 垂直走査回路
 1304 列処理回路
 1305 水平走査回路
 1306 シリアルアクセスレジスタ(レジスタ)
 1307 タイミングジェネレータ
 1308 フレーム構成回路(フレーム構成部)
 1309 符号化回路
 1310 ラインドライバ(データ伝送部)
 1311 オシュレータ(クロック発振回路)
 13110 リングオシュレータ
 13111 可変電流源
 210 コントロールユニット(制御装置)
 2101 ラインレシーバ
 2102 クロックデータリカバリー回路
 2103 画像生成部(クロック生成部)
 2104 レジスタ設定部(レジスタ設定部)

Claims (7)

  1.  複数の画素が2次元の行列状に配置され、撮影した連続した画像の撮像信号を伝送する固体撮像装置と、前記固体撮像装置から伝送された撮像信号を処理するとともに、前記固体撮像装置の動作を制御する制御装置とを含む撮像システムであって、
     前記固体撮像装置は、
      前記撮像信号を取得する画素部と、
      前記固体撮像装置の動作を規定する設定値を記憶するレジスタと、
      前記撮像信号をアナログ/デジタル変換してデジタル撮像信号に変換する処理回路と、
      撮影した前記画像の水平同期信号に同期する同期信号を第1のシリアルクロック信号として前記デジタル撮像信号に埋め込んだシリアルのデジタル伝送信号を生成するフレーム構成部と、
      前記デジタル伝送信号のデータを伝送するデータ伝送部と、
     を備え、
     前記制御装置は、
      伝送された前記デジタル伝送信号に含まれる前記デジタル撮像信号に埋め込まれた前記第1のシリアルクロック信号に同期した第2のシリアルクロック信号を生成するクロック生成部と、
      前記第2のシリアルクロック信号に同期して、前記レジスタに対する制御をするためのレジスタ設定信号を伝送するレジスタ設定部と、
     を備え、
     前記レジスタは、
     伝送された前記レジスタ設定信号が表す制御を、前記第1のシリアルクロック信号を用いて判定し、判定結果に応じて前記設定値の記憶をする、
     撮像システム。
  2.  前記第1のシリアルクロック信号は、
     前記画像に対応する水平同期信号である、
     請求項1に記載の撮像システム。
  3.  前記第1のシリアルクロック信号の周波数は、
     1kHz以上500kHz以下である、
     請求項1または請求項2に記載の撮像システム。
  4.  前記データ伝送部は、
     前記デジタル伝送信号のデータを2本の差動信号で伝送し、
     前記レジスタ設定部は、
     前記レジスタ設定信号を1本の単信号で伝送する、
     請求項1から請求項3のいずれか1項に記載の撮像システム。
  5.  前記レジスタ設定部は、
     前記レジスタ設定信号の伝送のみを行い、信号の受信は行わない、
     請求項1から請求項4のいずれか1項に記載の撮像システム。
  6.  前記固体撮像装置は、
     基準のクロック信号を発振して出力するクロック発振回路、
     をさらに備え、
     前記レジスタ設定部は、
     前記レジスタに前記基準のクロック信号の発振周波数の設定信号を記憶させ、
     前記クロック発振回路は、
     前記レジスタに記憶された前記発振周波数の前記設定信号に従った周波数の前記基準のクロック信号を発振する、
     請求項1から請求項5のいずれか1項に記載の撮像システム。
  7.  請求項1から請求項6のいずれか1項に記載の撮像システム、
     を含んで構成された内視鏡装置であって、
     前記固体撮像装置は、挿入部の先端に配置され、
     前記制御装置は、本体部に配置される、
     内視鏡装置。
PCT/JP2018/029222 2018-08-03 2018-08-03 撮像システムおよび内視鏡装置 WO2020026433A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020534015A JP7152490B2 (ja) 2018-08-03 2018-08-03 撮像システムおよび内視鏡装置
PCT/JP2018/029222 WO2020026433A1 (ja) 2018-08-03 2018-08-03 撮像システムおよび内視鏡装置
US17/161,849 US11969154B2 (en) 2018-08-03 2021-01-29 Imaging system and endoscopic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029222 WO2020026433A1 (ja) 2018-08-03 2018-08-03 撮像システムおよび内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/161,849 Continuation US11969154B2 (en) 2018-08-03 2021-01-29 Imaging system and endoscopic device

Publications (1)

Publication Number Publication Date
WO2020026433A1 true WO2020026433A1 (ja) 2020-02-06

Family

ID=69232419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029222 WO2020026433A1 (ja) 2018-08-03 2018-08-03 撮像システムおよび内視鏡装置

Country Status (3)

Country Link
US (1) US11969154B2 (ja)
JP (1) JP7152490B2 (ja)
WO (1) WO2020026433A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020167634A (ja) * 2019-03-29 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、及び伝送システム
KR102707477B1 (ko) * 2021-04-19 2024-09-19 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 클록 동기화를 위한 시스템, 신호 동기화를 제어하기 위한 방법, 및 저장 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303582A (ja) * 2005-04-15 2006-11-02 Sony Corp 映像データ伝送装置および方法、プログラム、並びに記録媒体
JP2013000466A (ja) * 2011-06-20 2013-01-07 Fujifilm Corp 電子内視鏡装置及び内視鏡画像の生成方法、並びに電子内視鏡システム
JP2017176348A (ja) * 2016-03-29 2017-10-05 オリンパス株式会社 内視鏡装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252438A (ja) 1998-02-27 1999-09-17 Matsushita Electric Ind Co Ltd 撮像装置
JP2002185853A (ja) 2000-12-13 2002-06-28 Asahi Optical Co Ltd 映像信号発生装置
JP2007110355A (ja) 2005-10-13 2007-04-26 Canon Inc データ通信装置及び画像形成装置
CA2676407A1 (en) * 2007-02-01 2008-08-07 Proteus Biomedical, Inc. Ingestible event marker systems
JP2011206333A (ja) 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡装置におけるcmos撮像素子の電源装置
JP2013000452A (ja) * 2011-06-20 2013-01-07 Olympus Corp 電子内視鏡装置
WO2013128767A1 (ja) 2012-03-01 2013-09-06 オリンパスメディカルシステムズ株式会社 撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303582A (ja) * 2005-04-15 2006-11-02 Sony Corp 映像データ伝送装置および方法、プログラム、並びに記録媒体
JP2013000466A (ja) * 2011-06-20 2013-01-07 Fujifilm Corp 電子内視鏡装置及び内視鏡画像の生成方法、並びに電子内視鏡システム
JP2017176348A (ja) * 2016-03-29 2017-10-05 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
JPWO2020026433A1 (ja) 2021-08-02
US20210145250A1 (en) 2021-05-20
JP7152490B2 (ja) 2022-10-12
US11969154B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
EP2094002A2 (en) Electronic communication system and endoscope system
CN107409186A (zh) 摄像装置、内窥镜以及内窥镜系统
US11969154B2 (en) Imaging system and endoscopic device
CN105473052B (zh) 摄像装置以及内窥镜装置
WO2015114906A1 (ja) 撮像システムおよび撮像装置
CN111093462B (zh) 内窥镜和内窥镜系统
JP2005334081A (ja) 被検体内導入装置および医療装置
JP5932191B1 (ja) 伝送システムおよび処理装置
JP7355839B2 (ja) 撮像システムおよび内視鏡装置
JP6230511B2 (ja) 内視鏡装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
CN112584744B (zh) 内窥镜、驱动方法以及记录介质
US10918269B2 (en) Medical light source apparatus and medical observation system
CN119172622B (zh) 图像采集方法
JP6188990B2 (ja) 撮像装置
JP2007307018A (ja) 信号伝送システムおよび電子内視鏡システム
JP6741412B2 (ja) 信号伝送装置及び電子内視鏡システム
JP2025040886A (ja) 医療用撮像装置及び医療用観察システム
JP2024089352A (ja) 電子内視鏡システム
JP2015181586A (ja) 内視鏡装置、カメラヘッド、及び制御装置
JP2015177425A (ja) 通信システム、送信装置および受信装置
JPWO2015186396A1 (ja) 内視鏡システムおよび内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020534015

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928460

Country of ref document: EP

Kind code of ref document: A1