[go: up one dir, main page]

WO2004019608A1 - 撮像システムおよび画像処理プログラム - Google Patents

撮像システムおよび画像処理プログラム Download PDF

Info

Publication number
WO2004019608A1
WO2004019608A1 PCT/JP2003/010614 JP0310614W WO2004019608A1 WO 2004019608 A1 WO2004019608 A1 WO 2004019608A1 JP 0310614 W JP0310614 W JP 0310614W WO 2004019608 A1 WO2004019608 A1 WO 2004019608A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
noise
estimating
parameter
imaging system
Prior art date
Application number
PCT/JP2003/010614
Other languages
English (en)
French (fr)
Inventor
Takao Tsuruoka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP03792792A priority Critical patent/EP1551173A4/en
Priority to CN038186179A priority patent/CN1675919B/zh
Publication of WO2004019608A1 publication Critical patent/WO2004019608A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction

Definitions

  • the present invention relates to an imaging system and an image processing program for reducing random noise caused by an imaging device system.
  • a digitized signal obtained from an image sensor and its associated analog circuit and A / D converter generally contains a noise component, which is fixed pattern noise and run-time noise. It can be broadly divided into dam noise.
  • the fixed pattern noise is noise mainly caused by an image sensor, such as a defective pixel.
  • random noise is generated in an image sensor and an analog circuit, and has characteristics close to white noise characteristics.
  • Japanese Patent Application Laid-Open No. 2000-57090 discloses that a difference value ⁇ between a pixel of interest and a neighboring pixel is obtained, and the obtained difference value is statically calculated.
  • noise reduction processing is performed without deteriorating the original signal such as edges.
  • the noise amount dynamically changes due to factors such as the temperature of the image sensor at the time of photographing, the exposure time, and the gain.
  • Such a technique using a static constant term cannot cope with a function corresponding to the noise amount at the time of photographing, and the estimation accuracy of the noise amount is inferior.
  • the frequency characteristics of the filtering are controlled based on the noise amount.This filtering is performed based on the signal level so that the flat portion and the edge portion are processed equally without discrimination. The edge part in the area where the is estimated to be large will be degraded. That is, there is a problem that it is not possible to cope with a process in which the original signal and the noise are distinguished, and that the preservation of the original signal is not good.
  • the selection as to whether or not to use the moving average method is made by comparison with a threshold value. Since it is given, it cannot cope with the fact that the noise amount varies depending on the signal level, and the average number of pixels and the selection of the moving average method cannot be optimally controlled. For this reason, it is not possible to cope with accurate noise amount estimation and noise reduction processing, and noise components remain and the original signal deteriorates.
  • an imaging system calculates the amount of noise contained in a digitized signal from an image sensor having a plurality of pixels arranged for each pixel or for a predetermined unit area composed of a plurality of pixels. It has a noise estimating unit for estimating, and a noise reducing unit for reducing noise in the signal based on the noise amount estimated by the noise estimating unit.
  • FIG. 1 is a block diagram showing the configuration of the imaging system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a noise estimating unit according to the first embodiment.
  • FIG. 3 is a diagram showing an example of the arrangement of the 0B region in the first embodiment.
  • FIG. 4 is a diagram showing the relationship between the dispersion of the 0 B region and the temperature of the image sensor in the first embodiment.
  • FIG. 5 is a diagram for explaining the formulation of the noise amount in the first embodiment.
  • FIG. 6 is a diagram for explaining parameters used for formulation of a noise amount in the first embodiment.
  • FIG. 7 is a block diagram illustrating a configuration of a noise reduction unit according to the first embodiment.
  • FIG. 8 is a block diagram showing a configuration of an imaging system according to the second embodiment of the present invention.
  • FIG. 9 is a diagram showing a primary color bay type filter configuration in the color filter of the second embodiment.
  • FIG. 10 Block diagram showing the configuration of the noise estimator in the second embodiment.
  • FIG. 11 A block diagram showing a configuration of a noise reduction unit according to the second embodiment.
  • FIG. 12 is a flowchart showing noise reduction processing performed by an image processing program in the computer of the second embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of an imaging system according to a third embodiment of the present invention.
  • FIG. 14 A diagram showing a primary color bayer type filter configuration in the color filter of the third embodiment.
  • FIG. 15 is a block diagram showing a configuration of a shooting situation estimation unit in the third embodiment.
  • FIG. 16 A diagram for explaining a divided pattern for evaluation photometry in the third embodiment.
  • FIG. 17 A block diagram showing the configuration of the noise estimator in the third embodiment.
  • FIG. 18 Diagram for explaining formulation of noise amount in the third embodiment.
  • FIG. 19 Diagram for explaining formulation of noise amount in the third embodiment.
  • FIG. 20 A diagram for explaining parameters used for formulation of a noise amount in the third embodiment.
  • FIG. 21 is a block diagram showing a configuration of a noise reduction unit in the third embodiment.
  • Fig. 22 Block diagram showing the configuration of the imaging system according to the fourth embodiment of the present invention.
  • FIG. 23 is a block diagram showing an example of a configuration of a photographing situation estimating unit according to the fourth embodiment.
  • FIG. 24 A block diagram showing the configuration of the noise estimator in the fourth embodiment.
  • Figure 25 Image processing program on the computer of the fourth embodiment. ⁇ Flowchart showing a part of noise reduction processing performed by gram.
  • FIG. 26 is a flowchart showing another part of the noise reduction processing performed by the image processing program in the computer of the fourth embodiment. '
  • FIGS. 1 to 7 show a first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an imaging system
  • FIG. 2 is a block diagram showing a configuration of a noise estimating unit.
  • FIG. 3 is a diagram showing an example of the arrangement of the 0B region
  • FIG. 4 is a diagram showing the relationship between the dispersion of the 0B region and the temperature of the image sensor
  • FIG. 5 is a diagram for explaining the formulation of the noise amount.
  • FIG. 6 is a diagram for explaining parameters used for formulation of a noise amount
  • FIG. 7 is a block diagram showing a configuration of a noise reduction unit.
  • this imaging system includes a lens system 1 for forming an image of a subject and a lens system 1 which is arranged in the lens system 1 and defines a light beam passing range in the lens system 1.
  • Aperture 2 an aperture filter 3 for removing unnecessary high-frequency components from the imaged light flux by the lens system 1, and an optical object image formed through the rho filter 3 CCD 4 that is a black-and-white image sensor that photoelectrically converts the signal and outputs an electrical image signal
  • CDS Correlated Double Sampler
  • an amplifier 6 for amplifying the signal output from the CDS 5
  • an AZD converter 7 for converting an analog image signal amplified by the amplifier 6 into a digital signal
  • an AZD converter 7 for the AZD.
  • Output digital image data Image buffer 8 for temporarily storing data, and the images stored in this image buffer 8.
  • a photometric evaluation section 9 that controls the aperture 2, CCD 4, and amplifier 6 based on the results of photometric evaluation of the subject based on the data, and focuses on the basis of the image data stored in the image buffer 8.
  • a focus detection unit 10 that performs AF point detection and drives an AF motor 11 described later based on the detection result, and a focus lens and the like included in the lens system 1 controlled by the focus detection unit 10
  • a noise estimating unit 13 that performs noise estimation based on the AF motor 11 that drives and the noise estimation based on the image data stored in the image buffer 8 as described later in detail.
  • noise reduction unit 12 as noise reduction means for reducing noise of the image data read from the image buffer 8 using the estimation result of the noise estimation unit 13.
  • noise reduction unit 12, noise estimation unit 13, signal processing unit 14, output unit 15, external I / F unit 17 are bidirectionally connected and include A control unit comprising a micro-commuter or the like for integrally controlling the imaging system, comprising a control unit 16 which also serves as a parameter calculation unit and a shutter speed calculation unit.
  • This imaging system is configured so that shooting conditions such as ISO sensitivity can be set via the external I / F unit 17, and after these settings are made, a two-stage push button switch is used. Press the shirt button halfway down to enter the pre-imaging mode. 03 010614
  • the video signal photographed and output by the CCD 4 through the lens system 1, the aperture 2, and the low-pass filter 3 is read out as an analog signal by the known correlated double sampling in the CDS 5.
  • the analog signal is amplified by a predetermined amount by the amplifier 6, converted into a digital signal by the AZD converter 7, and transferred to the image buffer 8.
  • the video signal in the image buffer 8 is then transferred to the photometry evaluation unit 9 and the focus detection unit 10.
  • the photometric evaluation unit 9 obtains the brightness level in the image, considers the set ISO sensitivity and the shutter speed at the limit of camera shake, etc., and sets the aperture value by the aperture 2 and the electronic shutter speed of the CCD 4 and the The amplification factor of the amplifier 6 is controlled.
  • the focus detection section 10 detects the edge strength in the image, and controls the AF motor 11 so that the edge strength becomes maximum, thereby obtaining a focused image.
  • the main shooting is performed. Is performed.
  • This actual photographing is performed based on the exposure conditions obtained by the photometric evaluation section 9 and the focusing conditions obtained by the focus point detecting section 10, and these photographing conditions are controlled by the control section. Transferred to 6.
  • the video signal is transferred to and stored in the image buffer 8 in the same manner as in the pre-imaging.
  • the video signal in the image buffer 8 is transferred to the noise estimating unit 13, which is further transmitted to the noise estimating unit 13 via the control unit 16. Exposure conditions determined by the camera and shooting conditions such as the IS0 sensitivity set by the external IZF unit 17 are also transferred. It is.
  • the noise estimating unit 13 calculates a noise amount for each predetermined size, for example, for each pixel (in a pixel unit) in the present embodiment, based on the information and the video signal, and calculates the calculated noise amount.
  • the noise amount is transferred to the noise reduction unit 12.
  • the calculation of the noise amount in the noise estimating unit 13 is performed in synchronization with the processing of the noise reducing unit 12 based on the control of the control unit 16.
  • the noise reduction unit 12 performs noise reduction processing on the video signal in the image buffer 8 based on the noise amount calculated by the noise estimation unit 13, and performs the noise reduction processing after the processing. Transfer video signal to signal processor 14 ⁇
  • the signal processing unit 14 performs known enhancement processing and compression processing on the video signal after noise reduction based on the control of the control unit 16, and outputs the processed video signal to the output unit 15. Transfer to
  • the output unit 15 records and stores the received video signal on a memory card or the like.
  • the noise estimating unit 13 is provided on the right side of the image area of the CCD 4 from the video signal stored in the image buffer 8 under the control of the control unit 16 as shown in FIG. 3 for example.
  • a 0B region extracting unit 21 for extracting a signal of the 0B (optical black) region, and a first bar for storing the signal of the 0B region extracted by the 0B region extracting unit 21. 2
  • the information on the exposure condition transferred from the control unit 16 is obtained by reading out the signal in the 0B area stored in the first storage 22 and calculating the variance value.
  • a variance calculation unit 23 as variance calculation means for correcting the amount of amplification of the amplifier 6 to the variance value by using the variance value; and R 0 M 25 for temperature estimation, which is an estimation means, and the variance calculation unit 2 3
  • a temperature estimating unit 24 serving as a parameter estimating means and a temperature estimating means for obtaining the temperature of the image sensor based on the variance value output from the CPU and the information from the temperature estimating ROM 25;
  • a local region extraction unit 26 serving as a signal value calculation unit for extracting a local region of a predetermined size at a predetermined position from the stored video signal; and a signal of the local region extracted by the local region extraction unit 26.
  • a second buffer 27 to be stored; and a parameter calculating means for reading the signal of the local area stored in the second buffer 27, calculating the average value, and outputting the average value as the signal value level of the pixel of interest.
  • the amplification amount of the amplifier 6 is calculated based on the average calculation unit 28 serving as a value calculation unit and the information on the exposure condition (IS0 sensitivity, exposure information, white balance information, etc.) transferred from the control unit 16.
  • parameter A gain calculating unit 29 serving as a data calculating unit and a gain calculating unit;
  • a standard value providing unit 30 serving as a providing unit for providing a standard value when any parameter is omitted; and a noise amount.
  • the noise amount of the pixel of interest is estimated by a predetermined equation based on the information of the amplification amount output from 30 and the shutter speed output from the control unit 16 or the standard value providing unit 30.
  • the noise amount is calculated using a coefficient calculation unit 31 serving as a noise amount calculation unit and a coefficient calculation unit, and a function formulated as described later using the coefficient output from the coefficient calculation unit 31.
  • the function calculating unit 33 which is a noise amount calculating means and a function calculating means, and a limit is imposed so that the noise amount output from the function calculating unit 33 does not exceed a predetermined threshold value.
  • an upper limit setting unit 3 4 serving as an upper limit value setting means for outputting to the noise reduction unit 1 2 Have been.
  • the local region extraction unit 26 is, for example, in the case of horizontal processing, because the processing of the noise reduction unit 12 described later is separated into the horizontal direction and the vertical direction.
  • vertical processing for example, in the 1 ⁇ 4 size unit, extraction is performed while sequentially scanning the entire image in 4 ⁇ 1 size units.
  • the processing by the local area extraction unit 26 is performed in synchronization with the processing by the noise reduction unit 12.
  • the upper limit setting unit 34 is provided in consideration of a case where the reduction processing for the theoretical noise amount becomes subjectively excessive. In other words, if the noise level is large, trying to remove it completely may damage the original signal and subjectively feel that the image quality has deteriorated. Therefore, even if the noise component remains, the preservation of the original signal is prioritized, and the total image quality is improved.
  • the function of the upper limit setting section 34 can be stopped by the control section 16 by operating the function from the external IZF section 17.
  • control section 16 includes the 0B area extraction section 21, the variance calculation section 23, the temperature estimation section 24, the local area extraction section 26, the average calculation section 28, and the gain calculation section 29.
  • the standard value assigning section 30, the coefficient calculating section 31, the function calculating section 33, and the upper limit setting section 34 are bidirectionally connected.
  • the temperature of the imaging element monotonically increases while drawing a curve and rises as the dispersion in the OB region increases.
  • the random noise in the OB area is calculated as a variance value, and the relationship between this variance value and the temperature change of the image sensor is measured in advance and stored in the temperature estimation R 0 M 25. deep .
  • the temperature estimating unit 24 is an image sensor using the correspondence stored in the temperature estimating R 0 M 25 from the variance value calculated by the variance calculating unit 23.
  • the temperature of the CCD 4 can be estimated.
  • the temperature of the imaging element is determined to be the same at any position on the element, and only one temperature is obtained.
  • the temperature is not limited to this, and the local temperature at each point on the element is determined. You may ask for it.
  • the 0B area is placed on the four sides of the image area, and the 0B areas located at the corresponding upper, lower, left, and right edges of the specific block in the image, respectively.
  • the variance value of a specific block may be obtained by calculating the variance values of these and linearly interpolating these variance values. This makes it possible to perform highly accurate temperature estimation even when the temperature of the image sensor becomes uneven.
  • N AL B + C (1)
  • A, B, and C are constant terms, and the constant term is added to a function that is a power of the signal level L.
  • Equation (2) a (T, G), b (T , G) and c (T, G).
  • N a (T, G) Lb ( T'G) + c (T, G) (2)
  • the curve represented by the equation (2) is converted into a plurality of temperatures T (in the example shown, the temperatures T1 to T1).
  • FIG. 5B shows a plot of the case of multiple gains G (1, 2, and 4 times in the illustrated example) in 3).
  • the independent variable is represented by the signal value level
  • the dependent variable is represented by the noise amount N.
  • the temperature T which is a parameter, is plotted as a coordinate axis in a direction orthogonal to these variables.
  • the change of the curve shape due to the gain parameter G is represented by drawing a plurality of curves in each plane.
  • FIG. 6A shows the outline of the characteristics of the above function a (T, G)
  • Fig. 6B shows the outline of the characteristics of the above function b (T, G)
  • Fig. 6C shows the outline of the characteristics of the above function c (T, G). It is shown. Since each of these functions is a two-variable function having temperature T and gain G as independent variables, FIGS. 6A to 6C are plotted as three-dimensional coordinates. It is a curved surface in a submerged space. However, here, instead of showing a specific curved surface shape, a rough change in characteristics is shown using a curved line.
  • the constant terms A, B, and C are output.
  • the specific shapes of these functions can be easily obtained by measuring the characteristics of the imaging device system including the CCD 4 and the amplifier 6 in advance.
  • a correction coefficient d (S) using the shutter speed S as a parameter is introduced, and the correction by the formulation as shown in Equation (3) is performed by means of multiplying the correction coefficient by Equation 2. I'm trying to do it. 'N2 ⁇ a (T, G) L b (T ' G) + c (T, G) ⁇ d (S).-(3)
  • the function shape of this correction coefficient d (S) is It can be obtained by measuring the characteristics of the system, for example, as shown in Fig. 6D.
  • FIG. 6D shows an increase D of the noise amount with respect to the shutter speed S.
  • the noise amount increment D has a property of rapidly increasing when the shutter speed S becomes smaller than a certain threshold value S TH (long exposure). Therefore, if the shutter speed S is longer or shorter than this threshold S TH , Is used as d (S), which can be simplified to use fixed coefficients for short-time exposure.
  • the four functions a (T, G), b (T, G), c (T, G) and d (S) as described above are recorded in the parameter ROM 32.
  • the correction for the shutter speed need not always be provided as a function, but may be provided as other means, for example, as a table.
  • the coefficient calculator 31 receives the temperature T, the gain G, and the shutter speed S that are dynamically obtained (or obtained from the standard value providing unit 30) as input parameters, and ° Calculate the coefficients A, B, C, and D using the four functions recorded in the ROM 32.
  • the function calculation unit 33 applies the coefficients A, B, C, and D calculated by the coefficient calculation unit 31 to the above-described equation 3 to obtain a function for calculating the noise amount N.
  • the shape is determined, and the noise amount N is calculated based on the signal value level L output from the average calculation unit 28 via the coefficient calculation unit 31.
  • the parameters such as the temperature T, the gain G, and the shirt speed S do not always need to be obtained for each photographing.
  • the temperature T is stabilized after a certain period of time has elapsed since the power was turned on.
  • the temperature information calculated by the temperature estimating unit 24 was stored by the control unit 16 in the standard value assigning unit 30.
  • the standard value assigning section 30 sets a standard parameter. Is set and output, which makes it possible to speed up processing and save power. It should be noted that the standard value assigning section 30 can output a standard value for other necessary parameters.
  • the noise reduction unit 12 extracts the video signal from the image buffer 8 sequentially in units of horizontal lines, and the horizontal line extraction unit 41 extracts the video signal.
  • a first scanning means which scans the horizontal line video signal in pixel units and performs a known hysteresis smoothing as a noise amount using a threshold value from a threshold setting section 46 described later as a noise amount.
  • a buffer 43 for storing a video signal for one screen by successively storing the horizontal lines smoothed by the smoothing section 42 and the first smoothing section 42.
  • a vertical line extracting unit 44 for sequentially extracting video signals from the buffer 43 in units of vertical lines after the video signal for one screen is accumulated in the buffer 43.
  • a known hysteresis smoothing is performed by using a threshold value from a threshold value setting unit 46 described later as a noise amount and sequentially output to the signal processing unit 14.
  • the noise amount estimated by the second smoothing unit 45 serving as a jig and the noise estimating unit 13 is used to extract the horizontal line or the vertical line extracted by the horizontal line extracting unit 41.
  • the amplitude value of the noise is obtained as a threshold value (small amplitude value) obtained in pixel units according to the vertical line extracted by the vertical extraction unit 44, and is set as the first smoothing unit 42.
  • a threshold value setting unit 46 serving as a threshold value setting means for outputting to the second smoothing unit 45.
  • the hysteresis smoothing in the first and second smoothing sections 42 and 45 is controlled by the control section 16 by the operation of the noise estimation section 13 and the threshold setting section 46. It is performed in synchronization with the operation.
  • the control unit 16 is bidirectionally connected to the horizontal line extraction unit 41, the vertical line extraction unit 44, and the threshold value setting unit 46. These are controlled.
  • the noise amount is estimated in pixel units.
  • the present invention is not limited to this.
  • the noise amount is estimated for each predetermined unit area such as 2 ⁇ 2 pixels or 4 ⁇ 4 pixels. You may do it. In this case, the noise estimation accuracy is reduced, but on the other hand, there is an advantage that higher-speed processing can be performed.
  • the noise amount is estimated for each pixel or for each unit area, and the noise reduction process is performed in accordance with the local noise amount, Optimal noise reduction is possible from bright to dark areas, and high-quality images can be obtained.
  • noise amount various parameters related to the noise amount are dynamically determined for each photographing, and the noise amount is calculated from these parameters. Highly accurate estimation of noise is possible.
  • the noise amount is set as a threshold value, and signals below this threshold value are removed as noise, signals above this threshold value are stored as the original signal, and the edge part deteriorates. It is possible to obtain a high-quality image with only reduced noise.
  • the calculated noise amount is limited so as not to exceed a predetermined upper limit, excessive noise reduction processing is prevented, and the original signal is saved for edge components. Nature can be secured. At this time, whether or not to set the upper limit can be set by the operation, so that a person who can obtain a subjectively better image quality can be selected.
  • the signal level of the pixel of interest is obtained by averaging in the area near the pixel of interest, the effect of noise components can be reduced, and the noise amount can be estimated with high accuracy. It becomes possible.
  • the temperature of the image sensor is estimated from the variance value in the 0B region of the image sensor and used as a parameter for estimating the noise amount, the temperature at the time of shooting is reduced. It is possible to estimate the noise amount with high accuracy by dynamically adapting to the degree change. At this time, since the 0B region is used, a low-cost imaging system can be realized.
  • the gain at the time of shooting is determined based on the ISO sensitivity, exposure information, and white balance information and used as a parameter for estimating the amount of noise, it dynamically adapts to changes in gain during shooting to achieve high accuracy. This makes it possible to estimate the amount of noise.
  • the correction amount for noise is determined according to the shutter speed to be used, it dynamically adapts to the shutter speed at the time of shooting, and can be used even for noise that increases during long exposure. It is possible to estimate the noise amount with high accuracy.
  • a standard value is set for parameters that were not obtained at the time of shooting, and the noise amount calculation coefficient was obtained together with the obtained parameters.
  • the noise amount was calculated from this coefficient. Even when a certain parameter cannot be obtained, the noise amount can be estimated, and a stable noise reduction effect can be obtained.
  • the noise amount can be estimated, and a stable noise reduction effect can be obtained.
  • the required memory amount is small and the cost can be reduced.
  • the noise amount can be adaptively reduced in response to the dynamic change, and a high-quality image can be obtained. Obtainable.
  • FIGS. 8 to 12 show a second embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of an image pickup system.
  • FIG. 9 is a diagram showing a primary color bayer type filter in a color filter.
  • Fig. 10 is a block diagram showing the configuration of the noise reduction unit,
  • Fig. 10 is a block diagram showing the configuration of the noise reduction unit, and
  • Fig. 12 is an image processing program in the computer. Is a flowchart showing noise reduction processing performed by O
  • the imaging system according to the second embodiment has, in addition to the configuration of the first embodiment described above, for example, a primary-color-bar-type, which is disposed in front of the CCD 4.
  • a color filter 51 and a temperature sensor 52 arranged near the CCD 4 and constituting a parameter calculating means for measuring the temperature of the CCD 4 in real time and outputting the measurement result to the control unit 16
  • the pre-WB unit 53 that performs simple white balance detection based on the video signal stored in the image buffer 8 and controls the amplifier 6 based on the detection result, and the image buffer 8
  • a color signal separation unit 54 serving as separation means for reading out the stored video signal, separating the color signal, and outputting the separated signal to the noise reduction unit 12 and the noise estimation unit 13.
  • Pre-WB section 53 and color signal separation section Reference numeral 54 denotes a bidirectional connection to the control unit 16 for control.
  • the signal flow in the imaging system as shown in FIG. 8 is basically the same as in the first embodiment described above, and only different parts will be described.
  • the subject image via the color filter 51 is captured by the CCD 4 and output as a video signal.
  • This video signal is processed as described in the first embodiment, and is stored in the image buffer 8 as a digital video signal.
  • the video signal stored in the image buffer 8 is transferred to the photometric evaluation unit 9 and the in-focus point detection unit 10 and also to the pre-WB unit 53.
  • the pre-WB unit 53 converts a signal of a predetermined luminance level in the video signal. By integrating for each color signal, a simple white balance coefficient is calculated and transferred to the amplifier 6.
  • the amplifier 6 performs white balance adjustment by multiplying a different gain for each color signal using the simple white balance coefficient received from the pre-WB section 53.
  • the exposure condition obtained by the photometric evaluation unit 9, the focusing condition obtained by the focus detection unit 10, and the pre-WB unit 5 The main photographing is performed based on the white balance coefficient obtained in 3 and the photographing conditions are transferred to the control unit 16.
  • the video signal obtained by the main shooting is stored in the image buffer 8, and then transferred to the color signal separation unit 54, where the video signal is separated for each color of the color filter.
  • the filter configuration of the color filter 51 arranged in front of the CCD 4 is, for example, a primary color Bayer type as shown in FIG. 9, that is, 2 ⁇ 2 pixels. With green (G1, G2) filters at diagonal positions, and red (R) and blue (B) filters at the remaining diagonal positions. It has become. Note that 1 filters G 1 and G 2 are filters having the same optical characteristics, but are distinguished here as G 1 and G 2 for convenience of processing.
  • the color signal separation section 54 separates the video signal in the image buffer 8 according to the four types of color filters R, G 1, G 2, and B. Based on the control of the control section 16, the processing is performed in synchronization with the processing of the noise reduction section 12 and the processing of the noise estimation section 13.
  • Each color signal separated by the color signal separation unit 54 is transferred to the noise estimation unit 13 and the noise amount is estimated as described above, and the noise reduction is performed using the estimation result.
  • the noise reduction processing is performed in the unit 12 and the processed color signals are integrated and transferred to the signal processing unit 14 Is done.
  • the subsequent operation is the same as in the first embodiment described above.o
  • the basic configuration of the noise estimating unit 13 is the same as that shown in FIG. 2 in the first embodiment described above, and the components having the same functions are denoted by the same names and reference numerals. Assigned.
  • the noise estimation unit 13 includes a local region extraction unit 26 that extracts a local region of a predetermined size at a predetermined position for each color signal output from the color signal separation unit 54, and a local region extraction unit 26 A buffer 61 for storing the color signal of the local area extracted by the above, and an amplification amount of the amplifier 6 based on the information on the exposure condition and the information on the white balance coefficient transferred from the control unit 16. , A standard value assigning unit 30 that assigns a standard value when any parameter is omitted, and a signal from the buffer 61 to read out the average value and the variance value.
  • Average variance calculator 6 to transfer to 6 2 and the shutter speed output from the control unit 16 or the standard value applying unit 30; the information about the temperature of the image sensor output from the temperature sensor 52 or the standard value applying unit 30; The amount of amplification output from the gain calculating section 29 or the standard value adding section 30, the signal value level output from the average variance calculating section 62 or the standard value adding section 30 and the noise amount Lookup table which is a noise amount calculation means and a lookup table means which is constructed by the same means as in the above-described first embodiment and recorded as a lookup table. And a part 63.
  • the noise obtained by the lookup table section 63 The amount is transferred to the noise reduction unit 12.
  • the processing of the local region extraction unit 26 is performed in synchronization with the processing of the noise reduction unit 12, and the processing of the noise reduction unit 12 described below is performed in block units.
  • the extraction is performed while sequentially scanning the entire image in units of 4 ⁇ 4 pixels, for example.
  • the control unit 16 is bidirectional with respect to the local region extraction unit 26, the average variance calculation unit 62, the gain calculation unit 29, the standard value assignment unit 30, and the look-up table unit 63. Are connected to and control these.
  • the noise reduction unit 12 includes a size setting unit 74 that is a control value setting unit that sets a filter size based on the noise amount estimated by the noise estimation unit 13, and the color signal
  • the pixel block corresponding to the filter size set by the size setting unit 74 is included in the target pixel from each color signal output from the separation unit 54 (for example, with the target pixel as the center).
  • the coefficient of the corresponding filter size is read from the coefficient R 0 M 75 based on the filter size set by the above, and the pixel block extracted by the local area extraction unit 71 is publicly known.
  • Filter processing for smoothing The filtering unit 72 serving as a smoothing means, and the filtered color signals output from the filtering unit 72 correspond to the signal output positions of the CCD 4 for all colors. And a buffer 73 stored in the memory.
  • the size setting unit 74 is estimated by the noise estimation unit 13 Depending on the noise amount, select from a filter size of, for example, 1 X 1 pixel to 9 X 9 pixels, to a small size when the noise amount is small and a large size when it is large.
  • This filter size is a control value for controlling the frequency characteristic of the smoothing process, and thereby reduces a specific frequency band in the video signal according to the frequency characteristic of the noise. Filtering processing (smoothing processing) is performed.
  • the size setting unit 74 receives the variance value information on the signal value level near the pixel of interest from the control unit 16 and, when the variance value is small, identifies the pixel of interest as a flat region. If the area is large, the filter area is identified as an edge area, and based on the result of the identification, the filter size is not corrected if the area is a flat area. Is corrected.
  • the control unit 16 is bidirectionally connected to the local area extraction unit 71, the filtering unit 72, and the size setting unit 74, and controls these. I have.
  • the video signal output from the CCD 4 is set as unprocessed Raw data
  • the Raw data includes the temperature, gain, shutter speed, and the like at the time of shooting from the control unit 16.
  • the raw data to which the header information is added is output to a processing device such as a computer, and the processing device executes the raw data. It may be processed by hardware.
  • step S1 all color signals composed of Raw data and header information including information such as temperature, gain, and shutter speed are read.
  • the Raw data is separated into color signals (step S2), and scanning is performed individually for each color signal (step S3).
  • a local area of a predetermined size for example, in units of 4 ⁇ 4 pixels is extracted centering on the target pixel (step S 4).
  • an average value which is the signal value level of the pixel of interest, and a variance value used for distinguishing between the flat region and the edge region are calculated (step S5).
  • step S6 parameters such as temperature, gain and shirt speed are obtained from the read header information.
  • a predetermined standard value is assigned (step S6).
  • Noise is obtained by using a look-up table based on the signal value level calculated in step S5 and the parameters set in step S6, such as temperature, gain, and shutter speed.
  • the amount is calculated (step S7).
  • a filtering size is determined based on the variance value calculated in step S5 and the noise amount calculated in step S7 (step S8).
  • step S9 an area corresponding to the filtering size determined in step S8 is extracted (step S9).
  • step S10 a coefficient corresponding to the filtering length determined in step S8 is read (step S10).
  • smoothing is performed using the filtering size obtained in step S8 and the coefficient obtained in step S10.
  • Perform filtering (step S11) o
  • step S12 the smoothed signals are sequentially output (step S12), and it is determined whether or not scanning of the entire screen has been completed for one color (step S13). Return to step 3 and perform the above process until the process is completed.
  • step S13 determines whether or not processing has been completed. If the processing has not been completed for all the color signals, the process returns to step S2 to perform the above-described processing, and if completed, this processing ends.
  • the present invention is not limited to this.
  • the present invention can be similarly applied to a case where the color filter 51 is a complementary color filter.
  • the present invention can be similarly applied to the case of a double CCD or a triple CCD.
  • substantially the same effects as those of the first embodiment described above can be obtained, and a signal from an imaging device having a color filter is separated into color signals for each color filter.
  • the noise amount is estimated for each pixel or unit area, and noise reduction processing is performed in accordance with the local noise amount, so that optimal noise reduction is performed from bright to dark areas. And high-quality images can be obtained.
  • it can be applied to various imaging systems such as primary colors, complementary colors, and single, double, and triple plates.
  • the noise amount can be adaptively reduced in response to the dynamic change. High quality images can be obtained.
  • a high-quality image can be obtained by appropriately reducing the amount of noise in the image.
  • FIGS. 13 to 21 show a third embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of an imaging system.
  • FIG. 14 is a primary color layer in a color filter.
  • Fig. 15 is a block diagram showing the configuration of the imaging situation estimating unit
  • Fig. 16 is a diagram for explaining the evaluation photometry division pattern and evaluation parameters
  • Fig. 17 is Block diagrams showing the configuration of the noise estimator
  • Figs. 18 and 19 are diagrams for explaining the formulation of the noise amount
  • Fig. 20 is used for the formulation of the noise amount.
  • FIG. 21 is a block diagram illustrating a configuration of a noise reduction unit. As shown in FIG.
  • this imaging system includes a lens system 101 for forming a subject image, and a light beam that is disposed in the lens system 101 and is radiated by the lens system 101.
  • a CDS (Correlated Double Sampling) 107 that performs correlated double sampling on the video signal output from the CCD 105 and amplifies the signal output from the CDS 107.
  • AZD converter 109 that converts the analog video signal amplified by the amplifier 108 into a digital signal, and the AZD converter 109 that is output from the AZD converter 109.
  • An image buffer 110 for temporarily storing digital image data, and a photometric evaluation of a subject is performed based on the image data stored in the image buffer 110.
  • An in-focus point detection unit that detects an in-focus point based on the image data stored in the image buffer and drives an AF motor that will be described later based on the detection result; and an in-focus point detection unit.
  • the AF motor 114 that drives the focus lens and the like included in the lens system 101 under the control of the lens system 101, and the image buffer 111
  • a color signal separation unit 115 that reads out the video signal stored in 0 and separates the color signal, and the image data output from the color signal separation unit 115 will be described in detail later.
  • the correction unit 118 is a correction unit for correcting the estimation result obtained by the noise estimation unit 117 using the estimation result obtained by the correction unit 16, and the color is estimated by using the estimated noise corrected by the correction unit 118.
  • Noise reduction unit 119 which is a noise reduction unit that reduces noise of image data output from signal separation unit 115, and image data output from noise reduction unit 119
  • the signal processing unit 120 that processes the image and the image data from the signal processing unit 120
  • An output unit 121 for outputting data to be recorded on a memory card, etc., and an external I with an interface to a power switch, a shutter button, and a mode switch for switching between various shooting modes.
  • This imaging system is configured so that shooting conditions such as ISO sensitivity can be set via the external I / F section 123, and after these settings are made, a two-stage push button switch is used. Press the shirt button halfway to enter the pre-imaging mode. 0614
  • the video signal photographed and output by the CCD 105 via the lens system 101, the aperture 102, the low-pass filter 103, and the color filter 104 is a known signal in the CDS 107. Perform correlated double sampling and read out as an analog signal.
  • the analog signal is amplified by a predetermined amount by the amplifier 108, converted into a digital signal by the A / D converter 109, and transferred to the image sensor 110.
  • the video signal in the image buffer 110 is then transferred to the photometry evaluation unit 111, pre-WB unit 112, and focus detection unit 113.
  • the photometric evaluation unit 1 1 1 calculates the luminance level in the image, divides the image into multiple areas, and considers the set IS0 sensitivity and the camera shake limit, and combines the luminance levels in each area. Then, an appropriate exposure value is calculated, and the aperture value by the aperture 102, the electronic shutter speed of the CCD 105, the amplification factor of the amplifier 108, and the like are controlled so as to obtain the appropriate exposure value.
  • the pre-WB unit 112 calculates a simple white balance coefficient by integrating a signal of a predetermined luminance level in the video signal for each color signal, transfers it to the amplifier 108, and Multiply by different gains to perform white balance.
  • the focus detection unit 113 detects the edge intensity in the image, and controls the AF motor 114 so that the edge intensity is maximized to obtain a focused image.
  • This actual shooting focuses on the exposure conditions obtained by the photometric evaluation unit 111 and the white balance coefficient obtained by the pre-WB unit 112.
  • the focusing is performed based on the focusing condition obtained by the point detecting unit 113, and the photographing conditions are transferred to the control unit 122.
  • the video signal is transferred to the image buffer 110 and stored in the same manner as in the pre-imaging.
  • the video signal in the image buffer 110 is transferred to the color signal separation unit 115 and separated for each color of the color filter.
  • the filter configuration of the color filter 104 arranged in front of the CCD 105 is, for example, a primary color Bayer type as shown in FIG.
  • green (G1, G2) filters are arranged at diagonal positions
  • red (R) and blue (B) filters are arranged at the remaining diagonal positions. I'm in love.
  • the green filters G 1 and G 2 have the same optical characteristics, but are distinguished here as G 1 and G 2 for convenience of processing.
  • the color signal separation section 115 separates the video signal in the image buffer 110 according to these four types of color filters R, G1, G2, and B.
  • the separation operation is performed in synchronization with the processing of the noise estimating unit 117 and the processing of the noise reducing unit 119 based on the control of the control unit 122.
  • control unit 122 sends the photometry information and focusing information at the time of imaging from the photometry evaluation unit 111, pre-WB unit 112, and focus detection unit 113 to the shooting condition estimation unit 116. Forward.
  • the photographing state estimating unit 116 estimates the photographing state of the entire screen as, for example, landscape photographing, portrait photographing, close-up photographing, or night scene photographing based on the transferred information, and corrects it. 1 Transfer to 8. Such a process of estimating the photographing state by the photographing state estimating unit 116 is performed once for each photographing.
  • the noise estimation unit 117 reads each color signal from the color signal separation unit 115 based on the control of the control unit 122, and
  • the exposure estimation unit 1 17 is further provided with a control unit 1 22 via the control unit 1 2 2, such as an exposure condition obtained by the photometry evaluation unit 1 1 1 and an IS 0 sensitivity set by the external IZF unit 1 2 3.
  • the shooting conditions are also transferred.
  • the noise estimating unit 117 calculates a noise amount for each predetermined size, for example, for each pixel (in a pixel unit) in the present embodiment, based on the above information and each color signal, and calculates the calculated noise amount. Transfer the size to the corrector 1 1 8 o
  • the correction unit 118 corrects the noise amount output from the noise estimation unit 117 based on the shooting condition output from the shooting condition estimation unit 116, and calculates the corrected noise amount. Transfer to noise reduction section 1 19.
  • the processing in the noise estimation unit 117 and the processing in the correction unit 118 are synchronized with the processing of the noise reduction unit 119 based on the control of the control unit 122. Is being done.
  • the noise reduction section 1 19 performs noise reduction processing on each color signal from the color signal separation section 1 15 based on the noise amount corrected by the correction section 1 18.
  • the processed video signal is transferred to the signal processing unit 120.
  • the signal processing unit 120 Based on the control of the control unit 122, the signal processing unit 120 performs known enhancement processing, compression processing, and the like on the video signal after the noise reduction, and outputs the processed video signal to the output unit. 1 2 Transfer to 1.
  • the output unit 122 records and stores the received video signal in a memory card or the like.
  • the photographing state estimating unit 116 acquires the AF information set by the focusing point detecting unit 113 from the control unit 122, and obtains, for example, 5 m to ⁇ (wind scene photographing), 1 m to 5 m (Portrait shooting), 1 m or less (Close-up shooting), etc.
  • Focusing position estimating unit 131 which is a focusing position estimating means, and the control unit 122 Acquired 03 010614
  • the AE information from the subject distribution estimating unit 132 which is the subject distribution estimating means for calculating the evaluation parameters S1 to S3 to be described later, and the AE information from the photometric evaluating unit 111 are acquired from the control unit 122.
  • the gain for correcting the noise amount is determined.
  • an overall estimating unit 1334 which is an overall estimating means for transferring the calculated value to the correcting unit 118.
  • the in-focus position estimating unit 13 1, the subject distribution estimating unit 13 2, and the night scene estimating unit 13 33 are bidirectionally connected to the control unit 122.
  • the photometric evaluation unit 111 divides the signal from the CCD 105 into 13 regions and performs known divided photometry.
  • the imaging region of the CCD 105 is classified into a central portion, an inner peripheral portion surrounding the central portion, and an outer peripheral portion surrounding the inner peripheral portion. Divide each into the following areas.
  • the center area is the middle area (the average luminance level is represented by a 1), the area to the left (the average luminance level is represented by a 2), and the right area (the average luminance level is a 3
  • the inner part is the area above and below the area where the average luminance level is a1 (the average luminance levels are represented by a4 and a5, respectively), and the annual average luminance level
  • the area to the left and right of the area where is a4 (the average luminance levels are represented by a6 and a7), and the area to the left and right of the area where the average luminance level is a5 (the average luminance levels are a8 and a7, respectively) 9) and is divided into.
  • the outer peripheral area consists of the upper left area (average luminance level is represented by a10), the upper right area (average luminance level is represented by a11), and the lower left area (average luminance level is represented by a12). And the lower right area (the average brightness level is represented by a13), and.
  • the average luminance level of each of the divided regions is transferred from the photometry evaluation unit 111 to the subject distribution estimation unit 132.
  • the subject distribution estimation unit 1 3 2 calculates the following evaluation parameters as shown in the following Expression 11, Expression 12, and Expression 13, and transfers the calculation result to the overall estimation unit 1 34. Has become.
  • a v ( ⁇ ai) / 1 3 (1 3)
  • max () is a function that returns the maximum value of the numbers in parentheses
  • AV represents the average luminance level (average luminance level of the entire screen) for all photometry areas.
  • the evaluation parameter S 1 indicates the difference between the left and right luminances at the center (center), and the evaluation parameter S 2 indicates either the upper center or the upper left or right of the inner periphery.
  • the evaluation parameter S 3 indicates the difference between the larger of the upper left and right sides of the outer periphery and the average luminance of the entire screen (the entire screen).
  • the overall estimating unit 134 calculates the amount of noise according to the outputs of the in-focus position estimating unit 131, the subject distribution estimating unit 132, and the night view estimating unit 1333. At this time, the gain for correction is obtained. At this time, if the result of the night view estimating unit 133 is a night view shooting, the gain is “strong”, that is, for example, 1.5 to 2 .0, and immediately transfer this gain to the compensator 1 18 to complete the process
  • the evaluation parameter S 3 is further compared with a predetermined value Th 1.
  • the evaluation parameter S 3 is larger than the predetermined value Th 1
  • at least one of a 10 or a 11 is at least somewhat brighter than the average brightness of the entire screen. Therefore, it is assumed that the landscape has a sky at the top. The sky is flat and noisy Is a region that is subjectively concerned, so “strong” (for example, 1.5 to 2.0) is specified as the gain for correction.
  • the evaluation parameter S 3 is smaller than the predetermined value Th 1, on the contrary, it is estimated that there is no sky at the top or a landscape with little sky. In this case, a medium having a texture structure, such as a plant or a building, is considered to be the main subject. Therefore, “medium” (for example, 1.0 to 1.5) is designated as the gain for correction. You.
  • the evaluation parameter S 2 is compared with a predetermined value Th 2.
  • the evaluation parameter S 2 is larger than the predetermined value Th 2, and there is a luminance difference between the upper center a 4 of the inner peripheral portion and one of the upper left and right a 6, a 7. It is assumed that this is a portrait of a person.
  • the area of the face that is, the area of the skin that is flat and prominent in the noise is relatively large. Because of the presence of this hair, if this hair is crushed, it will be evaluated as degraded image quality. For this reason, “medium” is designated as the gain for correction.
  • the AF information is 1 m or less, it is determined that close-up photography has been performed, and the above evaluation parameter S 1 is compared with a predetermined value Th 3. At this time, if the evaluation parameter S 1 is larger than the predetermined value Th 3, there is a luminance difference between the left and right of the center, and it is estimated that multiple objects are closed up. In this case, since the main subject is considered to have a fine structure, “weak” (for example, 0.5 to 1.0) is designated as the gain for correction. On the other hand, if the evaluation parameter S 1 is smaller than the predetermined value Th 3, Four
  • the gain for correction set by overall estimation section 134 in this way is transferred to correction section 118 as described above.
  • the noise estimating unit 117 includes a local region extracting unit 141 that extracts a local region of a predetermined size at a predetermined position for each color signal output from the color signal separating unit 115.
  • a buffer 144 for storing the color signal of the local area extracted by the extraction unit 141, and the information on the exposure condition and the information on the white balance coefficient transferred from the control unit 122 are used as described above.
  • Gain calculating section 144 as a parameter calculating means for calculating the amount of amplification of amplifier 108, and standard value providing section 14 as a providing means for providing a standard value when any parameter is omitted.
  • Coefficient calculating unit 14 which is a noise amount calculating means for calculating a coefficient according to a predetermined formula for estimating the noise
  • the local region extraction unit 141 is used in the horizontal direction processing because the processing of the noise reduction unit 119 described later is separated into the horizontal direction and the vertical direction. For example, in the 4 ⁇ 1 size unit, and in the case of vertical processing, for example, in the 1 ⁇ 4 size unit, extraction is performed while sequentially scanning the entire image. The processing by the local area extraction unit 141 is performed in synchronization with the processing of the noise reduction unit 119.
  • the control unit 122 includes the local area extraction unit 141, the average calculation unit 144, the gain calculation unit 144, the standard value assignment unit 144, the coefficient calculation unit 144, and the function. It is bidirectionally connected to the operation unit 148 and controls these.
  • N AL B + C (1 4)
  • A, B, and C are constant terms, and are constants added to a function that is a power of the signal value level.
  • A, B, and C are constant terms, and are constants added to a function that is a power of the signal value level.
  • the noise amount N does not depend only on the signal value level L, but also changes depending on the temperature of the CCD 105 serving as the image sensor and the gain of the amplifier 108. Therefore, these requirements
  • the example shown in Figure 19 takes into account the factors.
  • Equation 15 a (T, G), b ( T, G) and c (T, G) are introduced.
  • N a (T, G) L b (T ' G) + c (T, G) (15)
  • the curve represented by the equation 15 is divided into a plurality of temperatures T (in the example shown, temperatures T 1 to T Figure 19 shows a plot for multiple gains G (1, 2, and 4 times in the example shown) in 3).
  • the individual curves indicated by each parameter have a form almost similar to the curve according to Equation 14 as shown in FIG. 18, but the coefficients a, b, and c are, of course, the temperature T And gain G according to each value.
  • Fig. 20A shows the outline of the characteristics of the above function 3 (D, ⁇ )
  • Fig. 208 shows the characteristics of the above function b (T, G)
  • Fig. 20C shows the outline of the characteristics of the above function c (T, G). Are respectively shown.
  • FIGS. 2OA to 20C are plotted as three-dimensional coordinates. It is a curved surface in this plotted space. However, instead of showing a specific curved shape here, The characteristic changes are roughly shown using the curves.
  • the constant terms A, B, and C are output.
  • the specific shapes of these functions can be easily obtained by measuring the characteristics of the imaging device system including the CCD 105 and the amplifier 108 in advance.
  • N ⁇ a (T, G) L b (T ' G) + c (T, G) ⁇ d (S)
  • FIG. 20D shows a state of an increase D in the noise amount with respect to the shutter speed S.
  • the noise amount increment D has a property of rapidly increasing when the shirt speed S becomes smaller than a certain threshold S TH (long exposure). Therefore, the shutter speed S becomes equal to this threshold S
  • T, G) and d (S) are recorded in the parameter ROM 147 described above.
  • the correction to the shutter speed does not necessarily need to be prepared as a function, but may be prepared as other means, for example, as a table.
  • the coefficient calculation unit 146 uses the temperature T, the gain G, and the shutter speed S that are dynamically acquired (or acquired from the standard value assignment unit 144) as input parameters, and stores the parameter ROM.
  • the constant terms A, B, C, and D are calculated using the four functions recorded in 147, and are transferred to the function calculation unit 148. ,
  • the function operation unit 148 calculates the noise amount N by applying each of the constant terms A, B, C, and D calculated by the coefficient calculation unit 144 to the above equation 16. And the noise amount N is calculated from the signal value level L output from the average calculation unit 144 via the coefficient calculation unit 144. I have.
  • parameters such as the temperature T, the gain G, and the shirt evening speed S do not necessarily need to be obtained for each photographing.
  • Arbitrary parameters may be stored in the standard value assigning section 144, and the calculation processing may be omitted. This makes it possible to speed up processing and save power.
  • the correction unit 118 When the correction unit 118 receives the noise amount calculated from the noise estimation unit 117 in this way, based on the control of the control unit 122, the correction unit 118 adjusts the photographing amount to the noise amount. Multiplies the correction gain transferred from the situation estimator 1 16 and transfers the result to the noise reducer 1 19 o
  • the noise reduction unit 119 includes a horizontal line extraction unit 151 that sequentially extracts a video signal in units of horizontal lines for each color signal output from the color signal separation unit 115. Extracted by line extraction unit 15 1 Smoothing means for scanning the video signal of the horizontal line obtained in units of pixels and performing a known hysteresis smoothing by using a threshold from a threshold setting unit 156 described later as a noise amount.
  • One screen is obtained by sequentially storing the barrels of the first smoothing section 152 and the horizontal lines smoothed by the first smoothing section 152.
  • Buffer 153 for storing video signals for all colors, and a video signal for one screen is stored for all colors in this buffer 1553, and then the video is sequentially read from the buffer 1553 in units of vertical lines.
  • a vertical line extraction unit 154 that extracts signals for each color signal, and a vertical line video signal extracted by the vertical line extraction unit 154 is scanned in pixel units.
  • the threshold value from a threshold value setting unit 156 described later is used as a noise amount and a known hysteresis system is used.
  • the second smoothing unit 155 which is a smoothing means for performing a smoothing and sequentially outputting the noise to the signal processing unit 120, and a noise amount corrected by the correcting unit 118, Noise is obtained by acquiring pixel by pixel in accordance with the horizontal line extracted by the horizontal line extraction unit 151 or the vertical line extracted by the vertical line extraction unit 154.
  • a threshold setting unit 156 which is a threshold setting means for setting the amplitude value of the noise as a threshold value (small amplitude value) and outputting it to the first smoothing unit 152 or the second smoothing unit 1555. It has a configuration.
  • the hysteresis smoothing in the first and second smoothing sections 15 2 and 15 55 is controlled by the control section 122 so that the operation of the correction section 1 18 and the threshold setting section 1 It is performed in synchronization with the operation of 56.
  • the control unit 122 is bidirectionally connected to the horizontal line extraction unit 151, the vertical line extraction unit 154, and the threshold setting unit 156, and controls these. It is supposed to.
  • the noise amount is estimated in pixel units.
  • the present invention is not limited to this.
  • an arbitrary amount such as 2 ⁇ 2 pixels or 4 ⁇ 4 pixels can be used.
  • the noise amount may be estimated for each predetermined unit area. In this case, the noise estimation accuracy is reduced, but on the other hand, there is an advantage that higher-speed processing can be performed.
  • a single-chip CCD in which the color filter 104 is a primary color carrier type is described as an example.
  • the present invention is not limited to this.
  • the color filter 104 is a complementary color filter. The same can be applied to a single-chip CCD serving as a filter, and also to a two- or three-chip CCD.
  • focusing information and photometric information are used for estimating a shooting situation.
  • the present invention is not limited thereto, and at least one of zoom position information, line-of-sight input information, and flash light emission information is used. Either one may be used to estimate the shooting situation, or these may be combined as appropriate to more accurately estimate.
  • the noise amount is estimated for each area of an image and for each color signal, it is possible to perform optimal noise reduction from a bright portion to a dark portion. This makes it possible to obtain high-quality images.
  • various parameters such as the signal value level related to the noise amount, the temperature of the image sensor at the time of shooting, the shutter speed, and the gain are dynamically obtained for each shooting, and the noise amount is determined based on these parameters. Since noise is calculated, the noise amount can be estimated with high accuracy. In this case, the accuracy can be further improved by estimating the noise amount in pixel units.
  • the estimated noise amount is corrected in accordance with the shooting situation, a subjectively favorable high-quality image can be obtained.
  • various information at the time of shooting is integrated to obtain the shooting state of the entire screen, low-cost and high-speed processing can be realized.
  • the signals from the image sensor with color filters are separated into color signals for each color filter, various types of imaging such as primary color, complementary color, or single, double, and triple Noise can be reduced for the system.
  • the noise amount is set as a threshold value, and signals below this threshold value are removed as noise, signals above this threshold value are stored as the original signal, and the noise level is reduced. It is possible to obtain a high-quality image in which only the components are reduced.
  • a standard value is set for a parameter not obtained at the time of photographing, a coefficient for calculating a noise amount is calculated using the standard value together with the obtained parameter, and a noise amount is calculated from the coefficient. Therefore, even when necessary parameters cannot be obtained at the time of shooting, it is possible to estimate a noise amount and obtain a stable noise reduction effect. At this time, since the function is used when calculating the noise amount, the required memory amount can be reduced, and the cost can be reduced. In addition, by intentionally omitting some parameter calculations, it is possible to construct an imaging system that achieves low cost and low power consumption.
  • FIGS. 22 to 26 show a fourth embodiment of the present invention.
  • FIG. 22 is a block diagram showing a configuration of an imaging system
  • FIG. 23 is a professional diagram showing a configuration example of an imaging situation estimation unit.
  • FIG. 24 is a block diagram showing a configuration of the noise estimating unit.
  • FIG. 25 is a flowchart showing a part of a noise reduction process performed by an image processing program in a computer. Is a flowchart showing another part of the noise reduction processing performed by the image processing program in the computer.
  • the fourth embodiment the same as in the third embodiment described above. Some parts are denoted by the same reference numerals, description thereof is omitted, and only different points will be described.
  • the imaging system according to the fourth embodiment is configured to thin out video signals read from the image buffer 110 at predetermined intervals in addition to the configuration of the third embodiment described above.
  • the known thinning unit 161, and the video signal thinned by the thinning unit 161 are subjected to a known linear interpolation process to generate a three-plate RGB image, and the result is used as the above-mentioned shooting condition estimation unit.
  • the interpolator 162 to output to 1 16 and the information of the labeled image area estimated by the shooting condition estimator 1 16 are temporarily stored and output to the corrector 1 18 And a buffer 163.
  • the interpolator 162 is bidirectionally connected to and controlled by the controller 122.
  • the flow of signals in the imaging system as shown in FIG. 22 is basically the same as in the above-described third embodiment, and only different parts will be described.
  • the main shooting is performed as described above, and the video signal is transferred to the image buffer 110. Is done.
  • the thinning section 161 reads out the video signal in the image buffer 110, thins out the video signal at a predetermined interval, and transfers it to the interpolating section 162.
  • the thinning processing by the thinning unit 161 is based on a 2 ⁇ 2 pixel as a basic unit because the present embodiment assumes a bay-type color filter as the color filter 104. Specifically, for example, a thinning-out operation is performed to read only the upper left 2 ⁇ 2 pixels for a unit of 16 ⁇ 16 pixels. By performing such thinning processing, the video signal is reduced to a (1/8) X (1/8) size, that is, a data size of 64 times smaller.
  • the interpolation unit 162 performs a well-known linear interpolation process on the video signal thinned out by the thinning unit 161, thereby forming an RGB three-panel. An image is generated, and the generated video signal of the three-panel image is transferred to the photographing situation estimation unit 116.
  • the photographing situation estimating unit 116 calculates information such as skin color, dark part, and high-frequency region from the three-plate video signal transferred from the interpolating unit 162, and based on the calculated information, calculates one image. Divide the video signal into multiple areas and label each area information.
  • the buffer 163 stores the information transferred from the photographing situation estimation unit 116.
  • the noise estimating unit 117 based on the control of the control unit 122, converts each color signal received from the color signal separating unit 115 for each predetermined size, for example, a pixel in the present embodiment.
  • the noise amount is calculated in units, and the calculated noise amount is transferred to the correction unit 118.
  • the correcting unit 118 corrects the noise amount output from the noise estimating unit 117 based on the label information read from the buffer 163, and converts the corrected noise amount to noise. To the noise reduction unit 1 1 9 At this time, the correction unit 118 enlarges the label information of the buffer 163 according to the ratio thinned out by the thinning unit 161, and outputs the pixel information from the noise estimation unit 117 in pixel units. Perform processing corresponding to the noise amount.
  • the processing in the noise estimating unit 117 and the processing in the correcting unit 118 are performed under the control of the control unit 122 in synchronization with the processing of the noise reducing unit 119. I'm familiar.
  • the photographing state estimating unit 116 reads out the RGB three-plate image from the interpolating unit 162, calculates the color difference signals Cb and Cr, extracts the skin color region by a predetermined threshold processing, and labels the image.
  • the skin color detector 171, which is an image characteristic detecting means and a specific color detecting means, and the above-mentioned interpolator 162 A dark area detecting unit 172, which is an image characteristic detecting means and a specific luminance detecting means, which reads out an RGB three-panel image, calculates a luminance signal Y, extracts a dark area smaller than a predetermined threshold value, and labels the dark area.
  • the area estimation result indicating whether or not the area is the flesh color area and whether or not the area is the partial area is stored in the buffer 1.
  • an area estimating unit 17 3 serving as area estimating means for transferring the data to the area estimating unit 6.
  • control unit 122 is bidirectionally connected to the skin color detection unit 171 and the dark part detection unit 172, and controls these.
  • the skin color detecting unit 171 converts this into a signal of a predetermined color space, for example, ⁇ , as shown in the following Expressions 17 and 18.
  • the color difference signals in Cb, Cr space are converted into Cb, Cr.
  • the skin color detecting section 171 extracts only the skin color region by comparing these two color difference signals Cb and Cr with a predetermined threshold value.
  • the skin color detecting section 17 1 uses the result to label the thinned-out three-plate image on a pixel-by-pixel basis and transfers the label to the area estimating section 17 3.
  • 1 is assigned to a skin color area
  • 0 is assigned to other areas.
  • the dark part detecting unit 172 converts it into a luminance signal Y as shown in the following Expression 19.
  • Y 0.29 9 0 0 R + 0 .5 8 7 0 0 G + 0 .1 1 4 0 0 ⁇
  • the dark part detecting section 1772 compares the luminance signal ⁇ with a predetermined threshold, and extracts a region smaller than the threshold as a dark region.
  • the dark part detecting unit 172 labels the thinned-out three-plate image on a pixel-by-pixel basis, and transfers the label to the region estimating unit 173.
  • a specific label attached at this time for example, 2 is assigned to a dark area, and 0 is assigned to other areas.
  • the area estimating section 1 73 is 1 for the flesh color area, 2 for the dark area, and 2 for the flesh color area.
  • the area which is a dark area is set to 3 and the other areas are set to 0, and the result is output to the noise 163.
  • the correction unit 118 reads the label information from the notifier 163 and adjusts the gain for correction according to the value of the label. For example, for label 3 (skin color area and partial area), the gain is strong (for example, 1.5 to 2.0), and for label 1 (skin color area) or label 2 (dark area), the gain is medium (for example, 1 to 2). 0 to 1.5), and at label 0 (others), the gain is weak (for example, 0.5 to 1.0).
  • the color information and the luminance information are used for estimating the shooting state of each area in the screen.
  • the present invention is not limited to using such information.
  • frequency information may be used.
  • FIG. 23B another example of the configuration of the imaging situation estimation unit 116 will be described.
  • the photographing situation estimating unit 1 16 is a high-frequency detecting unit 1 75 that is an image characteristic detecting unit and a frequency detecting unit that reads out the RGB three-plate image from the interpolating unit 16 2 in block units and detects high-frequency components. And a region estimating unit 173 for applying a label proportional to the high-frequency component detected by the high-frequency detecting unit 175 and transferring the label to the buffer 163.
  • Numeral 75 is bidirectionally connected to the control section 122 so as to be controlled.
  • the high-frequency detecting section 1775 reads out the RGB three-plate image from the interpolating section 162 in a predetermined block size, for example, a unit of 8 ⁇ 8 pixels, and outputs a known DCT (Discrete Cosine).
  • a predetermined block size for example, a unit of 8 ⁇ 8 pixels
  • the region estimating unit 173 assigns a label proportional to the high-frequency component amount to the program, and transfers the label to the buffer 163.
  • the correction unit 118 reads out the label information stored in the buffer 163, and calculates the ratio of the thinning-out performed by the thinning-out unit 161 and the block size used in the high-frequency detection unit 175.
  • the label information is enlarged in accordance with, and the noise amount in pixel units transferred from the noise estimating unit 117 is corrected.
  • the conversion into the frequency component is performed by the DCT.
  • the conversion is not limited to this, and the Fourier (
  • the basic configuration of the noise estimating unit 117 is the same as that of the noise estimating unit 117 shown in FIG. 17 in the third embodiment described above. The difference is that a lookup table section 181, which is a noise amount calculation means and a lookup table means, is provided in place of the parameter ROM 147 and the function operation section 148.
  • the look-up table section 18 1 is bidirectionally connected to and controlled by the control section 122, and includes the above average calculation section 144, gain calculation section 144, and standard value assignment. Information is input from the unit 144 and the processing result is output to the correction unit 118.
  • the look-up table section 18 1 stores the relationship among the signal value level, gain, shutter speed, image sensor temperature, and noise amount in the same manner as in the third embodiment described above.
  • the signal value level of the pixel of interest calculated by the average calculation unit 144 and the gain value calculated by the gain calculation unit 144 Based on the gain, the information on the shirt evening speed and the temperature of the image sensor transferred from the control unit 122, and the standard value given as needed by the standard value giving unit 144, Referring to the lookup table, the noise amount is estimated and transferred to the correction unit 118.
  • the noise reduction processing is performed at the time of shooting, but the present invention is not limited to this.
  • the video signal output from the CCD 105 is set as unprocessed raw data, and the raw data includes the temperature of the image sensor at the time of shooting from the control unit 122 and the gain. And information such as the shutter speed are added as header information.
  • the Raw data to which the header information has been added may be output to a processing device such as a computer, and the processing device may perform processing by software.
  • Figures 25 and 26 relate to a series of processes.
  • step S101 all color signals composed of Raw data and header information including information such as temperature, gain, and shutter speed are read (step S101).
  • step S102 the video signal is thinned out to a predetermined size (step S102), and a RGB three-plate image is generated by known linear interpolation (step S103).
  • the color difference signals Cb, Cr are obtained from the generated RGB, and the color in which the color difference signals Cb, Cr are within a predetermined range is extracted as a skin color region (step S104).
  • a luminance signal Y is obtained from the RGB generated in step S103, and a region where the luminance signal Y is equal to or less than a predetermined threshold is extracted as a dark region (step S105).
  • Labeling is performed on the skin color area extracted in step S104 and the partial area extracted in step S105 (step S106), and the attached label information is output (step S100). 7) o
  • step S 101 the video signal read in step S 101 is separated for each color signal (step S 108), and a local area of a predetermined size centered on the pixel of interest, for example, a local area in units of 4 ⁇ 1 pixels Is extracted (step S109), and the signal value level of the pixel of interest is calculated as the average value of this local region (step S110).
  • parameters such as temperature, gain, and shutter speed are obtained from the header information read in step S101. At this time, if the parameters required for the header information do not exist, the parameters are not found. In this case, a predetermined standard value is assigned (step S111).
  • step S110 The signal value level determined in step S110 and the parameters such as temperature, gain, and shutter speed determined in step S111 Based on the above, the noise amount is calculated by referring to the lookup table (step S112)
  • step S107 the label information output in step S107 is read, and the label corresponding to the current pixel of interest is transferred to step S114 (step S113).
  • step S112 The noise amount obtained in step S112 is corrected based on the label information read in step S113 (step S114)
  • step S108 The color signals separated in step S108 are extracted for each horizontal line (step S115), and a known hysteresis smoothing is performed based on the noise amount corrected in step S114. (Step S116).
  • step S117 it is determined whether or not the processing has been completed for all the horizontal lines (step S117), and if not, the processing of steps S109 to S16 is repeated.
  • a local region of a predetermined size centered on the pixel of interest for example, a local region of 1 ⁇ 4 pixels is extracted (step S 1 19).
  • the signal value level of the pixel is calculated as the average value of the local area (step S120).
  • step S122 parameters such as temperature, gain, and shutter speed are obtained from the header information read in step S11. At this time, if the necessary parameters do not exist in the header information, A predetermined standard value is assigned (step S122).
  • the amount of noise is determined by referring to a look-up table based on the signal value level determined in step S120 and parameters such as temperature, gain, and shirt speed determined in step S121. Is calculated (step S122). On the other hand, the label information output in step S107 is read, and the label corresponding to the current pixel of interest is transferred to step S124 (step S123).
  • step S122 Correct the noise amount obtained in step S122 based on the label information read in step S123 (step S124) o
  • step S118 The color signals smoothed in the horizontal direction in step S118 are extracted in units of vertical lines (step S125), and a known signal is extracted based on the noise amount corrected in step S124. Hysteresis smoothing is performed (step S126).
  • step S127 it is determined whether or not the processing for all the vertical lines has been completed (step S127), and if not, the processing of steps S119 to S26 is repeated.
  • step S129 it is determined whether or not the processing for all color signals has been completed (step S129), and if not completed, the processing of steps S108 to S28 is repeated, and If the processing has been completed, the processing ends.
  • the same effects as those of the third embodiment described above can be obtained, and the skin condition detection, the dark part detection, and the high frequency detection are performed, and the photographing state of each region in one screen is obtained. Since the noise amount is corrected for each area, high-precision noise reduction processing suitable for each area can be performed to obtain a subjectively favorable high-quality image. Wear.
  • the case where the shooting situation of the entire screen as shown in the third embodiment is obtained and the case where the shooting situation of each area is obtained as shown in the fourth embodiment are selectively used as necessary. This makes it possible to construct a variety of imaging systems depending on the application.
  • the shooting condition of each area is estimated from the signal whose size has been reduced by thinning out the video signal at predetermined intervals, high-speed processing is possible and the working memory size can be reduced. This makes it possible to construct an imaging system at low cost.
  • the lookup table is used when calculating the noise amount, high-speed processing can be performed.
  • a high-quality image can be obtained by appropriately reducing the amount of noise in an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本発明の撮像システムは、ノイズに影響を与える信号レベル、撮影時のCCDの温度、露光時間、ゲインなどの要因を動的に取得して、CCD上のノイズレベルをノイズ推定部により、例えば画素単位で推定し、映像信号中のこのノイズレベル以下の信号成分をノイズ低減部によって抑制することにより、画像のエッジなどを保存しながらノイズの少ない高品質な画像を得、このとき、CCDの温度は、オプティカルブラック領域の信号の分散と温度との相関関係によりノイズ推定部内で推定し、さらに、ノイズ推定部は、信号レベルを局所領域における平均値として算出する。

Description

P2003/010614
明 細 書 撮像システムおよび画像処理プログラム 技術分野
本発明は、 撮像素子系に起因するランダムノ イズの低減を図る 撮像システムおよび画像処理プログラムに関する。 背景技術
撮像素子とそれに付随するアナログ回路および A / Dコ ンパ— タから得られるデジタル化された信号中には、 一般にノ イズ成分 が含まれており、 このノ イズ成分は、 固定パターンノ イズとラン ダムノ ィズとに大別することができる。
上記固定パター ン ノ ィズは、 欠陥画素などに代表されるような 、 主に撮像素子に起因するノ イズである。
—方、 ランダムノ イズは、 撮像素子およびアナログ回路におい て発生するものであり、 ホワイ 卜 ノ ィズ特性に近い特性を有して いる。
後者のランダムノ イズに関しては、 例えば特開 2 0 0 1 — 1 5 7 0 5 7号公報において、 静的に与えられる定数項 a， b , c と 濃度値に変換した信号レベル Dとを用いて、 ノ イズ量 Nを、 N = a b cDにより関数化し、 この関数から信号レベル Dに対するノ ィ ズ量 Nを推定して、 推定したノ イズ量 Nに基づきフィ ルタ リ ング の周波数特性を制御する技術が開示されていて、 これにより、 信 号レベルに対して適応的なノ ィズ低減処理が行われるようになつ ている。
また、 他の例と して、 特開 2 0 0 2 — 5 7 9 0 0号公報には、 注目画素とその近傍画素との差分値 Δを求めて、 求めた差分値厶 と静的に与えられる定数項 a , bとを用いて、 移動平均法で用い る平均画素数 nを、 n = a / ( Δ + b ) により制御するとともに 、 求めた差分値 Δが所定の閾値以上である場合には移動平均を行 わないようにする技術が記載されている。 このような技術を用い ることによ り、 エッジなどの原信号を劣化させることな く ノ イズ 低減処理が行われるようにしている。
しかしながら、 ノ イズ量は撮影時の撮像素子の温度， 露光時間 ， ゲイ ンなどの要因により動的に変化するために、 上記特開 2 0 0 1 - 1 5 7 0 5 7号公報に記載されたような静的な定数項を用 いる技術では、 撮影時のノ ィズ量に合わせた関数化に対応するこ とができず、 ノ イズ量の推定精度が劣ってしまっていた。 また、 ノ イズ量からフィ ルタ リ ングの周波数特性を制御するが、 このフ ィ ルタ リ ングは平坦部分もェッジ部分も区別することなく 同等に 処理するために、 信号レベルに基づきノ ィズ量が大であると推定 された領域にあるエッジ部は劣化することになる。 すなわち、 原 信号とノ イズとを区別した処理に対応することができず、 原信号 の保存性が良く ないという課題がある。
また、 上記特開 2 0 0 2 — 5 7 9 0 0号公報に記載の技術は、 移動平均法を行うか否かの選択を閾値との比較によって行ってい るが、 この閾値も静的に与えられるものであるために、 ノ イズ量 が信号レベルによ り異なることに対応できず、 平均画素数や移動 平均法の選択を最適に制御することはできない。 このために、 正 確なノ ィズ量の推定とノ ィズの低減処理とに対応することができ ず、 ノ イズ成分の残存や原信号の劣化などが発生することになる ο
さらに、 撮影時の状況や被写体に差異がある場合、 例えば肌な どの平坦な被写体とテクスチャ構造を有する被写体とでは、 同一 のノ イズ量であっても主観的な評価が異なることがあるが、 上述 したような従来の技術では、 このような点に対応することができ ず、 ノ ィズ低減処理を行っても必ずしも主観的に最適な画像が得 られるとは限らないという課題がある。 発明の開示
簡略に撮像システムは、 複数の画素を配列してなる撮像素子か らのデジタル化された信号中に含まれるノ イズの量を、 一画素毎 に、 または複数画素でなる所定の単位面積毎に推定するノ ィズ推 定部と、 このノ イズ推定部によ り推定されたノ イズ量に基づき上 記信号中のノ ィズを低減するノ ィズ低減部を有する。 図面の簡単な説明
図 1 ： 本発明の第 1 実施形態における撮像システムの構成を示 すブロ ック図。
図 2 ： 上記第 1 実施形態におけるノ ィズ推定部の構成を示すブ ロ ック図。
図 3 ： 上記第 1 実施形態における 0 B領域の配置例を示す図。 図 4 ： 上記第 1 実施形態において、 0 B領域の分散と撮像素子 の温度との関係を示す線図。
図 5 ： 上記第 1 実施形態においてノ イズ量の定式化を説明する ための線図。
図 6 ： 上記第 1 実施形態において、 ノ イズ量の定式化に用いる パラメータを説明するための線図。
図 7 ： 上記第 1 実施形態におけるノ ィズ低減部の構成を示すプ ロック図。
図 8 ： 本発明の第 2実施形態における撮像システムの構成を示 すブロ ック図。
図 9 ： 上記第 2実施形態の色フィ ルタにおける原色べィヤー型 のフィル夕構成を示す図。
図 1 0 ： 上記第 2実施形態におけるノ ィズ推定部の構成を示す ブロ ック図。 図 1 1 ： 上記第 2実施形態におけるノ イズ低減部の構成を示す プロ ック図。
図 1 2 ： 上記第 2実施形態のコ ンピュータにおいて画像処理プ ログラムによ り行われるノ ィズ低減処理を示すフロ ーチヤ 一 卜。 図 1 3 : 本発明の第 3実施形態における撮像システムの構成を 示すブロ ック図。
図 1 4 ： 上記第 3実施形態の色フィ ルタにおける原色べィャ一 型のフィ ルタ構成を示す図。
図 1 5 ： 上記第 3実施形態における撮影状況推定部の構成を示 すブロック図。
図 1 6 ： 上記第 3実施形態において、 評価測光用の分割パター ンを説明するための図。
図 1 7 ： 上記第 3実施形態におけるノ ィズ推定部の構成を示す プロ ック図。
図 1 8 ： 上記第 3実施形態において、 ノ イズ量の定式化を説明 するための線図。
図 1 9 ： 上記第 3実施形態において、 ノ イズ量の定式化を説明 するための線図。
図 2 0 ： 上記第 3実施形態において、 ノ イズ量の定式化に用い るパラメータを説明するための線図。
図 2 1 ： 上記第 3実施形態におけるノ ィズ低減部の構成を示す ブロ ック図。
図 2 2 ： 本発明の第 4実施形態の撮像システムの構成を示すブ ロ ック図
図 2 3 ： 上記第 4実施形態における撮影状況推定部の一構成例 を示すブロ ック図。
図 2 4 ： 上記第 4実施形態におけるノ ィズ推定部の構成を示す プロ ック図。
図 2 5 ： 上記第 4実施形態のコ ンピュータにおいて画像処理プ □グラムにより行われるノ ィズ低減処理の一部を示すフローチヤ 一卜。
図 2 6 ： 上記第 4実施形態のコ ンピュータにおいて画像処理プ ログラムによ り行われるノ ィズ低減処理の他の一部を示すフ口― チャー ト。 '
発明を実施するための最良の形態
以下、 図面を参照して本発明の実施の形態を説明する。
図 1 〜図 7は本発明の第 1 の実施形態を示したものであり、 図 1 は撮像システムの構成を示すプロ ック図、 図 2はノ イズ推定部 の構成を示すプロ ック図、 図 3は 0 B領域の配置例を示す図、 図 4は 0 B領域の分散と撮像素子の温度との関係を示す線図、 図 5 はノ ィズ量の定式化を説明するための線図、 図 6はノ ィズ量の定 式化に用いるパラメータを説明するための線図、 図 7はノ ィズ低 減部の構成を示すブ口 ック図である。
この撮像システムは、 図 1 に示すように、 被写体像を結像する ためのレ ンズ系 1 と、 このレンズ系 1 内に配置されていて該レン ズ系 1 における光束の通過範囲を規定するための絞り 2 と、 上記 レンズ系 1 による結像光束から不要な高周波成分を除去するため の口一ノ スフ ィ ルタ 3 と、 このローノ スフ ィ ルタ 3 を介して結像 される光学的な被写体像を光電変換して電気的な画像信号を出力 する白黒用の撮像素子たる C C D 4 と、 この C C D 4から出力さ れる画像信号に相関二重サンプリ ングを行う C D S ( Cor rel ated Doubl e Sampl i ng ) 5 と、 この C D S 5から出力される信号を増 幅する増幅器 6 と、 この増幅器 6 により増幅されたアナログの画 像信号をデジタル信号へ変換する A Z D変換器 7 と、 この A Z D 変換器 7から出力され.たデジタルの画像データを一時的に記憶す る画像用バウファ 8 と、 この画像用バッフ ァ 8に記憶された画像 データに基づき被写体に関する測光評価を行いその評価結果に基 づき上記絞り 2 、 C C D 4、 増幅器 6の制御を行う測光評価部 9 と、 上記画像用バッフ ァ 8に記憶された画像データに基づき合焦 点検出を行い検出結果に基づき後述する A Fモータ 1 1 を駆動す る合焦点検出部 1 0 と、 この合焦点検出部 1 0によ り制御されて 上記レンズ系 1 に含まれるフォーカスレンズ等の駆動を行う A F モータ 1 1 と、 上記画像用バッファ 8に記憶された画像データに 基づき後で詳し く説明するようにノ ィズ推定を行う ノ ィズ推定手 段たるノ ィズ推定部 1 3 と、 このノ ィズ推定部 1 3 による推定結 果を用いて上記画像用バッファ 8から読み出した画像データのノ ィズ低減を行う ノ イズ低減手段たるノ イズ低減部 1 2 と、 このノ ィズ低減部 1 2から出力される画像データを処理する信号処理部 1 4と、 この信号処理部 1 4からの画像データを例えばメモリ力 ー ド等に記録するために出力する出力部 1 5 と、 電源スィ ッチ， シャツタボタ ン， 各種の撮影モー ドを切り替えるためモー ドスィ ツチ等へのイ ンターフェースを備えた外部 I Z F部 1 7 と、 上記 C D S 5 ， 増幅器 6 , A / D変換器 7 , 測光評価部 9 , 合焦点検 出部 1 0 , ノ ィズ低減部 1 2 ， ノ ィズ推定部 1 3 ， 信号処理部 1 4 , 出力部 1 5 , 外部 I / F部 1 7に双方向に接続されていてこ れらを含むこの撮像システムを統合的に制御するマイ ク ロコ ンビ ユータ等でなる制御手段であってパラメータ算出手段とシャ ツ夕 速度算出手段とを兼ねた制御部 1 6 と、 を有して構成されている o
次に、 図 1 に示したような撮像システムにおける信号の流れに ついて説明する。
この撮像システムは、 外部 I / F部 1 7を介して I S O感度な どの撮影条件を設定することができるように構成されており、 こ れらの設定がなされた後に、 2段式の押しボタンスィ ツチでなる シャツタボタ ンを半押しすることによ り、 プリ撮像モー ドに入る 一 6 一 03 010614
上記レンズ系 1 ， 絞り 2 ， ローパスフィ ルタ 3 を介して C C D 4によ り撮影され出力された映像信号は、 C D S 5 において、 公 知の相関二重サンプリ ングによ りアナログ信号と して読み出され る 0
このアナ口グ信号は、 増幅器 6によ り所定量だけ増幅されて、 A Z D変換器 7によりデジタル信号へ変換され、 画像用バッファ 8へ転送される。
画像用バッファ 8内の映像信号は、 その後に、 測光評価部 9と 合焦点検出部 1 0 とへ転送される。
測光評価部 9は、 画像中の輝度レベルを求めて、 設定された I S O感度や手ぶれ限界のシャツタ速度などを考慮し、 適正露光と なるように絞り 2 による絞り値や C C D 4の電子シャヅタ速度や 増幅器 6の増幅率などを制御する。
また、 合焦点検出部 1 0は、 画像中のエッジ強度を検出して、 このエツジ強度が最大となるように A Fモータ 1 1 を制御し合焦 画像を得る。
このようなプリ撮像モー ドを行う ことにより本撮影の準備が整 つたところで、 次に、 シャツタボタンが全押しにされたことを外 部 I / F部 1 7を介して検出すると、 本撮影が行われる。
この本撮影は、 測光評価部 9により求められた露光条件と合焦 点検出部 1 0によ り求められた合焦条件とに基づいて行われ、 こ れらの撮影時の条件は制御部 1 6へ転送される。
こう して本撮影が行われると、 映像信号が、 プリ撮像のときと 同様にして、 画像用バッファ 8へ転送され記憶される。
この画像用バッファ 8内の映像信号.は、 ノ イズ推定部 1 3へ転 送されるが、 該ノ イズ推定部 1 3へは、 さらに、 制御部 1 6を介 して、 測光評価部 9により求められた露光条件や外部 I Z F部 1 7により設定された I S 0感度などの撮影条件も合わせて転送さ れる。
ノ イズ推定部 1 3は、 上記情報と映像信号とに基づき、 所定サ ィズ毎に、 例えば本実施形態においては一画素毎に （画素単位で ) 、 ノ イズ量を算出し、 算出したノ イズ量をノ イズ低減部 1 2へ 転送する。 このノ イズ推定部 1 3におけるノ イズ量の算出は、 制 御部 1 6の制御に基づいて、 ノ イズ低減部 1 2の処理と同期して ί亍われる。
ノ ィズ低減部 1 2は、 ノ ィズ推定部 1 3により算出されたノ ィ ズ量に基づいて、 画像用バッファ 8内の映像信号に対してノ ィズ 低減処理を行い、 処理後の映像信号を信号処理部 1 4へ転送する ο
信号処理部 1 4は、 制御部 1 6の制御に基づき、 ノ ィズ低減後 の映像信号に対して、 公知の強調処理や圧縮処理などを行い、 処 理後の映像信号を出力部 1 5へ転送する。
出力部 1 5は、 受け取った映像信号を、 メモリ ーカー ドなどへ 記録し保存する。
次に、 図 2を参照してノ ィズ推定部 1 3の構成の一例について 説明する。
このノ イズ推定部 1 3は、 制御部 1 6の制御に基づき画像用バ ヅ フ ァ 8に記憶された映像信号から例えば図 3 Αに示したように C C D 4の画像領域の右側に設けられた 0 B (オプティカルブラ ック） 領域の信号を抽出する 0 B領域抽出部 2 1 と、 この 0 B領 域抽出部 2 1 によ り抽出された 0 B領域の信号を記憶する第 1 バ ヅ フ ァ 2 2 と、 この第 1 ノ ソ フ ァ 2 2に記憶された 0 B領域の信 号を読み出して分散値を算出しさ らに上記制御部 1 6から転送さ れる露光条件に関する情報を用いて上記増幅器 6の増幅量に対す る補正を該分散値に行う分散算出手段たる分散算出部 2 3 と、 予 め計測された分散値と撮像素子の温度との関係が記録されている 温度推定手段たる温度推定用 R 0 M 2 5 と、 上記分散算出部 2 3
― ― から出力された分散値とこの温度推定用 R O M 2 5からの情報と に基づき撮像素子の温度を求めるパラメ一タ算出手段であり温度 推定手段たる温度推定部 2 4 と、 上記画像用バッファ 8に記憶さ れた映像信号から所定位置における所定サイズの局所領域を抽出 する信号値算出手段たる局所領域抽出部 2 6 と、 この局所領域抽 出部 2 6によ り抽出された局所領域の信号を記憶する第 2バッフ ァ 2 7 と、 この第 2バッファ 2 7に記憶された局所領域の信号を 読み出して平均値を算出し注目画素の信号値レベルと して出力す るパラメータ算出手段であり信号値算出手段たる平均算出部 2 8 と、 上記制御部 1 6から転送される露光条件に関する情報 （ I S 0感度、 露出情報、 ホワイ 卜バランス情報など） に基づいて上記 増幅器 6の増幅量を算出するパラメータ算出手段でありゲイ ン算 出手段たるゲイ ン算出部 2 9 と、 何れかのパラメータが省略され た場合に標準値を付与する付与手段たる標準値付与部 3 0 と、 ノ ィズ量を推定する際に用いる後述する関数に係るパラメータを記 憶する係数算出手段たるパラメータ用 R 〇 M 3 2 と、 このパラメ —夕用 R O M 3 2から読み出されるパラメータと上記温度推定部
2 4 または上記標準値付与部 3 0から出力される撮像素子の温度 と上記平均算出部 2 8 または上記標準値付与部 3 0から出力され る信号値レベルと上記ゲイ ン算出部 2 9 または上記標準値付与部
3 0から出力される増幅量と上記制御部 1 6 または上記標準値付 与部 3 0から出力されるシャ ツタ速度との情報に基づき注目画素 のノ ィズ量を所定の式により推定するノ ィズ量算出手段であり係 数算出手段たる係数算出部 3 1 と、 この係数算出部 3 1 から出力 される係数を用いて後述するように定式化される関数を用いノ ィ ズ量を算出するノ ィズ量算出手段であり関数演算手段たる関数算 出部 3 3 と、 この関数算出部 3 3から出力されるノ ィズ量が所定 の閾値以上とならないように制限を課して上記ノ イズ低減部 1 2 へ出力する上限値設定手段たる上限設定部 3 4 と、 を有して構成 されている。
上記局所領域抽出部 2 6は、 本実施形態においては、 後で説明 するノ ィズ低減部 1 2の処理が水平方向と垂直方向とに分離して いるために、 水平方向処理の場合は例えば 4 X 1 サイズ単位で、 垂直方向処理の場合は例えば 1 X 4サイズ単位で、 画像全面を順 次走査しながら抽出を行うようになっている。 この局所領域抽出 部 2 6による処理は、 ノ イ ズ低減部 1 2の処理と同期して行われ る。
また、 上限設定部 3 4は、 理論的なノ ィズ量に対する低減処理 が、 主観的に過剰となってしまう場合を考慮して設けられたもの である。 すなわち、 ノ イズ量が大きい場合に、 これを完全に取り 除こうとすると、 原信号が損なわれて、 主観的には画質がむしろ 劣化したと感じられることがある。 従って、 ノ イズ成分が残存す ることになつても原信号の保存性を優先させて、 卜一タルの画質 を高くするようにしたものである。 なお、 この上限設定部 3 4の 機能は、 外部 I Z F部 1 7から操作することによ り、 制御部 1 6 によつて停止させることも可能となっている。
さらに、 上記制御部 1 6は、 上記 0 B領域抽出部 2 1 、 分散算 出部 2 3、 温度推定部 2 4、 局所領域抽出部 2 6、 平均算出部 2 8、 ゲイ ン算出部 2 9、 標準値付与部 3 0、 係数算出部 3 1 、 関 数算出部 3 3、 上限設定部 3 4に対して双方向に接続されており
、 これらを制御するようになっている。
図 4を参照して、 上記温度推定部 2 4において推定される 0 B 領域の分散と撮像素子の温度との関係について説明する。
図示のように、 撮像素子の温度は、 O B領域の分散が大き く な るに従って、 カーブを描きながら単調増加して、 上昇して行く こ とが分かる。
入射光のない 0 B領域でのランダムノ ィズは、 暗電流ノ ィズが 支配的となっており、 この暗電流ノ イズは、 撮像素子の温度に関 係している。
そのために、 O B領域のランダムノ ィズを分散値と して算出し て、 この分散値と撮像素子の温度変化との関係を事前に計測して 温度推定用 R 0 M 2 5 に記憶させておく 。 これによ り、 温度推定 部 2 4は、 分散算出部 2 3によ り算出された分散値から、 温度推 定用 R 0 M 2 5 に記憶された対応関係を用いて、 撮像素子である C C D 4の温度を推定することが可能となる。
なお、 上述では、 撮像素子の温度は素子上のどの位置でも同一 であると見なして一つの温度だけを求めたが、 これに限定される 必要はなく 、 素子上の各点における局所的な温度を求めるように しても構わない。
例えば、 図 3 Bに示すように、 0 B領域を画像領域の四辺に配 置して、 画像中の特定ブロ ックに関して、 該当する上端， 下端， 左端， 右端のそれぞれに位置する 0 B領域の分散値を求め、 これ らの分散値を線形補間することにより特定ブロ ックに対する分散 値を求めるようにしても良い。 これによ り、 撮像素子の温度が不 均一となる場合にも、 精度の高い温度推定を行う ことが可能とな る
次に、 図 5 A、 図 5 Bを参照して、 係数算出部 3 1 が注目画素 のノ ィズ量を推定する際に用いるノ ィズ量の定式化について説明 する。
信号値レベル Lに対するノ ィズ量 Nの関数は、 以下の数式 （ 1 ) に示すように定式される。 N = A L B + C ( 1 ) ここに、 A ， B , Cは定数項であり、 信号値レベル Lのべき乗 をなす関数に定数項が付加されたものとなっている。
このような関数の、 例えば A > 0 , 0 < B < 1 , C > 0である ときの概形をプロ ヅ 卜すると、 図 5 Aに示すような形状となる。 しかしながら、 ノ イズ量 Nは信号値レベル Lにのみ依存するの ではなく 、 それ以外にも、 撮像素子である C C D 4の温度や増幅 器 6のゲイ ンによっても変化する。 従って、 これらの要因も考慮 に入れたものが、 図 5 Bに示す例となっている。
すなわち、 上記数式 1 では定数項であった A， B , Cの代わり に、 数式 （ 2 ) に示すように、 温度 Tとゲイ ン Gとをパラメータ とする a ( T , G ) , b ( T , G ) , c ( T , G ) を導入する。 N = a ( T , G ) L b(T'G)+ c ( T， G ) ( 2 ) この数式 （ 2 ) により示される曲線を、 複数の温度 T (図示の 例では温度 T 1 〜丁 3 ) における複数のゲイ ン G (図示の例では 1 , 2 ， 4倍） の場合にプロヅ 卜 したのが図 5 Bである。
図 5 Bは、 独立変数を信号値レベルし、 従属変数をノ イズ量 N と して表したものであるが、 パラメータである温度 Tをこれらの 変数に直交する方向に座標軸と してプロ ッ ト している。 従って、 T = T 1 で表される平面内、 T = T 2で表される平面内、 T = T 3で表される平面内のそれぞれで、 信号値レベル Lによるノ ィズ 量 Νを読み取ることになる。 このとき、 さ らに、 ノ \°ラメータであ るゲイ ン Gによる曲線形状の変化を、 各平面内で複数本の曲線を 描く ことによ り表している。
各パラメータで示される個々の曲線は、 図 5 Αに示したような 数式 （ 1 ) による曲線とほぼ類似した形態をなしているが、 当然 にして、 各係数 a， b , cは、 温度 Tやゲイ ン Gの各値に応じて 異なっている。
図 6 Aは上記関数 a ( T， G ) の、 図 6 Bは上記関数 b ( T， G ) の、 図 6 Cは上記関数 c ( T , G ) の特性の概略の様子をそ れぞれ示したものである。 これらの各関数は、 温度 T とゲイ ン Gとを独立変数とする 2変 数関数であるために、 図 6 A〜図 6 Cは 3次元座標と してプロヅ 卜されており、 このプロ ッ 卜された空間における曲面となってい る。 ただし、 ここでは具体的な曲面形状を図示する代わりに、 曲 線を用いて大まかな特性変化の様子を示している。
このような関数 a , b , cに温度 Tとゲイ ン Gとをパラメータ と して入力することによ り、 各定数項 A , B , Cが出力される。 そして、 これらの関数の具体的な形状は、 事前に、 C C D 4や増 幅器 6を含む撮像素子系の特性を測定する ことによ り、 容易に取 得することができる。
ところで、 ランダムノ イズには、 露光時間が長く なるにつれて 増加する傾向がある。 このために、 同一の露光量であっても、 シ ャ ッタ速度と絞り値との組み合わせが異なると、 発生するノ イズ 量に差異が生じることがある。 従って、 このような差異も考慮に 入れて補正を行う例について、 図 6 Dを参照して説明する。
ここでは、 シャ ツタ速度 Sをパラメータとする補正係数 d ( S ) を導入して、 この補正係数を数式 2に乗算する手段によ り、 数 式 （ 3 ) に示すような定式化による補正を行うようにしている。' N二 { a ( T， G ) L b(T'G)+ c ( T , G ) } d ( S ) . - ( 3 ) この補正係数 d ( S ) の関数形状は、 事前に撮像素子系の特性 を測定することによ り得られるが、 例えば図 6 Dに示すような形 状をなしている。 図 6 Dは、 シャツタ速度 Sに対するノ イズ量の 増分 Dの様子を示している。
この図 6 Dに示すように、 ノ イズ量の増分 Dは、 シャツタ速度 Sがある閾値 S THよ りも小さ く なる （長時間露光になる） と急速 に上昇する性質がある。 従って、 シャツタ速度 Sがこの閾値 S TH 以上であるか以下であるかの 2通りに分けて、 長時間露光の場合 には関数でなる d ( S ) を用いるが、 短時間露光となる場合には 固定的な係数を用いるように簡略化しても構わない。
上述したような 4つの関数 a ( T , G ) , b ( T , G ) , c ( T , G ) , d ( S ) は、 上記パラメータ用 R O M 3 2 に記録され る。 なお、 シャツタ速度に対する補正は、 必ずしも関数と して用 意する必要はなく 、 その他の手段、 例えばテーブルなどと して用 意しても構わない。
係数算出部 3 1 は、 動的に取得された （または標準値付与部 3 0から取得された） 温度 T ， ゲイ ン G , シャ ツ夕速度 Sを入力パ ラメ一タと して、 ノ \°ラメ一夕用 R O M 3 2に記録されている 4つ の関数を用いて各係数 A , B， C， Dを算出する。
関数算出部 3 3は、 この係数算出部 3 1 による算出された各係 数 A， B , C , Dを、 上記数式 3に適用することによ り、 ノ イズ 量 Nを算出するための関数形状を決定して、 該係数算出部 3 1 を 介して上記平均算出部 2 8から出力される信号値レベル Lにより ノ ィズ量 Nを算出するようになっている。
このとき、 温度 T , ゲイ ン G , シャツタ速度 S等の各パラメ一 タを、 必ずしも撮影毎に求める必要はない。 例えば、 温度 Tは、 電源投入時から一定時間が経過すれば安定するために、 安定した 後に温度推定部 2 4において算出した温度情報を制御部 1 6が標 準値付与部 3 0に記憶させておき、 以後の算出過程を省略してこ の標準値付与部 3 0から読み出した温度情報を用いるようにする ことも可能である。 こ う して標準値付与部 3 0は、 温度推定部 2 4、 平均算出部 2 8、 ゲイ ン算出部 2 9、 制御部 1 6などからの パラメータが得られない場合に、 標準的なパラメータを設定して 出力するものとなっていて、 これにより、 処理の高速化や省電力 化などを図ることが可能である。 なお、 標準値付与部 3 0は、 そ れ以外に必要とされるパラメータについても、 標準的な値を出力 することができるようになつている。 次に、 図 7を参照してノ イズ低減部 1 2の構成の一例について 説明する。
このノ ィズ低減部 1 2は、 上記画像用バッファ 8から水平ラィ ン単位で順次映像信号を抽出する水平ライ ン抽出部 4 1 と、 この 水平ライ ン抽出部 4 1 によ り抽出された水平ライ ンの映像信号に 対して画素単位で走査して行き後述する閾値設定部 4 6からの閾 値をノ ィズ量と して公知のヒステリシススム一ジングを行うスム —ジング手段たる第 1 スムージング部 4 2 と、 この第 1 スム一ジ ング部 4 2によ りス厶一ジングされた水平ライ ンを順次記憶して 行く ことによ り 1 画面分の映像信号を記憶するバッファ 4 3 と、 このバッファ 4 3に 1 画面分の映像信号が蓄積された後に該バヅ ファ 4 3から垂直ライ ン単位で順次映像信号を抽出する垂直ライ ン抽出部 4 4 と、 この垂直ライ ン抽出部 4 4によ り抽出された垂 直ライ ンの映像信号に対して画素単位で走査して行き後述する閾 値設定部 4 6からの閾値をノ ィズ量と して公知のヒステリシスス ム—ジングを行って上記信号処理部 1 4へ順次出力するス厶—ジ ング手段たる第 2スム一ジング部 4 5 と、 上記ノ ィズ推定部 1 3 により推定されたノ イズ量を上記水平ライ ン抽出部 4 1 により抽 出された水平ラィ ンまたは上記垂直ライ ン抽出部 4 4により抽出 された垂直ライ ンに応じて画素単位で取得してノ ィズの振幅値を 閾値 （微小振幅値） と して設定し上記第 1 スム一ジング部 4 2 ま たは上記第 2 スムージング部 4 5 に出力する閾値設定手段たる閾 値設定部 4 6 と、 を有して構成されている。
ここに、 上記第 1 , 第 2スムージング部 4 2， 4 5 におけるヒ ステリシススム一ジングは、 制御部 1 6の制御によ り、 ノ ィズ推 定部 1 3の動作および閾値設定部 4 6の動作と同期して行われる ようになつている。
また、 上記制御部 1 6は、 上記水平ラィ ン抽出部 4 1 、 垂直ラ ィ ン抽出部 4 4、 閾値設定部 4 6に対して双方向に接続されてお り、 これらを制御するようになっている。
なお、 上述ではノ ィズ量を画素単位で推定していたが、 これに 限るものではなく 、 例えば 2 X 2画素や 4 X 4画素などの任意の 所定の単位面積毎にノ イズ量を推定するようにしても構わない。 この場合には、 ノ イズ推定精度は低下することになるが、 その一 方で、 より高速な処理が可能となる利点がある。
このような第 1 の実施形態によれば、 一画素毎または単位面積 毎にノ ィズ量を推定し、 局所的なノ ィズ量に合わせたノ ィズ低減 処理を行っているために、 明部から暗部にかけて最適なノ イズ低 減が可能になり高品位な画像を得ることができる。
また、 ノ イズ量に関係する各種パラメータを撮影毎に動的に求 めて、 これらのパラメータからノ ィズ量を算出しているために、 撮影毎に異なる条件に動的に適応して、 高精度なノ イズ量の推定 が可能となる。
さらに、 ノ イズ量を閾値と して設定して、 この閾値以下の信号 をノ イズと して除去しているために、 それ以上の信号は原信号と して保存され、 ェッジ部が劣化することのないノ ィズのみが低減 された高品位な画像を得ることができる。
そして、 算出されたノ イズ量に対して、 所定の上限値を超えな いように制限を課しているために、 過剰なノ ィズ低減処理を防止 して、 原信号のエツジ成分に対する保存性を確保することができ る。 このとき、 上限値を設定するか否かを操作によ り設定するこ とができるために、 よ り主観的に良い画質が得られる方を選択す ることができる。
加えて、 注目画素の近傍領域で平均化することによ り注目画素 の信号レベルを取得しているために、 ノ イズ成分の影響を減らす ことができ、 高精度なノ ィズ量の推定が可能となる。
また、 撮像素子の 0 B領域の分散値から該撮像素子の温度を推 定してノ ィズ量推定のパラメ一夕と しているために、 撮影時の温 度変化に動的に適応して、 高精度にノ イズ量を推定することが可 能となる。 このとき、 0 B領域を利用 しているために、 低コス ト な撮像システムを実現することができる。
I S O感度、 露出情報、 ホワイ トバランス情報に基づき撮影時 のゲイ ン量を求めてノ ィズ量推定のパラメータと しているために 、 撮影時のゲイ ン変化に動的に適応して高精度にノ イズ量を推定 することが可能となる。
使用するシャ ツ夕速度に対応してノ イズに関する補正量を求め ているために、 撮影時のシャ ツ夕速度に動的に適応して、 長時間 露光時に増加するノ ィズに対しても高精度にノ ィズ量を推定する ことが可能となる。
撮影時に得られなかったパラメータに対して標準値を設定し、 得られたパラメータと共にノ イズ量算出の係数を求めて、 この係 数からノ イズ量を算出 しているために、 撮影時に必要となるパラ メータが得られない場合でもノ ィズ量を推定することが可能とな り、 安定したノ イズ低減効果を得ることができる。 また、 ノ イズ 量の算出に関数を用いているために、 必要となるメモリ量が少な く 、 低コス ト化を図ることが可能となる。 さらに、 一部のパラメ 一夕算出を意図的に省略することによ り、 低コス ト化および省電 力化を図ることも可能となる。
こう して本実施形態によれば、 ノ イズ量に影響を与える要因が 動的に変化しても、 それに対応してノ ィズ量を適応的に低減する ことができ、 高品質な画像を得ることができる。
図 8〜図 1 2は本発明の第 2の実施形態を示したものであり、 図 8は撮像システムの構成を示すブロ ック図、 図 9は色フィルタ における原色べィャ一型のフィ ルタ構成を示す図、 図 1 0はノ ィ ズ推定部の構成を示すプロ ック図、 図 1 1 はノ イズ低減部の構成 を示すブロック図、 図 1 2はコ ンピュータにおいて画像処理プロ グラムにより行われる ノ ィズ低減処理を示すフローチャー 卜であ る o
この第 2の実施形態において、 上述の第 1 の実施形態と同様で ある部分については同一の符号を付して説明を省略し主と して異 なる点についてのみ説明する。
この第 2の実施形態の撮像システムは、 図 8に示すように、 上 述した第 1 の実施形態の構成に加えて、 上記 C C D 4の前面に配 置された例えば原色べィャ一型の色フィルタ 5 1 と、 該 C C D 4 の近傍に配置されていて該 C C D 4の温度をリアルタイムに計測 して計測結果を上記制御部 1 6へ出力するためのパラメータ算出 手段を構成する温度センサ 5 2 と、 上記画像用バッファ 8に記憶 された映像信号に基づき簡易的なホワイ 卜バランス検出を行いそ の結果に基づいて上記増幅器 6を制御するプレ W B部 5 3 と、 上 記画像用バッファ 8に記憶された映像信号を読み出して色信号の 分離を行い上記ノ イズ低減部 1 2 と上記ノ イズ推定部 1 3 とへ出 力する分離手段たる色信号分離部 5 4 、 が備えられたものとな つていて、 プレ W B部 5 3 と色信号分離部 5 4 とは上記制御部 1 6に双方向に接続されて制御されるようになっている。
この図 8に示したような撮像システムにおける信号の流れは、 上述した第 1 の実施形態と基本的に同様であり、 異なる部分につ いてのみ説明する。
シャツタボタンを半押しすることにより、 プリ撮像モ一 ドに入 ると、 色フィルタ 5 1 を介した被写体像が C C D 4によ り撮像さ れて映像信号と して出力される。
この映像信号は、 第 1 の実施形態で説明したような処理がなさ れてデジタルの映像信号と して画像用バッファ 8に記憶される。 この画像用バッファ 8 に記憶された映像信号は、 上記測光評価部 9や合焦点検出部 1 0へ転送されるとともに、 さ らにプレ W B部 5 3へも転送される。
このプレ W B部 5 3は、 映像信号中の所定輝度レベルの信号を 色信号毎に積算することによ り、 簡易ホワイ 卜バランス係数を算 出して増幅器 6へ転送する。
増幅器 6は、 プレ W B部 5 3から受け取った簡易ホワイ 卜バラ ンス係数を用いて、 色信号毎に異なるゲイ ンを乗算することによ り、 ホワイ 卜バランス調整を行う。
次に、 シャ ツタボタ ンを全押しにしたことが検出されると、 測 光評価部 9により求められた露光条件と合焦点検出部 1 0によ り 求められた合焦条件とプレ W B部 5 3により求められたホワイ 卜 バランス係数とに基づいて本撮影が行われるとともに、 これらの 撮影条件が制御部 1 6へ転送される。
本撮影により取得された映像信号は、 画像用バッファ 8に記憶 された後に、 色信号分離部 5 4へ転送されて、 色フ ィ ルタの色毎 に分離される。
C C D 4の前面に配置される上記色フィルタ 5 1 のフィ ルタ構 成は、 上述したように、 例えば図 9に示すような原色べィャ— （ B a y e r ) 型、 つま り、 2 x 2画素を基本単位と して、 対角位 置に緑 （ G 1 , G 2 ) のフィルタが配置され、 残りの対角位置に 赤 （ R ) と青 （ B ) のフ ィ ルタが配置されるものとなっている。 なお、 綠フィルタ G 1 , G 2は同一の光学特性のフィルタである が、 ここでは処理の便宜上、 G 1 , G 2 と して区別している。 色信号分離部 5 4は、 これら 4種類の色フィ ルタ R， G 1 , G 2 , Bに応じて、 画像用バッファ 8内の映像信号を分離するよう になっていて、 この分離動作は、 制御部 1 6の制御に基づき、 ノ ィズ低減部 1 2の処理およびノ ィズ推定部 1 3の処理と同期して 行われる。
色信号分離部 5 4によ り分離された各色信号は、 ノ ィズ推定部 1 3へ転送されてノ イズ量の推定が上述したように行われ、 その 推定結果を用いて、 ノ イズ低減部 1 2 においてノ イズの低減処理 が行われ、 処理後の各色信号が統合されて信号処理部 1 4へ転送 される。 その後の動作は、 上述した第 1 の実施形態と同様である o
次に、 図 1 0を参照して、 本実施形態におけるノ ィズ推定部 1 3の構成の一例について説明する。
このノ イズ推定部 1 3の基本的な構成は、 上述した第 1 の実施 形態における図 2に示したものと同様であり、 同一の機能を果た す構成要素には同一の名称および符号を割り当てている。
このノ イズ推定部 1 3は、 上記色信号分離部 5 4から出力され る色信号毎に所定位置における所定サイズの局所領域を抽出する 局所領域抽出部 2 6と、 この局所領域抽出部 2 6によ り抽出され た局所領域の色信号を記憶するバッファ 6 1 と、 上記制御部 1 6 から転送される露光条件に関する情報とホワイ 卜バランス係数に 関する情報とに基づいて上記増幅器 6の増幅量を算出するゲイ ン 算出部 2 9 と、 何れかのパラメータが省略された場合に標準値を 付与する標準値付与部 3 0 と、 上記バッファ 6 1 の信号を読み出 して平均値と分散値とを算出し平均値を注目画素の信号値レベル と してルックアップテ一プル部 6 3へ転送するとともに分散値を ノ イズ低減部 1 2の制御パラメータと して使用するために制御部 1 6へ転送する平均分散算出部 6 2 と、 上記制御部 1 6 または標 準値付与部 3 0から出力されるシャ ツタ速度、 上記温度センサ 5 2 または標準値付与部 3 0から出力される撮像素子の温度に関す る情報、 上記ゲイ ン算出部 2 9 または標準値付与部 3 0から出力 される増幅量、 上記平均分散算出部 6 2 または標準値付与部 3 0 から出力される信号値レベル、 とノ イズ量との間の関係が上述し た第 1 の実施形態と同様の手段によ り構築されてルックアップテ 一ブルと して記録されているノ ィズ量算出手段でありルックアツ プテーブル手段たるルックァヅプテーブル部 6 3 と、 を有して構 成されている。
こう して、 ルックアップテーブル部 6 3により得られたノ ィズ 量は、 ノ ィズ低減部 1 2へ転送されるようになっている。
また、 上記局所領域抽出部 2 6の処理は上記ノ ィズ低減部 1 2 の処理と同期して行われるようになつており、 後述するノ ィズ低 減部 1 2の処理がブロック単位で行われるために、 本実施形態で は、 例えば 4 X 4画素単位で画像全体を順次走査しながら抽出を 行う。
なお、 上記制御部 1 6は、 上記局所領域抽出部 2 6、 平均分散 算出部 6 2 、 ゲイ ン算出部 2 9、 標準値付与部 3 0、 ルックアツ プテ一プル部 6 3に対して双方向に接続されており、 これらを制 御するようになっている。
次に図 1 1 を参照して、 ノ ィズ低減部 1 2の構成の一例につい て説明する。
このノ ィズ低減部 1 2は、 上記ノ ィズ推定部 1 3によ り推定さ れたノ イズ量に基づきフィ ルタサイズを設定する制御値設定手段 たるサイズ設定部 7 4と、 上記色信号分離部 5 4から出力される 各色信号からこのサイズ設定部 7 4によ り設定されたフィ ルタサ ィズに相当する画素プロックを注目画素を内包するように （例え ば注目画素を中心と して） 抽出する局所領域抽出部 7 1 と、 予め 設定されたフ ィ ル夕サイズに対応する係数が記録されているス厶 -ジング手段たる係数用 R 0 M 7 5 と、 上記サイズ設定部 7 4に よ り設定されたフィ ルタサイズに基づき上記係数用 R 0 M 7 5か ら対応するフィルタサイズの係数を読み込んで上記局所領域抽出 部 7 1 によ り抽出された画素プロ ックに対して公知の平滑化のた めのフィ ルタ リ ング処理を行うス厶一ジング手段たるフィ ルタ リ ング部 7 2 と、 このフィルタ リ ング部 7 2から出力されるフィル タ リ ング処理された各色信号を全色について C C D 4の信号出力 位置に対応するように記憶するバッファ 7 3 と、 を有して構成さ れている。
上記サイズ設定部 7 4は、 ノ ィズ推定部 1 3により推定された ノ イズ量に応じて、 例えば 1 X 1 画素〜 9 X 9画素でなるフィ ル 夕サイズから、 ノ イズ量が小さいときには小サイズ、 大きいとき には大サイズとなるように選択する。 このフィルタサイズは、 平 滑化処理の周波数特性を制御するための制御値となっていて、 こ れによ り、 ノ イズの周波数特性に応じて、 映像信号中の特定周波 数帯域を低減するフィ ルタ リ ング処理 （平滑化処理） が行われる ことになる。
さ らに、 該サイズ設定部 7 4は、 上記制御部 1 6から注目画素 近傍の信号値レベルに関する分散値情報を受けて、 この分散値が 小さい場合には注目画素が平坦領域であると識別し、 大きい場合 にはエッジ領域であると識別して、 該識別結果に基づいて、 平坦 領域である場合はフィ ルタサイズの補正を行わず、 エツジ領域で ある場合はフィ ルタサイズをよ り小サイズへと補正するようにな つている。
また、 上述したような処理を各色信号毎に繰り返して行う こと によ り全色についてフィルタ リ ング処理がなされバッファ 7 3に 記憶された各色信号は、 その後に読み出'されて上記信号処理部 1 4によ り処理されるようになつている。
なお、 上記制御部 1 6は、 上記局所領域抽出部 7 1 ， フィ ルタ リ ング部 7 2 , サイズ設定部 7 4に対して双方向に接続されてお り、 これらを制御するようになっている。
加えて、 上述ではハー ドウェアにより処理を行う ことを前提と していたが、 これに限らず、 ソフ ト ウェアによって処理すること も可能である。
例えば、 C C D 4から出力される映像信号を未処理のままの R a wデータと しておき、 この R a wデータに、 上記制御部 1 6か らの撮影時の温度、 ゲイ ン、 シャ ツタ速度等の情報をヘッダ情報 と して付加する。 このヘッダ情報が付加された R a wデータをコ ンピュー夕等の処理装置に出力 して、 該処理装置において、 ソフ 卜ウェアによ り処理するようにしても良い。
図 1 2 を参照して、 コ ンピュータにおいて画像処理プログラム により ノ ィズ低減処理を行う例について説明する。
処理を開始すると、 まず、 R a wデータでなる全色信号と、 温 度、 ゲイ ン、 シャツタ速度などの情報を含むヘッダ情報と、 を読 み込む （ステップ S 1 ) 。
次に、 R a wデータを各色信号に分離して （ステップ S 2 ) 、 色信号毎に個別に走査して行く （ステップ S 3 ) 。
そして、 注目画素を中心と して、 例えば 4 X 4画素単位でなる 所定サイズの局所領域を抽出する （ステップ S 4 ) 。
抽出した局所領域に対して、 注目画素の信号値レベルである平 均値と、 平坦領域とエツジ領域とを識別するために用いる分散値 と、 を算出する （ステップ S 5 ) 。
次に、 読み込まれたヘッダ情報から、 温度、 ゲイ ン、 シャツタ 速度等のパラメータを求める。 このとき、 ヘッダ情報に必要なパ ラメータが含まれていない場合には、 所定の標準値を割り当るよ うにする （ステップ S 6 ) 。
上記ステップ S 5 において算出された信号値レベルと、 上記ス テヅプ S 6において設定されたパラメータである温度、 ゲイ ン、 シャツタ速度等と、 に基づいて、 ルックアップテーブルを用いる ことによ り ノ イズ量を算出する （ステップ S 7 ) 。
続いて、 上記ステップ S 5 において算出された分散値と、 上記 ステップ S 7において算出されたノ イズ量と、 に基づいて、 フィ ルタ リ ングサイズを求める （ステップ S 8 ) 。
注目画素を中心と して、 上記ステップ S 8において求められた フィルタ リ ングサイズに対応する領域を抽出する （ステップ S 9
) o
次に、 上記ステップ S 8において求められたフィルタ リ ングサ ィズに対応する係数を読み込む （ステップ S 1 0 ) 。 上記ステップ S 9において抽出された領域に対して、 上記ステ ヅプ S 8において求められたフィ ルタ リ ングサイズと、 上記ステ ップ S 1 0において求められた係数と、 を用いて平滑化のフィ ル タ リ ング処理を行う （ステップ S 1 1 ) o
そして、 平滑化された信号を順次出力し （ステップ S 1 2 ) 、 1 色について全画面の走査が完了したか否かを判断し （ステップ S 1 3 ) 、 完了していない場合は上記ステップ S 3へ戻って完了 するまで上述したような処理を行う。
—方、 このステップ S 1 3において画面走査が完了したと判断 された場合には、 さ らに、 全色の色信号について処理が完了した か否かを判断し （ステップ S 1 4 ) 、 まだ、 全色の色信号につい て完了していない場合には、 上記ステップ S 2へ戻って上述した ような処理を行い、 また、 完了した場合には、 この処理が終了と なる。
なお、 上述では色フィ ルタ 5 1 が原色べィヤー型である場合を 例に挙げて説明したが、 これに限定されるものではなく 、 例えば 、 補色フィ ルタである場合にも同様に適用可能である し、 さ らに は、 二板 C C Dや三板 C C Dの場合にも同様に適用可能である。
このような第 2の実施形態によれば、 上述した第 1 の実施形態 とほぼ同様の効果を奏するとともに、 色フィ ルタを有する撮像素 子からの信号を色フィルタ毎の色信号に分離して、 画素単位また は単位面積毎にノ イズ量を推定し、 局所的なノ イズ量に合わせた ノ イズ低減処理を行っているために、 明部から暗部にかけて最適 なノ ィズ低減を図ることが可能になり、 高品位な画像を得ること ができる。 また、 原色、 補色や単板、 二板、 三板など多様な撮像 系に対して適用することが可能となる。
さらに、 ノ イズ量に対応したフィ ルタサイズを選択して、 この フィルタサイズによ り ノ ィズ低減処理を行っているために、 ノ ィ ズ成分のみが除去されて、 それ以上の信号は原信号と して保存さ れ、 ノ ィズのみが低減された高品位な画像を得ることができる。 そして、 撮影時の撮像素子の温度を直接リアルタイムに計測し てノ イズ量推定のパラメータと しているために、 撮影時の温度変 化に動的に適応して、 高精度にノ イズ量を推定することが可能と る。
加えて、 撮影時に得られなかったパラメータに対して標準値を 設定し、 得られたパラメータと共にルックアップテーブルからノ ィズ量を算出しているために、 撮影時に必要となるパラメータが 得られない場合でもノ イズ量を推定することが可能となり、 安定 したノ イズ低減効果を得ることができる。 また、 ノ イズ量の算出 にテーブルを用いているために、 高速な処理が可能となる。 さら に、 一部のパラメータ算出を意図的に省略することによ り、 低コ ス 卜化および省電力化を図ることが可能となる。
こう して本実施形態によれば、 カラ一 C C Dにおいて、 ノ イズ 量に影響を与える要因が動的に変化しても、 それに対応してノ ィ ズ量を適応的に低減することができ、 高品質な画像を得ることが できる。
以上説明したように本発明の撮像システムおよび画像処理プロ グラムによれば、 画像内のノ ィズ量を適切に低減して高品質な画 像を得ることができる。
図 1 3〜図 2 1 は本発明の第 3の実施形態を示したものであり 、 図 1 3は撮像システムの構成を示すブロ ック図、 図 1 4は色フ ィ ルタにおける原色べィヤー型のフィ ルタ構成を示す図、 図 1 5 は撮影状況推定部の構成を示すブロック図、 図 1 6は評価測光用 の分割パターンと評価用パラメータとを説明するための図、 図 1 7はノ ィズ推定部の構成を示すプロ ック図、 図 1 8， 図 1 9はノ ィズ量の定式化を説明するための線図、 図 2 0はノ ィズ量の定式 化に用いるパラメータを説明するための線図、 図 2 1 はノ イズ低 減部の構成を示すブロック図である。 この撮像システムは、 図 1 3に示すように、 被写体像を結像す るためのレンズ系 1 0 1 と、 このレンズ系 1 0 1 内に配置されて いて該レンズ系 1 0 1 における光束の通過範囲を規定するための 絞り 1 0 2 と、 上記レンズ系 1 0 1 による結像光束から不要な高 周波成分を除去するためのローパスフィ ルタ 1 0 3 と、 上記レン ズ系 1 0 1 による結像光束の光路上の後述する C C D 1 0 5の前 面に配置された例えば原色べィヤー型の色フィ ルタ 1 0 4と、 こ の色フ ィ ルタ 1 0 4を介して結像される光学的な被写体像を光電 変換して電気的な映像信号を出力する白黒用の撮像素子たる C C D 1 0 5 と、 この C C D 1 0 5の近傍に配置されていて該 C C D 1 0 5の温度を リアルタィ厶に計測して計測結果を後述する制御 部 1 2 2へ出力するためのパラメ一夕算出手段を構成する温度セ ンサ 1 0 6 と、 上記 C C D 1 0 5から出力される映像信号に相関 二重サンプリ ングを行う C D S ( Correlated Double Sampling) 1 0 7 と、 この C D S 1 0 7から出力される信号を増幅する増幅 器 1 0 8 と、 この増幅器 1 0 8によ り増幅されたアナログの映像 信号をデジタル信号へ変換する AZ D変換器 1 0 9 と、 この AZ D変換器 1 0 9から出力されたデジタルの画像データを一時的に 記憶する画像用バヅファ 1 1 0と、 この画像用バヅファ 1 1 0に 記憶された画像データに基づき被写体に関する測光評価を行いそ の評価結果に基づき上記絞り 1 0 2 、 C C D 1 0 5 、 増幅器 1 0 8の制御を行う測光評価部 1 1 1 と、 上記画像用バッファ 1 1 0 に記憶された映像信号に基づき簡易的なホワイ 卜バランス検出を 行いその結果に基づいて上記増幅器 1 0 8を制御するプレ W B部 1 1 2 と、 上記画像用バッファ 1 1 0に記憶された画像データに 基づき合焦点検出を行い検出結果に基づき後述する A Fモータ 1 1 4を駆動する合焦点検出部 1 1 3 と、 この合焦点検出部 1 1 3 により制御されて上記レンズ系 1 0 1 に含まれるフォーカスレン ズ等の駆動を行う A Fモータ 1 1 4 と、 上記画像用バッファ 1 1 0に記憶された映像信号を読み出して色信号の分離を行う分離手 段たる色信号分離部 1 1 5と、 この色信号分離部 1 1 5から出力 される画像データに基づき後で詳し く説明するようにノ イズ推定 を行う ノ ィズ推定手段たるノ ィズ推定部 1 1 7と、 撮影状況を推 定する撮影状況推定手段たる撮影状況推定部 1 1 6と、 この撮影 状況推定部 1 1 6による推定結果を用いて上記ノ イズ推定部 1 1 7による推定結果を補正する補正手段たる補正部 1 1 8と、 この 補正部 1 1 8による補正された推定ノ イズを用いて上記色信号分 離部 1 1 5から出力される画像データのノ イズ低減を行う ノ イズ 低減手段たるノ ィズ低減部 1 1 9と、 このノ ィズ低減部 1 1 9か ら出力される画像データを処理する信号処理部 1 2 0と、 この信 号処理部 1 2 0からの画像データを例えばメモリカー ド等に記録 するために出力する出力部 1 2 1 と、 電源スィ ッチ， シャ ツタボ タン， 各種の撮影モ一 ドを切り替えるためモー ドスィ ツチ等への イ ンターフェースを備えた外部 I/F部 1 2 3と、 上記 C D S 1 0 7 , 増幅器 1 0 8， A/ D変換器 1 0 9， 測光評価部 1 1 1 , プレ W B部 1 1 2， 合焦点検出部 1 1 3 , 色信号分離部 1 1 5 , 撮影状況推定部 1 1 6， ノ ィズ推定部 1 1 7 , 補正部 1 1 8， ノ ィズ低減部 1 1 9 , 信号処理部 1 2 0 , 出力部 1 2 1 , 外部 I / F部 1 2 3に双方向に接続されていてこれらを含むこの撮像シス テムを統合的に制御するマイクロコ ンピュータ等でなる制御手段 であってパラメータ算出手段たる制御部 1 2 2と、 を有して構成 されている。
次に、 図 1 3に示した撮像システムにおける信号の流れについ て説明する。
この撮像システムは、 外部 I/F部 1 2 3を介して I S O感度 などの撮影条件を設定することができるように構成されており、 これらの設定がなされた後に、 2段式の押しボタンスィ ツチでな るシャツタボタンを半押しすることにより、 プリ撮像モー ドに入 0614
る o
上記レンズ系 1 0 1 , 絞り 1 0 2 , ロ ーパスフィ ルタ 1 0 3 , 色フィルタ 1 04を介して C C D 1 0 5によ り撮影され出力され た映像信号は、 C D S 1 0 7において、 公知の相関二重サンプリ ングを行ってアナログ信号と して読み出される。
このアナ口グ信号は、 増幅器 1 08によ り所定量だけ増幅され て、 A/ D変換器 1 0 9によりデジタル信号へ変換され、 画像用 ノ ソファ 1 1 0へ転送される。
画像用バッファ 1 1 0内の映像信号は、 その後に、 測光評価部 1 1 1 とプレ W B部 1 1 2と合焦点検出部 1 1 3とへ各転送され る o
測光評価部 1 1 1 は、 画像中の輝度レベルを求めて、 設定され た I S 0感度や手ぶれ限界のシャツタ速度などを考慮し、 画像を 複数の領域に分割して各領域の輝度レベルの組み合わせによ り適 正露光値を算出して、 この適正露光値となるように絞り 1 0 2に よる絞り値や C C D 1 0 5の電子シャツタ速度や増幅器 1 0 8の 増幅率などを制御する。
また、 プレ W B部 1 1 2は、 映像信号中の所定輝度レベルの信 号を色信号毎に積算することにより、 簡易ホワイ 卜バランス係数 を算出して増幅器 1 0 8へ転送し、 色信号毎に異なるゲイ ンを乗 算させてホワイ トバランスを行わせる。
そして、 合焦点検出部 1 1 3は、 画像中のエッジ強度を検出し て、 このエッジ強度が最大となるように A Fモータ 1 1 4を制御 し合焦画像を得る。
このようなプリ撮像モー ドを行う ことにより本撮影の準備が整 つたところで、 次に、 シャ ツタボタンが全押しにされたことを外 部 I/F部 1 2 3を介して検出すると、 本撮影が行われる。
この本撮影は、 測光評価部 1 1 1 によ り求められた露光条件と プレ W B部 1 1 2によ り求められたホワイ トバラ ンス係数と合焦 点検出部 1 1 3 によ り求められた合焦条件とに基づいて行われ、 これらの撮影時の条件は制御部 1 2 2へ転送される。
こう して本撮影が行われると、 映像信号が、 プリ撮像のときと 同様にして、 画像用バッファ 1 1 0へ転送され記憶される。
この画像用バッファ 1 1 0内の映像信号は、 色信号分離部 1 1 5へ転送されて、 色フィ ルタの色毎に分離される。
C C D 1 0 5の前面に配置される上記色フィルタ 1 0 4のフィ ルタ構成は、 上述したように、 例えば図 1 4に示すような原色べ ィヤー （ B a y e r ) 型、 つま り、 2 x 2画素を基本単位と して 、 対角位置に緑 （ G 1 ， G 2 ) のフィ ルタが配置され、 残りの対 角位置に赤 （ R ) と青 （ B ) のフィルタが配置されるものとなつ ている。 なお、 緑フィ ルタ G 1 , G 2は同一の光学特性のフィル タであるが、 ここでは処理の便宜上、 G 1 , G 2 と して区別して いる。
色信号分離部 1 1 5は、 これら 4種類の色フィ ルタ R , G 1 , G 2 , Bに応じて、 画像用バッファ 1 1 0内の映像信号を分離す るようになっていて、 この分離動作は、 制御部 1 2 2の制御に基 づき、 ノ ィズ推定部 1 1 7の処理およびノ ィズ低減部 1 1 9の処 理と同期して行われる。
一方、 制御部 1 2 2は、 測光評価部 1 1 1 , プレ W B部 1 1 2 ， 合焦点検出部 1 1 3から撮像時の測光情報や合焦情報を、 撮影 状況推定部 1 1 6へ転送する。
撮影状況推定部 1 1 6は、 転送されたこれらの情報に基づいて 、 画面全体に関する撮影状況を、 例えば風景撮影， 人物撮影， 接 写撮影， 夜景撮影などと推定して、 これを補正部 1 1 8へ転送す る。 このような撮影状況推定部 1 1 6による撮影状況の推定処理 は、 1 回の撮影に付き 1 回行われるようになつている。
次に、 ノ イズ推定部 1 1 7は、 制御部 1 2 2の制御に基づいて 色信号分離部 1 1 5からの各色信号を読み込むとともに、 該ノ ィ ズ推定部 1 1 7へは、 さらに、 制御部 1 2 2 を介して、 測光評価 部 1 1 1 によ り求められた露光条件や外部 I Z F部 1 2 3により 設定された I S 0感度などの撮影条件も合わせて転送される。
ノ ィズ推定部 1 1 7は、 上記情報と各色信号とに基づき、 所定 サイズ毎に、 例えば本実施形態においては一画素毎に （画素単位 で） 、 ノ イズ量を算出し、 算出したノ ィズ量を補正部 1 1 8へ転 送 る o
補正部 1 1 8は、 撮影状況推定部 1 1 6から出力される撮影状 況に基づいて、 ノ イズ推定部 1 1 7から出力されるノ イズ量を補 正し、 補正したノ イズ量をノ イズ低減部 1 1 9へ転送する。
このとき、 上記ノ ィズ推定部 1 1 7 における処理と補正部 1 1 8における処理とは、 制御部 1 2 2の制御に基づいて、 ノ イズ低 減部 1 1 9の処理と同期して行われるようになつている。
ノ ィズ低減部 1 1 9は、 補正部 1 1 8によ り補正されたノ イズ 量に基づいて、 色信号分離部 1 1 5からの各色信号に対してノ ィ ズ低減処理を行い、 処理後の映像信号を信号処理部 1 2 0へ転送 する。
信号処理部 1 2 0は、 制御部 1 2 2の制御に基づき、 ノ ィズ低 減後の映像信号に対して、 公知の強調処理や圧縮処理などを行い 、 処理後の映像信号を出力部 1 2 1 へ転送する。
出力部 1 2 1 は受け取った映像信号を、 メモリ 一カー ドなどへ 記録し保存する。
次に図 1 5 を参照して、 撮影状況推定部 1 1 6の構成の一例に ついて説明する。
この撮影状況推定部 1 1 6は、 上記合焦点検出部 1 1 3で設定 された A F情報を制御部 1 2 2から取得して例えば 5 m〜∞ (風 景撮影） ， 1 m ~ 5 m (人物撮影） ， 1 m以下 （接写撮影） など に分類する合焦位置推定手段たる合焦位置推定部 1 3 1 と、 上記 測光評価部 1 1 1 による分割測光結果を制御部 1 2 2から取得し 03 010614
て後述する評価用パラメータ S 1 〜 S 3 を算出する被写体分布推 定手段たる被写体分布推定部 1 3 2 と、 上記測光評価部 1 1 1 か らの A E情報を制御部 1 2 2から取得して所定のシャツ夕速度よ りも長時間露光であってかつ画面全体の平均輝度レベルが所定の 閾値以下である場合に撮影状況が夜景撮影であると推定する夜景 推定部 1 3 3 と、 上記合焦位置推定部 1 3 1 による分類結果と上 記被写体分布推定部 1 3 2による推定結果と上記夜景推定部 1 3 3による推定結果とに基づきノ イズ量に対する補正を行うための ゲイ ンを求めて補正部 1 1 8へ転送する全体推定手段たる全体推 定部 1 3 4と、 を有して構成されている。
なお、 上記合焦位置推定部 1 3 1 , 被写体分布推定部 1 3 2 , 夜景推定部 1 3 3は、 制御部 1 2 2に対して双方向に接続されて いる。
上記測光評価部 1 1 1 は、 例えば図 1 6に示すように、 C C D 1 0 5からの信号を 1 3個の領域に分割して、 公知の分割測光を 行うようになっている。
図示の例においては、 C C D 1 0 5の撮像領域を、 最中央部と 、 この最中央部を取り巻く 内周部と、 この内周部を取り卷く外周 部と、 に分類し、 さ らにそれぞれを以下のような領域に分割して し、る。
すなわち、 最中央部は、 真ん中の領域 （平均輝度レベルを a 1 で表す） と、 その左隣の領域 （平均輝度レベルを a 2 で表す） と 、 右隣の領域 （平均輝度レベルを a 3 で表す） と、 に分割される また、 内周部は、 平均輝度レベルが a 1 である領域の上下の領 域 （平均輝度レベルを各 a 4 、 a 5 で表す） と、 年均輝度レベル が a 4 である領域の左右の領域 （平均輝度レベルを各 a 6 、 a 7 で表す） と、 平均輝度レベルが a 5 である領域の左右の領域 （平 均輝度レベルを各 a 8 、 a 9 で表す） と、 に分割される。 さらに、 外周部は、 左上の領域 （平均輝度レベルを a 10で表す ) と、 右上の領域 （平均輝度レベルを a 11で表す） と、 左下の領 域 （平均輝度レベルを a 12で表す） と、 右下の領域 （平均輝度レ ベルを a 13で表す） と、 に分割される。
このように分割された各領域の平均輝度レベルが、 測光評価部 1 1 1 から被写体分布推定部 1 3 2へ転送されるようになつてい このような領域による分割測光において、 上記被写体分布推定 部 1 3 2は、 以下に示すような各評価用パラメータを次の数式 1 1 、 数式 1 2、 数式 1 3に示すように計算して、 計算結果を全体 推定部 1 3 4へ転送するようになっている。
パラメータ
S 1 = | a 2 - a 3 ( 1 1 )
S 2 = max( I a 4 a 6 a 4 a I) ( 1 2 )
S 3 = max( a 10, a 11 ) - A v
A v = (∑ a i ) / 1 3 ( 1 3 ) ここに、 max()は、 括弧内の数の内の最大値を返す関数であり、 ∑は全ての i (つま り i = 1 〜 1 3 ) についての総和を表し.、 A Vは全ての測光領域についての平均輝度レベル （画面全体の平均 輝度レベル） を表している。
こう して、 評価用パラメ—タ S 1 は、 最中央部の左右の輝度差 を示すもの （中心部） 、 評価用パラメ一夕 S 2 は、 内周部の上側 中央と上側左右の何れかとの輝度差の大きい方を示すもの （中央 重点） 、 評価用パラメータ S 3 は、 外周部の上側左右何れか大き い方と画面全体の平均輝度との差を示すもの （画面全体） となつ ている。 上記全体推定部 1 3 4は、 上述したように、 上記合焦位置推定 部 1 3 1 、 被写体分布推定部 1 3 2、 上記夜景推定部 1 3 3の各 出力に応じてノ ィズ量を補正するためのゲイ ンを求めるが、 この とき、 夜景推定部 1 3 3からの推 ^結果が夜景撮影である場合に は、 ゲイ ンと して 「強」 、 つま り例えば 1 . 5〜 2 . 0を指定し て、 このゲイ ンを直ちに補正部 1 1 8へ転送して、 処理を完了す る
—方、 夜景撮影でないと推定される場合には、 全体推定部 1 3
4は、 合焦位置推定部 1 3 1 からの分類結果と、 被写体分布推定 部 1 3 2からの評価用パラメータ S 1 〜S 3 と、 を用いて、 表 1 に示すように、 撮影状況を推定し、 ゲイ ンを決定するようになつ ている
Figure imgf000035_0001
表 1 のように、 A F情報が 5 m〜∞のときには、 風景撮影であ ると して、 さらに上記評価用パラメータ S 3 を所定値 T h 1 と比. 較する。 このとき、 評価用パラメ一タ S 3 が所定値 T h 1 よりも 大きければ a 1 0または a 1 1の何れか少な く とも一方は画面全体の 平均輝度よりもある程度以上輝度が高いことになるために、 上部 に空のある風景であると推定する。 空は平坦であってノ イズ成分 が主観的に気になる領域であるために、 補正用のゲイ ンと して 「 強」 （例えば 1 . 5〜 2 . 0 ) が指定される。 一方、 評価用パラ メータ S 3 が所定値 T h 1 よ り も小さい場合には、 これとは逆に 上部に空がないかまたはあっても少ない風景であると推定する。 この場合には、 植物や建造物などのテクスチャ構造を持つものが 主要被写体となると考えられるために、 補正用のゲイ ンと して 「 中」 （例えば 1 . 0〜 1 . 5 ) が指定される。
次に、 A F情報が 1 m〜 5 mのときには、 人物撮影であると し て、 さらに上記評価用パラメータ S 2 を所定値 T h 2 と比較する 。 このとき、 評価用パラメータ S 2 が所定値 T h 2 よ りも大きけ れぱ、 内周部の上側中央 a 4 と上側左右 a 6 , a 7 の何れかとの 輝度差があるために、 一人の人物撮影 （ポー ト レー ト） であると 推定する。 一人の人物撮影の場合は、 顔の面積、 つま り平坦でノ ィズが目立ち易い肌の面積が比較的大き く なるために、 補正用の ゲイ ンを強く したい一方で、 微細構造を有する髪も存在するため に、 この髪が潰れると画質劣化と評価されてしまう。 このために 、 補正用のゲイ ンと して 「中」 が指定される。 他方、 評価用パラ メータ S 2 が所定値 T h 2 より も小さい場合には、 複数人の人物 撮影 （ポ— 卜 レー 卜） であると推定する。 複数人の人物撮影の場 合は、 顔の面積が比較的小さ く なり、 かつ髪の微細構造は識別し 難く なるために、 補正用のゲイ ンと して 「強」 が指定される。
さらに、 A F情報が 1 m以下のときには、 接写撮影であると し て、 さらに上記評価用パラメ一タ S 1 を所定値 T h 3 と比較する 。 このとき、 評価用パラメータ S 1 が所定値 T h 3 よ りも大きい 場合には、 最中央部の左右に輝度差があることになり、 複数の物 体のク ローズアップであると推定する。 この場合は、 主要被写体 に微細構造があると考えられるために、 補正用のゲイ ンと して 「 弱」 （例えば 0 . 5〜 1 . 0 ) が指定される。 一方、 評価用パラ メータ S 1 が所定値 T h 3 よ りも小さい場合には、 単一の物体の 4
接写撮影 （ク ローズアップ） であると推定する。 この場合は、 微 細構造の有無を判断することが困難なために、 汎用性を考慮して 、 補正用のゲイ ンと して 「中」 が指定される。
このようにして全体推定部 1 3 4によ り設定された補正用のゲ イ ンは、 上述したように補正部 1 1 8へ転送される。
次に、 図 1 7を参照して、 ノ イズ推定部 1 1 7の構成の一例に ついて説明する。
このノ ィズ推定部 1 1 7は、 上記色信号分離部 1 1 5 から出力 される色信号毎に所定位置における所定サイズの局所領域を抽出 する局所領域抽出部 1 4 1 と、 この局所領域抽出部 1 4 1 により 抽出された局所領域の色信号を記憶するバッファ 1 4 2 と、 上記 制御部 1 2 2から転送される露光条件に関する情報とホワイ 卜バ ランス係数に関する情報とに基づいて上記増幅器 1 0 8の増幅量 を算出するパラメ一タ算出手段たるゲイ ン算出部 1 4 4 と、 何れ かのパラメータが省略された場合に標準値を付与する付与手段た る標準値付与部 1 4 5 と、 上記バッファ 1 4 2 に記憶された局所 領域の信号を読み出して平均値を算出し注目画素の信号値レベル と して係数算出部 1 4 6へ転送するパラメ一夕算出手段たる平均 算出部 1 4 3 と、 ノ イズ量を推定する際に用いる後述する関数に 係るパラメータを記憶する係数算出手段たるパラメータ用 R O M 1 4 7 と、 このパラメータ用 R O M 1 4 7から読み出されるパラ メータと上記制御部 1 2 2 を経由した温度センサ 1 0 6 または標 準値付与部 1 4 5から出力される撮像素子の温度に関する情報と 上記平均算出部 1 4 3 または上記標準値付与部 1 4 5から出力さ れる信号値レベルと上記ゲイ ン算出部 1 4 4 または上記標準値付 与部 1 4 5から出力される増幅量と上記制御部 1 2 2 または上記 標準値付与部 1 4 5から出力されるシャ ツタ速度との情報に基づ き注目画素のノ ィズ量を推定するための所定の式に係る係数を算 出するノ イズ量算出手段であり係数算出手段たる係数算出部 1 4 6 と、 この係数算出部 1 4 6から出力される係数を用いて後述す るように定式化される関数を用いノ ィズ量を算出し補正部 1 1 8 へ転送するノ ィズ量算出手段であり関数演算手段たる関数演算部 1 4 8 と、 を有して構成されている。
上記局所領域抽出部 1 4 1 は、 本実施形態においては、 後で説 明するノ イズ低減部 1 1 9の処理が水平方向と垂直方向とに分離 しているために、 水平方向処理の場合は例えば 4 X 1 サイズ単位 で、 垂直方向処理の場合は例えば 1 X 4サイズ単位で、 画像全面 を順次走査しながら抽出を行うようになっている。 この局所領域 抽出部 1 4 1 による処理は、 ノ ィズ低減部 1 1 9の処理と同期し て行われる。
また、 上記制御部 1 2 2は、 上記局所領域抽出部 1 4 1 、 平均 算出部 1 4 3、 ゲイ ン算出部 1 4 4、 標準値付与部 1 4 5 、 係数 算出部 1 4 6、 関数演算部 1 4 8に対して双方向に接続されてお り、 これらを制御するよう になっている。
次に、 図 1 9を参照して、 係数算出部 1 4 6が注目画素のノ ィ ズ量を推定する際に用いるノ イズ量の定式化について説明する。 信号値レベル Lに対するノ イズ量 Nの関数は、 以下の数式 1 4 に示すように定式化される。
N = A L B + C ( 1 4 )
ここに、 A , B , Cは定数項であり、 信号値レベルしのべき乗を なす関数に定数項が付加されたものとなっている。 このような関数の、 例えば A > 0 , 0 < B < 1 , C > 0である ときの概形をプロッ 卜すると、 図 1 8に示すような形状となる。
しかしながら、 ノ ィズ量 Nは信号値レベル Lにのみ依存するの ではなく 、 それ以外にも、 撮像素子である C C D 1 0 5の温度や 増幅器 1 0 8のゲイ ンによっても変化する。 従って、 これらの要 因も考慮に入れたものが、 図 1 9 に示す例となっている。
すなわち、 上記数式 1 4では定数項であった A， B , Cの代わ りに、 数式 1 5に示すように、 温度 Tとゲイ ン Gとをパラメータ とする a ( T , G ) , b ( T , G ) , c ( T , G ) を導入する。
N = a ( T , G ) L b(T'G)+ c ( T , G ) ( 1 5 ) この数式 1 5 により示される曲線を、 複数の温度 T (図示の例 では温度 T 1 ~ T 3 ) における複数のゲイ ン G (図示の例では 1 ， 2 ， 4倍） の場合にプロ ッ ト したのが図 1 9である。
図 1 9は、 独立変数を信号値レベルし、 従属変数をノ イズ量 N と して表したものであるが、 パラメータである温度 Tをこれらの 変数に直交する方向に座標軸と してプロ ッ 卜 している。 従って、 T = T 1 で表される平面内、 T = T 2で表される平面内、 T二 T 3で表される平面内、 のそれぞれで、 信号値レベル Lによるノ ィ ズ量 Nを読み取ることになる。 このとき、 さらに、 パラメータで あるゲイ ン Gによる曲線形状の変化を、 各平面内で複数本の曲線 を描く ことにより表している。
各パラメータで示される個々の曲線は、 図 1 8に示したような 数式 1 4による曲線とほぼ類似した形態をなしているが、 当然に して、 各係数 a , b， cは、 温度 Tやゲイ ン Gの各値に応じて異 なっている。
図 2 0 Aは上記関数 3 (丁， 〇） の、 図 2 0 8は上記関数 b ( T， G ) の、 図 2 0 Cは上記関数 c ( T , G ) の特性の概略の様 子をそれぞれ示したものである。
これらの各関数は、 温度 Tとゲイ ン Gとを独立変数とする 2変 数関数であるために、 図 2 O A〜図 2 0 Cは 3次元座標と してプ ロ ッ 卜されており、 このプロッ 卜された空間における曲面となつ ている。 ただし、 ここでは具体的な曲面形状を図示する代わりに 、 曲線を用いて大まかな特性変化の様子を示している。
このような関数 a , b , cに温度 Tとゲイ ン Gとをパラメータ と して入力することにより、 各定数項 A， B , Cが出力される。 そして、 これらの関数の具体的な形状は、 事前に、 C C D 1 0 5 や増幅器 1 0 8を含む撮像素子系の特性を測定することによ り、 容易に取得することができる。
ところで、 ランダムノ イズには、 露光時間が長く なるにつれて 増加する傾向がある。 このために、 同一の露光量であっても、 シ ャ ッタ速度と絞り値との組み合わせが異なると、 発生するノ イズ 量に差異が生じることがある。 従って、 このような差異も考慮に 入れて補正を行う例について、 図 2 0 Dを参照して説明する。
ここでは、 シャツタ速度 Sをパラメータと して定数項 Dを与え る補正係数 d ( S ) を導入し、 この補正係数を数式 1 5 に乗算す る手段によ り、 数式 1 6に示すような定式化による補正を行うよ うにしてしヽる。
N = { a ( T， G ) L b(T'G)+ c ( T， G ) } d ( S )
= ( A L B+ C ) D ■ ■ ■ ■ ( 1 6 ) この補正係数 d ( S ) の関数形状は、 事前に撮像素子系の特性 を測定することにより得られるが、 例えば図 2 0 Dに示すような 形状をなしている。 図 2 0 Dは、 シャツタ速度 Sに対するノ イズ 量の増分 Dの様子を示している。
この図 2 0 Dに示すように、 ノ イズ量の増分 Dは、 シャツタ速 度 Sがある閾値 S THよりも小さ く なる （長時間露光になる） と急 速に上昇する性質がある。 従って、 シャ ツタ速度 Sがこの閾値 S
TH以上であるか以下であるかの 2通りに分けて、 長時間露光の場 合には関数でなる d ( S ) を用いるが、 短時間露光となる場合に は固定的な係数を用いるように簡略化しても構わない。
上述したような 4つの関数 a ( T , G ) ， b ( T， G ) , c ( P T/JP2003/010614
T， G ) , d ( S ) は、 上記パラメータ用 R O M 1 4 7に記録さ れる。 なお、 シャ ツタ速度に対する補正は、 必ずしも関数と して 用意する必要はなく 、 その他の手段、 例えばテーブルなどと して 用意しても構わない。
係数算出部 1 4 6は、 動的に取得された （または標準値付与部 1 4 5から取得された） 温度 T , ゲイ ン G , シャ ツタ速度 Sを入 力パラメータと して、 パラメータ用 R O M 1 4 7に記録されてい る 4つの関数を用いて各定数項 A , B , C , Dを算出し、 関数演 算部 1 4 8へ転送する。 ，
関数演算部 1 4 8は、 この係数算出部 1 4 6によ り算出された 各定数項 A , B , C , Dを、 上記数式 1 6に適用することにより 、 ノ イズ量 Nを算出するための関数形状を決定して、 該係数算出 部 1 4 6を介して上記平均算出部 1 4 3から出力される信号値レ ベル Lによ り ノ ィズ量 Nを算出するようになっている。
このとき、 温度 T， ゲイ ン G , シャツ夕速度 S等の各パラメ一 タを、 必ずしも撮影毎に求める必要はない。 任意のパラメータを 標準値付与部 1 4 5に記憶させておき、 算出処理を省略するよう に構成することも可能である。 これによ り、 処理の高速化ゃ省電 力化などを図ることが可能である。
上記補正部 1 1 8は、 このようにして算出されたノ イズ推定部 1 1 7からのノ ィズ量を受けると、 制御部 1 2 2の制御に基づい て、 該ノ イズ量に上記撮影状況推定部 1 1 6から転送された補正 用のゲイ ンを乗算し、 その結果をノ ィズ低減部 1 1 9へ転送する o
次に、 図 2 1 を参照して、 ノ ィズ低減部 1 1 9の構成の一例に ついて説明する。
このノ ィズ低減部 1 1 9は、 上記色信号分離部 1 1 5から出力 される色信号毎に水平ライ ン単位で映像信号を順次抽出する水平 ライ ン抽出部 1 5 1 と、 この水平ライ ン抽出部 1 5 1 によ り抽出 された水平ライ ンの映像信号に対して画素単位で走査して行き後 述する閾値設定部 1 5 6からの閾値をノ イズ量と して公知のヒス テリ シススムージングを行うス厶一ジング手段たる第 1 ス厶一ジ ング部 1 5 2 と、 この第 1 ス厶一ジング部 1 5 2 によ りス厶一ジ ングされた水平ライ ンを順次記憶して行く ことによ り 1 画面分の 映像信号を全色について記憶するバッファ 1 5 3 と、 このバヅフ ァ 1 5 3に 1 画面分の映像信号が全色について蓄積された後に該 バッファ 1 5 3から垂直ラィ ン単位で順次映像信号を色信号毎に 抽出する垂直ライ ン抽出部 1 5 4 と、 この垂直ライ ン抽出部 1 5 4によ り抽出された垂直ライ ンの映像信号に対して画素単位で走 査して行き後述する閾値設定部 1 5 6からの閾値をノ イズ量と し て公知のヒステリシスス厶一ジングを行って上記信号処理部 1 2 0へ順次出力するス厶一ジング手段たる第 2 ス厶一ジング部 1 5 5 と、 上記補正部 1 1 8によ り補正されたノ ィズ量を上記水平ラ イ ン抽出部 1 5 1 によ り抽出された水平ライ ンまたは上記垂直ラ イ ン抽出部 1 5 4によ り抽出された垂直ライ ンに応じて画素単位 で取得してノ ィズの振幅値を閾値 （微小振幅値） と して設定し上 記第 1 スムージング部 1 5 2 または上記第 2スムージング部 1 5 5 に出力する閾値設定手段たる閾値設定部 1 5 6 と、 を有して構 成されている。
ここに、 上記第 1 , 第 2スムージング部 1 5 2 , 1 5 5 におけ るヒステリシスス厶一ジングは、 制御部 1 2 2の制御により、 補 正部 1 1 8の動作および閾値設定部 1 5 6の動作と同期して行わ れるようになっている。
また、 上記制御部 1 2 2は、 上記水平ライ ン抽出部 1 5 1 、 垂 直ライ ン抽出部 1 5 4、 閾値設定部 1 5 6に対して双方向に接続 されており、 これらを制御するようになっている。
なお、 上述ではノ イズ量を画素単位で推定していたが、 これに 限るものではなく、 例えば 2 X 2画素や 4 X 4画素などの任意の 所定の単位面積毎にノ イズ量を推定するようにしても構わない。 この場合には、 ノ イズ推定精度は低下することになるが、 その一 方で、 よ り高速な処理が可能となる利点がある。
また、 上述では色フィ ルタ 1 0 4が原色べィャ一型である単板 C C Dを例に挙げて説明したが、 これに限定されるものではなく 、 例えば、 色フィ ルタ 1 0 4が補色フィルタとなる単板 C C Dで も同様に適用可能である し、 さらには、 二板 C C Dや三板 C C D の場合にも同様に適用可能である。
さらに、 上述では、 撮影状況を推定するのに、 合焦情報や測光 情報を用いているが、 これらに限らず、 ズーム位置情報、 視線入 力情報、 ス 卜ロボ発光情報などの内の少なく とも一つを用いて撮 影状況を推定しても良いし、 これらを適宜に組み合わせてより精 密に推定するようにしても構わない。
このような第 3の実施形態によれば、 画像の領域毎にかつ色信 号毎にノ イズ量を推定しているために、 明部から暗部にかけて最 適なノ ィズ低減を行う ことが可能になり、 高品位な画像を得るこ とができる。
また、 ノ イズ量に関係する信号値レベル、 撮影時の撮像素子の 温度、 シャツタ速度、 ゲイ ンなどの各種のパラメータを撮影毎に 動的に求めて、 これらのパラメ一夕に基づきノ イズ量を算出して いるために、 ノ イズ量を高精度に推定することができる。 このと き、 画素単位でノ ィズ量を推定することによ り、 よ り精度を高め ることができる。
さらに、 撮影状況を求めて推定ノ イズ量を補正しているために 、 主観的に好ま しい高品位な画像を得ることができる。 このとき 、 撮影時の各種情報を統合して画面全体の撮影状況を求めている ために、 低コス トかつ高速な処理を実現することができる。
撮影状況を求めるのに、 合焦情報や測光情報等を用いることに よ り、 夜景撮影であるか否かを推定したり、 ク ローズアップ、 ポ - 卜 レー 卜、 風景などの何れに分類されるかを推定したりするこ とが可能となる。
さ らに、 色フィルタを有する撮像素子からの信号を、 色フィ ル タ毎の色信号に分離しているために、 原色系や補色系、 あるいは 単板、 二板、 三板などの多様な撮像系に対してノ ィズ低減を行う ことが可能となる。
また、 ノ イズ量を閾値と して設定して、 この閾値以下の信号を ノ イズと して除去するようにしているために、 それ以上の信号は 原信号と して保存されて、 ノ イズ成分のみが低減された高品位な 画像を得ることができる。
そして、 撮影時に得られなかったパラメータに対して標準値を 設定し、 得られたパラメータと共にこの標準値を用いてノ ィズ量 を算出用の係数を求め、 この係数からノ イズ量を算出しているた めに、 必要となるパラメータを撮影時に得ることができない場合 でも、 ノ イズ量を推定して安定したノ イズ低減効果を得ることが 可能となる。 このとき、 ノ イズ量を算出する際に関数を用いてい るために、 必要となるメモリ量を少なくすることができ、 低コス ト化を図ることが可能となる。 加えて、 一部のパラメータ算出を 意図的に省略することによ り、 低コス 卜化および省電力化を図つ た撮像システムを構築することが可能となる。
図 2 2〜図 2 6は本発明の第 4の実施形態を示したものであり 、 図 2 2は撮像システムの構成を示すプロック図、 図 2 3は撮影 状況推定部の構成例を示すプロ ック図、 図 2 4はノ ィズ推定部の 構成を示すブロック図、 図 2 5はコ ンピュータにおいて画像処理 プログラムにより行われるノ ィズ低減処理の一部を示すフローチ ヤー ト、 図 2 6はコ ンピュータにおいて画像処理プログラムによ り行われるノ ィズ低減処理の他の一部を示すフローチヤ一トであ この第 4の実施形態において、 上述の第 3の実施形態と同様で ある部分については同一の符号を付して説明を省略し主と して異 なる点についてのみ説明する。
この第 4の実施形態の撮像システムは、 図 2 2に示すように、 上述した第 3の実施形態の構成に加えて、 上記画像用バッファ 1 1 0から読み出した映像信号を所定の間隔で間引きする間引き手 段たる間引き部 1 6 1 と、 この間引き部 1 6 1 によって間引かれ た映像信号に公知の線形補間処理を行って R G Bの三板画像を生 成しその結果を上記撮影状況推定部 1 1 6へ出力する補間部 1 6 2 と、 上記撮影状況推定部 1 1 6によ り推定されたラベル付きの 画像領域の情報を一時的に記憶して上記補正部 1 1 8へ出力する バッファ 1 6 3 と、 を備え、 該補間部 1 6 2は上記制御部 1 2 2 に双方向に接続されて制御されるようになっている。
この図 2 2 に示したような撮像システムにおける信号の流れは 、 上述した第 3の実施形態と基本的に同様であり、 異なる部分に ついてのみ説明する。
シャ ヅ夕ボタンを全押しにしたことが外部 Iノ F部 1 2 3を介 して検出されると、 上述したように本撮影が行われて、 映像信号 が画像用バッファ 1 1 0へ転送される。
間引き部 1 6 1 は、 画像用バッファ 1 1 0内の映像信号を読み 出して、 所定間隔で間引いた後に、 補間部 1 6 2へ転送する。 こ の間引き部 1 6 1 による間引き処理は、 本実施形態では色フィ ル タ 1 0 4 と してべィヤー型の色フィ ルタを想定しているために、 2 X 2画素を基本単位と して行われるようになつており、 具体的 には、 例えば 1 6 x 1 6画素単位に対して左上の 2 X 2画素のみ を読み込む間引きを行うようになっている。 このような間引き処 理を行う ことによ り、 映像信号は （ 1 / 8 ) X ( 1 / 8 ) サイズ 、 つま り 6 4分の 1 のデータサイズに縮小されることになる。 補間部 1 6 2は、 上記間引き部 1 6 1 により間引かれた映像信 号に対して、 公知の線形補間処理を行う ことにより R G Bの三板 画像を生成し、 生成した三板画像の映像信号を撮影状況推定部 1 1 6へ転送する。
撮影状況推定部 1 1 6は、 補間部 1 6 2から転送される三板化 された映像信号から、 肌色， 暗部， 高周波領域などの情報を算出 して、 算出 した情報に基づいて、 1 枚の映像信号を複数の領域に 分割し、 各領域情報をラベル付けする。
バッファ 1 6 3は、 この撮影状況推定部 1 1 6から転送された 情報を記憶する。
ノ ィズ推定部 1 1 7は、 制御部 1 2 2の制御に基づいて、 色信 号分離部 1 1 5から受け取った各色信号に対して、 所定サイズ毎 に、 例えば本実施形態においては画素単位でノ ィズ量を算出し、 算出したノ イズ量を補正部 1 1 8へ転送する。
補正部 1 1 8は、 上記バヅファ 1 6 3から読み出したラベル情 報に基づいて、 ノ イズ推定部 1 1 7から出力されるノ イズ量を補 正し、 補正したノ ィズ量をノ ィズ低減部 1 1 9へ転送する。 この とき、 補正部 1 1 8は、 間引き部 1 6 1 によって間引きされた割 合に応じてバッファ 1 6 3のラベル情報を拡大処理し、 ノ ィズ推 定部 1 1 7からの画素単位のノ イズ量に対応する処理を行う。
上記ノ ィズ推定部 1 1 7における処理と補正部 1 1 8における 処理とは、 制御部 1 2 2の制御に基づいて、 ノ イズ低減部 1 1 9 の処理と同期して行われるようになつている。
その後のノ ィズ低減部 1 1 9、 信号処理部 1 2 0、 出力部 1 2 1 における処理は、 上述した第 3の実施形態と同様である。
次に、 図 2 3 Aを参照して、 撮影状況推定部 1 1 6の構成の一 例について説明する。
この撮影状況推定部 1 1 6は、 上記補間部 1 6 2から R G Bの 三板画像を読み出して色差信号 C b , C r を演算し所定の閾値処 理によ り肌色領域を抽出してラベル付けする画像特性検出手段で あり特定色検出手段たる肌色検出部 1 7 1 と、 上記補間部 1 6 2 から R G Bの三板画像を読み出して輝度信号 Yを演算し所定の閾 値よ りも小さい暗部領域を抽出してラベル付けする画像特性検出 手段であり特定輝度検出手段たる暗部検出部 1 7 2 と、 上記肌色 検出部 1 7 1 からの情報と暗部検出部 1 7 2からの情報とに基づ き肌色領域であるか否かおよび喑部領域であるか否かを示す領域 推定結果を上記バッファ 1 6 3へ転送する領域推定手段たる領域 推定部 1 7 3 と、 を有して構成されている。
また、 上記制御部 1 2 2は、 上記肌色検出部 1 7 1 、 暗部検出 部 1 7 2 に対して双方向に接続されており、 これらを制御するよ うになつている。
上記肌色検出部 1 7 1 は、 補間部 1 6 2から R G Βの三板画像 を読み出すと、 次の数式 1 7および数式 1 8に示すように、 これ を所定の色空間の信号、 例えば Υ， C b , C r空間における色差 信号 C b , C r に変換する。
C b = - 0 1 6 8 7 4 R - 0 . 3 3 1 2 6 G + 0 . 5 0 0 0 0 B
( 1 7 ) G Γ = 0 . 5 0 0 0 0 R 0 . 4 1 8 6 9 G - 0 . 0 8 1
3 1 B
( 1 8 ) そして肌色検出部 1 7 1 は、 これら 2つの色差信号 C b， C r を所定の閾値と比較することによ り、 肌色領域のみを抽出する。
さらに、 肌色検出部 1 7 1 は、 この結果を用いて、 間引きされ た三板画像に対して画素単位でラベル付けし、 領域推定部 1 7 3 へ転送する。 このときに付けられる具体的なラベルと しては、 例 えば、 肌色領域に 1 、 その他の領域に 0が付与される。 次に、 上記暗部検出部 1 7 2は、 補間部 1 6 2から R G Bの三 板画像を読み出すと、 これを次の数式 1 9に示すようにして、 輝 度信号 Yへ変換する。 Y = 0. 2 9 9 0 0 R + 0 . 5 8 7 0 0 G + 0 . 1 1 4 0 0 Β
( 1 9 ) そして暗部検出部 1 7 2は、 この輝度信号 Υを所定の閾値と比 較して、 該閾値よ りも小さい領域を暗部領域と して抽出する。
さらに、 暗部検出部 1 7 2は、 この結果を用いて、 間引きされ た三板画像に対して画素単位でラベル付けし、 領域推定部 1 7 3 へ転送する。 このときに付けられる具体的なラベルと しては、 例 えば、 暗部領域に 2 、 その他の領域に 0が付与される。
領域推定部 1 7 3は、 これら肌色検出部 1 7 1 からの情報と暗 部検出部 1 7 2からの情報とに基づいて、 肌色領域を 1 、 暗部領 域を 2、 肌色領域であってかつ暗部領域である領域を 3、 その他 の領域を 0と して、 ノ ヅファ 1 6 3へ出力する。
補正部 1 1 8は、 ノ ッファ 1 6 3からこれらのラベル情報を読 み出して、 そのラベルの値に応じて補正のためのゲイ ンを調整す るようになっている。 例えば、 ラベル 3 (肌色領域かつ喑部領域 ) ではゲイ ンを強 （例えば 1 . 5〜 2 . 0 ) 、 ラベル 1 (肌色領 域） またはラベル 2 (暗部領域） ではゲイ ンを中 （例えば 1 . 0 〜 1 . 5 ) 、 ラベル 0 (その他） ではゲイ ンを弱 （例えば 0. 5 〜 1 . 0 ) とする。
なお、 この図 2 3 Αに示した例においては、 画面中の各領域の 撮影状況を推定するために色情報と輝度情報とを用いたが、 これ らの情報を用いるに限るものではなく 、 例えば、 図 2 3 Bに示す ように、 周波数情報を用いるようにしても構わない。 図 2 3 Bを参照して、 撮影状況推定部 1 1 6の構成の他の例に ついて説明する。
この撮影状況推定部 1 1 6は、 上記補間部 1 6 2 から R G Bの 三板画像をブロック単位で読み出して高周波成分を検出する画像 特性検出手段であり周波数検出手段たる高周波検出部 1 7 5 と、 この高周波検出部 1 7 5 により検出された高周波成分に比例した ラベルを付与してバッファ 1 6 3へ転送する領域推定部 1 7 3 と 、 を有して構成されていて、 上記高周波検出部 1 7 5は、 上記制 御部 1 2 2に対して双方向に接続されて、 制御されるようになつ ている。
上記高周波検出部 1 7 5は、 よ り詳し くは、 上記補間部 1 6 2 から R G Bの三板画像を所定のブロ ックサイズ、 例えば 8 X 8画 素単位で読み出して、 公知の D C T ( Discrete Cosine
Transform) により周波数成分に変換し、 変換した周波数成分か ら、 各ブロ ックの高周波成分量を求めて、 ブロ ック単位で領域推 定部 1 7 3へ転送する。
領域推定部 1 7 3は、 高周波成分量に比例したラベルをそのプ ロヅクに対して付与し、 これをバッファ 1 6 3へ転送する。
補正部 1 1 8は、 ノ ッファ 1 6 3に記憶されているラベル情報 を読み出して、 上記間引き部 1 6 1 によって間引きされた割合と 、 上記高周波検出部 1 7 5で使用 したブロックサイズと、 に応じ て該ラベル情報を拡大処理し、 ノ イズ推定部 1 1 7から転送され る画素単位のノ ィズ量を補正するようになつている。
なお、 上述では周波数成分への変換を D C Tによ り行っている が、 もちろんこれに限定されるものではなく 、 フーリエ （
Fourier) 変換やウエーブレツ 卜 （Wavelet) 変換などの適宜の変 換を広く使用することが可能である。
次に、 図 2 4を参照して、 ノ イズ推定部 1 1 7の構成の一例に ついて説明する。 2003/010614
このノ イズ推定部 1 1 7の基本的な構成は、 上述した第 3の実 施形態において図 1 7に示したノ イズ推定部 1 1 7 と同様である が、 係数算出部 1 4 6 とパラメータ用 R O M 1 4 7 と関数演算部 1 4 8 とに代えて、 ノ イズ量算出手段でありルックアップテープ ル手段たるルックアップテーブル部 1 8 1 が設けられているのが 異なる部分である。
ルックァヅプテ一ブル部 1 8 1 は、 制御部 1 2 2 と双方向に接 続されて制御されるようになっており、 上記平均算出部 1 4 3、 ゲイ ン算出部 1 4 4、 標準値付与部 1 4 5から情報を入力して、 処理結果を補正部 1 1 8へ出力するようになっている。
このルックァヅプテーブル部 1 8 1 は、 信号値レベル， ゲイ ン , シャツタ速度， および撮像素子の温度と、 ノ イズ量と、 の間の 関係を上述した第 3の実施形態と同様の手段によ り予めルックァ ップテーブルと して構築し記録したものであり、 上記平均算出部 1 4 3によ り算出された注目画素の信号値レベルと、 上記ゲイ ン 算出部 1 4 4により算出されたゲイ ンと、 上記制御部 1 2 2から 転送されるシャツ夕速度および撮像素子の温度に関する情報と、 上記標準値付与部 1 4 5 により必要に応じて付与された標準値と 、 に基づいて、 該ルックアップテーブルを参照し、 ノ イズ量を推 定し補正部 1 1 8へ転送する。
なお、 上述では、 撮影時にノ ィズ低減処理を行うように構成さ れているが、 これに限定されるものではない。 例えば、 C C D 1 0 5から出力される映像信号を未処理のままの R a wデータと し ておき、 この R a wデータに、 上記制御部 1 2 2からの撮影時の 撮像素子の温度、 ゲイ ン、 シャツタ速度等の情報をヘッダ情報と して付加する。 このへヅダ情報が付加された R a wデータをコ ン ピュー夕等の処理装置に出力して、 該処理装置において、 ソフ ト ウェアによ り処理するようにしても良い。
図 2 5および図 2 6を参照して、 コ ンピュータにおいて画像処 14
理プログラムにより ノ ィズ低減処理を行う例について説明する。 なお、 図 2 5 と図 2 6は、 一連の処理に係る。
処理を開始すると、 まず、 R a wデータでなる全色信号と、 温 度、 ゲイ ン、 シャツタ速度などの情報を含むヘッダ情報と、 を読 み込む （ステップ S 1 0 1 ) 。
次に、 映像信号を所定サイズに間引き して （ステップ S 1 0 2 ) 、 公知の線形補間によ り R G Bの三板画像を生成する （ステツ プ S 1 0 3 ) 。
生成した R G Bから色差信号 C b , C rを求めて、 これらの色 差信号 C b , C rが所定の範囲内にある色を肌色領域と して抽出 する （ステップ S 1 0 4 ) 。
一方で、 上記ステップ S 1 0 3において生成した R G Bから輝 度信号 Yを求めて、 この輝度信号 Yが所定の閾値以下となる領域 を暗部領域と して抽出する （ステップ S 1 0 5 ) 。
ステップ S 1 0 4において抽出した肌色領域とステップ S 1 0 5 において抽出した喑部領域とに関するラベル付けを行って （ス テツプ S 1 0 6 ) 、 付けたラベル情報を出力する （ステップ S 1 0 7 ) o
次に、 ステップ S 1 0 1 で読み込んだ映像信号を色信号毎に分 離して （ステップ S 1 0 8 ) 、 注目画素を中心と した所定サイズ の局所領域、 例えば 4 X 1 画素単位の局所領域を抽出し （ステツ プ S 1 0 9 ) 、 注目画素の信号値レベルをこの局所領域の平均値 と して算出する （ステップ S 1 1 0 )
さらに、 ステップ S 1 0 1 において読み込んだヘッダ情報から 、 温度、 ゲイ ン、 シャツタ速度などのパラメ一夕を求めるが、 こ のときに、 も し、 ヘッダ情報に必要なパラメ一夕が存在しない場 合は、 所定の標準値を割り当てる （ステップ S 1 1 1 ) 。
ステップ S 1 1 0において求めた信号値レベルとステップ S 1 1 1 において求めた温度、 ゲイ ン、 シャツタ速度等のパラメ一タ とに基づいて、 ルックアップテーブルを参照することによ り ノ ィ ズ量を算出する （ステップ S 1 1 2 )
その一方で、 ステップ S 1 0 7において出力されたラベル情報 を読み込んで、 現注目画素に対応するラベルをステップ S 1 1 4 へ転送する （ステップ S 1 1 3 ) 。
ステップ S 1 1 2 において求めたノ イズ量を、 ステップ S 1 1 3において読み込んだラベル情報に基づいて補正する （ステップ S 1 1 4 )
ステップ S 1 0 8において分離された色信号を水平ライ ン単位 で抽出し （ステップ S 1 1 5 ) 、 ステップ S 1 1 4において補正 されたノ ィズ量に基づいて公知のヒステリ シススム一ジングを行 う （ステップ S 1 1 6 ) 。
そして、 全水平ライ ンについての処理が終了したか否かを判断 して （ステップ S 1 1 7 ) 、 終了していない場合は上記ステップ S 1 0 9〜 S 1 6の処理を繰り返して行う。
一方、 全水平ライ ンについての処理が終了している場合には、 水平方向に平滑化された信号を出力する （ステップ S 1 1 8 ) 。
次に、 水平方向に平滑化された信号に対して、 注目画素を中心 と した所定のサイズの局所領域、 例えば 1 X 4画素単位の局所領 域を抽出し （ステップ S 1 1 9 ) 、 注目画素の信号値レベルをこ の局所領域の平均値と して算出する （ステップ S 1 2 0 ) 。
さらに、 ステップ S 1 1 において読み込んだヘッダ情報から、 温度、 ゲイ ン、 シャ ツ夕速度などのパラメ一夕を求めるが、 この ときに、 も し、 ヘッダ情報に必要なパラメータが存在しない場合 は、 所定の標準値を割り当てる （ステップ S 1 2 1 ) 。
ステップ S 1 2 0において求めた信号値レベルとステップ S 1 2 1 において求めた温度、 ゲイ ン、 シャツ夕速度等のパラメ一夕 とに基づいて、 ルックアップテーブルを参照することにより ノ ィ ズ量を算出する （ステップ S 1 2 2 ) 。 その一方で、 ステップ S 1 0 7 において出力されたラベル情報 を読み込んで、 現注目画素に対応するラベルをステップ S 1 2 4 へ転送する （ステップ S 1 2 3 ) 。
ステップ S 1 2 2 において求めたノ イズ量を、 ステップ S 1 2 3において読み込んだラベル情報に基づいて補正する （ステップ S 1 2 4 ) o
ステップ S 1 1 8において水平方向に平滑化された色信号を垂 直ライ ン単位で抽出し （ステップ S 1 2 5 ) 、 ステップ S 1 2 4 において補正されたノ ィズ量に基づいて公知のヒステリ シススム —ジングを行う （ステップ S 1 2 6 ) 。
そして、 全垂直ライ ンについての処理が終了したか否かを判断 して （ステップ S 1 2 7 ) 、 終了していない場合は上記ステップ S 1 1 9 ~ S 2 6の処理を繰り返して行う。
—方、 全垂直ライ ンについての処理が終了している場合には、 水平方向および垂直方向の両方に平滑化された信号を出力する （ ステップ S 1 2 8 ) 。
その後、 全ての色信号についての処理が終了したか否かを判断 し （ステップ S 1 2 9 ) 、 終了していない場合には上記ステップ S 1 0 8〜S 2 8の処理を繰り返して行い、 また、 終了している 場合には、 この処理を終える。
このような第 4の実施形態によれば、 上述した第 3の実施形態 とぼぼ同様の効果を奏するとともに、 肌色検出、 暗部検出、 高周 波検出を行って 1 画面中の各領域の撮影状況を求め、 ノ ィズ量を 領域毎に補正しているために、 各領域に適した高精度なノ ィズ低 減処理を行って、 主観的に好ま しい高品位な画像を得ることがで きる。 また、 第 3の実施形態に示したような画面全体の撮影状況 を求める場合と、 この第 4の実施形態に示したような各領域の撮 影状況を求める場合とを、 必要に応じて使い分けることにより、 用途に応じた多様な撮像システムを構築することも可能となる。 そして、 映像信号を所定間隔で間引いてサイズを縮小した信号 から各領域の撮影状況を推定しているために、 高速な処理が可能 になるとともに、 作業用のメモリサイズが小さ くて済むために、 撮像システムを低コス 卜で構築することが可能となる。
さ らに、 ノ ィズ量を算出するときにルックアップテーブルを用 いているために、 高速な処理を行う ことが可能となる。
以上、 本発明の実施形態について説明したが、 上記実施形態に 限定されるものではな く 、 本発明の精神を逸脱しない範囲で幾多 の変化がなしえることは勿論である。 産業上の利用可能性
以上説明したように本発明によれば、 画像内のノ イズ量を適切 に低減して高品質な画像を得ることができる。 関連出願へのクロスリファ レンス
本出願は、 2 0 0 2年 8月 2 2 日に日本国に出願された特願 2 0 0 2 - 2 4 2 4 0 0号を優先権主張の基礎と して出願するもの であり、 上記の開示内容は、 本願明細書、 請求の範囲、 図面に引 用されたものとする。

Claims

請求の範囲
1. 撮像システムは以下を含む。
複数の画素を配列してなる撮像素子からのデジタル化された信 号中に含まれるノ イズの量を、 一画素毎に、 または複数画素でな る所定の単位面積毎に、 推定するノ イズ推定手段と、
このノ イズ推定手段によ り推定されたノ イズ量に基づき上記信 号中のノ ィズを低減するノ ィズ低減手段。
2. ク レ一ム 1 の撮像システムにおいて、
上記撮像素子の前面に配置された色フィ ルタと、
該撮像素子から出力される信号をこの色フィルタ毎の信号に分 離する分離手段と、
をさらに含む。
3. ク レーム 2の撮像システムにおいて、
上記ノ ィズ推定手段は、
上記信号の信号値レベルと、 上記撮像素子の温度と、 上記信号 に対するゲイ ンと、 撮影時のシャ ツタ速度と、 の内の少なく とも 1 つの情報に基づいてパラメ—夕を算出するパラメ一夕算出手段 と、
このパラメータ算出手段により算出されたパラメ一夕に基づい て推定ノ ィズ量を算出するノ ィズ量算出手段と、
を有して構成されたものである。
4. ク レ一ム 2の撮像システムにおいて 上記ノ ィズ推定手段は、
上記推定されたノ イズ量に対して上限値を設定する上限値設定 手段を有して構成されたものであることを特徴とする。
5, ク レーム 2の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記ノ イズ推定手段により推定されたノ イズ量に基づいて、 一 画素毎に、 または複数画素でなる所定の単位面積毎に、 ノ イズの 振幅値を閾値と して設定する閾値設定手段と、
この閾値設定手段により設定された閾値以下となる上記信号中 の振幅成分を低減するス厶一ジング手段と、
を有して構成されたものである。
6. ク レーム 2の撮像システムにおいて、
上記ノ ィズ低減手段は、
上記ノ ィズ推定手段によ り推定されたノ イズ量に基づいて、 平 滑化処理の周波数特性を制御するための制御値を設定する制御値 設定手段と、
この制御値設定手段によ り設定された制御値に基づき上記信号 中の特定周波数帯域を低減する平滑化処理を行うスムージング手 段と、
を有して構成されたものである。
7. ク レーム 3の撮像システムにおいて、
上記パラメ一タ算出手段は、
注目画素を含む所定サイズの近傍領域または上記単位面積中の 複数の画素値の平均をとることによ り上記信号値レベルを求める 信号値算出手段を有して構成されたものである。
8. ク レーム 3の撮像システムにおいて、
上記パラメ一タ算出手段は、
上記記撮像素子の温度を測定する温度センサを有して構成され たものである。
9, ク レーム 3の撮像システムにおいて、
上記撮像素子は、 O B ( Opti cal Bl ack： オプティカルブラッ ク） 領域を有して構成されたものであって、
上記パラメ一夕算出手段は、
この 0 B領域の信号の分散を算出する分散算出手段と、 この分散算出手段により算出された分散に基づき上記撮像素子 の温度を推定する温度推定手段と、
を有して構成されたものである。
1 0, ク レーム 3の撮像システムにおいて、 上記パラメ一タ算出手段は、
I S 0感度と露出情報とホワイ トバランス情報との内の少なく とも 1 つの情報に基づいて上記ゲイ ンを求めるゲイ ン算出手段を 有して構成されたものである。
1 1. ク レーム 3の撮像システムにおいて
上記パラメータ算出手段は、 上記撮影時のシャッタ速度を露出情報から求めるシャ ツタ速度 算出手段を有して構成されたものである。
1 2. ク レーム 3の撮像システムにおいて、
上記ノ ィズ量算出手段は、 パラメ一夕と して、 上記信号の信号 値レベル L と、 上記撮像素子の温度丁と、 上記信号に対するゲイ ン Gと、 撮影時のシャツタ速度 S と、 を用いてノ イズ量 Nを算出 するものであって、
上記温度 T とゲイ ン Gとをパラメータとする 3つの関数 a ( T
, G ) ， b ( T , G ) ， c ( T , G ) と、 上記シャ ツタ速度 Sを パラメータとする関数 d ( S ) と、 に基づき 4つの係数 A， B ,
C , Dを各々算出する係数算出手段と、
この係数算出手段によ り算出された上記 4つの係数 A , B , C
， Dで規定される関数式
N = ( A L B + C ) D
に基づいてノ ィズ量 Nを算出する関数演算手段と、
を有して構成されたものである。
1 3 , ク レ一厶 1 2 の撮像システムにおいて、 上記ノ イズ量算出手段は、 標準のパラメータ値を付与する付与 手段をさ らに有して構成され、
上記パラメ一タは、 上記パラメ一夕算出手段により算出された 値、 または上記付与手段によって付与された標準値である。
1 4. ク レーム 3の撮像システムにおいて
上記ノ ィズ量算出手段は、 上記パラメ一夕算出手段から得られなかったパラメ一夕に関し て標準のパラメータ値を付与する付与手段と、
上記パラメータ算出手段または上記付与手段から得られる信号 値レベルと温度とゲイ ンとシャ ツ夕速度とを入力と してノ イズ量 を求めるルックアップテーブル手段と、
を有して構成されたものである。
1 5. ク レーム 1 の撮像システムにおいて、
上記ノ ィズ推定手段は、
上記信号の信号値レベルと、 上記撮像素子の温度と、 上記信号 に対するゲイ ンと、 撮影時のシャ ツタ速度と、 の内の少なく とも 1 つの情報に基づいてパラメ一夕を算出するパラメータ算出手段 と、
このパラメ一夕算出手段により算出されたパラメ 夕に基づい て推定ノ ィズ量を算出する ノ ィズ量算出手段と、
を有して構成されたものである。
1 6. ク レーム 1 の撮像システムにおいて、 上記ノ ィズ推定手段は、
上記推定されたノ イズ量に対して上限値を設定する上限値設定 手段を有して構成されたものであることを特徴とする。
1 7, ク レーム 1 の撮像システムにおいて、 上記ノ ィズ低減手段は、
上記ノ ィズ推定手段によ り推定されたノ イズ量に基づいて、 一 画素毎に、 または複数画素でなる所定の単位面積毎に、 ノ イズの 振幅値を閾値と して設定する閾値設定手段と、
この閾値設定手段によ り設定された閾値以下となる上記信号中 の振幅成分を低減するスム一ジング手段と、
を有して構成されたものである。
1 8, ク レーム 1 の撮像システムにおいて、 上記ノ ィズ低減手段は、
上記ノ イズ推定手段によ り推定されたノ イズ量に基づいて、 平 滑化処理の周波数特性を制御するための制御値を設定する制御値 設定手段と、
この制御値設定手段によ り設定された制御値に基づき上記信号 中の特定周波数帯域を低減する平滑化処理を行うスム—ジング手 段と、
を有して構成されたものである。
1 9. ク レーム 1 5の撮像システムにおいて、 上記パラメ一タ算出手段は、
注目画素を含む所定サイズの近傍領域または上記単位面積中の 複数の画素値の平均をとることによ り上記信号値レベルを求める 信号値算出手段を有して構成されたものである。
2 0. ク レーム 1 5の撮像システムにおいて、 上記パラメ—タ算出手段は、
上記記撮像素子の温度を測定する温度センサを有して構成され たものである。
2 1. ク レーム 1 5の撮像システムにおいて、
上記撮像素子は、 O B ( Opti cal Bl ack： オプティ カルブラヅ ク） 領域を有して構成されたものであって、
上記パラメ一夕算出手段は、
この 0 B領域の信号の分散を算出する分散算出手段と、 この分散算出手段によ り算出された分散に基づき上記撮像素子 の温度を推定する温度推定手段と、
を有して構成されたものである。
2 2. ク レーム 1 5の撮像システムにおいて、 上記パラメ一タ算出手段は、
I S 0感度と露出情報とホワイ 卜バラ ンス情報との内の少なく とも 1 つの情報に基づいて上記ゲイ ンを求めるゲイ ン算出手段を 有して構成されたものである。
2 3, ク レーム 1 5の撮像システムにおいて、 上記パラメ一タ算出手段は、
上記撮影時のシャ ツタ速度を露出情報から求めるシャ ツタ速度 算出手段を有して構成されたものである。
2 4. ク レーム 1 5の撮像システムにおいて、 上記ノ イズ量算出手段は、 パラメータと して、 上記信号の信号 値レベルし と、 上記撮像素子の温度丁と、 上記信号に対するゲイ ン Gと、 撮影時のシャツタ速度 S と、 を用いてノ イズ量 Nを算出 するものであって、
上記温度 Tとゲイ ン G とをパラメータとする 3つの関数 a ( T , G ) , b ( T , G ) ， c ( T， G ) と、 上記シャ ヅタ速度 Sを パラメータとする関数 d ( S ) と、 に基づき 4つの係数 A , B , C , Dを各々算出する係数算出手段と、
この係数算出手段によ り箅出された上記 4つの係数 A， B , C , Dで規定される関数式
N = ( A L B+ C ) D
に基づいてノ ィズ量 Nを算出する関数演算手段と、
を有して構成されたものである。
2 5. ク レーム 2 4の撮像システムにおいて、 上記ノ イズ量算出手段は、 標準のパラメータ値を付与する付与 手段をさらに有して構成され、
上記パラメータは、 上記パラメータ算出手段によ り算出された 値、 または上記付与手段によって付与された標準値である。
2 6, ク レーム 1 5の撮像システムにおいて、 上記ノ ィズ量算出手段は、
上記パラメータ算出手段から得られなかったパラメータに関し て標準のパラメータ値を付与する付与手段と、
上記パラメ一タ算出手段または上記付与手段から得られる信号 値レベルと温度とゲイ ンとシャ ツタ速度とを入力と してノ ィズ量 を求めるルックァップテ一ブル手段と、
を有して構成されたものである。
2 7. 撮像システムは以下を含む。
原色または補色の色フィ ルタを前面に配置した撮像素子からの デジタル化された信号を、 該色フィ ルタ毎の色信号に分離する分 離手段と、
上記各色信号に関して、 注目画素を含む所定サイズの近傍領域 または単位面積中の複数の画素値の平均をとることによ り信号値 レベルを求める信号値算出手段と、
ェ S 0感度と露出情報と,ホワイ 卜バラ ンス情報との内の少なく とも 1 つの情報に基づいて上記信号に対するゲイ ンを求めるゲイ ン算出手段と、
上記各色信号に関して上記信号値レベルと上記ゲイ ンとを入力 と してこれらの入力とノ ィズ量との対応関係が記述されたルック アップテープルを参照することによ り ノ ィズ量を求めるルックァ ヅプテ一ブル手段と、
上記各色信号に関して上記ノ イズ量に基づき、 一画素毎に、 ま たは複数画素でなる所定の単位面積毎に、 微小振幅値を設定する 微小振幅値手段と、
上記各色信号に関してこの微小振幅値手段によ り設定された微 小振幅値以下の振幅成分を低減するス厶—ジング手段。
2 8. 画像処理プログラムは以下の手順を有する。
複数の画素を配列してなる撮像素子からのデジタル化された信 号中に含まれるノ イズの量を、 一画素毎に、 または複数画素でな る所定の単位面積毎に、 推定するノ ィズ推定手順と、
このノ ィズ推定手順により推定されたノ イズ量に基づいて、 一 画素毎に、 または複数画素でなる所定の単位面積毎に、 ノ イズの 振幅値を閾値と して設定する閾値設定手順と、
この閾値設定手順によ り設定された閾値以下となる上記信号中 の振幅成分を低減するスムージング手順
2 9. 画像処理プログラムは以下の手順を有する。
複数の画素を配列してなる撮像素子からのデジタル化された信 号中に含まれるノ イズの量を、 一画素毎に、 または複数画素でな る所定の単位面積毎に、 推定するノ ィズ推定手順と、
このノ イズ推定手順によ り推定されたノ イズ量に基づいて、 平 滑化処理の周波数特性を制御するための制御値を設定する制御値 設定手順と、
この制御値設定手順によ り設定された制御値に基づき上記信号 中の特定周波数帯域を低減する平滑化処理を行うスム—ジング手 順。
3 0, 画像処理プログラムは以下の手順を有する。
複数の画素を配列してなり 0 B ( Opti cal Bl ack : 才プティ カ ルブラック） 領域を有して構成された撮像素子からのデジタル化 された信号中の該 0 B領域の信号の分散を算出する分散算出手順 と、
この分散算出手順によ り算出された分散に基づき上記撮像素子 の温度を推定する温度推定手順と、
この温度推定手順によ り推定された上記撮像素子の温度と、 上 記信号の信号値レベルと、 上記信号に対するゲイ ンと、 撮影時の シャ ツタ速度と、 の内の少なく とも 1 つの情報に基づいてパラメ —タを算出するパラメータ算出手順と、
このパラメ一夕算出手順により算出されたパラメータに基づい て、 上記信号中に含まれると推定されるノ イズの量を、 一画素毎 に、 または複数画素でなる所定の単位面積毎に、 算出するノ ィズ 量算出手順と、
このノ ィズ量算出手順によ り算出されたノ ィズ量に基づき上記 信号中のノ ィズを低減するノ ィズ低減手順。
3 1. 画像処理プログラムは以下の手順を有する。
複数の画素を配列してなる撮像素子からのデジタル化された信 号の信号値レベルし と、 上記撮像素子の温度丁と、 上記信号に対 するゲイ ン Gと、 撮影時のシャツタ速度 S と、 をパラメータと し て算出するパラメ一タ算出手順と、
上記温度 Tとゲイ ン G とをパラメータとする 3つの関数 a ( T
， G ) , b ( T , G ) , c ( T , G ) と、 上記シャ ッタ速度 Sを パラメ一夕とする関数 d ( S ) と、 に基づき 4つの係数 A， B ,
C , Dを各々算出する係数算出手順と、
この係数算出手順によ り算出された上記 4つの係数 A , B , C
, Dで規定される関数式
N = ( A L B+ C ) D
に基づいて、 上記信号中に含まれると推定されるノ イズ量 Nを、 一画素毎に、 または複数画素でなる所定の単位面積毎に、 算出す る関数演算手順と、
この関数演算手順によ り算出されたノ ィズ量に基づき上記信号 中のノ ィズを低減するノ ィズ低減手順。
3 2, 画像処理プログラムは以下の手順を有する。
原色または補色の色フィルタを前面に配置した撮像素子からの デジタル化された信号を、 該色フィ ルタ毎の色信号に分離する分 離手順と、
上記各色信号に関して、 注目画素を含む所定サイズの近傍領域 または単位面積中の複数の画素値の平均をとることによ り信号値 レベルを求める信号値算出手順と、
I S 0感度と露出情報とホワイ 卜バランス情報との内の少なく とも 1 つの情報に基づいて上記信号に対するゲイ ンを求めるゲイ ン算出手順と、
上記各色信号に関して上記信号値レベルと上記ゲイ ンとを入力 と してこれらの入力とノ ィズ量との対応関係が記述されたルック アップテーブルを参照することによ り ノ ィズ量を求めるルックァ ップテーブル手順と、
上記各色信号に関して上記ノ イズ量に基づき、 一画素毎に、 ま たは複数画素でなる所定の単位面積毎に、 微小振幅値を設定する 微小振幅値手順と、
上記各色信号に関してこの微小振幅値手順によ り設定された微 小振幅値以下の振幅成分を低減するスムージング手順。
3 3. 撮像システムは以下を含む。
複数の画素を配列してなる撮像素子からのデジタル化された信 号中に含まれるノ イズの量を、 一画素毎に、 または複数画素でな る所定の単位面積毎に、 推定するノ イズ推定手段と、
上記信号による画像が撮影されたときの撮影状況を推定する撮 影状況推定手段と、
この撮影状況推定手段によ り推定された撮影状況に基づき上記 ノ イズ推定手段によ り推定されたノ イズ量を補正する補正手段と この補正手段によ り補正されたノ ィズ量に基づき上記信号中の ノ ィズを低減するノ ィズ低減手段。 3 4, ク レ一厶 3 3の撮像システムにおいて、
上記撮像素子の前面に配置された色フィルタと、
該撮像素子から出力される信号をこの色フィ ルタ毎の信号に分 離する分離手段と、
をさらに具備する。
3 5. ク レーム 3 4の撮像システムにおいて、 上記ノ ィズ推定手段は、
上記信号の信号値レベルと、 上記撮像素子の温度と、 上記信号 に対するゲイ ンと、 撮影時のシャ ツタ速度と、 の内の少なく とも 1 つの情報に基づいてパラメ—夕を算出するパラメータ算出手段 と、
このパラメータ算出手段により算出されたパラメータに基づい てノ ィズ量を算出するノ ィズ量算出手段と、
を有する。
3 6. ク レーム 3 4の撮像システムにおいて、 上記撮影状況推定手段は、 上記信号による画像が撮影されたと きの画面全体に関する撮影状況を推定する全体推定手段と、 該信 号による画像が撮影されたときの各領域毎の撮影状況を推定する 領域推定手段と、 の少なく とも一方を有して構成されたものであ る
3 7. ク レーム 3 4の撮像システムにおいて、 上記撮影状況推定手段は、 合焦情報と測光情報とズーム位置情 報と視線入力情報とス トロボ発光情報との内の少なく とも 1 つの 情報に基づいて、 上記信号による画像が撮影されたときの画面全 体に関する撮影状況を推定する全体推定手段を有して構成された ものである。
3 8 , ク レーム 3 4の撮像システムにおいて、 上記撮影状況推定手段は、
合焦情報に基づいて、 合焦位置が、 少なく とも風景撮影と人物 撮影と接写撮影とを含む 3種類以上の中の何れの撮影による合焦 位置であるかを推定する合焦位置推定手段と、
測光情報に基づいて、 被写体分布が、 少なく とも画面全体と中 央重点と中心部とを含む 3種類以上の中の何れの撮影による被写 体分布であるかを推定する被写体分布推定手段と、
上記合焦位置推定手段によって推定した合焦位置と上記被写体 分布推定手段によって推定した被写体分布とを組み合わせて、 上 記信号による画像が撮影されたときの画面全体に関する撮影状況 を推定する全体推定手段と、
を有して構成されたものである。
3 9. ク レーム 3 4の撮像システムにおいて、 上記撮影状況推定手段は、 測光情報に基づいて、 上記信号によ る画像が撮影されたときの画面全体に関する撮影状況が、 夜景撮 影であるか否かを推定して判断する全体推定手段を有して構成さ れたものである。
4 0 , ク レーム 3 4の撮像システムにおいて
上記撮影状況推定手段は、 上記信号に基づき、 該信号による画像の特性を検出する画像特 性検出手段と、
この画像特性検出手段によ り検出された画像特性に基づいて上 記信号による画像が撮影されたときの各領域の撮影状況を推定す る領域推定手段と、
を有して構成されたものである。
4 1. ク レーム 4 0の撮像システムにおいて、 上記画像特性検出手段は、 上記信号から画像特性と して特定色 領域を検出する特定色検出手段と、 上記信号から画像特性と して 特定輝度領域を検出する特定輝度検出手段と、 上記信号から画像 特性と して所定サイズの局所領域における周波数情報を求める周 波数検出手段と、 の内の少なく とも 1 つを有して構成されたもの t る。
4 2. ク レーム 4 0の撮像システムにおいて、 上記撮影状況推定手段は、 上記信号を間引 く間引き手段をさら に有して構成され、
上記画像特性検出手段は、 この間引き手段により間引かれた信 号に基づき画像の画像特性を検出するものである。
4 3. ク レーム 3 4の撮像システムにおいて、 上記ノ ィズ低減手段は、
上記補正手段により補正されたノ イズ量に基づいて、 一画素毎 に、 または複数画素でなる所定の単位面積毎に、 ノ イズの振幅値 を閾値と して設定する閾値設定手段と、 この閾値設定手段によ り設定された閾値以下となる上記信号中 の振幅成分を低減するス厶ージング手段と、
を有して構成されたものである。
4 4. ク レ一厶 3 5の撮像システムにおいて、 上記ノ イズ量算出手段は、 パラメータと して、 上記信号の信号 値レベルし と、 上記撮像素子の温度丁と、 上記信号に対するゲイ ン Gと、 撮影時のシャツタ速度 S と、 を用いてノ イズ量 Nを算出 するものであって、
上記温度 Tとゲイ ン Gとをパラメ一夕とする 3つの関数 a ( T
, G ) , b ( T， G ) , c ( T , G ) と、 上記シャヅタ速度 Sを パラメータとする関数 d ( S ) と、 に基づき 4つの係数 A， B ,
C , Dを各々算出する係数算出手段と、
この係数算出手段によ り算出された上記 4つの係数 A , B， C
， Dで規定される関数式
N = ( A L β+ C ) D
に基づいてノ イズ量 Nを算出する関数演算手段と、
を有して構成されたものである。
4 5. ク レーム 4 4の撮像システムにおいて、 上記ノ イズ量算出手段は、 標準のパラメータ値である標準値を 付与する付与手段をさらに有して構成され、
上記パラメ一夕は、 上記パラメ一タ算出手段によ り算出された 値、 または上記付与手段によって付与された標準値、 である。
4 6. ク レーム 3 5の撮像システムにおいて 上記ノ ィズ量算出手段は、
上記パラメータ算出手段から得られなかったパラメータに関し て標準のパラメータ値である標準値を付与する付与手段と、
上記パラメータ算出手段または上記付与手段から得られる、 信 号値レベルと温度とゲイ ンとシャ ツタ速度と、 を入力と してノ ィ ズ量を求めるルックアップテーブル手段と、
を有して構成されたものである。
4 7. ク レーム 3 3の撮像システムにおいて、 上記ノ ィズ推定手段は、
上記信号の信号値レベルと、 上記撮像素子の温度と、 上記信号 に対するゲイ ンと、 撮影時のシャ ツタ速度と、 の内の少な く とも 1 つの情報に基づいてパラメータを算出するパラメータ算出手段 と、
このパラメ一タ算出手段によ り算出されたパラメータに基づい てノ ィズ量を算出するノ ィズ量算出手段と、
を有 る。
4 8. ク レーム 3 3の撮像システムにおいて、 上記撮影状況推定手段は、 上記信号による画像が撮影されたと きの画面全体に関する撮影状況を推定する全体推定手段と、 該信 号による画像が撮影されたときの各領域毎の撮影状況を推定する 領域推定手段と、 の少な く とも一方を有して構成されたものであ o
4 9» ク レーム 3 3の撮像システムにおいて 上記撮影状況推定手段は、 合焦情報と測光情報とズーム位置情 報と視線入力情報とス 卜 ロボ発光情報との内の少なく とも 1 つの 情報に基づいて、 上記信号による画像が撮影されたときの画面全 体に関する撮影状況を推定する全体推定手段を有して構成された ものである。
5 0. ク レーム 3 3の撮像システムにおいて、 上記撮影状況推定手段は、
合焦情報に基づいて、 合焦位置が、 少なく とも風景撮影と人物 撮影と接写撮影とを含む 3種類以上の中の何れの撮影による合焦 位置であるかを推定する合焦位置推定手段と、
測光情報に基づいて、 被写体分布が、 少なく とも画面全体と中 央重点と中心部とを含む 3種類以上の中の何れの撮影による被写 体分布であるかを推定する被写体分布推定手段と、
上記合焦位置推定手段によって推定した合焦位置と上記被写体 分布推定手段によって推定した被写体分布とを組み合わせて、 上 記信号による画像が撮影されたときの画面全体に関する撮影状況 を推定する全体推定手段と、
を有して構成されたものである。
5 1 , ク レーム 3 3の撮像システムにおいて、 上記撮影状況推定手段は、 測光情報に基づいて、 上記信号によ る画像が撮影されたときの画面全体に関する撮影状況が、 夜景撮 影であるか否かを推定して判断する全体推定手段を有して構成さ れたものである。
5 2. ク レーム 3 3の撮像システムにおいて、
上記撮影状況推定手段は、
上記信号に基づき、 該信号による画像の特性を検出する画像特 性検出手段と、
この画像特性検出手段により検出された画像特性に基づいて上 記信号による画像が撮影されたときの各領域の撮影状況を推定す る領域推定手段と、
を有して構成されたものである。
5 3 , ク レーム 5 2の撮像システムにおいて、 上記画像特性検出手段は、 上記信号から画像特性と して特定色 領域を検出する特定色検出手段と、 上記信号から画像特性と して 特定輝度領域を検出する特定輝度検出手段と、 上記信号から画像 特性と して所定サイズの局所領域における周波数情報を求める周 波数検出手段と、 の内の少なく とも 1 つを有して構成されたもの こ *め 。
5 4, ク レーム 5 2の撮像システムにおいて、 上記撮影状況推定手段は、 上記信号を間引 く 間引き手段をさら に有して構成され、
上記画像特性検出手段は、 この間引き手段により間引かれた信 号に基づき画像の画像特性を検出するものである。
5 5 . ク レーム 3 3の撮像システムにおいて
上記ノ ィズ低減手段は、 上記補.正手段によ り補正されたノ イズ量に基づいて、 一画素毎 に、 または複数画素でなる所定の単位面積毎に、 ノ イズの振幅値 を閾値と して設定する閾値設定手段と、
この閾値設定手段によ り設定された閾値以下となる上記信号中 の振幅成分を低減するスムージング手段と、
を有して構成されたものである。
5 6. ク レーム 4 7の撮像システムにおいて、 上記ノ イズ量算出手段は、 パラメータ と して、 上記信号の信号 値レベルしと、 上記撮像素子の温度丁と、 上記信号に対するゲイ ン Gと、 撮影時のシャ ツタ速度 Sと、 を用いてノ イズ量 Nを算出 するものであって、
上記温度 T とゲイ ン G とをパラメータ とする 3つの関数 a ( T
， G ) ， b ( T , G ) , c ( T， G ) と、 上記シャ ツタ速度 Sを パラメ一夕とする関数 d ( S ) と、 に基づき 4つの係数 A， B ,
C , Dを各々算出する係数算出手段と、
この係数算出手段によ り算出された上記 4つの係数 A， B， C
, Dで規定される関数式
N = ( A L B+ C ) D
に基づいてノ ィズ量 Nを算出する関数演算手段と、
を有して構成されたものである。
5 7. ク レーム 5 6の撮像システムにおいて、 上記ノ イズ量算出手段は、 標準のパラメ一夕値である標準値を 付与する付与手段をさ らに有して構成され、
上記パラメ 一夕は、 上記パラメータ算出手段によ り算出された 値、 または上記付与手段によって付与された標準値、 である。
5 8. ク レーム 4 7の撮像システムにおいて、
上記ノ ィズ量算出手段は、
上記パラメータ算出手段から得られなかったパラメータに関し て標準のパラメ一タ値である標準値を付与する付与手段と、
上記パラメータ算出手段または上記付与手段から得られる、 信 号値レベルと温度とゲイ ンとシャツタ速度と、 を入力と してノ ィ ズ量を求めるルックアップテ一ブル手段と、
を有して構成されたものである。
5 9. 画像処理プログラムは以下の手順を有する。
複数の画素を配列してなる撮像素子からのデジタル化された信 号中に含まれるノ イズの量を、 一画素毎に、 または複数画素でな る所定の単位面積毎に、 推定するノ ィズ推定手順と、
上記信号による画像が撮影されたときの撮影状況を推定する撮 影状況推定手順と、
この撮影状況推定手順により推定された撮影状況に基づき上記 ノ ィズ推定手順によ り推定されたノ ィズ量を補正する補正手順と この補正手順によ り補正されたノ ィズ量に基づき上記信号中の ノ ィズを低減するノ ィズ低減手順。
PCT/JP2003/010614 2002-08-22 2003-08-22 撮像システムおよび画像処理プログラム WO2004019608A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP03792792A EP1551173A4 (en) 2002-08-22 2003-08-22 PICTURE SYSTEM AND PICTURE PROCESSING PROGRAM
CN038186179A CN1675919B (zh) 2002-08-22 2003-08-22 摄像系统及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-242400 2002-08-22
JP2002242400A JP3762725B2 (ja) 2002-08-22 2002-08-22 撮像システムおよび画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2004019608A1 true WO2004019608A1 (ja) 2004-03-04

Family

ID=31944016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/010614 WO2004019608A1 (ja) 2002-08-22 2003-08-22 撮像システムおよび画像処理プログラム

Country Status (5)

Country Link
US (2) US7812865B2 (ja)
EP (1) EP1551173A4 (ja)
JP (1) JP3762725B2 (ja)
CN (2) CN1675919B (ja)
WO (1) WO2004019608A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100377686C (zh) * 2004-07-07 2008-04-02 奥林巴斯株式会社 被检体体内装置及相关医疗装置
US7554577B2 (en) 2004-09-29 2009-06-30 Sanyo Electric Co., Ltd. Signal processing device
US7916187B2 (en) 2004-04-27 2011-03-29 Olympus Corporation Image processing apparatus, image processing method, and program
US8035705B2 (en) 2005-10-26 2011-10-11 Olympus Corporation Image processing system, image processing method, and image processing program product

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934597B2 (ja) 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP2005303803A (ja) * 2004-04-14 2005-10-27 Olympus Corp 撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体
JP2005303802A (ja) * 2004-04-14 2005-10-27 Olympus Corp 撮像装置および画像処理プログラム
JP4605582B2 (ja) * 2004-06-02 2011-01-05 富士重工業株式会社 ステレオ画像認識装置及びその方法
JP4831941B2 (ja) * 2004-06-08 2011-12-07 オリンパス株式会社 撮像処理システム、プログラム及び記憶媒体
JP3926813B2 (ja) 2004-08-23 2007-06-06 富士フイルム株式会社 ノイズ低減装置および方法ならびにノイズ低減プログラム
JP2006098223A (ja) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd ノイズ除去回路及びそれを備えた温度測定処理装置
DE102006007092A1 (de) * 2005-03-01 2006-09-07 Denso Corp., Kariya Bildgebungsvorrichtung
JP4634842B2 (ja) * 2005-03-31 2011-02-16 株式会社デンソーアイティーラボラトリ 風景推定装置
JP4914026B2 (ja) * 2005-05-17 2012-04-11 キヤノン株式会社 画像処理装置及び画像処理方法
WO2007037325A1 (ja) 2005-09-28 2007-04-05 Olympus Corporation 撮像装置
US7711200B2 (en) * 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
JP4660342B2 (ja) * 2005-10-12 2011-03-30 オリンパス株式会社 画像処理システム、画像処理プログラム
JP4628937B2 (ja) * 2005-12-01 2011-02-09 オリンパス株式会社 カメラシステム
KR101225060B1 (ko) 2006-03-08 2013-01-23 삼성전자주식회사 이미지 센서에서 노이즈 판단 기준을 추정하는 방법 및장치
JP5009004B2 (ja) * 2006-07-31 2012-08-22 株式会社リコー 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2008107742A (ja) * 2006-10-27 2008-05-08 Pentax Corp 焦点検出方法および焦点検出装置
JP4728265B2 (ja) * 2007-02-20 2011-07-20 富士通セミコンダクター株式会社 ノイズ特性測定装置及びノイズ特性測定方法
JP2008211367A (ja) * 2007-02-23 2008-09-11 Olympus Imaging Corp 撮像装置
US8711249B2 (en) * 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
US8108211B2 (en) * 2007-03-29 2012-01-31 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system
JP5052189B2 (ja) * 2007-04-13 2012-10-17 オリンパス株式会社 映像処理装置及び映像処理プログラム
JP4925198B2 (ja) * 2007-05-01 2012-04-25 富士フイルム株式会社 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム
JP4980131B2 (ja) 2007-05-01 2012-07-18 富士フイルム株式会社 ノイズ低減装置および方法並びにプログラム
JP5165300B2 (ja) * 2007-07-23 2013-03-21 オリンパス株式会社 映像処理装置および映像処理プログラム
KR101341095B1 (ko) 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
JP2009109782A (ja) * 2007-10-31 2009-05-21 Hitachi Ltd ズームカメラ
KR20090062049A (ko) * 2007-12-12 2009-06-17 삼성전자주식회사 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
JP5529385B2 (ja) 2008-02-12 2014-06-25 キヤノン株式会社 Ｘ線画像処理装置、ｘ線画像処理方法、プログラム及び記憶媒体
JP2009260871A (ja) 2008-04-21 2009-11-05 Nikon Corp 撮像装置
JP5274101B2 (ja) 2008-05-19 2013-08-28 キヤノン株式会社 放射線画像処理装置、放射線画像処理方法及びプログラム
CN101594457B (zh) * 2008-05-30 2012-11-21 深圳艾科创新微电子有限公司 一种分级降噪系统及方法
JP5515295B2 (ja) * 2009-01-16 2014-06-11 株式会社ニコン 測光装置および撮像装置
JP5197423B2 (ja) * 2009-02-18 2013-05-15 オリンパス株式会社 画像処理装置
JP5227906B2 (ja) * 2009-06-30 2013-07-03 株式会社日立製作所 映像記録システム
JP5523065B2 (ja) * 2009-11-13 2014-06-18 キヤノン株式会社 撮像装置及びその制御方法
JP5182312B2 (ja) * 2010-03-23 2013-04-17 株式会社ニコン 画像処理装置、および画像処理プログラム
IT1404810B1 (it) * 2011-01-26 2013-11-29 St Microelectronics Srl Riconoscimento di texture nell'elaborazione di immagini
WO2013060373A1 (en) * 2011-10-27 2013-05-02 Robert Bosch Gmbh Method of controlling a cooling arrangement
EP2772046B1 (en) * 2011-10-27 2020-01-08 Robert Bosch GmbH Method of controlling a cooling arrangement
US20130159230A1 (en) * 2011-12-15 2013-06-20 Toyota Infotechnology Center Co., Ltd. Data Forgetting System
US8892350B2 (en) 2011-12-16 2014-11-18 Toyoda Jidosha Kabushiki Kaisha Journey learning system
JP5713932B2 (ja) * 2012-02-24 2015-05-07 京セラドキュメントソリューションズ株式会社 画像形成装置
JP2013176468A (ja) * 2012-02-28 2013-09-09 Canon Inc 情報処理装置、情報処理方法
JP6041502B2 (ja) * 2012-03-12 2016-12-07 キヤノン株式会社 画像処理装置および制御方法
US9230340B2 (en) * 2012-05-04 2016-01-05 Semiconductor Components Industries, Llc Imaging systems with programmable fixed rate codecs
US9077943B2 (en) * 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9101273B2 (en) * 2012-06-22 2015-08-11 Kabushiki Kaisha Toshiba Apparatus, detector, and method for applying a pixel by pixel bias on demand in energy discriminating computed tomography (CT) imaging
US9030571B2 (en) * 2012-07-11 2015-05-12 Google Inc. Abstract camera pipeline for uniform cross-device control of image capture and processing
KR102203232B1 (ko) * 2014-08-29 2021-01-14 삼성전자주식회사 그리드 패턴 노이즈 제거 방법 및 그 전자 장치
CN104819785B (zh) * 2015-04-24 2017-03-22 歌尔股份有限公司 一种基于摄像模组的温度测量方法
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
CN105141857B (zh) * 2015-09-21 2018-12-11 广东欧珀移动通信有限公司 图像处理方法和装置
JP6793325B2 (ja) * 2016-05-25 2020-12-02 パナソニックＩｐマネジメント株式会社 肌診断装置および肌診断方法
WO2019189210A1 (ja) * 2018-03-30 2019-10-03 株式会社ニコン 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム
WO2020124314A1 (zh) * 2018-12-17 2020-06-25 深圳市大疆创新科技有限公司 图像处理方法、图像处理装置及图像采集装置、存储介质
JP7311994B2 (ja) 2019-03-27 2023-07-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN113840048B (zh) * 2021-09-02 2024-04-12 信利光电股份有限公司 一种智能调整摄像头画面四角亮度的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023173A (ja) * 1998-07-01 2000-01-21 Eastman Kodak Japan Ltd 固体カラー撮像デバイスのノイズ除去方法
JP2003153290A (ja) * 2001-08-31 2003-05-23 Stmicroelectronics Srl ベイヤーパターン画像データ用ノイズフィルタ

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2565260B2 (ja) * 1987-10-17 1996-12-18 ソニー株式会社 固体撮像装置用画像欠陥補正装置
JP3216022B2 (ja) * 1992-09-14 2001-10-09 キヤノン株式会社 撮像装置
US5661521A (en) * 1995-06-05 1997-08-26 Eastman Kodak Company Smear correction of CCD imager using active pixels
US6545775B1 (en) * 1995-07-21 2003-04-08 Canon Kabushiki Kaisha Control system and units removably attachable to the same
JPH10282400A (ja) * 1997-04-04 1998-10-23 Canon Inc 撮影レンズシステム
EP0877524B1 (en) * 1997-05-09 2006-07-19 STMicroelectronics S.r.l. Digital photography apparatus with an image-processing unit
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US7158183B1 (en) * 1999-09-03 2007-01-02 Nikon Corporation Digital camera
JP2001157057A (ja) 1999-11-30 2001-06-08 Konica Corp 画像読取装置
US6813389B1 (en) * 1999-12-15 2004-11-02 Eastman Kodak Company Digital image processing method and system including noise reduction and tone scale adjustments
JP2001208959A (ja) * 2000-01-24 2001-08-03 Fuji Photo Film Co Ltd 撮像装置、自動合焦方法及び合焦の手順を記録した記録媒体
JP2001297304A (ja) * 2000-04-13 2001-10-26 Nec Eng Ltd 文字認識装置及びそれに用いるノイズ除去方法
JP4064038B2 (ja) * 2000-06-09 2008-03-19 富士フイルム株式会社 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
JP4210021B2 (ja) * 2000-06-21 2009-01-14 富士フイルム株式会社 画像信号処理装置および画像信号処理方法
US6633683B1 (en) * 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
JP3664231B2 (ja) 2000-08-09 2005-06-22 日本電気株式会社 カラー画像処理装置
JP4154847B2 (ja) * 2000-09-26 2008-09-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US7054501B1 (en) * 2000-11-14 2006-05-30 Eastman Kodak Company Estimating noise for a digital image utilizing updated statistics
US7064785B2 (en) * 2002-02-07 2006-06-20 Eastman Kodak Company Apparatus and method of correcting for dark current in a solid state image sensor
US6934421B2 (en) * 2002-03-20 2005-08-23 Eastman Kodak Company Calculating noise from multiple digital images having a common noise source

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023173A (ja) * 1998-07-01 2000-01-21 Eastman Kodak Japan Ltd 固体カラー撮像デバイスのノイズ除去方法
JP2003153290A (ja) * 2001-08-31 2003-05-23 Stmicroelectronics Srl ベイヤーパターン画像データ用ノイズフィルタ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1551173A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916187B2 (en) 2004-04-27 2011-03-29 Olympus Corporation Image processing apparatus, image processing method, and program
CN100377686C (zh) * 2004-07-07 2008-04-02 奥林巴斯株式会社 被检体体内装置及相关医疗装置
US7630754B2 (en) 2004-07-07 2009-12-08 Olympus Corporation Intra-subject device and related medical device
US7554577B2 (en) 2004-09-29 2009-06-30 Sanyo Electric Co., Ltd. Signal processing device
US8035705B2 (en) 2005-10-26 2011-10-11 Olympus Corporation Image processing system, image processing method, and image processing program product

Also Published As

Publication number Publication date
US20050099515A1 (en) 2005-05-12
JP2004088149A (ja) 2004-03-18
US7812865B2 (en) 2010-10-12
CN1675919B (zh) 2010-10-06
EP1551173A1 (en) 2005-07-06
US20080158395A1 (en) 2008-07-03
JP3762725B2 (ja) 2006-04-05
EP1551173A4 (en) 2011-08-03
CN1675919A (zh) 2005-09-28
CN101374196A (zh) 2009-02-25

Similar Documents

Publication Publication Date Title
WO2004019608A1 (ja) 撮像システムおよび画像処理プログラム
US7595825B2 (en) Image pickup system and image processing program
JP3934506B2 (ja) 撮像システムおよび画像処理プログラム
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
US8290263B2 (en) Image processing apparatus
US6825884B1 (en) Imaging processing apparatus for generating a wide dynamic range image
US8035853B2 (en) Image processing apparatus which calculates a correction coefficient with respect to a pixel of interest and uses the correction coefficient to apply tone correction to the pixel of interest
US7916187B2 (en) Image processing apparatus, image processing method, and program
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
WO2015119271A1 (ja) 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体
JP2006023959A (ja) 信号処理システム及び信号処理プログラム
JP4637812B2 (ja) 画像信号処理装置、画像信号処理プログラム、画像信号処理方法
US8351695B2 (en) Image processing apparatus, image processing program, and image processing method
WO2006109702A1 (ja) 画像処理装置と撮像装置、および画像処理プログラム
WO2005099356A2 (ja) 撮像装置
US20020163586A1 (en) Method and apparatus for capturing image

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20038186179

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003792792

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003792792

Country of ref document: EP