JPH07322096A - Gamma correction method - Google Patents
Gamma correction methodInfo
- Publication number
- JPH07322096A JPH07322096A JP6109715A JP10971594A JPH07322096A JP H07322096 A JPH07322096 A JP H07322096A JP 6109715 A JP6109715 A JP 6109715A JP 10971594 A JP10971594 A JP 10971594A JP H07322096 A JPH07322096 A JP H07322096A
- Authority
- JP
- Japan
- Prior art keywords
- gamma correction
- gamma
- correction value
- digital image
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims description 26
- 238000004040 coloring Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/11—Scanning of colour motion picture films, e.g. for telecine
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明はガンマ補正方法に係り、
特にルックアップテーブルを使用してデジタル画像信号
をガンマ補正するようにしたガンマ補正方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a gamma correction method,
In particular, the present invention relates to a gamma correction method for gamma-correcting a digital image signal using a look-up table.
【0002】[0002]
【従来の技術】従来、R,G,Bの3種類の色信号の階
調特性を揃えるガンマ補正回路は、色信号別に設けられ
ており、またネガフイルムとリバーサルフイルムとを被
写体とする場合には、合計6つのガンマ補正回路が設け
られている(特開平4−107082号公報)。2. Description of the Related Art Conventionally, a gamma correction circuit for aligning gradation characteristics of three kinds of R, G, B color signals is provided for each color signal, and when a negative film and a reversal film are taken as subjects. Is provided with a total of six gamma correction circuits (Japanese Patent Laid-Open No. 107082/1992).
【0003】また、撮影時の露光がアンダーもしくはオ
ーバーなネガ画像は、階調特性が異なり、ガンマ特性も
異なる。そこで、特開平4−107083号公報に記載
の信号処理回路では、シーンによるガンマ特性の違いを
補償するために可変ガンマを用いた画像信号処理を行っ
ている。この信号処理は、アナログ処理で、ニー特性を
もつガンマ補正回路の前段及び後段にそれそれ可変ゲイ
ン増幅回路を設け、これらの可変ゲイン増幅回路のゲイ
ンを調整することによりガンマを変えるようにしてい
る。Further, a negative image which is underexposed or overexposed during photographing has different gradation characteristics and different gamma characteristics. Therefore, in the signal processing circuit described in Japanese Patent Laid-Open No. 4-107083, image signal processing using variable gamma is performed in order to compensate for the difference in gamma characteristics depending on the scene. This signal processing is analog processing, and variable gain amplifier circuits are provided in front of and behind the gamma correction circuit having knee characteristics, and gamma is changed by adjusting the gain of these variable gain amplifier circuits. .
【0004】[0004]
【発明が解決しようとする課題】しかしながら、従来の
ガンマ補正回路は、R,G,Bの各信号処理系に設けら
れており、処理回路が多く複雑になるという問題があ
る。また、ルックアップテーブルを使用してR,G,B
デジタル画像信号をガンマ補正する場合にも、各色信号
別にそれぞれルックアップテーブルを準備する必要があ
り、ガンマ特性を変更する場合には、更に多くのルック
アップテーブルを準備しなければならないという問題が
ある。更に、原画像の種類、例えばネガフイルムの画像
かリバーサルフイルムの画像かによってフイルムのもっ
ているガンマが異なるため、別個のルックアップテーブ
ルを準備しなければならないという問題がある。However, since the conventional gamma correction circuit is provided in each of the R, G, and B signal processing systems, there is a problem in that the number of processing circuits becomes complicated. Also, using a lookup table, R, G, B
Even when gamma-correcting a digital image signal, it is necessary to prepare a look-up table for each color signal, and there is a problem that more look-up tables must be prepared when changing gamma characteristics. . Further, since the gamma of the film differs depending on the type of the original image, for example, the image of the negative film or the image of the reversal film, there is a problem that a separate look-up table must be prepared.
【0005】本発明はこのような事情に鑑みてなされた
もので、1つのルックアップテーブルによって種々のガ
ンマ補正を行うことができ、色再現や階調特性に優れた
画像処理を行うことができるとともにメモリ容量を低減
することができるガンマ補正方法を提供することを目的
とする。The present invention has been made in view of such circumstances, and various gamma corrections can be performed by one look-up table, and image processing excellent in color reproduction and gradation characteristics can be performed. Another object of the present invention is to provide a gamma correction method that can reduce the memory capacity.
【0006】[0006]
【課題を解決するための手段】本発明は前記目的を達成
するために、予め入力信号の階調に応じたガンマ補正値
を記憶する1つのルックアップテーブルを準備するとと
もに、前記ガンマ補正値と乗算することにより該ガンマ
補正値を伸長又は圧縮するためのガンマゲインを設定
し、原画像を撮像して得られるデジタル画像信号の階調
に基づいて前記ルックアップテーブルからガンマ補正値
を読み出し、前記ルックアップテーブルから読み出され
たガンマ補正値と前記設定されたガンマゲインとを乗算
し、前記原画像を撮像して得られるデジタル画像信号に
対して、前記乗算によって伸長又は圧縮したガンマ補正
値を減算又は加算することにより該デジタル画像信号を
ガンマ補正するガンマ補正方法において、前記ルックア
ップテーブルのガンマ補正値は単一の符号をもっている
ことを特徴としている。また、前記原画像はフイルムの
画像であり、前記ルックアップテーブルに記憶されるガ
ンマ補正値は、前記フイルムがもっているガンマと画像
表示手段に出力される映像信号がもっているガンマとの
差分に対応した値としたことを特徴としている。In order to achieve the above-mentioned object, the present invention prepares one look-up table for storing gamma correction values according to the gradation of an input signal in advance, A gamma gain for expanding or compressing the gamma correction value is set by multiplication, and the gamma correction value is read from the look-up table based on the gradation of the digital image signal obtained by capturing the original image. The gamma correction value read from the up table is multiplied by the set gamma gain, and the gamma correction value expanded or compressed by the multiplication is subtracted or subtracted from the digital image signal obtained by capturing the original image. In the gamma correction method for gamma-correcting the digital image signal by adding, the gun of the look-up table is used. Correction value is characterized by having a single code. The original image is a film image, and the gamma correction value stored in the lookup table corresponds to the difference between the gamma of the film and the gamma of the video signal output to the image display means. It is characterized by the value of
【0007】また、本発明は予め入力信号の階調に応じ
たガンマ補正値を記憶する1つのルックアップテーブル
を準備するとともに、前記ガンマ補正値と乗算すること
により該ガンマ補正値を伸長又は圧縮するためのガンマ
ゲインをR,G,Bの各色別に設定し、カラー画像を撮
像して得られるR,G,Bデジタル画像信号の階調に基
づいて前記ルックアップテーブルからガンマ補正値を読
み出すとともに、その読み出されたガンマ補正値がいず
れの色のデジタル画像信号に対応するかに応じて前記各
色別のガンマゲインから対応するガンマゲインを選択
し、前記読み出されたガンマ補正値と前記選択されたガ
ンマゲインとを乗算し、前記入力するR,G,Bデジタ
ル画像信号に対して、前記乗算によって伸長又は圧縮し
たガンマ補正値を減算又は加算することによりR,G,
Bデジタル画像信号の中間調を合わせるようにしたガン
マ補正方法において、前記中間調が合わされたR,G,
Bデジタル画像信号に基づいて生成されるクロマ信号の
うち低輝度部及び高輝度部に対応するクロマ信号を抑圧
し、もってクロマ信号の低輝度部及び高輝度部における
色付きを低減するようにしたことを特徴としている。Further, according to the present invention, one look-up table for storing a gamma correction value corresponding to the gradation of the input signal is prepared in advance, and the gamma correction value is expanded or compressed by multiplying it with the gamma correction value. A gamma gain for each color R, G, B is set, and a gamma correction value is read from the look-up table based on the gradation of the R, G, B digital image signal obtained by capturing a color image, and A corresponding gamma gain is selected from the gamma gains for each color according to which color of the digital image signal the read gamma correction value corresponds to, and the read gamma correction value and the selected gamma gain are selected. And the R, G, B digital image signals to be input are reduced by the gamma correction value expanded or compressed by the multiplication. Or adding R by, G,
In a gamma correction method for adjusting the halftones of a B digital image signal, R, G, and
The chroma signal corresponding to the low-luminance part and the high-luminance part of the chroma signal generated based on the B digital image signal is suppressed, and thus the coloring in the low-luminance part and the high-luminance part of the chroma signal is reduced. Is characterized by.
【0008】更に、本発明は予め入力信号の階調に応じ
たガンマ補正値を記憶する1つのルックアップテーブル
を準備するとともに、前記ガンマ補正値と乗算すること
により該ガンマ補正値を伸長又は圧縮するためのガンマ
ゲインを設定し、原画像を撮像して得られるデジタル画
像信号の階調に基づいて前記ルックアップテーブルから
ガンマ補正値を読み出し、前記ルックアップテーブルか
ら読み出されたガンマ補正値と前記設定されたガンマゲ
インとを乗算し、前記原画像を撮像して得られるデジタ
ル画像信号に対して、前記乗算によって伸長又は圧縮し
たガンマ補正値を減算又は加算することにより該デジタ
ル画像信号をガンマ補正するガンマ補正方法において、
前記ガンマ補正方法による入出力特性を示す曲線が単調
増加するように前記ガンマゲインの可変範囲が設定され
ていることを特徴としている。Further, the present invention prepares one look-up table for storing the gamma correction value corresponding to the gradation of the input signal in advance, and expands or compresses the gamma correction value by multiplying with the gamma correction value. And a gamma correction value read from the look-up table based on the gradation of a digital image signal obtained by capturing an original image, and the gamma correction value and the gamma correction value read from the look-up table. The digital image signal is gamma-corrected by multiplying the set gamma gain and subtracting or adding the gamma correction value expanded or compressed by the multiplication to the digital image signal obtained by capturing the original image. In the gamma correction method,
The variable range of the gamma gain is set so that the curve showing the input / output characteristics by the gamma correction method monotonically increases.
【0009】更にまた、本発明は予めネガフイルム又は
リバーサルフイルムのうちのいずれか一方のフイルムの
もっているガンマに基づいて入力信号の階調に応じたガ
ンマ補正値を記憶するルックアップテーブルを準備し、
前記一方のフイルムの画像を撮像して得られるデジタル
画像信号の階調に基づいて前記ルックアップテーブルか
らガンマ補正値を読み出し、他方のフイルムの画像を撮
像して得られるデジタル画像信号のガンマ補正時には、
該デジタル画像信号の階調を白黒反転した階調に基づい
て前記ルックアップテーブルに記憶されているガンマ補
正値を読み出し、前記デジタル画像信号に対して前記読
み出したガンマ補正値を加算又は減算することにより該
デジタル画像信号をガンマ補正することを特徴としてい
る。Furthermore, the present invention prepares in advance a look-up table for storing a gamma correction value corresponding to the gradation of the input signal based on the gamma of one of the negative film and the reversal film. ,
At the time of gamma correction of the digital image signal obtained by reading the gamma correction value from the look-up table based on the gradation of the digital image signal obtained by capturing the image of the one film, and by capturing the image of the other film. ,
Reading out the gamma correction value stored in the look-up table based on a grayscale inversion of the grayscale of the digital image signal, and adding or subtracting the read gamma correction value to the digital image signal Is characterized in that the digital image signal is gamma-corrected.
【0010】[0010]
【作用】本発明によれば、ルックアップテーブルに記憶
されるガンマ補正値が、単一の符号をもつようにしてい
るため、前記ルックアップテーブルから読み出したガン
マ補正値にガンマゲインを乗算してガンマ補正値を伸長
又は圧縮する場合(ガンマ補正値を変更する場合)に不
動点が生じることがなく、良好に調子を制御することが
できる。逆に、ガンマ補正値が正負両方の符号を持つ場
合には、ゼロクロス点をもつことになる。このゼロクロ
ス点はいかなるガンマゲインを乗算しても変化しない不
動点となってしまい、良好に調子を制御することができ
ない。According to the present invention, since the gamma correction value stored in the look-up table has a single sign, the gamma correction value read from the look-up table is multiplied by the gamma gain to obtain the gamma correction value. When the correction value is expanded or compressed (when the gamma correction value is changed), a fixed point does not occur, and the tone can be controlled well. On the contrary, when the gamma correction value has both positive and negative signs, it has a zero cross point. This zero-cross point becomes a fixed point that does not change even if multiplied by any gamma gain, and the tone cannot be controlled well.
【0011】また、フイルム画像を撮像する場合には、
前記ルックアップテーブルに記憶されるガンマ補正値
を、前記フイルムがもっているガンマと画像表示手段に
出力される映像信号がもっているガンマとの差分に対応
した値とすることにより、1つのルックアップテーブル
で両者のガンマ補正を一挙に行うことができる。本発明
の他の態様によれば、ルックアップテーブルから読み出
したガンマ補正値に対して、R,G,Bの各色別に異な
るガンマゲインを乗算し、入力するR,G,Bデジタル
画像信号に対して前記乗算によって伸長又は圧縮したガ
ンマ補正値を減算又は加算することによりR,G,Bデ
ジタル画像信号の中間調を合わせるようにしている。
R,G,Bの各色別のガンマゲインは中間調を合わせる
ように決定されるため、階調の低い部分及び高い部分の
グレーは完全には合わない。そこで、前記中間調が合わ
されたR,G,Bデジタル画像信号に基づいて生成され
るクロマ信号のうち低輝度部及び高輝度部に対応するク
ロマ信号を抑圧し、もってクロマ信号の低輝度部及び高
輝度部における色付きを低減するようにしている。When a film image is taken,
One look-up table by setting the gamma correction value stored in the look-up table to a value corresponding to the difference between the gamma of the film and the gamma of the video signal output to the image display means. With, both gamma corrections can be performed at once. According to another aspect of the present invention, the gamma correction values read from the look-up table are multiplied by different gamma gains for the respective colors of R, G, B, and the input R, G, B digital image signals are input. By subtracting or adding the gamma correction value expanded or compressed by the multiplication, the halftones of the R, G, B digital image signals are matched.
Since the gamma gain for each color of R, G, and B is determined so as to match the halftone, the gray in the low tone part and the gray in the high tone part are not perfectly matched. Therefore, the chroma signals corresponding to the low-luminance portion and the high-luminance portion of the chroma signal generated based on the R, G, and B digital image signals in which the halftones are adjusted are suppressed, and thus the low-luminance portion of the chroma signal and Coloring is reduced in the high brightness area.
【0012】本発明の更に他の態様によれば、様々なシ
ーンに対するガンマゲインの可変範囲を、上述のガンマ
補正方法による入出力特性を示す曲線が単調増加する範
囲内とし、これによりガンマ補正が良好に行われるよう
にしている。本発明の他の態様によれば、1つのルック
アップテーブルをネガフイルム及びリバーサルフイルム
の画像を示すデジタル画像信号の両方のガンマ補正に使
用できるようにしている。即ち、予めネガフイルム又は
リバーサルフイルムのうちのいずれか一方のフイルムの
もっているガンマに基づいて入力信号の階調に応じたガ
ンマ補正値を記憶するルックアップテーブルを準備し、
他方のフイルムの画像を撮像して得られるデジタル画像
信号のガンマ補正時には、そのデジタル画像信号の階調
を白黒反転した階調に基づいて前記ルックアップテーブ
ルに記憶されているガンマ補正値を読み出すようにして
いる。According to still another aspect of the present invention, the variable range of the gamma gain for various scenes is set within the range in which the curve showing the input / output characteristics by the above-mentioned gamma correction method monotonically increases, whereby good gamma correction is achieved. To be done. According to another aspect of the invention, one look-up table is made available for gamma correction of both digital image signals representing negative film and reversal film images. That is, a look-up table that stores a gamma correction value according to the gradation of the input signal based on the gamma of one of the negative film and the reversal film is prepared in advance,
At the time of gamma correction of the digital image signal obtained by picking up the image of the other film, the gamma correction value stored in the look-up table is read out based on the grayscale of the digital image signal which is black and white inverted. I have to.
【0013】[0013]
【実施例】以下添付図面に従って本発明に係るガンマ補
正方法の好ましい実施例を詳説する。図1は本発明が適
用されるフイルムスキャナの一実施例を示す要部ブロッ
ク図である。このフイルムスキャナは、主として照明用
の光源10、撮影レンズ12、CCDラインセンサ1
4、アナログアンプ16、A/Dコンバータ18、デジ
タル信号処理回路20、モータ31、キャプスタン32
及びピンチローラ33を含むフイルム駆動装置、中央処
理装置(CPU)40等を備えている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of the gamma correction method according to the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a block diagram of essential parts showing an embodiment of a film scanner to which the present invention is applied. This film scanner mainly includes a light source 10 for illumination, a photographing lens 12, and a CCD line sensor 1.
4, analog amplifier 16, A / D converter 18, digital signal processing circuit 20, motor 31, capstan 32
And a film driving device including a pinch roller 33, a central processing unit (CPU) 40, and the like.
【0014】光源10は、フイルムカートリッジ50内
から引き出される現像済みのネガフイルム52を図示し
ない赤外カットフィルタを介して照明し、フイルム52
を透過した透過光は、撮影レンズ12を介してCCDラ
インセンサ14の受光面に結像される。CCDラインセ
ンサ14は、フイルム搬送方向と直交する方向に102
4画素分の受光部が配設されており、CCDラインセン
サ14の受光面に結像された画像光は、R,G,Bフィ
ルタが設けられて各受光部で電荷蓄積され、光の強さに
応じた量のR,G,Bの信号電荷に変換される。このよ
うにして蓄積されたR,G,Bの電荷は、CCD駆動回
路15から加えられる1ライン周期のリードゲートパル
スが加えられると、シフトレジスタに転送されたのちレ
ジスタ転送パルスによって順次電圧信号として出力され
る。また、このCCDラインセンサ14は、各受光部に
隣接してシャッターゲート及びシャッタードレインが設
けられており、このシャッターゲートをシャッターゲー
トパルスによって駆動することにより、受光部に蓄積さ
れた電荷をシャッタードレインに掃き出すことができ
る。即ち、このCCDラインセンサ14は、CCD駆動
回路15から加えれるシャッターゲートパルスに応じて
受光部に蓄積する電荷を制御することができる、いわゆ
る電子シャッター機能を有している。The light source 10 illuminates the developed negative film 52 drawn out from the film cartridge 50 through an infrared cut filter (not shown), and the film 52 is illuminated.
The transmitted light transmitted through is imaged on the light receiving surface of the CCD line sensor 14 via the taking lens 12. The CCD line sensor 14 is placed in the direction 102 orthogonal to the film transport direction.
A light receiving portion for four pixels is provided, and the image light formed on the light receiving surface of the CCD line sensor 14 is provided with R, G, and B filters to accumulate charges in each light receiving portion, and the intensity of the light is increased. It is converted into R, G, and B signal charges in an amount corresponding to the level. The R, G, and B charges thus accumulated are transferred to the shift register when a read gate pulse of one line period applied from the CCD drive circuit 15 is applied, and then sequentially converted into voltage signals by register transfer pulses. Is output. Further, the CCD line sensor 14 is provided with a shutter gate and a shutter drain adjacent to each light receiving portion. By driving this shutter gate with a shutter gate pulse, the electric charge accumulated in the light receiving portion is shutter drained. Can be swept up to. That is, the CCD line sensor 14 has a so-called electronic shutter function capable of controlling the electric charge accumulated in the light receiving portion according to the shutter gate pulse applied from the CCD drive circuit 15.
【0015】上記CCDラインセンサ14から読み出さ
れたR,G,B電圧信号は、図示しないCDSクランプ
によってクランプされてアナログアンプ16に加えら
れ、ここで後述するようにゲインが制御される。アナロ
グアンプ16から出力される1コマ分のR,G,B電圧
信号は、A/Dコンバータ18によって点順次のR,
G,Bデジタル画像信号に変換されたのち、デジタル信
号処理回路20によって後述する白バランス、黒バラン
ス、ネガポジ反転、ガンマ補正等が行われ、YCC変換
回路35によって輝度信号Yとクロマ信号Cr,Cb に変
換される。そして、輝度信号Yとクロマ抑圧回路36を
経由したクロマ信号Cr,Cb は、図示しない画像メモリ
に記憶される。The R, G, B voltage signals read from the CCD line sensor 14 are clamped by a CDS clamp (not shown) and applied to the analog amplifier 16, and the gain is controlled as described later. The R, G, B voltage signals for one frame output from the analog amplifier 16 are dot-sequential R, G, B voltage signals by the A / D converter 18.
After being converted into G and B digital image signals, the digital signal processing circuit 20 performs white balance, black balance, negative / positive inversion, gamma correction, etc., which will be described later, and the YCC conversion circuit 35 performs the luminance signal Y and the chroma signal Cr ,. Converted to C b . Then, the luminance signal Y and the chroma signals C r and C b passed through the chroma suppression circuit 36 are stored in an image memory (not shown).
【0016】尚、画像メモリに記憶された1コマ分の輝
度信号Yとクロマ信号Cr,Cb は、繰り返し読み出さ
れ、D/Aコンバータによってアナログ信号に変換され
たのち、エンコーダでNTSC方式の複合映像信号に変
換されてモニタTVに出力される。これにより、モニタ
TVよってフイルム画像を見ることができるようにな
る。The luminance signal Y and the chroma signals C r, C b for one frame stored in the image memory are repeatedly read and converted into analog signals by the D / A converter, and then the NTSC system is used by the encoder. Is converted into a composite video signal of and output to the monitor TV. As a result, the film image can be viewed on the monitor TV.
【0017】フイルム駆動装置は、フイルムカートリッ
ジ50のスプール50Aと係合し、そのスプール50A
を正転/逆転駆動するフイルム供給部と、このフイルム
供給部から送出されるフイルム52を巻き取るフイルム
巻取部と、フイルム搬送路に配設され、フイルム52を
モータ31によって駆動されるキャプスタン32とピン
チローラ33とで挟持してフイルム32を所望の速度で
搬送する手段とから構成されている。尚、上記フイルム
供給部は、フイルムカートリッジ50のスプール50A
を図1上で時計回り方向に駆動し、フイルム先端がフイ
ルム巻取部によって巻き取られるまでフイルムカートリ
ッジ50からフイルム52を送り出すようにしている。
また、CPU40は、モータ回転数/方向制御回路34
を通じてモータ31の正転/逆転、起動/停止、パルス
幅変調によるフイルム搬送速度の制御を行うことができ
る。The film driving device engages with the spool 50A of the film cartridge 50, and the spool 50A
A film supply unit that drives the film in the normal / reverse direction, a film winding unit that winds the film 52 sent from the film supply unit, and a capstan that is disposed in the film transport path and that drives the film 52 by a motor 31. It is constituted by a means for sandwiching the film 32 and a pinch roller 33 and conveying the film 32 at a desired speed. The film supply section is a spool 50A of the film cartridge 50.
1 is driven clockwise in FIG. 1 to feed the film 52 from the film cartridge 50 until the leading end of the film is wound by the film winding section.
Further, the CPU 40 controls the motor speed / direction control circuit 34.
Through this, the forward / reverse rotation of the motor 31, the start / stop, and the film transport speed by pulse width modulation can be controlled.
【0018】さて、フイルムカートリッジ50がカート
リッジ収納部(図示せず)にセットされ、フイルムカー
トリッジ50からフイルム52が送り出されてフイルム
先端がフイルム巻取部の巻取軸に巻き付けられると(フ
イルムローディングが完了すると)、フイルム52が一
定速度で搬送される。これにより、フイルム画像のスキ
ャンが行われ、CCDラインセンサ14、アナログアン
プ16及びA/Dコンバータ18を介して積算ブロック
41に点順次のR,G,Bデジタル画像信号が取り込ま
れる。Now, when the film cartridge 50 is set in the cartridge storage portion (not shown), the film 52 is sent out from the film cartridge 50 and the leading end of the film is wound around the winding shaft of the film winding portion (film loading When completed), the film 52 is transported at a constant speed. As a result, the film image is scanned, and the dot-sequential R, G, B digital image signals are captured by the integrating block 41 via the CCD line sensor 14, the analog amplifier 16 and the A / D converter 18.
【0019】積算ブロック41は、R,G,Bデジタル
画像信号毎に所定の積算エリアのデジタル画像信号の階
調(本実施例では、9ビット(0〜511)の階調)を
積算し、その積算エリアの平均階調を求め、1画面に付
き5000〜10000点数の積算エリアの各階調デー
タを作成する。更に、積算ブロック41は、順次作成さ
れる階調データに基づいて各階調毎の度数をカウント
し、この度数が階調データの総点数に対して設定された
閾値TH(本実施例では総点数の1%)を越えた場合に
はカウントを停止する。即ち、積算ブロック41は、図
2に示すように0〜511までの全ての階調に対して最
大閾値THまでカウントした簡易ヒストグラム(図2中
の斜線で示すヒストグラム)を作成し、CPU40に出
力する。尚、上記閾値THを越える度数をカウントしな
いことにより、カウンタのビット数を大幅に低減するこ
とができる。また、図2上で2点鎖線は、総点数をカウ
ントした場合の本来のヒストグラムである。The integrating block 41 integrates the gradation (9 bits (0 to 511) gradation in this embodiment) of the digital image signal in a predetermined integrating area for each R, G, B digital image signal, The average gradation of the integrated area is obtained, and each gradation data of the integrated area of 5000 to 10000 points is created per screen. Furthermore, the integration block 41 counts the frequency for each gradation based on the gradation data that is sequentially created, and this frequency is a threshold value TH (the total number of points in this embodiment) set for the total number of points of the gradation data. 1%) of the above, the counting is stopped. That is, the integration block 41 creates a simple histogram (histogram shown by diagonal lines in FIG. 2) that counts up to the maximum threshold value TH for all gradations from 0 to 511 as shown in FIG. To do. The number of bits of the counter can be greatly reduced by not counting the frequency that exceeds the threshold TH. The two-dot chain line in FIG. 2 is the original histogram when the total number of points is counted.
【0020】CPU40は、図2に示した簡易ヒストグ
ラムの階調の小さい方から度数を順次累算し、その累算
度数が前記閾値THと一致又は最初に越えたときの階調
を基準最小値としてR,G,B毎に求めるとともに、簡
易ヒストグラムの階調の大きい方から度数を順次累算
し、その累算度数が前記閾値THと一致又は最初に越え
たときの階調を基準最大値としてR,G,B毎に求め
る。The CPU 40 sequentially accumulates frequencies from the smallest gradation of the simple histogram shown in FIG. 2, and the gradation when the accumulated frequency coincides with or exceeds the threshold value TH at the reference minimum value. As the R, G, and B values, the frequencies are sequentially accumulated from the one with the highest gradation in the simple histogram, and the gradation when the accumulated frequency matches or first exceeds the threshold TH is the reference maximum value. As R, G, B.
【0021】次に、白バランス、黒バランス、ネガポジ
反転、ガンマ補正等を行うデジタル信号処理回路20に
ついて説明する。先ず、白バランス及び黒バランスを合
わせるために使用するオフセット値、ゲイン量の算出方
法について説明する。CPU40は、前記R,G,B毎
に求めた基準最大値に基づいてR,G,B毎のオフセッ
ト値を算出するとともに、基準最大値及び基準最小値に
基づいてR,G,B毎のゲイン量を算出する。即ち、R
の基準最大値をRref max 、基準最小値をRref min と
すると、上記オフセット値及びゲイン量は、次式、 オフセット値=511−Rref max …(1) ゲイン量=511/(Rref max −Rref min ) …(2) により算出する。Next, the digital signal processing circuit 20 for performing white balance, black balance, negative / positive inversion, gamma correction, etc. will be described. First, a method of calculating an offset value and a gain amount used to match the white balance and the black balance will be described. The CPU 40 calculates the offset value for each R, G, B based on the reference maximum value obtained for each R, G, B, and also for each R, G, B based on the reference maximum value and the reference minimum value. Calculate the amount of gain. That is, R
Where R ref max is the reference maximum value and R ref min is the reference minimum value, the offset value and the gain amount are as follows: offset value = 511−R ref max (1) gain amount = 511 / (R ref max- R ref min ) ... Calculated by (2).
【0022】尚、式(1)、(2)は、Rに関するもの
であるが、他の色チャンネルも同様にして算出する。ま
た、ここでは、R,G,Bデジタル画像信号は9ビット
として表しており、511はその最大値である。そし
て、スキャン時にA/Dコンバータ18から出力される
オリジナルRorgに対して、次式、 R1=Rorg +オフセット値 …(3) に示すようにRのオフセット値を加算することによって
黒点オフセットされたデジタル画像信号R1を得ること
ができる。G,Bのオリジナルについても同様の処理を
行うことににより、R,G,Bデジタル画像信号のピー
ク値(ポジ画像の黒)が一致させられる(図3(A)参
照)。The expressions (1) and (2) are related to R, but other color channels are calculated in the same manner. Also, here, the R, G, B digital image signals are represented as 9 bits, and 511 is the maximum value thereof. Then, the black point is offset by adding the offset value of R to the original R org output from the A / D converter 18 at the time of scanning as shown in the following equation: R1 = R org + offset value (3) The digital image signal R1 can be obtained. By performing the same processing on the G and B originals, the peak values of the R, G, and B digital image signals (black of the positive image) are matched (see FIG. 3A).
【0023】続いて、上記オフセットされたデジタル画
像信号R1に対して、次式、 R2=511−R1 …(4) の演算を実行することにより、ネガポジ反転が行われる
(図3(B)参照)。次に、ネガポジ反転されたデジタ
ル画像信号R2に対して、式(2)で求めたゲイン量
を、次式に示すように乗算することにより、 R3=R2×ゲイン量 …(5) R,G,Bデジタル画像信号の他方のピーク値(ポジ画
像の白)が一致させられる(図3(C)参照)。Next, negative / positive inversion is performed on the offset digital image signal R1 by executing the following equation, R2 = 511-R1 (4) (see FIG. 3B). ). Next, the negative-positive inverted digital image signal R2 is multiplied by the gain amount obtained by the equation (2) as shown in the following equation to obtain R3 = R2 × gain amount (5) R, G , B of the B digital image signal are matched with each other (white of the positive image) (see FIG. 3C).
【0024】最後に、ゲイン量が乗算されたR,G,B
デジタル画像信号にそれぞれ異なるガンマ補正を行うこ
とにより、グレーが合わせられる(図3(D)参照)。
次に、上記ガンマ補正について更に詳細に説明する。先
ず、図4に示すようにガンマ補正をする際の基準となる
ルックアップテーブル(以下、ベースLUTという)を
準備する。Finally, R, G, B multiplied by the gain amount
Grays are matched by performing different gamma corrections on the digital image signals (see FIG. 3D).
Next, the gamma correction will be described in more detail. First, as shown in FIG. 4, a look-up table (hereinafter referred to as a base LUT) serving as a reference when performing gamma correction is prepared.
【0025】このベースLUTは、ネガフイルムがもっ
ているガンマの曲線とブラウン管に出力される映像信号
がもっているガンマ(一般的にはγ=0.45)の曲線との
差分を示すガンマ補正値が各階調毎に記憶されている。
尚、入出力特性を示す実際のルックアップテーブル(以
下、実際のLUTという)は、図4(A)に示すように
関数y=xからベースLUT(ガンマ補正値)を差し引
いたものである。In this base LUT, the gamma correction value indicating the difference between the gamma curve of the negative film and the gamma curve (generally γ = 0.45) of the video signal output to the CRT is at each gradation. It is stored for each.
An actual look-up table showing input / output characteristics (hereinafter referred to as an actual LUT) is obtained by subtracting the base LUT (gamma correction value) from the function y = x as shown in FIG.
【0026】また、ベースLUTに対して、ガンマゲイ
ンを乗算することにより、ベースLUTを変化させるこ
とができる(図4(B)参照)。これにより1つのベー
スLUTから適宜のガンマゲインを乗算することによ
り、R,G,B毎にガンマ補正値が伸長又は圧縮された
LUTを得ることができる。尚、図4(C)は、関数y
=xからそれぞれR,G,B毎にガンマ補正値が伸長又
は圧縮されたLUTを差し引くことにより得られるR,
G,B毎の実際のLUTである。The base LUT can be changed by multiplying the base LUT by a gamma gain (see FIG. 4B). Thus, by multiplying an appropriate gamma gain from one base LUT, it is possible to obtain an LUT in which the gamma correction value is expanded or compressed for each of R, G, and B. Note that FIG. 4C shows the function y
= X obtained by subtracting the LUT in which the gamma correction values are expanded or compressed for R, G, and B, respectively,
It is an actual LUT for each of G and B.
【0027】従って、前述した式(3)〜(5)によっ
て白バランス及び黒バランスが合わされ、ネガポジ反転
された点順次のR,G,Bデジタル画像信号に対してガ
ンマ補正を行う場合には、点順次のR,G,Bデジタル
画像信号に基づいて前記ベースLUTから順次ガンマ補
正値を読み出し、そのガンマ補正値にR,G,B毎のガ
ンマゲインを乗算して適宜伸長又は圧縮したガンマ補正
値を求め、点順次のR,G,Bデジタル画像信号から色
別に伸長又は圧縮したガンマ補正値を減算することによ
り点順次で各色別にガンマ補正を行うことができる。Therefore, when the white balance and the black balance are adjusted by the above equations (3) to (5) and the gamma correction is performed on the dot-sequential R, G, B digital image signals which are negative-positive inverted, Gamma correction values are sequentially read out from the base LUT based on dot-sequential R, G, B digital image signals, and the gamma correction values are multiplied by R, G, B gamma gains and expanded or compressed as appropriate. Is obtained, and the gamma correction value expanded or compressed for each color is subtracted from the dot-sequential R, G, B digital image signal to perform the gamma correction for each color in the dot sequence.
【0028】ところで、上記ベースLUTの特徴は、図
4(A)に示したようにガンマ補正値が単一の符号(こ
の実施例では正の値)のみをもっていることである。こ
れにより、ベースLUTに乗算するガンマゲインを変え
ると、図4(C)に示すように実際のLUTは全階調に
わたって変動することになる。これに対し、図5(B)
に示すベースLUTのようにガンマ補正値が正負両方の
符号を持つ場合には、ゼロクロス点をもつことになる。
このゼロクロス点はいかなるガンマゲインを乗算しても
変化しない不動点(図5(A))となってしまい、良好
に調子を制御することができない。By the way, the characteristic of the base LUT is that the gamma correction value has only a single sign (a positive value in this embodiment) as shown in FIG. As a result, when the gamma gain by which the base LUT is multiplied is changed, the actual LUT changes over all gradations as shown in FIG. On the other hand, FIG. 5 (B)
When the gamma correction value has both positive and negative signs as in the base LUT shown in FIG.
This zero-cross point becomes a fixed point (FIG. 5A) that does not change even if any gamma gain is multiplied, and the tone cannot be controlled well.
【0029】また、図6は、関数y=xからベースLU
Tを差し引いた実際のLUTと、その実際のLUTの隣
合う差分値の頻度分布を示している。同図に示すよう
に、実際のLUTの隣合う差分値は、ノイズレベルより
も小さい所定値(この実施例では4)以下に抑えられて
いる。即ち、実際のLUTの隣合う差分値(微分値、傾
き)を大きくしすぎると、撮像系のノイズや、ネガの粒
状を目立たせる方向に作用するため、これを避けるため
に上記のように差分値を制限し、S/Nの向上を図って
いる。Further, FIG. 6 shows that from the function y = x to the base LU
It shows the actual LUT from which T is subtracted and the frequency distribution of adjacent difference values of the actual LUT. As shown in the figure, the adjacent difference values of the actual LUT are suppressed below a predetermined value (4 in this embodiment) smaller than the noise level. That is, if the difference values (differential values, slopes) adjacent to each other in the actual LUT are made too large, the noise acts on the imaging system and the graininess of the negative is conspicuous. Therefore, in order to avoid this, the difference as described above is used. The value is limited to improve S / N.
【0030】更に、図7に示すように実際のLUTは、
ベースLUTに乗算するガンマゲインの大きさに応じて
入出力特性が変わり、ガンマゲインが所定値以上になる
と、単調増加性が失われる。例えば、ガンマゲインが
1.2の場合には、実線で示す実際のLUTは破線で示
すようになり、単調増加性は保たれているが、ガンマゲ
インが1.4の場合には、実線で示す実際のLUTは一
点鎖線で示すようになり、単調増加性が失われる。Further, as shown in FIG. 7, the actual LUT is
The input / output characteristics change depending on the size of the gamma gain by which the base LUT is multiplied, and when the gamma gain exceeds a predetermined value, the monotonic increase property is lost. For example, when the gamma gain is 1.2, the actual LUT shown by the solid line is as shown by the broken line, and the monotonic increase property is maintained, but when the gamma gain is 1.4, the actual LUT shown by the solid line. LUT becomes as shown by the alternate long and short dash line, and monotonicity is lost.
【0031】従って、本発明では、ガンマゲインの可変
範囲を実際のLUTが単調増加する範囲内とし、これに
よりガンマ補正が良好に行われるようにしている。尚、
単調増加性が失われるガンマゲインの値は、ベースLU
Tによって異なる。図8は図1に示したデジタル信号処
理回路20の内部構成を含むブロック図である。このデ
ジタル信号処理回路20は上述したデジタル信号処理を
行うもので、主として加算器21、22、24、乗算器
23、26、及びベースLUT25から構成されてい
る。加算器21には、A/Dコンバータ18から点順次
のR,G,Bデジタル画像信号CMPAD が入力している。
尚、デジタル画像信号CMPAD は、所定のクロックにした
がって時系列的にR,G,B,Gと流れている。Therefore, in the present invention, the variable range of the gamma gain is set within the range in which the actual LUT monotonically increases, so that the gamma correction is favorably performed. still,
The value of gamma gain at which monotonic increase is lost is the base LU.
It depends on T. FIG. 8 is a block diagram including the internal configuration of the digital signal processing circuit 20 shown in FIG. The digital signal processing circuit 20 performs the digital signal processing described above, and is mainly composed of adders 21, 22, 24, multipliers 23, 26, and a base LUT 25. The dot-sequential R, G, B digital image signal CMPAD from the A / D converter 18 is input to the adder 21.
The digital image signal CMPAD flows in time series R, G, B, G according to a predetermined clock.
【0032】一方、CPU40は、式(1)及び(2)
に示したようにR,G,B毎にオフセット値(R
offset, Goffset,Boffset)及びゲイン量(R
wbgain, Gwbgain,Bwbgain)を算出して記憶するとと
もに、R,G,B毎にガンマゲイン(Rga mgain,G
gamgain,Bgamgain )を記憶している。また、これらの
オフセット値等は、各コマ毎に記憶されている。そし
て、アドレスデコーダ42によってスキャンしようとす
るコマに対応するオフセット値等が選択され、図8中の
INTDATA によってR,G,Bのオフセット値はレジスタ
43R,43G,43Bに格納され、R,G,Bのゲイ
ン量はレジスタ44R,44G,44Bに格納され、
R,G,Bのガンマゲインはレジスタ45R,45G,
45Bに格納される。尚、これらのレジスタには、1コ
マ分のR,G,Bデジタル画像信号が処理されるまで保
持される。On the other hand, the CPU 40 uses the equations (1) and (2).
As shown in, the offset value (R
offset, G offset , B offset ) and gain amount (R
wbgain, G wbgain , B wbgain ) is calculated and stored, and gamma gain (R ga mgain, G) is calculated for each R, G, B.
gamgain, B gamgain ) is memorized. Further, these offset values and the like are stored for each frame. Then, the offset value or the like corresponding to the frame to be scanned is selected by the address decoder 42.
According to INTDATA, the offset values of R, G, B are stored in the registers 43R, 43G, 43B, the gain amounts of R, G, B are stored in the registers 44R, 44G, 44B,
R, G, and B gamma gains are registered in registers 45R, 45G,
45B. Incidentally, these registers hold the R, G, B digital image signals for one frame until they are processed.
【0033】レジスタ43R,43G,43Bに格納さ
れたオフセット値(Roffset, Gof fset,Boffset)は
マルチプレクサ46に加えられており、マルチプレクサ
46の他の入力には、前記所定のクロックを分周して作
成されたタイミング信号INTCOLSL0,1が加えられてい
る。マルチプレクサ46は、タイミング信号INTCOLSL
0,1によって3つのオフセット値からいずれか1つの
オフセット値を選択し、この選択したオフセット値をデ
ジタル信号処理回路20の加算器21の他の入力に出力
する。The offset values (R offset, G of fset , B offset ) stored in the registers 43R, 43G, 43B are added to the multiplexer 46, and the predetermined clock is divided to the other input of the multiplexer 46. Timing signals INTCOLSL0, 1 created by making a circle are added. The multiplexer 46 uses the timing signal INTCOLSL
One of the three offset values is selected by 0 and 1, and the selected offset value is output to the other input of the adder 21 of the digital signal processing circuit 20.
【0034】同様にして、マルチプレクサ47は、レジ
スタ44R,44G,44Bから入力する3つのゲイン
量(Rwbgain, Gwbgain,Bwbgain)のうちの1つのゲ
イン量を選択し、この選択したゲイン量を乗算器23に
出力し、また、マルチプレクサ48は、レジスタ45
R,45G,45Bから入力する3つのガンマゲイン
(Rgamgain,Ggamgain,Bgamgain )からいずれか1つ
のガンマゲインを選択し、この選択したガンマゲインを
乗算器26に出力する。Similarly, the multiplexer 47 selects one gain amount from the three gain amounts (R wbgain, G wbgain , B wbgain ) input from the registers 44R, 44G, and 44B, and selects the selected gain amount. Is output to the multiplier 23, and the multiplexer 48
Any one gamma gain is selected from the three gamma gains (R gamgain, G gamgain, B gamgain ) input from R, 45G, and 45B, and the selected gamma gain is output to the multiplier 26.
【0035】一方、加算器21には前述したようにデジ
タル画像信号CMPAD が入力しており、加算器21はデジ
タル画像信号CMPAD とオフセット値とを加算する。これ
により、黒点オフセットされたデジタル画像信号が得ら
れる(式(3)、図3(A)参照)。加算器21から出
力される黒点オフセットされたデジタル画像信号は、加
算器22の負入力に加えられ、加算器22の正入力には
白ピークレベルを示す値(511)が加えられており、
加算器22は511から黒点オフセットされたデジタル
画像信号を減算する。これによりネガポジ反転されたデ
ジタル画像信号が得られる(式(4)、図3(B)参
照)。On the other hand, as described above, the digital image signal CMPAD is input to the adder 21, and the adder 21 adds the digital image signal CMPAD and the offset value. As a result, a digital image signal with a black point offset is obtained (equation (3), see FIG. 3A). The black dot offset digital image signal output from the adder 21 is added to the negative input of the adder 22, and a value (511) indicating the white peak level is added to the positive input of the adder 22,
The adder 22 subtracts the black dot offset digital image signal from 511. As a result, a negative-positive inverted digital image signal is obtained (see formula (4), FIG. 3B).
【0036】続いて、ネガポジ反転されたデジタル画像
信号は、乗算器23に加えられる。乗算器23の他の入
力にはマルチプレクサ47からゲイン量が加えられてお
り、乗算器23は2入力を乗算することにより、R,
G,Bデジタル画像信号のポジ画像の白を合わせる(式
(5)、図3(C)参照)。次に、乗算器23から出力
されるデジタル画像信号は、加算器24及びベースLU
T25に加えられる。ベースLUT25は、図4(A)
に示したように入力信号の階調に応じたガンマ補正値を
有しており、入力するデジタル画像信号の階調に応じた
ガンマ補正値を読み出し、このガンマ補正値を乗算器2
6に出力する。乗算器26の他の入力にはマルチプレク
サ48からガンマゲインが加えられており、乗算器23
は2入力を乗算することにより、R,G,Bデジタル画
像信号の色別のガンマ補正値を生成し、これを加算器2
4の負入力に出力する。Subsequently, the negative-positive inverted digital image signal is added to the multiplier 23. The gain amount from the multiplexer 47 is added to the other input of the multiplier 23, and the multiplier 23 multiplies the two inputs to obtain R,
The whites of the positive images of the G and B digital image signals are matched (see formula (5) and FIG. 3C). Next, the digital image signal output from the multiplier 23 is added to the adder 24 and the base LU.
Added to T25. The base LUT 25 is shown in FIG.
As shown in FIG. 3, it has a gamma correction value corresponding to the gradation of the input signal, reads the gamma correction value corresponding to the gradation of the input digital image signal, and uses this gamma correction value in the multiplier 2
Output to 6. The gamma gain is applied to the other input of the multiplier 26 from the multiplexer 48, and the multiplier 23
Generates a gamma correction value for each color of the R, G, B digital image signals by multiplying the two inputs, and this is added by the adder 2
Output to the negative input of 4.
【0037】加算器24は入力するR,G,Bデジタル
画像信号から各色別に伸長又は圧縮されたガンマ補正値
を減算する。これによりガンマ補正された正規のR,
G,Bデジタル画像信号RGBGgam が得られる。尚、
露光の異なるネガは、被写体輝度に対する階調特性が異
なり、ガンマ特性も異なる。従って、ネガの露光量に応
じてベースLUTを変化させる必要がある。そこで、ネ
ガの露光量に応じて前述した色別のガンマゲイン(R
gamgain,Gga mgain,Bgamgain )を変化させるようにす
れば、ネガの露光量に応じたガンマ補正を行うことがで
きる。The adder 24 subtracts the expanded or compressed gamma correction value for each color from the input R, G, B digital image signal. With this, gamma-corrected regular R,
G, B digital image signals RGBG gam are obtained. still,
Negatives with different exposures have different gradation characteristics with respect to subject brightness and also different gamma characteristics. Therefore, it is necessary to change the base LUT according to the negative exposure amount. Therefore, depending on the exposure amount of the negative, the gamma gain (R
gamgain, G ga mgain, if B gamgain) to vary the, it is possible to perform gamma correction corresponding to the exposure amount of the negative.
【0038】さて、上述したガンマ補正方法は、1つの
ベースLUTを用い、R,G,B毎にガンマゲインを変
えてR,G,B信号の中間調のグレーを合わせている
が、ハイライト部及びシャドー部においては、グレーを
ガンマゲインのみで合わせるのは困難である。なぜなら
ば、ガンマゲインは中間調を合わせるように決定される
からである。その結果、ハイライト部及びシャドー部は
完全には一致せず、特にハイライト部における不一致に
伴う色付きは悪い印象を与える。In the gamma correction method described above, one base LUT is used, and the gamma gain is changed for each of R, G, B to match the gray of the halftone of the R, G, B signals. In the shadow portion, it is difficult to match gray with only gamma gain. This is because the gamma gain is determined so as to match the halftone. As a result, the highlight portion and the shadow portion do not completely coincide with each other, and the coloring caused by the disagreement in the highlight portion gives a bad impression.
【0039】そこで、本発明では、以下に示すような信
号処理を行ってハイライト部及びシャドー部における色
付きを低減するようにしている。即ち、図1のデジタル
信号処理回路20から出力されるガンマ補正されたR,
G,Bデジタル画像信号は、YCC変換回路35に加え
られる。YCC変換回路35は、入力するR,G,Bデ
ジタル画像信号に基づいて、次式の演算を行うことによ
りR,G,B信号から輝度信号Y及びクロマ信号Cr ,
Cb のYCC変換を行う。Therefore, in the present invention, the following signal processing is performed to reduce coloring in the highlight portion and the shadow portion. That is, the gamma-corrected R output from the digital signal processing circuit 20 of FIG.
The G and B digital image signals are applied to the YCC conversion circuit 35. YCC conversion circuit 35, R to enter, G, based on B digital image signals, R by performing the following calculation, G, luminance signal from the B signal Y and the chroma signal C r,
Perform YCC conversion of C b .
【0040】 Y ={(R/2+R/8)+(G+G/8)+B/4}/2 …(6) Cr =K1(R−G)+K2(B−G) …(7) Cb =K3(R−G)+K4(B−G) …(8) 尚、K1,K2,K3,K4は定数である。YCC変換
回路35によってYCC変換された輝度信号Y及びクロ
マ信号Cr,Cb は、クロマ抑制回路36に加えられ
る。クロマ抑制回路36は可変増幅器から構成されてお
り、図9に示すように輝度信号の階調に応じてクロマゲ
インを可変させる。即ち、輝度信号が大きいハイライト
部では、クロマゲインを1よりも小さくし、同様に輝度
信号が小さいシャドー部もクロマゲインを1よりも小さ
くし、これによりハイライト部及びシャドー部における
クロマ信号Cr ,Cb を抑圧するようにしている。尚、
ハイライト部及びシャドー部以外では、クロマゲインを
1にし、入力するクロマ信号Cr ,Cb をそのまま出力
する。Y = {(R / 2 + R / 8) + (G + G / 8) + B / 4} / 2 (6) C r = K1 (R−G) + K2 (B−G) (7) C b = K3 (R−G) + K4 (B−G) (8) Note that K1, K2, K3, and K4 are constants. The luminance signal Y and the chroma signals C r and C b YCC-converted by the YCC conversion circuit 35 are added to the chroma suppression circuit 36. The chroma suppression circuit 36 is composed of a variable amplifier, and varies the chroma gain according to the gradation of the luminance signal as shown in FIG. That is, in the highlight portion where the luminance signal is large, the chroma gain is smaller than 1, and similarly in the shadow portion where the luminance signal is small, the chroma gain is also smaller than 1, whereby the chroma signal C r in the highlight portion and the shadow portion is reduced. It tries to suppress C b . still,
Except for the highlight portion and the shadow portion, the chroma gain is set to 1 and the input chroma signals C r and C b are output as they are.
【0041】このようにクロマ信号Cr ,Cb を抑圧す
ることにより、ハイライト部及びシャドー部における色
付きを低減することができる。次に、前述したネガフイ
ルム用のベースLUTを利用して、リバーサルフイルム
用のLUTを作成する方法について説明する。この場合
には、ネガフイルム用のベースLUTからガンマ補正値
を読み出す際に、逆側から読み出すようにする。例え
ば、ベースLUTに0〜511の階調別にガンマ補正値
が記憶されている場合に、リバーサルフイルムの画像信
号の階調が0,1,2…の場合には、前記ベースLUT
において511,510,509…の階調に対応して記
憶されているガンマ補正値を読み出すようにする。この
ようにして読み出すことにより、実質的に図10(B)
に示すようなベースLUTから読み出すことになる。ま
た、リバーサルフイルムの実際のLUTは、図10
(A)に示すように関数y=xに、図10(B)に示す
ベースLUTを加算したものである。By suppressing the chroma signals C r and C b in this way, it is possible to reduce coloring in the highlight portion and the shadow portion. Next, a method of creating a LUT for a reversal film by using the above-described base LUT for a negative film will be described. In this case, when reading the gamma correction value from the base LUT for the negative film, the gamma correction value is read from the opposite side. For example, when gamma correction values are stored in the base LUT for each gradation of 0 to 511 and the gradation of the image signal of the reversal film is 0, 1, 2, ...
At, the gamma correction values stored corresponding to the gradations of 511, 510, 509 ... Are read out. By reading out in this manner, it is practically possible to read FIG.
It will be read from the base LUT as shown in FIG. The actual LUT of the reversal film is shown in FIG.
As shown in (A), the function y = x is added with the base LUT shown in FIG. 10 (B).
【0042】次に、リバーサルフイルムの画像を撮像し
た場合の信号処理について、図8のデジタル信号処理回
路20を参照しながら説明する。先ず、加算器21でデ
ジタル画像信号CMPAD からR,G,B毎のオフセット値
を減算し、黒レベルを合わせる。尚、上記オフセット値
は、R,G,B毎の基準最小値である。そして、黒点オ
フセットされたデジタル画像信号は、ネガポジ反転する
ための加算器22をそのまま通過させる。続いて、加算
器22を通過したデジタル画像信号は、乗算器23で
R,G,B毎のゲイン量が乗算され、白ピークが合わさ
れる。Next, signal processing when a reversal film image is picked up will be described with reference to the digital signal processing circuit 20 of FIG. First, the adder 21 subtracts the R, G, and B offset values from the digital image signal CMPAD to match the black levels. The offset value is a reference minimum value for each of R, G, and B. Then, the black-point-offset digital image signal is passed through the adder 22 for negative-positive inversion as it is. Subsequently, the digital image signal that has passed through the adder 22 is multiplied by the gain amounts of R, G, and B in the multiplier 23, and the white peak is adjusted.
【0043】次に、乗算器23から出力されるデジタル
画像信号は、加算器24及びベースLUT25に加えら
れる。ベースLUT25では、入力するデジタル画像信
号の階調を白黒反転した階調に応じたガンマ補正値が読
み出され、このガンマ補正値を乗算器26に出力する。
乗算器26の他の入力にはマルチプレクサ48から中間
調のグレーを合わせるためのガンマゲインが加えられて
おり、乗算器26は2入力を乗算することにより、R,
G,Bデジタル画像信号の色別のガンマ補正値を生成
し、これを加算器24に出力する。Next, the digital image signal output from the multiplier 23 is added to the adder 24 and the base LUT 25. The base LUT 25 reads out a gamma correction value corresponding to the grayscale of the input digital image signal that has been inverted in black and white, and outputs this gamma correction value to the multiplier 26.
To the other input of the multiplier 26, a gamma gain for adjusting the gray of halftone is added from the multiplexer 48, and the multiplier 26 multiplies two inputs to obtain R,
A gamma correction value for each color of the G and B digital image signals is generated and output to the adder 24.
【0044】加算器24は入力するR,G,Bデジタル
画像信号と各色別に伸長又は圧縮されたガンマ補正値と
を加算する。これによりガンマ補正された正規のR,
G,Bデジタル画像信号RGBGgam が得られる。尚、
上記実施例ではネガフイルム用のベースLUTをリバー
サルフイルム用に適用する場合について説明したが、こ
れに限らず、リバーサルフイルム用のベースLUTをネ
ガフイルム用に適用することもできる。The adder 24 adds the input R, G and B digital image signals and the expanded or compressed gamma correction value for each color. With this, gamma-corrected regular R,
G, B digital image signals RGBG gam are obtained. still,
In the above embodiment, the case where the negative film base LUT is applied to the reversal film has been described, but the present invention is not limited to this, and the reversal film base LUT can also be applied to the negative film.
【0045】[0045]
【発明の効果】以上説明したように本発明に係るガンマ
補正方法によれば、ベースLUTにガンマゲインを乗算
することにより種々のガンマ補正値を発生させるように
したため、1つのベースLUTで済み、メモリ容量も少
なくて済むという利点がある。また、ベースLUTに記
憶されるガンマ補正値は、単一の符号をもっているた
め、ガンマ補正値にガンマゲインを乗算してガンマ補正
値を伸長又は圧縮する場合に不動点が生じることがな
く、良好に調子を制御することができる。更に、フイル
ム画像を撮像する場合には、ベースLUTに記憶される
ガンマ補正値を、前記フイルムがもっているガンマと画
像表示手段に出力される映像信号がもっているガンマと
の差分に対応した値とすることにより、1つのベースL
UTで両者のガンマ補正を一挙に行うことができる。As described above, according to the gamma correction method of the present invention, various gamma correction values are generated by multiplying the base LUT by the gamma gain. It has the advantage that it requires less capacity. Further, since the gamma correction value stored in the base LUT has a single code, a fixed point does not occur when the gamma correction value is multiplied by the gamma gain to expand or compress the gamma correction value, which is excellent. You can control the tone. Further, when a film image is taken, the gamma correction value stored in the base LUT is set to a value corresponding to the difference between the gamma of the film and the gamma of the video signal output to the image display means. By doing one base L
Both gamma corrections can be performed at once by the UT.
【0046】また、ベースLUTから読み出したガンマ
補正値を伸長又は圧縮するためのガンマゲインの変動範
囲を、実際のLUT曲線の単調増加性が保たれるまでと
したため、調子が反転することもなく自然な画像の再生
ができる。更に、1つのベースLUTから読み出したガ
ンマ補正値に対して、R,G,Bの各色別に異なるガン
マゲインを乗算し、入力するR,G,Bデジタル画像信
号に対して前記乗算によって伸長又は圧縮したガンマ補
正値を減算又は加算することによりR,G,Bデジタル
画像信号の中間調を合わせることができ、また、これで
はグレーを合わせることが困難なハイライト部及びシャ
ドー部は、YCC変換後のクロマ信号を抑圧するように
したため、不自然な色付きを防止することができる。Further, since the variation range of the gamma gain for expanding or compressing the gamma correction value read from the base LUT is set until the monotonous increasing property of the actual LUT curve is maintained, the tone does not reverse and the tone naturally changes. You can play various images. Further, the gamma correction value read from one base LUT is multiplied by a different gamma gain for each color of R, G, B, and the input R, G, B digital image signal is expanded or compressed by the multiplication. By subtracting or adding the gamma correction values, it is possible to match the halftones of the R, G, B digital image signals, and it is difficult to match the gray in the highlight and shadow parts. Since the chroma signal is suppressed, it is possible to prevent unnatural coloring.
【0047】更にまた、1つのベースLUT及びデジタ
ル信号処理回路をネガフイルム及びリバーサルフイルム
の画像を示すデジタル画像信号の両方のガンマ補正に応
用することができる。Furthermore, one base LUT and digital signal processing circuit can be applied to gamma correction of both digital image signals representing negative film and reversal film images.
【図1】図1は本発明が適用されるフイルムスキャナの
一実施例を示す要部ブロック図である。FIG. 1 is a principal block diagram showing an embodiment of a film scanner to which the present invention is applied.
【図2】図2は基準最大値及び基準最小値の求め方を説
明するために用いたヒストグラムである。FIG. 2 is a histogram used to explain how to obtain a reference maximum value and a reference minimum value.
【図3】図3(A)乃至(D)はそれぞれ図1のデジタ
ル信号処理回路の各部における処理内容を示すグラフで
ある。3A to 3D are graphs showing processing contents in respective units of the digital signal processing circuit of FIG.
【図4】図4(A)乃至(C)はそれぞれガンマ補正方
法を説明するために用いたグラフである。4A to 4C are graphs used to describe a gamma correction method.
【図5】図5(A)及び(B)はそれぞれは不動点をも
った実際のLUT及びベースLUTを示すグラフであ
る。5A and 5B are graphs showing an actual LUT having a fixed point and a base LUT, respectively.
【図6】図6は実際のLUTとその実際のLUTの隣合
う差分値の頻度分布を示すグラフである。FIG. 6 is a graph showing an actual LUT and a frequency distribution of adjacent difference values of the actual LUT.
【図7】図7はガンマゲインの大きさによって実際のL
UTが変動する変動範囲を説明するために用いたグラフ
である。FIG. 7 is a graph showing an actual L depending on the magnitude of gamma gain.
It is a graph used for explaining the variation range in which the UT varies.
【図8】図8は図1のデジタル信号処理回路の詳細な構
成を示すブロック図である。FIG. 8 is a block diagram showing a detailed configuration of the digital signal processing circuit of FIG.
【図9】図9は図1のクロマ抑圧回路を説明するために
用いた輝度レベルに対するクロマゲインを示す図であ
る。FIG. 9 is a diagram showing a chroma gain with respect to a luminance level used for explaining the chroma suppressing circuit of FIG. 1;
【図10】図10(A)及び(B)はそれぞれはリバー
サルフイルムの画像に対する実際のLUT及びベースL
UTを示すグラフである。10A and 10B are an actual LUT and a base L for an image of a reversal film, respectively.
It is a graph which shows UT.
10…光源 12…撮影レンズ 14…CCDラインセンサ 15…CCD駆動回路 18…A/Dコンバータ 20…デジタル信号処理回路 21、22、24…加算器 23、26…乗算器 25…ベースLUT 31…モータ 35…YCC変換回路 36…クロマ抑圧回路 40…中央処理装置(CPU) 41…積算ブロック 42…アドレスデコーダ 43R〜45B…レジスタ 46、47、48…マルチプレクサ 50…フイルムカートリッジ 52…ネガフイルム 10 ... Light source 12 ... Photographing lens 14 ... CCD line sensor 15 ... CCD drive circuit 18 ... A / D converter 20 ... Digital signal processing circuit 21, 22, 24 ... Adder 23, 26 ... Multiplier 25 ... Base LUT 31 ... Motor 35 ... YCC conversion circuit 36 ... Chroma suppression circuit 40 ... Central processing unit (CPU) 41 ... Integration block 42 ... Address decoder 43R-45B ... Registers 46, 47, 48 ... Multiplexer 50 ... Film cartridge 52 ... Negative film
Claims (6)
値を記憶する1つのルックアップテーブルを準備すると
ともに、前記ガンマ補正値と乗算することにより該ガン
マ補正値を伸長又は圧縮するためのガンマゲインを設定
し、 原画像を撮像して得られるデジタル画像信号の階調に基
づいて前記ルックアップテーブルからガンマ補正値を読
み出し、 前記ルックアップテーブルから読み出されたガンマ補正
値と前記設定されたガンマゲインとを乗算し、 前記原画像を撮像して得られるデジタル画像信号に対し
て、前記乗算によって伸長又は圧縮したガンマ補正値を
減算又は加算することにより該デジタル画像信号をガン
マ補正するガンマ補正方法において、 前記ルックアップテーブルのガンマ補正値は単一の符号
をもっていることを特徴とするガンマ補正方法。1. A one look-up table for storing a gamma correction value according to the gradation of an input signal is prepared in advance, and the gamma correction value is expanded or compressed by multiplying it by the gamma correction value. A gamma gain is set, a gamma correction value is read from the look-up table based on a gradation of a digital image signal obtained by capturing an original image, and the gamma correction value read from the look-up table and the set gamma correction value are set. A gamma correction method for multiplying the digital image signal by gamma correction by subtracting or adding the gamma correction value expanded or compressed by the multiplication to the digital image signal obtained by capturing the original image. In the lookup table, the gamma correction value has a single sign. Gamma correction method.
記ルックアップテーブルに記憶されるガンマ補正値は、
前記フイルムがもっているガンマと画像表示手段に出力
される映像信号がもっているガンマとの差分に対応した
値である請求項1のガンマ補正方法。2. The original image is a film image, and the gamma correction value stored in the lookup table is
2. The gamma correction method according to claim 1, wherein the gamma correction method has a value corresponding to the difference between the gamma of the film and the gamma of the video signal output to the image display means.
値を記憶する1つのルックアップテーブルを準備すると
ともに、前記ガンマ補正値と乗算することにより該ガン
マ補正値を伸長又は圧縮するためのガンマゲインをR,
G,Bの各色別に設定し、 カラー画像を撮像して得られるR,G,Bデジタル画像
信号の階調に基づいて前記ルックアップテーブルからガ
ンマ補正値を読み出すとともに、その読み出されたガン
マ補正値がいずれの色のデジタル画像信号に対応するか
に応じて前記各色別のガンマゲインから対応するガンマ
ゲインを選択し、 前記読み出されたガンマ補正値と前記選択されたガンマ
ゲインとを乗算し、前記入力するR,G,Bデジタル画
像信号に対して、前記乗算によって伸長又は圧縮したガ
ンマ補正値を減算又は加算することによりR,G,Bデ
ジタル画像信号の中間調を合わせるようにしたガンマ補
正方法において、 前記中間調が合わされたR,G,Bデジタル画像信号に
基づいて生成されるクロマ信号のうち低輝度部及び高輝
度部に対応するクロマ信号を抑圧し、 もってクロマ信号の低輝度部及び高輝度部における色付
きを低減するようにしたことを特徴とするガンマ補正方
法。3. A one look-up table for storing gamma correction values according to the gradation of an input signal is prepared in advance, and the gamma correction values are expanded or compressed by multiplication with the gamma correction values. Gamma gain is R,
Gamma correction values are set for each of G and B, and gamma correction values are read from the look-up table based on the gradations of R, G, and B digital image signals obtained by capturing a color image, and the read gamma correction is performed. A corresponding gamma gain is selected from the gamma gains for each color according to which color the digital image signal corresponds to, and the read gamma correction value is multiplied by the selected gamma gain to obtain the input. In the gamma correction method, the gamma correction value expanded or compressed by the multiplication is subtracted or added to the R, G, B digital image signal to adjust the halftone of the R, G, B digital image signal. , A low-luminance part and a high-luminance part of the chroma signal generated based on the R, G, and B digital image signals with the adjusted halftone Gamma correction method suppresses the chroma signal, characterized in that so as to reduce the coloring in a low-luminance part and high-luminance portions of the chroma signal have to be.
値を記憶する1つのルックアップテーブルを準備すると
ともに、前記ガンマ補正値と乗算することにより該ガン
マ補正値を伸長又は圧縮するためのガンマゲインを設定
し、 原画像を撮像して得られるデジタル画像信号の階調に基
づいて前記ルックアップテーブルからガンマ補正値を読
み出し、 前記ルックアップテーブルから読み出されたガンマ補正
値と前記設定されたガンマゲインとを乗算し、 前記原画像を撮像して得られるデジタル画像信号に対し
て、前記乗算によって伸長又は圧縮したガンマ補正値を
減算又は加算することにより該デジタル画像信号をガン
マ補正するガンマ補正方法において、 前記ガンマ補正方法による入出力特性を示す曲線が単調
増加するように前記ガンマゲインの可変範囲が設定され
ていることを特徴とするガンマ補正方法。4. A lookup table for storing a gamma correction value according to the gradation of an input signal is prepared in advance, and the gamma correction value is expanded or compressed by multiplication with the gamma correction value. A gamma gain is set, a gamma correction value is read from the look-up table based on a gradation of a digital image signal obtained by capturing an original image, and the gamma correction value read from the look-up table and the set gamma correction value are set. A gamma correction method for multiplying the digital image signal by gamma correction by subtracting or adding the gamma correction value expanded or compressed by the multiplication to the digital image signal obtained by capturing the original image. In the above, the gamma sensor is used so that the curve showing the input / output characteristics by the gamma correction method monotonically increases. Gamma correction method characterized in that the variable range of emission is set.
ムのうちのいずれか一方のフイルムのもっているガンマ
に基づいて入力信号の階調に応じたガンマ補正値を記憶
するルックアップテーブルを準備し、 前記一方のフイルムの画像を撮像して得られるデジタル
画像信号の階調に基づいて前記ルックアップテーブルか
らガンマ補正値を読み出し、 他方のフイルムの画像を撮像して得られるデジタル画像
信号のガンマ補正時には、該デジタル画像信号の階調を
白黒反転した階調に基づいて前記ルックアップテーブル
に記憶されているガンマ補正値を読み出し、 前記デジタル画像信号に対して前記読み出したガンマ補
正値を加算又は減算することにより該デジタル画像信号
をガンマ補正することを特徴とするガンマ補正方法。5. A look-up table for storing a gamma correction value according to the gradation of an input signal based on the gamma of one of the negative film and the reversal film is prepared in advance, and the look-up table is prepared. The gamma correction value is read from the look-up table based on the gradation of the digital image signal obtained by picking up the image of the film, and when the gamma correction of the digital image signal obtained by picking up the image of the other film is performed, the digital image signal is read. The gamma correction value stored in the look-up table is read based on the grayscale of the grayscale of the image signal, and the read gamma correction value is added to or subtracted from the digital image signal. A gamma correction method characterized by gamma-correcting a digital image signal.
れたガンマ補正値に対して予め設定したガンマゲインを
乗算し、この乗算によって適宜伸長又は圧縮したガンマ
補正値に基づいて前記デジタル画像信号をガンマ補正す
ることを特徴とする請求項5のガンマ補正方法。6. The gamma correction value read from the look-up table is multiplied by a preset gamma gain, and the digital image signal is gamma-corrected based on the gamma correction value appropriately expanded or compressed by this multiplication. The gamma correction method according to claim 5, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10971594A JP3446843B2 (en) | 1994-05-24 | 1994-05-24 | Gamma correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10971594A JP3446843B2 (en) | 1994-05-24 | 1994-05-24 | Gamma correction method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003137191A Division JP3958708B2 (en) | 2003-05-15 | 2003-05-15 | Gamma correction method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07322096A true JPH07322096A (en) | 1995-12-08 |
JP3446843B2 JP3446843B2 (en) | 2003-09-16 |
Family
ID=14517394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10971594A Expired - Fee Related JP3446843B2 (en) | 1994-05-24 | 1994-05-24 | Gamma correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3446843B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100520901C (en) | 2006-08-08 | 2009-07-29 | 奇景光电股份有限公司 | Method for generating gamma corresponding table |
US9019433B2 (en) | 2006-08-31 | 2015-04-28 | Canon Kabushiki Kaisha | Image processing apparatus and method |
-
1994
- 1994-05-24 JP JP10971594A patent/JP3446843B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100520901C (en) | 2006-08-08 | 2009-07-29 | 奇景光电股份有限公司 | Method for generating gamma corresponding table |
US9019433B2 (en) | 2006-08-31 | 2015-04-28 | Canon Kabushiki Kaisha | Image processing apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JP3446843B2 (en) | 2003-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5926562A (en) | Image processing method using reference values to determine exposure state | |
JP3948229B2 (en) | Image capturing apparatus and method | |
US7358988B1 (en) | Image signal processor for performing image processing appropriate for an output device and method therefor | |
US5818525A (en) | RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm | |
JP3834130B2 (en) | Digital camera | |
US20090041350A1 (en) | Image processing apparatus, imaging apparatus and image processing program | |
JP2001298619A (en) | Method and device for image processing | |
KR20060079248A (en) | Image pickup device with brightness correction function and correction method of image brightness | |
US5790707A (en) | Film image reading system and image processing method dot sequentially adjusting image parameters | |
JP3456032B2 (en) | Image processing method | |
JP3967510B2 (en) | Digital camera | |
JP3605856B2 (en) | Image processing device | |
JP3876932B2 (en) | Image processing method | |
JP3575113B2 (en) | Film image processing method | |
JP3446843B2 (en) | Gamma correction method | |
JP3958708B2 (en) | Gamma correction method | |
JP3714491B2 (en) | Outline enhancement method | |
JP2000354250A (en) | Image pickup device | |
JPH07322282A (en) | Gamma correction method | |
JP2003333422A (en) | Shading correction method and digital camera | |
JP2005159693A (en) | Image processing apparatus | |
JP3896424B2 (en) | Image signal processing method and gamma correction method for film scanner | |
US6931161B2 (en) | Method for making an exposure adjustment on a rendered image | |
JPH1042191A (en) | Method and device for correcting back light of picture | |
JPH07322274A (en) | Image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |