[go: up one dir, main page]

WO2009157580A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2009157580A1
WO2009157580A1 PCT/JP2009/061806 JP2009061806W WO2009157580A1 WO 2009157580 A1 WO2009157580 A1 WO 2009157580A1 JP 2009061806 W JP2009061806 W JP 2009061806W WO 2009157580 A1 WO2009157580 A1 WO 2009157580A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
unit
code amount
quantization
quantization factor
Prior art date
Application number
PCT/JP2009/061806
Other languages
English (en)
French (fr)
Inventor
孝明 渕江
正二郎 柴田
加洲 高橋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN200980100146.0A priority Critical patent/CN101779467B/zh
Priority to US12/673,237 priority patent/US8270745B2/en
Priority to BRPI0904324-1A priority patent/BRPI0904324A2/pt
Priority to JP2010518090A priority patent/JPWO2009157580A1/ja
Priority to RU2010105041/07A priority patent/RU2479942C2/ru
Publication of WO2009157580A1 publication Critical patent/WO2009157580A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to, for example, an image encoding device, and more particularly to a technical field in which a generated code amount is matched with a target code amount given to one picture without performing intra-screen feedback control.
  • the encoding bit rate of the bit stream generated by the encoder is fixed according to the transfer rate of the transmission medium.
  • the quantization step of quantization is controlled. In other words, for example, when images with complex patterns continue, the quantization step is increased to suppress the amount of data generated. Conversely, when simple images continue, the quantization step is decreased to generate data. By increasing the amount, a fixed rate is maintained without causing an overflow or underflow of the buffer memory.
  • the allocated code amount allocated to each GOP itself is determined according to the ratio of the difficulty of encoding for each GOP (Group Of Pictures) and the sum of the difficulty of encoding of a plurality of GOPs. Assign more for GOPs with complex images, and less for GOPs with simple images.
  • step 2 of TM5 (test model 5) is well known as a method for adjusting the generated code amount to the target code amount given to one picture. This is because the code amount allocated to the picture is evenly distributed to the macro block (MB) as the MB target code amount, and feedback control is performed in the picture. It is a technique to match the amount.
  • Patent Document 1 Japanese Patent No. 3 3 5 8 6 2 0 publication.
  • the initial value of the step in the encoding step does not match the picture of the picture in the encoding of the first picture of the sequence or the picture immediately after the scene change. It was hot.
  • the quantization step of the part until it follows the pattern in feedback control is too large, the image quality of that part will deteriorate compared to the other parts, and if the quantization step is too small, that part In this case, too much code amount may be used, which may affect other parts.
  • the image coding apparatus may execute coding in parallel in advance to predict the generated code amount, and match the generated code amount to the target code amount given to one picture without performing intra-screen feedback control. desirable.
  • the image encoding device performs quantization in parallel by the number of quantization parameters, there is a problem that the circuit scale becomes large. Disclosure of the invention
  • the image processing apparatus of the present invention encodes an input image.
  • a predictive quantizing factor determining unit that determines a predictive quantizing factor that is predicted to be close to a basic quantizing factor that is predicted to be the closest to the target code amount, and a predictive quantizing factor And a simple code that calculates the amount of code generated by simple coding by coding the input image in comparison with coding based on the quantization factor in the vicinity of the predicted quantization factor.
  • An encoding unit that encodes an input image based on a predictive quantization factor, and a generated code based on a predictive quantization factor calculated by a simple encoding unit.
  • a code amount ratio calculation unit for calculating a code amount ratio of the generated code amount based on the prediction quantization factor calculated by the encoding unit for the amount, and a quantum in the vicinity of the prediction quantization factor calculated by the simple encoding unit. Based on chemical elements, a correction unit that corrects the generated code amount based on the quantization factor in the vicinity of the prediction amount child factor by multiplying the generated code amount by the code amount ratio is provided.
  • the image processing apparatus only needs to calculate the generated code amount by encoding only for the predicted quantization factor, and the generated code amount by simple encoding for the quantization factor in the vicinity of the predicted quantized factor. It suffices to execute the calculation. .
  • the predictive quantization factor that is predicted to be near the basic quantization factor that is predicted to be the closest to the target code amount when the input image is encoded is determined.
  • a simple encoding step for calculating the amount of generated code by simple encoding an encoding step for calculating the amount of generated code by encoding by encoding an input image based on a predictive quantization factor, and simple encoding Calculate the code amount ratio of the generated code amount based on the predicted quantization factor calculated by the encoding unit with respect to the generated code amount based on the predicted quantization factor calculated in the step.
  • the vicinity of the prediction quantization factor is calculated. Correction to correct generated code amount based on quantization factor Steps.
  • the image processing method only needs to calculate the generated code amount by encoding only for the predicted quantization factor, and the generated code amount by simple encoding for the quantization factor in the vicinity of the predicted quantization factor. It suffices to execute the calculation.
  • the present invention it is only necessary to calculate the generated code amount by encoding only for the predicted quantization factor, and the generated code amount is calculated by simple encoding for the quantization factor near the predicted quantized factor. Should be executed.
  • the present invention can realize an image processing apparatus and an image processing method that can simplify the circuit configuration. Brief description of drawings ''
  • FIG. 1 is a configuration diagram of an image encoding device according to the first embodiment of the present invention.
  • FIG. 2 is a configuration diagram in which a quantization unit and a CAVLC calculation unit of a conventional image encoding device are extracted.
  • FIG. 3 shows the basic configuration of the quantization unit and CAVLC calculation unit.
  • FIG. 4 shows a quantization unit and an image encoding device according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart for explaining in detail the processing procedure of the encoding by the image encoding device.
  • Figure 6 is a flow chart that further explains the adaptive Q Matrix switching process.
  • FIG. 7 is a flowchart showing a VLC table selection processing procedure.
  • FIG. 8 is a configuration diagram of an image encoding device according to the second embodiment.
  • FIG. 9 is a flowchart for explaining a basic quantization parameter determination processing procedure.
  • FIG. 10 is a conceptual diagram for explaining basic quantization parameter estimation processing.
  • FIG. 11 is a flowchart for explaining a high-accuracy generated code amount calculation processing procedure.
  • BEST MODE FOR CARRYING OUT THE INVENTION The best mode for carrying out the present invention (hereinafter simply referred to as an embodiment) will be described in detail below with reference to the drawings. The description will be given in the following order.
  • FIG. 1 shows and describes the configuration of an image encoding device 100 according to an embodiment of the present invention.
  • This image encoding device 100 has a first pre-encoding unit 1, a second pre-encoding unit 2, a main encoding unit 3, a code amount control unit 4, and delay buffers 5 and 6. Yes.
  • the image encoding device 100 performs pre-encoding by the first pre-encoding unit 1 and the second pre-encoding unit 2 in advance, and the basic quantization parameter QP used in the encoding unit 3
  • This encoder information such as MB , predictive quantization matrix Q Matrix D, intra prediction mode, and activity group is determined.
  • parallel pre-encoding with slightly reduced accuracy and reduced circuit load and processing load is performed with a wide range of quantization parameters QP, and the predicted quantization parameter QPd for realizing the target code amount is coarsened. estimate.
  • the second pre-encoding unit 2 performs parallel pre-encoding with high accuracy within a narrow range, and determines the basic quantization parameter QP MB used in the main encoding unit 3.
  • the first pre-encoding unit 1 is a module that performs the first pre-encoding process.
  • the in-screen prediction mode determination unit 1 1, the in-screen prediction processing unit 1 2, the DCT unit 1 3, the quantization unit 1 4, CAVLC calculation section 1 5 and activity calculation section 1 6 are provided.
  • the second pre-encoding unit 2 is a module that performs the second pre-encoding process, and includes an intra-screen prediction processing unit 21, a DCT unit 2 2, a quantization unit 2 3, and an entropy code A length calculation unit 24, a buffer 25 ', an IDCT (Inverse DCT) unit 26, and an inverse quantization unit 27 are provided.
  • an intra-screen prediction processing unit 21 a DCT unit 2 2, a quantization unit 2 3, and an entropy code
  • a length calculation unit 24 a buffer 25 ', an IDCT (Inverse DCT) unit 26, and an inverse quantization unit 27 are provided.
  • the main encoding unit 3 is a module that performs the main encoding.
  • the in-screen prediction processing unit a 31, the DCT unit 3 2, the quantization unit 3 3, the entropy encoding unit 3 4, the noffer 3 5, and the IDCT unit 3 6 and an inverse quantization unit 3 7 are provided.
  • the code amount control unit 4 is a module that performs code amount control.
  • the image encoding device 100 supplies the input image 91 supplied from the outside to the first encoder unit 1 and the delay buffers 5 and 6.
  • the first encoding unit 1 roughly estimates the amount of generated code for each quantization parameter QP.
  • the first encoding unit 1 supplies the supplied input image 91 to the activity calculation unit 16 and the in-screen prediction mode determination unit 11.
  • the activity calculator 16 allocates MBs to activity groups according to the complexity of the image.
  • the activity calculation unit 16 supplies the activity group number to the quantization unit 14 and the code amount control unit 4.
  • the intra-screen prediction mode determination unit 11 executes the intra-screen prediction process of the input image 91 and generates difference image data. Note that the intra-screen prediction mode determination unit 11 simplifies the intra-screen prediction processing in the first pre-encoding unit 1 by using the input image 9.1 as the predicted image.
  • the intra-screen prediction mode determination unit 1 1 determines the intra-screen prediction mode to be used in the encoding unit 3 based on the generated code amount f of the difference image data, and uses the determined intra-screen prediction mode for the intra-screen prediction processing. Supply to parts 1 2, 2 1. and 3 1 respectively.
  • the intra-screen prediction processing unit 12 generates differential image data from the input image 91 according to the intra-screen prediction mode determined by the intra-screen prediction mode determination unit 11 1, and supplies it to the DCT unit 13.
  • the D C T unit 13 performs D C T processing on the difference image data, generates a D C T coefficient, and supplies it to the quantization and conversion unit 14.
  • the quantization unit 14 performs quantization in parallel in multiple quantization steps by using the discrete quantization parameter QP1. Selected from the quantization parameters QP of 0 to 51. To do. For example, the quantization unit 14 has n stages connected in parallel. Quantization part 1 4! ⁇ 14 1 has n, performs quantization processing based on n selected quantization parameters QP1, and generates n quantized coefficients. The quantization unit 14 uses the selected quantization parameter QP1 as the average quantization parameter BaseQP of the picture, and adds the offset corresponding to the activity group number supplied from the activity calculation unit 16 to perform quantization. To do. The detailed configuration of the quantization unit 14 will be described later. The quantization unit 14 supplies n quantization coefficients to the CAVLC calculation unit 15.
  • the CAVLC calculation unit 15 performs CAVLC processing on each of the n quantized coefficients, and supplies the generated code amount for each MB to the code amount control unit 4.
  • the in-screen prediction processing unit 12 uses the input image 91 instead of the local decoded image as a predicted image. Also, this encoding unit 3 switches between CAVLC and CABAC (Context-Adaptive Binary Arithmetic Coding) as the entropy coding method.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the code amount control unit 4 corrects the generated code amount using a statistical model calculated in advance by statistics. 'Thereby, the code amount control unit 4 can improve the accuracy of the generated code amount calculated by the first pre-encoding unit 1. Further, the code amount control unit 4 calculates a generated code amount based on a quantization parameter other than the selected quantization parameter QP1 for the generated code amount based on the corrected selected quantization parameter QP1.
  • the generated code amount based on the corrected selected quantization parameter QP1 and the generated code amount calculated by interpolation are collectively referred to as a low-precision generated code amount.
  • the code amount control unit 4 does not need to perform quantization and CAVLC processing for all of the quantization parameters QP, thereby reducing the circuit configuration of the quantization unit 14 and reducing the processing load. it can.
  • the code amount control unit 4 selects the quantization parameter QP whose low-precision generated code amount is closest to the target code amount as the predicted quantization parameter QPd.
  • This predictive quantization parameter QPd is an approximate value based on the low-accuracy generated code amount that is simply calculated by the first pre-encoding unit 1, and is the main code generated code at the time of this encoding. The amount is predicted to be close to the target code amount.
  • the code amount control unit 4 when the quantization matrix Q Matrix is adaptively selected, the code amount control unit 4 generates a low-precision generated code amount for each quantization matrix Q Matrix, and the quantization matrix Q Matrix can take
  • the quantization parameter Q Matrix X is selected as the predicted quantization matrix Q MatrixD, where the low-precision generated code amount is close to the target code amount and the gradient is as small as possible.
  • the second pre-encoding unit 2 determines the basic quantization parameter QP MB used in the main: ⁇ -mode unit 3.
  • the second pre-encoding unit 2 supplies the delay-processed input image 91 supplied from the delay buffer 5 to the in-plane prediction processing unit 21.
  • the in-screen prediction processing unit 2 1 generates the difference image data by encoding the input image 9 1 by the in-screen prediction according to the in-screen prediction mode supplied from the in-screen prediction mode determination unit 1 1. Supply the data to DCT section 22.
  • the 001 1 part 2 2 performs DCT processing on the difference image data to generate a DCT coefficient, and supplies it to the quantization part 23.
  • the quantization unit 23 has three stages of quantization units 2 3-1, 2 3-2, and 2 3-3.
  • the quantization unit 2 3 quantizes the DCT coefficients based on the predicted quantization parameter QPd and the quantization parameter QP in the vicinity of the predicted quantization parameter QPd to generate quantization coefficients, respectively.
  • the entropy code length calculation unit 2 Supply to 4.
  • the port-to-pee code length calculation unit 24 encodes the quantized coefficient by the encoding method used in the encoder unit 3 of CAVLC and CABAC, and calculates the high-accuracy generated code amount for each quantization parameter QP. Generate.
  • the code amount control unit 4 converts the quantization parameter QP, which is a high-precision generated code amount closest to the target code amount, into the basic quantization parameter QPMB based on the high-accuracy generated code amount by the entropy code length calculation unit 24. decide.
  • the quantization unit 23 supplies the quantization coefficient generated based on the predicted quantization parameter QPd to the inverse quantization unit 27.
  • the inverse quantization unit 27 generates a DCT coefficient by dequantizing the quantization coefficient and supplies it to the IDCT unit 26.
  • the IDCT section 26 generates a local decoded image by applying IDCT processing to the DCT coefficient and supplies it to the buffer 25.
  • the buffer 25 supplies the locally decoded image to the intra prediction processing unit 21.
  • the in-screen prediction processing unit 21 stores the local decoded image. In-screen prediction processing is executed as a predicted image.
  • the second pre-encoding unit 2 uses a locally decoded image as a predicted image and performs entropy encoding with the same encoding method as the main encoding unit 3 to thereby compare with the first pre-encoding unit 1. It is possible to calculate the amount of generated code with high accuracy.
  • the code amount control unit 4 then changes the quantization parameter QP that is predicted to generate the code generation code amount closest to the target code amount to the basic quantization parameter QPMB based on the high-precision generated code amount. Can be determined.
  • the encoder 3 supplies the input image 91 1 subjected to delay processing supplied from the delay buffer 6 to the intra-screen prediction processing unit 31.
  • the intra-screen prediction processing unit 3 1 generates the differential image data by encoding the input image 91 according to the intra-screen prediction according to the intra-screen prediction mode supplied from the intra-screen prediction mode determination unit 11 1. . . Supply to Ding 3 '2.
  • the 00 unit 32 generates a DCT coefficient by performing DCT processing on the difference image data, and supplies the DCT coefficient to the quantization unit 23.
  • the quantization unit 3 3 quantizes the DCT coefficient based on the basic quantization parameter QP MB to generate a quantization coefficient, and supplies the quantization coefficient to the entropy code length calculation unit 3 4.
  • the entropy code length calculation unit 3.4 entropy-encodes the quantized coefficients using either CAVLC or CABAC, and supplies the result to the external device as an output small ream 92.
  • the quantization unit 33 supplies the quantization coefficient generated based on the basic quantization parameter QPMB to the inverse quantization unit 37.
  • the inverse quantization unit 37 generates the DCT coefficient by dequantizing the quantization coefficient and supplies it to the IDCT unit 36.
  • the IDCT unit 36 performs IDCT processing on the DCT coefficient to generate a local decoded image, and supplies the local decoded image to the intra-picture prediction processing unit 31 via the buffer 35.
  • the intra-screen prediction processing unit 3 1 executes intra-screen prediction processing using the local decoded image as a predicted image.
  • the image encoding device 100 uses the first pre-encoding unit 1 to roughly estimate the generated code amount for each quantization parameter QP as the low-precision generated code amount, and based on the low-precision generated code amount Determine the predictive quantization parameter QPd.
  • image The encoding device 100 uses the second pre-encoding unit 2 to calculate a highly accurate generated code amount with high accuracy using the predicted quantization parameter QPd and the quantization parameter QP in the vicinity thereof.
  • the image encoding device 100 determines the basic quantization parameter QP MB based on the amount of high-accuracy generated code calculated with high accuracy and uses it for the main encoding process by the main encoding unit 3.
  • the image encoding apparatus 100 can reduce the generated code amount based on all the quantization parameters QP by the first pre-encoding unit 1 and the second pre-encoding ; Without calculation, it is possible to calculate a high-precision generated code ⁇ ⁇ ⁇ ⁇ in the basic quantization parameter QP MB with high accuracy. As a result, the image encoding device 100 can determine an appropriate basic quantization parameter QPMB with a simple configuration.
  • FIG. 2 shows and describes the configuration of a conventional quantization unit 300 and a conventional CAVLC calculation unit 400-.
  • This quantization unit 3 0 0 and CAVLC calculation unit 4 0 are arranged in the same number as the selected quantization parameter QP1, one for each pair of quantization unit 3 0 0 and CAVLC calculation unit 4 0 0.
  • the generated code amount based on the selected quantization parameter QP1 is calculated.
  • Quantizer 3 0 0 ', MB QP calculator 3 0 1, scan address generation unit 3 0 2, QP% 6 converter 3 0 3, QP / 6 converter 3 0 4, scale factor RAM 3 0 5, Multiplier 3 0 6 and a non-reciprocal shifter 3 0 7 are provided.
  • CAVLC calculation unit 400 is composed of TrailingOne counting unit 4 01, TotalCoef counting unit 4 0 2, TotalZero counting unit 4 0 3, RunBefore counting unit 4 0 4, LevelLength calculating unit 4 0 5, ZeroLeft calculating unit 4 0 6, TotalCoefLength bit length ROM 4 0 7, TotalZeroLength bit length ROM 4 0 8, RunBefore bit length ROM 4 0 9, Calorie calculator 4 1 0, 4 1 1, 4 1 6, MB boundary nB storage line memory 4 1 2, nB retention memory 4 1 3, nA retention memory 4 1 5, and nB selection unit 4 1 4 The ,
  • the quantization unit 300 uses the DCT coefficient W and the quantization parameter QP to calculate the quantization coefficient Z as follows.
  • the quantizer 3 0 0 receives the following signals.
  • AFF signal indicating whether the macro block is a field configuration or a frame configuration
  • the “activity group” is supplied as quantization offset information for each macroblock with respect to the average quantization parameter Base QP which is the base of the entire picture.
  • DCT coefficients shall be supplied in an order suitable for encoding (eg, reverse order of scan).
  • the MB QP calculation unit 3 0 1 calculates the adaptive quantization parameter QPt by offsetting the MB unit activity from the activity group and the average quantization parameter Base QP (the set selected quantization parameter QP 1). .
  • the QP% 6 conversion unit 3 0 3 outputs the remainder when the adaptive quantization parameter QPt is divided by “6” (that is, one of the 6 types of 0, 1, 2, 3, 4 and 5).
  • the scale factor RAM 3 0 5 and the QP / 6 converter 3 0 4 are supplied.
  • the AFF signal and the 8x8 / 4x4 signal are input to the scan address generation unit 300.
  • the scan address generator 3 0 2 is based on these AFF signals and 8x8 / 4x4 signals. To generate a DCT address indicating the input position of the DCT coefficient; and supply it to the scale factor RAM 3 0 5.
  • the scale factor RAM 3 0 5 holds the multiplication coefficient obtained by the following equation.
  • Multiplication coefficient 16 X MF (8x8 / 4x4, QP, h, v) / Q Matrix (8x8 / 4x4, h, v) where h and v are DCT addresses that represent the horizontal and vertical directions in the DCT coefficient. Yes, it changes from 0 to 7 at 8x8 and from 0 to 3 at 4x4 '.
  • MF is a scaling factor that is a constant parameter defined in H.264.
  • the quantization matrix Q Matrix is a parameter that can be set by the encoder. That is, the scale factor RAM 3 0 5 is the DCT block size.
  • the scale factor RAM 3 0 5 outputs the multiplication coefficient having the scan position phase to the multiplier 3 0 6 based on the DCT address.
  • QP / 6 conversion unit 3 0 4 is an MB QP calculation unit.
  • adaptive quantization parameter QPt is supplied from a 0, 1
  • barrel shifter 3 shows the result of integer division of adaptive quantization parameter QPt. 0 Outputs to 7.
  • the node shifter 30 07 calculates “shift amount” by adding “1 5” to the QP / 6 conversion unit 30 4 and supplies it to the CAVLC calculation unit 400.
  • the output of the quantization unit 300 is equivalent to the result of the quantization (division) being performed by shifting the result of the multiplier 3 06 by the barrel shifter 3 07.
  • the CAVLC calculation unit 400 calculates the amount of generated code when actual encoding is executed.
  • the CAVLC calculation unit 400 is composed of TotalCoef representing the number of non-zero coefficients, Trailing sign and trailing—ones_sign_ £ lag representing the number and sign of the coefficient with the absolute value 1 that is consecutive at the end, and DCT The level representing the value of the coefficient, the total— zero representing the number of zero coefficients before the last non-zero coefficient, and the zero before the non-zero DCT coefficient
  • the runj efore representing the continuous number of each is encoded, and the code length is calculated.
  • the CAVLC calculation unit 400 depends on the state of the surrounding 4 X 4 blocks with respect to TotalCoef that represents the number of non-zero coefficients and railingOne that represents the number and sign of the coefficient of the absolute value 1 that is last.
  • the CAVLC calculator 400 selects a VLC table for every 4 X.4 blocks based on the total value of TotalCoef and TrailingOne.
  • TrailingOne counting unit 4 0 1 counts the number of 1 or 1 following from the beginning, excluding zero, for 4x4 block 16 samples input value in reverse scan order, and adder 4 1 1 and TrailingOne TotalCoefLength bit length Supply to ROM 4 0 7 respectively.
  • the TotalCoef counter 4 0 2 counts the non-zero coefficient that is not counted by the TrailingOne counter 4 0 1 and adds it as TotalCoef 4 1 1, TotalCoefLength bit length ROM 4 0 7 and TotalZeroLength bit length ROM 4 0 Supply to 8 respectively.
  • Bit length ROM 4 0 7 selects VLC table adaptively for each 4 X 4 block according to the result of adder 4 1 6 and encodes TotalCoef and TrailingOne, and adds the code length to adder 4 1 0 Supply.
  • the TotalZero counting unit 4 0 3 counts the number of zero coefficients excluding leading zeros and supplies it to the TotalZeroLength bit length ROM 4 0 8 and ZeroLeft calculation unit 4 0 6 as total_zero.
  • TotalZeroLength bit length ROM 4 0 8 calculates the code length as a combination of total_zero and TotalCoef and supplies it to adder 4 10.
  • Runbefore counting unit 4 0 4 is the number of consecutive zeros after the non-zero coefficient ( ⁇ 1) counted by TrailingOne counting 4 0 1 and the next consecutive zero after the non-zero coefficient counted by TotalCoef counting unit 4 2 Are sequentially counted and supplied to ZeroLeft.
  • Runbefore bit length ROM 4 0 9 A code used to encode Runbefore as a combination of Zero Left and Runbefore.
  • the LevelLength calculator 4 5 calculates the code length of the DCT coefficient that is non-zero.
  • TotalCoefLength Bit length Selection of adaptive VLC table in ROM 4 0 7 is performed based on TotalCoef and TrailingOne.
  • the adder 4 11 adds the TrailingOne supplied from the TrailingOne counter 4 0 1 and the TotalCoef supplied from the TotalCoef counter 4 0 2 to obtain the total number of non-zero coefficients.
  • the VLC table is selected from the number of non-zero coefficients nA in the left 4 X 4. block and the number of non-zero coefficients nB in the top 4 X 4 block. Since the adder 4 11 is referred to as nA and nB, the number of necessary non-zero coefficients in the 4 ⁇ 4 block is stored in the nB holding memory 4 1 3 and the nA holding memory 4 1 5.
  • MB is sequentially supplied in the line direction, and 4 X 4 blocks are scanned in the MB in a predetermined order (raster scan order within 8 X 8 sub-blocks). For this reason, the 4 X 4 block on the left is scanned almost immediately before. Similarly, the upper adjacent block in the MB will be scanned almost immediately before. However, the upper 4 ⁇ 4 block in the MB needs to refer to the lowermost 4 ⁇ 4 block in the previous MB to refer to the upper adjacent block. Therefore, the adder 4 1 1 stores the value of the macro block line in the MB boundary nB storage line memory 4 1 2.
  • the nB selection unit 4 1 4 selects the nB located in the upper part of the MB boundary nB storage line memory 4 1 2 from the address of the 4 X block in the MB, in the case of the upper boundary, otherwise the nB holding memory 4 1 Select nB located at the top from 3. Then, the adder 4 16 calculates the table selection index nC according to the following formula using the average value of the non-zero coefficients in the 4 X 4 block on the left side and the upper side as the table selection index nC.
  • the adder 4 1 0 includes the railingOne counting unit 4 0 1, TotalCoefLength bit length ROM 4 0 7, TotalZeroLengt bit length ROM 4 0 8, RunBefore bit length ROM 4 0 9, and LevelLength calculation unit 4 0 5 Addition is performed to obtain the total number of code lengths. ',' The above processing is repeated over the entire picture every 4 X 4 blocks. The low-precision generated code amount of the picture when the average quantization parameter is Base QP is obtained.
  • the processing for obtaining the low-accuracy generated code amount of this picture is different discretely-the quantization parameter QP1 is set as the average quantization parameter Base QP, and 15 types of processing are performed in parallel, and for each quantization matrix Q Matrix C [1-3. Configuration of quantization unit and CAVLC calculation unit according to this embodiment]
  • FIG. 3 and FIG. 4 extract and show a part of the configuration of the image encoding device 10 according to the embodiment of the present invention in which characteristic processing is added to the configuration of FIG. 2 described above. explain.
  • the parts corresponding to those of the conventional CAVLC calculation unit 400 shown in FIG. 2 are denoted by the same reference numerals, and the description of the same parts is omitted.
  • the image encoding device 10; 0. and the image encoding method according to this embodiment are characterized by the following.
  • H.264 / AVC Advanced Video Coding Standard
  • CAVLC shared calculation unit 1 5 0 reduces the amount of line memory by calculating the code amount without using the number of non-zero coefficients nB in the 4 X 4 block at the top of the MB.
  • Quantization sharing unit 1 4 0 allows scaling factor and quantization matrix Q Matrix By separating the selection process and the quantization process, the memory is shared and the memory is reduced. ''
  • FIG. 3 shows the configuration of the quantization unit 14 and the code length calculation unit 15.
  • the quantization unit 14 has the same number of quantization units 14- :! to 14-n as the selected quantization parameter QP1 in parallel.
  • a shared quantization shared part 1 4 0 is connected to each of ⁇ 1 4— n.
  • CAVL.C calculation unit 1 5 and CAVLC calculation unit 1 5 _ :! ⁇ 15_n are provided in parallel, and the shared CAVLC calculation unit 1 5_n is connected to the CAVLC calculation unit 15_ :!
  • Fig. 4 is a block diagram of the main parts that are quantized and variable-length coded with multiple quantization parameters QP. Note that the operation of the image encoding device 100 corresponds to the image encoding method according to the present embodiment.
  • the quantization sharing unit 1 4 0 has a scan address generation RAM 1 0 1, a scale factor RAM I 0 2, 1 / Matrix RAM I 0 3, a quantization unit 1 4 one:! ⁇ 14-n is MB QP calculation unit 5 0 1, QP% 6 conversion unit 5 0 2, scale factor selector 5 0 3, 1 / Matrix selector 5 0 4, QP / 6 conversion ROM 5 0 5, multiplier 5 0 6, 5 0 7, and a non-linear shifter 5 8 8.
  • CAVLC shared calculation unit 1 5 0 is notifier 2 0 1, 2 0 2, adder 2 0 3, nB hold memory 2 0 4, nA hold memory 2 0 5, adder 2 0 6, TotalCoefLength bit length ROM.2 07 and adder 2 0 8 are provided.
  • CAVLC calculation unit 1.5-1 to 15-n are TrailingOne counting unit 4101, TotalCoef counting unit 4 0 2, TotalZero word + number unit 4 0 3, RunBefore counting unit 4 0 4, LevelLength calculation unit 4 0 5, ZeroLeft calculation unit 4 0 6, TotalZeroLength bit length R0M 4 0 8, RunBefore bit length.
  • the quantization sharing unit 14 0 mainly reduces the size of the SRAM by sharing the scale factor RAM 1 0 2 and 1 Z Matrix RAM 1 0 3.
  • CAVLC shared calculation unit 1 5 0 performs other processing for each pixel, whereas the code length calculation of TotalCoefLength bit length ROM 2 0 7 can be performed once per 4x4 block.
  • the circuit is shared so that it can be processed.
  • the reduction effect of the line memory for 15 parallels obtained by this approximation is great.
  • an AFF signal indicating whether the MB is a Field configuration or a Frame configuration and an 8x8 / 4x4 signal indicating whether 8x8DCT or 4x4DCT is used for orthogonal transformation are input to the quantization sharing unit 140.
  • the scan address generation RAM I 01 generates a DCT address indicating a DCT coefficient input position.
  • the scale factor RAM I 0 2 outputs the scaling factor MF having the scan position phase to the scale factor selector 5 0 3 of the quantization unit 5 0 0.
  • the scaling factor MF is selected according to the DCT address and the value of QP% 6 (the remainder when the selected quantization parameter QP1 is divided by 6).
  • 1 / Matrix RAM I 0 3 uses the inverse of the matrix value with the scan position phase in the quantization matrix Q Matrix as the 1 / Matrix selector of the quantization units 1 4-1 to 1 4 _ 11 5 0 Outputs to 4.
  • 1 / Matrix RAM I 0 3 outputs the inverse of the matrix value
  • the inverse of the matrix value is carried with a left shift of about 20 bits.
  • the quantization matrix Q Matrix to be used changes depending on the value of the selected quantization parameter QP1, so a plurality (for example, about 4 types) is required.
  • 1 / Matrix RAM 1 0 3 outputs the inverse (4 types) of matrix values to the 1 Matrix selector 5 0 4 in the quantization unit 1 4— 1 to: 1 4 _ n and is set.
  • the subsequent quantization unit 1 4 _ :! ⁇ 1 4 — n 1 / Matrix selector 5 0 4 Select.
  • the quantization part 1 4! ⁇ 14—n supplies the DCT coefficients sequentially supplied to the MB QP calculation unit 5 0 1.
  • the MB QP calculation unit 5 0 1 generates an adaptive quantization parameter QPt by adding an activity offset corresponding to the activity group to the selected quantization parameter QP1 and converts it to QP% 6 conversion.
  • the QP% 6 converter 5 0 1 calculates a QP% 6 value that is a remainder when the adaptive quantization parameter QPt is divided by “6”, and supplies it to the scale factor selector 5 03.
  • the scale factor selector 5 03 selects the scaling factor MF as the first multiplier according to the QP% 6 value, and supplies it to the multiplier 5 06.
  • the 1 / Matrix selector 5 0 4 ′ selects the inverse of the matrix value as the second multiplication coefficient based on the matrix identification number idx of the quantization matrix Q Matrix to be used, and supplies it to the multiplier 5 0 6.
  • the multiplier 50 6 multiplies the scaling factor MF by “1 6” and the inverse of the matrix value (MF * 16 / QMatrix).
  • Multiplier 5 0 6 multiplies the output value of scale factor selector 5 0 3 and 1 / Matrix selector 5 0 4 and then right shifts 20 bits to carry 1 / Matrix RAM I 0 3 Match the minutes and supply the multiplier to the multiplier 5 0 7:
  • the multiplier 5 07 multiplies the DCT coefficient in the reverse scan order by the multiplication value and supplies it to the barrel shifter 5 0 8.
  • the QP / 6 converter supplies the QP / 6 value obtained by dividing the adaptive quantization parameter QPt by “6” to the bulk shifter 5 0 8.
  • the barrel shifter 50 8 obtains a quantized result by lowering the output value of the multiplier 5 07 by the number of digits corresponding to the QP / 6 value.
  • the quantization unit 14 shares the scale factor RAM 1 / MatrixRAM 10 3 and the subsequent quantization unit 14 according to the DCT address: ⁇ 1 4 1 All the scaling factors MF that can be taken by n and the inverse of the matrix value are supplied to the quantizing unit 1 4 1 1 to 1 4 — n .
  • the quantization unit 1 4 one l ⁇ l 4 _ n, selects the inverse of matrix value according to the matrix identification number idx.
  • the quantization unit 14 can share the scale factor RAM 1 0 2 and 1 / Matrix RAM 1 0 3, so the amount of RAM required for the quantization unit 1 4 as a whole Can be reduced.
  • the quantization unit 14 scales the scale factor MF and the inverse of the matrix value separately, so that the scaler 14 scales the scale factor MF and the inverse of the matrix value.
  • the storage capacity required for factor RAM I 0 2 and 1 ZMatrixRAM I 0 3 can be reduced.
  • the CAVLC calculation unit 15 is different from the conventional CAVLC calculation unit 400 in that the CAVLC shared calculation unit 15 5 adaptively selects the _VLC table and encodes TrailingOne and TotalCoef. . .
  • CAVLC calculator 1 5— 1 to 1 5— n railingOne counter 4 0 1, TotalCoef counter 4 0 2, TotalZero counter 4 0 3, RunBefore counter 4 0 4, LevelLength calculator 4 0 5, ZeroLeft calculation Section 4 0 6, TotalZeroLength bit length ROM 4 0 8 and RunBefore bit length ROM 4 0 9 sequentially execute processing on supplied DCT coefficients. That is, each of the CAVLC calculation units 15-1 to 15-n performs 4 ⁇ 4 16 operations on the 4 ⁇ 4 DCT block.
  • TotalCoefLength bit length ROM 4 07 can select one VLC table and perform one operation for TrailingOne and TotalCoef calculated for 4x4 DCT block.
  • ROM 40 7 is the CAVLC calculator 15—! ⁇ 1 5—Only about 1 1 6 computation time is required for each part of n. Therefore, the CAVLC shared calculator 1 5 0 performs the CAVLC calculation. 'Part 1 5—! ⁇ 1 5— Hold TrailingOne and TotalCoef supplied from n in Buffer 2 0 1 and 2 0 2 respectively.
  • CAVLC shared calculator 1 5 0 is the CAVLC calculator 1 5— :!
  • n While each part of n performs processing for the next 4 X 4 block, the VLC table is adaptively selected for the previous 4 X 4 block, and the CAVLC calculator 1 5— 1 ⁇ : 1 5—Sequentially encode 15 railingOne and TotalCoef calculated by n.
  • the adder 20 3 receives the railingOne and TotalCoef from the buffers 2 0 1 and 2 0 2 in a time division manner, and calculates the number of non-zero coefficients by adding the TrailingOne and TotalCoef.
  • the nA holding memory 2 0 5 holds the number nA of non-zero coefficients of the 4x4 block referred to as the left neighbor in the macro block.
  • the nB holding memory 2 0 4 holds the number nB of 4 ⁇ 4 block non-zero coefficients referred to as the upper neighbor in the 4 ⁇ 4block black block.
  • TotalCoefLenght bit length ROM 2 0 7 is the table selection index nC
  • the VLC table is selected based on the above, and TrailingOne and TotalCoef are encoded and the code length is calculated.
  • TotalCoefLenght bit length ROM 2 07 sequentially outputs the TotalCoefLength bit length to adder 2 0 8.
  • the adder 20 8 is supplied with the code length calculated by the CAVLC calculation unit 15 — 1 to 15 — n.
  • the adder 20 8 adds the code supplied from the CAVLC calculation unit 1 5 —:! To 1 5 — n corresponding to the TotalCoefLength bit length and the total CoefLength bit length, thereby adding a code for each 4 ⁇ 4 block.
  • the code amount control unit 4 calculates the generated code amount for each MB by adding the code length for each 4 ⁇ 4 block for each MB. These processes are repeated for the entire picture.
  • the CAVLC calculation unit 15 shares the TotalCoefLenght bit length ROM 2 07 with a small number of computations.
  • the CAVLC calculator 15 can simplify the circuit configuration by reducing the number of TotalCoefLenght bit length ROMs 2.07.
  • the CAVLC calculation unit 15 can omit the MB boundary nB storage line memory, greatly reducing the RAM storage capacity required for the CAVLC calculation unit 15 and simplifying the circuit configuration. it can.
  • the quantization unit 14 stores the scaling factor MF and 1 / Q Matrix separately and also stores the DCT algorithm. All the possible values according to the dress are supplied to each quantization unit 1 4 — 1 to 1 4 1 n. Each quantization unit 1 4! ⁇ 1 4— n selects the scaling data MF and 1 ZQ Matrix according to the set quantization parameter QP. As a result, the quantizing unit 14 can share the memory among the quantizing units 14-1 to 14-1 n, so that the memory can be reduced.
  • the CAVLC calculation unit 15 can reduce the MB boundary nB storage line memory 4 1 2 by not using the upper 4 x 4 block for the upper end of the MB. It becomes possible.
  • CAVLC calculation part 1 5 is 4x4DCT block unit By sharing the CAVLC shared computing unit 15 where the operations are executed in the time division, the logical modules can be reduced. .
  • the image encoding device 100 uses the correlation in the screen to increase the efficiency in the AVC, so that the advantage of AVC cannot be maximized by reducing the processing unit. Perform two pre-encodings for each picture. Then, the image encoding device 100 is configured to share part of the circuit in order to solve the problem that the processing amount increases for improving the efficiency and the circuit scale of the encoder increases due to that. Adopt partial parallel configuration. As a result, the image encoding device 100 can simplify the configuration of the pre-encoder, and 1. match the generated code amount to the target code amount given to the picture and distribute the code amount in consideration of visual characteristics, that is, The quantization parameter QP can be determined.
  • the second pre-encoding unit 2 performs the same encoding as the encoder 3 using the prediction quantization parameter QPd and the prediction quantization matrix Q MatrixD, thereby increasing the amount of high-precision generated code. Calculate with accuracy.
  • the generated code amount calculated by the second pre-encoding unit 2 is referred to as a high-precision generated code amount.
  • the second pre-encoding unit 2 calculates not only the predicted quantization parameter QPd but also the quantum ⁇ : parameter QP before and after the predicted quantization parameter QPd and calculates the amount of generated code with high accuracy.
  • the prediction quantization parameter is used to predict the amount of high-precision generated code near QPd.
  • the code amount control unit 4 supplies the prediction quantization parameter QP d, the prediction quantization matrix Q MatrixD and the activity group of each MB to the second pre-encoding unit 2.
  • the second pre-encoding unit 2 performs the second pre-encoding based on these values.
  • the input image 91 is subjected to delay processing via the delay buffer 5 and then input to the intra-screen prediction processing unit 21.
  • the in-screen prediction processing unit 2′1 calculates which difference between the predicted image and the input image 9 1 and generates difference image data.
  • the 001 ⁇ section 22 performs DCT processing on the difference image data to generate a DCT coefficient.
  • the quantization unit 23 performs a quantization process on the DCT coefficient to generate a quantization coefficient.
  • the entropy code length calculation unit 24 entropy codes the quantized coefficients using CAVLC or CABAC, and calculates a high-precision generated code amount.
  • the quantization unit 23 sends the quantization unit to the inverse quantization unit 27.
  • the inverse quantization unit 27 dequantizes the quantization coefficient to regenerate the DCT coefficient.
  • the IDCT unit 26 converts the DCT coefficient into IDCT, generates a local decoded image, and stores it in the buffer 25.
  • the quantization unit 2 3 is configured by three-stage quantization units 2 3-1, 2 3-2, and 2 3 ⁇ 3 in this example, and the entropy code length calculation unit 2 4 is 3 in this example. It is composed of two stages of entropy code length calculators 2 4-1, 2 4-2 and 2 4-3. The reason why the number of steps is reduced to three is that the quantization parameter QP has already been roughly estimated over a wide range in the first pre-encoding.
  • the quantization unit 2 3 and the entropy code length calculation unit 2 4 execute processing in parallel, and perform the prediction quantization parameter QPd and the quantization parameter QP before and after the prediction quantization parameter QPd. A highly accurate generated code amount is obtained.
  • the entropy code length calculation unit 24 selects from CABAC / CAVLC the same method as the entropy encoding method of this encoding by the encoding unit 3. '
  • the code amount control unit 4 determines the basic quantization parameter QP MB of the picture used in the main encoding from the high-accuracy generated code amount obtained by the second pre-encoding. Then, the code amount control unit 4 determines the quantization information (Q Matrix, MB of each MB) from the basic quantization parameter QPMB of the determined picture, the prediction quantization matrix Q MatrixD, and the activity group of each MB. QP etc.) is sent to the encoder section 3.
  • the quantization information Q Matrix, MB of each MB
  • the quantization parameter QP closest to the target code amount is selected as the basic quantization parameter QPMB. .
  • the code amount control unit 4 obtains the variation rate of the highly accurate generated code amount with respect to the change of the quantization parameter from the result of the second pre-encoding.
  • the predictive quantization parameter QPd is based on the low-accuracy code amount generated by the first pre-en 2 and code part 1.
  • the code amount control unit 4 uses the predictive quantization parameter QPd and the quantization parameter QP before and after the predictive quantization parameter QPd to generate the high-precision Predict the code amount and select the quantization parameter QP closest to the target code amount as the basic quantization parameter QPMB
  • Dif £ Ratio_l representing how much the high-precision generated code amount changes when the quantization parameter QP is subtracted by “1” is obtained from the result of the second pre-encoding 2 as follows. Generated—bits represents the amount of generated code in the second pre-encode 2.
  • QP_precodel is the predicted quantization parameter QP d
  • QP_precodel-l is a quantization parameter smaller by 1 than the predicted quantization parameter QPd. Represents QP.
  • DiffRatio— 1 (Generated— bits (QP—precode 1-1)-
  • QP_precodel Generated—bits (QP—precodel)) / Generated_bits (QP_precode 1)
  • QP_precodel + l represents a quantization parameter QP that is “1” larger than the predicted quantization parameter QPd.
  • DiffRatio— 2 (Generated— bits (QP—precodel)-
  • DiffRatio (Difffiatio_l + DiffRatio ⁇ 2) / 2
  • DiffRatio is calculated as the average value of the fluctuations in the amount of generated code when the predicted quantization parameter QPd changes by 1 in the positive and negative directions.
  • DeltaQP be the absolute value of the difference between the quantization parameter QP whose high-accuracy generated code amount is closest to the target code amount and the predicted quantization parameter QPd. (QPjrecodel).
  • QP_precodel-l the quantization parameter QP
  • QP_precodel-l the quantization parameter QP
  • the generated code amount is calculated as follows.
  • Quantization parameter QP corresponding to high-precision generated code quantity closest to the target code quantity QP is the predictive quantization parameter QPd
  • the quantization parameter QP (QPjrecodel + 1) which is larger by 1, is larger than the target code amount
  • the high-precision generated code amount (Generated—bits (QP)) of the nearest quantization parameter QP is calculated as follows. ,
  • the code quantity control unit 4 uses the quantization parameter QPd before and after the predicted quantization parameter QPd.
  • the amount of generated code is increased or decreased by the amount of code corresponding to the rate of change when the value of the quantization parameter QP changes by “1” around the predicted quantization parameter QPd.
  • the code amount control unit 4 can calculate a highly accurate generated code amount with high accuracy using a quantization parameter QP in the vicinity of the predicted quantization parameter QPd.
  • the code quantity control unit 4 uses the quantization parameter QP that is closest to the target code quantity as the basic quantization parameter QPMB that is used as the average quantum ⁇ f ⁇ parameter (BaseQP) in this encoding. Will choose.
  • the prediction quantization parameter QPd (QP_precodel) estimated by the first pre-encoding unit 1, one larger quantization parameter QP (QP_precodel + l), and one smaller Pre-encode with the quantization parameter QP (QP_precodel-l).
  • the local decoding (Local Decode) image used in the in-screen prediction processing is the data quantized with the predicted quantization parameter QPd (QP_precodel) estimated based on the result of the first pre-encoding unit 1.
  • the data processed by inverse quantization and IDCT is the quantization output of the predicted quantization parameter QPd (QPjrecodel).
  • QPjrecodel the quantization parameter QP
  • This is a pre-encoding screen that uses the quantization parameter QP (QP—precodel + l, QP_precodel-l) before and after the predicted quantization parameter QPd. This means that the input of prediction processing is substituted with the local decoding (Local Decode) image of the prediction quantization parameter QPd (QP_precodel), not the local decoding (Local Decode) image of itself.
  • the code amount control unit 4 predicts the possibility that the low-precision generated code amount is closest to the target code amount by predicting the low-precision generated code amount based on the result of the first pre-encoding unit 1.
  • the high-accuracy generated code amount is calculated by the same encoding as the main encoding by the quantization parameter QPd and the quantization parameter QP before and after the quantization parameter QPd.
  • the code amount control unit 4 can calculate the highly accurate generated code amount almost accurately when the predicted quantization parameter QPd and the preceding and subsequent quantization parameters QP are used.
  • the present invention focused on the fact that the fluctuation rate of the high-accuracy generated code amount accompanying the change of the quantization parameter QP is almost constant within a narrow range.
  • the code amount control unit 4 uses the quantization parameter QP in the vicinity of the prediction quantization parameter QPd based on the fluctuation rate of the highly accurate generated code amount in the prediction quantization parameter QPd and the quantization parameter QP before and after the prediction quantization parameter QPd. The amount of generated code with high accuracy is calculated. As a result, the code amount control unit 4 can calculate a highly accurate generated code amount almost accurately for the quantization parameter QP in the vicinity of the predicted quantization parameter QPd.
  • the image encoding apparatus and the image encoding method include a computer program installed in the apparatus or a recording medium that records the program, a computer program that implements the method, or a recording medium that records the program. Implementation is also possible.
  • the activity calculation unit 16 calculates an activity for each MB, and divides the MB into activity groups according to the value (step S 1).
  • the in-plane prediction mode determination unit 11 determines an in-screen prediction mode based on the input image 91 (step S 2). This in-screen prediction mode is also used in the second pre-encoding by the second pre-encoding unit 2 and the main encoding by the main encoding unit 3.
  • the in-screen prediction processing unit 12 calculates difference image data between the predicted image and the input image.
  • the predicted image here, the input image 91 is used in order to reduce processing.
  • the DCT unit 13 performs integer precision DCT, and sends the DCT coefficient to the quantization unit 14 (step S 3).
  • the quantization unit 14 quantizes the DCT coefficient value using a plurality of selected quantization parameters QP 1 at arbitrary intervals as the average quantization parameter (BaseQP) of the picture.
  • the entry port code length calculation unit 15 obtains the generated code amount for each selected quantization parameter QP 1 by performing variable length coding of the quantization coefficient and calculating the code length (step S 4).
  • the MB quantization parameter QP is encoded with a value taking into account the activity as described above. That is, as described above, the MB quantization parameter QP is obtained by adding an offset depending on the activity group to the average quantization parameter (BaseQP) of the picture.
  • the above process is performed for each quantization matrix Q Matrix. That is, for each quantization matrix Q Matrix, pre-encoding is performed with a discrete (jumping) selected quantization parameter QP1, and the generated code amount for one picture is acquired. At this time, for each quantization matrix Q Matrix, select quantization parameter to cover the range that quantization parameter QP can take. Select QP1.
  • the code amount control unit 4 corrects the generated code amount calculated by the first pre-encoding unit 1 to calculate a low-precision generated code amount.
  • the code amount control unit 4 corrects the error by simplifying the precoding, and calculates the low-accuracy generated code amount corresponding to the quantization parameter QP other than the selected quantization parameter QP1 by interpolation processing. (Step S5). ⁇
  • the code amount control unit 4 performs the process of step S5 on each quantization matrix Q Matrix and calculates the low-precision generated code amount for each quantization matrix Q Matrix (step S6). With the above processing, the low-accuracy generated code amount for all the required quantization parameters QP is obtained. Of the quantization parameters QP that can generate the low-accuracy generated code amount closest to the target code amount, The quantization matrix Q Matrix with the smallest slope is selected as the predicted quantization matrix Q MatrixD. Further, the code amount control unit 4 selects a quantization parameter QP that can generate a low-precision generated code amount closest to the target code amount corresponding to the predicted quantization matrix Q MatrixD as the predicted quantization parameter QPd. (Step S7).
  • the range of possible quantization parameters QP is limited, and when the first pre-encoding unit 1 calculates the low-precision generated code amount The range of the selective quantization parameter QP1 can be reduced. This is the predicted quantization matrix Q MatrixD determined by the first pre-encoding unit 1 and the predicted quantization parameter QPd.
  • a generated code amount acquisition process is performed by the second pre-enload unit 2 (steps S8 to S10).
  • the purpose of the second pre-encoding unit 2 is to perform basic quantization again by pre-encoding again in view of the fact that the estimation of the prediction quantization parameter QPd by the first pre-encoding unit 1 has an error.
  • the parameter is to increase the accuracy of QPMB estimation.
  • a high-accuracy generated code amount is obtained by pre-encoding again with the quantization parameter QP in the vicinity of the predicted quantization parameter QPd roughly estimated from the result of the first pre-encoding unit 1, and the target code amount is obtained. Closest quantization parameter Find QP again. Entropy code length calculation is the same method as this encoding
  • CABAC CABAC or CAVLC
  • the second pre-encoding unit 2 uses the local quantization image QPd (QP_precodel) estimated by the result of the first pre-encoding unit 1 as a local decoded image (predicted image) to be used for intra-screen prediction. Share the decoded image.
  • the prediction quantization parameter QPd (QP_precodel), the quantization matrix Q Matrix, and the activity group determined by the result of the first pre-encoding unit 1 are used.
  • the quantization unit 2 3-1 is set with the predicted quantization parameter QPd (QP ⁇ recodel), and the quantization unit 2 3-2 is a quantization parameter QP (QP_precodel) that is smaller by 1 than the predicted quantization parameter QPd.
  • -1) is set, and the quantization unit 2 3-3 is set to a threshold quantization parameter (QP_j) recodel + l) that is “1” larger than the predicted quantization parameter QPd.
  • the MB quantization parameter (Q.P) is encoded with a value that takes into account the activity.
  • the code amount control unit 4 determines a basic quantization parameter QP MB from the highly accurate generated code amount obtained based on the second pre-encoding unit 2 (step S 10).
  • the main code unit 3 performs the main encoding (step S 1 1).
  • the quantization parameter (QP) whose quantity is closest to the target code quantity is compared with the maximum quantization parameter QP (QMatrixTheshold [Id]) that can be taken in the quantization matrix Q-Matrix (step S 2 2).
  • the code quantity control unit 4 Quantization matrix Q-Matrix is determined as -predictive quantization matrix Q MatrixD. Furthermore, the code quantity control unit 4 determines that the quantization parameter (QP) whose low-precision generated code quantity in the prediction quantization matrix Q MatrixD is closest to the target code quantity is the prediction quantization parameter QPd (step S 2 3), Q Matrix decision processing procedure RT 2 ends. ⁇
  • the code quantity control unit 4 sets the maximum possible quantization parameter QP for each quantization matrix Q-Matrix, and the quantization matrix Q with a gentle slope. In order from -Matrix, it is determined whether or not the low-accuracy generated code amount corresponding to the quantization parameter QP estimated that the low-accurate generated code amount is closest to the target code amount is a value that is really close to the target code amount. And if it is close, the corresponding amount The child matrix Q-Matrix is determined as the predictive quantization matrix Q MatrixD used in this encoder.
  • pre-encoding is performed twice in units of pictures.
  • the image encoding device 100 has a part of the circuit in order to solve the problem that the processing amount increases and the circuit scale of the encoder increases due to this.
  • Adopt a partial parallel configuration.
  • the pre-encoder configuration is simplified, and errors associated with the simplification are corrected with statistical data. .
  • the image encoding apparatus 100 can match the main encoding generated code amount generated in the main encoding without performing the on-screen feed back control to the target code amount given to one picture. Become.
  • the image encoding device 100 can eliminate problems of feed back control such as a bad effect due to an inappropriate initial value of the feed back parameter and an inappropriate target code amount distribution.
  • the image encoding apparatus 100 can match the actual encoding generated code amount with the target code amount, and can determine the code amount distribution in consideration of visual characteristics, that is, an appropriate quantization parameter.
  • the VLC table selection processing procedure RT1 executed by the CAVLC shared calculation unit 15.0 according to the encoding program will be described with reference to the flowchart shown in FIG.
  • the CAVLC calculation unit 15 starts the VLC table selection processing procedure RT 1 and proceeds to step S 41.
  • the CAVLC calculation unit 15 counts TrailingOne and TotalCoef by the CAVLC calculation unit 15— :! to 15—n, and then proceeds to the next step S42.
  • step S2 the CAVLC calculating unit 15 calculates the number of non-zero coefficients by adding railingOne and TotalCoef, and then proceeds to the next step S43.
  • step S 3 the CAVLC calculation unit 15 temporarily stores the numbers n A and n B of the non-zero coefficients to be referred to, and proceeds to the next step S 44.
  • step S44 the CAVLC calculation unit 15 determines whether or not the 4 X4 block to be processed is the upper boundary of the MB. Here, when a negative result is obtained, this indicates that nB to be referred to is held in the nB holding memory 204. At this time, the CAVLC calculation unit 15 proceeds to the next step S46.
  • step S46 the CAVLC calculation unit 15 uses the average value of nA and nB as the table selection index nC, and proceeds to the next step S47.
  • step S44 the CAVLC calculating unit 15 proceeds to step S45, and when nA is used as the table selection index nC, the process proceeds to the next step S47. .
  • step S47 when the CAVLC calculation unit 15 selects a VLC table based on the table selection index nC, the CAVLC calculation unit 15 proceeds to an end step and ends the process a.
  • the image encoding device 100J is scanned as a scanning block composed of a plurality of 4 X 4 blocks while being scanned every 4 X 4 blocks as an encoding block consisting of a plurality of pixels.
  • An input image 91 that is line-scanned for each MB is input.
  • the image encoding device 100 uses variable-length encoding in the 4 X 4 block above and to the left of the 4 X 4 block to be encoded in the quantization coefficient as the data to be encoded based on the input image 91.
  • the VLC (variable length) table corresponding to the table selection index n C that is the average value of the non-zero coefficients n B and n A as the encoded values is selected.
  • the image encoding apparatus 100 sets the number of non-zero coefficients n B in the upper 4 X 4 block to the left 4 X 4 block.
  • the number of non-zero coefficients n is assumed to be n A.
  • the image encoding apparatus 100 uses the selected VLC table to perform variable-length encoding on the number of 4 ⁇ 4 block non-zero coefficients to be encoded in the quantized coefficients. As a result, the image coding apparatus 100 can omit the memory for one line for referring to the number nB of non-zero coefficients adjacent to the upper end at the upper end of the MB, and can simplify the circuit configuration.
  • the image encoding device 100 encodes the input image 9 1 by performing quantization using a quantization step based on at least a quantization factor (quantization parameter QP and / or quantization matrix). , Generates quantized coefficients as data to be encoded.
  • the image encoding device 1 0 0 is based on the low-accuracy generated code amount when the quantized coefficient is variable-length encoded, and the main encoding generated code amount when the input image 91 is fully encoded is the target code.
  • the image encoding device 100 performs main encoding (main encoding) on the input image 91 based on the determined basic quantization parameter QP MB .
  • the image encoding device 100 can determine the basic quantization parameter QP MB based on the low-accuracy generated code amount calculated with a simple configuration.
  • the image encoding device 100 encodes the input image 91 by performing DCT processing, which is orthogonal transform for each 4 ⁇ 4 block, and then quantizing it using a quantization step based on the quantization parameter QP. Generate quantized coefficients.
  • the image encoding device 1 0 0 determines a predictive quantization parameter QPd as a predictive quantization factor in the vicinity of the basic quantization parameter QPMB.
  • the image encoding device 1 encodes the input image 9 1 based on the selected predicted quantization parameter QPd and the quantization parameter QP in the vicinity of the predicted quantization parameter QPd, Calculate the amount of precision generated code.
  • the image encoding device 100 determines the basic quantization parameter QP MB based on the calculated high-accuracy generated code amount of the input image 91.
  • the image encoding device 1 0 0 is based on the prediction quantization parameter QPd which is likely to be the basic quantization parameter QP MB and the quantization parameter QP in the vicinity of the prediction quantization parameter QPd.
  • the quantization parameter QPMB can be determined. For this reason, the image encoding device 100 can improve the prediction accuracy of the basic quantization parameter QP MB .
  • the image encoding apparatus 200 and the image encoding method according to this embodiment are characterized by the following. ,
  • the image encoding device 200 is an image compression method typified by MPEG4 AVC (Advanced Video Coding) and the like, and simplifies the processing when code amount control is performed. Reduce hardware by doing.
  • the image encoding device 200 has both CABAC (Context-Adaptive Binary Arithmetic Coding) and Context-Adaptive Variable Length Coding (CAVLC).
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • CAVLC Context-Adaptive Variable Length Coding
  • the system is capable of selecting the ENT PG encoding method.
  • the image encoding device 200 reduces the circuit scale by performing a parallel encoding with a single encoding method when performing quantization with different quantization values in parallel. To do.
  • the image encoding device 200 is configured to change the simplified quantization unit 28 in the second pre-encoding unit 2 into the sharing unit 28 0 as in the quantization unit 14 in the first pre-encoding unit 1.
  • quantization part 2 8—! It consists of ⁇ 2 8 _ 3.
  • the image encoding device 200 shares a simple code length calculation unit 29 that calculates a simple generated code amount by CAVLC in the same manner as the CAVLC calculation unit 15 in the first pre-encoding unit 1.
  • the calculation unit is configured as 29 0 and the CAVLC calculation unit 2 9 _ 1 to 2 9.-3.
  • the CAVLC calculation unit 29-1 calculates the generated code amount based on the predicted quantization parameter QPd.
  • the CAVLC calculation units 29-2 and 29-3 calculate the generated code amount based on the quantization parameter QP before and after the predicted quantization parameter QPd.
  • the image encoding device 200 has only one stage of the ENT port code length calculation unit 42 for calculating the amount of code generated by CAVLC or CABAC. By switching between CAVLC and CABAC accordingly, a high-accuracy generated code amount based on the predicted quantization parameter QPd is calculated.
  • the image encoding apparatus 200 When CAVLC is used for the main encoding, the image encoding apparatus 200 generates a generated code amount based on the predictive quantization parameter QPd by the CAVLC calculation unit 29-1 and an entrance py code length calculation unit 4 2.
  • the amount of high-precision generated code based on the quantization parameter QP other than the predicted quantization parameter QPd is predicted from the amount of deviation from the high-precision generated code amount based on the predicted quantization parameter QPd.
  • the image encoding device 200 obtains the deviation (ratio) of the generated code amount between CABAC and CAVLC, thereby obtaining the CABAC Predict the amount of code generated with high accuracy.
  • the image encoding apparatus 200 eliminates the CABAC circuit in the parallel part for calculating the highly accurate generated code quantity based on the quantization parameter QP before and after the predicted quantization parameter QPd, and reduces the circuit scale. To do.
  • FIG. 8 shows and describes the configuration of an image encoding device 200 according to an embodiment of the present invention.
  • the second pre-encoding unit 2 is a module that performs the second pre-encoding, and includes an intra-screen prediction processing unit 2 1, 0 000 2 2 ′, a quantization unit 4 1, an entropy code length calculation unit 4 2, A buffer 25, an IDCT (Inverse DCT) unit 26, an inverse quantization unit 27, a simple quantization unit 28, and a simple code length calculation unit 29 are provided.
  • an intra-screen prediction processing unit 2 1, 0 000 2 2 ′ a quantization unit 4 1
  • an entropy code length calculation unit 4 2 A buffer 25, an IDCT (Inverse DCT) unit 26, an inverse quantization unit 27, a simple quantization unit 28, and a simple code length calculation unit 29 are provided.
  • IDCT Inverse DCT
  • the code amount control unit 4 is a module that performs code amount control.
  • the simple quantization unit 28 separately outputs the scaling factor MF and the inverse of the quantization matrix Q Matrix (1 Matrix) as multiplication coefficients.
  • the simple quantization unit 28 has a slight error compared to the conventional quantization unit 3 0.0 due to rounding that occurs when the inverse of the quantization matrix Q Matrix is output.
  • the simplified code length calculation unit 29 is assumed that the number of upper non-zero coefficients nB in the 4 X 4 block at the upper end of the MB is assumed to be the number of left non-zero coefficients nA on the left. An error is generated. Therefore, the image encoding device 2 0 0 performs predictive quantization in which the same encoding as that of this encoder is executed. For the quantization parameter QP in the vicinity of the parameter QPd, the generated code amount calculated by the simple code length calculation unit 29 is corrected to calculate a highly accurate generated code amount. '
  • the image encoding device 2 0 0 uses a highly accurate generated code amount based on the predicted quantization parameter QPd by the entropy single code length calculation unit 4 2 and the CAVLC calculation unit 2 9-1 From the ratio of the generated code amount by simple encoding based on the predicted quantization parameter QPd, the high-accuracy generated code amount in the vicinity of the predicted quantization parameter QPd is calculated.
  • the code amount control unit 4 calculates a highly accurate generated code amount based on the quantization parameter QP before and after the predicted quantization parameter QPd from the code amount ratio R_reduction and the generated code amount by the simple process.
  • the amount of generated code by the above is the simplified generated code amount Reduce—Generated—bits (QP_precode 1-1) and the simplified generated code ⁇ Reduce_Generated_bits (QPj) recodel + l).
  • the code amount control unit 4 pays attention to the fact that the ratio of the code amount of normal processing and the code amount of simple processing is almost equal, and the code amount ratio R based on the predicted quantization parameter QPd — Reduction or Therefore, a high-precision code amount is predicted based on a quantization parameter (QPj) recodel-l) that is “1” smaller than the predicted quantization parameter QPd and a quantization parameter (QP_precodel + l) that is “1” larger than the predicted quantization parameter QPd. To do.
  • the code amount control unit 4 determines the high-precision generated code amount of normal processing.
  • the code quantity control unit 4 uses the following equation to calculate the quantization parameter (QPj) recodel + l) that is “1” larger than the predicted quantization parameter QPd. Calculate high-precision generated code amount Generated_bits (QP—precode 1+ 1).
  • the code amount control unit 4 uses the code amount ratio R—reduction for the code amount generated by the simple processing (processing by CAVLC calculation units 29-2 and 29-3). Is used to calculate the high-precision generated code amount for the preceding and following quantization parameters QPd of the predicted quantization parameter QPd.
  • the code amount control unit 4 performs the variation rate DiffRatio of the prediction quantization parameter QPd (QP_precodel) and the quantization parameters QP (QP_precodel-l and +1) before and after the prediction quantization parameter QPd (QP_precodel). From this, the high-accuracy generated code amount for the other quantization parameter QP is calculated. ' ⁇ .
  • the predicted quantization parameter QPd and its Based on the quantization parameter QP in the vicinity of, the generated code amount is calculated by simple CAVLC (simple processing).
  • the image encoding device 200 calculates a high-precision generated code amount based on the predicted quantization parameter QP d by the same encoding (normal processing) as the main encoding.
  • the image encoding device 200 calculates the code amount ratio R_reduction between the simple process and the normal process, and multiplies the generated code quantity by the simple process based on the quantization parameter QP in the vicinity of the predicted quantization parameter QPd. As a result, the image encoding device 200 can correct errors due to simple processing, and calculates a highly accurate and highly accurate generated code amount for the quantization parameter QP in the vicinity of the predicted quantization parameter QPd. Has been made to get.
  • CABAC is complicated in processing and requires a large circuit scale. Therefore, in the image encoding device 200, the prediction quantization parameter QPd is subjected to the same encoding (that is, CABAC) as this encoding, so that the simple code length is set for the quantization parameter QP in the vicinity thereof.
  • CABAC CABAC
  • the second pre-encoding unit 2 performs the calculation by actually encoding only the high-accuracy generated code amount based on the predictive quantization parameter QPd.
  • the code quantity control unit 4 uses the high-precision generated code quantity Generated_bits (QP_precodel) with the predictive quantization parameter QPd (QPj) recodel) and simple processing (processing by the CAVLC calculation unit 29-1).
  • Generated code amount Reduce The ratio of Generated_bits (QP_precodel) is the code amount ratio R_reduction.
  • the code amount control unit 4 multiplies the code amount ratio R_reduction by the code amount generated by the simple processing (processing by the CAVLC calculation units 29-2 and 29-3) as in the case of CAVLC.
  • the CABAC high-accuracy generated code amount is calculated for the quantization parameter QPd before and after the predicted quantization parameter QPd.
  • the code amount control unit 4 performs the variation rate Difffiatio of the prediction quantization parameter QPd (QP_precodel) and the quantization parameter QP (QP_precodel-l and +1) before and after the prediction quantization parameter QPd (QP_precodel). From this, the high-accuracy generated code amount for the other quantization parameter QP is calculated.
  • the image coding apparatus 200 calculates the generated code amount by simple CAVLC (simple processing) based on the predicted quantization parameter QPd and the quantization parameter QP in the vicinity thereof.
  • the image encoding device 200 calculates a highly accurate generated code amount based on the predicted quantization parameter QP d by the same CABAC (normal processing) as the main encoding.
  • the image encoding device 200 calculates the code amount ratio R_reduction between the simple process and the normal process, and multiplies the generated code quantity by the simple process based on the quantization parameter QP in the vicinity of the predicted quantization parameter QPd. .
  • the image encoding device 200 can predict the highly accurate generated code amount by CABAC with high accuracy based on the generated code amount by simple CAVLC (simple processing).
  • the image encoding apparatus 200 can provide a highly accurate prediction of the amount of code generated by CABAC with high accuracy by providing only one CABAC circuit with a complicated circuit configuration.
  • the circuit configuration can be greatly simplified.
  • step S 51 the code amount control unit 4 performs a simple process (indicated by a black square in FIG. 10) by the CAVLC calculation unit 29 _ 1 and a normal process (indicated by a black circle in FIG. 10) by the estropy code length calculation unit 42.
  • step S 52 the code amount control unit 4 generates the generated code amounts of the quantization parameters QP (QP_precodel-l and +1) before and after the predicted quantization parameter QPd by simple processing (white squares in FIG. 10).
  • the code amount control unit 4 uses the prediction quantization parameter QPd and the fluctuation rate Difffiatio of the generated code amount in the preceding and following quantization parameters QP to obtain a high-precision generated code for the quantization parameter QP in the vicinity of the predicted quantization parameter QPd.
  • the process proceeds to the next step S53.
  • step S 53 the code amount control unit 4 determines that the quantization parameter QP indicating the high-accuracy generated code amount closest to the target code amount is the basic quantization parameter QP MB. Exit.
  • the image encoding apparatus and the image encoding method include a computer program installed in the apparatus or a recording medium that records the program, a computer program that executes the method, or a recording medium that records the program. Can also be implemented.
  • the image encoding device 200 is used as a basic quantization factor that is predicted that the main code generation code amount when the input image 91 is encoded by the main encoding unit 3 is closest to the target code amount.
  • the predicted quantization parameter QPd as the predicted quantization factor that is predicted to be in the vicinity of the basic quantization parameter QP MB of is determined (step S 6 1 in FIG. 11).
  • the image encoding device 2 0 0 ′ calculates the input image 9 1 based on the predicted quantization parameter QPd and the quantization parameter QP in the vicinity of the predicted quantization parameter QPd and calculates the entropy code length. Compared with the coding by part 4 2 By performing encoding (simple processing), the amount of generated code by simple encoding is calculated (step S 62).
  • the image coding apparatus 200 encodes the input image 91 based on the predictive quantization parameter QPd (normal processing), thereby calculating the generated code amount by the normal processing (step S 6 3).
  • the image encoding device 2 0 0 generates the generated code quantity based on the predicted quantization parameter QPd based on the predicted quantization parameter QPd based on the predicted quantization parameter QPd based on the predicted quantization parameter QPd generated based on the predicted quantization parameter QPd based on the normal process Reduced Generated_bits (QP_precodel)
  • the code amount ratio R—reduction is calculated (step S 6 4).
  • the image encoder 2 0 0 generates a code quantity ratio for Reduce—Generated—bits (QP—precodel + l, ⁇ 1) based on the quantization parameter QP in the vicinity of the predicted quantization parameter QPd. By multiplying R_reduction, the amount of generated code based on the quantization parameter QP in the vicinity of the predicted quantization parameter QPd is corrected. Reduce—Generated—bits (QP_precodel + l, ⁇ 1) ( Step S 6 5). As a result, the image encoding apparatus 200 only needs to execute the same encoding as that of the encoding code only for the predicted quantization parameter QPd, while maintaining the accuracy of the highly accurate generated code amount.
  • the circuit configuration of the second pre-encoding unit .2 can be simplified.
  • the image coding apparatus 200 encodes the input image 9 1 easily by variable length coding (CAVLC) (simple processing), and encodes the input image 9 1 by arithmetic coding (CABAC) ( Normal processing).
  • CAVLC variable length coding
  • CABAC arithmetic coding
  • the image encoding apparatus 200 can substitute CAVLC for CABAC having a complicated circuit configuration for the quantization parameter QP in the vicinity of the predictive quantization parameter QPd, thereby simplifying the circuit configuration.
  • the image encoding device 200 encodes the input image 91 by simple CAVLC as compared with encoding (normal processing) (simple processing).
  • the image encoding device 200 can simplify the configuration of the simple code length calculation unit 29.
  • the image encoding device 200 is scanned for each 4 X 4 block as an encoding block made up of a plurality of pixels, and for each MB as a scanning block composed of a plurality of 4 X 4 blocks.
  • the encoding target data (quantization coefficient) based on the input image 91 scanned in line is compared with the main encoding and is encoded easily.
  • the image encoding device 200 has a coded value (number of non-zero coefficients nA and non-zero coefficients) that is variable-length coded in the 4 ⁇ 4 block on the upper side and on the port side of the 4 ⁇ 4 block to be coded Select the variable length (VLC) table corresponding to the average value of nB). If the 4 X 4 block to be encoded is the upper end of the MB, the number of non-zero coefficients in the upper 4 X 4 block nA is set to the left 4 X By mimicking the number of non-zero coefficients of 4 blocks nB, the input image 91 is simply encoded (simplified processing).
  • the image encoding device 2 0 0 encodes the input image 9 1 (normal processing) regardless of the position of the 4 X 4 block MB.
  • the image encoding device 200 can omit the line memory for storing the number nB of non-zero coefficients of the 4 ⁇ 4 block at the bottom end of MB in one portion of the simple code length calculation unit 29,
  • the configuration of the simple code length calculation unit 29 can be simplified.
  • the image encoding device 200 compares the input image 91 with the main encoding by simple quantization by the simple quantization unit 28 and simply encodes it. That is, the image encoding device 200 stores the first multiplication coefficient (scaling factor MF) corresponding to the combination of the position (DCT address) in the 4 ⁇ 4 block and the quantization parameter QP, and stores 4 ⁇ 4 blocks. From the position of, specify the scaling factor MF that can be taken according to all the quantization parameters QP, and output the specified scaling factor MF.
  • the image encoding device 2 0 0 is provided in parallel with the same number of data to be encoded (DCT coefficients). Among the output scaling factors MF, the scaling factor according to the quantization parameter QP to be used. MF Select.
  • the image encoding device 2 0 0 is the same as multiple encoding target data (DCT coefficients). Only one number is provided in parallel, and the selected scaling factor MF and 4 ⁇ 4 block values are multiplied.
  • the image encoding device 2 0 0 is provided in parallel with the same number of data to be encoded (DCT coefficients), and the value of 4 44 blocks multiplied by the number of digits according to the quantization parameter QP Shift.
  • the image encoding device 2 00 can share a part of the simplified quantization unit 28 (shared unit 2 8 0), so that the configuration of the simplified quantization unit 28 can be simplified. it can.
  • the image encoding device 200 stores the reciprocal value of the quantization matrix Q Matrix as the second multiplication coefficient corresponding to the combination of the position of the quantization matrix Q Matrix and the 4 X 4 block, and stores 4 X 4 blocks. From the position (DCT address), the inverse value of the quantization matrix Q Matrix that can be taken according to all the quantization matrices Q Matrix is specified, and the inverse value of the specified quantization matrix Q Matrix is output. The image encoding device 200 selects an inverse value of the quantization matrix Q Matrix corresponding to the quantization matrix Q Matrix to be used from among the inverse values of the output quantization matrix Q Matrix.
  • the image encoding device 200 can reduce the number of combinations as compared with the case where the multiplication coefficient (MF * 16 / QMatrix) is stored, and the scale factor RAM 1 0 2 and 1-matrix RAM 1 The storage capacity required for 0 3 can be reduced. '
  • the image encoding device 2 0 0 is a high-precision generated code quantity based on the quantization parameter QP near the corrected prediction quantization parameter QPd Generated_bits (QP_precodel + l, -1) From the fluctuation rate DiffrRatio with the high-precision generated code quantity Generated—bits (QP—precodel) based on the predicted quantization parameter QPd calculated in step 2, the predicted quantization parameter QPd and the predicted quantization parameter QPd Quantization parameter other than quantization parameter QP Generated_bits (QP) is calculated based on the quantization parameter QP.
  • the image encoding device 200 can perform high-precision generation codes with high accuracy even for the quantization parameter QP that is not actually encoded by the second pre-encoding unit 2.
  • Amount GeneratedJ its (QP) can be calculated.
  • the image encoder 2 0 0 uses a high-precision generated code quantity Generated_bits (QP_precodel) based on the predicted quantization parameter QPd and a quantized parameter QP in the vicinity of the corrected predicted quantization parameter QPd.
  • Generated code based on Generated_bits (QP_precodel + l, -1), predicted quantization parameter QPd, quantization parameter in the vicinity of the predicted quantization parameter QPd, quantization parameter other than QP QP
  • the quantization parameter QP corresponding to the generated code quantity closest to the target code quantity is determined as the basic quantization parameter QP MB . .
  • the image encoding device 200 can determine the basic quantization parameter QP MB based on the high-accuracy generated code amount calculated with high accuracy, and therefore selects an appropriate basic quantization parameter QP MB. Can do.
  • the image encoding device 2.00 performs main encoding of the input image 91 based on the determined basic quantization parameter QPMB. '
  • the image encoding apparatus 200 can execute this encoding based on the basic quantization parameter QP MB , so that the encoding amount generated by the encoding can be controlled in the vicinity of the target code amount.
  • the image encoding device 200 encodes the input image 91 by the same normal processing as that of this encoder based on the predicted quantization parameter QPd, while the predicted quantization parameter QPd and The input image 91 is simply encoded (simple process) based on the quantization parameter QP in the vicinity of the predicted quantization parameter QP d.
  • the image encoding device 2 0 0 calculates a code amount ratio R-reduction between a highly accurate generated code amount by normal processing based on the predicted quantization parameter QPd and a generated code amount by simple processing based on the predicted quantization parameter QP d. .
  • the code amount ratio between the generated code amount by the normal processing and the generated code amount by the simple processing is almost constant. Use that.
  • the image encoding device 200 has a code amount ratio R-reduction and the prediction amount. Based on the quantization parameter in the vicinity of the child quantization parameter QP d and the generated code amount by simple processing based on the QP, the quantization parameter in the vicinity of the predicted quantization parameter QP d calculate.
  • the image encoding device 200 only needs to execute the same encoding as this code only for the predicted quantization parameter QPd, and for the quantization parameter QP in the vicinity of the predicted quantization parameter QP d. Just do a simple encoding. Therefore, the present invention can realize an image processing apparatus and an image processing method capable of simplifying the circuit configuration.
  • the quantization coefficient obtained by performing DCT transform processing as orthogonal transform on the difference image data based on intra prediction as the encoding target data and further performing quantization is described.
  • the present invention is not limited to this.
  • the input image 9 1 is used as the encoding target data, or the input image 91 is one or two of intra prediction, orthogonal transform, and quantization, 'and other You may make it use the data which processed.
  • wavelet transform or the like can be used as an orthogonal transform.
  • the 4 ⁇ 4 block is set as an encoding block to be encoded has been described.
  • the present invention is not limited to this, and other units such as 8 X 8 blocks and 2 X 2 blocks may be used as codes or blocks.
  • the present invention is not limited to this, and various values according to the encoding method such as the number of zero runs can be used as the encoded values.
  • the present invention is suitable for simple encoding for calculating the low-precision generated code amount of the first pre-encoding unit 1.
  • the case where it was made to use was described.
  • the present invention is not limited to this.
  • the present invention may be applied to calculate a highly accurate generated code amount of the second pre-encoding unit 2.
  • it can also be used in the encoding section 3.
  • the present invention provides an image encoding device having various configurations. Can be applied to any device.
  • the quantization unit 14 (having the sharing unit) and the CAVLC calculation unit 15 having the configuration of FIG. 4 are described has been described.
  • the present invention is not limited to this, and may include a quantization unit 14 and a CAVLC calculation unit 15 having various other configurations.
  • the shared coefficient unit 1 50 stores the scaling factor MF and the inverse of the quantization matrix Q Matrix separately.
  • the present invention is not limited to this, and a value obtained by multiplying the inverse of the scaling factor MF and the quantization matrix Q ′ Matrix may be stored as a multiplication coefficient.
  • all the multiplication coefficients that can be taken according to the DCT address are output, and the multiplication coefficient is selected by the selection unit according to the quantization parameter QP and the quantization matrix.
  • the case where subtracters 1 0 8 to 1 1 7 having a 10-stage configuration are provided instead of the dividers has been described.
  • the present invention is not limited to this.
  • the number of subtractors is not particularly limited, and a divider may be used.
  • the case where only the half value of the DCT coefficient on the low frequency side is divided by the rescaling factor RF has been described.
  • the present invention is not limited to this. For example, 1/3 or 23 of the DCT coefficient on the low frequency side (first half of the scan) may be used as the first half.
  • 4 ⁇ 4 blocks are converted into quantization units. I mentioned the case where The present invention is not limited to this, and various block sizes such as 8 ⁇ 8 and 16 ⁇ 16 can be used as quantization units.
  • the present invention is not limited to this, and the present invention can be applied to various encoding schemes that adaptively select a VLC table.
  • a quantization scale is used as a quantization factor.
  • the generated code amount for each voucher is suppressed within the target code amount.
  • the present invention is not limited to this.
  • the generated code amount for each slice may be suppressed within the target code amount.
  • the image code as the image processing apparatus is provided by the total length of bit length ROM 2 07 as the variable length table selection unit and the variable length encoding unit.
  • the present invention is not limited to this, and the image processing apparatus of the present invention may be configured by a variable length table selection unit and a variable length encoding unit having various other configurations. '
  • the generated code amount based on the quantization parameter QP before and after the predicted quantization parameter QP is set as a neighborhood of the predicted quantization parameter QP by the second pre-encoding unit 2.
  • the case where it was calculated was described.
  • the present invention is not limited to this.
  • the generated code amount based on the quantization parameter QP two before or two after may be calculated.
  • the generated code amount is not calculated from the variation rate of the generated code amount based on the prediction quantization parameter and the quantization parameter QP before and after the prediction quantization parameter QP.
  • the quantization unit 2 8— :! ⁇ 2 8 _ n and CAVLC calculator 2 9— :! ⁇ 2 ⁇ — n is more than 4 stages
  • the configuration may be such that a high-precision generated code amount in the vicinity of the prediction quantization parameter QPd may be calculated based on the generated code amount by simple encoding and the code amount ratio R 1 reduction.
  • the second pre-encoding unit 2 includes the simple quantization unit 28 and the simple code length calculation unit 29 that execute the simple process.
  • the present invention is not limited to this, and it is only necessary to have at least one of them. In the present invention, either a simple process for CAVLC or a simple process for CABAC may be executed.
  • the quantization parameter QP corresponding to the highly accurate generated code amount closest to the target generated code amount is determined as the basic quantization parameter QPMB.
  • the present invention is not limited to this.
  • the quantization parameter QP corresponding to the high-accuracy generated code amount closest to the target generated code amount among the high-accuracy generated code amounts smaller than the target generated code amount is set as the basic quantization parameter. It may be determined to be determined as QPMB.
  • the first pre-encoding unit 1 and the code amount control unit 4 as the predictive quantization factor determination unit, and the simple quantization unit 28 as the simple encoding unit and The CAVLC calculation unit 29, the quantization unit 41 as the encoding unit, the entropy code length calculation unit 42, and the code amount control unit 4 as the code amount ratio calculation unit and the correction unit serve as an image processing apparatus.
  • the case where the image encoding apparatus 200 of the present invention is configured has been described. The invention is not limited to this, and the image processing apparatus of the present invention is configured by a predictor quantization factor determination unit, a simple encoding unit, an encoding unit, a code amount calculation unit, and a correction unit with various other configurations. You may make it do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、回路構成を簡易にし得る画像処理装置及び画像処理方法を実現できる。画像符号化装置（２００）は、予測量子化パラメータ（QPd）に基づいて人力画像（９１）を本エンコードと同一の通常処理により符号化する一方、予測量子化パラメータ（QPd）及び当該予測量子化パラメータ（QPd）の近傍の量子化パラメータ（QP）に基づいて入力画像（９１）を簡易的に符号化（簡易処理）する。画像符号化装置（２００）は、予測量子化パラメータ（QPd）に基づく通常処理による高精度発生符号量と、予測量子化パラメータ（QPd）に基づく簡易処理による発生符号量の符号量比R_reductionを算出する。画像符号化装置（２００）は、符号量比R_reductionと、当該予測量子化パラメータ（QPd）の近傍の量子化パラメータ（QP）に基づく簡易処理による発生符号量とに基づいて、当該予測量子化パラメータ（QPd）の近傍の量子化パラメータ（QP）に基づく高精度発生符号量を算出する。

Description

画像処理装置及び画像処理方法 技術分野
本発明は、 例えば画像符号化装置等に係り、 特に 1 ピクチャに与えられた目 標符号量に画面内フィ一ドバック制御を行わずに発生符号量を合わせ込む技術分 野に関する。 ' 明 田
背景技術 '
従来、 動画のビットス トリームを伝送したり記録メディアに記録したりするシ ステム等においては、 伝送路或いは記録容量を効率良く利用するために、 高能率 符号化が実施されている。 これを実現する画像符号化装置では、 エンコーダで発 生するビットストリームの符号化ビットレートは伝送メディアの転送レートに合 わせて一定とされており、 この制限の下でデータ発生量、 つまり、 エンコーダに おける量子化の量子化ステップが制御されている。 すなわち、 例えば絵柄が複雑 な画像が連続するときは量子化ステップを大きくしてデータ発生量を抑圧し、 こ れとは逆に単純な絵柄が連続するときは量子化ステップを小さくしてデータ発生 量を増加させることで、 バッファメモリのオーバーフロー又はアンダーフローを 生じさせないようにして固定レートを保持している。
従って、 このような従来技術に係る画像符号化装置では、 複雑な画像が連続す るときは量子化ステップが大きくなり画質が劣化し、 単純な画像が連続するとき は量子化ステツプが小さくなり全体を aじて均等な画質を得ることができなかつ た。 この問題に鑑みて、 例えば特許文献 1では、 G O P (Group Of Pictures)毎 の符号化の難易度と複数の G O Pの符号化の難易度の総和の比に従って各 G O P 自身に割り当てられる割当符号量を、 絵柄が複雑な画像を含む G O Pに対しては 多く割り当て、 絵柄が単純な画像を含む G O Pに対しては少なく割り当てるよう に算出する画像符号化装置が開示されている。
一方、 1ピクチャに与えられた目標符号量に発生符号量を合わせ込む方法とし て、 例えば TM5 (test model 5) の step2が良く知られている。 これは、 ピク チヤに割り当てられた符号量をマクロブロック （MB； Macro block) に均等に 配分したものを MB の目標符号量とし、 ピクチャ内でフィードバック (feed back) 制御をかける事で、 目標符号量に合わせ込む手法である。 特許文献 1 特許第 3 3 5 8 6 2 0号公報。 しかしながら、 前述した TM5の step2の方法では、 シーケンス先頭ピクチャ やシーンチェンジ直後ピクチャのエンコードにおいて、 暈子化ステップの初期値 が、 そのピクチヤの絵柄に合ったものではないため、 画質が劣化する場合があつ た。
例えばフィードバック制御において絵柄に追従するまでの部分の量子化ステツ プが大きすぎる場合は、 その部分の画質が他の部分に比べて劣化してしまい、 量 子化ステップが小さすぎる場合は、 その部分で符号量を使いすぎてしまい、 他の 部分にその影響が及ぶおそれがある。
また、 MBの目標符号量を常に一定にしているため、 画面内で画の難しさに偏 りがある時などは、 不適切な符号量配分になっていた。 そこで、 画像符号化装置 は、 予め並列に符号化を実行して発生符号量を予測し、 1ピクチャに与えられた 目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込むこと が望ましい。 しかしながら、 画像符号化装置は、 量子化パラメータの数だけ並列 して量子化を実行するのでは、. 回路規模が大きくなつてしまうという問題があつ た。 発明の開示
かかる課題を解決するため本発明の画像処理装置においては、 入力画像を符号化 したと.きの発生符号量が目標符号量に最も近くなると予測される基本量子化因子 の近傍であると予測される予測量子化因子を決定する予測量子化因子決定部と、 予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて、 入力画 像を符号化と比較して簡易的に符号化することにより、 簡易的な符号化による発 生符号量を算出する簡易符号化部と、 予測量子化因子に基づいて入力画像を符号 化することにより、 符号化による発生符号量を算出する符号化部と、 簡易符号化 部によって算出された予測量子化因子に基づく発生符号量に対する符号化部によ つて算出された予測量子化因子に基づく発生符号量の符号量比を算出する符号量 比算出部と、 簡易符号化部によって算出された予測量子化因子の近傍の量子化因 子に基づく発生符号量に対し、 符号量比を乗算することにより、 当該予測量'子化 因子の近傍の量子化因子に基づく発生符号量を補正する補正部とを設けるように した。
これにより、 画像処理装置は、 予測量子化因子についてのみ符号化による発生 符号量の算出を実行すれば良く、 当該予測量子化因子の近傍の量子化因子につい て簡易的な符号化による発生符号量の算出を実行すれば良い。 .
また本発明の画像処理方法においては、 入力画像を符号化したときの発生符号 量が目標符号量に最も近くなると予測される基本量子化因子の近傍であると予測 される予測量子化因子を決定する予測量子化因子決定ステップと、 予測量子化因 子及び当該予測量子化因子の近傍の量子化因子に基づいて、 入力画像を符号化と 比較して簡易的に符号化することにより、 簡易的な符号化による発生符号量を算 出する簡易符号化ステップと、 予測量子化因子に基づいて入力画像を符号化する ことにより、 符号化による発生符号量を算出する符号化ステップと、 簡易符号化 ステップにおいて算出された予測量子化因子に基づく発生符号量に対する符号化 部によって算出された予測量子化因子に基づく発生符号量の符号量比を算出する 符号量比算出ステップと、 簡易符号化ステップにおいて算出された予測量子化因 子の近傍の量子化因子に基づく発生符号量に対し、 符号量比を乗算することによ り、 当該予測量子化因子の近傍の量子化因子に基づく発生符号量を補正する補正 ステップとを設けるようにした。
これにより、 画像処理方法は、 予測量子化因子についてのみ符号化による発生 符号量の算出を実行すれば良く、 当該予測量子化因子の近傍の量子化因子につい て簡易的な符号化による発生符号量の算出を実行すれば良い。
本発明によれば、 予測量子化因子についてのみ符号化による発生符号量の算出 を実行すれば良く、 当該予測量子化因子の近傍の量子化因子について簡易的な符 号化による発生符号量の算出を実行すれば良い。 かくして本発明は、 回路構成を 簡易にし得る画像処理装置及び画像処理方法を実現できる。 図面の簡単な 明 '
図 1は、 本発明の第 1の実施の形態に係る画像符号化装置の構成図。
図 2は、 従来の画像符号化装置の量子化部及び CAVLC計算部を抽出した構成 図。
図 3は、 量子化部、 CAVLC計算部の基本的な構成を示す図。 つ 図 4は、 本発明の第 1の実施の形態に係る画像符号化装置の量子化部及び
CAVLC計算部の構成を詳細に示す構成図。
図 5は、 画像符号化装置による符号化の処理手順を詳細に説明するフローチヤ 一ト。
図 6は、 適応的な Q Matrixの切り替え処理について更に説明するフローチヤ 一 K
図 7は、 VLCテーブル選択処理手順を表すフローチャート。
図 8.は、 第 2の実施の形態に'係る画像符号化装置の構成図。
図 9は、 基本量子化パラメータ決定処理手順について説明するフローチャート。 図 1 0は、 基本量子化パラメータの推定処理について説明する概念図。
図 1 1は、 高精度発生符号量算出処理手順について説明するフローチャート。 発明を実施するための最良の形態 以下、 図面を参照して、 本発明を実施するための最良の形態 （以下、 単に実施 の形態と称する） について詳細に説明する。 なお説明は以下の順序で行う。
1 . 第 1の実施の形態 （量子化部及び CAVLC計算部の一部共用）
2 . 第 2の実施の形態 （簡易符号化による高精度発生符号量の推定）
3 . 他の実施の形態
< 1 . 第 1の実施の形態 >
[ 1 - 1 . 画像符号化装置の構成]
図 1には、 本発明の一実施の形態に係る画像符号化装置 1 0 0の構成を示し説 明する。 ' . ' この画像符号化装置 1 0 0は、 第 1のプレエンコード部 1、 第 2のプレエンコ ード部 2、 本エンコード部 3、 符号量制御部 4、 ディレイバッファ 5 , 6を有し ている。
画像符号化装置 1 0 0は、 符号量制御を行うため、 予め第 1のプレエンコー 部 1及び第 2のプレエンコード部 2によってプレエンコードを行い、 本ェンコ一 ド部 3で用いる基本量子化パラメータ QPMB、 予測量子化行列 Q Matrix D , 画 面内予測モード、 ァクティビティグループなどの本ェンコ一ド情報を決定する。 このとき、 第 1のプレエンコード部 1では、 少し精度を落とし回路規模並びに 処理負荷を抑えた並列プレエンコードを広い範囲の量子化パラメータ QPで行い 目標符号量を実現する予測量子化パラメータ QPd を粗く見積もる。 第 2のプレ エンコード部 2では、 精度を上げた並列プレエンコードを狭い範囲で行い、 本ェ ンコード部 3で使用する基本量子化パラメータ QPMBを決定する。
第 1のプレエンコード部 1は、 第 1のプレエンコード処理を行うモジユーノレで あり、 画面内予測モード決定部 1 1、 画面内予測処理部 1 2、 DCT部 1 3、 量 子化部 1 4、 CAVLC 計算部 1 5、 ァクティビティ （Activity) 計算部 1 6を備 えている。
第 2のプレエンコード部 2は、 第 2のプレエンコード処理を行うモジュールで あり、 画面内予測処理部 2 1、 DCT部 2 2、 量子化部 2 3、 ェントロピー符号 長計算部 2 4、 バッファ 2 5'、 IDCT (Inverse DCT) 部 2 6、 逆量子化部 2 7 を備えている。
そして、 本エンコード部 3は、 本エンコードを行うモジュールであり、 画面内 予測処 a部 3 1、 DCT部 3 2、 量子化部 3 3、 ェントロピー符号化部 3 4、 ノ ッファ 3 5、 IDCT部 3 6、 逆量子化部 3 7を備えている。
符号量制御部 4は、 符号量制御を行うモジュールである。
画像符号化装置 1 0 0は、 外部から供給される入力画像 9 1を、 第 1のェンコ 一ド部 1、 ディレイバ^ファ 5及び 6に供給する。 第 1のェンコ ド部 1は、 量 子化パラメータ QPごとの発生符号量を粗く見積もる。 第 1のエンコード部 1は、 供給される入力画像 9 1を、 アクティビティ計算部 1 6及び画面内予測モード決 定部 1 1に供給する。 アクティビティ計算部 1 6は、 画像の複雑さに応じて MB をアクティビティグループに振分ける。 アクティビティ計算部 1 6は、 ァクティ ビティグループ番号を量子化部 1 4及び符号量制御部 4に供給する。
画面内予測モード決定部 1 1は、 入力画像 9 1が供給されると、 当該入力画像 9 1の画面内予測処理を実行し、 差分画像データを生成する。 なお、 画面内予測 モード決定部 1 1は、 予測画像として入力画像 9. 1を用いることにより、 第 1の プレエンコード部 1における画面内予測処理を簡易化している。 画面内予測モー ド決定部 1 1は、 差分画像データの発生符号量 fこ基づいて本エンコード部 3で使 用する画面内予測モードを決定し、 当該決定した画面内予測モードを画面内予測 処理部 1 2、 2 1.及び 3 1にそれぞれ供給する。
画面内予測処理部 1 2は、 画面内予測モード決定部 1 1によって決定された画 面内予測モードによって入力画像 9 1から差分画像データを生成し、 D C T部 1 3に供給する。 D C T部 1 3は、 差分画像データに対して D C T処理を施し、 D C T係数を生成し、 量子、化部 1 4へ供給する。
量子化部 1 4は、 0〜 5 1でなる量子化パラメータ QPのうち、 離散的に選択 された選択量子化パラメータ QP1.を用いることにより、 複数の量子化ステップ で並列的に量子化を実行する。 例えば、 量子化部 1 4は、 並列に接続された n段 の量子化部 1 4一：！〜 1 4一 nを有しており、 n個の選択量子化パラメータ QP1 に基づいて量子化処理を実行,し、 n個の量子化係数を生成する。 なお、 量子化部 1 4は、 選択量子化パラメータ QP1 をピクチャの平均量子化パラメータ BaseQPとし、 ァクティビティ計算部 1 6から供給されるアクティビティグルー プ番号に応じたオフセットを加算して量子化を実行する。 この量子化部 1 4の詳 細な構成については後述する。 量子化部 1 4は、 n個の量子化係数を CAVLC計 算部 1 5に供給する。
CAVLC計算部 1 5は、 n個の量子化係数に対し、 それぞれ CAVLC処理を実 行し、 MBごとの発生符号量を符号量制御部 4に供給する。
ここで、 第 1のプレエンコード部 1では、 画面内予測処理部 1 2において、 予 測画像としてローカルデコード画像の代りに入力画像 9 1を用いている。 また、 本エンコー ド部 3ではエン トロ ピー符号化方式として CAVLC と CABAC (Context-Adaptive Binary Arithmetic Coding) とを切り替えて実行する。
このため、 符号量制御部 4は、 予め統計によって算出された統計モデルを用い て、 発生符号量を補正する。' これにより、 符号量制御部 4は、 第 1のプレエンコ 一ド部 1によって算出さ た発生符号量の精度を向上させる.ことができる。 さら に、 符号量制御部 4は、 補正後の選択量子化パラメータ QP1 に基づく発生符号 量に対し、 当該選択量子化パラメータ QP1 以外の量子化パラメータに基づく発 生符号量を算出する。 以下、 補正後の選択量子化パラメータ QP1 に基づく発生 符号量及び補間により算出された発生符号量をまとめて低精度発生符号量と呼ぶ。 これにより、 符号量制御部 4は、 量子化パラメータ QPの全てについて量子化及 び CAVLC処理を実行せずに済み、 量子化部 1 4の回路構成を削減すると共に処 理負荷を軽減することができる。
符号量制御部 4は、 低精度発生符号量が目標符号量に最も近い量子化パラメ一 タ QPを予測量子化パラメータ QPd として選択する。 この予測量子化パラメ一 タ QPd は、 第 1のプレエンコード部 1によって簡易的に算出された低精度発生 符号量に基づく大体の値であり、 本ェンコ一ド時における本ェンコ一ド発生符号 量が目標符号量の近傍であると予卿される値となる。 なお、 符号量制御部 4は、 量子化行列 Q Matrixが適応的に選択される場合には、 量子化行列 Q Matrixご とに低精度発生符号量を生成し、 量子化行列 Q Matrixの取り得る量子化パラメ ータ QPであつ X、 低精度発生符号量が目標符号量に近く、 かつ傾斜のなるべく 小さい量子化行列 Q Matrixを予測量子化行列 Q MatrixDとして選択する。 第 2のプレエンコード部 2は、 本ェン: π—ド部 3において使用される基本量子 化パラメータ QPMBを決定する。 第 2のプレエンコード部 2は、 ディレイバッフ ァ 5から供給される遅延処理された入力画像 9 1を、 面面内予測処理部 2 1に供 給する。 画面内予測処理部 2 1は、 画面内予測モード決定部 1 1から供給される 画面内予測モードによって当該入力画像 9 1を画面内予測により符号化して差分 画像データを生成し、 差^"画像デ タを DCT部 2 2に供給する。
0011部2 2は、 差分画像データに DCT処理を施して DCT係数を生成し、 量 子化部 2 3に供給する。 量子化部 2 3は、 3段の量子化部 2 3— 1、 2 3— 2及 ぴ 2 3— 3を有している。 量子化部 2 3は、 予測量子化パラメータ QPd及び当 該予測量子化パラメータ QPd の近傍の量子化パラメータ QP に基づいて DCT 係数を量子化して量子化係数をそれぞれ生成し、 エントロピー符号長計算部 2 4 に供給する。 ェント口ピー符号長計算部 2 4は、 CAVLC と CABACのうち、 本 ェンコ一ド部 3において使用される符号化方式によって量子化係数を符号化し、 量子化パラメータ QPごとの高精度発生符号量を生成する。 符号量制御部 4は、 ェントロピー符号長計算部 2 4による高精度発生符号量に基づいて、 目標符号量 に最も近い高精度発生符号量でなる量子化パラメータ QPを基本量子化パラメ一 タ QPMBに決定する。 量子化部 2 3は、 予測量子化パラメータ QPdに基づいて 生成された量子化係数を逆量子化部 2 7に供給する。 逆量子化部 2 7は、 量子化 係数を逆量子化して DCT係数を生成し、， IDCT部 2 6に供給する。 IDCT部 2 6は、. DCT係数に IDCT処理を施してローカルデコード画像を生成し、 バッフ ァ 2 5に供給する。. バッファ 2 5は、 画面内予測処理部 2 1にローカルデコード 画像を供給する。 この結果、 画面内予測処理部 2 1は、 ローカルデコード画像を 予測画像として画面内予測処理を実行する。
第 2のプレエンコード部 2は、 予測画像としてローカルデコード画像を用いる と共に、 本エンコード部 3と同様の符号化方式でェントロピー符号化を実行する ことにより、 第 1のプレエンコード部 1と比して高い精度で高精度発生符号量を 算出することができる。 そして符号量制御部 4は、 高精度発生符号量を基に、 目 標符号量に最も近くなる本ェンコ一ド発生符号量を発生させると予測される量子 化パラメータ QPを基本量子化パラメータ QPMBに決定することができる。
本ェンコ一ド部 3は、 ディレイバッファ 6から供給される遅延処理された入力 画像 9 1を、 画面内予測処理部 3 1に供給する。 画面内予測処理部 3 1は、 画面 内予測モード決定部 1 1から供給される画面内予測モードによって当該入力画像 9 1を画面内予測により符号化して差分画像データを生成し、 差分画像データを 。。丁部3' 2に供給する。
00 部3 2は、 差分画像データに DCT処理を施して DCT係数を生成し、 量 子化部 2 3に供給する。 量子化部 3 3は、 基本量子化パラメータ QPMBに基づい て DCT係数を量子化して量子化係数を生成し、 エントロピー符号長計算部 3 4 に供給する。 ェントロピー符号長計算部 3. 4は、 CAVLC と CABACのいずれか によって量子化係数をエントロピー符号化し、 出カス小リーム 9 2として外部機 器に供給する。
量子化部 3 3は、 基本量子化パラメータ QPMBに基づいて生成された量子化係 数を逆量子化邰 3 7に供給する。 逆量子化部 3 7は、 量子化係数を逆量子化して DCT係数を生成し、 IDCT部 3 6に供給する。 IDCT 部 3 6は、 DCT係数に IDCT処理を施してローカルデコード画像を生成し、 ノくッファ 3 5を介して、 画 像内予測処理部 3 1にローカルデコード画像を供給する。 画面内予測処理部 3 1 は、 ローカルデコード画像を予測画像として画面内予測処理を実行する。
このように、 画像符号化装置 1 0 0は、 第 1のプレエンコード部 1によって量 子化パラメータ QPごとの発生符号量を低精度発生符号量として粗く見積もり、 当該低精度発生符号量に基づいて予測量子化パラメータ QPd を決定する。 画像 符号化装置 1 0 0は、 第 2のプレエンコード部 2によって予測量子化パラメータ QPd及びその近傍の量子化パラメータ QP を用いて高い精度で高精度発生符号 量を算出する。 そして画像符号化装置 1 0 0は、 高い精度で算出された高精度発 生符号量に基づいて基本量子化パラメータ QPMBを決定し、 本エンコード部 3に よる本エンコード処理に用いる。 これにより、 画像符号化装置 1 0 0は、 第 1の プレエンコード部 1及び第 2のプレエンコード;部 2の 2段のプレエンコードによ り、 全ての量子化パラメータ QPに基づく発生符号量を算出することなく、 高い 精度で基本量子化パラメータ QPMBにおける高精度発生符号暈を算出することが できる。 この結果、 画像符号化装置 1 0 0は、 簡易な構成で適切な基本量子化パ ラメータ QPMBを決定することができる。
[ 1 - 2 . 従来の量子化部及び CAVLC計算部の構成] .
ここで、 本実施の形態に係る画像符号化装置 1 0 0に関する理解を深めるため に、 基本となる従来の量子化部及ぴ従来の CAVLC計算部についてその構成及び 作用を説明する。
図 2には、 従来の量子化部 3 0 0、 従来の CAVLC計算部 4 0 0-の構成を示し 説明する。 この.量子化部 3 0 0及び CAVLC計算部 4ひ 0.は、 選択量子化パラメ ータ QP1 と同数だけ配列され、 一対の量子化部 3 0 0及び CAVLC計算部 4 0 0ごとに一の選択量子化パラメータ QP1に基づく発生符号量を算出する。
量子化部 3 0 0は'、 MB QP計算部 3 0 1、 スキャンァドレス生成部 3 0 2、 QP% 6変換部 3 0 3、 QP/6変換部 3 0 4、 スケールファクタ RAM 3 0 5、 乗 算器 3 0 6、 ノく.レルシフタ 3 0 7を備えている。
一方、 CAVLC 計算部 4 0 0は、 TrailingOne 計数部 4 0 1、 TotalCoef 計数 部 4 0 2、 TotalZero計数部 4 0 3、 RunBefore計数部 4 0 4、 LevelLength計 算部 4 0 5、 ZeroLeft計算部 4 0 6、 TotalCoefLength ビット長 ROM 4 0 7、 TotalZeroLength ビット長 ROM 4 0 8、 RunBefore ビット長 ROM 4 0 9、 カロ 算器 4 1 0、 4 1 1、 4 1 6、 MB境界 nB記憶用ラインメモリ 4 1 2、 nB保 持メモリ 4 1 3、 nA保持メモリ 4 1 5、 そレて、 nB 選択部 4 1 4を備えてい る。 、
量子化部 3 0 0は、 DCT係数 Wと量子化パラメータ QPを用いて、 次 によ り量子化係数 Zを算出する。
Z = {(MF * 16/QMatrix) * W + f} » (15 + QP/6)
ただし、
MF: AVCの規格で定められている値から算出されるスケーリングファクタ
f: 切り上げ、 切捨て位置を決める丸めファクタ このような'構成において、 量子化部 3 0 0には、 以下の信号が入力される。
•マクロブロックが Field構成か Frame構成かを示す AFF信号
•直交変換に 8x8DCTを使用するか 4x4DCTを使用するかを示す 8x8/4x4 信号
• Activity Group (アクティビティグループ）
. DCT後の結果である DCT係数
尚、 「アクティビティグループ」 は、 ピクチャ全体のベースとなる平均量子化 パラメータ Base QP に対するマクロブロックごとの量子化のオフセット情報と して供給される。 「DCT係数」 は、 符号化に適した順序 （例えば、 スキャ の 逆順） で供給されるものとする。
MB QP 計算部 3 0 1は、 ァクテ.ィビティグループと平均量子化パラメータ Base QP (設定された選択量子化パラメータ QP 1 ) から MB単位のァクテイビ ティをオフセットした、 適応量子化パラメータ QPtを,計算する。 QP% 6変換部 3 0 3は、 この適応量子化パラメータ QPt を 「6」 で除算したときの剰余 （す なわち 0,1,2,3,4,5の 6通りからいずれか） を出力して、 スケールファクタ RAM 3 0 5及び QP/6変換部 3 0 4に供給する。
AFF信号及ぴ 8x8/4x4信号はスキャンァドレス生成部 3 0 2に入力される。 スキャンァドレス生成部 3 0 2は、 これら AFF信号及び 8x8/4x4信号に基づい て DCT係数の入力位置を示す DCTァドレスを生成し； スケールファクタ RAM 3 0 5に供給する。
スケールファクタ RAM 3 0 5は、 次式で得られる乗算係数を保持している。 乗算係数 =16 X MF(8x8/4x4,QP,h,v)/Q Matrix(8x8/4x4,h,v) ここで、 h, v は DCT係数における水平方向及び垂直方向を表す DCTァドレ スであり、 8x8では 0〜7, 4x4'では 0〜3 まで変化する。 MFは H.264で定め られた定数パラメ"タであるスケーリングファクタである。 そして、 量子化行列 Q Matrix はエンコーダで設定可能なパラメータである。 すなわち、 スケールフ ァクタ RAM 3 0 5は、 DCTブロックサイズ （8 X 8 , 4 X 4 ) 、 適応量子化パ ラメータ QPtの値、 DCTァドレスに応じて変化するスケーリングファクタ MF に対 し、 「 1 6 」 を乗算 し、 量子化行列 Q Matrix を除算 した値 (MF*16/QMatrix)を保持している。 スケールファクタ RAM 3 0 5は、 DCTァド レスに基づいて、 スキャン位置位相のあった乗算係数を乗算器 3 0 6に出力する。
QP/6変換部 3 0 4は、 MB QP計算部. a 0, 1から適応量子化パラメータ QPt が供給されると、 適応量子化パラメータ QPt に対して整数の割り算を行った結 果をバレルシフタ 3 0 7へ出力する。 ノくレルシフタ 3 0 7は、 QP/6 変換部 3 0 4に対し 「1 5」 を加算することにより、 シフ ト量を算出し、 CAVLC 算出部4 0 0に供給する。 量子化部 3 0 0の出力は、 乗算器 3 0 6の結果をバレルシフタ 3 0 7でシフ トしたことで、 量子化 （割り算） が実行されたのと等価となる。 量子化部 3 0 0の出力を受けて、 CAVLC 計算部 4 0 0は実際の符号化を実行 したときの発生符号量を計算する。 一
CAVLC計算部 4 0 0は、 非ゼロ係数の個数を表す TotalCoef と、 最後に連続' す る 絶対値 1 の係数 の 個数及 び符 号 を 表す Trailingび ne 及 び trailing— ones_sign_£lag と、 DCT係数の値を表す level と、 最後の非ゼロ係数 以前のゼロ係数の個数を表す total— zero と、 非ゼロでなる DCT係数の前のゼロ の連続個数を表す runj efore をそれぞれ符号化してその符号長を算出する。 こ のとき、 CAVLC計算部 4 0 0は、 非ゼロ係数の個数を表す TotalCoef と、 最後 に連続する絶対値 1の係数の個数及び符号を表す railingOne について、 周囲 の 4 X 4ブロックの状態に応じて適応的な符号化を実行する。 CAVLC 計算部 4 0 0は、 TotalCoef及び TrailingOneの加算値に基づいて 4 X.4ブロックごとに VLCテーブルを選択する。
TrailingOne計数部 4 0 1は、 4x4ブロック 16サンプルの逆スキャン順の入 力値に対して、 ゼロは除いて、 先頭から 1或いは一 1の続く個数を計数し、 TrailingOneとして加算器 4 1 1及び TotalCoefLengthビット長 ROM 4 0 7に それぞれ供給する。 TotalCoef 計数部 4 0 2は、 TrailingOne 計数部 4 0 1で計 数されない非ゼロ係数を計数し、 TotalCoef と して加算器 4 1 1 、 TotalCoefLength ビット長 ROM 4 0 7及ぴ TotalZeroLengthビット長 ROM 4 0 8にそれぞれ供給する。
Figure imgf000015_0001
ビット長 ROM 4 0 7は、 加算器 4 1 6の結果に応じて 4 X 4ブロックごとに VLC テーブルを適応的に選択して TotalCoef及び TrailingOneを符号化し、 その符号長を加算器 4 1 0に供給する。
TotalZero 計数部 4 0 3は、 先頭に連続したゼロ.を除外したゼロ係数の個数を 計数し、 total_zeroとして TotalZeroLengthビット長 ROM 4 0 8及び ZeroLeft 計算部 4 0 6に供給する。 TotalZeroLength ビッ ト長 ROM 4 0 8は、 total_zero及ぴ TotalCoef の組み合わせとしてその符号長を算出し、 加算器 4 1 0に供給する。
Runbefore 計数部 4 0 4は、 TrailingOne 計数 4 0 1で計数した非ゼロ係数 ( ± 1) の次に連続するゼロの個数と TotalCoef 計数部 4ひ 2で計数した非ゼロ 係数の次に連続するゼロの個数を順次計数し、 ZeroLeft .計算部 4 0 6に供給す る。
ZeroLeft 計算部 4 0 6では、 TotalZero 計数部 4 0 3の total二 zero から Runbefore 計数部 4 0 4のゼ口ランの連続数を順次減じることにより、 残りの Zero個数である Zero Leftを蓄えておく。 Runbefore ビット長 ROM 4 0 9は、 Zero Leftと Runbeforeの組み合わせとして、 Runbeforeを符号化するときの符
- 、
号長を求める。
そして、 LevelLength計算部 4 0 5は、 非ゼロでなる DCT係数の符号長を計 算する。
TotalCoefLength ビット長 ROM 4 0 7における適応的な VLCテーブルの選 択は、 TotalCoef 及び TrailingOne に基づいて実行される。 加算器 4 1 1は、 TrailingOne計数部 4 0 1から供給される TrailingOneと TotalCoef計数部 4 0 2から供給される TotalCoef とを加算して、 非ゼロ係数の総数を求める。 VLC テーブルは、 左隣の 4 X 4.ブロックにおける非ゼロ係数の個数 nAと、 上隣の 4 X 4プロックにおける非ゼロ係数の個数 nB とから選択される。 加算器 4 1 1は、 nA及ぴ nB として参照するため、 必要となる 4 X 4ブロックにおける非ゼロ係 数の個数を nB保持メモリ 4 1 3と nA保持メモリ 4 1 5に蓄える。
また、 ライン方向に順次 MB が供給され、 MB において所定の順序 （8 X 8 サブブロック内におけるラスタスキャン順序） で 4 X 4プロックがスキャンされ る。 このことから、 左隣の 4 X 4ブロックは、 ほぼ直前にスキャンされることに なる。 また、 MB内における上隣のブロックも同様に、 ほぼ直前にスキャンされ ることになる。 しかしながら、 MBにおける上端の 4 X 4ブロックは、 上隣のブ ロックを参照するためには、 1ライン前の MB における最下端の 4 X 4ブロッ クを参照する必要がある。 このため、 加算器 4 1 1は、 マクロブロックライン分 の値を MB境界 nB記憶ラインメモリ 4 1 2に蓄える。 nB選択部 4 1 4は MB 内の 4 X ブロックのァドレスから、 上境界の場合は MB境界 nB記憶ラインメ モリ 4 1 2に保持した上部に位置する nBを選択し、 それ以外は nB保持メモリ 4 1 3から上部に位置する nBを選択する。 そして、 加算器 4 1 6は、 左隣及び 上隣の 4 X 4プロックにおける非ゼロ係数の平均値をテーブル選択指標 nC とし、 以下の数式に従ってテーブル選択指標 nCを算出する。 nC=(nA+nB)/2 そして、 加算器 4 1 0は、 railingOne計数部 4 0 1、 TotalCoefLengthビッ ト長 ROM 4 0 7、 TotalZeroLengt ビット長 ROM 4 0 8、 RunBefore ビット 長 ROM 4 0 9、 LevelLength計算部 4 0 5による値の加算を行い、 符号長の総 数を得る。 . ' , ' 以上の処理は、 4 X 4プロックごとにピクチャ全体にわたり繰り返し行われて. 平均量子化パラメータ Base QP のときのピクチャの低精度発生符号量を得る。 このピクチャの低精度発生符号量を求める処理は異なる離散的 （とびとび） の選 -量子化パラメータ QP1を平均量子化パラメータ Base QP とし、 15通り並列 に処理されると共に、 各量子化行列 Q Matrixについて、 処理されることになる c [ 1 - 3 . 本実施の形態による量子化部及び CAVLC計算部の構成]
図 3及び図 4に、 先に示した図 2の構成に特徴的な処理を加えた、 本発明の一 実施の形態に係る画像符号化装置 1 0ひの構成の一部を抽出して示し説明する。 なお、 図 2に示した従来の CAVLC計算部 4 0 0と対応する箇所に同一符号を附 して示し、 同一部分についての説明を省略する。
この実施の形態に係る画像符号化装置 1 0; 0.及び画像符号化方法は、 以下など を特徴とする。
H.264/AVC (Advanced Video Coding;高度動画像圧縮符号化標準） などに代 表される画像圧縮方式で、 発生符号量を前処理で予測するとき、 異なる量子化ス テツプで並列に量子化を行い符号長計算する際に、 処理の簡易化を行うことでハ 一ドウエアを削減する構成であり、 以下の 3点を特徴とする。
• CAVLC計算部 1 5の CAVLC共有計算部 1 5 0にて MB上端の 4 X 4ブロ ックにおける非ゼロ係数の数 nBを使用せず符号量を計算することで、 ラインメ モリを削減する。
- 4x4 ブロック単位で演算を行う CAVLC 共有計算処理を時分割に共有する ことで、 符号長変換メモリなどの論理モジュールを削減する。
• 量子化共有部 1 4 0により、 スケーリングファクタと量子化行列 Q Matrix の選択処理と量子化処理とを分離することで、 メモリを共有し、 メモリを 削減する。 ''
図 3に、 量子化部 1 4及び符号長計算部 1 5の構成を示している。 量子化部 1 4は、 選択量子化パラメータ QP1 と同数でなる量子化部 1 4—：! 〜 1 4— nが 並列に設けられており、 当該量子化部 1 4一：！〜 1 4— nに対し共有の量子化共 有部 1 4 0がそれぞれ接続されている。 CAVL.C 計算部 1 5も同様であり、 選択 量子化パラメータ QP1 と同数でなる CAVLC計算部 1 5 _：！ 〜 1 5 _ nが並列 に設けられており、 当該 CAVLC 計算部 1 5 _：! 〜 1 5— nに対し共有の CAVLC共有計算部 1 5 0がそれぞれ接続されている。
図 4は、 複数の量子化パラメータ QPで量子化、 可変長符号化する要部のプロ ック図である。 尚、 この画像符号化装置 1 0 0の作用は本実施の形態に係る画像 符号化方法にも相当する。
図 4に示されるように、 量子化共有部 1 4 0は、 スキャンァドレス生成 RAM 1 0 1、 スケールファクタ RAM I 0 2 、 1 /Matrix RAM I 0 3を有している, 量子化部 1 4一：！〜 1 4— nは、 MB QP 計算部 5 0 1 、 QP% 6変換部 5 0 2、 スケールファクタセレクタ 5 0 3 、 1/Matrix セレクタ 5 0 4 、 QP/6 変換 ROM 5 0 5、 乗算器 5 0 6 、 5 0 7 、 ノくレルシフタ 5 0 8を備えている。
CAVLC 共有計算部 1 5 0は、 ノ ッファ 2 0 1 、 2 0 2、 加算器 2 0 3 、 nB 保持メモリ 2 0 4 、 nA保持メモリ 2 0 5、 加算器 2 0 6 、 TotalCoefLength ビ ット長 ROM.2 0 7、 加算器 2 0 8を備えている。
そして、 CAVLC 計算部 1. 5— 1 〜 1 5— nは、 TrailingOne 計数部 4 0 1 、 TotalCoef 計数部 4 0 2 、 TotalZero言 +数部 4 0 3 、 RunBefore計数部 4 0 4 、 LevelLength 計算部 4 0 5 、 ZeroLeft 計算部 4 0 6 、 TotalZeroLength ビット 長 R0M 4 0 8 、 RunBefore ビット長. ROM 4 0 9、 加算器 4 1 0を備えている, このように、 画像符号化装置 1 0 0は、 並列化処理の回路規模を削減するため に、 量子化共有部 1 4 0と CAVLC共有計算部 1 5 0を共有して使用する構成と なっている。' 量子化共有部 1 4 0では、 主に、 スケールファクタ RAM 1 0 2及び 1 Z MatrixRAM 1 0 3を共有することで、 SRAM サイズを削減する。 CAVLC 共有 計算部 1 5 0では他の処理を画素ごとに実行するのに対し、 TotalCoefLengthビ ット長 ROM 2 0 7の符号長計算が 4x4プロックに 1回の処理でよいため、 時分 割して処理するようにして回路を共有している。
また、 CAVLC計算部 1 5は、 図 3の MB境界 nB記憶用ラインメモリ 4 1 2 を削減するために、 MB 上境界で nB=nA として近似的に符号量を計算する。 nB=nA とすることは近似処理であり誤差要因であるが符号量を予測する過程に おいて許容範囲内である。 また、 この近似により得られる 15 並列分のラインメ モリの削減効果は大きい。
このような構成において、 量子化共有部 1 4 0には MB が Field 構成か Frame構成かを示す AFF信号、 直交変換に 8x8DCTを使用するか 4x4DCTを 使用するかを示す 8x8/4x4 信号が入力される。 より詳細には、 スキャンァドレ ス生成 RAM I 0 1は、 AFF信号、 8x8/4x4信号が入力されると、 DCT係数入 力位置を示す DCTアドレスを生成する。
スケールファクタ RAM I 0 2は、 スキャン位置位相のあったスケーリングフ ァクタ MF を量子化部 5 0 0のスケールファクタセレクタ 5 0 3に出力する。 上述したように、 スケーリングファクタ MF は、 DCT ァドレス及び QP% 6の 値 （選択量子化パラメータ QP1 を 6で除算したときの剰余） に応じて選択され る。 各量子化部 1 4 _ 1〜1 4 _ nでは、 それぞれ異なる選択量子化パラメータ QP1 が平均量子化パラメータ BaseQP として設定される。 このため、 スケール ファクタ RAM 1 0 2は、 DCT ア ドレスに応じて、 全 6通り （QP % 6 = 0,1,2,3,4,5) に対応するスケーリングファクタ MFを全て出力し、 後段の量子化 部 1 4— 1〜 1 4— nにおけるスケールファクタセレクタ 5 0 3によって選択さ せる。 同様に、 1/Matrix RAM I 0 3は、 量子化行列 Q Matrixのうち、 スキヤ ン位置位相のあった行列値の逆数を量子化部 1 4ー 1〜1 4 _ 11の 1/Matrix セ レクタ 5 0 4に出力する。 1/Matrix RAM I 0 3は、 行列値の逆数を出力するた めに当該行列値の逆数を 20bit程度の左シフトで桁上げしておく。
即ち、 使用される量子化行列 Q Matrixは選択量子化パラメータ QP1の値に依 存して変化するため、 複数 （例えば.、 4種類程度） 必要となる。 1/Matrix RAM 1 0 3は、 量子化部 1 4— 1〜： 1 4 _ nの 1 Matrix セレクタ 5 0 4に対して全 通り（4種類)の行列値の逆数を出力し、 設定されている選択量子化パラメータ QP1の値に応じて後段の量子化部 1 4 _：！〜 1 4— nの 1/Matrixセレクタ 5 0 4で選択させる。
次に、 量子化部 1 4一：！〜 1 4— nは、 順次供給される DCT係数を MB QP 計算部 5 0 1に供給する。 MB QP 計算部 5 0 1は、 選択量子化パラメータ QP1 に対し、 アクティ ビティグループに応じたァクティ ビティオフセッ ト (Activity Offset) を付加して適応量子化パラメータ QPt を生成し、 これを QP%6変換部 5 0 1及び QP/6変換部 5 0 5に供給する。 QP%6変換部 5 0 1は、 適応量子化パラメータ QPtを 「6」 で除算したときの剰余である QP%6値を算 出し、 スケールファクタセレクタ 5 0 3に供給する。 スケールファクタセレクタ 5 0 3は、 QP%6値に応じて第 1の乗 計数としてのスケーリングファクタ MF を選択し、 乗算器 5 0 6に供給する。 1 /Matrix セレクタ 5 0 4'は、 使用する 量子化行列 Q Matrixの行列識別番号 idxに基づいて、 第 2の乗算計数としての 行列値の逆数を選択し、 乗算器 5 0 6に供給する。
乗算器 5 0 6は、 スケーリングファクタ MF に対して 「1 6」 及び行列値の 逆数を乗算する（MF*16/QMatrix)。 乗算器 5 0 6では、 スケールファクタセレグ タ 5 0 3と 1/Matrixセレクタ 5 0 4の出力値の乗算を行った後 20bitの右シフ トを行い、 1/Matrix RAM I 0 3の桁上げ分の整合を図り、 乗算値を乗算器 5 0 7に供給する:。 乗算器 5 0 7は、 スキャン逆順の DCT係数に対して乗算値を乗 算し、 バレルシフタ 5 0 8に供給する。 QP/6 変換部は、 適応量子化パラメータ QPtを 「6」 で除算した QP/6値をバ ルシフタ 5 0 8に供給する。 バレルシフ タ 5 0 8は、 乗算器 5 0 7の出力値を QP/6値に応じた桁数だけ桁下げすること により、 量子化した結果を得る。 このように、 量子化部 1 4は、 スケールファクタ RAM 及ぴ 1 /MatrixRAM 1 0 3を共有化し、 DCT ァドレスに応じて後段の量子化部 1 4一：！〜 1 4一 n が取り得る全てのスケーリングファクタ MF 及び行列値の逆数を量子化部 1 4 一 1〜1 4— nに供給する。 量子化部 1 4—：！〜 1 4— nでは、 選択量子化パラ メータ QP1 に応じてスケーリングファクタ ' MF を選択する。 また、 量子化部 1 4一 l〜l 4 _ nでは、 行列識別番号 idxに応じて行列値の逆数を選択する。 こ れによ り、 量子化部 1 4では、 スケールファクタ RAM 1 0 2及ぴ 1 / MatrixRAM 1 0 3を共有化することができるため、 量子化部 1 4総体として必 要となる RAMの容量を減少させ得るようになされている。 また、 量子化部 1 4 は、 スケーリングファクタ MF 及び行列値の逆数を別々に保持するごとにより、 スケーリングファクタ MF 及び行列値の逆数を乗算した全通りの値を保持する 場合と比較して、 スケールファクタ RAM I 0 2及び 1 ZMatrixRAM l 0 3に 必要な記憶容量を削減することができる。
CAVLC計算部 1 5は、 CAVLC共有計算部 1 5 0によつて適応的に _ VLCテー ブルを選択し、 TrailingOne及び TotalCoef を符号化する点が、 従来の CAVLC 計算部 4 0 0と異なっている。 .
CAVLC 計算部 1 5— 1〜 1 5— nにおける railingOne 計数部 4 0 1、 TotalCoef 計数部 4 0 2、 TotalZero 計数部 4 0 3、 RunBefore 計数部 4 0 4、 LevelLength 計算部 4 0 5、 ZeroLeft 計算部 4 0 6、 TotalZeroLength ビット 長 ROM 4 0 8及び RunBefore ビット長 ROM 4 0 9は、 供給される DCT係数 に対して順次処理を実行する。 すなわち、 CAVLC 計算部 1 5— 1〜1 5— nの 各部は、 4 X 4の DCT ブロックに対し、 4 X 4 = 1 6回の演算を実行する。 こ れに対して、 TotalCoefLength ビット長 ROM 4 0 7は、 4x4 の DCTブロック に対して算出された TrailingOne及び TotalCoef に対し、 1つの VLCテーブル を選択して 1回の演算を行えばよレ、。 すなわち、 TotalCoefLength ビッ ト長 , ROM 4 0 7は、 CAVLC 計算部 1 5—：！〜 1 5— nの各部に対して約 1 1 6 の演算時間しか要さない。 そこで、 CAVLC 共有計算部 1 5 0は、 CAVLC 計算 '部 1 5—：！〜 1 5— nから供給される TrailingOne及ぴ TotalCoef を Buffer 2 0 1及ぴ 2 0 2にそれぞれ保持する。 CAVLC 共有計算部 1 5 0は、 CAVLC 計 算部 1 5—：！〜 1 5 — nの各部が次の 4 X 4ブロックに対する処理を実行する間 に、 1つ前の 4 X 4ブロックに対して適応的に VLCテーブルを選択し、 CAVLC 計算部 1 5— 1〜： 1 5— nによつて算出された 1 5の railingOne 及び TotalCoefを順次符号化する。
CAVLC共有計算部 1 5 0では、 15並列の CAVLC計算部 1 5—：！〜 1 5 _ n の TrailingOne 計数部 4 0 1 と TotalCoef 計数部 4 0 2の出力をバッファ Buffer 2 0 1 , 2 0 2の各 15段のバッファにそれぞれ保持する。
加算器 2 0 3は、 時分割してバッファ 2 0 1、 2 0 2から railingOne 及ぴ TotalCoef を受け取り、 当該 TrailingOne及び TotalCoef を加算することにより、 非ゼロ係数の個数をそれぞれ算出する。 nA保持メモリ 2 0 5は、 マクロブロッ ク内において左隣として参照される 4x4プロックの非ゼロ係数の個数 nAを保持 する。 nB保持メモリ 2 0 4は、 4x4blockの^クロブロック内において上隣とし て参照される 4 X 4プロックの非ゼロ係数の個数 nBを保持する。
ここで、 CAVLC共有計算部 1 5.ひは、 本来は MB下境界の nB情報は保持し ておき、 下部のマクロブ口ックの上境界の 4x4blockの nB情報として使用する 必要がある。 しかしながら、 CAVLC 共有計算部 1 5 0は、 nB保持のためのラ インメモリを 15段配置すると、 CAVLC共有計算部 1 5 0に要する RAM の記 憶容量が大きくな'つてしまい、 回路規模上望ま.レくない。 このため、 CAVLC 共 有計算部 1 5 0は、 MB上境界の 4x4blockを処理する際には、 nB=nAと擬制し て画面の最上 ¾のマクロブロック処理と同様の処理を行う。
すなわち、 加算器 2 0 6は、 4 X 4ブロックが MB の上境界であった場合は テーブル選択指標 nC = nAとする。 加算器 2 0 6は、 画面左境界の 4x4blockは nC=nB とする。 加算器 2 0 6は、 上記 2ケース以外、 すなわち 4 X 4ブロック が MBの上境界でなく、 かつ画面左境界でもない場合には nC=(nA+nB)/2 とす る。 そして、 TotalCoefLenght ビット長 ROM 2 0 7は、 テーブル選択指標 nC に基づいて VLCテーブルを選択すると共に、 TrailingOne及ぴ TotalCoefを符 号化し、 その符号長を算出する。 この結果、 TotalCoefLenght ビット長 ROM 2 0 7は、 TotalCoefLength ビット長を、 加算器 2 0 8に順次出力する。 加算器 2 0 8には、 CAVLC 計算部 1 5— 1〜1 5 _ nによって算出された符号長がそれ ぞれ供給される。 加算器 2 0 8は、 TotalCoefLength ビッ ト長に対応する CAVLC 計算部 1 5 — ：! 〜 1 5 — n から供給される符号及び当該 TotalCoefLengthビット長を加算することにより、 4 X 4ブロックごとの符号長 を算出する。 符号量制御部 4は、 MB ごとに 4 X 4ブロックごとの符号長を加算 することにより、 MBごと 発生符号量を算出する。 これらの処理はピクチャ全 体で繰り返し行われる。
このように、 CAVLC計算部 1 5は、 演算回数の少ない TotalCoefLenghtビッ ト長 ROM 2 0 7を共有化する。 これによ り、 CAVLC 計算部 1 5は、 TotalCoefLenght ビット長 ROM 2 0 7の数を低減させて回路構成を簡易にする ことができる。 CAVLC計算部 1 5は、 4 X 4ブロックが MBの上境界であった 場合はテーブル選択指標 nC = nAとする。 これにより、 CAVLC計算部 1 5は、 MB境界 nB記憶ラインメモリを省略することができ、 CAVLC計算部 1 5に要 する R AMの記憶容量を大幅に削減して回路構成を簡易にすることができる。 以上説明した一実施の形態に係る画像符号化装置 1 0 0及び画像符号化方法に よれば、 量子化部 1 4は、 スケーリングファクタ MFと 1 /Q Matrixとを別々 に記憶すると共に、 DCT ア ドレスに応じて取り得る全ての値を各量子化部 1 4 — 1〜 1 4一 nに供給する。 各量子化部 1 4一：！〜 1 4— nは、 設定されている 量子化パラメータ QPに応じてスケーリングファタダ MFと 1 ZQ Matrixとを 選択する。 これにより、 量子化部 1 4は、 量子化部 1 4— 1〜1 4一 nでメモリ を共有することができるため、 メモリを削減することが可能となる。 CAVLC 計 算部 1 5は、 VLC.テーブルの選択の際、 MB 上端部については上隣の 4 X 4ブ ロックを使用しないことにより、 MB境界 nB記憶用ラインメモリ 4 1 2を削減 することが可能となる。 さらに、 CAVLC計算部 1 5は、 4x4DCTブロック単位 で演算が実行される CAVLC共有計算部 1 5を時分割に共有することで、 論理モ ジュールを削減することが可能となる。.
また、 画像符号化装置 1 0 0は、 AVC では画面内の相関を利用し効率を高め ていることから処理単位を小さくすることによって AVC の利点を最大限に生か すことができないことに鑑み、 ピクチャ単位の 2回のプレエンコードを実施する。 そして、 画像符号化装置 1 0 0は、 効率向上のために、 処理量が増大し、 それに 起因してェンコ一ドの回路規模が増大するとの問題を解消するために、 回路一部 共有化による部分的並列構成を採用する。 これにより、 画像符号化装置 1 0 0は、 プレエンコーダの構成を簡略化しつつ、 1 .ピクチャに与えられた目標符号量に発 生符号量を一致させ、 視覚特性を考慮した符号量配分、 つまり量子化パラメータ QPの決定が可能となる。
[ 1 - 4 . 基本量子化パラメータの決定]
第 2のプレエンコード部 2は、 予測量子化パラメータ QPd及ぴ予測量子化行 列 Q MatrixD を用いて実際にエンコーダ 3と同様の符号化を実行することによ り、 高精度発生符号量を高い精度で算出する。 以下、 この第 2のプレエンコード 部 2によって算出された発生符号量を高精度発生符号量と呼ぶ。 このとき第 2の プレエンコード部 2は、 予測量子化パラメータ QPd だけでなく、 当該予測量子 化パラメータ QPdの前後の量子^:パラメータ QPを用いて高精度発生符号量を 算出し、 その変動率を用いて予測量子化パラメータ QPd近傍の高精度発生符号 量を予測する。
符号量制御部 4は、 予測量子化パラメータ QP d、 予測量子化行列 Q MatrixD 及び各 MB のアクティビティグループを第 2のプレエンコード部 2に供給する。 第 2のプレエンコード部 2は、 これらの値に基づいて第 2のプレエンコードを行 う。
第 2のプレエンコード部 2では、 入力画像 9 1が、 ディレイバッファ 5を介し て遅延処理された後に画面内予測処理部 2 1に入力される。 画面内予測処理部 2 ' 1は、 予測画像と入力画像 9 1どの差分を計算し、 差分画像データを生成する。 そして、 001^部2 2は、 差分画像データに対して DCT処理を実行し DCT係数 を生成する。 量子化部 2 3は、 DCT係数に対して量子化処理を実行し、 量子化 係数を生成する。 ェントロピー符号長計算部 2 4は、 CAVLC又は CABACを用 いて量子化係数をそれぞれエントロピー符号化し、 高精度発生符号量を計算する。 尚、 第 2のプレエンコード部 2における処理の過程において、 量子化部 2 3は 量子化係 を逆量子化部 2 7に送出する。 逆量子化部 2 7は、 量子化係数を逆量 子化して DCT係数を再生する。 そして、 IDCT部 2 6は DCT係数を IDCT変 換し、 ローカルデコード画像を生成し、 バッファ 2 5に保存することになる。
ここで、 量子化部 2 3は、 この例では 3段の量子化部 2 3— 1 , 2 3 - 2 , 2 3— 3により構成され、 エントロピー符号長計算部 2 4は、 この例では 3段のェ ントロピー符号長計算部 2 4— 1 , 2 4 - 2 , 2 4— 3により構成されている。 3段と少なくしているのは、 既に第 1のプレエンコードで量子化パラメータ QP が広い範囲で粗く見積もられているからである。
このような構成の下、 量子化部 2 3、 エントロピー符号長計算部 2 4は、 並列 に処理を実行し、 予測量子化パラメータ QPd 及び当該予測量子化パラメータ QPd の前後の量子化パラメータ QP での高精度発生符号量を得ることになる。 このとき、 エントロピー符号長計算部 2 4は、 本エンコード部 3による本ェンコ 一ドのエントロピー符号化方式と同じ方式を CABAC/CAVLCのいずれかから選 択する。 '
続いて、 符号量制御部 4は、 第 2のプレエンコードにより得られた高精度発生 符号量から、 本エンコードで使用するピクチャの基本量子化パラメータ QPMBを 決定する。 そして、 符号量制御部 4は、 この決定されたピクチャの基本量子化パ ラメータ QPMBや予測量子化行列 Q MatrixD, 各 MBのァクティビテイグルー プから、 量子化の情報 （Q Matrix, 各 MBの QP等） を本ェンコ一ド部 3に送 . 出する。
より詳細には、 目標符号量が、 第 2のプレエンコードで得られた高精度発生符 号量に挟まれている場合、 つまり、 Generated— bits(QP_precode 1+1) <=Target_bits
<=Generated_bits(QP_precode 1 - 1) ' の場合には、 目標符号量に最も近い量子化パラメータ QPを基本量子化'パラメ一 タ QPMBとして選択する。 .
そうでない場合、 符号量制御部 4は、 量子化パラメータ の変化に対する高 精度発生符号量の変動率を、 第 2のプレエンコードの結果から求める。 予測量子 化パラメータ QPd は、 第 1のプレエン2 、コード部 1による低精度発生符号量に基
4
づいて算出されている。 このため目標符号量に最も近い量子化パラメータ QPは、 予測量子化パラメータ QPd の近傍に存在する。 量子化パラメータ QP の値が近 い場合.、 発生符号量の変動率は略一定である。'そこで、 符号量制御部 4は、 予測 量子化パラメータ QPd及び当該予測量子化パラメータ QPdの前後の量子化パラ メータ QPにおける高精度発生符号量の変動率から各量子化パラメータ QPでの 高精度発生符号量を予測し、 目標符号量に最も近い量子化パラメータ QPを基本 量子化パラメータ QPMBとして選択する
まず、.量子化パラメータ QPが 「1」 減算されたときに、 高精度発生符号量が 何％変わるかを表す Dif£Ratio_lを、 第 2のプレエンコード 2の結果から以下の ようにして求める。 なお、 Generated— bits は第 2のプレエンコード 2における 発生符号量を表しており、 QP_precodel は、 予測量子化パラメータ QP dを、 QP_precodel-lは予測量子化パラメータ QPd より 「1」 小さい量子化パラメ一 タ QPを表している。
DiffRatio— 1 = (Generated— bits(QP—precode 1-1) -
Generated— bits(QP—precodel)) / Generated_bits(QP_precode 1) 量子化パラメータ QPが 「1」 加算ざれたときに、 高精度発生符号量が何％変 わるかを表す DiffRatio_ 2を、 第 2のプレエンコード 2の結果から以下のよう にして求める。 QP_precodel+lは予測量子化パラメータ QPdより 「1」 大きい 量子化パラメータ QPを表している。
DiffRatio— 2 = (Generated— bits(QP—precodel) -
Generated— bits(QP_precodel+l))/ Generated— Dits(QP—precode 1+1) 予測量子化パラメータ QPdの近傍における高精度発生符号量の変動率
Difffiatioを、 以下のようにして求める。
DiffRatio = (Difffiatio_l + DiffRatio— 2) / 2 すなわち、 予測量子化パラメータ QPdから正負の方向にそれぞれ 「1」 だけ 変化したときの発生符号量の変動の平均値として DiffRatioを算出する。
DeltaQPを、 高精度発生符号量が目標符号量に最も近い量子化パラメータ QP と予測量子化パラメータ QPd. (QPjrecodel) との差の絶対値とすると、 目標 符号量に最も近い高精度発生符号量に対応する量子化パラメータ QPが予測量子 化パラメータ QPd より 1だけ小さい量子化パラメータ QP (QP_precodel-l) より小さいときには、 高精度発生符号量が目標符号量に最も近い量子化パラメ一 タ QPの高精度発生符号量 (Generated_bits(QP) ) を以下のように算出する。
Generated— bits(QP)
= Generated— bits(QP_j recodel-l) X (1.0 + DiffRatio) A (DeltaQP- 1) 目標符号量に最も近い高精度発生符号量に対応する量子化パラメータ QPが予 測量子化パラ メ ータ QPd よ り 1 だけ大きい量子化パラ メ ータ QP (QPjrecodel+1) より大きいときには、 高精度発生符号量が目標符号量に最 も近い量子化パラメータ QP の高精度発生符号量 （Generated— bits(QP) ) を以 下のように算出する。 ，
Generated— bits(QP)
= Generated_bits(QP_precodel+l) x (l.O - DiffRatio) A (DeltaQP- 1) すなわち、 符号量制御部 4は、 予測量子化パラメータ QPd の前後の量子化パ ラ.メータ QP を用いたときの高精度発生符号量に対し、 予測量子化パラメータ QPd を中心に量子化パラメータ QP の値が 「1」 だけ変化したときの変動率に 応じた符号量だけ増減させる。 符号量制御部 4は、 予測量子化パラメータ QPd の近傍の量子化パラメータ QPを用いた場合め高精度発生符号量を高い精度で算 出することができる。
以上のようにして、 符号量制御部 4は、 目標符号量に最も近.い量子化パラメ一 タ QP を本エンコードにおいて平均量子^ f匕パラメータ （BaseQP) として使用す る基本量子化パラメータ QPMBとして選択することになる。
上述したように、 第 2のプレエンコード部 2では、 第 1のプレエンコード部 1 により推定された予測量子化パラメータ QPd (QP_precodel) と、 ひとつ大き い 量子化パラメータ QP (QP_precodel+l) , ひとつ小さい量子化パラメータ QP (QP_precodel-l) でプレエンコードする。 ここで、 回路規模削減のため、 前述したように、 量子化部 2 3とェントロピー符号長計算部 2 4のみ並列化し、 その他の処理は共用する。
このとき、 画面内予測処理で使用するローカルデコード （Local Decode) 画 は、 第 1のプレエンコード部 1の結果に基づいて推定された予測量子化パラメ一 タ QPd ( QP_precodel ) で量子化したデータとする。 つまり、 逆量子化と IDCT で処理されるデータは、 予測量子化パラメータ QPd (QPjrecodel) の 量子化の出力である。 これは、 予測量子化パラメータ QPd の前後の量子化パラ メータ QP (QP— precodel+l、 QP_precodel-l) を使うプレエンコードの画面内 予測処理の入力を、 自分自身のローカルデコード （Local Decode) 画ではなく、 予測量子化パラメータ QPd ( QP_precodel ) のローカルデコード （ Local Decode) 画で代用することを意味する。
このように、 符号量制御部 4は、 第 1 のプレエンコード部 1の結果に基づく 低精度発生符号量の予測により、 低精度発生符号量が目標符号量に最も近くなる 可能性が極めて高い予測量子化パラメータ QPd及びその前後の量子化パラメ一 タ QPによって本エンコードと同様の符号化によって高精度発生符号量を算出す る。 これにより、 符号量制御部 4は、 予測量子化パラメータ QPd及びその前後 の量子化パラメータ QPを用いた場合の高精度発生符号量をほぼ正確に算出する ことができる。 さらに本発明は、 狭い範囲内では量子化パラメータ QPの変化に 伴う高精度発生符号量の変動率がほぼ一定であることに着目した。 符号量制御部 4は、 予測量子化パラメータ QPd及びその前後の量子化パラメータ QPにおけ る高精度発生符号量の変動率に基づいて、 予測量子化パラメータ QPd の近傍の 量子化パラメータ QPを用いたときの高精度発生符号量を算出する。 これにより 符号量制御部 4は、 予測量子化パラメータ QPd の近傍の量子化パラメータ QP についても、 ほぼ正確に高精度発生符号量を算出することができる。
なお、 本発明は前述した実施の形態に限定されるものではなく、 その趣旨を逸 脱しない範囲で種々の改良や変更が可能である。
たとえば、 上記画像符号化装置及び画像符号化方法は、 該装置に実装されるコ ンピュータプログラム或いは該プログラムを記録した記録媒体、 該方法を実施す るコンピュータプログラム或いは該プログラムを記録した記録媒体としての実施 も可能である。
なお、 上述した一連の符号化処理は、 ハードウェアにより実行させることもで き、 また、 ソフトウェアにより実行させることも可能である。 符号匕処理をソフ トウ アによつて実現する場合、 C P U及び R AMに仮想的に画像符号化装置 1 0 0が形成される。 そして、 R OMに格納された符号化プログラムを R AMに展 開することにより、 符号化処理が実行される。 [ 1 - 4 . 処理手順]
以下、 図 3のフ口 チャートを参照して、 本発明の一実施の形態に係る画像符 号化装置 1 0 0による符号化の処理手順 R T 1を詳細に説明する。 この処理手順 の一部または全部は、 一実施の形態に係る画像符号化方法にも相当する。
先ず、 アクティビティ計算部 1 6は、 MB毎にアクティビティを計算し、 その 値に応じて MBをアクティビティグループに分ける （ステップ S 1 ) 。
続いて、 ΪΙ面内予測モード決定部 1 1は、 入力画像 9 1に基づいて画面内予測 モードを決定する （ステップ S 2 ) 。 この画面内予測モードは、 第 2のプレエン コード部 2による第 2のプレエンコード、 本ェンコ一ド部 3による本ェン ード でも使用される。
次に画面内予測処理部 1 2は、 予測画像と入力画像との差分画像データを計算 する。 ここでの予測画像は、 処理を削減するため入力画像 9 1が用いられる。 次 いで、 DCT部 1 3は、 整数精度 DCT を行い、 DCT係数を量子化部 1 4に送出 する （ステップ S 3 ) 。
量子化部 1 4は、 任意の間隔の複数の選択量子化パラメータ QP 1をピクチャ の平均量子化パラメータ （BaseQP) として DCT係数値を量子化する。 ェント 口ピー符号長計算部 1 5は、 量子化係数を可変長符号化し、 符号長計算を行うこ とで、 選択量子化パラメータ Q P 1 ごとの発生符号量を取得する （ステップ S 4 ) 。 この時、 MBの量子化パラメータ QPは、 前述したようにアクティビティ を考慮した値が与えられて、 エンコードされる。 即ち、 前述したように、 MBの 量子化パラメータ QP は、 ピクチャの平均量子化パラメータ （BaseQP) に対し て、 ァクティビティグループに依存したオフセットを加えることで求められる。 尚、 適応的な量子化行列 Q Matrix切り替え処理に対応させる場合には、 上記. の処理を量子化行列 Q Matrix毎に行う。 つまり、 量子化行列 Q Matrix毎に、 離散的な （飛び飛びの） の選択量子化パラメータ QP1 でプレエンコードを行 つて、 1ピクチャ分の発生符号量を取得する。 この時、 量子化行列 Q Matrix毎 に量子化パラメータ QPの取り得る範囲をカバーするように選択量子化パラメ一 タ QP1を選択する。
次に符号量制御部 4が、 第 1のプレエンコード部 1によって算出された発生符 号量の補正処理を行い、 低精度発生符号量を算出する。 符号量制御部 4は、 プレ ェンコ一ドを簡略化したことによる誤差の補正を行うと共に、 補間処理により、 選択量子化パラメータ QP1以外の量子化パラメータ QP に対応する低精度発生 符号量を算出する （ステップ S 5 ) 。 ·
符号量制御部 4は、 '各量子化行列 Q Matrixに対し、 ステップ S 5の処理を実 行し、 量子化行列 Q Matrix ごとの低精度発生符号量を算出する （ステップ S 6 ) 。 以上の処理で、 必要となる全ての量子化パラメータ QPに対する低精度発 生符号量が求められるので、 その中で目標符号量に最も近い低精度発生符号量を 生成し得る量子化パラメータ QP のうち、 傾斜の最も小さい量子化行列 Q Matrixを予測量子化行列 Q MatrixDとして選択する。 さらに符号量制御部 4は、 予測量子化行列 Q MatrixDに対応する目標符号量に最も近い低精度発生符号量 を生成し得る量子化パラメータ QPを予測量子化パラメータ QPd として選択す る。 （ステップ S 7 ) 。 また、 上記の様に量子化行列 Q Matrixを選択すること で、 取り得る量子化パラメータ QPの範囲を限定することになり、 第 1のプレエ ンコード部 1で低精度発生符号量を算出する際の選択量子化パラメータ QP1 の 範囲を減らすことが可能になる。 これが、 第 1のプレエンコード部 1にて決定さ れた予測量子化行列 Q MatrixDと予測量子化パラメータ QPdとなる。
続いて、 第 2のプレエンロード部 2による発生符号量取得処理を行う （ステツ プ S 8〜S 1 0 ) 。 この第 2のプレエンコード部 2の目的は、 第 1のプレエンコ ード部 1による予測量子化パラメータ QPd の推定が誤差を持っていることに鑑 みて、 再度プレエン.コードすることで、 基本量子化パラメータ QPMB推定の精度 を上げることにある。
即ち、 第 1のプレエンコード部 1の結果により大まかに見積もった予測量子化 パラメータ QPdの周辺の量子化パラメータ QPで、 再度プレエンコードするこ とにより高精度発生符号量を取得し、 目標符号量に一番近い量子化パラメータ QP を再度求める。 ェントロピー符号長計算は、 本エンコードと同じ方式
(CABAC又は CAVLC)が用いられる。
具体的には、 第 1のプレエンコード部 1の結果により決定された画面内予測モ 一ドを用いて画面内予測処理部 2 1による画面内予測処理及び DCT部 2 2によ る DCTを行う （ステップ S 8 ) 。 第 2のプレエンコード部 2は、 画面内予測で 使用するローカルデコード画像 （予測画像） として、 第 1のプレエンコード部 1 の結果により推定された予測量子化パラメータ QPd (QP_precodel) で量子化 したローカルデコード画像を共用する。
量子化に際しては、 第 1のプレエンコード部 1の結果により決定された予測量 子化パラメータ QPd (QP_precodel) 、 量子化行列 Q Matrix及びァクティビテ ィグループ （Activity Group) が用いられる。 量子化部 2 3 - 1には予測量子化 パラメータ QPd (QP^recodel) が設定され、 量子化部 2 3— 2には予測量子 化パラメータ QPd よりも「1」 だけ小さい量子化パラメータ QP (QP_precodel- 1) が設定され、 量子化部 2 3— 3には予測量子化パラメータ QPd よりも 「1」 だけ大,きい量子化パラメータ (QP_j)recodel+l) が設定される。
さらに、 MB の量子化パラメータ （Q.P) には、 アクティビティを考慮した値 が与えられてエンコードされる。 以上の第 2のプレエンコードにより、 1ピクチ ャの高精度発生符号量を取得することができる （ステップ S 9 ) 。
続いて、 符号量制御部 4は、 第 2のプレエンコード部 2に基づいて得られた高 精度発生符号量から基本量子化パラメータ QPMBを決定する （ステップ S 1 0 ) 。 続いて、 本ェンコ一ド部 3が本ェンコ一ドを行う （ステップ S 1 1 ) 。 本ェン コードでは、 第 2のプレエンコード部 2の結果により决定されたピクチャの基本 量子化パラメータ QPMB、 第 1のプレエンコード部 1の結果により決定された予 測量子化行列 Q MatrixD, Activity Groupを使用してェンコ一ドを行う。 こう して符号化に関わる一連の処理を終了する。
以下、 図 4のフローチヤ トを参照して、 画像符号化装置 1 0 0による符号化 の処理手順 R T 1のステップ S 7において実行される Q Matrix決定処理手順 R T 2について更に説明する。
この処理を開始すると、 符号量制御部 4は、 先ず Id を ld=0 にィ -シャライ ズした後 （ステップ S 2 1 ) 、 Id の値の小さい量子化行列 Q-Matrix から、 低 精度発生符号量が目標符号量に最も近い量子化パラメータ （QP) と、 量子化行 列 Q-Matrixにおいて取り得る最大の量子化パラメータ QP (QMatrixTheshold [Id] ) とを比較する （ステップ S 2 2 ) 。 そして、 符号量制御部 4は、 Id番 目の量子化行列 Q-Matrixでの低精度発生符号量が目標符号量に最も近い量子化 パラメータ (QP) が QMatrixTheshold[Id]より小さければ、 現在の量子化行列 Q-Matrix を-予測量子化行列 Q MatrixD に決定する。 さらに符号量制御部 4は、 予測量子化行列 Q MatrixDにおける低精度発生符号量が目標符号量に最も近い 量子化パラメータ （QP) を予測量子化パラメータ QPdに決定すると （ステップ S 2 3 ) 、 Q Matrix決定処理手順 R T 2を終了する。 ■
一方、 ステップ S 2 2において、 符号量制御部 4は、 Id番目の量子化行列 Q- Matrixでの低精度発生符号量が目標符号量に最も近い量子化パラメータ （QP) が QMatrixTheshold[Id]以上であれば、 Id をインクリメント （ステップ S 2 4 ) する。 符号量制御部 4は、 Id.=量子化行列 - O Matrixの総数よりも 「1」 小 さい （NumOfQMatrixId-1) であるか否かを判断する （ステップ S 2 5 ) 。 そ
. 、
して、 Id = NumOfQMatrixId-l でなければステップ S 2 2に戻り、 次の量子化 行列 Q-Matrix をチェックする。 一方、 Id=NumOfQMatrixId-l であれば、 一 番急峻な傾斜を有する量子化行列 Q-Matrix (ID 力 S NumOfQMatrixId の量子 化行列 Q-Matrix) が選択され （ステップ S 2 3 ) 、 Q Matrix 決定処理手順 R T 2を終了する。
この図 4の Q Matrix決定処理手順 R T 2により、 符号量制御部 4は、 量子化 行列 Q-Matrix毎に、 取り得る最大の量子化パラメータ QPを設定して、 傾斜の 緩やかな量子化行列 Q-Matrixから順に、 低精度発生符号量が目標符号量に最も 近いと推定された量子化パラメータ QPに対応する低精度発生符号量が目標符号 量に本当に近い値を示すか否かを判断する。 そして、 近い値であれば対応する量 子化行列 Q-Matrixを本ェンコ一ドで用いる予測量子化行列 Q MatrixD として 決定することになる。
以上説明したように、 本発明の一実施の形態では、 ピクチャ単位の 2回のプレ エンコードを実施する。 そして、 画像符号化装置 1 0 0は、 効率向上のためには、 処理量が増大し、 それに起因してェンコ一ドの回路規模が増大するとの問題を解 消するために、 回路一部共有化による部分的並列構成を採用する。 これにより、 プレエンコーダの構成を簡略化しつ ό、 該簡略化に伴う誤差を統計データで補正 する。 .
従って、 画像符号化装置 1 0 0は、 1ピクチャに与えられた目標符号量に、 画 面内 Feed Back制御を行わずに本エンコードにおいて発生する本エンコード発 生符号量を合わせ込むことが可能になる。 これにより、 画像符号化装置 1 0 0は、 Feed Back パラメータの不適切な初期値による弊害や、 不適切な目標符号量配 分など、 Feed Back 制御の問題を取り除くことが可能になる。 その結果、 画像 符号化装置 1 0 0は、 目標符号量に本エンコード発生符号量を一致させ、''視覚特 性を考慮した符号量配分、 つまり適切な量子化パラメータの決定が可能となる。 次に、 CAVLC 共有計算部 1 5. 0.が符号化プログラムに従って実行する VLC テーブル選択処理手順 RT1 について、 図 7に示すフローチャートを用いて説明 する。
CAVLC計算部 1 5は、 量子化部 1 4から D C T係数が供給されると、 VLCテ 一ブル選択処理手順 RT1 を開始し、 ステップ S 4 1へ移る。 CAVLC 計算部 1 5は、 CAVLC計算部 1 5—：!〜 1 5— nによって TrailingOne及び TotalCoef をカウントすると、 .次のステップ S 4 2へ移る。
ステップ S 2において、 CAVLC 計算部 1 5は、 railingOne 及び TotalCoef を加算することにより、 非ゼロ係数の数を算出すると、 次のステップ S 4 3へ移 る。
ステップ S 3において、 CAVLC 計算部 1 5は、 参照対象となる非ゼロ係数の 数 n A及び n Bを一時記憶すると、 次のステップ S 4 4へ移る。 ステップ S 44において、 CAVLC 計算部 15は、 処理対象となる 4 X4ブロ ックが MB の上部境界であるか否かについて判別する。 ここで、 否定結果が得 られた場合、 このことは参照対象となる nBが nB保持メモリ 204に保持され ていることを表している。 このとき CAVLC計算部 15は、 次のステップ S46 に移る。 ステップ S46において、 CAVLC計算部 15は、 テーブル選択指標 nC として、 nA及び nBの平均値を使用し、 次のステップ S 47へ移る。
これに対してステップ S44において肯定結果が得られた場合、 CAVLC 計算 部 15は、 ステップ S45へ移り、 テーブル選択指標 nCとして nAを使用すると、 次のステップ S47へ移る。 .
ステップ S47 において、 CAVLC計算部 15は、 テーブル選択指標 nC に基 づいて VLCテーブルを選択すると、 終了ステップへ移って処 aを終了する。
[1 -5. 動作及び効果]
以上の構成において、 画像符号化装置 100Jま、 複数の画素でなる符号化プロ ックとしての 4 X 4ブロックごとに走査されながら、 複数の 4 X 4ブロックによ つて構成される走査プロックとしての MBごとにライン走査されてなる入力画像 91が入力される。 画像符号化装置 100は、. 入力画像 91に基づく符号化対象 デーダとしての量子化係数において、 符号化対象となる 4 X 4プロックの上隣及 び左隣の 4 X 4プロックにおいて可変長符号化される符号化値としての非-ゼ 係 数の数 n B及ぴ n Aの平均値であるテーブル選択指標 n Cに対応する VLC (可 変長） テーブルを選択する。 このとき、 画像符号化装置 100は 符号化対象と なる 4 X 4プロックが MBの上端であった場合、 上隣の 4 X 4ブロックの非ゼロ 係数の数 n Bを左隣の 4 X 4プロックの非ゼロ係数の数 n Aと擬制する。 画像符 号化装置 100は、 選択された VLCテーブルを用いることにより、 量子化係数 において符号化対象となる 4 X 4プロックの非ゼロ係数の数を可変長符号化する。 これにより、 画像符号化装置 100は、 MBの上端において上隣の非ゼロ係数 の数 nBを参照するための 1ライン分のメモリを省略することができ、 回路構成 を簡易にし得る。 画像符号化装置 1 0 0は、 少なくとも量子化因子 （量子化パラメータ QP又は 量子化行列、 若しくはその両方） に基づく量子化ステップを用いて量子化するこ とにより入力画像 9 1を符号ィ匕し、 符号化対象データとしての量子化係数を生成 する。
.画像符号化装置 1 0 0は、 量子化係数を可変長符号化したときの低精度発生符 号量に基づいて、 入力画像 9 1を本符号化したときの本エンコード発生符号量が 目標符号量に最も近いと予測される基本量子化パラメータ QPMBを決定する。 画 像符号化装置 1 0 0は、 決車された基本量子化パラメータ QPMBに基づいて入力 画像 9 1を本符号化 （本エンコード） する。
これにより、 画像符号化装置 1 0 0は、 簡易な構成で算出された低精度発生符 号量に基づいて、 基本量子化パラメータ QPMBを決定することができる。
画像符号化装置 1 0 0は、 入力画像 9 1を 4 X 4ブロックごとに直交変換であ る DCT処理した後、 量子化パラメータ QPに基づく量子化ステップを用いて量 子化することにより符号化し、 量子化係数を生成する。 画像符号化装置 1 0 0は、 基本量子化パラメータ QPMBの近傍でなる予測量子化因子としての予測量子化パ ラメータ QPd を決定する。 画像符号化装置 1ひひは、 選択された予測量子化パ ラメータ QPd及ぴ当該予測量子化パラメータ QPd の近傍の量子化パラメータ QP に基づいて入力画像 9 1を符号化し、 '入力画像 9 1の高精度発生符号量を算 出する。 画像符号化装置 1 0 0は、 算出された入力画像 9 1の高精度発生符号量 に基づいて、 基本量子化パラメータ QPMBを決定する。
これにより、 画像符号化装置 1 0 0は、 基本量子化パラメータ QPMBである可 能性の高い予測量子化パラメータ QPd及ぴ当該予測量子化パラメータ QPdの近 傍の量子化パラメータ QPに基づいて基本量子化パラメータ QPMBを決定するこ とができる。 このため画像符号化装置 1 0 0は、 基本量子化パラメータ QPMBの 予測精度を向上させ得る。
< 2 . 第 2実施の形態〉.
[ 2 - 1 . 画像符号化装置の構成] 図 8〜図 1 0に示す第 2の実施の形態においては、 図 1〜図 7と対応する箇所 に同一符号を附して示し、 同一箇所についての説明を省略する。 第 2の実施の形 態では、 第 2のプレエンコード部 2における簡易量子化部 2 8及び量子化部 4 1、 並びに簡易符号長計算部 2 9及びェントロピー符号長計算部 4 2の構成が第 1の 実施の形態と異なっている。
この実施の形態に係る画像符号化'装置 2 0 0及び画像符号化方法は、 .以下など を特徴とする。 、
即ち、 画像符号化装置 2 0 0は； MPEG4 AVC (Advanced Video Coding;高 度動画像圧縮符号化標準） 等に代表される画像圧縮方式で、 符号量制御を行う際 に、 処理の簡易化を行うことでハードウェアを削減する。 画像符号化装置 2 0 0 は、 コンテキス ト適応型 2値算術符号化方式 CABAC ( Context-Adaptive Binary Arithmetic Coding) /コンテキスト適応型可変長符号化方式 （CAVLC； Context-Adaptive Variable Length Coding) の両方のェント口ピー符号化方式 を選択可能なシステムとする。 画像符号化装置 2 0 0は、 発生符号量を予測する ため、 異なる量子化値で並列に量子化を行い符号長計算する際に、 並列部分を単 一の符号化方式で行い回路規模を削減する。 すなわち、. 画像符号化装置 2 0 0は、 第 2のプレエンコード部 2における簡易量子化部 2 8を、 第 1のプレエンコード 部 1の量子化部 1 4と同様に、 共有部 2 8 0及び量子化部 2 8—：！〜 2 8 _ 3に より構成する。 また、 画像符号化装置 2 0 0は、 CAVLC による簡易的な発生符 号量を算出する簡易符号長計算部 2 9を、 第 1のプレエンコード部 1における CAVLC計算部 1 5と同様に、 共有計算部 2 9 0及び CAVLC計算部 2 9 _ 1〜 2 9.— 3として構成する。 CAVLC 計算部 2 9— 1は、 予測量子化パラメータ QPdに基づく発生符号量を算出する。 CAVLC計算部 2 9— 2及び 2 9— 3は、 予測量子化パラメータ QPdの前後の量子化パラメータ QPに基づく発生符号量 を算出する。
さらに、 画像符号化装置 2 0 0は、 CAVLC又は CABACによる発生符号量を 算出するェント口ピー符号長計算部 4 2を 1段のみ設け、 本ェンコ一ドの方式に 応じて CAVLC 又は CABAC を切り替えることにより、 予測量子化パラメータ QPd に基づく高精度発生符号量を算出する。 そして画像符号化装置 2 0 0は、 本エンコードに CAVLCを用いる場合には 、 CAVLC計算部 2 9— 1による予 測量子化パラメータ QPd に基づく発生符号量とェン 口ピー符号長計算部 4 2 による予測量子化パラメータ QPd に基づく高精度発生符号量とのずれ量から、 予測量子化パラメータ QPd以外の量子化パラメータ QPに基づく高精度発生符 号量を予測する。 また、 画像符号化装置 2 0 0は、 本エンコードに CABAC を 用いる場合には、 CABAC と CAVLC との発生符号量のずれ (比)を求めることに より、 CAVLCの高精度発生符号量から CABACの高精度発生符号量を予測する。 これにより、 画像符号化装置 2 0 0は、 予測量子化パラメータ QPd の前後の量 子化パラメータ QP に基づく高精度発生符号量を算出するための並列部分の CABACの回路をなくし、 回路規模を削減する。
図 8には、 本発明の一実施の形態に係る画像符号化装置 2 0 0の構成を示し説 明する。
第 2のプレエンコード部 2は、 第 2のプレエンコードを行うモジュールであり、 画面内予測処理部 2 1、 0〇丁部2 2'、 量子化部 4 1、 エントロピー符号長計算 部 4 2、 バッファ 2 5、 IDCT (Inverse DCT) 部 2 6、 逆量子化部 2 7、 簡易 量子化部 2 8、 簡易符号長計算部 2 9を備えている。
符号量制御部 4は、 符号量制御を行うモジュールである。
[ 2 - 2 . 簡易的な CAVLCによる高精度発生符号量の算出]
上述したように、 簡易量子化部 2 8は、 乗算係数としてスケーリングファクタ MFと量子化行列 Q Matrixの逆数 （ 1 Matrix) とを別々に出力する。 簡易 量子化部 2 8は、 量子化行列 Q Matrixの逆数を出力する際に生じる丸めにより、 従来の量子化部 3 0.0と比較して若干の誤差が生じる。 また、 簡易符号長計算部 2 9は、 MBの上端の 4 X 4ブロックにおいて上隣の非ゼロ係数の数 nBを左隣 の非ゼロ係数の数 nAと擬制することに起因して、 若干の誤差を生じる。 そこで、 画像符号化装置 2 0 0は、 本ェンコ一ドと同一の符号化が実行される予測量子化 パラメータ QPdの近傍の量子化パラメータ QP について、 簡易符号長計算部 2 9によって算出された発生符号量を補正することにより、 高精度発生符号量を算 出する。 '
画像符号化装置 2 0 0は、 本エンコードで CAVLCを使 5場合は、 エントロピ 一符号長計算部 4 2による予測量子化パラメータ QPd に基づく高精度発生符号 量と、 CAVLC 計算部 2 9— 1による予測量子化パラメータ QPd に基づく簡易 的な符号化による発生符号量の比から、 予測量子化パラメータ QPd の近傍の高 精度発生符号量を算出する。
予測量子化パラメータ QPd(QP_precodel)での通常処理 （ェントロピー符号長 計算部 4 2による処理） の高精度発生符号量 Generated_bits(QP— precodel)と 簡易処理 （ CAVLC. 計算部 2 9 - 1 に よ る 処理） の発生符号量 Reduce—Generated— bits(QP_precodel)の比を 符号量比 R_reduction とすると、
R— reduction
= Generated_bits(QP_precode l) / Reduce_Generated_bits(QP_precodel)
• と表せる。 .
符号量制御部 4は、 符号量比 R_reduction と簡易処理による発生符号量から、 予測量子化パラメータ QPdの前後の量子化パラメータ QPに基づぐ高精度発生 符号量を算出する。 ここで、 符号量比 R_reduction と 予測量子化パラメータ QPd より 「1」 小さい量子化パラメータ （QPjrecodel-l ) 及び 予測量子化 パラメータ QPd より 「 1」 大きい量子化パラメータ （QP_precodel+l ) の簡 易 処 理 に よ る 発 生 符 号 量 を そ れ ぞ れ 簡 易 発 生 符 号 量 Reduce— Generated— bits(QP_precode 1-1) 、 簡 易 発 生 符 号 晕 Reduce_Generated_bits(QPj)recodel+l)とする。 符号量制御部 4は、 量子化パ ラメータ QPが近い場合、 通常処理の符号量と簡易処理の符号量の比がほぼ等し い点に着目し、 予測量子化パラメータ QPd に基づく符号量比 R— reduction か ら、 予測量子化パラメータ QPd よ り 「 1 」 小さい量子化パラメータ (QPj)recodel-l ) 及び 予測量子化パラメータ QPd より 「1」 大きい量子化 パラメータ （QP_precodel+l ) に基づく高精度符号量を予測する。
具体的に、 符号量制御部 4 は、 通常処理の高精度発生符号量を
Generated_bits とすると、 次式に従って、 予測量子化パラメータ QPd より 「1」 小さい量子化パラメータ （QP_precodel-l ) についての高精度発生符号 量 Generated— bits(QP_j)recode 1- 1)を算出する。
Figure imgf000040_0001
= R一 reduction X Reduce— Generated— bits(QP_precode 1-1) 符号量制御部 4は、 次式に従って、 予測量子化パラメータ QPd より 「1」 大 きい量子化パラメータ （QPj)recodel+l ) についての高精度発生符号量 Generated_bits(QP— precode 1+ 1)を算出する。
Generate d_bits(Q P_p re co de 1+ 1):
= R_reduction X Reduce_Generated_bits(QP_precodel+l) すなわち、 符号量制御部 4は、 簡易処理 （CAVLC 計算部 2 9— 2及び 2 9— 3による処理） による発生符号量に対して、 符号量比 R— reduction を乗算する ことにより、 予測量子化パラメータ QPdの,前後の量子化パラメータ QPdについ て、 高精度発生符号量を算出する。
さらに、 符号量制御部 4は、 第 1 の実施の形態で上述したように、 予測量子 化パラメータ QPd ( QP_precodel ) 及ぴその前後の量子化パラメータ QP (QP_precodel-l 及び +1 ) の変動率 DiffRatio から、 他の量子化パラメータ QPについての高精度発生符号量を算出する。 ' · .
このように、 画像符号化装置: 2 0 0では、 予測量子化パラメータ QPd 及びそ の近傍における量子化パラメータ QP に基づいて、 簡易的な CAVLC (簡易処 理） により発生符号量を算出する。 画像符号化装置 2 0 0は 本エンコードと同 一の符号化 （通常処理） により、 予測量子化パラメータ QP dに基づく高精度発 生符号量を算出する。
そして画像符号 装置 2 0 0は、 簡易処理と通常処理とによる符号量比 R_reduction を算出し、 予測量子化パラメータ QPd の近傍における量子化パラ メータ QPに基づく簡易処理による発生符号量に乗算する。 これにより、 画像符 号化装置 2 0 0は、 簡易処理による誤差を補正することができ、 予測量子化パラ メータ QPdの近傍における量子化パラメータ QPについて、 精度の高い高精度 発生符号量を算出し得るようになされている。
[ 2 - 3 . CABACによる高精度発生符号量の算出]
上述したように、 CABAC は処理が複雑であり、 回路規模が大きくなる。 そこ で、 画像符号化装置 2 0 0において、 予測量子化パラメータ QPd は、 本ェンコ ードと同一の符号化 （すなわち CABAC) が実行されるため、 その近傍の量子化 パラメータ QPについて、 簡易符号長計算部 2 9によって算出された CAVLCに よる発生符号量を補正することにより、 CABAC を用いた場合の高精度発生符号 量を算出する。
第 2のプレエンコード部 2は、 本エンコードに CABAC を使用する場合、 予 測量子化パラメータ QPd に基づく高精度発生符号量のみを実際に符号化するこ とにより算出する。 この場合、 符号量制御部 4は、 予測量子化パラメータ QPd(QPj)recodel)での高精度発生符号量 Generated_bits(QP_precodel)と、 簡 易処理 （ CAVLC 計算部 2 9 — 1 に よ る 処理） の発生符号量 Reduce— Generated_bits(QP_precodel)の比を 符号量比 R_reductionとする。 そして、 符号量制御部 4は、 CAVLC の場合と同様に、 簡易処理 （CAVLC 計 算部 2 9— 2及び 2 9— 3による処理） による発生符号量に対して、 符号量比 R_reduction を乗算することにより、 予測量子化パラメータ QPdの前後の量子 '化パラメータ QPdについて、 CABACによる高精度発生符号量を算出する。 さらに、 符号量制御部 4は、 第 1 の実施の形態で上述したように、 予測量子 化パラメータ QPd (QP_precodel ) 及ぴその前後の量子化パラメータ QP (QP_precodel-l 及び +1 ) の変動率 Difffiatio から、 他の量子化パラメータ QPについての高精度発生符号量を算出する。
このように、 画像符号化装置 2 0 0では、 予測量子化パラメータ QPd及びそ の近傍における量子化パラメータ QP に基づいて、 簡易的な CAVLC (簡易処 理） により発生符号量を算出する。 画像符号化装置 2 0 0は、 本エンコードと同 一の CABAC (通常処理） により、 予測量子化パラメータ QP dに基づく高精度 発生符号量を算出する。
そして画像符号化装置 2 0 0は、 簡易処理と通常処理とによる符号量比 R_reduction を算出し、 予測量子化パラメータ QPd の近傍における量子化パラ メータ QPに基づく簡易処理による発生符号量に乗算す δ。 これにより、 画像符 号化装置 2 0 0は、 簡易的な CAVLC (簡易処理） による発生符号量に基づいて、 CABAC による高精度発生符号量を高い精度で予測することができる。 すなわち、 画像符号化装置 2 0 0は、 回路構成が複雑となる CABAC 回路を 1つだけ設け ることにより、 CABAC による高精度発生符号量を髙ぃ精度で予測することがで き、 予測量子化パ メータ QPd の前後の量子化パラメータ QP に対応させて CABAC 回路を 3つ並列して設けた第 1の実施の形態と比較して、 回路構成を大 幅に簡易にすることができる。
[ 2 - 4 . 処理手順]
次に、 図 9のフローチャート及び図 1 0を用いて、 基本量子化パラメータ決定 処理手順 RT4を説明する。
画像符号化装置 2 0 0の符号量制御部 4は、 基本量子化パラメータ決定処理手 順 RT4 を開始すると、 ステップ S 5 1へ移る。 ステップ S 5 1において、 符号 量制御部 4は、 CAVLC 計算部 2 9 _ 1による簡易処理 （図 1 0において黒四角 で示す） とェシトロピー符号長計算部 4 2による通常処理 （図 1 0において黒丸 で示す） との符号量比 R_reductionを算出すると、 次のステップ S 5 2へ移る。 ステップ S 5 2において、 符号量制御部 4は、 簡易処理による予測量子化パラ メータ QPdの前後の量子化パラメータ QP (QP_precodel-l及び +1 ) の発生符 号量 （図 1 0において白四角で示す） に対して符号量比 R— reduction を乗算す ることにより、 当該前後の量子化パラメータ QP (QP_precodel-l及び +1 ) の 高精度発生符号量 （図 1 0において白丸で表す） を算出する。 さらに、 符号量制 御部 4は、 予測量子化パラメータ QPd及びその前後の量子化パラメータ QPに おける発生符号量の変動率 Difffiatioから、 予測量子化パラメータ QPd近傍の 量子化パラメータ QPについて高精度発生符号量 （図 1 0において三角で示す） を算出すると、 次のステップ S 5 3へ移る。
ステップ S 5 3において、 符号量制御部 4は、 目標符号量に最も近い高精度発 生符号量を示す量子化パラメータ Q Pを基本量子化パラメータ Q P M Bに決定す ると、 終了ステップへ移って処理を終了する。
なお、 本発明は前述した実施の形態に限定されるものではなく、 その趣旨を逸 脱しない範囲で種々の改良や変更が可能である。 .
たとえば、 上記画像符号化装置及び画像符号化方法は、 該装置に実装されるコ ンピュータプログラム或いは該プログラム.を記録した記録媒体、 該方法を実施す るコンピュータプログラム或いは該プログラムを記録した記録媒体としての実施 も可能である。
[ 2 - 5 . 動作及ぴ効果]
以上の構成において、 画像符号化装置 2 0 0は、 入力画像 9 1を本エンコード 部 3で符号化したときの本ェンコード発生符号量が目標符号量に最も近くなると 予測される基本量子化因子としての基本量子化パラメータ QPMBの近傍であると 予測される予測量子化因子としての予測量子化パラメータ QPd を決定する （図 1 1のステップ S 6 1 ) 。
画像符号化装置 2 0 0'は、 予測量子化パラメータ QPd及び当該予測量子化パ ラメータ QPdの近傍の量子化パラメータ QPに基づいて、 入力画像 9 1を量子 化部 4 1及ぴェントロピー符号長計算部 4 2による符号化と比較して簡易的に符 号化する （簡易処理する) ことにより、 簡易的な符号化による発生符号量を算出 する （ステップ S 6 2 ) 。 画像符号化装置 2 0 0ほ、 予測量子化パラメータ QPd に基づいて入力画像 9 1を符号化 （通常処理する） することにより、 通常 処理による発生符号量を算出する （ステップ. S 6 3 ) 。
画像符号化装置 2 0 0は、 通常処理による予測量子化パラメータ QPd に基づ く発生符号量 Generated_bits(QP— precodel)に対する簡易処理による予測量子 化パラメータ QPd に基づく発生符号量 Reduce— Generated_bits(QP_precodel) の符号量比 R— reductionを算出する （ステップ S 6 4 ) 。
画像符号化装置 2 0 0は、 予測量子化パラメータ QPd の近傍の量子化パラメ ータ QPに基づく発生符号量 Reduce— Generated— bits(QP—precodel+l、 -1)に対 し、 符号量比 R_reduction を乗算することにより、 当該予測量子化パラメータ QPd の 近傍 の 量子化パ ラ メ ー タ QP に 基づ く 発 生符 号量 Reduce—Generated— bits(QP_precodel+l、 ·1)を補正する （ステップ S 6 5 ) 。 これにより、 画像符号化装置 2 0 0は、 予測量子化パラメータ QPd のみにつ いて本ェンコ一ドと同一の符号化を実行すれば良いため、 高精度発生符号量の精 度を維持しつつ、 第 2のプレエンコード部.2の回路構成を簡易にすることができ る。
画像符号化装置 2 0 0は、 可変長符号化 （CAVLC) により入力画像 9 1を簡 易的に符号化 （簡易処理） し、 算術符号化 （CABAC) により入力画像 9 1を符 号化 （通常処理） する。
これにより、 画像符号化装置 2 0 0は、 予測量子化パラメータ QPd近傍の量 子化パラメータ QPについて、 回路構成の複雑な CABACを CAVLCで代用する ことができ、 回路構成を簡易にできる。
画像符号化装置 2 0 0は、 簡易的な CAVLCにより入力画像 9 1を符号化 （通 常処理） と比較して簡易的に符号化 （簡易処理） する。
これにより、 画像符号化装置 2 0 0は、 簡易符号長計算部 2 9の構成を簡易に することができる。 画像符号化装置 2 0 0は、 複数の画素でなる符号化ブロックとしての 4 X 4ブ 口ックごとに走査されながら、 複数の 4 X 4プロックによって構成される走查ブ ロックとしての MB ごとにライン走査された入力画像 9 1に基づく符号化対象 データ （量子化係数） を本エンコードと比較して簡易的に符号化する。 画像符号 化装置 2 0 0は、 符号化対象となる 4 X 4ブロックの'上隣及び左憐の 4 X 4プロ ックにおいて可変長符号化される符号化値 （非ゼロ係数の数 nA及び nB) の平 均値に対応する可変長 （VLC) テーブルを選択する。 画像符号化装置 2 0 0ほ、 符号化対象となる 4 X 4ブロックが MB の上端であった場合、 上隣の 4 X 4ブ 口ックの非ゼロ係数の数 nAを左隣の 4 X 4ブロックの非ゼロ係数の数 nB と擬 制することにより、 入力画像 9 1を簡易的に符号化 （簡易処理） する。
画像符号化装置 2 0 0は、 入力画像 9 1を符号化 （通常処理） する際、 4 X 4 ブロックの MB の位置に拘らず、 符号化対象となる 4 X 4ブロックの上隣及び 左隣の 4 X 4プロックにおいて可変長符号化され 非ゼロ係数の数 nA及び nB の平均値に対応する VLCテーブルを選択する。 ·
これにより、 画像符号化装置 2 0 0は、 簡易'符号長計算部 2 9において MB 下端の 4 X 4プロックの非ゼロ係数の数 nBを 1ライン分記憶 +るためのライン メモリを省略でき、 簡易符号長計算部 2 9の構成を簡易にできる。
画像符号化装置 2 0 0は、 簡易量子化部 2 8による簡易的な量子化により入力 画像 9 1を本エンコードと比較して簡易的に符号化する。 すなわち、 画像符号化 装置 2 0 0は、 4 X 4プロックにおける位置 （DCT アドレス） 及び量子化パラ メータ QPの組み合わせに応じた第 1の乗算係数 （スケーリングファクタ MF) を記憶し、 4 X 4ブロックの位置から、 全ての量子化パラメータ QPに応じて取 り得るスケーリングファクタ MF を特定し、 当該特定したスケーリングファタ タ MF を出力する。 画像符号化装置 2 0 0は、 複数の符号化対象データ （DCT 係数） と同一数だけ並列に設けられ、 出力されたスケーリングファクタ MF の うち、 使用する量子化パラメータ QP に応じたスケーリングファクタ. MF を選 択する。 画像符号化装置 2 0 0は、 複数の符号化対象データ （DCT 係数） と同 一数だけ並列に,設けられ、 選択されたスケーリングファクタ MF及び 4 X 4ブ ロ ックの値を乗算する。 画像符号化装置 2 0 0は、 複数の符号化対象データ (DCT係数） と同一数だけ並列に設けられ、 乗算された 4 Χ ·4ブロックの値を 量子化パラメータ QPに応じた桁数だけ右シフトさせる。
これにより、 画像符号化装置 2 0 0は、 簡易量子化部 2 8の一部 （共有部 2 8 0 ) を共用することができるため、 簡易量子化部 2 8の構成を簡易にすることが できる。
画像符号化装置 2 0 0は、 量子化行列 Q Matrix及び 4 X 4ブロックの位置の 組み合わせに応じた第 2の乗算係数としての量子化行列 Q Matrixの逆数値を記 憶し、 4 X 4ブロックの位置 （DCT ア ドレス） から、 全ての量子化行列 Q Matrix に応じて取り得る量子化行列 Q Matrix の逆数値を特定し、 当該特定し た量子化行列 Q Matrixの逆数値を出力する。 画像符号化装置 2 0 0は、 出力さ れた量子化行列 Q Matrixの逆数値のうち、 使用する量子化行列 Q Matrixに応 じた量子化行列 Q Matrixの逆数値を選択する。
これにより、 画像符号化装置 2 0 0は、 乗算係数（MF*16/QMatrix)を記憶する 場合と比較して、 組み合わせ数を減少させるこ ができ、 スケールファクタ RAM 1 0 2及び 1ノ MatrixRAM 1 0 3に必要となる記憶容量を減少させること ができる。 '
画像符号化装置 2 0 0は、 補正された予測量子化パラメータ QPd の近傍の量 子化パラメータ QPに基づく高精度発生符号量 Generated_bits(QP_precodel+l、 -1)と、 'ェントロピー符号長計算部 4 2によって算出された予測量子化パラメ一 タ QPd に基づく高精度発生符号量 Generated— bits(QP—precodel)との変動率 DiffrRatio から.、 予測量子化パラメータ QPd 及び当該予測量子化パラメータ QPdの近傍の量子化パラメータ QP以外の量子化パラメータ QP に基づく高精 度発生符号量 Generated_bits(QP)を算出する。
これにより、 画像符号化装置 2 0 0は、 第 2のプレエンコード部 2によって実 際に符号化を行わない量子化パラメータ QPについても高い精度で高精度発生符 号量 GeneratedJ its(QP)を算出することができる。
画像符号化装置 2 0 0は、 予測量子化パラメータ QPd に基づく高精度発生符 号量 Generated_bits(QP_precodel)と、 補正された予測量子化パラメータ QPd の 近 傍 の 量 子 化 パ ラ メ ー タ QP に 基 づ く 発 生 符 号 量 Generated_bits(QP_precodel+l, -1)と、 予測量子化パラメータ QPd 及び当該 予測量子化パラメータ QPdの近傍の量子化パラメータ QP以外の量子化パラメ ータ QP に基づく発生符号量 Generated_bits(QP)とのうち、 目標符号量に最も 近い発生符号量に対応する量子化パラメータ QPを基本量子化パラメータ QPMB として決定する。 .
これにより、 画像符号化装置 2 0 0は、 高精度に算出された高精度発生符号量 に基づいて基本量子化パラメータ QPMBを決定できるため、 適切な基本量子化パ ラメータ QPMBを選択することができる。
画像符号化装置 2.0 0は、 決定された基本量子化パラメータ QPMBに基づいて、 入力画像 9 1を本エンコードする。 '
これにより、 画像符号化装置 2 0 0は、 基本量子化パラメータ QPMBに基づい て本ェンコ一ドを実行できるため、 本ェンコ一ド発生符号量を目標符号量近傍に 制御することができる。
以上の構成によれば、 画像符号化装置 2 0 0は、 予測量子化パラメータ QPd に基づいて入力画像 9 1を本ェンコ一ドと同一の通常処理により符号化する一方、 予測量子化パラメータ QPd 及び当該予測量子化パラメータ QP dの近傍の量子 化パラメータ QPに基づいて入力画像 9 1を簡易的に符号化 （簡易処理） する。 画像符号化装置 2 0 0は、 予測量子化パラメータ QPd に基づく通常処理による 高精度発生符号量と、 予測量子化パラメータ QP dに基づく簡易処理による発生 符号量の符号量比 R— reduction を算出する。 画像符号化装置 2 0 0は、 当該予 測量子化パラメータ QP dの近傍の量子化パラメータ QPにおいては、' 通常処理 による発生符号量と簡易処理による発生符号量の符号量比がほぼ一定であること を利用する。 画像符号化装置 2 0 0は、 符号量比 R— reduction と、 当該予測量 子化パラメータ QP dの近傍の量子化パラメータ QPに基づく簡易処理による発 生符号量とに基づいて、 当該予測量子化パラメータ QP dの近傍の量子化パラメ ータ QPに基づく高精度発生符号量を算出する。
これにより、 画像符号化装置 2 0 0は、 予測量子化パラメータ QPd について のみ本 ンコ一ドと同一の符号化を実行すれば良く、.当該予測量子化パラメータ QP dの近傍の量子化パラメータ QP について簡易的な符号化を実 fiすればよレ、。 このため、 .本発明は、 回路構成を簡易にし得る画像処理装置及び画像処理方法を 実現できる。
< 3 . 他の実施の形態 >
なお、 上述した第 1 の実施の形態においては、 符号化対象データとして、 ィ ントラ予測による差分画像データに対して直交変換としての DCT変換処理を実 行し、 さらに量子化を行った量子化係数を用いるようにした場合について述べた。 本発明はこれに限らず、 例えば符号化対象データとして入力画像 9 1を用いたり、 当該入力画像 9 1としてイントラ予測、 直交変換、 量子化のいずれか 1つ又は 2 つ、 'さらには他の処理を施したデータを用いるようにしても良い。 もちろん、 直 交変換としてウェーブレツト変換などを用いることも可能である。
また、 上述した第 1及び第 2の実施の形態においては、 4 X 4ブロックを符 号化対象となる符号化プロックとするようにした場合について述べた。 本発明は これに限らず、 例えば 8 X 8ブロックや 2 X 2ブロックなど、 他の単位を符号か ブロックにしても良レ、。
さらに、 上述した第 1 及び第 2の実施の形態においては、 非ゼロ係数の数を 符号化値とするようにした場合について述べた。 本発明はこれに限らず、 例えば ゼロランの数など、 符号化方式に応じた種々の値を符号化値とすることができる。 さらに、 上述した第 1 及び第 2の実施の形態においては、 符号化値の平均値 として、 n C = n A + n Bとするようにした場合について述べた。 本発明はこれ に限らず、 演算の丸めの都合上、 n C = n A + n B + 1を符号化値の平均値とし ても良い。 さらに、 上述した第 1 及び第 2の寒施の形態においでは、 第 1のプレエンコ 一ド部 1の低精度発生符号量を算出す.るための簡易的な符号化の際に本発明を適 用するようにした場合について述べた。 本発明はこれに限らず、 例えば第 2のプ レエンコード部 2の高精度発生符号量を算出するために本発明を適用しても良い。 もちろん、 本エンコード部 3においで用いることも可能である。 また、 本発明は、 第 1のプレエンコード部 1、 第 2のプレエンコード部 2及び第 3のプレエンコー ド部 3を有する画像符号化装置 1 0 0以外にも、 種々の構成でなる画像符号化装 置に適用することができる。
さらに、 上述した第 1 及び第 2の実施の形態においては、 図 4の構成を有す る （共有部を有する） 量子化部 1 4及び C A V L C計算部 1 5を有するようにし た場合について述べた。 本発明はこれに限らず、 その他種々の構成でなる量子化 部 1 4や C A V L C計算部 1 5を有するようにしても良い。
さらに、 上述した第 1 及び第 2の実施の形態においては、 共有係数部 1 5 0 において、 スケーリングファクタ M Fと量子化行列 Q Matrixの逆数を別々に記 憶するようにした場合について述べた。 本発明はこれに限らず、 スケーリングフ ァクタ M Fと量子化行列 Q ' Matrixの逆数を乗算した値を乗算係数として記憶し ても良い。 この場合、 DCT ア ドレスに応じて取り得る乗算係数の全てを出力し、 量子化パラメータ QP及び量子化行列に応じ、 選択部によって乗算係数を選択す る。
さらに、 上述した第 1 及び第 2の実施の形態においては、 除算器の代りに 1 0段構成の減算器 1 0 8〜1 1 7を設けるようにした場合について述べた。 本発 明はこれに限らず、. 減算器の数に特に制限はなく、 また除算器を用いても良い。 さらに、 上述した第 1及び第 2の実施の形態においては、 DCT係数の低周波 側の半分の値のみをリスケーリングファクタ RFによって除算するようにした場 合について述べた。 本発明はこれに限らず、 例えば DCT係数の低周波側 （スキ ヤン前半部分） の 1 / 3や 2 3を前半部分として使用してもよい。
さらに、 上述した第 2の実施の形態においては、 4 X 4ブロックを量子化単位 とするようにした場合について述べた。 本発明はこれに限らず、 例えば 8 X 8や 1 6 X 1 6など、 種々のプロックサイズを量子化単位とすることができる。
さらに、 上述した第 1及び第 2の実施の形態においては、 AVC に本発明を適 用するようにした場合について述べた。 本発明はこれに限らず、 適応的に VLC テーブルを選択する種々の符号化方式に本発明を適用することが可能である。 例 えば MPEG-2 に本発明を適用する場合、 量子化因子として量子化スケールが用 いられる。
さらに上述した第 1及び第 2の実施の形態においては、 ビグチヤごとの発生符 号量を目標符号量内に抑えるようにした場合について述べた。 本発明はこれに限 らず、 例えばスライスごとの ¾生符号量を目標符号量内に抑えるようにしても良 い。
さらに、 上述した第 1 及ぴ第 2の実施の形態においては、 可変長テーブル選 択部及び可変長符号化部としての Total Coef Length ビット長 ROM 2 0 7によ つて画像処理装置としての画像符号化装置 1 0 0を構成するようにした場合につ いて述べた。 本発明はこれに限らず、 その他種々の構成による可変長テーブル選 択部及び可変長符号化部によつて本発明の画像処理装置を構成するようにしても 良い。 '
さらに、 上述した第 2の実施の形態においては、 第 2のプレエンコード部 2に よって予測量子化パラメータ QP の近傍として、 当該予測量子化パラメータ QP の前後の量子化パラメータ QPに基づく発生符号量を算出するようにした場合に ついて述べた。 本発明はこれに限らず、 例えば 2つ前や 2つ後の量子化パラメ一 タ QPに基づく発生符号量を算出しても良い。
さらに、 上述した第 2の実施の形態においては、 予測量子化パラメータ及び予 測量子化パラメータ QPの前後の量子化パラメータ QPに基づく発生符号量の変 動率から、 発生符号量を算出していない量子化パラメータ QPの高精度発生符号 量を算出するようにした場合について述べた。 本発明はこれに限らず、 例えば量 子化部 2 8—：！〜 2 8 _ n及び CAVLC計算部 2 9—：！〜 2 δ— nを 4段以上の 構成とし、 簡易符号化による発生符号量及び符号量比 R一 reduction.に基づいて 予測量子化パラメータ QPd近傍の高精度発生符号量を算出するようにしても良 い。
さらに、 上述した第 2の実施の形靠においては、 第 2プレエンコード部 2が簡 易処理を実行する簡易量子化部 2 8及び簡易符号長計算部 2 9を有するようにし た場合について述べた。 本発明はこれに限らず、 少なくとも一方を有レていれば 良い。 また、 本発明は、 CAVLCについての簡易処理及び CABACについての簡 易処理 いずれかを実行すればよい。
さらに上述した第 1及び第 2の実施の形態においては、 目標発生符号量に最も 近い高精度発生符号量に対応する量子化パラメータ QPを基本量子化パラメータ QPMBとして決定するようにした場合について述べた。 本発明はこれに限らず、， 例えば目標発生符号量よりも小さい高精度発生符号量のうち、 目標発生符号量に 最も近い高精度発生符号量に対応する量子化パラメータ QPを基本量子化パラメ ータ QPMBとして決定するようにレても良い。
さらに、 上述した第 2の実施の形態においては、 予測量子化因子決定部として の第 1のプレエンコード部 1及び符号量制御部 4と、 簡易符号化部としての簡易 量子化部 2 8及ぴ CAVLC計算部 2 9と、 符号化部としての量子化部 4 1及びェ. ントロピー符号長計算部 4 2と、 符号量比算出部及び補正部としての符号量制御 部 4とによって画像処理装置としての画像符号化装置 2 0 0を構成するようにし た場合について述べた。 未発明はこれに限らず、 その他種々の構成による予測量 子化因子決定部と、 簡易符号化部と、 符号化部と、 符号量算出部及び補正部によ つて本発明 画像処理装置を構成するようにしても良い。

Claims

請 求 の 範 囲
1 . 入力画像を符号化したときの発生符号量が目標符号量に最も近くなると予測 される基本量子化因子の近傍であると予測される予測量子化因子を決定する予測 量子化因子決定部と、
上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて、 上記入力画像を上記符号化と比較して簡易的に符号化することにより、 簡易的な 符号化による発生符号量を算出する簡易符号化部と、
上記予測量子化因子に基づいて上記入力画像を符号化することにより、 符号化 による発生符号量を算出する符号化部と、
上記簡易符号化部によって算出された上記予測量子化因子に基づく発生符号量 に対する上記符号化部によって算出された上記予測量子化因子に づく発生符号 量の符号量比を算出する符号量比算出部と、
上記簡易符号化部によって算出された予測量子化因子の近傍の量子化因子に基 づく発生符号量に対し、 上記符号量比を乗算することにより、 当該予測量子化因 子の近傍の量子化因子に基づく発生符号量を補正する補正部と
を有する画像処理装置。
2 . 上記簡易符号化部は、
可変長符号化することにより上記入力画像を上記符号化と比較して簡易的に符 号化し、 - 上記符号化部は、
算術符号化により ±記入力画像,を符号化する
請求項 1に記載の画像処理装置。
3 . 上記簡易符号化部は、
簡易的な可変長符号化により上記入力画像を上記符号化と比較して簡易的に符 号化する
請求項 1に記載の画像処理装置。
4 . 上記簡易符号化部は、
簡易的な量子化により上記入力画像を上記符号化と比較して簡易的に符号化す る '
請求項 1に記載の画像処理装置。
5 . 上記簡易符号化部は、
複数の画素でなる符号化プロックごとに走査されながら、 複数の上記符号化ブ 口ックによって構成ざれる走査プロックごとにライ'ン走查された入力画像に基づ く符号化対象データにおいて、 符号化対象となる符号化プロックの上隣及び左隣 の符号化プロックにおいて可変長符号化される符号化値の平均艟に対応する可変 長テーブルを選択する際、 上記符号化対象となる符号化プロックが上記走査プロ ックの上端であった場合、 上記上隣の符号化プロックの符号化値を左隣の符号化 ブロックの符号化値と擬制することにより、 上記入力画像を上記符号化と比較し て簡易的に符号化し、
上記符号化部は、
上記符号化プロックの上記走查ブロックの位置に拘らず、 符号化対象となる符 号化プロックの上隣及ぴ左隣の符号化プロックにおいて可変長符号化される符号 化値の平均値に対応する可変長テーブルを選択する
請求項 3に記載の画像処理装置。
6 . 上記簡易符号化部は、 、
上記符号化プロックにおける位置及び上記量子化因子の組み合わせに応じた乗 算係数を記憶し、 上記符号化ブロックの位置から、 全ての上記量子化因子に応じ て取り得る乗算係数を特定し、 当該特定した乗算係数を出力する乗算係数供給部 と、
上記複数の符号化対象データと同一数だけ並列に設けられ、 上記乗算係数供給 部によって出力された乗算係数のうち、 使用する量子化因チに応じた乗算係数を 選択する複数の乗算係数選択部と、
上記複数の符号化対象データと同一数だけ並列に設けられ、 上記乗算係数選択 部によって選択された乗算係数及び上記符号化プロックの値を乗算する複数の乗 算部と、
上記複数の符号化対象データと同一数だけ並列に設けられ、 上記乗算部によつ て乗算された上記符号化プロックの値を上記量子化因子に応じた桁数だけ右シフ トさせる複数のシフ ト部とを有し、 · 上記乗算係数供給部は、' '
上記量子化因子及び上記符号化プロックの位置の組み合わせに応じた第 1の乗 算係数を記憶し、 上記符号化ブロックの位置から、 全ての上記量子化パラメータ に応じて取り得る第 1の乗算係数を特定し、 当該特定した第 1の乗算係数を出力 する第 1の乗算係数供給部と、
量子化行列及び上記符号化プロックの位置の組み合わせに応じた第 2の乗算係 数を記憶し、 上記符号化ブロックの位置から、 全て 上記量子化行列に応じて取 り得る第 2の乗算係数を特定し、 当該特定した第 2の乗算係数を出力する第 2の 乗算係数供給部とを有し、
上記乗算係数選択部は、
上記第 1の乗算係数供給部によって出力された第 1の乗算係数のうち、 使用す る量子化パラメータに応じた乗算係数を選択する第 1の乗算係数選択部と、 上記第 2の乗算係数供給部によって出力された第 2の乗算係数のうち、 使甩す る量子化行列に応じた乗算係数を選択する第 2の乗算係数選択部と
を有する請求項 4に記載の画像処理装置。
7 . 上記補正部によって 正された上記予測量子化因子の近傍の量子化因子に基 づく発生符号量と、 上記符号化部によって算出された予測量子化因子に基づく発 生符号量との変動率から、 上記予測量子化因子及び当該予測量子化因子の近傍の 量子化因子以外の量子化因子に基づく発生符号量を算出する算出部と
をさらに有する請求項 1に記載の画像処理装置。
8 . 上記符号化部によって算出された予測量子化因子に基づく発生符号量と、 上 記補正部によつて補正された上記予測量子化因子の近傍の量子化因子に基づく発 生符号量と、 上記算出部によって算出された上記予測量子化因子及び当該予測量 子化因子の近傍の量子化因子以外の量子化因子に基づく発生符号量とのうち、 目 標符号量に最も近い発生符号量に対応する量子化因子を上記基本量子化因子とし て決定する基本量子化因子決定部
をさら ίこ有する請求項 6に記載の画像処理装置。 '
9 . 上記基本量子化因子決定部によって決定された上記基'本量子化因子に基づい て、 上記入力画像を本符号化する本符号化部 、 をさらに有する請求項 7に記載の画像処理装置。
1 0 . 入力画像を符号化したときの発生符号量が目標符号量に最も近くなると予 測される基本量子化因子の近傍であると予測される予測量子化因子を決定する予 測量子化因子決定ステップと、
上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて、 上記入力画像を上記符号化と比較して簡易的に符号化することにより、 簡易的な 符号化による発生符号量を算出する簡易符号化ステップと、
上記予測量子化因子に基づいて上記入力画像を符号化することにより、 符号化 による発生符号量を算出する符号化ステップと、
上記簡易符号化ステップにおいて算出された上記予測量子化因子に基づく発生 符号量に対する上記符号化部によって算出された上記予測量子化因子に基づく発 生符号量の符号量比を算出する符号量比算出ステップと、
上記簡易符号化ステップにおいて算出された予測量子化因子の近傍の量子化因子 に基づく発生符号量に対し、 上記符号量比を乗算することにより、 当該予測量子 化因子の近傍の量子化因子に基づく発生符号量を補正する補正ステップと を有する画像処理方法。
PCT/JP2009/061806 2008-06-27 2009-06-23 画像処理装置及び画像処理方法 WO2009157580A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN200980100146.0A CN101779467B (zh) 2008-06-27 2009-06-23 图像处理装置和图像处理方法
US12/673,237 US8270745B2 (en) 2008-06-27 2009-06-23 Image processing device and image processing method
BRPI0904324-1A BRPI0904324A2 (pt) 2008-06-27 2009-06-23 Dispositivo de processamento de imagem, e, método de processamento de imagem
JP2010518090A JPWO2009157580A1 (ja) 2008-06-27 2009-06-23 画像処理装置及び画像処理方法
RU2010105041/07A RU2479942C2 (ru) 2008-06-27 2009-06-23 Устройство обработки изображения и способ обработки изображения

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-169394 2008-06-27
JP2008169394 2008-06-27

Publications (1)

Publication Number Publication Date
WO2009157580A1 true WO2009157580A1 (ja) 2009-12-30

Family

ID=41444639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/061806 WO2009157580A1 (ja) 2008-06-27 2009-06-23 画像処理装置及び画像処理方法

Country Status (6)

Country Link
US (1) US8270745B2 (ja)
JP (1) JPWO2009157580A1 (ja)
CN (1) CN101779467B (ja)
BR (1) BRPI0904324A2 (ja)
RU (1) RU2479942C2 (ja)
WO (1) WO2009157580A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127034A (ja) * 2017-04-18 2017-07-20 富士通株式会社 動画像処理装置及び動画像処理方法
US11415366B2 (en) * 2019-12-23 2022-08-16 Whirlpool Corporation Side wall attachment system for extractable wine shelves

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
WO2009157579A1 (ja) * 2008-06-27 2009-12-30 ソニー株式会社 画像処理装置及び画像処理方法
RU2479942C2 (ru) 2008-06-27 2013-04-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
WO2009157581A1 (ja) * 2008-06-27 2009-12-30 ソニー株式会社 画像処理装置及び画像処理方法
EP2192785B1 (en) * 2008-06-27 2014-12-31 Sony Corporation Image processing device and method for computing a quantization factor
JP5257215B2 (ja) * 2009-04-16 2013-08-07 ソニー株式会社 画像符号化装置と画像符号化方法
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
CN102186083A (zh) * 2011-05-12 2011-09-14 北京数码视讯科技股份有限公司 量化处理方法及装置
CN103548350B (zh) * 2011-06-28 2017-03-01 日本电气株式会社 图像编码设备和图像解码设备
TWI653880B (zh) * 2011-10-31 2019-03-11 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置及動態影像編碼方法
US9143802B2 (en) 2011-10-31 2015-09-22 Qualcomm Incorporated Fragmented parameter set for video coding
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
EP4221209A1 (en) * 2011-12-13 2023-08-02 JVCKENWOOD Corporation Video coding device, video coding method, video coding program, video decoding device, video decoding method, and video decoding program
TWI638564B (zh) * 2011-12-21 2018-10-11 Ｊｖｃ建伍股份有限公司 Dynamic image decoding device, dynamic image decoding method, and recording medium recorded with dynamic image decoding program
US9756327B2 (en) * 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
TWI643490B (zh) * 2012-04-06 2018-12-01 日商Ｊｖｃ建伍股份有限公司 Video decoding device, image decoding method, and recording medium storing image decoding program
ES2967625T3 (es) 2012-04-15 2024-05-03 Samsung Electronics Co Ltd Aparato de decodificación de video que utiliza la actualización de parámetros para la desbinarización del coeficiente de transformación codificado por entropía, y el método de codificación que utiliza el mismo para la binarización
TWI597976B (zh) * 2012-04-16 2017-09-01 Jvc Kenwood Corp Motion picture encoding apparatus, motion picture encoding method, and recording medium for moving picture encoding program
WO2016194380A1 (ja) * 2015-06-03 2016-12-08 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
CN109660825B (zh) * 2017-10-10 2021-02-09 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备及存储介质
US10778938B2 (en) * 2018-12-20 2020-09-15 Hulu, LLC Video chunk combination optimization
CA3128973A1 (en) 2019-03-04 2020-09-10 Bhaskar Bhattacharyya Data compression and communication using machine learning
IL313252A (en) * 2019-07-10 2024-08-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Image component prediction method, encoder, decoder and storage medium
CN117131104B (zh) * 2023-08-28 2024-02-27 河北望岳信息科技有限公司 智能抽题组卷方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023413A (ja) * 1996-07-03 1998-01-23 Fuji Xerox Co Ltd 符号化装置
JPH10341435A (ja) * 1997-04-07 1998-12-22 Mitsubishi Electric Corp 画像符号化装置、画像符号化方法および画像蓄積／伝送装置
JP2004056680A (ja) * 2002-07-23 2004-02-19 Ricoh Co Ltd 画像処理装置および画像処理方法

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085465B2 (ja) * 1989-10-31 2000-09-11 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
JPH04114585A (ja) 1990-09-04 1992-04-15 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JP2908550B2 (ja) 1990-09-28 1999-06-21 株式会社東芝 養液栽培装置
EP0493130B1 (en) * 1990-12-28 1997-06-11 Canon Kabushiki Kaisha Image encoding apparatus optimizing the amount of generated code
DE69222332T2 (de) * 1991-02-21 1998-01-29 Nippon Electric Co Kodierungsgerät zur Kompression von bewegten Bilddaten
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
DE69434989T2 (de) * 1993-03-29 2008-02-14 Canon K.K. Verfahren zur Kontrolle der Datenmenge und Kodierer zur Durchführung derselben
JP3358620B2 (ja) 1993-04-09 2002-12-24 ソニー株式会社 画像符号化方法及び画像符号化装置
US5703646A (en) * 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
AU676581B2 (en) 1993-04-09 1997-03-13 Sony Corporation Method and apparatus for coding image, and image recording medium
JP3264043B2 (ja) 1993-04-30 2002-03-11 ソニー株式会社 量子化コントロール装置および方法
JP2968666B2 (ja) 1993-06-10 1999-10-25 日本電気株式会社 画像符号化方法および装置
US5604494A (en) * 1993-09-28 1997-02-18 Sony Corporation Efficient encoding/decoding apparatus
JP2720926B2 (ja) 1993-10-26 1998-03-04 富士ゼロックス株式会社 画像符号化装置
JPH07322252A (ja) 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
JP3561962B2 (ja) 1994-07-25 2004-09-08 ソニー株式会社 量子化コントロール装置および方法
JP2882287B2 (ja) * 1994-08-22 1999-04-12 日本電気株式会社 動画像符号化装置
JPH08115205A (ja) 1994-10-14 1996-05-07 Matsushita Electric Ind Co Ltd 高速剰余演算装置
DE69637335T2 (de) * 1995-03-09 2008-10-09 Sony Corp. Bildsignalkodierungsmethode und -vorrichtung
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JPH09247675A (ja) 1996-03-13 1997-09-19 Fuji Film Micro Device Kk 画像圧縮方法および画像圧縮システム
US6100931A (en) * 1996-03-19 2000-08-08 Sony Corporation Method and apparatus for controlling a target amount of code and for compressing video data
US6337879B1 (en) * 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
JP3864461B2 (ja) * 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
KR100599017B1 (ko) * 1996-12-12 2006-12-13 소니 가부시끼 가이샤 영상 데이터 압축 장치 및 그 방법
JP4114210B2 (ja) 1996-12-12 2008-07-09 ソニー株式会社 映像データ圧縮装置およびその方法
JP3189876B2 (ja) * 1997-06-09 2001-07-16 日本電気株式会社 可変長符号復号化回路
CA2264834C (en) * 1997-07-08 2006-11-07 Sony Corporation Video data encoder, video data encoding method, video data transmitter, and video data recording medium
KR100667607B1 (ko) 1997-07-29 2007-01-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더
JPH1198502A (ja) 1997-09-25 1999-04-09 Toshiba Corp 動画像符号化装置
JP2000059234A (ja) * 1998-08-10 2000-02-25 Mitsubishi Electric Corp 可変長符号処理装置
CN1288641A (zh) * 1998-09-22 2001-03-21 松下电器产业株式会社 视频信号编码方法、视频信号编码装置及程序记录媒体
JP2000261805A (ja) 1999-03-10 2000-09-22 Fuji Film Microdevices Co Ltd 画像圧縮システム
JP3324551B2 (ja) 1999-03-18 2002-09-17 日本電気株式会社 画像信号の符号化制御装置
US7082163B2 (en) * 2000-11-20 2006-07-25 Matsushita Electric Industrial Co., Ltd. Picture coding method, picture coding apparatus and image relaying apparatus
JP2002359853A (ja) 2001-03-26 2002-12-13 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2002290243A (ja) * 2001-03-28 2002-10-04 Mitsubishi Electric Corp 符号化方法、符号化装置、復号方法、及び復号装置
US7286715B2 (en) * 2001-03-28 2007-10-23 Sony Corporation Quantization apparatus, quantization method, quantization program, and recording medium
JP2003032677A (ja) * 2001-07-18 2003-01-31 Hitachi Ltd 動画像圧縮符号化装置
JP4135427B2 (ja) 2001-08-01 2008-08-20 ソニー株式会社 画像処理装置および方法、ならびに、画像処理プログラム
US6934330B2 (en) * 2001-08-01 2005-08-23 Sony Corporation Image processing apparatus
JP4510465B2 (ja) * 2002-01-22 2010-07-21 ノキア コーポレイション イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化
JP4042597B2 (ja) 2002-03-28 2008-02-06 ソニー株式会社 画像符号化装置及び方法、プログラム、記録媒体
JP4114585B2 (ja) 2002-09-27 2008-07-09 東洋インキ製造株式会社 ガスバリア性積層体の製造方法
US6646578B1 (en) * 2002-11-22 2003-11-11 Ub Video Inc. Context adaptive variable length decoding system and method
CN1898965B (zh) * 2003-12-25 2012-04-18 日本电气株式会社 运动图象编码方法和装置
JP2005203905A (ja) 2004-01-13 2005-07-28 Sony Corp 画像符号化装置、画像符号化方法並びに画像符号化プログラム
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
JP2006067302A (ja) 2004-08-27 2006-03-09 Toshiba Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
US20060062481A1 (en) * 2004-09-21 2006-03-23 Markus Suvanto Apparatuses, computer program product and method for bit rate control of digital image encoder
JP2006191253A (ja) * 2005-01-05 2006-07-20 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
JP2006222555A (ja) 2005-02-08 2006-08-24 Matsushita Electric Ind Co Ltd 符号化装置及び符号化方法
JP4828925B2 (ja) 2005-11-30 2011-11-30 パナソニック株式会社 符号化装置
JP4529919B2 (ja) * 2006-02-28 2010-08-25 日本ビクター株式会社 適応量子化装置及び適応量子化プログラム
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
CN101502123B (zh) 2006-11-30 2011-08-17 松下电器产业株式会社 编码装置
WO2008111511A1 (ja) * 2007-03-14 2008-09-18 Nippon Telegraph And Telephone Corporation 符号量推定方法、装置、そのプログラムおよび記録媒体
JP2008283560A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置およびその方法
US8238423B2 (en) * 2007-09-12 2012-08-07 Sony Corporation Image processing apparatus and method
TWI410139B (zh) * 2007-09-12 2013-09-21 Sony Corp Image processing apparatus and image processing method
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
JP5400876B2 (ja) * 2008-06-16 2014-01-29 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
EP2192785B1 (en) * 2008-06-27 2014-12-31 Sony Corporation Image processing device and method for computing a quantization factor
RU2479942C2 (ru) 2008-06-27 2013-04-20 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
JP5257215B2 (ja) * 2009-04-16 2013-08-07 ソニー株式会社 画像符号化装置と画像符号化方法
US8411750B2 (en) * 2009-10-30 2013-04-02 Qualcomm Incorporated Global motion parameter estimation using block-based motion vectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023413A (ja) * 1996-07-03 1998-01-23 Fuji Xerox Co Ltd 符号化装置
JPH10341435A (ja) * 1997-04-07 1998-12-22 Mitsubishi Electric Corp 画像符号化装置、画像符号化方法および画像蓄積／伝送装置
JP2004056680A (ja) * 2002-07-23 2004-02-19 Ricoh Co Ltd 画像処理装置および画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127034A (ja) * 2017-04-18 2017-07-20 富士通株式会社 動画像処理装置及び動画像処理方法
US11415366B2 (en) * 2019-12-23 2022-08-16 Whirlpool Corporation Side wall attachment system for extractable wine shelves
US11774171B2 (en) 2019-12-23 2023-10-03 Whirlpool Corporation Side wall attachment system for extractable wine shelves

Also Published As

Publication number Publication date
US8270745B2 (en) 2012-09-18
BRPI0904324A2 (pt) 2015-06-30
CN101779467A (zh) 2010-07-14
RU2479942C2 (ru) 2013-04-20
JPWO2009157580A1 (ja) 2011-12-15
US20110200266A1 (en) 2011-08-18
RU2010105041A (ru) 2011-08-20
CN101779467B (zh) 2012-06-27

Similar Documents

Publication Publication Date Title
WO2009157580A1 (ja) 画像処理装置及び画像処理方法
RU2471306C2 (ru) Устройство обработки изображений и способ обработки изображений
US8374451B2 (en) Image processing device and image processing method for reducing the circuit scale
EP2192785B1 (en) Image processing device and method for computing a quantization factor
JP4949462B2 (ja) 符号量推定方法、装置、そのプログラムおよび記録媒体
KR100238066B1 (ko) 양자화활동도를 이용한 비트 발생량 제어방법 및 그 영상 부호화장치
JP2797159B2 (ja) 画像データ圧縮装置及び画像データ圧縮方法
US9906792B2 (en) Rate control in video encoding
CN101325714B (zh) 变换数据处理方法和装置以及编码、解码方法和装置
US20060098733A1 (en) Variable-length coding device and method of the same
US20140064368A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
CN103650496A (zh) 用于在hevc中编码的基于像素的帧内预测
JPWO2009035143A1 (ja) 画像処理装置及び方法
EP3292687A1 (en) Intra prediction processor with reduced cost block partitioning and refined intra mode selection
JP2004007555A (ja) エントロピー符号化装置
JPH08181987A (ja) 符号化装置
JP7121584B2 (ja) 画像符号化装置及びその制御方法及びプログラム
JPH05227520A (ja) 画像圧縮符号化装置
KR20100013142A (ko) 프레임 메모리 압축방법
CN116847082A (zh) 视频编码方法和装置
KR100569388B1 (ko) 동영상 양자화 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980100146.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 815/CHENP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2010518090

Country of ref document: JP

Ref document number: 2010105041

Country of ref document: RU

Ref document number: 12673237

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09770290

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09770290

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: PI0904324

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100212