[go: up one dir, main page]

WO2017204427A1 - 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법 - Google Patents

영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법 Download PDF

Info

Publication number
WO2017204427A1
WO2017204427A1 PCT/KR2016/013717 KR2016013717W WO2017204427A1 WO 2017204427 A1 WO2017204427 A1 WO 2017204427A1 KR 2016013717 W KR2016013717 W KR 2016013717W WO 2017204427 A1 WO2017204427 A1 WO 2017204427A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
block
prediction
unit
mpm
Prior art date
Application number
PCT/KR2016/013717
Other languages
English (en)
French (fr)
Inventor
임정윤
Original Assignee
가온미디어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160063020A external-priority patent/KR20170132036A/ko
Priority claimed from KR1020160063022A external-priority patent/KR20170132038A/ko
Priority claimed from KR1020160132038A external-priority patent/KR20180040319A/ko
Application filed by 가온미디어 주식회사 filed Critical 가온미디어 주식회사
Priority to US16/304,619 priority Critical patent/US20190289301A1/en
Priority to CN201680086068.3A priority patent/CN109314790A/zh
Publication of WO2017204427A1 publication Critical patent/WO2017204427A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Definitions

  • the present invention relates to image encoding and decoding, and more particularly, to a method for performing intra prediction and transformation by dividing a moving picture into a plurality of blocks.
  • one picture is divided into a plurality of blocks having a predetermined size and encoding is performed.
  • inter prediction and intra prediction techniques that remove redundancy between pictures are used to increase compression efficiency.
  • a residual signal is generated by using intra prediction and inter prediction, and the reason for obtaining the residual signal is that when coding with the residual signal, the amount of data is small and the data compression ratio is high, and the better the prediction, the residual signal. This is because the value of becomes small.
  • the intra prediction method predicts data of the current block by using pixels around the current block.
  • the difference between the actual value and the predicted value is called the residual signal block.
  • the intra prediction method is increased from nine prediction modes used in H.264 / AVC to 35 prediction modes to further refine the prediction.
  • the most similar block is found by comparing the current block with blocks in neighboring pictures.
  • the position information (Vx, Vy) of the found block is called a motion vector.
  • the difference between pixel values in a block between the current block and the prediction block predicted by the motion vector is called a residual signal block (motion-compensated residual block).
  • the amount of data of the residual signal is reduced, but the amount of computation for processing a video has greatly increased.
  • the present invention has been made to solve the above problems, and an object thereof is to provide an image processing method suitable for encoding and decoding a high resolution image, and an image decoding and encoding method using the same.
  • An image processing method to solve the above problems, a plurality of coding units (Coding) which is a basic unit in which inter prediction or intra prediction is performed on a picture of an image Dividing into units; And selectively constructing a prediction mode list for deriving a prediction direction of the decoding object block from an intra prediction direction of a neighboring block adjacent to a decoding object block, for an intra predicted unit among the split coding units.
  • the coding unit dividing step includes dividing the picture or the divided coding unit into a binary tree structure.
  • An image decoding method includes: receiving an encoded bitstream; Performing inverse quantization and inverse transformation on the input bitstream to obtain a residual block; Performing inter prediction or intra prediction to obtain a prediction block; Reconstructing an image by adding the obtained residual block and a prediction block; And performing adaptive loop filtering on each of the coding units with respect to the reconstructed image, wherein the coding unit, which is a basic unit on which the inter prediction or intra prediction is performed, uses a binary tree structure from a coding tree unit.
  • the obtaining of the prediction block is a divided block, and, for an intra predicted unit among the divided coding units, deriving a prediction direction of the decoding object block from an intra prediction direction of a neighboring block adjacent to a decoding object block. And optionally constructing a prediction mode list for use.
  • the above-described methods may be implemented as a computer-readable recording medium that records a program for execution in a computer.
  • a coding unit which is a basic unit on which inter prediction or intra prediction is performed, into a binary tree structure and configuring a prediction mode list for intra prediction from neighboring blocks for the split coding unit, Coding efficiency for high resolution images can be improved.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • 2 to 5 are diagrams for describing a first exemplary embodiment of a method of dividing and processing an image in block units.
  • FIG. 6 is a block diagram illustrating an embodiment of a method of performing inter prediction in an image encoding apparatus.
  • FIG. 7 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an embodiment of a method of performing inter prediction in an image decoding apparatus.
  • FIG. 9 is a diagram for describing a second exemplary embodiment of a method of dividing and processing an image into blocks.
  • FIG. 10 is a diagram illustrating an embodiment of a syntax structure used to divide and process an image in block units.
  • FIG. 11 is a diagram for describing a third exemplary embodiment of a method of dividing and processing an image into blocks.
  • FIG. 12 is a diagram for describing an embodiment of a method of configuring a transform unit by dividing a coding unit into a binary tree structure.
  • FIG. 13 is a diagram for describing a fourth exemplary embodiment of a method of dividing and processing an image into blocks.
  • 14 to 16 are diagrams for describing still another example of a method of dividing and processing an image into blocks.
  • 17 and 18 are diagrams for describing embodiments of a method of determining a partition structure of a transform unit by performing rate distortion optimization (RDO).
  • RDO rate distortion optimization
  • FIG. 19 is a diagram for explaining a first embodiment of a block-based adaptive loop filtering method according to the present invention.
  • FIG. 20 is a diagram for describing a second embodiment of a block-based adaptive loop filtering method according to the present invention.
  • 21 is a flowchart illustrating an operation of a decoding apparatus for performing intra prediction according to an embodiment of the present invention.
  • 22 to 24 are reference diagrams for describing a method of configuring an MPM mode from neighboring blocks according to an embodiment of the present invention.
  • 25 is a flowchart illustrating a method of constructing an MPM list according to an embodiment of the present invention.
  • 26 and 27 are flowcharts illustrating an intra prediction mode decoding method when the MPM mode is not, according to an embodiment of the present invention.
  • FIG. 28 is a flowchart illustrating an update-based decoding scheme of an MPM mode and a non-MPM mode according to an embodiment of the present invention.
  • 29 to 31 are diagrams for describing a process of a transform unit (TU) according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • the image encoding apparatus 10 may include a picture divider 110, a transform unit 120, a quantization unit 130, and a scanning unit.
  • the picture dividing unit 110 analyzes an input video signal, divides a picture into coding units, determines a prediction mode, and determines a size of a prediction unit for each coding unit.
  • the picture splitter 110 sends the prediction unit to be encoded to the intra predictor 150 or the inter predictor 160 according to a prediction mode (or a prediction method). In addition, the picture dividing unit 110 sends the prediction unit to be encoded to the subtracting unit 190.
  • a picture of an image may be composed of a plurality of slices, and the slice may be divided into a plurality of coding tree units (CTUs) which are basic units for dividing a picture.
  • CTUs coding tree units
  • the coding tree unit may be divided into one or two coding units (CUs), which are basic units on which inter prediction or intra prediction is performed.
  • CUs coding units
  • the coding unit may be divided into one or more prediction units (PUs), which are basic units on which prediction is performed.
  • PUs prediction units
  • the encoding apparatus 10 determines one of inter prediction and intra prediction as a prediction method for each of the divided coding units (CUs), but differently predicts a prediction block for each prediction unit (PU). Can be generated.
  • the coding unit CU may be divided into one or two transform units (TUs), which are basic units for transforming a residual block.
  • TUs transform units
  • the picture dividing unit 110 may transmit the image data to the subtracting unit 190 in a block unit (for example, a prediction unit (PU) or a transformation unit (TU)) divided as described above.
  • a block unit for example, a prediction unit (PU) or a transformation unit (TU) divided as described above.
  • a coding tree unit (CTU) having a maximum size of 256 ⁇ 256 pixels may be divided into a quad tree structure and divided into four coding units (CUs) having a square shape.
  • the four coding units (CUs) having the square shape may be re-divided into quad tree structures, respectively, and the depth of the coding units CU divided into quad tree structures as described above may be any one of 0 to 3. It can have one integer value.
  • the coding unit CU may be divided into one or two or more prediction units (PUs) according to the prediction mode.
  • the prediction unit PU may have a size of 2Nx2N shown in FIG. 3A or NxN shown in FIG. 3B. have.
  • the prediction unit PU when the size of the coding unit CU is 2Nx2N, the prediction unit PU is 2Nx2N shown in FIG. 4A, 2NxN shown in FIG. 4B, and FIG. 4.
  • Nx2N shown in (c) of FIG. 4 NxN shown in (d) of FIG. 4, 2NxnU shown in (e) of FIG. 4, 2NxnD shown in (f) of FIG. 4, shown in (g) of FIG. It may have a size of any one of nLx2N and nRx2N shown in (h) of FIG.
  • the coding unit CU may be divided into a quad tree structure and divided into four transform units TUs having a square shape.
  • the four transform units (TUs) having a square shape may be re-divided into quad tree structures, and the depth of the transform units (TUs) divided into quad tree structures as described above may be any one of 0 to 3. It can have one integer value.
  • the prediction unit PU and the transform unit TU split from the coding unit CU may have a partition structure that is independent of each other.
  • the transform unit TU split from the coding unit CU cannot be larger than the size of the prediction unit PU.
  • the transform unit TU divided as described above may have a maximum size of 64x64 pixels.
  • the transform unit 120 converts a residual block that is a residual signal between the original block of the input prediction unit PU and the prediction block generated by the intra predictor 150 or the inter predictor 160, and the transform is performed. It may be performed using the unit (TU) as a basic unit.
  • different transform matrices may be determined according to a prediction mode (intra or inter), and since the residual signal of intra prediction has a direction according to the intra prediction mode, the transform matrix may be adaptively determined according to the intra prediction mode. have.
  • the transform unit may be transformed by two (horizontal and vertical) one-dimensional transform matrices. For example, in the case of inter prediction, one predetermined transform matrix may be determined.
  • intra prediction when the intra prediction mode is horizontal, the probability of the residual block having the directionality in the vertical direction increases, so a DCT-based integer matrix is applied in the vertical direction, and DST-based or in the horizontal direction. Apply KLT-based integer matrix.
  • an integer matrix based on DST or KLT may be applied in the vertical direction and a DCT based integer matrix in the horizontal direction.
  • a DCT based integer matrix may be applied in both directions.
  • a transform matrix may be adaptively determined based on the size of a transform unit (TU).
  • the quantization unit 130 determines a quantization step size for quantizing the coefficients of the residual block transformed by the transform matrix, and the quantization step size may be determined for each quantization unit having a predetermined size or more.
  • the size of the quantization unit may be 8x8 or 16x16, and the quantization unit 130 quantizes coefficients of the transform block using a quantization matrix determined according to the quantization step size and the prediction mode.
  • the quantization unit 130 may use the quantization step size of the quantization unit adjacent to the current quantization unit as the quantization step size predictor of the current quantization unit.
  • the quantization unit 130 may search for the left quantization unit, the upper quantization unit, and the upper left quantization unit of the current quantization unit and generate a quantization step size predictor of the current quantization unit using one or two valid quantization step sizes. have.
  • the quantization unit 130 may determine a valid first quantization step size found in the order as a quantization step size predictor, or determine an average value of two valid quantization step sizes found in the order as a quantization step size predictor, or If only one quantization step size is valid, this may be determined as a quantization step size predictor.
  • the quantization unit 130 transmits a difference value between the quantization step size and the quantization step size predictor of the current quantization unit to the entropy encoder 140.
  • the left coding unit, the upper coding unit, the upper left coding unit of the current coding unit does not all exist. Or there may be a coding unit previously present in the coding order within the largest coding unit.
  • candidates may be quantization step sizes of the quantization units adjacent to the current coding unit and the quantization unit immediately before the coding order within the maximum coding unit.
  • priority is set in the order of 1) the left quantization unit of the current coding unit, 2) the upper quantization unit of the current coding unit, 3) the upper left quantization unit of the current coding unit, and 4) the quantization unit immediately preceding the coding order.
  • the order may be reversed and the upper left quantization unit may be omitted.
  • the transform block quantized as described above is transferred to the inverse quantization unit 135 and the scanning unit 131.
  • the scanning unit 131 scans the coefficients of the quantized transform block and converts them into one-dimensional quantization coefficients. In this case, since the distribution of coefficients of the transform block after quantization may depend on the intra prediction mode, the scanning method is applied to the intra prediction mode. Can be determined accordingly.
  • the coefficient scanning scheme may be determined differently according to the size of the transform unit, and the scan pattern may vary according to the directional intra prediction mode, in which case the scanning order of the quantization coefficients may be scanned in the reverse direction.
  • the same scan pattern may be applied to the quantization coefficients in each subset, and a zigzag scan or a diagonal scan may be applied to the scan patterns between the subsets.
  • the scan pattern is preferably scanned in the forward direction from the main subset including DC to the remaining subsets, but the reverse direction is also possible.
  • a scan pattern between subsets may be set to be identical to a scan pattern of quantized coefficients in a subset, and the scan pattern between subsets may be determined according to an intra prediction mode.
  • the encoding apparatus 10 may include information indicative of the position of the last non-zero quantization coefficient and the position of the last non-zero quantization coefficient in each subset in the transform unit PU to include the decoding apparatus ( 20).
  • the inverse quantization unit 135 inverse quantizes the quantized coefficients as described above, and the inverse transform unit 125 performs inverse transformation in units of transform units (TUs) to restore the inverse quantized transform coefficients into a residual block of a spatial domain. can do.
  • TUs transform units
  • the adder 195 may generate a reconstructed block by adding the residual block reconstructed by the inverse transform unit 125 and the received prediction block from the intra predictor 150 or the inter predictor 160.
  • the post-processing unit 170 may perform a deblocking filtering process to remove the blocking effect occurring in the reconstructed picture, and a sample adaptive offset to compensate for the difference value from the original image in pixel units.
  • a SAO application process and a coding unit can perform an adaptive loop filtering (ALF) process to compensate for a difference value from an original image.
  • ALF adaptive loop filtering
  • the deblocking filtering process may be applied to the boundary of the prediction unit (PU) or transform unit (TU) having a size of a predetermined size or more.
  • the deblocking filtering process may include determining a boundary to filter, determining a boundary filtering strength to be applied to the boundary, determining whether to apply a deblocking filter, If it is determined to apply the deblocking filter, the method may include selecting a filter to be applied to the boundary.
  • whether the deblocking filter is applied depends on whether i) the boundary filtering intensity is greater than 0 and ii) the degree of change of pixel values at the boundary portions of two blocks (P block, Q block) adjacent to the boundary to be filtered.
  • the value represented may be determined by whether the value is smaller than the first reference value determined by the quantization parameter.
  • the said filter is at least 2 or more.
  • a filter that performs relatively weak filtering is selected.
  • the second reference value is determined by the quantization parameter and the boundary filtering intensity.
  • sample adaptive offset (SAO) application process is to reduce the distortion (distortion) between the pixel and the original pixel in the image to which the deblocking filter is applied, the sample adaptive offset (SAO) application process in the unit of picture or slice. Whether to perform may be determined.
  • the picture or slice may be divided into a plurality of offset regions, and an offset type may be determined for each offset region, and the offset type may be a predetermined number of edge offset types (eg, four) and two band offsets. It can include a type.
  • the offset type is an edge offset type
  • an edge type to which each pixel belongs is determined and an offset corresponding thereto is applied
  • the edge type may be determined based on a distribution of two pixel values adjacent to the current pixel. have.
  • the adaptive loop filtering (ALF) process may perform filtering based on a value obtained by comparing a reconstructed image and an original image that have undergone a deblocking filtering process or an adaptive offset application process.
  • the picture storage unit 180 receives the post-processed image data from the post-processing unit 170 and restores the image in a picture unit, and the picture may be an image in a frame unit or an image in a field unit.
  • the inter prediction unit 160 may perform motion estimation using at least one or more reference pictures stored in the picture storage unit 180, and may determine a reference picture index and a motion vector indicating the reference picture.
  • a prediction block corresponding to a prediction unit to be encoded may be extracted from a reference picture used for motion estimation among a plurality of reference pictures stored in the picture storage unit 180 according to the determined reference picture index and the motion vector. have.
  • the intra predictor 150 may perform intra prediction encoding by using the reconstructed pixel value inside the picture in which the current prediction unit is included.
  • the intra prediction unit 150 may receive the current prediction unit to be predictively encoded, and perform intra prediction by selecting one of a preset number of intra prediction modes according to the size of the current block.
  • the intra predictor 150 adaptively filters the reference pixel to generate the intra prediction block, and generates reference pixels using the available reference pixels when the reference pixel is not available.
  • the entropy encoder 140 may entropy encode quantization coefficients quantized by the quantizer 130, intra prediction information received from the intra predictor 150, motion information received from the inter predictor 160, and the like. .
  • FIG. 6 is a block diagram illustrating an example of a configuration for performing inter prediction in the encoding apparatus 10.
  • the inter prediction encoder illustrated in FIG. 6 includes a motion information determiner 161 and a motion information encoding mode determiner 162.
  • FIG. 6 Motion information encoder 163, prediction block generator 164, residual block generator 165, residual block encoder 166, and multiplexer 167.
  • the motion information determiner 161 determines motion information of the current block, the motion information includes a reference picture index and a motion vector, and the reference picture index is any one of a previously coded and reconstructed picture. Can be represented.
  • the current block When the current block is unidirectional inter prediction coded, it represents one of the reference pictures belonging to list 0 (L0), and when the current block is bidirectional predictively coded, it is a reference picture indicating one of the reference pictures of list 0 (L0). It may include an index and a reference picture index indicating one of the reference pictures of the list 1 (L1).
  • the current block when the current block is bidirectional predictively coded, the current block may include an index indicating one or two pictures of reference pictures of the composite list LC generated by combining the list 0 and the list 1.
  • the motion vector indicates a position of a prediction block in a picture indicated by each reference picture index, and the motion vector may be in pixel units (integer units) or sub pixel units.
  • the motion vector may have a resolution of 1/2, 1/4, 1/8 or 1/16 pixels, and if the motion vector is not an integer unit, the prediction block may be generated from pixels of an integer unit. Can be.
  • the motion information encoding mode determiner 162 may determine an encoding mode for the motion information of the current block as one of a skip mode, a merge mode, and an AMVP mode.
  • the skip mode is applied when there are skip candidates having the same motion information as the motion information of the current block and the residual signal is 0.
  • the skip mode is that the current block, which is the prediction unit PU, has a size equal to that of the coding unit CU. Can be applied when
  • the merge mode is applied when there is a merge candidate having the same motion information as the motion information of the current block, and the merge mode includes a residual signal when the current block has a different size or the same size as the coding unit CU. Applies in the case. Meanwhile, the merge candidate and the skip candidate may be the same.
  • the AMVP mode is applied when the skip mode and the merge mode are not applied, and an AMVP candidate having a motion vector most similar to the motion vector of the current block may be selected as an AMVP predictor.
  • the motion information encoder 163 may encode motion information according to a method determined by the motion information encoding mode determiner 162.
  • the motion information encoder 163 may perform a merge motion vector encoding process when the motion information encoding mode is a skip mode or a merge mode, and may perform an AMVP encoding process when the motion information encoding mode is an AMVP mode.
  • the prediction block generator 164 generates a prediction block by using the motion information of the current block.
  • the prediction block generator 164 copies the block corresponding to the position indicated by the motion vector in the picture indicated by the reference picture index, and then copies the current block. Generate a predictive block of.
  • the prediction block generator 164 may generate pixels of the prediction block from integer unit pixels in a picture indicated by the reference picture index.
  • the prediction pixel may be generated using an 8-tap interpolation filter for the luminance pixel, and the prediction pixel may be generated using a 4-tap interpolation filter for the chrominance pixel.
  • the residual block generator 165 generates a residual block using the current block and the prediction block of the current block.
  • the residual block generator 165 uses the prediction block having a size of 2Nx2N corresponding to the current block and the current block. You can create a block.
  • the size of the current block used for prediction is 2NxN or Nx2N
  • the last prediction block of 2Nx2N size using the two 2NxN prediction blocks Can be generated.
  • a 2Nx2N sized residual block may be generated using the 2Nx2N sized prediction block, and overlap smoothing is applied to the pixels of the boundary part to eliminate discontinuity of the boundary parts of two prediction blocks having 2NxN size. Can be.
  • the residual block encoder 166 may divide the residual block into one or more transform units (TUs) so that each transform unit TU may be transform encoded, quantized, and entropy encoded.
  • TUs transform units
  • the residual block encoder 166 may transform the residual block generated by the inter prediction method using an integer-based transform matrix, and the transform matrix may be an integer-based DCT matrix.
  • the residual block encoder 166 uses a quantization matrix to quantize coefficients of the residual block transformed by the transform matrix, and the quantization matrix may be determined by a quantization parameter.
  • the quantization parameter is determined for each coding unit CU having a predetermined size or more, and when the current coding unit CU is smaller than the predetermined size, the first coding unit in the coding order among the coding units CU within the predetermined size ( Since only the quantization parameter of the CU) is encoded and the quantization parameter of the remaining coding unit CU is the same as the above parameter, it may not be encoded.
  • coefficients of the transform block may be quantized using a quantization matrix determined according to the quantization parameter and the prediction mode.
  • the quantization parameter determined for each coding unit CU having a predetermined size or more may be predictively encoded using the quantization parameter of the coding unit CU adjacent to the current coding unit CU.
  • a quantization parameter predictor of the current coding unit CU may be generated by searching in the order of the left coding unit CU and the upper coding unit CU of the current coding unit CU using one or two valid quantization parameters. have.
  • the first valid quantization parameter found in the above order may be determined as a quantization parameter predictor, and the left first coding unit (CU) is searched in order of the coding unit immediately before the coding order to quantize the first valid quantization parameter. Can be determined by the parameter predictor.
  • the coefficients of the quantized transform block are scanned and converted into one-dimensional quantization coefficients, and the scanning scheme may be set differently according to the entropy encoding mode.
  • inter prediction coded quantization coefficients may be scanned in a predetermined manner (zigzag or diagonal raster scan) when coded with CABAC, and different from the above method when coded with CAVLC. Can be.
  • the scanning method may be determined according to zigzag in case of inter, the intra prediction mode in case of intra, and the coefficient scanning method may be determined differently according to the size of a transform unit.
  • the scan pattern may vary according to the directional intra prediction mode, and the scanning order of the quantization coefficients may be scanned in the reverse direction.
  • the multiplexer 167 multiplexes the motion information encoded by the motion information encoder 163 and the residual signals encoded by the residual block encoder 166.
  • the motion information may vary according to an encoding mode.
  • the motion information may include only an index indicating a predictor, and in the case of AMVP, the motion information may include a reference picture index, a differential motion vector, and an AMVP index of the current block. .
  • the intra prediction unit 150 receives the prediction mode information and the size of the prediction unit PU from the picture division unit 110, and stores the reference pixel in the picture storage unit to determine the intra prediction mode of the prediction unit PU. Read from 180.
  • the intra predictor 150 determines whether a reference pixel is generated by examining whether there is a reference pixel that is not available, and the reference pixels may be used to determine an intra prediction mode of the current block.
  • pixels adjacent to the upper side of the current block are not defined. If the current block is located at the left boundary of the current picture, pixels adjacent to the left of the current block are not defined. It may be determined that the pixels are not available pixels.
  • the current block is located at the slice boundary and pixels adjacent to the upper or left side of the slice are not pixels that are first encoded and reconstructed, it may be determined that the pixels are not available pixels.
  • the intra prediction mode of the current block may be determined using only the available pixels.
  • reference pixels at positions that are not available may be generated using the available reference pixels of the current block.
  • the upper pixels may be used using some or all of the left pixels. Can be generated and vice versa.
  • the reference pixel is generated by copying the available reference pixel at the position closest to the predetermined direction from the reference pixel at the position not available, or when the reference pixel is not available in the predetermined direction, the closest in the opposite direction.
  • the reference pixel can be generated by copying the available reference pixel at the location.
  • the upper or left pixels of the current block it may be determined as a reference pixel that is not available according to the encoding mode of the block to which the pixels belong.
  • the pixels may be determined as not available pixels.
  • reference pixels usable may be generated using pixels belonging to a block in which a block adjacent to the current block is intra-encoded, and the encoding apparatus 10 may determine that the reference pixels are available according to an encoding mode. It transmits to the decoding apparatus 20.
  • the intra predictor 150 determines the intra prediction mode of the current block by using the reference pixels, and the number of intra prediction modes allowable in the current block may vary depending on the size of the block.
  • the size of the current block is 8x8, 16x16, 32x32, there may be 34 intra prediction modes. If the size of the current block is 4x4, there may be 17 intra prediction modes.
  • the 34 or 17 intra prediction modes may be configured of at least one non-directional mode (non-directional mode) and a plurality of directional modes.
  • One or more non-directional modes may be DC mode and / or planar mode.
  • DC mode and the planner mode are included in the non-directional mode, there may be 35 intra prediction modes regardless of the size of the current block.
  • DC mode and planner mode two non-directional modes (DC mode and planner mode) and 33 directional modes may be included.
  • the prediction block of the current block is formed by using at least one pixel value (or a prediction value of the pixel value, hereinafter referred to as a first reference value) and reference pixels positioned at the bottom-right side of the current block. Is generated.
  • the configuration of an image decoding apparatus may be derived from the configuration of the image encoding apparatus 10 described with reference to FIGS. 1 to 6. For example, as described with reference to FIGS. 1 to 6. By performing the same processes of the same image encoding method in reverse, the image can be decoded.
  • the decoding apparatus 20 includes an entropy decoding unit 210, an inverse quantization / inverse transform unit 220, an adder 270, The deblocking filter 250, the picture storage unit 260, the intra predictor 230, the motion compensation predictor 240, and the intra / inter switch 280 are provided.
  • the entropy decoder 210 receives and decodes a bit stream encoded by the image encoding apparatus 10, divides the bit stream into intra prediction mode indexes, motion information, quantization coefficient sequences, and the like, and decodes the decoded motion information into a motion compensation predictor ( 240).
  • the entropy decoder 210 transmits the intra prediction mode index to the intra predictor 230 and the inverse quantization / inverse transform unit 220, and transmits the inverse quantization coefficient sequence to the inverse quantization / inverse transform unit 220.
  • the inverse quantization / inverse transform unit 220 converts the quantization coefficient sequence into inverse quantization coefficients of a two-dimensional array, and selects one of a plurality of scanning patterns for the transformation, for example, the prediction mode of the current block (ie, , Intra prediction or inter prediction), and a scanning pattern may be selected based on the intra prediction mode.
  • the prediction mode of the current block ie, Intra prediction or inter prediction
  • the inverse quantization / inverse transform unit 220 restores the quantization coefficients by applying a quantization matrix selected from a plurality of quantization matrices to the inverse quantization coefficients of the two-dimensional array.
  • a quantization matrix may be selected based on at least one of the prediction mode and the intra prediction mode of the current block for the same size block.
  • the inverse quantization / inverse transform unit 220 inversely transforms the reconstructed quantization coefficients to reconstruct the residual block, and the inverse transform process may be performed using a transform unit (TU) as a basic unit.
  • TU transform unit
  • the adder 270 reconstructs the image block by adding the residual block reconstructed by the inverse quantization / inverse transform unit 220 and the prediction block generated by the intra predictor 230 or the motion compensation predictor 240.
  • the deblocking filter 250 may perform deblocking filter processing on the reconstructed image generated by the adder 270 to reduce deblocking artifacts due to image loss due to the quantization process.
  • the picture storage unit 260 is a frame memory for storing a local decoded image on which the deblocking filter process is performed by the deblocking filter 250.
  • the intra predictor 230 restores the intra prediction mode of the current block based on the intra prediction mode index received from the entropy decoder 210, and generates a prediction block according to the restored intra prediction mode.
  • the motion compensation predictor 240 generates a prediction block for the current block from the picture stored in the picture storage unit 260 based on the motion vector information, and applies the selected interpolation filter when a motion compensation with a small precision is applied. Can be generated.
  • the intra / inter switch 280 may provide the adder 270 with the prediction block generated by either the intra predictor 230 or the motion compensation predictor 240 based on the encoding mode.
  • FIG. 8 is a block diagram illustrating an example of a configuration of performing inter prediction in the image decoding apparatus 20.
  • the inter prediction decoder includes a demultiplexer 241, a motion information encoding mode determiner 242, and a merge mode motion.
  • An information decoder 243, an AMVP mode motion information decoder 244, a prediction block generator 245, a residual block decoder 246, and a reconstruction block generator 247 are included.
  • the de-multiplexer 241 demultiplexes the currently encoded motion information and the encoded residual signals from the received bitstream, and transmits the demultiplexed motion information to the motion information encoding mode determiner 242.
  • the demultiplexed residual signal may be transmitted to the residual block decoder 246.
  • the motion information encoding mode determiner 242 determines the motion information encoding mode of the current block. If the skip_flag of the received bitstream has a value of 1, the motion information encoding mode determiner 242 determines that the motion information encoding mode of the current block is encoded as the skip encoding mode. can do.
  • the motion information encoding mode determiner 242 determines the motion information encoding mode of the current block. It may be determined that is encoded in the merge mode.
  • the motion information encoding mode determiner 242 has a skip_flag of the received bitstream having a value of 0, and the motion information received from the demultiplexer 241 has a reference picture index, a differential motion vector, and an AMVP index. In this case, it may be determined that the motion information encoding mode of the current block is encoded in the AMVP mode.
  • the merge mode motion information decoder 243 is activated when the motion information encoding mode determiner 242 determines that the motion information encoding mode of the current block is a skip or merge mode, and the AMVP mode motion information decoder 244 moves.
  • the information encoding mode determiner 242 may be activated when the motion information encoding mode of the current block is determined to be an AMVP mode.
  • the prediction block generator 245 generates the prediction block of the current block by using the motion information reconstructed by the merge mode motion information decoder 243 or the AMVP mode motion information decoder 244.
  • the prediction block of the current block may be generated by copying a block corresponding to the position indicated by the motion vector in the picture indicated by the reference picture index.
  • pixels of the prediction block are generated from integer unit pixels in the picture indicated by the reference picture index.
  • an interpolation filter of 8 taps is used for a luminance pixel and a chrominance pixel is used.
  • Predictive pixels may be generated using a 4-tap interpolation filter.
  • the residual block decoder 246 entropy decodes the residual signal and inversely scans the entropy decoded coefficients to generate a two-dimensional quantized coefficient block, and the inverse scanning scheme may vary according to an entropy decoding scheme.
  • the reverse scanning method may be applied in a diagonal raster inverse scan manner and in the case of the CAVLC-based decoding in a zigzag inverse scanning manner.
  • the inverse scanning scheme may be determined differently according to the size of the prediction block.
  • the residual block decoder 246 dequantizes the coefficient block generated as described above using an inverse quantization matrix, and reconstructs a quantization parameter to derive the quantization matrix.
  • the quantization step size may be reconstructed for each coding unit of a predetermined size or more.
  • the residual block decoder 260 inversely transforms the inverse quantized coefficient block to restore the residual block.
  • the reconstruction block generation unit 270 generates a reconstruction block by adding the prediction block generated by the prediction block generation unit 250 and the residual block generated by the residual block decoding unit 260.
  • the intra prediction mode of the current block is decoded from the received bitstream, and for this purpose, the entropy decoder 210 may reconstruct the first intra prediction mode index of the current block by referring to one of the plurality of intra prediction mode tables. Can be.
  • any one table selected according to the distribution of intra prediction modes for a plurality of blocks adjacent to the current block may be applied.
  • the first intra prediction mode index of the current block is restored by applying the first intra prediction mode table, and not the same. Otherwise, the second intra prediction mode table may be applied to restore the first intra prediction mode index of the current block.
  • the intra prediction modes of the upper block and the left block of the current block are both the directional intra prediction mode
  • the direction of the intra prediction mode of the upper block and the direction of the intra prediction mode of the left block If within this predetermined angle, the first intra prediction mode index is restored by applying the first intra prediction mode table, and if outside the predetermined angle, the first intra prediction mode index is applied by applying the second intra prediction mode table. You can also restore.
  • the entropy decoder 210 transmits the first intra prediction mode index of the reconstructed current block to the intra predictor 230.
  • the intra prediction unit 230 that receives the index of the first intra prediction mode may determine the maximum possible mode of the current block as the intra prediction mode of the current block when the index has the minimum value (ie, 0). .
  • the intra prediction unit 230 compares the index indicated by the maximum possible mode of the current block with the first intra prediction mode index, and as a result of the comparison, the first intra prediction mode. If the index is not smaller than the index indicated by the maximum possible mode of the current block, the intra prediction mode corresponding to the second intra prediction mode index obtained by adding 1 to the first intra prediction mode index is determined as the intra prediction mode of the current block. Otherwise, the intra prediction mode corresponding to the first intra prediction mode index may be determined as the intra prediction mode of the current block.
  • the intra prediction mode allowable for the current block may consist of at least one non-directional mode (non-directional mode) and a plurality of directional modes.
  • One or more non-directional modes may be DC mode and / or planar mode.
  • either DC mode or planner mode may be adaptively included in the allowable intra prediction mode set.
  • information specifying the non-directional mode included in the allowable intra prediction mode set may be included in the picture header or the slice header.
  • the intra predictor 230 reads reference pixels from the picture storage unit 260 to generate an intra prediction block, and determines whether there is a reference pixel that is not available.
  • the determination may be performed according to the presence or absence of reference pixels used to generate the intra prediction block by applying the decoded intra prediction mode of the current block.
  • the intra predictor 230 may generate reference pixels at positions that are not available using the available reference pixels reconstructed in advance.
  • Definition of a reference pixel that is not available and a method of generating the reference pixel may be the same as the operation of the intra prediction unit 150 of FIG. 1, but generate an intra prediction block according to the decoded intra prediction mode of the current block.
  • the reference pixels used to selectively recover may be selectively restored.
  • the intra prediction unit 230 determines whether to apply a filter to the reference pixels to generate the prediction block, that is, whether to apply filtering to the reference pixels to generate the intra prediction block of the current block. It may be determined based on the decoded intra prediction mode and the size of the current prediction block.
  • the problem of blocking artifacts is that the larger the block size is, the larger the block size can increase the number of prediction modes for filtering the reference pixels, but if the block is larger than the predetermined size can be seen as a flat area, the complexity is reduced The reference pixel may not be filtered for.
  • the intra predictor 230 filters the reference pixels by using a filter.
  • At least two or more filters may be adaptively applied according to the degree of difference between the steps between the reference pixels.
  • the filter coefficient of the filter is preferably symmetrical.
  • the above two filters may be adaptively applied according to the size of the current block.
  • a narrow bandwidth filter is used for a small block
  • a wide bandwidth filter is used for a large block. May be applied.
  • the filter does not need to be applied to the reference pixel, and the image is horizontal. It may not be necessary to apply a filter to the reference pixel even in a horizontal mode that is correlated in the direction.
  • the reference pixel may be adaptively filtered based on the intra prediction mode of the current block and the size of the prediction block.
  • the intra prediction unit 230 generates a prediction block using reference pixels or filtered reference pixels according to the reconstructed intra prediction mode, and the generation of the prediction block is the same as the operation of the encoding apparatus 10. As such, detailed description thereof will be omitted.
  • the intra prediction unit 230 determines whether to filter the generated prediction block, and the filtering may be determined by using information included in a slice header or a coding unit header or according to an intra prediction mode of the current block.
  • the intra predictor 230 may generate a new pixel by filtering pixels at a specific position of the generated prediction block by using available reference pixels adjacent to the current block. .
  • a prediction pixel in contact with reference pixels among the prediction pixels may be filtered using a reference pixel in contact with the prediction pixel.
  • the prediction pixels are filtered using one or two reference pixels according to the positions of the prediction pixels, and the filtering of the prediction pixels in the DC mode may be applied to the prediction blocks of all sizes.
  • prediction pixels in contact with the left reference pixel among the prediction pixels of the prediction block may be changed by using reference pixels other than the upper pixel used to generate the prediction block.
  • the prediction pixels in contact with the upper reference pixel among the generated prediction pixels may be changed using reference pixels other than the left pixel used to generate the prediction block.
  • the current block may be reconstructed using the prediction block of the current block reconstructed and the residual block of the decoded current block.
  • FIG. 9 illustrates a second exemplary embodiment of a method of dividing and processing an image into blocks.
  • a coding tree unit (CTU) having a maximum size of 256 ⁇ 256 pixels may be first divided into a quad tree structure and divided into four coding units (CUs) having a square shape.
  • At least one of the coding units divided into the quad tree structure may be divided into a binary tree structure and re-divided into two coding units (CUs) having a rectangular shape.
  • At least one of the coding units divided into the quad tree structure may be divided into a quad tree structure and re-divided into four coding units (CUs) having a square shape.
  • CUs coding units
  • At least one of the coding units re-divided into the binary tree structure may be divided into two binary tree structures and divided into two coding units (CUs) having a square or rectangular shape.
  • At least one of the coding units re-divided into the quad tree structure may be divided into a quad tree structure or a binary tree structure and divided into coding units (CUs) having a square or rectangular shape.
  • coding blocks (CBs) formed by dividing into a binary tree structure are no longer divided and may be used for prediction and transformation. That is, the sizes of the prediction unit PU and the transform unit TU belonging to the coding block CB as shown in FIG. 9 may be equal to the size of the coding block CB.
  • the coding unit split into the quad tree structure as described above may be split into one or two prediction units (PUs) using the method described with reference to FIGS. 3 and 4.
  • the coding unit divided into the quad tree structure as described above may be divided into one or more transform units (TUs) by using the method as described with reference to FIG. 5, and the divided transform units (TU) May have a maximum size of 64x64 pixels.
  • FIG. 10 illustrates an embodiment of a syntax structure used to divide and process an image in block units.
  • split_cu_flag whether to split a coding unit CU as described with reference to FIG. 9 is indicated using split_cu_flag, and the depth of a coding unit CU split using a binary tree is represented using binary_depth. Can be broken.
  • coding unit CU
  • CU coding unit
  • FIGS. 1 through 8 for blocks divided by the method as described with reference to FIGS. 9 and 10 (eg, coding unit (CU), prediction unit (PU), and transform unit (TU)).
  • coding unit CU
  • prediction unit PU
  • transform unit TU
  • the coding unit CU may be divided into a binary tree structure and divided into transform units (TUs) which are basic units for transforming a residual block.
  • TUs transform units
  • At least one of rectangular coding blocks CB0 and CB1 divided into a binary tree structure having a size of Nx2N or 2NxN is further divided into a binary tree structure, and has a square transform unit having a size of NxN. Can be divided into TU0 and TU1.
  • the block-based image encoding method may perform prediction, transform, quantization, and entropy encoding steps.
  • a prediction signal may be generated by referring to a block currently performing encoding and an existing coded image or a neighboring image, and thus a difference signal between the current block and the current block may be calculated.
  • the difference signal is input, and the transform is performed using various transform functions.
  • the transformed signal is classified into DC coefficients and AC coefficients and is energy compacted to improve encoding efficiency. Can be.
  • quantization may be performed by inputting transform coefficients, and then an image may be encoded by performing entropy encoding on the quantized signal.
  • the image decoding method is performed in the reverse order of the above encoding process, the image quality distortion may occur in the quantization step.
  • the size or shape of a transform unit (TU) and the type of transform function to be applied may be varied according to the distribution of the differential signal input to the input and the characteristics of the image in the conversion step. have.
  • a difference is measured using a cost measurement method such as a sum of absolute difference (SAD) or a mean square error (MSE).
  • SAD sum of absolute difference
  • MSE mean square error
  • the signal distribution may occur in various forms according to the characteristics of the image.
  • effective encoding can be performed by selectively determining the size or shape of the transform unit CU based on the distribution of various differential signals to perform the transform.
  • the coding block CBx is divided into a binary tree structure as shown in (b). By dividing into two transform units (TUs), an efficient transform can be performed.
  • TUs transform units
  • the DC value generally represents an average value of the input signal, so that when a differential signal as shown in FIG. 12A is received as an input of the conversion process, two coding blocks CBx are divided.
  • transform units By dividing into transform units (TUs) it is possible to effectively represent a DC value.
  • a square coding unit CU0 having a size of 2N ⁇ 2N may be divided into a binary tree structure and divided into rectangular transform units TU0 and TU1 having a size of N ⁇ 2N or 2N ⁇ N.
  • the step of dividing the coding unit (CU) into a binary tree structure may be repeated two or more times to divide the coding unit (CU) into a plurality of transform units (TUs).
  • a rectangular coding block CB1 having a size of Nx2N is divided into a binary tree structure, and a block having a size of the divided NxN is further divided into a binary tree structure to N / 2xN or NxN / 2.
  • the block having a size of N / 2xN or NxN / 2 is divided again into a binary tree structure of square conversion units having a size of N / 2xN / 2 (TU1, TU2) , TU4, TU5).
  • a square coding block CB0 having a size of 2N ⁇ 2N is divided into a binary tree structure, and a block having the size of the divided Nx2N is divided into a binary tree structure again to have a square having a size of N ⁇ N.
  • the block having the size of NxN may be further divided into a binary tree structure and divided into rectangular transform units TU1 and TU2 having the size of N / 2xN.
  • a rectangular coding block CB0 having a size of 2N ⁇ N is divided into a binary tree structure, and a block having the size of divided NxN is further divided into a quad tree structure to have a size of N / 2 ⁇ N / 2.
  • Square units may be divided into TU1, TU2, TU3, and TU4.
  • FIGS. 1 through 8 See FIGS. 1 through 8 for blocks divided by the method as described with reference to FIGS. 11 through 16 (eg, coding unit (CU), prediction unit (PU), and transform unit (TU)).
  • coding unit CU
  • prediction unit PU
  • transform unit TU
  • the picture division unit 110 included in the image encoding apparatus 10 performs rate distortion optimization (RDO) according to a preset order, and thus is capable of splitting a coding unit (CU), a prediction unit (PU), and a transform as described above.
  • RDO rate distortion optimization
  • the partition structure of the unit TU may be determined.
  • the picture division unit 110 performs a rate distortion optimization-quantization (RDO-Q) while selecting an optimal block division structure in terms of bitrate and distortion. You can decide.
  • RDO-Q rate distortion optimization-quantization
  • RD may be performed in the order of transform unit (PU) partition structure of 2N ⁇ N pixel size shown in (d) to determine an optimal partition structure of the transform unit PU.
  • Nx2N or 2NxN pixel size when the coding unit CU has a form of Nx2N or 2NxN pixel size, the pixel size of Nx2N (or 2NxN) shown in (a), the pixel size of NxN shown in (b), N / 2xN (or NxN / 2) and NxN pixel sizes shown in (c), N / 2xN / 2, N / 2xN and NxN pixel sizes shown in (d), N shown in (e)
  • An RDO may be performed in a transform unit (PU) partition structure order of a pixel size of 2 ⁇ N to determine an optimal partition structure of the transform unit PU.
  • PU transform unit
  • the block division method of the present invention has been described with an example in which a block division structure is determined by performing RDO (Rate distortion Optimization).
  • the picture division unit 110 may have a sum of absolute difference (SAD) or mean square error (MSE). By deciding the block division structure using), it is possible to reduce the complexity and maintain proper efficiency.
  • SAD sum of absolute difference
  • MSE mean square error
  • whether to apply adaptive loop filtering (ALF) in units of a coding unit (CU), a prediction unit (PU), or a transform unit (TU) divided as described above may be determined. Can be.
  • ALF adaptive loop filtering
  • whether the adaptive loop filter (ALF) is applied may be determined in units of a coding unit (CU), and the size or coefficient of the loop filter to be applied may vary according to the coding unit (CU).
  • ALF adaptive loop filter
  • information indicating whether to apply the adaptive loop filter (ALF) for each coding unit (CU) may be included in each slice header.
  • the adaptive loop filter may have a rectangular shape unlike luminance.
  • adaptive loop filtering may determine whether to apply to each slice. Therefore, information indicating whether adaptive loop filtering (ALF) is applied to the current slice may be included in a slice header or a picture header.
  • the slice header or the picture header may additionally include information indicating the filter length in the horizontal and / or vertical direction of the luminance component used in the adaptive loop filtering process.
  • the slice header or the picture header may include information indicating the number of filter sets, and when the number of filter sets is two or more, the filter coefficients may be encoded using a prediction method.
  • the slice header or the picture header may include information indicating whether filter coefficients are encoded by a prediction method, or may include predicted filter coefficients when the prediction method is used.
  • the chrominance components may be adaptively filtered.
  • information indicating whether each of the chrominance components is filtered may be included in the slice header or the picture header. It may be joint coded (ie, multiplexed coding) together with information indicating whether to filter.
  • entropy encoding may be performed by allocating the largest index.
  • coding tree units having a maximum size of 256x256 pixels are divided into quad tree structures, and four coding units (CUs) having a square shape are provided. Can be divided into
  • the four coding units (CUs) having the square shape may be re-divided into quad tree structures, respectively, and the depth of the coding units CU divided into quad tree structures as described above is 0 to 3 It can have an integer value of any one.
  • ALF adaptive loop filtering
  • split_cu_flag indicates whether the corresponding node is split. If split_cu_flag is 0, the coding unit (CU) of the node is not split into smaller blocks. If split_cu_flag is 1, the coding of the node is performed. Unit CU is divided into smaller sized coding units (CUs).
  • ALF_on / off_flag indicates whether the node applies the adaptive loop filter (ALF). When ALF_on / off_flag is 0, the adaptive loop filter (ALF) is not applied to the coding unit (CU) of the node. If ALF_on / off_flag is 1, an adaptive loop filter (ALF) is applied to the coding unit (CU) of the node.
  • a coding tree unit (CTU) having a maximum size of 256x256 pixels is first divided into a quad tree structure, and four coding units (CU) having a square shape. Can be divided into
  • At least one of the coding units divided into the quad tree structure may be divided into a binary tree structure and re-divided into two coding units (CUs) having a rectangular shape.
  • At least one of the coding units divided into the quad tree structure may be divided into a quad tree structure and re-divided into four coding units (CUs) having a square shape.
  • CUs coding units
  • At least one of the coding units re-divided into the binary tree structure may be divided into two binary tree structures and divided into two coding units (CUs) having a square or rectangular shape.
  • At least one of the coding units re-divided into the quad tree structure may be divided into a quad tree structure or a binary tree structure and divided into coding units (CUs) having a square or rectangular shape.
  • ALF adaptive loop filtering
  • the solid line connecting the nodes means that the upper node is divided into quad tree structures to form lower nodes, and the dotted line connecting the nodes divides the upper node into a binary tree structure. This means forming lower nodes.
  • 21 is a flowchart illustrating an operation of a decoding apparatus 20 that performs intra prediction, according to an embodiment of the present invention.
  • the image encoding apparatus 10 may encode and transmit an intra prediction mode.
  • the image encoding apparatus 10 may reduce the amount of bits to be transmitted and increase encoding efficiency through the intra prediction unit 150.
  • a method of predicting the prediction mode may be used.
  • the decoding apparatus 20 may receive the signaling information about this and perform intra prediction decoding using a prediction mode selected from the intra prediction mode candidates.
  • the image encoding apparatus 10 uses the intra predictor 150 to determine the neighboring blocks adjacent to the encoding target block.
  • the prediction mode of the encoding target block may be encoded by using the prediction mode.
  • prediction modes used as prediction values for the intra prediction mode of the encoding target block may be referred to as Most Probable Mode (MPM).
  • MPM Most Probable Mode
  • the neighboring block means a block adjacent to the current block.
  • the intra predictor 150 may derive the MPM candidate mode from neighboring blocks adjacent to the encoding target block, and generate the MPM list using the derived MPM candidate mode. In this case, the intra predictor 150 may allocate MPM candidate modes derived from neighboring blocks to the MPM list. The intra prediction unit 150 may encode the intra prediction mode using the generated MPM list.
  • the image encoding apparatus 10 may determine whether the same MPM candidate mode as the prediction mode of the encoding target block exists in the MPM list.
  • the image encoding apparatus 10 may transmit a flag indicating whether the same MPM candidate mode as the prediction mode of the encoding target block exists in the MPM list to the decoder.
  • the flag is referred to as an MPM flag.
  • the MPM flag transmitted to the decoder may be represented as prev_intra_luma_pred_flag. For example, when the same MPM candidate mode as the prediction mode of the encoding target block exists in the MPM list, 1 may be allocated to the MPM flag, and 0 may be allocated otherwise.
  • the encoder when the MPM candidate mode identical to the prediction mode of the encoding target block is present in the MPM list, the encoder indicates an index indicating which MPM candidate mode among the MPM candidate modes in the MPM list is the same. ) Can be transmitted to the decoder.
  • the index is referred to as an MPM index.
  • the MPM index may be represented as mpm_idx.
  • At least one of the coding units divided into the quad tree structure is divided into a binary tree structure and re-divided into two coding units (CUs) having a rectangular shape.
  • information necessary to construct the MPM candidate list may be determined.
  • the decoding apparatus 20 determines the intra prediction mode by deriving the prediction direction of the current decoding block from the intra prediction direction (angular mode) of the neighboring block of the structure, as shown in FIG. 21. Can be operated as.
  • the decoding apparatus 20 determines whether the MPM mode is in accordance with the MPM flag prev_intra_luma_pred_flag (S101).
  • the decoding apparatus 20 constructs a candidate list for MPM mode prediction by using the MPM index MPM_idx (S103).
  • the decoding apparatus 20 may construct the MPM candidate list by using the prediction mode of the neighboring block that can be referred to from the current decoding block. For example, the decoding apparatus 20 may configure up to six MPM Lists based on prediction modes of at least five neighboring blocks.
  • the decoding apparatus 20 may perform intra prediction decoding by parsing an MPM mode flag and an MPM index, inducing a prediction direction of a current block, for prediction of a block to be currently decoded.
  • 65 modes may be used for the prediction direction (Angular mode)
  • candidates may include at least five blocks coded as intra blocks of the left / left / bottom / top / right neighbors from the current block.
  • the MPM List may be configured.
  • a selection mode which may be represented by the selection mode flag intra_selection_idx_flag.
  • the decoding apparatus 20 may determine the selection mode according to whether the value of the selection mode flag is 0 or 1 (S105).
  • an additional mode configured in a direction not overlapping each other through a certain constraint may be included, and the index thereof may be FIXED LENGTH CODING or truncated binary coding.
  • the decoding apparatus 20 may configure a predetermined selection mode set as described above and perform prediction based on this (S107).
  • the selection mode list may be constructed based on a multiple of a constant natural number.
  • the decoding apparatus 20 may receive a selection mode index to derive a prediction direction of one of the selection mode sets.
  • 4-bit fixed length encoding may be exemplified in the prediction encoding for the index of the selection mode.
  • the decoding apparatus 20 may configure a non-selection mode set configured with a mode not included in the selection mode and perform prediction based on the set (S107).
  • the decoding apparatus 20 may receive a non-selection mode index to derive a prediction direction of one of the non-selection mode sets.
  • truncated binary coding may be exemplified in the prediction coding for the index of the selection mode.
  • 22 to 24 are reference diagrams for describing a method of configuring an MPM mode from neighboring blocks according to an embodiment of the present invention.
  • the decoding apparatus 20 may determine a predictor of an prediction mode (Angular mode) from six blocks of at least five blocks of the current block in the encoding step. It can be constructed and derived.
  • Angular mode an prediction mode
  • the image encoding apparatus 10 when the neighboring block is intra coded, the image encoding apparatus 10 includes a top block located above the current block, and a left top and right top that are neighboring blocks of the top.
  • (Top-Left / Top-Right) s are referenceable, they can be selected as part of the MPM List candidates, and whether to put them in the MPM List can be determined according to the coding efficiency.
  • the image encoding apparatus 10 selects them as part of the MPM List candidates and then encodes whether to put them in the MPM List. It can be determined according to the efficiency.
  • FIG. 23 is a diagram illustrating Angular modes for 67 intra predictions, and may refer to 0: Plannar / 1: DC mode. Then, there may be 65 prediction modes (angular mode) depending on the direction. In the present specification, the direction toward the lower left may be referred to as Diagonal_2, and the direction toward the upper right may be referred to as Diagonal_65.
  • the image encoding apparatus 10 and the decoding apparatus 20 may fill the at least six MPM lists from five neighboring blocks in the encoding / decoding process based on the MPM prediction mode according to the first and second methods described below. After determining the mode, if there are no more modes to determine from neighboring blocks, the list may be constructed according to the third method. In this case, in case of Plannar and DC, even if the prediction mode cannot be derived from the neighboring block, it may be determined by the first method.
  • the image encoding apparatus 10 sets the neighboring block as a reference block, and predicts (Angular mode) and DC / Plannar mode of reference blocks that do not overlap each other with respect to the list.
  • MPM list can be configured by adding.
  • Angular mode overlapped prediction mode
  • Third method When the image encoding apparatus 10 fails to form six MPM Lists through the second and third methods, Vertical / Horizontal / Diagonal_2 (from Left-Down towards Righit-Top Conner) / Diagonal_65 (from Construct 6 MPM Lists based on Right-Top towards Left-Down Conner.
  • Plannar and DC are already in the list.
  • FIG. 24 illustrates an embodiment in which Intra C is coded in an MPM mode in a quad tree block partition structure according to an embodiment of the present invention.
  • a partitioned prediction unit (PU) in one coding unit (CU) cannot exist, and when coded as an intra block, four blocks of NxN or block partitions of 2Nx2N ( Only block partitions were possible.
  • the image encoding apparatus 10 may configure a planar mode and a DC mode for Intra C as MPM Lists through the proposed first method.
  • the image encoding apparatus 10 may skip the second method since there is no prediction mode (angular mode) to be referred to.
  • the video encoding apparatus 10 may configure six MPM Lists by configuring the remaining MPM Lists in the order of Vertical / Horizontal and two Diagonal directions by the third method.
  • 25 is a flowchart illustrating a method of constructing an MPM list according to an embodiment of the present invention.
  • the decoding apparatus 20 sequentially configures the MPM list for the MPM mode in the first to third methods through the intra predictor 230. can do. A method of constructing a list for this step will be described below.
  • the decoding apparatus 20 determines whether the current block is an intra coding block (S201), and if not intra, performs inter prediction decoding (S203).
  • the decoding apparatus 20 determines whether the MPM mode is in the MPM mode (S205).
  • the decoding apparatus 20 decodes the aforementioned non-MPM mode (non-MPM mode) (S207), which will be described in detail later.
  • the decoding apparatus 20 determines whether the upper or upper peripheral block of the current block is available for intra direction mode prediction (S209).
  • the decoding apparatus 20 adds the prediction mode based on the upper and upper peripheral blocks to the MPM list (S211).
  • the decoding apparatus 20 determines again whether the left and left peripheral blocks are available, and if possible, adds a prediction mode based on the left and left peripheral blocks to the MPM list (S213).
  • the decoding apparatus 20 determines whether the MPM list is filled (S215).
  • the decoding apparatus 20 may determine whether there is a prediction mode that can be added to the MPM list (S217), and add the additional prediction mode to the MPM list (S219).
  • the decoding apparatus 20 may add the DC or the planner prediction mode to the MPM list, respectively (S221).
  • the decoding apparatus 20 may determine whether the MPM list is still not filled (S223), and if not, may add the MPM list to the MPM list using the default mode (DEFAULT mode) (S225).
  • the decoding apparatus 20 ends the construction of the MPM list and parses the MPM index information for the MPM list, according to the intra prediction mode of the current block. Decryption can be performed.
  • 26 and 27 are flowcharts illustrating an intra prediction mode decoding method when the MPM mode is not, according to an embodiment of the present invention.
  • the decoding apparatus 20 may determine a plurality of non-MPM modes according to whether or not the MPM mode is used.
  • the plurality of non-MPM modes may be any one of preset modes Non_MPM_mode_1, Non_MPM_mode_2, ..., and may be determined according to respective flags.
  • the decoding apparatus 20 enters each prediction mode (MPM, selection mode, non-selection mode) according to whether the MPM mode flag and the selection mode flag are TRUE, and selects the MPM list and selection.
  • the prediction mode can be derived from a mode set or a non-selection mode set.
  • the decoding apparatus 20 may parse the aforementioned MPM mode flag and check whether the MPM mode is present.
  • the decoding apparatus 20 may perform decoding in the MPM mode.
  • decoding may be processed through 67 intra prediction modes, which may include 65 Angular modes and DC / plannar modes.
  • the decoding apparatus 20 may process the non-MPM mode, and the selection mode and the non-selection mode for decoding in one of the 61 Intra modes not included in the MPM mode may be applied thereto. Can be.
  • the decoding apparatus 20 selects the remaining 61 intra modes (Intra mode) into a plurality of non-MPM modes (Non-).
  • MPM mode and a non-MPM mode set may be configured according to a predetermined algorithm for each type of classified non-MPM mode.
  • the decoding apparatus 20 decodes the syntax for selecting the type of the non-MPM mode and the index of the selected non-MPM mode set to predict the decoding mode (Angular mode). Can be derived. In this way, when the non-MPM mode block is encoded / decoded, bit saving effect can be achieved according to the number of classified non-MPM modes and the rules constituting each non-MPM mode set, and the coding efficiency can be improved.
  • the non-MPM mode may be classified into two.
  • One of the non-MPM modes may be referred to as a selection mode and an prediction set.
  • the other may be called a non-selection mode
  • the Angular set for this may be referred to as a non-selection mode set, where the non-selection mode may be configured only in Angular mode that is not included in the selection mode set.
  • the decoding apparatus 20 may decode the angular mode when the decoding block is selected as the selection mode in the non-MPM mode.
  • the compression efficiency can be improved compared to the conventional method.
  • FIG. 28 is a flowchart illustrating an update-based decoding scheme of an MPM mode and a non-MPM mode according to an embodiment of the present invention.
  • an intra angular mode may be induced through a plurality of non-MPM mode sets set to initial values until receiving an update. Thereafter, the set configuration of the default Non-MPM mode may be updated to derive the directional prediction mode of the decoding block.
  • the decoding apparatus 20 first determines whether it is in the MPM mode (S301), in the case of the MPM mode, derives the prediction mode from the MPM list (S315), and in the non-MPM mode other than the MPM mode (S303). It is determined whether update information of the MPM mode set exists (S305).
  • the image encoding apparatus 10 may transmit non-MPM update information by including the slice header or the picture header.
  • the non-MPM update information may include selected mode information among the non-MPM modes or update information on a predetermined rule of the set configuration.
  • the decoding apparatus 20 may derive a prediction mode from the initial Non-MPM mode set (S311).
  • the decoding apparatus 20 configures one of the selected mode (Selected mode), the other of the non-selected mode (Non-selected mode), then selected mode is 4
  • the non-selected mode which is a multiple of set, includes a mode that is not included in the selected mode and may constitute an initial non-MPM set.
  • the decoding apparatus 20 may update the information of the angular modes of the selected mode set and the non-MPM mode set (S307), from the updated non-MPM mode set.
  • the prediction mode can be derived.
  • the decoding apparatus 20 configures a default mode set, and adds a plurality of default mode sets of non-MPM modes from a picture header, a slice header, or a tile header.
  • the non-MPM mode sets may be updated by acquiring information or acquiring a change value corresponding to a predetermined set.
  • the image encoding apparatus 10 differentiates an index of a default set for selecting a portion of a default set of a non-MPM mode from an additional prediction mode of an angular prediction mode corresponding to the index. By passing the signal value, Angular of the Non-MPM mode can be efficiently induced.
  • the image encoding apparatus 10 may transmit only the difference signals ⁇ 1, 0, 2 ⁇ corresponding to the index. Accordingly, after the basic mode set is configured, the decoding apparatus 20 may receive the difference signal and acquire the updated mode set ⁇ 5, 8, 14 ⁇ .
  • the decoding apparatus 20 may update the current GOP by using the Non-MPM Mode selected more than a predetermined frequency from the previous GOP according to the GOP unit. have.
  • the decoding apparatus 20 performs decoding on the current intra block based on the prediction mode selected through S311, S309, or S315 (S317).
  • transform_tree_flag transform tree flags
  • the transform unit 120 of the encoding apparatus 10 when the transform unit 120 of the encoding apparatus 10 according to the embodiment of the present invention generates a transform unit and signals the information on the transform unit, not only the transform tree flag transform_tree_flag but also a binary tree. ) Partitioning information of the structure may be additionally used.
  • the transform unit 120 may be divided into partition modes of four cases of quadtree or binary tree structures each having a size and a shape of a block that is no longer partitioned.
  • the transformer 120 may determine whether to split using the transform tree flag transform_tree_flag and the binary split transform flag split_binary_transform_flag to perform processing corresponding to each of the four cases.
  • the final transform may be performed on the transform blocks.
  • the decoding apparatus 20 identifies, through the inverse quantization / inverse transform unit 220, the above-described transform tree flag and binary division transform flag, and corresponds to a quad tree or binary tree. It is possible to handle division into a binary tree structure and inverse transform for the final divided transform unit.
  • the decoding apparatus 20 may perform the processing based on the transform tree flag according to the quad tree split and the processing operation based on the binary split transform flag. By positioning in)), it is possible to efficiently process the decoding for the transform unit in which the quad tree and the binary tree are combined.
  • the transform tree flag of the transform target transform unit is performed by the transform tree function (transform_tree) operation as illustrated in FIG. 31. It is determined whether (transform_tree_flag) is true (S401).
  • the decoding apparatus 20 determines to be divided as a quad tree, first performs TU decoding on the 1/4 lower transform block (S403), and performs TU decoding on the 2/4 lower transform block. In operation S405, TU decoding is performed on the 3/4 lower transform block (S407), and TU decoding is performed on the 4/4 lower transform block (S409), thereby performing inverse transform processing on each transform block divided into quadtrees. Can be completed.
  • the decoding apparatus 20 identifies the binary split transform flag (transform_binary_flag) of the decoding target transform unit and determines whether it is true (S411).
  • the decoding apparatus 20 decodes the 1/2 lower transform block (S413), and then decodes the remaining 1/2 lower transform block, thereby performing a binary partitioned angle.
  • the inverse transform process for the transform block may be completed (S415).
  • the decoding apparatus 20 may perform an inverse transform process on the entire transform unit based on the block size of the transform target transform unit (S417).
  • the process of the decoding apparatus 20 may be processed in a recursive structure that is called again for each of the divided transform units.
  • FIG. 30 illustrates that the embodiment of the present invention is sequentially processed, the operation of the decoding apparatus 20 according to the embodiment of the present invention may be recursively performed for each transformation unit. It may be processed concurrently or sequentially or in parallel by parallel processes.
  • the decoding apparatus 20 may selectively or adaptively determine whether to split the transform unit and partition direction (vertically or horizontally) by using existing parsed information without additional signaling. It can be more efficient.
  • the decoding apparatus 20 determines a binary partition or quadratic partition according to a specific condition by using a split transform flag Split_transform_flag, and accordingly Inverse transformations can be handled.
  • split transform flag (split_tranform_flag) on the existing transform tree syntax is used to signal whether to split a quad tree of 2N ⁇ 2N type.
  • the decoding apparatus 20 may extend the function of the split transform flag split_tranform_flag.
  • the split transform flag may be extended to indicate splitting into horizontal / vertical sizes for two blocks of binary partitions, or splitting into four quadratic blocks. .
  • split_transform_flag [x0] [y0] [trafoDepth] specifies whether a block is split into four blocks (quadratic) or two blocks (binary) with half horizontal and half vertical size for the purpose of transform coding.
  • the decoding apparatus 20 parses the extended partition transform flag according to an embodiment of the present invention, and blocks a block size of a CU, a CU partition depth, a CU partition pattern, a prediction mode of a PU, By using at least one of the size of the TU and the TU Depth (whether the recursive call in the upper TU block) is used as condition information, the binary partition structure of the transform block can be determined without additional signaling.
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 처리 방법에 있어서, 영상의 픽쳐를 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할하는 단계; 및 상기 분할된 코딩 유닛들 중 인트라 예측된 유닛에 대해, 복호화 대상 블록에 인접한 주변 블록의 인트라 예측 방향으로부터 상기 복호화 대상 블록의 예측 방향을 유도하기 위한 예측 모드 리스트를 선택적으로 구성하는 단계;를 포함하고, 상기 코딩 유닛 분할 단계는 상기 픽처 또는 상기 분할된 코딩 유닛을 이진 트리(binary tree) 구조로 분할하는 단계를 포함한다.

Description

영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
본 발명은 영상 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 동영상 픽쳐(picture)를 복수의 블록(block)들로 분할하여 인트라 예측 및 변환을 수행하는 방법에 관한 것이다.
영상 압축 방법에서는 하나의 픽처(picture)를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 부호화를 수행한다. 또한, 압축 효율을 높이기 위해 픽쳐들 사이의 중복도를 제거하는 인터 예측(inter prediction) 및 인트라 예측(intra prediction) 기술을 이용한다.
이 경우, 인트라 예측과 인터 예측을 이용하여 잔차 신호(residual signal)를 만들며, 잔차 신호를 구하는 이유는 잔차 신호를 가지고 코딩을 했을 때 데이터의 양이 작아서 데이터 압축률이 높아지고, 예측이 좋을수록 잔차 신호의 값이 작게 되기 때문이다.
인트라 예측 방법은 현재 블록의 주변의 픽셀을 이용하여 현재 블록의 데이터를 예측한다. 실제 값과 예측 값의 차이를 잔차 신호 블록이라고 한다. HEVC의 경우는 인트라 예측 방법이 기존 H.264/AVC에서 사용되던 9개의 예측모드에서 35개의 예측모드로 증가하여 더욱 세분화하여 예측을 한다.
인터 예측 방법의 경우는 현재 블록을 주변의 픽쳐들 내의 블록들과 비교하여 가장 비슷한 블록을 찾는다. 이때 찾은 블록에 대한 위치정보(Vx, Vy)를 모션 벡터라고 한다. 현재블록과 모션 벡터에 의하여 예측된 예측블록간의 블록내 화소 값들의 차이를 잔차 신호(residual signal) 블록이라고 한다 (motion-compensated residual block).
이와 같이 인트라 예측과 인터 예측이 더 세분화 되어 잔차 신호의 데이터 양이 줄어들고 있으나, 동영상의 처리를 위한 연산량은 크게 증가하였다.
특히, 영상 부호화 및 복호화를 위한 픽쳐 내 분할 구조를 결정하는 과정에서의 복잡도 증가량으로 인해 파이프라인 구현 등에 있어서의 어려움이 존재하며, 기존의 블록 분할 방법 및 그에 따라 분할된 블록의 크기가 고해상도 영상의 부호화에는 적합하지 않을 수 있다.
본 발명은 상기와 같은 과제를 해결하기 위한 것으로, 고해상도 영상의 부호화 및 복호화에 적합한 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법을 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 일실시예에 따른 영상 처리 방법은, 영상의 픽쳐를 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할하는 단계; 및 상기 분할된 코딩 유닛들 중 인트라 예측된 유닛에 대해, 복호화 대상 블록에 인접한 주변 블록의 인트라 예측 방향으로부터 상기 복호화 대상 블록의 예측 방향을 유도하기 위한 예측 모드 리스트를 선택적으로 구성하는 단계;를 포함하고, 상기 코딩 유닛 분할 단계는 상기 픽처 또는 상기 분할된 코딩 유닛을 이진 트리(binary tree) 구조로 분할하는 단계를 포함한다.
본 발명의 일실시예에 따른 영상 복호화 방법은, 부호화된 비트스트림을 입력받는 단계; 상기 입력된 비트스트림에 대해 역양자화 및 역변환을 수행하여 잔차 블록을 획득하는 단계; 인터 예측 또는 인트라 예측을 수행하여 예측 블록을 획득하는 단계; 상기 획득된 잔차 블록과 예측 블록을 합하여 영상을 복원하는 단계; 및 상기 복원된 영상에 대하여, 상기 코딩 유닛별로 적응적 루프 필터링을 수행하는 단계;를 포함하고, 상기 인터 예측 또는 인트라 예측이 수행되는 기본 단위인 코딩 유닛은 이진 트리 구조를 이용하여 코딩 트리 유닛으로부터 분할된 블록이며, 상기 예측 블록을 획득하는 단계는, 상기 분할된 코딩 유닛들 중 인트라 예측된 유닛에 대해, 복호화 대상 블록에 인접한 주변 블록의 인트라 예측 방향으로부터 상기 복호화 대상 블록의 예측 방향을 유도하기 위한 예측 모드 리스트를 선택적으로 구성하는 단계를 더 포함한다.
한편, 상기한 방법들은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 실시예에 따르면, 인터 예측 또는 인트라 예측이 수행되는 기본 단위인 코딩 유닛을 이진 트리 구조로 분할하고, 분할된 코딩 유닛에 대해 주변 블록으로부터 인트라 예측을 위한 예측 모드 리스트를 구성하도록 함으로써, 고해상도 영상에 대한 코딩 효율을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 2 내지 도 5는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제1 실시예를 설명하기 위한 도면이다.
도 6은 영상 부호화 장치에서 인터 예측을 수행하는 방법에 대한 일실시예를 설명하기 위한 블록도이다.
도 7은 본 발명의 일실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 8은 영상 복호화 장치에서 인터 예측을 수행하는 방법에 대한 일실시예를 설명하기 위한 블록도이다.
도 9는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제2 실시예를 설명하기 위한 도면이다.
도 10은 영상을 블록 단위로 분할하여 처리하기 위해 사용되는 신택스(syntax) 구조에 대한 일실시예를 나타내는 도면이다.
도 11은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제3 실시예를 설명하기 위한 도면이다.
도 12는 코딩 유닛을 이진 트리 구조로 분할하여 변환 유닛을 구성하는 방법에 대한 일실시예를 설명하기 위한 도면이다.
도 13은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제4 실시예를 설명하기 위한 도면이다.
도 14 내지 도 16은 영상을 블록 단위로 분할하여 처리하는 방법에 대한 또 다른 실시예들을 설명하기 위한 도면들이다.
도 17 및 도 18은 RDO(Rate distortion Optimization)를 수행하여 변환 유닛의 분할 구조를 결정하는 방법에 대한 실시예들을 설명하기 위한 도면들이다.
도 19는 본 발명에 따른 블록 기반 적응적 루프 필터링 방법에 대한 제1 실시예를 설명하기 위한 도면이다.
도 20은 본 발명에 따른 블록 기반 적응적 루프 필터링 방법에 대한 제2 실시예를 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시 예에 따른 인트라 예측을 수행하는 복호화 장치의 동작을 설명하기 위한 흐름도이다.
도 22 내지 24는 본 발명의 실시 예에 따른 주변 블록으로부터 MPM 모드를 구성하는 방식을 설명하기 위한 참조도이다.
도 25는 본 발명의 실시 예에 따른 MPM 리스트 구성방법을 설명하기 위한 흐름도이다.
도 26 및 도 27은 본 발명의 실시 예에 따라, MPM 모드가 아닌 경우의 인트라 예측 모드 복호화 방법을 설명하기 위한 흐름도이다.
도 28은 본 발명의 실시 예에 따른 MPM 모드 및 비 MPM 모드의 업데이트 기반 복호화 방식을 설명하기 위한 흐름도이다.
도 29 내지 도 31은 본 발명의 실시 예에 따른 변환 유닛(Transform Unit: TU)에 대한 처리를 설명하기 위한 도면들이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치의 구성을 블록도로 도시한 것으로, 영상 부호화 장치(10)는 픽쳐 분할부(110), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 인트라 예측부(150), 인터 예측부(160), 역양자화부(135), 역변환부(125), 후처리부(170), 픽쳐 저장부(180), 감산부(190) 및 가산부(195)를 포함한다.
도 1을 참조하면, 픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 코딩 유닛으로 분할하여 예측 모드를 결정하고, 상기 코딩 유닛별로 예측 유닛의 크기를 결정한다.
또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 예측 모드(또는 예측 방법)에 따라 인트라 예측부(150) 또는 인터 예측부(160)로 보낸다. 또한, 픽쳐 분할부(110)는 부호화할 예측 유닛을 감산부(190)로 보낸다.
여기서, 영상의 픽쳐(picture)는 복수의 슬라이스로 구성되고, 슬라이스는 픽쳐를 분할하는 기본 단위인 복수의 코딩 트리 유닛(Coding Tree Unit: CTU)들로 분할될 수 있다.
상기 코딩 트리 유닛은 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 하나 또는 2 이상의 코딩 유닛(Coding Unit: CU)들로 분할될 수 있다.
코딩 유닛(CU)은 예측이 수행되는 기본 단위인 하나 또는 그 이상의 예측 유닛(Prediction unit: PU)들로 분할될 수 있다.
이 경우, 부호화 장치(10)는 상기 분할된 코딩 유닛(CU)들 각각에 대해 인터 예측과 인트라 예측 중 어느 하나를 예측 방법으로 결정하나, 각각의 예측 유닛(PU)에 대해 서로 다르게 예측 블록을 생성할 수 있다.
한편, 코딩 유닛(CU)은 잔차 블록(residual block)에 대한 변환이 수행되는 기본 단위인 하나 또는 2 이상의 변환 유닛(Transform Unit: TU)들로 분할될 수 있다.
이 경우, 픽쳐 분할부(110)는 상기와 같이 분할된 블록 단위(예를 들어, 예측 유닛(PU) 또는 변환 유닛(TU))로 영상 데이터를 감산부(190)에 전달할 수 있다.
도 2를 참조하면, 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.
상기 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 코딩 유닛(CU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.
코딩 유닛(CU)은 예측 모드에 따라 하나 또는 2 이상의 예측 유닛(PU)들로 분할될 수 있다.
인트라 예측 모드의 경우, 코딩 유닛(CU)의 크기가 2Nx2N 일 때, 예측 유닛(PU)은 도 3의 (a)에 도시된 2Nx2N 또는 도 3의 (b)에 도시된 NxN의 크기를 가질 수 있다.
한편, 인터 예측 모드의 경우, 코딩 유닛(CU)의 크기가 2Nx2N 일 때, 예측 유닛(PU)은 도 4의 (a)에 도시된 2Nx2N, 도 4의 (b)에 도시된 2NxN, 도 4의 (c)에 도시된 Nx2N, 도 4의 (d)에 도시된 NxN, 도 4의 (e)에 도시된 2NxnU, 도 4의 (f)에 도시된 2NxnD, 도 4의 (g)에 도시된 nLx2N 및 도 4의 (h)에 도시된 nRx2N 중 어느 하나의 크기를 가질 수 있다.
도 5를 참조하면, 코딩 유닛(CU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 변환 유닛(TU)들로 분할될 수 있다.
상기 정사각형의 형태를 가지는 4개의 변환 유닛(TU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 변환 유닛(TU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.
여기서, 코딩 유닛(CU)이 인터 예측 모드인 경우, 해당 코딩 유닛(CU)으로부터 분할된 예측 유닛(PU)와 변환 유닛(TU)은 서로 독립적인 분할 구조를 가질 수 있다.
코딩 유닛(CU)이 인트라 예측 모드인 경우, 해당 코딩 유닛(CU)으로부터 분할된 변환 유닛(TU)은 예측 유닛(PU)의 크기보다 클 수 없다.
또한, 상기와 같이 분할되는 변환 유닛(TU)은 최대 64x64 픽셀 크기를 가질 수 있다.
변환부(120)는 입력된 예측 유닛(PU)의 원본 블록과 인트라 예측부(150) 또는 인터 예측부(160)에서 생성된 예측 블록 사이의 잔차 신호인 잔차 블록을 변환하며, 상기 변환은 변환 유닛(TU)을 기본 단위로 하여 수행될 수 있다.
상기 변환 과정에서 예측 모드(intra or inter)에 따라 서로 다른 변환 매트릭스가 결정될 수 있으며, 인트라 예측의 잔차 신호는 인트라 예측 모드에 따라 방향성을 가지므로 인트라 예측 모드에 따라 적응적으로 변환 매트릭스가 결정될 수 있다.
변환 단위는 2개(수평, 수직)의 1차원 변환 매트릭스에 의해 변환될 수 있으며, 예를 들어 인터 예측의 경우에는 미리 결정된 1개의 변환 매트릭스가 결정될 수 있다.
한편, 인트라 예측의 경우, 인트라 예측 모드가 수평인 경우에는 잔차 블록이 수직방향으로의 방향성을 가질 확률이 높아지므로, 수직방향으로는 DCT 기반의 정수 매트릭스를 적용하고, 수평방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를 적용한다. 인트라 예측 모드가 수직인 경우에는 수직방향으로는 DST 기반 또는 KLT 기반의 정수 매트릭스를, 수평 방향으로는 DCT 기반의 정수 매트릭스를 적용할 수 있다.
또한, DC 모드의 경우에는 양방향 모두 DCT 기반 정수 매트릭스를 적용할 수 있다.
그리고, 인트라 예측의 경우, 변환 유닛(TU)의 크기에 기초하여 변환 매트릭스가 적응적으로 결정될 수도 있다.
양자화부(130)는 상기 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위한 양자화 스텝 사이즈를 결정하며, 양자화 스텝 사이즈는 미리 정해진 크기 이상의 양자화 유닛별로 결정될 수 있다.
양자화 유닛의 크기는 8x8 또는 16x16일 수 있으며, 양자화부(130)는 양자화 스텝 사이즈 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 변환 블록의 계수들을 양자화한다.
또한, 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈 예측자로서 현재 양자화 유닛에 인접한 양자화 유닛의 양자화 스텝 사이즈를 이용할 수 있다.
양자화부(130)는 현재 양자화 유닛의 좌측 양자화 유닛, 상측 양자화 유닛, 좌상측 양자화 유닛 순서로 검색하여 1개 또는 2개의 유효한 양자화 스텝 사이즈를 이용하여 현재 양자화 유닛의 양자화 스텝 사이즈 예측자를 생성할 수 있다.
예를 들어, 양자화부(130)는 상기 순서로 검색된 유효한 첫번째 양자화 스텝 사이즈를 양자화 스텝 사이즈 예측자로 결정하거나, 상기 순서로 검색된 유효한 2개의 양자화 스텝 사이즈의 평균값을 양자화 스텝 사이즈 예측자로 결정하거나, 또는 1개의 양자화 스텝 사이즈만이 유효한 경우에는 이를 양자화 스텝 사이즈 예측자로 결정할 수 있다.
상기 양자화 스텝 사이즈 예측자가 결정되면, 양자화부(130)는 현재 양자화 유닛의 양자화 스텝 사이즈와 양자화 스텝 사이즈 예측자 사이의 차분값을 엔트로피 부호화부(140)로 전송한다.
한편, 현재 코딩 유닛의 좌측 코딩 유닛, 상측 코딩 유닛, 좌상측 코딩 유닛 모두가 존재하지 않거나. 또는 최대 코딩 유닛 내의 부호화 순서 상으로 이전에 존재하는 코딩 유닛이 존재할 수 있다.
따라서, 현재 코딩 유닛에 인접한 양자화 유닛들과 상기 최대 코딩 유닛 내에서는 부호화 순서상 바로 이전의 양자화 유닛의 양자화 스텝 사이즈가 후보자가 될 수 있다.
이 경우, 1) 현재 코딩 유닛의 좌측 양자화 유닛, 2) 현재 코딩 유닛의 상측 양자화 유닛, 3) 현재 코딩 유닛의 좌상측 양자화 유닛, 4) 부호화 순서상 바로 이전의 양자화 유닛 순서로 우선순위가 설정될 수 있다. 상기 순서는 바뀔 수 있고, 상기 좌상측 양자화 유닛은 생략될 수도 있다.
한편, 상기와 같이 양자화된 변환 블록은 역양자화부(135)와 스캐닝부(131)로 전달된다.
스캐닝부(131)는 양자화된 변환 블록의 계수들을 스캐닝하여 1차원의 양자화 계수들로 변환하며, 이 경우 양자화 후의 변환 블록의 계수 분포가 인트라 예측 모드에 의존적일 수 있으므로 스캐닝 방식은 인트라 예측 모드에 따라 결정될 수 있다.
또한, 계수 스캐닝 방식은 변환 단위의 크기에 따라 달리 결정될 수도 있고, 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있으며, 이 경우 양자화 계수들의 스캔 순서는 역방향으로 스캔될 수 있다.
상기 양자화된 계수들이 복수의 서브셋(sub-set)들로 분할된 경우, 각각의 서브셋 내의 양자화 계수들에 동일한 스캔 패턴이 적용될 수 있으며, 서브셋 간의 스캔 패턴은 지그재그 스캔 또는 대각선 스캔이 적용될 수 있다.
한편, 상기 스캔 패턴은 DC를 포함하는 메인 서브셋으로부터 순방향으로 잔여 서브셋들로 스캔하는 것이 바람직하나, 그 역방향도 가능하다.
또한, 서브셋 내의 양자화된 계수들의 스캔 패턴과 동일하게 서브셋 간의 스캔 패턴을 설정할 수도 있으며, 서브셋 간의 스캔 패턴은 인트라 예측 모드에 따라 결정될 수 있다.
한편, 부호화 장치(10)는 상기 변환 유닛(PU) 내에서 0이 아닌 마지막 양자화 계수의 위치 및 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 비트스트림에 포함시켜 복호화 장치(20)로 전송할 수 있다.
역양자화부(135)는 상기와 같이 양자화된 양자화 계수를 역양자화하며, 역변환부(125)는 변환 유닛(TU) 단위로 역변환을 수행하여 상기 역양자화된 변환 계수를 공간 영역의 잔차 블록으로 복원할 수 있다.
가산기(195)는 상기 역변환부(125)에 의해 복원된 잔차 블록과 인트라 예측부(150) 또는 인터 예측부(160)로부터의 수신된 예측 블록을 합하여 복원 블록을 생성할 수 있다.
또한, 후처리부(170)는 복원된 픽쳐에 발생하는 블록킹 효과의 제거하기 위한 디블록킹(deblocking) 필터링 과정, 화소 단위로 원본 영상과의 차이 값을 보완하기 위한 샘플 적응적 오프셋(Sample Adaptive Offset : SAO) 적용 과정 및 코딩 유닛으로 원본 영상과의 차이 값을 보완하기 위한 적응적 루프 필터링(Adaptive Loof Filtering : ALF) 과정을 수행할 수 있다.
디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 유닛(PU) 또는 변환 유닛(TU)의 경계에 적용될 수 있다.
예를 들어, 디블록킹 필터링 과정은, 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함할 수 있다.
한편, 상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 화소값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정될 수 있다.
상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 화소들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다.
상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.
또한, 샘플 적응적 오프셋(SAO) 적용 과정은 디블록킹 필터가 적용된 영상 내의 화소와 원본 화소 간의 차이값(distortion)을 감소시키기 위한 것으로, 픽쳐 또는 슬라이스 단위로 샘플 적응적 오프셋(SAO) 적용 과정을 수행할지 여부가 결정될 수 있다.
픽쳐 또는 슬라이스는 복수의 오프셋 영역들로 분할될 수 있고, 각 오프셋 영역별로 오프셋 타입이 결정될 수 있으며, 상기 오프셋 타입은 미리 정해진 개수(예를 들어, 4개)의 에지 오프셋 타입과 2개의 밴드 오프셋 타입을 포함할 수 있다.
예를 들어, 오프셋 타입이 에지 오프셋 타입일 경우, 각 화소가 속하는 에지 타입을 결정하여 이에 대응하는 오프셋을 적용하며, 상기 에지 타입은 현재 화소와 인접하는 2개의 화소값의 분포를 기준으로 결정될 수 있다.
적응적 루프 필터링(ALF) 과정은 디블록킹 필터링 과정 또는 적응적 오프셋 적용 과정을 거친 복원된 영상과 원본 영상을 비교한 값을 기초로 필터링을 수행할 수 있다.
픽쳐 저장부(180)는 후처리된 영상 데이터를 후처리부(170)로부터 입력받아 픽쳐(picture) 단위로 영상을 복원하여 저장하며, 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다.
인터 예측부(160)는 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 결정할 수 있다.
이 경우, 결정된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(180)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 예측 유닛에 대응하는 예측 블록이 추출될 수 있다.
인트라 예측부(150)는 현재 예측 유닛이 포함되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행할 수 있다.
인트라 예측부(150)는 예측 부호화할 현재 예측 유닛을 입력받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행할 수 있다.
인트라 예측부(150)는 인트라 예측 블록을 생성하기 위해 참조 화소를 적응적으로 필터링하며, 참조 화소가 이용 가능하지 않은 경우 이용 가능한 참조 화소들을 이용하여 참조 화소들을 생성할 수 있다.
엔트로피 부호화부(140)는 양자화부(130)에 의해 양자화된 양자화 계수, 인트라 예측부(150)로부터 수신된 인트라 예측 정보, 인터 예측부(160)로부터 수신된 움직임 정보 등을 엔트로피 부호화할 수 있다.
도 6은 부호화 장치(10)에서 인터 예측을 수행하는 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 인터 예측 부호화기는 움직임 정보 결정부(161), 움직임 정보 부호화 모드 결정부(162), 움직임 정보 부호화부(163), 예측 블록 생성부(164), 잔차 블록 생성부(165), 잔차 블록 부호화부(166) 및 멀티플렉서(167)를 포함하여 구성될 수 있다.
도 6을 참조하면, 움직임 정보 결정부(161)는 현재 블록의 움직임 정보를 결정하며, 움직임 정보는 참조 픽쳐 인덱스와 움직임 벡터를 포함하고, 참조 픽쳐 인덱스는 이전에 부호화되어 복원된 픽쳐 중 어느 하나를 나타낼 수 있다.
현재 블록이 단방향 인터 예측 부호화되는 경우에는 리스트 0(L0)에 속하는 참조 픽쳐들 중의 어느 하나를 나타내며, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0(L0)의 참조 픽쳐들 중 하나를 나타내는 참조 픽쳐 인덱스와 리스트 1(L1)의 참조 픽쳐들 중의 하나를 나타내는 참조 픽쳐 인덱스를 포함할 수 있다.
또한, 현재 블록이 양방향 예측 부호화되는 경우에는 리스트 0과 리스트 1을 결합하여 생성된 복합 리스트(LC)의 참조 픽쳐들 중의 1개 또는 2개의 픽쳐를 나타내는 인덱스를 포함할 수 있다.
움직임 벡터는 각각의 참조픽쳐 인덱스가 나타내는 픽쳐 내의 예측 블록의 위치를 나타내며, 상기 움직임 벡터는 화소 단위(정수 단위) 또는 서브 화소 단위일 수 있다.
예를 들어, 상기 움직임 벡터는 1/2, 1/4, 1/8 또는 1/16 화소의 해상도를 가질 수 있으며, 움직임 벡터가 정수단위가 아닐 경우 예측 블록은 정수 단위의 화소들로부터 생성될 수 있다.
움직임 정보 부호화 모드 결정부(162)는 현재 블록의 움직임 정보에 대한 부호화 모드를 스킵 모드, 머지 모드 및 AMVP 모드 중 어느 하나로 결정할 수 있다.
스킵 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 스킵 후보자가 존재하고, 잔차 신호가 0인 경우에 적용되며, 상기 스킵 모드는 예측 유닛(PU)인 현재 블록이 코딩 유닛(CU)과 크기가 같을 때 적용될 수 있다.
머지 모드는 현재 블록의 움직임 정보와 동일한 움직임 정보를 갖는 머지 후보자가 존재할 때 적용되며, 상기 머지 모드는 현재 블록이 코딩 유닛(CU)과 크기가 다르거나, 크기가 같을 경우에는 잔차 신호가 존재하는 경우에 적용된다. 한편, 머지 후보자와 스킵 후보자는 동일할 수 있다.
AMVP 모드는 스킵 모드 및 머지 모드가 적용되지 않을 때 적용되며, 현재 블록의 움직임 벡터와 가장 유사한 움직임 벡터를 갖는 AMVP 후보자를 AMVP 예측자로 선택할 수 있다.
움직임 정보 부호화부(163)는 움직임 정보 부호화 모드 결정부(162)에 의해 결정된 방식에 따라 움직임 정보를 부호화할 수 있다.
예를 들어, 움직임 정보 부호화부(163)는 움직임 정보 부호화 모드가 스킵 모드 또는 머지 모드일 경우에는 머지 움직임 벡터 부호화 과정을 수행하며, AMVP 모드일 경우에는 AMVP 부호화 과정을 수행할 수 있다.
예측 블록 생성부(164)는 현재 블록의 움직임 정보를 이용하여 예측 블록을 생성하며, 움직임 벡터가 정수 단위일 경우 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록을 생성한다.
한편, 움직임 벡터가 정수 단위가 아닌 경우, 예측 블록 생성부(164)는 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 정수 단위 화소들로부터 예측 블록의 화소들을 생성할 수 있다.
이 경우, 휘도 화소에 대해 8탭의 보간 필터를 사용하여 예측 화소가 생성되며, 색차 화소에 대해서는 4탭 보간 필터를 사용하여 예측 화소가 생성될 수 있다.
잔차 블록 생성부(165)는 현재 블록과 현재 블록의 예측 블록을 이용하여 잔차 블록을 생성하며, 현재 블록의 크기가 2Nx2N인 경우 현재 블록과 현재 블록에 대응하는 2Nx2N 크기의 예측 블록을 이용하여 잔차 블록을 생성할 수 있다.
한편, 예측에 이용되는 현재 블록의 크기가 2NxN 또는 Nx2N인 경우, 2Nx2N을 구성하는 2개의 2NxN 블록 각각에 대한 예측 블록을 구한 후, 상기 2개의 2NxN 예측 블록을 이용하여 2Nx2N 크기의 최종 예측 블록이 생성될 수 있다.
또한, 상기 2Nx2N 크기의 예측 블록을 이용하여 2Nx2N 크기의 잔차 블록이 생성될 수도 있으며, 2NxN 크기를 가지는 2개의 예측 블록들의 경계 부분의 불연속성을 해소하기 위해 경계 부분의 픽셀들에 대해 오버랩 스무딩이 적용될 수 있다.
잔차 블록 부호화부(166)는 상기 잔차 블록을 하나 이상의 변환 유닛(TU)들로 분할하여, 각각의 변환 유닛(TU)이 변환 부호화, 양자화 및 엔트로피 부호화될 수 있다.
잔차 블록 부호화부(166)는 인터 예측 방법에 의해 생성된 잔차 블록을 정수기반 변환 매트릭스를 이용하여 변환할 수 있으며, 상기 변환 매트릭스는 정수기반 DCT 매트릭스일 수 있다.
한편, 잔차 블록 부호화부(166)는 변환 매트릭스에 의해 변환된 잔차 블록의 계수들을 양자화하기 위해 양자화 매트릭스를 이용하며, 상기 양자화 매트릭스는 양자화 파라미터에 의해 결정될 수 있다.
상기 양자화 파라미터는 미리 정해진 크기 이상의 코딩 유닛(CU) 별로 결정되며, 현재 코딩 유닛(CU)이 상기 미리 정해진 크기보다 작은 경우 상기 미리 정해진 크기 내의 코딩 유닛(CU)들 중 부호화 순서상 첫번째 코딩 유닛(CU)의 양자화 파라미터만을 부호화하고 나머지 코딩 유닛(CU)의 양자화 파라미터는 상기 파라미터와 동일하므로 부호화하지 않을 수 있다.
또한, 상기 양자화 파라미터 및 예측 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 블록의 계수들이 양자화될 수 있다.
상기 미리 정해진 크기 이상의 코딩 유닛(CU) 별로 결정되는 양자화 파라미터는 현재 코딩 유닛(CU)에 인접한 코딩 유닛(CU)의 양자화 파라미터를 이용하여 예측 부호화될 수 있다.
현재 코딩 유닛(CU)의 좌측 코딩 유닛(CU), 상측 코딩 유닛(CU) 순서로 검색하여 유효한 1개 또는 2개의 유효한 양자화 파라미터를 이용하여 현재 코딩 유닛(CU)의 양자화 파라미터 예측자를 생성할 수 있다.
예를 들어, 상기 순서로 검색된 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있으며, 또한 좌측 코딩 유닛(CU), 부호화 순서상 바로 이전의 코딩 유닛(CU) 순으로 검색하여 유효한 첫번째 양자화 파라미터를 양자화 파라미터 예측자로 결정할 수 있다.
양자화된 변환 블록의 계수들은 스캐닝되어 1차원의 양자화 계수들로 변환되며, 스캐닝 방식은 엔트로피 부호화 모드에 따라 다르게 설정될 수 있다.
예를 들어, CABAC으로 부호화될 경우 인터 예측 부호화된 양자화 계수들은 미리 정해진 하나의 방식(지그재그, 또는 대각선 방향으로의 래스터 스캔)으로 스캐닝될 수 있으며, CAVLC으로 부호화될 경우 상기 방식과 다른 방식으로 스캐닝될 수 있다.
예를 들어, 스캐닝 방식이 인터의 경우에는 지그재그, 인트라의 경우에는 인트라 예측 모드에 따라 결정될 수 있으며, 계수 스캐닝 방식은 변환 단위의 크기에 따라 상이하게 결정될 수도 있다.
한편, 상기 스캔 패턴은 방향성 인트라 예측 모드에 따라 달라질 수 있으며, 양자화 계수들의 스캔 순서는 역방향으로 스캔될 수 있다.
멀티플렉서(167)는 상기 움직임 정보 부호화부(163)에 의해 부호화된 움직임 정보들과 상기 잔차 블록 부호화부(166)에 의해 부호화된 잔차 신호들을 다중한다.
상기 움직임 정보는 부호화 모드에 따라 달라질 수 있으며, 예를 들어 스킵 또는 머지일 경우에는 예측자를 나타내는 인덱스만을 포함하고, AMVP일 경우 현재 블록의 참조 픽쳐 인덱스, 차분 움직임 벡터 및 AMVP 인덱스를 포함할 수 있다.
이하, 도 1에 도시된 인트라 예측부(150)의 동작에 대한 일실시예를 상세히 설명하기로 한다.
먼저, 인트라 예측부(150)는 픽쳐 분할부(110)로부터 예측 모드 정보 및 예측 유닛(PU)의 크기를 수신하며, 예측 유닛(PU)의 인트라 예측 모드를 결정하기 위해 참조 화소를 픽쳐 저장부(180)로부터 읽어들일 수 있다.
인트라 예측부(150)는 이용 가능하지 않은 참조 화소가 존재하는지 여부를 검토하여 참조 화소 생성 여부를 판단하며, 상기 참조 화소들은 현재 블록의 인트라 예측 모드를 결정하는데 사용될 수 있다.
현재 블록이 현재 픽쳐의 상측 경계에 위치하는 경우에는 현재 블록의 상측에 인접한 화소들이 정의되지 않고, 현재 블록이 현재 픽쳐의 좌측 경계에 위치하는 경우에는 현재 블록의 좌측에 인접한 화소들이 정의되지 않으며, 상기 화소들은 이용 가능한 화소들이 아닌 것으로 판단될 수 있다.
또한, 현재 블록이 슬라이스 경계에 위치하여 슬라이스의 상측 또는 좌측에 인접하는 화소들이 먼저 부호화되어 복원되는 화소들이 아닌 경우에도 이용 가능한 화소들이 아닌 것으로 판단될 수 있다.
상기와 같이 현재 블록의 좌측 또는 상측에 인접한 화소들이 존재하지 않거나, 미리 부호화되어 복원된 화소들이 존재하지 않는 경우, 이용 가능한 화소들만을 이용하여 현재 블록의 인트라 예측 모드가 결정될 수도 있다.
한편, 현재 블록의 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소가 생성될 수도 있으며, 예를 들어 상측 블록의 화소들이 이용 가능하지 않은 경우 좌측 화소들의 일부 또는 전부를 이용하여 상측 화소들을 생성할 수 있고, 그 역으로도 가능하다.
즉, 이용 가능하지 않은 위치의 참조 화소로부터 미리 정해진 방향으로 가장 가까운 위치의 이용 가능한 참조 화소를 복사하여 참조 화소가 생성되거나, 미리 정해진 방향에 이용 가능한 참조 화소가 존재하지 않는 경우 반대 방향의 가장 가까운 위치의 이용 가능한 참조 화소를 복사하여 참조 화소가 생성될 수 있다.
한편, 현재 블록의 상측 또는 좌측 화소들이 존재하는 경우에도 상기 화소들이 속하는 블록의 부호화 모드에 따라 이용 가능하지 않은 참조 화소로 결정될 수 있다.
예를 들어, 현재 블록의 상측에 인접한 참조 화소가 속하는 블록이 인터 부호화되어 복원된 블록일 경우, 상기 화소들을 이용 가능하지 않은 화소들로 판단할 수 있다.
이 경우, 현재 블록에 인접한 블록이 인트라 부호화되어 복원된 블록에 속하는 화소들을 이용하여 이용 가능한 참조 화소들이 생성될 수 있으며, 부호화 장치(10)가 부호화 모드에 따라 이용 가능한 참조 화소를 판단한다는 정보를 복호화 장치(20)로 전송한다.
인트라 예측부(150)는 상기 참조 화소들을 이용하여 현재 블록의 인트라 예측 모드를 결정하며, 현재 블록에 허용 가능한 인트라 예측 모드의 수는 블록의 크기에 따라 달라질 수 있다.
예를 들어, 현재 블록의 크기가 8x8, 16x16, 32x32인 경우에는 34개의 인트라 예측 모드가 존재할 수 있고, 현재 블록의 크기가 4x4인 경우에는 17개의 인트라 예측 모드가 존재할 수 있다.
상기 34개 또는 17개의 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(비 directional 모드)와 복수개의 방향성 모드들(directional 모드s)로 구성될 수 있다.
하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. DC 모드 및 플래너모드가 비방향성 모드로 포함되는 경우에는, 현재 블록의 크기에 관계없이 35개의 인트라 예측 모드가 존재할 수도 있다.
이 경우, 2개의 비방향성 모드(DC 모드 및 플래너 모드)와 33개의 방향성 모드가 포함될 수 있다.
플래너 모드의 경우, 현재 블록의 우하측(bottom-right)에 위치하는 적어도 하나의 화소값(또는 상기 화소값의 예측값, 이하 제1 참조값이라 함)과 참조 화소들을 이용하여 현재 블록의 예측 블록이 생성된다.
본 발명의 일실시예에 따른 영상 복호화 장치의 구성은 도 1 내지 도 6을 참조하여 설명한 영상 부호화 장치(10)의 구성으로부터 도출될 수 있으며, 예를 들어 도 1 내지 도 6을 참조하여 설명한 바와 같은 영상 부호화 방법의 과정들을 역으로 수행함으로써 영상을 복호화할 수 있다.
도 7은 본 발명의 일실시예에 따른 동영상 복호화 장치의 구성을 블록도로 도시한 것으로, 복호화 장치(20)는 엔트로피 복호화부(210), 역양자화/역변환부(220), 가산기(270), 디블록킹 필터(250), 픽쳐 저장부(260), 인트라 예측부(230), 움직임 보상 예측부(240) 및 인트라/인터전환 스위치(280)를 구비한다.
엔트로피 복호화부(210)는, 영상 부호화 장치(10)에서 부호화된 비트 스트림을 입력받아 복호화하여 인트라 예측 모드 인덱스, 움직임 정보, 양자화 계수 시퀀스 등으로 분리하며, 복호화된 움직임 정보를 움직임 보상 예측부(240)로 전달한다.
엔트로피 복호화부(210)는 인트라 예측 모드 인덱스를 인트라 예측부(230)와 역양자화/역변환부(220)로 전달하여, 역양자화 계수 시퀀스를 역양자화/역변환부(220)로 전달한다.
역양자화/역변환부(220)는 상기 양자화 계수 시퀀스를 2차원 배열의 역양자화 계수로 변환하며, 상기 변환을 위해 복수의 스캐닝 패턴들 중 하나를 선택할 수 있으며 예를 들어 현재 블록의 예측 모드(즉, 인트라 예측 또는 인터 예측)와 인트라 예측 모드에 기초하여 스캐닝 패턴을 선택할 수 있다.
역양자화/역변환부(220)는 2차원 배열의 역양자화 계수에 대해 복수의 양자화 매트릭스들 중에서 선택된 양자화 매트릭스를 적용하여 양자화 계수를 복원한다.
한편, 복원하고자 하는 현재 블록의 크기에 따라 서로 다른 양자화 매트릭스가 적용되며, 동일 크기의 블록에 대해서도 상기 현재 블록의 예측 모드 및 인트라 예측 모드 중 적어도 하나에 기초하여 양자화 매트릭스가 선택될 수 있다.
역양자화/역변환부(220)는 상기 복원된 양자화 계수를 역변환하여 잔차 블록을 복원하며, 상기 역변환 과정은 변환 유닛(TU)을 기본 단위로 하여 수행될 수 있다.
가산기(270)는 역양자화/역변환부(220)에 의해 복원된 잔차 블록과 인트라 예측부(230) 또는 움직임 보상 예측부(240)에 의해 생성되는 예측 블록을 합하여 영상 블록을 복원한다.
디블록킹 필터(250)는 가산기(270)에 의해 생성된 복원 영상에 디블록킹 필터 처리를 수행하여, 양자화 과정에 따른 영상 손실에 기인하는 디블록킹 아티펙트를 감소시킬 수 있다.
픽쳐 저장부(260)는 디블록킹 필터(250)에 의해 디블록킹 필터 처리가 수행된 로컬 복호 영상을 저장하기 위한 프레임 메모리이다.
인트라 예측부(230)는 엔트로피 복호화부(210)로부터 수신된 인트라 예측 모드 인덱스에 기초하여 현재 블록의 인트라 예측 모드를 복원하고, 복원된 인트라 예측 모드에 따라 예측 블록을 생성한다.
움직임 보상 예측부(240)는 움직임 벡터 정보에 기초하여 픽쳐 저장부(260)에 저장된 픽쳐로부터 현재 블록에 대한 예측 블록을 생성하며, 소수 정밀도의 움직임 보상이 적용될 경우 선택된 보간 필터를 적용하여 예측 블록을 생성할 수 있다.
인트라/인터 전환 스위치(280)는 부호화 모드에 기초하여 인트라 예측부(230)와 움직임 보상 예측부(240)의 어느 하나에서 생성된 예측 블록을 가산기(270)에 제공할 수 있다.
도 8는 영상 복호화 장치(20)에서 인터 예측을 수행하는 구성에 대한 일실시예를 블록도로 도시한 것으로, 인터 예측 복호화기는 디멀티플렉서(241), 움직임 정보 부호화 모드 판단부(242), 머지 모드 움직임 정보 복호화부(243), AMVP 모드 움직임 정보 복호화부(244), 예측블록 생성부(245), 잔차 블록 복호화부(246) 및 복원블록 생성부(247)를 포함한다.
도 8을 참조하면, 디-멀티플렉서(241)는 수신된 비트스트림으로부터 현재 부호화된 움직임 정보와 부호화된 잔차 신호들을 역다중화하여, 역다중화된 움직임 정보를 움직임 정보 부호화 모드 판단부(242)로 전송하고, 역다중화된 잔차신호를 잔차블록 복호화부(246)로 전송할 수 있다.
움직임 정보 부호화 모드 판단부(242)는 현재 블록의 움직임 정보 부호화 모드를 판단하며, 수신된 비트스트림의 skip_flag가 1의 값을 갖는 경우 현재 블록의 움직임 정보 부호화 모드가 스킵 부호화 모드로 부호화된 것으로 판단할 수 있다.
움직임 정보 부호화 모드 판단부(242)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디-멀티블렉서(241)로부터 수신된 움직임 정보가 머지 인덱스만을 갖는 경우, 현재 블록의 움직임 정보 부호화 모드가 머지 모드로 부호화된 것으로 판단할 수 있다.
또한, 움직임 정보 부호화 모드 판단부(242)는 수신된 비트스트림의 skip_flag가 0의 값을 갖고, 디멀티블렉서(241)로부터 수신된 움직임 정보가 참조 픽쳐 인덱스와 차분 움직임 벡터와 AMVP인덱스를 갖는 경우, 현재 블록의 움직임 정보 부호화 모드가 AMVP 모드로 부호화된 것으로 판단할 수 있다.
머지 모드 움직임 정보 복호화부(243)는 움직임 정보 부호화 모드 판단부(242)가 현재 블록의 움직임 정보 부호화 모드를 스킵 또는 머지 모드로 판단한 경우에 활성화되며, AMVP 모드 움직임 정보 복호화부(244)는 움직임 정보 부호화 모드 판단부(242)가 현재 블록의 움직임 정보 부호화 모드를 AMVP 모드로 판단한 경우에 활성화될 수 있다.
예측블록 생성부(245)는 머지 모드 움직임 정보 복호화부(243) 또는 AMVP 모드 움직임 정보 복호화부(244)에 의해 복원된 움직임 정보를 이용하여 현재 블록의 예측 블록을 생성한다.
움직임 벡터가 정수 단위일 경우, 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 움직임 벡터가 나타내는 위치에 대응하는 블록을 복사하여 현재 블록의 예측 블록이 생성될 수 있다.
한편, 움직임 벡터가 정수 단위가 아닐 경우, 참조 픽쳐 인덱스가 나타내는 픽쳐 내의 정수 단위 화소들로부터 예측 블록의 화소들이 생성되며, 이 경우 휘도 화소의 경우에는 8탭의 보간 필터를 사용하고 색차 화소의 경우 4탭 보간 필터를 사용하여 예측 화소가 생성될 수 있다.
잔차 블록 복호화부(246)는 잔차 신호를 엔트로피 복호화하고, 엔트로피 복호화된 계수들을 역스캐닝하여 2차원의 양자화된 계수 블록을 생성하며, 역스캐닝 방식은 엔트로피 복호화 방식에 따라 달라질 수 있다.
예를 들어, CABAC 기반으로 복호화된 경우 대각선 방향의 래스터 역스캔 방식으로, CAVLC 기반으로 복호화된 경우에는 지그재그 역스캔 방식으로 상기 역스캐닝 방식이 적용될 수 있다. 또한, 예측 블록의 크기에 따라 상기 역스캐닝 방식이 상이하게 결정될 수도 있다.
잔차블록 복호화부(246)는 상기와 같이 생성된 계수블록을 역양자화 매트릭스를 이용하여 역양자화하며, 상기 양자화 매트릭스를 유도하기 위해 양자화 파리미터를 복원할 수 있다. 여기서, 양자화 스텝 사이즈는 미리 정해진 크기 이상의 코딩 유닛별로 복원될 수 있다.
잔차블록 복호화부(260)는 상기 역양자화된 계수 블록을 역변환하여 잔차블록을 복원한다.
복원블록 생성부(270)는 상기 예측블록 생성부(250)에 의해 생성된 예측 블록과 상기 잔차블록 복호화부(260)에 의하여 생성된 잔차 블록을 더하여 복원 블록을 생성한다.
이하, 현재 블록을 인트라 예측을 통해 복원하는 과정에 대한 일실시예를 도 7을 다시 참조하여 설명한다.
먼저, 수신된 비트스트림으로부터 현재 블록의 인트라 예측 모드가 복호화되며, 그를 위해 엔트로피 복호화부(210)는 복수의 인트라 예측 모드 테이블들 중 하나를 참조하여 현재 블록의 제1 인트라 예측 모드 인덱스를 복원할 수 있다.
상기 복수의 인트라 예측 모드 테이블들 부호화 장치(10)와 복호화 장치(20)가 공유하는 테이블로서, 현재 블록에 인접한 복수 블록들에 대한 인트라 예측 모드의 분포에 따라 선택된 어느 하나의 테이블이 적용될 수 있다.
예를 들어, 현재 블록의 좌측 블록의 인트라 예측 모드와 현재 블록의 상측 블록의 인트라 예측 모드가 동일하면 제1 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원하고, 동일하지 않으면 제2 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원할 수 있다.
또 다른 예로써, 현재 블록의 상측 블록과 좌측 블록의 인트라 예측 모드가 모두 방향성 예측 모드(directional intra prediction 모드)일 경우, 상기 상측 블록의 인트라 예측 모드의 방향과 상기 좌측 블록의 인트라 예측 모드의 방향이 소정 각도 이내이면 제 1 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원하고, 소정 각도를 벗어나면 제2 인트라 예측 모드 테이블을 적용하여 현재 블록의 제 1 인트라 예측 모드 인덱스를 복원할 수도 있다.
엔트로피 복호화부(210)는 복원된 현재 블록의 제1 인트라 예측 모드 인덱스를 인트라 예측부(230)로 전송한다.
제1 인트라 예측 모드를 인덱스를 수신한 인트라 예측부(230)는, 상기 인덱스가 최소값을 가질 경우(즉, 0일 경우), 현재 블록의 최대 가능 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.
한편, 인트라 예측부(230)는, 상기 인덱스가 0 이외의 값을 가질 경우, 현재 블록의 최대 가능 모드가 나타내는 인덱스와 상기 제1 인트라 예측 모드 인덱스를 비교하고, 비교 결과 상기 제1 인트라 예측 모드 인덱스가 상기 현재 블록의 최대 가능 모드가 나타내는 인덱스보다 작지 않으면 상기 제1 인트라 예측 모드 인덱스에 1을 더한 제2 인트라 예측 모드 인덱스에 대응하는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정하고, 그렇지 않으면 상기 제1 인트라 예측 모드 인덱스에 대응하는 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.
현재 블록에 허용 가능한 인트라 예측 모드는 적어도 하나 이상의 비방향성 모드(비 directional 모드)와 복수 개의 방향성 모드들(directional 모드s)로 구성될 수 있다.
하나 이상의 비방향성 모드는 DC 모드 및/또는 플래너(planar) 모드일수 있다. 또한, DC 모드와 플래너 모드 중 어느 하나가 적응적으로 상기 허용 가능한 인트라 예측 모드 셋에 포함될 수 있다.
이를 위해, 픽쳐 헤더 또는 슬라이스 헤더에 상기 허용 가능한 인트라 예측 모드 셋에 포함되는 비방향성 모드를 특정하는 정보가 포함될 수 있다.
다음으로, 인트라 예측부(230)는 인트라 예측 블록을 생성하기 위해, 참조 화소들을 픽쳐 저장부(260)로터 읽어들이고, 이용 가능하지 않은 참조 화소가 존재하는지 여부를 판단한다.
상기 판단은 현재 블록의 복호된 인트라 예측 모드를 적용하여 인트라 예측 블록을 생성하는데 이용되는 참조 화소들의 존재 여부에 따라 행해질 수도 있다.
다음으로, 인트라 예측부(230)는 참조 화소를 생성할 필요가 있을 경우에는 미리 복원된 이용 가능한 참조 화소들을 이용하여 이용 가능하지 않은 위치의 참조 화소들을 생성할 수 있다.
이용 가능하지 않은 참조 화소에 대한 정의 및 참조 화소의 생성 방법은 도 1에 따른 인트라 예측부(150)에서의 동작과 동일할 수 있으나, 현재 블록의 복호화된 인트라 예측 모드에 따라 인트라 예측 블록을 생성하는데 이용되는 참조 화소들이 선택적으로 복원될 수도 있다.
또한, 인트라 예측부(230)는 예측 블록을 생성하기 위해 참조 화소들에 필터를 적용할지 여부를 판단하며, 즉 현재 블록의 인트라 예측 블록을 생성하기 위하여 참조 화소들에 대해 필터링을 적용할지 여부를 상기 복호된 인트라 예측 모드 및 현재 예측 블록의 크기에 기초하여 결정할 수 있다.
블록킹 아티펙트의 문제는 블록의 크기가 커질수록 커지므로, 블록의 크기가 커질수록 참조 화소를 필터링하는 예측모드의 수를 증가시킬 수 있으나, 블록이 소정 크기보다 커지는 경우 평탄한 영역으로 볼 수 있으므로 복잡도 감소를 위해 참조 화소를 필터링하지 않을 수도 있다.
상기 참조 화소에 필터 적용이 필요하다고 판단된 경우, 인트라 예측부(230)는 필터를 이용하여 상기 참조 화소들을 필터링한다.
상기한 참조 화소들 간의 단차의 차이 정도에 따라 적어도 2개 이상의 필터를 적응적으로 적용할 수도 있다. 상기 필터의 필터계수는 대칭적인 것이 바람직하다.
또한, 상기한 2개 이상의 필터가 현재 블록의 크기에 따라 적응적으로 적용될 수도 있으며, 필터를 적용할 경우 크기가 작은 블록에 대해서는 대역폭이 좁은 필터가, 크기가 큰 블록들에 대해서는 대역폭이 넓은 필터가 적용될 수도 있다.
DC 모드의 경우에는 참조 화소들의 평균값으로 예측 블록이 생성되므로 필터를 적용할 필요가 없으며, 상이 수직 방향으로 연관성(correlation)이 있는 수직 모드에서는 참조 화소에 필터를 적용할 필요가 없고, 영상이 수평 방향으로 연관성이 있는 수평 모드에서도 참조 화소에 필터를 적용할 필요가 없을 수 있다.
이와 같이, 필터링의 적용 여부는 현재 블록의 인트라 예측 모드와도 연관성이 있으므로, 현재 블록의 인트라 예측 모드 및 예측 블록의 크기에 기초하여 참조 화소를 적응적으로 필터링할 수 있다.
다음으로, 인트라 예측부(230)는 상기 복원된 인트라 예측 모드에 따라 참조 화소 또는 필터링된 참조 화소들을 이용하여 예측 블록을 생성하며, 상기 예측 블록의 생성은 부호화 장치(10)에서의 동작과 동일할 수 있으므로, 그에 대한 상세한 설명은 생략하기로 한다.
인트라 예측부(230)는 상기 생성된 예측 블록을 필터링할지 여부를 판단하며, 상기 필터링 여부는 슬라이스 헤더 또는 부호화 유닛 헤더에 포함된 정보를 이용하거나 또는 현재 블록의 인트라 예측 모드에 따라 결정될 수 있다.
상기 생성된 예측 블록을 필터링할 것으로 판단할 경우, 인트라 예측부(230)는 현재 블록에 인접한 이용 가능한 참조 화소들을 이용하여 생성된 예측 블록의 특정 위치의 화소를 필터링하여 새로운 화소를 생성할 수 있다.
예를 들어, DC 모드에서는 예측 화소들 중 참조 화소들과 접하는 예측 화소는 상기 예측 화소와 접하는 참조 화소를 이용하여 필터링될 수 있다.
따라서, 예측 화소의 위치에 따라 1개 또는 2개의 참조 화소를 이용하여 예측 화소가 필터링되며, DC 모드에서의 예측 화소의 필터링은 모든 크기의 예측 블록에 적용할 수 있다.
한편, 수직 모드에서는 예측 블록의 예측 화소들 중 좌측 참조 화소와 접하는 예측 화소들은 상기 예측블록을 생성하는데 이용되는 상측 화소 이외의 참조 화소들을 이용하여 변경될 수 있다.
마찬가지로, 수평 모드에서는 생성된 예측 화소들 중 상측 참조 화소와 접하는 예측 화소들은 상기 예측블록을 생성하는데 이용되는 좌측 화소 이외의 참조 화소들을 이용하여 변경될 수 있다.
이와 같은 방식으로 복원된 현재 블록의 예측 블록과 복호화한 현재 블록의 잔차 블록을 이용하여 현재 블록이 복원될 수 있다.
도 9는 영상을 블록 단위로 분할하여 처리하는 방법에 대한 제2 실시예를 설명하기 위한 도시한 것이다.
도 9를 참조하면, 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)은 먼저 쿼드 트리(quad tree) 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.
여기서, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 이진 트리(bunary tree) 구조로 나뉘어, 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 재 분할될 수 있다.
한편, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 재 분할될 수도 있다.
그리고 상기 이진 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 이진 트리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 분할될 수 있다.
한편, 상기 쿼드 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조 또는 이진 크리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 코딩 유닛(CU)들로 분할될 수도 있다.
상기와 같이 이진 트리 구조로 분할되어 구성된 코딩 블록(Coding Block : CB)들은, 더 이상 분할되지 않고, 예측 및 변환에 이용될 수 있다. 즉, 도 9에 도시된 바와 같은 코딩 블록(CB)에 속하는 예측 유닛(PU)과 변환 유닛(TU)의 크기는, 해당 코딩 블록(CB)의 크기와 동일할 수 있다.
상기와 같이 쿼드 트리 구조로 분할된 코딩 유닛은 도 3 및 도 4를 참조하여 설명한 바와 같은 방법을 이용하여 하나 또는 2 이상의 예측 유닛(PU)들로 분할될 수 있다.
또한, 상기와 같이 쿼드 트리 구조로 분할된 코딩 유닛은 도 5를 참조하여 설명한 바와 같은 방법을 이용하여 하나 또는 2 이상의 변환 유닛(TU)들로 분할될 수 있으며, 상기 분할된 변환 유닛(TU)은 최대 64x64 픽셀 크기를 가질 수 있다.
도 10은 영상을 블록 단위로 분할하여 처리하기 위해 사용되는 신택스(syntax) 구조에 대한 일실시예를 나타내는 것이다.
도 10을 참조하면, 도 9를 참조하여 설명한 바와 같은 코딩 유닛(CU)의 분할 여부는 split_cu_flag를 이용하여 나타내어 지며, 이진 트리를 이용하여 분할되는 코딩 유닛(CU)의 깊이는 binary_depth를 이용하여 나타내어질 수 있다.
또한, 코딩 유닛(CU)이 이진 트리 구조로 분할되는지 여부는 별도의 binary_split_flag로 나타내어 질 수도 있다.
도 9 및 도 10을 참조하여 설명한 바와 같은 방법에 의해 분할된 블록들(예를 들어, 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU))에 대해 도 1 내지 도 8을 참조하여 설명한 바와 같은 방법들이 적용됨으로써, 영상에 대한 부호화 및 복호화가 수행될 수 있다.
이하에서는, 도 11 내지 도 16을 참조하여, 코딩 유닛(CU)을 하나 또는 2 이상의 변환 유닛(TU)들로 분할하는 방법에 대한 또 다른 실시예들을 설명하기로 한다.
본 발명의 실시예에 따르면, 코딩 유닛(CU)은 이진 트리 구조로 나뉘어 잔차 블록에 대한 변환이 수행되는 기본 단위인 변환 유닛(TU)들로 분할될 수 있다.
도 11을 참조하면, 이진 트리 구조로 분할되어 Nx2N 또는 2NxN의 크기를 가지는 직사각형의 코딩 블록들(CB0, CB1) 중 적어도 하나는, 다시 이진 트리 구조로 나뉘어, NxN의 크기를 가지는 정사각형의 변환 유닛들(TU0, TU1)로 분할될 수 있다.
상기한 바와 같이, 블록 기반의 영상 부호화 방법은, 예측, 변환, 양자화 및 엔트로피 부호화 단계들을 수행할 수 있다.
상기 예측 단계에서는, 현재 부호화를 수행하는 블록과 기존의 부호화된 영상 또는 주변 영상을 참조하여 예측 신호를 생성하며, 이를 통해 현재 블록과의 차분 신호를 계산할 수 있다.
한편, 변환 단계에서는, 상기 차분 신호를 입력으로 하여 다양한 변환 함수를 이용하여 변환을 수행하며, 상기 변환된 신호는 DC 계수와 AC 계수들로 분류되 에너지 집중(Energy compaction)되어 부호화 효율이 향상될 수 있다.
또한, 양자화 단계에서는 변환 계수(Transform coefficient)들을 입력으로 양자화가 수행하며, 이후 양자화된 신호에 대해 엔트로피 부호화가 수행됨으로써 영상이 부호화될 수 있다.
한편, 영상 복호화 방법은 상기와 같은 부호화 과정의 역순으로 진행되며, 영상의 화질 왜곡 현상이 양자화 단계에서 발생할 수 있다.
부호화 효율을 향상시키면서 화질 왜곡 현상을 줄이기 위한 방법으로서, 변환 단계에서 입력으로 들어오는 차분 신호의 분포 및 영상의 특징에 따라 변환 유닛(TU)의 크기 또는 모양과 적용되는 변환 함수 종류를 다양하게 할 수 있다.
예를 들어, 예측 단계에서 블록 기반 움직임 추정 과정을 통해 현재 블록과 유사한 블록을 찾는 경우, SAD(Sum of Absolute Difference) 또는 MSE(Mean Square error) 등과 같은 코스트(cost) 측정 방법을 이용하여, 차분 신호의 분포는 영상의 특성에 따라 다양한 형태로 생길 수 있다.
그에 따라, 다양한 차분 신호의 분포에 기초해 선택적으로 변환 유닛(CU)의 크기 또는 모양을 결정하여 변환을 수행함으로써, 효과적인 부호화가 수행될 수 있다.
도 12를 참조하면, 임의의 코딩 블록(CBx) 에서 (a)에 도시된 바와 같이 차분 신호가 발생하는 경우, (b)에 도시된 바와 같이 해당 코딩 블록(CBx)을 이진 트리 구조로 나누어 2개의 변환 유닛(TU)들로 분할함으로써 효과적인 변환이 수행되도록 할 수 있다.
예를 들어, DC 값은 일반적으로 입력 신호의 평균값을 나타낸다고 말할 수 있으므로, 도 12의 (a)에 도시된 바와 같은 차분 신호가 변환 과정의 입력으로 수신되는 경우, 코딩 블록(CBx)을 2개의 변환 유닛(TU)들로 분할함으로써 효과적으로 DC 값을 나타낼 수 있다.
도 13을 참조하면, 2Nx2N의 크기를 가지는 정사각형의 코딩 유닛(CU0)이 이진 트리 구조로 나뉘어, Nx2N 또는 2NxN의 크기를 가지는 직사각형의 변환 유닛들(TU0, TU1)로 분할될 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기한 바와 같이 코딩 유닛(CU)을 이진 트리 구조로 분할하는 단계를 2회 이상 반복해 수행하여, 복수의 변환 유닛(TU)들로 분할할 수 있다.
도 14를 참조하면, Nx2N의 크기를 가지는 직사각형의 코딩 블록(CB1)을 이진 트리 구조로 분할하고, 상기 분할된 NxN의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN 또는 NxN/2의 크기를 가지는 직사각형의 블록을 구성한 후, 상기 N/2xN 또는 NxN/2의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN/2의 크기를 가지는 정사각형의 변환 유닛들(TU1, TU2, TU4, TU5)로 분할할 수 있다.
도 15를 참조하면, 2Nx2N의 크기를 가지는 정사각형의 코딩 블록(CB0)을 이진 트리 구조로 분할하고, 상기 분할된 Nx2N의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 NxN의 크기를 가지는 정사각형의 블록을 구성한 후, 상기 NxN의 크기를 가지는 블록을 다시 이진 트리 구조로 분할하여 N/2xN의 크기를 가지는 직사각형의 변환 유닛들(TU1, TU2)로 분할할 수 있다.
도 16을 참조하면, 2NxN의 크기를 가지는 직사각형의 코딩 블록(CB0)을 이진 트리 구조로 분할하고, 상기 분할된 NxN의 크기를 가지는 블록을 다시 쿼드 트리 구조로 분할하여 N/2xN/2의 크기를 가지는 정사각형의 변환 유닛들(TU1, TU2, TU3, TU4)로 분할할 수 있다.
도 11 내지 도 16을 참조하여 설명한 바와 같은 방법에 의해 분할된 블록들(예를 들어, 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU))에 대해 도 1 내지 도 8을 참조하여 설명한 바와 같은 방법들이 적용됨으로써, 영상에 대한 부호화 및 복호화가 수행될 수 있다.
이하에서는, 본 발명에 따른 부호화 장치(10)가 블록 분할 구조를 결정하는 방법에 대한 실시예들에 대해 설명한다.
영상 부호화 장치(10)에 구비된 픽쳐 분할부(110)는 미리 설정된 순서에 따라 RDO(Rate distortion Optimization)를 수행하여, 상기한 바와 같이 분할 가능한 코딩 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU)의 분할 구조를 결정할 수 있다.
예를 들어, 블록 분할 구조를 결정하기 위해, 픽쳐 분할부(110)는 RDO-Q(Rate distortion Optimization- Quantization)를 수행하면서 비트레이트(bitrate)와 디스토션(distortion) 측면에서 최적의 블록 분할 구조를 결정할 수 있다.
도 17을 참조하면, 코딩 유닛(CU)이 2Nx2N 픽셀 크기의 형태를 가지는 경우, (a)에 도시된 2Nx2N 픽셀 크기, (b)에 도시된 NxN 픽셀 크기, (c)에 도시된 Nx2N 픽셀 크기, (d)에 도시된 2NxN 픽셀 크기의 변환 유닛(PU) 분할 구조 순서로 RDO를 수행하여 변환 유닛(PU)의 최적 분할 구조를 결정할 수 있다.
도 18을 참조하면, 코딩 유닛(CU)이 Nx2N 또는 2NxN 픽셀 크기의 형태를 가지는 경우, (a)에 도시된 Nx2N(또는, 2NxN)의 픽셀 크기, (b)에 도시된 NxN의 픽셀 크기, (c)에 도시된 N/2xN(또는, NxN/2)와 NxN의 픽셀 크기, (d)에 도시된 N/2xN/2, N/2xN 및 NxN의 픽셀 크기, (e)에 도시된 N/2xN의 픽셀 크기의 변환 유닛(PU) 분할 구조 순서로 RDO를 수행하여 변환 유닛(PU)의 최적 분할 구조를 결정할 수 있다.
상기에서는 RDO(Rate distortion Optimization)를 수행하여 블록 분할 구조가 결정되는 것을 예로 들어 본 발명의 블록 분할 방법을 설명하였으나, 픽쳐 분할부(110)는 SAD(Sum of Absolute difference) 또는 MSE(Mean Square Error)를 이용하여 블록 분할 구조를 결정함으로써 복잡도를 저감시키면서도 적절한 효율을 유지할 수 있다.
본 발명의 일실시예에 따르면, 상기한 바와 같이 분할된 코딩 유닛(CU), 예측 유닛(PU) 또는 변환 유닛(TU) 단위로 적응적 루프 필터링(Adaptive Loof Filtering : ALF)의 적용 여부가 결정될 수 있다.
예를 들어, 적응적 루프 필터(ALF)의 적용 여부는 코딩 유닛(CU) 단위로 결정될 수 있으며, 코딩 유닛(CU)에 따라 적용될 루프 필터의 크기 또는 계수는 달라질 수 있다.
이 경우, 코딩 유닛(CU) 별 상기 적응적 루프 필터(ALF)의 적용 여부를 나타내는 정보가 각 슬라이스 헤더에 포함될 수 있다.
색차 신호의 경우, 픽쳐 단위로 적응적 루프 필터(ALF)의 적용 여부를 결정할 수도 있으며, 루프 필터의 형태도 휘도와 달리 직사각형 형태를 가질 수 있다.
또한, 상기 적응적 루프 필터링(ALF)은 슬라이스별로 적용 여부를 결정할 수 있다. 따라서, 현재 슬라이스에 적응적 루프 필터링(ALF)이 적용되는지 여부를 나타내는 정보는 슬라이스 헤더 또는 픽쳐 헤더에 포함될 수 있다.
현재 슬라이스에 적응적 루프 필터링이 적용됨을 나타내면, 슬라이스 헤더 또는 픽쳐 헤더는 추가적으로 적응적 루프 필터링 과정에 사용되는 휘도 성분의 수평 및/또는 수직 방향의 필터 길이를 나타내는 정보를 포함할 수 있다.
슬라이스 헤더 또는 픽쳐 헤더는 필터 세트의 수를 나타내는 정보를 포함할 수 있으며, 필터 세트의 수가 2 이상인 경우 필터 계수들이 예측 방법을 사용하여 부호화될 수 있다.
따라서, 슬라이스 헤더 또는 픽쳐 헤더는 필터 계수들이 예측 방법으로 부호화되는지 여부를 나타내는 정보를 포함할 수 있으며, 예측 방법이 사용되는 경우에는 예측된 필터 계수를 포함할 수 있다.
한편, 휘도 뿐만 아니라, 색차 성분들도 적응적으로 필터링될 수 있으며, 이 경우 색차 성분 각각이 필터링되는지 여부를 나타내는 정보가 슬라이스 헤더 또는 픽쳐 헤더에 포함될 수 있으며 비트수를 줄이기 위해 Cr과 Cb에 대한 필터링 여부를 나타내는 정보와 함께 조인트 코딩(즉, 다중화 코딩)될 수 있다.
이 때, 색차 성분들의 경우에는 복잡도 감소를 위해 Cr과 Cb를 모두 필터링하지 않는 경우가 가장 빈번할 가능성이 높으므로, Cr과 Cb를 모두 필터링하지 않는 경우에 가장 작은 인덱스를 할당하여 엔트로피 부호화를 수행할 수 있다.
그리고, Cr 및 Cb를 모두 필터링하는 경우에 가장 큰 인덱스를 할당하여 엔트로피 부호화를 수행할 수 있다.
도 19를 참조하면, (a)에 도시된 바와 같이 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)는 쿼드 트리(quad tree) 구조로 분할되어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.
또한, 상기 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들은 각각 쿼드 트리 구조로 재 분할될 수 있으며, 상기와 같이 쿼드 트리 구조로 분할되는 코딩 유닛(CU)의 깊이(Depth)는 0부터 3 중 어느 하나의 정수 값을 가질 수 있다.
한편, 도 19의 (a)에 도시된 바와 같이 분할된 코드 유닛(CU)들 각각에 대해 적응적 루프 필터링(ALF)의 적용 여부가 결정될 수 있으며, 적응적 루프 필터링(ALF)의 적용 여부를 포함하는 코딩 유닛(CU)의 분할 구조는 (b)에 도시된 바와 같이 표현될 수 있다.
여기서, split_cu_flag는 해당 노드(node)의 분할 여부를 나타내는 것으로, split_cu_flag가 0인 경우 해당 노드의 코딩 유닛(CU)은 더 작은 크기의 블록들로 분할되지 아니하며, split_cu_flag가 1인 경우 해당 노드의 코딩 유닛(CU) 더 작은 크기의 코딩 유닛(CU)들로 분할된다.
또한, ALF_on/off_flag는 해당 노드의 적응적 루프 필터(ALF) 적용 여부를 나타내는 것으로, ALF_on/off_flag가 0인 경우 해당 노드의 코딩 유닛(CU)에 적응적 루프 필터(ALF)가 적용되지 아니하며, ALF_on/off_flag가 1인 경우 해당 노드의 코딩 유닛(CU)에 적응적 루프 필터(ALF)가 적용된다.
도 20을 참조하면, (a)에 도시된 바와 같이 최대 256x256 픽셀 크기를 가지는 코딩 트리 유닛(CTU)은 먼저 쿼드 트리(quad tree) 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 분할될 수 있다.
여기서, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 이진 트리(bunary tree) 구조로 나뉘어, 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 재 분할될 수 있다.
한편, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조로 나뉘어, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 재 분할될 수도 있다.
그리고 상기 이진 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 이진 트리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 분할될 수 있다.
한편, 상기 쿼드 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나는 쿼드 트리 구조 또는 이진 크리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 코딩 유닛(CU)들로 분할될 수도 있다.
한편, 도 20의 (a)에 도시된 바와 같이 분할된 코드 유닛(CU)들 각각에 대해 적응적 루프 필터링(ALF)의 적용 여부가 결정될 수 있으며, 적응적 루프 필터링(ALF)의 적용 여부를 포함하는 코딩 유닛(CU)의 분할 구조는 (b)에 도시된 바와 같이 표현될 수 있다.
도 20의 (b)에 있어서, 노드들을 연결하는 실선은 상측의 노드가 쿼드 트리 구조로 분할되어 하측의 노드들을 형성하는 것을 의미하며, 노드들을 연결하는 점선은 상측의 노드가 이진 트리 구조로 분할되어 하측의 노드들을 형성하는 것을 의미한다.
도 21은 본 발명의 일 실시 예에 따른 인트라 예측을 수행하는 복호화 장치(20)의 동작을 설명하기 위한 흐름도이다.
본 발명의 다른 일 실시 예에 따르면, 영상 부호화 장치(10)는 인트라 예측 모드를 부호화하여 전송할 수 있다. 영상 부호화 장치(10)는 부호화 대상 블록에 대한 인트라 예측 모드를 부호화하여 전송할 때, 전송되는 비트량을 감소시키고 부호화 효율을 높이기 위해, 인트라 예측부(150)를 통해 전술한 인트라 예측 방향에 대한 인트라 예측 모드를 예측하는 방법을 사용할 수 있다. 복호화 장치(20)는 이에 대한 시그널링 정보를 수신하여, 인트라 예측 모드 후보로부터 선택되는 예측 모드를 이용하여 인트라 예측 복호화를 수행할 수 있다.
특히, 부호화 대상 블록의 예측 모드는 인접한 주변(neighboring) 블록의 예측 모드와 동일할 확률이 높으므로, 영상 부호화 장치(10)는 인트라 예측부(150)를 통해, 부호화 대상 블록에 인접한 주변 블록들의 예측 모드를 이용하여 부호화 대상 블록의 예측 모드를 부호화할 수 있다. 이하, 부호화 대상 블록의 인트라 예측 모드에 대한 예측값으로 사용되는 예측 모드들은 MPM(Most Probable 모드)이라 할 수 있으며. 이하 주변 블록은 현재 블록에 인접한 블록을 의미한다.
인트라 예측부(150)는 부호화 대상 블록에 인접한 주변 블록들로부터 MPM 후보 모드를 도출할 수 있으며, 도출된 MPM 후보 모드를 이용하여 MPM 리스트를 생성할 수 있다. 이 때, 인트라 예측부(150)는 주변 블록들로부터 도출된 MPM 후보 모드들을 MPM 리스트에 할당할 수 있다. 그리고, 인트라 예측부(150)는 생성된 MPM 리스트를 이용하여 인트라 예측 모드를 부호화할 수 있다.
영상 부호화 장치(10)는 MPM 리스트 내에 부호화 대상 블록의 예측 모드와 동일한 MPM 후보 모드가 존재하는지 여부를 판단할 수 있다. 영상 부호화 장치(10)는 MPM 리스트 내에 부호화 대상 블록의 예측 모드와 동일한 MPM 후보 모드가 존재하는지 여부를 지시하는 플래그를 복호화기로 전송할 수 있다. 이하, 상기 플래그는 MPM 플래그라 한다. 일 실시예로, 복호화기로 전송되는 MPM 플래그는 prev_intra_luma_pred_flag로 나타내어질 수 있다. 예를 들어, MPM 리스트 내에 부호화 대상 블록의 예측 모드와 동일한 MPM 후보 모드가 존재하는 경우 MPM 플래그에 1이 할당될 수 있고, 그렇지 않은 경우 0이 할당될 수 있다.
또한, MPM 리스트 내에 부호화 대상 블록의 예측 모드와 동일한 MPM 후보 모드가 존재하는 경우, 부호화기는 부호화 대상 블록의 예측 모드가 MPM 리스트 내의 MPM 후보 모드들 중 어떤 MPM 후보 모드와 동일한지를 지시하는 인덱스(index)를 복호화기로 전송할 수 있다. 이하, 상기 인덱스는 MPM 인덱스라 한다. 일 실시예로, MPM 인덱스는 mpm_idx로 나타내어질 수 있다.
특히, 본 발명의 실시 예에 따라, 상기 쿼드 트리 구조로 분할된 코딩 유닛들 중 적어도 하나가 이진 트리(bunary tree) 구조로 나뉘어, 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 재 분할되거나, 정사각형의 형태를 가지는 4개의 코딩 유닛(CU)들로 재 분할되거나, 상기 이진 트리 구조로 재 분할된 코딩 유닛들 중 적어도 하나가 이진 트리 구조로 다시 나뉘어, 정사각형 또는 직사각형의 형태를 가지는 2개의 코딩 유닛(CU)들로 분할될 수 있는 구조를 고려하여, 상기 MPM 후보 리스트를 구성하는데 필요한 정보를 결정할 수 있다.
이 때, 상기와 같은 쿼드 트리 구조와 이진 트리 구조가 복합적으로 적용됨에 따라, 부호화 및 복호화 효율을 위해 MPM 후보 모드가 이용되었는지 여부와 MPM 모드가 아닌 경우의 부가적인 처리가 필요할 수 있다.
보다 구체적으로, 복호화 장치(20)는 상기 구조의 주변 블록의 인트라 예측 방향(Angular 모드)로부터 현재 복호화 하는 블록의 예측 방향을 유도(Derivation)하여 인트라 예측 모드를 결정함에 있어서, 도 21에 도시된 바와 같이 동작할 수 있다.
먼저 복호화 장치(20)는 MPM 플래그(prev_intra_luma_pred_flag)에 따라 MPM 모드인지 여부를 판단한다(S101).
그리고, MPM 모드인 경우, 복호화 장치(20)는 MPM 인덱스(MPM_idx)를 이용하여 MPM 모드 예측을 위한 후보 리스트를 구성한다(S103).
여기서, 복호화 장치(20)는 현재 복호화 하는 블록으로부터 참조 가능한 주변 블록의 예측 모드를 이용하여, MPM 후보 리스트를 구성할 수 있다. 예를 들어, 복호화 장치(20)는 적어도 주변 5개의 블록의 예측 모드를 기반으로 최대 6개의 MPM List를 구성할 수 있다.
또한, 복호화 장치(20)는 현재 복호화 하는 블록의 예측을 위해, MPM 모드 플래그 및 MPM 인덱스를 파싱하고, 현재 블록의 예측 방향을 유도하여, 인트라 예측 복호화를 수행할 수 있다. 예를 들어, 예측 방향(Angular 모드)에는 65개의 모드가 이용될 수 있으며, 현재 블록으로부터 주변의 좌/좌상/자하/상/우상의 인트라 블록으로 코딩된 적어도 5개 블록을 후보(Candidate)로 참조하여, 상기 MPM List를 구성할 수 있다.
한편, MPM 모드가 아닌 경우, 두 가지 모드가 예시될 수 있다. 하나는 선택 모드로서, 이는 선택 모드 플래그(intra_선택_idx_flag)에 의해 나타내어질 수 있다. 복호화 장치(20)는 선택 모드 플래그의 값이 0인지 1인지 여부에 따라 선택 모드로 결정할 수 있다(S105).
MPM 모드가 아닌 경우에 있어서, 예측 방향을 유도하기 위해, 일정한 제약을 통해 서로 중복되지 않는 방향으로 구성되는 추가적인 모드가 포함될 수 있으며, 이에 대한 인덱스는 고정 길이 부호화(FIXED LENGTH CODING) 또는 절삭 이진 부호화(TRUNCATED BINARY CODING)에 의해 처리될 수 있다. 두 경우를 구분하여 모드 세트(SET)를 구성하고, 각각 선택 모드(selected mode)와 비 선택 모드(Non-selected mode)로 설정하여 처리할 수 있다.
선택 모드에서, 복호화 장치(20)는 전술한 바와 같이 일정한 선택 모드 세트를 구성하고, 이에 기반한 예측을 수행할 수 있다(S107).
선택 모드 리스트는 일정한 자연수의 배수에 기초하여 구성될 수 있다. 그리고, 복호화 장치(20)는 선택 모드 인덱스를 수신하여, 상기 선택 모드 세트 중 하나의 예측 방향을 유도할 수 있다. 그리고, 선택 모드의 인덱스에 대한 예측 부호화에는 4비트 고정 길이 부호화가 예시될 수 있다.
비 선택 모드에서, 복호화 장치(20)는 상기 선택 모드에 포함되지 않는 모드로 구성된 비 선택 모드 세트를 구성하고, 이에 기반한 예측을 수행할 수 있다(S107).
또한, 복호화 장치(20)는 비 선택 모드 인덱스를 수신하여, 상기 비 선택 모드 세트 중 하나의 예측 방향을 유도할 수 있다. 그리고, 선택 모드의 인덱스에 대한 예측 부호화에는 절삭 이진 부호화가 예시될 수 있다.
도 22 내지 24는 본 발명의 실시 예에 따른 주변 블록으로부터 MPM 모드를 구성하는 방식을 설명하기 위한 참조도이다.
도 22를 참조하면, 본 발명의 실시 예에 따라, 복호화 장치(20)는 부호화 단계에서 현재 블록의 적어도 주변 5개의 블록으로부터 예측 모드(Angular 모드)의 예측자(Predictor)를 6개의 MPM 리스트를 구성하여 유도할 수 있다.
예를 들어 도 22에 도시된 바와 같이, 영상 부호화 장치(10)는 주변 블록이 인트라로 부호화 된 경우, 현재 블록으로부터 위쪽에 위치한 상단(Top) 블록, 상단(Top)의 주변 블록인 좌상 및 우상(Top-Left / Top-Right)들이 참조 가능할 경우에, 이들을 MPM List 후보 중 일부로서 선택할 수 있으며, MPM List에 넣을 지 여부를 부호화 효율에 따라 결정할 수 있다.
또한, 영상 부호화 장치(10)는 현재 블록으로부터 주변의 왼쪽에 위치한 좌측(Left), 좌하(Left-Down) 블록들이 참조 가능할 경우에, 이들을 MPM List 후보 중 일부로 선택한 후, MPM List에 넣을 지를 부호화 효율에 따라 결정할 수 있다.
도 23을 참조하면, 도 23은 67개의 Intra prediction에 대한 Angular 모드를 도식화 한 그림으로, 0: Plannar / 1: DC 모드를 의미할 수 있다. 이후, 방향에 따라 65개의 예측 모드(Angular 모드)가 존재할 수 있다. 본 명세서에서, 왼쪽 하단으로 향하는 방향은 Diagonal_2라 할 수 있으며, 오른쪽 상단으로 향하는 방향을 Diagonal_65라 할 수 있다.
그리고, 영상 부호화 장치(10) 및 복호화 장치(20)는 MPM 예측 모드에 기반한 부/복호화 과정에서 5개 주변 블록으로부터 적어도 6개의 MPM List를 채우기 위해, 후술할 제1 방법, 제2 방법에따라 모드를 결정한 후, 더이상 주변 블록으로부터 결정할 모드가 없는 경우, 제3 방법에 따라 리스트를 구성할 수 있다. 이때, Plannar 와 DC의 경우, 주변 블록에서 예측 모드를 유도할 수 없더라도, 제1 방법에 의해 결정될 수 있다.
제1 방법: 영상 부호화 장치(10)는 주변 블록이 인트라로 부호화 된 경우, 주변 블록을 참조 블록으로 설정하고, 리스트에 대해 서로 중복되지 않는 참조 블록의 예측 모드(Angular 모드) 및 DC / Plannar 모드를 부가하여 MPM list를 구성할 수 있다.
제2 방법: 영상 부호화 장치(10)는 제1 방법을 통해 6개의 MPM List를 모두 채우지 못한 경우, 기존의 채워진 모드로부터 가변값(가산 또는 차분 @ 값, @ = 1~2) 값을 통해 계산된 예측 모드를 리스트에 추가할 수 있다. 만약 그래도 6개의 MPM List가 채워지지 않고, 중복된 예측 모드(Angular 모드)로 인해 MPM List 내, DC 또는 Plannar 모드가 없을 경우 영상 부호화 장치(10)는 Plannar 와 DC 모드를 리스트에 추가한다.
제3 방법: 영상 부호화 장치(10)는 상기 제2 및 제3 방법을 통해 6개의 MPM List를 구성하지 못할 경우, Vertical / Horizontal / Diagonal_2 (from Left-Down towards Righit-Top Conner)/ Diagonal_65 (from Right-Top towards Left-Down Conner) 에 기초한 6개의 MPM List를 구성한다. 제1 방법에 의해 Plannar와 DC는 이미 리스트에 존재한다.
도 24는 본 발명의 실시 예에 따른 쿼드 트리 블록 파티션 구조에서의 Intra C가 MPM 모드로 코딩 되었을 때의 실시 예이다.
기존의 쿼드 트리 블록 파티션의 경우, 한 코딩 유닛(CU) 내 분할 된 예측 유닛(PU)이 존재할 수 없으며, 인트라 블록(Intra block)으로 코딩될 경우, NxN의 4개 블록 또는 2Nx2N 의 블록 파티션(Block partition)만이 가능하였다.
그러나 본 발명의 실시 예에 따르면, 전술한 이진 트리가 가능한 쿼드 트리 블록 파티션을 고려하여, 예측 단위 및 코딩 유닛을 결정 짓는 단위가 단말 노드에서 동일한 크기로 이루어 질 경우, 도 24와 같은 파티셔닝이 가능하게 된다. 이에 따라, 기존과 같이 주변의 5개의 모든 블록에서 인트라 예측 방향을 참조하지 못할 수 있고, 이 경우에 전술한 바와 같은 MPM List를 구성하기 위한 방법들이 제안될 수 있다.
도 24와 같은 경우, 영상 부호화 장치(10)는 상기 제안된 제1 방법을 통해 Intra C에 대한 Plannar 모드와 DC 모드를 MPM List로 구성할 수 있다. 그리고, 영상 부호화 장치(10)는 참조할 예측 모드(Angular 모드)가 존재 하지 않으므로, 제2 방법을 Skip할 수 있다. 그리고, 영상 부호화 장치(10)는 제3 방법에 의해 Vertical / Horizontal 및 2개의 Diagonal 방향의 순서로 나머지 MPM List를 구성하여 6개의 MPM List를 구성할 수 있다.
도 25는 본 발명의 실시 예에 따른 MPM 리스트 구성방법을 설명하기 위한 흐름도이다.
앞서 도 22 내지 도 24를 통해 설명한 바와 같이, 본 발명의 실시 예에 따른 복호화 장치(20)는 인트라 예측부(230)를 통해 MPM 모드를 위한 MPM 리스트를 제1 내지 제3 방법에 순차적으로 구성할 수 있다. 이에 대한 리스트 구성방법을 단계적으로 설명하면 하기와 같다.
먼저, 복호화 장치(20)는 현재 블록이 인트라 코딩 블록인지 판단하고(S201), 인트라가 아닌 경우에는 인터 예측 복호화를 수행한다(S203).
그리고, 복호화 장치(20)는 인트라 코딩 블록의 경우, MPM 플래그에 기초하여 MPM 모드인지 여부를 판단한다(S205).
만약, MPM 모드가 아닌 경우 복호화 장치(20)는 전술한 비 MPM 모드(비 MPM 모드)로 복호화하며(S207), 이에 대하여는 보다 구체적으로 후술하도록 한다.
한편, MPM 모드인 경우 복호화 장치(20)는 현재 블록의 상단 또는 상단 주변 블록이 인트라 방향 모드 예측에 이용가능한지 판단한다(S209).
그리고, 이용가능한 경우, 복호화 장치(20)는 상단 및 상단 주변 블록에 기초한 예측 모드를 MPM 리스트에 추가한다(S211).
그리고, 이용블가한 경우, 복호화 장치(20)는 좌측 및 좌측주변 블록의 이용가능한지를 다시 판단하고, 가능한 경우 좌측 및 좌측주변 블록에 기초한 예측 모드를 MPM 리스트에 추가한다(S213).
이후, 복호화 장치(20)는 MPM 리스트가 채워졌는지 여부를 판단한다(S215).
그리고, 채워지지 않는 경우, 복호화 장치(20)는 MPM 리스트에 추가 가능한 예측 모드가 존재하는지 판단하고(S217), 추가 가능한 예측 모드를 MPM 리스트에 추가할 수 있다(S219).
존재하지 않는 경우, 복호화 장치(20)는 DC 또는 Planner 예측 모드를 각각 MPM 리스트에 추가할 수 있다(S221).
이후, 복호화 장치(20)는 MPM 리스트가 여전히 채워지지 않았는지 판단할 수 있으며(S223), 채워지지 않은 경우에는 기본 모드(DEFAULT 모드)를 이용하여 MPM 리스트에 추가할 수 있다(S225).
한편, MPM 리스트가 채워진 경우, 즉, 예를 들어 MPM 리스트 개수가 6개가 된 경우, 복호화 장치(20)는 MPM 리스트 구성을 종료하고 이에 대한 MPM 인덱스 정보를 파싱하여 현재 블록의 인트라 예측 모드에 따른 복호화를 수행할 수 있다.
도 26 및 도 27은 본 발명의 실시 예에 따라, MPM 모드가 아닌 경우의 인트라 예측 모드 복호화 방법을 설명하기 위한 흐름도이다.
도 26을 참조하면, 먼저 복호화 장치(20)는 MPM 모드인지 여부에 따라, 복수의 비 MPM 모드를 결정할 수 있다. 복수의 비 MPM 모드는 미리 설정된 모드들(Non_MPM_mode_1, Non_MPM_mode_2, ...) 중 어느 하나일 수 있으며, 각각의 플래그에 따라 결정될 수 있다.
또한, 도 27에 도시된 바와 같이 복호화 장치(20)는 MPM 모드 플래그와 선택 모드 플래그가 TRUE인지 여부에 따라 각각의 예측 모드(MPM, 선택 모드, 비 선택 모드)로 진입하고, MPM 리스트, 선택 모드 세트 또는 비 선택 모드 세트로부터 예측 모드를 유도할 수 있다.
먼저, 복호화 장치(20)는 전술한 MPM 모드 플래그를 파싱하여, MPM 모드 여부를 확인할 수 있다.
그리고, MPM 모드인 경우, 복호화 장치(20)는 MPM 모드로 복호화를 수행할 수 있다. 전술한 바와 같이, MPM 모드에 있어서, 67개의 인트라 예측 모드(Intra prediction 모드)를 통해 복호화가 처리될 수 있으며 여기에는 65개의 Angular 모드와 DC / Plannar 모드가 포함될 수 있다.
한편, MPM 모드로 부호화 되지 않았을 때, 복호화 장치(20)는 비 MPM 모드로 처리할 수 있으며, 여기에는 MPM 모드에서 포함되지 않는 61개의 Intra 모드 중 하나로 복호화 하기 위한 선택 모드와 비 선택 모드가 적용될 수 있다.
이 때, 기존 방법으로서 고정 길이 부호화(Fixed length coding)을 수행할 경우, 총 6 Bit가 소요 되므로, 복호화 장치(20)는 남은 61개의 인트라 모드(Intra 모드)를 복수개의 비 MPM 모드(Non-MPM mode)로 분류하고, 분류된 비 MPM 모드의 종류별 일정한 알고리즘에 따라 비 MPM 모드 세트를 구성할 수 있다.
만약, 현재 복호화 블록이 비 MPM 모드로 부호화된 경우, 복호화 장치(20)는 비 MPM 모드의 종류를 선택하는 신택스와, 선택된 비 MPM 모드 세트의 인덱스를 복호화 하여 복호화 블록의 예측 모드(Angular 모드)를 유도할 수 있다. 이와 같은 방법으로 비 MPM 모드의 블록을 부/복호화 할 경우, 분류되는 비 MPM 모드 수와 각 비 MPM 모드 세트를 구성하는 규칙에 따라 bit saving 효과를 이룰 수 있으며, 부호화 효율을 향상시킬 수 있다.
이에 대한 한 실시 예로, 도 26에 도시된 바와 같이 비 MPM 모드는 2개로 분류할 수 있다. 이중 하나의 비 MPM 모드를 선택 모드 그리고 예측 모드 세트(Angular set)를 선택 모드 세트라고 할 수 있다.
한편, 다른 하나는 비 선택 모드로 부를 수 있고, 이에 대한 Angular set은 비 선택 모드 set이라 부를 수 있으며, 이때, 비 선택 모드는 선택 모드 set에 포함되지 않는 Angular 모드로만 구성될 수 있다.
예를 들어, 선택 모드 세트를 4의 배수로 구성할 경우, Plannar와 DC 모드를 제외한 2부터 67까지의 Angular 모드를 Set A = {4, 8, 12, 16, .. 60, 64}와 같이 총 16개의 set으로 구성할 수 있고, 부호화 단계에서 선택된 Angular 모드에 대해 복호화 장치(20)는 이들 중 하나의 Index를 선택할 수 있다.
한편, 복호화 장치(20)는 복호화 블록이 비 MPM 모드에서 선택 모드로 선택 되었을 때, 상기 Angular 모드를 복호화 할 수 있다. 또한 추가로 이는 4bit 의 Fixed lenth coding으로 부/복호화를 할 수 있으므로, 종래의 방법 대비 압축 효율을 향상시킬 수 있다.
이어서, 복호화 장치(20)는 비 선택 mod set은 선택 모드에 포함되지 않는 Angular 모드로 Set B = {2, 3, 5, 6, 7, …, 65, 66, 67}로 구성할 수 있으며, 이를 절단 이진 부호화(truncated binary coding) 방식을 통해 복호화하여 부호화 및 복호화 효율을 향상 시킬 수 있다.
도 28은 본 발명의 실시 예에 따른 MPM 모드 및 비 MPM 모드의 업데이트 기반 복호화 방식을 설명하기 위한 흐름도이다.
도 28을 참조하면, Non-MPM mode로 복호화 된 블록에 있어, 업데이트 받기 전 까지는 초기 값으로 설정된 복수개의 비 MPM 모드 세트(Non-MPM mode set)를 통해 인트라 방향 모드(Intra angular)를 유도할 수 있으며, 이후, 기본 설정된 Non-MPM mode의 세트 구성을 업데이트 하여 복호화 블록의 방향 예측 모드(Angular mode)를 유도할 수 있다.
이에 따라, 복호화 장치(20)는 먼저 MPM 모드인지 판단하고(S301), MPM 모드인 경우에는 MPM 리스트로부터 예측 모드를 유도하고(S315), MPM모드가 아닌 비 MPM 모드인 경우(S303), 비 MPM 모드 세트의 업데이트 정보가 존재하는지 판단한다(S305).
이를 위해, 영상 부호화 장치(10)는 슬라이스 헤더 또는 픽쳐 헤더에 Non-MPM 업데이트 정보를 포함시켜 전송할 수 있다. Non-MPM 업데이트 정보는 Non-MPM Mode 들 중 선택된 모드 정보 또는 세트 구성의 일정한 규칙에 대한 업데이트 정보를 포함할 수 있다.
복호화 장치(20)는 업데이트가 존재하지 않는 경우에는 초기 Non-MPM 모드 세트로부터 예측 모드(Angular mode)를 유도할 수 있다(S311).
이때, Non-MPM mode가 2개로 구성될 경우, 복호화 장치(20)는 이중 하나를 선택 모드(Selected mode)로, 다른 하나를 비 선택 모드(Non-selected mode)로 구성한 다음, Selected mode는 4의 배수 집합, Non-selected mode는 Selected mode에 포함되지 않는 모드를 포함하는 집합으로서 Initial Non-MPM set을 구성할 수 있다.
그리고, 업데이트 정보가 포함된 경우 복호화 장치(20)는 선택 모드 세트(Selected mode set)와 Non-MPM mode set의 Angular mode들의 정보를 업데이트 할 수 있으며(S307), 업데이트 된 Non-MPM mode 세트로부터 예측 모드(Angular mode)를 유도할 수 있다.
예를 들어, 복호화 장치(20)는 기본 모드 리스트(Default mode set)를 구성하고, 픽쳐 헤더, 슬라이스 헤더 또는 타일 헤더로부터 Non-MPM Mode의 복수개의 기본 모드 세트(Default mode set)에 대응되는 추가정보를 획득하거나, 기 지정된 Set에 대응하는 변화 값을 획득하여, 복수개의 Non-MPM mode set을 업데이트할 수 있다.
여기서, 주변 블록에서 서로 다른 예측 모드로 코딩된 경우, MPM Mode의 기본값(Default)으로 MPM List를 채울 때 압축 효율이 떨어질 가능성이 존재할 수 있다. 이에 따라, 영상 부호화 장치(10)는 Non-MPM mode의 Default set의 일부를 선택기 위한 Default set 의 인덱스와, 상기 인덱스에 대응하는 방향 예측 모드(Angular mode)의 추가 예측 모드(Angular mode)를 차분 신호 값으로 전달함으로써 Non-MPM mode의 Angular를 효율적으로 유도할 수 있다.
예를 들어, 기본 모드 세트가 Default mode set = {4, 8, 12} 과 같이 구성되면, 영상 부호화 장치(10)는 상기 인덱스에 대응되는 차분 신호{1, 0, 2} 만 전송할 수 있다. 이에 따라, 복호화 장치(20)는 기본 모드 세트가 구성된 후, 상기 차분 신호를 수신하여 업데이트된 모드 세트 {5, 8, 14}를 획득할 수 있다.
또한, 상기 Non-MPM Mode에 대한 복수개의 mode list를 사용함에 있어,복호화 장치(20)는 GOP 단위에 따라, 이전 GOP에서 일정 빈도 이상 선택된 Non-MPM Mode를 이용하여, 현재 GOP를 업데이트할 수 있다.
그리고, 복호화 장치(20)는 S311, S309 또는 S315를 통해 선택된 예측 모드에 기초하여, 현재 인트라 블록에 대한 복호화를 수행한다(S317).
한편, 이하에서는 도 29 내지 도 31을 참조하여, 본 발명의 실시 예에 따른 변환 유닛(Transform Unit: TU)에 대한 처리를 설명하도록 한다.
전술한 바와 같이, 코딩 유닛을 이진 트리(binary tree) 구조로 분할함에 있어서, 예측 유닛 뿐만 아니라 변환 유닛 또한 이진 트리(binary tree) 구조로 분할될 수 있다. 다만, 기존의 쿼드 트리 변환에서 이용되는 변환 트리 플래그(transform_tree_flag)만을 포함하는 신택스를 이용하는 경우, 각각의 분할된 TU들에 대해 순차적으로 쿼드트리를 구성하기 위한 함수들이 호출되므로 비효율적인 문제점이 있다.
이에 따라, 본 발명의 실시 예에 따른 부호화 장치(10)의 변환부(120)는 변환 유닛을 생성하고, 이에 대한 정보를 시그널링함에 있어서, 변환 트리 플래그(transform_tree_flag)뿐만 아니라, 이진 트리(binary tree) 구조의 분할 정보를 추가적으로 이용할 수 있다.
이를 위해, 변환부(120)는 도 29에 도시된 것과 같이, 각각은 더이상 분할되지 않는 블록의 크기와 모양을 갖는 4가지 경우의 쿼드트리 또는 이진 트리 구조의 분할 모드들로 구분할 수 있다. 변환부(120)는 각각의 4가지 경우에 대응되는 처리를 수행하기 위해, 변환 트리 플래그(transform_tree_flag)와 바이너리 분할 변환 플래그(split_binary_transform_flag)를 이용한 분할여부를 결정할 수 있으며, 각각의 4가지 경우까지 분할된 변환 블록들에 대한 최종 변환을 수행할 수 있다.
또한, 복호화 장치(20)에서는 이와 같이 변환된 영상 스트림이 수신되면, 역양자화/역변환부(220)를 통해, 전술한 변환 트리 플래그 및 바이너리 분할 변환 플래그를 식별하고 이에 대응되는 쿼드 트리 또는 이진 트리(binary tree) 구조로의 분할 및 최종 분할된 변환 유닛에 대한 역변환을 처리할 수 있다.
이를 도 30 및 도 31을 참조하여 보다 구체적으로 설명하도록 한다.
본 발명의 실시 예에 따르면, 복호화 장치(20)는 도 31에 도시된 바와 같이, 쿼드 트리 분할에 따른 변환 트리 플래그에 기반한 처리 및 바이너리 분할 변환 플래그에 기반한 처리동작을 전체 변환 트리 함수(transform_tree()) 내에 위치시킴으로써, 쿼드 트리와 이진 트리가 복합된 변환 유닛에 대한 복호화를 효율적으로 처리할 수 있다.
이에 따라 도 30을 참조하면, 복호화 장치(20)는 먼저 전체 변환 유닛에 대한 복호화가 시작되면, 도 31에 도시된 바와 같은 변환 트리 함수(transform_tree) 동작에 의해, 복호화 대상 변환 유닛의 변환 트리 플래그(transform_tree_flag)가 참인지 여부를 판단한다(S401).
만약 참인 경우, 복호화 장치(20)는 쿼드 트리로서 분할된 것으로 판단하여, 먼저 1/4 하위 변환 블록에 대한 TU 복호화를 수행하고(S403), 2/4 하위 변환 블록에 대한 TU 복호화를 수행하며(S405), 3/4 하위 변환 블록에 대한 TU 복호화를 수행하고(S407), 4/4 하위 변환 블록에 대한 TU 복호화를 수행함으로써(S409), 쿼드트리로 분할된 각 변환 블록에 대한 역변환 처리를 완료할 수 있다.
한편, 변환 트리 플래그가 참이 아닌 경우, 복호화 장치(20)는 복호화 대상 변환 유닛의 바이너리 분할 변환 플래그(transform_binary_flag)를 식별하고, 참인지 여부를 판단한다(S411).
만약 바이너리 분할 변환 플래그가 참인 경우, 복호화 장치(20)는 1/2 하위 변환 블록에 대한 복호화를 수행하고(S413), 이후 나머지 1/2 하위 변환 블록에 대한 복호화를 수행하여, 이진 분할된 각 변환 블록에 대한 역변환 처리를 완료할 수 있다(S415).
한편, 바이너리 분할 변환 플래그도 참이 아닌 경우에는, 복호화 장치(20)는 복호화 대상 변환 유닛의 블록 크기에 기초하여, 변환 유닛 전체에 대한 역변환 처리를 수행할 수 있다(S417).
이와 같은 복호화 장치(20)의 프로세스는 각각의 분할 된 변환 유닛들에 대해 다시 호출되는 재귀적 구조로 처리될 수 있다. 따라서, 도 30에서는 본 발명의 실시 예가 순차적으로 처리되는 것을 예시하고 있으나, 본 발명의 실시 예에 따른 복호화 장치(20)의 동작은 각각의 변환 유닛들별로 재귀적으로 수행될 수 있으며, 따라서, 동시 또는 순차적으로 처리되거나 병렬 프로세스에 의해 병행 처리될 수도 있다.
한편, 본 발명의 실시 예에 따르면, 복호화 장치(20)는 별도 시그널링 없이 기존 파싱된 정보를 이용하여, 선택적 또는 적응적으로 변환 유닛의 분할 여부 및 파티션 방향(수직 또는 수평 등)을 결정하는 것이 더 효율적일 수 있다.
이를 위해, 본 발명의 실시 예에 따른 복호화 장치(20)는 분할 변환 플래그(Split_transform_flag)를 이용하여, 특정 조건에 따른 이진 파티션(binary partition) 또는 쿼드라틱 파티션(quadratic partition)을 결정하고, 이에 따른 역변환을 처리할 수 있다.
이에 따라, 기존의 쿼드트리 분할만을 적용하는 분할 변환 플래그(split_tranform_flag)의 기능이 확장될 필요성이 있다.
보다 구체적으로, 기존의 변환 트리 신택스 상의 분할 변환 플래그(split_tranform_flag)는 2N x 2N 형태의 쿼드 트리에 대한 분할여부를 시그널링하는데 이용되고 있다.
그러나, 본 발명의 실시 예에 따른 복호화 장치(20)는 분할 변환 플래그(split_tranform_flag)의 기능을 확장시킬 수 있다. 이에 따라, 분할 변환 플래그는 이진 파티션(binary partition) 2개의 블록에 대한 수평 / 수직 크기로의 분할을 나타내거나, 또는 쿼드라틱(Quadratic)한 4개의 블록으로 분할하는 것을 나타낼 수 있도록 확장될 수 있다. (예를 들어, split_transform_flag[ x0 ][ y0 ][ trafoDepth ] specifies whether a block is split into four blocks(quadratic) or two blocks(binary) with half horizontal and half vertical size for the purpose of transform coding. 과 같이 추가적인 기능이 정의될 수 있다)이에 따라, 복호화 장치(20)는 본 발명의 실시 예에 따라 확장된 분할 변환 플래그를 파싱하고, CU의 블록 크기, CU 분할 Depth, CU 분할 패턴, PU의 예측 모드, TU의 크기, TU Depth(상위 TU 블록에서의 재귀 호출 여부) 중 적어도 하나를 조건 정보로 이용함으로써, 변환 블록의 바이너리 파티션(binary parition) 구조를 별도 시그널링 없이도 판단할 수 있게 된다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (11)

  1. 영상 처리 방법에 있어서,
    영상의 픽쳐를 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)이 수행되는 기본 단위인 복수의 코딩 유닛(Coding Unit)들로 분할하는 단계; 및
    상기 분할된 코딩 유닛들 중 인트라 예측된 유닛에 대해, 복호화 대상 블록에 인접한 주변 블록의 인트라 예측 방향으로부터 상기 복호화 대상 블록의 예측 방향을 유도하기 위한 예측 모드 리스트를 선택적으로 구성하는 단계;를 포함하고,
    상기 코딩 유닛 분할 단계는 상기 픽처 또는 상기 분할된 코딩 유닛을 이진 트리(binary tree) 구조로 분할하는 단계를 포함하는
    영상 처리 방법.
  2. 제1항에 있어서,
    상기 구성하는 단계는,
    상기 복호화 대상 블록이 MPM 모드로 부호화된 경우, 상기 복호화 대상 블록으로부터 이용가능한 주변 인트라 블록들의 예측 방향 모드에 기초하여, 상기 예측 모드 리스트를 MPM(Most Probable mode) 리스트로 구성하는 단계를 포함하는
    영상 처리 방법.
  3. 제2항에 있어서,
    상기 참조 가능한 주변 인트라 블록은 상기 복호화 대상 블록의 상단, 좌상단, 우상단, 좌측 및 좌하단 블록인
    영상 처리 방법.
  4. 제1항에 있어서,
    상기 구성하는 단계는,
    상기 복호화 대상 블록이 MPM 모드로 부호화되지 않은 경우, MPM 모드에서 선택되지 않은 적어도 하나의 방향 예측 모드(Angular mode) 정보를 포함하는 하나 이상의 비 MPM 모드 리스트를 상기 예측 모드 리스트로 구성하는 단계를 포함하는
    영상 처리 방법.
  5. 제4항에 있어서,
    상기 비 MPM 모드 리스트는 선택 모드 리스트 또는 비 선택 모드 리스트를 포함하며,
    상기 선택 모드 리스트에 대응되는 예측 모드 인덱스는 고정 길이 부호화되며,
    상기 비 선택 모드 리스트에 대응되는 예측 모드 인덱스는 절단 이진 부호화되는 것을 특징으로 하는
    영상 처리 방법.
  6. 제4항에 있어서,
    상기 구성하는 단계는,
    상기 비 MPM 모드를 위한 기본 모드 세트를 구성하는 단계;
    상기 기본 모드 세트에 대응되는 업데이트 정보를 수신하는 단계; 및
    상기 업데이트 정보에 따라 업데이트된 비 MPM 모드 세트에 기초하여 상기 예측 모드 리스트를 구성하는 단계를 포함하는
    영상 처리 방법.
  7. 제6항에 있어서,
    상기 업데이트 정보는
    픽쳐 헤더, 슬라이스 헤더 또는 타일 헤더에 포함되어 시그널링되는 것을 특징으로 하는
    영상 처리 방법.
  8. 제6항에 있어서,
    상기 업데이트 정보는 상기 기본 모드 세트의 예측 모드 인덱스에 대응되는 차분 신호를 포함하는
    영상 처리 방법.
  9. 제1항에 있어서,
    상기 픽쳐를 구성하는 2 이상의 슬라이스(slice)들은 각각 복수의 코딩 트리 유닛(Coding Tree Unit)들로 분할되며,
    상기 코딩 유닛 분할 단계는
    상기 코딩 트리 유닛을 하나 또는 2 이상의 코딩 유닛들로 분할하는 단계를 포함하고, 상기 코딩 트리 유닛은 최대 256x256 픽셀 크기를 가지는
    영상 처리 방법.
  10. 제9항에 있어서, 상기 코딩 유닛 분할 단계는
    상기 코딩 트리 유닛을 정사각형의 형태를 가지는 4개의 코딩 유닛들로 분할하는 단계; 및
    상기 분할된 정사각형의 코딩 유닛들 중 적어도 하나를 직사각형 형태를 가지는 2개의 코딩 유닛들로 재 분할하는 단계;를 포함하는
    영상 처리 방법.
  11. 영상을 복호화하는 방법에 있어서,
    부호화된 비트스트림을 입력받는 단계;
    상기 입력된 비트스트림에 대해 역양자화 및 역변환을 수행하여 잔차 블록을 획득하는 단계;
    인터 예측 또는 인트라 예측을 수행하여 예측 블록을 획득하는 단계;
    상기 획득된 잔차 블록과 예측 블록을 합하여 영상을 복원하는 단계; 및
    상기 복원된 영상에 대하여, 상기 코딩 유닛별로 적응적 루프 필터링을 수행하는 단계;를 포함하고,
    상기 인터 예측 또는 인트라 예측이 수행되는 기본 단위인 코딩 유닛은 이진 트리 구조를 이용하여 코딩 트리 유닛으로부터 분할된 블록이며,
    상기 예측 블록을 획득하는 단계는,
    상기 분할된 코딩 유닛들 중 인트라 예측된 유닛에 대해, 복호화 대상 블록에 인접한 주변 블록의 인트라 예측 방향으로부터 상기 복호화 대상 블록의 예측 방향을 유도하기 위한 예측 모드 리스트를 선택적으로 구성하는 단계를 더 포함하는
    영상 복호화 방법.
PCT/KR2016/013717 2016-05-23 2016-11-25 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법 WO2017204427A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/304,619 US20190289301A1 (en) 2016-05-23 2016-11-25 Image processing method, and image encoding and decoding method using same
CN201680086068.3A CN109314790A (zh) 2016-05-23 2016-11-25 影像处理方法、利用其的影像解码及编码方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2016-0063020 2016-05-23
KR10-2016-0063022 2016-05-23
KR1020160063020A KR20170132036A (ko) 2016-05-23 2016-05-23 영상 처리를 위한 블록 분할 방법, 그를 이용한 영상 부호화 및 복호화 방법
KR1020160063022A KR20170132038A (ko) 2016-05-23 2016-05-23 영상 처리를 위한 블록 기반 적응적 루프 필터링 방법, 그를 이용한 영상 부호화 및 복호화 방법
KR10-2016-0132038 2016-10-12
KR1020160132038A KR20180040319A (ko) 2016-10-12 2016-10-12 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법

Publications (1)

Publication Number Publication Date
WO2017204427A1 true WO2017204427A1 (ko) 2017-11-30

Family

ID=60412489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/013717 WO2017204427A1 (ko) 2016-05-23 2016-11-25 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법

Country Status (3)

Country Link
US (1) US20190289301A1 (ko)
CN (1) CN109314790A (ko)
WO (1) WO2017204427A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184834A1 (en) * 2018-03-28 2019-10-03 Fg Innovation Ip Company Limited Device and method for coding video data in multiple reference line prediction
WO2020042916A1 (en) * 2018-08-27 2020-03-05 Huawei Technologies Co., Ltd. Method and Apparatus for Intra Prediction
CN111602400A (zh) * 2018-01-15 2020-08-28 金起佰 用于色度分量的帧内预测编码/解码方法和装置
CN112703741A (zh) * 2018-07-13 2021-04-23 弗劳恩霍夫应用研究促进协会 分区内编码概念
JP2021528901A (ja) * 2018-07-14 2021-10-21 エルジー エレクトロニクス インコーポレイティドＬｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｉｎｃ． 映像コーディングシステムにおけるイントラ予測関連情報を使用する映像デコード方法およびその装置
CN113678436A (zh) * 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的最可能模式列表构造
US11805275B2 (en) 2019-06-05 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Context determination for matrix-based intra prediction
US11943444B2 (en) 2019-05-31 2024-03-26 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810699B (zh) * 2016-04-29 2024-05-14 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US9712830B1 (en) 2016-09-15 2017-07-18 Dropbox, Inc. Techniques for image recompression
US10958903B2 (en) * 2016-10-04 2021-03-23 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding image and recording medium storing bit stream
CN116405672A (zh) * 2017-12-22 2023-07-07 数码士有限公司 视频信号处理方法和设备
KR102422798B1 (ko) * 2018-03-08 2022-07-19 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
EP3777144A4 (en) * 2018-03-30 2021-12-22 Hulu, LLC Intra prediction mode signaling for video coding
CN112369037B (zh) * 2018-07-02 2022-04-22 华为技术有限公司 视频编解码中的滤波装置和方法
US10764577B2 (en) * 2018-10-25 2020-09-01 Futurewei Technologies, Inc. Non-MPM mode coding for intra prediction in video coding
US11102513B2 (en) * 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform
GB2582023A (en) * 2019-03-08 2020-09-09 British Broadcasting Corp Method of signalling in a video codec
KR20200110213A (ko) * 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN113785575A (zh) * 2019-03-21 2021-12-10 佳稳电子有限公司 处理图片分割的影像编码方法、影像解码方法及其装置
CN118488194A (zh) * 2019-04-10 2024-08-13 北京达佳互联信息技术有限公司 用于视频编码的方法和电子装置
CN112055200A (zh) * 2019-06-05 2020-12-08 华为技术有限公司 Mpm列表构建方法、色度块的帧内预测模式获取方法及装置
CN119728983A (zh) * 2019-06-19 2025-03-28 Lg 电子株式会社 用于限制色度块的分割条件的图像编码和解码方法和设备以及用于传送比特流的方法
CN110446050A (zh) * 2019-07-31 2019-11-12 北京百度网讯科技有限公司 帧内预测方法、装置、设备及计算机可读存储介质
US11206395B2 (en) * 2019-09-24 2021-12-21 Mediatek Inc. Signaling quantization matrix
CN119583798A (zh) * 2019-12-12 2025-03-07 Lg电子株式会社 解码和编码设备及发送用于图像的数据的设备
CN113329225B (zh) * 2020-02-28 2024-10-15 北京三星通信技术研究有限公司 视频编解码方法和装置
CN115398905A (zh) * 2020-03-29 2022-11-25 阿里巴巴集团控股有限公司 环路滤波器的高级语法控制
CN111553928B (zh) * 2020-04-10 2023-10-31 中国资源卫星应用中心 一种辅以Openstreetmap信息的城市道路高分遥感自适应提取方法
CN112291562B (zh) * 2020-10-29 2022-06-14 郑州轻工业大学 针对h.266/vvc的快速cu分区和帧内模式决策方法
US12081742B2 (en) * 2021-06-11 2024-09-03 Tencent America LLC Intra mode coding
CN115623218A (zh) * 2021-07-13 2023-01-17 财团法人工业技术研究院 特征数据编码方法、编码器、特征数据解码方法及解码器
US12120335B2 (en) 2021-08-24 2024-10-15 Tencent America LLC Hardware friendly design for intra mode coding
CN116472711A (zh) * 2021-08-24 2023-07-21 腾讯美国有限责任公司 用于帧内模式编码的硬件友好设计

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110003414A (ko) * 2009-07-04 2011-01-12 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
US20120128070A1 (en) * 2009-02-23 2012-05-24 Korean Broadcasting System Video Encoding Method for Encoding Division Block, Video Decoding Method for Decoding Division Block, and Recording Medium for Implementing the Same
WO2012173315A1 (ko) * 2011-06-17 2012-12-20 엘지전자 주식회사 인트라 예측 모드 부호화/복호화 방법 및 장치
WO2013115568A1 (ko) * 2012-01-30 2013-08-08 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20150056610A (ko) * 2012-11-13 2015-05-26 인텔 코포레이션 차세대 비디오용 비디오 코덱 아키텍처

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
KR20140079661A (ko) * 2012-12-18 2014-06-27 주식회사 팬택 Mpm을 이용한 계층적 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US20180160113A1 (en) * 2015-06-05 2018-06-07 Intellectual Discovery Co., Ltd. Method and device for encoding and decoding intra-frame prediction
MX2019002383A (es) * 2017-02-06 2019-07-08 Huawei Tech Co Ltd Metodo y aparato de codificacion y metodo y aparato de decodificacion.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120128070A1 (en) * 2009-02-23 2012-05-24 Korean Broadcasting System Video Encoding Method for Encoding Division Block, Video Decoding Method for Decoding Division Block, and Recording Medium for Implementing the Same
KR20110003414A (ko) * 2009-07-04 2011-01-12 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
WO2012173315A1 (ko) * 2011-06-17 2012-12-20 엘지전자 주식회사 인트라 예측 모드 부호화/복호화 방법 및 장치
WO2013115568A1 (ko) * 2012-01-30 2013-08-08 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20150056610A (ko) * 2012-11-13 2015-05-26 인텔 코포레이션 차세대 비디오용 비디오 코덱 아키텍처

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12113967B2 (en) 2018-01-15 2024-10-08 B1 Institute Of Image Technology, Inc. Encoding/decoding method and apparatus for coding unit partitioning
CN111602400A (zh) * 2018-01-15 2020-08-28 金起佰 用于色度分量的帧内预测编码/解码方法和装置
CN111602400B (zh) * 2018-01-15 2024-04-19 有限公司B1影像技术研究所 用于色度分量的帧内预测编码/解码方法和装置
US11838499B2 (en) 2018-01-15 2023-12-05 B1 Institute Of Image Technology, Inc. Encoding/decoding method and apparatus for coding unit partitioning
WO2019184834A1 (en) * 2018-03-28 2019-10-03 Fg Innovation Ip Company Limited Device and method for coding video data in multiple reference line prediction
US11350082B2 (en) 2018-03-28 2022-05-31 FG Innovation Company Limited Device and method for coding video data in multiple reference line prediction
CN112703741A (zh) * 2018-07-13 2021-04-23 弗劳恩霍夫应用研究促进协会 分区内编码概念
US11330255B2 (en) 2018-07-14 2022-05-10 Lg Electronics Inc. Image decoding method and apparatus relying on intra prediction in image coding system
JP2021528901A (ja) * 2018-07-14 2021-10-21 エルジー エレクトロニクス インコーポレイティドＬｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｉｎｃ． 映像コーディングシステムにおけるイントラ予測関連情報を使用する映像デコード方法およびその装置
JP7098761B2 (ja) 2018-07-14 2022-07-11 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおけるイントラ予測関連情報を使用する映像デコード方法およびその装置
US11044469B2 (en) 2018-08-27 2021-06-22 Huawei Technologies Co., Ltd. Method and apparatus for intra prediction
CN112385227A (zh) * 2018-08-27 2021-02-19 华为技术有限公司 用于帧内预测的方法和装置
WO2020042916A1 (en) * 2018-08-27 2020-03-05 Huawei Technologies Co., Ltd. Method and Apparatus for Intra Prediction
CN113678436A (zh) * 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的最可能模式列表构造
CN113678436B (zh) * 2019-04-12 2023-11-24 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的最可能模式列表构造
US11831877B2 (en) 2019-04-12 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Calculation in matrix-based intra prediction
US11943444B2 (en) 2019-05-31 2024-03-26 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
US11805275B2 (en) 2019-06-05 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Context determination for matrix-based intra prediction

Also Published As

Publication number Publication date
US20190289301A1 (en) 2019-09-19
CN109314790A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
WO2017204427A1 (ko) 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
WO2018070809A1 (ko) 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
WO2018026118A1 (ko) 영상 부호화/복호화 방법
WO2017204532A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2019172705A1 (ko) 샘플 필터링을 이용한 영상 부호화/복호화 방법 및 장치
WO2017018664A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018135885A1 (ko) 변환 처리를 제공하는 영상 복호화 및 부호화 방법
WO2018030599A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017043816A1 (ko) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019022568A1 (ko) 영상 처리 방법, 그를 이용한 영상 부호화/복호화 방법 및 그 장치
WO2015122549A1 (ko) 동영상 처리 방법 및 장치
WO2012005520A2 (en) Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging
WO2017086747A1 (ko) 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치
WO2018030773A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2019194647A1 (ko) 필터 정보 기반의 적응적 루프 필터링 방법, 그를 이용한 영상 부호화 및 복호화 방법
WO2019194653A1 (ko) 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2017183751A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020096427A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2012005521A2 (ko) 조절 가능한 루프 필터링을 이용한 비디오 부호화 방법 및 그 장치, 조절 가능한 루프 필터링을 이용한 비디오 복호화 방법 및 그 장치
WO2018174457A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2020096428A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2021107532A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2012044104A2 (ko) 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치
WO2018182184A1 (ko) 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2019190199A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903275

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16903275

Country of ref document: EP

Kind code of ref document: A1