KR19990002473A - Image Encoding Method and Apparatus Considering Visual Sensitivity - Google Patents
Image Encoding Method and Apparatus Considering Visual Sensitivity Download PDFInfo
- Publication number
- KR19990002473A KR19990002473A KR1019970026089A KR19970026089A KR19990002473A KR 19990002473 A KR19990002473 A KR 19990002473A KR 1019970026089 A KR1019970026089 A KR 1019970026089A KR 19970026089 A KR19970026089 A KR 19970026089A KR 19990002473 A KR19990002473 A KR 19990002473A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- prediction error
- visual
- complexity
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 시감색차특성(PCT)을 고려한 영상부호화방법 및 장치에 관한 것으로서, 그 부호화방법은 원영상의 화소들에 대한 PCT값을 결정하고, 입력된 원영상 블록 내의 각 화소별로, PCT값의 색차크기와 주변화소의 색차크기를 비교하여 영상복잡도를 구하는 단계; 영상복잡도가 높으면 PCT값을 상대적으로 높이고, 영상복잡도가 낮으면 상대적으로 PCT값을 낮추는 PCT값조정단계; 원영상과 움직임 추정 및 보상에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 예측오차영상(e)이라 정의할 때, 예측오차영상(e) 및 소정의 시감오차영상(P')을 사용하여 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 단계; 보상예측오차영상(e')에 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하고, 보상예측오차영상(e')과 시감예측오차영상(S)의 차를 구하여 시감오차영상(P')을 생성하는 단계; 및 생성된 시감예측오차영상(S)을 이산여현변환(DCT) 및 양자화(Q)를 포함한 일련의 부호화과정을 통해 부호화하는 단계를 구비한다.The present invention relates to an image encoding method and apparatus in consideration of PCT. The encoding method determines a PCT value for pixels of an original image, and determines the PCT value for each pixel in the input original image block. Obtaining an image complexity by comparing a color difference size with a color difference size of a neighboring pixel; A PCT value adjusting step of relatively increasing the PCT value if the image complexity is high and lowering the PCT value if the image complexity is low; When the error between the original image and the predicted image predicted by the previous image reconstructed by motion estimation and compensation is defined as the predictive error image (e), the predictive error image (e) and a predetermined visual error image (P ') are used. Generating a compensation prediction error image e 'that compensates for the prediction error image e; By applying the adjusted PCT value to the compensation prediction error image (e '), a visual prediction error image (S) with reduced error generation is generated, and the difference between the compensation prediction error image (e') and the vision prediction error image (S) is calculated. Obtaining and generating a visual error image (P ′); And encoding the generated visual prediction error image S through a series of encoding processes including a discrete cosine transform (DCT) and a quantization (Q).
본 발명에 의하면, 사람의 시감색차특성을 적용하여 부호화할 화소의 주변영상특성을 정의하여 예측오차를 조정하고, 조정된 예측오차를 다음 부호화영상에 보상함으로써 화질의 열화는 초래하지 않으면서 부호화효율을 향상시킨다.According to the present invention, the prediction error is adjusted by defining a peripheral image characteristic of a pixel to be encoded by applying the visual perceptual difference characteristic of a person, and compensating the adjusted prediction error to the next encoded image, without causing deterioration of image quality. To improve.
Description
본 발명은 영상 부호화방법 및 장치에 관한 것으로서, 특히 시감 색차 특성을 이용하여 영상 부호화 효율을 향상시키는 영상 부호화 방법 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding method and apparatus, and more particularly, to an image encoding method and apparatus for improving image encoding efficiency using visual gamut difference characteristics.
일반적으로, 영상 부호화는 부호화된 영상 데이터(bitstream) 량을 최소화하면서 아울러 복원된 영상의 화질 열화를 최소화하는 것을 목적으로 한다. 이를 위하여, 시간 영역대(time domain)에서 이전 영상과 현재 영상간의 영상 데이터의 상관성(redundancy)과 공간 영역대(spatial domain)에서 영상 데이터들간의 상관성을 이용해 복원 영상의 화질 열화 정도를 최소화하면서 부호화할 영상 데이터량을 줄이는 압축 부호화 방법을 사용하고 있다. 특히, 시간 영역대에서는 이전 시간에 있는 영상과 현재 시간에 있는 영상간의 움직임을 이용해 예측 오차 영상을 구성하고, 이 예측 오차 영상을 부호화하고 보상하는 방법을 일반적으로 사용한다. 한편, 이와 같이 영상 부호화 효율을 높이기 위해 구성한 예측 오차 영상들중에는 실제로 사람의 눈으로 구별할 수 없는 오차 영상들도 존재하는데 이런 예측 오차 영상들을 선별하여 제거한다면 영상 부호화 효율을 더욱 높일 수 있을 것이다.In general, image encoding aims to minimize the amount of encoded image data (bitstream) while minimizing deterioration of image quality of a reconstructed image. To this end, encoding is performed while minimizing the quality degradation of the reconstructed image by using the correlation of the image data between the previous image and the current image in the time domain and the correlation of the image data in the spatial domain. A compression encoding method that reduces the amount of video data to be used is used. In particular, in the time domain, a prediction error image is constructed by using a motion between an image at a previous time and an image at a current time, and a method of encoding and compensating the prediction error image is generally used. On the other hand, some of the prediction error images configured to increase the image encoding efficiency are not actually distinguishable by the human eye. If the prediction error images are selected and removed, the image encoding efficiency may be further increased.
기존의 디지탈 영상 부호화 방법에서 입력된 영상 데이터에 대한 상관성을 이용해 부호화 효율을 높이는 방법으로는 도 1에 도시한 바와 같이 일반적으로 두가지 부호화 기법을 사용한다.As a method of increasing encoding efficiency by using correlation of input image data in a conventional digital image encoding method, as shown in FIG. 1, two encoding techniques are generally used.
첫번째 방법은 DCT(Discrete Cosine Transform)를 이용해 부호화할 입력 영상 데이터들을 시간 주파수(temporal frequency) 영역에서 공간 주파수(spatial frequency) 영역으로 변환하여 공간 주파수 영역에서 영상 데이터들의 상관성을 정의하는 변환 부호화 방법(transform coding)이다. 이 부호화 방법은 영상 데이터의 손실 없이 영상 데이터의 공간 주파수 특성만을 추출하여, 영상의 압축, 부호화 방법에 이용하는 것을 그 특징으로 하며, 정지(still) 영상 부호화 방법에 많이 이용된다.The first method is a transform encoding method for transforming input image data to be encoded using a discrete cosine transform (DCT) from a temporal frequency domain to a spatial frequency domain to define correlation of the image data in the spatial frequency domain ( transform coding). This encoding method is characterized by extracting only spatial frequency characteristics of the image data without losing the image data, and using it for the compression and encoding method of the image, and is widely used in still image encoding methods.
두번째 방법은 DPCM(Differential Pulse Code Modulation)에 의한 예측 부호화 방법(Predictive Coding)으로, 시간 영역에서 부호화할 영상 데이터들의 상관성을 정의하게 한다. 이 방법은 도 1에 도시한 것과 같이, 영상 입력부(11)에서 n번째 부호화할 영상(O)을 입력 받았을 경우 (n-1)번째 부호화한 이전 영상과 비교하여 부호화 영상 단위별 움직임 정도를 벡터값을 이용해 추정하고, 추정된 움직임 벡터에 의해 n번째 부호화할 원영상에 대한 예측 영상(P)을 구성하게 한다. 이와 같이 구성된 예측 영상(P)은 실제 n번째 원영상(O)과 비교했을때 움직임에 의한 오차를 갖고 있는데, 이런 움직임에 의한 오차를 예측 오차(e)라 하고 다음 수학식 1과 같이 정의한다.The second method is a predictive coding method based on differential pulse code modulation (DPCM), and defines correlation of image data to be encoded in the time domain. As shown in FIG. 1, when the image input unit 11 receives an image n to be encoded, the motion degree of each encoded image unit is compared to the previous image encoded by the (n−1) th vector. A value is estimated using the estimated motion vector, and a predicted image P for the n-th coded original image is constructed using the estimated motion vector. The predicted image P configured as described above has an error due to movement when compared with the actual nth original image O. The error caused by such movement is called a prediction error (e) and is defined as Equation 1 below. .
[수학식 1][Equation 1]
e = O - Pe = O-P
이와 같이 정의된 예측 오차(e)는 시간 영역에서 영상 데이터들의 상관 정도를 의미하는 것으로, 이 예측 오차(e)에 의해 구성된 영상 데이터만을 실제 부호화기에서 사용하므로서 영상 데이터의 손실은 있으나 영상의 부호화 효율을 높일 수 있는 특성을 갖고 있다. 따라서, 동화상 부호화 방법에서는 도 1과 같이 영상 신호의 공간 상관성을 추출하는 DCT와 시간 상관성을 추출하는 DPCM 방법을 모두 적용한 혼합형 부호화 방법(hybrid coding)을 많이 사용한다.The prediction error (e) defined as described above refers to the degree of correlation of the image data in the time domain. Since only the image data configured by the prediction error (e) is used in the actual encoder, the image data is lost, but the encoding efficiency of the image is reduced. It has a characteristic to increase. Accordingly, in the moving picture coding method, as shown in FIG. 1, a hybrid coding method using both a DCT for extracting spatial correlation of an image signal and a DPCM method for extracting temporal correlation is frequently used.
한편, 이와 같은 영상 데이터의 상관성 추출 방법에 인간의 시감 색차 특성(Perceptual Color Tolerance;PCT)을 고려한다면 보다 높은 효율의 부호화 효과를 기대할 수 있다. 예를 들어, DPCM 과정을 통해 얻은 예측 오차값들 중에는 실제 사람의 눈으로는 식별할 수 없는 예측 오차들이 상당량 존재하고 있다. 따라서, 이와 같은 예측 오차들을 시감 색차 특성(PCT)을 이용해 제거한다면 동일한 복원 영상의 화질을 제공하면서도 영상 데이터의 상관성만을 상대적으로 높여 주는 효과를 갖게 하여 부호화 효율을 향상시키는 결과를 갖게 할 수 있다. 아울러, 부호화할 영상이 복잡한 영상인 경우 단순한 영상에 비해 오차에 대한 식별력이 상대적으로 감소하는 시감 특성이 있다. 그런데, 이와 같은 시감 특성은 PCT를 이용한 영상 복잡도 분류법을 이용해 정의하므로써 영상 복잡도가 큰 값으로 분류된 부호화 영상에서 예측된 영상 오차들중 식별 불가능한 예측 오차를 선별하기 위해 사용되는 문턱치를 보다 큰 값으로 정의할 수 있게 한다. 따라서 예측 오차의 제거 효과를 더욱 높이게 할 수 있다. 그리고 시감 색차를 갖는 예측 오차들은 그 오차값의 크기에 무관하게 복원된 영상에서 사람의 눈으로 식별 가능하기 때문에 이와 같은 예측 오차에 대해 시감 색차 특성치를 이용해 0 에 가까운 값으로 재조정시키므로써 영상 데이터의 상관성을 높여 영상 부호화 효율을 보다 증대시키게 할 수 있다. 또한, 부호화 효율을 고려해 조정된 예측 오차를 다음 부호화 영상 처리시 보상시킬 수 있다.On the other hand, if the human perceptual color difference (PCT) is considered in the correlation extraction method of the image data, a higher efficiency encoding effect can be expected. For example, among the prediction error values obtained through the DPCM process, there are a considerable amount of prediction errors that cannot be identified by the human eye. Therefore, if the prediction errors are eliminated by using the PCT, the image quality of the same reconstructed image may be provided, but only the correlation of the image data may be relatively increased, thereby improving the coding efficiency. In addition, when the image to be encoded is a complex image, there is a visual perception characteristic in which the discriminating power of an error is relatively reduced compared to a simple image. However, such visual perception characteristics are defined using the image complexity classification method using the PCT, and the threshold value used to select an unidentifiable prediction error among the predicted image errors in the encoded image classified into a large image complexity value is set to a larger value. To be defined. Therefore, the effect of eliminating the prediction error can be further enhanced. Prediction errors with visual chrominance can be identified by the human eye in the reconstructed image regardless of the magnitude of the error value. Correlation can be increased to further increase image encoding efficiency. In addition, the prediction error adjusted in consideration of encoding efficiency may be compensated for in the next encoded image processing.
본 발명이 이루고자하는 기술적과제는, 영상 부호화 효율을 더욱 향상시키기 위해, 인간의 시감색차특성을 실시간 처리가 가능하도록 룩업테이블(Look-Up Table :LUT)로 모델링하고, 원영상을 이용해 영상복잡도를 분류하여 복잡도에 따라 차별적으로 시감예측오차들을 분류 및 조정시키고, 조정된 예측오차는 다음 부호화 영상에 보상시키는, 시감색차특성을 고려한 영상 부호화방법을 제공하는 데 있다.In order to further improve image coding efficiency, a technical task of the present invention is to model a look-up table (LUT) to enable real-time processing of human visual perception difference characteristics, and to calculate image complexity using an original image. The present invention provides a method of encoding an image in consideration of visual color difference, which classifies and classifies visual prediction errors according to complexity, and compensates the adjusted prediction error in a next encoded image.
본 발명이 이루고자 하는 다른 기술적과제는, 상기 영상 부호화방법을 실현하는데 가장 적합한 영상 부호화 장치를 제공하는 데 있다.Another technical problem to be solved by the present invention is to provide a video encoding apparatus most suitable for realizing the video encoding method.
도 1은 일반적인 영상 부호화장치의 블록도를 도시한 것이다.1 is a block diagram of a general video encoding apparatus.
도 2는 본 발명에 의한 영상 부호화기의 구성을 블록도로 도시한 것이다.2 is a block diagram showing the configuration of an image encoder according to the present invention.
도 3은 도 2의 시감예측 오차처리부의 보다 상세한 구성을 블록도로 도시한 것이다.3 is a block diagram illustrating a more detailed configuration of the visibility prediction error processor of FIG. 2.
도 4는 Y 색성분에서 부호화시 발생되는 비트량을 최소화하기 위해 예측 오차 크기가 작아지는 방향으로 시감 오차(P')를 예측오차(e)에 보상시키는 방법을 도시한 것이다.FIG. 4 illustrates a method of compensating for the luminous error P ′ to the prediction error e in a direction in which the magnitude of the prediction error decreases in order to minimize the amount of bits generated during encoding in the Y color component.
도 5는 시감색차 룩업테이블 생성을 위한 임의의 한 화소에 대한 시감색차 좌표를 도시한 것이다.FIG. 5 shows the visual color difference coordinates for any one pixel for generating the visual color difference lookup table.
도 6 (a)는 영상 복잡도 분류를 위한 영상블록(O)의 임의의 한 영상 O(x,y)를 기준으로 한 윈도우 W를 도시한 것이다.FIG. 6 (a) shows a window W based on any one image O (x, y) of the image block O for image complexity classification.
도 6 (b) 및 (c)는 영상복잡도 분류부에서 복잡한 영상이지만 민감한 영상으로 분류되는 영상 패턴을 도시한 것이다.6 (b) and 6 (c) show image patterns classified as complex images but sensitive images in the image complexity classifier.
도 7은 시감 색차를 고려한 예측오차를 도시한 것으로서, (a)는 n-1 번째 예측오차 데이터를 도시한 것이며, (b)는 시감오차를 보상한 n번째 예측오차데이터를 도시한 것이다.FIG. 7 illustrates prediction errors in consideration of visual color difference, (a) shows n-th prediction error data, and (b) shows n-th prediction error data that compensates for visual error.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
25 : 시감예측오차 처리부25: visual prediction error processing unit
251 : 영상복잡도 결정부,253 : 허용시감색차 조정부251: image complexity determining unit, 253: allowable time difference adjustment unit
255 : 예측오차 보상부,257 : 시감예측 오차 발생부255: prediction error compensation unit, 257: visual prediction error generation unit
상기 본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여 본 발명에 의한, 부호화하고자하는 영상(원영상)을 시감색차특성(PCT)를 고려해서 부호화하는 영상부호화방법은, (a) 상기 원영상의 각 화소들에 대한 PCT값을 결정하고, 상기 입력된 원영상 블록 내의 각 화소별로, 상기 각 화소의 PCT값의 색차크기와 상기 각 화소의 주변화소의 색차크기를 비교하여 영상복잡도를 구하는 단계; (b) 상기 (a)단계에서 구해진 영상복잡도에 따라, 상기 영상복잡도가 높으면 PCT값을 상대적으로 높이고, 상기 영상복잡도가 낮으면 상대적으로 PCT값을 낮추는 PCT값조정단계; (c) 원영상과 움직임 추정 및 보상에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 예측오차영상(e)이라 정의할 때, 상기 예측오차영상(e) 및 소정의 시감오차영상(P')을 사용하여 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 단계; (d) 상기 (c)단계에서 생성된 보상예측오차영상(e')에 상기 (b)단계에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성하는 단계; 및 (e) 상기 (d)단계에서 생성된 시감예측오차영상(S)을 적어도 이산여현변환(DCT) 및 양자화(Q)를 포함한 일련의 부호화과정을 통해 부호화하는 단계를 포함함이 바람직하다.In order to achieve the technical problem to be achieved by the present invention, an image encoding method for encoding an image (original image) to be encoded in consideration of visual gamma difference characteristics (PCT) according to the present invention, (a) the angle of the original image Determining a PCT value for the pixels and comparing the color difference size of the PCT value of each pixel with the color difference size of the peripheral pixel of each pixel for each pixel in the input original image block to obtain image complexity; (b) a PCT value adjusting step of relatively increasing the PCT value when the image complexity is high and relatively lowering the PCT value when the image complexity is low according to the image complexity obtained in step (a); (c) When the error between the original image and the predicted image predicted by the previous image reconstructed by motion estimation and compensation is defined as a predictive error image (e), the predictive error image (e) and a predetermined visual error image (P) Generating a compensation prediction error image (e ') that compensates for the prediction error image (e) using'); (d) applying the PCT value adjusted in step (b) to the compensation prediction error image (e ') generated in step (c) to generate a vision prediction error image (S) which reduces an error amount, and compensates for the compensation. Generating the visual error image P ′ by obtaining a difference between a prediction error image e ′ and the visual prediction error image S; And (e) encoding the visual perception prediction error image S generated in step (d) through a series of encoding processes including at least a discrete cosine transform (DCT) and a quantization (Q).
상기 (d)단계의 시감예측오차(S)의 생성은 상기 (c)단계에서 생성된 보상예측오차영상(e')에 상기 (b)단계에서 조정된 PCT값을 적용하여 상기 조정된 PCT값에 대한 Y 색성분을 Ty, U 색성분을 Tu, V 색성분을 Tv라 할 때, 상기 Y색성분에 대해서, e'Y가 0 보다 크고 Ty 이하이면 SY = 0 이고, e'Y가 0 보다 작으면 SY = e'Y + Ty 이며, e'Y가 Ty 보다 크면 SY = e'Y - Ty 이고, 상기 U 색성분 및 V 색성분에 대해서도 상기 Y색성분에서와 동일한 방법으로 처리하되, Y는 각각 U 및 V로 치환됨을 특징으로 한다.The generation of the visual perception prediction error S in step (d) is performed by applying the PCT value adjusted in step (b) to the compensation prediction error image e ′ generated in step (c). For Y color component for Ty, U color component for Tu, V color component for Tv, for Y color component, SY = 0 if e'Y is greater than 0 and less than Ty, and SY if e'Y is less than 0. = e'Y + Ty, if e'Y is greater than Ty, then SY = e'Y-Ty, and the U color component and V color component are treated in the same manner as in the Y color component, with Y being U and V, respectively. Characterized in that it is substituted.
상기 (a)단계의 원 영상의 각 화소별 PCT값 결정은 원 영상의 화소의 색값을 PCT값으로 정의한 룩업테이블을 이용하여 결정함을 특징으로 한다.The PCT value determination for each pixel of the original image of step (a) is determined using a lookup table in which the color value of the pixel of the original image is defined as the PCT value.
한편, 상기 본 발명의 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상부호화 장치는, 영상 신호의 공간 상관성을 추출하는 여산여현변환기와 시간 상관성을 추출하는 움직임 추출 및 보상부를 구비하며, 부호화하고자 입력되는 원영상 블록내의 각 영상 화소의 시감색차특성값을 룩업테이블을 이용해 정의하고, 원영상 블록내의 임의의 한 화소에 대한 주변 영상 특성치를 상기 화소를 중심으로 구성된 NxN 크기의 윈도우 블록내에서 인접한 주변화소들간의 색차값과 시감 색차특성값을 서로 비교하여 영상복잡도 구간을 생성하는 영상복잡도결정부; 상기 영상복잡도 결정부에서 결정된 영상복잡도 구간에 따라 상기 원영상 블록에서 정의된 각 화소들의 시감색차 특성값에 가중치를 부여하여 화소의 시감색차 특성값을 조정하는 허용시감색차조정부; 원영상과 상기 움직임 추정 및 보상부에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 정의한 예측오차영상(e) 및 소정의 시감오차영상(P')을 입력으로 하여, 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 예측오차보상부; 및 상기 예측오차보상부에서 생성된 보상예측오차영상(e')에 허용시감새차조정부에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하여 상기 이산여현변환기로 출력하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성하는 시감예측오차발생부를 포함함이 바람직하다.On the other hand, according to the present invention for achieving another technical problem of the present invention, the video encoding apparatus has a video cosine transformer for extracting the spatial correlation of the video signal and a motion extraction and compensation unit for extracting the temporal correlation, The visual perception difference characteristic value of each image pixel in the input original image block is defined using a look-up table, and peripheral image characteristic values of any one pixel in the original image block are adjacent in a NxN-sized window block centered on the pixel. An image complexity determiner for generating an image complexity section by comparing color difference values and visual gaze characteristic values between neighboring pixels; A permissible perceptual chrominance adjusting unit configured to adjust the perceptual chrominance characteristic value of each pixel by weighting the perceptual chrominance characteristic value of each pixel defined in the original image block according to the image complexity section determined by the image complexity determination unit; The prediction error image (e) and a predetermined visual error image (P ′) defining an error between the original image and the prediction image predicted by the previous image reconstructed by the motion estimation and compensation unit are input. a prediction error compensator configured to generate a compensation prediction error image e 'that compensates for e); And applying the PCT value adjusted by the allowable gamma difference adjusting part to the compensation prediction error image e ′ generated by the prediction error compensator to generate a gaze prediction error image S which reduces an error occurrence and outputs it to the discrete cosine converter. In addition, it is preferable to include a visual prediction error generation unit for generating the visual error error image (P ') by obtaining a difference between the compensation prediction error image (e') and the vision prediction error image (S).
상기 영상 복잡도 결정부는, 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력으로 하여 이 화소를 중심으로 하는 NxN 크기의 윈도우 W(단, (N-1)은 4의 배수값)를 4x4 크기의 종속영상블럭들 s(0≤s≤n, n은 종속영상블럭들의 총수)로 나누고, 각 종속영상 블록들의 특성을 이용해 윈도우 W의 영상복잡도를 정의함이 바람직하다.The image complexity determining unit inputs the pixels O (x, y) (0 ≦ x ≦ M−1, 0 ≦ y ≦ M−1) of the original image, and has an N × N window W (where , (N-1) divides 4) by 4x4 dependent image blocks s (0≤s≤n, n is the total number of dependent image blocks), and uses the characteristics of each dependent image block to It is desirable to define the image complexity.
상기 허용시감색차조정부는, 상기 영상복잡도결정부에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 시감 색차 특성 가중치를, 그렇지 않으면 작은 시감 색차 특성 가중치를 영상복잡도에 따라 차별적으로 부여한다.The allowable perceptual color difference adjusting unit receives the complexity defined by the image complexity determining unit and divides the complex intervals into a specific size, and if the complexity is large, a large visual color difference characteristic weight is obtained, otherwise a small visual color difference characteristic weight is assigned to the image complexity. Differentiate accordingly.
상기 시감예측오차발생부는, 허용 시감 색차 조정부에서 정의된 PCT(Ty, Tu, Tv)와 예측 오차 영상 e' 의 각 색성분별 크기(e'Y, e'U, e'V)를 비교하여 조정된 PCT 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고 PCT보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키므로써 시감 색차 특성에 따른 시감 예측 오차 영상 S를 정의한다.The visual prediction error generation unit adjusts by comparing the size (e'Y, e'U, e'V) for each color component of the prediction error image e 'with the PCT (Ty, Tu, Tv) defined by the allowed visual perception color difference adjustment unit. Prediction errors with values smaller than the PCT magnitude are determined as errors that do not have a luminous color difference, and all of them are replaced by 0, and prediction errors with a magnitude larger than the PCT are converted to values close to zero. A visual prediction error image S is defined.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대하여 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 의한 영상 부호화기의 구성도로서, 영상 입력부(11), 감산기(12), 이산여현변환기(DCT;13), 양자화기(Q;14), 역양자화기(Q-1;15), 역이산여현변환기(DCT-1;16), 가산기(17), 영상 복원부(18), 움직임 추정부(19), 움직임 보상부(20), 가변길이 부호화기(VLC;21), 버퍼(22), 비트스트림 출력부(23), 비트조정부(24)와 시감예측오차 처리부(25)로 구성된다. 여기서, 시간예측오차 처리부(25)를 제외한 나머지 구성요소들은 도 1에 도시된 일반적인 영상 부호화기의 구성요소와 동일하다.2 is a block diagram of an image encoder according to the present invention, which includes an image input unit 11, a subtractor 12, a discrete cosine transformer (DCT) 13, a quantizer (Q; 14), and an inverse quantizer (Q- 1) ; 15) an inverse discrete cosine transformer (DCT- 1 ; 16), an adder 17, an image reconstructor 18, a motion estimator 19, a motion compensator 20, a variable length encoder (VLC) 21, A buffer 22, a bitstream output section 23, a bit adjusting section 24 and a visibility prediction error processing section 25 are provided. Here, the remaining components except for the time prediction error processor 25 are the same as those of the general video encoder illustrated in FIG. 1.
도 3은 도 2에 있어서 시감예측 오차처리부(25)의 블록도로서, 영상복잡도 결정부(251), 허용시감색차 조정부(253), 예측오차보상부(255), 시감예측오차 발생부(257)로 이루어진다.FIG. 3 is a block diagram of the vision prediction error processor 25 in FIG. 2, which includes an image complexity determining unit 251, an allowable vision color difference adjusting unit 253, a prediction error compensator 255, and a vision prediction error generation unit ( 257).
상기 영상복잡도결정부(251)는 부호화하고자 입력되는 원영상 블록내의 각 영상 화소의 시감색차특성값을 룩업테이블(Look-up Table)을 이용해 정의하고, 원영상 블록내의 임의의 한 화소에 대한 주변 영상 특성치를 상기 화소를 중심으로 구성된 NxN 크기의 윈도우 블록내에서 인접한 주변화소들간의 색차값과 시감 색차특성값을 서로 비교하여 영상복잡도 구간을 생성한다. 그리고 실제 영상을 양자화할 때 양자화특성(Quantixation Step Size)과 불일치하는 경우에는, 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력으로 하여 이 화소를 중심으로 하는 NxN 크기의 윈도우 W(단, (N-1)은 4의 배수값)를 4x4 크기의 종속영상블럭들 s(0≤s≤n, n은 종속영상블럭들의 총수)로 나누고, 각 종속영상 블록들의 특성을 이용해 윈도우 W의 영상복잡도를 정의한다. 즉, Y 성분을 이용하는 분산값 대신에 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력 받아 이 화소를 중심으로 하는 NxN 윈도우 Wx,y (단, (N-1)은 4의 배수)의 영상 복잡도를 시감 색차 특성을 이용해 정의하여 부호화할 화소에 시감 특성을 고려한 PCT 가중치를 부여할 수 있도록 한다.The image complexity determiner 251 defines a value of the color perception difference of each image pixel in the original image block to be encoded by using a look-up table, and surrounds an arbitrary pixel in an original image block. The image complexity value is generated by comparing the color difference value and the luminous color difference characteristic value between adjacent neighboring pixels in an N × N sized window block centered on the pixel. When the quantization of the actual image does not match the quantization characteristic (Quantixation Step Size), the pixel O (x, y) (0≤x≤M-1, 0≤y≤M-1) of the original image is inputted. NxN-sized window W (where (N-1) is a multiple of 4) of the 4x4 subordinate image blocks s (0≤s≤n, n is the total number of subordinate image blocks). The image complexity of the window W is defined using the characteristics of each dependent image block. In other words, instead of the variance value using the Y component, the pixel O (x, y) (0≤x≤M-1, 0≤y≤M-1) of the original image is input, and the NxN window Wx centering on the pixel is obtained. The image complexity of y (where (N-1) is a multiple of 4) is defined by using the luminous color difference characteristic so that the PCT weight considering the luminous characteristic can be given to the pixel to be encoded.
상기 허용시감색차 조정부(253)는 상기 영상복잡도 결정부(251)에서 결정된 영상복잡도 구간에 따라 상기 원영상 블록에서 정의된 각 화소들의 시감색차 특성값에 가중치를 부여하여 화소의 시감색차 특성값을 조정한다. 즉 상기 영상복잡도 결정부(251)에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 PCT 가중치를 그렇지 않으면 작은 PCT 가중치를 영상 복잡도에 따라 차별적으로 부여할 수 있게 하여 부호화기에 부호화할 영상 특성을 제공하도록 한다.The permissible colorimetric difference adjusting unit 253 weights the colorimetric characteristic value of each pixel defined in the original image block according to the image complexity section determined by the image complexity determining unit 251, and thus the colorimetric characteristic value of the pixel. Adjust it. In other words, the complexity defined by the image complexity determiner 251 is input and divided into complexity sections of a specific size. To provide an image characteristic to be encoded.
상기 예측오차보상부(255)는 원영상과 상기 움직임 추정 및 보상부(19,20)에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 정의한 예측오차영상(e) 및 소정의 시감오차영상(P')을 입력으로 하여, 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성한다. 즉 상기 허용시감색차 조정부(253)에서 조정된 PCT값에 의해 0 이나 0 에 근접한 값으로 조정된 예측오차들의 조정되기전 오차값(P')만을 다음에 부호화할 영상에 대한 예측오차영상(e)에 비트발생량이 줄어드는 방향으로 보상시킨다.The prediction error compensator 255 is a prediction error image (e) that defines an error between the original image and the prediction image predicted by the previous image reconstructed by the motion estimation and compensation units 19 and 20, and a predetermined visual error image. By inputting (P ′), a compensation prediction error image (e ′) compensating the prediction error image (e) is generated. That is, only the error value P ′ before the adjustment of the prediction errors adjusted to 0 or a value close to 0 by the PCT value adjusted by the allowable time-difference difference adjusting unit 253 includes a prediction error image ( Compensate for e) in the direction of decreasing bit generation.
상기 시감예측오차 발생부(257)는 상기 예측오차보상부(255)에서 생성된 보상예측오차영상(e')에 허용시감색차조정부(253)에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하여 이산여현변환기(DCT,13)로 출력하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성한다. 보다 상세하게는 설명하면 상기 허용시감색차 조정부(253)에서 정의된 PCT(Ty, Tu, Tv)와 예측오차영상(e)의 각 색성분별 크기(eY, eU, eV)를 비교하여 조정된 PCT 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고, PCT보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키므로써 시감색차특성에 따른 시감예측오차 영상(S)을 정의한다.The visual prediction error generator 257 reduces the amount of error by applying the PCT value adjusted by the allowed visual color difference adjustment unit 253 to the compensation prediction error image e ′ generated by the prediction error compensator 255. A visual prediction image (S) is generated and output to a discrete cosine transformer (DCT, 13), and the difference between the compensation prediction error image (e ') and the visual prediction error image (S) is obtained. Create ') In more detail, it is adjusted by comparing the size (eY, eU, eV) of each color component of the PCT (Ty, Tu, Tv) defined by the allowable time difference adjustment unit 253 with the prediction error image (e). Prediction errors with values smaller than the PCT magnitude are judged as errors that do not have a color gamut, and are all replaced with zeros. A visual prediction error image S is defined.
그러면, 본 발명의 동작에 대하여 도 2 내지 도 6을 참조하여 설명하면 다음과 같다.Next, the operation of the present invention will be described with reference to FIGS. 2 to 6.
도 2에 있어서, 시감예측오차 처리부(25)는 예측 오차 영상(e)이 DCT(13)에 입력되기 전 단계에서 PCT를 모델링한 LUT를 이용해 부호화할 원영상(O)에 대한 영상의 복잡도를 분류하여 PCT값을 조정하고, 발생한 예측 오차 영상들(e)을 조정된 PCT값에 따라 0 또는 0 에 가까운 값으로 변환시키고, 변환되기 전의 예측오차값과 변환된 후의 예측 오차값을 이용해 다음 부호화 영상에 보상시켜 영상의 부호화효율을 높여주기 위한 것으로서, 도 3을 참조하여 좀 더 상세히 설명하면 다음과 같다.In FIG. 2, the visual perception prediction processor 25 determines the complexity of the image of the original image O to be encoded using the LUT modeling the PCT before the prediction error image e is input to the DCT 13. Classify and adjust the PCT value, convert the generated prediction error images (e) to 0 or close to 0 according to the adjusted PCT value, and then encode the next prediction using the predicted error value before the transform and the predicted error value after the transform. Compensated for the image to increase the encoding efficiency of the image, it will be described in more detail with reference to FIG.
도 3에 있어서, 먼저 영상 복잡도 결정부(251)의 동작은 다음과 같다.In FIG. 3, the operation of the image complexity determiner 251 is as follows.
YUV 색값으로 구성된 MxM 원영상 블럭(O)를 입력받아 각 영상 화소들 O(x,y)(단, 0≤x≤M-1, 0≤y≤M-1)에 대한 PCT값을 LUT를 이용해 결정한다. 그리고, 입력 원영상 블럭내의 각 화소들마다의 주변 영상 복잡도를 대상 화소를 중심으로 한 NxN 크기의 윈도우 블럭을 정의하여 윈도우 블럭내에 있는 인접 화소간의 색차와 PCT값을 서로 비교해 시감 색차를 발생하는 인접한 화소들을 추출하여 영상 복잡도 구간을 정의한다. 이때, 연산의 복잡성을 줄이기 위해 LUT를 사용한다. 먼저, 이 영상복잡도 결정부(251)에서 사용되는 PCT용 LUT는 CIE L*a*b* 균등 시감 색좌표계상에서 다음 수학식 2와 같이 정의된 CMC(Color Measurement Committee) 시감 색차 공식을 적용해 각 색성분들(L, a, b)에 대한 허용 시감 색차 크기를 결정하고, CIE L*a*b* 색좌표계에서 정의된 허용 시감 색차 크기를 YUV 색좌표계로 변환시켜 도 5에 도시한 것과 같이 구성된다.LUT is obtained by inputting the MxM original image block O composed of the YUV color values and the PCT values for each image pixel O (x, y) (0≤x≤M-1, 0≤y≤M-1). We decide by using. In addition, an NxN-sized window block is defined based on the target pixel based on the surrounding image complexity of each pixel in the input original image block, and the color difference between the adjacent pixels in the window block and the PCT value are compared to each other to generate a gaze color difference. Pixel complexity is extracted to define an image complexity section. In this case, LUT is used to reduce the complexity of the operation. First, the PCT LUT used in the image complexity determination unit 251 applies a CMC (Color Measurement Committee) luminous color difference formula defined in Equation 2 on the CIE L * a * b * equal luminous color coordinate system. Determine the permissible luminous color difference magnitude for the color components (L, a, b), convert the permissible luminous color difference size defined in the CIE L * a * b * color coordinate system into a YUV color coordinate system and configure as shown in FIG. do.
[수학식 2][Equation 2]
그리고, 입력된 원영상 화소의 색값(Oy, Ou, Ov)에 의해 LUT를 이용한 PCT값 (Ty, Tu, Tv)를 정의하는 방법은 다음 수학식 3과 수학식 4와 같다.A method of defining PCT values (Ty, Tu, Tv) using LUTs by the color values (Oy, Ou, Ov) of the input original image pixels is shown in Equations 3 and 4 below.
[수학식 3][Equation 3]
index = (Oy/32)*64 + (Ou/32)*8 + (Ov/32)index = (Oy / 32) * 64 + (Ou / 32) * 8 + (Ov / 32)
[수학식 4][Equation 4]
Ty = LUT[index][0]Ty = LUT [index] [0]
Tu = LUT[index][2]Tu = LUT [index] [2]
Tv = LUT[index][4]Tv = LUT [index] [4]
상기 수학식 4는 영상 입력 형태가 4:4:4 형태일 경우 Tu와 Tv를 정의하는 식으로 영상의 입력 형태에 따라 Tu와 Tv의 결정 방법은 다른게 정의된다. 예를 들면, 4개의 Y성분에 1개의 u와 v성분이 결합되는 4:2:0 영상 입력 형태일 경우 수학식 3과 수학식 4를 적용하면 1개의 u성분에 4 가지 Tu값이 정의되는데(v성분도 동일함) 이런 경우 4 가지 Tu값들 중 최소값으로 결정하게 한다.Equation 4 defines Tu and Tv when the image input form is 4: 4: 4. The method of determining Tu and Tv is differently defined according to the input form of the image. For example, in the case of a 4: 2: 0 image input form in which one u and v components are combined with four Y components, when Equations 3 and 4 are applied, four Tu values are defined for one u component. In this case, the minimum of four Tu values is decided.
이와 같은 방법으로 입력된 원영상의 각 화소들에 대한 PCT값들이 정의되면 입력 영상 블럭내의 각 화소들을 중심으로 한 주변 영상들의 복잡도를 결정해야 하는데 이는 도 6의 (a)와 같이 대상 화소를 중심으로 구성한 NxN 윈도우(W) 영상내에서 서로 인접 화소들간의 색차 특성을 이용해서 결정한다. 즉, 부호화할 원영상 블럭 O 내에 있는 (x,y) 번째 화소에 대한 주변 영상(윈도우 W)의 복잡도는 다음과 같이 두 방향으로의 색차 비교치를 이용해 정의한다.When the PCT values for the pixels of the input image are defined in this way, the complexity of the surrounding images centered on each pixel in the input image block must be determined. As shown in FIG. It is determined using the color difference characteristics between adjacent pixels in the NxN window W image constructed as follows. That is, the complexity of the peripheral image (window W) with respect to the (x, y) -th pixel in the original image block O to be encoded is defined by using color difference comparison values in two directions as follows.
NxN 크기의 윈도우 Wx,y내의 한 화소 W(i,j)에 대해 수평 방향으로 인접한 화소 (i,j+1)과의 색차 크기 hE 와 수직 방향으로 인접한 화소 (i-1,j)와의 색차 크기 vE 를 수학식 5를 이용해 구한 후, (i,j)화소의 PCT값 (Ty, Tu, Tv)에 대한 색차 크기 pE 와 각기 비교해 hE 나 vE 가 pE 보다 큰 값을 가질 경우 (i,j) 화소는 인접 화소와 색차를 갖는 화소로 판단하여 복잡도를 각 방향에 따라 1 만큼 증가시킨다. 이와 같은 방법으로 윈도우 Wx,y 내 모든 화소들의 색차를 비교하여 복잡도를 계산한다.Color difference between the pixel (i, j + 1) adjacent in the horizontal direction with respect to one pixel W (i, j) in the window Wx, y of size NxN and the color difference between the pixel (i-1, j) adjacent in the vertical direction. When the size vE is obtained using Equation 5, and compared with the chrominance size pE for the PCT values (Ty, Tu, Tv) of the (i, j) pixels, respectively, when hE or vE has a value larger than pE (i, j The pixel is determined as a pixel having a color difference from an adjacent pixel, and the complexity is increased by 1 in each direction. In this way, the complexity is calculated by comparing the color difference of all pixels in the window Wx, y.
[수학식 5][Equation 5]
이와 같은 방법은 시감적으로 차이를 느낄 수 없는 색차를 갖는 화소들은 동일한 색값을 갖는 화소로 처리함으로써 영상 특성중 복잡도를 대표하는 특성치로 이용할 수 있도록 한 것이다. 또한, NxN 영상 블럭에 대한 최대 복잡도(Max(C)) 크기는 수학식 6과 같이 정의된다.In this method, pixels having color differences that cannot be visually noticed are treated as pixels having the same color value so that they can be used as characteristic values representing complexity among image characteristics. In addition, the maximum complexity (Max (C)) size for the N × N image block is defined as in Equation 6.
[수학식 6][Equation 6]
Max(C) = 2 * N2 Max (C) = 2 * N 2
한편, 이와 같은 방법으로 결정된 영상 복잡도는 실제 영상을 양자화할때 양자화 간격 특성(quantization step size)과 불일치하는 경우가 발생할 수 있다. 예를 들면, 부호화할 영상 블럭에서 대분분의 영역은 색이 민감한 화소들로 구성되고 낮은 복잡도를 갖고 있으나 임의의 한 부분에만 복잡도가 높은 영상이 치우쳐 나타날 경우 전체 복잡도는 높게 정의되는데, 이는 복잡한 영상은 상대적으로 둔감하다는 시감 특성에 따라 큰값의 양자화 간격을 할당하게 하여 복원 영상의 화질 열화를 두드러지게 하는 결과를 초래한다. 따라서, 본 발명에서는 다음와 같이 NxN 크기의 윈도우 W 를 4x4 크기의 종속 영상 블럭들 s (단, 0≤s≤n, n은 종속 영상 블럭들의 총수)로 나누고, 각 종속 영상 블럭들의 특성을 이용해 윈도우 W의 영상 복잡도를 정의하는 방법을 사용해 상기의 문제점을 보완한다. 단, (N-1)은 4의 배수값을 가질 경우이다.On the other hand, the image complexity determined by this method may be inconsistent with the quantization step size when the actual image is quantized. For example, in the image block to be encoded, most of the area is composed of color-sensitive pixels and has a low complexity, but when a high complexity image appears in only one part, the overall complexity is defined as high. Is assigned to a large value quantization interval according to the visual characteristics that are relatively insensitive, resulting in the deterioration of the image quality of the reconstructed image. Accordingly, in the present invention, the NxN sized window W is divided into 4x4 sized dependent image blocks s (where 0≤s≤n, n is the total number of dependent image blocks), and the window is obtained using the characteristics of each dependent image block. The above problem is solved using a method of defining the image complexity of W. However, (N-1) is a case where it has a multiple of four.
첫째, 종속 영상 블럭들에서 색차를 발생하는 화소들의 수(spel(s))를 구한다. 즉, 수평이나 수직 방향으로 pE 보다 큰 색차를 갖는 화소들을 종속 영상 블럭내에서 정의한다.First, the number of pixels (spel (s)) generating color differences in dependent image blocks is obtained. That is, pixels having a color difference larger than pE in the horizontal or vertical direction are defined in the dependent image block.
둘째, spel(s)≥3을 만족하는 종속 영상 블럭의 총수(sblk)를 구한다.Second, the total number of dependent image blocks (sblk) satisfying spel (s) ≥3 is obtained.
셋째, sblk≥(n/2)+1 을 만족하거나 sblk=(n/2)이고 spel≥3을 만족하는 종속 영상 블럭이 도 5의 (c)와 같이 나타날 경우 윈도우 W의 영상 복잡도는 위에서 정의한 값으로 정의하지만 위의 조건들을 만족하지 않는 경우 복잡도를 4N-2 값으로 정의한다. 복잡도 4N-2은 도 6의 (b) 및 (c)와 같이 한 선분이 동일한 색으로 구성된 영상 블럭을 대각선 방향으로 지나갈때 정의되어지는 복잡도로 이 복잡도 이하값을 갖는 영상은 민감한 영상으로 분류한다.Third, if the dependent image blocks satisfying sblk≥ (n / 2) +1 or sblk = (n / 2) and spel≥3 appear as shown in Fig. 5 (c), the image complexity of the window W is defined above. If it is defined as a value but does not satisfy the above conditions, the complexity is defined as a 4N-2 value. The complexity 4N-2 is a complexity defined when one line segment diagonally passes through an image block composed of the same color as shown in FIGS. 6B and 6C. An image having a value below this complexity is classified as a sensitive image. .
상기와 같은 방법으로 분류된 영상 복잡도는 수학식 7과 같이 영상 복잡도 구간(C[0..m])으로 특성화되는데, 이는 시감예측오차 발생부(257)에서 영상 특성에 따라 PCT값을 달리 결정하도록 하는데 이용된다. m은 N값에 따라 결정된다.The image complexity classified according to the above method is characterized by an image complexity section (C [0..m]) as shown in Equation 7, which is determined differently by the visual perception prediction generator 257 according to the image characteristic. Used to m is determined according to the N value.
[수학식 7][Equation 7]
한편, 허용 시감 색차 조정부(253)의 동작은 다음과 같다.On the other hand, the operation of the allowed visual perception color difference adjusting unit 253 is as follows.
상기 수학식 1과 같이 발생된 예측 오차 영상(e)는 영상 특성에 따라 시감적 차이를 달리하는 특성을 갖고 있다. 이와 같은 특성은 부호화할 원영상 블럭(O)에서 각 화소들마다의 주변 영상 복잡도 특성치(C)를 영상 복잡도 결정부(251)에서 입력 받아 C 값에 따라 PCT에 가중치를 할당해야만 하는데 대한 타당성을 제공한다. 즉, 복잡도가 높으면 PCT 값을 상대적으로 높여주고, 낮으면 상대적으로 낮추어야 한다는 것을 의미한다. 수학식 8은 영상 복잡도에 따른 PCT값을 정의하는 식이다.The prediction error image (e) generated as shown in Equation 1 has a characteristic that varies the visual difference according to the image characteristics. Such characteristics are validity of having to assign a weight to the PCT according to the C value by receiving the image complexity characteristic value C of each pixel from the original image block O to be encoded by the image complexity determiner 251. to provide. In other words, if the complexity is high, the PCT value should be relatively high, and if it is low, it should be relatively low. Equation 8 defines the PCT value according to the image complexity.
[수학식 8][Equation 8]
Ty = Ty*WYTy = Ty * WY
Tu = Tu*WUTu = Tu * WU
Tv = Tv*WVTv = Tv * WV
한편, 시감 예측 오차 발생부(257)의 동작은 다음과 같다.On the other hand, the operation of the luminous prediction error generation unit 257 is as follows.
허용 시감 색차 조정부(253)에서 주변 영상 특성을 고려해 조정된 부호화할 영상 화소들 각각의 PCT값은 예측오차보상부(255)에서 보상된 예측 오차 영상(e')에 적용되어 Y, U, V 색성분별로 예측 오차를 시감 색차 특성에 따라 0 또는 0 에 근접한 값으로 변환하여 전체적으로 오차 발생량을 줄인 예측 오차 영상(S)를 발생하며, Y 색성분에 대해 수학식 9와 같이 정의된다. 나머지 U, V 색성분들은 Y 색성분과 동일한 방법으로 처리한다.The PCT value of each of the image pixels to be coded adjusted by the permissible gaze color difference adjusting unit 253 in consideration of the surrounding image characteristics is applied to the prediction error image e 'compensated by the prediction error compensator 255 to Y, U, and V. A prediction error image S is generated by converting the prediction error to a value close to 0 or close to 0 according to the luminous color difference characteristic for each color component, thereby reducing the amount of error as a whole, and the Y color component is defined as in Equation (9). The remaining U and V color components are processed in the same manner as the Y color component.
[수학식 9][Equation 9]
if eY≤Ty SY = 0;if eY ≦ Ty SY = 0;
else if(eY0) SY = (eY+Ty);else if (eY0) SY = (eY + Ty);
else SY = (eY-Ty);else SY = (eY-Ty);
한편, 예측오차보상부(255)의 동작은 다음과 같다.On the other hand, the operation of the prediction error compensator 255 is as follows.
수학식 1과 같이 정의된 부호화할 영상의 예측 오차 영상 e 에는 식(10)과 같이 시감 예측 오차 발생부에서 시감 색차 특성을 이용해 예측 오차 영상을 재조정하므로써 발생되는 오차(P')가 누적 되어진다. 이에 누적 오차 영상 P' 를 다음에 부호화할 영상의 예측 오차 영상 e 에 제 4 도에서 처럼 보상시킨 예측 오차 e' 를 정의하여 시감 예측 오차 영상 S 를 재구성하는데서 발생되는 시감 오차(P')의 누적을 방지하게 한다.In the prediction error image e of the image to be encoded as defined in Equation 1, an error P ′ generated by re-adjusting the prediction error image by using the luminous chrominance characteristic is accumulated in the luminous prediction error generator as shown in Equation (10). . The cumulative error image P 'is accumulated by accumulating the luminous error P' generated by reconstructing the luminous prediction error image S by defining a prediction error e 'which is compensated as shown in FIG. 4 in the prediction error image e of the image to be encoded next. To prevent it.
[수학식 10][Equation 10]
P' = e' - SP '= e'-S
도 4는 Y 색성분에서 부호화시 발생되는 비트량을 최소화하기 위해 예측 오차 크기가 작아지는 방향으로 시감 오차 P'를 예측 오차 e 에 보상시키는 방법을 도시한 것으로 나머지 U, V 색성분들도 Y 색성분과 마찬가지 방법으로 처리된다.FIG. 4 illustrates a method of compensating for the luminous error P 'to the prediction error e in a direction in which the magnitude of the prediction error decreases in order to minimize the amount of bits generated when encoding in the Y color component. The remaining U and V color components also correspond to the Y color component. It is handled in the same way.
그리고 도 7은 시감 색차를 고려한 예측오차를 도시한 것으로서, (a)는 n-1 번째 예측오차 데이터를 도시한 것이며, (b)는 시감오차를 보상한 n번째 예측오차데이터를 도시한 것이다.7 illustrates prediction errors in consideration of visual color difference, (a) shows n-th prediction error data, and (b) shows n-th prediction error data that compensates for visual error.
한편, 상술한 본 발명의 구성과 동작을 통해 본 발명의 개념을 정리하면 다음과 같다. 본 발명은 시감색차특성(PCT:Perceptual Color Tolerance)치를 실험적 방법으로 정의하여 시감 색차를 갖지 않는 예측 오차들을 추출하고 이를 제거할 수 있게 하였고, 시감 색차를 갖는 예측 오차일 경우 그 오차값의 크기에 무관하게 복원된 영상에서 사람의 눈으로 식별 가능하기 때문에 이와 같은 예측 오차를 시감 색차를 이용해 0 에 가까운 값으로 재조정시키므로써 영상 데이터의 상관성을 높여 영상 부호화 효율을 증대시킬 수 있게 하였다.On the other hand, the concept of the present invention through the configuration and operation of the present invention described above are as follows. According to the present invention, the perceptual color difference (PCT) value is defined by an experimental method to extract and remove prediction errors having no color gamut, and in the case of the prediction error having the color gamut, Since the image can be identified by the human eye regardless of the reconstructed image, it is possible to increase the image coding efficiency by increasing the correlation of the image data by re-adjusting such a prediction error to a value close to zero using the visual perceptual color difference.
그리고, 예측 오차들을 제거할때 본 발명에서는 영상 복잡도 특성을 이용하는데, 이는 단순한 영상에 비해 복잡한 영상에서 오차를 둔감하게 느끼는 시감 특성을 영상 부호화 방법에 적용하기 위한 것으로 영상 복잡도를 시감 색차 특성을 이용해 분류하고, 분류된 복잡도마다 각기 다른 PCT 가중치를 부여하게 구성하여 영상 특성에 따른 예측 오차 제거 정도를 차별화할 수 있어 보다 높은 부호화 효율을 기대할 수 있게 하였다. 아울러, 인간의 시감 색차 특성치는 연산의 복잡성(Complexity)을 줄이기 위해 LUT(Look-Up Table)로 구성하여 이용하였다.When the prediction errors are removed, the present invention uses the image complexity characteristic, which is to apply the visual characteristic which feels the error less sensitive to the complex image than the simple image, to the image encoding method. By classifying and assigning different PCT weights to each classified complexity, it is possible to differentiate the degree of prediction error according to the image characteristics, so that higher coding efficiency can be expected. In addition, the visual perception color difference characteristic value of human was used as a LUT (Look-Up Table) to reduce the complexity of the calculation.
또한 현재 부호화할 영상에 대한 예측 오차값을 시감 색차 특성을 이용해 0 또는 0 에 가까운 값으로 조정할 경우, 변경된 오차값은 다음에 부호화할 영상의 예측 오차에 누적되어 예측 오차량을 크게 만드는 문제를 발생시킨다. 따라서, 이와 같이 시감 색차 특성에 의해 조정될 수 있는 예측 오차들이 다음에 부호화할 영상에 누적되는 것을 막기 위해 이런 오차들만을 따로 보상시킬 수 있게 하므로써 부호화 효율을 높일 수 있게 하였다.In addition, when the prediction error value for the image to be encoded is adjusted to 0 or close to 0 using the visual perceptual chrominance characteristic, the changed error value accumulates in the prediction error of the image to be encoded next, causing a problem of increasing the prediction error amount. Let's do it. Accordingly, in order to prevent the prediction errors that can be adjusted by the visual perceptual color difference characteristics from being accumulated in the next image to be encoded, only these errors can be compensated separately, thereby increasing the coding efficiency.
본 발명은 기존의 영상 부호화 방법에 사람의 시감 색차 특성을 적용하여 부호화할 각 화소들마다의 주변 영상 특성을 정의하고, 주변 영상 특성에 따라 화소의 PCT값에 가중치를 부여해 PCT값을 조정하여 복원된 영상에 대한 화질 열화는 초래하지 않으면서도 영상의 부호화 효율을 향상시키는 효과를 갖게 한다.According to the present invention, a peripheral image characteristic of each pixel to be encoded is defined by applying a human gaze color difference characteristic to an existing image encoding method, and weights the PCT value of a pixel according to the peripheral image characteristic to adjust and restore the PCT value. It does not cause deterioration of image quality of the image, but has an effect of improving the coding efficiency of the image.
한편, 본 발명에서는 대상 화소의 주변 영상 복잡도를 시감 색차 특성을 이용해 정의하였는데 이는 기존에 분산값을 이용해 영상 복잡도를 정의하는 방법에 비해 다음과 같은 점에서 효과적인 점을 제공할 수 있는 장점이 있다.Meanwhile, in the present invention, the peripheral image complexity of the target pixel is defined by using the visual perception color difference characteristic, which has an advantage that the present invention may be effective in the following points compared to the method of defining the image complexity using a variance value.
1) 영상에서 Y 성분만으로는 정의할 수 없었던 색특성을 고려할 수 있다.1) We can consider the color characteristics that could not be defined by the Y component alone.
2) 복잡도에 대한 최대값을 알 수 있어 복잡도 정도를 쉽게 판단할 수 있는 기 준을 제공할 수 있다.2) By knowing the maximum value for complexity, it can provide a standard to easily determine the degree of complexity.
3) 복잡도 범위를 알 수 있어 영상을 분류하는 것이 간단하다.3) It is easy to classify images because the complexity range is known.
아울러, 발생된 예측 오차를 재조정하는데 있어 주변 영상 특성을 고려할 수 있게 구성하고, 시감 예측 오차(S)를 구성할때 발생되는 시감 오차(P')를 다음에 부호화할 영상의 예측 오차 영상(e)에서 보상시키므로써 영상 부호화 효율을 보다 향상시키는 효과를 갖고 있다.In addition, it is configured to take into account the surrounding image characteristics in readjustment of the generated prediction error, and the prediction error image (e) of the image to be encoded next is the luminous error (P ′) generated when configuring the luminous prediction error (S). By compensating at), the video encoding efficiency is improved.
그리고, 인간의 색시감 특성을 LUT에 구현하므로써 영상 부호화 방법에 적용시 연산을 위한 부가적 처리 시간을 요구하지 않아 연산의 효율을 꾀할 수 있다는 장점을 갖는다. 또한, 기존의 영상 부호화 방법들과 호환성이 유지되도록 적용할 수 있고 구현이 간단하다는 장점을 갖고 있다.In addition, by implementing the human color perception characteristics in the LUT, when applied to the image encoding method, it does not require an additional processing time for the operation, and thus, there is an advantage that the operation efficiency can be achieved. In addition, it can be applied to maintain compatibility with existing video encoding methods and has an advantage of simple implementation.
그리고 본 발명은 각종 디지탈 영상 부호화 방법에 적용될 수 있으며, 화질 열화 없이 영상 부호화 효율을 향상시킬 수 있다는 잇점을 갖고 있다.In addition, the present invention can be applied to various digital image encoding methods, and has an advantage of improving image encoding efficiency without deterioration of image quality.
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970026089A KR100316770B1 (en) | 1997-06-20 | 1997-06-20 | Method and system for encoding images in consideration of perceptual color tolerance |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970026089A KR100316770B1 (en) | 1997-06-20 | 1997-06-20 | Method and system for encoding images in consideration of perceptual color tolerance |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990002473A true KR19990002473A (en) | 1999-01-15 |
KR100316770B1 KR100316770B1 (en) | 2002-07-03 |
Family
ID=37531725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019970026089A Expired - Fee Related KR100316770B1 (en) | 1997-06-20 | 1997-06-20 | Method and system for encoding images in consideration of perceptual color tolerance |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100316770B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012044118A3 (en) * | 2010-09-30 | 2012-06-14 | 한국전자통신연구원 | Method and apparatus for encoding / decoding video using error compensation |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101369171B1 (en) * | 2009-02-26 | 2014-03-07 | 에스케이 텔레콤주식회사 | Video Coding Apparatus and Method |
-
1997
- 1997-06-20 KR KR1019970026089A patent/KR100316770B1/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012044118A3 (en) * | 2010-09-30 | 2012-06-14 | 한국전자통신연구원 | Method and apparatus for encoding / decoding video using error compensation |
Also Published As
Publication number | Publication date |
---|---|
KR100316770B1 (en) | 2002-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR0184905B1 (en) | Code amount control device and encoding apparatus using the same | |
KR100355375B1 (en) | Quantization Interval Determination Method and Circuit in Image Encoder | |
JP3109854B2 (en) | Image coding method and apparatus | |
EP1473943B1 (en) | Image coding method, image coding and decoding method, image coding apparatus, and image recording and reproduction apparatus | |
US5369439A (en) | Orthogonal transform encoder using DC component to control quantization step size | |
EP0659019A2 (en) | Method of and system for enhancing distorted graphical information | |
JPH0746596A (en) | Intra-block DC transform coefficient quantization method | |
CA2904613C (en) | Improved method of bit allocation for image & video compression using perceptual guidance | |
JP4874184B2 (en) | Image processing apparatus and image processing method | |
JP2001519988A (en) | System for extracting coding parameters from video data | |
KR100389891B1 (en) | Method for processing perceptual error and image coding apparatus using the same | |
KR100389893B1 (en) | Image Coding Apparatus Using Image Feature Classification | |
KR100262500B1 (en) | Adaptive block effect reduction decoder | |
GB2432069A (en) | Reducing block noise by applying a dither signal in areas of low spatial detail | |
KR20010012071A (en) | Method and device for coding a sequence of pictures | |
KR100316770B1 (en) | Method and system for encoding images in consideration of perceptual color tolerance | |
KR100387229B1 (en) | Apparatus for encoding images | |
KR100220582B1 (en) | Image encoder having adaptive coding | |
JP2005323312A (en) | Quantization control device, method and program thereof, and adaptive quantization encoding device | |
KR100403804B1 (en) | Image coding method and image coder in consideration of perceptual color tolerance | |
JP3517455B2 (en) | Image coding method and apparatus | |
JPH0681308B2 (en) | Quantization noise suppression method in interframe coding | |
KR100316765B1 (en) | Method for deciding human visual sensitivity by image objects and high-efficiency image coding system using the same | |
KR100261251B1 (en) | Quantization length decision method & apparatus using image signal characteristics classification | |
JP2000050277A (en) | Coding device and coding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19970620 |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 19991214 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 19970620 Comment text: Patent Application |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20011026 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20011123 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20011124 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20041001 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20051004 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20060913 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20070927 Start annual number: 7 End annual number: 7 |
|
FPAY | Annual fee payment |
Payment date: 20081031 Year of fee payment: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20081031 Start annual number: 8 End annual number: 8 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20101009 |