KR101719346B1

KR101719346B1 - 적응적 필터를 이용한 인트라 예측을 수행하는 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체

Info

Publication number: KR101719346B1
Application number: KR1020130109458A
Authority: KR
Inventors: 이진호; 김휘용; 정세윤; 조숙희; 이하현; 김종호; 임성창; 최진수; 김진웅; 안치득
Original assignee: 한국전자통신연구원
Priority date: 2010-04-09
Filing date: 2013-09-12
Publication date: 2017-03-27
Anticipated expiration: 2031-04-08
Also published as: KR102746422B1; US20180352250A1; US20160044337A1; EP2557797A4; JP2018137780A; JP2014207684A; PL2557797T3; US20130039421A1; KR20180127286A; RS61405B1; PT2557797T; US20190007701A1; US20250024073A1; JP2021106403A; US20190014346A1; JP2018137779A; SMT202100061T1; EP3823285A1; US10432968B2; KR102277360B1

Abstract

적응적 필터를 이용한 인트라 예측(intra-prediction)을 수행하는 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체가 제공된다. 상기 영상 복호화 방법은 현재 블록(current block)의 참조 화소값에 대한 제1 필터의 적용 여부를 결정하는 단계 및 상기 제1 필터의 적용 여부에 따라 유도된 상기 참조 화소값을 이용하여 상기 현재 블록에 대한 예측값을 도출하는 단계를 포함한다.

Description

적응적 필터를 이용한 인트라 예측을 수행하는 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체{VIDEO DECODING METHOD AND COMPUTER READABLE REDORDING MEDUIM FOR PERFORMING INTRA PREDICTION USING ADAPTIVE FILTER}

본 발명은 영상 코딩(video coding)에 관한 것으로, 보다 상세하게는 예측하려는 블록(block)의 주변 화소값 또는 현재 블록의 예측된 화소값에 적응적 필터를 적용하여 인트라 예측(intra-prediction)을 수행하는 방법 및 장치에 관한 것이다.

최근 디지털 TV 등의 도래로 인해 방송 텔레비전 및 홈 엔터테인먼트(home entertainment) 분야의 기술이 급격하게 발전하고 있다. 이러한 분야의 기술은 비디오 압축(video compression) 기술의 표준화(standardization)에 의해서 상용화되고 있다. 비디오 압축을 위하여 ITU-T(International Telecommunications Union - Telecommunication) H.263 표준이 광범위하게 사용되고 있으며, MPEG(Motion Picture Experts Group)의 다음 표준인 MPEG-4가 인터넷 기반(internet-based) 비디오 어플리케이션을 위하여 사용되고 있다.

H.263 표준 완성 이후, ITU-T VCEG (Video Coding Experts Group)는 H.263 표준에 부가적인 특징을 추가하기 위한 단기적 목표와 낮은 비트율(bitrate)의 시각 통신(visual communication)을 위한 새로운 표준을 개발하기 위한 장기적 목표를 경주하여 왔다. 2001년, MPEG와 VCEG의 전문가들로 이루어진 JVT(Joint Video Team)이 구성되었고, JVT에 의해서 비디오 영상의 코딩을 위한 새로운 표준인 ITU-T H.264/MPEG-4 part 10의 표준화 작업이 진행되어 왔다. H.264 표준은 AVC(Advanced Video Coding)로 불릴 수도 있다. H.264/AVC의 기술적 목표는 코딩 효율(coding efficiency)의 현저한 향상, 손실 및 에러에 강인(robust)한 코딩 기술, 네트워크 친화적(network friendliness)인 코딩 기술, 낮은 지연 용량(latency capability) 및 정확한 매치 디코딩(match decoding) 등이다.

영상 내에서 주변 화소들은 대부분 비슷한 값을 가지며, 이는 H.264/AVC 표준의 최소 블록(block) 크기인 4×4 블록 또는 16×16 블록에 대해서도 마찬가지이다. 이와 같이 블록 간 값들의 유사성을 이용하여 영상에 대한 예측을 수행하고, 원본 영상과의 차이를 인코딩할 수 있다. 이를 인트라 예측(intra-prediction)이라 하며, 인트라 예측에 의해서 영상 코딩의 효율을 높일 수 있다.

또한, 인트라 예측을 수행함에 있어서 인트라 예측 수행 이전에 필터가 적용될 수 있다. 통상적으로 H.264/AVC 표준에서 인트라 예측을 수행할 때 참조 화소값들에 필터를 적용한 후 필터가 적용된 값들을 인트라 예측에 사용한다. 그러나 경우에 따라서 필터를 적용한 후 인트라 예측을 수행하는 것보다 필터를 적용하지 않고 인트라 예측을 수행할 때 영상 코딩의 성능이 더 높을 수 있다.

이에 따라, 인트라 예측 수행시 필터 적용 여부를 결정하는 방법이 제안될 수 있다.

본 발명의 기술적 과제는 영상 인코딩에서 예측하려는 블록(block)의 주변 화소값 또는 현재 블록의 예측된 화소값에 적응적 필터를 적용하여 인트라 예측(intra-prediction)을 수행하는 방법 및 장치를 제공하는 데에 있다. 보다 상세하게는 인트라 예측을 수행하기 위한 현재 블록의 참소 화소값들에 적응적인 필터(pre-filter)를 적용한 후 예측을 수행하고, 또한 예측된 현재 블록의 화소값들에도 적응적인 필터(post-filter)를 적용하여 잔차 신호(residual signal)를 계산한다.

일 양태에 있어서, 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 현재 블록(current block)의 참조 화소값에 대한 제1 필터의 적용 여부를 결정하는 단계 및 상기 제1 필터의 적용 여부에 따라 유도된 상기 참조 화소값을 이용하여 상기 현재 블록에 대한 예측값을 도출하는 단계를 포함한다.
상기 제1 필터의 적용 여부는, 상기 현재 블록의 인트라 예측 모드 및 상기 현재 블록의 크기 중 적어도 하나를 기반으로 결정될 수 있다.
상기 현재 블록에 대한 예측값을 도출하는 단계에서는, 상기 현재 블록의 인트라 예측 모드 및 상기 현재 블록의 크기 중 적어도 하나를 기반으로 제2 필터를 적용하여 상기 현재 블록에 대한 예측값을 도출할 수 있다.
상기 현재 블록의 인트라 예측 모드가 기설정된 비방향성 모드인 경우, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소에 대해 상기 제2 필터를 적용하여 상기 현재 블록에 대한 예측값을 도출할 수 있다.
상기 현재 블록의 인트라 예측 모드가 기설정된 비방향성 모드인 경우, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 화소들 및 상기 현재 블록의 가장 좌측 화소들에 대해 상기 제2 필터를 적용할 수 있다.
상기 제2 필터를 적용하는 경우, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 가장 좌측 화소에 대해 3-tap 필터를 적용하고, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 가장 좌측 화소를 제외한 나머지 화소들에 대해 2-tap 필터를 적용할 수 있다.
다른 양태에 있어서, 영상 복호화 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다. 상기 프로그램은, 현재 블록(current block)의 참조 화소값에 대한 제1 필터의 적용 여부를 결정하는 단계 및 상기 제1 필터의 적용 여부에 따라 유도된 상기 참조 화소값을 이용하여 상기 현재 블록에 대한 예측값을 도출하는 단계를 포함한다.
상기 제1 필터의 적용 여부는, 상기 현재 블록의 인트라 예측 모드 및 상기 현재 블록의 크기 중 적어도 하나를 기반으로 결정될 수 있다.
상기 현재 블록에 대한 예측값을 도출하는 단계에서는, 상기 현재 블록의 인트라 예측 모드 및 상기 현재 블록의 크기 중 적어도 하나를 기반으로 제2 필터를 적용하여 상기 현재 블록에 대한 예측값을 도출할 수 있다.
상기 현재 블록의 인트라 예측 모드가 기설정된 비방향성 모드인 경우, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소에 대해 상기 제2 필터를 적용하여 상기 현재 블록에 대한 예측값을 도출할 수 있다.
상기 현재 블록의 인트라 예측 모드가 기설정된 비방향성 모드인 경우, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 화소들 및 상기 현재 블록의 가장 좌측 화소들에 대해 상기 제2 필터를 적용할 수 있다.
상기 제2 필터를 적용하는 경우, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 가장 좌측 화소에 대해 3-tap 필터를 적용하고, 상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 가장 좌측 화소를 제외한 나머지 화소들에 대해 2-tap 필터를 적용할 수 있다.

삭제

부호화하려는 휘도 또는 색차 신호 블록을 효과적으로 예측하여 부호화 성능을 향상시킨다.

도 1은 H.264/AVC(Advanced Video Coding) 표준의 인코더의 블록도이다.
도 2는 H.264/AVC 표준의 디코더의 블록도이다.
도 3은 4×4 루마 예측 모드에서 예측 샘플(prediction sample)을 라벨링(labeling)한 예를 나타낸다.
도 4는 4×4 루마 예측 모드 내의 9가지 예측 모드를 나타낸다.
도 5는 인트라 예측 수행 이전에 필터를 적용하는 방법의 일 예를 나타낸다.
도 6은 제안된 적응적 필터를 이용한 인트라 예측 수행 방법의 일 실시예를 나타낸다.
도 7은 제안된 적응적 필터를 이용한 인트라 예측 수행 방법에 따라 예측값에 필터가 적용되는 경우를 나타낸다.
도 8은 본 발명의 실시예가 구현되는 인코더 및 디코더의 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1은 H.264/AVC(Advanced Video Coding) 표준의 인코더의 블록도이다.

도 1을 참조하면, 인코더는 2가지 경로의 데이트 흐름을 포함한다. 하나는 전진 경로(forward path)이며, 나머지 하나는 재구성 경로(reconstruction path)이다.

먼저 전진 경로를 설명한다. 입력 프레임 F_n에 대하여 매크로블록(macro block) 단위로 인코딩이 수행된다. 매크로블록은 원본 이미지에서 16×16 픽셀의 크기를 가진다. 각 입력 프레임에 대해서 인트라 예측(intra-prediction) 또는 인터 예측(inter-prediction)이 수행된다. 인트라 예측은 프레임 내에서 블록 간 값들의 유사성을 이용하여 예측을 수행하고 원본 영상과의 차이를 인코딩하며, 인터 예측은 프레임 간 블록 간 값들의 유사성을 이용하여 예측을 수행하고 원본 영상과의 차이를 인코딩한다. 인트라 예측 또는 인터 예측시에 예측 매크로블록(prediction macroblock)인 P가 재구성 프레임(reconstructed frame)을 기반으로 형성된다. 인트라 예측 시에, P는 이전에 인코딩 된 현재 프레임, 디코딩 된 현재 프레임 또는 재구성된 현재 프레임(uF_n’) 내의 샘플로부터 형성될 수 있다. P가 재구성된 현재 프레임으로부터 형성될 때 필터링되지 않은(unfiltered) 샘플이 사용될 수 있다. 인터 예측 시에, P는 하나 이상의 참조 프레임(reference frame)으로부터 움직임 보상(motion compensation) 또는 움직임 예측(motion prediction)이 수행되어 형성될 수 있다. 도 1에서 참조 프레임은 이전에 인코딩된 프레임인 F_n _-1’인 것으로 가정한다. 그러나 이에 제한되지 않으며, 각 예측 매크로블록은 이미 인코딩 되거나 재구성된 이전 1 프레임 또는 2 프레임 또는 이후 1 프레임 또는 2 프레임으로부터 형성될 수 있다.

P는 잔차(residual) 또는 차이(difference) 매크로블록 D_n을 생성하기 위하여 현재 매크로블록으로부터 빼진다. D_n은 블록 변환(block transform)을 이용하여 변환(T, transformed)되고, 양자화(Q, quantized)되어 X를 생성한다. X는 인코딩된 계수(coefficient)들의 집합이다. 인코딩된 계수들은 재배열(reorder)되고 엔트로피 코딩(entropy coding)되며, 엔트로피 코딩된 계수들은 매크로블록을 디코딩하기 위하여 필요한 정보와 함께 압축된 비트열(compressed bitstream)을 형성한다. 압축된 비트열은 전송 또는 저장을 위하여 NAL(Network Abstraction Layer)로 보내진다.

이제 재구성 경로에 대해서 설명한다. 양자화된 매크로블록 계수인 X는 다른 매크로블록들의 인코딩을 위하여 사용되는 재구성 프레임을 생성하기 위하여 디코딩된다. X는 역양자화(Q^-1)되고, 역변환(T^-1, Inverse Transformed)되어 차이 매크로블록 D_n’을 생성한다. 재구성 경로에서 생성된 차이 매크로블록 D_n’은 전진 경로에서 생성된 차이 매크로블록인 D_n과 동일하지 않다. 양자화에 의해서 손실이 발생하며, 이에 따라 D_n’은 D_n의 왜곡된 형태일 수 있다. 예측 매크로블록 P가 D_n’에 더해지고, 재구성 매크로블록 uF_n’이 생성된다. 재구성 매크로블록 uF_n’도 원래 매크로블록 Fn의 왜곡된 형태일 수 있다. uF_n’에 대하여 블록킹 왜곡(blocking distortion)을 줄이기 위하여 필터가 적용될 수 있고, 재구성 프레임은 필터가 적용된 복수의 재구성 매크로블록으로부터 형성될 수 있다.

도 2는 H.264/AVC 표준의 디코더의 블록도이다.

도 2를 참조하면, 디코더는 NAL로부터 압축된 비트열을 수신한다. 수신된 데이터는 양자화된 계수들의 집합인 X를 생성하기 위하여 엔트로피 디코딩(entropy decoded)되고, 재배열된다. X에 역양자화 및 역변환이 수행되어 D_n’이 생성되며, 디코더는 비트열에서 디코딩된 헤더 정보(header information)를 이용하여 인코더에서 생성된 예측 매크로블록과 동일한 예측 매크로블록 P을 생성한다. P에 D_n’이 더해져 uF_n’이 생성되며, uFn’이 필터를 거쳐 디코딩된 매크로블록 F_n’이 생성될 수 있다.

이하, 인트라 예측에 대해서 설명한다.

블록(또는 매크로블록)에 대하여 인트라 예측이 수행될 때, 예측 블록(또는 매크로블록) P가 인코딩된 블록(또는 매크로블록)들 또는 재구성된 블록(또는 매크로블록)들을 기반으로 형성될 수 있다. P는 원본 영상으로부터 빼지고, P가 빼진 차이값이 인코딩되어 전송된다. 인트라 예측은 루마 예측 모드(luma prediction mode) 또는 크로마 예측 모드(chroma prediction mode)에 의해서 수행될 수 있다. 루마 예측 모드에서 4×4 크기의 서브블록(sub-block) 또는 16×16 크기의 매크로블록 단위로 인트로 예측이 수행될 수 있으며, 4×4 루마 예측 모드에서는 총 9개의 추가적인 예측 모드가, 16×16 루마 예측 모드에서는 총 4개의 추가적인 예측 모드가 존재한다. 인트라 예측이 수행되는 단위는 서브블록 또는 매크로블록에 제한되지 않으며, 다양한 크기의 유닛을 단위로 하여 수행될 수 있다. 인트라 예측이 수행되는 화소의 단위를 코딩 유닛(CU; Coding Unit) 또는 예측 유닛(PU; Prediction Unit) 등으로 부를 수 있으며, CU 또는 PU의 크기가 앞서 설명한 바와 같이 서브블록 또는 매크로블록의 크기와 같을 수도 있다.

도 3은 4×4 루마 예측 모드에서 예측 샘플(prediction sample)을 라벨링(labeling)한 예를 나타낸다. 도 3을 참조하면, 예측 블록 P는 A 내지 H 또는 I 내지 L로 라벨링된 샘플을 기반으로 계산된다.

도 4는 4×4 루마 예측 모드 내의 9가지 예측 모드를 나타낸다.

인코더는 예측 블록 P와 인코딩될 블록 사이의 차이를 최소화하기 위하여 각 블록에 대하여 9가지 예측 모드 중 어느 하나를 선택할 수 있다. 9가지 예측 모드는 다음과 같다.

1) 모드 0(vertical): 예측 블록의 상위 샘플들인 A 내지 D가 수직적으로 외삽(extrapolate)된다.

2) 모드 1(horizontal): 예측 블록의 왼쪽 샘플들인 I 내지 L이 수평적으로 외삽된다.

3) 모드 2(DC); P 내의 모든 샘플이 A 내지 D 및 I 내지 L이 평균에 의해서 예측된다.

4) 모드 3(Diagonal Down-Left): P 내의 샘플들은 아래-왼쪽과 위-오른쪽 사이에서 45도 각도로 보간(interpolate)된다.

5) 모드 4(Diagonal Down-Right): P 내의 샘플들은 우하향 45도 각도로 외삽된다.

6) 모드 5(Vertical-Right): P 내의 샘플들은 수직축에서 오른쪽으로 약 26.6도의 각도로 외삽 또는 보간된다.

7) 모드 6(Horizontal-Down): P 내의 샘플들은 수평축에서 아래쪽으로 약 26.6도의 각도로 외삽된다.

8) 모드 7(Vertical-Left): P 내의 샘플들은 수직축에서 왼쪽으로 약 26.6도의 각도로 외삽된다.

9) 모드 8(Horizontal-Up): P 내의 샘플들은 수평축에서 위쪽으로 약 26.6도의 각도로 보간된다.

도 4에서 화살표는 각 모드 내에서 예측이 수행되는 방향을 지시한다. 한편, 모드 3 내지 모드 8에 대하여, 예측 블록 내의 샘플들은 예측 샘플 A 내지 H 또는 I 내지 L의 가중 평균(weighted average)으로부터 형성된다. 예를 들어 모드 4에서, 예측 블록의 오른쪽 상위에 위치하는 샘플 d=round(B/4+C/2+D/4)로 예측될 수 있다. 인코더는 각 예측 모드에 의해서 생성된 예측 블록에 대하여 절대 에러의 합(SAE; Sum of Absolute Errors)을 각각 계산하고, SAE가 가장 작은 예측 모드에 의해서 인트라 예측을 수행한다.

도 5는 인트라 예측 수행 이전에 필터를 적용하는 방법의 일 예를 나타낸다.

일반적으로 H.264/AVC 표준에서 사용되는 샘플들에 필터를 적용한 후에 인트라 예측이 수행된다. 샘플은 참조(reference) 화소값으로 불릴 수도 있다. 도 5의 예에서는 필터가 저대역 필터(low-pass filter)이며, 8×8 블록에 한해서 필터가 적용되는 것을 가정한다.

수학식 1은 참조 화소값에 적용되는 3-tap 필터를 나타내는 수학식의 일 예이다.

<수학식 1>

h[Z] = (A + 2×Z + Q)/4

h[A] = (Z + 2×A + B)/4

…

h[P] = (O + 3×P)/4

h[Q] = (Z + 2×Q + R)/4

…

h[X] = (W + 3×X)/4

h[Z]는 Z에 필터를 적용하여 계산한 값을 나타낸다. 수학식 1을 참조하면, 필터 계수 (1,2,1)이 적용되어 참조 화소값에 대한 필터링이 수행되고, 필터링을 거친 참조 화소값(h[A]~h[Z])을 기반으로 9개의 예측 모드에 의한 인트라 예측이 수행된다. 복호화 과정에서도 부호화 과정과 마찬가지로 필터가 적용될 수 있다.

인트라 예측 수행 이전에 필터링을 수행함에 있어서, 필터링을 수행하지 않을 때 인코딩의 성능이 향상되는 경우가 있을 수 있다. 이에 따라 적응적으로 필터를 적용하여 인트라 예측을 수행하는 방법이 제안될 수 있다.

도 6은 제안된 적응적 필터를 이용한 인트라 예측 수행 방법의 일 실시예를 나타낸다.

도 6을 참조하면, 단계 S201에서 인코더는 참조 화소값에 대한 필터 적용 여부를 결정한다. 인코더는 필터 적용 여부를 결정할 때, 주변 블록의 정보를 이용하거나 율-왜곡 최적화(RDO; Rate-Distortion Optimization) 방법에 의하여 필터 적용 여부를 결정할 수 있다.

주변 블록의 정보를 이용하여 참조 화소값에 대한 필터 적용 여부를 결정할 때, 주변 블록의 예측 모드 정보(MPM; Most Probable Mode)를 기반으로 현재 블록의 예측 모드를 결정하고, 결정된 현재 블록의 예측 모드에 따라 참조 화소값에 대한 필터 적용 여부를 결정할 수 있다. 예를 들어 현재 블록이 ‘C’이고 상위 블록이 ‘A’, 왼쪽 블록이 ‘B’이라 가정하면, 현재 블록의 예측 모드가 ‘A’의 예측 모드와 같을 경우 ‘A’의 예측 모드를 현재 블록의 예측 모드로 결정하며, 현재 블록의 예측 모드가 ‘B’의 예측 모드와 같을 경우 ‘B’의 예측 모드를 현재 블록의 예측 모드로 결정할 수 있다. 또는, 현재 블록의 예측 모드가 ‘A’의 예측 모드 또는 ‘B’의 예측 모드를 제외한 다른 예측 모드일 경우, 해당 예측 모드를 부호화하여 전송한다. 이와 같이 결정된 현재 블록의 예측 모드에 따라 참조 화소값에 대한 필터 적용 여부가 결정될 수 있다. 현재 블록과 상위 블록 또는 왼쪽 블록의 크기가 다른 경우에도 주변 블록의 예측 모드에 따라 현재 블록의 예측 모드를 결정할 수 있다.

또는, 주변 블록의 정보를 이용하여 참조 화소값에 대한 필터 적용 여부를 결정할 때, 주변 참조 화소값의 변화량을 기반으로 필터 적용 여부를 결정할 수 있다. 예를 들어 필터를 적용하려는 참조 화소값을 p[n]이라 하면, 주변 참조 화소값인 p[n-1] 및 p[n+1]의 차이값을 계산하고 이를 특정 문턱값(threshold)과 비교하여 필터 적용 여부를 결정할 수 있다.

또는, 현재 블록의 예측 모드 이외에 현재 블록의 크기에 따라 참조 화소값에 대한 필터 적용 여부를 결정할 수 있다. 이때 현재 블록의 예측 모드 및 현재 블록의 크기에 따른 필터 적용 여부를 미리 지정하고, 해당 예측 모드 또는 해당 크기에 따라 적응적으로 필터 적용 여부를 결정한다.

표 1은 현재 블록의 예측 모드 및 현재 블록의 크기에 따른 필터 적용 여부를 지정한 표이다.

현재 블록의 예측 모드	현재 블록 크기
현재 블록의 예측 모드	4×4	8×8	16×16	32×32
0	0	0	0	0
1	0	0	0	0
2	0	0	0	0
3	1	1	1	1
4	0	1	1	1
…	…	…	…	…

표 1을 참조하면, ‘0’은 필터가 적용되지 않는 것을 의미하며, ‘1’은 필터가 적용되는 것을 의미한다. 예를 들어 현재 블록의 크기가 4×4일 때, 현재 블록의 예측 모드가 1이면 필터가 적용되지 않으며, 현재 블록의 예측 모드가 3이면 필터가 적용될 수 있다.

또한, 주변 블록의 화면내(intra-frame) 부호화 또는 화면간(inter-frame) 부호화 여부에 따라 참조 화소값에 대한 필터 적용 여부가 결정될 수 있다. 예를 들어 제한된 인트라 예측(constrained intra-prediction) 수행의 경우, 주변 블록이 화면간 부호화되었을 때 화면내로 부호화된 주변 블륵의 값들을 이용하여 상기 화면간으로 부호화된 값을 채우게 되며, 이때에는 필터링을 적용하지 않을 수 있다.

참조 화소값에 대하여 필터를 적용하기로 결정된 경우 단계 S202에서 인코더는 참조 화소값에 대하여 필터를 적용한다. 적용되는 필터를 일반적으로 사용되는 필터일 수 있다. 예를 들어 수학식 1의 3-tap가 사용될 수 있으며, 또는 2-tap 필터가 사용될 수도 있다. 2-tap 필터가 사용될 때 (1/8, 7/8), (2/8, 6/8), (3/8, 5/8) 등의 다양한 필터 계수가 사용될 수 있다. 필터가 적용된 참조 화소값이 다른 참조 화소값에 필터를 적용할 때 사용될 수 있다. 또한, 참조 화소값에 필터를 적용하는 경우 모든 참조 화소값에 대하여 필터를 적용할 수도 있고, 일부 참조 화소값에 대해서만 필터를 적용할 수도 있다.

단계 S203에서 인코더는 필터가 적용된 또는 필터가 적용되지 않은 참조 화소값을 기반으로 인트라 예측을 수행한다.

단계 S204에서 인코더는 현재 블록의 부호화를 위해 상기 인트라 예측 수행에 의해서 예측된 각 예측 모드별 예측값에 대한 필터 적용 여부를 결정한다. 여기서 각 예측 모드는 4×4 루마 예측 모드의 9개의 예측 모드일 수 있다. 각 예측 모드별 예측값에 대하여 필터 적용 여부를 결정할 때에도 주변 블록의 정보를 이용하거나 RDO 방법에 의하여 필터 적용 여부를 결정할 수 있다.

주변 블록의 정보를 이용하여 예측값에 대한 필터 적용 여부를 결정할 때, 주변 블록의 예측 모드 정보(MPM)를 기반으로 현재 블록의 예측 모드를 결정하고, 결정된 현재 블록의 예측 모드에 따라 예측값에 대한 필터 적용 여부를 결정할 수 있다. 예를 들어 현재 블록이 ‘C’이고 상위 블록이 ‘A’, 왼쪽 블록이 ‘B’이라 가정하면, 현재 블록의 예측 모드가 ‘A’의 예측 모드와 같을 경우 ‘A’의 예측 모드를 현재 블록의 예측 모드로 결정하며, 현재 블록의 예측 모드가 ‘B’의 예측 모드와 같을 경우 ‘B’의 예측 모드를 현재 블록의 예측 모드로 결정할 수 있다. 또는, 현재 블록의 예측 모드가 ‘A’의 예측 모드 또는 ‘B’의 예측 모드를 제외한 다른 예측 모드일 경우, 해당 예측 모드를 부호화여 전송한다. 이때 현재 블록의 예측 모드가 특정 예측 모드(DC 또는 planar)인 경우, 참조 화소값과 예측값 간의 차이가 다른 예측 모드에 비해서 상대적으로 커질 수 있다. 예를 들어 planar 예측 모드에서의 참조 화소값과 예측값과의 차이가 다른 예측 모드에 비해서 비교적 클 수 있다. planar 예측 모드에서의 예측값은 각 행을 수평적으로 선형 보간(linear interpolation)하여 얻어진 제1 예측값과 각 열을 수직적으로 선형 보간하여 얻어진 제2 예측값의 평균으로 계산될 수 있다. 수평적으로 선형 보간할 때 오른쪽 값은 참조 화소값 중 우상향에 위치한 값(즉, 도 3에서 D)과 동일하며, 수직적으로 선형 보간할 때 아래쪽 값은 참조 화소값 중 좌하향에 위치한 값(즉, 도 3에서 L)과 동일하다. 예측값이 참조 화소값으로부터 바로 구해지는 것이 아니므로 참조 화소값과 예측값의 차이가 비교적 클 수 있다. 이와 같은 경우 예측값에 대하여 필터를 적용하여 인트라 예측의 효율성을 높일 수 있다. 이와 같이 결정된 현재 블록의 예측 모드에 따라 예측값에 대한 필터 적용 여부가 결정될 수 있다. 현재 블록과 상위 블록 또는 왼쪽 블록의 크기가 다른 경우에도 주변 블록의 예측 모드에 따라 현재 블록의 예측 모드를 결정할 수 있다.

또는, 현재 블록의 예측 모드 이외에 현재 블록의 크기에 따라 예측값에 대한 필터 적용 여부를 결정할 수 있다. 이때 현재 블록의 예측 모드 및 현재 블록의 크기에 따른 필터 적용 여부를 미리 지정하고, 해당 예측 모드 또는 해당 크기에 따라 적응적으로 필터 적용 여부를 결정한다. 또는, 주변 블록의 화면내 부호화 또는 화면간 부호화 여부에 따라 예측값에 대한 필터 적용 여부가 결정될 수 있다.

예측값에 대하여 필터를 적용하기로 결정된 경우 단계 S205에서 인코더는 예측값에 대하여 필터를 적용한다. 이에 따라 현재 블록의 예측이 완료되며, 인코더는 잔차 신호를 계산하고 엔트로피 부호화를 수행한다.

도 7은 제안된 적응적 필터를 이용한 인트라 예측 수행 방법에 따라 예측값에 필터가 적용되는 경우를 나타낸다.

도 7을 참조하면, 현재 블록의 예측 모드가 비방향성 모드인 경우, 참조 화소값과 예측값 간의 차이가 다른 예측 모드에 비해서 상대적으로 커질 수 있으므로, 주변의 복원된 참조 화소값과의 경계에 인접한 화소의 예측값에 대해서만 필터를 적용할 수 있다. 예를 들어 도 7에서 경계에 위치한 한 줄의 화소인 a1~a8 및 b1, c1, d1, e1, f1, g1, h1에 해당하는 예측값에 대하여 필터링을 수행할 수 있다. 또는, 경계에 위치한 두 줄의 화소인 a1~a8, b1~b8 및 c1~c2, d1~d2, e1~e2, f1~f2, g1~g2, h1~h2에 해당하는 예측값에 대하여 필터를 적용할 수 있다. 이때 적용되는 필터를 일반적으로 사용되는 필터일 수 있다. 예를 들어 수학식 1의 3-tap가 사용될 수 있으며, 또는 2-tap 필터가 사용될 수도 있다. 2-tap 필터가 사용될 때 (1/8, 7/8), (2/8, 6/8), (3/8, 5/8) 등의 다양한 필터 계수가 사용될 수 있다. 또는, 화소의 위치에 따라 2-tap 필터 또는 3-tap 필터 중 어느 하나를 선택하여 사용할 수도 있다.

같은 방법으로, 현재 블록의 예측 모드가 모드 0, 모드 3 또는 모드 7과 같이 A~P에 해당하는 참조 화소값을 이용하는 예측 모드인 경우, 참조 화소값과 예측값 간의 차이가 비교적 큰 a1~a8에 해당하는 예측값에 대하여 필터를 적용할 수 있다. 또한, 현재 블록의 예측 모드가 모드 1 또는 모드 8과 같이 Q~X에 해당하는 참조 화소값을 이용하는 예측 모드인 경우, 참조 화소값과 예측값 간의 차이가 비교적 큰 a1, b1, c1, d1, e1, f1, g1 및 h1에 해당하는 예측값에 대하여 필터를 적용할 수 있다.

수학식 2는 화소의 위치에 따라 2-tap 필터 또는 3-tap 필터를 선택하여 사용하는 경우, 예측값에 적용되는 필터를 나타내는 수학식의 일 예이다.

<수학식 2>

f[a1] = (2×A + 4×a1 + 2×Q)/8

f[b1] = (2×B + 6×b1)/8

f[c1] = (2×C + 6×c1)/8

…

f[a2] = (2×R + 6×a2)/8

f[a3] = (2×S + 6×a3)/8

…

수학식 2에서 f[a1]은 예측값 a1에 필터를 적용한 값이며, A와 Q는 참조 화소값을 나타낸다. 수학식 2를 참조하면, a1에 위치한 화소의 예측값에 대하여 3-tap 필터가 적용되고, 나머지 화소의 예측값에 대하여는 2-tap 필터가 적용됨을 알 수 있다.

수학식 3은 제안된 적응적 필터를 이용한 인트라 예측 수행 방법에 따라 예측값에 필터가 적용되는 경우, 예측값에 적용되는 필터를 나타내는 수학식의 또 다른 예이다.

<수학식 3>

1. Vertical low-pass filter

v[a1] = (A + 2×a1 + a2)/4

v[a2] = (v[a1] + 2×a2 + a3)/4

…

v[a8] = (v[a7] + 3×a8)/4

v[b1] = (B + 2×b1 + b2)/4

…

2. Horizontal low-pass filter

h[a1] = (Q + 2×v[a1] + v[b1])/4

h[b1] = (h[a1] + 2×v[b1] + v[c1])/4

…

h[h1] = (h[g1] + 3×v[h1])/4

h[a2] = (R + 2×v[a2] + v[b2])/4

…

수학식 3의 필터는 각 예측 모드에 대하여 주변 블록의 정보를 이용하는 방법 또는 RDO 방법을 기반으로 하여 적응적인 필터를 적용할 때에 사용될 수 있다. 수학식 3을 참조하면, 필터 계수가 (1,2,1)인 저대역 필터가 수직과 수평의 두 방향에 대해 순차적으로 수행된다. 먼저 수직 방향으로 필터가 적용되며, 필터가 적용된 값을 기반으로 다시 수평 방향으로 필터가 적용된다. 필터가 적용된 예측값이 다른 예측값에 필터를 적용할 때 사용될 수 있다.

한편, RDO 방법이 적용되는 경우, 도 6에서 설명된 인트라 예측 수행 방법이 반복되어 수행될 수 있다.

도 8은 본 발명의 실시예가 구현되는 인코더 및 디코더의 블록도이다.

인코더(800)는 프로세서(810; processor) 및 메모리(820; memory)를 포함한다. 프로세서(810)는 제안된 기능, 과정 및/또는 방법을 구현한다. 프로세서(810)는 현재 블록의 주변 블록의 정보를 기반으로 참조 화소값에 대한 제1 필터의 적용 여부를 결정하고, 상기 제1 필터를 적용하기로 결정된 경우 상기 참조 화소값에 대하여 상기 제1 필터를 적용하고, 상기 참조 화소값을 기반으로 상기 현재 블록에 대한 인트라 예측을 수행하고, 상기 주변 블록의 정보를 기반으로 상기 인트라 예측 수행에 의해서 예측된 상기 현재 블록의 각 예측 모드 별 예측값에 대한 제2 필터의 적용 여부를 결정하고, 상기 제2 필터를 적용하기로 결정된 경우 상기 현재 블록의 각 예측 모드별 예측값에 대하여 상기 제2 필터를 적용하도록 구성된다. 메모리(820)는 프로세서(810)와 연결되어, 프로세서(810)를 구동하기 위한 다양한 정보를 저장한다.

디코더(900)는 프로세서(910) 및 메모리(920)를 포함한다. 프로세서(910)는 제안된 기능, 과정 및/또는 방법을 구현한다. 프로세서(910)는 현재 블록의 주변 블록의 정보를 기반으로 참조 화소값에 대한 제1 필터의 적용 여부를 결정하고, 상기 제1 필터를 적용하기로 결정된 경우 상기 참조 화소값에 대하여 상기 제1 필터를 적용하고, 상기 참조 화소값을 기반으로 상기 현재 블록에 대한 인트라 예측을 수행하고, 상기 주변 블록의 정보를 기반으로 상기 인트라 예측 수행에 의해서 예측된 상기 현재 블록의 각 예측 모드 별 예측값에 대한 제2 필터의 적용 여부를 결정하고, 상기 제2 필터를 적용하기로 결정된 경우 상기 현재 블록의 각 예측 모드별 예측값에 대하여 상기 제2 필터를 적용하도록 구성된다. 메모리(920)는 프로세서(910)와 연결되어, 프로세서(910)를 구동하기 위한 다양한 정보를 저장한다.

프로세서(810, 910)은 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(820, 920)는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(820, 920)에 저장되고, 프로세서(810, 910)에 의해 실행될 수 있다. 메모리(820, 920)는 프로세서(810, 910) 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(810, 910)와 연결될 수 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims

현재 블록(current block)의 참조 화소값에 대한 제1 필터의 적용 여부를 결정하는 단계; 및
상기 제1 필터의 적용 여부에 따라 유도된 상기 참조 화소값을 이용하여 상기 현재 블록에 대한 예측값을 도출하는 단계
를 포함하고,
상기 제1 필터의 적용 여부는,
상기 현재 블록의 인트라 예측 모드 및 상기 현재 블록의 크기 중 적어도 하나를 기반으로 결정되고,
상기 현재 블록에 대한 예측값을 도출하는 단계에서는,
상기 현재 블록의 인트라 예측 모드 및 상기 현재 블록의 크기 중 적어도 하나를 기반으로 제2 필터를 적용하여 상기 현재 블록에 대한 예측값을 도출하고,
상기 현재 블록의 인트라 예측 모드가 기설정된 비방향성 모드인 경우,
상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소에 대해 상기 제2 필터를 적용하여 상기 현재 블록에 대한 예측값을 도출하되, 상기 제2 필터가 적용되는 화소의 위치에 따라 3-tap 필터 및 2-tap 필터 중 어느 하나가 선택적으로 적용되는 영상 복호화 방법.
삭제
삭제
삭제
제1항에 있어서,
상기 현재 블록의 인트라 예측 모드가 상기 기설정된 비방향성 모드인 경우,
상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 화소들 및 상기 현재 블록의 가장 좌측 화소들에 대해 상기 제2 필터를 적용하는 것을 특징으로 하는 영상 복호화 방법.
제5항에 있어서,
상기 제2 필터를 적용하는 경우,
상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 가장 좌측 화소에 대해 상기 3-tap 필터를 적용하고,
상기 참조 화소값의 경계에 인접한 상기 현재 블록의 예측 화소 중 상기 현재 블록의 최상단 가장 좌측 화소를 제외한 나머지 화소들에 대해 상기 2-tap 필터를 적용하는 것을 특징으로 하는 영상 복호화 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제