KR100803569B1 - 비디오 코더의 루프/포스트 필터링 방법 - Google Patents

Abstract

본 발명의 목적은 동영상의 블록화 및 링 현상(ringing effects)을 제거하기 위한 루프 및 포스트 필터를 구현함에 있어서 실시간 처리가 용이하도록 계산량을 줄이고도 일정 수준의 화질을 보장하는 기술에 관한 것이다. 이러한 본 발명은, 가변길이 코딩된 M×M 크기의 블록에 포함된 화소에 대하여 움직임 보상을 수행하는 단계와; 정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계를 포함하며, 상기 보상한 복원 영상을 구하는 단계는 적어도 매크로 블록 타입 정보를 포함한 동영상 압축에 관계된 정보 및 인접화소와의 상관정보를 이용하여 현재 처리될 화소에 대해 적응적으로 필터링을 수행하는 것을 특징으로 한다.

Description

비디오 코더의 루프/포스트 필터링 방법{LOOP/POST FILTERING METHOD FOR VIDEO CODER}

도 1은 본 발명에 의한 비디오 코더의 루프/포스트 필터링 방법의 신호 흐름도.

도 2는 본 발명에 의한 포스트 필터의 예시도.

도 3 내지 도 8은 통상의 필터링 방식과 본 발명에 의한 필터링 방식의 실험 결과를 나타낸 그래프.

***도면의 주요 부분에 대한 부호의 설명***

1 : 현재 매크로 블록 2 : 상위 매크로 블록

본 발명은 ITU-T 주관하에 개발되고 있는 동영상 비디오 코더에서 발생하는 블록화 현상을 제거하기 위한 루프(Loop) 및 포스트(Post) 필터링 기술에 관한 것으로, 특히 실시간 처리가 용이하도록 계산량을 줄이고 화질을 개선하는데 적당하도록한 비디오 코더의 루프/포스트 필터링 방법에 관한 것이다.

1997년 이후 차세대 동영상 압축 방식은 기존의 다른 압축 표준 방식에 비하여 성능면에서 우월성이 입증되었다. 기존의 다른 압축 표준 방식과의 주요 차이점은 동영상 압축 방식이 4×4 블록 기반의 변화 및 부호화를 사용하고, 변환 블록 크기의 움직임 추정 및 보상을 실시하며, 그리고 한 개의 가변길이코드(VLC: Variable Length Code)를 사용한다는 점에 있다.

상기의 설명에서와 같이 통상의 동영상 압축 방식은 기존의 다른 압축 표준화 방식에 비하여 성능면에서 우수하지만, 부호화단에서의 계산량이 많고 4×4 블록 크기를 기반으로 하는 변환방식을 채택하고 있으므로 기존의 표준화 방식보다 블록화 현상이 두드러져 보이는 단점이 있다.

이러한 블록화 현상을 제거하기 위한 필터링 방식에는 엔코더 및 디코더의 내부에서 처리하는 루프(Loop) 필터링 방식, 디코더 다음단에서 처리하는 포스트(Post) 필터링 방식, 그리고 그 두 방식을 혼합한 형태의 필터링 방식을 들 수 있다.

일반적으로, 루프 필터링 방식으로 블록화 현상을 제거하면 입력 영상과 움직임 영상의 차이 값에 영향을 미쳐 부호화율이 특정한 경우에 높아지게 된다. 이와 더불어, 비디오 코더 내부에 설치되어 있으므로 부호화부의 복잡성을 증가시키게 된다.

이때, 루프 필터의 복잡성은 필터 탭 수 및 알고리즘의 구현 가능성에 따라 결정되므로, 이상적인 루프 필터는 작은 탭 수를 가지며, 알고리즘이 단순한 방식으로 구현된 루프필터라고 할 수 있다. 반면에, 포스트 필터의 장점 및 단점은 루프 필터 장점 및 단점의 역이라 할 수 있다.

그런데, 종래의 동영상 압축 표준화를 위한 테스트 모델에서는 엔코더가 상당히 복잡하게 구성되어 있으며, 이 테스트 모델의 기본 구성에 첨부되어 있는 블록화 제거 루프 필터는 7 탭(7 tap) 필터로 구성되어 있고, 필터와 연계되어 있는 계산량이 상당히 많아 전체 시스템의 복잡도가 엔코더단에 치우치게 되고, 이로 인하여 실시간 처리에 많은 어려움이 있었다.

따라서, 본 발명의 목적은 압축 동영상의 블록화 및 링 현상(ringing effects) 등을 제거하기 위한 루프/포스트 필터를 구현함에 있어서 실시간 처리가 용이하도록 계산량을 줄이고도 일정 수준의 화질을 보장하는 비디오 코더의 루프/포스트 필터링 방법을 제공함에 있다.

본 발명의 제1특징은 동영상 압축 복호화 단에서 여러 정보들을 이용하여 압 축 영상의 각 화소에 대해 적응적으로 부가 함수를 설정하는데 있다.

본 발명의 제2특징은 실시간 처리가 가능하도록 인접 화소와의 관계 정도(correlation)를 추정하는데 있다.

본 발명의 제3특징은 부호화 및 복호화 단에서 화소의 위치 및 매크로 블록의 부호화 형태에 따라 블록화 및 링 현상을 제거하는데 있다.

본 발명의 목적을 달성하기 위한 비디오 코더의 루프/포스트 필터링 방법은, 가변길이 코딩된 M×M 크기의 블록에 포함된 화소에 대하여 움직임 보상을 수행하는 단계와; 정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계를 포함하며, 상기 보상한 복원 영상을 구하는 단계는 적어도 매크로 블록 타입 정보를 포함한 동영상 압축에 관계된 정보 및 인접화소와의 상관정보를 이용하여 현재 처리될 화소에 대해 적응적으로 필터링을 수행하는 것을 특징으로 하는 것으로, 이와 같이 이루어진 본 발명의 작용을 첨부한 도 1 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.

통상의 동영상 압축 방식에서는 부호화부에서 공간적, 시간적 과잉 정보를 제거하는 기법을 사용하여 시 공간적으로 압축된 정보와 복호화에 필요한 부가 정보를 전송한다. 복호화부는 부호화부의 역순으로 구성되어 있다.

먼저, 화소 사이의 상관성(correlation)을 복호화단에서 이용 가능한 양자화 변수(QP), 매크로블록 타입(mtype)으로부터 원 영상을 예측하여 실시간 처리기법으로 블록화, 링 현상 제거하는 과정에 대하여 설명한다.

원 영상 f가 압축된 형태로 전송될 때, 복호화단에서 재 구성된 영상은 다음 과 같은 식으로 표현할 수 있다.

상기 (식1)에서 g,f,n은 스캐닝 순서로 재 배열된 MM×1 크기의 압축 영상, 원 영상 그리고 양자화 오차의 열 벡터를 의미한다. 상기 (식1)을 화소 단위의 처리를 위하여 각 화소의 관계를 표현하는 식으로 다음과 같이 표현할 수 있다.

원 화소에 대한 신뢰도와 각 화소에 대한 1차원 평탄화(smoothing) 함수를 정규화 기법과 같이 이용할 때 다음과 같은 부가 함수를 정의할 수 있다. 우선 수평 방향을 고려한다.

상기 (식3)의

은 화소 f(i,j)에 대한 좌측, 우측 방향으로의 신뢰도와 평탄화 정도를 나타내는 함수이며, 이 함수들은 다음과 같이 정의된다.

상기 (식4)의 각 함수들 우측항의 첫째 항들은 화소

에 대한 인접 화소와의 불규칙을 나타내고, 둘째 항들은 원 화소에 대한 신뢰도를 나타낸다. 또한,

은 각 함수에 정의된 불규칙 항과 신뢰도 항의 비율을 나타내는 일종의 정규화 매개 변수들을 의미한다. 상기와 같은 방식으로 동 영상의 각 화소마다 부가 함수가 정의되며, 수직 방향으로의 함수 정의는 상기 (식4)의 변수 j 대신 i를 변화시 켜 정의한다.

블록화 및 링 현상을 제거한 복원 영상을 구하기 위해 각 화소마다 정의된 상기 (식4) 형태의 부가함수에 미분을 취하면 다음과 같은 결과를 얻게 된다.

상기 (식5)에서,

상기 (식5),(식6)으로부터 수평 방향으로 복원될 화소 f(i,j)를 다음과 같이 구할 수 있다.

상기 (식7)의 정규화 매개 변수는 0과 1 사이의 값을 가지므로 이 (식7)은 다음과 같이 정의할 수 있다.

상기 (식8)을 살펴보면, 압축 영상의 블록화 제거 영상은 (i,j)번째 영상을 기준으로 좌,우 두 개의 화소값 및 정규화 매개 변수에 의해 결정된다. 좌,우 두 개의 화소값은 부호화 및 블록화부에서 이용 가능한 값이므로, 복원 영상을 얻기 위해서는 두 개의 정규화 매개 변수값을 설정하면 된다. 이를 위해 set theoretic 이론을 화소 단위의 복원 방식에 적용하면 정규화 계수들은 다음과 같이 표현할 수 있다.

상기 (식9)의

은 블록 경계 및 블록 내부의 화소간의 불균일 정도가 다르기 때문에 화소의 위치에 의해 결정되는 적응 매개 변수이며, QP는 f(i,j)가 속한 매크로 블록의 양자화 매개 변수이다. 일반적으로, 상기 적응 매개 변수는 통계적으로 결정된다.

상기 (식8) 및 (식9)을 이용하여 블록화 현상을 제거한 복원 영상을 얻을 수 있으나, 정규화 매개 변수의 값이 플로팅 포인트(floating-point) 연산을 요구하므로, 계산량 측면에서 문제가 될 수 있다. 따라서, 정수 연산을 위해 상기 (식8) 및 (식9)를 다음과 같이 변형시킨다.

그리고,

본 발명의 알고리즘은 정규화 매개 변수를 상기 (식11)을 사용하여 정수 형태로 생성한 후 룩업테이블 형태로 저장하여 사용된다. 그러므로, 블록화 필터 식인 상기 (식10)은 f(i,j) 및 주변의 두 화소의 위치 및 양자화 매개 변수값을 알면 구할 수 있는 형태가 된다.

참고로, 상기 룩업테이블을 구성하기 위한 메모리의 용량은 8bits ×31(양자화 매개 변수 종류 수) ×2(사용된 적응 매개 변수 종류)×256(화소간의 차이 종류) = 127kbits가 필요하다.

한편, 상기와 같은 필터를 루프 및 포스트 필터로 사용하는 방법에 대하여 설명하면 다음과 같다.

상기의 설명에서와 같은 루프 필터는 비디오 코덱의 계산량 부담을 줄이기 위해 효율적으로 사용된다. 먼저 부호화된 각 매크로 블록의 타입을 보고, 현재 처리될 화소를 포함하고 있는 매크로 블록 타입이 부호화된 매크로 블록(intra 또는 inter macro block)으로 판명되면 상기 (식10) 및 (식11)을 블록 경계 영역의 화소값에 대해서만 적용한다. 이때, 상기 (식11)의 적응 매개 변수는 다음과 같다.

상기의 설명에서와 같은 포스트 필터는 비디오 코덱 디코더 후단에 설치되며, 도 2에서와 같이 현재 처리 영상의 매크로 블록인 현재 매크로블록(1) 타입과 상부에 위치한 상부 매크로 블록(2)이 카피 매크로 블록이면, 이전의 복원 영상의 정보를 사용하고, 그렇지 않으면 상기 (식10) 및 (식11)을 사용하여 구하여 진다. 즉,

또한, 상기 (식11)의 정규화 매개 변수의 적응 매개 변수는 다음과 같이 결정된다.

참고로, 도 3 내지 도 8은 통상의 필터링 방식(예: TML4)과 본 발명에 의한 필터링 방식의 실험 결과를 나타낸 그래프로서, 실시간 처리가 용이하고 화질이 향상되었음을 알 수 있다.

이상에서 상세히 설명한 바와 같이 본 발명은, 동영상 압축 기법이 사용되는 디지털 영상기기에서, 이용 가능한 여러 정보들을 근거로 압축 영상의 각 화소에 대해 적응적으로 부가 함수를 설정하고, 실시간 처리가 가능하도록 인접 화소와의 관계 정도를 추정하며, 화소의 위치 및 매크로 블록의 부호화 형태에 따라 블록화 및 링 현상을 제거함으로써, 저비트율 또는 고속 처리가 요망되는 압축 영상의 화질 개선에 기여할 수 있는 효과가 있다.

Claims (16)

1. 가변길이 코딩된 M×M 크기의 블록에 포함된 화소에 대하여 움직임 보상을 수행하는 단계와;

   정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계를 포함하며,

   상기 보상한 복원 영상을 구하는 단계는 적어도 매크로 블록 타입 정보를 포함한 동영상 압축에 관계된 정보 및 인접화소와의 상관정보를 이용하여 현재 처리될 화소에 대해 적응적으로 필터링을 수행하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
2. 제1항에 있어서,

   상기 정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계는

   상기 M×M 크기의 블록에 포함된 각 화소에 대해 부가함수를 설정하는 단계와;

   상기 각 화소에 설정된 부가함수를 미분하는 단계와;

   상기 미분된 부가함수로부터 복원될 화소를 얻기 위해 정규화 매개변수를 구하는 단계를 더 포함하고,

   상기 부가함수는 다음과 같은 식으로 정의되는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

   
3. 제2항에 있어서,

   상기 함수(

   

   )는 화소 f(i,j)에 대한 좌,우측 방향으로의 신뢰도와 평탄화 정도를 나타내고, 다음과 같은 식으로 정의되는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

   
4. 제2항에 있어서,

   상기 각 화소마다 정의된 부가함수의 미분식은 다음과 같은 식으로 정의되는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

   
5. 제2항에 있어서,

   상기 정규화 매개 변수는 다음과 같은 식으로 정의되는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

   
6. 제5항에 있어서,

   상기 정규화 매개 변수의 계수는 다음과 같은 식으로 정의되는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

   
7. 제5항에 있어서,

   상기 정규화 매개 변수에 대한 정수 연산을 위해 다음의 식을 이용하는 것을 특징으로 하는 비디오 루프/포스트 필터링 방법.

   

   
8. 삭제
9. 제1항에 있어서,

   상기 정수로 이루어진 정규화 매개 변수는 다음의 식을 이용하여 정수 형태로 생성한 후 룩업 테이블에 저장되는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

   
10. 제1항에 있어서,

    상기 현재 처리될 화소에 대한 필터링의 수행은 다음과 같은 필터식을 이용하여 루프 필터 또는 포스트 필터로 사용하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

    

    
11. 제10항에 있어서,

    상기 루프 필터는 현재 처리될 화소를 포함하는 매크로 블록의 타입이 부호화된 매크로 블록이면 블록 경계 영역의 화소에 대해서만 상기 필터식을 적용하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
12. 제10항에 있어서,

    상기 포스트 필터는 현재 처리될 화소를 포함하는 블록과 상기 현재 처리될 화소를 포함하는 블록 상부에 위치한 상부 매크로 블록의 타입이 카피 매크로 블록이면 이전의 복원 영상정보를 사용하고, 카피 매크로 블록이 아니면 상기 필터식을 적용하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
13. 제3항에 있어서,

    상기 각 함수(

    

    ,

    

    )들의 우측항의 첫째 항들은 원 화소 f(i,j)에 대한 인접 화소와의 불규칙 정도를 나타내고, 상기 우측항의 둘째 항들은 원 화소 f(i,j)에 대한 신뢰도를 나타내는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
14. 제3항에 있어서,

    상기

    

    ,

    

    는 각 함수(

    

    ,

    

    )들에 정의된 불규칙항과 신뢰도항의 비율을 나타내는 매개 변수인 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
15. 제6항에 있어서,

    상기 정규화 매개 변수의 계수 식에서

    

    ,

    

    은 블록 경계 및 블록 내부의 화소간의 불균일 정도가 다르기 때문에 화소의 위치에 의해 결정되는 적응 매개 변수인 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
16. 제6항에 있어서,

    상기 정규화 매개 변수의 계수 식에서 QP는 화소 f(i,j)가 속한 매크로 블록의 양자화 매개 변수인 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.

Images