KR101221495B1 - 적응적 ｍｃｔｆ의 ｒｄ 최적화 방법 - Google Patents

Abstract

본 발명은 적응적 MCTF 방법에 관한 것으로서, 현재 블록의 움직임 정보를 검색하고, 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 한편, 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(E_B)을 산출하는 것을 특징으로 한다. 또한, 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 현재 블록 내 지역분산의 합(JND_sum)과 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)을 산출한 다음, 픽셀 당 허용된 오차 범위의 합(E_B) 또는 현재 블록 내 지역분산의 합(JND_sum) 중 적어도 하나 이상을 이용하여 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)과 비교한다. 비교 결과에 따라, 현재 블록에 대하여 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 짝수 프레임에 더해질 여분의 데이터의 합을 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 현재 블록에 대하여 화면 내 부호화하는 것을 특징으로 한다. 본 발명에 따르면, 적응적 MCTF(contents adaptive MCTF)의 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있다.

Description

적응적 ＭＣＴＦ의 ＲＤ 최적화 방법{Contents Adaptive MCTF Using RD Optimization}

본 발명은 적응적 MCTF(content adaptive MCTF) 방법에 관한 것으로서, 더욱 상세하게는 적응적 MCTF(contents adaptive MCTF) 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있는 R-D 이론을 이용한 적응적 MCTF 방법에 관한 것이다.

무선 영상 통화나 방송 등 영상 정보를 사용하는 단말기기가 늘어나면서 영상 데이터 전송 환경이 매우 다양하게 변하고 있다. 이에 따라 하나의 원본 영상으로부터 TV, DMB, 또는 개인용 단말기에 이르기까지 다양한 단말로의 영상 전송을 위해서는 변화가 심한 전송 환경에 적용할 수 있는 SVC(scalable video coding)기술이 필수적으로 요구된다. SVC는 크게 공간적, 화질적, 시간적 확장성으로 분류되는데 하나의 영상 컨텐츠를 다양한 공간적 해상도와 화질, 다양한 프레임율을 갖도록 하는 하나의 비트스트림으로 구성하여 여러 가지 단말에서 자기 자신의 능력에 맞도록 비트스트림을 받아 복원하는 것을 가능하게 하는 기술이다.

SVC의 세 가지 확장성 중 시간적 확장성에 해당되는 MCTF(motion compensated temporal filtering)는 리프팅 스킴(lifting scheme)을 사용하는데 SVC의 시간적 확장성 지원에서 기초적인 역할을 한다. MCTF는 웨이블릿 기법을 이용하여 시간 확장성을 제공함과 동시에 프레임 간 중복성 제거에 그 목적이 있으며 2D 웨이블릿 기법과 같이 사용하여 화질에 대한 확장성 또한 동시에 제공하기 위하여 고안되었다. MCTF는 영상을 시간축으로 저주파인 이웃 영상들과의 평균영상과 고주파인 이웃 영상들과의 차영상으로 필터링하여 시간적 확장성을 제공한다.

하지만 MCTF의 단점은 단계가 증가할수록 프레임간의 움직임 정보를 정확히 찾을 수 없다는 것이다. 그 이유는 MCTF의 단계가 진행될수록 원 영상과 참조 영상간의 시간 간격이 벌어지면서 영상 간의 연관성이 줄어들게 되며 프레임 간 시간 간격의 증가로 인하여 올바른 움직임 정보를 찾을 수 없게 된다. 이는 저주파 밴드로 옮겨져야 할 에너지가 고주파 밴드에 남게 되는 결과를 가져오며 화질의 저하를 초래하게 된다. 또한 MCTF의 단계가 증가할수록 이러한 화질의 저하가 누적되어 프레임간의 시간 차에서 발생하는 잔상이 발생하여 화질의 저하를 초래하는 문제가 있다.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 적응적 MCTF(contents adaptive MCTF)의 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있는 적응적 MCTF 방법을 제공하는 것이다.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 현재 블록의 움직임 정보를 검색하는 단계; 상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계; 상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(E_B)을 산출하는 단계; 상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JND_sum)과 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)을 산출하는 단계; 상기 픽셀 당 허용된 오차 범위의 합(E_B) 또는 상기 현재 블록 내 지역분산의 합(JND_sum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)과 비교하는 단계; 및 상기 비교 결과에 따라, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 상기 현재 블록에 대하여 화면 내 부호화하는 단계를 포함하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법을 제공한다.

본 발명의 일 실시예에 의하면, 상기 R-D 이론에서 R-D 곡선의 기울기를 λ라고 할 때, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 상기 픽셀 당 허용된 오차 범위의 합과 상기 λ를 선택할 수 있다.

또한, 현재 프레임에 대한 λ를 다음 프레임에 대한 λ로 사용함으로써, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 연산의 복잡성을 줄일 수 있다.

본 발명의 다른 실시예에 의하면, 상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 현재 블록에 대하여 화면 내 부호화하는 것이 바람직하다.

상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 정확하지 않은 움직임 정보가 적용된 것으로 판단하는 것이다.

또한, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 큰 경우, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하는 것이 바람직하다.

본 발명의 또 다른 실시예에 의하면, 상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 크고, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하는 것이 바람직하다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 적응적 MCTF 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 따르면, 적응적 MCTF(contents adaptive MCTF)의 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있다. 또한, 본 발명에 따르면, R-D 최적화된 임계값을 이용하여 기존의 지역 분산을 이용한 적응적 MCTF 기술보다 PSNR의 향상을 이룰 수 있다.

도 1은 Lifting-Scheme을 사용한 MCTF를 도시한 것이다.
도 2는 5/3-탭 웨이블릿 MCTF 부호화 구조를 나타낸 것이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 R-D 이론을 이용한 적응적 MCTF 방법의 흐름도이다.
도 4는 MCTF의 예측 과정과 역방향 움직임 정보로 인한 업데이트의 중복을 도시한 것이다.
도 5는 각각의 MCTF 별로 JSVM에 foreman 시퀀스를 적용하여 나타난 PSNR과 비트량을 그래프화한 것이다.
도 6은 각각의 MCTF 별로 JSVM에 football 시퀀스에 적용하여 나타난 PSNR과 비트량을 그래프화 한 것이다.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.

본 발명의 일 실시예에 따른 R-D 이론을 이용한 적응적 MCTF 방법은 현재 블록의 움직임 정보를 검색하는 단계; 상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계; 상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(E_B)을 산출하는 단계; 상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JND_sum)과 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)을 산출하는 단계; 상기 픽셀 당 허용된 오차 범위의 합(E_B) 또는 상기 현재 블록 내 지역분산의 합(JND_sum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)과 비교하는 단계; 및 상기 비교 결과에 따라, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 상기 현재 블록에 대하여 화면 내 부호화하는 단계를 포함한다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명한다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

SVC에서 영상의 시간적 확장성 제공을 위해 사용되는 MCTF는 시간적 확장과 함께 화질의 확장성을 제공하는데 큰 역할을 한다. 그러나 MCTF의 특성상 예측(prediction)과 업데이트(update) 단계가 증가할수록 분석해야 할 프레임간의 시간 간격이 멀어지게 되고 올바른 움직임 정보의 검색이 어려워져 화질의 저하를 초래한다.

도 1은 Lifting-Scheme을 사용한 MCTF를 도시한 것이다.

MCTF는 필터를 적용함에 있어 lifting scheme을 사용하게 되며, 도 1은 lifting scheme을 사용한 MCTF와 그 역변환을 보여준다. Lifting scheme은 크게 2단계를 거치게 되는데 먼저 예측 과정에서 영상의 움직임 정보를 찾아내고 이를 이용하여 고주파 밴드 영상을 생성한다. 두 번째 단계로 업데이트 과정에서 고주파 밴드 영상을 이용하여 저주파 밴드 영상을 생성한다. 이러한 과정에서 영상의 에너지를 최대한 저주파 밴드로 옮기고 고주파 밴드에는 적은 양의 에너지를 유지하여 부호화의 효율을 높인다. 역변환 시에는 새로운 추가 정보 없이도 원본의 복원이 가능하다. 하지만 MCTF의 단점은 단계가 증가할수록 프레임간의 움직임 정보를 정확히 찾을 수 없다는 것이다.

도 2는 5/3-탭 웨이블릿 MCTF 부호화 구조를 나타낸 것이다.

도 2를 참조하면, 5/3-탭 웨이블릿 MCTF의 경우 단계와 시간의 관계가 도시되어 있다.

t-L이 MCTF의 진행단계를 나타내며, F0-F7은 부호화 될 프레임 나타낸다. 각 단계에서 실선은 저주파 프레임을 점선은 고주파 프레임을 나타내고 움직임 정보 예측이 필요한 프레임은 화살표로 연결되어있다

도 2와 같이 MCTF의 단계가 진행될수록 원 영상과 참조 영상간의 시간 간격이 벌어지면서 영상 간의 연관성이 줄어들게 되며 프레임간 시간 간격의 증가로 인하여 올바른 움직임 정보를 찾을 수 없게 된다. 이는 저주파 밴드로 옮겨져야 할 에너지가 고주파 밴드에 남게 되는 결과를 가져오며 화질의 저하를 초래하게 된다.

또한, MCTF의 단계가 증가할수록 이러한 화질의 저하가 누적되어 프레임간의 시간차에서 발생하는 잔상이 나타난다. 업데이트를 생략함으로써 이러한 잡음의 누적을 방지할 수 있으나 업데이트의 생략으로 인한 PSNR의 저하를 가져오며 이러한 현상은 업데이트의 생략으로 인해 복원 시 필요한 고주파 밴드의 정보가 누락되기 때문이다.

또한, MCTF의 단계 증가로 인해 생기는 원본 영상과 참조 영상간의 시간 간격은 올바른 움직임 정보의 검색을 힘들게 하고 이는 부호화 효율과 화질의 저하를 초래하며 이러한 현상은 움직임이 큰 영상일수록 더욱 심화된다. 영상 내에 새로운 물체가 나타났을 경우 해당 부분의 매크로 블록은 올바른 움직임 정보를 찾을 수 없고 결과적으로 고주파 밴드 영상에 큰 값을 생성하며, 저주파 밴드 영상에 큰 잡음을 추가하게 되는 원인이 된다. 이런 경우에는 업데이트 함수의 변화가 아닌 보다 근본적인 문제 해결 방법이 필요하다.

일반적으로 영상처리 분야에서 JND(just noticeable difference)는 영상내 고주파 성분의 방향성을 알아내는데 사용된다. 이러한 JND의 특성을 이용하여 이미지 워터마킹 분야에서 노이즈 가시성을 판별하여 추가데이터의 삽입에 이용하거나, JND 마스크와 웨이블릿을 이용한 이미지 워터마킹 등에 사용된다. 이러한 JND의 사용은 영상내 고주파 성분의 방향성을 이용하거나 혹은 노이즈 가시성을 이용하는 방법들이다.

본 발명은 MCTF의 업데이트 과정 내에서 JND를 사용하여 움직임 정보를 찾을 수 없는 블록의 화면 간 부호화로 인한 화질 저하를 방지하는 방법에 대한 것이다. 영상 내 모서리 부분을 찾는데 사용되는 JND는 오류의 가시성이 높은 부분과 그렇지 않은 부분을 찾아내어 MCTF의 업데이트 과정에서 더해지는 고주파 밴드 영상의 임계값으로 사용된다. 이는 영상 내 고주파 성분이 없는 저주파 영역에서 발생하는 잡음이 더 확연해지는 것을 이용한 방법이다. 본 발명을 통하여 MCTF의 하위 단계에서 프레임간의 시간차를 극복하고 시각적인 화질의 향상을 얻을 수 있다.

본 발명의 실시예에 따르면, JND의 노이즈 가시성 판별력을 이용하여 업데이트가 중복되어 일어나는 것을 방지한다.

JND를 U의 임계값으로 정하여 업데이트를 적용할 경우 임계값을 초과하는 영역에서 다중 업데이트가 일어나는 것을 방지할 수 있다. 또한 업데이트시 더해지는 U를 잡음이라고 가정하였을 때 잡음의 추가로 인한 임계값의 초과로 업데이트를 생략하는 결과를 가져오기 때문에 JND는 이러한 중복 업데이트를 방지하는데 사용될 수 있다.

적응적 MCTF는 영상 내 화소값에 의존하여 그 크기가 변하는 JND를 U의 임계값으로 사용하여 영상 내 해당 영역의 특징에 맞추어 업데이트를 제한하고 잡음을 줄인다. 이러한 JND의 특성을 이용하면 반대로 정확하지 않은 움직임 정보에 의해 고주파 밴드에 큰 값이 존재하는 블록들을 찾아낼 수 있으며, 이를 화면내 부호화하여 화질을 향상시킬 수 있다. 적응적 MCTF는 JND에 근접한 U를 갖는 블록에서는 매우 뛰어난 시각적인 화질 향상을 보인다. 그러나 U가 JND 이상일 때 L[i]에 더해지는 H[i]의 크기를 제한하게 되므로 MCTF 복원 시에 영상의 화질을 저하시키며 이 화질의 저하는 U와 JND의 차이가 클수록 증가한다. JND 이상의 값을 갖는 U는 JND와 그 차이가 커질수록 올바른 움직임 정보를 찾아낸 것이 아니라 볼 수 있으며 이는 고주파 밴드에 많은 값이 남아있는 것을 의미하기 때문이다. 따라서 이 값을 축소하여 적용하는 적응적 MCTF의 경우에 정확한 움직임 정보에 의한 화면 간 부호화가 되고 있다고 보기 어렵다.

일반적으로 화면내 존재하는 잡음은 저주파 부분에서 더욱 두드러져 보이며 이러한 정보는 U의 임계값 결정에 활용할 수 있다. 적응적 MCTF는 업데이트과정에서 지역 분산을 이용하여 임계값을 설정함으로써 잡음이 누적되는 것을 방지한다. 적응적 MCTF에서 사용되는 지역 분산값 JND는 HVS(human visual system)에서 휘도 영상 내 고주파 부분을 판별하는데 사용된다. JND 수식은 영상 내 지역 분산의 최대값을 유지하며 계산하므로 영상의 특성에 맞는 지역분산을 계산하는데 효율적이다. 또한 지역분산 JND를 이용하면 저주파 영역의 화소에 임계값을 적용한 U를 더하게 되므로 잡음을 감소시킬 수 있다.

σ_s ²(m,n)은 영상의 (m,n)에서의 분산이다. 수학식 1을 통해 현재 위치에서 잡음이 눈에 띄는 정도를 나타낼 수 있으며 저주파 부분에서 JND 값이 작아지게 되므로 이를 업데이트 함수의 임계값으로 이용할 수 있다.

본 발명에서는 적응적 MCTF에서 사용되는 JND를 이용하여 잘못된 움직임 정보를 갖는 블록을 선별하며 해당 블록을 화면내 부호화하여 화질의 향상을 가져올 수 있도록 한다. JND는 매 화소마다 계산되는 값이므로 블록별로 처리하기 위해서 블록 내 JND의 합을 계산할 수 있도록 다음과 같이 정의한다.

x와 y는 블록 내의 좌표이며, s는 JND의 적용정도를 나타내는 계수, B_x와 B_y는 블록의 가로 세로 크기이다. V값은 화소당 U값의 허용 오차범위이다. V값이 0일 경우 U가 임계값이상인 모든 블록에 대해 화면내 부호화를 하며 V가 커질수록 적응적 MCTF에 가까워진다. E_B는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값인데(E_B=B_xB_yV) JND를 통한 적응적 업데이트를 변경 없이 적용할 수 있는 U값의 범위를 지정하는데 사용된다.

이상에서 살펴본 바와 같이 JND를 이용하여 업데이트가 중복되어 일어나는 것을 방지한다. JND를 임계값으로 정하여 업데이트를 적용할 경우 임계값을 초과하는 영역에서 다중 업데이트가 일어나는 것을 방지할 수 있다. 또한 업데이트시 더해지는 U를 잡음이라고 가정하였을 때 잡음의 추가로 인한 임계값의 초과로 업데이트를 생략하는 결과를 가져오기 때문에 JND는 이러한 중복 업데이트를 방지하는데 사용될 수 있다.

그리고 움직임 정보를 이용하는 MCTF의 업데이트 과정에서 고려해야 할 사항 중 하나는 다중 참조된 화소에의 다중 업데이트이다. 고주파 밴드를 이용하여 저주파 밴드를 생성하는 업데이트 과정에서 고주파 밴드의 생성에 사용된 움직임 정보의 역방향을 이용하게 되는데 이는 하나의 화소에 반복적인 업데이트를 수행하게 되는 원인이 된다.

이러한 MCTF의 단점을 극복하기 위하여 적응적 MCTF에서는 지역 분산값인 JND를 업데이트의 임계값으로 사용하여 MCTF의 단점을 극복한다. 차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)은 중복되는 업데이트를 방지하기 위하여 하나의 연결된 화소만을 선택하도록 하여 하나의 화소에 업데이트가 여러 번 수행되는 것을 방지하도록 도와준다.

본 발명의 다른 실시예에 따르면, 지역 분산값을 이용한 적응적 MCTF의 업데이트 시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있다. 즉, 본 발명에서는 JND를 이용하여 잘못된 움직임 정보를 갖는 블록을 선별하며 해당 블록을 화면 내 부호화하여 화질의 향상을 가져올 수 있도록 최적의 E_B를 구하는 것이다.

이하에서는 적응적 MCTF를 확장하여 지역 분산값인 JND를 업데이트시 임계값으로 적용함과 동시에 부적절한 움직임 정보를 갖는 블록을 선별하여 화면내 부호화모드로 전환하여 화질의 향상을 얻을 수 있는 방법을 상세히 살펴보기로 한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 R-D 이론을 이용한 적응적 MCTF 방법의 흐름도이다.

300 단계에서 현재 블록의 움직임 정보를 검색한다.

310 단계에서 상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성한다.

MCTF의 업데이트 과정에서 고주파 밴드 영상을 생성하고 이를 이용하여 저주파 밴드의 영상을 생성하게 된다. 고주파 밴드 영상 H[i]은 다음의 수학식 5와 같이 산출될 수 있다.

여기서, H[i]는 프레임 예측 과정에서 생성된 고주파 밴드 영상이고, P는 인접 프레임간의 움직임 보상을 이용하여 예측된 결과이다. s는 프레임 넘버에 따른 영상의 데이터를 나타내며, MV_{2i +1→2i}는 홀수 프레임 2i+1에서 짝수 프레임인 2i로의 움직임 정보를 나타낸다. 결과적으로 MC(·)는 움직임 정보를 통한 보상을 이용하여 예측된 프레임을 나타낸다.

한편, 저주파 밴드 영상 L[i]는 다음의 수학식 6과 같이 산출될 수 있다.

L[i]는 저주파 밴드 영상을 나타내는데 U는 짝수 프레임에 더해질 여분의 데이터를 나타낸다. 여분의 데이터는 수학식 1에서 생성된 H[i]와 역방향 움직임 정보를 이용하여 짝수프레임에 더해지게 된다.

도 1의 구조와 함께 살펴보면, H[i]가 먼저 생성이 되고 L[i]가 생성된다. 이때 생성되는 L[i]를 살펴보면 부호화될 영상의 데이터에 U가 더해지게 되는데 lifting scheme에서는 이 업데이트 과정에서 더해지는 U를 이용하여 손실이 없는 역변환이 가능하게 되는 것이다. 하지만 이러한 U가 잡음으로 인식될 수 있기 때문에 업데이트 과정에서 현재의 화소와 주변의 차이에 따라 임계값을 적용함으로써 눈에 보이는 잡음을 줄일 수 있다.

320 단계에서 상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(E_B)을 산출한다.

고정된 E_B의 적용으로 인하여 고주파 성분이 적은 영역에서 임계값의 오류로 인하여 화질의 저하가 발생된다. 이러한 부호화 모드 전환의 오류는 시각적으로 잡음을 더 크게 느낄 수 있는 부분인 평평한 영역에서 더 자주 발생한다. 이 문제를 해결하기 위해 다음과 같이 R-D (Rate-Distortion) 이론을 적용한다.

R-D 이론은 왜곡 D가 존재할 때, 요구되는 화질을 전송하기 위한 최소한의 전송 비트 레이트 R를 계산하기 위한 이론으로, 종래 기술인바 상세한 설명은 생략한다.

수학식 7을 해결하기 위해서 λ를 찾아야 하지만 λ가 한정조건(constraint)과 볼록한 R-D 곡선의 특성을 만족시키는 선택된 최적점에서 R-D 곡선의 기울기라는 사실을 사용하면 문제를 간단하게 만들 수 있다. 따라서 비한정 문제는 일정한 λ를 사용해서 다음과 같이 설명되며 주어진 λ>0에 관해서 라그랑제 계열의 비용 함수 수학식 8을 최소화시키는 E_B ^*에 관해서 해를 구할 필요가 있다.

최적 해는 R-D 특성에 따라 λ>0일 때 존재하지 않을 수 있다는 것을 유의해야 한다. 음수가 아닌 모든 λ에 대하여, 한정된 문제의 해가 상응하는 비한정 문제의 해와 동일하다고 할 수 있다. 그러나

가 주어진 λ값에 관해서 R과 같은 경우가 발생하게 되면 E_B ^*는 한정 문제에 대한 원하는 해법이 된다. 다시 말해서, R이 주어지면 λ를 구할 수 있고 이에 따라서 비한정 문제에 관해서 해를 구할 수 있으며

을 만족시키는 원하는 해법 E_B ^*를 얻을 수 있다.

따라서 E_B뿐만 아니라 λ를 검색하여 한정된 최소 비용함수 값을 얻어야 한다. 프레임들 사이에서 장면의 변화가 일관성을 유지하면 프레임들 사이에서 λ의 값은 변화가 심하지 않다고 생각될 수 있다. 이것은 각각의 프레임에서 코드화된 비트율의 변화가 프레임들 사이에서 작다는 것을 암시하므로 각각의 프레임에 관해서 λ를 구하는 대신 다음 프레임들에 관해서 이전의 λ를 사용하면 컴퓨터로 처리하는 데 있어서의 복잡성을 감소시킬 수 있다. λ는 코드화된 프레임들의 품질 지수로서 해석될 수 있기 때문에 첫 번째 프레임의 코딩을 시작 시점으로 화면 변화가 발생 될 때까지 최적 λ를 구하는 것이 중요하다. 매크로블록들에 관해서 j번째 프레임의 왜곡은 다음과 같이 확장될 수 있다.

따라서, 라그랑주 비용함수는 다음과 같이 변경된다.

,

는 j번째 프레임,

는 j번째 복원된 프레임을 의미하며 D와 D^-1은 DCT와 IDCT, Q와 Q^-1은 각각 양자화 및 역 양자화를 의미한다.

330 단계에서 상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JND_sum)과 상기 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)을 산출한다.

340 단계와 350 단계에서 픽셀 당 허용된 오차 범위의 합(E_B) 또는 상기 현재 블록 내 지역분산의 합(JND_sum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)과 비교한다. 이하에서는 짝수 프레임에 더해질 여분의 데이터의 합을 기준으로 설명하나, 경우에 따라서는 홀수 프레임에 더해질 여분의 데이터의 합으로 대체될 수 있다.

구체적으로 살펴보면, 340 단계에서 상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 360 단계로 진행하고, 큰 경우 350 단계로 진행한다.

JND이상이며 JND값에 비교적 근접한 U를 갖는 블록의 경우 모드변경 없이 값을 축소하여 적용함으로써 시각적인 화질의 향상을 얻을 수 있도록 한다. 한 블록 내에서는 해당 블록 내 모든 화소들이 갖는 JND_s(m,n)S를 합산하고 블록 내 U의 합 U_sum와 비교하여 모드결정에 사용한다. 만약 올바른 움직임 정보를 찾지 못했을 경우에는 업데이트시에 더해지는 U가 증가하게 되므로 E_B+JND_sum을 임계값으로 하여 E_B+JND_sum이상의 U_sum을 가지면 해당 블록의 움직임 정보가 올바르지 않다고 가정한다.

블록 내 대부분의 U가 JND보다 크거나 혹은 일부의 매우 큰 U가 존재할 경우 즉 블록 내 화소값들의 평균이 임계값 JND 이상일 경우 블록 내 U의 합인 U_sum은 E_B+JND_sumS보다 커진다. 이 경우 업데이트 과정을 생략하고 블록의 부호화 모드를 화면내 부호화로 전환한다. E_B는 영상의 전송 환경의 변화에 따라 S와 같이 변동되면서 전송 환경에 적응이 쉽도록 도와주는 역할을 수행하는 것이 가능하다. 지역 분산값을 이용한 적응적 MCTF에 사용되는 업데이트 함수는 다음과 같이 정의된다.

제안된 업데이트 함수는 JND와 E_B를 이용하여 U를 3가지 범위로 나누고 각 상황에 따라 부호화한다. U가 E_B+JND_sumS와 JND_sumS의 범위 내의 크기를 가질 경우 적응적 MCTF를 적용하고 일정 범위를 초과하는 U, 즉 U가 E_B+JND_sumS 보다 클 경우 정확하지 않은 움직임 정보가 적용된 것으로 간주하고 해당 블록의 부호화 모드를 화면내 부호화 모드로 변경한다. 화면내 부호화로 전환된 블록은 기존의 인트라 블록과 같은 형태로 부호화 된다. 화면내 부호화로 전환되지 않은 블록들은 JND에 따라 적응적으로 더해져 저주파 밴드 영상을 생성한다. JND는 영상에 따라 그 값이 적응적으로 변경되는데 변경의 요인이 잡음의 가시성에 따라 변하므로 저주파 영역의 시각적인 화질 향상을 가져오게 된다. 또한 매우 큰 움직임이 포함된 영상의 경우에도 잘못된 움직임 정보로 인해 화질이 저하되는 부분을 선별하여 부호화 모드를 변경시키기 때문에 화질 향상에 기여할 수 있다.

350 단계에서 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 370 단계로 진행하고, 큰 경우 380 단계로 진행한다.

360 단계에서 상기 현재 블록에 대하여 화면 내 부호화한다.

370 단계에서 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경한다.

380 단계에서 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지한다.

도 4는 MCTF의 예측 과정과 역방향 움직임 정보로 인한 업데이트의 중복을 도시한 것이다.

MCTF의 예측 과정을 살펴보면 프레임 s[2i]를 이용하여 프레임 s[2i+1]를 예측하고 이를 이용하여 H[i]를 생성한다. 업데이트시 역방향 움직임 정보를 이용하여 H[i]가 s[2i]에 더해지는 과정에서 업데이트가 중복되는 음영부분이 발생한다.

차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)은 이러한 부분의 업데이트가 한 번만 일어나도록 하며 한 블록 내 업데이트 되지 못한 화소가 과반수 존재하면 해당 블록을 화면 내 부호화한다. 하지만 차폐된 픽셀 검출 알고리즘에서는 부호화 모드 결정을 위해 각 화소별로 별도의 연산 과정이 필요하다.

도 5는 각각의 MCTF 별로 JSVM에 foreman 시퀀스를 적용하여 나타난 PSNR과 비트량을 그래프화한 것이다. 도 6은 각각의 MCTF 별로 JSVM에 football 시퀀스에 적용하여 나타난 PSNR과 비트량을 그래프화 한 것이다.

그래프에서 알 수 있듯이 본 발명에 따른 MCTF는 기존 방법에 비해 0.5~0.8dB 정도의 PSNR의 향상이 나타났으며 최종 비트수 또한 기준 방법에 비해 80~800비트 정도가 증가하여 평균적으로 약 250비트 정도가 늘어난 것으로 나타났다. 이는 비슷한 압축률에서 더 나은 PSNR 결과를 나타내는 것이며 잡음이 눈에 잘 띄는 저주파 부분의 화질 개선 위주의 PSNR 향상이므로 시각적으로 더 나은 화질을 제공한다.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (8)

1. 현재 블록의 움직임 정보를 검색하는 단계;
   상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계;
   상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(E_B)을 산출하는 단계;
   상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JND_sum)과 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)을 산출하는 단계;
   상기 픽셀 당 허용된 오차 범위의 합(E_B) 또는 상기 현재 블록 내 지역분산의 합(JND_sum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(U_sum)과 비교하는 단계; 및
   상기 비교 결과에 따라, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 상기 현재 블록에 대하여 화면 내 부호화하는 단계를 포함하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
2. 제 1 항에 있어서,
   상기 R-D 이론에서 R-D 곡선의 기울기를 λ라고 할 때, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 상기 픽셀 당 허용된 오차 범위의 합과 상기 λ를 선택하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
3. 제 2 항에 있어서,
   현재 프레임에 대한 λ를 다음 프레임에 대한 λ로 사용함으로써, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 연산의 복잡성을 줄이는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
4. 제 1 항에 있어서,
   상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 현재 블록에 대하여 화면 내 부호화하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
5. 제 1 항에 있어서,
   상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 크고, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 큰 경우, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
6. 제 1 항에 있어서,
   상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 크고, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
7. 제 4 항에 있어서,
   상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 정확하지 않은 움직임 정보가 적용된 것으로 판단하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
8. 제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images