[go: up one dir, main page]

KR101021249B1 - 적응적 부호화 모드 선택 방법 - Google Patents

적응적 부호화 모드 선택 방법 Download PDF

Info

Publication number
KR101021249B1
KR101021249B1 KR1020080076421A KR20080076421A KR101021249B1 KR 101021249 B1 KR101021249 B1 KR 101021249B1 KR 1020080076421 A KR1020080076421 A KR 1020080076421A KR 20080076421 A KR20080076421 A KR 20080076421A KR 101021249 B1 KR101021249 B1 KR 101021249B1
Authority
KR
South Korea
Prior art keywords
value
threshold
block
mctf
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080076421A
Other languages
English (en)
Other versions
KR20100016795A (ko
Inventor
유철
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020080076421A priority Critical patent/KR101021249B1/ko
Publication of KR20100016795A publication Critical patent/KR20100016795A/ko
Application granted granted Critical
Publication of KR101021249B1 publication Critical patent/KR101021249B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 적응적(content adaptive) MCTF의 업데이트 방식 및 차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)의 장점을 취하여 업데이트에 임계값을 적용함과 동시에 부적절한 움직임 정보를 가지는 블록을 선별하여 화면 내 부호화 모드로 전환하여 화질의 향상을 얻을 수 있는 지역 분산값을 이용한 적응적 부호화 모드 선택 방법을 제공하기 위한 것으로서, 현재 블록의 움직임 정보를 검색하고, 이렇게 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계와, 참조 영상의 참조 블록 부분의 지역분산(JND)을 구하고, 모든 지역분산의 합(
Figure 112008056198382-pat00001
)과 모든 짝수 프레임에 더해질 여분의 데이터(U)의 합(
Figure 112008056198382-pat00002
)의 값을 산출하는 단계와, 상기 산출된
Figure 112008056198382-pat00003
값을 제 1 임계값인
Figure 112008056198382-pat00004
+
Figure 112008056198382-pat00005
와 비교하는 단계와, 상기 비교결과, 상기
Figure 112008056198382-pat00006
값이 제 1 임계값보다 크면 해당 블록의 업데이트 과정을 생략하고 화면내 부호화 모드로 전환하는 단계와, 상기 비교결과, 상기
Figure 112008056198382-pat00007
값이 제 1 임계값보다 작거나 같으면 상기 산출된
Figure 112008056198382-pat00008
값을 제 2 임계값인
Figure 112008056198382-pat00009
와 비교하는 단계와, 상기 비교결과, 상기
Figure 112008056198382-pat00010
값이 제 2 임계값보다 작거나 같으면 해당 블록은 적응적 MCTF 모드를 유지하고, 상기
Figure 112008056198382-pat00011
값이 제 2 임계값보다 크면, 영상내 화소값에 기반하여 크기가 변하는 JND를 U의 임계값으로 조정하여 업데이트를 제한하는 단계와, 상기 모드가 변경되지 않은 블록 내의 각 화소에 대하여 기존의 MCTF 방법을 이용하여 업데이트 과정을 진행하는 단계를 포함하는데 있다.
SVC, MCTF, 리프팅 스키마, 지역 분산값, 적응적 MCTF, GOP

Description

적응적 부호화 모드 선택 방법{Method for Content Adaptive Coding Mode Selection}
본 발명은 비디오 신호의 부호화/복호화에 관한 것으로, 특히 움직임 보상 시간 필터링(Motion Compensated Temporal Filtering : MCTF) 업데이트 과정 내에서 지역 분산값을 이용하여 부적절한 움직인 정보를 가지는 블록을 선별하고, 이를 이용하여 예측이 어려운 부분을 화면내 부호화 모드로 변경, 부호화하여 영상의 화질을 향상시킬 수 있는 적응적 부호화 모드 선택 방법에 관한 것이다.
최근에는 하드웨어의 발전과 사용자의 요구 증대로 인하여 다양한 곳에서 멀티미디어 기술을 필요로 하게 되었다. 이렇게 다양한 사용자의 요구에 의해 영상의 사용처 또한 매우 다양해짐에 따라, 하나의 원본으로 다양한 화질, 공간적 해상도, 프레임율을 가지고 TV, DMB, 개인용 단말기에 이르기까지 다양한 곳에 영상기술을 사용할 수 있는 스케일러블 비디오 코덱(Scalable Video Codec : SVC) 기술의 발전이 필수적이라 할 수 있다.
상기 SVC는 크게 공간적, 화질적, 시간적 확장성으로 나누어 분류한다. 그중 시간적 확장성에 해당되는 리프팅 스키마(lifting scheme)를 사용한 움직임 보상 시간 필터링(Motion Compensated Temporal Filtering : MCTF)은 SVC의 시간적 확장성 지원에서 기초적인 역할을 한다.
특히, 상기 MCTF는 웨이블릿(wavelet) 기법을 이용하여 시간 확장성을 제공함과 동시에 프레임간 중복성 제거에 그 목적이 있으며, 상기 웨이블릿 필터를 적용함에 있어서는 리프팅 스키마를 이용하게 된다.
도 1(a)(b)은 종래의 리프팅 스키마를 사용한 MCTF와 그 역변환을 보여주기 위한 회로도이다.
도 1(a)(b)를 참조하여 설명하면, 리프팅 스키마는 크게 2단계를 거치게 되는데, 먼저 도 1(a)과 같이, 예측(prediction) 과정에서 영상의 움직임 정보를 찾아내고 이를 이용하여 고주파 밴드 영상(H)(10)을 생성한다. 그리고 두 번째 단계로 업데이트(update) 과정에서 첫 번째 과정에서 생성한 고주파 밴드 영상을 이용하여 저주파 밴드 영상(L)(20)을 생성한다. 이러한 2단계의 과정에서 영상의 에너지를 최대한 저주파 밴드로 옮기고 고주파 밴드에는 적은 에너지를 유지하여 부호화 효율을 높인다.
또한 도 1(b)과 같이, 역변환시에는 새로운 추가정보 없이도 원본의 복원이 가능하다.
그러나 상기 MCTF의 단점은 단계가 증가할수록 적합한 움직임 정보를 찾을 수 없다는 것이다. 즉, 도 2에서 도시하고 있는 5/3 탭 웨이블릿(tap wavelet) MCTF 부호화 구조를 보면, 단계(t-L1 ~ t-L3)가 진행될수록 원 영상과 참조 영상간의 시간 간격이 벌어지면서 영상간의 연관성이 줄어들게 됨을 알 수 있다.
이에 따라, 새로운 물체가 등장하거나 소멸하는 현상은 올바른 움직임 정보를 찾을 수 없게 되는데 이는 결과적으로 저주파 밴드로 옮겨져야 할 에너지가 고주파 밴드에 남게 되는 결과를 가져오며 화질의 저하를 초래하게 된다. 또한 상기 MCTF의 단계가 증가할수록 이러한 화질의 저하가 누적되어 영상에 잔상이 생기도록 만든다.
이를 해결하기 위한 방법으로 업데이트를 생략함으로써 이러한 잡음의 누적을 방지할 수 있으나, 이러한 업데이트의 생략은 신호대 잡음 전력비(Power Signal-to-Noise Ratio : PSNR)의 저하를 가져온다. 이러한 현상은 업데이트의 생략으로 인해 복원시 필요한 고주파 밴드의 정보가 누락되어 발생된다.
이러한 MCTF의 문제점을 해결하기 위해 적응적(content adaptive) MCTF의 업데이트 과정이 사용되는데, 이는 지역 분산값을 업데이트의 임계값으로 설정하여 잡음을 줄일 수 있는 방식이다.
아울러 상기 움직임 정보를 이용하는 MCTF의 업데이트 과정에서 또 하나 고려해야 할 사항은 여러 번 참조된 화소에서의 다중 업데이트이다. 즉, 고주파 밴드를 이용하여 저주파 밴드를 생성하는 업데이트 과정에서는 고주파 밴드의 생성에 사용된 움직임 정보의 역방향을 이용하게 되는데 이는 하나의 화소에 여러 번의 업데이트를 수행하게 되는 원인이 된다.
그러나 상기 적응적 MCTF 업데이트는 업데이트의 임계값을 설정하여 잡음을 줄일 수 있지만 하나의 화소에 중복되는 업데이트를 방지하지 못하는 문제점이 있다.
한편 이러한 문제점을 해결하기 위해 차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)이 사용되는데, 이는 중복되는 업데이트를 방지하고 부적절한 움직임 정보를 가지는 블록에 대해 화면 내 부호화를 실행하여 하나의 연결된 화소만을 선택하도록 함으로 하나의 화소에 업데이트가 여러 번 수행되는 것을 방지한다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 적응적(content adaptive) MCTF의 업데이트 방식 및 차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)의 장점을 취하여 업데이트에 임계값을 적용함과 동시에 부적절한 움직임 정보를 가지는 블록을 선별하여 화면 내 부호화 모드로 전환하여 화질의 향상을 얻을 수 있는 적응적 부호화 모드 선택 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 적응적 MCTF에서 사용된 지역분산(JND)을 올바르지 않은 부호화 정보를 가지는 블록을 찾아내는데 한번 더 사용하여 올바르지 않은 움직임 정보를 가지는 블록을 선별, 기존의 MCTF 알고리즘을 개선하기 위한 적응적 부호화 모드 선택 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 적응적 MCTF와 동일한 계산식으로 사용범위를 부호화 모드 선별까지 넓힘으로써 부호화된 영상의 화질을 높일 수 있는 지역 분산값을 이용한 적응적 부호화 모드 선택 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 지역분산을 이용한 JND값을 이용하여 새로운 업데이트 기능을 만들고, 이를 통하여 부호화 모드를 이미지 화소값에 따라 적응적으로 선택함으로써 복잡도는 늘어나지 않지만 PSNR은 향상시킬 수 있는 적응적 부호화 모드 선택 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적응적 부호화 모드 선택 방법은 현재 블록의 움직임 정보를 검색하고, 이렇게 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계와, 참조 영상의 참조 블록 부분의 지역분산(JND)을 구하고, 모든 지역분산의 합(
Figure 112008056198382-pat00012
)과 모든 짝수 프레임에 더해질 여분의 데이터(U)의 합(
Figure 112008056198382-pat00013
)의 값을 산출하는 단계와, 상기 산출된
Figure 112008056198382-pat00014
값을 제 1 임계값인
Figure 112008056198382-pat00015
+
Figure 112008056198382-pat00016
와 비교하는 단계와, 상기 비교결과, 상기
Figure 112008056198382-pat00017
값이 제 1 임계값보다 크면 해당 블록의 업데이트 과정을 생략하고 화면내 부호화 모드로 전환하는 단계와, 상기 비교결과, 상기
Figure 112008056198382-pat00018
값이 제 1 임계값보다 작거나 같으면 상기 산출된
Figure 112008056198382-pat00019
값을 제 2 임계값인
Figure 112008056198382-pat00020
와 비교하는 단계와, 상기 비교결과, 상기
Figure 112008056198382-pat00021
값이 제 2 임계값보다 작거나 같으면 해당 블록은 적응적 MCTF 모드를 유지하고, 상기
Figure 112008056198382-pat00022
값이 제 2 임계값보다 크면, 영상내 화소값에 기반하여 크기가 변하는 JND를 U의 임계값으로 조정하여 업데이트를 제한하는 단계와, 상기 모드가 변경되지 않은 블록 내의 각 화소에 대하여 기존의 MCTF 방법을 이용하여 업데이트 과정을 진행하는 단계를 포함하며, 상기
Figure 112008056198382-pat00023
는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값인 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적응적 부호화 모드 선택 방법은 현재 블록의 움직임 정보를 검색하고, 이렇게 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계와, 참조 영상의 참조 블록 부분의 지역분산(JND)을 구하고, 모든 지역분산의 합(
Figure 112008056198382-pat00024
)과 모든 짝수 프레임에 더해질 여분의 데이터(U)의 합(
Figure 112008056198382-pat00025
)의 값을 산출하는 단계와, 상기 U값이
Figure 112008056198382-pat00026
+
Figure 112008056198382-pat00027
의 범위 내에 경우, 적응적 MCTF 업데이트를 적용하는 단계와, 상기 U값이
Figure 112008056198382-pat00028
+
Figure 112008056198382-pat00029
범위 내에 있지만,
Figure 112008056198382-pat00030
의 범위를 초과하는 경우, 영상내 화소값에 기반하여 크기가 변하는 JND를 U의 임계값으로 조정하여 업데이트를 적용하는 단계와, 상기 U값이
Figure 112008056198382-pat00031
+
Figure 112008056198382-pat00032
보다 큰 값을 가질 경우, 해당 블록의 부호화 모드를 화면내 부호화 모드로 변경하는 단계를 포함하며, 상기 S는 JND의 적용정도를 나타내는 계수를, 상기
Figure 112008056198382-pat00033
는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값을 나타내는 것을 특징으로 한다.
바람직하게 상기 현재 블록의 움직임 정보를 검색은 웨이블릿 필터를 적용하여 리프팅 스키마(lifting scheme)를 사용한 MCTF와 그 역변환을 수행하여 예측(prediction) 과정을 통해 이루어지는 것을 특징으로 한다.
바람직하게 상기 임계값은 현재의 화소와 주변 화소의 차이에 따른 U의 허용범위인 것을 특징으로 한다.
바람직하게 상기
Figure 112008056198382-pat00034
는 수식
Figure 112008056198382-pat00035
에 의해 계산되고, 상기
Figure 112008056198382-pat00036
는 수식
Figure 112008056198382-pat00037
에 의해 계산되며, 이때 S는 JND의 적용정도를 나타내는 계수,
Figure 112008056198382-pat00038
이고, x와 y는 블록 내의 좌표,
Figure 112008056198382-pat00039
와
Figure 112008056198382-pat00040
는 블록의 가로 세로 크기. V값은 화소당 U값의 허용 오차범위,
Figure 112008056198382-pat00041
는 V의 합으로 계산되는 값인 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 적응적 부호화 모드 선택 방법은 다음과 같은 효과가 있다.
첫째, 해당 영상 내의 지역 분산값을 이용하여 이러한 화질 저하 효과를 감소시킬 수 있는 올바르지 못한 움직임 정보를 가진 블록을 찾아내어 화면 내에서 부호화하여 화질을 개선시킬 수 있다.
둘째, 적응적 MCTF에서 사용된 JND를 올바르지 않은 부호화 정보를 가지는 블록을 찾아내는데 한번 더 사용하여 올바르지 않은 움직임 정보를 가지는 블록을 선별, 기존의 MCTF 알고리즘을 개선할 수 있다.
셋째, 적응적 MCTF와 동일한 계산식으로 사용범위를 부호화 모드 선별까지 넓힘으로써 부호화된 영상의 화질을 높일 수 있다.
넷째, 지역 분산을 이용한 JND값을 이용하여 새로운 업데이트 기능을 만들고 이를 통하여 부호화 모드를 이미지 화소값에 따라 적응적으로 선택함으로써 복잡도가 늘어나지는 않지만 PSNR의 향상을 이룰 수 있다.
다섯째, PSNR 향상과 더불어 시각적인 이미지 품질의 개선을 이룰 수 있다.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 적응적 부호화 모드 선택 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
도 3 은 본 발명의 실시예에 따른 지역 분산값을 이용한 적응적 부호화 모드 선택 방법을 설명하기 위한 흐름도이다.
도 3을 참조하여 설명하면, 먼저 적응적 MCTF는 웨이블릿 필터를 적용하여 리프팅 스키마(lifting scheme)를 사용한 MCTF와 그 역변환을 수행하여 예측(prediction) 과정에서 현재 블록의 움직임 정보를 검색하고(S10), 이렇게 검색된 움직임 정보를 이용하여 고주파 밴드 영상(H)을 생성한다(S20).
도 1의 구조와 함께 살펴보면, 상기 생성되는 고주파 밴드 영상(H)은 다음 수학식 1과 같이 계산되어 산출된다.
Figure 112008056198382-pat00042
상기 수학식 1의 H[i]는 프레임 예측 과정에서 생성된 고주파 밴드 영상이고, P는 인접 프레임 간의 움직임 보상을 이용하여 예측된 결과이다. 또한 s는 프레임 넘버에 따른 영상의 데이터를 나타내며,
Figure 112008056198382-pat00043
는 홀수 프레임 2i+1에서 짝수 프레임인 2i로의 움직임 정보를 나타낸다.
결과적으로 MC()는 움직임 정보를 통한 보상을 이용하여 예측된 프레임을 나타낸다.
이어 수학식 2의 L[i]는 저주파 밴드 영상을 나타내는데 U는 짝수 프레임에 더해질 여분의 데이터를 나타낸다. 여분의 데이터는 수학식 1에서 생성된 고주파 밴드 영상 H[i]와 역방향 움직임 정보를 이용하여 짝수 프레임에 더해지게 된다.
Figure 112008056198382-pat00044
이처럼 고주파 밴드 영상 H[i]가 먼저 생성이 되고 저주파 밴드 영상 L[i]가 생성된다.
상기 생성되는 저주파 밴드 영상(L)을 살펴보면 부호화될 영상의 데이터에 U가 더해지게 되는데 리프팅 스키마에서는 이 업데이트 과정에서 더해지는 U값을 이 용하여 손실이 없는 역 변환이 가능하게 되는 것이다. 하지만 시각적으로 관찰 했을 때 이것은 잡음으로 인식될 수 있다. 따라서 업데이트 과정에서 더해지는 값을 현재의 화소와 주변 화소의 차이에 따라 허용범위인 임계값을 적용하는 것으로 눈에 보이는 노이즈를 줄일 수 있다. 일반적으로 화면 내에 존재하는 잡음은 화소 값들의 변화가 심하지 않은 부분, 즉 색의 변화가 없는 부분에서 더 두드러져 보인다. 이를 이용하여 U값의 허용범위인 임계값을 정하는 것이 바람직하다.
이어 참조 영상의 참조 블록 부분의 JND를 구하고
Figure 112008056198382-pat00045
과
Figure 112008056198382-pat00046
의 값을 산출한다(S30). 이때 상기 JND는 매 화소마다 계산되는 값이므로 블록별로 처리하기 위해서 블록내 JND의 합을 계산할 수 있도록 다음 수학식 3, 4, 5와 같이 정의한다.
Figure 112008056198382-pat00047
Figure 112008056198382-pat00048
Figure 112008056198382-pat00049
수학식 3, 수학식 4의 x와 y는 블록 내의 좌표이며, s는 JND의 적용정도를 나타내는 계수,
Figure 112008056198382-pat00050
와
Figure 112008056198382-pat00051
는 블록의 가로 세로 크기이다. 또한 V값은 화소당 U값의 허용 오차범위이다. 즉, V값이 0일 경우 U가 임계값 이상인 모든 블록에 대해 화면내 부호화를 하며 V가 커질수록 적응적 MCTF에 가까워진다. 또한
Figure 112008056198382-pat00052
는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값인데 JND를 통한 적응적 업데이트를 변경 없이 적용할 수 있는 U값의 범위를 지정하는데 사용된다.
그리고 수학식 5의
Figure 112008056198382-pat00053
와
Figure 112008056198382-pat00054
는 블록의 가로 세로 크기를 나타내며 블록 내의 모든 U값의 합
Figure 112008056198382-pat00055
을 계산한다.
상기
Figure 112008056198382-pat00056
과
Figure 112008056198382-pat00057
값의 산출이 완료되면, 상기 산출된
Figure 112008056198382-pat00058
값을 제 1 허용범위인
Figure 112008056198382-pat00059
+
Figure 112008056198382-pat00060
과 비교한다(S40). 즉, 한 블록 내에서는 해당 블록 내 모든 화소들이 가지는
Figure 112008056198382-pat00061
값을 합산하고 U값들의 합인
Figure 112008056198382-pat00062
값과 비교하여 모드결정에 사용한다.
따라서 상기
Figure 112008056198382-pat00063
값과 제 1 허용범위의 비교결과(S40), 상기
Figure 112008056198382-pat00064
값이 상기 제 1 허용 범위를 넘어서는 경우는 해당 블록의 움직임 정보가 올바르지 않다고 판단하고 해당 블록의 업데이트 과정을 생략하고 화면내 부호화 모드로 전환한 후(S60), 화면 내에서 부호화하여 화질을 개선시킨다(S60).
또한 상기
Figure 112008056198382-pat00065
값과 제 1 허용범위의 비교결과(S40),
Figure 112008056198382-pat00066
값이 상기 제 1 허용 범위 내에 있을 경우는 다시 상기
Figure 112008056198382-pat00067
값을 제 2 허용범위인
Figure 112008056198382-pat00068
과 비교한다(S70).
그리고 상기 비교결과(S70), 상기
Figure 112008056198382-pat00069
값이 상기 제 2 허용 범위 내에 있을 경우는 해당 블록을 기존의 MCTF 업데이트 모드로 유지하고(S80), 상기 비교결과(S70), 상기
Figure 112008056198382-pat00070
값이 상기 제 2 허용 범위를 넘어서는 경우는 영상내 화소값에 의존하여 그 크기가 변하는 JND를 U의 임계값으로 조정하여 영상내 해당 영역의 특징에 맞추어 업데이트를 제한하고 잡음을 줄인다(S90). 이에 따라 임계값 이상의 값은 더해지지 않으므로 여러 번 업데이트가 일어나는 것을 방지한다. 업데이트시 더해지는 U값을 잡음이라고 가정하였을 때 잡음의 추가로 인해 화소의 값이 이미 임계값에 도달한 경우 업데이트를 생략하는 결과를 가져오기 때문에 JND의 값은 이러한 중복 업데이트를 방지하는데 사용될 수 있다.
이처럼, 예측(Prediction) 과정에서 사용한 움직임 정보가 업데이트 과정에서 재사용 되지만, 업데이트 과정에서 사용되는 움직임 정보는 예측 과정에서 사용된 움직임 정보의 역방향이므로 일부 화소에서 일대다 관계가 아닌 다대일 관계가 되기 때문에 예측 과정에서 여러 번 참조된 화소들이 업데이트 과정에서는 U값을 여러 번 더하게 된다.
이어, 모드가 변경되지 않은 블록 내의 각 화소에 대하여 업데이트 과정을 진행한다(S100). 참고로 상기 기존의 MCTF 방법으로 진행되는 경우(S80)는 해당 블록이 노이즈가 눈에 잘 띄지 않는 부분이면서 동시에 적절한 움직임 정보를 가지고 있는 경우이다.
이에 따라 JND는 영상에 따라 그 값이 적응적으로 변경되는데 변경의 요인이 부호화되고 있는 영역의 복잡도에 따라 달라지게 되므로 전체 PSNR값의 변경 보다는 평탄한 영역의 시각적인 화질 향상을 가져오게 된다. 또한 매우 큰 움직임이 포함된 영상의 경우에도 시각적 화질을 저하시키는 부분을 선별하여 부호화 모드를 변경시키기 때문에 시각적 화질 향상에 기여할 수 있다.
도 4a 및 도 4b는 MCTF의 예측 과정과 업데이트 과정을 나타낸 실시예로, 도 4a와 같이, 예측 과정을 보면, 프레임 s[2i]를 이용하여 프레임 s[2i+1]를 예측하고 이를 이용하여 고주파 밴드 영상 H[i]를 생성한다.
그리고 도 4b와 같이, 업데이트 과정에서 다시 역방향 움직임 정보를 이용하여 H[i]를 s[2i]에 더하게 되는데 이때 도 4b의 업데이트 과정의 밑금 부분(30)처럼 업데이트가 겹쳐져서 일어나는 부분이 생긴다.
이런 경우, 상기
Figure 112008056198382-pat00071
값이 임계값 이상이면, 그 차이가 커질수록 저주파 밴드 영상에 더해지는 고주파 밴드 영상의 값을 제거하게 되므로 MCTF 복원시에 원본의 손상을 가져올 수 있다. 이처럼 임계값 이상의 값을 가지는 U는 JND와 그 차이가 커질수록 올바른 움직임 정보를 찾아낸 것이 아니라 볼 수 있는데 이는 고주파 밴드에 많은 값이 남아있는 것을 의미하기 때문이다. 때문에 단지 이 값을 축소하여 적용하는 적응적 MCTF의 경우에 올바른 움직임 정보에 의한 화면간 부호화가 되고 있다고 보기 어렵다.
따라서 JND를 이용하여 부적절한 움직임 정보를 가지는 블록을 선별, 해당 블록을 화면내 부호화하여 화질의 향상을 가져올 수 있도록 한다.
즉, 블록내 대부분의 U값이 JND보다 크거나 혹은 일부의 매우 큰 U값이 존재 할 경우에, 다시 말해 블록내 화소값들의 평균이 임계값 JND 이상일 경우 블록내 U값의 합인
Figure 112008056198382-pat00072
은
Figure 112008056198382-pat00073
S의 값보다 커진다. 이러한 경우에 업데이트 과정을 즉시 생략하고 블록의 부호화 모드를 화면내 부호화로 전환한다(S50).
Figure 112008056198382-pat00074
상기 수학식 6은 개선된 업데이트 함수를 나타낸다. 이때 S는 JND의 적용정도를 나타내는 계수로서, 이 S값에 변화를 줌으로써 저주파 밴드에 더해지는 U값을 조절할 수 있다. 즉, S의 값이 0일 경우 업데이트 과정이 생략되는 것과 동일하며, S가 무한대로 가까워지면 리프팅 스키마를 사용한 기존의 MCTF와 같은 결과를 가져온다.
이처럼 개선된 업데이트 함수는 JND와
Figure 112008056198382-pat00075
를 이용하여 U값을 3가지 범위로 나누고 각 상황에 따라 부호화한다.
즉, 첫 번째 범위로는 U값이
Figure 112008056198382-pat00076
+
Figure 112008056198382-pat00077
와
Figure 112008056198382-pat00078
의 범위 내에 경우는 적응적 MCTF 업데이트를 적용한다. 그리고 두 번째 범위로는 U값이
Figure 112008056198382-pat00079
+
Figure 112008056198382-pat00080
범위 내에 있지만,
Figure 112008056198382-pat00081
의 범위를 초과하는 경우는 영상내 화소값에 의존하여 그 크기가 변하는 JND를 U의 임계값으로 조정하여 영상내 해당 영역의 특징에 맞추어 업데이트를 제한함으로써, 여러 번 업데이트가 일어나는 것을 방지 한다. 또한 세 번째 범위로는 U값이 일정 범위를 초과하는 즉, U가
Figure 112008056198382-pat00082
+
Figure 112008056198382-pat00083
보다 큰 값을 가질 경우 올바르지 않은 움직임 정보가 적용된 것으로 간주하고 해당 블록의 부호화 모드를 화면내 부호화 모드로 변경한다.
본 발명은 상기 지역 분산값을 이용한 적응적 부호화 모드 선택 방법의 테스트를 위하여 16장의 영상을 GOP로 설정하였으며 4 단계를 가지는 시간 확장성을 적용하였다.
알고리즘 적용시의 파라미터는 S = 12.5, D = 100, 윈도우 사이즈 W = 3 x 3 을 사용하였으며 제안된 알고리즘의 파라미터인
Figure 112008056198382-pat00084
는 2로 설정하였다. 테스트에는 'foreman' 과 ‘football' 영상이 사용되었다.
이때, 다음 표 1은 각 알고리즘별 GOP 단위의 PSNR값을 비교해 놓은 것이다.
Figure 112008056198382-pat00085
상기 표 1과 같이, 각 결과물은 모두 MCTF 4단계까지 적용한 후 원본과의 PSNR을 구한 것이다.
각 방법에 따른 결과를 보면, 본 발명의 PSNR 결과가 기존의 방법들과 거의 차이가 없거나 소량 증가한 것을 알 수 있다. 이러한 소폭의 PSNR 증가는 영상내의 화면간 부호화 중 움직임 정보가 올바르지 않다고 결정된 경우 이를 화면내 부호화 모드로 부호화함으로써 얻어졌다. 이러한 부호화 모드 전환은 시각적으로 잡음을 더 크게 느낄 수 있는 부분인 평평한 영역에서 더 자주 발생한다.
도 5a 내지 도 5c는 표 1의 결과와 마찬가지로 동일한 파라미터를 적용한 MCTF 4단계의 결과를 이미지로 나타낸 것이고, 도 6 은 표 1의 결과와 마찬가지로 동일한 파라미터를 적용한 MCTF 4단계의 결과를 그래프로 나타낸 것이다.
도 5a는 종래 MCTF 알고리즘을 이용하여 제공된 영상이고, 도 5b는 적응적 MCTF 알고리즘을 이용하여 제공된 영상이며, 도 5c는 본 발명에 따른 MCTF 알고리즘을 이용하여 제공된 영상이다.
도 5a 내지 도 5c의 결과 이미지를 보면 본 발명에 따른 MCTF 알고리즘을 이용한 경우에 평탄한 부분에서의 화질향상을 확인 할 수 있다. 전체적으로 잡음처럼 보이는 업데이트 단계의 고주파 밴드 이미지 부분이 줄어들어 화질이 향상 되었다.
화질의 향상은 엣지 부분 보다는 평평한 부분에서 더 두드러져 보이는데 이는 평평한 영역에서 더 낮은 업데이트 임계값을 가지기 때문이다.
그리고 도 6의 결과 그래프를 살펴보면 기존의 MCTF 방법에 비해 훨씬 적은 잡음이 발견되는 것을 알 수 있고, 엣지 부분을 살펴보면 부적절한 움직임 정보에 의한 잡음이 사라졌음을 알 수 있다.
이처럼, 적응적 MCTF와 제안한 MCTF를 비교해 보면 평탄한 부분에서는 거의 동일한 결과를 보여주고 있는데 특히 움직임이 적은 부분에서는 차이를 발견할 수 없다. 반대로 움직임이 있는 모서리 근처의 영역에서는 제안한 MCTF에서 잡음이 사라진 것을 알 수 있다. 이는 올바르지 않은 움직임 정보를 가지는 블록을 선별하여 해당 블록을 화면내 부호화하여 화질의 향상을 얻을 수 있음을 말해준다. 소량의 PSNR의 증가는 이러한 부호화 보드 변환으로 인한 결과이다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 적응적 부호화 모드 선택 방법을 H.264 등의 표준 내에 접목할 수 있도록 하프 픽셀(half pixel) 단위 이하의 움직임 정보에의 적용과 다양한 매크로 블록의 크기와 모드에 적용을 들 수 있다.
도 1(a)(b) 은 종래의 리프팅 스키마를 사용한 MCTF와 그 역변환을 보여주기 위한 회로도
도 2는 종래의 5/3 탭 웨이블릿(tap wavelet) MCTF 부호화 구조에서 단계의 진행됨에 따른 문제점을 설명하기 위한 도면
도 3은 본 발명의 실시예에 따른 지역 분산값을 이용한 적응적 부호화 모드 선택 방법을 설명하기 위한 흐름도
도 4a 및 도 4b는 MCTF의 예측 과정과 업데이트 과정을 나타낸 도면
도 5a 내지 도 5c는 동일한 파라미터를 적용한 MCTF 4단계의 결과를 나타낸 이미지
도 6 은 동일한 파라미터를 적용한 MCTF 4단계의 결과를 나타낸 그래프

Claims (5)

  1. 현재 블록의 움직임 정보를 검색하고, 이렇게 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계와,
    참조 영상의 참조 블록 부분의 지역분산(JND)을 구하고, 모든 지역분산의 합(
    Figure 112008056198382-pat00086
    )과 모든 짝수 프레임에 더해질 여분의 데이터(U)의 합(
    Figure 112008056198382-pat00087
    )의 값을 산출하는 단계와,
    상기 산출된
    Figure 112008056198382-pat00088
    값을 제 1 임계값인
    Figure 112008056198382-pat00089
    +
    Figure 112008056198382-pat00090
    와 비교하는 단계와,
    상기 비교결과, 상기
    Figure 112008056198382-pat00091
    값이 제 1 임계값보다 크면 해당 블록의 업데이트 과정을 생략하고 화면내 부호화 모드로 전환하는 단계와,
    상기 비교결과, 상기
    Figure 112008056198382-pat00092
    값이 제 1 임계값보다 작거나 같으면 상기 산출된
    Figure 112008056198382-pat00093
    값을 제 2 임계값인
    Figure 112008056198382-pat00094
    와 비교하는 단계와,
    상기 비교결과, 상기
    Figure 112008056198382-pat00095
    값이 제 2 임계값보다 작거나 같으면 해당 블록은 적응적 MCTF 모드를 유지하고, 상기
    Figure 112008056198382-pat00096
    값이 제 2 임계값보다 크면, 영상내 화소값에 기반하여 크기가 변하는 JND를 U의 임계값으로 조정하여 업데이트를 제한하는 단계와,
    상기 모드가 변경되지 않은 블록 내의 각 화소에 대하여 기존의 MCTF 방법을 이용하여 업데이트 과정을 진행하는 단계를 포함하며, 상기
    Figure 112008056198382-pat00097
    는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값인 것을 특징으로 하는 적응적 부호화 모드 선택 방법.
  2. 현재 블록의 움직임 정보를 검색하고, 이렇게 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계와,
    참조 영상의 참조 블록 부분의 지역분산(JND)을 구하고, 모든 지역분산의 합(
    Figure 112010057846780-pat00098
    )과 모든 짝수 프레임에 더해질 여분의 데이터(U)의 합(
    Figure 112010057846780-pat00099
    )의 값을 산출하는 단계와,
    상기 U값이
    Figure 112010057846780-pat00125
    에 화소당 허용된 오차 범위 V의 합으로 계산되는 값 중 오차 범위의 최고값과 최저값을 각각 더한 결과값 내의 값인 경우, 적응적 MCTF 업데이트를 적용하는 단계와,
    상기 U값이
    Figure 112010057846780-pat00126
    에 화소당 허용된 오차 범위 V의 합으로 계산되는 값 중 오차 범위의 최고값과 최저값을 각각 더한 결과값 내의 값이지만,
    Figure 112010057846780-pat00104
    의 값보다 큰 값을 가질 경우, 영상내 화소값에 기반하여 크기가 변하는 JND를 U의 임계값으로 조정하여 업데이트를 적용하는 단계와,
    상기 U값이
    Figure 112010057846780-pat00105
    +
    Figure 112010057846780-pat00106
    보다 큰 값을 가질 경우, 해당 블록의 부호화 모드를 화면내 부호화 모드로 변경하는 단계를 포함하며, 상기 S는 JND의 적용정도를 나타내는 계수를, 상기
    Figure 112010057846780-pat00107
    는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값을 나타내는 것을 특징으로 하는 적응적 부호화 모드 선택 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 현재 블록의 움직임 정보를 검색은 웨이블릿 필터를 적용하여 리프팅 스키마(lifting scheme)를 사용한 MCTF와 그 역변환을 수행하여 예측(prediction) 과정을 통해 이루어지는 것을 특징으로 하는 적응적 부호화 모드 선택 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 임계값은 현재의 화소와 주변 화소의 차이에 따른 U의 허용범위인 것을 특징으로 하는 적응적 부호화 모드 선택 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기
    Figure 112008056198382-pat00108
    는 수식
    Figure 112008056198382-pat00109
    에 의해 계산되고, 상기
    Figure 112008056198382-pat00110
    는 수식
    Figure 112008056198382-pat00111
    에 의해 계산되며,
    이때 S는 JND의 적용정도를 나타내는 계수,
    Figure 112008056198382-pat00112
    이고, x와 y는 블록 내의 좌표,
    Figure 112008056198382-pat00113
    와
    Figure 112008056198382-pat00114
    는 블록의 가로 세로 크기. V값은 화소당 U값의 허용 오차범위,
    Figure 112008056198382-pat00115
    는 V의 합으로 계산되는 값인 것을 특징으로 하는 적응적 부호화 모드 선택 방법.
KR1020080076421A 2008-08-05 2008-08-05 적응적 부호화 모드 선택 방법 Active KR101021249B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080076421A KR101021249B1 (ko) 2008-08-05 2008-08-05 적응적 부호화 모드 선택 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080076421A KR101021249B1 (ko) 2008-08-05 2008-08-05 적응적 부호화 모드 선택 방법

Publications (2)

Publication Number Publication Date
KR20100016795A KR20100016795A (ko) 2010-02-16
KR101021249B1 true KR101021249B1 (ko) 2011-03-11

Family

ID=42088618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080076421A Active KR101021249B1 (ko) 2008-08-05 2008-08-05 적응적 부호화 모드 선택 방법

Country Status (1)

Country Link
KR (1) KR101021249B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101221495B1 (ko) * 2011-02-28 2013-01-11 동국대학교 산학협력단 적응적 ｍｃｔｆ의 ｒｄ 최적화 방법
KR20150095591A (ko) * 2014-02-13 2015-08-21 한국과학기술원 시각적 인지 특성을 이용한 ｐｖｃ 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060035543A (ko) * 2004-10-21 2006-04-26 삼성전자주식회사 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치
KR20060092825A (ko) * 2004-07-12 2006-08-23 마이크로소프트 코포레이션 움직임-보상형 시간적 필터링에서의 적응적 업데이트를위한 방법
KR20070011034A (ko) * 2005-07-18 2007-01-24 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060092825A (ko) * 2004-07-12 2006-08-23 마이크로소프트 코포레이션 움직임-보상형 시간적 필터링에서의 적응적 업데이트를위한 방법
KR20060035543A (ko) * 2004-10-21 2006-04-26 삼성전자주식회사 시간적 스케일러빌리티를 지원하는 비디오 코딩 방법 및장치
KR20070011034A (ko) * 2005-07-18 2007-01-24 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치

Also Published As

Publication number Publication date
KR20100016795A (ko) 2010-02-16

Similar Documents

Publication Publication Date Title
US7068722B2 (en) Content adaptive video processor using motion compensation
RU2565038C2 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изобраений
JP5036884B2 (ja) インターレース・ビデオの符号化および復号
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
JP4821723B2 (ja) 動画像符号化装置及びプログラム
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US20090207915A1 (en) Scalable motion search ranges in multiple resolution motion estimation for video compression
US20130182971A1 (en) Spatiotemporal Metrics for Rate Distortion Optimization
KR20090100402A (ko) 이미지 압축 및 압축해제
JP2017092980A (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データ
US20120307898A1 (en) Video encoding device and video decoding device
JP2005525014A (ja) 符号化されたデジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法
JP2005513968A (ja) 映像鮮明度の向上における一時的な整合性の改善
JP2006054857A (ja) ３ｄ分解を用いてフレームシーケンスを符号化および復号する方法、使用方法、装置、およびコンピュータプログラム
JP2005318468A (ja) 画面内予測符号化装置、その方法及びそのプログラム
WO2002056582A1 (en) Apparatus and method for providing a usefulness metric based on coding information for video enhancement
CN101001383A (zh) 基于多层的视频编码/解码方法和编码器/解码器
US8249146B2 (en) Method for selecting content adaptive coding mode
KR101221495B1 (ko) 적응적 ｍｃｔｆ의 ｒｄ 최적화 방법
KR101021249B1 (ko) 적응적 부호화 모드 선택 방법
JP2008004983A (ja) 画像理装置および方法、プログラム、並びに記録媒体
Matsuo et al. Intra prediction with spatial gradients and multiple reference lines
Chen et al. Adaptive linear prediction for block-based lossy image coding
Sun et al. In-loop deblocking filter for block based video coding
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080805

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100705

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110103

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110303

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110304

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140227

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20150302

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160303

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160303

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170303

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20180227

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20190227

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210226

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20220225

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20230302

Start annual number: 13

End annual number: 13