KR101761928B1

KR101761928B1 - 블록 기반 압축 이미지 내의 블러 측정

Info

Publication number: KR101761928B1
Application number: KR1020117021300A
Authority: KR
Inventors: 지보 첸; 데빙 리우; 시아오동 구; 펭 수
Original assignee: 톰슨 라이센싱
Priority date: 2009-03-13
Filing date: 2010-02-26
Publication date: 2017-07-26
Anticipated expiration: 2030-02-26
Also published as: JP2012520588A; JP5536112B2; CN102349297A; KR20110126691A; BRPI1009553A2; WO2010102913A1; CN102349297B; EP2406956A1; US20110317768A1; US9497468B2

Abstract

블러는 비디오 품질과 관련된 가장 중요한 특징들 중 하나이다. 비디오의 블러 레벨의 정확한 추정은 비디오 품질을 정확히 추정하는 데에 큰 도움이 된다. H.264/AVC, MPEG2 등과 같은 블록 기반 코덱에 의해 압축된 비디오들의 블러 레벨을 추정하기 위한 개선된 방법이 제공된다. 본 발명에 따르면, 로컬 블러 검출은 매크로블록(MB) 에지들에 기초하고, 텍스처로부터의 영향을 줄이기 위하여 콘텐츠 종속 가중 스킴이 이용되며, 로컬 블러를 검출할 때, 로컬 최소 및 최대 휘도 위치들에서 검출의 확산이 중지된다.

Description

블록 기반 압축 이미지 내의 블러 측정{BLUR MEASUREMENT IN A BLOCK-BASED COMPRESSED IMAGE}

본 발명은 비디오/이미지 품질 측정에 관한 것이다.

블러(blur)는 비디오 품질과 관련된 가장 중요한 특징들 중 하나이다. 비디오의 블러 레벨의 정확한 추정은 비디오 품질을 정확하게 평가하는 데 커다란 도움이 된다. 그러나, 인식되는 블러 레벨은 텍스처(texture), 휘도 등과 같은 많은 팩터에 의해 영향을 받는다. 더욱이, 압축에 의해 생성되는 블러는 초점 이탈(out-of-focus) 블러 및 모션 블러와 같은 오리지널 시퀀스들 내의 블러와 많이 다르다. 비디오의 블러 레벨을 정확하게 추정하는 것은 어렵다. 문제를 해결하기 위해 다양한 방법들이 제안되었다. 이러한 방법들은 상이한 양상들로부터 비디오/이미지의 블러 레벨을 추정하려고 시도하지만, 특히 상이한 임의적인 비디오 콘텐츠의 경우에 성능이 만족스럽지 못하다. 예컨대, WO03092306은 현재의 위치에 가장 가까운 로컬 최소 및 최대 픽셀들을 검출한다. 즉, 동일한 휘도 값을 갖는 둘 이상의 이웃하는 픽셀이 존재하는 경우, 그 위치에 가장 가까운 픽셀을 이용한다.

본 발명은 H.264/AVC, MPEG2 등과 같은 블록 기반 코덱에 의해 압축된 비디오들의 블러 레벨을 추정하기 위한 개량된 방법을 제공한다.

본 발명의 일 양태에 따르면, 로컬 블러 검출은 매크로블록(MB) 에지들과 같은 비디오 인코딩 유닛들의 에지들에 기초한다. 본 발명의 다른 양태에 따르면, 콘텐츠 종속 가중 스킴을 이용하여, 텍스처로부터의 영향을 줄인다. 추가 양태에 따르면, 로컬 블러를 검출할 때, 검출의 확산은 로컬 최소 및 최대 휘도 위치들에서 멈춘다.

본 발명의 일 양태에서, 블록 기반 코딩을 이용하여 인코딩된 비디오 이미지 내의 블러를 측정하기 위한 방법은,

비디오 인코딩 유닛 및 상기 비디오 인코딩 유닛 내의 위치를 선택하는 단계, 수평 또는 수직인 제1 방향에서 상기 선택된 비디오 인코딩 유닛의 에지에서 로컬 블러 레벨(local blur level)을 검출하는 단계,

상기 위치 주위의 영역에서 로컬 분산(local variance)을 계산하는 단계, 상기 로컬 분산이 정의된 범위 내에 있는 경우에, 로컬 블러 값을 계산하는 단계 - 상기 영역 내의 픽셀들은 자신들의 이웃 픽셀들과 비교됨 -,

상이한 비디오 인코딩 유닛들로부터의 상기 로컬 블러 값들을 결합하는 단계 - 상기 제1 방향의 최종 방향 블러가 얻어짐 -,

수평 또는 수직이고 상기 제1 방향과 다른 제2 방향에 대해 로컬 분산을 계산하는 단계, 로컬 블러를 계산하는 단계 및 로컬 블러 값들을 결합하는 단계를 반복하는 단계 - 상기 제2 방향의 최종 방향 블러가 얻어짐 -, 및 상기 제1 방향 및 상기 제2 방향의 최종 방향 블러 값들을 결합하는 단계 - 현재 이미지에 대한 블러 척도(blur measure)인 최종 블러 값이 얻어짐 -

를 포함한다.

일 실시예에서, 로컬 블러 값을 계산하는 상기 단계는, 현재 선택된 (수평 또는 수직) 방향을 따라 로컬 최소 또는 최대 휘도 강도를 갖는 픽셀들이 검출되고, 상기 로컬 블러 값이 로컬 최소 및 최대 휘도 값들을 갖는 위치들 사이의 거리인 것으로 결정되는 것을 포함한다.

본 발명의 일 양태에서, 블록 기반 코딩을 이용하여 인코딩/디코딩된 비디오 이미지 내의 블러를 측정하기 위한 장치는,

수평 또는 수직 방향을 선택하기 위한 제1 선택 모듈,

비디오 인코딩 유닛 및 상기 비디오 인코딩 유닛 내의 위치를 선택하기 위한 제2 선택 모듈,

상기 선택된 방향에서 상기 선택된 비디오 인코딩 유닛의 에지에서 로컬 블러 레벨을 검출하기 위한 검출 모듈 - 상기 검출 모듈은,

상기 선택된 방향에 따라 상기 위치 주위의 영역에서 로컬 분산을 계산하기 위한 제1 계산 모듈, 및

상기 로컬 분산이 정의된 범위 내에 있는 경우에, 로컬 블러를 계산하기 위한 제2 계산 모듈 - 상기 영역 내의 픽셀들은 상기 선택된 방향에서 자신들의 이웃 픽셀들과 비교됨 -

을 포함함 -,

상기 선택된 방향의 로컬 블러 값들을 결합하기 위한 제1 결합 모듈 - 상기 선택된 방향의 최종 방향 블러 값이 얻어짐 -, 및

최종 수평 블러 값 및 최종 수직 블러 값을 결합하기 위한 제2 결합 모듈 - 현재 이미지에 대한 블러 척도인 최종 블러 값이 얻어짐 -

을 포함한다.

일 실시예에서, 로컬 블러 값을 계산하기 위한 상기 제2 계산 모듈은 현재 선택된 (수평 또는 수직) 방향을 따라 로컬 최소 또는 최대 휘도 강도를 갖는 픽셀들을 검출하기 위한 검출 수단을 포함하고, 상기 제2 계산 모듈은 상기 로컬 블러 값을 로컬 최소 및 최대 휘도 값들을 갖는 위치들 사이의 거리인 것으로 계산한다.

일 실시예에서, 로컬 최소 및/또는 최대 휘도 위치가 동일한 휘도 값들을 갖는 둘 이상의 인접 픽셀을 갖는 경우, 현재 위치로부터 가장 먼 픽셀이 검출 에지로서 사용된다. 즉, 검출 에지에서, 동일한 휘도 값을 갖는 모든 픽셀들이 블러 검출에 포함된다.

본 발명의 추가적인 목적들, 특징들 및 이점들은 첨부 도면들과 관련하여 취해질 때 아래의 설명 및 첨부된 청구항들의 고찰로부터 명확해질 것이다.

본 발명의 예시적인 실시예들이 첨부 도면들을 참조하여 설명된다. 도면에서:
도 1은 수직 블러 계산의 흐름도이다.
도 2는 로컬 블러를 계산하기 위한 위치를 나타내는 도면이다.
도 3은 로컬 최소 및 최대 휘도를 갖는 픽셀들의 검출을 나타내는 도면이다.
도 4는 간이 분산 계산을 이용하는 수직 블러 계산의 흐름도이다.
도 5는 분산 계산 또는 간이 분산 계산에 사용되는 교차(cross) 영역들의 도면이다.
도 6은 최종 블러 계산을 위한 흐름도이다.
도 7은 720P 데이터 세트에서의 예시적인 블러 비교의 도면이다.

도 1은 수직 블러 계산의 예시적인 흐름도를 나타낸다. 비디오 인코딩 유닛 및 상기 비디오 인코딩 유닛 내의 위치를 선택하는 최초 단계가 이전에 수행되었다. 제1 단계(11)에서, 수직 블러 검출을 위한 위치가 선택된다. 위치는 소정의 스킴에 의존할 수 있지만, 이미지의 모든 매크로블록들을 포함할 수도 있다. 다음 단계(12)에서, 선택된 위치에서의 로컬 분산(var_1)이 후술하는 바와 같이 계산된다. 판정 단계(13)에서, 로컬 분산(var_1)이 정의된 범위 [a,b] 내에 있는지의 여부를 판정한다. 로컬 분산이 정의된 범위 [a,b] 내에 있는 경우, 로컬 블러가 후술하는 바와 같이 계산된다(14). 이와 달리, 로컬 분산이 정의된 범위 [a,b] 밖에 있는 경우, 다음 단계는 모든 위치들이 검사되었는지를 판정하는 것이다(15). 모든 위치들이 검사되지 않은 경우, 수직 블러 검출을 위한 다음 위치가 선택된다(11). 이와 달리, 모든 위치들이 검사된 경우, 최종 수직 블러가 계산된다(16). 최종 수직 블러는 로컬 수직 블러의 함수 F(로컬 블러)이다. 이전에 계산된 로컬 수직 블러 값들은 이러한 목적을 위해 저장되었거나 선택적으로 축적되어 있다.

본 발명의 일 양태에 따르면, 이어서 수직 블러는 수직 블러에 대해 전술한 것과 원칙적으로 동일한 방법을 이용하여 수평 방향에서 계산된 수평 블러와 결합된다.

본 발명의 다양한 양태들이 아래에 설명된다.

본 발명의 일 양태는 로컬 블러 검출이 블록/MB 에지들 상에서 수행되는 것인 반면, 공지된 솔루션들에서는 로컬 블러 레벨이 텍스처 에지에서 검출된다. 그러나, 이것은 텍스처 분석, 즉 이미지 분석을 필요로 할 것이다. 본 발명은, 블록 기반 코딩 스킴에 의해 압축된 비디오들에 대해, MB 에지에서 로컬 블러 레벨을 검출하는 것이 텍스처 에지에서 검출하는 것보다 안정적이고 효과적임을 입증하였다. H.264/AVC 압축 콘텐츠에 대해 관련 실험들이 수행되었다.

본 발명의 다른 양태는 텍스처로부터의 영향을 줄이기 위하여 콘텐츠 종속 가중 스킴이 이용된다는 것이다. 이러한 양태는 로컬 블러 계산이 텍스처에 의해 영향을 받으므로 중요하다. 콘텐츠 종속 가중 스킴을 이용하지 않는 경우, 이미지 텍스처는 로컬 블러 계산을 더 방해할 것이다. 텍스처가 너무 복잡하거나 너무 평이한 경우, 계산된 로컬 블러는 안정적이지 못하다. 콘텐츠 종속 가중 스킴은 로컬 블러 계산이 현재 선택된 블록/MB 위치에서 수행되어야 하는지의 여부를 판정하는 단계를 포함한다. 이것은 후술하는 바와 같이 선택된 위치에서 로컬 분산을 계산하거나 추정함으로써 구현될 수 있다. 로컬 분산은 고전적인 방식으로 계산되거나, 간소화된 방식으로 추정될 수 있다.

본 발명의 또 다른 양태는, 고전적인 분산 계산을 이용하여 로컬 블러 레벨을 검출할 때, 동일한 휘도 값을 갖는 픽셀들이 분산 계산에 포함된다는 것이다. 즉, 휘도의 "로컬 최소" 또는 "로컬 최대"의 정의가 이전의 솔루션들과 다르다. 본 발명에서, 예를 들어, 수평 방향의 로컬 최대는 동일한 휘도 값을 갖는 모든 수평 인접 픽셀들로서 정의되며, 이러한 휘도 값은 추가적인 수평 인접 픽셀들의 휘도 값보다 크다. 도 3은 위치들(6, 7, 8)에 있는 픽셀들이 함께 로컬 최대로서 간주되는 예를 도시한다. 이것은 H.264에서의 양자화가 MB들 내의 픽셀들이 동일한 픽셀 값을 갖는 경향이 있게 하므로 이롭다. 주관적인 평가의 경험으로부터, 임의의 특정 비디오 콘텐츠에 대해, 양자화 파라미터(QP)가 증가함에 따라 비디오의 블러 레벨도 증가하는 것으로 밝혀졌다. 본 발명 포인트는 QP와 블러 레벨 사이에 단조로운 특성을 유지하는 데에 매우 중요하다. 대응하는 정의가 로컬 최소에 대해 사용된다.

구체적인 실시예들 및 이들의 이점들이 아래에 설명된다. 픽처의 블러 검출은 수직 및 수평 방향들에서 수행될 수 있다. 도 1은 고전적인 분산 계산을 이용하는 수직 블러 검출의 흐름도를 예시적으로 도시한다. 이것은 다음의 단계들을 포함한다.

제1 단계(11)에서, 로컬 블러를 검출하기 위한 위치를 획득한다. 공지 솔루션들은 텍스처 에지에서 로컬 블러 레벨을 검출한다. 본 발명자들은, 블록 기반 코딩 스킴에 의해 압축된 비디오들에 대해, MB 에지에서 로컬 블러 레벨을 검출하는 것이 텍스처 에지들에서 검출하는 것보다 안정적이고 효과적임을 발견하였다.

로컬 수직 블러를 계산하기 위하여, 위치는 도 2에 도시된 바와 같이 MB 수직 에지의 중심에 설정된다. P_v1 및 P_v2는 MB의 수직 에지 중심들이고, P_h1 및 P_h2는 수평 에지 중심들이다. 이들은 로컬 수평 블러를 계산하기 위한 위치들이다. 일 실시예에서, P_v1 또는 P_v2는 검출을 시작하기 위한 위치들이다.

제2 단계는 이전에 설정된 위치 주위의 영역에서 로컬 분산(var_1)을 계산하는 것이다. 아래에 설명되는 일 실시예는 "고전적인" 분산 σ²을 이용한다. 영역의 선택은 상이한 텍스처 또는 상이한 해상도를 갖는 비디오들(또는 이미지들 각각)에 대해 다소 상이할 수 있다. 일 실시예에서는, 설정된 위치에 중심을 갖는 15의 길이를 갖는 교차 영역이 선택된다. 그러나, 영역은 다소 상이하게 선택될 수 있는데, 예컨대 16x16 또는 15x20 직사각형, 약 20의 길이를 갖는 교차 영역 또는 이와 유사한 영역이 선택될 수 있다. 또한, 본 명세서에서 설명되는 모든 사례들에서, 교점(cross)은 그의 축들의 길이들로 인해 정확하게 중심이 맞지 않을 수 있으며, 정확한 중심 맞춤은 홀수 개의 픽셀들에 대해서만 가능하다. 로컬 분산은 로컬 텍스처의 복잡성을 결정하는 데 사용된다. 일반적으로, 픽처 내의 텍스처는 계속 변한다. 종종, 텍스처는 큰 영역, 예컨대 100x100 픽셀들에서 유사하다. 따라서, 15x15 또는 15x20 영역의 분산은 그러한 사례에서 크게 다르지는 않을 것이다. 영역이 너무 작거나(예를 들어, 4x4 또는 8x1), 너무 큰 경우(예컨대, 200x200), 최종 결과는 크게 영향을 받을 수 있다. 약 15의 길이를 갖는 교차 영역은 본 실시예에 대해 바람직하다.

제3 단계는 로컬 분산이 주어진 범위 내에 있는지를 판정하는 것이다. 로컬 분산이 너무 높거나 너무 낮은 경우, 영역의 텍스처가 너무 복잡하거나 너무 평이하여, 로컬 블러 계산을 불안정하게 하는 것으로 밝혀졌다. 따라서, 로컬 분산이 범위 밖에 있는 경우, 로컬 블러 값은 최종 블러 계산에 사용되지 못할 것이고, 계산될 필요가 없다. [a,b]의 범위는 상이한 시나리오들에서 상이할 수 있다. 동일한 범위가 전체 이미지에 대해 그리고 모든 이미지들에 대해 사용될 수 있다. 일 실시예에서, 범위는 [2,20]으로 설정된다. 가장 자연스런 픽처들에 대해, 로컬 분산들의 대부분(예컨대, >80%)은 이 범위 내에 있다. 이 범위는 충분한 로컬 블러 값들이 최종 계산에 포함되는 것을 보증하며, 최종 계산이 안정적인 것을 돕는다. 본 발명자들은, 대다수의 이미지에 대해, 로컬 분산이 너무 낮거나(예를 들어, <0.8) 너무 높을(예컨대, >40) 때, 로컬 블러 계산이 텍스처에 의해 크게 영향을 받을 수 있다는 것을 발견하였다. 전술한 [2,20]의 범위는 너무 낮거나 너무 높은 텍스처를 갖는 위치들을 배제할 만큼 충분히 엄격하다. 90% 평이한 공간(예컨대, 하늘)을 갖는 픽처와 같은 특수한 사례들의 경우, 평이한 공간에서의 로컬 분산은 범위 밖에 있을 것이며, 제안되는 방법의 본 실시예는 덜 효과적일 수 있다. 90% 평이한 공간(예컨대, 하늘)을 갖는 픽처와 같은 특수한 사례들의 경우, 평이한 공간에서의 로컬 분산은 범위 밖에 있을 것이다. 그러나, 그러한 평이한 공간에서 발생하는 블러는 덜 교란시킬 것이다. 따라서, 블러 계산은 그러한 영역들에서 생략될 수 있다.

제4 단계에서, 로컬 블러를 계산한다. 로컬 수직 블러를 계산하기 위하여, 이 단계는 수직 방향을 따라 로컬 최소 또는 최대 휘도(즉, 강도)를 갖는 픽셀들을 검출한다. P0이 검출을 시작하는 위치(도 2의 P_v1 또는 P_v2에 대응함)인 도 3에 도시된 바와 같이, P1 및 P2는 각각 로컬 최소 및 최대 휘도 값들을 갖는 위치들이다. P1과 P2 사이의 거리는 로컬 블러 값이다. 예를 들어, 도 3에서, 거리, 따라서 로컬 블러 값은 6, 즉 픽셀 #2에서 픽셀 #8까지이다.

일 실시예에서는 거리가 픽셀 번호들의 간단한 감산(예컨대, 8-2=6)에 의해 계산되지만, 다른 실시예에서는 관련 픽셀들의 실제 수를 계산하는 것도 가능하다(예컨대, 픽셀 #2에서 픽셀 #8까지는 7개의 픽셀이 관련된다). 그러나, 계산 규칙이 유지되는 한, 설명되는 블러 계산의 목적을 위해 양 계수 방법은 동등하다.

도 3으로부터 알 수 있듯이, 로컬 최소 또는 최대 휘도 값들을 갖는 픽셀들을 검출함에 있어서, 동일 휘도 값을 갖는 둘 이상의 인접 픽셀이 (픽셀 번호 6-8과 같은) 로컬 최소 또는 최대가 되는 경우, 선택된 위치(P0)로부터 가장 먼 픽셀이 검출 에지로서 사용된다. 이것은 픽셀 #6이 아니라 픽셀 #8이다.

제5 단계에서, 최종 수직 블러를 계산한다. 관련 로컬 분산(var_1)이 범위 [a,b] 내에 있는 모든 로컬 블러들을 결합하여(16), 최종 수직 블러를 계산한다. 일 실시예에서, 로컬 수직 블러 값들의 평균이 최종 수직 블러를 계산하는 데 사용된다. 유사한 결합들이 다른 실시예들에서도 사용될 수 있다.

수직 블러는 도 2의 P_v1, P_v2와 같은 MB의 수평 에지들에서 계산되는 반면, 수평 블러는 수직 에지들(도 2의 P_h1, P_h2)에서 계산된다는 점 외에는, 수평 블러는 수직 블러와 실질적으로 동일한 방식으로 계산될 수 있다. 픽처의 최종 블러는 수평 및 수직의 두 방향의 블러들의 결합에 의해 얻어질 수 있다. 일 실시예에서, 두 방향의 블러들은 평균함으로써 결합된다. 특수한 사례들에 대해 다른 결합들이 존재할 수 있다.

일 실시예에서는, 잡음 많은 이미지들에 대한 개선이 제안된다. "잡음 많은" 픽셀들은 매우 높거나 매우 낮은 휘도 값을 가지며, 따라서 쉽게 검출될 수 있다. 적은 잡음을 갖는 시퀀스들의 경우, 그러한 "잡음 많은" 픽셀은 로컬 최소 또는 최대 픽셀들의 검출을 방해할 수 있는데, 그 이유는 검출 프로세스가 실제의 최소 또는 최대 픽셀을 발견하기 전에 중단될 것이기 때문이다. 이러한 종류의 이미지들의 경우, 계산된 블러 값들은 종종 이들의 실제 값보다 작은데, 그 이유는 로컬 최소 및 최대 사이의 범위가 대체로 너무 작기 때문이다.

따라서, 본 발명의 일 실시예에서는, 더 정확한 고전적인 로컬 분산 σ²를 계산하는 대신에 간이 로컬 분산이 추정된다. 이러한 실시예에서, 로컬 블러는 MB의 경계에 중심을 갖는 교점에 의해 정의되는 바와 같은 소정 영역의 모든 픽셀들을 이용하여 검출된다. 도 5는 수직 블러를 검출하기 위한 8x10 블록(R_v) 및 수평 블러를 검출하기 위한 10x8 블록(R_h)을 갖는 실시예를 도시한다. 이 실시예는, 소정 영역(R_v, R_h)에서 (수직 또는 수평) 방향을 따라, 주어진 방향에서의 그의 이웃 픽셀들의 휘도보다 높거나 낮거나 동일한 휘도를 갖는 픽셀들의 수를 계수하는 단계를 포함한다. 이러한 수들은 N_higher, N_lower 및 N_equal로서 지칭된다. 예를 들어, 로컬 수평 블러 검출을 위한 N_higher는 자신들의 좌측 이웃보다 높은 값을 갖는 픽셀들의 수이고, 로컬 수직 블러 검출을 위한 N_lower는 그들의 상측 이웃보다 낮은 값을 갖는 픽셀들의 수이다. N_higher+N_lower+N_equal의 합은 N_total이다. 로컬 블러는 수학식 1에서와 같이 계산되며, 여기서 α, β는 소정의 파라미터들이다.

(α,β)의 디폴트 값은 대다수의 이미지에 대해 양호한 (0.7,0.2)이다. 그러나, 실험들에서, 본 발명자들은 너무 평이하거나 너무 복잡한 텍스처를 갖는 영역들에서는 로컬 블러 계산이 덜 정확하다는 것을 발견하였다. 그러한 영역들에 대해서도 더 정확한 결과를 얻기 위하여, 일 실시예에서는 너무 평이하거나 너무 복잡한 텍스처를 갖는 블록들이 배제된다. 이러한 실시예에서는, 로컬 블러 검출이 N_equal≥α*N_total 또는 N_equal≤β*N_total로 귀착되는 것으로 결정함으로써 그러한 블록들이 검출된다.

일부 특수한 이미지들의 경우, 이러한 제한은 많은 블록들이 범위 밖에 있고 생략되며, 소수의 블록들만이 선택되는 결과를 낳을 수 있다. 이것은 최종 블러 계산을 불안정하게 할 것이다. 따라서, 너무 많은 평이한 블록들(예컨대, 수학식 1에 따라 사용될 수 없는 50% 이상의 블록들)을 갖는 이미지들의 경우에는, α가 0.8 또는 0.9와 같이 약간 더 높게 설정될 수 있으며, 너무 많은 복잡한 블록들을 갖는 이미지들의 경우에는, β가 0.1 또는 0과 같이 약간 더 낮게 설정될 수 있다. 따라서, α,β는 구성 가능한 파라미터들이다. 이들은 예를 들어 블러 계산이 너무 적은 포인트들에서만 수행될 수 있는 것으로 결정된 후에 알고리즘을 조정하는 데 사용될 수 있다. α,β는 자동으로 또는 사용자 상호작용시에 또는 사용자 인터페이스를 통해 설정될 수 있다. 사례 N_equal≥α*N_total 또는 N_equal≤β*N_total은 관련 블록들이 너무 평이하거나 너무 복잡한 텍스처 내에 있다는 것을 의미한다. 이것은 블록 선택을 위한 기준들이다.

본 발명의 이 실시예(즉, 간이 분산의 추정)의 이점들은 더 강건하고 덜 복잡하다는 것이다. 대다수의 시퀀스에 대해, 이 실시예는 정확한 분산을 이용하는 전술한 실시예와 유사한 성능을 갖지만, 적은 잡음을 갖는 일부 특수 시퀀스들에 대해서는 더 양호한 성능을 갖는다. 전술한 실시예와 달리, 이 실시예는 완전한 로컬 분산을 계산하는 것을 필요로 하지 않는다. 이 실시예는 너무 평이하거나 너무 복잡한 텍스처를 갖는 영역들의 표시로서 (N_total=N_higher+N_lower+N_equal과 함께) N_equal≥α*N_total 또는 N_equal≤β*N_total에 따른 간이 로컬 분산을 이용한다.

간이 로컬 분산을 이용하는 실시예의 흐름도가 도 4에 도시되어 있다.

블록 41은 도 1의 블록 11에서와 같이 다음 위치를 획득하기 위한 것이다. 도 5에 도시된 바와 같이, 흑색 8x10 블록(R_v)은 로컬 수직 블러 계산을 위한 영역이며, 선택된 위치에 중심을 갖는 교점에 의해 정의된다. 또한, 10x8 픽셀 블록(R_h)은 로컬 수평 블러 계산을 위한 영역이다.

블록 42는 N_higher, N_lower 및 N_equal을 계수하기 위한 것이다. 수직 방향을 따라 도 5의 영역(R_v)에서 수직 블러를 계산하기 위해, 그들 각각의 상측 이웃 픽셀의 휘도보다 높거나, 낮거나, 동일한 휘도를 갖는 (N_higher, N_lower 및 N_equal로 각각 표시되는) 픽셀들의 수들이 개별적으로 계수된다. 수평 방향을 따른 영역(R_h)에서의 수평 블러를 위해, 자신들의 좌측 이웃 픽셀의 휘도보다 높거나, 낮거나, 동일한 휘도를 갖는 (N_higher, N_lower 및 N_equal로 각각 표시되는) 픽셀들의 수들이 개별적으로 계수된다.

블록 43은 N_equal이 정의된 제한된 범위 내에 있는지를 판정하기 위한 것이며, 수학식 1이 사용된다. N_equal이 정의된 제한된 범위 내에 있는 경우, 로컬 블러가 계산된다(44). 그렇지 않은 경우, 매크로블록이 생략되고, 다음 블록이 선택된다(41). 블록 45는 도 1의 블록 15와 같이 모든 위치들이 검사되었는지를 판정한다. 블록 46은 로컬 수직 블러들의 평균으로서 총 수직 블러를 계산한다. 도 6은 최종 블러 계산을 위한 흐름도이다. 이 도면은 수직 블러(blur_v)를 계산하기 위한 수직 블러 계산 블록(61), 수평 블러(blur_h)를 계산하기 위한 수평 블러 계산 블록(62) 및 수직 블러와 수평 블러를 결합하기 위한 방향 블러 결합 블록(63)을 도시한다. 최종 블러는 양 방향 블러의 함수 F(blur_v,blur_h)이다.

아래의 결과들은 실험들로부터 얻어졌다. 제안된 블러 검출 알고리즘은 720P(24개의 오리지널 시퀀스), 720x576(9개의 오리지널 시퀀스) 및 720x480(23개의 오리지널 시퀀스)의 데이터 세트들에서 검사되었다. 모든 데이터 세트들에서, 각각의 오리지널 시퀀스는 QP = 24, 29, 34, 37, 40 및 45를 갖는 6개의 왜곡된 시퀀스로 인코딩된다. 코딩 소프트웨어는 JM10.1(디폴트 디블록킹 필터를 갖는 메인 프로파일)이다. 실험들은 제안된 솔루션이 3개의 데이터 세트 모두에서 양호한 성능을 나타냄을 보여준다. 도 7은 매 7개 포인트가 동일한 비디오 콘텐츠로부터 나타나는 데이터 세트 720P에서의 테스트 결과를 나타낸다. 이들 사이의 유일한 차이는 QP이다. 도 7로부터, 본 발명의 아래의 이로운 효과들을 알 수 있다.

첫째, 계산된 블러 값은 QP에 따른 양호한 단조로움을 갖는다. 동일한 비디오 콘텐츠에 대한 주관적인 평가의 경험으로부터, 그의 인식되는 블러 레벨은 QP가 증가함에 따라 증가한다. QP와 인식 블러 레벨 사이에는 양호한 단조로운 특성이 존재한다. 계산된 블러 값은 인식되는 블러 레벨과 일치해야 하므로, QP에 따른 양호한 단조로움을 또한 가져야 한다. 제안된 방법은 이러한 점에서 양호한 성능을 나타낸다.

둘째, 계산된 블러 값은 전통적으로 계산된 블러 값들보다 비디오 콘텐츠에 의해 덜 영향 받는다.

일반적으로, 본 발명은 적어도 다음의 이점들을 제공한다. 계산된 블러 값은 QP에 따른 양호한 단조로움을 갖는다. 게다가, 인식되는 블러도 QP에 따른 양호한 단조로움을 갖는다. 따라서, 계산된 블러와 QP 사이의 단조로움을 이용하여, 블러 검출 알고리즘의 성능을 평가할 수 있다. 제안된 방법은 이러한 점에서 다른 공지된 솔루션들보다 양호한 성능을 나타낸다.

계산된 블러 값은 비디오 콘텐츠에 의해 덜 영향을 받는다.

계산된 블러 값은 주관적인 품질 평가를 통해 얻어지는 바와 같은 주관적 평균 의견 스코어(MOS)와의 높은 상관성을 갖는다.

한 실험에서는, 720P 시퀀스로부터 1176개의 프레임(각각의 그룹에 168개의 프레임을 갖는 7개 그룹)을 임의로 선택한 후, 프레임마다 주관적인 스코어를 부여하였다. 주관적인 스코어와 계산된 블러 값 사이의 피어슨(Pearson) 상관은 0.8이다. 이전에 알려진 솔루션들에서, 피어슨 상관은 약 0.4이며, 따라서 더 나쁘다.

블러 값은 기준 이미지가 이용 가능하지 않은 경우에도 측정에 의해 비디오 품질을 평가하는 데 사용될 수 있다. 따라서, 비디오 품질 측정이 예컨대 방송 수신기에서 수행될 수 있다. 이롭게도, 추가적인 정보 없이, 통상의 비디오/이미지만이 요구된다.

본 발명의 일 양태에 따르면, 블록 기반 코딩을 이용하여 인코딩/디코딩된 비디오 이미지 내의 블러를 측정하기 위한 방법은,

비디오 인코딩 유닛 및 상기 비디오 인코딩 유닛 내의 위치를 선택하는 단계,

수평 방향에서 상기 선택된 비디오 인코딩 유닛의 에지에서 로컬 블러 레벨을 검출하는 단계 - 상기 위치 주위의 영역에서 로컬 분산이 계산되고, 상기 로컬 분산이 정의된 범위 내에 있는 경우에, 로컬 블러 값이 계산되고, 상기 영역 내의 픽셀들은 선택된 방향에서의 자신들의 이웃 픽셀들과 비교됨 -,

상기 비디오 이미지의 로컬 블러 값들을 결합하는 단계 - 최종 수평 블러가 얻어짐 -,

수직 방향에 대해, 로컬 분산을 계산하는 단계, 로컬 블러를 계산하는 단계 및 로컬 블러 값들을 결합하는 단계를 반복하는 단계 - 최종 수직 블러가 얻어짐 -, 및

최종 수평 블러 값과 최종 수직 블러 값을 결합하는 단계 - 현재 이미지의 블러 척도인 최종 블러 값이 얻어짐 -

를 포함한다.

본 발명의 일 양태에 따르면, 블록 기반 코딩을 이용하여 인코딩된 비디오 이미지 내의 블러를 측정하기 위한 장치는,

하나 이상의 매크로블록들과 같은 비디오 인코딩 유닛 내의 위치를 선택하기 위한 선택 수단;

수평 방향에서 상기 선택된 비디오 인코딩 유닛의 에지에서의 로컬 블러 레벨을 검출하기 위한 검출 수단;

상기 위치 주변의 영역에서 로컬 분산을 계산하기 위한 제1 계산 수단;

상기 로컬 분산이 정의된 범위 내에 있는지를 결정하기 위한 결정 수단;

상기 로컬 분산이 상기 정의된 범위 내에 있는 경우에, 로컬 블러를 계산하기 위한 제2 계산 수단 - 상기 수평 방향을 따라 로컬 최소 또는 최대 휘도 강도를 갖는 픽셀들이 검출되고, 로컬 최소 및 최대 휘도 값들을 갖는 위치들 사이의 거리는 수평 로컬 블러 값임 -;

상기 로컬 블러 값들을 결합하기 위한 결합 수단 - 최종 수평 블러 값이 얻어짐 -;

수직 방향에 대한 대응 수단 - 최종 수직 블러 값이 얻어짐 -; 및

상기 최종 수평 블러 값과 상기 최종 수직 블러 값을 결합하기 위한 결합 수단 - 현재 이미지에 대한 블러 척도인 최종 블러 값이 얻어짐 -

을 포함한다.

상기 수직 방향에 대한 수단들은, 분산 계산 및 블러 레벨 계산을 위해 픽셀들을 선택하기 위한 상기 선택 수단이 픽셀들의 수직 또는 수평 라인들을 선택하도록 적응될 수 있는 경우에, 상기 수평 방향에 대한 각각의 대응 수단과 원칙적으로 동일할 수 있다.

본 발명의 바람직한 실시예들에 적용되는 바와 같은 본 발명의 기본적인 새로운 특징들이 도시되고, 설명되고, 지시되었지만, 설명된 장치 및 방법에 있어서, 개시된 장치들의 형태 및 상세들에 있어서 그리고 그들의 동작에 있어서, 본 발명의 사상으로부터 벗어나지 않고, 이 분야의 기술자들에 의해 다양한 생략들, 교체들 및 변경들이 이루어질 수 있다는 것을 이해할 것이다. 본 발명은 MB들과 관련하여 개시되었지만, 이 분야의 기술자는 본 명세서에서 설명된 방법 및 장치들이 다른 비디오 인코딩 유닛들, 예컨대 블록들 또는 수퍼 MB들(인접 MB들의 그룹들)에 적용될 수 있다는 것을 인식할 것이다. 동일한 결과들을 얻기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 요소들의 모든 조합들은 본 발명의 범위 내에 속하는 것을 명확히 의도한다. 하나의 설명된 실시예로부터의 요소들의 다른 실시예로의 대체도 충분히 의도되고 고려된다.

본 발명은 단지 예시적으로 설명되었을 뿐이며, 본 발명의 범위로부터 벗어나지 않고 상세의 변경들이 이루어질 수 있다는 것을 이해할 것이다. 설명 및 (적절한 경우에) 청구항들 및 도면들에 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은 적절한 경우에 하드웨어, 소프트웨어 또는 이 둘의 조합으로 구현될 수 있다.

청구항들에 나타나는 참조 번호들은 예시적일 뿐이며, 청구항들의 범위에 대해 제한적인 효과를 갖지 않아야 한다.

Claims

블록 기반 코딩을 이용하여 인코딩되는 비디오 이미지 내의 블러(blur)를 측정하기 위한 방법으로서,
상기 비디오 이미지의 콘텐츠로부터 영향을 받지 않고(independent from) 사전 정의된 스킴에 따라, 비디오 인코딩 유닛 및 상기 비디오 인코딩 유닛 내의 위치를 선택하는 단계 - 상기 비디오 인코딩 유닛은 적어도 하나의 매크로블록이며, 상기 위치는 상기 비디오 인코딩 유닛의 주위(periphery)를 따라 선택됨 - ;
수평 또는 수직인 제1 방향에서 상기 선택된 비디오 인코딩 유닛의 주위에서 로컬 블러 레벨(local blur level)을 검출하는 단계;
상기 위치의 주변의 영역에서 로컬 분산(local variance)을 계산하는 단계;
상기 로컬 분산이 분산 값들(variance values)의 정의된 범위 내에 있는 경우에, 로컬 블러 값을 계산하고, 상기 로컬 분산이 분산 값들의 정의된 범위 외에 있는 경우에, 블러를 측정하는데 상기 로컬 분산을 무시하는 단계 - 여기서, 상기 영역 내의 픽셀들은 상기 픽셀들의 이웃 픽셀들과 비교됨 -;
상기 비디오 인코딩 유닛의 주변 상에서 제1 방향으로 새로운 상기 위치를 선택하고, 상기 제1 방향에서의 새로운 상기 위치 각각에 대해 상기 로컬 블러 레벨의 검출, 상기 로컬 분산의 계산, 상기 로컬 블러 레벨의 계산 동작을 반복하는 단계;
상기 제1 방향에서의 상기 위치들로부터 로컬 블러 값들을 결합하는 단계 - 여기서, 상기 제1 방향의 최종 방향 블러(final directional blur)가 얻어짐 -;
제2 방향에 대해, 로컬 블러 레벨을 검출하는 단계, 로컬 분산을 계산하는 단계, 로컬 블러를 계산하는 단계, 로컬 블러 값들을 결합하는 단계, 및 새로운 상기 위치를 선택하는 단계를 반복하는 단계 - 상기 제2 방향은 수평 또는 수직이며 상기 제1 방향과는 다르며, 여기서, 상기 제2 방향의 최종 방향 블러가 얻어짐 -; 및
상기 제1 방향 및 상기 제2 방향의 최종 방향 블러 값들을 결합하는 단계 - 여기서, 현재 이미지에 대한 블러 척도(blur measure)인 최종 블러 값이 얻어짐 -
를 포함하는 블러 측정 방법.
제1항에 있어서, 상기 비디오 인코딩 유닛 내의 상기 선택된 위치는 상기 적어도 하나의 매크로블록의 수직 에지 중심들(P_v1,P_v2) 및 수평 에지 중심들(P_h1,P_h2)에 있는 블러 측정 방법.
제1항에 있어서, 상기 로컬 분산은 결정된 위치에 중심을 갖는 교차 영역(cross area)에서 계산되는 블러 측정 방법.
제3항에 있어서, 상기 교차 영역은 직사각형인 블러 측정 방법.
제3항에 있어서, 상기 교차 영역은 정사각형이고, 15 픽셀의 길이를 갖는 블러 측정 방법.
제1항에 있어서, 일 방향의 상기 로컬 블러 값을 계산하는 단계는 상기 방향을 따라 로컬 최소 또는 최대 휘도 값들을 갖는 픽셀들을 검출하는 단계를 포함하고, 로컬 최소 및 최대 휘도 값들을 갖는 위치들 사이의 거리는 상기 방향의 로컬 블러 값인 블러 측정 방법.
제6항에 있어서, 로컬 최소 또는 최대 휘도 값들을 갖는 픽셀들을 검출할 때, 동일 휘도 값을 갖는 둘 이상의 인접 픽셀들이 로컬 최소 또는 최대로서 사용되고, 상기 선택된 위치로부터 가장 먼 픽셀이 검출 에지로서 사용되는 블러 측정 방법.
제6항 또는 제7항에 있어서, 로컬 분산의 정의된 범위는 [2,20]인 블러 측정 방법.
제1항에 있어서,
상기 로컬 블러 값을 계산하는 단계는,
상기 영역의 픽셀들을 상기 픽셀들의 좌측 이웃 픽셀과 비교하는 단계,
상기 픽셀들의 좌측 이웃 픽셀과 동일하거나, 높거나, 낮은 휘도 값들을 갖는 픽셀들의 개별 합들을 결정하는 단계, 및
수학식
에 따라 간이 로컬 분산(simplified local variance)을 계산하는 단계
를 포함하고,
여기서, N_higher는 상기 픽셀들의 좌측 이웃 픽셀보다 높은 휘도 값을 갖는 픽셀들의 합이고, N_lower는 상기 픽셀들의 좌측 이웃 픽셀보다 낮은 휘도 값을 갖는 픽셀들의 합이고, N_equal은 상기 픽셀들의 좌측 이웃 픽셀과 동일한 휘도 값을 갖는 픽셀들의 합이고, N_total은 N_higher, N_lower 및 N_equal의 합인 블러 측정 방법.
블록 기반 코딩을 이용하여 인코딩되는 비디오 이미지 내의 블러를 측정하기 위한 장치로서,
상기 장치는,
적어도 하나의 하드웨어 컴포넌트;
적어도 하나의 하드웨어 프로세서; 및
적어도 하나의 명령어들을 포함하는 컴퓨터 판독가능 저장매체
를 포함하고,
상기 명령어들은 상기 적어도 하나의 하드웨어 프로세서 상에서 실행되는 경우, 상기 프로세서로 하여금,
수평 방향 또는 수직 방향을 선택하고,
상기 비디오 이미지의 콘텐츠로부터 영향을 받지 않고 사전 정의된 스킴에 따라, 비디오 인코딩 유닛 및 상기 비디오 인코딩 유닛 내의 위치를 선택하고 - 상기 비디오 인코딩 유닛은 적어도 하나의 매크로블록이며 상기 위치는 상기 비디오 인코딩 유닛의 주위를 따라 선택됨 -,
상기 선택된 방향에서 상기 선택된 비디오 인코딩 유닛의 주위에서 로컬 블러 레벨을 검출하고,
상기 선택된 방향에 따라 상기 위치 주변의 영역에서 로컬 분산을 계산하고,
상기 로컬 분산이 분산 값들의 정의된 범위 내에 있는 경우에, 로컬 블러를 계산하고, 상기 로컬 분산이 분산 값들의 정의된 범위 외에 있는 경우에, 블러를 측정하는데 상기 로컬 분산을 무시하고 - 여기서, 상기 영역 내의 픽셀들은 상기 선택된 방향에서 상기 픽셀들의 이웃 픽셀들과 비교됨 -,
상기 비디오 인코딩 유닛의 주변 상에서 선택된 방향으로 새로운 상기 위치를 선택하고, 상기 선택된 방향에서의 새로운 상기 위치 각각에 대해 상기 로컬 블러 레벨의 검출, 상기 로컬 분산의 계산, 상기 로컬 블러 레벨의 계산 동작을 반복하고,
상기 선택된 방향의 상기 위치들로부터 로컬 블러 값들을 결합하고 - 여기서, 상기 선택된 방향의 최종 방향 블러 값이 얻어짐 -,
제2 방향에 대해, 로컬 블러 레벨을 검출하고, 로컬 분산을 계산하고, 로컬 블러를 계산하고, 로컬 블러 값들을 결합하고, 새로운 상기 위치를 선택하는 것을 반복하고 - 상기 제2 방향은 수평 또는 수직이며 상기 선택된 방향과는 다르며, 여기서, 상기 제2 방향의 최종 방향 블러가 얻어짐 -,
상기 수평 방향의 최종 방향 블러 값 및 상기 수직 방향의 최종 방향 블러 값을 결합 - 여기서, 현재 이미지에 대한 블러 척도인 최종 블러 값이 얻어짐 -
하는 것을 수행하게 하는, 블러 측정 장치.
제10항에 있어서, 상기 로컬 블러를 계산하는 것은 현재 선택된 방향을 따라 로컬 최소 또는 최대 휘도 값들을 갖는 픽셀들을 검출하는 것을 포함하고, 로컬 최소 및 최대 휘도 값들을 갖는 위치들 사이의 거리는 방향 로컬 블러 값인 블러 측정 장치.
제11항에 있어서, 로컬 최소 또는 최대 휘도 값들을 갖는 픽셀들을 검출할 때, 동일 휘도 값을 갖는 둘 이상의 인접 픽셀들이 로컬 최소 또는 최대로서 사용되고, 상기 선택된 위치로부터 가장 먼 픽셀이 검출 에지로서 사용되는 블러 측정 장치.
제10항에 있어서,
상기 로컬 블러를 계산하는 것은,
상기 영역의 픽셀들을 상기 픽셀들의 좌측 이웃 픽셀과 비교하고,
상기 픽셀들의 좌측 이웃 픽셀과 동일하거나, 높거나, 낮은 휘도 값들을 갖는 픽셀들의 개별 합들을 결정하고, 및
수학식
에 따라 간이 로컬 분산을 계산하는 것
을 포함하고,
여기서, N_higher는 상기 픽셀들의 좌측 이웃 픽셀보다 높은 휘도 값을 갖는 픽셀들의 합이고, N_lower는 상기 픽셀들의 좌측 이웃 픽셀보다 낮은 휘도 값을 갖는 픽셀들의 합이고, N_equal은 상기 픽셀들의 좌측 이웃 픽셀과 동일한 휘도 값을 갖는 픽셀들의 합이고, N_total은 N_higher, N_lower 및 N_equal의 합인 블러 측정 장치.
삭제