[go: up one dir, main page]

KR101705138B1 - 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링 - Google Patents

변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링 Download PDF

Info

Publication number
KR101705138B1
KR101705138B1 KR1020167010950A KR20167010950A KR101705138B1 KR 101705138 B1 KR101705138 B1 KR 101705138B1 KR 1020167010950 A KR1020167010950 A KR 1020167010950A KR 20167010950 A KR20167010950 A KR 20167010950A KR 101705138 B1 KR101705138 B1 KR 101705138B1
Authority
KR
South Korea
Prior art keywords
local
intra prediction
diblock
image data
illumination compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020167010950A
Other languages
English (en)
Other versions
KR20160052780A (ko
Inventor
펭 인
윤페이 쩽
오스카 디보라 에스코다
조엘 졸레
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160052780A publication Critical patent/KR20160052780A/ko
Application granted granted Critical
Publication of KR101705138B1 publication Critical patent/KR101705138B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

난-로컬 인트라 예측에 디블록 필터링을 하기 위한 방법 및 장치가 제공된다. 본 장치는 난-로컬 인트라 예측을 사용하여 화상 데이터를 인코딩하는 인코더를 포함한다. 이 인코더(600)는 난-로컬 인트라 예측을 사용하여 인코딩된 화상 데이터의 적어도 부분을 디블록 필터링하기 위하여 난-로컬 인트라 예측 모드와 함께 사용하도록 구성된 디블록 필터(665)를 포함한다.

Description

변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링{DEBLOCKING FILTERING FOR DISPLACED INTRA PREDICTION AND TEMPLATE MATCHING}
본 출원은 전체 내용이 본 명세서에 완전히 병합되어 있는 2008년 4월 11일에 출원된 미국 가출원 일련 번호 61/044,171호(대리인 관리 번호 PU080047)의 이익을 주장한다.
본 발명의 원리는 일반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 보다 상세하게는 난-로컬 인트라 예측(non-local intra prediction)의 디블록 필터링을 하기 위한 방법 및 장치에 관한 것이다.
블록 기반의 예측 비디오 코딩 모델에서, 이미지 블록은, 예측을 생성하고, 이미지 블록으로부터 예측을 감산하여 나머지(residue)를 생성하고 나머지를 변환하고 변환된 나머지를 양자화한 다음 마지막으로 양자화된 나머지 계수를 전송하는 것에 의해 코딩될 수 있다. 양자화 공정이 정보 손실을 일으킬 수 있으므로, 가시적인 블록 결함(blocking artifacts)이 인접한 코딩 블록들 사이에서 종종 생성될 수 있다. 구체적으로, 인접한 코딩 블록들 사이에서 평활한(smooth) 영역과 에지(edge)가 불연속적으로 나타날 수 있으며, 이는 매우 바람직하지 않은 것이다.
이러한 결함을 제거하거나 감소시키기 위하여, 몇몇 필터링이 일부 블록 결함을 제공할 수 있는 인접한 코딩 블록들 사이의 전이(transition)를 평활화하기 위하여 수행될 수 있다. 블록 경계(block boundary)들에 대한 필터링 강도는 종종 각 코딩 블록에 사용되는 예측 모드에 따라 달라지는데, 그 이유는 사용되는 코딩 모드와, 주어진 비트레이트에서 인식되는 블록 결함 사이에 상관성이 존재하기 때문이다. 인트라 예측(intra prediction)에서, 현재의 비디오 인코딩 기술{예를 들어, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) Part 10 Advanced Video Coding (AVC) standard/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 Recommendation (이하 "MPEG-4 AVC 표준"이라고 언급한다)}의 대부분은 현재 블록의 예측을 생성하기 위하여 로컬 인접 정보를 사용한다. 그러므로, 인트라 예측된 블록들에 대한 현재의 디블록 필터링 방법은 로컬 정보의 지식에 기초하여 디자인된다.
최근에, 일부 난-로컬(non-local) 인트라 예측 접근법이 도입되어 우수한 코딩 효율을 달성하였다. 하나의 이러한 예는 변위 인트라 예측(DIP : displacement intra prediction)을 포함한다. 다른 이러한 예는 템플릿 매칭 예측(TMP : template matching prediction)을 포함한다. 이들 접근법은 화상 내에 존재하는 영역의 자기 유사성(self-similarity)을 이용하고자 시도한다. 구체적으로, 난-로컬 인트라 예측 기술은 예측을 생성하기 위하여 인코딩 화상의 디코딩된 부분 내에 있는 난-로컬 정보를 사용할 수 있는데, 이는 로컬 인접 데이터만을 사용하는 로컬 인트라 예측 기술(예를 들어, MPEG-4 AVC 표준에 따른 인트라 예측)과는 다른 것이다. 이러한 난-로컬 예측 기술이 인트라 예측에 도입될 때 지금까지 디자인된 디블록 필터링 방법 및 전략은 블록 결함을 적절히 필터링하는데 실패할 수 있다. 사실, 로컬 인트라 예측을 위해 한정된 필터링 전략은 난-로컬 예측과 같은 다른 예측 접근법의 보다 효율적인 디블록 필터링을 위해서는 수정되어야 한다.
MPEG-4 AVC 표준에서, 필터는 블록 결함을 감소시키기 위하여 각 디코딩된 매크로블록에 적용된다. 디블록 필터는 인코더와 디코더 모두에서 재구성된 화상 데이터에 적용된다. 필터는 블록 전이를 평활화하며 디코딩된 프레임의 외양(appearance)을 개선시킨다. 필터링은 매크로블록에 있는 4×4 블록들의 수직 또는 수평 에지에 적용된다(슬라이스 경계에 있는 에지는 제외하고). 결함 디블록 필터링 순서는 휘도(luma) 성분에 있는 에지를 먼저 필터링한 다음, 색차(chroma) 성분에 있는 에지를 필터링하는 것이다. 각 성분에서, 수직 에지는 수평 에지 전에 필터링된다. 도 1a 및 도 1b를 참조하면, 매크로블록의 16×16 휘도 성분과 매크로블록의 8×8 색차 성분은 일반적으로 참조 번호 100과 참조 번호 150으로 각각 표시되어 있다. 매크로블록에서 에지 필터링 순서는 a; b; c; d; e; f; g; h; i; j; k; 및 ℓ이다. 각 필터링 동작은 경계의 양 측에서 최대 3개의 샘플에 작용한다. 도 2a 및 도 2b를 참조하면, 수직 및 수평 경계에 인접한 샘플은 일반적으로 참조 번호 200과 참조 번호 250으로 각각 표시되어 있다. 구체적으로, 4개의 샘플이 인접한 블록(p, q)(각각 p0,p1,p2,p3 및 q0,q1,q2, q3)에서 수직 또는 수평 경계의 양 측에 도시되어 있다. MPEG-4 AVC 표준에서, 특정 위치에서 디블록(deblocking)을 하는데 사용되는 필터는 경계 강도(boundary strength)(BS), 경계에 걸친 이미지 샘플의 그래디언트(gradient) 및 현재의 양자화 강도에 따라 달라진다.
도 3을 참조하면, MPEG-4 AVC 표준에 대하여 디블록 필터링 경계 강도(bS)를 선택하는 예시적인 방법은 일반적으로 참조 번호 300으로 표시되어 있다. 본 방법(300)은 제어를 기능 블록(310)으로 전달하는 시작 블록(305)을 포함한다. 기능 블록(310)은 p 및 q 블록들과 인트라 예측 모드를 입력하고 제어를 결정 블록(315)으로 전달한다. 결정 블록(315)은 블록(p)이나 블록(q)이 인트라 코딩되었는지를 결정한다. 그렇다면, 제어는 결정 블록(320)으로 전달된다. 그렇지 않다면, 제어는 결정 블록(335)으로 전달된다.
결정 블록(320)은 블록 경계가 매크로블록의 경계인지 아닌지를 결정한다. 그렇다면, 제어는 기능 블록(325)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(330)으로 전달된다.
기능 블록(325)은 경계 강도(bS)를 4로 설정하고 제어를 기능 블록(365)으로 전달한다.
기능 블록(365)은 경계 강도(bS)를 출력하고 제어를 종료 블록(399)으로 전달한다.
기능 블록(330)은 경계 강도(bS)를 3으로 설정하고 제어를 기능 블록(365)으로 전달한다.
결정 블록(335)은 블록(p)이나 블록(q)에 코딩된 계수가 존재하는지 아닌지를 결정한다. 그렇다면, 제어는 기능 블록(340)으로 전달된다. 그렇지 않다면, 제어는 결정 블록(345)으로 전달된다.
기능 블록(340)은 경계 강도(bS)를 2로 설정하고 제어를 기능 블록(365)으로 전달한다.
결정 블록(345)은 블록(p)과 블록(q)이 상이한 기준 프레임 수 또는 상이한 개수의 기준 프레임을 가지는지 여부를 결정한다. 그렇다면, 제어는 기능 블록(350)으로 전달된다. 그렇지 않다면, 제어는 결정 블록(355)으로 전달된다.
기능 블록(350)은 경계 강도(bS)를 1로 설정하고 제어를 기능 블록(365)으로 전달한다.
결정 블록(355)은 2개의 경계 측들에 있는 픽셀의 움직임 벡터(motion vector)의 차이가 1보다 큰지 여부를 결정한다. 그렇다면, 제어는 기능 블록(350)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(360)으로 전달된다.
기능 블록(360)은 경계 강도(bS)를 제로(0)로 설정하고 제어를 기능 블록(365)으로 전달한다.
그리하여, 경계 강도 파라미터(BS)는 도 3에 도시된 규칙에 따라 선택된다. 이들 규칙을 적용한 결과 필터링 강도는 상당한 블록 결함이 있을 것 같은 곳(예를 들어, 인트라 코딩된 매크로블록의 경계 또는 코딩된 계수들을 포함하는 블록들 사이의 경계)에서 더 강하게 되도록 인코딩된 데이터에 따라 달라지게 된다. 경계 강도의 선택에 기초하여, 최종 필터링 공정은 경계에 걸친 이미지 샘플의 그레디언트와 양자화 파라미터에 의해 결정된다.
도 3에서는, MPEG-4 AVC 표준에 의해 사용되는 로컬 인트라 예측 기술은 매우 간단한 모델들을 사용하기 때문에 MPEG-4 AVC 표준이 인트라 코딩된 블록에 대해 더 높은 경계 강도 값을 사용하는 것을 볼 수 있다. 그러나, 이러한 매우 간단한 모델들은 신호의 전체 성분 세트를 예측하는 것이 가능하지 않아 후속하는 코딩을 위해서는 더 많은 나머지 정보들이 존재하게 된다. 코딩을 위해 예측 나머지가 더 많이 남아 있으면 남아 있을수록, 양자화 동안 정보 손실 가능성이 더 높아지는데, 이는 블록 경계 주위에서 더 많은 블록 결함을 일으킬 수 있다. 그러나, 난-로컬 인트라 예측 기술과 같은 더 개선된 인트라 예측 접근법이 도입된다면, 현존하는 디블록 구조는 이들 블록들에 더 이상 적합지 않게 된다.
난-로컬 인트라 예측
난-로컬 인트라 예측은 현재 코딩 블록이나 영역의 예측을 생성하기 위하여 인코딩된 화상 내에 있는 난-로컬 정보를 사용할 수 있는 기술을 설명한다. 난-로컬 정보는 인코더와 디코더 모두에서 이용가능한 디코딩된 데이터를 포함한다. 전송된 오버헤드의 필요성에 기초하여 난-로컬 인트라 예측 기술을 순방향 예측 기술과 역방향 예측 기술로 분류할 수 있다. 변위된 인트라 예측과 템플릿 매칭 예측은 각각 대표적인 순방향 및 역방향 난-로컬 인트라 예측 기술들이다.
변위된 인트라 예측(DIP)
상호 움직임 보상에 의하여 동작되는 변위된 인트라 예측은 현재 블록을 예측하기 위하여 화상의 재구성된 디코딩된 영역에 블록 패치(patches)를 재사용한다. 변위된 인트라 예측은 현재 블록을 포함하는 화상의 재구성된 영역 내에서 인코딩될 현재 블록과 가장 유사한 블록을 검색한다. 블록이나 파티션마다 인트라 변위 벡터는 이에 따라 오버헤드로서 디코더에 송신된다. 도 4를 참조하면, 이 변위된 인트라 예측(DIP)의 일례가 일반적으로 참조 번호 400으로 표시되어 있다. 변위된 인트라 예측(400)은 인코딩될 영역(410), 이 영역(410) 내에 위치되는 인코딩될 현재 블록(411), 패치(410)와 동일한 화상에 위치된 재구성된 영역(430), 재구성된 영역(410) 내에 있는 후보 블록(431) 및 인트라 변위 벡터(440)를 수반한다. 변위된 인트라 예측은 많은 반복 조직(texture) 또는 구조 패턴을 갖는 화상을 코딩하는데 매우 적합하다.
템플릿 매칭 예측(TMP)
도 5를 참조하면, 템플릿 매칭 예측(TMP)의 일례가 일반적으로 참조 번호 500으로 표시되어 있다. 이 템플릿 매칭 예측(500)은 인코딩될 영역(510), 인코딩될 현재 블록(512)을 포함하는 현재 템플릿(511), 패치(510)와 동일한 화상에 있는 재구성된 영역(530), 재구성된 영역(530) 내에 있는 후보 템플릿(533) 및 후보 템플릿(533) 내에 있는 후보 블록(531)을 수반한다.
도 5에 도시된 바와 같이, 템플릿 매칭 예측은 또한 인코더 또는 디코더에서 이용가능한 재구성된 데이터를 재사용함으로써 예측을 생성한다. 변위된 인트라 예측과는 달리, 템플릿 매칭 예측은 역방향 적응 조직 분석 기술을 사용하여 송신될 오버헤드를 요구치 않는다. 템플릿 매칭 예측은 변위된 인트라 예측에 사용되는 원래의 블록 데이터가 아닌 예측용 후보 템플릿과 (인코더와 디코더 모두에서 이용가능한) 주변의 인접한 픽셀들 사이에 유사성을 측정한다. 추가적인 오버헤드가 템플릿 매칭 예측에 의해 요구되지 않으므로, 타깃 블록은 예측을 위해 더 작은 블록으로 분할될 수 있다. 이것은 고주파수 성분과 복잡한 구조의 보다 정확한 모델링을 가능하게 하며 이로 코딩될 나머지(residue)를 감소시킨다. 템플릿 매칭은 매칭 기준을 위해 사용된 인접한 블록들에 대해 예측된 블록에 특정 평활도(smoothness)를 부여한다. 이것은 예측에 일부 연속성을 부여하며 이는 예측으로 인한 블록킹 효과를 감소시킨다.
IC를 통한 난-로컬 인트라 예측
전술된 난-로컬 인트라 예측 기술은 일반적으로 2개의 템플릿들(템플릿 매칭 예측에서) 또는 2개의 블록들(변위된 인트라 예측에서) 사이에 유사성을 측정하기 위해 SAD(Sum of Absolute Differences) 또는 SSE(Sum Squared Errors)를 사용한다. 그러한 측정이 대부분의 경우에 잘 작용한다 하더라도, 이것은 템플릿들 사이에 또는 블록들 사이에 일부 미스매치가 있을 때에는 충분히 효율적이지 않다. 이것은 조명 불일치(disparity) 또는 기하학적 변동(variation)이 있는 경우 발생할 수 있으며 이는 예측 분석이 최적이지 않게 하고 나머지를 더 크게 만든다. 이것은 난-로컬 예측 기술이 콘트라스트와 브라이트니스와 같은 이미지의 로컬 특성을 항상 캡쳐할 수 있는 것은 아니라는 사실 때문이다. 여러 적응성 조명 보상(IC : illumination compensation) 접근법이 이 문제를 명시적으로 또는 암시적으로 해소하기 위해 제안되었다. 인트라 예측에 조명 보상을 도입하는 것은 예측 효율에 추가적인 개선을 유도하며, 이는 조명 보상 없는 경우에 비해 코딩될 나머지 계수의 양을 더 작게 만든다.
난-로컬 예측 기술은 더 우수한 인트라 예측을 제공할 수 있다. 이것은 나머지의 양을 감소시키고 그 결과 블록 결함을 가지는 가능성을 감소시킨다. 그리하여 이들 예측 기술의 상이한 특성은 적응된 디블록 절차의 사용을 필요로 한다.
종래 기술의 이들 및 다른 단점 및 불이익은 난-로컬 인트라 예측의 디블록 필터링을 위한 방법 및 장치에 관한 본 발명의 원리에 의해 해소된다.
본 발명의 일 측면에 따라 장치가 제공된다. 본 장치는 난-로컬 인트라 예측을 사용하여 화상 데이터를 인코딩하는 인코더를 포함한다. 이 인코더는 난-로컬 인트라 예측을 사용하여 인코딩된 화상 데이터의 적어도 부분을 디블록 필터링하기 위하여 난-로컬 인트라 예측 모드와 함께 사용하도록 구성된 디블록 필터를 포함한다.
본 발명의 다른 측면에 따라 방법이 제공된다. 본 방법은 난-로컬 인트라 예측을 사용하여 화상 데이터를 인코딩하는 단계를 포함한다. 이 인코딩 단계는 난-로컬 인트라 예측을 사용하여 인코딩된 화상 데이터의 적어도 부분을 디블록 필터링하기 위하여 난-로컬 인트라 예측 모드와 함께 사용하도록 구성된 디블록 필터링을 수행하는 단계를 포함한다.
본 발명의 더 다른 측면에 따라 장치가 제공된다. 본 장치는 난-로컬 인트라 예측을 사용하여 화상 데이터를 디코딩하는 디코더를 포함한다. 이 디코더는 난-로컬 인트라 예측을 사용하여 디코딩된 화상 데이터의 적어도 부분을 디블록 필터링하기 위하여 난-로컬 인트라 예측 모드와 함께 사용하도록 구성된 디블록 필터를 포함한다.
본 발명의 더 다른 측면에 따라 방법이 제공된다. 본 방법은 난-로컬 인트라 예측을 사용하여 화상 데이터를 디코딩하는 단계를 포함한다. 이 디코딩 단계는 난-로컬 인트라 예측을 사용하여 디코딩된 화상 데이터의 적어도 부분을 디블록 필터링하기 위하여 난-로컬 인트라 예측 모드와 함께 사용하도록 구성된 디블록 필터링을 수행하는 단계를 포함한다.
본 발명의 원리의 이들 및 다른 측면, 특징 및 잇점은 첨부 도면과 연계하여 읽을 예시적인 실시예의 이하 상세한 설명으로부터 보다 명확해 질 것이다.
본 발명은 난-로컬 예측 기술을 사용하여 더 우수한 인트라 예측을 제공하고 이에 의해 나머지의 양을 감소시키고 그 결과 블록 결함을 가지는 가능성을 감소시킬 수 있는 등의 효과를 제공한다.
본 발명의 원리는 다음 예시적인 도면에 따라 더 잘 이해될 수 있을 것이다.
도 1a 및 도 1b는 본 발명의 원리가 적용될 수 있는 매크로블록의 16×16 휘도 성분과 매크로블록의 8×8 색차 성분을 각각 도시하는 블록도.
도 2a 및 도 2b는 본 발명의 원리가 적용될 수 있는 수직 및 수평 경계에 인접한 샘플들을 각각 도시하는 블록도.
도 3은 MPEG-4 AVC 표준에 대해 디블록 필터링 경계 강도(bS)를 선택하는 예시적인 방법을 도시하는 흐름도.
도 4는 본 발명의 원리가 적용될 수 있는 변위된 인트라 예측(DIP)의 일례를 도시하는 블록도.
도 5는 본 발명의 원리가 적용될 수 있는 템플릿 매칭 예측(TMP)의 일례를 도시하는 블록도.
도 6은 본 발명의 원리의 일 실시예에 따라 난-로컬 인트라 예측을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 인코더를 도시하는 블록도.
도 7은 본 발명의 원리의 일 실시예에 따라 난-로컬 인트라 예측을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 디코더를 도시하는 블록도.
도 8은 본 발명의 원리의 일 실시예에 따라 난-로컬 인트라 예측 및 조명 보상을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 인코더를 도시하는 블록도.
도 9는 본 발명의 원리의 일 실시예에 따라 난-로컬 인트라 예측 및 조명 보상을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 디코더를 도시하는 블록도.
도 10a는 본 발명의 원리의 일 실시예에 따라 디블록 필터링을 위한 예시적인 방법을 도시하는 흐름도.
도 10b는 본 발명의 원리의 일 실시예에 따라 난-로컬 예측을 고려하지 않고 디블록 필터링을 위한 도 10a의 방법의 예시적인 서브 방법을 도시하는 흐름도.
도 10c는 본 발명의 원리의 일 실시예에 따라 조명 보상을 고려하지 않고 디블록 필터링을 위한 도 10a의 방법의 예시적인 서브 방법을 도시하는 흐름도.
도 10d는 본 발명의 원리의 일 실시예에 따라 조명 보상을 고려하는 디블록 필터링을 위한 도 10a의 방법의 예시적인 서브 방법을 도시하는 흐름도.
도 11a는 본 발명의 원리의 일 실시예에 따라 난-로컬 예측을 고려하지 않고 디블록 필터링을 위한 예시적인 방법을 도시하는 흐름도.
도 11b는 본 발명의 원리의 일 실시예에 따라 난-로컬 예측을 고려하여 디블록 필터링을 위한 예시적인 방법을 도시하는 도면.
도 11c는 본 발명의 원리의 일 실시예에 따라 난-로컬 예측과 조명 보상을 고려하여 디블록 필터링을 위한 예시적인 방법을 도시하는 도면.
도 12는 본 발명의 원리의 일 실시예에 따라 난-로컬 예측을 고려하여 경계 강도를 필터링하기 위해 경계 강도를 결정하는 예시적인 방법을 도시하는 도면.
도 13은 일반적으로 참조 번호 1300으로 표시된 난-로컬 예측과 조명 보상을 갖는 경계 강도(bS)를 결정하는 예시적인 방법을 도시하는 도면.
본 발명의 원리는 난-로컬 인트라 예측의 디블록 필터링을 위한 방법 및 장치에 관한 것이다.
본 상세한 설명은 본 발명의 원리를 설명한다. 따라서 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 명시적으로 기술되거나 도시된 것이 아니라 하더라도 본 발명의 원리를 구현하고 본 발명의 사상과 범위 내에 포함되는 여러 배열들을 고안할 수 있을 것이라는 것을 이해할 수 있을 것이다.
본 명세서에 언급된 모든 예와 조건적 언어는 이 기술을 개발하기 위해 발명자(들)가 기여한 개념과 본 발명의 원리를 독자들이 이해하는데 도움을 주기 위한 교시적 목적을 위해 의도된 것이므로 그렇게 구체적으로 언급된 예와 조건으로 제한함이 없는 것으로 해석되어야 한다.
나아가, 본 명세서에 있는 본 발명의 원리, 측면 및 실시예 뿐만 아니라 특정 실시예를 언급하는 모든 언급은 본 발명의 구조적 및 기능적 균등물을 모두 포함하는 것으로 의도된다. 부가적으로, 그러한 균등물은 현재 알려진 균등물 뿐만 아니라 미래에 개발되는 균등물, 즉 구조에 상관없이 동일한 기능을 수행하는 개발된 임의의 요소를 포함하는 것으로 의도된다.
따라서, 예를 들어, 이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 제시된 블록 다이아그램이 본 발명의 원리를 구현하는 예시적인 회로의 개념적인 도면을 나타내는 것이라는 점을 이해할 수 있을 것이다. 이와 유사하게, 임의의 흐름도, 흐름 다이아그램, 상태 전이 다이아그램, 의사코드 등은 컴퓨터로 판독가능한 매체에서 실질적으로 제공되고 또 그러한 컴퓨터나 프로세서가 명시적으로 도시되어 있었건 되시되지 않았건 상관없이 컴퓨터나 프로세서에 의해 실행될 수 있는 여러 처리 공정을 나타낸다는 것을 이해할 수 있을 것이다.
도면들에 도시된 여러 요소들의 기능은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 연합하여 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이들 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 나아가, "프로세서" 또는 "제어기"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 언급하는 것으로 해석되어서는 아니되며, 암시적으로 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장 장치를 제한 없이 포함할 수 있다.
다른 하드웨어, 종래 및/또는 주문형 하드웨어가 또한 포함될 수 있다. 이와 유사하게, 도면에 도시된 임의의 스위치는 단지 개념적인 것이다. 이 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 이때 문맥으로부터 보다 구체적으로 이해될 수 있을 때에는 특정 기술이 구현하는 자에 의해 선택될 수 있다.
특허청구범위에서, 특정 기능을 수행하는 수단으로 표현된 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 그 기능을 수행하기 위해 소프트웨어를 실행하는 적절한 회로와 조합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 그 기능을 수행하는 임의의 방법을 포함하는 것으로 의도된다. 특허청구범위에서 한정된 본 발명의 원리는 여러 언급된 수단에 의해 제공되는 기능이 조합되고 특허청구범위가 요구하는 방식으로 서로 조합되는 것에 존재한다. 따라서 그 기능을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 것과 균등한 것으로 간주된다.
본 발명의 원리의 "일 실시예" 또는 "실시예" 뿐만 아니라 다른 변형예에 대하여 명세서에서 언급한 것은 그 실시예와 연관하여 개시된 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 일 실시예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 걸쳐 여러 곳에 나타나는 "일 실시예에서" 또는 "실시예에서" 뿐만 아니라 임의의 다른 변형예라는 어구의 사용은 반드시 모두 동일한 실시예를 언급하는 것이 아닐 수 있다.
예를 들어 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나의" 경우에서, "/", "및/또는" 및 "중 적어도 하나" 라는 표현 중 어느 하나의 사용은 첫 번째로 나열된 옵션 (A) 만의 선택, 또는 두 번째로 나열된 옵션 (B) 만의 선택, 또는 둘 모두의 옵션 (A 및 B)의 선택을 포함하는 것으로 의도된다. 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나" 경우에서, 이러한 어구는 첫 번째로 나열된 옵션 (A) 만의 선택, 또는 두 번째로 나열된 옵션 (B) 만의 선택, 또는 세 번째로 나열된 (C)만의 선택, 또는 첫 번째와 두 번째로 나열된 옵션 (A 및 B) 만의 선택, 또는 첫 번째와 세 번째로 나열된 옵션 (A 및 C) 만의 선택, 또는 두 번째와 세 번째로 나열된 옵션 (B 및 C)만의 선택, 또는 모든 세 가지 옵션 (A 및 B 및 C)의 선택을 포함하는 것으로 의도된다. 이것은 이 기술분야 및 관련 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있는 바와 같이, 나열되는 항목이 많은 경우에 대해서는 확장될 수 있다.
더욱이, 본 발명의 원리의 하나 이상의 실시예들이 MPEG-4 AVC 표준에 대해 본 명세서에 개시되었으나, 본 발명의 원리는 이 표준으로만 제한되는 것은 아니며 따라서 다른 비디오 코딩 표준, 권고 및 MPEG-4 AVC 표준의 확장을 포함하는 이들의 확장에 대해서도 본 발명의 원리의 사상을 유지하면서 사용될 수 있다.
나아가, 본 발명의 실시예들이 변위된 인트라 예측과 템플릿 매칭 예측과 같은 인트라 예측 기술에 대하여 개시되었으나, 본 발명의 원리는 인트라 예측 기술의 전술된 타입으로만 제한되는 것은 아니며 따라서 다른 인트라 예측 기술이 또한 본 발명의 원리의 사상을 유지하면서 본 발명의 원리의 개시 내용에 따라 사용될 수 있다는 것을 인식할 수 있을 것이다.
또한, 본 발명의 원리는 본 발명의 원리의 사상을 유지하면서 조명 보상을 사용하는 난-로컬 인트라 예측 기술에 적용될 수 있는 것을 이해할 수 있을 것이다.
부가적으로, 본 발명의 원리가 적용될 수 있는 전술된 기술 및 다른 기술은 본 발명의 원리의 사상을 유지하면서 본 명세서에 제공된 본 발명의 원리의 개시 내용을 가지고 이 기술분야 및 관련 기술분야에서 통상의 지식을 가진 자에 의해 용이하게 결정될 수 있다는 것을 이해할 수 있을 것이다.
변위된 인트라 예측과 템플릿 매칭 예측은 예시를 위하여 본 명세서에서 사용되는 예시적인 난-로컬 예측 접근법이다. 따라서, 본 발명의 원리는 인트라 예측 기술의 전술된 타입으로만 제한되는 것은 아니며 본 발명의 원리의 사상을 유지하면서 다른 난-로컬 예측 기술에 대해서도 사용될 수 있다는 것을 이해할 수 있을 것이다. 더욱이, 본 발명의 원리는 본 발명의 원리의 사상을 유지하면서 조명 보상이 수반되는 난-로컬 예측 기술에도 또한 적용될 수 있을 것이다.
*도 6을 참조하면, 난-로컬 인트라 예측을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 인코더가 일반적으로 참조 번호 600으로 표시되어 있다.
이 비디오 인코더(600)는 합산기(685)의 비반전 입력과 신호 통신가능하게 연결된 출력을 갖는 프레임 순서 버퍼(frame ordering buffer)(610)를 포함한다. 합산기(685)의 출력은 변환기 및 양자화기(625)의 제 1 입력과 신호 통신가능하게 연결된다. 변환기 및 양자화기(625)의 출력은 엔트로피 코더(645)의 제 1 입력과 역 변환기 및 역 양자화기(650)의 제 1 입력과 신호 통신가능하게 연결된다. 엔트로피 코더(645)의 출력은 합산기(690)의 제 1 비반전 입력과 신호 통신가능하게 연결된다. 합산기(690)의 출력은 출력 버퍼(635)의 제 1 입력과 신호 통신가능하게 연결된다.
인코더 제어기(605)의 제 1 출력은 프레임 순서 버퍼(610)의 제 2 입력, 역 변환기 및 역 양자화기(650)의 제 2 입력, 화상 타입 결정 모듈(615)의 입력, 매크로블록 타입(MB 타입) 결정 모듈(620)의 제 1 입력, 인트라 예측 모듈(660)의 제 2 입력, 디블록 필터(665)의 제 2 입력, 움직임 보상기(670)의 제 1 입력, 움직임 추정기(estimator)(675)의 제 1 입력 및 기준 화상 버퍼(680)의 제 2 입력과 신호 통신가능하게 연결된다.
인코더 제어기(605)의 제 2 출력은 SEI(Supplemental Enhancement Information) 삽입기(630)의 제 1 입력, 변환기 및 양자화기(625)의 제 2 입력, 엔트로피 코더(645)의 제 2 입력, 출력 버퍼(635)의 제 2 입력 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(640)의 입력과 신호 통신가능하게 연결된다.
인코더 제어기(605)의 제 3 출력은 난-로컬 인트라 예측기(644)의 제 1 입력과 신호 통신가능하게 연결된다.
SEI 삽입기(630)의 출력은 합산기(690)의 제 2 비반전 입력과 신호 통신가능하게 연결된다.
화상 타입 결정 모듈(615)의 제 1 출력은 프레임 순서 버퍼(610)의 제 3 입력과 신호 통신가능하게 연결된다. 화상 타입 결정 모듈(615)의 제 2 출력은 매크로블록 타입 결정 모듈(620)의 제 2 입력과 신호 통신가능하게 연결된다.
SPS 및 PPS 삽입기(640)의 출력은 합산기(690)의 제 3 비반전 입력과 신호 통신가능하게 연결된다.
역 양자화기 및 역 변환기(650)의 출력은 합산기(619)의 제 1 비반전 입력과 신호 통신가능하게 연결된다. 합산기(619)의 출력은 인트라 예측 모듈(660)의 제 1 입력과 디블록 필터(deblocking filter)(665)의 제 1 입력과 신호 통신가능하게 연결된다. 디블록 필터(665)의 출력은 기준 화상 버퍼(680)의 제 1 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(680)의 제 1 출력은 움직임 추정기(estimator)(675)의 제 2 입력과 움직임 보상기(670)의 제 3 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(680)의 제 2 출력은 난-로컬 인트라 예측기(predictor)(644)의 제 2 입력과 신호 통신가능하게 연결된다. 움직임 추정기(675)의 제 1 출력은 움직임 보상기(370)의 제 2 입력과 신호 통신가능하게 연결된다. 움직임 추정기(675)의 제 2 출력은 엔트로피 코더(645)의 제 3 입력과 신호 통신가능하게 연결된다.
움직임 보상기(670)의 출력은 스위치(697)의 제 1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(660)의 출력은 스위치(697)의 제 2 입력과 신호 통신가능하게 연결된다. 난-로컬 인트라 예측기(644)의 출력은 스위치(697)의 제 3 입력과 신호 통신가능하게 연결된다. 매크로블록 타입 결정 모듈(620)의 출력은 스위치(697)의 제 4 입력과 신호 통신가능하게 연결된다. 스위치(697)의 제 4 입력은 (제어 입력, 즉 제 4 입력에 비해) 스위치의 "데이터" 입력이 움직임 보상기(670)에 의해 제공될지 또는 인트라 예측 모듈(660)에 의해 제공될지 또는 난-로컬 인트라 예측기(644)에 의해 제공될지를 결정한다. 스위치(697)의 출력은 합산기(619)의 제 2 비반전 입력과 합산기(685)의 반전 입력과 신호 통신가능하게 연결된다.
프레임 순서 버퍼(610)의 제 1 입력과 인코더 제어기(605)의 입력은 입력 화상을 수신하기 위해 인코더(600)의 입력으로 이용가능하다. 더욱이, SEI 삽입기(630)의 제 2 입력은 메타데이터를 수신하기 위해 인코더(600)의 입력으로 이용가능하다. 출력 버퍼(635)의 출력은 비트스트림을 출력하기 위해 인코더(600)의 출력으로 이용가능하다.
도 7을 참조하면, 난-로컬 인트라 예측을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 디코더는 일반적으로 참조 번호 700에 의해 표시되어 있다.
비디오 디코더(700)는 엔트로피 디코더(745)의 제 1 입력과 신호 통신가능하게 연결된 출력을 갖는 입력 버퍼(710)를 포함한다. 엔트로피 디코더(745)의 제 1 출력은 역 변환기 및 역 양자화기(750)의 제 1 입력과 신호 통신가능하게 연결된다. 역 변환기 및 역 양자화기(750)의 출력은 합산기(725)의 제 2 비반전 입력과 신호 통신가능하게 연결된다. 합산기(725)의 출력은 디블록 필터(765)의 제 2 입력과 인트라 예측 모듈(760)의 제 1 입력과 신호 통신가능하게 연결된다. 디블록 필터(765)의 제 2 출력은 기준 화상 버퍼(780)의 제 1 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(780)의 제 1 출력은 움직임 보상기(770)의 제 2 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(780)의 제 2 출력은 난-로컬 인트라 예측기(744)의 제 2 입력과 신호 통신가능하게 연결된다.
엔트로피 디코더(745)의 제 2 출력은 움직임 보상기(770)의 제 3 입력과 디블록 필터(765)의 제 1 입력과 신호 통신가능하게 연결된다. 엔트로피 디코더(745)의 제 3 출력은 디코더 제어기(705)의 입력과 신호 통신가능하게 연결된다. 엔트로피 디코더(745)의 제 4 출력은 난-로컬 인트라 예측기(744)의 제 1 입력과 신호 통신가능하게 연결된다. 디코더 제어기(705)의 제 1 출력은 엔트로피 디코더(745)의 제 2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(705)의 제 2 출력은 역 변환기와 역 양자화기(750)의 제 2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(705)의 제 3 출력은 디블록 필터(765)의 제 3 입력과 신호 통신가능하게 연결된다. 디코더 제어기(705)의 제 4 출력은 인트라 예측 모듈(760)의 제 2 입력, 움직임 보상기(770)의 제 1 입력, 기준 화상 버퍼(780)의 제 2 입력 및 난-로컬 인트라 예측기(744)의 제 3 입력과 신호 통신가능하게 연결된다.
움직임 보상기(770)의 출력은 스위치(797)의 제 1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(760)의 출력은 스위치(797)의 제 2 입력과 신호 통신가능하게 연결된다. 난-로컬 인트라 예측기(744)의 출력은 스위치(797)의 제 3 입력과 신호 통신가능하게 연결된다. 스위치(797)의 출력은 합산기(725)의 제 1 비반전 입력과 신호 통신가능하게 연결된다.
입력 버퍼(710)의 입력은 입력 비트스트림을 수신하기 위해 디코더(700)의 입력으로 이용가능하다. 디블록 필터(765)의 제 1 출력은 출력 화상을 출력하기 위해 디코더(700)의 출력으로 이용가능하다.
도 8을 참조하면, 난-로컬 인트라 예측 및 조명 보상을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 인코더는 일반적으로 참조 번호 800으로 표시되어 있다.
이 비디오 인코더(800)는 합산기(885)의 비반전 입력과 신호 통신가능하게 연결된 출력을 갖는 프레임 순서 버퍼(810)를 포함한다. 합산기(885)의 출력은 변환기 및 양자화기(825)의 제 1 입력과 신호 통신가능하게 연결된다. 변환기 및 양자화기(825)의 출력은 엔트로피 코더(845)의 제 1 입력과, 역 변환기 및 역 양자화기(850)의 제 1 입력과 신호 통신가능하게 연결된다. 엔트로피 코더(845)의 출력은 합산기(890)의 제 1 비반전 입력과 신호 통신가능하게 연결된다. 합산기(890)의 출력은 출력 버퍼(835)의 제 1 입력과 신호 통신가능하게 연결된다.
인코더 제어기(805)의 제 1 출력은 프레임 순서 버퍼(810)의 제 2 입력, 역 변환기 및 역 양자화기(850)의 제 2 입력, 화상 타입 결정 모듈(815)의 입력, 매크로블록 타입(MB 타입) 결정 모듈(820)의 제 1 입력, 인트라 예측 모듈(860)의 제 2 입력, 디블록 필터(865)의 제 2 입력, 움직임 보상기(870)의 제 1 입력, 움직임 추정기(875)의 제 1 입력 및 기준 화상 버퍼(880)의 제 2 입력과 신호 통신가능하게 연결된다.
인코더 제어기(805)의 제 2 출력은 SEI 삽입기(830)의 제 1 입력, 변환기 및 양자화기(825)의 제 2 입력, 엔트로피 코더(845)의 제 2 입력, 출력 버퍼(835)의 제 2 입력 및 SPS 및 PPS 삽입기(840)의 입력과 신호 통신가능하게 연결된다.
인코더 제어기(805)의 제 3 출력은 조명 보상을 갖는 난-로컬 인트라 예측기(877)의 제 1 입력과, 암시적인 조명 보상 파라미터 계산기(878)의 제 1 입력과 신호 통신가능하게 연결된다.
SEI 삽입기(830)의 출력은 합산기(890)의 제 2 비반전 입력과 신호 통신가능하게 연결된다.
화상 타입 결정 모듈(815)의 제 1 출력은 프레임 순서 버퍼(810)의 제 3 입력과 신호 통신가능하게 연결된다. 화상 타입 결정 모듈(815)의 제 2 출력은 매크로블록 타입 결정 모듈(820)의 제 2 입력과 신호 통신가능하게 연결된다.
SPS 및 PPS 삽입기(840)의 출력은 합산기(890)의 제 3 비반전 입력과 신호 통신가능하게 연결된다.
암시적인 조명 보상 파라미터 계산기(878)의 출력은 조명 보상을 갖는 난-로컬 인트라 예측기(877)의 제 3 입력과 신호 통신가능하게 연결된다.
역 양자화기와 역 변환기(850)의 출력은 합산기(819)의 제 1 비반전 입력과 신호 통신가능하게 연결된다. 합산기(819)의 출력은 인트라 예측 모듈(860)의 제 1 입력과 디블록 필터(865)의 제 1 입력과 신호 통신가능하게 연결된다. 디블록 필터(865)의 출력은 기준 화상 버퍼(880)의 제 1 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(880)의 제 1 출력은 움직임 추정기(875)의 제 2 입력과 움직임 보상기(870)의 제 3 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(880)의 제 2 출력은 조명 보상을 갖는 난-로컬 인트라 예측기(877)의 제 2 입력과, 암시적인 조명 보상 파라미터 계산기(878)의 제 2 입력과 신호 통신가능하게 연결된다. 움직임 추정기(875)의 제 1 출력은 움직임 보상기(870)의 제 2 입력과 신호 통신가능하게 연결된다. 움직임 추정기(875)의 제 2 출력은 엔트로피 코더(845)의 제 3 입력과 신호 통신가능하게 연결된다.
움직임 보상기(870)의 출력은 스위치(897)의 제 1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(360)의 출력은 스위치(897)의 제 2 입력과 신호 통신가능하게 연결된다. 조명 보상을 갖는 난-로컬 인트라 예측기(877)의 출력은 스위치(897)의 제 3 입력과 신호 통신가능하게 연결된다. 매크로블록 타입 결정 모듈(820)의 출력은 스위치(897)의 제 4 입력과 신호 통신가능하게 연결된다. 스위치(897)의 제 4 입력은 (제어 입력, 즉 제 4 입력에 비해) 스위치의 "데이터" 입력이 움직임 보상기(870)에 의해 제공될지 또는 인트라 예측 모듈(860)에 의해 제공될지 또는 조명 보상을 갖는 난-로컬 인트라 예측기(877)에 의해 제공될지를 결정한다. 스위치(897)의 출력은 합산기(819)의 제 2 비반전 입력과 합산기(885)의 반전 입력과 신호 통신가능하게 연결된다.
프레임 순서 버퍼(810)의 제 1 입력과 인코더 제어기(805)의 입력은 입력 화상을 수신하기 위해 인코더(800)의 입력으로 이용가능하다. 더욱이, SEI 삽입기(830)의 제 2 입력은 메타데이터를 수신하기 위해 인코더(800)의 입력으로 이용가능하다. 출력 버퍼(835)의 출력은 비트스트림을 출력하기 위해 인코더(800)의 출력으로 이용가능하다.
도 9를 참조하면, 난-로컬 인트라 예측 및 조명 보상을 갖는 예시적인 MPEG-4 AVC 표준 기반 비디오 디코더가 일반적으로 참조 번호 900으로 표시되어 있다.
이 비디오 디코더(900)는 엔트로피 디코더(945)의 제 1 입력과 신호 통신가능하게 연결된 출력을 갖는 입력 버퍼(910)를 포함한다. 엔트로피 디코더(945)의 제 1 출력은 역 변환기와 역 양자화기(950)의 제 1 입력과 신호 통신가능하게 연결된다. 역 변환기와 역 양자화기(950)의 출력은 합산기(925)의 제 2 비반전 입력과 신호 통신가능하게 연결된다. 합산기(925)의 출력은 디블록 필터(965)의 제 2 입력과 인트라 예측 모듈(960)의 제 1 입력과 신호 통신가능하게 연결된다. 디블록 필터(965)의 제 2 출력은 기준 화상 버퍼(980)의 제 1 입력과 신호 통신가능하게 연결된다. 기준 화상 버퍼(980)의 제 1 출력은 움직임 보상기(970)의 제 2 입력과 신호 통신하게 연결된다. 기준 화상 버퍼(980)의 제 2 출력은 조명 보상을 갖는 난-로컬 인트라 예측기(977)의 제 2 입력과, 암시적인 조명 보상 파라미터 계산기(978)의 제 2 입력과 신호 통신가능하게 연결된다. 암시적인 조명 보상 파라미터 계산기(978)의 출력은 난-로컬 인트라 예측기(977)의 제 3 입력과 신호 통신가능하게 연결된다.
엔트로피 디코더(945)의 제 2 출력은 움직임 보상기(970)의 제 3 입력과, 디블록 필터(965)의 제 1 입력과 신호 통신가능하게 연결된다. 엔트로피 디코더(945)의 제 3 출력은 디코더 제어기(905)의 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제 1 출력은 엔트로피 디코더(945)의 제 2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제 2 출력은 역 변환기와 역 양자화기(950)의 제 2 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제 3 출력은 디블록 필터(965)의 제 3 입력과 신호 통신가능하게 연결된다. 디코더 제어기(905)의 제 4 출력은 인트라 예측 모듈(960)의 제 2 입력, 움직임 보상기(970)의 제 1 입력, 기준 화상 버퍼(980)의 제 2 입력, 조명 보상을 갖는 난-로컬 인트라 예측기(977)의 제 1 입력 및 암시적인 조명 보상 파라미터 계산기(978)의 제 1 입력과 신호 통신가능하게 연결된다.
움직임 보상기(970)의 출력은 스위치(997)의 제 1 입력과 신호 통신가능하게 연결된다. 인트라 예측 모듈(960)의 출력은 스위치(997)의 제 2 입력과 신호 통신가능하게 연결된다. 조명 보상을 갖는 난-로컬 인트라 예측기의 출력은 스위치(997)의 제 3 입력과 신호 통신가능하게 연결된다. 스위치(997)의 출력은 합산기(925)의 제 1 비반전 입력과 신호 통신가능하게 연결된다.
입력 버퍼(910)의 입력은 입력 비트스트림을 수신하기 위해 디코더(900)의 입력으로 이용가능하다. 디블록 필터(965)의 제 1 출력은 출력 화상을 출력하기 위해 디코더(900)의 출력으로 이용가능하다.
전술된 바와 같이, 본 발명의 원리는 난-로컬 인트라 예측의 디블록 필터링을 위한 방법 및 장치에 관한 것이다.
본 발명의 원리에 따라, 난-로컬 인트라 예측 기술과 함께 사용하기 위해 최적화된 디블록 필터링 기술을 개시한다. 유리하게, 본 발명의 원리는 이미지 및/또는 비디오(이후 집합적으로 "이미지"라고 언급된다) 압축에서 난-로컬 인트라 예측을 사용할 때 비디오 인코더 및/또는 디코더에 도입된 블록 결함을 억제할 수 있다. 구체적으로, 본 발명의 원리는 난-로컬 인트라 예측 기술이 예측에 수반될 때 블록 경계를 디블록 필터링하기 위해 경계 강도를 적응적으로 결정하는 예시적인 구조를 제공한다. 더욱이, 본 발명의 원리는 또한 조명 보상이 난-로컬 인트라 예측과 함께 사용하기 위해 인에이블될 때 조명 보상 파라미터에 따라 블록 경계를 디블록 필터링하기 위해 경계 강도를 적응적으로 결정하는 예시적인 구조를 제공한다.
일 실시예에 따라, 디블록 필터 강도, 필터 타입 및 필터 길이 중 하나 이상이 화상 데이터의 스캐닝 순서, 코딩 모드 정보 또는 다른 코딩 파라미터 및 인접한 화상 데이터 영역들의 조명 보상 파라미터 중 하나 이상에 따라 적응된다. 일 실시예에서, 경계 강도 결정 구조를 새로이 디블록 필터링하는 것은 난-로컬 예측이 수반되는 상이하게 예측된 화상 영역들 사이의 영역 전이를 적절히 처리하기 위하여 도입된다. 변위된 인트라 예측과 템플릿 매칭 예측이 예시를 위하여 사용되는 예시적인 난-로컬 예측 접근법이다. 따라서, 전술된 바와 같이 본 발명의 원리는 인트라 예측 기술의 전술된 타입으로만 제한되는 것은 아니며 다른 난-로컬 예측 기술에 대해서도 본 발명의 원리의 사상을 유지하면서 사용될 수 있다는 것을 이해할 수 있을 것이다. 더욱이, 전술된 바와 같이, 본 발명의 원리는 본 발명의 원리의 사상을 유지하면서 조명 보상이 수반되는 난-로컬 예측 기술에도 또한 적용될 수 있다.
난-로컬 인트라 예측을 위한 디블록 필터 적응
일 실시예에서, 경계 강도의 결정은 또한 인트라 코딩에 난-로컬 예측 타입 정보를 고려한다. 일 실시예에서, 적절한 경계 강도는 특정 경계를 평활하게 하기 위해 난-로컬 예측 기술의 성능에 기초하여 설정된다. 예를 들어, 난-로컬 예측 기술(예를 들어, 템플릿 매칭 예측과 변위된 인트라 예측)에 의해 코딩된 블록에 의해 형성되는 경계들에 더 작은 경계 강도를 적용할 수 있다. 템플릿 매칭 예측이 변위된 인트라 예측에 비해 경계에 걸쳐 더 우수한 평활도를 유지할 수 있으므로 더 작은 필터링 경계 강도가 설정된다.
조명 보상(IC)을 갖는 난-로컬 인트라 예측을 위한 디블록 필터 적응
조명 보상이 난-로컬 인트라 예측에 수반될 때 경계 강도의 결정은 보상된 조명 변동을 고려할 수 있어야 한다. 이것은 조명 보상이 블록 경계의 평활도의 제약 없이 수행된다는 것에 기인된다. 일 실시예에서, 경계 강도를 결정하기 위해 조명 보상 파라미터를 고려한다. 일 실시예에서, 대응하는 블록들의 조명 보상 파라미터들의 차이가 (예를 들어, 경계의 양 측에서 조명 파라미터들의 차이가 크면 시각적인 결함을 일으킬 가능성이 더 높아지도록 미리 결정된 임계값보다) 더 클 때, 현재 평가되는 주어진 경계에는 더 높은 경계 강도가 적용된다. 일 실시예에서, 블록을 위한 조명 보상은 콘트라스트 파라미터(a)를 곱하고 보상되지 않은 블록에 오프셋 파라미터(b)를 더하여 수행된다. 이 두 파라미터는 {예를 들어, 도 4에서 도시된 재구성된 영역(420)으로부터} 통상적인 인접한 픽셀들을 사용하여 적응적으로 계산될 수 있다. 하나의 특별한 경우에, a=1로 설정하고 그래서 경계 강도 결정을 하기 위해 b만을 사용한다.
여기서 난-로컬 인트라 예측 기술에 대해 디블록 필터링 경계 강도를 변경하는 방법에 대한 2가지 예시적인 실시예를 개시한다. 동일한 방법론이 필터 타입과 필터 길이에도 적용될 수 있다. 예시를 위하여, 본 발명의 원리의 하나 이상의 실시예를 기술하기 위해 MPEG-4 AVC 표준을 사용한다. 그러나, 전술된 바와 같이, 본 발명의 원리는 MPEG-4 AVC 표준으로만 제한되는 것은 아니다. 제 1 실시예는 난-로컬 인트라 예측이 수반되는 경우에 관한 것이다. 제 2 실시예는 난-로컬 인트라 예측과 조명 보상이 수반되는 경우에 관한 것이다.
도 10a 내지 도 10d를 참조하면, 디블록 필터링을 위한 예시적인 방법이 일반적으로 참조 번호 1000으로 표시되어 있다. 본 방법(1000)은 도 10b, 도 10c, 도 10d에 각각 도시된 서브 방법(1060, 1070, 1080)을 포함한다.
본 방법(1000)은 제어를 루프 제한 블록(1010)으로 전달하는 시작 블록(1005)을 포함한다. 루프 제한 블록(1010)은 0으로부터 num_pictures_minus1에 이르는 범위를 갖는 변수(ℓ)를 사용하여 입력 비디오 시퀀스에서 각 화상에 걸쳐 루프를 시작하고, 제어를 결정 블록(1015)으로 전달한다. 결정 블록(1015)은 non_local_intra_flag가 1인지 여부를 결정한다. 그렇다면, 제어는 결정 블록(1020)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1040)으로 전달된다.
결정 블록(1020)은 IC_Intra_flag가 1인지 여부를 결정한다. 그렇다면, 제어는 기능 블록(1025)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1035)으로 전달된다.
기능 블록(1025)은 (도 10c의) 서브 방법(1080)을 사용하여 난-로컬 예측 및 조명 보상을 고려하여 디블록 필터링을 수행하고, 제어를 루프 제한 블록(1030)으로 전달한다.
루프 제한 블록(1030)은 루프를 종료하고, 제어를 종료 블록(1045)으로 전달한다.
기능 블록(1040)은 (도 10a의) 서브 방법(1060)을 사용하여 난-로컬 예측을 고려하여 디블록 필터링을 수행하고, 제어를 루프 제한 블록(1030)으로 전달한다.
기능 블록(1035)은 (도 10b의) 서브 방법(1070)을 사용하여 조명 보상을 고려하지 않고 난-로컬 예측을 고려하여 디블록 필터링을 수행하고, 제어를 루프 제한 블록(1030)으로 전달한다.
도 10b에 도시된 서브 방법(1060)은 제어를 루프 제한 블록(1062)으로 전달하는 시작 블록(1061)을 포함한다. 루프 제한 블록(1062)은 0으로부터 num_MSs_minus1에 이르는 범위를 갖는 변수(ℓ)를 사용하여 현재 화상에서 각 매크로블록에 걸쳐 루프를 시작하고, 제어를 기능 블록(1063)으로 전달한다. 기능 블록(1063)은 난-로컬 예측을 고려하지 않고 (현재 매크로블록의) 디블록 필터링을 수행하며, 제어를 루프 제한 블록(1064)으로 전달한다. 루프 제한 블록(1064)은 루프를 종료하고, 제어를 종료 블록(1065)으로 전달한다.
도 10c에 도시된 서브 방법(1070)은 제어를 루프 제한 블록(1072)으로 전달하는 시작 블록(1071)을 포함한다. 루프 제한 블록(1072)은 0으로부터 num_MBs_minus1에 이르는 범위를 갖는 변수(ℓ)를 사용하여 현재 화상에서 각 매크로블록에 걸쳐 루프를 시작하고, 제어를 기능 블록(1073)으로 전달한다. 기능 블록(1073)은 디블록 필터링을 위한 필터 길이 및 필터 타입을 적응적으로 선택하며 조명 보상을 고려하지 않고 선택된 필터 길이와 필터 타입을 사용하여 (현재 매크로블록의) 디블록 필터링을 수행하며 제어를 루프 제한 블록(1074)으로 전달한다. 루프 제한 블록(1074)은 루프를 종료하며, 제어를 종료 블록(1075)으로 전달한다.
도 10d에 도시된 서브 방법(1080)은 제어를 루프 제한 블록(1082)으로 전달하는 시작 블록(1081)을 포함한다. 루프 제한 블록(1082)은 0으로부터 num_MBs_minus1에 이르는 범위를 갖는 변수(ℓ)를 사용하여 현재 화상에서 각 매크로블록에 걸쳐 루프를 시작하고, 제어를 기능 블록(1083)으로 전달한다. 기능 블록(1083)은 디블록 필터링을 위해 필터 길이와 필터 타입을 적응적으로 선택하며 조명 보상을 고려하여 선택된 필터 길이와 필터 타입을 사용하여 (현재 매크로블록의) 디블록 필터링을 수행하며, 제어를 루프 제한 블록(1084)으로 전달한다. 루프 제한 블록(1084)은 루프를 종료하고, 제어를 종료 블록(1085)으로 전달한다.
방법(1000)을 요약하면, 먼저 non_local_intra_flag가 설정되었는지(즉 이것이 인에이블되었는지) 체크한다. 만약 non_local_intra_flag가 설정되지 않았으면, 도 10b에 도시된 디블록 방법(1060)이 수행된다. 그렇지 않다면, non_local_intra_flag가 설정되었다면, 이것은 난-로컬 예측이 적용된다는 것을 나타낸다. 그러면 IC_intra_flag가 조명 보상이 적용되는지를 결정하기 위해 체크된다. 만약 IC_intra_flag가 설정되지 않았다면(즉, 이것이 인에이블되어 있지 않았다면), 도 10c에 도시된 디블록 방법(1070)이 수행된다. 그렇지 않으면(즉, 만약 IC_intra_flag가 설정되어 있다면) 도 10d에 도시된 디블록 방법(1080)이 수행된다. 난-로컬 인트라 예측 기술도 수반되지 않고 조명 보상도 수반되지 않는다면{즉 도 10b에 도시된 디블록 방법(1060)이 수행된다면}, 도 11a에 도시된 매크로블록 디블록 구조가 수행되며 경계 강도가 도 3에 있는 흐름도를 따라서 결정된다. 이하 2개의 실시예는 각각 난-로컬 인트라 예측이 수반되는 경우(실시예 1)와 난-로컬 예측과 조명 보상이 수반되는 경우(실시예 2)를 갖는 다른 2개의 경우{서브 방법(1070) 또는 서브 방법(1080)이 수행된다}를 기술한다.
실시예 1 : 난-로컬 인트라 예측이 인트라 예측에 수반되는 경우
이 실시예에서, 예를 들어 변위된 인트라 예측과 템플릿 매칭 예측과 같은 난-로컬 인트라 예측 기술이 코딩 블록을 예측하는데 수반된다. 이들 개선된 예측 기술은 대부분의 경우에 효과적으로 나머지(residue)를 감소시킬 수 있다. 따라서, 디블록 필터링 적응 구조는 이들 기술을 "맞추기(fit)" 위하여 적응되어야 한다. 도 10b의 서브 방법(1070)이 각 매크로블록을 필터링하기 위해 취해진다. 이 경우에, 조명 보상이 수반되지 않으므로, 도 11b에 도시된 방법이 수행된다. 각 매크로블록(예를 들어, 도 1 참조)의 수평 및 수직 경계는 루프 종료(looped over)된다. 각 경계에 대해, 인접한 블록들(예를 들어, p 및 q)의 예측 모드는 경계 강도(bS)를 결정하기 위해 사용된다. 먼저, 난-로컬 예측 기술에 의하여 예측된 p 또는 q에 임의의 블록이 있는지 체크한다. 그렇다면(즉, 난-로컬 예측 기술에 의해 예측된 p 또는 q에 임의의 블록이 있다면), 도 12에 도시된 방법(1200)이 경계 강도를 얻기 위해 수행된다. 그렇지 않다면(즉, 난-로컬 예측 기술에 의해 예측된 p 또는 q에 임의의 블록이 없다면), 도 3의 방법(300)이 수행된다.
도 11a를 참조하면, 난-로컬 예측을 고려하지 않고 디블록 필터링을 위한 예시적인 방법이 일반적으로 참조 번호 1100에 의하여 표시되어 있다. 본 방법(1100)은 제어를 루프 제한 블록(1106)으로 전달하는 시작 블록(1103)을 포함한다. 루프 제한 블록(1106)은 0으로부터 num_blk_boundary-1에 이르는 범위를 갖는 변수(k)를 사용하여 현재 화상에서 각 블록 경계에 걸쳐 루프를 시작하고, 제어를 기능 블록(1109)으로 전달한다. 기능 블록(1109)은 인접한 블록들(p, q)의 예측 모드를 얻고, 제어를 기능 블록(1112)으로 전달한다. 기능 블록(1112)은 임의의 난-로컬 예측 모드를 고려하지 않고 경계 강도(bS)를 결정하며 제어를 기능 블록(1115)으로 전달한다. 기능 블록(1115)은 디블록 필터링을 위해 필터 길이와 필터 타입을 적응적으로 선택하며 선택된 필터 길이와 필터 타입을 사용하여 블록 경계를 필터링하며 제어를 루프 제한 블록(1118)으로 전달한다. 루프 제한 블록(1118)은 루프를 종료하고, 제어를 종료 블록(1121)으로 전달한다.
도 11b를 참조하면, 난-로컬 예측을 고려하여 디블록 필터링을 위한 예시적인 방법이 일반적으로 참조 번호 1130에 의해 표시되어 있다. 본 방법(1130)은 제어를 루프 제한 블록(1136)으로 전달하는 시작 블록(1133)을 포함한다. 루프 제한 블록(1136)은 0으로부터 num_blk_boundary-1에 이르는 범위를 갖는 변수(k)를 사용하여 현재 화상에서 각 블록 경계에 걸쳐 루프를 시작하며, 제어를 기능 블록(1139)으로 전달한다. 기능 블록(1139)은 인접한 블록들(p,q)의 예측 모드를 얻고, 제어를 결정 블록(1142)으로 전달한다. 결정 블록(1142)은 블록이 난-로컬 인트라 예측에 의해 코딩되었는지 여부를 결정한다. 그렇다면, 제어는 기능 블록(1145)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1154)으로 전달된다.
기능 블록(1145)은 난-로컬 예측 모드를 고려하여 경계 강도(bS)를 결정하며 제어를 기능 블록(1148)으로 전달한다.
기능 블록(1148)은 블록 경계를 필터링하며 제어를 루프 제한 블록(1151)으로 전달한다. 루프 제한 블록(1151)은 루프를 종료하며 제어를 종료 블록(1157)으로 전달한다.
기능 블록(1154)은 난-로컬 예측 모드를 고려하지 않고 경계 강도(bS)를 결정하며 제어를 기능 블록(1148)으로 전달한다.
도 11c를 참조하면, 난-로컬 예측 및 조명 보상을 고려하여 디블록 필터링을 위한 예시적인 방법이 일반적으로 참조번호 1160으로 표시되어 있다. 본 방법(1160)은 제어를 루프 제한 블록(1166)으로 전달하는 시작 블록(1163)을 포함한다. 루프 제한 블록(1166)은 0으로부터 num_blk_boundary-1에 이르는 범위를 갖는 변수(k)를 사용하여 현재 화상에서 각 블록 경계에 걸쳐 루프를 시작하며 제어를 기능 블록(1169)으로 전달한다. 기능 블록(1169)은 인접한 블록들(p,q)의 예측 모드를 얻고 제어를 결정 블록(1172)으로 전달한다. 결정 블록(1172)은 블록이 난-로컬 인트라 예측에 의해 코딩되었는지를 결정한다. 그렇다면, 제어는 기능 블록(1175)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1184)으로 전달된다.
기능 블록(1175)은 난-로컬 예측 모드와 조명 보상을 고려하여 경계 강도(bS)를 결정하며 제어를 기능 블록(1178)으로 전달한다.
기능 블록(1178)은 디블록 필터링을 위하여 필터 길이와 필터 타입을 적응적으로 선택하며 선택된 필터 길이와 필터 타입을 사용하여 블록 경계를 필터링하며 제어를 루프 제한 블록(1181)으로 전달한다. 루프 제한 블록(1181)은 루프를 종료하며 제어를 종료 블록(1187)으로 전달한다.
기능 블록(1184)은 난-로컬 예측 모드를 고려하지 않고 경계 강도(bS)를 결정하며 제어를 기능 블록(1178)으로 전달한다.
도 12를 참조하면, 난-로컬 예측을 고려하여 경계 강도 필터링을 위하여 경계 강도를 결정하는 예시적인 방법이 일반적으로 참조 번호 1200으로 표시되어 있다. 본 방법(1200)은 제어를 기능 블록(1210)으로 전달하는 시작 블록(1205)을 포함한다. 기능 블록(1210)은 p 및 q 블록 인트라 예측 모드를 입력하며 제어를 결정 블록(1215)으로 전달한다. 결정 블록(1215)은 블록 경계가 매크로블록의 경계인지를 결정한다. 그렇다면, 제어는 결정 블록(1220)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1230)으로 전달된다.
결정 블록(1220)은 인트라 예측 모드 또는 변위된 인트라 예측에 의하여 예측된 임의의 블록이 있는지를 결정한다. 그렇다면, 제어는 기능 블록(1225)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1230)으로 전달된다.
기능 블록(1225)은 경계 강도(bS)를 2로 설정하며 제어를 기능 블록(1235)으로 전달한다. 기능 블록(1235)은 경계 강도를 출력하며 제어를 종료 블록(1399)으로 전달한다.
기능 블록(1230)은 경계 강도(bS)를 1로 설정하며 제어를 기능 블록(1235)으로 전달한다.
실시예 2 : 난-로컬 인트라 예측 및 조명 보상이 인트라 예측에 수반되는 경우
이 실시예에서, (예를 들어 변위된 인트라 예측 및 템플릿 매칭 예측과 같은) 난-로컬 인트라 예측 기술과 조명 보상이 코딩 블록을 예측하는데 수반된다. 이 실시예에서, 경계 강도를 결정하기 위해 조명 보상 파라미터를 고려한다. 도 10d의 서브 방법(1080)이 이 경우에 수행된다. 도 11c의 방법(1160)은 각 매크로블록을 필터링하는데 수행된다. 각 매크로블록(예를 들어 도 1 참조)의 수평 및 수직 경계가 루프 종료된다. 각 경계에 대해 인접한 블록들(p, q)의 예측 모드는 경계 강도(bS)를 결정하기 위해 사용된다. 먼저, 난-로컬 예측 기술에 의해 예측된 p 또는 q에 임의의 블록이 있는지 체크한다. 예라면, 도 13의 방법(1300)은 경계 강도(bS)를 얻기 위해 수행된다. 그렇지 않다면, 도 3의 흐름도가 경계 강도(bS)를 얻기 위해 사용된다. 모든 조명 보상 파라미터들이 경계 강도(bS)를 검색하기 위해 고려될 수 있으나, 도 13에 도시된 이 실시예에서는 본 발명을 예시하기 위하여 이들 중 일부(오프셋)만을 선택한다.
도 13을 참조하면, 난-로컬 예측과 조명 보상을 갖는 경계 강도(bS)를 결정하는 예시적인 방법이 일반적으로 참조 번호 1300으로 표시되어 있다.
본 방법(1300)은 제어를 기능 블록(1310)으로 전달하는 시작 블록(1305)을 포함한다. 기능 블록(1310)은 p 및 q 블록 인트라 예측 모드를 입력하며 제어를 결정 블록(1315)으로 전달한다. 결정 블록(1315)은 p 및 q가 모두 조명 보상된 블록인지 여부를 결정한다. 그렇다면, 제어는 결정 블록(1320)으로 전달된다. 그렇지 않다면, 제어는 결정 블록(1330)으로 전달된다.
결정 블록(1320)은
Figure 112016039952740-pat00001
인지 결정한다. 그렇다면, 제어는 기능 블록(1325)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1340)으로 전달된다.
기능 블록(1325)은 경계 강도(bS)를 1로 설정하며 제어를 기능 블록(1350)으로 전달한다.
기능 블록(1350)은 경계 강도(bS)를 출력하며 제어를 종료 블록(1399)으로 전달한다.
기능 블록(1340)은 경계 강도(bS)를 2로 설정하며 제어를 기능 블록(1350)으로 전달한다.
기능 블록(1330)은 블록 경계가 매크로블록의 경계인지 여부를 결정한다. 그렇다면, 제어는 결정 블록(1335)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1345)으로 전달된다.
결정 블록(1335)은 인트라 예측 모드 또는 변위된 인트라 예측에 의해 예측된 임의의 블록이 있는지를 결정한다. 그렇다면, 제어는 기능 블록(1340)으로 전달된다. 그렇지 않다면, 제어는 기능 블록(1345)으로 전달된다.
기능 블록(1345)은 경계 강도(bS)를 1로 설정하며 제어를 기능 블록(1350)으로 전달한다.
이제 본 발명의 많은 부수적인 잇점/특징들(일부는 전술되어 있다) 중 일부를 상세히 설명한다. 예를 들어, 하나의 잇점/특징은 난-로컬 인트라 예측을 사용하여 화상 데이터를 인코딩하는 인코더를 구비하는 장치에 있다. 이 인코더는 난-로컬 인트라 예측을 사용하여 인코딩된 화상 데이터의 적어도 부분을 디블록 필터링하기 위하여 난-로컬 인트라 예측 모드와 함께 사용하도록 구성된 디블록 필터를 포함한다.
다른 잇점/특징은, 전술된 인코더를 구비하며, 디블록 필터 강도가 화상 데이터의 스캐닝 순서, 코딩 모드 정보, 인트라 변위 정보 및 인접한 화상 데이터 영역들의 조명 보상 파라미터 중 적어도 하나에 기초하여 적응적으로 선택되는 장치에 있다.
또 다른 잇점/특징은, 전술된 인코더를 구비하며 디블록 필터 타입이 적응적으로 선택되는 장치에 있다.
더 다른 잇점/특징은, 인코더를 구비하며 디블록 필터 타입이 전술된 바와 같이 적응적으로 선택되며 디블록 필터 타입이 코딩 파라미터 및 재구성된 화상 데이터 특성들 중 적어도 하나에 기초하여 적응적으로 선택되는 장치에 있다.
더욱이, 다른 잇점/특징은, 전술된 인코더를 구비하며 디블록 필터 길이가 적응적으로 선택되는 장치에 있다.
나아가, 다른 잇점/특징은, 인코더를 구비하며 디블록 필터 길이가 전술된 바와 같이 적응적으로 선택되며 디블록 필터 길이는 인접한 화상 데이터 영역들의 조명 보상 파라미터에 기초하여 적응적으로 선택되는 장치에 있다.
본 발명의 원리의 이들 및 다른 특징과 잇점은 본 명세서에 있는 개시 내용에 기초하여 관련 기술분야에서 통상의 지식을 가진 자에게는 용이하게 이해될 수 있을 것이다. 본 발명의 원리의 개시 내용은 하드웨어, 소프트웨어, 펌웨어, 특정 목적 프로세서 또는 이들의 조합의 여러 형태로 구현될 수 있다는 것을 이해할 수 있을 것이다.
가장 바람직하게는, 본 발명의 원리의 개시 내용은 하드웨어와 소프트웨어의 조합으로 구현된다. 더욱이, 소프트웨어는 프로그램 저장 장치에 유형적으로 구현된 응용 프로그램으로 구현될 수 있다. 응용 프로그램은 임의의 적절한 아키텍처를 포함하는 기계에 업로딩되고 이 기계에 의해 실행될 수 있다. 바람직하게는, 이 기계는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입력/출력("I/O") 인터페이스와 같은 하드웨어를 구비하는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 운영 체제(operating system)와 마이크로명령 코드(microinstruction code)를 포함할 수 있다. 본 명세서에 기술된 여러 처리 공정과 기능은 CPU에 의해 실행될 수 있는 마이크로명령 코드 또는 응용 프로그램 또는 이들의 임의의 조합의 일부일 수 있다. 나아가, 추가적인 데이터 자장 장치와 프린트 장치와 같은 여러 다른 주변 장치들이 컴퓨터 플랫폼에 연결될 수 있다.
첨부 도면에 도시된 구성 시스템 성분과 방법 중 일부는 바람직하게는 소프트웨어로 구현되기 때문에 시스템 성분이나 처리 기능 블록들 사이의 실제 연결은 본 발명의 원리가 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 더 이해할 수 있을 것이다. 본 명세서에 있는 개시 내용을 가지고 관련 기술분야에서 통상의 지식을 가진 자라면 본 발명의 원리의 이들 및 이와 유사한 구현들이나 구성을 고려할 수 있을 것이다.
예시적인 실시예들이 첨부 도면을 참조하여 본 명세서에서 개시되었으나, 본 발명의 원리는 이들 정확한 실시예만으로 제한되는 것은 아니며 본 발명의 원리의 범위나 사상을 벗어남이 없이 관련 기술에서 통상의 지식을 가진 자에 의해 여러 변경과 변형이 수행될 수 있다는 것을 이해할 수 있을 것이다. 따라서, 그러한 변경과 변형은 첨부된 청구범위에 개시된 본 발명의 원리의 범위 내에 포함되는 것으로 의도된다.
600 : 비디오 인코더 605 : 인코더 제어기
610 : 프레임 순서 버퍼 615 : 화상 타입 결정 모듈
620 : 매크로블록 타입 결정 모듈 625 : 변환기 및 양자화기
630 : SEI 삽입기 635 : 출력 버퍼
640 : SPS 및 PPS 삽입기 645 : 엔트로피 코더
650 : 역 변환기 및 역 양자화기 660 : 인트라 예측 모듈
665 : 디블록 필터 670 : 움직임 보상기
675 : 움직임 추정기 680 : 기준 화상 버퍼
685 : 합산기 690 : 합산기
700 : 비디오 디코더 705 : 디코더 제어기
710 : 입력 버퍼 725 : 합산기
744 : 난-로컬 인트라 예측기 745 : 엔트로피 디코더
750 : 역 변환기 및 역 양자화기 760 : 인트라 예측 모듈
765 : 디블록 필터 770 : 움직임 보상기
780 : 기준 화상 버퍼 797 : 스위치

Claims (20)

  1. 난-로컬 인트라 예측의 디블록 필터링을 위한 장치로서,
    난-로컬 인트라 예측(non-local intra prediction) 및 조명 보상을 사용하여 이미지의 적어도 일부분을 인코딩할지 결정하고;
    난-로컬 인트라 예측이 이용된다면, 인코딩되는 현재 블록에 인접한 블록들의 예측 모드들을 얻고;
    난-로컬 인트라 예측 및 조명 보상이 이용된다면, 상기 인접한 블록들의 난-로컬 인트라 예측 및 조명 보상 파라미터들에 기초한 상기 현재 블록의 경계 강도를 계산하고;
    인접한 화상 데이터 영역들의 조명 보상 파라미터들에 기초하여 디블록 필터 길이를 적응적으로 선택하고, 코딩 파라미터 및 재구성된 화상 데이터 특성 중 적어도 하나에 기초하여 디블록 필터 타입을 적응적으로 선택하고, 상기 결정하는 단계 및 계산하는 단계들에 기초하여 필터 블록 경계 강도를 선택하고;
    난-로컬 인트라 예측이 이용된다면, 비디오 압축 구조에서의 상기 화상의 재구성된 부분으로부터의 난-로컬 인트라 예측을 사용하여, 화상 데이터를 인코딩하고;
    상기 화상 데이터의 적어도 일부분의 디블록 필터링을 수행하는 인코더를 포함하되,
    상기 난-로컬 인트라 예측은 상기 화상의 재구성된 부분 내의 로컬 인접 데이터를 넘은 위치의 픽셀 값을 사용하는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  2. 제 1 항에 있어서,
    디블록 필터의 강도는 화상 데이터의 스캐닝 순서, 코딩 모드 정보, 인트라 변위 정보 및 인접한 화상 데이터 영역들의 조명 보상 파라미터 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  3. 난-로컬 인트라 예측의 디블록 필터링을 위한 방법으로서,
    난-로컬 인트라 예측(non-local intra prediction) 및 조명 보상을 사용하여 이미지의 적어도 일부분을 인코딩할지 결정하는 단계;
    난-로컬 인트라 예측이 이용된다면, 인코딩되는 현재 블록에 인접한 블록들의 예측 모드들을 얻는 단계;
    난-로컬 인트라 예측 및 조명 보상이 이용된다면, 상기 인접한 블록들의 난-로컬 인트라 예측 및 조명 보상 파라미터들에 기초한 상기 현재 블록의 경계 강도를 계산하는 단계;
    인접한 화상 데이터 영역들의 조명 보상 파라미터들에 기초하여 디블록 필터 길이를 적응적으로 선택하고, 코딩 파라미터 및 재구성된 화상 데이터 특성 중 적어도 하나에 기초하여 디블록 필터 타입을 적응적으로 선택하고, 상기 결정하는 단계 및 계산하는 단계들에 기초하여 필터 블록 경계 강도를 선택하는 단계;
    난-로컬 인트라 예측이 이용된다면, 비디오 압축 구조에서의 상기 화상의 재구성된 부분으로부터의 난-로컬 인트라 예측을 사용하여, 화상 데이터를 인코딩하는 단계; 및
    상기 화상 데이터의 적어도 일부분의 디블록 필터링을 수행하는 단계를 포함하되,
    상기 난-로컬 인트라 예측은 상기 화상의 재구성된 부분내의 로컬 인접 데이터를 넘은 위치의 픽셀 값을 사용하는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  4. 제 3 항에 있어서,
    디블록 필터의 강도는 화상 데이터의 스캐닝 순서, 코딩 모드 정보, 인트라 변위 정보 및 인접한 화상 데이터 영역들의 조명 보상 파라미터 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  5. 제 3 항에 있어서,
    디블록 필터의 타입이 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  6. 제 5 항에 있어서,
    상기 디블록 필터의 타입이 코딩 파라미터 및 재구성된 화상 데이터 특성 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  7. 제 3 항에 있어서,
    디블록 필터의 길이는 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  8. 제 7 항에 있어서,
    상기 디블록 필터의 길이는 인접한 화상 데이터 영역들의 조명 보상 파라미터에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  9. 난-로컬 인트라 예측의 디블록 필터링을 위한 장치로서,
    난-로컬 인트라 예측(non-local intra prediction) 및 조명 보상을 사용하여 이미지의 적어도 일부분을 디코딩할지 여부를 신택스 요소로부터 결정하고;
    상기 신택스 요소가 난-로컬 인트라 예측이 이용된다는 것을 지시한다면, 디코딩되는 현재 블록에 인접한 블록들의 예측 모드들을 얻고;
    상기 신택스 요소가 난-로컬 인트라 예측 및 조명 보상이 이용된다는 것을 지시한다면, 상기 인접한 블록들의 난-로컬 인트라 예측 및 조명 보상 파라미터들에 기초한 상기 현재 블록의 경계 강도를 계산하고;
    인접한 화상 데이터 영역들의 조명 보상 파라미터들에 기초하여 디블록 필터 길이를 적응적으로 선택하고, 코딩 파라미터 및 디코딩된 화상 데이터 특성 중 적어도 하나에 기초하여 디블록 필터 타입을 적응적으로 선택하고, 상기 결정하는 단계 및 계산하는 단계들에 기초하여 필터 블록 경계 강도를 선택하고;
    상기 신택스 요소가 난-로컬 인트라 예측을 지시한다면, 비디오 압축 구조에서의 상기 화상의 재구성된 부분으로부터의 난-로컬 인트라 예측을 사용하여, 화상 데이터를 디코딩하고;
    상기 화상 데이터의 적어도 일부분의 디블록 필터링을 수행하는 디코더를 포함하되,
    상기 난-로컬 인트라 예측은 상기 화상의 디코딩된 부분 내의 로컬 인접 데이터를 넘은 위치의 픽셀 값을 사용하는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  10. 제 9 항에 있어서,
    디블록 필터의 강도는 화상 데이터의 스캐닝 순서, 코딩 모드 정보, 인트라 변위 정보 및 인접한 화상 데이터 영역들의 조명 보상 파라미터 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  11. 제 9 항에 있어서,
    디블록 필터의 타입이 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  12. 제 11 항에 있어서,
    상기 디블록 필터의 타입이 코딩 파라미터 및 재구성된 화상 데이터 특성 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  13. 제 9 항에 있어서,
    디블록 필터의 길이는 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  14. 제 13 항에 있어서,
    상기 디블록 필터의 길이는 인접한 화상 데이터 영역들의 조명 보상 파라미터에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 장치.
  15. 난-로컬 인트라 예측의 디블록 필터링을 위한 방법으로서,
    난-로컬 인트라 예측(non-local intra prediction) 및 조명 보상을 사용하여 이미지의 적어도 일부분을 디코딩할지 여부를 신택스 요소로부터 결정하는 단계;
    상기 신택스 요소가 난-로컬 인트라 예측이 이용된다는 것을 지시한다면, 디코딩되는 현재 블록에 인접한 블록들의 예측 모드들을 얻는 단계;
    상기 신택스 요소가 난-로컬 인트라 예측 및 조명 보상이 이용된다는 것을 지시한다면, 상기 인접한 블록들의 난-로컬 인트라 예측 및 조명 보상 파라미터들에 기초한 상기 현재 블록의 경계 강도를 계산하는 단계;
    인접한 화상 데이터 영역들의 조명 보상 파라미터들에 기초하여 디블록 필터 길이를 적응적으로 선택하고, 코딩 파라미터 및 디코딩된 화상 데이터 특성 중 적어도 하나에 기초하여 디블록 필터 타입을 적응적으로 선택하고, 상기 결정하는 단계 및 계산하는 단계들에 기초하여 필터 블록 경계 강도를 선택하는 단계;
    상기 신택스 요소가 난-로컬 인트라 예측을 지시한다면, 비디오 압축 구조에서의 상기 화상의 재구성된 부분으로부터의 난-로컬 인트라 예측을 사용하여, 화상 데이터를 디코딩하는 단계; 및
    상기 화상 데이터의 적어도 일부분의 디블록 필터링을 수행하는 단계를 포함하되,
    상기 난-로컬 인트라 예측은 상기 화상의 디코딩된 부분 내의 로컬 인접 데이터를 넘은 위치의 픽셀 값을 사용하는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  16. 제 15 항에 있어서,
    디블록 필터의 강도는 화상 데이터의 스캐닝 순서, 코딩 모드 정보, 인트라 변위 정보 및 인접한 화상 데이터 영역들의 조명 보상 파라미터 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  17. 제 15 항에 있어서,
    디블록 필터의 타입이 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  18. 제 17 항에 있어서,
    상기 디블록 필터의 타입이 코딩 파라미터 및 재구성된 화상 데이터 특성 중 적어도 하나에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  19. 제 15 항에 있어서,
    디블록 필터의 길이는 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
  20. 제 19 항에 있어서,
    상기 디블록 필터의 길이는 인접한 화상 데이터 영역들의 조명 보상 파라미터에 기초하여 적응적으로 선택되는, 난-로컬 인트라 예측의 디블록 필터링을 위한 방법.
KR1020167010950A 2008-04-11 2009-04-09 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링 Expired - Fee Related KR101705138B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US4417108P 2008-04-11 2008-04-11
US61/044,171 2008-04-11
PCT/US2009/002236 WO2009126299A1 (en) 2008-04-11 2009-04-09 Deblocking filtering for displaced intra prediction and template matching

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107022716A Division KR101655444B1 (ko) 2008-04-11 2009-04-09 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링

Publications (2)

Publication Number Publication Date
KR20160052780A KR20160052780A (ko) 2016-05-12
KR101705138B1 true KR101705138B1 (ko) 2017-02-09

Family

ID=40951231

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107022716A Expired - Fee Related KR101655444B1 (ko) 2008-04-11 2009-04-09 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링
KR1020167010950A Expired - Fee Related KR101705138B1 (ko) 2008-04-11 2009-04-09 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020107022716A Expired - Fee Related KR101655444B1 (ko) 2008-04-11 2009-04-09 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링

Country Status (7)

Country Link
US (1) US9794597B2 (ko)
EP (1) EP2263381A1 (ko)
JP (1) JP5413923B2 (ko)
KR (2) KR101655444B1 (ko)
CN (1) CN102090062B (ko)
BR (1) BRPI0911061A2 (ko)
WO (1) WO2009126299A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024237549A1 (ko) * 2023-05-16 2024-11-21 현대자동차주식회사 기하학적인 분할 모드에서 지역조명 보상 기반 예측을 이용하는 비디오 코딩을 위한 방법 및 장치

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180028430A (ko) * 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
CN105872566B (zh) 2011-01-12 2019-03-01 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
US20120183078A1 (en) * 2011-01-14 2012-07-19 Samsung Electronics Co., Ltd. Filter adaptation with directional features for video/image coding
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
RU2550539C1 (ru) 2011-04-25 2015-05-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ внутреннего предсказания и кодер и декодер, использующие его
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9338476B2 (en) 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
US9693070B2 (en) 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
DK4009638T3 (da) * 2011-06-28 2025-01-27 Sony Group Corp Billedbehandlingsindretning, billedbehandlingsfremgangsmåde, program og lagermedie
US8964833B2 (en) 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding
US9554128B2 (en) * 2011-09-13 2017-01-24 Hfi Innovation Inc. Method and apparatus for reduction of deblocking filter
KR102482777B1 (ko) * 2011-09-20 2022-12-29 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
CN109246429A (zh) 2011-11-04 2019-01-18 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
CN103679631B (zh) * 2012-09-18 2018-01-23 华为技术有限公司 一种放大图像的方法
CN103916676B (zh) * 2012-12-31 2017-09-29 华为技术有限公司 一种边界强度确定方法、去块效应滤波方法、及装置
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
CA2928495C (en) 2013-10-14 2020-08-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
KR102258427B1 (ko) 2014-01-03 2021-06-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
MX361228B (es) 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
KR102319384B1 (ko) * 2014-03-31 2021-10-29 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치
EP4354856A3 (en) 2014-06-19 2024-06-19 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
WO2016049839A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9832467B2 (en) 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US9854237B2 (en) * 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
WO2016149867A1 (en) * 2015-03-20 2016-09-29 Mediatek Singapore Pte. Ltd. Non-local prediction for palette coding
CN106470341B (zh) 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
WO2017035831A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Adaptive inter prediction
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
KR101974261B1 (ko) 2016-06-24 2019-04-30 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN107734347B (zh) * 2016-08-12 2019-07-12 珠海市杰理科技股份有限公司 去块滤波边界强度确定方法和装置
US10924735B2 (en) 2016-12-28 2021-02-16 Sony Corporation Image processing apparatus and image processing method
WO2019070770A1 (en) * 2017-10-02 2019-04-11 Arris Enterprises Llc SYSTEM AND METHOD FOR REDUCING BLOCKED ARTIFACTS AND PRODUCING ENHANCED ENCODING EFFICIENCY
JP7248664B2 (ja) * 2017-10-05 2023-03-29 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ビデオ符号化および復号における適応的照度補償のための方法および装置
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
WO2021054677A1 (ko) * 2019-09-18 2021-03-25 주식회사 비원 영상기술연구소 인-루프 필터 기반의 영상 부호화/복호화 방법 및 장치
AU2020351524A1 (en) * 2019-09-18 2022-05-12 B1 Institute Of Image Technology, Inc. In-loop filter-based image encoding/decoding method and apparatus
WO2025012060A1 (en) * 2023-07-07 2025-01-16 Interdigital Ce Patent Holdings, Sas Intra block copy variant tools and deblocking filtering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047786A2 (en) 2005-10-18 2007-04-26 Qualcomm Incorporated Selective deblock filtering techniques for video coding
WO2008130367A1 (en) 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4191729B2 (ja) 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
US8045615B2 (en) 2005-05-25 2011-10-25 Qualcomm Incorporated Deblock filtering techniques for video coding according to multiple video standards
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US9628823B2 (en) 2006-01-09 2017-04-18 Thomson Licensing Dtv Method and apparatus for providing reduced resolution update mode for multi-view video coding
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
US8532175B2 (en) * 2007-01-04 2013-09-10 Thomson Licensing Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
KR101700966B1 (ko) * 2008-01-10 2017-01-31 톰슨 라이센싱 인트라 예측 비디오의 조명 보상 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047786A2 (en) 2005-10-18 2007-04-26 Qualcomm Incorporated Selective deblock filtering techniques for video coding
WO2008130367A1 (en) 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024237549A1 (ko) * 2023-05-16 2024-11-21 현대자동차주식회사 기하학적인 분할 모드에서 지역조명 보상 기반 예측을 이용하는 비디오 코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
JP2011517230A (ja) 2011-05-26
CN102090062A (zh) 2011-06-08
WO2009126299A1 (en) 2009-10-15
EP2263381A1 (en) 2010-12-22
KR20160052780A (ko) 2016-05-12
BRPI0911061A2 (pt) 2015-12-29
US20120189051A1 (en) 2012-07-26
KR101655444B1 (ko) 2016-09-22
KR20100132973A (ko) 2010-12-20
CN102090062B (zh) 2013-12-11
JP5413923B2 (ja) 2014-02-12
US9794597B2 (en) 2017-10-17

Similar Documents

Publication Publication Date Title
KR101705138B1 (ko) 변위된 인트라 예측과 템플릿 매칭을 위한 디블록 필터링
CN101711481B (zh) 使用预测数据精选进行视频编码的方法和装置
US8532175B2 (en) Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
CN102550026B (zh) 视频编码和解码中色度分量的预测像素的自适应滤波的方法和装置
JP5535485B2 (ja) 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
CN101911708B (zh) 帧内预测视频的照明补偿方法和装置
CN101529921B (zh) 无显式信令的局部照明和色彩补偿
KR101380580B1 (ko) 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
JP6538488B2 (ja) 映像符号化のためのｄｃイントラ予測モードのための方法
KR20100081348A (ko) 비트 깊이 확장성을 위한 아티팩트 제거를 위한 방법 및 장치
KR101709358B1 (ko) 디-아티팩트 필터링을 위한 영역-기반 필터 파라미터 선택 방법들 및 장치들
TW202515187A (zh) 結合預測模式

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A16-div-PA0104

St.27 status event code: A-0-1-A10-A18-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U12-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 4

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 6

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PR1001 Payment of annual fee

Fee payment year number: 7

St.27 status event code: A-4-4-U10-U11-oth-PR1001

PC1903 Unpaid annual fee

Not in force date: 20240204

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240204

St.27 status event code: N-4-6-H10-H13-oth-PC1903