[go: up one dir, main page]

KR20140066681A - 영상 부호화/복호화 방법 및 그 장치 - Google Patents

영상 부호화/복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR20140066681A
KR20140066681A KR1020140054411A KR20140054411A KR20140066681A KR 20140066681 A KR20140066681 A KR 20140066681A KR 1020140054411 A KR1020140054411 A KR 1020140054411A KR 20140054411 A KR20140054411 A KR 20140054411A KR 20140066681 A KR20140066681 A KR 20140066681A
Authority
KR
South Korea
Prior art keywords
prediction
pixel
block
mode
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140054411A
Other languages
English (en)
Other versions
KR101488497B1 (ko
Inventor
이진호
김휘용
임성창
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47906320&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140066681(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20140066681A publication Critical patent/KR20140066681A/ko
Application granted granted Critical
Publication of KR101488497B1 publication Critical patent/KR101488497B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Finger-Pressure Massage (AREA)

Abstract

본 발명에 따른 영상 복호화 방법은 현재 블록의 인트라 예측 모드를 기반으로, 상기 현재 블록 내의 예측 대상 픽셀에 대한 예측을 수행하여 예측 블록을 생성하는 단계; 및 상기 현재 블록에 대응하는 복원된 차분 블록 및 최종 예측 블록을 기반으로 복원 블록을 생성하는 단계를 포함하되, 상기 예측 블록 생성 단계에서는, 상기 현재 블록의 인트라 예측 모드가 수직(vertical) 모드이고 상기 예측 대상 픽셀이 좌측 수직 픽셀 라인상의 픽셀인 경우, 제1 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 수행하고, 상기 현재 블록의 인트라 예측 모드가 수평(horizontal) 모드이고 상기 예측 대상 픽셀이 상단 수평 픽셀 라인상의 픽셀인 경우, 제2 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 수행하고, 상기 좌측 수직 픽셀 라인은 상기 현재 블록 내에서 가장 좌측에 위치한 1개의 수직 픽셀 라인이고, 상기 상단 수평 픽셀 라인은 상기 현재 블록 내에서 가장 상단에 위치한 1개의 수평 픽셀 라인일 수 있다. 본 발명에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.

Description

영상 부호화/복호화 방법 및 그 장치 {METHOD FOR IMAGE ENCODING/DECODING AND APPARATUS THEREOF}
본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 인트라 예측 방법 및 그 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
본 발명의 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 복호화 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 예측 블록 생성 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 인트라 예측 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 영상 부호화/복호화 효율을 향상시킬 수 있는 필터링 수행 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태에 따른 영상 복호화 방법은 현재 블록의 인트라 예측 모드를 기반으로, 상기 현재 블록 내의 예측 대상 픽셀에 대한 예측을 수행하여 예측 블록을 생성하는 단계; 및 상기 현재 블록에 대응하는 복원된 차분 블록 및 최종 예측 블록을 기반으로 복원 블록을 생성하는 단계를 포함하되, 상기 예측 블록 생성 단계에서는, 상기 현재 블록의 인트라 예측 모드가 수직(vertical) 모드이고 상기 예측 대상 픽셀이 좌측 수직 픽셀 라인상의 픽셀인 경우, 제1 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 수행하고, 상기 현재 블록의 인트라 예측 모드가 수평(horizontal) 모드이고 상기 예측 대상 픽셀이 상단 수평 픽셀 라인상의 픽셀인 경우, 제2 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 수행하고, 상기 좌측 수직 픽셀 라인은 상기 현재 블록 내에서 가장 좌측에 위치한 1개의 수직 픽셀 라인이고, 상기 상단 수평 픽셀 라인은 상기 현재 블록 내에서 가장 상단에 위치한 1개의 수평 픽셀 라인일 수 있다.
상기 예측 블록 생성 단계에서는, 상기 현재 블록의 인트라 예측 모드가 수평 모드이고 상기 예측 대상 픽셀이 상기 상단 수평 픽셀 라인상의 픽셀인 경우, 상기 현재 블록의 좌측에 인접한 복원된 참조 픽셀 중에서 상기 예측 대상 픽셀과 동일한 수평 라인상에 존재하는 제1 참조 픽셀의 픽셀 값에, 상기 제2 오프셋 값을 더하여 상기 예측 대상 픽셀의 예측 값을 도출하고, 상기 제2 오프셋 값은, 상기 예측 대상 픽셀의 상단에 인접한 제2 참조 픽셀의 픽셀 값 및 상기 제1 참조 픽셀의 상단에 인접한 제3 참조 픽셀의 픽셀 값의 차이 값에 기반하여 결정될 수 있다.
상기 예측 블록 생성 단계에서는, 상기 현재 블록이 크로마 성분 블록인 경우, 상기 제1 참조 픽셀의 픽셀 값을 상기 예측 대상 픽셀의 예측 값으로 결정할 수 있다.
상기 예측 블록 생성 단계에서는, 상기 현재 블록의 크기가 32X32 보다 작으면 상기 제1 오프셋 및 상기 제2 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 을 수행할 수 있다.
본 발명에 따른 영상 부호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 영상 복호화 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 예측 블록 생성 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 인트라 예측 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
본 발명에 따른 필터링 수행 방법에 의하면, 영상 부호화/복호화 효율이 향상될 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
도 4a 및 도 4b는 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 5는 플래너 모드에서의 인트라 예측 방법의 실시예를 개략적으로 나타내는 도면이다.
도 6은 본 발명에 따른 영상 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 7은 상술한 차분 블록 생성 과정의 실시예를 개략적으로 나타내는 도면이다.
도 8은 본 발명에 따른 영상 복호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 9는 상술한 차분 블록 생성 과정의 실시예를 개략적으로 나타내는 도면이다.
도 10은 본 발명에 따른 필터링 수행 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 11은 현재 블록에 인접한 주변 블록의 부호화 파라미터를 기반으로 필터링 수행 여부를 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 12는 현재 블록에 인접한 주변 블록의 존재 유무(및/또는 주변 블록이 가용한(available) 블록인지 여부)에 관한 정보를 기반으로 필터링 수행 여부를 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 13은 현재 블록의 인트라 예측 모드를 기반으로 필터링 수행 영역을 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 14는 현재 블록의 크기 및/또는 깊이를 기반으로 필터링 수행 영역을 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 15는 현재 블록에 인접한 주변 블록의 부호화 모드를 기반으로 필터링 수행 영역을 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 16a 및 도 16b는 현재 블록의 인트라 예측 모드에 따른 필터 타입 결정 방법의 실시예를 나타내는 도면이다.
도 17은 도 16a 및 도 16b의 실시예에 따른 필터 타입 결정 방법을 간략하게 나타내는 도면이다.
도 18은 현재 블록의 예측 모드가 수직 모드 및/또는 수평 모드인 경우에 적용되는 필터 타입의 실시예를 개략적으로 나타내는 도면이다.
도 19는 본 발명에 따른 필터 타입의 다른 실시예를 개략적으로 나타내는 도면이다.
도 20은 표 9에 적용되는 인트라 예측 모드 및 필터 타입을 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
*도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔차 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
이하, 유닛(unit)은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 영상을 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 의미하므로, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 변환 유닛(TU: Transform Unit) 등으로 불릴 수 있다. 또한, 후술되는 실시예들에서 유닛은 블록으로도 지칭될 수 있다. 하나의 유닛은 크기가 더 작은 하위 유닛으로 더 분할될 수 있다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 실시예를 개략적으로 나타내는 개념도이다.
하나의 유닛은 트리 구조(tree structure)를 기초로 깊이 정보(depth)를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 상기 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 상기 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 유닛을 나타낼 수 있다.
레벨 1의 깊이를 갖는 하위 노드는 최초 유닛이 한 번 분할된 유닛을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 유닛이 두 번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 유닛 a는 최초 유닛에서 한 번 분할된 유닛이고, 레벨 1의 깊이를 가질 수 있다.
레벨 3의 리프 노드(leaf node)는 최초 유닛이 3번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도3의 320에서 노드 d에 대응하는 유닛 d는 최초 유닛에서 세 번 분할된 유닛이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다.
이하, 후술되는 실시예들에서 부호화/복호화 대상 블록은 경우에 따라 현재 블록으로 지칭될 수도 있다. 또한 부호화/복호화 대상 블록에 대해 인트라 예측이 수행되는 경우, 상기 부호화/복호화 대상 블록은 예측 대상 블록으로 불릴 수도 있다.
한편, 영상 신호는 일반적으로 빛의 3원색 성분을 나타내는 세 가지의 색 신호를 포함할 수 있다. 빛의 3원색 성분을 나타내는 세 가지의 색 신호는 R(Red), G(Green), B(Blue)로 나타내어질 수 있다. 상기 R, G, B 신호는 영상 처리를 위해 사용되는 주파수 대역을 감소시키기 위해 하나의 루마(luma) 신호 및 두 개의 크로마(chroma) 신호로 변환될 수 있다. 이 때, 하나의 영상 신호는 하나의 루마 신호와 두 개의 크로마 신호를 포함할 수 있다. 여기서, 루마 신호는 화면의 밝기를 나타내는 성분으로 Y에 해당되고 크로마 신호는 화면의 색(color)을 나타내는 성분으로 U, V 또는 Cb, Cr에 해당될 수 있다. 인간의 눈은 루마 신호에 대해서 민감하고 크로마 신호에 대해서 둔감한 특성을 가지므로, 이러한 특성을 이용하여 R, G, B 신호가 루마 신호 및 크로마 신호로 변환되는 경우, 영상 처리에 사용되는 주파수 대역이 감소될 수 있다. 이하, 후술되는 실시예들에서 루마 성분을 갖는 블록은 루마 블록, 크로마 성분을 갖는 블록은 크로마 블록이라 한다.
도 4a 및 도 4b는 인트라 예측 과정의 실시예를 설명하기 위한 도면이다. 도 4a의 410, 420은 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값의 실시예를 도시한다. 또한, 도 4b의 430은 부호화/복호화 대상 블록의 인트라 예측에 사용되는 참조 픽셀의 위치를 도시한다. 픽셀은 샘플과 동일한 의미를 가질 수 있으며, 이하 후술되는 실시예들에서 픽셀은 경우에 따라 샘플로 지칭될 수도 있다.
도 1 및 도 2의 실시예에서 상술한 바와 같이, 부호화기 및 복호화기는 현재 픽쳐 내의 픽셀 정보를 기초로 인트라 예측을 수행하여 예측 블록을 생성할 수 있다. 즉, 인트라 예측 수행 시에 부호화기 및 복호화기는 적어도 하나의 복원된 참조 픽셀을 기반으로 방향성 예측 및/또는 비방향성 예측을 수행할 수 있다. 여기서, 예측 블록은 인트라 예측 수행 결과 생성된 블록을 의미할 수 있다. 상기 예측 블록은 부호화 유닛(CU), 예측 유닛(PU) 및 변환 유닛(TU) 중에서 적어도 하나에 해당될 수 있다. 또한, 상기 예측 블록은 2x2, 4x4, 8x8, 16x16, 32x32 또는 64x64 등의 크기를 갖는 정사각형 모양의 블록일 수 있고, 2x8, 4x8, 2x16, 4x16, 8x16 등의 크기를 갖는 직사각형 모양의 블록일 수도 있다.
한편, 인트라 예측은 현재 블록의 인트라 예측 모드에 따라 수행될 수 있다. 현재 블록이 가질 수 있는 인트라 예측 모드의 개수는 소정의 고정된 값일 수 있으며, 예측 블록의 크기에 따라 다르게 결정되는 값일 수도 있다. 예를 들어, 현재 블록이 가질 수 있는 인트라 예측 모드의 개수는 3, 5, 9, 17, 34, 35 또는 36 등일 수 있다.
도 4a의 410은 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값의 일 실시예를 나타낸다. 도 4a의 410에서 각각의 인트라 예측 모드에 할당된 번호는 모드값을 나타낼 수 있다.
도 4a의 410을 참조하면, 예를 들어, 모드값이 0인 수직 모드의 경우 참조 픽셀의 픽셀값을 기반으로 수직 방향으로 예측이 수행될 수 있고, 모드값이 1인 수평 모드의 경우 참조 픽셀의 픽셀값을 기반으로 수평 방향으로 예측이 수행될 수 있다. 상술한 모드 이외의 방향성 모드의 경우에도, 부호화기 및 복호화기는 해당 각도에 따라 참조 픽셀을 이용하여 인트라 예측을 수행할 수 있다.
도 4a의 410에서 2의 모드값을 갖는 인트라 예측 모드는 DC 모드로 불릴 수 있고, 34의 모드값을 갖는 인트라 예측 모드는 플래너(planar) 모드로 불릴 수 있다. 상기 DC 모드 및 플래너 모드는 비방향성 모드에 해당될 수 있다. 예를 들어, DC 모드의 경우, 복수의 참조 픽셀의 픽셀값 평균에 의해 예측 블록이 생성될 수 있다. 플래너 모드에서 예측 블록 내의 각각의 예측 픽셀을 생성하는 방법의 실시예는 도 5에서 후술하기로 한다.
인트라 예측 모드의 개수 및/또는 각각의 인트라 예측 모드에 할당되는 모드값은 상술한 실시예에 한정되지 않으며, 구현 및/또는 필요에 따라 다르게 정해질 수도 있다. 예를 들어, 인트라 예측 모드의 예측 방향 및 각 예측 모드에 할당되는 모드값은 도 4a의 420에서와 같이 도 4a의 410과 다르게 정해질 수도 있다. 이하, 후술되는 실시예들에서는 설명의 편의상 다른 언급이 없는 경우에는 도 4a의 410에서와 같은 인트라 예측 모드에 기반하여 인트라 예측이 수행되는 것으로 가정한다.
또한, 이하 수직 모드의 우측에 위치한 인트라 예측 모드는 수직 우측 모드(vertical-right mode)라 하고, 수평 모드의 하단에 위치한 인트라 예측 모드는 수평 하단 모드(horizontal-below mode)라 한다. 예를 들어, 도 4a의 410에서 모드값이 5, 6, 12, 13, 22, 23, 24, 25 인 인트라 예측 모드는 수직 우측 모드(413)에 해당될 수 있고, 모드값이 8, 9, 16, 17, 30, 31, 32, 33 인 인트라 예측 모드는 수평 하단 모드(416)에 해당될 수 있다.
한편, 도 4b의 430을 참조하면, 현재 블록의 인트라 예측에 사용되는 복원된 참조 픽셀에는 예를 들어, 하단 좌측(below-left) 참조 픽셀(431), 좌측(left) 참조 픽셀(433), 상단 좌측(above-left) 코너 참조 픽셀(435), 상단(above) 참조 픽셀(437) 및 상단 우측(above-right) 참조 픽셀(439) 등이 있을 수 있다. 여기서, 좌측 참조 픽셀(433)은 현재 블록 외부 좌측에 인접한 복원된 참조 픽셀을 의미할 수 있고, 상단 참조 픽셀(437)은 현재 블록 외부 상단에 인접한 복원된 참조 픽셀을 의미할 수 있으며, 상단 좌측 코너 참조 픽셀(435)은 현재 블록 외부의 상단 좌측 코너에 위치한 복원된 참조 픽셀을 의미할 수 있다. 또한, 하단 좌측 참조 픽셀(431)은 좌측 참조 픽셀(433)로 구성된 좌측 픽셀 라인과 동일 선상에 위치한 픽셀들 중에서 상기 좌측 픽셀 라인 하단에 위치한 참조 픽셀을 의미할 수 있고, 상단 우측 참조 픽셀(439)은 상단 참조 픽셀(437)로 구성된 상단 픽셀 라인과 동일 선상에 위치한 픽셀들 중에서 상기 상단 픽셀 라인 우측에 위치한 참조 픽셀을 의미할 수 있다. 본 명세서에서, 상술한 참조 픽셀의 명칭은 후술되는 다른 실시예들에도 동일하게 적용될 수 있다.
현재 블록의 인트라 예측에 사용되는 참조 픽셀은 현재 블록의 인트라 예측 모드에 따라 달라질 수 있다. 예를 들어, 현재 블록의 인트라 예측 모드가 수직(vertical) 모드(도 4a의 410에서 모드값이 0인 인트라 예측 모드)인 경우, 상단 참조 픽셀(437)이 인트라 예측에 사용될 수 있으며, 현재 블록의 인트라 예측 모드가 수평(horizontal) 모드(도 4a의 410에서 모드값이 1인 인트라 예측 모드)인 경우, 좌측 참조 픽셀(433)이 인트라 예측에 사용될 수 있다. 또한, 모드값이 13인 인트라 예측 모드가 사용되는 경우에는 상단 우측 참조 픽셀(439)이 인트라 예측에 사용될 수 있으며, 모드값이 7인 인트라 예측 모드가 사용되는 경우에는 하단 좌측 참조 픽셀(431)이 인트라 예측에 사용될 수 있다.
인트라 예측 모드의 예측 방향 및 예측 대상 픽셀을 기반으로 결정되는 참조 픽셀의 위치가 정수 위치인 경우, 부호화기 및 복호화기는 해당 위치의 참조 픽셀 값을 상기 예측 대상 픽셀에 대한 예측 픽셀 값으로 결정할 수 있다. 인트라 예측 모드의 예측 방향 및 예측 대상 픽셀을 기반으로 결정되는 참조 픽셀의 위치가 정수 위치가 아닌 경우, 부호화기 및 복호화기는 정수 위치의 참조 픽셀들을 기반으로 보간된(interpolated) 참조 픽셀을 생성하고, 상기 보간된 참조 픽셀의 픽셀 값을 예측 픽셀 값으로 결정할 수 있다.
상술한 실시예에 의하면, 부호화기 및 복호화기는 복원되거나 생성된 참조 픽셀을 기반으로 부호화/복호화 대상 블록에 대해 인트라 예측을 수행할 수 있다. 그러나, 상술한 바와 같이 인트라 예측에 사용되는 참조 픽셀은 현재 블록의 인트라 예측 모드에 따라 달라질 수 있으며, 생성된 예측 블록과 주변 블록 간에는 불연속성이 발생할 수 있다. 예를 들어, 방향성 인트라 예측의 경우, 예측 블록 내의 예측 픽셀들 중에서 참조 픽셀로부터 거리가 먼 픽셀일수록 큰 예측 오차를 가질 수 있다. 이 경우, 상기 예측 오차에 의해 불연속성이 발생할 수 있으며, 부호화 효율 향상에 한계가 있을 수 있다.
따라서, 상술한 문제점을 해결하기 위해 인트라 예측에 의해 생성된 예측 블록에 대해 필터링을 수행하는 부호화/복호화 방법이 제공될 수 있다. 예를 들어, 참조 픽셀을 기반으로 생성된 예측 블록 내에서, 큰 예측 오차를 갖는 영역에 대해 적응적으로 필터를 적용할 수 있다. 이 경우, 예측 오차가 감소되고 블록 간의 불연속성이 최소화되어, 부호화/복호화 효율이 향상될 수 있다.
도 5는 플래너 모드에서의 인트라 예측 방법의 실시예를 개략적으로 나타내는 도면이다.
도 5의 510은 플래너 모드에서의 인트라 예측 방법의 일 실시예를 나타내고, 도 5의 530은 플래너 모드에서의 인트라 예측 방법의 다른 실시예를 나타낸다. 도 5의 515 및 535는 부호화/복호화 대상 블록(이하, 현재 블록과 동일한 의미를 가짐.)을 나타내며, 블록 515 및 블록 535의 크기는 각각 nS x nS 라 한다.
도 5에서 현재 블록 내의 픽셀의 위치는 소정의 좌표에 의해 나타내어질 수 있다. 편의상 현재 블록 내의 가장 상단 좌측의 좌표는 (0,0)이라 한다. 이 때, 좌표축상에서 아래쪽으로 갈수록 y 값이 커질 수 있고, 오른쪽으로 갈수록 x 값이 커질 수 있다. 이하, 후술되는 실시예들에서 픽셀의 좌표들은 도 5에서 사용되는 좌표축과 동일한 좌표축에 의해 나타내어질 수 있다.
일 실시예로, 도 5의 510을 참조하면, 부호화기 및 복호화기는 현재 블록 내의 가장 하단 우측에 위치한 픽셀(nS-1, nS-1)에 대한 예측 픽셀, 즉 하단 우측 예측 픽셀(520)의 픽셀 값을 도출할 수 있다. 부호화기 및 복호화기는 상단 참조 픽셀 중에서 가장 우측(nS-1, -1)에 위치한 참조 픽셀(523) 및 상기 하단 우측 예측 픽셀(520)을 기반으로, 현재 블록 내의 가장 우측에 위치한 수직 라인상의 픽셀에 대한 예측 픽셀, 즉 우측 수직 라인 예측 픽셀의 픽셀값을 도출할 수 있고, 좌측 참조 픽셀 중에서 가장 하단(-1, nS-1)에 위치한 참조 픽셀(526) 및 상기 하단 우측 예측 픽셀(520)을 기반으로, 현재 블록 내의 가장 하단에 위치한 수평 라인상의 픽셀에 대한 예측 픽셀, 즉 하단 수평 라인 예측 픽셀의 픽셀값을 도출할 수 있다.
이 때, 현재 블록 내의 픽셀 중에서 상기 우측 수직 라인상의 픽셀 및 상기 하단 수평 라인상의 픽셀을 제외한 나머지 픽셀에 대한 예측값은, 상단 참조 픽셀, 좌측 참조 픽셀, 우측 수직 라인 예측 픽셀 및 하단 수평 라인 예측 픽셀을 기반으로 가중치를 적용함으로써 구해질 수 있다.
다른 실시예로, 부호화기 및 복호화기는 도 5의 530 과 같은 방법으로 현재 블록(535) 내의 예측 대상 픽셀(540)에 대한 예측값을 도출할 수도 있다. 도 5의 530에서 예측 대상 픽셀(540)의 좌표는 (x,y)라 한다. 도 5의 530을 참조하면, 부호화기 및 복호화기는 하단 좌측 참조 픽셀 중에서 가장 상단에 위치한 참조 픽셀(-1, nS) (541), 좌측 참조 픽셀 중에서 예측 대상 픽셀(540)과 동일한 수평 라인상에 위치한 참조 픽셀(-1, y)(543), 상단 참조 픽셀 중에서 예측 대상 픽셀(540)과 동일한 수직 라인상에 위치한 참조 픽셀(x, -1)(545) 및 상단 우측 참조 픽셀 중에서 가장 좌측에 위치한 참조 픽셀(nS, -1)을 기반으로 평균 및/또는 가중치 평균을 수행함으로써 예측 대상 픽셀(540)의 예측값을 도출할 수 있다.
도 6은 본 발명에 따른 영상 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 6을 참조하면, 부호화기는 부호화 대상 블록에 대해 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다(S610). 예측 블록 생성 방법의 구체적인 실시예는 도 4a 및 도 4b에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 6을 참조하면, 부호화기는 부호화 대상 블록 및/또는 부호화 대상 블록에 인접한 주변 블록의 부호화 파라미터를 기반으로, 예측 블록에 대해 필터링을 수행할 수 있다(S620). 여기서, 부호화 파라미터는 구문 요소(syntax element)와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어, 인트라/인터 예측 모드, 움직임 벡터, 참조 픽쳐 인덱스, 부호화 블록 패턴(CBP: Coded Block Pattern), 잔차 신호 유무, 양자화 파라미터, 블록 크기 및 블록 파티션(partition) 정보 등을 포함할 수 있다.
일례로, 부호화기는 부호화 대상 블록의 인트라 예측 모드, 부호화 대상 블록이 루마 블록인지 또는 크로마 블록인지 여부, 부호화 대상 블록의 크기(및/또는 깊이), 부호화 대상 블록에 인접한 주변 블록의 부호화 파라미터(예를 들어, 주변 블록의 부호화 모드) 및/또는 주변 블록의 존재 유무(및/또는 주변 블록이 가용한(available) 블록인지 여부) 등에 관한 정보를 기반으로 예측 블록에 대해 필터링을 수행할 수 있다.
상술한 필터링 수행 과정에서 부호화기는 항상 필터링을 수행하는 것으로 서술되어 있으나, 부호화기는 예측 블록에 대해 필터링을 수행하지 않을 수도 있다. 예를 들어, 부호화기는 부호화 대상 블록 및/또는 부호화 대상 블록에 인접한 주변 블록의 부호화 파라미터를 기반으로 필터링 수행 여부를 결정할 수 있으며, 필터링이 수행되지 않는 것으로 결정하는 경우 예측 블록에 대해 필터링을 수행하지 않을 수도 있다.
한편, 상술한 필터링 과정은 예측 블록 생성 과정과는 독립적인 별개의 과정일 수 있으나, 예측 블록 생성 과정과 결합되어 하나의 과정으로 수행될 수도 있다. 즉, 부호화기는 예측 블록 생성 과정에서 부호화 대상 블록 및/또는 주변 블록의 부호화 파라미터를 기반으로 필터링 수행 과정에 대응되는 프로세스를 함께 적용함으로써 예측 블록을 생성할 수도 있다. 필터링 수행 방법의 구체적인 실시예는 후술하기로 한다.
다시 도 6을 참조하면, 부호화기는 부호화 대상 블록의 위치에 해당되는 원본 블록 및 예측 블록을 기반으로 차분 블록을 생성할 수 있다(S630). 여기서, 상기 예측 블록은 필터링이 수행된 예측 블록일 수도 있고 필터링이 수행되지 않은 예측 블록일 수도 있다.
도 7은 상술한 차분 블록 생성 과정의 실시예를 개략적으로 나타내는 도면이다. 도 7의 710은 원본 블록 및 필터링이 수행된 예측 블록을 기반으로 차분 블록을 생성하는 과정의 실시예를 도시한다. 도 7의 710에서 블록 713은 원본 블록, 블록 716은 필터링이 수행된 예측 블록, 719는 차분 블록을 나타낸다. 도 7의 710을 참조하면, 부호화기 및 복호화기는 원본 블록에서 필터링이 수행된 예측 블록을 감산하여 차분 블록을 생성할 수 있다. 도 7의 720은 원본 블록 및 필터링이 수행되지 않은 예측 블록을 기반으로 차분 블록을 생성하는 과정의 실시예를 도시한다. 도 7의 720에서 블록 723은 원본 블록, 블록 726은 필터링이 수행되지 않은 예측 블록, 729는 차분 블록을 나타낸다. 도 7의 720을 참조하면, 부호화기 및 복호화기는 원본 블록에서 필터링이 수행되지 않은 예측 블록을 감산하여 차분 블록을 생성할 수 있다.
생성된 차분 블록은 변환, 양자화, 엔트로피 부호화 등의 과정을 거쳐 복호화기로 전송될 수 있다.
도 8은 본 발명에 따른 영상 복호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 8을 참조하면, 복호화기는 복호화 대상 블록에 대해 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다(S810). 예측 블록 생성 방법의 구체적인 실시예는 도 4a 및 도 4b에서 상술한 바 있으므로, 여기서는 생략하기로 한다.
다시 도 8을 참조하면, 복호화기는 복호화 대상 블록 및/또는 복호화 대상 블록에 인접한 주변 블록의 부호화 파라미터를 기반으로, 예측 블록에 대해 필터링을 수행할 수 있다(S820). 여기서, 부호화 파라미터는 구문 요소(syntax element)와 같이 부호화기에서 부호화되어 복호화기로 전송되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어, 인트라/인터 예측 모드, 움직임 벡터, 참조 픽쳐 인덱스, 부호화 블록 패턴(CBP: Coded Block Pattern), 잔차 신호 유무, 양자화 파라미터, 블록 크기 및 블록 파티션(partition) 정보 등을 포함할 수 있다.
일례로, 복호화기는 복호화 대상 블록의 인트라 예측 모드, 복호화 대상 블록이 루마 블록인지 또는 크로마 블록인지 여부, 복호화 대상 블록의 크기(및/또는 깊이), 복호화 대상 블록에 인접한 주변 블록의 부호화 파라미터(예를 들어, 주변 블록의 부호화 모드) 및/또는 주변 블록의 존재 유무(및/또는 주변 블록이 가용한(available) 블록인지 여부) 등에 관한 정보를 기반으로 예측 블록에 대해 필터링을 수행할 수 있다.
상술한 필터링 수행 과정에서 복호화기는 항상 필터링을 수행하는 것으로 서술되어 있으나, 복호화기는 예측 블록에 대해 필터링을 수행하지 않을 수도 있다. 예를 들어, 복호화기는 복호화 대상 블록 및/또는 복호화 대상 블록에 인접한 주변 블록의 복호화 파라미터를 기반으로 필터링 수행 여부를 결정할 수 있으며, 필터링이 수행되지 않는 것으로 결정하는 경우 예측 블록에 대해 필터링을 수행하지 않을 수도 있다.
한편, 상술한 필터링 과정은 예측 블록 생성 과정과는 독립적인 별개의 과정일 수 있으나, 예측 블록 생성 과정과 결합되어 하나의 과정으로 수행될 수도 있다. 즉, 복호화기는 예측 블록 생성 과정에서 복호화 대상 블록 및/또는 주변 블록의 부호화 파라미터를 기반으로 필터링 수행 과정에 대응되는 프로세스를 함께 적용함으로써 예측 블록을 생성할 수도 있다. 이 경우, 복호화기는 예측 블록에 대해 별개의 필터링 과정을 수행하지 않을 수 있다.
복호화기에서의 필터링 수행 방법은 부호화기에서와 동일할 수 있다. 필터링 수행 방법의 구체적인 실시예는 후술하기로 한다.
다시 도 8을 참조하면, 복호화기는 복호화 대상 블록의 위치에 해당되는 복원된 차분 블록 및 예측 블록을 기반으로 복원 블록을 생성할 수 있다(S830). 여기서, 상기 예측 블록은 필터링이 수행된 예측 블록일 수도 있고 필터링이 수행되지 않은 예측 블록일 수도 있다.
도 9는 상술한 차분 블록 생성 과정의 실시예를 개략적으로 나타내는 도면이다. 도 9의 910은 복원된 차분 블록 및 필터링이 수행된 예측 블록을 기반으로 복원 블록을 생성하는 과정의 실시예를 도시한다. 도 9의 910에서 블록 913은 복원된 차분 블록, 블록 916은 필터링이 수행된 예측 블록, 919는 복원 블록을 나타낸다. 도 9의 910을 참조하면, 부호화기 및 복호화기는 복원된 차분 블록과 필터링이 수행된 예측 블록을 가산하여 복원 블록을 생성할 수 있다. 도 9의 920은 복원된 차분 블록 및 필터링이 수행되지 않은 예측 블록을 기반으로 복원 블록을 생성하는 과정의 실시예를 도시한다. 도 9의 920에서 블록 923은 복원된 차분 블록, 블록 926은 필터링이 수행되지 않은 예측 블록, 929는 복원 블록을 나타낸다. 도 9의 920을 참조하면, 부호화기 및 복호화기는 복원된 차분 블록과 필터링이 수행되지 않은 예측 블록을 가산하여 복원 블록을 생성할 수 있다.
도 10은 본 발명에 따른 필터링 수행 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 10을 참조하면, 부호화기 및 복호화기는 예측 블록(및/또는 예측 픽셀)에 대한 필터링 수행 여부를 결정할 수 있다(S1010).
상술한 바와 같이, 부호화기 및 복호화기는 이전에 복원된 참조 픽셀을 기반으로 부호화/복호화 대상 블록에 대해 인트라 예측을 수행할 수 있다. 이 때, 인트라 예측에 사용되는 참조 픽셀 및/또는 인트라 예측에 의해 생성되는 예측 블록 내의 예측 픽셀 값은 현재 블록의 인트라 예측 모드에 따라 달라질 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 인트라 예측에 사용된 참조 픽셀과의 연관성이 작은 예측 픽셀에 대해 필터링을 수행함으로써 예측 오차를 감소시킬 수 있다. 반면, 인트라 예측에 사용된 참조 픽셀과의 연관성이 큰 예측 픽셀에 대해서는 필터링을 수행하지 않는 것이 더 효율적일 수 있다.
따라서, 부호화기 및 복호화기는 부호화/복호화 대상 블록의 인트라 예측 모드, 부호화/복호화 대상 블록이 루마 블록인지 또는 크로마 블록인지 여부, 부호화/복호화 대상 블록의 크기(및/또는 깊이), 부호화/복호화 대상 블록에 인접한 주변 블록의 부호화 파라미터(예를 들어, 주변 블록의 크기 및/또는 주변 블록의 부호화 모드 등) 및 주변 블록의 존재 유무(및/또는 주변 블록이 가용한(available) 블록인지 여부)에 관한 정보 중 적어도 하나 이상을 기반으로, 예측 블록(및/또는 예측 픽셀)에 대한 필터링 수행 여부를 결정할 수 있다. 필터링 수행 여부는 부호화/복호화 과정에서 결정될 수도 있으나, 각 조건에 따라 미리 결정되어 있을 수도 있다. 이하, 필터링 수행 여부 결정 방법의 구체적인 실시예들이 서술된다.
일 실시예로, 부호화기 및 복호화기는 부호화/복호화 대상 블록의 인트라 예측 모드를 기반으로 예측 블록에 대한 필터링 수행 여부를 결정할 수 있다. 상술한 바와 같이 인트라 예측에 사용되는 참조 픽셀 및 예측 방향은 부호화/복호화 대상 블록의 인트라 예측 모드에 따라 다르게 결정될 수 있다. 따라서, 부호화/복호화 대상 블록의 인트라 예측 모드를 기반으로 필터링 수행 여부를 결정하는 것이 효율적일 수 있다.
다음 표 1은 인트라 예측 모드에 따른 필터링 수행 여부 결정 방법의 일 실시예를 나타낸다. 표 1에서, 인트라 예측 모드의 예측 방향 및 각 예측 모드에 할당되는 모드값은 상술한 도 4a의 410에서와 같이 정해져 있다고 가정한다.
[표 1]
Figure pat00001
여기서, 인트라 예측 모드에 할당된 값들 중에서 0은 필터링이 수행되지 않음을 나타내고, 1은 필터링이 수행됨을 나타낼 수 있다.
일례로, 현재 블록의 예측 모드가 DC 모드(예를 들어, 모드값이 2인 예측 모드)인 경우, 복수의 참조 픽셀의 픽셀값 평균에 의해 예측 블록이 생성되므로, 예측 픽셀과 참조 픽셀 간에 연관성이 작아지게 된다. 따라서, 이 경우 부호화기 및 복호화기는 예측 블록 내의 예측 픽셀에 대해 필터링을 수행할 수 있다. 다른 예로, 현재 블록의 예측 모드가 플래너 모드(예를 들어, 모드값이 34인 예측 모드)인 경우, 부호화기 및 복호화기는 도 5에서 상술한 바와 같이 우측 수직 라인 예측 픽셀 및 하단 수평 라인 예측 픽셀을 도출한 후, 상기 도출된 예측 픽셀과 참조 픽셀을 기반으로 가중치를 적용함으로써 현재 블록 내의 각 픽셀에 대한 예측값을 도출할 수 있다. 따라서, 이 경우 예측 픽셀과 참조 픽셀 간에 연관성이 작아지므로, 부호화기 및 복호화기는 예측 블록 내의 예측 픽셀에 대해 필터링을 수행할 수 있다.
또 다른 예로, 현재 블록의 인트라 예측 모드가 수직 우측 모드(예를 들어, 모드값이 5, 6, 12, 13, 22, 23, 24, 25인 예측 모드)인 경우, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이러한 경우에는 예측 블록 내의 좌측 영역에 위치한 픽셀에 대해 필터링이 수행될 수 있다. 또 다른 예로, 현재 블록의 인트라 예측 모드가 수평 하단 모드(예를 들어, 모드값이 8, 9, 16, 17, 30, 31, 32, 33인 예측 모드)인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀 및/또는 하단 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이러한 경우에는 예측 블록 내의 상단 영역에 위치한 픽셀에 대해 필터링이 수행될 수 있다.
또한, 부호화기 및 복호화기는 표 1의 실시예에서와 달리, 수직 모드(예를 들어, 모드값이 0인 예측 모드) 및 수평 모드(예를 들어, 모드값이 1인 예측 모드)에 대해 필터링을 수행할 수도 있다. 현재 블록의 인트라 예측 모드가 수직 모드인 경우, 부호화기 및 복호화기는 상단 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이러한 경우에는 예측 블록 내의 좌측 영역에 위치한 픽셀에 대해 필터링이 수행될 수 있다. 또 다른 예로, 현재 블록의 인트라 예측 모드가 수평 모드(예를 들어, 모드값이 1인 예측 모드)인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이러한 경우에는 예측 블록 내의 상단 영역에 위치한 픽셀에 대해 필터링이 수행될 수 있다.
한편, 현재 블록의 인트라 예측 모드가 상술한 예측 모드를 제외한 나머지 예측 모드(예를 들어, 모드값이 3, 4, 7, 10, 11, 14, 15, 18, 19, 20, 21, 26, 27, 28, 29 인 예측 모드) 중 하나에 해당되는 경우, 부호화기 및 복호화기는 상단 참조 픽셀 및 상단 우측 참조 픽셀 중에서 적어도 하나의 참조 픽셀을 인트라 예측에 사용할 수 있고, 좌측 참조 픽셀 및 하단 좌측 참조 픽셀 중에서 적어도 하나의 참조 픽셀을 인트라 예측에 사용할 수 있다. 따라서, 이 경우 예측 블록 내의 좌측 영역 및 상단 영역에 위치한 예측 픽셀이 모두 참조 픽셀과의 연관성을 유지할 수 있으므로, 부호화기 및 복호화기는 예측 블록에 대해 필터링을 수행하지 않을 수 있다.
필터링이 수행되는 각각의 경우에 대해 현재 블록 및/또는 예측 블록 내에서 필터링이 수행되는 영역 및/또는 현재 블록 내에서 필터링이 수행되는 픽셀 위치의 실시예는 후술하기로 한다.
다른 실시예로, 부호화기 및 복호화기는 현재 블록(및/또는 예측 대상 블록)의 크기 및/또는 깊이에 기반하여 예측 블록에 대한 필터링 수행 여부를 결정할 수 있다. 이 때, 상기 현재 블록은 CU, PU 또는 TU 중에서 적어도 하나에 해당될 수 있다.
다음 표 2는 블록 크기에 따른 필터링 수행 여부 결정 방법의 일 실시예를 나타내고, 다음 표 3은 현재 블록의 깊이 값에 따른 필터링 수행 여부 결정 방법의 일 실시예를 나타낸다. 표 2 및 표 3의 실시예에서 현재 블록은 TU 에 해당될 수 있고, 상기 TU의 크기는 예를 들어 2x2, 4x4, 8x8, 16x16, 32x32, 64x64 등이 될 수 있다. 그러나, 본 발명은 이에 한정되는 것이 아니며, 현재 블록은 TU 가 아닌 CU 및/또는 PU 등에 해당될 수도 있다.
[표 2]
Figure pat00002
[표 3]
Figure pat00003
여기서, 인트라 예측 모드에 할당된 값들 중에서 0은 필터링이 수행되지 않음을 나타내고, 1은 필터링이 수행됨을 나타낼 수 있다.
부호화기 및 복호화기는 현재 블록의 인트라 예측 모드 및 현재 블록의 크기를 함께 고려하여 현재 블록 및/또는 예측 블록에 대한 필터링 수행 여부를 결정할 수도 있다. 즉, 부호화기 및 복호화기는 인트라 예측 모드 각각에 대해 현재 블록의 크기를 기반으로 필터링 수행 여부를 결정할 수 있다. 이 경우, 인트라 예측 모드마다 현재 블록의 크기에 따라 필터링 수행 여부가 다르게 결정될 수 있다. 다음 표 4는 현재 블록의 인트라 예측 모드 및 현재 블록의 크기에 따른 필터링 수행 여부 결정 방법의 일 실시예를 나타낸다.
[표 4]
Figure pat00004
여기서, 각각의 인트라 예측 모드에 할당된 값들 중에서 0은 필터링이 수행되지 않음을 나타내고, 1은 필터링이 수행됨을 나타낼 수 있다.
또 다른 실시예로, 부호화기 및 복호화기는 현재 블록이 루마 블록에 해당되는지 또는 크로마 블록에 해당되는지 여부를 나타내는 정보, 즉 현재 블록의 색 성분 정보를 기반으로 예측 블록에 대한 필터링 수행 여부를 결정할 수 있다. 예를 들어, 부호화기 및 복호화기는 현재 블록이 루마 블록에 해당되는 경우에만 예측 블록에 대해 필터링을 수행하고 현재 블록이 크로마 블록에 해당되는 경우에는 필터링을 수행하지 않을 수 있다.
또 다른 실시예로, 부호화기 및 복호화기는 현재 블록에 인접한 주변 블록의 부호화 파라미터, 현재 블록에 대해 CIP(Constrained Intra Prediction)가 적용되는지 여부 및/또는 주변 블록의 존재 유무(및/또는 주변 블록이 가용한(available) 블록인지 여부)에 관한 정보 등을 기반으로 필터링 수행 여부를 결정할 수도 있다. 각각에 대한 필터링 수행 여부 결정 방법의 구체적인 실시예는 후술하기로 한다.
다시 도 10을 참조하면, 현재 블록 및/또는 예측 블록에 대해 필터링이 수행되는 것으로 결정된 경우, 부호화기 및 복호화기는 현재 블록 및/또는 예측 블록 내에서 필터링이 수행되는 영역을 결정할 수 있다(S1020). 여기서, 상기 필터링이 수행되는 영역은 현재 블록 및/또는 예측 블록 내의 하나 이상의 샘플에 해당될 수 있다.
상술한 바와 같이, 부호화기 및 복호화기는 인트라 예측에 사용된 참조 픽셀과의 연관성이 작은 예측 픽셀에 대해 필터링을 수행함으로써 예측 오차를 감소시킬 수 있다. 즉, 부호화기 및 복호화기는 현재 블록 및/또는 예측 블록 내에서 예측 오차가 상대적으로 큰 영역을 필터링 수행 영역으로 결정할 수 있다. 이 때, 부호화기 및 복호화기는 현재 블록의 인트라 예측 모드, 현재 블록의 크기(및/또는 깊이) 및 현재 블록에 인접한 주변 블록의 부호화 모드 중에서 적어도 하나를 기반으로 필터링 수행 영역을 결정할 수 있다. 여기서, 주변 블록의 부호화 모드는 주변 블록이 인터 모드로 부호화/복호화 되었는지 또는 인트라 모드로 부호화/복호화 되었는지를 나타낼 수 있다. 필터링 수행 영역 결정 방법의 구체적인 실시예들은 후술하기로 한다.
또한, 부호화기 및 복호화기는 필터링 수행 영역 내의 각각의 예측 픽셀에 대해 적용되는 필터 타입을 결정할 수 있다(S1030).
이 때, 상기 필터 타입은 필터 모양(filter shape), 필터 탭(filter tap) 및 필터 계수(filter coefficient) 등에 관한 정보를 포함할 수 있다. 복수의 인트라 예측 모드는 서로 다른 예측 방향을 가질 수 있고, 필터링 대상 픽셀의 위치에 따라 복원된 참조 픽셀의 이용 방법이 달라질 수 있다. 따라서, 부호화기 및 복호화기는 필터 타입을 적응적으로 결정함으로써 필터링 효율을 향상시킬 수 있다. 예를 들어, 부호화기 및 복호화기는 현재 블록의 인트라 예측 모드, 현재 블록의 크기(및/또는 깊이) 및/또는 필터링 대상 픽셀의 위치를 기반으로, 각각의 필터링 대상 픽셀에 대해 적용되는 필터 타입을 결정할 수 있다. 필터 모양에는 수평 모양, 수직 모양, 대각 모양 등이 있을 수 있으며, 필터 탭에는 2-탭, 3-탭, 4-탭 등이 있을 수 있다.
또한, 부호화기 및 복호화기는 예측 블록의 크기 및/또는 필터링 대상 픽셀의 위치 등을 기반으로 필터 계수를 결정할 수 있다. 즉, 부호화기 및 복호화기는 예측 블록의 크기 및/또는 필터링 대상 픽셀의 위치 등에 따라, 필터링 대상 픽셀에 적용되는 필터 계수를 달리할 수 있다. 따라서, 필터링 대상 픽셀에 대한 필터 강도가 적응적으로 결정될 수 있다. 일례로, 2-탭 필터가 사용되는 경우, 필터 계수는 [1:3], [1:7], [3:5] 등이 될 수 있다. 다른 예로, 3-탭 필터가 사용되는 경우, 필터 계수는 [1:2:1], [1:4:1], [1:6:1] 등이 될 수 있다.
한편, 필터 타입에 의해 결정되는 필터는 필터 모양, 필터 탭, 필터 계수 등에 의해 정의되는 필터가 아닐 수도 있다. 예를 들어, 부호화기 및 복호화기는 참조 픽셀의 픽셀 값에, 소정의 과정에 의해 결정되는 오프셋(offset) 값을 더해줌으로써 필터링 과정을 수행할 수도 있다. 이 때, 상기 필터링 과정은 예측 블록 생성 과정과 결합되어 하나의 과정으로 수행될 수도 있다. 즉, 현재 블록 내 각 픽셀의 필터링된 예측 픽셀 값은 상술한 필터링 과정만으로 도출될 수 있으며, 이 때 상술한 필터링 과정은 예측 픽셀 생성 과정 및 생성된 예측 픽셀에 대한 필터링 과정을 모두 포함하는 하나의 프로세스에 해당될 수 있다.
*필터 타입 결정 방법의 구체적인 실시예들은 후술하기로 한다.
필터 적용 영역 및 필터 타입이 결정되면, 부호화기 및 복호화기는 상기 결정된 필터 적용 영역 및 필터 타입에 기반하여 예측 블록 내의 각각의 예측 픽셀에 대한 필터링을 수행할 수 있다(S1040). 예측 블록에 대해 필터링이 수행되지 않는 것으로 결정된 경우, 부호화기 및 복호화기는 예측 블록(및/또는 예측 블록 내의 각 예측 픽셀)에 대해 필터링을 수행하지 않을 수도 있다(S1050).
도 11은 현재 블록에 인접한 주변 블록의 부호화 파라미터를 기반으로 필터링 수행 여부를 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 11에서 주변 블록의 부호화 파라미터에는 인트라 예측 모드(intra prediction mode), 인터 예측 모드(inter prediction mode), 부호화 모드(coding mode) 등이 있을 수 있다. 여기서, 주변 블록의 부호화 모드는 주변 블록이 인터 모드로 부호화/복호화 되었는지 또는 인트라 모드로 부호화/복호화 되었는지를 나타낼 수 있다.
도 11의 1110은 현재 블록에 인접한 주변 블록의 인트라 예측 모드를 기반으로 필터링 수행 여부를 결정하는 방법의 일 실시예를 도시한다. 도 11의 1113은 현재 블록(C)을 나타내고, 도 11의 1116은 현재 블록의 좌측에 인접한 좌측 주변 블록(A)을 나타낸다. 도 11의 1110에서 현재 블록의 인트라 예측 모드는 수직 우측 모드에 해당한다고 가정한다. 이 때, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역(1119)에 위치한 픽셀에 대해 필터링이 수행될 수 있다.
*그러나, 도 11의 1110에서와 같이 필터링 대상 영역(1119)에 인접한 좌측 주변 블록(A, 1116)의 예측 방향 및 현재 블록(C, 1113)의 예측 방향이 서로 상이한 경우, 필터링 대상 영역(1119)에 대해 필터링을 수행하지 않는 것이 보다 효율적일 수 있다. 따라서, 부호화기 및 복호화기는 필터링 대상 영역(1119)에 인접한 주변 블록(1116)의 예측 방향 및 현재 블록(1113)의 예측 방향이 서로 상이한 경우, 필터링 대상 영역(1119)에 대해 필터링을 수행하지 않을 수 있다. 반대로, 필터링 대상 영역(1119)에 인접한 주변 블록(1116)의 예측 방향 및 현재 블록(1113)의 예측 방향이 서로 동일하거나 유사한 경우(예를 들어, 예측 각도 차이 값이 소정의 임계값 이하인 경우), 필터링 대상 영역(1119)에 대해 필터링을 수행함으로써 예측 오차를 감소시킬 수 있다.
도 11의 1120은 현재 블록에 대해 CIP(Constrained Intra Prediction)이 적용되는 경우, 현재 블록에 인접한 주변 블록의 부호화 모드를 기반으로 필터링 수행 여부를 결정하는 방법의 일 실시예를 도시한다. 도 11의 1123은 현재 블록(C)을 나타내고, 도 11의 1126은 현재 블록의 좌측에 인접한 좌측 주변 블록(A)을 나타낸다. 도 11의 1120에서 현재 블록의 인트라 예측 모드는 수직 우측 모드에 해당한다고 가정한다. 이 때, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역(1129)에 위치한 픽셀에 대해 필터링이 수행될 수 있다.
그러나, 현재 블록(C, 1123)에 대해 CIP가 적용되는 경우, 부호화기 및 복호화기는 필터링 대상 영역(1129)에 인접한 좌측 주변 블록(A, 1126)의 부호화 모드에 따라 필터링 대상 영역(1129)에 대한 필터링을 수행하지 않을 수도 있다.
현재 블록(1123)에 대해 CIP가 적용되는 경우, 부호화기 및 복호화기는 현재 블록(1123)에 대한 인트라 예측을 수행함에 있어, 인터 모드로 부호화된 주변 블록 내의 픽셀을 참조 픽셀로 사용하지 않을 수 있다. 예를 들어, 도 11의 1120에서, 좌측 주변 블록(A, 1126)이 인터 모드로 부호화된 경우, 좌측 주변 블록(1126) 내의 참조 픽셀 즉, 좌측 참조 픽셀은 현재 블록(1123)의 인터 예측에 사용되지 않을 수 있다. 이 경우, 부호화기 및 복호화기는 인트라 모드로 부호화된 블록 내의 참조 픽셀의 픽셀 값을 상기 좌측 참조 픽셀의 위치에 채워 넣은 후 인트라 예측을 수행할 수 있다. 즉, 부호화기 및 복호화기는 인터 모드가 적용되는 픽셀을 인트라 예측에 사용하지 않음으로써 에러 내성을 강화시킬 수 있다.
따라서, 도 11의 1120에서와 같이 현재 블록(1123)에 대해 CIP가 적용되고 필터링 대상 영역(1129)에 인접한 좌측 주변 블록(1126)의 부호화 모드가 인터 모드인 경우, 부호화기 및 복호화기는 필터링 대상 영역(1129)에 대해 필터링을 수행하지 않을 수 있다.
도 12는 현재 블록에 인접한 주변 블록의 존재 유무(및/또는 주변 블록이 가용한(available) 블록인지 여부)에 관한 정보를 기반으로 필터링 수행 여부를 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 12의 1210은 현재 블록(C)을 나타내고, 도 12의 1220은 현재 블록의 좌측에 인접한 주변 블록(A)을 나타낸다. 도 12에서 현재 블록(1210)의 인트라 예측 모드는 수직 우측 모드에 해당한다고 가정한다. 이 때, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역(1230)에 위치한 픽셀에 대해 필터링이 수행될 수 있다.
그러나, 필터링 대상 영역에 인접한 주변 블록이 존재하지 않거나 가용하지 않은 경우, 부호화기 및 복호화기는 필터링 대상 영역에 대해 필터링을 수행하지 않을 수도 있다. 여기서, 필터링 대상 영역에 인접한 주변 블록이 존재하지 않거나 가용하지 않은 경우의 실시예로는, 현재 블록이 현재 픽쳐의 경계에 존재하는 경우 및 현재 블록에 인접한 주변 블록이 현재 블록이 속한 슬라이스 경계의 외부에 존재하는 경우 등이 있을 수 있다.
필터링 대상 영역에 인접한 주변 블록이 존재하지 않거나 가용하지 않은 경우, 부호화기 및 복호화기는 가용한 참조 픽셀을 이용하여 필터링 대상 영역에 인접한 위치의 참조 픽셀 값을 생성한 후 인트라 예측을 수행할 수 있다. 그러나, 이 경우 생성된 복수의 참조 픽셀은 서로 유사한 값을 가질 수 있고 생성된 참조 픽셀의 값은 현재 블록 내의 픽셀 값과 유사하지 않을 수 있으므로, 생성된 참조 픽셀을 기반으로 현재 블록에 대해 필터링을 수행하는 것은 부호화 효율을 감소시킬 수 있다. 따라서, 부호화기 및 복호화기는 필터링 대상 영역에 대해 필터링을 수행하지 않을 수 있다.
도 12를 참조하면, 현재 블록(C, 1210)의 주변에는 복원된 블록(B, D)가 존재한다. 또한, 현재 블록(1210) 내의 필터링 대상 영역(1230)에 인접한 좌측 주변 블록(A, 1220)은, 현재 블록(1210)이 속한 슬라이스의 경계(1240) 외부에 존재한다. 이 때, 필터링 대상 영역(1230)에 인접한 좌측 주변 블록(A, 1220)은 가용하지 않은 블록에 해당되므로, 부호화기 및 복호화기는 필터링 대상 영역(1230)에 대해 필터링을 수행하지 않을 수 있다.
도 13은 현재 블록의 인트라 예측 모드를 기반으로 필터링 수행 영역을 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
상술한 바와 같이, 부호화기 및 복호화기는 이전에 복원된 참조 픽셀을 기반으로 부호화/복호화 대상 블록에 대해 인트라 예측을 수행할 수 있다. 이 때, 인트라 예측에 사용되는 참조 픽셀 및/또는 예측 방향은 현재 블록의 인트라 예측 모드에 따라 달라질 수 있으므로, 현재 블록의 인트라 예측 모드를 고려하여 예측 오차가 상대적으로 큰 영역을 필터링 수행 영역으로 결정하는 것이 효율적일 수 있다. 보다 상세하게는, 예측 블록 내에서 인트라 예측에 사용되지 않은 참조 픽셀과 인접한 영역에 위치한 예측 픽셀은, 상기 참조 픽셀과의 연관성이 낮고 큰 예측 오차를 가질 수 있다. 따라서, 부호화기 및 복호화기는 예측 블록 내의 예측 픽셀 중에서, 인트라 예측에 사용되지 않은 참조 픽셀에 인접한 영역 내의 예측 픽셀에 대해 필터링을 수행함으로써 예측 오차를 감소시키고 예측 효율을 향상시킬 수 있다.
도 13의 1310은 현재 블록의 예측 모드가 DC 모드 및/또는 플래너 모드인 경우의 필터링 수행 영역의 실시예를 도시한다. 도 1310에서 1313은 예측 블록, 1316은 필터링 수행 영역을 나타낼 수 있다.
상술한 바와 같이, 현재 블록의 예측 모드가 DC 모드인 경우, 복수의 참조 픽셀의 픽셀 값 평균에 의해 예측 블록(1313)이 생성되므로, 예측 픽셀과 참조 픽셀 간에 연관성이 작아지게 된다. 따라서, 이 경우 부호화기 및 복호화기는 예측 블록(1313) 내의 가장 상단에 위치한 하나 이상의 수평 픽셀 라인(이하, 상단 수평 예측 픽셀 라인이라 함.) 및 예측 블록(1313) 내의 가장 좌측에 위치한 하나 이상의 수직 픽셀 라인(이하, 좌측 수직 예측 픽셀 라인이라 함.)을 필터링 수행 영역(1316)으로 결정할 수 있다. 이 때, 상단 수평 예측 픽셀 라인에 포함되는 수평 픽셀 라인의 개수 및 좌측 수직 예측 픽셀 라인에 포함되는 수직 픽셀 라인의 개수는 소정의 고정된 개수일 수 있으며, 예를 들어 상단 수평 예측 픽셀 라인 및 좌측 수직 예측 픽셀 라인은 각각 1개의 픽셀 라인을 포함할 수 있다. 또한, 후술되는 도 14의 실시예에서와 같이, 상단 수평 예측 픽셀 라인에 포함되는 픽셀 라인의 개수 및 좌측 수직 예측 픽셀 라인에 포함되는 픽셀 라인의 개수는 현재 블록 및/또는 예측 블록(1313)의 크기를 기반으로 결정될 수도 있다. 즉, 상단 수평 예측 픽셀 라인에 포함되는 픽셀 라인의 개수 및 좌측 수직 예측 픽셀 라인에 포함되는 픽셀 라인의 개수는 현재 블록 및/또는 예측 블록(1313)의 크기에 따라 가변적인 값을 가질 수 있다. 예를 들어 상단 수평 예측 픽셀 라인에 포함되는 픽셀 라인의 개수 및 좌측 수직 예측 픽셀 라인에 포함되는 픽셀 라인의 개수는 각각 1개, 2개 또는 4개 등일 수 있다.
한편, 현재 블록의 예측 모드가 플래너 모드(예를 들어, 모드값이 34인 예측 모드)인 경우에도, 예측 픽셀과 참조 픽셀 간의 연관성이 작을 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 DC 모드에서와 마찬가지로, 상단 수평 예측 픽셀 라인 및 좌측 수직 예측 픽셀 라인을 필터링 수행 영역(1316)으로 결정할 수 있다.
도 13의 1320은 현재 블록의 인트라 예측 모드가 수직 우측 모드(예를 들어, 모드값이 5, 6, 12, 13, 22, 23, 24, 25인 예측 모드)인 경우의 필터링 수행 영역의 실시예를 도시한다. 도 1320에서 1323은 예측 블록, 1326은 필터링 수행 영역을 나타낼 수 있다.
현재 블록의 예측 모드가 수직 우측 모드인 경우, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 기반으로 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록(1323) 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 예측 블록(1323) 내의 가장 좌측에 위치한 하나 이상의 수직 픽셀 라인, 즉 좌측 수직 예측 픽셀 라인을 필터링 수행 영역(1326)으로 결정하고 필터링을 수행함으로써, 예측 효율을 향상시킬 수 있다. 이 때, 좌측 수직 예측 픽셀 라인에 포함되는 수직 픽셀 라인의 개수는 소정의 고정된 개수일 수 있으며, 예를 들어 좌측 수직 예측 픽셀 라인은 1개의 수직 픽셀 라인을 포함할 수 있다. 또한, 후술되는 도 14의 실시예에서와 같이, 좌측 수직 예측 픽셀 라인에 포함되는 수직 픽셀 라인의 개수는 현재 블록 및/또는 예측 블록(1323)의 크기를 기반으로 결정될 수도 있다. 즉, 좌측 수직 예측 픽셀 라인에 포함되는 수직 픽셀 라인의 개수는 현재 블록 및/또는 예측 블록(1323)의 크기에 따라 가변적인 값을 가질 수 있으며, 예를 들어 1개, 2개 또는 4개 등일 수 있다.
한편, 현재 블록의 예측 모드가 수직 모드인 경우, 부호화기 및 복호화기는 상단 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우에도 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인을 필터링 수행 영역으로 결정하고 필터링을 수행할 수 있다.
도 13의 1330은 현재 블록의 인트라 예측 모드가 수평 하단 모드(예를 들어, 모드값이 8, 9, 16, 17, 30, 31, 32, 33인 예측 모드)인 경우의 필터링 수행 영역의 실시예를 도시한다. 도 1330에서 1333은 예측 블록, 1336은 필터링 수행 영역을 나타낼 수 있다.
현재 블록의 예측 모드가 수평 하단 모드인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀 및/또는 하단 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록(1333) 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 예측 블록(1333) 내의 가장 상단에 위치한 하나 이상의 수평 픽셀 라인, 즉 상단 수평 예측 픽셀 라인을 필터링 수행 영역(1336)으로 결정하고 필터링을 수행함으로써, 예측 효율을 향상시킬 수 있다. 이 때, 상단 수평 예측 픽셀 라인에 포함되는 수평 픽셀 라인의 개수는 소정의 고정된 개수일 수 있으며, 예를 들어 상단 수평 예측 픽셀 라인은 1개의 픽셀 라인을 포함할 수 있다. 또한, 후술되는 도 14의 실시예에서와 같이, 상단 수평 예측 픽셀 라인에 포함되는 수평 픽셀 라인의 개수는 현재 블록 및/또는 예측 블록(1333)의 크기를 기반으로 결정될 수도 있다. 즉, 상단 수평 예측 픽셀 라인에 포함되는 수평 픽셀 라인의 개수는 현재 블록 및/또는 예측 블록(1333)의 크기에 따라 가변적인 값을 가질 수 있으며, 예를 들어 1개, 2개 또는 4개 등일 수 있다.
한편, 현재 블록의 예측 모드가 수평 모드인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우에도 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인을 필터링 수행 영역으로 결정하고 필터링을 수행할 수 있다.
도 14는 현재 블록의 크기 및/또는 깊이를 기반으로 필터링 수행 영역을 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
현재 블록(및/또는 예측 대상 블록)의 크기가 큰 경우, 현재 블록 내에서 큰 예측 오차를 갖는 영역의 크기도 클 수 있으며, 현재 블록(및/또는 예측 대상 블록)의 크기가 작은 경우, 현재 블록 내에서 큰 예측 오차를 갖는 영역의 크기도 작을 수 있다. 따라서, 부호화기 및 복호화기는 현재 블록(및/또는 예측 대상 블록)의 크기(및/또는 깊이)를 기반으로 필터링 수행 영역을 결정함으로써 부호화 효율을 향상시킬 수 있다. 이 때, 부호화기 및 복호화기는 상대적으로 큰 예측 오차를 갖는 영역을 필터링 수행 영역으로 결정할 수 있다.
도 14의 1410은 현재 블록의 크기가 8x8인 경우의 필터링 수행 영역의 실시예를 도시한다. 도 14의 1410에서 1413은 현재 블록을 나타내고, 1416은 필터링 대상 영역을 나타낸다. 도 14의 1410에서 현재 블록(1413)의 인트라 예측 모드는 수직 우측 모드(예를 들어, 모드값이 6인 예측 모드)에 해당한다고 가정한다. 이 때, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내에서 상기 상단 참조 픽셀 및 상기 상단 우측 참조 픽셀로부터의 거리가 먼 좌측 영역의 예측 오차가 클 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 예측 블록 내의 가장 좌측에 위치한 하나 이상의 수직 픽셀 라인, 즉 좌측 수직 예측 픽셀 라인을 필터링 수행 영역(1416)으로 결정할 수 있다.
도 14의 1420은 현재 블록의 크기가 32x32인 경우의 필터링 수행 영역의 실시예를 도시한다. 도 14의 1420에서 1423은 현재 블록을 나타내고, 1426은 필터링 대상 영역을 나타낸다. 도 14의 1420에서 현재 블록(1423)의 인트라 예측 모드는 수직 우측 모드(예를 들어, 모드값이 6인 예측 모드)에 해당한다고 가정한다. 이 때, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내에서 상기 상단 참조 픽셀 및 상기 상단 우측 참조 픽셀로부터의 거리가 먼 좌측 영역의 예측 오차가 클 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 예측 블록 내의 가장 좌측에 위치한 하나 이상의 수직 픽셀 라인, 즉 좌측 수직 예측 픽셀 라인을 필터링 수행 영역(1426)으로 결정할 수 있다.
상술한 도 14의 1410, 1420에서 좌측 수직 예측 픽셀 라인을 구성하는 수직 픽셀 라인의 개수는 현재 블록(1413, 1423) 및/또는 예측 블록의 크기를 기반으로 결정될 수 있다. 도 14의 1410에서 현재 블록(1413)의 크기는 8x8이므로, 상대적으로 작은 값을 가진다. 따라서, 이 경우 예측 오차가 큰 영역의 크기가 상대적으로 작을 수 있으므로, 부호화기 및 복호화기는 예측 블록 내에서 가장 좌측에 위치한 순서대로 2개의 수직 픽셀 라인을 필터링 수행 영역으로 결정할 수 있다. 반면에, 도 14의 1420에서 현재 블록(1423)의 크기는 32x32이므로, 상대적으로 큰 값을 가진다. 따라서, 이 경우 예측 오차가 큰 영역의 크기가 상대적으로 클 수 있으므로, 부호화기 및 복호화기는 예측 블록 내에서 가장 좌측에 위치한 순서대로 4개의 수직 픽셀 라인을 필터링 수행 영역으로 결정할 수 있다.
다음 표 5는 블록 크기에 따른 필터링 수행 영역의 실시예를 나타내고, 다음 표 6은 현재 블록의 깊이 값에 따른 필터링 수행 영역의 실시예를 나타낸다. 부호화기 및 복호화기는 다음 표 5 및 표 6에서와 같이, 현재 블록의 크기 및/또는 깊이를 기반으로 필터링 수행 영역을 결정할 수 있다.
[표 5]
Figure pat00005
[표 6]
Figure pat00006
여기서, 현재 블록은 TU 에 해당될 수 있고, 상기 TU의 크기는 예를 들어 2x2, 4x4, 8x8, 16x16, 32x32, 64x64 등이 될 수 있다. 그러나, 본 발명은 이에 한정되는 것이 아니며, 현재 블록은 TU 가 아닌 CU 및/또는 PU 등에 해당될 수도 있다.
현재 블록의 크기 및/또는 깊이에 따라 결정되는 필터링 수행 영역의 크기 및/또는 위치는 상술한 실시예에 한정되지 않으며, 상술한 실시예에서와 다른 크기 및/또는 위치로 결정될 수도 있다. 또한, 상술한 실시예에서는 수직 우측 모드를 중심으로 필터링 수행 영역 결정 방법이 서술되고 있으나 이는 설명의 편의를 위한 것으로, 상기 방법은 현재 블록의 예측 모드가 수직 우측 모드 외의 모드에 해당되는 경우에도 동일하거나 유사한 방법으로 적용될 수 있다.
도 15는 현재 블록에 인접한 주변 블록의 부호화 모드를 기반으로 필터링 수행 영역을 결정하는 방법의 실시예를 개략적으로 나타내는 도면이다.
도 15에서 현재 블록(C, 1510)의 인트라 예측 모드는 수직 우측 모드에 해당한다고 가정한다. 이 때, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 이용하여 현재 블록(1510)에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역을 필터링 대상 영역으로 결정할 수 있다.
그러나, 현재 블록에 인접한 주변 블록의 부호화 모드가 인터 모드인 경우, 그 주변 블록 내의 복원된 픽셀 값들은 네트워크에서 발생한 에러 등을 이유로 신뢰할 수 없을 가능성이 높으며, 부호화 모드가 인터 모드인 주변 블록 내의 복원 픽셀 값을 기반으로 필터링을 수행하는 것은 부호화 효율을 저하시킬 수 있다. 따라서, 부호화기 및 복호화기는 부호화 모드가 인터 모드인 주변 블록에 인접한 영역에 대해서는 필터링을 수행하지 않을 수 있다. 즉, 부호화기 및 복호화기는 현재 블록에 인접한 주변 블록의 부호화 모드를 기반으로 필터링 수행 영역을 결정할 수 있다.
도 15를 참조하면, 현재 블록(1510)의 좌측에 인접한 주변 블록에는, 복원된 주변 블록 A(1520) 및 복원 주변 블록 B(1530)가 있다. 여기서, 주변 블록 A(1520)의 부호화 모드는 인트라 모드이고 주변 블록 B(1530)의 부호화 모드는 인터 모드라 가정한다. 이 때, 부호화기 및 복호화기는 예측 블록 내의 좌측 영역 중에서 인트라 모드로 부호화된 주변 블록 B(1530)에 인접한 영역(1540)만을 필터링 대상 영역으로 결정할 수 있다.
도 16a 및 도 16b는 현재 블록의 인트라 예측 모드에 따른 필터 타입 결정 방법의 실시예를 나타내는 도면이다.
도 16a의 1610은 현재 블록의 예측 모드가 DC 모드 및/또는 플래너 모드인 경우의 필터 타입 결정 방법의 실시예를 도시한다. 도 16a의 1610에서 1615는 예측 블록을 나타내고, 1620은 필터링 대상 픽셀에 적용되는 필터 탭을 나타낸다.
상술한 바와 같이, 현재 블록의 예측 모드가 DC 모드인 경우, 복수의 참조 픽셀의 픽셀 값 평균에 의해 예측 블록(1615)이 생성되므로, 예측 픽셀과 참조 픽셀 간에 연관성이 작아지게 된다. 따라서, 이 경우 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인(예를 들어, 예측 블록(1615) 내의 가장 상단에 위치한 하나의 수평 픽셀 라인) 및 좌측 수직 예측 픽셀 라인(예를 들어, 예측 블록(1615) 내의 가장 좌측에 위치한 하나의 수직 픽셀 라인)에 포함된 예측 픽셀들(예를 들어, (0,0), (1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0), (0,1), (0,2), (0,3), (0,4), (0,5), (0,6), (0,7))을 필터링 수행 영역으로 결정할 수 있다. 또한, 현재 블록의 예측 모드가 플래너 모드인 경우에도, 예측 픽셀과 참조 픽셀 간의 연관성이 작을 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 DC 모드에서와 마찬가지로, 상단 수평 예측 픽셀 라인 및 좌측 수직 예측 픽셀 라인에 포함된 예측 픽셀들을 필터링 수행 영역으로 결정할 수 있다.
현재 블록의 예측 모드가 DC 모드 및/또는 플래너 모드인 경우, 부호화기 및 복호화기는 예측 블록 내의 가장 좌측 상단에 위치한 좌측 상단 예측 픽셀(0,0)에 대해, [1/4, 2/4, 1/4]의 3-탭 필터(1629)를 적용할 수 있다. 이 때, 부호화기 및 복호화기는 필터링 대상 픽셀(0,0), 필터링 대상 픽셀의 상단에 인접한 참조 픽셀(0,-1) 및 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀(-1,0)을 기반으로 상기 필터링 대상 픽셀에 대한 필터링을 수행할 수 있다. 이 경우, 필터링 대상 픽셀에 적용되는 필터 계수는 2/4이고, 필터링 대상 픽셀의 상단에 인접한 참조 픽셀 및 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀에 적용되는 필터 계수는 1/4일 수 있다.
또한, 현재 블록의 예측 모드가 DC 모드 및/또는 플래너 모드인 경우, 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인에 포함된 예측 픽셀 중에서 좌측 상단 예측 픽셀을 제외한 픽셀들(예를 들어, (0,1), (0,2), (0,3), (0,4), (0,5), (0,6), (0,7)) 각각에 대해, [1/4, 3/4]의 수평 2-탭 필터(1623)를 적용할 수 있다. 이 때, 필터링 대상 픽셀의 위치가 (0,y)라 가정하면, 부호화기 및 복호화기는 필터링 대상 픽셀(0,y) 및 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀(-1,y)을 기반으로 상기 필터링 대상 픽셀에 대한 필터링을 수행할 수 있다. 이 경우, 필터링 대상 픽셀에 적용되는 필터 계수는 3/4이고, 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀에 적용되는 필터 계수는 1/4일 수 있다.
또한, 현재 블록의 예측 모드가 DC 모드 및/또는 플래너 모드인 경우, 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인에 포함된 예측 픽셀 중에서 좌측 상단 예측 픽셀을 제외한 픽셀들(예를 들어, (1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0)) 각각에 대해, [1/4, 3/4]의 수직 2-탭 필터(1625)를 적용할 수 있다. 이 때, 필터링 대상 픽셀의 위치가 (x,0)이라 가정하면, 부호화기 및 복호화기는 필터링 대상 픽셀(x,0) 및 필터링 대상 픽셀의 상단에 인접한 참조 픽셀(x,-1)을 기반으로 상기 필터링 대상 픽셀에 대한 필터링을 수행할 수 있다. 이 경우, 필터링 대상 픽셀에 적용되는 필터 계수는 3/4이고, 필터링 대상 픽셀의 상단에 인접한 참조 픽셀에 적용되는 필터 계수는 1/4일 수 있다.
상술한 실시예에서, 부호화기 및 복호화기는 현재 블록의 크기에 따라 다른 필터 타입(예를 들어, 필터 모양, 필터 탭 및/또는 필터 계수 등)을 사용할 수도 있다. 이 경우, 부호화기 및 복호화기는 현재 블록의 크기를 기반으로 적응적으로 필터 타입을 결정할 수 있다. 그러나, 부호화기 및 복호화기는 상술한 실시예에서와 같이, 현재 블록 및/또는 예측 블록의 크기에 관계 없이 항상 소정의 고정된 필터 타입(예를 들어, 필터 모양, 필터 탭 및/또는 필터 계수 등)을 사용할 수도 있다.
도 16a의 1630은 현재 블록의 예측 모드가 수직 우측 모드(예를 들어, 모드값이 5, 6, 12, 13, 22, 23, 24, 25인 예측 모드)인 경우의 필터 타입 결정 방법의 실시예를 도시한다. 도 16a의 1630에서 1635는 예측 블록을 나타내고, 1640은 필터링 대상 픽셀에 적용되는 필터 탭을 나타낸다.
상술한 바와 같이, 현재 블록의 예측 모드가 수직 우측 모드인 경우, 부호화기 및 복호화기는 상단 참조 픽셀 및/또는 상단 우측 참조 픽셀을 기반으로 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록(1635) 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인(예를 들어, 예측 블록(1635) 내의 가장 좌측에 위치한 하나의 수직 픽셀 라인)에 포함된 예측 픽셀들(예들 들어, (0,0), (0,1), (0,2), (0,3), (0,4), (0,5), (0,6), (0,7))을 필터링 수행 영역으로 결정할 수 있다.
한편, 현재 블록의 예측 모드가 수직 모드(예를 들어, 모드값이 0인 예측 모드)인 경우, 부호화기 및 복호화기는 상단 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우에도 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인에 포함된 예측 픽셀들을 필터링 수행 영역으로 결정할 수 있다. 그러나, 수직 모드에 적용되는 필터 타입은 수직 우측 모드에 적용되는 필터 타입과 다를 수 있다.
현재 블록의 예측 모드가 수직 우측 모드인 경우, 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인에 포함된 예측 픽셀들(예를 들어, (0,0), (0,1), (0,2), (0,3), (0,4), (0,5), (0,6), (0,7)) 각각에 대해, [1/4, 3/4]의 대각 2-탭 필터(1640)를 적용할 수 있다. 이 때, 필터링 대상 픽셀의 위치가 (0,y)라 가정하면, 부호화기 및 복호화기는 필터링 대상 픽셀(0,y) 및 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀의 바로 하단에 인접한 참조 픽셀(-1,y+1)을 기반으로 상기 필터링 대상 픽셀에 대한 필터링을 수행할 수 있다. 이 경우, 필터링 대상 픽셀에 적용되는 필터 계수는 3/4이고, 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀의 바로 하단에 인접한 참조 픽셀에 적용되는 필터 계수는 1/4일 수 있다.
도 16b의 1650은 현재 블록의 예측 모드가 수평 하단 모드(예를 들어, 모드값이 8, 9, 16, 17, 30, 31, 32, 33인 예측 모드)인 경우의 필터 타입 결정 방법의 실시예를 도시한다. 도 16b의 1650에서 1655는 예측 블록을 나타내고, 1660은 필터링 대상 픽셀에 적용되는 필터 탭을 나타낸다.
상술한 바와 같이, 현재 블록의 예측 모드가 수평 하단 모드인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀 및/또는 하단 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록(1655) 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인(예를 들어, 예측 블록(1655) 내의 가장 상단에 위치한 하나의 수직 픽셀 라인)에 포함된 예측 픽셀들(예들 들어, (0,0), (1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0))을 필터링 수행 영역으로 결정할 수 있다.
한편, 현재 블록의 예측 모드가 수평 모드(예를 들어, 모드값이 1인 예측 모드)인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록(1655) 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우에도 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인에 포함된 예측 픽셀들을 필터링 수행 영역으로 결정할 수 있다. 그러나, 수평 모드에 적용되는 필터 타입은 수평 하단 모드에 적용되는 필터 타입과 다를 수 있다.
현재 블록의 예측 모드가 수평 하단 모드인 경우, 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인에 포함된 예측 픽셀들(예들 들어, (0,0), (1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0)) 각각에 대해, [1/4, 3/4]의 대각 2-탭 필터(1660)를 적용할 수 있다. 이 때, 필터링 대상 픽셀의 위치가 (x,0)라 가정하면, 부호화기 및 복호화기는 필터링 대상 픽셀(x,0) 및 필터링 대상 픽셀의 상단에 인접한 참조 픽셀의 바로 우측에 인접한 참조 픽셀(x+1,-1)을 기반으로 상기 필터링 대상 픽셀에 대한 필터링을 수행할 수 있다. 이 경우, 필터링 대상 픽셀에 적용되는 필터 계수는 3/4이고, 필터링 대상 픽셀의 상단에 인접한 참조 픽셀의 바로 우측에 인접한 참조 픽셀에 적용되는 필터 계수는 1/4일 수 있다.
도 16b의 1670은 현재 블록의 인트라 예측 모드(특히, 방향성 예측 모드)에 따라 적응적으로 필터 타입(예를 들어, 필터 모양, 필터 계수, 필터 탭 등)을 결정하는 방법의 실시예를 도시한다. 도 16b의 1670에서 1675는 예측 블록을 나타내고, 1680은 필터링 대상 픽셀에 적용되는 필터 탭을 나타낸다.
상술한 1630, 1650의 실시예에서와 같이 부호화기 및 복호화기는 수직 우측 모드 및/또는 수평 하단 모드 각각에 대해 소정의 고정된 필터 타입을 적용할 수 있다. 그러나, 부호화기 및 복호화기는 상술한 필터 타입 외에 인트라 예측 모드에 따라 다양한 필터 타입을 적용할 수도 있다. 이 때, 부호화기 및 복호화기는 현재 블록의 인트라 예측 모드를 기반으로 적응적으로 필터 타입을 결정할 수 있다.
일례로, 부호화기 및 복호화기는 필터링 대상 픽셀(x,y), 참조 픽셀(x+2, y-1) 및 참조 픽셀(x+3, y-1)을 기반으로 필터링을 수행하는 3-탭 필터(1681)를 사용할 수 있다. 이 때, 필터링 대상 픽셀(x,y)에 적용되는 필터 계수는 12, 참조 픽셀(x+2, y-1)에 적용되는 필터 계수는 3, 참조 픽셀(x+3, y-1)에 적용되는 필터 계수는 1일 수 있다. 다른 예로, 부호화기 및 복호화기는 필터링 대상 픽셀(x,y), 참조 픽셀(x+1, y-1) 및 참조 픽셀(x+2, y-1)을 기반으로 필터링을 수행하는 3-탭 필터(1683, 1685, 1687)를 사용할 수 있다. 이 경우, 필터링 대상 픽셀(x,y)에 적용되는 필터 계수는 12, 참조 픽셀(x+1, y-1)에 적용되는 필터 계수는 1, 참조 픽셀(x+2, y-1)에 적용되는 필터 계수는 3일 수 있다(1683). 또한, 필터링 대상 픽셀(x,y)에 적용되는 필터 계수는 12, 참조 픽셀(x+1, y-1)에 적용되는 필터 계수는 2, 참조 픽셀(x+2, y-1)에 적용되는 필터 계수는 2일 수도 있다(1685). 또한, 필터링 대상 픽셀(x,y)에 적용되는 필터 계수는 8, 참조 픽셀(x+1, y-1)에 적용되는 필터 계수는 6, 참조 픽셀(x+2, y-1)에 적용되는 필터 계수는 2일 수도 있다(1687). 또 다른 예로, 부호화기 및 복호화기는 필터링 대상 픽셀(x,y), 참조 픽셀(x+1, y-1)을 기반으로 필터링을 수행하는 2-탭 필터(1689)를 사용할 수도 있다. 이 때, 필터링 대상 픽셀(x,y)에 적용되는 필터 계수는 8, 참조 픽셀(x+1, y-1)에 적용되는 필터 계수는 8일 수 있다.
한편, 현재 블록의 인트라 예측 모드가 상술한 예측 모드를 제외한 나머지 예측 모드(예를 들어, 모드값이 3, 4, 7, 10, 11, 14, 15, 18, 19, 20, 21, 26, 27, 28, 29 인 예측 모드) 중 하나에 해당되는 경우, 부호화기 및 복호화기는 상단 참조 픽셀 및 상단 우측 참조 픽셀 중에서 적어도 하나의 참조 픽셀을 인트라 예측에 사용할 수 있고, 좌측 참조 픽셀 및 하단 좌측 참조 픽셀 중에서 적어도 하나의 참조 픽셀을 인트라 예측에 사용할 수 있다. 따라서, 이 경우 예측 블록 내의 좌측 영역 및 상단 영역에 위치한 예측 픽셀이 모두 참조 픽셀과의 연관성을 유지할 수 있으므로, 부호화기 및 복호화기는 예측 블록에 대해 필터링을 수행하지 않을 수 있다.
또한, 도 10의 실시예에서 상술한 바와 같이, 부호화기 및 복호화기는 현재 블록의 색 성분 정보를 기반으로 예측 블록에 대한 필터링 수행 여부를 결정할 수 있으므로, 부호화기 및 복호화기는 현재 블록이 루마 블록에 해당되는 경우에만 도 16a 및 도 16b에서 상술한 필터링 과정을 수행할 수도 있다. 즉, 상술한 실시예에 따른 필터링 과정들은 현재 블록이 루마 블록에 해당되는 경우에만 적용되고, 현재 블록이 크로마 블록에 해당되는 경우에는 적용되지 않을 수 있다.
도 17은 도 16a 및 도 16b의 실시예에 따른 필터 타입 결정 방법을 간략하게 나타내는 도면이다.
도 17의 1710은 현재 블록의 예측 모드가 DC 모드 및/또는 플래너 모드인 경우의 필터 타입의 실시예를 도시한다. 도 17의 1710은 도 16a의 1610에 도시된 필터 타입과 동일한 필터 타입을 도시한다.
도 16a의 1610에서 상술한 바와 같이, 현재 블록의 예측 모드가 DC 모드(예를 들어, 모드값이 2인 예측 모드) 및/또는 플래너 모드(예를 들어, 모드값이 34인 예측 모드)인 경우, 부호화기 및 복호화기는 예측 블록 내의 가장 좌측 상단에 위치한 좌측 상단 예측 픽셀(예를 들어, 도 17의 1710에서 c 픽셀)에 대해, 3-탭 필터를 적용할 수 있다. 또한, 부호화기 및 보호화기는 좌측 수직 예측 픽셀 라인에 포함된 예측 픽셀 중에서 좌측 상단 예측 픽셀을 제외한 픽셀(예를 들어, 도 17의 1710에서 g 픽셀) 각각에 대해, 수평 2-탭 필터를 적용할 수 있다. 또한, 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인에 포함된 예측 픽셀 중에서 좌측 상단 예측 픽셀을 제외한 픽셀(예를 들어, 도 17의 1710에서 e 픽셀) 각각에 대해, 수직 2-탭 필터를 적용할 수 있다. 일 실시예로, 이는 다음 수학식 1에 의해 나타내어질 수 있다.
[수학식 1]
F_g = ( f + 3*g + 2 ) >> 2
F_e = ( d + 3*e + 2 ) >> 2
F_c = ( a + 2*c + b + 2 ) >> 2
여기서, F_x는 x 위치의 예측 픽셀 값에 대해 필터링을 수행함으로써 생성된, 필터링된 예측 픽셀 값을 나타낸다.
도 17의 1730은 현재 블록의 예측 모드가 수직 우측 모드(예를 들어, 모드값이 5, 6, 12, 13, 22, 23, 24, 25인 예측 모드)인 경우의 필터 타입의 실시예를 도시한다. 도 17의 1730은 도 16a의 1630에 도시된 필터 타입과 동일한 필터 타입을 도시한다.
도 16a의 1630에서 상술한 바와 같이, 현재 블록의 예측 모드가 수직 우측 모드인 경우, 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인에 포함된 예측 픽셀들 각각(예를 들어, 도 17의 1730에서 i 픽셀 및 k 픽셀)에 대해, 2-탭 필터를 적용할 수 있다. 수직 우측 모드에서 예측 방향은 대각 방향이므로, 부호화기 및 복호화기는 상기 필터의 모양을 대각 모양으로 결정할 수 있다. 일 실시예로, 이는 다음 수학식 2에 의해 나타내어질 수 있다.
[수학식 2]
F_i = ( h + 3*i + 2 ) >> 2
F_k = ( j + 3*k + 2 ) >> 2
여기서, F_x는 x 위치의 예측 픽셀 값에 대해 필터링을 수행함으로써 생성된, 필터링된 예측 픽셀 값을 나타낸다.
도 17의 1750은 현재 블록의 예측 모드가 수평 하단 모드(예를 들어, 모드값이 8, 9, 16, 17, 30, 31, 32, 33인 예측 모드)인 경우의 필터 타입의 실시예를 도시한다. 도 17의 1750은 도 16b의 1650에 도시된 필터 타입과 동일한 필터 타입을 도시한다.
도 16b의 1650에서 상술한 바와 같이, 현재 블록의 예측 모드가 수평 하단 모드인 경우, 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인에 포함된 예측 픽셀들 각각(예를 들어, 도 17의 1750에서 m 픽셀 및 o 픽셀)에 대해, 2-탭 필터를 적용할 수 있다. 수평 하단 모드에서 예측 방향은 대각 방향이므로, 부호화기 및 복호화기는 상기 필터의 대각 모양으로 결정할 수 있다. 일 실시예로, 이는 다음 수학식 3에 의해 나타내어질 수 있다.
[수학식 3]
F_m = ( l + 3*m + 2 ) >> 2
F_o = ( n + 3*o + 2 ) >> 2
여기서, F_x는 x 위치의 예측 픽셀 값에 대해 필터링을 수행함으로써 생성된, 필터링된 예측 픽셀 값을 나타낸다.
도 18은 현재 블록의 예측 모드가 수직 모드 및/또는 수평 모드인 경우에 적용되는 필터 타입의 실시예를 개략적으로 나타내는 도면이다.
후술되는 실시예에서 제1 참조 픽셀, 제2 참조 픽셀 및 제3 참조 픽셀 등의 용어는 도 18의 1810 및 도 18의 1820에서 각각 독립적으로 사용된다. 예를 들어, 도 18의 1810에서 사용되는 제1 참조 픽셀은 도 18의 1820에서 사용되는 제1 참조 픽셀과 동일한 것이 아니며, 제2 참조 픽셀 및 제3 참조 픽셀도 도 18의 1810 및 도 18의 1820에서 각각 독립적인 의미를 가질 수 있다.
상술한 바와 같이, 필터 타입에 의해 결정되는 필터는 필터 모양, 필터 탭, 필터 계수 등에 의해 정의되는 필터가 아닐 수도 있다. 예를 들어, 부호화기 및 복호화기는 참조 픽셀의 픽셀 값에, 소정의 과정에 의해 결정되는 오프셋 값을 더해줌으로써 필터링 과정을 수행할 수도 있다. 이 때, 상기 필터링 과정은 예측 블록 생성 과정과 결합되어 하나의 과정으로 수행될 수도 있다. 즉, 현재 블록 내 각 픽셀의 필터링된 예측 픽셀 값은 상술한 필터링 과정만으로 도출될 수 있으며, 이 때 상술한 필터링 과정은 예측 픽셀 생성 과정 및 생성된 예측 픽셀에 대한 필터링 과정을 모두 포함하는 하나의 프로세스에 해당될 수 있다. 이러한 경우의 필터링 과정은, 참조 픽셀을 이용한 최종 예측 픽셀(및/또는 필터링된 예측 픽셀) 생성 과정으로도 볼 수 있다. 따라서, 도 18에서는 예측 픽셀 생성의 관점에서 실시예들을 서술하기로 한다.
도 18의 1810은 현재 블록의 예측 모드가 수직 모드인 경우의 예측 픽셀 생성 방법의 실시예를 도시한다.
상술한 바와 같이 현재 블록의 예측 모드가 수직 모드인 경우, 부호화기 및 복호화기는 상단 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다. 이 때, 예측 블록 내의 좌측 영역에 위치한 예측 픽셀 및 좌측 참조 픽셀 간의 연관성이 작으므로, 예측 블록 내의 좌측 영역에 위치한 예측 픽셀은 큰 예측 오차를 가질 수 있다. 따라서, 부호화기 및 복호화기는 현재 블록(1815) 내의 가장 좌측에 위치한 하나의 수직 픽셀 라인(이하, 좌측 수직 픽셀 라인이라 함.)에 포함된 픽셀((0,0), (0,1), (0,2), (0,3), (0,4), (0,5), (0,6), (0,7)) 각각에 대해, 다음과 같이 예측 블록을 생성할 수 있다.
도 18의 1810을 참조하면, 좌측 수직 픽셀 라인상에는 (0,0), (0,1), (0,2), (0,3), (0,4), (0,5), (0,6), (0,7) 위치의 픽셀이 존재할 수 있다. 도 18의 1810에서, 현재 예측 대상 픽셀은 상기 좌측 수직 픽셀 라인상의 픽셀 중에서 픽셀 (0,4)라 가정한다.
현재 블록(1815)의 예측 모드가 수직 모드이므로 부호화기 및 복호화기는 상단 참조 픽셀 중에서 예측 대상 픽셀과 동일한 수직 라인상에 위치한 제1 참조 픽셀(0, -1)(예를 들어, 상단 참조 픽셀 중에서 가장 좌측에 위치한 참조 픽셀)의 픽셀 값을 예측 대상 픽셀의 위치에 채워 넣을 수 있다. 즉, 현재 블록(1815)의 예측 모드가 수직 모드인 경우 상기 제1 참조 픽셀의 픽셀 값이, 예측 대상 픽셀의 예측 픽셀 값으로 결정될 수 있다.
그러나, 이 경우 생성된 예측 픽셀 값은 큰 예측 오차를 가질 수 있으므로, 부호화기 및 복호화기는 상기 제1 참조 픽셀 값에 오프셋 값을 더해 줌으로써 최종 예측 픽셀 값을 도출할 수 있다. 여기서, 오프셋 값을 더하는 과정은 필터링 과정에 해당될 수도 있으며, 예측 픽셀 생성 과정의 일부분에 해당될 수도 있다. 이 때, 상기 오프셋 값은 예측 대상 픽셀의 좌측에 인접한 제2 참조 픽셀(-1,4) 및 제1 참조 픽셀의 좌측에 인접한 제3 참조 픽셀(-1,-1)을 기반으로 도출될 수 있다. 예를 들어, 상기 오프셋 값은 상기 제2 참조 픽셀의 픽셀 값에서 상기 제3 참조 픽셀의 픽셀 값을 뺀 값에 해당될 수 있다. 즉, 부호화기 및 복호화기는 상기 제1 참조 픽셀 값에, 상기 제2 참조 픽셀 값과 상기 제3 참조 픽셀 값의 차이 값을 더함으로써 예측 대상 픽셀의 예측 값을 도출할 수 있다. 상술한 예측 픽셀 생성 과정은 좌측 수직 픽셀 라인상의 픽셀 중에서 픽셀 (0,4)가 아닌 픽셀에도 동일하거나 유사하게 적용될 수 있다.
상술한 예측 픽셀 생성 과정은 일례로 다음 수학식 4에 의해 나타내어질 수 있다.
[수학식 4]
p’[x,y]= p[x,-1]+((p[-1,y]-p[-1,-1])>>1)), {x=0, y=0..nS-1}
여기서, p’[x,y]는 (x,y)위치의 예측 대상 픽셀에 대한 최종 예측 픽셀 값을 나타내며, p[x,-1]은 상단 참조 픽셀 중에서 예측 대상 픽셀과 동일한 수직 라인상에 위치한 제1 참조 픽셀을 나타낸다. 또한, p[-1,y]은 예측 대상 픽셀의 좌측에 인접한 제2 참조 픽셀을 나타내며, p[-1,-1]은 제1 참조 픽셀의 좌측에 인접한 제3 참조 픽셀을 나타낸다. 또한, nS는 현재 블록의 높이(height)를 나타낸다.
한편, 현재 블록(1815)의 예측 모드가 수직 모드인 경우 오프셋 및/또는 필터링이 적용되는 영역은 상술한 실시예에 한정되는 것이 아니다. 예를 들어, 부호화기 및 복호화기는 현재 블록(1815) 내의 가장 좌측에 위치한 2개의 수직 픽셀 라인에 대해, 상술한 예측 픽셀 생성 과정을 적용할 수도 있다. 이 경우, 예측 픽셀 생성 과정은 일례로 다음 수학식 5에 의해 나타내어질 수 있다.
[수학식 5]
p’[x, y] = p[x, y] + (p[-1, y] - p[-1, -1] + (1<<x)) >> (x+1), {x=0..1, y=0..7}
여기서, p’[x, y]은 (x,y)위치의 예측 대상 픽셀에 대한 최종 예측 픽셀 값을 나타내고, p[x, y]는 일반적인 수직 예측 과정에 의해 생성되는 예측 픽셀 값을 나타낸다. 또한, p[-1,y]은 좌측 참조 픽셀 중에서 예측 대상 픽셀과 동일한 수평 라인상에 위치한 참조 픽셀을 나타내며, p[-1,-1]은 상단 좌측 코너 참조 픽셀을 나타낸다.
한편, 상술한 오프셋 값을 더하는 과정은 현재 블록이 루마 블록인 경우에만 적용되고 현재 블록이 크로마 블록인 경우에는 적용되지 않을 수도 있다. 예를 들어, 현재 블록이 크로마 블록인 경우 부호화기 및 복호화기는 오프셋 값 적용 없이 제1 참조 픽셀을 바로 예측 대상 픽셀의 예측 픽셀 값으로 결정할 수도 있다.
도 18의 1820은 현재 블록의 예측 모드가 수평 모드인 경우의 예측 픽셀 생성 방법의 실시예를 도시한다.
상술한 바와 같이 현재 블록의 예측 모드가 수평 모드인 경우, 부호화기 및 복호화기는 좌측 참조 픽셀을 이용하여 현재 블록에 대한 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다. 이 때, 예측 블록 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작으므로, 예측 블록 내의 상단 영역에 위치한 예측 픽셀은 큰 예측 오차를 가질 수 있다.
따라서, 부호화기 및 복호화기는 현재 블록(1825) 내의 가장 상단에 위치한 하나의 수평 픽셀 라인(이하, 상단 수평 픽셀 라인이라 함.)에 포함된 픽셀((0,0), (1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0)) 각각에 대해, 다음과 같이 예측 블록 및/또는 예측 픽셀을 생성할 수 있다.
도 18의 1820을 참조하면, 상단 수평 픽셀 라인상에는 (0,0), (1,0), (2,0), (3,0), (4,0), (5,0), (6,0), (7,0) 위치의 픽셀이 존재할 수 있다. 도 18의 1820에서, 현재 예측 대상 픽셀은 상기 상단 수평 픽셀 라인상의 픽셀 중에서 픽셀 (4,0)이라 가정한다.
현재 블록(1825)의 예측 모드가 수평 모드이므로 부호화기 및 복호화기는 좌측 참조 픽셀 중에서 예측 대상 픽셀과 동일한 수평 라인상에 위치한 제1 참조 픽셀(-1,0)(예를 들어, 좌측 참조 픽셀 중에서 가장 상단에 위치한 참조 픽셀)의 픽셀 값을 예측 대상 픽셀의 위치에 채워 넣을 수 있다. 즉, 현재 블록(1825)의 에측 모드가 수평 모드인 경우 상기 제1 참조 픽셀의 픽셀 값이, 예측 대상 픽셀의 예측 픽셀 값으로 결정될 수 있다.
그러나, 이 경우 생성된 예측 픽셀 값은 큰 예측 오차를 가질 수 있으므로, 부호화기 및 복호화기는 상기 제1 참조 픽셀 값에 오프셋 값을 더해 줌으로써 최종 예측 픽셀 값을 도출할 수 있다. 여기서, 오프셋 값을 더하는 과정은 필터링 과정에 해당될 수도 있으며, 예측 픽셀 생성 과정의 일부분에 해당될 수도 있다. 이 때, 상기 오프셋 값은 예측 대상 픽셀의 상단에 인접한 제2 참조 픽셀(4,-1) 및 제1 참조 픽셀의 상단에 인접한 제3 참조 픽셀(-1,-1)을 기반으로 도출될 수 있다. 예를 들어, 상기 오프셋 값은 상기 제2 참조 픽셀의 픽셀 값에서 상기 제3 참조 픽셀의 픽셀 값을 뺀 값에 해당될 수 있다. 즉, 부호화기 및 복호화기는 상기 제1 참조 픽셀 값에, 상기 제2 참조 픽셀 값과 상기 제3 참조 픽셀 값의 차이 값을 더함으로써 예측 대상 픽셀의 예측 값을 도출할 수 있다. 상술한 예측 픽셀 생성 과정은 상단 수평 픽셀 라인상의 픽셀 중에서 픽셀 (4,0)이 아닌 픽셀에도 동일하거나 유사하게 적용될 수 있다.
상술한 예측 픽셀 생성 과정은 일례로 다음 수학식 6에 의해 나타내어질 수 있다.
[수학식 6]
p’[x,y]= p[-1,y]+((p[x,-1]-p[-1,-1])>>1)), {x=0..nS-1, y=0}
여기서, p’[x,y]는 (x,y)위치의 예측 대상 픽셀에 대한 최종 예측 픽셀 값을 나타내며, p[-1,y]는 좌측 참조 픽셀 중에서 예측 대상 픽셀과 동일한 수평 라인상에 위치한 제1 참조 픽셀을 나타낸다. 또한, p[x,-1]은 예측 대상 픽셀의 상단에 인접한 제2 참조 픽셀을 나타내며, p[-1,-1]은 제1 참조 픽셀의 상단에 인접한 제3 참조 픽셀을 나타낸다. 또한, nS는 현재 블록의 폭(width)을 나타낸다.
한편, 현재 블록(1825)의 예측 모드가 수평 모드인 경우 오프셋 및/또는 필터링이 적용되는 영역은 상술한 실시예에 한정되는 것은 아니다. 예를 들어, 부호화기 및 복호화기는 현재 블록(1825) 내의 가장 상단에 위치한 2개의 수평 픽셀 라인에 대해, 상술한 예측 픽셀 생성 과정을 적용할 수도 있다. 이 경우, 예측 픽셀 생성 과정은 일례로 다음 수학식 7에 의해 나타내어질 수 있다.
[수학식 7]
p’[x, y] = p[x, y] + (p[x, -1] - p[-1, -1] + (1<<y)) >> (y+1), {x=0~7, y=0~1}
여기서, p’[x, y]은 (x,y)위치의 예측 대상 픽셀에 대한 최종 예측 픽셀 값을 나타내고, p[x, y]는 일반적인 수평 예측 과정에 의해 생성되는 예측 픽셀 값을 나타낸다. 또한, p[x, -1]은 상단 참조 픽셀 중에서 예측 대상 픽셀과 동일한 수직 라인상에 위치한 참조 픽셀을 나타내며, p[-1,-1]은 상단 좌측 코너 참조 픽셀을 나타낸다.
한편, 도 18의 1810에서와 마찬가지로, 상술한 오프셋 값을 더하는 과정은 현재 블록이 루마 블록인 경우에만 적용되고 현재 블록이 크로마 블록인 경우에는 적용되지 않을 수도 있다. 예를 들어, 현재 블록이 크로마 블록인 경우 부호화기 및 복호화기는 오프셋 값 적용 없이 제1 참조 픽셀을 바로 예측 대상 픽셀의 예측 픽셀 값으로 결정할 수도 있다.
도 19는 본 발명에 따른 필터 타입의 다른 실시예를 개략적으로 나타내는 도면이다.
도 19의 실시예에서, 부호화기 및 복호화기는 좌측 참조 픽셀 및/또는 하단 좌측 참조 픽셀을 기반으로 현재 블록에 대한 인트라 예측을 수행하므로, 예측 블록(1910) 내의 상단 영역에 위치한 예측 픽셀 및 상단 참조 픽셀 간의 연관성이 작아질 수 있다. 따라서, 이 경우 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인(예를 들어, 예측 블록(1910) 내의 가장 상단에 위치한 하나의 수평 픽셀 라인)에 포함된 예측 픽셀들에 대해 필터링을 수행할 수 있다. 후술되는 실시예에서는 상단 수평 예측 픽셀 라인상의 픽셀에 대해 필터링이 수행되는 경우의 실시예가 서술되지만, 도 19에 따른 필터링 방법은 좌측 수직 예측 픽셀 라인(예를 들어, 예측 블록(1910) 내의 가장 좌측에 위치한 하나의 수직 픽셀 라인)상의 픽셀에 대해 필터링이 수행되는 경우에도 유사한 방법으로 적용될 수 있다.
도 19를 참조하면, 부호화기 및 복호화기는 예측 블록(1910) 내의 예측된 픽셀, 즉 예측 픽셀(B, 1920)에 대한 필터링을 수행할 수 있다. 상기 필터링 수행 과정은 예측 픽셀(1920)의 픽셀 값에 적정 오프셋 값을 더하는 과정에 해당될 수 있다.
상기 오프셋 값은 참조 픽셀을 기반으로 도출될 수 있다. 일례로, 필터링 대상 픽셀(1920)이 예측 블록(1910) 내의 가장 상단에 위치한 픽셀인 경우, 오프셋 값 도출에 사용되는 참조 픽셀은, 필터링 대상 픽셀(1920)의 상단에 인접한 참조 픽셀(A, 1930)일 수 있다. 다른 예로, 필터링 대상 픽셀이 예측 블록(1920) 내의 가장 좌측에 위치한 픽셀인 경우, 오프셋 값 도출에 사용되는 참조 픽셀은, 필터링 대상 픽셀의 좌측에 인접한 참조 픽셀일 수 있다. 이하, 참조 픽셀(1930)을 기반으로 오프셋 값을 구하는 과정의 실시예가 서술된다.
부호화기 및 복호화기는 참조 픽셀(1930)에 대해 인트라 예측을 수행하여 참조 픽셀의 예측값, 즉 예측 참조 픽셀 값을 구할 수 있다. 여기서, 상기 인트라 예측은 방향성 예측일 수 있다. 이 때, 부호화기 및 복호화기는 현재 블록의 예측 모드(및/또는 예측 방향)(1940)와 동일한 인트라 예측 모드(및/또는 예측 방향)(1950)를 기반으로 참조 픽셀(1930)에 대한 예측을 수행할 수 있다. 인트라 예측 모드의 예측 방향 및 참조 픽셀을 기반으로 결정되는 예측 참조 픽셀의 위치가 정수 위치가 아닌 경우, 부호화기 및 복호화기는 정수 위치의 참조 픽셀들을 기반으로 보간(interpolation)을 수행하여 예측 참조 픽셀 값을 구할 수 있다.
부호화기 및 복호화기는 참조 픽셀 및 예측 참조 픽셀 간의 픽셀 값 차이에 기반하여 오프셋 값을 도출할 수 있다. 예를 들어, 상기 오프셋 값은 참조 픽셀 값 및 예측 참조 픽셀 값의 차이 값을 4로 나눈 값에 해당될 수 있다. 오프셋 값이 도출되면, 부호화기 및 복호화기는 예측 픽셀(1920)의 픽셀 값에 상기 도출된 오프셋 값을 더하여 필터링된 예측 픽셀의 픽셀 값을 도출할 수 있다.
상술한 필터링 과정은 일례로 다음 수학식 8에 의해 나타내어질 수 있다.
[수학식 8]
Ref1 = A의 예측 값
Delta = (A-Ref1+2) >> 2
B’ = B + Delta
여기서, B는 예측 픽셀(1920)의 픽셀 값, A는 상기 예측 픽셀에 대한 참조 픽셀(1930)의 픽셀 값을 나타내고, Ref1은 A에 대한 예측 참조 픽셀의 픽셀 값을 나타낸다. 또한, B’은 필터링된 예측 픽셀의 픽셀값을 나타낸다.
상술한 실시예들에서는 필터링 수행 여부 결정 과정, 필터링 수행 영역 결정 과정 및 필터 타입 결정 과정 등이 각각 독립적으로 서술되어 있으나, 부호화기 및 복호화기는 상기 과정들을 결합하여 하나의 프로세스로 처리할 수도 있다. 이 때, 부호화기 및 복호화기는 상기 필터링 수행 여부 결정 과정, 필터링 수행 영역 결정 과정 및 필터 타입 결정 과정 중에서 둘 이상을 하나의 테이블에 기반하여 결정할 수 있다.
일 실시예로, 인트라 예측 모드에 따른 필터링 수행 여부, 필터링 수행 영역 및 필터 타입은 하나의 테이블에 의해 나타내어질 수 있다. 이 때, 부호화기 및 복호화기에는 상기 테이블이 동일하게 저장되어 있을 수 있고, 부호화기 및 복호화기는 인트라 예측 모드 및 저장된 테이블에 기반하여 필터링 수행 여부, 필터링 수행 영역 및 필터 타입을 결정할 수 있다. 다음 표 7은 인트라 예측 모드에 따른 필터링 수행 여부, 필터링 수행 영역 및 필터 타입을 나타내는 테이블의 일 실시예를 나타낸다.
[표 7]
Figure pat00007
표 7에서 필터 타입에 할당된 값이 0인 경우, 상기 필터 타입은 예측 블록에 대해 필터링이 수행되지 않음을 나타낼 수 있다. 또한, 필터 타입에 할당된 값이 1, 2 또는 3인 경우, 상기 필터 타입은 예측 블록에 대해 필터링이 수행됨을 나타낼 수 있다.
또한, 표 7에서 필터 타입에 할당된 값이 1인 경우, 상기 필터 타입은 도 16a의 1610에서 상술한, DC 모드 및/또는 플래너 모드에서의 필터링 수행 영역 및 필터 타입이 적용됨을 나타낼 수 있다. 그리고 필터 타입에 할당된 값이 2인 경우, 상기 필터 타입은 도 16a의 1630에서 상술한, 수직 우측 모드에서의 필터링 수행 영역 및 필터 타입이 적용됨을 나타낼 수 있다. 또한 필터 타입에 할당된 값이 3인 경우, 상기 필터 타입은 도 16b의 1650에서 상술한, 수평 하단 모드에서의 필터링 수행 영역 및 필터 타입이 적용됨을 나타낼 수 있다.
다른 실시예로, 상술한 표 7에 나타내어진 테이블은 블록 크기에 따른 필터 적용 여부에 관한 정보를 추가로 포함할 수 있다. 즉, 인트라 예측 모드에 따른 필터 적용 여부, 필터 적용 영역 및 필터 타입에 관한 정보를 포함하는 테이블은, 블록 크기에 따른 필터 적용 여부에 관한 정보를 함께 포함할 수 있다. 이 때, 부호화기 및 복호화기에는 상기 테이블이 동일하게 저장되어 있을 수 있고, 부호화기 및 복호화기는 인트라 예측 모드, 현재 블록(및/또는 예측 블록)의 크기 및 저장된 테이블에 기반하여 필터링 수행 여부, 필터링 수행 영역 및 필터 타입을 결정할 수 있다.
현재 블록 및/또는 예측 블록의 크기가 너무 작거나 큰 경우, 상기 예측 블록에 대해서는 필터링을 수행하지 않는 것이 바람직할 수 있다. 예를 들어, 현재 블록 및/또는 예측 블록이 32x32 크기의 블록과 같이 큰 블록에 해당되는 경우, 상기 현재 블록 주변 및/또는 상기 현재 블록 내부의 픽셀들 간의 연관성이 클 수 있고, 이러한 경우에는 예측 블록에 대해 필터링을 수행하는 것이 큰 의미가 없을 수 있다. 따라서, 부호화기 및 복호화기는 현재 블록 및/또는 예측 블록의 크기에 따라 적응적으로 필터링 수행 여부를 결정함으로써, 필터링 효율을 향상시킬 수 있다. 다음 표 8은 상술한 바와 같이 인트라 예측 모드뿐만 아니라 블록 크기를 함께 고려하여 구성된 테이블의 일 실시예를 나타낸다.
[표 8]
Figure pat00008
표 8에서 필터 타입에 할당된 0, 1, 2 및 3의 값은 표 7에서와 동일한 의미를 가질 수 있다. 표 8을 참조하면, 부호화기 및 복호화기는 현재 블록 및/또는 예측 블록의 크기를 기반으로 필터링 수행 여부를 결정할 수 있으며, 인트라 예측 모드를 기반으로 필터링 수행 여부, 필터링 수행 영역 및 필터 타입 등을 결정할 수 있다.
또 다른 실시예로, 인트라 예측 모드에 따른 필터링 수행 여부, 필터링 수행 영역 및 필터 타입은 다음 표 9에서와 같이 나타내어질 수도 있다.
[표 9]
Figure pat00009
도 20은 표 9에 적용되는 인트라 예측 모드 및 필터 타입을 설명하기 위한 도면이다. 도 20의 2010은 인트라 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드값의 실시예를 도시한다. 상술한 실시예들은 주로 도 4a의 410에 도시된 인트라 예측 모드(예측 방향, 모드값)를 기반으로 서술되었으나, 표 9의 실시예에 한하여 도 20의 2010에 도시된 인트라 예측 모드(예측 방향, 모드값)가 사용된다고 가정한다. 그러나, 표 9의 실시예는 도 20의 2010에 한정되어 적용되는 것은 아니다.
표 9를 참조하면, 필터링 수행 영역에 할당된 값이 0인 경우 및/또는 필터 타입에 할당된 값이 0인 경우, 부호화기 및 복호화기는 예측 블록에 대해 필터링을 수행하지 않을 수 있다. 반면, 필터링 수행 영역에 할당된 값이 0이 아니고 필터 타입에 할당된 값이 0이 아닌 경우, 부호화기 및 복호화기는 예측 블록에 대해 필터링을 수행할 수 있다.
한편, 필터 적용 영역에 할당된 Tx는 예측 블록 내의 가장 상단에 위치한 x개의 수평 픽셀 라인, 즉 상단 수평 예측 픽셀 라인을 나타내고, Lx는 예측 블록 내의 가장 좌측에 위치한 x개의 수직 픽셀 라인, 즉 좌측 수직 예측 픽셀 라인을 나타낼 수 있다. 또한 필터 적용 영역에 할당된 TxLx는 상기 상단 수평 예측 픽셀 라인 및 상기 좌측 수직 예측 픽셀 라인을 모두 포함하는 영역을 나타낼 수 있다. 표 9의 실시예에서는 x의 값이 1,2 또는 4가 될 수 있다. 그러나, 다른 실시예로 x는 소정의 고정된 값일 수도 있으며, 일례로 x는 항상 1일 수 있다. 이 때, 상기 상단 수평 예측 픽셀 라인은 1개의 수평 픽셀 라인만을 포함하고, 상기 좌측 수직 예측 픽셀 라인도 1개의 수직 픽셀 라인만을 포함할 수 있다.
표 9의 0이 아닌 필터 타입에는 a, b, c, d, e 가 있을 수 있다. 표 9에서 필터 타입에 할당된 값이 a인 경우, 부호화기 및 복호화기는 도 16a의 1610에서 상술한 필터링 수행 영역 및 필터 타입을 기반으로 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인(1개의 픽셀 라인) 및 좌측 수직 예측 픽셀 라인(1개의 픽셀 라인)에 포함되는 예측 픽셀에 대해, 도 16a의 1610에서 상술한 필터 계수를 기반으로 필터링을 수행할 수 있다. 표 9에서 필터 타입에 할당된 값이 b인 경우, 부호화기 및 복호화기는 도 18에서 상술한 필터링 수행 영역 및 필터 타입을 기반으로 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 수직 모드(예를 들어, 모드값이 1인 예측 모드)인 경우, 부호화기 및 복호화기는 도 18의 1810에서와 같이 좌측 수직 예측 픽셀 라인(예를 들어, 2개의 픽셀 라인)에 포함되는 예측 픽셀에 대해 필터링을 수행할 수 있다. 또한, 현재 블록의 예측 모드가 수평 모드(예를 들어, 모드값이 2인 예측 모드)인 경우, 부호화기 및 복호화기는 도 18의 1820에서와 같이 상단 수평 예측 픽셀 라인(예를 들어, 2개의 픽셀 라인)에 포함되는 예측 픽셀에 대해 필터링을 수행할 수 있다.
한편, 표 9에서 필터 타입에 할당된 값이 c이고 필터 적용 영역에 Tx가 할당된 경우, 부호화기 및 복호화기는 도 16b의 1650에서 상술한 필터링 수행 영역 및 필터 타입을 기반으로 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 상단 수평 예측 픽셀 라인에 포함되는 예측 픽셀에 대해 [1,3]의 대각 필터를 적용할 수 있다. 또한, 표 9에서 필터 타입에 할당된 값이 b이고 필터 적용 영역에 Lx가 할당된 경우, 부호화기 및 복호화기는 도 16a의 1630에서 상술한 필터링 수행 영역 및 필터 타입을 기반으로 필터링을 수행할 수 있다. 이 때, 부호화기 및 복호화기는 좌측 수직 예측 픽셀 라인에 포함되는 예측 픽셀에 대해 [1,3]의 대각 필터를 적용할 수 있다.
표 9에서 현재 블록의 인트라 예측 모드가 7 또는 10일 때, 필터 타입에 할당된 값은 d일 수 있다. 도 20의 2020을 참조하면, 블록 2023은 예측 블록을 나타내며, 현재 블록의 인트라 예측 모드가 10일 때의 예측 방향은 2025와 같이 나타내어질 수 있다. 이 때, 필터링된 예측 픽셀 값은 다음 수학식 9에 의해 나타내어질 수 있다.
[수학식 9]
p’[x, y] = ((16-k)*p[x, y] + k*p[x, -1] + 8)>>4, k=1<<(3-y), {x=0..7, y=0..3 }
여기서, p’[x, y]은 필터링된 예측 픽셀 값을 나타내고, p[x,y]는 (x,y) 위치의 필터링 전의 예측 픽셀 값을 나타낼 수 있다. 또한, p[x, -1]은 상단 참조 픽셀 중에서 예측 픽셀과 동일 수직선상에 위치하는 참조 픽셀을 나타낼 수 있다. 수학식 9를 참조하면, 현재 블록의 인트라 예측 모드가 10일 때, 부호화기 및 복호화기는 예측 블록(2023) 내의 가장 상단에 위치한 4개의 수평 픽셀 라인에 대해 필터링을 수행할 수 있다. 현재 블록의 인트라 예측 모드가 7인 경우에도, 부호화기 및 복호화기는 예측 블록(2023) 내의 가장 좌측에 위치한 4개의 수직 픽셀 라인에 대해, 수학식 9에서 서술된 것과 유사한 방법으로 필터링을 수행할 수 있다.
다시 도 2의 2020을 참조하면, 현재 블록의 인트라 예측 모드가 24일 때 예측 방향은 2027과 같이 나타내어질 수 있다. 표 9에서 현재 블록의 인트라 예측 모드가 24일 때 필터 타입에 할당된 값은 e일 수 있다. 현재 블록의 인트라 예측 모드가 24인 경우, 필터링된 예측 픽셀 값은 다음 수학식 10에 의해 나타내어질 수 있다.
[수학식 10]
p‘[x, y] = p[x, y] + (p[-1, y] - Rp[-1, y] + 2)>>2, {x=0, y=0..7}
여기서, p’[x, y]은 필터링된 예측 픽셀 값을 나타내고, p[x,y]는 (x,y) 위치의 필터링 전의 예측 픽셀 값을 나타낼 수 있다. 또한, p[-1, y]은 좌측 참조 픽셀 중에서 예측 픽셀과 동일 수평선상에 위치하는 참조 픽셀을 나타낼 수 있다. Rp[-1, y]는 p[-1, y]의 참조 픽셀에 대한 예측 값, 즉 예측 참조 픽셀 값을 나타낼 수 있다. 부호화기 및 복호화기는 상기 예측 참조 픽셀 값을 도출하기 위해, p[-1, y]의 참조 픽셀에 대해 현재 블록의 예측 모드와 동일한 인트라 예측 모드를 기반으로 예측을 수행할 수 있다.
표 9에서 현재 블록의 인트라 예측 모드가 13, 17, 23, 31, 32인 경우에도 필터 타입에 할당된 값은 e일 수 있다. 따라서, 이 경우에도 부호화기 및 복호화기는 수학식 10에서 서술된 것과 유사한 방법으로 필터링을 수행할 수 있다.
표 9에서, 각 필터 타입에 할당된 값에 따라 적용되는 필터는 상술한 실시예에 한정되지 않는다. 즉, 각 필터 타입에 할당된 값에 따라 적용되는 필터는 구현 및/또는 필요에 따라 달라질 수 있으며, 필터 적용 여부 또한 상술한 실시예에서와 다르게 설정될 수도 있다.
이하, 본 발명에 따른 예측 픽셀에 대한 필터링 수행 과정의 일 실시예가 구체적으로 서술된다. 후술되는 실시예에서, 입력은 IntraPredMode, nS, p[x,y](x,y=-1..nS) 및 predSamples[x,y](x,y=0..nS-1)이고, 출력은 predSamplesF[x,y](x,y=0..nS-1)이다. 여기서, IntraPredMode는 현재 블록의 인트라 예측 모드를 나타내고, nS는 예측 블록의 가로 크기 및 세로 크기를 나타내고, p[x,y](x,y=-1..nS)는 현재 블록 주변에 위치한 참조 픽셀의 픽셀 값을 나타낸다. 또한, predSamples[x,y](x,y=0..nS-1)는 예측 픽셀 값을 나타내고, predSamplesF[x,y](x,y=0..nS-1)는 필터링된 예측 픽셀 값을 나타낸다.
이 때, 인트라 예측 모드에 따른 필터링 수행 여부, 필터링 수행 영역 및 필터 타입은 다음 표 10에 의해 결정될 수 있다.
[표 10]
Figure pat00010
표 10에서 intraPostFilterType은 예측 블록에 대해 적용되는 필터 타입 정보를 나타낸다. 이 때, 상기 필터 타입 정보는 필터링 수행 여부, 필터링 수행 영역 및 필터 타입에 관한 정보를 모두 포함할 수도 있다. 또한, intraPostFilterType은 intraPostFilterType[IntraPredMode]으로 나타내어질 수도 있으며, 이는 intraPostFilterType에 할당된 값이 IntraPredMode에 의해 결정되는 것을 의미할 수 있다.
nS가 32보다 작은 경우, 부호화기 및 복호화기는 intraPostFilterType[IntraPredMode]에 할당된 값에 따라, 다음 과정에 의해 predSamplesF[x,y](x,y=0..nS-1)를 유도할 수 있다.
만일, intraPostFilterType[IntraPredMode]에 할당된 값이 1이면, 부호화기 및 복호화기는 다음 수학식 11에 의해 predSamplesF[x,y] 값을 도출할 수 있다.
[수학식 11]
predSamplesF[0,0] = (p[-1,0] + 2*predSamples[0,0] + p[0,-1] + 2) >> 2
predSamplesF[x,0] = (p[x,-1] + 3*predSamples[x,0] + 2) >> 2 (x=1..nS-1)
predSamplesF[0,y] = (p[-1,y] + 3*predSamples[0,y] + 2) >> 2 (y=1..nS-1)
predSamplesF[x,y] = predSamples[x,y] (x,y=1..nS-1)
intraPostFilterType[IntraPredMode]에 할당된 값이 2이면, 부호화기 및 복호화기는 다음 수학식 12에 의해 predSamplesF[x,y] 값을 도출할 수 있다.
[수학식 12]
predSamplesF[0,y] = (p[-1,y+1] + 3*predSamples[0,y] + 2) >> 2 (y=0..nS-1)
predSamplesF[x,y] = predSamples[x,y] (x=1..nS-1, y=0..nS-1)
intraPostFilterType[IntraPredMode]에 할당된 값이 3이면, 부호화기 및 복호화기는 다음 수학식 13에 의해 predSamplesF[x,y] 값을 도출할 수 있다.
[수학식 13]
predSamplesF[x,0] = (p[x+1,-1] + 3*predSamples[x,0] + 2) >> 2 (x=0..nS-1)
predSamplesF[x,y] = predSamples[x,y] (x=0..nS-1, y=1..nS-1)
intraPostFilterType[IntraPredMode]에 할당된 값이 0이면, 부호화기 및 복호화기는 다음 수학식 14에 의해 predSamplesF[x,y] 값을 도출할 수 있다.
[수학식 14]
predSamplesF[x,y] = predSamples[x,y] (x,y=0..nS-1)
한편, 상술한 모든 방법(예를 들어, 필터링 수행 방법)에 대해, 부호화기 및 복호화기는 현재 블록(및/또는 예측 블록)의 크기 및/또는 깊이에 따라 적용 범위를 다르게 설정할 수 있다. 예를 들어, 본 발명의 적용 범위는 PU의 크기 및/또는 TU의 크기에 따라 다르게 설정될 수 있고, CU의 깊이 값에 따라 다르게 설정될 수도 있다.
이 때, 부호화기 및 복호화기는 본 발명의 적용 범위를 결정하기 위해, 블록의 크기 및/또는 블록의 깊이 값을 변수로 이용할 수 있다. 여기서, 상기 블록은 CU, PU 및/또는 TU에 해당될 수 있다. 일례로, 블록의 크기 값이 변수로 사용되는 경우, 부호화기 및 복호화기는 상기 변수 이상의 크기를 갖는 블록에만 본 발명을 적용할 수 있으며, 다른 예로 상기 변수 이하의 크기를 갖는 블록에만 본 발명은 적용할 수도 있다. 또한, 부호화기 및 복호화기는 상기 변수 값에 해당되는 크기를 갖는 블록에만 본 발명을 적용할 수도 있다.
다음 표 11은 본 발명의 적용 범위를 결정하기 위한 변수로 사용되는 블록의 크기 값이 16x16인 경우, 본 발명의 적용 범위의 실시예를 나타낸다. 표 11에서, O는 해당 블록 크기에 대해 본 발명이 적용됨을 나타내고, X는 해당 블록 크기에 대해 본 발명이 적용되지 않음을 나타낼 수 있다.
[표 11]
Figure pat00011
표 11을 참조하면, 방법 A의 경우, 부호화기 및 복호화기는 변수로 사용되는 블록 크기(16x16) 이상의 크기를 갖는 블록에만 본 발명을 적용할 수 있다. 방법 B의 경우, 부호화기 및 복호화기는 변수로 사용되는 블록 크기(16x16) 이하의 크기를 갖는 블록에만 본 발명을 적용할 수 있다. 또한, 방법 C의 경우, 부호화기 및 복호화기는 변수로 사용되는 블록 크기(16x16)와 동일한 크기를 갖는 블록에만 본 발명을 적용할 수 있다.
한편, 일 실시예로 본 발명의 적용 범위를 결정하기 위한 변수 값(블록의 크기 값 및/또는 블록의 깊이 값)은 소정의 고정된 값일 수 있다. 이 때, 상기 변수 값은 부호화기 및 복호화기에 미리 저장되어 있을 수 있으며, 부호화기 및 복호화기는 저장된 변수 값을 기반으로 본 발명의 적용 범위를 결정할 수 있다.
다른 실시예로, 본 발명의 적용 범위를 결정하기 위한 변수 값은 프로파일(profile) 또는 레벨(level)에 따라 달라질 수도 있다. 프로파일을 기반으로 상기 변수 값이 결정되는 경우 각 프로파일에 해당되는 변수 값은 소정의 고정된 값일 수 있으며, 레벨을 기반으로 상기 변수 값이 결정되는 경우 각 레벨에 해당되는 변수 값은 소정의 고정된 값일 수 있다.
또 다른 실시예로, 본 발명의 적용 범위를 결정하기 위한 변수 값(블록의 크기 값 및/또는 블록의 깊이 값)은 부호화기에 의해 결정될 수 있다. 이 때, 부호화기는 상기 변수 값에 관한 정보를 부호화하여 비트스트림을 통해 복호화기로 전송할 수 있다. 비트스트림을 통해 전송되는 변수 값 정보는, 시퀀스 파라미터 셋(Sequence Parameter Set: SPS), 픽쳐 파라미터 셋(Picture Parameter Set: PSP) 및 슬라이스 헤더(slice header) 등에 포함될 수 있다. 복호화기는 수신한 비트스트림으로부터 상기 변수 값을 도출할 수 있으며, 도출된 변수 값에 기반하여 본 발명의 적용 범위를 결정할 수 있다.
이 때, 변수 값 정보를 나타내기 위해 사용되는 지시자에는 다양한 유형이 있을 수 있다. 일 실시예로, 표 11에서 방법 A가 사용되고 본 발명의 적용 범위를 결정하기 위한 변수 값이 블록의 크기 값에 해당되는 경우, 변수 값 정보를 나타내기 위해 사용되는 지시자는 log2_intra_prediction_filtering_enable_max_size_minus2 일 수 있다. 예를 들어, 상기 변수 값이 32x32인 경우 상기 지시자에 할당되는 값은 3이고, 상기 변수 값이 4x4인 경우 상기 지시자에 할당되는 값은 0일 수 있다. 다른 실시예로, 표 11에서 방법 A가 사용되고 본 발명의 적용 범위를 결정하기 위한 변수 값이 CU의 깊이 값에 해당되는 경우, 변수 값 정보를 나타내기 위해 사용되는 지시자는 intra_prediction_filtering_enable_max_cu_depth 일 수 있다. 예를 들어, 이 경우 상기 지시자에 할당된 값이 0인 경우에는 64x64 이상의 크기를 갖는 블록에 본 발명이 적용될 수 있고, 상기 지시자에 할당된 값이 1인 경우에는 32x32 이상의 크기를 갖는 블록에 본 발명이 적용될 수 있으며, 상기 지시자에 할당된 값이 4인 경우에는 4x4 이상의 크기를 갖는 블록에 본 발명이 적용될 수 있다.
한편, 부호화기는 모든 블록 크기에 대해 본 발명을 적용하지 않는 것으로 결정할 수도 있다. 이 때, 부호화기는 결정된 정보를 복호화기로 전송하기 위해, 소정의 지시자를 이용할 수 있다. 일 실시예로, 부호화기는 intra_prediction_filtering_enable_flag 와 같은 지시자를 SPS, PPS 및/또는 슬라이스 헤더 등에 포함시켜 복호화기로 전송할 수 있다. 여기서, intra_prediction_filtering_enable_flag 는 시퀀스, 픽쳐 및/또는 슬라이스 내의 모든 블록에 대해 본 발명이 적용되는지 여부를 지시하는 지시자에 해당될 수 있다. 다른 실시예로, 부호화기는 상술한 변수 값 정보를 나타내는 지시자(예를 들어, intra_prediction_filtering_enable_max_cu_depth)를 이용하여, 모든 블록 크기에 대해 본 발명을 적용하지 않는다는 정보를 복호화기로 전송할 수도 있다. 이 때, 일례로 부호화기는 상기 지시자에 유효하지 않은(및/또는 허용되지 않는) 블록 크기(예를 들어, 2x2 크기)를 나타내는 값(예를 들어, 5)을 할당함으로써, 모든 블록 크기에 대해 본 발명이 적용되지 않음을 나타낼 수 있다.
상술한 실시예들에 의하면, 본 발명은 인트라 예측시 발생하는 예측 오차를 감소시키고 블록 간의 불연속성을 최소화하여 예측 효율 및 부호화 효율을 향상시킬 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
111 : 움직임 예측부
120 : 인트라 예측부
130 : 변환부
140 : 양자화부
150 : 엔트로피 부호화부

Claims (4)

  1. 현재 블록의 인트라 예측 모드를 기반으로, 상기 현재 블록 내의 예측 대상 픽셀에 대한 예측을 수행하여 예측 블록을 생성하는 단계;
    상기 현재 블록에 대응하는 복원된 차분 블록 및 최종 예측 블록을 기반으로 복원 블록을 생성하는 단계; 및
    상기 현재 블록에 대한 예측 모드 정보를 엔트로피 부호화하는 단계;를 포함하되,
    상기 예측 블록 생성 단계에서는,
    상기 현재 블록의 인트라 예측 모드가 수직(vertical) 모드이고 상기 예측 대상 픽셀이 좌측 수직 픽셀 라인상의 픽셀인 경우, 제1 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 수행하고,
    상기 현재 블록의 인트라 예측 모드가 수평(horizontal) 모드이고 상기 예측 대상 픽셀이 상단 수평 픽셀 라인상의 픽셀인 경우, 제2 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 수행하고,
    상기 좌측 수직 픽셀 라인은 상기 현재 블록 내에서 가장 좌측에 위치한 1개의 수직 픽셀 라인이고, 상기 상단 수평 픽셀 라인은 상기 현재 블록 내에서 가장 상단에 위치한 1개의 수평 픽셀 라인인 것을 특징으로 하는 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 예측 블록 생성 단계에서는,
    상기 현재 블록의 인트라 예측 모드가 수평 모드이고 상기 예측 대상 픽셀이 상기 상단 수평 픽셀 라인상의 픽셀인 경우,
    상기 현재 블록의 좌측에 인접한 복원된 참조 픽셀 중에서 상기 예측 대상 픽셀과 동일한 수평 라인상에 존재하는 제1 참조 픽셀의 픽셀 값에, 상기 제2 오프셋 값을 더하여 상기 예측 대상 픽셀의 예측 값을 도출하고,
    상기 제2 오프셋 값은, 상기 예측 대상 픽셀의 상단에 인접한 제2 참조 픽셀의 픽셀 값 및 상기 제1 참조 픽셀의 상단에 인접한 제3 참조 픽셀의 픽셀 값의 차이 값에 기반하여 결정되는 것을 특징으로 하는 영상 부호화 방법.
  3. 제2항에 있어서,
    상기 예측 블록 생성 단계에서는,
    상기 현재 블록이 크로마 성분 블록인 경우, 상기 제1 참조 픽셀의 픽셀 값을 상기 예측 대상 픽셀의 예측 값으로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제1항에 있어서,
    상기 예측 블록 생성 단계에서는, 상기 현재 블록의 크기가 32X32 보다 작으면 상기 제1 오프셋 및 상기 제2 오프셋을 기반으로 상기 예측 대상 픽셀에 대한 예측을 을 수행하는 것을 특징으로 하는 영상 부호화 방법.


KR20140054411A 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치 Active KR101488497B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20110059850 2011-06-20
KR1020110059850 2011-06-20
KR1020110065708 2011-07-01
KR20110065708 2011-07-01
KR1020110119214A KR20120140181A (ko) 2011-06-20 2011-11-15 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR1020110119214 2011-11-15
KR1020110125353 2011-11-28
KR1020110125353A KR20120140182A (ko) 2011-06-20 2011-11-28 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106607A Division KR101451924B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140066681A true KR20140066681A (ko) 2014-06-02
KR101488497B1 KR101488497B1 (ko) 2015-01-30

Family

ID=47906320

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020110119214A Pending KR20120140181A (ko) 2011-06-20 2011-11-15 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR1020110125353A Pending KR20120140182A (ko) 2011-06-20 2011-11-28 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR1020120066206A Active KR101357640B1 (ko) 2011-06-20 2012-06-20 영상 부호화/복호화 방법 및 그 장치
KR1020130106610A Active KR101451923B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치
KR1020130106605A Active KR101357641B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치
KR1020130106607A Active KR101451924B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치
KR20140054411A Active KR101488497B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054412A Active KR101451918B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054410A Active KR101451919B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054408A Active KR101451921B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054409A Active KR101451920B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054407A Active KR101451922B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020110119214A Pending KR20120140181A (ko) 2011-06-20 2011-11-15 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR1020110125353A Pending KR20120140182A (ko) 2011-06-20 2011-11-28 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR1020120066206A Active KR101357640B1 (ko) 2011-06-20 2012-06-20 영상 부호화/복호화 방법 및 그 장치
KR1020130106610A Active KR101451923B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치
KR1020130106605A Active KR101357641B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치
KR1020130106607A Active KR101451924B1 (ko) 2011-06-20 2013-09-05 영상 부호화/복호화 방법 및 그 장치

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020140054412A Active KR101451918B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054410A Active KR101451919B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054408A Active KR101451921B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054409A Active KR101451920B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치
KR1020140054407A Active KR101451922B1 (ko) 2011-06-20 2014-05-07 영상 부호화/복호화 방법 및 그 장치

Country Status (13)

Country Link
US (19) US9332262B2 (ko)
EP (7) EP4307682A3 (ko)
JP (13) JP5976793B2 (ko)
KR (12) KR20120140181A (ko)
CN (4) CN103796030B (ko)
BR (4) BR112013021229B1 (ko)
CA (12) CA3185432A1 (ko)
DK (2) DK2723078T3 (ko)
ES (2) ES2973867T3 (ko)
HU (1) HUE066277T2 (ko)
IN (1) IN2014CN02639A (ko)
PL (1) PL3614668T3 (ko)
WO (1) WO2012177053A2 (ko)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567853B8 (en) 2009-03-23 2024-01-03 Ntt Docomo, Inc. Image predictive decoding device and image predictive decoding method
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
CN103004206B (zh) * 2010-07-20 2016-06-01 株式会社Ntt都科摩 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
US9299133B2 (en) 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
JP2014131162A (ja) * 2012-12-28 2014-07-10 Nippon Telegr & Teleph Corp <Ntt> イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2014107073A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20140192866A1 (en) * 2013-01-09 2014-07-10 Mitsubishi Electric Research Laboratories, Inc. Data Remapping for Predictive Video Coding
JP6473078B2 (ja) * 2013-04-05 2019-02-20 シャープ株式会社 画像復号装置
KR102217225B1 (ko) * 2013-04-29 2021-02-18 인텔렉추얼디스커버리 주식회사 인트라 예측 방법 및 장치
WO2014178563A1 (ko) 2013-04-29 2014-11-06 인텔렉추얼 디스커버리 주식회사 인트라 예측 방법 및 장치
WO2015002444A1 (ko) * 2013-07-01 2015-01-08 삼성전자 주식회사 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
US20170155899A1 (en) * 2013-09-07 2017-06-01 Tongji University Image compression method and apparatus using matching
US9855720B2 (en) 2013-09-23 2018-01-02 Morphotrust Usa, Llc Unidirectional opacity watermark
CA2935301C (en) * 2014-01-02 2019-10-01 Hfi Innovation Inc. Method and apparatus for intra prediction coding with boundary filtering control
WO2015163047A1 (ja) * 2014-04-23 2015-10-29 ソニー株式会社 画像処理装置及び画像処理方法
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US20160286224A1 (en) * 2015-03-26 2016-09-29 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
CN112087639B (zh) * 2015-05-28 2022-05-31 寰发股份有限公司 一种管理解码图像缓存器的方法及装置
WO2016200242A1 (ko) * 2015-06-11 2016-12-15 한양대학교 산학협력단 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US20200288146A1 (en) * 2015-08-17 2020-09-10 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
US10750174B2 (en) 2015-08-28 2020-08-18 Kt Corporation Method and device for deriving a prediction sample in decoding/encoding video signal using binary and quad trees
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
GB2557544B (en) * 2015-09-11 2021-12-01 Kt Corp Method and device for processing video signal
KR102775168B1 (ko) * 2015-09-29 2025-03-04 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017069591A1 (ko) * 2015-10-23 2017-04-27 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017082670A1 (ko) * 2015-11-12 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 계수 유도 인트라 예측 방법 및 장치
KR102715635B1 (ko) 2016-03-28 2024-10-11 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102346713B1 (ko) 2016-04-12 2022-01-03 세종대학교산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
WO2017188565A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN114189678A (zh) 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
KR20170125155A (ko) * 2016-05-03 2017-11-14 인텔렉추얼디스커버리 주식회사 화면 내 예측을 위한 보간 필터를 사용하는 비디오 코딩 방법 및 장치
CN117061743A (zh) 2016-04-29 2023-11-14 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
US10939125B2 (en) * 2016-04-29 2021-03-02 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image signal
KR102383104B1 (ko) 2016-06-24 2022-04-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP6740534B2 (ja) * 2016-07-04 2020-08-19 日本放送協会 符号化装置、復号装置及びプログラム
WO2018026118A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법
WO2018044089A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20220129685A (ko) * 2016-09-05 2022-09-23 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
EP3518535A4 (en) 2016-09-20 2020-04-22 KT Corporation VIDEO SIGNAL PROCESSING METHOD AND APPARATUS
WO2018062702A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
CN118741103A (zh) 2016-10-04 2024-10-01 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
CN116634180A (zh) * 2016-10-04 2023-08-22 株式会社Kt 对视频进行编码和解码的方法、视频数据的发送方法
WO2018066863A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP6895247B2 (ja) * 2016-10-06 2021-06-30 日本放送協会 符号化装置、復号装置及びプログラム
CN117615135A (zh) * 2016-10-14 2024-02-27 世宗大学校产学协力团 影像编码/解码方法及比特流的传送方法
CN109891883B (zh) 2016-10-28 2023-08-18 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
CN117041574A (zh) 2016-10-28 2023-11-10 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
KR20180061069A (ko) 2016-11-28 2018-06-07 한국전자통신연구원 필터링을 위한 방법 및 장치
WO2018097700A1 (ko) 2016-11-28 2018-05-31 한국전자통신연구원 필터링을 위한 방법 및 장치
CN117041567A (zh) * 2016-11-29 2023-11-10 韩国电子通信研究院 图像编码/解码方法和用于存储比特流的记录介质
WO2018132150A1 (en) * 2017-01-13 2018-07-19 Google Llc Compound prediction for video coding
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
TW201842768A (zh) 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP6902604B2 (ja) 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
EP3622713B1 (en) * 2017-05-09 2024-11-13 Google LLC Directional intra-prediction coding
CN108881907A (zh) * 2017-05-16 2018-11-23 富士通株式会社 用于视频编解码的像素滤波方法和装置及视频编码方法
CN116866609A (zh) 2017-05-17 2023-10-10 株式会社Kt 用于解码图像信号的方法和用于编码图像信号的方法
AU2018276649B2 (en) 2017-05-31 2020-12-24 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
JP6770192B2 (ja) * 2017-06-01 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、符号化方法、復号装置及び復号方法
US11743456B2 (en) * 2017-07-06 2023-08-29 Lx Semicon Co., Ltd. Method and device for encoding/decoding image, and recording medium in which bitstream is stored
WO2019039806A1 (ko) 2017-08-21 2019-02-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10706492B2 (en) * 2017-09-05 2020-07-07 Texas Instruments Incorporated Image compression/decompression in a computer vision system
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
CN111247799B (zh) 2017-10-18 2022-08-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
KR102654647B1 (ko) * 2017-10-20 2024-04-04 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116156166A (zh) * 2017-10-31 2023-05-23 三星电子株式会社 图像编码方法、图像解码方法及其装置
CN107801024B (zh) * 2017-11-09 2019-07-12 北京大学深圳研究生院 一种用于帧内预测的边界滤波方法
CN118101949A (zh) 2017-11-28 2024-05-28 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
WO2019139393A1 (ko) 2018-01-15 2019-07-18 김기백 색차 성분에 관한 화면내 예측 부호화/복호화 방법 및 장치
WO2019203559A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 리그레션 모델 기반 필터링을 사용하는 영상 디코딩 방법 및 장치
KR102666666B1 (ko) * 2018-06-01 2024-05-20 삼성전자주식회사 이미지 부호화 장치 및 이미지 복호화 장치
CN112272950B (zh) * 2018-06-18 2024-07-02 交互数字Vc控股公司 帧内预测中的平面和dc模式的边界滤波
US20210144402A1 (en) 2018-06-21 2021-05-13 Kt Corporation Video signal processing method and device
WO2020004900A1 (ko) * 2018-06-25 2020-01-02 김기백 화면내 예측 방법 및 장치
CN110650349B (zh) * 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US10630979B2 (en) * 2018-07-16 2020-04-21 Tencent America LLC Reference sample padding and filtering for intra prediction in video compression
KR20230008896A (ko) * 2018-07-16 2023-01-16 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 대응하는 인코딩 및 디코딩 방법
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2020060261A1 (ko) 2018-09-20 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11159789B2 (en) 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
WO2020130628A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 다중 참조 라인 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
KR20200083315A (ko) * 2018-12-28 2020-07-08 한국전자통신연구원 화면 내 예측 모드 유도 방법 및 장치
SG11202107542RA (en) 2019-01-10 2021-08-30 Huawei Tech Co Ltd Deblocking filter for sub-partition boundaries caused by intra sub-partition coding tool
JP2022065225A (ja) * 2019-03-08 2022-04-27 シャープ株式会社 Ｌｉｃ部、画像復号装置および画像符号化装置
CN113489975A (zh) 2019-03-12 2021-10-08 Oppo广东移动通信有限公司 帧内预测方法及装置、计算机可读存储介质
WO2020209671A1 (ko) * 2019-04-10 2020-10-15 한국전자통신연구원 화면 내 예측에서 예측 모드 관련 신호를 시그널링하는 방법 및 장치
EP4018651A4 (en) * 2019-09-02 2023-02-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS OF FILTER MODIFICATION IN A GENERAL INTRA PREDICTION PROCESS
CN110944211B (zh) * 2019-11-15 2022-07-08 腾讯科技（深圳）有限公司 用于帧内预测的插值滤波方法、装置、介质及电子设备
CN111787334B (zh) * 2020-05-29 2021-09-14 浙江大华技术股份有限公司 一种用于帧内预测的滤波方法，滤波器及装置
CN113766224B (zh) * 2020-06-05 2022-11-25 杭州海康威视数字技术股份有限公司 图像增强方法及装置
CN111669584B (zh) * 2020-06-11 2022-10-28 浙江大华技术股份有限公司 一种帧间预测滤波方法、装置和计算机可读存储介质
JP7104101B2 (ja) * 2020-06-24 2022-07-20 日本放送協会 符号化装置、復号装置及びプログラム
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
KR102189259B1 (ko) * 2020-08-20 2020-12-09 인텔렉추얼디스커버리 주식회사 인트라 예측 방법 및 장치
CN120151513A (zh) * 2022-01-07 2025-06-13 杭州海康威视数字技术股份有限公司 图像编解码方法、装置及存储介质
WO2024145850A1 (zh) * 2023-01-04 2024-07-11 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2688369B1 (fr) * 1992-03-03 1996-02-09 Thomson Csf Procede de codage d'images a tres bas debit et dispositif de codage-decodage mettant en óoeuvre ce procede.
EP1289304A3 (en) * 1996-05-28 2003-07-16 Matsushita Electric Industrial Co., Ltd. Intraframe block prediction by using adjacent blocks
CN1134991C (zh) * 1997-07-31 2004-01-14 日本胜利株式会社 数字视频信号块间内插预测编码/解码装置及高效编码方法
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
WO2002067589A1 (en) * 2001-02-23 2002-08-29 Seiko Epson Corporation Image processing system, image processing method, and image processing program
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US7372999B2 (en) * 2002-09-09 2008-05-13 Ricoh Company, Ltd. Image coder and image decoder capable of power-saving control in image compression and decompression
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
AU2003248913A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Defining interpolation filters for error concealment in a coded image
US7457362B2 (en) * 2003-10-24 2008-11-25 Texas Instruments Incorporated Loop deblock filtering of block coded video in a very long instruction word processor
KR101000926B1 (ko) 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
KR101204788B1 (ko) * 2004-06-03 2012-11-26 삼성전자주식회사 영상의 공간 예측 부호화 방법, 부호화 장치, 복호화 방법및 복호화 장치
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
KR101246294B1 (ko) * 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100882949B1 (ko) * 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
KR101312260B1 (ko) 2007-01-19 2013-09-25 삼성전자주식회사 에지 영역을 효과적으로 압축하고 복원하는 방법 및 장치
US8644382B2 (en) * 2007-06-29 2014-02-04 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium
CN101409833B (zh) 2007-10-12 2012-10-03 昆山杰得微电子有限公司 去块效应滤波装置及方法
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101321290B (zh) 2008-07-17 2010-12-15 北京数码视讯科技股份有限公司 基于数字信号处理器的去块滤波方法
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
US8295360B1 (en) * 2008-12-23 2012-10-23 Elemental Technologies, Inc. Method of efficiently implementing a MPEG-4 AVC deblocking filter on an array of parallel processors
US8514942B2 (en) * 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
WO2010087157A1 (ja) 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法
JP2010183162A (ja) 2009-02-03 2010-08-19 Mitsubishi Electric Corp 動画像符号化装置
KR101379185B1 (ko) 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101302660B1 (ko) * 2009-09-14 2013-09-03 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치
EP2491718B1 (en) * 2009-10-22 2018-01-10 Thomson Licensing Methods and apparatus for dc intra prediction mode for video encoding and decoding
CN101710990A (zh) 2009-11-10 2010-05-19 华为技术有限公司 视频图像编码处理、解码处理方法和装置及编解码系统
KR20110054244A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR101623124B1 (ko) 2009-12-03 2016-05-24 에스케이 텔레콤주식회사 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8644375B2 (en) * 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
EP2547108A4 (en) * 2010-04-13 2014-07-02 Samsung Electronics Co Ltd VIDEO CODING METHOD AND VIDEO CODING DEVICE WITH PRECODING UNITS BASED ON CODING UNITS FOLLOWING A TREE STRUCTURE AND VIDEO CODING METHOD AND VIDEO ENCODING DEVICE WITH PRECODING UNITS BASED ON CODING UNITS DEFINED ACCORDING TO A TREE STRUCTURE
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101885258B1 (ko) * 2010-05-14 2018-08-06 삼성전자주식회사 비디오 신호의 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9036944B2 (en) * 2010-07-02 2015-05-19 Humax Holdings Co., Ltd. Apparatus and method for encoding/decoding images for intra-prediction coding
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
CA3014042C (en) * 2010-07-14 2021-01-05 Ntt Docomo, Inc. Low-complexity intra prediction for video coding
CN105227958B (zh) * 2010-07-20 2019-06-25 Sk电信有限公司 用于解码视频信号的解码装置
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
US10136130B2 (en) * 2010-08-17 2018-11-20 M&K Holdings Inc. Apparatus for decoding an image
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
CN106878725B (zh) * 2010-10-08 2020-03-17 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
KR20120039388A (ko) * 2010-10-15 2012-04-25 에스케이하이닉스 주식회사 반도체 소자의 제조 방법
US20130215963A1 (en) * 2010-10-26 2013-08-22 Humax Co., Ltd. Adaptive intra-prediction encoding and decoding method
TWI833626B (zh) * 2010-11-04 2024-02-21 美商Ｇｅ影像壓縮有限公司 支援區塊合併及跳越模式之圖像編碼技術及相關裝置及方法
KR102148422B1 (ko) * 2010-12-08 2020-08-28 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US9299133B2 (en) * 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
WO2012115420A2 (ko) * 2011-02-23 2012-08-30 엘지전자 주식회사 필터링을 이용한 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR102653005B1 (ko) * 2011-03-06 2024-03-29 엘지전자 주식회사 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
WO2012134204A2 (ko) * 2011-03-30 2012-10-04 엘지전자 주식회사 인 루프 필터링 방법 및 그 장치
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US9042458B2 (en) * 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
CN106851270B (zh) * 2011-04-25 2020-08-28 Lg电子株式会社 执行帧内预测的编码设备和解码设备
US20120294365A1 (en) * 2011-05-17 2012-11-22 Dong Zheng Image and video encoding and decoding
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
KR101921781B1 (ko) 2011-06-24 2018-11-23 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법, 및 부호화 데이터의 데이터 구조를 기록한 기록 매체
CN107277547B (zh) * 2011-08-29 2020-05-29 苗太平洋控股有限公司 以amvp模式对图像编码的方法
US9014265B1 (en) * 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
EP4002840A1 (en) * 2012-01-17 2022-05-25 Innotive Ltd Apparatus for applying edge offset
CN110809157B (zh) * 2012-01-18 2023-05-02 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
EP2920970A4 (en) * 2013-04-11 2016-04-20 Mediatek Inc METHOD AND APPARATUS FOR PREDICTING THE DERIVATIVE OF AN INTRA CODING VALUE
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US9883197B2 (en) * 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US20160105685A1 (en) * 2014-10-08 2016-04-14 Qualcomm Incorporated Boundary filtering and cross-component prediction in video coding
US11281392B2 (en) * 2019-08-28 2022-03-22 Micron Technology, Inc. Garbage collection in a memory component using an adjusted parameter

Also Published As

Publication number Publication date
EP3614668B1 (en) 2023-12-20
US20190110073A1 (en) 2019-04-11
US10536717B2 (en) 2020-01-14
US9591327B2 (en) 2017-03-07
JP7097192B2 (ja) 2022-07-07
KR20120140181A (ko) 2012-12-28
US20140192873A1 (en) 2014-07-10
US11711541B2 (en) 2023-07-25
US9154781B2 (en) 2015-10-06
BR112014010333B1 (pt) 2022-05-24
CN103404151B (zh) 2015-05-20
KR20120140222A (ko) 2012-12-28
US20190379905A1 (en) 2019-12-12
CA2944541C (en) 2019-01-15
EP2723078A2 (en) 2014-04-23
JP6666968B2 (ja) 2020-03-18
PL3614668T3 (pl) 2024-09-02
KR101451921B1 (ko) 2014-10-23
HUE066277T2 (hu) 2024-07-28
CA2828462C (en) 2016-11-22
CN103404151A (zh) 2013-11-20
WO2012177053A2 (ko) 2012-12-27
CN103796030B (zh) 2016-08-17
US20160198191A1 (en) 2016-07-07
US20170134748A1 (en) 2017-05-11
CA2828462A1 (en) 2012-12-27
US20230336779A1 (en) 2023-10-19
KR20130106337A (ko) 2013-09-27
JP2016040935A (ja) 2016-03-24
JP2014161037A (ja) 2014-09-04
JP7642003B2 (ja) 2025-03-07
EP2747432A1 (en) 2014-06-25
US20140205000A1 (en) 2014-07-24
JP7241148B2 (ja) 2023-03-16
KR101357640B1 (ko) 2014-02-05
JP7053696B2 (ja) 2022-04-12
US20210203986A1 (en) 2021-07-01
CA2944541A1 (en) 2012-12-27
JP6422922B2 (ja) 2018-11-14
CN103796029B (zh) 2016-05-18
KR101451923B1 (ko) 2014-10-23
US10516897B2 (en) 2019-12-24
CA3081215A1 (en) 2012-12-27
KR20140066678A (ko) 2014-06-02
BR122021025319B1 (pt) 2022-12-06
US10021416B2 (en) 2018-07-10
CA3185432A1 (en) 2012-12-27
US9900618B2 (en) 2018-02-20
US10979735B2 (en) 2021-04-13
US9225981B2 (en) 2015-12-29
CA3026271A1 (en) 2012-12-27
DK3217665T3 (da) 2019-12-16
JP2018129815A (ja) 2018-08-16
KR20130106338A (ko) 2013-09-27
CA3026266C (en) 2020-03-10
KR20140066680A (ko) 2014-06-02
EP2723078A4 (en) 2014-06-18
CA3011863C (en) 2020-06-30
CA3011853A1 (en) 2012-12-27
KR101451924B1 (ko) 2014-10-23
KR101451922B1 (ko) 2014-10-23
KR20140066679A (ko) 2014-06-02
US20190379908A1 (en) 2019-12-12
JP2023065635A (ja) 2023-05-12
BR122021025309B1 (pt) 2022-12-06
CN103796029A (zh) 2014-05-14
JP2016040934A (ja) 2016-03-24
CA2910612A1 (en) 2012-12-27
US20130301720A1 (en) 2013-11-14
KR20140062454A (ko) 2014-05-23
ES2618860T3 (es) 2017-06-22
EP3217665B1 (en) 2019-11-06
EP4307682A3 (en) 2024-04-17
US20210227256A1 (en) 2021-07-22
CA3011851C (en) 2020-06-30
CA2910612C (en) 2018-08-28
US20190110072A1 (en) 2019-04-11
CA3011871C (en) 2021-10-12
CA3011847A1 (en) 2012-12-27
BR112013021229B1 (pt) 2022-05-24
CA3011871A1 (en) 2012-12-27
CN103796030A (zh) 2014-05-14
US10904569B2 (en) 2021-01-26
US11689742B2 (en) 2023-06-27
EP2747433A1 (en) 2014-06-25
JP2014161039A (ja) 2014-09-04
JP2014520476A (ja) 2014-08-21
KR20120140182A (ko) 2012-12-28
CN103780911A (zh) 2014-05-07
CN103780911B (zh) 2019-01-25
CA3011853C (en) 2021-01-05
CA3026271C (en) 2020-03-10
JP2014161038A (ja) 2014-09-04
JP2019004491A (ja) 2019-01-10
CA3026266A1 (en) 2012-12-27
US10205964B2 (en) 2019-02-12
KR101451919B1 (ko) 2014-10-23
CA3011851A1 (en) 2012-12-27
EP2723078B1 (en) 2017-05-03
CA3081215C (en) 2023-02-07
CA3011863A1 (en) 2012-12-27
EP2757791A2 (en) 2014-07-23
JP2020080568A (ja) 2020-05-28
WO2012177053A3 (ko) 2013-04-04
CA3011847C (en) 2021-10-12
EP3614668A1 (en) 2020-02-26
JP5976793B2 (ja) 2016-08-24
BR112013021229A2 (pt) 2019-08-13
ES2973867T3 (es) 2024-06-24
US20140204998A1 (en) 2014-07-24
JP5982421B2 (ja) 2016-08-31
KR101357641B1 (ko) 2014-02-05
JP2017011735A (ja) 2017-01-12
KR20130106336A (ko) 2013-09-27
US20160198172A1 (en) 2016-07-07
KR20140062455A (ko) 2014-05-23
KR101451918B1 (ko) 2014-10-23
US20250071324A1 (en) 2025-02-27
US20160198189A1 (en) 2016-07-07
US10003820B2 (en) 2018-06-19
EP3217665A1 (en) 2017-09-13
EP2757791B1 (en) 2016-12-21
US10986368B2 (en) 2021-04-20
US10979734B2 (en) 2021-04-13
US12244855B2 (en) 2025-03-04
KR101488497B1 (ko) 2015-01-30
US20230319308A1 (en) 2023-10-05
BR112014010333A2 (pt) 2017-10-10
US9332262B2 (en) 2016-05-03
US20190379906A1 (en) 2019-12-12
EP2757791A3 (en) 2014-07-30
JP2025081630A (ja) 2025-05-27
KR101451920B1 (ko) 2014-10-23
EP4307682A2 (en) 2024-01-17
IN2014CN02639A (ko) 2015-08-07
US20190379907A1 (en) 2019-12-12
US12149737B2 (en) 2024-11-19
DK2723078T3 (en) 2017-08-28
JP2022031647A (ja) 2022-02-22

Similar Documents

Publication Publication Date Title
JP7642003B2 (ja) 映像符号化／復号化方法及びその装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20140507

Patent event code: PA01071R01D

Filing date: 20130905

Application number text: 1020130106607

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20140516

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20140507

Patent event code: PA03021R04I

Comment text: Divisional Application of Patent

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140714

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20141020

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20140714

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20141020

Comment text: Decision to Refuse Application

PX0701 Decision of registration after re-examination

Patent event date: 20141204

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20141111

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20141020

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150126

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150127

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171226

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181226

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201229

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20221110

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20231127

Start annual number: 10

End annual number: 10