[go: up one dir, main page]

KR101888333B1 - 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치 - Google Patents

연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101888333B1
KR101888333B1 KR1020180023126A KR20180023126A KR101888333B1 KR 101888333 B1 KR101888333 B1 KR 101888333B1 KR 1020180023126 A KR1020180023126 A KR 1020180023126A KR 20180023126 A KR20180023126 A KR 20180023126A KR 101888333 B1 KR101888333 B1 KR 101888333B1
Authority
KR
South Korea
Prior art keywords
block
filtering
pixel
pixels
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180023126A
Other languages
English (en)
Other versions
KR20180027458A (ko
Inventor
임정연
박중건
전병우
문주희
이영렬
김해광
한종기
양정엽
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of KR20180027458A publication Critical patent/KR20180027458A/ko
Application granted granted Critical
Publication of KR101888333B1 publication Critical patent/KR101888333B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 일 실시예에 따르면, 영상을 부호화/복호화하는 장치에 있어서, 소정의 기준에 따라, 디블록킹 필터링의 대상이 되는 화소의 개수 및/또는 위치를 P 블록과 Q 블록에 동일하게 또는 서로 다르게 정의하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.

Description

연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치{Image Encoding/Decoding Method and Apparatus Using Deblocking Filtering}
본 발명은 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상을 부호화하고 복호화하는데 있어서, 소정의 기준에 따라, 디블록킹 필터링의 대상이 되는 화소의 개수 및/또는 위치, 또는 디블로킹 필터링 방법을 P 블록과 Q 블록에 동일하게 또는 서로 다르게 정의함으로써 부호화/복호화 효율을 향상시키는 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 호칭하고 MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
H.264/AVC 표준안에서는 다양한 형태의 서브 블록을 갖는 블록 단위로 인트라/인터 예측과정을 수행하여 잔여신호를 생성하며, 생성된 잔여신호에 대해 변환 및 양자화 과정을 거쳐 더욱 비트수를 줄여 부호화를 수행하게 된다. 종래의 매크로블록을 통한 부호화를 부호화기 측면에서 살펴 보면, 입력 영상을 16×16 매크로블록 단위로 나누고, 각 매크로블록은 인터/인트라 모드에 따라 가질 수 있는 서브 매크로블록의 크기로 예측을 수행하여 잔여 블록을 생성하며, 생성된 잔여 블록은 4×4 혹은 8×8 단위의 이산 코사인 트랜스폼 (DCT: Discrete Cosine Transform)을 기반으로 설계된 정수 트랜스폼(Integer Transform)을 적용하여 주파수 계수를 생성하고, 주파수 계수를 다시 주어진 양자화 계수(QP: Quantization Parameter)에 따라 주파수 계수를 양자화한다. 그리고 트랜스폼 및 양자화 과정으로 인하여 발생하는 블록화 현상을 디블록킹 필터링을 통해 줄여줄 수 있다.
이러한 블록화 현상을 제거하기 위하여 더욱 효율적인 디블록킹 필터링을 함으로써 영상의 주관적/객관적 성능을 향상하는 알고리즘이 필요하다.
전술한 문제점을 해결하기 위해 본 발명의 실시예는 소정의 기준에 따라, 디블록킹 필터링의 대상이 되는 화소의 개수 및/또는 위치, 또는 디블로킹 필터링 방법을 P 블록과 Q 블록에 동일하게 또는 서로 다르게 정의함으로써 부호화/복호화 효율을 향상시킨다.
본 발명의 일 실시예에 따르면, 영상을 부호화/복호화하는 장치에 있어서, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 비트스트림을 발생하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하고, 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하거나 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 영상부호화기; 및 상기 비트스트림으로부터 양자화된 주파수변환 블록을 복원하고 상기 복원된 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하고 복원할 현재 블록의 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하고 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 영상복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
본 발명의 일 실시예에 따르면, 영상을 부호화하는 장치에 있어서, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 부호화하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하는 예측부호화부; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 디블록킹 필터를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
상기 소정의 판단기준은, 상기 제1블록과 상기 제2블록의 경계인 블록경계를 기준으로 한 서브블록 깊이 방향의 화소줄단위의 선형성일 수 있다.
상기 소정의 판단기준은,
상기 제1블록과 상기 제2블록의 경계인 블록경계를 기준으로 한 서브블록 깊이 방향의 서브블록 단위의 선형성일 수 있다.
선형적인 것으로 판정된 서브블록에서 필터링되는 화소의 수는 비선형인 것으로 판정된 서브블록의 필터링되는 화소의 수보다 클 수 있다.
상기 소정의 판단기준은,
상기 서브블록 내에서 대표 화소줄을 선정하고 상기 대표 화소줄에 대한 각각의 선형성을 이용하여 상기 서브블록 단위의 선형성을 구할 수 있다.
상기 제1블록 및 제2블록에 대하여 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링할 수 있다.
상기 영상 부호화 장치는, 디블록킹 필터링에 필요한 필터링 파라미터가 소정의 기설정 값으로 설정된 경우, 상기 파라미터에 대한 오프셋값을 전송하는 오프셋값 전송부를 추가로 포함할 수 있다.
상기 디블록킹 필터는, 상기 예측에 사용된 예측정보에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정할 수 있다.
상기 디블록킹 필터는, 상기 예측정보에 포함된 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정할 수 있다.
상기 디블록킹 필터는, 상기 예측이 인트라 예측인 경우 상기 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소의 필터링 방향을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 영상을 부호화하는 장치에 있어서, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 부호화하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하는 영상부호화부; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 디블록킹 필터를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
상기 제1블록과 상기 제2블록의 경계인 블록경계의 첫번째 화소의 화소변이 값을 이용하여 상기 첫번째 화소의 안쪽에 위치하는 화소의 화소변이 값을 구할 수 있다.
상기 안쪽에 위치하는 화소의 화소변이 값은 상기 첫번째 화소의 화소변이 값을 상기 블록경계 기준의 위치값으로 나눈 값일 수 있다.
상기 제1블록과 상기 제2블록의 경계인 블록경계의 첫번째 화소의 화소변이 값을 구하는 필터계수와 상기 안쪽에 위치하는 화소의 화소변이 값을 구하는 필터계수는 서로 다른 것일 수 있다.
본 발명의 일 실시예에 따르면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 비트스트림 복호부; 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환부; 복원할 현재 블록의 예측블록을 생성하는 예측부; 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 가산부; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 디블록킹 필터를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
본 발명의 일 실시예에 따르면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 비트스트림 복호부; 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환부; 복원할 현재 블록의 예측블록을 생성하는 예측부; 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 가산부; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 디블록킹 필터를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
본 발명의 일 실시예에 따르면, 영상을 부호화/복호화하는 방법에 있어서, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 비트스트림을 발생하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하고, 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하거나 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 영상부호화단계; 및 상기 비트스트림으로부터 양자화된 주파수변환 블록을 복원하고 상기 복원된 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하고 복원할 현재 블록의 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하고 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 영상복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
본 발명의 일 실시예에 따르면, 영상을 부호화하는 방법에 있어서, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 부호화하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하는 예측부호화단계; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 디블록킹 필터링 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명의 일 실시예에 따르면, 영상을 부호화하는 방법에 있어서, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 부호화하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하는 영상부호화단계; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 디블록킹 필터링 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명의 일 실시예에 따르면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 비트스트림 복호단계; 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환단계; 복원할 현재 블록의 예측블록을 생성하는 예측단계; 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 가산단계; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 디블록킹 필터링 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
본 발명의 일 실시예에 따르면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 비트스트림 복호단계; 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환단계; 복원할 현재 블록의 예측블록을 생성하는 예측단계; 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 가산단계; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 디블록킹 필터링 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
본 발명에 의하면, 영상 부호화/복호화 장치에서 소정의 기준에 따라, 디블록킹 필터링의 대상이 되는 화소의 개수 및/또는 위치, 또는 디블로킹 필터링 방법 등을 P 블록과 Q 블록에 동일하게 또는 서로 다르게 정의함으로써 부호화/복호화 효율을 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
도 2는 디블록킹 필터링 대상이 되는 블록 P와 블록 Q를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 디블록킹 필터링 구현예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디블록킹 필터링 구현예를 설명하기 위한 도면이다.
도 5는 블록 단위의 선형성 결정 예를 도시한 도면이다.
도 6은 블록 단위의 추가적인 선형성 결정 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
도 8은 필터링을 적용할 대상 화소를 결정하는 과정을 예시하는 도면이다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 예측부(Predictor, 110), 감산부(Subtracter, 120), 변환 및 양자화부(Transformer and Quantizer, 130), 스캐너(Scanner, 140), 비트스트림 생성부(Bitstream Generator, 150), 역양자화 및 역변환부(Inverse Quantizer and Transformer, 160), 가산부(Adder, 170) 및 디블록킹 필터(Deblocking Filter, 180)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(100)는 개인용 컴퓨터(PC: Personal Computer), TV, 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 단말기(Wireless Terminal), 디지털 TV 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
부호화하고자 하는 입력 영상은 블록 단위로 입력될 수 있는데, 본 발명의 일 실시예에서, 블록의 형태는 M×N일 수 있으며, 여기서, M과 N은 2n(단, n은 1 이상의 정수임)의 값을 가지는 자연수일 수 있는데, 특히 M과 N은 각각 16보다 클 수 있으며 M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다. 또한, 부호화할 프레임마다 다른 형태의 블록을 이용할 수 있으며, 이에 대한 정보인 블록 타입에 대한 정보를 각 프레임마다 부호화하여, 영상 복호화 장치에서 부호화된 데이터를 복호화할 때 복호화할 프레임의 블록의 형태를 알 수 있도록 할 수 있다. 어떠한 형태의 블록을 이용할지에 대한 결정은 현재 프레임을 다양한 형태의 블록으로 부호화하여 최적의 효율을 내는 블록의 형태를 선택하거나, 프레임의 특성을 분석하여 분석된 특성에 따라 블록의 형태를 선택할 수 있다. 예를 들면, 프레임의 영상이 가로 방향의 상관성이 높으면 가로 방향으로 긴 형태의 블록이 선택될 수 있고, 세로 방향의 상관성이 높으면 세로 방향으로 긴 형태의 블록이 선택될 수 있다.
이를 위해, 영상 부호화 장치(100)는 블록 타입을 결정하고 블록 타입에 대한 정보를 부호화하여 부호화 데이터에 포함시키는 블록 타입 결정기(미도시)를 추가로 포함하여 구성될 수 있다.
한편 본 발명의 예측부호화부는 예측부(110), 감산부(120), 변환 및 양자화부(130), 스캐너(140), 비트스트림 생성부(150), 역양자화 및 역변환부(160) 및 가산부(170)를 포함하여 구성될 수 있다.
예측부(110)는 입력 영상에서 현재 부호화하고자 하는 블록(이하에서는 '현재 블록(Current Block)'이라 칭함)을 예측하여 예측 블록(Predicted Block)을 생성한다. 즉, 예측부(110)는 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction) 등을 이용하여 입력 영상의 현재 블록을 예측함으로써 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 가지는 예측 블록을 생성한다.
이때, 예측 화소값을 최적화하기 위해, 필요에 따라 블록은 더 작은 형태의 블록으로 나뉘어져 예측될 수 있다. 즉, 블록으로부터 분할된 서브블록(Subblock) 단위로 예측 블록이 생성될 수 있다. 여기서, 블록은 전술한 바와 같이 정사각형 혹은 직사각형 형태를 가지는 MxN 형태의 블록일 수 있으며, 서브블록은 현재 블록의 크기를 넘어서지 않는 범위 내에서 가로와 세로 각각 2p, 2q 크기를 가지는 블록일 수 있다(단, p와 q는 같은 값이거나 서로 다른 값일 수 있다).
감산부(120)는 현재 블록에서 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성할 수 있다. 즉, 감산부(120)는 현재 블록의 각 화소의 원 화소값 (Original Pixel Value)과 예측 블록의 각 화소의 예측 화소값의 차이값을 계산하여 잔여 신호(Residual Signal)를 가지는 잔여 블록을 생성한다.
변환 및 양자화부(130)는 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하고, 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화할 수 있다.
이때, 현재 블록, 예측 블록 및 잔여 블록의 크기와 변환 및 양자화의 대상이 되는 변환 블록의 크기는 다를 수 있다. 변환 및 양자화의 대상이 되는 변환 블록의 크기는 잔여 블록의 크기를 초과하지 않는 범위 내에서 선택될 수 있다. 또 다른 경우에는 잔여 블록의 크기를 초과하는 변환 및 양자화의 대상이 되는 변환 블록의 크기를 선택할 수도 있다. 여기서 변환 블록이라 함은 변환의 단위가 되는 블록을 의미하고 변환계수 또는 화소값들로 이루어진다. 예컨대 RxS 크기의 변환을 이용하여 부호화된 RxS 변환계수블록 또는 RxS 크기의 역변환을 이용하여 복호된 RxS 화소블록을 의미한다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 4x4, 8x4, 4x8, 8x8, 16x8, 8x16, 16x16 등 이용가능한 복수의 변환들을 사용하여 잔여 블록을 변환한 후 그 중 가장 부호화 효율이 높은 변환을 최종적으로 선택할 수 있다.
예컨대, 인트라 예측 또는 인터 예측이 16x16 블록 단위로 수행되는 경우, 현재 블록, 예측 블록 및 잔차 블록은 모두 16x16 크기를 가질 수 있다. 16x16 잔차 블록을 입력받은 변환 및 양자화부(130)는 16x16 잔차 블록을 두 개의 16x8 서브블록으로 나눈 후 16x8 변환을 수행하여 두 개의 16x8 변환계수 블록을 출력할 수 있다.
변환 및 양자화부(130)는 잔여 블록의 잔여 신호를 주파수 영역(Frequency Domain)으로 변환하여 변환 계수(Transform Coefficient)를 가지는 잔여 블록을 생성하고 양자화하여 양자화된 변환 계수를 가지는 변환 및 양자화된 잔여 블록(Transformed and Quantized Residual Block)을 생성한다.
여기서, 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 트랜스폼 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform, 이하 '정수 변환'이라고 약칭함) 등과 같은 공간 영역의 영상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
스캐너(140)는 변환 및 양자화부(130)에 의해 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캐닝(Scanning)하여 양자화 변환 계수열을 생성한다. 이때, 스캐닝 방식은 변환 기법, 양자화 기법, 블록(현재 블록 또는 서브블록)의 특성을 고려하며, 스캐닝 순서는 스캐닝한 양자화 변환 계수열이 최소의 길이가 되도록 결정될 수 있다. 도 1에서는 스캐너(140)가 비트스트림 생성부(150)와 독립적으로 구현되는 것으로 도시하고 설명하지만, 스캐너(140)는 생략되어 그 기능이 비트스트림 생성부(150)에 통합될 수 있다.
비트스트림 생성부(150)는 변환 및 양자화된 주파수계수 블록을 부호화하여 부호화 데이터를 생성한다. 즉, 비트스트림 생성부(150)는 변환 및 양자화부(130)에 의해 변환 및 양자화된 주파수계수 블록의 계수들을 스캔하여 생성되는 양자화 변환 계수열을 부호화하여 부호화 데이터를 생성하거나 스캐너(140)에 의해 스캔되어 생성되는 양자화 변환 계수열을 부호화하여 부호화 데이터를 생성한다.
이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 이용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 또한, 비트스트림 생성부(150)는 양자화 변환 계수열을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 여기서, 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들이란 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다.
역양자화 및 역변환부(160)는 변환 및 양자화부(130)에 의해 변환 및 양자화된 주파수계수 블록을 역양자화(Inverse Quantization)하고 역변환(Inverse Transform)하여 잔여 블록을 복원(Reconstruction)한다. 역양자화와 역변환은 변환 및 양자화부(130)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화 및 역변환부(160)는 변환 및 양자화부(140)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 변환 및 양자화부(130)가 변환 및 양자화한 방식을 역으로 수행하여 역양자화 및 역변환을 수행할 수 있다.
가산부(170)는 예측부(110)에 의해 예측된 예측 블록과 역양자화 및 역변환부(160)에 의해 역양자화 및 역변환된 잔여 블록을 가산하여 현재 블록을 복원한다.
디블록킹 필터(180)는 가산부(170)에 의해 복원되는 블록을 디블록킹 필터링한다. 한편, 디블록킹은 블록별로 그때 그때 할 수도 있고, 프레임단위로 모아 한꺼번에 할 수도 있는 등 다양한 구현이 가능하며, 본 발명의 디블록킹 필터링의 단위는 본 실시예에서의 설명에 한정되지 않는다.
디블록킹 필터(180)는 영상의 블록 단위의 예측, 변환 및 양자화에 의해 블록 경계 또는 변환 경계에서 발생하는 블록화 현상(Blocking Effects)을 감소시킨다. 한편, 디블록킹 필터(180)는 복원된 현재 블록과 함께 전송되는 변환 및 양자화 타입에 대한 정보를 이용하여 필터링할 수 있다. 이 변환 및 양자화 타입에 대한 정보는 디블록킹 필터(180)로 전달될 수 있다.
디블록킹 필터(180)는 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링, 및/또는, 제1블록과 제2블록의 경계인 블록경계를 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링 한다. 또한, 소정의 판단기준은, 제1블록과 제2블록의 경계인 블록경계를 기준으로 한 서브블록 깊이 방향의 화소줄단위의 선형성일 수도 있으며, 소정의 판단기준은, 제1블록과 제2블록의 경계인 블록경계를 기준으로 한 서브블록 깊이 방향의 서브블록 단위의 선형성일 수도 있다. 여기서 프레임의 의미는 디블록킹이 이루지는 단위를 의미하며 블록 또는 블록의 집합으로 프레임을 형성할 수 있다. 또한 서브블록의 의미는 디블록킹이 이루어지는 프레임 내에서 나누어진 소정의 블록 단위(예를 들어, 예측 단위 또는 변환-양자화의 단위)를 의미할 수 있다. 이하의 디블록킹 필터링의 설명 시에 블록이란 용어를 사용하는 경우에 이는 프레임 내의 서브블록을 의미할 수 있다. 이는 후술하는 영상 복호화(700) 장치에서의 디블록킹 필터(760)에서도 동일하다.
여기서 필터링 방법을 결정하는 소정의 판단기준은, P, Q블록의 상대적인 블록 크기일 수도 있고, 후술하는 선형성 등을 의미할 수도 있으며, 본 발명은 다양한 소정의 판단기준에 따라 블록단위로 또는 줄단위로 필터링 되는 화소의 개수 또는 위치를 변경할 수 있다.
전술한 블록화 현상을 없애기 위한 방법으로 디블록킹 필터(180)를 사용하는데, 블록(M×N 매크로블록일 수 있다.)과 블록 경계, 변환 및 양자화부(130)에서 결정된 블록 내의 RxS 변환 크기에 따라 변환과 변환의 경계, 블록과 변환의 경계에도 필터링을 수행할 수 있다. RxS의 형태는 정사각형 혹은 직사각형의 변환 형태를 모두 말하는 것이고, 블록화 현상은 변환 단위에 따라 변환 및 양자화를 수행함으로써 발생할 수 있으며, 이러한 블록화 현상을 없애기 위해 블록의 경계와 변환 경계에 모두 디블록킹 필터를 적용할 수 있다. 결과적으로 블록의 형태와 변환 형태에 따른 경계에 대해서 필터링을 적용할 수 있다. 여기서, 블록의 경계란 예측의 경계일 수 있으며, 변환경계 및/또는 예측경계에 대하여 디블로킹 필터링의 적용은 일부 조건의 충족시에 적용하도록 구현할 수 있다. 예를 들어, 양자화된 0이 아닌 변환계수가 없는 경우에는 디블로킹 필터링을 적용하지 않을 수 있다.
도 2는 디블록킹 필터링 대상이 되는 블록 P와 블록 Q를 예시한 도면이다.
도 2에 도시된 바와 같이, 디블록킹 필터(180)는 P 블록과 Q 블록 사이의 경계를 위한 디블록킹 필터링을 수행하는 경우, P 블록과 Q 블록에 포함된 화소줄(예를 들어, 도 2의 첫번째 화소줄 (p3,0 ~ q3,0)을 사용하여 설명한다. 이런 하나의 화소줄을 편의상 p3 ~ q3라 하자)에 대해 동일한 개수 및/또는 위치의 화소를 수정(본 실시 예 설명에서는 경계를 기준으로 2개의 화소를 수정)함으로써 디블록킹 필터링을 수행할 수 있다. 즉, 소정의 기준에 의한 판단과정 없이 디블록킹 필터링의 대상이 되는 화소의 개수 및/또는 위치를 P 블록과 Q 블록에서 동일하도록 정의할 수 있다. 여기서, P블록에 포함되는 화소는 p3, p2, p1, p0이고 Q블록에 포함되는 화소는 q3, q2, q1, q0이다.
도 3은 본 발명의 일 실시예에 따른 디블록킹 필터링 구현예를 설명하기 위한 도면이다. 도 3에서 실선은 필터링 전의 화소를 이은 것이고, 점선은 필터링 후의 화소를 이은 것이다.
디블록킹 필터(180)에서 수행되는 구체적인 필터링 동작은 다음과 같다.
디블록킹 필터(180)는 필터링 과정을 수행하기 위하여 <수학식 1>과 같이 △(이하 델타(delta)라 부름) 값을 연산하고, △와 △/2 처럼 P 블록과 Q 블록의 화소에 대한 화소변이값을 <수학식 2> 와 같이 적용함으로써 디블록킹 필터링을 수행할 수 있다.
Figure 112018019855247-pat00001
Figure 112018019855247-pat00002
[수학식 1]에서 Clip3(A,B,x) 함수는 x의 값이 B 보다 크면 B 값을 출력하고, x의 값이 A 보다 작으면 A 값을 출력하며, 그 이외의 경우는 x 값을 그대로 출력하는 클리핑(clipping) 함수이다. 또한 <수학식 1>에서 p0, q0, p1, q1은 필터링 전의 값이고 p0', q0', p1', q1'은 필터링 후의 값이다. <수학식 1>에서 필터링 계수로서 "(q0-p0)<<2"에 사용된 2는 (q0-p0)를 좌측으로 2bit 시프트한 것을 의미하므로 곱하기 4에 해당하며, "(q1-p1)"는 곱하기 1이므로 (4, 1)은 필터계수이다. 수학식 1의 제일 뒤의 "<<3"은 우측으로 3비트 시프트를 의미하므로 필터계수를 (4/8. 1/8)로 볼 수도 있다. 또한, "(q1-p1)+4"에서 더해진 값 4는 필터링된 결과치를 정수화시키기 위한 오프셋 값이다. 따라서, (4, 1, 4) 또는 (4/8, 1/8, 4/8)를 필터계수라고 볼 수 있다. 이 모든 필터계수는 필터구현의 하나의 실현예를 보여주는 것이므로, <수학식1> 에 기술된 것과 다른 필터계수를 사용하는 것도 가능하다. 이는 뒤에 나올 다른 필터들에 대하여도 마찬가지로 예시된 수학식에 한정되지 않고 다른 계수들을 사용한 것을 적용이 가능하다. 또한, 휘도신호(Luma) 값과 색차신호(Chroma) 값에 대하여, 동일한 필터계수를 사용하도록 함으로써 디블록킹 필터링을 간단하게 구현할 수 있다.
또한 tc 값은 큰 값을 채택하여 강한 필터링을 할 수도 있고, 작은 값을 택하여 약한 필터링을 할 수도 있으며, tc 값에 의해 화소변이 범위가 조절될 수 있다. tc 값과 같은 필터링 파라미터는 사용자에 의해 미리 정의될 수도 있고, 영상 부호화 장치에서 영상 복호화 장치로 전송될 수도 있으며, 사용자에 의하여 기설정 값이 설정된 후에 필요에 따라 영상 부호화 장치에서 영상 복호화 장치로 오프셋 값을 전송하여 조금씩 보정하는 방법으로 그 값을 설정할 수도 있다. 이러한 오프셋 값은 디블록킹 필터(180) 또는 별도의 오프셋값 전송부(도시하지 않음)를 이용하여 영상 복호화 장치로 전송할 수 도 있다.
<수학식 1> 에 의하여 결정된 델타 값을 이용하여 화소변이값을 구하고 이를 사용하여 <수학식 2>와 같이 화소값을 변경한다.
<수학식 2>는 소정의 판단기준에 따라, 필터링 정도를 어떻게 변화시키는가를 보여주는 구체적 하나의 실현예로서 화소위치별로 서로 다른 화소 변이 값을 사용한 예이다. 즉, 필터링 되는 화소의 위치가 소정의 판단기준이 되며, 그 기준(즉, 화소의 위치)에 따라 서로 다른 화소 변이 값을 사용하도록 하여 필터링 되는 정도를 조절할 수 있다. 즉, 첫번째 화소(p0 또는 q0)를 위해서는 delta, 두번째 화소(p1 또는 q1)를 위해서는 delta/2를 필터링을 통한 화소 변이값으로 사용하는 것이다. 이렇게 함으로써, 블록 P와 블록 Q간의 경계 화소(p0 | q0)간의 차이를 최소화하는 과정에서 새롭게 발생할 수 있는 블록 P 또는 블록 Q 내부 화소 간의 경계 ( (p1 | p0 ), 또는 (q0 | q1 ))간의 차이를 최소화 할 수 있다. 즉, 종래처럼 블록 경계에서의 차이만을 최소화하게 되면 이 때문에 블록 내부에서 새로운 차이가 다시 발생할 수 있으므로 상기의 방법을 통해 이를 또한 최소화할 수 있다.
상기 블록 P와 블록 Q의 경계의 화소(p0 | q0)간의 차이를 최소화하는 과정에서 새롭게 발생할 수 있는 블록 P 또는 블록 Q 내부 화소(p1 | p0 또는 q0 | q1)간의 차이를 최소화하기 위한 또 다른 구현예로서는, <수학식 3>과 같이 블록 P 또는 블록 Q 내부 화소(p1 또는 q1)를 위한 새로운 필터링을 통해 새로운 delta 값을 연산하고, P 블록과 Q 블록의 내부 화소에 각각 적용함으로써 디블록킹 필터링을 수행하는 것이다.
Figure 112018019855247-pat00003
즉, 블록 P 내부 화소인 p1 에 대하여는 △p의 화소변이값을 사용하고 블록 Q 내부 화소인 q1에 대하여는 △q 의 화소변이값을 사용하는 것이다. 전술한 [수학식 1] 및 [수학식 2]의 실현예에서는 블록 P 및 블록 Q에 대하여 동일한 delta 값을 계산하였으나, [수학식 3]의 경우와 같이 블록 P 및 블록 Q에 대하여 각각 다른 delta 값을 계산한다.
또한, 화소변이값을 구하여 화소값을 변경하는 과정은 <수학식 2>를 이용하되, P, Q블록 화소에 대하여 <수학식 3> 에 의하여 결정된 delta 값들을 이용하도록 할 수 있다. 즉, 이 경우 p0'=p0+delta_p, q0'=q0-delta_q, p1'=p1+delta_p/2, q1'=q1-delta_q/2 가 된다.
<수학식 1> 및 <수학식 3>에 나타난 delta값 계산에 서로 같은 필터를 적용한 예를 사용하여 설명하였으나, 서로 다른 계수의 필터가 각각 적용되는 경우도 생각할 수 있다.
본 발명의 다른 실시예에 따르면, 도 2에 도시된 바와 같은 P 블록과 Q 블록의 경계를 위한 디블록킹 필터링을 수행하는 경우, P 블록과 Q 블록에 포함된 화소줄(예를 들어, 도 2의 첫번째 화소줄 p3,0 ~ q3,0를 다시 p3 ~ q3라 하자)에 대해 소정의 판단기준을 적용함으로써, P 블록과 Q 블록에 속한 화소에 대해 서로 다른 개수 및/또는 위치의 화소를 수정하는 디블록킹 필터링을 수행할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 디블록킹 필터링 구현예를 설명하기 위한 도면이다.
본 발명의 다른 실시예에서는 블록 경계를 기준으로 P 블록은 1개의 화소, Q 블록은 2개의 화소를 수정하는 예를 보여주고 있다. 즉, 전술한 바와 같이 P/Q 블록 경계기준으로 각각 양쪽에 동일 개수(예, 두개)의 화소를 필터링을 통하여 화소값을 변경할 수도 있으나, 본 실시예에서와 같이 경계기준으로 양쪽 블록에 서로 다른 개수의 화소를 변경하는 것이 바람직할 경우도 있다.
도 4를 참조하면, Q블록의 필터링전 화소들은 평탄한 반면, P 블록은 p1 화소에서 주변화소에 비해 돌출된 값이 있다. 이 경우 영상에 따라 P블록 쪽은 가장 경계에 있는 p0 화소만을 필터링하고, Q블록에 대해서는 경계에 면한 2개의 화소를 필터링하는 것이 주관적 화질을 더 좋게 할 수 있다. 즉, 소정의 판단기준에 의해 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치를 P 블록과 Q 블록이 서로 다르게 정의하는 경우가 유리한 경우를 구현하는 것이다.
도 4에서의 경우 디블록킹 필터(180)에서 수행되는 구체적인 필터링 동작은 다음과 같다.
<수학식 1>을 이용하여 delta 값을 연산한 후, <수학식 4>처럼 서로 다른 개수의 P 블록 화소와 Q 블록 화소에 디블록킹 필터링을 수행한다.
Figure 112018019855247-pat00004
이 경우, 상기 소정의 판단기준(각 블록에 대해 필터링 대상이 되는 화소의 개수 및 위치를 결정하는 소정의 기준)은 적용 및 응용에 따라 다양한 방법으로 정의할 수 있으나, 상기 판단소정의 기준은 일례로, 화소의 선형성(Linearity) 정도를 측정하는 <수학식 5>과 같은 방법을 사용할 수 있다.
Figure 112018019855247-pat00005
즉, 블록 P와 블록 Q 각각에 대하여 <수학식 5>와 같이 블록경계를 기준으로 한 서브블록 깊이 방향으로 화소의 선형성(즉, dp0 및 dq0)을 측정하고 이를 소정의 문턱값(beta)과 비교한다. 예를 들어, (dp0 < beta)의 조건이 충족되면 p1 화소에 대하여 필터링을 수행하고, 그렇지 않은 경우는 p1 화소에 대하여 필터링을 수행하지 않는다. 마찬가지로 (dq0 < beta)의 조건이 충족되면 q1 화소에 대하여 필터링을 수행하고, 그렇지 않은 경우는 q1 화소에 대하여 필터링을 수행하지 않는다. 여기서 문턱값(beta)은 사전에 영상 부호화 장치 및 영상 복호화 장치에서 서로 미리 정하여진 것을 가정할 수도 있고, 양자화정도나 사용자(즉, 영상 부호화 장치 측 또는 영상 복호화 장치 측)로부터 문턱값을 다운로드한 값을 사용할 수도 있고, 사전에 미리 정하여진 값 또는 양자화정도에 의해 정해진 값 등을 설정한 후 사용자가 필요에 따라 약간의 오프셋(Offset) 조정을 하여(오프셋 값은 영상 부호화 장치 측에서 영상 복호화 장치 측으로 전송될 수 있음)값을 정하는 방법 등으로 설정되는 등 다양한 방법으로 설정될 수 있다. 이 오프셋 값은 디블록킹 필터(180) 또는 별도의 오프셋값 전송부(도시하지 않음)를 이용하여 영상 복호화 장치로 전송할 수 도 있다. 또한 블록경계를 기준으로 한 서브블록 깊이 방향이란, 도 4에 도시한 바와 같이, p0와 q0 사이에 위치하는 블록경계를 기준으로 하여 P 블록에서는 p0-> p1-> p2의 방향, Q블록에서는 q0-> q1-> q2의 방향을 의미한다.
도 5는 블록 단위의 선형성 결정 예를 도시한 도면이다.
전술한 소정의 기준에 따른 판단 과정은 <수학식 5>와 같이 화소줄 단위로 수행될 수도 있으며, 적용 및 응용에 따라 도 5 및 <수학식 6>과 같이 블록 단위(또는, 프레임 내의 서브블록 단위를 의미할 수 있음)로 수행되어 해당 블록의 모든 화소줄에 동일한 판단 결과를 일괄적으로 적용하도록 할 수도 있다.
Figure 112018019855247-pat00006
수학식 6과 같이 블록별로 일률적으로 수행하도록 하면, 각 화소줄 별로 최적의 결정을 각각 내릴 수는 없지만 각 화소줄 별로 <수학식 5>와 같은 소정의 판단을 수행하지 않아도 되므로 수행동작을 빠르게 할 수 있는 장점이 있다. <수학식 6>은 도 2에 도시한 바와 같이, 8개의 화소줄의 모임이 1개의 블록을 구성하는 경우를 예를 들어볼 때, 그 블록의 대표값으로 2번째, 5번째를 사용하는 것이다. 즉, 서브블록 내에서 대표 화소줄을 선정하고 대표 화소줄에 대한 각각의 선형성을 이용하여 서브블록 단위의 선형성을 구할 수 있다.
즉, 도 4의 예와 같이, 블록 P는 비선형적이고, 블록 Q는 선형적이라고 가정할 경우, 블록 P의 비선형성은 영상의 특성에 근거한 것이라 예상할 수 있으므로 1 개의 화소만을 필터링하고, 블록 Q는 영상의 특성상 매우 선형적이므로 디블록킹 필터링 이후에도 이러한 선형성을 유지해야 하므로 2개의 화소를 필터링하는 것이 바람직할 수도 있다.
이 경우, 도 4 및 <수학식 7>과 같은 소정의 기준에 따라, 각 화소의 위치에 따라 서로 delta 값(첫번째 화소를 위해서는 delta, 두번째 화소를 위해서는 delta/2)을 적용함으로써 블록 P와 블록 Q의 경계의 화소(p0 | q0)간의 차이를 최소화함으로써 발생할 수 있는 블록 Q 내부 화소(q0 | q1)간의 차이를 최소화한다. 수학식 7에서 경계면을 기준으로 비대칭적인 delta값을 가질 수 있음을 알 수 있다.
Figure 112018019855247-pat00007
또는, 블록 P 내부 화소(p0 | p1)간의 차이를 최소화하기 위해 블록 P의 첫번째 화소(p0)를 위한 delta 값을 조절할 수도 있다. 예를 들어, <수학식 8>과 같이, 블록 P의 첫번째 화소를 위해 delta/2를 적용할 수도 있다.
Figure 112018019855247-pat00008
즉, 디블록킹 필터링이 적용되는 화소의 개수 및/또는 위치에 따라 화소변이값을 고정하여 사용(예: 첫번째 위치의 화소는 delta, 두번째 위치의 화소는 delta/2)할 수도 있고, 디블록킹 필터링이 적용되는 화소의 개수 및/또는 위치에 따라 화소변이값을 가변적으로 사용(예를 들어, 2개의 화소가 필터링 되는 경우는 첫번째 위치의 화소는 delta, 두번째 위치의 화소는 delta/2 를 사용; 1개의 화소가 필터링 되는 경우는 delta/2를 사용)할 수도 있다.
또한, 본 발명의 실시예에서는 최대 2개의 화소가 필터링되는 것으로 예시하였으나, 본 발명의 실시예에서 언급한 방법으로 1개 이상 내지는 복수개(V 개)의 화소가 필터링될 수도 있음을 당업자는 용이하게 추론할 수 있을 것이다. 이 경우, 디블록킹 필터링이 적용되는 화소의 개수 및/또는 위치에 따라 화소변이값을 가변적으로 사용(V 개의 화소가 필터링 되는 경우는 첫번째 위치의 화소는 delta, 두번째 위치의 화소는 delta/2, …, V 번째 위치의 화소는 delta/V)할 수 있다. 이때, 동일한 delta 값에 V 개의 화소의 각 위치에 따라 결정되는 가중치를 곱하여 화소변이값을 사용하도록 할 수 있다.
여기서 가중치는 사전에 영상 부호화 장치 및 영상 복호화 장치에서 서로 미리 정하여진 것을 가정할 수도 있고, 사용자(즉, 영상 부호화 장치 측)가 보내줄 수 있다. 또는 각각의 화소의 개수 및/또는 위치에 따라 새로운 delta를 연산하는 방법으로 디블록킹 필터링을 수행할 수 있다.
전술한 화소의 개수 및/또는 위치를 결정하는 소정의 판단 기준을 위해 <수학식 5> 또는 <수학식 6>와 같은 선형성 판단 기준이 그대로 적용될 수 있으나, 경우에 따라 (예를 들어, V의 크기가 매우 큰 경우) <수학식 9>와 같은 추가적인 기준이 적용될 수도 있다.
Figure 112018019855247-pat00009
도 6은 블록 단위의 추가적인 선형성 결정 예를 도시한 도면이다.
수학식 9에서의 기준은 화소줄별로 적용되지만, <수학식 10>을 사용하여 도 6과 같이 블록 단위로 일률적으로 적용될 수도 있다. 이는 필터링 수행동작을 간단히 하기 위함이다.
Figure 112018019855247-pat00010
또는 서로 다른 특성(예를 들어, 필터링 참여 화소 개수 및/또는 위치, 필터링 강도 등)을 갖는 다수의 필터를 구비하고, 소정의 판단기준에 따라 소정의 단위(예를 들어, 화소줄 단위, 블록 단위 등)별로 서로 다른 필터를 적용할 수 있다. 즉, <수학식 1>과 같이 하나의 필터를 정의하여 delta 값을 계산하고 서로 다른 화소변이값을 사용함으로써 디블록킹 필터링을 수행할 수도 있고, <수학식 1> 및 <수학식 11>과 같이 서로 다른 특성을 갖는 필터를 하나 이상 구비하고, 소정의 판단기준에 따라 소정의 단위로 서로 다른 필터를 적용할 수 있다. 또한, 휘도신호(Luma) 값과 색차신호(Chroma) 값에 대하여, 동일한 필터계수를 사용하도록 함으로써 디블록킹 필터링을 간단하게 구현할 수 있다.
Figure 112018019855247-pat00011
이 경우, 필터의 특성에 따라 상기 소정의 판단기준이 정의될 수 있다. 즉, <수학식 5>와 같은 선형성이 판단의 기준이 될 수 있으며, 추가적으로 <수학식 9>와 같은 기준이 추가되어 판단될 수도 있다. 또는 전혀 새로운 소정의 기준이 정의될 수도 있다.
전술하였듯이, 소정의 판단기준은, P, Q블록의 상대적인 블록 크기일 수도 있고, 후술하는 선형성 등을 의미할 수도 있다. 예를 들어, 서브 블록의 크기 또는 모양(직사각형/정사각형; 가로로 긴 직사각형, 세로로 긴 직사각형 등)에 의거하여 필터링 방법을 달리 할 수 있다.
예를 들어, 디블록킹 필터(180)는, 예측정보(예컨대, 인트라 예측정보 또는 인터 예측정보)에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정할 수 있다. 여기서 의미하는 인트라 예측정보 또는 인터 예측정보는 서브 블록의 크기 또는 모양을 의미하는 것일 수 있다. 또는 예측정보(인터 예측인 경우)는 인터예측에 사용된 움직임벡터, 참조인덱스 정보 등일 수도 있다. 도 8의 예시와 같이, 필터링의 대상이 되는 화소의 개수가 블록 P와 블록 Q가 서로 다를 경우, 블록 P와 블록 Q에 서로 다른 필터링 방법을 사용할 수 있다. 즉, 이 경우 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 필터링 대상 화소의 개수를 결정할 수 있다. 도 8에서와 같이 필터링의 대상이 되는 화소의 개수는 블록 P가 4개, 블록 Q가 6 개가 되도록 할 수 있다. 또한 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 필터링 대상 화소의 개수를 결정할 수도 있다. 즉, 도 8에서 필터링이 수행되는 화소의 개수는 블록 P가 2개, 블록 Q가 4 개가 되도록 할 수 있다.
또한, 디블록킹 필터(180)는, 인트라 예측정보에 포함된 인트라 예측모드의 방향성에 근거하여 대상 화소의 위치(즉, 필터링 방향)을 결정할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 도 1을 통해 전술한 영상 부호화 장치(100)와 같이, 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, TV, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 단말기(Wireless Terminal), 디지털 TV 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 비트스트림 복호부(710), 역스캐너(720), 역양자화 및 역변환부(730), 예측부(740), 가산부(750) 및 디블록킹 필터(760)를 포함하여 구성될 수 있다. 여기서, 일부 구성요소는 구현 방식에 따라 선택적으로 생략될 수 있으며, 역스캐너(720)가 생략되는 경우에는 그 기능이 비트스트림 복호부(710)에 통합되어 구현될 수 있다.
비트스트림 복호부(710)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원한다. 즉, 비트스트림 복호부(710)는 부호화 데이터를 복호화하여 양자화 변환 계수열을 복원하는데, 영상 부호화 장치(100)에서 스캐너(140)의 기능이 비트스트림 생성부(150)에 통합되어 구현된 경우 영상 부호화 장치(700)에서도 역스캐너(720)는 생략되어 그 기능이 비트스트림 복호부(710)에 통합되어 구현되므로, 비트스트림 복호부(710)는 복원된 양자화 변환 계수열을 역스캐닝하여 변환 및 양자화된 잔여 블록을 복원할 수 있다.
또한, 비트스트림 복호부(710)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 포함될 수도 있다.
블록 타입에 대한 정보는 역양자화 및 역변환부(730)와 예측부(740)로 전달될 수 있으며, 변환 및 양자화 타입에 대한 정보는 역양자화 및 역변환부(730)로 전달될 수 있으며, 인트라 예측 모드에 대한 정보와 움직임 벡터에 대한 정보와 같은 예측에 필요한 정보들은 예측부(740)로 전달될 수 있다.
역스캐너(720)는 비트스트림 복호부(710)에서 양자화 변환 계수열을 복원하여 전달하면 양자화 변환 계수열을 역스캐닝하여 변환 및 양자화된 잔여 블록을 복원한다.
역스캐너(720)는 추출된 양자화 계수열을 역 지그재그 스캔 등 다양한 역스캐닝 방식으로 역스캐닝하여 양자화 계수를 갖는 잔여 블록을 생성한다. 이때의 역스캐닝 방식은 비트스트림 복호부(710)에서 변환의 크기에 대한 정보를 얻어 이에 해당하는 역스캐닝 방법을 사용하여 잔여 블록을 복원하게 된다.
전술한 바와 같이, 영상 부호화 장치(100)에서 스캐너(140)의 기능이 비트스트림 생성부(150)에 통합되어 구현된 경우 영상 부호화 장치(700)에서도 역스캐너(720)는 생략되어 그 기능이 비트스트림 복호부(710)에 통합될 수 있다. 또한, 비트스트림 복호부(710) 또는 역스캐너(720)는 비트스트림 복호부(710)에서 부호화 데이터를 복호화하여 복원되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역스캐닝한다. 여기서, 역스캐너(720)가 변환 및 양자화 타입에 따라 역스캐닝하는 방법은 영상 부호화 장치(100)에서의 스캐너(140)가 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캐닝하는 방법을 역으로 수행하는 것과 동일 또는 유사하므로, 역스캐닝하는 방법에 대한 상세한 설명은 생략한다.
역양자화 및 역변환부(730)는 복원되는 변환 및 양자화된 잔여 블록을 역양자화 및 역변환하여 잔여 블록을 복원한다. 이때, 역양자화 및 역변환부(730)는 비트스트림 복호부(710)로부터 전달되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역양자화 및 역변환을 수행한다. 여기서, 역양자화 및 역변환부(730)가 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역양자화 및 역변환하는 방법은 영상 부호화 장치(100)의 변환 및 양자화부(730)에서 변환 및 양자화 타입에 따라 변환 및 양자화하는 과정을 역으로 수행하는 것과 동일 또는 유사하므로, 역양자화 및 역변환하는 방법에 대한 상세한 설명은 생략한다.
예측부(740)는 현재 블록에 대한 예측 블록을 생성한다. 여기서, 예측부(740)는 비트스트림 복호부(710)로부터 전달되는 블록 타입에 대한 정보와 예측에 필요한 정보를 이용하여 현재 블록을 예측한다. 즉, 예측부(740)는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따라 현재 블록의 크기와 형태를 결정하고, 예측에 필요한 정보에 의해 식별되는 인트라 예측 모드 또는 움직임 벡터를 이용하여 현재 블록을 예측하여 예측 블록을 생성한다. 이때, 예측부(740)는 현재 블록을 서브블록으로 분할하고 분할된 서브블록별로 예측하여 생성되는 예측 서브블록을 결합하여 예측 블록을 생성할 수 있다.
가산부(750)는 역양자화 및 역변환부(730)에 의해 복원되는 잔여 블록과 예측부(740)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다.
디블록킹 필터(760)는 가산부(750)에 의해 복원되는 현재 블록을 필터링하고, 복원되어 필터링된 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 메모리(미도시) 등에 저장되어 예측부(740)에서 다음 블록 또는 다음 픽처를 예측할 때 활용된다.
디블록킹 필터(760)는 가산부(750)에 의해 복원되는 현재 블록을 필터링한다. 디블록킹 필터(760)가 복원되는 현재 블록을 필터링하는 방법은 영상 부호화 장치(100)에서의 디블록킹 필터(180)가 현재블록을 필터링하는 방법과 동일 또는 유사한 동작을 수행하므로 더 이상의 상세한 설명은 생략한다.
한편, 디블록킹 필터링에 필요한 필터링 파라미터가 소정의 기설정 값으로 설정된 경우, 영상 부호화 장치에서 해당 파라미터에 대한 오프셋값을 비트스트림으로 전송하는 경우 영상 복호화 장치는 이를 수신하는 오프셋값 수신부(도시하지 않음)를 포함하여 구성될 수 있다. 디블록킹 필터(760)는 여기서 수신된 오프셋값을 이용하여 디블록킹 필터링을 수행할 수 있다. 한편, 오프셋값 수신부(도시하지 않음)는 독작적인 모듈로 구성할 수도 있으나 오프셋값 수신부(도시하지 않음)의 기능을 비트스트림 복호부(710)에 통합하여 구성될 수도 있다.
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 1의 영상 부호화 장치(100)의 비트스트림(부호화 데이터) 출력단을 도 7의 영상 복호화 장치(700)의 비트스트림 입력단을 연결함으로써 구현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 현재 블록을 예측하여 예측 블록을 생성하는 예측부(110), 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 감산부(120), 현재 블록의 블록 타입에 따라 선택되는 변환 및 양자화 타입을 결정하고, 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화하는 변환 및 양자화부(130), 변환 및 양자화된 잔여 블록을 부호화하여 부호화된 영상 데이터를 생성하는 비트스트림 생성부(150), 변환 및 양자화된 잔여 블록을 역 양자화 및 역변환하여 잔여 블록을 복원하는 역양자화 및 역변환부(160), 복원된 잔여 블록에 예측 블록을 가산하여 복원 블록을 발생하는 가산부(170), 복원 블록에 필터링을 수행하는 디블록킹 필터(180)를 포함하는 영상 부호화 장치(100)(본 발명의 일 실시예에서의 영상 부호화/복호화 장치에서의 영상 부호화기를 구현)와, 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원하는 비트스트림 복호부(710), 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환부(730), 현재 블록을 예측하여 예측 블록을 생성하는 예측부(740), 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산부(750), 복원된 현재 블록과 인접하는 블록 간의 경계 영역을 필터링하는 디블록킹 필터(760)를 포함하는 영상 복호화 장치(700)(본 발명의 일 실시예에서 따른 영상 부호화/복호화 장치에서의 영상 복호화기를 구현)를 구비할 수 있다.
본 발명의 일 실시예에 따른 영상을 부호화하는 방법은, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 부호화하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하는 영상부호화단계; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 디블록킹 필터링 단계를 포함한다. 경우에 따라서 디블록킹 필터링에 필요한 필터링 파라미터가 소정의 기설정 값으로 설정된 경우, 상기 파라미터에 대한 오프셋값을 전송하는 오프셋값 전송단계를 추가로 포함할 수 있다.
여기서 디블록킹 필터링 단계는 나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링할 수도 있다.
여기서, 영상부호화단계는 영상부호화부의 기능에, 디블록킹 필터링 단계는 디블록킹 필터(180)의 기능에 각각 대응되므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상을 복호화하는 방법은, 비트스트림으로부터 양자화된 주파수변환 블록을 생성하는 비트스트림 복호단계; 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환단계; 복원할 현재 블록의 예측블록을 생성하는 예측단계; 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 가산단계; 및 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 디블록킹 필터링 단계를 포함한다. 경우에 따라서, 디블록킹 필터링에 필요한 필터링 파라미터가 소정의 기설정 값으로 설정된 경우, 상기 파라미터에 대한 오프셋값을 수신하는 오프셋값 수신단계를 추가로 포함할 수 있다.
여기서, 비트스트림 복호단계는 비트스트림 복호부(710)의 동작에 대응되며, 역양자화 및 역변환단계는 역양자화 및 역변환부(730)의 동작에 대응되며, 예측단계는 예측부(750)의 동작에 대응되며, 가산단계는 가산부(740)의 동작에 대응되며, 디블록킹 필터링 단계는 디블록킹 필터(760)의 기능에 대응되므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재블록을 예측하여 예측블록을 생성하고 상기 현재블록에서 상기 예측블록을 감산하여 잔차블록을 생성하고 상기 잔차블록을 변환 및 양자화하여 비트스트림을 발생하고 상기 변환 및 양자화된 잔차블록을 역양자화 및 역변환하여 잔차블록을 복원하고 상기 복원된 잔차블록에 상기 예측블록을 가산하여 현재블록을 복원하고, 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하거나 상기 제1블록과 상기 제2블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 필터링하는 영상부호화단계; 및 상기 비트스트림으로부터 양자화된 주파수변환 블록을 복원하고 상기 복원된 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하고 복원할 현재 블록의 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하고 하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 필터링하는 영상복호화단계를 포함한다.
본 발명의 실시예에서 필터링하는 블록의 경계가 좌측 블록과 우측 블록 사이의 경계인 것으로 예시되었으나, 상측 블록과 하측 블록 사이의 경계에 대하여도 동일한 방법으로 필터링을 수행할 수 있다.
*본 발명의 실시예를 구성하는 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 소정의 기준에 따라, 디블록킹 필터링의 대상이 되는 화소의 개수 및/또는 위치, 또는 디블로킹 필터링 방법을 P 블록과 Q 블록에 동일하게 또는 서로 다르게 정의함으로써 부호화/복호화 효율을 향상시키는 효과가 있어서 매우 유용한 발명이다.

Claims (4)

  1. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 양자화된 주파수변환블록을 생성하는 단계;
    상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차블록을 복원하는 단계;
    현재 블록에 상응하는 예측블록을 생성하는 단계;
    상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 현재 블록을 복원하는 단계; 및
    하나 이상의 복원된 현재블록을 포함하는 프레임 내에서 서브블록 사이의 필터링을 위하여 필터링에 참여하는 제1블록 및 제2블록에 대하여 소정의 판단기준에 따라 필터링되는 제1블록의 화소수와 제2블록의 화소수가 서로 다르도록 디블록킹 필터링하는 단계를 포함하고,
    상기 소정의 판단기준은,
    상기 제1 블록과 상기 제2 블록의 경계인 블록경계를 기준으로 한 서브블록 깊이 방향의 서브블록 단위의 선형성을 포함하고,
    상기 서브블록 단위의 선형성은,
    상기 블록 경계로부터 첫 번째 위치에 위치하는 제1 픽셀 및 상기 블록 경계로부터 세 번째 위치에 위치하는 제3 픽셀의 합과, 상기 블록 경계로부터 두 번째 위치에 위치하는 제2 픽셀에 2를 곱한 값 사이의 차를 이용하여 생성된 절대값들에 기반하여 생성되고,
    상기 서브블록 단위의 선형성은,
    둘 이상의 대표 화소줄들에 상응하는 둘 이상의 상기 절대값들을 기반으로 산출되고,
    상기 디블록킹 필터링은
    화소값에 합산되는 화소변이 값을 이용하여 수행되는 것을 특징으로 하는 영상 복호화 방법.
  2. 청구항 1에 있어서,
    선형적인 것으로 판정된 서브블록에서 필터링되는 화소의 수는 비선형인 것으로 판정된 서브블록의 필터링되는 화소의 수보다 큰 것을 특징으로 하는 영상 복호화 방법.
  3. 청구항 2에 있어서,
    상기 서브블록 단위의 선형성은,
    상기 서브블록 내에서 두 개의 대표 화소줄을 선정하고, 상기 두 개의 대표 화소줄들의 선형성들을 합하여 구해지는 것을 특징으로 하는 영상 복호화 방법.
  4. 청구항 3에 있어서,
    상기 제1 블록 및 제2 블록에 대하여 상기 제1 블록과 상기 제2 블록의 경계인 블록경계 기준으로 화소의 위치에 따라 다른 화소변이 값을 이용하여 상기 디블록킹 필터링을 수행하는 영상 복호화 방법.
KR1020180023126A 2011-07-22 2018-02-26 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치 Active KR101888333B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110073306 2011-07-22
KR20110073306 2011-07-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110093139A Division KR101834541B1 (ko) 2011-07-22 2011-09-15 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180027458A KR20180027458A (ko) 2018-03-14
KR101888333B1 true KR101888333B1 (ko) 2018-08-13

Family

ID=47840760

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020110093139A Active KR101834541B1 (ko) 2011-07-22 2011-09-15 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR1020180023126A Active KR101888333B1 (ko) 2011-07-22 2018-02-26 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020110093139A Active KR101834541B1 (ko) 2011-07-22 2011-09-15 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (3) US9554139B2 (ko)
KR (2) KR101834541B1 (ko)
CN (4) CN107295342B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101834541B1 (ko) * 2011-07-22 2018-03-07 에스케이텔레콤 주식회사 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
CN107925773B (zh) * 2015-06-11 2022-06-07 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
GB2557544B (en) 2015-09-11 2021-12-01 Kt Corp Method and device for processing video signal
WO2018044142A1 (ko) * 2016-09-05 2018-03-08 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
CN116347077A (zh) * 2016-11-21 2023-06-27 松下电器（美国）知识产权公司 计算机可读介质
KR102680972B1 (ko) 2016-12-27 2024-07-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
US20180242016A1 (en) * 2017-02-21 2018-08-23 Intel Corporation Deblock filtering for 360 video
TW201842768A (zh) 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP6902094B2 (ja) * 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
EP3609182A4 (en) 2017-04-06 2020-04-08 Panasonic Intellectual Property Corporation of America ENCODING DEVICE AND METHOD, DECODING DEVICE AND METHOD
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
TWI812378B (zh) * 2017-04-06 2023-08-11 美商松下電器（美國）知識產權公司 解碼裝置、編碼裝置及電腦可讀取之非暫時性媒體
EP3732886B8 (en) * 2017-12-29 2024-10-16 Telefonaktiebolaget LM Ericsson (publ) Methods providing encoding and/or decoding of video using reference values and related devices
US11477446B2 (en) * 2018-01-08 2022-10-18 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor
WO2019137750A1 (en) * 2018-01-10 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Determining filter length for deblocking during encoding and/or decoding of video
EP3777145A1 (en) * 2018-03-28 2021-02-17 Huawei Technologies Co., Ltd. An image processing device and method for performing efficient deblocking
KR20200144131A (ko) * 2018-05-17 2020-12-28 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 암시적 변환 유닛 경계들의 디블로킹
US10638145B2 (en) * 2018-06-19 2020-04-28 Novatek Microelectronics Corp. Video encoding apparatus and operating method thereof
TWI714153B (zh) 2018-06-29 2020-12-21 大陸商北京字節跳動網絡技術有限公司 零單元的定義
CN110662035B (zh) * 2018-06-29 2022-06-10 北京字节跳动网络技术有限公司 零单元的滤波
KR102132335B1 (ko) * 2018-09-20 2020-07-09 주식회사 핀텔 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
US11019359B2 (en) * 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation
CN113903073B (zh) * 2021-11-23 2024-07-26 山东省人工智能研究院 一种基于局部增强transformer的假视频检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286283A1 (en) 2004-10-13 2007-12-13 Peng Yin Method And Apparatus For Complexity Scalable Video Encoding And Decoding
KR101834541B1 (ko) * 2011-07-22 2018-03-07 에스케이텔레콤 주식회사 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7729426B2 (en) * 2004-09-20 2010-06-01 Divx, Inc. Video deblocking filter
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7579984B2 (en) * 2005-11-23 2009-08-25 The Boeing Company Ultra-tightly coupled GPS and inertial navigation system for agile platforms
US20080123750A1 (en) * 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
KR100922275B1 (ko) 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
WO2008083296A2 (en) * 2006-12-28 2008-07-10 Vidyo, Inc. System and method for in-loop deblocking in scalable video coding
CN102084653B (zh) * 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
JP2009089267A (ja) 2007-10-02 2009-04-23 Canon Inc イントラ予測符号化装置、イントラ予測符号化方法及びプログラム
CN101409833B (zh) * 2007-10-12 2012-10-03 昆山杰得微电子有限公司 去块效应滤波装置及方法
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 一种支持多视频标准的去块效应滤波装置
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
US9077971B2 (en) * 2008-04-10 2015-07-07 Qualcomm Incorporated Interpolation-like filtering of integer-pixel positions in video coding
US8705622B2 (en) 2008-04-10 2014-04-22 Qualcomm Incorporated Interpolation filter support for sub-pixel resolution in video coding
KR101432775B1 (ko) 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101590500B1 (ko) 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
KR20100079037A (ko) 2008-12-30 2010-07-08 삼성전자주식회사 비디오 영상 부호화 방법 및 장치
US9788010B2 (en) * 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
CN103385001B (zh) * 2011-02-25 2017-08-08 太阳专利托管公司 用于去块的高效率决策
DK3001682T3 (en) * 2011-03-01 2017-06-06 ERICSSON TELEFON AB L M (publ) DEBLOCK FILTERING CONTROL

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286283A1 (en) 2004-10-13 2007-12-13 Peng Yin Method And Apparatus For Complexity Scalable Video Encoding And Decoding
KR101834541B1 (ko) * 2011-07-22 2018-03-07 에스케이텔레콤 주식회사 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
CN107295341A (zh) 2017-10-24
CN107295342A (zh) 2017-10-24
US10070135B2 (en) 2018-09-04
US10477216B2 (en) 2019-11-12
US20180343452A1 (en) 2018-11-29
CN103718556A (zh) 2014-04-09
US20160044316A1 (en) 2016-02-11
KR20180027458A (ko) 2018-03-14
CN107295341B (zh) 2020-02-28
CN107295342B (zh) 2020-04-28
KR20130011878A (ko) 2013-01-30
KR101834541B1 (ko) 2018-03-07
US20140133564A1 (en) 2014-05-15
CN103718556B (zh) 2017-06-16
CN107347157B (zh) 2020-03-17
CN107347157A (zh) 2017-11-14
US9554139B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
KR101888333B1 (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR101432775B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101939699B1 (ko) 영상 부호화/복호화 장치 및 방법
US9503725B2 (en) Method and apparatus for encoding/decoding image for performing intraprediction using pixel value filtered according to prediction mode
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR20150095232A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
KR101418101B1 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20100133007A (ko) 컨텍스트-적응형 가변 길이 코딩 (ｃａｖｌｃ) 을 위한 레이트-왜곡 양자화
KR101648070B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20110000438A (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
KR20130045151A (ko) 복원 블록을 생성하는 방법 및 장치
KR100949475B1 (ko) 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101575634B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101544379B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464949B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464944B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101575638B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
Cho et al. Adaptive Selection of Weighted Quantization Matrix for H. 264 Intra Video Coding

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20180226

Patent event code: PA01071R01D

Filing date: 20110915

Application number text: 1020110093139

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180319

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180803

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180807

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180807

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210615

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230622

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240619

Start annual number: 7

End annual number: 7