[go: up one dir, main page]

KR101418096B1 - 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

가중치예측을 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101418096B1
KR101418096B1 KR1020120006944A KR20120006944A KR101418096B1 KR 101418096 B1 KR101418096 B1 KR 101418096B1 KR 1020120006944 A KR1020120006944 A KR 1020120006944A KR 20120006944 A KR20120006944 A KR 20120006944A KR 101418096 B1 KR101418096 B1 KR 101418096B1
Authority
KR
South Korea
Prior art keywords
image
prediction
block
unit
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120006944A
Other languages
English (en)
Other versions
KR20130085838A (ko
Inventor
임정연
박중건
문주희
김해광
이영렬
전병우
한종기
이주옥
박민철
임성원
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020120006944A priority Critical patent/KR101418096B1/ko
Priority to PCT/KR2013/000317 priority patent/WO2013109039A1/ko
Publication of KR20130085838A publication Critical patent/KR20130085838A/ko
Application granted granted Critical
Publication of KR101418096B1 publication Critical patent/KR101418096B1/ko
Priority to US14/335,222 priority patent/US20140328403A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 일 실시예에 따르면, 현재 블록에 대한 제1 예측블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하여 상기 현재블록을 비트스트림으로 부호화하는 영상 부호화 장치 및 방법과 이로부터 발생한 비트스트림을 복호화하는 영상 복호화장치 및 그 방법을 제공한다.

Description

가중치예측을 이용한 영상 부호화/복호화 방법 및 장치{Video Coding Method and Apparatus Using Weighted Prediction}
본 발명은 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 상세하게는, B 픽처의 부호화, P 픽처의 부호화, 인터 예측 부호화 등에 있어서, 가중치 예측을 함으로써 현재 부호화할 블록 또는 현재 픽처의 움직임 보상을 정밀하게 부호화하고, 비트스트림으로부터 추출한 가중치 예측 파라미터 정보에 기초하여 현재 복호화할 블록 또는 픽처의 움직임 보상을 수행하여 복원함으로써 현재 블록 또는 픽처에 대한 복원 효율을 높일 수 있는 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)라고 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
이와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처(picture)를 소정의 영상 처리 단위 예를 들어, 소정 크기의 블록으로 나누고 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해서 각각의 블록을 부호화한다. 이때, 데이터 크기 및 블록의 왜곡 정도를 고려하여 최적의 부호화 모드를 선택하고, 선택된 모드에 따라 블록을 부호화한다.
인터 예측은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로 움직임 추정 부호화와 방법이 대표적인 예이다. 움직임 추정 부호화는 적어도 하나의 참조 픽처를 이용하여 현재 픽처의 움직임을 블록 단위로 추정하고, 움직임 추정 결과에 기초하여 각각의 블록을 예측한다.
현재 블록의 예측을 위해 움직임 추정 부호화에서는 소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 블록을 참조 픽처의 정해진 검색 범위에서 검색한다. 유사한 블록을 검색하여 움직임 벡터(Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용한 움직임 보상을 수행하여 얻어진 예측 블록과 현재 블록 사이의 잔차(residual) 데이터만 DCT(Discrete Cosine Transform)변환하고, 양자화한 값과 움직임 정보를 엔트로피 부호화하여 전송함으로써 데이터의 압축률을 높인다.
움직임 추정 및 움직임 보상은 예측 부호화 단위로 수행되며, 움직임 정보도 예측 부호화 단위로 전송된다.
인터 예측은 움직임 추정을 통해 생성되는 현재 예측 부호화 블록의 움직임 벡터를 이용한 움직임 보상이 정확하게 보상되지 않는 경우에는 예측 블록과 현재 블록의 잔차 데이터의 부호화 비트가 커지게 되어 부호화 효율이 감소된다. 따라서, 보다 정확한 움직임 추정과 움직임 보상을 통해 예측 블록을 정확하게 생성하여 잔차 데이터를 작게 만들 수 있는 움직임 추정 방법과 움직임 보상 방법이 요구된다.
또한, 종래의 움직임 추정 및 움직임 보상을 이용하여 영상을 압축할 때 영상의 밝기를 예측하지 못하여 페이드 인(fade in) 또는 페이드 아웃(fade out)과 같이 밝기가 시간적으로 변화하는 영상을 부호화하는 경우 압축 효율이 감소하고 영상의 화질이 열화되는 단점이 있다.
전술한 문제점을 해결하기 위해 본 발명의 실시예는, B 픽처의 부호화, P 픽처의 부호화, 인터 예측 부호화 등에 있어서, 가중치 예측을 함으로써 현재 부호화할 블록 또는 현재 픽처의 움직임 보상을 정밀하게 부호화하고, 비트스트림으로부터 추출한 가중치 예측 파라미터 정보에 기초하여 현재 복호화할 블록 또는 픽처의 움직임 보상을 수행하여 복원함으로써 현재 블록 또는 픽처에 대한 복원 효율을 향상시키는 데 주된 목적이 있다.
본 발명의 일 실시예에 따르면, 영상을 부호화/복호화하는 장치에 있어서, 현재 블록에 대한 제1 예측블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하여 상기 현재블록을 비트스트림으로 부호화하는 영상 부호화기; 및 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하고 복원할 현재블록에 대한 예측 블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 가중치적용 예측영상 내의 예측블록과 복원되는 잔차 블록을 가산하여 화소 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
본 발명의 다른 실시예에 따르면, 영상을 부호화하는 장치에 있어서, 현재 블록에 대한 제1 예측블록을 생성하는 예측부; 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환부; 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하는 가중치 산출부; 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용부; 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환부; 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하는 감산부; 상기 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환부; 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부; 및 상기 가중치예측 파라미터가 포함된 가중치 정보와 상기 양자화된 주파수변환블록을 비트스트림으로 부호화하는 비트스트림 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
상기 가중치예측 파라미터는, 상기 소정의 변환단위에 대하여 주파수성분별로 산출할 수 있다.
상기 가중치예측 파라미터는, 상기 제2 변환영상과 상기 가중치적용 변환영상 사이의 비율관계를 나타내는 스케일인자와, 상기 제2 변환영상과 상기 가중치적용 변환영상의 차이를 나타내는 오프셋인자를 포함할 수 있다.
상기 가중치예측 파라미터는, 상기 스케일인자는 주파수 성분별로 발생되고 상기 오프셋인자는 DC성분에 대해서만 발생될 수 있다.
상기 영상 부호화 장치는, 상기 영상변환부가 변환을 함에 있어서 복수개의 변환 알고리즘을 적용하여 복수개의 가중치예측 파라미터를 산출한 후 상기 복수개의 가중치예측 파라미터 중에서 최적의 부호화 효율을 나타내는 가중치예측 파라미터를 선택하는 파라미터 결정부를 더 포함할 수 있다.
상기 영상 부호화 장치는, 상기 영상변환부가 변환을 함에 있어서 복수개의 크기의 변환단위를 적용하여 복수개의 가중치예측 파라미터를 산출한 후 상기 복수개의 가중치예측 파라미터 중에서 최적의 부호화 효율을 나타내는 가중치예측 파라미터를 선택하는 파라미터 결정부를 더 포함할 수 있다.
상기 가중치 정보는, 상기 영상변환부가 수행한 변환에 대한 정보를 더 포함할 수 있다.
상기 가중치 정보에는 이전 블록집합에 대한 가중치 파라미터에 대한 차분값으로 상기 가중치정보 파라미터에 대한 정보가 포함될 수 있다.
상기 가중치 정보는, DC성분에 대해서는 최대 비트값을 예측값으로 하여 생성된 차분값과, 나머지 주파수성분에 대해서는 인접 주파수 성분의 가중치예측 파라미터에 대하여 생성된 차분값을 포함할 수 있다.
상기 가중치예측 파라미터는, 상기 소정의 변환단위에 대하여 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 발생되고 상기 일정 간격의 주파수성분 사이의 주파수성분의 가중치예측 파라미터는 보간된 값을 사용할 수 있다.
상기 영상 부호화 장치는, 부호화블록 단위로 상기 가중치예측 파라미터의 적용시의 부호화비용을 판단하여 적응적으로 가중치예측을 수행할 수 있다.
본 발명의 다른 실시예에 따르면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하는 비트스트림 복호부; 상기 양자화된 주파수변환 블록을 역양자화하여 주파수변환블록을 생성하는 역양자화부; 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환부; 복원하고자 하는 현재블록에 대한 예측 블록을 생성하는 예측부; 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환부; 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용부; 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환부; 및 상기 가중치적용 예측영상 내의 예측블록과 상기 복원되는 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
상기 가중치예측 파라미터는, 상기 소정의 변환단위에 대하여 주파수성분별로 존재할 수 있다.
상기 가중치예측 파라미터는, 상기 제2 변환영상과 상기 가중치적용 변환영상 사이의 비율관계를 나타내는 스케일인자와, 상기 제2 변환영상과 상기 가중치적용 변환영상의 차이를 나타내는 오프셋인자를 포함할 수 있다.
상기 가중치예측 파라미터는, 상기 스케일인자는 주파수 성분별로 존재하고 상기 오프셋인자는 DC성분에 대해서만 존재할 수 있다.
상기 복호되는 가중치 정보는 상기 영상변환부가 수행하는 변환에 대한 정보를 더 포함하고, 상기 영상변환부는 복호된 변환에 대한 정보를 이용하여 변환을 할 수 있다.
상기 비트스트림 복호부는, 상기 가중치 정보에 포함된 가중치 파라미터 차분값에 이전 블록집합에 대한 가중치 파라미터를 더하여 구하는 상기 가중치예측 파라미터를 구할 수 있다.
상기 가중치 정보는, DC성분에 대해서는 최대 비트값을 예측값으로 하여 생성된 차분값과, 나머지 주파수성분에 대해서는 인접 주파수 성분의 가중치예측 파라미터에 대하여 생성된 차분값을 포함할 수 있다.
상기 가중치예측 파라미터는, 상기 소정의 변환단위에 대하여 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 존재하고 상기 일정 간격의 주파수성분 사이의 주파수성분의 가중치예측 파라미터는 보간된 값을 사용할 수 있다.
상기 영상 복호화 장치는, 부호화블록 단위로 상기 가중치 정보에 포함된 가중치 예측 플래그에 따라 가중치 예측 파라미터를 적용하여 적응적으로 가중치예측을 수행할 수 있다.
본 발명의 다른 실시예에 따르면, 영상을 부호화/복호화하는 방법에 있어서, 현재 블록에 대한 제1 예측블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하여 상기 현재블록을 비트스트림으로 부호화하는 영상 부호화단계; 및 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하고 복원할 현재블록에 대한 예측 블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 가중치적용 예측영상 내의 예측블록과 복원되는 잔차 블록을 가산하여 화소 블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
본 발명의 다른 실시예에 따르면, 영상을 부호화하는 방법에 있어서, 현재 블록에 대한 제1 예측블록을 생성하는 예측단계; 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환단계; 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하는 가중치 산출단계; 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용단계; 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환단계; 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하는 감산단계; 상기 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환단계; 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화단계; 및 상기 가중치예측 파라미터가 포함된 가중치 정보와 상기 양자화된 주파수변환블록을 비트스트림으로 부호화하는 비트스트림 생성단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명의 다른 실시예에 따르면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하는 비트스트림 복호단계; 상기 양자화된 주파수변환 블록을 역양자화하여 주파수변환블록을 생성하는 역양자화단계; 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환단계; 복원하고자 하는 현재블록에 대한 예측 블록을 생성하는 예측단계; 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환단계; 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용단계; 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환단계; 및 상기 가중치적용 예측영상 내의 예측블록과 상기 복원되는 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, B 픽처의 부호화, P 픽처의 부호화, 인터 예측 부호화 등에 있어서, 가중치 예측을 함으로써 현재 부호화할 블록 또는 현재 픽처의 움직임 보상을 정밀하게 부호화하고, 비트스트림으로부터 추출한 가중치 예측 파라미터 정보에 기초하여 현재 복호화할 블록 또는 픽처의 움직임 보상을 수행하여 복원함으로써 현재 블록 또는 픽처에 대한 복원 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 2는 최대 부호화단위 블록의 분할 예시를 나타낸 도면이다.
도 3은 예측단위 블록의 예를 도시한 도면이다.
도 4는 가중치 예측 파라미터를 산출하고 적용하는 방법 중 하나를 간략하게 나타낸 순서도이다.
도 5는 참조 픽처 대신 움직임 보상 예측픽처(Motion Compensated Prediction Picture)를 이용하여 가중치 예측 파라미터를 산출하는 경우를 예시한 도면이다.
도 6은 변환을 이용한 가중치 예측 파라미터의 산출 예를 나타낸 도면이다.
도 7은 복수의 변환 방법 등을 이용하여 최적의 가중치 예측 플래그를 산출하기 위한 순서도이다.
도 8은 수학식 10에 의한 가중치 파라미터를 구하는 방법을 도식화한 도면이다.
도 9는 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 발생되는 경우를 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus) 및 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 단말기(Wireless Terminal), TV(Television), 휴대폰, 스마트폰(Samart Phone) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 영상부호화 장치(100)는 크게 블록분할부(101, Coding Tree Generator), 인트라예측부(102, Intra Predictor), 인터예측부(103, Inter Predictor), 변환부(104, Transformer), 양자화부(105, Quantizer), 엔트로피부호화부(107, Entropy Coder), 역양자화부(108, Inverse Quantizer), 역변환부(109, Inverse Tranformer), 메모리(110, Memory), 감산부(111, Subtractor), 가산부(112, Adder), 영상변환부(113), 가중치 산출부(114), 가중치 적용부(115) 및 영상역변환부(116)를 포함할 수 있다. 경우에 따라 파라미터 결정부(117)를 더 포함할 수도 있다.
블록분할부(101)는 입력 영상을 부호화단위 블록으로 분할한다. 부호화단위 블록은 인트라예측/인터예측을 위해 분할되는 가장 기본적인 단위이고, 4개의 같은 크기(정사각형)의 블록으로 반복적으로 분할되는 구조이다. 예를 들어, 최대 부호화단위 블록은 64x64 크기로 정할 수 있고 최소 부호화단위 블록은 8x8 로 정할 수 있다. 도 2는 최대 부호화단위 블록의 분할 예시를 나타낸 도면이다. 각각의 부호화단위 블록은 예측 종류에 따라 도 3과 같이 1개 또는 그 이상의 예측단위 블록을 포함한다. 예측단위 블록은 예측 정보를 가지고 있는 가장 작은 단위이다. 보통 3-레벨 쿼드트리(Quadtree)를 이용하는데 그 이상의 레벨을 이용할 수도 있고, 일반적으로 루마(luma), 크로마(chroma)를 위한 최대 뎁스(depth)는 동일하다. 도 3에서, (201)은 부호화단위 블록이 그대로 예측단위 블록으로 사용되었을 경우를 나타낸다. (202), (203), (205), (206)은 동일한 크기의 예측단위 블록 2개를 포함하는 경우이며, (204)는 동일한 크기의 예측단위 블록 4개를 포함하는 경우이고, (207) 과 (208) 은 1:3 의 비율을 갖는 예측단위 블록 2개를 포함하는 경우이다. 도 3의 예시 이외에도 부호화단위 블록은 여러가지 모양으로 분할될 수 있다.
본 발명의 예측부(106)는 인트라예측부(102) 및 인터예측부(103)를 포함할 수 있다.
인트라예측부(102)는 현재 블록을 현재 픽쳐 내의 픽셀값을 이용하여 예측블록(Predicted Block)을 생성한다.
인터예측부(103)는 현재 블록을 이전에 부호화되고 복호화된 픽쳐들의 정보를 이용하여 예측 블록을 생성한다. 예컨대, 스킵(Skip), 머지(Merge), 움직임 추정(Motion Estimation) 등의 방법에 따라 예측을 수행할 수 있다.
예측부(106)에서는 다양한 방법의 예측 방법으로 예측을 수행하고 그 중에서 최적의 부호화 효율을 나타내는 방법으로 예측블록을 생성한다.
이러한 인트라예측 및 인터예측 방법은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
감산부(111)는 현재블록에서 예측부(106)에서 생성된 예측블록을 감산하여 잔차블록을 생성한다.
변환부(104)는 잔차 블록을 변환하여 변환 블록을 생성한다. 변환 블록은 변환기와 양자화기 과정을 위해 사용되는 가장 작은 단위이다. 변환단위는 도 2처럼 부호화단위와 동일하게 분할될 수도 있으며, 다른 다양한 방법으로 분할하여 변환을 수행할 수도 있다. 변환부(104)는 잔차신호를 주파수 영역으로 변환하여 변환 계수를 가지는 변환 블록을 생성하여 출력한다. 여기서 잔차신호를 주파수 영역으로 변환하는 방법으로는 이산 코사인 변환(DCT: Discrete Cosine Transform)기반 변환, 이산 사인 변환(DST: Discreate Sine Transform), KLT(Karhunen Loeve Transform) 등, 다양한 변환 기법을 이용할 수 있으며, 이를 이용하여 잔차신호가 주파수 영역으로 변환되어 변환 계수로 변환된다. 변환 기법을 편하게 사용하기 위해 기저벡터(basis vector)를 이용하여 매트릭스(Matrix) 연산을 하게 되는데 예측 블록이 어떤 방식으로 부호화 되었느냐에 따라 매트릭스 연산시 변환기법들을 다양하게 섞어 사용할 수 있다. 예를 들어, 인트라예측시 예측모드에 따라 가로방향으로는 이산 코사인 변환을 사용하고 세로 방향으로는 이산 사인 변환을 사용할 수도 있다.
양자화부(105)는 변환 블록을 양자화하여 양자화된 변환 블록을 생성한다. 즉, 양자화부(105)는 변환부(104)로부터 출력되는 변환 블록의 변환 계수들을 양자화하여 양자화된 변환 계수를 가지는 양자화된 변환 블록(Quantized Transform Coefficient)를 생성하여 출력한다. 여기서, 양자화 방법으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 메트릭스 (Quantization Weighted Matrix) 등이 이용될 수 있지만, 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다.
엔트로피부호화부(107)는 양자화된 변환 블록을 부호화 하여 비트스트림을 발생한다. 즉, 엔트로피부호화부(107)는 양자화부(105)로부터 출력되는 양자화된 변환 블록의 양자화된 변환계수를 지그재그 스캔 등 다양한 스캔 방식으로 스캔한 주파수 계수열을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화하고, 후술하는 영상 복호화 장치에서 해당 블록을 복호화하는데 필요한 부가적인 정보들(예를 들면, 예측 모드에 대한 정보, 양자화 계수, 움직임 파라미터 등)을 포함하는 비트스트림을 생성한다.
전술하였듯이, 위와 같은 과정을 거쳐 다양한 방법의 예측 방법으로 예측을 수행하고 부호화하여 그 중에서 최적의 부호화 효율을 나타내는 방법으로 예측블록을 생성한다. 이와 같이 생성된 예측 블록을 소정의 블록집합 단위로 모두 모아서 가중치예측 파라미터를 산출하고 이를 예측블록에 적용하여 가중치를 사용한 예측블록을 생성한다. 여기서 소정의 블록집합이란 하나의 블록, 예측의 단위 영역, 부호화 및 복호화의 단위인 매크로블록, 임의의 복수개의 블록의 집합, M×N 블록 단위, 슬라이스, 시퀀스, 픽처, GOP(Group of Picture) 등이 될 수 있으며, 본 실시예에서는 픽처단위로 가중치예측 파라미터를 산출하는 것을 예로 들어 설명한다. 가중치를 사용한 예측블록을 생성하는 과정은 이하에서 설명한다.
가중치 예측 방법은 크게 명시적 모드(explicit mode)와 묵시적 모드(implicit mode)로 구분할 수 있다. 명시적 모드는 가중치 예측 파라미터(weighted prediction parameter)를 슬라이스 단위로 연산하여 각 슬라이스 마다 최적의 가중치 예측 파라미터를 산출하여 복호화기에 전송하는 방법이고, 묵시적 모드는 현재 블록의 예측에 이용되는 가중치를 별도로 산출하거나 부호화하지 않고 현재 영상와 참조 영상들 사이의 시간적 거리에 의해 부호화기와 복호화기가 약속된 동일한 방법을 통해 가중치를 계산하는 방법이다.
인터예측부(103)에 포함된 움직임 보상기는 현재 예측 단위의 움직임 벡터를 이용하여 현재 예측 단위의 움직임 보상하여 움직임보상 예측 블록(Predicted Block)을 생성한다. 이때, 영상 부호화 장치는 참조 픽처에서 움직임 벡터를 이용하여 예측 블록을 생성할 수 있다. 하지만, 본 발명에서는 수학식 1의 가중치 예측을 이용하여 가중치 예측 블록(Weighted Predicted Block)을 생성한다.
Figure 112012005742094-pat00001
이때, P는 참조 픽처에서 움직임 벡터를 이용하여 생성한 예측 픽셀이고, w는 움직임보상 예측 블록과 가중치 예측 블록 사이의 비율관계를 나타내는 가중치 예측을 위한 스케일 인자(Scale Factor)이고, o는 가중치 예측을 위한 움직임보상 예측 블록과 가중치 예측 블록의 차이를 나타내는 오프셋 인자(Offset Factor)이고, P'는 가중치 예측 픽셀이다.
여기서, 스케일 인자와 오프셋 인자는 가중치 예측 파라미터이다. 이 가중치 예측 파라미터는 임의의 단위로 결정되어 부호화 할 수 있다. 여기서 임의의 단위는 시퀀스, 픽처 및 슬라이스 등이 될 수 있다. 예를 들어, 슬라이스 단위로 최적의 가중치 예측 파라미터를 결정하고 명시적 모드인 경우, 슬라이스 헤더 또는 적응적 파라미터 헤더에 부호화 할 수 있다. 복호화기는 해당 헤더에서 추출한 가중치 예측 파라미터를 이용하여 가중치 예측 블록을 생성할 수 있다.
또한, 수학식 1은 단방향 인터 예측을 한 경우이고, 양방향 예측을 하는 경우에는 수학식 2를 이용하여 가중치 예측 블록을 생성할 수 있다.
Figure 112012005742094-pat00002
이 때, P0는 List0의 참조 픽처에서 움직임 벡터를 이용하여 생성한 예측 픽셀이고, w0는 List0의 가중치 예측을 위한 스케일 인자(Scale Factor)이고, o0는 List0의 가중치 예측을 위한 오프셋 인자(Offset Factor)이고, P1은 List1의 참조 픽처에서 움직임 벡터를 이용하여 생성한 예측 픽셀이고, w1은 List1의 가중치 예측을 위한 스케일 인자(Scale Factor)이고, o1은 List1의 가중치 예측을 위한 오프셋 인자(Offset Factor)이고, P'는 가중치 예측 픽셀이다. 이러한 경우, 가중치 예측 파라미터는 List0와 List1이 각각의 최적의 가중치 예측 파라미터를 산출할 수 있으며, 명시적 모드인 경우에는 임의의 헤더에 부호화 할 수 있다.
또한, 수학식 3을 이용하여 양방향 예측을 위한 가중치 예측 블록을 생성할 수도 있다.
Figure 112012005742094-pat00003
또한, 수학식 4를 이용하여 양방향 예측을 위한 가중치 예측 블록을 생성할 수도 있다.
Figure 112012005742094-pat00004
이러한 경우, 가중치 예측 파라미터는 List0와 List1에서 생성한 예측 블록을 평균 낸 블록(이하, 평균 예측 블록)에 가중치 예측 파라미터를 적용하여 가중치 예측 블록을 생성할 수 있다. 이때, List0와 List1의 가중치 예측 파라미터가 각기 최적을 산출하거나 부호화하지 않고, 평균 예측 블록에 최적인 가중치 예측 파라미터를 산출하고 부호화한다.
또는, 수학식 5를 이용하여 양방향 예측을 위한 가중치 예측 블록을 생성할 수 있다.
Figure 112012005742094-pat00005
이러한 경우 가중치 예측을 위한 스케일 인자는 List 별로 각기 최적의 스케일 인자를 산출하고 부호화하며, 오프셋 인자는 평균 예측 블록에 최적을 산출하고 부호화한다.
도 4는 가중치 예측 파라미터를 산출하고 적용하는 방법 중 하나를 간략하게 나타낸 순서도이다.
도 4를 참조하면 현재 부호화할 픽처와 참조 픽처를 이용하여 가중치 예측 파라미터를 산출하고 산출된 가중치 예측 파라미터를 적용한다. 최적의 가중치 예측 파라미터를 산출하는 방법으로는 다양한 방법을 이용할 수 있다. 다양한 방법 중 하나로는 수학식 6을 이용하여 가중치 예측 파라미터를 산출하는 방법이 있다.
Figure 112012005742094-pat00006
수학식 6에서, org(n)은 현재 부호화할 픽처의 n 번째 픽셀이고, ref(n)은 참조 픽처의 n 번째 픽셀이고, N은 픽처 내의 픽셀의 개수이다.
도 5는 참조 픽처 대신 움직임 보상 예측픽처(Motion Compensated Prediction Picture)를 이용하여 가중치 예측 파라미터를 산출하는 경우를 예시한 도면이다.
도 5처럼 참조 픽처 대신 움직임 보상 예측픽처(Motion Compensated Prediction Picture)를 이용하여 가중치 예측 파라미터를 산출할 수도 있다. 여기서 움직임 보상 예측픽처는 움직임 보상을 수행한 예측 블록들로 생성된 픽처이다.
도 5의 경우, 수학식 7을 이용하여 가중치 예측 파라미터를 산출할 수 있다.
Figure 112012005742094-pat00007
수학식 7에서, org(n)은 현재 부호화할 픽처의 n 번째 픽셀이고, mcp(n)은 움직임 보상 예측픽처의 n 번째 픽셀이고, N은 픽처 내의 픽셀의 개수이다.
도 6은 변환을 이용한 가중치 예측 파라미터의 산출 예를 나타낸 도면이다.
도 6에서 변환기의 기능은 영상변환부(113)가 수행할 수 있다.
영상변환부(113)는 우선 현재블록이 포함된 블록집합(예컨대, 현재 픽처)을 소정의 변환단위로 변환하여 제1 변환영상(예컨대, 제1 변환픽처)을 생성한다. 또한 영상변환부(113)는 현재픽처에 대한 제1 예측블록들로 구성된 움직임보상 예측영상(예컨대, 움직임보상 예측픽처), 즉, 현재 픽처에 포함된 모든 블록을 예측하여 생성된 예측블록들만으로 생성된 픽처를 소정의 변환단위로 변환하여 제2 변환영상(예컨대, 제2 변환픽처)를 생성한다. 여기서 소정의 변환단위는 8×8 또는 4×4 등 다양한 변환단위들 중에서 어느 하나를 사용할 수 있다.
여기서 영상변환부(113)는 DCT, DST, 하다마드, KLT(Karhunen-Loeve Transform) 등을 이용하여 현재 픽처와 참조 픽처를 M×N 블록마다 변환한다. 여기서 M과 N은 서로 같거나 다를 수 있다.
가중치 산출부(114)는 제1 변환픽처 및 제2 변환픽처 내의 동일 위치의 소정의 변환단위별로 제1 변환픽처의 화소값과 제2 변환픽처의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출한다. 여기서, 변환 도메인 상에서 가중치 예측 파라미터 산출은 수학식 8을 이용할 수 있다.
Figure 112012005742094-pat00008
여기서, w(m,n)은 MxN 변환 블록 내의 (m,n) 위치의 주파수 계수를 위한 스케일 인자이고, ORGk(m,n) 현재 부호화할 픽처 내에서 k 번째 변환 블록의 (m,n) 위치의 주파수 계수이고, MCPk(m,n)는 움직임 보상 예측 픽처 내에서 k 번째 변환 블록의 (m,n) 위치의 주파수 계수이고, o(m,n)은 MxN 변환 블록 내의 (m,n) 위치의 주파수 계수를 위한 오프셋 인자이다. 오프셋 인자의 경우, 변환 도메인 상에서 사람 눈에 가장 민감한 주파수 계수인 저주파 계수인 (0,0)위치(즉 DC 위치)의 주파수 계수에만 적용할 수도 있다.
또한, 가중치 예측은 임의의 단위로 수행될 수 있다. 예를 들어, 픽처 단위로 가중치 예측을 모든 픽셀에 수행할 수도 있고, 슬라이스 단위로 가중치 예측을 모든 픽셀에 수행할 수도 있다. 또는 임의의 블록 단위로 적용할 수도 있는데, 이러한 경우 임의의 블록 단위의 가중치 예측 플래그를 부호화/복호화 해야 한다. 예를 들어, 예측 블록 단위로 가중치 예측 플래그를 부호화/복호화 하는 경우, 가중치 예측 플래그는 해당 예측 블록이 가중치 예측 블록으로 부호화/복호화할 것인지를 나타낸다.
도 7은 복수의 변환 방법 등을 이용하여 최적의 가중치 예측 플래그를 산출하기 위한 순서도이다.
영상 부호화 장치는 영상변환부(113)가 변환을 함에 있어서 복수개의 변환 알고리즘을 적용하고 가중치 산출부(114)가 이를 이용하여 복수개의 가중치예측 파라미터를 산출(S701)하면, 복수개의 가중치예측 파라미터 중에서 최적의 부호화 효율을 나타내는 가중치예측 파라미터를 선택(S702)하는 파라미터 결정부(117)를 포함할 수 있다.
영상변환부(113)가 변환을 함에 있어서 복수개의 크기의 변환단위를 적용하여 변환을 수행하고 가중치 산출부(114)가 이를 이용하여 복수개의 가중치예측 파라미터를 산출하면, 파라미터 결정부(117)는 복수개의 가중치예측 파라미터 중에서 최적의 부호화 효율을 나타내는 가중치예측 파라미터를 선택할 수도 있다.
이 경우, 가중치 정보에는 선택된 가중치예측 파라미터를 생성하기 위하여 영상변환부(113)가 수행한 변환에 대한 정보를 더 포함할 수 있다. 예컨대, 변환의 사이즈 또는 변환 알고리즘(DCT, DST 등)을 식별하는 정보일 수 있다.
또한, 도 7의 가중치 예측 파라미터 결정 단계(S702)에서 현재 부호화하는 픽처 전체에 적용될 수 있는 제1 가중치 예측 파라미터가 산출된 후, 파라미터 결정부(117)는 부호화 블록 단위마다 부호화 효율을 판단하여 제1 가중치 예측 파라미터를 이용한 가중치 예측을 수행할 것인지 또는 가중치 예측 파라미터를 사용하지 않고 예측블록을 생성할 것인지 여부를 결정한다. 이때, 부호화 효율의 판단 기준은 RDcost(Rate-Distortion cost), SSD(Sum Squared Distortion), SAD(Sum Absolute Distortion) 등을 이용할 수 있다.
부호화 블록 단위마다 제1 가중치 예측 파라미터를 이용한 가중치 예측을 수행할 것인지 여부를 판단한 후, 가중치 예측으로 수행하는 것으로 판단된 부호화 블록들의 픽셀들만을 이용하여 제2 가중치 예측 파라미터를 산출한다. 여기서 제2 가중치 예측 파라미터를 산출하는 방법은 제1 가중치 예측 파라미터를 산출하는 방법들 중에서 하나의 방법을 사용할 수 있다.
제2 가중치 예측 파라미터를 산출한 후, 픽처 단위로 제1 가중치 예측 파라미터를 이용한 예측블록 생성시의 부호화비용과 제2 가중치 예측 파라미터를 이용한 예측블록 생성시의 부호화비용 중 부호화비용이 낮은 가중치 예측 파라미터를 최적의 가중치 예측 파라미터로 결정한다.
여기서 제1 가중치예측 파라미터가 선택된 경우에는, 제1 가중치 예측 파라미터를 이용하여 가중치 예측을 수행하는 것으로 판단된 부호화블록에 대해서는 제1 가중치 예측 파라미터를 이용하여 예측 블록을 생성하고 제1 가중치 예측 파라미터를 이용하여 가중치 예측을 수행하지 않는 것이 더 나은 것으로 판단된 부호화블록에 대해서 가중치 예측 파라미터를 적용하지 않고 예측블록을 생성한다.
만일 제2 가중치 예측 파라미터가 최적의 가중치 예측 파라미터로 선택된 경우, 제2 가중치 예측 파라미터를 산출한 방법과 동일한 방법으로 제3 가중치 예측 파라미터를 산출한다. 즉, 현재 픽처 내의 부호화 블록 단위마다 부호화 효율을 판단하여 제2 가중치 예측 파라미터를 이용한 가중치 예측을 수행할 것인지 또는 가중치 예측 파라미터를 사용하지 않고 예측블록을 생성할 것인지 여부를 결정한다.
부호화 블록 단위마다 제2 가중치 예측 파라미터를 이용한 가중치 예측을 수행할 것인지 여부를 판단한 후, 제2 가중치 예측 파라미터를 이용하여 가중치 예측으로 수행하는 것으로 판단된 부호화 블록들의 픽셀들만을 이용하여 제3 가중치 예측 파라미터를 산출한다. 여기서 제3 가중치 예측 파라미터를 산출하는 방법은 제1 가중치 예측 파라미터를 산출하는 방법들 중에서 하나의 방법을 사용할 수 있다.
제3 가중치 예측 파라미터를 산출한 후, 픽처 단위로 제2 가중치 예측 파라미터를 이용한 예측블록 생성시의 부호화비용과 제3 가중치 예측 파라미터를 이용한 예측블록 생성시의 부호화비용 중 부호화비용이 낮은 가중치 예측 파라미터를 최적의 가중치 예측 파라미터로 결정한다.
여기서 제2 가중치예측 파라미터가 선택된 경우에는, 제2 가중치 예측 파라미터를 이용하여 가중치 예측을 수행하는 것으로 판단된 부호화블록에 대해서는 제2 가중치 예측 파라미터를 이용하여 예측 블록을 생성하고 제2 가중치 예측 파라미터를 이용하여 가중치 예측을 수행하지 않는 것이 더 나은 것으로 판단된 부호화블록에 대해서 가중치 예측 파라미터를 적용하지 않고 예측블록을 생성한다.
만일 제3 가중치 예측 파라미터가 최적의 가중치 예측 파라미터로 선택된 경우, 제3 가중치 예측 파라미터를 산출한 방법과 동일한 방법으로 제4 가중치 예측 파라미터를 산출하여 동일한 방법으로 순차적으로 추가적인 가중치 예측 파라미터를 생성하여 이전에 생성된 가중치 예측 파라미터가 새로 생성된 가중치 예측 파라미터보다 더 좋은 부호화효율을 나타내는 것으로 판단되는 경우 예측블록 생성에 사용되는 가중치 예측 파라미터는 이전에 생성된 가중치 예측 파라미터로 결정한다.
또한, 영상 부호화 장치는 부호화 블록 단위로 가중치 예측 파라미터를 적용하는 지 여부를 나타내는 가중치 예측 플래그를 부호화하여 가중치 예측 파라미터가 포함된 가중치 정보에 더 포함하여 비트스트림으로 생성하여 후술하는 영상 복호화 장치로 전송하고, 영상 복호화 장치는 비트스트림에 포함된 가중치 예측 플래그에 따라 부호화블록 단위로 가중치 예측 플래그에 따라 가중치 예측을 수행한다. 즉, 가중치 예측 플래그는 해당 부호화 블록이 가중치 예측을 수행하였는지 수행하지 않았는지를 나타낸다.
만일, 도 6과 같이 변환을 이용하여 가중치 예측을 수행하는 경우에는 MxN 변환 블록 단위로 가중치 예측 플래그를 부호화/복호화 할 수 있다.
만일, 도 6과 같이 변환을 이용하여 가중치 예측을 수행하는 경우에는 첫번째 가중치 예측 파라미터는 DCT 8x8을 이용하여 가중치 예측 파라미터를 산출하고, 두번째 가중치 예측 파라미터는 DST 8x8을 이용하여 가중치 예측 파라미터를 산출한 후 두 가중치 예측 파라미터 중 최적의 가중치 예측 파라미터를 결정한다. 이 때, 부호화기는 변환의 정보를 헤더에 부호화한다. 이는 변환의 크기가 될 수도 있으면 변환의 종류가 될 수도 있고, 변환의 크기와 종류 모두를 의미할 수도 있다.
가중치 예측 파라미터 적용 단계에서는 상기 설명한 가중치 예측 파라미터 결정 단계에서 결정된 최적의 가중치 예측 파라미터를 적용한다.
가중치 적용부(115)는 가중치 예측 파라미터 적용 단계에서, 제2 변환픽처에 소정의 변환단위로 산출된 가중치예측 파라미터를 적용하여 가중치적용 변환영상(예컨대, 가중치적용 변환픽처)을 생성한다.
또한, 도 6을 참조하여 변환 도메인 상에서 가중치 예측 파라미터를 산출하는 경우, 부호화 블록 또는 예측 단위가 아닌 M×N 변환 블록 단위로 가중치 예측 플래그를 결정하고 부호화/복호화 할 수 있다. 예를 들어, 가중치 예측이 부호화효율이 높은 경우에는 가중치 예측을 통하여 부호화를 수행하고 가중치예측을 의미하는 가중치 예측 플래그를 영상 복호화 장치로 전송할 수 있으며, 가중치 예측이 부호화효율이 낮은 경우에는 가중치 예측을 하지않은 상태로 부호화를 수행하고 가중치 예측이 아닌 일반예측을 의미하는 가중치 예측 플래그를 영상 복호화 장치로 전송할 수 있다.
한편, 가중치 예측을 수행하는 경우 스케일 인자와 오프셋 인자를 부호화/복호화해야 한다. 도 4, 도 5, 도 7 등의 방법으로 가중치 예측을 수행하는 경우에는 w와 o를 임의의 헤더(즉, 가중치예측 단위를 나타내는 크기의 데이터의 헤더, 예컨대, 슬라이스, 픽처, 시퀀스 등의 헤더)에 부호화/복호화한다. 도 6의 방법을 이용하는 경우에는 M×N개의 w와 o를 해당 데이터의 헤더에 부호화/복호화한다. 또는 M×N개의 w와 저주파 계수를 위한 1개의 o를 헤더에 부호화/복호화할 수도 있다.
이러한 경우 M×N 블록이 크다면 가중치 예측 파라미터를 부호화하는데 많은 비트를 소요하게 되므로 부호화 효율이 떨어질 수 있기 때문에 w와 o를 예측하거나 샘플링(Sampling)하여 부호화할 수 있다.
예를 들어, 현재 슬라이스가 M×N개의 w와 1개의 o를 부호화하는 경우, M×N개의 w는 수학식 9 또는 수학식 10을 이용하여 예측 부호화할 수 있다.
Figure 112012005742094-pat00009
여기서 wDiff(m,n)은 M×N 변환 블록 내의 (m,n)위치의 스케일 인자 차분값이자 부호화할 값이고, wPrevSlice(m,n)는 이전 슬라이스의 M×N 변환 블록 내의 (m,n)위치의 스케일 인자이고, wCurrSlice(m,n)는 이전 슬라이스의 M×N 변환 블록 내의 (m,n)위치의 스케일 인자이다.
따라서, 수학식 9에 의해 가중치 정보에는 이전 블록집합에 대한 가중치 파라미터에 대한 차분값으로 가중치정보 파라미터에 대한 정보가 포함됨을 알 수 있다.
Figure 112012005742094-pat00010
여기서 2q는 q 비트값으로 예측한 값이다.
즉, 수학식 10의 경우는, DC성분에 대해서는 소정 값(예컨대, 가중치예측 파라미터가 가질 수 있는 최대값, 즉, 2q)을 예측값으로 하여 생성된 차분값과, 나머지 주파수성분에 대해서는 인접 주파수 성분의 가중치예측 파라미터에 대하여 생성된 차분값을 포함한다.
도 8은 수학식 10에 의한 가중치 파라미터를 구하는 방법을 도식화한 도면이다.
도 8에 도시하듯이, wDiff(0,0)값에 wCurrSlice(1,0)을 차분하여 wDiff(1,0)을 구한다. 차례로 wDiff(1,0)값에 wCurrSlice(2,0)을 차분하여 wDiff(2,0)을 구하는 방법으로 wDiff(m,0)을 구한다. 그 후, wDiff(0,0)값에 wCurrSlice(0,1)을 차분하여 wDiff(0,1)을 구한다. 차례로 wDiff(0,1)값에 wCurrSlice(0,2)을 차분하여 wDiff(0,2)을 구하는 방법으로 wDiff(0,n)을 구할 수 있다.
수학식 11은 도 8을 이용했을 때 4×4 변환 블록의 wDiff를 산출하는 수학식이다. 이는 M×N 크기에도 동일하게 적용할 수 있다.
Figure 112012005742094-pat00011
수학식 11은 다시 수학식 12로 나타낼 수 있다.
Figure 112012005742094-pat00012
도 9는 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 발생되는 경우를 예시한 도면이다.
M×N개의 가중치 예측 파라미터를 샘플링하여 부호화/복호화하는 경우, 도 9를 참조하여 샘플링 한 후 예측 부호화/복호화 할 수 있다.
즉, 가중치예측 파라미터는, 소정의 변환단위에 대하여 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 발생되고, 일정 간격의 주파수성분 사이의 주파수성분의 가중치예측 파라미터는 보간된 값을 사용한다.
도 9를 참조하면, 부호화되는 가중치 정보에는 빗금친 블록 위치의 가중치 예측 파라미터가 포함되며, 하얀색 블록 위치의 가중치 예측 파라미터는 주변의 가중치 예측 파라미터를 이용하여 보간한 값을 해당 위치의 가중치 예측 파라미터로 이용한다.
영상 역변환부(116)는 가중치적용 변환픽처를 역변환하여 가중치적용 예측영상(예컨대, 가중치적용 예측픽처)을 생성한다.
감산부(111)는 현재 블록에서 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성한다.
이와 같이 현재 블록에서 가중치적용 예측영상 내의 예측블록을 감산하여 생성된 잔차블록은 변환부(104), 양자화부(105)를 거쳐 엔트로피부호화부(107)에서 부호화된다.
즉, 변환부(104)는 현재 블록에서 가중치적용 예측영상 내의 예측블록을 감산하여 생성된 잔차 블록을 변환하여 변환 블록을 생성한다. 변환단위는 도 2처럼 부호화단위와 동일하게 분할될 수도 있으며, 다른 다양한 방법으로 분할하여 변환을 수행할 수도 있다. 여기서도 변환단위에 대한 정보도 부호화단위 블록과 마찬가지로 쿼드트리 구조를 이용할 수 있으며, 변환 단위는 여러 가지 크기를 가질 수 있다. 변환부(104)는 잔차신호를 주파수 영역으로 변환하여 변환 계수를 가지는 변환 블록을 생성하여 출력한다. 여기서 잔차신호를 주파수 영역으로 변환하는 방법으로는 이산 코사인 변환(DCT: Discrete Cosine Transform)기반 변환, 이산 사인 변환(DST: Discreate Sine Transform), KLT(Karhunen Loeve Transform) 등, 다양한 변환 기법을 이용할 수 있으며, 이를 이용하여 잔차신호가 주파수 영역으로 변환되어 변환 계수로 변환된다. 변환 기법을 편하게 사용하기 위해 기저벡터(basis vector)를 이용하여 매트릭스(Matrix) 연산을 하게 되는데 예측 블록이 어떤 방식으로 부호화 되었느냐에 따라 매트릭스 연산시 변환기법들을 다양하게 섞어 사용할 수 있다. 예를 들어, 인트라예측시 예측모드에 따라 가로방향으로는 이산 코사인 변환을 사용하고 세로 방향으로는 이산 사인 변환을 사용할 수도 있다.
또한 양자화부(105)는 현재 블록에서 가중치적용 예측영상 내의 예측블록을 감산하여 생성된 잔차 블록을 변환하는 변환부(104)의 변환 블록 출력을 수신하여 이를 양자화하여 양자화된 변환 블록을 생성한다. 즉, 양자화부(105)는 변환부(104)로부터 출력되는 변환 블록의 변환 계수들을 양자화하여 양자화된 변환 계수를 가지는 양자화된 변환 블록(Quantized Transform Coefficient)를 생성하여 출력한다. 여기서, 양자화 방법으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 메트릭스 (Quantization Weighted Matrix) 등이 이용될 수 있지만, 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다.
엔트로피부호화부(107)는 양자화된 변환 블록을 부호화 하여 비트스트림을 발생한다. 즉, 엔트로피부호화부(107)는 양자화부(105)로부터 출력되는 양자화된 변환 블록의 양자화된 변환계수를 지그재그 스캔 등 다양한 스캔 방식으로 스캔한 주파수 계수열을 엔트로피 부호화(Entropy Encoding) 등 다양한 부호화 기법을 이용하여 부호화하고, 후술하는 영상 복호화 장치에서 해당 블록을 복호화하는데 필요한 부가적인 정보들(예를 들면, 예측 모드에 대한 정보, 양자화 계수, 움직임 파라미터 등)을 포함하는 비트스트림을 생성한다.
역양자화부(108)는 양자화된 변환 블록을 역양자화하여 변환계수를 가지는 변환 블록을 복원한다.
역변환부(109)는 역양자화된 변환 블록을 역변환하여 잔차신호를 가지는 잔차 블록을 복원한다.
가산부(112, Adder)는 역변환된 잔차신호와, 인트라예측 또는 인터예측을 통하여 생성된 예측 영상을 가산하여 현재 블록을 복원한다.
메모리(110)는 역변환된 잔차신호와, 인트라예측 또는 인터예측을 통하여 생성된 예측 영상을 가산하여 복원된 현재 블록을 저장하며, 다음 블록 또는 다음 픽쳐 등 다른 블록을 예측하는데 활용될 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 예시한 블록도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(400)는 비트스트림 복호부(401), 역양자화부(402), 역변환부(403), 예측부(405), 가산부(409, Adder), 메모리(408), 영상변환부(410), 가중치적용부(411) 및 영상역변환부(412)를 포함하여 구성될 수 있다.
비트스트림 복호부(401)는 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 추출한다. 즉, 비트스트림 복호부(401)는 입력되는 비트스트림으로부터 추출된 비트열을 복호화 하고 역 스캐닝하여 양자화된 변환 계수를 가지는 양자화된 변환 블록을 복원한다. 이때, 비트스트림 복호부(401)는 엔트로피부호화부(107)에서 이용한 엔트로피 부호화와 같은 부호화 기법을 이용하여 복호화할 수 있다. 또한, 비트스트림 복호부(401)에서는 인터예측의 경우, 비트스트림으로부터 부호화된 차분벡터 관련 정보를 추출하고 복호화하여 차분 벡터를 복원하고 움직임 파라미터를 복호화하여 현재 블록의 움직임 벡터를 복원할 수 있다. 인트라예측의 경우 비트스트림으로부터 부호화된 인트라예측모드 인덱스를 추출하고 복호화하여 현재 블록이 어떤 인트라예측모드를 사용하였는지 알려준다. 또한 영상 부호화 장치에서 부호화블록 단위로 가중치 예측 플래그를 비트스트림에 포함하여 전송하는 경우에는 추출되는 가중치 정보에 포함된 가중치 예측 플래그를 복호한다. 이 가중치 예측 플래그가 해당 부호화 블록이 가중치예측을 수행했음을 의미하면 예측부(405), 영상변환부(410), 가중치 적용부(411) 및 영상 역변환부(412) 등에서 가중치 예측을 수행하도록 하고 해당 부호화 블록이 가중치예측을 수행하지 않았음을 의미하면 예측부(405)에서 생성된 예측블록으로 복호화를 수행하도록 한다.
역양자화부(402)는 양자화된 변환 블록을 역양자화 한다. 즉, 역양자화부(402)는 비트스트림 복호부(401)로부터 출력되는 양자화된 변환 블록의 양자화된 변환계수를 역양자화한다. 이때, 역양자화부(402)는 영상부호화 장치의 양자화부(105)를 이에서 이용한 양자화 기법을 역으로 수행하여 역양자화 한다.
역변환부(403)는 역양자화부(402)로부터 출력되는 역양자화된 변환 블록을 역변환하여 잔차블록을 복원한다. 즉, 역변환부(403)는 역양자화부(402)로부터 출력되는 역양자화된 변환 블록의 역양자화된 변환 계수를 역변환함으로써 복원된 잔차 신호를 가지는 잔차 블록을 복원하는데, 영상 부호화 장치의 변환부(104)에서 이용한 변환 기법을 역으로 수행하여 역변환한다.
예측부(405)는 인트라예측부(406) 및 인터예측부(407)를 포함할 수 있으며, 전술한 영상 부호화 장치의 인트라예측부(102) 및 인터예측부(103)과 각각 유사한 기능을 한다. 인터예측부(407)는 복원된 현재 움직임 벡터를 이용하여 복원하고자 하는 현재블록에 대한 예측 블록을 생성한다.
영상변환부(410)는 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 소정의 변환단위로 변환하여 제2 변환영상을 생성한다.
가중치 적용부(411)는 제2 변환영상에 소정의 변환단위로 복원된 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성한다. 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 방법은 영상 부호화장치의 가중치적용부(115)에서의 방법과 유사하다.
영상 역변환부(412)는 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성한다. 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 방법은 영상 부호화장치의 영상 역변환부(116)에서의 방법과 유사하다.
가산부(409, Adder)는 가중치적용 예측영상 내의 예측블록과 복원되는 잔차 블록을 가산하여 현재 화소 블록을 복원한다.
메모리(408)는 영상 부호화 장치의 메모리(110)와 동일하게 복호된 영상을 저장하여 이후의 예측에 사용될 수 있다.
인트라예측부(406)는 여기서 생성된 움직임 벡터를 이용하여 복원할 현재블록을 예측하는데에 사용한다.
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 1의 영상 부호화 장치의 비트스트림(부호화 데이터) 출력단을 도 10의 영상 복호화 장치의 비트스트림 입력단에 연결함으로써 구현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재 블록에 대한 제1 예측블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하여 상기 현재블록을 비트스트림으로 부호화하는 영상 부호화 장치(100)(본 발명의 일 실시예에서의 영상 부호화/복호화 장치에서의 영상 부호화기를 구현) 및 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하고 현재블록에 대한 예측 블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 가중치적용 예측영상 내의 예측블록과 복원되는 잔차 블록을 가산하여 현재 블록을 복원하는 영상 복호화 장치(800)(본 발명의 일 실시예에서 따른 영상 부호화/복호화 장치에서의 영상 복호화기를 구현)를 포함한다.
본 발명의 일 실시예에 따른 영상을 부호화하는 방법은, 현재 블록에 대한 제1 예측블록을 생성하는 예측단계, 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환단계, 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하는 가중치 산출단계, 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용단계, 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환단계, 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하는 감산단계, 상기 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환단계, 상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화단계 및 상기 가중치예측 파라미터가 포함된 가중치 정보와 상기 양자화된 주파수변환블록을 비트스트림으로 부호화하는 엔트로피 부호화단계를 포함한다.
여기서 예측단계는 예측부(106)의 동작에 대응되고, 영상변환단계는 영상변환부(113)의 동작에 대응되고, 가중치 산출단계는 가중치 산출부(114)의 동작에 대응되고, 가중치 적용단계는 가중치 적용부(115)의 동작에 대응되고, 영상 역변환단계는 영상 역변환부(116)의 동작에 대응되고, 감산단계는 감산부(111)의 동작에 대응되고, 변환단계는 변환부(104)의 동작에 대응되고, 양자화단계는 양자화부(105)의 동작에 대응되고, 엔트로피 부호화단계는 엔트로피 부호화부(107)의 동작에 대응되므로 상세한 성명은 생략한다.
본 발명의 일 실시예에 따른 영상을 복호화하는 방법은, 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하는 비트스트림 복호단계, 상기 양자화된 주파수변환 블록을 역양자화하여 주파수변환블록을 생성하는 역양자화단계, 상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환단계, 복원하고자 하는 현재블록에 대한 예측 블록을 생성하는 예측단계, 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환단계, 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용단계, 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환단계 및 상기 가중치적용 예측영상 내의 예측블록과 상기 복원되는 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산단계를 포함한다.
여기서 비트스트림 복호단계는 비트스트림 복호부(401)의 동작에 대응되고, 역양자화단계는 역양자화부(402)의 동작에 대응되고, 역변환단계는 역변환부(403)의 동작에 대응되고, 예측단계는 예측부(405)의 동작에 대응되고, 영상변환단계는 영상변환부(410)의 동작에 대응되고, 가중치 적용단계는 가중치 적용부(411)의 동작에 대응되고, 영상 역변환단계는 영상 역변환부(412)의 동작에 대응되고, 가산단계는 가산부(409)에 대응되므로 상세한 성명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 블록에 대한 제1 예측블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하여 상기 현재블록을 비트스트림으로 부호화하는 영상 부호화단계; 및 비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하고 복원할 현재블록에 대한 예측 블록을 생성하고 상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하고 상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하고 상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하고 상기 가중치적용 예측영상 내의 예측블록과 복원되는 잔차 블록을 가산하여 화소 블록을 복원하는 영상 복호화단계를 포함한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현한 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록 매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, B 픽처의 부호화, P 픽처의 부호화, 인터 예측 부호화 등에 있어서, 가중치 예측을 함으로써 현재 부호화할 블록 또는 현재 픽처의 움직임 보상을 정밀하게 부호화하고, 비트스트림으로부터 추출한 가중치 예측 파라미터 정보에 기초하여 현재 복호화할 블록 또는 픽처의 움직임 보상을 수행하여 복원함으로써 현재 블록 또는 픽처에 대한 복원 효율을 향상하는 효과를 발생하는 매우 유용한 발명이다.

Claims (32)

  1. 삭제
  2. 영상을 부호화하는 장치에 있어서,
    현재 블록에 대한 제1 예측블록을 생성하는 예측부;
    상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환부;
    제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하는 가중치 산출부;
    상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용부;
    상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환부;
    상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하는 감산부;
    상기 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환부;
    상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화부; 및
    상기 가중치예측 파라미터가 포함된 가중치 정보와 상기 양자화된 주파수변환블록을 비트스트림으로 부호화하는 비트스트림 생성부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2 항에 있어서, 상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 주파수성분별로 산출되는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2 항에 있어서, 상기 가중치예측 파라미터는,
    상기 제2 변환영상과 상기 가중치적용 변환영상 사이의 비율관계를 나타내는 스케일인자와, 상기 제2 변환영상과 상기 가중치적용 변환영상의 차이를 나타내는 오프셋인자를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 4 항에 있어서, 상기 가중치예측 파라미터는,
    상기 스케일인자는 주파수 성분별로 발생되고 상기 오프셋인자는 DC성분에 대해서만 발생되는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 2 항에 있어서, 상기 영상 부호화 장치는,
    상기 영상변환부가 변환을 함에 있어서 복수개의 변환 알고리즘을 적용하여 복수개의 가중치예측 파라미터를 산출한 후 상기 복수개의 가중치예측 파라미터 중에서 최적의 부호화 효율을 나타내는 가중치예측 파라미터를 선택하는 파라미터 결정부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 2 항에 있어서, 상기 영상 부호화 장치는,
    상기 영상변환부가 변환을 함에 있어서 복수개의 크기의 변환단위를 적용하여 복수개의 가중치예측 파라미터를 산출한 후 상기 복수개의 가중치예측 파라미터 중에서 최적의 부호화 효율을 나타내는 가중치예측 파라미터를 선택하는 파라미터 결정부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 6항 또는 7항에 있어서,
    상기 가중치 정보는, 상기 영상변환부가 수행한 변환에 대한 정보를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 2 항에 있어서,
    상기 가중치 정보에는 이전 블록집합에 대한 가중치 파라미터에 대한 차분값으로 상기 가중치정보 파라미터에 대한 정보가 포함되는 것을 특징으로 하는 영상 부호화 장치.
  10. 제 3 항에 있어서,
    상기 가중치 정보는,
    DC성분에 대해서는 최대 비트값을 예측값으로 하여 생성된 차분값과, 나머지 주파수성분에 대해서는 인접 주파수 성분의 가중치예측 파라미터에 대하여 생성된 차분값을 포함하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 3 항에 있어서,
    상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 발생되고 상기 일정 간격의 주파수성분 사이의 주파수성분의 가중치예측 파라미터는 보간된 값을 사용하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제 3 항에 있어서,
    상기 영상 부호화 장치는,
    부호화블록 단위로 상기 가중치예측 파라미터의 적용시의 부호화비용을 판단하여 가중치예측을 적응적으로 수행하는 것을 특징으로 하는 영상 부호화 장치.
  13. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하는 비트스트림 복호부;
    상기 양자화된 주파수변환 블록을 역양자화하여 주파수변환블록을 생성하는 역양자화부;
    상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환부;
    복원하고자 하는 현재블록에 대한 예측 블록을 생성하는 예측부;
    상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환부;
    상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용부;
    상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환부; 및
    상기 가중치적용 예측영상 내의 예측블록과 상기 복원되는 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  14. 제 13 항에 있어서, 상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 주파수성분별로 존재하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제 13 항에 있어서, 상기 가중치예측 파라미터는,
    상기 제2 변환영상과 상기 가중치적용 변환영상 사이의 비율관계를 나타내는 스케일인자와, 상기 제2 변환영상과 상기 가중치적용 변환영상의 차이를 나타내는 오프셋인자를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 15 항에 있어서, 상기 가중치예측 파라미터는,
    상기 스케일인자는 주파수 성분별로 존재하고 상기 오프셋인자는 DC성분에 대해서만 존재하는 것을 특징으로 하는 영상 복호화 장치.
  17. 제 13항에 있어서,
    상기 복호되는 가중치 정보는 상기 영상변환부가 수행하는 변환에 대한 정보를 더 포함하고,
    상기 영상변환부는 복호된 변환에 대한 정보를 이용하여 변환을 하는 것을 특징으로 하는 영상 복호화 장치.
  18. 제 13 항에 있어서,
    상기 비트스트림 복호부는,
    상기 가중치 정보에 포함된 가중치 파라미터 차분값에 이전 블록집합에 대한 가중치 파라미터를 더하여 구하는 상기 가중치예측 파라미터를 구하는 것을 특징으로 하는 영상 복호화 장치.
  19. 제 14 항에 있어서,
    상기 가중치 정보는,
    DC성분에 대해서는 최대 비트값을 예측값으로 하여 생성된 차분값과, 나머지 주파수성분에 대해서는 인접 주파수 성분의 가중치예측 파라미터에 대하여 생성된 차분값을 포함하는 것을 특징으로 하는 영상 복호화 장치.
  20. 제 14 항에 있어서,
    상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 존재하고 상기 일정 간격의 주파수성분 사이의 주파수성분의 가중치예측 파라미터는 보간된 값을 사용하는 것을 특징으로 하는 영상 복호화 장치.
  21. 제 3 항에 있어서,
    상기 영상 복호화 장치는,
    부호화블록 단위로 상기 가중치 정보에 포함된 가중치 예측 플래그에 따라 가중치 예측 파라미터를 적용하여 적응적으로 가중치예측을 수행하는 것을 특징으로 하는 영상 복호화 장치.
  22. 삭제
  23. 영상을 부호화하는 방법에 있어서,
    현재 블록에 대한 제1 예측블록을 생성하는 예측단계;
    상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환단계;
    제1 변환영상 및 제2 변환영상 내의 동일 위치의 상기 소정의 변환단위별로 상기 제1 변환영상의 화소값과 상기 제2 변환영상의 화소값 사이의 관계에 기반하여 가중치예측 파라미터를 산출하는 가중치 산출단계;
    상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용단계;
    상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환단계;
    상기 현재 블록에서 상기 가중치적용 예측영상 내의 예측블록을 감산하여 잔차 블록을 생성하는 감산단계;
    상기 잔차 블록을 변환하여 주파수변환블록을 생성하는 변환단계;
    상기 주파수변환블록을 양자화하여 양자화된 주파수변환블록을 생성하는 양자화단계; 및
    상기 가중치예측 파라미터가 포함된 가중치 정보와 상기 양자화된 주파수변환블록을 비트스트림으로 부호화하는 비트스트림 생성단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  24. 제 23 항에 있어서, 상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 주파수성분별로 산출되는 것을 특징으로 하는 영상 부호화 방법.
  25. 제 23 항에 있어서, 상기 가중치예측 파라미터는,
    상기 제2 변환영상과 상기 가중치적용 변환영상 사이의 비율관계를 나타내는 스케일인자와, 상기 제2 변환영상과 상기 가중치적용 변환영상의 차이를 나타내는 오프셋인자를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  26. 제 23 항에 있어서,
    상기 가중치 정보에는 이전 블록집합에 대한 가중치 파라미터에 대한 차분값으로 상기 가중치정보 파라미터에 대한 정보가 포함되는 것을 특징으로 하는 영상 부호화 방법.
  27. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 양자화된 주파수변환블록 및 가중치 정보를 복호하는 비트스트림 복호단계;
    상기 양자화된 주파수변환 블록을 역양자화하여 주파수변환블록을 생성하는 역양자화단계;
    상기 주파수변환블록을 역변환하여 잔차 블록을 복원하는 역변환단계;
    복원하고자 하는 현재블록에 대한 예측 블록을 생성하는 예측단계;
    상기 현재블록이 포함된 블록집합을 소정의 변환단위로 변환하여 제1 변환영상을 생성하고 상기 블록집합에 대한 예측블록들로 구성된 움직임보상 예측영상을 상기 소정의 변환단위로 변환하여 제2 변환영상을 생성하는 영상변환단계;
    상기 제2 변환영상에 상기 소정의 변환단위로 상기 가중치 정보에 포함된 가중치예측 파라미터를 적용하여 가중치적용 변환영상을 생성하는 가중치 적용단계;
    상기 가중치적용 변환영상을 역변환하여 가중치적용 예측영상을 생성하는 영상 역변환단계; 및
    상기 가중치적용 예측영상 내의 예측블록과 상기 복원되는 잔차 블록을 가산하여 상기 현재 블록을 복원하는 가산단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  28. 제 27 항에 있어서, 상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 주파수성분별로 존재하는 것을 특징으로 하는 영상 복호화 방법.
  29. 제 27 항에 있어서, 상기 가중치예측 파라미터는,
    상기 제2 변환영상과 상기 가중치적용 변환영상 사이의 비율관계를 나타내는 스케일인자와, 상기 제2 변환영상과 상기 가중치적용 변환영상의 차이를 나타내는 오프셋인자를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  30. 제 27 항에 있어서,
    상기 비트스트림 복호단계에서는,
    상기 가중치 정보에 포함된 가중치 파라미터 차분값에 이전 블록집합에 대한 가중치 파라미터를 더하여 구하는 상기 가중치예측 파라미터를 구하는 것을 특징으로 하는 영상 복호화 방법.
  31. 제 28 항에 있어서,
    상기 가중치 정보는,
    DC성분에 대해서는 소정 값에 대한 예측값으로 하여 생성된 차분값과, 나머지 주파수성분에 대해서는 인접 주파수 성분의 가중치예측 파라미터에 대하여 생성된 차분값을 포함하는 것을 특징으로 하는 영상 복호화 방법.
  32. 제 28 항에 있어서,
    상기 가중치예측 파라미터는,
    상기 소정의 변환단위에 대하여 일정 간격의 주파수성분마다 주파수성분 가중치예측 파라미터가 존재하고 상기 일정 간격의 주파수성분 사이의 주파수성분의 가중치예측 파라미터는 보간된 값을 사용하는 것을 특징으로 하는 영상 복호화 방법.
KR1020120006944A 2012-01-20 2012-01-20 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치 Active KR101418096B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120006944A KR101418096B1 (ko) 2012-01-20 2012-01-20 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
PCT/KR2013/000317 WO2013109039A1 (ko) 2012-01-20 2013-01-16 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
US14/335,222 US20140328403A1 (en) 2012-01-20 2014-07-18 Image encoding/decoding method and apparatus using weight prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120006944A KR101418096B1 (ko) 2012-01-20 2012-01-20 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009254A Division KR101456973B1 (ko) 2014-01-24 2014-01-24 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130085838A KR20130085838A (ko) 2013-07-30
KR101418096B1 true KR101418096B1 (ko) 2014-07-16

Family

ID=48799419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120006944A Active KR101418096B1 (ko) 2012-01-20 2012-01-20 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20140328403A1 (ko)
KR (1) KR101418096B1 (ko)
WO (1) WO2013109039A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004833A1 (ko) * 2018-06-29 2020-01-02 엘지전자 주식회사 Dc 계수를 적응적으로 결정하는 방법 및 그 장치
WO2020242145A1 (ko) * 2019-05-24 2020-12-03 디지털인사이트주식회사 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1995967A4 (en) * 2006-03-16 2009-11-11 Huawei Tech Co Ltd METHOD AND APPARATUS FOR ADAPTIVE QUANTIFICATION IN AN ENCODING PROCEDURE
JP6379225B2 (ja) * 2014-07-10 2018-08-22 インテル・コーポレーション 効果的なテクスチャ圧縮のための方法および装置
EP4040791A1 (en) * 2015-06-08 2022-08-10 Vid Scale, Inc. Intra block copy mode for screen content coding
US10694179B2 (en) * 2016-01-12 2020-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Video coding using hybrid intra prediction
KR102425722B1 (ko) * 2016-04-29 2022-07-27 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
KR102557797B1 (ko) * 2016-04-29 2023-07-21 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
KR102557740B1 (ko) * 2016-04-29 2023-07-24 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
KR102431287B1 (ko) * 2016-04-29 2022-08-10 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
CN109479142B (zh) 2016-04-29 2023-10-13 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
CN117061745A (zh) 2016-04-29 2023-11-14 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
WO2018008904A2 (ko) * 2016-07-05 2018-01-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN113473122B (zh) * 2016-07-05 2024-08-20 株式会社Kt 对视频进行解码或编码的方法和计算机可读介质
CN114401402B (zh) * 2016-07-05 2024-06-14 株式会社Kt 用于处理视频信号的方法和装置
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
KR20230070062A (ko) * 2016-10-04 2023-05-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN117176947A (zh) 2016-10-04 2023-12-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
CN116916014A (zh) 2016-12-07 2023-10-20 株式会社Kt 对视频进行解码或编码的方法和存储视频数据的设备
CN106851288B (zh) * 2017-02-27 2020-09-15 北京奇艺世纪科技有限公司 一种帧内预测编码方法及装置
KR102053242B1 (ko) * 2017-04-26 2019-12-06 강현인 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
JP6926940B2 (ja) * 2017-10-24 2021-08-25 株式会社リコー 画像処理装置およびプログラム
KR102604680B1 (ko) 2017-12-21 2023-11-21 엘지전자 주식회사 선택적 변환에 기반한 영상 코딩 방법 및 그 장치
KR101997681B1 (ko) * 2018-06-11 2019-07-08 광운대학교 산학협력단 양자화 파라미터 기반의 잔차 블록 부호화/복호화 방법 및 장치
CN113892268B (zh) * 2019-03-20 2024-12-03 现代自动车株式会社 基于预测模式估计的帧内预测装置和方法
AU2020405890B2 (en) 2019-12-20 2024-03-07 Lg Electronics Inc. Prediction weighted table-based image/video coding method and apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110033511A (ko) * 2009-09-25 2011-03-31 에스케이 텔레콤주식회사 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
BRPI0910477A2 (pt) * 2008-04-11 2015-09-29 Thomson Licensing método e equipamento para predição de equiparação de gabarito (tmp) na codificação e decodificação de vídeo
KR20200036953A (ko) * 2009-01-27 2020-04-07 인터디지털 브이씨 홀딩스 인코포레이티드 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
KR101663235B1 (ko) * 2009-12-14 2016-10-06 한국과학기술원 화면 내 예측 부호화/복호화 방법 및 장치
JP2011151683A (ja) * 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110033511A (ko) * 2009-09-25 2011-03-31 에스케이 텔레콤주식회사 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004833A1 (ko) * 2018-06-29 2020-01-02 엘지전자 주식회사 Dc 계수를 적응적으로 결정하는 방법 및 그 장치
WO2020242145A1 (ko) * 2019-05-24 2020-12-03 디지털인사이트주식회사 적응적 파라미터 셋을 사용하는 비디오 코딩 방법 및 장치
US11190769B2 (en) 2019-05-24 2021-11-30 Digitalinsights Inc. Method and apparatus for coding image using adaptation parameter set
US11575898B2 (en) 2019-05-24 2023-02-07 Digitalinsights Inc. Method and apparatus for coding image using adaptation parameter set

Also Published As

Publication number Publication date
WO2013109039A1 (ko) 2013-07-25
US20140328403A1 (en) 2014-11-06
KR20130085838A (ko) 2013-07-30

Similar Documents

Publication Publication Date Title
KR101418096B1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101269116B1 (ko) 인터 예측 부호화된 동영상 복호화 방법
RU2679116C1 (ru) Устройство кодирования видео, устройство декодирования видео, способ кодирования видео и способ декодирования видео
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101947142B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101430049B1 (ko) 동영상 복호화 장치
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
KR101768865B1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20130067280A (ko) 인터 예측 부호화된 동영상 복호화 방법
KR101432767B1 (ko) 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101456973B1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101590493B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101766600B1 (ko) 화면내 예측을 수행하는 부호화/복호화 장치 및 화면내 예측 부호화/복호화 방법
KR101672085B1 (ko) 화면내 예측을 수행하는 부호화/복호화 장치 및 화면내 예측 부호화/복호화 방법
KR101582504B1 (ko) 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20180090975A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120120

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130109

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120120

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131205

Patent event code: PE09021S01D

A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20140124

Patent event code: PA01071R01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140618

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140703

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140703

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170703

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180703

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190626

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200701

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210615

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230622

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240619

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20250619

Start annual number: 12

End annual number: 12