[go: up one dir, main page]

KR20000068666A - 가변 비트 레이트 영상 코딩 방법 및 그 영상 코더 - Google Patents

가변 비트 레이트 영상 코딩 방법 및 그 영상 코더 Download PDF

Info

Publication number
KR20000068666A
KR20000068666A KR1019997002709A KR19997002709A KR20000068666A KR 20000068666 A KR20000068666 A KR 20000068666A KR 1019997002709 A KR1019997002709 A KR 1019997002709A KR 19997002709 A KR19997002709 A KR 19997002709A KR 20000068666 A KR20000068666 A KR 20000068666A
Authority
KR
South Korea
Prior art keywords
bit rate
coding
step size
prediction
quantization
Prior art date
Application number
KR1019997002709A
Other languages
English (en)
Other versions
KR100667607B1 (ko
Inventor
에티엔네 페르트
다니엘 카이저
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20000068666A publication Critical patent/KR20000068666A/ko
Application granted granted Critical
Publication of KR100667607B1 publication Critical patent/KR100667607B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 가변 비트 레이트 코딩 방법은 제 1 분석 패스 및 제 2 예측 패스를 포함하는 대화형 처리를 포함한다. 분석 패스는 일정한 양자화 스텝사이즈(및 화질)에 따라 시퀀스의 화상 코딩을 가능하게 하며 예측 패스는 원하는 목표 비트 레이트에 스텝사이즈를 매칭할 수 있도록 한다. 소정의 반복 이후에, 최종 단계는 상기 목표 비트 레이트에 대해 상기 스텝사이즈의 미세한 조정을 가능하게 한다.
응용 : 제한된 용량을 갖는 저장 매체용의 MPEG2 엔코더

Description

가변 비트 레이트 영상 코딩 방법 및 그 영상 코더{Variable bitrate video coding method and corresponding video coder}
문헌 "MPEG Video coding : 기본 지도 입문서"에 기술되어 있는 바와 같이, 영상 및 음성 신호의 디지털 압축에 대한 표준을 규정할 목적으로, S.R. Ely, BBC Research and Development Report, BBC-RD-1996/3, 페이지 1-10, MPEG 활동이 1988년에 시작되었다. 첫 번째 목표는 CD-ROM(Compact Disc Read-Only Memory) 등의 디지털 저장 매체를 위한 영상 알고리즘을 규정하는 것이었지만, 결과적으로 그 표준은 대화형 CD 시스템(CD-I)에도 응용되었다. 화상 데이터를 1∼15Mbit/s 범위의 비트 레이트로 전송 및 저장이 가능하기 때문에, 상기 표준은 시간적인 리던던스(redundancy)의 감소에 대한 블록식 모션 보상 및 공간적인 리던던스의 감소에 대한 DCT(discrete cosine transformation)를 이용함으로써 달성된 데이터 압축에 기초하고 있다.
CD-I 및 CD-ROM 등의 종래의 CD 표준의 경우에는, 전송 비트 레이트가 고정되어 있고, 따라서 화상들만이 일정한 비트 레이트로 코드화될 수 있다. DVD(Digital Versatile Disc) 등의 새로운 표준에 의하면 VBR(variable bit rate; 가변 비트 레이트)로 데이터의 전송이 가능해진다. 즉, 일정한 화질을 유지하기 위해서 보다 적은 정보를 포함하는 장면보다 더 높은 비트 레이트로 복잡한 장면들을 코드화할 수 있다.
본 발명은 가변 비트 레이트 영상 코딩 방법 및 상기 방법을 실행할 수 있는 대응하는 영상 코더에 관한 것이다.
도 1은 화상들의 그룹중에서 몇몇 화상들을 도시하는 도면.
도 2 및 도 3은 그러한 통상적인 화상들의 그룹에 대해서 화상들의 표시 순서 및 전송 순서 간의 차를 도시하는 도면.
도 4 및 도 5는 본 발명에 따른 코딩 방법의 주 단계들을 각각 도시하며 상기 방법을 실행할 수 있는 영상 코더의 대응하는 구성을 도시하는 도면.
도 6은 상기 코딩 방법의 최종 제어 단계를 실행시키는데 사용되는 제어 루프를 도시하는 도면.
본 발명의 목적은 제한된 소정의 총 비트 버젯(budget)하에서(즉, 소정의 목표 비트 레이트에 따라), 코드화된 시퀀스의 질을 일정하게 얻을 수 있는 VBR 영상 코딩 방법을 제안하는 것이다.
이 때문에, 본 발명은 다음에 의해 특징지어지는 VBR 영상 코딩 방법에 관한 것이다. 즉, 본 발명의 VBR 영상 코딩 방법은;
(a) 일정한 양자화 스텝에 따라 화상 시퀀스를 코딩하고, 시퀀스의 평균 비트 레이트가 특정 크기의 제약 조건을 반드시 충족하지는 않는 비트스트림을 발생시키는 분석 단계;
(b) 소정의 목표 비트 레이트에 따라 비트스트림을 코드화하는데 이용되어야 하는 양자화 스텝사이즈를 예측하는 예측 단계;
(c) 상기 스텝사이즈를 보다 정밀하게 추정하기 위하여 상기 분석 단계 및 상기 예측 단계를 적어도 1회 반복하는 단계;
(d) 상기 목표 비트 레이트를 매치시키기 위한 스텝사이즈의 조정을 고려하여, 모든 이전 프레임들에 대한 누적 비트 레이트와 예측된 누적 비트 레이트와의 비교에 의존하는 최종 제어 단계를 포함한다.
본 발명의 또다른 목적은, 상기 코딩 방법을 실행하기 위해서 제공되는 VBR 영상 코더를 제안하는 것이다.
이 때문에 본 발명은 다음과 같이 특징지어지는 가변 비트 레이트 영상 코더에 관한 것이다. 즉, 본 발명의 가변 비트 레이트 영상 코더는;
(a) 적어도 직렬의 양자화 회로 및 가변 길이 회로를 포함하는 코딩 브랜치(branch);
(b) 상기 양자화 장치의 출력에서 직렬로 적어도 역양자화 장치 및 예측 서브시스템을 포함하고 상기 코딩 브랜치에 의해 코드화되는 신호를 감산함으로써 규정되는 예측 브랜치;
(c) 일정한 양자화 스텝사이즈에 따른 영상 시퀀스의 코딩 동작과, 특정 목표 비트 레이트로 비트스트림을 코드화할 수 있는 양자화 스텝사이즈의 추정을 위한 예측 동작과, 상기 동작들의 적어도 1회 반복 동작과, 상기 목표 비트 레이트로의 코딩 동작 동안 사용된 총 비트 수를 매치시키기 위한 최종 제어 동작을 실행시키도록 제공된 제어 회로를 포함한다.
이제 본 발명의 이점들에 대해 하기의 상세한 설명 및 첨부 도면들과 관련하여 설명한다.
본 발명에 따른 코딩 방법에 대해 기술하기 전에, MPEG2 영상 표준의 약간의 기본적인 원리들을 상기하도록 한다. 가능한한 넓은 응용 범위를 지원하고자, 모든 응용 조건들을 충족시킬 수 있는 프로파일 및 레벨들을 규정함으로써, 상기 표준은 융통성을 갖게 된다. 프로파일은 MPEG2 표준의 서브세트로서, 소정의 응용 정도에 따라 요구되는 특징들만을 지원하도록 되어 있고, 레벨은 비트스트림의 파라미터들에 부과된 제약 조건들의 세트를 규정한다.
3가지 성분들(Y, U, V)로 이루어지는 칼라 화상들에 적용되는 MPEG2 압축의 기본적인 단계들은, 루미넌스 및 크로미넌스 블록들로 구성되어 있는 작은 서브섹션들이나 매크로블록들로 분할되는 프레임들에 관계한다. 이들 단계들로는, 모션 추정 및 보상(16픽셀×16라인 매크로블록에 기초함), 이산 코사인 변환(8픽셀×8라인 블록에 기초함), 런랭스 코딩이 있다.
세 종류의 프레임 또는 화상들이 규정되어 있다. 인트라 화상(또는 I 화상)들은 다른 화상들과 무관하게 코드화되고, 예측 화상(또는 P 화상)들은 과거의 I 또는 P 화상으로부터 모션 보상 예측을 이용하여 코드화되고, 쌍방향 예측 화상(또는 B 화상)들은 모션 보상을 위해 과거 및 미래 I 또는 P 화상들 둘 다 이용한다. 모션 정보는 블록 매칭 탐색의 실행으로 얻어진 모션 벡터들의 형태로 제공된다(매우 많은 수의 시험적인 오프셋들이 코더에서 테스트되고 최상의 것을 코드화되는 블록 및 예측 간의 최소 에러의 측정에 기초하여 선택된다).
모션 벡터들에 기초하여 P 및 B 화상들이 어떻게 규정되는 지를 도시하는 도 1에 나타낸 것과 같이, 상이한 화상들은 통상적으로 반복되는 시퀀스에서 발생되고, 상기 반복 시퀀스는 화상들의 그룹 또는 GOP라 불리는데, 다음 I 화상이 발생될 때까지 모든 연속 화상들 및 I 화상으로 구성된다. 통상적인 GOP는 도 2의 표시 순서(흑색 화살표는 전방향 예측에 대응되고 백색 화살표는 후방향 예측에 대응된다) 및 도 3의 전송 순서(P4, P7, I10, P13은 다시 순서가 정해진 프레임들을 나타낸다)로 도시되어 있고, 상기 순서들은 서로 달라 미래의 화상들로부터 후방향측 예측을 디코딩할 시에 이네이블된다.
규칙적인 GOP 구조는 두 개의 파라미터 N과 M으로 기술될 수 있다. GOP의 크기로서 규정된 파라미터 N은 도 2에 도시된 바와 같이 상기 GOP의 화상들의 수이다. 즉, 두 개의 I 화상들 사이의 화상들의 수에 하나를 더한 것이다. 파라미터 M은 P 화상들의 간격, 또는 인접한 B 화상들의 수에 하나를 더한 것과 같다. 도 1 내지 도 3의 도시된 예에서는, M=3이고, N=9이다. 기타 다른 조합들도 다음과 같이 가능함은 당연하다.
화상 표시 순서 N M
IPPPPPIPP......................6..........1
IBPBPBPBI......................8..........2
IBBPBBPBBPBBIBBP..............12..........3
N과 M은 서로 독립적으로 선택된다.
매크로블록 보상의 종류에 관해 결정이 된 이후에, 관련 매크로블록의 각각의 픽셀에 대한 예측 에러는 원래의 매크로블록으로부터 추정된 매크로블록을 감산함으로써 얻어진다. 그리고, DCT가 8×8 픽셀의 블록의 경우에 예측 에러에 대해 수행되며(이에 따라서 6개의 DCT 변환이 각 매크로블록마다 결정되고 4개의 DCT 변환이 루미넌스 성분에 대해 결정되고, 크로미넌스 성분들에 대해서는 두 개가 결정된다), 이에 따라 얻어진 주파수 성분은 양자화된다. 양자화 스텝사이즈는 비트 레이트 및 디코드된 영상의 왜곡을 결정한다. 즉, 양자화가 양호하지 못하면, 화상을 코드화하는데 비트가 거의 필요 없지만 최종 화질이 낮으며, 반면에 양자화 스텝사이즈가 양호한 경우에는 화상을 코드화하는데 많은 비트가 요구되지만 화질은 높다. 사람의 눈은 낮은 주파수보다는 보다 높은 주파수에 덜 민감하므로, 고주파 성분을 위해서는 보다 열등한 양자화기를 이용하는 것이 유리하다(실제로, 주파수 종속 양자화를 달성하기 위하여, 가중 매트릭스가 기본 매크로블록 양자화 파라미터에 응용된다. 상기 기본 매크로블록 양자화 파라미터는 다수의 계수들, 특히 고주파수의 계수들로서, 상기 가중 양자화 이후에는 0이 된다).
그 다음으로 각각의 블록은 지그재그형으로 주사되고 얻어진 목록은 코드화된다. 런랭스 코딩은 쌍(A, NZ)을 결정함으로써 행하여진다. 이 때 A는 연속적인 제로들(0 내지 63)의 수를 나타내고, NZ는 그 다음의 0이 아닌 계수의 진폭을 나타낸다. 다음으로, 상기 쌍의 출현 주파수에 의존하여 가변 길이 코드가 상기 쌍(A, NZ)에 할당된다(공통인 조합 (A, NZ)에는 짧은 가변 길이 코드가 할당되고, 덜 빈번한 쌍에는 긴 가변 길이 코드가 할당된다).
상술한 바와 같은 기능들은 예를 들면 일반화된 MPEG2 코더의 구조를 포함하는 문헌 "Hybrid extended MPEG video coding algorithm for general video applications", C.T. Chen and al., Signal Processing : Image Communication 5(1993), pp. 21-37, part 2.4에 요약되어 있다. 지금 제안한 VBR 코딩 방법의 목적은 최종 비트스트림의 크기가 DVD와 같은 정해진 용량을 가진 저장 매체 상에 꼭들어 맞게 하는 것이다. 상기 방법에 대해서 도 4에 도시되어 있고, 상기 방법을 실행할 수 있는 영상 코더의 구성은 도 5에 도시되어 있다.
코딩 방법은 3단계(41, 42, 43)들로 분할된다. 제 1 단계(41)는 분석 단계로서, 화상 시퀀스가 일정한 양자화 스텝사이즈 Qc에 따라(그러므로 일정한 화질을 갖는다) 코드화된다. 이 단계의 끝에서는, 규칙적인 MPEG2 순응 비트스트림이 발생되었지만, 상기 단계의 종료 이전에는 알려지지 않은 그와 같이 처리된 전체 시퀀스의 평균 비트 레이트(즉, 그 시퀀스에 대한 코드화된 비트의 총수를 상기 시퀀스에서의 화상들의 총수로 나눈 몫)는 비트스트림의 특정 사이즈의 필요한 제약 조건을 충족시키지 못한다.
제 2 단계(42)는 예측 단계로서, 특정 목표 비트 레이트에 따라 비트스트림을 코드화하는데 사용되어야 하는 양자화 스텝사이즈 Q를 예측하는 것이다. 일단 상기 예측 단계가 완료되면, 분석 단계(41)는 Q에 대한 보다 정밀한 추정(그러나, 양호한 예측은 일반적으로 소수의 런 이후, 이를테면 2회 이후에 얻어진다)을 하기 위하여 필요한 만큼 자주 반복된다(도 4의 화살표).
상기 제 2 단계의 끝에서 유효한 양자화 스텝사이즈 Q가 단지 추정 값인 경우, 총 비트 버젯은 모든 화상이 상기 예측값에 의해 코드화되는 경우 정확하게 매칭되지 않는다. 마지막 단계는 최종 패스(43)로서, 총 평균 비트 레이트에 대한 제약이 정확히 관측되는 것을 보증할 수 있게 한다. 최종 출력 비트스트림이 실제로 정확하게 원하는 크기를 갖게 하기 위하여, 양자화 스텝사이즈 제어 처리가 실행된다. 이 처리는 예측 비트 레이트 및 실제 비트 레이트의 비교에 의존하는 제어 루프를 토대로 한다. 최종 단계에서 각 화상의 코딩 이후에, 제어 처리는 사용된 총 비트수를 허용된 비트수와 비교한다. 버젯이 허용하는 것보다 더 많은 비트가 사용된 경우, 양자화 스텝사이즈는 증가되고 그 다음 화상의 비트 레이트는 감소된다. 버젯이 허용하고 있는 것보다 더 적은 비트가 사용된 경우, Q는 감소되고 비트 레이트는 증가되며 전체 목표 비트 레이트는 결국 정확하게 매칭된다.
상기 VBR 코딩 방법이 도 5의 코더에서 실행된다. 여기서 각각의 블록은 제어기(55)의 감독하에서 행하여지는 특정 기능에 대응한다. 도시된 코더는 직렬로, 입력 버퍼(51), 감산기(549), DCT 회로(521), 양자화 회로(522), 가변 길이 코딩 회로(523), 출력 버퍼(524)를 포함한다. 회로(521∼524)들은 코딩 브랜치(52)의 주 소자들을 구성하며, 이에 대해 역양자화 회로(531), 역 DCT 회로(532), 및 예측 서브시스템을 포함하는 예측 브랜치(53)가 관련된다. 상기 예측 서브시스템은, 가산기(541), 버퍼(542), 모션 추정 회로(543)(상기 추정은 버퍼(51)의 출력에서 유효한 입력 신호들의 분석에 기초한다), 모션 보상 회로(544)(그 출력 신호는 가산기(541)의 제 2 입력에 후방향 전송된다), 감산기(549)(버퍼(51)의 출력 신호들 및 모션 보상 회로(544)의 출력 신호들을 수신하여 코딩 브랜치로 그들의 차를 전송한다)를 포함한다.
도시된 코더의 출력은 최종 단계(43)를 실행하도록 제공된 제어 루프를 포함하는 제어기(55)쪽으로 보내진다. VBR 코더의 최종 패스에 대한 상기 제어 루프의 주 소자들은 도 6에 도시되어 있다. 이미 설명한 바와 같이, 조작자에 의해 제공된 총 목표 비트 레이트가 정확하게 매칭되도록 하기 위하여 상기 최종 코딩 패스 동안 양자화 스텝사이즈를 조정할 필요가 있다. 먼저 상기 루프는 루프의 출력(즉, 누적 예측 에러)을 인자 KP와 승산하는 제 1 연산 회로(61)를 포함한다. 상기 인자는 가중 인자 Qint/APG 로 곱해지는 상수 QC1(조작자가 선택함)와 같다. 여기서 Qint는 Q의 적분 추정치이고 APG 는 (N개의 프레임들의) GOP 에 대한 총 비트 수이다.
그 다음으로 가산기(63)는 Q의 적분 추정치를 생성하기 위해 제공된 제 2 연산 회로(62)의 출력에 유효한 신호 Qint 및 상기 회로(61)의 출력 Q_prop를 합산한다. 변환 회로(64)는 상기 회로(64)에 저장되는 관계식 R=fi(Q)(가산기(63)의 출력에서의 양자화 인자 Q와 R 사이)에 의거하여 모든 선행 프레임들에 대해 누적 비트 레이트를 제공한다. 이와 같이 얻어진 누적 비트 레이트는 상기 비교기의 제 2 입력에 유효한 누적 예측 비트 레이트와 비교기(65)에서 비교되고 회로(66)에서의 적분 이후에 사용되어 그에 따라 Q를 변경한다.
상기에서 나타낸 바와 같이 VBR 코딩 전략은 이전의 VBR 코더들과 관련하여 개선하는 것이므로, 디코드된 시퀀스의 지각 화질의 보다 양호한 균질화를 달성한다. 고전적인 VBR 코더들은 프레임을 코딩하는 동안 양자화 파라미터 Q를 조정하므로 예측 비트 레이트는 매 화상마다 매칭된다. 그러므로 상기 고전적인 VBR 코더들은 양자화 파라미터 Q가 프레임 내부에서 변경할 수 있도록 하며, 화상의 일정한 공간적 화질이 달성될 수가 없다. 화질의 이러한 변화는 프레임의 비트 레이트가 정확하게 예측되는지의 여부에 따라 발생한다. 상기 제안된 VBR 코더의 경우에는, Q가 프레임에 대해 일정하게 유지되고 영상 시퀀스에서의 모든 화상의 공간적 화질이 변하지 않게 된다. 프레임 비트 레이트 및 양자화 스텝폭이 정확하게 추정되어지는 경우에, 적합한 양자화 이전의 Q 및 그에 따른 주관적 왜곡은 시퀀스의 모든 매크로블록들에 대해 정확히 일정하게 유지된다. 양자화 스텝폭 및 프레임 비트 레이트만이 추정되므로, Q의 변화, 및 이에 따른 시퀀스의 화질의 변화가 프레임마다 발생하지만, 두 분석 패스 이후에, 프레임에 대해 평균화된 Q의 편차는 일반적으로 1%이하이다.
일정한 인트라 프레임 화질의 달성과는 별개로, 새로운 VBR 방법의 여러 다른 중요한 관점들은 다음과 같다;
- 분석 패스의 수를 증가시킴으로써 반복적으로 양자화 인자의 예측을 개선할 수 있다. 즉, 분석이 실행된 후에, 원하는 목표 비트 레이트에서의 일탈 정도가 매우 높은 경우, 양자화 인자에 대한 보다 양호한 추정이 이전 코딩 패스로부터의 결과를 이용하여 계산될 수 있다;
- 새로운 VBR 코딩 방법은 Q를 예측하기 때문에, 예측된 패스보다는 또다른 프레임 순서로 실행되는 분석 패스들이 이용될 수 있다. 즉, 이것은 종래의 방법을 이용해서는 불가능하며, 새로운 코딩 개념의 주요 이점이 된다;
- 최종 패스에서, Q 및 이에 따른 화질의 변화는 수용할 수 없을 정도로 높다는 것이 판명되는 경우에, 최종 단계는 후속 패스에 대한 비트 레이트의 예측 및 Q의 예측에 대한 분석 패스로서 이용될 수 있다. 즉, 이런 특징을 이용하면, 출력 비트스트림의 특성들이 조작자에 의해 규정된 소정의 제한내에 있게될 때까지 필요한 만큼 많은 코딩 패스들을 실행하는 코더를 개발할 수 있다;
- 제어 루프가 대화형 성격을 갖기 때문에, 단기간의 비트 레이트 예측 에러들은 서로 삭제한다. 그러므로, 예측 에러에 의존하는 시스템형, 프레임형은 제안한 VBR 코더의 성능에 중요하게 영향을 미치지 않는다.

Claims (3)

  1. 가변 비트 레이트 영상 코딩 방법에 있어서;
    (a) 일정한 양자화 스텝사이즈에 따라 화상 시퀀스를 코딩하고, 시퀀스의 평균 비트 레이트가 특정 크기의 제약 조건을 반드시 충족하지는 않는 비트스트림을 발생시키는 분석 단계;
    (b) 소정의 목표 비트 레이트에 따라 비트스트림을 코드화하는데 이용되어야 하는 양자화 스텝사이즈를 예측하는 예측 단계;
    (c) 상기 스텝사이즈를 보다 정밀하게 추정하기 위하여 상기 분석 단계 및 상기 예측 단계를 적어도 1회 반복하는 단계;
    (d) 상기 목표 비트 레이트를 매치시키기 위한 스텝사이즈의 조정을 고려하여, 모든 이전 프레임들에 대한 누적 비트 레이트와 예측된 누적 비트 레이트와의 비교에 의존하는 최종 제어 단계를 포함하는 것을 특징으로 하는 가변 비트 레이트 영상 코딩 방법.
  2. 가변 비트 레이트 영상 코더에 있어서;
    (a) 적어도 직렬의 양자화 회로 및 가변 길이 회로를 포함하는 코딩 브랜치(branch);
    (b) 상기 양자화 장치의 출력에서 직렬로 적어도 역양자화 장치 및 예측 서브시스템을 포함하고 상기 코딩 브랜치에 의해 코드화되는 신호를 감산함으로써 규정되는 예측 브랜치;
    (c) 일정한 양자화 스텝사이즈에 따른 영상 시퀀스의 코딩 동작과, 특정 목표 비트 레이트로 비트스트림을 코드화할 수 있는 양자화 스텝사이즈의 추정을 위한 예측 동작과, 상기 동작들의 적어도 1회의 반복 동작과, 상기 목표 비트 레이트로의 코딩 동작 동안 사용된 총 비트 수를 매치시키기 위한 최종 제어 동작을 실행시키도록 제공된 제어 회로를 포함하는 것을 특징으로 하는 가변 비트 레이트 영상 코더.
  3. 제 2 항에 있어서, 상기 제어 동작은 모든 이전 프레임들의 누적 비트 레이트 및 누적 예측 비트 레이트 간의 비교 결과에 따라 상기 스텝사이즈를 변경하는 제어 루프에 의해서 실행되는 것을 특징으로 하는 가변 비트 레이트 영상 코더.
KR1019997002709A 1997-07-29 1998-06-25 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더 KR100667607B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP97401823 1997-07-29
EP97401823.6 1997-07-29
EP98400503 1998-03-03
EP98400503.3 1998-03-03

Publications (2)

Publication Number Publication Date
KR20000068666A true KR20000068666A (ko) 2000-11-25
KR100667607B1 KR100667607B1 (ko) 2007-01-15

Family

ID=26147871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997002709A KR100667607B1 (ko) 1997-07-29 1998-06-25 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더

Country Status (7)

Country Link
US (2) US6411738B2 (ko)
EP (1) EP0940042B1 (ko)
JP (1) JP4361613B2 (ko)
KR (1) KR100667607B1 (ko)
CN (1) CN1192632C (ko)
DE (1) DE69830979T2 (ko)
WO (1) WO1999007158A2 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306725A (zh) 1999-03-26 2001-08-01 皇家菲利浦电子有限公司 视频编码方法以及对应的视频编码器
GB2349025B (en) * 1999-04-16 2003-03-12 Snell & Wilcox Ltd Compression encoding of video
US7082221B1 (en) * 2000-09-29 2006-07-25 Intel Corporation Bandwidth determination for multiple layer digital video
EP1374595B1 (en) * 2001-03-29 2006-09-20 Koninklijke Philips Electronics N.V. Video coding method and device
FR2830143B1 (fr) * 2001-09-21 2004-02-27 St Microelectronics Sa Procede et dispositif de compression d'un signal d'image
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
EP1546994A4 (en) * 2002-07-29 2009-08-12 Qualcomm Inc DIGITAL BILDCODING
KR20040046896A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 패킷 단위 비트율 조절방법
KR20040047010A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템의 비트율 조절방법
KR100929680B1 (ko) * 2003-10-31 2009-12-03 삼성전자주식회사 액정 표시 장치 및 영상 신호 보정 방법
DE10356020A1 (de) * 2003-12-01 2005-06-23 Scanbull Software Gmbh Verfahren und Vorrichtung zur Darstellung und/oder Übertragung drei-dimensionaler Objekte, insbesondere von virtuellen Shops und Malls, speziell auf mobile Endgeräte eines Kommunikationsnetzes
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
CN102833539B (zh) * 2004-06-27 2015-03-25 苹果公司 多通路视频编码
JP4335779B2 (ja) 2004-10-28 2009-09-30 富士通マイクロエレクトロニクス株式会社 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
JP5198869B2 (ja) * 2004-12-02 2013-05-15 トムソン ライセンシング ビデオエンコーダのレート制御のための量子化パラメータの決定
US8208536B2 (en) 2005-04-28 2012-06-26 Apple Inc. Method and apparatus for encoding using single pass rate controller
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8295343B2 (en) * 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US9294728B2 (en) 2006-01-10 2016-03-22 Imagine Communications Corp. System and method for routing content
US8107537B2 (en) * 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
KR101405549B1 (ko) 2006-04-03 2014-06-10 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 비디오 코딩 방법
US8180920B2 (en) 2006-10-13 2012-05-15 Rgb Networks, Inc. System and method for processing content
CN101192410B (zh) * 2006-12-01 2010-05-19 华为技术有限公司 一种在编解码中调整量化质量的方法和装置
KR101261676B1 (ko) * 2006-12-11 2013-05-06 톰슨 라이센싱 이미지를 인코딩하는 방법 및 그 방법을 구현하는 장치
EP2103135A1 (en) * 2006-12-28 2009-09-23 Thomson Licensing Method and apparatus for automatic visual artifact analysis and artifact reduction
JP4569840B2 (ja) 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
US8270744B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing apparatus and image processing method
US8731052B2 (en) 2008-06-27 2014-05-20 Sony Corporation Image processing device and image processing method with feedback control
US8270745B2 (en) 2008-06-27 2012-09-18 Sony Corporation Image processing device and image processing method
CN101785318B (zh) 2008-06-27 2012-12-12 索尼公司 图像处理装置和图像处理方法
US9473812B2 (en) 2008-09-10 2016-10-18 Imagine Communications Corp. System and method for delivering content
US9247276B2 (en) 2008-10-14 2016-01-26 Imagine Communications Corp. System and method for progressive delivery of media content
CN102301679A (zh) 2009-01-20 2011-12-28 Rgb网络有限公司 用于拼接媒体文件的系统和方法
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
EP2413535B1 (en) * 2010-07-30 2012-09-19 Deutsche Telekom AG Method for estimating the type of the group of picture structure of a plurality of video frames in a video stream
US9832540B2 (en) 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
US10356405B2 (en) * 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
EP3396961A1 (en) * 2017-04-24 2018-10-31 Axis AB Method and rate controller for controlling output bitrate of a video encoder

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5265180A (en) * 1991-06-13 1993-11-23 Intel Corporation Method of encoding a sequence of images of a digital motion video signal
KR0176448B1 (ko) * 1991-07-19 1999-05-01 강진구 이미지 코딩 방법 및 장치
US5241383A (en) * 1992-05-13 1993-08-31 Bell Communications Research, Inc. Pseudo-constant bit rate video coding with quantization parameter adjustment
US5291281A (en) * 1992-06-18 1994-03-01 General Instrument Corporation Adaptive coding level control for video compression systems
JP3048033B2 (ja) * 1994-09-07 2000-06-05 富士ゼロックス株式会社 画像情報符号化処理装置及び画像情報通信装置
JPH08181987A (ja) * 1994-12-22 1996-07-12 Canon Inc 符号化装置
US5675384A (en) * 1995-10-03 1997-10-07 Nec Usa, Inc. VBR MPEG video encoding for ATM networks with dynamic bandwidth renegotiation
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
US6366614B1 (en) * 1996-10-11 2002-04-02 Qualcomm Inc. Adaptive rate control for digital video compression

Also Published As

Publication number Publication date
JP2001501429A (ja) 2001-01-30
CN1192632C (zh) 2005-03-09
EP0940042A1 (en) 1999-09-08
JP4361613B2 (ja) 2009-11-11
US20010021220A1 (en) 2001-09-13
DE69830979T2 (de) 2006-05-24
WO1999007158A3 (en) 1999-04-22
US6411738B2 (en) 2002-06-25
KR100667607B1 (ko) 2007-01-15
DE69830979D1 (de) 2005-09-01
CN1241336A (zh) 2000-01-12
US20020071608A1 (en) 2002-06-13
US6591016B2 (en) 2003-07-08
EP0940042B1 (en) 2005-07-27
WO1999007158A2 (en) 1999-02-11

Similar Documents

Publication Publication Date Title
KR100667607B1 (ko) 가변 비트레이트 비디오 코딩 방법 및 대응하는 비디오 코더
KR100626994B1 (ko) 가변 비트 레이트 비디오 코딩 방법 및 대응 비디오 코더
EP0710030B1 (en) Image coded data re-encoding apparatus
US6192081B1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
US6037987A (en) Apparatus and method for selecting a rate and distortion based coding mode for a coding system
US5461421A (en) Encoding and decoding method and apparatus thereof
JP3890606B2 (ja) 画像信号符号化装置及び画像信号符号化方法
US8279923B2 (en) Video coding method and video coding apparatus
US8270744B2 (en) Image processing apparatus and image processing method
US5986710A (en) Image encoding method and apparatus for controlling the number of bits generated using quantization activities
US20090097546A1 (en) System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
US6928113B1 (en) Encoding apparatus and method
JP4081727B2 (ja) 画像符号化装置および画像符号化方法、並びに記録装置および記録方法
US6577680B2 (en) Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
EP0857393B1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
JP2005151344A (ja) データ処理装置およびその方法と符号化装置
JP4265638B2 (ja) 量子化装置及び量子化方法
JPH11196423A (ja) 画像処理装置および方法、並びに提供媒体
JPH10224786A (ja) 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体
JP2005311559A (ja) データ処理装置およびその方法と符号化装置
JPH07264593A (ja) 画像符号化装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 19990329

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20030625

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050831

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20060518

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20050831

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20060818

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20060518

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20061013

Appeal identifier: 2006101007298

Request date: 20060818

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20060918

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20060818

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20060228

Patent event code: PB09011R02I

Comment text: Amendment to Specification, etc.

Patent event date: 20030625

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20061013

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20060925

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070105

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070108

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100105

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110104

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20120105

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20120105

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee