[go: up one dir, main page]

KR20060036934A - 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 - Google Patents

비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 Download PDF

Info

Publication number
KR20060036934A
KR20060036934A KR1020067006485A KR20067006485A KR20060036934A KR 20060036934 A KR20060036934 A KR 20060036934A KR 1020067006485 A KR1020067006485 A KR 1020067006485A KR 20067006485 A KR20067006485 A KR 20067006485A KR 20060036934 A KR20060036934 A KR 20060036934A
Authority
KR
South Korea
Prior art keywords
encoding
video data
code amount
target code
difficulty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020067006485A
Other languages
English (en)
Other versions
KR100756596B1 (ko
Inventor
간지 미하라
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060036934A publication Critical patent/KR20060036934A/ko
Application granted granted Critical
Publication of KR100756596B1 publication Critical patent/KR100756596B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

처리부는 부호화되는 소스 비디오 데이터의 특징을 나타내는 통계량(지표 데이터)을 CPU(6)에 공급한다. CPU(6)는 이 통계량에 기초하여 비디오 데이터를 부호화할 때의 난이도를 나타내는 부호화 난이도(Difficulty)를 연산하고, 이 부호화 난이도에 기초하여 비디오 데이터 각각의 화상에 대해서 할당된 목표 부호량을 연산한다. CPU(6)는 이 연산된 목표 부호량을 인코더(4)에 피드포워드함으로써 종래의 2패스 인코더 처리와 같은 2회의 인코더 처리를 행하지 않고, 실시간으로 부호화 처리를 행할 수 있다. 또한 비디오 데이터의 부호화 난이도에 따른 목표 부호량을 연산하고 있으므로 비디오 데이터의 도안에 따른 최적의 부호화를 실현할 수 있다.
가산 회로, 부호화 난이도, 목표 부호량 연산, 실시간 부호화 처리

Description

비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법{Video data encoder and video data encoding method}
도 1은 종래의 2 패스 인코드 시스템을 설명하기 위한 설명도.
도 2는 본 발명에 관계되는 비디오 데이터 부호화 장치 및 방법의 실시 예의 블록도.
도 3은 상기 실시 예의 주요부가 되는 압축 부호화부의 상세한 구성을 나타내는 블록도.
도 4는 평명도를 연산할 때의 원리를 설명하기 위한 설명도.
도 5a 내지 도 5c는 상기 실시 예의 동작을 설명하기 위한 타이밍 챠트.
도 6은 상기 실시 예의 동작을 설명하기 위한 부호화 난이도에 대한 GOP 비트 속도의 특성도.
도 7은 상기 도 6에 도시한 특성도가 갱신되는 모양을 나타내는 특성도.
도 8은 상기 실시 예의 동작을 설명하기 위한 플로우 챠트.
도 9는 상기 부호화 난이도에 대한 GOP 비트 속도의 다른 특성도.
도 10a 내지 도 10c는 I, P, B 화상의 각 부호화 난이도에 대한 프레임 목표 부호량 특성도.
도 11은 본 발명에 관계되는 비디오 데이터 부호화 장치 및 방법의 다른 구체예의 블록도.
도 12는, 본 발명에 관계되는 비디오 데이터 부호화 장치 및 방법의 또 다른 구체예의 블록도.
본 발명은, 소스 비디오 데이터를 부호화 난이도에 따라서 압축 부호화하는 비디오 데이터 부호화 장치 및 방법 및 상기 장치 및 방법에 의하여 얻어진 부호화 데이터를 기록하는 비디오 데이터 기록 매체 및 소스 비디오 데이터 부호화 장치에 의해서 부호화하며, 부호화된 비디오 데이터를 전송하는 비디오 데이터 전송 장치에 관한 것이다.
최근, 소스 비디오 데이터를 압축 부호화하기 위해서, 움직임 보상 처리(MC; motion compensation)와, 이산 코사인 변환(DCT; discrete cosine transfer) 등의 직교 변환에 의한 리던던시(redundancy) 저감 처리를 조합한 MPEG(moving picture experts 그룹 )나 MPEG2 규격에 기초하는 기술이 널리 이용되게 되었다.
상기 MPEG 기술은, 예를 들면, 프레임내 부호화 화상(I 화상), 프레임간 순방향 예측 부호화 화상(P 화상), 양방향 예측 부호화 화상(B 화상)으로 구성되는 화상 부호화 그룹(Group of picture; GOP) 단위로 압축 부호화하여, 압축 부호화 데이터를 디지털 디스크(예를 들면 MO 디스크; magneto-optical disc) 등의 기록 매체에 기록하는 기억 시스템이나 압축 부호화 데이터를 마스터 디스크에 기록하는 오소링 시스템(authoring system) 등에 사용되고 있다.
이러한 기억 시스템이나 오소링 시스템으로서는 기록 매체의 기억 용량에 제한이 있기 때문에, 압축 부호화 후의 압축 부호화 데이터의 데이터량(비트량)을, 신장 부호후의 영상의 품질을 높게 유지하면서 기록 매체의 기록 용량 이하로 하지 않으면 안된다.
본 출원인은 영상 신호 입력을 일단 고정한 양자화치로 인코드하여, 그 때의 발생 비트량 등의 데이터를 수집하며, 그 결과에 의해 이 때의 인코드시에 가변 속도 인코드할 때의 비트 속도(Bitrate)의 할당(목표 부호량)을 결정한다. 소위 「2 패스 인코드」라고 불리는 방법을 제안하고 있다. 이 2 패스 인코드 시스템은, 비디오 이미지의 부호화 난이도에 따라서 부호화해야 하는 비디오 데이터에 가장 적절하게 비트를 할당하는 인코드 방법이다.
도 1은 부호화 비디오 데이터를 디지털 비디오 데스크(Digital Video Disk; DVD)에 기록하는 DVD 오소링 시스템이나 MO 디스크에 기록하는 기억 시스템 등에서 사용되고 있는 2 패스 인코드 시스템 전체의 개념도를 도시하고 있다.
이러한 2 패스 인코드 시스템에서는, 1 패스(pass)째에, 영상 신호 입력(Video Input)을 고정 양자화의 인코더에 의해 예비적으로 압축 부호화하여 압축 부호화후의 발생 비트량을 부호화 난이도(difficulty)로 어림잡아, 외부 컴퓨터에 공급한다. 다음에, 외부 컴퓨터는 상기 발생 비트량, 즉 부호화 난이도 (difficulty)에 기초하여 목표 부호량을 상기 인코더에 공급한다. 그리고, 2 패스째로서 인코더는 상기 목표 부호량에 따른 인코드를 행하여, 부호화 데이터인 비트 스트림(Bit Stream)을 출력한다.
그러나, 상기 2 패스 인코드 방법은, 화질인 점에서 보면 양호한 인코드 결과가 얻어지지만, 작업 효율이라는 점에서 보면 인코드 작업을 적어도 2회 하지 않으면 안되기 때문에, 막대한 인코드 시간이 필요하다는 문제점이 있었다.
또한, 광 디스크나 테이프 스트림 등을 VTR 대신으로 이용하여 부호화 영상 데이터를 기록하는 기억 시스템에서는, 실시간으로 인코드 처리를 하는 것이 요구되고 있다. 그 때문에, 이와 같은 기억 시스템에서는 종래는, 부호화해야 하는 비디오 데이터의 화질에 관계없이, 고정된 부호화 속도로 인코드를 할 수 밖에 없었다.
예를 들면, 종래의 오소링 시스템이나 기억 시스템에서는 축적 매체에 기록되는 부호화 비디오 데이터의 화질을 향상시키면서, 실시간으로 소스 비디오 데이터를 부호화할 수 없다고 하는 문제가 있었다.
한편, 이 MPEG 기술은, 화상 데이터 등을 디지털 데이터로서 송신하는 디지털 방송의 전송 시스템에서도 사용되고 있다. 디지털 방송의 이점은, 아날로그 방송과 비교하여, 같은 전송로에서 보다 많은 프로그램 데이터(이하, 프로그램이라고 한다)를 전송하는 것이 가능하다. 이 디지털 방송의 전송 시스템에서의 화상의 압축 부호화로서는, 기억 시스템이나 오소링 시스템 등과 같도록, 압축 부호화후의 데이터량(비트량)을 전송로의 전송 용량 이하로 억제하면서 화상을 고품질로 유지 할 필요가 있다. 이러한 종래의 전송 시스템에 있어서, 소정의 전송 용량의 전송로에 대하여, 보다 많은 프로그램을 전송하는 방법으로서, 「통계 다중」이라는 방법이 있다. 통계 다중은, 프로그램의 내용에 따라서 각 프로그램의 전송 속도를 동적으로 변화시킴으로써, 각 프로그램에 대하여 최적인 전송 속도를 할당하는 방법이다. 이 통계 다중은, 예를 들면, 부호화할 때에 많은 비트를 필요로 하지 않는 간단한 그림의 비디오 데이터를 갖은 프로그램에 대해서는 전송 속도를 낮게 하며, 반대로, 부호화할 때에 많은 비트를 필요로 하는 복잡한 그림의 비디오 데이터를 갖는 프로그램에 대해서는 전송 속도를 높게 한다.
이러한 디지털 방송에 있어서의 전송 시스템으로서는, 스포츠 프로그램이나 뉴스 프로그램 등의 라이브 비디오 프로그램을 실시간으로 전송하지 않으면 안된다. 그러나, 화질을 무시하여 고정 부호화 속도로 비디오 프로그램을 전송이라도 하지 않는 한, 상술한 바와 같은 2 패스 인코드 시스템으로서는, 라이브 비디오 프로그램을 실시간으로 전송할 수 없다고 하는 문제가 있었다. 즉, 종래의 전송 시스템으로서는 화질이 좋은 프로그램을 실시간으로 전송할 수 없었다.
본 발명은, 이러한 실정에 감안하여 이루어진 것으로, 양호한 화질을 실현하는 가변 속도 부호화를 실시간으로 행하는 비디오 데이터 부호화 장치 및 방법 및 부호화된 데이터의 기록 매체의 제공을 목적으로 한다. 또한, 본 발명은 양호한 화질을 실현하는 가변 속도 부호화 처리에 압축 부호화된 데이터를 실시간으로 전 송하는 비디오 데이터 전송 장치의 제공을 목적으로 한다.
본 발명에 관계되는 비디오 데이터 부호화 장치는, 상기 과제를 해결하기 위해서, 입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하여, 이 목표 부호량에 따라서, 지연 수단으로 지연된 상기 입력 비디오 데이터에 대하여 부호화 처리를 실시한다.
즉, 본 발명에 관계되는 비디오 데이터 부호화 장치는, 상기 과제를 해결하기 위해서, 공급된 입력 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서, 입력 비디오 데이터의 특징을 지표하는 지표 데이터에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 수단과, 상기 입력 비디오 데이터를 소정 시간만큼 지연하는 지연 수단과, 상기 지연 수단으로 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하는 부호화 처리 수단을 구비하는 것을 특징으로 하고 있다.
여기서, 지연 수단이 상기 입력 비디오 데이터를 지연시키는 시간은, 목표 부호량 산출 수단이 상기 목표 부호량을 산출하는 시간보다 긴 소정 시간이기 때문에 결과적으로, 상기 지표 데이터는 선판독하는 것으로 된다. 이 선판독은, 예를 들면 1GOP분의 0.5초 사이에 행하여진다.
상기 목표 부호량 산출 수단은, 상기 지표 데이터로부터 부호화시의 난이도를 나타내는 부호화 난이도를 구하며, 이 부호화 난이도에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출한다.
또한, 상기 목표 부호량 산출 수단은, 상기 부호화 난이도에 기초한 상기 목 표 부호량의 대응 관계를, 이미 수집한 부호화 난이도나, 상기 부호화 처리 수단으로 발생한 부호량에 따라서 수시로 갱신한다.
또한, 본 발명에 관계되는 비디오 데이터 부호화 방법은, 상기 과제를 해결하기 위해서, 입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하며, 이 목표 부호량에 따라서, 지연 공정에 의해 지연된 상기 입력 비디오 데이터에 대하여 부호화 처리를 실시한다.
즉, 본 발명에 관계되는 비디오 데이터 부호화 방법은, 입력 비디오 데이터를 부호화하는 부호화 방법에 있어서, 입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 입력 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 공정과, 상기 입력 비디오 데이터를 소정 시간만큼 지연하는 지연 공정과, 상기 지연 공정에서 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하는 부호화 처리 공정을 구비하는 것을 특징으로 하고 있다.
여기서, 지연 공정이 상기 입력 비디오 데이터를 지연시키는 시간은, 목표 부호량 산출 공정이 상기 목표 부호량을 산출하는 시간보다 긴 소정 시간이기 때문에 결과적으로, 상기 지표 데이터는 선판독하는 것으로 된다. 이 판독은 예를 들면 1GOP분의 0.5초 사이에 행하여진다.
상기 목표 부호량 산출 공정은, 상기 지표 데이터로부터 부호화시의 난이도를 나타내는 부호화 난이도를 구하며, 이 부호화 난이도에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출한다.
또한, 상기 목표 부호량 산출 공정은, 상기 부호화 난이도에 기초한 상기 목표 부호량의 대응 관계를, 이미 수집한 부호화 난이도나, 상기 부호화 처리 수단에서 발생한 부호량에 따라서 수시로 갱신한다.
본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화 전처리부는 부호화되는 소스 비디오 데이터의 특징을 나타내는 통계량(지표 데이터)을 CPU에 공급한다. 그리고, CPU는, 이 통계량에 기초하여 비디오 데이터를 부호화할 때의 난이도를 나타내는 부호화 난이도(Difficulty)를 연산하며, 이 부호화 난이도에 기초하여 비디오 데이터의 각 화상에 대하여 할당된 목표 부호량을 연산한다. 또한, CPU는, 이 연산된 목표 부호량을 인코더에 피드포워드함으로써, 종래의 2 패스 인코드 처리와 같은 2회의 인코드 처리를 행하지 않고서, 실시간으로 부호화 처리를 행할 수 있다. 또한, 본 발명의 비디오 데이터 부호화 장치에 의하면, 비디오 데이터의 부호화 난이도에 따른 목표 부호량을 연산하고 있기 때문에 비디오 데이터의 그림에 따른 알맞은 부호화를 실현할 수가 있다.
본 발명에 관계되는 비디오 데이터 부호화 장치 및 방법에 의하면, CPU가, 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도(Dj)를 부호화해야 하는 소스 비디오 데이터 자체로 연산하며, 이 연산된 부호화 난이도에 따라서 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량(Tj)을 또한 연산하고 있다. 그리고, CPU는, 연산된 목표 부호량(Tj)을 피드 포워드적으로 인코더에 공급함으로써, 부호화해야 하는 소스 비디오 데이터의 그림에 따른 목표 부호량에 기초하여 부호화할 수 있는 동시에, 비디오 데이터를 실시간으로 부호화할 수가 있다.
또한 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화해야 하는 소스 비디오 데이터로부터 구하여진 인트라(AC 또는 ME) 잔차를 사용하여, 화상 타입마다 부호화 난이도를 근사적으로 연산하도록 하고 있기 때문에, 부호화되는 비디오 데이터를 실제로 인코드하기 전에 부호화 난이도를 얻을 수 있다. 따라서, 실시간으로 부호화 처리를 가능하게 할 수 있다.
또한, 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화해야 하는 비디오 데이터의 화상 타입이 I 화상인 경우에는, 인트라(AC)로부터 부호화 난이도를 연산하며, 부호화해야 하는 비디오 데이터의 화상 타입이 P 화상 또는 B 화상인 경우에는, ME 잔차로부터 부호화 난이도를 연산함으로써, 화상 타입에 따른 정밀도가 높은 부호화 난이도를 연산할 수가 있다.
또한, 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화 수단에 의한 과거의 부호화 처리 결과, 실제로 발생하는 부호화량에 기초하여, 연산된 부호화 난이도로부터 목표 부호량을 연산하기 위한 변환식을 수시 보정하도록 하고 있기 때문에, 비디오 데이터의 그림 변화에 적합한 목표 부호량 및 축적 매체의 기록 잔량에 적당한 목표 부호화를 설정할 수가 있다. 또한, 그 부호화 난이도로부터 목표 부호화를 연산하기 위한 변환식은, 부호화해야 하는 비디오 데이터의 화상 타입에 따라서, 각각 다른 변환식이 설정되어 있기 때문에, GOP 단위로 부호화 난이도 를 연산할 뿐만이 아니라, 화상 단위로도 알맞은 부호화 난이도를 연산할 수가 있다.
또한, 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화 수단에 의한 부호화 처리의 발생 부호량와 양자화치에 의하여 구하여진 글로벌 컴플렉시티에 기초하여, 부호화 난이도를 연산하는 연산식을 수시로 갱신하도록 하고 있기 때문에, 비디오 데이터의 그림의 변화에 따른 부호화 난이도를 한층 더 양호한 정밀도로 검출할 수가 있다.
또한, 본 발명의 비디오 데이터 부호화 장치에 의하면, CPU는, 부호화 수단에 있어서의 부호화 처리의 대상이 되는 참조 GOP에 포함되는 복수 화상에 관한 부호화 난이도를 화상마다 연산하여, 부호화 난이도 연산 수단에 의해서 연산된 복수의 부호화 난이도로부터, 참조 GOP에 대하여 할당되는 목표 부호량을 연산하고 있다. 그리고, CPU는, 참조 GOP에 대하여 할당되는 목표 부호량을, 참조 GOP에 포함되는 각 화상에 대하여 화상 타입애 따라서 분배함으로써, 참조 GOP에 포함되는 각 화상에 대응한 목표 부호량을 연산하도록 하고 있다. 따라서, GOP 내부에 있어서, GOP에 대하여 지정된 평균 부호화량을 유지하면서 화상 타입에 따라서 각각 상이한 목표 부호량을 각 화상에 대하여 할당할 수 있다.
또한, 본 발명에 관계되는 비디오 데이터 전송 장치는, 공급된 입력 비디오 데이터를 부호화하여, 부호화된 비디오 데이터를 전송하는 비디오 데이터 전송 장치에 있어서, 입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호화 산출 수단과, 상기 입력 비디오 데이터를 소정 시간만큼 지연하는 지연 수단과, 상기 지연 공정으로 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시한 후 전송하는 부호화 전송 수단을 구비하는 것을 특징으로 하고 있다.
또한, 본 발명에 관계되는 비디오 데이터 전송 장치는, 소스 비디오 데이터를 호화하여, 부호화된 비디오 데이터를 전송하는 비디오 데이터 전송 장치에 있어서, 상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 연산하는 부호화 난이도 연산 수단과, 상기 연산된 부호화 난이도로부터 상기 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하기 위한 연산식을, 과거의 부호화 처리에 있어서의 발생 부호량에 기초하여 수시로 갱신하며, 갱신된 변환식에 기초하여 상기 부호화 난이도로부터 상기 목표 부호량을 연산하는 목표 부호량 연산 수단과, 상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량을 피드포워드함으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하며, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단과, 상기 부호화 수단에 의해서 부호화된 비디오 데이터를 전송하는 전송 수단으로 구성되는 것을 특징으로 하고 있다.
또한, 본 발명에 관계되는 비디오 데이터 기록 매체는, 입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하여, 소정 시간만큼 지연된 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시함으로써 얻어진 부호화 데이터를 기록하여 이루어지는 것을 특징으로 하고 있다.
이하, 본 발명에 관계되는 비디오 데이터 부호화 장치 및 방법의 실시 예에 대하여 도면을 참조하면서 설명한다.
도 2는 본 발명의 한 실시 예에 관계되는 비디오 데이터 부호화 장치의 구성을 나타내는 도면이다. 이 비디오 데이터 부호화 장치는, 입력 단자(1)로부터 입력한 입력 영상 신호의 특징을 지표하는 지표 데이터를 산출하는 부호화 전처리부(2)와, 이 부호화 전처리부(2)로부터의 지표 데이터에 기초하여 상기 입력 영상 신호의 부호화시의 난이도를 나타내는 부호화 난이도(Difficulty)를 구하며, 이 부호화 난이도에 기초하여, 상기 영상 신호에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 수단이 되는 중앙 연산 처리부(CPU)(6)와, 상기 입력 영상 신호를 소정 시간만큼 지연하는 지연 수단이 되는 FIF0 메모리(3)와, 이 FIFO(3)에서 지연된 상기 입력 영상 신호에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하여 압축 영상 데이터를 출력 단자(7)에 공급하는 인코더(4)를 구비하여 이루어진다.
도 2에 도시되는 부호화 장치가 기억 시스템이나 오소링 시스템에서 적용되고 있는 경우에는, 출력 단자(7)로부터 출력된 부호화 비디오 데이터는, 광 디스크 등의 데이터 기억 시스템에 축적된다. 또한, 이 부호화 장치가 디지털 방송 등의 전송 시스템에서 적용되고 있는 경우에는 출력 단자(7)로부터 출력된 부호화 비 디오 데이터는 다른 부호화된 비디오 프로그램과 다중화된 후, 도시하지 않은 전송 장치 및 위성 등을 통하여 수신 장치로 전송된다.
CPU(6)는, 부호화 전처리부(2), FIFO(3) 및 인코더(4)를 동일한 본체의 유니트로 구성되어도 되며, 또는, 부호화 전처리부(2), FIFO(3) 및 인코더(4)를 제어하는 컴퓨터로 구성되어도 된다.
부호화 전처리부(2)로부터 CPU(6)에 공급되는 지표 데이터로서는, 후술하는 ME 잔차나, 편평도, 인트라(AC) 등이 있다.
부호화 전처리부(2)는 입력 단자(1)로부터의 영상 신호 입력의 화상의 유무를 CPU(6)에 통지하며, 또한, 영상 신호 입력의 화상마다 압축 부호화를 위한 전처리를 행한다. 예를 들면, 부호화 전처리부(2)는 입력 영상 데이터의 GOP내의 영상 데이터를 부호화순으로 다시 배열시켜, 화상·필드 변환을 행하며, 상기 입력 영상 데이터가 영화의 영상 데이터인 경우에 3:2 풀다운 변환 처리(영화의 24 프레임/초의 영상 데이터를, 30프레임/초의 영상 데이터로 변환하여, 중복성을 압축 부호화전에 제거하는 처리) 등을 행하며, FIFO(3)에 출력한다. 또한, 부호화 전처리부(2)는 CPU(6)에 대하여, 후술하는 ME 잔차나, 편평도, 인트라(AC) 등의 지표 데이터를 공급한다.
움직임 검출 회로(5)는 영상 신호 입력의 움직임 벡터의 검출을 행하여, 부호화 전처리부(2)에 출력한다. 또한, 이 움직임 검출 회로(5)는 ME 잔차를 생성하는 회로이다.
FIFO(3)는 부호화 전처리부(2)로부터 입력된 영상 데이터를, 예를 들면, 입 력 영상 데이터를 미리 결정된 시간만큼 지연하여, 지연 영상 데이터로서 인코더(4)에 대하여 출력한다. 이 미리 결정된 시간은 CPU(6)가 목표 부호량을 산출하는 시간보다도 긴 시간이다.
부호화 전처리부(2), FIFO(3), 인코더(4) 및 움직임 검출 회로(5)로 이루어지는 압축 부호화부에 관해서, 도 3을 참조하여 더욱 상세히 설명한다.
도 3에 도시된 압축 부호화부에서, 영상 및 변환 회로(11), 주사 변환 매크로 블록화 회로(12) 및 통계량 산출(13)은, 도 2에서 도시한 부호화 전처리부(2)를 구성하고 있다.
영상 및 변환 회로(11)는 입력된 영상 신호를 부호화순으로 다시 배열시킨다. 주사 변환·매크로 블록화 회로(12)는 필드 프레임 변환을 행하여 매크로 블록을 구성한다. 예를 들면, 상기 영상 신호 입력이 영화의 영상 신호인 경우에는 3:2 풀다운 처리 등을 행한다.
통계량 산출 회로(13)는 영상 및 변환 회로(11) 및 주사 변환·매크로 블록화 회로(12)에 의해 처리되며, I 화상에 압축 부호화되는 화상으로부터, 편평도(Flatness), 인트라(AC)(intra AC) 등의 통계량을 산출한다.
도 3에 도시한 압축 부호화부에서, 가산 회로(15), DCT 회로(16), 양자화 회로(17), 양자화 제어 회로(18), 가변 길이 부호화 회로(VLC)(19), 버퍼(20), 역 양자화 회로(IQ)(22), 역 DCT(IDCT) 회로(23), 가산 회로(24), 움직임 보상 회로(25)는 도 2에서 도시한 인코더(4)를 구성하고 있다.
가산 회로(15)는 가산 회로(24)의 출력 데이터를 상기 FIFO(3)를 통하여 입 력 영상 데이터로부터 감산하여, DCT 회로(16)에 대하여 출력한다.
DCT 회로(16)는 가산 회로(15)로부터 입력되는 영상 데이터를, 예를 들면 16화소×16화소의 매크로 블록 단위로 이산 코사인 변환(DCT) 처리하여, 시간 영역의 데이터로부터 주파수 영역의 데이터로 변환하여 양자화 회로(17)에 대하여 출력한다.
양자화 회로(17)는 DCT 회로(16)로부터 입력된 주파수 영역의 데이터를 고정 또는 임의의 양자화치로 양자화하여, 양자화 데이터로서 가변 길이 부호화(VLC)회로(19) 및 역 양자화 회로(22)에 대하여 출력한다.
가변 길이 부호화 회로(19)는 양자화 회로(17)로부터 입력된 양자화 데이터를 가변 길이 부호화하여, 가변 길이 부호화의 결과로서 얻어진 압축 영상 데이터를 버퍼(20)에 공급한다. 버퍼(20)는 상기 압축 영상 데이터를 버퍼링하여 압축영상 데이터로 이루어지는 비트 스트림 형으로 출력 단자(21)에 공급한다.
역 양자화 회로(22)는 양자화 회로(17)로부터 입력된 양자화 데이터를 역 양자화하여, 역 양자화 데이터로서 역 DCT 회로(23)에 대하여 출력한다.
역 DCT 회로(23)는 역 양자화 회로(22)로부터 입력되는 역 양자화 데이터에 대하여 역 DCT 처리를 실시하여 가산 회로(24)에 대하여 출력한다.
가산 회로(24)는 움직임 보상 회로(25)의 출력 데이터 및 역 DCT 회로(23)의 출력 데이터를 가산하여, 가산 회로(15) 및 움직임 보상 회로(25)에 대하여 출력한다.
움직임 보상 회로(25)는 가산 회로의 출력 데이터에 대하여, 움직임 검출 회 로(5)가 참조 프레임에 대하여 계산한 움직임 벡터에 기초하여 움직임 보상 처리를 실시하여 가산 회로(15)에 대하여 출력한다.
움직임 보상 회로(25)와 움직임 검출 회로(5)의 사이에 설치되어 있는 FIFO(26)는 움직임 벡터를 지연한다. 움직임 벡터는 화상 데이터보다도 정보량이 적기 때문에 FIFO(26)는 FIFO(5)보다도 적은 양이 좋다.
본 발명의 실시 예의 비디오 데이터 부호화 장치는 상기 구성에 의해, 영상 신호 입력의 편평도, 인트라(AC)와 같은 통계량 및 움직임 예측의 예측 오차량(ME 잔차)을 입력 영상 신호의 그림의 부호화 난이도 대신에 이용하여, 적응적으로 목표 데이터량(Tj)을 산출한다. 그리고, 이 비디오 데이터 부호화 장치는, 이 목표 데이터군(Tj)에 따라서 입력 영상 신호를 적절한 데이터량의 압축 부호화 영상 데이터로 압축 부호화한다.
또한, 이 비디오 데이터 부호화 장치에서는 움직임 검출 회로(5) 및 통계량 산출 회로(13)로, 미리 검출한 상기 통계량 및 ME 잔차 등의 지표 데이터를 생성하여, 이 지표 데이터에 따라서 목표 데이터(Tj)를 결정한다. 이하, 이 압축 부호화방식을, 피드·포워드·레이트·컨트롤(feed forward rate 제어)방식이라고 부른다.
또한, ME 잔차는 압축되는 화상과 참조 화상의 영상 데이터의 차분치의 절대치합 또는 제곱치합으로서 정의되며, 움직임 검출 회로(5)에 의해 압축후에 P 화상 및 B 화상이 되는 화상으로부터 산출되어, 영상의 움직임 속도 및 그림의 복잡함을 나타내어, 부호화 난이도 및 압축후의 데이터량과 상관성을 갖는다.
I 화상에 관해서는, 다른 화상의 참조없이 압축 부호화되기 때문에, ME 잔차를 구할 수 없으며, ME 잔차를 대신하는 지표 데이터(parameter)로서, 상기 편평도 및 상기 인트라(AC)를 이용한다.
편평도는 비디오 데이터 부호화 장치를 실현하기 위해서, 영상이 공간적인 평탄함을 나타내는 지표 데이터로서 새롭게 정의된 파라미터이며, 영상의 복잡함을 지표하여 부호화 난이도 및 압축후의 데이터량과 상관성을 갖는다.
또한, 인트라(AC)는 비디오 데이터 부호화 장치를 실현하기 위해서, MPEG 방식에 있어서의 DCT 처리 단위의 DCT 블록마다의 영상 데이터와 분산치의 총합으로서 새롭게 정의한 파라미터이며, 편평도와 마찬가지로 영상의 복잡함을 지표하여 부호화 난이도 및 압축후의 데이터량과 상관성을 갖는다.
이들의 파라미터를 이용하여, 정밀도가 높은 부호화 난이도(즉; Difficulty)를 구하는 방법에 대해서는 본건 출원인이 1996년 8월 14일에 출원한 특원평 8-214708호 (미국 특허 출원 08/909,448, 1997년 8월 11일 출원) 「영상 데이터 압축 장치 및 그 방법」의 명세서, 도면에 자세히 명시하고 있다.
각 화상에 관해서의 부호화 난이도(Difficulty)(이하, 적당 Di라고 기록한다)는 영상의 그림의 부호화시 부호화의 어려움을 나타내는 데이터이며, 그림이 복잡할 수록 이 부호화 난이도는 높아지고, 그림이 간단할 수록 이 부호화 난이도는 낮아진다.
목표 부호화량(Ti)은 이 부호화 난이도(Dj)에 기초하여 산출된다. 구체적으로는, 상기 ME 잔차, 편평도 및 인트라(AC)는 상기 부호화 난이도(Dj)와 강한 상관을 갖는다. 따라서, 상기 부호화 난이도(Dj)를 상기 ME 잔차, 편평도 및 인트라(AC)와 같은 지표 데이터로부터 연산하여, 이 연산한 부호화 난이도(Dj)에서 상기 목표 부호량(Ti)을 산출할 수가 있다. 이 경우, 상기 지표 데이터는, 도 2에 도시된 부호화 전처리부(2) 및 움직임 검출 회로(5)로 검출할 수 있다. 즉, 종래와 같이 상기 부호화 난이도를 미리 2 패스 인코드 방식에 의해 구해 둘 필요가 없다.
우선, ME 잔차에 대하여 상세하게 설명한다. 다른 화상을 참조하여 압축 부호화 처리하며, P 화상 및 B 화상을 생성할 때에는, 움직임 검출 회로(5)는 압축대상이 되는 화상(입력 화상)의 주목 매크로 블록과, 참조되는 화상(참조 화상) 사이의 차분치의 절대치합 또는 제곱치합이 최소가 되는 매크로 블록을 찾아, 움직임 벡터를 구한다. 즉, ME 잔차는 이와 같이, 움직임 벡터를 구할 때에, 최소가 된 각 매크로 블록의 차분치의 절대치합 또는 제곱치합을 화상 전체에 대하여 총합한 값으로서 정의된다.
이러한 ME 잔차는 상기 부호화 난이도(Dj)와 거의 정비례 관계가 되는 매우 강한 상관 관계를 갖는다. 따라서, 압축 부호화하기 전에, P 화상 또는 B 화상이 되는 화상의 부호화 난이도(Dj)를, 이 ME 잔차로부터 구하며, P 화상 또는 B 화상에 대한 목표 부호량(Tj)을 산출할 수가 있다. 구체적인 연산식에 대해서는 후술한다.
다음에, 편평도에 대하여 상세히 설명한다. 편평도란, 화상의 공간적인 평탄화를 나타내는 데이터이다. 편평도는, 도 4에 도시되는 바와 같이, MPEG 방식에 있어서 DCT 처리의 단위가 되는 DCT 블록 각각을, 2화소×2화소의 소블록으로 분할하며, 다음에, 이들의 소블록내의 대각의 화소 데이터(화소치)의 차분치를 산출하여 차분치를 소정의 임계치와 비교하며, 또한, 차분치가 임계치다도 작게 되는 소블록 총수를 화상마다 구함으로써 산출된다. 또한, 편평도의 값은 영상의 그림이 공간적으로 복잡할 수록 작게 되며, 평탄하면 커진다. 이 편평도는 상기 부호화 난이도(Dj)와 강한 음(負)의 상관 관계가 있다. 따라서, 압축 부호화전에 I 화상이 되는 화상의 부호화 난이도(Dj)를 편평도로부터 구하여, 이 편평도로부터 I 화상
에 대한 목표 부호량(Tj)을 구할 수 있다.
인트라(AC)는 DCT 블록마다, DCT 블록내의 화소 각각의 화소치와, DCT 블록내의 화소치 평균치와의 차분의 절대치 총합으로서 산출된다. 즉, 인트라(AC)(Intra_AC)는,
Figure 112006023357729-PAT00001
에 의해서 구하여진다. 또 상기 식에 있어서, f(x, y)는 DCT 블록내의 각 화소의 화소치를 나타내며, ∑f는, DCT 블록내의 화소치의 총합를 나타내고, N은 DCT 블록내의 화소수를 나타내며, ∑││는 DCT 블록내의 화소에 대해서의 총합을 나타내고 있다.
상술한 바와 같이, 부호화하는 화상의 타입이 I 화상인 경우에는, 상기의 상술한 식에 의해서 구하여지는 인트라(AC)와 부호화 난이도(Dj)에는 강한 양(正)의 상관 관계가 있다. 따라서, 이하의 식(1)에 기초하여, I 화상이 되는 화상의 부호화 난이도(Dj)를 인트라(AC)에서 구할 수 있다.
Figure 112006023357729-PAT00002
또한, 이 aI 및 bI은 인트라(AC)에서 I 화상에 관한 부호화 난이도(Dj)를 구할 때의 단순한 계수 및 정수이다.
이와 같이, P 화상에 대해서는, 하기에 나타내는 식(2)에 의해, B 화상에 대해서는 하기에 나타내는 식(3)에 의해, CPU(6)에 있어서 ME 잔차로부터 부호화 난이도(Dj)를 연산할 수가 있다.
Figure 112006023357729-PAT00003
Figure 112006023357729-PAT00004
다음에, CPU(6)가 상기 지표 데이터(ME 잔차, 인트라(AC) 또는 편평도)를 이용하여 상기 부호화 난이도(Dj)를 구하는 동작을 도 2, 도 3 및 새롭게 도 5를 이용 하여 설명한다.
부호화 전처리부(2)의 화상 및 변환 회로(11)는 영상 신호 입력을 부호화순으로 다시 배열시켜, 주사 변환·매크로 블록화 회로(12)는 화상·필드 변환 등을 행한다. 또한, 통계량 산출 회로(13)는 I 화상에 압축 부호화되는 화상에 대하여, 상술한 인트라(AC)를 구하는 식에 기초한 연산 처리를 행하여, 편평도 및 인트라(AC) 등의 통계량을 산출한다.
움직임 검출 회로(5)는 P 화상 및 B 화상에 압축 부호화되는 화상에 관해서 움직임 벡터를 생성하고, 또한 ME 잔차를 산출한다.
FIFO(3)은 입력된 소스 비디오 신호를 N 화상분만 지연한다. 단, 이 「N」은 1GOP에 포함되는 화상의 수를 나타내는 정수이다.
CPU(6)는 I 화상으로서 부호화하는 화상에 대하여는, 통계량 산출 회로(13)로부터 출력된 편평도 및 인트라(AC)를 사용하여 식(1)에 나타낸 연산 처리를 행하여, I 화상에 관한 부호화 난이도(Dj)를 생성한다. 또한, CPU(6)는 P 화상 및 B 화상으로서 부호화하는 화상에 대하여는 움직임 검출 회로(5)가 생성한 ME 잔차를 사용하여, 상기 식(2) 및 식(3)에 나타난 연산 처리를 각각 행하여, P 화상 및 B 화상에 관한 부호화 난이도(Dj)를 각각 연산한다.
동시에, 부호화 전처리부(2)는 영상 신호 입력에 대하여, 부호화순으로 화상을 다시 배열시키는 등의 전처리를 행하여, 도 5a에 도시되는 바와 같은 영상 데이터로서 FIF0(3)에 대하여 출력한다. 또한, 부호화 전처리부(2)에 의한 화상의 순 서로 다시 배열시킴으로서, 도 5a 내지 도 5c 등에 도시되는 화상의 부호화 순서와 신장 복호후의 표시 순서와는 다르다.
FIFO(3)는 입력된 영상 데이터의 각 화상을 N 화상분만 지연하여 인코더(4)에 대하여 출력한다. 인코더(4)에 입력되는 지연 영상 데이터는 FIFO(3)에 의해 N 화상만 지연되기 때문에, 도 5b에 도시되는 바와 같은, 인코더(4)가 지연 영상 데이터의 제j(j는 정수)번째의 화상(도 5b의 화상(b))을 압축 부호화하고 있을 때는 부호화 전처리부(2)는 영상 데이터의 제j번째의 화상(b)으로부터 N 화상분 앞의 제(j+N)번째의 화상(도 5b의 화상(a))으로부터 상기 지표 데이터를 추출하여 CPU(6)에 공급하게 된다. CPU(6)에서는 순간적으로 상기 지표 데이터를 이용하여 식(1) (2) 및 (3)에 기초하여, I 화상, P 화상 및 B 화상에 관한 부호화 난이도(Dj)를 연산하고 있다. 따라서, 인코더(4)가 지연 영상 데이터의 제j번째의 화상을 압축 부호화을 명시할 때에는, CPU(6)는 화상(j)에서 화상(j+N-1)까지의 N매의 화상에 관한 부호화 난이도(Dj 내지 Dj+N-1)를 얻게 된다.
이와 같이, 도 5c에 도시되는 바와 같이, 인코더(4)가 지연 영상 데이터의 제(j+1)번째의 화상(도 5c의 화상(b'))를 압축 부호화하고 있을 때에는, CPU(6)는 화상(j+1)부터 화상(j+N)까지의 N매의 화상에 관한 부호화 난이도(Dj+1 내지 Dj+N)를 얻게 된다.
또한, MPEG의 압축 알고리즘으로서 공지되는 TM5방식(Test Model Editing Committee: “Test Model 5”) 등에서는 매크로 블록의 양자화치(MQUANT)를 산출하 기 위해서, 액티비티(activity)라는 통계량을 이용한다. 이 액티비티는 편평도 및 인트라(AC)와 마찬가지로, 부호화 난이도(Dj)와 강한 상관 관계를 갖기 때문에, 이들의 지표 데이터의 대신에 액티비티를 이용하여 부호화 난이도(Dj)를 구하여도 된다.
상기 액티비티를 포함시킨 지표 데이터에 의해 CPU(6)가 연산한 부호화 난이도(Dj)는 목표 부호량(Tj)을 연산하기 위해서 사용된다.
이하, 간단화를 위해서, CPU(6)에서 얻어지는 보호화 난이도(Dj+1) 내지 Dj+N은 l GOP 분으로 설명한다. 여기서, 1 GOP의 화상의 매수는 N매이다. 예를 들면, 상술한 바와 같이, 인코더(4)가 화상(j)을 인코드할 때에 화상(j)에서 화상(j+N-1)까지의 N매의 화상에 관한 부호화 난이도(Dj 내지 Dj+N-1)가 얻어진다.
cpu(6)가 상기 부호화 난이도 Dj를 사용하여 목표 부호량(Tj)을 산출하는 처리는 대별하면, 이하의 3개의 처리로 이루어진다.
제1의 처리는 참조하고 있는 GOP의 비트 속도 GOP_Bitrate를 GOP에 있어서의 부호화 난이도(Dj)의 평균치(D￣)에서 구하는 처리이다. 이 제1의 처리를 참조 GOP의 비트 속도 GOP_Bitrate를 구하는 처리라 부르기로 한다.
제2의 처리는 참조하고 있는 GOP에 할당된 목표 부호량을 각 화상의 부호화 난이도의 비율 등에 따라서 분배하며, 각 화상의 목표 부호량(Tj)을 결정하는 처리 이다. 이 제2의 처리를 각 화상마다의 목표 부호량(Tj)을 구하는 처리라 부르기로 한다.
제3의 처리는 GOP의 인코드 종료후 발생 부호량과 부호화 난이도를 사용하여, 상기 제1의 처리로 사용하는 부호화 난이도로부터 비트 속도를 결정하는 연산식을 갱신하는 처리이다. 이 제3의 처리를 참조 GOP의 비트 속도 G0P_Bitrate를 연산하는 연산식을 갱신하는 처리라 한다. 대단히, 특징적인 것은 제3의 처리이고, 상기 관계식을 갱신하면서 목표 부호량에 수습되도록 인코드 알고리즘을 제공할 수가 있다.
우선, 상기 제1의 처리에 관해서 상세하게 설명한다. GOP의 선두, 즉 I 화상(j=0으로 한다)의 인코드의 직전에 이들 인코드하는 참조 GOP에 할당되는 비트 속도를 결정한다는 처리이다. 그 때문에, 우선, 이제부터 인코드하는 참조 GOP에 관하여 이 부호화 난이도 (Dj)의 평균치(D￣)를 이하의 식(4)과 같이 구한다.
Figure 112006023357729-PAT00005
여기서, D는 문장중의 D￣의 것이다.
도면중의 D￣도 동일하다.
다음에, 이 참조 GOP에 있어서의 부호화 난이도의 평균치(D￣)와 참조 GOP의 비트 속도 GOP_Bitrate와의 도 6에 도시한 바와 같은 관계를 사용하여, 그 GOP에 할당되는 비트 속도를 결정한다. 이 도 6은 상술한 바와 같이 참조 GOP에 있어서의 부호화 난이도의 평균치(D￣)에 대한 참조 GOP의 비트 속도 GOP_Bitrate의 관계를 나타낸 것으로, 가로축에 부호화 난이도의 평균치(D￣)를 세로축에 참조 GOP의 비트 속도 GOP_Bitrate를 가지고 있다. 이 도 6의 관계식에서 이해할 수 있도록, 부호화 난이도의 평균치(D￣)가 커질 수록 큰 비트 속도를 그 참조 GOP에 할당되는 것을 뜻하고 있다.
여기서, 이 비디오 데이터 부호화 장치가, 오소링 시스템이나 기억 시스템에 있어서 적용되는 경우에는 도 6의 그래프의 세로축에 나타낸 Max Rate(Rate_max), Min Rate(Rate_min)는 각각 애플리케이션으로 결정되는 최대 비트 속도 및 최소 비트 속도이다. 또한, 세로축에 나타낸 평균 비트 속도 Ave Rate(Rate_avg)는 오소링 시스템이나 기억 시스템에 있어서 사용되는 축적 매체의 기억 용량 Total_Bit와 기록되는 영상 소재의 길이 Total_Time이 결정되는 경우에서는 그들로부터 계산되는 평균의 비트 속도이고, 그 초기치는,
Rate_Avg=Total_Bit[bit]/Total_Time[sec]
로 계산된다.
또한, 이 비디오 데이터 부호화 장치가 디지털 방송 등의 전송 시스템에 있어서 적용되는 경우에는 도 6의 그래프의 세로축에 나타낸 Max Rate(Rate_max), Min Rate(Rate_min)은 전송되는 비디오 프로그램에 대하여 미리 설정된 최대 비트 속도 및 최소 비트 속도이다. 이와 같이, 이 평균 비트 속도 Avg Rate(Rate_avg) 는 전송되는 비디오 프로그램에 대하여 미리 설정된 고정된 비트 속도이다.
한편, 가로축에 나타낸 Avg Difficulty(D_Avg)는 인코드하는 입력 영상 소재의 평균 부호화 난이도의 추정치이다. 「추정치」라는 표현을 하는 것은 입력 영상 소재의 부호화 난이도는 인코드가 종료할 때까지 모르기 때문이다.
이와 같이 Rate_min, Rate_Max, Rate_Avg와 평균 부호화 난이도 D_Avg을 주었을 때에 참조 GOP에 할당되는 비트 속도 G0P_Bitrate는 도 6과 같이 참조 GOP에 있어서의 부호화 난이도의 평균치 D￣= 0일 때 Rate_Min이고, D￣=D_Avg일 때 Rate_Avg가 되도록 직선으로 나타내며, 또한, 비트 속도가 Rate_Max를 넘지 않는 값이 된다. 따라서, 참조 GOP에 할당되는 비트 속도 G0P_Bitrate는
Figure 112006023357729-PAT00006
에 의해서 나타내여진다.
상기 제1의 처리(참조 GOP의 비트 속도 G0P_Bitrate를 구하는 처리)에서 GOP의 비트 속도 G0P_Bitrate가 구해지면, 다음의 제2의 처리(각 화상마다의 목표 부호량(Tj)을 구하는 처리)에 있어서, 우선, 참조 GOP의 목표 부호량(R)을 하기의 식(6)과 같이 구한다.
Figure 112006023357729-PAT00007
여기서, 화상 속도는 1초간 당의 화상 매수이다.
그리고, 이 제2의 처리에 있어서, 이 식(6)에 기초하여 구해진 GOP 당의 비트량(R)을 각 화상의 부호화 난이도의 비율로 분배한다. 왜냐하면, GOP 당의 비트량(R)을 GOP 내의 N개의 화상에 완전히 같게 분배하는 것이 아니고, I 화상에는 가장 많은 부호화 비트량이 할당되며, P 화상에는 I 화상보다도 적은 B 화상보다도 많은 비트량이 할당되어, B 화상에는 가장 적은 비트가 할당되도록 경사 배분하고 있다. 구체적으로는 GOP 중의 j번째의 화상의 목표 부호량(Tj)은 각 화상 타입 별로 이하의 식(7), 식(8), 식(9)과 같이 결정된다.
화상 타입이 I 화상의 화상을 부호화할 때에 할당되는 목표 비트량은,
Figure 112006023357729-PAT00008
으로 구해진다.
화상 타입이 P 화상의 화상을 부호화할 때에 할당되는 목표 비트량은,
Figure 112006023357729-PAT00009
으로 구해진다.
화상 타입이 B 화상의 화상을 부호화할 때에 할당되는 목표 비트량은,
Figure 112006023357729-PAT00010
으로 구해진다.
여기서, 모든 식(7), 식(8), 식(9)에 공통인 분모에 사용되고 있는 Dl, Dp, DB는 각 화상 타입에 대응한 부호화 난이도이고, 부호화 처리에 앞서 연산된 데이터이다. KP는 P 화상의 비트량에 대한 I 화상의 비트량을 나타내는 비율이고, KB는 B 화상의 비트량에 대한 I 화상의 비트량을 나타내는 비율이고, 상기 TM5에서 제안되는 바와 같이 예를 들면 KP=1.0, KB=1.4 등의 값을 고른다.
또한, MPEG 등에서 규정되는 가상 버퍼량의 계산(Video buffering Verifier VBV 버퍼)의 제한을 지키기 위해서는 목표 부호량(Tj)의 비트량에 있는 마진치를 더한 발생 부호량(Tj)이 발생한 경우에도 VBV 버퍼의 제한을 넘지 않도록 목표 부호량(Tj)의 값을 제한하도록 되어 있다.
각 화상에 대응하는 목표 부호량(Tj)이 결정되면 그 목표 부호량(Tj)에 따라서 1 GOP 분의 화상을 인코드한다.
다음에, 제3의 처리에서는 상기 제1의 처리(참조 GOP의 비트 속도 G0P_Bitrate를 구하는 처리)에서 사용한 식(5)을 갱신하는 처리, 즉, 참조 GOP의 비트 속도 G0P_Bitrate를 연산하는 연산식을 갱신하는 처리를 한다.
제3의 처리에 있어서, CPU(6)는 참조 GOP를 인코드함으로써, 참조 GOP를 인코드할 때에 실제로 발생한 비트량을 얻을 수 있다.
우선, 이 비디오 데이터 부호화 장치가 오소링 시스템이나 기억 시스템에 있어서 사용되고 있는 경우에는 CPU(6)는 오소링 시스템이나 기억 시스템에 있어서 사용되고 있는 축적 매체의 잔존 비트량과 잔존 시간을 연산에 의해서 구한다. 왜냐하면, CPU(6)는 참조 GOP를 실시에 인코드한 후에, 다음 GOP를 부호화하기 전에 축적 매체의 잔존 비트량과 소스 소재의 미기록 시간에 기초하여 적절한 새로운 평균 비트 속도 Rate avg를 연산하기 때문이다.
우선, 오소링 시스템이나 기억 시스템에 있어서 사용되고 있는 축적 매체의 잔존 비트량 Reman_Bit는 참조 GOP를 인코드하였을 때에 발생한 부호량을 S로 하면,
Figure 112006023357729-PAT00011
에 의해서 구해진다.
계속해서, 이 소스 소재의 미기록 시간 Remain_Time은 1초간 당의 화상 매수를 Picture_Rate로 하여, 1 GOP 당의 화상 매수를 N으로 하면,
Figure 112006023357729-PAT00012
에 의해서 구해진다.
따라서, 축적 매체의 잔존 비트량과 소스 소재의 미기록 시간에 의해서 갱신되는 새로운 평균 비트 속도 Rate_Avg는,
Figure 112006023357729-PAT00013
에 의해서 구할 수 있다.
또한, Remain_Bit와 Remain_Time의 초기치는 각각 축적 매체의 총 기억 비트량 Tota1Bit와, 소스 영상 소재의 총 데이터 길이 Total_Time이다.
한편, 이 비디오 데이터 부호화 장치가 디지털 방송 등의 전송 시스템에 있어서 사용되고 있는 경우에는, 먼저 설명한 오소링 시스템이나 기억 시스템의 경우와 다르며, 평균 비트 속도 Rate_avg를 갱신하는 처리는 하지 않는다. 왜냐하면, 이 평균 비트 속도 Rate_avg는 전송되는 각 비디오 프로그램에 대하여 미리 설정된 값이고, 이 평균 비트 속도에 기초하여 방송국이, 비디오 프로그램의 전송을 요구 하여 온 프로그램 공급회사에 대하여 금액 부과를 하기 위해서 사용하는 비트 속도이고, 이 비트 속도를 변경할 수는 없기 때문이다.
또한, 1 GOP의 인코드가 종료하면, 다음 GOP에 있어서의 부호화 난이도의 평균치(D￣)가 다음 GOP의 부호화 처리를 하기 전에 구해진다. CPU(6)는 이 GOP에 있어서의 부호화 난이도의 평균치(D￣)를 사용하여 인코드하는 다음 GOP에 대하여 설정되는 평균 부호화 난이도의 추정치(D_Avg)를 갱신한다.
다음 GOP을 부호화할 때에 사용되는 새로운 평균 부호화 난이도의 추정치(D_Avg)는,
Figure 112006023357729-PAT00014
에 의해서 구할 수 있다. 이 식(13)과 같이, 오래된 D_Avg(전의 GOP의 부호화 처리에 사용한 평균 부호화 난이도의 추정치)에 가중 평균을 내는 방법이 용이하다. 여기서, 계수(k)는 충분히 큰 정수(예를 들면 256)이다. 계수(k)의 크기는 평균치의 변동 때 정수가 되어, 계수(k)가 클 수록 평균치의 변동은 적지만, 반대로 실제의 평균치에 가까울 때까지 시간이 걸리기 때문에, 애플리케이션에 따라서 계수(k)의 크기는 고르지 않으면 안된다.
또한, 새로운 평균 부호화 난이도의 추정치(D_Avg)의 초기치로서는 통계적으로 구한 값을 사용하는 것 등이 생각되며, 예를 들면, 인코드의 조건(해상도/풀다운)이나, 입력 영상 소재의 종류(영화/비디오, 스포츠/뉴스 등)에 의해서 초기치로 서 입력 영상 소재의 평균 부호화 난이도로서 상정되는 값을 설정하는 것이 적당하다. 예를 들면 영화 소재의 경우는 2-3 풀다운이나, 프레임 DCT에 의한 압축 효율의 향상이 얻어지므로, Difficulty의 평균치는 일반적으로 비디오 소재보다도 꽤 낮게 되기 때문에 초기치로서 낮음의 값을 주어 두는 것이 적당하다.
그런데, 전의 GOP의 부호화 처리의 결과, 식〈12) 및 식(13)에 기초하여, Rate_Avg와 D_Avg가 갱신되면, 다음 GOP을 처리하기 위해서 갱신된 Rate_Avg와 D_Avg에 기초하여 부호화 난이도로부터 GOP의 비트 속도를 구하는 변환식(5)이 갱신된다. 그 결과, 도 7과 같이, 부호화 난이도로부터 GOP의 비트 속도를 구하는 변환식이 변경되어, 결과로서, 전체의 목표 부호량의 범위 내에서 인코드할 수 있도록 보정되게 된다. 도 7에 도시한 예에서는 발생한 비트량도 부호화 난이도도 평균치를 크게 상회하였기 때문에, Rate_Avg를 작고, D_Avg를 크게하여, 변환식(5)의 경사를 완만하게 하고 있다.
이 제3의 처리로 상기 식(5)에 관한 새로운 변환식이 구해지면, 상기 제1의 처리로 되돌아가 다음 GOP의 목표 부호량을 결정한다.
도 8에는 상기 제1의 처리, 제2의 처리 및 제3의 처리를 섬세하게 나눈 알고리즘을 플로우 챠트로서 나타낸다.
이 플로우 챠트는 CPU(6)에 의해 실행된다. 우선, 스텝(S1)에서, 이 비디오 데이터 부호화 장치가, 오소링 시스템 또는 기억 시스템에 있어서 사용되는 경우에는 사용자에 의해 도시하지 않은 입력 인터페이스를 통하여, 예를 들면 기억 디스크의 전 부호량, 영상 소재의 길이, 상기 최대 비트 속도, 최소 비트 속도, 또는 입력 영상 소재의 종류, 풀다운의 유무 등에 관한 인코드 조건이 설정된다. 그들의 입력 정보에 기초하여, CPU(6)는 스텝(S2)으로 상기 디스크의 전 부호량 Total_Bit[bit]와 영상 소재의 시간적인 길이 Total_Time[sec]으로부터 평균 비트 속도 Rate_Avg를 이하의 식
Figure 112006023357729-PAT00015
에 기초하여 연산한다.
또한, 이 비디오 데이터 부호화 장치가, 디지털 방송 등의 데이터 전송 시스템으로서 적용되고 있는 경우에는 평균 비트 속도 Rate_Avg로서 부호화되는 비디오 프로그램에 대하여 미리 요구되고 있는 고정 비트 속도가 설정된다.
다음에, CPU(6)는 스텝(S2)에서 인코드하는 소스 영상 소재의 평균 부호화 난이도의 추정치 D_Avg의 초기치를, 예를 들면 인코드의 조건(해상도/풀다운)이나, 입력 영상 소재의 종류(영화/비디오, 스포츠/뉴스 등)에 의해서 설정된다.
다음에, CPU(6)는 스텝(S4) 이후의 GOP 처리를 명시한다. 스텝(S5)에 있어서, 영상 신호의 입력이 최초의 GOP라고 판단한 경우, CPU(6)는 스텝(S17) 있어서, 부호화 전처리부(2)로부터 공급되는 화상 j+N 분의 각 지표 데이터(인트라(AC나 ME) 잔차 등)를 사용하여 상술한 식(1) (2) 및 (3)에 기초하여 화상 타입에 대응한 부호화 난이도(Dj 내지 Dj+N)를 구한다.
스텝(S5)에서 최초의 GOP에서는 없다고 판단하면, CPU(6)는 스텝(S6)에 있어서, 참조 GOP에 있어서의 부호화 난이도의 평균치(D￣)를 상기 식(4)에서 구한다. 또한, CPU(6)는 이 GOP에 있어서의 부호화 난이도의 평균치(D￣)를 사용하여,
GOP 당의 비트 속도 G0B_Bitrate를 상술한 식(5)을 사용하여 구한다. 여기까지 처리가 상기 제1의 처리에 상당한다.
그리고, CPU(6)는 스텝(S7)에서, 상기 식(6)을 사용하여 참조하고 있는 GOP에 대하여 할당되는 목표 부호량(R)을 구한다.
다음에, CPU(6)는 스텝(S8)에서 j=0으로 해 놓고 나서, 스텝(S10) 이후, 스스텝(S15)까지의 프레임 루프 처리를 명시한다. 우선, 스텝(S11)으로 CPU(6)는 상기 부호화 전처리부(2)로부터 공급되는 각 지표 데이터(인트라(AC)나 ME 잔차 등)를 사용하여 상술한 식(1) (2) 및 (3)에 기초하여 화상 j+N의 부호화 난이도를 구한다.
그리고, 스텝(S12)으로 상기 식(7) 내지 식(9)에 기초하여, 각 화상 즉 I화상, P 화상, B 화상에 대응한 목표 부호량(Tj)을 구한다. 구체적으로는 식(6)에 의해서 구해진 참조하고 있는 GOP에 대하여 할당된 목표 부호량(R)을 각 화상 타입에 설정된 가중 계수(k)에 의해서 가중됨으로써 각 화상에 대하여 분배한다. 여기서, 상기 VBV 버퍼에 여유가 없을 때는 이 각 화상마다 연산된 목표 부호량(Tj)을 클립한다. 이것은, 목표 부호량(Tj)이 버퍼 잔량으로부터 마진을 뺀 값보다도 커진 경우에는 VBV 버퍼가 오버플로하지 않도록 그 연산된 목표 부호량(Tj)의 값을 제한한다는 것이다.
다음에, 스텝(Sl3)에 있어서, CPU(6)는 상기 목표 부호량(Tj)에 따라서 인코 더(4)가 발생 부호량을 인코더(4)로부터 수취, CPU(6)의 내부에 마련된 메모리에 기억한다. 이들의 일련의 처리는 스텝(S14), 스텝(S15)에서 j=N이 될 때까지 반복되고, 1 GOP 분의 발생 부호량이 구해진다. 즉, l GOP 분의 인코드가 행하여진다. 여기까지의 처리가 상기 제2의 처리에 상당한다.
다음에, CPU(6)는 상기 제3의 처리에 상당하는 처리를 스텝(S20), 스텝(S21)로 한다. 우선, 스텝(S20)에 있어서, 스텝(S2)과 같이 참조 GOP에 있어서의 나머지의 화상을 부호화할 때의 평균 비트 속도 Rate_Avg를 축적 매체의 잔존 비트량 Remain_Bit[bit]와 소스 영상 소재의 미기록 시간 Remain_Time[sec]로부터 구한다. 단, 이 평균 비트 속도 Rate_Avg를 구하는 처리는 부호화된 데이터를 축적 매체에 기록하는 경우에 관해서 뿐이다.
스텝(S21)에 있어서, CPU(6)는 우선, 식(4)에 기초하여 다음 GOP를 부호화하기 전에 연산한 부호화 난이도(Dj)를 사용하여, 다음 GOP에 대응하는 새로운 부호화 난이도의 평균치(D￣)를 구함으로써 이 부호화 난이도의 평균치(D￣)를 갱신한다. 그리고, CPU(6)는 이 부호화 난이도의 평균치(D￣)의 갱신에 따라서, 식(13)에 있어서 설명한 바와 같이, 다음 GOP를 부호화할 때의 평균 부호화 난이도의 추정치 D_Avg를 갱신한다.
이렇게 하여, 인코드 처리의 결과 실제로 발생한 비트량에 기초하여 평균 비트 속도 Rate_Avg와 평균 부호화 난이도의 추정치 D_Avg을 갱신한다. 그리고, 이들의 갱신된 평균 비트 속도 Rate_Avg와 평균 부호화 난이도의 추정치 D_Avg를 식 (5)에 대입함으로써 도 7에 도시한 바와 같이, 부호화 난이도로부터 GOP의 비트 속도를 구하는 변환식을 변경한다. 결과로서 전체의 목표 부호량의 범위 내에서 인코드할 수 있도록 보정할 수 있다.
그리고, 스텝(S22)으로 인코드 처리의 종료를 판단할 때까지 상기 제1의 처리로 되돌아가 다음 GOP의 목표 부호량을 결정한다.
상기 플로우 챠트에서는 부호화 난이도와 비트 속도의 관계를 도 6, 도 7과 같은 직선 관계로 설명하였지만, 본 발명에 있어서는 반드시 직선 관계일 필요는 없으며, 예를 들면 도 9에 도시하는 바와 같이, 지수 함수적으로 경사가 완만하게 되도록 관계식으로 정의하여도 무방하다.
본 발명의 실시 예에 있어서는 간단하게 하기 위해, GOP 단위로 부호화 처리에 앞서 1 GOP 분의 부호화 난이도(Dj)를 연산하는 선판독 알고리즘에 관해서 설명하였지만 반드시 GOP 분의 선판독은 필수가 아니다.
1 GOP 분의 부호화 난이도가 선판독할 수 없는 경우는 예를 들면 1 프레임분(I 화상분)의 선판독 처리라도 충분하다. 상기 제1의 처리에서는 GOP 단위로 부호화 난이도에 따라서 비트 속도를 결정하였지만 GOP의 선판독 정보를 사용할 수 없는 경우에는 미리 정한 프레임의 부호화 난이도에 대한 프레임의 목표 부호량의 대응 관계에 의해서 직접 프레임의 목표 부호량(Tj)을 결정하는 방법을 취할 수 있다. 즉, 상기 제1의 처리와 제2의 처리를 동시에 행한다.
이와 같이, I 화상분의 부호화 난이도(Dj)를 연산하는 알고리즘으로서는 화 상 단위의 부호화 난이도와 목표 부호량의 관계식은 이 경우, 화상 타입에 따라서 각각 준비되어 있다. 도 10a 내지 도 10c에 예를 도시하였지만 I 화상의 화상당의 최대/최소 목표 부호량 Max Bit나 Min Bits를 P 화상나 B 화상의 경우보다도 크게 설정하지 않으면 안되기 때문이다. 이와 같이, 상기 제3의 처리에 있어서 갱신하는 평균의 부호화 난이도 D￣Avg나 평균의 목표 부호량 Avg Bits도 화상 타입별로 할 필요가 있다.
또한, 도 10a는 I 화상일 때, 도 10b는 P 화상일 때, 도 10c는 B 화상일 때의 각각 부호화 난이도와 목표 부호량의 관계식을 나타내는 그래프이다.
여기까지의 설명으로는 각 화상 단위나 GOP 단위로 목표 부호량에 대하여 발생 부호량에 오차가 생겨도 그 차를 곧 피드백하지 않고 나머지의 평균 비트 속도를 갱신한다는 형으로 완만히 피드백하고 있다. 오소링 시스템이나 기억 시스템과 같이 어느 정도 오랜 시간 인코드하여 목표에 수습되면 좋다는 애플리케이션에서는 이것으로서 충분하다.
그러나, 디지털 방송 등의 전송 시스템에 있어서 이 비디오 데이터 부호화 장치를 통용하는 경우에는 애플리케이션에 따라서는 단시간으로 목표 부호량과 발생 부호량을 보다 가까이할 필요가 있다. 이와 같은 경우는 상기 TM5에서 사용되고 있는 바와 같이 I 화상에 할당된 비트량(R)과 발생 부호량(Sj)과의 차분을 적극적으로 피드백하는 것이 생각된다. 즉, I 화상의 부호화 처리가 종료할 때마다 다음 화상에 할당되는 비트량(R)은,
Figure 112006023357729-PAT00016
의 식으로 나타낸다. 즉, 다음 화상에 할당되는 비트량(R)은 앞에서의 화상에 대하여 할당되고 있는 비트량(R)에서는 앞에서의 화상을 부호화 하였을 때에 발생한 발생 비트량(Sj)을 뺀 값이 된다.
여기서, 상기 식(7) 내지 식(9)의 분모는 GOP 내의 나머지의 화상의 부호화 난이도의 합을 구하도록 하면 좋고, 또한 GOP의 부호화가 종료하였을 때의 화상에 할당된 비트량(R)의 값을 다음 GOP의 화상에 할당된 비트량(R)에 더하는 것으로 다음 GOP에까지 오차를 피드백하는 것이 가능하게 된다.
입력 영상 소재의 평균 부호화 난이도의 예측치(D_Avg)를 구하는 방법으로서 (13)식과 같은 가중 평균(IIR 필터)의 예를 나타내었지만 그 외에도 여러가지 생각된다. 여기서는 또한, 실제로 부호화 난이도의 실측치의 평균치를 사용하는 예를 나타내고 있다.
어느 시점에서 인코드의 최초부터 L 매수의 화상의 부호화 난이도의 선판독이 종료하였다고 하면,
Figure 112006023357729-PAT00017
와 같이 실제의 평균치를 사용할 수 있다. 이 식(14)은 과거의 측정된 부호화 난 이도의 평균치가 이제부터 입력되는 소재에 관해서도 마찬가지로 사용할 수 있는 것을 전제로 하고 있다.
이 경우, 장점으로서 장시간 인코드하면 정확한 평균치에 가까이 오는 것을 들 수 있지만, 반대로 인코드의 개시 직후는 평균치가 입력 소재에 지나치게 영향을 준다는 단점도 있다. 또한, 장시간 인코드를 계속하면 L이 너무 커져서 계산량이나 기억량이 커진다.
또한, 본 발명의 특수한 적용 예로서는 1 패스 고정 속도도 포함된다. 즉, 고정 속도를 실현하기 위해서는 본 발명의 상기 제1의 처리에서 결정하는 GOP 당의 비트 속도를 언제나 소정의 고정치로 하는 것만으로 1 패스 고정 속도로 할 수도 있다.
또한, 상술한 실시 예에서는 피드·포워드·속도·제어 방식에 의해, 통계적으로 구해진 지표 데이터, 즉, ME 잔차, 편평도, 인트라(AC) 및 액티비티를 상기 CPU(6)에 의해 부호화 난이도에 근사하고 있다. 이들의 사용 데이터와 부호화 난이도와는 강한 상관 관계를 갖지만, 영상 데이터의 그림에 따라서는 약간의 오차가 생길 수 있다.
이 때문에, 영상 데이터의 그림 등에 따라서 식(1) (2) 및 (3) 등에 나타낸 가중 계수(al, aB, aB) 등을 적응적으로 시시 각각으로 조절하여 보다 높은 정밀도로 부호화 난이도를 지표 데이터로 근사하여, 보다 높은 품질의 압축 영상 데이터를 생성하도록 하여도 된다.
이하에, 이 가중 계수 aI, aF, am 등을, 적응적으로 시시 각각으로 갱신하는 처리에 관해서 설명한다.
도 2에 도시한 비디오 데이터 부호화 장치의 인코더(4)가 I 화상분의 압축 부호화를 종료할 때마다 CPU(6)에는 생성한 압축 영상 데이터의 I 화상분의 발생 부호량이 판명되고, 또한, 압축 부호화시의 양자화치(Qj)의 평균치 및 이하에 설명하는 글로벌 콤플렉시티(global comlpexity)를 산출할 수 있다.
글로벌 콤플렉시티는 영상의 그림이 복잡함을 나타내는 데이터이고, MPEG의 TM5에 있어서, 압축 영상 데이터의 발생 부호량(데이터량)과 양자화치(Qj)를 승산한 값으로서, 아래의 식(15) 내지 식(17)으로 나타내는 바와 같이 정의되어 있다.
Figure 112006023357729-PAT00018
Figure 112006023357729-PAT00019
Figure 112006023357729-PAT00020
또한, 상기 식(15) 내지 식(17)에 있어서, X1, XP, XB는 각각 I 화상, P 화상및 B 화상의 글로벌 콤플렉시티를 나타내며, S 1 , SP, SR는 각각 I 화상, P 화상 및 B 화상을 부호화하였을 때의 발생 부호량을 나타내며 Q1, QP, QB는 각각 I 화상, P 화상 및 B 화상을 생성할 때의 양자화치(Qj)의 평균치를 나타내고 있다.
상기 식(15) 내지 식(17)에 나타낸 글로벌 콤플렉시티(X)는 부호화 난이도와는 반드시 일치하지 않지만 양자화치(Qj)의 평균치가 극단적으로 크거나 작거나 하지 않는 한 부호화 난이도와 거의 일치한다.
여기서, I 화상, P 화상 및 B 화상의 지표 데이터, 예를 들면 인트라(AC)(그밖의 파라미터라도 가능) 및 ME 잔차와 글로벌 콤플렉시티가 비례 관계에 있다고 하면, 이들의 지표 데이터와 글로벌 콤플렉시티와의 비례 계수(εI, εP, εB)는 하기의 식(18) 내지 식(20)에 의해 산출할 수 있다.
화상 타입이 I 화상으로 된 화상을 부호화할 때의 비례 계수(εI)는,
Figure 112006023357729-PAT00021
로 나타낸다.
화상 타입이 P 화상으로 된 화상을 부호화할 때의 비례 계수(εP)는,
Figure 112006023357729-PAT00022
로 나타낸다.
화상 타입이 B 화상으로 된 화상을 부호화할 때의 비례 계수(εB)는,
Figure 112006023357729-PAT00023
으로 나타낸다.
각 화상에 대응한 부호화 난이도는 상기 식(18) 내지 식(20)에 의해 산출한 비례 계수(εI, εP, εB)를 사용하여 하기의 식(21) 내지 식(23)에 나타내는 바와 같이 산출된다.
화상 타입이 I 화상으로 된 화상을 부호화할 때의 부호화 복잡도(DI j)는,
Figure 112006023357729-PAT00024
로 나타낸다.
화상 타입이 P 화상으로 된 화상을 부호화할 때의 부호화 복잡도(DP j)는,
Figure 112006023357729-PAT00025
로 나타낸다.
화상 타입이 B 화상으로 된 화상을 부호화할 때의 부호화 복잡도 (DB j)는,
Figure 112006023357729-PAT00026
로 나타낸다.
상기 식(21) 내지 식(23)에 나타낸 바와 같이, CPU(6)가 비례 계수(εI, εP, εB)를 인코더(4)가 화상 1매 압축 부호화할 때마다 갱신함으로써, 최적화된 각 화상 타입에 대응한 부호화 난이도(D)를 구할 수 있다. 즉, 이 글로벌 콤플렉시티를 사용함으로써 항상 적절하게 근사된 부호화 난이도를 구할 수 있다.
CPU(6)는 상기 식(21) 내지 식(23)에 따라서 연산된 부호화 난이도에 대하여, 상기 도 8에 나타낸 플로우 챠트의 알고리즘의 연산 처리를 하여 목표 부호량(Tj)을 산출한다.
이하, 상기 글로벌 콤플렉시티를 사용하여 구한 부호화 난이도에 의해 목표 부호량을 산출하고, 이 목표 부호량에 따라서 발생 부호량을 결정하는 비디오 데이터 부호화 장치의 동작을 설명한다.
도 2의 부호화 전처리부(2)는 영상 신호 입력을 부호화 순서에 다시 배열시켜, 화상·필드 변환 등을 하여, I 화상에 압축 부호화되는 제j+N번째의 화상으로부터 편평도 및 인트라(AC) 등의 통계량을 산출한다.
움직임 검출 회로(5)는 P 화상 및 B 화상에 압축 부호화되는 제j+N번째의 화상에 관해서 움직임 벡터를 생성하고, 또한, ME 잔차를 산출한다. FIF03은 입력된 영상 신호를 N 화상분만 지연한다.
CPU(6)는 화상 타입이 P 또는 B 화상인 화상에 대해서는 움직임 검출 회로(5)가 생성한 ME 잔차를 사용하여 식(22) 또는 식(23)에 나타낸 연산 처리를 하여 부호화 난이도를 연산하고, 화상 타입이 화상인 화상에 대하여는 식 (21)에 나타낸 연산 처리를 하여 부호화 난이도를 구한다.
또한, CPU(6)은 각 화상마다 구한 부호화 난이도로부터, 상기 도 8의 알고리즘에 따라서, 목표 부호화량(Tj)을 산출하고, 인코더(4)의 도 3에 나타내는 양자화 제어 회로(18)에 설정한다.
인코더(4)의 DCT 회로(16)는 지연한 영상 데이터의 제j번째의 화상을 DCT 처리한다.
양자화 회로(17)는 DCT 회로(16)로부터 입력된 제j번째의 화상의 주파수 영역의 데이터를, 양자화 제어 회로(18)가 목표 부호화량(Tj)에 따라서 조절하는 양자화치(Qj)에 의해 양자화하는 동시에 제j번째의 화상의 압축 부호화에 사용한 양자화치(Qj)의 평균치를 산출하여 CPU(6)에 대하여 출력한다.
가변 길이 부호화 회로(19)는 양자화 회로(17)로부터 입력된 제j번째의 양자화 데이터를 가변 길이 부호화하여 거의 목표 부호량(Tj)에 가까운 데이터량의 압축 영상 데이터를 생성하여 버퍼 메모리(20)를 통하여 출력한다.
인코더(4)가 제j번째의 화상의 압축 부호화를 종료하면, CPU(4)는 양자화 제어 회로(18)로부터 입력되는 제j번째의 화상에 대한 양자화치(Qj)의 평균치와 압축 부호화된 제j번째의 화상의 데이터량에 기초하여, 식(15) 내지 식(17)에 나타내는 바와 같이 글로벌 콤플렉시티를 산출한다.
또한, CPU(4)는 산출한 글로벌 콤플레시티에 의해 식(18) 내지 식(20)에 나타내는 바와 같이 비례 계수(εI, εP, εB)를 갱신한다. 갱신된 비례 계수(εI, εP, εB)는 다음 화상의 압축 부호화 때의 변환식에 반영된다.
또한, 상기 도 2에 도시한 비디오 데이터 부호화 장치는 CPU(6)를 내부에 설치한 구성으로 되어 있지만, 예를 들면, 도 11에 도시한 바와 같이 외부 컴퓨터(30)를 외부에 마련하여도 좋다. 이 경우, 외부 컴퓨터(30)로부터 인코드 조건이 주어진다. 또한, 인코더(4)의 발생 부호량은 CPU(6)를 통하여 외부 컴퓨터(30)에 알려진다. 또한, 도 12에 도시한 바와 같이 CPU(6)의 대신에 외부 컴퓨터(30)를 기능시키는 것만으로도 좋다.
또한, 상기 비디오 데이터 부호화 장치 및 방법에 의해 얻어진 부호화 데이터를 기록하고 있는 기록 매체, 예를 들면 DVD는 한정된 비트량을 유효하게 사용하여 양호한 화질을 제공한다.
또한, 상기 부호화 방법에 의해 얻어진 부호화 데이터를 전송하는 영상 데이터 전송 방법은 입력 영상 신호의 특징을 지표하는 지표 데이터에 따라서 산출한 목표 부호량에 따른 부호화 처리를 실시하고 나서 전송하기 때문에, 실시간으로 양호한 화질의 압축 부호화 데이터를 전송할 수 있다.
이상 설명한 바와 같이 본 발명에 관계되는 비디오 데이터 부호화 장치 및 방법에 의하면, CPU(6)가 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도(Dj)를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하고, 이 연산된 부호화 난이도에 따라서, 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량(Tj)을 또한 연산하고 있다. 그리고, CPU(6)는 연산된 목표 부호량(Tj)을 피드포워드적으로 인코드(4)에 공급함으로써, 부호화해야 하는 소스 비디오 데이터의 그림에 따른 목표 부호량에 기초하여 부호화할 수 있는 동시에 비디오 데이터를 실시간으로 부호화할 수가 있다.
또한 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화해야 하는 소스 비디오 데이터로부터 구해진 인트라(AC) 또는 ME 잔차를 사용하여 화상 타입마다 부호화 난이도를 근사적으로 연산하도록 하고 있기 때문에 부호화되는 비디오 데이터를 실제로 인코드하기 전에 부호화 난이도를 얻을 수 있다. 따라서, 실시간으로 부호화 처리를 가능하게 할 수 있다.
또한 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화해야 하는 비디오 데이터의 화상 타입이 I 화상인 경우에는 인트라(AC)에서 부호화 난이도를 연산 하고, 부호화해야 하는 비디오 데이터의 화상 타입이 P 화상 또는 B 화상인 경우에는 ME 잔차로부터 부호화 난이도를 연산함으로써, 화상 타입에 따른 정밀도가 높은 부호화 난이도를 연산할 수가 있다.
또한 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화 수단에 의한 과거의 부호화 처리의 결과, 실제로 발생하는 부호화량에 기초하여, 연산된 부호화 난이도로부터 목표 부호량을 연산하기 위한 변환식을 수시로 보정하도록 하고 있기 때문에, 비디오 데이터의 그림 변화에 적합한 목표 부호량 및 축적 매체의 기록 잔량에 적당한 목표 부호화를 설정할 수 있다. 또한, 그 부호화 난이도로부터 목표 부호량을 연산하기 위한 변환식은 부호화해야 하는 비디오 데이터의 화상 타입에 따라서 각각 다른 변환식이 설정되어 있기 때문에, GOP 단위에 부호화 난이도를 연산할 뿐만 아니라, 화상 단위에서도 적절한 부호화 난이도를 연산할 수 있다.
또한 본 발명의 비디오 데이터 부호화 장치에 의하면, 부호화 수단에 의한 부호화 처리의 발생 부호량과 양자화치에 의해서 구해진 글로벌 콤플렉시티에 기초하여, 부호화 난이도를 연산하는 연산식을 수시로 갱신하도록 하고 있기 때문에, 비디오 데이터의 그림의 변화에 따른 부호화 난이도를 한층 더 정밀도 있게 검출할 수가 있다.
또한, 본 발명의 비디오 데이터 부호화 장치에 의하면, CPU(6)는 부호화 수단에 있어서의 부호화 처리의 대상이 되는 참조 GOP에 포함되는 복수의 화상에 관한 부호화 난이도를 화상마다 연산하고, 부호화 난이도 연산 수단에 의해서 연산된 복수의 부호화 난이도로부터, 참조 GOP에 대하여 할당되는 목표·부호량을 연산하 고 있다. 그리고, CPU(6)는 참조 GOP에 대하여 할당되는 목표 부호량을 참조 GOP에 포함되는 각 화상에 대하여 화상 타입에 따라서 분배함으로써, 참조 GOP에 포함되는 각 화상에 대응한 목표 부호량을 연산하도록 하고 있다. 따라서, GOP 내부에 있어서, GOP에 대하여 지정된 평균 부호화량을 유지하면서, 화상 타입에 따라서 각각 다른 목표 부호량을 각 화상에 대하여 할당할 수 있다.

Claims (11)

  1. 공급된 입력 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    입력 비디오 데이터의 특징을 지표하는 지표 데이터(parameter data)에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 수단과,
    상기 입력 비디오 데이터를 미리 결정된 시간만큼 지연하는 지연 수단과,
    상기 지연 수단으로 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하는 부호화 처리 수단을 포함하고,
    상기 목표 부호량 산출 수단은, 상기 지표 데이터로부터 부호화 시의 난이도를 나타내는 부호화 난이도를 구하고, 이 부호화 난이도에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하고,
    상기 부호화 처리 수단은 프레임내 부호화 화상, 프레임간 순방향 예측 부호화 화상, 양방향 예측 부호화 화상을 미리 결정된 수 포함하여 이루어지는 화상 부호화 그룹 단위로 상기 입력 비디오 데이터를 부호화하고,
    상기 목표 부호량 산출 수단은 화상 부호화 그룹 단위로 상기 부호화 난이도를 선판독하고, 상기 부호화 난이도에 기초한 상기 목표 부호량의 대응 관계를 사용하여, 상기 화상 부호화 그룹 단위분의 목표 부호량을 결정하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  2. 공급된 입력 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 수단과,
    상기 입력 비디오 데이터를 미리 결정된 시간만큼 지연하는 지연 수단과,
    상기 지연 수단으로 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하는 부호화 처리 수단을 포함하고,
    상기 목표 부호량 산출 수단은,
    (1) 상기 지표 데이터로부터 부호화 시의 난이도를 나타내는 부호화 난이도를 구하고, 이 부호화 난이도에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하고,
    (2) 상기 부호화 난이도에 기초한 상기 목표 부호량의 대응 관계를 이미 수집한 부호화 난이도나 상기 부호화 처리 수단으로 발생한 부호량에 따라서 수시로 갱신하고,
    (3) 상기 부호화 난이도와 상기 목표 부호량의 대응 관계를 미리 지정된 최저/최고 비트 속도와, 기록 용량 및 시간의 나머지의 값으로부터 계산되는 평균 비트 속도와, 상기 입력 비디오 데이터인 입력 소재의 부호화 난이도의 평균치에 의해서 결정되는 대응 관계로서 정의하여, 상기 평균 비트 속도와 상기 부호화 난이도의 평균치의 두 개 또는 그중 어느 하나를 수시로 갱신하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  3. 입력 비디오 데이터를 부호화하는 부호화 방법에 있어서,
    입력 비디오 데이터의 특징을 지표하는 지표 데이터에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 공정과,
    상기 입력 비디오 데이터를 미리 결정된 시간만큼 지연하는 지연 공정과,
    상기 지연 공정에서 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하는 부호화 처리 공정을 포함하고,
    상기 목표 부호량 산출 공정은, 상기 지표 데이터로부터 부호화 시의 난이도를 나타내는 부호화 난이도를 구하고, 이 부호화 난이도에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하고,
    상기 부호화 처리 공정은, 프레임내 부호화 화상, 프레임간 순방향 예측 부호화 화상, 양방향 예측 부호화 화상을 미리 결정된 수 포함하여 이루어지는 화상 부호화 그룹 단위로 상기 입력 비디오 데이터를 부호화하고,
    상기 목표 부호량 산출 공정은 화상 부호화 그룹 단위로 상기 부호화 난이도를 선판독하고, 상기 부호화 난이도에 기초한 상기 목표 부호량의 대응 관계를 사용하여, 상기 화상 부호화 그룹 단위분의 목표 부호량을 결정하는, 비디오 데이터 부호화 방법.
  4. 공급된 입력 비디오 데이터를 부호화하는 비디오 데이터 부호화 방법에 있어 서,
    입력 비디오 데이터의 특징을 지표하는 지표 데이터에 기초하여, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하는 목표 부호량 산출 공정과,
    상기 입력 비디오 데이터를 미리 결정된 시간만큼 지연하는 지연 공정과,
    상기 지연 공정으로 지연된 상기 입력 비디오 데이터에 대하여, 상기 목표 부호량에 따른 부호화 처리를 실시하는 부호화 처리 공정을 포함하고,
    상기 목표 부호량 산출 공정은,
    (1) 상기 지표 데이터로부터 부호화 시의 난이도를 나타내는 부호화 난이도를 구하고, 이 부호화 난이도에 따라서, 상기 비디오 데이터에 배분하는 목표 부호량을 산출하고,
    (2) 상기 부호화 난이도에 기초한 상기 목표 부호량의 대응 관계를 이미 수집한 부호화 난이도나 상기 부호화 처리 공정으로 발생한 부호량에 따라서 수시로 갱신하고,
    (3) 상기 부호화 난이도와 상기 목표 부호량의 대응 관계를 미리 지정된 최저/최고 비트 속도와, 기록 용량 및 시간의 나머지의 값으로부터 계산되는 평균 비트 속도와, 상기 입력 비디오 데이터인 입력 소재의 부호화 난이도의 평균치에 의해서 결정되는 대응 관계로서 정의하여, 상기 평균 비트 속도와 상기 부호화 난이도의 평균치의 두 개 또는 그중 어느 하나를 수시로 갱신하는 것을 특징으로 하는, 비디오 데이터 부호화 방법.
  5. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단을 포함하고,
    상기 목표 부호량 연산 수단은 상기 부호화 난이도 연산 수단에 의해서 연산된 상기 부호화 난이도로부터 상기 목표 부호량을 연산하기 위한 변환식을 사용함으로써, 상기 부호화 난이도로부터 상기 목표 부호량을 연산하여, 상기 부호화 수단에 의한 부호화 처리의 결과를 발생하는 부호화량에 기초하여, 상기 변환식을 보정함으로써 연산되는 목표 부호량 값을 보정하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  6. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이 도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단을 포함하고,
    상기 부호화 난이도 연산 수단은 상기 부호화 수단에 의한 부호화 처리의 부호화 결과에 기초하여, 상기 부호화 난이도를 연산하는 연산식을 수시로 갱신하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  7. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수 단을 포함하고,
    상기 부호화 난이도 연산 수단은 상기 부호화 수단에 의한 부호화 처리의 발생 부호량과 양자화치에 의해서 구해진 글로벌 콤플렉시티에 기초하여, 상기 부호화 난이도를 연산하는 연산식을 수시로 갱신하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  8. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단을 포함하고,
    상기 목표 부호량 연산 수단은, 부호화 난이도로부터 목표 부호량을 연산하기 위한 식이고, 화상 타입마다 설정된 다른 복수의 변환식에 기초하여, 상기 부호화 난이도 연산 수단에 의해서 연산된 부호화 난이도로부터, 부호화 처리의 대상이 되는 참조 화상에 대하여 할당되는 목표 부호량을 연산하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  9. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단을 포함하고,
    상기 목표 부호량 연산 수단은 상기 부호화 난이도 연산 수단에 의해서 연산된 복수의 부호화 난이도로부터, 상기 부호화 단위 기간에 대하여 할당되는 목표 부호량을 연산하여, 상기 부호화 단위 기간에 대하여 할당되는 목표 부호량을 상기 부호화 단위 기간에 포함되는 각 화상에 대하여 화상 타입에 따라서 분배함으로써, 상기 각 화상에 대응한 목표 부호량을 연산하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  10. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단을 포함하고,
    상기 목표 부호량 연산 수단은, 상기 부호화 난이도 연산 수단에 의해서 연산된 복수의 부호화 난이도로부터, 상기 참조 GOP에 대하여 할당되는 목표 부호량을 연산하고, 상기 참조 GOP에 대하여 할당되는 목표 부호량을 상기 참조 GOP에 포함되는 각 화상에 대하여 분배함으로써, 상기 참조 GOP에 포함되는 각 화상에 대응한 목표 부호량을 연산하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
  11. 소스 비디오 데이터를 부호화하는 비디오 데이터 부호화 장치에 있어서,
    상기 소스 비디오 데이터를 부호화할 때의 부호화 난이도를 나타내는 부호화 난이도를 부호화해야 하는 소스 비디오 데이터 자신으로부터 연산하는 부호화 난이도 연산 수단과,
    상기 연산된 부호화 난이도에 따라서, 상기 부호화해야 하는 소스 비디오 데 이터를 부호화할 때에 사용하는 목표 부호량을 연산하는 목표 부호량 연산 수단과,
    상기 목표 부호량 연산 수단에 의해서 연산된 목표 부호량이 피드포워드됨으로써, 상기 부호화해야 하는 소스 비디오 데이터에 대응한 목표 부호량에 기초하여, 상기 부호화해야 하는 소스 비디오 데이터를 실시간으로 부호화하는 부호화 수단을 포함하고,
    상기 목표 부호량 연산 수단은, 상기 부호화 난이도 연산 수단에 의해서 연산된 복수의 부호화 난이도로부터, 상기 참조 GOP에 있어서의 부호화 난이도의 평균치를 연산하여, 이 연산된 부호화 난이도의 평균치로부터 상기 참조 GOP에 대하여 할당되는 목표 부호량을 연산하고, 상기 참조 GOP에 대하여 할당되는 목표 부호량을, 상기 참조 GOP에 포함되는 각 화상에 대하여 분배함으로써 각 화상에 대응한 목표 부호량을 연산하는 것을 특징으로 하는, 비디오 데이터 부호화 장치.
KR1020067006485A 1997-07-08 1998-07-01 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 Expired - Fee Related KR100756596B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP18273897 1997-07-08
JPJP-P-1997-00182738 1997-07-08
PCT/JP1998/002970 WO1999003282A1 (en) 1997-07-08 1998-07-01 Video data encoder, video data encoding method, video data transmitter, and video data recording medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019997001934A Division KR100610520B1 (ko) 1997-07-08 1998-07-01 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체

Publications (2)

Publication Number Publication Date
KR20060036934A true KR20060036934A (ko) 2006-05-02
KR100756596B1 KR100756596B1 (ko) 2007-09-10

Family

ID=16123582

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1019997001934A Expired - Fee Related KR100610520B1 (ko) 1997-07-08 1998-07-01 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
KR1020067006485A Expired - Fee Related KR100756596B1 (ko) 1997-07-08 1998-07-01 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1019997001934A Expired - Fee Related KR100610520B1 (ko) 1997-07-08 1998-07-01 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체

Country Status (6)

Country Link
US (1) US6678322B1 (ko)
EP (1) EP0924933A4 (ko)
KR (2) KR100610520B1 (ko)
CN (1) CN1152576C (ko)
CA (1) CA2264834C (ko)
WO (1) WO1999003282A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
KR100610520B1 (ko) 1997-07-08 2006-08-09 소니 가부시끼 가이샤 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
US7313318B2 (en) * 1998-06-17 2007-12-25 Victor Company Of Japan, Limited Video signal encoding and recording apparatus with variable transmission rate
FR2790899B1 (fr) * 1999-03-09 2001-04-20 Thomson Broadcast Systems Dispositif et procede de regulation de debit dans un systeme de multiplexage statistique de flux d'images codees selon le codage mpeg 2
EP1067798A3 (en) * 1999-06-30 2005-11-30 Media Glue Corporation Apparatus, method and computer program product for transcoding a coded moving picture sequence
JP3701522B2 (ja) * 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
AU777595B2 (en) * 2000-03-13 2004-10-21 Sony Corporation Content supplying apparatus and method, and recording medium
JP2003023637A (ja) * 2001-07-06 2003-01-24 Sony Corp 画像符号化方法および画像符号化装置
ES2355656T3 (es) * 2002-04-18 2011-03-29 Kabushiki Kaisha Toshiba Procedimiento y aparato para decodificación de vídeo .
US7075987B2 (en) * 2002-09-23 2006-07-11 Intel Corporation Adaptive video bit-rate control
FR2851111B1 (fr) 2003-02-10 2005-07-22 Nextream France Dispositif de codage d'un flux de donnees video
US7388995B2 (en) * 2003-05-21 2008-06-17 Silicon Integrated Systems Corp. Quantization matrix adjusting method for avoiding underflow of data
US7391916B2 (en) * 2003-05-21 2008-06-24 Silicon Integrated Systems Corp. Quantization matrix adjusting method for quality improvement
US7373004B2 (en) * 2003-05-23 2008-05-13 Silicon Integrated Systems Corp. Apparatus for constant quality rate control in video compression and target bit allocator thereof
JP2005303576A (ja) * 2004-04-09 2005-10-27 Sony Corp 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ
JP4794987B2 (ja) * 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
US7925080B2 (en) * 2006-01-13 2011-04-12 New Jersey Institute Of Technology Method for identifying marked images based at least in part on frequency domain coefficient differences
JP5351040B2 (ja) 2006-12-12 2013-11-27 ヴァントリックス コーポレーション 映像符号化規格に対応した映像レート制御の改善
US8023747B2 (en) * 2007-02-09 2011-09-20 New Jersey Institute Of Technology Method and apparatus for a natural image model based approach to image/splicing/tampering detection
US8824546B2 (en) 2007-06-19 2014-09-02 Vantrix Corporation Buffer based rate control in video coding
US8184711B2 (en) 2007-09-12 2012-05-22 Sony Corporation Image processing device and image processing method
US8238423B2 (en) * 2007-09-12 2012-08-07 Sony Corporation Image processing apparatus and method
TWI392372B (zh) * 2007-09-12 2013-04-01 Sony Corp Image processing apparatus and image processing method
JP4569840B2 (ja) 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
BRPI0904320A2 (pt) 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem
JPWO2009157580A1 (ja) * 2008-06-27 2011-12-15 ソニー株式会社 画像処理装置及び画像処理方法
BRPI0904325A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Dispositivo e método de processamento de imagem.
BRPI0904323A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Aparelho e método de processamento de imagem
JP5582920B2 (ja) * 2010-08-23 2014-09-03 三菱電機株式会社 画像処理装置
WO2013019517A1 (en) 2011-08-02 2013-02-07 Ciinow, Inc. A method and mechanism for efficiently delivering visual data across a network
US9094684B2 (en) 2011-12-19 2015-07-28 Google Technology Holdings LLC Method for dual pass rate control video encoding
US8948529B1 (en) 2012-10-30 2015-02-03 Google Inc. Multi-pass encoding
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991018479A1 (en) 1990-05-14 1991-11-28 Eastman Kodak Company Block adaptive linear predictive coding with adaptive gain and bias
EP0475251B1 (en) 1990-09-10 1997-03-26 Mitsubishi Denki Kabushiki Kaisha Coding apparatus for digital image data
US5038209A (en) 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
WO1992009173A1 (de) 1990-11-16 1992-05-29 Siemens Aktiengesellschaft Verfahren zur adaptiven quantisierung zwecks datenreduktion bei der übertragung von digitalen bildern
US5136377A (en) 1990-12-11 1992-08-04 At&T Bell Laboratories Adaptive non-linear quantizer
EP0493130B1 (en) 1990-12-28 1997-06-11 Canon Kabushiki Kaisha Image encoding apparatus optimizing the amount of generated code
EP0509576B1 (en) 1991-04-18 1998-01-28 Ampex Systems Corporation Method and apparatus for determining a quantizing factor for processes involving multiple compression/decompression of data
US5265180A (en) 1991-06-13 1993-11-23 Intel Corporation Method of encoding a sequence of images of a digital motion video signal
KR930003757A (ko) 1991-07-31 1993-02-24 오오가 노리오 영상 신호 전송 장치 및 방법
JPH0595536A (ja) 1991-10-01 1993-04-16 Toshiba Corp 高能率符号化信号処理装置
US5231484A (en) 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
US5434623A (en) 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
JPH05236427A (ja) 1992-02-25 1993-09-10 Sony Corp 画像信号の符号化装置及び符号化方法
US5379355A (en) 1992-08-24 1995-01-03 Ricoh Corporation Data encoding using one or more adaptive decision trees
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
US5426463A (en) 1993-02-22 1995-06-20 Rca Thomson Licensing Corporation Apparatus for controlling quantizing in a video signal compressor
US5703646A (en) 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
BE1007808A3 (nl) * 1993-11-30 1995-10-24 Philips Electronics Nv Inrichting voor het coderen van een videosignaal.
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
US5461422A (en) 1994-05-23 1995-10-24 Industrial Technology Research Institute Quantizer with automatic pre-threshold
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
US6222881B1 (en) * 1994-10-18 2001-04-24 Intel Corporation Using numbers of non-zero quantized transform signals and signal differences to determine when to encode video signals using inter-frame or intra-frame encoding
US5734419A (en) * 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
US5691775A (en) 1995-03-30 1997-11-25 Intel Corporation Reduction of motion estimation artifacts
JPH08336135A (ja) * 1995-04-07 1996-12-17 Sony Corp 画像圧縮装置及び方法
US6151360A (en) * 1995-04-28 2000-11-21 Sony Corporation Method for encoding video signal using statistical information
US5835149A (en) 1995-06-06 1998-11-10 Intel Corporation Bit allocation in a coded video sequence
US5774593A (en) 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
WO1997018676A1 (en) 1995-11-15 1997-05-22 Philips Electronics N.V. Method and device for global bitrate control of a plurality of encoders
US6337879B1 (en) 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
JP3864461B2 (ja) 1996-08-30 2006-12-27 ソニー株式会社 映像データ圧縮装置およびその方法
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
KR100610520B1 (ko) 1997-07-08 2006-08-09 소니 가부시끼 가이샤 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체

Also Published As

Publication number Publication date
KR100610520B1 (ko) 2006-08-09
US6678322B1 (en) 2004-01-13
EP0924933A4 (en) 2008-03-12
CA2264834A1 (en) 1999-01-21
KR20000068515A (ko) 2000-11-25
WO1999003282A1 (en) 1999-01-21
EP0924933A1 (en) 1999-06-23
CA2264834C (en) 2006-11-07
CN1152576C (zh) 2004-06-02
CN1237311A (zh) 1999-12-01
KR100756596B1 (ko) 2007-09-10

Similar Documents

Publication Publication Date Title
KR100610520B1 (ko) 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
KR100512389B1 (ko) 영상데이터의 압축장치 및 그 방법
KR100343352B1 (ko) 일정 비트 레이트 혹은 가변 비트 레이트를 위한 디지털 동영상 시퀀스 2-패스 부호화 방법
JP2963416B2 (ja) 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置
JPH1075451A (ja) 映像データ圧縮装置およびその方法
WO1999001987A1 (en) Device and method for controlling image encoding, encoding system, transmission system and broadcast system
US5781237A (en) Video coding apparatus and video coding method
US6226326B1 (en) Coding device and coding method
JPH10191343A (ja) 映像データ圧縮装置およびその方法
JP3173369B2 (ja) 画像圧縮符号化装置
JP4081727B2 (ja) 画像符号化装置および画像符号化方法、並びに記録装置および記録方法
KR100571685B1 (ko) 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법
JP3149673B2 (ja) 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
JPH08149413A (ja) 可変ビットレート符号化装置および記録装置および記録媒体
JPH04329089A (ja) 動画像符号化装置
JP3918208B2 (ja) 映像データ圧縮装置およびその方法
JP3765129B2 (ja) 符号化装置および符号化方法
JP3765130B2 (ja) 符号化装置および符号化方法
JP2007053788A (ja) 映像データ圧縮装置およびその方法
JP4035747B2 (ja) 符号化装置および符号化方法
JP3934772B2 (ja) 可変転送レート符号化方法および装置
JPH1042293A (ja) 符号化制御装置および符号化装置および符号化制御方法
JP4239734B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP4273385B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JPH1075444A (ja) 映像データ圧縮装置およびその方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A16-div-PA0104

St.27 status event code: A-0-1-A10-A18-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U12-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent document republication publication date: 20080417

Republication note text: Request for Correction Notice (Document Request)

Gazette number: 1007565960000

Gazette reference publication date: 20070910

St.27 status event code: A-5-5-P10-P19-oth-PG1701

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Not in force date: 20100904

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20100904

St.27 status event code: N-4-6-H10-H13-oth-PC1903

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301