[go: up one dir, main page]

KR20080041744A - 동화상 부호화 방법 및 동화상 복호화 방법 - Google Patents

동화상 부호화 방법 및 동화상 복호화 방법 Download PDF

Info

Publication number
KR20080041744A
KR20080041744A KR1020087008518A KR20087008518A KR20080041744A KR 20080041744 A KR20080041744 A KR 20080041744A KR 1020087008518 A KR1020087008518 A KR 1020087008518A KR 20087008518 A KR20087008518 A KR 20087008518A KR 20080041744 A KR20080041744 A KR 20080041744A
Authority
KR
South Korea
Prior art keywords
picture
reference picture
block
encoded
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020087008518A
Other languages
English (en)
Other versions
KR100944851B1 (ko
Inventor
마코토 하가이
신야 가도노
사토시 곤도
기요후미 아베
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29243526&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20080041744(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20080041744A publication Critical patent/KR20080041744A/ko
Application granted granted Critical
Publication of KR100944851B1 publication Critical patent/KR100944851B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

동화상 부호화 장치는, 다수 참조 픽처 보간 예측시에, 2개의 참조 픽처의 한쪽을, 입력된 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 참조 픽처에 고정하여 움직임 추정을 행하는 움직임 추정부(101)와, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 및 움직임 벡터(MV1, MV2)를 블록마다, 디폴트 참조 픽처 번호(DefRefNo)를 픽처마다 가변 길이 부호화하여, 동화상 부호화 데이터(Str)로서 출력하는 가변 길이 부호화부(107)를 구비한다.

Description

동화상 부호화 방법 및 동화상 복호화 방법{MOVING PICTURE ENCODING METHOD AND MOVING PICTURE DECODING METHOD}
본 발명은, 동화상 데이터를 부호화 및 복호화 하는 방법, 및 이것을 소프트웨어로 실시하기 위한 프로그램이 기록된 기록 매체에 관한 것이다.
최근 멀티미디어 애플리케이션의 발전에 따라, 화상 ·음성 ·텍스트 등 모든 미디어의 정보를 통일적으로 취급하는 것이 일반적이게 되었다. 이 때, 모든 미디어를 디지털화함으로써 통일적으로 미디어를 취급하는 것이 가능하게 된다. 그러나, 디지털화된 화상은 방대한 데이터량을 갖기 때문에, 축적 ·전송을 위해서는 화상의 정보 압축 기술이 불가결하다. 한편, 압축한 화상 데이터를 상호 운용하기 위해서는 압축 기술의 표준화도 중요하다. 화상 압축 기술의 표준 규격으로서는, ITU(국제전기통신연합 전기통신표준화부문)의 H. 261, H. 263, ISO(국제표준화기구)의 MPEG(Moving Picture Experts Group)-1, MPEG-2, MPEG-4 등이 있다.
이들 동화상 부호화 방식에 공통의 기술로서 움직임 보상을 수반하는 픽처 간 예측이 있다. 이들 동화상 부호화 방식의 움직임 보상에서는, 입력 화상의 픽처를 소정 사이즈의 블록으로 분할하고, 각 블록마다 픽처 간 움직임을 나타내는 움직임 벡터로부터 예측 화상을 생성한다. MPEG의 픽처 간 예측에는, 부호화 대상 픽처보다 표시 시각(時刻)이 앞인 픽처 1매로부터 예측을 행하는 전방 예측, 부호화 대상 픽처보다 표시 시각이 뒤인 픽처 1매로부터 예측을 행하는 후방 예측, 부호화 대상 픽처에 대해 표시 시각이 앞인 픽처와 표시 시각이 뒤인 픽처의 총 2매의 픽처로부터 화소 보간에 의한 예측을 행하는 쌍방향 예측이 사용된다(예를 들면, ISO/IEC14496-2 : 1999(E) Information technology--coding of audio-visual objects Part2 : Visual(1999-12-01) P. 150 7.6.7 Temporal prediction structure 참조).
MPEG에서는, 프레임 간 예측의 종류에 대해 사용하는 참조 프레임이 똑같이 정해져, 임의의 참조 프레임을 선택할 수 없다. 한편, ITU에서 현재 표준화중인 H. 264에서는, 부호화 대상 픽처의 표시 시각에 관계없이 픽처 메모리에 축적되어 있는 다수의 부호화가 끝난 픽처 중에서 임의의 2매의 참조 픽처를 선택할 수 있도록 확장된 2방향 예측이 검토되고 있다.
도 1은 H. 264에 있어서의 동화상 부호화 장치의 구성을 도시한 블록도이다. 도 1의 종래의 동화상 부호화 장치는, 픽처 간 예측시에 참조 픽처를 다수의 픽처 중에서 선택 가능한 동화상 부호화 방식을 실행하는 장치로 한다.
이 동화상 부호화 장치는, 도 1에 도시하는 바와 같이 움직임 추정부(301), 화소 보간부(102), 감산기(103), 화상 부호화부(104), 화상 복호화부(105), 가산기(106), 가변 길이 부호화부(302), 멀티 프레임 버퍼(108), 및 스위치(109)를 구비하고 있다.
이 동화상 부호화 장치에서는, 입력된 화상 데이터(Img)를 블록으로 분할하고, 그 블록마다 처리를 행한다. 감산기(103)는, 동화상 부호화 장치에 입력된 화상 데이터(Img)에서 예측 화상 데이터(Pred)를 감산하여, 잔차 데이터(Res)로서 출력한다. 화상 부호화부(104)는, 입력된 잔차 데이터(Res)를, 직교 변환 ·양자화 등의 화상 부호화 처리를 행하여, 양자화가 끝난 직교 변환 계수 등을 포함하는 잔차 부호화 데이터(ERes)로서 출력한다. 화상 복호화부(105)는, 입력된 잔차 부호화 데이터(ERes)를, 역양자화 ·역직교 변환 등의 화상 복호화 처리를 행하여, 잔차 복호 데이터(DRes)로서 출력한다. 가산기(106)는, 잔차 복호 데이터(DRes)와 예측 화상 데이터(Pred)를 가산하여, 재구성 화상 데이터(Recon)으로서 출력한다. 재구성 화상 데이터(Recon) 중에서, 이후의 픽처 간 예측에서 참조될 가능성이 있는 데이터는, 멀티 프레임 버퍼(108)에 저장된다.
여기서, 종래의 동화상 부호화 장치가 행하는 2매의 참조 픽처에 의한 보간 예측에 대해서 도 2를 이용하여 설명한다. 도 2는 다수 참조 픽처로부터의 보간 예측의 개념도이다. 여기서, 픽처(pic)는 부호화 대상 픽처이다. 픽처(FwRef1∼FwRef3)는 부호화 대상 픽처(pic)보다 표시 시각이 앞인 부호화가 끝난 픽처, 픽처(BwRef1∼BwRef3)는 부호화 대상 픽처(pic)보다 표시 시각이 뒤인 부호화가 끝난 픽처를 나타낸다. 블록(Blk1)은, 부호화 대상 픽처(pic)보다 표시 시각이 앞인 픽처(FwRef3)에 포함되는 참조 블록(RefBlk11)과 부호화 대상 픽처(pic)보다 표시 시각이 뒤인 픽처(BwRef1)에 포함되는 참조 블록(RefBlk12)의 화소치로부터 예측된다. 블록(Blk2)은, 부호화 대상 픽처보다 표시 시각이 앞인 2매의 픽처(FwRef1, FwRef2)에 포함되는 참조 블록(RefBlk21, RefBlk22)의 화소치로부터 예측된다. 블록(Blk3)은, 부호화 대상 픽처보다 표시 시각이 뒤인 2매의 픽처(BwRef1, BwRef2)에 포함되는 참조 블록(RefBlk31, RefBlk32)의 화소치로부터 예측된다. 즉, 2개의 참조 블록의 대응하는 위치의 화소를 평균치 등 소정의 방법으로 보간한 결과를 예측 화상으로 한다. 종래의 동화상 부호화 장치의 특징은, 도 2에 도시하는 바와 같이 블록마다 임의의 2매의 참조 픽처로부터 예측을 행하는 것이다. 이후, 상기와 같은 2매의 참조 픽처로부터 예측을 행하는 방법을, 다수 참조 픽처 보간 예측이라고 부른다. 또한, 예측 방법에는, 상기의 화소 보간에 의해 예측 화상을 생성하는 방법 이외에도, 임의의 1매의 픽처에 포함되는 블록을 그대로 예측 화상으로 하는 방법이나 화면 내 예측 등이 있고, 블록 단위로 예측 방법을 바꾸는 것도 가능하다.
움직임 추정부(301)는, 입력된 부호화 대상 블록에 대해, 블록의 예측 종별, 픽처 간 예측에 사용하는 참조 픽처, 움직임 벡터를 결정하여, 예측 종별(PredType), 참조 픽처 번호(RefNo1, RefNo2), 움직임 벡터(MV1, MV2)를 출력한다. 움직임 추정부(301)는, 다수 참조 픽처 보간 예측시에는, 2개의 참조 픽처가 선택되기 때문에, 2개의 참조 픽처 번호와 2개의 움직임 벡터를 출력한다. 이 때, 멀티 프레임 버퍼(108)는 참조 픽처 번호(RefNo1)와 움직임 벡터(MV1)에 대응하는 참조 블록(RefBlk1)과, 참조 픽처 번호(RefNo2)와 움직임 벡터(MV2)에 대응하는 참조 블록(RefBlk2)을 출력한다. 화소 보간부(102)는, 2개의 참조 블록(RefBlk1, RefBlk2)의 대응하는 화소치를 평균치 등으로 보간하여, 보간 블 록(RefPol)로서 출력한다. 한편, 다수 참조 픽처 보간 예측 이외의 픽처 간 예측시에는, 움직임 추정부(301)는, 1개의 참조 픽처를 선택하기 때문에, 1개의 참조 픽처 번호(RefNo1)와 1개의 움직임 벡터(MV1)를 출력한다. 이 때, 멀티 프레임 버퍼(108)는 참조 픽처 번호(RefNo1)와 움직임 벡터(MV1)에 대응하는 참조 블록 RefBlk를 출력한다.
움직임 추정부(301)에 의해 결정된 예측 종별(PredType)이 다수 참조 픽처 보간 예측을 나타내는 경우에는, 스위치(109)는 "1"측으로 바뀌고, 보간 블록(RefPol)이 예측 화상 데이터(Pred)로서 사용된다. 예측 종별(PredType)이 다수 참조 픽처 보간 예측 이외의 픽처 간 예측 방법을 나타내는 경우에는, 스위치(SW11)는 "0"측으로 바뀌고, 참조 블록(RefBlk)이 예측 화상 데이터(Pred)로서 사용된다. 가변 길이 부호화부(302)는, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo1, RefNo2), 움직임 벡터(MV1, MV2)를 가변 길이 부호화하여, 동화상 부호화 데이터(Str0)로서 출력한다.
도 3은 종래의 동화상 부호화 장치의 동화상 부호화 데이터 포맷의 개념도이다. 1픽처분의 부호화 데이터(Picture)는, 픽처를 구성하는 블록마다의 1블록분의 부호화 데이터(Block) 등으로 구성되어 있다. 여기서, 이 1블록분의 부호화 데이터(Block)는, 다수 참조 픽처 보간 예측에 의한 블록의 부호화 데이터를 나타내고 있고, 부호화 데이터 중에 2개의 참조 픽처에 대한 참조 픽처 번호(RefNo1, RefNo2)와 움직임 벡터(MV1, MV2), 및 예측 모드(PredType) 등을 포함하고 있다.
도 4는 종래의 동화상 복호화 장치의 구성을 도시하는 블록도이다.
이 동화상 복호화 장치는, 도 4에 도시하는 바와 같이 가변 길이 복호화부(601), 움직임 보상부(602), 화상 복호화부(404), 가산기(405), 화소 보간부(406), 멀티 프레임 버퍼(407), 및 스위치(408)를 구비하고 있다.
가변 길이 복호화부(601)는, 입력된 화상 부호화 데이터(Str0)에 대해 가변 길이 복호화를 행하여, 잔차 부호화 데이터(ERes), 움직임 벡터(MV1, MV2), 참조 픽처 번호(RefNo1, RefNo2), 예측 종별(PredType)을 출력한다. 화상 복호화부(404)는, 입력된 잔차 부호화 데이터(ERes)에 대해, 역양자화 ·역직교 변환 등의 화상 복호화 처리를 행하여, 잔차 복호화 데이터(DRes)를 출력한다. 가산기(405)는, 잔차 복호화 데이터(DRes)와 예측 화상 데이터(Pred)를 가산하여, 복호화 화상 데이터(DImg)로서 동화상 복호화 장치 밖으로 출력한다. 멀티 프레임 버퍼(407)는, 픽처 간 예측을 위해 복호화 화상 데이터(DImg)를 저장한다.
움직임 보상부(602)는, 예측 종별(PredType)에 따라 픽처 간 예측에 필요한 참조 블록분의 참조 픽처 번호(NRefNo1, NRefNo2)와 움직임 벡터(MV1, MV2)를 출력하고, 멀티 프레임 버퍼(407)에 참조 블록의 출력을 지시한다. 예측 종별(PredType)이 다수 참조 픽처 보간 예측을 나타내는 경우에는, 멀티 프레임 버퍼(407)는 참조 픽처 번호(NRefNo1)와 움직임 벡터(NMV1)에 대응하는 참조 블록(RefBlk1)과 참조 픽처 번호(NRefNo2)와 움직임 벡터(NMV2)에 대응하는 참조 블록(RefBlk2)을 출력한다. 화소 보간부(406)는, 2개의 참조 블록(RefBlkl, RefBlk2)의 대응하는 화소치를 평균치 등으로 보간하여, 보간 블록(RefPol)으로서 출력한다. 한편, 예측 종별(PredType)이, 다수 참조 픽처 보간 예측 이외의 픽처 간 예측을 나타내는 경우에는, 멀티 프레임 버퍼(407)는 참조 픽처 번호(NRefNo1)와 움직임 벡터(NMV1)에 대응하는 참조 블록(RefBlk)을 출력한다.
또, 예측 종별(PredType)이 다수 참조 픽처 보간 예측을 나타내는 경우에는, 스위치(408)는 "0"측으로 바뀌고, 보간 블록(RefPol)이 예측 화상 데이터(Pred)로서 사용된다. 한편, 예측 종별(PredType)이 다수 참조 픽처 보간 예측 이외의 픽처 간 예측 방법을 나타내는 경우에는, 스위치(408)는 "1"측으로 바뀌고, 참조 블록(RefBlk)이 예측 화상 데이터(Pred)로서 사용된다. 이상, 설명한 처리에 의해 동화상 복호화 장치는 동화상 부호화 데이터(Str0)를 복호화하여, 화상 복호화 데이터(DImg)로서 출력한다.
그런데, MPEG-4의 동화상 부호화 방식에서는, 쌍방향 예측 픽처라고 불리는 다수 참조 픽처 보간 예측을 사용하는 타입의 픽처에 있어서, 다이렉트 모드라고 불리는, 보간에 의한 예측 화상 작성에 사용하는 2매의 참조 픽처에 대한 움직임 벡터를 부호화가 끝난 움직임 벡터로부터 산출함으로써 블록의 부호화 데이터 중의 움직임 벡터 및 참조 픽처 번호를 생략하는 다수 참조 픽처 보간 예측 방법이 정의되어 있다.
도 5는 MPEG-4의 다이렉트 모드의 설명도이다. 여기서, 픽처(Pic)는 부호화대상 픽처, 픽처(Ref1)는 부호화 대상 픽처(Pic)보다 표시 시각이 앞인 참조 픽처, 픽처(Ref2)는 부호화 대상 픽처(Pic)보다 표시 시각이 뒤인 참조 픽처, 블록(Blk)은 부호화 대상 블록, 블록(Blk0)은 부호화 대상(Blk)과 화면 내의 위치가 같은 참조 픽처(Ref2) 내의 블록을 나타내고 있다. 또, 움직임 벡터(MV01)는 블록(Blk0) 의 부호화시에 사용한 픽처(Ref1)를 참조 픽처로 하는 전방 참조 움직임 벡터, 움직임 벡터(MV1)는 참조 픽처(Ref1)에 대한 부호화 대상 블록의 움직임 벡터, 움직임 벡터(MV2)는 참조 픽처(Ref2)에 대한 부호화 대상 블록의 움직임 벡터, 블록(RefBlk1)은 움직임 벡터 MV1에 의해 참조되는 참조 블록, 블록(RefBlk2)은 움직인 벡터(MV2)에 의해 참조되는 참조 블록을 나타내고 있다.
부호화 대상 블록(Blk)이 참조에 사용하는 2매의 픽처는, 후방 참조 픽처로서 표시 시각이 뒤에서 가장 가까운 픽처(Ref2)가 사용되고, 전방 참조 픽처로서 블록(Blk0)이 부호화시에 참조하고 있던 전방 참조 픽처(Ref1)가 사용된다.
움직임 벡터의 산출은, 픽처 간에 움직임이 일정, 또는 움직임이 없는 경우를 가정하여 행한다. 이 때, 부호화 대상 픽처(Pic)와 참조 픽처(Ref1)와의 표시 시각의 차의 값을 TRD1, 참조 픽처(Ref1)와 참조 픽처(Ref2)와의 표시 시각의 차의 값을 TRD2, 부호화 대상 픽처(Pic)와 참조 픽처(Ref2)와의 표시 시각의 차의 값을 TRD3로 하면, 부호화 대상 블록을 부호화할 때 사용하는 움직임 벡터(MV1) 및 움직임 벡터(MV2)는 각각 다음 계산식으로 산출할 수 있다.
MV1 = MV01 ×(TRD1/TRD2) … (식 A)
MV2 = -MV01 ×(TRD3/TRD2) … (식 B)
이상의 방법에 의해, 다이렉트 모드시의 참조 픽처, 움직임 벡터를 결정할 수 있다. 상기 설명한 다이렉트 모드의 처리는, 동화상 부호화 장치에서는, 도 1의 종래의 동화상 부호화 장치의 구성을 도시하는 블록도의 움직임 추정부(301)에서 실행된다. 또, 상기 설명한 다이렉트 모드의 처리는, 동화상 복호화 장치에서 는, 도 4의 종래의 동화상 복호화 장치의 구성을 도시하는 블록도의 움직임 보상부(602)에서 실행된다.
픽처 간에 움직임이 적은 동화상에 대해 픽처 간 예측을 행한 경우, 픽처 간 예측 오차는 대단히 작아져 양자화 등의 화상 부호화 처리에 의해 잔차 부호화 데이터(Eres)의 대부분이 0이 된다. 대부분의 부호화 방식에서는, 상기에서 설명한 다이렉트 모드처럼, 움직임 벡터 및 참조 픽처 번호를 부호화하지 않고 소정의 방법으로 결정하는 부호화에 있어서, 부호화 대상 블록의 참조 픽처와 움직임 벡터에 의한 픽처 간 예측의 잔차 부호화 데이터(ERes)를 모두 0으로 하는 경우를, 스킵 모드라고 불리는 예측 종별(PredType)의 하나로서 정의하고 있다. 스킵 모드에서는, 스킵 모드를 나타내는 예측 종별(PredType)만을 전송하기 때문에 대단히 작은 부호량으로 블록을 부호화할 수 있다. 이 스킵 모드에 다른 예측 종별보다 짧은 가변 길이 부호어를 할당하거나, 연속하는 스킵 모드의 블록 개수를 런렝스 부호화함으로써, 보다 효율적으로 부호화할 수 있다.
상기 H. 264에서는, 다이렉트 모드에 의한 픽처 간 예측의 잔차 부호화 데이터를 1블록분 모두 0으로 하는 경우를 스킵 모드로 정의하고 있다. 도 1에 도시하는 동화상 부호화 장치에서 블록을 스킵 모드로 부호하는 경우에는 이하의 처리를 행한다. 움직임 추정부(301)는, 상기에 설명한 다이렉트 모드의 처리에 의해 참조 픽처 번호(RefNo1, RefNo2), 움직임 벡터(MV1, MV2), 스킵 모드를 나타내는 예측 종별(PredType)을 출력한다. 가변 길이 부호화부(302)는, 예측 종별(PredType)이 스킵 모드를 나타내는 경우에는 예측 종별(PredType)만을 가변 길이 부호화하여 동 화상 부호화 데이터(Str0)로서 출력한다. 도 4에 도시하는 동화상 복호화 장치에서 스킵 모드로 부호화된 블록의 부호화 데이터가 입력된 경우에는 이하의 처리를 행한다. 가변 길이 복호화부(601)는, 예측 종별(PredType)을 가변 길이 복호화한다. 움직임 보상부(602)는, 예측 종별(PredType)이 스킵 모드를 나타내는 경우에는 상기에 설명한 다이렉트 모드의 처리에 의해 참조 픽처 번호(NRefNo1, NRefNo2), 움직임 벡터(NMV1, NMV2), 스킵 모드를 나타내는 예측 종별(PredType)을 출력한다.
상기한 바와 같이 H. 264에서는, 부호화 대상 픽처의 표시 시각에 관계없이 다수의 부호화가 끝난 픽처 중에서 임의의 참조 픽처를 선택할 수 있다. 그러나, 이 경우에는 다수의 부호화가 끝난 픽처에 대해 움직임 검출을 행하여 임의의 참조 픽처를 선택하게 되므로, 이 움직임 검출을 위한 처리 부하가 대단히 커진다. 또, 이 다수 참조 픽처 보간 예측에서는, 2개의 참조 픽처마다 참조 픽처 번호와 움직임 벡터를 부호화하는 것이 필요해지므로 부호화 효율이 열화하는 문제가 있었다.
또한, 종래의 기술에서 설명한 쌍방향 예측 픽처처럼 부호화 대상 픽처의 표시 시각보다 뒤인 픽처를 참조 픽처로 하여 픽처 간 예측을 행하는 픽처가 존재하는 경우에는, 표시 시각 순서와는 다른 순서로 픽처를 부호화하지 않으면 안되어, 부호화에 의한 지연이 발생한다. TV 전화 등의 실시간 통신의 경우에는 지연이 문제가 되기 때문에 쌍방향 예측 픽처를 사용할 수 없는 경우가 있다. 그러나 H. 264에서는 표시 순서 정보에 관계없이 임의의 2매의 참조 픽처를 선택하는 것이 가능하기 때문에, 부호화 대상 픽처보다 표시 시각이 앞인 픽처를 2매 선택하여 다수 참조 픽처 보간 예측을 행함으로써, 부호화에 의한 지연을 없애는 것이 가능해진다. 그러나, 이 때 부호화 대상 픽처의 표시 시각보다 뒤인 픽처가 멀티 프레임 버퍼에 저장되어 있지 않기 때문에, 부호화 대상 픽처의 표시 시각보다 뒤인 픽처로부터 움직임 벡터를 결정하는 상기 종래의 다이렉트 모드를 사용할 수는 없다.
그래서, 본 발명은 상기의 사정을 감안하여 이루어진 것으로, 다수 참조 픽처 보간 예측시에 효율적인 부호화를 실현할 수 있고, 또한, 처리량을 삭감할 수 있는 동화상 부호화 방법 및 동화상 복호화 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해서, 본 발명에 따른 동화상 부호화 방법은, 입력 화상을 구성하는 각 픽처를 블록 단위로 부호화하는 동화상 부호화 방법으로서, 부호화가 끝난 픽처를 참조하여 부호화하는 다수의 블록이 공통으로 참조하는 픽처를 결정하는 공통 참조 픽처 결정 단계와, 상기 공통으로 참조하는 픽처를 사용하여 예측 화상을 생성하는 예측 화상 생성 단계와, 상기 예측 화상을 사용하여 부호화 대상 블록을 부호화하는 부호화 단계를 포함하는 것을 특징으로 한다.
이에 의해, 참조 픽처를 사용하여 예측 화상을 생성하는 경우, 블록마다 다수의 부호화가 끝난 픽처 중에서 참조 픽처로 하는 픽처를 선택하기 위한 처리가 필요없어지므로, 처리량을 삭감할 수 있다. 또, 이 참조 픽처를 블록마다 부호화할 필요가 없기 때문에, 부호량을 삭감할 수 있다. 일반적으로, 화상 데이터 중의 대부분의 블록에서는, 같은 픽처를 최적의 참조 픽처로서 선택할 가능성이 높다. 따라서, 참조 픽처를 예를 들면 픽처 단위로 공통으로 함으로써, 높은 부호화 효율을 유지한 채로 처리량을 삭감할 수 있다.
또, 본 발명에 따른 동화상 부호화 방법은, 입력 화상을 구성하는 각 픽처를 블록 단위로 부호화하는 동화상 부호화 방법으로서, 부호화가 끝난 2매의 픽처를 참조하여 부호화하는 다수의 블록이 공통으로 참조하는 제1 픽처를 결정하는 공통 참조 픽처 결정 단계와, 상기 제1 픽처와, 각 블록마다 부호화가 끝난 픽처로부터 선택한 제2 픽처를 참조하여 예측 화상을 생성하는 예측 화상 생성 단계와, 상기 예측 화상을 사용하여 부호화 대상 블록을 부호화하는 부호화 단계를 포함하는 것을 특징으로 한다.
이에 의해, 2매 픽처를 참조 픽처로서 사용하여 예측 화상을 생성하는 경우, 한쪽의 참조 픽처에 대해서는 블록마다 다수의 부호화가 끝난 픽처 중에서 1매의 픽처를 선택하기 위한 처리가 필요없어지므로, 처리량을 삭감할 수 있다. 또, 이 참조 픽처를 블록마다 부호화할 필요가 없기 때문에, 부호량을 삭감할 수 있다. 일반적으로, 화상 데이터 중의 대부분의 블록에서는, 같은 픽처를 최적의 참조 픽처로서 선택할 가능성이 높다. 따라서, 한쪽의 참조 픽처를 예를 들면 픽처 단위로 공통으로 함으로써, 높은 부호화 효율을 유지한 채로 처리량을 삭감할 수 있다.
여기서, 상기 동화상 부호화 방법은, 또한, 상기 공통 참조 픽처를 특정하기 위한 정보를, 생성하는 동화상 부호화 데이터 중의 다수의 블록에 대한 공통 정보 영역에 기술하는 정보 기술 단계를 포함해도 된다. 이에 의해, 공통의 참조 픽처를 특정하기 위한 정보를, 동화상 부호화 데이터 중에 기술하여 출력할 수 있어, 동화상 부호화 데이터를 복호화할 때에 참조 픽처를 확실히 특정할 수 있다.
또, 본 발명에 따른 동화상 복호화 방법은, 각 픽처가 블록 단위로 부호화된 동화상 부호화 데이터를 복호화하는 동화상 복호화 방법으로서, 복호화가 끝난 픽처를 참조하여 복호화하는 다수의 블록이 공통으로 참조하는 픽처를 결정하는 공통 참조 픽처 결정 단계와, 상기 공통으로 참조하는 픽처를 사용하여 예측 화상을 생성하는 예측 화상 생성 단계와, 상기 예측 화상을 사용하여 복호화 대상 블록을 복호화하는 복호화 단계를 포함하는 것을 특징으로 한다.
이에 의해, 공통의 참조 픽처를 사용하여 부호화되어 출력된 동화상 부호화 데이터를, 복호화할 때에 바르게 복호화 처리할 수 있다.
또, 본 발명에 따른 동화상 복호화 방법은, 각 픽처가 블록 단위로 부호화된 동화상 부호화 데이터를 복호화하는 동화상 복호화 방법으로서, 복호화가 끝난 2매의 픽처를 참조하여 복호화하는 다수의 블록이 공통으로 참조하는 제1 픽처를 결정하는 공통 참조 픽처 결정 단계와, 상기 제1 픽처와, 각 블록마다 복호화가 끝난 픽처로부터 선택한 제2 픽처를 참조하여 예측 화상을 생성하는 예측 화상 생성 단계와, 상기 예측 화상을 사용하여 복호화 대상 블록을 복호화하는 복호화 단계를 포함하는 것을 특징으로 한다.
이에 의해, 공통의 참조 픽처와, 블록마다의 참조 픽처를 사용하여 부호화되어 출력된 동화상 부호화 데이터를, 복호화할 때에 바르게 복호화 처리할 수 있다.
여기서, 상기 동화상 복호화 방법은, 또한, 상기 동화상 부호화 데이터 중의 다수의 블록에 대한 공통 정보 영역으로부터 상기 공통의 참조 픽처를 특정하기 위한 정보를 추출하는 정보 추출 단계를 포함해도 된다. 이에 의해, 공통의 참조 픽처를 특정하기 위한 정보를, 동화상 부호화 데이터 중으로부터 추출할 수 있어, 참조 픽처를 확실히 특정할 수 있다.
또한, 본 발명은, 이러한 동화상 부호화 방법 및 동화상 복호화 방법으로서 실현할 수 있을 뿐만 아니라, 이러한 동화상 부호화 방법 및 동화상 복호화 방법이 포함하는 특징적인 단계를 수단으로서 구비하는 동화상 부호화 장치 및 동화상 복호화 장치로서 실현할 수도 있다. 또, 이들 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나, 상기 동화상 부호화 방법에 의해 부호화한 동화상 부호화 데이터로서 실현하거나 할 수도 있다. 그리고, 이러한 프로그램 및 동화상 부호화 데이터는, CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해 배송할 수 있는 것은 말할 필요도 없다.
본 발명에 따른 동화상 부호화 방법에 의하면, 한쪽의 참조 픽처에 대해서는, 블록마다 다수의 부호화가 끝난 픽처 중에서 1매의 픽처를 선택할 필요가 없고, 또 이 참조 픽처를 블록마다 부호화할 필요가 없기 때문에, 효율적인 부호화를 실현하고, 또한 처리량을 삭감할 수 있다.
또, 본 발명에 따른 동화상 복호화 방법에 의하면, 공통의 참조 픽처와, 블록마다의 참조 픽처를 사용하여 부호화되어 출력된 동화상 부호화 데이터를, 복호화 할 때 바르게 복호화 처리할 수 있다.
이하, 본 발명의 구체적인 실시 형태에 대해서, 도면을 참조하면서 설명한다.
(실시 형태 1)
도 6은 본 발명에 따른 실시 형태 1의 동화상 부호화 장치의 구성을 도시하는 블록도이다. 도 1에서의 종래의 동화상 부호화 장치의 구성을 도시하는 블록도와 같은 동작을 하는 유닛 및 같은 동작의 데이터는 같은 기호를 붙이며, 설명을 생략한다. 또한, 이하에 설명하는 각 실시 형태의 동화상 부호화 장치 및 동화상 복호화 장치에서는, 2매의 참조 픽처를 사용하여 화소 보간에 의해 예측 화상을 생성하는 방법(다수 참조 픽처 보간 예측), 임의의 1매의 픽처에 포함되는 블록을 그대로 예측 화상으로 하는 방법, 및 화면 내 예측에 의해 예측 화상을 생성하는 방법 등의 예측 방법을, 블록 단위로 바꾸는 것이 가능하다.
동화상 부호화 장치는, 입력되는 화상 데이터(Img)를 블록으로 분할하고, 그 블록마다 부호화 처리를 행하는 장치이며, 도 6에 도시하는 바와 같이 움직임 추정부(101), 화소 보간부(102), 감산기(103), 화상 부호화부(104), 화상 복호화부(105), 가산기(106), 가변 길이 부호화부(107), 멀티 프레임 버퍼(108), 및 스위치(109)를 구비하고 있다.
동화상 부호화 장치에, 다수 참조 픽처 보간 예측에 의해 부호화하는 블록에서 사용하는 한쪽의 참조 픽처를 나타내는 디폴트 참조 픽처 번호(DefRefNo)가 입력된다. 움직임 추정부(101)는, 다수 참조 픽처 보간 예측시에, 2개의 참조 픽처의 한쪽을, 입력된 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 참조 픽처에 고정하여 움직임 추정을 행한다. 따라서, 움직임 추정부(101)가 출력하는 참조 픽처 번호(RefNo1)는, 디폴트 참조 픽처 번호(DefRefNo)와 동일한 값이 된다. 가변 길이 부호화부(107)는, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2), 디폴트 참조 픽처 번호(DefRefNo)를 가변 길이 부호화하여, 동화상 부호화 데이터(Str)로서 출력한다.
다음에, 상기한 바와 같이 구성된 동화상 부호화 장치에서, 부호화 대상 블록의 예측 종별이 다수 참조 픽처 보간 예측인 경우의 동작에 관해 설명한다.
입력된 화상 데이터(Img)는, 블록 단위로 움직임 추정부(101) 및 감산기(103)에 입력된다.
움직임 추정부(101)는, 입력된 부호화 대상 블록의 예측 종별을 결정하고, 이 예측 종별을 스위치(109) 및 가변 길이 부호화부(107)에 출력한다. 또, 움직임 추정부(101)는, 결정한 예측 종별(PredType)이 다수 참조 픽처 보간 예측시인 경우, 2개의 참조 픽처의 한쪽을, 입력된 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 참조 픽처로 하여, 다른쪽 참조 픽처, 및 이 2개의 참조 픽처에 대한 움직임 벡터를 각각 결정한다. 그리고, 움직임 추정부(101)는, 참조 픽처 번호(RefNo2) 및 움직임 벡터(MV1, NlV2)를 멀티 프레임 버퍼(108) 및 가변 길이 부호화부(107)에 출력하고, 참조 픽처 번호(RefNo1)를 멀티 프레임 버퍼(108)에 출력한다. 또한, 디폴트 참조 픽처 번호(DefRefNo)는, 움직임 추정부(101)로부터 가변 길이 부호화부(107)에 출력되어도 된다.
다음에, 멀티 프레임 버퍼(108)는, 참조 픽처 번호(RefNo1) 및 움직임 벡터(MV1)에 대응하는 참조 블록(RefBlk1)과, 참조 픽처 번호(RefNo2) 및 움직임 벡터(MV2)에 대응하는 참조 블록(RefBlk2)을 화소 보간부(102)에 출력한다. 화소 보간부(102)는, 2개의 참조 블록(RefBlk1, RefBlk2)의 대응하는 화소치를 평균치 등 으로 보간하여, 보간 블록(RefPol)로서 출력한다. 여기서는, 움직임 추정부(101)에 의해 결정된 예측 종별(PredType)이 다수 참조 픽처 보간 예측이기 때문에, 스위치(109)는 "1"측으로 바뀌고, 보간 블록(RefPol)이 예측 화상 데이터(Pred)로서 감산기(103) 및 가산기(106)에 출력된다.
감산기(103)는, 입력된 화상 데이터(Img)에서 예측 화상 데이터(Pred)를 감산하여, 잔차 데이터(Res)로서 화상 부호화부(104)에 출력한다. 화상 부호화부(104)는, 입력된 잔차 데이터(Res)를, 직교 변환 ·양자화 등의 화상 부호화 처리를 행하여, 양자화가 끝난 직교 변환 계수 등을 포함하는 잔차 부호화 데이터(ERes)로서 화상 복호화부(105) 및 가변 길이 부호화부(107)에 출력한다. 화상 복호화부(105)는, 입력된 잔차 부호화 데이터(ERes)를, 역양자화 ·역직교 변환 등의 화상 복호화 처리를 행하여, 잔차 복호화 데이터(DRes)로서 가산기(106)에 출력한다. 가산기(106)는, 잔차 복호화 데이터(DRes)와 예측 화상 데이터(Pred)를 가산하여, 재구성 화상 데이터(Recon)으로서 출력한다. 재구성 화상 데이터(Recon) 중에서, 이후의 픽처 간 예측에서 참조될 가능성이 있는 데이터는, 멀티 프레임 버퍼(108)에 저장된다.
가변 길이 부호화부(107)는, 입력된 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 및 움직임 벡터(MV1, MV2)를 블록마다 가변 길이 부호화하고, 디폴트 참조 픽처 번호(DefRefNo)를 픽처마다 가변 길이 부호화하여, 동화상 부호화 데이터(Str)로서 출력한다.
디폴트 참조 픽처 번호(DefRefNo)가 나타내는 픽처는 멀티 프레임 버퍼(108) 내에 축적되어 있는 픽처 중에서 임의의 것을 선택하는 것이 가능하다. 예를 들면, 멀티 프레임 버퍼(108) 내에서 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 표시 순서 정보를 갖는 부호화가 끝난 픽처나, 멀티 프레임 버퍼(108) 내에서 부호화 대상 픽처의 표시 순서 정보보다 앞에서 가장 가까운 표시 순서 정보를 갖는 부호화가 끝난 픽처나, 멀티 프레임 버퍼(108) 내에서 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 가장 가까운 표시 순서 정보를 갖는 부호화가 끝난 픽처 등을 생각할 수 있다. 또, 멀티 프레임 버퍼(108) 내에서 부호화 대상 픽처에 부호화 순서가 가장 가까운 픽처나, 멀티 프레임 버퍼(108) 내에서 부호화 대상 픽처의 표시 순서 정보보다 앞에서 부호화 순서가 가장 가까운 픽처나, 멀티 프레임 버퍼(108) 내에서 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 부호화 순서가 가장 가까운 픽처 등도 생각할 수 있다.
도 7은 실시 형태 1의 동화상 부호화 데이터 포맷의 개념도이다. 도 3에서의 종래의 동화상 부호화 장치의 동화상 부호화 데이터 포맷의 개념도와 같은 데이터는 같은 기호를 붙이며, 설명을 생략한다. 도 3에 도시한 종래의 동화상 부호화 장치의 동화상 부호화 데이터 포맷과의 다른 점은, 픽처마다 디폴트 참조 픽처 번호(DefRefNo)가 포함되는 점과, 다수 참조 픽처 보간 예측에 의해 부호화된 블록의 부호화 데이터 중에 포함되는 참조 픽처 번호의 데이터가 1개뿐이라는 점이다.
이상과 같이 본 실시 형태에 의하면, 참조 픽처의 한쪽에 대해서는 블록 단위로 다수의 부호화가 끝난 픽처 중에서 임의의 픽처를 선택하고, 참조 픽처의 다른쪽에 대해서는 픽처 단위로 다수의 부호화가 끝난 픽처 중의 1매의 픽처에 고정 할 수 있기 때문에, 고정한 참조 픽처 번호를 블록마다 부호화하지 않아도 되므로 부호화 효율을 개선할 수 있다.
또한, 본 실시 형태에서는, 디폴트 참조 픽처를 지정하기 위한 방법으로서, 상기 픽처에 할당된 픽처 번호를 사용했으나 이것으로 한정되는 것은 아니다. 예를 들면, 부호화 대상 픽처가 갖는 픽처 번호와, 디폴트 참조 픽처로서 선택한 픽처가 갖는 픽처 번호와의 상대적인 차분치, 또는 그것을 나타내기 위한 커맨드 등의 정보를 사용하여 지정하는 것도 가능하다.
또, 본 실시 형태에서는, 한쪽의 참조 픽처만 디폴트 참조 픽처 번호로 지정했으나, 2개의 디폴트 참조 픽처 번호를 부호화함으로써, 블록의 부호화 데이터 중의 2개의 참조 픽처 번호를 양쪽 모두 생략할 수 있다.
또, 본 실시 형태에서는, 2매의 참조 픽처를 사용하여 화소 보간에 의해 예측 화상을 생성하는 다수 참조 픽처 보간 예측에 관해 설명을 했으나, 임의의 1매의 픽처에 포함되는 블록을 그대로 예측 화상으로 하는 단수 참조 픽처 보간 예측의 경우도 마찬가지로 취급하는 것이 가능하다. 그 경우, 블록마다 참조 픽처 정보를 기술할 필요가 없어져, 공통 정보 영역에만 참조 픽처 정보를 기술하게 된다.
또, 본 실시 형태에서는, 디폴트 참조 픽처 번호는 픽처마다 부호화하고 있지만, 예를 들면 다수 매의 픽처에 대해 1개의 디폴트 참조 픽처 번호를 저장하는 신택스 구조로 부호화해도 되고, 다수의 블록으로 구성되는 매크로 블록이나 다수의 매크로 블록으로 구성되는 슬라이스 등 픽처 이하의 신택스 구조에 대해 1개의 디폴트 참조 픽처 번호를 저장하는 신택스 구조로 부호화해도 된다.
(실시 형태 2)
도 8은, 본 발명에 따른 실시 형태 2의 동화상 복호화 장치의 블록도이다. 도 4에서의 종래의 동화상 복호화 장치의 구성을 도시하는 블록도와 같은 동작을 하는 유닛 및 같은 동작의 데이터는 같은 기호를 붙이며, 설명을 생략한다. 도 4와 다른 점은 디폴트 참조 픽처 번호 버퍼(402)가 추가된 점이다.
이 동화상 복호화 장치는, 도 8에 도시하는 바와 같이 가변 길이 복호화부(401), 디폴트 참조 픽처 번호 버퍼(402), 움직임 보상부(403), 화상 복호화부(404), 가산기(405), 화소 보간부(406), 멀티 프레임 버퍼(407), 및 스위치(408)를 구비하고 있다.
가변 길이 복호화부(401)는, 입력된 동화상 부호화 데이터(Str)에 대해 가변 길이 복호화를 행하여, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2), 디폴트 참조 픽처 번호(DefRefNo)를 출력한다. 복호화된 디폴트 참조 픽처 번호(DefRefNo)는, 다수의 블록에서 공통으로 사용하지 않으면 안되기 때문에, 디폴트 참조 픽처 번호 버퍼(402)에 저장해 둔다. 움직임 보상부(403)에는, 디폴트 참조 픽처 번호 버퍼(402)에 저장된 디폴트 참조 픽처 번호(DefRefNo)가 참조 픽처 번호(RefNo1)로서 입력된다.
다음에, 상기한 바와 같이 구성된 동화상 복호화 장치에서, 복호화 대상 블록의 예측 종별이 다수 참조 픽처 보간 예측인 경우의 동작에 관해 설명한다.
동화상 부호화 데이터(Str)는, 가변 길이 복호화부(401)에 입력된다. 가변 길이 복호화부(401)는, 입력된 동화상 부호화 데이터(Str)에 대해 가변 길이 복호 화를 행하여, 잔차 부호화 데이터(ERes)를 화상 복호화부(404)에 출력하고, 참조 픽처 번호(RefNo2) 및 움직임 벡터(MV1, MV2)를 움직임 보상부(403)에 출력하고, 예측 종별(PredType)을 움직임 보상부(403) 및 스위치(408)에 출력하고, 디폴트 참조 픽처 번호(DefRefNo)를 디폴트 참조 픽처 번호 버퍼(402)에 출력한다. 디폴트 참조 픽처 번호 버퍼(402)는, 저장한 디폴트 참조 픽처 번호(DefRefNo)를 참조 픽처 번호(RefNo1)로 하여 움직임 보상부(403)에 출력한다.
움직임 보상부(403)는, 예측 종별(PredType)이 다수 참조 픽처 보간 예측이기 때문에, 디폴트 참조 픽처 번호 버퍼(402)로부터 입력된 참조 픽처 번호(NRefNo1), 가변 길이 복호화부(401)로부터 입력된 참조 픽처 번호(RefNo2) 및 움직임 벡터(MV1, MV2)를 멀티 프레임 버퍼(407)에 출력하여, 참조 블록의 출력을 지시한다. 멀티 프레임 버퍼(407)는, 참조 픽처 번호(NRefNo1) 및 움직임 벡터(NMV1)에 대응하는 참조 블록(RefBlk1)과, 참조 픽처 번호(NRefNo2) 및 움직임 벡터(NMV2)에 대응하는 참조 블록(RefBlk2)을 화소 보간부(406)에 출력한다. 화소 보간부(406)는, 2개의 참조 블록(RefBlk1, RefBlk2)의 대응하는 화소치를 평균치 등으로 보간하여, 보간 블록(RefPol)으로서 출력한다. 여기서는, 예측 종별(PredType)이 다수 참조 픽처 보간 예측이기 때문에, 스위치(408)는 "0"측으로 바뀌고, 보간 블록(RefPol)이 예측 화상 데이터(Pred)로서 가산기(405)에 출력된다.
한편, 잔차 부호화 데이터(ERes)가 입력된 화상 복호화부(404)는, 이 잔차 부호화 데이터(ERes)에 대해, 역양자화 ·역직교 변환 등의 화상 복호화 처리를 행 하여, 잔차 복호화 데이터(DRes)를 가산기(405)에 출력한다. 가산기(405)는, 잔차 복호화 데이터(DRes)와 예측 화상 데이터(Pred)를 가산하여, 복호화 화상 데이터(DImg)로서 동화상 복호화 장치 밖으로 출력한다. 멀티 프레임 버퍼(407)는, 픽처 간 예측을 위해 복호화 화상 데이터(DImg)를 저장한다. 이러한 처리에 의해, 동화상 복호화 장치는 동화상 부호화 데이터(Str)를 복호화하여, 화상 복호화 데이터(DImg)로서 출력한다.
이상과 같이 본 실시 형태에 의하면, 실시 형태 1에서 설명한 본 발명의 동화상 부호화 방법을 이용한 동화상 부호화 장치에 의해 부호화된 동화상 부호화 데이터(Str)를 바르게 복호화할 수 있다.
(실시 형태 3)
도 9는 본 발명에 따른 실시 형태 3의 동화상 부호화 장치의 블록이다. 또한, 도 6에서의 실시 형태 1의 동화상 부호화 장치의 블록도와 같은 동작을 하는 유닛 및 같은 동작의 데이터는 같은 기호를 붙이며, 설명을 생략한다.
본 실시 형태의 동화상 부호화 장치는, 실시 형태 1의 구성에 더해 디폴트 참조 픽처 번호 생성부(201)를 구비하고 있다. 디폴트 참조 픽처 번호 생성부(201)는, 소정의 방법에 의해 디폴트 참조 픽처 번호(DefRefNo)를 생성하여, 움직임 추정부(101)로 출력한다. 움직임 추정부(101)는, 실시 형태 1의 동화상 부호화 장치와 마찬가지로, 다수 참조 픽처 보간 예측시에, 2개의 참조 픽처의 한쪽을, 입력된 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 참조 픽처에 고정하여 움직임 추정을 행한다. 가변 길이 부호화부(202)는, 잔차 부호화 데이터(ERes), 예측 종 별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2)를 가변 길이 부호화하여, 동화상 부호화 데이터(Str2)로서 출력한다.
디폴트 참조 픽처 번호 생성부(201)의 디폴트 참조 픽처 번호(DefRefNo)의 생성 방법은, 예를 들면 이하의 방법을 사용할 수 있다. 제1 방법은, 멀티 프레임 버퍼(108)에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 표시 순서 정보의 픽처를 나타내는 픽처 번호를 디폴트 참조 픽처 번호(DefRefNo)로 하는 방법이다. 제2 방법은, 멀티 프레임 버퍼(108)에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보보다 앞에서 가장 가까운 표시 순서 정보의 픽처를 나타내는 픽처 번호를 디폴트 참조 픽처 번호(DefRefNo)로 하는 방법이다. 제3 방법은, 멀티 프레임 버퍼(108)에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 가장 가까운 표시 순서 정보의 픽처를 나타내는 픽처 번호를 디폴트 참조 픽처 번호(DefRefNo)로 하는 방법이다. 제4 방법은, 멀티 프레임 버퍼(108)에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처에 부호화 순서가 가장 가까운 픽처를 나타내는 픽처 번호를 디폴트 참조 픽처 번호(DefRefNo)로 하는 방법이다. 제5 방법은, 멀티 프레임 버퍼(108)에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보보다 앞에서 부호화 순서가 가장 가까운 픽처를 나타내는 픽처 번호를 디폴트 참조 픽처 번호(DefRefNo)로 하는 방법이다. 제6 방법은, 멀티 프레임 버퍼(108)에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 부호화 순서가 가장 가까운 픽처를 나타내는 픽처 번호를 디 폴트 참조 픽처 번호(DefRefNo)로 하는 방법이다.
본 실시 형태의 동화상 부호화 장치의 동화상 부호화 포맷은, 도 7에서 도시한 동화상 부호화 데이터 포맷에서의 디폴트 참조 픽처 번호(DefRefNo)가 생략되어, 도 10에 도시된 것 같은 데이터 포맷이 된다. 따라서, 디폴트 참조 픽처 번호(DefRefNo)를 부호화하지 않아도 되므로, 부호화 효율이 개선된다.
또한, 상기 실시 형태에서는 디폴트 참조 픽처의 결정 방법을 어느 하나에 고정함으로써, 데이터 포맷에 디폴트 참조 픽처에 관한 정보를 전혀 기술하지 않고 부호화를 실현하는 방법을 설명했으나, 디폴트 참조 픽처의 결정 방법을 픽처 단위로 바꾸는 것도 가능하다. 예를 들면, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 표시 순서 정보를 갖는 픽처를 디폴트 참조 픽처로서 선택하는 방법을 나타내는 식별자나, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보보다 앞에서 가장 가까운 표시 순서 정보를 갖는 픽처를 디폴트 참조 픽처로서 선택하는 방법을 나타내는 식별자나, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 가장 가까운 표시 순서 정보를 갖는 픽처를 디폴트 참조 픽처로서 선택하는 방법을 나타내는 식별자를 부호화함으로써 실현할 수 있다.
도 11은 그 경우의 동화상 부호화 장치의 블록이다. 디폴트 참조 픽처 번호생성부(203)는, 도 11에 도시하는 바와 같이 디폴트 참조 픽처를 선택하는 방법을 나타내는 식별자(Ident)를 가변 길이 부호화부(204)에 출력한다. 가변 길이 부호 화부(204)는, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2), 및 식별자(Ident)를 가변 길이 부호화하여, 동화상 부호화 데이터(Str3)로서 출력한다. 이 경우의 데이터 포맷에는, 도 7의 데이터 포맷에 나타낸 디폴트 참조 픽처를 직접 지정하는 정보인 디폴트 참조 픽처 번호(DefRefNo) 대신에, 도 12에 도시하는 바와 같이 디폴트 참조 픽처의 선택 방법을 나타내기 위한 식별자(Ident)가 포함되게 된다.
마찬가지로, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서 부호화 대상 픽처에 부호화 순서가 가장 가까운 픽처를 디폴트 참조 픽처로서 선택하는 방법을 나타내는 식별자나, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보보다 앞에서 부호화 순서가 가장 가까운 픽처를 디폴트 참조 픽처로서 선택하는 방법을 나타내는 식별자나, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 부호화 순서가 가장 가까운 픽처를 디폴트 참조 픽처로서 선택하는 방법을 나타내는 식별자를 부호화하는 것도 가능하다. 또한, 이 방법을 이용하여 작성한 동화상 부호화 데이터는 이하에서 설명하는 실시 형태 4의 구성을 갖는 복호화 방법에 의해 복호화 하는 것이 가능하다.
또, 상기 디폴트 참조 픽처를 선택하는 방법을 나타내는 식별자 대신에, 실시 형태 1과 동일하게 도 7과 같이 디폴트 참조 픽처를 나타내는 픽처 번호(DefRefNo) 그 자체를 부호화하는 것도 가능하고, 또는 부호화 대상 픽처가 갖는 픽처 번호와 디폴트 참조 픽처로서 선택한 픽처가 갖는 픽처 번호와의 상대적인 차 분치를 부호화하는 것도 가능하고, 또는 그것을 나타내기 위한 커맨드 등의 정보를 부호화하는 것도 가능하다.
도 13은 그 경우의 동화상 부호화 장치의 블록이다. 디폴트 참조 픽처 번호 생성부(205)는, 도 13에 도시하는 바와 같이 디폴트 참조 픽처 번호(DefRefNo)를 가변 길이 부호화부(206)에 출력한다. 가변 길이 부호화부(206)는, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2), 및 디폴트 참조 픽처 번호(DefRefNo)를 가변 길이 부호화하여, 동화상 부호화 데이터(Str4)로서 출력한다. 이 경우의 데이터 포맷은, 도 7에 도시한 데이터 포맷과 같아진다. 또한, 이 방법을 사용하여 작성한 동화상 부호화 데이터는 실시 형태 2에서 설명한 구성의 복호화 방법에 의해 복호화하는 것이 가능하다.
(실시 형태 4)
도 14는 본 발명에 따른 실시 형태 4의 동화상 복호화 장치의 블록도이다. 또한, 도 8에서의 실시 형태 2의 동화상 복호화 장치의 블록도와 같은 동작을 하는 유닛 및 같은 동작의 데이터는 같은 기호를 붙이며, 설명을 생략한다.
본 실시 형태의 동화상 복호화 장치는, 실시 형태 2의 구성에 나타내는 디폴트 참조 픽처 번호 버퍼(402)를 대신해 디폴트 참조 픽처 번호 생성부(502)를 구비하고 있다. 가변 길이 복호화부(501)는, 입력된 동화상 부호화 데이터(Str2)에 대해 가변 길이 복호화를 행하여, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2)를 출력한다. 디폴트 참조 픽처 번호 생성부(502)는, 실시 형태 3에서 설명한 디폴트 참조 픽처 번호 생성부(201) 와 동일 방법으로 디폴트 참조 픽처 번호(DefRefNo)를 생성하고, 이 디폴트 참조 픽처 번호(DefRefNo)를 참조 픽처 번호(RefNo1)로서 움직임 보상부(403)에 출력한다.
이상과 같이 본 실시 형태에 의하면, 실시 형태 3에서 설명한 본 발명의 동화상 부호화 방법을 사용한 동화상 부호화 장치에 의해 부호화된 동화상 부호화 데이터(Str2)를 바르게 복호화할 수 있다.
또한, 상기 실시 형태 3의 변형예에서 나타낸 바와 같은 디폴트 참조 픽처의 선택 방법을 나타내기 위한 식별자(Ident)가 포함되어 있는 동화상 부호화 데이터(Str3)를 복호화하는 경우, 동화상 복호화 장치는 이하와 같이 구성된다.
도 15는 이 경우의 동화상 복호화 장치의 블록이다. 가변 길이 복호화부(503)는, 도 15에 도시하는 바와 같이 입력된 동화상 부호화 데이터(Str3)에 대해 가변 길이 복호화를 행하여, 잔차 부호화 데이터(ERes), 예측 종별(PredType), 참조 픽처 번호(RefNo2), 움직임 벡터(MV1, MV2), 및 디폴트 참조 픽처의 선택 방법을 나타내기 위한 식별자(Ident)를 출력한다. 디폴트 참조 픽처 번호 생성부(504)는, 가변 길이 복호화부(503)로부터 입력된 식별자(Ident)가 나타내는 디폴트 참조 픽처의 선택 방법을 사용하여 디폴트 참조 픽처 번호(DefRefNo)를 생성하고, 이 디폴트 참조 픽처 번호(DefRefNo)를 참조 픽처 번호(RefNo1)로서 움직임 보상부(403)에 출력한다.
이와 같이, 상기 실시 형태 3에서 설명한 디폴트 참조 픽처의 선택 방법을 나타내기 위한 식별자(Ident)가 포함되는 동화상 부호화 데이터(Str3)를 바르게 복 호화할 수 있다.
(실시 형태 5)
본 실시 형태에서는, 부호화 대상 픽처보다 표시순서 정보가 앞인 픽처만을 참조하여 부호화를 행하는 경우에서의 다이렉트 모드에 의한 부호화에 대해 설명한다.
도 16은 본 발명에 따른 실시 형태 5의 부호화 대상 픽처보다 표시 순서 정보가 앞인 다수 참조 픽처에 의한 다이렉트 모드의 설명도이다. 여기서, 픽처(Pic)는 부호화 대상 픽처, 픽처(Ref1, Ref2)는 참조 픽처, 블록(Blk)은 부호화 대상 블록, 블록(Blk0)은 부호화 대상 블록(Blk)과 화면 내의 위치가 같은 참조 픽처(Ref1) 내의 블록을 나타내고 있다. 또, 움직임 벡터(MV01)는 블록(Blk0)의 부호화시에 사용한 전방 참조 움직임 벡터, 픽처(Ref3)는 움직임 벡터(MV01)가 참조하는 참조 픽처, 움직임 벡터(MV1)는 참조 픽처(Ref1)로부터의 움직임 벡터, 움직임 벡터(MV2)는 참조 픽처(Ref2)로부터의 움직임 벡터, 블록(RefBlk1)은 움직임 벡터(MV1)에 의해 참조되는 참조 블록, 블록(RefBlk2)은 움직임 벡터(MV2)에 의해 참조되는 참조 블록을 나타내고 있다.
참조 픽처에는, 예를 들면 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보보다 표시 순서 정보가 앞인 픽처에서, 표시 순서 정보가 가장 가까운 픽처와 2번째로 가까운 픽처를 선택한다. 이 때, 부호화 대상 픽처(Pic)와 참조 픽처(Ref1)와의 표시 순서 정보의 차의 값을 TRD1, 참조 픽처(Ref1)와 참조 픽처(Ref3)와의 표시 순서 정보의 차의 값을 TRD2, 부호화 대상 픽처(Pic)와 참조 픽처(Ref2)와의 표시 순서 정보의 차의 값을 TRD3로 하면, 부호화 대상 블록을 부호화할 때 사용하는 움직임 벡터(MV1) 및 움직임 벡터(MV2)는 각각 다음 계산식으로 산출할 수 있다.
MV1 = MV01 ×(TRD1/TRD2) … (식 A)
MV2 = MV01 ×(TRD3/TRD2) … (식 B)
이상의 방법에 의해, 다이렉트 모드시의 참조 픽처, 움직임 벡터를 결정할 수 있다.
또, 상기 H. 264에서는, 부호화가 끝난 픽처의 멀티 프레임 버퍼로의 삽입이나 멀티 프레임 버퍼로부터 삭제하기 위한 제어 정보를 동화상 부호화 데이터 중에 포함시킴으로써, 명시적으로 멀티 프레임 버퍼에 저장하는 픽처의 제어를 행하는 방법이 의논되어 있다. 이러한 제어에 의해서는, 부호화 대상 픽처의 표시 순서 정보보다 뒤인 픽처만 멀티 프레임 버퍼에 저장되어 있는 경우도 있을 수 있다. 이하에, 부호화 대상 픽처보다 표시 순서 정보가 뒤인 픽처만 멀티 프레임 버퍼에 저장되어 있는 경우의 다수 참조 픽처 보간 예측을 사용하는 픽처의 다이렉트 모드 실현 방법에 관해 설명한다.
도 17은 본 발명에 따른 실시 형태 5의 부호화 대상 픽처보다 표시 순서 정보가 뒤인 다수 참조 픽처에 의한 다이렉트 모드의 설명도이다. 여기서, 픽처(Pic)는 부호화 대상 픽처, 픽처(Ref1, Ref2)는 참조 픽처, 블록(Blk)은 부호화 대상 블록, 블록(Blk0)은 부호화 대상 블록(Blk)과 화면 내의 위치가 같은 참조 픽처(Ref1) 내의 블록을 나타내고 있다. 또, 움직임 벡터(MV01)는 블록(Blk0)의 부 호화시에 사용한 전방 참조 움직임 벡터, 움직임 벡터(MV1)는 참조 픽처(Ref1)로부터의 움직임 벡터, 움직임 벡터(MV2)는 참조 픽처(Ref2)로부터의 움직임 벡터, 블록(RefBlk1)은 움직임 벡터(MV1)에 의해 참조되는 참조 블록, 블록(RefBlk2)은 움직임 벡터(MV2)에 의해 참조되는 참조 블록을 나타내고 있다.
참조 픽처에는, 예를 들면, 멀티 프레임 버퍼에 저장된 부호화가 끝난 픽처 중에서, 부호화 대상 픽처의 표시 순서 정보보다 표시 순서 정보가 뒤인 픽처에서, 표시 순서 정보가 가장 가까운 픽처와 2번째로 가까운 픽처를 선택한다. 이 때, 부호화 대상 픽처 Pic와 참조 픽처 Ref1와의 표시 순서 정보의 차의 값을 TRD1, 참조 픽처 Ref1와 참조 픽처 Ref3와의 표시 순서 정보의 차의 값을 TRD2, 부호화 대상 픽처 Pic와 참조 픽처 Ref2와의 표시 순서 정보의 차의 값을 TRD3로 하면, 부호화 대상 블록을 부호화할 때 사용하는 움직임 벡터 MV1 및 움직임 벡터 MV2는 각각 다음 계산식 (식 C) 및 (식 D)로 산출할 수 있다.
MV1 = -MV01 ×(TRD1/TRD2) … (식 C)
MV2 = -MV01 ×(TRD3/TRD2) … (식 D)
이상의 방법에 의해, 다이렉트 모드시의 참조 픽처, 움직임 벡터를 결정할 수 있다.
또한, 상기의 다이렉트 모드의 처리는, 도 6에 도시하는 동화상 부호화 장치에서는, 움직임 추정부(101)에서 실행된다. 또, 마찬가지로 도 8에 도시하는 동화상 복호화 장치에서는, 움직임 보상부(403)에서 실행된다.
이상과 같이, 본 실시 형태에서 나타낸 다이렉트 모드를 구비한 동화상 부호 화 장치에 의해, 멀티 프레임 버퍼에 부호화 대상 픽처의 표시 순서 정보보다 앞, 또는 뒤의 부호화가 끝난 픽처밖에 없는 경우에도 다이렉트 모드를 사용할 수 있어, 참조 픽처 ·움직임 벡터를 생략할 수 있기 때문에 부호화 효율을 개선할 수 있다. 또, 본 실시 형태에서 나타낸 다이렉트 모드를 구비한 동화상 복호화 장치에 의해, 본 실시 형태에서 나타낸 다이렉트 모드를 구비한 동화상 부호화 장치가 출력하는 동화상 부호화 데이터를 복호화할 수 있다.
또, 스킵 모드의 정의를, 본 실시 형태에 의한 다이렉트 모드로부터 산출된 참조 픽처 ·움직임 벡터를 사용하여 픽처 간 예측한 결과의 잔차 부호화 데이터가 0인 경우로 할 수도 있다. 본 실시 형태에 의한 다이렉트 모드는 멀티 프레임 버퍼에 부호화 대상 픽처의 표시 순서 정보보다 앞, 또는 뒤의 부호화가 끝난 픽처밖에 없는 경우에도 다이렉트 모드를 사용할 수 있기 때문에, 그러한 경우라도 스킵 모드를 선택할 수 있어, 상기 설명의 스킵 모드를 구비한 동화상 부호화 장치에 의해, 스킵 모드를 사용할 수 있기 때문에 부호화 효율을 개선할 수 있다. 또, 본 실시 형태에서 나타낸 다이렉트 모드를 구비한 동화상 복호화 장치에 의해, 본 실시 형태에서 나타낸 다이렉트 모드를 구비한 동화상 부호화 장치가 출력하는 동화상 부호화 데이터를 복호화할 수 있다.
또한, 도 16, 도 17에 대한 상기 설명에서, 참조 픽처(Ref1)에 대한 움직임 벡터를 자유롭게 선택할 수 있도록 하여, 그 움직임 벡터와 상기 설명의 움직임 벡터(MV1)의 차분 벡터를 부호화할 수도 있다. 마찬가지로, 참조 픽처(Ref2)에 대한 움직임 벡터를 자유롭게 선택할 수 있도록 하여, 그 움직임 벡터와 상기 설명의 움 직임 벡터(MV2)의 차분 벡터를 부호화할 수도 있다.
또, 본 실시 형태에서는, 멀티 프레임 버퍼에 부호화 대상 픽처보다 표시 순서 정보가 앞, 또는, 뒤인 픽처밖에 없는 경우에 본 실시 형태에서 설명한 스킵 모드를 사용했으나, 예를 들면 멀티 프레임 버퍼에 저장된 픽처로부터 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 픽처와 2번째로 가까운 픽처를 선택하고, 선택된 2매의 픽처 모두 부호화 대상 픽처의 표시 순서 정보보다 앞, 또는, 뒤의 픽처밖에 없는 경우에 본 실시 형태에서 설명한 스킵 모드를 적용하도록 순서를 변경해도 된다.
(실시 형태 6)
상기 H. 264에서는, 다수 참조 픽처 보간 예측을 포함하는 픽처의 스킵 모드는, 다이렉트 모드에 의한 픽처 간 예측의 잔차 부호화 데이터가 0인 경우를 나타낸다. 이에 대해, 본 실시 형태의 동화상 부호화 장치, 동화상 복호화 장치에서는, 스킵 모드에 사용하는 예측 방법을, 멀티 프레임 버퍼의 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 참조 픽처로부터의 픽처 간 예측으로 한다.
도 18은 본 발명에 따른 실시 형태 6의 스킵 모드시의 픽처 간 예측의 설명도이다. 여기서, 픽처(Pic)는 부호화 대상 픽처, 픽처(Ref1)는 부호화 대상 픽처의 직전의 표시 순서 정보를 갖는 부호화가 끝난 픽처, 픽처(Ref2)는 부호화 대상 픽처의 직후의 표시 순서 정보를 갖는 부호화가 끝난 픽처, 블록(Blk)은 부호화 대상 블록, 움직임 벡터(MV1)는 픽처(Ref1)로부터의 0값의 움직임 벡터, 블 록(RefBlk1)은 움직임 벡터(MV1)에 의해 참조되는 참조 블록을 나타내고 있다. 또, 부호화 대상 픽처(Pic)와 픽처(Ref1)와의 표시 순서 정보의 차의 값(TRD1)은, 부호화 대상 픽처(Pic)와 픽처(Ref2)와의 표시 순서 정보의 차의 값(TRD2)보다 작은 값으로 한다.
본 실시 형태에서는, 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 픽처를 참조 픽처로 한다. 도 18에서는, 부호화 대상 픽처(Pic)의 표시 순서 정보에 가장 가까운 픽처는 픽처 Ref1이다. 픽처(Ref1)에 대한 움직임 벡터(MV1)는 픽처 내의 수직 성분 및 수평 성분 모두 0으로 하고, 움직임 벡터(MV1)에 의해 참조되는 참조 블록(RefBlk)을 예측 화상으로서 사용한다. 이러한 예측 방법을 사용함으로써, 동화상 부호화 장치 및 동화상 복호화 장치에서, 참조 픽처와 움직임 벡터가 똑같이 결정되므로, 참조 픽처를 나타내는 정보 및 움직임 벡터를 동화상 부호화 데이터 중에 포함시킬 필요는 없다. 그래서, 상기 설명한 픽처 간 예측의 결과의 잔차 부호화 데이터가 0이 되는 경우를 스킵 모드로 정의하고, 스킵 모드의 블록에 대한 부호화 데이터 중에는 스킵 모드를 나타내는 예측 종별만을 전송하면 되게 된다.
또한, 본 실시 형태에서는, 멀티 프레임 버퍼의 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보에 가장 가까운 픽처를 참조 픽처로 했지만, 멀티 프레임 버퍼의 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보보다 앞에서 가장 가까운 픽처를 참조 픽처로 해도 된다.
또, 본 실시 형태에서는, 멀티 프레임 버퍼의 부호화가 끝난 픽처 중에서 부 호화 대상 픽처의 표시 순서 정보에 가장 가까운 픽처를 참조 픽처로 했지만, 멀티 프레임 버퍼의 부호화가 끝난 픽처 중에서 부호화 대상 픽처의 표시 순서 정보보다 뒤에서 가장 가까운 픽처를 참조 픽처로 해도 된다.
또, 상기 각 실시 형태에서 사용한 픽처의 표시 순서 정보는, 픽처를 표시하는 시각을 나타내는 값이어도 되고, 픽처의 상대적인 표시 순서의 관계를 나타내는 정보이어도 된다.
또한, 상기 픽처란 프레임 및 필드의 양쪽의 의미를 갖는 것으로, 프레임 부호화의 경우는 프레임으로서, 인터레이스 부호화(필드 부호화)의 경우는 필드로서 취급할 수 있다.
또, 상기 각 실시 형태는, 1매의 픽처를 탑 필드, 보텀 필드의 2매의 필드로 나누어 부호화하는 인터레이스 부호화의 경우에도 동일하게 처리하는 것이 가능하다. 이 인터레이스 부호화에서는, 참조 픽처 번호는 2배이기 때문에, 더욱 부호화 효율을 높일 수 있다. 또, 이 경우에는, 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 픽처로서, 부호화 대상 픽처와 같은 속성을 갖는 픽처를 우선하여 사용하면 된다. 즉, 부호화 대상 픽처가 탑 필드인 경우는, 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 픽처로서, 탑 필드를 우선하여 사용한다. 한편, 부호화 대상 픽처가 보텀 필드인 경우는, 디폴트 참조 픽처 번호(DefRefNo)가 나타내는 픽처로서, 보텀 필드를 우선하여 사용한다.
(실시 형태 7)
또한, 상기 각 실시 형태에서 나타낸 동화상 부호화 방법 또는 동화상 복호 화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를, 독립된 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.
도 19는 상기 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기억 매체에 대한 설명도이다.
도 19(b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 19(a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는, 동심원상으로 외주로부터는 내주를 향해 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 동화상 부호화 방법이 기록되어 있다.
또, 도 19(c)는, 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 동화상 부호화 방법 또는 동화상 복호화 방법을 플렉시블 디스크 드라이브(FDD)를 통해 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 동화상 부호화 방법을 컴퓨터 시스템 중에 구축하는 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 읽어내어, 컴퓨터 시스템에 전송한다.
또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 사용하여 설명했으나, 광디스크를 사용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것으로 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
또한 여기서, 상기 실시 형태에서 나타낸 동화상 부호화 방법이나 동화상 복호화 방법의 응용예와 그것을 사용한 시스템을 설명한다.
도 20은, 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체구성을 도시한 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해, 컴퓨터 (ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 카메라 부착 휴대 전화(ex115) 등의 각 기기가 접속된다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 20과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 또는 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.
또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해 접속되어 있고, 카메라(ex113)를 사용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)에서 행해도 되고, 데이터의 송신 처리를 하는 서버 등에서 행해도 된다. 또, 카메라(ex116)에서 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)에서 행하거나 컴퓨터(ex111)에서 행하거나 어느 쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 동화상 부호화 ·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 읽기 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착해도 된다. 또한, 카메라 부착 휴대 전화(ex115)에서 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.
이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등에서 촬영하고 있는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 배송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호화 하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이렇게 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.
이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 동화상 부호화 장치 또는 동화상 복호화 장치를 사용하도록 하면 된다.
그 일례로서 휴대 전화에 대해 설명한다.
도 21은, 상기 실시 형태에서 설명한 동화상 부호화 방법과 동화상 복호화 방법을 사용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)에서 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 다시쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래쉬 메모리 소자를 저장한 것이다.
또한, 휴대 전화(ex115)에 대해 도 22를 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.
전원 회로부(ex310)는, 사용자의 조작에 의해 통화종료 및 전원 키가 ON 상태가 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 카메라 부착 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.
휴대 전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음(集音)한 음성 신호를 음성 처리부(ex305)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 송신한다. 또 휴대 전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하며, 음성 처리부(ex305)에 의해 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(ex208)를 통해 출 력한다.
또한, 데이터 통신 모드시에 이메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해 입력된 이메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 기지국(ex110)으로 송신한다.
데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상(撮像)된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는, 본원 발명에서 설명한 동화상 부호화 장치를 구비한 구성이고, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 화상 부호화 장치에 사용한 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대 전화기(ex115)는, 카메라부(ex203)에서 촬상중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.
다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데 이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 송신한다.
데이터 통신 모드시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.
또, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누어, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.
다음으로, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성이고, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통해 표시부(ex202)에 공급하고, 이에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(ex208)에 공급하고, 이에 의해, 예를 들면 홈페이지에 링 크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 상기 시스템의 예에 한정되지 않고, 최근은 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 23에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 동화상 부호화 장치 또는 동화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)에서 수신하여, TV(수신기)(ex401) 또는 셋탑박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 읽어 내어, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 동화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, CATV용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑박스(ex407) 내에 동화상 복호화 장치를 실장하고, 이것을 TV의 모니터(ex408)에서 재생하는 구성도 생각할 수 있다. 이 때 셋탑박스가 아니라, TV 내에 동화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국 (ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 내비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.
또한, 화상 신호를 상기 실시 형태에서 나타낸 동화상 부호화 장치에서 부호 화하여, 기록 매체에 기록할 수도 있다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시 형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에서 표시할 수 있다.
또한, 카 내비게이션(ex413)의 구성은 예를 들면 도 22에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 TV(수신기)(ex401) 등에서도 생각할 수 있다.
또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기 ·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지의 실장 형식을 생각할 수 있다.
이와 같이, 상기 실시 형태에서 나타낸 동화상 부호화 방법 또는 동화상 복호화 방법을 상술한 모든 기기 ·시스템에 사용하는 것은 가능하고, 그렇게 함으로써 상기 실시 형태에서 설명한 효과를 얻을 수 있다.
또, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 벗어나지 않고 여러가지의 변형 또는 수정이 가능하다.
이상, 상세히 설명한 바와 같이, 본 발명에 따른 동화상 부호화 방법에 의하면, 한쪽의 참조 픽처에 대해서는, 블록마다 다수의 부호화가 끝난 픽처 중에서 1 매의 픽처를 선택할 필요가 없고, 또 이 참조 픽처를 블록마다 부호화할 필요가 없기 때문에, 효율적인 부호화를 실현하고, 또한 처리량을 삭감할 수 있다.
또, 본 발명에 따른 동화상 복호화 방법에 의하면, 공통의 참조 픽처와, 블록마다의 참조 픽처를 사용하여 부호화되어 출력된 동화상 부호화 데이터를, 복호화 할 때 바르게 복호화 처리할 수 있다.
이상과 같이, 본 발명의 따른 동화상 부호화 방법 및 동화상 복호화 방법은, 예를 들면 휴대 전화, DVD 장치, 및 퍼스널 컴퓨터 등에서, 입력 화상을 구성하는 각 픽처를 부호화하여, 동화상 부호화 데이터로서 출력하거나, 이 동화상 부호화 데이터를 복호화하거나 하기 위한 방법으로서 유용하다.
도 1은 종래의 동화상 부호화 장치의 구성을 도시하는 블록도,
도 2는 다수 참조 픽처로부터의 보간 예측의 개념도,
도 3은 종래의 동화상 부호화 장치의 동화상 부호화 데이터 포맷의 개념도,
도 4는 종래의 동화상 복호화 장치의 구성을 도시하는 블록도,
도 5는 종래의 다이렉트 모드의 설명도,
도 6은 실시 형태 1의 동화상 부호화 장치의 구성을 도시하는 블록도,
도 7은 실시 형태 1의 동화상 부호화 데이터 포맷의 개념도,
도 8은 실시 형태 2의 동화상 복호화 장치의 구성을 도시하는 블록도,
도 9는 실시 형태 3의 동화상 부호화 장치의 구성을 도시하는 블록도,
도 10은 실시 형태 3의 동화상 부호화 데이터 포맷의 개념도,
도 11은 실시 형태 3의 동화상 부호화 장치의 변형예의 구성을 도시하는 블록도,
도 12는 실시 형태 3의 변형예에 의한 동화상 부호화 데이터 포맷의 개념도,
도 13은 실시 형태 3의 동화상 부호화 장치의 변형예의 구성을 도시하는 블록도,
도 14는 실시 형태 4의 동화상 복호화 장치의 구성을 도시하는 블록도,
도 15는 실시 형태 4의 동화상 복호화 장치의 변형예의 구성을 도시하는 블록도,
도 16은 실시 형태 5의 부호화 대상 픽처보다 표시 순서 정보가 앞인 다수 참조 픽처에 의한 다이렉트 모드의 설명도,
도 17은 실시 형태 5의 부호화 대상 픽처보다 표시 순서 정보가 뒤인 다수 참조 픽처에 의한 다이렉트 모드의 설명도,
도 18은 실시 형태 6의 스킵 모드시의 픽처 간 예측의 설명도,
도 19는 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기록 매체에 대한 설명도로서, (a) 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시한 설명도, (b) 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시한 설명도, (c) 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한 설명도,
도 20은 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성을 도시하는 블록도,
도 21은 휴대 전화의 일례를 도시하는 개략도,
도 22는 휴대 전화의 내부 구성을 도시하는 블록도,
도 23은 디지털 방송용 시스템의 전체 구성을 도시하는 블록도이다.

Claims (4)

  1. 부호화될 현재 픽처를 블록으로 분할하고, 블록 단위로 참조 픽처들 중에서 참조 픽처를 선택하며, 선택된 참조 픽처를 식별하는 정보를 기술하고, 블록 상에 예측 부호화를 수행하는 픽처 부호화 방법으로서,
    다수의 블록으로 구성된 다수-블록 화상 유닛을 부호화하기 위해, 다수의 참조 픽처들 중에서, 공통적으로 참조될 공통 참조 픽처를 선택하는 단계와;
    상기 선택된 공통 참조 픽처를 식별하는 정보를 블록 마다 기술하는 대신에, 상기 다수-블록 화상 유닛에 대한 공통 정보 영역에 상기 선택된 공통 참조 픽처를 식별하는 공통 정보를 기술하는 단계와;
    상기 선택된 공통 참조 픽처를 이용하여, 상기 다수-블록 화상 유닛에 포함된 부호화될 현재 블록의 예측 화상을 생성하는 단계; 및
    상기 예측 화상을 이용하여 상기 현재 블록을 부호화하는 단계를 포함하는 픽처 부호화 방법.
  2. 청구항 1에 있어서, 상기 다수-블록 화상 유닛은, 다수 픽처 유닛, 픽처 유닛, 및 슬라이스(slice) 유닛 중 하나 인, 픽처 부호화 방법.
  3. 부호화될 현재 픽처를 블록으로 분할하고, 블록 단위로 참조 픽처들 중에서 참조 픽처를 선택하며, 선택된 참조 픽처를 식별하는 정보를 기술하고, 블록 상에 예측 부호화를 수행하는 픽처 부호화 장치로서,
    다수의 블록으로 구성된 다수-블록 화상 유닛을 부호화하기 위해, 다수의 참조 픽처들 중에서, 공통적으로 참조될 공통 참조 픽처를 선택하는 유닛과;
    상기 선택된 공통 참조 픽처를 식별하는 정보를 블록 마다 기술하는 대신에, 상기 다수-블록 화상 유닛에 대한 공통 정보 영역에 상기 선택된 공통 참조 픽처를 식별하는 공통 정보를 기술하는 유닛과;
    상기 선택된 공통 참조 픽처를 이용하여, 상기 다수-블록 화상 유닛에 포함된 부호화될 현재 블록의 예측 화상을 생성하는 유닛; 및
    상기 예측 화상을 이용하여 상기 현재 블록을 부호화하는 유닛을 포함하는 픽처 부호화 장치.
  4. 청구항 3에 있어서, 상기 다수-블록 화상 유닛은, 다수 픽처 유닛, 픽처 유닛, 및 슬라이스 유닛 중 하나 인, 픽처 부호화 장치.
KR1020087008518A 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법 Expired - Lifetime KR100944851B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002118484 2002-04-19
JPJP-P-2002-00118484 2002-04-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020037015028A Division KR100976672B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20080041744A true KR20080041744A (ko) 2008-05-13
KR100944851B1 KR100944851B1 (ko) 2010-03-04

Family

ID=29243526

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020087008520A Expired - Lifetime KR100944853B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법
KR1020037015028A Expired - Lifetime KR100976672B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법
KR1020087008519A Expired - Lifetime KR100944852B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법
KR1020087008518A Expired - Lifetime KR100944851B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020087008520A Expired - Lifetime KR100944853B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법
KR1020037015028A Expired - Lifetime KR100976672B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법
KR1020087008519A Expired - Lifetime KR100944852B1 (ko) 2002-04-19 2003-04-16 동화상 부호화 방법 및 동화상 복호화 방법

Country Status (10)

Country Link
US (14) US7515635B2 (ko)
EP (4) EP1739973B1 (ko)
JP (4) JP2004007563A (ko)
KR (4) KR100944853B1 (ko)
CN (4) CN101035291B (ko)
AT (4) ATE420535T1 (ko)
AU (1) AU2003235173A1 (ko)
DE (4) DE60322276D1 (ko)
ES (4) ES2320209T3 (ko)
WO (1) WO2003090474A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006247B1 (en) * 2000-05-02 2006-02-28 Fuji Xerox Co., Ltd. Image processing apparatus
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
CN1321534C (zh) * 2003-12-31 2007-06-13 中国科学院计算技术研究所 固定参考帧数编码方式下获取图像参考块的方法
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
CN1225128C (zh) * 2003-12-31 2005-10-26 中国科学院计算技术研究所 直接编码模式下确定参考图像块的方法
JP2005204778A (ja) * 2004-01-21 2005-08-04 Teijin Pharma Ltd 可搬型医療機器、携帯通信装置、医療機器情報出力システム
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
CN101677382B (zh) * 2004-04-28 2013-01-09 松下电器产业株式会社 流产生装置和流产生方法
KR100584603B1 (ko) 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
CN101980540B (zh) * 2004-11-26 2012-04-25 松下电器产业株式会社 解码电路、解码装置及解码系统
JP4574444B2 (ja) * 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
WO2007136094A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 動画像復号装置
US8165211B2 (en) * 2008-05-30 2012-04-24 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus of de-interlacing video
JP5222958B2 (ja) * 2008-12-16 2013-06-26 株式会社日立製作所 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JP5268743B2 (ja) * 2009-03-30 2013-08-21 パナソニック株式会社 画像通信システム
JP2011024066A (ja) * 2009-07-17 2011-02-03 Sony Corp 画像処理装置および方法
US8699778B2 (en) * 2009-07-29 2014-04-15 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
JP5378939B2 (ja) * 2009-10-02 2013-12-25 日立コンシューマエレクトロニクス株式会社 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
KR20110068793A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 영상 부호화 및 복호화를 위한 장치 및 방법
JP5707412B2 (ja) 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
WO2012042893A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
BR112013004112A2 (pt) * 2010-09-30 2016-06-28 Panasonic Corp método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem, programa, e circuito integrado
KR101665490B1 (ko) * 2010-10-06 2016-10-12 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US20130188709A1 (en) 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
KR101519557B1 (ko) * 2013-12-27 2015-05-13 연세대학교 산학협력단 고속 화면 내 예측 부호화 방법 및 그 장치
US10805627B2 (en) 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
EP3298783B1 (en) * 2016-04-15 2020-11-18 Magic Pony Technology Limited Motion compensation using temporal picture interpolation
US10136155B2 (en) 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field
US10581611B1 (en) 2018-10-02 2020-03-03 Capital One Services, Llc Systems and methods for cryptographic authentication of contactless cards

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5844618A (en) * 1995-02-15 1998-12-01 Matsushita Electric Industrial Co., Ltd. Method and apparatus for telecine image conversion
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
EP1289304A3 (en) * 1996-05-28 2003-07-16 Matsushita Electric Industrial Co., Ltd. Intraframe block prediction by using adjacent blocks
US5912676A (en) * 1996-06-14 1999-06-15 Lsi Logic Corporation MPEG decoder frame memory interface which is reconfigurable for different frame store architectures
JP3223962B2 (ja) * 1997-01-24 2001-10-29 松下電器産業株式会社 画像復号化方法
JPH10224795A (ja) 1997-01-31 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器および復号器
EP1113672B1 (en) * 1997-02-08 2005-04-13 Matsushita Electric Industrial Co., Ltd. Quantization matrix for still and moving picture coding
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
JP3776735B2 (ja) 1997-04-09 2006-05-17 松下電器産業株式会社 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
JP2001036910A (ja) * 1999-05-19 2001-02-09 Matsushita Electric Ind Co Ltd Ｍｐｅｇエンコーダ
WO2001033864A1 (en) * 1999-10-29 2001-05-10 Koninklijke Philips Electronics N.V. Video encoding-method
EP1146661A1 (en) * 1999-11-10 2001-10-17 Mitsubishi Denki Kabushiki Kaisha Adaptive array communication system and receiver
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6889310B2 (en) * 2000-08-12 2005-05-03 Mobilygen Corporation Multithreaded data/context flow processing architecture
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US20030128761A1 (en) * 2001-12-07 2003-07-10 Minhua Zhou Image and video coding
US7437009B2 (en) * 2002-01-16 2008-10-14 Matsushita Electric Industrial Co., Ltd. Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames
US6850284B2 (en) * 2002-08-27 2005-02-01 Motorola, Inc. Method and apparatus for decoding audio and video information

Also Published As

Publication number Publication date
US20170013271A1 (en) 2017-01-12
US20080069214A1 (en) 2008-03-20
JP2008182770A (ja) 2008-08-07
EP1739972A3 (en) 2007-04-04
US9473775B2 (en) 2016-10-18
US20080069213A1 (en) 2008-03-20
US8223841B2 (en) 2012-07-17
CN101035292A (zh) 2007-09-12
US9998756B2 (en) 2018-06-12
ES2320209T3 (es) 2009-05-20
US8184697B2 (en) 2012-05-22
US10080033B2 (en) 2018-09-18
JP4767991B2 (ja) 2011-09-07
DE60325691D1 (de) 2009-02-26
ATE442739T1 (de) 2009-09-15
US20170013272A1 (en) 2017-01-12
EP1739973A3 (en) 2007-04-11
EP1450565A1 (en) 2004-08-25
CN101035290A (zh) 2007-09-12
CN101035291A (zh) 2007-09-12
DE60329239D1 (de) 2009-10-22
CN1518835A (zh) 2004-08-04
US20040146105A1 (en) 2004-07-29
ATE401744T1 (de) 2008-08-15
EP1739972A8 (en) 2007-02-28
US8009733B2 (en) 2011-08-30
KR100944851B1 (ko) 2010-03-04
CN1312936C (zh) 2007-04-25
JP2008182769A (ja) 2008-08-07
US20120250770A1 (en) 2012-10-04
DE60322276D1 (de) 2008-08-28
US20060285591A1 (en) 2006-12-21
KR100976672B1 (ko) 2010-08-18
US20150312566A1 (en) 2015-10-29
US20180041772A1 (en) 2018-02-08
ES2329711T3 (es) 2009-11-30
US20170013273A1 (en) 2017-01-12
US8208542B2 (en) 2012-06-26
KR20080041745A (ko) 2008-05-13
US9706224B2 (en) 2017-07-11
US20080069215A1 (en) 2008-03-20
CN100581260C (zh) 2010-01-13
ES2306380T3 (es) 2008-11-01
US9813728B2 (en) 2017-11-07
JP2004007563A (ja) 2004-01-08
CN101035291B (zh) 2011-05-04
EP1739972A2 (en) 2007-01-03
KR100944853B1 (ko) 2010-03-04
EP1739973B1 (en) 2008-07-16
EP1450565B1 (en) 2009-01-07
CN101035290B (zh) 2010-05-26
EP1742481B1 (en) 2009-09-09
EP1742481A3 (en) 2007-04-11
US7515635B2 (en) 2009-04-07
ATE401743T1 (de) 2008-08-15
US20180041771A1 (en) 2018-02-08
EP1450565A4 (en) 2006-03-22
KR20040105547A (ko) 2004-12-16
ES2306381T3 (es) 2008-11-01
EP1742481A2 (en) 2007-01-10
EP1739973A2 (en) 2007-01-03
JP2008193735A (ja) 2008-08-21
ATE420535T1 (de) 2009-01-15
US9473774B2 (en) 2016-10-18
JP4718578B2 (ja) 2011-07-06
KR100944852B1 (ko) 2010-03-04
DE60322277D1 (de) 2008-08-28
US9813729B2 (en) 2017-11-07
AU2003235173A1 (en) 2003-11-03
US20150288978A1 (en) 2015-10-08
KR20080041746A (ko) 2008-05-13
WO2003090474A1 (en) 2003-10-30
US8204112B2 (en) 2012-06-19
EP1739972B1 (en) 2008-07-16
JP4722153B2 (ja) 2011-07-13
US20080069216A1 (en) 2008-03-20

Similar Documents

Publication Publication Date Title
KR100944852B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR100985366B1 (ko) 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법
JP2008187734A (ja) フィルタリング強度決定方法
JP2004096705A (ja) 動きベクトル符号化方法および動きベクトル復号化方法
JP5085671B2 (ja) 復号化システムおよび復号化装置
JP4580626B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4580901B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2004040512A (ja) 画像符号化方法および画像復号方法
KR100943563B1 (ko) 동화상 부호화 장치 및 동화상 복호화 장치
JP4580903B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2005341545A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20080408

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090727

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100111

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100222

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100222

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130130

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140204

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150120

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150120

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160119

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170119

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20180209

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20180209

Start annual number: 9

End annual number: 9

PC1801 Expiration of term

Termination date: 20231016

Termination category: Expiration of duration