[go: up one dir, main page]

KR100950388B1 - 화상 부호화 방법 및 화상 복호화 방법 - Google Patents

화상 부호화 방법 및 화상 복호화 방법 Download PDF

Info

Publication number
KR100950388B1
KR100950388B1 KR1020037013810A KR20037013810A KR100950388B1 KR 100950388 B1 KR100950388 B1 KR 100950388B1 KR 1020037013810 A KR1020037013810 A KR 1020037013810A KR 20037013810 A KR20037013810 A KR 20037013810A KR 100950388 B1 KR100950388 B1 KR 100950388B1
Authority
KR
South Korea
Prior art keywords
picture
decoding
information
memory
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1020037013810A
Other languages
English (en)
Other versions
KR20040099096A (ko
Inventor
가도노신야
곤도사토시
하가이마코토
아베기요후미
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20040099096A publication Critical patent/KR20040099096A/ko
Application granted granted Critical
Publication of KR100950388B1 publication Critical patent/KR100950388B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

다수의 화상 신호를 부호화하여 각 화상에 대한 부호화 신호를 생성하는 화상 부호화 방법으로서, 상기 다수의 부호화 신호를 전환 가능한 전환 픽처 및 전환 픽처 이후부터 참조할 수 있는 픽처는 상기 부호화 신호에서 동일한 시각의 픽처군만인 화상 부호화 방법이다. 보다 상세하게는, S 픽처의 전후에서 픽처 번호가 불연속인 경우에 에러로 취급하지 않도록 처리한다.

Description

화상 부호화 방법 및 화상 복호화 방법{VIDEO CODING METHOD AND VIDEO DECODING METHOD}
본 발명은, 동화상 신호를 화면간 상관을 이용하여 효율적으로 압축하는 화상 부호화 방법과 이것을 바르게 복호화하는 화상 복호화 방법, 및 이것을 소프트웨어에서 실시하기 위한 프로그램이 기록된 기록매체에 관한 것이다.
최근, 음성, 화상, 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문, 잡지, 텔레비젼, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로 받아들여지고 있다. 일반적으로 멀티미디어란, 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 나타내는 것을 말하는데, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수조건이 된다.
그런데, 상기 각 정보 미디어가 가지는 정보량을 디지털 정보량으로서 추산해보면, 문자의 경우 1문자당 정보량은 1∼2바이트인데 대해, 음성의 경우 1초당 64kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전 수신 품질) 이상의 정보량이 필요해지고, 상기 정보 미디어에서 그 방대한 정보를 디지 털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는 64kbps∼1.5Mbps의 전송 속도를 가지는 서비스 종합 디지털망(ISDN : Integrated Services Digital Network)에 의해서 이미 실용화되어 있는데, 텔레비전 ·카메라의 영상을 그대로 ISDN으로 보내는 것은 불가능하다.
그래서, 필요해지는 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제전기통신연합 전기통신 표준화부문)에서 국제 표준화된 H. 261이나 H.263 규격의 동화상 압축 기술이 이용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 ·디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능해진다.
여기서, MPEG(Moving Picture Experts Group)란, 동화상 신호의 디지털 압축의 국제 규격이고, MPEG-1는, 동화상 신호를 1.5Mbps까지, 즉 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또, MPEG-1 규격에서는 대상으로 하는 품질을 전송 속도가 주로 약 1.5Mbps에서 실현할 수 있는 정도의 중간 정도의 품질로 하였으므로, 한층더 고 화질화의 요구를 만족시키기 위해서 규격화된 MPEG-2에서는 동화상 신호를 2∼15 Mbps로 압축한다.
또한 현 상태에서는, MPEG-1, MPEG-2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해, 보다 압축률이 높은 MPEG-4가 규격화되었다. MPEG-4에서는, 당초, 저 비트 레이트로 효율이 높은 부호화가 가능하게 될뿐만 아니라, 전송로 오류가 발생하더라도 주관적인 화질 열화를 작게 할 수 있는 강력한 오류 내성 기술도 도입되어 있다. 또, ISO/IEC와 ITU-T 공동으로 차세대 화 면 부호화 방식으로서, JVT(Joint Video Team)의 표준화 활동이 진행되고 있고, 현시점에서는 조인트 ·모델2(JM2)이라고 불리는 것이 최신이다.
참조 화상을 가지지 않고 화면내 예측 부호화를 행하는 것을 I 픽처라고 부른다. 또, 1매의 픽처만을 참조하여 화면간 예측 부호화를 행하는 것을 P 픽처라고 부른다. 또, 동시에 2매의 픽처를 참조하여 화면간 예측 부호화를 행할 수 있는 것을 B 픽처라고 부른다.
여기서, 픽처란 1매의 화면을 표시하는 용어로, 프로그래시브 화상에서는 프레임을 의미하고, 인터레이스 화상에서는 프레임 또는 필드를 의미한다. 여기서, 인터레이스 화상이란, 1개의 프레임이 시각(時刻)이 다른 2개의 필드로 구성되는 화상이다. 인터레이스 화상의 부호화나 복호화 처리에서는, 1개의 프레임을 프레임대로 처리하거나, 2개의 필드로서 처리하거나, 프레임 내의 블록마다 프레임 구조 또는 필드 구조로서 처리하거나 할 수 있다.
JVT에서는, 종래의 동화상 부호화와 달리, 전방 참조 화상으로서 다수의 화상(픽처)으로부터 임의의 화상(픽처)을 참조 화상으로서 선택하는 것이 가능하다. 또, 부호화한 스트림을 특정한 픽처로 전환 가능하게 하는 구조를 도입하여, S 픽처(SI 픽처 및 SP 픽처라고 부르며, 각각 S 픽처로 화면내 예측 부호화, 화면간 예측 부호화에 대응함)가 도입되었다.
S 픽처는, 다수의 스트림으로부터, S 픽처 직전에 스트림을 전환하더라도 S 픽처 이후의 스트림을 바르게 복호화할 수 있는 것을 보증하는 구조이며, 동화상 전송 서버 등에서 수신 단말과의 사이의 통신 용량이나 수신자의 기호에 맞추어, 서버에서 스트림을 전환하는 것이 가능해진다.
또한, 이러한 종래의 화상 부호화 방법 및 화상 복호화 방법에서는, (1) 전방 참조 화상으로서 다수의 화상(픽처)으로부터 임의의 화상(픽처)을 참조 화상으로서 선택할 수 있도록 하고, (2) 특정한 픽처로 스트림을 전환할 수 있도록 S 픽처를 도입했다. 그러나, 이와 같이 2개의 기술이 도입되어 있음에도 불구하고, 유감스럽게도 그 양자를 조합한 경우에 대해 발생하는 문제에 대해서는 충분히 고려되어 있지 않고, 이하에 기재하는 과제에 의해, 실제로는 양자를 병용하는 것이 곤란하였다.
도 1은 입력 화상 신호(Vin)를 부호화한 경우의 픽처와 픽처 번호(PN)의 대응을 설명하는 도면이다. 스트림 1, 스트림 2, 스트림 3은 동일한 화상 신호를 다른 픽처 레이트(1초당 픽처 수)로 부호화한 것이다. 픽처 번호(PN)는 부호화한 픽처를 식별하기 위한 번호이고, JM2에서는 참조 화상으로서 후속의 부호화에서 참조되는 것은 「1」씩 증가하는 번호가 할당되게 되어 있다. 설명을 간단히 하기 위해서, 도 1의 예에서는 각 스트림에서 모든 픽처를 후속의 부호화에서 참조되는 것으로 하고, 픽처 번호(PN)의 값이 항상 「1」씩 증가하는 경우만 기재하고 있다. 후속의 부호화에서 참조되지 않는 픽처는 픽처 번호(PN)의 증감에 영향을 주지 않고, 메모리에도 보존되지 않는다. 따라서, 후속의 부호화에서 참조되지 않는 픽처에 관해서는, 이후의 동작의 설명에는 영향을 주지 않으므로, 설명을 생략한다.
또한, 도 1에 도시하는 바와 같이, 시각(t3)에서, 각 스트림의 사선으로 표시되는 픽처는 S 픽처로서 부호화된다. 도 2는 S 픽처를 부호화 및 복호화할 때 에, 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)를 도시하는 도면이다.
도 2는 참조 화상 메모리(Mem)에 기억되어 있는 화상 및 그 위치를 나타내고 있다. 참조 화상 메모리(Mem) 내에서 좌측 위치의 픽처는 우측 위치에 격납되어 있는 픽처보다 시각이 새롭다. 예측 부호화할 때에는, 부호화 및 복호화에서 동일한 화상을 참조할 필요가 있고, JM2와 같이 다수의 참조 화상으로부터 참조 화상을 선택 가능한 경우에는 어떤 화상을 참조했는지를 명시할 필요가 있다.
참조 화상을 명시하기 위해서는 하기의 2가지 방법이 있고, JM2에서는 목적에 따라 양자를 구분하여 사용하고 있다.
① 시각이 새로운 것으로부터 몇 픽처 전인지의 정보를 명시함
② 픽처 번호(PN)에 의해서 참조하는 픽처를 명시함
S 픽처로 스트림을 전환했을 때에, S 픽처 및 S 픽처보다 후의 픽처를 바르게 부호화하고, 또한, 복호화 시점에서 바르게 복호화할 수 있기 위해서는, S 픽처로 어느 스트림에서 어느 스트림으로 전환한 경우라도, 참조 화상 메모리(Mem)의 내용이 일치해 있지 않으면 안 된다.
그러나, 도 2의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도로부터 명백한 바와 같이, 스트림마다 S 픽처 부호화 ·복호화 개시 시점에서 참조 화상 메모리(Mem)의 내용이 일치해 있지 않으므로, 종래의 방법 그대로는, 참조 화상 메모리(Mem) 내에서 참조 픽처를 선택하는 부호화 방법과, 스트림을 전환하는 S 픽처의 구조를 조합하여 사용하는 것은 불가능하다.
그래서, 본 발명은 이상의 과제를 해결하여, S 픽처의 구조가 참조 화상 메모리(Mem) 내에서 참조 픽처를 선택하는 부호화 방법과 조합하여 사용할 수 있도록 하고, S 픽처를 이용한 경우라도 상기 부호화 수법에서의 압축률을 향상시킬 수 있는 화상 부호화 방법 및 화상 복호화 방법을 제공하는 것을 목적으로 한다.
이 과제를 해결하기 위해서,
제1 발명은, 메모리에 격납한 참조 픽처를 픽처 번호에 의해서 특정하여 참조하고, 동화상의 부호화 스트림을 생성하는 화상 부호화 방법으로서, 부호화 대상 픽처에 대응하는 픽처 번호를 부호화하는 픽처 번호 부호화 단계와, 해당 부호화 대상 픽처를 부호화하는 부호화 단계와, 상기 부호화 단계의 실행 후, 상기 부호화 대상 픽처 이외의 픽처로 메모리에 기억되어 있는 픽처를 모두 불사용(不使用)으로 하는 전체 픽처 불사용화 단계와, 메모리 내의 상기 부호화 대상 픽처의 픽처 번호를 초기화하는 픽처 번호 초기화 단계와, 화상 복호화 장치에 대해, 상기 부호화 대상 픽처 이외의 픽처로 이미 메모리에 격납되어 있는 픽처를 모두 불사용으로 하는 것을 지시하는 전체 픽처 불사용화 정보를 부호화하는 전체 픽처 불사용화 정보 부호화 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법이다.
제2 발명은, 메모리에 격납한 참조 픽처를 픽처 번호에 의해서 특정하여 참조하고, 동화상의 부호화 스트림을 복호화하는 화상 복호화 방법으로서, 부호화 스트림으로부터, 복호화 대상 픽처 이외의 픽처로, 이미 메모리에 격납되어 있는 픽처를 모두 불사용으로 하는 것을 의미하는 전체 픽처 불사용화 정보를 검출하여 복 호화하는 전체 픽처 불사용화 정보 복호화 단계와, 상기 부호화 스트림으로부터 상기 복호화 대상 픽처를 복호화하는 복호화 단계와, 상기 복호화 단계의 실행 후에, 복호화된 상기 전체 픽처 불사용화 정보에 따라서, 상기 복호화 대상 픽처 이외의 픽처로, 이미 메모리에 격납되어 있는 픽처를 모두 불사용으로 하는 전체 픽처 불사용화 단계와, 메모리 내의 상기 복호화 대상 픽처에 대해, 초기화된 새로운 픽처 번호를 부여하는 픽처 번호 초기화 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법이다.
제3 발명은, 다수의 화상 신호를 부호화하여 각 화상에 대한 부호화 신호를 생성하는 화상 부호화 방법으로서, 상기 다수의 부호화 신호를 전환 가능한 전환 픽처 및 전환 픽처 이후부터 참조할 수 있는 픽처는 상기 부호화 신호에서 같은 시각의 픽처군만인 화상 부호화 방법이다.
제4 발명은, 부호화 신호를 복호화하는 화상 복호화 방법으로서, 전환 가능한 전환 픽처의 앞에서 불사용으로 한 픽처의 정보를 복호화하고, 상기 복호화한 결과에 근거하여 참조 화상 메모리로부터 복호화한 픽처를 불사용으로 하고, 전환 픽처 이후에는 불사용으로 되지 않은 참조 픽처만을 참조하여 부호화 신호를 복호화하는 화상 복호화 방법이다.
제5 발명은, 다수의 화상 신호를 부호화하여 각 화상에 대한 부호화 신호를 생성하는 화상 부호화 방법으로서, 상기 다수의 부호화 신호를 전환 가능한 전환 픽처의 픽처 번호를 상기 각 부호화 신호에서 동일한 값으로 변경하는 구조를 갖는 화상 부호화 방법이다.
제6 발명은, 부호화 신호를 복호화하는 화상 부호화 방법으로서, 상기 부호화 신호를 전환 가능한 전환 픽처로 전환할 때에, 참조 픽처의 픽처 번호를 전환할 수 있는 부호화 신호에서 동일한 값으로 변경하는 구조를 갖는 화상 복호화 방법이다.
이상과 같이, 본 발명에 관한 화상 부호화 방법 및 화상 복호화 방법에 의하면, S 픽처의 구조와 참조 화상 메모리(Mem) 내에서 참조 픽처를 선택하는 부호화 방법을 조합하여 사용할 수 있도록 하고, S 픽처를 이용한 경우라도 상기 부호화 방법에서의 압축률을 향상시킬 수 있는 화상 부호화 방법 및 화상 복호화 방법을 제공할 수 있어, 그 실용적 가치는 높다.
또한, 본 명세서는 이전의 일본국 특허출원「특원 2002-112787」,「특원 2002-192533」,「특원 2002-204718」,「특원 2003-92490」및 미국 가출원「60/377638」의 내용을 포함한다.
도 1은 입력 화상 신호(Vin)를 부호화한 경우의 픽처와 픽처 번호(PN)의 대응을 설명하는 도면,
도 2는 S 픽처를 부호화 및 복호화할 때에, 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)를 도시하는 도면,
도 3은 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도,
도 4(a), 도 4(b) 및 도 4(c)는 본 발명의 화상 부호화 방법 및 화상 복호화 방법의 참조 화상 메모리(Mem)에 격납되는 화상 제어에 관한 정보의 부호화 방법 및 복호화 방법의 플로 차트,
도 5(a) 및 도 5(b)는 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도,
도 6(a), 도 6(b) 및 도 6(c)는 본 발명의 화상 부호화 방법 및 화상 복호화 방법의 참조 화상 메모리(Mem)에 격납되는 화상 제어에 관한 정보의 부호화 방법 및 복호화 방법의 플로 차트,
도 7은 본 발명의 입력 화상 신호(Vin)를 부호화한 경우의 픽처와 픽처 번호(PN)의 대응 설명도,
도 8(a) 및 도 8(b)는 본 발명의 화상 복호화 방법의 참조 화상 메모리(Mem)에 격납되는 화상 제어에 관한 정보의 복호화 방법의 플로 차트,
도 9는 본 발명의 화상 부호화 장치의 구성을 도시하는 블록도,
도 10(a), 도 10(b), 도 10(c) 및 도 10(d)은 본 발명의 부호화 신호(Str)의 데이터 구성의 일례를 도시하는 도면,
도 11은 본 발명의 화상 복호화 장치의 구성을 도시하는 블록도,
도 12는 본 발명의 입력 화상 신호(Vin)를 부호화한 경우의 각 픽처와 픽처 번호(PN)의 대응 설명도,
도 13은 본 발명의 스트림의 각 픽처에 픽처 번호를 부여하여 부호화하는 방법을 도시하는 플로 차트,
도 14는 본 실시 형태 7에서의 복호화 방법을 도시하는 플로 차트,
도 15는 본 실시 형태 7에서의 메모리 구조를 도시하는 도면,
도 16(a) 및 도 16(b)은 본 실시 형태 7에서의 부호화 방법을 도시하는 플로 차트,
도 17(a) 및 도 17(b)은 본 실시 형태 7에서의 다른 부호화 방법을 도시하는 플로 차트,
도 18은 본 실시 형태 7에서의 다른 부호화 방법을 도시하는 플로 차트,
도 19는 본 실시 형태 8에서의 부호화 장치의 구성을 도시하는 블록도,
도 20은 본 실시 형태 8에서의 다른 부호화 장치의 구성을 도시하는 블록도,
도 21(a) 및 도 21(b)는 본 실시 형태 10에서의 복호화 방법을 도시하는 플로 차트,
도 22는 본 실시 형태 11에서의 복호화 장치의 구성을 도시하는 블록도,
도 23(a) 및 도 23(b)는 부호화 신호의 작성순서 및 부호화 신호의 복호화 순서를 도시하는 플로 차트,
도 24는 본 실시 형태 12의 부호화 방법을 실현하는 화상 부호화 장치의 구성을 도시하는 블록도,
도 25는 본 실시 형태 12의 복호화 방법을 실현하는 화상 복호화 장치의 구성을 도시하는 블록도,
도 26은 실시 형태 1 내지 실시 형태 12의 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하는 기억매체에 대한 설명도,
도 27은 본 발명에 관한 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템 의 전체 구성을 도시하는 블록도,
도 28은 본 발명에 관한 휴대 전화의 일례를 도시하는 도면,
도 29는 이 휴대 전화의 구성을 도시하는 블록도,
도 30은 본 발명에 관한 디지털 방송용 시스템의 구성을 도시하는 도면이다.
이하, 본 발명의 실시 형태에 대해서, 도 3 내지 도 30을 이용하여 설명한다.
(실시 형태 1)
도 3은 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도이다. 이 도면과, 도 2의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도의 차이를 이하에서 설명한다.
종래는 S 픽처를 부호화·복호화 할 때에, 스트림을 전환하면 참조 화상 메모리(Mem)의 내용이 일치하지 않는 것을 설명했다. 그래서, 본 발명의 부호화 ·복호화 방법에서는, 도 1의 입력 화상 신호(Vin)를 부호화한 경우의 픽처와 픽처 번호(PN)의 대응 설명도에서, 모든 스트림에서 픽처가 일치하는 시각(t0, t1, t2)의 화상만을 참조 화상 메모리(Mem)에 기억하고, 그 이외의 화상을 S 픽처의 부호화 ·복호화 전에 참조 화상 메모리(Mem)에서 삭제한다. 그 결과를 나타내는 것이 도 3의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도이다.
도 3의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도로부터 명백한 바와 같이, 부호화 ·복호화에서 참조 화상을 명시하는 경우에, 「시 각이 새로운 것으로부터 몇 픽처 전인지의 정보를 명시한다」라는 방법을 이용하면, 스트림 1, 스트림 2, 스트림 3의 어느 경우라도 동일한 시각의 화상을 참조하게 되므로, 부호화 ·복호화를 바르게 행할 수 있게 된다.
도 4는 본 발명의 화상 부호화 방법 및 화상 복호화 방법의 참조 화상 메모리(Mem)에 격납되는 화상 제어에 관한 정보의 부호화 방법 및 복호화 방법의 플로 차트이다.
도 4(a)의 부호화 방법의 플로 차트는, 도 3을 이용하여 설명한 동작의 실현 방법과 이것을 위해 필요한 정보의 부호화 ·복호화 방법을 도시한다.
단계 0에서는 다수의 부호화 정보(스트림) 중에서 시각이 동일한 픽처를 선택한다. 단계 1에서는 단계 0에서 선택한 이외의 픽처를 삭제하는 것을 나타내는 삭제 정보를 부호화한다. 단계 2에서는 단계 0에서 선택한 이외의 픽처를 참조 화상 메모리(Mem)에서 삭제한다. 이상과 같이 하여, 도 3에 도시하는 바와 같이, 부호화 신호를 전환해도 복호 가능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 실현할 수 있다.
또한, 단계 1과 단계 2의 순서는 교체해도 되고, 그 경우는 도 4(b)에 도시하는 화상 부호화 방법의 플로 차트가 된다.
도 4(a)의 부호화 방법의 플로 차트에서 부호화한 삭제 정보를 도 4(c)의 복호화 방법의 플로 차트에서 나타내는 방법으로 복호화함으로써, 도 3에 도시하는 바와 같이, 부호화 신호를 전환해도 복호 가능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 화상 복호화 방법으로 실현할 수 있다.
단계 5에서 삭제 정보를 복호화함으로써, 다수의 부호화 정보(스트림) 중에서 시각이 동일하지 않은 픽처를 명시할 수 있다. 이것은 도 4(a)의 단계 0에서 선택한 시각이 동일한 픽처 이외의 것에 상당한다. 다음에, 단계 6에서는, 단계 5에서 선택한 픽처를 참조 화상 메모리(Mem)에서 삭제한다. 구체적으로는, 참조 화상 메모리(Mem) 내에 보존되어 있는 픽처를 삭제(또는 소거)하는 경우, 삭제되어야 하는 픽처에, 참조 화상으로서 사용하는 것을 금지하는 「불사용」등의 식별 정보를 설정함으로써 행한다. 이것에 대응하여, 화상 복호화 유닛(PicDec)과 화상 부호화 유닛(PicEnc)은, 참조 화상 메모리(Mem) 내에 보존되어 있는 픽처를 참조할 때에는 반드시 「불사용」의 식별 정보가 설정되어 있는지 여부를 확인하고, 「불사용」의 식별 정보가 설정되어 있는 경우에는 그 픽처를 참조하지 않고, 「불사용」의 식별 정보가 설정되어 있지 않은 픽처만을 참조한다. 이하의 실시 형태에서도 마찬가지로 하여 참조 화상 메모리(Mem) 내의 픽처를 삭제(또는 소거)한다. 물론, 이 삭제 방법은 일례이고, 참조 화상 메모리(Mem) 내에서 상기 픽처의 데이터를 실제로 삭제(또는 소거)해 버림으로써 삭제해도 되는 것은 말할 필요도 없다. 이상과 같이 하여, 부호화 신호를 전환해도, 도 3에 도시하는 바와 같이 복호 가능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 실현할 수 있다.
(실시 형태 2)
도 5(a)는 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도이다. 도 5(a)와 도 3의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도의 차이는, 참조 화상 메모리(Mem) 내의 픽처 번호(PN)가 일치하 는지 여부이다.
참조 화상 메모리(Mem) 내에 보존되어 있는 픽처의 시각뿐만 아니라, 참조 화상 메모리(Mem) 내의 픽처 번호(PN)도 모든 부호화 신호에서 일치됨으로써, 부호화 ·복호화에서 참조 화상을 명시하는 경우에, 「픽처 번호(PN)에 의해 참조하는 픽처를 명시한다」라는 방법이 이용 가능하게 되고, 스트림 1, 스트림 2, 스트림 3의 어느 경우라도 같은 시각의 화상을 참조하게 되므로, 부호화 ·복호화를 바르게 행할 수 있게 된다.
이것을 실현하기 위해서는, S 픽처의 부호화 ·복호화 전에, 참조 화상 메모리(Mem) 내에 보존되어 있는 픽처의 픽처 번호(PN)를 같은 값으로 교체하고, 그 교체를 위한 정보를 부호화 ·복호화하면 된다.
또한, 다음에 S 픽처를 보존할 때에도 같은 픽처 번호(PN)으로서 보존하지 않으면 안 되기 때문에, S 픽처의 픽처 번호(PN)도, 어떤 스트림의 경우라도 일치시킬 필요가 있다.
도 6은 본 발명의 화상 부호화 방법 및 화상 복호화 방법의 참조 화상 메모리(Mem)에 격납되는 화상 제어에 관한 정보의 부호화 방법 및 복호화 방법의 플로 차트로, 도 5(a)를 이용하여 설명한 동작의 실현 방법과 이것을 위해 필요한 정보의 부호화 ·복호화 방법을 도시한다.
단계 10에서는 전환 대상의 부호화 신호에서 참조 화상 메모리(Mem)에 포함되어 있는 픽처의 픽처 번호(PN)의 최대값(도 5(a)의 예에서는 8)을 검출한다. 단계 12에서는 픽처 번호(PN)의 최대값을 기준으로 하여, 참조 화상 메모리(Mem)에 격납되어 있는 각 픽처의 픽처 번호(PN)를 다시 할당하기 위한 정보를 부호화한다. 또, 필요에 따라, 다음 S 픽처에 할당되어야 하는 픽처 번호(PN)도 부호화한다. 또한, 도 5(a)의 스트림 3과 도 3의 스트림 3은 동일하므로, 스트림 3에 대해서는 다시 할당할 필요는 없다. 따라서, 픽처 번호(PN)의 재할당은 필요한 것만 실시하고, 필요한 재할당의 정보만 단계 11에서 부호화하면 된다. 최후에 단계 11에서 부호화한 정보로 표시하는 픽처 번호(PN)의 재할당을 단계 12에서 실시한다. 이상과 같이 하여, 도 5에 도시하는 바와 같이, 부호화 신호를 전환해도 복호 가능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 실현할 수 있다.
또, S 픽처의 픽처 번호(PN)는 12이므로, S 픽처의 부호화 ·복호화 후에 픽처 번호(PN)가 연속하도록 하기 위해서는, 도 5(b)에 도시하는 바와 같이 S 픽처 직전의 픽처 번호(PN)(도 1의 스트림1의 S 픽처 직전)인 11을 이용해도 된다. 이 경우는 S 픽처의 픽처 번호(PN)는 12이므로, 부호화 ·복호화 과정에서 항상 픽처 번호(PN)가 증가하게 되고, 픽처 번호(PN)가 감소한 경우를 에러로 하는 에러 검출 기능도 실현할 수 있어 보다 효과적이다.
도 7은 본 발명의 입력 화상 신호(Vin)를 부호화한 경우의 픽처와 픽처 번호(PN)의 대응 설명도이다. 도 7은 도 5(b)에서 설명한 방법으로 픽처 번호(PN)의 재할당을 한 예이고, S 픽처로 픽처 번호(PN)가 모두 12로 되어 있고, S 픽처 부호화 ·복호화 할 때에 참조 화상 메모리(Mem)의 화상이 스트림에 의존하지 않고 일정하면, S 픽처로 스트림을 전환해도, S 픽처 이후의 모든 화상을 바르게 복호화 할 수 있는 것은 명백하다.
또한, 단계 11과 단계 12의 순서는 교체해도 되고, 그 경우는 도 6(b)에 도시하는 화상 부호화 방법의 플로 차트로 된다.
도 6(a)의 부호화 방법의 플로 차트에서 부호화한 삭제 정보를 도 6(c)의 복호화 방법의 플로 차트에서 도시하는 방법으로 복호화함으로써, 도 5(a)에 도시하는 바와 같이, 부호화 신호를 전환해도 복호 가능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 화상 복호화 방법으로 실현할 수 있다.
단계 15에서 픽처 번호(PN)의 재할당 정보를 복호화함으로써, 픽처 번호(PN)의 재할당이 필요한 화상과 그 방법을 특정할 수 있다. 다음에, 단계 16에서는, 단계 15에서 복호화한, 픽처 번호(PN)의 재할당이 필요한 화상과 그 방법에 근거하여, 참조 화상 메모리(Mem)의 픽처 번호(PN)의 재할당을 행한다. 이상과 같이 하여, 부호화 신호를 전환해도, 도 5에 도시하는 바와 같이 복호 가능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 실현할 수 있다.
또한, 본 실시 형태에서는, 실시 형태 1과 조합시킨 형에서의 유효성을 설명했는데,「픽처 번호(PN)에 의해서 참조하는 픽처를 명시하는」경우에 바르게 부호화 ·복호화 할 수 있다는 장점은 실시 형태 2만으로 실현할 수 있는 것이고, 이 효과만으로 충분한 경우는 실시 형태 1과 조합하지 않고 이용하는 것도 가능하다.
(실시 형태 3)
도 8은 도 5의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도를 실현하기 위한 다른 실시 형태이다.
픽처의 타입은 픽처 타입 정보(PicType)로 식별된다. 따라서, 픽처 타입 정 보(PicType)가 스트림을 전환 가능한 S 픽처이면, S 픽처의 픽처 번호(PN)에 맞추도록 참조 화상 메모리(Mem)의 픽처 번호(PN)의 재할당을 행하는 규칙을 정함으로써, 참조 화상 메모리(Mem)의 개개의 픽처 번호의 재할당 방법의 정보의 부호화 ·복호화를 생략할 수 있다.
이하, 도 8(a)의 동작을 설명한다. 단계 20에서는 부호화 신호를 복호화하여 화상의 픽처 번호(PN)를 취득한다. 단계 21에서 취득한 화상의 픽처 타입 정보(PicType)를 취득하고, 그 픽처 타입 정보(PicType)가 S 픽처이면, 단계 22에서 소정의 방법을 이용하여 S 픽처의 픽처 번호(PN)에 맞추도록 참조 화상 메모리(Mem)의 픽처 번호(PN)의 재할당을 행한다. 이상과 같이 하여, 도 5에 도시하는 바와 같이, 부호화 신호를 전환해도 복호 기능한 스트림을 실현하기 위한 참조 화상 메모리(Mem) 격납 상태를 실현할 수 있다.
또한, 단계 21과 단계 22의 순서는 교체되어도 되고, 그 경우는 도 8(b)에 도시하는 화상 부호화 방법의 플로 차트가 된다.
또, 도 8 및 도 6에 도시하는 도 5의 참조 화상 메모리(Mem)에 격납되는 화상의 픽처 번호(PN)의 설명도를 조합하여, 도 6의 단계 11 및 단계 15에서 픽처 번호(PN)의 재할당 정보의 일부(S 픽처의 픽처 번호(PN)에 맞추도록 참조 화상 메모리(Mem)의 픽처 번호(PN)의 재할당을 행하는 규칙으로 표현할 수 없는 것)만을 부호화 ·복호화해도 된다.
(실시 형태 4)
도 9는 본 발명의 화상 부호화 장치의 구성을 도시하는 블록도이다. 도 9의 본 발명의 화상 부호화 장치의 블록도는 실시 형태 1 및 실시 형태 2의 화상 부호화 방법을 실현하는 일례이다.
픽처 번호 생성 유닛(PNGen)은 픽처 번호(PN)를 생성한다. 픽처 번호(PN)는 참조 화상 메모리(Mem)에 기억되어 있는 화상을 구별하는 식별자이고, 참조 화상 메모리(Mem)에 기억되어 있는 다른 화상에는 다른 픽처 번호(PN)가 부여된다. 통상은, 참조 화상 메모리(Mem)에 화상을 보존할 때마다 픽처 번호(PN)를 1증가하고, 화상 복호화 장치에서 수신한 픽처 번호(PN)가 2 이상 증가한 경우에는 전송로 오류로 보존해야 할 화상이 결락(缺落)된 것을 화상 복호화 장치에서 검출하여 에러 수정 또는 에러 수정 처리를 실시하는 것이 가능하게 되어 있다.
최대 픽처 번호 검출 유닛(MaxPN)은 타부호화 신호 픽처 번호(OtherPN) 및 픽처 번호 생성 유닛(PNGen)에서 생성된 픽처 번호(PN)를 비교하고, 픽처 번호(PN)의 최대값을 검출하여 가변 길이 부호화 유닛(VLC)에 통지하는 동시에, 픽처 번호 생성 유닛(PNGen)에 통지하여 픽처 번호 생성 유닛(PNGen)에서 생성하는 픽처 번호(PN)를 상기 픽처 번호(PN)의 최대값으로 초기화한다. 타부호화 신호 픽처 번호(OtherPN)는, 같은 부호화 대상 픽처에 대응하는 다른 스트림 픽처의 픽처 번호이다. 그 결과, 픽처 번호 생성 유닛(PNGen)은 이후 상기 픽처 번호(PN)의 최대값보다 큰 픽처 번호(PN)를 출력하게 된다.
부호화 픽처 시각 비교 유닛(TimeCmp)은, 지금까지 부호화한 입력 화상 신호(Vin)의 각 픽처의 시각과 다른 부호화 신호(스트림)로서 부호화한 각 픽처의 픽처시각(FrameTime)을 비교하고, 모든 부호화 신호로 부호화되어 있는 시각의 픽 처 정보를 화상 제거 유닛(PicDel)에 통지한다.
화상 제거 유닛(PicDel)은, 픽처 타입 정보(PicType)가 다음 픽처가 S 픽처인 것을 나타내는 경우에는, 부호화 픽처 시각 비교 유닛(TimeCmp)으로부터 통지된 정보에 근거하여, 모든 부호화 신호에서 부호화되어 있는 시각의 픽처 이외의 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령을 참조 화상 메모리(Mem)에 통지하고, 동시에 가변 길이 부호화 유닛(VLC)에도 그 정보를 통지한다.
화상 부호화 유닛(PicEnc)은 참조 화상 메모리(Mem)에 보존되어 있는 화상을 참조하여 픽처 타입 정보(PicType)로 나타내는 픽처 타입으로서 입력 화상 신호(Vin)를 주파수 변환 ·양자화 등을 수반하는 부호화하고, 그 결과를 화상 복호화 유닛(PicDec)이나 가변 길이 부호화 유닛(VLC)에 송신한다. 화상 복호화 유닛(PicDec)은 화상 부호화 유닛(PicEnc)에서 부호화한 결과를 픽처 타입 정보(PicType)로 나타내는 픽처 타입으로서 역양자화 ·역주파수 변환하고, 후속의 화상의 부호화에서 참조하기 위해 픽처 번호(PN)로서 참조 화상 메모리(Mem)에 보존한다.
가변 길이 부호화 유닛(VLC)은, 화상 부호화 유닛(PicEnc)에서 부호화한 결과를 가변 길이 부호화하여 비트 열로 하는 동시에, 복호화에 필요한 정보인, 화상 제거 유닛(PicDel)으로부터 통지된 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하기 위한 정보, 및 상기 픽처 번호(PN)의 최대값이나 픽처 번호(PN)를 부호화하여, 부호화 신호(Str)로서 출력한다. 또, 화상 제거 유닛(PicDel)으로부터 통지된 정보나, 픽처 번호(PN)로부터, 실시 형태 2에 기재한 방법에 근거하여, 참조 화 상 메모리(Mem)에 보존되어 있는 화상의 픽처 번호(PN)를 교체하는 정보도 부호화한다.
도 10에 본 발명의 부호화 신호(Str)의 구성예를 도시한다. 이하 도 10(a)의 각 데이터에 대해서 설명한다.
최초에 픽처 번호(PN)가 부호화된다. 다음에, 교체되어야 하는 최대 PN이나, 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하기 위한 정보, 참조 화상 메모리(Mem)에 보존되어 있는 화상의 픽처 번호(PN)를 교체하는 정보가 부호화된다. 이것에 연속하여 픽처 타입 정보(PicType)나 화상 부호화 유닛(PicEnc)의 출력인 화상 부호화 데이터가 배치된다.
또한, 도 10(a)은 단순히 데이터 배치의 일례이고, 도 10(b)과 같이 데이터의 순서를 교체하여 실현하는 것도 가능하다.
이상의 구성에 의해, 실시 형태 1 및 실시 형태 2의 화상 부호화 방법을 실현하는 화상 부호화 장치를 실현할 수 있다.
(실시 형태 5)
도 11은 본 발명의 화상 복호화 장치의 구성을 도시하는 블록도이다. 도 11의 본 발명의 화상 복호화 장치의 블록도는, 실시 형태 1, 실시 형태 2 및 실시 형태 3을 실현하는 화상 복호화 장치의 일례이다. 이하 그 동작을 설명한다.
가변 길이 복호화 유닛(VLD)은 부호화 신호(Str)를 복호화하여, 다양한 정보(참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령, 픽처 타입 정보(PicType), 픽처 번호(PN), 픽처 번호(PN)를 교체하는 정보 및 화상 데이터 등) 를 출력한다.
먼저, 가변 길이 복호화 유닛(VLD)에서 얻어진 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령은, 화상 제거 유닛(PicDel)에 통지되고, 화상 제거 유닛(PicDel)은 참조 화상 메모리(Mem)에 보존되어 있는 지령된 화상을 소거한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 픽처 타입 정보(PicType)는, 화상 복호화 유닛(PicDec)에 통지되어 복호화 방법을 지시한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 픽처 번호(PN)는, 참조 화상 메모리(Mem)에 통지되어, 화상 복호화 유닛(PicDec)에서 복호화된 화상을 격납할 때의 픽처 번호(PN)로 한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 참조 화상 메모리(Mem)에 보존되어 있는 화상의 픽처 번호(PN)를 교체하는 정보는, 픽처 번호 변경 유닛(PNchg)에 통지되고, 픽처 번호 변경 유닛(PNchg)은 그 지시에 따라 참조 화상 메모리(Mem) 내에 보존되어 있는 화상의 픽처 번호(PN)를 교체한다. 보다 구체적으로는, 픽처 번호 변경 유닛(PNchg)은, 참조 화상 메모리(Mem)에 보존되어 있는 화상의 픽처 번호(PN)를 독출하고, 독출된 픽처 번호(PN)의 값을 변경한 후, 그 픽처 번호(Mem)를 참조 화상 메모리(Mem)에 기입한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 화상 데이터는, 화상 복호화 유닛(PicDec)에서, 픽처 타입 정보(PicType)로 나타내어지는 픽처 타입에 따른 복호화 방법으로 복호화된다. 즉, I 픽처는 참조 화상 메모리(Mem)의 화상을 참조하 지 않고 복호화되고, P 픽처 및 B 픽처는 참조 화상 메모리(Mem)에 보존되어 있는 화상을 참조하여 복호화된다. 이렇게 하여 얻어진 복호 화상은 참조 화상 메모리(Mem) 내에 보존되는 동시에, 복호 화상 신호(Vout)로서 출력된다.
이상과 같이 하여, 실시 형태 1, 실시 형태 2 및 실시 형태 3을 실현하는 화상 복호화 장치를 실현할 수 있다.
(실시 형태 6)
실시 형태 1 내지 실시 형태 5에 기재한 화상 부호화 장치에서는, S 픽처로 스트림을 전환할 때, 전환할 수 있는 픽처의 픽처 번호와 연속하도록, 전환 가능한 픽처 전의 픽처의 픽처 번호를 전환하도록 되어 있다. 본 실시 형태에서는 전환할 수 있는 픽처의 픽처 번호를 전환한다.
스트림의 전환 예로서는, 동일 화상을 다른 픽처 레이트나 다른 비트 레이트, 다른 픽처 구조를 갖는 다수의 스트림의 부호화에 관해, 부호화를 진행시키고 있는 픽처가 속하는 스트림에서, 그 밖의 스트림에 속하는 픽처로 전환해 부호화를 진행시키는 처리이다. 이하는, 설명의 편의상, 단순히 스트림의 전환이라고 한다.
또한, 본 실시 형태에서는, 부호화 대상의 픽처를 참조 메모리에 보존할지 여부는, 각 스트림에서 부호화 대상의 픽처의 부호화 순서(스트림순)에서 앞에 인접하는 픽처(이하, 앞의 픽처)의 픽처 번호와 부호화 대상의 픽처 번호와의 변화의 정도에 따라서 판단된다. 구체적으로는, 부호화 대상의 픽처의 픽처 번호가 앞의 픽처의 픽처 번호에 대해 「1」증가해 있으면, 부호화 대상의 픽처가 참조 메모리에 보존되는 것을 나타내고 있다. 한편, 부호화 대상의 픽처의 픽처 번호가 앞의 픽처의 픽처 번호에 대해 앞의 픽처 번호와 동일하면, 부호화 대상의 픽처는 참조 메모리에 보존되지 않는 것을 나타내고 있다.
이하, 전환 가능한 픽처에서 픽처 번호를 전환하는 처리에 대해서, 도면을 참조하면서 구체적으로 설명한다.
도 12는 입력 화상 신호(Vin)를 부호화한 경우의 픽처와 픽처 번호(PN)의 대응의 일례를 도시하는 도면이다. 스트림 1, 스트림 2, 스트림 3 각각은, 동일한 화상 신호를 각각 다른 픽처 레이트로 부호화한 것이다. 도 12에서는, 부호화되는 순서에 따라 픽처가, 스트림마다 배열되어 있다.
스트림 1에서는, 각 픽처 사이에서 「1」씩 증가하도록 픽처 번호(PN)가 각 픽처에 할당되어 있다. 또, 스트림 2에서는, 픽처 사이에서 「1」씩 증가하도록 픽처 번호가 할당된 픽처와, 앞의 픽처와 동일한 픽처 번호가 할당된 픽처가 있다. 또한, 스트림 3에서는, 스트림 1과 마찬가지로, 각 픽처 사이에서 「1」씩 증가하도록 픽처 번호(PN)가 각 픽처에 할당되어 있다.
따라서, 스트림 1, 3에서는, 픽처 번호가 각 픽처 사이에서 「1」씩 증가하므로, 부호화 대상의 픽처가 참조 메모리에 보존된다. 스트림 2에서는, 픽처 사이에서 「1」씩 증가하도록 픽처 번호가 할당된 픽처는 참조 메모리에 보존되고, 앞의 픽처와 동일한 픽처 번호가 할당된 픽처는 보존되지 않는다.
또, 스트림 1의 픽처 번호 「0」의 픽처, 스트림 2의 픽처 번호 「0」의 픽처 및 스트림 3의 픽처 번호「0」의 픽처는 시각(t0)에 대응하고 있다. 이하 마찬가지로, 스트림 1의 픽처(F14), 스트림 2의 픽처(F22) 및 스트림 3의 픽처(F31)는 시각(t1)에, 스트림 1의 픽처(F18), 스트림 2의 픽처(F24) 및 스트림 3의 픽처(F32)는 시간(t2)에, 스트림 1의 픽처(F112), 스트림 2의 픽처(F26) 및 스트림 3의 픽처(F33)는 시각(t3)에, 스트림 1의 픽처(F117), 스트림 2의 픽처(F215) 및 스트림 3의 픽처(F34)는 시각(t4)에 대응하고 있다. 또한, 픽처(F112, F26, F33)는 실시 형태 1, 2에서의 S 픽처에 해당한다.
도 12에서, 픽처(BP1, BP2)는 스트림을 전환할 때에 경유되고, 전환 전의 픽처와 전환 후의 픽처와의 사이에서, 전환 후의 픽처가 속하는 스트림에서, 전환 후의 픽처 전의 픽처와 동일한 시각에 대응시켜 부호화되는 스위치 픽처이다.
예를 들면, 스트림 2의 픽처(F026)(전환 전의 픽처)에서 스트림 1의 픽처(F113)(전환 후의 픽처)로 스트림을 전환하는 경우, 픽처(F24)와 픽처(F113)와의 사이에서 시각(t3)의 픽처로서 스위치 픽처(BP1)를 사용한다. 이 경우, 전환 픽처인 스위치 픽처(BP1)의 픽처 번호를, 전환 후의 픽처(F113)의 픽처 번호「13」와 연속하도록 「12」로 변경한다.
또, 마찬가지로, 스트림 3의 픽처(F32)(전환 전의 픽처)에서 스트림 2의 픽처(F213)(전환 후의 픽처)로 스트림을 전환하는 경우, 픽처(F32)와 픽처(F213)와의 사이에서 시각(t3)의 픽처로서 스위치 픽처(BP2)를 사용한다. 이 경우, 전환 픽처인 스위치 픽처(BP2)의 픽처 번호를, 전환 후의 픽처(F213)의 픽처 번호「13」과 연속하도록 변경한다.
이와 같이, 전환 후의 픽처의 픽처 번호와 연속하도록 스위치 픽처의 픽처 번호를 할당함으로써, 스트림마다의 흐름에 따라서 부호화하는 경우와 스트림을 전 환한 경우에서, 전환 후의 픽처의 픽처 번호는 동일한 값으로 된다.
다음에, 스트림을 전환하는 경우에서의, 픽처 번호의 할당 처리의 흐름에 대해서 설명한다.
도 13은 도 12의 스트림의 각 픽처에 픽처 번호를 부여하여 부호화하는 방법을 도시하는 플로 차트이다.
단계 1401에서는, 부호화 대상 픽처가 S픽처인지 여부가 판정된다. 만약에 부호화 대상 픽처가 S 픽처이면, 단계 1402에서, 부호화 대상 픽처의 픽처 번호를 초기값(M)으로 변경한다. 만약에 부호화 대상 픽처가 S 픽처가 아니면, 부호화 대상 픽처의 픽처 번호는 변경되지 않는다.
단계 1403에서는, 부호화 대상 픽처가 S 픽처의 다음 픽처인지 여부가 판정된다. 만약에 부호화 대상 픽처가 S 픽처의 다음 픽처이면 S 픽처가 메모리에 기억되는지 여부의 판단이 단계 1404에서 행해진다. 만약에 부호화 대상 픽처가 S 픽처의 다음 픽처가 아니면, 부호화 대상 픽처가 메모리에 기억되는지 여부가 단계 1405에서 판단된다.
단계 1404에서 S 픽처가 메모리에 기억되는 것으로 판단되었을 때는 단계 1406에서 픽처 번호(M)가 M+1으로 증가되고, 증가된 픽처 번호가 새로운 픽처 번호로 된다.
단계 1404에서 S 픽처가 메모리에 기억되지 않는 것으로 판단되었을 때는, 단계 1407에서 픽처 번호를 M 자신으로 한다(픽처 번호를 변경하지 않는다.). 단계 1405에서는, 부호화 대상 픽처가 메모리에 기억되는지 여부가 판단된다. 부호 화 대상 픽처가 메모리에 기억되는 것으로 판단되었을 때는 단계 1408에서 픽처 번호(PN)가 PN+1으로 증가되고, 증가된 픽처 번호가 새로운 픽처 번호로 된다.
부호화 대상 픽처가 메모리에 기억되지 않는 것으로 판단되었을 때는 픽처 번호의 변경은 행해지지 않는다.
단계 1409에서는 대상 픽처가 부호화된다. 단계 1410에서는, 모든 부호화 대상 픽처가 부호화되었는지 여부가 판단된다. 모든 부호화 대상 픽처가 부호화되어 있지 않을 때는 단계 1401로 되돌아가고, 모든 부호화 대상 픽처가 부호화되어 있을 때는 처리를 종료한다.
도 13에 도시하는 처리에 의해서, 스위치 픽처 이후의 픽처에서 픽처 번호가 연속된 부호화 데이터 스트림을 생성할 수 있다.
또, 이와 같이 하여 생성된 부호화 신호(Str)는, 실시 형태 5의 화상 복호화 장치의 복호화 장치에 따라서 복호화하면 된다. 이렇게 하여, 본 실시 형태에서의 부호화 신호를 복호화하는 화상 복호화 장치를 실현할 수 있다.
또, 상기 실시 형태 1에서 실시 형태 6까지 나타낸 부호화 방법 ·복호화 방법은, 휴대 전화나 카 내비게이션 시스템 등의 이동체 통신기기나 디지털 비디오 카메라나 디지털 스틸 카메라 등의 촬영기기에 LSI 등의 반도체에 의해서 실장하는 것이 가능하다. 또, 실장 형식으로는 부호화기 ·복호화기를 모두 가지는 송수신형의 단말 이외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지를 생각할 수 있다.
(실시 형태 7)
복호화 대상 픽처가 참조하는 픽처는 픽처 번호(PN)에 의해서 명시된다. 또 픽처 번호(PN)의 증감에 의해 픽처 번호(PN)의 에러 검출을 할 수 있다. 도 14는, 예를 들면 도 10(b)에 도시하는 픽처 데이터에서, 픽처 번호(PN)를 바탕으로 픽처 번호(PN)의 에러 검출 ·수정을 하는 순서에 대해 도시한다.
먼저 단계 20에서 픽처 번호(PN)를 검출한다. 다음에, 단계 21에서 픽처 타입(PicType)을 검출한다. 그리고, 단계 A2에서 검출된 픽처 번호(PN)가 연속해 있는지 여부를 판단한다. 단계 A2에서 픽처 번호(PN)가 연속해 있으면 픽처 번호(PN)의 에러 검출 ·수정 처리를 종료한다. 한편, 단계 A2에서 픽처 번호(PN)가 연속해 있지 않으면 단계 A3에서 에러 수정을 행한다. 또한, 도 6에 도시하는 최대 보존 완료 PN 검출이나, PN 재할당이라는 처리는, 이 에러 검출 ·수정 처리가 종료하고 나서 실시해도 되고, 이 에러 검출 ·수정 처리와 병렬로 실시해도 된다.
단계 A3에서의 에러 수정의 처리에 관한 제1 방법으로서, 에러가 발생한 픽처 번호(PN)에 관한 데이터의 재송을 요구하고, 재송을 받은 후에 다시 픽처 번호(PN)의 에러 검출을 하는 순서에 따른 처리를 행하는 것을 생각할 수 있다. 그러나, S 픽처에서 픽처 번호(PN)의 불연속은 전송 에러로 생긴 것은 아니다. 즉, S 픽처에서의 픽처 번호(PN)의 불연속은 스트림마다 S 픽처보다 전에 메모리 상에 기억되는 픽처 수가 다를 가능성을 갖고 있기 때문에, 픽처 번호(PN)에 관한 데이터의 재송을 요구하더라도 대응하는 픽처가 존재하지 않을 가능성이 있고, 불연속인 픽처에 대응하는 픽처는 재송할 수 없을 가능성이 많이 있다. 따라서, 재 송되지 않는 픽처를 재송될 때까지 계속 요구하기 때문에, 화상의 재생이 불가능하게 될 우려가 있다. 이 이유에 의해 화상의 재생이 잘 되지 않는 예에 대한 해결 수단에 대해서는, 이하의 실시 형태 10에서 상세히 설명한다.
또, 스트림을 전환한 시점에서, 전환 후의 스트림에 대응하는 메모리 내의 픽처 수가, 전환을 행하지 않는 경우의 스트림에 대응하는 메모리 내의 픽처 수와 완전히 일치해 있지 않으면 화상의 재생을 바르게 행할 수 없을 가능성이 있다.
먼저 메모리는, 도 15에 도시하는 바와 같이 선입선출 메모리인 단시간 보존 메모리와 상기 단시간 보존 메모리보다도 픽처를 장시간 보존하기 위해서 선입선출이 아닌 직접 기억 장소의 지정을 하여 기록하는 장시간 보존 메모리를 갖는다. 단시간 보존 메모리가 7픽처분 보존할 수 있는 크기이고, 장시간 보존 메모리가 4픽처분 보존할 수 있는 경우, 참조하는 픽처는, 메모리에 들어가 있는 픽처 중, 단시간 보존 메모리쪽에서 세어 몇번째로 들어가 있는 픽처인지 여부로 지정한다. 예를 들면 장시간 보존 메모리에 있는 usedLT2는 8번째로 들어가 있는 픽처(ldx=7)라는 것이 가능하다. 이와 같이 상대적인 위치 관계로 참조 픽처는 지정된다.
또 도 7에 도시하는 바와 같이 스트림이 3개 있는 경우, 도 2에 도시하는 바와 같이 동일한 픽처(예를 들면 도 7에 도시하는 S 픽처)를 지정하기 위한 메모리 상의 위치는 각각의 스트림에 따라 다르다. 그리고, S 픽처에 의해 다른 스트림의 픽처를 참조하게 되면, 참조 픽처를 지정하기 위한 메모리 상의 위치는 스트림마다의 메모리에 따라 다르다. 또한, S 픽처란 다수의 스트림이 있고, 소정의 스트림에서 다른 스트림으로 이동할 때에, 이동 전의 스트림의 S 픽처보다 앞에 있는 픽 처를 참조하여 예측 부호화되는 픽처와, 이동 후의 스트림의 S 픽처보다 앞에 있는 픽처를 참조하여 예측 부호화되는 픽처가 동일한 화상이 되는 픽처이다(도 12).
또한, S 픽처가 아니고, I 픽처의 경우라도 참조 메모리 내에서 다수의 스트림으로 복호화한 화상이 완전히 일치하는 경우는, 스트림을 전환할 수 있으므로, I 픽처를 S 픽처와 동일한 용도(스트림 전환)로 이용할 수 있다.
이와 같이 다양한 조건을 가미하면, 메모리 내의 픽처 수가 일치하지 않는 경우에, 참조하는 픽처를 정확히 지정하는 것이 어렵고, 참조하는 픽처를 지정하였다고 해도 에러가 일어날 가능성이 크다.
그래서, 본 실시 형태에서는, 픽처 번호(PN)의 불연속이나, 메모리 내용의 불일치 등의 문제에 의해서 픽처 번호(PN)의 에러 검출 처리가 끝나지 않게 되는 것을 피하기 위해서 이용하는 부가 정보의 부호화 방법과 복호화 방법에 대해서 설명한다. 이 부가 정보(전체 픽처 삭제 정보)란, 화면내 부호화를 행하는 I 픽처나 상기 S 픽처를 부호화한 후의 픽처의 부호화 처리에서 에러가 생기지 않도록, 부호화 대상의 I 픽처나 S 픽처 이외의 픽처를, 부호화 혹은 복호화에서 참조하기 위한 메모리로부터 모두 삭제하는 것을 나타내는 명령이다.
이것에 의해, 소정의 스트림에서 다른 스트림으로 이동한 후에, 다수의 스트림 각각의 메모리 상태가 동일하게 되기 때문에, 화면간 예측 부호화 등에서 참조 픽처를 필요로 하는 경우라도, 소정의 픽처를 메모리 상에서 정확히 지정할 수 있다. 또, 소정의 스트림에서 다른 스트림으로 이동할 때에, 픽처 번호가 연속하지 않는 것을 에러로서 수정하지 않도록 함으로써, 실제로는 존재하지 않는 화상의 재 송을 요구하는 것에 의해서 복호화 할 수 없게 되는 문제도 해소할 수 있다.
이하, 부호화 방법에 대해서 도 16(a)를 이용하여 설명한다. 도 16(a)는 본 실시 형태에서의 부호화 신호의 작성 순서를 도시한다.
먼저 단계 20에서 픽처 번호(PN)를 검출한다. 다음에, 단계 21에서 픽처 타입(PicType)을 검출한다. 그리고 단계 A1에서, 검출된 픽처 타입이 I 픽처인지 여부를 판단한다. 검출된 픽처 타입이 I 픽처이면, 단계 A10에서 부호화 대상의 I 픽처 이외에 메모리 상에 있는 모든 픽처를 삭제한다. 계속해서 단계 A11에서 메모리 상에 있는 모든 픽처를 삭제하는 것을 의미하는 전체 픽처 삭제 정보를 부호화하고, 부가 정보의 부호화 순서를 종료한다.
또한, 도 16(b)에 도시하는 바와 같이, 도 16(a)의 단계 A1를 픽처 타입이 S 픽처인지 여부를 판단하는 단계로 하여도 동일한 부호화 처리가 가능하다. 또, 단계 A1과 단계 A2를 합쳐서, I 픽처인지 또는 S 픽처인지의 판단을 단계 21에서의 픽처 타입의 검출 후에 행해도 된다.
또, 도 17(a)에 도시하는 바와 같이, 단계 21에서의 픽처 타입의 검출을 하고, 단계 A1에서 부호화 대상 픽처가 I 픽처인 경우, 단계 A3과 같이 픽처 번호(PN)가 연속해 있는지 여부를 판단하여, 픽처 번호(PN)가 연속해 있지 않은 경우에, 부호화 대상의 I 픽처 이외에 메모리 상에 있는 모든 픽처를 삭제하도록 해도 된다. 한편, 단계 A3에서 픽처 번호(PN)가 연속해 있으면, 메모리 상의 픽처를 삭제하지 않는다. 픽처 타입으로서 S 픽처를 검출하는 경우도, 도 17(a)와 동일한 설명이 성립한다. 또, 단계 A1과 단계 A2를 합쳐서, I 픽처인지 또는 S 픽처인지 의 판단을 단계 21에서의 픽처 타입의 검출 후에 행해도 된다.
또한, 도 17(a)에 도시하는 단계 A3의 처리 후에 도 17(b)에 도시하는 바와 같이, 메모리 상에 기억되어 있는 픽처 수가 동일한지 여부를 판단하는 단계 A30의 처리를 하고, 픽처 번호가 연속해 있더라도 메모리 상에 기억되어 있는 픽처 수가 달라 에러가 생기는 것을 막도록 해도 된다. 또, 도 17(b)에서의 단계 A3의 처리를 하기 전에 단계 A30의 처리를 하여, 픽처 수가 스트림 사이에서 동 수가 아니면 단계 A10의 전체 픽처 삭제의 처리를 하고, 픽처 수가 스트림 사이에서 동 수이고, 또한, 픽처 번호가 연속이 아니면 단계 A10의 전체 픽처 삭제의 처리를 하도록 해도 된다(도 18).
이와 같이, 도 17에 도시하는 순서에 의해, 참조 화상이 될 가능성이 있는 픽처를 가능한 한 메모리 상에 남기고, 에러를 저감하면서 화상의 재현성을 높일 수 있다. 또, I 픽처 또는 S 픽처에서 메모리 상에 기억되어 있는 픽처 수가 다르거나, 픽처 번호가 연속해 있지 않을 때에, 에러 수정 처리를 필요로 하지 않으므로, 부호화 장치에서의 메모리 관리를 간략화할 수 있다.
또한, I 픽처인 것과 메모리 상에 있는 모든 픽처를 삭제하는 것은, 특별한 I 픽처인 것을 나타내는 픽처 타입에 의해서 나타내어도 된다.
(실시 형태 8)
도 19는 본 발명의 화상 부호화 장치의 구성을 도시하는 블록도이다. 도 19에 도시하는 본 발명의 화상 부호화 장치의 블록도는 도 16의 화상 부호화 방법을 실현하는 일례이다.
픽처 번호 생성 유닛(PNGen)은 픽처 번호(PN)를 생성한다. 픽처 번호(PN)는 참조 화상 메모리(Mem)에 기억되어 있는 화상을 구별하는 식별자이고, 참조 화상 메모리(Mem)에 기억되어 있는 다른 화상에는 다른 픽처 번호(PN)가 부여된다. 통상은, 참조 화상 메모리(Mem)에 화상을 보존할 때마다 픽처 번호(PN)를 「1」증가하고, 화상 복호화 장치에서 수신한 픽처 번호(PN)가 「2」이상 증가한 경우에는 전송로 오류로 보존해야 할 화상이 결락된 것을 화상 복호화 장치에서 검출하여 에러 수정(修整)(에러를 눈에 띄지 않게 하는 것) 또는 에러 수정(修正)(재송에 의해 에러가 없는 픽처를 재생하는 것) 등의 에러 수복 처리를 실시하는 것이 가능하게 되어 있다.
화상 제거 유닛(PicDel3)은, 픽처 타입 정보(PicType)가 S 픽처인 것을 나타내는 경우(도 16의 단계 A2의 처리에 대응)에는, 부호화 대상 픽처 이외의 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령을 참조 화상 메모리(Mem)에 통지하고, 동시에 가변 길이 부호화 유닛(VLC)에도 그 정보를 통지한다.
또는, 화상 제거 유닛(PicDe13)은 픽처 타입 정보(PicType)가 I 픽처인 것을 나타내는 경우(도 16의 단계 A1의 처리에 대응)에는, 부호화 대상 픽처 이외의 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령을 참조 화상 메모리(Mem)에 통지하고, 동시에 가변 길이 부호화 유닛(VLC)에도 그 정보를 통지한다.
화상 부호화 유닛(PicEnc)은 참조 화상 메모리(Mem)에 보존되어 있는 화상을 참조하여 픽처 타입 정보(PicType)로 나타내는 픽처 타입으로서 입력 화상 신호(Vin)를 주파수 변환 ·양자화 등을 수반하는 부호화하고, 그 결과를 화상 복호화 유닛(PicDec)이나 가변 길이 부호화 유닛(VLC)에 송신한다.
화상 복호화 유닛(PicDec)은 화상 부호화 유닛(PicEnc)에서 부호화한 결과를 픽처 타입 정보(PicType)로 나타내는 픽처 타입으로서 역양자화 ·역주파수 변환하고, 후속의 화상의 부호화에서 참조하기 위해서 픽처 번호(PN)로서 참조 화상 메모리(Mem)에 보존한다.
가변 길이 부호화 유닛(VLC)은, 화상 부호화 유닛(PicEnc)에서 부호화한 결과를 가변 길이 부호화하여 비트 열로 하는 동시에, 복호화에 필요한 정보인, 화상 제거 유닛(PicDe13)으로부터 통지된 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하기 위한 정보, 픽처 번호(PN), 픽처 타입 정보(PicType)를 부호화하여, 부호화 신호(Str)로서 출력한다.
도 10(c), (d)에 본 발명의 부호화 신호(Str)의 구성예를 도시한다. 이하 각 데이터에 대해서 설명한다.
최초에 픽처 번호(PN)가 부호화된다. 다음에, 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하기 위한 정보, 계속해서 픽처 타입 정보(PicType)나 화상 부호화 유닛(PicEnc)의 출력인 화상 부호화 데이터가 배치된다.
또한, 도 10(c)는 단순히 데이터 배치의 일례이고, 도 10(d)와 같이 데이터의 순번을 바꿔 실현하는 것도 가능하다.
이상의 구성에 의해, 도 16에 도시하는 화상 부호화 방법을 실현하는 화상 부호화 장치를 실현할 수 있다. 또, 에러 내성이 높은 부호화 장치를 제공할 수 있다.
(실시 형태 9)
도 20은 본 발명의 화상 부호화 장치의 구성을 도시하는 블록도이다. 도 20의 본 발명의 화상 부호화 장치의 블록도는 도 17의 화상 부호화 방법을 실현하는 일례를 도시한다. 또한, 이하의 설명에서 도 19와 동일한 유닛에 관한 설명은 생략한다.
도 20이 도 19와 다른 점은 화상 제거 유닛(PicDe14)에서의 처리이다. 구체적으로는, 화상 제거 유닛(PicDe14)은, 픽처 타입 정보(PicType)가 S 픽처인 것을 나타내는 경우(도 17의 단계 A2의 처리에 대응)에, 메모리 내의 픽처 수를 비교하여 동일하지 않은 경우(도 17의 단계 A30의 처리에 대응)에는, 부호화 대상 픽처 이외의 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령을 참조 화상 메모리(Mem)에 통지하고, 동시에 가변 길이 부호화 유닛(VLC)에도 그 정보를 통지한다. 또, 픽처 타입 정보(PicType)가 I 픽처일 때도 동일하다. 또, 본 발명의 부호화 신호는 도 10(c), (d)와 동일한 구성이다.
이상의 구성에 의해, 도 17에 도시하는 화상 부호화 방법을 실현하는 화상 부호화 장치를 실현할 수 있다. 또, 에러 내성이 높은 부호화 장치를 제공할 수 있다.
(실시 형태 10)
상기 실시 형태 7에서, S 픽처로 픽처 번호(PN)의 불연속이 생겼을 때, 재송되지 않은 픽처를 재송될 때까지 계속 요구하기 때문에, 화상의 재생이 블가능하게 될 우려가 있는 것을 나타냈다. 이하, 이 이유에 의해 화상의 재생이 잘 되지않는 예에 대한 해결 방법에 대해서 설명한다.
도 21(a)는 부호화 신호를 복호화하는 순서를 도시한다.
먼저 단계 20에서 픽처 번호(PN)를 검출한다. 다음에, 단계 21에서 픽처 타입(PicType)을 검출한다. 그리고 단계 A1에서, 검출된 픽처 타입이 I 픽처인지 여부를 판단한다. 검출된 픽처 타입이 I 픽처가 아니면, 단계 A3에서 픽처 번호(PN)가 연속해 있는지 여부를 판단한다. 한편, 검출된 픽처 타입이 I 픽처이면, 에러 검출 ·수정 처리를 하지 않고, 일련의 처리를 종료한다.
단계 A3에서 픽처 번호(PN)가 연속해 있지 않으면, 단계 A4에서 에러 수정이 이루어진다. 한편, 단계 A3에서 픽처 번호(PN)가 연속해 있으면, 에러 검출 처리를 종료한다.
단계 A4에서의 에러 수정이란, 예를 들면, 상기 실시예에서 기술한 최대 보존 완료 PN 검출이나, PN 재할당이라는 처리에서도, 메모리 상에 있는 모든 픽처를 삭제하는 것을 의미하는 전체 픽처 삭제 정보를 받아, 메모리 상에 있는 모든 픽처를 삭제하는 처리여도 된다.
또한, 도 21(b)에 도시하는 바와 같이, 도 21(a)의 단계 A1를 픽처 타입이 S 픽처인지 여부를 판단하는 단계로 해도 동일한 부호화 처리가 가능하다. 또, 단계 A1과 단계 A2를 합쳐서, I 픽처인지 또는 S 픽처인지의 판단을 단계 21에서의 픽처 타입의 검출 후에 행해도 된다.
이상과 같이, I 픽처 또는 S 픽처에서 픽처 번호가 연속해 있지 않을 때에, 에러 수정을 위해 재송 요구를 반복하여 복호화 할 수 없게 되는 것을 방지할 수 있다. 또한, 이 I 픽처에서의 처리는, 스트림을 전환할 수 있는 특별한 I 픽처의 경우에 특히 유효하다.
(실시 형태 11)
도 22는 본 발명의 화상 복호화 장치의 구성을 도시하는 블록도이다. 도 22의 본 발명의 화상 복호화 장치의 블록도는 도 21의 화상 복호화 방법을 실현하는 일례를 도시한다. 또한, 이하의 설명에서 도 11과 동일한 유닛에 관한 설명은 생략한다.
도 22가 도 11과 다른 점은 PN 연속 판정 유닛(PNchk)과 픽처 타입(PicType)에 의한 에러 검출 유닛(ErrChk)에서의 처리이다. 구체적으로는, PN 연속 판정 유닛(PNchk)에 입력되는 픽처 번호(PN)가 연속해 있지 않고, 픽처 타입(PicType)이 I 픽처 또는 S 픽처가 아니면, 에러 검출 유닛(ErrChk)으로부터 에러 수정 명령(Err)이 출력된다. 에러 수정 명령(Err)이 있으면, 예를 들면, 최대 보존 완료 PN 검출이나, PN 재할당이라는 처리, 혹은, 메모리 상에 있는 모든 픽처를 삭제하는 것을 의미하는 전체 픽처 삭제 정보를 받아, 메모리 상에 있는 모든 픽처를 삭제하는 처리를 한다.
이상의 구성에 의해, 도 21에 도시하는 화상 복호화 방법을 실현하는 화상 복호화 장치를 실현할 수 있다. 또, 에러 내성이 높은 복호화 장치를 제공할 수 있다.
(실시 형태 12)
본 실시 형태에서는, 픽처 번호(PN)의 불연속이나, 메모리 내용의 불일치 등의 문제에 의해서 픽처 번호(PN)의 에러 검출 처리가 끝나지 않게 되는 것을 피할 수 있는 다른 방법에 관해서 설명한다. 본 실시 형태가 실시 형태 7과 다른 점은 실시 형태 7에서의 부호화의 처리에서 전체 픽처를 삭제하는 단계가 있지만, 전체 픽처를 삭제할 때에는 또한 픽처 번호를 「0」부터 재할당하는 것이다.
이것에 의해, 소정의 스트림에서 다른 스트림으로 이동한 후에, 다수의 스트림 각각의 메모리 상태가 동일하게 되고, 또한 픽처 번호가 초기화되므로, 화면간 예측 부호화 등에서 참조 픽처를 필요로 하는 경우라도, 소정의 픽처를 메모리 상에서 정확히 지정할 수 있다. 또, 복호화 대상이 되는 부호화 스트림을 소정의 스트림에서 다른 스트림으로 이동할(전환할) 때에, 픽처 번호가 연속하지 않은 것을 에러로서 수정하지 않도록 함으로써, 복호화 할 수 없게 되는 문제도 해소할 수 있다.
이미 설명한 바와 같이, 동화상을 부호화하여 얻어지는 부호화 스트림에서는, 스트림 내의 각 픽처에 대해, 표시 시각의 순으로 연속하는 픽처 번호(PN)가 부여된다. 픽처 번호(PN)가, 각 픽처의 표시 시각의 순으로 연속하도록 부여되는 이유는, 화상 복호화 장치가 전송로를 통해 부호화 스트림을 수신하는 경우 등에서, 부호화 스트림 중의 픽처가 전송 에러 등에 의해서 결락되는 것을 검출할 수 있기 때문이다. 이러한 화상 복호화 장치는, 수신한 부호화 스트림을 복호화 중에, 표시 시각의 순으로 입력되는 픽처간 픽처 번호(PN)가 2 이상 증가한 경우, 앞의 픽처를 수신하고 나서 뒤의 픽처를 수신하기까지 사이에 전송 에러가 있는 것을 검출하여, 송신측에, 결락된 픽처의 재송을 요구할 수 있다. 따라서, 화상 복호화 장치가 1개의 부호화 스트림을 계속해서 복호화하는 한, 이렇게 하여 유효하게 전송 에러를 검출하고, 결락된 픽처의 재송을 받아, 완전한 부호화 스트림을 복호화할 수 있다.
그러나, 동일한 동화상을 다른 픽처 레이트로 부호화하여 얻어지는 다수의 부호화 스트림을 입력으로 하고, 1개의 부호화 스트림을 복호화 중에, 픽처 레이트가 다른 타부호화 스트림으로 전환해 이후의 복호화를 계속하는 화상 복호화 장치에서는, 이러한 에러검출이 역으로, 픽처 번호(PN)의 에러 검출 처리가 끝나지 않게 되는 문제점의 원인이 된다. 이것은, 개개의 부호화 스트림 내에서 각 픽처의 픽처 번호(PN)가 표시 시각의 순으로 연속할뿐이고, 픽처 레이트가 다른 부호화 스트림 사이에서는, 동일 시각으로 표시되어야 하는 픽처이어도, 선두 픽처 이외, 픽처 번호(PN)가 일치하지 않는 것에 기인한다. 따라서, 화상 복호화 장치에서, 1개의 부호화 스트림의 복호화 도중에, 복호화 대상을 다른 부호화 스트림으로 전환할 때, 동일 시각으로 표시되는 픽처라도 픽처 번호(PN)가 불연속으로 된다. 이와 같이, 픽처 번호(PN)의 불연속이나, 메모리 내용의 불일치 등의 문제에 의해서 픽처 번호(PN)의 에러 검출 처리가 끝나지 않게 되는 것을 피하기 위해, 실시 형태 7에서 부가 정보(전체 픽처 삭제 정보)를 이용하는 부호화 방법에 대해서 설명했다. 이 부가 정보란, 화면내 부호화를 행하는 I 픽처나 상기 S 픽처를 부호화한 후의 픽처의 부호화 처리에서, 스트림 전환시의 에러가 생기지 않도록, 부호화 대상 이외의 픽처를, 부호화 혹은 복호화에서 참조하기 위한 메모리로부터 모두 삭제하는 것을 나타내는 명령이다.
이하, 부호화 방법에 대해서 도 23을 이용하여 설명한다. 도 23(a)는 본 실시 형태에서의 부호화 신호의 작성 순서를 도시한다.
먼저 단계 01에서 픽처 번호(PN)를 검출한다. 다음에, 단계 02에서 단계 01에서 검출된 픽처 번호(PN)를 부호화한다. 그리고, 단계 03에서 픽처 타입(PicType)을 검출한다. 단계 03에서, 검출된 픽처 타입이 S 픽처인지 여부를 판단한다.
검출된 픽처 타입이 S 픽처이면, 단계 05에서 메모리 상에 있는 모든 픽처를 삭제하는 것을 의미하는 전체 픽처 삭제 정보를 부호화한다. 다음에 단계 06A에서 S 픽처를 부호화한다. 그리고 단계 07에서 픽처 번호를 초기화하고, 계속해서 단계 08에서 부호화 대상의 S 픽처 이외에 메모리 상에 있는 모든 픽처를 삭제한다. 이상으로, 부가 정보의 부호화 및 픽처 번호(PN)의 초기화 처리를 종료한다.
검출된 픽처 타입이 S 픽처가 아니면, 픽처 번호는 연속하기 때문에, 단계 06B에서 그 픽처를 부호화하는데, 부가 정보의 부호화 및 픽처 번호(PN)의 초기화 처리, 전체 픽처의 삭제를 행하지 않고 처리를 종료한다.
단계 07에서의 픽처 번호(PN)의 초기화란, 예를 들면, 부호화 처리가 끝난 S 픽처에 픽처 번호 0을 부여하는 것이다. 즉, S 픽처에서 픽처 번호를 초기화함으로써, 표시 시간의 순서에서 S 픽처에 후속하는 픽처에 대해, S 픽처(PN=0)로부터 시작되는 번호(예를 들면, PN=1)를 부여하게 되는 것을 의미한다. 그 결과, 픽처 번호(PN)의 초기화는 S 픽처를 부호화(즉 S 픽처의 픽처 번호를 부호화한 후)한 후 에 행해지게 된다.
또한, 단계 04에서 S 픽처인지 여부의 판단을 행했는데, I 픽처인지 여부의 판단을 해도 된다. 또, 도 23(a)에서는 전체 픽처를 삭제하는 단계가 있는 경우에는 더불어 픽처 번호를 초기화하면 되고, 픽처 번호의 초기화 처리를 하는 판단은 I 픽처 또는 S 픽처인지 여부에 한정되는 것은 아니다. 또, 단계 02에서의 픽처 번호(PN)의 부호화 처리는 단계 01의 픽처 번호 검출의 처리보다 후의 처리로, 단계 07에서의 픽처 번호(PN)의 초기화 처리보다 전이면 어느 시점에서 행해도 된다. 또, 단계 08에서의 부호화 대상의 S 픽처 이외에 메모리 상에 있는 모든 픽처를 삭제하는 처리의 후에 단계 07에서의 픽처 번호(PN)의 초기화 처리를 해도 된다. 또, 단계 05에서의 메모리 상에 있는 모든 픽처를 삭제하는 것을 의미하는 전체 픽처 삭제 정보를 부호화하는 처리는 단계 04에서의 S 픽처인지 여부의 판단 후의 처리이고, 도 23(a)에 도시하는 처리가 종료하기 전이면 언제라도 된다. 또, 부호화 대상의 픽처 이외를, 부호화 혹은 복호화에서 참조하기 위한 메모리로부터 모두 삭제하는 것을 의미하는 부가 정보가 픽처 타입(PicType)에 포함되는 특별한 픽처 타입(PicType)을 이용함으로써, 부가 정보를 부호화하지 않는 것도 가능하다. 또한, S 픽처 또는 I 픽처로 전환하기 위해서 픽처 번호(PN)를 교체하는 것이 효과적인데, 반드시 S 픽처나 I 픽처만에서 유효한 것은 아니고, 스트림을 전환할 수 있으면 P 픽처 등에서도 전체 픽처를 삭제하는 단계가 있으면 픽처 번호(PN)에 대해 동일한 처리를 해도 된다.
도 24는 본 실시 형태 12의 부호화 방법을 실현하는 화상 부호화 장치의 구 성을 도시하는 블록도이다.
픽처 번호 생성 유닛(PNGen)은 픽처 번호(PN)를 생성한다. 픽처 번호(PN)는 참조 화상 메모리(Mem)에 기억되어 있는 화상을 구별하는 식별자이고, 참조 화상 메모리(Mem)에 기억되어 있는 다른 화상에는 다른 픽처 번호(PN)가 부여된다. 통상은, 참조 화상 메모리(Mem)에 화상을 보존할 때마다 픽처 번호(PN)를 「1」증가한다. 또한, 화상 부호화 유닛(PicEnc)에서의 통지에 따라, S 픽처의 부호화 후, 해당 S 픽처의 픽처 번호(PN)를「0」으로 초기화한다.
화상 제거 유닛(PicDe15)은, 픽처 타입 정보(PicType)가 S 픽처인 것을 나타내는 경우(도 23의 단계 03의 처리에 대응)에는, 부호화 대상 픽처 이외의 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령(전체 픽처 삭제 정보)을 참조 화상 메모리(Mem)에 통지하고, 동시에 가변 길이 부호화 유닛(VLC)에도 그 정보를 통지한다.
화상 부호화 유닛(PicEnc)은, 참조 화상 메모리(Mem)에 보존되어 있는 화상을 참조하여 픽처 타입 정보(PicType)로 나타내어지는 픽처 타입으로서 입력 화상 신호(Vin)를 주파수 변환 ·양자화 등을 수반하는 부호화하고, 그 결과를 화상 복호화 유닛(PicDec) 및 가변 길이 부호화 유닛(VLC)에 송신한다. 또, 화상 부호화 유닛(PicEnc)은, S 픽처를 부호화한 후, 픽처 번호 생성 유닛(PNGen2)에 픽처 번호(PN)의 초기화 지시를 통지한다.
화상 복호화 유닛(PicDec)은 화상 부호화 유닛(PicEnc)에서 부호화한 결과를 픽처 타입 정보(PicType)로 나타내어지는 픽처 타입으로서 역양자화 ·역주파수 변 환하고, 후속의 화상의 부호화에서 참조하기 위해서 픽처 번호(PN)에 대응시켜 참조 화상 메모리(Mem)에 보존한다.
가변 길이 부호화 유닛(VLC)은, 화상 부호화 유닛(PicEnc)에서 부호화한 결과를 가변 길이 부호화하여 비트 열로 하는 동시에, 복호화에 필요한 정보인, 화상 제거 유닛(PicDe15)으로부터 통지된 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하기 위한 정보(전체 픽처 삭제 정보), 픽처 번호(PN), 픽처 타입 정보(PicType)를 부호화하여, 부호화 신호(Str)로서 출력한다.
다음에, 복호화 방법에 대해서 도 23(b)를 이용하여 설명한다. 도 23(b)는 부호화 신호의 복호화 순서를 도시한다.
먼저 단계 09에서 픽처 번호(PN)를 복호화한다. 다음에, 단계 010에서 전체 픽처 삭제 정보가 부호화되어 있는지 여부를 판단한다.
단계 010에서 전체 픽처 삭제 정보가 부호화되어 있다고 판단된 경우, 단계 011에서 전체 픽처 삭제 정보를 복호화한다. 그리고 단계 012A에서 픽처를 복호화한다. 또한, 단계 013에서 복호화 대상의 픽처 이외에 메모리 상에 있는 모든 픽처를 삭제하고, 계속해서, 단계 014에서 픽처 번호(PN)를 초기화한다. 이상으로, 부가 정보의 복호화 및 픽처 번호(PN)의 초기화 처리를 종료한다.
단계 010에서 전체 픽처 삭제 정보가 부호화되어 있지 않다고 판단된 경우, 단계 012B에서 픽처를 복호화하여, 부가 정보의 복호화 및 픽처 번호(PN)의 초기화 처리를 종료한다.
단계 014에서의 픽처 번호(PN)의 초기화란, 예를 들면, 복호화 처리가 끝난 픽처에 픽처 번호 「0」을 부여하는 것이다. 즉, 도 23(a)에 도시한 부호화 순서에서 부호화된 부호화 신호를 복호화하는 경우는, S 픽처에서 픽처 번호를 초기화함으로써, 표시 시간의 순서에서 S 픽처에 후속하는 픽처에 대해, S 픽처로부터 시작되는 번호를 부여하게 되는 것을 의미한다.
또한, 도 23(b)에서는, 전체 픽처를 삭제하는 단계가 있는 경우에는 픽처 번호를 초기화하는 처리를 하면 되고, 그 처리를 할지 여부의 판단은 복호화 하는 픽처의 타입과는 관계없다. 또, 단계 014에서의 픽처 번호(PN)의 초기화 처리는 단계 013에서의 부호화 대상의 픽처 이외에 메모리 상에 있는 모든 픽처를 삭제하는 처리 전의 처리여도 된다. 또, 복호화 대상의 픽처 이외를, 복호화에서 참조하기 위한 메모리에서 모두 삭제하는 것을 의미하는 부가 정보가 픽처 타입(PicType)에 포함되는 특별한 픽처 타입(PicType)을 이용함으로써, 부가 정보를 부호화하지 않는 것도 가능하다.
도 25는 본 실시 형태 12의 복호화 방법을 실현하는 화상 복호화 장치의 구성을 도시하는 블록도이다.
가변 길이 복호화 유닛(VLD)은 부호화 신호(Str)를 복호화하여, 다양한 정보(참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령, 픽처 타입 정보(PicType), 픽처 번호(PN), 픽처 번호(PN)를 교체하는 정보 및 화상 데이터 등)를 출력한다.
먼저, 가변 길이 복호화 유닛(VLD)에서 얻어진 참조 화상 메모리(Mem)에 보존되어 있는 화상을 소거하는 지령(전체 픽처 삭제 정보)은 화상 제거 유닛(PicDel6)에 통지되고, 화상 제거 유닛(PicDel6)은 참조 화상 메모리(Mem)에 보존되어 있는 지령된 화상을 소거한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 픽처 타입 정보(PicType)는 화상 복호화 유닛(PicDec)에 통지되어 복호화 방법을 지시한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 픽처 번호(PN)는, 참조 화상 메모리(Mem)에 통지되고, 화상 복호화 유닛(PicDec)에서 복호화된 화상을 격납할 때의 픽처 번호(PN)로 한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 전체 픽처 삭제 정보는 픽처 번호 변경 유닛(PNchg2)에 통지되고, 픽처 번호 변경 유닛(PNchg2)은 그 지시에 따라 참조 화상 메모리(Mem) 내에 보존되어 있는 화상의 픽처 번호(PN)를 교체한다(초기화한다). 보다 구체적으로는, 픽처 번호 변경 유닛(PNchg2)은, 참조 화상 메모리(Mem) 내의 복호화 대상 픽처(S 픽처) 이외의 화상이 모두 삭제된 후, 참조 화상 메모리(Mem)에 보존되어 있는 화상의 픽처 번호(PN)를 독출하고, 독출된 픽처 번호(PN)의 값을 「0」으로 변경한 후, 그 픽처 번호(Mem)를 참조 화상 메모리(Mem)에 기입한다.
가변 길이 복호화 유닛(VLD)에서 얻어진 화상 데이터는, 화상 복호화 유닛(PicDec)에서, 픽처 타입 정보(PicType)로 나타내어지는 픽처 타입에 따른 복호화 방법으로 복호화된다. 즉, I 픽처는 참조 화상 메모리(Mem)의 화상을 참조하지 않고 복호화되고, P 픽처 및 B 픽처는 참조 화상 메모리(Mem)에 보존되어 있는 화상을 참조하여 복호화된다. 이렇게 하여 얻어진 복호 화상은 참조 화상 메모리(Mem) 내에 보존되는 동시에, 복호 화상 신호(Vout)로서 출력된다.
이상의 구성에 의해, 도 23에 도시하는 화상 복호화 방법을 실현하는 화상 복호화 장치를 실현할 수 있다. 또, 에러 내성이 높은 복호화 장치를 제공할 수 있다.
이와 같이 본 실시 형태에 나타내는 부호화 방법, 복호화 방법에 의해서, 소정의 스트림에서 다른 스트림으로 이동한 후에, 다수의 스트림 각각의 메모리 상태가 동일하게 되므로, 화면간 예측 부호화 등에서 참조 픽처를 필요로 하는 경우라도, 소정의 픽처를 메모리 상에서 정확히 지정할 수 있다.
또한, 상기 실시 형태에서는, 부가 정보(전체 픽처 삭제 정보)를 픽처(PicType)로 정리하여 부호화해도 된다고 설명했는데, I 픽처에서는 참조 메모리의 전체 픽처를 삭제함으로써, 그 I 픽처로부터 스트림을 재생할 수 있는 특별한 픽처로 할 수 있다. 이것을 IDR(Instantaneous Decoder Refresh) 픽처라고 부른다. IDR 픽처는 랜덤 ·액세스의 재생 개시 위치로 되므로 GOP(Group of Picture)의 선두 I 픽처로서 유효하다. 이 IDR 픽처를 부호화할 때에는 매회, 메모리 내의 해당 픽처 이외의 픽처를 전부 삭제하고, 또한, 해당 픽처의 부호화 후에 픽처 번호를 초기화한다고 정해 놓으면, 화상 부호화 장치에서 메모리 내의 해당 픽처 이외의 전체 픽처를 삭제한 경우라도 부가 정보를 부호화하지 않아도 된다. 이 경우, 화상 복호화 장치에서는, 부호화 스트림 내의 IDR 픽처를 픽처 타입으로부터 검출하고, IDR 픽처를 복호화하는 경우에는, 부가 정보가 부호화되지 않더라도, 그 때마다, 메모리 내의 해당 IDR 픽처 이외의 픽처를 전부 삭제하고, 또한, 해당 픽 처의 부호화 ·복호화 후에 픽처 번호를 초기화한다.
(실시 형태 13)
또한, 상기 각 실시 형태에서 나타낸 화상 부호화 방법 및 화상 복호화 방법의 구성을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기억매체에 기록함으로써, 상기 각 실시 형태에서 나타낸 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.
도 26은 상기 실시 형태 1 내지 실시 형태 12의 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하기 위한 기억매체에 대한 설명도이다.
도 26(b)은 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 26(a)은 기록매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는 동심원상으로 외주로부터 내주로 향해 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법 및 화상 복호화 방법이 기록되어 있다.
또, 도 26(c)은 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 화상 부호화 방법 및 화상 복호화 방법을 플렉시블 디스크 드라이브를 통해 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 화상 부호화 방법 및 화상 복호화 방법을 컴퓨터 시스템 중에 구축하는 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하여, 컴퓨터 시스템에 전송한다.
또한, 상기 설명에서는, 기록매체로서 플렉시블 디스크를 사용하여 설명했는데, 광디스크를 사용해도 동일하게 행할 수 있다. 또, 기록매체는 이것으로 한정되지 않고, CD-ROM, 메모리 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
또한 여기서, 상기 실시 형태에서 나타낸 화상 부호화 방법이나 화상 복호화 방법의 응용예와 이것을 이용한 시스템을 설명한다.
도 27은 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 카메라 부착의 휴대 전화(ex115) 등의 각 기기가 접속된다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 27과 같은 조합으로 한정되지 않고, 어느 것을 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(exl07∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이 다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이라도 상관없다.
또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 근거한 라이브 배송 등이 가능해진다. 촬영한 데이터의 부호화 처리는 카메라(ex113)에서 행해도 되고, 데이터의 송신 처리를 하는 서버 등에서 행해도 된다. 또, 카메라(ex116)에서 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)에서 행해도 되고 컴퓨터(ex111)에서 행해도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화 ·복호화용의 소프트웨어를 컴퓨터(ex111) 등에서 독출할 수 있는 기록매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 장착해도 된다. 또한, 카메라 부착의 휴대 전화(ex115)에서 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.
이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영 상 등)를 상기 실시 형태와 마찬가지로 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여, 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.
이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 화상 부호화 장치 혹은 화상 복호화 장치를 사용하면 된다.
그 일례로서 휴대 전화에 대해서 설명한다.
도 28은 상기 실시 형태에서 설명한 화상 부호화 방법과 화상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 촬영할 수 있는 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호 화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.
또한, 휴대 전화(ex115)에 대해 도 29를 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.
전원 회로부(ex310)는, 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 카메라 부착 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.
휴대 전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 근거하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음(集音)한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다. 또 휴대 전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 데이터를 증폭시켜 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 후, 이것을 음성 출력부(ex208)를 통해서 출력한다.
또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.
데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬영된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또한, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬영한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는, 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성으로, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시 에 휴대 전화기(ex115)는, 카메라부(ex203)에서 촬영 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.
다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다.
데이터 통신 모드시에 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.
또, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.
다음에, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성으로, 화상 데이터의 비트 스트림을 상기 실시 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이 것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하고, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이를 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 30에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 화상 부호화 장치 또는 화상 복호화 장치 중 어느 것을 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하고, 이 전파를 위성방송 수신 설비를 갖춘 가정의 안테나(ex406)로 수신하고, 텔레비전(수신기)(ex401) 또는 셋탑박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 독출하고, 복호화할 재생장치(ex403)에도 상기 실시 형태에서 나타낸 화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, 케이블 텔레비젼용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋 탑 박스(ex407) 내에 화상 복호화 장치를 실장하고, 이것을 텔레비젼의 모니터(ex408)에서 재생하는 구성도 생각할 수 있다. 이 때 셋탑박스가 아니라, 텔레비전 내에 화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411) 를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 내비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.
또한, 화상 신호를 상기 실시 형태에서 나타낸 화상 부호화 장치에서 부호화하여, 기록매체에 기록하는 것도 가능하다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 리코더나, 하드 디스크에 기록하는 디스크 리코더 등의 리코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록하는 것도 가능하다. 리코더(ex420)가 상기 실시 형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에 표시할 수 있다.
또한, 카 내비게이션(ex413)의 구성은 예를 들면 도 29에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것이 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각될 수 있다.
또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기 ·복호화기를 모두 가지는 송수신형의 단말 이외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지 실장 형식을 생각할 수 있다.
이와 같이, 상기 실시 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 어느 하나의 기기 ·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 상기 실시 형태에서 설명한 효과를 얻을 수 있다.
또한, 본 발명은 이러한 상기 실시 형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.
본 발명에 관한 화상 부호화 장치는, 통신 기능을 구비하는 퍼스널 컴퓨터, PDA, 디지털 방송의 방송국 및 휴대 전화기 등에 구비되는 화상 부호화 장치로서 유용하다.
또, 본 발명에 관한 화상 복호화 장치는, 통신 기능을 구비하는 퍼스널 컴퓨터, PDA, 디지털 방송을 수신하는 STB 및 휴대 전화기 등에 구비되는 화상 복호화 장치로서 유용하다.

Claims (39)

  1. 부호화 스트림을 복호화하는 화상 복호화 방법에 있어서,
    상기 부호화 스트림으로부터 픽처 번호를 획득하는 단계와,
    전체 픽처 불사용화 정보가 상기 부호화 스트림에 부호화되어 있는지의 여부를 판정하는 단계, 및
    만약, 상기 판정 단계가 긍정의 결과를 나타내면,
    a) 상기 부호화 스트림으로부터 전체 픽처 불사용화 정보를 검출하는 단계와,
    b) 복호화된 픽처를 획득하기 위해 상기 부호화 스트림을 복호화하는 단계와,
    c) 상기 복호화된 픽처를 참조 화상 메모리로 저장하는 단계와,
    d) 상기 검출된 전체 픽처 불사용화 정보에 근거하여, 상기 전체 픽처 불사용화 정보의 검출 단계 전에 상기 참조 화상 메모리에 저장된 전체 픽처를 불사용화하는 단계, 및
    e) 상기 복호화된 픽처의 픽처 번호로부터 시작하여 연속하는 픽처 번호를 획득하기 위해, 상기 전체 픽처 불사용화 정보가 검출된 후에 “0”의 새로운 픽처 번호를 상기 전체 픽처 불사용화 정보를 포함하는 상기 복호화된 픽처에 할당하는 것에 의해 상기 부호화 스트림의 상기 복호화 단계 후 상기 획득된 픽처 번호를 초기화하는 단계,를 포함하는 복호화 방법.
  2. 청구항 1에 있어서,
    상기 전체 픽처의 불사용화 단계는, 상기 부호화 스트림의 복호화 단계 후에 실행되는, 복호화 방법.
  3. 청구항 1에 있어서,
    상기 참조 화상 메모리에 저장된 상기 복호화된 픽처는 참조 픽처이며,
    상기 전체 픽처의 불사용화 단계에서 불사용화된 상기 전체 픽처는 참조 픽처인, 복호화 방법.
  4. 청구항 1에 있어서, 상기 참조 화상 메모리에 저장된 전체 픽처의 불사용화 단계는, 상기 참조 화상 메모리에 저장된 복호화된 픽처 전체에 불사용화를 지시하는 정보를 설정하는 것에 의해 실행되는, 복호화 방법.
  5. 청구항 1에 있어서,
    상기 전체 픽처 불사용화 정보는 상기 부호화 스트림에 포함되는, 복호화 방법.
  6. 청구항 1에 있어서,
    상기 전체 픽처 불사용화 정보는, 픽처군의 선두 I 픽처인, IDR(Instantaneous Decoder Refresh) 픽처를 지시하는 정보인, 복호화 방법.
  7. 청구항 1에 있어서,
    상기 전체 픽처 불사용화 정보는 화면내 부호화 픽처를 나타내는 픽처 타입 정보인, 복호화 방법.
  8. 청구항 1에 있어서, 상기 전체 픽처 불사용화 정보를 포함하는 화면내 부호화 픽처는, 랜덤 액세스 복호화에서 상기 복호화의 개시 시점에 복호화되는, 화상 복호화 방법.
  9. 부호화 스트림을 복호화하는 복호화 장치에 있어서,
    상기 부호화 스트림으로부터 픽처 번호를 획득하는 픽처 번호 획득 유닛과,
    전체 픽처 불사용화 정보가 상기 부호화 스트림 내에 부호화되어 있는지의 여부를 판정하는 판정 유닛과,
    상기 판정이 긍정의 결과를 나타내면, 상기 부호화 스트림으로부터 전체 픽처 불사용화 정보를 검출하는 검출 유닛과,
    상기 판정이 긍정의 결과를 나타내면, 상기 부호화 스트림을 복호화하는 것에 의해 복호화된 픽처를 획득하는 화상 복호화 유닛과,
    상기 판정이 긍정의 결과를 나타내면, 상기 복호화된 픽처를 참조 화상 메모리로 저장하는 저장 유닛과,
    상기 판정이 긍정의 결과를 나타내면, 상기 검출 유닛에 의해 검출되는 상기 전체 픽처 불사용화 정보에 근거하여, 상기 검출 유닛이 상기 전체 픽처 불사용화 정보를 검출하기 전에 상기 참조 화상 메모리에 저장되어 있는 전체 픽처를 불사용화하는 불사용화 유닛, 및
    상기 판정이 긍정의 결과를 나타내면, 상기 복호화된 픽처의 픽처 번호로부터 시작하여 연속적인 픽처 번호를 획득하기 위해, 상기 검출 유닛이 상기 전체 픽처 불사용화 정보를 검출한 후에 “0”의 새로운 픽처 번호를 상기 전체 픽처 불사용화 정보를 포함하는 복호화된 픽처에 할당하는 것에 의해 상기 픽처 복호화 유닛이 상기 부호화 스트림을 복호화한 후 상기 획득된 픽처 번호를 초기화하는 할당 유닛을 포함하는, 복호화 장치.
  10. 청구항 9에 있어서,
    상기 불사용화 유닛은, 상기 픽처 복호화 유닛이 상기 부호화 스트림을 복호화한 후 상기 참조 화상 메모리에 저장된 복호화된 픽처 전체를 불사용화하는, 복호화 장치.
  11. 청구항 9에 있어서, 상기 저장 유닛에 의해 상기 참조 화상 메모리에 저장되는 상기 복호화된 픽처는 참조 픽처이며, 상기 불사용화 유닛에 의해 불사용화되는 전체 픽처도 또한 참조 픽처인, 복호화 장치.
  12. 청구항 9에 있어서,
    상기 불사용화 유닛은, 상기 참조 화상 메모리에 저장된 복호화된 픽처 전체에, 불사용화를 지시하는 정보를 설정하는 것에 의해 상기 참조 화상 메모리에 저장된 전체 픽처를 불사용화하는, 복호화 장치.
  13. 청구항 9에 있어서,
    상기 전체 픽처 불사용화 정보는 상기 부호화 스트림에 포함되는, 복호화 장치.
  14. 청구항 9에 있어서,
    상기 전체 픽처 불사용화 정보는, 픽처군의 선두 I 픽처인, IDR 픽처를 지시하는 정보인, 복호화 장치.
  15. 청구항 14에 있어서,
    상기 IDR 픽처는 화면내 예측 부호화 픽처인, 복호화 장치.
  16. 청구항 9에 있어서,
    상기 픽처 복호화 유닛은, 랜덤 액세스 복호화에서 상기 복호화의 개시 시점에, 상기 전체 픽처 불사용화 정보를 포함하는 화면내 부호화 픽처를 복호화하는, 복호화 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
KR1020037013810A 2002-04-16 2003-04-10 화상 부호화 방법 및 화상 복호화 방법 Expired - Lifetime KR100950388B1 (ko)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00112787 2002-04-16
JP2002112787 2002-04-16
US37763802P 2002-05-06 2002-05-06
US60/377,638 2002-05-06
JP2002192533 2002-07-01
JPJP-P-2002-00192533 2002-07-01
JP2002204718 2002-07-12
JPJP-P-2002-00204718 2002-07-12
JP2003092490A JP4355156B2 (ja) 2002-04-16 2003-03-28 画像復号化方法及び画像復号化装置
JPJP-P-2003-00092490 2003-03-28
PCT/JP2003/004539 WO2003088678A1 (en) 2002-04-16 2003-04-10 Image encoding method and image decoding method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020087004376A Division KR100980964B1 (ko) 2002-04-16 2003-04-10 화상 부호화 방법 및 화상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20040099096A KR20040099096A (ko) 2004-11-26
KR100950388B1 true KR100950388B1 (ko) 2010-03-29

Family

ID=29255644

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020037013810A Expired - Lifetime KR100950388B1 (ko) 2002-04-16 2003-04-10 화상 부호화 방법 및 화상 복호화 방법
KR1020087004376A Expired - Lifetime KR100980964B1 (ko) 2002-04-16 2003-04-10 화상 부호화 방법 및 화상 복호화 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087004376A Expired - Lifetime KR100980964B1 (ko) 2002-04-16 2003-04-10 화상 부호화 방법 및 화상 복호화 방법

Country Status (15)

Country Link
US (10) US7505518B2 (ko)
EP (4) EP2309755B1 (ko)
JP (1) JP4355156B2 (ko)
KR (2) KR100950388B1 (ko)
CN (3) CN102355585B (ko)
AT (2) ATE382242T1 (ko)
AU (2) AU2003236033B2 (ko)
BR (1) BR0304528A (ko)
CA (1) CA2448511C (ko)
DE (1) DE60318307T2 (ko)
ES (1) ES2297187T3 (ko)
MX (1) MXPA03011200A (ko)
MY (1) MY135697A (ko)
TW (1) TWI276359B (ko)
WO (1) WO2003088678A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005533444A (ja) * 2002-07-16 2005-11-04 ノキア コーポレイション 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
PL1743481T3 (pl) * 2004-04-28 2011-12-30 Panasonic Corp Urządzenie do generowania strumienia, sposób generowania strumienia, urządzenie do kodowania, sposób kodowania, nośnik zapisujący oraz właściwy program
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US20090074078A1 (en) * 2005-04-13 2009-03-19 Tomoyuki Yamamoto Moving image reproduction device
US8559510B2 (en) * 2006-08-10 2013-10-15 Canon Kabushiki Kaisha Image decoding apparatus
BRPI0719536A2 (pt) * 2006-10-16 2014-01-14 Thomson Licensing Método para utilização de uma unidade de camada genérica na rede de trabalho sinalizando uma reposição instantânea de decodificação durante uma operação em vídeo.
WO2008051380A2 (en) * 2006-10-24 2008-05-02 Thomson Licensing Picture identification for multi-view video coding
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
JP4561851B2 (ja) * 2008-03-18 2010-10-13 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8731067B2 (en) * 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
EP2586922B1 (de) 2011-10-31 2018-09-05 RANIT-Befestigungssysteme GmbH Vorrichtung zur mechanischen Befestigung von Dämmstoffen an einer Unterkonstruktion
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
WO2013162980A2 (en) * 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9565432B2 (en) 2012-04-23 2017-02-07 Lg Electronics Inc. Video-encoding method, video-decoding method, and apparatus implementing same
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9332309B2 (en) * 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
US9813732B2 (en) * 2012-06-28 2017-11-07 Axis Ab System and method for encoding video content using virtual intra-frames
US9491487B2 (en) 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US9264737B2 (en) 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
JP2014192564A (ja) * 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法及びコンピュータプログラム
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
JP6365253B2 (ja) 2014-11-12 2018-08-01 富士通株式会社 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法
KR101868203B1 (ko) * 2015-01-28 2018-07-20 한국전자통신연구원 스트림 처리 방법 및 장치
EP3603090A4 (en) * 2017-03-27 2020-08-19 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING OF VIDEO
CN109450887B (zh) * 2018-11-01 2022-01-11 西安万像电子科技有限公司 数据传输方法、装置及系统
US11523115B2 (en) * 2020-04-02 2022-12-06 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding
CN115428454B (zh) 2020-04-06 2025-06-24 字节跳动有限公司 使用参数集的视频编解码
JP7529794B2 (ja) * 2020-04-12 2024-08-06 バイトダンス インコーポレイテッド 瞬時復号更新サブピクチャのコーディング
US12021548B2 (en) 2022-05-10 2024-06-25 Samsung Display Co., Ltd. System and method for efficient transition encoding for decimation CDR

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999011063A1 (fr) * 1997-08-21 1999-03-04 Sony Corporation Procede et dispositif d'enregistrement sur disque, procede et dispositif de lecture de disque et support d'enregistrement
JP2000307672A (ja) 1999-04-26 2000-11-02 Oki Electric Ind Co Ltd 符号化情報受信復号装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
EP1024664B1 (en) * 1993-12-24 2002-05-29 Sharp Kabushiki Kaisha Image-information storage regenerating device
JP3669523B2 (ja) * 1995-04-08 2005-07-06 ソニー株式会社 符号化装置及び方法
WO1997004590A2 (en) * 1995-07-19 1997-02-06 Philips Electronics N.V. Method and device for decoding digital video bitstreams and reception equipment including such a device
JP3319678B2 (ja) * 1995-08-11 2002-09-03 ケイディーディーアイ株式会社 動画像の高速ブラウジング装置
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
JP3784879B2 (ja) * 1996-03-14 2006-06-14 パイオニア株式会社 情報記録媒体、情報記録装置及び方法並びに情報再生装置及び方法
JPH09322167A (ja) 1996-03-29 1997-12-12 Sony Corp 画像受信装置、画像受信方法、画像送信装置、画像送信方法、画像送受信装置、および画像送受信方法
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
JP3039624B2 (ja) * 1996-12-02 2000-05-08 日本電気株式会社 オーディオ・ビデオ同期再生装置
JPH10262259A (ja) * 1997-03-19 1998-09-29 Sony Corp 画像信号送出装置及び画像信号送出方法
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
EP0940989A3 (en) 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method
JPH11275590A (ja) 1998-03-26 1999-10-08 Sony Corp 画像間圧縮符号化装置および符号化方法
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
JP2001258031A (ja) 2000-03-08 2001-09-21 Sony Corp 信号処理方法、画像符号化装置及び画像復号装置
US6940911B2 (en) 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
JP3859989B2 (ja) 2000-10-30 2006-12-20 株式会社モノリス 画像マッチング方法およびその方法を利用可能な画像処理方法と装置
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
JP3931595B2 (ja) * 2001-07-10 2007-06-20 株式会社日立製作所 データ修正装置及びデータ修正方法
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999011063A1 (fr) * 1997-08-21 1999-03-04 Sony Corporation Procede et dispositif d'enregistrement sur disque, procede et dispositif de lecture de disque et support d'enregistrement
JP2000307672A (ja) 1999-04-26 2000-11-02 Oki Electric Ind Co Ltd 符号化情報受信復号装置

Also Published As

Publication number Publication date
ES2297187T3 (es) 2008-05-01
TWI276359B (en) 2007-03-11
US10021389B2 (en) 2018-07-10
US10148951B2 (en) 2018-12-04
US10812792B2 (en) 2020-10-20
US8675729B2 (en) 2014-03-18
US20170048521A1 (en) 2017-02-16
US20180109787A1 (en) 2018-04-19
EP2276260B1 (en) 2013-01-02
MXPA03011200A (es) 2004-02-26
AU2003236033B2 (en) 2008-09-11
EP1496706B1 (en) 2007-12-26
US10542252B2 (en) 2020-01-21
US20200112719A1 (en) 2020-04-09
DE60318307T2 (de) 2008-12-11
US8787448B2 (en) 2014-07-22
BR0304528A (pt) 2004-07-27
TW200401566A (en) 2004-01-16
EP2309755A1 (en) 2011-04-13
US20050031030A1 (en) 2005-02-10
AU2008243276A1 (en) 2008-12-04
EP2309755B1 (en) 2014-01-29
JP4355156B2 (ja) 2009-10-28
US20080069218A1 (en) 2008-03-20
CN102355586B (zh) 2014-03-26
CA2448511A1 (en) 2003-10-23
EP1887805A3 (en) 2008-02-20
EP1887805A2 (en) 2008-02-13
EP1496706A1 (en) 2005-01-12
CN1516974B (zh) 2011-12-28
AU2008243276B2 (en) 2009-03-05
CN102355585A (zh) 2012-02-15
MY135697A (en) 2008-06-30
CA2448511C (en) 2012-07-10
ATE382242T1 (de) 2008-01-15
US20200112720A1 (en) 2020-04-09
US10834388B2 (en) 2020-11-10
US10869034B2 (en) 2020-12-15
JP2004096706A (ja) 2004-03-25
DE60318307D1 (de) 2008-02-07
US20200120337A1 (en) 2020-04-16
US20090135917A1 (en) 2009-05-28
CN102355586A (zh) 2012-02-15
EP1887805B1 (en) 2012-04-25
CN102355585B (zh) 2013-12-18
US20140286393A1 (en) 2014-09-25
AU2003236033A1 (en) 2003-10-27
US9516307B2 (en) 2016-12-06
EP2276260A2 (en) 2011-01-19
US20190068964A1 (en) 2019-02-28
EP2276260A3 (en) 2011-03-02
KR20040099096A (ko) 2004-11-26
EP1496706A4 (en) 2005-05-25
KR20080023764A (ko) 2008-03-14
WO2003088678A1 (en) 2003-10-23
CN1516974A (zh) 2004-07-28
US7505518B2 (en) 2009-03-17
KR100980964B1 (ko) 2010-09-07
ATE555607T1 (de) 2012-05-15

Similar Documents

Publication Publication Date Title
KR100950388B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
JP5355807B2 (ja) 符号化データ配信方法および配信システム
KR20040074635A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP4405272B2 (ja) 動画像復号化方法、動画像復号化装置及びプログラム
JP5171662B2 (ja) 画像符号化方法および画像符号化装置
JP2004260236A (ja) 動画像の符号化方法および復号化方法

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20031022

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20071220

Comment text: Request for Examination of Application

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20080222

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090812

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100209

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100323

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100323

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130228

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140303

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150224

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20160219

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170221

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20180316

Start annual number: 9

End annual number: 9

PC1801 Expiration of term

Termination date: 20231010

Termination category: Expiration of duration