[go: up one dir, main page]

KR100530394B1 - 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체 - Google Patents

화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체 Download PDF

Info

Publication number
KR100530394B1
KR100530394B1 KR10-2003-0076645A KR20030076645A KR100530394B1 KR 100530394 B1 KR100530394 B1 KR 100530394B1 KR 20030076645 A KR20030076645 A KR 20030076645A KR 100530394 B1 KR100530394 B1 KR 100530394B1
Authority
KR
South Korea
Prior art keywords
data
image
display
frame
decoding
Prior art date
Application number
KR10-2003-0076645A
Other languages
English (en)
Other versions
KR20030090552A (ko
Inventor
니시다카히로
가도노신야
분충셍
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20030090552A publication Critical patent/KR20030090552A/ko
Application granted granted Critical
Publication of KR100530394B1 publication Critical patent/KR100530394B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명에 따르면, 종래의 화상 데이터 구조에 비해서, 화상 부호화 신호를, 프레임의 표시 주기가 고정인 경우, 표시 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 표시 주기가 가변인 화상에도 대응할 수 있는 데이터 구조를 제공할 수 있다.
화상 부호화 신호의 헤더 부분에 프레임의 표시 주기가 가변인지 여부를 나타내는 표시 주기 식별자(Df)를 삽입하여, 표시 주기 식별자가 고정 표시 주기를 나타내는 경우에는 화상 데이터의 헤더 부분에 표시 주기 데이터(Dp)를 삽입함과 동시에, 프레임마다 프레임 번호(B(0), B(1), B(2))를 나타내는 데이터(B0, B1, B2)를 삽입하는 한편, 표시 주기 식별자(Df)가 가변의 표시 주기인 것을 나타내는 경우에는 프레임마다 표시 시각 데이터(Dt0, Dt1, Dt2)를 삽입한다.

Description

화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상 신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체{IMAGE SIGNAL ENCODING APPARATUS AND METHOD, IMAGE SIGNAL DECODING APPARATUS AND METHOD, AND COMPUTER READABLE RECORDING MEDIUM}
본 발명은, 화상 신호 데이터 구조, 화상 부호화 방법 및 화상 복호화 방법에 관한 것으로, 특히 화상의 각 프레임에 대응하는 복호화 처리 및 화상 표시 처리를 포함하는 재생 처리의 타이밍에 관한 재생 타이밍 데이터를 포함하는 화상 신호 데이터 구조, 상기 재생 타이밍 데이터를 포함하는 화상 부호화 신호의 생성(부호화 처리) 및 상기 화상 부호화 신호의 복호화 처리에 관한 것이다.
또한, 본 발명은, 상기 화상 부호화 신호를 생성하는 화상 부호화 장치 및 상기 복호화 처리를 실시하는 화상 복호화 장치, 상기 데이터 구조의 화상 부호화 신호를 저장한 데이터 기억 매체, 상기 부호화 처리 및 복호화 처리를 실시하는 장치를 컴퓨터에 의해 실현시키기 위한 화상 처리 프로그램을 저장한 데이터 기억 매체에 관한 것이다.
최근, 음성, 화상, 그 밖의 데이터를 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래의 정보 미디어, 즉 신문, 잡지, 텔레비전, 라디오, 전화 등의, 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로서 자리잡게 되었다. 일반적으로, 멀티미디어란, 문자 뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 나타내는 것을 말하는데, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 나타내는 것이 필수 조건으로 된다.
그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로 어림잡아 보면, 문자의 경우 1 문자당 정보량은 1∼2 바이트인데 반하여, 음성의 경우 1초당 64kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전 방송 품질) 이상의 정보량이 필요하게 되어, 상기 텔레비전 등의 정보 미디어로서는 그 방대한 정보를 디지털 형식 그대로 취급하는 것은 현실적이지 못하다. 예를 들어, 텔레비전 전화는, 64kbps∼1.5Mbps의 전송 속도를 갖는 서비스 종합 디지털 망(ISDN:Integrated Services Digital Network)에 의해 이미 실용화되어 있는데, 텔레비전 카메라의 영상을 그대로 ISDN에 의해 송신하는 것은 불가능하다.
이에 따라 필요로 되는 것이 정보의 압축 기술이며, 예를 들어 텔레비전 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에서 국제 표준화된 H.261 규격의 동화상 압축 기술이 이용된다. 또한, MPEG1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 함께 화상 정보를 기록하는 것도 가능하게 된다.
여기서, MPEG(Moving Picture Experts Group)이란, 동화상에 대한 화상 신호의 압축 신장 기술에 관한 국제 규격으로서, MPEG1은 동화상 데이터를 1.5Mbps까지, 즉 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또한, MPEG1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbps로 제한되어 있기 때문에, 한층더 고화질화하고자 하는 요구를 만족시키도록 규격화된 MPEG2에 있어서는 동화상 데이터가 2∼115Mbps로 압축된다.
이와 같이 현재 이미 실용화되어 있는 MPEG1, 2의 규격에 대응하는, 화상 신호의 압축 신장 기술에 있어서는, 기본적으로 각 프레임에 대한 화상 표시 타이밍의 간격, 즉 프레임 레이트로서, 고정 프레임 레이트만을 채용하고 있기 때문에, 프레임 레이트는 불과 수 종류밖에 되지 않으며, 이에 따라 MPEG2에서는 부호화 데이터와 함께 전송되어 오는 플래그(frame rate code)에 근거하여, 도 13에 도시하는 테이블을 참조해 수(數) 종류의 프레임 레이트(frame rate value) 중에서 플래그에 의해 지정되는 것을 선택하도록 하고 있다.
그런데, 현재, ISO(International Organization for Standardization:국제 표준화 기구)에 의해서, 구체적으로는 MPEG1, MPEG2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, 최신 화상 부호화 방식인 MPEG4의 표준화 작업이 진행되고 있는 상태이다. 이 MPEG4는, 물체 단위로의 부호화 처리나 신호 조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 것이다. 이 MPEG4에 있어서는, 당초, 낮은 비트 레이트의 화상 처리의 표준화를 목표로 하여 왔지만, 현재 그 표준화의 대상은 비월(interlacing) 화상에도 대응하는 높은 비트 레이트의 화상 처리까지도 포함하는, 보다 범용적인 화상 처리로 확장되어 있다.
이 MPEG4에 있어서도, 비디오·오브젝트·레이어(MPEG2의 비디오 순서에 상당)의 선두에 MPEG2의 테이블(도 13 참조)과 마찬가지의 테이블을 추가하면, 상기 테이블에 의해 프레임 레이트는 표현할 수 있지만, MPEG4에서는, 낮은 비트 레이트의 화상 신호에서부터 높은 비트 레이트의 고화질 화상 신호까지, 폭넓은 범위의 화상 신호를 처리 대상으로 하기 때문에, 필요로 하는 프레임 레이트는 무수히 많아서, 이에 따라 MPEG4에 있어서는 실제 문제로서 프레임 레이트를 판정하는데에 테이블을 이용하는 것은 곤란하다.
그래서, MPEG4에서는, 무수하다고 할 만큼 많은 고정 프레임 레이트에 대응하여, 또한 각 프레임에 대한 화상 표시 타이밍이나 복호화 처리의 타이밍의 간격이 가변인 화상에 대응하기 위하여, 프레임마다 삽입된 각 프레임의 표시 시각 데이터를 포함하는 데이터 구조를 채용하고 있다.
도 14는 종래의 화상 부호화 신호(200)의 데이터 구조의 일례를 나타낸다.
종래의 데이터 구조를 갖는 화상 부호화 신호(200)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상을 구성하는 프레임 계열)에 대응하는 것이며, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sa0, Sa1, Sa2, …, San을 전송 순서대로 배열한 구조로 되어 있다. 여기서, n은 1개의 화상을 구성하는 프레임 계열에 있어서의, 각 프레임의 데이터의 전송 순서에 대응하는 번호이며, 선두 프레임의 번호 n을 0으로 하고 있다.
본 예에서는, 각 프레임의 부호열 Sa0, Sa1, Sa2, …, San의 선두에는 그 프레임의 표시 시각을 나타내는 표시 시각 데이터 Dt0, Dt1, Dt2, …, Dtn이 배치되어 있고, 각 표시 시각 데이터에 계속해서 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 배치되어 있다.
이 표시 시각 데이터는, 기준 시각에 대한 상대적인 시각을 나타내고 있기 때문에, 화상을 구성하는 프레임의 수(프레임수)가 많아짐에 따라서, 이 표시 시각을 나타내는데 필요한 정보량, 즉 표시 시각 데이터의 비트수는 많아진다.
또한, 상기 화상 부호화 신호의 복호화측에서는, 상기 각 프레임에 대응하는 부호열 Sa0∼San 중에 삽입되어 있는 상기 표시 시각 데이터 Dt0∼Dtn에 근거하여, 상기 표시 시각 데이터가 지시하는 시각에 그 프레임에 대한 화상 표시가 실행된다.
도 15는, 1개의 화상을 구성하는 프레임 계열에 있어서의, 각 프레임에 대응하는 화상 부호화 데이터의 전송 순서와 표시 순서를 나타내고 있다. 여기서, n은 상기한 바와 같이 전송 순서를 나타내는 번호이고, n'은 표시 순서를 나타내는 번호(선두 프레임의 번호 n'을 0으로 함)이다. 또한, 프레임 F(n)(F(0)∼F(18))은, 도 14에 도시한 데이터 구조에 있어서의 프레임 순서(즉, 전송 순서)에 근거하여 배열한 것이며, 프레임 F'(n')(F'(0)∼F'(18))은, 상기 전송 순서대로 배열되는 각 프레임 F(n)를, 도 15에서 화살표로 나타낸 바와 같이 그 배열 순서가 표시 순서대로 되도록 재배열한 것이다. 따라서, 화살표로 대응지어진 프레임 F(n)과 프레임 F'(n')은 동일한 것이며, 예를 들어 프레임 F(0), F(1), F(2), F(3)은 각각, 프레임 F'(0), F'(3), F'(1), F'(2)와 동일한 프레임이다.
여기서, 전송 순서대로 배열된 프레임 F(n)(F(0)∼F(18)) 중, 프레임 F(0), F(13)은 I(Intra-Picture) 프레임(이하, "I-VOP"라고 함)이고, 프레임 F(1), F(4), F(7), F(10), F(16)은 P(Predictive-Picture) 프레임(이하, "P-VOP"라고 함)이며, 프레임 F(2), F(3), F(5), F(6), F(8), F(9), F(11), F(12), F(14), F(15), F(17), F(18)은 B(Bidirectionally predictive-Picture) 프레임(이하, "B-VOP"라고 함)이다.
또한, 상기한 바와 같이 전송 순서(IPBBPBBPBBPBBIBBPBB)로 배열된 프레임 F(n)(F(0)∼F(18))을 표시 순서(IBBPBBPBBPBBPBBIBBP)로 재배열했을 때의 순서 n'이, 각 프레임 F(n)에 대응하는 프레임 번호 B(n)(B(0)∼B(18))에 의해 표시된다. 즉, 이 프레임 번호 B(n)의 값은 표시 순서를 나타내는 번호 n'을 나타내고 있으며, 구체적으로는 도 15에 도시하는 바와 같이 B(0)=0, B(1)=3, …, B(17)=16, B(18)=17로 된다. 따라서, 여기서는, 화상 표시에 있어서의 I-VOP의 주기 L은 L=15, 화상 표시에 있어서의 I-VOP와 P-VOP를 포함한 VOP의 주기 M은 M=3으로 되어 있다.
그리고, 상기 프레임 번호 B(n)=n'은, n을 이용하여 다음 수학식 1 내지 수학식 3에 의해 표현된다.
B(n)=n=0 (n=0일 때)
B(n)=n+M-1 (n=M×i+1일 때)
단, i, M은 0 이상의 정수(0, 1, 2, …)임.
B(n)=n-1 (n이 그 밖의 값일 때)
여기서, 상기 조건(n=O)은 최초의 I-VOP에 대응하는 것, 상기 조건(n=M×i+1)은 최초의 I-VOP 이외의 I-VOP와 P-VOP의 양(兩) VOP에 대응하는 것, 상기 조건(n이 그 밖의 값일 때)은 B-VOP에 대응하는 것이다.
단, 상기 수학식 1∼수학식 3은, 각 I-VOP, P-VOP, B-VOP에 상당하는 프레임의 부호열이 주기적으로 전송되어 오는 경우에 있어서의 상기 표시 순서 n'과 전송 순서 n의 관계 B(n)=n'을 정의하는 것이며, 각 I-VOP, P-VOP, B-VOP에 상당하는 프레임의 부호열이 일정 주기로 전송되어 오는 경우 이외의 경우에는, 표시 순서 n'과 전송 순서 n은 상기 수학식 1∼수학식 3과는 다른 관계식 혹은 다른 방법에 의해 일대일로 대응지어지게 된다.
도 16은, 각 프레임에 대응하는 화상 표시 타이밍의 간격이 가변인 화상 표시 방법의 일례를 설명하기 위한 도면이다.
도면 중, t'(n')(t'(1), t'(2), t'(3), t'(4)…)은, 프레임 F'(n'-1)의 화상 표시가 실행되는 시각과, 프레임 F'(n')의 화상 표시가 실행되는 시각의 시간 간격을 나타내며, h'(1), h'(2), h'(3)은, 프레임 F'(0)의 화상 표시가 실행되는 시각 h'(0)을 기준으로 하여, 프레임 F'(1), F'(2), F'(3)의 화상 표시가 실행되는 시각을 나타내고 있다. 또한, h(n)(h(1), h(2), h(3), h(4), …)은 프레임 F(0)=F'(0)의 화상 표시가 실행되는 시각 h'(0)을 기준으로 하여, 프레임 F(n)(F(1), F(2), F(3), F(4), …)의 화상 표시가 실행되는 시각을 나타내고 있다. 따라서, 여기서는, 표시 순서대로 배열된 프레임 F'(n')의 표시 시각 h'(n')은, h'(n')=h'(n'-1)+t'(n')이다. 또한, h'(0)은 h'(0)=0으로 되어 있다.
다음에, 도 14에 도시하는 화상 데이터 구조를 갖는 화상 부호화 신호가 복호화되어 화상 표시가 실시되는 상황을 도 16을 이용하여 간단히 설명한다.
복호화측에서는, 도 14에 도시하는 상기 화상 부호화 신호(200)가 입력되면, 상기 화상 부호화 신호(200)를 구성하는 각 프레임 F(0), F(1), F(2), …의 화상 부호화 데이터 Cg0, Cg1, Cg2, …에 대하여 복호화 처리가 실시됨과 동시에, 각 프레임 F(0), F(1), F(2), …에 대응하는 화상 표시가, 각 프레임의 표시 시각 데이터 Dt0, Dt1, Dt2, …에 기초한 화상 표시 시각 h(0), h(1), h(2), …에 실행된다.
이렇게 하여, 부호화된 화상 신호(화상 부호화 신호)가 각 프레임에 대한 화상 표시 타이밍의 간격(화상 표시 주기)이 고정인 것 뿐만 아니라, 가변인 것에 대해서도, 복호화측에서 화상 부호화 신호가 복호화되어 소정의 타이밍으로 화상 표시가 실행되도록 되어 있다.
또한, 부호화된 화상 신호가 각 프레임에 대한 화상 표시의 간격이 고정인 경우에는, 상기 화상 표시 주기가 가변인 경우와 마찬가지로, 상기 각 프레임 F(0), F(1), F(2), …에 대응하는 화상 표시가 각 프레임의 표시 시각 데이터 Dt0, Dt1, Dt2, …에 기초한 화상 표시 시각 h(0), h(1), h(2), …에 실행되는 것은 물론이다.
그런데, 프레임 레이트(1초 동안에 표시되는 프레임의 수)는, 이것을 단순히 k(자연수) 비트로 표현하고자 하더라도, 텔레비전 방송에서 사용되는 주파수, 예를 들면 29.97…Hz, 정확하게는 30000/1001 Hz와 같은 값에 대해서는 표현할 수가 없다.
따라서, 이러한 프레임 레이트는 다음과 같이 표현할 수 있다. 즉, 소정의 시간 간격(1 modulo time)을, 예를 들어 1초로 하고, 이것을 N(N은 자연수)등분한 미소 단위 시간(1/N)을 1 단위 시간(1 time tick)으로 하여, 프레임 레이트가 가변인 화상에 대해서도, 또한 프레임 레이트가 고정인 화상에 대해서도, 각 프레임의 표시 시각을 나타내도록 하고 있다.
구체적으로는, 도 17의 (a)에 도시하는 바와 같이 표시 순서대로 배열하는 각 프레임 F'(O), F'(1)', F'(2), F'(3)의 화상 VOP0, VOP1, VOP2, VOP3의 표시 시각은, 예를 들면 시각 X를 기준으로 하여, 미소 단위 시간(1/N)을 y(VOP rate increment)개 모은 것(y/N)으로 나타낸다. 예를 들어, 화상 VOP0, VOP1, VOP2, VOP3에 대해서, 각각 상기 값 y는, y=y'0, y=y'1, y=y'2, y=y'3으로 되어 있다.
도 17의 (c)는, 상기 미소 단위 시간(1/N 초)과 상기 값 y로부터, 각 프레임의 화상 표시 타이밍을 나타내는 데이터 구조의 화상 부호화 신호(200a)를 나타내고 있다.
이 화상 부호화 신호(200a)에서는, 미소 단위 시간에 상당하는 N(자연수)을 나타내는 미소 단위 시간 데이터 Dk를 포함하는 헤더 H에 계속해서, 각 프레임 F(n)(F(0), F(1), F(2), …)에 대응하는 부호열 Sbn(Sb0, Sb1, Sb2, …)이 배열되어 있으며, 각 부호열 Sbn에는 기준 시각 x를 기준으로 하여 상기 미소 단위 시간(1/N)과 그 개수(個數) y를 이용해 측정한 표시 시각 h(n)(h(0), h(1), h(2), …)을 나타내는 표시 주기 승수 데이터 Dyn(Dy0, Dy1, Dy2, …)이 포함되어 있다.
또한, 도 17의 (c) 중, Cgn(Cg0, Cg1, Cg2, …)은 상기 각 프레임 F(n)(F(0), F(1), F(2), …)에 대응하는 화상 부호화 데이터이다.
단, 도 17의 (b)에 도시하는 바와 같이, 화상 VOP0이 I-VOP(I 프레임), VOP1, 2가 B-VOP(B 프레임), VOP3이 P-VOP(P 프레임)인 경우, 화상 부호화 신호(200a)로서의 비트 스트림에 있어서, 도 17의 (c)에 도시하는 바와 같이 I-VOP(VOP0)에 상당하는 프레임 F(0)의 부호열에 계속되는 프레임 F(1), F(2)의 부호열로서는 P-VOP(VOP3), B-VOP(VOP1)에 상당하는 것이 배열되어 있다.
이하, 우선 도 14 내지 도 16을 이용하여 설명한 화상 신호 데이터 구조에 있어서의 문제점에 대하여 설명한다.
상술한 바와 같이, 화상 부호화 신호가, 프레임의 표시 간격이 일정값 T인 화상 신호를 부호화한 것인 경우에는, 각 프레임에 대응하는 화상 표시 타이밍 h(n)은 h(n)=n'×T로 되어 있다. 여기서 n'은 표시시에 있어서의 순서를 나타내는 번호이며, n'=B(n)으로 되어 있다.
바꿔 말하면, 이러한 프레임의 표시 간격이 일정값 T인 화상 부호화 신호(즉, 프레임 레이트가 고정인 화상에 대응하는 부호화 신호)는, 복호화측에서 상기 일정한 표시 간격인 시간 T를 알 수 있는 경우, 전송 순서에 있어서의 n 번째 프레임 F(n)의 표시 시각 h(n)는 상기 일정한 표시 간격 T를 n'(=B(n))배함으로써 일의적으로 정할 수 있음에도 불구하고, 복호화시에는, 프레임 F(n)(F(0), F(1), F(2), …)에 대응하는 화상 부호화 신호에 삽입되어 있는, 도 14에 도시한 바와 같은 표시 시각 데이터 Dtn(Dt0, Dt1, Dt2, …)을 이용하여 복잡한 표시 처리를 하지 않을 수 없다고 하는 문제가 있었다.
다음에, 도 17을 이용하여 설명한 화상 신호 데이터 구조의 문제점에 대하여 설명한다.
상기한 바와 같이, 현재의 MPEG4에서 제안되어 있는 화상 신호의 데이터 구조에서는, 프레임 레이트가 고정되어 있는 경우에도, 프레임 레이트의 값(크기)은 수(數) 프레임을 디코드하지 않으면 알 수 없는 구조로 되어 있어, 이 때문에 실제의 복호화 처리를 실현하기 위한 회로 구성을 간략화하는 것이 곤란하다고 하는 문제가 있다.
간단히 설명하면, 도 17의 (b)에 도시하는 바와 같이 VOP0이 I-VOP(I 프레임), VOP1, 2가 B-VOP(B 프레임), VOP3이 P-VOP(P 프레임)인 경우, 화상 부호화 신호(200a)로서의 비트 스트림으로서는, 도 17의 (c)에 도시하는 바와 같이 I-VOP(I 프레임)에 상당하는 프레임 F(0)에 계속해서, P-VOP(P 프레임)에 상당하는 프레임 F(1) 및 B-VOP(B 프레임)에 상당하는 프레임 F(2)가 배열되어 있기 때문에, 이 B-VOP(B 프레임)에 대응하는 프레임 F(2)가 전송되어 올 때까지는 프레임 표시 주기(1 fixed VOP increment), 즉 이 경우에는 I-VOP의 표시 타이밍과 그 다음에 표시되는 B-VOP(B 프레임)의 표시 타이밍의 간격을 알 수 없다고 하는 문제가 있다.
본 발명의 목적은, 상기한 바와 같은 문제점을 해소하기 위하여 이루어진 것으로, 프레임 레이트(각 프레임에 대한 화상 표시의 주기) 등의 복호화측에서의 각 프레임에 대한 재생 처리의 주기가 고정인 화상 부호화 신호에 대하여, 간단한 하드웨어 구성으로 복호화 처리나 표시 처리를 포함한 재생 처리를 실시할 수 있고, 또한 상기 프레임 레이트 등이 가변인 화상 부호화 신호에 대한 재생 처리도 실행할 수 있는 화상 신호 데이터 구조를 제공하는 것이다.
또한, 본 발명의 목적은, 복호화측에서, 프레임 레이트(각 프레임에 대한 화상 표시의 주기) 등의 각 프레임에 대한 재생 처리의 주기가 고정인 화상 부호화 신호에 대하여, 간단한 하드웨어 구성으로 복호화 처리나 표시 처리를 포함한 재생 처리를 실시하고, 또한 프레임 레이트 등이 가변인 화상 부호화 신호에 대한 재생 처리도 간단히 실행하는 것이 가능해지도록 화상 부호화 처리를 실시하는 화상 부호화 방법 및 화상 부호화 장치, 화상 부호화 신호에 대하여, 각 프레임의 재생 처리의 주기가 가변인지 여부에 따라서 복호화 처리 및 화상 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있는 화상 복호화 방법 및 화상 복호화 장치를 얻는 것이다.
또한, 본 발명의 목적은, 프레임 레이트 등이 고정인 화상 부호화 신호의 프레임 레이트 등의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있고, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단하게 할 수 있는 화상 신호 데이터 구조를 얻는 것이다.
또한, 본 발명의 목적은, 프레임 레이트 등이 고정인 화상 부호화 신호의 프레임 레이트 등의 값(크기)을, 각 프레임의 디코드 처리를 실시하기 전에 미리 검출할 수 있어, 상기 화상 부호화 신호에 대하여 복호화 처리 및 표시 처리를 포함한 재생 처리를, 간단한 하드웨어 구성으로 실시할 수 있도록 부호화 처리를 실시하는 화상 부호화 방법 및 화상 부호화 장치, 상기 부호화 처리에 의해 얻어진 화상 부호화 신호를 정확하게 복호화할 수 있는 화상 복호화 방법 및 화상 복호화 장치를 얻는 것이다.
또한, 본 발명의 목적은, 상기 데이터 구조의 화상 부호화 신호를 저장한 데이터 기억 매체, 상기 화상 부호화 방법 및 화상 복호화 방법에 의한 처리를 컴퓨터에 의해 실현하기 위한 화상 처리 프로그램을 저장한 데이터 기억 매체를 얻는 것이다.
본 발명의 제 1 관점에 따른 화상 신호 데이터 구조는, 화상 신호를 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호의 데이터 구조에 있어서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 것이다.
본 발명의 제 2 관점에서는, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 한 것이다.
본 발명의 제 3 관점에서는, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 고정인 것을 나타내는 표시 주기 고정 식별자를 포함함과 동시에, 상기 표시 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하는 것이다.
본 발명의 제 4 관점에서는, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인 것을 나타내는 표시 주기 가변 식별자를 포함함과 동시에, 상기 표시 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터를 포함하는 것이다.
본 발명의 제 5 관점에서는, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 한 것이다.
본 발명의 제 6 관점에서는, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 고정인 것을 나타내는 복호 주기 고정 식별자를 포함함과 동시에, 상기 복호 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하는 것이다.
본 발명의 제 7 관점에서는, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 가변인 것을 나타내는 복호 주기 가변 식별자를 포함함과 동시에, 상기 복호 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터를 포함하는 것이다.
본 발명의 제 8 관점에 따른 화상 부호화 방법은, 소정의 화상에 대응하는 화상 신호를 부호화하여, 상기 부호화에 의해 얻어지는 화상 부호화 데이터와 함께, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 출력하는 화상 부호화 방법에 있어서, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 상기 재생 주기 식별자와 함께, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 출력하고, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 화상 신호가 입력되었을 때, 상기 재생 주기 식별자와 함께, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 출력하는 것이다.
본 발명의 제 9 관점에서는, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터로 한 것이다.
본 발명의 제 10 관점에서는, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터로 한 것이다.
본 발명의 제 11 관점에 따른 화상 복호화 방법은, 화상의 각 프레임에 대응하는 화상 부호화 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 화상 부호화 신호를 복호화하는 화상 복호화 방법에 있어서, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하고, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하는 것이다.
본 발명의 제 12 관점에서는, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 화상 표시가 실행되는 표시 타이밍을 나타내는 표시 타이밍 데이터로 한 것이다.
본 발명의 제 13 관점에서는, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을, 복호화 처리의 대상으로 되는 대상 프레임을 포함하는 복수 프레임의 표시 타이밍 데이터에 근거하여 설정하는 것이다.
본 발명의 제 14 관점에서는, 제 13 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 복호 타이밍을, 상기 대상 프레임의 표시 타이밍 데이터 및 그 다음에 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 상기 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정하는 것이다.
본 발명의 제 15 관점에서는, 제 14 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 표시 타이밍이 상기 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 상기 대상 프레임에 대한 복호화 처리에 소요되는 시간 이상의 크기로 설정하고, 상기 다음 프레임의 표시 타이밍이 상기 대상 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 소요되는 시간과, 다음 프레임에 대한 복호화 처리에 소요되는 시간의 합계 시간 이상의 크기로 설정하는 것이다.
본 발명의 제 16 관점에서는, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을 나타내는 복호 타이밍 데이터로 한 것이다.
본 발명의 제 17 관점에서는, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자에 부가하여, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 것이다.
본 발명의 제 18 관점에서는, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 한 것이다.
본 발명의 제 19 관점에서는, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 한 것이다.
본 발명의 제 20 관점에 관한 화상 부호화 방법은, 소정의 화상에 대응하는 화상 신호를 부호화하고, 상기 부호화에 의해 얻어지는 화상 부호화 데이터와 함께, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 출력하는 화상 부호화 방법에 있어서, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 상기 재생 주기 식별자와 함께, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 출력하는 것이다.
본 발명의 제 21 관점에서는, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 한 것이다.
본 발명의 제 22 관점에서는, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 한 것이다.
본 발명의 제 23 관점에 따른 화상 복호화 방법은, 화상의 각 프레임에 대응하는 화상 부호화 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 화상 부호화 신호를 복호화하는 화상 복호화 방법에 있어서, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 미소 단위 시간의 크기를 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 승수 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하는 것이다.
본 발명의 제 24 관점에서는, 제 23 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 한 것이다.
본 발명의 제 25 관점에서는, 제 23 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 한 것이다.
본 발명의 제 26 관점에 따른 화상 부호화 장치는, 소정의 화상에 대응하는 화상 신호를 부호화하는 화상 부호화 장치에 있어서, 입력되는 화상 신호를 부호화하여 화상 부호화 데이터를 출력하는 부호화기와, 상기 화상 신호에 근거하여, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정해서, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단과, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터를 생성하는 제 1 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 생성하는 제 2 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 생성하는 제 3 데이터 생성기와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 데이터를 도통시키는 도통 상태와 상기 재생 주기 데이터를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 프레임 위치 데이터와 상기 재생 타이밍 데이터 중 한쪽을 선택하는 선택 스위치와, 상기 부호화기, 주기 판정 수단 및 각 스위치의 출력을 소정의 순서로 다중화하는 다중화기를 포함하고, 상기 다중화에 의해 얻어진 비트 스트림을 화상 부호화 신호로서 출력하도록 구성한 것이다.
본 발명의 제 27 관점에 따른 화상 복호화 장치는, 제 26 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 재생 주기 데이터, 프레임 위치 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단과, 상기 화상 부호화 데이터를 각 프레임마다 복호화하여 화상 복호화 데이터를 생성하는 복호화기와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 데이터를 도통시키는 도통 상태와 상기 재생 주기 데이터를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 프레임 위치 데이터와 재생 타이밍 데이터 중 한쪽을 선택하여 출력하는 선택 스위치와, 상기 화상 복호화 데이터에 근거하여, 상기 각 프레임에 대응하는 화상 표시 처리를 실행하는 표시 장치를 포함하고, 상기 복호화기에 의한 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 재생 주기 데이터 및 프레임 위치 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성한 것이다.
본 발명의 제 28 관점에 따른 화상 부호화 장치는, 소정의 화상에 대응하는 화상 신호를 부호화하는 화상 부호화 장치에 있어서, 입력되는 화상 신호를 부호화하여 화상 부호화 데이터를 출력하는 부호화기와, 상기 화상 신호에 근거하여, 상기 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정하여, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단과, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터를 생성하는 제 1 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 생성하는 제 2 데이터 생성기와, 상기 화상 신호에 근거하여, 상기 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 생성하는 제 3 데이터 생성기와, 상기 재생 주기 식별자에 근거하여, 상기 미소 단위 시간 데이터를 도통하는 도통 상태와 상기 미소 단위 시간 데이터를 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 승수 데이터를 도통하는 도통 상태와 상기 재생 주기 승수 데이터를 차단하는 차단 상태 사이에서 전환되는 개폐하는 제 2 개폐 스위치와, 상기 부호화기, 주기 판정 수단, 제 3 데이터 생성기 및 각 스위치의 출력을 소정의 순서로 다중화하는 다중화기를 포함하고, 상기 다중화에 의해 얻어진 비트 스트림을 화상 부호화 신호로서 출력하도록 구성한 것이다.
본 발명의 제 29 관점에 따른 화상 복호화 장치는, 제 28 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 미소 단위 시간 데이터, 재생 주기 승수 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단과, 상기 화상 부호화 데이터를 상기 각 프레임마다 복호화하여 화상 복호화 데이터를 생성하는 복호화기와, 상기 재생 주기 식별자에 근거하여, 상기 재생 주기 승수 데이터를 도통시키는 도통 상태와 상기 이 데이터를 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치와, 상기 재생 주기 식별자에 근거하여, 상기 재생 타이밍 데이터를 도통시키는 도통 상태와 상기 데이터를 차단하는 차단 상태 사이에서 전환되는 제 2 개폐 스위치와, 상기 화상 복호화 데이터에 근거하여, 각 프레임에 대응하는 화상 표시 처리를 실시하는 표시 장치를 포함하고, 상기 복호화기에 의한 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 미소 단위 시간 데이터 및 재생 주기 승수 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성한 것이다.
본 발명의 제 30 관점에 따른 데이터 기억 매체는, 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 구성으로 한 것이다.
본 발명의 제 31 관점에 따른 데이터 기억 매체는, 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 구성으로 한 것이다.
본 발명의 제 32 관점에 따른 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 8 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를 컴퓨터로 실행시키기 위한 부호화 처리 프로그램으로 한 것이다.
본 발명의 제 33 관점에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 11 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를 컴퓨터로 실행시키기 위한 복호화 처리 프로그램으로 한 것이다.
본 발명의 제 34 관점에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 20 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를, 컴퓨터로 실행시키기 위한 부호화 처리 프로그램으로 한 것이다.
본 발명의 제 35 관점에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램은, 제 23 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를 컴퓨터로 실행시키기 위한 복호화 처리 프로그램으로 한 것이다.
발명의 실시예
이하, 본 발명의 실시예에 대하여 설명한다.
본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.
(실시예 1)
도 1의 (a)는 본 발명의 실시예 1에 의한, 프레임 표시 주기가 고정(일정)인 화상 부호화 신호(100a)의 데이터 구조를 나타내며, 도 1의 (b)는 본 발명의 실시예 1에 의한, 프레임 표시 주기가 가변인 화상 부호화 신호(100b)의 데이터 구조를 나타내고 있다.
상기 화상 부호화 신호(100a)(도 1의 (a) 참조)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상)에 대응하는, 프레임 표시 주기가 고정인 화상 신호를 부호화하여 얻어지는 것이며, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sa0, Sa1, Sa2, …, San을 전송 순서로 배열한 구조로 되어 있다. 여기서, n은 1개의 화상을 구성하는 프레임 계열에 있어서의, 각 프레임의 데이터 전송 순서에 대응하는 번호이다.
이 화상 부호화 신호(100a)에서는, 헤더 H 내에 프레임 표시 주기가 고정인 것을 나타내는 표시 주기 식별자(표시 주기 고정 식별자) Df 및 프레임 표시 주기를 나타내는 표시 주기 데이터 Dp가 삽입되며, 각 프레임에 대응하는 부호열 Sa0, Sa1, Sa2, …, San의 선두에는, 그 프레임이 표시되는 순서 n'에 상당하는 프레임 번호 B(n)을 나타내는 프레임 번호 데이터 B0, B1, B2, …, Bn이 삽입되어 있다. 또한, 상기 각 프레임에 대응하는 부호열 Sa0, Sa1, Sa2, …, San에는, 각 프레임의 화상 신호를 부호화하여 얻어지는 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 포함되어 있다.
도 2는 각 프레임에 대응하는 화상 표시 타이밍의 간격이 고정인 화상 표시 방법의 일례를 설명하기 위한 도면으로, 도면중, 도 16과 동일 부호는 동일의 것을 나타내고 있고, T는 각 프레임의 표시 타이밍의 간격이 고정인 화상의 프레임 표시 주기이다.
이 화상 부호화 신호(100a)로는, 도 2에 도시하는 바와 같이, 전송 순서로 나열하는 프레임 F(n)(n=0, 1, 2, …)의 표시 시각 h(n)은, 프레임 F(0)의 표시 시각 h(0)(=h'(0))을 h(0)=0로 하면, h(n)=B(n)×T로 나타내어진다. 구체적으로는, 프레임 F(2)의 표시 시각 h(2)는 h(2)=B(2)×T, 프레임 F(3)의 표시 시각 h(3)은 h(3)=B(3)×T, 프레임 F(1)의 표시 시각 h(1)은 h(1)=B(1)×T, 프레임 F(4)의 표시 시각 h(4)는 h(4)=B(4)×T로 된다.
따라서, 이 화상 부호화 신호(100a)의 재생 처리로는, 각 프레임에 대응하는 화상 부호화 데이터의 복호화에 의해 얻어지는 화상 복호화 데이터가 표시 시각 h(n)에 순차적으로 표시되게 된다. 또한 여기서, 표시의 순서를 나타내는 번호 n'을 나타내는 프레임 번호 B(n)은, 종래 기술에서 설명한 바와 같이 상기 수학식 (1)∼(3)에 의해, 전송의 순서를 나타내는 번호 n의 함수로서 결정된다.
한편, 상기 화상 부호화 신호(100b)(도 1의 (b) 참조)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상)에 대응하는, 프레임 표시 주기가 가변인 화상 신호를 부호화하여 얻어지는 것이며, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sb0, Sb1, Sb2, …, Sbn을 전송 순서로 배열한 구조로 되어 있다.
이 화상 부호화 신호(100b)에서는, 헤더 H 내에 프레임 표시 주기가 가변인 것을 나타내는 표시 주기 식별자(표시 주기 가변 식별자) Df가 삽입되며, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sb0, Sb1, Sb2, …, Sbn의 선두에는, 그 프레임이 표시되는 표시 시각 h(0), h(1), h(2), …, h(n)을 나타내는 표시 시각 데이터(표시 타이밍 데이터) Dt0, Dt1, Dt2, …, Dtn이 삽입되어 있다. 또한, 상기 화상 부호화 신호(100b)에 있어서의 각 프레임에 대응하는 부호열 Sb0, Sb1, Sb2, …, Sbn에는, 각 프레임의 화상 신호를 부호화하여 얻어지는 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 포함되어 있다.
이 화상 부호화 신호(100b)의 재생 처리에 의한 화상 표시는, 도 14에 도시한 종래의 데이터 구조를 가지는 화상 부호화 신호(200)의 화상 표시와 마찬가지로 실행된다.
다음에 작용 효과에 대하여 설명한다.
본 발명의 실시예 1에서는, 프레임 표시 주기가 고정인 화상 부호화 신호(100a)는, 도 1의 (a)에 도시하는 바와 같이, 그 화상 데이터 전체의 헤더 부분에, 프레임 표시 주기가 고정인 것을 나타내는 표시 주기 고정 식별자 Df와, 프레임 표시 주기를 나타내는 표시 주기 데이터 Dp를 삽입함과 동시에, 프레임마다 각 프레임 번호 B(0), B(1), B(2), …, B(n)을 나타내는 프레임 번호 데이터 B0, B1, B2, …, Bn을 삽입한 데이터 구조로 되어 있다.
이와 같은 데이터 구조의 화상 부호화 신호(100a)에서는, 상기 표시 주기 데이터 Dp로부터 프레임 표시 주기 T를 알 수 있어, 프레임 번호 데이터 Bn으로부터, 1개의 화상에 있어서의 각 프레임이 표시 순서로 세어져 몇번째의 프레임에 상당하는가를 알기 때문에, 이들 데이터 Dp 및 Bn에 의해 각 프레임 F(n)의 표시 시각 h(n)을 일의(一意)적으로 결정할 수 있다.
한편, 프레임 표시 주기가 가변인 화상 부호화 신호(100b)는, 도 1의 (b)에 도시하는 바와 같이, 그 화상 데이터 전체의 헤더 부분에, 표시 간격이 가변인 것을 나타내는 표시 주기 가변 식별자 Df를 삽입하며, 또한 종래의 화상 부호화 신호(200)의 데이터 구조와 마찬가지로, 프레임마다 각 프레임의 표시 시각 h(0), h(1), h(2), …, h(n)을 나타내는 표시 시각 데이터 Dt0, Dt1, Dt2, …, Dtn을 삽입한 데이터 구조로 되어 있다.
이 때문에, 상기 화상 부호화 신호(100b)를 재생할 때에는, 각 프레임 F(0)∼F(n)에 대응하는 화상 표시를, 해당 표시 시각 데이터 Dt0∼Dtn이 나타내는 표시 시각 h(0)∼h(n)에 실행할 수 있다.
이상과 같이, 화상 부호화 신호의 헤더 부분에 프레임 표시 주기가 고정인지 가변인지를 나타내는 표시 주기 식별자 Df를 삽입함으로써, 프레임 표시 주기가 가변인 화상에도 대응할 수 있다. 또한, 프레임 표시 주기가 고정인 화상에 대해서는, 정보량이 많은 각 프레임의 표시 시각 데이터 Dt0∼Dtn을 참조하지 않고서, 표시 주기 데이터 Dp와 정보량이 적은 프레임 번호 데이터 Bn에 근거하여 각 프레임의 화상 표시를 실행할 수 있어, 복호화측에 있어서의 화상 처리 회로를 간단한 회로 구성으로 할 수 있다.
이하, 상기한 바와 같은 화상 부호화 신호(100a, 100b)를 생성하는 화상 신호의 부호화 처리 및 그 복호화 처리에 대하여 설명한다.
도 3은 상기 부호화 처리의 흐름을 도시하는 도면이다.
우선, 상기 부호화 처리로는, 입력된 소정의 화상에 대응하는 화상 신호의 프레임 표시 주기가 고정인지 여부의 판정이 행해진다(단계 S11). 이 판정의 결과, 프레임 표시 주기가 고정인 경우에는, 상기 프레임 표시 주기가 고정인 것을 나타내는 표시 주기 고정 식별자 Df가, 상기 화상 신호에 대응하는 비트 스트림의 헤더 H에 부가되고(단계 S11a), 또한 각 프레임의 전송 순서를 나타내는 번호 n이 카운터값으로서 이용되며, 이 카운터값 n이 n=0으로 설정된다(단계 S12a). 계속해서, 상기 고정의 프레임 표시 주기 T를 나타내는 표시 주기 데이터 Dp가, 상기 화상 신호에 대응하는 비트 스트림의 헤더 H에 부가된다(단계 S13a).
다음에, 상기 소정의 화상의, 전송 순서에 있어서의 최초의 프레임 F(0)에 대응하는 부호열 Sa0으로 하여, 대응하는 프레임 번호 데이터 Bn(=B0) 및 화상 부호화 데이터 Cgn(=Cg0)이 순차적으로 상기 헤더 H에 부가된다(단계 S14a, S15a). 그 후, 상기 화상 신호의 부호화 처리에 있어서의 처리 대상 프레임이 상기 소정의 화상의, 전송 순서에 있어서의 최종의 프레임인지 여부의 판정이 행해져(단계 S16a), 해당 처리 대상 프레임이 최종 프레임이 아니면, 상기 카운터값 n이 1개 증분되며(단계 S17a), 계속되는 프레임 F(1)에 대하여, 상기 단계 S14a∼S17a에 있어서의 처리가 행해진다.
상기 단계 S14a∼S17a에 있어서의 처리는, 단계 S16a에서 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다.
한편, 상기 단계 S11에서의 판정의 결과, 프레임 표시 주기가 가변인 경우에는, 상기 프레임 표시 주기가 가변인 것을 나타내는 표시 주기 가변 식별자 Df가, 상기 화상 신호에 대응하는 비트 스트림의 헤더 H에 부가되며(단계 S11b), 또한 각 프레임의 전송 순서를 나타내는 번호 n이 카운터값 n으로서 이용되어, 이 카운터값 n이 n=0에 설정된다(단계 S12b). 다음에, 상기 소정의 화상의, 전송 순서에 있어서의 최초의 프레임 F(0)에 대응하는 부호열로서, 대응하는 표시 시각 데이터 Dtn(=Dt0) 및 화상 부호화 데이터 Cgn(=Cg0)이 순차적으로 상기 헤더에 부가된다(단계 S13b, S14b). 그 후, 상기 화상 신호의 부호화 처리에 있어서의 처리 대상 프레임이 상기 소정의 화상에 있어서의, 최종의 프레임인지 여부의 판정이 행해져(단계 S15b), 해당 처리 대상 프레임이 최종 프레임이 아니면, 상기 카운터값 n이 1개 증분되며(단계 S16b), 계속되는 프레임 F(1)에 대하여, 상기 단계 S13b∼S16b에 있어서의 처리가 행해진다.
상기 단계 S13b∼S16b에 있어서의 처리는, 단계 S15b에서 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다.
도 4의 (a)는 상기 실시예 1에 있어서의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1000)의 구성을 나타내는 블럭도이다.
이 화상 부호화 장치(1000)는, 입력되는 화상 신호 Sg를 부호화하여 화상 부호화 데이터 Cgn을 생성하는 부호화기(1110)와, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임 표시 주기가 일정한지의 여부(즉, 표시 주기가 고정인지 가변인지)를 판정하여, 표시 주기가 일정한지의 여부를 나타내는 표시 주기 식별자 Df를 출력하는 판정기(1131)와, 상기 입력된 화상 신호 Sg에 근거하여, 일정의 프레임 표시 주기 T를 나타내는 표시 주기 데이터 Dp를 생성하는 표시 주기 데이터 생성기(제 1 데이터 생성기)(1132)를 가지고 있다.
또한, 상기 화상 부호화 장치(1000)는, 상기 입력된 화상 신호 Sg에 근거하여, 전송 순서에 있어서의 각 프레임의 순서(프레임 번호 B(n))를 나타내는 프레임 번호 데이터 Bn을 생성하는 번호 데이터 생성기(제 2 데이터 생성기)(1133)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn을 생성하는 표시 시각 데이터 생성기(제 3 데이터 생성기)(1134)를 가지고 있다.
또한, 상기 화상 부호화 장치(1000)는, 상기 판정기(1131)로부터의 표시 주기 식별자 Df에 근거하여, 상기 데이터 생성기(1132)로부터의 표시 주기 데이터 Dp를 도통시키는 도통 상태와 해당 표시 주기 데이터 Dp를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치(1141)와, 상기 판정기(1131)로부터의 표시 주기 식별자 Df에 근거하여, 상기 데이터 생성기(1133)로부터의 프레임 번호 데이터 Bn과 상기 데이터 생성기(1134)로부터의 표시 시각 데이터 Dtn의 한쪽을 선택하여 출력하는 선택 스위치(1142)를 가지고 있다.
그리고, 상기 화상 부호화 장치(1000)는, 상기 판정기(1131)로부터의 표시 주기 식별자 Df, 상기 부호화기(1110)로부터의 부호화 데이터 Cgn, 상기 개폐 스위치(1141)로부터의 표시 주기 데이터 Dp 및 상기 선택 스위치(1142)의 출력을 다중화하여 다중 비트 스트림 M1을 생성하는 다중화기(MUX)(1120)를 가지고 있고, 해당 다중 비트 스트림 M1을, 프레임 표시 주기가 고정인 화상 부호화 신호(100a) 혹은 프레임 표시 주기가 가변인 화상 부호화 신호(100b)로 하여 출력하는 구성으로 되어 있다.
이하, 간단히 상기 화상 부호화 장치(1000)의 동작에 대하여 설명한다.
우선, 상기 화상 부호화 장치(1000)에 소정의 화상에 대응하는 화상 신호 Sg가 입력되면, 상기 판정기(1131)에서는, 해당 화상 신호 Sg의 프레임 표시 주기가 가변인지 여부의 판정이 실행되며, 판정 결과를 나타내는 표시 주기 식별자 Df가 출력된다. 또한, 이 때, 상기 화상 신호 Sg에 근거하여, 제 1∼제 3 데이터 생성기(1132∼1134)에서는, 각각 상기 표시 주기 데이터 Dp, 프레임 번호 데이터 Bn 및 표시 시각 데이터 Dtn이 생성되고, 상기 부호화기(1110)에서는, 상기 화상 신호 Sg가 부호화되어 화상 부호화 데이터 Cgn으로서 출력된다.
그리고, 상기 표시 주기 식별자 Df 및 화상 부호화 데이터 Cgn은 다중화기(1120)에 출력된다. 이 때, 상기 표시 주기 데이터 Dp는, 표시 주기 식별자 Df에 근거하여 개폐되는 스위치(1141)를 거쳐서 다중화기(1120)에 출력되며, 프레임 번호 데이터 Bn 및 표시 시각 데이터 Dtn은, 표시 주기 식별자 Df에 근거하여 이들 데이터의 한쪽을 선택하는 선택 스위치(1142)를 거쳐서 상기 다중화기(1120)에 출력된다.
즉, 화상 신호 Sg로서, 상기 각 프레임 F(n)에 대응하는 화상 표시의 주기가 고정인 화상 신호가 입력될 때, 상기 표시 주기 고정 식별자 Df와 함께, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터 Dp와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 번호 데이터 Bn이 다중화기(1120)에 출력된다. 그렇게 하면, 해당 다중화기(1120)에서는, 상기 화상 부호화 데이터 Cgn, 표시 주기 고정 식별자 Df, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn이 다중화되어 화상 부호화 신호(100a)로서 출력된다.
한편, 상기 화상 신호 Sg로서, 상기 각 프레임 F(n)에 대응하는 화상 표시의 주기가 가변인 화상 신호가 입력되었을 때, 상기 표시 주기 가변 식별자 Df와 함께, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각의 소요의 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍(표시 시각) h(n)을 나타내는 표시 시각 데이터 Dtn이 상기 다중화기(1120)에 출력된다. 그렇게 하면, 해당 다중화기(1120)에서는, 상기 화상 부호화 데이터 Cgn, 표시 주기 가변 식별자 Df 및 표시 시각 데이터 Dtn이 다중화되어, 화상 부호화 신호(100b)로서 출력된다.
다음에, 도 5를 이용하여, 본 실시예의 데이터 구조를 가지는 화상 부호화 신호(100a, 100b)를 복호화하는 복호화 처리에 대하여 설명한다.
우선, 상기 복호화 처리로는, 부호화측으로부터 전송되어 오는 다중 비트 스트림 M1(화상 부호화 신호(100a 혹은 100b))에 있어서의 표시 주기 식별자 Df를 검출함으로써, 해당 화상 부호화 신호의 표시 주기가 고정인지의 여부가 판정된다(단계 S21). 이 판정의 결과, 표시 주기가 고정으로 판정되면, 전송 순서에 있어서의 각 프레임 F(n)의 순서에 상당하는 카운트값 n이 0으로 설정되며(단계 S21a), 그 후, 화상 부호화 신호의 헤더 부분 H로부터 표시 주기 T를 나타내는 표시 주기 데이터 Dp가 판독된다(단계 S22a).
다음에, 각 프레임의 헤더 부분으로부터, 프레임 번호 B(n)을 나타내는 프레임 번호 데이터 Bn이 판독되며(단계 S23a), 각 프레임의 표시 시각 h(n)이 계산식 h(n)=B(n)×T에 의해 구해진다(단계 S24a).
그리고, 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 행해져, 프레임 F(n)에 대응하는 화상 복호화 데이터가, 표시 시각 h(n)에 표시되는 화상 데이터로 된다(단계 S25a). 그 후, 처리 대상 프레임 F(n)이 상기 소정의 화상의, 전송 순서에 있어서의 최후의 프레임인지 여부가 판정되며(단계 S26a), 처리 대상 프레임이 상기 소정의 화상의, 전송 순서에 있어서의 최후의 프레임이면 복호화 처리가 종료되고, 이것이 최후의 프레임이 아니면, 상기 카운트값 n이 1개 증분되며(단계 S27a), 그 후, 상기 단계 S23a∼S26a의 처리가 상기 단계 S26a에서 처리 대상 프레임이 최후의 프레임으로 판정될 때까지 실행된다.
한편, 상기 단계 S21에서, 표시 주기가 가변으로 판정되면, 전송 순서에 있어서의 각 프레임 F(n)의 순서에 상당하는 카운트값 n이 0으로 설정되며(단계 S21b), 그 후, 각 프레임의 헤더 부분으로부터 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn이 판독되고(단계 S22b), 이 표시 시각 데이터 Dtn에 근거하여 프레임 F(n)의 표시 시각 h(n)이 결정된다(단계 S23b). 계속해서, 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 실행되어, 복호화 처리가 실시된 프레임 F(n)의 화상 복호화 데이터가, 표시 시각 h(n)에 표시되는 화상 데이터로 된다(단계 S24b).
그 후, 처리 대상 프레임 F(n)이 상기 소정의 화상의, 전송 순서에 있어서의 최후의 프레임인지의 여부가 판정되며(단계 S25b), 해당 처리 대상 프레임이 최후의 프레임이면 복호화 처리가 종료한다. 한편, 상기 처리 대상 프레임이 최후의 프레임이 아니면, 상기 카운트값 n이 1개 증분되며(단계 S26b), 그 후, 상기 단계 S22b∼단계 S26b의 처리가, 단계 S25b에서 처리 대상 프레임이 최후의 프레임으로 판정될 때까지 실행된다.
이상 설명한 바와 같이 도 5에 나타낸 처리 순서로, 도 1의 (a), 도 1의 (b)에 나타내는 데이터 구조를 가지는 화상 부호화 신호가 복호화된다.
도 6의 (a)는 상기 실시예 1에 있어서의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치의 구성을 나타내는 블럭도이다.
이 화상 복호화 장치(2000)는, 상기 화상 부호화 장치(1000)로부터 출력된 화상 부호화 신호(100a 혹은 100b)로서의 다중 비트 스트림 M1에 대하여, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2000)는, 상기 다중 비트 스트림 M1로부터, 화상 부호화 데이터 Cgn, 표시 주기 식별자 Df, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn 혹은 표시 시각 데이터 Dtn을 취출하여 출력하는 데이터 분리기(DEMUX)(2110)와, 상기 화상 부호화 데이터 Cgn을 복호화하여 화상 복호화 데이터 Rg를 출력하는 복호화기(2120)를 가지고 있다.
또한, 상기 화상 복호화 장치(2000)는, 상기 표시 주기 식별자 Df에 근거하여, 상기 표시 주기 데이터 Dp를 도통시키는 도통 상태와 해당 표시 주기 데이터 Dp를 차단하는 차단 상태 사이에서 전환되는 개폐 스위치(2140)와, 상기 표시 주기 식별자 Df에 근거하여, 상기 프레임 번호 데이터 Bn 및 상기 표시 시각 데이터 Dtn의 한쪽을 선택하여 출력하는 선택 스위치(2150)를 가지고 있다.
또한, 상기 화상 복호화 장치(2000)는, 상기 화상 복호화 데이터 Rg를, 표시 주기 식별자 Df 및 각 스위치(2140, 2150)의 출력에 근거하여 소정의 표시 타이밍으로 표시하는 표시 장치(2130)를 가지고 있다.
이하, 간단히 상기 화상 복호화 장치(2000)의 동작에 대하여 설명한다.
우선, 상기 화상 복호화 장치(2000)에, 상기 화상 부호화 장치(1000)로부터의 다중 비트 스트림 M1이 입력되면, 데이터 분리기(2110)에 의해, 상기 다중 비트 스트림 M1로부터 표시 주기 식별자 Df 및 표시 주기 데이터 Dp가 분리되며, 또한 각 프레임마다 상기 다중 비트 스트림 M1로부터, 화상 부호화 데이터 Cgn 및 프레임 번호 데이터 Bn 혹은 표시 시간 데이터 Dtn이 분리된다.
그리고, 각 프레임의 화상 부호화 데이터 Cgn은 복호화기(2120)에 의해 복호화되어 화상 복호화 데이터 Rg로서 표시 장치(2130)에 출력된다. 또한, 상기 표시 주기 데이터 Dp는, 표시 주기 식별자 Df에 의해 개폐되는 개폐 스위치(2140)를 거쳐서 표시 장치(2130)에 출력되며, 각 프레임의 프레임 번호 데이터 Bn 혹은 표시 시간 데이터 Dtn은, 표시 주기 식별자 Df에 의해 이들 중 한쪽의 데이터를 선택하는 선택 스위치(2150)를 거쳐서 상기 표시 장치(2130)에 출력된다.
그리고 표시 장치(2130)에서는, 표시 주기가 고정인 화상 복호화 데이터 Rg에 대응하는 각 프레임의 화상은, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn에 근거하여 소정의 표시 타이밍으로 표시되는 한편, 표시 주기가 가변인 화상 복호화 데이터 Rg에 대응하는 프레임의 화상은, 표시 시각 데이터 Dtn에 근거하여 소정의 표시 타이밍으로 표시된다.
이와 같이, 본 실시예 1의 화상 신호 데이터 구조로는, 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 각 프레임에 대응하는 화상 표시 처리의 주기가 가변인지의 여부를 나타내는 표시 주기 식별자 Df를 포함하는 구성으로 하였기 때문에, 각 프레임에 대한 화상 표시의 주기가 고정인 경우에, 간단한 회로 구성에 의해, 즉 각 프레임마다 정보량(비트수)이 많은 표시 시각 데이터(표시 타이밍 데이터) Dtn을 참조하는 일 없이, 표시 주기 데이터 Dp와 정보량(비트수)이 적은 프레임 번호 데이터 Bn에 근거하여, 화상 복호화 데이터 Rg의 표시 처리를 실행할 수 있다.
또한, 표시 주기가 고정인 화상 부호화 신호(100a)에는, 화상 표시의 주기 T를 나타내는 표시 주기 데이터 Dp와, 프레임의 전후 관계를 나타내는 프레임 번호 B(n)을 나타내는 데이터(프레임 위치 데이터) Bn을 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 타이밍을, T×B(n)이라고 하는 간단한 연산에 의해 결정할 수 있다.
또한, 표시 주기가 가변인 화상 부호화 신호(100b)에는, 각 프레임에 따라 1개 또는 복수의 기준 시각의 소요의 것 h'(0)(도 2 참조)에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 행해지는 표시 시각(표시 타이밍) h(n)을 나타내는 표시 시각 데이터(표시 타이밍 데이터) Dtn을 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 주기가 가변인 경우에는, 종래의 데이터 구조와 마찬가지로, 표시 시각 데이터 Dtn에 근거하여 각 프레임 F(n)에 대응하는 화상 표시의 타이밍 h(n)을 확정할 수 있다.
또한, 본 실시예 1의 화상 부호화 장치(1000)에서는, 입력되는 화상 신호에 근거하여, 화상의 표시 주기가 가변인지의 여부를 나타내는 표시 주기 식별자 Df를 생성하는 판정기(1131)를 구비하며, 표시 주기가 고정인 화상 신호가 입력되었을 때, 상기 표시 주기 식별자 Df, 화상 표시의 주기를 나타내는 표시 주기 데이터 Dp, 프레임의 전후 관계를 나타내는 프레임 번호 데이터 Bn을 화상 부호화 데이터 Cgn과 다중화하여 출력하고, 화상 표시의 주기가 가변인 화상 신호가 입력되었을 때, 표시 주기 식별자 Df 및 각 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn을, 화상 부호화 데이터 Cgn과 다중화하여 출력하도록 하였기 때문에, 각 프레임에 대한 화상 표시의 주기가 가변 또는 고정이어도, 각 프레임의 표시 타이밍을 결정하기 위한 데이터가 화상 부호화 데이터 Cgn과 함께 출력되게 된다. 이에 따라 프레임의 표시 주기가 고정인 경우에 표시 시각을 결정하는데 필요로 하는 비트수를 삭감할 수 있고, 더구나, 프레임의 표시 주기가 가변인 화상의 표시도 종래와 같이 실행할 수 있다.
또한, 본 실시예 1의 화상 복호화 장치(2000)에서는, 상기 화상 부호화 장치(1000)로부터 전송되어 오는 다중 비트 스트림 M1에 포함되어 있는, 표시 주기 식별자 Df, 화상 표시의 주기를 나타내는 표시 주기 데이터 Dp, 프레임의 전후 관계를 나타내는 프레임 번호 데이터 Bn, 각 프레임의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn 및 화상 부호화 데이터 Cgn을 분리하는 데이터 분리기(2110)와, 상기 화상 부호화 데이터 Cgn을 복호화하여 화상 복호화 데이터 Rg를 출력하는 복호화기(2120)를 구비하고, 표시 주기가 고정인 화상 복호화 데이터 Rg를, 표시 주기 데이터 Dp 및 프레임 번호 데이터 Bn에 근거하여 소정의 표시 타이밍으로 표시하는, 표시 주기가 가변인 화상 복호화 데이터 Rg를, 표시 시각 데이터 Dtn에 근거하여 소정의 표시 타이밍으로 표시하기 때문에, 각 프레임의 화상 복호화 데이터 Rg를, 그 프레임 표시 주기가 가변인지의 여부에 관계하지 않고 정확한 표시 타이밍으로 표시할 수 있다.
또한, 상기 실시예 1에서 설명한 화상 신호 데이터 구조에 있어서는, 화상 데이터(다중 비트 스트림)의 선두에 표시 주기 식별자 Df를, 프레임 데이터(각 프레임의 부호열)의 선두에 프레임 번호 데이터 Bn, 표시 시각 데이터 Dtn 등을 삽입하고 있지만, 상기 표시 주기 식별자, 프레임 번호 데이터, 표시 시각 데이터 등은, 반드시 대응하는 헤더의 선두에 삽입될 필요는 없고, 표시 주기 식별자 및 표시 주기 데이터는 화상 데이터(화상 부호화 신호)의 헤더 부분에, 프레임 번호 데이터, 표시 시각 데이터 등은 프레임에 대응하는 데이터(부호열)의 헤더 부분에 삽입되어 있으면, 이들이 동기 신호 등의 뒤에 삽입되더라도 무방하다.
또한, 상기 실시예 1에서는, 표시 주기 데이터 Dp는 표시 주기 식별자 Df의 직후에 삽입하고 있지만, 표시 주기 데이터 Dp는, 반드시, 표시 주기 식별자와 연속하도록 그 직후에 삽입할 필요는 없고, 표시 주기 데이터는, 화상 데이터의 헤더 부분에 있어서, 표시 주기 식별자의 뒤에 삽입되어 있으면 된다.
또한, 상기 실시예 1에서는, 도 2에 있어서의 표시의 순서를 나타내는 번호 n'(=B(n))으로 하여, 화상 데이터의 표시 순서에서의 선두로부터 일련 번호를 할당하고 있지만, 반드시 일련 번호를 할당할 필요는 없고, 미리 결정한 선두 번호로부터 후미 번호까지의 복수의 번호를 프레임 번호로서 주기적으로 할당하도록 하더라도 무방하다.
예를 들어, 4 비트로 프레임 번호를 나타내는 경우에는, 0으로부터 15의 번호를 주기적으로 프레임에 할당한다. 이 경우, 표시 시각에 대해서는, h'(n')=hp'(15)+(n'+1)×T로 나타내어진다. 여기서 hp'(n')은 직전의 주기에 있어서의 프레임 번호 B(n)(=n')에 대응하는 표시 시각을 나타내는 것으로 하고 있으며, 따라서, 이 경우, h'(n')은 hp'(n')의 다음 주기에 있어서의 프레임 번호 B(n)(=n')에 대응하는 표시 시각을 나타내게 된다. 또한, hp'(15)는 직전의 주기에 있어서의 최후의 프레임에 대응하는 표시 시각을 나타내고 있다.
또한, 상기 실시예 1에서는, 프레임의 특정은 프레임 번호 데이터에 의해 행해지고 있지만, 이에 한정되는 것이 아니라, 프레임의 전후 관계를 규정하는 데이터이면, 소정의 규칙에 의해 프레임의 전후 관계를 나타내는 데이터, 소정의 테이블을 참조하여 프레임의 전후 관계를 규정하는 데이터 등이어도 좋다.
또한, 상기 실시예 1에 있어서의 표시 시각 데이터는, 복수의 기준 시간에 대한 상대적인 시각을 나타내는 것으로, 예를 들어, 기준 시각은 복수의 프레임에 대하여 1개 설정하더라도 좋고, 또한 전(前) 프레임의 표시 시각을 기준 시각으로 하여도 좋다. 또한, 1개 또는 복수의 기준 시각을 미리 설정하여, 임의의 규칙 또는 신호에 근거하여, 어느 하나의 기준 시각을 참조하여 프레임의 표시 시각을 나타내는가를 결정하도록 하더라도 좋다.
또한, 상기 실시예 1에서는, 복호화측에서의 각 프레임에 대한 재생 처리의 타이밍을 결정하기 위한 부가 데이터로서, 각 프레임의 표시 타이밍을 설정하기 위한 표시 주기 식별자, 표시 주기 데이터 및 프레임 번호 데이터 혹은 표시 시각 데이터를 포함하는 화상 부호화 신호의 데이터 구조에 대하여 나타내지만, 화상 부호화 신호의 데이터 구조는, 상기 각 프레임의 표시 타이밍 대신에, 각 프레임의 복호화 처리의 타이밍을 결정하는 부가 데이터, 즉 복호 주기 식별자, 복호 주기 데이터 및 프레임 번호 데이터 혹은 복호 시각 데이터를 포함하는 것이어도 좋고, 이하 이러한 데이터 구조를 실시예 1의 변형예로서 설명한다.
(실시예 1의 변형예)
본 실시예 1의 변형예의 데이터 구조는, 실시예 1의 화상 부호화 신호(100a)에 있어서의 표시 주기 식별자 Df 및 표시 주기 데이터 Dp를, 복호 주기 식별자 및 복호 주기 데이터로 대체하며, 실시예 1의 화상 부호화 신호(100b)에 있어서의 표시 시각 데이터 Dtn을, 복호 시각 데이터로 대체한 것이다.
여기서, 상기 복호 주기 식별자는, 각 프레임에 대응하는, 화상 부호화 신호를 복호화하는 복호화 처리의 주기가 가변인지의 여부를 나타내는 것이며, 복호화 처리의 주기가 고정인 화상 부호화 신호에는 복호화 주기 고정 식별자로서, 복호화 처리의 주기가 가변인 화상 부호화 신호에는 복호화 주기 가변 식별자로서 삽입된다.
또한, 상기 복호 주기 데이터는 각 프레임에 대응하는 복호화 처리의 주기 DT를 나타내는 데이터로서, 상기 복호 시각 데이터는, 각 프레임에 따라 1개 또는 복수의 기준 시각의 소요의 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 행해지는 타이밍(복호 시각 Dh(n))을 나타내는 데이터이다.
또한, 실시예 1의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 생성하는 부호화 처리는, 도 3에 도시하는 흐름에 있어서의 단계 S11, S11a, S11b, S13a, S13b에 있어서의 처리를, 아래와 같이 치환함으로써 실현된다.
즉, 단계 S11에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하며, 단계 S11a에 있어서의 표시 주기 고정 식별자 Df를 부가하는 처리를, 상기 복호 주기 고정 식별자를 부가하는 처리로, 단계 S11b에 있어서의 표시 주기 가변 식별자 Df를 부가하는 처리를, 상기 복호 주기 가변 식별자를 부가하는 처리로 대체한다. 또한, 단계 S13a에 있어서의 표시 주기 데이터 Dp를 부가하는 처리를, 상기 복호 주기 데이터를 부가하는 처리로 대체하며, 단계 S13b에 있어서의 표시 시각 데이터 Dtn을 부가하는 처리를, 상기 복호 시각 데이터를 부가하는 처리로 대체한다.
또한, 도 4의 (b)는, 상기 실시예 1의 변형예의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1000a)의 구성을 나타내고 있다.
이 화상 부호화 장치(1000a)는 상기 실시예 1에 있어서의 화상 부호화 장치(1000)의 판정기(1131) 대신에, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임에 대응하는 복호화 처리의 주기가 일정인지의 여부(즉, 복호 주기가 고정인지 가변인지)를 판정하여, 복호 주기 DT가 일정인지의 여부를 나타내는 복호 주기 식별자 DEf를 출력하는 판정기(1131a)를 구비하고 있다.
또한, 상기 화상 부호화 장치(1000a)는, 상기 실시예 1의 화상 부호화 장치(1000)에 있어서의 표시 주기 데이터 발생기(1132) 및 표시 시각 생성기(1134) 대신에, 상기 입력된 화상 신호 Sg에 근거하여, 프레임의 복호화 처리의 주기(고정 주기) DT를 나타내는 복호 주기 데이터 DEp를 생성하는 복호 주기 데이터 생성기(제 1 데이터 생성기)(1132a)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임의 복호 시각을 나타내는 복호 시각 데이터 DEtn을 생성하는 복호 시각 데이터 생성기(제 3 데이터 생성기)(1134a)를 구비한 것이다.
그 밖의 구성은 상기 실시예 1의 화상 부호화 장치(1000)와 마찬가지로 되어 있다.
이러한 구성의 화상 부호화 장치(1000a)에서는, 다중화기(MUX)(1120)에서는, 상기 판정기(1131a)로부터의 복호 주기 식별자 DEf, 상기 부호화기(1110)로부터의 화상 부호화 데이터 Cgn, 상기 개폐 스위치(1141)로부터의 복호 주기 데이터 DEp 및 상기 선택 스위치(1142)의 출력이 다중화되고, 다중 비트 스트림 M1a가, 복호 주기가 고정인 화상 부호화 신호 혹은 복호 주기가 가변인 화상 부호화 신호로서 출력되는 한편, 실시예 1의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 복호화하는 복호화 처리는, 도 5에 도시하는 흐름에 있어서의 단계 S21, S22a, S22b, S23a, S23b, S24a, S24b, S25a의 처리를 아래와 같이 대체하는 것에 의해 실현된다.
구체적으로는, 단계 S21에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하고, 단계 S22a에 있어서의 표시 주기 T를 나타내는 표시 주기 데이터 Dp를 판독하는 처리를, 상기 복호 주기 DT를 나타내는 복호 주기 데이터 DEp를 판독하는 처리로 대체하며, 단계 S22b에 있어서의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dtn을 판독하는 처리를, 상기 복호 시각 Dh(n)을 나타내는 복호 시각 데이터 DEtn을 판독하는 처리로 대체한다.
또한, 단계 S23a 및 S24a에 있어서의, 프레임 번호 데이터 Bn을 판독하여 표시 시각 h(n)을 결정하는 처리를, 복호 주기 데이터 DEp에 근거하여, 순차적으로 입력되는 각 프레임의 화상 부호화 데이터에 대응하는 복호 시각 Dh(n)을 결정함과 동시에, 상기 프레임 번호 데이터 Bn에 근거하여 각 프레임에 대한 표시 시각 h(n)을 결정하는 처리로 대체한다.
또한, 단계 S23b에 있어서의, 표시 시각 데이터 Dtn에 근거하여 표시 시각 h(n)을 결정하는 처리를, 복호 시각 데이터 DEtn에 근거하여 복호 시각 Dh(n)을 결정함과 동시에, 해당 데이터 DEtn에 근거하여 표시 시각 h(n)을 결정하는 처리로 대체한다.
또한, 단계 S25a에 있어서의, 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호화하고 표시 시각 h(n)에 표시하는 처리를, 상기 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호 시각 Dh(n)에 복호화하여, 표시 시각 h(n)에 표시하는 처리로 대체하며, 단계 S24b에 있어서의, 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호화하여 시각 h(n)에 표시하는 처리를, 상기 프레임 F(n)의 화상 부호화 데이터 Cgn을 복호 시각 Dh(n)에 복호화하여, 표시 시각 h(n)에 표시하는 처리로 대체한다.
또한, 도 6의 (b)는 상기 실시예 1의 변형예의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치(2000a)의 구성을 나타내고 있다.
이 화상 복호화 장치(2000a)는, 상기 화상 부호화 장치(1000a)로부터 출력된 다중 비트 스트림 M1a에 대하여, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2000a)는, 상기 실시예 1에 있어서의 화상 복호화 장치(2000)의 데이터 분리기(2110) 대신에, 상기 다중 비트 스트림 M1a로부터, 화상 부호화 데이터 Cgn, 복호 주기 식별자 DEf, 복호 주기 데이터 DEp 및 프레임 번호 데이터 Bn 혹은 복호 시간 데이터 DEtn을 취출하여 출력하는 데이터 분리기(DEMUX)(2110a)를 구비하고 있다.
또한, 상기 화상 복호화 장치(2000a)는, 상기 복호 주기 식별자 DEf에 근거하여, 상기 복호 주기 데이터 DEp를 도통시키는 도통 상태와 해당 복호 주기 데이터 DEp를 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치(2140a)와, 상기 복호 주기 식별자 DEf에 근거하여, 상기 프레임 번호 데이터 Bn을 도통하는 도통 상태와 해당 프레임 번호 데이터 Bn을 차단하는 차단 상태 사이에서 전환되는 제 2 개폐 스위치(2150a)와, 상기 복호 주기 식별자 DEf에 근거하여, 상기 복호 시각 데이터 DEtn을 도통하는 도통 상태와 해당 복호 시각 데이터 DEtn을 차단하는 차단 상태 사이에서 전환되는 제 3 개폐 스위치(2160a)를 가지고 실행하고 있다.
그리고, 이 화상 복호화 장치(2000)에서는, 제 1 개폐 스위치(2140a)의 출력인 복호 주기 데이터 DEp 및 제 3 개폐 스위치(2160a)의 출력인 복호 시각 데이터 DEtn이 복호화기(2120a) 및 표시 장치(2130a)에 공급되며, 상기 제 2 개폐 스위치(2150a)의 출력인 프레임 번호 데이터 Bn이 표시 장치(2130a)에만 공급되게 되어 있다.
그리고, 복호화기(2120a)에서는, 복호 주기가 고정인 화상 부호화 데이터 Cgn을, 상기 복호 주기 데이터 DEp에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화하는 한편, 복호 주기가 가변인 화상 부호화 데이터 Cgn을, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화하는 구성으로 되어 있다.
또한, 상기 표시 장치(2130a)에서는, 복호 주기가 고정인 화상 복호화 데이터 Rg를, 상기 복호 주기 데이터 DEp와 프레임 번호 데이터 Bn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시하는 한편, 복호 주기가 가변인 화상 복호화 데이터 Rg를, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시하는 구성으로 되어 있다.
그 밖의 구성은 상기 실시예 1의 화상 복호화 장치(2000)와 동일하다.
이하, 상기 실시예 1의 변형예에 의한 화상 복호화 장치(2000a)의 동작에 대하여 간단히 설명한다.
이러한 구성의 화상 복호화 장치(2000a)에서는, 상기 다중 비트 스트림 M1a가 입력되면, 데이터 분리기(2110a)에 의해, 화상 부호화 데이터 Cgn, 복호 주기 식별자 DEf, 복호 주기 데이터 DEp 및 프레임 번호 데이터 Bn 혹은 복호 시간 데이터 DEtn이 분리된다.
그리고, 복호화기(2120a)에서는, 입력된 화상 복호화 신호의 복호 주기가 고정일 때에는, 화상 부호화 데이터 Cgn이, 상기 복호 주기 데이터 DEp에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화되며, 해당 복호화기(2120a)에서 출력된 화상 복호화 데이터 Rg는, 상기 복호 주기 데이터 DEp와 프레임 번호 데이터 Bn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시된다.
한편, 입력된 화상 복호화 신호의 복호 주기가 가변일 때에는, 화상 부호화 데이터 Cgn이, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화되며, 해당 복호화기(2120a)에서 출력된 화상 복호화 데이터 Rg는, 상기 복호 시각 데이터 DEtn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 각 프레임마다 표시된다.
이러한 실시예 1의 변형예에서는, 상기 실시예 1과 마찬가지로, 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를, 각 프레임에 대응하는 화상 복호화 처리의 주기가 가변인지의 여부를 나타내는 복호 주기 식별자 DEf를 포함하는 구성으로 하였기 때문에, 각 프레임에 대한 화상 복호화 처리의 주기가 고정인 경우에, 간단한 회로 구성에 의해, 즉 각 프레임마다 정보량(비트수)이 많은 복호 시각 데이터 DEtn을 참조하는 일 없이, 복호 주기 데이터 DEp에만 근거하여 화상 부호화 데이터의 복호화 처리를 실행할 수 있다고 하는 효과가 있다.
또한, 상기 실시예 1의 변형예의 화상 복호화 장치로는, 화상 부호화 신호에 포함되는 각 프레임에 대한 복호화 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 복호화 처리함과 동시에, 각 프레임의 화상 표시를 실행하는 것을 나타내었지만, 상기 화상 복호화 장치는, 화상 부호화 신호에 포함되는 각 프레임에 대한 표시 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 표시 처리함과 동시에, 각 프레임의 복호화 처리를 실행하는 것이어도 좋다.
이 경우에는, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을, 복호화 처리가 대상으로 되는 대상 프레임을 포함하는 복수의 프레임의 표시 타이밍 데이터에 근거하여 설정한다. 즉, 상기 대상 프레임의 복호 타이밍을, 해당 대상 프레임의 표시 타이밍 데이터 및 그 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 해당 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정한다.
구체적으로는, 복호화 처리가 대상으로 되는 대상 프레임의 표시 타이밍이,이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간 이상의 크기로 설정한다. 한편, 복호화 처리가 대상으로 되는 대상 프레임(예컨대, P-VOP)의 표시 타이밍보다, 이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임(예컨대, B-V0P)의 표시 타이밍쪽이 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간과, 다음 프레임에 대한 복호화 처리에 필요로 하는 시간의 합계 시간 이상의 크기로 설정한다.
(실시예 2)
도 7의 (a)는 본 발명의 실시예 2에 의한, 프레임 표시 주기가 일정한 화상 부호화 신호(120a)의 데이터 구조를 나타내고 있다.
상기 화상 부호화 신호(120a)는, 1개의 화상(MPEG4에서는 1개의 오브젝트에 대응하는 화상)에 대응하는, 프레임 표시 주기가 고정인 화상 신호를 부호화하여 얻어지는 것으로, 선두의 헤더 H에 계속해서, 각 프레임 F(0), F(1), F(2), …, F(n)에 대응하는 부호열 Sc0, Sc1, Sc2, …, Scn을 전송 순서로 배열한 구조로 되어 있다. 이 화상 부호화 신호(120a)에서는, 헤더 H 내에, 프레임 표시 주기가 고정인지의 여부를 나타내는 표시 주기 식별자 Df, 프레임 표시 주기가 미소 단위 시간 (1/N)의 M(자연수)배인 것을 해당 승수 M에 의해 나타내는 표시 주기 승수 데이터 Dm 및 상기 미소 단위 시간 (1/N)을 구하기 위한 값 N(자연수)을 나타내는 미소 단위 시간 데이터 Dk가 삽입되며, 각 프레임의 부호열 Sc0, Sc1, Sc2, …, Scn의 선두에, 그 프레임의 표시 시각 y'0, y'3, y'1, …, y'n'(도 17의 (a) 참조)을 나타내는 표시 시각 데이터 Dy0, Dy1, Dy2, …, Dyn이 삽입되어 있다. 또, 상기 화상 부호화 신호(120a)의 헤더 H 내에서는, 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df 및 표시 주기 승수 데이터 Dm이 이 순서로 전송되도록 배열되어 있다.
또한, 각 프레임의 부호열 Sc0, Sc1, Sc2, …, Scn에는, 상기 표시 시각 데이터 Dy0, Dy1, Dy2, …, Dyn에 계속해서, 화상 부호화 데이터 Cg0, Cg1, Cg2, …, Cgn이 삽입되어 있다.
이 화상 부호화 신호(120a)에서는, 기준 시각을 x로 하면(도 17의 (a) 참조), VOP0, VOP3, VOP1, …에 대응하는 각 프레임 F(0), F(1), F(2), …의 표시 시각 h(0), h(1), h(2), …은, 표시 시각 데이터 Dy0, Dy1, Dy2, …에 근거하여, x+y/N(y=y'0, y'3, y'1, …)으로 하여 구할 수 있다.
그런데, 이 화상 부호화 신호(120a)에는, 미소 단위 시간 데이터 Dk와 표시 주기 승수 데이터 Dm이 포함되어 있기 때문에, 상기 표시 시각 데이터 Dy0, Dy1, Dy21, …을 이용하지 않더라도, 미소 단위 시간 데이터 Dk로부터 얻어지는 미소 단위 시간 (1/N)과 표시 주기 승수 데이터 Dm으로부터 얻어지는 M(자연수)의 값으로부터 프레임의 표시 주기 T(=M×1/N)를 구하며, 기준 시각 x에 의해 결정되는 본래의 각 프레임 F(n)의 표시 시각 h(n)(=x+y×M×1/N)에 각 프레임의 화상을 표시할 수 있다.
도 7의 (b)는 본 발명의 실시예 2에 의한, 프레임 표시 주기가 가변인 화상 부호화 신호(120b)의 데이터 구조를 나타내고 있다.
이 화상 부호화 신호(120b)는, 상기 화상 부호화 신호(120a)에 있어서의 헤더 부분 H의 표시 주기 승수 데이터 Dm을 제거한 데이터 구조로 되어 있다.
이하, 상기한 바와 같은 화상 부호화 신호(120a 혹은 120b)를 생성하는 화상 신호의 부호화 처리 및 그 복호화 처리에 대하여 설명한다.
도 8은 상기 부호화 처리의 흐름을 도시하는 도면이다.
우선, 상기 부호화 처리로는, 입력된 소정의 화상에 대응하는 화상 신호에 대응하는 비트 스트림의 헤더부에 상기 미소 단위 시간 데이터 Dk가 부가되며(단계 S30), 또한, 해당 소정의 화상에 대응하는 화상 신호의 표시 주기가 고정인지 여부의 판정이 행해진다(단계 S31). 이 판정의 결과, 표시 주기가 고정인 경우에는, 상기 화상 신호의 표시 주기가 고정인 것을 나타내는 표시 주기 고정 식별자 Df가, 상기 비트 스트림의 헤더에, 상기 미소 단위 시간 데이터 Dk에 계속되도록 부가되며(단계 S32), 또한 상기 표시 주기 승수 데이터 Dm이 상기 헤더에 상기 표시 주기 고정 식별자 Df에 계속되도록 부가된다(단계 S33).
그 후, 상기 소정의 화상을 구성하는 각 프레임 F(n)의 전송 순서를 나타내는 번호 n에 상당하는 카운터값 n이 n=0으로 설정된다(단계 S35).
다음에, 상기 전송 순서에 있어서의 최초의 프레임 F(0)에 대응하는 부호열로서, 대응하는 프레임의 표시 시각 데이터 Dyn(=Dy0) 및 화상 부호화 데이터 Cgn(=Cg0)이 순차적으로 상기 헤더 H에 부가된다(단계 S36, S37). 그 후, 상기 화상 신호에 있어서의 처리 대상 프레임이, 상기 전송 순서에 있어서의 최종의 프레임인지 여부의 판정이 행해져(단계 S38), 처리 대상 프레임이 최종 프레임이 아니면, 상기 전송 순서가 n 번째인 프레임 F(n)(=F(0))에 대응하는 카운터값 n이 1개 증분되며(단계 S39), 계속되는 프레임 F(n+1)(=F(1))에 대하여, 상기 단계 S36∼S39에 있어서의 처리가 행해진다.
상기 단계 S36∼S39에 있어서의 처리는, 단계 S38에서 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다. 이에 따라 상기 화상 부호화 신호(120a)가 생성된다.
한편, 상기 단계 S31에서의 판정의 결과, 표시 주기가 가변인 경우에는, 상기 화상 신호의 표시 주기가 가변인 것을 나타내는 표시 주기 가변 식별자 Df가, 상기 화상 신호에 대응하는 비트 스트림의 헤더에, 상기 미소 단위 시간 데이터 Dk에 계속되도록 부가된다(단계 S34). 그 후는, 상기 단계 S35∼S39의 처리가 행해지며, 상기 화상 부호화 신호(120b)가 생성된다.
도 9의 (a)는 상기 본 실시예 2의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1200)의 구성을 나타내는 블럭도이다.
상기 실시예 2에 있어서의 화상 부호화 장치(1200)는, 상기 실시예 1의 화상 부호화 장치(1000)와 마찬가지로, 입력되는 화상 신호 Sg를 부호화하여 부호화 데이터 Cgn을 생성하는 부호화기(1110)와, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임의 표시 주기가 일정한지의 여부(즉, 표시 주기가 고정인지 가변인지)를 판정하여, 표시 주기가 일정한지의 여부를 나타내는 표시 주기 식별자 Df를 출력하는 판정기(1131)를 가지고 있다.
또한 상기 화상 부호화 장치(1200)는, 상기 입력된 화상 신호 Sg에 근거하여, 미소 단위 시간 데이터 Dk를 생성하는 미소 단위 시간 데이터 생성기(제 1 데이터 생성기)(1232)와, 상기 입력된 화상 신호 Sg에 근거하여, 프레임 표시 주기를 미소 단위 시간을 단위로 하여 표현하기 위한 수치 M을 나타내는 표시 주기 승수 데이터 Dm을 생성하는 표시 주기 승수 데이터 생성기(제 2 데이터 생성기)(1233)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임의 표시 시각 h(n)을 나타내는 표시 시각 데이터(표시 타이밍 데이터) Dyn을 생성하는 표시 시각 데이터 생성기(제 3 데이터 생성기)(1234)를 가지고 있다.
또한, 상기 화상 부호화 장치(1200)는, 상기 판정기(1131)로부터의 표시 주기 식별자 Df에 근거하여, 상기 표시 주기 승수 데이터 Dm을 도통시키는 도통 상태와 해당 표시 주기 승수 데이터 Dm을 차단하는 차단 상태 사이에서 전환되는 개폐 스위치(1241)를 가지고 있다.
그리고, 상기 화상 부호화 장치(1200)는, 상기 제 1 데이터 생성기(1232)로부터의 미소 단위 시간 데이터 Dk, 상기 판정기(1131)로부터의 표시 주기 식별자 Df, 상기 개폐 스위치(1241)로부터의 표시 주기 승수 데이터 Dm, 제 3 데이터 생성기(1234)로부터의 표시 시각 데이터 Dyn 및 상기 부호화기(1110)로부터의 화상 부호화 데이터 Cgn을 다중화하여 다중 비트 스트림 M2를 생성하는 다중화기(MUX)(1220)를 가지고 있고, 해당 다중 비트 스트림 M2를 상기 화상 부호화 신호(120a) 혹은 화상 부호화 신호(120b)로서 출력하는 구성으로 되어 있다.
이하, 간단히 상기 화상 부호화 장치(1200)의 동작에 대하여 설명한다.
우선, 상기 화상 부호화 장치(1200)에 소정의 화상에 대응하는 화상 신호 Sg가 입력되면, 상기 판정기(1131)에서는, 해당 화상 신호 Sg의 표시 주기가 가변인지여부의 판정이 행해지며, 판정 결과를 나타내는 표시 주기 식별자 Df가 출력된다. 이 때, 상기 화상 신호 Sg에 근거하여, 제 1∼제 3 데이터 생성기(1232∼1234)에서는, 각각 상기 미소 단위 시간 데이터 Dk, 표시 주기 승수 데이터 Dm 및 표시 시각 데이터 Dyn이 생성되며, 상기 부호화기(1110)에서는, 상기 화상 신호 Sg가 부호화되어 화상 부호화 데이터 Cgn으로서 출력된다.
또한, 이 때, 상기 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn은 항상 다중화기(1220)에 출력되며, 상기 표시 주기 승수 데이터 Dm은, 표시 주기 식별자 Df에 의해 도통 상태로 되는 개폐 스위치(1241)를 거쳐서 다중화기(1220)에 출력된다.
즉, 화상 신호로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 고정인 화상 신호가 입력되었을 때, 상기 미소 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm, 및 각 프레임에 대응하는 표시 시각 데이터 Dtn 및 화상 부호화 데이터 Cgn이 상기 다중화기(1220)에 출력된다. 그렇게 하면, 해당 다중화기(1220)에서는, 상기 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm, 화상 부호화 데이터 Cgn 및 표시 시각 데이터 Dyn이 다중화되어, 다중 비트 스트림 M2로서 화상 부호화 신호(120a)가 출력된다.
한편, 상기 화상 신호로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변의 화상 신호가 입력되었을 때에는, 상기 개폐 스위치(1241)는 표시 주기 식별자 Df에 의해 차단 상태로 되며, 상기 미소 단위 시간 데이터 Dk 및 표시 주기 식별자 Df와 함께, 상기 각 프레임의 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn이 상기 다중화기(1220)에 출력된다. 그렇게 하면 해당 다중화기(1220)에서는, 상기 미소 단위 시간 데이터 Dk 및 표시 주기 식별자 Df와 함께, 각 프레임의 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn이 다중화되어, 다중 비트 스트림 M2로서 화상 부호화 신호(120b)가 출력된다.
다음에, 도 10을 이용하여 실시예 2의 화상 신호 데이터 구조를 가지는 화상 부호화 신호를 복호화하는 복호화 처리에 대하여 설명한다.
도 10은 상기 실시예 2에 있어서의 복호화 처리의 흐름을 도시하는 도면이다.
우선, 복호화 처리로는, 부호화측에서 전송되어 오는 다중 비트 스트림 M2(화상 부호화 신호(120a 혹은 120b))에 있어서의 미소 단위 시간 데이터 Dk가 판독되며(단계 S40), 또한, 표시 주기 식별자 Df의 검출에 의해, 해당 화상 부호화 신호의 표시 주기가 고정인지의 여부가 판정된다(단계 S41). 이 판정의 결과, 표시 주기가 고정으로 판정되면, 화상 부호화 신호의 헤더 부분 H에서, 표시 주기 T가 미소 단위 시간 (1/N)의 M(자연수)배인 것을 해당 승수 M에 의해 나타내는 표시 주기 승수 데이터 Dm이 판독되며(단계 S42a), 계속해서, 상기 판독된 미소 단위 시간 데이터 Dk 및 표시 주기 승수 데이터 Dm에 근거하여, 프레임 표시 주기 T가 연산 T=(1/N)×M에 의해 구해진다(단계 S43a). 그 후, 표시순으로 나타내어지는 각 프레임 F'(n')의, 선두 프레임으로부터의 순서 n'에 상당하는 카운트값 n'이 0으로 설정되며(단계 S44a), 각 프레임 F'(n')의 표시 시각 h'(n')이 계산식 h'(n')=n'×T에 의해 구해진다(단계 S45a). 또한, 이 때, 전송 순서대로 각 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 행해져, 프레임 F(n)에 대응하는 화상 복호화 데이터 Rg가 생성된다.
그 후, 표시 순서대로 카운트되는 처리 대상 프레임 F'(n')이 상기 소정의 화상에 있어서의 최후의 프레임인지의 여부가 판정되어(단계 S46a), 처리 대상 프레임이 최후의 프레임이면 복호화 처리가 종료하고, 최후의 프레임이 아니면, 상기 카운터값 n'이 1개 증분되며(단계 S47a), 상기 단계 S45a∼S47a의 처리가, 상기 단계 S46a로부터 처리 대상 프레임이 최종 프레임으로 판정될 때까지 반복하여 실행된다.
또한, 상기 복호화 처리에서는, 상기 복호화된 각 프레임 F'(n')에 대응하는 화상 복호화 데이터 Rg는, 소정의 표시 순서 n'으로, 대응하는 표시 시각 h'(n')에 표시된다.
한편, 상기 단계 S41에서, 표시 주기가 가변으로 판정되면, 전송 순서에 있어서의 각 프레임 F(n)의 순서 n에 상당하는 카운트값 n이 0으로 설정된다(단계 S42b). 계속해서, 각 프레임 F(n)의 헤더 부분 H로부터 이 프레임 F(n)의 표시 시각 h(n)을 나타내는 표시 시각 데이터 Dyn이 판독되며(단계 S43b), 또한 이 표시 시각 데이터 Dyn에 근거하여 각 프레임 F(n)의 표시 시각 h(n)이 구해진다(단계 S44b). 또한, 이 때, 전송 순서대로 각 프레임 F(n)에 대응하는 화상 부호화 데이터 Cgn의 복호화 처리가 행해진다.
그 후, 전송 순서대로 카운트되는 처리 대상 프레임 F(n)이 상기 소정의 화상에 있어서의 최후의 프레임인지의 여부가 판단되며(단계 S44b), 해당 처리 대상 프레임이 최후의 프레임이면 복호화 처리가 종료한다. 한편, 상기 처리 대상 프레임이 최후의 프레임이 아니면, 이 복호화 처리에 있어서의 카운트값 n이 1개 증분되며(단계 S46b), 그 후, 상기 단계 S42b∼단계 S46b의 처리가, 단계 S45b에서 처리 대상 프레임이 최후의 프레임으로 판정될 때까지 실행된다.
또한, 상기 복호화 처리로는, 복호화된 각 프레임 F(n)에 대응하는 화상 복호화 데이터 Rg는, 소정의 표시 순서 n'으로, 해당 각 프레임 F(n)에 대응하는 표시 시각 h(n)에 표시된다.
도 11의 (a)는 상기 실시예 2의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치의 구성을 나타내는 블럭도이다.
이 화상 복호화 장치(2200)는, 상기 화상 부호화 장치(2000)로부터 출력된 화상 부호화 신호(120a 혹은 120b)인 다중 비트 스트림 M2를 복호화하여 재생하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2200)는, 상기 다중 비트 스트림 M2로부터, 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm, 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn을 취출하여 출력하는 데이터 분할기(DEMUX)(2210)와, 상기 화상 부호화 데이터 Cgn을 복호화하여 화상 복호화 데이터 Rg를 출력하는 복호화기(2220)를 가지고 있다.
또한, 상기 화상 복호화 장치(2200)는, 상기 표시 주기 식별자 Df에 근거하여, 상기 표시 주기 승수 데이터 Dm을 도통시키는 도통 상태와 해당 데이터 Dm을 차단하는 차단 상태 사이에서 전환되는 제 1 개폐 스위치(2240)와, 상기 표시 주기 식별자 Df에 근거하여, 상기 표시 시각 데이터 Dyn을 도통시키는 도통 상태와 이 데이터 Dyn을 차단하는 차단 상태 사이에서 전환되는 제 2 개폐 스위치(2250)를 가지고 있다.
또한, 상기 화상 복호화 장치(2200)는, 상기 미소 단위 시간 데이터 Dk 및 화상 복호화 데이터 Rg와 함께 각 스위치(2240, 2250)를 거쳐서 표시 주기 승수 데이터 Dm 및 표시 시각 데이터 Dyn을 수신하여, 이들 데이터에 따라 소정의 표시 타이밍으로 화상 표시하는 표시 장치(2230)를 가지고 있다.
이하, 간단히 상기 화상 복호화 장치(2200)의 동작에 대하여 설명한다.
우선, 상기 화상 복호화 장치(2200)에, 상기 화상 부호화 장치(1200)로부터의 다중 비트 스트림 M2가 입력되면, 데이터 분리기(2210)에 의해, 상기 다중 비트 스트림 M2로부터 미소 단위 시간 데이터 Dk, 표시 주기 식별자 Df 및 표시 주기 승수 데이터 Dm이 분리되며, 또한 각 프레임마다 상기 다중 비트 스트림 M2로부터 표시 시각 데이터 Dyn 및 화상 부호화 데이터 Cgn이 분리된다.
그리고, 각 프레임의 화상 부호화 데이터 Cgn은 복호화기(2220)에 의해 복호화되어 화상 복호화 데이터 Rg로서 표시 장치(2230)에 출력된다. 이 때, 상기 미소 단위 시간 데이터 Dk는 직접 상기 표시 장치(2230)에 출력되며, 상기 표시 주기 승수 데이터 Dm은, 표시 주기 식별자 Df에 의해 개폐되는 제 1 개폐 스위치(2240)를 거쳐 표시 장치(2230)에 출력되며, 각 프레임의 표시 시각 데이터 Dyn은, 표시 주기 식별자 Df에 의해 개폐되는 제 2 개폐 스위치(2250)를 거쳐서 상기 표시 장치(2230)에 출력된다. 여기서는, 상기 다중 비트 스트림 M2가, 표시 주기가 고정인 화상 부호화 신호(120a)일 때에는, 상기 제 1, 제 2 개폐 스위치(2240, 2250)는 도통 상태로 되며, 상기 다중 비트 스트림 M2가, 표시 주기가 가변의 화상 부호화 신호(120b)일 때에는, 상기 제 1, 제 2 개폐 스위치(2240, 2250)는 차단 상태로 된다.
이에 따라, 상기 표시 장치(2230)에서는, 표시 주기가 고정인 화상 복호화 데이터 Rg에 대응하는 각 프레임의 화상은 미소 단위 시간 데이터 Dk 및 표시 주기 승수 데이터 Dm에 근거하여 소정의 표시 타이밍으로 표시된다. 이 경우에는, 각 프레임의 표시 타이밍은 연산식 T×n'(T=(1/N)×M)에 의해 결정되는 표시 시각 h'(n')으로 된다. 한편, 표시 주기가 가변인 화상 복호화 데이터 Rg에 대응하는 프레임의 화상은 표시 시각 데이터 Dyn에 근거하여 소정의 표시 타이밍으로 표시된다. 이 경우에는, 소정의 표시 타이밍은 표시 시각 데이터 Dyn에 의해 결정되는 표시 시각 h(n)으로 된다.
이와 같이 본 실시예 2에서는, 화상 부호화 신호를, 각 프레임에 대응하는 표시 주기가 가변인지의 여부를 나타내는 표시 주기 식별자 Df에 부가하여, 소정의 시간 간격을 N(자연수) 등분하여 얻어지는 미소 단위 시간 (1/N)의 크기를, 해당 자연수 N에 의해 나타내는 미소 단위 시간 데이터 Dk와, 상기 고정의 프레임 표시 주기 T를, 이것이 미소 단위 시간 (1/N)의 몇배(M)에 상당하는가에 의해 나타내는 표시 주기 승수 데이터 Dm을 포함하는 데이터 구조로 하였기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 표시 처리를 실현하기 위한 여러가지의 하드웨어 구성을 간단한 것으로 할 수 있다고 하는 효과가 있다.
또한, 상기 실시예 2에서는, 복호화측에서의 각 프레임에 대한 재생 처리의 타이밍을 결정하기 위한 부가 데이터로서, 각 프레임의 표시 타이밍을 설정하기 위한 미소 단위 시간 데이터 Dn, 표시 주기 식별자 Df, 표시 주기 승수 데이터 Dm 및 표시 시각 데이터 Dyn을 포함하는 화상 부호화 신호의 데이터 구조에 대하여 나타내었지만, 화상 부호화 신호의 데이터 구조는, 상기 각 프레임의 표시 타이밍 대신에, 각 프레임의 복호화 처리의 타이밍을 결정하는 부가 데이터, 즉 미소 단위 시간 데이터, 복호 주기 식별자, 복호 주기 승수 데이터 및 복호 시각 데이터를 포함하는 것이어도 좋고, 이하 이러한 데이터 구조를 실시예 2의 변형예로서 설명한다.
(실시예 2의 변형예)
본 실시예 2의 변형예의 데이터 구조는, 실시예 2의 화상 부호화 신호(120a)에 있어서의 표시 주기 식별자 Df 및 표시 주기 승수 데이터 Dm을, 복호 주기 식별자 DEf 및 복호 주기 승수 데이터 DEm으로 대체하며, 실시예 2의 화상 부호화 신호(120b)에 있어서의 표시 시각 데이터 Dyn을, 복호 시각 데이터 DEyn으로 대체한 것이다.
여기서, 상기 복호 주기 식별자 DEf는, 각 프레임에 대응하는 화상 부호화 신호를 복호화하는 복호화 처리의 주기가 가변인지의 여부를 나타내는 것으로, 복호화 처리의 주기 DT가 고정인 화상 부호화 신호에는 복호화 주기 고정 식별자로서, 복호화 처리의 주기 DT가 가변인 화상 부호화 신호에는 복호화 주기 가변 식별자로서 삽입된다.
또한, 상기 복호 주기 승수 데이터 DEm은, 각 프레임에 대응하는 복호화 처리의 주기 DT를 상기 미소 단위 시간 (1/N)의 승수값 M에 의해, 즉 해당 주기가 미소 단위 시간의 몇배(M)에 상당하는가에 의해 나타내는 데이터이고, 상기 복호 시각 데이터 DEyn은 각 프레임에 대응하는 복호화 처리가 행해지는 타이밍을 나타내는 데이터이다.
또한, 실시예 2의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 생성하는 부호화 처리는, 도 8에 도시하는 흐름에 있어서의 단계 S31, S32, S33, S34, S36의 처리를 아래와 같이 대체함으로써 실현된다.
즉, 단계 S31에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하며, 단계 S32, S34에 있어서의 표시 주기 고정 식별자 Df, 표시 주기 가변 식별자 Df를 부가하는 처리를, 각각 복호 주기 고정 식별자 DEf, 복호 주기 가변 식별자 DEf를 부가하는 처리로 대체한다. 또한 단계 S33에 있어서의 표시 주기 승수 데이터 Dm을 부가하는 처리를, 상기 복호 주기 승수 데이터 DEm을 부가하는 처리로 대체하며, 단계 S36에 있어서의 표시 시각 데이터 Dyn을 부가하는 처리를, 상기 복호 시각 데이터 DEyn을 부가하는 처리로 대체한다.
또한, 도 9의 (b)는 상기 실시예 2의 변형예의 부호화 처리를 실행하는 하드웨어로서의 화상 부호화 장치(1200a)의 구성을 나타내고 있다.
이 화상 부호화 장치(1200a)에서는, 상기 실시예 2에 있어서의 화상 부호화 장치(1200)의 판정기(1131) 대신에, 상기 입력되는 화상 신호 Sg에 근거하여, 프레임에 대응하는 복호화 처리의 주기가 일정한지의 여부(즉, 복호 주기가 고정인지 가변인지)를 판정하며, 복호 주기가 일정한지의 여부를 나타내는 복호 주기 식별자 DEf를 출력하는 판정기(1131a)를 구비하고 있다.
또한, 상기 화상 부호화 장치(1200a)는, 상기 실시예 2의 화상 부호화 장치(1200)에 있어서의 표시 주기 승수 데이터 생성기(1233)와 표시 시각 데이터 생성기(1234) 대신에, 각각, 상기 입력된 화상 신호 Sg에 근거하여, 프레임의 복호화 처리의 주기를 이것이 상기 미소 단위 시간 (1/N)의 몇배에 상당하는가를 나타내는 승수값 M으로서의 복호 주기 승수 데이터 DEm을 생성하는 복호 주기 승수 데이터 생성기(제 2 데이터 생성기)(1233a)와, 상기 입력된 화상 신호 Sg에 근거하여, 각 프레임 F(n)의 복호 시각 Dh(n)을 나타내는 복호 시각 데이터 DEyn을 생성하는 복호 시각 데이터 생성기(제 3 데이터 생성기)(1234a)를 구비한 것이다.
또한, 이 화상 부호화 장치(1200a)에서는, 그 다중화기(1220a)는 상기 미소 단위 시간 데이터 Dk, 복호 주기 승수 데이터 DEm 및 복호 시각 데이터 DEyn을 각 프레임 F(n)의 화상 부호화 데이터 Cgn과 다중화하여, 복호 처리의 주기가 고정인 화상 부호화 신호 혹은 복호 주기가 가변인 화상 부호화 신호를, 다중 비트 스트림 M2a로서 출력하는 구성으로 되어 있다.
그 밖의 구성은 상기 실시예 2의 화상 부호화 장치(1200)와 마찬가지이다.
이하, 간단히 본 실시예 2의 변형예에 의한 화상 부호화 장치(1200a)의 동작을 설명한다.
이러한 구성의 화상 부호화 장치(1200a)에서는, 화상 신호 Sg가 입력되면, 상기 판정기(1131a)에서는, 해당 화상 신호 Sg의 복호 주기가 가변인지 여부의 판정이 행해져, 판정 결과를 나타내는 복호 주기 식별자 DEf가 출력되며, 또한, 제 1 데이터 생성기(1232a)에서는 상기 미소 단위 시간 데이터 Dk가, 제 2, 제 3 데이터 생성기(1233a, 1234a)에서는, 복호 주기 승수 데이터 DEm, 복호 시각 데이터 DEyn이 각각 생성되고, 상기 부호화기(1110)에서는, 상기 화상 신호 Sg가 부호화되어 화상 부호화 데이터 Cgn으로서 출력된다.
그리고, 다중화기(MUX)(1220a)에는, 상기 판정기(1231a)로부터의 복호 주기 식별자 DEf, 상기 부호화기(1110)로부터의 부호화 데이터 Cgn 및 제 1, 제 3 데이터 생성기(1232, 1234a)로부터의 데이터 Dk, DEyn이 입력됨과 동시에, 제 2 데이터 생성기(1233a)로부터의 복호 주기 승수 데이터 DEm이 개폐 스위치(1241a)를 거쳐서 입력된다. 그렇게 하면, 해당 다중화기(1220a)에 의해 이들 데이터가 다중화되며, 복호 주기가 고정인 화상 부호화 신호 혹은 복호 주기가 가변인 화상 부호화 신호가, 상기 다중 비트 스트림 M2a로서 출력된다.
한편, 실시예 2의 변형예의 데이터 구조를 가지는 화상 부호화 신호를 복호화하는 복호화 처리는, 도 10에 도시하는 흐름에 있어서의 소정 단계 S41, S42a, S43b, S44a, S44b, S45a, S47a의 처리를 아래와 같이 대체함으로써 실현된다.
구체적으로는, 단계 S41에 있어서의 표시 주기의 판정 처리를, 복호 주기가 고정인지의 여부를 판정하는 처리로 대체하며, 단계 S42a에 있어서의 표시 주기 승수 데이터 Dm을 판독하는 처리를, 상기 복호 주기 승수 데이터 DEm을 판독하는 처리로 대체하고, 단계 S43b에 있어서의 표시 시각 h(n)을 나타내는 데이터 Dyn을 판독하는 처리를, 상기 복호 시각 Dh(n)을 나타내는 데이터 DEyn을 판독하는 처리로 대체한다.
또한, 상기 단계 S44b에 있어서의 데이터 Dyn에 근거하여 표시 시각 h(n)을 구하는 처리를, 데이터 DEyn에 근거하여 복호 시각 Dh(n)을 구하는 처리로 대체하며, 단계 S44a에 있어서의, 표시 순서대로 카운트되는 각 프레임 F'(n')의, 선두 프레임으로부터의 순서 n'에 상당하는 카운트값 n'이 0으로 설정되는 처리를, 전송 순서대로 카운트되는 각 프레임 F(n)의, 선두 프레임으로부터의 순서 n에 상당하는 카운트값 n이 0으로 설정되는 처리로 대체한다.
또한, 단계 S45a에 있어서의, 각 프레임 F'(n')의 표시 시각 h'(n')이 계산식 h'(n')=n'×T에 의해 구해지는 처리를, 각 프레임 F(n)의 복호 시각 Dh(n)이 복호 주기 DT와 그 프레임의 전송 순위를 나타내는 번호 n에 의해 Dh(n)=n×DT에 의해 구해지는 처리로 대체하며, 단계 S47a에 있어서의 카운트값 n'이 증분되는 처리를, 카운트값 n이 증분되는 처리로 대체한다.
또한, 도 11의 (b)는 상기 실시예 2의 변형예의 복호화 처리를 실행하는 하드웨어로서의 화상 복호화 장치(2200a)의 구성을 나타내고 있다.
이 화상 복호화 장치(2200a)는, 상기 화상 부호화 장치(1200a)에서 출력된 다중 비트 스트림 M2a에 대하여, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(2200a)는, 상기 실시예 2에 있어서의 화상 복호화 장치(2200)의 데이터 분리기(2210) 대신에, 상기 다중 비트 스트림 M2a에서, 미소 단위 시간 데이터 Dk, 복호 주기 식별자 DEf, 복호 주기 승수 데이터 DEm, 복호 시각 데이터 DEyn 및 화상 부호화 데이터 Cgn을 취출하여 출력하는 데이터 분리기(DEMUX)(2210a)를 구비하고 있다.
또한, 이 화상 복호화 장치(2200a)는, 상기 실시예 2의 화상 복호화 장치(2200)에 있어서의 제 1, 제 2 개폐 스위치(2240, 2250) 대신에, 복호 주기 승수 데이터 DEm의 도통, 비 도통을 복호 주기 식별자 DEf에 근거하여 제어하는 제 1 개폐 스위치(2240a)와, 복호 시각 데이터 DEyn의 도통, 비 도통을 복호 주기 식별자 DEf에 근거하여 제어하는 제 2 개폐 스위치(2250a)를 구비하고 있다.
그리고, 이 화상 복호화 장치(2200a)에서는, 데이터 분리기(2210a)로부터의 미소 단위 시간 데이터 Df, 제 1, 제 2 스위치(2240a, 2250a)의 출력인 복호 주기 승수 데이터 DEm, 복호 시각 데이터 DEyn이, 복호화기(2220a) 및 표시 장치(2230a)에 공급되게 되어 있다.
이 복호화기(2220a)는, 복호 주기가 고정인 각 프레임 F(n)의 화상 부호화 데이터 Cgn을, 상기 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화하며, 복호 주기가 가변인 각 프레임 F(n)의 화상 부호화 데이터 Cgn을, 상기 복호 시각 데이터 DEyn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화하는 구성으로 되어 있다.
또한, 상기 표시 장치(2230a)는, 복호 주기가 고정인 각 프레임 F(n)의 화상 복호화 데이터 Rg를, 상기 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 표시하여, 복호 주기가 가변인 각 프레임 F(n)의 화상 복호화 데이터 Rg를, 상기 복호 시각 데이터 DEyn에 근거하여 결정되는 타이밍(표시 시각 h(n))으로 표시하는 구성으로 되어 있다.
그 밖의 구성은 상기 실시예 2의 화상 복호화 장치(2200)와 동일하다.
이하, 간단히 상기 실시예 2의 변형예에 의한 화상 복호화 장치(2200a)의 동작에 대하여 설명한다.
이러한 구성의 화상 복호화 장치(2200a)에서는, 상기 다중 비트 스트림 M2a가 입력되면, 데이터 분리기(2210a)에서, 미소 단위 시간 데이터 Dk, 복호 주기 승수 데이터 DEm, 복호 주기 식별자 DEf, 복호 시각 데이터 DEyn 및 화상 부호화 데이터 Cgn이 분리된다.
그리고, 상기 복호화기(2220a)에서는, 입력된 화상 부호화 신호의 복호 주기가 고정일 때에는, 화상 부호화 데이터 Cgn이, 상기 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 결정되는 타이밍으로 각 프레임마다 복호화되며, 입력된 화상 복호화 신호의 복호 주기가 가변일 때에는, 화상 부호화 데이터 Cgn이, 상기 복호 시각 데이터 DEyn에 근거하여 결정되는 타이밍(복호 시각 Dh(n))으로 각 프레임마다 복호화된다. 여기서 복호 주기가 고정인 화상 부호화 신호의 복호 시각은, 전송 순서를 나타내는 번호 n과 복호 주기 DT=((1/N)×M)의 곱에 의해 결정되며, 복호 주기가 가변인 화상 부호화 신호의 복호 시각은, 복호 주기 데이터 DEyn에 의해 결정된다.
또한, 상기 표시 장치(2230a)에서는, 복호 주기가 고정인 화상 복호화 데이터 Rg에 대응하는 각 프레임 F(n)의 화상은, 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm에 근거하여 소정의 표시 타이밍으로 표시되며, 한편, 복호 주기가 가변인 화상 복호화 데이터 Rg에 대응하는 프레임 F(n)의 화상은, 복호 시각 데이터 DEyn에 근거하여 소정의 표시 타이밍으로 표시된다.
이러한 실시예 2의 변형예에서는, 상기 실시예 2와 마찬가지로, 화상 신호를 부호화하여 얻어지는 화상 부호화 데이터 Cgn을, 각 프레임에 대응하는 화상 복호화 처리의 주기가 가변인지의 여부를 나타내는 복호 주기 식별자 DEf, 고정의 복호 주기를 나타내는 미소 단위 시간 데이터 Dk 및 복호 주기 승수 데이터 DEm 및 복호 시각을 나타내는 복호 시각 데이터 DEyn을 포함하는 구성으로 하였기 때문에, 각 프레임에 대한 화상 복호화 처리의 주기가 고정인 경우에는, 간단한 회로 구성에 의해, 즉 각 프레임마다 정보량(비트수)이 많은 복호 시각 데이터 DEyn을 참조하는 일 없이, 1개의 화상에 대응하는 미소 단위 시간 데이터 Dk 및 정보량(비트수)이 적은 복호 주기 승수 데이터 DEm에만 따라 화상 부호화 신호의 복호화 처리를 간단히 실행할 수 있다.
또한, 각 프레임에 대한 화상 복호화 처리의 주기가 가변인 경우에는, 종래와 마찬가지로, 각 프레임마다 복호 시각 데이터 DEyn을 참조하여 화상 부호화 신호의 복호화 처리를 실행할 수 있다고 하는 효과가 있다.
또한, 상기 실시예 2의 변형예의 화상 복호화 장치(2200a)에서는, 화상 부호화 신호에 포함되는 각 프레임에 대한 복호화 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 복호화 처리와 함께, 각 프레임의 화상 표시를 실행하는 것을 나타내었지만, 이 화상 복호화 장치는, 화상 부호화 신호에 포함되는 각 프레임에 대한 표시 처리의 타이밍을 결정하기 위한 데이터에 근거하여, 각 프레임의 표시 처리와 함께, 각 프레임의 복호화 처리를 실행하는 것이어도 좋다.
이 경우에는, 상기 각 프레임에 대응하는 복호화 처리가 행해지는 복호 타이밍은, 복호화 처리가 대상으로 되는 대상 프레임을 포함하는 복수의 프레임의 표시 타이밍 데이터에 근거하여 설정한다. 즉, 상기 대상 프레임의 복호 타이밍을, 해당 대상 프레임의 표시 타이밍 데이터 및 그 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 해당 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정한다.
구체적으로는, 복호화 처리가 대상으로 되는 대상 프레임의 표시 타이밍이,이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간 이상의 크기로 설정한다. 한편, 복호화 처리가 대상으로 되는 대상 프레임(예컨대 P-VOP)의 표시 타이밍보다, 이 대상 프레임의 다음에 데이터가 전송되어 오는 다음 프레임(예컨대 B-VOP)의 표시 타이밍쪽이 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 필요로 하는 시간과, 다음 프레임에 대한 복호화 처리에 필요로 하는 시간의 합계 시간 이상의 크기로 설정한다.
또한, 상기 각 실시예 및 그 변형예로 나타낸 화상 부호화 장치 혹은 화상 복호화 장치에 의한 화상 처리를 소프트웨어에 의해 실행하기 위한 부호화 처리 프로그램 혹은 복호화 처리 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 하는 것에 좋은 상기 각 실시예로 나타낸 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실현하는 것이 가능해진다.
도 12는 상기 각 실시예 및 그 변형예의 부호화 처리 혹은 복호화 처리를, 상기 부호화 처리 프로그램 혹은 복호화 처리 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.
도 12의 (a)는 플로피 디스크의 정면에서 본 외관, 단면 구조 및 플로피 디스크본체를 나타내며, 도 12의 (b)는 해당 플로피 디스크 본체의 물리 포맷의 예를 나타내고 있다.
상기 플로피 디스크 FD는, 상기 플로피 디스크 본체 D를 플로피 디스크 케이스 FC 내에 수용한 구조로 되어 있고, 해당 플로피 디스크 본체 D의 표면에는, 동심원 형상으로 외주로부터 내주로 향하여 복수의 트랙 Tr이 형성되고, 각 트랙 Tr은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 FD에서는, 상기 플로피 디스크 본체 D는, 그 위에 할당된 영역(섹터) Se에, 상기 프로그램으로서의 데이터가 기록되게 되어 있다.
또한, 도 12의 (c)는 플로피 디스크 FD에 대한 상기 프로그램의 기록 및 플로피 디스크 FD에 저장한 프로그램을 이용한 소프트웨어에 의한 화상 처리를 실행하기 위한 구성을 나타내고 있다.
상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs에서 상기 프로그램으로서의 데이터를, 플로피 디스크 드라이브 FDD를 거쳐서 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD에 기록된 프로그램에 의해, 상기 화상 부호화 장치 혹은 화상 복호화 장치를 컴퓨터 시스템 CS중에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여, 컴퓨터 시스템 Cs에 로드한다.
또한, 상기 설명에서는, 데이터 기억 매체로서 플로피 디스크를 이용하여 설명을 하였지만, 광 디스크를 이용하더라도 상기 플로피 디스크의 경우와 같이 소프트웨어에 의한 부호화 처리 혹은 복호화 처리를 실행할 수 있다. 또한, 데이터 기억 매체는 상기 광 디스크나 플로피 디스크에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 어떠한 것이라도 좋고, 이들 데이터 기록 매체를 이용하는 경우라도, 상기 플로피 디스크 등을 이용하는 경우와 같이 소프트웨어에 의한 부호화 처리 혹은 복호화 처리를 실시할 수 있다.
또한, 플로피 디스크 등의 데이터 기억 매체에 저장된 화상 부호화 신호를, 본 실시예 1, 실시예 2 혹은 이들 변형예의 화상 신호 데이터 구조로 함으로써, 상기 플로피 디스크로부터의 화상 부호화 신호를 복호화하여 화상 표시할 때에는, 프레임 표시 주기 혹은 복호화 처리의 주기가 고정인 경우에 간단한 회로 구성에 의해, 화상 부호화 신호의 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실행할 수 있다.
이상과 같이 본 발명의 제 1 관점에 따른 화상 신호 데이터 구조에 따르면, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하기 때문에, 각 프레임에 대한 재생 처리의 주기가 고정인 경우에, 간단한 회로 구성으로 화상 부호화 신호의 복호화 처리나 표시 처리 등의 화상 신호 재생 처리를 실행할 수 있다.
본 발명의 제 2 관점에 따르면, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하였기 때문에, 각 프레임에 대한 화상 표시의 주기가 고정인 경우에, 화상 부호화 신호의 복호화에 의해 얻어지는 복호화 데이터의 표시 처리를 간단한 회로 구성으로 실행할 수 있다.
본 발명의 제 3 관점에 따르면, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 고정인 것을 나타내는 표시 주기 고정 식별자를 포함함과 동시에, 상기 표시 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 주기가 고정인 경우에는, 표시 주기 데이터와 프레임 위치 데이터에 근거하여 프레임에 대응하는 화상 표시의 타이밍을 확정할 수 있다.
본 발명의 제 4 관점에 따르면, 제 2 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 표시 주기 식별자로서, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인 것을 나타내는 표시 주기 가변 식별자를 포함함과 동시에, 상기 표시 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터를 포함하기 때문에, 각 프레임에 대응하는 화상 표시의 주기가 가변인 경우에는, 표시 타이밍 데이터에 근거하여 프레임에 대응하는 화상 표시의 타이밍을 확정할 수 있다.
본 발명의 제 5 관점에 따르면, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하였기 때문에, 각 프레임에 대한 복호화 처리의 주기가 고정인 경우, 간단한 회로 구성으로 화상 부호화 신호의 복호화 처리를 실행할 수 있다.
본 발명의 제 6 관점에 따르면, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 고정인 것을 나타내는 복호 주기 고정 식별자를 포함함과 동시에, 상기 복호 주기 고정 식별자에 부가하여, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 포함하기 때문에, 각 프레임에 대응하는 복호화 처리의 주기가 고정인 경우에는, 복호 주기 데이터와 프레임 위치 데이터에 근거하여 프레임에 대응하는 복호화 처리의 타이밍을 확정할 수 있다.
본 발명의 제 7 관점에 따르면, 제 5 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 복호 주기 식별자로서, 상기 각 프레임에 대응하는 복호화 처리의 주기가 가변인 것을 나타내는 복호 주기 가변 식별자를 포함함과 동시에, 상기 복호 주기 가변 식별자에 부가하여, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터를 포함하기 때문에, 각 프레임에 대응하는 복호화 처리의 주기가 가변인 경우에는, 복호 타이밍 데이터에 근거하여 프레임에 대응하는 복호 처리의 타이밍을 확정할 수 있다.
본 발명의 제 8 관점에 관한 화상 부호화 방법에 따르면, 화상 신호로서, 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 재생 주기 식별자와 함께, 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터를 출력하고, 상기 화상 신호로서, 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 화상 신호가 입력되었을 때, 재생 주기 식별자와 함께, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를 출력하기 때문에, 각 프레임에 대한 화상 재생 처리의 주기가 가변인 화상 신호와, 프레임의 화상 재생 처리의 주기가 고정인 화상 신호를, 각각의 화상 신호에 따른, 각 프레임의 재생 타이밍을 나타내는 데이터를 부가하여 부호화할 수 있다. 이에 따라, 프레임의 재생 처리 주기가 고정인 경우에, 재생 처리 시각을 정하는데 필요한 비트수를 삭감할 수 있으며, 또한 프레임의 재생 처리 주기가 가변인 화상의 재생 처리를 종래와 마찬가지로 실행하는 것이 가능해진다.
본 발명의 제 9 관점에 따르면, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 표시가 실행되는 타이밍을 나타내는 표시 타이밍 데이터로 하였기 때문에, 프레임의 표시 주기가 고정인 경우에, 표시 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 표시 주기가 가변인 화상의 표시 처리를 종래와 마찬가지로 실행하는 것이 가능해진다.
본 발명의 제 10 관점에 따르면, 제 8 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 복호화 처리가 실행되는 타이밍을 나타내는 복호 타이밍 데이터로 하였기 때문에, 프레임의 복호화 처리의 주기가 고정인 경우에, 각 프레임의 복호화 처리의 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 복호화 처리의 주기가 가변인 화상의 복호화 처리를 간단히 실행할 수 있게 된다.
본 발명의 제 11 관점에 관한 화상 복호화 방법에 따르면, 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 상기 각 프레임에 대응하는 화상 재생 처리의 주기를 나타내는 재생 주기 데이터와, 상기 각 프레임에 대응한, 프레임의 전후 관계를 나타내는 프레임 위치 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하고, 상기 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 상기 화상 부호화 신호에 포함되는, 각 프레임에 따라 1개 또는 복수의 기준 시각이 소요되는 것에 대하여 상대적으로 설정된, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하기 때문에, 화상 부호화 신호에 대해, 각 프레임의 재생 처리의 타이밍이 가변인지 여부에 따라서, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있다.
본 발명의 제 12 관점에 따르면, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기를 나타내는 표시 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 화상 표시가 실행되는 표시 타이밍을 나타내는 표시 타이밍 데이터로 하였기 때문에, 화상 부호화 신호에 대해, 각 프레임의 표시 타이밍이 가변인지 여부에 따라서, 표시 처리를 정확하게 실행할 수 있다.
본 발명의 제 13 관점에 따르면, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을, 복호화 처리의 대상으로 되는 대상 프레임을 포함하는 복수 프레임의 표시 타이밍 데이터에 근거하여 설정하기 때문에, 표시 타이밍 데이터에 근거하여, 각 프레임에 대해 표시 처리 뿐만 아니라 복호 처리를 실행하는 것도 가능하다.
본 발명의 제 14 관점에 따르면, 제 13 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 복호 타이밍을, 상기 대상 프레임의 표시 타이밍 데이터 및 그 다음에 전송되어 오는 다음 프레임의 표시 타이밍 데이터에 근거하여, 상기 양 프레임 중 빠른 쪽의 표시 타이밍보다 소정의 오프셋 시간만큼 빠른 타이밍으로 설정하기 때문에, 표시 타이밍 데이터에 근거하여, 각 프레임에 대한 복호 처리를 표시 처리의 흐름을 저해하는 일 없이 실행할 수 있다.
본 발명의 제 15 관점은, 제 14 관점에 따른 화상 복호화 방법에 있어서, 상기 대상 프레임의 표시 타이밍이 상기 다음 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 상기 대상 프레임에 대한 복호화 처리에 소요되는 시간 이상의 크기로 설정하고, 상기 다음 프레임의 표시 타이밍이 상기 대상 프레임의 표시 타이밍보다 빠를 때에는, 상기 오프셋 시간을 대상 프레임에 대한 복호화 처리에 소요되는 시간과, 다음 프레임에 대한 복호화 처리에 소요되는 시간의 합계 시간 이상의 크기로 설정하기 때문에, 예를 들어 I-VOP에 부가하여 P-VOP나 B-VOP를 포함하는 프레임 계열에 대응하는 화상 부호화 데이터에 대한 복호화 처리를, 상기 표시 타이밍 데이터에 근거하여 실행할 수 있다.
본 발명의 제 16 관점에 따르면, 제 11 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응한, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기를 나타내는 복호 주기 데이터로 하며, 상기 재생 타이밍 데이터를, 상기 각 프레임에 대응하는 복호화 처리가 실행되는 복호 타이밍을 나타내는 복호 타이밍 데이터로 하였기 때문에, 화상 부호화 신호에 대하여, 각 프레임의 복호화 처리의 타이밍이 가변인지 여부에 따라 복호화 처리를 정확하게 실행할 수 있다.
본 발명의 제 17 관점에 따르면, 제 1 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자에 부가하여, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단하게 할 수 있는 화상 신호 데이터 구조를 얻을 수 있다.
본 발명의 제 18 관점에 따르면, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 승수 데이터로 하였기 때문에, 표시 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단화할 수 있다.
본 발명의 제 19 관점에 따르면, 제 17 관점에 따른 화상 신호 데이터 구조에 있어서, 상기 재생 주기 식별자를, 상기 각 프레임에 대응하는, 부호화된 화상 신호를 복호화하는 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 하였기 때문에, 복호화 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단화할 수 있다.
본 발명의 제 20 관점에 관한 화상 부호화 방법에 따르면, 화상 신호로서, 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 화상 신호가 입력되었을 때, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와 함께, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 배수값 M(자연수)으로서의 재생 주기 승수 데이터를 출력하기 때문에, 프레임 레이트가 고정인 화상 부호화 신호를, 그 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 간단한 하드웨어 구성에 의해 실행할 수 있다.
본 발명의 제 21 관점에 따르면, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 배수값 M(자연수)으로서의 표시 주기 승수 데이터로 하였기 때문에, 복호화측에서의 표시 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단하게 할 수 있다.
본 발명의 제 22 관점에 따르면, 제 20 관점에 따른 화상 부호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 하였기 때문에, 복호화 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단화할 수 있다.
본 발명의 제 23 관점에 관한 화상 복호화 방법에 따르면, 재생 주기 식별자가 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 고정인 것을 나타낼 때, 각 프레임에 대응하는 화상 부호화 데이터를 복호화하여 얻어지는 화상 복호화 데이터를, 화상 부호화 신호에 포함되는, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터에 근거하여 결정되는 재생 타이밍의 화상 데이터로 하기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화측의 하드웨어 구성을 간략화할 수 있게 된다.
본 발명의 제 24 관점에 따르면, 제 23 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는 화상 표시의 주기가 가변인지 여부를 나타내는 표시 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 화상 표시의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 표시 주기 데이터로 하였기 때문에, 복호화측에서의 표시 처리를 위한 하드웨어 구성을 간략화할 수 있게 된다.
본 발명의 제 25 관점에 따르면, 제 23 관점에 따른 화상 복호화 방법에 있어서, 상기 재생 주기 식별자를, 상기 화상의 각 프레임에 대응하는, 화상 부호화 데이터의 복호화 처리의 주기가 가변인지 여부를 나타내는 복호 주기 식별자로 하고, 상기 재생 주기 승수 데이터를, 상기 각 프레임에 대응하는 복호화 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 복호 주기 승수 데이터로 하였기 때문에, 복호화측에서의 복호화 처리를 위한 하드웨어 구성을 간략화하는 것이 가능해진다.
본 발명의 제 26 관점에 관한 화상 부호화 장치에 따르면, 화상 신호에 근거하여, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정하여, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단을 구비하고, 화상 재생 처리의 주기를 나타내는 재생 주기 데이터 및 프레임의 전후 관계를 나타내는 프레임 위치 데이터와, 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를, 상기 재생 주기 식별자에 근거해 전환하여 화상 부호화 데이터 및 재생 주기 식별자와 함께 출력하도록 하였기 때문에, 각 프레임에 대한 화상 재생 처리의 주기가 가변인 화상 신호와, 프레임의 화상 재생 처리의 주기가 고정인 화상 신호가, 각각의 화상 신호에 따른, 각 프레임의 재생 처리 타이밍을 나타내는 데이터가 부가되어 부호화되게 된다. 이에 따라 프레임의 재생 처리 주기가 고정인 경우에 있어서, 재생 처리 시각을 정하는데 필요한 비트수를 삭감할 수 있고, 또한 프레임의 재생 처리 주기가 가변인 화상의 재생 처리를 간단히 실행하는 것이 가능해진다.
본 발명의 제 27 관점에 관한 화상 복호화 장치에 따르면, 제 26 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 재생 주기 데이터, 프레임 위치 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단을 구비하고, 복호화기에 의한 화상 부호화 데이터의 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 재생 주기 데이터 및 프레임 위치 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성하였기 때문에, 화상 부호화 신호에 대하여, 각 프레임의 재생 처리 타이밍이 가변인지 여부에 따라서 복호화 처리 및 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있다.
본 발명의 제 28 관점에 관한 화상 부호화 장치에 따르면, 화상 신호에 근거하여, 화상의 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 판정하여, 그 판정 결과를 나타내는 재생 주기 식별자를 출력하는 주기 판정 수단을 구비하고, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터 및 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터와, 각 프레임에 대응하는 화상 재생 처리가 실행되는 타이밍을 나타내는 재생 타이밍 데이터를, 상기 재생 주기 식별자에 근거해 전환하여 화상 부호화 데이터 및 재생 주기 식별자와 함께 출력하도록 하였기 때문에, 복호화측에서는, 프레임 레이트가 고정인 화상 부호화 신호를, 그 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 간단한 하드웨어 구성에 의해 실행할 수 있다.
본 발명의 제 29 관점에 관한 화상 복호화 장치에 따르면, 제 28 관점에 따른 화상 부호화 장치로부터 출력되는 화상 부호화 신호를 복호화하여 재생하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호에 포함되는 화상 부호화 데이터, 재생 주기 식별자, 미소 단위 시간 데이터, 재생 주기 승수 데이터 및 재생 타이밍 데이터를 분리하여 출력하는 데이터 분리 수단을 구비하고, 복호화기에 의한 복호화 처리 및 표시 장치에 있어서의 화상 표시 처리 중 적어도 한쪽의 처리를, 상기 재생 주기 식별자에 따라서, 상기 미소 단위 시간 데이터 및 재생 주기 승수 데이터에 의해 결정되는 재생 타이밍, 혹은 상기 재생 타이밍 데이터에 의해 결정되는 재생 타이밍으로 실행하도록 구성하였기 때문에, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화측의 하드웨어 구성을 간략화하는 것이 가능해진다.
본 발명의 제 30 관점에 관한 데이터 기억 매체에 따르면, 각 프레임에 대응하는 화상 재생 처리가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호를, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자를 포함하는 데이터 구조로 하였기 때문에, 상기 데이터 기억 매체를 이용함으로써, 각 프레임의 재생 처리의 주기가 고정인 경우에, 화상 부호화 신호의 복호화 처리나 표시 처리 등의 화상 신호의 재생 처리를 간단한 회로 구성에 의해 실행할 수 있다.
본 발명의 제 31 관점에 관한 데이터 기억 매체에 따르면, 화상의 각 프레임에 대응하는 화상 표시가 소정 주기로 실행되는 화상 신호를 저장한 데이터 기억 매체에 있어서, 상기 화상 신호를, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 가변인지 여부를 나타내는 재생 주기 식별자와, 소정의 시간 간격을 N(자연수)등분하여 얻어지는 미소 단위 시간의 크기를, 상기 자연수 N에 의해 나타내는 미소 단위 시간 데이터와, 상기 각 프레임에 대응하는 화상 재생 처리의 주기가 상기 미소 단위 시간의 M(자연수)배인 것을 상기 승수 M에 의해 나타내는 재생 주기 승수 데이터를 포함하는 데이터 구조로 하였기 때문에, 상기 데이터 기억 매체를 이용함으로써, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 실현하기 위한 여러가지 하드웨어 구성을 간단히 할 수 있다.
본 발명의 제 32 관점에 관한 데이터 기억 매체에 따르면, 제 8 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를, 컴퓨터로 실행시키기 위한 부호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 프레임의 재생 처리주기가 고정인 경우에, 재생 처리 시각을 정하는데 필요한 비트수를 삭감할 수 있으며, 또한 프레임의 재생 처리 주기가 가변인 화상의 재생 처리를 간단히 실행할 수 있는 장치를 실현할 수 있다.
본 발명의 제 33 관점에 관한 데이터 기억 매체에 따르면, 제 11 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를, 컴퓨터로 실행시키기 위한 복호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 화상 부호화 신호에 대하여, 각 프레임의 재생 처리의 타이밍이 가변인지 여부에 따라서, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 정확하게 실행할 수 있는 장치를 실현할 수 있다.
본 발명의 제 34 관점에 관한 데이터 기억 매체에 따르면, 제 20 관점에 따른 화상 부호화 방법에 의한 화상 신호의 부호화 처리를, 컴퓨터로 실행시키기 위한 부호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화 처리 및 표시 처리를 포함하는 재생 처리를 간단한 하드웨어 구성에 의해 실행할 수 있는 장치를 실현할 수 있다.
본 발명의 제 35 관점에 관한 데이터 기억 매체에 따르면, 제 23 관점에 따른 화상 복호화 방법에 의한 화상 부호화 신호의 복호화 처리를, 컴퓨터로 실행시키기 위한 복호화 처리 프로그램을 저장하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 프레임 레이트가 고정인 화상 부호화 신호의 프레임 레이트의 값(크기)을, 각 프레임의 디코드 처리를 실행하기 전에 미리 검출할 수 있어, 복호화측의 하드웨어 구성을 간략화할 수 있는 장치를 실현하는 것이 가능하게 된다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
도 1은 본 발명의 실시예 1에 의한 화상 부호화 신호의 데이터 구조를, 프레임 표시 주기가 고정인 경우(도 1의 (a))와, 프레임 표시 주기가 가변인 경우(도 1의 (b))를 대비하여 도시한 도면,
도 2는 상기 실시예 1에 있어서의, 프레임 표시 주기가 고정인 화상 부호화 신호에 기초한 화상 표시의 모양을 도시한 도면,
도 3은 상기 실시예 1의 데이터 구조의 화상 부호화 신호를 생성하는 부호화 처리의 흐름을 도시한 도면,
도 4는 상기 실시예 1 및 그 변형예의 부호화 처리를 실시하는 화상 부호화 장치의 구성(도 4의 (a) 및 (b))을 나타내는 블럭도,
도 5는 상기 실시예 1의 데이터 구조의 화상 부호화 신호를 복호화하는 복호화 처리의 흐름을 도시한 도면,
도 6은 상기 실시예 1 및 그 변형예의 복호화 처리를 실행하는 화상 복호화 장치의 구성(도 6의 (a) 및 (b))을 나타내는 블럭도,
도 7은 본 발명의 실시예 2에 의한, MPEG4에 대응한 화상 부호화 신호의 데이터 구조를, 프레임 표시 주기가 고정인 경우(도 7의 (a))와 프레임 표시 주기가 가변인 경우(도 7의 (b))를 대비하여 도시한 도면,
도 8은 상기 실시예 2의 데이터 구조의 화상 부호화 신호를 생성하는 부호화 처리의 흐름을 도시한 도면,
도 9는 상기 실시예 2 및 그 변형예의 부호화 처리를 실행하는 화상 부호화 장치의 구성(도 9의 (a) 및 (b))을 나타내는 블럭도,
도 10은 상기 실시예 2의 데이터 구조의 화상 부호화 신호를 복호화하는 복호화 처리의 흐름을 도시한 도면,
도 11은 상기 실시예 2 및 그 변형예의 복호화 처리를 실행하는 화상 복호화 장치의 구성(도 11의 (a) 및 (b))을 나타내는 블럭도,
도 12는 상기 각 실시예의 부호화 및 복호화 처리를 컴퓨터 시스템에 의해 실행하기 위한 프로그램을 저장한 데이터 기억 매체(도 12의 (a) 및 (b))와, 상기 컴퓨터 시스템(도 12의 (c))을 설명하기 위한 도면,
도 13은 종래의 MPEG2에 있어서의 고정 프레임 레이트의 테이블을 도시한 도면,
도 14는 종래의 화상 데이터 구조를 갖는 화상 부호화 신호를 설명하기 위한 개념도,
도 15는 1개의 화상을 구성하는 프레임 계열에 있어서의 데이터 전송 순서와 데이터 표시 순서를 대비시켜 도시한 도면,
도 16은 종래에 있어서의, 프레임 표시 주기가 가변인 화상 부호화 신호에 기초한 화상 표시의 모양을 도시한 도면,
도 17은 현재의 MPEG4에 대응한 각 프레임(VOP)의 표시 시각의 표현 방법(도 17의 (a) 및 (b)), 및 MPEG4에 대응한 화상 부호화 신호의 현상(現狀)의 데이터 구조(도 17의 (c))를 설명하기 위한 도면.
도면의 주요 부분에 대한 부호의 설명
100a, 100b, 120a, 120b : 화상 부호화 신호
1000, 1000a, 1200, 1200a : 화상 부호화 장치
1110 : 부호화기
1120, 1120a, 1220, 1220a : 다중화기(MUX)
1131, 1131a : 판정기
1132 : 표시 주기 데이터 생성기(제 1 데이터 생성기)
1132a : 복호 주기 데이터 생성기(제 1 데이터 생성기)
1133 : 번호 데이터 생성기(제 2 데이터 생성기)
1134 : 표시 시각 데이터 생성기(제 3 데이터 생성기)
1134a : 복호 시각 데이터 생성기(제 3 데이터 생성기)
1141, 1241, 1241a, 2140 : 개폐 스위치
1142 : 선택 스위치
1232 : 미소 단위 시간 데이터 생성기(제 1 데이터 생성기)
1233 : 표시 주기 승수 데이터 생성기(제 2 데이터 생성기)
1233a : 복호 주기 승수 데이터 생성기(제 2 데이터 생성기)
1234 : 표시 시각 데이터 생성기(제 3 데이터 생성기)
1234a : 복호 시각 데이터 생성기(제 3 데이터 생성기)
2000, 2000a, 2200, 2200a : 화상 복호화 장치
2110, 2110a, 2220, 2220a : 데이터 분리기(DEMUX)
2120, 2120a, 2220, 2220a : 복호화기
2130, 2130a, 2230, 2230a : 표시 장치
2140a, 2240, 2240a : 제 1 개폐 스위치
2150a, 2250, 2250a : 제 2 개폐 스위치
2160a : 제 3 개폐 스위치
Df : 표시 주기 식별자 DEf : 복호 주기 식별자
Dp : 표시 주기 데이터 DEp : 복호 주기 데이터
Dm : 표시 주기 승수 데이터 DEm : 복호 주기 승수 데이터
Dn : 미소 단위 시간 데이터 Dtn : 표시 시각 데이터
DEtn : 복호 시각 데이터
B0, B1, B2, Bn : 프레임 번호 데이터
B(0)∼B(18), B(n) : 프레임 번호
Cg0, Cg1, Cg2, Cgn : 화상 부호화 데이터
Dt0, Dt1, Dt2, Dtn : 표시 시각 데이터
Dy0, Dy1, Dy2, Dyn : 표시 시각 데이터
DEtn, DEtn' : 복호 시각 데이터 F(0)∼F(18), F(n) : 프레임
F'(0)∼F'(18), F'(n') : 프레임 H : 헤더
h(0)∼h(4), h'(0)∼h'(3), h(n), h'(n') : 표시 시각
M1, M1a, M2, M2a : 다중 비트 스트림
Rg : 화상 복호화 데이터 Sg : 화상 신호
Sa0, Sa1, Sa2, San, Sb0, Sb1, Sb2, Sbn, Sc0, Sc1, Sc2, Scn : 부호열
t'(1)∼t'(4), t'(n') : 표시 간격

Claims (7)

  1. 복수의 프레임에 대응하는 화상 신호를 부호화하는 부호화 방법에 있어서,
    상기 화상 신호를 부호화하여, 부호화된 화상 신호의 비트 스트림(bit stream)을 얻는 단계와,
    상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적인지를 표시하기 위한 표시 주기 식별자(display cycle identifier)를 생성하는 단계와,
    미소 단위 시간(sub-unit time)을 정의하는 미소 단위 시간 데이터-상기 미소 단위 시간은 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻어질 수 있으며, 상기 미소 단위 시간 데이터는 자연수 N임-를 부호화하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우에, 상기 복수의 프레임 중 임의의 연속적인 2개의 프레임의 화상 표시 시간 사이의 고정 간격이 상기 미소 단위 시간의 M배(미소 단위 시간×M)임을 나타내는데 사용되는 자연수 M을 나타내는 표시 주기 승수 데이터를 부호화하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 가변적일 수 있음을 나타내는 경우에, 상기 복수의 프레임 중 하나의 프레임에 대해 화상 표시 타이밍을 나타내는 표시 타이밍 데이터를 부호화하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우에, 상기 표시 주기 식별자, 상기 부호화된 미소 단위 시간 데이터, 상기 부호화된 표시 주기 승수 데이터 및 상기 비트 스트림을 다중화(multiplexing)하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 가변적일 수 있음을 나타내는 경우에, 상기 표시 주기 식별자, 상기 부호화된 미소 단위 시간 데이터, 상기 부호화된 표시 타이밍 데이터 및 상기 비트 스트림을 다중화하는 단계
    를 포함하는 화상 신호 부호화 방법.
  2. 복수의 프레임에 대응하는 화상 신호를 부호화하는 부호화 방법에 있어서,
    상기 화상 신호를 부호화하여, 부호화된 화상 신호의 비트 스트림을 얻는 단계와,
    상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적일 수 있음을 나타내는 표시 주기 식별자를 생성하는 단계와,
    미소 단위 시간을 정의하는 미소 단위 시간 데이터-상기 미소 단위 시간은 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻어질 수 있으며, 상기 미소 단위 시간 데이터는 자연수 N임-를 부호화하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우, 상기 복수의 프레임 중 임의의 연속적인 두 개의 프레임의 화상 표시 시간 사이의 고정 간격이 상기 미소 단위 시간의 M배(미소 단위 시간 ×M)임을 나타낼 때 사용되는 자연수 M을 나타내는 표시 주기 승수 데이터를 부호화하는 단계와,
    상기 복수의 프레임 중 하나의 프레임에 대해 화상 표시 타이밍을 나타내는 표시 타이밍 데이터를 부호화하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우에, 상기 부호화된 미소 단위 시간 데이터, 상기 부호화된 표시 주기 승수 데이터, 상기 표시 주기 식별자 및 상기 비트 스트림을 다중화(multiplexing)하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 가변적일 수 있음을 나타내는 경우에, 상기 부호화된 표시 타이밍 데이터, 상기 표시 주기 식별자 및 상기 비트 스트림을 다중화하는 단계
    를 포함하는 화상 신호 부호화 방법.
  3. 복수의 프레임에 대응하는 화상 신호를 부호화하는 부호화 방법에 있어서,
    상기 화상 신호를 부호화하여, 부호화된 화상 신호의 비트 스트림을 얻는 단계와,
    상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적일 수 있음을 표시하는 표시 주기 식별자를 생성하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우, 미소 단위 시간을 정의하는 미소 단위 시간 데이터-상기 미소 단위 시간은 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻어질 수 있으며, 상기 미소 단위 시간 데이터는 자연수 N임-과, 상기 복수의 프레임 중 임의의 연속적인 두 개의 프레임의 화상 표시 시간 사이의 고정 간격은 상기 미소 단위 시간의 M배(미소 단위 시간 ×M)를 나타낼 때 사용되는 자연수 M을 나타내는 표시 주기 승수 데이터와, 상기 표시 주기 식별자와, 상기 비트 스트림을 다중화하는 단계와,
    상기 표시 주기 식별자가 상기 간격이 가변적일 수 있음을 나타내는 경우, 상기 복수의 프레임 중 하나의 프레임에 대해 화상 표시 타이밍을 나타내는 표시 타이밍 데이터, 상기 표시 주기 식별자 및 상기 비트 스트림을 다중화하는 단계
    를 포함하는 화상 신호 부호화 방법.
  4. 복수의 프레임에 대응하는 화상 신호를 부호화하는 부호화 장치에 있어서,
    상기 화상 신호를 부호화하여, 부호화된 화상 신호의 비트 스트림을 얻는 부호화 수단과,
    상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적일 수 있음을 나타내는 표시 주기 식별자를 생성하는 식별자 생성 수단과,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우, 미소 단위 시간을 정의하는 미소 단위 시간 데이터-상기 미소 단위 시간은 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻어질 수 있으며, 상기 미소 단위 시간 데이터는 자연수 N임-과, 상기 복수의 프레임 중 임의의 연속적인 두 개의 프레임의 화상 표시 시간 사이의 고정 간격이 상기 미소 단위 시간의 M배(미소 단위 시간×M)를 나타낼 때 사용되는 자연수 M을 나타내는 표시 주기 승수 데이터와, 상기 표시 주기 식별자와, 상기 비트 스트림을 다중화하며, 상기 표시 주기 식별자가 상기 간격이 가변적일 수 있음을 나타내는 경우에, 상기 복수의 프레임 중 하나의 프레임에 대한 화상 표시 타이밍을 나타내는 표시 타이밍 데이터와, 상기 표시 주기 식별자와, 상기 비트 스트림을 다중화하는 다중화 수단
    을 포함하는 화상 신호 부호화 장치.
  5. 복수의 프레임에 대응하는 부호화된 화상 데이터, 표시 주기 식별자, 미소 단위 시간 데이터 및 표시 주기 승수 데이터를 포함하는 화상 신호를 복호화하는 화상 복호화 방법에 있어서,
    상기 부호화된 화상 데이터를 복호화하여, 복호화된 화상 데이터를 생성하는 단계-상기 표시 주기 식별자는 상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적일 수 있음을 나타냄-와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우에, 상기 미소 단위 시간 데이터-상기 미소 단위 시간 데이터는 미소 단위 시간을 정의함-와 상기 표시 주기 승수 데이터를 참조하여 상기 복호화된 화상 데이터에 대한 고정 프레임 레이트를 설정하는 단계
    를 포함하되,
    상기 미소 단위 시간은 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻을 수 있으며, 상기 미소 단위 시간 데이터는 자연수 N이며, 상기 표시 주기 승수 데이터는 상기 복수의 프레임 중 임의의 연속적인 두 개의 프레임의 화상 표시 시간 사이의 고정 간격이 상기 미소 단위 시간의 M배(미소 단위 시간×M)임을 나타낼 때 사용되는 자연수 M을 나타내는
    화상 신호 복호화 방법.
  6. 복수의 프레임에 대응하는 부호화 화상 데이터, 표시 주기 식별자, 미소 단위 시간 데이터, 자연수 N, 및 표시 주기 승수 데이터를 포함하는 화상 신호를 복호화하는 화상 복호화 장치에 있어서,
    상기 부호화된 화상 데이터를 복호화하여, 복호화된 화상 데이터를 생성할 수 있는 복호화 수단-상기 표시 주기 식별자는 상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적일 수 있음을 나타냄-과,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우에, 상기 미소 단위 시간 데이터-상기 미소 단위 시간 데이터는 미소 단위 시간을 정의함-와, 상기 표시 주기 승수 데이터를 참조하여, 상기 복호화된 화상 데이터에 대한 고정 프레임 레이트를 설정하는 설정 수단
    을 포함하되,
    상기 미소 단위 시간은 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻을 수 있으며, 상기 미소 단위 시간 데이터는 자연수 N이며,
    상기 표시 주기 승수 데이터는 상기 복수의 프레임 중 임의의 연속적인 두 개의 프레임의 화상 표시 시간 사이의 고정 간격이 상기 미소 단위 시간의 M배(미소 단위 시간×M)임을 나타낼 때 사용되는 자연수 M을 나타내는
    화상 신호 복호화 장치.
  7. 복수의 프레임에 대응하는 부호화된 화상 데이터, 표시 주기 식별자, 미소 단위 시간 데이터, 및 표시 주기 승수 데이터를 포함하는 화상 신호를 복호화하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체로서,
    상기 컴퓨터 프로그램은,
    상기 컴퓨터로 하여금 상기 부호화된 화상 데이터를 복호화하여 복호화된 화상 데이터를 생성할 수 있게 하는 컴퓨터 판독가능 프로그램 코드-상기 표시 주기 식별자는 상기 복수의 프레임 중 연속적인 프레임의 화상 표시 시간 사이의 모든 간격이 고정적인지 또는 가변적일 수 있음을 나타냄-와,
    상기 표시 주기 식별자가 상기 간격이 고정적임을 나타내는 경우에, 상기 컴퓨터로 하여금 상기 미소 단위 시간 데이터와 상기 표시 주기 승수 데이터를 참조하여, 상기 복호화된 화상 데이터에 대한 고정 프레임 레이트를 설정할 수 있게 하는 컴퓨터 판독가능 프로그램 코드
    를 포함하되,
    상기 미소 단위 시간 데이터는 소정 시간 간격을 상기 미소 단위 시간 데이터에 의해 분할하여 얻을 수 있는 미소 단위 시간을 정의하며, 또한 상기 미소 단위 시간 데이터는 자연수 N이며,
    상기 표시 주기 승수 데이터는 상기 복수의 프레임 중 임의의 연속적인 두 개의 프레임의 화상 데이터 사이의 고정 간격이 상기 미소 단위 시간의 M배(미소 단위 시간×M)임을 나타낼 때 사용되는 자연수 M을 나타내는
    기록 매체.
KR10-2003-0076645A 1997-10-31 2003-10-31 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체 KR100530394B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP30114897 1997-10-31
JPJP-P-1997-00301148 1997-10-31
JP16109698 1998-06-09
JPJP-P-1998-00161096 1998-06-09
KR10-2001-0039159A KR100471952B1 (ko) 1997-10-31 2001-06-30 화상 신호 부호화 방법 및 화상 신호 부호화 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0039159A Division KR100471952B1 (ko) 1997-10-31 2001-06-30 화상 신호 부호화 방법 및 화상 신호 부호화 장치

Publications (2)

Publication Number Publication Date
KR20030090552A KR20030090552A (ko) 2003-11-28
KR100530394B1 true KR100530394B1 (ko) 2005-11-22

Family

ID=26487352

Family Applications (6)

Application Number Title Priority Date Filing Date
KR10-1998-0046665A KR100384918B1 (ko) 1997-10-31 1998-10-31 부호화방법,복호화방법,화상복호화장치및데이터기억매체
KR10-2001-0039159A KR100471952B1 (ko) 1997-10-31 2001-06-30 화상 신호 부호화 방법 및 화상 신호 부호화 장치
KR10-2003-0076646A KR100525862B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체
KR10-2003-0076647A KR100530395B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법 및 화상 신호 부호화 장치
KR10-2003-0076645A KR100530394B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체
KR10-2003-0076648A KR100530406B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR10-1998-0046665A KR100384918B1 (ko) 1997-10-31 1998-10-31 부호화방법,복호화방법,화상복호화장치및데이터기억매체
KR10-2001-0039159A KR100471952B1 (ko) 1997-10-31 2001-06-30 화상 신호 부호화 방법 및 화상 신호 부호화 장치
KR10-2003-0076646A KR100525862B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체
KR10-2003-0076647A KR100530395B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법 및 화상 신호 부호화 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR10-2003-0076648A KR100530406B1 (ko) 1997-10-31 2003-10-31 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체

Country Status (12)

Country Link
US (6) US6654541B1 (ko)
EP (6) EP1324613B1 (ko)
JP (2) JP3232052B2 (ko)
KR (6) KR100384918B1 (ko)
CN (5) CN1163078C (ko)
BR (1) BR9804752B1 (ko)
DE (5) DE69805036T2 (ko)
ES (6) ES2188572T3 (ko)
ID (1) ID21213A (ko)
MY (1) MY118198A (ko)
SG (1) SG86337A1 (ko)
TW (1) TW383530B (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3232052B2 (ja) * 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US7369463B1 (en) 2000-02-21 2008-05-06 N.V. Organon Electronic alarm timer for use with a medical regimen
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
JP4457506B2 (ja) * 2001-02-27 2010-04-28 ソニー株式会社 パケット化装置およびパケット化方法
GB2378343B (en) * 2001-08-03 2004-05-19 Sendo Int Ltd Image refresh in a display
US7283880B2 (en) 2001-09-06 2007-10-16 Thomson Licensing Method and apparatus for elapsed playback timekeeping of variable bit-rate digitally encoded audio data files
US7251812B1 (en) * 2001-10-31 2007-07-31 Microsoft Corporation Dynamic software update
WO2003077851A2 (en) * 2002-03-11 2003-09-25 Hk Pharmaceuticals, Inc. Compounds and methods for analyzing the proteome
US7454760B2 (en) * 2002-04-22 2008-11-18 Rosebud Lms, Inc. Method and software for enabling n-way collaborative work over a network of computers
US7120786B2 (en) * 2002-06-17 2006-10-10 Microsoft Corporation Booting from a compressed image
US6947954B2 (en) * 2002-06-17 2005-09-20 Microsoft Corporation Image server store system and method using combined image views
US7260738B2 (en) * 2002-06-17 2007-08-21 Microsoft Corporation System and method for splitting an image across multiple computer readable media
US20040034849A1 (en) * 2002-06-17 2004-02-19 Microsoft Corporation Volume image views and methods of creating volume images in which a file similar to a base file is stored as a patch of the base file
US7464176B2 (en) * 2002-06-17 2008-12-09 Microsoft Corporation Multicast system and method for deploying multiple images simultaneously
US7017144B2 (en) * 2002-06-17 2006-03-21 Microsoft Corporation Combined image views and method of creating images
JP5007759B2 (ja) * 2002-07-19 2012-08-22 ソニー株式会社 符号化装置、符号化方法、復号化装置及び復号化方法
JP4806888B2 (ja) 2002-07-19 2011-11-02 ソニー株式会社 復号化装置及び復号化方法
WO2004014073A2 (en) * 2002-07-30 2004-02-12 Koninklijke Philips Electronics N.V. Trick play behavior controlled by a user
US20040025012A1 (en) * 2002-07-30 2004-02-05 Burks David Patrick System for processing coded content and associated decoding instructions on a removable storage medium
EP2259068B1 (en) * 2003-01-16 2013-08-14 caprotec bioanalytics GmbH Capture compounds and methods for analyzing the proteome
JP4189358B2 (ja) * 2004-06-17 2008-12-03 株式会社東芝 画像符号化装置及び方法
JP4150730B2 (ja) * 2005-02-14 2008-09-17 株式会社東芝 画像符号化装置、および画像符号化方法
US8126312B2 (en) * 2005-03-31 2012-02-28 Apple Inc. Use of multiple related timelines
KR20070008289A (ko) * 2005-07-13 2007-01-17 삼성전자주식회사 디스플레이 장치 및 그것을 구비한 정보 처리 시스템,그리고 그것의 구동 방법
JP4904914B2 (ja) * 2006-05-17 2012-03-28 ソニー株式会社 ストリーム生成装置、撮像装置、およびストリーム生成方法
US8296268B2 (en) * 2006-07-21 2012-10-23 Samsung Electronics Co., Ltd. System and method for change logging in a firmware over the air development environment
JP5100311B2 (ja) * 2007-10-29 2012-12-19 キヤノン株式会社 動画像データ送信方法、通信装置、及びプログラム
US9792363B2 (en) 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US9565476B2 (en) * 2011-12-02 2017-02-07 Netzyn, Inc. Video providing textual content system and method
FR3004054A1 (fr) * 2013-03-26 2014-10-03 France Telecom Generation et restitution d'un flux representatif d'un contenu audiovisuel
EP3591980A1 (en) 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
WO2015064287A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9582513B2 (en) 2013-12-08 2017-02-28 Microsoft Technology Licensing, Llc Accessing data in a compressed container through dynamic redirection
US20170118501A1 (en) * 2014-07-13 2017-04-27 Aniview Ltd. A system and methods thereof for generating a synchronized audio with an imagized video clip respective of a video clip
KR102312681B1 (ko) 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461420A (en) 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
US5491516A (en) 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
US5828786A (en) 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US5640202A (en) * 1994-04-26 1997-06-17 Canon Kabushiki Kaisha Imaging system which changes the frame rate of the image signal
US5430533A (en) * 1994-05-31 1995-07-04 Lexmark International, Inc. Polymeric toner transfer member material
JP2894958B2 (ja) * 1994-10-14 1999-05-24 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 画像復号化方式および装置
JPH08214265A (ja) 1995-01-31 1996-08-20 Sony Corp 符号化データの再生方法および再生装置
KR100197365B1 (ko) 1995-12-14 1999-06-15 전주범 디지탈 브이 씨 알의 배속 재생을 위한 영상 데이타 기록 장치
JP4016215B2 (ja) 1996-01-18 2007-12-05 ソニー株式会社 ディジタル信号符号化方法および装置、並びにディジタル信号伝送方法および装置
US6055271A (en) * 1996-01-18 2000-04-25 Sony Corporation Signal encoding method and apparatus and signal transmission method and apparatus involving the use of a number of pseudo access units
US6148135A (en) * 1996-01-29 2000-11-14 Mitsubishi Denki Kabushiki Kaisha Video and audio reproducing device and video decoding device
JPH09307856A (ja) 1996-05-10 1997-11-28 Victor Co Of Japan Ltd 早送り再生時にも良好な画像を再生できる圧縮画像データの発生装置
US5828370A (en) * 1996-07-01 1998-10-27 Thompson Consumer Electronics Inc. Video delivery system and method for displaying indexing slider bar on the subscriber video screen
US6084168A (en) * 1996-07-10 2000-07-04 Sitrick; David H. Musical compositions communication system, architecture and methodology
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
JP3232052B2 (ja) * 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6056691A (en) * 1998-06-24 2000-05-02 Ecton, Inc. System for collecting ultrasound imaging data at an adjustable collection image frame rate
GB2383706B (en) * 2001-11-30 2005-03-30 Marconi Optical Components Ltd Modulation control
JP4922594B2 (ja) * 2005-05-23 2012-04-25 富士通株式会社 光送信装置、光受信装置、およびそれらを含む光通信システム
US20060263097A1 (en) * 2005-05-23 2006-11-23 Fujitsu Limited Optical transmitting apparatus, optical receiving apparatus, and optical communication system comprising them
JP4657860B2 (ja) * 2005-09-16 2011-03-23 富士通株式会社 光送信装置および光通信システム

Also Published As

Publication number Publication date
EP1117261B1 (en) 2003-06-18
EP1117258B1 (en) 2003-01-22
JP3232052B2 (ja) 2001-11-26
KR20030090553A (ko) 2003-11-28
CN1233174C (zh) 2005-12-21
EP1117261A2 (en) 2001-07-18
ES2663860T3 (es) 2018-04-17
KR19990037567A (ko) 1999-05-25
US6654541B1 (en) 2003-11-25
CN1354602A (zh) 2002-06-19
US6549724B2 (en) 2003-04-15
CN1217547C (zh) 2005-08-31
KR20030090554A (ko) 2003-11-28
EP0914008B1 (en) 2002-04-24
SG86337A1 (en) 2002-02-19
KR20030090552A (ko) 2003-11-28
US20040141730A1 (en) 2004-07-22
KR100471952B1 (ko) 2005-03-08
US20020012400A1 (en) 2002-01-31
KR20010083251A (ko) 2001-08-31
CN1354604A (zh) 2002-06-19
US20020012399A1 (en) 2002-01-31
EP1324613B1 (en) 2018-01-03
DE69815722T2 (de) 2004-04-22
MY118198A (en) 2004-09-30
CN1163078C (zh) 2004-08-18
EP1117260A3 (en) 2001-09-26
ID21213A (id) 1999-05-06
ES2188572T3 (es) 2003-07-01
KR100530406B1 (ko) 2005-11-22
DE69813311D1 (de) 2003-05-15
CN1354601A (zh) 2002-06-19
DE69813311T2 (de) 2004-02-12
EP0914008A2 (en) 1999-05-06
CN1354603A (zh) 2002-06-19
KR100384918B1 (ko) 2003-08-19
US6671456B2 (en) 2003-12-30
KR20030090555A (ko) 2003-11-28
KR100530395B1 (ko) 2005-11-22
US20020018646A1 (en) 2002-02-14
TW383530B (en) 2000-03-01
US6654545B2 (en) 2003-11-25
BR9804752A (pt) 1999-11-03
EP0914008A3 (en) 2000-11-29
ES2200998T3 (es) 2004-03-16
EP1324613A2 (en) 2003-07-02
US6947659B2 (en) 2005-09-20
ES2195966T3 (es) 2003-12-16
DE69805036D1 (de) 2002-05-29
CN1177486C (zh) 2004-11-24
CN1177487C (zh) 2004-11-24
EP1117258A2 (en) 2001-07-18
DE69810971D1 (de) 2003-02-27
BR9804752B1 (pt) 2012-06-12
DE69810971T2 (de) 2003-11-27
DE69812190D1 (de) 2003-04-17
DE69815722D1 (de) 2003-07-24
EP1117259A2 (en) 2001-07-18
EP1117260A2 (en) 2001-07-18
JP2000069477A (ja) 2000-03-03
EP1117261A3 (en) 2001-09-26
EP1117260B1 (en) 2003-04-09
US20020018524A1 (en) 2002-02-14
ES2172849T3 (es) 2002-10-01
DE69805036T2 (de) 2002-10-10
CN1216425A (zh) 1999-05-12
DE69812190T2 (de) 2003-12-04
JP2008245325A (ja) 2008-10-09
EP1117259B1 (en) 2003-03-12
EP1117259A3 (en) 2001-09-26
JP4510909B2 (ja) 2010-07-28
EP1117258A3 (en) 2001-09-26
ES2187487T3 (es) 2003-06-16
KR100525862B1 (ko) 2005-11-02
US6707986B2 (en) 2004-03-16
EP1324613A3 (en) 2011-08-03

Similar Documents

Publication Publication Date Title
KR100530394B1 (ko) 화상 신호 부호화 방법, 화상 신호 부호화 장치, 화상신호 복호화 방법, 화상 신호 복호화 장치 및 기록 매체
JP3232082B2 (ja) 画像復号化方法
JP3232081B2 (ja) 画像符号化方法
JP3232080B2 (ja) 画像符号化方法
MXPA98009022A (en) Structure of image signal data, image coding method and ima decoding method
JP2002359841A (ja) 画像復号化方法及び画像復号化装置
JP2001320706A (ja) 画像符号化方法，画像符号化装置，及び記憶媒体
JP2002359840A (ja) 画像符号化方法及び画像符号化装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20031031

Patent event code: PA01071R01D

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050325

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20050823

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20051115

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20051114

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20081110

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20091110

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20101122

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20111019

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20121019

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20121019

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20131018

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20131018

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20141022

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20151016

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20161020

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20171018

Start annual number: 13

End annual number: 13

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20190430

Termination category: Expiration of duration