[go: up one dir, main page]

JP6848873B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6848873B2
JP6848873B2 JP2017545195A JP2017545195A JP6848873B2 JP 6848873 B2 JP6848873 B2 JP 6848873B2 JP 2017545195 A JP2017545195 A JP 2017545195A JP 2017545195 A JP2017545195 A JP 2017545195A JP 6848873 B2 JP6848873 B2 JP 6848873B2
Authority
JP
Japan
Prior art keywords
image data
extended
basic
format
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017545195A
Other languages
English (en)
Other versions
JPWO2017065128A1 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017065128A1 publication Critical patent/JPWO2017065128A1/ja
Application granted granted Critical
Publication of JP6848873B2 publication Critical patent/JP6848873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006—Conversion to or from arithmetic code
    • H03M7/4012—Binary arithmetic codes
    • H03M7/4018—Context adapative binary arithmetic codes [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレートで超高解像度の画像データを送信する送信装置等に関する。
固定受信機とモバイル受信機とが同一の伝送帯域を共有する受信環境において、伝送ビットレートの効率的な利用を行うために、解像度が高いとされる固定受信機向けの画像サービス（映像サービス）と中程度の解像度とされるモバイル受信機向けの画像サービスとがストリームを共有することで、固定受信機向けサービスとモバイル受信機向けサービスとを別に行う、いわゆるサイマルキャストサービスに比べて、全体のビットレートを低減できると考えられている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度の画像サービスのための基本レイヤのストリームと、高解像度の画像サービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。
一方で、スポーツシーンなど動きのスムーズさや鮮明さが要求される場合、シャッタ速度を高速にしてフレームレートを高くする、いわゆるハイフレームレートの映像サービスが要求される。ハイフレームレートのサービスを行う場合、高速フレームシャッタでカメラ撮りされた動画像を、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。高速フレームシャッタの画像は、動きボケを改善し先鋭度の高い画質を実現する効果がある一方で、従来のノーマルフレームレートの受信機との互換性をとる場合には、ハイフレームレートの映像の全体を表示せずに一部のみを表示することによるストロービング（strobing）効果の問題がある。本出願人は、先に、高速フレームシャッタで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献２参照）。
特表２００８−５４３１４２号公報 国際公開第２０１５/０７６２７７号
本技術の目的は、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送することにある。
本技術の概念は、
ハイフレームレートで超高解像度の画像データを処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像処理部は、
上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データである第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データである第２の画像データを得、
上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって上記第２の拡張フォーマットの画像データを得、
上記第２の画像データにダウンスケール処理を施して上記第１の拡張フォーマットの画像データを得ると共に、該第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって上記第３の拡張フォーマットの画像データを得る
送信装置にある。
本技術において、画像処理部により、ハイフレームレートおよび超高解像度の画像データが処理されて、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データが得られる。
ここで、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施すことで得られる。第２の拡張フォーマットの画像データは、基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとることで得られる。第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施すことで得られる。第３の拡張フォーマットの画像データは、第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとることで得られる。
画像符号化部により、基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームが生成される。例えば、画像符号化部は、基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、第１から第３の拡張フォーマットの画像データの符号化画像データをそれぞれ含む３つの拡張ビデオストリームまたは第１から第３の拡張フォーマットの画像データの符号化画像データの全てを含む１つの拡張ビデオストリームを生成する、ようにされてもよい。そして、送信部により、基本ストリームおよび所定数の拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。
このように本技術においては、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームが送信される。そのため、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送される。
例えば、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像の表示が可能となる。また、例えば、ハイフレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで高解像度の画像の表示が可能となる。また、例えば、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して基本フレームレートで超高解像度の画像の表示が可能となる。また、例えば、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで超高解像度の画像の表示が可能となる。
また、本技術においては、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施すことで得られたものである。そのため、受信側で基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像はストロービング効果が抑制された滑らかな画像となる。
なお、本技術において、例えば、第１の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、時間スケーラブルであることを示す識別情報を挿入し、第２の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、空間スケーラブルであることを示す識別情報を挿入し、第３の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、時間スケーラブルおよび空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この識別情報の挿入により、受信側では、各拡張フォーマットの画像データが空間スケーラブルにかかるものであるか時間スケーラブルに係るものであるかを容易に把握可能となる。
この場合、例えば、情報挿入部は、第２および第３の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報をさらに挿入する、ようにされてもよい。受信側では、この空間スケーラブルの比率を示す情報を用いることで、空間スケーラブルの処理を適切に行うことが可能となり、超高解像度の画像データを良好に得ることが可能となる。
また、この場合、情報挿入部は、第１および第３の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する、ようにされてもよい。この識別情報の挿入により、受信側では、基本フォーマットの画像データが混合処理を施して得られた画像データであることを容易に把握可能となる。
また、この場合、情報挿入部は、第１および第３の拡張フォーマットの画像データの符号化画像データに、および/またはこの符号化画像データに対応したコンテナ位置に、混合処理における比率情報（第１の比率の情報および第２の比率の情報）をさらに挿入する、ようにされてもよい。受信側では、この混合処理における比率情報を用いることで、時間スケーラブルの処理を適切に行うことが可能となり、ハイフレームレートの画像データを良好に得ることが可能となる。
また、本技術において、例えば、基本ビデオストリームと所定数の拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、このメタファイルにはスケーラビリティの対応を示す情報が挿入される、ようにされてもよい。受信側では、このようにメタファイルに挿入されるスケーラビリティの対応を示す情報から、スケーラビリティの対応を容易に認識でき、必要なストリームあるいは符号化画像データのみを取得して効率よく処理することが可能となる。
また、本技術の他の概念は、
基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施して得られたものであり、
上記第２の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施して得られたものであり、
上記第３の拡張フォーマットの画像データは、上記第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像後の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ビデオストリームと所定数の拡張ビデオストリーム含む所定フォーマットのコンテナが受信される。基本ビデオストリームは、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持っている。所定数の拡張ビデオストリームは、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを持っている。
ここで、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施すことで得られたものである。第２の拡張フォーマットの画像データは、基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとることで得られたものである。第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施すことで得られたものである。第３の拡張フォーマットの画像データは、第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとることで得られたものである。
処理部により、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像後の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データが得られる。
このように本技術においては、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得ることができる。すなわち、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像の表示が可能となり、下位互換を実現できる。
ここで、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施すことで得られたものである。そのため、基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像はストロービング効果が抑制された滑らかな画像となる。
また、基本ビデオストリームと所定数の拡張ビデオストリームの一部または全部のストリームを処理して、ハイフレームレートで高解像度の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得ることができる。すなわち、ハイフレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで高解像度の画像の表示が可能となる。
また、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して基本フレームレートで超高解像度の画像の表示が可能となる。また、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで超高解像度の画像の表示が可能となる。
なお、本技術において、例えば、第２および第３の拡張フォーマットの画像データの符号化画像データに、および/または、この符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、処理部は、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る場合、この挿入されている空間スケーラブルの比率を示す情報を用いる、ようにされてもよい。この場合、空間スケーラブルの処理を適切に行うことが可能となり、超高解像度の画像データを良好に得ることが可能となる。
また、本技術において、例えば、第１および第３の拡張フォーマットの画像データの符号化画像データに、および/または、この符号化画像データに対応したコンテナ位置に、第１の比率の情報および第２の比率の情報が挿入されており、処理部は、ハイフレームレートで高解像後の画像データまたはハイフレームレートで超高解像度の画像データを得る場合、この挿入されている第１の比率の情報および第２の比率の情報を用いる、ようにされてもよい。この場合、時間スケーラブルの処理を適切に行うことが可能となり、ハイフレームレートの画像データを良好に得ることが可能となる。
本技術によれば、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの構成例を示すブロック図である。 ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示す図である。 実施の形態としての送受信システムの構成例を示すブロック図である。 混合比によって変化するシャッタ開口率を説明するための図である。 サービス送信システムおよびサービス受信機の処理の概要を示す図である。 基本ビデオストリームＳＴｂと拡張ストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の４ストリーム構成の伝送の場合におけるストリーム構成例を示す図である。 ４ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示す図である。 トラックＢ、トラックＥ１、トラックＥ２、トラックＥ３の各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示す図である。 ＳＰＳ（ＶＰＳ）の要素の一例を示す図である。 基本ビデオストリームＳＴｂ、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の構成例を示す図である。 ビデオ・スケーラビリティ・ＳＥＩの構造例を示す図である。 ビデオ・スケーラビリティ・ＳＥＩの構造例における主要な情報の内容を示す図である。 ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例を示す図である。 ４ストリーム構成の伝送の場合におけるＭＰＤファイルの記述例を示す図であ 基本ビデオストリームＳＴｂと拡張ストリームＳＴｅの２ストリーム構成の伝送の場合におけるストリーム構成例を示す図である。 ２ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示す図である。 トラックＢ、トラックＥＨの各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示す図である。 ２ストリーム構成の伝送の場合におけるＭＰＤファイルの記述例を示す図である。 サービス送信システムの構成例を示すブロック図である。 ビデオエンコーダの構成を概略的に示す図である。 ビデオエンコーダにおけるプロセス１，２，３の処理を行う各信号処理部の部分を示す図である。 プロセス１の処理を行う信号処理部の構成例を示すブロック図である。 プロセス１の処理を行う信号処理部における入力データ（画像データＶａ）と出力データ（画像データＶｂ，Ｖｃ）との関係の一例を模式的に表す図である。 プロセス２，３の処理を行う信号処理部の構成例を示すブロック図である。 ハイフレームレートで超高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。 ビデオデコーダの構成を概略的に示す図である。 ビデオデコーダにおけるインバースプロセス１，２，３の処理を行う各信号処理部の部分を示す図である。 インバースプロセス２，３の処理を行う信号処理部の構成例を示すブロック図である。 インバースプロセス１の処理を行う信号処理部の構成例を示すブロック図である。 ハイフレームレートで高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。 基本フレームレートで超高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。 基本フレームレートで高解像度の動画像データを処理可能なサービス受信機の構成例を示すブロック図である。 ４ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示す図である。 ２ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示す図である。 ４ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示す図である。 ２ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要］
最初に、本技術を適用し得るＭＰＥＧ−ＤＡＳＨベースのストリーム配信システムの概要を説明する。
図１（ａ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ａの構成例を示している。この構成例では、メディアストリームとＭＰＤファイルが、通信ネットワーク伝送路（通信伝送路）を通じて送信される。このストリーム配信システム３０Ａは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に、Ｎ個のサービス受信機３３-1，３３-2，・・・，３３-Nが、ＣＤＮ（Content Delivery Network）３４を介して、接続された構成となっている。
ＤＡＳＨストリームファイルサーバ３１は、所定のコンテンツのメディアデータ（ビデオデータ、オーディオデータ、字幕データなど）に基づいて、ＤＡＳＨ仕様のストリームセグメント（以下、適宜、「ＤＡＳＨセグメント」という）を生成し、サービス受信機からのＨＴＴＰ要求に応じてセグメントを送出する。このＤＡＳＨストリームファイルサーバ３１は、ストリーミング専用のサーバであってもよいし、また、ウェブ（Web）サーバで兼用されることもある。
また、ＤＡＳＨストリームファイルサーバ３１は、サービス受信機３３（３３-1，３３-2，・・・，３３-N）からＣＤＮ３４を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、ＣＤＮ３４を介して、要求元の受信機に送信する。この場合、サービス受信機３３は、ＭＰＤ（Media Presentation Description）ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
ＤＡＳＨ ＭＰＤサーバ３２は、ＤＡＳＨストリームファイルサーバ３１において生成されるＤＡＳＨセグメントを取得するためのＭＰＤファイルを生成するサーバである。コンテンツマネジメントサーバ（図示せず）からのコンテンツメタデータと、ＤＡＳＨストリームファイルサーバ３１において生成されたセグメントのアドレス（url）をもとに、ＭＰＤファイルを生成する。なお、ＤＡＳＨストリームファイルサーバ３１とＤＡＳＨ ＭＰＤサーバ３２は、物理的に同じものであってもよい。
ＭＰＤのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション（Representation）という要素を利用して、それぞれの属性が記述される。例えば、ＭＰＤファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。サービス受信機３３では、そのレートの値を参考にして、上述したように、サービス受信機３３の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
図１（ｂ）は、ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム３０Ｂの構成例を示している。この構成例では、メディアストリームとＭＰＤファイルが、ＲＦ伝送路（放送伝送路）を通じて送信される。このストリーム配信システム３０Ｂは、ＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２が接続された放送送出システム３６と、Ｍ個のサービス受信機３５-1，３５-2，・・・，３５-Mとで構成されている。
このストリーム配信システム３０Ｂの場合、放送送出システム３６は、ＤＡＳＨストリームファイルサーバ３１で生成されるＤＡＳＨ仕様のストリームセグメント（ＤＡＳＨセグメント）およびＤＡＳＨ ＭＰＤサーバ３２で生成されるＭＰＤファイルを、放送波に載せて送信する。
図２は、ＭＰＤファイルに階層的に配置されている各構造体の関係の一例を示している。図２（ａ）に示すように、ＭＰＤファイル全体としてのメディア・プレゼンテーション（Media Presentation）には、時間間隔で区切られた複数のピリオド（Period）が存在する。例えば、最初のピリオドはスタートが０秒から、次のピリオドはスタートが１００秒から、などとなっている。
図２（ｂ）に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図２（ｃ）に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
図２（ｄ）に示すように、リプレゼンテーションには、セグメントインフォ（SegmentInfo）が含まれている。このセグメントインフォには、図２（e）に示すように、イニシャライゼーション・セグメント（Initialization Segment）と、ピリオドをさらに細かく区切ったセグメント（Segment）毎の情報が記述される複数のメディア・セグメント（Media Segment）が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
［送受信システムの構成例］
図３は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、サービス送信システム１００とサービス受信機２００により構成されている。この送受信システム１０において、サービス送信システム１００は、上述の図１（ａ）に示すストリーム配信システム３０ＡのＤＡＳＨストリームファイルサーバ３１およびＤＡＳＨ ＭＰＤサーバ３２に対応する。また、この送受信システム１０において、サービス送信システム１００は、上述の図１（ｂ）に示すストリーム配信システム３０ＢのＤＡＳＨストリームファイルサーバ３１、ＤＡＳＨ ＭＰＤサーバ３２および放送送出システム３６に対応する。
また、この送受信システム１０において、サービス受信機２００は、上述の図１（ａ）に示すストリーム配信システム３０Ａのサービス受信機３３（３３-1，３３-2，・・・，３３-N）に対応する。また、この送受信システム１０において、サービス受信機２００は、上述の図１（ｂ）に示すストリーム配信システム３０Ｂのサービス受信機３５（３５-1，３５-2，・・・，３５-M）に対応する。
サービス送信システム１００は、ＤＡＳＨ/ＭＰ４、つまりメタファイルとしてのＭＰＤファイルと、ビデオやオーディオなどのメディアストリーム（メディアセグメント）が含まれるＭＰ４を、通信ネットワーク伝送路（図１（ａ）参照）またはＲＦ伝送路（図１（ｂ）参照）を通じて、送信する。
この実施の形態において、メディアストリームは、ハイフレームレート（ＨＦＲ：High Frame Rate）で超高解像度（ＵＨＤ：Ultra High Definition）の画像データ（動画像データ）が処理されて得られた、基本ビデオストリームと、所定数、例えば３つまたは１つの拡張ビデオストリームである。ハイフレームレートで超高解像度の画像データは、例えば、１２０ｆｐｓで４Ｋ/８Ｋの画像データである。
基本ビデオストリームは、基本フレームレート（ノーマルフレームレート）で高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持っている。所定数の拡張ビデオストリームは、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データの符号化画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データの符号化画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを持っている。
ここで、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施すことで得られたものである。第２の拡張フォーマットの画像データは、基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとることで得られたものである。
また、第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施すことで得られたものである。第３の拡張フォーマットの画像データは、第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとることで得られたものである。
ここで、ハイフレームレートの画像データは、図４（ａ）に示すように、オリジナル画像シーケンス（高速シャッタ画像シーケンス）であるとする。図において、“Ａ” ，“Ｂ”は、それぞれ、時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データ、２番目のピクチャの画像データを示している。このオリジナル画像シーケンスのシャッタ開口率は１（１００％）である。図示しないが、このハイフレームレートの画像データから単に抽出される“Ａ”あるいは“Ｂ”の画像シーケンスのシャッタ開口率は１/２（５０％）である。
これに対して、図４（ｂ）〜（ｄ）に示すように、時間的に連続する２個のピクチャ単位で混合処理を施して得られた混合画像シーケンスのシャッタ開口率は、１/２（５０％）から１（１００％）までの間となる。図において、“Ｃ”は、２個のピクチャ単位で第１の比率で混合処理をして得られる基本フレームレートの画像データを示し、“Ｄ”は、２個のピクチャ単位で第２の比率で混合処理をして得られるハイフレームレートの拡張フレームの画像データを示している。ここでは、“Ｃ”の混合画像シーケンスに着目している。
例えば、図４（ｂ）に示すように、１番目のピクチャの係数αが１で、２番目のピクチャの係数βが０であるとき、混合画像シーケンスのシャッタ開口率は１/２（５０％）である。また、例えば、図４（ｃ）に示すように、１番目のピクチャの係数αが３/４で、２番目のピクチャの係数βが１/４であるとき、混合画像シーケンスのシャッタ開口率は３/４（７５％）である。また、例えば、図４（ｄ）に示すように、１番目のピクチャの係数αが１/２で、２番目のピクチャの係数βが１/２であるとき、混合画像シーケンスのシャッタ開口率は１（１００％）である。
第２および第３の拡張フォーマットの画像データの符号化画像データとこの符号化画像データに対応したコンテナ位置の一方または両方に、この実施の形態では両方に、空間スケーラブルであることを示す識別情報、さらにその空間スケーラブルの比率を示す情報が挿入される。この実施の形態において、これらの情報を持つＳＥＩ ＮＡＬユニットが第２および第３の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）に挿入され、また、これらの情報を持つデスクリプタがＭＰ４の第２および第３の拡張フォーマットの画像データに対応した“ｍｏｏｆ”のボックスに挿入される。受信側では、これらの情報により、第２および第３の拡張フォーマットの画像データが空間スケーラブルに係る画像データであること、さらに、その空間スケーラブルの比率を容易に認識可能となる。
第１および第３の拡張フォーマットの画像データの符号化画像データとこの符号化画像データに対応したコンテナ位置の一方または両方に、この実施の形態では両方に、時間スケーラブルであることを示す識別情報、さらに、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。
この実施の形態において、これらの情報を持つＳＥＩ ＮＡＬユニットが第１および第３の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）に挿入され、また、これらの情報を持つデスクリプタがＭＰ４の第２の拡張フォーマットの画像データに対応した“ｍｏｏｆ”のボックスに挿入される。受信側では、これらの情報により、第１および第３の拡張フォーマットの画像データが時間スケーラブルに係る画像データであること、さらに、基本フォーマットの画像データが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）を容易に認識可能となる。
また、この実施の形態において、ＭＰＤファイルに、スケーラビリティの対応を示す情報が挿入される。すなわち、基本フォーマットの画像データの上に第１の拡張フォーマットの画像データを用いた拡張によりハイフレームレートで高解像度の画像データが得られることが示される。また、基本フォーマットの画像データの上に第２の拡張フォーマットの画像データを用いた拡張により基本フレームレートで超高解像度の画像データが得られることが示される。また、基本フォーマットの画像データの上に、第１、第２、第３の拡張フォーマットの画像データを用いた拡張によりハイフレームレートで超高解像度の画像データが得られることが示される。受信側では、この情報により、スケーラビリティの対応を容易に認識でき、必要なストリームあるいは符号化画像データのみを取得して効率よく処理することが可能となる。
サービス受信機２００は、サービス送信システム１００から通信ネットワーク伝送路（図１（ａ）参照）またはＲＦ伝送路（図１（ｂ）参照）を通じて送られてくる上述のＭＰ４を受信する。サービス受信機２００は、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して、基本フレームレートで高解像度の画像データを得て、画像再生を行う。また、ハイフレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ビデオストリーム（第１の拡張フォーマットの画像データ）の双方を処理して、ハイフレームレートで高解像度の画像データを得て、画像再生を行う。
また、サービス受信機２００は、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ビデオストリーム（第２の拡張フォーマットの画像データ）の双方を処理して、基本フレームレートで超高解像度の画像データを得て、画像再生を行う。さらに、サービス受信機２００は、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ビデオストリーム（第１、第２、第３の拡張フォーマットの画像データ）の双方を処理して、ハイフレームレートで超高解像度の画像データを得て、画像再生を行う。
サービス受信機２００は、第２、第３の拡張フォーマットの画像データを用いた空間スケーラブルの処理を行う場合、第２、第３の拡張フォーマットの画像データの符号化画像データやその符号化画像データに対応したコンテナ位置に挿入されている空間スケーラブルの比率を示す情報を用いる。これにより、サービス受信機２００は、空間スケーラブルの処理を適切に行うことが可能となる。
また、サービス受信機２００は、第１、第３の拡張フォーマットの画像データを用いた時間スケーラブルの処理を行う場合、第１、第３の拡張フォーマットの画像データの符号化画像データやこの符号化画像データに対応したコンテナ位置に挿入されている混合比率（第１、第２の比率）の情報を用いる。これにより、サービス受信機２００は、時間スケーラブルの処理を適切に行うことが可能となる。
図５は、サービス送信システム１００およびサービス受信機２００の処理の概要を示している。サービス送信システム１００には、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データ「HFR/UHD video」が入力される。このサービス送信システム１００では、ビデオエンコーダ１０２で画像データ「HFR/UHD video」が処理されて、基本ビデオストリームＳＴｂと、３つの拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと、１つの拡張ビデオストリームＳＴｅが得られ、送信される。
ここで、基本ビデオストリームＳＴｂは、基本フレームレート（ＬＦＲ）で高解像度（ＨＤ）の画像を得るための基本フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅ１は、ハイフレームレート（ＨＦＲ）で高解像度（ＨＤ）の画像を得るための第１の拡張フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅ２は、基本フレームレート（ＬＦＲ）で超高解像度（ＵＨＤ）の画像を得るための第２の拡張フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅ３は、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを持っている。拡張ビデオストリームＳＴｅは、第１、第２、第３の拡張フォーマットの画像データの符号化画像データを持っている。
ハイフレームレートで超高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ａでは、ビデオデコーダ２０３Ａにおいて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、ハイフレームレートで超高解像度の画像データ「HFR/UHD video」が得られて、画像再生される。
また、ハイフレームレートで高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ｂでは、ビデオデコーダ２０３Ｂにおいて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、ハイフレームレートで高解像度の画像データ「HFR/HD video」が得られて、画像再生される。
また、基本フレームレートで超高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ｃでは、ビデオデコーダ２０３Ｃにおいて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、基本フレームレートで超高解像度の画像データ「LFR/UHD video」が得られて、画像再生される。
また、基本フレームレートで高解像度の画像データを処理可能なデコード能力があるサービス受信機２００Ｄでは、ビデオデコーダ２０３Ｄにおいて、基本ビデオストリームＳＴｂが処理されて、基本フレームレートで高解像度の画像データ「LFR/HD video」が得られて、画像再生される。
図６は、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３の４ストリーム構成の伝送の場合におけるストリーム構成例を示している。図示の例では、ハイフレームレートが１２０Ｈｚである場合を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
最下段に、レイヤリングＩＤ（layering_id）が“０”である基本ビデオストリームＳＴｂに含まれる基本フォーマットの画像データ「HD 60Hz Base」のシーケンスが存在している。この画像データ「HD 60Hz Base」のレイヤＩＤ（Layer_id）は“０”である。
その上段に、レイヤリングＩＤ（layering_id）が“１”である拡張ビデオストリームＳＴｅ１に含まれる第１の拡張フォーマットの画像データ「HD HFR Enhanced1」のシーケンスが存在している。この「HD HFR Enhanced1」は、画像データ「HD 60Hz Base」に対しての時間方向のスケーラビリティである。この画像データ「HD HFR Enhanced1」のレイヤＩＤ（Layer_id）は“０”である。
その上段に、レイヤリングＩＤ（layering_id）が“２”である拡張ビデオストリームＳＴｅ２に含まれる第２の拡張フォーマットの画像データ「UHD 60Hz Enhanced2」のシーケンスが存在している。この「UHD 60Hz Enhanced2」は、画像データ「HD 60Hz Base」に対しての空間方向のスケーラビリティである。この画像データ「UHD 60Hz Enhanced2」のレイヤＩＤ（Layer_id）は“１”である。
その上段に、レイヤリングＩＤ（layering_id）が“３”である拡張ビデオストリームＳＴｅ３に含まれる第３の拡張フォーマットの画像データ「UHD HFR Enhanced3」のシーケンスが存在している。この「UHD HFR Enhanced3」は、画像データ「UHD 60Hz Enhanced2」に対しての時間方向のスケーラビリティであると共に、画像データ「HD HFR Enhanced1」に対しての空間方向のスケーラビリティである。この画像データ「UHD HFR Enhanced3」のレイヤＩＤ（Layer_id）は“１”である。
基本フォーマットの画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ ＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」および第１の拡張フォーマットの画像データ「HD HFR Enhanced1」に基づいて、ハイフレームレートで高解像度（ＨＤ）の画像（１２０Ｈｚ ＨＤ画像）の再生が可能である。
また、基本フォーマットの画像データ「HD 60Hz Base」および第２の拡張フォーマットの画像データ「UHD 60Hz Enhanced2」に基づいて、基本フレームレートで超高解像度（ＵＨＤ）の画像（６０Ｈｚ ＵＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」、第１の拡張フォーマットの画像データ「HD HFR Enhanced1」、第２の拡張フォーマットの画像データ「UHD 60Hz Enhanced2」および第３の拡張フォーマットの画像データ「UHD HFR Enhanced3」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ）の画像（１２０Ｈｚ ＵＨＤ画像）の再生が可能である。
図７は、４ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示している。この場合、基本ビデオストリームＳＴｂ（Base stream）に対応したトラックＢ（Track B）と、拡張ビデオストリームＳＴｅ１（Enhanced1 stream）に対応したトラックＥ１（Track E1）と、拡張ビデオストリームＳＴｅ２（Enhanced2 stream）に対応したトラックＥ２（Track E2）と、拡張ビデオストリームＳＴｅ３（Enhanced3 stream）に対応したトラックＥ３（Track E3）が存在する。
矩形枠のそれぞれがピクチャを示し、矢印は、スケーラビリティの対応を示している。すなわち、トラックＢに含まれる基本フォーマットの画像データの上にトラックＥ１に含まれる第１の拡張フォーマットの画像データを用いた時間スケーラブルの拡張により、ハイフレームレートで高解像度（ＨＤ）の画像、つまり１２０Ｈｚ ＨＤ画像の画像データが得られる。また、トラックＢに含まれる基本フォーマットの画像データの上にトラックＥ２に含まれる第２の拡張フォーマットの画像データを用いた空間スケーラブルの拡張により、基本フレームレートで超高解像度（ＵＨＤ）の画像、つまり６０Ｈｚ ＵＨＤ画像の画像データが得られる。
また、トラックＢに含まれる基本フォーマットの画像データの上に、トラックＥ１に含まれる第１の拡張フォーマットの画像データ、トラックＥ２に含まれる第２の拡張フォーマットの画像データおよびトラックＥ３に含まれる第３の拡張フォーマットの画像データを用いた空間スケーラブル、時間スケーラブルの拡張により、ハイフレームレートで超高解像度（ＵＨＤ）の画像、つまり１２０Ｈｚ ＵＨＤ画像の画像データが得られる。
図８は、トラックＢ、トラックＥ１、トラックＥ２、トラックＥ３の各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示している。図示の例は、フラグメンテッドＭＰ４（Fragmented MP4）の場合の例である。ＭＰ４ストリームには、制御情報が入る“ｍｏｏｆ”ボックスとメディアデータ本体が入る“ｍｄａｔ”ボックスから構成されるムービーフラグメント（Movie Fragment）が所定個数配置される。“ｍｄａｔ”ボックスには、トラックデータが断片化されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。なお、詳細説明は省略するが、トラック間に跨る予測参照関係は、エクストラクタ（extractor）というＮＡＬタイプ（NAL type）のパケットをアクセスユニットごとにトラックに配置することで定義される。
トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、基本フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
図９は、ＳＰＳ（ＶＰＳ）の要素の一例を示している。この例は、基本ビデオストリームＳＴｂ、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３が、図１０に示すような構成とされている場合の例である。「general_level_idc」の値は“１５６”とされ、拡張ビデオストリームＳＴｅ３，ＳＴｅ２，ＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベル（スケーラブルの符号化の画素レートの複雑差）が“ｌｅｖｅｌ ５．２”であることが示される。また、「general_profile_idc」の値は“７”とされ、このストリーム全体のプロファイル（スケーラブルの符号化のタイプ）が“Scalable Main 10 Profile”であることが示される。
また、「sublayer_level_present_flag[j-1]」は“１”とされ、「sublayer_level_idc[j-1]」の値は“１５３”とされ、「sublayer_profile_idc[j-1]」は“７”とされる。これにより、拡張ビデオストリームＳＴｅ２，ＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルが“ｌｅｖｅｌ ５．１”であることが示され、そのプロファイルが“Scalable Main 10 Profile”であることが示される。
また、「sublayer_level_present_flag[j-2]」は“１”とされ、「sublayer_level_idc[j-2]」の値は“１２６”とされ、「sublayer_profile_idc[j-2]」は“２”とされる。これにより、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルが“ｌｅｖｅｌ ４．２”であることが示され、そのプロファイルが“Main 10 Profile”であることが示される。
また、「sublayer_level_present_flag[j-3]」は“１”とされ、「sublayer_level_idc[j-3]」の値は“１２３”とされ、「sublayer_profile_idc[j-3]」は“２”とされる。これにより、基本ビデオストリームＳＴｂのレベルが“ｌｅｖｅｌ ４．１”であることが示され、そのプロファイルが“Main 10 Profile”であることが示される。
図８に戻って、トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
「tllevel_idc」は、基本ビデオストリームＳＴｂのレベルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_level_idc[j-3]」と一致させる。ここでは、「tllevel_idc」は“１２３”とされる。「Tlprofile」は、基本ビデオストリームＳＴｂのプロファイルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_profile_idc[j-3]」と一致させる。ここでは、「Tlprofile」は“２”とされる。
トラックＥ１に対応したＭＰ４ストリーム「video-enhanced1subset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第１の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
トラックＥ１に対応したＭＰ４ストリーム「video-enhanced1subset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
「tllevel_idc」は、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_level_idc[j-2]」と一致させる。ここでは、「tllevel_idc」は“１２６”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_profile_idc[j-2]」と一致させる。ここでは、「Tlprofile」は“２”とされる。
トラックＥ２に対応したＭＰ４ストリーム「video-enhanced2subset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第２の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
トラックＥ２に対応したＭＰ４ストリーム「video-enhanced2subset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
「tllevel_idc」は、拡張ビデオストリームＳＴｅ２，ＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_level_idc[j-1」と一致させる。ここでは、「tllevel_idc」は“１５３”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ２，ＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_profile_idc[j-1]」と一致させる。ここでは、「Tlprofile」は“７”とされる。
トラックＥ３に対応したＭＰ４ストリーム「video-enhanced3subset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第３の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
トラックＥ３に対応したＭＰ４ストリーム「video- enhanced3subset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
「tllevel_idc」は、拡張ビデオストリームＳＴｅ３，ＳＴｅ２，ＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「general_level_idc」と一致させる。ここでは、「tllevel_idc」は“１５６”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ３，ＳＴｅ２，ＳＴｅ１、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、上述のＳＰＳ（あるいはＶＰＳ）の要素の「general_profile_idc」と一致させる。ここでは、「Tlprofile」は“７”とされる。
トラックＥ１に対応したＭＰ４ストリーム「video-enhanced1subset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第１の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報をを持つＳＥＩ ＮＡＬユニットが挿入される。この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（video_scalability_SEI）が挿入される。
トラックＥ２に対応したＭＰ４ストリーム「video-enhanced2subset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第２の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。各アクセスユニットに、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報を持つＳＥＩ ＮＡＬユニットが挿入される。この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（video_scalability_SEI）が挿入される。
また、トラックＥ３に対応したＭＰ４ストリーム「video-enhanced3subset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第３の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報を持つＳＥＩ ＮＡＬユニットが挿入される。この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（video_scalability_SEI）が挿入される。
図１１は、ビデオ・スケーラビリティ・ＳＥＩの構造例(Syntax)を示し、図１２は、その構造例における主要な情報の内容（Semantics）を示している。「temporal_scalable_flag」の１ビットフィールドは、時間スケーラブルのストリームであるかを示す。例えば、“１”は時間スケーラブルであることを示し、“０”は時間スケーラブルでないことを示す。
第１の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「temporal_scalable_flag」は“１”に設定され、時間スケーラブルのストリームであることが示される。第２の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「temporal_scalable_flag」は“０”に設定され、時間スケーラブルのストリームでないことが示される。また、第３の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「temporal_scalable_flag」は“１”に設定され、時間スケーラブルのストリームであることが示される。
「spatial_scalable_flag」の１ビットフィールドは、空間スケーラブルのストリームであるかを示す。例えば、“１”は空間スケーラブルであることを示し、“０”は空間スケーラブルでないことを示す。
第１の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「spatial_scalable_flag」は“０”に設定され、空間スケーラブルのストリームでないことが示される。第２の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「spatial_scalable_flag」は“１”に設定され、空間スケーラブルのストリームであることが示される。また、第３の拡張フォーマットの画像データのアクセスユニットに挿入されるビデオ・スケーラビリティ・ＳＥＩにあっては、「spatial_scalable_flag」は“１”に設定され、空間スケーラブルのストリームであることが示される。
「spatial_scalable_flag」が“１”であるとき、「scaling_ratio」の３ビットフィールドが存在する。このフィールドは、空間スケーラブルの比率、つまり基本と拡張の１次元方向の拡大比率を示す。例えば、“００１”は２倍を示し、“０１０”は３倍を示し、“０１１”は４倍を示す。例えば、超高解像度（ＵＨＤ）が４Ｋ解像度であるとき、「scaling_ratio」は“００１”に設定され、超高解像度（ＵＨＤ）が８Ｋ解像度であるとき、「scaling_ratio」は“０１１”に設定さる。
「temporal_scalable_flag」が“１”であるとき、「picture_blending_flag」の１ビットフィールドが存在する。このフィールドは、基本ストリーム（基本フォーマットの画像データ）にピクチャの混合処理がなされているかを示す。例えば、“１”は混合処理がなされていることを示し、“０”は混合処理がなされていないことを示す。
「picture_blending_flag」が“１”であるとき、混合比率（第１、第２の比率）を示すフィールド、すなわち、「blend_coef_alpha_alternatte_picture」、「blend_coef_beta_alternate_picture」、「blend_coef_alpha_current_picture」、「blend_coef_beta_current_picture」の各３ビットフィールドが存在する。
「blend_coef_alpha_alternatte_picture」のフィールドは、基本レイヤのピクチャに乗ずる係数（後述の係数ｐに対応）である。「blend_coef_beta_alternate_picture」のフィールドは、現在のピクチャ（拡張ストリーム中）に乗ずる係数（後述の係数ｒに対応）である。「blend_coef_alpha_current_picture」のフィールドは、拡張レイヤのピクチャに乗ずる係数（後述の係数ｑに対応）である。「blend_coef_beta_current_picture」のフィールドは、現在のピクチャ（拡張ストリーム中）に乗ずる係数（後述の係数ｓに対応）である。
図８に戻って、トラックＥ１に対応したＭＰ４ストリーム「video-enhanced1subset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックスに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_information_descriptor）のシンタクス（Syntax）が伝送される。
トラックＥ２に対応したＭＰ４ストリーム「video-enhanced2subset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックスに、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_information_descriptor）のシンタクス（Syntax）が伝送される。
また、トラックＥ３に対応したＭＰ４ストリーム「video-enhanced3subset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックスに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_ information_descriptor）のシンタクス（Syntax）が伝送される。
図１３は、ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例(Syntax)を示している。なお、この構造例における主要な情報の内容（Semantics）は、上述したビデオ・スケーラビリティ・ＳＥＩと同様であるので、その説明は省略する。
図１４は、４ストリーム構成の伝送の場合（図６参照）におけるＭＰＤファイルの記述例を示している。このＭＰＤファイルには、基本ビデオストリームＳＴｂ（Base stream）、拡張ビデオストリームＳＴｅ１（Enhanced1 stream）、拡張ビデオストリームＳＴｅ２（Enhanced2 stream）および拡張ビデオストリームＳＴｅ３（Enhanced3 stream）にそれぞれ対応したリプレゼンテーション（Representation）が存在する。
基本ビデオストリームＳＴｂ（HD Base stream）に関連したリプレゼンテーションにおいて、「framerate = “60”」、「codecs = "hev1.A.L123,xx"」、「id = “tag0」の記述が存在する。「framerate=“60”& L123 with no dependencyid」は、２Ｋ ６０Ｐの基本ストリームを示し、「“A”」は「Main 10 Profile」を示す、２の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-3]」、「sublayer_profile_idc[j-3]」と一致している。因みに、「sublayer_profile_idc[j-3]」＝「Main 10 Profile」であり、「sublayer_level_idc[j-3]」＝“level 4.1”＝“123”である。また、「<BaseURL>video-basesubbitstream.mp4</BaseURL>」の記述により、基本ビデオストリームＳＴｂ（Base stream）のロケーション先が、「video-basesubbitstream.mp4」として示されている。
拡張ビデオストリームＳＴｅ１（Enhanced1 stream）に関連したリプレゼンテーションにおいて、「framerate = “120”」、「codecs = "hev1.B.L126,xx"」、「id = “tag1」の記述が存在する。「framerate=“120”& L126 with dependencyid tagged tag0」は、２Ｋ １２０Ｐのストリームを実現することを示し、「“B”」は「Main 10 Profile」を示す、２の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（あるいはＶＰＳ）の要素の「sublayer_level_idc[j-2]」、「sublayer_profile_idc[j-2]」と一致している。因みに、「sublayer_profile_idc[j-2]」＝「Main 10 Profile」であり、「sublayer_level_idc[j-2]」＝“level 4.2”＝“126”である。また、「<BaseURL>video-enhanced1subset.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ１（Enhanced1 stream）のロケーション先が、「video-enhanced1subset.mp4」として示されている。
拡張ビデオストリームＳＴｅ２（Enhanced2 stream）に関連したリプレゼンテーションにおいて、「framerate=“60”」、「codecs="hev1.C.L153,xx"」、「id = “tag2」、「dependencyid = “tag0”」の記述が存在する。「Framerate=“60” & L153 with dependencyid tagged tag0」は、基本ストリームの上に拡張により４Ｋ ６０Ｐのストリームを実現することを示し、「“C”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」、「sublayer_profile_idc[j-1]」と一致している。因みに、「sublayer_profile_idc[j-1]」＝「Scalable Main 10 Profile」であり、「sublayer_level_idc[j-1]」＝“level 5.1”＝“153”である。また、「<BaseURL>video-enhanced2subset.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ２（Enhanced2 stream）のロケーション先が、「video-enhanced2subset.mp4」として示されている。
拡張ビデオストリームＳＴｅ３（Enhanced3 stream）に関連したリプレゼンテーションにおいて、「framerate=“120”」、「codecs="hev1.D.L156,xx"」、「id = “tag3」、「dependencyid = “tag0,tag1,tag2”」の記述が存在する。「framerate=“120” & L156 with dependencyid tagged tag0,tag1,tag2」は、基本ストリームの上に２Ｋ １２０Ｐで拡張し、さらにその上に拡張成分を加えて４Ｋ １２０Ｐのストリームを実現することを示し、「“D”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「general_level_idc」、「general_profile_idc」と一致している。因みに、「general_level_idc」＝「Scalable Main 10 Profile」であり、「general_level_idc」＝“level 5.2”＝“156”である。また、「<BaseURL>video-enhanced3subset.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ３（Enhanced3 stream）のロケーション先が、「video- enhanced3subset.mp4」として示されている。
このようにＭＰＤファイルには、スケーラビリティの対応を示す情報が挿入されており、空間スケーラビリティ、そして時間スケーラビリティを同時に実現することが示されている。
図１５は、基本ビデオストリームＳＴｂと拡張ストリームＳＴｅの２ストリーム構成の伝送の場合におけるストリーム構成例を示している。図示の例では、ハイフレームレートが１２０Ｈｚである場合を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
最下段に、レイヤリングＩＤ（layering_id）が“０”である基本ビデオストリームＳＴｂに含まれる基本フォーマットの画像データ「HD 60Hz Base」のシーケンスが存在している。この画像データ「HD 60Hz Base」のレイヤＩＤ（Layer_id）は“０”である。
その上段に、拡張ビデオストリームＳＴｅに含まれる、レイヤリングＩＤ（layering_id）が“１”である第１の拡張フォーマットの画像データ「HD HFR Enhanced1」のシーケンスが存在している。この「HD HFR Enhanced1」は、画像データ「HD 60Hz Base」に対しての時間方向のスケーラビリティである。この画像データ「HD HFR Enhanced1」のレイヤＩＤ（Layer_id）は“０”である。
その上段に、拡張ビデオストリームＳＴｅに含まれる、レイヤリングＩＤ（layering_id）が“２”である第２の拡張フォーマットの画像データ「UHD 60Hz Enhanced2」のシーケンスが存在している。この「UHD 60Hz Enhanced2」は、画像データ「HD 60Hz Base」に対しての空間方向のスケーラビリティである。この画像データ「UHD 60Hz Enhanced2」のレイヤＩＤ（Layer_id）は“１”である。また、この画像データ「UHD 60Hz Enhanced2」のテンポラルＩＤ（Temporal_id）は、所定の閾値ＴＨ以下とされる。
その上段に、拡張ビデオストリームＳＴｅに含まれる、レイヤリングＩＤ（layering_id）が“３”である第３の拡張フォーマットの画像データ「UHD HFR Enhanced3」のシーケンスが存在している。この「UHD HFR Enhanced3」は、画像データ「UHD 60Hz Enhanced2」に対しての時間方向のスケーラビリティであると共に、画像データ「HD HFR Enhanced1」に対しての空間方向のスケーラビリティである。この画像データ「UHD HFR Enhanced3」のレイヤＩＤ（Layer_id）は“１”である。また、この画像データ「UHD HFR Enhanced3」のテンポラルＩＤ（Temporal_id）は、所定の閾値ＴＨより大きくされる。
上述したように、画像データ「UHD 60Hz Enhanced2」のテンポラルＩＤは閾値ＴＨ以下とされ、一方、画像データ「UHD HFR Enhanced3」のテンポラルＩＤは閾値ＴＨより大きくされる。これにより、テンポラルＩＤが閾値ＴＨ以下であるか否かで、画像データ「UHD 60Hz Enhanced2」と画像データ「UHD HFR Enhanced3」の区別をすることが可能となる。
基本フォーマットの画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ ＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」および第１の拡張フォーマットの画像データ「HD HFR Enhanced1」に基づいて、ハイフレームレートで高解像度（ＨＤ）の画像（１２０Ｈｚ ＨＤ画像）の再生が可能である。
また、基本フォーマットの画像データ「HD 60Hz Base」および第２の拡張フォーマットの画像データ「UHD 60Hz Enhanced2」に基づいて、基本フレームレートで超高解像度（ＵＨＤ）の画像（６０Ｈｚ ＵＨＤ画像）の再生が可能である。また、基本フォーマットの画像データ「HD 60Hz Base」、第１の拡張フォーマットの画像データ「HD HFR Enhanced1」、第２の拡張フォーマットの画像データ「UHD 60Hz Enhanced2」および第３の拡張フォーマットの画像データ「UHD HFR Enhanced3」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ）の画像（１２０Ｈｚ ＵＨＤ画像）の再生が可能である。
図１６は、２ストリーム構成の伝送の場合におけるＤＡＳＨ/ＭＰ４のトラック構成を示している。この場合、基本ビデオストリームＳＴｂ（Base stream）に対応したトラックＢ（Track B）と、拡張ビデオストリーム（Enhanced stream）に対応したトラックＥＨ（Track EH）が存在する。
矩形枠のそれぞれがピクチャを示し、矢印は、スケーラビリティの対応を示している。すなわち、トラックＢに含まれる基本フォーマットの画像データの上にトラックＥＨに含まれる第１の拡張フォーマットの画像データを用いた時間スケーラブルの拡張により、ハイフレームレートで高解像度（ＨＤ）の画像、つまり１２０Ｈｚ ＨＤ画像の画像データが得られる。また、トラックＢに含まれる基本フォーマットの画像データの上にトラックＥＨに含まれる第２の拡張フォーマットの画像データを用いた空間スケーラブルの拡張により、基本フレームレートで超高解像度（ＵＨＤ）の画像、つまり６０Ｈｚ ＵＨＤ画像の画像データが得られる。
また、トラックＢに含まれる基本フォーマットの画像データの上に、トラックＥＨに含まれる第１、第２および第３の拡張フォーマットの画像データを用いた空間スケーラブル、時間スケーラブルの拡張により、ハイフレームレートで超高解像度（ＵＨＤ）の画像、つまり１２０Ｈｚ ＵＨＤ画像の画像データが得られる。
図１７は、トラックＢ、トラックＥＨの各トラックのデータを含むＭＰ４ストリーム（ファイル）の構成例を示している。図示の例は、フラグメンテッドＭＰ４（Fragmented MP4）の場合の例である。ＭＰ４ストリームには、制御情報が入る“ｍｏｏｆ”ボックスとメディアデータ本体が入る“ｍｄａｔ”ボックスから構成されるムービーフラグメント（Movie Fragment）が所定個数配置される。“ｍｄａｔ”ボックスには、トラックデータが断片化されて得られた断片が入るので、“ｍｏｏｆ”ボックスに入る制御情報はその断片に関する制御情報となる。なお、詳細説明は省略するが、トラック間に跨る予測参照関係は、エクストラクタ（extractor）というＮＡＬタイプ（NAL type）のパケットをアクセスユニットごとにトラックに配置することで定義される。
トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、基本フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。なお、「ＶＰＳ」、「ＳＰＳ」は、例えば、ＧＯＰの先頭ピクチャに挿入される。
トラックＢに対応したＭＰ４ストリーム「video-basesubbitstream」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
「tllevel_idc」は、基本ビデオストリームＳＴｂのレベルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-3]」と一致させる。ここでは、「tllevel_idc」は“１２３”とされる。「Tlprofile」は、基本ビデオストリームＳＴｂのプロファイルを示し、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-3]」と一致させる。ここでは、「Tlprofile」は“２”とされる。
トラックＥＨに対応したＭＰ４ストリーム「video-enhancedsubset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、第１の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）、第２の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）あるいは、第３の拡張フォーマットの画像データの符号化画像データ（アクセスユニット）が所定ピクチャ数分、例えば１ＧＯＰ分だけ配置される。ここで、各アクセスユニットは、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」などのＮＡＬユニットにより構成される。
トラックＥＨに対応したＭＰ４ストリーム「video- enhancedsubset」において、各ムービーフラグメントの“ｍｏｏｆ”ボックス内に“ｔｒａｆ”ボックスが存在し、そのボックス内に“ｔｆｄｔ”ボックスが存在する。この“ｔｆｄｔ”ボックスに、“ｍｏｏｆ”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“ｍｏｏｆ”ボックス内に“ｔｆｄｔ”ボックスが存在し、その内に“ｓｇｐｄ”ボックスが存在し、さらに、その内に“ｔｓｃｌ”ボックスが存在する。この“ｔｓｃｌ”ボックスに、「temporalLayerId」、「tllevel_idc」、「Tlprofile」、「tlConstantFrameRate」の４つのパラメータの記載がある。「temporalLayerId」は、テンポラルＩＤ（temporal_id）を示す。「tlConstantFrameRate」は“１”とされることで、フレームレートがコンスタントであることを示す。
第１の拡張フォーマットの画像データに対応した各ムービーフラグメントの“ｍｏｏｆ”ボックスにおいて、「tllevel_idc」は、第１の拡張ビデオストリーム（第１の拡張フォーマットの画像データのアクセスユニットで構成される）、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、ＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-2]」と一致させる。ここでは、「tllevel_idc」は“１２６”とされる。「Tlprofile」は、第１の拡張ビデオストリーム、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、ＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-2]」と一致させる。ここでは、「Tlprofile」は“２”とされる。
第２の拡張フォーマットの画像データに対応した各ムービーフラグメントの“ｍｏｏｆ”ボックスにおいて、「tllevel_idc」は、第２の拡張ビデオストリーム（第２の拡張フォーマットの画像データのアクセスユニットで構成される）、第１の拡張ビデオストリーム（第１の拡張フォーマットの画像データのアクセスユニットで構成される）、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、ＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」と一致させる。ここでは、「tllevel_idc」は“１５３”とされる。「Tlprofile」は、第２の拡張ビデオストリーム、第１の拡張ビデオストリーム、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、ＳＰＳ（ＶＰＳ）の要素の「sublayer_profile_idc[j-1]」と一致させる。ここでは、「Tlprofile」は“７”とされる。
また、第３の拡張フォーマットの画像データに対応した各ムービーフラグメントの“ｍｏｏｆ”ボックスにおいて、「tllevel_idc」は、拡張ビデオストリームＳＴｅ、基本ビデオストリームＳＴｂのストリーム全体のレベルを示し、ＳＰＳ（ＶＰＳ）の要素の「general_level_idc」と一致させる。ここでは、「tllevel_idc」は“１５６”とされる。「Tlprofile」は、拡張ビデオストリームＳＴｅ、基本ビデオストリームＳＴｂのストリーム全体のプロファイルを示し、ＳＰＳ（ＶＰＳ）の要素の「general_profile_idc」と一致させる。ここでは、「Tlprofile」は“７”とされる。
トラックＥＨに対応したＭＰ４ストリーム「video-enhancedsubset」において、各ムービーフラグメントの“ｍｄａｔ”ボックスには、上述したように第１の拡張フォーマットの画像データのアクセスユニット、第２の拡張フォーマットの画像データのアクセスユニット、あるいは第３の拡張フォーマットの画像データのアクセスユニットが所定ピクチャ数分だけ配置される。
第１の拡張フォーマットの画像データの各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報を持つＳＥＩ ＮＡＬユニットが挿入される。また、第２の拡張フォーマットの画像データの各アクセスユニットに、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報を持つＳＥＩ ＮＡＬユニットが挿入される。
また、第３の拡張フォーマットの画像データの各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報を持つＳＥＩ ＮＡＬユニットが挿入される。
この実施の形態においては、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ビデオ・スケーラビリティ・ＳＥＩ（図１１参照）が挿入される。
トラックＥＨに対応したＭＰ４ストリーム「video-enhancedsubset」において、第１の拡張フォーマットの画像データのアクセスユニットを持つ“ｍｄａｔ”に対応した“ｍｏｏｆ”ボックスに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。
また、トラックＥＨに対応したＭＰ４ストリーム「video-enhancedsubset」において、第２の拡張フォーマットの画像データのアクセスユニットを持つ“ｍｄａｔ”に対応した“ｍｏｏｆ”ボックスに、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
また、トラックＥＨに対応したＭＰ４ストリーム「video- enhancedsubset」において、第３の拡張フォーマットの画像データのアクセスユニットを持つ“ｍｄａｔ”に対応した“ｍｏｏｆ”ボックスに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
この実施の形態においては、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）のシンタクスが伝送される。
図１８は、２ストリーム構成の伝送の場合（図１５参照）におけるＭＰＤファイルの記述例を示している。このＭＰＤファイルには、基本ビデオストリームＳＴｂ（Base stream）、拡張ビデオストリームＳＴｅ（Enhanced stream）にそれぞれ対応したリプレゼンテーション（Representation）が存在する。さらに、拡張ビデオストリームＳＴｅのリプレゼンテーションの中に、第１、第２、第３の拡張ビデオストリーム（第１、第２、第３の拡張フォーマットの画像データのアクセスユニットで構成される）にそれぞれ対応したサブリプレゼンテーション（Subrepresentation）が存在する
基本ビデオストリームＳＴｂ（HD Base stream）に関連したリプレゼンテーションにおいて、「framerate = “60”」、「codecs = "hev1.A.L123,xx"」、「id = “tag0」の記述が存在する。「framerate=“60”& L123 with no dependencyid」は、２Ｋ ６０Ｐの基本ストリームを示し、「“A”」は「Main 10 Profile」を示す、２の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-3]」、「sublayer_profile_idc[j-3]」と一致している。因みに、「sublayer_profile_idc[j-3]」＝「Main 10 Profile」であり、「sublayer_level_idc[j-3]」＝“level 4.1”＝“123”である。また、「<BaseURL>video-basesubbitstream.mp4</BaseURL>」の記述により、基本ビデオストリームＳＴｂ（HD Base stream）のロケーション先が、「video-basesubbitstream.mp4」として示されている。
第１の拡張ビデオストリームに関連したサブリプレゼンテーションにおいて、「framerate = “120”」、「codecs = "hev1.B.L126,xx"」、「id = “tag1」の記述が存在する。「framerate=“120”& L126 with dependencyid tagged tag0」は、２Ｋ １２０Ｐのストリームを実現することを示し、「“B”」は「Main 10 Profile」を示す、２の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-2]」、「sublayer_profile_idc[j-2]」と一致している。因みに、「sublayer_profile_idc[j-2]」＝「Main 10 Profile」であり、「sublayer_level_idc[j-2]」＝“level 4.2”＝“126”である。
第２の拡張ビデオストリームに関連したサブリプレゼンテーションにおいて、「framerate=“60”」、「codecs="hev1.C.L153,xx"」、「id = “tag2」、「dependencyid = “tag0”」の記述が存在する。「Framerate=“60” & L153 with dependencyid tagged tag0」は、基本ストリームの上に拡張により４Ｋ ６０Ｐのストリームを実現することを示し、「“C”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「sublayer_level_idc[j-1]」、「sublayer_profile_idc[j-1]」と一致している。因みに、「sublayer_profile_idc[j-1]」＝「Scalable Main 10 Profile」であり、「sublayer_level_idc[j-1]」＝“leve 5.1”＝“153”である。
第３の拡張ビデオストリームに関連したサブリプレゼンテーションにおいて、「framerate=“120”」、「codecs="hev1.D.L156,xx"」、「id = “tag3」、「dependencyid = “tag0,tag1,tag2”」の記述が存在する。「framerate=“120” & L156 with dependencyid tagged tag0,tag1,tag2」は、基本ストリームの上に基本ストリームの上に２Ｋ １２０Ｐで拡張し、さらにその上に拡張成分を加えて４Ｋ １２０Ｐのストリームを実現することを示し、「“D”」は「Scalable Main 10 Profile」を示す、７の値であることを示す。レベルおよびプロファイルの情報は、上述のＳＰＳ（ＶＰＳ）の要素の「general_level_idc」、「general_profile_idc」と一致している。因みに、「general_level_idc」＝「Scalable Main 10 Profile」であり、「general_level_idc」＝“level 5.2”＝“156”である。
また、拡張ビデオストリームＳＴｅ（UHD EH stream）に関連したリプレゼンテーションにおいて、「<BaseURL>video-enhancedsubset.mp4</BaseURL>」の記述により、拡張ビデオストリームＳＴｅ（UHD EH stream）のロケーション先が、「video-enhancedsubset.mp4」として示されている。
このようにＭＰＤファイルには、スケーラビリティの対応を示す情報が挿入されており、空間スケーラビリティ、そして時間スケーラビリティを同時に実現することが示されている。
「サービス送信システムの構成例」
図１９は、サービス送信システム１００の構成例を示している。このサービス送信システム１００は、制御部１０１と、ビデオエンコーダ１０２と、コンテナエンコーダ１０３と、送信部１０４を有している。
制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス送信システム１００の各部の動作を制御する。ビデオエンコーダ１０２は、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａを入力し、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを出力する。
図２０は、ビデオエンコーダ１０２の構成を概略的に示している。ビデオエンコーダ１０２は、プロセス１（Process 1）の処理を行う信号処理部１０２ａと、プロセス２（Process 2）の処理を行う信号処理部１０２ｂと、プロセス３（Process 3）の処理を行う信号処理部１０２ｃと、一般的な符号化処理を行う符号化処理部１０２ｄからなっている。
図２１は、ビデオエンコーダ１０２における信号処理部１０２ａ、信号処理部１０２ｂおよび信号処理部１０２ｃの部分を示している。図示の例では、ハイフレームレートが１２０Ｈｚである場合を示している。信号処理部１０２ａは、ハイフレームレートで超高解像度の画像データＶａ（120Hz UHD）を処理して、基本フレームレートの画像データである第１の画像データＶｂ（UHD 60Hz Base）と、ハイフレームレートの拡張フレームの画像データである第２の画像データＶｃ（UHD HFR Enhanced）を得る。
信号処理部１０２ｂは、第１の画像データＶｂ（UHD 60Hz Base）を処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳとなる画像データＶｄ（HD 60Hz Base）を得ると共に、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２となる画像データＶｅ（UHD 60Hz Enhanced2）を得る。信号処理部１０２ｃは、第２の画像データＶｃ（UHD HFR Enhanced）を処理して、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１となる画像データＶｆ（HD HFR Enhanced1）を得ると共に、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データＥＳ３となる画像データＶｇ（UHD HFR Enhanced3）を得る。
図２２（ａ）は、信号処理部１０２ａの構成例を示している。この信号処理部１０２ａは、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１と、演算回路１１２と、６０Ｈｚのラッチパルスでラッチするラッチ回路１１３を有している。また、演算回路１１２は、係数乗算部１１２ａ，１１２ｂ，１１２ｃ，１１２ｄと、加算部１１２ｅ，１１２ｆを有している。
係数乗算部１１２ａ，１１２ｂおよび加算部１１２ｅは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施すために使用される。係数乗算部１１２ａでは係数ｐが乗算され、係数乗算部１１２ｂでは係数ｑが乗算される。なお、ｐ＝０〜１であって、ｑ＝１−ｐである。また、係数乗算部１１２ｃ，１１２ｄおよび加算部１１２ｆは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施すために使用される。係数乗算部１１２ｃでは係数ｒが乗算され、係数乗算部１１２ｄでは係数ｓが乗算される。なお、ｒ＝０〜１であって、ｓ＝１−ｒである。
ハイフレームレートで超高解像度の画像データＶａ（120Hz UHD）は、遅延回路１１１で１フレーム遅延された後、演算回路１１２を構成する係数乗算部１１２ａ，１１２ｃに入力される。また、この画像データＶａは、そのまま演算回路１１２を構成する係数乗算部１１２ｂ，１１２ｄに入力される。係数乗算部１１２ａ，１１２ｂの出力は加算部１１２ｅに入力されて加算される。また、係数乗算部１１２ｃ，１１２ｄの出力は加算部１１２ｆに入力されて加算される。
ここで、画像データＰの時間的に連続する２個のピクチャの画像データをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、加算部１１２ｅの出力としてＣ（＝ｐ＊Ａ＋ｑ＊Ｂ）の混合出力が得られると共に、加算部１１２ｆの出力としてＤ（＝ｒ＊Ａ＋ｓ＊Ｂ）の混合出力が得られる。図２２（ｂ）は、演算回路１１２における混合処理のための演算を数式で表したものである。
演算回路１１２の加算部１１２ｅ，１１２ｆの出力は、ラッチ回路１１３に入力される。ラッチ回路１１３では、演算回路１１２の加算部１１２ｅ，１１２ｆの出力が、６０Ｈｚのラッチパルスでラッチされ、第１の画像データＶｂ（UHD 60Hz Base）と、第２の画像データＶｃ（UHD HFR Enhanced）が得られる。
ここで、第１の画像データＶｂは、画像データＶａにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られたものである。また、第２の画像データＶｃは、画像データＶａにおいて時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたものである。
図２３は、信号処理部１０２ａの入力データ（画像データＶａ）と、この信号処理部１０２ａの出力データ（画像データＶｂ，Ｖｃ）との関係の一例を、模式的に表している。図２３（ａ）は画像データＶａを示し、図２３（ｂ）は画像データＶｂを示し、図２３（ｃ）は画像データＶｃを示している。１２０ｆｐｓの画像データＶａの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、６０ｆｐｓの画像データＶｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，・・・と、６０ｆｐｓの画像データＶｃの各ピクチャの画像データＦ２´，Ｆ４´，Ｆ６´，・・・が得られる。
図２４（ａ）は、信号処理部１０２ｂの構成例を示している。この信号処理部１０２ｂは、ダウンスケール回路１２１と、アップスケール回路１２２と、演算回路１２３を有している。第１の画像データＶｂ（UHD 60Hz Base）は、ダウンスケール回路１２１に入力される。このダウンスケール回路１２１では、第１の画像データＶｂに対して超高解像度から高解像度へのダウンスケール処理が施され、基本フォーマットの画像データＢＳとなる画像データＶｄ（HD 60Hz Base）が得られる。
また、ダウンスケール回路１２１で得られた画像データＶｄは、アップスケール回路１２２に入力される。このアップスケール回路１２２では、画像データＶｄに対して高解像度から超高解像度へのアップスケール処理が施されて第３の画像データが得られる。この第３の画像データは、第１の画像データＶｂと同じ解像度とされるが、第１の画像データＶｂに対してダウンスケール処理が施され、さらにアップスケール処理が施されて得られたものであり、ダウンスケール処理で失われた情報は再現されていない。
第１の画像データＶｂとアップスケール回路１２２で得られた第３の画像データは、演算回路１２３に入力される。演算回路１２３では、２つの画像データ間の差分がとられ、第２の拡張フォーマットの画像データＥＳ２となる画像データＶｅ（UHD 60Hz Enhanced2）が得られる。
図２４（ｂ）は、信号処理部１０２ｃの構成例を示している。この信号処理部１０２ｃは、ダウンスケール回路１３１と、アップスケール回路１３２と、演算回路１３３を有している。第２の画像データＶｃ（UHD HFR Enhanced）は、ダウンスケール回路１３１に入力される。このダウンスケール回路１３１では、第２の画像データＶｃに対して超高解像度から高解像度へのダウンスケール処理が施され、第１の拡張フォーマットの画像データＥＳ１となる画像データＶｆ（HD HFR Enhanced1）が得られる。
また、ダウンスケール回路１３１で得られた画像データＶｆは、アップスケール回路１３２に入力される。このアップスケール回路１３２では、画像データＶｆに対して高解像度から超高解像度へのアップスケール処理が施されて第４の画像データが得られる。この第４の画像データは、第２の画像データＶｃと同じ解像度とされるが、第２の画像データＶｃに対してダウンスケール処理が施され、さらにアップスケール処理が施されて得られたものであり、ダウンスケール処理で失われた情報は再現されていない。
第２の画像データＶｃとアップスケール回路１３２で得られた第４の画像データは、演算回路１３３に入力される。演算回路１３３では、２つの画像データ間の差分がとられ、第３の拡張フォーマットの画像データＥＳ３となる画像データＶｇ（UHD HFR Enhanced3）が得られる。
図１９に戻って、ビデオエンコーダ１０２は、第１、第２、第３の拡張フォーマットの画像データＥＳ１，ＥＳ２，ＥＳ３のアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、上述したビデオ・スケーラビリティ・ＳＥＩ（図１１参照）を挿入する。
これにより、第１の拡張フォーマットの画像データＥＳ１の各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。また、第２の拡張フォーマットの画像データＥＳ２の各アクセスユニットに、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
また、第３の拡張フォーマットの画像データＥＳ３の各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
コンテナエンコーダ１０３は、ビデオエンコーダ１０２で得られた基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを含むコンテナ、ここではＭＰ４（図８、図１７参照）を、配信ストリームＳＴＭとして生成する。
この際、コンテナエンコーダ１０３は、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスを設け、上述したビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）を挿入する。
これにより、第１の拡張フォーマットの画像データＥＳ１のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。また、第２の拡張フォーマットの画像データＥＳ２のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
また、第３の拡張フォーマットの画像データＥＳ３のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
送信部１０４は、コンテナエンコーダ１０３で得られたＭＰ４の配信ストリームＳＴＭを、放送波あるいはネットのパケットに載せて、サービス受信機２００に送信する。
図１９に示すサービス送信システム１００の動作を簡単に説明する。ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａがビデオエンコーダ１０２に入力される。ビデオエンコーダ１０２では、この画像データＶａが処理されて、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが得られる。
ここで、基本ビデオストリームＳＴｂには、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳのアクセスユニットが含まれる。拡張ビデオストリームＳＴｅ１には、ハイフレームレートで高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれる。
拡張ビデオストリームＳＴｅ２には、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれる。拡張ビデオストリームＳＴｅ３には、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データＥＳ３のアクセスユニットが含まれる。また、拡張ビデオストリームＳＴｅには、第１、第２、第３の拡張フォーマットの画像データＥＳ１，ＥＳ２，ＥＳ３のアクセスユニットが含まれる。
ビデオエンコーダ１０２では、第１、第２、第３の拡張フォーマットの画像データＥＳ１，ＥＳ２，ＳＥ３のアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、ビデオ・スケーラビリティ・ＳＥＩ（図１１参照）が挿入される。これにより、画像データＥＳ１の各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。
また、画像データＥＳ２の各アクセスユニットに、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。また、画像データＥＳ３の各アクセスユニットに、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
ビデオエンコーダ１０２で得られた基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、コンテナエンコーダ１０３に供給される。コンテナエンコーダ１０３では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ストリームＳＴｅを含むＭＰ４（図８、図１７参照）が、配信ストリームＳＴＭとして生成される。
この際、コンテナエンコーダ１０３では、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に、“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスが設けられ、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
これにより、画像データＥＳ１のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報が挿入される。また、画像データＥＳ２のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
また、画像データＥＳ３のアクセスユニットを持つ“ｍｄａｔ”ボックスに対応した“ｍｏｏｆ”ボックスには、時間スケーラブルであることを示す識別情報、基本フォーマットの画像データが混合処理を施して得られた画像データであることを示す識別情報、混合比率（第１、第２の比率）の情報と共に、空間スケーラブルであることを示す識別情報、空間スケーラブルの比率を示す情報が挿入される。
コンテナエンコーダ１０３で生成された配信ストリームＳＴＭは送信部１０４に供給される。送信部１０４では、ＭＰ４の配信ストリームＳＴＭを放送波あるいはネットのパケットに載せて、サービス受信機２００に送信することが行われる。
「サービス受信機の構成例」
図２５は、ハイフレームレートで超高解像度の動画像データを処理可能なサービス受信機２００Ａの構成例を示している。このサービス受信機２００Ａは、制御部２０１と、受信部２０２と、コンテナデコーダ２０３と、ビデオデコーダ２０４を有している。
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、サービス受信機２００Ａの各部の動作を制御する。受信部２０２は、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭを受信する。
コンテナデコーダ１０３は、ＭＰ４から、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを抽出する。上述したように、基本ビデオストリームＳＴｂには、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳのアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅ１には、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１のアクセスユニットが含まれている。
また、拡張ビデオストリームＳＴｅ２には、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれている。拡張ビデオストリームＳＴｅ３には、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データＥＳ３のアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅには、第１、第２、第３の拡張フォーマットの画像データＥＳ１，ＥＳ２，ＥＳ３のアクセスユニットが含まれている。
また、コンテナデコーダ２０３は、ＭＰ４からメタ情報を抽出し、制御部２０１に送る。このメタ情報には、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に設けられた“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスに挿入されているビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）も含まれる。
制御部２０１は、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第１の拡張フォーマットの画像データＥＳ１による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）などを認識する。また、制御部２０１は、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第２の拡張フォーマットの画像データＥＳ２による拡張が空間スケーラブルであること、空間スケーラブルの比率などを認識する。
また、制御部２０１は、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第３の拡張フォーマットの画像データＥＳ３による拡張が時間スケーラブルおよび空間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）、空間スケーラブルの比率などを認識する。
ビデオデコーダ２０４は、コンテナデコーダ２０３で抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅを処理して、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａ´を得る。ここで、画像データＶａ´のダッシュ「´」は、符号化、復号化の処理を経たことで、上述したビデオエンコーダ１０２（図１９参照）に入力される画像データＶａとは完全に同じ値にはならない可能性があることを意味している。以下の他の画像データに関しても同様である。
ここで、ビデオデコーダ２０４は、各ビデオストリームを構成するアクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１に送る。このＳＥＩには、第１、第２、第３の拡張フォーマットの画像データＥＳ１，ＥＳ２，ＥＳ３のアクセスユニット（ＡＵ）に挿入されているビデオ・スケーラビリティ・ＳＥＩ（図１１参照）も含まれる。
制御部２０１は、このビデオ・スケーラビリティ・ＳＥＩから、第１の拡張フォーマットの画像データＥＳ１による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）などを認識する。また、制御部２０１は、このビデオ・スケーラビリティ・ＳＥＩから、第２の拡張フォーマットの画像データＥＳ２による拡張が空間スケーラブルであること、さらに空間スケーラブルの比率などを認識する。
また、制御部２０１は、このビデオ・スケーラビリティ・ＳＥＩから、第３の拡張フォーマットの画像データＥＳ３による拡張が時間スケーラブルおよび空間スケーラブルであること、さらに、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）、空間スケーラブルの比率などを認識する。
図２６は、ビデオデコーダ２０４の構成を概略的に示している。ビデオデコーダ２０４は、インバースプロセス１（Inverse Process 1）の処理を行う信号処理部２０４ａと、インバースプロセス２（Inverse Process 2）の処理を行う信号処理部２０４ｂと、インバースプロセス３（Inverse Process 3）の処理を行う信号処理部２０４ｃと、一般的な復号化処理を行う復号化処理部２０４ｄからなっている。
ここで、インバースプロセス１の処理は、上述のビデオエンコーダ１０２の信号処理部１０２ａで行われるプロセス１の処理の逆処理となる。同様に、インバースプロセス２の処理は、上述のビデオエンコーダ１０２の信号処理部１０２ｂで行われるプロセス２の処理の逆処理となる。また、同様に、インバースプロセス３の処理は、上述のビデオエンコーダ１０２の信号処理部１０２ｃで行われるプロセス３の処理の逆処理となる。
図２７は、ビデオデコーダ２０４における信号処理部２０４ａ、信号処理部２０４ｂおよび信号処理部２０４ｃの部分を示している。図示の例では、ハイフレームレートが１２０Hzである場合を示している。信号処理部２０４ｂは、基本フォーマットの画像データＢＳ´である画像データＶｄ´（HD 60Hz Base）と、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２´である画像データＶｅ´（UHD 60Hz Enhanced2）を処理して、基本フレームレートの画像データである第１の画像データＶｂ´（UHD 60Hz Base）を得る。
信号処理部２０４ｃは、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１´である画像データＶｆ´（HD HFR Enhanced1）と、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データＥＳ３´である画像データＶｇ´（UHD HFR Enhanced3）を処理して、ハイフレームレートの拡張フレームの画像データである第２の画像データＶｃ´（UHD HFR Enhanced）を得る。信号処理部２０４ａは、第１の画像データＶｂ´（UHD 60Hz Base）と、第２の画像データＶｃ´（UHD HFR Enhanced）を処理して、ハイフレームレートで超高解像度の画像データＶａ´（120Hz UHD）を得る。
図２８（ａ）は、信号処理部２０４ｂの構成例を示している。この信号処理部２０４ｂは、アップスケール回路２１１と、演算回路２１２を有している。基本フォーマットの画像データＢＳ´である画像データＶｄ´（HD 60Hz Base）は、アップスケール回路２１１に入力される。このアップスケール回路２１１では、画像データＶｄ´に対して高解像度から超高解像度へのアップスケール処理が施されて第３の画像データが得られる。ここで、アップスケール回路２１１では、上述したようにビデオ・スケーラビリティ・ＳＥＩ（図１１参照）あるいはビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）に挿入されている空間スケーラブルの比率を示す情報が用いられて、適切なアップスケール処理が施される。
第２の拡張フォーマットの画像データＥＳ２´である画像データＶｅ´（UHD 60Hz Enhanced2）と、アップスケール回路２１１で得られた第３の画像データは、演算回路２１２に入力される。演算回路２１２では、２つの画像データが加算され、基本フレームレートの画像データである第１の画像データＶｂ´（UHD 60Hz Base）が得られる。
図２８（ｂ）は、信号処理部２０４ｃの構成例を示している。この信号処理部２０４ｃは、アップスケール回路２２１と、演算回路２２２を有している。第１の拡張フォーマットの画像データＥＳ１´である画像データＶｆ´（HD HFR Enhanced1）は、アップスケール回路２２１に入力される。このアップスケール回路２２１では、画像データＶｆ´に対して高解像度から超高解像度へのアップスケール処理が施されて第４の画像データが得られる。ここで、アップスケール回路２２１では、上述したようにビデオ・スケーラビリティ・ＳＥＩ（図１１参照）あるいはビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）に挿入されている空間スケーラブルの比率を示す情報が用いられて、適切なアップスケール処理が施される。
第３の拡張フォーマットの画像データＥＳ３´である画像データＶｇ´（UHD 60Hz Enhanced2）と、アップスケール回路２２１で得られた第４の画像データは、演算回路２２２に入力される。演算回路２２２では、２つの画像データが加算され、ハイフレームレートの拡張フレームの画像データである第２の画像データＶｃ´（UHD HFR Enhanced）が得られる。
図２９（ａ）は、信号処理部２０４ａの構成例を示している。この信号処理部２０４ａは、演算回路２４１と、スイッチ回路２４２を有している。また、演算回路２４１は、係数乗算部２４１ａ，２４１ｂ，２４１ｃ，２４１ｄと、加算部２４１ｅ，２４１ｆを有している。演算回路２４１は、図２２（ａ）の信号処理部１０２ａにおける演算回路１１２における混合処理とは逆の処理（逆混合処理）をする。
係数乗算部２４１ａ，２４１ｂおよび加算部２４１ｅは、第１の画像データＶｂ´および第２の画像データＶｃ´から、上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データを得るために使用される。係数乗算部２４１ａでは係数ｕが乗算され、係数乗算部２４１ｂでは係数ｖが乗算される。また、係数乗算部２４１ｃ，２４１ｄおよび加算部２４１ｆは、第１の画像データＶｂ´および第２の画像データＶｃ´から、上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データを得るために使用される。係数乗算部２４１ｃでは係数ｗが乗算され、係数乗算部２４１ｄでは係数ｚが乗算される。
第１の画像データＶｂ´（UHD 60Hz Base）は、演算回路２４１を構成する係数乗算部２４１ａ，２４１ｃに入力される。また、第２の画像データＶｃ´（UHD HFR Enhanced）は、演算回路２４１を構成する係数乗算部２４１ｂ，２４１ｄに入力される。係数乗算部２４１ａ，２４１ｂの出力は加算部２４１ｅに入力されて加算される。また、係数乗算部２４１ｃ，２４１ｄの出力は加算部２４１ｆに入力されて加算される。
この場合、加算部２４１ｅの出力として上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データＡが得られると共に、加算部２４１ｆの出力として上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データＢが得られる。図２９（ｂ）は、演算回路２４１における逆混合処理のための演算を数式で表したものである。また、図２９（ｃ）は、係数ｕ，ｖ，ｗ，ｚと係数ｐ，ｑ，ｒ，ｓの対応関係を行列式で示している。
演算回路２４１の加算部２４１ｅ，２４１ｆの出力は、それぞれ、スイッチ回路２４２のａ側、ｂ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、画像データＡ，Ｂが合成された、ハイフレームレートで超高解像度の画像データＶａ´（120Hz UHD）が得られる。
ここで、演算回路２４１では、上述したようにビデオ・スケーラビリティ・ＳＥＩ（図１１参照）あるいはビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）に挿入されている混合比率（第１、第２の比率）の情報、つまりｐ，ｑ，ｒ，ｓの情報が用いられて、適切な逆混合処理が施される。
図２５に示すサービス受信機２００Ａの動作を簡単に説明する。受信部２０２では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３に供給される。コンテナデコーダ２０３では、ＭＰ４から基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが抽出される。
基本ビデオストリームＳＴｂには、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データＢＳのアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅ１には、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１のアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅ２には、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅ３には、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データＥＳ３のアクセスユニットが含まれている。また、拡張ビデオストリームＳＴｅには、第１、第２、第３の拡張フォーマットの画像データＥＳ１，ＥＳ２，ＥＳ３のアクセスユニットが含まれている。
また、コンテナデコーダ２０３では、ＭＰ４からメタ情報が抽出され、制御部２０１に送られる。このメタ情報には、拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは拡張ビデオストリームＳＴｅに対応したＭＰ４ストリームにおいて、“ｍｏｏｆ”ボックスの下に設けられた“ｕｄｔａ”あるいは“ｌａｙｓ”のボックスに挿入されているビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）も含まれる。
制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第１の拡張フォーマットの画像データＥＳ１による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）などが認識される。また、制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第２の拡張フォーマットの画像データＥＳ２による拡張が空間スケーラブルであること、空間スケーラブルの比率などが認識される。
また、制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第３の拡張フォーマットの画像データＥＳ３による拡張が時間スケーラブルおよび空間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）、空間スケーラブルの比率などが認識される。
コンテナデコーダ２０３で抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、ビデオデコーダ２０４に供給される。ビデオデコーダ２０４では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、ハイフレームレート（ＨＦＲ）で超高解像度（ＵＨＤ）の画像データＶａ´が得られる。
ここで、ビデオデコーダ２０４では、各ビデオストリームを構成するアクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。このＳＥＩには、第１、第２の拡張フォーマットの画像データＥＳ１，ＥＳ２のアクセスユニット（ＡＵ）に挿入されているビデオ・スケーラビリティ・ＳＥＩ（図１１参照）も含まれる。
制御部２０１では、このビデオ・スケーラビリティ・ＳＥＩから、第１の拡張フォーマットの画像データＥＳ１による拡張が時間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）などが認識される。また、制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第２の拡張フォーマットの画像データＥＳ２による拡張が空間スケーラブルであること、空間スケーラブルの比率などを認識される。
また、制御部２０１では、このビデオ・スケーラビリティ・インフォメーション・デスクリプタから、第３の拡張フォーマットの画像データＥＳ３による拡張が時間スケーラブルおよび空間スケーラブルであること、基本フォーマットの画像データＢＳが混合処理を施して得られた画像データであること、混合比率（第１、第２の比率）、空間スケーラブルの比率などが認識される。
図３０は、ハイフレームレートで高解像度の動画像データを処理可能なサービス受信機２００Ｂの構成例を示している。この図３０において、図２５と対応する部分には同一符号、あるいは「Ｂ」を添えた符号を付し、適宜、その詳細説明を省略する。このサービス受信機２００Ｂは、受信部２０１と、コンテナデコーダ２０３Ｂと、ビデオデコーダ２０４Ｂを有している。
受信部２０１では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３Ｂに供給される。コンテナデコーダ２０３Ｂでは、ＭＰ４から基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが抽出される。
コンテナデコーダ２０３Ｂで抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、ビデオデコーダ２０４Ｂに供給される。ビデオデコーダ２０４Ｂでは、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、ハイフレームレートで高解像度の画像データＶｈ´が得られる。
この場合、ビデオデコーダ２０４Ｂでは、基本フォーマットの画像データＢＳ´である画像データＶｄ´（HD 60Hz Base）と、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１´である画像データＶｆ´（HD HFR Enhanced1）とが、上述の信号処理部２０４ａ（図２７、図２９参照）と同様の信号処理部に入力され、その出力としてハイフレームレートで高解像度の画像データＶｈ´が得られる。
図３１は、基本フレームレートで超高解像度の動画像データを処理可能なサービス受信機２００Ｃの構成例を示している。この図３１において、図２５と対応する部分には同一符号、あるいは「Ｃ」を添えた符号を付し、適宜、その詳細説明を省略する。このサービス受信機２００Ｃは、受信部２０１と、コンテナデコーダ２０３Ｃと、ビデオデコーダ２０４Ｃを有している。
受信部２０１では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３Ｂに供給される。コンテナデコーダ２０３Ｂでは、ＭＰ４から基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが抽出される。
コンテナデコーダ２０３Ｃで抽出された基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅは、ビデオデコーダ２０４Ｃに供給される。ビデオデコーダ２０４Ｃでは、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ２、あるいは基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅが処理されて、基本フレームレートで超高解像度の画像データＶｂ´が得られる。
この場合、ビデオデコーダ２０４Ｃでは、基本フォーマットの画像データＢＳ´である画像データＶｄ´（HD 60Hz Base）と、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２´である画像データＶｅ´（UHD 60Hz Enhanced2）とが、上述の信号処理部２０４ｂ（図２７、図２８（ａ）参照）と同様の信号処理部に入力され、その出力として基本フレームレートで超高解像度の画像データＶｂ´が得られる。
図３２は、基本フレームレートで高解像度の動画像データを処理可能なサービス受信機２００Ｄの構成例を示している。この図３２において、図２５と対応する部分には同一符号、あるいは「Ｄ」を添えた符号を付し、適宜、その詳細説明を省略する。このサービス受信機２００Ｄは、受信部２０１と、コンテナデコーダ２０３Ｄと、ビデオデコーダ２０４Ｄを有している。
受信部２０１では、サービス送信システム１００から放送波あるいはネットのパケットに載せて送られてくるＭＰ４の配信ストリームＳＴＭが受信される。この配信ストリームＳＴＭは、コンテナデコーダ２０３Ｄに供給される。コンテナデコーダ２０３Ｄでは、ＭＰ４から基本ビデオストリームＳＴｂのみが抽出される。
コンテナデコーダ２０３Ｄで抽出された基本ビデオストリームＳＴｂは、ビデオデコーダ２０４Ｄに供給される。ビデオデコーダ２０４Ｄでは、基本ビデオストリームＳＴｂのみが処理されて、基本フレームレートで高解像度の画像データＶｄ´が得られる。この場合、ビデオデコーダ２０４Ｄには、上述のビデオデコーダ２０５が有するような各信号処理部（図２６参照）は不要である。
上述したように、図３に示す送受信システム１０においては、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームが送信される。そのため、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能に伝送される。
例えば、基本フレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像の表示が可能となる。また、例えば、ハイフレームレートで高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで高解像度の画像の表示が可能となる。
また、例えば、基本フレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理して基本フレームレートで超高解像度の画像の表示が可能となる。また、例えば、ハイフレームレートで超高解像度の画像データを処理可能なデコード能力がある受信機の場合、基本ビデオストリームおよび拡張ストリームの双方を処理してハイフレームレートで超高解像度の画像の表示が可能となる。
また、図３に示す送受信システム１０においては、基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施すことで得られたものである。そのため、受信側で基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像はストロービング効果が抑制された滑らかな画像となる。
＜２．変形例＞
なお、上述実施の形態においては、コンテナがＭＰ４（ＩＳＯＢＭＦＦ）である例を示した。しかし、本技術は、コンテナがＭＰ４に限定されるものではなく、ＭＰＥＧ−２ ＴＳやＭＭＴなどの他のフォーマットのコンテナであっても同様に適用し得る。
例えば、ＭＰＥＧ−２ ＴＳの場合には、図１９に示すサービス送信システム１００のコンテナエンコーダ１０３では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ストリームＳＴｅを含むトランスポートストリーム（Transport Stream）が生成される。
この際、コンテナエンコーダ１０３では、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下の拡張ビデオストリームに対応したビデオエレメンタリストリームループに、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
図３３は、４ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」と、ＰＩＤ２で識別されるビデオストリームのＰＥＳパケット「video PES2」と、ＰＩＤ３で識別されるビデオストリームのＰＥＳパケット「video PES3」と、ＰＩＤ４で識別されるビデオストリームのＰＥＳパケット「video PES4」が存在する。
ＰＥＳパケット「video PES1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」のペイロードには、拡張ビデオストリームＳＴｅ１のアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES3」のペイロードには、拡張ビデオストリームＳＴｅ２のアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES4」のペイロードには、拡張ビデオストリームＳＴｅ３のアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」、ＰＥＳパケット「video PES3」およびＰＥＳパケット「video PES4」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１１参照）が挿入される。
また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。ＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、各ビデオストリームに対応したビデオエレメンタリストリームループ（video ES loop）が存在する。ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video ES1 loop」には、基本ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
また、「video ES2 loop」、「video ES3 loop」、「video ES4 loop」には、それぞれ、拡張ビデオストリーム（video PES2）、拡張ビデオストリーム（video PES3）、拡張ビデオストリーム（video PES4）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
図３４は、２ストリーム構成の伝送の場合におけるトランスポートストリームの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」と、ＰＩＤ２で識別されるビデオストリームのＰＥＳパケット「video PES2」が存在する。
ＰＥＳパケット「video PES1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」のペイロードには、拡張ビデオストリームＳＴｅのアクセスユニット（符号化画像データ）が含まれる。ＰＥＳパケット「video PES2」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１１参照）が挿入される。
また、ＰＭＴの配下に、基本ビデオストリーム「video PES1」と、拡張ビデオストリーム「video PES2」に対応したビデオエレメンタリストリームループ（video ES loop）が存在する。ビデオエレメンタリストリームループ（video ES loop）には、ビデオストリームに対応して、ストリームタイプ、ＰＩＤ（パケット識別子）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video ES1 loop」には、基本ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
また、「video ES2 loop」には、拡張ビデオストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
また、例えば、ＭＭＴの場合には、図１９に示すサービス送信システム１００のコンテナエンコーダ１０３では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅ１，ＳＴｅ２，ＳＴｅ３、あるいは基本ビデオストリームＳＴｂと拡張ストリームＳＴｅを含むＭＭＴストリーム（MMT Stream）が生成される。
この際、コンテナエンコーダ１０３では、ＭＭＴ・パッケージ・テーブル（ＭＰＴ：MMT Package Table）の配下の拡張ビデオストリームに対応したビデオアセットループに、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
図３５は、４ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示している。この構成例では、パケットタイプがＭＰＵであり、ＩＤ１で識別されるビデオストリームのＭＰＵパケット「video MPU1」と、パケットタイプがＭＰＵであり、ＩＤ２で識別されるビデオストリームのＭＰＵパケット「video MPU2」と、パケットタイプがＭＰＵであり、ＩＤ３で識別されるビデオストリームのＭＰＵパケット「video MPU3」と、パケットタイプがＭＰＵであり、ＩＤ４で識別されるビデオストリームのＭＰＵパケット「video MPU4」が存在する。
ＭＰＵパケット「video MPU1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU2」のペイロードには、拡張ビデオストリームＳＴｅ１のアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU3」のペイロードには、拡張ビデオストリームＳＴｅ２のアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU4」のペイロードには、拡張ビデオストリームＳＴｅ３のアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU2」、ＭＰＵパケット「video MPU3」およびＭＰＵパケット「video MPU4」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１１参照）が挿入される。
また、ＭＭＴストリームには、パケットタイプがmessageである場合、種々のメッセージパケットが配置されるが、その一つとしてＰＡ（Packet Access）メッセージパケットがある。ＰＡメッセージパケットには、ＭＰＴなどのテーブルが含まれている。ＭＰＴには、各アセット（ビデオストリーム）に対応したビデオアセットループ（video asset loop）が存在する。ビデオアセットループ（video asset loop）には、アセット（ビデオストリーム）に対応して、アセットタイプ（Asset_type）、パケットＩＤ（Packet_id）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video asset1 loop」には、基本ビデオストリーム（video MPU1）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
また、「video asset2 loop」、「video asset3 loop」、「video asset4 loop」には、それぞれ、拡張ビデオストリーム（video MPU2）、拡張ビデオストリーム（video MPU3）、拡張ビデオストリーム（video MPU4）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
図３６は、２ストリーム構成の伝送の場合におけるＭＭＴストリームの構成例を示している。この構成例では、ＩＤ１で識別されるビデオストリームのＭＰＵパケット「video MPU1」と、ＩＤ２で識別されるビデオストリームのＭＰＵパケット「video MPU2」が存在する。
ＭＰＵパケット「video MPU1」のペイロードには、基本ビデオストリームＳＴｂのアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video MPU2」のペイロードには、拡張ビデオストリームＳＴｅのアクセスユニット（符号化画像データ）が含まれる。ＭＰＵパケット「video PES2」でコンテナされる各ピクチャのアクセスユニット（符号化画像データ）には、ビデオ・スケーラビリティ・ＳＥＩ（図１１参照）が挿入される。
また、ＭＰＴの配下に、基本ビデオストリーム「video MPU1」と、拡張ビデオストリーム「video MPU2」に対応したビデオアセットループ（video asset loop）が存在する。ビデオアセットループ（video asset loop）には、ビデオストリームに対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video asset1 loop」には、基本ビデオストリーム（video MPU1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、基本ビデオストリームを示す“０ｘ２４”とされる。
また、「video ES2 loop」には、拡張ビデオストリーム（video PES2）に対応して、アセットタイプ、アセットＩＤ等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、拡張ビデオストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１３参照）が挿入される。
また、上述実施の形態においては、拡張ビデオストリームが３つあるいは１つである例を示した。しかし、拡張ビデオストリームが２つである例も考えられる。その場合、例えば、拡張ビデオストリームＳＴｅ１には、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データＥＳ１のアクセスユニットが含まれる。そして、拡張ビデオストリームＳＴｅ２には、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データＥＳ２のアクセスユニットと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データＥＳ３のアクセスユニットが含まれる。
また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートで超高解像度の画像データを処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像処理部は、
上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データである第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データである第２の画像データを得、
上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって上記第２の拡張フォーマットの画像データを得、
上記第２の画像データにダウンスケール処理を施して上記第１の拡張フォーマットの画像データを得ると共に、該第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって上記第３の拡張フォーマットの画像データを得る
送信装置。
（２）上記画像符号化部は、
上記基本フォーマットの画像データの符号化画像データを含む上記基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データをそれぞれ含む３つの拡張ビデオストリームまたは上記第１から第３の拡張フォーマットの画像データの符号化画像データの全てを含む１つの拡張ビデオストリームを生成する
前記（１）に記載の送信装置。
（３）上記第１の拡張フォーマットの画像データの符号化画像データに時間スケーラブルであることを示す識別情報を挿入し、上記第２の拡張フォーマットの画像データの符号化画像データに空間スケーラブルであることを示す識別情報を挿入し、上記第３の拡張フォーマットの画像データの符号化画像データに時間スケーラブルおよび空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）または（２）に記載の送信装置。
（４）上記情報挿入部は、
上記第２および第３の拡張フォーマットの画像データの符号化画像データに、空間スケーラブルの比率を示す情報をさらに挿入する
前記（３）に記載の送信装置。
（５）上記情報挿入部は、
上記第１および第３の拡張フォーマットの画像データの符号化画像データに、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
前記（３）または（４）に記載の送信装置。
（６）上記情報挿入部は、
上記第１および第３の拡張フォーマットの画像データの符号化画像データに、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
前記（３）から（５）のいずれかに記載の送信装置。
（７）上記コンテナのレイヤに、上記第１の拡張フォーマットの画像データの符号化画像データに対応して時間スケーラブルであることを示す識別情報を挿入し、上記第２の拡張フォーマットの画像データの符号化画像データに対応して空間スケーラブルであることを示す識別情報を挿入し、上記第３の拡張フォーマットの画像データの符号化画像データに対応して時間スケーラブルおよび空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記情報挿入部は、
上記コンテナのレイヤに、上記第２および第３の拡張フォーマットの画像データの符号化画像データのそれぞれに対応して、空間スケーラブルの比率を示す情報をさらに挿入する
前記（７）に記載の送信装置。
（９）上記情報挿入部は、
上記コンテナのレイヤに、上記第１および第３の拡張フォーマットの画像データの符号化画像データのそれぞれに対応して、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
前記（７）または（８）に記載の送信装置。
（１０）上記情報挿入部は、
上記コンテナのレイヤに、上記第１および第３の拡張フォーマットの画像データの符号化画像データにそれぞれ対応して、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
前記（７）から（９）のいずれかに記載の送信装置。
（１１）上記基本ビデオストリームと上記所定数の拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、
上記メタファイルにはスケーラビリティの対応を示す情報が挿入される
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）ハイフレームレートで超高解像度の画像データを処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データを得る画像処理ステップと、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記基本ストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像処理ステップでは、
上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データである第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データである第２の画像データを得、
上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって上記第２の拡張フォーマットの画像データを得、
上記第２の画像データにダウンスケール処理を施して上記第１の拡張フォーマットの画像データを得ると共に、該第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって上記第３の拡張フォーマットの画像データを得る
送信方法。
（１３）基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施して得られたものであり、
上記第２の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施して得られたものであり、
上記第３の拡張フォーマットの画像データは、上記第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像後の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部をさらに備える
受信装置。
（１４）上記第２および第３の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、
上記処理部は、上記基本フレームレートで超高解像度の画像データまたは上記ハイフレームレートで超高解像度の画像データを得る場合、上記挿入されている空間スケーラブルの比率を示す情報を用いる
前記（１３）に記載の受信装置。
（１５）上記第１および第３の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、上記第１の比率の情報および上記第２の比率の情報が挿入されており、
上記処理部は、上記ハイフレームレートで高解像後の画像データまたは上記ハイフレームレートで超高解像度の画像データを得る場合、上記挿入されている第１の比率の情報および第２の比率の情報を用いる
前記（１３）または（１４）に記載の受信装置。
（１６）受信部により、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施して得られたものであり、
上記第２の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
上記第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施して得られたものであり、
上記第３の拡張フォーマットの画像データは、上記第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって得られたものであり、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像後の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理ステップをさらに有する
受信方法。
（１７）ハイフレームレートで超高解像度の画像データを処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データを得る画像処理部と、
上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（１８）上記第２および第３の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルであることを示す識別情報を挿入し、上記第１および第３の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、時間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１７）に記載の送信装置。
（１９）上記基本ビデオストリームと上記所定数の拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、
上記メタファイルにはスケーラビリティの対応を示す情報が挿入される
前記（１７）または（１８）に記載の送信装置。
（２０）基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像後の画像データ、基本フレームレートで超高解像度の画像データあるいはハイフレームレートで超高解像度の画像データを得る処理部を備える
受信装置。
本技術の主な特徴は、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを送信することで、ハイフレームレートで超高解像度の画像データを受信側において下位互換を良好に実現可能としたことである（図５、図６、図１５参照）。
また、本技術の主な特徴は、基本フォーマットの画像データを、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施して得ることで、基本ビデオストリームのみを処理して表示される基本フレームレートで高解像度の画像をストロービング効果が抑制された滑らかな画像とすることを可能としたことである（図２１、図２２参照）。
１０・・・送受信システム
３０Ａ，３０Ｂ・・・ＭＰＥＧ−ＤＡＳＨベースのストリーム配信システム
３１・・・ＤＡＳＨストリームファイルサーバ
３２・・・ＤＡＳＨ ＭＰＤサーバ
３３，３３-1〜３３-N・・・サービス受信機
３４・・・ＣＤＮ
３５，３５-1〜３５-M・・・サービス受信機
３６・・・放送送出システム
１００・・・サービス送信システム
１０１・・・制御部
１０２・・・ビデオエンコーダ
１０２ａ，１０２ｂ，１０２ｃ・・・信号処理部
１０２ｄ・・・符号化処理部
１０３・・・コンテナエンコーダ
１０４・・・送信部
１１１・・・遅延回路
１１２・・・演算回路
１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ・・・係数乗算部
１１２ｅ，１１２ｆ・・・加算部
１１３・・・ラッチ回路
１２１，１３１・・・ダウンスケール回路
１２２，１３２・・・アップスケール回路
１２３，１３３・・・演算回路
２００，２００Ａ，２００Ｂ，２００Ｃ，２００Ｄ・・・サービス受信機
２０１・・・制御部
２０２・・・受信部
２０３，２０３Ｂ，２０３Ｃ，２０３Ｄ・・・コンテナデコーダ
２０４，２０４Ｂ，２０４Ｃ，２０４Ｄ・・・ビデオデコーダ
２０４ａ，２０４ｂ，２０４ｃ・・・信号処理部
２０４ｄ・・・復号化処理部
２１１，２２１・・・アップスケール回路
２１２，２２２・・・演算回路
２４１・・・演算回路
２４１ａ，２４１ｂ，２４１ｃ，２４１ｄ・・・係数乗算部
２４１ｅ，２４１ｆ・・・加算部
２４２・・・スイッチ回路

Claims (16)

  1. ハイフレームレートで超高解像度の画像データを処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データを得る画像処理部と、
    上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを生成する画像符号化部と、
    上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記画像処理部は、
    上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データである第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して第２の画像データを得、
    上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって上記第２の拡張フォーマットの画像データを得、
    上記第２の画像データにダウンスケール処理を施して上記第１の拡張フォーマットの画像データを得ると共に、該第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって上記第３の拡張フォーマットの画像データを得る
    送信装置。
  2. 上記画像符号化部は、
    上記基本フォーマットの画像データの符号化画像データを含む上記基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データをそれぞれ含む３つの拡張ビデオストリームまたは上記第１から第３の拡張フォーマットの画像データの符号化画像データの全てを含む１つの拡張ビデオストリームを生成する
    請求項１に記載の送信装置。
  3. 上記第１の拡張フォーマットの画像データの符号化画像データに時間スケーラブルであることを示す識別情報を挿入し、上記第２の拡張フォーマットの画像データの符号化画像データに空間スケーラブルであることを示す識別情報を挿入し、上記第３の拡張フォーマットの画像データの符号化画像データに時間スケーラブルおよび空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
    請求項１または２に記載の送信装置。
  4. 上記情報挿入部は、
    上記第２および第３の拡張フォーマットの画像データの符号化画像データに、空間スケーラブルの比率を示す情報をさらに挿入する
    請求項３に記載の送信装置。
  5. 上記情報挿入部は、
    上記第１および第３の拡張フォーマットの画像データの符号化画像データに、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
    請求項３または４に記載の送信装置。
  6. 上記情報挿入部は、
    上記第１および第３の拡張フォーマットの画像データの符号化画像データに、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
    請求項３から５のいずれかに記載の送信装置。
  7. 上記コンテナのレイヤに、上記第１の拡張フォーマットの画像データの符号化画像データに対応して時間スケーラブルであることを示す識別情報を挿入し、上記第２の拡張フォーマットの画像データの符号化画像データに対応して空間スケーラブルであることを示す識別情報を挿入し、上記第３の拡張フォーマットの画像データの符号化画像データに対応して時間スケーラブルおよび空間スケーラブルであることを示す識別情報を挿入する情報挿入部をさらに備える
    請求項１から６のいずれかに記載の送信装置。
  8. 上記情報挿入部は、
    上記コンテナのレイヤに、上記第２および第３の拡張フォーマットの画像データの符号化画像データのそれぞれに対応して、空間スケーラブルの比率を示す情報をさらに挿入する
    請求項７に記載の送信装置。
  9. 上記情報挿入部は、
    上記コンテナのレイヤに、上記第１および第３の拡張フォーマットの画像データの符号化画像データのそれぞれに対応して、上記基本フォーマットの画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに挿入する
    請求項７または８に記載の送信装置。
  10. 上記情報挿入部は、
    上記コンテナのレイヤに、上記第１および第３の拡張フォーマットの画像データの符号化画像データにそれぞれ対応して、上記第１の比率の情報および上記第２の比率の情報をさらに挿入する
    請求項７から９のいずれかに記載の送信装置。
  11. 上記基本ビデオストリームと上記所定数の拡張ビデオストリームを受信装置で取得させるためのメタ情報を持つメタファイルを送信する送信部をさらに備え、
    上記メタファイルにはスケーラビリティの対応を示す情報が挿入される
    請求項１から１０のいずれかに記載の送信装置。
  12. ハイフレームレートで超高解像度の画像データを処理して、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データと、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データと、ハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データを得る画像処理ステップと、
    上記基本フォーマットの画像データの符号化画像データを含む基本ビデオストリームと、上記第１から第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを生成する画像符号化ステップと、
    送信部により、上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記画像処理ステップでは、
    上記ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データである第１の画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して第２の画像データを得、
    上記第１の画像データにダウンスケール処理を施して上記基本フォーマットの画像データを得ると共に、該基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって上記第２の拡張フォーマットの画像データを得、
    上記第２の画像データにダウンスケール処理を施して上記第１の拡張フォーマットの画像データを得ると共に、該第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって上記第３の拡張フォーマットの画像データを得る
    送信方法。
  13. 基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施して得られたものであり、
    上記第２の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
    上記第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施して得られたものであり、
    上記第３の拡張フォーマットの画像データは、上記第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって得られたものであり、
    上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像度の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理部をさらに備える
    受信装置。
  14. 上記第２および第３の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、空間スケーラブルの比率を示す情報が挿入されており、
    上記処理部は、上記基本フレームレートで超高解像度の画像データまたは上記ハイフレームレートで超高解像度の画像データを得る場合、上記挿入されている空間スケーラブルの比率を示す情報を用いる
    請求項１３に記載の受信装置。
  15. 上記第１および第３の拡張フォーマットの画像データの符号化画像データに、および/または、該符号化画像データに対応したコンテナ位置に、上記第１の比率の情報および上記第２の比率の情報が挿入されており、
    上記処理部は、上記ハイフレームレートで高解像後の画像データまたは上記ハイフレームレートで超高解像度の画像データを得る場合、上記挿入されている第１の比率の情報および第２の比率の情報を用いる
    請求項１３または１４に記載の受信装置。
  16. 受信部により、基本フレームレートで高解像度の画像を得るための基本フォーマットの画像データの符号化画像データを持つ基本ビデオストリームと、ハイフレームレートで高解像度の画像を得るための第１の拡張フォーマットの画像データ、基本フレームレートで超高解像度の画像を得るための第２の拡張フォーマットの画像データおよびハイフレームレートで超高解像度の画像を得るための第３の拡張フォーマットの画像データの符号化画像データを含む所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記基本フォーマットの画像データは、ハイフレームレートで超高解像度の画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた第１の画像データにダウンスケール処理を施して得られたものであり、
    上記第２の拡張フォーマットの画像データは、上記基本フォーマットの画像データにアップスケール処理を施して得られた第３の画像データと上記第１の画像データとの間の差分をとって得られたものであり、
    上記第１の拡張フォーマットの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られた第２の画像データにダウンスケール処理を施して得られたものであり、
    上記第３の拡張フォーマットの画像データは、上記第１の拡張フォーマットの画像データにアップスケール処理を施して得られた第４の画像データと上記第２の画像データとの間の差分をとって得られたものであり、
    上記基本ビデオストリームのみを処理して基本フレームレートで高解像度の画像データを得るか、あるいは上記所定数の拡張ビデオストリームの一部または全部のストリームを処理してハイフレームレートで高解像度の画像データ、基本フレームレートで超高解像度の画像データまたはハイフレームレートで超高解像度の画像データを得る処理ステップをさらに有する
    受信方法。
JP2017545195A 2015-10-13 2016-10-11 送信装置、送信方法、受信装置および受信方法 Active JP6848873B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015202464 2015-10-13
JP2015202464 2015-10-13
PCT/JP2016/080085 WO2017065128A1 (ja) 2015-10-13 2016-10-11 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2017065128A1 JPWO2017065128A1 (ja) 2018-08-02
JP6848873B2 true JP6848873B2 (ja) 2021-03-24

Family

ID=58517669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545195A Active JP6848873B2 (ja) 2015-10-13 2016-10-11 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (2) US11115689B2 (ja)
JP (1) JP6848873B2 (ja)
KR (1) KR102537853B1 (ja)
CA (1) CA3001290C (ja)
WO (1) WO2017065128A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CA3080307A1 (en) * 2017-11-02 2019-05-09 Sony Corporation Transmission device, transmission method, reception device, and reception method
WO2020031782A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
EP3843417A4 (en) * 2018-08-21 2021-09-01 Sony Group Corporation RECEIVING APPARATUS, RECEPTION PROCESS, TRANSMISSION APPARATUS, AND TRANSMISSION PROCESS
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
WO2021102355A1 (en) 2019-11-21 2021-05-27 Vooks, Inc. Systems and methods for enhanced video books
JP7598062B2 (ja) 2021-08-18 2024-12-11 日本電信電話株式会社 映像送信装置、映像受信装置、映像送信方法、映像受信方法、映像送信プログラム、及び、映像受信プログラム
CN113837136B (zh) * 2021-09-29 2022-12-23 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332246B2 (ja) * 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US20090222855A1 (en) 2005-05-24 2009-09-03 Jani Vare Method and apparatuses for hierarchical transmission/reception in digital broadcast
WO2008086423A2 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
CN103797797B (zh) * 2011-06-30 2016-07-13 瑞典爱立信有限公司 参考画面信号通知
JP2013030907A (ja) * 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
CN108322744B (zh) 2012-01-31 2022-08-30 Vid拓展公司 用于可缩放的高效视频译码(hevc)的参考图片集(rps)信令
KR20150059722A (ko) * 2012-08-10 2015-06-02 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
RU2645717C2 (ru) * 2012-09-07 2018-03-01 Сони Корпорейшн Устройство передачи, способ передачи, устройство приёма и способ приёма
US9894373B2 (en) * 2012-09-28 2018-02-13 Sharp Kabushiki Kaisha Image decoding device
US20140092953A1 (en) * 2012-10-02 2014-04-03 Sharp Laboratories Of America, Inc. Method for signaling a step-wise temporal sub-layer access sample
KR102080116B1 (ko) * 2013-06-10 2020-02-24 삼성전자 주식회사 이동통신 시스템에서 비디오 비트레이트 할당 방법 및 장치
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP5774652B2 (ja) * 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3073740A4 (en) 2013-11-22 2017-05-31 Sony Corporation Transmission apparatus, transmission method, reception apparatus and reception method
US10531105B2 (en) 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding
US11006069B2 (en) 2015-09-10 2021-05-11 Sony Corporation Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
KR102537853B1 (ko) 2023-05-31
CA3001290A1 (en) 2017-04-20
US20210281889A1 (en) 2021-09-09
KR20180067527A (ko) 2018-06-20
US20190116386A1 (en) 2019-04-18
JPWO2017065128A1 (ja) 2018-08-02
WO2017065128A1 (ja) 2017-04-20
US11606586B2 (en) 2023-03-14
CA3001290C (en) 2024-02-06
US11115689B2 (en) 2021-09-07

Similar Documents

Publication Publication Date Title
JP6848873B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6848872B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN109076229B (zh) 在图片中最感兴趣的区域
JP6809471B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
US20130019024A1 (en) Wireless 3d streaming server
RU2678149C2 (ru) Устройство кодирования, способ кодирования, передающее устройство, устройство декодирования, способ декодирования и приёмное устройство
JP6809469B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
KR20190142326A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2017138470A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
KR20240007142A (ko) 5g 네트워크들을 통한 확장 현실 데이터의 분할 렌더링
Kurutepe et al. A standards-based, flexible, end-to-end multi-view video streaming architecture
Biatek et al. Versatile video coding for 3.0 next generation digital TV in Brazil
JP2015033071A (ja) 階層化動画像伝送システム及び動画像復号装置
Macq et al. Scalable Delivery of Navigable and Ultra‐High Resolution Video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R151 Written notification of patent or utility model registration

Ref document number: 6848873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250