[go: up one dir, main page]

JP5953307B2 - クライアント、コンテンツクリエータエンティティ及びそれらがメディアストリーミングする方法 - Google Patents

クライアント、コンテンツクリエータエンティティ及びそれらがメディアストリーミングする方法 Download PDF

Info

Publication number
JP5953307B2
JP5953307B2 JP2013532748A JP2013532748A JP5953307B2 JP 5953307 B2 JP5953307 B2 JP 5953307B2 JP 2013532748 A JP2013532748 A JP 2013532748A JP 2013532748 A JP2013532748 A JP 2013532748A JP 5953307 B2 JP5953307 B2 JP 5953307B2
Authority
JP
Japan
Prior art keywords
media
sample
segment
level
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013532748A
Other languages
English (en)
Other versions
JP2013543322A (ja
Inventor
ペル フレイデー，
ペル フレイデー，
エイナルソン，　トルビェルン
トルビェルン エイナルソン，
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン（パブル）
テレフオンアクチーボラゲット エルエム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン（パブル）, テレフオンアクチーボラゲット エルエム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エルエム エリクソン（パブル）
Publication of JP2013543322A publication Critical patent/JP2013543322A/ja
Application granted granted Critical
Publication of JP5953307B2 publication Critical patent/JP5953307B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明の実施形態は、メディアストリーミングに関し、特に、トリックモードの実現に関する。
メディア、特にビデオのハイパーテキスト転送プロトコル（ＨＴＴＰ）ストリーミングに対する関心が高まっている。これは、２つの新しい特徴、すなわち適応性及びライブコンテンツを提供するために、単純なプログレッシブダウンロードを超えて発展した。これは、各々が例えば１０秒であるコンテンツの短い期間に対応する複数のセグメント又はファイルにコンテンツを分割することにより達成される。異なるセグメント及びそれらを取り出す場所を列挙するメディアプレゼンテーション記述（ＭＰＤ）としても既知であるマニフェストファイルがクライアントに提供される。クライアントはセグメントを１つずつ取り出す。リアルタイムストリーミングプロトコル（ＲＴＳＰ）等のプロトコルに基づくストリーミングサーバと異なり、サーバ又はキャッシュにおける状態を必要としないため、ＨＴＴＰ等の標準的なウェブプロトコルを介して取り出される異なるセグメント／ファイルへの分割はキャッシュ又はコンテンツ配信ネットワーク（ＣＤＮ）に対する負荷が小さいと言われる。
近年、３ＧＰＰはＰＳＳのリリース９においてＡＨＳ（Ａｄａｐｔｉｖｅ ＨＴＴＰ Ｓｔｒｅａｍｉｎｇ）と呼ばれるＨＴＴＰストリーミングに対する解決策を標準化した。拡張バージョンは３ＧＰ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）と呼ばれ、リリース１０において現在仕様が定められている。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は現在、３ＧＰＰ ＡＨＳに基づくＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）を標準化している。
ＨＴＴＰストリーミングに対する他の解決策と同様に、ＡＨＳ及びＤＡＳＨの解決策はクライアントによりサーバから取り出される２つの異なる種類のファイルを使用する。第１の種類は、セッション、特に入手可能な種々のコンテンツを記述するマニフェストである。ＡＨＳ及びＤＡＳＨにおいて、マニフェストはＭＰＤファイルであり、異なる期間及び期間内のメディアの異なる表現のセグメントに関する情報を提供する。第２の種類はメディア自体であり、これはメディアファイルに含まれる。ＡＨＳ及びＤＡＳＨにおいて、これらはＩＳＯ（国際標準化機構）のファイル形式に基づき、初期セグメント及びメディアセグメントから構成される。
メディア内を迅速にナビゲートするために、トリックモード並びに早送り又は巻き戻しによる別の再生速度を可能にすること、すなわちメディアストリームの表現を高速又は逆方向に再生することは一般的である。このように、ユーザはストリームを視覚的に探索し、所望の位置で通常再生を開始できる。
「早送り」の最も単純な方法は、ストリームを元の速度より速く再生することである。この方法は、多大な処理能力を必要とすること、並びにコンテンツがリモートサーバに存在する場合のダウンロード速度の上昇という欠点を有する。例えば、１０倍速で早送りするためには１０倍複雑な復号化が必要とされる。図１は、速度が通常の速度の２倍である早送りを示す。
早送りの単純な方法は、Ｉフレーム又はより正確にはランダムアクセスポイント（ＲＡＰ）、すなわちキーフレームのみを再生することである。これにより、Ｉフレーム間の距離に応じて複雑性が大幅に低減する。Ｉフレームを１つおきに復号化することにより更に速いトリックモードを実行できるが、ビデオが時間レベルを使用して符号化されていない場合、わずかな画像距離に対応するトリックモードを実行することは容易でない。図２は、早送りを可能にするためのＩフレーム間の飛び越しを示す。
本解決策の別の欠点は、オーバーヘッド（帯域幅の需要）が大きいことである。完全なストリーム（全フレーム）が受信機に送出される必要があり、受信機が「不要な」フレーム（フレームの大部分）をフィルタリング及び棄却する。
サンプルとも呼ばれるフレームは、時間レベルに分割される。１つの時間レベル内の全てのサンプルは、同一の時間レベル内のサンプル又は下位時間レベル内のサンプルのみに依存する。時間レベルをサポートするビデオコーデックの一例は、ビデオ符号化規格の最先端であるＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）である。これは、ピクチャ内の冗長に加えてピクチャ間の冗長の除去（Ｂ及びＰピクチャを使用する）を利用する複合コーデックである。
Ｈ．２６４は、独立フレームのサブセットがビットストリームから抽出され且つストリームの残りのピクチャのいずれも使用せずに復号化されるようにピクチャ間の依存を制限する複数の方法をサポートする。例えば、固定のピクチャグループ（ＧＯＰ）構造の場合にメディアストリーム内に定期的に出現するＩフレームが抽出される。他のオプションは、メディアストリームの時間レベルを抽出するために階層型のＢ及び／又はＰピクチャを利用することである。
時間スケーラビリティ符号化構造の一例を図３に示す。図３において、ピクチャ（Ｉ、Ｐ及びＢ）はそれらのレベル０、１、２又は３を用いて指標を付与される。１つの時間レベル内のサンプルは同一の時間レベル内のサンプル又は下位時間レベル内のサンプルのみに依存することが示される。
従って、異なる早送り（ｆｆ）速度（通常再生の倍速）は以下のようにして得られる。
８倍速の早送りは、レベル０のピクチャを使用することにより達成される。
４倍速の早送りは、レベル０及び１のピクチャを使用することにより達成される。
２倍速の早送りは、レベル０、１及び２のピクチャを使用することにより達成される。
通常再生は、全てのレベル０、１、２及び３に対応する。
３ＧＰＰ及びＭＰＥＧはそれぞれ、３ＧＰファイル形式及びＭＰ４ファイル形式をＨＴＴＰストリーミング配信形式とする。それらは、ＩＳＯベースメディアファイル形式に基づく。
３ＧＰ又はＭＰ４ファイルのファイル構造はオブジェクト指向であり、ファイルはボックスと呼ばれる一連のオブジェクトにより形成される。ボックスの構造はその種類により推測される。いくつかのボックスは他のボックスのみを含むが、大部分のボックスはデータを含む。ファイルの全てのデータはボックスに含まれる。
ファイルは、種類「ｍｏｏｖ」のムービーボックスに含まれる初期ムービーメタデータ部分及び種類「ｍｏｏｆ」のムービーフラグメントボックスに含まれる多くの増分ムービーフラグメントに分割される。各ムービーフラグメントはムービー（マルチメディアの提示）の時間を延長する。ムービーボックス及びムービーフラグメントボックスは、クライアントがメディアの提示を復号化及びレンダリングするために必要な情報を含むメタデータボックスである。実際のメディアデータは、種類「ｍｄａｔ」のメディアデータボックスに格納される。これらのボックス（「ｍｏｏｖ」、「ｍｏｏｆ」及び「ｍｄａｔ」）は全て最上位のボックスであり、すなわち、他のどんなボックスにも含まれず、ファイルのみに含まれる。
３ＧＰ−ＤＡＳＨ及びＭＰＥＧ ＤＡＳＨの場合、３ＧＰ及びＭＰ４ファイルのセグメント化されたバージョンが使用される。２つの主な種類のセグメントが存在する：
初期化セグメント：ムービーボックス（「ｍｏｏｖ」）を含むが、ムービーフラグメントを含まない。
メディアセグメント：１つ以上のムービーフラグメント（「ｍｏｏｆ」）とメディアデータボックス（「ｍｄａｔ」）内の対応するメディアデータとを含むが、ムービーボックスを含まない。
ＨＴＴＰストリーミングに対して上述したように、クライアントは最初に、関連する初期化セグメント及びメディアセグメントに対するポインタを含むＭＰＤを必要とする。その後、ＨＴＴＰストリーミングは、１つの初期化セグメント（あるいは、例えばオーディオ及びビデオのために並行表現が使用される場合は複数の初期化セグメント）をダウンロードすることでクライアントにより初期化される。その後、クライアントは、ＭＰＤ内に記述されるようにメディアセグメントをダウンロードすることにより、ＨＴＴＰストリーミングセッションを継続する。
ピクチャは、ファイル形式でアクセス単位として格納される。デフォルトでは、それらはビットストリーム内に復号化順に出現する。図４は、アクセス単位がデフォルトのビットストリーム順でムービーフラグメント内に格納される一例を示す。３つの時間レベル（０、１及び２）が存在する。
図４は、フラグメント内の異なる時間レベルを有するアクセス単位を復号化順に示す。すなわち、Ｉ（０）、Ｐ（４）、Ｂ（２）、Ｂ（１）、Ｂ（３）、Ｐ（８）、Ｂ（６）、Ｂ（５）、Ｂ（７）等である。括弧内の数字は提示順、すなわち、フレームが画面上にレンダリングされる順序を示す。すなわち、Ｉ（０）、Ｂ（１）、Ｂ（２）、Ｂ（３）、Ｐ（４）、Ｂ（５）、Ｂ（６）、Ｂ（７）、Ｐ（８）等である。Ｉ（０）、Ｐ（４）、Ｐ（８）、．．．、Ｐ（３６）は時間レベル０であり、Ｂ（２）、Ｂ（６）、．．．、Ｂ（３４）は時間レベル１であり、Ｂ（１）、Ｂ（３）、Ｂ（５）、Ｂ（７）、．．．、Ｂ（３３）、Ｂ（３５）は時間レベル２である。
クライアントが特定の時間レベルに属するサンプルのみをダウンロードしたい場合、必要以上のデータのダウンロードを回避するために複数のＨＴＴＰ ＧＥＴ ｂｙｔｅ−ｒａｎｇｅ要求を発行する必要がある。例えばクライアントが時間レベル０をダウンロードしたい場合、４倍速の早送りに対応するアクセス単位Ｉ（０）、Ｐ（４）、Ｐ（８）等をダウンロードする必要がある。２倍速の早送りの場合、時間レベル０及び１、すなわちアクセス単位Ｉ（０）、Ｐ（４）、Ｂ（２）、Ｐ（８）、Ｂ（６）等が必要である。
上述のように、トリックモードを実現するための従来技術の方法は、復号化の複雑性及び例えばＧＥＴ要求の発行である信号伝送オーバーヘッドに関するいくつかの欠点を有する。
本発明の実施形態の目的は、トリックモードを実現するための改善された解決策を達成することである。
目的は、サンプルグループ内の全てのサンプルが１つの時間レベルに属するようにトラック内のサンプルをサンプルグループに割り当てることと、クライアントが下位時間レベルから独立して１つの時間レベルにアクセスできるようにすることとにより達成される。このようにして、異なるフレームレートの再生に関するクライアントの融通性が向上し、その結果、帯域幅の利用が低減する。
本発明の実施形態の第１の態様によると、ファイルのシステムのトリックモードを可能にするコンテンツクリエータ（作成者）エンティティにおける方法が提供される。ファイルのシステムは少なくとも１つの初期化セグメント及び少なくとも１つのメディアセグメントを備え、少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、少なくとも１つの初期化セグメントは少なくとも１つのメディアセグメントの記述を備える。方法において、１つのトラック内の同一の時間レベルを有するメディアサンプルが識別され、１つのサンプルグループ内の全てのメディアサンプルが同一の時間レベルを有するようにメディアサンプルがサンプルグループにグループ化される。少なくとも１つの初期化セグメントにおいて、サンプルグループはサンプルグループの各々のサンプルの時間レベルを示す時間レベル情報を用いて印を付けられ、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能であるかを示す情報が少なくとも１つの初期化セグメント内に追加される。
本発明の実施形態の第２の態様によると、ファイルのシステムの所望の速度を用いるトリックモードを可能にするクライアントにおける方法が提供される。ファイルのシステムは少なくとも１つの初期化セグメント及び少なくとも１つのメディアセグメントを備え、少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、少なくとも１つの初期化セグメントは少なくとも１つのメディアセグメントの記述を備える。方法において、少なくとも１つのメディアセグメントの記述を備えるファイルの初期化セグメントが受信され、クライアントは、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報が含まれるかを識別するように構成される。時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報が含まれる場合、他のレベルから独立して復号化可能な時間レベルが判定される。セグメント毎に、所望の速度と下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能な時間レベルを示す情報とに基づいて、ダウンロードされるメディアセグメントの時間レベルが判定され、対応するメディアセグメントの初期化セグメントがダウンロードされ、メディアセグメントにおける関連する時間レベルの物理的場所が判定され、メディアセグメントの判定された時間レベルがダウンロードされる。
本発明の実施形態の第３の態様によると、ファイルのシステムのトリックモードを可能にするコンテンツクリエータエンティティが提供される。ファイルのシステムは少なくとも１つの初期化セグメント及び少なくとも１つのメディアセグメントを備え、少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、少なくとも１つの初期化セグメントは少なくとも１つのメディアセグメントの記述を備える。コンテンツクリエータエンティティは、１つのトラック内の同一の時間レベルを有するメディアサンプルを識別し、１つのサンプルグループ内の全てのメディアサンプルが同一の時間レベルを有するようにメディアサンプルをサンプルグループにグループ化し、少なくとも１つの初期化セグメントにおいて、サンプルグループの各々のサンプルの時間レベルを示す時間レベル情報を用いてサンプルグループに印を付け、且つ時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能であるかを示す情報を少なくとも１つの初期化セグメント内に追加するように構成されるプロセッサを備える。
本発明の実施形態の第４の態様によると、ファイルのシステムの所望の速度を用いるトリックモードを可能にするクライアントが提供される。ファイルのシステムは少なくとも１つの初期化セグメント及び少なくとも１つのメディアセグメントを備え、少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、少なくとも１つの初期化セグメントは少なくとも１つのメディアセグメントの記述を備える。クライアントは、少なくとも１つのメディアセグメントの記述を備えるファイルの初期化セグメントを受信するように構成される入出力部を備え、クライアントは、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報が含まれるかを識別するように構成され且つ他のレベルから独立して復号化可能な時間レベルを判定するように構成されるプロセッサを更に備え、プロセッサは、セグメント毎に、所望の速度と下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能な時間レベルを示す情報とに基づいて、ダウンロードされるメディアセグメントの時間レベルを判定するように構成される。入出力部は、対応するメディアセグメントに対する初期化セグメントをダウンロードするように構成され、プロセッサは、メディアセグメントにおける関連する時間レベルの物理的場所を判定するように構成される。更に、入出力部は、メディアセグメントの判定された時間レベルをダウンロードするように構成される。
本発明の実施形態の利点は、それらが３ＧＰ及びＭＰ４ファイルにより使用されるＨ．２６４に対する既存の格納形式との上位互換性を有することである。
図１は、従来技術に係る通常の速度及び高速再生による早送りを示す図である。 図２は、従来技術に係る通常の速度及びＢ／Ｐフレームをスキップすることによる早送りを示す図である。 図３は、従来技術に係る時間的スケーラビリティに対する階層型Ｂピクチャ符号化を示す図である。 図４は、従来技術に係るフラグメント内の異なる時間レベルを有するサンプルを復号化順に示す図である。 図５ａは、本発明の実施形態に係るコンテンツクリエータにおける方法を示すフローチャートである。 図５ｂは、本発明の実施形態に係るクライアントにおける方法を示すフローチャートである。 図６は、本発明の実施形態に係るクライアント及びコンテンツクリエータエンティティを概略的に示す図である。 図７は、本発明の実施形態に係るサンプルグループに分割された複数のサンプルを有するトラックを示す図である。
従って、トラック内のサンプルは階層型の時間レベルでグループ化され、それにより、クライアントは１つ以上のムービーフラグメントを含むメディアセグメント内のサンプルの時間レベルを推論できる。これは、トラック又はトラックフラグメントの全てのサンプルを時間レベルにグループ化するサンプルグループ化を使用することにより達成される。尚、時間レベルは時間層と呼ばれる場合もある。
上述のように、サンプルとも呼ばれるフレームは時間レベルに分割される。１つの時間レベル内の全てのサンプルは、同一の時間レベル内のサンプル又は下位時間レベル内のサンプルのみに依存する。
ＩＳＯ／ＩＥＣ １４４９６−１２：２００８「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ １２：ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ」及びＩＳＯ／ＩＥＣ １５４４４−１２：２００８「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−ＪＰＥＧ ２０００ ｉｍａｇｅ ｃｏｄｉｎｇ ｓｙｓｔｅｍ−Ｐａｒｔ１２：ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ」によると、サンプルグループ化とは、トラック内の各サンプルが１つのサンプルグループの要素となるようにグループ化基準に基づいてそれらを割り当てることである。サンプルグループ化におけるサンプルグループは連続するサンプルであることに限定されず、隣接しないサンプルを含んでもよい。トラック内のサンプルに対する２つ以上のサンプルグループ化が存在する場合があるため、各サンプルグループ化はグループ化の種類を示す種類フィールドを有する。例えばファイルは、同一のトラックに対して２つのサンプルグループ化、すなわち、時間レベルに対するサンプルの割り当てに基づくサンプルグループ化及び時間列に対する別のサンプルグループ化を含んでもよい。
サンプルグループ化は２つのリンクデータ構造により表される。（１）ＳａｍｐｌｅＴｏＧｒｏｕｐボックスはサンプルグループに対するサンプルの割り当てを表し、（２）ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスはグループの特性を記述する各サンプルグループに対するサンプルグループエントリを含む。異なるグループ化基準に基づくＳａｍｐｌｅＴｏＧｒｏｕｐ及びＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスの複数の例が存在する。それらは、グループ化の種類を示すために使用される種類フィールドにより区別される。
ムービーフラグメント内のサンプルグループ構造に対するサポートは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスをトラックフラグメントボックス（「ｔｒａｆ」）である当該ボックスのコンテナと共に使用することにより提供される。
ＳａｍｐｌｅＴｏＧｒｏｕｐボックスは、トラックフラグメント内のサンプルが属するグループ及び当該サンプルグループの関連する記述を見つけるために使用される。テーブルは、同一のサンプルグループ記述子を有する一連のサンプルのうちの第１のサンプルの指標を与える各エントリを用いて圧縮符号化される。サンプルグループ記述ＩＤは、各サンプルグループの特徴を記述するエントリを含み且つＳａｍｐｌｅＴａｂｌｅボックス内に存在するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎボックスを示す指標である。トラックフラグメント内のサンプルに対する２つ以上のサンプルグループ化が存在する場合、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスの多くの例が存在する。ＳａｍｐｌｅＴｏＧｒｏｕｐボックスの各例は、異なるサンプルグループ化を区別する種類コードを有する。関連するＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎは、グループ化の種類に対して同一の値を示す。
本発明の実施形態の第１の態様によると、ファイルのシステムのトリックモードを可能にするコンテンツクリエータエンティティにおける方法が提供される。ファイルのシステムは少なくとも１つの初期化セグメント及び少なくとも１つのメディアセグメントを備え、少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、少なくとも１つの初期化セグメントは少なくとも１つのメディアセグメントの記述を備える。図５ａのフローチャートに示すように、方法は以下を備える。
５０１．１つのトラック内の同一の時間レベルを有するメディアサンプルが識別される。
５０２．１つのサンプルグループ内の全てのメディアサンプルが同一の時間レベルを有するように、メディアサンプルがサンプルグループにグループ化される。
５０３．少なくとも１つの初期化セグメントにおいて、サンプルグループは各サンプルグループのサンプルの時間レベルを示す時間レベル情報を用いて印を付けられる。
５０４．時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能であるかを示す情報が少なくとも１つの初期化セグメント内に追加される。
一実施形態によると、時間レベル情報はサンプルグループ化の種類に関連し、時間レベル情報はサンプルグループ記述指標である。
更に、更なる一実施形態によると、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報が、サンプルグループ記述に含まれる。以下のサンプルグループ定義（「ｔｅｌｅ」）は、各レベル（グループ）に対する当該情報を示す。
ｃｌａｓｓ ＴｅｍｐｏｒａｌＬｅｖｅｌＥｎｔｒｙ（） ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（‘ｔｅｌｅ’）
{
ｂｉｔ（１） ｌｅｖｅｌ＿ｉｎｄｅｐｅｎｄｅｎｔｌｙ＿ｄｅｃｏｄａｂｌｅ；
ｂｉｔ（７） ｒｅｓｅｒｖｅｄ＝０
}
時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報を追加することにより、他のフレームレートに関する融通性が向上される。
本発明の実施形態の第２の態様によると、クライアントにおける方法が提供される。方法は、図５ｂのフローチャートに示す以下のステップを備える。
第１のステップ５１０において、サンプルグループ記述を含むファイルの初期化セグメントを受信する。クライアントは、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報が含まれるかを識別するように構成される。
時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能かを示す情報が含まれる場合（５１１）、他のレベルから独立して復号化可能な時間レベルを判定する（５１２）。
次に、所望の速度と下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能な時間レベルを示す情報とに基づいて、ダウンロードされるメディアセグメントの時間レベルを判定する（５１３）。
対応するメディアセグメントに対する初期化セグメントをダウンロードし、メディアセグメントにおける関連する時間レベルの物理的場所を判定する（５０８）。
メディアセグメントの判定された時間レベルをダウンロードする（５１４）。
セグメント毎にステップ５０７〜５０９を繰り返す（５１６）。
次に図６を参照する。本発明の実施形態によると、初期化セグメント６６０及びメディアセグメント６６５を備えるファイルのシステムは、メディアコンテンツクリエータエンティティ６１０により作成される。コンテンツクリエータエンティティ６１０は、プロセッサ６１２と、メモリ６１４と、メッセージを送受信するための入出力部６１６とを備える。プロセッサ６１２は、本明細書中で説明されるコンテンツクリエータエンティティの機能を実行するように構成され、メモリ６１４は、例えばファイル記述を有する初期化セグメント及びメディアセグメントを格納するように構成される。クライアント６２０は、プロセッサ６２２、メモリ６２４、並びにメッセージを送受信するための入出力部６２６を備える。プロセッサ６２２は、本明細書中で説明されるクライアントの機能を実行するように構成され、メモリ６２４は、例えばファイル記述を有する初期化セグメント及びメディアセグメントを格納するように構成される。メディアコンテンツクリエータ６１０の例はＴＶオペレータ及び電気通信オペレータであり、クライアント６２０の例はＰＣ、セットトップボックス、移動電話、パッド及びＴＶセットである。
図６に示すように、クライアント６２０は、ファイルのシステム６７０からの初期化セグメント６６０を求める要求を送出する（６５１）。コンテンツクリエータエンティティ６１０は要求された初期化セグメント６６０を送出し（６５２）、クライアント６２０は種類「ｍｏｏｖ」のムービーボックスに含まれるファイル記述情報を有する初期化セグメント６６０を受信する（６５３）。ファイル記述情報及びクライアントの所望の速度６４０に基づいて、クライアントは異なるメディアセグメント６６５を要求する（６５４）。メディアセグメントは、時間レベルに従ってサンプルグループに順序付けられたサンプルに対応する。その後、要求されたメディアセグメント６６５はクライアント６２０によりダウンロードされる（６５５）。
本発明の実施形態を更に説明するために、図７が提供される。図７は、異なる時間レベル１、２及び３のサンプルを有するトラックを示す。時間レベル１のサンプルを使用することにより１つの速度が提供され、時間レベル２のサンプルを使用することにより別の速度が提供され且つ時間レベル３のサンプルを使用することにより更に別の速度が提供されることが図７からわかる。従来技術の解決策において、１つの時間レベルのサンプルは下位時間レベルのサンプルに依存すると仮定される。本発明の実施形態を使用することにより、例えば時間レベル２及び１の双方のサンプルに加えて、例えば時間レベル２又は３のサンプルのみを使用できる。従って、１つの時間レベルのサンプルが下位時間レベルのサンプルから独立して使用されるようにすることにより、可能な速度の数に関する融通性が向上し、更に別の速度がトリックモードを実現するために提供される。
時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能であるかを示す情報は、トリックモードを実現するためにＩフレームのみが使用される場合にも有用である。Ｉフレームは異なる時間レベルに分割される。例えば、１つおきのＩフレームがレベル１であり、１つおきのＩフレームが時間レベル２である。Ｉフレームが他のどんなフレームにも依存しないため、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能であるかを示す本発明の実施形態に係る情報は、特定の速度を提供するトリックモードを実現するためにＩフレームのグループを選択するために使用可能である。従って、Ｉフレーム間で互いに依存しないが、時間レベル間の依存を示すことを本来は意図するパラメータが一部のＩフレームのみを使用する必要があることを示すために使用され、これにより融通性が向上する。
時間レベルにおけるビットストリームの別の例は、復号化順に、例えば
Ｉ0Ｐ1Ｐ2Ｐ3Ｉ4Ｐ5Ｐ6Ｐ7Ｉ8Ｐ9Ｐ10Ｐ11
のように、定期的なＩ（イントラ）フレームの間にＰ（予測）フレーム（Ｐ）を有することである。本例において、メディアコンテナ（ｍｄａｔ）は、１つのレベルがより容易にダウンロードされるように、Ｐフレームの前にＩフレームを単に移動することにより以下のように時間的に順序付けされる。
Ｉ0Ｉ8Ｉ4Ｐ1Ｐ2Ｐ3Ｐ5Ｐ6Ｐ7Ｐ9Ｐ10Ｐ11
尚、単一のイントラ速度の前に２倍のイントラ速度を可能にするために、イントラフレームは階層型に順序付けされる。従って、本例において、Ｉフレームに対する２つの時間レベルと、Ｉ及びＰフレームに対する１つの時間レベルとが存在する。
□例えばレベル１である基本レベルに対応するピクチャＩ0Ｉ8Ｉ16Ｉ24等を使用することにより、８倍速の早送りが達成される。
□例えばレベル１及び２である基本レベル及び１つ上のレベルに対応するピクチャＩ0Ｉ4Ｉ8Ｉ12等を使用することにより、４倍速の早送りが達成される。
□通常再生は、例えばレベル１、２及び３である全てのレベルに対応する全てのピクチャＩ0Ｐ1Ｐ2Ｐ3Ｉ4Ｐ5Ｐ6Ｐ7に対応する。
サンプル数に対する論理的な復号化順は、トラックフラグメントボックスにおいて各Ｉに対して１つのトラックランを使用し且つ後続の３つのＰに対して１つのトラックランを使用することにより達成される。
ｔｒｕｎ［Ｉ0］ ｔｒｕｎ［Ｐ1Ｐ2Ｐ3］ ｔｒｕｎ［Ｉ4］ ｔｒｕｎ［Ｐ5Ｐ6Ｐ7］ ｔｒｕｎ［Ｉ8］ ｔｒｕｎ［Ｐ9Ｐ10Ｐ11］
ここで、各ｔｒｕｎは、時間的に順序付けられた上述のメディアコンテナ（ｍｄａｔ）内のデータを指す。
従って、サンプルを異なる時間レベルに分割することにより、クライアントが何らかの時間レベルのサンプルをダウンロードするだけで必要な帯域幅を制限できるようになる。更に、１つ以上の時間レベルが他から独立して使用可能であることを知らせる可能性を追加することにより、ダウンロードされる異なる時間レベルのサンプルを選択する融通性が向上するため、必要な帯域幅の細分性が増す。
一実施形態によると、時間レベル情報はサンプルグループ化の種類に関連する。更なる一実施形態によると、サンプルグループ化の種類はサンプルグループ記述指標である。これは、１つのサンプルグループ内のサンプルの時間レベルがサンプル記述指標として示されることを意味する。
更に、更なる一実施形態によると、時間レベルが下位時間レベルのグループからのサンプルを使用せずに独立して復号化可能であるかを示す情報はサンプルグループ記述指標に含まれる。
一例として、サンプルの時間レベルに基づいて全てのサンプルをグループ化するために、「ｔｅｌｅ」と示される時間レベルに関連するグループ化の種類が導入される。一実施形態によると、トラックフラグメントボックス（ｔｒａｆ）に含まれるＳａｍｐｌｅ−Ｔｏ−Ｇｒｏｕｐボックス（ｓｂｇｐ）は、このグループ化の種類に従ってサンプルグループ化を定義する。グループ記述指標は時間レベルに対応し、通常は、１、２、３等の連続する値をとる。
他の実施形態において、時間レベルに関する更なる情報が、例えばグループ化の種類「ｔｅｌｅ」に対するサンプルグループ記述と共に供給される。
ｃｌａｓｓ ＴｅｍｐｏｒａｌＬｅｖｅｌＥｎｔｒｙ（）
ｅｘｔｅｎｄｓ ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＥｎｔｒｙ（‘ｔｅｌｅ’）{
ｕｎｓｉｇｎｅｄ ｉｎｔ（８） ｒａｔｅ＿ｆａｃｔｏｒ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（３２） ｄａｔａ＿ｏｆｆｓｅｔ；
}
ここで、パラメータｒａｔｅ＿ｆａｃｔｏｒは、現在の時間レベル及び下位時間レベルの全サンプルを元のサンプルレートで再生することにより達成される増加した時間進行に対応する正の整数である。尚、時間レベルはグループ記述指標であってもよい。
パラメータｄａｔａ＿ｏｆｆｓｅｔは、このグループ記述の時間レベルを有する格納ファイルの先頭に対する第１のサンプルの先頭を指す整数である。
更に、パラメータｄａｔａ＿ｏｆｆｓｅｔは、トラックフラグメントヘッダボックスにおいて確立される黙示的又は明示的なｄａｔａ＿ｏｆｆｓｅｔに追加されてもよく且つ／あるいはパラメータｄａｔａ＿ｏｆｆｓｅｔはサンプルグループ記述において省略されてもよい。
別の代替例によると、時間レベルはグループ記述指標と同一である代わりに整数値としてサンプルグループ記述内に黙示的に含まれ且つ／あるいは時間レベルはグループ記述指標−１又は他の何らかの整数に更に対応してもよい。
本発明の更に別の実施形態において、メディアセグメントのセグメントタイプボックス（ｓｔｙｐ）内にブランド「ｔｅｌｅ」が存在することにより、下位時間レベルのサンプルが上位時間レベルのサンプルに先行するようにセグメントのメディアデータがグループ化されることを知らせる。本例において、上述のようなサンプルグループ化は、レベル数及びファイルにおけるそれらの場所に関する更なる情報をクライアントに提供する。
メディアセグメントのｓｔｙｐ内のブランド「ｔｅｌｅ」の存在により、メディアセグメントが時間的に順序付けされたレベルに関する情報を少しでも搬送するかをクライアントに事前に知らせる。ブランドはセグメントにおいて最初に知らせるため、クライアントがセグメントのダウンロードを開始する場合にセグメント内の後方の時間レベル情報を探すことに意味があるかを非常に迅速にチェックできる。

Claims (14)

  1. ファイルのシステムのトリックモードを可能にするコンテンツ作成計算デバイスにおける方法であって、
    ここで、前記ファイルは少なくとも１つの初期化セグメントと少なくとも１つのメディアセグメントを有し、
    前記少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、
    前記少なくとも１つの初期化セグメントは前記少なくとも１つのメディアセグメントの記述を備え、前記方法は、
    １つのトラック内の同一の時間レベルを有するメディアサンプルを識別するステップと、
    １つのサンプルグループ内の全てのメディアサンプルが同一の時間レベルを有するように前記メディアサンプルをサンプルグループにグループ化するステップと、
    前記少なくとも１つの初期化セグメントにおいて、前記サンプルグループの各々の前記メディアサンプルの前記時間レベルを示す時間レベル情報を用いて前記サンプルグループに印を付けるステップと、
    下位時間レベルのメディアサンプルを使用せずに独立して復号化可能であるゼロ、より大きい時間レベルを持つ少なくとも１つのサンプルグループを示す情報を、前記少なくとも１つの初期化セグメント内に追加するステップと、
    前記サンプルグループごとの選択的ダウンロードとトリックモードを可能とするために、前記少なくとも１つの初期化セグメントをクライアント計算デバイスに送信するステップと
    を備えることを特徴とする方法。
  2. 前記時間レベル情報はサンプルグループ化の種類に関連することを特徴とする請求項１に記載の方法。
  3. 前記時間レベル情報はサンプルグループ記述指標であることを特徴とする請求項２に記載の方法。
  4. 前記サンプルグループ記述指標は、所与の時間レベル及び下位時間レベルの全メディアサンプルを元のサンプルレートで再生することにより、前記所与の時間レベルを持つ所与のサンプルグループについて達成される増加した時間進行を表す正の整数であるｒａｔｅ＿ｆａｃｔｏｒパラメータを備えることを特徴とする請求項３に記載の方法。
  5. 前記サンプルグループ記述指標は、前記メディアサンプルの前記時間レベルを有するメディアセグメントの先頭に対する第１のメディアサンプルの先頭を指す整数であるｄａｔａ＿ｏｆｆｓｅｔパラメータを備えることを特徴とする請求項３に記載の方法。
  6. 前記追加される情報はサンプルグループ記述に含まれることを特徴とする請求項１に記載の方法。
  7. 前記メディアセグメントのセグメントタイプボックス（ＳＴＹＰ）内の予め定義されたパラメータが、下位時間レベルのメディアサンプルが上位時間レベルのメディアサンプルに先行するように前記メディアセグメントのメディアサンプルがグループ化されることを知らせるために使用されることを特徴とする請求項１に記載の方法。
  8. ファイルのシステムのトリックモードを可能にするコンテンツ作成装置であって、
    ここで、前記ファイルは、少なくとも１つの初期化セグメントと少なくとも１つのメディアセグメントを有し、
    前記少なくとも１つのメディアセグメントは複数のメディアサンプルを有する少なくとも１つのトラックを備え、
    前記少なくとも１つの初期化セグメントは前記少なくとも１つのメディアセグメントの記述を備え、
    前記コンテンツ作成装置は、
    １つのトラック内の同一の時間レベルを有するメディアサンプルを識別し、
    １つのサンプルグループ内の全てのメディアサンプルが同一の時間レベルを有するように前記メディアサンプルをサンプルグループにグループ化し、
    前記少なくとも１つの初期化セグメントにおいて、前記サンプルグループの各々の前記メディアサンプルの前記時間レベルを示す時間レベル情報を用いて前記サンプルグループに印を付け、且つ
    下位時間レベルのメディアサンプルを使用せずに独立して復号化可能であるゼロ、より大きい時間レベルを持つ少なくとも１つのサンプルグループを示す情報を、前記少なくとも１つの初期化セグメント内に追加し、且つ、
    前記サンプルグループごとの選択的ダウンロードとトリックモードを可能とするために、前記少なくとも１つの初期化セグメントをクライアント計算デバイスに送信する
    ように構成されるプロセッサを備えることを特徴とするコンテンツ作成装置。
  9. 前記時間レベル情報はサンプルグループ化の種類に関連することを特徴とする請求項８に記載のコンテンツ作成装置。
  10. 前記時間レベル情報はサンプルグループ記述指標であることを特徴とする請求項９に記載のコンテンツ作成装置。
  11. 前記サンプルグループ記述指標は、所与の時間レベル及び下位時間レベルの全メディアサンプルを元のサンプルレートで再生することにより、前記所与の時間レベルを持つ所与のサンプルグループについて達成される増加した時間進行を表す正の整数であるｒａｔｅ＿ｆａｃｔｏｒパラメータを備えることを特徴とする請求項１０に記載のコンテンツ作成装置。
  12. 前記サンプルグループ記述指標は、前記メディアサンプルの前記時間レベルを有するメディアセグメントの先頭に対する第１のサンプルの先頭を指す整数であるｄａｔａ＿ｏｆｆｓｅｔパラメータを備えることを特徴とする請求項１０に記載のコンテンツ作成装置。
  13. 前記追加される情報はサンプルグループ記述に含まれることを特徴とする請求項８に記載のコンテンツ作成装置。
  14. 前記メディアセグメントのセグメントタイプボックス（ＳＴＹＰ）内の予め定義されたパラメータが、下位時間レベルのメディアサンプルが上位時間レベルのメディアサンプルに先行するように前記メディアセグメントのメディアサンプルがグループ化されることを知らせるために使用されることを特徴とする請求項８に記載のコンテンツ作成装置。
JP2013532748A 2010-10-05 2011-10-03 クライアント、コンテンツクリエータエンティティ及びそれらがメディアストリーミングする方法 Active JP5953307B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38988410P 2010-10-05 2010-10-05
US61/389,884 2010-10-05
PCT/SE2011/051176 WO2012047158A1 (en) 2010-10-05 2011-10-03 A client, a content creator entity and methods thereof for media streaming

Publications (2)

Publication Number Publication Date
JP2013543322A JP2013543322A (ja) 2013-11-28
JP5953307B2 true JP5953307B2 (ja) 2016-07-20

Family

ID=45464070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013532748A Active JP5953307B2 (ja) 2010-10-05 2011-10-03 クライアント、コンテンツクリエータエンティティ及びそれらがメディアストリーミングする方法

Country Status (6)

Country Link
US (4) US9137555B2 (ja)
EP (1) EP2625867A1 (ja)
JP (1) JP5953307B2 (ja)
KR (1) KR101620151B1 (ja)
CN (1) CN103141115B (ja)
WO (1) WO2012047158A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2786812C (en) * 2010-01-18 2018-03-20 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for supporting playout of content
KR101739272B1 (ko) * 2011-01-18 2017-05-24 삼성전자주식회사 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법
US9590814B2 (en) 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US8407747B1 (en) * 2012-03-13 2013-03-26 Google Inc. Adaptive trick play streaming
US9438883B2 (en) * 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
US20130282917A1 (en) * 2012-04-24 2013-10-24 Vid Scale, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
US8924582B2 (en) * 2012-07-09 2014-12-30 Futurewei Technologies, Inc. Dynamic adaptive streaming over hypertext transfer protocol client behavior framework and implementation of session management
US9282348B2 (en) * 2012-08-13 2016-03-08 Disney Enterprises, Inc. Content based partitioning of digital media content
EP2946539B1 (en) * 2013-01-17 2020-09-02 Intel IP Corporation Dash-aware network application function (d-naf)
US9307021B2 (en) * 2013-02-27 2016-04-05 Comcast Cable Communications, Llc Adaptive media transmission processing
US20150350622A1 (en) 2014-05-30 2015-12-03 Apple Inc. Packed i-frames
WO2015195463A1 (en) * 2014-06-18 2015-12-23 Arris Enterprises, Inc. Trick-play streams for adaptive bitrate streaming
GB2528039A (en) * 2014-07-01 2016-01-13 Canon Kk Method for identifying objects across time periods and corresponding device
WO2016033056A1 (en) 2014-08-26 2016-03-03 Ctera Networks, Ltd. A method and computing device for allowing synchronized access to cloud
US20170272691A1 (en) * 2014-12-22 2017-09-21 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US9928297B2 (en) * 2015-02-11 2018-03-27 Qualcomm Incorporated Sample grouping signaling in file formats
WO2016205733A1 (en) * 2015-06-19 2016-12-22 Huawei Technologies Co., Ltd. Template uniform resource locator signing
US20170111642A1 (en) * 2015-10-14 2017-04-20 Qualcomm Incorporated Support of random access and switching of layers and sub-layers in multi-layer video files
EP3384674A1 (en) 2015-12-04 2018-10-10 Telefonaktiebolaget LM Ericsson (publ) Technique for adaptive streaming of temporally scaling media segment levels
US11546402B2 (en) * 2019-01-04 2023-01-03 Tencent America LLC Flexible interoperability and capability signaling using initialization hierarchy
GB2597642B (en) * 2020-06-16 2023-08-02 Canon Kk Method, device, and computer program for encapsulating media data into a media file
CN115474053B (zh) * 2021-06-11 2025-03-25 腾讯科技（深圳）有限公司 一种媒体数据的处理方法及相关设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US20030061368A1 (en) * 1997-03-17 2003-03-27 Navin Chaddha Adaptive right-sizing of multicast multimedia streams
KR20020032803A (ko) * 2000-10-27 2002-05-04 구자홍 스트리밍 서비스를 위한 파일 구조
US6970640B2 (en) * 2001-05-14 2005-11-29 Microsoft Corporation Systems and methods for playing digital video in reverse and fast forward modes
DE10392281T5 (de) * 2002-02-25 2005-05-19 Sony Electronics Inc. Verfahren und Vorrichtung zum Untersützten von AVC in MP4
GB2403835B (en) 2002-04-29 2005-11-23 Sony Electronics Inc Apparatus and method for providing supplemental enhancement information associated with multimedia data
WO2004012037A2 (en) * 2002-07-26 2004-02-05 Prediwave Corporation On-the-fly mpeg trick mode processing
JP2006502677A (ja) * 2002-10-07 2006-01-19 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 無制約及びリフティング型動き補償時間フィルタ処理のための効率的動きベクトル予測
FR2864407B1 (fr) * 2003-12-22 2006-03-10 Canon Kk Procede et dispositif de transmission continue d'une video dans un reseau de communication
US20060037057A1 (en) * 2004-05-24 2006-02-16 Sharp Laboratories Of America, Inc. Method and system of enabling trick play modes using HTTP GET
KR100666325B1 (ko) 2004-12-15 2007-01-09 삼성전자주식회사 메모리 셀 어레이 블록 할당 방법, 메모리 셀 어레이블록의 어드레싱 방법 및 이를 이용한 반도체 메모리 장치
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
JP2009506626A (ja) * 2005-08-26 2009-02-12 トムソン ライセンシング 時間的レイヤー化を使ったトリック再生
CN101690229A (zh) * 2007-06-26 2010-03-31 诺基亚公司 用于指示时间层切换点的系统和方法
KR101651137B1 (ko) * 2010-07-19 2016-08-25 엘지전자 주식회사 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
US8930562B2 (en) * 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US8806050B2 (en) * 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data

Also Published As

Publication number Publication date
US20130185756A1 (en) 2013-07-18
US20170149858A1 (en) 2017-05-25
US20180048692A1 (en) 2018-02-15
EP2625867A1 (en) 2013-08-14
WO2012047158A1 (en) 2012-04-12
US9137555B2 (en) 2015-09-15
CN103141115A (zh) 2013-06-05
KR20130139970A (ko) 2013-12-23
US10110654B2 (en) 2018-10-23
US9560398B2 (en) 2017-01-31
KR101620151B1 (ko) 2016-05-12
JP2013543322A (ja) 2013-11-28
US9807142B2 (en) 2017-10-31
US20150350728A1 (en) 2015-12-03
CN103141115B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
JP5953307B2 (ja) クライアント、コンテンツクリエータエンティティ及びそれらがメディアストリーミングする方法
JP6839257B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP6516766B2 (ja) 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム
KR101750048B1 (ko) 변속 재생 서비스 제공 방법 및 장치
US9699486B2 (en) Method and apparatus for transmitting and receiving data
KR101737325B1 (ko) 멀티미디어 시스템에서 멀티미디어 서비스의 경험 품질 감소를 줄이는 방법 및 장치
CN110089122B (zh) 用于检索媒体数据的方法、媒体装置及计算机可读存储媒体
CN103843301B (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
CA2758237C (en) Media container file management
US10863211B1 (en) Manifest data for server-side media fragment insertion
CN103974147A (zh) 一种基于mpeg-dash协议的带有码率切换控制和静态摘要技术的在线视频播控系统
US11805303B2 (en) Method and apparatus for storage and signaling of media segment sizes and priority ranks
AU2018299983A1 (en) Processing media data using a generic descriptor for file format boxes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R150 Certificate of patent or registration of utility model

Ref document number: 5953307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250