JP2017527230A - コンテンツを配信および／または再生するための方法及び装置 - Google Patents
コンテンツを配信および／または再生するための方法及び装置 Download PDFInfo
- Publication number
- JP2017527230A JP2017527230A JP2017515038A JP2017515038A JP2017527230A JP 2017527230 A JP2017527230 A JP 2017527230A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017527230 A JP2017527230 A JP 2017527230A
- Authority
- JP
- Japan
- Prior art keywords
- content
- image
- stream
- view
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000012913 prioritisation Methods 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 155
- 230000008859 change Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 13
- 210000005069 ears Anatomy 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010348 incorporation Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000034423 Delivery Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004826 seaming Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Transfer Between Computers (AREA)
Abstract
コンテンツ配信及び再生方法と装置が記載される。方法と装置は、３６０度環境に対応して、コンテンツの配信と再生のために良好に適用され、スポーツゲーム等のイベントに対応して、例えば、イベントが進行中の間、または、イベントが終了した後、例えば、３Ｄコンテンツ等のコンテンツのストリーミング、及び／または、リアルタイム配信をサポートするために使用され得る。環境の部分は、異なる位置に設けられたカメラによって取り込まれる。異なる場所から取り込まれたコンテンツは、エンコードされ、配信のために利用可能にされる。再生デバイスは、ユーザの頭の位置に基づいて、受け取られるべきコンテンツを選択する。ストリームは、ユーザの現在の視界、及び／または、頭の回転の方向に基づいて、優先度付けされ、配信のために選択され得る。静止画像または合成された画像が、例えば、背景、空、及び／または、地面のために使用され、１つ以上のストリームからのコンテンツと組み合され得る。
Description
[0001] 本発明は、コンテンツ配信及び／または再生、例えば、立体視画像コンテンツの再生、に関する。
[0002] 没入型の体験を提供することを意図しているディスプレイデバイスは、通常、ユーザが、頭を回すと、表示されたシーンの対応する変化を体験することを可能にする。
ヘッドマウントディスプレイは、時に、ユーザの頭の位置が変わると変化して表示されるシーンでもって、ヘッドマウントディスプレイを装着している間にユーザが向きを変えることができる、３６０度の視野をサポートする。
ヘッドマウントディスプレイは、時に、ユーザの頭の位置が変わると変化して表示されるシーンでもって、ヘッドマウントディスプレイを装着している間にユーザが向きを変えることができる、３６０度の視野をサポートする。
[0003] そのような装置を用いると、ユーザは、前を見ている時にはカメラ位置の正面で取り込まれたシーンを提示され、ユーザが完全に振り向いたときにはカメラ位置の後ろで取り込まれたシーンを提示されるべきである。ユーザが後方に頭を向けることができるが、任意の時点で限られた視界を知覚する人間の能力の性質により、任意の時点で、ユーザの視界は、通常、１２０度以下に制限される。
[0004] ３６０度の視野をサポートするために、見るために利用可能にされるべき３６０度シーンを生成するために画像が組み合わされるよう、３６０度シーンは、複数のカメラを使用して取り込まれる。
[0005] ３６０度視野は、通常のテレビや、時間の特定の点で表示されるべき画像を決定するために用いられる視野角を変更する機会をユーザが持たない多くの他の画像アプリケーションのために通常取り込まれ、エンコードされる単純な前方視野よりかなり多くの画像データを含むことを理解すべきである。
[0006] ストリーミングされているコンテンツに関連した、例えば、ネットワークデータ制約等の伝送制約があって、コンテンツを受信し、相互作用することを求めている全ての顧客に、フル高解像度映像で完全な３６０度視野をストリーミングすることは可能でないかもしれない。これは、特に、コンテンツが、３Ｄ視界効果を可能にするために、左と右眼の視野に対応するように意図された画像コンテンツを含む立体視コンテンツである場合である。
[0007] 上記説明の観点で、個々のユーザが、例えば、彼または彼女の頭を振り向くことによって、見る位置を変更し、環境の所望の部分を視ることを可能にするような方法で、コンテンツのストリーミング及び／または再生をサポートするための方法及び装置へのニーズがあることが理解されるべきである。ユーザは、帯域幅または他の配信関連の制約により適用し得るデータストリーミング制約内に留まりながら、彼／彼女の頭の位置を変え、結果、視野方向を変える選択肢を与えられたならば、望ましいであろう。全ての実施形態のために必要なわけではないが、異なる場所にいる複数のユーザが、同時にストリームを受信し、他のユーザによって見られている部分や複数の部分に拘わらず、彼らが望む環境のどんな個々の部分でも見ることを、少なくともいくつかの実施形態が可能にすることが望まれる。
[0008] ３６０度の視野領域に対応する映像または他のコンテンツの配信、例えば、ストリーミング、をサポートする方法及び装置が記載される。本発明の方法と装置は、特に、データ伝送制約が、３６０度のコンテンツの配信について、最大のサポート品質レベルで、例えば、最良の品質の符号化や最も高いサポートフレームレートを用いて、配信することを困難にするような立体視及び／または他の画像コンテンツのストリーミングのために良く適している。しかし、方法は、立体視コンテンツに限定されるものではない。
[0009] 様々な実施形態において、画像コンテンツが得られる環境の３Ｄ（３次元）モデル及び／または対応する３Ｄ情報が生成され、及び／または、アクセスされる。環境の中でのカメラ位置がドキュメント化される。複数の個々のカメラ位置が環境内に存在し得る。例えば、異なる最終目標カメラ位置と１つ以上の中間フィールドカメラの位置がサポートされ、リアルタイムのカメラ送りを取り込むために用いられ得る。
[00010] ３Ｄモデル及び／または他の３Ｄ情報は、１人以上のユーザに映像をストリーミングするために使用されるサーバまたは画像取り込み装置に記憶される。
[00011] ３Ｄモデルは、画像描画及び合成能力を有する、例えば、顧客宅内装置等のユーザ再生デバイスに提供される。顧客宅内装置は、例えば、ヘッドマウントディスプレイを介して、顧客宅内装置のユーザに表示される環境の３Ｄ表現を生成する。
[00012] 様々な実施形態において、完全な３６０度環境より少ないものが、任意の時点で、個々の顧客宅内機器にストリーミングされる。顧客宅内装置は、ユーザ入力に基づいて、どのカメラ送りがストリーミングされるべきかを示す。ユーザは、顧客宅内装置の一部であるか取り付けられている入力デバイスを介して、コート及び／またはカメラの位置を選択し得る。
[00013] いくつかの実施形態では、１８０度の映像ストリームは、例えば、ライブの、リアルタイムの、または、ほぼリアルタイムのストリーム等、コンテンツをストリーミングするために責任があるサーバ及び／または映像カメラから顧客の再生デバイスに伝送される。再生デバイスはユーザの頭の位置を監視し、従って、再生デバイスは、再生デバイスのユーザが再生デバイスにより生成されている３Ｄ環境内で見ている視野領域を知る。顧客宅内装置は、映像コンテンツがない状態において提示されるシミュレートされた３Ｄ環境を置き換える、または、その代替として表示される３Ｄ環境の部分のために利用可能である場合、映像を提示する。再生デバイスのユーザが彼または彼女の頭を振ると、ユーザに提示される環境の部分は、３Ｄモデルから合成的に生成された、及び／または、映像コンテンツとは異なるときに取り込まれた以前に供給された画像コンテンツである他の部分とともに、再生デバイスに供給された（例えば、ストリーミングされた）映像コンテンツからであってよい。
[00014] 従って、再生デバイスは、ゲーム、音楽コンサート、または、他のイベントが、例えば、正面の１８０度カメラ視野に対応して進行中である間、完全に合成的に、または、異なる回の環境の側部または後部領域の画像コンテンツからの何れかで生成される３Ｄ環境の後部及び／または側部とともに、例えば、ストリーミングを介して供給された、映像を表示し得る。
[00015] ユーザは、ストリーミングコンテンツを提供するサーバに位置の変化の信号を送ることによって、カメラの位置の間で選択をすることができるが、ストリーミングコンテンツを提供するサーバは、ストリーミングされていない３Ｄ環境の部分のための合成の環境を生成するのに有用な情報を提供し得る。
[00016] 例えば、いくつかの実施形態では、複数の後ろや側部の視野が、例えば、コンテンツの部分をストリーミングする以前、または、時間的に早い時点から、異なる回に取り込まれる。画像は、再生デバイスにバッファされる。コンテンツを提供するサーバは、リアルタイムでないシーンまたは画像のどの組が映像ストリームの中で供給されていない環境の部分の合成のために使用されるべきかを、再生デバイスに信号伝送できる、及び、いくつかの実施形態では信号伝送する。例えば、カメラ位置の後ろに座っているコンサート参加者の画像と立っている参加者の別の画像とが、再生デバイスに供給され、記憶され得る。サーバは、記憶された画像データのどの組が特定の時点で使用されるべきかを信号伝送できる。従って、観客が立っているとき、サーバは、立っている観客に対応する画像が画像合成の間に背景の１８０度視野のために用いられるべきであると信号伝送し得、他方、観客が座っているとき、サーバは、３Ｄカメラ環境の側部または後部を合成するときに、座っている観客に対応する画像または画像合成情報を用いるべきであることを、顧客宅内装置に示し得る。
[00017] 少なくともいくつかの実施形態において、３Ｄ環境における１つ以上の位置の各々におけるカメラの向きは、画像取り込みの間、追跡される。環境におけるマーカ及び／または識別する点は、顧客宅内装置によってシミュレートされるべき以前にモデル化された及び／またはマッピングされた３Ｄ環境への、例えば、ライブ画像等の取り込まれた画像の配列及び／またはその他のマッピングを容易にするために使用され得る。
[00018] 合成環境部分と現実（ストリーミングされた映像）の混合は、臨場感あふれる映像体験を提供する。環境は、映像が利用可能でないとき、例えば、環境が以前にモデル化されていない場合、環境をシミュレートするために使用される３Ｄ情報を生成するのに３Ｄ測光を用いて測定され、または、モデル化され得、時にはそうされる。
[00019] 決定された場所での現実空間における基準マーカの使用は、映像の以前に生成された３Ｄモデルとのキャリブレーションと位置合わせを助ける。
[00020] 各カメラの位置追跡は、映像が取り込まれながら実装される。会場に対するカメラの位置情報、例えば、それは、Ｘ、Ｙ、Ｚと、度での偏揺角（それによって、各カメラが何処を指しているかを知る）をマッピングする。これは、取り込まれた画像が環境のどの部分に対応するかの簡単な検出を可能にし、取り込まれた映像とともに再生デバイスに通信される場合、我々の映像取り込みを、ユーザへの再生等の画像提示の間に再生デバイスによって生成される合成の環境で自動的にオーバーレイするような再生を可能にする。ストリーミングされたコンテンツは、カメラ位置の正面の領域の取り込まれた１８０度の視野等の３６０度より少ない視野に制限され得る。見る者が周りを見まわすと、見る者は、後ろを向いたときにシミュレートされた背景（黒い空虚ではない）を見、見る者は、正面を向いたときに映像を見る。
[00021] 合成環境は相互作用し得、いくつかの実施形態ではそうである。いくつかの実施形態では、異なる顧客宅内装置のユーザ等の複数の実際の見る者は、ユーザが仮想３Ｄ環境において彼／彼女の友達とゲームを視ることができ、ユーザが現実にスタジアムにいるようにみえるよう、シミュレートされた環境に含まれる。
[00022] ユーザの画像は、シミュレートされた環境を生成することにおける使用のために、顧客宅内装置に含まれた、または、取り付けられたカメラによって取り込まれ、サーバに供給され、グループのメンバ等の他のユーザに提供され得、いくつかの実施例ではそうされる。
[00023] 方法は、符号化し、リアルタイムで、または、ほぼリアルタイムでコンテンツをエンコードし、提供するために使用され得るが、このようなリアルタイム用途に限定されない。複数のユーザへのリアルタイムやほぼリアルタイムのエンコーディングとストリーミングをサポートする能力を与えられ、この中に記載された方法及び装置は、個々人がイベントを見て、ステージやフィールドを注視するだけでなく、振り向いて、スタジアムや観客等の環境を見ることを鑑賞することができることを好む、スポーツイベント、コンサート、及び／または、他の会場のシーンをストリーミングするために好適である。３６０度視野と３Ｄをサポートすることによって、本発明の方法と装置は、ユーザが環境中に居て、ユーザの頭部が左、右、または、後ろを向いたとした場合にあるように、向きを変えて、異なる視野角からシーンを注視する自由度をもった３Ｄ没入体験をユーザに提供することが意図されたヘッドマウントディスプレイとともに使用するために好適である。
[00024] 例えば、３６０度視界に対応したコンテンツ等の画像コンテンツを通信するための方法及び装置が記載される。様々な実施形態において、視界は、環境の異なる部分、例えば、前部、少なくとも１つの後ろの部分、頂部、及び、底部、に対応する。いくつかの実施形態において、環境の左と右の後部例えば、背部、は、別々に生成され、及び／または、通信される。再生デバイスは、ユーザの頭の位置を監視し、例えば、ユーザが所定の時間に見ている環境の部分に対応し、その時、ユーザに表示される立体視画像等の画像を生成する。立体視再生の場合には、別個の左と右の眼の画像が生成される。生成された画像は、例えば、環境の部分等の１つ以上のシーンに対応して行われ得、いくつかの実施態様では行われる。
[00025] 再生の起動時に、ユーザの前方を見る頭のレベル位置が、デフォルトとして、前方シーン部分に対応するように設定される。ユーザが彼／彼女の頭を回し、及び／または、彼または彼女の頭を上げるか下げるかずると、環境の他の部分がユーザの視界に入って来ることができる。
[00026] 多くの再生デバイスの帯域幅及び画像デコード機能は、装置の処理容量及び／または画像コンテンツを受信するための帯域幅によって制限される。いくつかの実施形態では、再生デバイスは、環境のどの部分がユーザの主たる視界に対応するかを決定する。そして、装置は、ストリームが、優先度の観点から、主要なストリームとして指定されて、例えば、フル解像度等の高いレートで受信されるべき当該部分を選択する。環境の他の部分に対応するコンテンツを提供する１つ以上の他のストリームからのコンテンツも受け取られ得るが、通常は、より低いデータレートである。特定のストリームのためのコンテンツ配信は、例えば、コンテンツ配信をトリガするために使用される信号を送ることにより、再生デバイスによって起動され得る。信号は、環境の部分に対応するコンテンツを提供する、または、切り替えられるデジタル放送の配信を開始するマルチキャストグループに参加するために使用され得る。マルチキャストグループ参加信号等の要求または他の信号を必要としない放送コンテンツの場合には、装置は、コンテンツが利用可能になっているチャネルに同調することによって受信を開始し得る。
[00027] コンテンツが、スポーツイベント、ロックコンサート、ファッションショー、または、いくつかの様々なイベントに対応する場合、前方視野部分は、主たるアクションが通常特に進行する場所であるので、ユーザが、通常、環境の前方視野部分に主たる関心をもっているとして、いくつかの実施形態では、環境の前方視野部分は、データ伝送優先度が与えられる。少なくともいくつかの実施形態では、前方視野部分に対応する画像は、３６０度環境の１つ以上の他の部分よりも高いレートでストリーミングされる。環境の他の部分に対応する画像は、より低いデータレートで送信されるか、または、静止画像として送られる。例えば、１つ以上の静的画像、例えば、空等の頂部、地面等の底部、が送信され得る。
[00028] いくつかの実施形態において、取り込まれた複数の静止画像が、後方視野部分または空部分等の環境の１つ以上の部分のために送信される。いくつかの実施形態では、制御情報が、環境の部分のために静止画像のどの１つが所与の時間に使用されるべきかを示して、送信される。環境の部分のための静止画像が送られる場合において、それらはエンコードされた形式で送られ、そして、他の画像内容との組み合わせで使用するためにデコードされた形式でメモリに記憶される。この方法では、イベントの間に必要とされるデコード用のリソースは、複数のストリームが同じフレームレートで並行してデコードされる必要がないので、低減され得る。静止画像は、メインイベントのコンテンツをストリーミングする前に送信されてもよい。代替的に、前方視野位置からユーザの頭の位置に変化があって、再生の間にそれらが必要となった場合に、いくつかの画像が環境の異なる部分のために送信され、記憶されてもよい。静止の、または、たまにしか変わらない画像は、前方視界方向等の主たるコンテンツを提供するコンテンツストリームの一部としてエンコードされ、送信されてもよく、または、別個のコンテンツストリームとして送られてもよい。
[00029] 環境の前方部分に対応するコンテンツは、例えば、リアルタイムで等、イベントが進行中の間に取り込まれ、ストリーミングされるコンテンツを含み得る、及び、多くの場合には含むが、後方に対応する静止画像は、イベントの前に取り込まれた画像であってよく、時には、そうである。
[00030] 例えば、２つの異なる後部視野シーンが通信され、再生デバイスに記憶される場合を考える。１つのシーンは立った位置である観客に対応し、他の画像は座った位置にある観客に対応し得る。ユーザが、環境の後ろ部分が可視となる位置に彼／彼女の頭を向けたとしたら、所与の時点で、座った、または、立った位置の観客画像が用いられるかどうかを、制御情報は示し得る、及び、いくつかの実施形態では示す。
[00031] 同様に、空の複数の画像が再生デバイスに通信され、エンコードされた、または、デコードされた形態で再生デバイスに記憶される。いくつかの実施形態では、空部分のどの画像が所与の時点で用いられるべきであるかは、制御情報において通信される。他の実施形態において、空のどのシーンが使用されるべきであるかは、例えば、明るい前方シーン領域が検出され、ほとんど雲のない明るい空の画像の選択を制御するために使用され得る等、選択されている前方環境シーン部分に一致するか近い空部分をもった前方シーン領域に対応する１つ以上の画像の輝度に基づいて自動的に決定される。同様に、いくつかの実施形態において、暗い前方環境領域空の検出は、暗い曇り空画像が使用される結果をもたらす。
[00032] 視界における環境の部分のための画像が利用可能でない場合には、シーンの部分が、例えば、利用可能である環境の他の部分からの情報やコンテンツから、合成され得る。例えば、後部画像部分が利用可能でない場合、前方シーン領域の左及び／または右側からのコンテンツが、環境の欠落している後ろ部分に代えて埋めるために、コピーされ、使用され得る。コンテンツの複製に加えて、ぼかし及び／または他の画像処理動作が、いくつかの実施形態において、環境の欠落部分に代えて埋めるために使用され得る。代替的に、いくつかの実施形態では、描画情報がコンテンツストリームにおいて提供され、再生デバイスは欠落部分のための完全な合成画像を生成する。ビデオゲームコンテンツと同様に、そのようなコンテンツは、本質的に現実味があり得、再生デバイスに記憶された描画及び／または他の画像生成ルールから生成される広範な画像効果及び／またはコンテンツを含み得る。
[00033] いくつかの実施形態による、再生システムを動作させる例示的な方法は、
見る者の頭の位置を決定することであって、頭の位置は現在の視界に対応することと、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、ｉ）環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）環境の第２の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力し、または、表示することであって、第１の出力画像は１つ以上の生成された出力画像の１つであることと、
を含む。
いくつかの実施形態による、例示のコンテンツ再生システムは：
見る者の頭の位置を決定するように構成された見る者の頭位置決定モジュールであって、頭の位置が現在の視界に対応することと、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成されたコンテンツストリーム受信モジュールと、
第１のコンテンツに含まれた少なくともいくつかのコンテンツ、及び、ｉ）環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）環境の第２の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する１つ以上の出力画像を生成するよう構成された出力画像コンテンツストリームベース生成モジュールと、
第１の出力画像を出力するよう構成された出力モジュール、または、第１の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、
を含む。
見る者の頭の位置を決定することであって、頭の位置は現在の視界に対応することと、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、ｉ）環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）環境の第２の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力し、または、表示することであって、第１の出力画像は１つ以上の生成された出力画像の１つであることと、
を含む。
いくつかの実施形態による、例示のコンテンツ再生システムは：
見る者の頭の位置を決定するように構成された見る者の頭位置決定モジュールであって、頭の位置が現在の視界に対応することと、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成されたコンテンツストリーム受信モジュールと、
第１のコンテンツに含まれた少なくともいくつかのコンテンツ、及び、ｉ）環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）環境の第２の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する１つ以上の出力画像を生成するよう構成された出力画像コンテンツストリームベース生成モジュールと、
第１の出力画像を出力するよう構成された出力モジュール、または、第１の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、
を含む。
[00034] 多くの変形及び実施形態が可能であり、以下の詳細な説明で検討される。
[00068] 図１は、本発明のいくつかの実施形態に従って実装される例示的なシステム１００を示す。システム１００は、顧客宅内に配置された生成装置／コンテンツプレーヤ等の１つ以上の顧客装置に、例えば、画像コンテンツ配信等のコンテンツ配信をサポートする。システム１００は、例示の画像取り込みデバイス１０２、コンテンツ配信システム１０４、通信ネットワーク１０５、及び、複数の顧客宅内１０６、．．、１１０含む。画像取り込みデバイス１０２は、立体視画像の取り込みをサポートする。画像取り込みデバイス１０２は、発明の態様に従って、画像コンテンツを取り込み、処理する。通信ネットワーク１０５は、例えば、光ファイバ−同軸ハイブリッド（hybrid fiber-coaxial：ＨＦＣ）ネットワーク、衛星ネットワーク、及び／または、インターネットであってよい。
[00069] コンテンツ配信システム１０４は、エンコーディング装置１１２とコンテンツストリーミング装置／サーバ１１４を含む。エンコーディング装置１１２は、本発明に従って、画像データをエンコードするための１つまたは複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。エンコーダは、シーンの異なる部分をエンコードするために、及び／または、異なるデータレートを有するエンコードされたバージョンを生成するようにシーンの所与の部分を符号化するために、並行に使用され得る。リアルタイム、または、ほぼリアルタイムのストリーミングがサポートされるべき場合、並行して複数のエンコーダを使用することは、特に有用である。
[00070] コンテンツストリーミング装置１１４は、例えば、通信ネットワーク１０５上を、１つ以上の顧客装置にエンコードされた画像コンテンツを配信するために、エンコードされたコンテンツを、例えば、送信する等、ストリーミングするように構成される。ネットワーク１０５を介して、コンテンツ配信システム１０４は、通信ネットワーク１０５を横断するリンク１２０によって図に示されているように、情報を送り、及び／または、顧客宅内１０６、１１０に設けられた装置と情報を交換することができる。
[00071] エンコーディング装置１１２とコンテンツ配信サーバ１１４は、図１の例において個別の物理的な装置として示されているが、いくつかの実施形態において、それらは、コンテンツをエンコードし、ストリーミングする単一の装置として実装される。エンコーディングプロセスは、３Ｄ画像視聴がサポートされ得るように、シーン部分の左と右の眼の視野に対応する情報がエンコードされ、エンコードされた画像データに含まれる３Ｄ、例えば、立体視の、画像エンコーディングプロセスであり得る。使用される特定のエンコーディング方法は、本出願に重要ではなく、広範囲のエンコーダが、エンコーディング装置１１２として、または、エンコーディング装置１１２を実装するために使用され得る。
[00072] 各顧客宅内１０６、１１０は、コンテンツストリーミング装置１１４によってストリーミングされた画像コンテンツをデコードし、再生／表示するために使用される、再生システム等の複数の装置／プレーヤを含み得る。顧客宅内１ １０６は、ディスプレイデバイス１２４に接続されたデコーディング機器／再生デバイス１２２を含み、他方、顧客宅内Ｎ １１０は、ディスプレイデバイス１２８に接続されたデコーディング機器／再生デバイス１２６を含む。いくつかの実施形態では、ディスプレイデバイス１２４、１２８は、ヘッドマウント立体視ディスプレイデバイスである。いくつかの実施形態では、再生デバイス１２２／１２６とヘッドマウント装置１２４／１２８が、共に、再生システムを形成する。
[00073] 様々な実施形態において、デコーディング装置１２２、１２６は、対応するディスプレイデバイス１２４、１２８に画像コンテンツを提示する。デコーディング機器／プレーヤ１２２、１２６は、コンテンツ配信システム１０４から受け取られた画像をデコーディングし、デコードされたコンテンツを用いて画像を生成し、ディスプレイデバイス１２４、１２８上に、例えば、３Ｄ画像コンテンツ等の画像コンテンツを描画することができる装置であり得る。デコーディング機器／再生デバイス１２２、１２６の何れかは、図８に示されたデコーディング機器／再生デバイス８００として使用さえ得る。図８及び図１９に示された装置等のシステム／再生デバイスは6、デコーディング装置／再生デバイス１２２、１２６のいずれかとして使用されることができる。
[00074] 図２Ａは、分割されているフル３６０度立体視シーン等の例示的な立体視シーン２００を示す。立体視シーンは、単一の映像取り込みプラットフォームまたはカメラマウントに搭載された、例えば、映像カメラ等の複数のカメラから取り込まれる画像データを組み合わせた結果であり得、通常は結果である。
[00075] 図２Ｂは、シーンが、例えば、１つの例示的な実施形態に従って、正面１８０度部分、左後方９０度部分、及び、右後方９０度部分等の３つ（Ｎ＝３）の例示的な部分に分割されている、例示的な立体視シーンの分割されたバージョン２５０を示す。
[00076] 図２Ｃは、１つの例示的な実施形態に従って、４つ（Ｎ＝４）の部分に分割されている例示的な立体視シーン２００の他の分割されたバージョン２８０を示す。
[00077] 図２Ｂと２Ｃは２つの例示的な分割を示すが、他の分割が可能であることが理解されるべきである。例えば、シーン２００は、１２個（Ｎ＝１２）の３０度部分に分割され得る。１つのそのような実施形態では、各部分を個別にエンコードするよりもむしろ、複数の部分が一緒にグループ化され、グループとしてエンコードされる。部分の異なるグループは、符号化され、シーンの合計度数に関して同じである各グループのサイズをもつが、ユーザの頭の位置、例えば、０から３６０度のスケールで測定された視野角、に応じてストリーミングされ得る画像の異なる部分に対応して、エンコードされ、ユーザにストリーミングされ得る。
[00078] 図３は、１つの例示的な実施形態に従った、例示的な３６０度立体視シーンをエンコーディングする例示的なプロセスを示す。図３に示された方法３００への入力は、例えば、シーンの３６０度視野を取り込むよう構成された複数のカメラによって取り込まれた３６０度立体視画像データを含む。例えば、立体視映像等の立体視画像データは、様々な既知の形式のいずれかであってもよく、ほとんどの実施形態では、３Ｄ体験を可能にするために用いられる左と右眼の画像データを含む。方法は、立体視映像のために特に適しているが、この中に記載された技術及び方法は、また、例えば、３６０度または小さいシーン領域の、２Ｄ（２次元）画像に適用され得る。
[00079] ステップ３０４において、シーンデータ３０２は、例えば、異なる視野方向に対応するＮ個のシーン領域等の異なるシーン領域に対応するデータに分割される。図２Ｂに示されたもの等の１つの実施形態において、３６０度シーン領域は、９０度部分に対応する左後方部分、正面１８０度部分、右後方９０度部分といった３つの分割に部分化される。異なる部分は、異なるカメラによって取り込まれていてもよいが、これは必須ではなく、実際には、３６０度シーンは、図２Ｂと図２Ｃに示されるようにＮ個のシーン領域に分割される前に、複数のカメラから取り込まれたデータから構成されてもよい。
[00080] ステップ３０６において、異なるシーン部分に対応するデータは、本発明に従ってエンコードされる。いくつかの実施形態では、各シーン部分は、各部分についての複数の可能なビットレートストリームをサポートするために、複数のエンコーダによって独立にエンコードされる。ステップ３０８において、エンコードされたシーン部分は、顧客の再生デバイスにストリーミングするために、例えば、コンテンツ配信システム１０４のコンテンツ配信サーバ１１４に、記憶される。
[00081] 図４は、例えば、シーンの１８０度正面部分等の入力画像部分が、同じ入力画像部分の異なるエンコードされたバージョンを生成するために、様々なエンコーダを用いて、どのようにエンコードされるかを示す例を示す図４００である。
[00082] 図４００に示されるように、例えば、シーンの１８０度正面部分である入力シーン部４０２は、エンコーディングのために複数のエンコーダに供給される。例では、異なる解像度をもち、画像コンテンツの異なるデータレートストリームをサポートするためにエンコードされたデータを生成するような異なるエンコーディング技術を用いる、入力データをエンコードするＫ個の異なるエンコーダがある。複数のＫ個のエンコーダは、高精細（high definition：ＨＤ）エンコーダ１ ４０４、標準画質（standard definition：ＳＤ）エンコーダ２ ４０６、低減されたフレームレートＳＤエンコーダ３ ４０８、・・・、および、高圧縮の低減されたフレームレートＳＤエンコーダＫ ４１０を含む。
[00083] ＨＤエンコーダ１ ４０４は、高ビットレートＨＤエンコード画像４１２を生成するためにフル高解像度（ＨＤ）エンコーディングを実行するよう構成される。ＳＤエンコーダ２ ４０６は、入力画像のＳＤエンコードバージョン２ ４１４を生成するために、低解像度の標準画質エンコーディングを実行するように構成される。低減されたフレームレートＳＤエンコーダ３ ４０８は、入力画像の低減されたレートＳＤエンコードバージョン３ ４１６を生成するために、低減されたフレームレートの低解像度ＳＤエンコーディングを実行するように構成される。低減されたフレームレートは、例えば、エンコーディングのためにＳＤエンコーダ２ ４０６によって使用されるフレームレートの半分であってよい。高圧縮の低減されたフレームレートＳＤエンコーダＫ ４１０は、入力画像の高度に圧縮された、低減されたレートＳＤを生成するために、高圧縮での低減されたフレームレート、低解像度ＳＤエンコーディングを実行するように構成される。
[00084] 従って、データ圧縮のレベルも、単独で、または、１つ以上の所望のデータレートをもってシーン部分に対応するデータストリームを生成するために、空間的及び／または時間的な解像度の制御に加えて、使用され得るように、空間的及び／または時間的解像度の制御は、異なるデータレートのデータストリームと他のエンコーダ設定の制御を生成するために使用され得る。
[00085] 図５は、３つの例示的な部分に分割された入力立体視シーンの記憶されたエンコードされた部分５００を示す。記憶されたエンコードされた部分は、例えば、メモリ内のデータ／情報として、コンテンツ配信システム１０４に記憶され得る。立体視シーンの記憶されたエンコードされた部分５００は、エンコード部分の３つの異なる組を含み、各部分は異なるシーン領域に対応し、各組は、対応するシーン部分の複数の異なるエンコードされたバージョンを含む。各エンコードされたバージョンは、エンコードされた映像データのバージョンであり、従って、コード化されている複数のフレームを表す。映像であるエンコードされたバージョン５１０、５１２、５１６の各々は複数の時間期間に対応し、ストリーミング時に、再生されている時間期間に対応する、例えば、フレーム等の部分は、伝送目的のために使用されることが理解されるべきである。
[00086] 図４に関して図示及び上述されたように、例えば、正面、後方シーン部分等の各シーン部分は、同じシーンの部分のＫ個の異なるバージョンを生成するために、複数の異なるエンコーダを用いてエンコードされ得る。所与の入力シーンに対応する各エンコーダの出力は、組として共にグループ化され、記憶される。エンコードされたシーン部分５０２の第１の組は正面の１８０度シーン部分に対応し、正面１８０度のエンコードされたバージョン１ ５１０、正面１８０度シーンのエンコードされたバージョン２ ５１２、・・・、正面１８０度シーンのエンコードされたバージョンＫ ５１６を含む。エンコードされたシーン部分５０４の第２の組は、例えば、９０度左後方部分等のシーン部分２に対応し、９０度左後方シーン部分のエンコードされたバージョン１ ５２０、９０度左後方シーン部分のエンコードされたバージョン２ ５２２、・・・、９０度左後方シーン部分のエンコードされたバージョンＫ ５２６を含む。同様に、エンコードされたシーンの部分５０６の第３の組は、例えば、９０度右後方シーン部分等のシーン部分３に対応し、９０度右後方シーン部分のエンコードされたバージョン１ ５３０、９０度右後方シーン部分のエンコードされたバージョン２ ５３２、・・・、９０度右後方シーン部分のエンコードされたバージョンＫ ５３６を含む。
[00087] ３６０度シーンの様々な異なる記憶されたエンコーされた部分は、顧客再生デバイスに送るように、様々な異なるビットレートストリームを生成するために使用され得る。
[00088] 図６は、例示的な実施形態に従った、画像コンテンツを提供する例示的な方法のステップを示すフローチャート６００である。フローチャート６００の方法は、図１に示した取り込みシステムを用いて、いくつかの実施形態において実施される。
[00089] 方法は、例えば、配信システムが電源投入され、初期化されると、ステップ６０２で開始する。方法は、開始ステップ６０２からステップ６０４に進む。ステップ６０４において、例えば、システム１０４の中のサーバ１１４等、コンテンツ配信システム１０４は、例えば以前にエンコードされた番組への、または、ある場合には、例えば、イベントがまだ進行中である間等、リアルタイムまたはほぼリアルタイムでエンコードされ、ストリーミングされているライブイベントへの要求等、コンテンツの要求を受け取る。
[00090] 要求に応答して、ステップ６０６において、サーバ１１４は、配信のために利用可能なデータレートを決定する。データレートは、サポートされるデータレートを示す要求に含まれた情報から、及び／または、要求している装置にコンテンツを配信するために利用可能である最大帯域幅を示すネットワーク情報等の他の情報から、決定され得る。理解されるように、利用可能なデータレートは、ネットワーク負荷に応じて変化し、コンテンツがストリーミングされている時間期間中に変化し得る。変化は、ユーザ装置によって報告され得、または、ネットワークが使用されているデータレートをサポートする困難さを有していること、及び、現在利用可能なデータレートが使用のために利用可能であると決定された元のデータレートより低いことを示すことになる、パケットが欠落されるか所望の時間量を超えて遅延することを示すメッセージまたは信号から検出され得る。
[00091] 動作は、ステップ６０６からステップ６０８に進み、例えば、要求の時点での現在の頭の位置等のコンテンツへの要求が初期化されるユーザ装置の現在の頭の位置が０度位置であるようにされる。０度または前方を見ている位置は、いくつかの実施形態において、再初期化が起こるべきであることを再生デバイスが信号で知らせて、ユーザによって再初期化され得る。時間が経つにつれて、ユーザの頭の位置、及び／または、例えば元の頭の位置に対するユーザの頭部の位置の変化は、コンテンツ配信システム１０４に通知され、更新された位置がコンテンツ配信決定を行うために、以下に説明するように使用される。
[00092] 動作は、ステップ６０８から６１０に進み、要求されたコンテンツに対応する３６０度シーンの部分が、再生デバイスを初期化するために送られる。少なくともいくつかの実施形態では、初期化は、例えば、３６０度シーンがＮ個の部分に分割されているＮ個の部分等、シーンデータの３６０度フルの組を送ることを含む。
[00093] ステップ６１０における初期化の結果として、再生デバイスは、３６０度の可能な視野領域の異なる部分の各々に対応するシーンデータを有する。従って、再生デバイスのユーザが突然後方に向いた場合少なくともいくつかのデータは、ユーザが彼の頭を回す前に見ていた部分と同じに最新でない場合でも、ユーザに表示するために利用可能である。
[00094] 動作は、ステップ６１０からステップ６１２とステップ６２２に進む。ステップ６２２は、グローバル更新期間毎に少なくとも１回、３６０度シーン全体の更新されたバージョンを再生デバイスが受け取ることを確実にするために使用される、グローバルシーン更新経路に対応する。ステップ６１０で初期化されているとして、グローバルな更新プロセスは、所定時間期間の間の待機ステップ６２２において遅延される。そして、ステップ６２４で、３６０度のシーン更新が行われる。破線矢印６１３は、シーン部分が、ステップ６２２に対応する補助期間の間に再生デバイスに通信されていた情報の通信を表す。ステップ６２４において、３６０度シーン全体が送信され得る。しかし、いくつかの実施形態では、全てではない部分がステップ６２４において送信される。待機期間６２２の間に更新されるシーンの部分は、いくつかの実施形態において、それらが、ユーザの頭の位置に基づいてシーンの少なくともいくつかの部分を送る通常のストリーミングプロセス中に既にリフレッシュされているので、ステップ６２４において実行される更新から除かれる。
[00095] 動作は、ステップ６２４から待機ステップ６２２に戻り、待機が、次のグローバル更新の前に実行される。なお、ステップ６２２において使用される待機期間を調節することによって、異なるグローバルリフレッシュレートが使用され得ることが理解されるべきである。いくつかの実施形態では、コンテンツサーバは、提供されているシーンコンテンツの種類に基づいて、待機期間を、従って、グローバル基準期間を選択する。主なアクションが前方に面した領域にあり、リフレッシュのための理由の１つが屋外の照明条件の変化の可能性であるスポーツイベントの場合には、待機期間は、例えば、分または数分のオーダーで、比較的長くすることができる。アクションや観衆の行動が異なる曲が演じられる度に頻繁に変わり得るロックコンサートの場合において、ユーザは、振り向き、観衆のリアクションを見て、正面のステージ視野領域で進行中のことに加えて、観衆に起きていることの雰囲気を得たいので、グローバルリフレッシュレートはスポーツイベントのためよりも高くあり得る、いくつかの実施形態ではそうある。
[00096] いくつかの実施形態では、グローバル参照期間は、ストリーミングされるプレゼンテーションの部分の関数として変更される。例えば、スポーツイベントのゲーム部分の間、グローバルリフレッシュレートが比較的低いが、タッチダウン後のしばらくの間、または、イベントにおける人または再生デバイスを介してイベントを見ている人が前方の主たる領域から彼または彼女の頭の向きを変える可能性が高いタイムアウトまたは休憩の間は、グローバル基準レートは、ステップ６２２で使用される、例えば、リフレッシュ期間制御等の待機時間を減らすことによって、増加することができる。
[00097] グローバルリフレッシュプロセスがステップ６２２及び６２４を参照して説明されているが、シーンの部分の通常の供給が記載される。理解されるように、シーンまたはシーン部分の通常のリフレッシュは、サポートされている映像フレームレートで、データレートが可能にして、少なくとも一部について起こる。従って、少なくとも１つのフレーム部分について、例えば、彼または彼女の頭が向いていることを示されている部分は、利用可能なデータレートが十分であると想定すると、フル映像ストリーミングフレームレートで供給される。
[00098] ステップ６１２において、シーンの部分は、ユーザの、例えば、視野角度等の示された頭の位置に基づいて提供されるために選択される。選択された部分は、例えば、定期的なベースで、再生装置に、例えば、ストリーミングされる等、送信される。部分に対応するデータがストリーミングされるレートは、いくつかの実施形態において、映像フレームレートに依存する。例えば、少なくとも１つの選択された部分は、サポートされているフルフレームレートでストリーミングされる。少なくとも１つのシーン部分がステップ６１２で選択されるが、例えば、ユーザが面しているシーン部分並びに次に最も近いシーン部分等の複数のシーン部分が、通常、選択される。追加のシーン部分も選択され、利用可能なデータレートが複数のフレーム部分の通信をサポートするのに十分である場合に供給され得る。
[00099] ストリーミングされるべきシーン部分がステップ６１２で選択された後、動作はステップ６１４に進み、例えば、利用可能なデータレートやユーザの視野位置に基づいて、選択されたストリーム部分のエンコードバージョンが選択される。例えば、現在報告されている頭の部分によって示されるような、ユーザが面しているシーン部分のフルレート高解像度バージョンが、通常、ストリーミングされ得る。現在の頭の位置の左及び／または右への１つ以上のシーン部分は、現在見られていないシーンを送信するために必要とされる帯域幅の量を低減する、より低い解像度、より低い時間レート、または、他のエンコーディング手法を用いるとして、ストリーミングされるように選択され得る。隣接するシーン部分のエンコードバージョンの選択は、現在見られているシーン部分の高品質バージョンが送信された後にストリーミングする帯域幅の量に依存する。現在見られていないシーン部分が、より低い解像度のエンコードバージョンとして、または、フレーム間のより大きな時間的間隔をもったエンコードバージョンとして送られ得るが、フル解像度の高品質バージョンは、利用可能な十分な帯域幅がある場合、定期的に、または、頻繁に送られ得る。
[000100] ステップ６１６において、選択されたシーン部分の選択されたエンコードバージョンが、コンテンツを要求した再生デバイスに送られる。従って、ステップ６１６において、例えば、複数の連続したフレームに対応する立体視映像コンテンツ等の１つ以上の部分に対応するエンコードされたコンテンツが、再生デバイスにストリーミングされる。
[000101] 動作はステップ６１６からステップ６１８に進み、ユーザの現在の頭の位置を示す情報が受け取られる。この情報は、定期的に、及び／または、頭の位置の変化を検出することに応答して再生デバイスから送られ得る。頭の位置の変化に加えて、利用可能なデータレートの変化が、何のコンテンツがストリーミングされるかに影響し得る。動作は、ステップ６１８からステップ６２０に進み、再生デバイスへのコンテンツ配信のために使用することができる現在のデータレートの決定がなされる。従って、コンテンツ配信システムは、要求している装置へのストリーミングをサポートするために利用可能な帯域幅の量の変化を検出することができる。
[000102] 動作はステップ６２０からステップ６１２に進み、コンテンツが配信されきる、例えば、番組またはイベントの終了、まで、または、コンテンツを要求した再生デバイスから、セッションが終了されるべきであることを示す信号が受け取られるまで、または、再生デバイスがもはやコンテンツサーバ１１４との通信状態にないことを示す、頭の位置更新が検出される等の再生デバイスからの期待される信号を受けることに失敗するまで、ストリーミングが継続する。
[000103] 上述の方法で配信されたシーンデータから、再生デバイスは、ユーザが彼または彼女の頭を素早く回した場合に表示するために、それに利用可能な各シーン部分に対応する少なくともいくつかのデータを有する。ユーザが彼らの頭を非常に短い時間期間で完全に回すことは、これが多くの人にとって見る位置における不快な変化であるので、めったにないことが理解されるべきである。従って、フル３６０度シーンが常時送信されていないが、所与の時間に見られる可能性が最も高いシーン部分（または、複数の部分）の高品質バージョンがストリーミングされ、ユーザに利用可能にされる。
[000104] エンコーディングプロセスは、シーンのＮ個の部分が、各個々のユーザのために別々にコンテンツをエンコードする必要なく、異なるユーザに対して異なって送信され、処理されることを可能にするので、コンテンツ配信システム１０４は、多くの数の同時のユーザをサポートすることができる。従って、スポーツまたは他のイベントのリアルタイムまたはほぼリアルタイムのストリーミングを可能にするために、リアルタイムエンコーディングをサポートするように、いくつかの並列エンコーダが使用され得るが、使用されるエンコーダの数は、コンテンツがストリーミングされる再生デバイスの数よりもはるか少なくなる傾向がある。
[000105] コンテンツの部分は３６０度視野に対応する部分として記載されるが、シーンは、いくつかの実施形態では、また、垂直方向の次元を有する空間の平坦化バージョンを表し得る、及び、いくつかの実施形態では表すことが理解されるべきである。再生デバイスは、例えば、宇宙等の３Ｄ環境のモデルを使用してシーン部分をマッピングし、垂直方向の視野位置に合わせて調整することができる。従って、本願で検討されている３６０度は、ユーザが、彼の凝視レベルを保持しながら、彼の視野角を左または右に変えたかのように、水平に関する頭の位置をいう。
[000106] 図７は、本発明の態様に従って、コンテンツをエンコードし、ストリーミングするために使用され得るエンコード能力をもった例示的なコンテンツ配信システム７００を示す。
[000107] システムは、本発明の態様に従って、エンコーディング、記憶、及び、送信、及び／または、コンテンツ出力を実行するために使用され得る。いくつかの実施形態では、システム７００、または、その中の要素は、図６に示されたプロセスに対応する動作を実行する。コンテンツ配信システム７００は、図１のシステム１０４として使用され得る。図７に示されたシステムはコンテンツのエンコーディング、処理、及び、ストリーミングのために使用されるが、システム７００は、また、例えば、オペレータに、処理され及び／またはエンコードされた画像データを、デコードし、表示する機能を含み得ることが理解されるべきである。
[000108] システム７００は、ディスプレイ７０２、入力デバイス７０４、入力／出力（Ｉ／Ｏ）インターフェース７０６、プロセッサ７０８、ネットワークインターフェース７１０、及び、メモリ７１２を含。システム７００の様々なコンポーネントは、システム７００のコンポーネント間でデータが通信されることを可能にするバス７０９を介して共に接続される。
[000109] メモリ７１２は、プロセッサ７０８によって実行されたとき、システム７００を、本発明に従った、分割、エンコーディング、記憶、及び、ストリーミング／送信、及び／または、出力動作を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。
[000110] メモリ７１２は、プロセッサ７０８によって実行されたとき、コンピュータシステム７００を、本発明に従った、没入型立体視映像取り込み、エンコーディング、記憶、及び、送信及びまたは出力の方法を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ７１２は、制御ルーチン７１４、分割モジュール７１６、エンコーダ（または、複数のエンコーダ）７１８、ストリーミング制御部７２０、例えば、シーンの３６０度立体視映像等の受け取られた入力画像７３２、エンコードされたシーン部分７３４、及び、タイミング情報７３６を含む。いくつかの実施形態において、モジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、モジュールが対応する機能を実行する回路として各モジュールが実装される、例えば、個別の回路として等、ハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。
[000111] 制御ルーチン７１４は、システム７００の動作を制御するために装置制御ルーチンと通信ルーチンを含む。分割モジュール７１６は、本発明の態様に従って、シーンの受け取られた立体視３６０度バージョンをＮ個のシーン部分に分割するように構成される。
[000112] エンコーダ（または、複数のエンコーダ）７１８は、本発明の態様に従って、例えば、シーンの３６０度バージョン及び／または１つ以上のシーン部分等の受け取られた画像コンテンツをエンコードするように構成された複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。いくつかの実施形態において、エンコーダ（または、複数もエンコーダ）は、各々のエンコーダが、所与のビットレートストリームをサポートするために立体視シーン及び／または分割されたシーン部分をエンコードするように構成されている、複数のエンコーダを含む。従って、いくつかの実施形態において、各シーン部分は、各シーンについて複数の異なるビットレートストリームをサポートするために複数のエンコーダを用いてエンコードされ得る。エンコーダ（または、複数のエンコーダ）７１８の出力は、例えば、再生デバイス等の顧客装置へのストリーミングのためにメモリに記憶されるエンコードされたシーン部分７３４である。エンコードされたコンテンツは、ネットワークインターフェース７１０を介して１つ以上の異なる装置にストリーミングされ得る。
[000113] ストリーミング制御部７２０は、例えば、通信ネットワーク１０５上で、エンコードされた画像コンテンツを１つ以上の顧客装置に配信するためのエンコードされたコンテンツのストリーミングを制御するために構成される。様々な実施形態において、フローチャート６００の様々なステップは、ストリーミング制御部７２０の様相によって実装される。ストリーミング制御部７２０は、要求処理モジュール７２２、データレート決定モジュール７２４、現在の頭の位置決定モジュール７２６、選択モジュール７２８、及び、ストリーミング制御モジュール７３０を含む。要求処理モジュール７２２は、顧客再生装置からの受け取られた画像コンテンツの要求を処理するように構成される。様々な実施形態において、コンテンツの要求は、ネットワークインターフェース７１０における受信器を介して受け取られる。いくつかの実施形態において、コンテンツの要求は、要求している再生デバイスの特定を示す情報を含む。いくつかの実施形態において、コンテンツの要求は、顧客再生デバイスによってサポートされるデータレート、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を含み得る。要求処理モジュール７２２は、受け取られた要求を処理し、更なるアクションをとるために、ストリーミング制御部７２０の他の要素に受け取られた情報を提供する。コンテンツの要求は、データレート情報と現在の頭の位置情報を含み得るが、様々な実施形態において、再生デバイスによりサポートされるデータレートは、ネットワークテスト、及び、システム７００と再生デバイスとの間の他のネットワーク情報交換から決定され得る。
[000114] データレート決定モジュール７２４は、顧客装置に画像コンテンツをストリーミングするよう構成され、例えば、複数のエンコードされたシーン部分がサポートされるので、コンテンツ配信システム７００は、複数のデータレートで、コンテンツを顧客装置にストリーミングすることをサポートし得る。データレート決定モジュール７２４は、更に、システム７００からのコンテンツを要求している再生デバイスによってサポートされるデータレートを決定するように構成される。いくつかの実施形態において、データレート決定モジュール７２４は、ネットワーク測定に基づいて、画像コンテンツの配信のための利用可能なデータレートを決定するように構成される。
[000115] 現在の頭の位置決定モジュール７２６は、再生デバイスから受け取られた情報から、例えば、ヘッドマウントディスプレイの位置等、ユーザの現在の視野角及び／または現在の頭の位置を決定するように構成される。いくつかの実施形態において、再生デバイスは、定期的に、現在の頭の位置情報をシステム７００に送り、そこでは、現在の頭の位置決定モジュール７２６が、現在の視野角、及び／または、現在の頭の位置を決定するために、情報をａｄプロセス（ad processes）で受け取る。
[000116] 選択モジュール７２８は、ユーザの現在の視野角／頭の位置情報に基づいて、３６０度シーンのどの部分を再生デバイスにストリーミングするかを決定するように構成される。選択モジュール７２８は、更に、コンテンツのストリーミングをサポートするために利用可能なデータレートに基づいて、決定されたシーン分のエンコードバージョンを選択するように構成される。
[000117] ストリーミング制御部７３０は、本発明の態様に従って、様々なサポートされたデータレートで、例えば、３６０度立体視シーンの複数の部分等の画像コンテンツのストリーミングを制御するように構成される。いくつかの実施形態において、ストリーミング制御モジュール７３０は、再生装置におけるシーンメモリを初期化するために、コンテンツを要求している再生装置に３６０度立体視シーンのストリームのＮ部分を制御するように構成される。様々な実施形態において、ストリーミング制御モジュール７３０は、例えば、決定されたレート等で、定期的に、決定されたシーン部分の選択されたエンコードバージョンを送るように構成される。いくつかの実施形態では、ストリーミング制御モジュール７３０は、更に、例えば、毎分に１回等の時間間隔に応じて、再生装置に３６０度シーン更新を送るように構成される。いくつかの実施形態において、３６０度シーン更新を送ることは、フル３６０度立体視シーンのＮ個のシーン部分またはＮ−Ｘ個のシーン部分を送ることを含み、ここで、Ｎは、フル３６０度立体視シーンが分割されている総数であり、Ｘは、最近再生装置に送られた、選択されたシーン部分を表す。いくつかの実施形態において、ストリーミング制御モジュール７３０は、３６０度シーン更新を送る前に初期化のために最初にＮ個のシーン部分を送った後、所定の時間の間待機する。いくつかの実施形態において、３６０度シーン更新の送りを制御するためのタイミング情報は、タイミング情報７３６に含まれる。いくつかの実施形態において、ストリーミング制御モジュール７３０は、更に、リフレッシュ間隔中に再生デバイスに送信されていないシーン部分を特定し、リフレッシュ間隔中に再生デバイスに送信されなかった特定されたシーン部分の更新バージョンを送信するように構成される。
[000118] 様々な実施形態において、再生デバイスが、各リフレッシュ期間の間に少なくとも１度、前記シーンの２６０度バージョンをフルにリフレッシュすることを可能にするために、ストリーミング制御モジュール７３０は、定期的なベースで、再生デバイスにN個の部分の少なくとも十分な数を通信するように構成される。
[000119] 図８は、本発明に従って実装された再生システム８００を示し、図１と７に示されたものように、コンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、表示するために使用され得る。システム８００は、ディスプレイ８０２を含む単一の再生デバイス８００’として、または、コンピュータシステム８００に接続された、例えば、ヘッドマウントディスプレイ８０５等の外部ディスプレイ等の要素の組み合わせとして実装され得る。
[000120] 少なくともいくつかの実施形態において、再生システム８００は、３Ｄヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ８０５を含み得る、ＯＣＵＬＵＳ社のＲＩＦＴ（商標）のＶＲ（virtual reality）ヘッドセットを用いて実装され得る。他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、ヘッドマウントヘルメットまたは他のヘッドマウントデバイスは、１つ以上のディスプレイスクリーンが、ユーザの左と右の眼にコンテンツを表示するために使用される。単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別々に知覚される左と右の眼の画像を表示するために使用され得る。いくつかの実施形態において、セルフォンスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウント装置に挿入され、セルフォンは、画像を表示するために使用される。
[000121] 再生システム８００は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像及び／またはモノ（単一の画像）等の受け取られたエンコード画像データをデコードし、例えば、３Ｄ画像としてユーザによって知覚される異なる左と右の眼の視野を描画し、表示することによって、顧客への表示のために３Ｄ画像コンテンツを生成する能力を有する。いくつかの実施形態において、再生システム８００は、家庭やオフィス等の顧客宅内場所に配置されるが、同様に、画像取り込みサイトに配置されてもよい。システム８００は、本発明に従って、信号受信、デコーディング、表示、及び／または、他の動作を実行することができる。
[000122] システム８００は、ディスプレイ８０２、ディスプレイデバイスインターフェース８０３、入力デバイス８０４、入力／出力（Ｉ／Ｏ）インターフェース８０６、プロセッサ８０８、ネットワークインターフェース８１０、及び、メモリ８１２を含む。システム８００の様々なコンポーネントは、データがシステム８００のコンポーネント間で通信されることを可能にするバス８０９を介して、及び／または、他の接続によって、または、無線インターフェースを介して、共に接続される。いくつかの実施形態において、ディスプレイ８０２は、破線の枠を用いて図示されているように、オプションとしての要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス８０５が、ディスプレイデバイスインターフェース８０３を介して再生デバイスに接続され得る。
[000123] 例えば、セルフォンプロセッサがプロセッサ８０８として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合に、システムは、ヘッドマウント装置の部分として、プロセッサ８０８、ディスプレイ８０２、及び、メモリ８１２を含み得る。プロセッサ８０８、ディスプレイ８０２、及び、メモリ８１２は、全て、セルフォンの部分であってよい。システム８００の他の実施形態において、プロセッサ８０８は、ディスプレイ８０５がヘッドマウント装置に搭載され、ゲームシステムに接続されている、ＸＢＯＸ、または、ＰＳ４等のゲームシステムの部分であってよい。プロセッサ８０８またはメモリ８１２が、頭部に装着される装置に設けられるか否かは重要なことではなく、理解され得るように、いくつかの場合において、ヘッドギアにプロセッサを共に設けることは便利かもしれないが、少なくともいくつかの場合には、電力、熱、及び、重量の観点から、ディスプレイを含むヘッドギアにプロセッサ８０８とメモリ８１２を接続されるようにすることが望ましくあり得る。
[000124] 様々な実施形態がヘッドマウントディスプレイ８０５または８０２を想定しているが、方法および装置は、また、３Ｄ画像をサポートすることができるヘッドマウントでないディスプレイで使用され得る。従って、多くの実施形態において、システム８００はヘッドマウントディスプレイを含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。
[000125] メモリ８１２は、プロセッサ８０８によって実行されたとき、再生デバイス８００を、本発明に従ったデコーディングと出力動作を実行するように制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ８１２は、制御ルーチン８１４、コンテンツの要求生成モジュール８１６、頭の位置及び／または視野角決定モジュール８１８、デコーダモジュール８２０、３Ｄ画像生成モジュールとも呼ばれる立体視画像描画モジュール８２２、受け取られたエンコードされた画像コンテンツ８２４を含むデータ／情報、デコードされた画像コンテンツ８２６、３６０度のデコードされたシーンバッファ８２８、及び、生成された立体視コンテンツ８３０を含む。
[000126] 制御ルーチン８１４は、デバイス８００の動作を制御するために、制御ルーチンと通信ルーチンを含む。要求生成モジュール８１６は、コンテンツを提供するためのコンテンツ配信システムに送るために、コンテンツ要求を生成するように構成される。様々な実施形態において、コンテンツの要求は、ネットワークインターフェース８１０を介して送られる。頭の位置及び／または視野角決定モジュール８１８は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の視野角及び／または現在の頭の位置を決定し、決定された位置及び／または視野角情報をコンテンツ配信システム７００に報告するよう構成される。いくつかの実施形態では、再生デバイス８００は、定期的に、現在の頭の位置情報をシステム７００に送る。
[000127] デコーダモジュール８２０は、デコードされた画像データ８２６を生成するために、エンコードされた画像コンテンツ８２４をデコードするよう構成される。デコードされた画像データ８２６は、デコードされた立体視シーン及び／またはデコードされたシーン部分を含み得る。
[000128] ３Ｄ画像描画モジュール８２２は、ディスプレイ８０２及び／またはディスプレイデバイス８０５上でのユーザへの表示のために、例えば、デコードされた画像コンテンツ８２６を使用して、本発明の態様に従って、３Ｄ画像として知覚される方法で表示される、例えば、左と右の眼の画像といった３Ｄ画像を生成する。生成された立体視画像コンテンツ８３０は、３Ｄ画像生成モジュール８２２の出力である。従って、描画モジュール８２２は、ディスプレイに３Ｄ画像コンテンツ８３０を描画する。いくつかの実施形態において、ディスプレイデバイス８０５は、Ｏｃｕｌｕｓ社のＲｉｆｔ等の３Ｄディスプレイ機器の部分であってよい。再生デバイス８００のオペレータは、入力デバイス８０４を介して１つ以上のパラメータを制御し、及び／または、例えば、３Ｄシーンを表示するために選択する等、実行されるべき動作を選択し得る。
[000129] 図９は、３つの異なる搭載位置に搭載された３つのカメラペア９０２、９０４、９０６を有した、時にはカメラリグまたはカメラアレイと呼ばれる例示的なカメラアセンブリ９００と、カメラアセンブリ９００を較正するために使用され得る較正ターゲット９１５とを示す図を表す。カメラのリグ９００は、本発明のいくつかの実施形態に従って、画像コンテンツを取り込むために使用される。いくつかの実施形態において、カメラリグ９００は、図１の画像取り込みデバイス１０２として用いられる。カメラリグ９００は、示された位置にカメラ、立体視カメラ（９０１、９０３）、（９０５、９０７）、（９０９、９１１）の３つのペア９０２、９０４、９０６で合計６台のカメラ、を保持する支持構造（図１１に示される）を含む。支持構造は、カメラを支持し、カメラが搭載されるプレートが固定され得る搭載板（図１１に示された要素１１２０を参照）とこの中で呼ばれる基部１１２０を含む。支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料で作られ得、カメラ間の間隔との関係を示すためにも使用される三角形を形成する線によって表される。点線が交差する中心点は、いくつかであるが、必ずしも全てではない実施形態において、カメラペア９０２、９０４、９０６が回転し得る中心節点を表す。いくつかの実施形態において、中心結節点は、三角形の線によって表されたカメラ支持フレーム９１２が回転する中心となる、例えば、三脚基部の、スチールロッドまたはネジ切りされた中央マウントに対応する。支持フレームは、その中にカメラが搭載されるプラスチック筐体、または、三脚構造であってよい。
[000130] 図９において、カメラの各ペア９０２、９０４、９０６は、異なるカメラペア位置に対応する。第１のカメラペア９０２は、正面に向いた位置に対して前方０度に対応する。この位置は、例えば、スポーツゲームがプレイされているフィールド、ステージ、または、主なアクションが起こる可能性があるいくつかの他の領域等の主たる関心のシーン領域に通常対応する。第２のカメラペア９０４は、１２０度のカメラ位置に対応し、右後方視野領域を取り込むために使用される。第３のカメラペア９０６は、２４０度位置（０度位置に対して）で、左後方視野領域に対応する。３つのカメラ位置が１２０度離れていることを注記する。各カメラ視野位置は、図９において１つのカメラペアを含み、各カメラペアは、画像を取り込むために使用される左カメラと右カメラを含む。左カメラは、時に左眼画像と呼ばれるものを取り込み、右カメラは、時に右眼画像と呼ばれるものを取り込む。画像はビューシーケンスの部分であるか、１回以上取り込まれた静止画像であってよい。通常、カメラペア９０２に対応する少なくとも正面カメラ位置は、高品質映像カメラで定着される。他のカメラ位置は、高品質のビデオカメラでも、低画質映像カメラでも、静止またはモノ画像を取り込むために使用される単一のカメラで定着されてもよい。いくつかの実施形態において、第２及び第３のカメラ実施形態は未定着のまま残され、第１のカメラペア９０２が３つのカメラ位置に対応するが、異なる回に画像を取り込むことを可能にして、カメラが搭載された支持板が回転される。いくつかのそのような実施形態では、左と右後方の画像は、以前に取り込まれて記憶され、その後、前方カメラ位置の映像がイベント中に取り込まれる。取り込まれた画像は、１つ以上の再生デバイスに、例えば、イベントがまだ進行中の間、リアルタイムでエンコードされ、ストリーミングされ得る。
[000131] 図９に示された第１のカメラペアは、左カメラ９０１と右カメラ９０３とを含む。左カメラ９０１は、第１のカメラに固定された第１のレンズアセンブリ９２０を有し、右カメラ９０３は、右カメラ９０３に固定された第２のレンズアセンブリ９２０を有する。レンズアセンブリ９２０、９２０’は、広角視界が取り込まれることを可能にするレンズを含む。いくつかの実施形態では、各レンズアセンブリ９２０、９２０’は、魚眼レンズを含む。従って、カメラ９０２、９０３の各々は、１８０度視界または約１８０度を取り込み得る。いくつかの実施形態では、１８０度より少ないものが取り込まれるが、いくつかの実施形態では、隣接するカメラペアから取り込まれた画像中で少なくとも幾分かの重複が依然として存在する。図９の実施形態において、カメラペアは、第１（０度）の、第２（１２０度）の、第３（２４０度）のカメラ搭載位置の各々に設けられ、各ペアは環境の少なくとも１２０度またはそれ以上を取り込むが、多くの場合には、各カメラペアは、環境の１８０度またはほぼ１８０度を取り込む。
[000132] 第２ ９０４、及び、第３ ９０６のカメラペアは、第１のカメラペア９０２と同じまたは類似であるが、正面の０度位置に対して１２０と２４０度のカメラ搭載位置に設けられる。第２のカメラペア９０４は、左カメラ９０５と左レンズアセンブリ９２２と右カメラ９０７と右カメラレンズアセンブリ９２２’を含む。第３のカメラペア９０６は、左カメラ９０９と左レンズアセンブリ９２４と右カメラ９１１と右カメラレンズアセンブリ９２４’とを含む。
[000133] 図９において、Ｄは、カメラ９０１、９０３の第１の立体視ペアの軸間距離を表す。図９の例では、Ｄは、平均的な人の左と右の眼の瞳孔間の距離と同じであるか、同等である１１７ｍｍ（ミリメートル）である。図９における破線９５０は、パノラマアレイの中心点から右カメラレンズ９２０’の入射瞳までの距離（別名、節オフセット（nodal offset））を示す。図９の例に対応する一実施形態では、参照番号９５０によって示される距離は３１５ｍｍ（ミリメートル）であるが、他の距離も可能である。
[000134] １つの特定の実施形態では、カメラリグ９００のフットプリント（footprint）は、６４０ｍｍ２（平方ミリメートル）またはそれより小さい水平領域であって、比較的小さい。このような小さなサイズは、例えば、ファンや観客が通常居るか位置される着座位置において等、カメラリグが観客の中に設置されることを可能にする。従って、いくつかの実施形態では、見る者が、そのような効果が望まれる観客の一員であるとの感覚をもつことを可能にして、カメラリグは観客エリアに設置される。いくつかの実施形態でのフットプリントは、いくつかの実施形態においてセンター支持ロッドを含む支持構造が搭載され、または、支持タワーが設けられる基部のサイズに対応する。理解されるように、いくつかの実施形態におけるカメラリグは、カメラの３つのペアの間の中心点に対応する基部の中心点の周りに回転し得る。他の実施形態では、カメラは固定されており、カメラアレイの中心の周りを回転しない。
[000135] カメラリグは比較的近いだけでなく、明瞭な被写体を取り込むことが可能である。１つの特定の実施形態において、カメラアレイの最小撮像距離は６４９ｍｍ（ミリメートル）であるが、他の距離も可能であり、この距離は何ら重要ではない。
[000136] カメラアセンブリの中心から第１と第３のカメラ部品の視野の交点９５１までの距離は、第１と第２のカメラペアによって取り込まれた画像を較正するために使用され得る例示的な較正距離を表す。ターゲット９１５は、最大歪みの領域に、または、それをわずかに越えて設けられたカメラペアからの既知の距離に置かれ得ることを注記する。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットは、カメラペアのカメラによって取り込まれる画像のサイズを較正するために使用され得、使用される。そのような較正は、較正ターゲットの大きさと位置が較正ターゲット９１５の画像を取り込むカメラに対して既知であるので、可能である。
[000137] 図１０は、図９に示されたカメラアレイのより詳細な図１０００である。カメラリグは、再び、６台のカメラとともに示されているが、いくつかの実施形態では、カメラリグは、例えば、カメラペア９０２等、２つのみのカメラで定着される。示されているように、カメラペア搭載位置の各々の間に１２０度の分離がある。第１のカメラ搭載位置が０度に対応し、第２のカメラ搭載位置が１２０度に対応し、第３のカメラ搭載位置が２４０度に対応する場合のように、例えば、各カメラペアの間の中心がカメラ搭載位置の方向に対応するかを考える。従って、各カメラ搭載位置は、１２０度だけ分離される。これは、各カメラペア９０２、９０４、９０６の中心を通って延びる中心線が延長されたように見られ得、線間の角度が測定される。
[000138] 図１０の例では、カメラのペア９０２、９０４、９０６は、カメラリグ基部の位置を変更する必要なく、異なる視野が異なる回に取り込まれることを可能にして、カメラリグの中心点の周りを回転し得る、及び、いくつかの実施形態では回転する。即ち、カメラがリグの中心支持部の周りを回転され、それが２つのみのカメラで定着されるが、図１０に示されたリグを用いて３６０度シーン取り込みを可能にすべく、異なる回に異なるシーンを取り込むことを可能にされ得る。そのような構成は、立体視カメラのコストを考慮したコストの観点から特に好ましく、同じ視点からであるが、スポーツイベントまたは他のイベントの間の主たるアクションを含む正面シーンが起こり得る時点とは異なる時点で取り込まれる背景を示すことが望まれ得る多くの用途に適している。例えば、イベントの間に、主たるイベントの間に示されないことが好ましいカメラの後ろに被写体が置かれ得ることを考える。そのようなシナリオでは、後方画像は主たるイベントの前に取り込まれ得、時には取り込まれ、画像データの３６０度の組を提供するために、主たるイベントのリアルタイムで取り込まれた画像データと共に利用可能にされる。
[000139] 図１１は、１つの例示的な実施形態に従って実装される例示的なカメラリグ１１００の詳細図を示す。図１１から理解され得るように、カメラリグ１１００は、いくつかだが全てではない実施形態において立体視カメラである３つのカメラのペア１１０２、１１０４、及び、１１０６を含む。各カメラペアは、いくつかの実施形態において、２つのカメラを含む。カメラペア１１０２、１１０４、及び、１１０６は、図９−１０について上述されたカメラペア９０２、９０４、９０６と同じまたは類似である。いくつかの実施形態では、カメラペア１１０２、１１０４、及び、１１０６がカメラリグ１１００の支持構造１１２０上に搭載される。いくつかの実施形態では、カメラの３ペア（６台のカメラ）１１０２、１１０４、及び、１１０６が、それぞれのカメラペア搭載板を介して支持構造１１２０上に搭載される。支持構造１１２０は、立体視カメラペアを搭載するために３つの搭載位置を含み、各搭載位置は異なる１２０度視野領域に対応する。図１１の図示された実施形態では、立体視カメラの第１のペア１１０２が、３つの搭載位置の第１の位置、例えば、正面位置に搭載され、１２０度の正面視野領域に対応する。立体視カメラの第２のペア１１０４は３つの搭載位置の第２の搭載位置、例えば、正面位置に対して時計回りに１２０度回った背景位置、に搭載され、異なる１２０度の視野領域に対応する。立体視カメラの第３のペア１１０６は３つの搭載位置の第３の搭載位置、例えば、正面位置に対して２４０度時計回りに回った背景位置に搭載され、他の１２０度視野領域に対応する。カメラリグ１１００の３つのカメラ搭載位置は、互いに対して１２０度だけオフセットされているが、いくつかの実施形態では、カメラリグに搭載された各カメラは、周囲１８０度の視界を有する。いくつかの実施形態では、この拡張された視界は、カメラ装置において魚眼レンズを使用することによって達成される。
[000140] 搭載板の全てが、示されている図において見えている訳ではないが、カメラペア１１０２を搭載するために使用されるカメラ搭載板１１１０が示される。カメラのための搭載板は、ねじが支持基部１１２０におけるスロットを通って底部から搭載板におけるねじ切りされた穴に抜けるように、スロットを有する。これは、該ペアのための搭載板が、底部からアクセス可能なねじを緩め、カメラペア搭載板を支持構造に固定するためにねじを締めることによって調整されることを可能にする。個々のカメラ位置は、同様に調整され、そして、調整の後に固定される。いくつかの実施形態において、個々のカメラは、上部から搭載板に調整／固定され得、カメラ搭載板は、底部から調整／固定され得る。
[000141] 様々な実施形態において、カメラリグ１１００は、支持構造１１２０が回転可能に搭載される基部１１２２を含む。従って、様々な実施形態において、支持構造１１２０上のカメラアセンブリは、基部の中心を通る軸の周りを３６０度回転され得る。いくつかの実施形態では、基部１１２２は、三脚または他の搭載装置の部分であってよい。支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料からできている。カメラペアは、いくつかの実施形態において、時に中心節点と呼ばれることもある、中心点の周りに回転され得る。
[000142] 上記要素に加えて、いくつかの実施形態では、カメラリグ１１００は、更に、２つのシミュレートされた耳１１３０、１１３２を含む。これらのシミュレートされた耳１１３０、１１３２は、人間の耳の形状に成形されたシリコンからできている。シミュレートされた耳１１３０、１１３２は、平均的な人の人間の耳の間の間隔に等しいか、ほぼ等しい距離だけ互いに離されている２つの耳をもったマイクロフォンを含む。シミュレートされた耳１１３０、１１３２に搭載されたマイクロフォンは正面を向いているカメラペア１１０２上に搭載されているが、代わりに、例えば、プラットフォーム１２０等の支持構造上に搭載されることもできる。シミュレートされた耳１１３０、１１３２は、人の耳が人の頭の眼の前面に垂直に位置しているのと同様に、カメラペア１１０２の前面に垂直に位置付けられる。シミュレートされた耳１１３０、１１３２の側面の穴は、シミュレートされた耳の側部の音響の入り口として機能し、シミュレートされた耳と穴は、人の耳が人の耳に含まれた鼓膜に音響を向けるように、シミュレートされた耳の各１つに搭載されたマイクロフォンの方に音響を向けるように組み合わせで機能する。左と右のシミュレートされた耳１１３０、１１３２におけるマイクロフォンは、カメラリグの位置に設けられるならば、カメラリグ１１００の場所にいる人が人の左右の耳を介して知覚するものと同様のステレオ音響取り込みを提供する。
[000143] 図１１は３つの立体視カメラペアを有する例示的なカメラリグ１１００の一構成を示しているが、他の変形が可能であり、範囲内にあることが理解されるべきである。例えば、１つの実装例では、カメラリグ１１００は、例えば、カメラリグの中心点の周りを回転することができる立体視カメラの１つのペアが、３６０度シーンの異なる部分が異なる回に取り込まれることを可能にする等、単一のカメラペアを含む。従って、単一のカメラペアは、支持構造上に搭載され、リグの中心支持部の周りを回転され、３６０度シーン取り込みを可能にして、異なる回に異なるシーンを取り込むことを可能にされ得る。
[000144] 図１２は、３６０度シーンの異なる部分を取り込む、それぞれのカメラの異なるカメラ位置に対応する異なる視野領域／部分に分割され得る、例えば、３６０度シーン領域等の例示的な３６０度シーン環境１２００を示す。図示された例において、３６０度シーン領域１２００は、例えば、カメラリグ１１００上に搭載され、図９、１０、及び、１１に示されたように位置付けられたカメラ等の３つの異なるカメラ／カメラペアによって取り込まれる３つの１８０度ゾーンに対応する３つの部分に分割される。３６０度シーン１２００上の０度マークは、シーンの中央であると考えられ得る。魚眼レンズが使用されないいくつかの実施形態において、各カメラの視界は約１２０度であり、結果、カメラがほぼ１２０度のシーン領域を取り込むことを可能にする。そのような実施形態では、異なる１２０度シーン部分の境界は、３６０度シーンが各々１２０度の３つの部分の分割である黒の実線を使用して、図に示される。カメラが魚眼レンズで装着される実施形態において、各カメラの視界は約１８０度（＋５度）に広がり、従って、カメラが、ほぼ１８０度（＋５度）シーン領域を取り込むことを可能にする。
[000145] ０度マークの左右９０度をカバーする第１のゾーン（２７０度から９０度までの１８０度正面シーン領域に対応）は、例えば、カメラがほぼ１８０度の視界をもつことを可能にする魚眼レンズを装着されて、正面シーン領域を取り込むよう位置決めされたカメラペア１１０２等の第１のカメラによって取り込まれ得る。第２のゾーン（ゾーン２）は、例えば、魚眼レンズが装着されて、後方右側シーン領域を取り込むよう位置付けられたカメラペア１１０４等の第２のカメラによって取り込まれ得る、３０度から２１０度までの１８０度後方右側シーン領域に対応し、第３のゾーン（ゾーン３）は、例えば、魚眼レンズが装着され、後方左側シーン領域を取り込むよう位置決めされたカメラペア１１０６等の第３のカメラによって取り込まれ得る、１５０度から３３０度までの１８０度後方左側シーン領域に対応する。凡例１２５０は、例えば、異なるゾーン下でカバーされるシーン領域の開始と終了をマーキングする、異なるゾーン境界を示すために使用される異なるラインパターンを特定する情報を含む。異なるカメラによってカバーされる３つの異なるゾーン下のシーン領域の間に実質的な重複があることが、図から理解され得る。図１２の図示された例では、ゾーン１とゾーン２との間の重なりは６０度、即ち、３０度から９０度下のシーン領域であり、ゾーン２とゾーン３との間の重なりは再び６０度、即ち、１５０度から２１０度下のシーン領域であり、ゾーン３とゾーン１との間の重なりは６０度、即ち、２７０度から３３０度下のシーン領域である。図示された例では、重なりは６０度であるが、異なった多様な重複が可能であることが理解されるべきである。いくつかの実施形態では、２つの異なるシーンカバレッジ領域間の重なりは、３０度から６０度の間である。
[000146] いくつかの実施形態では、コンテンツプロバイダは、異なるカメラによって取り込まれた３６０度シーン領域の異なる部分に対応するコンテンツを含むコンテンツストリームを発行、例えば、マルチキャスト、する。いくつかの実施形態では、異なってエンコードされている、異なるシーン領域に対応するコンテンツの複数のバージョンは、コンテンツプロバイダによってマルチキャストされ、特定のバージョンをサポートする及び／または好む再生デバイスは、デコードし、再生するために、好適なコンテンツストリームを選択し得る。いくつかの実施形態の１つの態様によれば、再生デバイスは、ユーザの現在の視界を示す現在の頭の位置を追跡し、再生における使用のために受け取るために、３６０度シーン領域の一部に対応するコンテンツを含む利用可能なコンテンツストリームのどの１つ以上を選択するかを決定する。例えば、ユーザの頭の位置が、ユーザがまっすぐ前方を見ている／眺めている場合、再生デバイスは、３６０度シーンの１８０度前方部分を通信しているストリームをデコードするが、ユーザの頭の位置と視野角が変わった時、再生デバイスは、例えば、３６０度シーン領域の後方右側、後方左側、後方等のユーザの現在の視野角に適応するシーン部分に対応するストリームをデコードする。いくつかの実施形態では、例えば、正面１８０度等の３６０度シーン領域の第１の部分に対応するコンテンツを含むストリームは、３６０度シーンの正面部分を取り込むために使用された正面を向くカメラペアの左右のカメラによって取り込まれたシーン領域を含む。
[000147] 図１３は、例示的な３６０度シーン領域の視野領域／部分をカバーするために位置付けられ得る、例えば、例示的なカメラリグ１１００上で、異なるカメラによって取り込まれ得る図１２の例示的な３６０度シーン領域の異なる部分を示す例を図示する。図１３の例は、例示的な３６０度シーン領域の異なる部分を示す図１３００、１３２０、及び、１３５０を含む。しかし、図から理解され得るように、いくつかの実施形態において、異なるカメラによって取り込まれたシーンの異なる部分の各々の少なくとも部分が重複する。異なる網掛けパターンが、異なるカメラ位置に対応するシーン領域の部分を示すために、図１３００、１３２０、１３５０の各々において使用されている。いくつかの実施形態では、図１３００、１３２０、１３５０に示される異なるシーン部分は、異なる視野方向に対応するコンテンツを提供する異なるコンテンツストリームを介して通信される。図１３の例では、シーン部分が約１８０度の視野領域をカバーするように示されているが、いくつかの実施形態では、シーン部分は、１２０度から１８０度までの間をカバーしてよい。
[000148] 図１３００は、３６０度シーン１２００の第１の例示的なシーン部分１３０５を示す。第１の例示的なシーン部分１３０５は、正面視野方向に対応し、３６０度シーン環境の内の１８０度またはほぼ１８０度の視野領域をカバーする。第１のシーン部分１３０５は、０度のカメラ位置に位置付けられた、例えば、第１のカメラペア９０２または１１０２によって捕えられ得る。第１の例示のシーンの部分１３０５下の領域は、斜線パターンを使用して図１３００に示される。第１の例示のシーン部分１３０５は、例えば、正面の視野方向に対応するコンテンツのフレームを通信する第１のストリームによって通信され得る。
[000149] 図１３２０は、３６０度シーン１２００の第２の例示的なシーン部分１３０７（図１３２０に示された部分１３０７’と１３０７’’を含む）を示す。第２の例示的なシーン部分１３０７は、後方右側視野方向に対応し、３０度から２１０度まで広がる、３６０度シーン環境の内の１８０度またはほぼ１８０度視野領域をカバーする。第２のシーンの部分１３０７は、図９−１０において示されたような１２０度カメラ位置に位置付けられた、例えば、第２のカメラペア９０４によって、取り込まれ得る。第２の例示のシーン部分下の領域１３０７は、水平線パターンを使用して、図１３００に示される。図１３００と１３２０とを考慮する。第１と第２のシーン部分１３０５と１３０７の間のシーン領域の重なり部分１３０８を注記する。重なり部分１３０８は、シーン領域１２００の第１と第２のシーン部分１３０５、１３０７の両方に共通である、取り込まれたシーン領域の部分を示す。いくつかの実施形態において、第１及び第２のシーン部分１３０５、１３０７間の重なりは、プラス、マイナス２−３度の変位をもって、３０度と６０度の間である。図１３の図示された例では、重なり部分１３０８は、例えば、３０度から９０度の領域等、６０度である。従って、いくつかの実施形態において、異なるコンテンツストリームによって提供された、及び／または、異なるカメラによって取り込まれた異なる視野方向に対応するシーン領域の少なくとも部分は、重なる。いくつかの他の実施形態では、異なるカメラによって取り込まれる異なる視野方向に対応するシーン領域の間に重複は存在しない。いくつかの実施形態では、第２の例示的なシーン部分１３０７は、第２の視野方向に対応するコンテンツのフレームを通信する第２のストリームによって通信され得る。
[000150] 図１３５０は、３６０度シーン１２００の第３の例示的なシーン部分１３０９（図１３５０に示された部分１３０９’と１３０９’’を含む）を示す。第３の例示的なシーン部分１３０９は、後方左側視野方向に対応し、１５０度から３３０度まで広がる、３６０度シーン環境の内の１８０度またはほぼ１８０度視野領域をカバーする。第３のシーン部分１３０９は、図９−１０に示されたような２４０度カメラ位置に位置付けられた、例えば、第３のカメラペア９０６等によって取り込まれ得る。第３の例示的なシーン部分１３０９下の領域は、縦線パターンを使用して、図１３００に示される。図１３２０と１３５０を考慮する。第２と第３のシーン部分１３０７と１３０９間の重複領域部分を組み合わせて構成する、重複部分１３１０、１３１０’を注記する。重複部分１３１０、１３１０’下の合同した領域は、シーン領域１２００の第２と第３のシーン部分１３０７、１３０９の両方に共通である、取り込まれたシーン領域の部分を示す。いくつかの実施形態において、第２と第３のシーン部分１３０７、１３０９の間の重なりは、プラス、マイナス２−３度の変位をもって、３０度から６０度の間である。図１３の図示された例では、重なり部分１３１０、１３１０’は、共に、例えば、１５０度から２１０度までの領域等、約６０度カバーを含む。ここで、更に、図１３００と１３５０を考慮する。第１と第３のシーン部分１３０５と１３０９の間の重複領域部分を示す、重なり部分１３１２を注記する。いくつかの実施形態において、第３の例示的なシーン部分１３０９は、第３の視野方向に対応するコンテンツのフレームを通信する第３のストリームによって通信される。
[000151] 図は、本発明のいくつかの態様を理解することを容易にするための例を図示する図１３の例の部分として示しているが、他の変形が可能であり、本開示の範囲内であることが理解されるべきである。
[000152] 図１４Ａ及び１４Ｂの組合せからなる図１４は、本発明の例示的な実施形態による、再生システムを動作させる例示的な方法のステップを示すフローチャート１４００である。システムは、図８に示された再生システム８００、または、応用において示された他の図のいずれかの再生システムであってよい。
[000153] 例示的な方法は、例えば、図１９の再生デバイス１９００または他の図のいずれかの再生デバイス等の再生デバイスが電源投入され、または、初期化されてステップ１４０２で開始する。検討の目的のために、再生システムは、例えば、ユーザの左と右の眼が立体視コンテンツの場合に異なる画像を提示されて、画像コンテンツが提示されるディスプレイを含むヘッドマウントディスプレイデバイス１９０５に接続されたコンピュータシステム１９００’を含むことを考える。コンピュータシステム１９００’は、ディスプレイを含むヘッドマウントデバイスの外部に示されているが、コンピュータシステム１９００’は、それの外部ではなく、ヘッドマウントディスプレイの中に組み込まれ得る。
[000154] 動作は、開始ステップ１４０２からステップ１４０４に進む。ステップ１４０４において、再生システム１９００は、例えば、番組ガイドの部分として等、複数のコンテンツストリーム及び／または初期化データに関する情報を受け取る。受け取られた情報は、図１８に示されたタイプのものであり、コンテンツを要求する、または、コンテンツに同調するために使用され得る、マルチキャストグループ識別子または他の識別子等のストリームを受け取るために使用され得る情報と共に、どのコンテンツストリームが利用可能であるか、または、利用可能になるであろうかを示す情報を含む。例えば、コンテンツストリームに関連付けられたマルチキャストアドレスが、コンテンツが切り替えられたデジタル映像を介して供給されているときにコンテンツを要求するために使用され得る、受け取られた情報または番組識別子に含まれ得る。ブロードキャストコンテンツの場合には、受け取られた情報は、特定のコンテンツストリームを受け取るために、再生デバイスが同調すべきチャンネル及び／または周波数を示す同調情報を含み得る、及び、時には含む。
[000155] ステップ１４０４で受け取られた情報は、１つ以上の番組のための情報を含み得る。例えば、スポーツイベント、コンサート等の所与の番組について、異なるストリームが、コンテンツが対応する環境におけるカメラ位置に対して異なる視野方向に対応するコンテンツを提供して、利用可能であり得る。カメラ位置は、再生中に、視野位置に対応する。従って、再生中のユーザの視野角は、受け取られ得るコンテンツの中に表された環境の部分に相関する。環境の異なる部分は、異なるストリームで通信され得る。環境の各部分、例えば、３６０度環境の部分について、異なるデータレートに対応する１つ以上のストリームが、提供される情報にリストされ得る。また、環境の頂部と底部が提供され得る。いくつかの実施形態における個々のストリームのコンテンツは、左と右の眼の画像に対して異なる情報が与えられ、それによって、所望された３Ｄ効果を提供するために異なる画像がユーザに表示されることを可能にする、立体視コンテンツである。いくつかの実施形態では、球状環境の頂部及び底部は、左右の眼の眺めは同じであり、従って、２つの画像ではなく、１つの画像のみを必要とした、モノ画像として提供される。
[000156] 番組、環境の部分、及び、ストリームのデータレートについての情報は、コンテンツをストリーミングするために利用可能である限られた帯域幅を考慮して、どのストリームが受け取られるべきかを優先付けするために再生システムによって使用され得、いくつかの実施形態において使用される。優先付けと所与の時間にどのストリームを受け取るかの選択は、ユーザの頭の位置、及び／または、頭の回転のユーザの現在または過去の方向に基づき得、いくつかの実施形態では基づく。
[000157] 立体視コンテンツのストリーミングの場合には、限られた帯域幅及び／またはデータ制約を考慮して、受け取るべき好適なストリームの選択が、満足のいく、高品質の視聴体験のために重要であり得る。図１８に示された情報と同じか類似であり得る、例えば、ストリーム情報１４０５等のステップ１４０４で受け取られた情報は、メモリに記憶され、特定の時点で受け取るためのストリームまたは複数のストリームの選択のため、及び、例えば、選択されたストリームに対応するマルチキャストグループに参加すること、選択されたストリームを提供するチャネルに同調すること、及び／または、所望のストリームが通信される、再生デバイスに供給されるべき切り替えられたデジタル映像チャネルをネットワーク装置に示すことによるストリームの要求された配信によって、選択されたストリームの配信を起動するために使用される。
[000158] 動作は、ステップ１４０４からステップ１４０６に進む。ステップ１４０６において、初期化の間、ユーザの現在の頭の位置が検出される。ユーザは、初期化フェーズ中に検出された頭の位置が前方を見ている位置であると仮定されるであろうことを認識して、通常、ステップ１４０６の間、快適なレベルの前向き位置に彼の頭を維持する。
[000159] 動作は、ステップ１４０６からステップ１４０８に進む。ステップ１４０８において、ステップ１４０６で検出されたユーザの頭の位置１４０７は、前方（０度）環境視野位置として扱われ、ユーザがこの位置に彼／彼女の頭を有している場合に表示される視野は０度環境位置、即ち、環境の特定の部分に対応するコンテンツストリームにその後エンコードされ、含まれる画像を取り込むために使用されるカメラによって取り込まれる前方位置に対応する。スポーツイベントの場合において、この位置は、通常、例えば、ストリームまたは複数のストリームがコンサートに対応する場合のステージやストリームがスポーツイベントに対応する場合のフィールドの中央等、環境におけるアクションの主たる領域に対応する。従って、ステップ１４０８において、ユーザの視野位置は、例えば、シーン領域の前方／正面部分等のゼロ度視野位置として解釈されるよう設定される。３６０度視野の部分は、ユーザが彼／彼女の頭を回した場合に可視になる異なる部分をもった水平方向の視野位置に対応することを注記する。ユーザの頭を上下に動かすことによって、ユーザは、空の部分及び／または地面の部分を、単独で、または、１つ以上の他の部分との組み合わせて見ることがある。水平の頭の位置と仮定すると、主要なシーン領域が３６０度の回転に沿った部分に分割されるので、そのような部分に対応するストリームが、通常、より多くの帯域幅を割り当てられ、頂部／底部シーン部分は、静止画像を用いて、または、変更頻度の低い画像を用いて表され得る。
[000160] 動作は、ステップ１４０８から、環境深さマップが受け取られるステップ１４１０に進む。深さマップは、コンテンツストリームの画像がマッピングされるべき３Ｄ環境の表面を規定する。深さマップを受け取らないと、球体は、環境の画像が表示に先立つ描画の間にマッピングされるべき表面である球体の内側表面をもった、環境のデフォルト推定形状である。深さマップを提供し、使用することによって、コンテンツストリーム内の画像が、シミュレートされるべき環境のより現実的な形状と表面をもつ表面にマッピングされるので、より現実的な経験が得られる。従って、ステップ１４１０において受け取られた深さマップは、受け取られるためにユーザによって選択されたコンテンツも対応する環境に対応している。ステップ１４１０で受け取られた環境マップ地図、または、マップが受け取られない場合のデフォルトマップは、画像を描画することにおけるその後の使用のための環境マップ１４１１として記憶される。
[000161] 動作は、ステップ１４１０からステップ１４１２に進む。ステップ１４１２において、３Ｄ表面の少なくとも一部の上に２Ｄ（２次元）画像コンテンツをマッピングするために使用されるべき１つ以上のＵＶマップが受け取られる。一実施形態において、少なくとも１つのＵＶ（ＵＶ座標）マップが、異なる個々の画像によって表され得る環境の各部分のために受け取られる。いくつかの実施形態において、コンテンツストリームによって通信された画像が、異なるカメラ、例えば、左と右の眼のカメラによって取り込まれる場合、異なるＵＶマップが異なるカメラのために与えられ得、時には与えられる。従って、図１４Ａの例において、第１のＵＶマップが、前方部分等の環境の第１の部分に対応してステップ１４１４１で受け取られ、ステップ１４１６において、左後方部分等の環境の第２の部分に対応する第２のＵＶマップが受け取られ、及び、ステップ１４１７において、右後方部分等の環境の第３の部分に対応する第３のＵＶマップが受け取られる。環境の頂部と底部に対応するＵＶマップは、それぞれ、ステップ１４１８と１４２０において受け取られる。部分が同じサイズのものである場合は、同じＵＶマップが複数の部分のために使用され得る。しかし、いくつかの実施形態では、ＵＶマップは、異なるカメラによって取り込まれた画像のために使用される。
[000162] 従って、１つのそのような実施形態において、例えば、左と右の眼の画像等の立体視画像データが提供される環境の各部分について、ＵＶマップが特定の左または右の眼の画像コンテンツを取り込むために使用されるカメラアセンブリの特定の特性を考慮することができるように、個別のＵＶマップが、左と右の眼の画像の各々について受け取られ、記憶され得る。
[000163] 各ＵＶマップは、マップが対応するコンテンツストリームの２次元画像を３Ｄ環境の表面の対応する部分上にマッピングするために使用されるマップを提供する。このように、カメラによって取り込まれた画像は、２Ｄ画像として送信され得、次いで、３Ｄモデルによって規定される表面または表面の部分上にテクスチャとしてマッピングされる。
[000164] ３Ｄモデル情報とＵＶマップが受け取られて、シーン部分のための他のコンテンツの場合におけるデフォルトとして使用され得る画像が受け取られ、記憶され得る。ステップ１４２２において、第１、第２、第３、及び、第５のシーン部分の１つ以上に対応する、例えば、画像等のコンテンツは、ステップ１４２２で受け取られ、記憶される。いくつかの実施形態では、例えば、背景部分または空の部分等の環境の一部に対応する複数の代替画像がステップ１４２２で受け取られ、記憶される。制御情報は、そのために複数のデフォルト画像が記憶されている部分についてのイベントの間の所与の時点でどのデフォルト画像が使用されるべきであるかを示しつつ受け取られる。例えば、いくつかの実施形態において、座っている観客の背景画像と立っている観客の背景領域画像が２つのデフォルト画像として記憶される。制御情報は、イベントの所与の部分にどの背景画像が使用されるかを示すために使用される。例えば、プレイまたはコンサートでのスタンディングオベーションに対応する部分の間に、ユーザが背景方向に向いた場合に表示されるべき背景画像として、立っている観客の画像が信号化される。しかし、観客が通常座っているであろう、イベントの主たる部分の間に、制御情報は、ユーザが彼／彼女の頭を背景の方に向けた場合に座っている観客のデフォルト画像が使用されるべきであることを信号化する。制御情報は、コンテンツストリームとは別個に信号化され得、または、デフォルト画像の１つ以上が関連する部分とは異なる環境の部分のコンテンツストリームと共に含まれてもよい。例えば、前方方向に対応するコンテンツストリームは、例えば、左と右の眼の画像等の前方方向に対応する画像、並びに、例えば、イベントの間の様々な度において、空、地面、右背景、及び、左背景部分のために、どのデフォルト画像が使用されるべきかを示す制御情報を与え得る。代替的に、再生デバイスは、特定の時点で背景画像の１つ以上の態様への類似の明度に基づいて、どの背景または空の部分を使用するかを決定できる。例えば、前景の画像が暗い場合に、これが検出され、曇り空の画像が自動的に検出され得、他方、前景画像が明るいときは、また、これが検出され、雲がより少ない、より明るい空の画像が、受け取られ、記憶された利用可能なデフォルトの空の画像から自動的に選択される。
[000165] ステップ１４２２において、異なる環境部分に対応するデフォルト画像が、通常、エンコードされた形式で受け取られ、記憶される。ステップ１４２４において、受け取られた画像の１つ以上がデコードされ、そして、デコードされたコンテンツが、ステップ１４２６において１つ以上の画像バッファに記憶される。この様に、デフォルト画像はデコードされ、再生の間の描画のためにそれらが必要とされたときに再びデコードされる必要がないように、デコードされた形式で記憶される。デフォルト画像は複数回使用されるので、デコーディングと記憶は、さもなければ、描画時点で、または、描画直前に画像をデコードするために必要とされるに違いないデコーディング要件を低減することができる。処理リソースが不足し得ることを考慮すると、予めのデコーディングとデコードされた形式でのデフォルト画像の記憶は、画像が表示する直前にデコードされ、そして、それが必要でなくなったら、例えば、メモリから除かれる等、デコードされた画像が削除される実施形態と比較して、プロセッサリソースの使用を改善する。
[000166] 同じデフォルトのデコードされた画像は、例えば、空のため等、複数回使用され得るが、他の受け取られた画像コンテンツと組み合される前に処理され得、それは、環境の見られる部分を生成するためにそれが組み合わされる環境の該他の画像とより近く一致する。例えば、いくつかの実施形態では、デコードされたデフォルト画像は、それらが組み合わされる画像部分い基づいて輝度調整の対象となり、または、デフォルト画像が環境の他の部分に対応する画像と組み合される縁に少なくとも沿ってぼやかされる。従って、少なくともいくつかの実施形態での使用の間、画像の明るさ及び／または色特性は、それらが組み合わされる地面の画像の同じ特性に、それらをより似させるためにフィルタされ、または、修正される。
[000167] 将来の使用のために初期化データとデフォルト画像とが記憶されて、動作は、受け取られている１つ以上のストリームの組、例えば、現在の選択されたストリームの組、が初期化されるステップ１４２８に進む。各ストリームは、立体視またはモノ画像データを提供し得る。オプションとして、対応する音響も、選択されたストリームにおいてだが、より一般的には、１つ以上の個別の音響ストリームにおいて受け取られ得る。記載は、音響ストリームも、通常、受け取られ、再生デバイスによってデコードされること、及び、音響がステレオ音響を含み得ることの理解をもって、映像ストリームの受け取りに焦点を当てる。
[000168] 例示的なステップ１４２８において、ストリームの現在の選択された組は、環境の前方／正面部分に対応する第１のストリーム通信コンテンツに等しく設定される。これは、開始において、初期位置は前方視野位置になるように設定され、従って、初期化の結果として、ユーザは、開始時に、前方シーン領域を見ることを期待するからである。
[000169] 動作は、ステップ１４２８からステップ１４２９に進む。ステップ１４２９において、リソース割り当て情報が受け取られる。リソース割り当て情報は、帯域幅及び／またはデータレート割り当て制御情報の形態であってよい。ステップ１４２９で受信された情報は、いくつかの実施形態において、環境の異なる部分に対応する１つ以上の通信ストリームに、どのくらい多くの帯域幅またはデータ通信能力が割り当てられるべきかについての情報を含む。情報は、データレートが、通常、帯域幅に一致するとの理解をもって、帯域幅またはデータレートについて表現される。例えば、受け取られ得るデータ量は、帯域幅上を通信するために使用されるデータコーディングのタイプを考慮して、帯域幅の量の関数であってよい。
[000170] ステップ１４２９で受け取られた情報は、環境の特定の部分に対応する画像の受け取りに割り当てるために、利用可能な通信容量の相対的な最大量を示し得る。例えば、それは、最大で、帯域幅またはサポート可能なデータレートの８０％が、例えば、前方データストリーム等の主要なデータストリームに割り当てられ、最後に、帯域幅の２０％が１つ以上の他のストリームに割り当てられるべきであることを示し得る。異なる方向へのリソースの割り当ては、環境の対応する部分における画像コンテンツ、及び／または、検出された聴衆フィードバックの関数であり得、いくつかの実施形態においてはそうある。例えば、いくつかの実施形態において、コンテンツが対応するイベントの間に起こる休憩中に、ステップ１４２９で受け取られた情報は、増加された量のリソースが、環境の後ろ部分の一方または両方に対応する画像を受け取ることに割り当てられるべきであることを示し得る。これは、休憩中に、ユーザが彼らの頭を回し、メインフィールドやステージから離れたところを見始める可能性がより高くなり、休憩中に聴衆の中で起こっているアクションがあるように見えるように、いくつかの映像が後方のために供給されることが望まれ得るからである。例えば、野球の試合でホットドックを買う、または、席を変える人々の画像が、背景が休憩中はライブで、他の回には静止画で見えるように、送られる。同様に、背景における看板の画像は、広告及び／または娯楽目的のために、休憩中に変更され得る。従って、休憩中に背景部分を受け取るために、イベントの他の部分の間よりも多くのリソースを割り当てるために、再生デバイスを起動することが望ましい。ステップ１４２９で受け取られた制御情報は、イベントの休憩時間または他の区別された部分の間より、イベントの主たる部分の間で異なり得、時には異なる。少なくともいくつかの実施形態において、メインイベントの間に、ステップ１４２９で受け取られた制御情報は、後部より、環境の主たる、例えば、前方の、領域に、より多くの帯域幅及び／またはデータレートが割り当てられるようにさせる。しかし、休憩または他の区別された部分の間は、後部の一方または両方に割り当てられるデータレートが増加されるようにせしめる。
[000171] 所与の方向に割り当てられたリソース間の分割は、環境の部分で提示されているコンテンツ、見る者の注目の測定、及び／または、例えば、主たる部分、休憩部分、ショー後の部分、等の進行中であるイベント部分に基づき得る。いくつかの実施形態において、ステップ１４２９で提供される制御情報は、例えば、イベントが進行中の間、環境の１つ以上の部分に対応する画像の受け取りに割り当てられるべき、帯域幅またはデータレートの最大及び／または最小量を特定する。いくつかの実施形態では、情報は、イベントの間に地面から空の画像部分を受け取ることに、何の帯域幅またはデータも割り当てられるべきではなく、従って、これらの部分は、そのような場合に静止画を用いることが必要とされるときに定着されることができることを示す。
[000172] 帯域幅／データレート割り当て制御情報は、異なる情報が異なる回に受け取られて、経時的に変化し得る。制御情報は、前方コンテンツストリームの中に埋め込まれ得、及び／または、例えば、制御情報の個別の組として、別々に送られ得る。
[000173] 動作は、ステップ１４２９から、既に受け取られていないストリームの選択された組の中のストリーム（または、複数のストリーム）のコンテンツ配信が起動されるステップ１４３０に進む。これは、選択されたストリームが対応するマルチキャストグループに参加すること、ネットワーク装置に、選択されたストリームの配信を要求するメッセージを送ること、及び／または、選択されたストリームまたは複数のストリームが伝送されるブロードキャストチャネルに同調すること、を含み得る。ステップ１４３０を通る第１の経路の場合には、これが配信のために選択される最初の視野部分として設定されたので、これは、環境の前方部分に対応するコンテンツストリームの配信を開始することを含む。しかし、例えば、ユーザが彼／彼女の頭を左または右に回す等、ユーザの頭の位置が変化すると、選択されるストリームの組は、変化し得る、及び、通常は変化する。例えば、前方領域と右後方領域の部分が見えてくるように、ユーザが左に彼の頭を回した場合、選択されるストリームの組は、前方領域と左後方部分の両方に対応したコンテンツが受け取られるように変更される。左後方部分が受け取られておらず、選択される場合、左後方部分に対応するストリームにおけるコンテンツの配信がステップ１４３０で起動される。両方向における最大データレートストリームがサポートされることができない場合、より低いデータレートの前方ストリームが選択され得、従って、より低いデータレート前方ストリームと左後方コンテンツストリームの両方の開始が起動される。選択された組の外のストリームは、新たに選択された組内のストリームの受け取りの前に終了される。受け取られているコンテンツにおける動的な変化、及び／または、一時的なギャップが、ストリーム切り替えが起こるときの画像の品質またはソースにおける変化の著しさを低減するために使用されている、ぼやかし及び／またはフィルタリングを用いて最小化されるように、ストリームの終了と開始は円滑に行われる。例えば、ぼやかしは、描画または表示プロセスの部分として、一緒に縫い合わされる画像の部分にわたって実装され得る。
[000174] 選択されたストリームの現在の組のために起動されるコンテンツ配信をもって、動作は、ステップ１４３０からステップ１４３２に進む。ステップ１４３２において、コンテンツは、コンテンツストリームの選択された組におけるストリームから受け取られる。これは、例えば、視界の主な部分に対応するコンテンツを提供するストリーム等の最も高い優先度のストリームに対応するコンテンツ、及び、例えば、視界に対応する画像コンテンツの小さい部分を提供する部分等の環境の１つ以上の他の部分に対応するコンテンツを受け取ることを含み得る、及び、様々な実施形態では含む。現在の視界のためのコンテンツの小部分を提供するストリームは、２次的ストリームとして記載され得る。単一ストリームがフルの視界のためのコンテンツを提供する一実施形態において、例えば、ユーザが視界の外側の方向に向いた場合に視界外であるコンテンツを提供すること等、１つ以上の２次的またはより低い優先度のストリームを受け取るために、利用可能な帯域幅／サポート可能な受け取りデータレートの２０％またはそれ以下が留保され、使用される。視界が、２つの異なるコンテンツストリームに対応する領域間のほぼ対等な分離である場合に、各ストリームには、それらがほぼ互角の形で寄与し、２つのストリームが提供する画像が対する領域の外の環境の領域を見るために、ユーザが急に位置を変えることはほとんどないので、利用可能なデータレート／受け取りデータレートの約半分を割り当てられる。
[000175] コンテンツ受け取りが開始されると、ステップ１４３２において、画像等のコンテンツが、ストリームの選択された組から受け取られる。主たる、例えば、最も高い優先度の、ストリームは、通常、左と右の眼の画像コンテンツの両方がストリームにおいて受け取られている、立体視コンテンツである。優先度の低いストリーム及び／または低いデータレートを割り当てられたストリームについて、単一の画像が左と右の眼の画像の両方への表示のために受け取られて、モノ画像が受け取られ得る。前方シーン部分は、通常、立体視コンテンツとして受け取られるが、１つ以上の後方部分は、モノ画像ストリームとして提供され得る。
[000176] エンコードされた画像コンテンツは、ステップ１４３２において、通常、ストリームの中で受け取られる。ステップ１４３４において、受け取られたコンテンツがデコードされ、そして、接続ノードＡ １４３６を介して到達するステップ１４３８において、デコードされたコンテンツが１つ以上の画像バッファに記憶される。いくつかの実施形態では、デコードされた画像バッファは、環境の各部分のために維持される。受け取られた画像の一部のみが最終的に表示される場合でも、フルの受け取られたフレームが、通常、デコードされ、バッファリングされる。デコードされたバッファ画像は、それが同じシーン部分のためのより最近の画像で置き換えられるまで、メモリに維持され得、いくつかの実施形態では維持される。従って、任意の所定の時間において、デコードされた画像は、現在の視界に基づいて必要とされるだけ最終的な出力画像を描画することにおいて使用するために、環境の各部分について利用可能である。デコードされた画像コンテンツは、それがより最近のデコードされた画像によって置き換えられるまで、メモリに維持されるので、３６０度環境の部分の各々に対応する画像のデコーディングは、各フレーム時間中に起こる必要はない。従って、毎秒３０フレームのフレームレートがサポートされ得るが、１５０フレームは、例えば、頂部、底部、前方、左後方、右後方部分の各々について１つ等、各フレーム期間にデコードされる必要はないが、むしろ、主たる視界に対応する部分よりも低いレートで更新される、以前にデコードされた静止画像または以前にデコードされた画像部分から出る画像のいくつかの部分をもって、サポートされ得るフレームレートに等しいか、または、わずかに高いフレームのより少ない数がデコードされ得る。
[000177] 従って、ステップ１４３８で更新された後、現在のデコードされたフレームは、ユーザの現在の視界に基づいて画像を描画することにおける使用のために利用可能である。
[000178] 動作は、ステップ１４３８からステップ１４４０に進む。ステップ１４４０において、画像バッファ（または、複数の画像バッファ）から利用可能であるデコードされたコンテンツ、例えば、テクスチャ等、１つ以上の画像部分が適用されるべき表面を規定する環境マップ、及び、２Ｄのデコードされた画像を３Ｄ表面のモデルにどのように適用するかの情報を与えるＵＶマップ（または、複数のＵＶマップ）を用いて、コンテンツが描画される。環境の３Ｄメッシュモデルは、環境の画像が適用されるべき表面を規定するメッシュモデルの頂点に対応するＵＶマップにおける点をもった、グリッドの形態であってよい。
[000179] 描画の部分として、異なるストリームから受け取られたコンテンツに対応する画像部分は、単一のストリームからのコンテンツがユーザの視界をフルに占める部分を提供することができない場合にユーザの視界に対応する環境の画像を生成するために、組み合わされる。フィルタリング、または、ぼやかしが、ユーザ視界に対応する複合画像を形成するために結合される画像にわたって適用され得る、及び、いくつかの実施形態では適用される。これは、継ぎ合わせがユーザにどの程度目立つかを低減する方向に向かう。加えて、複合画像の部分を与える画像部分の輝度は、いくつかの実施形態において、複合画像を形成するために組み合される画像部分間の輝度差を低減するために調整され、複合画像を形成するために組み合される画像部分への輝度調整をする場合に、後部、頂部、側部の輝度値より上の優先度を与えられて前方視野の輝度値が始まる。
[000180] 異なるコンテンツストリームから受け取られた画像の１つ以上の画像部分の複合であり得る描画された画像は、ステップ１４４２において、記憶され、表示され、または、伝送される。これは、選択されたコンテンツストリームの現在の組に基づいて、コンテンツの１つ以上のフレームの生成と表示を表す。
[000181] 経時的に、通信チャネル状態またはネットワーク問題における変化に起因して、最大のサポート可能なデータレートが変わり得る。これは、ステップ１４４３で検出され、どのコンテンツストリームまたは複数のストリームが受け取られ、処理されるべきであるかを選択する場合に考慮され得る。ステップ１４４３において、最大のサポートされるデータレート及び／または帯域幅は、後続のステップで使用されるためのデータ１４４４によって表されるように決定される。ステップ１４４５において、ユーザの現在の頭の位置が検出される。これは、ヘッドマウントディスプレイを含むヘッドギア上の位置センサを使用することによって行われ得る。
[000182] 動作は、ステップ１４４５から、ユーザの頭の位置が変わったかどうかについて決定がなされるステップ１４４６に進む。ユーザの頭の位置が変わっていない場合、動作は、現在の利用可能な最大帯域幅または最大のサポート可能なデータレートが、例えば、ストリーム選択がなされた最後の時点から、変化したかどうかについてのチェックがなされる、ステップ１４４７に進む。最大のサポート可能なデータレートまたは頭の位置に変化が検出されなかった場合、以前のストリーム選択が有効なまま残り、コンテンツストリームの選択された組に変更はなされない。従って、再生システムは、変わらないままであるユーザの現在の視界に対応するコンテンツを受け取り続ける。ステップ１４４７において変更が検出されない場合、動作は、接続ノードＢ １４５６を介して、ステップ１４２９に戻る。
[000183] しかし、ステップ１４４６または１４４７のいずれかにおいて変化が検出された場合、動作は、ストリーム選択サブルーチンの呼び出しを含むストリーム選択ステップ１４４８に進む。このように、頭の位置及び／またはサポート可能なデータレートにおける検出された変化が考慮され得、ストリームの選択が、ユーザの頭の位置、及び／または、例えば、画像コンテンツ等のデータを受け取るために使用され得るサポート可能なデータレートの観点で再考慮される。
[000184] ストリームがストリーム選択サブルーチンによって選択されると、動作は、選択されたストリームが選択されたストリームの現在の組と異なるか否かについてチェックがなされるステップ１４５０に進む。新たに選択された組が、使用中であるストリームの現在の選択された組と同じ場合、受け取られているストリームについての変更はなされる必要がなく、ステップ１４５２において、ストリームの現在の選択された組が変更されないで残され、動作は、接続ノードＢ １４５６を介してステップ１４２９に進む。しかし、ストリームの新たに選択された組が選択されたストリームの現在の組から異なる場合、例えば、現在選択された組がストリーム選択サブルーチンによって選択されたストリームの新たに選択された組に等しく設定される等、ストリームの選択された組における変更を反映するために、ステップ１４５４において、ストリームの現在の選択された組が更新される。
[000185] 動作は、ステップ１４５４から、ストリームの更新された現在選択された組の中に含まれていないストリームの受け取りが終了されるステップ１４５５に進む。これは、再生システムが、それがもはや受け取られないストリームに対応するマルチキャストグループのメンバであることを望まないことを信号で知らせること、または、例えば、新たに選択されたストリームまたは複数のストリームの受け取り等、他の目的のために終了されているストリームを受け取るために使用されるチューナ等のリソースを使用するために他のアクションをとることを含む。
[000186] 動作は、ステップ１４５５から、接続ノードＢ １４５６を介してステップ１４２９に進む。そして、ステップ１４３０において、任意の新たに選択されたストリームの受け取りが開始され、受け取られたコンテンツは、１つ以上の画像を描画するために使用される。従って、経時的に、ユーザが彼または彼女の頭の位置を変える、及び／または、サポートされ得るデータレートが変わると、選択されたストリームも同様に変わり得る。
[000187] 図１５は、図１４の方法のステップ１４４８において呼び出されるストリーム選択サブルーチンとして使用され得る、例示的な実施形態によるストリーム選択サブルーチンのステップを示すフローチャートである。
[000188] ストリーム選択サブルーチンは、例えば、図１４のステップ１４４８によって、サブルーチンが呼び出されるとき、ステップ１５０２で始まる。動作は、開始ステップ１５９２からストリーム選択ステップ１５０４に進む。ストリーム選択ステップ１５０４への入力は、帯域幅及び／またはデータレート制約１５０３を含む。これらは、１つ以上のシーン部分、ストリーム、及び／または、ストリーム方向に割り当てられるべき利用可能な帯域幅または合計受け取りデータレートの最大部分の情報を含み得る。制約は、また、シーン部分、ストリーム、及び/または、視野方向への最小の帯域幅またはデータ割り当てを含み得る。従って、アクションが、イベント休憩時間の間に、後方領域等の環境部分で起こっている場合に、ある方向に対応する部分が、少なくともまれに、または、特定の回数で更新されるように、制約は、特定の方向に対応するコンテンツを受け取ることに割り当てられるリソースの最大量を制限し、及び／または、ある方向に割り当てられたリソースの最小量に権限を付与し得る。
[000189] 最大サポート可能なデータレー及び／または最大利用可能な帯域幅１４４４は、選択ステップ１５０４への他の入力である。この情報１４４４は、コンテンツを受け取るために利用可能な最大の帯域幅、及び／または、コンテンツストリームの１つまたは組み合わせの受け取りをサポートするために使用され得る最大のサポート可能なデータレートを示す。ユーザの現在の頭の位置１４０７、及び、例えば、図１８に示されたもの等のなどのストリームガイド情報といった利用可能なストリームに関する情報１４０５は、また、ステップ１５０４への入力である。
[000190] ストリーム選択ステップ１５０４において、例えば、いくつかの場合には進行中のリアルタイムイベント等の番組またはイベントに対応する１つ以上のコンテンツストリームが選択される。１つ以上のストリームの選択は、ユーザの現在の頭の位置、ストリーム帯域幅またはストリームデータレートの要件等のストリーム情報、及び／または、最大サポート可能データレートまたは最大サポート可能帯域幅についての情報に基づく。視野方向上にあること、または、ストリーム優先度に基づき得る帯域幅及び／またはデータレート制約１５０３は、また、ステップ１５０４においてストリーム選択をすることにおいて考慮され、使用され得、時には使用される。
[000191] 例示的なストリーム選択ステップ１５０４は、ストリームが、ユーザの現在の及び／または過去の頭の位置に基づいて優先度付けされるステップ１５０６を含む。これは、図１６に示されたもの等、ストリーム優先度付けサブルーチンの呼び出しを含み得る。
[000192] 同じ環境方向に対応するストリームは、いくつかの実施形態では、同じ優先度を割り当てられる。従って、環境及び／または視野方向の同じ部分に対応するコンテンツに対応する複数のストリームは、同じ優先度を割り当てられ得、時には割り当てられる。ストリームが同じ視線方向に対応するが、いくつかのストリームが、高フレームレートで高解像度の立体的コンテンツを提供し、ある場合には、より低い解像度ストリームが、モノ画像コンテンツ及び／または並解像度画像を提供し、及び／または、低フレーム（画像）レートをサポートして、ある場合にストリームは、異なるデータレートを有する。従って、特定の方向は高優先度とみなされ得、高優先度方向に対応するコンテンツを提供する全てのストリームは同じであるが、選択は、そこで、いくつかの実施形態において、特定の方向に対応するコンテンツを受け取るために利用可能な帯域幅の量に基づいてなされる。
[000193] コンテンツストリームの優先度付けした後、動作は、ステップ１５０６からステップ１５０８に進む。ステップ１５０８において、最も高い優先度を有するストリームのために使用のための最大帯域幅及び／またはデータレートが決定される。この決定は、最も高い優先度のストリームのために割り当てられるべき利用可能な受け取りリソースの最大、最小、または、部分を示し得る、帯域幅または他の制約１５０３に基づいてなされ得る。いくつかの実施形態では、最も高い優先度のストリームのための最小帯域幅／データレート割り当てが５０％以上であるが、他の割り当ても可能である。
[000194] ステップ１５１０において、より低い優先度を有した各ストリームのために使用されるべき最大帯域幅及び／またはデータレートが決定される。いくつかの実施形態では、データレートまたは帯域幅の少なくとも２０％が、２次またはより低い優先度のストリームのために使用される。
[000195] 異なる優先度のストリームのために使用されるデータレートがステップ１５０８、１５１０で決定されていて、動作は、最も優先度の高いストリームが、最も高い優先度のストリームのための最大帯域幅及び／またはデータレートに基づいてサポートされることができるかどうかを決定するためにチェックがなされるステップ１５１２に進む。最も高い優先度に対応するストリームのいずれか１つがサポートされることができる場合には、ステップ１５１２の決定は肯定となり、動作は、最も高い優先度に対応する最も高い品質のストリームが選択されるステップ１５１４に進む。これは、通常、最も高い優先度を割り当てられたストリームの組から最も高いデータレートのストリームを選択することを含む。例えば、前方方向におけるストリームが最も高い優先度を割り当てられる場合、最も高い優先度のコンテンツストリームのために利用可能なデータレートを与えられてサポートされ得る、最も高いデータレートの前方方向コンテンツストリームが選択されることを考慮する。
[000196] 動作は、ステップ１５１４からステップ１５１６に進む。ステップ１５１６において、２番目に高い優先度のストリームがサポートされ得るか否かについて決定がなされる。これは、いくつかの実施形態において、最も優先度の高いストリームが選択された後、どれだけの帯域幅／データレートが利用可能か、及び、受け取られた制約に基づいて２番目に高い優先度のストリームのために、帯域幅／データのどれだけが使用され得るか、を決定することを含む。２番目に優先度が高いストリームに何の制約も置かれない場合、帯域幅／データ受け取り能力のフルの量が、２番目に高い優先度のストリームのために使用され得る。ステップ１５１６において、２番目に優先度の高いストリームがサポートされ得ると決定される場合、動作は、例えば、２番目に高い優先度を割り当てられた１以上のストリームの組から、２番目に高い優先度のストリームが選択されるステップ１５１８に進む。ステップ１５１８は、サポートされ得、２番目に高い優先度を有する、最も高いデータレートのストリームを選択することを含み得る、及び、いくつかの実施形態において含む。例えば、２番目に高い優先度が環境の右後方部分に対応している場合、ステップ１５１８は、環境の右後方部分に対応してサポートされ得る最も高いデータレートのストリームを選択することを含む。
[000197] ほとんどの場合、最も高い優先度と２次のストリームがサポートされるが、例えば、見られていないもの等、環境の他の部分に対応するいくつかのコンテンツを受け取るために、当該２つの最も高い優先度のストリームの選択の後、十分な帯域幅を残してある。動作は、ステップ１５１８からステップ１５２０に、または、２番目に高い優先度のストリームがサポートされることができない場合、ステップ１５１６から直接ステップ１５２０に進む。
[000198] ステップ１５２０において、例えば、第１及び／または第２の優先度のストリームが選択された後で利用可能な帯域幅／データ受け取りリソースを使用して、３番目に高い優先度のストリームがサポートされ得るか否かについてチェックがなされる。ステップ１５２０において、３番目に最も高い優先度のストリームがサポートされ得ると決定される場合、動作は、例えば、サポートされ得る残りの帯域幅／データレートを使用して、３番目に最も優先度の高いストリームが選択されるステップ１５２２に進む。動作は、ステップ１５２２からステップ１５２４に、または、３番目に最も優先度が高いストリームが、利用可能な帯域幅、及び／または、受け取られたデータ及び／または帯域幅制約を与えられて、サポートされ得ない場合、ステップ１５２０からステップ１５２４に直接に進む。
[000199] ステップ１５２４において、他のストリーム選択の後、追加のコンテンツを受け取るために使用され得る残りの、例えば、データを受け取るための容量等の任意の帯域幅があるかを決定するためのチェックがなされる。追加の帯域幅が残っている場合は、動作は、１つ以上のより低い優先度のストリームが、残りの利用可能な帯域幅／データレートを使用するために選択されるステップ１５２６に進む。ステップ１５２６から、動作は、ステップ１５３０に進む。追加の帯域幅が利用できない場合、動作は、はステップ１５２４から戻りステップ１５３０に進む。
[000200] 戻りステップ１５３０は、例えば、ルーチン１５００によって新たに選択されたストリームの組が決定されて、ストリーム選択サブルーチン１５００が呼び出された所に処理を戻させる。
[000201] 図１６は、例示的な実施形態に係る、ストリーム優先度付けサブルーチンのステップを示すフローチャートである。図１６００は、例えば、この中に記載された他のルーチンまたはサブルーチンの１つ以上によって呼び出され、使用され得る、例示的なストリーム優先度付けルーチンを示す。例えば、図１５のステップ１５０６は、サブルーチン１６００の呼び出しによって実装され得る。ストリーム優先度付けサブルーチン１６００は、ルーチンが呼び出されたとき、ステップ１６０２で始まる。動作は、開始ステップ１６０２からステップ１６０４に進む。ステップ１６０４において、ユーザの現在の視界が、ユーザの検出された頭の位置に基づいて決定される。ユーザの視野が１８０度未満であることを考えると、現在の視界は、例えば、前方視認カメラ位置といった単一のカメラの位置から取り込まれる環境の部分に対応し得る。しかし、ユーザが、例えば、頭を左または右に振る、及び／または、上または下を見る等、彼の頭を動かす場合、ユーザの視界は、異なるカメラ位置に位置付けられるカメラによって取り込まれる環境の部分に対応し得る。例えば、異なるカメラによって取り込まれる画像が合致するまたは重なる所に対応する環境の部分を視ている場合、ユーザの視界は、２つの異なるストリームで通信されるコンテンツに対応し得る。視界の最も大きい部分に対応する画像を提供するストリームは、通常、いくつかの実施形態において、最も高い優先度を与えられる。
[000202] ステップ１６０４において、ユーザの視界が決定されており、動作は、ユーザの現在の視界に対応する、例えば、モノ画像、または、左と右の眼の画像を含む立体視画像ペア等のコンテンツを通信するストリームが特定されるステップ１６０５に進む。そして、動作は、特定されたストリームから利用可能なユーザの現在の視野に対応するシーン領域の、例えば、画像部分等の部分または複数の部分のサイズが決定されるステップ１６０６に進む。従って、ステップ１６０６の終わりでは、ストリームが、現在の視界に対応する画像コンテンツと当該部分の相対サイズとを提供する情報が利用可能であり、例えば、ストリームを優先度付けする等、ランク付けするために使用され得る。
[000203] 動作は、ステップ１６０６からステップ１６０８に進む。ステップ１６０８において、優先度が、ユーザの現在の視界に対応する画像コンテンツを提供する１つ以上のストリームに割り当てられる。例えば、ランク付け等の優先度付けは、ストリームが提供するユーザの視界の部分または複数の部分のサイズに基づく。例えば、ユーザの視界の８０％に対応する画像コンテンツを提供するストリームは、ユーザの視界の１５％に対応する画像コンテンツを提供するよりも高位にランク付けされ、例えば、頂部または底部等の残りの５％を提供するストリームは、視界の８０％の部分に対応する画像（または、複数の画像）を提供するストリームに割り当てられた最も高い優先度よりも低い３番目の優先度を付与される。
[000204] ステップ１６０８は、ステップ１６１０及び／またはステップ１６１２を含み得、いくつかの実施形態では、含む。ステップ１６１０において、最も高い優先度が、視界の最も大きい部分を提供するストリームに割り当てられる。ステップ１６１０は、主たるストリームとして、視界の最も大きい部分を提供するストリームを指定することを含み得る。ステップ１６１２は、最も優先度の高いストリームによって寄与される部分の外側にある視界の部分に寄与するストリームに次に高い優先度または複数の優先度を割り当てることを含む。そのようなストリームは、より小さい部分に寄与し得るストリームがより低い優先度を割り当てられて、現在の視界に寄与し得る部分のサイズに基づいて、ステップ１６１２において優先度付けされる。
[000205] 潜在的に、異なる解像度またはフレームレートであるが、例えば、異なるデータレートを有する、複数のストリームが視界の同じ部分に寄与し得ると想定すると、複数のストリームは同じ優先度を割り当てられ得、例えば、前方視野に対応するストリームが同じ優先度を割り当てられ得、左後方視野を提供するストリームが、例えば、前方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得、右後方視野を提供するストリームが、例えば、前方または左後方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得る。
[000206] 従って、ステップ１６０８において、視界に寄与するストリームは、ランク付け、即ち優先度付けされている。優先度付けは、最も高い優先度を割り当てられている主たるストリーム（または、複数のストリーム）と、より低い優先度を割り当てられている他のストリームを有した、ランク付けされたリストにおいてストリームをリスト化することで表され得る。
[000207] 全てではないストリームが視界に対応し得る。例えば、頂部または底部のシーン部分が視界外であってもよく、従って、そのような視野を提供するストリームはステップ１６０８において優先度付けされない。動作は、ステップ１６０８からステップ１６１４に進む。ステップ１６１４において、優先度付けされるべき任意の残りのストリームがあるか否かについて決定がなされる。例えば、ストリームの全てがユーザの現在の視界に対応するから、優先度付けされるべき残りのストリームがない場合、動作は、戻りステップ１６３０に進む。しかし、ステップ１６１４において、優先度付けされるべき１つ以上のストリームが残っていると決定された場合、動作は、ステップ１６１６に進む。
[000208] ステップ１６１６において、優先度は、例えば、現在の視界の外のストリーム等、コンテンツを通信する１つ以上の追加のストリームに割り当てられる。ステップ１６１６で実行される優先度付けは、いくつかの実施形態において、現在の視界において可視のコンテンツに優先度付けられているストリームによって提供されるコンテンツの近接に基づく、及び／または、ユーザの現在または過去の頭の回転の方向に基づく。例えば、いくつかの実施形態において、ストリームが、現在の視界に直接隣接する環境の部分に対応する画像コンテンツを提供する場合、それは、ユーザの現在の視界から更に離れた画像部分に対応するコンテンツを提供するストリームよりも高い優先度を割り当てられる。同様に、頭の回転の方向にあるコンテンツが、頭の回転の検出された方向から離れる反対の方向にあるコンテンツよりも、ユーザの視界に直ぐに入ってくる可能性がより高いとの仮定の下、ユーザの頭の回転の方向の画像コンテンツを提供するストリームは、ユーザの検出された頭の回転から離れる回転の方向のコンテンツより、より高い優先度が与えられる。
[000209] 少なくとも１つの実施形態において、ステップ１６１６は、頭の位置の変化は、頭の回転、例えば、頭を上または下に傾けることと対照的に左または右に回す、を示したか決定するためにチェックがなされるステップ１６１８を含む。頭の回転がステップ１６１８で検出されなかった場合、動作は、いくつかの実施形態において、ユーザの現在の視界に対してストリームが提供する画像データのどの部分かに基づいて、ストリームが優先度付けされるステップ１６２０に進む。頂部及び／または底部を提供するストリームは、頂部と底部、並びに、左または右後方部分が視野外である場合、デフォルトでは、左または右後方部分を提供するストリームよりも低い優先度を割り当てられ得る。動作は、ステップ１６２０から戻りステップ１６３０に進む。
[000210] ステップ１６１８において、ユーザの頭の回転が検出されたと決定された場合、動作は、ステップ１６２２に進む。ステップ１６２２において、頭の回転の方向が、例えば、ユーザの頭が左または右に回っているかどうかで、決定される。これは、環境の隣の部分がユーザの視野に入ってくることが、頭の回転の方向から離れる方向ではなく、頭の回転の方向にある方がより可能性が高いので、頭の回転方向が考慮されることを可能にする。
[000211] 動作は、ステップ１６２２から、優先度が、頭の回転の方向に基づいて、例えば、視界外のストリーム等の１つ以上のコンテンツストリームに割り当てられるステップ１６２４に進む。少なくとも１つの実施形態において、ステップ１６２４は、次に最も低い未使用の優先度が、頭の回転方向における環境の部分に対応するコンテンツを提供するストリームに割り当てられるステップ１６２６を含む。例えば、環境の前方部分を見ているユーザが、彼の頭を右に回している場合、視界外の右後方コンテンツを提供するストリームが、同じく視界外にある左後方コンテンツを提供するストリームよりも高い優先度を割り当てられる。動作は、ステップ１６２４から、既に優先度付けされていない残りのストリームが、優先度が既に割り当てられているにストリームよりも、より低い重要度を示し、より低い優先度を割り当てられる、ステップ１６２８に進む。
[000212] 動作は、ステップ１６２８から戻りステップ１６３０に進む。戻りステップ１６３０に到達されるときまでに、コンテンツストリームは、優先度に従って、優先度付け、例えば、ランク付けまたは順序付け、がなされる。
[000213] 図１７は、例示的な実施形態による描画サブルーチンのステップ１７００のフローチャートである。
[000214] 描画サブルーチン１７００は、画像描画が要求されるとき、１つ以上のルーチンにより呼び出され得る。立体視コンテンツの場合には、個別の画像が、ユーザの左と右の眼の各々について描画される。モノコンテンツの場合、単一の画像が描画され、ユーザの左と右の眼の各々のために使用される。描画は、しばしば、１つまたは複数のストリームからの画像コンテンツの組み合わせを含む。従って、環境のいくつかの部分はモノコンテンツとして提供され得るが、他の部分は立体視コンテンツとして提供され得、その場合、コンテンツのいくらかが立体であり、他のコンテンツがモノであるが、環境の少なくとも部分が立体視コンテンツとして提示される場合に、単一の画像が、左と右の眼の画像の各々のために生成されて、異なる左と右の眼の画像が描画されえる。
[000215] 描画ルーチン１７００は、開始ステップ１７０２で始まり、描画ステップ１７０６に進む。描画ステップ１７０６への入力は、環境マップ１４１１、１つ以上の視野に対応するデコードされたコンテンツ１７０３、環境マップ１４１１によって規定された表面上に１つ以上のデコードされた画像をマッピングするために使用されるＵＶマップ１７０４を含む。上述したように、環境マップ１４１１は、より複雑な幾何学形状が与えられない場合に、球体に初期設定され、画像が球体の内側面にマッピングされる。
[000216] いくつかの実施形態において、描画ステップ１７０６は、ユーザの現在の視界に対応する少なくとも１つの画像を生成するために、ユーザの現在の視界に対応する１つ以上のコンテンツストリームに含まれた画像をデコードすることによって生成されたコンテンツと、環境マップ、並びに、少なくとも１つのＵＶマップを使用することを含む、ステップ１７０８を含む。例えば、３Ｄ等の立体視画像コンテンツの場合、描画は、左と右の眼の画像が表示するのに適した形式で生成される結果となる。描画された左と右の眼の画像における違いは、いくつかの実施形態では、ユーザに、画像を３Ｄで知覚させる。
[000217] 動作は、ステップ１７０６から、描画された画像を、ディスプレイデバイスに供給される、記憶される、及び／または、出力されるために、プログラムまたはルーチンに戻させる戻りステップであるステップ１７１０に進む。
[000218] 描画サブルーチン１７００は、フレームまたは視界の更新されたバージョンが表示されるべき各度に呼び出され得る。従って、描画は、通常、例えば、フレーム、表示レート等、画像と一致したレートで起こる。
[000219] 図１８は、複数のコンテンツストリームに対応するストリーム情報を含む例示的なテーブル１８００を示す。いくつかの実施形態では、例示的なテーブル１８００に含まれるストリーム情報は、例えば、番組ガイド等の再生システムが受け取ることを選択し得るコンテンツストリームに関する情報を提供するガイド情報の一部として受け取られる。凡例１８４０は、テーブル１８００に含まれる情報において略語として使用される様々な文字の意味を示す情報を含む。
[000220] テーブル１８００に含まれる情報は、情報が対応するコンテンツストリームにアクセスするために使用されることができる。いくつかの実施形態において検討されるように、ストリーム情報は、複数の利用可能なコンテンツストリームについて、所定の対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストアドレス、所定のコンテンツストリームを提供するために使用される切換えデジタルビデオチャネル（switched digital video channel）へのアクセスを要求するために使用され得る情報、または、所定のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように再生システムのチューナを制御するために使用され得るチャネル同調情報の１つを含む。
[000221] テーブル１８００において、各行は、コンテンツを通信する個々のコンテンツストリームに対応し、行が対応するコンテンツストリームは、列１８１２における対応するエントリに示されたストリーム識別子によって特定される。列１８０４における各エントリは、行が対応する個々のコンテンツストリームによって通信される番組コンテンツを特定する。テーブル１８００から理解され得るように、行の第１のグループ１８２０は、列１８０４内の対応するエントリに示されるように番組／イベントのタイトルを示すことができる、「サッカー」の番組コンテンツに対応する。様々な異なる番組／イベントに対応する、複数のそのようなグループが存在し得る。各グループは、検討されるように、各々が視野方向に対応し、所与のデータレートをサポートするコンテンツストリームを含む。簡略化のために、２つのグループのみが図示され、第２のグループ１８２２に対応する行は、概念を例示するためだけに部分のみが示されている。行の第２のグループ１８２２は、列１８０４における対応するエントリによって示されるように「ＨＩ」の番組コンテンツに対応する。
[000222] 列１８０６の各エントリは、対応するコンテンツストリームによって通信される、例えば、３６０度シーン領域１２００等のシーン領域の部分を示す。従って、グループ１８２０における最初の３行は、各々が異なるコンテンツストリームに対応するが、正面シーン部分（例えば、２７０度から９０度までの視野領域をカバーする、図１２に示されたゾーン１にマッピングする）を通信する。グループ１８２０における次の３行は、各々が異なるコンテンツストリームに対応するが、後方右側シーン部分（例えば、３０度から２１０度の視野領域をカバーする、図１２に示されたゾーン２にマッピングする）を通信する。グループ１８２０における最後の３行は、各々が異なるコンテンツのストリームに対応するが、後方左側シーン部分（例えば、１５０度から３３０度の視野領域をカバーする、図１２に示されたゾーン３にマッピングする）を通信する。
[000223] 列１８０８における各エントリは、対応するコンテンツストリームがサポートするデータレートを示す。列１８１０における各エントリは、列１８１２における対応するエントリに示されたストリーム識別子によって特定される対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストグループ識別子／アドレスを示す。列１８１４における各エントリは、列１８１２における対応するエントリにおいて示されたストリーム識別子によって特定される対応するコンテンツストリームについてのストリーム記述子を含む。列１８１６における各エントリは、対応するコンテンツストリームをアクセスする、または、要求するために使用され得る、例えば、同調パラメータ及び／または他のアクセスパラメータ等のアクセス情報を含む。
[000224] 例示的なテーブル１８００から理解され得るように、図示の例では、再生における使用のために利用可能である、所与の視野方向に対応する各コンテンツストリームの複数、例えば、３つ、の異なるバージョンが存在し、コンテンツストリームの各バージョンは、異なるデータレートをサポートする。従って、再生システムは、図１４−１７に関して詳細に検討されたような本発明の特徴に従って、例えば、サポートされる帯域幅、データレート、ユーザの頭の位置等の１つ以上の要因に基づいて、再生に使用するために、１つ以上のストリームの選択を行うことができる。
[000225] １つ以上のコンテンツストリームを選択する、及び／または、アクセスするために、テーブル１８００における情報が再生システムによってどのように利用され得るかをより明確に理解するために、グループ１８２０における最初の行と、列１８０４、１８０６、１８０８、１８１０、１８１２、１８１４、及び、１８１６の各々における最初のエントリを考慮する。列１８０４の最初のエントリは、列１８１２に含まれたストリーム識別子Ｓ１Ｄ１によって特定される第１のコンテンツストリームによって、「サッカー」のイベント／番組が通信されることを示す。列１８０６における対応するエントリは、第１のストリームが、前方シーン部分（例えば、２７０度から９０度までの視野領域）に対応するコンテンツを通信することを示す。この視野領域情報は、現在の視界に対応する、ユーザ／見る者の現在の頭の位置に対応するコンテンツを通信する１つ以上のストリームを特定するために、再生システムによって使用される。例を続けると、列１８０８における対応する最初のエントリは、第１のコンテンツストリームが、データレートＤ１をサポートする、及び／または、必要とすることを示す。列１８１０における対応するエントリは、第１のコンテンツストリームが、マルチキャストグループＭ１に参加することによってアクセスされ得ることを示し、Ｍ１は、マルチキャストグループアドレス、及び／または、アドレスにマッピングする識別子を示す。列１８１４における対応するエントリは、第１のストリームが対応するカメラ視野角（Ｖ１）、第１のストリームに対応するコーデックタイプ（Ｃ１）、サポートされるデータレート（Ｄ１）、フレームレート（Ｆ１）を示す、第１のコンテンツストリームに対応するストリーム記述子「Ｖ１Ｃ１Ｄ１Ｆ１」を含む。最後の列１８１６における対応するエントリは、アクセス同調パラメータ、及び／または、第１のコンテンツストリームをアクセスする、または、要求するために使用され得る他のアクセスパラメータ（Ａ１２３として示される）を示す。
[000226] 使用され得る利用可能なコンテンツストリームに関する上述のような情報を用いて、再生システム１９００等の再生システムは、本発明の特徴に従って、再生に使用するための１つ以上のコンテンツストリームを選択し、アクセスし得る。より良い理解のために、ユーザの頭の位置が、ユーザが３６０度シーンの正面部分を見ていることを示していると、再生システムが決定する、１つの単純な例を考える。一実施形態におけるそのような場合には、再生システムは、正面シーン部分を通信する少なくとも１つのコンテンツストリームを選択する。利用可能な帯域幅、サポート可能なデータレート、ストリーム帯域幅、及び／または、データレート制約等の図１４−１７について検討されたような様々な他の要因に応じて、再生システムは、正面シーン部分を通信する３つの異なる利用可能なストリーム（Ｓ１Ｄ１、Ｓ１Ｄ２，Ｓ１Ｄ３）からストリームを選び出すことができる。制約が許すならば、再生システムは、正面シーン部分に対応する複数のコンテンツストリームからの３つの対応するコンテンツストリームから、最高品質のストリーム、例えば、ストリームＳ１Ｄ１、を選択する。テーブル１８００において提供される情報は、選択を行うために使用され得る情報の少なくともいくつかがストリーム情報１８００によって提供されるので、再生における使用のための適切なストリームの選択を容易にする。ストリーム選択の後、再生システムは、選択されたストリームに対応するマルチキャストグループ、例えば、Ｍ１、に参加することによって、または、コンテンツストリームを取得するためにアクセス情報を用いることによって、コンテンツ配信、例えば、コンテンツの受け取り、を起動するために、再びストリーム情報１８００を使用し得る。
[000227] 図１９は、コンテンツ配信システムから受け取られる画像コンテンツを受け取り、デコードし、記憶し、及び、表示するために使用され得る、本発明に従って実装された再生システム１９００を示す。システム１９００は、ディスプレイ１９０２を含む単一の再生デバイス１９００’として、または、コンピュータシステム１９００’に接続された外部ディスプレイ、例えば、ヘッドマウントディスプレイ１９０５等の要素の組み合わせとして、実装され得る。
[000228] 再生システム１９００は、少なくともいくつかの実施形態において、３Ｄヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ１９０５を含み得る、Ｏｃｕｌｕｓ社のＲＩＦＴ（商標） ＶＲ（バーチャルリアリティ）ヘッドセットを使用して実装され得る。また、他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、１つ以上のディスプレイスクリーンがユーザの左と右の眼にコンテンツを表示するために使用されるヘッドマウントヘルメットまたは他のヘッドマウントデバイスが、デバイス１９０５として使用される。単一のスクリーンの異なる部分を異なる眼に露出するよう構成されたヘッドマウントを用いて、単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別個に知覚される左と右の眼の画像を表示するために使用され得る。いくつかの実施形態において、セルフォンのスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンはヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。いくつかの実施形態では、表示デバイス１９０５は、Ｏｃｕｌｕｓ社のＲｉｆｔ等の３Ｄディスプレイ装置の部分であってもよい。
[000229] 再生システム１９００は、受け取られた、エンコードされた画像データ、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び／または、モノ（単一の画像）、をデコードし、例えば、ユーザによって３Ｄ画像として知覚される異なる左と右の眼の画面を描画し、表示することによって、顧客への表示のための３Ｄ画像コンテンツを生成する能力を有する。いくつかの実施形態における再生システム１９００は、家庭やオフィス等の顧客建物位置に配置されるが、同様に、画像取り込みの場所に配置されてもよい。システム１９００は、本発明に従った信号受け取り、復デコード、表示、及び／または、他の動作を実行することができる。
[000230] システム１９００は、ディスプレイ１９０２、ディスプレイデバイスインターフェース１９０３、入力デバイス１９０４、入力／出力（Ｉ／Ｏ）インターフェース１９０６、プロセッサ１９０８、ネットワークインターフェース１９１０、及び、メモリ１９１２を含む。システム１９００の様々なコンポーネントは、データがシステム１９００のコンポーネントの間を通信されることを可能にするバスを介して、及び／または、他の接続によって、または、無線インターフェースを介して、共に接続される。いくつかの実施形態において、ディスプレイ１９０２は、破線枠を用いて示されるオプション要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス１９０５が、ディスプレイデバイスインターフェース１９０３を介して再生デバイスに接続され得る。
[000231] 例えば、セルフォンプロセッサがプロセッサ１９０８として使用され、セルフォンが画像を生成し、ヘッドマウントで表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ１９０８、ディスプレイ１９０２、及び、メモリ１９１２を含み得る。プロセッサ１９０８、ディスプレイ１９０２、メモリ１９１２は、全て、セルフォンの部分であってもよい。システム１９００の他の実施形態は、プロセッサ１９０８は、ディスプレイ１９０５がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、ＸＢＯＸまたはＰＳ４等のゲームシステムの部分であってよい。プロセッサ１９０８、または、メモリ１９１２が、頭に装着されるデバイスに設けられるか否かは、重要ではなく、理解され得るように、いくつかの場合には、電力、熱、及び、重量の観点から、ヘッドギアにプロセッサを共同設置することが便利であり得るが、少なくともいくつかの場合には、ディスプレイを含むヘッドギアに接続されたプロセッサ１９０８とメモリを有することが望まれ得る。
[000232] 様々な実施形態は、ヘッドマウントディスプレイ１９０５または１９０２を企図しているが、方法及び装置は、また、３Ｄ画像をサポートし得るヘッドマウントでないディスプレイとともに使用されることができる。従って、多くの実施形態において、システム１９００はヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。
[000233] 再生システム１９００のオペレータは、入力デバイス１９０４を介して１つ以上のパラメータを制御し、及び／または、例えば、３Ｄシーン表示を選択する等、実行されるべき動作を選択し得る。Ｉ／Ｏインターフェース１９０６を介して、システム１９００は、外部デバイスに接続され、及び／または、他のデバイスと信号及び／または情報を交換し得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１９０６を介して、システム１９００は、カメラリグ９００等のカメラリグの部分であり得る様々なカメラによって取り込まれた画像を受け取ることができる。
[000234] 例えば、ＣＰＵ等のプロセッサ１９０８は、ルーチン１９１４を実行し、再生システム１９００を本発明に従って動作するように制御するために、様々なモジュールを使用する。プロセッサ１９０８は、再生システム１９００の全般的な動作を制御する責任がある。様々ないくつかの実施形態において、プロセッサ１９０８は、再生デバイスによって実行されているとして検討された機能を実行するように構成される。
[000235] ネットワークインターフェース１６１０を介して、システム１９００は、例えば、通信ネットワーク１０５等の通信ネットワーク上で、様々な外部デバイスに、通信及び／または情報（例えば、画像及び／またはビデオコンテンツを含む）を通信し、及び／または、受け取る。ネットワークインターフェース１９１０は、それを介して受信と送信の動作が実行される受信機１９１１及び送信機１９１３を含む。いくつかの実施形態では、システムは、コンテンツプロバイダから、ネットワークインターフェース１９１０を介して１つ以上の選択されたコンテンツストリームを受け取る。いくつかの実施形態では、システム１９００は、インターフェース１９１０の受信機１９１１を介して、再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取る。受け取られたコンテンツストリームは、例えば、エンコードされたシーン部分１９５２等のエンコードされたデータとして受け取られ得る。受信機１９１１は、更に、例えば、番組ガイドの部分として、ストリーム情報１９４６、及び／または、初期化データを受け取るよう構成される。システム１９００は、更に、例えば、受信機１９１１を介して、異なる視野方向のための帯域幅制約を含む、帯域幅及び／またはデータレート割り当て制御情報１９５２を受け取り、個々の帯域幅制約は、当該個々の帯域幅制約に対応する視野方向に対応したコンテンツを提供する１つ以上のコンテンツストリームを受け取るために使用されるべき最大帯域幅を指定する。いくつかの実施形態では、受信機１９１１は、更に、例えば、初期化フェーズまたは他の時間の間等、３Ｄ表面の少なくとも一部の上に画像コンテンツをマッピングするために使用されるために、３Ｄ表面を規定する３Ｄ深さマップ等の少なくとも１つの環境マップ、及び、１つ以上のＵＶマップを受け取るように構成される。いくつかの実施形態では、受信機１９１１は、シーン環境の第１の部分に対応する第１のＵＶマップ、当該シーン環境の第２の部分に対応する第２のＵＶマップ、シーン環境の第３の部分に対応する第３のＵＶマップは、第４の部分に対応する第４のＵＶマップ、シーン環境の第５の部分に対応する第５のマップを受け取る。いくつかの実施形態において、初期化の間に、システム１９００は、例えば、インターフェース１９１０の受信機を介して、シーンの第１、第２、第３、第４、及び、第５の部分の１つ以上に対応する、例えば、画像等のコンテンツを受け取る。
[000236] メモリ１９１２は、プロセッサ１９０８によって実行されたとき、再生システム１９００を、本発明に従って、デコードと出力動作を実行するよう制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ１９１２は、制御ルーチン１９１４、頭の位置決定モジュール１９１６、現在の視野位置初期化モジュール１９１８、デコーダモジュール１９２０、現在選択されるストリーム初期化モジュール１９２２、コンテンツ配信起動モジュール１９２４、画像バッファ（または、複数のバッファ）１９２６、画像バッファ更新モジュール１９２８、画像生成モジュールとも呼ばれる画像描画モジュール１９３０、利用可能な帯域幅及び／またはサポートされるデータレート決定モジュール１９３２、頭の位置変化決定モジュール１９３４、利用可能な帯域幅及び／またはサポートされるデータレート変化決定モジュール１９３６、ストリーム選択モジュール１９３８、選択されたストリームの組変更決定モジュール１９４０、選択されたストリームの組更新モジュール１９４２、ストリーム（または、複数のストリーム）終了モジュール１９４４、受け取られたストリーム情報を含むデータ／情報１９４６、受け取られた、帯域幅及び／またはデータレート割り当て情報１９４８、決定された現在の最大の利用可能な帯域幅及び／またはサポート可能なデータレート１９５０、受け取られたエンコードされた画像コンテンツ１９５２、受け取られた環境マップ１９５４、受け取られたＵＶマップ（または、複数のＵＶマップ）１９５６、デコードされた画像コンテンツ１９５８、及び、生成された３Ｄコンテンツ１９６０を含む。
[000237] 制御ルーチン１９１４は、システム１９００の動作を制御するために、デバイス制御ルーチンと通信ルーチンとを含む。頭の位置決定モジュール１９１６は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を決定するように構成される。例えば、頭の位置決定モジュール１９１６は、ヘッドマウントディスプレイを含むヘッドギア上にあってもよい位置センサと統合されてもよく、及び／または、連携して動作してもよい。現在の視野位置初期化モジュール１９１８は、例えば、初期化フェーズ中に、検出されたユーザの現在の頭の位置を前方（０度）視野位置に設定することによって、ユーザの現在の視野位置を、前方（０度）環境視野位置に初期化するように構成される。
[000238] デコーダモジュール１９２０は、デコードされた画像データ１９５８を生成するために、コンテンツ配信システム７００からの受け取られたエンコードされた画像コンテンツ１９５２をデコードするよう構成される。デコードされた画像データ１９５８は、デコードされた立体視シーン、及び／または、デコードされたシーン部分を含み得る。デコードされたコンテンツは、いくつかの実施形態では、１つ以上の画像バッファ１９２６に記憶される。現在選択されるストリーム初期化モジュール１９２２は、受け取られるべく選択される１つ以上のコンテンツストリームの現在の組を初期化するように構成される。現在選択されるストリーム初期化モジュール１９２２は、ストリームの現在選択された組を、環境／シーンの前方／正面部分に対応するコンテンツを通信する第１のストリームに設定するよう構成される。
[000239] コンテンツ配信起動モジュール１９２４は、選択されたコンテンツストリーム（または、複数のストリーム）の配信を起動するように構成される。いくつかの実施形態では、コンテンツ配信起動モジュール１９２４が、既に受け取られていない選択された組におけるコンテンツストリームの配信を起動する。いくつかの実施形態では、コンテンツ配信起動モジュール１９２４は、例えば、ストリームの現在の選択された組に対応するコンテンツを通信するコンテンツストリームに対応したマルチキャストグループ等、選択されたコンテンツストリームに対応するマルチキャストグループ（または、複数のマルチキャストグループ）に参加するための要求信号を送るように構成される。いくつかの他の実施形態では、コンテンツ配信起動モジュール１９２４は、ネットワーク内のデバイスに、選択されたコンテンツストリームが通信される切り替えデジタルチャネルの配信を要求する要求を生成し、送るように構成される。
[000240] 画像バッファ更新モジュール１９２８は、例えば、コンテンツストリームの選択された組によって通信される、更新されたコンテンツが受け取られ、デコードされたとき、画像バッファ（または、複数の画像バッファ）１９２６を更新されたコンテンツで更新するように構成される。
[000241] 画像描画モジュール１９３０は、ディスプレイ１９０２及び／またはディスプレイデバイス１９０５上でユーザに表示するために、例えば、デコードされた画像コンテンツ１９５８を用いて、本発明の特徴に従って、３Ｄ画像として知覚されるような方法で表示される、例えば、左と右の眼の画像等の３Ｄ画像を生成する。いくつかの実施形態において、画像描画モジュール１９３０は、ユーザの現在の視野領域に対応する、デコードされた画像コンテンツ１９５８、環境マップ１９５４、及び、ＵＶマップを使用した表示のためにコンテンツを描画するよう構成される。従って、いくつかの実施形態では、画像描画モジュール１９３０は、図１７に示されたステップに関して検討された機能を実行するように構成される。生成された画像コンテンツは、３Ｄ画像生成モジュール１９３０の出力である。従って、描画モジュール１９３０は、ディスプレイに、３Ｄ画像コンテンツ１９６０を描画する。いくつかの実施形態では、画像描画モジュール１９３０は、例えば、ディスプレイデバイスに、または、他のデバイスに、１つ以上の生成された画像を出力するように構成される。生成された画像は、ネットワークインターフェース１９１０及び／またはディスプレイデバイスインターフェース１９３０を介して出力され得る。
[000242] 利用可能な帯域幅及び／またはサポートされるデータレート決定モジュール１９３２は、例えば、コンテンツストリームを受け取るために、所与の時間に利用可能であり得る、現在の最大の利用可能な帯域幅及び／または現在の最大のサポート可能なデータレートを決定するように構成される。利用可能な帯域幅及び／またはサポート可能なデータレートが、通信チャネル状態またはネットワーク問題における変化により時間とともに変化し得るので、いくつかの実施形態では、決定モジュール１９３２は、利用可能な帯域幅及び／またはサポートされるデータレートにおける変化を検出するために、継続的ベースで、モニタ及び／または決定を実行する。決定された現在の最大のサポート可能なデータレート及び／または帯域幅１９５０は、決定モジュール１９３２の出力であり、必要があるときに更新され得る。
[000243] 頭の位置変化決定モジュール１９３４は、例えば、頭の位置決定モジュール１９１６の出力における変化をチェック及び比較することによって、ユーザの頭の位置に変化があったかどうかを決定するように構成される。利用可能な帯域幅及び／またはサポートされるデータレート変化決定モジュール１９３６は、決定モジュール１９３２によって決定される、現在の最大の利用可能な帯域幅及び／または現在の最大のサポート可能なデータレートと比較して、利用可能な帯域幅及び／またはサポートされるデータレートに変化があるかどうかを検出するように構成される。
[000244] ストリーム選択モジュール１９３８は、ユーザの現在の頭の位置に基づいて、所定の時間での再生における使用のために、複数のコンテンツストリームのどれを受け取るかを選択するよう構成される。ユーザの現在の頭の位置及び／または他の要因における変化に基づいて、ストリーム選択モジュール１９３８は、異なる度に異なるストリーム（または、複数のストリーム）を選択することができる。ストリームの現在選択された組１９６１は、ストリーム選択モジュール１９３８の出力であり、受け取るために現在選択されたコンテンツストリームの組を示す。いくつかの実施形態では、ストリーム選択モジュール１９３８は、ストリーム選択動作の部分として、様々な機能を実行するように構成される複数のサブモジュールを含む。図２３は、ストリーム選択モジュール１９３８、及び、その中に含まれる様々なモジュールをより詳細に示し、後述される。
[000245] 選択されたストリームの組変更決定モジュール１９４０は、例えば、選択モジュールが１つ以上の追加のコンテンツストリームを選択することに因り、及び／または、受け取られている１つ以上のストリームが終了された／停止されたことに因り、ストリームの現在選択された組１９６１において変更があったかどうかを決定するよう構成される。選択されたストリームの組更新モジュール１９４２は、例えば、ストリーム１９６１の選択された組へのコンテンツストリームの追加または終了に因り、ストリームの選択された組への変更があった場合に、ストリームの選択された組への任意の変更を反映するために、現在の選択されたストリームの組１９６１を更新するように構成される。ストリーム（または、複数のストリーム）終了モジュール１９４４は、例えば、ストリームの現在選択された組１９６１がストリームの選択における変更故に更新されることに因り、以前に受け取られていたが、もはやストリームの現在選択される組にはない１つ以上のコンテンツストリームを受け取ることを終了／停止するよう構成される。
[000246] ストリーム情報１９４６は、受け取ること、及び、再生における使用のために利用可能であり得る複数のコンテンツストリームに関する情報を含む。ストリーム情報１９４６に含まれる情報は、図１８に示され、先に検討されたのと同じまたは同様である。受け取られた、帯域幅及び／またはデータレート割り当て制御情報１９４８は、異なる視野方向のための帯域幅制約、及び／または、様々な異なる視野方向のためのコンテンツを提供するコンテンツストリームに対応するデータレート上の制約を示す情報を含む。決定された現在の最大のサポート可能なデータレート及び／または帯域幅１９５０は、所与の時間に、再生システム１９００によって決定される最大のサポート可能なデータレート及び／または帯域幅を示す。
[000247] 受け取られた環境マップ１９５４は、３Ｄ表面を規定する環境の３Ｄ深さマップを含む。関心のある環境に対応する１つ以上のそのような深さマップは、いくつかの実施形態では、再生システム１９００によって受け取られ得る。受け取られたＵＶマップ（または、複数のＵＶマップ）１９５６は、関心のある環境／シーンの部分に対応する１つ以上のＵＶマップを含む。デコードされたデータ１９５８は、デコーダ１９２０によって、本発明に従ってデコードされたデータを含む。デコードされたデータ１９５８は、ストリームの選択された組によって通信された環境のシーンまたはシーン部分を含むコンテンツを含む。
[000248] いくつかの実施形態では、上述の様々なモジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、例えば、各モジュールが、モジュールが対応する機能を実行するための回路として実装される個々の回路として、ハードウェアで実装される。更に、他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。
[000249] メモリ１９１２に含まれる例が図１９に示されるが、再生デバイス１９００に含まれる図示されたモジュールは、例えば、個々の回路として、プロセッサ１９０８の中にハードウェアで全体が実装され得、及び、いくつかの実施形態では実装される。モジュールは、例えば、異なるモジュールに対応する個別の回路として、ハードウェアで全体が実装され得る、及び、いくつかの実施形態では実装される。他の実施形態において、モジュールのいくつかが、例えば、回路として、プロセッサ１９０８の中に実装され、他のモジュールが、プロセッサ１９０８の外部で接続される、例えば、回路として、実装される。理解されるべきであるように、プロセッサ上のモジュールの統合のレベル、及び／または、プロセッサの外部にあるいくつかのモジュールと共に、設計事項の１つであり得る。代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム１９００のメモリ１９１２に記憶され得、モジュールが、例えば、プロセッサ１９０８等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するために、システム１９００の動作を制御する。更に他の実施形態では、様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路がプロセッサ１９０８への入力を提供し、そして、プロセッサ１９０８が、ソフトウェア制御の下で、モジュールの機能の部分を実行するよう動作する。
[000250] 図２３は、再生システム１９００において使用されるストリーム選択モジュールとその中に含まれる各種のモジュールとをより詳細に示す。ストリーム選択モジュールは、図１４−１６に関連して詳細に説明されたように、本発明の方法に従って１つ以上のコンテンツストリームを選択するように構成される。いくつかの実施形態では、ストリーム選択モジュールは、ユーザの頭の位置、ストリーム情報１９４６、及び／または、最大のサポート可能なデータレートに基づいて、複数のコンテンツストリームのどれを受け取るかを選択するように構成される。いくつかの実施形態では、ストリーム選択モジュール１９３８は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度付けをするように構成されたストリームの優先度付けモジュール２３０６を含む。ストリームの優先度付けモジュール２３０６の出力は、例えば、割り当てられた優先度でコンテンツストリームの優先度付けリストである。ストリームの優先度付けモジュール２３０６は、以下に、図２４に関して更に詳細に説明される。
[000251] ストリーム選択モジュール１９３８は、更に、例えば、帯域幅及び／またはデータレート制約に基づいて、最も高い優先度を有するストリームのために使用されるべき最大の帯域幅及び／またはデータレートを決定するように構成される最も高い優先度のストリームの最大の帯域幅及び／またはデータレート決定モジュール２３０８と、より低い優先度を有する各ストリームのために使用されるためのより低い優先度ストリーム（または、複数のストリーム）の最大の帯域幅及び／またはデータレート決定モジュール２３１０とを含む。決定モジュール２３０８、２３１０は、いくつかの実施形態におけるそれぞれの決定を行うために、帯域幅制御情報１９４８とストリーム優先度付けモジュール２３０６の出力を使用する。したがって、ストリーム選択モジュール１９３８は、例えば、ネットワークデバイス／サーバから、再生システムに通信された帯域幅制約に基づいて、少なくとも１つのコンテンツストリームのための帯域幅を決定するように構成された１つ以上のストリームの帯域幅決定モジュールを含み得る。
[000252] ストリーム選択モジュール１９３８は、更に、最も高い優先度のストリーム（または、複数のストリーム）のために決定された最大の帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅及び／またはサポート可能なデータレートに基づいて、最も高い優先度のストリームがサポートされ得るかどうかを決定するよう構成されたモジュール２３１２と、サポートされ得る最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール２３１４とを含む。いくつかの実施形態では、選択モジュール２３１４は、最高の優先度を割り当てられた複数のコンテンツストリームから１つのコンテンツストリームを選択するように構成され、最も高い優先度に割り当てられた各コンテンツストリームは、同じ優先度を有する複数のコンテンツストリームから選択するように構成されることの部分として、同じ視線方向に対応するコンテンツを提供する。いくつかの実施形態において、モジュール２３１４は、利用可能な帯域幅の決定された量に基づいて、例えば、最も高い優先度等の同じ優先度を有する複数のコンテンツストリームから選択するように構成される。従って、いくつかの実施形態では、同じ優先度を有する複数のストリームが利用可能である、例えば、いくつかが、より低いデータレート要求を有する他のものと比較して高いデータレート要求をもつ、場合に、選択モジュール２３１４は、利用可能な帯域幅及び／またはサポート可能なデータレート、及び、帯域幅制約がそのような選択を可能にするならば、例えば、高データレートストリーム等の最も高い品質のストリームを選択する。
[000253] ストリーム選択モジュール１９３８は、更に、２番目に最も高い優先度ストリームのために決定された最大の帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅（例えば、合計の利用可能な、または、残りの利用可能な）及び／またはサポート可能なデータレートに基づいて、２番目に最も高い優先度のストリームがサポートされ得るかどうかを決定するように構成されたモジュール２３１６、サポートされ得る２番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール２３１８、３番目に最も高い優先度のストリーム（または、複数のストリーム）のために決定された最大の帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅（例えば、合計の利用可能な、または、残りの利用可能な）及び／またはサポート可能なデータレートに基づいて、３番目の最も高い優先度ストリームがサポートされ得るかどうかを決定するよう構成されたモジュール２３２０、及び、サポートされ得る３番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール２３２２を含む。従って、いくつかの実施形態では、ストリーム選択モジュール１９３８は、例えば、優先度付けモジュール２３０６により、最も高い優先度を割り当てられている１つ以上のコンテンツストリームを選択するように構成される。
[000254] ストリーム選択モジュール１９３８は、更に、例えば、１つ以上のより高い優先度のストリームが受け取りのために選択された後、追加のコンテンツストリームを受け取りための任意の残りのまたは追加の利用可能な帯域幅があるかどうかを決定するように構成される追加の容量／帯域幅利用可能性決定モジュール２３２４を含む。いくつかの実施形態では、ストリーム選択モジュール１９３８は、更に、１つ以上のより低い優先度ストリームのための最大の決定された最大帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅及び／またはサポート可能なデータレートに基づいて、サポートされ得る１つ以上のより低い優先度のストリームを選択するよう構成されたモジュール２３２６を含む。
[000255] 図２４は、ストリーム選択モジュール１９３８の、例えば、サブモジュールとして等の部分として、または、個別のモジュールとして実装され得るストリーム優先度付けモジュール２３０６を示す。ストリームの優先度付けモジュール２３０６は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度を決定するように構成される。コンテンツストリームが優先度付けされると、ストリーム選択モジュール１９３８は、優先度付けされたコンテンツストリームからのストリーム選択を行うことができる。いくつかの実施形態では、ストリーム優先度付けモジュール２３０６は、ユーザの現在の頭の位置に基づいて、ユーザが見ているシーン領域の部分を示す、ユーザの現在の視界を特定するように構成された現在の視界特定モジュール２４０４と、ユーザの現在の視界に対応するコンテンツを通信するストリーム（または、複数のストリーム）を特定するよう構成された現在の視界ストリーム（または、複数のストリーム）特定モジュール２４０４を含む。現在の視界ストリーム（または、複数のストリーム）特定モジュール２４０４の出力は、いくつかの実施形態ではメモリ１９１２に記憶され得る特定されたストリームのリストであり、リストは、ユーザの頭の位置、従って、視界が変化すると更新され得る。従って、様々な実施形態では、様々な利用可能なコンテンツストリームを優先度付けするために、まず、ユーザの現在の視界が頭の位置に応じて特定され、視界に対応するコンテンツを通信するストリームが特定される。
[000256] いくつかの実施形態では、ストリーム優度付けモジュール２３０６は、更に、特定されたストリーム（または、複数のストリーム）から、利用可能な、ユーザの現在の視界に対応するシーン領域の部分の大きさを決定するよう構成されたモジュール２４０６と、各ストリームが提供する部分の大きさに基づいて、ユーザの現在の視界に対応するシーン領域の部分を提供する１つ以上のストリームに優先度付与するように構成された優先度付与／割り当てモジュール２４０８を含む。いくつかの実施形態において、優先度付与／割り当てモジュール２４０８は、現在の視界に対応するシーンの最も大きな部分を提供するストリームをプライマリストリームとして指定する等、視界の最も大きい部分を提供するストリームに最も高い優先度を付与するように構成されたモジュール２４１０を含む。いくつかの実施形態では、優先度付与／割り当てモジュール２４０８は、更に、例えば、視界のより大きな部分を提供するストリームが、現在の視界に対応するシーンのより小さい部分を提供する他のストリームよりも高い優先度と指定を与えられて、残りのストリームの各々が提供する視界の部分の大きさに基づいて、残りのストリームに、次に最も高い優先度（または、複数の優先度）を付与し、指定する（例えば、２次、３次、等）ように構成されたモジュール２４１２を含む。
[000257] いくつかの実施形態では、ストリーム優先度付けモジュール２３０６は、更に、現在の視界外のシーン領域に対応するコンテンツを提供するストリーム等、優先度付けされるべき残りのストリームが存在するかどうかを決定するように構成されたモジュール２４１４を含む。
[000258] いくつかの実施形態では、ストリーム優先度付けモジュール２３０６は、更に、現在の視界への画像コンテンツの近接、または、頭の回転の方向の一方に基づいて、ユーザの現在の視界の外側のコンテンツを提供する１つ以上の追加のストリームに、例えば、優先度を付与する等の優先度付けをするよう構成されたモジュール２４１６を含む。いくつかの実施形態において、モジュール２４１６は、現在の視界の領域に接する画像コンテンツを通信するコンテンツストリームが、現在の視界の外で更に離れたコンテンツストリームより高い優先度を付与されるように、通信される画像コンテンツの現在の視界への近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームを優先度付けするように構成される。
[000259] いくつかの実施形態において、モジュール２４１６は、ユーザの頭の回転が、例えば、ユーザの頭の位置における変化の部分として、検出されるかどうかを決定するように構成される頭の回転決定モジュール２４１８を含む。いくつかであるが全てではない実施形態において、ユーザが、空や屋根に向かって見上げる、または、地面に向かって見下ろす場合、頭の位置におけるそれからの変化はあるが、そのような頭の動きは頭の回転とはみなされない。いくつかの実施形態において、現在の視界の外だが、頭の回転の方向にある画像コンテンツを提供するコンテンツストリームが、頭の回転の方向から離れた方向で現在の視界の外にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与されるように、モジュール２４１６は、ユーザの頭の回転の方向に基づいて、１つ以上の追加のコンテンツストリームを優先度付けするよう構成される。いくつかのこのような実施形態では、モジュール２４１６は、更に、現在の視界の外のシーンの部分、例えば、シーン環境の頂部または底部、に対応するコンテンツを提供するストリームに、次により低い優先度（例えば、より高い優先度が、視界に対応するコンテンツを提供するストリームに付与された後）とストリーム指定、例えば、３次、を付与するように構成されたモジュール２４２０を含む。いくつかの実施形態では、頭の回転がないと決定された場合、頭の回転決定モジュールは、追加のストリームに優先度を付与するために、モジュール２４２０に制御入力を提供する。
[000260] いくつかの実施形態において、モジュール２４１６は、更に、先の頭の位置に対するユーザの頭の回転の方向、例えば、左または右、を決定するよう構成される頭の回転の方向決定モジュール２４２２を含む。いくつかの実施形態では、モジュール２４１６は、更に、頭の回転の方向を考慮して、現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームに優先度を付与するように構成されたモジュール２４２４を含む。いくつかの実施形態において、モジュール２４２４は、頭の回転の方向にあるシーンの部分に対応するコンテンツを提供するストリームに、次により低い優先度（例えば、より高いものから次に利用可能な優先度）と、指定、例えば、３次ストリーム、とを付与するように構成されたモジュール２４２６を含む。従って、頭の回転が検出された場合、ストリームへの優先度の付与は、いくつかの実施形態において、頭の回転の方向に基づいて行われることが理解されるべきである。いくつかの実施形態において、モジュール２４１６は、更に、考慮されている残りのストリームのいずれかにより低い優先度を付与するように構成された追加モジュール２４２８を含む。
[000261] 単一のプロセッサ、例えば、コンピュータ、として、図１９の実施形態に示されるが、プロセッサ１９０８は、例えば、１つ以上のコンピュータ等の１つ以上のプロセッサとして実装されてもよいことが理解されるべきである。ソフトウェアで実施される場合、モジュールは、プロセッサ１９０８によって実行されると、プロセッサ１９０８をモジュールに対応する機能を実装するように構成するコードを含む。図１９、２３、及び、２４に示される様々なモジュールがメモリ１９１２に記憶される実施形態では、メモリ１９１２は、例えば、プロセッサ１９０８等の少なくとも１つのコンピュータにモジュールが対応する機能を実装させるために、例えば、各モジュールのための個別のコード等のコードを備える、コンピュータが読出し可能な媒体を備えるコンピュータプログラム製品である。
[000262] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用され得る。しかし、例えば、回路に実装されたモジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得る。理解されるべきであるように、図１９、２３、及び、２４に示されたモジュールは、図１４のフローチャート１４００に示された、及び／または、記載された対応するステップの機能を実行し、図１５−１７に示された対応するステップの機能を実行するために、システム１９００、または、プロセッサ１９０８等のその中の要素を制御し、及び／または、構成する。
[000263] 図２０Ａ、図２０Ｂ、図２０Ｃ、図２０Ｄ、及び、図２０Ｅの組合せを備える図２０は、様々な例示的な実施形態に従ってコンテンツ再生システムを動作させる例示的な方法のフローチャート２０００である。コンテンツ再生システムは、例えば、様々な実施形態に従って、ディスプレイに接続されたコンテンツ再生デバイスまたはコンピュータシステムである。
[000264] 例示的な方法の動作は、コンテンツ再生システムが電源投入され、初期化されるステップ２００２で開始する。動作は、ステップ２００２から、コンテンツ再生システムが、前記環境の第１の後方視野部分に対応する第１の画像を受け取るステップ２００４に進む。動作は、ステップ２００４から、コンテンツ再生システムが前記環境の前記第１の後方視界部分に対応する前記受け取られた第１の画像を記憶するステップ２００６に進む。動作は、ステップ２００６から、コンテンツ再生システムが、前記環境の前記第１の後方視野部分に対応する少なくとも第２の画像を含む、前記環境の第１の後方視野部分に対応する１つ以上の追加の画像を受け取るステップ２００８に進む。動作は、ステップ２００８から、コンテンツ再生システムが、前記環境の前記第１の後方視野部分に対応する前記受け取られた１つ以上の追加の画像を記憶するステップ２０１０に進む。動作は、ステップ２０１０からステップ２０１２に進む。
[000265] ステップ２０１２において、コンテンツ再生システムは、前記環境の第２の後方視野部分に対応する第１の画像を受け取る。動作は、ステップ２０１２から、コンテンツ再生システムが前記環境の前記第２の後方視野部分に対応する前記受け取られた第１の画像を記憶するステップ２０１４に進む。動作は、ステップ２０１４から、前記環境の前記第２の後方視野部分に対応する少なくとも第２の画像を含む、前記環境の前記第２の後方視野部分に対応する１つ以上の追加の画像を受け取るステップ２０１６に進む。動作は、ステップ２０１６から、コンテンツ再生システムストアが、前記環境の前記第２の後方視野部分に対応する前記受け取られた１つ以上の追加の画像を記憶するステップ２０１８に進む。動作は、ステップ２０１８からステップ２０２０に進む。
[000266] ステップ２０２０において、コンテンツ再生システムは、前記環境の空の視野部分に対応する１つ以上の画像を受け取る。動作は、ステップ２０２０から、コンテンツ再生システムが、前記環境の前記空の視野部分に対応する前記受け取られた１つ以上の画像を記憶するステップ２０２２に進む。動作は、ステップ２０２２から、コンテンツ再生システムが、前記環境の地面の視野部分に対応する１つ以上の画像を受け取るステップ２０２４に進む。動作は、ステップ２０２４から、コンテンツ再生システムが、前記環境の前記地面の視野部分に対応する前記受け取られた１つ以上の画像を記憶するステップ２０２６に進む。いくつかの実施形態では、空の視野と地面の視野は、見る者の名目上の頭の位置の眺望に関して上と下の方向を指し、屋内環境だけでなく、屋外環境にも適用するために使用される。
[000267] いくつかの実施形態では、画像は、例えば、特定の実施形態に応じて、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分の内のいくつかであるが、必ずしも全てではないものに対応して受け取られ得る。
[000268] 動作は、ステップ２０２６から、接続ノードＡ ２０２８を介して、ステップ２０３０に、ステップ２０３４に進み、及び、接続ノードＢ ２０３６を介して、ステップ２０２８、２０４０、２０４２、２０４４、２０４６、２０４８、２０５０、及び、２０５２に進む。ステップ２０３０に戻って、ステップ２０３０において、コンテンツ再生システムは、見る者の頭の位置を決定し、前記頭の位置は、現在の視界に対応する。動作は、ステップ２０３０から、決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するステップ２０３２に進む。動作は、ステップ２０３２から、ステップ２０３０に進む。ステップ２０３０と２０３２は、例えば、継続ベースで、繰り返し実行され、現在の視界は、例えば、リフレッシュされる等、更新される。決定された現在の視界は、出力画像の生成に使用されるために利用可能である。
[000269] ステップ２０３４では、コンテンツ再生システムは、環境の第１の部分、例えば、前方部分の視野、に対応するコンテンツを提供する第１のコンテンツストリームを受け取る。
[000270] ステップ２０３８において、コンテンツ再生システムは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第１の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０４０において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第１の後方視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。
[000271] ステップ２０４２において、コンテンツ再生システムは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０４４において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第２の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。
[000272] ステップ２０４６では、コンテンツ再生デバイスは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０４８において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。
[000273] ステップ２０５０において、コンテンツ再生システムは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の前記地面の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０５２において、コンテンツ再生デバイスは、前記イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。
[000274] 動作は、ステップ２０３２、ステップ２０３４から、及び、並列に実行され得るステップ（２０３８、２０４０、２０４２、２０４４、２０４６、２０４８、２０５０、及び、２０５２）から接続ノードＣ ２０５４を介して、接続ノードＤ ２０５６を介して、ステップ２０５８に進む。
[000275] いくつかの実施形態では、ステップ２０３８、２０４０、２０４２、２０４４、２０４６、２０４８、２０５０、及び、２０５２からの制御情報は、制御情報が使用されるべきステップ２０３４の対応する第１のストリームコンテンツに、例えば、一度に少しずつの態様で、わずかに先立って送られる。いくつかの他の実施形態では、制御情報のブロックが、第１のコンテンツストリームを受け取ることの開始に先立って、または、同時に、受け取られる。
[000276] ステップ２０５８において、コンテンツ再生システムは、
環境の前方部分の視野等の第１の部分の視野に対応する第１のコンテンツストリームから受け取られたコンテンツ、
環境の第１の後方視野部分に対応する、記憶された受け取られた画像、
環境の第２の後方視野部分に対応する、記憶された受け取られた画像、
環境の空の視野部分に対応する、記憶された受け取られた画像、
環境の地面の視野部分に対応する、記憶された受け取られた画像、または、
画像が利用可能でない現在の視界の部分に対応する合成された画像、
の内の少なくとも１つに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０５８は、ステップ２０６０、２０６２、２０６４、２０６６、２０６８、２０７６、及び、２０７８を含む。
環境の前方部分の視野等の第１の部分の視野に対応する第１のコンテンツストリームから受け取られたコンテンツ、
環境の第１の後方視野部分に対応する、記憶された受け取られた画像、
環境の第２の後方視野部分に対応する、記憶された受け取られた画像、
環境の空の視野部分に対応する、記憶された受け取られた画像、
環境の地面の視野部分に対応する、記憶された受け取られた画像、または、
画像が利用可能でない現在の視界の部分に対応する合成された画像、
の内の少なくとも１つに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０５８は、ステップ２０６０、２０６２、２０６４、２０６６、２０６８、２０７６、及び、２０７８を含む。
[000277] ステップ２０６０において、コンテンツ再生システムは、１つ以上の出力画像を生成することにおいて使用されるように、現在の視界に基づいて、例えば、そのために利用可能なデータがある、視野部分の組を決定する。いくつかの例示的な決定された組は、例えば、｛｝、｛正面視野部分｝、｛第１の後方視野部分｝、｛第２の後方視野部分｝、｛空の視野部分｝、｛地面の視野部分｝、｛正面視野部分、空の視野部分｝、｛正面視野部分、地面の視野部分｝、｛正面視野部分、第１の後方視野部分｝、｛正面視野部分、第２の後方視野部分｝、｛正面視野部分、第１の後方視野部分、空の部分｝、｛正面視野部分、第２の後方視野部分、空の視野部分｝、｛正面視野部分、第１の後方視野部分、地面の視野部分｝、｛正面視野部分、第２の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、空の視野部分｝、｛第１の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、第２の後方視野部分｝、｛第１の後方視野部分、第２の後方視野部分、空の視野部分｝、｛第１の後方視野部分、第２の後方視野部分、地面の視野部分｝、｛第２の後方視野部分、空の視野部分｝、及び、｛第２の後方視野部分、地面の視野部分｝、を含む。
[000278] 動作は、ステップ２０６０からステップ２０６２に進む。ステップ２０６２において、コンテンツ再生システムは、以下の２つの条件が満たされているか否かを決定する：（ｉ）ステップ２０６０からの決定された視野部分の組は、第１の視野部分のみを含む、及び、（ｉｉ）第１の視野部分の外の現在の視界の部分はない。該決定が、決定された組が第１の視野部分のみを含み、第１の視野部分の外に現在の視界の部分はないことである場合、動作は、ステップ２０６２からステップ２０６４に進み、そうでなければ、動作は、ステップ２０６２からステップ２０６６へ進む。
[000279] ステップ２０６４において、コンテンツ再生システムは、第１のコンテンツストリームからの受け取られたコンテンツに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。
[000280] ステップ２０６６において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の何れかの部分があるかどうかを決定する。コンテンツ再生システムが、画像が利用可能でない現在の視界の少なくとも１つの部分があると決定した場合、動作は、ステップ２０６６からステップ２０７６に進み、そうでない場合は、動作は、ステップ２０６６からステップ２０６８に進む。
[000281] ステップ２０６８において、コンテンツ再生システムは、１つ以上の出力画像を生成することにおいて使用されるように、視野部分の決定された組に基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０６８は、コンテンツ再生システムは、第１のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、前記環境の第２の部分に対応する記憶されたコンテンツとに基づいて、現在の視界に対応する１つ以上の出力画像を生成するステップ２０７０を含み得る、もしくは、時々含む。いくつかの実施形態において、ステップ２０７０は、ステップ２０７２、及び、２０７４の一方または両方を含む。ステップ２０７２において、コンテンツ再生システムは、受け取られた画像選択情報に基づいて、環境の第２の部分の視野に対応する画像を選択する。動作は、ステップ２０７２から２０７４に進む。ステップ２０７４において、コンテンツ再生システムは、時間の第２の点で取り込まれた前記第１のストリームから得られたコンテンツを、時間の前記第１の点に対応する第１の画像と組み合わせ、ここで、時間の前記第１と第２の点は異なる。
[000282] いくつかの実施形態では、第１の画像は、環境の第２の部分の第１の画像であり、第２の部分は、環境の第１の後方視野部分と環境の第２の後方視野部分の一方である。いくつかのそのような実施形態では、時間における第１の点は、時間における第２の点に先立つ時間に対応する。いくつかのそのような実施形態では、時間における第１の点は、第１のコンテンツストリームにおける画像が取り込まれる間のライブイベントの時間に先行する。
[000283] ステップ２０７６に戻って、ステップ２０７６は、画像が利用可能でない各部分のために実行される。ステップ２０７６において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の部分のために画像を合成する。動作は、ステップ２０７６からステップ２０７８に進む。ステップ２０７８において、コンテンツ再生システムは、１つ以上の出力画像及び／または１つ以上の合成された画像を生成することにおいて使用されるように、環境の視野部分の決定された組に基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０７８によって生成される出力画像は、全体に合成された画像、合成された画像からのコンテンツと第１のコンテンツストリームからのコンテンツを含む画像、合成された画像からのコンテンツと第１のコンテンツストリームからのコンテンツと記憶された画像からのコンテンツを含む画像、及び、合成された画像からのコンテンツと記憶された画像からのコンテンツを含む画像を含み得る。様々な実施形態では、ステップ２０７８は、ステップ２０８０と２０８２の一方または両方を含み得、時には含む。
[000284] ステップ２０８０において、コンテンツ再生システムは、第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、環境の例えば第２の部分等の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０８２において、コンテンツ再生デバイスは、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせる。
[000285] 現在の視界は、経時的に変化し得る、及び、一般的には変化することが理解されるべきである。現在の視界の変化に応答して、出力画像を生成するために使用される、視野部分の異なる組が、ステップ２０６０において決定され、異なる画像が、例えば、画像のない視界の異なる部分に対応して、必要とされ得、ステップ２０７６において合成される。加えて、異なる度に、受け取られた制御情報に基づいて、異なる度に組み合された出力画像を生成することにおいて使用されるべく、異なる記憶された画像が特定され得る。
[000286] 動作は、ステップ２０５８から、接続ノードＥ ２０８４を介して、コンテンツ再生システムが、生成された１つ以上の出力画像を出力する、及び／または、表示するステップ２０８６に進む。ステップ２０８６は、コンテンツ再生システムが、第１の出力画像を出力し、及び／または、表示し、第１の出力画像は１つ以上の生成された出力画像の１つであるステップ２０８８を含む。
[000287] いくつかの実施形態では、現在の視界に対応する、例えば、ステップ２０７０で生成された、生成された出力画像は、環境の第１の部分、環境の第２の部分、及び、環境の第３の部分からの情報を含み得、時には含む。いくつかの実施形態では、第１のコンテンツストリームに対応する環境の第１の部分は、正面視野部分であり、環境の第２の部分は、環境の、例えば、右後方視野部分である第１の視野部分、及び、例えば、左後方視野部分である第２の後方視野部分の一方であり、環境の第３の部分は、環境の空の視野部分と地面の視野部分の一方である。いくつかのそのような実施形態では、第１の部分に対応するコンテンツは、イベントが進行中の間、取り込まれ、前記再生システムにストリーミングされるリアルタイムコンテンツを含み、第２及び第３の部分に対応するコンテンツは、リアルタイムでない画像である。
[000288] 様々な実施形態では、現在の視界に対応する出力画像を生成するためにコンテンツを組み合わせることは、例えば、環境の正面視野部分に対応する第１のコンテンツストリームから得られる画像、環境の第１の後方視野部分に対応する記憶された画像、環境の第２の後方視野部分に対応する記憶された画像、環境の空の視野部分に対応する記憶された画像、環境の地面視野部分に対応する記憶された画像、及び、画像がない現在の視界における領域に対応する合成された画像の内の任意の２つの間の境界領域といった１つ以上の境界領域において、フィルタリング、ぼかし、輝度変化、及び／または、色変化を行うことを含む。
[000289] いくつかの実施形態では、第１のコンテンツストリームに対応する、第１の、例えば、正面視野部分、及び、受け取られた画像が記憶される１つ以上の追加の部分によって覆われない、環境のいくつかの部分がある。様々な実施形態では、環境のそれらの覆われていない部分のために、画像が合成される。例えば、一実施形態では、空の視野部分に対応する記憶された画像が存在しないことがあり、現在の視界が空の視野の部分を含む場合、画像が合成される。他の例では、第１の後方視野部分と第２の後方視野部分との間に、例えば、覆われていない領域等の良く見えない場所（dead spot）が存在し得る。いくつかの実施形態では、画像を合成することは、環境中の隣接領域に対応して、例えば、記憶された画像の部分、または、受け取られた第１のコンテンツストリームから得られた画像の部分等の画像の部分を繰り返すことを含む。
[000290] いくつかの実施形態では、ステップ２０３４において受け取られた第１の画像コンテンツは、例えば、左と右の眼の画像のペアが受け取られるといった、左眼の画像と右眼の画像を含む立体視画像コンテンツである。いくつかのそのような実施形態において、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分に対応して受け取られ、記憶された画像は、左の眼の画像と右の眼の画像とを、例えば、ペアで、含む。従って、例えば、ステップ２０７０において、現在の視界に対応する１つ以上の出力画像を生成する場合、例えば、正面視野部分といった第１の視野部分に対応する第１のコンテンツストリームからの左眼の画像は、環境の１つ以上の他の部分に対応する記憶された左眼の画像と組み合され、例えば、正面視野部分等の第１の視野部分に対応する第１のコンテンツストリームからの右眼の画像は、環境の１つ以上の他の部分に対応する記憶された右画像と組み合される。
[000291] いくつかの他の実施形態では、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分に対応する、受け取られ、記憶された画像は、画像の元のペアからの左眼の画像または右眼の画像を含み、または、例えば、視野部分を取り込むために単独で動作している単一のカメラからの、単一（モノ）の画像を含む。従って、そのような実施形態において、例えば、ステップ２０７０において、現在の視野に対応する１つ以上の出力画像を生成するとき、例えば、正面視野部分に対応する、第１のコンテンツストリームからの左眼画像と第１のコンテンツストリームからの対応する右眼の画像の両方が、他の視野部分からの同じ記憶された画像と組み合わされる。
[000292] 更に他の実施形態において、記憶された画像のいくつかは、左と右の眼の画像ペアの両方を含み、他方、他のものは単一の記憶された画像を含む。例えば、第１の後方視野部分に対応する記憶された受け取られた画像は、左と右の眼の画像のペアを含み得るが、他方、空の視野部分に対応する記憶された受け取られた画像は、ペアではなく、例えば、モノ画像といった単一の画像を含み得る。
[000293] いくつかの実施形態において、例えば、第１のコンテンツストリームに対応する、環境の第１の部分は、第１の視野部分であり、環境の第２の部分は、例えば、見る者の右後方に対応する第１の後方視野部分、または、見る者の左後方に第２の後方視野部分等の後方視野部分であり、環境の第３の部分は空の視野部分または地面の視野部分である。いくつかのそのような実施形態では、画像は、第１、第２、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分についてより、前記第１の部分に対応するイベントのために、より多くの画像が受け取られる。いくつかのそのような実施形態では、前記第３の部分についてよりも、前記第２の部分に対応して、より多くの画像が受け取られる。
[000294] いくつかの実施形態に従って、コンテンツ再生システムを動作させる例示的な方法は、以下を含む：
見る者の頭の位置を決定すること、前記頭の位置は現在の視界対応する、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ること、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像に基づいて、１つ以上の出力画像を生成すること、及び、
第１の出力画像を出力する、または、表示すること、前記第１の出力画像は、１つ以上の生成された出力画像の１つである。
いくつかの実施形態において、コンテンツ再生システムは、コンテンツ再生デバイスである。いくつかの再生システムは、ディスプレイに接続されたコンピュータシステムである。
見る者の頭の位置を決定すること、前記頭の位置は現在の視界対応する、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ること、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像に基づいて、１つ以上の出力画像を生成すること、及び、
第１の出力画像を出力する、または、表示すること、前記第１の出力画像は、１つ以上の生成された出力画像の１つである。
いくつかの実施形態において、コンテンツ再生システムは、コンテンツ再生デバイスである。いくつかの再生システムは、ディスプレイに接続されたコンピュータシステムである。
[000295] 様々な態様において、方法は、更に、以下を含む：
前記環境の第２の部分に対応する第１の画像を受け取ること、及び、
前記環境の前記第２の部分に対応する前記第１の画像を記憶すること。
前記環境の第２の部分に対応する第１の画像を受け取ること、及び、
前記環境の前記第２の部分に対応する前記第１の画像を記憶すること。
[000296] いくつかの実施形態では、前記環境の前記第２の部分の前記第１の画像は、時間の第１の点に対応し、現在の視界に対応する１つ以上の出力画像を生成することは、時間の第２の点で取りこまれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせることを含み、時間の前記第１と第２の点は異なる。いくつかのそのような実施形態では、時間における前記第１の点は、時間における前記第２の点に先行する時間に対応する。いくつかのそのような実施形態では、前記第１のコンテンツストリームに含まれた画像が取り込まれる間のライブイベントの時間に先行する。
[000297] 様々な実施形態において、方法は、更に、前記環境の前記第２の部分に対応する１つ以上の追加の画像を受け取ることを含み、前記環境の前記第２の部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む。
[000298] いくつかの実施形態において、方法は、前記第１のコンテンツストリームに示された再生時間に対して計測されたような再生時間の間に、前記環境の前記第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取ることを含む。
[000299] いくつかの態様では、前記環境の第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである。
いくつかのそのような実施形態において、方法は、更に、前記環境の第３の部分に対応する１つ以上の画像を受け取ることを含む。
いくつかのそのような実施形態において、方法は、更に、前記環境の第３の部分に対応する１つ以上の画像を受け取ることを含む。
[000300] 様々な実施形態において、前記環境の前記第１の部分は正面視野部分であり、前記第３の部分は、空の視野または地面の視野部分の１つであり、画像は、前記第１、第２、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分についてより、前記第１の部分に対応するイベントに対応するイベントのために、より多くの画像が受け取られる。
[000301] 様々な実施形態において、前記第１の部分に対応するコンテンツは、イベントが進行中であった間に前記再生デバイスに取り込まれ、ストリーミングされたリアルタイムコンテンツを含み、前記第２及び第３の部分に対応する前記画像に対応するコンテンツは、リアルタイムでない画像である。いくつかのそのような実施形態では、前記イベントの部分の間に、環境の前記第２の部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取り、少なくともいくつかの受け取られたコンテンツに基づいて、現在の視界に対応する１つ以上の出力画像を生成することは、受け取られた画像選択情報に基づいて、環境の第２の部分に対応する画像を選択することを含む。
[000302] 様々な実施形態では、例示的な方法は、画像が前記現在の視界の部分のために利用可能でないことを決定すること、画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成すること、及び、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせることを含む。
[000303] 様々な実施形態において、第１の画像コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである。
[000304] 図２１は、図１と７に示されたもの等のコンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、処理し、表示するために使用され得る、本発明に従って実装された例示的なコンテンツ再生システム２１００を示す。システム２１００は、ディスプレイ２１０２を含む単一の再生デバイス２１００‘として、または、コンピュータシステム２１００に接続された、例えば、ヘッドマウントディスプレイといった外部ディスプレイ等の要素の組み合わせとして、実装され得る。
[000305] 少なくともいくつかの実施形態では、コンテンツ再生システム２１００は、３Ｄヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ２１０５を含み得るＯｃｕｌｕｓ社のＲＩＦＴ（商標） ＶＲ（バーチャルリアリティ）ヘッドセットを使用して実装され得る。いくつかの実施形態では、ヘッドマウントディスプレイ２１０５は、ヘッドマウントディスプレイ８０５と同じである。他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、１つ以上の表示スクリーンを有するヘッドマウントディスプレイ、または、他のヘッドマウントデバイスが、ユーザの左と右の眼にコンテンツを表示するために使用される。ヘッドマウントは、異なる眼に単一のスクリーンの異なる部分を晒すように構成され、単一のスクリーン上に左と右の眼に異なる画像を表示することによって、単一のディスプレイは、見る者の左と右の眼によって別々に知覚される左と右の眼の像を表示するために使用され得る。いくつかの実施形態では、セルフォンの画面が、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。
[000306] コンテンツ再生システム２１００は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び／または、モノ（単一画像）である、受け取られたエンコードされた画像データをデコードし、例えば、ユーザによって３Ｄ画像として知覚される、異なる左と右の眼の画像を描画し、表示することによって、顧客に対する表示のための３Ｄ画像コンテンツを生成する能力を有する。いくつかの実施形態では、コンテンツ再生システム２１００は、家庭やオフィス等の顧客の宅内に設けられるが、同様に、画像取り込みサイトに設けられてもよい。コンテンツ再生システム２１００は、本発明に従って、信号受け取り、デコード、処理、生成、表示、及び／または、他の動作を実行し得る。
[000307] システム２１００は、ディスプレイ２１０２、ディスプレイデバイスインターフェース２１０３、入力デバイス２１０４、入力／出力（Ｉ／Ｏ）インターフェース２１０６、プロセッサ２１０８、ネットワークインターフェース２１１０、及び、メモリ２１１２を含む。メモリ２１１２は、例えば、ソフトウェアモジュールのアセンブリといったモジュール２１１４のアセンブリと、データ／情報２１１６を含む。いくつかの実施形態では、システム２１００は、例えば、回路等のハードウェアモジュールのアセンブリ等のモジュール２１１５のアセンブリを含む。システム２１００の様々なコンポーネントは、データがシステム２１００のコンポーネント間で、及び／または、他の接続によって、または、無線インターフェースを介して通信されることを可能にするバス２１０９を介して互いに接続される。いくつかの実施形態において、ディスプレイ２１０２は、破線の枠を用いて図示されるオプションの要素として含まれているが、ヘッドマウント立体視ディスプレイデバイス等の外部のディスプレイデバイス２１０５が、ディスプレイデバイスインターフェース２１０３を介して再生デバイスに接続され得る。
[000308] 例えば、セルフォンプロセッサがプロセッサ２１０８として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ２１０８、ディスプレイ２１０２、及び、メモリ２１１２を含み得る。プロセッサ２１０８、ディスプレイ２１０２、メモリ２１１２は、全て、セルフォンの部分であってよい。システム２１００の他の実施形態では、プロセッサ２１０８は、ディスプレイ２１０５がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、ＸＢＯＸまたはＰＳ４等のゲームシステムの部分であってよい。プロセッサ２１０８及び／またはディスプレイ２１１２が、頭に装着されるデバイスに設けられるか否かは重要ではなく、理解され得るように、いくつかの場合には、電力、熱、重量の観点から、ヘッドギアの中にプロセッサ２１０８を共存させることは便利であり得るが、少なくともいくつかの場合には、プロセッサ２１０８とメモリ２１１２を、ディスプレイを含むヘッドギアに接続されるようにすることが望まれ得る。
[000309] 様々な実施形態は、ヘッドマウントディスプレイ２１０５または２１０２を企図するが、方法と装置は、また、３Ｄ画像をサポートすることができる、ヘッドマウントでないディスプレイで使用され得る。従って、多くの実施形態において、システム２１００は、ヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装されることができる。
[000310] メモリ２１１２は、プロセッサ２１０８によって実行されたとき、本発明に従った動作を実行するようコンテンツ再生システム２１００を制御する、例えば、ルーチンといった様々なモジュールを含む。メモリ２１１２は、例えば、ソフトウェアモジュールのアセンブリといったモジュール２１１４のアセンブリと、データ／情報２１１６とを含む。
[000311] データ情報２１１６は、以下の全ての内の１つ以上を含む：
第１の後方視野部分に対応する受け取られた画像２１１８、
第２の後方視野部分に対応する受け取られた画像２１２０、
空の視野部分に対応する受け取られた画像２１２２、及び、
地面の視野部分に対応する受け取られた画像。
後方視野部分に対応する例示的な受け取られた画像は、例えば、立っている聴衆または観衆の画像、座っている聴衆または観衆の画像、異なる可視広告をもった画像、応援している観衆の画像、等を含む。空の視野に対応する例示的な受け取られた画像は、例えば、晴天、異なる雲のパターン、異なる時間に対応する暗さの異なる程度、等を含む。
データ情報２１１６は、更に、以下の内の１以上または全てを含む：
第１の後方視野部分に対応する受け取られた制御情報２１３０、
第２の後方視野部分に対応する受け取られた制御情報２１３２、
空の視野部分に対応する受け取られた制御情報２１３４、及び
地面の視野部分に対応する受け取られた制御情報２１３６。
データ情報２１１６は、更に、
決定された現在の見る者の頭の位置２１２６、
決定された現在の視界２１２８、
例えば、正面視野部分に対応する右眼の画像と左眼の画像のペアを含む受け取られた第１のコンテンツストリーム２１２８、
例えば、組み合わせるために利用可能な少なくともいくつかの受け取られたコンテンツがある現在の視界に対応する、出力画像を生成することにおいて使用されるべき視野部分の決定された組２１３８、
合成された画像（または、複数の画像）２１４０、
生成された出力画像２１４２、
を含む。
生成された出力画像は、例えば、正面といった第１の視野部分に対応する第１のコンテンツストリームからの組み合わされた画像コンテンツを含み、例えば、後方視野部分、空の部分、または、地面の部分からの受け取られ記憶された画像の部分を含み、及び／または、合成された画像または合成された画像の部分を含む、生成された出力画像を含み得、時には含む。
第１の後方視野部分に対応する受け取られた画像２１１８、
第２の後方視野部分に対応する受け取られた画像２１２０、
空の視野部分に対応する受け取られた画像２１２２、及び、
地面の視野部分に対応する受け取られた画像。
後方視野部分に対応する例示的な受け取られた画像は、例えば、立っている聴衆または観衆の画像、座っている聴衆または観衆の画像、異なる可視広告をもった画像、応援している観衆の画像、等を含む。空の視野に対応する例示的な受け取られた画像は、例えば、晴天、異なる雲のパターン、異なる時間に対応する暗さの異なる程度、等を含む。
データ情報２１１６は、更に、以下の内の１以上または全てを含む：
第１の後方視野部分に対応する受け取られた制御情報２１３０、
第２の後方視野部分に対応する受け取られた制御情報２１３２、
空の視野部分に対応する受け取られた制御情報２１３４、及び
地面の視野部分に対応する受け取られた制御情報２１３６。
データ情報２１１６は、更に、
決定された現在の見る者の頭の位置２１２６、
決定された現在の視界２１２８、
例えば、正面視野部分に対応する右眼の画像と左眼の画像のペアを含む受け取られた第１のコンテンツストリーム２１２８、
例えば、組み合わせるために利用可能な少なくともいくつかの受け取られたコンテンツがある現在の視界に対応する、出力画像を生成することにおいて使用されるべき視野部分の決定された組２１３８、
合成された画像（または、複数の画像）２１４０、
生成された出力画像２１４２、
を含む。
生成された出力画像は、例えば、正面といった第１の視野部分に対応する第１のコンテンツストリームからの組み合わされた画像コンテンツを含み、例えば、後方視野部分、空の部分、または、地面の部分からの受け取られ記憶された画像の部分を含み、及び／または、合成された画像または合成された画像の部分を含む、生成された出力画像を含み得、時には含む。
[000312] 図２２は、例示的な実施形態に従った図２１の例示的なコンテンツ再生システム２１００または図８のシステム８００に含まれ得るモジュールのアセンブリ２２００の図である。モジュール２２００のアセンブリにおけるモジュールは、例えば個別の回路等のプロセッサ２１０８の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。モジュールのアセンブリ２２００におけるモジュールは、例えば、異なるモジュールに対応する個別回路として、モジュールのアセンブリ２１１５の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。他の実施形態において、モジュールのいくつかは、プロセッサ２１０８の中に、例えば、回路として、実装され、他のモジュールは、例えば、プロセッサ２１０８の外部に接続されたモジュールのアセンブリ２１１５の中の回路として、実装される。理解されるべきであるように、プロセッサ上の、及び／または、プロセッサの外部にあるいくつかのモジュールをもった、モジュールの集積のレベルは、設計上の選択肢の１つであってよい。
[000313] 代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム２１００のメモリ２１１２に記憶され、モジュールは、例えば、プロセッサ２１０８等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するようにシステム２１００の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ２２００は、モジュールのアセンブリ２１１４としてメモリ２１１２に含まれる。更に他の実施形態において、モジュールのアセンブリ２２００における様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路は、プロセッサ２１０８に入力を提供し、プロセッサは、次に、ソフトウェア制御の下、モジュールの機能の部分を実行するよう動作する。例えば、コンピュータ等の単一のプロセッサとして図２１の実施形態に示されているが、プロセッサ２１０８は、例えば、複数のコンピュータ等の１つ以上のプロセッサとして実装され得ることが理解されるべきである。
[000314] ソフトウェアで実装される場合、モジュールは、プロセッサ２１０８によって実行されると、モジュールに対応する機能を実装するようにプロセッサ２１０８を構成するコードを含む。モジュール２２００のアセンブリがメモリ２１１２に記憶されている実施形態では、メモリ２１１２は、例えば、プロセッサ２１０８等のコンピュータに、モジュールが対応する機能を実装させるために、各モジュールのための個別のコード等のコードを備えるコンピュータ読出し可能な媒体を備えるコンピュータプログラム製品である。
[000315] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用されてもよい。しかし、例えば、回路で実装モジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得ることが理解されるべきである。理解されるべきであるように、図２２に示されたモジュールは、図２０のフローチャート２０００の方法に図示され、及び／または、記載された対応するステップの機能を実行するために、システム２１００、または、プロセッサ２１０８等のその中の要素を制御し、及び／または、構成する。従って、モジュール２２００のアセンブリは、図２０の１つ以上のステップに対応する機能を実行する様々なモジュールを含む。
[000316] モジュール２２００のアセンブリは、見る者の頭の位置決定モジュール２２０２、現在の視界決定モジュール２２０４、コンテンツストリーム選択モジュール２２０６、コンテンツストリーム受け取りモジュール２２０８、画像受け取りモジュール２２１０、受け取られた画像記憶モジュール２２１２、制御情報受け取りモジュール２２１４、出力画像生成モジュール２２１６、出力モジュール２２４２、ディスプレイモジュール２２４４、及び、制御ルーチン２２４６を含む。
[000317] 見る者のヘッド位置決定モジュール２２０２は、見る者の頭の位置を決定するように構成され、前記頭の位置は、現在の視界に対応する。現在の視界決定モジュール２２０４は、前記決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するように構成される。
[000318] コンテンツストリーム選択モジュール２２０６は、例えば、見る者等のユーザ入力に基づいて、例えば、複数の代替のコンテンツストリームの中から、コンテンツストリームを選択するように構成される。異なるコンテンツストリームは、異なるイベントに対応し得る。様々な実施形態では、同じイベントに対応する異なるコンテンツストリームは、例えば、見る者に代替の正面視野観を提供するため等に、異なる方向を指す異なるカメラに対応する。いくつかの実施形態では、選択され得る、画像ストリームの少なくともいくつかが、左の眼の画像と右の眼の画像のペアを含む立体視画像コンテンツを含む。
[000319] コンテンツストリーム受け取りモジュール２２０８は、環境の、例えば、前方部分の視野等の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成される。様々な実施形態において、第１のコンテンツストリームにおいて受け取られた、第1の画像コンテンツは、左眼の画像と右眼の画像のペアを含む立体視画像コンテンツである。
[000320] 画像受け取りモジュール２２１０は、例えば、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分、等の１つ以上の異なる視野部分に対応する画像を受け取るように構成される。画像受け取りモジュール２２１０は、前記環境の第２の部分に対応する第１の画像を受け取るように構成される。いくつかのそのような実施形態では、画像受け取りモジュールは、更に、環境の前記第２の部分に対応する１つ以上の追加の画像を受け取るように構成され、前記１つ以上の追加の画像は、少なくとも第２の画像を含む環境の第２の部分に対応する。いくつかの実施形態では、前記環境の第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである。いくつかの実施形態では、前記環境の第２の部分は、第１の後方視野部分、または、第２の後方視野部分の１つである。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の第３の部分に対応する１つ以上の画像を受け取るように構成される。いくつかの実施形態では、環境の第１の部分は、正面視野部分であり、環境の第３の部分は、空の視野または地面の視野部分の１つである。
[000321] いくつかの実施形態において、画像受け取りモジュール２２１０は、前記環境の第１の後方視野部分に対応する第１の画像を受け取るように構成され、更に、前記環境の前記第１の後方視野部分に対応する１つ以上の追加の画像を受け取るように構成され、前記１つ以上の追加の画像は、前記第１の後方視野部分に対応する少なくとも第２の画像を含む前記第１の後方視野部分に対応する。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の第２の後方視野部分に対応する第１の画像を受け取るよう構成され、更に、前記環境の第２の後方視野部分に対応する１つ以上の追加の画像を受け取るように構成され、前記１つ以上の追加の画像は、前記第２の後方視野部分に対応する少なくとも第２の画像を含む前記第２の後方視野部分に対応する。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の空の視野部分に対応する１つ以上の画像を受け取るように構成される。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の地面の視野部分に対応する１つ以上の画像を受け取るように構成される。
[000322] 受け取られた画像記憶モジュール２２１２は、画像受け取りモジュール２２１２によって受け取られた画像を記憶するように構成される。受け取られた画像記憶モジュール２２１２は、環境の前記第２の部分に対応する第１の画像を記憶するように構成される。受け取られた画像記憶モジュール２２１２は、環境の第２の部分に対応する１つ以上の追加の画像を記憶するように構成される。受信された画像記憶モジュール２２１２は、前記環境の第３の部分に対応する、受け取られた１つ以上の画像を記憶するように構成される。様々な実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記第１の後方視野部分に対応する第１の画像と、前記環境の第１の後方視野部分に対応する１つ以上の追加の画像とを記憶するように構成される。様々な実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記第２の後方視野部分に対応する第１の画像と、前記環境の第２の後方視野部分に対応する１つ以上の追加の画像とを記憶するように構成される。いくつかの実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記空の視野部分に対応する１つ以上の画像に記憶するように構成される。いくつかの実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記地面の視野部分に対応する１つ以上の画像を記憶するように構成される。
[000323] 制御情報受け取りモジュール２２１４は、第１のコンテンツストリームに示された再生時間に対して測定されるような再生時間の間、前記環境の第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。様々な実施形態では、制御情報受け取りモジュール２２１４は、更に、第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の第３の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の第２の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の第３の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。
[000324] いくつかの実施形態では、制御情報受け取りモジュール２２１４は、前記第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第１の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記第１の後方視野部分に対応する複数の画像のどれが表示されるべきかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、前記第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記第２の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。
[000325] いくつかの実施形態では、情報制御受け取りモジュール２２１４は、第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、前記第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記地面の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。
[000326] 出力画像生成モジュール２２１６は、環境の第１の部分の視野に対応する第１のコンテンツストリームからの受け取られたコンテンツ、環境の第１の後方視野部分に対応する記憶された受け取られた画像、環境の第２の後方視野部分に対応する記憶された受け取られた画像、環境の空の視野部分に対応する記憶された受け取られた画像、環境の地面の視野部分に対応する記憶された受け取られた画像、または、画像が利用可能でない現在の視界の部分に対応する合成された画像、の少なくとも１つに基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。出力画像生成モジュール２２１６は、視野部分の組決定モジュール２２１８、コンテンツストリームのみの決定モジュール２２２０、欠落部分決定モジュール２２２２、画像合成器モジュール２２２４、コンテンツストリーム出力画像生成モジュール２２２６を含む。合成された出力画像生成モジュール２２２８、出力画像のコンテンツストリームベース生成モジュール２２３０、出力画像のストリームベースでない生成モジュール２２３６も含む。
[000327] 視野部分の組決定モジュール２２１８は、１つ以上の出力画像を生成することにおいて使用されるために、現在の視界に基づいて、前記環境の、例えば、少なくともいくつかの利用可能な画像コンテンツが存在する、視野部分の組を決定するように構成される。いくつかの例示的な決定された組は、例えば、｛｝、｛正面視野部分｝、｛第１の後方視野部分｝、｛第２の後方視野部分｝、｛空の視野部分｝、｛地面の視野部分｝、｛正面視野部分、空の視野部分｝、｛正面視野部分、地面の視野部分｝、｛正面視野部分、第１の後方視野部分｝、｛正面視野部分、第２の後方視野部分｝、｛正面視野部分、第１の後方視野部分、空の視野部分｝、｛正面視野部分、第２の後方視野部分、空の視野部分｝、｛正面視野部分、第１の後方視野部分、地面の視野部分｝、｛正面視野部分、第２の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、空の視野部分｝、｛第１の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、第２の後方視野部分｝、｛第１の後方視野部分、第２の後方視野部分、空の視野部分｝、｛第１の後方視野部分、第２の後方視野部分、地面の視野部分｝、｛第２の後方視野部分、空の視野部分｝、及び、｛第２の後方視野部分、地面の視野部分｝、を含む。
[000328] コンテンツストリームのみの決定モジュール２２２０は、１つ以上の出力画像が、例えば、第１の後方視野部分、第２の後方視野部分、空の視野部分または地面の視野部分、または、合成された画像等の他の部分の視野からの記憶された受け取られた画像に依存する必要なしに、第１のコンテンツストリーム内のコンテンツに基づいて生成されるべきであるかどうかを決定するよう構成される。コンテンツストリームのみの決定モジュール２２２０は、決定された組が、第１のコンテンツストリームに対応する、例えば、正面の、第１の視野部分である単一の要素を含むかどうかをチェックし、及び、視界が、例えば、正面等の第１の視野部分の中にあるがどうかをチェックするように構成される。
[000329] 欠落部分決定モジュール２２２２は、画像が現在の視界の部分のために利用可能でないこと、例えば、画像が、環境の正面視野に対応する第１のコンテンツストリームから、または、環境の他の部分に対応する受け取られた記憶された画像からの何れかから利用可能でないことを決定するように構成される。画像合成器モジュール２２２４は、画像が利用可能でない前記現在の視界の部分のために使用されるべき画像を合成するように構成される。様々な実施形態では、画像合成モジュール２２２４は、例えば、境界上のいくらかのつなぎを可能にするために、欠落している部分を埋めるために必要とされるよりも僅かに大きい合成された画像を生成する。
[000330] コンテンツストリーム出力画像生成モジュール２２２６は、決定された組が、例えば、正面視野部分等の第１の視野部分だけを含み、例えば、コンテンツストリームのみの決定モジュール２２２０によって決定されるように、第１の視野部分の外に現在の視界の部分がない場合に、第１のコンテンツストリームからの受け取られたコンテンツのみに基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。いくつかの実施形態では、コンテンツストリーム出力画像生成モジュール２２２６は、第１のコンテンツストリームから得られた画像に対してトリミング動作を実行する。
[000331] 出力画像のコンテンツストリームベース生成モジュール２２３０は、例えば、正面視野に対応するコンテンツストリームといった第1のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、ｉ）第１の後方視野、第２の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ、または、ｉｉ）画像が利用可能でない視界の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。環境の第２の部分に対応する記憶されたコンテンツは、例えば、受け取られた画像記憶モジュール２２１２によって記憶された、記憶された画像である。合成画像は、例えば、モジュール２２２４によって生成された画像である。いくつかの実施形態では、出力画像のコンテンツストリームベース生成モジュール２２３０は、現在の視界に対応する１つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第２の部分に対応する画像を選択するように構成される。
[000332] 出力画像のコンテンツストリームベース生成モジュール２２３０は、生成されている出力画像の中に１つ以上の合成画像を組み込むように構成された合成された画像組み込みモジュール２２３２を含む。合成された画像組み込みモジュール２２３２は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、受け取られた第１のコンテンツストリームから得られた、例えば、正面視野部分の、第１の視野部分からの受け取られた画像、または、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つに対応する記憶された受け取られた画像、等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。記憶された画像組込みモジュール２２３４は、生成されている出力画像に、１つ以上の記憶された画像の部分を組み込むように構成される。出力画像を生成することの部分として、モジュール２２３０、モジュール２２３２、及び／または、モジュール２２３４は、境界領域において混ぜ合わせ（ブレンド）を実行する。様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び／または、色変化を含む。
[000333] 出力画像のストリームベースでない生成モジュール２２３６は、ｉ）例えば、第１の後方視野、第２の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ等の環境の部分に対応する記憶されたコンテンツ、または、ｉｉ）例えば、画像が利用可能ではない視界の部分をシミュレートする合成画像等の環境の部分シミュレートする合成画像、の少なくとも一方に基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。モジュール２２３６は、現在の視界が、第１のコンテンツストリームに対応する、例えば、正面視野といった第１の部分に対応する領域の外にある場合、１つ以上の画像を生成する。いくつかの実施形態では、出力画像のコンテンツストリームベースでない生成モジュール２２３６は、現在の視界に対応する１つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第２の部分に対応する画像を選択するように構成される。
[000334] 出力画像のストリームベースでない生成モジュール２２３６は、生成されている出力画像の中に、１つ以上の合成された画像を組み込むよう甲構成された合成された画像組込みモジュール２２３８を含む。合成された画像組み込みモジュール２２３８は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分からの受け取られた画像等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。記憶された画像組み込みモジュール２２４０は、生成されている出力画像に、１つ以上の記憶された画像の部分を組み込むように構成される。出力画像を生成することの部分として、モジュール２２３６、モジュール２２３２、及び／または、モジュール２２３４は、境界領域において混ぜ合わせ（ブレンド）を実行する。様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び／または、色変化を含む。
[000335] 出力モジュール２２４２は、例えば、出力画像のコンテンツストリームベース生成モジュール２１３０、コンテンツストリーム出力画像生成モジュール２２２６、出力画像のコンテンツストリームベースでない生成モジュール２２３６によって生成される等の１つ以上の生成された出力画像を出力するように構成され、前記１つ以上の出力画像は、第１の出力画像を含む。出力モジュールは、例えば、ネットワークインターフェース２１１０及び／またはディスプレイデバイスインターフェース２１０３を介して、第１の出力画像を出力するように構成される。
[000336] ディスプレイモジュール２２４４は、例えば、出力画像のコンテンツストリームベース生成モジュール２２３０、コンテンツストリーム出力画像生成モジュール２２２６、及び、出力画像のコンテンツストリームベースでない生成モジュール２１３６によって生成される、１つ以上の生成された出力画像を表示するように構成され、前記１つ以上の出力画像は第１の出力画像を含む。ディスプレイモジュール２２４４は、例えば、ディスプレイ２１０２及び／またはディスプレイ２１０５を介して、第１の出力画像を表示するように構成される。
[000337] 制御ルーチン２２４６は、システム２１００の動作を制御するために、デバイス制御ルーチンと通信ルーチンを含む。
[000338] 例えば、図２１のシステム２１００等の例示的なコンテンツ再生システム、いくつかの実施形態に従って、以下を含む：
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュール２２０２、前記頭の位置は、現在の視界に対応する；
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成されるコンテンツストリーム受け取りモジュール；
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成するよう構成される出力画像のコンテンツストリームベース生成モジュール２２３０； 及び、
第１の出力画像を出力するように構成された出力モジュール２２４２、または、第１の出力画像を表示するよう構成されたディスプレイモジュール２２４４の少なくとも１つ、前記第１の出力画像は、１つ以上の生成された出力画像の１つである。
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュール２２０２、前記頭の位置は、現在の視界に対応する；
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成されるコンテンツストリーム受け取りモジュール；
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成するよう構成される出力画像のコンテンツストリームベース生成モジュール２２３０； 及び、
第１の出力画像を出力するように構成された出力モジュール２２４２、または、第１の出力画像を表示するよう構成されたディスプレイモジュール２２４４の少なくとも１つ、前記第１の出力画像は、１つ以上の生成された出力画像の１つである。
[000339] いくつかの実施形態では、前記コンテンツ再生システム２１００は、コンテンツ再生デバイス２１００’である。いくつかの実施形態では、コンテンツ再生システム２１００は、ディスプレイ２１０５に接続されたコンピュータシステム２１００’である。
[000340] いくつかの実施形態では、システムは、更に、以下を備える：
前記環境の前記第２の部分に対応する第１の画像を受け取るように構成された画像受け取りモジュール２２１０； 及び
前記環境の前記第２の部分に対応する前記第１の画像を記憶するように構成された受け取られた画像記憶モジュール２２１２。
前記環境の前記第２の部分に対応する第１の画像を受け取るように構成された画像受け取りモジュール２２１０； 及び
前記環境の前記第２の部分に対応する前記第１の画像を記憶するように構成された受け取られた画像記憶モジュール２２１２。
[000341] 様々な実施形態では、前記環境の前記第２の部分の前記第１の画像は、時間の第１の点に対応し、前記出力画像のコンテンツストリームベース生成モジュール２２３０は、時間の第２の点において取り込まれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせるように構成され、時間の前記第１及び第２の点は異なる。いくつかのそのような実施形態では、時間の前記第１の時点は、時間の前記第２の点に先行する時間に対応する。様々な実施形態では、時間の前記第１の点は、その間に前記第１のコンテンツストリームに含まれた画像が取り込まれるライブイベントの時間に先行する。
[000342] いくつかの実施形態では、前記画像受け取りモジュール２２１０は、更に、前記環境の前記第２の部分に対応する１つ以上の追加の画像を受け取るように構成され、前記環境の前記第２部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む。
[000343] 様々な実施形態において、システムは、更に、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成された制御情報受け取りモジュール２２１４を備える。
[000344] いくつかの実施形態では、前記環境の前記第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである。いくつかのそのような実施形態において、前記画像受け取りモジュール２２１０は、更に、前記環境の第３の部分に対応する１つ以上の画像を受け取るように構成される。
[000345] いくつかの実施形態では、前記環境の前記第１の部分は正面視野部分であり、前記第３の部分は、空の視野または地面の視野部分の１つであり、画像は、前記第１、第２、及び、第３の部分に対応した異なるレートで受け取られ、より多くの画像が、第２の部分のためよりも、第１の部分に対応するイベントのために受け取られる。
[000346] いくつかの実施形態では、前記第１の部分に対応する前記コンテンツは、イベントが進行している間に取り込まれ、前記再生デバイスにストリーミングされるリアルタイムコンテンツを含み、前記第２と第３の部分に対応する前記コンテンツは、リアルタイムでない画像である。いくつかのそのような実施形態では、前記制御情報受け取りモジュール２２１４は、更に、前記イベントの部分の間に、環境の前記第２の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成され、出力画像のコンテンツストリームベース生成モジュール２２３０は、現在の視界に対応する１つ以上の画像を生成するよう構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第２の部分に対応する画像を選択するように構成される。
[000347] 様々な実施形態において、システムは、更に、画像が前記視界の部分のために利用可能でないことを決定する欠落部分決定モジュール２２２２と、画像が利用可能でない前記視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュール２２２４と、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組込みモジュール２２３２とを備える。
[000348] 様々な実施形態においては、前記第１の画像コンテンツは、左眼の画像と右眼の映像を含む立体視画像コンテンツである。
[000349] いくつかの実施形態では、モジュールのアセンブリ２２００は、例えば、図８に示された他のモジュールに加えて、図８のコンテンツ再生システム８００に含まれる。モジュールのアセンブリ２２００内のモジュールは、システム８００の中で、バス８０９に接続され、メモリ８１２の中に、プロセッサ８０８の中に、及び／または、プロセッサ８０８の外部のハードウェアモジュールとして、含まれてもよい。
[000350] 図２３は、いくつかの実施形態に従って再生システム１９００において使用され得る例示的なストリーム選択モジュール１９３８を示す図２３００である。
[000351] 図２４は、図２３のストリーム選択モジュールの部分として、または、個別のモジュールとして実装され得る例示的なストリーム優先度付けモジュール２３０６を示す図２４００である。
[000352] いくつかの実施形態は、立体視映像をエンコードし、圧縮するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装する非一時的なコンピュータ可読媒体に向けられる。他の実施形態は、プレーヤ側で映像をデコードし、解凍するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装するコンピュータ可読媒体に向けられた実施形態である。エンコード及び圧縮は可能な別個の動作として述べられるが、エンコードは圧縮を実行するために使用され得、従って、エンコードは圧縮を含み得ることが理解されるべきである。同様に、デコードは解凍を含み得る。
[000353] 様々な実施形態の技術は、ソフトウェア、ハードウェア、及び／または、ソフトウェアとハードウェアの組合せを用いて実装され得る。様々な実施形態は、例えば、画像データ処理システム等の機器に向けられる。様々な実施形態は、また、例えば、画像データを処理する方法等の方法に向けられる。様々な実施形態は、また、コンピュータ等の非一時的な機器や、例えば、方法の１つ以上のステップを実装するように機器を制御するための機器が読取り可能な命令を含む、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク、等の読取り可能な媒体に向けられる。
[000354] 本発明の様々な特徴は、モジュールを使用して実装される。そのようなモジュールは、ソフトウェアモジュールとして実装され得、また、いくつかの実施形態では実装される。他の実施形態では、モジュールは、ハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。いくつかの実施形態では、モジュールは、個別の回路として実装され、各モジュールが、該モジュールが対応する機能を実行するための回路として実装される。多様な実施形態は、例えば、いくつかがハードウェアの中に、いくつかがソフトウェアの中に、いくつかがハードウェアとソフトウェアの組み合わせを使用してといったように、異なるモジュールが異なって実装されるいくつかの実施形態を含むよう企図される。また、ルーチン及び／またはサブルーチン、または、そのようなルーチンによって実行されるステップのいくつかは、汎用プロセッサ上で実行されるソフトウェアと対照的に、専用のハードウェアで実装されてもよいことを注記する。そのような実施形態は、本発明の範囲内に留まる。上記の方法または方法ステップの多くは、上述の方法の全てまたは部分を実装するように、例えば、追加のハードウェアをもった、または、もたない汎用コンピュータ等の機械を制御するために、例えば、ＲＡＭ、フロッピー（登録商標）ディスク等のメモリデバイス等の機械が読取り可能な媒体に含まれる、ソフトウェア等の機械が実行可能な命令を使用して実装され得る。従って、他のものもある中で、本発明は、例えば、プロセッサ及び関連するハードウェア等の機械に上述された方法（または、複数の方法）のステップの１つ以上を実行させるための機械が実行可能な命令を含む機械が読取り可能な媒体に向けられる。
[000355] 上述された様々な実施形態の方法及び装置に対する多くの追加の変形が、上記説明に鑑みて、当技術に技量を有する者に明らかである。そのような変形は、範囲内にあるとみなされるべきである。
Claims (68)
- 再生システムを動作させる方法であって、
ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第１の時間において、再生システムにおける使用のために受け取るかを選択することと、
再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取ることと、
を備える方法。 - 前記選択することは、前記ユーザの前記頭の位置に基づいて、コンテンツストリームを優先度付けすることを含む、請求項１に記載の方法。
- 前記優先度付けすることは、
前記ユーザの現在の視界に対応するコンテンツを通信する１つ以上のストリームを特定することと、
各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する１つ以上のコンテンツストリームを優先度付けすることと、
を含む、請求項２に記載の方法。 - 前記コンテンツストリームを優先度付けすることは、更に、
前記現在の視界に対して通信された画像部分の近接、または、頭の回転の方向の少なくとも一方に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームを優先度付けすること、
を含む、請求項３に記載の方法。 - コンテンツストリームを優先度付けすることは、
前記現在の視界に対して通信された画像コンテンツの近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のコンテンツストリームを優先度付けすること、
を含み、
前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、
請求項４に記載の方法。 - 前記１つ以上の追加のコンテンツストリームを優先度付けすることは、ユーザの頭の回転の方向に基づき、
前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、
請求項４に記載の方法。 - 前記選択することは、最も高い優先度を付与されている１つ以上のコンテンツストリームを選択することを含む、請求項２に記載の方法。
- 前記選択することのステップは、更に、
コンテンツストリームを受け取るために利用可能な帯域幅を決定することと、
前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択することと、
を備える、請求項２に記載の方法。 - 前記再生システムに通信された帯域幅制約に基づいて、少なくとも１つのコンテンツストリームのための帯域幅を決定することを更に備え、
前記同じ優先度を有する複数のコンテンツストリームから選択することは、更に、前記少なくとも１つのコンテンツストリームのための決定された前記帯域幅に基づく、
請求項８に記載の方法。 - 異なる視野方向のための帯域幅制約を受け取ることを更に備え、
個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する１つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、
請求項９に記載の方法。 - 前記同じ優先度を有する複数のコンテンツストリームから選択することは、最も高い優先度を付与された複数のコンテンツストリームから１つのコンテンツストリームを選択することを含み、
前記最も高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応する、
請求項８に記載の方法。 - 前記同じ優先度を有する複数のコンテンツストリームから選択することは、２番目に高い優先度を付与された複数のコンテンツストリームから１つのコンテンツストリームを選択することを含み、
前記２番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、
請求項１１に記載の方法。 - 前記再生システムが受け取ることを選択するコンテンツストリーム上の情報を提供するガイド情報を受け取ることを更に備える、請求項１に記載の方法。
- 前記ガイド情報は、ガイド情報が提供される前記コンテンツストリームにアクセスするために使用される情報を含む、請求項１３に記載の方法。
- 前記ガイド情報は、第１のコンテンツストリームについて、前記第１のコンテンツストリームを受け取るために参加されるマルチキャストグループのマルチキャストアドレス、前記第１のコンテンツストリームを提供するために使用される切り替えられるデジタル映像チャネルへのアクセスを要求するために使用される情報、または、前記第１のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように前記再生システムのチューナを制御するために使用されるチャネル同調情報の１つを含む、請求項１４に記載の方法。
- 選択されたコンテンツストリームの配信を起動することを更に備え、
前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送ることを含む、
請求項１５に記載された方法。 - 選択されたコンテンツストリームの配信を起動することを更に備え、
前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送ることを含む、
請求項１５に記載の方法。 - ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第１の時間において、再生システムにおける使用のために受け取るかを選択するよう構成されたストリーム選択モジュールと、
再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取るよう構成された受信機を含むインターフェースと、
を備える再生システム。 - 前記ストリーム選択モジュールは、前記ユーザの前記頭の位置に基づいて、コンテンツストリームを優先度付けするよう構成されたストリーム優先度付けモジュールを含む、請求項１８に記載の再生システム。
- 前記ストリーム優先度付けモジュールは、
前記ユーザの現在の視界に対応するコンテンツを通信する１つ以上のストリームを特定するよう構成された特定モジュールと、
各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する１つ以上のコンテンツストリームを優先度付けするよう構成された優先度付与モジュールと、
を含む、請求項１９に記載の再生システム。 - 前記ストリーム優先度付けモジュールは、更に、前記現在の視界に対して通信された画像部分の近接、または、頭の回転の方向の少なくとも一方に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームを優先度付けするよう構成された追加のストリーム優先度割り当てモジュールを含む、請求項２０に記載の再生システム。
- 前記追加のストリーム優先度割り当てモジュールは、前記現在の視界に対して通信された画像コンテンツの近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のコンテンツストリームを優先度付けするよう構成され、
前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、
請求項２１に記載の再生システム。 - 前記追加のストリーム優先度割り当てモジュールは、ユーザの頭の回転の方向に基づき、１つ以上の追加のコンテンツストリームを優先度付けし、
前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、
請求項２１に記載の再生システム。 - 前記ストリーム選択モジュールは、更に、最も高い優先度を付与されている１つ以上のコンテンツストリームを選択するよう構成される、請求項１９に記載の再生システム。
- コンテンツストリームを受け取るために利用可能な帯域幅を決定するよう構成された利用可能な帯域幅及びデータレート決定モジュールを更に備え、
前記ストリーム選択モジュールは、前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択するよう構成された選択モジュールを含む、
請求項１９に記載の再生システム。 - 前記ストリーム選択モジュールは、更に、前記再生システムに通信された帯域幅制約に基づいて、少なくとも１つのコンテンツストリームのための帯域幅を決定するよう構成されたストリーム帯域幅決定モジュールを備え、
前記選択モジュールは、前記少なくとも１つのコンテンツストリームのための決定された前記帯域幅に更に基づき、前記同じ優先度を有する前記複数のコンテンツストリームから選択するよう構成される、
請求項２５に記載の再生システム。 - 前記受信機は、更に、異なる視野方向のための帯域幅制約を受け取るよう構成され、
個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する１つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、
請求項２６に記載の再生システム。 - 前記選択モジュールは、最も高い優先度を付与された複数のコンテンツストリームから１つのコンテンツストリームを選択するよう構成され、
前記最も高い優先度を付与された各コンテンツストリームは、前記同じ優先度を有する複数のコンテンツストリームから選択するよう構成されることの部分として、前記同じ視野方向に対応するコンテンツを提供する、
請求項２５に記載の再生システム。 - 前記選択モジュールは、前記同じ優先度を有する複数のコンテンツストリームから選択するよう構成されることの部分として、２番目に高い優先度を付与された複数のコンテンツストリームから１つのコンテンツストリームを選択するよう構成され、
前記２番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、
請求項２８に記載の再生システム。 - 前記受信機は、更に、前記再生システムが受け取ることを選択するコンテンツストリーム上の情報を提供するガイド情報を受け取るよう構成される、請求項１８に記載の再生システム。
- 前記ガイド情報は、ガイド情報が提供される前記コンテンツストリームにアクセスするために使用される情報を含む、請求項３０に記載の再生システム。
- 前記ガイド情報は、第１のコンテンツストリームについて、前記第１のコンテンツストリームを受け取るために参加されるマルチキャストグループのマルチキャストアドレス、前記第１のコンテンツストリームを提供するために使用される切り替えられるデジタル映像チャネルへのアクセスを要求するために使用される情報、または、前記第１のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように前記再生システムのチューナを制御するために使用されるチャネル同調情報の１つを含む、請求項３１に記載の再生システム。
- 選択されたコンテンツストリームの配信を起動するよう構成されたコンテンツ配信起動モジュールを更に備え、
前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送るよう構成される、
請求項３２に記載された再生システム。 - 選択されたコンテンツストリームの配信を起動するように構成されたコンテンツ配信起動モジュールを更に備え、
前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送るよう構成される、
請求項３２に記載の再生システム。 - プロセッサによって実行されたときに、
ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第１の時間において、再生システムにおける使用のために受け取るかを選択するように、
再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取るように、
再生システムを制御する、プロセッサが実行可能な命令を含む非一時的なコンピュータによって読み出し可能な媒体。 - コンテンツ再生システムを動作させる方法であって、
見る者の頭の位置を決定することと、前記頭の位置は現在の視界に対応し、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力すること、または、表示することと、前記第１の出力画像は、生成された１つ以上の前記出力画像の１つである、
方法。 - 前記コンテンツ再生システムは、コンテンツ再生デバイスである、請求項３６に記載の方法。
- 前記コンテンツ再生システムは、ディスプレイに接続されたコンピュータシステムである、請求項３６に記載の方法。
- 前記環境の前記第２の部分に対応する第１の画像を受け取ることと、
前記環境の前記第２の部分に対応する前記第１の画像を記憶することと、
を更に備える、請求項３６に記載の方法。 - 前記環境の前記第２の部分の前記第１の画像は、時間の第１の点に対応し、
前記現在の視界に対応する１つ以上の出力画像を生成することは、時間の第２の点において取り込まれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせることを含み、
時間の前記第１の点と第２の点は異なる、
請求項３９に記載の方法。 - 時間の前記第１の点は、時間の前記第２の点に先行する時間に対応する、請求項４０に記載の方法。
- 時間の前記第１の点は、その間に前記第１のコンテンツストリームに含まれる画像が取り込まれるライブイベントの時間に先行する、請求項４１に記載の方法。
- 前記環境の前記第２の部分に対応する１つ以上の追加の画像を受け取ることを更に備え、
前記環境の前記第２の部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む、
請求項４０に記載の方法。 - 前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取ることを更に備える、請求項４３に記載の方法。
- 前記環境の前記第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである、請求項４４に記載の方法。
- 前記環境の第３の部分に対応する１つ以上の画像を受け取ることを更に備える、請求項４５に記載の方法。
- 前記環境の前記第１の部分は、正面の視野部分であり、
前記第３の部分は、空の視野または地面の視野部分の１つであり、
画像は、前記第１の部分、第２の部分、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分のためよりもより多くの画像が、前記第１の部分に対応するイベントのために受け取られる、
請求項４６に記載の方法。 - 前記第１の部分に対応する前記コンテンツは、イベントが進行中であった間に取り込まれ、前記コンテンツ再生システムにストリーミングされたリアルタイムコンテンツを含み、
前記第２の部分と第３の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、
請求項４７に記載の方法。 - イベントの部分の間に、前記環境の前記第２の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取ることを更に備え、
少なくともいくつかの受け取られたコンテンツに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成することは、受け取られた前記画像選択情報に基づいて、前記環境の前記第２の部分に対応する画像を選択することを含む、
請求項３６に記載の方法。 - 画像が前記現在の視界の部分のために利用可能でないことを決定することと、
画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成することと、
前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせることと、
を更に備える、請求項４９に記載の方法。 - 前記コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである、請求項３６に記載の方法。
- コンテンツ再生システムであって、
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュールと、前記頭の位置は現在の視界に対応し、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るよう構成されたコンテンツストリーム受け取りモジュールと、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成するよう構成された出力画像のコンテンツストリームベース生成モジュールと、
第１の出力画像を出力するように構成された出力モジュール、または、第１の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、前記第１の出力画像は、生成された１つ以上の前記出力画像の１つである、
を備えるシステム。 - 前記コンテンツ再生システムは、コンテンツ再生デバイスである、請求項５２に記載のシステム。
- 前記コンテンツ再生システムは、ディスプレイに接続されたコンピュータシステムである、請求項５２に記載のシステム。
- 前記環境の前記第２の部分に対応する第１の画像を受け取るよう構成された画像受け取りモジュールと、
前記環境の前記第２の部分に対応する前記第１の画像を記憶するよう構成された受け取られた画像記憶モジュールと、
を更に備える、請求項５２に記載のシステム。 - 前記環境の前記第２の部分の前記第１の画像は、時間の第１の点に対応し、
前記出力画像のコンテンツストリームベース生成モジュールは、時間の第２の点において取り込まれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせるよう構成され、
時間の前記第１の点と第２の点は異なる、
請求項５５に記載のシステム。 - 時間の前記第１の点は、時間の前記第２の点に先行する時間に対応する、請求項５６に記載のシステム。
- 時間の前記第１の点は、その間に前記第１のコンテンツストリームに含まれる画像が取り込まれるライブイベントの時間に先行する、請求項５７に記載のシステム。
- 前記画像受け取りモジュールは、更に、前記環境の前記第２の部分に対応する１つ以上の追加の画像を受け取るよう構成され、
前記環境の前記第２の部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む、
請求項５６に記載のシステム。 - 前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るよう構成された制御情報受け取りモジュールを更に備える、請求項５９に記載のシステム。
- 前記環境の前記第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである、請求項６０に記載のシステム。
- 前記画像受け取りモジュールは、更に、前記環境の第３の部分に対応する１つ以上の画像を受け取るよう構成される、請求項６１に記載のシステム。
- 前記環境の前記第１の部分は、正面の視野部分であり、
前記第３の部分は、空の視野または地面の視野部分の１つであり、
画像は、前記第１の部分、第２の部分、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分のためよりもより多くの画像が、前記第１の部分に対応するイベントのために受け取られる、
請求項６２に記載のシステム。 - 前記第１の部分に対応する前記コンテンツは、イベントが進行中であった間に取り込まれ、前記コンテンツ再生システムにストリーミングされたリアルタイムコンテンツを含み、
前記第２の部分と第３の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、
請求項６３に記載のシステム。 - 前記制御情報受け取りモジュールは、前記イベントの部分の間に、前記環境の前記第２の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るよう更に構成され、
前記出力画像のコンテンツストリームベース生成モジュールは、前記現在の視界に対応する１つ以上の出力画像を生成するよう構成されることの部分として、受け取られた前記画像選択情報に基づいて、前記環境の前記第２の部分に対応する画像を選択するよう構成される、
請求項６４に記載のシステム。 - 画像が前記現在の視界の部分のために利用可能でないことを決定するよう構成された欠落部分決定モジュールと、
画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュールと、
前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組み込みモジュールと、
を更に備える、請求項６５に記載のシステム。 - 前記コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである、請求項５２に記載のシステム。
- コンテンツ再生システムのプロセッサによって実行されたときに、
見る者の頭の位置を決定することと、ここで、前記頭の位置は現在の視界に対応し、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力すること、または、表示することと、前記第１の出力画像は、生成された１つ以上の前記出力画像の１つである、
のステップを実行するように前記コンテンツ再生システムを制御する、プロセッサにより実行可能な命令を含む非一時的な機械により読取り可能な媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462004547P | 2014-05-29 | 2014-05-29 | |
| US62/004,547 | 2014-05-29 | ||
| PCT/US2015/033420 WO2015184416A1 (en) | 2014-05-29 | 2015-05-29 | Methods and apparatus for delivering content and/or playing back content |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017527230A true JP2017527230A (ja) | 2017-09-14 |
Family
ID=54699946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017515038A Withdrawn JP2017527230A (ja) | 2014-05-29 | 2015-05-29 | コンテンツを配信および／または再生するための方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP3149937A4 (ja) |
| JP (1) | JP2017527230A (ja) |
| KR (2) | KR102407283B1 (ja) |
| CN (1) | CN106416239B (ja) |
| CA (1) | CA2948642A1 (ja) |
| WO (1) | WO2015184416A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019521584A (ja) * | 2016-05-24 | 2019-07-25 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Ｈｔｔｐを介した動的適応型ストリーミングにおけるバーチャルリアリティビデオのシグナリング |
| JP2019134383A (ja) * | 2018-02-02 | 2019-08-08 | トヨタ自動車株式会社 | 遠隔操作システム、及びその通信方法 |
| JP2021513305A (ja) * | 2018-02-06 | 2021-05-20 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | ライブイベントの共有可能な視点をライブストリーミングすることによる、ローカル体験のシミュレーション |
| JP2021526778A (ja) * | 2018-05-22 | 2021-10-07 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Ｖｒビデオ再生方法、端末、およびサーバ |
| JP2024511731A (ja) * | 2021-11-05 | 2024-03-15 | テンセント・アメリカ・エルエルシー | アセット再使用の頻度によって優先される没入型メディアストリーミング方法、装置、およびコンピュータプログラム |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
| CN106937128A (zh) * | 2015-12-31 | 2017-07-07 | 幸福在线（北京）网络技术有限公司 | 一种视频直播方法、服务器及系统和相关用途 |
| CN105791882B (zh) * | 2016-03-22 | 2018-09-18 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| JP6741784B2 (ja) * | 2016-04-08 | 2020-08-19 | ヴィズビット インコーポレイテッド | ビューを意識した３６０度ビデオストリーミング |
| US10219014B2 (en) | 2016-06-02 | 2019-02-26 | Biamp Systems, LLC | Systems and methods for bandwidth-limited video transport |
| WO2018004934A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Apparatus and method for capturing and displaying segmented content |
| US10805592B2 (en) * | 2016-06-30 | 2020-10-13 | Sony Interactive Entertainment Inc. | Apparatus and method for gaze tracking |
| KR20180025797A (ko) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | 영상 스트리밍 방법 및 이를 지원하는 전자 장치 |
| EP3510744B1 (en) * | 2016-09-09 | 2022-05-04 | Vid Scale, Inc. | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming |
| KR20190046850A (ko) * | 2016-09-13 | 2019-05-07 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 몰입형 비디오 포맷을 위한 방법, 장치 및 스트림 |
| US11050991B2 (en) * | 2016-09-29 | 2021-06-29 | Koninklijke Philips N.V. | Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions |
| WO2018063957A1 (en) * | 2016-09-30 | 2018-04-05 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
| KR102633595B1 (ko) * | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| KR102733930B1 (ko) * | 2016-11-25 | 2024-11-26 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| US10244215B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | Re-projecting flat projections of pictures of panoramic video for rendering by application |
| US10244200B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | View-dependent operations during playback of panoramic video |
| FI20165925A7 (fi) * | 2016-12-05 | 2018-06-06 | Kongsberg Maritime Finland Oy | Merialukselta lähetettävien datavirtalähetysten optimointi |
| US10595069B2 (en) | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
| CN108156484B (zh) * | 2016-12-05 | 2022-01-14 | 奥多比公司 | 利用自适应速率分配优先处理基于图块的虚拟现实视频流 |
| US10242714B2 (en) | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
| US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
| CN108668138B (zh) * | 2017-03-28 | 2021-01-29 | 华为技术有限公司 | 一种视频下载方法以及用户终端 |
| US10979663B2 (en) * | 2017-03-30 | 2021-04-13 | Yerba Buena Vr, Inc. | Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos |
| US10311630B2 (en) * | 2017-05-31 | 2019-06-04 | Verizon Patent And Licensing Inc. | Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| WO2019017913A1 (en) * | 2017-07-18 | 2019-01-24 | Hewlett-Packard Development Company, L.P. | BUILDING VIRTUAL REALITY |
| WO2019078033A1 (ja) * | 2017-10-20 | 2019-04-25 | ソニー株式会社 | 再生装置および方法、並びに、生成装置および方法 |
| TWI653882B (zh) | 2017-11-23 | 2019-03-11 | 宏碁股份有限公司 | 視訊裝置及其三維物件編解碼方法 |
| US10990831B2 (en) | 2018-01-05 | 2021-04-27 | Pcms Holdings, Inc. | Method to create a VR event by evaluating third party information and re-providing the processed information in real-time |
| KR102568871B1 (ko) * | 2018-01-22 | 2023-08-18 | 애플 인크. | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| CN110198457B (zh) * | 2018-02-26 | 2022-09-02 | 腾讯科技（深圳）有限公司 | 视频播放方法及其设备、系统、存储介质、终端、服务器 |
| KR102509753B1 (ko) | 2018-03-22 | 2023-03-14 | 브이아이디 스케일, 인크. | 뷰포트 의존성 비디오 스트리밍 이벤트 |
| US10666863B2 (en) | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
| US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
| KR20190136417A (ko) * | 2018-05-30 | 2019-12-10 | 삼성전자주식회사 | 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치 |
| KR102435519B1 (ko) * | 2018-06-20 | 2022-08-24 | 삼성전자주식회사 | 360도 영상을 처리하는 방법 및 장치 |
| EP3588970A1 (en) * | 2018-06-22 | 2020-01-01 | Koninklijke Philips N.V. | Apparatus and method for generating an image data stream |
| CN111614974B (zh) * | 2020-04-07 | 2021-11-30 | 上海推乐信息技术服务有限公司 | 一种视频图像修复方法和系统 |
| KR20220039113A (ko) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 |
| US20220103655A1 (en) * | 2020-09-29 | 2022-03-31 | International Business Machines Corporation | Proactively selecting virtual reality content contexts |
| US11632531B1 (en) * | 2021-05-03 | 2023-04-18 | Amazon Technologies, Inc. | Synchronization and presentation of multiple 3D content streams |
| CN115250363A (zh) * | 2022-09-22 | 2022-10-28 | 广州市千钧网络科技有限公司 | 一种多视角直播系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127577A (ja) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | 仮想視点画像システム |
| JP2005065051A (ja) * | 2003-08-18 | 2005-03-10 | Sony Corp | 撮像装置 |
| JP2009017064A (ja) * | 2007-07-03 | 2009-01-22 | Hitachi Ltd | 映像受信装置及びマルチキャスト配信コンテンツ受信制御方法 |
| JP2013521743A (ja) * | 2010-03-05 | 2013-06-10 | トムソン ライセンシング | 適応型ストリーミングシステムにおけるビットレート調整 |
| US20130219012A1 (en) * | 2012-02-22 | 2013-08-22 | Citrix Systems, Inc. | Hierarchical Display |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| US8130260B2 (en) * | 2005-11-09 | 2012-03-06 | Johns Hopkins University | System and method for 3-dimensional display of image data |
| KR101313797B1 (ko) * | 2009-12-18 | 2013-10-01 | 한국전자통신연구원 | 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 |
| US20110181601A1 (en) * | 2010-01-22 | 2011-07-28 | Sony Computer Entertainment America Inc. | Capturing views and movements of actors performing within generated scenes |
| US8988512B2 (en) * | 2011-04-14 | 2015-03-24 | Mediatek Inc. | Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof |
| FR2988964A1 (fr) * | 2012-03-30 | 2013-10-04 | France Telecom | Technique de distribution d'un contenu video de type immersif |
| CN103533340B (zh) * | 2013-10-25 | 2016-04-06 | 深圳市汉普电子技术开发有限公司 | 移动终端的裸眼3d播放方法和移动终端 |
-
2015
- 2015-05-29 EP EP15798986.4A patent/EP3149937A4/en not_active Withdrawn
- 2015-05-29 JP JP2017515038A patent/JP2017527230A/ja not_active Withdrawn
- 2015-05-29 KR KR1020167036714A patent/KR102407283B1/ko active Active
- 2015-05-29 CA CA2948642A patent/CA2948642A1/en active Pending
- 2015-05-29 KR KR1020227019042A patent/KR102611448B1/ko active Active
- 2015-05-29 WO PCT/US2015/033420 patent/WO2015184416A1/en active Application Filing
- 2015-05-29 CN CN201580028645.9A patent/CN106416239B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127577A (ja) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | 仮想視点画像システム |
| JP2005065051A (ja) * | 2003-08-18 | 2005-03-10 | Sony Corp | 撮像装置 |
| JP2009017064A (ja) * | 2007-07-03 | 2009-01-22 | Hitachi Ltd | 映像受信装置及びマルチキャスト配信コンテンツ受信制御方法 |
| JP2013521743A (ja) * | 2010-03-05 | 2013-06-10 | トムソン ライセンシング | 適応型ストリーミングシステムにおけるビットレート調整 |
| US20130219012A1 (en) * | 2012-02-22 | 2013-08-22 | Citrix Systems, Inc. | Hierarchical Display |
Non-Patent Citations (1)
| Title |
|---|
| S. HEYMANN ET AL.: "Representation, Coding and interactive Rendering of High-Resolution Panoramic Images and Video using", PROC. PANORAMIC PHOTOGRAMMETRY WORKSHOP, JPN6019001113, 2005, pages 1 - 5 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019521584A (ja) * | 2016-05-24 | 2019-07-25 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Ｈｔｔｐを介した動的適応型ストリーミングにおけるバーチャルリアリティビデオのシグナリング |
| US11375291B2 (en) | 2016-05-24 | 2022-06-28 | Qualcomm Incorporated | Virtual reality video signaling in dynamic adaptive streaming over HTTP |
| JP2019134383A (ja) * | 2018-02-02 | 2019-08-08 | トヨタ自動車株式会社 | 遠隔操作システム、及びその通信方法 |
| JP7059662B2 (ja) | 2018-02-02 | 2022-04-26 | トヨタ自動車株式会社 | 遠隔操作システム、及びその通信方法 |
| JP2023166519A (ja) * | 2018-02-06 | 2023-11-21 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | ライブイベントの共有可能な視点をライブストリーミングすることによる、ローカル体験のシミュレーション |
| JP2021513305A (ja) * | 2018-02-06 | 2021-05-20 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | ライブイベントの共有可能な視点をライブストリーミングすることによる、ローカル体験のシミュレーション |
| JP7594642B2 (ja) | 2018-02-06 | 2024-12-04 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | ライブイベントの共有可能な視点をライブストリーミングすることによる、ローカル体験のシミュレーション |
| JP7346459B2 (ja) | 2018-02-06 | 2023-09-19 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | ライブイベントの共有可能な視点をライブストリーミングすることによる、ローカル体験のシミュレーション |
| JP2021526778A (ja) * | 2018-05-22 | 2021-10-07 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Ｖｒビデオ再生方法、端末、およびサーバ |
| US11765427B2 (en) | 2018-05-22 | 2023-09-19 | Huawei Technologies Co., Ltd. | Virtual reality video playing method, terminal, and server |
| JP7150984B2 (ja) | 2018-05-22 | 2022-10-11 | 華為技術有限公司 | Ｖｒビデオ再生方法、端末、およびサーバ |
| JP2024511731A (ja) * | 2021-11-05 | 2024-03-15 | テンセント・アメリカ・エルエルシー | アセット再使用の頻度によって優先される没入型メディアストリーミング方法、装置、およびコンピュータプログラム |
| JP7665771B2 (ja) | 2021-11-05 | 2025-04-21 | テンセント・アメリカ・エルエルシー | アセット再使用の頻度によって優先される没入型メディアストリーミング方法、装置、およびコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170015938A (ko) | 2017-02-10 |
| KR102611448B1 (ko) | 2023-12-07 |
| EP3149937A4 (en) | 2018-01-10 |
| CA2948642A1 (en) | 2015-12-03 |
| WO2015184416A1 (en) | 2015-12-03 |
| CN106416239A (zh) | 2017-02-15 |
| EP3149937A1 (en) | 2017-04-05 |
| CN106416239B (zh) | 2019-04-09 |
| KR102407283B1 (ko) | 2022-06-10 |
| KR20220081390A (ko) | 2022-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11871085B2 (en) | Methods and apparatus for delivering content and/or playing back content | |
| KR102611448B1 (ko) | 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치 | |
| US12081723B2 (en) | Methods and apparatus for receiving and/or playing back content | |
| US11381801B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| RU2665872C2 (ru) | Стереопросмотр | |
| US20170324945A1 (en) | Methods and apparatus for streaming content | |
| JP2018507650A (ja) | コンテンツの生成、送信、および／または、再生をサポートするための方法および装置 | |
| WO2019146425A1 (ja) | 画像処理装置、画像処理方法、プログラム、および投影システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190410 |