JP2018033107A

JP2018033107A - 動画の配信装置及び配信方法

Info

Publication number: JP2018033107A
Application number: JP2016166131A
Authority: JP
Inventors: 隆二藤本; Ryuji Fujimoto; 直人横内; Naoto Yokouchi
Original assignee: Holo Co Ltd
Current assignee: Holo Co Ltd
Priority date: 2016-08-26
Filing date: 2016-08-26
Publication date: 2018-03-01

Abstract

【課題】動画の配信において、空間又はその中に位置する被写体の異なる方向からの視聴を可能とする際のデータ容量の圧縮を実現する。【解決手段】配信装置２２０は、配信対象の３Ｄ空間又はその中に位置する１又は複数の被写体を撮影する撮影カメラ２１０から受信する１又は複数の映像データに基づいて、当該３Ｄ空間内の１又は複数の被写体をそれぞれ３Ｄオブジェクトとして認識し、ユーザー端末２３０に送信する。その後、動きのある３Ｄオブジェクトを検出して、その差分を示すモーションデータを生成する。配信装置２２０は、生成したモーションデータをユーザー端末２３０に送信し、ユーザー端末２３０においては、受信したモーションデータに基づいて保持している３Ｄオブジェクトデータを動かし、上記モーションデータに対応する期間に動きのない他の３Ｄオブジェクト又は２Ｄオブジェクトとともにある視線方向の映像として表示画面に表示する。【選択図】図２

Description

本発明は、動画の配信装置及び配信方法に関し、より詳細には、ＶＲ動画、ＡＲ動画等の配信装置及び配信方法に関する。

通信速度の高速化に伴い、動画の利用がさまざまな場面で増えている。中でも１８０°、３６０°など、拡がりのある空間を仮想的に作り出すバーチャルリアリティ（ＶＲ）技術を用いた動画に大きな注目が集まっている。

図１に、ＶＲ動画の配信システムの一例を示す。配信システム１００は、３６０°カメラ１１０と、３６０°カメラ１１０の各カメラで撮影された各映像データを結合ないしステッチするためのステッチサーバ１２０と、ステッチサーバ１２０によるステッチで正距円筒図法により生成された３６０°の情報を有する３６０°映像データをエンコードするエンコードサーバ１３０と、エンコードサーバ１３０から３６０°映像データを受信して表示画面上にユーザー又は視聴者（ｖｉｅｗｅｒ）の視線方向の映像を表示する携帯端末１４０とを備える。

３６０°カメラ１１０は、たとえば、魚眼レンズ搭載のカメラを複数組み合わせてリグに固定することによって構成することができる。全方位３６０°の全天球の視野、又は少なくともある平面上における３６０°の視野を提供するようにすることができる。図示では、４つの一眼ミラーレス又はアクションカメラを所定平面上で９０°ずつ異なる角度で配置して３６０°カメラ１１０を構成している。あらかじめ３６０°が撮影できるように複数のカメラを搭載したものも存在する。

ステッチサーバ１２０は、フレームごとに３６０°カメラ１１０から受信した４つの映像データを正距円筒図法に座標変換し、再生可能な３６０°映像データを生成する。

エンコードサーバ１３０は、画質、配信ビットレートなどに応じた処理を３６０°映像データに対して行う。

動画視聴者の携帯端末１４０は、視聴者の視線方向を判定し、３６０°映像データの当該視線方向に対応する部分を表示画面上に表示する。動画表示用の専用のビューワーをスマートフォン、タブレットなどの携帯端末にインストールし、当該ビューワーにて動画を再生することができる。視聴者の視線方向は、携帯端末１４０が有するジャイロ・センサによる検知によって判定可能である。

たとえば、このようなＶＲ技術により動画のリアルタイム配信を行うと、視聴者は視線方向を所望の方向に適宜変えて、あたかもその場にいるかのような体験をすることができる。

しかしながら、ＶＲ動画の配信は、従来の視野が単一方向の動画配信と比較して、大幅にデータ容量が増大することから、ビューワーにおける処理負担が大きいという問題がある。この問題は、携帯端末に限らず、ユーザー又は視聴者の端末がＰＣなどである場合にも生じるものの、スマートフォンなどの携帯端末であると顕著であり、さらにストリーミングなどによるリアルタイム配信であると一層顕著となる。

また、視聴者に体験させる空間全体を仮想的に作り出すＶＲ技術のほか、たとえば背景等の空間の周辺については携帯端末１４０により撮影し、又は予め映像を用意し、当該空間内の被写体（たとえば、遠隔地にいる人物等）を仮想的に作り出して重ね合わせる拡張現実（ＡＲ）技術についても、１８０°、３６０°など異なる角度からその被写体を閲覧可能とするためにはデータ容量の増大という同様の問題が生じる。

本発明は、このような問題点に鑑みてなされたものであり、その目的は、動画の配信装置及び配信方法において、空間又はその中に位置する被写体の異なる方向からの視聴を可能とする際のデータ容量の圧縮を実現することにある。

このような目的を達成するために、本発明の第１の態様は、動画の配信方法であって、配信対象の１又は複数の被写体を撮影する、１又は複数のステレオカメラを有する撮影カメラから映像データを受信するステップと、前記映像データに基づいて、前記１又は複数の被写体にそれぞれ対応する１又は複数の３Ｄオブジェクトを認識するステップと、前記１又は複数の３Ｄオブジェクトをユーザー端末に送信するステップと、前記撮影カメラからの映像データに基づいて、動きのある３Ｄオブジェクトを検出し、当該動きを示すモーションデータを生成するステップと、前記モーションデータを前記ユーザー端末に送信するステップとを含み、前記モーションデータが受信された後に、前記ユーザー端末において前記モーションデータに対応する３Ｄオブジェクトを更新して前記ユーザー端末の表示画面に表示されることを特徴とする。

また、本発明の第２の態様は、第１の態様において、更新された３Ｄオブジェクトは、他のオブジェクトとともに前記表示画面に表示されることを特徴とする。

また、本発明の第３の態様は、第２の態様において、前記他のオブジェクトは、前記ユーザー端末に送信された３Ｄオブジェクトであって、前記モーションデータに対応する期間に動きのなかった３Ｄオブジェクトであることを特徴とする。

また、本発明の第４の態様は、第２の態様において、前記映像データから測定される深度が所定の閾値以上の被写体は２Ｄオブジェクトとして認識され、前記他のオブジェクトは、前記ユーザー端末に送信された前記２Ｄオブジェクトであることを特徴とする。

また、本発明の第５の態様は、第２の態様において、前記他のオブジェクトは、前記ユーザー端末にあらかじめ記憶されている２Ｄ又は３Ｄオブジェクトであることを特徴とする。

また、本発明の第６の態様は、第２の態様において、前記他のオブジェクトは、前記ユーザー端末においてリアルタイムに撮影されるデータであることを特徴とする。

また、本発明の第７の態様は、第１から第６のいずれかの態様において、前記１又は複数の３Ｄオブジェクトの認識は、前記撮影カメラからの第１のフレームの映像データに基づいて行い、前記モーションデータの生成は、前記第１のフレームの後の第２のフレームと前記第１のフレームとの間の動きに基づいて行うことを特徴とする。

また、本発明の第８の態様は、第１から第７のいずれかの態様において、前記映像データは、前記撮影カメラから送信されるライブ映像のデータであることを特徴とする。

また、本発明の第９の態様は、第１から第８のいずれかの態様において、前記撮影カメラは、異なる方向に向けて配置された複数のステレオカメラを有することを特徴とする。

また、本発明の第１０の態様は、第９の態様において、各ステレオカメラからの映像データから認識された各３Ｄオブジェクトをステッチングするステップをさらに含むことを特徴とする。

また、本発明の第１１の態様は、第１から第１０のいずれかの態様において、前記撮影カメラは、周囲の３６０°の撮影を行うことができることを特徴とする。

また、本発明の第１２の態様は、第１１の態様において、前記ユーザー端末は携帯端末であり、前記携帯端末が有するジャイロ・センサによる検知によって判定された視聴者の視線方向を受信するステップと、前記携帯端末に送信するモーションデータを前記視線方向に対応するモーションデータに制限するステップとをさらに含むことを特徴とする。

また、本発明の第１３の態様は、第１から第１０のいずれかの態様において、前記撮影カメラは、被写体を３６０°から撮影することができることを特徴とする。

また、本発明の第１４の態様は、コンピュータに、動画の配信方法を実行させるためのプログラムであって、前記配信方法は、配信対象の１又は複数の被写体を撮影する、１又は複数のステレオカメラを有する撮影カメラから映像データを受信するステップと、前記映像データに基づいて、前記１又は複数の被写体にそれぞれ対応する１又は複数の３Ｄオブジェクトを認識するステップと、前記１又は複数の３Ｄオブジェクトをユーザー端末に送信するステップと、前記撮影カメラからの映像データに基づいて、動きのある３Ｄオブジェクトを検出し、当該動きを示すモーションデータを生成するステップと、前記モーションデータを前記ユーザー端末に送信するステップとを含み、前記モーションデータが受信された後に、前記ユーザー端末において前記モーションデータに対応する３Ｄオブジェクトを更新して前記ユーザー端末の表示画面に表示されることを特徴とする。

また、本発明の第１５の態様は、配信対象の１又は複数の被写体を撮影する、１又は複数のステレオカメラを有する撮影カメラから映像データを受信する受信部と、前記映像データに基づいて、前記１又は複数の被写体にそれぞれ対応する１又は複数の３Ｄオブジェクトを認識する処理部と、前記１又は複数の３Ｄオブジェクトをユーザー端末に送信する送信部とを備え、前記処理部は、前記撮影カメラからの映像データに基づいて、動きのある３Ｄオブジェクトを検出し、当該動きを示すモーションデータを生成し、前記送信部は、前記モーションデータを前記ユーザー端末に送信し、前記モーションデータが受信された後に、前記ユーザー端末において前記モーションデータに対応する３Ｄオブジェクトを更新して前記ユーザー端末の表示画面に表示されることを特徴とする。

本発明の一態様によれば、１又は複数のステレオカメラを有する撮影カメラからの映像データに基づいて被写体の３Ｄオブジェクトを認識し、これをユーザー端末に保持させておき、当該３Ｄオブジェクトの動きを示すモーションデータによりユーザー端末において当該３Ｄオブジェクトの動きを反映させることによって、動画配信におけるデータ容量の圧縮が可能となる。

従来のＶＲ動画の配信システムの一例を示す図である。本発明にかかる動画の配信装置の概要を説明するための図である。本発明の一実施形態における、周囲を被写体とする撮影カメラの一例を示す図である。複数の方向にステレオカメラを有する場合の撮影可能範囲を示す図である。本発明の一実施形態における、撮影装置における処理を示す流れ図である。本発明の一実施形態における、ユーザー端末における処理を示す流れ図である。ユーザー端末において、受信した複数のオブジェクトデータを表示画面にレンダリングする一例を示す図である。本発明の別実施形態における、被写体を周囲から撮影する撮影カメラの一例を示す図である。本発明のさらに実施形態における、被写体を周囲から撮影する撮影カメラの一例を示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。

（本発明の概要）
図２に、本発明にかかる動画の配信装置を示す。配信装置２２０は、配信対象の３Ｄ空間又はその中に位置する１又は複数の被写体を撮影する撮影カメラ２１０から受信する１又は複数の映像データに基づいて、当該３Ｄ空間内の１又は複数の被写体をそれぞれ３Ｄオブジェクトとして認識する。さらに、必要に応じて認識された１又は複数の３Ｄオブジェクトをそれぞれ別の層のデータとしていわば断層化した後、動きのある３Ｄオブジェクトを検出して、その差分を示すモーションデータを生成する。

１又は複数の３Ｄオブジェクトの認識は、撮影カメラ２１０からの第１のフレームの映像データに基づいて行い、モーションデータの生成は、第１のフレームの後の第２のフレームと第１のフレームとの間の動きに基づいて行うことができる。あるいは、複数フレームの映像データを用いて３Ｄオブジェクトの認識を行うこともできる。

各３Ｄオブジェクトデータは、配信装置２２０のメモリ、ハードディスクなどの記憶部２２１に記憶することができるとともに、スマートフォン、タブレット等の携帯端末を含むユーザー端末２３０に送信される。受信された３Ｄオブジェクトは、ユーザー端末２３０において一定期間、そのメモリ、ハードディスクなどの記憶部（図示せず）に記憶される。

配信装置２２０は、生成したモーションデータをユーザー端末２３０に送信し、ユーザー端末２３０においては、受信したモーションデータに基づいて保持している３Ｄオブジェクトデータを動かし、上記モーションデータに対応する期間に動きのない他の３Ｄオブジェクト又は２Ｄオブジェクトとともにある視線方向の映像として表示画面に表示する。

このように、撮影対象の空間内の被写体を３Ｄオブジェクトとして認識し、そのデータをあらかじめユーザー端末２３０に保持させておくことによって、配信装置２２０からユーザー端末２３０への送信データを、被写体の動きを示すモーションデータとすることが可能となり、データ容量の大きな圧縮が実現される。特にライブ映像の配信の際には、かくつきの抑えられた高画質の動画配信ができ、ユーザー体験を改善する。

ここで３Ｄオブジェクトとは、３Ｄ空間内の一部を表す３Ｄデータを意味し、たとえば、撮影対象の空間内に立つ人、ビル、雲などの被写体が対象となる。一定の閾値を定めて、後述する深度がそれ以上の被写体については３Ｄオブジェクト化を行わずに、疑似的に２Ｄデータで表わされる２Ｄオブジェクトとして認識してもよい。たとえば、空、壁などの背景が対象となる。

また、一部の被写体又は背景について、３Ｄオブジェクトとして又は２Ｄオブジェクトとしてあらかじめデータを配信装置２２０又はユーザー端末２３０に記憶しておくことも可能である。また、ユーザー端末２３０においてリアルタイムに撮影する背景等のデータを用いることもできる。本発明による動画配信は、動画を構成する全体のみならず、一部のみにも適用可能であることに留意されたい。

また、上述の説明及び後述の説明において、各処理は、コンピュータに所定のプログラムを実行させることにより実現することができ、コンピュータは単一のサーバとすることも、複数のサーバとすることもでき、またプログラムについても同様に複数のプログラムにより所要の機能が実現されるようにすることができる。コンピュータとしては、通信インターフェースなどのデータ送受信のための通信部と、ＣＰＵ、ＧＰＵなどの処理部と、メモリ、ハードディスクなどの記憶部とを備えるものが挙げられる。

（撮影カメラの周囲が被写体の実施形態）
図３に、本発明の一実施形態における、周囲の被写体を撮影するための撮影カメラを示す。撮影カメラ３１０は、第１の方向から第６の方向につき、それぞれ右カメラ及び左カメラを有するステレオカメラを備える。各ステレオカメラは、左右のカメラの視差の幅に基づいて被写体３２０の各点までの奥行き方向の距離を測定することができ、被写体３２０を、三次元的に表す３Ｄオブジェクトとしてデータ化することができる。被写体３２０までの距離が遠いとき、すなわち深度が深いときは、視差の幅が小さいため３Ｄオブジェクト化を行うことなく、単に２Ｄオブジェクトとして認識すれば十分であることも少なくない。

図４に示すように、複数の方向にステレオカメラを備えている場合、被写体３２０を３Ｄオブジェクトとして認識することのできる角度が大きくなる。各ステレオカメラの前面に沿った直線は、各ステレオカメラが画角１８０°である場合の撮影可能範囲を示すものである。ここでは、第１から第６の方向にそれぞれステレオカメラを配置したが、第１の方向のみ、第１から第４の方向など、さまざまな配置が考えられる。

撮影カメラ３１０の各ステレオカメラから送信される映像データに基づいて（Ｓ５０１）、配信装置２２０は、１又は複数の被写体に対応する１又は複数の３Ｄオブジェクトの認識を行う（Ｓ５０２）。３Ｄオブジェクト化に用いる映像データは、単一フレームの映像データとしてもよいし、複数フレームの映像データを用いて行ってもよい。

ステレオカメラが複数配置されている場合には、ここで、３Ｄオブジェクトデータのステッチングを行う（Ｓ５０３）。各ステレオカメラの映像データから認識された３Ｄオブジェクトを、被写体の同一箇所に対応する点をコンタクトポイントとして繋ぎ合わせ、ユーザー端末２３０における再生に用いる３Ｄオブジェクトが生成される。ステッチングは、３Ｄオブジェクトごとに行い、被写体が２Ｄオブジェクトとして認識される場合には、従来技術のように、正距円筒図法に座標変換して繋ぎ合わせることができる。

認識された各オブジェクトは、必要に応じてそれぞれ別の層ーのデータとして、ユーザー端末２３０に送信される（Ｓ５０４）。ユーザー端末２３０への送信データは、配信装置２２０とユーザー端末２３０との間の通信環境に応じて画質、ビットレートの変更等の最適化を行うことができる。ユーザー端末２３０においては、層ごとに各オブジェクトを記憶することができる。

配信装置２２０は、連続的に又は断続的に撮影対象の３Ｄ空間又はその中に位置する被写体の３Ｄオブジェクト化を行い、各３Ｄオブジェクトをトラッキングして一定の閾値以上の動きのあるオブジェクトを検出して当該動きを示すモーションデータを生成し（Ｓ５０５）、ユーザー端末２３０に送信する（Ｓ５０６）。動きとしては、移動、回転ないし傾き、変形などが挙げられる。３Ｄオブジェクトは、たとえば頂点データにより表現することができ、モーションデータは、各頂点に対して行う計算を規定するものとすることができる。

ユーザー端末２３０においては、各オブジェクトのデータを受信し（Ｓ６０１）、その後受信するモーションデータに応じて対応する３Ｄオブジェクトを動かし、当該オブジェクトを更新する（Ｓ６０２）。更新されたオブジェクトデータにより上書きしてもよいし、別個のデータとして保持してもよい。動きがあり、更新されたオブジェクトとその他のオブジェクトとをともにユーザー端末２３０の表示画面に表示する処理をフレームごとに続けることによって、動画の配信を行うことができる。また、ユーザー端末２３０にあらかじめ記憶されている背景、被写体の周囲の空間等を表す３Ｄ又は２Ｄのオブジェクトデータを同時に表示することもできる。この際、各データを合成してから表示を行ってもよい（Ｓ６０３）。

専用のビューワーをインストールして表示を行うこともできるが、本実施形態にかかる配信方法を用いれば、３Ｄオブジェクトをあらかじめユーザー端末２３０に保持させておくことでユーザー端末２３０において処理すべきデータ容量を抑制し、処理能力の高くないウェブブラウザ上で汎用のビューワーにより再生することが可能となる（Ｓ６０４）。スマートフォン、タブレットなどの端末にインストールされるアプリ上での動画再生ではなく、ウェブブラウザ上での再生が望まれる場面も少なくない。

図７は、ユーザー端末２３０において、受信した複数のオブジェクトを表示画面にレンダリングする一例の様子を示している。第１の３Ｄオブジェクト７４１及び第２の３Ｄオブジェクト７４２があらかじめユーザー端末７３０に記憶されており、第２のオブジェクト７４２における動きを示すモーションデータ７４３が配信サーバ７２０からユーザー端末７３０に対して送信される。ユーザー端末７３０では、モーションデータ７４３に従って第２のオブジェクト７４２を更新し、各オブジェクトを合成して再生する。配信サーバ７２０は、クラウド上のインスタンスとしてもよい。

図３に示す撮影カメラ３１０を用いると、３６０°の動画配信が可能となるところ、ユーザー端末２３０は、視聴者の視線方向を判定し、当該視線方向に対応する部分を表示画面上に表示することができる。視聴者の視線方向は、ユーザー端末２３０が有するジャイロ・センサによる検知、表示画面上の視聴者によるドラッグなどによって判定可能である。

視聴者の視線方向を示すデータを連続的又は断続的にユーザー端末２３０から配信装置２２０に送信すれば、配信装置２２０からユーザー端末２３０に送信されるモーションデータを当該視線方向の動画再生に必要となるデータに限定することができ、さらなるデータ容量の圧縮が可能である。加えて、視聴者の視線方向をユーザー端末２３０又は配信装置２２０において予測することによって、配信装置２２０からユーザー端末２３０に対するデータ送信を高速化することができる。

ユーザー端末２３０、７３０は、ＰＣなどのコンピュータ一般も含まれるが、スマートフォン、タブレット、二眼ＨＭＤなどの携帯端末である場合に、本発明はデータ容量を大幅に圧縮してＶＲ動画、ＡＲ動画などのリッチな動画に対するユーザー体験を大きく改善する。ユーザー端末２３０、７３０がさらにＩＣを有するコンタクトレンズのように著しく小型化ないし軽量化し、実装可能なデータ処理能力も限られてしまう場面においても、本発明によれば、動画配信が可能となる。

（撮影カメラが被写体の周囲に配置された実施形態）
図８に、本発明の別実施形態における、被写体の周囲に配置された撮影カメラを示す。撮影カメラ８１０は、第１の方向から第４の方向につき、それぞれ右カメラ及び左カメラを有するステレオカメラを備える。各ステレオカメラは、左右のカメラの視差の幅に基づいて被写体８２０の各点までの奥行き方向の距離を測定することができ、被写体８２０を、三次元的に表す３Ｄオブジェクトとしてデータ化することができる。被写体８２０までの距離が遠いとき、すなわち深度が深いときは、視差の幅が小さくなるため、３Ｄオブジェクト化を行うことなく、単に２Ｄオブジェクトとして認識してもよい。

各ステレオカメラの前面に沿った直線は、各ステレオカメラが画角１８０°である場合の撮影可能範囲を示すものである。ここでは、第１から第４の方向にそれぞれステレオカメラを配置したが、第１の方向のみ、第１から第６の方向など、さまざまな配置が考えられる。

図３に示した実施形態と配信装置２２０における処理は基本的に同じであるが、視線方向については、処理が異なる場合がある。ユーザー端末２３０がＧＰＳなどの位置センサを有する場合、ユーザー端末２３０の位置情報に応じて第１の方向に向けられたステレオカメラから第２の方向に向けられたステレオカメラに視点を切り替えることができる。また、ユーザー端末２３０の表示画面上で視聴者が手動でステレオカメラを選択してもよい。ユーザー端末２３０が有するジャイロ・センサにより視線方向を検知して、いずれのステレオカメラからいずれの方向を見た動画を配信するかを定めることもできる。

なお、図８では、被写体８２０を囲む４方向のそれぞれにステレオカメラを１台ずつ配置しているが、図９に示すように、各方向に向けられたステレオカメラを複数台並べて配置してもよい。

また、各ステレオカメラは、ユーザー端末２３０が有するジャイロ・センサにより視線方向を検知して、当該視線方向に向けて回転させることもできる。

ユーザー端末２３０の位置及び向きの少なくとも一方を連続的又は断続的に配信装置２２０において受信して、配信装置２２０からユーザー端末２３０に送信されるモーションデータを当該位置及び向きの少なくとも一方における動画再生に必要となるデータに限定することができ、さらなるデータ容量の圧縮が可能である。視聴者によってステレオカメラが選択された場合も同様である。

（スキン）
ここまでは、撮影カメラからの映像データを解析して、３Ｄオブジェクトを認識することを説明してきたが、より詳細には、３Ｄオブジェクトは、形を表すボーンと、当該ボーン上に描画されるスキンとに大別することができる。いずれに対しても、上述したようにあらかじめユーザー端末にオブジェクトデータを保持させ、それに対するモーションデータによって動きを表して更新することで、動画再生が可能となる。スキンに対するＣＧによる補正も行うことがある。

スキンに対するモーションデータとしては、色（ＲＧＢ）、座標位置（ｘ軸、ｙ軸、ｚ軸）などが挙げられる。

（その他）
ユーザー端末に表示される１又は複数のオブジェクトに対して、ユーザーのコメント、実況中継・解説のコメントなどの文字をオブジェクトとして重ね合わせて再生してもよい。

また、音声を全方位又は一部の方位について立体的に収録して、配信装置から当該音響データを映像とタイミングを合わせてユーザー端末に配信することも可能である。

１００配信システム
１１０撮影カメラ
１２０ステッチサーバ
１３０エンコードサーバ
１４０携帯端末
２１０撮影カメラ
２２０配信装置
２２１記憶装置
２３０ユーザー端末
３１０撮影カメラ
３２０被写体
７２０配信サーバ
７３０携帯端末
７４１第１のオブジェクト
７４２第２のオブジェクト
７４３モーションデータ
８１０撮影カメラ
８２０被写体

Claims

動画の配信方法であって、
配信対象の１又は複数の被写体を撮影する、１又は複数のステレオカメラを有する撮影カメラから映像データを受信するステップと、
前記映像データに基づいて、前記１又は複数の被写体にそれぞれ対応する１又は複数の３Ｄオブジェクトを認識するステップと、
前記１又は複数の３Ｄオブジェクトをユーザー端末に送信するステップと、
前記撮影カメラからの映像データに基づいて、動きのある３Ｄオブジェクトを検出し、当該動きを示すモーションデータを生成するステップと、
前記モーションデータを前記ユーザー端末に送信するステップと
を含み、
前記モーションデータが受信された後に、前記ユーザー端末において前記モーションデータに対応する３Ｄオブジェクトを更新して前記ユーザー端末の表示画面に表示されることを特徴とする配信方法。
更新された３Ｄオブジェクトは、他のオブジェクトとともに前記表示画面に表示されることを特徴とする請求項１記載の配信方法。
前記他のオブジェクトは、前記ユーザー端末に送信された３Ｄオブジェクトであって、前記モーションデータに対応する期間に動きのなかった３Ｄオブジェクトであることを特徴とする請求項２に記載の配信方法。
前記映像データから測定される深度が所定の閾値以上の被写体は２Ｄオブジェクトとして認識され、
前記他のオブジェクトは、前記ユーザー端末に送信された前記２Ｄオブジェクトであることを特徴とする請求項２に記載の配信方法。
前記他のオブジェクトは、前記ユーザー端末にあらかじめ記憶されている２Ｄ又は３Ｄオブジェクトであることを特徴とする請求項２に記載の配信方法。
前記他のオブジェクトは、前記ユーザー端末においてリアルタイムに撮影されるデータであることを特徴とする請求項２に記載の配信方法。
前記１又は複数の３Ｄオブジェクトの認識は、前記撮影カメラからの第１のフレームの映像データに基づいて行い、
前記モーションデータの生成は、前記第１のフレームの後の第２のフレームと前記第１のフレームとの間の動きに基づいて行うことを特徴とする請求項１から６のいずれかに記載の配信方法。
前記映像データは、前記撮影カメラから送信されるライブ映像のデータであることを特徴とする請求項１から７のいずれかに記載の配信方法。
前記撮影カメラは、異なる方向に向けて配置された複数のステレオカメラを有することを特徴とする請求項１から８のいずれかに記載の配信方法。
各ステレオカメラからの映像データから認識された各３Ｄオブジェクトをステッチングするステップをさらに含むことを特徴とする請求項９に記載の配信方法。
前記撮影カメラは、周囲の３６０°の撮影を行うことができることを特徴とする請求項１から１０のいずれかに記載の配信方法。
前記ユーザー端末は携帯端末であり、
前記携帯端末が有するジャイロ・センサによる検知によって判定された視聴者の視線方向を受信するステップと、
前記携帯端末に送信するモーションデータを前記視線方向に対応するモーションデータに制限するステップとをさらに含むことを特徴とする請求項１１に記載の配信方法。
前記撮影カメラは、被写体を３６０°から撮影することができることを特徴とする請求項１から１０のいずれかに記載の配信方法。
コンピュータに、動画の配信方法を実行させるためのプログラムであって、前記配信方法は、
配信対象の１又は複数の被写体を撮影する、１又は複数のステレオカメラを有する撮影カメラから映像データを受信するステップと、
前記映像データに基づいて、前記１又は複数の被写体にそれぞれ対応する１又は複数の３Ｄオブジェクトを認識するステップと、
前記１又は複数の３Ｄオブジェクトをユーザー端末に送信するステップと、
前記撮影カメラからの映像データに基づいて、動きのある３Ｄオブジェクトを検出し、当該動きを示すモーションデータを生成するステップと、
前記モーションデータを前記ユーザー端末に送信するステップと
を含み、
前記モーションデータが受信された後に、前記ユーザー端末において前記モーションデータに対応する３Ｄオブジェクトを更新して前記ユーザー端末の表示画面に表示されることを特徴とするプログラム。
動画の配信装置であって、
配信対象の１又は複数の被写体を撮影する、１又は複数のステレオカメラを有する撮影カメラから映像データを受信する受信部と、
前記映像データに基づいて、前記１又は複数の被写体にそれぞれ対応する１又は複数の３Ｄオブジェクトを認識する処理部と、
前記１又は複数の３Ｄオブジェクトをユーザー端末に送信する送信部と
を備え、
前記処理部は、前記撮影カメラからの映像データに基づいて、動きのある３Ｄオブジェクトを検出し、当該動きを示すモーションデータを生成し、
前記送信部は、前記モーションデータを前記ユーザー端末に送信し、
前記モーションデータが受信された後に、前記ユーザー端末において前記モーションデータに対応する３Ｄオブジェクトを更新して前記ユーザー端末の表示画面に表示されることを特徴とする配信装置。