JP6403649B2 - 空間像演出装置およびその制御方法 - Google Patents

Description

本発明は、空間像を表示する空間像演出装置およびその制御方法に関する。

スポーツ中継などにおいて、遠隔地にいるスポーツ選手を記録した映像を、その選手がまるでその場にいるかのように演出して、より臨場感のある態様で再生する技術が検討されている。このような技術の１つとして、表示部（ディスプレイ）に表示された表示像を空間上に空間像として表示する技術が非特許文献１に開示されている。

非特許文献１においては、ディスプレイに映像を表示し、その表示像の空間像を光学素子によりステージ上に形成するととともに、ステージ上の実物体の動きに応じて空間像を移動させたり、ステージの上部に設けられた投影装置により、空間像の影に相当する映像を投影したりする技術が開示されている。この技術によれば、実物体の動きに応じて空間像を移動させたり、空間像の影に相当する映像を投影したりすることで、空間像により示された対象物が実際にステージ上に存在するかのように観察者に視認させることができ、より効果的な演出が可能となる。

Hanyuool Kim, Issei Takahashi, Hiroki Yamamoto, Satoshi Maekawa, Takeshi Naemura, "MARIO: Mid-air Augmented Reality Interaction with Objects", Entertainment Computing, Volume 5, Issue 4, December 2014, pages 233-241

一般に、対象物を記録した映像データを再生し（映像データに示される映像の空間像を形成し）、観察者に視認させる場合、対象物を記録する記録環境と映像データを再生する再生環境とを合わせることで、より臨場感のある演出が可能となる。

しかしながら、非特許文献１に開示されている技術においては、記録環境と再生環境とを合わせることについては十分な考慮がなされておらず、より臨場感のある態様で空間像を観察者に視認させることが難しいという問題がある。

例えば、再生環境において、ステージを照明する照明装置の光の色が変化する場合を考える。この場合、空間像は、照明装置による影響を受けないため、空間像とステージ上の他の部分とで色が異なるという視覚的な矛盾が生じ、観察者に違和感を抱かせてしまうことがある。なお、このような視覚的な矛盾は、光源の位置、非特許文献１に開示の技術により表示した空間像の影に相当する映像の伸びる方向とステージ上の実物体による影の伸びる方向の相違など、記録環境と再生環境との相違に起因する種々の要因により生じる。

上述したような違和感は映像の再生における臨場感を損なうため、非特許文献１に開示されている技術においては、より臨場感のある態様で空間像を観察者に視認させることは難しいという問題がある。

本発明の目的は、上述した課題を解決し、より臨場感のある態様で空間像を観察者に視認させることができる空間像演出装置およびその制御方法を提供することにある。

上記課題を解決するため、本発明に係る空間像演出装置は、映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置であって、前記映像データを再生する再生環境に関する情報である再生環境情報を取得する再生環境情報取得手段と、前記再生環境情報取得手段が取得した前記再生環境情報に応じて、対象物を記録した記録映像を編集して前記映像データを生成する映像データ生成手段と、前記映像データ生成手段が生成した映像データに示される映像の空間像を形成する再生制御手段と、を備える。

また、上記課題を解決するため、本発明に係る空間像演出装置の制御方法は、映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置の制御方法であって、前記映像データを再生する再生環境に関する情報である再生環境情報を取得する取得ステップと、前記取得した再生環境情報に応じて、対象物を記録した記録映像を編集して前記映像データを生成する生成ステップと、前記生成した映像データに示される映像の空間像を形成する再生ステップと、を含む。

本発明に係る空間像演出装置およびその制御方法によれば、より臨場感のある態様で空間像を観察者に視認させることができる。

本発明の一実施形態に係る空間像演出装置の概要を示す図である。 図１に示す空間像演出装置の全体構成例を示す図である。 空間像を形成するための構成の一例を示す図である。 空間像を形成するための構成の別の一例を示す図である。 空間像を形成するための構成のさらに別の一例を示す図である。 図２に示す制御装置の構成を示す図である。 図６に示す映像データ生成部による記録映像の編集例について説明するための図である。 図６に示す映像データ生成部による記録映像の編集例について説明するための図である。 図６に示す映像データ生成部による記録映像の編集例について説明するための図である。

以下、本発明の実施の形態について説明する。

図１は、本発明の一実施形態に係る空間像演出装置１０の概要を示す図である。本実施形態に係る空間像演出装置１０は、対象物１を記録する記録側と、記録側において対象物１が記録された映像データを再生する再生側とを備える映像システムにおいて、再生側に設けられ、映像データに示される映像の空間像を形成することで映像データを再生するものである。なお、例えば、記録側と再生側とはネットワークを介して接続され、再生側は、ネットワークを介して記録側から映像データを取得することができる。

図１に示す空間像演出装置１０は、対象物１（例えば、競技中のスポーツ選手）を撮影装置２により撮影（記録）して得られたメディア情報（映像データ）に示される映像の空間像３をステージ４に形成することで映像データを再生し、観察者５に視認させるものである。なお、対象物１の撮影時には音声も合わせて記録されてもよく、メディア情報には記録された音声データが含まれてもよい。また、メディア情報として、映像データと共に、映像データの記録環境における照明情報、風向き情報などの、記録側の環境情報（記録環境情報）が記録されてもよい。メディア情報は、記録メディアに蓄積されてもよいし、ネットワークを通じて遠隔地に配信されてもよい。

図２は、図１に示す空間像演出装置１０の全体構成例を示す図である。

図２に示す空間像演出装置１０は、空間像投影装置１１と、プロジェクタ１２と、照明装置１３と、光源装置１４と、送風・空調装置１５と、スモーク発生装置１６と、スピーカ１７と、再生環境情報取得部１８（再生環境情報取得手段）と、制御部１００とを備える。プロジェクタ１２、照明装置１３、光源装置１４、送風・空調装置１５、スモーク発生装置１６およびスピーカ１７は、映像データを再生する再生環境（ステージ４およびその周囲）における演出を行う環境演出手段の一例である。

空間像投影装置１１は、ステージ４の床面４ａに対向して設けられており、例えば、プロジェクタなどである。床面４ａはスクリーン（表示部）として作用し、空間像投影装置１１は、制御部１００の制御に従い、メディア情報（映像データ）に示される映像を床面４ａ（スクリーン）に投影（表示）する。この表示により表示像（映像データに示される映像）の空間像が形成される。なお、空間像の形成方法の詳細については後述する。

プロジェクタ１２は、制御部１００の制御に従い、再生環境に映像（例えば、形成された空間像３の影に相当する映像３ａ）を表示（投影）する表示手段である。

照明装置１３は、制御部１００の制御に従い、再生環境を照明する。

光源装置１４は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの光源装置であり、制御部１００の制御に従い、点灯する。ここで、光源装置１４は、空間像３を観察する観察者５から見て再生環境における光源として認識されるように設けられるものであり、ステージ４の照明を主目的とするものではない。したがって、光源装置１４は、観察者５から視認可能な位置に設けられており、あたかも、光源装置１４が空間像を照明しているかのように観察者５に視認される。上述したように、光源装置１４は、ステージ４の照明を主目的とするものではないため、光源装置１４からの光がステージ４に入射しないように、光源装置１４のステージ４に向かう部分には目張りなどが行われてもよい。ただし、光源装置１４からの光がステージ４における表示に大きな影響を与えない場合には、そのような目張りは設けなくてもよい。

送風・空調装置１５は、制御部１００の制御に従い、再生環境における空調（風向き、風速）、温度、湿度などを制御する。

スモーク発生装置１６は、制御部１００の制御に従い、再生環境にスモーク（霧）を発生させる。

スピーカ１７は、制御部１００の制御に従い、再生環境における音響を制御する。

このように、環境演出手段であるプロジェクタ１２、照明装置１３、光源装置１４、送風・空調装置１５、スモーク発生装置１６およびスピーカ１７は、情報メディア（映像データ）を再生する再生環境の演出（再生環境における照明制御、空調制御、音響制御、スモークの発生、映像の表示など）を行うことができる。

再生環境情報取得部１８は、映像データを再生する再生環境に関する情報である再生環境情報を取得し、取得した再生環境情報を制御部１００に出力する。再生環境情報取得部１８が取得する再生環境情報としては、例えば、再生環境における光源に関する情報（光源の位置、光源からの光の色や強度など）、再生環境の周囲の映像などがある。再生環境情報取得部１８は、再生環境に設けられた光センサや撮影装置などから再生環境情報を取得してもよく、再生時の再生側の照明、風量などの制御情報を参照して、再生環境情報を取得してもよい。

制御部１００は、例えば、パーソナルコンピュータなどであり、対象物１を撮影装置２により撮影（記録）して得られた映像データ（以下、元映像データと称する）に示される映像（記録映像）を、再生環境情報取得部１８が取得した再生環境情報に応じて編集して映像データ（メディア情報）を生成する。そして、制御部１００は、再生したメディア情報（映像データ）に示される映像を空間像投影装置１１に表示させる。空間像投影装置１１による映像の表示により、表示像の空間像がステージ４上に形成される。

また、制御部１００は、環境演出手段である各装置を制御する。

次に、空間像の形成について、図３から図５を参照して説明する。なお、図３から図５において、図２と同様の構成については同じ符号を付し、説明を省略する。

図３は、空間像を形成するための構成の一例を示す図である。

図３においては、表示部であるスクリーン２０が、観察者５の観察方向（Ｘ方向）に対して略水平に設けられている。スクリーン２０は、図２においては、ステージ４の床面４ａに相当する。空間像投影装置１１は、例えば、プロジェクタであり、スクリーン２０の一方の面（下面）側に設けられ、制御部１００の制御に従い、スクリーン２０に映像を投影（表示）する。

スクリーン２０の他方の面（上面）側には、光学素子である透明板２１が設けられている。透明板２１は、スクリーン２０から見て観察者５側に向かって（−Ｘ方向に）ほぼ４５°傾斜している。スクリーン２０への映像の表示に応じて、スクリーン２０からの出射光は、透明板２１に入射し、透明板２１において観察者５に向かう方向に向けられる。こうすることで、スクリーン２０に表示された表示像Ａの空間像Ｂ（虚像）が、スクリーン２０に対して略垂直に形成され、観察者５に視認される。

図４は、空間像を形成するための構成の別の一例を示す図である。

スクリーン２０の上面側には、光学素子である実像鏡２２が設けられている。実像鏡２２は、スクリーン２０から見て観察者５とは反対側に向かって（Ｘ方向に）ほぼ４５°傾斜している。スクリーン２０への映像の表示に応じて、スクリーン２０からの出射光は、実像鏡２２に入射し、実像鏡２２において観察者５に向かう方向に向けられる。こうすることで、スクリーン２０に表示された表示像Ａの空間像Ｂ（実像）が、スクリーン２０に対して略垂直に形成され、観察者５に視認される。なお、図３と図４とを比較すると、表示される表示像Ａの上下が反転している。

図３，４においては、空間像投影装置１１がスクリーン２０の下面から映像を投影する例を用いて説明したが、図２のように、空間像投影装置１１はスクリーン２０の上面から映像を投影してもよい。この場合、空間像投影装置１１による投影光は透過し、スクリーン２０からの出射光を観察者５の方向に向けるような光学素子を用いることで、スクリーン２０の表示像の空間像を形成することができる。

また、図３，４においては、スクリーン２０に空間像投影装置１１により映像を表示（投影）し、その表示に応じたスクリーン２０からの出射光を光学素子（透明板２１、実像鏡２２）により観察者５に向かう方向に向けることで空間像を形成する例を用いて説明したが、これに限られるものではない。例えば、空間像投影装置１１を液晶デバイスなどで構成し、スクリーン２０の位置に液晶デバイスの表示面を設け、表示面への映像の表示により空間像を形成するようにしてもよい。

図５は、空間像を形成するための構成のさらに別の一例を示す図である。図５においては、スクリーン２０の代わりに、シースルースクリーン２３を用いて空間像を形成する例について説明する。

シースルースクリーン２３は、観察者５と対向するように（Ｘ方向に対して略垂直に）設けられている。シースルースクリーン２３は、略透明状のスクリーンであり、一方の面側（観察者５と対向する面とは反対の面側）から空間像投影装置１１により投影された映像を空間像として観察者５に視認させるとともに、投影されている部分以外の部分では、シースルースクリーン２３の後方の背景も観察者５に視認させることができる。したがって、シースルースクリーン２３の表示像とシースルースクリーン２３の後方の背景とが前後に重畳して、観察者５に視認させることができる。なお、人工的に発生させた霧に映像を投影するフォグスクリーンもシースルースクリーンと同様の効果をもたらすため、フォグスクリーンを用いてもよい。

次に、制御部１００の構成について、図６を参照して説明する。

図６に示す制御部１００は、映像データ生成部１０１（映像データ生成手段）と、再生制御部１０２（再生制御手段）とを備える。

映像データ生成部１０１は、元映像データが入力されると、元映像データに示される記録映像を再生環境情報取得部１８が取得した再生環境情報に応じて編集して映像データを生成する。そして、映像データ生成部１０１は、生成した映像データを再生制御部１０２に出力する。

再生制御部１０２は、映像データ生成部１０１から出力されたメディア情報（映像データ）に示される映像を空間像投影装置１１に表示させるとともに、メディア情報に音声データが含まれる場合には、その音声データをスピーカ１７に再生させる。また、再生制御部１０２は、必要に応じて、環境演出手段である各装置を制御する。

なお、図６においては、映像データ生成部１０１および再生制御部１０２が、空間像演出装置１０の制御部１００内に設けられる例を用いて説明したが、これに限られるものではない。例えば、映像データ生成部１０１は、対象物１を記録する記録側の装置に設けられてもよい。

次に、映像データ生成部１０１による元映像データに示される記録映像の編集例について説明する。

まず、再生環境における照明装置１３が所定の色の光により照明する場合の記録映像の編集例について説明する。

この場合、照明装置１３が所定の色の光（例えば、ピンク）により照明したとしても、形成される空間像３は、照明光の影響を受けないため、視覚的な矛盾が生じてしまう。そこで、映像データ生成部１０１は、空間像３もピンクがかった色となるように記録映像を編集して映像データを生成する。こうすることで、照明装置１３による照明光の色に合わせて、空間像３の色も変化するので、視覚的な矛盾が生じることがなくなる。

なお、例えば、ステージ４の奥面や側面にプロジェクタ１２により映像を表示（投影）してもよい。この場合、映像データ生成部１０１は、再生環境における光源（照明装置１３）による照明により生じる影響を表わした映像（以下、照明映像と称する）を、プロジェクタ１２に表示させるような映像データを生成してもよい。

照明映像の例としては、照明装置１３からの光の軌跡に相当する映像、照明装置１３の位置から空間像３に示される対象物１を照明した場合に生じる影に相当する映像などがある。このような照明映像をプロジェクタ１２により表示することで、より臨場感のある演出が可能となる。

また、映像データ生成部１０１による元映像データに示される記録映像の他の編集例としては、再生環境の周囲の映像を空間像３に映り込ませるという例がある。

車などのように光沢性、表面反射率が高い表面領域（高反射率領域）を備える対象物１の空間像３を表示する場合、再生環境の周囲の映像が、空間像３における対象物１の高反射率領域に対応する領域に映り込んでいないと、視覚的な矛盾が生じ、観察者５に違和感を抱かせる原因となる。

そこで、再生環境情報取得部１８により、空間像３の形成位置から周囲３６０°の映像（全点周映像）を再生環境情報として取得し、映像データ生成部１０１は、空間像３における対象物１の高反射率領域に対応する領域に全点周映像を映り込ませるように記録映像を編集して映像データを生成する。ここで、再生環境情報取得部１８により、再生環境情報として、観察者５の位置に関する情報を取得し、映像データ生成部１０１は、観察者５の位置に応じて、空間像に映り込ませる全点周映像の映像を決定してもよい。

こうすることで、対象物１の高反射率領域に再生環境の周囲の映像が映り込んだ空間像３を形成することができるので、視覚的な矛盾をなくし、より臨場感のある演出が可能となる。

映像データ生成部１０１による元映像データに示される記録映像のさらに別の編集例について、図７および図８を参照して説明する。

図７に示すように、空間像投影装置１１によりステージ４に空間像３が形成されるとともに、ステージ４の床面４ａに実物体６が存在する場合を考える。そして、照明装置１３は、図７において点線矢印で示すように、ステージ４を横方向から照明しているとする。この場合、図７に示すように、照明装置１３による照明により実物体６の影６ａの照明装置１３の照明方向に沿って形成される。

一方で、対象物１の記録環境に合わせて、記録環境における光源により生じる影に相当する映像３ａがプロジェクタ１２により投影されていたとする。ここで、記録環境における光源により生じる影に相当する映像３ａが伸びる方向（図７において一点鎖線矢印で示す方向）と、照明装置１３による照明により生じる実物体６の影６ａの伸びる方向とが異なると視覚的な矛盾が生じてしまう。

そこで、映像データ生成部１０１は、照明装置１３による照明の影響を加味した影（記録環境における光源と照明装置１３とで対象物１を照明した場合に生じる影）に相当する映像（照明映像）をプロジェクタ１２に表示させるような映像データを生成する。その結果、図８に示すように、再生環境における照明装置１３により対象物１を照明したような、照明装置１３による照明と矛盾を生じない影に相当する映像３ｂがプロジェクタ１２により表示される。そのため、視覚的な矛盾が生じないようにすることができる。

映像データ生成部１０１による元映像データに示される記録映像のさらに別の編集例について、図９を参照して説明する。

空間像投影装置１１により表示部（スクリーン）に表示される映像は平面像であるため、空間像投影装置１１による表示により形成される空間像３も平面的なものとなり、臨場感が損なわれてしまうことがある。

そこで、再生環境情報取得部１８により観察者５の位置を検出し、映像データ生成部１０１は、再生環境情報取得部１８により検出された観察者５の位置に応じて、元映像データから映像データを生成してもよい。

具体的には、映像データ生成部１０１は、観察者５の位置に応じて、形成される空間像３により示される実物体６の角度を変更する。したがって、映像データ生成部１０１は、図９（ａ）に示すように、観察者５が左方向から観察する場合には、対象物１を左方向から見た空間像３Ｌが形成されるような映像データを生成する。同様に、映像データ生成部１０１は、図９（ｂ）に示すように、観察者５が正面方向から観察する場合には、対象物１を正面方向から見た空間像３Ｆが形成されるような映像データを生成し、図９（ｃ）に示すように、観察者５が右方向から観察する場合には、対象物１を右方向から見た空間像３Ｒが形成されるような映像データを生成する。

なお、映像データ生成部１０１は、例えば、観察者５に位置に応じた空間像３を、ある方向から対象物１を記録した記録映像の映像編集により生成することができる。また、映像データ生成部１０１は、対象物１を複数の角度から撮影した撮影映像が存在する場合には、観察者５に位置に応じて複数の視点から撮影した撮影映像を切り替えて（複数の視点から撮影した撮影映像のいずれかを選択して）、映像データとして出力してもよい。

観察者５の位置に応じて、形成される空間像３により示される実物体６の角度を変更することで、観察者５が対象物１を実際に観察したような空間像３が形成されるので、視覚的な矛盾を無くし、より臨場感のある演出が可能となる。

なお、例えば、空間像３の奥にさらに空間像（例えば、背景像など）を表示してもよい。また、ステージ４の奥面や側面に映像を表示してもよい。この場合、空間像３の表示と、他の空間像の表示あるいは奥面や側面への映像の表示とはタイムスタンプや絶対時間同期を用いて同期させるのが好ましい。こうすることで、それぞれの像の表示タイミングにずれが生じるのを防ぐことができる。

また、照明装置１３によるステージ４の照明効果（色や光の強弱）と、光源装置１４の点灯状態とは、タイムスタンプを用いて同期させるのが好ましい。こうすることで、光源装置１４により照明が行われると観察者５に視認させ、より臨場感のある演出が可能となる。

また、再生環境情報取得部１８により、ステージ４における映像の表示状態を撮影し、再生制御部１０２は、その撮影画像から、所望の演出が行われているか否かを判定し、所望の演出が行われていないと判定した場合には、環境演出手段である各装置を再度、制御するようにしてもよい。

このように、本実施形態に係る空間像演出装置１０は、映像データを再生する再生環境に関する情報である再生環境情報を取得する再生環境情報取得部１８と、再生環境情報取得部１８が取得した再生環境情報に応じて、対象物１を記録した記録映像を編集して映像データを生成する映像データ生成部１０１と、映像データ生成部１０１が生成した映像データに示される映像の空間像を形成する再生制御部１０２とを備える。

そのため、再生環境による影響を加味した空間像を表示することができるので、記録環境と再生環境との相違に起因する視覚的な矛盾が生じるのを防ぎ、より臨場感のある演出が可能となる。

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。

１０ 空間像演出装置
１１ 空間像投影装置
１２ プロジェクタ
１３ 照明装置
１４ 光源装置
１５ 空調・送風装置
１６ スモーク発生装置
１７ スピーカ
１８ 再生環境情報取得部
１００ 制御部
１０１ 映像データ生成部
１０２ 再生制御部

Claims (6)

1. 映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置であって、
   前記映像データを再生する再生環境の演出を行う環境演出手段と、
   前記環境演出手段を制御する制御情報に基づき、前記再生環境に関する情報である再生環境情報を取得する再生環境情報取得手段と、
   前記再生環境情報取得手段が取得した前記再生環境情報に応じて、対象物を記録した記録映像を編集して前記映像データを生成する映像データ生成手段と、
   前記映像データ生成手段が生成した映像データに示される映像の空間像を形成する再生制御手段と、を備えることを特徴とする空間像演出装置。
2. 請求項１記載の空間像演出装置において、
   前記再生環境情報取得手段は、前記再生環境情報として、前記再生環境における光源に関する情報を取得し、
   前記映像データ生成手段は、前記再生環境情報に示される前記再生環境における光源により前記対象物を照明した場合に生じる影響を前記記録映像に与えて前記映像データを生成することを特徴とする空間像演出装置。
3. 請求項２記載の空間像演出装置において、
   前記再生環境情報取得手段は、前記再生環境情報として、前記再生環境における光源からの光の色に関する情報を取得し、
   前記映像データ生成手段は、前記再生環境情報に示される前記再生環境における光源からの光の色に応じて、前記形成される空間像の色が変化するように前記映像データを生成することを特徴とする空間像演出装置。
4. 請求項１から３のいずれか一項に記載の空間像演出装置において、
   前記再生環境に映像を表示する表示手段をさらに備え、
   前記映像データ生成手段は、前記再生環境における光源による照明により生じる影響を表わした照明映像をさらに示す前記映像データを生成し、
   前記映像データ生成手段は、前記映像データに示される照明映像を前記表示手段に表示させることを特徴とする空間像演出装置。
5. 請求項４記載の空間像演出装置において、
   前記照明映像は、前記再生環境における光源により前記空間像の形成位置における前記対象物を照明した場合に生じる影に相当する映像であることを特徴とする空間像演出装置。
6. 映像データに示される映像の空間像を形成することで前記映像データを再生する空間像演出装置の制御方法であって、
   前記映像データを再生する再生環境の演出を行う環境演出手段により、前記再生環境の演出を行うステップと、
   前記環境演出手段の制御情報に基づき、前記再生環境に関する情報である再生環境情報を取得する取得ステップと、
   前記取得した再生環境情報に応じて、対象物を記録した記録映像を編集して前記映像データを生成する生成ステップと、
   前記生成した映像データに示される映像の空間像を形成する再生ステップと、を含む制御方法。

Images