JP2022051978A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】自由視点画像を視聴するユーザが所望のオブジェクトを見失うことを抑制する。【解決手段】軌跡情報生成部は、複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する。本技術は、自由視点画像を視聴する場合に適用することができる。【選択図】図５

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、自由視点画像を視聴するユーザが所望のオブジェクトを見失うことを抑制することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

複数の時刻に撮影されたオブジェクト（被写体）が映るストロボ画像を生成する方法が提案されている（例えば、特許文献１を参照）。ストロボ画像には、複数の時刻のオブジェクトが映るので、オブジェクトの動きや軌跡を、容易に把握することができる。

特開2007-259477号公報

ところで、近年、仮想視点から３次元空間を見たときの見え方が再現された自由視点画像が注目されている。

自由視点画像のコンテンツについては、時間シークを行う操作（時間シーク操作）を行うと、自由視点画像を視聴するユーザが所望のオブジェクトを見失うことが予想される。

本技術は、このような状況に鑑みてなされたものであり、自由視点画像を視聴するユーザが所望のオブジェクトを見失うことを抑制することができるようにするものである。

本技術の画像処理装置、又は、プログラムは、複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する軌跡情報生成部を備える画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。

本技術の画像処理方法は、複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成することを含む画像処理方法である。

本技術の画像処理装置、画像処理方法、及び、プログラムにおいては、複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報が生成される。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、頒布することができる。

2D画像のコンテンツの再生の例を説明する図である。 自由視点画像のコンテンツの時間シークの例を説明する図である。 本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 コンテンツサーバ２２の構成例を示すブロック図である。 再生装置２３の構成例を示すブロック図である。 コンテンツサーバ２２が行う処理の例を説明するフローチャートである。 再生装置２３が行う自由視点データの再生処理の例を説明するフローチャートである。 軌跡情報としてストロボモデルを採用する場合の、軌跡情報を生成するステップＳ３５の処理の詳細を説明するフローチャートである。 不自然な3Dストロボ画像の例を示す図である。 自然な3Dストロボ画像の例を示す図である。 ストロボ区間の視点画像のフレームの例を示す図である。 ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。 仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。 ストロボモデルに配置される3Dモデルに対して行うエフェクト処理を説明する図である。 エフェクト処理の具体例を説明する図である。 軌跡情報として、ストロボモデルを採用する場合の、時間シーク操作が行われたときのストロボモデルの生成の例を説明する図である。 時間シーク操作が行われた場合に、ストロボモデルを生成して3Dストロボ画像を表示する場合の仮想カメラの状態の変化の例を説明する図である。 軌跡情報として、線データを採用する場合の、時間シーク操作が行われたときの線データの生成の例を説明する図である。 軌跡情報としてのストロボモデルに配置された3Dモデルに行うエフェクト処理の例を説明する図である。 再生装置２３が行う自由視点データの再生処理の他の例を説明するフローチャートである。 指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第１の設定例を説明する図である。 指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第２の設定例を説明する図である。 指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第３の設定例を説明する図である。 指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第４の設定例を説明する図である。 指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第５の設定例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜2D画像のコンテンツの再生＞

図１は、2D画像のコンテンツの再生の例を説明する図である。

すなわち、図１は、2D(Dimensional)画像のコンテンツを再生するプレーヤの例を示している。

プレーヤは、2D画像を表示する表示部１１と、時間シークを行うためのGUI(Graphical User Interface)としてのシークバー１２とを有する。時間シークとは、再生位置（時刻）を指定する方法の１つである。

シークバー１２は、再生位置を表すスライダ１３を有し、シークバー１２におけるスライダ１３の位置が、再生位置を表す。シークバー１２において、左端は、コンテンツの先頭を表し、右端は、コンテンツの終わりを表す。例えば、コンテンツが通常再生されている場合、その通常再生の再生位置の移動に従って、スライダ１３は、左から右に移動していく。

ユーザは、時間シーク操作として、シークバー１２（のスライダ１３）の操作を行い、再生位置を指定することができる。すなわち、ユーザが、時間シーク操作としてのシークバー１２の操作を行い、スライダ１３の位置が移動されると、そのスライダ１３の移動後の位置に対応する再生位置（フレーム）の2D画像が再生される（表示部１１に表示される）。

したがって、ユーザは、時間シーク操作としてのシークバー１２の操作を行うことで、シークバー１２の操作により移動するスライダ１３の位置に対応する再生位置の2D画像を見ながら（かつ、音を聞きながら）、所望のシーンを、容易に探し出すことができる。

図１では、サッカーの試合が映る2D画像のコンテンツについて、ユーザが時間シーク操作としてシークバー１２を操作している間、その時のシークバー操作に対応する時刻の画像が表示されていく。例えばそのカメラがある選手を追い続けたものであるならば、ユーザは当然その選手を画像で見続けることができ見失うことはない。

なお、時間シーク操作は、シークバー１２の操作の他、早送り再生や巻き戻し再生（逆再生）を指示する操作、チャプタジャンプを指示する操作等によって行うことができる。

＜自由視点画像の時間シーク＞

図２は、自由視点画像のコンテンツの時間シークの例を説明する図である。

ここで、近年、インターネットを介した画像（動画）の配信が一般的になり、画像を視聴する方法については、TV(Television)受像機や映画館でのスクリーンを用いた方法の他、PC(Personal Computer)のブラウザや、スマートフォン、タブレット等を用いた方法等のように、多様性を増してきている

また、コンテンツとしては、アスペクト比が16:9 や4:3の2D画像（動画）のコンテンツの他、自由視点データのコンテンツが登場している。

自由視点データは、３次元空間の３次元構造を表現するデータであり、自由視点データによれば、所定の視点から３次元空間の被写体であるオブジェクトを見たときに見える画像、すなわち、所定の視点からオブジェクトを見たときの視線方向に垂直な投影面に、自由視点データにより表現される３次元空間内のビューイングボリューム（又はビューボリューム）を投影して得られる2D画像を生成することができる。この2D画像は、視点を自由に設定して生成することができるので、自由視点画像と呼ぶことができる。自由視点画像の生成にあたって必要となる視点（視線（方向）を含む）は、ユーザの実際の視点に関係なく仮想的に設定することができるので、かかる視点を、仮想視点ともいう。

自由視点画像（動画）は、PCのモニタやスマートフォン等といった２次元平面形状のディスプレイで表示することができる。

また、自由視点画像は、ヘッドマウントディスプレイ(HMD)で表示することができる。この場合、ヘッドトラッキング技術により、あたかも３次元空間の中に存在するかのような立体視を実現することができる。

さらに、自由視点画像は、AR(Augmented Reality)グラス等の、透明で向こう側が透けて見えるディスプレイを使ったヘッドアップディスプレイ（HUD）で表示することができる。この場合、ユーザが実際に存在する３次元空間に、他の３次元空間で撮影された人物や物体等のオブジェクトを重畳して表示することができる。

自由視点データは、2D画像と同様に、時間方向の自由度を有する他に、仮想視点、すなわち、自由視点データ（によって表現される3次元空間）を撮影する仮想カメラの撮影位置及び撮影姿勢（撮影方向）の自由度を有する。仮想カメラの撮影位置は、例えば、ワールド座標系としてのxyz座標系の座標等で表すことができ、仮想カメラの撮影姿勢は、ワールド座標系の各軸回りの回転角等で表すことができる。仮想カメラの撮影位置については、x軸、y軸、及び、z軸の方向への移動が可能であり、仮想カメラの撮影姿勢については、x軸、y軸、及び、z軸回りの回転が可能であるから、仮想カメラの撮影位置及び撮影姿勢には、6DoF(Degree of Freedom)の自由度がある。したがって、自由視点データについては、時間方向の１個の自由度と、仮想カメラの撮影位置及び撮影姿勢（仮想視点）の６個の自由度との、合計で７個の自由度がある。

ここで、仮想視点に対する投影面に、自由視点データ（により表現される３次元空間内のビューイングボリューム）を投影することにより生成される自由視点画像としては、あたかも、仮想視点から、仮想的なカメラで、自由視点データの撮影を行ったかのような2D画像を得ることができる。したがって、仮想視点に対する投影面に、自由視点データを投影することは、仮想視点から、仮想的なカメラで、自由視点データを撮影することに相当する、ということができる。すなわち、仮想視点に対する投影面に、自由視点データを投影して、自由視点画像を生成することは、仮想視点に配置された仮想的なカメラで、自由視点データを撮影することと捉えることができる。そこで、本実施の形態では、自由視点画像の生成を、仮想的なカメラでの自由視点データの撮影と捉えて、適宜、説明を行う。また、自由視点データを撮影する仮想的なカメラを、仮想カメラともいう。

仮想カメラの撮影位置及び撮影姿勢は、ユーザが、ジョイスティック、その他の位置及び姿勢をコントロールするコントローラ（デバイス）を操作することにより設定することができる。

また、自由視点データの視聴に、HMDやHUDが用いられる場合、仮想カメラの撮影位置及び撮影姿勢は、HMDやHUDで検出されるユーザの視点及び視線（方向）に対応するように設定することができる。

2D画像のコンテンツについては、時間方向の１個の自由度しかないが、自由視点データのコンテンツについては、時間方向の１個の自由度と、仮想カメラの撮影位置及び撮影姿勢（仮想視点）の６個の自由度との７個の自由度がある。

したがって、自由視点データのコンテンツについて、時間シーク操作を行うと、ユーザは、2D画像のコンテンツの場合よりも、所望のオブジェクトを見失う可能性が高くなる。

具体的には、自由視点データのコンテンツについては、自由視点データにより表現される３次元空間、すなわち、自由視点データを得るのに（複数の）カメラで撮影された３次元空間である撮影空間を仮想カメラで撮影した2D画像が、自由視点画像として表示される。

そして、自由視点データのコンテンツについては、現在の再生位置（時刻）において、ある撮影位置及び撮影姿勢の仮想カメラの撮影範囲に入っているオブジェクトが、他の再生位置でも、仮想カメラの撮影範囲に入るとは限らない。

図２では、現在の再生位置より過去の再生位置に時間シークを行う時間シーク操作が行われている。さらに、図２では、現在の再生位置において仮想カメラの撮影範囲に入っているオブジェクトが、過去の再生位置では、現在の再生位置における仮想カメラの撮影範囲からはずれている。

この場合、現在の再生位置では、撮影空間を仮想カメラで撮影した2D画像には、オブジェクトが映るが、過去の再生位置（時間シーク操作後の再生位置）では、撮影空間を仮想カメラで撮影した2D画像には、オブジェクトが映らない。

このため、ユーザは、過去の再生位置への時間シーク操作を行うと、オブジェクトを見失う。

例えば、自由視点データのコンテンツが、サッカーの試合のコンテンツである場合において、図１で説明したように、ユーザが、ゴールを決めたサッカー選手がどこから走ってきてどのようにパスを受けシュートをしたのかを確認するために、ゴールを決めたシーンが映る再生位置から、過去方向に時間シークを行う時間シーク操作を行ったときには、時間シーク操作後の再生位置において、ゴールを決めたサッカー選手が、ゴールを決めたシーンが映る再生位置における仮想カメラの撮影範囲に入っていないと、ユーザは、ゴールを決めたサッカー選手を見失う。

そこで、本技術では、時間シーク操作等による自由視点データの再生位置の指定に応じて、オブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する。この軌跡情報を仮想カメラで撮影した自由視点画像である軌跡画像を表示することで、自由視点画像を視聴するユーザが所望のオブジェクトを見失うことを抑制することができる。

＜本技術を適用した画像処理システムの一実施の形態＞

図３は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。

図３の画像処理システムは、撮影装置２１、コンテンツサーバ２２、及び、再生装置２３を有する。

撮影装置２１は、少なくとも複数のカメラで構成され、複数の視点から、オブジェクトの撮影を行う。例えば、撮影装置２１を構成する複数のカメラは、オブジェクトを囲むように配置され、各カメラは、そのカメラが配置された位置としての視点から、オブジェクトを撮影する。各カメラにより、そのカメラの位置から撮影された2D画像、すなわち、複数の視点から撮影された2D画像である複数の視点の視点画像（の動画）は、フレーム単位で、撮影装置２１からコンテンツサーバ２２に供給される。

ここで、撮影装置２１には、複数のカメラの他、複数の測距装置を設けることができる。測距装置は、カメラと同一の位置（視点）に配置することもできるし、カメラと異なる位置に配置することもできる。測距装置は、その測距装置が配置された位置（視点）から、オブジェクトまでの距離を測定し、その距離に関する情報であるデプスを画素値とする2D画像であるデプス画像を生成する。デプス画像は、撮影装置２１からコンテンツサーバ２２に供給される。

なお、撮影装置２１に、測距装置が設けられていない場合には、複数の視点の視点画像のうちの2視点の視点画像を用いて、三角測量の原理により、オブジェクトまでの距離を測定し、デプス画像を生成することができる。

コンテンツサーバ２２は、例えば、webサーバやクラウド上のサーバである。コンテンツサーバ２２は、例えば、撮影装置２１から供給される複数の視点の視点画像等を用いて、自由視点データのコンテンツ（動画コンテンツ）を生成する。コンテンツサーバ２２は、再生装置２３からの要求に応じて、自由視点データのコンテンツを、再生装置２３に送信する。

再生装置２３は、例えば、PC(Personal Computer)や、TV（テレビジョン受像機）、スマートフォン等の携帯端末等のクライアントである。再生装置２３は、コンテンツサーバ２２に対して、自由視点データのコンテンツを要求して取得する。再生装置２３は、コンテンツサーバ２２から取得した自由視点データのコンテンツを再生する。すなわち、再生装置２３は、仮想カメラで自由視点データを撮影した自由視点画像としての2D画像を生成して表示する。

また、再生装置２３は、（再生装置２３の）ユーザの時間シーク操作等による自由視点データの再生位置の指定に応じて、視点画像に映る所定オブジェクトの撮影空間（３次元空間）内の軌跡を表す軌跡情報を生成する。さらに、再生装置２３は、軌跡情報を仮想カメラで撮影した軌跡画像としての2D画像（自由視点画像）を生成して表示する。

ここで、軌跡情報としては、例えば、ストロボモデルを採用することができる。ストロボモデルとは、撮影装置２１で撮影された３次元空間としての撮影空間（の3Dモデル）に、視点画像の複数のフレーム（時刻）の同一のオブジェクト（被写体）の3Dモデルが配置されたモデルであり、自由視点データを用いて生成することができる。

なお、コンテンツサーバ２２及び再生装置２３は、図３に示したように、それぞれを別個の装置として構成することもできるし、全体を1個の装置（例えば、PC(Personal Computer)等）として構成することもできる。さらに、コンテンツサーバ２２は、全体を複数の装置で構成することができる。再生装置２３も同様である。

＜コンテンツサーバ２２の構成例＞

図４は、図３のコンテンツサーバ２２の構成例を示すブロック図である。

コンテンツサーバ２２は、自由視点データ生成部３１、記憶部３２、及び、通信部３３を有する。

自由視点データ生成部３１は、撮影装置２１からの複数の視点の視点画像とデプス画像とから、自由視点データを、フレーム単位で生成することにより、自由視点データのコンテンツを生成する。

ここでは、自由視点データとは、広く、自由視点画像を生成することができる3D画像のデータ（3Dデータ）を意味する。自由視点データとしては、例えば、撮影装置２１からの複数の視点の視点画像とデプス画像とのセットを、そのまま採用することができる。また、自由視点データとしては、その他、例えば、３次元の形状の情報である3D形状モデルと色の情報とを有する3Dデータや、複数の視点の2D画像とデプス画像とのセットを採用することができる。

自由視点データとして、撮影装置２１からの複数の視点の視点画像とデプス画像とのセットを採用する場合、自由視点データ生成部３１は、撮影装置２１からの複数の視点の視点画像とデプス画像とのセットを、そのまま、自由視点データとする。なお、撮影装置２１からのデプス画像の視点が、撮影装置２１からの視点画像の視点と異なる場合、自由視点データ生成部３１は、撮影装置２１からの複数の視点のデプス画像を用いて、撮影装置２１からの視点画像の視点のデプス画像を生成することができる。

自由視点データとして、3D形状モデルと色の情報とを有する3Dデータを採用する場合、自由視点データ生成部３１は、撮影装置２１からの複数の視点の視点画像を用いて、Visual Hull等によりモデリングを行って、視点画像に映るオブジェクトの3D形状モデル等を生成し、テクスチャとなる複数の視点の視点画像とともに、自由視点データとする。

自由視点データとして、複数の視点の2D画像とデプス画像とのセットを採用する場合、自由視点データ生成部３１は、例えば、上述したように、3D形状モデルと色の情報とを有する3Dデータを生成し、その3Dデータを、複数の視点（撮影装置２１を構成するカメラと同一の視点でも良いし、異なる視点でも良い）から見た2D画像とデプス画像とのセットを、自由視点データとして生成する。

自由視点データ生成部３１は、以上のようにして、自由視点データのコンテンツを生成し、記憶部３２に供給する。

なお、自由視点データとしては、3D形状モデルを有する3Dデータよりも、複数の視点の2D画像とデプス画像とのセットを採用することにより、自由視点データのデータ量を少なくすることができる。自由視点データとして、複数の視点の2D画像とデプス画像とのセットを生成して伝送する技術については、本出願人が先に提案した国際公開2017/082076号に記載されている。自由視点データとしての複数の視点の2D画像とデプス画像とのセットは、例えば、MVCD（Multiview and depth video coding）や、AVC(Advanced Video Coding)、HEVC(High Efficiency Video Coding)等の2D画像を対象とする符号化方式により符号化することができる。

ここで、自由視点データ（の表現形式）には、View Independentと呼ばれる3Dモデル（以下、VIモデルともいう）と、View Dependentと呼ばれる3Dモデル（以下、VDモデルともいう）とがある。

VDモデルは、例えば、3D形状モデル等の３次元の形状に関する情報と、テクスチャとなる画像の情報とが別になっている3Dデータである。VDモデルでは、3D形状モデルに、テクスチャとなる画像がマッピング（テクスチャマッピング）されることにより、色が付される。VDモデルによれば、（仮想）視点によって異なるオブジェクトの表面の反射の具合等を表現することができる。VDモデルは、見えが視点に依存するので、View Dependentと呼ばれる。

VIモデルは、例えば、３次元の形状に関する情報の構成要素としてのポリゴンや点が、色の情報を有している3Dデータ等である。VIモデルとしては、例えば、色付きのポイントクラウドや、3D形状モデルと、3D形状モデルの色の情報としてのUVマップとのセットがある。VIモデルによれば、どの（仮想）視点から見ても、ポリゴンや点が有する色が観測される。VIモデルは、見えが視点に依存しないので、View Independentと呼ばれる。

記憶部３２は、自由視点データ生成部３１からの自由視点データのコンテンツを記憶する。

通信部３３は、再生装置２３との間で通信を行う。すなわち、通信部３３は、例えば、再生装置２３からの要求に応じて、記憶部３２に記憶された自由視点データのコンテンツを、再生装置２３に送信する。

なお、自由視点データ生成部３１は、再生装置２３に設けることができる。

＜再生装置２３の構成例＞

図５は、図３の再生装置２３の構成例を示すブロック図である。

再生装置２３は、通信部４１、記憶部４２、自由視点画像生成部４３、表示部４４、仮想カメラ設定部４５、操作部４６、及び、軌跡情報生成部４７を有する。

通信部４１は、コンテンツサーバ２２との間で通信を行う。すなわち、通信部４１は、例えば、操作部４６の操作に応じて、自由視点データのコンテンツの要求を送信する。また、通信部４１は、その要求に応じて、コンテンツサーバ２２から送信されてくる自由視点データのコンテンツを受信し、記憶部４２に供給する。

記憶部４２は、通信部４１からの自由視点データのコンテンツを記憶する。

自由視点画像生成部４３は、記憶部４２に記憶された自由視点データ（によって表現される３次元空間）を、仮想カメラ設定部４５から供給されるカメラ情報が表す（状態の）仮想カメラで撮影した2D画像（仮想カメラで撮影することにより得られる2D画像）（左目用の2D画像及び右目用の2D画像のセットを含む）等を、自由視点画像（のデータ）として生成（レンダリング）し、表示部４４に供給する。

また、自由視点画像生成部４３は、軌跡情報生成部４７から供給される軌跡情報としての自由視点データを、仮想カメラ設定部４５から供給されるカメラ情報が表す仮想カメラで撮影した2D画像である軌跡画像としての自由視点画像を生成し、表示部４４に供給する。

表示部４４は、自由視点画像生成部４３からの自由視点画像等を表示する。

表示部４４は、例えば、2DのHMD/HUDや、2Dのモニタ、3DのHMD/HUD、3Dのモニタ等で構成することができる。3DのHMD/HUDやモニタは、例えば、左目用の2D画像及び右目用の2D画像を表示することにより立体視を実現する表示装置である。

仮想カメラ設定部４５は、自由視点データ（記憶部４２に記憶された自由視点データ、及び、軌跡情報生成部４７で生成された軌跡情報としての自由視点データ）を撮影するときの仮想カメラの状態を設定し、その設定内容を表すカメラ情報を、自由視点画像生成部４３に供給する。

例えば、仮想カメラ設定部４５は、ユーザの操作に応じて、仮想カメラの撮影位置、撮影姿勢、画角（焦点距離）、ズーム倍率等の仮想カメラの状態を設定する。

ここで、表示部４４が、例えば、HMDやHUDである場合には、仮想カメラ設定部４５は、HMDやHUDで検出されるユーザの視点及び視線に応じて、そのユーザの視点及び視線に対応するように、仮想カメラの撮影位置及び撮影姿勢を設定することができる。

また、再生装置２３が、例えば、スマートフォンやタブレット等の携帯端末である場合には、携帯端末の位置及び姿勢に応じて、その位置及び姿勢に対応するように、仮想カメラの撮影位置及び撮影姿勢を設定することができる。

操作部４６は、ユーザによって操作され、ユーザの操作に応じた操作情報を、必要なブロックに供給する。なお、操作部４６は、例えば、タッチパネル等によって、表示部４４と一体的に構成することができる。また、操作部４６は、表示部４４とは別個のマウスやコントローラ等として構成することもできる。ユーザの操作部４６の操作としては、例えば、仮想カメラを設定する操作や、時間シーク操作等を行うことができる。

軌跡情報生成部４７は、ユーザによる自由視点データの再生位置の指定、すなわち、例えば、ユーザによる時間シーク操作に応じて、視点画像（ひいては自由視点画像）に映る所定のオブジェクトの軌跡を表す軌跡情報を生成する。軌跡情報としては、オブジェクトの軌跡を表す曲線（直線を含む）の自由視点データ（以下、線データともいう）や、ストロボモデルを採用することができる。

軌跡情報としての線データとしては、例えば、ユーザによる時間シーク操作によって指定される再生位置（以下、指定再生位置ともいう）を含む区間、例えば、指定再生位置を基準として、所定の第１の時間Δt1だけ過去の時刻t1から、所定の第２の時間Δt2だけ未来の時刻t2までの区間の（フレームに映る）所定のオブジェクトの軌跡を表す曲線の自由視点データを採用することができる。

軌跡情報としてのストロボモデルとしては、例えば、指定再生位置を含む区間、例えば、指定再生位置を基準とする、上述のような時刻t1から時刻t2までの区間の所定のオブジェクトの3Dモデルが配置されたストロボモデルを採用することができる。

軌跡情報生成部４７は、ユーザによる時間シーク操作に応じて、自由視点データとしての軌跡情報を生成し、自由視点画像生成部４３に供給する。

自由視点画像生成部４３は、軌跡情報生成部４７から軌跡情報が供給されると、その軌跡情報としての線データやストロボモデルを、仮想カメラ設定部４５からのカメラ情報が表す仮想カメラで撮影した自由視点画像としての軌跡画像を生成する。そして、自由視点画像生成部４３は、記憶部３２に記憶された自由視点データから生成された自由視点画像に代えて、軌跡情報から生成された軌跡画像を、表示部４４に供給するか、又は、記憶部３２に記憶された自由視点データから生成された自由視点画像に、軌跡情報から生成された軌跡画像を重畳して、表示部４４に供給する。これにより、表示部４４では、ユーザにより時間シーク操作が行われている間、軌跡情報から生成された軌跡画像が表示される。

なお、軌跡情報として、ストロボモデルを採用する場合には、自由視点画像生成部４３では、軌跡情報としてのストロボモデルを、仮想カメラ設定部４５からのカメラ情報が表す仮想カメラで撮影した2D画像である3Dストロボ画像を、軌跡画像として生成し、表示部４４に供給する。

ここで、ストロボ画像とは、複数の時刻に撮影された１つ以上の同一のオブジェクト（像）が映る画像である。2D画像に映るオブジェクトが映るストロボ画像を、2Dストロボ画像ともいい、オブジェクトの3Dモデルが映る2D画像、すなわち、ストロボモデルを仮想視点から見た2D画像（仮想カメラで撮影した2D画像）を、3Dストロボ画像ともいう。軌跡情報として、ストロボモデルを採用する場合、自由視点画像生成部４３では、3Dストロボ画像が生成される。

軌跡情報として、ストロボモデルを採用する場合、軌跡情報生成部４７は、自由視点データ生成部３１からの自由視点データを用い、視点画像に映る３次元空間である撮影空間（の3Dモデル）に、視点画像の複数のフレーム（異なる時刻）の同一のオブジェクトの自由視点データである3Dモデルが配置されたストロボモデルを生成する。

すなわち、軌跡情報生成部４７は、ストロボモデルを生成する対象のフレームの区間であるストロボ区間を設定し、そのストロボ区間のフレームから、ストロボモデルの生成に用いるフレーム（以下、生成フレームともいう）を選択する。また、軌跡情報生成部４７は、生成フレームに映るオブジェクトのうちの１以上のオブジェクトを、軌跡情報を生成する対象のオブジェクト（以下、対象オブジェクトともいう）に設定する。そして、軌跡情報生成部４７は、生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成する。

なお、軌跡情報生成部４７では、例えば、生成フレームに映る、動いているオブジェクトのすべてを、対象オブジェクトに設定することができる。

また、軌跡情報生成部４７では、例えば、生成フレームに映るオブジェクトのうちのユーザによって指定されたオブジェクトを、対象オブジェクトに設定することができる。ユーザは、操作部４６の操作等によって、対象オブジェクト（となるオブジェクト）を指定する他、視線によって、対象オブジェクトを指定することができる。

ここで、再生装置２３は、外部との通信を行う機能、画像を表示する機能、及び、ユーザの操作を受け付ける機能を、少なくとも有していればよい。図５において、その他の機能、例えば、自由視点画像生成部４３や、仮想カメラ設定部４５、及び、軌跡情報生成部４７によって実現される機能は、例えば、コンテンツサーバ２２や、クラウド上のサーバに設けることができる。

＜コンテンツサーバ２２の処理＞

図６は、図４のコンテンツサーバ２２が行う処理の例を説明するフローチャートである。

ステップＳ１１において、コンテンツサーバ２２は、撮影装置２１で撮影された複数の視点の視点画像（及びデプス画像）をフレーム単位で得る。コンテンツサーバ２２は、複数の視点の視点画像を、自由視点データ生成部３１に供給し、処理は、ステップＳ１１からステップＳ１２に進む。なお、撮影装置２１で撮影された複数の視点の視点画像は、再生装置２３を経て、再生装置２３からコンテンツサーバ２２に送信することができる。

ステップＳ１２では、自由視点データ生成部３１は、複数の視点の視点画像等を用いて、自由視点データを、フレーム単位で生成し、記憶部３２に供給する。記憶部３２は、自由視点データ生成部３１からのフレーム単位の自由視点データで構成されるコンテンツ（自由視点データのコンテンツ）を記憶する。その後、処理は、ステップＳ１２からステップＳ１３に進む。

ステップＳ１３では、通信部３３は、例えば、再生装置２３からの要求に応じて、記憶部３２に記憶された自由視点データのコンテンツを、再生装置２３に送信し、処理は終了する。

＜再生装置２３の処理＞

図７は、図５の再生装置２３が行う自由視点データの再生処理の例を説明するフローチャートである。

ステップＳ３１において、通信部４１は、例えば、ユーザの操作に応じて、自由視点データのコンテンツを、コンテンツサーバ２２に要求し、処理は、ステップＳ３２に進む。

ステップＳ３２では、通信部４１は、コンテンツサーバ２２から、自由視点データのコンテンツが送信されてくるのを待って、その自由視点データのコンテンツを受信する。通信部４１は、コンテンツサーバ２２からの自由視点データのコンテンツを、記憶部４２に供給して記憶させ、処理は、ステップＳ３２からステップＳ３３に進む。

ステップＳ３３では、再生装置２３は、記憶部４２に記憶された自由視点データのコンテンツを再生し、処理は、ステップＳ３４に進む。

すなわち、再生装置２３では、仮想カメラ設定部４５が、仮想カメラ（の状態）を設定し、自由視点画像生成部４３は、仮想カメラ設定部４５で設定された仮想カメラで自由視点データを撮影した自由視点画像をレンダリングすることにより生成する。そして、自由視点画像生成部４３は、自由視点画像を、表示部４４に供給して表示させる。

ステップＳ３４では、軌跡情報生成部４７は、ユーザによる時間シーク操作が開始されたかどうかを判定する。

ステップＳ３４において、時間シーク操作が開始されていないと判定された場合、処理は、ステップＳ３３に戻り、記憶部４２に記憶された自由視点データのコンテンツの再生が続行される。

また、ステップＳ３４において、時間シーク操作が開始されたと判定された場合、処理は、ステップＳ３５に進む。

ステップＳ３５では、軌跡情報生成部４７は、時間シーク操作により指定された指定再生位置を基準とする軌跡情報を生成し、自由視点画像生成部４３に供給して、処理は、ステップＳ３６に進む。

すなわち、軌跡情報生成部４７は、指定再生位置を基準として、所定の第１の時間Δt1だけ過去の時刻t1から、所定の第２の時間Δt2だけ未来の時刻t2までの区間の所定のオブジェクトの軌跡を表す軌跡情報（自由視点データ）を生成する。

ステップＳ３６では、自由視点画像生成部４３は、軌跡情報生成部４７からの軌跡情報を、仮想カメラ設定部４５で設定された仮想カメラで撮影した軌跡画像を生成し、表示部４４に供給して表示させ、処理は、ステップＳ３７に進む。

ステップＳ３７では、軌跡情報生成部４７は、ユーザによる時間シーク操作が終了されたかどうかを判定する。

ステップＳ３７において、時間シーク操作が終了されていないと判定された場合、処理は、ステップＳ３５に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３７において、時間シーク操作が終了されたと判定された場合、処理は、ステップＳ３３に戻り、時間シーク操作が終了されたときに指定された指定再生位置から、記憶部４２に記憶された自由視点データのコンテンツが再生される。

なお、時間シーク操作が行われている間、すなわち、ステップＳ３５ないしＳ３７の処理が行われている間、記憶部４２に記憶された自由視点データのコンテンツについては、時間シーク操作により指定されている指定再生位置の自由視点データを再生することができる。

図８は、軌跡情報としてストロボモデルを採用する場合の、軌跡情報を生成するステップＳ３５の処理の詳細を説明するフローチャートである。

ステップＳ５１において、軌跡情報生成部４７は、ストロボモデルを生成する対象のフレームの区間であるストロボ区間を設定し、処理は、ステップＳ５２に進む。

例えば、軌跡情報生成部４７は、時間シーク操作により指定された指定再生位置を基準として、所定の第１の時間Δt1だけ過去の時刻t1から、所定の第２の時間Δt2だけ未来の時刻t2までの区間を、ストロボ区間に設定する。第１の時間Δt1と第２の時間Δt2とは、同一の時間であってもよいし、異なる時間であってもよい。

ステップＳ５２では、軌跡情報生成部４７は、視点画像に映るオブジェクトから、ストロボモデルに3Dモデルを配置する対象の対象オブジェクトを設定し、処理は、ステップＳ５３に進む。

例えば、ストロボ区間のフレームに映るオブジェクトのすべてや、ユーザの操作や視線に応じて指定されるオブジェクト等が、対象オブジェクトに設定される。

ステップＳ５３では、軌跡情報生成部４７は、ストロボ区間のフレームから、ストロボモデルの生成に用いる生成フレームを選択し、処理は、ステップＳ５４に進む。

ここで、ストロボ区間の全フレームを生成フレームとして、ストロボモデルの生成に用いると、ストロボモデルには、ストロボ区間のフレーム数と同一の数の、同一のオブジェクトの3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることがある。

そこで、軌跡情報生成部４７は、ストロボ区間のフレームから、幾つかのフレームを生成フレームとして選択し、その生成フレーム（に映るオブジェクトの3Dモデル）を用いて、ストロボモデルを生成することができる。

軌跡情報生成部４７は、例えば、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択することができる。すなわち、軌跡情報生成部４７は、ストロボ区間のフレームに映る対象オブジェクトの3Dモデルを、３次元空間に配置した状態での、3Dモデルどうしの重なり具合を表す干渉度を算出する。干渉度は、例えば、３次元空間において、任意の２フレームの3Dモデルが完全に重なる場合を100％とするとともに、まったく重ならない場合を0％として算出される。そして、軌跡情報生成部４７は、干渉度が所定の閾値以下のフレームを、生成フレームとして選択する。以上のように、ストロボ区間のフレームから、3Dモデルの干渉度が閾値以下となるフレームを、生成フレームとして選択し、その生成フレームに映る対象オブジェクトの3Dモデルが配置されたストロボモデルを生成することにより、ストロボモデルにおいて、3Dモデルが重なって配置され、3Dストロボ画像が見にくい画像となることを抑制することができる。

なお、生成フレームの選択では、その他、例えば、単純に、ストロボ区間のフレームを、所定のフレーム数ごとに、生成フレームとして選択することができる。また、生成フレームの選択では、ストロボ区間のフレームすべてを、生成フレームとして選択することができる。

ステップＳ５４では、軌跡情報生成部４７は、記憶部４２に記憶された自由視点データを用い、ストロボ区間のフレームから選択された複数の生成フレームに映る対象オブジェクトの3Dモデルが、その対象オブジェクトが撮影されたときの撮影空間としての背景（の3Dモデル）に配置されたストロボモデルを生成する。そして、軌跡情報としてのストロボモデルの生成の処理は終了する。

＜3Dストロボ画像の生成＞

図９は、不自然な3Dストロボ画像の例を示す図である。

図９は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。

図９では、５フレームの生成フレームに映るボールの3Dモデルが、時間的に後の3Dモデルを優先するように配置（レンダリング）されている。そのため、時間的に後の（ボールの）3Dモデルが、奥側に位置するのにもかかわらず、時間的に前の手前側の3Dモデルを隠すように配置されている。その結果、図９の3Dストロボ画像は、不自然な画像になっている。

図１０は、自然な3Dストロボ画像の例を示す図である。

図１０は、手前側から奥側にオブジェクトとしてのボールが転がっている様子を撮影した視点画像のフレームのうちの５フレームを生成フレームとして用いて生成されたストロボモデルから生成された3Dストロボ画像の例を示している。

図１０では、５フレームの生成フレームに映るボールの3Dモデルが、手前側の3Dモデルを優先するように配置されている。そのため、手前側の3Dモデルが奥側の3Dモデルを隠すように、すなわち、手前側の3Dモデルが優先的に映るように配置されている。その結果、自由視点画像は、自然な画像になっている。

自由視点画像生成部４３は、ストロボモデルに配置された各オブジェクトの3Dモデルのデプス（奥行）を用いて、以上のような、手前側のオブジェクトの3Dモデルが優先的に映る3Dストロボ画像を生成する（仮想カメラにより撮影する）。

図１１は、ストロボ区間の視点画像のフレームの例を示す図である。

図１１では、時刻t1ないしt9の９フレームが、ストロボ区間の視点画像のフレームになっている。時刻t1ないしt9のフレームには、オブジェクトとしてのボールが左から右に転がっていく様子が映っている。図１１では、図が煩雑になるのを避けるため、ある1視点の視点画像のフレームを図示してある。

図１２は、ストロボ区間としての時刻t1ないしt9のフレームを用いたストロボモデルの生成の例を示す図である。

図１２では、ストロボ区間としての時刻t1ないしt9のフレームのうちの、時刻t1，t3，t5，t7、及び、t9のフレームが生成フレームに選択され、複数の視点の視点画像の生成フレームとしての時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが配置されたストロボモデルが生成される。

図１３は、仮想カメラによるストロボモデルの撮影により生成される3Dストロボ画像の表示の例を示す図である。

3Dストロボ画像としては、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレームを生成して表示することができる。また、3Dストロボ画像としては、図１２のストロボモデルから、時刻t1のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1及びt3のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1，t3、及び、t5のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、時刻t1，t3，t5、及び、t7のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレーム、並びに、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが映るフレームを生成し、順次表示することができる。

図１３の3Dストロボ画像では、ストロボモデルを撮影する仮想カメラの撮影位置等が変更されていないが、仮想カメラの撮影位置等は、変更することができる。例えば、時刻t1，t3，t5，t7、及び、t9のフレームに映るオブジェクトとしてのボールの3Dモデルが配置されたストロボモデルを、撮影位置を変更しながら、仮想カメラで撮影することができる。撮影位置が変更される場合には、ストロボモデルを見る視点が変更され、カメラアングルが変化する3Dストロボ画像が表示される。

＜エフェクト処理＞

図１４は、ストロボモデルに配置される3Dモデルに対して行うエフェクト処理を説明する図である。

軌跡情報生成部４７は、ストロボモデルに配置される3Dモデルにエフェクト処理を行うことができる。エフェクト処理は、ストロボモデルに配置される3Dモデルのうちの、最新又は最古の時刻の3Dモデルや、ユーザの操作に応じて指定された3Dモデル等を、エフェクト処理を行う基準の基準3Dモデルとして、基準3Dモデルや、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルに行うことができる。

なお、ここでは、説明を分かりやすくするために、ストロボモデルを生成し、その後、ストロボモデルに配置された3Dモデルにエフェクト処理を行うことする。但し、ストロボモデルの生成と、そのストロボモデルに配置される3Dモデルに対するエフェクト処理とは、並列的に、又は、適宜順番を前後して行うことができる。例えば、3Dモデルに対するエフェクト処理を行った後に、そのエフェクト処理後の3Dモデルが配置されたストロボモデルを生成することができる。

図１４は、ストロボモデルにおいて、エフェクト処理の対象となる3Dモデルを説明する図である。

エフェクト処理は、ストロボモデルにおいて、ストロボ区間のフレームから選択された複数の時刻としての複数の生成フレームの3Dモデルのうちの、基準3Dモデルや、基準3Dモデルより過去及び未来のうちの一方又は両方の3Dモデルに行うことができる。

エフェクト処理を行う対象の3Dモデルである対象モデルは、基準3Dモデルに対する時間方向（過去方向及び未来方向）を表すエフェクト方向と、基準3Dモデルからの離れ具合を表すエフェクト距離とで特定される。

エフェクト方向としては、過去方向past、未来方向future、又は、過去方向past及び未来方向futureの両方を設定することができる。

エフェクト方向として、過去方向pastが設定された場合、基準3Dモデルから、過去方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、未来方向futureが設定された場合、基準3Dモデルから、未来方向の3Dモデルに、エフェクト処理が行われる。エフェクト方向として、過去方向past及び未来方向futureが設定された場合、基準3Dモデルから、過去方向の3Dモデルと未来方向の3Dモデルとに、エフェクト処理が行われる。

エフェクト距離は、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定することができる。

モデル数numberによれば、ストロボモデルに配置された3Dモデル、すなわち、ストロボモデルの生成に用いられた生成フレームに映る（オブジェクトの）3Dモデルのうちの、基準3Dモデルから、モデル数number以上離れた3Dモデルを、対象モデルとして指定することができる。

距離distanceによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、距離distance以上離れた3Dモデルを、対象モデルとして指定することができる。

時間timeによれば、ストロボモデルに配置された3Dモデルのうちの、基準3Dモデルから、時間time以上離れた3Dモデルを、対象モデルとして指定することができる。

エフェクト処理は、ストロボモデルにおいて、基準3Dモデルから、モデル数number、距離distance、又は、時間time以上だけ、過去方向、未来方向、又は、過去と未来との両方向に離れた3Dモデルを対象モデルとして行うことができる。

＜エフェクト処理の具体例＞

図１５は、エフェクト処理の具体例を説明する図である。

図１５では、エフェクト処理として、エフェクトモード0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14で表されるエフェクト処理がある。エフェクトモード1ないし14については、図１４で説明したエフェクト方向及びエフェクト距離を設定することができる。

なお、エフェクト方向が設定されていない場合、エフェクト方向としては、デフォルトで、例えば、過去方向pastが設定されることとして、エフェクト処理を行うことができる。

エフェクト距離は、図１４で説明したように、基準3Dモデルからの3Dモデルのモデル数number、距離distance、又は、時間timeで指定される。例えば、エフェクト方向が過去方向pastに設定され、エフェクト距離が、モデル数number=1に設定されている場合、基準3Dモデルから、モデル数number=1以上だけ、過去方向に離れた3Dモデルを対象モデルとして、エフェクトモードが表すエフェクト処理が行われる。

エフェクトモード0は、エフェクト処理を行わないこと表す。

エフェクトモード1は、3Dモデルを透明にするエフェクト処理を表す。エフェクトモード1のエフェクト処理では、対象モデルを、すべて同一の透明度の透明にすることもできるし、徐々に透明にすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデル（対象モデル）ほど、透明度の高い透明にすることもできる。3Dモデルを、どのように透明にするかは、例えば、エフェクトモード1に付随するパラメータを定義し、そのパラメータによって指定することができる。なお、透明度を100％とする場合には、対象モデルは完全に透明になり、この場合、エフェクトモード1のエフェクト処理の結果は、実質的に、後述するエフェクトモード4と同様になる。

エフェクトモード2は、3Dモデルを、徐々に消滅させるエフェクト処理を表す。

エフェクトモード3は、3Dモデルのテクスチャ数（テクスチャとして使用する2D画像の数）を減らすエフェクト処理を表す。エフェクトモード3のエフェクト処理では、対象モデルのテクスチャ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、テクスチャ数を減らすこともできる。3Dモデルのテクスチャ数をどのように減らすかは、例えば、エフェクトモード3に付随するパラメータを定義し、そのパラメータによって指定することができる。

なお、エフェクトモード3のエフェクト処理については、テクスチャマッピングが行われる3Dモデル、すなわち、VDモデルが対象となり、テクスチャマッピングが行われないVIモデルは対象とならない。

エフェクトモード4は、3Dモデルを消去するエフェクト処理を表す。

エフェクトモード5は、3Dモデルの輝度及び彩度の少なくとも一方を小さくするエフェクト処理を表す。エフェクトモード5のエフェクト処理では、対象モデルの輝度及び彩度を、すべて同一の割合だけ小さくすることもできるし、徐々に小さくすること、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、輝度及び彩度を小さくする割合をより大きくすることもできる。3Dモデルの輝度及び彩度をどのように小さくするかや、輝度及び彩度のいずれを小さくするかは、例えば、エフェクトモード5に付随するパラメータを定義し、そのパラメータによって指定することができる。

エフェクトモード6は、ストロボモデルに配置される3Dモデルの数を制限するエフェクト処理を表す。エフェクトモード6のエフェクト処理では、ストロボモデルに配置する3Dモデルが、生成フレームの3Dモデルのうちの、対象モデル以外の3Dモデルだけに制限される。

エフェクトモード7は、3Dモデルをローポリゴンにするエフェクト処理、すなわち、3Dモデルのメッシュ数（ポリゴン数）を減らすエフェクト処理を表す。エフェクトモード7のエフェクト処理では、対象モデルのメッシュ数を、すべて同一の数に減らすこともできるし、徐々に減らすこと、すなわち、基準3Dモデルから時間的又は距離的に離れた3Dモデルほど、メッシュ数を減らすこともできる。3Dモデルのメッシュ数をどのように減らすかは、例えば、エフェクトモード7に付随するパラメータを定義し、そのパラメータによって指定することができる。

なお、エフェクトモード7のエフェクト処理については、ポリゴンで構成される3Dモデルが対象となり、ポリゴンで構成されない3Dモデル、すなわち、例えば、ワイヤーフレームは対象とならない。

エフェクトモード8及び9は、3Dモデルの表現形式を変更するエフェクト処理を表す。

すなわち、エフェクトモード8は、ポリゴンで構成される3Dモデルを、ワイヤーフレームに変更するエフェクト処理を表す。

エフェクトモード9は、3Dモデルの表現形式をView DependentからView Independentに変更するエフェクト処理、すなわち、VDモデルをVIモデル（例えば、ポイントクラウド）に変更するエフェクト処理を表す。

エフェクトモード10は、3Dモデルを消去し、3Dモデルがあった形跡を残すエフェクト処理を表す。

エフェクトモード11は、3Dモデルのテクスチャ（テクスチャマテリアル）を変更するエフェクト処理を表す。3Dモデルのテクスチャを、どのようなテクスチャに変更するかは、例えば、エフェクトモード11に付随するパラメータを定義し、そのパラメータによって指定することができる。

エフェクトモード12は、3Dモデルの（形状）をぼかすエフェクト処理を表す。3Dモデルぼかす程度は、例えば、エフェクトモード12に付随するパラメータを定義し、そのパラメータによって指定することができる。

エフェクトモード13は、3Dモデルの色を変更するエフェクト処理を表す。3Dモデルの色を、どのような色に変更するかは、例えば、エフェクトモード13に付随するパラメータを定義し、そのパラメータによって指定することができる。

エフェクトモード14は、3Dモデルのサイズを変更するエフェクト処理を表す。3Dモデルのサイズを変更する程度は、例えば、エフェクトモード14に付随するパラメータを定義し、そのパラメータによって指定することができる。

エフェクトモード1ないし14については、エフェクト方向及びエフェクト距離を設定することができるが、必要に応じて、デフォルトのエフェクト方向及びエフェクト距離を定義しておくことができる。

例えば、エフェクトモード1ないし14のデフォルトのエフェクト方向としては、過去方向pastを定義しておくことができる。

また、例えば、エフェクトモード1のデフォルトのエフェクト距離としては、モデル数number=1を定義しておくことができる。

この場合、エフェクトモード1のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に１モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の次の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード1のエフェクト処理が行われる。

さらに、例えば、エフェクトモード4のデフォルトのエフェクト距離としては、距離distance=5[m]を定義しておくことができる。

この場合、エフェクトモード4のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に5m以上離れた3Dモデルを対象モデルとして、エフェクトモード4のエフェクト処理が行われる。

また、例えば、エフェクトモード5のデフォルトのエフェクト距離としては、時間time=10[sec]を定義しておくことができる。

この場合、エフェクトモード5のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に10秒以上離れた3Dモデルを対象モデルとして、エフェクトモード5のエフェクト処理が行われる。

さらに、例えば、エフェクトモード7のデフォルトのエフェクト距離としては、モデル数number=3を定義しておくことができる。

この場合、エフェクトモード7のエフェクト方向及びエフェクト距離が設定されていなければ、基準3Dモデルから過去方向に３モデル以上離れた3Dモデル、すなわち、基準3Dモデルの過去方向の３番目の3Dモデル以前の3Dモデルを対象モデルとして、エフェクトモード7のエフェクト処理が行われる。

なお、エフェクト処理については、複数のエフェクトモードを設定することができる。例えば、エフェクト処理について、エフェクトモード1及び3が設定された場合、3Dモデルを透明にし、かつ、テクスチャ数を減らすエフェクト処理が行われる。

＜軌跡情報＞

図１６は、軌跡情報として、ストロボモデルを採用する場合の、時間シーク操作が行われたときのストロボモデルの生成の例を説明する図である。

軌跡情報生成部４７では、時間シーク操作に応じ、指定再生位置を基準とする区間（のフレーム）に映る対象オブジェクトの3Dモデルが配置されたストロボモデルが、軌跡情報として生成される。

図１６では、指定再生位置（のフレーム）に映る対象オブジェクトの3Dモデル、指定再生位置より未来の１フレームに映る対象オブジェクトの3Dモデル、及び、指定再生位置より過去の２フレームに映る対象オブジェクトの3Dモデルの合計で、4個の時刻（フレーム）に映る対象オブジェクトの3Dモデルが配置されたストロボモデルが生成されている。

ユーザが、例えば、操作部４６により実現されるシークバー１２を操作する時間シーク操作を行うと、その時間シーク操作によって指定される指定再生位置の変化に伴い、ストロボモデルに配置される3Dモデルのフレームの区間（ストロボ区間）も変化する。

図１７は、時間シーク操作が行われた場合に、ストロボモデルを生成して3Dストロボ画像を表示する場合の仮想カメラの状態の変化の例を説明する図である。

再生装置２３では、時間シーク操作に応じ、指定再生位置を基準とする区間（のフレーム）に映る対象オブジェクトの3Dモデルが配置されたストロボモデルを仮想カメラで撮影した3Dストロボ画像が表示される。

ユーザは、3Dストロボ画像を見ることにより、指定再生位置から未来方向や過去方向への時刻での、対象オブジェクトの移動先を、容易に推測することができる。したがって、ユーザは、対象オブジェクトに移動先の推測結果に応じて、対象オブジェクトの移動先が見えるように、すなわち、対象オブジェクトが仮想カメラの撮影範囲に入るように、仮想視点としての仮想カメラの状態を変化させることができる。その結果、時間シーク操作中に、対象オブジェクトを見失うことを抑制することができる。

図１８は、軌跡情報として、線データを採用する場合の、時間シーク操作が行われたときの線データの生成の例を説明する図である。

再生装置２３では、時間シーク操作に応じ、指定再生位置を基準とする区間に映る対象オブジェクトの軌跡を表す線データが生成され、その線データを仮想カメラで撮影した線画像が表示される。ユーザは、線画像を見ることにより、指定再生位置から未来方向や過去方向への時刻での、対象オブジェクトの移動先を、容易に推測することができる。したがって、ユーザは、対象オブジェクトに移動先の推測結果に応じて、対象オブジェクトの移動先が見えるように、すなわち、対象オブジェクトが仮想カメラの撮影範囲に入るように、仮想視点としての仮想カメラの状態を変化させることができる。その結果、時間シーク操作中に、対象オブジェクトを見失うことを抑制することができる。

軌跡情報としては、ストロボモデルや線データの他、対象オブジェクトの移動の軌跡を分かりやすく表示することが可能な任意の情報を採用することができる。

図１７及び図１８に示した場合には、再生装置２３は、時間シーク操作に応じて、軌跡情報を生成して、その軌跡情報に対応する軌跡画像（3Dストロボ画像や、線画像）を表示するが、仮想カメラの設定は、時間シーク操作とは関係なく行われる。

したがって、ユーザは、軌跡画像を見て、対象オブジェクトの移動先を推測し、その推測結果に応じて、仮想カメラ設定部４５において、対象オブジェクトが仮想カメラの撮影範囲に入るような仮想カメラの設定が行われるようにする必要がある。

そのため、図１７及び図１８に示した軌跡情報の生成、及び、その軌跡情報に対応する軌跡画像の表示は、ユーザの視点及び視線（頭部や体の動き、姿勢を含む）を検出し、そのユーザの視点及び視線に対応するように、仮想カメラの撮影位置及び撮影姿勢を設定するHMD/HUDや、スマートフォン等の位置及び姿勢に応じて、スマートフォンに表示されるオブジェクトの見え方が変わるARアプリケーション等の、ユーザの視点や視線を変化させる動作に連動して、仮想カメラの撮影位置及び撮影姿勢が設定されるアプリケーションに、特に適している。かかるアプリケーションによれば、例えば、ユーザは、軌跡画像を見て、対象オブジェクトの移動先を推測し、その移動先に視線を動かすことで、時間シーク操作中に、対象オブジェクトを見失うことを抑制することができる。

図１９は、軌跡情報としてのストロボモデルに配置された3Dモデルに行うエフェクト処理の例を説明する図である。

ストロボモデルに配置された3Dモデルには、エフェクト処理を行うことができる。例えば、図１９のＡに示すように、ストロボ区間の最も未来の3Dモデルの透明度を最も低くし、過去の3Dモデルほど、透明度を高くするエフェクト処理を行うことができる。

また、時間シークの方向、すなわち、時間シーク操作が早送りを行うような操作であるか、又は、巻き戻しを行うような操作であるかによって、ストロボモデルに配置された3Dモデルに行うエフェクト処理の程度（エフェクトをかける程度）を制御することができる。

例えば、時間シークの方向にある3Dモデルには、弱いエフェクト処理を行い、逆方向にある3Dモデルには、強いエフェクト処理を行うことができる。

具体的には、例えば、時間シークの方向が未来方向である場合（時間シーク操作が早送りを行うような操作である場合）、時間シークの方向である未来方向の逆方向の過去方向に向かって、より程度の高いエフェクト処理を行い、時間シークの方向が過去方向である場合（時間シーク操作が巻き戻しを行うような操作である場合）、時間シークの方向である過去方向の逆方向の未来方向に向かって、より程度の高いエフェクト処理を行うことができる。

この場合、例えば、エフェクト処理が、3Dモデルを透明にするエフェクトをかける処理であるときには、未来方向への時間シーク操作が行われると、図１９のＡに示すように、ストロボ区間の最も未来の3Dモデルの透明度を最も低くし、過去方向の3Dモデルほど、透明度を高くするエフェクト処理が行われる。一方、過去方向への時間シーク操作が行われると、図１９のＢに示すように、ストロボ区間の最も過去の3Dモデルの透明度を最も低くし、未来方向の3Dモデルほど、透明度を高くするエフェクト処理が行われる。

その他、例えば、指定再生位置の3Dモデルの透明度を最も低くし、指定再生位置から、過去方向及び未来方向に離れたフレームに映る3Dモデルほど、透明度を高くするエフェクト処理を行うことができる。

軌跡情報としてのストロボモデルに配置された3Dモデルに行うエフェクト処理としては、3Dモデルを透明にするエフェクト処理の他、図１５で説明した様々なエフェクト処理を採用することができる。

以上のように、軌跡情報としてのストロボモデルに配置された3Dモデルにエフェクト処理を行うことにより、ユーザは、ストロボモデル（3Dストロボ画像）における時間方向（未来方向、過去方向）を容易に認識することができる。

なお、軌跡情報としてのストロボモデルとしては、例えば、指定再生位置から離れるほど、対象オブジェクトの3Dモデルが疎になっていくストロボモデルを生成することができる。この場合、ユーザは、3Dストロボ画像に映る対象オブジェクトの疎密により、指定再生位置から離れている程度を認識することができる。

＜再生装置２３の処理＞

図２０は、図５の再生装置２３が行う自由視点データの再生処理の他の例を説明するフローチャートである。

図２０では、ステップＳ７１ないしＳ７５において、図７のステップＳ３１ないしＳ３５とそれぞれ同様の処理が行われる。

そして、ステップＳ７５において、図７のステップＳ３５と同様に、軌跡情報生成部４７が、時間シーク操作により指定された指定再生位置を基準とする軌跡情報を生成した後、処理は、ステップＳ７６に進む。

ステップＳ７６では、仮想カメラ設定部４５は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように、仮想カメラを設定し、処理は、ステップＳ７７に進む。

ステップＳ７７では、図７のステップＳ３６と同様に、自由視点画像生成部４３は、軌跡情報生成部４７からの軌跡情報を、仮想カメラ設定部４５で設定された仮想カメラで撮影した軌跡画像を生成し、表示部４４に供給して表示させ、処理は、ステップＳ７８に進む。

ステップＳ７８では、図７のステップＳ３７と同様の処理が行われる。

以上のように、図２０では、ステップＳ７６において、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲（画角）に含まれるように、仮想カメラが設定される。したがって、ステップＳ７７で表示部４４に表示される表示内容には、少なくとも、指定再生位置（時刻）における対象オブジェクトの3Dモデルの３次元空間内の位置が含まれる。その結果、ユーザが、時間シーク操作中に、対象オブジェクトを見失うことを、より強固に抑制することができる。

すなわち、図７の再生処理では、再生装置２３は、時間シーク操作に応じて、軌跡情報を生成して、その軌跡情報に対応する軌跡画像を表示するが、仮想カメラの設定は、時間シーク操作とは関係なく、ユーザの操作やユーザの視点等に応じて行われる。

したがって、ユーザは、軌跡画像を見て、対象オブジェクトの移動先を推測し、その推測結果に応じて、仮想カメラ設定部４５において、対象オブジェクトが仮想カメラの撮影範囲に入るような仮想カメラの設定が行われるように、操作を行うことや視点等を変化させる必要がある。

そのため、ユーザの操作や視点等の変化のさせ方によっては、対象オブジェクトが仮想カメラの撮影範囲に入るような仮想カメラの設定が行われず、軌跡情報が仮想カメラの撮影範囲からはずれることが生じ得る。

軌跡情報が仮想カメラの撮影範囲からはずれると、軌跡情報に対応する軌跡画像は表示されないため、ユーザは、対象オブジェクトを見失うことがある。

これに対して、図２０の再生処理では、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように、仮想カメラが設定される。したがって、軌跡情報の少なくとも一部（指定再生位置のフレームに映る対象オブジェクトの3Dモデルの３次元空間内の位置の部分）は、必ず、仮想カメラの撮影範囲に入るので、軌跡情報に対応する軌跡画像の少なくとも一部は、必ず、表示部４４に表示される。その結果、ユーザが、時間シーク操作中に、対象オブジェクトを見失うことを、図７の場合よりも強固に抑制することができる。

図２１は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第１の設定例を説明する図である。

図２１では、軌跡情報として、ストロボモデルが採用されている。そして、図２１では、例えば、仮想カメラの撮影位置が、時間シーク操作が開始されたときの撮影位置に固定され、仮想カメラの撮影姿勢（撮影方向）だけが、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように設定されている。

図２２は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第２の設定例を説明する図である。

図２２では、軌跡情報として、線データが採用されている。そして、図２２では、図２１と同様に、仮想カメラの撮影位置が、時間シーク操作が開始されたときの撮影位置に固定され、仮想カメラの撮影姿勢だけが、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように設定されている。

図２３は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第３の設定例を説明する図である。

図２３では、軌跡情報として、ストロボモデルが採用されている。そして、図２３では、例えば、仮想カメラの撮影姿勢が、時間シーク操作が開始されたときの撮影姿勢に固定され、仮想カメラの撮影位置だけが、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように設定されている。すなわち、図２３では、仮想カメラの撮影姿勢は固定され、仮想カメラの撮影位置は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルとの位置関係を、例えば、時間シーク操作が開始されたときの位置関係に維持するように設定されている。

図２４は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第４の設定例を説明する図である。

図２４では、軌跡情報として、ストロボモデルが採用されている。そして、図２４では、例えば、仮想カメラの撮影姿勢が、時間シーク操作が開始されたときの撮影姿勢に固定され、仮想カメラの撮影位置だけが、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように設定されている。すなわち、図２４では、仮想カメラの撮影姿勢は固定され、仮想カメラの撮影位置は、時間シーク操作が開始されてから指定再生位置となったフレームに映る対象オブジェクトの3Dモデルが、すべて仮想カメラの撮影範囲に含まれるように設定されている。そのため、図２４では、仮想カメラは、後ろに引くように、すなわち、対象オブジェクトの3Dモデルから遠ざかる方向に、移動している。

図２５は、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの第５の設定例を説明する図である。

図２５では、軌跡情報として、ストロボモデルが採用されている。そして、図２５では、例えば、仮想カメラの撮影位置及び撮影姿勢が、時間シーク操作が開始されたときの撮影姿勢に固定され、仮想カメラの画角(FOV(Field Of View))だけが、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように設定されている。図２５では、仮想カメラの画角は、時間シーク操作とともに広がっている。

図２１ないし図２５に示した場合には、再生装置２３は、時間シーク操作に応じて、軌跡情報を生成して、その軌跡情報に対応する軌跡画像を表示するとともに、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように、仮想カメラが設定される。

したがって、ユーザは、対象オブジェクトが仮想カメラの撮影範囲に入るような仮想カメラの設定が行われるように、操作を行うことや視点等を変化させる必要がない。

そのため、図２１ないし図２５に示した仮想カメラの設定を行うことは、ユーザの視点等に応じて、仮想カメラの設定が行われることがないPCのモニタや、スマートフォン等の位置及び姿勢に応じて、スマートフォンに表示されるオブジェクトの見え方が変化しないアプリケーションに、特に適している。

なお、指定再生位置のフレームに映る対象オブジェクトの3Dモデルが仮想カメラの撮影範囲に含まれるように仮想カメラを設定する場合の仮想カメラの設定方法としては、図２１ないし図２５で説明した方法の他、図２１（又は図２２）、図２３、図２４、及び、図２５で説明した方法の任意の２以上を組み合わせた方法を採用することができる。

＜本技術を適用したコンピュータの説明＞

次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。

あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。

CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。

これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。

なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本技術は、以下の構成をとることができる。

＜１＞
複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する軌跡情報生成部を備える
画像処理装置。
＜２＞
前記軌跡情報生成部は、指定された前記再生位置である指定再生位置を含む区間の前記オブジェクトの軌跡を表す軌跡情報を生成する
＜１＞に記載の画像処理装置。
＜３＞
前記指定再生位置を含む区間は、前記指定再生位置を基準として、過去の時刻から未来の時刻までの区間である
＜２＞に記載の画像処理装置。
＜４＞
前記軌跡情報は、前記指定再生位置を含む区間のフレームに映る前記オブジェクトの3Dモデルが配置されたストロボモデルである
＜２＞又は＜３＞に記載の画像処理装置。
＜５＞
前記軌跡情報生成部は、前記ストロボモデルに配置された前記3Dモデルにエフェクト処理を行う
＜４＞に記載の画像処理装置。
＜６＞
前記軌跡情報は、前記指定再生位置を含む区間のフレームに映る前記オブジェクトの軌跡を表す曲線の自由視点データである
＜２＞又は＜３＞に記載の画像処理装置。
＜７＞
仮想カメラで前記軌跡情報を撮影した自由視点画像である軌跡画像を生成する自由視点画像生成部をさらに備える
＜１＞ないし＜6>のいずれかに記載の画像処理装置。
＜８＞
前記仮想カメラを設定する仮想カメラ設定部をさらに備える
＜７＞に記載の画像処理装置。
＜９＞
前記仮想カメラ設定部は、ユーザの操作に応じて、前記仮想カメラを設定する
＜８＞に記載の画像処理装置。
＜１０＞
前記仮想カメラ設定部は、ユーザの操作に応じて、前記仮想カメラの位置及び姿勢を設定する
＜９＞に記載の画像処理装置。
＜１１＞
前記仮想カメラ設定部は、指定された前記再生位置である指定再生位置のフレームに映るオブジェクトの3Dモデルが、前記仮想カメラの撮影範囲に含まれるように、前記仮想カメラを設定する
＜８＞に記載の画像処理装置。
＜１２＞
前記仮想カメラ設定部は、ユーザの視点及び視線に、位置及び姿勢が対応するように、前記仮想カメラを設定する
＜８＞に記載の画像処理装置。
＜１３＞
複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する
ことを含む画像処理方法。
＜１４＞
複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する軌跡情報生成部
として、コンピュータを機能させるためのプログラム。

１１ 表示部， １２ シークバー， １３ スライダ， ２１ 撮影装置， ２２ コンテンツサーバ， ２３ 再生装置， ３１ 自由視点データ生成部， ３２ 記憶部， ３３，４１ 通信部， ４２ 記憶部， ４３ 自由視点画像生成部， ４４ 表示部， ４５ 仮想カメラ設定部， ４６ 操作部， ４７ 軌跡情報生成部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (14)

1. 複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する軌跡情報生成部を備える
   画像処理装置。
2. 前記軌跡情報生成部は、指定された前記再生位置である指定再生位置を含む区間の前記オブジェクトの軌跡を表す軌跡情報を生成する
   請求項１に記載の画像処理装置。
3. 前記指定再生位置を含む区間は、前記指定再生位置を基準として、過去の時刻から未来の時刻までの区間である
   請求項２に記載の画像処理装置。
4. 前記軌跡情報は、前記指定再生位置を含む区間のフレームに映る前記オブジェクトの3Dモデルが配置されたストロボモデルである
   請求項２に記載の画像処理装置。
5. 前記軌跡情報生成部は、前記ストロボモデルに配置された前記3Dモデルにエフェクト処理を行う
   請求項４に記載の画像処理装置。
6. 前記軌跡情報は、前記指定再生位置を含む区間のフレームに映る前記オブジェクトの軌跡を表す曲線の自由視点データである
   請求項２に記載の画像処理装置。
7. 仮想カメラで前記軌跡情報を撮影した自由視点画像である軌跡画像を生成する自由視点画像生成部をさらに備える
   請求項１に記載の画像処理装置。
8. 前記仮想カメラを設定する仮想カメラ設定部をさらに備える
   請求項７に記載の画像処理装置。
9. 前記仮想カメラ設定部は、ユーザの操作に応じて、前記仮想カメラを設定する
   請求項８に記載の画像処理装置。
10. 前記仮想カメラ設定部は、ユーザの操作に応じて、前記仮想カメラの位置及び姿勢を設定する
    請求項９に記載の画像処理装置。
11. 前記仮想カメラ設定部は、指定された前記再生位置である指定再生位置のフレームに映るオブジェクトの3Dモデルが、前記仮想カメラの撮影範囲に含まれるように、前記仮想カメラを設定する
    請求項８に記載の画像処理装置。
12. 前記仮想カメラ設定部は、ユーザの視点及び視線に、位置及び姿勢が対応するように、前記仮想カメラを設定する
    請求項８に記載の画像処理装置。
13. 複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する
    ことを含む画像処理方法。
14. 複数の視点から撮影された複数の視点画像から生成される自由視点データの再生位置の指定に応じて、前記視点画像に映るオブジェクトの３次元空間内の軌跡を表す軌跡情報を生成する軌跡情報生成部
    として、コンピュータを機能させるためのプログラム。

Images