JP7249755B2 - 画像処理システムおよびその制御方法、プログラム - Google Patents

Description

本発明は画像処理システムおよびその制御方法、プログラムに関する。

最大３６０度の範囲内の画像を自在に閲覧可能であるパノラマ画像が注目されている。パノラマ画像には、表示装置に表示される範囲よりも広い範囲の画像が含まれており、視聴者は再生時にパノラマ画像における任意の方向の画像を選ぶことができる。なお、本明細書では、画像という表記は、１フレームで構成される画像（静止画）、複数フレームから構成される動画または映像を含む。

特許文献１は、パノラマ画像を生成し、その部分領域をクリッピングする技術について開示している。特許文献１では、広角レンズを正面と背面に設けた撮像装置を用いて撮像を行い、その撮像装置の置かれた場所を基点とするパノラマ画像を生成する。ここで、基点とは、パノラマ画像の生成に係る基準位置である。例えば、３６０度の風景を対象とするパノラマ画像の場合は、その中心位置が基点となる。

特開２０１７－００５３３９号公報

しかしながら、特許文献１では、撮像装置の位置を基点としたパノラマ画像しか生成することができない。そのため、撮像装置の設置が困難な場所を基点とするパノラマ画像を生成すること、およびそれを閲覧することは困難であった。例えば、スタジアムでのサッカー等の試合中に、試合が行われているフィールド内にパノラマ画像を取得するための撮像装置を持って入ることは、試合を邪魔する可能性もあり難しい。そのため、試合中のフィールド内における選手の目前の位置などを基点とするパノラマ画像の生成や閲覧は困難であった。

本発明は、上記の課題に鑑み、より自由度の高いパノラマ画像を提供できるようにすることを目的とする。

本発明の一態様による画像処理システムは、
複数の撮像装置により撮像される撮像領域内に設定される特定位置を視点位置とし、互いに異なる視線方向を有する複数の仮想視点を決定する決定手段と、
前記複数の撮像装置の撮像により取得された複数の画像に基づいて、前記決定手段により決定された前記複数の仮想視点に対応する複数の仮想視点画像を生成する仮想視点画像生成手段と、
前記仮想視点画像生成手段により生成された前記複数の仮想視点画像に基づいて、前記撮像領域内の前記特定位置を基準とするパノラマ画像を生成するパノラマ画像生成手段と、を有する。

本発明によれば、より自由度の高いパノラマ画像を提供することが可能となる。

（ａ）は実施形態によるパノラマ画像生成システムの構成例を示す図、（ｂ）はパノラマ画像生成システムにおけるセンサシステムと仮想カメラの配置の例を示す図。 （ａ）は画像処理装置の機能構成例を示すブロック図、（ｂ）は画像処理装置のハードウェア構成例を示すブロック図。 （ａ）～（ｂ）はパノラマ画像の基点座標を説明する図、（ｃ）～（ｄ）は仮想カメラを説明する図。 （ａ）～（ｄ）は、仮想カメラを複数生成するための処理を説明する図。 第１実施形態によるパノラマ画像の生成処理を示すフローチャート。 （ａ）～（ｄ）はパノラマ画像の出力例を示す図、（ｅ）～（ｆ）はユーザ端末による閲覧例を示す図。 （ａ）～（ｃ）は、第２実施形態によるパノラマ画像の基点を指定する処理を説明する図。 第５実施形態による画像処理装置の機能構成例を示すブロック図。 第５実施形態によるパノラマ画像の生成処理を示すフローチャート。 （ａ）～（ｃ）は第５実施形態によるパノラマ画像の出力例を示す図。 パノラマ画像を説明する図。

以下、本発明の実施形態について添付の図面を参照して説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、本発明は記載された実施形態に限られるものではない。

［第１実施形態］
第１実施形態では、撮像領域を複数のカメラで複数の方向から撮像することで得られる画像（多視点画像）に基づいて、それぞれ視線方向が異なる複数の仮想視点に応じた複数の仮想視点画像を生成し、それらを用いてパノラマ画像を生成する処理に関して説明する。

まず、本明細書に記載されるパノラマ画像について定義する。パノラマ画像とは基点（パノラマ画像の生成に係る基準位置）を視点位置とした複数の視線方向の画像を含む画像である。例えば、図１１に示されるような全周のパノラマ画像１１０１（３６０°画像）の場合、基点１１０２を中心とした０°～±１８０°の範囲の複数の視線方向に対応した画像が連続的に接続された画像となる。パノラマ画像１１０１の両端は連続しており、３６０°の範囲の任意の視線方向の画像が得られることになる。なお、パノラマ画像は全周に対応していなくてもよい。例えば、０°～±９０°の視線方向に対応した画像（１８０°のパノラマ画像）であってもよい。また、図１１では、視線方向が水平方向に回転（視線方向の方位角が変化）することで得られる複数の視線方向に対応する画像を連続させているが、パノラマ画像は視線方向が垂直方向に回転（視線方向の仰俯角が変化）することで得られる複数の視線方向に対応する画像を連続させた画像であってもよい。また、パノラマ画像は、全天球画像のように、視線方向が３次元的に変化することで得られる複数の視線方向に対応する画像を連続させた画像であってもよい。表示装置では、パノラマ画像に対応する視線方向の範囲に含まれる任意の視線方向の画像を当該パノラマ画像から得ることができる。すなわち、表示装置に表示される画像はパノラマ画像の一部分であり、パノラマ画像のどの部分を表示させるかは任意に指定可能である。なお、パノラマ画像の全体を表示装置に表示できるようにしてもよい。

以下、第１実施形態によるパノラマ画像生成システムの全体について図１（ａ）、（ｂ）を用いて説明する。また、パノラマ画像システムを構成する画像処理装置１０４の構成について図２（ａ）、（ｂ）を用いて説明する。画像処理装置１０４は、多視点画像からパノラマ画像を生成する処理を行う。パノラマ画像の生成処理に使用する座標系や仮想カメラについては図３（ａ）～（ｄ）を参照して説明する。また、複数の仮想カメラ（仮想視点）を生成する処理については図４（ａ）～（ｄ）を参照して説明する。複数の仮想カメラから複数の仮想視点画像を描画する処理と、それらを合わせてパノラマ画像を生成する処理については、図５のフローチャートを用いて説明する。さらに、パノラマ画像の生成例および閲覧例を図６（ａ）～（ｆ）を参照して説明する。

（パノラマ画像システムの構成と配置）
図１（ａ）は、第１実施形態におけるパノラマ画像生成システムを説明するブロック図である。パノラマ画像生成システムは、Ｎ台のセンサシステムとして１０１ａ、１０１ｂ、...１０１ｎを含み、１台のセンサシステムは少なくとも１台のカメラを有する。なお、特にＮ個のセンサシステム１０１ａ、１０１ｂ、...１０１ｎを区別する必要がない場合には、センサシステム１０１と記載する。センサシステム１０１は、撮像領域を囲むように設置される。センサシステム１０１の設置例を図１（ｂ）に示す。図１（ｂ）の例では、撮像領域をスタジアムのフィールドとし、それらを囲むようにＮ台のセンサシステム１０１が設置されている。なお、パノラマ画像生成システムの設置場所がスタジアムに限られないことは言うまでもなく、例えば、スタジオ等でも設置可能である。

センサシステム１０１は、それぞれカメラとマイク（不図示）を有する。センサシステム１０１の各カメラは同期し、撮像領域を撮像する。複数のカメラの同期撮像により得られた画像の集合を多視点画像と呼ぶ。また、センサシステム１０１の各マイクは同期し音声を集音する。なお、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。画像記録装置１０２は、センサシステム１０１から多視点画像、及び、音声を取得し、データベース１０３に書き込む。画像処理装置１０４は、データベース１０３に書き込まれた多視点画像から仮想カメラ１０６（仮想視点とも呼ぶ）による仮想視点画像を生成する。仮想カメラは、センサシステム１０１に含まれるどのカメラとも異なる視点で撮像領域（フィールド）を閲覧でき、仮想視点画像の生成に使用される。なお、仮想カメラについては図３の参照により後述される。また、仮想視点画像については図４～図６の参照により後述される。

基点操作ＵＩ１０５は、パノラマ画像の基点を操作、設定するためのユーザインターフェースを提供する。基点の操作とは、少なくとも基点の座標（基点座標）を変更することである。本実施形態では、例えばキーボードからの座標値入力が用いられる。なお、第２実施形態ではタブレット、第３実施形態ではジョイスティックを用いる例を説明する。第１実施形態の座標値入力は、図３（ａ）に示す座標系の各成分（ｘ，ｙ，ｚ）の値を入力するものである。座標値は、例えば、キーボード（数値キー）を用いて入力することができる。なお、座標値入力を行わずに、ファイルやメモリから座標値を読み出して基点座標として用いるようにしてもよい。画像処理装置１０４は、基点操作ＵＩ１０５からパノラマ画像の基点に関する情報（基点座標を含む）を受け付け、それを基にパノラマ画像を生成する。より具体的には、画像処理装置１０４は、撮像領域を囲む様に配置された複数カメラから取得した多視点画像を用いて、受け付けた基点座標に配置された複数の仮想カメラから得られる複数の仮想視点画像を生成し、それらを合わせてパノラマ画像を生成する。画像処理装置１０４による処理に関しては、図２～図６の参照により後述する。

画像処理装置１０４は、生成したパノラマ画像を配信サーバ１１１へ送信する。配信サーバ１１１は、スマートフォンやタブレット等の複数のユーザ端末１１２へパノラマ画像を配信する。ユーザは、ユーザ端末１１２を用いて、好みの方向からのパノラマ画像を閲覧する。パノラマ画像の閲覧例については図６（ｅ）（ｆ）により後述する。

（画像処理装置の構成）
図２（ａ）を参照して、本実施形態による画像処理装置１０４の機能構成を説明する。パラメータ取得部２０１は、基点操作ＵＩ１０５からパノラマ画像の基点に関する情報を受け付ける。基点に関する情報には、例えば、パノラマ画像の基点座標等が含まれる。基点座標に用いられる座標系については図３（ａ）により後述する。また、パノラマ画像の基点座標の例については図３（ｂ）により後述する。仮想カメラ生成部２０３は、パラメータ取得部２０１が取得した基点座標を使用し、複数の仮想カメラを生成する。複数の仮想カメラを生成する処理については図３の参照により後述する。三次元モデル生成部２０２は、データベース１０３より取得した多視点画像を基に、三次元モデルを生成する。三次元モデルは、例えばVisual Hull等の形状推定方法により生成され、点群で構成される。

仮想視点描画部２０４は、多視点画像に基づいて、パノラマ画像の基点となる位置から観察される仮想視点画像を描画する。第１実施形態の仮想視点描画部２０４は、三次元モデル生成部２０２が生成した三次元モデルを利用して、仮想カメラの位置と姿勢に基づき仮想視点画像を描画する。より具体的には、仮想視点描画部２０４は、三次元モデルを構成する点毎に多視点画像を選択し、多視点画像から適切な画素値を取得して色付け処理を行う。そして、仮想視点描画部２０４は、色付け処理された点を三次元空間に配置し、仮想カメラへ投影することで仮想視点画像を生成する。

パノラマ画像生成部２０５は、描画された仮想視点画像に基づいて、基点から観察されるパノラマ画像を生成する。本実施形態では、パノラマ画像生成部２０５は、仮想カメラ生成部２０３へ複数の仮想カメラを生成するように指示し、仮想視点描画部２０４へ仮想カメラの個数分の仮想視点画像の描画処理を指示する。そして、パノラマ画像生成部２０５は、仮想視点描画部２０４により生成された複数の仮想視点画像を用いてパノラマ画像を生成する処理（以下、パノラマ画像生成処理）を行う。パノラマ画像生成処理については図４～６の参照により後述する。画像出力部２０６は、生成されたパノラマ画像を配信サーバ１１１に送信する。複数のユーザ端末１１２は配信サーバ１１１からパノラマ画像を受信し、各ユーザはそれを閲覧する。パノラマ画像の閲覧例は図６の参照により後述する。

次に、画像処理装置１０４のハードウェア構成について説明する。図２（ｂ）は、画像処理装置１０４のハードウェア構成図である。

ＣＰＵ（Central Processing Unit）２１１は、ＲＡＭ（Random Access Memory）２１２やＲＯＭ（Real Only Memory）２１３に格納されているプログラムやデータを用いて各種の処理を実行する。ＣＰＵ２１１は、例えば、画像処理装置１０４の全体の動作制御や図5のフローチャートに示される処理を実行する。ＲＯＭ２１３は、プログラムやデータを保持する。ＲＡＭ２１２は、ＲＯＭ２１３から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ２１２は、ＣＰＵ２１１が各種処理を実行する際に用いるワークエリアを提供する。

入力部２１４は、例えば、基点操作ＵＩ１０５から入力情報を受け付ける。外部インターフェース２１５は、例えば、ＬＡＮ（Local Area Network）を通じて、データベース１０３や基点操作ＵＩと情報の送受信を行う。例えば、外部インターフェース２１５は、パノラマ画像をイーサネット経由で配信サーバ１１１へ送信する。出力部１１６は、例えば、ディスプレイやスピーカ等から構成され、オペレータ操作に必要な情報として、生成した仮想視点画像・パノラマ画像や操作ＵＩ等を出力する。

（パノラマ画像の基点座標と仮想カメラ）
パノラマ画像の基点座標と、仮想カメラについて説明する。まず、図３（ａ）（ｂ）を参照して座標系とパノラマ画像の基点座標について説明する。また、図３（ｃ）（ｄ）を参照して本実施形態の仮想カメラについて説明する。

まず、座標系について説明する。座標系を図３（ａ）に示す。本実施形態では、図３（ａ）に示す様にｘ軸・ｙ軸・ｚ軸の３次元空間の直交座標系を用いる。この座標系を撮像領域に設定する。撮像領域は図３（ｂ）に示す様に、例えば、ボール３２２や選手３２３等の被写体が位置するスタジアムのフィールド３２１である。座標系については、原点（０、０、０）をフィールド３２１の中心へ、ｘ軸をフィールド３２１の長辺方向へ、ｙ軸をフィールド３２１の短辺方向へ、ｚ軸をフィールドに対して鉛直方向へ設定する。なお、各軸の方向については、これに限定されない。

図３（ａ）の座標系を使用し、基点操作ＵＩ１０５がパノラマ画像の基点座標を指定する。指定される基点の位置は、当該位置を視点位置として仮想視点画像を生成することが可能な位置、すなわち複数のカメラによる撮像領域内の位置である。第１実施形態では座標値入力や固定座標値が使用される。例えば、座標値入力で、フィールド３２１のセンターサークル付近の座標３３１や、ゴール前付近の座標３３２が基点の座標として指定される。

次に、図３（ｃ）を参照し、仮想カメラについて説明する。図３（ｃ）に示される四角錐において、頂点が仮想カメラの位置３０１を表し、頂点を起点とする視線方向のベクトルが仮想カメラの姿勢３０２を表す。仮想カメラの位置は各軸の成分（ｘ，ｙ，ｚ）で表現され、姿勢は各軸の成分をスカラーとする単位ベクトルで表現される。仮想カメラの姿勢３０２は、前方クリップ面３０３と後方クリップ面３０４の中心点を通るものとする。また、仮想視点描画部２０４が仮想視点画像に投影する範囲（すなわち仮想視点画像の生成対象の範囲）である、仮想カメラの視錐台は、前方クリップ面３０３と後方クリップ面に挟まれた空間３０５である。

次に、図３（ｄ）を参照し、仮想カメラの移動と回転について説明する。仮想カメラは、三次元座標で表現された空間内を移動及び回転する。仮想カメラの移動３１１は、仮想カメラの位置３０１の移動であり、各軸の成分（ｘ、ｙ、ｚ）で表現される。仮想カメラの回転３１２は、図３（ａ）に示す様に、ｚ軸回りの回転であるヨー（yaw）、ｘ軸回りの回転であるピッチ（pitch）、ｙ軸回りの回転であるロール（roll）で表現される。

（複数の仮想カメラを生成する処理）
図４を参照し、複数の仮想カメラを生成する処理について説明する。仮想カメラ生成部２０３は、パラメータ取得部２０１を介して基点操作ＵＩ１０５からパノラマ画像の基点座標を受け取り、受け取った基点座標に基づいて複数の仮想カメラを生成する。本実施形態では、仮想カメラ生成部２０３は、３６０度のパノラマ画像を生成するために、図４で説明するような６つの仮想カメラを生成する。パノラマ画像生成部２０５は、それらの仮想カメラの画像から３６０度の全周囲に対応するパノラマ画像を生成する。なお、生成する仮想カメラの数は６に限定されないことは言うまでもない。

仮想カメラ生成部２０３は、受け取ったパノラマ画像の基点座標を、６つの仮想カメラの位置に設定する。また、仮想カメラ生成部２０３は、６つの仮想カメラの各姿勢を、正面・背面・左・右・上・下の６方向に設定する。以下、具体的に説明する。

図４（ａ）は、仮想カメラ４０１を上（ｚ軸）から見た図である。正面方向をｘ軸方向（１，０，０）とし、仮想カメラ４０１の姿勢３０２ａのベクトルがそれに設定される。図３（ｂ）の撮像領域であるフィールド３２１に設定した座標系において、正面方向は図中の右ゴール方向となる。位置３０１の座標は、パラメータ取得部２０１が取得したパノラマ動画の基点座標であり、例えば、図３（ｂ）に示した座標３３１、３３２である。この基点座標を仮想カメラの位置３０１とし、まず正面向きの仮想カメラ４０１が設定される。

他の５つの仮想カメラも、パラメータ取得部２０１を介して受け取った基点座標に配置される。図４（ｂ）（ｃ）に、６方向の仮想カメラを生成した図を示す。図４（ｂ）は、上（ｚ軸）から見た図であり、図４（ｃ）は、横（ｙ軸）から見た図である。図４（ｂ）には、図４（ａ）に示した正面向きの仮想カメラ４０１と、他の３つの仮想カメラ４０２、４０３、４０４が示されている。仮想カメラ４０２の姿勢３０２ｂは左方向で、ｙ軸方向（０，１，０）のベクトルである。仮想カメラ４０３の姿勢３０２ｃは背面方向で、－ｘ軸方向（－１，０，０）のベクトルである。仮想カメラ４０４の姿勢３０２ｄは右方向で、－ｙ軸方向（０，－１，０）のベクトルである。

図４（ｃ）は、ｙ軸方向から見た図であり、図４（ａ）に示した正面向きの仮想カメラ４０１と、他の３つの仮想カメラ４０５、４０３、４０６が示されている。なお、仮想カメラ４０３は図４（ｂ）に示したものである。仮想カメラ４０５の姿勢３０２ｅは上方向で、ｚ軸方向（０，０，１）のベクトルである。仮想カメラ４０６の姿勢３０２ｆは下方向で、－ｚ軸方向（０，０，－１）のベクトルである。

図４（ｄ）に、上記６つの仮想カメラ４０１～４０６を示す。簡単のため、各仮想カメラの位置３０１、姿勢３０２ａ～３０２ｆを図示する。図４（ｄ）に示す様に仮想カメラ４０１のクリップ面を正方形とすると、仮想カメラ４０１～４０６のクリップ面は立方体の各面となる。先述の様に、仮想カメラ４０１～４０６の姿勢３０２ａ～３０２ｆは、順に、正面・左、背面、右、上、下の向きとなる。

仮想視点描画部２０４は、これら複数の仮想カメラを用いて、複数の仮想視点画像の描画処理を実行する。描画されるこれらの複数の仮想視点画像は、視点位置が同一であり視線方向が異なる複数の仮想視点に応じた仮想視点画像となる。

（パノラマ画像の生成処理）
次に、図５と図６を参照して、第１実施形態におけるパノラマ画像の生成処理について説明する。図５はパノラマ画像の生成処理のフローチャートである。図６（ａ）は複数の仮想視点画像を示し、図６（ｂ）は図６（ａ）に示された複数の仮想視点画像から生成されるパノラマ画像を示す。

ステップＳ５０１では、パノラマ画像生成部２０５が、パラメータ取得部２０１からパノラマ画像の基点座標を取得する。本例では、図３（ｂ）に示したフィールド内のゴール前の座標３３２をパノラマ画像の基点座標として取得したとする。ステップＳ５０２では、パノラマ画像生成部２０５が、仮想カメラ生成部２０３を用いて、ステップＳ５０１で取得した基点座標から複数の仮想カメラを生成する。複数の仮想カメラを生成する処理は図４で説明したとおりである。ステップＳ５０３、ステップＳ５０４、ステップＳ５０５では、パノラマ画像生成部２０５が、仮想視点描画部２０４へ、ステップＳ５０２で生成した仮想カメラの台数分の仮想視点画像の描画処理を行うよう指示する。仮想視点描画部２０４による仮想視点画像の描画処理は上述したとおりである。

ステップＳ５０６では、パノラマ画像生成部２０５が、ステップＳ５０４で描画した複数の仮想視点画像を接続する。例えば、パノラマ画像生成部２０５は、複数の仮想視点画像の各一辺（各端部）が、撮像領域において同地点の画素となる様に、複数の仮想視点画像を接続する。より、具体的には、図４（ｂ）～（ｄ）に示した様に複数の仮想カメラが立方体になる様に各仮想カメラの姿勢を決定することで、その立方体の展開図は、複数の仮想視点画像を接続した画像となる（図６（ａ））。

例えば、基点座標を座標３３２とする例では、複数の仮想視点画像は図６（ａ）の様に接続される。仮想視点画像６０１～６０６は、仮想カメラ４０１～４０６を用いて描画した画像であり、順に正面・左・背面・左・上・下の方向に対応する。各画像の各一辺は撮像領域の同地点の画素であり、各境目が連続した画像として合わさる。

ステップＳ５０７では、パノラマ画像生成部２０５が、ステップＳ５０６で接続した複数の仮想視点画像からパノラマ画像を生成する。本実施形態では、パノラマ画像生成部２０５は、６面の仮想視点画像からパノラマ画像へ画素単位に対応付けを行う。パノラマ画像のフォーマットは、配信サーバ１１１が要求する形式となる。例えば、フォーマットは正距円筒図法と呼ばれるものであり、画素単位の対応付けに対応表を用いる。対応表の作成方法は、例えば、球形の地球儀を平面の地図へ対応付ける方法を、６面の画像に適用すればよい。基点座標が変更された場合でも共通の対応表を使用することができる。なお、この対応表はＲＡＭ２１２等に予め格納しておいてもよい。

図６（ａ）の複数の仮想視点画像から生成されるパノラマ画像は図６（ｂ）となる。言い換えると、図６（ｂ）はゴール前の座標３３２を基点としたパノラマ画像である。このパノラマ画像は各フレームに３６０度の全周囲の情報を有し、画像の左端と右端は同じ地点であり連続する。このため、このパノラマ画像は３６０度画像とも呼ばれる。なお、図３（ｂ）に示したフィールド内のセンターサークル内の座標３３１の例でも、同様にパノラマ画像を生成可能である。座標３３１を基点とした複数の仮想視点画像を接続した画像を図６（ｃ）に示す。また、図６（ｃ）に示される画像から生成されるパノラマ画像を図６（ｄ）に示す。

以上のように、第１実施形態のパノラマ画像の生成処理によれば、撮像領域を囲む様に配置された複数カメラにより撮像された多視点画像を用いて、視線方向が異なる複数の仮想視点に応じた複数の仮想視点画像が描画される。そして、それら仮想視点画像を合わせることで、撮像領域の任意位置を基点とするパノラマ画像が生成される。

（ユーザ端末におけるパノラマ画像の閲覧）
ユーザ端末１１２におけるパノラマ画像の閲覧例に関して説明する。パノラマ画像は、画像出力部２０６によって配信サーバ１１１へ送信される。そして、複数のユーザ端末１１２が配信サーバ１１１からパノラマ画像を受信して閲覧する。ユーザ端末１１２は、タブレットやスマートフォンである。配信サーバ１１１は、通信プロトコルにＲＴＭＰ（Real Time Message Protocol）等を用いてストリーミング通信する。

配信サーバ１１１は、配信者からの要求に応じ、パノラマ画像を配信するストリームの識別子（例えば、rtmp://football.com/live/1）を作成する。画像処理装置１０４は画像出力部２０６を使用し、その識別子へ接続してパノラマ画像を送信する。ユーザ端末１１２はその識別子へ接続し、パノラマ画像（ストリーム）を受信する。なお、配信サーバ１１１は、ＨＴＭＬで記述されたウェブページにストリーム識別子を埋め込み、配信するようにしてもよい。その場合、ユーザ端末１１２はそのウェブページへアクセスし、その中でパノラマ画像をＲＴＭＰによるストリームで受信してもよい。

以上により、複数のユーザ端末１１２が同時に配信サーバ１１１へ接続し、パノラマ画像を閲覧することができる。それぞれのユーザ端末１１２は、例えばジャイロセンサを有し自身の回転を検知する。ユーザ端末１１２は検知した回転に合わせ、各々独立して、パノラマ画像における閲覧方向を選択する。つまり、各々のユーザ端末１１２は、各々が異なる任意の方向でパノラマ画像を閲覧できる。これは本実施形態に限らず、全実施形態で共通である。なお、閲覧方向の指定は、上記（ジャイロセンサ）に限られるものではない。

図６（ｅ）（ｆ）を参照し、ユーザ端末１１２のパノラマ画像の閲覧例を説明する。複数のユーザ端末１１２として、異なるタブレット６１１とタブレット６１２を使用する。図６（ｅ）は、画像処理装置１０４が図６（ｂ）のパノラマ画像を配信サーバ１１１へ送信し、タブレット６１１が受信し表示したものである。また、図６（ｆ）は、同パノラマ画像を、タブレット６１２が受信し表示したものである。図６（ｅ）は、ユーザがタブレット６１１を回転させ、ゴール前でシュートを打つ選手に注目したものである。一方、図６（ｆ）は、別のユーザがタブレット６１２を回転させ、キーパー等ゴール前で守る選手に注目したものである。この様に、各々のユーザ端末１１２は、各々が異なる任意方向でパノラマ画像を閲覧できる。当然ながら、１台のタブレットにおいても回転するだけで、図６（ｅ）から図６（ｆ）へ方向を変更しパノラマ画像を閲覧できる。

前述の様に、パノラマ画像は各フレームに３６０度の情報を保持しており、ユーザ端末１１２が方向を変更した時に、パノラマ画像の再生成は不要である。ユーザ端末１１２は既に受信済みのパノラマ画像のフレームを使用すればよい。同様に、仮にユーザ端末１１２で該フレームを受信後に、配信サーバ１１１のデータ通信が切断されたとしても、ユーザ端末１１２は該フレームの閲覧方向を自由に選択できる。

なお、パノラマ画像でなく、１つの仮想視点画像を配信するシステムがある。仮想視点画像は生成時において、撮像領域の任意の位置を対象として画像生成できる。しかしながら、１つの仮想視点画像を配信した場合には、その配信後に複数のユーザ端末で異なる方向を選択することはできない。

以上に述べた様に、第１実施形態によれば、撮像領域を囲む様に配置する複数カメラが撮像した多視点画像を用いて、それぞれ視線方向が異なる複数の仮想視点に応じた複数の仮想視点画像を生成し、それらを合わせて、撮像領域の任意の位置を基点とするパノラマ画像を生成することができる。例えば、スタジアムにおけるスポーツの試合中に、フィールド内の任意の位置を基点としたパノラマ画像を生成することができる。生成されたパノラマ画像において、視聴者は好きな方向を選択することができ、試合中の所望の選手やそのプレイを間近に閲覧できる。

［第２実施形態］
第１実施形態では、ユーザにより入力された座標値が基点の位置に設定される構成を説明した。第２実施形態では、基点操作ＵＩ１０５は、撮像領域の俯瞰画像を表示部に表示し、表示されている俯瞰画像におけるユーザの指示位置に基づいて基点の位置を設定する構成を説明する。第２実施形態では、そのような構成の一例として、表示部にタッチパネルを採用し、タッチパネルへのタッチ入力によりパノラマ画像の基点を指定する構成について説明する。第２実施形態のパノラマ画像生成システム（図１）、画像処理装置１０４の構成（図２）、画像処理装置１０４における各処理（図４～６）は、第１実施形態と同様である。第２実施形態は、基点操作ＵＩ１０５によるパノラマ画像の基点の指定方法が第１実施形態と異なるので、以下では基点の指定方法を主として説明する。

第２実施形態では、基点操作ＵＩ１０５にタッチパネルディスプレイを備えたデバイスを用いる。例えば、タブレットを用いる。基点操作ＵＩ１０５はタッチパネルディスプレイに撮像領域の俯瞰画像を表示する。なお、後述する第３実施形態では、基点操作ＵＩにジョイスティックを使用する。ジョイスティックは三次元空間における移動と回転の両方を同時に指定する方法として一般的である。しかし、ジョイスティックは仮想カメラの動きを緻密に操作できる一方で、操作者がその同時操作に習熟する必要がなる。第２実施形態では、習熟を要求しない簡単なタップ操作のみでパノラマ画像の基点を指定することができる。

（パノラマ画像の基点指定処理）
図７を参照し、パノラマ画像の基点を指定する処理を説明する。図７（ａ）は、基点操作ＵＩ１０５として用いることが可能なタブレット７０１を示す。タブレット７０１は、タッチパネルディスプレイ７０２を有しており、これは画像を表示可能なＬＣＤ装置の上にタッチパネルを重ねたものである。タッチパネルディスプレイ７０２は、タッチ操作と、操作された位置座標を検出する。タッチパネルディスプレイ７０２は、検知したタッチ操作や位置座標を例えば基点操作ＵＩ１０５のＣＰＵ（不図示）へ定期的に通知する。

基点操作ＵＩ１０５のＣＰＵは、タッチパネルディスプレイ７０２から通知された情報に基づき、タッチパネルに対してどの様な操作が行なわれたかの判定や、その操作位置の座標を決定する。例えば、タッチ操作として、タッチパネルディスプレイ７０２を指やペンで触れたこと（以下、タッチインと称する）、指やペンで触れたまま移動していること（以下、ドラッグ）、触れていた指やペンが離れたこと（以下、タッチアウト）、等が判定される。例えば、基点操作ＵＩ１０５のＣＰＵは、タッチインとタッチアウトが短時間で行われた場合にはタップ操作と判定する。なお、判定されるタッチ操作は、これらに限定されない。

なお、タブレット７０１のタッチパネルは、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、光センサ方式等、様々な方式の内のいずれの方式のものが用いられても良い。また、タブレット７０１は、タッチパネルディスプレイ７０２以外に、ＣＰＵ・ＲＡＭや加速度センサ・ジャイロセンサを有するが、一般的なタブレットのハードウェア構成のため、説明を省略する。

図７（ｂ）と（ｃ）を参照し、タッチパネルディスプレイ７０２を有するタブレット７０１を用いたパノラマ画像の基点指定処理について説明する。タッチパネルディスプレイ７０２は、撮像領域の俯瞰画像７０３を表示する。撮像領域の俯瞰画像７０３は、直感的な位置把握を容易にする長所がある。

図７（ｂ）（ｃ）において、撮像領域はスタジアム内のフィールドであり、俯瞰画像７０３は撮像領域のフィールド全体を上から観察したものである。俯瞰画像７０３は、フィールド上のボール７１１や人物７１２を含む。なお、俯瞰画像７０３としては、例えば、観客席上段やスタジアムの天井に配置したカメラ等で撮影した画像や、同様の位置に配置した仮想視点に応じた仮想視点画像を用いることができる。

図７（ｂ）は、ボール７１１がフィールド中央のセンターサークルにあり、その付近に対するタップ操作７２１を受け付けた場合である。タブレット７０１（または、ＣＰＵ）は、タップ操作７２１とそのタップ位置の座標７３１を検知する。座標７３１を（ｘ，ｙ）＝（ｘ１，ｙ１）とする。ｚ軸の値は、タッチパネルディスプレイ７０２に表示したスライドバー７０４を用いて指定する。例えば、スライドバー７０４によって指定された値を（ｚ）＝（ｚ１）とすると、タップ操作７２１によって指定される座標は（ｘ１，ｙ１，ｚ１）となる。スライドバー７０４を変更しなければ、ｚ軸の値は変わらない。なお、タブレット７０１が有する加速度センサを用いてｚ軸の値を変更するようにしても良い。例えば、垂直かつ上方向にタブレット７０１を移動することで、ｚ軸の値を増加させ、垂直かつ下方向にタブレットを移動することでｚ軸の値を減少させる。タブレット７０１は、座標（ｘ１，ｙ１，ｚ１）を、画像処理装置１０４（または、その中に含まれるパラメータ取得部２０１）へパノラマ画像の基点座標として通知する。

図７（ｃ）は、ボール７１１がゴール前へ移動したことに応じて、ユーザがボールの付近に行ったタップ操作７２２を受け付けた様子を示している。タッチパネルディスプレイ７０２は、タップ操作７２２とそのタップ位置の座標７３２を検知する。例えば、座標７３２が（ｘ，ｙ）＝（ｘ２，ｙ２）とする。スライドバー７０４は、図７（ｃ）において図７（ｂ）と同じまま（ｚ＝ｚ１）であったとする。タブレット７０１は、タップ操作７２２によって指定される座標（ｘ２，ｙ２，ｚ１）を、画像処理装置１０４（または、その中に含まれるパラメータ取得部２０１）へパノラマ画像の基点座標として通知する。

画像処理装置１０４は、基点操作ＵＩ１０５のタブレット７０１から通知された座標を基点としてパノラマ画像を生成する。パノラマ画像の生成処理は第１実施形態（図４～図５）で説明した処理と同様である。また、パノラマ画像の生成例についても、タップ位置の座標７３１と座標３３１が同じ座標であるとすると、タップ位置の座標７３１を基点とするパノラマ画像は図６（ｄ）と同じになる。同様に、タップ位置の座標７３２と座標３３２が同じ座標であるとすると、タップ位置の座標７３２を基点とするパノラマ画像は図６（ｂ）と同じになる。さらに、複数のユーザ端末１１２におけるパノラマ画像の閲覧例についても、図６（ｂ）のパノラマ画像の例を用いると、図６（ｅ）（ｆ）と同様に説明できる。

なお、図７（ｂ）から（ｃ）の順でタップされた場合、座標７３１と座標７３２の間を直線等で補間し、線上の座標を連続的に画像処理装置１０４へ通知しても良い。この場合、通知された補間線上の全座標に対して、画像処理装置１０４はパノラマ画像を生成する。そうすれば、フレーム間で基点が滑らかに移動するパノラマ画像を生成することができる。

以上の様に、第２実施形態によれば、撮像領域の俯瞰画像に対する簡単なタップ操作のみで、撮像領域の任意の場所を次々にパノラマ画像の基点を指定できる。例えば、サッカーの試合中に、撮像カメラを入れることが困難であるフィールドを撮像領域とし、直感的な位置把握が容易である俯瞰画像に対するタップ操作によって、その位置を基点としたパノラマ画像を生成できる。また、サッカーのパス展開が速いシーン等であっても、撮像領域の俯瞰画像における離れた位置をタップすれば、その位置を基点に次々にパノラマ画像を生成できる。

［第３実施形態］
第３実施形態では、基点操作ＵＩ１０５でパノラマ画像の基点を直接操作せずに、１つの仮想カメラを操作することによりパノラマ画像を生成する方法を説明する。第３実施形態では、基点操作ＵＩ１０５にジョイスティックが用いられ、ジョイスティックにより１つの仮想カメラが操作される。画像処理装置１０４は、その仮想カメラを基準として複数の仮想カメラを複製し、視線方向が異なる複数の仮想視点画像を生成する。

なお、第３実施形態において、複数の仮想視点画像からパノラマ画像を生成する方法は第１実施形態と同様である。また、第３実施形態において、パノラマ画像生成システム（図１）と画像処理装置の構成（図２）は、第１実施形態と同様である。さらに、画像処理装置１０４における各処理についても同様の部分は説明を省略し、異なる部分を主に説明する。

ジョイスティックは三次元空間における移動と回転の両方を同時に指定するための装置であり、その構造等は周知であるため、図示を省略する。ジョイスティックを用いることで、パノラマ画像の元となる仮想カメラの位置と姿勢を緻密に操作できる。なお、第３実施形態の基点操作ＵＩ１０５としてジョイスティックを用いるが、これに限られるものではなく、仮想カメラの位置と姿勢を操作できる構成であれば何でもよい。

第１、第２実施形態による複数の仮想カメラの生成処理では、正面・左・背面・右の方向の各仮想カメラ（４０１～４０４）の姿勢は水平方向（ＸＹ平面と平行方向）に限定され、上・下の方向の各仮想カメラ（４０５・４０６）は垂直方向に限定されている。図６に示すパノラマ画像の元となる仮想視点画像は、水平方向に４面（６０１～６０４）を使用するものの、上下は２面（６０５と６０６）しか使用しない。そのため、それらを合わせて生成されるパノラマ画像における解像感は水平方向が比較的高くなる。第３実施形態では、基点操作ＵＩ１０５を柔軟に操作することで、これらの制限を受けることなくパノラマ画像を生成することができる。例えば、基準となる仮想カメラを垂直方向へ９０度回転すれば、垂直方向に解像感の高いパノラマ画像を生成することができる。

（基点操作ＵＩによる仮想カメラ操作）
第３実施形態の基点操作ＵＩ１０５について説明する。基点操作ＵＩ１０５として例えば、ジョイスティックを使用し、仮想カメラの三次元空間における移動と回転を同時指定する。基点操作ＵＩ１０５は、指定された仮想カメラの位置と姿勢の情報を画像処理装置１０４のパラメータ取得部２０１へ通知する。仮想カメラの位置と姿勢や、移動と回転については第１実施形態（図３）で説明したとおりである。

（仮想カメラの複製処理）
図４を参照し、仮想カメラの複製処理について説明する。仮想カメラの複製処理は、画像処理装置１０４の仮想カメラ生成部２０３が実行する。仮想カメラ生成部２０３は、パラメータ取得部２０１を介し、少なくとも仮想カメラの位置と姿勢を取得する。なお、その他に仮想カメラの焦点距離等を取得してもよい。仮想カメラ生成部２０３は、取得したパラメータの仮想カメラを正面の方向とし、その位置と方向を基準として、背面・右・左・上・下の５方向へ回転させた仮想カメラを複製する。なお、複製する仮想カメラの個数は５に限らない。

以下、より具体的に説明する。図４（ａ）に、パラメータ取得部２０１が取得した仮想カメラ４０１を示す。図４（ａ）は、仮想カメラ４０１を上（ｚ軸）から見た図である。仮想カメラ４０１の位置３０１と姿勢３０２は、基点操作ＵＩ１０５から通知されたものである。図４（ｂ）（ｃ）に、仮想カメラを複製した図を示す。図４（ｂ）は、上（ｚ軸）から見た図であり、図４（ｃ）は、横（ｙ軸）から見た図である。図４（ｂ）には、図４（ａ）に示した仮想カメラ４０１と、それから複製した３つの仮想カメラ４０２、４０３、４０４が示されている。

各仮想カメラは、仮想カメラ４０１と同じ位置において、仮想カメラ４０１をｚ軸回り（Yaw方向）へ、９０度、１８０度、２７０度回転させ、複製したものである。つまり、仮想カメラ４０１の姿勢を正面とすると、その姿勢方向をｘ軸とし、その位置を原点とする座標軸を設定し、仮想カメラ４０２は右向き（ｙ軸方向）、仮想カメラ４０３は背面（－ｘ軸方向）、仮想カメラ４０４は左向き（－ｙ軸方向）の姿勢となる。

図４（ｃ）には、図４（ａ）に示した仮想カメラ４０１と、複製した３つの仮想カメラ４０５、４０３、４０６が示されている。仮想カメラ４０３は図４（ｂ）に示したものである。仮想カメラ４０５、４０６は、位置は仮想カメラ４０１と同じまま、仮想カメラ４０１をｙ軸回り（roll方向）へ、９０度、２７０度回転させ、複製したものである。つまり、仮想カメラ４０１の姿勢を正面とすると、仮想カメラ４０５は上向きの姿勢（ｚ軸方向）、仮想カメラ４０６は下向きの姿勢（－ｚ軸方向）となる。図４（ｄ）に、上記６つの仮想カメラを図示したものを示す。簡単のため、各仮想カメラの位置、姿勢、後方クリップ面のみ図示する。

図４（ｄ）に示す様に仮想カメラ４０１のクリップ面を正方形とすると、仮想カメラ４０１～４０６のクリップ面は立方体の各面となる。先述の様に、仮想カメラ４０１～４０６の姿勢は、順に、正面・左、背面、右、上、下の向きとなる。これらの仮想カメラを用いて、図５に説明したような複数の仮想視点画像の描画処理を実行すれば、視線方向が異なる仮想視点画像を得ることができる。それら仮想視点画像を合わせたパノラマ画像の生成処理も図５で説明したとおりである。

なお、第３実施形態では、基点操作ＵＩ１０５で操作する仮想カメラを正面方向に設定しているが、それをユーザ端末１１２で最初に表示する方向となる様にパノラマ画像を生成してもよい。すなわち、パノラマ画像生成部２０５は、基点操作ＵＩ１０５による操作対象の仮想カメラの方向が、最初に表示されるパノラマ画像の正面方向となるようにパノラマ画像を生成するようにしてもよい。

以上に説明した様に、第３実施形態によれば、基点操作ＵＩ１０５にジョイスティックを用いたので、仮想カメラの位置と姿勢を緻密に操作できる。また、操作対象の仮想カメラの位置を基点とし、その仮想カメラの視線方向を基準として、視線方向の異なる複数の仮想視点画像が描画される。したがって、操作対象仮想カメラを複製して得られる複数の仮想視点画像や、それらを合わせて生成するパノラマ画像の傾きを自由に指定できる。

例えば、サッカー等のフィールドスポーツの場合においては、平面に沿った仮想カメラの移動が主であるため必要とされる機会は少ないが、立体的に移動するスポーツにおいて、垂直方向にも解像感の高いパノラマ画像を生成できる。例えば、棒高跳びや体操等がある。以上のように、第３実施形態の基点操作ＵＩ１０５を柔軟に操作することで、水平と垂直方向の両方の組み合わせを使用した特徴的な印象を持つパノラマ画像を生成することが可能である。

［第４実施形態］
第４実施形態では、位置測位技術を用いて、パノラマ画像の基点を指定する。第４実施形態では、例えば、位置測位技術としてＧＰＳを用い、サッカーやラグビー等のフィールドスポーツにおいて、選手が装着するプロテクタ等に位置測位タグを装着して、各選手の位置をリアルタイムに取得する。ここで、ＧＰＳとは、Global Positioning Systemである。なお、位置測定技術、位置測位タグは公知のため具体的な説明を省略する。なお、位置測位方法はＧＰＳに限定されない。例えば、画像処理装置１０４の三次元モデル生成部２０２で生成した各選手の三次元モデルから得られる座標を使用しても良い。また、第３実施形態において、パノラマ画像生成システム（図１）、画像処理装置の構成（図２）、画像処理装置１０４における各処理（図３～６）は、第１実施形態と同様である。

第１実施形態～第３実施形態では、基点操作ＵＩ１０５を用い、手動でパノラマ画像の基点を指定する。これに対して、第４実施形態では、撮像領域に含まれる人物や物体などの被写体に位置測位タグを付与し、それから自動で得られる位置情報をパノラマ画像の基点として指定する。

（パノラマ画像の基点指定方法）
被写体に付与した位置測位タグから得る座標を、パノラマ画像の基点へ指定する方法を説明する。

まず、位置測位タグを被写体に付与する点について説明する。例えば、撮像領域が図３（ｂ）に示すサッカーのフィールド３２１の場合、フィールドに含まれるボール３２２や選手３２３などの被写体へ位置測位タグを装着し、それらの位置情報を取得する。座標系は図３（ａ）（ｂ）に示したものを使用する。例えば、ボール３２２の座標は（ｘ、ｙ、ｚ）＝（ｘ３，ｙ３，ｚ３）とし、選手３２３は（ｘ、ｙ、ｚ）＝（ｘ４，ｙ４，ｚ４）とする。位置測定タグを装着する選手は一人に限られるものではなく、複数の選手のそれぞれに位置測位タグを装着してそれぞれから座標を取得してもよい。

基点操作ＵＩ１０５は、それらの位置情報のうちの１つを選択し、画像処理装置１０４（または、パラメータ取得部２０１）へ、パノラマ画像の基点座標として通知する。例えば、位置情報の１つを選択するために、基点操作ＵＩ１０５は、図７に示したような、撮像領域の俯瞰画像を表示するタッチパネルディスプレイ７０２を有するタブレット７０１等を備える。基点操作ＵＩ１０５は、撮像領域の俯瞰画像７０３に対するタッチ操作を受け付け、検知した操作座標（例えば、座標７３１）と、ボールおよび各選手の座標との当たり判定を行う。基点操作ＵＩ１０５は、当たり判定の判定結果が真となるボールまたは選手の位置情報を選択し、その座標を通知する。なお、撮像領域内の被写体に付与された位置測位タグから取得される位置またはその取得位置を規定量移動させた位置を、パノラマ画像の基点の位置に設定するようにしてもよい。すなわち、通知する座標は、位置測位タグから取得した座標値から、一定量を移動させた座標値を通知してもよい。例えば、ｘ、ｙ座標は位置測位タグから取得した値を使用し、ｚ座標の値を一定量、上空へずらした値を使用してもよい。なお、基点操作ＵＩは、座標に加えて方向を通知してよい。例えば、選手の進行方向や顔の向きを位置測位タグより取得し、それを方向として通知してもよい。そして、その方向がユーザ端末１１２で最初に表示する方向となる様にパノラマ画像を生成してもよい。

例えば、図７（ｂ）の例では、タップ位置の座標７３１に対して、センターサークル内にいる選手の座標との当たり判定が真となり、その選手の座標を、パノラマ画像の基点座標として画像処理装置１０４へ通知する。なお、当たり判定において真となるものが無い場合は、前回の当たり判定において真となった位置情報を選択した状態を継続してもよい。なお、パノラマ画像の基点座標として位置情報の１つを選択する操作は、連続して行うことができ、パノラマ画像の基点座標とするボールや選手は自由に切り替え可能である。

画像処理装置１０４が、パノラマ画像の基点座標を受け取った後の処理は、第１実施形態（図４～図６）と同様である。

以上のように、第４実施形態によれば、撮像領域に含まれる人物や物体を基点としたパノラマ画像を得ることができる。例えば、撮像領域がサッカーの試合中のフィールドの場合、ボールや注目する選手を基点としたパノラマ画像を生成し、それらを手元のユーザ端末で閲覧できる。

［第５実施形態］
第５実施形態では、撮像領域を囲む様に配置する複数カメラで撮像した多視点画像を用いて、半球の内側に描画し、それからパノラマ画像を生成する処理について説明する。なお、第５実施形態の仮想映像視点生成システム（図１）は第１実施形態と同様である。以下、主に第１実施形態と異なる部分を説明する。

（画像処理装置の構成）
図８を参照し、第５実施形態における画像処理装置１０４の機能構成を説明する。パラメータ取得部２０１と画像出力部２０６は、第１実施形態（図２（ａ））と同様である。第５実施形態では、パノラマ画像の基点となる位置から観察される、多視点画像に基づいて描画される仮想視点画像として、いわゆる魚眼画像を描画する。半球描画部８０１は、データベース１０３より取得した多視点画像を基に、基点座標を中心とした半球の内面に画像を仮想視点画像として描画する。半球描画部８０１は、半球内面の各画素と多視点画像の各画素が対応付けられた対応表を用いて描画処理を行う。半球描画処理については図９の参照により後述する。パノラマ画像変換部８０２は、半球描画部８０１が出力する半球画像をパノラマ画像へ変換する。この変換処理については図９の参照により後述する。画像処理装置１０４のハードウェア構成は第１実施形態（図２（ｂ））と同様である。

（パノラマ画像の生成処理）
図９と図１０を参照し、本実施形態におけるパノラマ画像の生成処理について説明する。図９は第５実施形態によるパノラマ画像の生成処理を示すフローチャートである。図１０（ａ）は撮像領域の少なくとも一部を含む様に設定される半球の例であり、図１０（ｂ）はその半球の内面に描画される半球画像である。図１０（ａ）の例では、撮像領域をスタジアムのフィールド３２１とし、基点座標１００１を中心として半球１００２が設定されている。座標系は図３（ａ）（ｂ）と同様である。例えば、基点座標１００１には原点（０，０，０）が設定される。

ステップＳ９０１では、パノラマ画像変換部８０２が、多視点画像から半球画像へ変換するための変換テーブルをＲＡＭ２１２等から読み出す。変換テーブルは、基点座標１００１を中心とした半球１００２内面の各画素と、センサシステム１０１に含まれる１つのカメラで撮像した多視点画像の１つに含まれる画素との対応付けを管理したテーブルである。

対応付けは全画素について説明しないが、大まかな対応付けを図１０（ａ）（ｂ）に示す。図１０（ａ）（ｂ）の両図において、基点座標１００１から半球内面を指すベクトル１０１１～１０１４の各々は同じものを示す。例えば、ベクトル１０１１はフィールドの長軸に平行に設定したｘ軸方向であり、図中の右のゴール方向を示す。ベクトル１０１１を正面方向とすると、ベクトル１０１２はｙ軸方向（左方向）を示し、ベクトル１０１３は－ｘ軸方向（背面方向）、ベクトル１０１４は－ｙ軸方向（右方向）についても同様である。

なお、半球１００２の基点座標１００１を変更した場合や、センサシステム１０１の各センサの有するカメラの位置や姿勢を変更した場合は、対応表の変更が必要になる。すなわち、多視点画像の画素と半球内面の画素との対応を示す変換テーブルは、基点座標ごとに生成され、ＲＡＭ２１２等に格納されている。パノラマ画像変換部８０２は、設定された基準点に対応する変換テーブルを選択して用いる。

なお、図１０（ｂ）の例では、中心の基点座標１００１が原点であり、半球１００２の平面部（フィールド等の地面）は表示されていない。中心の基点座標１００１によっては半球１００２の平面部についても、センサシステム１０１が有する少なくとも１つのカメラが撮像した画像に含まれる画素を対応付けることが可能である。

ステップＳ９０２、Ｓ９０３、Ｓ９０４では、パノラマ画像変換部８０２が、生成する半球画像の画素毎に、ステップＳ９０１で取得した変換テーブルにおいて対応する多視点画像の画素値を読み出し、その値を設定する。ステップＳ９０５では、パノラマ画像変換部８０２が、半球画像をパノラマ画像へ変換する。半球画像は魚眼画像とも呼ばれ、公知のパノラマ画像変換を用いることができる。変換したパノラマ画像を図１０（ｃ）に示す。なお、半球画像において他視点画像との対応付けが無い画素はパノラマ画像において黒色で表示してもよい。

パノラマ画像のフォーマットは第１実施形態のパノラマ画像（図６（ｂ）（ｄ））と同様とすることができ、第１実施形態と同様に、配信サーバ１１１に送信しユーザ端末１１２で閲覧できる。

以上のように、第５実施形態によれば、第１実施形態～第４実施形態とは異なり、それぞれ視線方向が異なる複数の仮想視点に応じた複数の仮想視点画像を描画することなく、撮像領域を囲む様に配置された複数カメラが撮像した多視点画像を用いて、パノラマ画像を生成することができる。

以上説明したように、上記各実施形態によれば、複数カメラを用いて異なる位置から同期撮像を行って得られた多視点画像を使用してパノラマ画像を生成することができる。また、撮像領域の任意の位置をパノラマ画像の基点として指定するための簡単な操作も提供する。したがって、上記各実施形態によれば、撮像装置が入れないような場所であっても、簡単な操作でユーザが任意の位置を指定し、その位置を基点としたパノラマ画像を生成することができる。例えば、スタジアムにてスポーツの試合中に、フィールド内の任意の位置を基点としたパノラマ画像を生成することができる。また、生成されたパノラマ画像において、視聴者は好きな方向を選択し、まさに試合中の選手やそのプレイを間近に閲覧できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４：画像処理装置、１０５：基点操作ＵＩ、１１１：配信サーバ、１１２：ユーザ端末、２０１：パラメータ取得部、２０３：仮想カメラ生成部、２０４：仮想視点描画部、２０５：パノラマ画像生成部、２０６：画像出力部

Claims (18)

1. 複数の撮像装置により撮像される撮像領域内に設定される特定位置を視点位置とし、互いに異なる視線方向を有する複数の仮想視点を決定する決定手段と、
   前記複数の撮像装置の撮像により取得された複数の画像に基づいて、前記決定手段により決定された前記複数の仮想視点に対応する複数の仮想視点画像を生成する仮想視点画像生成手段と、
   前記仮想視点画像生成手段により生成された前記複数の仮想視点画像に基づいて、前記撮像領域内の前記特定位置を基準とするパノラマ画像を生成するパノラマ画像生成手段と、を有することを特徴とする画像処理システム。
2. 前記決定手段により決定される前記複数の仮想視点は、前記特定位置を含む第１の平面上に複数の視線方向が含まれる仮想視点と、前記特定位置を含み前記第１の平面に垂直な第２の平面上に複数の視線方向が含まれる仮想視点と、を含むことを特徴とする請求項１に記載の画像処理システム。
3. 前記決定手段により決定される前記複数の仮想視点は、前記第１の平面上におけるそれぞれ異なる４以上の視線方向に対応する４以上の仮想視点と、前記第２の平面上におけるそれぞれ異なる２以上の視線方向に対応する２以上の仮想視点とを含むことを特徴とする請求項２に記載の画像処理システム。
4. 前記パノラマ画像生成手段により生成される前記パノラマ画像は、正距円筒図法に従った画像であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。
5. 前記パノラマ画像生成手段により生成される前記パノラマ画像は、前記特定位置を基準とする水平面上における３６０度方向の画像を含むことを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。
6. 前記パノラマ画像生成手段により生成される前記パノラマ画像は、全天球画像であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。
7. ユーザ操作に基づいて前記特定位置を設定する設定手段をさらに有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理システム。
8. 前記設定手段は、前記ユーザ操作に応じて入力された座標値に対応する位置を前記特定位置として設定することを特徴とする請求項７に記載の画像処理システム。
9. 前記撮像領域の俯瞰画像を表示部に表示させる表示制御手段をさらに有し、
   前記設定手段は、前記表示制御手段により前記表示部に表示された前記俯瞰画像における前記ユーザ操作に応じた指示位置に基づいて、前記特定位置を設定する、ことを特徴とする請求項７に記載の画像処理システム。
10. 前記表示部は、タッチパネルディスプレイであり、
    前記設定手段は、前記俯瞰画像を表示している前記タッチパネルディスプレイへのタッチ入力の位置を前記指示位置として用いて、前記特定位置を設定することを特徴とする請求項９に記載の画像処理システム。
11. 前記撮像領域内のオブジェクトに応じた位置を、前記特定位置として設定する設定手段をさらに有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理システム。
12. 前記撮像領域の俯瞰画像を表示部に表示させる表示制御手段を有し、
    前記設定手段は、前記表示制御手段により前記表示部に表示された前記俯瞰画像に含まれる複数のオブジェクトのうちユーザ操作に基づいて選択されたオブジェクトに応じた位置を、前記特定位置として設定する、ことを特徴とする請求項１１に記載の画像処理システム。
13. 前記パノラマ画像生成手段により生成されるパノラマ画像の初期表示に対応する視線方向は、ユーザにより操作される仮想カメラの向き、又は、前記撮像領域内のオブジェクトの向きに基づいて決まることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理システム。
14. 前記特定位置は、前記複数の撮像装置の位置とは異なる位置であることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理システム。
15. 前記特定位置を連続的に移動させる制御手段を有し、
    前記パノラマ画像生成手段は、前記制御手段による前記特定位置の移動に応じた動画のパノラマ画像を生成することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理システム。
16. 前記複数の画像に基づいて、前記撮像領域内のオブジェクトの３次元形状情報を生成する生成手段をさらに備え、
    前記仮想視点画像生成手段は、前記３次元形状情報に基づいて、前記複数の仮想視点に対応する複数の仮想視点画像を生成する、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理システム。
17. 複数の撮像装置により撮像される撮像領域内に設定された特定位置を視点位置とし、互いに異なる視線方向を有する複数の仮想視点を決定する決定工程と、
    前記複数の撮像装置の撮像により取得された複数の画像に基づいて、前記決定工程により決定された前記複数の仮想視点に対応する複数の仮想視点画像を生成する仮想視点画像生成工程と、
    前記仮想視点画像生成工程により生成された前記複数の仮想視点画像に基づいて、前記撮像領域内の前記特定位置を基準とするパノラマ画像を生成するパノラマ画像生成工程と、を有することを特徴とする画像処理システムの制御方法。
18. コンピュータを、請求項１乃至１６のいずれか１項に記載された画像処理システムの各手段として機能させるためのプログラム。

Images