JP2004265396A - 映像生成システム及び映像生成方法 - Google Patents

Abstract

【課題】 実写映像をもとに、簡単にリアリティのあるウォークスルーアニメーションの生成を可能とする映像生成システム及び映像生成方法を提供する。
【解決手段】 自動車１０と、周方向の映像を撮影して画像データを出力するビデオカメラ３０と、奥行き情報を出力するレーザーレンジスキャナ２０と、コンピュータ４０とを備え、コンピュータ４０は、奥行き情報に基づいて所定時間ごとに周囲の物体の位置を特定し、特定された周囲の物体の位置に対して自動車１０の走行軌跡Ｔを特定して走行軌跡Ｔ上の自動車１０の位置を表わす位置情報及び進行方向を表わす進行方向情報を算出する処理と、画像データに基づいて所定時間ごとに走行軌跡Ｔ上から見た全周囲方向を表示するパノラマ画像Ｐｎを生成する処理と、奥行き情報，位置情報，進行方向情報及びパノラマ画像に基づいて、ウォークスルーアニメーションを生成する処理を行う。
【選択図】 図２

Description

本発明は映像生成システム及び映像生成方法に係り、特に、実際のリアルさを実現したウォークスルーアニメーションを生成するための、映像生成システム及び映像生成方法に関する。

近年、実際の都市環境をコンピュータ内に仮想的に生成し、この仮想３次元都市空間をナビゲーションシステム、ゲーム、映画などに利用することが行われている。ユーザーは、この仮想３次元都市空間内を仮想的に移動することができ、ウォークスルーアニメーションによってあたかも実際の都市内で移動しているかのような体験をすることができる。
このウォークスルーアニメーションは、道案内や観光案内、美術館案内、不動産販売を始め、様々な分野で利用されている。例えば、観光案内等としては、仮想の３Ｄ都市空間である「デジタルシティ」中でバスツアーやドライブ等をウォークスルーアニメーションで体験できる。
また、２次元地図が３次元化され、これが自動車や歩行者等のためのナビゲーションシステムに利用されている。

また、美術館案内としては、ホームページ上において美術館のヴァーチャルツアーを行うサービスが提供されている。このサービスでは、ホームページ内で美術館内の所望の部屋を選択すると、部屋の中心から見た部屋内の３６０度にわたるパノラマ画像が表示され、ユーザーは各部屋に配置された美術作品を自由に見回すことができる。
また、不動産販売としては、ホームページ上でモデルルームや物件近隣の映像を立体的に観賞できるサービスが提供されている。このサービスでは、自在に画像を動かしてモデルルームにいるかのごとく物件を見学できる。また、最寄り駅から物件までの道程を画面で見ることができる。ユーザーは、このサービスにより物件付近の環境を一覧することが可能で、現地に行かなくとも周囲のイメージをつかむことができる。

上記のような仮想空間やウォークスルーアニメーションを生成するには、大きく２つの手法がある。
一つ目は、モデル・ベースト・レンダリングと呼ばれる手法であり、物体の「立体形状」を入力して（モデリングして）いくものである。具体例には、ウォークスルーアニメーションやＶＲＭＬ、ＣＡＤ、ゲームなどで３次元的な表現を作り出すために利用されている。

２次元地図データを３次元化する場合には、立体形状を特定するために、実際に地物の高さ情報を取得する必要がある。この技術として、地物の映像を２方向から取得し、この映像及び位置情報から地物の高さを計算する技術が提案されている（例えば、特許文献１参照）。この技術では、効率よく地物の高さ情報を取得できるものの、広大な範囲にある地物について個々に高さ情報を計算するには非常な時間が掛かり、リアリティのある仮想３次元空間を形成するには手間が掛かるという問題があった。

また、上記モデル・ベースト・レンダリングは、非常に専門的な技術を要すると共に、実際の物体の表面形状や反射パラメータ等の光学特性の取得が困難であるという問題がある。すなわち、この手法では、光学特性として簡単な色と反射モデルが使用されることにより、実際の空間に比較して見栄えが乏しいという欠点がある。
これを改善するために、仮想空間内の建物の側面に実際の写真をテクスチャーとして貼る等の手法が提案されている（例えば、特許文献２参照）。しかしこの手法では、テクスチャーの取得に時間や費用が多くかかるといった欠点がある。また、いかに技術が高度になっても、現実世界のリアリティを完全に再現することはできないため、実際にその場所の環境や雰囲気をよく知ることはできない。

二つ目は、イメージ・ベースト・レンダリングという手法である。この手法は、写真や映像など現実世界を撮影した画像を大量に蓄積し、これらの実写画像を様々に加工・処理し再構築することで、撮影点以外の視点での映像をも作り出すという手法である。
つまり、この手法は、モデルを生成せずに、物体やシーンの見え方そのものを入力画像として記録・蓄積しておき、これらを再合成することで新しい画像を生成するものである。この手法では対象物体の形状や反射特性を考慮する必要がないため、モデル化が困難な物体に対しても適用することができ、実際の空間と略同程度のリアリティを得ることができる（例えば、特許文献３参照）。

このようなイメージ・ベースト・レンダリングを用いて広域空間を生成するには、大量の都市空間の実写画像と撮影された位置と方向、さらに実写画像内に映っている物体の撮影地点から奥行き情報が必要となる。
例えば、物体の撮影地点からの奥行き情報を取得するために、ステレオマッチングによる情報取得方法がある。この方法では、まず元となる実写画像を車載型撮影システムにより実際に都市空間を撮影し取得する。さらに奥行き情報を得るために、ＧＰＳなどで得た位置・姿勢情報が既知の二画像から、エピポーラ拘束を利用した対応点マッチングを行い、ステレオマッチングの原理を利用して対応点の奥行き値を導出する方法をとる。そして大量の実写画像と奥行き情報をもとに、仮想空間の生成を行う。

或いは、ＥＰＩ解析により奥行き情報を取得する方法がある。この方法では、同様に車載型撮影システムを使用し、実写画像を取得する。そして、カメラと建物の間の距離である奥行き情報の推定には、ＥＰＩ（Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ）画像上の傾きを調べ、物体の奥行き情報を推定する手法を用いている。そして大量の実写画像と奥行き情報をもとに、光線空間という概念を用い、都市空間という広域環境をリアルに構築する。

特開２０００−７４６６９号公報（第４頁〜第８頁） 特開２００３−６６８０号公報（第３頁〜第１９頁） 特開平１０−２１４０６９号公報（第４頁〜第１０頁）

広域空間を対象とした既存技術では、このように撮影された画像の位置や方向は、ＧＰＳなどにより取得されている。しかし、ＧＰＳでの測位では、ビルの谷間など正確な位置を受信できない地域が多いという問題がある。

また、奥行き情報の取得には、主に得られた画像を処理することによって奥行き情報の推定が行われている。このような画像処理によって奥行き情報を得るためには、１．振動、ノイズ、光源環境の変化などの影響を受けるため正確な３次元情報を得ることが難しいこと、２．撮影経路は直線である必要性があること、３．カメラの速度が一定という条件があること、など問題が多い。
実際、道路を走って取得された画像データ等から位置や奥行きを推定する処理を行なう場合、様々な環境要因によって正確な位置情報や奥行き情報を得ることはかなり難しいものとなっていた。

また、従来のウォークスルーアニメーションでは、例えば、自動車等が交差点で右左折する場合、表示される映像は、現在走っている道路の映像から、いきなり曲がった後の道路の映像に切り替わっていた。このため、本当に曲がったのか、また右折したのか左折したのかどうかわからないという問題があった。
さらに交差点には、店舗や看板など価値ある情報を持った地物が多く存在しており、映像が急に切り替わるとこれらの情報を十分に把握できない可能性があるという問題があった。

これを解決するために、交差点（例えば十字路）で右左折するときの連続した映像をウォークスルーアニメーションで提供する場合、実際に取得しなければならない映像は、１つの交差点につき右左折×４方向と直進×（上下方向２直線＋左右方向２直線）の合計１２通り必要となり、非常に非効率的である。

本発明の目的は、実写映像をもとに映像処理によって広域空間を表現するイメージ・ベースト・レンダリングという手法を用いて、簡単にリアリティのあるウォークスルーアニメーションの生成を可能とする映像生成システム及び映像生成方法を提供することにある。
本発明の他の目的は、交差点でのリアルな右左折映像や任意視点からの映像を、従来のように手間をかけることなく生成することが可能な、映像生成システム及び映像生成方法を提供することにある。

前記課題は、本発明の映像生成システムによれば、移動体と、該移動体に配設され該移動体の周方向の映像を撮影して画像データを出力するカメラと、前記移動体に配設され該移動体の周囲の物体との距離を表わす奥行き情報を出力する水平レーザーと、前記画像データ及び前記奥行き情報を処理するデータ処理装置と、を備え、前記データ処理装置は、前記奥行き情報に基づいて所定時間ごとに前記移動体に対する周囲の物体の位置を特定し、該特定された周囲の物体の位置に対して前記移動体が移動した走行軌跡を特定して該走行軌跡上の前記移動体の位置を表わす位置情報及び進行方向を表わす進行方向情報を算出する処理と、前記画像データに基づいて所定時間ごとに前記走行軌跡上から見た全周囲方向を表示するパノラマ画像を生成する処理と、前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいて、ウォークスルーアニメーションを生成する処理を行うことにより解決される。

このように、本発明の映像生成システムによれば、移動体が移動した走行軌跡上の位置情報を、ＧＰＳ等の測位機器を用いることなく、水平レーザーによって測定した奥行き情報から特定することができる。水平レーザーによれば、ビル等の谷間の位置においても正確な距離測定が可能である。
また、水平レーザーを用いることにより、測定点から建物等の物体までの奥行き距離を直接的に測定することができ、位置精度が向上する。
そして、本発明では、実際に撮影した映像と奥行き情報とを用いることによって、リアリティのあるウォークスルーアニメーションを生成することが可能となる。

また、前記データ処理装置は、前記ウォークスルーアニメーションを生成する処理において、互いに交差する走行軌跡における前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいて、一方の走行軌跡から他方の走行軌跡へ進行方向を変更する映像を生成する交差点右左折映像生成処理を行い、該交差点右左折映像生成処理では、一方の走行軌跡における前記ウォークスルーアニメーションの視点が前記走行軌跡の交差する点に近づくにつれて、前記一方の走行軌跡におけるパノラマ画像のうち進行方向から周方向に視線をずらした部分を前記ウォークスルーアニメーションの表示画像とすることを特徴とする。

このように、本発明では、交差する走行軌跡において、直進映像を取得するだけで、一方の走行軌跡から他方の走行軌跡へ曲がるときの自然なウォークスルーアニメーションを生成することができる。したがって、取得すべき映像が少なくて済むので、手間が掛からず、映像生成の時間やコストを大幅に削減することができる。

また、前記データ処理装置は、前記ウォークスルーアニメーションを生成する処理において、前記走行軌跡外の視点における映像を生成する任意視点映像生成処理を行なうことを特徴とする。
より詳細には、前記データ処理装置は、前記ウォークスルーアニメーションを生成する処理において、前記走行軌跡外の視点からの所定の視野角度範囲の映像を生成する任意視点映像生成処理処理を行い、該任意視点映像生成処理では、前記視点から前記視野角度範囲内の各角度方向に引いた直線と前記走行軌跡とが交差する各交点を特定し、該各交点における前記パノラマ画像のうち、前記視点を含む画像部分を切り出し、前記各交点から前記各角度方向にある周囲の物体までの距離と前記視点から前記各角度方向にある周囲の物体までの距離とを前記奥行き情報に基づいて算出すると共にこれらの距離の比を算出し、前記画像部分を、前記比によって拡大又は縮小して走行軌跡外部分画像を生成し、該走行軌跡外部分画像を連結して走行軌跡外映像を生成するように構成することができる。

このように、本発明では、走行軌跡以外の視点からの映像を、走行軌跡からの映像を拡大・縮小および連結することにより生成することができる。これにより、見え方が自然であって、かつ、リアリティのある映像を生成することができる。

本発明の映像生成方法は、全方位カメラで撮影位置の全周方向の画像データを取得する工程と、周囲の物体との距離を測定する水平レーザーで該水平レーザーと周囲の物体との奥行き情報を取得する工程と、前記奥行き情報に基づいて所定時間ごとに前記移動体に対する周囲の物体の位置を特定し、該特定された周囲の物体の位置に対して前記移動体が移動した走行軌跡を特定して該走行軌跡上の前記移動体の位置を表わす位置情報及び進行方向を表わす進行方向情報を算出する工程と、前記画像データに基づいて所定時間ごとに前記走行軌跡上から見た全周囲方向を表示するパノラマ画像を生成する工程と、前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいてウォークスルーアニメーションを生成する工程と、を備えたことを特徴とする。

また、前記ウォークスルーアニメーションを生成する工程では、互いに交差する走行軌跡における前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいて、一方の走行軌跡における前記ウォークスルーアニメーションの視点が前記走行軌跡の交差する点に近づくにつれて、前記一方の走行軌跡におけるパノラマ画像のうち進行方向から周方向に視線をずらした部分を前記ウォークスルーアニメーションの表示画像とする処理を行なうことを特徴とする。

また、前記ウォークスルーアニメーションを生成する工程では、前記走行軌跡外の視点における映像を生成する処理を行なうことを特徴とする。
より詳細には、前記ウォークスルーアニメーションを生成する工程では、前記走行軌跡外の視点から前記視野角度範囲内の各角度方向に引いた直線と前記走行軌跡とが交差する各交点を特定し、該各交点における前記パノラマ画像のうち、前記視点を含む画像部分を切り出し、前記各交点から前記各角度方向にある周囲の物体までの距離と前記視点から前記各角度方向にある周囲の物体までの距離とを前記奥行き情報に基づいて算出すると共にこれらの距離の比を算出し、前記画像部分を、前記比によって拡大又は縮小して走行軌跡外部分画像を生成し、該走行軌跡外部分画像を連結して走行軌跡外映像を生成することを特徴とする。

なお、本明細書において、アニメーションとは動画のことであり、より具体的には、実写映像からなる動画により、所定の場所を移動した場合と同じような表示を行なうことを意味するものである。

本発明によれば、車載カメラシステムによって取得した実写映像とレーザーレンジスキャナで取得した奥行き情報を用いることにより、簡単にリアリティのあるウォークスルーアニメーションの生成を可能とする映像生成システム及び映像生成方法を提供することができる。
さらに、交差点でのリアルな右左折映像や任意視点からの映像を、従来のように手間をかけることなく、リアルに再現することが可能となる。

以下、本発明の一実施の形態を図面に基づいて説明する。以下の説明では本発明に関わる映像生成システムや映像生成方法について説明しているが、この説明例において、本発明には、映像生成方法、これに関する映像生成システムに所定処理を行わせるためのプログラム、記憶媒体等も含まれることは勿論である。

図１から図３７は、本発明の実施例に係るものであり、図１は映像生成システムの説明図、図２は映像生成システムの構成を表わす説明図、図３はビデオカメラ及びレーザーレンジスキャナの配置を表わす説明図、図４はビデオカメラによる映像重複距離の計算のための説明図である。
図５から図９は奥行き情報の処理に関するものであり、図５は走行軌跡データ取得処理の流れ図、図６はレンジ画像の一例を示す説明図、図７はレンジ画像のデータ処理を説明する説明図、図８は走行軌跡画像の一例を示す説明図、図９は走行軌跡データの一例を示す説明図である。
図１０から図１５はパノラマ画像生成処理に関するものであり、図１０はパノラマ画像生成処理の流れ図、図１１は隣合う３台のビデオカメラによる画像の一例を示す説明図、図１２はビデオカメラ画像の重複部分を削除する処理を説明する説明図、図１３は重複部分を削除したビデオカメラ画像の一例を示す説明図、図１４は隣合うビデオカメラ画像の端部の重複部分のヒストグラム、図１５は８台のビデオカメラによる画像からパノラマ画像を生成する処理を説明する説明図である。

図１６から図１８は右左折映像生成処理に関するものであり、図１６は交差点における右左折映像を生成する処理の説明図、図１７は交差点における右左折映像を生成する処理の流れ図、図１８は交差点における左折映像を生成する処理の説明図である。
図１９から図２５は任意視点映像生成処理に関するものであり、図１９は任意視点映像を生成する処理の説明図、図２０は任意視点映像を生成する処理の流れ図、図２１は任意視点映像を生成する処理の説明図、図２２は任意視点映像を生成する処理の説明図、図２３はパノラマ画像及びピクセルラインの説明図、図２４は視点Ｐから見たピクセルラインの生成処理を説明する説明図、図２５は生成されたピクセルラインの配置を示す説明図である。
図２６から図３７は具体例に係るものであり、図２６は左折映像生成に使用した走行軌跡画像を示す説明図、図２７は左折映像の一例を示す説明図、図２８はフレームごとの移動パラメータを示す説明図、図２９は右折映像生成に使用した走行軌跡画像を示す説明図、図３０は右折映像の一例を示す説明図、図３１はフレームごとの移動パラメータを示す説明図である。また、図３２は任意視点映像生成に使用した走行軌跡画像を示す説明図、図３３は任意視点映像生成に使用した走行軌跡データを示す説明図、図３４から図３７は任意視点の位置と任意視点からの画像を示す説明図である。

本発明の映像生成システムＳは、図１に概略示すように、移動体としての自動車１０と、この自動車１０に載置される水平レーザーとしてのレーザーレンジスキャナ２０と、ビデオカメラ３０と、データ処理装置としてのコンピュータ４０と、から構成されている。映像生成システムＳは、自動車１０により移動することができる。
ビデオカメラ３０およびレーザーレンジスキャナ２０は、それぞれコンピュータ４０に電気的に接続され、図２に示すように、ビデオカメラ３０からは画像データ、レーザーレンジスキャナ２０からは周囲の建物等の側面までの奥行き情報がコンピュータ４０へ出力されるように構成されている。

図１に示すように、自動車１０のルーフには、システムキャリア１１が固定され、このシステムキャリア１１上に縦３０ｃｍ、横３０ｃｍ、高さ６０ｃｍのアングル台１２が固定されている。そして、このアングル台１２の上に、台座３１が配設されている。そして、この台座３１上には、レーザーレンジスキャナ２０およびビデオカメラ３０が取り付けられている。アングル台１２は、ビデオカメラ３０の位置を高くすることにより、システムキャリア１１や車体がビデオカメラ３０で撮影された映像に写ってしまうことを防ぐために設けられている。
また、微振動や縦揺れを軽減させるために、不図示の防振材がアングル台１２と台座３１との間に装着されている。本例では、防振材として、ＧＥＬＴＥＣ社製インシュレータＭＮ−５を使用している。この防振材はαゲルでできており、固有振動数が低く設定されているため低周波数域の防振が可能であり、上下左右全方向の防振が期待される。
このように配設されたビデオカメラ３０は、地上からの高さがおよそ２．３ｍとなった。

レーザーレンジスキャナ２０は、レーザーを水平方向に出射して映像生成システムＳと建物等の対象物と間の奥行き情報（距離情報）を計測する。レーザーレンジスキャナ２０としては、例えば、ＩＢＥＯ ｌａｓｅｒｔｅｃｈｎｉｋ社製のＬＤ−Ａを用いることができる。レーザーレンジスキャナ２０を用いることによって、建物などの対象物と撮影位置との距離を直接測定し、奥行き情報を取得することができる。したがって、レーザーレンジスキャナ２０によれば、外部要因等に影響されることが少なく、撮影した画像から画像処理によって推定された奥行き情報よりも正確な奥行き情報を取得することができる。

レーザーヘッダはｓｉｎｇｌｅ−ｒｏｗ方式であり、１秒間で２０回転（１回転は３００度）するように構成されている。最大計測距離は７０ｍであり、レーザーヘッダの１回転で４８０のレンジポイントを計測することができる。すなわち、７０ｍ先にある対象物を約２５ｃｍのポイント間隔で測定することができる。計測誤差は３ｃｍである。
このレーザーレンジスキャナ２０により、奥行き情報、すなわち、センサー位置（レーザーレンジスキャナ２０本体）と映像生成システムＳの周囲にある対象物（建物）との間の距離情報およびこのときのレーザーの照射方位情報を継続的に取得することができる。そして、この奥行き情報から建物の側面形状を取得することが可能となる。
レーザーレンジスキャナ２０で取得された奥行き情報は、レーザーヘッダが１回転する毎に１周期のデータとしてコンピュータ４０へ出力される。コンピュータ４０は、この奥行き情報を受信して、モニター表示したり、記憶部内に保存したりする。

コンピュータ４０は、ＣＰＵ、入力部、出力部、記憶部、表示部等を備えており、必要であれば、通信制御部を備えた構成とされる。
ＣＰＵは、所定のプログラムにしたがって、データの表示や保存及び処理を行う。記憶部は、ＨＤＤ，ＲＯＭ，ＲＡＭから構成されている。ＲＯＭには、コンピュータシステムのハードウェア制御のための基本的な各種プログラムが格納されている。ＲＡＭは、コンピュータ制御のためのワークエリアとして機能するように構成されている。ＨＤＤには、オペレーティングプログラムや、各プログラム等の情報が格納されている。
このコンピュータ４０は、後述するようにレーザーレンジスキャナ２０やビデオカメラ３０からのデータを取得して、各種のデータ処理を行なう。レーザーレンジスキャナ２０からの奥行き情報は、時間ごとにスキャンライン番号が付されて記憶部に記憶される。ビデオカメラ３０からの画像データは、時間ごとにフレーム番号が付されて記憶される。このスキャンライン番号とフレーム番号とは、所定の対応関係に関係付けられており、これにより奥行き情報と画像データを時間的に同調させている。
本例では、コンピュータ４０は自動車１０内に搭載される。ただし、コンピュータ４０を自動車１０とは別の場所に載置しておき、レーザーレンジスキャナ２０やビデオカメラ３０からのデータを無線や有線でコンピュータ４０に出力したり、記憶媒体を介してコンピュータ４０に提供するように構成してもよい。

ビデオカメラ３０は、全方位カメラシステムを構成し、自動車１０の全周囲方向３６０度にわたって映像を取得し、取得したデジタルデータをコンピュータ４０へ出力する。
本例では、ビデオカメラ３０としてワイドコンバージョンレンズを備えたデジタルビデオカメラを使用している。また、本例では、３６０度全方向の映像を取得するために、８台の同じビデオカメラ３０を４５度ごとに放射状に配置して全方位カメラシステムを構築している。なお、本例では、動画映像を取得することができるビデオカメラ３０を撮像手段（カメラ）として用いているが、これに限らず、撮像手段として静止画像を取得することができるカメラを用いてもよい。
ここで、８台のビデオカメラ３０は、自動車１０の真正面に向けられたものから時計方向にカメラ１,２,・・・８ということとする。
本例のビデオカメラ３０の実測値に基づく画角は、縦３４度、横４６度である。また、ワイドコンバージョンレンズ装着時の画角は、縦４６度、横６０である。

８台のビデオカメラ３０は、図３に示すように、八角形のプレート状の台座３１上に放射状に互いに等角度間隔となるよう配設されている。台座３１は、一辺５５ｃｍの正方形のプレートの４つ角を切り落とした正八角形に形成されている。すなわちビデオカメラ３０は、レンズの中心が円の中心Ｏから円周上に４５°ずつ等間隔になるように配置される。このとき、ビデオカメラ３０は、円の中心Ｏからレンズの位置までの半径が最短距離となるように配設されている。中心Ｏからビデオカメラ３０のレンズの位置までの距離は、約３０ｃｍである。
また、台座３１上には、レーザーレンジスキャナ２０が、その中心と中心Ｏとが一致するように配設されている。
なお、本例では、ビデオカメラ３０を８台構成としたが、これに限らず、周囲３６０°をカバーする映像が得られれば台数には限定されない。

図４に示すように、ビデオカメラ３０の水平方向（横方向）の画角をθ、中心Ｏからビデオカメラのレンズ位置までの距離をｒ、中心０から隣合う２台のビデオカメラ３０の映像が重なる位置までの距離をＸとすると、これらの関係は以下のようになる。
ｘ／ｒ＝ｓｉｎ（１８０°−θ／２）／ｓｉｎ（（θ／２）−２２．５°）

本例のビデオカメラ３０の画角（コンバージョンレンズ装着時）は６０°、台座３１の中心Ｏからビデオカメラ３０のレンズまでの距離は３０ｃｍであるから、上式より中心Ｏから映像が重複する位置までの距離ｒは約１１５ｃｍと算出される。
つまり、台座３１の中心Ｏから約１１５ｃｍの距離で隣合う２台のビデオカメラ３０の映像が重複する。よって、本例では、台座３１の中心Ｏから半径１１５ｃｍの円内の物体は映像には写らないが、中心Ｏから半径１１５ｃｍの円外であれば、３６０°全方向の物体を映像に記録できる。
８台のビデオカメラ３０は、マニュアルモードで撮影条件を一定に設定して撮影を行うとよい。本例では、秒間３０コマの高密度連続フレーム静止画記録を行った。
また、すべてのビデオカメラ３０の明るさの設定は同一に固定した。

（奥行き情報の処理）
次に、レーザーレンジスキャナ２０によって取得される奥行き情報の処理について説明する。図５は走行軌跡データ取得処理の手順である。
コンピュータ４０では、レーザーレンジスキャナ２０から１周期ごとの奥行き情報（レーザーレンジスキャナ２０に対する相対的な方位における周囲の建物等の側面までの距離情報）を継続的に受信する。そして、コンピュータ４０は、この奥行き情報を１周期ごとにスキャンライン番号Ｌｎを付して各時間のデータとして記憶していく（ステップＳ１）。
コンピュータ４０では、各スキャンライン番号Ｌｎが付された奥行き情報ごとに、図６のようなレンジ画像を生成する処理を行う（ステップＳ２）。奥行き情報を平面上にプロットするとレンジ画像が得られる。レンジ画像には、建物の側面Ｗの形状が点の集合によって表わされる。また、中央部にある点は、レーザーレンジスキャナ２０の中心位置を表わしている。これにより、レーザーレンジスキャナ２０に対する周囲の建物等の位置が所定時間ごとに特定される。

図７（Ａ）は、複数のスキャンライン番号Ｌｎに対応するレンジ画像が重ね合わされたものである。コンピュータ４０は、スキャンライン番号Ｌｎごとにレンジ画像から線分を抽出する処理を行う（ステップＳ３）。この処理により同図（Ｂ）の画像が生成される。
そして、同図（Ｃ）に示すように、線分を抽出した画像の共通部分を重ねあわせる処理が行なわれる（ステップＳ４）。これは、線分の共通部分を認識して、線分が抽出された画像を縦方向及び横方向に移動させると共に、回転させることにより、直前のスキャンライン番号Ｌｎの線分が抽出された画像に重ね合わせることにより行われる。
このとき、映像生成システムＳは移動しているため、レンジ画像を重ね合わせるとレーザーレンジスキャナ２０の中心位置は時間とともにずれた位置に現われる。これにより、映像生成システムＳの移動した方向ベクトルが算出される。

このようにして、各スキャンライン番号Ｌｎのレンジ画像を同様の手順で重ね合わせて行くことにより、図８に示すような走行軌跡画像を得ることができる。図中、Ｔは映像生成システムＳが移動した走行軌跡を表わしている。このように、特定された周囲の物体の位置に対する移動体１０の移動軌跡を特定することができる。
コンピュータ４０は、レンジ画像を重ね合わせる処理を行なうことによって、各スキャンライン番号Ｌｎに対応する時点における映像生成システムＳのＸ、Ｙ座標（座標情報）および画像の回転角度を走行軌跡データとして生成し記憶する（ステップＳ５）。このようにして、周囲の建物等に対するレーザーレンジスキャナ２０の走行軌跡上の位置情報及び進行方向情報（自動車１０の正面方向）が得られる。図９に走行軌跡データの例を示す。
また、各スキャンライン番号Ｌｎの奥行き情報から、各時点での走行軌跡Ｔ上における建物の側面との距離、道路幅等を求めることができる。
なお、座標情報は、計測開始時の映像生成システムＳの位置を原点とした相対的なものとなる。

（パノラマ画像の生成処理）
次に、図１０に基づいてビデオカメラ３０により取得された画像データから、３６０°全方向を表示するパノラマ画像Ｐｎを生成する処理について説明する。この処理では、コンピュータ４０により、８台のビデオカメラ３０で取得した８つの映像を水平方向につなぎ合わせパノラマ画像が生成される。パノラマ画像とは、視点から見た周囲３６０°の映像を連続的につなぎ合わせたものである。

ビデオカメラ３０で撮影された画像は、本例の場合、図１１に示されるような６４０×４８０ピクセルの画像であり、フレーム番号が付されてコンピュータ４０の記憶部に記憶される。なお、図中、カメラ１，カメラ８，カメラ２は、それぞれ自動車１０の真正面，左４５°，右４５°を撮影するビデオカメラ３０による画像である。また、図示していないが、本例の場合は、カメラ１〜８の８枚の画像が各フレーム番号に対応して得られている。
上述のように隣合うビデオカメラ３０による撮像範囲は一部重複していること、及び、各ビデオカメラ３０は、撮影の明るさに違いがあることから、各ビデオカメラ３０で撮影した映像を単につなげただけでは、不自然な画像となってしまい綺麗なパノラマ画像を生成することができない。このため、パノラマ画像を生成する処理では、重複部分を削除する処理が行われる。

まず、コンピュータ４０は、記憶部からフレーム番号ごとに図１１に示すような８枚の画像を読み出す処理を行なう（ステップＳ１１）。
そして、図１２に示すように各ビデオカメラ３０による画像のうち重複しない画像部分にはマスク処理を行なう（ステップＳ１２）。マスクがかけられる領域は、各画像の中心から所定のピクセル数の幅に設定されている。
そして、図１３に示すようにマスクされた部分（マスク部分）に加えて、マスク部分の左右両側の数ピクセルを残して、両端の画像部分を削除して、使用する画像領域を抽出する処理が行われる（ステップＳ１３）。本例では、画像領域を抽出処理で画像の両端から１２５ピクセルずつの領域を削除する処理が行われる。

次に各ビデオカメラ３０の画像の明るさを調節する処理が行なわれる（ステップＳ１４）。
このため、図１４に示すように、抽出された画像のうち、隣合う画像と重複する両端の部分のヒストグラムが抽出される。一例としてカメラ８，カメラ１の重複する端部のヒストグラムを図１４（Ａ），（Ｂ）にそれぞれ示す。
そして、各画像から抽出したヒストグラムを平均する処理が行われる。図１４（Ｃ）に平均化したヒストグラムを示す。そして、平均化したヒストグラムを元の画像にリサンプリングする処理が行われ、抽出された画像は明るさが調整される。
明るさが調節されると、８枚の画像を横方向につなぎ合わせる処理が行われる（ステップＳ１５）。これにより、図１５に示すような３６０°全方向のパノラマ画像Ｐｎが生成される。なお、本例のパノラマ画像Ｐｎは、進行方向（カメラ１の中心方向）を０度として、左右に１８０度づつの視野範囲の画像が広がっている。
そして、接合されたパノラマ画像Ｐｎは、フレーム番号を付して記憶される（ステップＳ１６）。
このようにして得られたパノラマ画像Ｐｎは、隣合う画像との接合部分において明るさが調整されているため、ユーザーに違和感を生じさせることがない。
コンピュータ４０では、すべてのフレーム番号に対して、ステップＳ１１からＳ１５の処理を行ない、パノラマ画像Ｐｎを生成し、記憶部に記憶する。

以上のようにして生成された走行軌跡データ、パノラマ画像Ｐｎ等からウォークスルーアニメーションが生成される。
ウォークスルーアニメーションは、以下の映像生成処理で述べるようにウォークスルーアニメーションの視点、すなわち時間と共に移動するユーザーの視点からの視線方向のパノラマ画像を切り取って合成することにより生成される。
すなわち、コンピュータ４０には、ユーザーの視点の座標及び視野角度が入力され、各時間における視点の座標及び視野角度に対応するフレーム番号のパノラマ画像Ｐｎが選択され、画像が合成される。
例えば、走行軌跡上に視点がある場合には、その視点の座標によりスキャンライン番号Ｌｎ及びフレーム番号が特定され、そのフレーム番号のパノラマ画像Ｐｎが選択される。そして、その視点からの視線方向の画像、すなわちその視点からの視野角度で決定される範囲の画像部分がパノラマ画像Ｐｎから切取られ、表示画像が生成される。このように生成された表示画像は、直接、コンピュータ４０の表示部に表示させることができる。また、生成された表示画像を記憶部に記憶させておくこともできる。
また、視点が走行軌跡外にある場合等の処理については後述する。

（交差点右左折映像生成処理）
次に、交差点右左折映像の生成処理について説明する。
この処理では、図１６に示すように、映像生成システムＳが交差点を縦方向に直進したときにビデオカメラ３０によって得られた映像（パノラマ画像）と横方向に直進して得られた映像（パノラマ画像）から、交差点を曲がるときの映像が合成される。
このとき、縦方向に移動したときの軌跡を走行軌跡Ｔ１、横方向に移動したときの軌跡を走行軌跡Ｔ２とし、走行軌跡Ｔ１，Ｔ２は、図１６のように交差点内で交差するものとする。

以下に２本の道路が直交する交差点を左折するときの映像を生成する処理を例にとって説明する。
図１７は、交差点右左折映像の生成手順を示すものである。
自動車は、走行軌跡Ｔ１上を移動し、交差点で左折し、さらに走行軌跡Ｔ２上を移動するものとする。
コンピュータ４０は、走行軌跡Ｔ１，Ｔ２におけるパノラマ画像Ｐｎ及び走行軌跡データを読み出す（ステップＳ２１）。このとき、走行軌跡Ｔ１，Ｔ２による走行軌跡データは、同じデータの異なる時間帯のデータであってもよいし、別々のデータではあるが原点位置及び方向を一致させたものであってもよい。

次に、交差時のフレーム番号を決定する処理が行われる（ステップＳ２２）。
コンピュータ４０は、図１８（Ｄ）に示すように、レーザーレンジスキャナ２０によって得られた縦方向の走行軌跡Ｔ１と横方向の走行軌跡Ｔ２を重ね合わせ、交差点での交点Ｐ４を求める。走行軌跡データの走行軌跡Ｔ１，Ｔ２での座標情報を参照して、交点Ｐ４が求められる。
また、コンピュータ４０は、交点Ｐ４の座標から交点Ｐ４に対応するスキャンライン番号を縦方向走行時及び横方向走行時についてそれぞれ算出する。スキャンライン番号とフレーム番号とは、対応付けられているので、得られたスキャンライン番号をもとに、パノラマ画像Ｐｎの縦方向走行時と横方向走行時のフレーム番号それぞれが求められる。

次に、パノラマ画像Ｐｎを合成する処理が行われる（ステップＳ２３）。
図１８（Ａ）のように自動車（ウォークスルーアニメーションの視点）が交差点の手前のＰ１地点（軌跡Ｔ１上）で直進しているとき、視線は矢印の方向つまり前面の直進方向を向いている。このため、この時にウォークスルーアニメーションに使用される表示画像は、走行軌跡Ｔ１からのパノラマ画像Ｐｎのうちカメラ１による画像部分が切り取られたものとなる。

図１８（Ｂ）のように自動車が交差点に近くなると、左折しているように見えるように、走行軌跡Ｔ１からのパノラマ画像Ｐｎのうち視点を所定量だけ左側へ移動させた画像部分が切取られて使用される。具体的には、パノラマ画像Ｐｎを表示画面に対して左から右に移動させていく。言い換えると表示画面を左に移動させる。そして徐々にカメラ１中心の画像から、カメラ１とカメラ８の画像から合成した画像が切り出されて表示される。

図１８（Ｃ）のように自動車が交差点内に進入していくと、さらに視点を左側へ移動させていく。つまり走行軌跡Ｔ１からのパノラマ画像Ｐｎのうち、さらに視点を左側へ移動させた画像部分が切取られて使用される。つまり、表示画面に対して左から右にさらにパノラマ画像Ｐｎを移動させる。言い換えると表示画面をさらに左へ移動させ、カメラ８とカメラ７の画像から合成した画像が切り出されて表示される。このように、交点Ｐ４に近づくにつれて表示される画像は、カメラ７を中心とした画像に近づいていくことになる。

図１８（Ｄ）のように自動車が交点Ｐ４では、縦方向走行時（走行軌跡Ｔ１）のカメラ７（左９０°）の画像と横方向走行時（走行軌跡Ｔ２）のカメラ１（前面）の画像は一致する。そこで交点Ｐ４に達したとき、縦方向走行によって得られたパノラマ画像Ｐｎ（画像中心はカメラ７）は、横方向走行によって得られたパノラマ画像Ｐｎ（画像中心はカメラ１）に置き換えられる。このとき、フレーム番号が切り替えられる。これにより、縦方向走行時に得られた画像と、横方向走行時に得られた画像とをユーザーに違和感を与えることなく、切り替えることができる。

最後に、以上の生成した画像がつなぎ合わされて、交差点を左折する映像（ウォークスルーアニメーション）が合成される。これにより、実際に交差点で曲がることなく直進映像を取得するだけで、交差点において４方向から進入した場合の右折・左折動画をそれぞれ作り出すことが可能となる。
この方法によれば、右左折時に、画面が直進時の画面から急に右左折方向の画面に切り替わってしまうことがないので、ユーザーに違和感を与えることがないので好適である。
このように、本例の映像生成システムＳによれば、ユーザーに違和感を生じさせることのない自然な右左折映像を含むウォークスルーアニメーションを生成することができる。

また、次述する任意視点映像生成処理を組合せて、設定した移動パラメータにより視点を移動させた画像を生成することができる。視点移動及び進行方向映像は、交差点動画のときと同様に、奥行き情報から移動体の位置、道路幅などを測定し、その位置情報をもとにパノラマ画像を移動、拡大、縮小することによって合成することができる。

（任意視点映像生成処理）
次に、任意視点映像生成処理について説明する。コンピュータ４０は、生成したパノラマ画像とレーザーレンジスキャナ２０による奥行き情報、走行軌跡データをもとに、自動車１０の走行した軌跡以外の任意の視点から見える任意視点映像（走行軌跡外映像）を生成する処理を行う。
図１９に任意視点映像生成の概念図を示す。図１９に示すように、原点Ｌ０からの走行軌跡Ｔ上を映像生成システムＳが移動してレーザーレンジスキャナ２０による奥行き情報、ビデオカメラ３０による画像データが取得されたものとする。そして、奥行き情報から走行軌跡Ｔの両側には建物の側面Ｗが測定される。ここで、走行軌跡Ｔ上以外の新たな視点をＰとする。

任意視点映像生成処理の概略は、まず、視点Ｐからの視線ベクトルＶ１，Ｖ２・・・と同じ方向であって視点Ｐを向くベクトルをもった走行軌跡Ｔ上の範囲を特定し、この範囲のデータを有するスキャンライン番号Ｌｎの範囲を算出する。
次にそれぞれの対象スキャンライン番号Ｌｎにおける交点Ｌ１，Ｌ２・・・について、建物の側面Ｗと視点Ｐまでの距離、建物の側面Ｗと走行軌跡Ｔ上の点までの距離を求める。
そして求められた２つの距離の比に応じて、各スキャンライン番号に対応する各フレーム番号において走行軌跡Ｔにおけるパノラマ画像Ｐｎを拡大・縮小する処理が行われる。
最後に生成した画像を再構成し、新たな視点Ｐの画像が生成される。
図２０は、任意視点映像を生成する手順を表している。

任意視点映像生成処理では、データ入力処理として、視点Ｐの座標（Ｘ，Ｙ）、対象物の視野領域を決定する視野角度θ１，θ２がコンピュータ４０に与えられ、記憶されている走行軌跡データ及びパノラマ画像Ｐｎが読み込まれる（ステップＳ３１）。

次に、対象物の視野領域から視点Ｐへの延長線と走行軌跡Ｔとの交点を計算する処理が行われる（ステップＳ３２）。
視点Ｐ（Ｘ，Ｙ）において、進行方向を０度として視野角度θ１からθ２の範囲を見た場合に、視野角度θ１からθ２の範囲が視野領域である。
ここで、図２１に示すように、交点Ｌ１，交点Ｌ２は、それぞれ視点Ｐから視野角度θ１，θ２だけ傾斜した方向へ向けて引いた直線と走行軌跡Ｔとの交点である。また、原点Ｌ０，交点Ｌ１，交点Ｌ２のそれぞれの座標を（０，０），（Ｘｌ１，Ｙｌ１），（Ｘｌ２，Ｙｌ２）とする。
図２１に示すように視点Ｐ（Ｘ，Ｙ）から走行軌跡Ｔに向かって垂線を引いた交点をＬ３とする。交点Ｌ３の座標は（Ｘ２，Ｙ）である。コンピュータ４０は、視点Ｐおよび走行軌跡データからＸ２を算出し、さらに視点Ｐと交点Ｌ３と間の距離Ｌｘ（＝Ｘ−Ｘ２）を求める。
また、交点Ｌ３と交点Ｌ１との距離Ｌｄ１は、Ｌｄ１＝Ｌｘ／ｔａｎθ１により算出され、交点Ｌ３と交点Ｌ２との距離Ｌｄ２は、Ｌｄ２＝Ｌｘ／ｔａｎθ２により算出される。
さらに、交点Ｌ１のＹ座標（Ｙｌ１）は、Ｙｌ１＝Ｙ−Ｌｄ１により算出され、交点Ｌ２のＹ座標（Ｙｌ２）は、Ｙｌ２＝Ｙ−Ｌｄ２により算出される。これにより、走行軌跡Ｔ上の交点の座標範囲が算出される。
このようにして視野角度θ１からθ２まで、角度毎に対応する走行軌跡Ｔ上の交点が求められる。

次に、使用すべきデータのスキャンライン番号Ｌｎの範囲を特定する処理が行われる（ステップＳ３３）。ここでは、角度毎に対応する走行軌跡Ｔ上のＹ座標と走行軌跡データのスキャンライン番号Ｌｎに対応するＹ座標とを照らし合わせる処理が行なわれ、角度毎に最も近いＹ座標を有するスキャンライン番号Ｌｎが決定される。

次に、視点Ｐからの画像を得るために、各対象スキャンライン番号Ｌｎに対応する走行軌跡Ｔ上の点からの画像を拡大縮小するための拡大縮小率を求める処理が行なわれる（ステップＳ３４）。
各視線方向の拡大縮小率は、視点Ｐから対象物（この場合、建物の側面Ｗ）までの各視線方向の距離Ｄｐと走行軌跡Ｔ上の点から対象物までの各視線方向の距離Ｄｌとの比Ｚによって与えられる。

図２２に示すように、対象スキャンライン番号Ｌｎに対応する座標点（Ｘｌｎ,Ｙｌｎ）から対象物までの距離Ｄｌｎは、その実測値がレーザーレンジスキャナ２０によってすでに取得され、奥行き情報として記憶されている。図中、交点Ｌ１,Ｌ２に対応するθ１方向,θ２方向の対象物の側面Ｗの位置をそれぞれＷ１,Ｗ２としている。
使用する範囲のスキャンライン番号Ｌｎについて、対象物への対象角度θｌｎに対応する奥行き情報を読み出せば対象物までの距離Ｄｌｎが求まる。
しかし走行軌跡データは、スキャンライン番号Ｌｎごとに各レンジ画像を回転させてつなぎ合わせることにより生成されているため、視野角度θ１からθ２までの角度に加えて画像の回転角度θｒｎを考慮する必要がある（図２２参照）。なお、回転角度θｒｎは、スキャンライン番号Ｌｎに対応する回転角度であって、測定時の進行方向に相当する。
そこで視野角度θ１からθ２までの各角度別に求めた対象スキャンライン番号Ｌｎについて、走行軌跡データを参照して回転角度θｒｎを考慮すると、対象角度θｌｎは、θｌｎ＝θｎ−θｒｎとなる。

したがって、各スキャンライン番号Ｌｎにおける奥行き情報のうち、角度θｌｎに対応する距離情報が対象物までの視線方向の距離Ｄｌｎに該当する。コンピュータ４０は、角度θｌｎに対応するデータを読み出して、距離Ｄｌｎとして記憶する。

また、視点Ｐから対象物までの視線方向の距離Ｄｐｎを算出する処理が行なわれる。
距離Ｄｐｎは、スキャンライン番号Ｌｎに対応して算出された距離Ｄｌｎから視点Ｐ（Ｘ,Ｙ）と座標点（Ｘｌｎ,Ｙｌｎ）までの距離Ｄｐｌｎを引いたものに相当する。すなわち、Ｄｐｎ＝Ｄｌｎ−Ｄｐｌｎである。

まず、距離Ｄｐｌｎを算出する処理では、各スキャンライン番号Ｌｎの座標点（Ｘｌｎ,Ｙｌｎ）が走行軌跡データから読み出され、視点Ｐ（Ｘ,Ｙ）と座標点Ｌ（Ｘｌｎ,Ｙｌｎ）との２点間の距離が計算される。すなわち、距離Ｄｐｌｎは、Ｄｐｌｎ＝ｓｑｒｔ｛（Ｘ−Ｘｌｎ）^２＋（Ｙ−Ｙｌｎ）^２｝によって算出される。
そして、距離Ｄｐｎは、Ｄｐｎ＝Ｄｌｎ−Ｄｐｌｎによって算出される。

視点Ｐ（Ｘ,Ｙ）から対象物までの視線方向の距離Ｄｐｎとスキャンライン番号Ｌｎの座標点から対象物までの距離Ｄｌｎとの距離の比Ｚは、Ｚ＝Ｄｐｎ／Ｄｌｎにより算出される。
これにより各スキャンライン番号Ｌｎについて、元の画像から新たな視点Ｐの画像を生成する際の画像の拡大縮小率（比Ｚ）が求められ記憶される。

次に、使用される画像の領域を決定する処理が行なわれる（ステップＳ３５）。
まず、スキャンライン番号Ｌｎとパノラマ画像Ｐｎのフレーム番号は同期させてあるので、スキャンライン番号Ｌｎが決定されることによりコンピュータ４０は使用するパノラマ画像Ｐｎのフレーム番号を特定する。また、スキャンライン番号Ｌｎに対応して、対象角度θｌｎを算出する。
図２３に示すように、パノラマ画像Ｐｎの幅をｗ、パノラマ画像Ｐｎの中心の角度を０とすると、対象ピクセルラインＩｎは、
Ｉｎ１=(π−θｌｎ)×ｗ／２π・・（ピクセルライン始まり）
Ｉｎ２=(π−θｌｎ)×ｗ／２π＋ｗ／２π・・（ピクセルライン終わり）
で表わされる。すなわち、スキャンライン番号Ｌｎについては、パノラマ画像ＰｎのＩｎ１からＩｎ２までのピクセル幅から構成される画像が使用される画像となる。

次に、画像の再構成処理として、画像の拡大縮小化処理が行なわれる（ステップＳ３６）。
距離Ｄｐｎと距離Ｄｌｎとの距離の比Ｚ、ピクセルラインＩｎを使って画像を再構成する。
図２４に示すように、各ピクセルラインＩｎに距離の比Ｚを掛けることによって、画像が拡大縮小され、視点Ｐから見たピクセルラインＩｐｎが角度ごとに生成される。ピクセルラインＩｐｎは、走行軌跡外部分画像に相当する。

さらに、画像の再構成処理として、画像の配置処理が行なわれる（ステップＳ３７）。
このようにして生成されたピクセルラインＩｐｎは、比Ｚに応じてピクセルライン毎に大きさが異なる。そこで、図２５に示すように、拡大した場合（比Ｚが１以上の場合）はもとの画像の縦の長さが基準にされ、もとの画像の縦の長さからはみ出る部分は削除される。なお、図２５では理解の容易のため、一部のピクセルラインＩｐｎを離散的に表示している。
一方、縮小した場合（比Ｚが１未満の場合）はすべてのピクセルラインの中から縦の長さが最小のピクセルラインが検索され、このピクセルラインの縦の長さが基準にされ、この長さからはみ出る部分は削除される。
そしてそれぞれその縦の長さから各ラインの中心ピクセルを割り出し、中心ピクセルを画像の縦方向の中央部に合わせるように各ラインの画像が並べられる。これにより、視点Ｐから見た画像（走行軌跡外映像）が生成される。
このように、本例の映像生成システムＳによれば、走行軌跡Ｔ以外からの任意視点でのウォークスルーアニメーションを生成することができる。

以上のように、本例の映像生成システムＳによれば、レーザーレンジスキャナ２０から得られた奥行き情報をもとに正確な走行軌跡データ及び位置情報を算出し、ビデオカメラ３０から得られた画像データをもとに周囲３６０°にわたるパノラマ画像Ｐｎを生成することができる。
そして、これらのデータをもとに、右左折映像生成処理や任意視点映像生成処理によって、リアリティのあるウォークスルーアニメーションを生成することができる。

次に、本例のシステムにより生成された走行画像の具体例を示す。まず、交差点での左折映像の具体例を示す。
映像の対象となった交差点は、東西および南北に延びる片道１車線（往復２車線）の道路が約９０°に交差する交差点である。
まず、映像生成システムＳによって、東西、南北に延びる各道路について、両方向から交差点を直進する映像（計４方向の直進映像）を取得すると共に、奥行き情報を取得した。

これらの映像等のデータに基づき、南北方向の道路を南下し、交差点で左折して東西方向の道路を東へ向かう映像を合成した。このとき用いた映像は、南北方向の道路を北から南へ向かう直進映像と、東西方向の道路を西から東へ向かう直進映像である。

レーザーレンジスキャナ２０によって取得された走行軌跡画像を図２６に示す。走行軌跡データから、北から南へ直進した時と西から東へ直進した時の交差位置、及び交差した時の映像のフレーム番号が求められる。
ここでは、交差位置での映像のフレーム番号は、北から南への直進映像では開始フレームから１２９フレーム目、西から東への直進映像では開始フレームから９８フレーム目である。
また、北から南への直進映像，西から東への直進映像に基づいて、フレームごとにそれぞれパノラマ画像を生成した。

さらに、これらのデータから左折映像を合成した。図２７は、生成された左折映像を４フレームごとに表示したものである。
このうち、フレーム７６までの画像は北から南への直進画像そのものである。フレーム７７から交差時の１フレーム手前のフレーム１２８までは、北から南への直進画像の視点をずらして合成したものである。また、図中のフレーム９８は、北から南への直進映像から、西から東への直進映像に切り換わったフレームである。これ以降は、西から東への直進映像のフレーム画像が用いられる。

また、交差点付近において実際に映像を取得した軌跡よりも内側（左側）の軌跡を通過するように、視点を左側へ徐々に移動させて左折画像を生成した。視点の移動量を表す移動パラメータの値を図２８に示す。

次に、交差点での右折映像の具体例を示す。
対象となる交差点は、上記左折映像における交差点と同一である。この交差点において、北から南へ向かう直進映像と、東から西へ向かう直進映像を用いて、南北方向の道路を南下し、交差点で右折して東西方向の道路を西へ向かう映像を合成した。

レーザーレンジスキャナ２０によって取得した走行軌跡画像を図２９に示す。この走行軌跡画像に基づいて、北から南へ直進した時と東から西へ直進した時の交差位置と交差した時の映像のフレーム番号が算出される。
ここでは、交差位置でのフレーム番号は、北から南への直進映像では開始フレームから１３９フレーム目、西から東への直進映像では開始フレームから１１９フレーム目である。
取得したデータから生成した右折映像を図３０に示す。図３０では、生成された右折映像を４フレームごとに表示している。
交差するまでは北から南への直進映像が用いられ、交差後は西から東への直進映像が用いられている。フレーム８４までの画像は北から南への直進画像そのものである。フレーム８５から交差時の１フレーム手前のフレーム１３８までは、北から南への直進画像の視点を右方向へ徐々にずらして合成したものである。そして、交差時には西から東への直進映像のフレーム１１９に切換えられる。これ以降は、西から東への直進映像のフレーム画像が用いられる。

また、交差点付近において実際に映像を取得した走行軌跡よりも内側（右側）の走行軌跡を通過するように、視点を右側へ徐々に移動させて右折画像を生成した。その時の移動パラメータの値を図３１に示す。

以上のように、パノラマ画像Ｐｎと走行軌跡データをもとに、交差フレーム番号を算出してパノラマ画像Ｐｎを合成することにより交差点での右左折映像を自動的に合成することができる。
従来は、リアリティのある右左折映像及び直進映像を取得するには、実際に１つの交差点あたり１２回（右左折走行８回、直進走行４回）も走行しなければならなかった。しかし、本発明によれば、１つの交差点あたり計４回の直進走行のみで、どの方向の右左折映像も直進映像も取得できる。したがって、本発明によれば１／３の労力で右左折映像及び直進映像を取得することができるので、手間が掛からず、コストを低減することができる。

さらに、移動パラメータにより、交差点でのよりリアリティのある右左折映像を得ることができる。
移動パラメータについては、曲がり始めは右折時と左折時において移動パラメータは同程度である。しかし、左側通行の場合は、中盤以降において右折時の方が左折時よりも大回りとなるので、右折時の方が左折時よりも移動パラメータが大きく設定されている。
上記の右左折映像を合成する時に用いた移動パラメータを使用することにより、他の交差点での右左折映像を合成する時にも適応することができる。特に左折時の場合は、交差点での曲がるルートが道路幅や車線数の違いに関係なくほぼ同じとなるため、移動パラメータを標準化することができる。また、右折時の場合や、交差点での道路の交差角度や車線数の多少に応じて、移動パラメータを適宜に設定することによって、その交差点にあった右左折映像を自動的に生成することができる。

次に、任意視点映像の具体例を示す。
まず、直線道路において映像生成システムＳによって直進映像を取得すると共に、奥行き情報を取得した。
図３２に走行軌跡画像を示す。これは、取得したデータのうちスキャンライン番号が７２０から７８０までの６１スキャン分のデータを用いて生成されたものである。図中、走行軌跡はＴで表わされている。
図３３に各スキャンライン番号における走行軌跡Ｔ上の座標点の座標と回転角度θｒｎを示す。また、取得された映像をもとにパノラマ画像Ｐｎを生成した。

このような走行軌跡データとパノラマ画像Ｐｎを使って新たな視点から見た画像を生成する。
ここでは新たな視点Ｐの座標として、走行軌跡Ｔ上の視点Ｐ１５（０，２５）を中心に左右にＸ座標を−３.５から＋３.５までの範囲で移動させたＰ１１（−３.５，２５）、Ｐ１２（−３，２５）、Ｐ１３（−２，２５）、Ｐ１４（−１，２５）、Ｐ１６（１，２５）、Ｐ１７（２，２５）、Ｐ１８（３，２５）、Ｐ１９（３.５，２５）の９点を設定した。
また、図３２に示すように各視点では、各視点からの画像の違いを見るために、視野角度θ１を７５°，視野角度θ２を３０°に固定して設定し、４５°の角度範囲の画像を生成した。
視点Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４は、走行軌跡Ｔ（視点Ｐ１５）よりもＸ座標方向左側へそれぞれ３．５，３，２，１だけ移動した点である。また、視点Ｐ１６，Ｐ１７，Ｐ１８，Ｐ１９は、走行軌跡Ｔ（視点Ｐ１５）よりもＸ座標方向右側へそれぞれ１，２，３，３．５だけ移動した点である。

図３４乃至図３７に、このような設定のもとに生成された各視点からの画像を示す。これらの図は見易さのため線図で表わしてある。
視点Ｐ１５（０，２５）から見た画像を図３４（Ａ）に示す。この画像は、視野角度θ１＝７５°，θ２＝３０°として、走行軌跡Ｔ上の視点Ｐ１５におけるパノラマ画像のうちこれらの角度範囲の画像が切り出されたものである。
また、視点Ｐ１６，Ｐ１７から見た画像をそれぞれ図３４（Ｂ），（Ｃ）に示す。視点Ｐ１８，Ｐ１９から見た画像をそれぞれ図３５（Ａ），（Ｂ）に示す。視点Ｐ１４，Ｐ１３から見た画像をそれぞれ図３６（Ａ），（Ｂ）に示す。視点Ｐ１２，Ｐ１１から見た画像をそれぞれ図３７（Ａ），（Ｂ）に示す。

走行軌跡Ｔ上の視点Ｐ１５からの画像と各視点からの画像を比較すると、視点Ｐ１６から視点Ｐ１９方向へ右側に移動するにつれ、対象物の見える範囲が狭くなってきており、右側の建物の壁に向かって近づいているように見える。
また、視点Ｐ１６から視点Ｐ１９への移動は、視野角度の方向に直線的に移動しているのではなく、進行方向に対して９０°の方向へ移動している。したがって、各視点からの画像は視点が右側へ移動するにつれて、画像の中心に向かって拡大されていくのではなく、画像が拡大され視野範囲が狭くなると共に、視野範囲は建物の向かって右側方向へと平行移動していく。

一方、走行軌跡Ｔ上の視点Ｐ１５から左側へ移動していくと、視点Ｐ１１に移動するにつれ、視野範囲が広がっており、建物の壁から遠ざかっているように見える。すなわち、視点Ｐ１３から視点Ｐ１９では建物の前にある木は視野範囲に含まれておらず、画像には映っていない。しかし、視点Ｐ１１及び視点Ｐ１２では、視野範囲が広がって視野範囲内に木が含まれ、画像に映しだされている。

このようにビデオカメラ３０により撮影された画像データをもとに生成されたパノラマ画像Ｐｎと、レーザーレンジスキャナ２０により取得された奥行き情報をもとに生成された走行軌跡データを用いて、走行軌跡Ｔ以外の任意の視点から見た画像を合成できる。
本発明の映像生成システムＳでは、レーザーレンジスキャナ２０を用いることにより、正確な位置情報や移動体軌跡が取得できる。すなわち、映像生成システムＳでは、ＧＰＳやジャイロ等の他の位置測定装置を用いることがないので構成を簡単にすることができる。
そして、得られた位置情報に基づいて各視点からのパノラマ画像Ｐｎや、視点の移動、交差点での右左折映像、進行方向変更映像等を生成することができる。

そして、走行軌跡Ｔ以外の走行ルートの座標と視野角度を設定し、画像を生成していくことにより、自由移動が可能であってリアリティのある自然なウォークスルーアニメーションを生成することができる。

映像生成システムの説明図である。 映像生成システムの構成を表わす説明図である。 ビデオカメラ及びレーザーレンジスキャナの配置を表わす説明図である。 ビデオカメラによる映像重複距離の計算のための説明図である。 走行軌跡データ取得処理の流れ図である。 レンジ画像の一例を示す説明図である。 レンジ画像のデータ処理を説明する説明図である。 走行軌跡画像の一例を示す説明図である。 走行軌跡データの一例を示す説明図である。 パノラマ画像生成処理の流れ図である。 隣合う３台のビデオカメラによる画像の一例を示す説明図である。 ビデオカメラ画像の重複部分を削除する処理を説明する説明図である。 重複部分を削除したビデオカメラ画像の一例を示す説明図である。 隣合うビデオカメラ画像の端部の重複部分のヒストグラムである。 ８台のビデオカメラによる画像からパノラマ画像を生成する処理を説明する説明図である。 交差点における右左折映像を生成する処理の説明図である。 交差点における右左折映像を生成する処理の流れ図である。 交差点における左折映像を生成する処理の説明図である。 任意視点映像を生成する処理の説明図である。 任意視点映像を生成する処理の流れ図である。 任意視点映像を生成する処理の説明図である。 任意視点映像を生成する処理の説明図である。 パノラマ画像及びピクセルラインの説明図である。 視点Ｐから見たピクセルラインの生成処理を説明する説明図である。 生成されたピクセルラインの配置を示す説明図である。 左折映像生成に使用した走行軌跡画像を示す説明図である。 左折映像の一例を示す説明図である。 フレームごとの移動パラメータを示す説明図である。 右折映像生成に使用した走行軌跡画像を示す説明図である。 右折映像の一例を示す説明図である。 フレームごとの移動パラメータを示す説明図である。 任意視点映像生成に使用した走行軌跡画像を示す説明図である。 任意視点映像生成に使用した走行軌跡データを示す説明図である。 任意視点の位置と任意視点からの画像を示す説明図である。 任意視点の位置と任意視点からの画像を示す説明図である。 任意視点の位置と任意視点からの画像を示す説明図である。 任意視点の位置と任意視点からの画像を示す説明図である。

符号の説明

１０ 自動車
１１ システムキャリア
１２ アングル台
２０ レーザーレンジスキャナ
３０ ビデオカメラ
３１ 台座
４０ コンピュータ
Ｓ 映像生成システム

Claims (8)

1. 移動体と、該移動体に配設され該移動体の周方向の映像を撮影して画像データを出力するカメラと、前記移動体に配設され該移動体の周囲の物体との距離を表わす奥行き情報を出力する水平レーザーと、前記画像データ及び前記奥行き情報を処理するデータ処理装置と、を備え、
   前記データ処理装置は、
   前記奥行き情報に基づいて所定時間ごとに前記移動体に対する周囲の物体の位置を特定し、該特定された周囲の物体の位置に対して前記移動体が移動した走行軌跡を特定して該走行軌跡上の前記移動体の位置を表わす位置情報及び進行方向を表わす進行方向情報を算出する処理と、
   前記画像データに基づいて所定時間ごとに前記走行軌跡上から見た全周囲方向を表示するパノラマ画像を生成する処理と、
   前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいて、ウォークスルーアニメーションを生成する処理を行うことを特徴とする映像生成システム。
2. 前記データ処理装置は、前記ウォークスルーアニメーションを生成する処理において、互いに交差する走行軌跡における前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいて、一方の走行軌跡から他方の走行軌跡へ進行方向を変更する映像を生成する交差点右左折映像生成処理を行い、
   該交差点右左折映像生成処理では、一方の走行軌跡における前記ウォークスルーアニメーションの視点が前記走行軌跡の交差する点に近づくにつれて、前記一方の走行軌跡におけるパノラマ画像のうち進行方向から周方向に視線をずらした部分を前記ウォークスルーアニメーションの表示画像とすることを特徴とする請求項１に記載の映像生成システム。
3. 前記データ処理装置は、前記ウォークスルーアニメーションを生成する処理において、前記走行軌跡外の視点における映像を生成する任意視点映像生成処理を行なうことを特徴とする請求項１に記載の映像生成システム。
4. 前記データ処理装置は、前記ウォークスルーアニメーションを生成する処理において、前記走行軌跡外の視点からの所定の視野角度範囲の映像を生成する任意視点映像生成処理処理を行い、
   該任意視点映像生成処理では、前記視点から前記視野角度範囲内の各角度方向に引いた直線と前記走行軌跡とが交差する各交点を特定し、
   該各交点における前記パノラマ画像のうち、前記視点を含む画像部分を切り出し、
   前記各交点から前記各角度方向にある周囲の物体までの距離と前記視点から前記各角度方向にある周囲の物体までの距離とを前記奥行き情報に基づいて算出すると共にこれらの距離の比を算出し、
   前記画像部分を、前記比によって拡大又は縮小して走行軌跡外部分画像を生成し、
   該走行軌跡外部分画像を連結して走行軌跡外映像を生成することを特徴とする請求項１に記載の映像生成システム。
5. 全方位カメラで撮影位置の全周方向の画像データを取得する工程と、
   周囲の物体との距離を測定する水平レーザーで該水平レーザーと周囲の物体との奥行き情報を取得する工程と、
   前記奥行き情報に基づいて所定時間ごとに前記移動体に対する周囲の物体の位置を特定し、該特定された周囲の物体の位置に対して前記移動体が移動した走行軌跡を特定して該走行軌跡上の前記移動体の位置を表わす位置情報及び進行方向を表わす進行方向情報を算出する工程と、
   前記画像データに基づいて所定時間ごとに前記走行軌跡上から見た全周囲方向を表示するパノラマ画像を生成する工程と、
   前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいてウォークスルーアニメーションを生成する工程と、を備えたことを特徴とする映像生成方法。
6. 前記ウォークスルーアニメーションを生成する工程では、互いに交差する走行軌跡における前記奥行き情報，前記位置情報，前記進行方向情報及び前記パノラマ画像に基づいて、一方の走行軌跡における前記ウォークスルーアニメーションの視点が前記走行軌跡の交差する点に近づくにつれて、前記一方の走行軌跡におけるパノラマ画像のうち進行方向から周方向に視線をずらした部分を前記ウォークスルーアニメーションの表示画像とする処理を行なうことを特徴とする請求項５に記載の映像生成方法。
7. 前記ウォークスルーアニメーションを生成する工程では、前記走行軌跡外の視点における映像を生成する処理を行なうことを特徴とする請求項５に記載の映像生成方法。
8. 前記ウォークスルーアニメーションを生成する工程では、
   前記走行軌跡外の視点から前記視野角度範囲内の各角度方向に引いた直線と前記走行軌跡とが交差する各交点を特定し、
   該各交点における前記パノラマ画像のうち、前記視点を含む画像部分を切り出し、
   前記各交点から前記各角度方向にある周囲の物体までの距離と前記視点から前記各角度方向にある周囲の物体までの距離とを前記奥行き情報に基づいて算出すると共にこれらの距離の比を算出し、
   前記画像部分を、前記比によって拡大又は縮小して走行軌跡外部分画像を生成し、
   該走行軌跡外部分画像を連結して走行軌跡外映像を生成することを特徴とする請求項５に記載の映像生成方法。

Images