JP7452533B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、操縦装置などを用いて操縦されるドローン等の移動体が利用されている。例えば、カメラが搭載されたドローンに上空から風景を撮像させ、撮像された画像が活用される。

例えば、特許文献１には、予め規定されたモード切り替え条件が発生した場合に、画像撮像モードから、画像転送モードへモード切り替えを行うことで、効率的な画像転送を行う技術が記載されている。

特開２０１９－１６８６９号公報

ドローンのような移動体の移動を制御する方法として、操縦装置を用いてユーザが移動体の移動を制御する方法以外には、予め移動体が移動する経路を予め設定し、設定された経路を移動体に移動させる方法が考えられる。この場合、例えば、地図上に移動体の移動経路を設定することが考えられる。

しかしながら、２次元の地図上に移動体の経路を設定する方法では、移動体は３次元的に移動する場合には、直感的に移動体の移動を設定することが困難であった。特許文献１に記載の技術は、ドローンのような移動体の移動を制御するための移動情報を直感的に生成することを意図した技術ではない。

そこで、本開示では、移動体の移動するための情報を直感的に生成することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御部と、移動体の移動を制御するための移動情報を生成する移動情報生成部と、を備える、情報処理装置が提供される。

また、本開示によれば、プロセッサが、表示画面における実空間に存在する物体に基づく仮想オブジェクトの表示を制御することと、移動体の移動を制御するための移動情報を生成することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、表示画面における実空間に存在する物体に基づく仮想オブジェクトの表示を制御する機能と、移動体の移動を制御するための移動情報を生成する機能と、を実現させるためのプログラムが提供される。

本開示の一実施形態に係る情報処理システムの構成を示す図である。 本開示の一実施形態に係るユーザ端末の構成を示す機能ブロック図である。 処理部の構成を示す機能ブロック図である。 ユーザが、移動体を操縦して塔及び林を撮像する様子を示す図である。 撮像された塔に基づき生成された仮想オブジェクトを示す図である。 撮像された林に基づき生成された仮想オブジェクトを示す図である。 移動体が移動した経路を示す図である。 ユーザ端末により、実空間に存在する机の上の平面が検出されている様子を示す図である。 ユーザの操作に基づき、Ｗａｙｐｏｉｎｔが選択されている様子を示す図である。 ユーザの操作に基づき、Ｗａｙｐｏｉｎｔが選択されている様子を示す図である。 ユーザの操作に基づき、Ｗａｙｐｏｉｎｔの位置が調整されている様子を示す図である。 ユーザの操作に基づき、Ｗａｙｐｏｉｎｔの位置が調整されている様子を示す図である。 ユーザの操作に基づき、移動体の経路が新たに設定されている様子を示す図である。 ユーザの操作に基づき、移動体の経路が新たに設定されている様子を示す図である。 ユーザ端末が備える撮像部の位置が、Ｗａｙｐｏｉｎｔとして設定される様子を示す図である。 ユーザ端末が備える撮像部の位置がＷａｙｐｏｉｎｔとして設定される場合における、表示画面を示す図である。 ユーザ端末から所定の距離だけ離れた位置がＷａｙｐｏｉｎｔとして設定される様子を示す図である。 ユーザ端末から所定の距離だけ離れた位置がＷａｙｐｏｉｎｔとして設定される場合における、表示画面を示す図である。 指定棒を用いてＷａｙｐｏｉｎｔが設定される様子を示す図である。 指定棒によりＷａｙｐｏｉｎｔが設定されている際における、表示画面を示す図である。 ユーザ端末の向きを動かすことにより、移動体の撮像装置の向きが設定される様子を示す図である。 ユーザ端末の表示画面にピンチ操作を行うことにより、移動体の撮像装置の画角が設定される様子を示す図である。 移動体の移動のシミュレーション結果を表示する表示画面を示す図である。 移動体が備える撮像装置が撮像する画像のシミュレーション結果を表示する表示画面を示す図である。 手動操作による撮像方法を示すフローチャート図である。 移動体に自動飛行させて、撮像装置に映像を撮像させる方法を示すフローチャート図である。 仮想オブジェクトが生成されるまでの手順を示すフローチャート図である。 生成された移動情報及び撮像情報に基づき、映像が撮像されるまでの手順を示すフローチャート図である。 情報処理装置による表示処理を示す図である。 本開示の一実施形態に係る情報処理システムを構成するユーザ端末のハードウェア構成の一構成例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてユーザ端末１０ａおよびユーザ端末１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ユーザ端末１０ａおよびユーザ端末１０ｂを特に区別する必要が無い場合には、単にユーザ端末１０と称する。

なお、説明は以下の順序で行うものとする。
１．構成
１．１．情報処理システムの構成
１．２．ユーザ端末の構成
２．仮想オブジェクトの生成
３．操作例
３．１．移動情報の生成
３．２．撮像情報の生成
３．３．移動体の動作のシミュレーション
４．撮像方法
４．１．手動操作による撮像方法
４．２．自動飛行による撮像方法
４．３．端末の表示画面に表示された地図を用いる撮像方法
４．４．本開示に係る撮像方法
５．効果
６．ハードウェア構成
７．補足

＜１．構成＞
＜＜１．１．情報処理システムの構成＞＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システム１の構成について説明する。図１は、本開示の一実施形態に係る情報処理システム１の構成を示す図である。情報処理システム１は、ユーザ端末１０と移動体２０とを備える。ユーザ端末１０と移動体２０とは互いに通信可能に接続される。

ユーザ端末１０は、例えば、スマートフォン又はタブレット端末等であってもよい。ユーザ端末１０は、ユーザの操作に応じて、移動体２０の移動を制御するための移動情報を生成し、当該移動情報を移動体２０に送信する。また、ユーザ端末１０は、ユーザの操作に応じて、後述する仮想オブジェクトなどを表示することもできる。

移動体２０は、ユーザ端末１０により生成された移動情報に基づいて移動する装置である。ここで、移動体２０は、移動可能な各種の装置であり得るが、以下では、移動体２０がドローンであるものとして説明する。また、移動体２０は、風景を撮像するための撮像装置を搭載していてもよい。

＜＜１．２．ユーザ端末の構成＞＞
図２を参照して、本開示の一実施形態に係るユーザ端末１０の構成について説明する。図２は、本開示の一実施形態に係るユーザ端末１０の構成を示す機能ブロック図である。

ユーザ端末１０は、画像情報、センサ情報又はユーザからの操作に基づく情報等を取得し、取得した情報に各種の処理を施した結果を出力する機能を有する。ユーザ端末１０が有する機能は、ユーザ端末１０が備える情報処理装置１００、撮像部（第１の撮像装置）１１０、センサ部１２０、入力部１３０及び表示部１７５が協働することにより実現される。

撮像部１１０は、画像を撮像する各種の公知の撮像装置であってもよい。撮像部１１０は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の公知の各種の撮像素子を有する。撮像部１１０は、これらの撮像素子に加えて、被写体像を撮像素子に結像させるレンズ、及び被写体に照明光を照射するための光源等といった各種の部材を有してもよい。撮像部１１０は、撮像して得られた画像情報を情報処理装置１００に伝達する。

センサ部１２０は、例えば、測距センサ又はＩＭＵ（Inertial Measurement Unit）などの各種の公知のセンサの少なくとも１つを含む。測距センサは、例えばステレオカメラ又はＴｏＦ（Time of Flight）センサなどであってもよい。測距センサは、例えばユーザ端末１０とその周りに存在する物体までの距離等に関する距離情報を検出し、検出した距離情報を情報処理装置１００に伝達する。また、ＩＭＵは、例えば加速度センサ、ジャイロセンサ又は磁気センサの少なくともいずれかを含む。ＩＭＵは、検出した情報をＩＭＵ情報として、情報処理装置１００に伝達する。

入力部１３０は、ユーザによる操作に基づき、入力情報を生成する機能を有する。入力部１３０は、例えばタッチパネルなどであり得る。入力部１３０は、例えば、ユーザによるタッチ操作、ドラッグ操作、ピンチアウト操作又はピンチイン等の各種の操作に基づき、入力情報を生成する。入力部１３０は、生成した入力情報を取得部１４０に伝達する。

情報処理装置１００は、取得した情報に基づき各種の処理を実施し、当該処理の結果に基づき、表示部１７５の表示を制御する機能を有する。情報処理装置１００が有する機能は、取得部１４０、処理部１５０、表示制御部１７０、記憶部１８０及び通信制御部１９０が協働することにより実現される。

取得部１４０は、撮像部１１０、センサ部１２０又は入力部１３０の少なくともいずれかより入力された情報を取得する。取得部１４０は、取得した情報を処理部１５０に伝達する。

処理部１５０は、取得部１４０から伝達された情報に基づき、各種の処理を実施する機能を有する。例えば、処理部１５０は、取得部１４０から伝達された情報に基づき、移動体２０を制御するための情報を生成する機能を有する。また、処理部１５０は、表示部１７５の表示画面に表示される内容に関する情報を生成する。処理部１５０の詳細な構成及び機能については、図３を参照して後述する。処理部１５０は、生成した情報を表示制御部１７０、記憶部１８０又は通信制御部１９０に伝達する。

表示制御部１７０は、表示部１７５の表示画面における表示を制御する機能を有する。表示制御部１７０は、例えば、処理部１５０から伝達された情報に基づき、表示部１７５の表示画面における実空間に存在する物体に基づく仮想オブジェクトの表示を制御する。

表示部１７５は、各種の公知の画像を表示する機能を有する表示装置である。本実施形態では、表示部１７５と前述の入力部１３０とは、一体となっており、タッチパネルとして構成されている。後述するように、ユーザは、表示部１７５の表示画面を参照しながら、所定の操作を行うことにより、ユーザ端末１０に移動体２０の移動を制御するための移動情報を情報処理装置１００に生成させることができる。

記憶部１８０は、情報処理装置１００が生成した情報又は取得した情報などの各種の情報を記憶する機能を有する。例えば、記憶部１８０は、予め生成された仮想オブジェクトに関する情報を記憶していてもよい。なお、仮想オブジェクトを生成する方法については後述する。また、記憶部１８０は、移動体２０の移動を制御するための移動情報を記憶していてもよい。より具体的には、記憶部１８０は、移動体２０の経路に含まれる特定の地点（「Ｗａｙｐｏｉｎｔ」とも称する。）に関する情報（Ｗａｙｐｏｉｎｔ情報）を記憶していてもよい。移動体２０の経路は、複数のＷａｙｐｏｉｎｔが接続されることで形成されていてもよい。また、記憶部１８０は、処理部１５０が生成した移動情報又は撮像情報などを記憶してもよい。記憶部１８０が記憶している情報は、必要に応じて、処理部１５０、表示制御部１７０又は通信制御部１９０により参照される。

通信制御部１９０は、処理部１５０が生成した各種の情報の送信を制御する機能を有する。通信制御部１９０は、処理部１５０が生成した移動情報又は撮像情報の送信を制御する。当該移動情報又は撮像情報は、移動体２０に送信される。移動体２０は、送信された情報に基づき、移動又は撮像を行うことができる。

次いで、図３を参照して、情報処理装置１００が備える処理部１５０についてより詳細に説明する。図３は、処理部１５０の構成を示す機能ブロック図である。処理部１５０は、図３に示すように、検出部１５１、自己位置算出部１５４、仮想オブジェクト算出部１５５、生成部１５６及び予測部１６０を備える。

検出部１５１は、取得部１４０から伝達された情報に基づき、各種の検出を行う機能を有する。検出部１５１が有する機能は、平面検出部１５２及び物体検出部１５３により実現される。平面検出部１５２は、画像情報及び距離情報等に基づき、画像に含まれる平面を検出する機能を有する。物体検出部１５３は、画像情報及び距離情報等に基づき、画像に含まれる所定の物体を検出する機能を有する。検出部１５１は、検出した結果を自己位置算出部１５４に伝達する。

自己位置算出部１５４は、ユーザ端末１０の自己位置を算出する機能を有する。ここで、ユーザ端末１０の自己位置とは、ユーザ端末１０が存在している位置のみならず、ユーザ端末１０の姿勢も含む。具体的には、自己位置算出部１５４は、画像情報、距離情報及びＩＭＵ情報を入力として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）技術により、ユーザ端末１０の周りの環境又は物体に対する、ユーザ端末１０の位置又は姿勢を算出する。このとき、自己位置算出部１５４は、物体情報又は平面情報等に基づき、ＳＬＡＭにおける原点又はスケールを決定してもよい。自己位置算出部１５４は、算出した結果を仮想オブジェクト算出部１５５及び生成部１５６に伝達する。

仮想オブジェクト算出部１５５は、表示画面に配置される仮想オブジェクトに関する情報を生成する。より具体的には、仮想オブジェクト算出部１５５は、自己位置算出部１５４が算出したユーザ端末１０の自己位置、検出部１５１が検出した結果、入力部１３０に入力された入力情報及び記憶部１８０に記憶された仮想オブジェクトに関する情報等に基づき、表示部１７５の表示画面に配置する仮想オブジェクトの配置情報（位置又は方向などに関する情報）又はスケール情報等を算出する。ここで、仮想オブジェクト算出部１５５は、実空間のスケールを基準とした仮想オブジェクトのスケールを算出する。より具体的には、仮想オブジェクト算出部１５５は、表示画面に表示される仮想オブジェクトのスケールを、当該仮想オブジェクトの基となった実物のスケールから適宜拡縮して決定し、スケール情報を生成する。仮想オブジェクト算出部１５５は、算出した結果を後述する移動情報生成部１５７に伝達する。

生成部１５６は、移動体２０を制御するための各種の情報を生成する機能を有する。より具体的には、生成部１５６は、移動体２０の移動、当該移動体２０が備える撮像装置（第２の撮像装置）の動作、表示部１７５の表示を制御するための情報等を生成する。生成部１５６が有する機能は、生成部１５６が備える移動情報生成部１５７、撮像情報生成部１５８及び表示情報生成部１５９により実現される。

移動情報生成部１５７は、移動体２０の移動を制御するための、仮想オブジェクトと関連した移動情報を生成する。具体的には、移動情報生成部１５７は、ユーザ端末１０の自己位置、入力部１３０への入力情報、仮想オブジェクトの配置情報、スケール情報及びＷａｙｐｏｉｎｔ情報に基づき、Ｗａｙｐｏｉｎｔの位置及び方向を移動情報として生成する。例えば、移動情報生成部１５７は、移動体２０の経路を移動情報として生成してもよい。このとき、移動情報生成部１５７は、仮想オブジェクトのスケール情報に応じたスケールの移動情報を生成してもよいし、当該移動情報を実空間のスケールに合わせることで移動情報を生成してもよい。また、移動情報生成部１５７は、ユーザからの入力部１３０への操作などに基づき、移動情報を修正し、新たな移動情報を生成することもできる。具体的なユーザによる操作については、後述する。移動情報生成部１５７は、生成した移動情報を表示情報生成部１５９、予測部１６０及び記憶部１８０に伝達する。

撮像情報生成部１５８は、ユーザの操作に基づき、移動体２０が備える撮像装置が撮像する範囲を制御するための撮像情報を生成する機能を有する。より具体的には、撮像情報生成部１５８は、入力部１３０が生成した入力情報等に基づき、当該撮像装置が向く方向又は画角等に関する撮像情報を生成する。撮像情報生成部１５８は、生成した撮像情報を予測部１６０及び記憶部１８０に伝達する。

表示情報生成部１５９は、表示部１７５に表示される内容に関する表示情報を生成する機能を有する。より具体的には、表示情報生成部１５９は、撮像部１１０の位置、仮想オブジェクトの配置情報、スケール情報、Ｗａｙｐｏｉｎｔ情報及び後述する予測部１６０による予測結果等に基づき、表示部１７５に表示するためのＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を表示情報として生成する。表示情報生成部１５９は、移動体２０の移動を示す映像を表示情報として生成できる。また、表示情報生成部１５９は、移動体２０が備える撮像装置が撮像するシミュレーション映像を表示するための表示情報を生成することもできる。表示情報生成部１５９は、生成した表示情報を表示制御部１７０に伝達する。

予測部１６０は、移動体２０の動作を予測する機能を有する。より具体的には、予測部１６０は、移動体２０の移動及び移動体２０が備える撮像装置の動作を予測できる。予測部１６０が有する機能は、移動予測部１６１及び撮像予測部１６２により実現される。予測部１６０は、予測した結果を表示情報生成部１５９に伝達する。

移動予測部１６１は、移動情報に基づき、移動体２０の移動を予測する機能を有する。例えば、移動予測部１６１は、移動体２０の経路を予測することができる。また、撮像予測部１６２は、移動情報及び撮像情報に基づき、移動体２０が備える撮像装置が撮像する撮像画像を予測する。より具体的には、撮像予測部１６２は、当該撮像装置が通過する経路及び当該撮像装置の姿勢等に基づき、当該撮像装置が撮像する画像を予測する。

＜２．仮想オブジェクトの生成＞
本実施形態では、表示部１７５には、仮想オブジェクトが表示され、ユーザは、当該表示を見ながら所定の操作を行うことにより、情報処理装置１００に移動情報又は撮像情報などを生成させることができる。ここでは、当該仮想オブジェクトを生成する方法の一例を説明する。なお、仮想オブジェクトを生成する方法は、以下で説明する方法に限定されず、いかなる方法で仮想オブジェクトが生成されてもよい。

仮想オブジェクトの生成方法について、図４～図７を参照して説明する。図４は、ユーザＵ１が、移動体２０を操縦して塔４２０及び林４３０を撮像する様子を示す図である。また、図５は、撮像された塔４２０に基づき生成された仮想オブジェクト４２２を示す図である。また、図６は、撮像された林４３０に基づき生成された仮想オブジェクト４３２を示す図である。さらに、図７は、移動体２０が移動した経路４０２を示す図である。

まず、本実施形態に係る仮想オブジェクトの生成方法について簡単に説明する。ここでは、ユーザＵ１は、塔４２０を含む映像を撮像装置２０６に撮像させたいものとする。本実施形態では、まず、ユーザＵ１が、操縦装置４０１を用いて、移動体２０を操縦し、実空間に存在する塔４２０及び当該塔４２０の周辺に存在する林４３０を撮像装置２０６に予め撮像させる。次いで、撮像された画像に基づき、各種のＣＧ技術に基づき、３次元の仮想オブジェクトが生成される。本実施形態では、さらに、移動体２０が通過した経路にＷａｙｐｏｉｎｔが設定され、移動情報が生成される。以下、図４～図７を参照して、より詳細に仮想オブジェクトの生成方法について説明する。

まず、図４に示すように、ユーザＵ１は、操縦装置４０１を用いて、移動体（ドローン）２０に飛行させる。移動体２０は、機体２０２、プロペラ２０４及び撮像装置２０６を備えている。プロペラ２０４が駆動することにより、移動体２０は飛行することができる。また、ユーザＵ１がプロペラ２０４等を操縦することにより、機体２０２の向き、姿勢及び速度などが制御される。さらに、移動体２０が備える撮像装置２０６により、移動体２０の周りの風景が撮像される。ここでは、図４に示す塔４２０とその周りの林４３０を含む画像が、撮像装置２０６により撮像される。

撮像された画像に基づき、各種の公知のＣＧ技術を用いて、塔４２０及び林４３０の仮想オブジェクトが生成される。より具体的には、図５に示す実空間に存在する塔４２０の仮想オブジェクト４２２及び図６に示す実空間に示す林４３０の仮想オブジェクト４３２が生成される。このようにして生成された仮想オブジェクトに関する情報は、情報処理装置１００が備える記憶部１８０に記憶される。

さらに、ユーザＵ１は、実際に所望する画像が撮像される際の飛行を移動体２０に実現させてもよい。より具体的には、ユーザＵ１は、図４に示される塔４２０の周りを旋回する経路４０２を移動体２０が通過するように、移動体２０を操縦する。移動体２０は、移動体２０が備えるセンサにより移動した経路４０２を算出し、算出した結果を移動体２０が備える記録媒体などに記録する。ここで、経路４０２には、所定の規則に従って、Ｗａｙｐｏｉｎｔが設定されてもよい。例えば、所定の距離毎にＷａｙｐｏｉｎｔが設定されてもよい。また、経路４０２の曲率に応じてＷａｙｐｏｉｎｔの密度が調整されてもよい。

図７には、Ｗａｙｐｏｉｎｔ４０６が設定された経路４０２の一例が示されている。なお、図７には、１３個のＷａｙｐｏｉｎｔ４０６ａ～４０６ｍが示されているが、これに限らず、経路４０２には２個以上１２個以下のＷａｙｐｏｉｎｔが設定されてもよいし、１４個以上のＷａｙｐｏｉｎｔが設定されてもよい。なお、以下の説明に用いられる図おいても、Ｗａｙｐｏｉｎｔが示される場合があるが、Ｗａｙｐｏｉｎｔの数はそれらの図に示される数に限定されるものではない。

このようにしてＷａｙｐｏｉｎｔが設定された経路４０２に関する情報は、移動情報として、情報処理装置１００が備える記憶部１８０に記憶されてもよい。

＜３．操作例＞
ここでは、上記のようにして生成された仮想オブジェクトに基づき、ユーザが移動情報又は撮像情報などを情報処理装置１００に生成させるための操作の具体例について説明する。

＜＜３．１．移動情報の生成＞＞
ユーザの操作に基づき移動情報が生成される場合について説明する。まず、図８～図１２を参照して、予め移動情報が情報処理装置１００に記録されている場合に、当該移動情報を修正し、新たな移動情報が生成される場合について説明する。図８は、ユーザ端末１０ａにより、実空間に存在する机５００の上の平面が検出されている様子を示す図である。また、図９及び図１０は、ユーザＵ２の操作に基づき、Ｗａｙｐｏｉｎｔ４０８ａが選択されている様子を示す図である。さらに、図１１及び図１２は、ユーザＵ２の操作に基づき、Ｗａｙｐｏｉｎｔ４０８ａの位置が調整されている様子を示す図である。

図８に示すように、ユーザＵ２の目の前の実空間には、机５００が存在しているものとする。ユーザＵ２はユーザ端末１０ａを所持しており、ユーザ端末１０ａの表示画面６１０には、仮想オブジェクトの表示及びＷａｙｐｏｉｎｔの設定を開始するための開始ボタン６０２が表示されている。ここで、表示画面６１０は、ユーザＵ２からのタッチ操作又はピンチ操作などを受け付ける入力部１３０としての機能も有している。ユーザＵ２が開始ボタン６０２をタッチすると、ユーザ端末１０ａは、机５００の上の平面５０６を検出する。

すると、図９に示すように、ユーザ端末１０ａの表示画面６１０ａには、予め生成された塔の仮想オブジェクト４２２ａの画像６１２ａ及び移動体２０の仮想経路４０４ａの画像６１４ａが表示される。ここで、仮想経路とは、仮想オブジェクトが配置される仮想空間における経路である。当該仮想経路のスケールが適宜拡縮されることにより、移動体２０が実際に移動する実経路が形成される。以下、仮想経路及び実経路を特に区別しないときは、これらを単に「経路」とも称する。このとき、仮想オブジェクト４２２ａは、机５００の上に配置されているように、表示画面６１０ａに表示される。なお、図９には仮想オブジェクト４２２ａが机５００の上に示されているが、ここでは説明のために仮想オブジェクト４２２ａが示されており、実際に仮想オブジェクト４２２ａが机５００の上に配置されているわけではない。

ここで、仮想オブジェクト４２２ａの画像６１４ａのサイズは、例えば、図９に示すように机５００の上に乗るサイズであってもよい。また、仮想経路４０４ａの画像６１４ａには、仮想経路４０４ａを調整するためのＷａｙｐｏｉｎｔ４０８ａの画像６１６ａが表示されている。本実施形態では、ユーザＵ２は、表示画面６１０ａにピンチ操作などを行うことにより、表示画面６１０ａに表示された仮想オブジェクトの画像６１２ａのサイズ（すなわち、ユーザ端末１０ａから仮想オブジェクト４２２ａまでの距離）を調整することも可能である。このとき、ユーザ端末１０ａは、仮想オブジェクト４２２ａの基となった実空間に存在する塔のサイズと、当該仮想オブジェクト４２２ａのサイズとの比率を記憶してもよい。

本実施形態では、仮想オブジェクト４２２ａの画像６１２ａが平面（机５００の上）に表示されるため、ユーザＵ２は、仮想オブジェクト４２２ａが地面の上に配置されているように感じることができる。このため、ユーザＵ２は、より直感的にユーザ端末１０ａを操作することができるようになる。

ここでは、予め移動体２０が手動操縦等により飛行しており、仮想経路４０４ａは当該飛行に基づき生成されているものとする。また、仮想経路４０４ａには、予めＷａｙｐｏｉｎｔが設定されているものとする。具体的には、図９に示すように、仮想経路４０４ａには、丸印で示された１３個のＷａｙｐｏｉｎｔが設定されている。さらに、１３個のＷａｙｐｏｉｎｔうちの１つのＷａｙｐｏｉｎｔ４０８ａが、表示画面６１０ａに表示されているＷａｙｐｏｉｎｔの画像６１６ａに対応している。

ユーザＵ２は、表示画面６１０ａに表示されたＷａｙｐｏｉｎｔの画像６１６ａをタッチすることにより、調整の対象となるＷａｙｐｏｉｎｔを選択することができる。ここでは、ユーザＵ２は、仮想経路４０４ａにおけるＷａｙｐｏｉｎｔ４０８ａを選択しているものとする。また、Ｗａｙｐｏｉｎｔ４０８ａが選択された状態では、ユーザＵ２は、表示画面６１０ａにピンチ操作又はドラッグ操作などを行うことにより、Ｗａｙｐｏｉｎｔ４０８ａの位置を調整することができる。また、本実施形態では、ユーザＵ２は、表示画面６１０ａを操作することにより、移動体２０が備える撮像装置の向きを調整することもできる。例えば、Ｗａｙｐｏｉｎｔ４０８ａが選択された状態で、ユーザＵ２が表示画面６１０ａにピンチ操作又はドラッグ操作などを行うことにより、当該Ｗａｙｐｏｉｎｔ４０８ａに対応する位置を移動体２０が通過するときにおける、移動体２０の撮像装置の向きなどを指定することができる。

次いで、ユーザＵ２は、Ｗａｙｐｏｉｎｔ４０８ａが選択された状態で、ユーザ端末１０ａの位置を動かす。例えば、ユーザＵ２は、図１１及び図１２に示すように、ユーザ端末１０ａをユーザＵ２側に引く。これにより、選択されたＷａｙｐｏｉｎｔ４０８ａの位置は、ユーザ端末１０ｂの移動に応じて動く。また、仮想経路４０４ａは、移動後のＷａｙｐｏｉｎｔ４０８ｂの位置に応じた仮想経路４０４ｂに変化する。当該仮想経路４０４の変化により、実際に移動体２０が移動する経路が調整される。このように、本実施形態では、移動体２０の経路が、ユーザＵ２によるユーザ端末１０ａを動かす操作に基づき調整される。このようにして、移動体２０の経路が調整され、調整された経路を表す移動情報が新たに生成される。当該移動情報に基づき、移動体２０は、塔４２０の周りを飛行することが可能になる。

ここでは、仮想経路４０４ａにＷａｙｐｏｉｎｔが予め設定されている場合について説明した。仮想経路４０４ａにＷａｙｐｏｉｎｔが予め設定されていない場合には、ユーザＵ２は、表示画面６１０に表示された仮想経路４０４の画像６１４の一部をタッチ等することにより、Ｗａｙｐｏｉｎｔを設定することも可能である。このようにして設定されたＷａｙｐｏｉｎｔについても、上述した方法により調整することが可能である。

このように、本実施形態によれば、ユーザＵ２は、Ｗａｙｐｏｉｎｔが設定された状態で、表示画面６１０への操作及びユーザ端末１０ａを動かす操作を行うことで、Ｗａｙｐｏｉｎｔを微調整することが可能である。このため、より直感的に移動体２０の移動するための情報を生成することが可能になる。

以上、移動体２０の仮想経路４０４ａが予め設定されている場合に、当該仮想経路４０４ａを調整することで、新たな移動情報を生成する方法について説明した。次に、移動体２０の経路が予め設定されていない場合に、移動体２０の経路を設定する２つの方法ついて、図１３及び図１４を参照して説明する。図１３及び図１４は、ユーザＵ２の操作に基づき、移動体２０の経路が新たに設定されている様子を示す図である。

なお、いずれの方法も、ユーザＵ２がユーザ端末１０を操作することにより、移動体２０の経路及びＷａｙｐｏｉｎｔを設定する方法である。図１３及び図１４を参照して説明する方法により設定されたＷａｙｐｏｉｎｔも、図８～図１２を参照して上述した方法により調整されてもよい。

移動体２０の経路を設定する１つ目の方法について、図１３を参照して説明する。まず、ユーザＵ２は、ユーザ端末１０ｃの表示画面６１０ｃの一部（例えば、表示画面６１０ｃに示された指定箇所６１６ｃ）をタッチする。ユーザＵ２は、指定箇所６１６ｃをタッチしながら、ユーザ端末１０ｃを例えば破線で示す下方向に動かす。ユーザ端末１０ｃは、ユーザ端末１０ｃが移動した軌跡を移動体２０の経路として記憶する。このとき、ユーザ端末１０ｃは、経路にＷａｙｐｏｉｎｔを設定し、当該経路と共に記憶してもよい。

次いで、移動体２０の経路を設定する２つ目の方法について、図１４を参照して説明する。２つ目の方法では、ユーザＵ２は、図１４の上側に示すように、ユーザ端末１０ｄの表示画面６１０ｄをタッチしてＷａｙｐｏｉｎｔ４０８ｄを設定する。設定されたＷａｙｐｏｉｎｔ４０８ｄの画像６１６ｄが、表示画面６１０ｄに表示される。

次いで、図１４の下側に示すように、ユーザＵ２は、ユーザ端末１０ｄの位置を動かして、新たな位置におけるユーザ端末１０ｅの表示画面６１０ｅをタッチしてＷａｙｐｏｉｎｔ４０８ｅを設定する。以後、ユーザ端末１０の移動とＷａｙｐｏｉｎｔ４０８の設定が繰り返され、設定された複数のＷａｙｐｏｉｎｔ４０８が結ばれることにより、移動体２０の経路が生成される。生成された経路及びＷａｙｐｏｉｎｔ４０８は、ユーザ端末１０に記憶される。

このようにして、本実施形態によれば、移動体２０の経路が予め設定されていない場合であっても、ユーザＵ２は、表示画面６１０への操作とユーザ端末１０を動かす操作により、移動体２０の経路を設定することができる。

ここで、ユーザ端末１０の操作により設定されるＷａｙｐｏｉｎｔの位置について、図１５～図１８を参照して、より詳細に説明する。図１５は、ユーザ端末１０ｆが備える撮像部１１０ａの位置が、Ｗａｙｐｏｉｎｔ４１０として設定される様子を示す図である。また、図１６は、ユーザ端末１０ｆが備える撮像部１１０ａの位置がＷａｙｐｏｉｎｔ４１０として設定される場合における、表示画面６１０ｆを示す図である。また、図１７は、ユーザ端末１０ｇから所定の距離だけ離れた位置がＷａｙｐｏｉｎｔ４１２として設定される様子を示す図である。さらに、図１８は、ユーザ端末１０ｇから所定の距離だけ離れた位置がＷａｙｐｏｉｎｔ４１２として設定される場合における、表示画面６１０を示す図である。

まず、図１５及び図１６を参照して、設定されるＷａｙｐｏｉｎｔの位置について説明する。図１５に示すように、机５００の上には、塔の仮想オブジェクト４２２ａが配置されている。ユーザ端末１０ｆが備える撮像部１１０ａは、撮像部１１０ａの前方を撮像している。つまり、撮像部１１０ａは、仮想オブジェクト４２２ａが含まれる範囲を撮像している。ここでは、撮像部１１０ａの位置がＷａｙｐｏｉｎｔとして指定される。

このとき、図１６に示すように、ユーザ端末１０ｆの表示画面６１０ｆには、机５００の上に配置された塔の仮想オブジェクトの画像６１２ｆが表示されている。ユーザは、表示画面６１０ｆを見ながら、表示画面６１０ｆをタッチ等することにより、Ｗａｙｐｏｉｎｔを設定することができる。また、ユーザは、ユーザ端末１０ｆを動かし、新たな位置でＷａｙｐｏｉｎｔ４１０を設定することができる。

このとき、表示画面６１０に表示される画像は、実際に移動体２０の撮像装置がＷａｙｐｏｉｎｔにおいて撮像する画像に対応していてもよい。この場合、ユーザは、移動体２０が備える撮像装置が撮像する画像を事前に確認することができる。

次いで、図１７及び図１８を参照して、ユーザ端末１０ｇが撮像部１１０ａから所定の距離だけ離れた位置をＷａｙｐｏｉｎｔとして設定する方法について説明する。具体的には、撮像部１１０ａから前方に距離ｄだけ離れ、撮像部１１０ａの光軸４１４から下方向に少しだけずれた位置が、Ｗａｙｐｏｉｎｔ４１２として設定される。

このとき、図１８に示すように、ユーザ端末１０ｇの表示画面６１０ｇには、塔の仮想オブジェクトの画像６１２ｇと、Ｗａｙｐｏｉｎｔの画像６１６とが表示されている。さらに、表示画面６１０ｇには、ユーザ端末１０ｇとＷａｙｐｏｉｎｔの画像６１６とを結ぶガイド面６１７が表示されている。ユーザは、ガイド面６１７の上に配置されたＷａｙｐｏｉｎｔの画像６１６を見ながら、表示画面６１０ｇへのタッチ操作等により、Ｗａｙｐｏｉｎｔ４１２を設定することができる。

このとき、Ｗａｙｐｏｉｎｔ４１２は、撮像部１１０ａの光軸４１４よりも下側に位置するため、ユーザは、表示画面６１０ｇを参照して、Ｗａｙｐｏｉｎｔ４１２の位置をより容易に認識することができると考えられる。

以上、表示画面６１０を操作することにより、Ｗａｙｐｏｉｎｔを設定する方法について説明した。次いで、Ｗａｙｐｏｉｎｔを設定する方法のバリエーションについて、図１９及び図２０を参照して説明する。具体的には、移動体２０の経路を指定する指定対象物を用いて、Ｗａｙｐｏｉｎｔを設定する方法について説明する。

図１９は、指定棒６２０を用いてＷａｙｐｏｉｎｔが設定される様子を示す図である。また、図２０は、指定棒６２０によりＷａｙｐｏｉｎｔが設定されている際における、表示画面６１０ｈを示す図である。

本実施形態では、指定棒６２０の先端には、球状の指定対象物６２２が設けられている。ここで、指定棒６２０は、ユーザ端末１０にタッチして各種の操作を行うことができるタッチペンなどであってもよい。また、ユーザ端末１０ｈは、当該指定棒６２０が備える指定対象物６２２の３次元の位置を検出できるセンサを備えているものとする。具体的には、ユーザ端末１０ｈは、例えばＴｏＦセンサ又はステレオカメラ等の測距センサを備えている。ユーザ端末１０は、当該測距センサのセンサ情報に基づき、指定対象物６２２の位置情報を取得する。指定対象物６２２の位置情報は、（ｘ、ｙ、ｚ）の３次元で表現される。ここで、ｚは重力の方向（上下方向）である。ｘ及びｙ方向は、ｚ方向に垂直な方向であり、互いに直交する方向である。

ここでは、当該位置情報に基づき、Ｗａｙｐｏｉｎｔが設定される。具体的には、例えばユーザが表示画面６１０ｈにタッチ操作などを行うと、ユーザ端末１０は指定対象物６２２の位置をＷａｙｐｏｉｎｔとして設定する。

このとき、ユーザ端末１０ｈの表示画面６１０ｈには、指定棒の画像６１８及び指定対象物の画像６１６が表示されている。このため、ユーザは、指定対象物６２２の位置を表示画面６１０ｈで確認しながら、Ｗａｙｐｏｉｎｔを設定することができる。

＜＜３．２．撮像情報の生成＞＞
以上、移動体２０の移動を制御するための移動情報（より詳細には、Ｗａｙｐｏｉｎｔを含む情報）を生成するための操作について説明した。次いで、移動体２０が備える撮像装置が撮像する範囲を制御するための撮像情報を生成する２つの方法について、図２１及び図２２を参照して説明する。図２１は、ユーザ端末１０ｉの向きを動かすことにより、移動体２０の撮像装置の向きが設定される様子を示す図である。また、図２２は、ユーザ端末１０ｊの表示画面にピンチ操作を行うことにより、移動体２０の撮像装置の画角が設定される様子を示す図である。

まず、図２１を参照して、移動体２０の撮像装置が撮像する方向を設定する方法について説明する。ユーザは、例えば、移動体２０の経路に含まれるＷａｙｐｏｉｎｔの１つを選択しておく。この状態において、図２１に示すように、ユーザがユーザ端末１０ｉの向きを動かすことにより、ユーザ端末１０ｉが備える撮像部１１０ａが撮像する方向（すなわち、撮像する範囲１３４ａ、１３４ｂ）を調整することができる。調整された撮像部１１０ａが撮像する方向に関する方向情報は、撮像情報として生成される。つまり、ユーザ端末１０ｉは、ユーザ端末１０ｉの姿勢情報に基づき、方向情報を生成することができる。移動体２０の撮像装置は、当該方向情報に基づき、設定されたＷａｙｐｏｉｎｔにおいて、調整された撮像部１１０ａと同じ方向を撮像することができるようになる。

また、本実施形態に係るユーザ端末１０は、ユーザによる表示画面におけるピンチアウト操作又はピンチイン操作に基づき、移動体２０の撮像装置の画角を制御するための画角情報を生成することができる。

次いで、図２２を参照して、移動体２０の撮像装置の画角を設定する方法について説明する。ユーザは、例えば、移動体２０の経路に含まれるＷａｙｐｏｉｎｔの１つを選択しておく。この状態でユーザがユーザ端末１０ｊの表示画面にピンチアウト操作又はピンチイン操作を行うことにより、撮像部１１０ａの撮像範囲１３４を調整することで、選択されたＷａｙｐｏｉｎｔを移動体２０が通過する際における撮像装置の画角を設定することができる。つまり、ユーザ端末１０ｊは、ユーザによる表示画面におけるピンチアウト操作又はピンチイン操作に基づき、移動体２０の撮像装置の画角を制御するための画角情報を生成することができる。

以上、ユーザの操作に基づき、ユーザ端末１０による方向情報及び画角情報の生成について説明した。移動体２０の撮像装置は、当該方向情報及び画角情報に基づき撮像を行うことができる。なお、上記の方向情報及び画角情報は、Ｗａｙｐｏｉｎｔの位置が設定される際に生成されてもよいし、Ｗａｙｐｏｉｎｔの位置が設定された後に生成されてもよい。

＜＜３．３．移動体の動作のシミュレーション＞＞
次いで、図２３及び図２４を参照して、移動情報及び撮像情報に基づく、ユーザ端末１０による移動体２０の動作のシミュレーションについて説明する。具体的には、ユーザ端末１０により、移動体２０の移動及び移動体２０が備える撮像装置が撮像する画像がシミュレーションされる。図２３は、移動体２０の移動のシミュレーション結果を表示する表示画面６１１を示す図である。また、図２４は、移動体２０が備える撮像装置が撮像する画像のシミュレーション結果を表示する表示画面６１０ｋを示す図である。

図２３に示すように、ユーザ端末１０の表示画面６１１には、机の上に配置された塔の仮想オブジェクトの画像６１２ｉと、三角形で模試的に示された移動体の画像６３０が表示されている。移動体の画像６３０の移動のシミュレーションが開始されると、移動体の画像６３０は、Ｗａｙｐｏｉｎｔの画像６１６ａ～ｍで結ばれた仮想経路６１５を移動する。ユーザは、移動体の画像６３０の移動を確認することにより、実際に移動体２０がどのように移動するのかを予測することができる。

また、本実施形態に係るユーザ端末１０ｋによれば、移動体２０が備える撮像装置が撮像する画像をシミュレーションすることもできる。具体的には、ユーザ端末１０ｋは、上述のようにして設定されたＷａｙｐｏｉｎｔを移動体２０が飛行した場合に、移動体２０の撮像装置が撮像すると予測される画像を表示することができる。図２４に示すように、ユーザ端末１０ｋの表示画面６１０ｋに、撮像されることが予測される画像が表示されている。ユーザは、表示画面６１０ｋを見ることにより、移動体２０が備える撮像装置が撮像する画像を予測することができる。なお、ユーザは、表示画面６１０ｋの中心に示されている停止ボタン６１９をタッチ等することにより、表示画面６１０ｋに表示される動画を停止することもできる。

＜４．撮像方法＞
以下、移動体２０を利用して、風景を撮像する方法について説明する。まず、上述した本開示の技術を用いないで、風景を撮像する３つの方法について説明する。その後、本開示の技術を用いて、移動体２０を利用した風景を撮像する方法について説明する。

なお、以下の説明では、移動体２０（例えば、ドローン）に塔のような建造物の周囲を飛行させて、例えばコマーシャル用の印象的な映像を撮像させることが想定されている。このような場合、移動体２０に３次元空間を飛行させる必要がある。このため、移動体２０の飛行位置、速度、及びカメラの向き等の各種の条件を適切にコントロールすることで、初めて印象的な映像が撮像される。このため、印象的な映像を撮像させるためには、移動体２０を操縦する高度なテクニックが必要となる。

また、ユーザが、手動操作により、何度も移動体２０に同じ軌跡を飛行させることは困難である。また、屋外で撮像される場合又は広い範囲が撮像される場合には、日照条件又は人の出入りなどを考慮する必要があり、撮像のタイミングが重要となる。このため、繰り返し撮像することにより、条件の良い映像が撮像される。

＜＜４．１．手動操作による撮像方法＞＞
まず、図２５を参照して、ユーザが、操縦装置を用いた手動操作により移動体２０を操縦し、移動体２０の撮像装置に風景を撮像させる方法について説明する。ここでは、操縦装置により、移動体２０の移動及び移動体２０が備える撮像装置の向きなどが操作されるものとする。図２５は、手動操作による撮像方法を示すフローチャート図である。以下、図２５に示すフローチャート図に沿って、手動操作による撮像方法を説明する。

まず、ユーザは、撮像条件に応じた画像の違いを確認する（ステップＳ１０１）。より具体的には、ユーザは、実際に手動操作により移動体２０に建造物の周囲を飛行させ、移動体２０の撮像装置の向き又は移動体２０と建造物との距離等の撮像条件に応じた、画像の見え方の違いを確認する。なお、ユーザは、移動体２０の操縦に慣れた者であることが好ましい。

次いで、ユーザは、移動体２０を利用して映像を撮像する（ステップＳ１０３）。より具体的には、ユーザは、印象的な映像が撮像されるように、移動体２０の飛行及び撮像装置の向きを手動操作により制御し、移動体２０の撮像装置に映像を撮像させる。

このとき、ユーザは、タブレット端末等の各種の公知の携帯端末に、移動体２０が備える撮像装置が撮像している映像と共に２次元の地図画面を表示させ、移動体２０が飛行している経路を表示させてもよい。さらに、ユーザは、所定の規則に基づいて、当該経路にＷａｙｐｏｉｎｔが設定してもよい。これにより、ユーザは、撮像されている映像を確認しながら、Ｗａｙｐｏｉｎｔを設定することができる。

次いで、ユーザは、ステップＳ１０３において撮像された映像を確認する（ステップＳ１０５）。移動体２０の飛行及び撮像装置の向きが意図通りに制御された場合（ステップＳ１０７：ＹＥＳ）には、ステップＳ１０９に進む。一方、移動体２０の飛行及び撮像装置の向きが意図通りに制御されなかった場合には（ステップＳ１０７：ＮＯ）、ステップＳ１０３に戻る。

移動体２０の飛行及び撮像装置の向きが意図通りに制御された場合（ステップＳ１０７：ＹＥＳ）であっても、例えば日が陰るタイミングがあったり、意図しない人が撮像装置の前を横切ったりした等により、意図通りの印象的な映像が撮像されなかった場合（ステップＳ１０９：ＮＯ）には、ステップＳ１０３に戻る。一方、意図通りの印象的な映像が撮像された場合（ステップＳ１０９：ＹＥＳ）には、図２５に示す撮像方法は終了する。

以上、手動操作により映像を撮像する方法について説明した。かかる方法によれば、意図する映像を得るためには、何度も手動操作により、同様の移動体２０の飛行及び撮像装置の向きを再現する必要がある。このため、所望する映像を得るためには、手間や時間がかかる上、映像の撮像の度に人手がかかる。

＜＜４．２．自動飛行による撮像方法＞＞
次いで、図２６を参照して、移動体２０に自動飛行させながら、撮像装置に映像を撮像させる方法について説明する。図２６は、移動体２０に自動飛行させて、撮像装置に映像を撮像させる方法を示すフローチャート図である。以下、図２６に示すフローチャート図に沿って説明する。

まず、ステップＳ２０１～Ｓ２０７の処理が実施されるが、ステップＳ２０１～Ｓ２０７の処理はステップＳ１０１～Ｓ１０７の処理と実質的に同一であるため、ここでは説明を省略する。

移動体２０の飛行及び撮像装置の向きが意図通りに制御された場合（ステップＳ２０７：ＹＥＳ）には、撮像条件のデータが保存される（ステップＳ２０９）。より具体的には、移動体２０の飛行及び撮像装置の向きが意図通りに制御された際における、移動体２０が飛行時の位置、速度及び撮像装置の向き等の各種の撮像条件が記録される。撮像条件は、移動体２０等が備える各種の公知の記録媒体に記録される。なお、移動体２０の位置又は速度等に関する情報は、移動体２０が備えるＧＰＳ又はＩＭＵ等により取得される。

次いで、撮像動作が再現される（ステップＳ２１１）。より具体的には、ステップＳ２０９において記録された撮像条件に基づき、移動体２０の飛行及び撮像装置の向きが自動で再現される。このときに撮像された映像は、ユーザにより確認される。

意図通りの映像が撮像されなかった場合（ステップＳ２１３：ＮＯ）、ステップＳ２１１に戻り、再度撮像動作が再現される。一方、例えば日照条件等が整い、意図通りの映像が撮像された場合（ステップＳ２１３：ＹＥＳ）、図２６に示す撮像は終了する。

以上、自動飛行による撮像方法について説明した。かかる方法によれば、ユーザは、同じ移動体２０を手動操作する必要がなくなるため、ユーザの負担が減少する。

なお、ステップＳ２０９において記録されたデータに基づき、例えばタブレット端末等の表示画面に地図を表示して当該地図に移動体２０の仮想経路を描写し、当該仮想経路を微調整することも可能である。しかし、当該仮想経路が２次元の地図画面に表示される場合には、例えば仮想経路の高度を直感的に調整することが困難である。

また、移動体２０の自己位置は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）又はＩＭＵなどを用いて算出されるため、建造物等との相対位置にはＧＰＳに依存する５０ｃｍ～１ｍ程度の誤差が生じる。

＜＜４．３．端末の表示画面に表示された地図を用いる撮像方法＞＞
上記の方法では、ユーザが、実際に移動体２０が飛行する現場に行き、移動体２０の操縦及びＷａｙｐｏｉｎｔの設定をする必要がある。そこで、タブレット端末等の表示画面に表示された地図などを用いて、予め移動体２０が飛行する経路を指定しておき、当該指定された経路を移動体２０に飛行させる方法が考えられる。

より具体的には、ユーザは、例えばタブレット端末の表示画面に地図を表示させ、当該表示画面をタッチ等することにより、Ｗａｙｐｏｉｎｔが設定する。なお、Ｗａｙｐｏｉｎｔの位置は、経度及び緯度で設定されてもよい。このとき、ユーザは、指定されたＷａｙｐｏｉｎｔにおける移動体２０の速度及び高度を設定してもよい。さらに、ユーザは、指定されたＷａｙｐｏｉｎｔにおける移動体２０の向きを設定することもできる。例えば、移動体２０の向きを進行方向に向かせるように、設定することもできる。

同様にして、複数のＷａｙｐｏｉｎｔが設定され、これらのＷａｙｐｏｉｎｔが結ばれることにより、移動体２０の経路が設定される。ユーザは、設定された経路を表す情報を移動体２０に記録又は送信することにより、移動体２０に設定された経路を飛行させるとともに、撮像装置に映像を撮像させることができる。

かかる方法によれば、ユーザは、移動体２０が飛行する現場に行く前に、移動体２０が飛行する経路を設定することができる。従って、ユーザは、会社又は自宅等に居ながら、移動体２０が飛行する経路を設定することができる。しかしながら、移動体２０の撮像装置によりどのような映像が撮像されるのかは、実際に移動体２０を飛行させて撮像装置に映像を撮像させるまでは分からない。さらに、Ｗａｙｐｏｉｎｔの位置を修正した場合に撮像装置により撮像される映像がどのように変化するのかは、実際に移動体２０に飛行させ、撮像装置に映像を撮像させてみないとわからない。

また、表示画面に表示された地図をタッチする方法でＷａｙｐｏｉｎｔを設置する方法は、移動体２０に広い範囲を大まかに飛行させる場合には便利である。しかしながら、移動体２０の撮像装置に建造物の周囲を躍動的に撮像させるような場合には、移動体２０の経路などを細かく設定しにくいと考えられる。さらに、表示画面には、２次元の地図が表示されるため、移動体２０の高度を数値で設定する必要があり、直感的にＷａｙｐｏｉｎｔを設定することができない。

＜＜４．４．本開示に係る撮像方法＞＞
次いで、本開示に係る撮像方法について、図２７～図２９を参照して説明する。図２７は、仮想オブジェクトが生成されるまでの手順を示すフローチャート図である。また、図２８は、生成された移動情報及び撮像情報に基づき、映像が撮像されるまでの手順を示すフローチャート図である。さらに、図２９は、情報処理装置１００による表示処理を示す図である。以下、図２７～図２９を参照して、本開示に係る撮像方法について説明する。以下の説明では、上述した図２～図２４を適宜参照しながら説明する。

図２７に示すステップＳ３０１におけるユーザの操作は、ステップＳ１０１におけるユーザの操作と実質的に同一である。しかし、本開示に係る撮像方法では、移動体２０を操縦するユーザは、移動体２０の操縦に不慣れなものであってもよい。

次いで、ユーザは、移動体２０の撮像装置に映像を撮像させる（ステップＳ３０３）。ユーザは、仮想オブジェクトの基となる被写体を移動体２０の撮像装置に撮像させる。このとき、ユーザは、印象的な映像が撮像されるように、移動体２０の飛行及び撮像装置の向きを手動操作により制御し、移動体２０の撮像装置に映像を撮像させてもよい。例えば、ユーザは、図４に示したような塔４２０の周りを移動体２０に旋回させて、撮像装置２０６に映像を撮像させてもよい。このとき、撮像装置２０６は、塔４２０及び林４３０を含む映像を撮像するものとする。

次いで、ユーザは、撮像された映像を確認する（ステップＳ３０５）。より具体的には、ユーザは、撮像装置２０６により撮像された映像が意図した映像であることを確認する。

次いで、仮想オブジェクトが生成される（ステップＳ３０７）。より具体的には、ステップＳ３０３において撮像された画像、当該画像を撮像したときの移動体２０の位置、姿勢及び撮像装置２０６の向き等の情報に基づき、各種の公知のＣＧ技術を用いて、３次元の仮想オブジェクトに関する情報が生成される。例えば、図５に示した塔の仮想オブジェクト４２２及び図６に示した林の仮想オブジェクト４３２に関する情報が生成される。

なお、移動体２０の位置及び姿勢は、ＧＰＳ及びＩＭＵを用いるだけでなく、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔにより、撮像された画像に基づき３次元の仮想オブジェクトを生成する処理において、より正確な値が算出されてもよい。これにより、移動体２０の建造物などの環境に対する相対的な位置又は姿勢がより正確に算出される。ここで、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔとは、画像から高い精度で各種のパラメータを推定する方法である。このとき生成された仮想オブジェクトに関する情報は、ユーザ端末１０が備える記憶部１８０に記録される。このとき、図７に示したような移動体２０が移動した経路４０２及びＷａｙｐｏｉｎｔ４０６に関する情報が記憶部１８０に記録されてもよい。

以上、図２７を参照して、仮想オブジェクトが生成されるまでの処理について説明した。次いで、図２８及び図２９を参照して、所望する映像が撮像されるまでの手順について説明する。なお、図２８及び図２９に示すステップＳ４０１～Ｓ４０５における処理は、主に本開示の一実施形態に係る情報処理装置１００による処理である。

情報処理装置１００は、仮想オブジェクトの表示処理をする（ステップＳ４０１）。仮想オブジェクトの表示処理については、図２９を参照して説明する。図２９は、仮想オブジェクトの表示処理を示すフローチャート図である。以下、図２９に示すフローチャート図に沿って、仮想オブジェクトの表示処理について説明する。図２９に示す処理は、例えば、図８を参照して説明したように、ユーザ端末１０ａの表示画面６１０に表示された開始ボタン６０２がタッチされたときに実行される。

まず、取得部１４０は、画像情報及びセンサ情報を取得する（ステップＳ５０１）。より具体的には、取得部１４０は、撮像部１１０が撮像した机５００を含む画像情報を取得する。また、取得部１４０は、センサ部１２０が検出したＩＭＵ情報又はユーザ端末１０ａから机５００までの距離情報などを取得する。取得部１４０は、取得した画像情報及び距離情報を、処理部１５０が備える検出部１５１に伝達する。また、取得部１４０は、取得した画像情報、距離情報及びＩＭＵ情報を、処理部１５０が備える自己位置算出部１５４に伝達する。

次いで、平面検出部１５２は、取得部１４０から伝達された画像情報及び距離情報に基づき、平面を検出する（ステップＳ５０３）。ここでは、平面検出部１５２は、机５００の上の平らな平面５０６を検出する。平面検出部１５２は、検出した結果を仮想オブジェクト算出部１５５に伝達する。

次いで、自己位置算出部１５４は、画像情報、距離情報及びＩＭＵ情報に基づき、ユーザ端末１０の自己位置を算出する（ステップＳ５０５）。より具体的には、自己位置算出部１５４は、机５００又はその周りの環境に対するユーザ端末１０の位置及び姿勢を算出する。自己位置算出部１５４は、算出した結果を仮想オブジェクト算出部１５５に伝達する。

次いで、仮想オブジェクト算出部１５５は、自己位置算出部１５４の算出結果及び記憶部１８０に記録された仮想オブジェクトに関する情報に基づき、配置される仮想オブジェクトの位置、方向及びスケールなどを算出する（ステップＳ５０７）。仮想オブジェクト算出部１５５は、算出した結果を移動情報生成部１５７に伝達する。

次いで、移動情報生成部１５７は、仮想オブジェクト算出部１５５の算出結果及び記憶部１８０に記録されたＷａｙｐｏｉｎｔ情報に基づき、移動体２０の経路を設定する（ステップＳ５０９）。例えば、移動情報生成部１５７は、机５００の上に配置された仮想オブジェクトの周りを旋回する仮想経路を設定する。移動情報生成部１５７は、設定した仮想経路に関する情報を表示情報生成部１５９に伝達する。

次いで、表示情報生成部１５９は、表示情報を生成する（ステップＳ５１１）。より具体的には、表示情報生成部１５９は、机５００の上に配置された仮想オブジェクトの周りに移動体２０の仮想経路を表示する表示情報を生成し、生成した表示情報を表示制御部１７０に伝達する。

次いで、表示制御部１７０は、机５００の上に配置された仮想オブジェクトの周りに、仮想経路の画像が表示されるように、表示部１７５の表示を制御する（ステップＳ５１３）。これにより、表示部１７５の表示画面には、ユーザの目の前に存在する机５００の上に塔の仮想オブジェクト４２２の画像６１２と、その周りを旋回する仮想経路の画像６１４とが表示される。

以上、図２９を参照して、仮想オブジェクトの表示処理について説明した。次いで、図２８に戻って、本開示に係る撮像方法について説明する。

情報処理装置１００は、移動情報と撮像情報とを生成する（ステップＳ４０３）。例えば、図９～図２２を参照して説明したように、ユーザによるユーザ端末１０を動かす操作などに基づき、Ｗａｙｐｏｉｎｔ等の移動情報及び撮像装置の向き及びズーム率等の撮像情報が生成され、予測部１６０に伝達される。ここで、図９～図２２を参照して説明した操作における、情報処理装置１００の処理について説明する。

（予め設定されたＷａｙｐｏｉｎｔを調整する処理）
ここで、図９～図１２を参照して説明したＷａｙｐｏｉｎｔが調整される処理における、情報処理装置１００の処理について説明する。図９に示したように、ユーザＵ２が、表示画面６１０ａに表示されたＷａｙｐｏｉｎｔの画像６１６ａをタッチすると、入力部１３０は、当該Ｗａｙｐｏｉｎｔの画像６１６ａに対応するＷａｙｐｏｉｎｔ４０８ａが選択されたことを表す入力情報を移動情報生成部１５７に伝達する。

次いで、図１１及び図１２に示したように、ユーザＵ２がユーザ端末１０をユーザＵ２側に引くと、センサ部１２０が当該ユーザ端末１０の動きを検出し、検出したセンサ情報を自己位置算出部１５４に伝達する。自己位置算出部１５４は、センサ情報に基づき、ユーザ端末１０の位置及び姿勢を算出する。自己位置算出部１５４は、算出した結果を移動情報生成部１５７に伝達する。

次いで、移動情報生成部１５７は、選択されたＷａｙｐｏｉｎｔ４０８ａの位置が、ユーザ端末１０が動いた距離だけ変位するように、移動体２０の仮想経路を修正する。これにより、新たな仮想経路に関する情報が、移動情報として生成され、予測部１６０に伝達される。

（Ｗａｙｐｏｉｎｔを新たに設定する処理）
次いで、図１３又は図１４を参照して説明した操作において、情報処理装置１００が実施する処理について説明する。取得部１４０は、ユーザによる表示画面６１０への操作に基づく入力情報を入力部１３０から取得する。また、取得部１４０は、撮像部１１０から画像情報、センサ部１２０から距離情報及びＩＭＵ情報を取得する。取得部１４０は、取得した情報を処理部１５０に伝達する。

自己位置算出部１５４は、伝達されたセンサ情報又は距離情報等に基づき、ユーザ端末１０の自己位置を算出し、算出した結果を生成部１５６に伝達する。移動情報生成部１５７は、当該算出された結果及び入力情報等に基づき、Ｗａｙｐｏｉｎｔの位置を特定する。移動情報生成部１５７は、特定した複数のＷａｙｐｏｉｎｔを結ぶことで移動体２０の仮想経路を設定し、当該仮想経路を移動情報として予測部１６０に伝達する。

（指定棒を用いてＷａｙｐｏｉｎｔを設定する処理）
次いで、図１９及び図２０を参照して説明した、指定棒６２０を用いてＷａｙｐｏｉｎｔを設定する際における、情報処理装置１００の処理について説明する。まず、取得部１４０は、センサ部１２０よりＩＭＵ情報及びセンサ情報を取得する。さらに、取得部１４０は、撮像部１１０から画像情報を取得し、当該画像情報を物体検出部１５３に伝達する。

物体検出部１５３は、画像情報に基づき、画像に含まれる指定対象物６２２を検出する。さらに、物体検出部１５３は、センサ情報に基づき、例えば撮像部１１０から指定対象物６２２までの距離及び方向を検出し、検出した結果を生成部１５６に伝達する。

移動情報生成部１５７は、物体検出部１５３が検出した結果に基づき、指定対象物６２２の位置を特定し、当該位置をＷａｙｐｏｉｎｔとして設定する。移動情報生成部１５７は、設定した複数のＷａｙｐｏｉｎｔを結ぶことで仮想経路を設定し、当該仮想経路を移動情報として、予測部１６０に伝達する。

（撮像装置の方向を設定する処理）
次いで、図２１を参照して説明した、撮像装置の方向を設定する際における、情報処理装置１００の処理について説明する。自己位置算出部１５４は、センサ情報に基づき、ユーザ端末１０の姿勢を算出し、算出した結果を生成部１５６に伝達する。撮像情報生成部１５８は、算出された姿勢に基づき、撮像装置の方向を設定する。撮像情報生成部１５８は、設定した撮像装置の方向を方向情報として予測部１６０に伝達する。

（撮像装置の画角を設定する処理）
次いで、図２２を参照して説明した、撮像装置の画角を設定する際における、情報処理装置１００の処理について説明する。

撮像情報生成部１５８は、入力部１３０からユーザによるピンチイン操作又はピンチアウト操作が行われたことを表す入力情報を取得する。撮像情報生成部１５８は、入力情報に基づき、撮像装置の画角を表す画角情報を生成し、予測部１６０に伝達する。

次いで、情報処理装置１００は、移動体２０の移動と撮像装置により撮像される映像のシミュレーションを実施する（ステップＳ４０５）。例えば、予測部１６０は、表示画面６１１に移動体２０の移動をシミュレーションする。具体的には、移動予測部１６１は、移動情報に基づき、移動体２０の移動を予測し、予測結果を表示情報生成部１５９に伝達する。

また、予測部１６０は、撮像される映像をシミュレーションする。より具体的には、撮像予測部１６２は、移動情報及び撮像情報に基づき、移動体２０が撮像する映像を予測し、予測結果を表示情報生成部１５９に伝達する。

次いで、表示部１７５は、予測結果を表示する（ステップＳ４０７）。より具体的には、表示情報生成部１５９は、予測結果に基づき、予測結果を表示するための表示情報を生成し、表示制御部１７０に伝達する。表示制御部１７０は、表示情報に基づき、表示部１７５が予測結果を表示するように、表示部１７５の表示を制御する。これにより、表示部１７５には、予測結果が表示される。より具体的には、図２３に示した移動体２０の移動の予測結果又は図２４に示した移動体２０の撮像装置が撮像する映像の予測結果が表示される。

次いで、意図通りのシミュレーションがされた場合（ステップＳ４０９：ＹＥＳ）、ステップＳ４１１に進む。このとき、記憶部１８０は、シミュレーションに用いられた移動情報及び撮像情報を記憶してもよい。一方、意図通りのシミュレーションがされなかった場合（ステップＳ４０９：ＮＯ）、ステップＳ４０３に戻る。

次いで、移動体２０の移動と撮像装置による撮像が実施される（ステップＳ４１１）。例えば、ステップＳ４０３において形成された移動体２０の仮想経路は、移動情報生成部１５７により、実空間の座標系に変換することで、移動体２０が実際に移動する実経路に変換される。当該実経路に関する情報は、通信制御部１９０により、移動体２０に送信される。移動体２０が当該生成された実経路を飛行しつつ、撮像装置が撮像情報に基づき、風景を撮像する。

意図通りの印象的な映像が撮像された場合（ステップＳ４１３：ＹＥＳ）、図２８に示す撮像処理は終了する。一方、意図通りの印象的な映像が撮像されなかった場合（ステップＳ４１３：ＮＯ）、ステップＳ４１１に戻る。

＜５．効果＞
以上、本開示に係る撮像方法について説明した。本開示に係る情報処理装置１００は、表示画面における実空間に存在する物体に基づく仮想オブジェクトの表示を制御し、移動体の移動を制御するための移動情報を生成する。このため、ユーザは、当該仮想オブジェクトの基となる実空間に存在する物体の周りを、ドローン等の移動体２０に飛行させたい場合には、当該仮想オブジェクトを見ながら、当該移動体２０の経路を指定することができる。従って、本実施形態に係る情報処理装置１００によれば、より直感的に移動体２０の移動を制御するための移動情報を生成することが可能になる。

また、本実施形態に係る情報処理装置１００によれば、移動情報生成部１５７は、表示画面６１０を見るユーザＵ２による操作に基づき、移動情報を生成する。ユーザＵ２は、表示画面６１０に表示された仮想オブジェクトを見ながら、移動体２０の経路などの移動情報を指定することができる。このため、より直感的に移動体２０の移動を制御するための移動情報を生成することが可能になる。

また、本実施形態では、図９及び図１１等に示したように、表示画面６１０の表示には、移動体２０の仮想経路の画像６１４が含まれる。このため、ユーザＵ２は、移動体２０の経路をよりイメージし易くなる。

また、本実施形態では、表示画面６１０に表示された仮想経路の画像６１４の少なくとも一部には、移動体２０の経路を調整するための１以上のＷａｙｐｏｉｎｔ（調整部分）の画像６１６が表示される。移動情報生成部１５７は、当該Ｗａｙｐｏｉｎｔの画像６１６を動かす操作に基づき、移動情報を生成する。このため、ユーザＵ２は、経路の目印となるＷａｙｐｏｉｎｔの画像６１６を動かすだけで、移動体２０の経路を指定することができるため、さらに直感的に移動体２０の移動を制御するための移動情報を生成することが可能になる。

また、本実施形態では、図１３を参照して説明したように、移動情報生成部１５７は、表示画面６１０の位置を動かす操作に基づき、Ｗａｙｐｏｉｎｔ４０８の位置を動かす。このため、ユーザは、より直感的に移動体２０の経路を指定することができる。

また、本実施形態では、仮想オブジェクトの画像６１２は、ユーザ端末１０が備える撮像部１１０により撮像された画像に重畳して表示される。このため、ユーザＵ２は、仮想オブジェクト４２２ａが、あたかも実空間に存在するかのように認識することができる。このため、ユーザＵ２は、移動体２０の経路をより直感的に指定することが可能になる。また、撮像部１１０の視点とＷａｙｐｏｉｎｔとを一致させることにより、Ｗａｙｐｏｉｎｔから撮像した画像を表示画面に表示させることもできる。このため、Ｗａｙｐｏｉｎｔの位置が変化した場合に、撮像される画像がどのように変化するのかを予め予測することも可能である。

また、本実施形態では、図１５～図１８を参照して説明したように、移動情報生成部１５７は、ユーザＵ２が、撮像部１１０の視点を動かす操作に基づき、移動情報を生成する。より具体的には、移動情報生成部１５７は、当該視点を基準とした所定の位置の動きに基づき、移動情報を生成する。表示画面６１０には、撮像部１１０が撮像した画像が含まれる。このため、ユーザＵ２は、移動体２０が実際に移動する際に、当該移動体２０が備える撮像装置が撮像する風景をイメージし易くなるため、移動体２０が備える撮像装置に、より所望される映像を撮像させることが可能になる。

なお、移動体２０の経路は、図１５及び図１６を参照して説明したように、撮像部１１０の視点であってもよい。また、移動体２０の経路は、撮像部１１０の視点から所定の距離だけ離れた位置であってもよく、例えば、図１７を参照して説明したように、撮像部１１０の視点から前方に距離ｄだけ離れ、撮像部１１０の光軸から画角に収まる程度に下がった位置が移動体２０の経路として指定されてもよい。この場合、図１８に示したように表示画面６１０ｇにＷａｙｐｏｉｎｔ等が表示されることにより、ユーザＵ２は、より直感的に移動体２０の経路を指定することが可能になる。

また、本実施形態では、図１９及び図２０を参照して説明したように、移動情報生成部１５７は、移動体２０の経路を指定する指定対象物を動かす操作に基づき、移動情報を生成する。より具体的には、本実施形態では、指定棒６２０の先端に設けられた指定対象物６２２が動いた経路に基づき、移動体２０の経路が指定される。これにより、ユーザは、当該指定対象物６２２を動かすという簡便な操作により、移動体２０の経路を指定することができる。また、図２０に示したように、表示画面６１０ｈには、指定対象物６２２の画像６１６が表示される。このため、ユーザＵ２は、指定対象物６２２の位置を、表示画面６１０ｈを介して認識することができる。このため、ユーザＵ２は、より移動体２０の経路をイメージすることができるようになる。

また、本実施形態では、移動体２０は、撮像装置を備えている。当該撮像装置により、移動体２０の周りの風景が撮像される。また、本実施形態に係る情報処理装置１００は、ユーザの操作に基づき、移動体２０が備える撮像装置が撮像する範囲を制御するための撮像情報を生成する撮像情報生成部１５８を備えている。このため、ユーザは、各種の操作に基づき、移動体２０が備える撮像装置が撮像する範囲を指定することができるため、より適切な映像を移動体２０の撮像装置に撮像させることができる。

また、本実施形態では、撮像情報生成部１５８は、移動体２０が備える撮像装置が撮像する方向に関する方向情報を撮像情報として生成する。このため、ユーザは、移動体２０の撮像装置に、より適切な映像を撮像させることができる。

また、本実施形態では、表示画面には、撮像部１１０により撮像される画像が表示される。また、図２１を参照して説明したように、撮像情報生成部１５８は、当該撮像部１１０の向きを動かす操作に基づき、方向情報を生成する。このため、ユーザは、移動体２０の撮像装置が撮像する映像を推測しながら、方向情報をすることができるため、より適切な映像を撮像装置に撮像させることができる。

また、本実施形態では、撮像情報生成部１５８は、ユーザＵ２による表示画面におけるピンチアウト操作又はピンチイン操作に基づき、移動体２０の撮像装置の画角を制御するための画角情報を撮像情報として生成することができる。このため、ユーザは、移動体２０の撮像装置が撮像する範囲を簡便に指定することができる。

また、本実施形態では、情報処理装置１００は、移動情報に基づき、移動体２０の移動を予測する移動予測部１６１を、更に備えている。より具体的には、移動予測部１６１は、移動体２０の移動をシミュレーションすることができる。このため、ユーザは、移動体２０の移動のシミュレーションに基づき、予め移動体２０の経路を確認することができる。本実施形態では、図２３を参照して説明したように、移動体２０の移動のシミュレーション結果（すなわち、予測結果）が、表示画面６１１に表示される。このため、ユーザは、表示画面６１１を見ることにより、より容易に移動体２０の経路を確認することができる。

また、本実施形態では、情報処理装置１００は、移動情報及び撮像情報に基づき、移動体２０の撮像装置が撮像する画像を予測する撮像予測部１６２を更に備える。本実施形態では、撮像予測部１６２は、当該撮像装置により撮像される画像をシミュレーションすることができる。ユーザは、当該シミュレーションの結果に基づき、撮像される画像を確認することができる。また、本実施形態では、図２４を参照して説明したように、撮像予測部１６２によるシミュレーションの結果は、表示画面６１０ｋに表示される。このため、ユーザは、簡便に撮像予測部１６２による予測結果を確認することができる。

また、本実施形態では、移動体２０は、３次元的に移動可能である。従って、ユーザは、移動体２０の経路を３次元的に指定することができる。このため、ユーザは、より直感的に移動体２０の移動を制御するための移動情報を生成することができる。

また、本実施形態によれば、移動体２０の経路が一度設定されると、人手をかけずに何度も同じ経路を移動体２０に飛行させたり、同じような映像を何度も撮像装置に撮像させたりすることが可能である。

＜６．ハードウェア構成＞
続いて、図３０を参照しながら、前述したユーザ端末１０のように、本開示の一実施形態に係る情報処理システム１を構成するユーザ端末１０のハードウェア構成の一例について、詳細に説明する。図３０は、本開示の一実施形態に係る情報処理システム１を構成するユーザ端末１０のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る情報処理システム１を構成するユーザ端末１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、ユーザ端末１０は、更に、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、ドライブ９１２と、接続ポート９１４と、通信装置９１６とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１０又はリムーバブル記録媒体９１３に記録された各種プログラムに従って、ユーザ端末１０内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０４により相互に接続されている。例えば、図２に示す取得部１４０、処理部１５０（図３に示す各機能部）、表示制御部１７０及び通信制御部１９０は、ＣＰＵ９０１により構成され得る。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。また、外部バス９０６には、インタフェース９０７を介して、入力装置９０８、出力装置９０９、ストレージ装置９１０、ドライブ９１２、接続ポート９１４及び通信装置９１６が接続される。

入力装置９０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９０８は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、ユーザ端末１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９１５であってもよい。さらに、入力装置９０８は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。ユーザ端末１０のユーザは、この入力装置９０８を操作することにより、ユーザ端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０９は、例えば、ユーザ端末１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、ユーザ端末１０が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１０は、ユーザ端末１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１０は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図２に示す記憶部１８０は、ストレージ装置９１０により構成され得る。

ドライブ９１２は、記録媒体用リーダライタであり、ユーザ端末１０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９１３に記録を書き込むことも可能である。リムーバブル記録媒体９１３は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９１３は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９１３は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９１４は、ユーザ端末１０に直接接続するためのポートである。接続ポート９１４の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９１４の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９１４に外部接続機器９１５を接続することで、ユーザ端末１０は、外部接続機器９１５から直接各種のデータを取得したり、外部接続機器９１５に各種のデータを提供したりする。

通信装置９１６は、例えば、通信網（ネットワーク）９１７に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９１６は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１６は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９１６に接続される通信網９１７は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の一実施形態に係る情報処理システム１を構成するユーザ端末１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図３０では図示しないが、情報処理システム１を構成するユーザ端末１０に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システム１を構成するユーザ端末１０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜７．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ユーザＵ１が予め移動体２０を飛行させて、移動体２０に搭載された撮像装置２０６に仮想オブジェクトを生成するための画像を撮像させるが、本技術はかかる例に限定されない。例えば、過去にユーザＵ１と異なるユーザが移動体２０を利用して撮像された画像に基づき仮想オブジェクトが生成されている場合など、何等かの方法により仮想オブジェクトが生成されている場合には、既に生成された仮想オブジェクトを用いてもよい。

また、上記実施形態では、移動体２０がドローンであるものとして説明したが、移動体２０は移動可能な任意の装置であって良い。例えば、本開示の技術は、ドローンのように飛行可能な各種の飛行体にも適用され得る。さらに、本開示の技術は、ロボットの手又は腕などに相当するマニピュレータにも適用され得る。この場合、情報処理装置は、例えば、当該マニピュレータが取り扱う対象の仮想オブジェクトを表示画面に表示することを制御してもよい。さらに、情報処理装置は、マニピュレータの例えば指先を移動体として、当該移動体の移動を制御するための移動情報を生成することができる。これにより、マニピュレータの指先等の移動を制御するための移動情報を、より直感的に生成することが可能になる。

また、上記実施形態では、仮想オブジェクト及びＷａｙｐｏｉｎｔ等に関する情報は、情報処理装置１００に記録されている。これに限らず、仮想オブジェクト及びＷａｙｐｏｉｎｔ等に関する情報は、ネットワークに接続された各種のサーバに記録されていてもよい。この場合、情報処理装置１００は、ネットワークを介して、適宜サーバに記録された情報を受信し、移動情報及び撮像情報などを生成することができる。

また、上記実施形態では、ユーザ端末１０が、主にスマーフォン又はタブレット端末等であることを想定して説明した。これに限らず、ユーザ端末１０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ゲーム機、ロボット、又は、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）又はスマートウォッチなどのウェアラブルデバイスであってもよい。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御部と、
移動体の移動を制御するための移動情報を生成する移動情報生成部と、を備える、
情報処理装置。
（２）
前記移動情報生成部は、前記表示画面を見るユーザによる操作に基づき、前記移動情報を生成する、
前記（１）に記載の情報処理装置。
（３）
前記表示は、前記移動体の経路を含む、
前記（２）に記載の情報処理装置。
（４）
前記経路の少なくとも一部には、前記経路を調整するための１以上の調整部分が表示され、
前記操作は、前記表示画面に表示された前記調整部分の位置を動かす操作である、
前記（３）に記載の情報処理装置。
（５）
前記仮想オブジェクトは、第１の撮像装置により撮像された画像に重畳して表示される、
前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
前記操作は、前記第１の撮像装置の視点を動かす操作を含み、
前記移動情報生成部は、前記視点を基準とした所定の位置の動きに基づき、前記移動情報を生成する、
前記（５）に記載の情報処理装置。
（７）
前記移動情報生成部は、前記移動体の経路を指定する指定対象物を動かす操作に基づき、前記移動情報を生成する、
前記（２）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記移動体は、風景を撮像する第２の撮像装置を備え、
ユーザの操作に基づき、前記第２の撮像装置が撮像する範囲を制御するための撮像情報を生成する撮像情報生成部を、更に備える、
前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記撮像情報生成部は、前記第２の撮像装置が撮像する方向に関する方向情報を撮像情報として生成する、
前記（８）に記載の情報処理装置。
（１０）
前記表示画面には、第１の撮像装置により撮像される画像が表示され、
前記撮像情報生成部は、前記第１の撮像装置の向きを動かす操作に基づき、前記方向情報を生成する、
前記（９）に記載の情報処理装置。
（１１）
前記撮像情報生成部は、ユーザによる前記表示画面におけるピンチアウト操作又はピンチイン操作に基づき、前記第２の撮像装置の画角を制御するための画角情報を前記撮像情報として生成する、
前記（８）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記移動情報及び前記撮像情報に基づき、前記第２の撮像装置が撮像する画像を予測する撮像予測部を、更に備える、
前記（８）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記移動情報に基づき、前記移動体の移動を予測する移動予測部を、更に備える、
前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記移動体は、３次元的に移動可能である、
前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記移動体は、飛行体である、
前記（１４）に記載の情報処理装置。
（１６）
プロセッサが、
表示画面における実空間に存在する物体に基づく仮想オブジェクトの表示を制御することと、
移動体の移動を制御するための移動情報を生成することと、を含む、
情報処理方法。
（１７）
コンピュータに、
表示画面における実空間に存在する物体に基づく仮想オブジェクトの表示を制御する機能と、
移動体の移動を制御するための移動情報を生成する機能と、
を実現させるためのプログラム。

１０ ユーザ端末
１００ 情報処理装置
１１０ 撮像部
１２０ センサ部
１３０ 入力部
１４０ 取得部
１５０ 処理部
１５１ 検出部
１５７ 移動情報生成部
１５８ 撮像情報生成部
１５９ 表示情報生成部
１６１ 移動予測部
１６２ 撮像予測部
１７０ 表示制御部
１７５ 表示部
２０ 移動体
２０２ 機体
２０４ プロペラ
２０６ 撮像装置
４０２ 経路
４０４ 仮想経路
４０６、４０８、４１０、４１２ Ｗａｙｐｏｉｎｔ
４２２、４３２ 仮想オブジェクト
６１０ 表示画面
６１２ 仮想オブジェクトの画像
６１４ 仮想経路の画像
６１６ Ｗａｙｐｏｉｎｔの画像
６２２ 指定対象物

Claims (21)

1. 実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御部と、
   風景を撮像する第２の撮像装置を備える移動体の移動を制御するための移動情報を生成する移動情報生成部と、
   ユーザの操作に基づき、前記第２の撮像装置が撮像する範囲を制御するための撮像情報を生成する撮像情報生成部と、を備え、
   前記撮像情報生成部は、前記第２の撮像装置が撮像する方向に関する方向情報を撮像情報として生成し、
   前記表示画面には、第１の撮像装置により撮像される画像が表示され、
   前記撮像情報生成部は、前記第１の撮像装置の向きを動かす操作に基づき、前記方向情報を生成する、
   情報処理装置。
2. 前記撮像情報生成部は、ユーザによる前記表示画面におけるピンチアウト操作又はピンチイン操作に基づき、前記第２の撮像装置の画角を制御するための画角情報を前記撮像情報として生成する、
   請求項１に記載の情報処理装置。
3. 前記移動情報及び前記撮像情報に基づき、前記第２の撮像装置が撮像する画像を予測する撮像予測部を、更に備える、
   請求項１又は２に記載の情報処理装置。
4. 前記移動情報生成部は、前記表示画面を見るユーザによる操作に基づき、前記移動情報を生成する、
   請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記仮想オブジェクトは、第１の撮像装置により撮像された画像に重畳して表示される、
   請求項４に記載の情報処理装置。
6. 実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御部と、
   移動体の移動を制御するための移動情報を生成する移動情報生成部と、を備え、
   前記移動情報生成部は、前記表示画面を見るユーザによる操作に基づき、前記移動情報を生成し、
   前記仮想オブジェクトは、第１の撮像装置により撮像された画像に重畳して表示される、
   情報処理装置。
7. 前記移動体は、風景を撮像する第２の撮像装置を備え、
   ユーザの操作に基づき、前記第２の撮像装置が撮像する範囲を制御するための撮像情報を生成する撮像情報生成部を、更に備える、
   請求項６に記載の情報処理装置。
8. 前記撮像情報生成部は、前記第２の撮像装置が撮像する方向に関する方向情報を撮像情報として生成する、
   請求項７に記載の情報処理装置。
9. 前記撮像情報生成部は、ユーザによる前記表示画面におけるピンチアウト操作又はピンチイン操作に基づき、前記第２の撮像装置の画角を制御するための画角情報を前記撮像情報として生成する、
   請求項７又は８に記載の情報処理装置。
10. 前記移動情報及び前記撮像情報に基づき、前記第２の撮像装置が撮像する画像を予測する撮像予測部を、更に備える、
    請求項７～９のいずれか１項に記載の情報処理装置。
11. 前記操作は、前記第１の撮像装置の視点を動かす操作を含み、
    前記移動情報生成部は、前記視点を基準とした所定の位置の動きに基づき、前記移動情報を生成する、
    請求項５～１０のいずれか１項に記載の情報処理装置。
12. 前記表示は、前記移動体の経路を含む、
    請求項４～１１のいずれか１項に記載の情報処理装置。
13. 前記経路の少なくとも一部には、前記経路を調整するための１以上の調整部分が表示され、
    前記操作は、前記表示画面に表示された前記調整部分の位置を動かす操作である、
    請求項１２に記載の情報処理装置。
14. 前記移動情報生成部は、前記移動体の経路を指定する指定対象物を動かす操作に基づき、前記移動情報を生成する、
    請求項４～１３のいずれか１項に記載の情報処理装置。
15. 前記移動情報に基づき、前記移動体の移動を予測する移動予測部を、更に備える、
    請求項１～１４のいずれか１項に記載の情報処理装置。
16. 前記移動体は、３次元的に移動可能である、
    請求項１～１５のいずれか１項に記載の情報処理装置。
17. 前記移動体は、飛行体である、
    請求項１６に記載の情報処理装置。
18. プロセッサが、実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御ステップと、
    プロセッサが、風景を撮像する第２の撮像装置を備える移動体の移動を制御するための移動情報を生成する移動情報生成ステップと、
    プロセッサが、ユーザの操作に基づき、前記第２の撮像装置が撮像する範囲を制御するための撮像情報を生成する撮像情報ステップと、を有し、
    前記撮像情報ステップでは、前記第２の撮像装置が撮像する方向に関する方向情報を撮像情報として生成し、
    前記表示画面には、第１の撮像装置により撮像される画像が表示され、
    前記撮像情報ステップでは、前記第１の撮像装置の向きを動かす操作に基づき、前記方向情報を生成する、
    情報処理方法。
19. プロセッサが、実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御ステップと、
    プロセッサが、移動体の移動を制御するための移動情報を生成する移動情報生成ステップと、を有し、
    前記移動情報生成ステップでは、前記表示画面を見るユーザによる操作に基づき、前記移動情報を生成し、
    前記仮想オブジェクトは、第１の撮像装置により撮像された画像に重畳して表示される、
    情報処理方法。
20. コンピュータを、
    実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御部、
    風景を撮像する第２の撮像装置を備える移動体の移動を制御するための移動情報を生成する移動情報生成部、
    ユーザの操作に基づき、前記第２の撮像装置が撮像する範囲を制御するための撮像情報を生成する撮像情報生成部、として機能させ、
    前記撮像情報生成部は、前記第２の撮像装置が撮像する方向に関する方向情報を撮像情報として生成し、
    前記表示画面には、第１の撮像装置により撮像される画像が表示され、
    前記撮像情報生成部は、前記第１の撮像装置の向きを動かす操作に基づき、前記方向情報を生成する、
    プログラム。
21. コンピュータを、
    実空間に存在する物体に基づく仮想オブジェクトの表示画面における表示を制御する表示制御部、
    移動体の移動を制御するための移動情報を生成する移動情報生成部、として機能させ、
    前記移動情報生成部は、前記表示画面を見るユーザによる操作に基づき、前記移動情報を生成し、
    前記仮想オブジェクトは、第１の撮像装置により撮像された画像に重畳して表示される、
    プログラム。

Images