JP2017081246A - 飛行制御装置、および飛行制御方法、マルチコプタ、並びにプログラム - Google Patents

Abstract

【課題】無人型飛行体の機体の小型化および軽量化を図りつつ、複数のアルゴリズムを利用して飛行における安定性を向上できる遠隔操作装置を提供する。【解決手段】マルチコプタ１１は、飛行制御部３１および動力装置３２を備えている。飛行制御部３１は、高解像度高速部分読み出しセンサ５２により撮像される画像に基づいて、自らの速度と姿勢を制御して、遠隔操作部１２からの操作信号に基づいて、動力装置３２を動作させ、飛行を制御する。また、飛行制御部３１は、高解像度低速撮像センサ６０により撮像される画像を、遠隔操作部１２に送信して、表示させる。動力装置３２は、例えば、複数の回転翼の動力を有し、飛行制御部３１により制御され、マルチコプタ１１の機体そのものを飛行させる。【選択図】図１

Description

本開示は、飛行制御装置、および飛行制御方法、マルチコプタ、並びにプログラムに関し、特に、マルチコプタによる飛行の安定性を向上できるようにした飛行制御装置、および飛行制御方法、マルチコプタ、並びにプログラムに関する。

マルチコプタに代表される無人型飛行体の飛行を安定化させる技術が開発されている。マルチコプタとは、複数の回転翼を備えた飛行体であり、リモートコントローラなどの遠隔操作装置により遠隔操作がなされて飛行が制御されるものである。マルチコプタには、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる撮像用のカメラが搭載されたものが有り、撮像されたビューイング画像が遠隔操作装置に無線通信により送信され、遠隔操作装置に設けられた表示部により表示させるものもある。

このようなマルチコプタに関する技術として、例えば、垂直カメラを用いて地上面の画像を撮像し、オプティカルフロータイプのアルゴリズムと、コーナー検出器タイプのアルゴリズムとを併用して、水平並進速度を計測し、計測された水平並進速度の情報に基づいて飛行を制御する技術が提案されている（特許文献１参照）。

特開２０１２−００６５８７号公報

ところで、コーナー検出器タイプのアルゴリズムは一般的に高解像度のイメージセンサを用いて画像中に疎に点在するコーナーを検出し追跡する必要がある。

しかしながら、例えば、30×30画素程度の低解像度のイメージセンサで得られた画像を用いるような場合、コーナー検出器タイプのアルゴリズムを用いると、画像中にコーナーが１つも存在しない場合が生じ易い。

一方、オプティカルフロータイプのアルゴリズムの場合、単位時間当たりで、ある程度の撮像回数が必要となるが、撮像素子の解像度と単位時間の撮像回数はトレードオフの関係にあり、両立させると高コストになる。

したがって、上記の複数のアルゴリズムを併用する場合、アルゴリズムに適した異なるイメージセンサを物理的に用いるべきであるが、マルチコプタなどの無人型飛行体においては、機体全体の小型化や軽量化が求められており、搭載するイメージセンサ等を物理的に増やすと、機体全体を大型化させ、重量増にさせてしまう恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、特に、無人型飛行体の機体の小型化および軽量化を図りつつ、複数のアルゴリズムを利用して飛行における安定性を向上できるようにするものである。

本開示の一側面の飛行制御装置は、画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、機体の姿勢情報に基づいて、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部とを含む飛行制御装置である。

前記撮像部により読み出された画素信号に基づいて、前記機体の移動速度を算出する画像速度変換部と、前記機体の前記移動速度に基づいて、前記機体の前記姿勢情報を検出する姿勢検出部とをさらに含ませるようにすることができる。

前記機体から地上面までの距離を高度情報として測定する高度測定部をさらに含ませるようにすることができ、前記画像速度変換部には、前記撮像部により読み出された画素信号、および高度情報に基づいて、前記機体の前記移動速度を算出させるようにすることができる。

前記高度測定部には、超音波を利用して、前記機体から地上面までの距離を高度情報として測定させ、前記画像速度変換部には、前記撮像部により読み出された画素信号、および前記高度情報に基づいて、前記機体の前記移動速度を算出させるようにすることができる。

前記撮像部には、像面位相差画素を含ませるようにすることができ、前記高度測定部には、前記像面位相差画素より読み出される画素信号に基づいて、前記機体から地上面までの距離を高度情報として測定させ、前記画像速度変換部には、前記撮像部により読み出された画素信号、および前記高度情報に基づいて、前記機体の前記移動速度を算出させるようにすることができる。

前記撮像部の撮像方向を投光する投光部をさらに含ませるようにすることができ、前記投光部には、前記高度情報に基づいて、前記撮像方向を投光させるようにすることができる。

前記投光部には、前記高度情報が、所定の高度よりも低く、十分に地上面を投光できる場合、前記撮像方向を投光させるようにすることができる。

前記画像速度変換部には、前記撮像部により読み出された画素信号に基づいて、時間解像度を優先する第１のタイプのアルゴリズム、または、空間解像度を優先する第２のタイプのアルゴリズムのいずれかで前記機体の移動速度を算出させ、前記画像速度変換部が前記時間解像度を優先する第１のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部には、前記姿勢検出部により検出された姿勢情報に基づいて、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の第１の領域を決定させ、前記画像速度変換部が前記空間解像度を優先する第２のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部には、前記撮像部において、前記画像の一部であって、前記第１の領域よりも広い第２の領域を決定させるようにすることができる。

前記画像速度変換部が前記時間解像度を優先する第１のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部により決定される、前記画素信号が高速に読み出される前記画像の一部の前記第１の領域は、前記撮像部における撮像視点から撮像面までの法線ベクトルと、前記撮像視点から鉛直方向であって、撮像面との交点に応じて設定される領域とすることができる。

前記撮像視点から鉛直方向であって、前記撮像面との交点に応じて設定される前記第１の領域は、前記交点を中心とした前記撮像面上の所定の半径からなる円状、または、楕円状の領域とすることができる。

前記撮像視点から鉛直方向であって、前記撮像面との交点に応じて設定される前記第１の領域は、前記交点を中心とした前記撮像面上の所定の半径からなる円状、または、楕円状の範囲を囲む方形状の領域とすることができる。

前記撮像部により撮像された画像を送信する送信部と、前記機体を遠隔から操作すると共に、前記送信部より送信されてくる画像を受信し表示する遠隔操作部とをさらに含ませるようにすることができる。

前記送信部には、前記撮像部により撮像された画像を、前記画像が撮像されたときの前記機体の姿勢情報と対応付けて送信させ、前記遠隔操作部には、前記送信部より送信されてきた前記姿勢情報が対応付けられた前記画像を受信させ、前記画像のうち、前記姿勢情報に基づいて特定される所定の範囲の画像を抽出させ、抽出された画像を表示させるようにすることができる。

本開示の一側面の飛行制御方法は、画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部を備えた飛行制御装置の飛行制御方法であって、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定するステップを含む飛行制御方法である。

本開示の一側面のプログラムは、画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部としてコンピュータを機能させるプログラムである。

本開示の一側面のマルチコプタは、画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部とを含むマルチコプタである。

本開示の一側面においては、撮像部により、画像が撮像され、前記画像の一部の領域の画素信号が高速に読み出され、姿勢領域変換部により、前記撮像部において、前記画素信号が高速に読み出される、前記画像の一部の領域が決定される。

本開示の一側面によれば、無人型飛行体の機体全体の小型化および軽量化を図りつつ、複数のアルゴリズムにより飛行における安定性を向上することが可能となる。

本開示を適用したマルチコプタおよび遠隔操作部の第１の実施の形態の構成例を説明する図である。 図１のマルチコプタにおける高解像度高速部分読み出しセンサの構成例を説明する図である。 図１の飛行制御部による移動速度を算出する複数のアルゴリズムを説明する図である。 図１のマルチコプタおよび遠隔操作部による飛行制御処理を説明するフローチャートである。 オプティカルフロータイプのアルゴリズムにおける処理を説明する図である。 画像内の高速で読み出す範囲を決定する手法を説明する図である。 画像内の高速で読み出す範囲を決定する手法を説明する図である。 画像内の高速で読み出す範囲を決定する手法を説明する図である。 図４の移動速度算出処理を説明するフローチャートである。 本開示を適用したマルチコプタおよび遠隔操作部の第２の実施の形態の構成例を説明する図である。 図１０のマルチコプタおよび遠隔操作部による飛行制御処理を説明するフローチャートである。 図１１の画像処理を説明するフローチャートである。 図１１の画像処理を説明する図である。 図１０のマルチコプタによる投光制御処理を説明するフローチャートである。 第１の変形例を説明する図である。 第２の変形例を説明する図である。 第３の変形例を説明する図である。 第４の変形例を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．第１の変形例
４．第２の変形例
５．第３の変形例
６．第４の変形例
７．応用例

＜＜１．第１の実施の形態＞＞
＜マルチコプタの第１の実施の形態の構成例＞
図１は、本開示を適用したマルチコプタの第１の実施の形態の構成例を示すブロック図である。図１のマルチコプタ１１は、複数の回転翼を備えており、遠隔操作部１２と通信し、遠隔操作により飛行が制御されるものである。

より詳細には、マルチコプタ１１は、飛行制御部３１および動力装置３２を備えている。飛行制御部３１は、高解像度高速部分読み出しセンサ５２により撮像される画像に基づいて、自らの速度と姿勢を制御して、遠隔操作部１２からの操作信号に基づいて、動力装置３２を動作させ、飛行を制御する。また、飛行制御部３１は、高解像度低速読み出しセンサ６０により撮像される画像を、遠隔操作部１２に送信して、表示させる。

動力装置３２は、例えば、複数の回転翼の動力を有し、飛行制御部３１により制御され、マルチコプタ１１の機体そのものを飛行させる。

より詳細には、飛行制御部３１は、レンズ５１、高解像度部分高速読み出しセンサ５２、画像-速度変換部５３、超音波測距センサ５４、慣性航法装置５５、PID制御装置５６、遠隔操作受信部５７、姿勢-領域変換部５８、広角レンズ５９、高解像度低速撮像センサ６０、および、画像送信部６１を備えている。尚、以降において、高解像度高速部分読み出しセンサ５２、および高解像度低速撮像センサ６０は、必要に応じて、単に、センサ５２，６０とも称するものとする。

高解像度部分高速読み出しセンサ５２は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなり、マルチコプタ１１の機体に対して鉛直方向、すなわち、地上方向からレンズ５１を介して入射する光により構成される画像（地上画像）を撮像し、画像-速度変換部５３に供給する。高解像度高速読み出しセンサ５２は、姿勢-領域変換部５８より供給されてくる領域情報に基づいて、高解像度な画像を撮像すると共に、そのうちの部分的な一部の領域の画像を高速に読み出す。

超音波測距センサ５４は、マルチコプタ１１の機体に対して鉛直方向、すなわち、地上方向に対して超音波を発して、地上から反射する超音波の往復時間を求め、地上までの距離を、マルチコプタ１１の飛行高度（高度情報）として測定し、画像-速度変換部５３に出力する。

画像-速度変換部５３は、センサ５２より供給されてくる画像と、超音波測距センサ５４より供給されてくる飛行高度（高度情報）とから、飛行速度（移動速度）を求め、速度情報として慣性航法装置５５に供給すると共に、高度情報も供給する。画像-速度変換部５３は、画像に基づいて求められた速度に応じて、次の画像を算出する際に、移動速度を求めるために利用するアルゴリズムを、２種類のアルゴリズムのいずれかより選択し、画像毎にアルゴリズムを切り替えて速度を算出する。この際、画像-速度変換部５３は、次の画像を用いて移動速度を算出する際に利用するアルゴリズムの情報を姿勢-領域変換部５８に供給する。

慣性航法装置５５は、供給される速度情報に基づいて、マルチコプタ１１の地球上の位置、進行方向、および自らの姿勢を算出し、PID制御装置５６に供給する。

遠隔操作受信部５７は、遠隔操作部１２より所定の周波数の電波により送信されてくる操作信号を受信し、受信した操作信号をPID制御装置５６に供給する。

姿勢-領域変換部５８は、慣性航法装置５５より供給されるマルチコプタ１１の姿勢の情報である姿勢情報と、画像-速度変換部５３より供給される次に撮像される画像を用いた速度を求める際のアルゴリズムとに基づいて、センサ５２により撮像される画像のうち、読み出すべき領域の情報を求めてセンサ５２に供給する。

PID（Proportional Integral Derivative）制御装置５６は、慣性航法装置５５より供給されてくるマルチコプタ１１の地球上の位置、進行方向、および自らの姿勢情報、並びに、遠隔操作受信部５７より供給されてくる操作信号に基づいて、PID制御により、動力装置３２を構成する複数の回転翼について個別に回転速度や、ヨーピッチロールを制御して飛行を制御する。

高解像度低速撮像センサ６０は、マルチコプタ１１の機体に対して周囲を見渡す方向の広角レンズ５９を介して入射する光により構成される周囲を見渡す方向の広角の画像を、高解像度であるが、低フレームレートの画像で撮像し、画像送信部６１に供給する。

画像送信部６１は、センサ６０より供給されてくる画像を、所定の周波数の電波で遠隔操作部１２に送信する。すなわち、センサ５２により撮像される画像は、慣性航法装置５５に供給される移動速度を画像-速度変換部５３において求めるための画像であり、センサ６０により撮像される画像は、遠隔操作部１２に送信して、ビューイング画像として表示させるための画像である。

遠隔操作部１２は、マルチコプタ１１の、いわゆる、リモートコントローラと呼ばれるものであり、操作UI（User Interface）部７１、遠隔操作送信部７２、画像受信部７３、および表示部７４を備えている。

操作UI部７１は、マルチコプタ１１を遠隔操作するためのユーザインタフェースであり、例えば、操作レバーなどからなり、ユーザからの操作入力を受け付けて、対応する操作信号を遠隔操作送信部７２に供給する。

遠隔操作送信部７２は、操作UI部７１より供給されてくる操作信号を、所定の周波数の電波等でマルチコプタ１１における飛行制御部３１の遠隔操作受信部５７に送信する。

画像受信部７３は、マルチコプタ１１より所定の周波数の電波により送信されてくる画像を受信し、表示部７４に供給して表示させる。

すなわち、このような構成により、遠隔操作部１２を操作するユーザは、表示部７４に表示される画像を見ながらマルチコプタ１１の撮像方向や位置を確認しながら、マルチコプタ１１を遠隔操作することが可能となる。

＜高解像度高速部分読み出しセンサの構成例＞
次に、図２を参照して、高解像度高速部分読み出しセンサ５２の詳細な構成例について説明する。

センサ５２は、全体制御部９１、画素アレー９２、垂直制御部９３、比較器カラム９４−１，９４−２、カウンタカラム９５−１，９５−２、水平制御部９６−１，９６−２、および出力制御部９７を備えている。

全体制御部９１は、センサ５２の全体の動作を制御しており、姿勢-領域変換部５８からの撮像された画像内のいずれの領域を読み出すべきかを示す領域の情報に基づいて、画像内の必要な領域の信号を読み出させる。

画素アレー９２は、単位画素がｍ行ｎ列分だけ２次元配置され、このｍ行ｎ列の画素配置に対して行毎に行制御線が配線され、列毎に列信号線が配線されている。各単位画素には、例えば、図中の左下部で示されるようなBayer配列のRGBのカラーフィルタが設けられており、対応する波長の画素信号が生成される。

垂直制御部９３は、シフトレジスタなどによって構成され、行制御線を介して画素アレー９２の行アドレスや行走査を制御する。

比較器カラム９４−１，９４−２は、画素アレー９２のｎ列目の各単位画素から出力される信号に応じた垂直信号線の信号電圧と、ランプ波形の参照電圧Ｖｒｅｆとを比較する。比較器カラム９４−１，９４−２は、たとえば参照電圧Ｖｒｅｆが信号電圧よりも大きいときに出力Ｖｃｏが“Ｈ”レベルになり、参照電圧Ｖｒｅｆが信号電圧Ｖｘ以下のときに出力Ｖｃｏが“Ｌ”レベルになる。

カウンタカラム９５−１，９５−２は、非同期のアップ／ダウンカウンタであり、図示せぬクロック回路からのクロック信号に同期してダウン（ＤＯＷＮ）カウントまたはアップ（ＵＰ）カウントを行うことにより、比較器カラム９４−１，９４−２での比較動作の開始から比較動作の終了までの比較期間を計測する。

比較器カラム９４−１，９４−２、およびカウンタカラム９５−１，９５−２は、画素アレー９２の各単位画素から列信号線を経由して列毎に供給されるアナログ信号を、Ｎビットのデジタル信号に変換して出力する。

水平制御部９６−１，９６−２は、シフトレジスタなどによって構成され、比較器カラム９４−１，９４−２、およびカウンタカラム９５−１，９５−２におけるＡＤＣ（Analogue Digital Converter）の列アドレスや列走査を制御する。

出力制御部９７は、カウンタカラム９５−１，９５−２より出力されるデジタル信号に変換された画素信号を出力する。

尚、比較器カラム９４−１，９４−２、カウンタカラム９５−１，９５−２、水平制御部９６−１，９６−２は、図中の上部および下部にそれぞれ設けられており、全体制御部９１の制御により、例えば、比較器カラム９４−１、カウンタカラム９５−１、および水平制御部９６−１と、比較器カラム９４−２、カウンタカラム９５−２、および水平制御部９６−２との２系統に分けて動作を制御することで、２系統の画素信号を出力することができる。この結果、一方の系統で画素アレー９２全体のうちの比較的広い領域の画素信号を読み出し、他方の系統で画素アレー９２の一部の比較的狭い領域の画素信号を読み出すといったことも可能となる。

また、センサ６０についても原則的な構造は、センサ５２と同様であるが、画素アレー９２の画素信号の読み出し速度よりも低速の読み出し速度であり、さらに、画素信号の読み出し系統も１系統である。ただし、センサ６０の構成をセンサ５２と同様にしてもよいものである。

＜アルゴリズム毎の必要とされる画像の違い＞
次に、図３を参照して、画像-速度変換部５３における移動速度を求めるためのアルゴリズム毎に必要とされる画像の違いについて説明する。

画像-速度変換部５３は、センサ５２より供給される画像に基づいて、マルチコプタ１１の移動速度を算出する。この際、画像-速度変換部５３は、直前の画像により求められた移動速度に応じて、２つのアルゴリズムを切り替えて移動速度を算出する。

より具体的には、画像-速度変換部５３は、コーナー検出器タイプのアルゴリズムと、オプティカルフロータイプのアルゴリズムとを切り替えて移動速度を検出する。

コーナー検出器タイプのアルゴリズムとは、例えば、画像よりエッジ検出によりエッジが交差する点をコーナーと呼ばれる特徴点として検出し、前後する複数の画像内の特徴点の動きにより移動速度を求める。このコーナー検出器タイプのアルゴリズムの場合、画像内でコーナーが検出できない恐れがあるため、可能な限り広い範囲の画像であることが望ましい。つまり、コーナー検出器タイプのアルゴリズムは、空間解像度を優先する。しかしながら、広い領域の画像は、転送すべき画素数が増える分だけ、転送時間が掛かるため、画像の転送速度に限界がある。この結果、移動速度が所定速度より高速になると、画像の転送が遅れることにより、直前の画像で検出できたコーナーを、現在の画像で検出することができず、追跡できない状態となるためトラッキングエラーを起こして移動速度が求められなくなることがある。

一方、オプティカルフロータイプのアルゴリズムは、例えば、勾配法やブロックマッチング法により画素単位で、速度場のベクトル集合を求めて、マルチコプタ１１の移動速度を求める。オプティカルフロータイプのアルゴリズムの場合、演算処理に時間が掛かるため、高解像度の画像を広範囲で処理しようとすると演算時間が爆発的に増えてしまう。また、移動速度が高速になるほど、フレームレートを高くしないとトラッキングエラーを発生させる恐れがある。つまり、オプティカルフロータイプのアルゴリズムは、時間解像度を優先する。

そこで、本開示の飛行制御部３１においては、移動速度が比較的低速であるような場合については、図３の左部で示されるように、コーナー検出器タイプのアルゴリズムを採用し、センサ５２の視点Ｑ１から地上面Ｇに向かって撮像することで得られる地上面Ｇ１の範囲を撮像した撮像面Ｐのうちの一部であって、比較的広い領域Ｐ１が含まれた方形状の範囲を用いる。このような広い範囲の画像を用いることで、高解像度であるが低速での読み出し画像を利用することとし、コーナーの検出精度を高めることができ、トラッキングエラーの発生を抑制することができる。

一方、移動速度が比較的高速であるような場合については、図３の右部で示されるように、オプティカルフロータイプのアルゴリズムを採用し、センサ５２の視点Ｑ２から地上面Ｇに向かって撮像することで得られる地上面Ｇ２の範囲を撮像した撮像面Ｐのうちの一部であって、比較的狭い領域Ｐ２が含まれた方形状の範囲を用いる。このような狭い範囲の画像を用いることで、低解像度であるが高速での読み出し画像を利用することとし、オプティカルフローの精度を高め、トラッキングエラーの発生を抑制することができる。

尚、ここでいう読み出しが低速であるとは、高解像度で広い領域を読み出す範囲が広いときは、狭い範囲の画像を読み出すときよりも、対象となる画素数が増大する分だけ読み出しに時間が必要であることから低速であるということを示すものである。また、より解像度が高いとは、広い範囲の画像であることを示すものであり、狭い範囲の画像よりも解像度が高く、対象となる画素数が多いことを示している。すなわち、１画素や１ライン画素などの読み出し単位当たりの読み出し速度は、いずれにおいても同等であることを前提としたものである。

＜図１のマルチコプタと遠隔操作部とによる飛行制御処理＞
次に、図４のフローチャートを参照して、図１のマルチコプタ１１と遠隔操作部１２とによる飛行制御処理について説明する。

ステップＳ１１において、操作UI部７１は、操作入力のタイミングか否かを判定し、操作入力のタイミングであった場合、処理は、ステップＳ１２に進む。

ステップＳ１２において、操作UI部７１は、操作入力を受け付けて、対応する操作信号を遠隔操作送信部７２に供給する。遠隔操作送信部７２は、受け付けた操作信号を所定の周波数の電波で、マルチコプタ１１に送信する。

一方、ステップＳ２１において、マルチコプタ１１の慣性航法装置５５は、姿勢情報を更新し、現在の姿勢情報を姿勢-領域変換部５８に供給する。最初の処理においては、デフォルトの状態で、例えば、地上に着陸した状態の機体の姿勢情報が供給されるようにしてもよい。

ステップＳ２２において、姿勢-領域変換部５８は、現時点でのアルゴリズムに基づいて、センサ５２により撮像される領域のどの領域を読み出すのかを示す領域情報を生成して高解像度高速部分読み出しセンサ５２に供給する。

例えば、現時点のアルゴリズムが、コーナー検出器タイプのアルゴリズムである場合、図３の左部を参照して説明したように、センサ５２により撮像可能な範囲の比較的広い範囲の画像を読み出すように領域情報が設定される。

一方、現時点のアルゴリズムが、オプティカルフロータイプのアルゴリズムである場合、図３の右部のようにセンサ５２により撮像可能な範囲のうちの、地上面Ｇ２の範囲を撮像した撮像面Ｐのうちの領域Ｐ２の画像を読み出すように領域情報が設定される。ただし、この場合、地上面Ｇ２を正確に含む領域Ｐ２を設定する必要がある。

すなわち、マルチコプタ１１は、機体が平地に着陸した状態のまま飛行しているような場合、図５の右部で示されるように、視点Ｑ２から地上面Ｇ方向を撮像する地上面Ｇと撮像面Ｐとの平行状態が維持されるため、撮像領域Ｐ１は、撮像面Ｐのほぼ中心に設定されることになる。

しかしながら、マルチコプタ１１は、飛行中においては、様々な方向に機体が傾いた状態で飛行する。このため、例えば、図５の左部で示されるように、マルチコプタ１１が鉛直方向に対して角度θだけ傾いた場合、撮像面Ｐの法線Ｎが鉛直方向に対して角度θをなすことにより、撮像面Ｐは、地上面Ｇに対して平行ではなくなるので、地上面Ｇ２が撮像されている撮像面Ｐ上の領域は、領域Ｐ１’となる。

したがって、現時点のアルゴリズムが、オプティカルフロータイプのアルゴリズムである場合、図５で示される撮像面Ｐ上の地上面Ｇ２の撮像領域となる領域Ｐ１’を求めて、この領域Ｐ１’に対応する領域情報をセンサ５２に供給する必要がある。

そこで、姿勢-領域変換部５８は、図６で示されるように、視点Ｑ２を起点とする撮像面Ｐの法線ベクトル［ｎ］を定義し、さらに、視点Ｑ２を起点とする鉛直方向であって、撮像面Ｐとの交点を終点とするベクトル［ｃ］を設定するとき、ベクトル［ｃ］を鉛直方向の単位ベクトル［ｇ］のｋ倍であるものとする（［ｃ］＝ｋ×［ｇ］）。

尚、本明細書中では、［Ａ］と表記することで、ベクトルＡと表すものとするが、図中においては、Ａ上に矢印を付して、一般的な数式におけるベクトルＡを表すものとする。

そして、姿勢-領域変換部５８は、ベクトル（［ｃ］−［ｎ］）とベクトル［ｎ］との内積が０となるベクトル［ｃ］を定義して、図７の上段で示されるように、このベクトル［ｃ］の撮像面Ｐ上の交点となる位置（図中の黒丸）を中心とした所定の半径の円状の範囲である領域Ｐ１’に地上面Ｇ１が撮像されているものとみなす。すなわち、図中の黒丸で示される交点は、本質的には鉛直方向を向いた視線と撮像面との交点である。ここで、センサ５２上の一部の領域を特定するにあたっては水平方向および垂直方向のそれぞれの座標で管理する方が容易である場合は、さらに、姿勢-領域変換部５８は、例えば、図７の下段で示される実線で囲まれるようなｘ×ｙの矩形の領域Ｚを撮像面Ｐより読み出す領域情報として設定するようにしてもよい。

尚、レンズ５１を超広角レンズや魚眼レンズとするような場合、像面における光軸と像点の距離である像高が高くなるほど、地上面の撮像領域には歪が生じ易くなる。そこで、図８で示されるように、撮像面Ｐの中心位置付近であれば、領域Ｐ１ａで示されるように真円に近い円状の領域を地上面の撮像領域として設定するようにし、撮像面Ｐの端部に近い範囲に進むほど、例えば、領域Ｐ１ｂ乃至Ｐ１ｅで示されるような楕円状の領域を基準として読み出し領域を設定するようにしてもよい。

ここで、図４のフローチャートの説明に戻る。

ステップＳ２３において、センサ５２は、画素アレー９２上の画素信号のうち、姿勢-領域変換部５８より供給されてきた領域情報に基づいて設定される撮像領域の一部の領域で所定時間だけ露光する。ただし、ここでいう撮像領域の一部の領域は、コーナー検出器タイプのアルゴリズムにおける場合のように、撮像領域の全領域に近い比較的広い範囲である場合を含むものである。

ステップＳ２４において、センサ５２は、姿勢-領域変換部５８より指定された領域の画素信号を読み出し、読み出した画素信号からなる画像を画像-速度変換部５３に供給する。この処理は、図２の、比較器カラム９４−１，９４−２、カウンタカラム９５−１，９５−２、および水平制御部９６−１，９６−２で示されるように、それぞれが２個ずつ、上部および下部に構成されているような場合、例えば、コーナー検出器タイプのアルゴリズムであるときには、画素アレー９２の一部であって、比較的広い領域の画素信号を比較器カラム９４−１、カウンタカラム９５−１、および水平制御部９６−１が読み出し、オプティカルフロータイプのアルゴリズムであるときには、画素アレー９２の一部であって、比較的狭い領域の画素信号を、比較器カラム９４−２、カウンタカラム９５−２、および水平制御部９６−２が読み出すといったように、読み出し動作を分けるようにしてもよい。この時、異なるアナログゲインを用いて読み出しても良い。

ステップＳ２５において、超音波センサ５４は、距離情報を超音波により測定し、測定した距離情報を飛行高度（高度情報）として画像-速度変換部５３に供給する。

ステップＳ２６において、画像-速度変換部５３は、移動速度算出処理を実行して、センサ５２より供給されてきた画像に基づいて、移動速度を算出すると共に、次の処理において移動速度を算出する際のアルゴリズムを選択する。

＜移動速度算出処理＞
ここで、図９のフローチャートを参照して、移動速度算出処理について説明する。

ステップＳ４１において、画像-速度変換部５３は、現在設定されているアルゴリズムが、オプティカルフロータイプのアルゴリズムであるか否かを判定する。ステップＳ３１において、例えば、オプティカルフロータイプのアルゴリズムが設定されている場合、処理は、ステップＳ４２に進む。

ステップＳ４２において、画像-速度変換部５３は、オプティカルフロータイプのアルゴリズムでセンサ５２より供給されてきた画像に基づいて移動速度を算出し、慣性航法装置５５に供給する。すなわち、この場合、指定された一部であって、かつ、比較的狭い領域の画素信号のみが、高いフレームレートで読み出されることにより、オプティカルフロータイプのアルゴリズムで、比較的高速であるときの移動速度が算出される。

ステップＳ４３において、画像-速度変換部５３は、算出された移動速度が所定速度よりも低速であって、かつ、画像のテクスチャ性が所定値よりも強いかを判定する。ステップＳ４３において、例えば、算出された移動速度が、所定速度よりも低速であるか、または、画像のテクスチャ性が強い場合、処理は、ステップＳ４４に進む。

ステップＳ４４において、画像-速度変換部５３は、次の画像を利用した移動速度を算出する際のアルゴリズムを、コーナー検出器タイプのアルゴリズムに設定し、設定されたアルゴリズムの情報を姿勢-領域変換部５８に供給する。すなわち、現在の移動速度が高速ではなく画素アレー９２の比較的広い領域の画素信号の読み出しが可能であって、かつ、テクスチャ性が強くコーナーの検出が比較的容易であるような場合、コーナー検出器タイプのアルゴリズムにより移動速度を算出するように設定する。

一方、ステップＳ４３において、算出された移動速度が、所定速度よりも高速である、または、画像のテクスチャ性が弱い場合、処理は、ステップＳ４７に進む。

ステップＳ４７において、画像-速度変換部５３は、次の画像を用いて移動速度を算出する際には、オプティカルフロータイプのアルゴリズムにより算出するように設定し、設定されたアルゴリズムの情報を姿勢-領域変換部５８に供給する。すなわち、この場合、センサ５２の一部であって、比較的広い範囲が必要となるコーナー検出器タイプのアルゴリズムでは画素信号の転送が困難であり、さらに、テクスチャ性が低いような場合、コーナー検出器タイプのアルゴリズムでは、コーナーの検出が困難であるので、オプティカルフロータイプのアルゴリズムとされる。

さらに、ステップＳ４１において、現状のアルゴリズムが、オプティカルフロータイプのアルゴリズムではなく、コーナー検出器タイプのアルゴリズムである場合、処理は、ステップＳ４５に進む。

ステップＳ４５において、画像-速度変換部５３は、コーナー検出器タイプのアルゴリズムで移動速度を算出し、慣性航法装置５５に供給する。すなわち、この場合、一部であって、比較的広い領域の画素信号が、低いフレームレートで読み出されることにより、コーナー検出器タイプのアルゴリズムで、比較的低速であるときの移動速度が算出される。

ステップＳ４６において、画像-速度変換部５３は、算出された移動速度が、所定速度よりも高速であるか、または、トラッカが少ないかのいずれかであるかを判定する。ステップＳ４６において、算出された移動速度が、所定速度よりも高速である、または、トラッカが少ないかのいずれかである場合、センサ５２の一部であって、比較的広い領域の画像を転送するのが困難であり、または、トラッカが少ないのでコーナーの検出が困難であるので、処理は、ステップＳ４７に進み、オプティカルフロータイプのアルゴリズムが選択される。なお、トラッカとは、コーナー検出器タイプのアルゴリズムの計算過程で得られる画像中に疎に点在するコーナーを検出し追跡する特徴点の事である。

一方、ステップＳ４６において、算出された移動速度が、所定速度よりも低速で、かつ、トラッカが多い場合、処理は、センサ５２の一部であって、比較的広い領域の画像を転送することが可能であり、かつ、コーナーの検出が比較的容易であるので、処理は、ステップＳ４４に進み、コーナー検出器タイプのアルゴリズムが選択される。

以上の処理により、移動速度が算出されて、慣性航法装置５５に供給されると共に、算出された移動速度に応じて、次の画像を利用した移動速度の算出に使用されるアルゴリズムが選択されて、姿勢-領域変換部５８に通知される。

ここで、図４のフローチャートの説明に戻る。

ステップＳ２７において、慣性航法装置５５は、移動速度を示す速度情報に基づいて、マルチコプタ１１の位置、速度、および姿勢を再計算し、姿勢情報を姿勢-領域変換部５８に供給すると共に、位置、速度、および姿勢の情報をPID制御装置５６に供給する。そして、PID制御装置５６は、この位置、速度、および姿勢に加えて、遠隔操作受信部５７より供給されてくる遠隔操作部１２における操作内容に対応した操作信号に応じて、動力装置３２を動作させて、飛行を制御する。

ステップＳ２８において、高解像度低速撮像センサ６０は、画素全体の露光を開始すべきタイミングになったか否かを判定し、例えば、露光を開始すべきタイミングになったとみなされた場合、処理は、ステップＳ２９に進む。

ステップＳ２９において、センサ６０は、全画素を所定時間だけ露光を開始する。尚、ステップＳ２８において、露光を開始すべきタイミングではない場合、ステップＳ２９の処理がスキップされる。

ステップＳ３０において、センサ６０は、露光を開始してから所定時間が経過し、露光終了か否かを判定し、所定時間が経過していない場合、処理は、ステップＳ３３に進む。

ステップＳ３３において、遠隔操作受信部５７は、遠隔操作部１２からの操作信号に基づいて、動作の終了が指示されたか否かを判定し、終了が指示されていないと判定した場合、処理は、ステップＳ２１に戻る。そして、操作信号に基づいて、終了が指示されていた場合、処理は、終了する。

すなわち、センサ６０について、終了指示がなく、かつ、露光時間が継続している限り、ステップＳ２１乃至Ｓ３０の処理が繰り返されて露光状態が継続される。すなわち、センサ６０は、センサ５２よりも読み出しが低速の画像であるので、センサ６０の１回の露光と読み出しの間に、センサ５２における露光と読み出しの処理は複数回数繰り返される。

そして、ステップＳ３０において、センサ６０の露光が終了であるとみなされた場合、処理は、ステップＳ３１に進む。

ステップＳ３１において、センサ６０は、自らの全画素の画素信号を読み出して、画像送信部６１に供給する。

ステップＳ３２において、画像送信部６１は、読み出された画素信号からなる画像を遠隔操作部１２に送信する。

ステップＳ１３において、画像受信部７３は、マルチコプタ１１より画像が送信されてきたか否かを判定する。ステップＳ１３において、画像が送信されてきたとみなされた場合、処理は、ステップＳ１４に進む。

ステップＳ１４において、画像受信部７３は、送信されてきた画像を受信する。

ステップＳ１５において、画像受信部７３は、受信した送信画像を表示部７４に表示させる。

ステップＳ１６において、操作UI部７１は、受け付けられた操作入力が終了を指示するものであるか否かを判定し、終了ではない場合、処理は、ステップＳ１１に戻る。また、ステップＳ１１において、操作入力が受け付けられていない場合、ステップＳ１２の処理がスキップされ、ステップＳ１３において、画像が送信されてこない場合、ステップＳ１４，Ｓ１５の処理がスキップされる。

そして、ステップＳ１６において、終了が指示されていた場合、処理は、終了する。

以上の処理により、移動速度に応じて、アルゴリズムを切り替えるようにしたので、移動速度が低速時であって、かつ、コーナーが検出し易い場合には、コーナー検出器タイプのアルゴリズムで、高解像度の画像の一部であって、比較的広い領域を利用して、適切にコーナーを検出して、移動速度を算出するようにした。また、移動速度が高速時である、または、コーナー検出が困難であるような場合には、地上面が撮像されている、一部であって、比較的狭い領域の低解像度の画像を高速に読み出して、オプティカルフロータイプのアルゴリズムにより移動速度を算出するようにした。

これにより、移動速度に応じて、センサ５２の地上面が撮像されている撮像領域の一部であって、比較的広い領域、または、地上面が撮像されている撮像領域の一部であって、比較的狭い領域の画像を読み出すようにして、かつ、アルゴリズムを切り替えて移動速度を検出することが可能となる。結果として、複数のアルゴリズムであっても、それぞれのアルゴリズムに対応する画像を、撮像領域を調整することで、単独のセンサ５２で撮像することが可能となり、機体の小型化、および軽量化を図りつつ、飛行制御の精度を向上させることが可能となる。

また、ビューイングの画像を表示し続けることが可能となる。なお、上記の説明では地上面を撮像してオプティカルフローを求めると同時に地上面との距離を計測して地上面に対する相対的な速度を算出した。しかしながら、その対象は地上面に限らず、例えば、室内の天井や側面壁など鉛直方向ではない方向に対する相対速度を求めることは同様に可能である。また、移動速度を検出するに当たって、時間解像度を優先するアルゴリズムとして、オプティカルフロータイプのアルゴリズムを利用し、空間解像度を優先するアルゴリズムとしてコーナー検出器タイプのアルゴリズムを利用する例について説明してきたが、それぞれ、時間解像度、および空間解像度を優先するアルゴリズムであれば、他のアルゴリズムでもよいものである。

＜＜２．第２の実施の形態＞＞
＜マルチコプタの第２の実施の形態の構成例＞
以上においては、移動速度を算出するために必要とされる画像を撮像するセンサと、ビューイングに必要とされる画像を撮像するセンサとを個別に設ける構成例について説明してきたが、超広角の１枚の画像を撮像して、そのうちの一部を、移動速度を算出するための画像として利用し、さらに、別の一部をビューイングに用いるようにしてもよい。

図１０は、超広角の１枚の画像を撮像して、そのうちの一部を、移動速度を算出するための画像として利用し、さらに、別の一部をビューイングに用いるようにしたマルチコプタ１１と遠隔操作部１２との構成例を示している。

尚、図１０のマルチコプタ１１、および遠隔操作部１２において、図１のマルチコプタ１１、および遠隔操作部１２における構成と同一の機能を備えた構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。

すなわち、図１０のマルチコプタ１１および遠隔操作部１２において、図１のマルチコプタ１１、および遠隔操作部１２と異なる点は、レンズ５１および広角レンズ５９に代えて超広角レンズ１３１が設けられ、高解像度高速部分読み出しセンサ５２および高解像度低速読み出しセンサ６０に代えて、高解像度高速部分読み出し像面位相差画素センサ１３２が設けられている点である。

また、超音波測距センサ５４および画像送信部６１に代えて、画像-高度変換部１３３および画像送信部１３５が設けられ、さらに投光部１３４が新たに設けられている。

さらに、遠隔操作部１２には、画像処理部１５１が新たに設けられている。

超広角レンズ１３１は、広角レンズ５９よりも、さらに広角のレンズであり、マルチコプタ１１の機体の下部に設けられているが、全方位について、鉛直方向から水平方向に近い範囲までの広範囲を撮像領域とすることができるレンズである。

高解像度高速部分読み出し像面位相差画素センサ１３２は、基本的には、高解像度高速部分読み出しセンサ５２と同様の機能を備えているが、さらに、像面位相差画素を備えており、像面位相差画素の画素信号を画像-高度変換部１３３に供給する。画像-高度変換部１３３は、像面位相差画素の画素信号を用いることで、撮像領域内の被写体である地上までの距離を高度情報として求め、慣性航法装置５５および投光部１３４に供給する。

このため、地上面を撮像することで、自らの高度を求めることが可能となり、超音波測距センサ５４を設ける必要がなくなるので、マルチコプタ１１の小型化、および軽量化を実現することが可能となる。尚、以降において、高解像度高速部分読み出し像面位相差画素センサ１３２は、単に、センサ１３２とも称するものとする。

センサ１３２は、超広角レンズ１３１と組み合わせて撮像されることにより、これまで、高解像度低速撮像センサ６０により撮像されていたビューイング用の画像、移動速度を求めるための画像、および高度を求めるための像面位相差画素による像面位相差信号を同時に撮像することができる。

そこで、図１０においては、センサ１３２より出力されるストリームＳｔ１は、移動速度を求めるための画像の流れを示しており、画像-速度変換部５３に供給されることを示している。また、センサ１３２より出力されるストリームＳｔ２は、ビューイング画像の流れを示しており、画像送信部１３５に供給されることを示している。さらに、ストリームＳｔ３は、像面位相差画素の画素信号の流れを示しており、画像-高度変換部１３３に供給されることを示している。

投光部１３４は、画像-高度変換部１３３より供給されてくる高度情報に基づいて、地上面を十分に投光できる場合には、補助光を発光させる。投光部１３４が発光する光は、可視光であってもよいし、赤外光や紫外光等であってもよいものである。ただし、赤外光や紫外光等を用いる場合については、センサ１３２において、対応する波長の光を受光できる構成とする必要がある。

画像送信部１３５は、センサ１３２より供給されてくるビューイング用の画像と、その画像を撮像したタイミングで慣性航法装置５５より供給されてくる機体の姿勢情報とを対応付けて遠隔操作部１２に送信する。

遠隔操作部１２の画像処理部１５１は、姿勢情報が対応付けられた画像より、例えば、送信されてきた画像のうち、進行方向の領域の画像を抽出するような画像処理を施して、表示部７４に表示させる。

＜図１０の飛行制御部による飛行制御処理＞
次に、図１１のフローチャートを参照して、図１０のマルチコプタ１１と遠隔操作部１２とによる飛行制御処理について説明する。尚、図１１のフローチャートにおけるステップＳ５１乃至Ｓ５４，Ｓ５６，Ｓ５７、および、ステップＳ７１乃至Ｓ７４，Ｓ７６乃至Ｓ８１，Ｓ８３，Ｓ８４の処理は、図４のフローチャートにおけるステップＳ１１乃至Ｓ１６、およびステップＳ２１乃至Ｓ２４，Ｓ２６乃至Ｓ３３の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ７５において、センサ１３２は、読み出された画素信号のうち、像面位相差画素の画素信号を画像-高度変換部１３３に供給する。画像-高度変換部１３３は、像面位相差画素の画素信号に基づいて、被写体である地上面までの距離を高度として求める。

すなわち、センサ１３２における像面位相差画素により撮像された画素信号のみで、超音波測距センサ５４等の別のセンサを用いることなく高度を求めることが可能となる。

また、ステップＳ８２において、画像送信部１３５は、ステップＳ７９，Ｓ８１の処理により全画素により撮像された画像と、ステップＳ７１において更新された慣性航法装置５５における現在の姿勢情報とを対応付けて格納し、ステップＳ８３の処理で、姿勢情報が対応付けられている画像を遠隔操作部１２に送信する。

これに応じて、ステップＳ５４において、画像受信部７３は、姿勢情報が対応付けられた画像を受信すると画像処理部１５１に供給する。

ステップＳ５５において、画像処理部１５１は、画像処理を実行して、送信されてきた画像のうち、進行方向に対応する画像のみを抽出して表示部７４に供給する。

＜画像処理＞
ここで、図１２のフローチャートを参照して、画像処理部１５１における画像処理について説明する。

ステップＳ１０１において、画像処理部１５１は、供給されてきた全ての画素の画素値をスフィアマップ（球状マップ）にマッピングする。すなわち、例えば、センサ１３２は、マルチコプタ１１の下面に設けられ、超広角レンズ１３１を介して入射する画像を撮像するので、実質的に、図１３で示される半球面ＳＨ上の画素からなる画像として撮像されることになる。しかしながら、送信されてくる画像は、平面状の画像として送信されてくることになるので、画像処理部１５１は、図１３の半球面ＳＨ上の画素（スフィアマップ）にマッピングしなおす。

ステップＳ１０２において、画像処理部１５１は、姿勢情報に基づいて、このスフィアマップ上の所定の領域を構成する窓状の範囲、例えば、進行方向に対応する範囲の画素を抽出して画像を生成する。

すなわち、図１３における半球面ＳＨには、マルチコプタ１１の下面全体の画像が撮像されていることになるので、姿勢方向に基づいて、例えば、進行方向に対応する窓状の範囲Ｗの画素を抽出して、平面画像を生成する。

例えば、図１３においては、進行方向に対応するベクトルとしてＶＤ（中心に対して、（水平角θ，仰角φ，距離ＶＤ）、または、（ｘ，ｙ，ｚ））が設定されており、ベクトル［ＶＤ］が法線となる半球面ＳＨ上に接する平面に対応する窓状の範囲Ｗを設定する。ここでは、窓状の範囲Ｗが、半球面ＳＨ上の点ｐ１，ｐ２，ｐ３，ｐ４により囲まれる方形状の範囲であって、かつ、その平面の法線がベクトル［ＶＤ］であるものとして、画像処理部１５１は、この範囲Ｗ内の画素の画素値を抽出して、方形状の画像を生成し、進行方向の画像として表示部７４に供給し表示させる。

以上の処理により、遠隔操作部１２の表示部７４に、供給されてくる全方向の画像のうち、進行方向に対応する方向の画像を、常に表示することが可能となる。また、姿勢情報がわかっているので、図１３においては、進行方向以外の方向であっても、姿勢情報に基づいて指定することで適切に表示することが可能となる。

＜投光制御処理＞
次に、図１４のフローチャートを参照して、図１０のマルチコプタ１１による投光制御処理について説明する。

ステップＳ１２１において、画像-高度変換部１３３は、像面位相画素により撮像された画素信号に基づいて、地上までの距離、すなわち、高度情報を測定する。尚、この処理は、図１１のフローチャートを参照して説明したステップＳ７５の処理により、直近で求められた値をそのまま使用するようにしてもよい。

ステップＳ１２２において、画像-高度変換部１３３は、測定した高度情報を投光部１３４に供給する。投光部１３４は、所定の高度よりも低く、投光することにより十分に補助光としての効果を得ることが可能であるか否かを判定する。ステップＳ１２２において、補助光としての効果を得ることが可能であるとみなした場合、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、投光部１３４は、補助光として投光する。

一方、ステップＳ１２２において、所定の高度よりも高く、補助光としての効果が得られないとみなされた場合、ステップＳ１２４において、投光部１３４は、消灯する（投光しない）。

ステップＳ１２５において、投光部１３４は、動作の終了が指示さているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１２１に戻る。すなわち、終了が指示されるまで、画像-高度変換部１３３より供給されてくる高度情報に基づいて、補助光としての効果が得られるか否かを判定し、効果があれば投光し、なければ消灯する処理を繰り返す。そして、ステップＳ１２５において、終了が指示されたとみなされた場合、処理は、終了する。

すなわち、以上の処理により、高度が十分に低いときには、常に、補助光として投光部１３４を投光させることが可能となる。このような処理により、オプティカルフロータイプのアルゴリズムを用いるような場合、特に、高速フレームレートで撮像された画像が利用されることが多くなるため、補助光として投光部１３４が投光することで、算出される移動速度の精度を向上させることが可能となる。また、投光部１３４により投光される補助光は可視光でもよいし、赤外光や紫外光などの非可視光であってもよい。ただし、非可視光を用いる場合については、センサ１３２において、対応する波長の光を受光可能な構成とする必要があり、例えば、赤外光や紫外光を用いるときには、対応するフィルタを装着する必要がある。

＜＜３．第１の変形例＞＞
尚、以上においては、オプティカルフロータイプのアルゴリズムにおいて、最新の撮像画像を利用して、次の画像を用いた移動速度の算出に必要な撮像領域を特定する例について説明してきたが、次の画像を撮像するまでにマルチコプタ１１は移動していることになるので、移動に伴って適切な撮像領域はずれていることが予想される。

そこで、例えば、図１５で示されるように、直前の画像では、撮像面Ｐ上の点ｃ１を中心とした円状の領域を利用し、最新の画像では、点ｃ２を中心とした円状の領域を利用していた場合、この点ｃ１，ｃ２より、次の撮像時における中心位置を点ｃ３と予測して、この点ｃ３を中心とした円状の領域Ｐ１を領域情報として設定するようにしてもよい。

この場合、例えば、以下の式（１）を利用して求めるようにしてもよい。

・・・（１）

ここで、ベクトルｘの添字ｔ＋１，ｔ，ｔ−１，ｔ−２，・・・ｔ０は、時間方向の添字であり、関数ｆが、これまでの領域の中心位置を示すベクトルｘより、時刻（ｔ＋１）で指定される次回の中心位置を予測する関数であることを示している。さらに、右項は、最新の撮像時刻ｔの中心位置と、直前の撮像時刻ｔ−１の中心位置の差分を、最新の撮像時刻ｔの中心位置に加算することで、次回の中心位置を予測することができることが示されている。

＜＜４．第２の変形例＞＞
第２の実施の形態における図１０のマルチコプタ１１においては、移動速度を算出するための画像と、ビューイング用の画像とを１個のセンサ１３２により撮像し、読み出す必要があるが、例えば、図１６で示されるように、画素アレー９２に対応する画素アレー１７１に加えて、メモリアレー１７２を設けて、高速部分読み出しをする際には、一部であって、比較的狭い領域の一部、例えば、1/16の範囲の画素信号を960fpsで読み出し（図１０のストリームＳｔ１）、低速で一部であって、比較的広い領域を読み出す際には、例えば、全範囲を60fpsで読み出す（図１０のストリームＳｔ２）ようにしてもよい。

すなわち、図１６においては、画素アレー１７１より画素信号は、常に、高速でＡＤ変換器１７１ａがデジタル信号として読み出し、メモリアレー１７２に格納させ、加算合成回路１７２ａが、領域と、読み出しタイミングを制御して、読み出し領域が一部であって、比較的広い領域であるときは、比較的広い領域の画素信号をメモリアレー１７２から読み出し、一部であって、比較的狭い領域であるときは、指定された一部の領域の画素信号をメモリアレー１７２から読み出す。

また、図１６のような画素アレー１７１に対してメモリアレー１７２を構成するような場合については、異なるプロセスで、積層構造とするようにしてもよい。

さらに、この他にも、Binningされた低解像度の領域と、非Binningされた高解像度の領域とを複数のストリームとして読み出すようにしてもよい。

また、RGBの３チャンネルのうち、全チャンネルを読み出す領域と、RGBのいずれか１個を読み出す領域とを設定して、複数のストリームとして読み出すようにしてもよい。

さらに、比較的高解像度の低速用のイメージセンサと、比較的低解像度の高速用のイメージセンサとを併用したヘテロな構成のセンサーモジュールを用いるようにしてもよい。この時、低解像度側は狭視野角になりがちなので、これを補うために、例えば、メカニカルなジンバル装置を用いて撮像方向を調整させるようにしても良い。ジンバル装置は、慣性航法装置５５により求められる姿勢情報に基づいて制御させるようにしてもよい。

＜＜５．第３の変形例＞＞
以上においては、センサ１３２の構成として、通常のイメージセンサにより構成される例について説明してきたが、マルチストリームとしては、様々な構造のものが考えられる。

例えば、赤外光により移動速度を求める画像を撮像し、RGBからなる可視光により、ビューイング用の画像を撮像する場合、図１７で示されるような各種の構成としてもよい。尚、図１７は、４種類のイメージセンサ１３２の構成が示されており、図中の左下部は、画素アレーに対向する方向からみた上面図であり、それ以外は、図中の上部から下部に向けて、入射光が入射するときの側面断面図が示されている。

すなわち、図１７の左上部のセンサ１３２においては、超広角レンズ１３１を介して入射した光を図中の右方向に可視光を反射させ、赤外光を図中の下方向に透過させることで分離するスプリッタ１９１が設けられている。さらに、スプリッタ１９１の下には、透過した赤外光を受光して、画素信号に変換する赤外光受光層１９２が設けられており、赤外光受光層１９２より出力される画素信号を赤外光高速部分読出部１９３に供給する。赤外光高速部分読出部１９３は、ストリームＳｔ１として赤外光の画素信号を部分的に高速で読み出す。また、スプリッタ１９１の右側には、可視光を受光して、RGBからなる画素信号に変換する可視光受光層１９４が設けられており、可視光受光層１９４は、受光した光量に応じた画素信号を可視光読出部１９５に出力する。可視光読出部１９５は、ストリームＳｔ２として比較的低速で可視光を読み出す。

また、図１７の左下部のセンサ１３２においては、画素アレー２０１（画素アレー９２と同様）の一方の側面には、比較的高速で部分的に赤外光の画素信号を、ストリームＳｔ１として読み出す赤外光高速部分読出部２０３が設けられ、対向する側面には、比較的低速で全画素の可視光の画素信号をストリームＳｔ２として読み出す可視光読出部２０２が設けられている。尚、赤外光高速部分読出部２０３および可視光読出部２０２の画素アレーに対する配置は、図１７の左下部以外のいずれでもよく、画素アレー２０１から画素信号の転送が可能であれば、その他の配置であってもよい。また、この場合、画素アレー２０１は、例えば、図中で示されるようにBayer配列におけるいずれか一方のG画素をIR画素として、赤外光を受光するための画素とする。さらに、２×２画素のＢａｙｅｒ配列の一つの画素をIR画素に置き換える事にこだわることなく、撮像面全体に対して規則的または不規則にIR画素をまばらに配置してもよい。この場合、可視光は高解像度で赤外光画像は低解像度で撮像される。

さらに、図１７の右上部のセンサ１３２においては、超広角レンズ１３１を透過した入射光を波長が短い順に図中の上から、青色の光を受光する青色受光層２２１、緑色の光を受光する緑色受光層２２２、赤色の光を受光する赤色受光層２２３が設けられており、最下層に、赤外光を受光する赤外光受光層２２４が設けられている。さらに、赤外光受光層２２４より読み出される赤外光の信号をストリームＳｔ１として、部分的に高速で読み出す赤外光高速部分読出部２２６が設けられている。また、青色受光層２２１、緑色受光層２２２、および赤色受光層２２３よりそれぞれ可視光として読み出されるRGBの画素信号をストリームＳｔ２として読み出す可視光読出部２２５が設けられている。

また、図１７の右下部のセンサ１３２においては、超広角レンズ１３１を透過した入射光のうち、赤外光のみを吸収し、可視光を透過する赤外光吸収有機センサ２４１が設けられており、その下に可視光であるRGBの光を受光するRGB受光半導体センサ２４３が設けられている。また、赤外光吸収有機センサ２４１の右側には、赤外光吸収有機センサ２４１より読み出される赤外光の信号をストリームＳｔ１として、部分的に高速で読み出す赤外光高速部分読出部２４２が設けられている。さらに、RGB受光半導体センサ２４３の右側には、可視光として読み出されるRGBの全画素信号をストリームＳｔ２として読み出す可視光読出部２４４が設けられている。

＜＜６．第４の変形例＞＞
以上においては、センサ１３２により撮像された全領域の画像を読み出して、姿勢情報と対応付けて遠隔操作部１２に送信し、遠隔操作部１２において、姿勢情報に基づいて、特定の方向の画像を生成し、表示する例について説明してきたが、表示に必要な画像は、マルチコプタ１１より送信されてくる画像の極一部のみであるため、マルチコプタ１１から送信する画像を予め必要なサイズにして送信するようにすることで、送信に係る負荷を低減させるようにしてもよい。

すなわち、例えば、図１８で示されるように撮像面Ｐにおける、図１３における窓状の範囲Ｗに対応する点ｐ１，ｐ２，ｐ３，ｐ４からなる四辺形からなる範囲のみを読み出すようにしてもよいし、範囲Ｗを凡そ囲む図中の一点鎖線で囲まれる矩形上の範囲のみを読み出して送信するようにしてもよい。

以上のような処理により、送信負荷を低減させることが可能になると共に、表示部７４に表示するための画像処理に係る負荷をも低減させることも可能となる。

＜＜７．応用例＞＞
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。
＜１＞ 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、
機体の姿勢情報に基づいて、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部と
を含む飛行制御装置。
＜２＞ 前記撮像部により読み出された画素信号に基づいて、前記機体の移動速度を算出する画像速度変換部と、
前記機体の前記移動速度に基づいて、前記機体の前記姿勢情報を検出する姿勢検出部とをさらに含む
＜１＞に記載の飛行制御装置。
＜３＞ 前記機体から地上面までの距離を高度情報として測定する高度測定部をさらに含み、
前記画像速度変換部は、前記撮像部により読み出された画素信号、および高度情報に基づいて、前記機体の前記移動速度を算出する
＜２＞に記載の飛行制御装置。
＜４＞ 前記高度測定部は、超音波を利用して、前記機体から地上面までの距離を高度情報として測定し、
前記画像速度変換部は、前記撮像部により読み出された画素信号、および前記高度情報に基づいて、前記機体の前記移動速度を算出する
＜３＞に記載の飛行制御装置。
＜５＞ 前記撮像部は、像面位相差画素を含み、
前記高度測定部は、前記像面位相差画素より読み出される画素信号に基づいて、前記機体から地上面までの距離を高度情報として測定し、
前記画像速度変換部は、前記撮像部により読み出された画素信号、および前記高度情報に基づいて、前記機体の前記移動速度を算出する
＜３＞に記載の飛行制御装置。
＜６＞ 前記撮像部の撮像方向を投光する投光部をさらに含み、
前記投光部は、前記高度情報に基づいて、前記撮像方向を投光する
＜３＞に記載の飛行制御装置。
＜７＞ 前記投光部は、前記高度情報が、所定の高度よりも低く、十分に地上面を投光できる場合、前記撮像方向を投光する
＜６＞に記載の飛行制御装置。
＜８＞ 前記画像速度変換部は、前記撮像部により読み出された画素信号に基づいて、時間解像度を優先する第１のタイプのアルゴリズム、または、空間解像度を優先する第２のタイプのアルゴリズムのいずれかで前記機体の移動速度を算出し、
前記画像速度変換部が前記時間解像度を優先する第１のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部は、前記姿勢検出部により検出された姿勢情報に基づいて、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の第１の領域を決定し、
前記画像速度変換部が前記空間解像度を優先する第２のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部は、前記撮像部において、前記画像の一部であって、前記第１の領域よりも広い第２の領域を決定する
＜１＞乃至＜７＞のいずれかに記載の飛行制御装置。
＜９＞ 前記画像速度変換部が前記時間解像度を優先する第１のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部により決定される、前記画素信号が高速に読み出される前記画像の一部の前記第１の領域は、前記撮像部における撮像視点から撮像面までの法線ベクトルと、前記撮像視点から鉛直方向であって、撮像面との交点に応じて設定される領域である
＜８＞に記載の飛行制御装置。
＜１０＞ 前記撮像視点から鉛直方向であって、前記撮像面との交点に応じて設定される前記第１の領域は、前記交点を中心とした前記撮像面上の所定の半径からなる円状、または、楕円状の領域である
＜９＞に記載の飛行制御装置。
＜１１＞ 前記撮像視点から鉛直方向であって、前記撮像面との交点に応じて設定される前記第１の領域は、前記交点を中心とした前記撮像面上の所定の半径からなる円状、または、楕円状の範囲を囲む方形状の領域である
＜１０＞に記載の飛行制御装置。
＜１２＞ 前記撮像部により撮像された画像を送信する送信部と、
前記機体を遠隔から操作すると共に、前記送信部より送信されてくる画像を受信し表示する遠隔操作部とをさらに含む
＜１＞乃至＜１１＞のいずれかに記載の飛行制御装置。
＜１３＞ 前記送信部は、前記撮像部により撮像された画像を、前記画像が撮像されたときの前記機体の姿勢情報と対応付けて送信し、
前記遠隔操作部は、前記送信部より送信されてきた前記姿勢情報が対応付けられた前記画像を受信し、前記画像のうち、前記姿勢情報に基づいて特定される所定の範囲の画像を抽出し、抽出された画像を表示する
＜１２＞に記載の飛行制御装置。
＜１４＞ 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部を備えた飛行制御装置の飛行制御方法であって、
前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定するステップを含む
飛行制御方法。
＜１５＞ 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、
前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部としてコンピュータを機能させる
プログラム。
＜１６＞ 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、
前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部と
を含むマルチコプタ。

１１ マルチコプタ， １２ 遠隔操作部， ３１ 飛行制御部， ３２ 動力装置， ５１ レンズ， ５２ 高解像度高速部分読み出し部， ５３ 画像-速度変換部， ５４ 超音波測距センサ， ５５ 慣性航法装置， ５６ PID制御装置， ５７ 遠隔操作受信部， ５８ 姿勢-領域変換部， ５９ 広角レンズ， ６０ 高解像度低速撮像センサ， ６１ 画像送信部， ７１ 操作UI部， ７２ 遠隔操作送信部， ７３ 画像受信部， ７４ 表示部， ９１ 全体制御部， ９２ 画素アレー， ９３ 垂直制御部， ９４−１，９４−２ 比較器カラム， ９５−１，９５−２ カウンタカラム， ９６−１，９６−２ 水平制御部， ９７ 出力制御部， １３１ 超広角レンズ， １３２ 高解像度高速部分読み出し像面位相差画素センサ， １３３ 画像-高度変換部， １３４ 投光部， １３５ 画像送信部， １５１ 画像処理部

Claims (16)

1. 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、
   機体の姿勢情報に基づいて、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部と
   を含む飛行制御装置。
2. 前記撮像部により読み出された画素信号に基づいて、前記機体の移動速度を算出する画像速度変換部と、
   前記機体の前記移動速度に基づいて、前記機体の前記姿勢情報を検出する姿勢検出部とをさらに含む
   請求項１に記載の飛行制御装置。
3. 前記機体から地上面までの距離を高度情報として測定する高度測定部をさらに含み、
   前記画像速度変換部は、前記撮像部により読み出された画素信号、および高度情報に基づいて、前記機体の前記移動速度を算出する
   請求項２に記載の飛行制御装置。
4. 前記高度測定部は、超音波を利用して、前記機体から地上面までの距離を高度情報として測定し、
   前記画像速度変換部は、前記撮像部により読み出された画素信号、および前記高度情報に基づいて、前記機体の前記移動速度を算出する
   請求項３に記載の飛行制御装置。
5. 前記撮像部は、像面位相差画素を含み、
   前記高度測定部は、前記像面位相差画素より読み出される画素信号に基づいて、前記機体から地上面までの距離を高度情報として測定し、
   前記画像速度変換部は、前記撮像部により読み出された画素信号、および前記高度情報に基づいて、前記機体の前記移動速度を算出する
   請求項３に記載の飛行制御装置。
6. 前記撮像部の撮像方向を投光する投光部をさらに含み、
   前記投光部は、前記高度情報に基づいて、前記撮像方向を投光する
   請求項３に記載の飛行制御装置。
7. 前記投光部は、前記高度情報が、所定の高度よりも低く、十分に地上面を投光できる場合、前記撮像方向を投光する
   請求項６に記載の飛行制御装置。
8. 前記画像速度変換部は、前記撮像部により読み出された画素信号に基づいて、時間解像度を優先する第１のタイプのアルゴリズム、または、空間解像度を優先する第２のタイプのアルゴリズムのいずれかで前記機体の移動速度を算出し、
   前記画像速度変換部が前記時間解像度を優先する第１のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部は、前記姿勢検出部により検出された姿勢情報に基づいて、前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の第１の領域を決定し、
   前記画像速度変換部が前記空間解像度を優先する第２のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部は、前記撮像部において、前記画像の一部であって、前記第１の領域よりも広い第２の領域を決定する
   請求項１に記載の飛行制御装置。
9. 前記画像速度変換部が前記時間解像度を優先する第１のタイプのアルゴリズムで前記機体の移動速度を算出する場合、前記姿勢領域変換部により決定される、前記画素信号が高速に読み出される前記画像の一部の前記第１の領域は、前記撮像部における撮像視点から撮像面までの法線ベクトルと、前記撮像視点から鉛直方向であって、撮像面との交点に応じて設定される領域である
   請求項８に記載の飛行制御装置。
10. 前記撮像視点から鉛直方向であって、前記撮像面との交点に応じて設定される前記第１の領域は、前記交点を中心とした前記撮像面上の所定の半径からなる円状、または、楕円状の領域である
    請求項９に記載の飛行制御装置。
11. 前記撮像視点から鉛直方向であって、前記撮像面との交点に応じて設定される前記第１の領域は、前記交点を中心とした前記撮像面上の所定の半径からなる円状、または、楕円状の範囲を囲む方形状の領域である
    請求項１０に記載の飛行制御装置。
12. 前記撮像部により撮像された画像を送信する送信部と、
    前記機体を遠隔から操作すると共に、前記送信部より送信されてくる画像を受信し表示する遠隔操作部とをさらに含む
    請求項１に記載の飛行制御装置。
13. 前記送信部は、前記撮像部により撮像された画像を、前記画像が撮像されたときの前記機体の姿勢情報と対応付けて送信し、
    前記遠隔操作部は、前記送信部より送信されてきた前記姿勢情報が対応付けられた前記画像を受信し、前記画像のうち、前記姿勢情報に基づいて特定される所定の範囲の画像を抽出し、抽出された画像を表示する
    請求項１２に記載の飛行制御装置。
14. 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部を備えた飛行制御装置の飛行制御方法であって、
    前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定するステップを含む
    飛行制御方法。
15. 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、
    前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部としてコンピュータを機能させる
    プログラム。
16. 画像を撮像し、前記画像の一部の領域の画素信号を高速に読み出す撮像部と、
    前記撮像部において、前記画素信号を高速に読み出す、前記画像の一部の領域を決定する姿勢領域変換部と
    を含むマルチコプタ。

Images