JP2017065467A - 無人機およびその制御方法 - Google Patents
無人機およびその制御方法 Download PDFInfo
- Publication number
- JP2017065467A JP2017065467A JP2015193079A JP2015193079A JP2017065467A JP 2017065467 A JP2017065467 A JP 2017065467A JP 2015193079 A JP2015193079 A JP 2015193079A JP 2015193079 A JP2015193079 A JP 2015193079A JP 2017065467 A JP2017065467 A JP 2017065467A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- external force
- control
- face image
- magnitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000001133 acceleration Effects 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】遠隔制御装置を用いることなく移動制御が可能な無人機とその制御方法を提供すること。
【解決手段】飛行位置および飛行方向を調節可能な小型無人飛行体であるドローン110は、外力の大きさと向きを検出する検出部を備える。ドローン110の本体内部の制御部は、被写体人物100からドローン110に加えられた外力の大きさに応じて飛行距離を決定するとともに、外力の向きから飛行方向を決定する。制御部は決定した飛行方向および飛行距離でドローン110の飛行させるために、ドローン110に設けられた複数のロータの駆動用モータを制御する。ドローン110の飛行中に制御部は、クレイドル111を介してデジタルカメラ112を制御することにより、被写体人物100を撮影する。撮影後にドローン110は外力を加えられた場所に帰還する。
【選択図】 図1
【解決手段】飛行位置および飛行方向を調節可能な小型無人飛行体であるドローン110は、外力の大きさと向きを検出する検出部を備える。ドローン110の本体内部の制御部は、被写体人物100からドローン110に加えられた外力の大きさに応じて飛行距離を決定するとともに、外力の向きから飛行方向を決定する。制御部は決定した飛行方向および飛行距離でドローン110の飛行させるために、ドローン110に設けられた複数のロータの駆動用モータを制御する。ドローン110の飛行中に制御部は、クレイドル111を介してデジタルカメラ112を制御することにより、被写体人物100を撮影する。撮影後にドローン110は外力を加えられた場所に帰還する。
【選択図】 図1
Description
本発明は、ドローン等の無人機の自動制御技術に関するものである。
ユーザが遠隔制御装置により操縦可能な無人飛行体には、ヘリコプターや、クアッドリコプター(quadricopter:4翼ヘリコプター)等がある。ユーザは、無線リンクを介して無人飛行体に接続される遠隔制御デバイスによって操縦を行う。無人飛行体には、安定してホバリング飛行するための自動制御システムが設けられる。空気の動きやセンサのドリフト(ばらつき)等に起因する小さな動きを補正することによって、定点を維持するために必要な制御が行われる。また、無人飛行体に内蔵される慣性センサ(加速度計およびジャイロセンサ)は、無人飛行体の角速度および姿勢角を測定する役割をもち、重力方向とは反対の方向に無人飛行体の推力方向を動的に制御するサーボ制御系の一部を構成する。
特許文献1では、特に初心者ユーザが無人飛行体を制御し続けるのを容易にする、没入操縦以外の遠隔制御装置の操縦モードを提供する方法が開示されている。ユーザから見た無人飛行体に対する絶対座標系の飛行制御情報を、遠隔制御装置と飛行体の相対位置関係から、飛行体の局所座標系の飛行制御情報に変換する処理が行われる。
しかしながら、特許文献1に開示された従来技術では、遠隔制御装置を使用した操縦が必要であり、ユーザが気軽に無人飛行体を飛行させることができない。
本発明の目的は、遠隔制御装置を用いることなく移動制御が可能な無人機とその制御方法を提供することである。
本発明の目的は、遠隔制御装置を用いることなく移動制御が可能な無人機とその制御方法を提供することである。
本発明の一実施形態の装置は、移動の位置および方向を調節可能な無人機であって、前記無人機の移動時および静止時に制御される駆動手段と、前記無人機が受ける外力の大きさおよび向きを検出する検出手段と、前記検出手段によって検出された前記外力の大きさから前記無人機の移動距離を決定するとともに、前記検出手段によって検出された前記外力の向きから前記無人機の移動方向を決定して、前記駆動手段を制御する制御手段を有する。
本発明によれば、遠隔制御装置を用いることなく無人機の移動制御が可能である。
以下に、本発明の各実施形態を添付図面に基づいて説明する。各実施形態では、無線式遠隔操作装置による操縦操作を必要としない自律型無人機として小型ドローンを例にして説明するが、本発明は水中や水上を移動する無人機等にも適用可能である。
[第1実施形態]
本発明の第1実施形態に係る、撮像装置を搭載した無人飛行体の構成を説明する前に、その使用形態について説明する。被写体である人物は、デジタルカメラの搭載されたドローンの投てきにより、自分の位置からドローンを遠ざける。被写体人物から離れたドローンは、加えられた力の強さおよび向きに応じた距離および方向に飛行して被写体人物を撮影する。
本発明の第1実施形態に係る、撮像装置を搭載した無人飛行体の構成を説明する前に、その使用形態について説明する。被写体である人物は、デジタルカメラの搭載されたドローンの投てきにより、自分の位置からドローンを遠ざける。被写体人物から離れたドローンは、加えられた力の強さおよび向きに応じた距離および方向に飛行して被写体人物を撮影する。
図1は、本実施形態にかかわる概要図である。被写体人物100と、ドローン110との間の水平距離をLと表記する。地面からドローン110までの高度をHと表記する。小型のドローン110は、例えば、被写体人物100の手掌程度のサイズであり、ロータ(プロペラ)の出力が小さいので安全に取り扱うことができる。ドローン110の本体部は、クレイドル111を介してデジタルカメラ112と接続されている。ドローン110はクレイドル111を介してデジタルカメラ112を制御可能である。
まず、被写体人物100は静止状態にあるドローン110を持ち上げて、クレイドル111で接続されたデジタルカメラを、自分の顔の正面のやや上方に位置させて、ドローン110から手を放す。このとき、ドローン110は自由落下したことを検出して飛行を開始し、被写体人物100の手を離れた位置でロータが回転してホバリングを行う。次に、被写体人物100は、矢印Fで示す向きに力を加えてドローン110を押す。ドローン110は、矢印Fの向きに沿って、押された力の大きさに応じた距離Lだけ飛行する。このとき、ドローン110の飛行高度Hは、被写体人物100の顔の高さと同じである。
距離Lを飛行した後でドローン110は、クレイドル111を介してデジタルカメラ112を操作および制御を行い、被写体人物100を撮影する。撮影を終えると、ドローン110は、自由落下を検出した位置まで飛行して戻り、地面に降下する。ドローン110は着陸後に飛行動作を停止する。
次に、図2および図3を参照して、本実施形態に係るドローン110について詳細に説明する。図2はドローン110の外観例を示す斜視図であり、図3はドローン110の構成例を示すブロック図である。ドローン110は、その移動時および静止時に制御される駆動部により、移動の位置および方向、姿勢を調節可能である。
図2に示すように、ドローン110は複数のロータ200を備える。図2の例では4枚のロータ200a〜200dが同一平面上に設けられていて、図3のモータ310によってロータが回転駆動される。ドローン110は、クアッドロータ型の小型無人ヘリコプターである。一般的に、シングルロータ型のヘリコプターでは、メインロータによって発生する反作用トルクを、テールロータが生み出すモーメントで相殺することで方位角を保っている。一方、本実施形態のドローン110のようなクアッドロータ型のヘリコプターでは、前後および左右の各位置にて異なる方向に回転する複数のロータ200を用いることで反作用トルクが相殺される。そして、例えば、機体をヨー方向に回転させる場合には、図2の矢印fa〜fdで示すように、前後のロータ200a,200cと、左右のロータ200d,200bの回転数に差を与える制御が行われる。ロータ200の回転数を制御することにより、様々な機体の移動や姿勢の制御を行うことができる。
図3に示すように、ドローン110内部の各構成部はシステムバス320に接続されており、システムバス320を介して必要なデータを互いに送受可能である。CPU(中央演算処理装置)301は、ドローン110全体の制御を司る制御中枢部である。CPU301は後述する各ユニットを制御し、被写体人物100が行った設定と操作にしたがって飛行距離および飛行方向等を決定し、ドローン110の飛行を制御する。メモリ302は書き換え可能な記憶デバイスであり、ドローン110を制御するプログラムの作業領域として使用される。メモリ302は、例えば半導体素子を利用した揮発性メモリとしてのRAM(ランダム・アクセス・メモリ)である。また不揮発性メモリ303は、ドローン110を制御するプログラムと、プログラムが使用するデータを格納する記憶デバイスである。不揮発性メモリ303は、例えばフラッシュメモリやEEPROM(Electrically Erasable Programmable Read-Only Memory)である。ドローン110の設定情報等のように、電源OFF状態でも保持する必要があるデータは、不揮発性メモリ303に格納される。電源部306のON操作によって、CPU301は不揮発性メモリ303から制御プログラムを読み込み、ドローン110の制御を開始する。
操作部304は、ユーザが操作に使用するボタンやダイヤル、スイッチ等を備える。例えば、ユーザは電源部306のON/OFF設定を行う際に操作部304を使用する。表示部305は、例えば、発光ダイオード(LED)とそれをコントロールするドライバユニットで構成される。表示部305はCPU301の制御下で、ドローン110の状態表示を行う。電源部306はドローン110の動作に必要な電力を各部に供給する。電源部306は充電可能な二次電池からなるバッテリを有し、ユーザは図示しない外部のバッテリ充電器により充電可能である。
クレイドル111は、デジタルカメラ112を装着するためのインターフェース部であり、撮像制御を行う。クレイドル111は、デジタルカメラ112とUSB(Universal Serial Bus)等で接続され、CPU301からの制御信号に基づき、デジタルカメラ112を制御する。本実施形態では、デジタルカメラ112の光軸が、ドローン110の正面方向となるように設置される。デジタルカメラ112は、撮像光学系を通して被写体からの光を受光し、光像信号を画像信号に光電変換して画像データを取得する。デジタルカメラ112はSDメモリカードやコンパクトフラッシュ(登録商標)カード等を装着可能であり、取得した画像データをメモリに保存する。CPU301は、クレイドル111を介してデジタルカメラ112を制御して撮像動作を実行し、撮像された画像のデータを取得することができる。
無線通信部309は外部装置との間で、例えば無線LAN(Local Area Network)や携帯電話回線等を介して無線通信するための通信モジュールである。CPU301はデジタルカメラ112が撮像した画像データを取得し、無線通信部309を制御することで外部装置に送信する。外部装置とは、例えば被写体人物100が所持するスマートフォン等の通信端末装置である。これにより被写体人物100は遠隔にて、撮像された画像データを確認可能である。
モータ310は、ロータ200に接続された回転駆動部であり、CPU301からの制御信号にしたがって回転する。図2に示すロータ200a〜200dにそれぞれ対応するモータ310があり、いずれも独立して回転制御が可能である。
ジャイロスコープ312はドローン110の姿勢検出を行い、ドローン110の回転運動の角速度と、鉛直方向に対する傾きを検出する。ジャイロスコープ312は、ピッチ、ヨー、ロールの各方向にて3軸の回転をそれぞれ検出可能であり、後述する加速度センサ315と共に使用される。図2においてy軸方向を鉛直方向とし、y軸に直交する2軸をx軸およびz軸と定義する。y軸まわりの方向がヨー方向であり、x軸まわりの方向がピッチ方向であり、z軸まわりの方向がロール方向である。ジャイロスコープ312による3軸の検出信号は、ドローン110の飛行姿勢制御や、飛行中の外力検出時の緊急飛行停止に使用される。
加速度センサ315は、ドローン110が外部から受ける力による直線的な加速度(並進運動の加速度)を検出する。加速度センサ315は、互いに直交するx軸、y軸、z軸(図2参照)の各方向にかかる3軸の加速度をそれぞれ検出可能であり、ジャイロスコープ312と共に使用される。加速度センサ315の検出信号は、ドローン110が自由落下状態になった場合の検出と、ドローン110が被写体人物100によって押された時の、力の向きおよび大きさの検出に用いられる。
高度検出部313は、ドローン110の飛行高度を検出する。例えば、超音波センサが使用される。超音波センサは、送波器により超音波を対象物に向け発信し、その反射波を受波器で受信する。超音波の発信から受信までに要した時間と音速に基づく演算によって、対象物の有無や対象物までの距離を検出することができる。つまり、超音波センサは、ドローン110の下部にて地面方向に向けて配設され、超音波を地面方向に向けて発信し、その反射波を計測することによって飛行高度を検出する。
位置検出部314はドローン110の位置情報を検出する。ドローン110が被写体人物100によって押されたときの位置情報を取得することができる。位置検出部314は、例えばGPS(Global Positioning System)を利用した測位装置である。顔画像認識部316は、デジタルカメラ112により撮像された画像内において被写体の顔画像を認識する画像処理を行う。
次に、図4のフローチャートを参照して、本実施形態におけるドローン110の動作について説明する。被写体人物100が操作部304により、電源部306をON操作した時点から、以下の処理が開始する。電源投入後にCPU301は、クレイドル111を介してデジタルカメラ112の電源をON状態にする。
S401でCPU301は、ジャイロスコープ312および加速度センサ315の検出信号を取得して、ドローン110の自由落下を検出する。被写体人物100がドローン110から手を放すことによって自由落下が検出されたか否かについて判定が行われる。具体的には、CPU301は、まず加速度センサ315が検出した3軸方向の加速度から、ジャイロスコープ312が検出した角速度成分を除去する。さらにCPU301はジャイロスコープ312で検出された鉛直方向に対する傾きの検出情報を用いることによって、3軸方向の加速度から鉛直方向の加速度を算出する。算出された鉛直方向の加速度と、重力加速度とが一定時間(判定用時間)以上に亘って一致した場合、自由落下を検出したことが判定され、S402に進む。自由落下が検出されない場合にはS401の判定処理が繰り返される。
S402でCPU301は、モータ310を駆動制御してロータ200を回転させ、飛行を開始させる。このとき、CPU301は、高度検出部313が検出した高度を一定に保つ制御を行う。つまり、加速度センサ315が検出した風による流れや、ジャイロスコープ312が検出した機体の傾きを打ち消し、ドローン110の飛行姿勢と位置を一定に保つように飛行の制御が行われる。次のS403にてCPU301は、位置検出部314から現在の位置情報を取得してメモリ302に記憶する。S404でCPU301は、クレイドル111を介してデジタルカメラ112が撮像した画像を取得し、また顔画像認識部316を介して画像内に被写体の顔画像が認識できるか探索する。
S405でCPU301は、S404にて顔画像を認識できたかどうかについて判定する。顔画像が認識できなかった場合、S406に進む。一方、顔画像が認識できた場合、S407に進む。S406でCPU301は制御モードを所定の飛行モード(以下、普通モードという)に切り替える。普通モードでは、例えばデジタルカメラ112で周辺を探索しながら撮影が行われる。S406の切り替え後に処理を終える。また、S407でCPU301は、高度検出部313が検出した現在の高度情報を取得してメモリ302に記憶する。
S408でCPU301は、ジャイロスコープ312と加速度センサ315の各検出信号を取得し、被写体人物100がドローン110を押したかどうかについて判定する。具体的には、CPU301は、まず加速度センサ315が検出した3軸方向の加速度から、ジャイロスコープ312が検出した角速度成分を除去する。CPU301は角速度成分を除去した後の3軸方向の加速度が、S402で抑制している風等の影響による加速度の増減に対して、所定の閾値以上であるかどうかを判定する。角速度成分を除去した後の3軸方向の加速度が閾値以上である場合には、外力が検出されたことが判定され、S409に処理を進める。角速度成分を除去した後の3軸方向の加速度が閾値未満である場合には、風等の影響であって、外力が検出されていないと判定される。この場合、S402と同様にCPU301は、複数のモータ310を制御して重力に抗する推力を発生させて、ドローン110の飛行姿勢と位置を一定に保つように制御する。外力が検出されるまで、S408の判定処理が繰り返される。
S409でCPU301は、S408で検出された3軸方向におけるそれぞれの加速度をメモリ302に記憶する。S410でCPU301は、S409にてメモリ302に記憶した加速度から、飛行方向と飛行距離を算出する。図2において、ドローン110の飛行方向の水平面(x−z平面)上でのx−z軸方向の加速度成分は、x軸方向の加速度とz軸方向の加速度との内積と同一とする。飛行方向はドローン110が押された方向であり、飛行の向きは外力の向きに一致する。また、鉛直方向(y軸方向)の加速度成分はゼロとし、ドローン110はS407でメモリ302に記憶された高度を維持する。飛行距離については、運動ベクトルの強さ(大きさ)が大きいほど長くなるように算出される。本実施形態では、運動ベクトルの強さを「強」、「中」、「弱」の三段階に量子化し、離散的な飛行距離として、「強」ではL3、「中」ではL2、「弱」ではL1とする(L3>L2>L1)。あるいは量子化による段階的な設定ではなく、運動ベクトルの強さに比例して線形的に飛行距離を増加させる設定でもよい。
S411でCPU301は、S410にて算出した飛行方向および飛行距離にしたがってモータ310を駆動制御して、ドローン110を飛行させる。ドローン110は飛行距離での移動後にホバリング状態(静止状態)となる。つまりCPU301は、複数のモータ310を制御して重力に抗する推力を発生させて、移動後のドローン110の位置を維持する制御を行う。次のS415でCPU301は、クレイドル111を介してデジタルカメラ112で撮像した画像を取得するとともに、顔画像認識部316を介して画像内に被写体の顔画像が認識できるか探索する。S416でCPU301は、被写体の顔画像を認識できたかどうかについて判定する。顔画像が認識できなかった場合、S413に進む。一方、顔画像が認識できた場合、S412に進む。
S412でCPU301は、クレイドル111を介してデジタルカメラ112を制御し、撮影を行う。このとき、CPU301は表示部305を制御し、撮影中であることを被写体人物100に通知する。例えばLEDを点滅させることで、被写体人物100に撮影タイミングを通知することができる。また、CPU301はクレイドル111を介して撮影後の画像データを取得し、無線通信部309を介して被写体人物100の所持するスマートフォン等の通信端末装置に送信する。
S413でCPU301は、S403にてメモリ302に記憶した位置情報の示す位置に向けてドローン110を帰還させるために、モータ310を駆動制御する。S411での飛行距離に対して、S403で記憶した位置情報の精度が十分でない場合にCPU301は、S410で算出した飛行距離と飛行方向の情報から、飛行開始位置を算出する。S414でCPU301は、高度検出部313が検出する飛行高度を監視しながら、モータ310を駆動制御して、ドローン110を静かに着陸させる。CPU301はモータ310の回転停止制御により、ロータ200を停止させる。ドローン110の飛行が停止して処理を終える。
本実施形態では、駆動部の制御により移動の位置および方向を調節可能な自律型無人機に対して、ユーザは遠隔制御装置を用いて指示する必要がない。すなわち、外力を検出し、外力の大きさおよび向きから移動距離および移動方向を決定することにより無人機を制御する方法を提供することができる。なお、本実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、本実施形態ではクレイドル111を介してデジタルカメラ112を制御する構成例を説明した。撮像装置および記憶媒体をドローン110の本体部が内蔵する構成でもよい。このことは後述の実施形態でも同じである。
[第2実施形態]
次に本発明の第2実施形態を説明する。本実施形態と第1実施形態との相違点に重点を置いて説明する。相違点は、顔画像の探索方法と、ドローンが飛行中に認識した顔画像を、撮像部の画角の中心に位置するように飛行する点である。本実施形態にて第1実施形態の場合と同様の構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略する。
次に本発明の第2実施形態を説明する。本実施形態と第1実施形態との相違点に重点を置いて説明する。相違点は、顔画像の探索方法と、ドローンが飛行中に認識した顔画像を、撮像部の画角の中心に位置するように飛行する点である。本実施形態にて第1実施形態の場合と同様の構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略する。
図5のフローチャートを参照して、本実施形態のドローン110の動作を説明する。第1実施形態にて説明した図4のS401から403、S405からS416の処理については詳細な説明を省略する。
S403の処理後、S501でCPU301は、クレイドル111を介してデジタルカメラ112で撮像した画像を取得し、顔画像認識部316を介して画像内に被写体の顔画像が認識できるか探索する。このとき、複数の顔画像が認識された場合、CPU301は、最も画角中心に近い顔画像を認識対象として設定する。つまり、複数の顔画像のうちで最も画角の中心に近い顔画像が、追跡対象の顔画像として選択される。次のS405にて画角内に顔画像が認識されないと判定された場合、S502に移行する。
S502でCPU301は、鉛直方向の軸(図2:y軸)を中心としてドローン110の姿勢を回転させる制御を行う。CPU301はモータ310を駆動制御し、ドローン110をその場でホバリングさせたまま、水平面内にて360度の角度で回転させる。次のS503でCPU301は顔画像認識部316が画角内に被写体の顔画像を認識できたかどうかを判定する。画角内に被写体の顔画像が認識できなかった場合、S406に進む。
一方、S503にて画角内に被写体の顔画像が認識できた場合、顔画像認識部316は、複数の顔画像のうちでドローン110からの距離が最も近い被写体の顔画像を追跡対象の顔画像として認識する。ドローン110から被写体までの距離情報については、デジタルカメラ112により取得される視差を有する画像データを用いて算出される。具体的には、撮像光学系の異なる瞳領域を通過した光束をそれぞれ受光して得られる瞳分割画像データの相関演算によって、距離マップを得る技術が使用される。デジタルカメラ112は撮像面位相差検出型の撮像素子を備え、二次元アレイ状に規則的な配列で配置された複数の画素部を有する。1つの画素部はマイクロレンズと複数の光電変換部とから構成される。マイクロレンズおよび複数の光電変換部は、撮像光学系の異なる瞳領域を通過する一対の光束を光学像としてそれぞれ結像させて、対をなす画像データを出力する。対をなす画像間の相関演算によってデフォーカス量が算出され、デフォーカス量の分布を表すデフォーカスマップが生成される。デフォーカス量から変換される被写体の距離情報を取得することができる。S503で追跡対象の顔画像が特定された場合、S407に進む。
S416で被写体の顔画像が認識されたと判定された場合、S504に処理を進める。S504でCPU301は、顔画像認識部316により認識された被写体の顔画像の位置が、画角の中心であるかどうかを判定する。顔画像の位置が画角の中心である場合、S412に進む。一方、顔画像の位置が画角の中心でない場合、S505に進む。
S505でCPU301は、顔画像の画角中心からのズレの方向とズレ量を算出する。CPU301は算出したズレの方向およびズレ量に応じて、それを打ち消す方向にモータ310を駆動制御し、被写体の顔画像が画角の中心に位置するようにドローン110の飛行を制御する。具体的には、顔画像の画角中心からのズレ量およびズレの方向に応じて、図2のy軸まわりの回転制御と、x軸まわりの回転制御が行われる。以下、右ねじ方向の回転を正方向の回転として説明する。顔画像が画角内で左方向にずれている場合、CPU301はモータ310の駆動制御を行い、y軸まわりに正方向の回転を加え、反対に、顔画像が画角内で右方向にずれている場合、y軸まわりに負方向の回転を加える。また、顔画像が画角内で上方向にずれている場合、CPU301はモータ310の駆動制御により、x軸まわりに正方向の回転を加え、反対に、顔画像が画角内で下方向にずれている場合、x軸まわりに負方向の回転を加える。画角内での顔画像の中心からのズレの方向が、上下方向と左右方向の両方である場合には、CPU301はx軸まわりの回転とy軸まわりの回転との合力の方向を回転方向として決定する。S505にて機体の飛行姿勢が補正された後、S412に処理を進める。
本実施形態によれば、追跡対象である被写体を特定し、当該被写体の顔画像が撮影時に画角の中心からずれてしまうことを防ぎ、または画角の中心からのズレ量を低減することができる。
110・・・ドローン
111・・・クレイドル
112・・・デジタルカメラ
111・・・クレイドル
112・・・デジタルカメラ
Claims (18)
- 移動の位置および方向を調節可能な無人機であって、
前記無人機の移動時および静止時に制御される駆動手段と、
前記無人機が受ける外力の大きさおよび向きを検出する検出手段と、
前記検出手段によって検出された前記外力の大きさから前記無人機の移動距離を決定するとともに、前記検出手段によって検出された前記外力の向きから前記無人機の移動方向を決定して、前記駆動手段を制御する制御手段を有することを特徴とする無人機。 - 前記制御手段は、前記検出手段により検出される前記外力の大きさが大きい場合の前記移動距離を、前記外力の大きさが小さい場合の前記移動距離に比べて長くすることを特徴とする請求項1に記載の無人機。
- 前記制御手段は、前記検出手段により検出される前記外力の大きさが大きくなるにしたがい、前記移動距離を段階的に長くすることを特徴とする請求項2に記載の無人機。
- 前記制御手段は、前記検出手段により検出される前記外力の大きさに比例して、前記移動距離を長くすることを特徴とする請求項2に記載の無人機。
- 前記検出手段は、前記無人機の回転運動の角速度および並進運動の加速度を検出するセンサを備え、
前記駆動手段は、異なる方向に回転する複数のロータと、前記複数のロータをそれぞれ駆動する複数のモータを備え、
前記制御手段は、前記角速度および加速度の検出信号を取得し、前記モータの制御により前記ロータの回転数を制御することで前記無人機の移動および姿勢を制御することを特徴とする請求項1から4のいずれか1項に記載の無人機。 - 前記制御手段は、前記複数のロータの回転数の差を制御することにより、前記移動距離および移動方向で前記無人機を移動させる制御を行うことを特徴とする請求項5に記載の無人機。
- 前記制御手段は、前記移動距離および移動方向で前記無人機を移動させる制御を行ってから、移動後の前記無人機の位置を維持する制御を行うことを特徴とする請求項6に記載の無人機。
- 前記制御手段は、前記無人機の位置を維持する制御を行っている状態で、前記検出手段によって前記外力が検出された場合、前記移動距離および移動方向を決定して前記駆動手段の制御により前記無人機を移動させることを特徴とする請求項6に記載の無人機。
- 前記制御手段は、前記無人機の位置を維持する制御を行っている状態で、前記検出手段によって前記外力が検出されない場合、前記無人機の位置および姿勢を一定に保つ制御を行うことを特徴とする請求項6に記載の無人機。
- 撮像手段をさらに有することを特徴とする請求項1から9のいずれか1項に記載の無人機。
- 前記無人機の位置情報を取得する取得手段をさらに有し、
前記制御手段は、前記検出手段が前記外力を検出した場合、前記取得手段が取得した位置情報を記憶する処理を行うことを特徴とする請求項10に記載の無人機。 - 前記制御手段は、前記撮像手段が撮像を行った後で、前記記憶された位置情報に対応する位置へ前記無人機を帰還させる制御を行うことを特徴とする請求項11に記載の無人機。
- 前記撮像手段により取得される画像から被写体の顔画像を認識する認識手段をさらに有し、
前記制御手段は、前記無人機の姿勢を制御することにより、前記認識手段により得られた前記被写体の顔画像の位置を前記撮像手段の画角の中心に位置させる制御を行うことを特徴とする請求項10から12のいずれか1項に記載の無人機。 - 前記認識手段は、画角内に複数の顔画像を認識した場合、前記複数の顔画像のうちで最も画角の中心に近い顔画像を、追跡対象の顔画像として認識することを特徴とする請求項13に記載の無人機。
- 前記制御手段は、前記認識手段が画角内に顔画像を認識しなかった場合、前記無人機の位置を維持した状態で鉛直方向の軸を中心として前記無人機の姿勢を回転させる制御を行うことを特徴とする請求項13に記載の無人機。
- 前記無人機の姿勢が鉛直方向の軸を中心として回転する間に前記認識手段が複数の顔画像を認識した場合、前記認識手段は、前記撮像手段により取得される視差を有する画像データから被写体の距離情報を算出し、前記複数の顔画像のうちで前記無人機からの距離が最も近い被写体の顔画像を追跡対象の顔画像として認識することを特徴とする請求項15に記載の無人機。
- 前記制御手段は、前記認識手段によって画角内に顔画像が認識され、かつ前記検出手段によって前記外力が検出された場合、前記移動距離および移動方向を決定して前記駆動手段の制御により前記無人機を移動させることを特徴とする請求項13から16のいずれか1項に記載の無人機。
- 移動時および静止時の駆動手段の制御により移動の位置および方向を調節可能な無人機にて制御手段が実行する制御方法であって、
検出手段により検出される、前記無人機が受ける外力の大きさおよび向きを取得するステップと、
前記外力の大きさから前記無人機の移動距離を決定するとともに、前記外力の向きから前記無人機の移動方向を決定するステップと、
決定された前記移動距離および移動方向にしたがって前記駆動手段を制御するステップを有することを特徴とする無人機の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015193079A JP2017065467A (ja) | 2015-09-30 | 2015-09-30 | 無人機およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015193079A JP2017065467A (ja) | 2015-09-30 | 2015-09-30 | 無人機およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017065467A true JP2017065467A (ja) | 2017-04-06 |
Family
ID=58493715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015193079A Pending JP2017065467A (ja) | 2015-09-30 | 2015-09-30 | 無人機およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017065467A (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107357307A (zh) * | 2017-07-05 | 2017-11-17 | 李奕铭 | 基于手掌识别的无人飞行器控制方法、控制装置和无人飞行器 |
WO2018190319A1 (ja) * | 2017-04-11 | 2018-10-18 | 日本化薬株式会社 | 飛行体および飛行体の制御方法 |
CN108681326A (zh) * | 2018-04-11 | 2018-10-19 | 杭州电子科技大学 | 一种新型操纵无人表演机的飞行控制设备 |
JP2018181014A (ja) * | 2017-04-14 | 2018-11-15 | 株式会社Ihi | 飛行体 |
JP2019043473A (ja) * | 2017-09-06 | 2019-03-22 | Kddi株式会社 | 飛行装置、管理装置、撮影制御方法、及び撮影制御プログラム |
CN109669468A (zh) * | 2017-10-17 | 2019-04-23 | 株式会社拓普康 | 测量装置、无人机及其控制装置、控制方法及控制用程序 |
JP2019077350A (ja) * | 2017-10-25 | 2019-05-23 | 株式会社菊池製作所 | 無人航空機、無人飛行機の落下判定装置及び落下判定方法 |
WO2019142227A1 (ja) * | 2018-01-16 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 移動体および移動体制御方法 |
WO2019227333A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳市大疆创新科技有限公司 | 集体照拍摄方法和装置 |
JP2020032903A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社Ihi | 飛行体 |
JP2020184769A (ja) * | 2017-09-06 | 2020-11-12 | Kddi株式会社 | 飛行装置、撮影制御方法、及び撮影制御プログラム |
WO2020233683A1 (zh) * | 2019-05-22 | 2020-11-26 | 深圳市道通智能航空技术有限公司 | 云台控制方法、装置、控制终端及飞行器系统 |
JP2021511241A (ja) * | 2018-01-08 | 2021-05-06 | 經緯航太科技股▲ふん▼有限公司GEOSAT Aerospace & Technology Inc. | 無人航空機の発射方法およびシステム |
CN114489103A (zh) * | 2022-01-21 | 2022-05-13 | 西南交通大学 | 一种耦合单轴云台的手机无人机及控制方法 |
US11489355B2 (en) | 2017-09-04 | 2022-11-01 | Envision Aesc Energy Devices Ltd. | Battery pack, control device, control method, and program |
JP7176068B1 (ja) | 2021-08-24 | 2022-11-21 | 楽天グループ株式会社 | 飛行制御システム、飛行制御方法、及び無人飛行体 |
US11648672B2 (en) | 2018-01-16 | 2023-05-16 | Sony Interactive Entertainment Inc. | Information processing device and image generation method |
WO2023141989A1 (zh) * | 2022-01-28 | 2023-08-03 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备及存储介质 |
US11780084B2 (en) | 2018-01-16 | 2023-10-10 | Sony Interactive Entertainment Inc. | Robotic device, control method for robotic device, and program |
CN116853557A (zh) * | 2023-09-01 | 2023-10-10 | 中储粮成都储藏研究院有限公司 | 粮仓自动巡检无人机及方法 |
-
2015
- 2015-09-30 JP JP2015193079A patent/JP2017065467A/ja active Pending
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018190319A1 (ja) * | 2017-04-11 | 2018-10-18 | 日本化薬株式会社 | 飛行体および飛行体の制御方法 |
JPWO2018190319A1 (ja) * | 2017-04-11 | 2020-03-05 | 日本化薬株式会社 | 飛行体および飛行体の制御方法 |
JP7046923B2 (ja) | 2017-04-11 | 2022-04-04 | 日本化薬株式会社 | 飛行体および飛行体の制御方法 |
JP2018181014A (ja) * | 2017-04-14 | 2018-11-15 | 株式会社Ihi | 飛行体 |
CN107357307A (zh) * | 2017-07-05 | 2017-11-17 | 李奕铭 | 基于手掌识别的无人飞行器控制方法、控制装置和无人飞行器 |
US11489355B2 (en) | 2017-09-04 | 2022-11-01 | Envision Aesc Energy Devices Ltd. | Battery pack, control device, control method, and program |
JP2019043473A (ja) * | 2017-09-06 | 2019-03-22 | Kddi株式会社 | 飛行装置、管理装置、撮影制御方法、及び撮影制御プログラム |
JP2020184769A (ja) * | 2017-09-06 | 2020-11-12 | Kddi株式会社 | 飛行装置、撮影制御方法、及び撮影制御プログラム |
CN109669468A (zh) * | 2017-10-17 | 2019-04-23 | 株式会社拓普康 | 测量装置、无人机及其控制装置、控制方法及控制用程序 |
JP2019077350A (ja) * | 2017-10-25 | 2019-05-23 | 株式会社菊池製作所 | 無人航空機、無人飛行機の落下判定装置及び落下判定方法 |
JP2021511241A (ja) * | 2018-01-08 | 2021-05-06 | 經緯航太科技股▲ふん▼有限公司GEOSAT Aerospace & Technology Inc. | 無人航空機の発射方法およびシステム |
JP7266607B2 (ja) | 2018-01-08 | 2023-04-28 | 經緯航太科技股▲ふん▼有限公司 | 無人航空機の発射方法およびシステム |
WO2019142227A1 (ja) * | 2018-01-16 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 移動体および移動体制御方法 |
US11780084B2 (en) | 2018-01-16 | 2023-10-10 | Sony Interactive Entertainment Inc. | Robotic device, control method for robotic device, and program |
US11733705B2 (en) | 2018-01-16 | 2023-08-22 | Sony Interactive Entertainment Inc. | Moving body and moving body control method |
US11648672B2 (en) | 2018-01-16 | 2023-05-16 | Sony Interactive Entertainment Inc. | Information processing device and image generation method |
CN108681326A (zh) * | 2018-04-11 | 2018-10-19 | 杭州电子科技大学 | 一种新型操纵无人表演机的飞行控制设备 |
CN108681326B (zh) * | 2018-04-11 | 2024-01-16 | 杭州电子科技大学 | 一种新型操纵无人表演机的飞行控制设备 |
WO2019227333A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳市大疆创新科技有限公司 | 集体照拍摄方法和装置 |
JP2020032903A (ja) * | 2018-08-30 | 2020-03-05 | 株式会社Ihi | 飛行体 |
JP7119782B2 (ja) | 2018-08-30 | 2022-08-17 | 株式会社Ihi | 飛行体 |
US12069372B2 (en) | 2019-05-22 | 2024-08-20 | Autel Robotics Co., Ltd. | Gimbal control method and apparatus, control terminal and aircraft system |
WO2020233683A1 (zh) * | 2019-05-22 | 2020-11-26 | 深圳市道通智能航空技术有限公司 | 云台控制方法、装置、控制终端及飞行器系统 |
JP2023030963A (ja) * | 2021-08-24 | 2023-03-08 | 楽天グループ株式会社 | 飛行制御システム、飛行制御方法、及び無人飛行体 |
JP7176068B1 (ja) | 2021-08-24 | 2022-11-21 | 楽天グループ株式会社 | 飛行制御システム、飛行制御方法、及び無人飛行体 |
CN114489103B (zh) * | 2022-01-21 | 2023-09-08 | 西南交通大学 | 一种耦合单轴云台的手机无人机及控制方法 |
CN114489103A (zh) * | 2022-01-21 | 2022-05-13 | 西南交通大学 | 一种耦合单轴云台的手机无人机及控制方法 |
WO2023141989A1 (zh) * | 2022-01-28 | 2023-08-03 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备及存储介质 |
CN116853557A (zh) * | 2023-09-01 | 2023-10-10 | 中储粮成都储藏研究院有限公司 | 粮仓自动巡检无人机及方法 |
CN116853557B (zh) * | 2023-09-01 | 2023-11-24 | 中储粮成都储藏研究院有限公司 | 粮仓自动巡检无人机及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017065467A (ja) | 無人機およびその制御方法 | |
CN111596649B (zh) | 用于空中系统的单手远程控制设备 | |
US20250045949A1 (en) | Uav control method, device and uav | |
US11604479B2 (en) | Methods and system for vision-based landing | |
JP5618840B2 (ja) | 飛行体の飛行制御システム | |
US10447912B2 (en) | Systems, methods, and devices for setting camera parameters | |
JP5775632B2 (ja) | 飛行体の飛行制御システム | |
JP2014044067A (ja) | 写真測量用カメラ及び航空写真装置 | |
WO2018040006A1 (zh) | 控制方法、装置和系统、飞行器、载体及操纵装置 | |
JP6910785B2 (ja) | 移動撮像装置およびその制御方法、ならびに撮像装置およびその制御方法、無人機、プログラム、記憶媒体 | |
CN109032184B (zh) | 飞行器的飞行控制方法、装置、终端设备及飞行控制系统 | |
US20210165388A1 (en) | Gimbal rotation control method and apparatus, control device, and movable platform | |
WO2022126397A1 (zh) | 传感器的数据融合方法、设备及存储介质 | |
WO2021168819A1 (zh) | 无人机的返航控制方法和设备 | |
CN113079698A (zh) | 进行航空器的飞行控制的控制装置、及控制方法 | |
JP6269735B2 (ja) | 飛行装置、方法、及びプログラム | |
CN204287973U (zh) | 飞行相机 | |
CN105807783A (zh) | 飞行相机 | |
US20200410219A1 (en) | Moving object detection device, control device, movable body, moving object detection method and program | |
CN108778931B (zh) | 一种摄像装置的转动控制方法、控制设备以及飞行器 | |
WO2020237429A1 (zh) | 遥控设备的控制方法和遥控设备 | |
WO2020062255A1 (zh) | 拍摄控制方法和无人机 | |
JP2022095408A (ja) | 処理システム、飛行体、処理方法及びプログラム | |
KR20170004407A (ko) | 무인정찰시스템 및 무인정찰방법 | |
US20230296793A1 (en) | Motion-Based Calibration Of An Aerial Device |