JP6705886B2 - 監視 - Google Patents

Description

本発明の複数の実施形態は、シーンの監視に関する。特に、これら実施形態は、シーンの自動監視に関する。

背景

サーベイランスシステムなど現在の監視システムは、シーンから記録されたデータを記憶する、または記憶を可能にする、ハブに有線または無線で接続された、録音付きの、または録音無しの、ビデオ記録のためのカメラを１つ以上備え得る。一部の例においては、カメラおよび／またはハブのための設定をプログラムするために、操作者がハブを使用できる場合もある。

摘要

本開示の、必ずしも全ての例ではないが、さまざまな例によると、請求項１〜１４の何れか１項に記載の方法が提供される。

本開示の、必ずしも全ての例ではないが、さまざまな例によると、請求項１５又は１７に記載の装置が提供される。

本開示の、必ずしも全ての例ではないが、さまざまな例によると、処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１〜１４の何れか１項に記載の方法を遂行させるように構成される、装置が提供される。

本開示の、必ずしも全ての例ではないが、さまざまな例によると、少なくとも１つのプロセッサによって実行されると、請求項１〜１４の少なくとも１項に記載の方法を実施させるコンピュータプログラムコードが提供される。

本開示の、必ずしも全ての例ではないが、さまざまな例によると、装置の処理手段に実行されると、前記装置に、請求項１〜１４の何れか１項に記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラムが提供される。

本開示の、必ずしも全ての例ではないが、さまざまな例によると、
対応する監視空間内にコンピュータによって実装される仮想境界の形状および位置を少なくとも部分的に画定するために、第１の可動クラフトを被監視シーン空間内に位置決めすることと、
被監視シーン空間に対応する監視空間内にコンピュータによって実装される仮想境界を構築することと、
対応する監視空間内にコンピュータによって実装された仮想境界に対して被監視シーン空間の少なくとも一部に発生した変化への応答として応答イベントの発生を可能にするために、被監視シーン空間の複数のセンサからの受信データを処理することと、
第１の可動クラフトから第２の可動クラフトへのハンドオーバを認識することと、対応する監視空間内にコンピュータによって構築される新しい仮想境界を少なくとも部分的に画定するために、被監視シーン空間内に第２の可動クラフトを位置決めすることと、
対応する監視空間内にコンピュータによって構築された新しい仮想境界に対して被監視シーン空間の少なくとも一部に発生した変化への応答として応答イベントの発生を可能にするために、被監視シーン空間の複数のセンサからの受信データを処理することと、
を含む方法が提供される。

本発明の、必ずしも全ての実施形態ではないが、さまざまな実施形態によると、添付の特許請求の範囲に記載されている例が提供される。

この簡単な説明を理解するために有用なさまざまな例のより深い理解のために、以下においては、添付の図面を単なる例として参照する。

システムの一例を模式的に示す。 ステートマシンの一例を示す。 処理モジュールの一例を示す。 コンピュータプログラムのための配信機構の一例を示す。 可動クラフトの一例を示す。 図６Ａ〜図６Ｄはシステムの動作を示す。 図７Ａ〜図７Ｃは、可動クラフトを用いて行われるコンピュータによって実装される仮想境界の画定／再画定を示す。 図８Ａ〜図８Ｃは、可動クラフト間のハンドオーバを用いて行われるコンピュータによって実装される仮想境界の画定を示す。 方法の一例を示す。

定義

本明細書において、用語「移動（ｍａｎｅｕｖｅｒ）」は、１つの可動クラフトに関連して名詞として使用されるときは、可動クラフトの位置の経時的変化を指し、複数の可動クラフトに関連して名詞として使用されるときは、一時点におけるそれぞれの相対位置、または１つ以上の可動クラフトの継時的位置または相対位置、を指す。一組の空間座標が特定の時刻における一位置を規定すると考える場合、移動は、空間内にそれぞれ異なる位置を画定する１つ以上の可動クラフトのためのそれぞれ異なる複数組の空間座標によって規定される。用語「移動」は、動詞または形容詞として使用されるときは、移動の実施を指す。

本明細書において、「可動クラフト（ｍｏｖａｂｌｅ ｃｒａｆｔ）」は、乗り物、車両、または他の輸送手段である。本明細書において、「被監視シーン空間（ｍｏｎｉｔｏｒｅｄ ｓｃｅｎｅ ｓｐａｃｅ）」、または「シーン空間（ｓｃｅｎｅ ｓｐａｃｅ）」、または「シーン（ｓｃｅｎｅ）」は、監視される三次元空間である。

本明細書において、「監視空間（ｍｏｎｉｔｏｒｉｎｇ ｓｐａｃｅ）」は、被監視シーン空間に対応する仮想三次元空間であり、その中にコンピュータによって実装される仮想境界が画定される。

本明細書において、「コンピュータによって実装される仮想境界（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ ｖｉｒｔｕａｌ ｂｏｕｎｄａｒｙ）」は、コンピュータによって構築される仮想空間である監視空間内の境界である。

本明細書において、「イベント（ｅｖｅｎｔ）」は出来事である。

本明細書において、「応答イベント（ｒｅｓｐｏｎｓｅ ｅｖｅｎｔ）」は、被監視シーン空間内で検出された変化への応答として生成される出来事である。

詳細説明

記載のシステム１００は、少なくとも１つのシーン１４０を監視するシステムである。シーン１４０は、イベントが発生し得る空間である。したがって、シーン１４０は、被監視シーン空間１４０とも称され得る。システム１００の動作は、被監視シーン空間１４０内を移動する１つ以上の可動クラフトによって制御可能である。例えば、１つ以上の可動クラフトは、システム１００によって監視される、コンピュータによって実装される仮想境界１４４を少なくとも１つ画定できる。

図１は、システム１００を模式的に示す。システム１００は、シーン１４０からのセンサデータ１１２を記録するべく構成された１つ以上のセンサ１１０と、シーン１４０内で発生したイベントを自動的に認識し、この認識の結果として自動的に決定を下すために、シーン１４０から記録されたセンサデータ１１２を処理するべく構成された処理モジュール１２０と、処理モジュール１２０によって通信の実施が決定されたときに通信を行うべく構成された通信モジュール１３０とを備える。

認識されるイベントの必ずしも全てではないが、一部のイベントは、シーン１４０内の物体１５２または特定の物体１５２に関連し得る。物体は、シーン１４０内の無生物、動物、人間、また特定の人間であり得る。システム１００の必ずしも全ての例ではないが一部の例において、システム１００はリアルタイム認識システムであり、自動認識および決定は、行われる場合、センサデータ１１２の記録とほぼ同時に行われる。

システム１００は、例えばシーン１４０内からの、ユーザによる監視の制御を可能にし得る。システム１００は、認識および／または認識結果のユーザによる制御を、例えば、シーン内のユーザまたは他の制御物体１５０の動きを介して、可能にし得る。制御物体１５０は、シーン１４０内の人間の一部、または人間によって所持されている物体、であり得る、またはシーン１４０内の可動クラフト２００であり得る。

実施されるアクションの例は、警報または通知の発生であり得る。

必ずしも全ての例ではないが一部の例において、システム１００はいくつかの個別装置を備え得る。例えば、複数のセンサ１１０は１つ以上の別々の装置に収容され得る、処理モジュール１２０は１つ以上の装置に収容され得る、通信モジュール１３０は１つ以上の装置に収容され得る。システム１００の１つ以上の構成要素がそれぞれ個別の装置に収容される場合、これら装置は互いに近接しているか、または遠隔であり得る。これら装置が互いに遠隔である場合、これら装置は、例えばネットワーク経由で、通信し得る。

必ずしも全ての例ではないが一部の例において、システム１００は単一の装置に収容され得る。

センサ１１０は、シーン１４０からのセンサデータ１１２を記録するべく、または記録を可能にするべく、構成される。

シーン１４０は、例えば静止物体など、例えば相対位置が固定されている、静止している構成要素を複数備え得る。これら静止物体は、シーンの三次元空間（シーン空間）内にそれぞれ異なる静止位置を有する。シーン１４０は、例えば可動物体など、動いている構成要素を含み得る。可動物体は、時間の経過に伴いシーン空間内で異なる複数の位置を有する。複数の異なるセンサデータ１１２または複数の異なる時点に関連しての「シーン」への言及は、感知されるシーン１４０のこれら静止している構成要素の継続を意味するが、動的構成要素の一部または全ての継続を必ずしも意味するとは限らない。ただし、これは発生し得る。

センサデータ１１２の記録は、一時記録のみを含み得る、または永久記録を含み得る、または一時記録と永久記録の両方を含み得る。一時記録は、データを一時的に記録することを意味する。これは、例えば、感知中に起こり得る、ダイナミックメモリで起こり得る、またはサーキュラバッファなどのバッファ、レジスタ、キャッシュなどで起こり得る。永久記録は、アドレス指定可能なメモリ空間からのデータの取り出しが可能なアドレス指定可能なデータ構造の形態であり、したがって、削除または上書きされるまで記憶および検索が可能であることを意味する。ただし、長期記憶が行われる場合も、行われない場合もあり得る。

センサ１１０は音波および／または光波などの伝搬波を電気信号に変換してシーン１４０からの伝搬波データをセンサデータ１１２として符号化するべく構成され得る。

必ずしも全ての例ではないが一部の例において、これらセンサ１１０のうちの１つ以上は、シーン空間１４０に対して空間的に固定される。他の複数の例において、これらの例は同じか、または異なる例であり得るが、これらセンサ１１０のうちの１つ以上は、シーン空間１４０に対して移動可能であるか、移動している。例えば、これらセンサ１１０のうちの１つ以上は、１つ以上の可動クラフト２００のうちの一部または全ての一部であり得る、または１つ以上の可動クラフト２００の何れの一部でもあり得ない。

必ずしも全ての実施形態ではないが、一部の実施形態において、これらセンサ１１０は画像センサ１１４であるか、または画像センサ１１４を備える。画像センサ１１４の一例は、カメラとして動作するべく構成されたデジタル画像センサである。このようなカメラは、静止画像および／または動画像を記録するために作動され得る。

必ずしも全ての実施形態ではないが、一部の実施形態においては、シーン１４０が複数の異なる視点から眺められるように、カメラは、立体または他の空間的に分散された配置で構成され得る。これは、例えば視差効果によって、奥行きを構築するために、三次元画像の作成および／または処理を可能にし得る。

必ずしも全ての実施形態ではないが、一部の実施形態において、センサ１１０はオーディオセンサ１１６であるか、またはオーディオセンサ１１６を備える。オーディオセンサ１１６の一例は、１つ以上のマイクロフォンである。シーン１４０が複数の異なる視点からサンプリングされるように、複数のマイクロフォンがマイクロフォンアレイなど、立体または他の空間的に分散された配置で構成され得る。これは、シーン１４０内のオーディオの位置決めを可能にする三次元空間オーディオ処理を可能にし得る。

必ずしも全ての実施形態ではないが、一部の実施形態において、これらセンサは、奥行きセンサ１１８であるか、または奥行きセンサ１１８を備える。奥行きセンサ１１８は、送信機と受信機とを備え得る。送信機は、信号（例えば、人間が感知できない超音波または赤外線などの信号）を送信し、受信機は反射された信号を受信する。単一の送信機と単一の受信機との使用により、送信から受信までの飛翔時間の測定によって一部の奥行き情報を取得し得る。より多くの送信機および／またはより多くの受信機を用いることによって、より良好な分解能が実現され得る（空間ダイバーシティ）。１つの例において、送信機は、シーン１４０を光で、好ましくは赤外線などの不可視光で、空間的に依存するパターンで、「ペイント」するべく構成される。受信機による特定パターンの検出は、シーン１４０の空間分解を可能にする。シーン１４０の空間分解された部分までの距離は、飛行時間および／または立体視（受信機が送信機に対して立体位置にある場合）によって求められ得る。

これら「受動的」または「非能動的」な奥行き感知の例は受動的であり、送信機から送出された入射光または音波を反射するのみである。ただし、被感知物体における活動（ａｃｔｉｖｉｔｙ）を必要とする「能動的な（ａｃｔｉｖｅ）」例が、加えて、または代わりに、使用され得る。

必ずしも全ての例ではないが、図示の例において、処理モジュール１２０は、メモリサブモジュール１２２と、処理サブモジュール１２４と、認識サブモジュール１２６と、制御サブモジュール１２８とを備える。これら「モジュール」はそれぞれ別個に説明および図示されているが、それぞれ個別である必要はなく、異なる組み合わせで組み合わされてもよい。例えば、処理サブモジュール１２４、認識サブモジュール１２６、および制御サブモジュール１２８は、同じ回路によって、または同じコンピュータプログラムの制御下で、実施され得る。あるいは、処理サブモジュール１２４、認識サブモジュール１２６、および制御サブモジュール１２８のうちの１つ以上が専用回路または専用コンピュータプログラムによって実施され得る。これらサブモジュールは、ソフトウェア、専用ハードウェア、またはプログラムされたハードウェアとソフトウェアとの混合を用いて実施され得る。

メモリサブモジュール１２２は、未処理のセンサデータおよび／または処理済みのセンサデータ１１２（シーンデータ）、コンピュータプログラム、シーン空間モデル、および処理モジュール１２０によって使用される他のデータを記憶するために使用され得るが、他のサブモジュールはそれぞれ独自のメモリを有し得る。

処理サブモジュール１２４は、シーン１４０に関して有意なシーンデータを決定するために、センサデータ１１２を処理するべく構成され得る。

センサデータ１１０が１つ以上のカメラ１１４からの画像データを含む場合、処理サブモジュール１２４は、画像処理を実施するべく構成され得る。センサデータ１１０が１つ以上のマイクロフォン１１６からのオーディオデータを含む場合、処理サブモジュール１２４は、オーディオ処理を実施するべく構成され得る。

処理サブモジュール１２４は、シーン１４０のために潜在的な意味を有するシーンデータを作成するために、センサデータ１１２を用いて以下のタスクのうちの１つ以上を自動的に実施するべく構成され得る。
以下の１つ以上を実施するために、マシン（コンピュータ）ビジョンの使用。
（動いている、または静止している）物体または人間の検出、
（動いている、または静止している）物体または人間の分類、および／または
（動いている、または静止している）物体または人間の追跡。
以下の１つ以上を実施するために、空間分析の使用。
奥行き判定を用いてシーン空間内の（動いている、または静止している）物体の位置決め、および／または、
シーン空間の地図の作成、および／または
シーン１４０で発生したイベントを潜在的に有意なシンボルとして記述するために、挙動解析の使用。

画像処理の一例は、一画像のための強度勾配またはエッジ方向の分布を作成する「勾配特徴のヒストグラム（ｈｉｓｔｏｇｒａｍ ｏｆ ｇｒａｄｉｅｎｔ ｆｅａｔｕｒｅｓ）」分析である。画像は、接続された複数の小さな領域（セル）に分割され得る。各セルについて、勾配方向またはエッジ方位のヒストグラムがセル内の各ピクセルに対して作成される。この場合、これらヒストグラムの組み合わせは、記述子を表す。

オーディオ処理の一例は、「メル周波数ケプストラル係数（ｍｅｌ−ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ）」の決定、例えばオーディオビーム形成手法を用いた、空間オーディオ処理、オーディオイベント認識または分類、スピーカ認識または検証、または音声認識である。

動きの検出は、例えば、背景モデルに対する差異化（背景差分（ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ））、または先行画像に対する差異化（フレーム間差分（ｔｅｍｐｏｒａｌ ｄｉｆｆｅｒｅｎｃｉｎｇ））、を用いて、またはベクトルベースのアプローチを用いたオプティカルフロー解析など他のいくつかのアプローチを用いて、実現され得る。

物体の分類は、例えば、形状に基づく分析、および／または動きに基づく分析、を用いて実現され得る。

人間の分類は、物体が人間であるという分類、または物体が特定の人間であるという分類（識別）であり得る。識別は、１組の候補者のうちの１人を一意に識別する属性または属性の組み合わせを用いて実現され得る。属性の例として、それぞれの顔またはそれぞれの声、それぞれの形状およびサイズ、それぞれの挙動など、１人の人間に固有である、または固有であり得る、生体認証学的特徴が挙げられる。

物体の追跡は、物体にラベル付けし、ラベル付けされた物体のシーン１４０内の位置を記録することによって実現され得る。このアルゴリズムは、シーン１４０への物体の入場、シーン１４０からの物体の退出、シーン１４０への物体の再入場、物体の隠蔽、物体のマージのうちの１つ以上のイベントを扱う必要があり得る。これらイベントの扱い方は、当該技術分野において公知である。

物体の追跡は、物体または人間が何時変化したかを判定するために使用され得る。例えば、大きなマクロスケールでの物体の追跡は、物体と共に移動する基準フレームの作成を可能にする。この場合、基準フレームは、当該物体に対するフレーム間差分を用いることによって、経時的に展開する物体の形状変化を追跡するために使用可能である。これは、ジェスチャ、手の動き、顔の動きなどの人間の小規模な動きを検出するために使用可能である。これらは、ユーザに関する、シーンに依存しないユーザ（のみ）の動きである。

システムは、人間の身体に関連して複数の物体および／または点、例えば人体の１つ以上の関節、を追跡し得る。一部の例において、システム１００は、人体の全身骨格の追跡を実施し得る。

人体に関連する１つ以上の物体および／または点の追跡は、ジェスチャ認識等においてシステム１００によって使用され得る。

挙動解析は、シーン１４０で発生するイベントを有意なシンボル体系を用いて記述する必要がある。イベントは、一時空段階において発生する何かであり得る、または時空シーケンス（時間の経過に伴う時空段階パターン）であり得る。イベントは、物体（または人間）の動き、または人間と物体との相互作用、に関係し得る。

必ずしも全ての実施例ではないが、いくつかの実施例において、イベントは、マシン（コンピュータ）ビジョン分析および／または空間分析から求められるパラメータとして定義されるシンボル候補によって表され得る。これらパラメータは、何が起きているか、どこで起きているか、いつ起きているか、および誰がそれをしているか、のうちの１つ以上を符号化する。

認識サブモジュール１２６は、シンボル候補を認識し、シーン１４０内のイベントを特定の意味に対応付けられた有意なシンボルとして符号化するべく構成される。

認識サブモジュール１２６は、マシン（コンピュータ）ビジョン分析および／または空間分析から決定されたパラメータとして定義され、処理サブモジュール１２４によって生成されたシンボル候補を意味を有するものとして認識するべく構成され得る。認識サブモジュール１２６は、例えば、有意なリファレンス・シンボルのデータベースを格納し得る、またはこのデータベースにアクセスし得る、更には、シンボル候補が有意なシンボルに「類似（ｓｉｍｉｌａｒ）」しているかどうかを判定するために、類似度試験を使用し得る。

認識サブモジュール１２６は、マシン（コンピュータ）推論エンジン、またはパラメータ空間におけるクラスタリングまたは人工神経回路網などの他の認識エンジン、として構成され得る。認識サブモジュール１２６は、一部の例において、有意なシンボルをリファレンス・シンボルに類似していると認識するために、被監視学習によって訓練され得る。

制御サブモジュール１２８は、有意なイベントがシーン１４０内に発生したという判定に対して、以下のように、イベントに応じて応答する。

ａ）シンボル候補が応答シンボルに類似している場合、有意なイベントは「応答（ｒｅｓｐｏｎｓｅ）」イベントであり、制御サブモジュール１２６は応答アクションを実施する。

必ずしも全ての例ではないが一部の例において、実施されるアクションは、ユーザによってプログラムされ得る。必ずしも全ての例ではないが一部の例においては、シーン内のユーザまたは他の制御物体１５０の動きによって、プログラミングが発生し得る。実施されるアクションの例は、警報または通知の発生であり得る。

警報または通知は、通信モジュール１３０を介して提供され得る。通信モジュール１３０は、無線で、例えば電波で、または有線接続を介して、ローカルまたは遠隔装置に通信し得る。このような装置の例として、ディスプレイ、テレビ受像機、オーディオ出力装置、携帯電話機またはパーソナルコンピュータなどのパーソナルデバイス、プロジェクタ、または他のユーザ出力装置が挙げられるが、これらだけに限定されるものではない。

必ずしも全ての例ではないが一部の例において、応答シンボルはユーザによってプログラムされ得る。例えば、ユーザは、有意な応答シンボルによって表される有意なイベントをプログラムまたは教示可能であり得る。ユーザによって作成された応答シンボルは、リファレンス・シンボルのデータベースに追加され得る、またはシンボル候補を有意なシンボルとして認識するために別様に使用され得る。必ずしも全ての例ではないが一部の例において、プログラミングは、シーン１４０内のユーザの動きによって発生し得る。有意なシンボルによって表される有意なイベントの例として、ユーザによって入力されるジェスチャなど、実施される特定のアクションまたは動きを含む。

単一の人間によるアクション、または多くの人々による集合的アクション、が応答シンボルとして使用され得る。必ずしも全ての例ではないが一部の例において、特定のジェスチャによるユーザ入力またはジェスチャによるユーザ入力の集合が応答シンボルとして使用され得る。

ｂ）シンボル候補が制御シンボルに類似している場合、有意なイベントは「制御（ｃｏｎｔｒｏｌ）」イベントであり、制御サブモジュール１２６は、監視の制御および／または応答の制御を可能にする。

例えば、ユーザは、リファレンス・シンボルのデータベースに追加される有意な応答シンボルをプログラムまたは教示可能であり得る。必ずしも全ての例ではないが一部の例において、プログラミングは、シーン１４０内の制御物体１５０、例えばユーザまたは可動クラフト、の動きによって発生し得る。

例えば、ユーザは、シンボル候補が応答シンボルに一致したときに実施されるアクションをプログラムまたは教示可能であり得る。実施されるアクションの例は、警報または通知の発生であり得る。

処理モジュール１２０の動作は、処理モジュール１２０のためのステートマシン２０を示す図２から更に理解され得る。ステートマシン２０は、監視状態２１と、制御状態２２と、自動応答状態２３とを有する。

監視状態２１において、センサ１１０はセンサデータ１１２を提供し、処理サブモジュール１２４は、潜在的な意味を有するシーンデータを作成するために、センサデータ１１２（ビデオおよび／またはオーディオおよび／または奥行き）を自動的に処理する。認識サブモジュール１２６は、シーンデータ内の実際の意味、すなわち有意なシンボル、を識別するために、シーンデータを自動的に処理する。

有意なシンボルは事前に決定されている。すなわち、シンボルを決定するアクションが認識の前に発生している。ただし、「事前に決定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）」とは、正確または固定であることを意味するとみなされるべきではない。類似度マッチングのために使用されるシンボルは、単に事前の決定を有する、または動的に発展し得る、または固定され得る。

有意なイベントがシーン１４０で発生したと認識サブモジュール１２６が判定した場合、制御サブモジュール１２６はそのイベントに応じて自動的に応答する。有意なイベントが「応答」イベントであった場合、ステートマシン２０は応答状態２３に移行し、制御サブモジュール１２６は応答アクションを実施する。応答アクションは、応答イベントに対応付けられ得る。イベントが「制御」イベントであった場合、ステートマシン２０は、制御状態２２に移行し、監視および／または応答の制御が有効化される。この有効化は、制御状態２２に対応付けられた方法で行われ得る。

単一の人間によるアクション、または多くの人々による集合的アクションは、「制御」シンボルとして使用され得る。必ずしも全ての例ではないが一部の例において、特定のジェスチャによるユーザ入力は、制御シンボルとして使用され得る。

一部の例において、システム１００は、ジェスチャ認識において人体に関連して１つ以上の物体および／または点を追跡し得る。例えば、システム１００は、ジェスチャ認識において人体の全骨格追跡を実施し得る。

プロセッサモジュール１２０またはプロセッサモジュール１２０の一部の実装は、制御回路として行われ得る。制御回路１２０は、ハードウェアのみで実装され得る、またはファームウェアを含むソフトウェアの特定の側面のみを有し得る、またはハードウェアとソフトウェア（ファームウェアを含む）の組み合わせとすることができる。

図３に示されているように、制御装置１２０は、ハードウェア機能を可能にする複数の命令を使用して、例えば、コンピュータ可読記憶媒体（ディスク、メモリ、等々）上に記憶され得る、汎用または専用プロセッサ３１０によって実行される実行可能コンピュータプログラム命令３２２を汎用または専用プロセッサ３１０において使用することによって、実装され得る。

プロセッサ３１０は、メモリ３２０に対して読み出しおよび書き込みを行うべく構成される。プロセッサ３１０は、プロセッサ３１０がデータおよび／またはコマンドをそこから出力する出力インタフェースと、データおよび／またはコマンドがそこからプロセッサ３１０に入力される入力インタフェースとを更に備え得る。

メモリ３２０は、プロセッサ３１０に読み込まれると処理モジュール１２０の動作を制御するコンピュータプログラム命令（コンピュータプログラムコード）を含むコンピュータプログラム３２２を記憶する。コンピュータプログラム３２２のコンピュータプログラム命令は、各図を参照して説明されている方法を処理モジュールが実施できるようにするロジックおよびルーチンを提供する。プロセッサ３１０は、コンピュータプログラム３２２をメモリ３２０から読み出すことによって、コンピュータプログラム３２２の読み込みおよび実行を行える。

したがって、システム１００は、少なくとも１つのプロセッサ３１０と、コンピュータプログラムコード３２２を含む少なくとも１つのメモリ３２０とを備えた装置１２０であって、少なくとも１つのメモリ３２０およびコンピュータプログラムコード３２２は、少なくとも１つのプロセッサ３１０によって、装置１２０に図１のブロック１２４、１２６、１２８のうちの１つ以上、および／または図８のブロックのうちの１つ以上を少なくとも実施させるべく構成される、装置１２０を備え得る。

図４に示されているように、コンピュータプログラム３２２は、このような装置に、何れか適した配信機構３２４を介して、到達し得る。配信機構３２４は、例えば、非一時的コンピュータ可読記憶媒体、コンピュータプログラム製品、メモリ装置、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）などの記録媒体、コンピュータプログラム３２２を有形に具現化する製品であり得る。配信機構は、コンピュータプログラム３２２を確実に転送するべく構成された、変調された電磁波またはデジタル符号化された電気信号などの信号であり得る。装置１２０は、コンピュータプログラム３２２をコンピュータデータ信号として伝播または送信し得る。

メモリ３２０は単一の構成要素／回路として図示されているが、１つ以上の個別の構成要素／回路としても構築され得る。これら構成要素／回路の全てまたは一部は一体化／取り外し可能であり得る、および／または永久／半永久／ダイナミック／キャッシュ記憶を提供しる。

プロセッサ３１０は単一の構成要素／回路として図示されているが、１つ以上の個別の構成要素／回路としても構築され得る。これら構成要素／回路の全てまたは一部は、一体化／取り外し可能であり得る。プロセッサ３１０は、シングルコアまたはマルチコアプロセッサであり得る。

「コンピュータ可読記憶媒体（ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）」、「コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）」、「有形に具現化されたコンピュータプログラム（ｔａｎｇｉｂｌｙ ｅｍｂｏｄｉｅｄ ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）」等々、または「制御装置」、「コンピュータ」、「プロセッサ」等々への言及は、シングル／マルチプロセッサアーキテクチャおよび直列（フォン・ノイマン）／並列アーキテクチャなど複数の異なるアーキテクチャを有するコンピュータばかりでなく、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｃｉｒｃｕｉｔ）、信号処理デバイス、および他の処理回路など、特化された回路も包含することを理解されたい。コンピュータプログラム、命令、コード等々への言及は、プログラム可能プロセッサのためのソフトウェアまたはファームウェア、例えば、ハードウェアデバイスのプログラム可能コンテンツなどを、プロセッサ用の命令、あるいは固定機能デバイス、ゲートアレイ、またはプログラム可能論理デバイス、等々のための構成設定であるかどうかに拘らず、包含することを理解されたい。

本願明細書で使用される用語「回路（ｃｉｒｃｕｉｔｒｙ）」は、以下の全てを指す。
（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみでの実装）、および
（ｂ）（該当する場合）（ｉ）プロセッサ（単数または複数）の組み合わせ、または（ｉｉ）プロセッサ（単数または複数）／ソフトウェアの部分（携帯電話またはサーバなどの装置にさまざまな機能を実施させるために連携するデジタル信号プロセッサ（単数または複数）を含む）、ソフトウェア、およびメモリ（単数または複数）を含む）、など、回路とソフトウェア（および／またはファームウェア）との組み合わせ、および
（ｃ）ソフトウェアまたはファームウェアが物理的に存在しない場合でも、動作のためにソフトウェアまたはファームウェアを必要とする、マイクロプロセッサ（単数または複数）またはマイクロプロセッサ（単数または複数）の一部などの、回路。

「回路」のこの定義は、本願明細書における、更には何れの請求項においても、この用語の全ての使用に適用される。別の例として、本願明細書で使用される用語「回路」は、プロセッサ（または複数のプロセッサ）、またはプロセッサの一部、およびその（またはそれらの）付属のソフトウェアおよび／またはファームウェアのみの実装もカバーする。用語「回路」は、例えば、特定のクレーム要素に該当する場合は、ベースバンド集積回路、または携帯電話用のアプリケーションプロセッサ集積回路、またはサーバ、セルラーネットワークデバイス、または他のネットワークデバイス内の同様の集積回路もカバーすることになろう。

図１に示されているブロック１２４、１２６、１２８、および／または図９に示されている各ブロックは、一方法内のステップ、および／またはコンピュータプログラム３２２内のコードセクション、をそれぞれ表し得る。これらブロックの特定の順番の図は、これらブロックのために必要な、または好適な、順番が存在することを必ずしも意味するものではなく、これらブロックの順番および配置は可変であり得る。更に、一部のブロックを省略することも可能であり得る。

必ずしも全ての例ではないが一部の例において、制御物体１５０は、ユーザ、例えばシーン１４０内の人間１５０、であり得る。必ずしも全ての例ではないが一部の例において、これらの例は同じまたは異なる例であり得るが、制御物体１５０は１つ以上の可動クラフト２００であり得る。必ずしも全ての例ではないが一部の例において、可動クラフト２００は航空機であり得る。可動クラフト２００の一例は、「ドローン」である。ドローンは、操縦士のいない無線操縦式のクラフトである。航空機ドローンは、操縦士のいない無線操縦式の航空機である。

図５は、ドローン２００の一例を示す。必ずしも全ての例ではないが、この例において、ドローンは航空機ドローンである。航空機ドローン２００は、航空機ドローン２００を三次元内で移動させるための推進システム２０２を備える。

航空機ドローンの位置決めまたは再位置決めは、ユーザによって手動で、または音声制御によって、半自律的に、または自律的に、実施され得る。航空機ドローン２００の位置は、一部の例においては位置のみによって、他の例においては方位のみによって、および他の例においては位置と方位の両方によって、規定定され得る。したがって、必ずしも全てではないが一部の例において、航空機ドローンは、その三次元位置および／または三次元方位の変化に関して、自律的、半自律的、または完全なユーザ制御であり得る。

用語「全自律的（ｆｕｌｌｙ−ａｕｔｏｎｏｍｏｕｓ）」は、機能を記述するために使用されるときは、リアルタイムのユーザ入力を一切必要とせずに、事前に規定された規則に従って航空機が機能を実施できることを意味する。リアルタイム制御は、完全に規則に基づく。

用語「半自律的（ｓｅｍｉ−ａｕｔｏｎｏｍｏｕｓ）」は、機能を記述するために使用されるとき、航空機は、事前に規定された規則に従って機能を実施できるが、一部リアルタイムユーザ入力を更に必要とすることを意味する。このリアルタイム制御は、完全には規則に基づかず、完全にはユーザの制御下にもない。

用語「自律的（ａｕｔｏｎｏｍｏｕｓ）」は、「全自律的」と「半自律的」の両方を含む。或る特徴が「自律的」と記述されている場合、「全自律的」または「半自律的」であり得る。

航空機ドローン２００は、必要に応じて、自律的位置安定システム２０４を備え得る。自律的位置安定システム２０４は、航空機ドローン２００を特定の三次元位置に維持するために、推進システム２０２を制御する。維持される三次元位置は、例えば、地球に固定された座標系において規定された絶対位置であり得る。または、維持される三次元位置は、例えば、被監視シーン空間１４０内を、例えば被追跡物体１５２と共に、移動する座標系において規定される相対位置であり得る。被追跡物体１５２は、例えば、別の航空機ドローン２００であり得る。

航空機ドローン２００は、必要に応じて、自律的方位安定システム２０６を備え得る。自律的方位安定システム２０６は、航空機ドローン２００を特定の三次元方位に維持するために、推進システム２０２を制御する。維持される三次元方位は、例えば、地球に固定された座標系において規定される絶対方位であり得る。または、維持される三次元方位は、例えば、被監視シーン空間１４０内を、例えば被追跡物体１５２と共に、移動する座標系において規定される相対方位であり得る。被追跡物体１５２は、例えば、別の航空機ドローン２００であり得る。

航空機ドローン２００は、必要に応じて、システム１００の通信モジュール１３０との通信のための無線通信システム２０８を備え得る。

航空機ドローン２００は、必要に応じて、三次元における航空機ドローン２００の位置決めを、例えば衛星測位または他の何らかの測位技術によって、可能にするためのナビゲーションシステム２１０を備え得る。一部の例において、航空機ドローン２００の位置は、システム１００に伝達される。ナビゲーションシステム２１０は、航空機ドローン２００が追従するルートの計画を可能にし得る、および／または位置安定システム２０４および／または推進システム２０２への入力を提供し得る。

航空機ドローン２００は、必要に応じて、例えば、電子コンパス、ジャイロスコープ、磁力計、および加速度計を用いて、複数の異なる軸線に沿った位置および／または方位の変化の検出を可能にするための運動センサ２１２を備え得る。これら運動センサ２１２は、位置安定システム２０４および／または方位安定システム２０６への入力を提供し得る。

航空機ドローン２００は、必要に応じて、被監視シーン空間１４０を監視するべく構成された複数のセンサ１１０のうちの少なくとも一部を備え得る。これらセンサ１１０は、シーン１４０からのセンサデータ１１２を記録する、または記録を可能にする、べく構成される。

航空機ドローン２００は、野外で動作するべく構成され得る。例えば、航空機ドローン２００は、風雨の中で動作するべく構成され得る。航空機ドローンは、防水処理され得る。

航空機ドローン２００は、例えば、コンピュータによって実装される仮想境界を野外に、数十、数百、または数千メートルという大面積にわたって、および／または高高度まで広げて、画定するために使用され得る。これは、コンサート、フェスティバル、スポーツイベントなどの大規模な野外イベント、大衆制御が必要とされる場所、またはサーベイランスが必要とされる場所、において特に有用であり得る。

図６は、システム１００の動作の一例を示す。部分Ａは、システム１００によって監視される三次元空間内の実世界シーンを示す。シーン１４０は、被監視シーン空間１４０とも称され得る。

図６の例において、可動クラフト２００、例えば航空機ドローン、はコンピュータによって構築される少なくとも１つの仮想境界１４４を画定するために、移動１４６を実施している。

図示の例において、可動クラフト２００は、コンピュータによって構築される単一の仮想境界１４４を画定するために移動を実施している。この移動１４８は、１空間次元、２空間次元、または３空間次元における如何なる動きまたは一連の動きも含み、如何なる形態でも取り得る。

図６の例の部分Ｃは、被監視シーン空間１４０を上から見下ろした図を示す。この図には、コンピュータによって実装される仮想境界１４４を画定するために移動１４６を行っている可動クラフト２００が示されている。

図６の例の部分Ａおよび部分Ｃから分かるように、移動１４６は、時刻ｔにおける各ユーザ入力物体ｉのためのシーン１４０内のデカルト直交座標（ｘ_ｉ（ｔ）、ｙ_ｉ（ｔ）、ｚ_ｉ（ｔ））を有する位置を有する。この例において、ｘ_ｉ（ｔ）は左から測定され、ｙ_ｉ（ｔ）は前面から測定され、ｚ_ｉ（ｔ）は底部から測定される。他の座標系も使用され得ること、およびデカルト座標系の複数の異なる方位が使用され得ることを理解されるであろう。

図６においては図の簡素化のために、移動１４６は、１空間次元における１つの可動クラフト２００の動きを含む。したがって、ｘの値は変化し、ｙおよびｚの値が一定のままである。他の複数の例においては、ｘ、ｙ、および／またはｚの値は、被監視シーン空間１４０内の任意の開始位置からの移動１４８に伴い、如何ようにも変化し得る。また、複数の可動クラフト２００が、例えば同時に、使用され得る。

図６の例の部分Ｂおよび部分Ｄは、被監視シーン空間１４０に対応する監視空間１４２（対応する監視空間１４２）を示す。監視空間１４２は、システム１００によって作成および使用される被監視シーン空間１４０の仮想表現を含む。監視空間１４２は、センサ１１０によって受信されたデータ、例えば、受信された画像データおよび／または奥行きデータなど、から形成され得る。部分Ｂおよび部分Ｄは、図６の部分Ａおよび部分Ｃに示されている図と同じ図をそれぞれ示す。

一部の例において、システム１００は、監視空間１４２を形成するために、被監視シーン空間１４０の形状寸法の情報を使用し得る。例えば、システム１００は、被監視シーン空間１４０の三次元モデルを監視空間１４２の形成に使用し得る。被監視シーン空間１４０の三次元モデルは、システム１００によって作成され得る、および／またはシステム１００によって受信され得る。被監視シーン空間１４０の三次元モデルを作成するための複数の方法が当該技術分野において公知である。

システム１００は、シーン空間１４０を監視するために、監視空間１４２を使用し得る。例えば、システムは、コンピュータによって構築される少なくとも１つの仮想境界１４４を構築および監視するために、監視空間１４２を使用し得る。

図６の部分Ａおよび部分Ｂと部分Ｃおよび部分Ｄとの間の矢印によって示されているように、監視空間１４２と被監視シーン空間１４０との間に対応関係が存在する。一部の例においては、監視空間１４２と被監視シーン空間１４０との間に１対１のマッピングＭ（ｍａｐｐｉｎｇ）が存在し得る。

他の例においては、被監視シーン空間１４０と監視空間１４２との間にスケール不変の変換が存在し得る。

システム１００は、可動クラフト２００によって実施された移動１４６を認識し、応答として、コンピュータによって構築された少なくとも１つの仮想境界１４４を監視空間１４２内に構築する。

一部の例において、移動１４６の認識は、受信データの処理を含み得る。１つの例において、受信データは、画像処理を用いて可動クラフト２００を位置決めするために分析される画像データであり得る。別の例において、受信データは、可動クラフト２００を位置決めする位置データを含み得る。これは、一部の例においては、可動クラフト２００内の位置決めシステムによって提供される位置であり得る。

複数の例において、監視空間内にコンピュータによって実装される仮想境界１４４の形状および位置は、被監視シーン空間１４０内の移動１４６によって少なくとも部分的に決定され、コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の移動１４６の位置に相当する監視空間内の対応位置に位置決めされる。

したがって、システム１００は、対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４の形状および位置を少なくとも部分的に画定するために、被監視シーン空間１４０内に１つ以上の可動クラフト２００を位置決めすることと、被監視シーン空間１４０に対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４を構築することと、対応する監視空間１４２内にコンピュータによって実装された仮想境界１４４に対して被監視シーン空間１４０の少なくとも一部分に発生した変化への応答として応答イベントを発生させるために、被監視シーン空間１４０の複数のセンサ１１０からの受信データ１１２を処理することと、を可能にすることを理解されるであろう。

図７Ａ、図７Ｂ、図７Ｃ、図８Ａ、図８Ｂ、図８Ｃは、被監視シーン空間１４０内の１つ以上の可動クラフト２００のそれぞれ異なる位置の例を示す。これらの位置は、対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４の形状および位置を画定２１０する。

必ずしも全ての例ではないが一部の例においては、コンピュータによって実装される仮想境界１４４の形状および位置を可動クラフト２００によって制御できるようにするために、可動クラフト２００をシステム１００と「対にする」必要があり得る。この対の形成は、例えば、可動クラフト２００を識別する認証手順、および／または１つ以上のセキュリティクレデンシャルをチェックする認証手順、を含み得る。

これらの図において、点ｐ_ｎ（ｔ_ｘ）は、可動クラフトｎによって画定された、時刻ｔ_ｘにおける被監視空間１４０内の点２１４を指す。点ｐ_ｎ（ｔ_ｘ）は、監視空間１４２内の特定の点ｐ_ｎ'（ｔ_ｘ）２１６に対応する。対応する点２１４、２１６のラベル付けを行うために両空間内で同じラベルｎが一貫して使用されており、対応する時刻のラベル付けを行うために両空間でラベルｘが一貫して使用されている。

被監視シーン空間１４０における移動１４８は、一組の異なる点｛ｐ_ｎ（ｔ_ｘ）｝を指定する。これらの点は、監視空間１４２内の対応する一組の点｛ｐ_ｎ'（ｔ_ｘ）｝にマッピングされる。被監視シーン空間１４０を監視空間１４２にマッピングするマッピングＭは、被監視シーン空間１４０内の一組の異なる点｛ｐ_ｎ（ｔ_ｘ）｝も監視空間１４２内の対応する一組の異なる点｛ｐ_ｎ'（ｔ_ｘ）｝にマッピングする。

監視空間１４２内の一組の異なる点｛ｐ_ｎ'（ｔ_ｘ）｝は、対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４の形状および位置を画定する。

図示の例において、監視空間内にコンピュータによって実装される仮想境界１４４は、一組の点｛ｐ_ｎ'（ｔ_ｘ）｝のうちの各点２１６を通過する。図示の各例において、コンピュータによって実装される仮想境界１４４は、一組の点｛ｐ_ｎ'（ｔ_ｘ）｝のうちの各点２１６に頂点（角の点）を有するＮ角形である。

コンピュータによって実装される仮想境界１４４は、一、二、または三次元であり得る。

図７Ａにおいて、コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０における単一の可動クラフト２００の動きのみを含む移動１４８によって画定２１０される。コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０における単一の可動クラフト２００の一連の位置２１４によって画定２１０される。被監視シーン空間１４０内の可動クラフト２００は、監視空間１４３内の各点２１６に対応する被監視シーン空間１４０内の一連の点２１４を指定する。コンピュータによって実装される仮想境界１４４の形状および位置は、監視空間１４２内の各点２１６の位置によって画定される。この例において、コンピュータによって実装される仮想境界１４４は、Ｎ個の頂点（角の点）を点２１６に有するＮ角形である。被監視シーン空間１４０内の単一の可動クラフト２００は、各位置２１４においてＮ個の頂点のうちの１つを画定する。可動クラフト２００は、その行程上の一通過点が点２１４を指定することを示すための通過点信号をシステム１００に送信し得る。

図７Ａに示されているように、被監視シーン空間１４０内の移動１４８は、被監視シーン空間１４０内に点ｐ_１（ｔ_１）、ｐ_１（ｔ_２）、ｐ_１（ｔ_３）、ｐ_１（ｔ_４）を画定する。被監視シーン空間１４０内の点ｐ_１（ｔ_１）、ｐ_１（ｔ_２）、ｐ_１（ｔ_３）、ｐ_１（ｔ_４）は、監視空間１４２内の対応する点ｐ_１'（ｔ_１）、ｐ_１'（ｔ_２）、ｐ_１'（ｔ_３）、ｐ_１'（ｔ_４）２１６を決定２１０する。したがって、被監視シーン空間１４０内の移動１４８は、コンピュータによって実装される仮想境界１４４を画定する点ｐ_１'（ｔ_１）、ｐ_１'（ｔ_２）、ｐ_１'（ｔ_３）、ｐ_４'（ｔ_４）を監視空間１４２内に指定する。

図７Ｂにおいて、コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の複数の可動クラフト２００の同時位置決めを含む移動１４８によって画定される。コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の複数の可動クラフト２００の同時位置２１４によって画定２１０される。被監視シーン空間１４０内のこれら可動クラフト２００は、被監視シーン空間１４０内の複数の点２１４の配置を指定する。この配置は、監視空間１４２内の複数の点２１６の配置に対応する。コンピュータによって実装される仮想境界１４４の形状および位置は、監視空間１４２内の複数の点２１６の位置によって画定される。この例において、コンピュータによって実装される仮想境界１４４は、Ｎ個の頂点（角の点）をこれらの点２１６に有するＮ角形である。被監視シーン空間１４０内の複数の異なる可動クラフト２００はそれぞれ、Ｎ個の頂点のうちの１つを画定する。可動クラフト２００は、その行程上におけるこの時刻の一通過点が点２１４を指定すること、またはそれぞれの行程上におけるこの時刻の複数の可動クラフト２００のそれぞれの通過点が点２１４を指定すること、を示すための通過点信号をシステム１００に送信し得る。

図７Ｂに示されているように、被監視シーン空間１４０内の移動１４８は、被監視シーン空間１４０内に点ｐ_１（ｔ_１）、ｐ_２（ｔ_１）、ｐ_３（ｔ_１）、ｐ_４（ｔ_１）を画定する。図７Ｂに示されているように、被監視シーン空間１４０内の点ｐ_１（ｔ_１）、ｐ_２（ｔ_１）、ｐ_３（ｔ_１）、ｐ_４（ｔ_１）は、監視空間１４２内に対応する点ｐ_１'（ｔ_１）、ｐ_２'（ｔ_１）、ｐ_３'（ｔ_１）、ｐ_４」（ｔ_１）を決定する。したがって、被監視シーン空間１４０内の移動１４８は、監視空間１４２内の点ｐ_１'（ｔ_１）、ｐ_２'（ｔ_１）、ｐ_３'（ｔ_１）、ｐ_４'（ｔ_１）を指定する。これらの点は、コンピュータによって実装される仮想境界１４４を画定する。

別の例において（別個に図示せず）、コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０（図７Ｂ）内の第１組の１つ以上の可動クラフト２００の同時位置決めと、更には、被監視シーン空間１４０（図７Ａ）内の第２組の１つ以上の可動クラフト２００の動きとを含む移動１４８によって画定される。コンピュータによって実装される仮想境界１４４は、一部は、第１組の複数の可動クラフト２００の同時位置２１４によって、一部は、被監視シーン空間１４０内の第２組の可動クラフト２００の一連の位置２１４によって、画定２１０される。被監視シーン空間１４０内の第１組の可動クラフト２００は、被監視シーン空間１４０内の第１組の点２１４の配置を指定する。この配置は、監視空間１４２内の点２１６の配置に対応する。コンピュータによって実装される仮想境界１４４の第１の１つ以上の部分の形状および位置は、監視空間１４２内の第１組の点２１６の位置によって画定される。被監視シーン空間１４０内の第２組の可動クラフト２００は、被監視シーン空間１４０内の一連以上の点２１４を指定する。これらの点は、監視空間１４３内の第２組の点２１６に対応する。コンピュータによって実装される仮想境界１４４の第２の１つ以上の部分の形状および位置は、監視空間１４２内の第２組の点２１６の位置によって画定される。一部の例において、コンピュータによって実装される仮想境界１４４は、Ｎ個の頂点（角の点）を第１組および第２組の点２１６に有するＮ角形である。可動クラフト２００は、その行程上のこの時刻における通過点が点２１４を指定することを示すための通過点信号をシステム１００に送信し得る。

コンピュータによって実装される仮想境界１４４は、動的修正が可能である。図７Ｃにおいて、図７Ｂに画定されているようなコンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の１つ以上の可動クラフト２００の再位置決めを含む新しい移動１４８によって再画定される。コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の複数の可動クラフト２００の新しい位置２１４によって再画定２１０される。被監視シーン空間１４０内のこれら可動クラフト２００は、被監視シーン空間１４０内の複数の点２１４の新しい配置を指定する。この配置は、監視空間１４２内の複数の点２１６の新しい配置に対応する。コンピュータによって実装される仮想境界１４４の新しい形状および位置は、監視空間１４２内の複数の点２１６の新しい位置によって画定される。この例において、コンピュータによって実装される仮想境界１４４は、Ｎ個の頂点（角の点）を点２１６に有するＮ角形である。被監視シーン空間１４０内の複数の異なる可動クラフト２００は、それぞれＮ個の頂点のうちの１つを再画定する。可動クラフト２００は、その行程上のこの時刻における通過点が点２１４を指定すること、またはそれぞれの行程上におけるこの時刻における複数の可動クラフト２００のそれぞれの通過点が点２１４を指定すること、を示すための通過点信号をシステム１００に送信し得る。

図７Ｃに示されているように、被監視シーン空間１４０内の移動１４８は、被監視シーン空間１４０内に点ｐ_１（ｔ_２）、ｐ_２（ｔ_２）、ｐ_３（ｔ_２）、ｐ_４（ｔ_２）を画定する。図７Ｃに示されているように、被監視シーン空間１４０内の点ｐ_１（ｔ_２）、ｐ_２（ｔ_２）、ｐ_３（ｔ_２）、ｐ_４（ｔ_２）は、監視空間１４２内に対応する点ｐ_１'（ｔ_２）、ｐ_２'（ｔ_２）、ｐ_３'（ｔ_２）、ｐ_４'（ｔ_２）を決定する。したがって、被監視シーン空間１４０内の移動１４８は、監視空間１４２内の点ｐ_１'（ｔ_２）、ｐ_２'（ｔ_２）、ｐ_３'（ｔ_２）、ｐ_４'（ｔ_２）を指定する。これらの点は、コンピュータによって実装される仮想境界１４４を再画定する。

例えば図７Ａ、図７Ｂ、図７Ｃを参照して説明したような、移動１４８は、自律的、半自律的、またはユーザ制御であり得る。

例えば、ユーザは、コンピュータによって実装される仮想境界１４４のサイズを指定し得る。ユーザは、固定サイズを規定し得る。ユーザは、コンピュータによって実装される仮想境界１４４のサイズ変更を自律的に制御する規則を規定し得る。

例えば、ユーザは、コンピュータによって実装される仮想境界１４４の形状を指定し得る。ユーザは、固定形状を規定し得る。ユーザは、コンピュータによって実装される仮想境界１４４のサイズ変更を自律的に制御する規則を規定し得る。これは、例えば、より多くの、またはより少ない、可動クラフト２００の利用が可能であるときに、起こり得る。

例えば、ユーザは、コンピュータによって実装される仮想境界１４４の位置を指定し得る。ユーザは、ユーザが指定した被追跡物体に対して固定された絶対位置または固定された相対位置を規定し得る。ユーザは、コンピュータによって実装される仮想境界１４４の再位置決めを自律的に制御する規則を規定し得る。これは、例えば、１つ以上の被追跡物体の位置が変わったとき、または太陽の位置など、他のコンテキスト上の因子が変化したときに、起こり得る。

コンピュータによって実装される仮想境界１４４の特徴、またはコンピュータによって実装される仮想境界１４４の特徴を制御する規則、のユーザ指定を可能にするために提供されるユーザ制御は、任意の適した手段によって行われ得る。例えば、ユーザは、例えば、ジェスチャ制御、タッチスクリーンインタフェース、プログラミングインタフェース、音声コマンドなどを用いて、システム１００を介してユーザ入力コマンドを複数の可動クラフト２００に提供可能であり得る。

図８Ａ、図８Ｂ、および図８Ｃは、第１の可動クラフト２００_１から第２の可動クラフト２００_２へのハンドオーバ手順を示す。ハンドオーバ前、第１の可動クラフト２００_１は、コンピュータによって実装される仮想境界１４４を画定するために使用されている。ハンドオーバ後、第１の可動クラフト２００_１は、コンピュータによって実装される仮想境界１４４を画定するためには最早使用されず、コンピュータによって実装される仮想境界１４４を画定するために第２の可動クラフト２００_２が使用される。

これらの図において、コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の複数の可動クラフト２００の同時位置決めを含む移動１４８よって画定される。コンピュータによって実装される仮想境界１４４は、被監視シーン空間１４０内の複数の可動クラフト２００の同時位置２１４によって画定２１０される。被監視シーン空間１４０内のこれら可動クラフト２００は、被監視シーン空間１４０内の複数の点２１４の配置を指定する。この配置は、監視空間１４２内の複数の点２１６の配置に対応する。コンピュータによって実装される仮想境界１４４の形状および位置は、監視空間１４２内の複数の点２１６の位置によって画定される。この例において、コンピュータによって実装される仮想境界１４４は、Ｎ個の頂点（角の点）を点２１６に有するＮ角形である。被監視シーン空間１４０内の複数の可動クラフト２００は、Ｎ個の頂点のうちの１つをそれぞれ画定する。可動クラフト２００は、その行程上のこの時刻における通過点が点２１４を指定すること、またはこの時刻における複数の可動クラフト２００のそれぞれの行程上の通過点が点２１４を指定すること、を示すための通過点信号をシステム１００に送信し得る。

被監視シーン空間１４０内の移動１４８は、監視対象空間１４０内の点ｐ_１（ｔ_１）、ｐ_２（ｔ_１）、ｐ_３（ｔ_１）、ｐ_４（ｔ_１）を画定する。

図８Ａに示されているように、ハンドオーバ３００前、被監視シーン空間１４０内の点ｐ_１（ｔ_１）、ｐ_２（ｔ_１）、ｐ_３（ｔ_１）、ｐ_４（ｔ_１）は、監視空間１４２内の対応する点ｐ_１'（ｔ_１）、ｐ_２'（ｔ_１）、ｐ_３'（ｔ_１）、ｐ_４'（ｔ_１）を決定する。これらの点は、コンピュータによって実装される仮想境界１４４を画定する。第１の可動クラフト２００_１は、位置ｐ_２（ｔ_１）に対応付けられており、コンピュータによって実装される仮想境界１４４の少なくとも一部を画定している。第２の可動クラフト２００_２は、位置ｐ_５（ｔ_１）に対応付けられており、コンピュータによって実装される仮想境界１４４の何れの部分も画定していない。

図８Ｂに示されているように、ハンドオーバ３００後、被監視シーン空間１４０内の点ｐ_１（ｔ_２）、ｐ_５（ｔ_２）、ｐ_３（ｔ_２）、ｐ_４（ｔ_２）は、監視空間１４２内の対応する点ｐ_１'（ｔ_２）、ｐ_５'（ｔ_２）、ｐ_３'（ｔ_２）、ｐ_４'（ｔ_２）を決定する。これらの点は、コンピュータによって実装される仮想境界１４４を画定する。位置ｐ_２（ｔ_１）に対応付けられた第１の可動クラフト２００_１は、コンピュータによって実装される仮想境界１４４の何れの部分も、もはや画定していない。位置ｐ_５（ｔ_２）に対応付けられた第２の可動クラフト２００_２は、コンピュータによって実装される仮想境界１４４の一部を画定している。

必ずしも全ての例ではないが、図８Ｃに示されている例において、ハンドオーバ３００の次に、位置ｐ_５（ｔ）に対応付けられた第２の可動クラフト２００_２は、その位置ｐ_５（ｔ_３）＝ｐ_２（ｔ_１）であるように、位置を変更する３０２。すなわち、第２の可動クラフト２００_２は、第１の可動クラフト２００_１がハンドオーバ３００前に占めていた位置と同じ位置２１４を占める。被監視シーン空間１４０内の点ｐ_１（ｔ_３）、ｐ_５（ｔ_３）、ｐ_３（ｔ_３）、ｐ_４（ｔ_３）は、監視空間１４２内の対応する点ｐ_１'（ｔ_３）、ｐ_５'（ｔ_３）、ｐ_３'（ｔ_３）、ｐ_４'（ｔ_３）を決定する。これらの位置は、コンピュータによって実装される仮想境界１４４を画定する。時刻ｔ_３においてコンピュータによって実装される仮想境界１４４は、時刻ｔ_１においてコンピュータによって実装された仮想境界１４４と同じである。ただし、時刻ｔ_３においては、第１の可動クラフト２００_１ではなく、第２の可動クラフト２００_２によって画定されている。

可動クラフト２００間のハンドオーバ３００は自動であり得る。例えば、第１の可動クラフト２００_１によって使用されている電池が放電して閾値レベル未満になると、第１の可動クラフト２００_１は交代信号を送信し得る。第２の可動クラフト２００_２は、この交代信号への応答として、第１の可動クラフト２００_１に接近し、第１の可動クラフト２００_１とのハンドオーバ３００を実施する。

ハンドオーバ３００は、システム１００から第１の可動クラフト２００_１への通信がシステム１００から第２の可動クラフト２００_２への通信に変更されるように、システム１００も引き込み得る。例えば、システム１００は第１の可動クラフト２００_１との対を解消し、第２の可動クラフト２００_２と対になる必要があり得る。

したがって、時刻ｔ_１におけるシステム１００は、対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４の形状および位置を少なくとも部分的に画定するために、被監視シーン空間１４０内の第１の可動クラフト２００_１を位置決めし、被監視シーン空間１４０に対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４を構築する。システム１００は、対応する監視空間１４２内にコンピュータによって実装された仮想境界１４４に対して被監視シーン空間１４０の少なくとも一部分に発生した変化への応答として応答イベントの発生を可能にするために、被監視シーン空間１４０の複数のセンサ１１０からの受信データ１１２を処理する。

システム１００は、時刻ｔ_１と時刻ｔ_２との間に、第１の可動クラフト２００_１から第２の可動クラフト２００_２へのハンドオーバ３００を認識する。

システム１００は、時刻ｔ_２において、対応する監視空間１４２内にコンピュータによって構築される新しい仮想境界１４４を少なくとも部分的に画定するために、被監視シーン空間１４０内の第２の可動クラフト２００_２を位置決めし、対応する監視空間１４２内にコンピュータによって構築された新しい仮想境界１４４に対して被監視シーン空間１４０の少なくとも一部分に発生した変化への応答として応答イベントの発生を可能にするために、被監視シーン空間１４０の複数のセンサ１１０からの受信データ１１２を処理する。

上記の例において、ハンドオーバ３００は、１つの可動クラフト２００を別の可動クラフトに交代させるために使用される。他の複数の例においては、１つ以上の可動クラフトがＮを増やすために追加され得る、またはＮを減らすために除去され得る。

他の複数の例においては、コンピュータによって構築される新しい境界２１４を画定するために、コンピュータによって構築される１つ以上の異なる境界が組み合わされ得る。

システム１００が移動１４６を認識し、コンピュータによって実装される境界１４４を構築したことを確認するために、システム１００はフィードバックをユーザに提供し得る。このフィードバックは、任意の適したフィードバック、例えば、可聴および／または可視および／または触覚フィードバック等、を含み得る。加えて、または代わりに、システム１００がコンピュータによって実装される境界１４４を構築したことをユーザに通知するために、システム１００は１つ以上のメッセージを１つ以上のデバイスに送り得る。

システム１００は、少なくとも１つの仮想境界１４４に対して、コンピュータによって実装された境界によって囲まれた監視空間１４２の一部分に変化を引き起こす変化が被監視シーン空間１４０の一部分に存在したときに、応答イベントを発生させるために受信データを処理し得る。

例えば、システム１００は、応答イベントを発生させるために、センサ１１０によって受信された、オーディオおよび／または画像データなどの、データを処理し得る。システムは、応答イベントを発生させるために、１つ以上のオーディオおよび／またはビデオフィードを分析し得る。一部の例において、応答イベントを発生させるための受信データの処理は、コンピュータによって実装された境界１４４の監視とみなされ得る。

複数の例においては、少なくとも１つの仮想境界１４４を画定する移動１４６の認識において、および少なくとも１つの仮想境界１４４の監視のために、カメラなどの同じセンサが使用され得る。

一部の例において、応答イベントを発生させるために受信データを処理することは、コンピュータによって実装された境界１４４にまたがる活動、および／またはコンピュータによって実装された境界１４４のスレッショルド内での活動、を検出するためにコンピュータによって実装された境界１４４を監視するために受信データを処理することを含み得る。例えば、システム１００は、コンピュータによって実装された境界１４４にまたがる、またはコンピュータによって実装された境界１４４のスレッショルド内の、活動を検出するために、コンピュータによって実装された境界１４４を監視するために、オーディオおよび／または画像および／または奥行きデータを処理し得る。

応答イベントは、例えば通信モジュール１３０を用いて、フィードバックを提供することを含み得る。一部の例において、フィードバックは、１つ以上の警報を含み得る。この１つ以上の警報は、可聴および／または可視警報など、任意の形態の警報を含み得る。加えて、または代わりに、フィードバックは、１つ以上のメッセージを携帯電話機、タブレット、ラップトップコンピュータ、デスクトップコンピュータ等などの装置に提供することを含み得る。

一部の例において、応答イベントは、加えて、または代わりに、カウンタを増加させることを含み得る。例えば、システム１００は、物体１５２がコンピュータによって実装された境界１４４のスレッショルドに接触する、および／または越える、および／またはスレッショルド内に接近するなど、境界との相互作用が存在した回数を監視し得る。加えて、または代わりに、システム１００は、境界の横断方向など、境界との相互作用の方向を監視し得る。システム１００は、境界との相互作用に関する統計を提供するべく構成され得る。

システム１００のユーザが応答イベントを構成し得る。

システム１００は、一部の例において、コンピュータによって実装された境界１４４に対して、被監視シーン空間１４０の一部分に、何れかの物体１５２に関連して、変化が存在したときに応答イベントを発生させるために、受信データを処理し得る。例えば、何れかの物体１５２がコンピュータによって実装された境界１４４のスレッショルドを越える、スレッショルドに接触する、および／またはスレッショルド内に入ると、システムは応答イベントを発生させ得る。このような仮想境界１４４は、全般的な仮想境界１４４とみなされ得る。

他の例においては、コンピュータによって実装された境界１４４に対して、被監視シーン空間１４０の一部分に、ユーザによって指定された１つ以上の物体１５２に関連して、変化が存在したときに、システムは応答イベントを発生させるために受信データを処理し得る。

例えば、コンピュータによって実装される仮想境界１４４の画定後、システム１００のユーザは１つ以上の物体１５２をシステム１００に対して示し得る。システム１００は、コンピュータによって実装された境界１４４に対して、被監視シーン空間１４０の一部分に、示された物体１５２に関連して、変化が存在したときにのみ、応答として応答イベントを発生させ得る。例えば、示された物体１５２がコンピュータによって実装された境界１４４のスレッショルドを越える、スレッショルドに接触する、および／またはスレッショルド内に入ったときにのみ、システム１００は応答イベントを発生させ得る。このような仮想境界１４４は、物体固有の仮想境界とみなされ得る。

一部の例において、コンピュータによって実装された仮想境界１４４は、条件付きで監視され得る、および／または条件付きで有効／無効にされ得る。例えば、コンピュータによって実装された仮想境界１４４に対して、被監視シーン空間１４０の一部分に変化が存在したとき、システム１００は、１つ以上の基準が満たされているときは応答イベントを発生させるために受信データを処理し得るが、そうでない場合は応答イベントを発生させるために受信データを処理しない。

これら基準は、事前に規定され得る、および／またはユーザによって構成され得る。

複数の例において、任意の１つ以上の基準が使用され得る。例えば、任意の時間的および／または物理的基準が使用され得る。複数の例において、コンピュータによって実装される仮想境界１４４は、時刻および／または曜日および／または月の何週目および／または月に応じて、および／または被監視シーン空間１４０内の１つ以上の物体１５２の存在とは無関係に、条件付きで監視され得る。

図９は、方法８００の一例を示す。方法８００は、システム１００によって実施され得る。ブロック８０２おいて、方法８００は、対応する監視空間１４２内にコンピュータによって実装される仮想境界１４４の形状および位置を少なくとも部分的に画定するために、１つ以上の可動クラフト２００を被監視シーン空間１４０に位置決めすることを含む。ブロック８０４おいて、方法８００は、被監視シーン空間１４０に対応する監視空間１４２にコンピュータによって実装される仮想境界１４４を構築させることを含む。ブロック８０６おいて、方法８００は、対応する監視空間１４２内にコンピュータによって実装された仮想境界１４４に対して被監視シーン空間１４０の少なくとも一部分に発生した変化への応答として応答イベントを発生させるために、被監視シーン空間１４０の複数のセンサ１１０からの受信データ１１２を処理することを含む。

構造上の特徴が記述されている場合、その構造上の特徴は、その構造上の特徴の１つ以上の機能が明示的または暗黙で記述されているかに拘らず、その構造上の特徴の１つ以上の機能を実施するための手段に置き換えられ得る。

本開示の例は、サーベイランスシステム用の仮想境界を画定するための容易で直観的な方法を提供する。

用語「備える」は、本明細書においては排他的ではなく包含的意味で使用されている。すなわち、Ｙを備えたＸとは、Ｘは単一のＹを備え得ること、または複数のＹを備え得ることを示す。

この簡単な説明では、さまざまな例に言及してきた。一例に関連する特徴または機能の説明は、それら特徴または機能がその例に存在することを示している。テキスト中での用語「例」または「例えば」の使用は、明示的に記載されているか否かに拘らず、そのような特徴または機能が、一例として記載されているか否かに拘らず、少なくとも記載の例に存在すること、および他の一部または全ての例に存在し得るが、必ずしも存在するとは限らない、ことを示す。したがって「例」または「例えば」は、一クラスの複数の例における特定の事例に言及する。この事例の特性は、その事例のみの特性、またはそのクラスの特性、またはそのクラス内の全ての事例ではないが一部の事例を含むそのクラスの下位クラスの特性とすることができる。したがって、１つの例に言及して、しかし別の例には言及せずに、記載されている特徴は、可能であれば、その別の例において使用可能であるが、必ずしもその別の例で使用される必要はないことが暗黙で開示されている。

先行段落においてはさまざまな例に言及して本発明の複数の実施形態が説明されているが、これら所与の例の変更を特許請求されている本発明の範囲から逸脱することなく行えることを理解されたい。上の説明に記載されている特徴は、明示的に記載されている組み合わせ以外の組み合わせでも使用され得る。特定の特徴に言及して複数の機能が説明されているが、これら機能は、記載の有無に拘らず、他の特徴によって実施可能であり得る。特定の実施形態に言及して複数の特徴が説明されているが、これら特徴は、記載の有無に拘らず、他の複数の実施形態にも存在し得る。上記明細書においては特に重要と思われる本発明の特徴に注目させようとしているが、出願人は、特に強調されていたか否かに拘らず、上で言及した、および／または図面に示されている、特許性のある何れの特徴または特徴の組み合わせに対しても保護を請求することを理解されたい。

Claims (17)

1. 対応する監視空間内にコンピュータによって実装される仮想境界の形状および位置を少なくとも部分的に画定するために、１つ以上のドローンを被監視シーン空間内に位置決めすることと、
   前記被監視シーン空間に対応する前記監視空間内にコンピュータによって実装される仮想境界を構築することと、
   前記仮想境界に対して前記被監視シーン空間の少なくとも一部分に発生した変化への応答として応答イベントを発生させるために、前記被監視シーン空間の複数のセンサからの受信データを処理することと、
   を含む、方法。
2. 
   前記複数のセンサの少なくとも一つは、
   ・ 前記被監視シーン空間内に固定されているセンサ；
   ・ 画像センサ；
   ・ オーディオセンサ；
   ・ 奥行きセンサ；
   のいずれかである、請求項１に記載の方法。
3. 前記ドローンは、三次元位置を自律的に維持するように構成された、および／または三次元方位を自律的に維持するように構成された、航空機ドローンである、請求項１または２に記載の方法。
4. 前記航空機ドローンは野外で動作するべく構成される、請求項３に記載の方法。
5. 前記被監視シーン空間内の前記１つ以上のドローンは、前記監視空間内の点に対応する前記被監視シーン空間内の点を指定し、前記コンピュータによって実装される仮想境界の形状および位置は前記監視空間内の前記点によって少なくとも部分的に画定される、請求項１〜４の何れか１項に記載の方法。
6. 前記コンピュータによって実装される仮想境界はＮ個の頂点を有するＮ角形であり、前記被監視シーン空間内の前記１つ以上のドローンは前記Ｎ個の頂点を画定する、請求項１〜５の何れか１項に記載の方法。
7. 前記コンピュータによって実装される仮想境界は、前記被監視シーン空間内の単一のドローンの移動によって画定される、請求項１〜６の何れか１項に記載の方法。
8. 前記コンピュータによって実装される仮想境界は、前記被監視シーン空間内の複数のドローンの位置によって画定される、請求項１〜６の何れか１項に記載の方法。
9. 前記１つ以上のドローンを位置決めすることは、前記被監視シーン空間内の前記１つ以上のドローンの動きを追跡するために受信データを処理することを含む、請求項１〜８の何れか１項に記載の方法。
10. 前記被監視シーン空間内の前記１つ以上のドローンの位置決めを可能にするために、前記被監視シーン空間を監視するシステムと、前記被監視シーン空間内の前記１つ以上のドローンとの対を形成することと、前記コンピュータによって実装される仮想境界の形状および位置を画定することとを更に含む、請求項１〜９の何れか１項に記載の方法。
11. 前記コンピュータによって実装される仮想境界内の頂点の認識を可能にするために、少なくとも１つの所定の通過点信号を認識することを更に含む、請求項１〜１０の何れか１項に記載の方法。
12. 前記被監視シーン空間の前記複数のセンサのうちの少なくとも一部が前記１つ以上のドローンの一部である、請求項１〜１１の何れか１項に記載の方法。
13. 応答イベントを発生させるために受信データを処理することは、前記コンピュータによって実装された仮想境界を跨ぐ活動、および／または前記コンピュータによって実装された仮想境界のスレッショルド内の活動、を検出するために、前記コンピュータによって実装された仮想境界を監視するために、画像データを処理することを含む、請求項１〜１２の何れか１項に記載の方法。
14. 第１のドローンから第２のドローンへのハンドオーバを認識することと、
    前記ハンドオーバ後、前記対応する監視空間内にコンピュータによって構築される新しい仮想境界を少なくとも部分的に画定するために、前記第２のドローンを前記被監視シーン空間内に位置決めすることと、
    前記新しい仮想境界に対して前記被監視シーン空間の少なくとも一部分に発生した変化への応答として応答イベントの生成を可能にするために、前記被監視シーン空間の複数のセンサからの受信データ処理することと、
    を更に含む、請求項１〜１３の何れか１項に記載の方法。
15. 処理手段及び記憶手段を備える装置であって、前記記憶手段はプログラム命令を格納し、前記プログラム命令は、前記処理手段に実行されると、前記装置に、請求項１〜１４の何れか１項に記載の方法を遂行させるように構成される、装置。
16. 装置の処理手段に実行されると、前記装置に、請求項１〜１４の何れか１項に記載の方法を遂行させるように構成されるプログラム命令を備える、コンピュータプログラム。
17. 対応する監視空間内にコンピュータによって実装される仮想境界の形状および位置を少なくとも部分的に画定するために、１つ以上のドローンを被監視シーン空間内に位置決めする手段と、
    前記被監視シーン空間に対応する前記監視空間内にコンピュータによって実装される仮想境界を構築する手段と、
    前記仮想境界に対して前記被監視シーン空間の少なくとも一部分に発生した変化への応答として応答イベントを発生させるために、前記被監視シーン空間の複数のセンサからの受信データを処理する手段と、
    を備える、装置。

Images