JP4982407B2

JP4982407B2 - 移動体画像追尾装置及び方法

Info

Publication number: JP4982407B2
Application number: JP2008041872A
Authority: JP
Inventors: 博昭中村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-02-22
Filing date: 2008-02-22
Publication date: 2012-07-25
Anticipated expiration: 2028-02-22
Also published as: US8174581B2; US20090262197A1; JP2009200949A

Description

本発明は、全方向に渡り移動する目標に対してカメラ等の目標認識センサを追尾させるための移動体画像追尾装置及び方法に関する。

近年、空港やプラントなど大型施設、及び、発電所や水道施設などのライフラインに関わる施設での保安設備、並びに、ＩＴＳなどの交通情報支援システムなどにおいて、ＩＴＶカメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶または航空機などを想定し、小型かつ耐振性を考慮した構造で、振動・動揺に対する外乱抑圧を行っている。更に、複数の対象物を順次、追尾できるように、旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。

このような移動体画像追尾システムは、全方向に渡り移動する目標に対して追尾するために、ジンバル構造では少なくとも２軸以上を備える必要がある。２軸ジンバルでは、対象物が天頂、もしくは天頂付近を通過する場合にはＡＺ軸は瞬時に１８０度回転する必要があり、実際にはこの動作の実現は難しく、連続した追跡ができなくなるというジンバルロックと呼ばれる現象の課題がある。このため２軸ジンバル構造では、ジンバルロックが生じる天頂付近には指向することができず、全方向の実現が難しい。

従来の画像追尾システムでは、３軸ジンバル構造を用いることで、自由度を増やし、角速度が過大とならないように、アジマス軸（Ａｚ軸）とクロスエレベーション軸（ｘＥＬ軸）との動作に分配することで、実現可能なジンバル可動範囲を超えることなく、ジンバルロックを避け、全方向にわたり連続的に追尾させようとしている（例えば、特許文献１参照）。
特開２００６−１０６９１０公報

このような従来技術では、１軸増えているために、２軸ジンバルと比べると構造が複雑化し、モータ等の駆動手段も増えるため、小型化や低コスト化が難しい。また、カメラ等を搭載するためｘＥＬ軸の負荷慣性が大きく、Ａｚ軸とｘＥＬ軸との軸干渉の影響も生じる可能性があり、３軸ジンバル構造特有の課題が生じてしまう。

また、２軸ジンバル構造で天頂付近の追尾を行うためには、瞬時の１８０度の回転を許容できるモータ性能等が必要となり、装置にとって過大な要求を満たす必要が生じてしまう。

本発明は、上記に鑑みてなされたものであって、付加センサを追加することなく２軸ジンバル構造で、追尾性能の劣化を改善する移動体画像追尾装置及び方法を提供することを目的とする。

上述の課題を解決するため、本発明の移動体画像追尾装置は、垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段と、前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段と、前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、前記第１回転手段の姿勢を示す第１角度を検出する第２検出手段と、前記第２回転手段の姿勢を示す第２角度を検出する第３検出手段と、前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を算出する第１算出手段と、前記第２角度を参照して、天頂からの補正範囲角度閾値内である補正範囲に前記移動体が含まれているかどうかを判定する判定手段と、前記移動体が前記補正範囲に含まれている期間を前記補正範囲角度閾値と前記移動速度から算出する第２算出手段と、前記移動体が前記補正範囲に進入した時の前記第１角度を進入角度として検出する第４検出手段と、前記第１角度及び前記第２角度の時間微分により前記移動体の移動速度を算出する第３算出手段と、前記移動体が前記補正範囲に含まれていないと判定された場合には前記第１角速度及び前記第２角速度を角速度指令値として設定し、前記移動体が前記補正範囲に含まれていると判定された場合には前記移動体が移動してくる正面方向であるゼロ方向に前記第１回転手段を回転させる、前記進入角度を前記期間で除した値の第３角速度を前記第１回転手段の角速度とし、該第３角速度及び前記第２角速度を角速度指令値として設定する設定手段と、前記第１回転手段及び前記第２回転手段それぞれの第４角速度及び第５角速度を検出する第５検出手段と、前記第１回転手段に対応する前記角速度指令値に含まれる角速度と前記第４角速度との差がなくなるように、かつ、前記第２回転手段に対応する前記角速度指令値に含まれる角速度と前記第５角速度との差がなくなるように前記駆動手段を制御する制御手段と、を具備することを特徴とする。

本発明の移動体画像追尾装置及び方法によれば、付加センサを追加することなく２軸ジンバル構造で、追尾性能の劣化を改善することができる。

以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置及び方法について詳細に説明する。なお、以下では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
なお、実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。

（第１の実施形態）
本実施形態の移動体画像追尾装置について図１を参照して説明する。

本実施形態の移動体画像追尾装置は、第１、第２のジンバル１１１，１２１、第１、第２の駆動部１１２，１２２、第１、第２の角速度センサ１１３，１２３、第１、第２の角度センサ１１４，１２４、カメラセンサ１４０、角速度指令生成部１５０、駆動制御部１６０、微分信号処理部１７１、移動体速度推定部１７２、補正角速度指令生成部１７３、角速度補正部１７４、追尾誤差検出部１７５を含む。

また、角速度指令生成部１５０は、第１の指令算出部１５１、第２の指令算出部１５２を含み、駆動制御部１６０は、第１のサーボ制御部１６１、第２のサーボ制御部１６２を含んでいる。

第１のジンバル１１１は、垂直方向に向けられ回転自由に支持されるアジマス軸として第１のジンバル軸１１０を中心に回転する。第２のジンバル１２１は、このアジマス軸と直交する水平方向に設けられ、回転自由に支持されるエレベーション軸として第２のジンバル軸１２０を中心に回転する。
第１、第２の駆動部１１２，１２２は、それぞれ、第１、第２のジンバル１１１，１２１を回転駆動する。

第１の角速度センサ１１３は、第１のジンバル軸１１０を中心に回転する第１のジンバル１１１の角速度を検出する。第２の角速度センサ１２３は、第２のジンバル軸１２０を中心に回転する第２のジンバル１２１の角速度を検出する。

第１の角度センサ１１４は、第１のジンバル１１１のジンバル固定部に対する回転角度を検出する。第２の角度センサ１２４は、第２のジンバル１２１の第１のジンバル１１１に対する回転角度を検出する。
カメラセンサ１４０は、第２のジンバル１２１に支持され、移動体を認識して画像データを得る。

追尾誤差検出部１７５は、カメラセンサ１４０から取得した画像データに画像処理を施して追尾誤差を検出する。追尾誤差検出部１７５は、一般的には２値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置が識別され、視野中心からの２方向のずれ量（ΔＸ，ΔＹ）を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４を参照して説明する。

角速度指令生成部１５０は、追尾誤差検出部１７５から取得する２方向の追尾誤差検出値と、第１、第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ_１，θ_２）とにより、移動体を追尾するようジンバルを駆動する角速度指令値を生成する。この計算の詳細は後に図３を参照して説明する。

第１の指令算出部１５１は、追尾誤差検出部１７５から取得する２方向の追尾誤差検出値と、第１、第２の角度センサ１１４，１２４により検出した角度データとに基づき、目標の追従において、第１のジンバル１１１を駆動する第１の角速度指令値を計算する。第２の指令算出部１５２は、追尾誤差検出部１７５から取得する２方向の追尾誤差検出値と、第１、第２の角度センサ１１４，１２４により検出した角度データとに基づき、目標の追従において、第２のジンバル１２１を駆動する第２の角速度指令値を計算する。

駆動制御部１６０は、角速度補正部１７４で生成された各角速度センサに対応する角速度指令値と、第１、第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように制御指令値を計算する。第１，第２のサーボ制御部１６１，１６２は、それぞれ第１、第２の角速度センサ１１３，１２３に対応し、それぞれ第１、第２の駆動部１１２，１２２に対応する制御指令値を出力する。

微分信号処理部１７１は、第１、第２の角度センサ１１４，１２４のそれぞれから角度を入力し、それぞれの角度を時間微分することでそれぞれの角速度を算出する。

移動体速度推定部１７２は、第１、第２の角度センサに対応する角速度を微分信号処理部１７１から入力することで、移動体速度を得る。

補正角速度指令生成部１７３は、移動体速度推定部１７２からの移動体速度と、第１、第２の角度センサ１１４，１２４とを入力し、ジンバルロックを避けるため、最も天頂に近接した位置を視軸が通過する補正軌道を与えるような第１のジンバル１１１の補正角速度指令値を生成する。補正角速度指令生成部１７３については後に図３を参照して説明する。

角速度補正部１７４は、角速度指令生成部１５０による角速度指令値と、補正角速度指令生成部１７３による補正角速度指令値と、角度センサ１１４，１２４からの角度とを入力し、指向方向が天頂付近であるかどうかを判定し、この判定結果によって、角速度指令生成部１５０による角速度指令値または補正角速度指令生成部１７３による補正角速度指令値のいずれかの第１のジンバル１１１用の角速度指令を出力する。第２のジンバル１２１は、常に角速度指令生成部１５０による角速度指令値によって動作する。角速度補正部１７４については後に図３を参照して説明する。

次に、本実施形態で使用するカメラセンサについて図２を参照して説明する。
第１のジンバル軸１１０はアジマス軸（以下、単に「Ａｚ軸」という）、第２のジンバル軸１２０はエレベーション軸（以下、単に「ＥＬ軸」という）である。図１の移動体画像追尾装置は、これらのＡｚ軸、ＥＬ軸が一点において直交する２軸構造を備えた２軸旋回装置である。

次に、本実施形態の移動体画像追尾装置の補正制御系について図３を参照して説明する。図３は、Ａｚ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。
角速度指令生成部１５０は、追尾誤差検出部１７５から取得する２方向の追尾誤差検出値（ΔＸ，ΔＹ）と、第１、第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ_１，θ_２）とにより、移動体を追尾するようにジンバルを駆動する角速度指令値

を生成する。２方向の追尾誤差検出値（ΔＸ，ΔＹ）から２軸ジンバルの各軸へ角速度を分配する手法の一つとして、追尾誤差検出値と角度検出値に対する角速度指令値の関係式を表すと、次式のように表される。

ここで、secθは、θに関する正割関数であり、θ＝９０度で無限大となる。このため天頂や、天頂付近では第１のジンバルに対して非常に大きな角速度指令が発生することとなり、これがジンバルロックの課題となっている。

本実施形態にかかる補正制御系では、カメラ視野内で追尾状態において、カメラセンサ１４０から追尾誤差検出値を得ると同時に、角度センサ１１４，１２４によるジンバルの角度を検出した角度データに基づいて、移動体速度推定部１７２が移動体速度の推定を行う。移動体速度の推定は、ジンバル角速度に対する移動体速度ω_ｔの関係式が次式で表される。

この式において、角速度次元のデータは、第１、第２の角速度センサ１１３，１２３により検出しているが、この式で必要なのはジンバル固有の角速度であるため、他要素によって変化する可能性や検出範囲の制限がある角速度センサの値を用いるのは有用ではない。本実施形態では、微分信号処理部１７１が角度を時間微分することで角速度を算出し、移動体速度推定部１７２はこの角速度を利用する。こうすることにより、角速度センサ１１３，１２３の影響を除くことが可能である。微分信号処理部１７１での微分信号処理は、微分による高周波成分の増大に鑑みて、微分特性とローパス特性を有する信号処理をすることが望ましい。このようにして移動体速度推定部１７２が移動体速度推定値を得ることが可能となる。

補正角速度指令生成部１７３は、このようにして求まった移動体速度推定値ω_ｔを用いて、補正角速度指令の生成を行う。補正角速度指令を適用する補正範囲を設定する補正範囲角度閾値θ_２ｔに対して角度θ_２が

となったときの第１のジンバル１１１の角度（進入角度とも呼ぶ）をθ_ｉ、第１のジンバル１１１の角速度（進入角速度とも呼ぶ）をω_ｉとして保持する。なお、補正範囲角度閾値θ_２ｔは、天頂姿勢時エレベーション角度と、前記角度と前記追尾誤差値とを使用して計算される角速度指令値によって追尾駆動可能な最大エレベーション角度との差から決定される。そして、移動体速度推定値と、天頂までの残り角度の関係から、天頂到達残り時間ｔ_ｒｅｍが、次式のように求まる。

天頂付近での過大な角速度指令によるジンバルロックを避けるため、天頂付近では最も天頂に近接した位置を視軸が通過する補正軌道を与える。これは天頂範囲に入ったときの視軸を最も天頂に近接した位置に移動させる軌道であるため、第１のジンバル１１１の補正角速度指令値は、次式のように表される。

角速度補正部１７４は、第１のジンバル１１１についてこのようにして求まった補正角速度指令値を用いて、天頂付近の角速度指令の補正を行う。角速度補正部１７４は、補正範囲内であるかどうかを判定し、補正範囲外の場合には、カメラセンサ１４０から取得した画像によって追尾誤差検出部１７５が検出した追尾誤差検出値に基づき角速度指令生成部１５０が算出した角速度指令値

をそのまま適用し、補正範囲内の場合には、移動速度推定値に基づく補正角速度指令値

を適用する。第２のジンバル１２１に関しては、過大な角速度指令は生じないため、そのまま

を適用する。

駆動制御部１６０が、このようにして角速度補正部１７４で生成された各角速度センサ１１３，１２３に対応する角速度指令値と、第１、第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように制御指令値を計算し、この制御指令値に従いジンバル機構が移動体を追尾するように駆動する。ここで、ジンバル機構は、第１、第２のジンバル１１１，１２１と第１、第２の駆動部１１２，１２２を含む。

以上のように移動体画像追尾装置が作動することにより、天頂付近で過大な角速度指令とならないため、天頂付近でも適切な追尾駆動をするための角速度指令値を生成することが可能となる。

次に、カメラセンサが取得した画像の視野と移動体追尾について図４を参照して説明する。
図４は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。移動体がカメラ視野内で捉えている場合には、カメラ中心からのずれ量として２方向の追尾誤差検出値（ΔＸ，ΔＹ）が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差は小さいことが望ましいが、追尾誤差が大きくともカメラ視野内に入っている限り、２軸ジンバルを駆動して移動体を追尾することができる。

次に、天頂を付近から離れる場合の角速度指令の補正について、図５、図６を参照して説明する。
図５は、移動体の軌跡と補正角速度駆動による視軸の軌跡の概要を表した図である。３次元の空間で表すと、２軸ジンバルにより半球状の全方向に渡って視軸を指向することができる。これに対して、典型的な一例として移動体は天頂よりわずかにずれた位置を正面から背面に渡って移動する場合を考える。この図５において、天頂から補正範囲角度閾値θ_２ｔの領域である補正範囲５００内が補正を適用する範囲となる。図５で移動体が移動してくる正面方向をゼロ方向と呼ぶ。

図６は、天頂方向から２次元平面として、図５の補正範囲５００を拡大して表した図である。この一例では移動体が下方（ゼロ方向）より上方へ移動する場合である。下方より移動体を追尾して、補正範囲に入った場合、駆動制御部１６０は、第１のジンバル１１１の角度をθ_ｉ、第１のジンバル１１１の角速度をω_ｉとして保持し、第１のジンバル１１１を補正角速度指令値により駆動する。この場合では、視軸が天頂に向かって移動するためには、第１のジンバル１１１はθ_ｉ度だけゼロ方向に移動する（第１のジンバル１１１の角度は０）とともに、第２のジンバル１２１は９０度に移動する。本実施形態では、視軸が最も天頂に近接した位置に到達後は、補正範囲進入時の視軸方向と、天頂に対して反対の方向へ視軸を向ける（第１のジンバル１１１の角度は−θ_ｉ）。これは、補正角速度指令により第１のジンバル１１１がゼロ方向からθ_ｉ度移動したことから、同移動時間で、ゼロ方向からθ_ｉ度マイナス方向に移動させる軌道を与えることとなる。したがって、天頂に視軸を移動させるための補正角速度指令をそのまま適用できる。第２のジンバル１２１の角度θ_２が

となったとき、角速度補正部１７４が、補正範囲で使用している補正角速度指令値から、カメラセンサ１４０から取得した画像によって追尾誤差検出部１７５が検出した追尾誤差検出値に基づき角速度指令生成部１５０が算出した角速度指令値に変更することで、天頂より離れる場合でも追尾が可能となる。

次に、補正角速度指令生成部１７３、角速度補正部１７４の動作の一例について図７を参照して説明する。
補正角速度指令生成部１７３は、角度センサ１２４から取得した第２のジンバル１２１の角度検出値によって目標が天頂補正範囲内に進入したかどうかを判定する（ステップＳ７０１）。進入していないと判定した場合には天頂補正範囲外であるとして場合には、角速度補正部１７４は、角速度指令生成部１５０による角速度指令値を選択して、駆動制御部１６０へ角速度指令値を渡す（ステップＳ７０３）。ステップＳ７０３では、角速度補正部１７４が天頂補正範囲内にあるかどうかを判定している。この判定は補正角速度指令生成部１７３と角速度補正部１７４で同一のアルゴリズムによって判定されている。

一方、ステップＳ７０１で補正範囲内に進入したと判定した場合には、補正角速度指令生成部１７３は、角度センサ１１４から取得した第１のジンバル１１１の進入角度、ならびに角速度センサ１１３から取得した第１のジンバル１１１の進入角速度を保持し（ステップＳ７０２）、保持した角速度の値がある閾値以下であるかどうかを判定する（ステップＳ７０４）。閾値以下であると判定した場合には、補正角速度指令生成部１７３は移動体速度推定部１７２から移動体速度推定値を取得して、補正角速度指令値を計算する（ステップＳ７０５）。ステップＳ７０２で保持した角速度が閾値よりも大きいと判定された場合には、角速度補正部１７４は角速度指令生成部１５０による角速度指令値を選択する（ステップＳ７０３）。こうすることで、天頂補正範囲内であっても、第１のジンバル１１１が高速で回転しているときには、補正の適用を制限することができる。

角速度補正部１７４が、目標が天頂補正範囲内であるかどうかを判定する（ステップＳ７０６）。角速度補正部１７４は、天頂補正範囲内であり、かつ、第１のジンバル１１１の角速度が閾値以下と判定された場合には、ステップＳ７０５で計算した補正角速度指令値を選択して、この補正角速度指令値を駆動制御部１６０へ渡す（ステップＳ７０７）。ステップＳ７０７の後にステップＳ７０６へ戻る。ステップＳ７０６は例えば所定の時間間隔で動作する。補正角速度指令で駆動されている状態から、ステップＳ７０６で天頂補正範囲外であると判定された場合には、角速度補正部１７４が角速度指令生成部１５０による角速度指令値を選択して、再び天頂補正範囲内に進入したかどうかの判定ステップＳ７０１へと戻す（ステップＳ７０３）。

次に、角速度補正部１７４が天頂補正範囲内であるかどうかによって追尾誤差による角速度指令値または補正角速度指令値を出力する場合の角速度の時間変動について図８を参照して説明する。
角速度補正部１７４は天頂補正範囲外では追尾誤差検出値（ΔＸ，ΔＹ）による角速度指令を選択し、駆動制御部１６０が対象物を追尾するために第１のジンバル１１１を回転させる。天頂補正範囲内に入ると、角速度補正部１７４は補正角速度指令を選択する。このとき、第１のジンバル１１１がθ_ｉ回転した状態で天頂補正範囲内となった場合には、この回転角度θ_ｉをゼロ方向に移動し、さらにマイナス方向にθ_ｉ回転する補正角速度指令が出力される。すなわち、補正角速度指令値である角速度で第１のジンバル１１１が回転している時間は、２θ_２ｔ／ω_ｔである。この後、天頂補正範囲外となった場合には、再び追尾誤差検出値による角速度指令が出力される。

次に、移動体は天頂よりわずかにずれた位置を正面から背面に渡って移動する場合に、本実施形態の移動体画像追尾装置による補正制御の適用有無によって、追尾誤差の変化の一例について図９、図１０を参照して説明する。

天頂付近を通過する場合、天頂に近いほどジンバルは正面から平面にＡｚ軸を大きく回転させる動作が伴い、ジンバル駆動特性の限界から、移動体の追尾特性が悪化する可能性が高い。

図９は、第１、第２のジンバル１１１，１２１それぞれに対して、駆動制御部１６０に与えられる角速度指令値を、それぞれ時間に対して図示したものである。第１のジンバル１１１がＡｚ、第２のジンバル１２１がＥｌに対応している。補正なしの場合（図９（ａ））では、天頂付近（Ｔｉｍｅが５．５［ｓ］付近）で、非常に大きな角速度指令値が与えられているが、ジンバル駆動特性の限界から指令に追従することができない。これに対して、補正ありの場合（図９（ｂ））では、ジンバル駆動特性で十二分に追尾することができる角速度指令値となっている。顕著な特徴として、補正ありにすることで天頂付近では、Ａｚは、正面側の指向姿勢から、視軸が天頂を一旦指向し、背面側で天頂に対して反対の指向姿勢となるように一定の角速度指令で駆動されている。これに対してＥｌは、ほぼ一定角速度で駆動されており、正面から背面への移動体追尾に対して、Ｅｌは０度から１８０度と変化して追尾していることを示している。

図１０は、カメラ追尾誤差検出値のｘ成分とｙ成分をそれぞれ時間に対して図示したものである。補正なしの場合（図１０（ａ））では、非常に大きな角速度指令値となるため、ジンバル駆動特性の限界から追尾誤差検出値が大きく変化している。これに対して、補正ありの場合（図１０（ｂ））では、わずかの追尾誤差検出値で移動体を追尾していることを示している。顕著な特徴として、Ｔｉｍｅが５．５［ｓ］付近での天頂通過時に、最大の追尾誤差となっている。しかし、カメラ視野に十分収まっており、安定した追尾が可能である。

以上の第１の実施形態によれば、天頂補正範囲内である場合に補正制御を行うことで、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することが可能となる。

（第２の実施形態）
本実施形態の移動体画像追尾装置の補正制御系では、天頂を付近から離れる場合の角速度指令を、カメラセンサ１４０から取得した画像によって追尾誤差検出部１７５が検出した追尾誤差検出値に基づく角速度指令で与える。本実施形態の移動体画像追尾装置のブロック図は第１の実施形態の図と同様である。

補正角速度指令生成部１７３、角速度補正部１７４の動作の一例について図１１を参照して説明する。なお、最も天頂に近接した位置に到達するまでは第１の実施形態と同様であるため説明を省略する。
補正角速度指令生成部１７３が補正範囲内に進入したと判定した場合には、進入角度及び進入角速度を保持し、移動体速度推定部１７２から移動体速度推定値を取得して、補正角速度指令を計算する（ステップＳ７０５）。角速度補正部１７４が、目標が最も天頂に近接した位置を未通過であるかどうか判定する（ステップＳ１１０１）。ステップＳ１１０１で最も天頂に近接した位置を未通過であると判定された場合には、角速度補正部１７４は補正角速度指令を選択して、駆動制御部１６０へ渡す（ステップＳ７０７）。その後、ステップＳ１１０１に処理を第１の実施形態と同様に戻す。角速度補正部１７４は、補正角速度指令で駆動されている状態から、最も天頂に近接した位置を通過したと判定した場合には、角速度指令生成部１５０による角速度指令値を選択して、この角速度指令値を駆動制御部１６０へ渡す（ステップＳ７０３）。ステップＳ７０３の後ステップＳ７０１に戻る。

最も天頂に近接した位置を通過する時には、追尾誤差はＸ成分に最大量発生しており、第１のジンバル１１１に対して非常に大きな角速度指令値が発生する。ジンバル駆動特性の制限により角速度指令に追従できないが、追尾誤差を低減させるために、最大角速度で駆動される。つまり、補正なしの場合では、第１のジンバル１１１に対しては正面から背面に瞬時に回転させるため、最大角速度が長い時間に渡って与えられることになるが、補正ありの場合では、わずかな追尾誤差の抑圧に対して短時間の最大角速度が与えられる。したがって、ジンバル駆動特性の最大能力で短時間の追尾誤差を低減駆動となるため、ジンバル駆動への負荷が小さく、追尾誤差の整定時間を短縮することが可能となる。このとき第２のジンバル１２１に対しては、最も天頂に近接した位置を通過しているため、正面から背面への移動体追尾に対して、Ｅｌは０度から１８０度の方向へと変化して追尾する。

以上の第２の実施形態によれば、天頂補正範囲内であり、かつ、最も天頂に近接した位置を未通過である場合に補正制御を行うことで、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することが可能となる。

（第３の実施形態）
本実施形態の移動体画像追尾装置の補正制御系では、目標が天頂補正範囲内に進入した場合にから目標が最も天頂に近接した位置を経由して天頂補正範囲を出るときまで、目標が最も天頂に近接した位置に向かって徐々に角速度を変化させる。本実施形態の移動体画像追尾装置のブロック図は第１の実施形態の図と同様である。

補正角速度指令生成部１７３は、移動体速度推定値ω_ｔを用いて、補正角速度指令の生成を行う。補正角速度指令を適用する補正範囲を設定する補正範囲角度閾値θ_２ｔに対して角度θ_２が

となったときの第１のジンバル１１１の角度をθ_ｉ、第１のジンバル１１１の角速度をω_ｉとして保持する。そして、移動体速度推定値と、天頂までの残り角度の関係から、天頂到達残り時間ｔ_ｒｅｍが、次式のように求まる。

天頂付近での過大な角速度指令によるジンバルロックを避けるため、天頂付近では天頂を視軸が通過する補正軌道を与える。これは天頂範囲に入ったときの視軸を天頂に移動させ、その後、天頂範囲外に出るときには視軸を進入時に天頂に対して対向する方向へ指向させる軌道である。つまり、２＊ｔ_ｒｅｍ時間で２＊θ_ｉ回転する軌道となる。ここまでは、第１の実施形態での補正角速度指令生成部１７３の動作と同様である。

この軌道において、直線的に加減速する場合には、最大補正角速度は、次式のように表される。

最も天頂に近接した位置でこの最大補正角速度となるような角速度指令は、第２のジンバル１２１の角度θ_２に応じて加減速する場合には、角加速度が次式のように表される。

これを用いると、補正角速度指令は、次式のようになる。

角速度補正部１７４は、このようにして求まった補正角速度指令値を用いて、天頂付近の角速度指令の補正を行う。

次に、本実施形態での角速度補正部１７４が天頂補正範囲内であるかどうかによって追尾誤差による角速度指令値または補正角速度指令値を出力する場合の角速度の時間変動について図１２を参照して説明する。
角速度補正部１７４は天頂補正範囲外では追尾誤差検出値（ΔＸ，ΔＹ）による角速度指令を選択し、駆動制御部１６０が対象物を追尾するために第１のジンバル１１１を回転させる。天頂補正範囲内に入ると、角速度補正部１７４は補正角速度指令を選択する。このとき、第１のジンバル１１１がθ_ｉ回転した状態で天頂補正範囲内となった場合には、この回転角度θ_ｉをゼロ方向に移動し、さらにマイナス方向にθ_ｉ回転するような加減速する補正角速度指令が出力される。この後、天頂補正範囲外となった場合には、再び追尾誤差による角速度指令が出力される。

以上の第３の実施形態によれば、目標が天頂補正範囲内に進入した場合にから目標が最も天頂に近接した位置を経由して天頂補正範囲を出るときまで、目標が最も天頂に近接した位置に向かって徐々に角速度を変化させることにより、ジンバル機構に過度な負担を強いることがなくなる。これにより例えばジンバル機構が故障しにくくなるといった効果がある。これにより、構造が簡易な２軸ジンバル構造で、過大なモータ性能を必要とせず、天頂付近の追尾が可能となる。

以上のような実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、２軸ジンバル構造での全方位に渡って追尾が可能であり、移動体に搭載される追尾カメラシステムに有効である。

以上に示した実施形態によれば、２軸ジンバル構造であっても、第２のジンバルが正面から背面に指向可能な可動範囲を有し、天頂付近では、角度データに基づいて移動体速度推定値を計算し、補正角速度指令で駆動することで、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することが可能となる。また、新たに角度センサ、角速度センサ等を付与する必要がなく、装置のコストを増やすことなく、追尾特性を改善することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

実施形態の移動体画像追尾装置のブロック図。図１の第１のジンバル、第２のジンバル、カメラセンサを示す模式図。図１の補正制御系のブロック図。図１のカメラセンサが取得するカメラ画像の視野と移動体追尾の概要を示した図。移動体の軌跡と補正角速度駆動による視軸の軌跡を示した半球図。図５の補正範囲付近の拡大図。第１の実施形態での図１の補正角速度指令生成部、角速度補正部の動作の一例を示すフローチャート。第１の実施形態での天頂補正範囲内であるかどうかによる第１のジンバルの角速度の時間履歴を示す図。補正のありなしによる第１のジンバルと第２のジンバルの角速度の時間履歴を示す図。補正のありなしによる追尾誤差検出値のｘ成分とｙ成分の時間履歴を示す図。第２の実施形態での図１の補正角速度指令生成部、角速度補正部の動作の一例を示すフローチャート。第３の実施形態での天頂補正範囲内であるかどうかによる第１のジンバルの角速度の時間履歴を示す図。

符号の説明

１１０・・・第１のジンバル軸、１１１・・・第１のジンバル、１１２・・・第１の駆動部、１１３・・・第１の角速度センサ、１１４・・・第１の角度センサ、１２０・・・第２のジンバル軸、１２１・・・第２のジンバル、１２２・・・第２の駆動部、１２３・・・第２の角速度センサ、１２４・・・第２の角度センサ、１４０・・・カメラセンサ、１５０・・・角速度指令生成部、１５１・・・第１の指令算出部、１５２・・・第２の指令算出部、１６０・・・駆動制御部、１６１・・・第１のサーボ制御部、１６２・・・第２のサーボ制御部、１７１・・・微分信号処理部、１７２・・・移動体速度推定部、１７３・・・補正角速度指令生成部、１７４・・・角速度補正部、１７５・・・追尾誤差検出部、５００・・・補正範囲。

Claims

垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、
前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段と、
前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段と、
前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、
前記第１回転手段の姿勢を示す第１角度を検出する第２検出手段と、
前記第２回転手段の姿勢を示す第２角度を検出する第３検出手段と、
前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を算出する第１算出手段と、
前記第２角度を参照して、天頂からの補正範囲角度閾値内である補正範囲に前記移動体が含まれているかどうかを判定する判定手段と、
前記移動体が前記補正範囲に含まれている期間を前記補正範囲角度閾値と前記移動速度から算出する第２算出手段と、
前記移動体が前記補正範囲に進入した時の前記第１角度を進入角度として検出する第４検出手段と、
前記第１角度及び前記第２角度の時間微分により前記移動体の移動速度を算出する第３算出手段と、
前記移動体が前記補正範囲に含まれていないと判定された場合には前記第１角速度及び前記第２角速度を角速度指令値として設定し、前記移動体が前記補正範囲に含まれていると判定された場合には前記移動体が移動してくる正面方向であるゼロ方向に前記第１回転手段を回転させる、前記進入角度を前記期間で除した値の第３角速度を前記第１回転手段の角速度とし、該第３角速度及び前記第２角速度を角速度指令値として設定する設定手段と、
前記第１回転手段及び前記第２回転手段それぞれの第４角速度及び第５角速度を検出する第５検出手段と、
前記第１回転手段に対応する前記角速度指令値に含まれる角速度と前記第４角速度との差がなくなるように、かつ、前記第２回転手段に対応する前記角速度指令値に含まれる角速度と前記第５角速度との差がなくなるように前記駆動手段を制御する制御手段と、を具備することを特徴とする移動体画像追尾装置。
前記第２回転手段は、前記エレベーション軸を中心として、水平方向の正面から天頂を経て背面に回転が可能な、少なくとも１８０度以上の可動範囲を有することを特徴とする請求項１に記載の移動体画像追尾装置。
前記設定手段は、前記移動体が前記補正範囲に含まれていると判定された場合には、移動体が最も天頂に近接するのに合わせ、前記補正範囲に進入した姿勢状態からアジマス軸０度、かつエレベーション軸９０度となる軌道になるように前記第３角速度及び前記第２角速度を設定することを特徴とする請求項１または請求項２に記載の移動体画像追尾装置。
前記補正範囲角度閾値は、天頂姿勢時エレベーション角度と、前記第１角速度及び前記第２角速度とを含む角速度指令値で追尾可能な最大エレベーション角度との差から決定されることを特徴とする請求項１から請求項３のいずれか１項に記載の移動体画像追尾装置。
前記第２角度を参照して、前記移動体が最も天頂に近接したかどうかを判定する天頂判定手段をさらに具備し、
前記設定手段は、前記移動体が前記補正範囲に含まれていると判定された場合に前記進入角度から前記ゼロ方向に前記第１回転手段を回転させ、さらに、前記移動体が最も天頂に近接したと判定された場合には、該補正範囲内では、前記進入角度と前記ゼロ方向に関して対称な角度まで前記第１回転手段を回転させる前記第３角速度を設定することを特徴とする請求項１から請求項４のいずれか１項に記載の移動体画像追尾装置。
垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、
前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段と、
前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段と、
前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、
前記第１回転手段の姿勢を示す第１角度を検出する第２検出手段と、
前記第２回転手段の姿勢を示す第２角度を検出する第３検出手段と、
前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を算出する第１算出手段と、
前記第２角度を参照して、天頂からの補正範囲角度閾値内である補正範囲に前記移動体が含まれているかどうか及び前記移動体が最も天頂に近接したかどうかを判定する判定手段と、
前記移動体が前記補正範囲に含まれている期間を前記補正範囲角度閾値と前記移動速度から算出する第２算出手段と、
前記移動体が前記補正範囲に進入した時の前記第１角度を進入角度として検出する第４検出手段と、
前記第１角度及び前記第２角度の時間微分により前記移動体の移動速度を算出する第３算出手段と、
前記移動体が前記補正範囲に含まれていないと判定された場合、または、前記移動体が前記補正範囲に含まれていると判定されていて、かつ、前記移動体が天頂を通過したと判定された場合には、前記第１角速度及び前記第２角速度を角速度指令値として設定し、前記移動体が前記補正範囲に含まれていると判定された場合に前記進入角度から前記ゼロ方向に前記第１回転手段を回転させ、さらに、前記移動体が最も天頂に近接していないと判定された場合には、前記移動体が移動してくる正面方向であるゼロ方向に前記第１回転手段を回転させる、前記進入角度を前記期間で除した値の第３角速度を前記第１回転手段の角速度とし、該第３角速度及び前記第２角速度を角速度指令値として設定する設定手段と、
前記第１回転手段及び前記第２回転手段それぞれの第４角速度及び第５角速度を検出する第５検出手段と、
前記第１回転手段に対応する前記角速度指令値に含まれる角速度と前記第４角速度との差がなくなるように、かつ、前記第２回転手段に対応する前記角速度指令値に含まれる角速度と前記第５角速度との差がなくなるように前記駆動手段を制御する制御手段と、を具備することを特徴とする移動体画像追尾装置。
垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段を用意し、
前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段を用意し、
前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段を用意し、
前記第２回転手段に支持され、移動体を撮影して画像データを取得し、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出し、
前記第１回転手段の姿勢を示す第１角度を検出し、
前記第２回転手段の姿勢を示す第２角度を検出し、
前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を算出し、
前記第２角度を参照して、天頂からの補正範囲角度閾値内である補正範囲に前記移動体が含まれているかどうかを判定し、
前記移動体が前記補正範囲に含まれている期間を前記補正範囲角度閾値と前記移動速度から算出し、
前記移動体が前記補正範囲に進入した時の前記第１角度を進入角度として検出し、
前記第１角度及び前記第２角度の時間微分により前記移動体の移動速度を算出し、
前記移動体が前記補正範囲に含まれていないと判定された場合には前記第１角速度及び前記第２角速度を角速度指令値として設定し、前記移動体が前記補正範囲に含まれていると判定された場合には前記移動体が移動してくる正面方向であるゼロ方向に前記第１回転手段を回転させる、前記進入角度を前記期間で除した値の第３角速度を前記第１回転手段の角速度とし、該第３角速度及び前記第２角速度を角速度指令値として設定し、
前記第１回転手段及び前記第２回転手段それぞれの第４角速度及び第５角速度を検出し、
前記第１回転手段に対応する前記角速度指令値に含まれる角速度と前記第４角速度との差がなくなるように、かつ、前記第２回転手段に対応する前記角速度指令値に含まれる角速度と前記第５角速度との差がなくなるように前記駆動手段を制御することを特徴とする移動体画像追尾方法。
垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段を用意し、
前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段を用意し、
前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段を用意し、
前記第２回転手段に支持され、移動体を撮影して画像データを取得し、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出し、
前記第１回転手段の姿勢を示す第１角度を検出し、
前記第２回転手段の姿勢を示す第２角度を検出し、
前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を算出し、
前記第２角度を参照して、天頂からの補正範囲角度閾値内である補正範囲に前記移動体が含まれているかどうか及び前記移動体が最も天頂に近接したかどうかを判定し、
前記移動体が前記補正範囲に含まれている期間を前記補正範囲角度閾値と前記移動速度から算出し、
前記移動体が前記補正範囲に進入した時の前記第１角度を進入角度として検出し、
前記第１角度及び前記第２角度の時間微分により前記移動体の移動速度を算出し、
前記移動体が前記補正範囲に含まれていないと判定された場合、または、前記移動体が前記補正範囲に含まれていると判定された場合に前記進入角度から前記ゼロ方向に前記第１回転手段を回転させ、さらに、前記移動体が最も天頂に近接したと判定された場合には、前記第１角速度及び前記第２角速度を角速度指令値として設定し、前記移動体が前記補正範囲に含まれていると判定されていて、かつ、前記移動体が最も天頂に近接していないと判定された場合には、前記移動体が移動してくる正面方向であるゼロ方向に前記第１回転手段を回転させる、前記進入角度を前記期間で除した値の第３角速度を前記第１回転手段の角速度とし、該第３角速度及び前記第２角速度を角速度指令値として設定し、
前記第１回転手段及び前記第２回転手段それぞれの第４角速度及び第５角速度を検出し、
前記第１回転手段に対応する前記角速度指令値に含まれる角速度と前記第４角速度との差がなくなるように、かつ、前記第２回転手段に対応する前記角速度指令値に含まれる角速度と前記第５角速度との差がなくなるように前記駆動手段を制御することを特徴とする移動体画像追尾方法。