JP4570764B2

JP4570764B2 - 運動情報認識システム

Info

Publication number: JP4570764B2
Application number: JP2000366498A
Authority: JP
Inventors: 雄悟上田; 広司辻野
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-12-01
Filing date: 2000-12-01
Publication date: 2010-10-27
Anticipated expiration: 2020-12-01
Also published as: US6965694B2; US20020126897A1; JP2002170120A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識システムに関し、さらに詳しくはセンサ情報として画像のみを用いて、自己あるいは物体の回転運動を認識することができる運動情報認識システムに関する。
【０００２】
【従来の技術】
画像を用いたフィードバックシステムまたは自律移動ロボットの視覚支援における重要な要素技術の１つは、環境内の物体の運動情報を認識する技術である。このような運動認識技術は、静止した物体を基準として自己の姿勢検知または運動量の認知を可能とする。
【０００３】
従来技術の２次元画像を利用する運動認識では、時系列に撮像された２次元画像から対象となる物体を認識し、その対象物の向きや姿勢を判断して速度の検出を行っている。そのような認識技術は、大きく分けて、幾何モデルとの比較を行う方法と、画像照合に基づく方法とに分類することができる。
【０００４】
幾何モデルとの比較を行う方法は、対象物の幾何モデルをあらかじめ記憶し、取得画像の構造解析を行って、記憶した幾何モデルとの比較を行い対象物を認識する。幾何モデルとの比較を行う方法は、画像における対象物の形状が複雑な場合、対象物を正確にモデリングすることが困難であり、さらに幾何モデルの複雑さが計算コストを莫大に増加させるという問題を有する。
【０００５】
一方、画像照合に基づく方法は、対象物の様々な状態の画像をあらかじめ記憶し、記憶した画像と取得画像とを照合するので、形状の複雑さに依存しないという利点を有する。しかしながら、この方法は、画像照合のために多様な画像をテンプレートとしてあらかじめ大量に記憶しなければならないので、記憶容量の増加を招く結果となる。このため、そのような問題点を解決するためのさまざまなアプローチが試みられてきた。
【０００６】
そのようなアプローチの１つは、主成分分析を利用して画像照合を行う技術である。主成分分析（ＰＣＡ）は、相関関係にある多数の変数を合成（圧縮）して、少数の変数に要約することができる。したがって、主成分分析を用いた画像照合では、照合に使用される多様な画像を固有ベクトルとして圧縮し、記憶しなければならないデータ数を低減する。
【０００７】
そのような主成分分析を用いた従来技術の例は、村瀬らによる「２次元照合による３次元物体認識−パラメトリック固有空間法−（電子情報通信学会誌 D-II、Vol.J77-D-II,Ｎo.11,p2179-2187,1994/9）」に記載されている。この論文によれば、主成分分析を用いることにより、３次元物体を２次元画像の集合体として少ない記憶容量で記憶することが可能となる。同様の固有空間を用いた物体認識技術は、天野らによる「固有空間照合に基づく距離画像からの物体の姿勢抽出−形状モデルを用いた仮想距離画像生成−（画像ラボ Vol.9,Ｎo.1,10-14）」、および片岡らによる特開平１１−２５２６９号公報「顔画像認識装置及びその方法」に記載されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述した主成分分析を用いた従来技術は、被写体の向き、または姿勢を画像から認識することを意図しており、固有空間を用いて直接的に物体の運動情報（運動方向、速度など）を認識しようとするものではない。そのため、被写体に関する運動情報を認識しようとする場合、被写体の向き、または姿勢を画像ごとに認識し、その認識結果から被写体の運動情報を判断しなければならない。そのようなシステムは、演算コストが増大し、複雑さも増大する傾向がある。
【０００９】
したがって、この発明は、画像から直接的に運動情報を求めることによって記憶容量および計算コストを低減した、高速で簡単な運動情報認識システムを提供することを課題とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、この発明の運動情報認識システムは、運動する被写体の時系列画像を生成する撮像手段と、前記被写体の時系列画像を取り込んで、画像ベクトルを生成する画像取込手段と、前記画像取込手段により生成されるサンプル被写体の画像ベクトルから主成分分析により複数の固有ベクトルを求める主成分分析手段と、前記複数の固有ベクトルを記憶する記憶手段と、前記画像取込手段により生成される認識対象の被写体の画像ベクトルおよび前記記憶手段に記憶された複数の固有ベクトルの内積演算を行う内積演算手段と、内積演算の結果に基づき前記認識対象の被写体の運動情報を求める算出手段と、を備える。
【００１１】
この発明によれば、固有ベクトルから被写体の運動情報を直接的に求めるで、計算コストが低減され高速で簡単な運動情報認識システムを提供することができる。
【００１２】
この発明の１つの形態によると、前記運動するサンプル被写体の画像ベクトルおよび前記運動する認識対象の被写体の画像ベクトルは、時間的に連続な２つの画像から生成される。
【００１３】
この形態によると、時間的に連続な少なくとも２つの画像を１つの画像に組み合わせることにより、被写体の速度を１つの画像に表現することができるので、運動情報認識の精度を向上することができる。
【００１４】
この発明のもう１つの形態によると、運動情報認識システムは、最大の固有値を持つ第１の固有ベクトルと、その次に大きな固有値を持つ第２の固有ベクトルを選択する手段を備える。
【００１５】
この形態によると、複数の固有ベクトルのうち、もとの全学習画像におけるサンプル被写体の特徴および運動情報を、最もよい形で含む固有ベクトルを選択して使用するので、演算処理の量を低減することができ、記憶に必要なメモリ容量を低減することができる。
【００１６】
さらにもう１つの形態によると、前記算出手段は、前記認識対象の被写体の画像ベクトルと前記第１の固有ベクトルとの内積演算結果g_１（t）、および前記認識対象の被写体の画像ベクトルと前記第２の固有ベクトルとの内積演算結果g_２（t）の位相に基づいて、前記認識対象の被写体の角速度を求める。前記認識対象の被写体の角速度は、g₁（t）がg₂（t）に対して位相が遅れている場合、数３に基づいて求められ、g₁（t）がg₂（t）に対して位相が進んでいる場合には、数４に基づいて求められる。
【数３】

【数４】

【００１７】
この形態によれば、運動情報認識システムは、認識対象の被写体の回転運動の角速度および回転方向を簡単かつ高速に認識することができる。
【００１８】
【発明の実施の形態】
本発明の一実施例を図面を参照して説明する。図１は、本発明による運動情報認識システムの構成例を示す。運動情報認識システムは、撮像部１５およびデータ処理部１７を備える。撮像部１５は、被写体の連続画像を高速で撮像し、撮像した画像の画像信号をデータ処理部１７に送信する。データ処理部１７は、撮像部１５から送信された画像信号を処理して被写体１１の運動情報を求める。
【００１９】
撮像部１５の１つの例は、被写体の連続画像を高速で撮影することができる従来技術の高速度ビデオカメラである。撮像部１５は、あらかじめ設定されたサンプリング時間毎（例えば４ｍｓ毎）に被写体を撮像し、被写体の時系列画像を生成する。撮像部１５で生成された時系列画像は、任意の相互接続手段によって画像信号としてデータ処理部１７に送信される。撮像部１５から送信される画像信号は、アナログ画像信号か、またはデジタル画像信号として送信される。
【００２０】
撮像部１５から送信された画像信号を処理するデータ処理部１７は、画像取込部１９、主成分分析部２１、固有ベクトル・データベース２３、内積演算部２５、角度算出部２７を備える。画像取込部１９は、撮像部１５に接続され、撮像部１５からの画像信号を受信し、後述する演算において使用する画像データを生成する。主成分分析部２１は、学習工程における画像に対して主成分分析を実行し、固有値および固有ベクトルを求める。固有ベクトル・データベース２３は、画像から求められた固有値および固有ベクトルをデータベースとして記憶する。内積演算部２５は、認識工程における画像とデータベースに記憶された２つの固有ベクトルとの内積演算を実行する。角速度算出部２７は、内積演算により得られた２つの相関値から角速度を求める。
【００２１】
本発明による運動情報認識システムは、学習工程および認識工程の２つの工程を経て被写体の運動情報を認識する。この明細書では、学習工程においてサンプルとして使用される被写体を「サンプル被写体」として参照し、認識工程において運動情報の認識対象となる被写体を「認識対象の被写体」として参照する。後述するように、この発明のシステムは、サンプル被写体の運動情報をあらかじめ学習工程において学習し、認識工程において、その学習した運動情報から認識対象の被写体の運動情報を求める。したがって、この発明による運動情報認識システムの運動情報の認識範囲は、学習工程でサンプルとして使用されたサンプル被写体の画像に依存する。しかしながら、サンプル被写体の画像がその運動情報も含めて一旦学習されたならば、認識工程で使用される認識対象の画像は、学習工程で使用されるサンプル被写体の画像とは異なる画像でよい。この実施例における運動情報は、主に画像内の被写体の回転運動（角速度、回転の向き）を取り扱う。
【００２２】
学習工程は、認識対象の被写体の運動情報を求めるため、認識工程で使用される固有ベクトルを作成して記憶する工程である。学習工程では、被写体のサンプル画像が撮像され、それらの時系列画像サンプルから主成分分析を実行し、固有値および固有ベクトルが固有ベクトル・データベースとして記憶される。認識工程は、学習工程で作成された固有ベクトルを使用して被写体の運動情報を認識する工程である。この工程では、認識対象となる被写体の時系列画像と固有ベクトルとの内積演算を行い、その演算結果から被写体の角速度および回転方向を算出する。
【００２３】
図１に示す被写体１１は、本システムおける認識対象の被写体の１つの例であり、サンプル被写体の例でもある。これらの被写体は、画像内において回転運動を識別することができる形状的特徴を有していれば、どのような形状でもよい。この実施例では、被写体は、角速度の算出方法を具体的に説明するために、図１の１１に示すような単純なパターンとし、学習工程と認識工程とで同じパターンが使用された。図１の１１は、被写体を正面から見た図であり、図１の１３は、同じ被写体１１が撮像部１５に対面している図を示す。被写体１１は、モータ（図示せず）に連結され、モータによって回転速度を可変制御される。
【００２４】
本発明のシステムは、先に述べたように学習工程における学習に応じて、角速度＞０の状態だけでなく、角速度＝０の状態（すなわち静止状態）も認識することができ、さらに回転方向も認識することができる。この実施例では、認識対象とされる角速度は、０ｒｐｍから３２６ｒｐｍの範囲とする。したがって、その測定範囲に対応する被写体１１の運動情報が本発明のシステムによって、あらかじめ学習される。この実施例における学習工程を以下に詳細に説明する。
【００２５】
学習工程は、サンプル被写体の画像取得から始まる。撮像部１５に対して相対的に回転運動するサンプル被写体１１は、撮像部１５によって、あらかじめ定めたサンプリング時間毎に撮像される。このサンプリング時間は、サンプル被写体１１の角速度に関わらず一定で構わないが、角速度算出のための十分な数の画像を得るためにサンプル被写体の回転周期よりも十分小さな時間に設定されなければならない。本実施例では、サンプリング時間を４ｍｓとしたので、１秒間に２５０個の画像が得られる。認識対象の角速度範囲は、０ｒｐｍから３２６ｒｐｍであるので、このサンプリング時間は、回転周期の間に十分な数の画像を得ることが可能である。
【００２６】
この実施例において、サンプル被写体１１は、認識対象の角速度範囲に対応するために、０ｒｐｍから３２６ｒｐｍの間の１０段階の角速度（２３、４６、６９、９２、１１８、１４２、１６７、１９０、２１３、３２６ｒｐｍ）での回転運動を撮像された。各段階において、４ｍｓ毎に３４０個の時系列画像が撮像されたので、１０段階の角速度では、総計３４００個の画像が得られる。これら１０段階の角速度で撮像された３４００個の時系列画像は、学習工程における主成分分析に使用される。この様にして得られた時系列画像の例を図２の（Ａ）で示す。図２において、生成された時系列画像の総数はｎで表される（したがって、この実施例の場合、ｎ＝３４００である）。
【００２７】
これらｎ個の画像は、データ処理部１７の画像取込部１９で後述する演算のために処理を施される。ｎ個の画像は、時間的に連続する２つの画像ごとに対にされ、それぞれ対となる画像が１つの画像に組み合わされる。この組み合わされた画像の例を図２の（Ｂ）に示す。図２の（Ｂ）の場合では、時間的に連続する２つの画像が１つの画像に組み合わされ、総計ｎ/２個の画像が生成される。本実施例では、３４００個の画像が使用されるので、これらの画像は、総計１７００個の画像になる。このように時間的に連続する画像が組み合わされることによって、２つの画像の速度差が１つの画像に表現され、後述する相関値の精度が高められる。
【００２８】
画像取込部１９において組み合わされた画像の形式は、複数の画素で表現されるラスタ画像である。それぞれの画素は各画像内の場所における画像情報を画素値として有する。本実施例において使用された図２に示す画像では、組み合わされた１つの画像に総計３０７２個の画素があり、各画素値がグレースケールで表される。
【００２９】
組み合わされた１つの画像における画素の総数をdで表し、各画素値をａ_ｍで表す場合、データ処理部１７において、１つの画像は、矢印３１に示すような順序で各画素値をベクトル要素とするd次元ベクトルとして表現される。したがって、時刻tにおける被写体の回転運動を表す第ｍ番目の画像は、数５で示すベクトルの形で表現される。ここでTは転置行列を表す。
【数５】

【００３０】
本明細書では、このように前処理され、学習工程で使用される画像を「学習画像」と呼び、学習画像から生成されたd次元ベクトルを「学習画像ベクトル」と呼ぶ。したがって、この実施例の場合、時刻tの被写体の回転運動を表現する１７００個の学習画像から、１７００個の３０７２次元の学習画像ベクトルが生成される。
【００３１】
学習画像が得られ、学習画像ベクトルが生成された場合、次に学習工程において主成分分析が主成分分析部２１により実行される。主成分分析の実行によって、後述する内積演算で使用される固有ベクトルを導くことができる。以下に主成分分析に関して詳細に説明する。
【００３２】
最初にすべての学習画像ベクトルは、数６にしたがって画像の明るさを正規化される。この演算処理は、個々の画像における撮像時の誤差要因の影響を可能な限り避けるために実行される。
【数６】

【００３３】
ここで学習画像ベクトルの数をj（すなわちj=n/2）で表すとき、正規化されたj個の学習画像ベクトルから、数７にしたがって、平均画像ベクトルcが計算される。
【数７】

【００３４】
次に正規化された各学習画像ベクトルと平均画像ベクトルcとの差が、数８にしたがって計算され、これらが数９における行列Xの各要素となる。
【数８】

【数９】

【００３５】
したがって、学習画像ベクトルの集合の共分散行列Qは、この行列Xを用いて数１０で計算される。
【数１０】

【００３６】
この共分散行列Qは、数１１に示すような固有方程式を作るために用いられる。学習画像ベクトルの固有空間は、この固有方程式（数１１）を解いて、j個の固有値（λ₁＞λ₂・・・＞λ_j）に対応する固有ベクトル（e₁, e₂, ・・・e_j）を基底ベクトルとすることにより得られる。
【数１１】

【００３７】
数１１の解となる固有値の中から最大の固有値λを第１固有値λ_１とし、これに対応する固有ベクトルe₁を第１固有ベクトルとする。その次に大きな固有値は、第２固有値λ_２とされ、これに対応する固有ベクトルe_２を第２固有ベクトルとする。以降、大きな固有値の順で第３、第４・・・第jの固有値および対応する固有ベクトルが定められる。したがって、本実施例の場合、主成分分析から１７００個の固有値、およびそれに対応する１７００個の固有ベクトルを得ることができる。
【００３８】
この様にして学習画像ベクトルから得られた各固有ベクトルは、もとの全学習画像におけるサンプル被写体の特徴およびサンプル被写体の運動情報を、圧縮した形で含んでいる。したがって、これらの固有ベクトルの中からいくつかを選択し、選択された固有ベクトルだけを運動情報認識のために使用すれば、記憶容量を大幅に低減することができる。この発明によるシステムでは、サンプル被写体画像に関する運動情報を固有ベクトルとしてあらかじめ学習し、認識対象の画像と直接的に演算することによって、認識対象の被写体の運動情報を認識することができる。したがって、複数の固有ベクトルの中から認識工程で使用する固有ベクトルを選択する方法に関して以下に説明する。
【００３９】
図３は、本実施例において使用された学習画像３３と、その学習画像３３から得られた固有ベクトル３５の例を示す。図３に示す固有ベクトル３５は、左から固有値の大きな順で２次元画像として示される。図３で示されるように固有ベクトルの２次元表現は、花の形に似た画像を示す。この花の花びらの数は、固有ベクトルの周波数を表現していると考えられる。図３から、固有値が大きいほど固有空間によって表現される周波数が低いことがわかる（すなわち、固有値の大きな固有ベクトル３７の花びらの数は、固有値の小さな固有ベクトル４１と比較して少ない）。さらに同じ周波数を示す固有空間は、直交して隣り合っている（すなわち、隣り合っている固有ベクトル３７と固有ベクトル３９の花びらの数が同じであり、花の向きが回転している）。ただし、隣り合う固有空間のどちらの位相が遅れているのか、進んでいるのかは、その対応する固有値の大小に依存していない。
【００４０】
低い周波数を表現している固有ベクトルは、高い周波数を表現している固有ベクトルと比較して、広範囲の周波数を表現することができる。そのため、低い周波数を表現している２つの固有ベクトルを角速度計算に使用するのが有利である。すなわち第１固有値に対応する第１固有ベクトルおよび第２固有値に対応する第２固有ベクトルを角速度算出に使用する。
【００４１】
この実施例では、主成分分析から得られた１７００個の固有値の大小が比較され、第１固有値および第２固有値が求められる。それから第１固有値に対応して第１固有ベクトル３７が演算され、第２固有値に対応して第２固有ベクトル３９が演算される。第１固有ベクトル３７および第２固有ベクトル３９は、認識工程における演算のために、固有ベクトル・データベース２３として記憶される。この様にして得られた固有ベクトル・データベース２３の情報量は、２×d（２×３０７２）であるので、もとの情報量のj×d（１７００×３０７２）と比較して大幅に削減される。
【００４２】
以下に認識工程を詳細に説明する。認識工程では、固有ベクトル・データベースにあらかじめ記憶された固有ベクトルを使用して、撮像部１５によって撮像された認識対象の被写体の運動情報を認識する。したがって、認識工程で認識する被写体は、学習工程において学習されたサンプル被写体と同じ形状的特徴を有し、認識することができる運動情報は、学習工程において学習されたサンプル被写体の画像に対応する運動情報である。
【００４３】
この実施例では、学習工程において使用したサンプル被写体と同じものを認識対象の被写体として使用し、認識工程を説明する。しかしながら、そこで使用される画像は、学習工程において使用した画像とは異なる画像を使用した。そのため認識工程で使用する画像は、画像のノイズや明るさなどの撮像状態の点で、学習工程で使用した学習画像とは異なっている。本発明のシステムは、学習画像を固有ベクトルとして学習するので、このような撮像状態の影響を受けにくいという利点を有する。
【００４４】
最初に、認識工程では、任意の回転運動をしている認識対象の被写体が撮像部１５によって撮像され、時系列画像が生成される。これらの画像は、撮像部１５から画像取込部１９まで学習工程と同じ一連の処理を施され、学習画像と同じ形式をしている。すなわち、あらかじめ定めたサンプリング時間毎に認識対象の被写体１１の画像が撮像部１５によって生成され、それらの画像が画像取込部１９に送られ、時間的に連続する２つの画像が１つの画像に組み合わされてd次元ベクトルとして表現される。この様にして得られた画像と画像ベクトルを、学習工程における学習画像および学習画像ベクトルと区別するために、「認識画像」および「認識画像ベクトル」として参照する。これらの認識画像ベクトルは、画像取込部１９から内積演算部２５に送られる。
【００４５】
内積演算部２５では、固有ベクトル・データベースから第１および第２の固有ベクトルe₁、e₂が取り込まれ、画像取込部１９から認識画像ベクトルが取り込まれる。内積演算部２５において、認識画像ベクトルと、第１固有ベクトルe₁および第２固有ベクトルe₂との内積演算がそれぞれ実行され、相関値が求められる。
ここで、ある時刻tに対応して撮像された画像の認識画像ベクトルをx_tで、認識画像ベクトルと第１固有ベクトルe₁との内積演算結果を第１の相関値g₁(t)で、同じ認識画像ベクトルと第２固有ベクトルe₂との内積演算結果を第２の相関値g₂(t)で表す。このとき、第１の相関値g₁(t)および第２の相関値g₂(t)は、それぞれ数１２で表すことができる。
【数１２】

【００４６】
図４は、横軸に時刻t、縦軸に第１および第２の固有ベクトルとの相関値g₁(t)、g_２(t)をプロットした図を示す。より具体的に説明すると、ある時刻t_mに対応して撮像された第ｍ番目の認識画像ベクトルと第１の固有ベクトルe₁との内積演算の結果が図４の４７としてプロットされ、同じ第ｍ番目の認識画像ベクトルと第２の固有ベクトルe_２との内積演算の結果が図４の４９としてプロットされる。同様にして、第（ｍ＋１）番目の画像の内積演算が、対応する時刻t_m+1に対してグラフ上にプロットされる（５１、５３）。この実施例においては、１７００個の認識画像が撮像され、１７００個の相関値g₁(t)、g₂(t)が、それぞれ対応する時刻tに対してグラフ上にプロットされる。
【００４７】
この様にしてグラフ上にプロットされた第１の相関値４３および第２の相関値４５は、図４に示すグラフからも明らかなように、それぞれの相関値に対して９０°位相のずれた周期関数とみなすことができる。したがって、これらの相関値をそれぞれ三角関数を用いて近似する。
【００４８】
先に述べたように２つの固有ベクトルのどちらの位相が進んでいるのかは、対応する固有値の大小に依存しない。すなわち、グラフ上にプロットされた第１の相関値と第２の相関値のどちらの位相が進んでいるのかは、固有値の大小関係からだけでは判断することができない。したがって、第１および第２の相関値をそれぞれ複数計算して、どちらの位相が遅れているのかを判断し、位相の遅れている相関値をｓｉｎ(ωt)で表し、位相の進んでいる相関値をｃｏｓ(ωt)で表す。
ここでωは角速度を表す。
【００４９】
したがって、図４に示すグラフの場合では、第１の相関値４３が第２の相関値４５に対して９０°位相が遅れているので、それぞれの相関値は数１３で近似される。もし、第１の相関値が第２の相関値に対して９０°位相が進んでいる場合には、それぞれの相関値は、数１４で近似される。
【数１３】

【数１４】

【００５０】
一般的に、ｓｉｎ(ωt)の時間tに関する微分の関係は、数１５で表されるので、角速度ωは、数１６で表すことができる。
【数１５】

【数１６】

【００５１】
したがって、数１６に数１３または数１４を代入すると、数１７または数１８がそれぞれ得られ、時刻tにおけるg₁(t)の傾きとg₂(t)の値から、時刻tにおける角速度ωを算出することができる。角速度算出部２７は、内積演算部２５における演算結果である相関値g₁(t)、g₂(t)を受け取り、どちらの位相が遅れているのかを判断し、その判断に基づいて数１７か数１８を選択し、角速度ωを算出する。
【数１７】

【数１８】

【００５２】
本実施例における図４の場合では、内積演算部２５において、第１の固有ベクトルおよび第２の固有ベクトルの内積が、１７００個の各認識画像ベクトルに関して演算され、１７００個の第１の相関値g₁(t)および１７００個の第２の相関値g₂(t)がそれぞれ得られる。角速度算出部２７において、第２の相関値の位相に対して第１の相関値の位相が遅れていると判断され、数１７が選択される。したがって、これらの第１の相関値g₁(t)の傾きが算出され、この傾きの値が第２の相関値g₂(t)で除算され、角速度ωが求められる。
【００５３】
本発明による運動情報認識システムを用いて実際に得られた角速度の算出結果を図５に示す。図５の５５は、認識対象の被写体１１に連結されたモータの消費電力を時間tに対してプロットした図である。認識対象の被写体１１の回転速度はモータの消費電力に比例して増加するので、この図は認識対象の被写体１１の回転速度に対応する。図５の５７は、内積演算部２５の演算結果を時間tに対してプロットした図である。モータの消費電力の増加に対応して、相関値g₁(t)、g₂(t)の振動周期が高くなっていくのが分かる。図５の５９は、内積演算部２５の演算結果から角速度算出部２７によって算出された角速度を時間tに対してプロットした図である。モータの消費電力の増加に比例して角速度ωが増加するのがわかる。この実施例では、学習工程の学習画像に対応した０ｒｐｍから３２６ｒｐｍの範囲における角速度を算出することができた。さらに回転の方向は、算出された角速度ωの符合が、反時計回りの場合には正、時計回りの場合には負となることにより判別可能である。
【００５４】
次にこのシステムにおいて使用される学習画像および認識画像に関して説明する。先に述べたように、画像取込部１９に取り込まれた複数の時系列画像は、時間的に連続する２つの画像ごとに対にされ組み合わされる。この様な処理を行う理由は、図６を参照して明らかになる。
【００５５】
図６は、学習工程および認識工程において、２つ組み合わせた画像を用いて演算した相関値（グラフ６１）と、１つの画像だけで演算した相関値（グラフ６３）とを示すグラフである。グラフ６３の場合、図６の６５に示すような部分で曲線にギザギザが現れる。このため、１つの画像だけで処理を行う場合、認識工程において、ギザギザとなった部分で適正な相関値の微分を行えなくなる。それに対してグラフ６１の場合、相関値の曲線は、非常になめらかであり、正しい相関値の微分を行うことができる。これは、２つの時間的に連続する画像を１つに組み合わせることによって、２つの画像の速度差が１つの画像に表現されるからである。したがって、このような画像の組み合わせ処理によって相関値の精度を高めることができる。本実施例では、時間的に連続する２つの画像を１つの画像に組み合わせて使用したが、このような速度に関する運動情報を１つの画像に表現するためには、時間的に連続する２つ以上の画像を利用することもできる。
【００５６】
この実施例では、０ｒｐｍから３２６ｒｐｍの角速度範囲における被写体の運動情報を認識したが、この発明による運動情報認識システムは、学習工程における学習画像に応じて任意の運動情報を認識することができる。したがって、このシステムは、様々な認識対象の運動情報をデータベースとして記憶することにより、運動情報認識を必要とするあらゆる分野に応用することが可能である。そのような例としては、自立移動ロボットの視覚支援、飛行機の着陸制御、ヘリコプターの姿勢制御、回転体の速度制御、タイヤの回転数制御、船舶のゆれ制御、などがある。
【００５７】
【発明の効果】
この発明によれば、システムに必要とされる記憶容量は、データベースに記憶される情報が固有ベクトルとして記憶されるので低減され、このシステムの処理時間は、運動情報が固有ベクトルと認識画像との直接的な内積演算によって得られるので計算コストが低く高速である。さらに、このシステムにおいて演算に使用される画像は、時間的に連続する少なくとも２つの画像を１つの画像に組み合わせた画像を使用するので、得られる運動情報の精度が高い。
【図面の簡単な説明】
【図１】図１は、本発明による運動情報認識システムの構成例を示す。
【図２】図２は、本発明による運動情報認識システムにおいて処理される時系列画像の例を示す。
【図３】図３は、本実施例において使用された学習画像３３と、その学習画像３３から得られた固有ベクトル３５の例を示す。
【図４】図４は、第１および第２の固有ベクトルとの相関値g₁(t)、g_２(t)を時間tに対してプロットした図を示す。
【図５】図５は、本発明による運動情報認識システムを用いて実際に得られた角速度ωの算出結果を示す。
【図６】図６は、学習工程および認識工程において、２つ組み合わせた画像を用いて演算した相関値（グラフ６１）と、１つの画像だけで演算した相関値（グラフ６３）とを示す。
【符号の説明】
１１被写体
１５撮像部
１７データ処理部
１９画像取込部
２１主成分分析部
２３固有ベクトル・データベース
２５内積演算部
２７角度算出

Claims

画像から被写体の運動情報を認識する運動情報認識システムであって、
運動する被写体の時系列画像を生成する撮像手段と、
前記被写体の時系列画像の画素を順に読み込んで、各画素値を要素とする画像ベクトルを生成する画像取込手段と、
前記画像取込手段により生成されるサンプル被写体の画像ベクトルから主成分分析により複数の固有ベクトルを求める主成分分析手段と、
前記複数の固有ベクトルを記憶する記憶手段と、
前記画像取込手段により生成される認識対象の被写体の画像ベクトルおよび前記記憶手段に記憶された少なくとも２つの固有ベクトルの内積演算を行う内積演算手段と、
前記内積演算により得られる少なくとも２つの相関値の一方の傾きを他方で除して前記認識対象の被写体の角速度を求める算出手段と、を含む前記運動情報認識システム。
前記サンプル被写体の画像ベクトルおよび前記認識対象の被写体の画像ベクトルが、時間的に連続な少なくとも２つの画像から生成される請求項１に記載の運動情報認識システム。
最大の固有値を持つ第１の固有ベクトルと、その次に大きな固有値を持つ第２の固有ベクトルを選択する手段を有し、前記内積演算手段は、該第１および第２の固有ベクトルと前記認識対象の被写体の画像ベクトルとの内積演算を行う請求項１に記載の運動情報認識システム。
前記算出手段は、前記認識対象の被写体の画像ベクトルと前記第１の固有ベクトルとの内積演算結果g₁（t）および前記認識対象の被写体の画像ベクトルと前記第２の固有ベクトルとの内積演算結果g₂（t）の位相に基づき、
g₁（t）がg₂（t）に対して位相が遅れている場合、次式に基づいて前記認識対象の被写体の角速度を求め、

g₁（t）がg₂（t）に対して位相が進んでいる場合、次式に基づいて前記認識対象の被写体の角速度を求める請求項３に記載の運動情報認識システム：