JP2006309510A - 動き検出装置およびそのプログラム - Google Patents

Abstract

【課題】映像中の動き領域を検出、特に、撮影条件、撮影環境、カメラの光電変換特性、及び時間方向に対してノイズにロバストな動きを検出する。
【解決手段】撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納する映像入力部１と、この複数のフレーム画像群から動きパターン画像を生成する動き検出部２と、生成された動きパターン画像から動き領域または動き方向を含む動き情報を算出する動き情報算出部３と、動き情報の算出結果を映像入力部にて入力された各フレーム画像に対応させて出力する動き情報出力部４とを備える。
【選択図】 図１

Description

本発明は、映像中の動き領域を検出するための動き検出装置およびそのプログラムに関する。

ユビキタスという言葉が一般に利用されているように、日常生活のさまざまな場面においてコンピュータが利用できる環境が整いつつある。このようなコンピュータが遍在しユーザの実世界の作業を支援するような環境を構築するために、特に、実世界中の動きといったリアルタイムでの状況・状態を検出、認識するための技術が求められている。

これらの問題を鑑み、画像情報を利用して映像中の動きを検出する技術が提供されている。これらの従来技術としては、画像差分による方法が知られている。ここで特に問題となるのは、移動物体と背景との間の輝度差や色度信号差が、撮影環境などの要因で変化してしまうことである。

例えば、同一の移動物体と背景であっても、環境光（照明）の強度が強くなれば、移動物体と背景との間の輝度差が大きくなり、環境光（照明）の強度が弱くなれば、移動物体と背景との間の輝度差が小さくなる。これは、移動物体の誤検出の原因となる。こうした例として、検出対象領域に影などが含まれた場合の問題について解決を試みた例が知られている（例えば、特許文献１参照）。この文献に記載される装置では、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を考慮することにより、検出対象領域に影や床面による鏡面反射像、もしくは持ち物等による偶発的な変形などが生じた場合に対応ができるとしている。

しかしながら、上記従来の技術では、物体が移動することによる影や鏡面反射などの変化しか考慮しておらず、撮影される環境の照明条件や撮影に利用するカメラの光電変換特性などにより、入力される輝度や色度信号差が変化した場合に正しく映像中の動き領域を検出できないという欠点があった。近年、ＷＥＢカメラなど比較的安価で利用されやすいカメラの性能はそれほど高くなく、こうした欠点が、実環境での動き領域の検出を非常に難しくしている。
特開２００４−２４０９９７号公報「移動物体抽出装置」

本発明は、上記従来技術の問題点に鑑みてなされたもので、映像中の動き領域を検出するための動き検出装置、特に、撮影条件、撮影環境、カメラの光電変換特性、及び時間方向に対してノイズにロバストな動き検出装置およびプログラムを提供することを目的とする。

この目的を達成するため、本発明に係る動き検出装置は、撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納する映像入力手段と、前記映像入力手段にて格納された複数のフレーム画像群から動きパターン画像を生成する動き検出手段と、前記動き検出手段にて生成された動きパターン画像から動き領域または動き方向を含む動き情報を算出する動き情報算出手段と、前記動き情報算出手段における動き情報の算出結果を、前記映像入力手段にて入力された各フレーム画像に対応させて出力する動き情報出力手段とを備える。

上記の動き検出手段の好適な態様では、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得する手段と、取得した各画素値を対数変換する手段と、変換された値の遷移から時間微分値を算出する手段と、算出された時間微分値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、全画素位置の評価値を画素値とする動きパターン画像を生成する手段とを有する。この態様によれば、画素値の対数変換の時間微分値を判定対象とすることで、撮影条件や撮影環境、及びカメラの光電変換特性にロバストに動きを検出することができる。更に、最新のものから複数のフレーム画像を対象とすることで、時間方向に対してのノイズ耐性も向上させることができる。

また、動き検出手段の別の好適な態様では、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得する手段と、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さいほうの画素値に対する大きい方の画素値の比を求める手段と、求めた比の値をフレーム間の時間間隔で除算する手段と、除算した値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、全画素位置の評価値を画素値とする動きパターン画像を生成する手段とを有する。この態様によれば、画素値の対数変換を利用することなく、画素値の比の値をフレーム間の時間間隔で除算した結果に基づき評価値を求めても同様の効果が得られる。

また、動き情報算出手段の好適な態様では、動きパターン画像を入力し、入力した動きパターン画像から、画素値が割り当てられた画素が連続して存在している領域を抽出する手段と、該領域のサイズが閾値を満たす場合に、動き領域と決定する手段とを有する。この態様によれば、入力された映像における動き領域を求めることができる。

また、動き情報算出手段の別の好適な態様では、入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、算出された全画素に対する方向の平均をとり、全画像領域の動き方向を算出する手段とを有する。この態様によれば、時間に対しての動き方向を算出することができる。

また、動き情報算出手段の別の好適な態様では、入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する手段とを有する。この態様によれば、時間に対しての動き方向を算出することができる。

以上説明したように、本発明によれば、上記構成によると、映像中の動き領域を検出することができ、撮影条件、撮影環境、カメラの光電変換特性を原因とするノイズや、時間方向に関するノイズに対してロバストな装置およびプログラムを提供することができる。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。

図１は、本実施形態による動き検出装置の機能ブロック図を示す。図１に示すように、本装置は、映像入力部１、動き検出部２、動き情報算出部３、動き情報出力部４から構成されている。

映像入力部１では、撮影された動きを含む映像を入力し、各フレーム画像をメモリ５に格納する。この入力される画像は、ＣＣＤを撮像素子として用いたカメラなどを利用する。また、動き情報出力部４では、前記動き情報算出部３における動き情報の算出結果に基づき、前記映像入力部１にて格納された各フレーム画像に対して動き情報を付与し、出力する。この動き情報は、対象とした映像中の各フレーム画像における動き領域、及び動き方向を含む情報であれば、特に制限されるものではなく、本装置の動き検出部２にて生成された動きパターン画像といった情報や通常の画像処理で得られた情報を含むことができる。

図２は、動き検出部２のブロック構成図を示す。フレーム画像読み出し部１１は、最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す。画素値取得部１２は、取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得する。対数変換部１３は、取得した各画素値を対数変換する。時間微分算出部１４は、変換された値の遷移から時間微分値を算出する。評価値設定部１５は、算出された時間微分値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする。パターン画像生成部１６は、全画素位置の評価値を画素値とする動きパターン画像を生成する。この構成とする動き検出部２では、映像入力部にて格納された複数のフレーム画像群から動きパターン画像を生成する。

図３は、図２にブロック構成で示す動き検出部２の動作を示すフローチャートである。以下、この流れに従って詳細に説明する。

[ステップ１]あらかじめ設定されている検出対象フレーム数Ｎを取得する。

[ステップ２]入力された映像のフレーム間の時間間隔（フレームレート）ｔを取得する。

[ステップ３]最新のものから順に該フレーム数分のフレーム画像をＩ（１），Ｉ（２），…,Ｉ（Ｎ）としてメモリから読み込む。

[ステップ４]全フレーム画像Ｉ（ｎ）の同じ画素位置（ｘ,ｙ）の画素値ｐ（ｘ,ｙ,ｎ）を最新のものから順番に取得する。Ｐ＝{ｐ（ｘ,ｙ,１）,ｐ（ｘ,ｙ,２）,…,ｐ（ｘ,ｙ,Ｎ）}
[ステップ５]取得した各画素値を対数変換する。ｌｏｇＰ＝{ｌｏｇ（ｐ（ｘ,ｙ,１））,ｌｏｇ（ｐ（ｘ,ｙ,２））,…,ｌｏｇ（ｐ（ｘ,ｙ,Ｎ））}
[ステップ６]変換された値の遷移から微分値を算出する。

ｄ（ｌｏｇＰ）／ｄｔ＝{｛ｌｏｇ（ｐ（ｘ,ｙ,１））−ｌｏｇ（ｐ（ｘ,ｙ,２））｝
／ｔ，…，{ｌｏｇ（ｐ（ｘ,ｙ,Ｎ−１））−ｌｏｇ（ｐ（ｘ,ｙ,Ｎ））}／ｔ｝
［ステップ７］算出された微分値が閾値を満たす場合、すなわち、算出された微分値の絶対値が所定の閾値以上となる場合、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする。

［ステップ８］取得したフレーム画像の全画素位置について、［ステップ４］〜［ステップ７］の処理を繰り返す。

［ステップ９］全画素位置の評価値を画素値とする動きパターン画像を生成する。

このとき、［ステップ７］では、最新のものから順に検査し、閾値を満たした時点で評価値を設定し、処理を［ステップ８］に移す。すなわち、複数のフレーム画像について、閾値を満たす場合でも、それらのフレーム画像の順番の番号のうち、最小のものを評価値として設定する。また、閾値を満たさなかった場合には、評価値を０と設定する。また、利用する閾値は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。

以上の処理になる動き検出部２の補足説明をする。一般に、画像における各画素の値は、環境光（照明）の強度と被写体の反射率とカメラの光電変換特性（効率）に関する係数との積として表すことができる。ここで、対象とする映像のフレーム間の時間間隔が短い場合には、環境光の強度とカメラの光電変換の特性に関する係数は、あるフレーム画像とその直後のフレーム画像との間でほぼ一定と見なせる。したがって、取得したフレーム画像の画素の画素値を対数変換した値から、その直後のフレーム画像の対応する画素の画素値を対数変換した値を減算することによって、各画素値に含まれている環境光の強度とカメラの光電変換特性に関する係数が相殺され、減算結果の絶対値の大小によって、物体の移動に起因する被写体の反射率の変化のみを検出することが可能となる。

また、対象とする映像がネットワークを介して入力されるような場合には、伝送システムの遅延等によって、フレーム画像の欠落が生じる可能性がある。そこで、本実施形態では、ステップ１で対象とする映像を入力する度に、ステップ２において、入力された映像のフレーム間の時間間隔ｔを取得するようにしている。そして、画素値を対数変換した値の減算結果をこのフレーム間の時間間隔ｔで除算することにより、単位時間当たりの被写体の反射率の変化を、画素値を対数変換した値の時間微分として求めるようにしている（ステップ５，６）。これにより、ステップ７において、本来は閾値以下のわずかな被写体の反射率の変化が、フレーム画像の欠落によって、大きな変化として誤検出されることを防いでいる。

これにより、本実施形態では、撮影条件、撮影環境、カメラの光電変換特性を原因とするノイズや、時間方向に関するノイズに対してロバストな装置を提供することができる。

なお、図２または図３では、画素値を対数変換した値の時間微分に基づき評価値を求めている。しかし、対数変換を利用することなく、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さい方の画素値に対する大きい方の画素値の比を求め、求めた比の値をフレーム間の時間間隔ｔで除算した結果に基づき評価値を求めても、全く同様の結果が得られることは自明である。この場合、時間間隔ｔで除算した結果が所定の閾値以上となる場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とすればよい。このときのブロック構成を図４に示し、図２と異なる部分は、対数変換部１３に代えて、取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さいほうの画素値に対する大きい方の画素値の比を求める画素値比算出部１３Ａと、時間微分算出部１４に代えて、求めた比の値をフレーム間の時間間隔で除算する時間微分算出部１４Ａになる。

次に、図５は、動き情報算出部３のブロック構成図を示す。領域抽出部２１は、動きパターン画像を入力し、入力した動きパターン画像から、画素値が割り当てられた画素が連続して存在している領域を抽出する。動き領域決定部２２は、該領域のサイズが閾値を満たす場合に、動き領域と決定する。画素値減少方向算出部２３は、入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する。全画像領域の動き方向設定部２４は、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する。各動き領域の動き方向設定部２５は、算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する。この構成とする動き情報算出部３では、動き検出部にて生成された動きパターン画像から動き領域、及び動き方向を含む動き情報を算出する。

図６は、図５にブロック構成で示す動き情報算出部３の動作を示すフローチャートである。以下、この流れに従って詳細に説明する。

［ステップ１１］動きパターン画像を入力する。

［ステップ１２］入力した動きパターン画像から、０以外の画素値が割り当てられた画素が連続して存在している矩形領域を抽出する。例えば、図７に示すように、３つのフレーム画像６０１〜６０３中で球が動いている場合、フレーム画像６０４中に示す波線で囲まれた領域が矩形領域になる。

［ステップ１３］該矩形領域のサイズが閾値を満たす場合、すなわち、矩形領域のサイズが所定の第１の閾値以上（かつ、必要に応じて、所定の第２の閾値以下）となる場合に、動き領域と決定する。

［ステップ１４］入力した動きパターン画像の０以外の画素値が割り当てられた全画素について、隣接する８画素のうち、０以外の画素値が割り当てられた画素に対して画素値が減少する方向を算出する。

［ステップ１５］算出された全画素に対する方向の平均をとり、全画像領域の動き方向とする。

［ステップ１６］検出された各動き領域内の全画素に対する方向の平均をとり、各動き領域の動き方向とする。

ここで、矩形領域を抽出する処理は、通常の画像処理で利用される領域分割処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また、矩形領域に限らず、円形領域や楕円形領域とすることでもよい。また、利用する閾値は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。

以上の処理になる動き情報算出部３の補足説明をする。各画素毎に物体の移動を判定しようとすると、その判定結果がノイズの影響を大きく受けてしまうという問題が生じる。そこで、本実施形態では、検出の対象である移動体がある有限な大きさを有しているはずであることに着目し、ステップ１２において、動きパターン画像から、０以外の画素値が割り当てられた画素が連続して存在している第１の閾値以上の大きさの領域として矩形領域を抽出し、この抽出した矩形領域に基づき、物体の移動を判定するようにしている。

これにより、本実施形態では、時間方向に関するノイズに対してロバストな装置を提供することができる。

また、ステップ１３において、動き領域として判定される矩形領域のサイズの上限を規定している第２の閾値は、該領域のサイズが画像サイズに対して大き過ぎる場合を排除するためのパラメータであり、検出したい移動体の画像上の大きさに基づき設定される。

以下では、これまで説明してきた動き検出装置において、映像中の動き領域を検出する際の具体的な手順を説明する。

ここで、動き検出部２において、動きパターン画像を生成する際の具体的な処理手順を述べる。ここでは、説明のため、図８の４０１〜４０３に示すような５×５画素サイズの３フレームの画像群であったとする。この各画素について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得して、対数変換し、微分値を算出すると、４０４〜４０５に示す画素が閾値を満たすことになる。これに対し、まず、４０５に示す画素が最初に閾値を満たすことになるので、この画素に評価値１が割り当てられ、４０７に示すようになる。続いて、４０４に示す画素で、４０５で閾値を満たしていない画素に評価値２が割り当てられ、４０６で示すようになる。これ以外の画素には評価値０が割り当てられ、最終的に、動きパターン画像として、４０８に示すような画像が生成されることになる。

続いて、動き情報算出部３において、動きパターン画像から動き領域、及び動き方向を算出する際の具体的な処理手順を述べる。ここでは、説明のため、図９の５０１に示すような、上記手順にて生成された４０８に示す動きパターン画像を対象とする。これに対し、画素値が割り当てられた画素が連続して存在している矩形領域を抽出すると、５０２に示すような領域が抽出される。ここでは、この矩形領域のサイズが閾値を満たすとして、動き領域と決定する。更に、５０１の画像の０以外の画素値が割り当てられた全画素について、隣接する８画素のうち、０以外の画素値が割り当てられた画素に対して画素値が減少する方向を算出すると、５０３に示すような４つの方向が算出される。これらに対して、算出された全画素、及び検出された各動き領域内の全画素に対する方向の平均をとり、５０４に示すような動き方向を決定することになる。ここでは、動き領域が1つだったので、全画像領域の動き方向は、検出された動き領域の動き方向と同一となる。

以上、本発明を実施形態に基づき具体的に説明したが、本発明は上述の実施形態に限定されるものではなく、幅広く応用することができる。

また、本発明の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本発明に係るシステムの機能ブロック図を説明するための図。 本発明に係る動き検出部のブロック構成図。 本発明に係る動き検出部の処理フロー図。 本発明に係る動き検出部の他のブロック構成図。 本発明に係る動き情報算出部のブロック構成図。 本発明に係る動き情報算出部の処理フロー図。 本発明に係る矩形領域の例を示す図。 本発明に係る処理の一例を説明するための図。 本発明に係る処理の一例を説明するための図。

符号の説明

１ 映像入力部
２ 動き検出部
３ 動き情報算出部
４ 動き情報出力部
５ フレーム画像メモリ
１１ フレーム画像読み出し部
１２ 画素値取得部
１３ 対数変換部
１３Ａ 画素値比算出部
１４，１４Ａ 時間微分値算出部
１５ 評価値設定部
１６ パターン画像生成部
２１ 領域抽出部
２２ 動き領域決定部
２３ 画素値減少方向算出部
２４ 全画像領域の動き方向設定部
２５ 各動き領域の動き方向設定部

Claims (7)

1. 映像中の動き領域を検出するための動き検出装置において、
   撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納する映像入力手段と、
   前記映像入力部にて格納された複数のフレーム画像群から動きパターン画像を生成する動き検出手段と、
   前記動き検出手段にて生成された動きパターン画像から動き領域または動き方向を含む動き情報を算出する動き情報算出手段と、
   前記動き情報算出手段における動き情報の算出結果を、前記映像入力手段にて入力された各フレーム画像に対応させて出力する動き情報出力手段と、
   を備えたことを特徴とする動き検出装置。
2. 請求項１において、前記動き検出手段は、
   最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、
   取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得する手段と、
   取得した各画素値を対数変換する手段と、
   変換された値の遷移から時間微分値を算出する手段と、
   算出された時間微分値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、
   全画素位置の評価値を画素値とする動きパターン画像を生成する手段と、
   を有することを特徴とする動き検出装置。
3. 請求項１において、前記動き検出手段は、
   最新のものからあらかじめ設定されている検出対象フレーム数分のフレーム画像をメモリから読み出す手段と、
   取得したフレーム画像の全画素位置について、全フレーム画像の同じ画素位置の画素値を最新のものから順番に取得する手段と、
   取得したフレーム画像の画素の画素値とその直後のフレーム画像の対応する画素の画素値のうち、小さいほうの画素値に対する大きい方の画素値の比を求める手段と、
   求めた比の値をフレーム間の時間間隔で除算する手段と、
   除算した値が閾値を満たす場合に、該画素値を取得したフレーム画像の順番の番号を該画素位置の評価値とする手段と、
   全画素位置の評価値を画素値とする動きパターン画像を生成する手段と、
   を有することを特徴とする動き検出装置。
4. 請求項１乃至２のいずれかにおいて、前記動き情報算出手段は、
   動きパターン画像を入力し、入力した動きパターン画像から、画素値が割り当てられた画素が連続して存在している領域を抽出する手段と、
   該領域のサイズが閾値を満たす場合に、動き領域と決定する手段と、
   を有することを特徴とする動き検出装置。
5. 請求項１乃至２のいずれかにおいて、前記動き情報算出手段は、
   入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、
   算出された全画素に対する方向の平均をとり、全画像領域の動き方向を算出する手段と、
   を有することを特徴とする動き検出装置。
6. 請求項３において、前記動き情報算出手段は、
   入力した動きパターン画像の画素値が割り当てられた全画素について、隣接する８画素のうち、画素値が割り当てられた画素に対して画素値が減少する方向を算出する手段と、
   算出された全画素に対する方向の平均をとり、各動き領域の動き方向を算出する手段と、
   を有することを特徴とする動き検出装置。
7. 請求項１〜６のいずれか１項に記載の動き検出装置における各手段を、コンピュータで実行可能に構成したことを特徴とするプログラム。