JP6841097B2 - 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム - Google Patents

Description

本発明は、動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システムに関する。

従来より、物体を撮影することで得た動画像データから、当該物体の動き量を算出する動き量算出方法が知られている。例えば、下記特許文献１では、動画像データの各フレームから、物体の特徴点を複数抽出し、次フレームでの移動先を特定したうえで、各特徴点の移動量を求め、各特徴点の移動量の平均値を算出することで、当該物体の動き量を算出する方法が提案されている。

下記特許文献１によれば、現フレームの特徴点と相関の高い領域を次フレームより取得し、取得した領域の重心位置を特徴点の移動先として特定するため、物体が動いたことで次フレームがボケた画像となった場合でも動き量を算出することができる。

特開２００９−１３０５３７号公報

しかしながら、現フレームにおいて抽出した特徴点が互いに隣接していた場合、次フレームにおいてそれぞれの特徴点のボケが重なることがある。このような場合、上記算出方法によれば、隣接する特徴点それぞれと相関の高い領域を次フレームより正しく取得することが困難となり、次フレームにおいて特徴点の移動先を精度よく特定することができない。この結果、物体の動き量の算出精度が低下するといった問題がある。

一つの側面では、動き量の算出精度を向上させることを目的としている。

一態様によれば、動き量算出プログラムは、
撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出し、
前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定し、
前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する処理をコンピュータに実行させる。

動き量の算出精度を向上させることができる。

第１の実施形態に係る動き量算出装置を有する動き量算出システムのシステム構成の一例を示す図である。 動き量算出装置のハードウェア構成の一例を示す図である。 動き量算出処理の比較例を示す図である。 動き量算出処理の具体例を示す図である。 動き量算出部の機能構成の詳細を示す図である。 特徴点抽出部による特徴点抽出処理の具体例を示す図である。 移動先特定部による相関点取得処理及び重心位置算出処理の具体例を示す図である。 重なり度合い算出部による重なり度合い算出処理及び重み算出処理の具体例を示す図である。 重み調整部による重み調整処理の具体例を示す図である。 加重平均部による加重平均処理の具体例を示す図である。 動き量算出部による動き量算出処理のフローチャートである。 第２の実施形態に係る動き量算出装置を有する業務支援システムのシステム構成の一例を示す図である。 顔検出部による顔検出処理の具体例を示す図である。 うなずき検出部によるうなずき検出処理の具体例を示す図である。 応対品質評価部による応対品質評価処理の具体例を示す図である。 評価値表示処理部による評価値表示処理の具体例を示す図である。 動き量算出装置による顔の動き量算出処理のフローチャートである。 動き解析装置による解析処理のフローチャートである。 第３の実施形態に係る動き量算出装置を有する業務支援システムのシステム構成の一例を示す図である。 振動部による振動指示処理の具体例を示す図である。 業務支援処理のフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜動き量算出システムのシステム構成＞
はじめに、第１の実施形態に係る動き量算出装置を有する動き量算出システムのシステム構成について説明する。図１は、第１の実施形態に係る動き量算出装置を有する動き量算出システムのシステム構成の一例を示す図である。

図１に示すように、動き量算出システム１００は、撮像装置１１０と動き量算出装置１２０とを有する。撮像装置１１０と動き量算出装置１２０とは、所定のインタフェースを介して接続される。

撮像装置１１０は、撮影対象の物体を所定のフレームレートで動画像として撮影し、撮影により得た動画像データを動き量算出装置１２０に送信する。

動き量算出装置１２０は、動画像データ格納部１２２を有し、撮像装置１１０から送信された動画像データを格納する。また、動き量算出装置１２０には、動き量算出プログラムがインストールされており、当該プログラムが実行されることで、動き量算出装置１２０は、動き量算出部１２１として機能する。

動き量算出部１２１は、動画像データ格納部１２２に格納された動画像データの各フレームより、撮影対象の物体の複数の特徴点を抽出し、抽出した複数の特徴点それぞれについて、次のフレームでの移動先を特定することで、撮影対象の物体の動き量を算出する。

＜動き量算出装置のハードウェア構成＞
次に、動き量算出装置１２０のハードウェア構成について説明する。図２は、動き量算出装置のハードウェア構成の一例を示す図である。図２に示すように、動き量算出装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、動き量算出装置１２０は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。動き量算出装置１２０の各部は、バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、動き量算出プログラム等）を実行するデバイスである。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラムやデータ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。動画像データ格納部１２２は、補助記憶装置２０４において実現される。

表示装置２０５は、動き量算出装置１２０の内部状態等を表示する表示デバイスである。操作装置２０６は、動き量算出装置１２０の使用者が動き量算出装置１２０に対して各種指示を入力するための入力デバイスである。Ｉ／Ｆ装置２０７は、撮像装置１１０と接続するための接続デバイスである。

ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２０４に格納される各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされるものとする。

＜動き量算出処理の概要＞
次に、動き量算出部１２１により実行される動き量算出処理の概要について、比較例と対比しながら説明する。

（１）動き量算出処理の比較例
はじめに、動き量算出処理の比較例の概要について説明する。図３は、動き量算出処理の比較例を示す図である。図３に示すように、動き量算出処理の比較例では、動画像データに含まれる各フレーム（例えば、フレーム３１０、３２０）から、撮影対象の物体の特徴点を抽出する。ここでは、撮影対象の物体が人物の顔であり、特徴点として、人物の目の端部を抽出するものとして説明する。

図３に示すように、時間ｔ_１において撮影されたフレーム３１０から、人物の目を含む領域３１１が抽出され、特徴点抽出処理が実行されることで、特徴点３１２、３１３が抽出されたとする。

また、時刻ｔ_２において撮影されたフレーム３２０から、人物の目を含む領域３２１が抽出されたとする。時刻ｔ_２のフレーム３２０の場合、撮影対象の人物が顔を動かしたことで、領域３２１に含まれる画像はボケた画像となっている。

動き量算出処理の比較例の場合、特徴点３１２、３１３の移動先を領域３２１において特定するにあたり、特徴点３１２、３１３それぞれとの相関が高い点（相関点）の集合を取得する。これにより、領域３２１から、相関点の集合３２２、３２３がそれぞれ取得される。

続いて、動き量算出処理の比較例では、相関点の集合３２２、３２３それぞれの重心位置を算出し、当該重心位置を、それぞれ、特徴点３１２の移動先３２４及び特徴点３１３の移動先３２５として特定する。

更に、動き量算出処理の比較例では、特徴点３１２の移動先３２４までの移動量と、特徴点３１３の移動先３２５までの移動量との平均値を算出し、撮影対象の人物の顔の動き量として出力する。

（２）動き量算出部１２１による動き量算出処理の具体例
次に、第１の実施形態に係る動き量算出装置１２０の動き量算出部１２１による動き量算出処理の具体例について説明する。図４は、動き量算出処理の具体例を示す図である。

撮影対象の人物の目が、図４の領域４１１に示すような形状であった場合、特徴点抽出処理が実行されると、特徴点４１３に隣接する位置において特徴点４１４が抽出されることになる。

このような場合に、撮影対象の人物が顔を動かすと、領域４２１に示すように、隣接する特徴点同士（特徴点４１３と特徴点４１４と）で、ボケが重なることになる（点線領域４３０参照）。この結果、相関点取得処理が実行されることで取得される相関点の集合４２２、４２３のうち、相関点の集合４２３は、ボケが重なっていない場合（図３の相関点の集合３２３）と比較して、相関点の数が著しく少なくなる。

更に、重心位置算出処理が実行されることで特定される移動先４２４、４２５のうち、移動先４２５（相関点の数が少ない方の移動先）は、正しい移動先４２６からずれることになる。

ここで、動き量算出部１２１では、撮影対象の人物の顔の動き量を算出するにあたり、正しい移動先４２６からずれた位置において特定された移動先４２５の影響を抑えるように算出を行う。具体的には、特徴点４１２の移動先４２４までの移動量、及び、特徴点４１３の移動先４２５までの移動量に対して、加重平均処理を行うことで、撮影対象の人物の顔の動き量を算出する。

なお、加重平均処理を行うにあたり、動き量算出部１２１は、特徴点４１２の移動先４２４までの移動量にかけあわせる重みよりも、特徴点４１３の移動先４２５までの移動量にかけあわせる重みを小さくする。

このように、動き量算出部１２１では、ボケの重なりに起因して特徴点の移動先が正しく特定されなかった場合に、その影響を抑えるように動き量を算出する。この結果、動き量算出部１２１によれば、比較例による動き量算出処理よりも、動き量の算出精度を向上させることができる。

＜動き量算出部の機能構成の詳細＞
次に、動き量算出部１２１の機能構成の詳細について説明する。図５は、動き量算出部の機能構成の詳細を示す図である。

図５に示すように、動き量算出部１２１は、動画像取得部５０１、特徴点抽出部５０２、移動先特定部５０３、重なり度合い算出部５０４、重み調整部５０５、加重平均部５０６を有する。

動画像取得部５０１は、動画像データ格納部１２２より動画像データを読み出し、フレーム単位で特徴点抽出部５０２に転送する。

特徴点抽出部５０２は、動画像取得部５０１より転送された動画像データの各フレームより、特徴点を抽出し、移動先特定部５０３に通知する。

移動先特定部５０３は、処理対象のフレームにおいて抽出された特徴点との相関関係が所定の条件を満たす相関点の集合を、処理対象の次のフレームより取得し、取得した相関点の重心位置を、処理対象のフレームにおいて抽出された特徴点の移動先として特定する。移動先特定部５０３は、処理対象の次のフレームにおいて、特徴点抽出部５０２より通知された、処理対象のフレームの全ての特徴点についての移動先を特定する。

また、移動先特定部５０３は、処理対象のフレームにおいて抽出された各特徴点の移動先までの移動量（つまり、各特徴点の移動量）を、加重平均部５０６に通知する。

また、移動先特定部５０３は、移動先を特定する際に取得した相関点の数を、特徴点ごとに重なり度合い算出部５０４に通知する。

重なり度合い算出部５０４は、移動先特定部５０３より通知された相関点の数に基づいて、ボケの重なり度合いを算出する。また、重なり度合い算出部５０４は、算出した重なり度合いに基づいて、特徴点ごとに、重みを算出する。重なり度合い算出部５０４は、算出した重みを、各特徴点と対応付けて重み調整部５０５に通知する。

重み調整部５０５は、重なり度合い算出部５０４より通知された重みについて統計処理を行い、加重平均部５０６が加重平均処理を行う際に用いる重みを調整する。重み調整部５０５は、調整した重みを、各特徴点と対応付けて加重平均部５０６に通知する。

加重平均部５０６は、移動先特定部５０３より通知された各特徴点の移動量に対して、重み調整部５０５より通知された重みをかけあわせることで、加重平均処理を行い、撮影対象の人物の顔の動き量を出力する。

＜動き量算出部に含まれる各部の処理＞
次に、動き量算出部１２１に含まれる各部（特徴点抽出部５０２、移動先特定部５０３、重なり度合い算出部５０４、重み調整部５０５、加重平均部５０６）の処理の詳細について説明する。

（１）特徴点抽出部５０２の処理の詳細
図６は、特徴点抽出部による特徴点抽出処理の具体例を示す図である。図６に示すように、領域４２１に含まれる各画素（座標＝（ｘ，ｙ））の画素値をＧ（ｔ，ｘ，ｙ）とした場合、特徴点抽出部５０２は、下式を満たす画素を、特徴点として抽出する。なお、ｔは、領域４２１を含むフレームが撮影された時間を指すものとする。

つまり、特徴点抽出部５０２は、縦方向に隣接する画素、横方向に隣接する画素、斜め方向に隣接する画素それぞれの画素値との差分が、いずれも閾値Ｔ_１より大きい画素値を有する画素を、特徴点として抽出する。

（２）移動先特定部５０３の処理の詳細
図７は、移動先特定部による相関点取得処理及び重心位置算出処理の具体例を示す図である。移動先特定部５０３は、例えば、特徴点抽出部５０２により領域４１１から抽出された特徴点４１２（座標＝（ｘ，ｙ））について、図７（ａ）に示すように、領域４２１から下式に基づいて相関点（座標＝（ｋ，ｌ））の集合４２２を抽出する。

つまり、移動先特定部５０３は、まず、処理対象のフレーム（時間ｔで撮影されたフレーム）の領域４１１から特徴点４１２及びその周辺の画素の画素値（（２Ｍ＋１）×（２Ｎ＋１）個分の画素値）を抽出する。

次に、移動先特定部５０３は、処理対象の次のフレーム（時間ｔ＋１で撮影されたフレーム）の領域４２１から点（ｋ，ｌ）及びその周辺の画素の画素値（（２Ｍ＋１）×（２Ｎ＋１）個分の画素の画素値）を抽出する。

次に、移動先特定部５０３は、特徴点４１２（座標＝（ｘ，ｙ））について抽出した（２Ｍ＋１）×（２Ｎ＋１）個分の画素の画素値と、点（ｋ，ｌ）について抽出した（２Ｍ＋１）×（２Ｎ＋１）個分の画素の画素値との間における、対応する画素間の差分の合計を算出する。

次に、移動先特定部５０３は、算出した差分の合計が、閾値Ｔ_２未満であるか否かを判定し、閾値Ｔ_２未満であると判定した場合に、当該点（ｋ，ｌ）を、相関点として取得する。

移動先特定部５０３は、領域４２１内のすべての点（ｋ，ｌ）について同様の処理を行うことで、特徴点４１２と相関の高い相関点の集合を取得する。また、移動先特定部５０３は、領域４１１の全ての特徴点について同様の処理を行うことで、特徴点ごとの相関点の集合を取得する。

また、図７（ｂ）に示すように、移動先特定部５０３は、例えば、算出した相関点の集合４２２について、下式に基づいて重心位置（ｐ，ｑ）を算出し、移動先４２４を特定する。

なお、Ｒは、相関点の集合４２２に含まれる相関点の数を表す。また、Ｑは、相関点の集合４２２を表す。つまり、移動先特定部５０３は、相関点の集合４２２に含まれる各相関点の横方向の中心、及び、縦方向の中心を、重心位置（ｐ，ｑ）として算出する。

（３）重なり度合い算出部５０４の処理の詳細
図８は、重なり度合い算出部による重なり度合い算出処理及び重み算出処理の具体例を示す図である。重なり度合い算出部５０４は、図８に示すように、相関点の集合４２２に含まれる相関点の数Ｒを用いて、下式に基づいて、特徴点４１２（座標＝（ｘ，ｙ））の移動先４２４についての重なり度合いを算出する。

つまり、重なり度合い算出部５０４により算出される重なり度合いは、相関点の集合４２２に含まれる相関点の数が多いほど小さくなり、相関点の集合４２２に含まれる相関点の数が少ないほど大きくなる。

また、図８に示すように、重なり度合い算出部５０４は、算出した重なり度合いを用いて、下式に基づいて、特徴点４１２（座標＝（ｘ，ｙ））の移動先４２４についての重み（ｗ（ｘ，ｙ））を算出する。

つまり、重なり度合い算出部５０４により算出される重みは、相関点の集合４２２に含まれる相関点の数が多いほど大きくなり、相関点の集合４２２に含まれる相関点の数が少ないほど小さくなる。

（４）重み調整部５０５の処理の詳細
図９は、重み調整部による重み調整処理の具体例を示す図である。図９に示すように、領域４１１に含まれる各特徴点について算出された重みの度数分布は、正規分布に近い分布となる。そこで、重み調整部５０５は、各特徴点の重みについて統計処理を行う。

具体的には、重み調整部５０５は、重みの度数分布のうち、下限閾値である閾値Ｔ_３よりも小さい重みが算出された特徴点については、重みをゼロに変更する。なお、閾値Ｔ_３は、例えば、下式に基づいて算出する。

ここで、算出された重みが小さいということは、対応する相関点の数が少ないことを意味し、相関点の数が少ないということは、ボケの重なり度合いが大きいことを意味する。そして、ボケの重なり度合いが大きい場合に特定される移動先の位置は、精度が低いことから、重み調整部５０５は、当該特徴点の移動量を、加重平均処理から除外するように重みをゼロに変更する。これにより、動き量の算出精度をより向上させることができる。

また、重み調整部５０５は、重みの度数分布のうち、上限閾値である閾値Ｔ_４よりも大きい重みが算出された特徴点については、重みをＴ_４に変更する。なお、閾値Ｔ_４は、例えば、下式に基づいて算出する。

ここで、算出された重みが大きいということは、対応する相関点の数が多いことを意味し、相関点の数が多いということは、ボケの重なり度合いが小さいことを意味する。そして、ボケの重なり度合いが小さい場合に特定される移動先の位置は、精度が高いことから、重み調整部５０５は、当該特徴点の移動量を、加重平均処理に加える。ただし、重みの大きさが大きすぎる特徴点については、当該特徴点の存在により、動き量の算出結果が影響を受けることが考えられる。そこで、重み調整部５０５では、閾値Ｔ_４より大きい重みについては、一律、重み＝Ｔ_４に変更する。これにより、一部の特徴点の移動量により動き量の算出結果が左右されることがなくなり、動き量の算出精度をより向上させることができる。

（５）加重平均部５０６の処理の詳細
図１０は、加重平均部による加重平均処理の具体例を示す図である。図１０に示すように、加重平均部５０６は、撮影対象の人物の顔の動き量（横方向の動き量ｕ、縦方向の動き量ｖ）を、下式に基づいて算出する。

つまり、加重平均部５０６は、座標（ｘ，ｙ）の特徴点の重み（ｗ（ｘ，ｙ））を、各特徴点の重みの総和を用いて正規化したうえで、対応する特徴点の移動量（ｐ−ｘ）にかけあわせることで、横方向の動き量ｕを算出する。これにより、動き量が同じであるにも関わらず、取得した相関点の数が全体的多いフレームと、少ないフレームとで、動き量の算出結果に違いが生じるといった事態を回避することができる。なお、Ｐは特徴点の集合を表す。

同様に、加重平均部５０６は、座標（ｘ，ｙ）の特徴点の重み（ｗ（ｘ，ｙ））を、各特徴点の重みの総和を用いて正規化したうえで、対応する特徴点の移動量（ｑ−ｙ）にかけあわせることで、縦方向の動き量ｖを算出する。

この結果、例えば、特徴点４１２の移動先４２４までの移動量が動き量（ｕ，ｖ）に占める割合に対して、特徴点４１３の移動先４２５までの移動量が動き量（ｕ，ｖ）に占める割合を小さくすることが可能となる。つまり、動き量を算出するにあたり、特徴点の移動先の算出精度の低下の影響を抑えることが可能となり、動き量の算出精度を向上させることが可能となる。

＜動き量算出部による動き量算出処理の流れ＞
次に、動き量算出部１２１による動き量算出処理の全体の流れについて説明する。図１１は、動き量算出部による動き量算出処理のフローチャートである。動き量算出部１２１が起動することで、図１１に示すフローチャートが実行される。

ステップＳ１１０１において、動画像取得部５０１は、フレームカウンタｆに１を代入する。

ステップＳ１１０２において、動画像取得部５０１は、動画像データ格納部１２２より動画像データのｆフレーム目を読み込む。

ステップＳ１１０３において、特徴点抽出部５０２は、ｆフレームより撮影対象の物体の特徴点を複数抽出する。

ステップＳ１１０４において、移動先特定部５０３は、ｆフレームより抽出した特徴点との相関が所定の条件を満たす相関点の集合を、（ｆ＋１）フレーム目より取得し、取得した相関点の集合の重心位置を算出し、当該特徴点の移動先として特定する。

なお、移動先特定部５０３は、ステップＳ１１０３において抽出された複数の特徴点全てについて同様の処理を行い、各特徴点の移動先を特定する。

ステップＳ１１０５において、重なり度合い算出部５０４は、各特徴点について取得した相関点の数に応じて、ｆフレーム目の各特徴点についての（ｆ＋１）フレーム目における重なり度合いを算出する。

ステップＳ１１０６において、重なり度合い算出部５０４は、算出した重なり度合いに基づいて、ｆフレーム目の各特徴点の移動量の重みを算出する。

ステップＳ１１０７において、重み調整部５０５は、重なり度合い算出部５０４において算出された重みに対して統計処理を行い、重みを調整する。

ステップＳ１１０８において、加重平均部５０６は、ｆフレーム目の各特徴点の（ｆ＋１）フレーム目における各移動先までの各移動量に対して、調整済みの重みを用いて加重平均処理を行い、撮影対象の物体の動き量を算出する。

ステップＳ１１０９において、動画像取得部５０１は、動き量算出処理を終了するか否かを判定し、終了しないと判定した場合には（ステップＳ１１０９においてＮｏの場合には）、ステップＳ１１１０に進む。

ステップＳ１１１０において、動画像取得部５０１は、フレームカウンタｆをインクリメントした後、ステップＳ１１０２に戻る。

一方、ステップＳ１１０９において、終了すると判定した場合には（ステップＳ１１０９においてＹｅｓの場合には）、動き量算出処理を終了する。

以上の説明から明らかなように、第１の実施形態に係る動き量算出装置１２０は、動画像データにおいて、ｆフレーム目から撮影対象の物体に含まれる複数の特徴点を抽出する。また、第１の実施形態に係る動き量算出装置１２０は、ｆフレーム目から抽出された複数の特徴点それぞれとの相関が所定の閾値以上となる相関点の集合を、（ｆ＋１）フレーム目から取得する。また、第１の実施形態に係る動き量算出装置１２０は、取得した相関点の集合の重心位置を、ｆフレーム目における特徴点の（ｆ＋１）フレーム目における移動先として特定する。更に、第１の実施形態に係る動き量算出装置１２０は、各特徴点の移動量に対して、各特徴点の相関点の集合に含まれる相関点の数に応じた重みを用いて加重平均処理を行うことで、撮影対象の物体の動き量を算出する。

これにより、第１の実施形態に係る動き量算出装置１２０によれば、ボケの重なりに起因して特徴点の移動先を精度よく特定することができない場合でも、その影響を抑えるように動き量を算出することが可能となる。

この結果、第１の実施形態に係る動き量算出装置１２０によれば、動き量の算出精度を向上させることができる。

［第２の実施形態］
第２の実施形態では、上記第１の実施形態に係る動き量算出装置１２０を適用した業務支援システムについて説明する。上記第１の実施形態に係る動き量算出装置１２０によれば、撮影対象の人物の顔の動き量を精度よく算出することができる。

そこで、第２の実施形態では、動き量算出装置１２０を、販売業務等に従事する店員の接客業務を評価するシーンに適用する場合について説明する。

＜業務支援システムのシステム構成＞
はじめに、上記第１の実施形態に係る動き量算出装置を適用した業務支援システムのシステム構成について説明する。図１２は、第２の実施形態に係る動き量算出装置を有する業務支援システムのシステム構成の一例を示す図である。

図１２に示すように、業務支援システム１２００は、撮像装置１１０、動き量算出装置１２０’、動き解析装置１２１０、管理装置１２２０を有する。

このうち、撮像装置１１０、動き量算出装置１２０’、動き解析装置１２１０は、店員１２４０が販売業務を行う店舗に設置されている。また、管理装置１２２０は、店員１２４０を管理する管理者１２６０が管理業務を行う管理センターに設置されている。なお、動き解析装置１２１０と管理装置１２２０とは、ネットワーク１２３０を介して相互に接続されているものとする。

動き量算出装置１２０’は、上記第１の実施形態における動き量算出装置１２０に、顔検出部１２０１を追加した装置である。第２の実施形態では、撮像装置１１０が撮影する撮影対象の人物を、販売業務を行う店員１２４０としており、店員１２４０の顔の動き量を算出する。このため、動き量算出装置１２０’は、撮影により得られた動画像データの各フレームから、店員１２４０の顔領域を検出する顔検出部１２０１を有している。

動き解析装置１２１０は、動き量算出装置１２０’より出力された店員１２４０の顔の動き量を解析する装置である。動き解析装置１２１０には、うなずき検出プログラム、応対品質評価プログラムがインストールされており、当該プログラムが実行されることで、動き解析装置１２１０は、うなずき検出部１２１１、応対品質評価部１２１２として機能する。

うなずき検出部１２１１は判定部の一例であり、動き量算出装置１２０’より出力された店員１２４０の顔の動き量に基づいて、客１２５０への応対時の店員１２４０のうなずきの有無を判定する。また、うなずき検出部１２１１は、うなずきがあったと判定した場合、うなずきを定量化するパラメータを算出する。

応対品質評価部１２１２は、うなずき検出部１２１１において算出されたパラメータに基づいて、店員１２４０の応対品質を評価する評価値を算出する。また、応対品質評価部１２１２は、算出した評価値を、時間情報と対応付けて管理装置１２２０に送信する。

管理装置１２２０には、評価値表示処理プログラムがインストールされており、当該プログラムが実行されることで、管理装置１２２０は、評価値表示処理部１２２１として機能する。

評価値表示処理部１２２１は表示部の一例であり、動き解析装置１２１０より送信される評価値を時間情報と対応付けて表示する。これにより、管理者１２６０は、店員１２４０の各時間における応対品質を把握することができる。

＜業務支援システムの各装置の各部による処理の詳細＞
次に、業務支援システム１２００に含まれる各装置の各部による処理の詳細について説明する。なお、上記第１の実施形態において説明済みの処理については説明を省略する。

（１）動き量算出装置１２０’の顔検出部１２０１の処理の詳細
図１３は、顔検出部による顔検出処理の具体例を示す図である。図１３に示すように、時間ｔにおいて撮影されたフレーム１３１０に含まれる各画素（座標＝（ｋ，ｌ））の画素値をＧ（ｔ，ｋ，ｌ）とし、店員１２４０の顔画像１３２０の各画素（座標＝（Ｘ，Ｙ））の画素値をＦ（Ｘ，Ｙ）とする。この場合、顔検出部１２０１は、下式に基づいて顔領域を検出する。

つまり、顔検出部１２０１は、まず、店員１２４０の顔画像１３２０の各画素の画素値（（２Ｘ＋１）×（２Ｙ＋１）個分の画素の画素値）を抽出する。次に、顔検出部１２０１は、処理対象のフレーム１３１０（時間ｔで撮影されたフレーム１３１０）の点（ｋ，ｌ）及びその周辺の画素の画素値（（２Ｘ＋１）×（２Ｙ＋１）個分の画素の画素値）を抽出する。

次に、顔検出部１２０１は、顔画像１３２０より抽出した（２Ｘ＋１）×（２Ｙ＋１）個分の画素の画素値と、フレーム１３１０の点（ｋ，ｌ）について抽出した（２Ｘ＋１）×（２Ｙ＋１）個分の画素の画素値との間における、対応する画素間の差分の合計を算出する。

次に、顔検出部１２０１は、算出した差分の合計が、閾値Ｔ_５未満であるか否かを判定し、閾値Ｔ_５未満であると判定した場合には、当該点（ｋ，ｌ）について抽出した（２Ｘ＋１）×（２Ｙ＋１）個分の画素を含む矩形領域を、顔領域として検出する。なお、フレーム１３１０から複数の顔領域が検出された場合、顔検出部１２０１は、差分が最小となる矩形領域を顔領域として選択する。

（２）動き解析装置１２１０のうなずき検出部１２１１の処理の詳細
図１４は、うなずき検出部によるうなずき検出処理の具体例を示す図である。図１４において、横軸は時間を表し、縦軸は、動き量算出装置１２０’から出力される、店員１２４０の顔領域の縦方向の位置ｙを表している。

うなずき検出部１２１１は、動き量算出装置１２０’から出力される縦方向の位置ｙについて閾値Ｔ_６以上の負の変化があった後に、閾値Ｔ_６以上の正の変化があった場合に、うなずきがあったと判定する。図１４は、うなずき検出部１２１１がうなずきがあったと判定した際の縦方向の位置ｙの時間変化を示している。

うなずき検出部１２１１は、うなずきがあったと判定した場合、うなずきを定量化するパラメータ（ｉ，ｊ）を算出する。なお、うなずきがあったと判定した際の縦方向の位置ｙの時間変化のうち、縦方向の位置ｙが最も小さい値ｙ_ｍｉｎとなる前の時間で、閾値Ｔ_７未満の変化となっていた時間を、開始時間とする。また、その時の縦方向の位置ｙをｙ_ｌｅｆｔとする。また、ｙ_ｍｉｎとなった後の時間で、閾値Ｔ_７未満の変化となっていた時間を終了時間とする。また、その時の縦方向の位置ｙをｙ_{ｒｉｇｈｔ}とする。その場合、うなずきを定量化するパラメータ（ｉ，ｊ）を下式のように定義する。

つまり、うなずき検出部１２１１は、縦方向の位置ｙに基づいてうなずきの有無を判定するとともに、うなずきを定量化するパラメータとして、うなずきの時間幅（長さｉ）、うなずきの動作幅（深さｊ）を算出する。

（３）動き解析装置１２１０の応対品質評価部１２１２の処理の詳細
図１５は、応対品質評価部による応対品質評価処理の具体例を示す図である。図１５（ａ）、（ｂ）において横軸は時間を表し、時間軸上の長方形は、各時間におけるうなずきの長さ（ｉ）及び深さ（ｊ）を表したものである。時間軸上の長方形の横の辺の長さは、うなずきの長さ（ｉ）を表している。また、時間軸上の長方形の縦の辺の長さは、うなずきの深さ（ｊ）を表している。

一般に、“聞き手が同じうなずきを続けると、話し手は、聞き手が本当に話を聞いているのか疑問に感じる”との知見がある。応対品質評価部１２１２は、当該知見に基づいて、店員１２４０の応対品質を評価する。

具体的には、応対品質評価部１２１２は、ｋ回目のうなずきの長さをｉ_ｋ、ｋ回目のうなずきの深さをｊ_ｋとし、下式を満たす間、ｒをｋ−１から順次小さくしていき、下式を満たさなくなったときの回数Ｃ＝ｋ−ｒを算出する。

そして、応対品質評価部１２１２は、算出した回数Ｃを下式に代入することで、店員１２４０の応対品質の評価値Ｈを算出する。

店員１２４０が、図１５（ａ）に示すようなうなずきを行った場合、店員１２４０の応対品質の評価値Ｈは下がる。一方、店員１２４０が、図１５（ｂ）に示すようなうなずきを行った場合、店員１２４０の応対品質の評価値Ｈは上がる。

（４）管理装置１２２０の評価値表示処理部１２２１の処理の詳細
図１６は、評価値表示処理部による評価値表示処理の具体例を示す図である。図１６において横軸は時間を表し、縦軸は、動き解析装置１２１０から送信された評価値Ｈを表している。

図１６に示すように、評価値表示処理部１２２１は、動き解析装置１２１０から送信される評価値Ｈを、時間情報と対応付けてグラフ化する。これにより、管理者１２６０は、店員１２４０の応対品質の評価値Ｈが、時間とともにどのように変化しているのかを容易に把握することができる。

＜業務支援システムの各装置による処理の流れ＞
次に、業務支援システム１２００に含まれる各装置による処理の流れについて説明する。

（１）動き量算出装置１２０’による顔の動き量算出処理の流れ
図１７は、動き量算出装置による顔の動き量算出処理のフローチャートである。図１１との相違点は、ステップＳ１７０１、Ｓ１７０２、Ｓ１７０３である。

ステップＳ１７０１において、顔検出部１２０１は、ｆフレーム目より顔領域を検出する。なお、以降、ステップＳ１１０３からステップＳ１１０７までの処理は、ステップＳ１７０１において検出した顔領域について行う。

ステップＳ１７０２において、加重平均部５０６は、ｆフレーム目の各特徴点の（ｆ＋１）フレーム目における各移動先までの各移動量に対して、調整済みの重みを用いて加重平均処理を行い、顔の動き量を算出する。

ステップＳ１７０３において、加重平均部５０６は、算出した顔の動き量にｆフレームにおける顔の縦方向の位置を加えて、時間情報と対応付けて動き解析装置１２１０に出力する。

（２）動き解析装置１２１０による解析処理の流れ
図１８は、動き解析装置による解析処理のフローチャートである。ステップＳ１８０１において、うなずき検出部１２１１は、動き量算出装置１２０’から出力された顔の縦方向の位置と時間情報とを取得する。

ステップＳ１８０２において、うなずき検出部１２１１は、所定の時間幅における顔の縦方向の位置ｙの変化から、うなずきの有無を判定する。具体的には、うなずき検出部１２１１は、動き量算出装置１２０’から出力された顔の縦方向の位置ｙについて、閾値Ｔ_６以上の負の変化があった後に、閾値Ｔ_６以上の正の変化があったか否かを判定する。

ステップＳ１８０２において、顔の縦方向の位置ｙについて、閾値Ｔ_６以上の負の変化があった後に、閾値Ｔ_６以上の正の変化があったと判定した場合には、うなずき検出部１２１１は、うなずきがあったと判定する。この場合、うなずき検出部１２１１は、ステップＳ１８０３からステップＳ１８０４へと進み、うなずきを定量化するパラメータ（ｉ，ｊ）を算出する。

ステップＳ１８０５において、応対品質評価部１２１２は、過去のパラメータ（ｉ，ｊ）と対比し、現在の応対品質の評価値Ｈを算出する。

ステップＳ１８０６において、応対品質評価部１２１２は、現在の応対品質の評価値Ｈを管理装置１２２０に送信する。

一方、ステップＳ１８０３においてうなずきがなかったと判定した場合には（ステップＳ１８０３においてＮｏの場合には）、直接ステップＳ１８０６に進む。この場合、ステップＳ１８０６において、応対品質評価部１２１２は、前回送信した応対品質の評価値Ｈと同じ評価値Ｈを管理装置１２２０に送信する。

ステップＳ１８０７において、うなずき検出部１２１１は、解析処理を終了するか否かを判定する。ステップＳ１８０７において、解析処理を終了しないと判定した場合には（ステップＳ１８０７においてＮｏの場合には）、ステップＳ１８０１に戻る。一方、ステップＳ１８０７において終了すると判定した場合には（ステップＳ１８０７においてＹｅｓの場合には）、解析処理を終了する。

以上の説明から明らかなように、業務支援システム１２００では、動き量算出装置１２０’より出力された顔の縦方向の位置に基づき、動き解析装置１２１０が販売業務等に従事する店員のうなずきの長さ及び深さを算出する。また、業務支援システム１２００では、算出したうなずきの長さ及び深さに基づき、動き解析装置１２１０が店員の応対品質の評価値を算出し、表示する。これにより、業務支援システム１２００によれば、販売業務等に従事する店員の応対品質を管理することが可能となる。

［第３の実施形態］
上記第２の実施形態では、業務支援システム１２００が、撮像装置、動き量算出装置、動き解析装置、管理装置を有する場合について説明したが、業務支援システムのシステム構成はこれに限定されない。

例えば、動き量算出装置及び動き解析装置の機能を店員が有する携帯端末において実現するようにしてもよい。また、携帯端末が有するバイブレーション機能を利用して、評価値が所定の閾値以下となった場合に、店員に通知するようにしてもよい。以下、第３の実施形態について、第２の実施形態との相違点を中心に説明する。

＜業務支援システムのシステム構成＞
はじめに、第３の実施形態に係る動き量算出装置を有する業務支援システムのシステム構成について説明する。図１９は、第３の実施形態に係る動き量算出装置を有する業務支援システムのシステム構成の一例を示す図である。

図１９に示すように、業務支援システム１９００は、撮像装置１１０、動き量算出装置１９１０を有する。撮像装置１１０と動き量算出装置１９１０とは無線により接続されるものとする。

第３の実施形態に係る動き量算出装置１９１０は、例えば、携帯端末により実現される。動き量算出装置１９１０には、顔検出プログラム、動き量算出プログラム、うなずき検出プログラム、応対品質評価プログラム、振動プログラムがインストールされている。動き量算出装置１９１０は、これらのプログラムが実行されることで、顔検出部１２０１、動き量算出部１２１、うなずき検出部１２１１、応対品質評価部１２１２、振動部１９１１として機能する。

なお、動き量算出装置１９１０が実現する各機能のうち、顔検出部１２０１、動き量算出部１２１、うなずき検出部１２１１、応対品質評価部１２１２は、上記第１または第２の実施形態において説明済みであるため、ここでは詳細な説明は省略する。

振動部１９１１は通知部の一例であり、応対品質評価部１２１２において算出された応対品質の評価値Ｈが所定の条件を満たすと判定した場合に、動き量算出装置１９１０が有するバイブレータを動作させる。これにより、応対品質が低下していることが通知され、店員１２４０はこれを認識することができる。

＜動き量算出装置の各部による処理の詳細＞
次に、動き量算出装置１９１０の各部による処理の詳細について説明する。ここでは、振動部１９１１による振動指示処理の詳細について説明する。図２０は、振動部による振動指示処理の具体例を示す図である。図２０において横軸は時間を表し、縦軸は、応対品質評価部１２１２から通知された評価値Ｈを表している。

図２０に示すように、振動部１９１１は、応対品質評価部１２１２から通知された評価値Ｈが、閾値Ｔ_９以下となっている時間が、Ｓ秒以上継続したと判定した場合に、振動指示を出力する。

＜動き量算出装置による業務支援処理の流れ＞
次に、動き量算出装置１９１０による業務支援処理の流れについて説明する。図２１は、業務支援処理のフローチャートである。なお、上記第２の実施形態において図１７、１８を用いて説明した顔の動き量算出処理に含まれる工程、解析処理に含まれる工程と同様の工程については同じ符号を付し、ここでは説明を省略する。

上記第２の実施形態との相違点は、ステップＳ２１０１、Ｓ２１０２である。ステップＳ２１０１において、振動部１９１１は、応対品質評価部１２１２において算出された応対品質の評価値Ｈが、閾値Ｔ_９以下となっている時間が、Ｓ秒以上継続しているか否かを判定する。

ステップＳ２１０１においてＳ秒以上継続していると判定した場合には、ステップＳ２１０２に進み、振動部１９１１は振動指示を出力し、動き量算出装置１９１０が有するバイブレータを動作させる。

一方、ステップＳ２１０１においてＳ秒以上継続していないと判定した場合には、直接ステップＳ１１０９に進む。

以上の説明から明らかなように、業務支援システム１９００は、店員の応対品質の評価値を監視し、所定の条件を満たすと判定した場合に、店員に通知する。これにより、業務支援システム１９００によれば、販売業務等に従事する店員の応対品質が低下した場合に、当該店員は、自身の応対品質が低下していることを直ちに認識することができる。

［その他の実施形態］
上記第１の実施形態では、重なり度合い算出部５０４が、相関点の数に基づいて重なり度合いを算出したうえで、重みを算出するものとして説明した。しかしながら、重なり度合い算出部５０４は、相関点の数に基づいて、直接、重みを算出してもよい。

上記第２の実施形態では、動き量算出装置１２０’と動き解析装置１２１０とを別体としたが、動き量算出装置１２０’と動き解析装置１２１０とは一体としてもよい。また、動き量算出装置１２０’及び動き解析装置１２１０が有する機能の一部は、管理装置１２２０が有していてもよい。

上記第３の実施形態では、動き量算出装置１９１０が、顔検出部１２０１、動き量算出部１２１、うなずき検出部１２１１、応対品質評価部１２１２、振動部１９１１を有するものとして説明した。しかしながら、動き量算出装置１９１０が有するこれらの機能のうち、振動部１９１１を除く他の機能については、動き量算出装置１９１０とは異なる装置が有していてもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出し、
前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定し、
前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する、
処理をコンピュータに実行させる動き量算出プログラム。
（付記２）
前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを算出し、前記複数の特徴点の移動量それぞれに、該算出した重みをかけあわせることで、加重平均処理を行うことを特徴とする付記１に記載の動き量算出プログラム。
（付記３）
前記点の数が多くなるにつれて前記重みを大きくし、前記点の数が少なくなるにつれて前記重みを小さくして、前記加重平均処理を行うことを特徴とする付記２に記載の動き量算出プログラム。
（付記４）
前記複数の特徴点それぞれの重みの総和を用いて、前記複数の特徴点それぞれの重みを正規化し、前記複数の特徴点の移動量それぞれに、該正規化した重みをかけあわせることで、前記加重平均処理を行うことを特徴とする付記２に記載の動き量算出プログラム。
（付記５）
所定の下限閾値よりも小さい重みの値をゼロに変更することを特徴とする付記４に記載の動き量算出プログラム。
（付記６）
前記複数の特徴点それぞれの重みの度数分布から、前記所定の下限閾値を算出することを特徴とする付記５に記載の動き量算出プログラム。
（付記７）
所定の上限閾値よりも大きい重みの値を該上限閾値に変更することを特徴とする付記４に記載の動き量算出プログラム。
（付記８）
前記複数の特徴点それぞれの重みの度数分布から、前記所定の上限閾値を算出することを特徴とする付記７に記載の動き量算出プログラム。
（付記９）
撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出し、
前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定し、
前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する、
処理をコンピュータが実行する動き量算出方法。
（付記１０）
撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出する抽出部と、
前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定する特定部と、
前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する算出部と
を有することを特徴とする動き量算出装置。
（付記１１）
人物についての複数の撮像画像のうち、第１の撮像画像から、該人物の顔領域を検出する検出部と、
前記顔領域から、複数の特徴点を抽出する抽出部と、
前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定する特定部と、
前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記人物の顔の動き量を算出し、前記第１の撮像画像の顔領域の位置に前記動き量を加えて前記第２の撮像画像の顔領域の位置を算出する算出部と
を有することを特徴とする業務支援システム。
（付記１２）
前記顔領域の位置の変化が所定の条件を満たす場合に、前記人物がうなずいたと判定し、うなずいたと判定した時間幅と、うなずいたと判定した時間幅における動作幅とを算出する判定部と、
前記人物がうなずいたと判定されるごとに算出される前記時間幅及び前記動作幅についての時間変化に基づいて、評価値を算出する評価部と
を更に有することを特徴とする付記１１に記載の業務支援システム。
（付記１３）
前記評価値の時間変化を表示する表示部を更に有することを特徴とする付記１２に記載の業務支援システム。
（付記１４）
前記評価値が所定の条件を満たすことを前記人物に通知するための通知部を更に有することを特徴とする付記１３に記載の業務支援システム。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：動き量算出システム
１１０ ：撮像装置
１２０、１２０’ ：動き量算出装置
１２１ ：動き量算出部
１２２ ：動画像データ格納部
５０１ ：動画像取得部
５０２ ：特徴点抽出部
５０３ ：移動先特定部
５０４ ：重なり度合い算出部
５０５ ：重み調整部
５０６ ：加重平均部
１２００ ：業務支援システム
１２０１ ：顔検出部
１２１０ ：動き解析装置
１２１１ ：うなずき検出部
１２１２ ：応対品質評価部
１２２０ ：管理装置
１２２１ ：評価値表示処理部
１９００ ：業務支援システム
１９１０ ：動き量算出装置
１９１１ ：振動部

Claims (14)

1. 撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出し、
   前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定し、
   前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する、
   処理をコンピュータに実行させる動き量算出プログラム。
2. 前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを算出し、前記複数の特徴点の移動量それぞれに、該算出した重みをかけあわせることで、加重平均処理を行うことを特徴とする請求項１に記載の動き量算出プログラム。
3. 前記点の数が多くなるにつれて前記重みを大きくし、前記点の数が少なくなるにつれて前記重みを小さくして、前記加重平均処理を行うことを特徴とする請求項２に記載の動き量算出プログラム。
4. 前記複数の特徴点それぞれの重みの総和を用いて、前記複数の特徴点それぞれの重みを正規化し、前記複数の特徴点の移動量それぞれに、該正規化した重みをかけあわせることで、前記加重平均処理を行うことを特徴とする請求項２に記載の動き量算出プログラム。
5. 所定の下限閾値よりも小さい重みの値をゼロに変更することを特徴とする請求項４に記載の動き量算出プログラム。
6. 前記複数の特徴点それぞれの重みの度数分布から、前記所定の下限閾値を算出することを特徴とする請求項５に記載の動き量算出プログラム。
7. 所定の上限閾値よりも大きい重みの値を該上限閾値に変更することを特徴とする請求項４に記載の動き量算出プログラム。
8. 前記複数の特徴点それぞれの重みの度数分布から、前記所定の上限閾値を算出することを特徴とする請求項７に記載の動き量算出プログラム。
9. 撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出し、
   前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定し、
   前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する、
   処理をコンピュータが実行する動き量算出方法。
10. 撮影対象についての複数の撮像画像のうち、第１の撮像画像から複数の特徴点を抽出する抽出部と、
    前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定する特定部と、
    前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記撮影対象の動き量を算出する算出部と
    を有することを特徴とする動き量算出装置。
11. 人物についての複数の撮像画像のうち、第１の撮像画像から、該人物の顔領域を検出する検出部と、
    前記顔領域から、複数の特徴点を抽出する抽出部と、
    前記第１の撮像画像よりも後に撮影された第２の撮像画像に含まれる前記特徴点との相関関係が所定の条件を満たす点の集合の重心位置を該特徴点の移動先として特定する特定部と、
    前記複数の特徴点それぞれの前記移動先までの移動量に対して、前記複数の特徴点それぞれについて取得した前記点の数に応じた重みを用いて前記人物の顔の動き量を算出し、前記第１の撮像画像の顔領域の位置に前記動き量を加えて前記第２の撮像画像の顔領域の位置を算出する算出部と
    を有することを特徴とする業務支援システム。
12. 前記顔領域の位置の変化が所定の条件を満たす場合に、前記人物がうなずいたと判定し、うなずいたと判定した時間幅と、うなずいたと判定した時間幅における動作幅とを算出する判定部と、
    前記人物がうなずいたと判定されるごとに算出される前記時間幅及び前記動作幅についての時間変化に基づいて、評価値を算出する評価部と
    を更に有することを特徴とする請求項１１に記載の業務支援システム。
13. 前記評価値の時間変化を表示する表示部を更に有することを特徴とする請求項１２に記載の業務支援システム。
14. 前記評価値が所定の条件を満たすことを前記人物に通知するための通知部を更に有することを特徴とする請求項１３に記載の業務支援システム。