JP6975666B2 - 人物特定システム及び人物特定方法 - Google Patents

Description

本発明は、人物を特定する技術に関する。

本技術分野の背景技術として、以下の先行技術がある。特許文献１（特開２０１２−４８５５０号公報）には、顔画像を用いた特定人物検知システムが記載されている。また、特許文献２（特開２００２−１５０２９６号公報）には、施設への入場者の認証を行う際に、入場者である被認証者が認証用ボックス内に手を挿入して、グー・チョキ・パーなどの一連の動作を行わせ、この手の動作をカメラ装置にて撮影し、この撮影画像を画像処理部にて所定の画像処理を施した後、判断部にて、画像処理が施された画像データと、予め登録された認証者の手の動作画像データとの相関係数を求めて、所定のしきい値以上であれば、その動作画像データに該当する認証者であると判断するようにしたものであり、認証を行う際に、認証者固有のくせを介在させた認証装置が記載されている。

特開２０１２−４８５５０号公報 特開２００２−１５０２９６号公報

Real-Time Object Detection，［平成３０年１月６日検索］、インターネット〈URL：https://pjreddie.com/darknet/yolo/〉 SSD: Single Shot MultiBox Detector，［平成３０年１月６日検索］、インターネット〈URL：https://github.com/weiliu89/caffe/tree/ssd〉

前述したように、人物を特定するために様々な方法が存在するが、顔画像を使用することなく動いている人物を特定する技術は確立していない。特に工場などで作業中の作業者の顔画像を撮影することは困難であり、作業者が作業を止めてカメラに顔を向けることなく作業者を特定することは困難である。

さらに、特許文献２に記載されるように、人物の動作によって人物を特定すると所望の精度が得られず、認証ＩＤ（番号の入力やカードの提示）や顔画像などと併用して認証精度を向上する必要がある。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、動画像を用いて人物を特定する人物特定システムであって、プログラムを実行する演算装置と、前記演算装置と接続された記憶装置とを備え、前記記憶装置は、特定すべき人物の勤怠データを格納し、前記演算装置は、取得した動画から複数の静止画を抽出し、前記抽出された複数の静止画から、人物の動作の特徴量を抽出し、人物の動作の特徴量によって構築された学習データを用いて、前記抽出された特徴量の人物が誰であるかを示す確率を算出し、前記勤怠データを参照して、前記人物が欠勤している場合、前記確率を０に設定することを特徴とする。

本発明の一態様によれば、動作を中断することなく、動作中の人物を特定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

学習フェーズにおける人物特定システムの論理的な構成例を示す図である。 予測フェーズにおける人物特定システムの論理的な構成例を示す図である。 人物特定システムの物理的な構成例を示す図である。 人物特定補助データの例を示す図である。 人物特定システムが実行する処理のフローチャートである。 図５のステップＳ５の処理の詳細のフローチャートである。

図１及び図２は、本発明の実施例の人物特定システムの論理的な構成例を示す図であり、図１は学習フェーズにおける論理構成を、図２は予測フェーズにおける論理構成を示す。

本実施例の人物特定システムは、学習フェーズでは図１に示すように、カメラ１００が撮影した動画像を格納する動画格納部２００と、動作と人物との関連性を学習する学習部７００と、学習部７００によって学習された学習済データ５００とを有する。学習部７００は、複数の機能ブロックで構成されており、動画を時系列の静止画に変換する機能３００と、静止画から人物を切り出す機能３１０と、切り出した人物の名前を設定する機能３２０と、人工知能学習機能４００とを含む。

また、本実施例の人物特定システムは、予測フェーズでは図２に示すように、カメラ１００が撮影した動画像を格納する動画格納部２００と、人物を特定する予測部８００と、学習済データ５００と、人物の特定に補助的に用いられる人物特定補助データ６００とを有する。なお、前述した学習フェーズ（図１）と同じ機能には同じ符号を付した。予測部８００は、複数の機能ブロックで構成されており、動画を時系列の静止画に変換する機能３００と、静止画から人物を切り出す機能３１０と、学習済データ５００を参照して学習済データから人物候補を抽出する機能３３０と、人物特定補助データ６００を参照して人物候補と特定補助データを突き合わせる機能３４０とを含む。

図３は、本発明の実施例の人物特定システムの物理的な構成例を示す図である。

本実施例の人物特定システムは、プロセッサ（ＣＰＵ）１１、メモリ１２、補助記憶装置１３、通信インターフェース１４、入力インターフェース１５及び出力インターフェース１８を有する計算機によって構成される。

プロセッサ１１は、メモリ１２に格納されたプログラムを実行する。メモリ１２は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサ１１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。なお、人物特定システムがプログラムを実行して行う処理の全部又は一部をハードウェア（例えば、ＦＰＧＡ）で行ってもよい。

補助記憶装置１３は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。具体的には、補助記憶装置１３には、動画格納部２００のデータと、学習済データ５００と、人物特定補助データ６００とが格納される。また、補助記憶装置１３は、プロセッサ１１が実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置１３から読み出されて、メモリ１２にロードされて、プロセッサ１１によって実行される。

通信インターフェース１４は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。

入力インターフェース１５は、キーボード１６やマウス１７などが接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース１８は、ディスプレイ装置１９やプリンタ（図示省略）などが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。なお、人物特定システムは、ネットワークを介して接続された端末に備わる入出力インターフェースによって操作されてもよい。

プロセッサ１１が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して人物特定システムに提供され、非一時的記憶媒体である不揮発性の補助記憶装置１３に格納される。このため、人物特定システムは、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

人物特定システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

図４は、本発明の実施例の人物特定補助データ６００の定義の例を示す図である。

図４に示す人物特定補助データ６００の定義は、データ種別と、データ内容と、データ内容の補足とのカラムで示すが、実際の人物特定補助データ６００は、判定対象の人物に対応して判定項目としてのデータ内容６０２に関するデータが登録されているものである。

人物特定補助データ６００は、勤怠データと入退室データと本人位置データと立ち入り制限データとの少なくとも一つの判定項目を含む。

勤怠データは、当日の出勤状況を示すデータで、例えば、特定対象の人物毎に欠勤か出勤かが記録されており、従業員の勤怠を管理する勤怠管理システムから取得できるデータである。勤怠データを参照すると、現在、欠勤中か出勤中かが分かる。人物候補が欠勤している場合、当該人物候補が動画像に存在する確率は低いと判定できる。

入退室データは、特定対象の人物が在室する部屋が記録されており、例えば、部屋毎に在室する人物を記録したデータや、特定対象の人物毎に在室する部屋を記録したデータであり、入退室管理システムから取得できるデータである。入退室データを参照すると、現在の居場所を推定できる。当該人物候補が在室していない場合、人物候補が動画像に存在する確率は低いと判定できる。

本人位置データは、特定対象の人物の位置が記録されており、例えば、特定対象の人物毎に位置を記録したデータであり、ＧＰＳやビーコンなどを用いて人物の居場所をリアルタイムに記録する位置情報システムから取得できるデータである。本人位置データを参照すると、現在の居場所を推定できる。当該人物候補がカメラの近くにいない場合、人物候補が動画像に存在する確率は低いと判定できる。

立ち入り制限データは、事業場内において特定対象の人物の立ち入りが制限又は許可されている区域が記録されており、例えば、特定対象の人物毎に立ち入り禁止区域（部屋や座標によって定められる領域）を記録したデータや、区域（例えば作業場所）毎に立ち入りが許可（又は禁止）されている人物のデータである。立ち入り制限データを参照すると、当該人物が存在する可能性が高い場所が分かる。人物候補の立入りが制限されている場合、当該人物候補が動画像に存在する確率は低いと判定できる。

人物特定補助データ６００は、特定対象の人物の位置を推定するために役立つ情報であればよく、例示した以外のデータを用いてもよい。

図５は、本発明の実施例の人物特定システムが実行する処理のフローチャートである。

人物特定システムは、起動後、所定時間毎にステップＳ１からＳ７の処理を繰り返し実行する。なお、この処理は、任意のタイミング（例えば、オペレータからの要求や、イベントの発生など）において、実行してもよい。

まず、特定対象の人物が撮影されている動画を取得して、動画格納部２００に格納する（Ｓ１）。例えば、工場の作業場所で作業をしている作業者を撮影した動画を取得する。

その後、予測部８００の静止画変換機能３００は、取得した動画を時系列の静止画に変換する（Ｓ２）。例えば、３０ｆｐｓの動画では、１分間に１８００フレームが含まれる。その中から等間隔で４０フレームを切り出す。この方法には以下の利点がある。まず、全体からまんべんなく静止画を取得するので、人物特定に役立つシーンが含まれる可能性が高くなる。また、等間隔で取得するので、動きの速さが分かる。

次に、予測部８００の人物切り出し機能３１０は、静止画から人物を切り出す（Ｓ３）。ステップＳ３では、画像中に写る物体の種類と画像中の位置を識別する公知技術（例えば、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ））などが採用できる。

その後、切り出された人物毎に、ステップＳ４からＳ７の処理を繰り返し実行する。ステップＳ４では、予測部８００の人物候補抽出機能３３０は、学習済データ５００から人物候補を抽出する。

その後、予測部８００の人物特定補助データ突合機能３４０は、人物候補と人物特定補助データ６００を突き合わせて、当該人物が動画像に存在すべきでなければ当該人物の確率が低くなるように、当該人物候補の確率を推定する（Ｓ５）。この処理は図６を参照して後述する。

予測部８００の人物特定機能３５０は、確率が最大の人物の属性（氏名など）を出力し（Ｓ６）、判定結果を記録する（Ｓ７）。なお、確率が大きい上位から所定人数の人物の属性を出力してもよい。

図６は、図５のステップＳ５の処理の詳細のフローチャートである。図６に示す処理では、複数の判定項目を順に判定し、一つの判定項目において当該人物が動画像に存在すべきではない場合に、当該人物の確率を０に設定して処理を終了する。以下、処理手順を具体的に説明する。

まず、人物特定補助データ６００を参照して、勤怠データを判定する（Ｓ５１）。具体的には、当該人物候補が欠勤中の場合、当該人物の確率を０に設定する（Ｓ５５）。

一方、当該人物候補が出勤中の場合、入退室データを判定する（Ｓ５２）。具体的には、当該動画が撮影された部屋に当該人物候補が在室しない場合、該当人物の確率を０に設定する（Ｓ５５）。

一方、当該動画が撮影された部屋に当該人物候補が在室する場合、本人位置データを判定する（Ｓ５３）。具体的には、当該人物候補が当該動画を撮影したカメラ付近にいない場合、該当人物の確率を０に設定する（Ｓ５５）。

一方、当該人物候補が当該動画を撮影したカメラ付近にいる場合、立ち入り制限データを判定する（Ｓ５４）。具体的には、立ち入りが制限されている区域内で当該人物候補が検出された場合、該当人物の確率を０に設定する（Ｓ５５）。一方、立ち入りが制限されている区域外で当該人物候補が検出された場合、当該人物候補は動画に存在している可能性があるので、ステップＳ５の処理を終了し、ステップＳ６に進む。

図示した例とは異なり、当該人物が動画像に存在すべきではない場合に、当該人物の確率が低くなる係数を乗じて、さらに次の判定項目で判定してもよい。このようにすると、複数の判定項目を複合的に用いて当該人物の確率を決定できる。

以上に説明したように、本発明の実施例の人物特定システムによると、取得した動画から複数の静止画を抽出し、前記抽出された複数の静止画から、人物の動作の特徴量を抽出し、人物の動作の特徴量によって構築された学習データを用いて、前記抽出された特徴量の人物が誰であるかを示す確率を算出するので、動作を中断することなく、動作中の人物を特定できる。特に工場などで作業中の作業者の顔画像を撮影することは困難であるところ、作業者が作業を止めてカメラに顔を向けることなく作業者を特定できる。

また、前記取得した動画のフレームレートより長い等間隔で複数のフレームを取り出すことによって、静止画を抽出するので、全体からまんべんなく静止画を取得して、人物特定に役立つシーンが含まれる可能性を高め、高精度で人物を特定できる。また、等間隔で取得するので、動きの速さが分かる。

また、勤怠データ、入退室データ、位置データ、及び立ち入り制限データの少なくとも一つの判定項目を含む人物特定補助データを格納し、前記人物特定補助データを参照して、動画像から特定された人物が当該動画像に写っているべきでない場合、当該人物の確率が低くなるように、当該人物の確率を算出するので、認証ＩＤ（番号の入力やカードの提示）を併用せずに、高精度で人物を特定できる。このため、作業を中断することなく、作業中の人物を高精度で特定できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１１ プロセッサ
１２ メモリ
１３ 補助記憶装置
１４ 通信インターフェース
１５ 入力インターフェース
１８ 出力インターフェース
１００ カメラ
２００ 動画格納部
５００ 学習済データ
６００ 人物特定補助データ
７００ 学習部
８００ 予測部

Claims (6)

1. 動画像を用いて人物を特定する人物特定システムであって、
   プログラムを実行する演算装置と、前記演算装置と接続された記憶装置とを備え、
   前記記憶装置は、特定すべき人物の勤怠データを格納し、
   前記演算装置は、
   取得した動画から複数の静止画を抽出し、
   前記抽出された複数の静止画から、人物の動作の特徴量を抽出し、
   人物の動作の特徴量によって構築された学習データを用いて、前記抽出された特徴量の人物が誰であるかを示す確率を算出し、
   前記勤怠データを参照して、前記人物が欠勤している場合、前記確率を０に設定することを特徴とする人物特定システム。
2. 請求項１に記載の人物特定システムであって、
   前記演算装置は、前記取得した動画のフレームレートより長い等間隔で複数のフレームを取り出すことによって、静止画を抽出することを特徴とする人物特定システム。
3. 請求項１に記載の人物特定システムであって、
   前記記憶装置は、入退室データ、位置データ、及び立ち入り制限データの少なくとも一つを含む人物特定補助データを格納し、
   前記演算装置は、前記人物特定補助データを参照して、動画像から特定された人物が当該動画像に写っているべきでない場合、当該人物の確率が低くなるように、当該人物の確率を算出することを特徴とする人物特定システム。
4. 動画像を用いて人物を特定する人物特定システムが実行する人物特定方法であって、
   前記人物特定システムは、プログラムを実行する演算装置と、前記演算装置と接続された記憶装置とを有し、
   前記記憶装置は、特定すべき人物の勤怠データを格納し、
   前記方法は、
   前記演算装置が、取得した動画から複数の静止画を抽出する手順と、
   前記演算装置が、前記抽出された複数の静止画から、人物の動作の特徴量を抽出する手順と、
   前記演算装置が、人物の動作の特徴量によって構築された学習データを用いて、前記抽出された特徴量の人物が誰であるかを示す確率を算出する手順とを含み、
   前記確率を算出する手順では、演算装置が、前記勤怠データを参照して、前記人物が欠勤している場合、前記確率を０に設定することを特徴とする人物特定方法。
5. 請求項４に記載の人物特定方法であって、
   前記静止画を抽出する手順において、前記演算装置は、前記取得した動画のフレームレートより長い等間隔で複数のフレームを取り出すことを特徴とする人物特定方法。
6. 請求項４に記載の人物特定方法であって、
   前記記憶装置は、入退室データ、位置データ、及び立ち入り制限データの少なくとも一つを含む人物特定補助データを格納し、
   前記方法は、前記演算装置が、前記人物特定補助データを参照して、動画像から特定された人物が当該動画像に写っているべきでない場合、当該人物の確率が低くなるように、当該人物の確率を算出する手順を含むことを特徴とする人物特定方法。

Images