JP6024952B2 - 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム - Google Patents

Description

本発明は、連続的に入力される画像の認識又は認証を行う画像認識認証システム、及びその画像認識認証システムを構成する画像送信装置及び画像受信装置、並びに画像送信方法及び画像送信プログラムに関するものである。

従来、カメラとサーバからなる画像認識認証システムにおいて、カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識処理又は認証処理（以下「認識認証処理」という。）を行なう画像認識認証システムが知られている。例えば、監視カメラで人物を撮影して、認識認証処理として、認識対象（顔）の検出、年齢や性別の判定、個人認証等を行なう画像認識認証システムがある。

従来は、カメラで連続的な画像（動画像）を撮影して、それらの連続的な複数の画像を生成し、それらをすべてサーバに送信し、サーバ側では受信したすべての画像（フレーム）に対して認識認証処理を行なっていた。このようにすべての画像をサーバに送信して認識認証処理を行なうと、画像の伝送量が多くなってネットワークにかかる負荷が大きくなるだけでなく、サーバの処理負荷が大きくなり、かつサーバで受信した画像を蓄積するための容量が大きくなる等、サーバのコストも大きくなる。

これに対して、カメラ側で連続的な複数の画像に対して認識対象の検出処理を行なって、認識対象が検出された画像のみをサーバに送信する技術が提案されている。このように、認識対象が検出された画像のみに限定してカメラからサーバに送信することで、上記のネットワーク負荷及びサーバのコストを低減できる。

さらに、ネットワーク負荷及びサーバのコストを低減するための技術として、カメラ側で連続的な複数の画像に対して認識対象の検出処理を行なって、認識対象が検出された画像の中の最良の画像のみを選択してサーバに送信する技術が提案されている（例えば、特許文献１ないし４）。これにより、カメラ側からサーバに送信する画像の数を制限できるので、上記のネットワーク負荷及びサーバのコストをさらに低減できる。

特許第３７２７７９８号公報 特許第４２０８４５０号公報 特許第４０２１８７３号公報 特許第４３７７４７２号公報

しかしながら、従来は、カメラ側で選択されてサーバに送信される画像が、必ずしもサーバでの認識認証処理に適した画像ではなかったため、カメラからサーバに送信して認識認証処理がされる画像の数が制限されることで、認識精度が低下してしまうという問題があった。

また、上記のように認識精度を低下させないという要請とともに、ネットワーク負荷及びサーバのコストを低減するという要請も依然としてある。

本発明は、上記の問題に鑑みてなされたものであり、カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識認証処理を行なう画像認識認証システムにおいて、ネットワーク負荷及びサーバのコストを低減することを目的とする。

本発明は、また、カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識認証処理を行なう画像認識認証システムであって、ネットワーク負荷及びサーバのコストを低減するとともに、それによる認識精度の低下を抑える画像認識認証システムを提供することを目的とする。

本発明の画像送信装置は、複数の連続的な画像を入力する画像入力部と、前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信部とを備え、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する構成を有している。

この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。

上記の画像送信装置において、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた基準で、前記複数の画像の中から一部の画像を選択することで、前記複数の画像のデータ量を削減してよい。

この構成によれば、画像入力部に入力された複数の画像の中から一部の画像を選択するので、画像入力部に入力されたすべての画像を送信する場合と比較して、ネットワーク負荷及びサーバのコストを低減できるとともに、そのような画像選択を認識認証処理に応じた基準で行なうので、画像受信装置における認識認証処理の対象となる画像の数を制限することによる認識認証処理の精度の低下を抑えることができる。

上記の画像送信装置において、前記データ量削減部は、前記複数の画像又は選択された前記一部の画像の、前記画像受信装置にて行なう前記認識認証処理に応じた領域をトリミングすることで、前記複数の画像のデータ量を削減してよい。

この構成によれば、複数の画像又は選択された一部の画像に対してトリミングをするので、画像入力部に入力された画像の全体を送信する場合と比較して、データ量が削減されて、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなトリミングを認識認証処理に応じた方法で行なうので、データ量の削減による認識認証処理の精度の低下を抑えることができる。

上記の画像送信装置において、前記データ量削減部は、前記複数の画像又は選択された前記一部の画像の、前記画像受信装置にて行なう前記認識認証処理に応じた帯域成分を抽出することで、前記複数の画像のデータ量を削減してよい。

この構成によれば、複数の画像又は選択された一部の画像に対して一部の帯域成分を抽出するので、画像入力部に入力された画像の全帯域成分を送信する場合と比較して、データ量が削減されて、ネットワーク負荷及びサーバのコストを低減できるとともに、抽出する帯域成分は認識認証処理に応じた帯域成分であるので、データ量の削減による認識認証処理の精度の低下を抑えることができる。

上記の画像送信装置において、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた解像度に、前記複数の画像又は選択された前記一部の画像を解像度変換することで、前記複数の画像のデータ量を削減してよい。

この構成によれば、複数の画像又は選択された一部の画像を解像度変換（圧縮）するので、画像入力部に入力された画像を解像度変換（圧縮）せずに送信する場合と比較して、データ量が削減され、ネットワーク負荷及びサーバのコストを低減できるとともに、そのような解像度変換を認識認証処理に応じた解像度で行なうので、データ量の削減による認識認証処理の精度の過度の低下を抑えることができる。

上記の画像送信装置において、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた符号化率で、前記複数の画像又は選択された前記一部の画像を符号化することで、前記複数の画像のデータ量を削減してよい。

この構成によれば、複数の画像又は選択された一部の画像を符号化するので、画像入力部に入力された画像を符号化せずに送信する場合と比較して、データ量が削減され、ネットワーク負荷及びサーバのコストを低減できるとともに、そのような符号化を認識認証処理に応じた符号化率で行なうので、データ量の削減による認識認証処理の精度の過度の低下を抑えることができる。

上記の画像送信装置は、さらに、前記画像受信装置にて行う前記認識認証処理のモード情報を受信する受信部と、前記モード情報と前記削減方法との対応付けを記憶した記憶部と、前記記憶部を参照して、前記受信部にて受信した前記モード情報に対応する前記削減方法を決定する削減制御部とを備えていてよく、前記データ量削減部は、前記削減制御部にて決定された前記削減方法に従って前記データ量削減画像を生成してよい。

この構成によれば、画像受信装置からその認識認証処理のモード情報を受けることで、そのモード情報に対応した削減方法で画像のデータ量が削減されてデータ量削減画像が生成されるので、画像受信装置における認識認証処理の精度の低下を抑えることができる。

上記の画像送信装置は、さらに、前記削減方法を示す情報を受信する受信部を備えていてよく、前記データ量削減部は、前記受信部にて受信した前記情報で示される前記削減方法に従って前記データ量削減画像を生成してよい。

この構成によれば、画像受信装置から削減方法を示す情報を受けることで、その削減方法で画像のデータ量が削減されてデータ量削減画像が生成されるので、画像受信装置における認識認証処理の精度の低下を抑えることができる。

本発明の画像送信方法は、複数の連続的な画像を入力する画像入力ステップと、入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減ステップと、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信ステップと、を含み、前記データ量削減ステップは、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する。

この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。

本発明の画像送信プログラムは、コンピュータを、複数の連続的な画像を入力する画像入力部と、前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信部と、として機能させる画像送信プログラムであって、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する。

この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。

本発明の画像認識認証システムは、画像送信装置と画像受信装置とからなる画像認識認証システムであって、前記画像送信装置は、複数の連続的な画像を入力する画像入力部と、前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、前記データ量削減画像を前記画像受信装置に送信する送信部と、を備え、前記画像受信装置は、前記送信部にて送信された前記データ量削減画像を受信する受信部と、前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、を備え、前記データ量削減部は、前記認識認証処理部にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する構成を有している。

この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。

本発明の画像受信装置は、画像送信装置から送信されたデータ量削減画像を受信する受信部と、前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、前記認識認証処理部にて行なう前記認識認証処理のモード情報を前記画像送信装置に送信する送信部と、を備えた構成を有している。

この構成によれば、データ量削減画像を送信してくる画像送信装置に対して、認識認証処理のモード情報を送信するので、画像送信装置では、当該モード情報に対応する削減方法でデータ量削減画像を生成することができ、それによって、認識認証処理部における認識認証処理の精度の低下を抑えることができる。

本発明の別の態様の画像受信装置は、画像送信装置から送信されたデータ量削減画像を受信する受信部と、前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、前記認識認証処理部にて行なう前記認識認証処理のモード情報と前記データ量削減画像を生成するための削減方法との対応付けを記憶した記憶部と、設定されたモード情報に従って、前記記憶部を参照して前記削減方法を決定する削減制御部と、前記削減制御部にて決定された前記削減方法を示す情報を前記画像送信装置に送信する送信部と、を備えた構成を有している。

この構成によれば、データ量削減画像を送信してくる画像送信装置に対して、認識認証処理のモード情報に対応する削減方法を通知するので、画像送信装置では、当該削減方法に従ってデータ量削減画像を生成することができ、それによって、認識認証処理部における認識認証処理の精度の低下を抑えることができる。

本発明によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。

本発明の実施の形態における画像送信装置の構成を示すブロック図 本発明の実施の形態における画像認識認証システムの構成を示すブロック図 本発明の実施の形態における画像受信装置の構成を示すブロック図 本発明の実施の形態における解析結果の表示例を示す図 本発明の実施の形態における画像受信装置から画像送信装置に対するモード情報の指定を説明する図 本発明の実施の形態における解像度（画素数）と認識認証の精度との関係の例を示すグラフ 本発明の実施の形態におけるパラメータ記憶部に記憶されるテーブルの例を示す表 本発明の実施の形態における画像送信装置における画像送信方法のフロー図 本発明の実施の形態における帯域成分検出部における帯域成分検出処理を示すフロー図 本発明の実施の形態における画像データ量削減部における画像データ量削減処理を示すフロー図 本発明の実施の形態における画像受信装置から画像送信装置に対するパラメータの指定を説明する図 本発明の実施の形態における画像認識認証システムのシステム構成の他の例を示す図 本発明の実施の形態における画像認識認証システムのシステム構成のさらに他の例を示す図

以下、本発明の実施の形態の画像認識認証システムについて、図面を参照しながら説明する。本明細書において、「認識認証」という用語は、「認識及び／又は認証」を意味するものとして使用する。

図２は、本発明の実施の形態の画像認識認証システムの構成を示すブロック図である。図２に示すように、画像認識認証システム１００は、画像送信装置１０と画像受信装置２０とを備えている。画像送信装置１０と画像受信装置２０とは、ネットワークＮＷを介して接続されており、画像送信装置１０から画像受信装置２０へ、また、画像受信装置２０から画像送信装置１０に種々のデータを伝送することができる。特に、画像送信装置１０において撮影によって画像が取得され、その画像が画像受信装置２０に送信される。画像受信装置２０では、画像送信装置１０より受信した画像に対して対象の認識認証処理が行われる。

図２では、画像送信装置１０及び画像受信装置２０がそれぞれ有線でネットワークＮＷに接続されているが、画像送信装置１０及び画像受信装置２０は無線でネットワークＮＷに接続されてよい。特に、画像送信装置１０を移動可能とする場合には、画像送信装置１０が無線でネットワークＮＷに接続する構成とすることが有利である。

画像認識認証システム１００は、後述するモードを設定することにより、様々な用途に用いることができる。画像認識認証システム１００は、監視システム、マーケティング情報収集システム、車両認識システム等として応用できる。例えば、監視システムの場合には、画像送信装置１０は監視対象箇所に設置されて、画像受信装置２０は、監視対象箇所から離れた監視センタに設置され、監視対象である人物の顔の認識認証を行う。また、例えば、車両認識システムの場合には、画像送信装置１０が施設の駐車場の出口に設置されて、画像受信装置２０は施設内の管理室に設置されるとともに施設内に設置された駐車料金清算機とも接続されて、車両のナンバーの認識認証処理を行うことにより、駐車場の出口のゲートの開閉を行う。

図１は、本発明の実施の形態の画像認識認証システムを構成する画像送信装置の構成を示すブロック図である。図１に示すように、画像送信装置１０は、撮像部１１、画像入力部１２、対象検出部１３、対象追跡部１４、データ削減部１５、パラメータ記憶部１６、削減制御部１７、受信部１８、及び送信部１９を備えている。画像送信装置１０は、デジタルビデオカメラとして構成される。

撮像部１１は、レンズ、絞り、撮像素子、及び信号処理回路を備えている。撮像部１１は、認識認証処理の対象となる被写体を撮影して画像を生成する。撮像部１１は、動画像を撮影することで、連続的な（例えば、毎秒３０フレームの）画像を生成する。撮像部１１は、生成した画像を画像入力部１２に出力する。

画像入力部１２は、撮像部１１から出力される画像を連続的に入力する。対象検出部１３は、画像入力部１２に入力された画像に対して、解析を行って所定の認識認証対象（以下単に「対象」という。）を検出する。対象は、例えば人物、人物の顔、車両のナンバープレート、服、靴等である。具体的な対象は、後述する削減制御部１７より指定される。対象の検出には、既知の技術（例えば、特許第４３１８４６５号公報、特許第３９３０５０４号公報等を参照）を用いることができる。

対象追跡部１４は、対象検出部１３で検出された対象を追跡し、同一対象どうしを時系列方向に結びつける。対象の追跡には、既知の技術（例えば、特開２００４−３１０２８１号公報、特許第３９３０５０４号公報、特許第４５７８８６４号公報等を参照）を用いることができる。

データ削減部１５は、入力される複数の連続する画像のデータ量を削減してデータ量削減画像を生成する。データ削減部１５は、複数の連続する画像から一部の画像を選択すること、及び選択された画像自体のデータ量を削減することにより、画像送信装置１０から画像受信装置２０に送信する画像のデータ量を削減する。即ち、データ削減部１５は、入力される複数の画像をすべて画像受信装置２０に送信するのではなく、ベストショットと判断した画像のみを送信する（送信する画像の数を削減する）ことで、画像送信装置１０から画像受信装置２０に送信する画像のデータ量を削減するとともに、その送信する画像についても、その画像自体のデータ量を画像送信装置１０にて削減した上で画像受信装置２０に送信するので、この点でも画像送信装置１０から画像受信装置２０に送信する画像のデータ量が削減される。

データ削減部１５は、送信する画像の数を削減するための構成としてベストショット判定部１５１を備え、送信する画像自体のデータ量を削減するための構成として画像データ量削減部１５２を備える。ベストショット判定部１５１及び画像データ量削減部１５２は、それぞれ画像受信装置２０における認識認証処理に適した削減方法で、送信する画像のデータ量を削減する。このために、画像送信装置１０は、パラメータ記憶部１６、削減制御部１７、及び受信部１８を備えている。

受信部１８は、画像受信装置２０から認識認証処理のモード情報を受信する。このモード情報は、画像認識認証システム１００の上述した各種の用途に対応している。パラメータ記憶部１６には、モード情報と各種の削減パラメータとが対応付けて記憶されている。削減制御部１７は、受信部１８で受信したモード情報に対応する削減パラメータをパラメータ記憶部１６から読み出して、対象検出部１３及びデータ削減部１５の各種処理に用いるパラメータを設定する。モード情報と削減パラメータとの関係、及び削減パラメータを用いた各種処理については、後述する。

ベストショット判定部１５１は、対象特徴解析部１５３、帯域成分検出部１５４、及び画像選択部１５５からなる。対象特徴解析部１５３は、対象検出部１３で検出された対象に対して特徴解析をして、信頼度（例えば顔らしさ）や対象物の方向（例えば顔の向き）等を算出する。特徴解析には、既知の技術（例えば、特開２００５−２２７９５７号公報等を参照）を用いることができる。帯域成分検出部１５４は、削減制御部１７によって設定された削減パラメータに従って、画像受信装置２０で行う認識認証処理にて重視される帯域成分を検出する。

画像選択部１５５は、対象特徴解析部１５３による特徴解析の結果、及び帯域成分検出部１５４による帯域成分検出の結果に基づいて、同一の対象を含む複数の画像の中からベストショット（最良の画像）を選択して、画像データ量削減部１５２に出力する（以下、ベストショット判定部１５１で選択された画像を「選択画像」という。）。具体的には、削減制御部１７によって設定されたパラメータに従って、対象特徴解析部１５３によって得られた信頼度や方向、及び帯域成分検出部１５４によって得られた帯域成分のうち、いずれをどの程度重視するかを決定して、それを選択基準として画像を選択する。画像選択部１５５は、例えば、画像受信装置２０での認識認証処理として年齢判定が行なわれる場合には、顔の方向よりも高周波成分を多く含む画像を重視するという基準で、画像を選択する。

画像データ量削減部１５２は、必要領域抽出部１５６、必要帯域抽出部１５７、解像度変換部１５８、及び画像符号化部１５９を備えている。必要領域抽出部１５６は、削減制御部１７によって設定された削減パラメータに従って、選択画像から画像受信装置２０で認識認証処理を行うのに好適な領域を算出して抽出（トリミング）する。必要帯域抽出部１５７は、削減制御部１７によって設定された削減パラメータに従って、選択画像から画像受信装置２０で認識認証処理を行うのに好適な帯域を算出して抽出する。解像度変換部１５８は、削減制御部１７によって設定された削減パラメータに従って、画像受信装置２０で認識認証処理を行うのに必要な最小限の解像度（画素数）になるよう選択画像の解像度変換（リサイズ）を行う。画像符号化部１５９は、削減制御部１７によって設定された削減パラメータに従って、画像受信装置２０で認識認証処理を行うのに必要な最小限の符号化率になるよう選択画像を符号化（エンコード）する。

送信部１９は、データ削減部１５から出力される画像とその画像に関する付属情報を画像受信装置２０に送信する。上述のように、送信部１９によって画像受信装置２０に送信される画像は、画像入力部１２に撮像部１１から連続的に入力される複数の画像から一部を選択画像として選択した上で、選択画像に対してトリミング、リサイズ、及びエンコードを行うことでそのデータ量を削減された画像（データ量削減画像）である。このように、画像送信装置１０では、複数の画像から一部を選択するとともに、その選択画像自体のデータ量を削減する処理（トリミング、リサイズ、エンコード）をするので、画像送信装置１０から画像受信装置２０に送信される画像のデータ量を削減することができ、よって、ネットワークＮＷの負荷及び画像受信装置２０の処理負荷やデータベースの必要容量を低減できる。

その一方で、ベストショット判定部１５１では画像受信装置２０の認識認証処理に適した画像が選択され、また、画像データ量削減部１５２によるトリミングでは、画像受信装置２０の認識認証処理に必要な領域が抽出され、画像データ量削減部１５２によるリサイズ及びエンコードでは、画像受信装置２０の認識認証処理に必要な限度でデータ量の削減が行なわれる。よって、ベストショット判定部１５１及び画像データ量削減部１５２によるデータ量の削減によっても、画像受信装置２０での認識認証処理の精度の低下を抑えることができる。

図３は、画像受信装置２０の構成を示すブロック図である。図３に示すように、画像受信装置２０は、受信部２１、画像復号部２２、対象解析部２３、データベース２４、モード設定部２５、及び送信部２６を備えている。画像受信装置２０は、デジタルビデオカメラとして構成される画像送信装置１０に接続された画像認識認証サーバとして構成される。

受信部２１は、画像送信装置１０の送信部１９から送信されてくるデータ量削減画像とその画像の付属情報を受信する。画像復号部２２は、受信した画像を復号する。対象解析部２３は、復号された画像及び付属情報を解析して、対象の認識認証処理を行う。ここでの認識認証処理は、例えば、人物の顔からの年齢及び性別の認識、人物の顔からの特定の人物の認証、車両のナンバープレートの認識等である。データベース２４は、画像復号部２２にて復号された画像及び対象解析部２３で得られた解析結果を保存する。

図３に示すように、画像受信装置２０にはさらに結果表示装置３０が接続されている。結果表示装置３０は、例えば液晶表示パネルであり、データベース２４に保存される画像及び／又は解析結果を表示する。図４は、解析結果の表示例を示す図である。図４の例では、人物の顔を対象として、年齢及び性別の認識が行われて、その統計がグラフで示されている。撮像部１１を店舗に設置したうえで、このような解析結果を用いることで、当該店舗におけるマーケティング活動に役立てることができる。

図３に戻って、モード設定部２５は、対象解析部２３で行う認識認証処理のモードを設定する。対象解析部２３は、モード設定部２５で設定されたモードに従って認識認証処理を実行する。送信部２６は、モード設定部２５で設定されたモードを示す情報（モード情報）を画像送信装置１０に送信する。

図５は、画像受信装置２０から画像送信装置１０に対するモードの指定を説明する図である。図５に示すように、画像受信装置２０から画像送信装置１０にモード情報が送信される。送信されるこのモード情報は、上述のように、画像送信装置１０の受信部１８にて受信され、削減制御部１７における制御に用いられる。データ削減部１５では、このモード情報に応じた削減方法で、データ量削減画像が生成される。そのようにして生成されたデータ量削減画像は、画像送信装置１０から画像受信装置２０に送信される。即ち、画像受信装置２０は、モード設定部２５で設定された認識認証処理のモード情報を画像送信装置１０に対して送信すると、画像送信装置１０からそのモード情報に従って適切に選択されてデータ量が削減されたデータ量削減画像が送信されてくる。

次に、画像の認識認証処理のモードと、画像送信装置１０から送信する画像のデータ量の削減（ベストショットの選択、及び画像自体のデータ量の削減）の方法との関係を詳細に説明する。上述のように、画像送信装置１０では、ベストショット判定部１５１で複数の画像から一部を選択するとともに、画像データ量削減部１５２でその選択画像自体のデータ量を削減する処理（トリミング、リサイズ、エンコード）をすることで、ネットワークＮＷの負荷及び画像受信装置２０の処理負荷やデータベースの必要容量を低減できるが、同一の対象について画像受信装置２０が受信する画像の数が制限されることで、画像受信装置２０における認識認証処理の精度が低下してしまう恐れがあり、また、画像受信装置２０にて受信する画像のデータ量が削減されていることでも認識認証処理の精度が低下する恐れがある。

そこで、本実施の形態の画像認識認証システム１００では、ベストショット判定部１５１で画像を選択する際の基準を、画像受信装置２０の認識認証処理にとって好適な画像が選択されるように設定することで、同一の対象について画像受信装置２０が受信する画像の数が制限されることによる認識認証処理の精度の低下を抑制し、かつ、画像データ量削減部１５２で画像のデータ量を削減する際の削減方法を、画像受信装置２０の認識認証処理に必要な範囲でデータ量が削減されるように設定することで、画像受信装置２０にて受信する画像のデータ量が削減されていることによる認識認証処理の精度の低下を抑制する。

図６は、解像度（画素数）と認識認証の精度との関係の例を示すグラフである。図６に示すように、認識認証処理として顔の検出（顔であるとの認識）を行う場合には、１２×１２程度の解像度があれば８０％程度の精度で判定できる。また、認識認証処理として性別判定を行う場合には、６０×６０程度の解像度で、８０％程度の精度で判定できる。認識認証処理として年齢判定を行う場合には、８０％程度の精度を得るために、８０×８０程度の解像度が必要となる。このように、認識認証処理の内容に応じて一定の精度を得るために必要とされる解像度は異なる。即ち、上記の画像認識認証システム１００において、画像送信装置１０で行う顔の検出処理と、画像受信装置２０で行う性別判定処理或いは年齢判定処理とでは、必要な解像度が異なる為、画像受信装置２０で行う認識認証処理を考慮せずに画像送信装置１０で画像を選択した場合、画像受信装置２０での判定にとっては好適でない場合が生じ、精度劣化が生じる。

図６から分かるように、いずれの認識認証処理においても、一定の解像度以上では、認識認証の精度の上昇の度合いが緩やかになり、よって、一定以上の解像度としても、ネットワークにかかる負荷や認識認証処理にかかる負荷等が増加する割には認識認証の精度の上昇は期待できない。

画像送信装置１０のパラメータ記憶部１６には、認識認証処理の内容（モード）と、解像度や高周波成分の必要度を含む削減パラメータとの対応関係を規定したテーブルが記憶されている。図７は、パラメータ記憶部１６に記憶されるテーブルの例を示す表である。画像受信装置２０での認識認証処理のモードには、年齢判定モード、性別判定モード、人物認証モード、ファッション流行解析モード、体型判定モード、人種判定モード、車種判定モード、ナンバー判定モード、ペット判定モード、及び人サムネル表示モードがある。

テーブルでは、各モードについて、「検出ターゲット」、「解析ターゲット」、「帯域」、「領域」、「解像度」、及び「画質」のパラメータが規定されている。図６では、「解像度」について、各モードに必要とされる解像度を説明したが、「帯域」及び「画質」についても、同様のことがいえる。即ち、一定の精度の認識認証処理を行うのに、高周波成分の多い画像が必要となるが、その度合いは顔の検出、性別判定、年齢判定の順に高くなる。そして、高周波成分がある程度多くなると、それ以上は高周波成分の多さに対する認識認証処理の精度の上昇は緩やかになる。また、一定の精度の認識認証処理を行うのに、画質のよい画像が必要となるが、その度合いは、顔の検出、性別判定、年齢判定の順に高くなる。そして、画質がある程度よくなると、それ以上は画質のよさに対する認識認証処理の精度の上昇は緩やかになる。

図７を参照して具体的に説明すると、例えば、年齢判定モードでは、まず「検出ターゲット」は当然人となる。また、対象解析部２３は、人物の顔画像を基にその人物の年齢を判定するので、「解析ターゲット」は顔画像となる。また、顔画像から年齢を判定するためには顔の皺や各部位の詳細な位置等の細かな情報が必要となるので、ボケやブレが少なく、高周波成分を多く含む顔画像が必要であり、よって、「帯域」は、要高周波成分となる。

年齢判定に必要な領域は顔の領域のみであり、髪の部分等の情報は必要でないので、「領域」は顔領域となる。また、年齢判定には、図６に示したように、８０×８０程度の解像度が必要であるので、「解像度」は高解像度となる。また、同様に、顔画像から年齢を判定するために、細かい解析が行われるので、十分な量の情報が必要であり、画質は高画質となる。なお、画質は符号化における符号量に対応しており、高画質とは符号化後の符号量が多いことを意味する。

削減制御部１７は、パラメータ記憶部１６に記憶されたテーブルを参照することで、受信部１８より受けたモード情報に対応する各パラメータを取得して、データ削減部１５等に対して取得したパラメータを設定する。具体的には、削減制御部１７は、「検出ターゲット」を対象検出部に設定し、「解析ターゲット」を対象特徴解析部１５３に設定し、「帯域」を帯域成分検出部１５４及び必要帯域抽出部１５７に設定し、「領域」を必要領域抽出部１５６に設定し、「解像度」を解像度変換部１５８に設定し、「画質」を画像符号化部１５９に設定する。

次に、図８を参照して、画像送信装置１０の動作を説明する。図８は、画像送信装置１０における画像送信方法のフロー図である。図８に示すフロー図は、画像送信装置１０に画像送信プログラムがインストールされることで、この画像送信プログラムに従って実行される。

まず、画像入力部１２が、撮像部１１が撮影した画像を入力する（ステップＳ８１）。上述のように、画像入力部１２には撮像部１１から連続的に画像が入力されるが、以下のフローは１画像（フレーム）ごとに繰り返される。１フレームの画像が入力されると、対象検出部１３にて対象が検出される（ステップＳ８２）。このとき、対象検出部１３にて検出すべき対象は、「検出ターゲット」として削減制御部１７によって設定される。そして、対象追跡部１４にて検出された対象の追跡が行われる（ステップＳ８３）。

次に、対象追跡部１４は、カウント値が閾値に達しているかを判断する（ステップＳ８４）。このカウント値は、対象を検出できなかった連続するフレームの数であり、この閾値は、対象を検出できなかった連続するフレームの許容数である。なお、このカウント値は、対象毎に保持しており、以下のフローは対象毎に行われ、例えば画面内に対象が２つ存在する場合には、その２つの対象に対して各々行われる。カウント値が閾値に達していない場合（ステップＳ８４にてＮＯ）、対象が検出されたか否かを判断する（ステップＳ８５）。対象が検出された場合には（ステップＳ８５にてＹＥＳ）、カウント値をリセットして（ステップＳ８６）、対象特徴解析部１５３が対象の特徴解析を行う（ステップＳ８７）。このときの特徴解析の対象は、削減制御部１７によって「解析ターゲット」として設定される。次に、帯域成分検出部１５４が帯域成分を検出する（ステップＳ８８）。

図９は、帯域成分検出部１５４における帯域成分検出処理（図８のステップＳ８８）を示すフロー図である。帯域成分検出部１５４は、まず、画像内の対象が検出された（ステップＳ８２）領域の周波数を解析する（ステップＳ８８１）。帯域成分検出部１５４は、次に、削減制御部１７より設定された「帯域」の成分量を算出する（ステップＳ８８２）。

図８に戻って、次に、画像選択部１５５は、ベストショットの判定をする（ステップＳ８９）。具体的には、画像選択部１５５は、一時保存バッファ内にベストショットとして保存されている画像とそのとき扱っている画像とを比較し、対象特徴解析部１５３による特徴解析の結果、及び帯域成分検出部１５４による帯域成分検出の結果に基づいて、よりよい画像であれば（ステップＳ８９にてＹＥＳ）、一時保存バッファの画像をそのとき扱っている画像に更新するために、画像データ削減処理を行う（ステップＳ９０）。保存されている画像のほうがよい画像であるときは（ステップＳ８９にてＮＯ）、一時保存バッファを更新せずに、その画像（フレーム）の処理を終了する。

図１０は、画像データ量削減部１５２における画像データ量削減処理（図８のステップ９０）を示すフロー図である。必要領域抽出部１５６は、削減制御部１７によって設定された「領域」に従って、画像内の必要な領域を抽出する（ステップＳ９０１）。次に、必要帯域抽出部１５７は、削減制御部１７によって設定された「帯域」に従って、必要な帯域を抽出する（ステップＳ９０２）。次に、解像度変換部１５８は、削減制御部１７によって設定された「解像度」に従って、画像の解像度変換を行う（ステップＳ９０３）。次に、画像符号化部１５９は、削減制御部１７によって設定された「画質」に従って、画像を符号化する（ステップＳ９０４）。

図８に戻って、画像データ量削減部１５２は、一時保存バッファに記憶されている画像を、画像データ量削減処理によってデータ量が削減された画像（データ量削減画像）に書き換えて（ステップＳ９１）、その画像（フレーム）の処理を終了する。このような処理を繰り返して、対象が一時的に画像内に現れなくなると、ステップＳ８５で対象が検出されなくなるので（ステップＳ８５にてＮＯ）、カウント値をインクリメントして（ステップＳ９２）、その画像（フレーム）の処理を終了する。

対象が検出されないフレームが連続すると、ステップＳ８５からステップＳ９２を経て処理を終了する処理が連続することとなり、このようにしてカウント値がリセットされないまま所定の閾値に達すると（ステップＳ８４にてＮＯ）、追跡が完了した（追跡対象がカメラの前から完全にいなくなった）と判断して、送信部１９は、そのときに一時保存バッファに保存されている画像（データ量削減画像）を送信する（ステップＳ９３）。

以上のように、本実施の形態の画像認識認証システム１００によれば、画像送信装置１０のベストショット判定部１５１が、入力される画像のうちのベストショットを選択するので、画像送信装置１０から画像受信装置２０に送信される画像の数が制限されて、これによって、ネットワークの負荷や画像受信装置２０での認識認証処理の負荷や画像保存の必要容量を削減できる。また、画像送信装置１０の画像データ量削減部１５２が、送信される画像に対して、トリミング、リサイズ、エンコード等の方法でデータ量を削減する処理をするので、この点でも、ネットワークの負荷や画像受信装置２０での認識認証処理の負荷や画像保存の必要容量を削減できる。なお、上記のベストショット判定部１５１によるベストショットの選択及び画像データ量削減部１５２による画像データ量の削減は、そのいずれかのみが行われてもよいものである。

本実施の形態の画像認識認証システム１００ではさらに、画像送信装置１０における上記のベストショット判定及び画像データ量削減の処理を、画像受信装置２０における画像の認識認証処理に適した方法で行うので、単に送信されるデータの量を削減するだけでなく、そのようなデータ量の削減による画像受信装置２０での認識認証処理の精度の低下を抑えることができる。

上記の画像認識認証システム１００に対しては、種々の変形が可能である。以下、その具体例をいくつか説明する。ベストショット判定部１５１及び画像データ量削減部１５２のいずれかを省略できることは上述したとおりである。さらに、画像データ量削減部１５２の一部の構成のみを省略することも可能である。

また、上記の実施の形態では、画像送信装置１０が、画像の認識認証のモードと送信すべきデータ量の削減方法に関する各種パラメータとの対応関係を規定したテーブルを記憶したパラメータ記憶部１６を備えており、受信部１８が画像受信装置２０からモード情報を受信することで、削減制御部１７がそのモード情報に対応する各種パラメータを設定したが、本発明はこれに限られない。例えば、モード情報は、画像受信装置２０以外から受信してもよい。また、受信部１８の代わりに入力部を備え、モード情報は画像送信装置１０においてユーザが入力するようにしてもよい。

また、上記の実施の形態では、画像選択部１５５が削減制御部１７にて設定された条件に従って最も良い画像（ベストショット）１つのみを選択したが、画像選択部１５５は、最良の所定枚数の画像を選択しても良いし、所定の条件を満たす画像を（数に制限なく）すべて選択してよい。

さらに、画像受信装置２０が上記のテーブルを記憶したパラメータ記憶部を備えており、画像の認識認証処理のモードに対応した各種パラメータを画像送信装置１０に送信してもよい。この場合には、画像送信装置１０には、パラメータ記憶部１６は不要であり、受信部１８が各種パラメータを受信して、削減制御部１７がこれを設定する。図１１は、この変形例を示す図である。

画像受信装置２０は、モードを設定されると、テーブルを参照して、そのモードに対応する各種のパラメータを読み出し、削減方法を示す情報としてこれらのパラメータを画像送信装置１０に送信する。画像送信装置１０では、受信部１８にてこの情報を受信して、削減制御部１７がこの情報に従って各種のパラメータを設定することで、そのパラメータに従った削減方法でデータ量削減画像を生成して画像受信装置２０に送信する。画像受信装置２０では、画像送信装置１０から送信されてきたデータ量削減画像に対して認識認証処理を実行するが、このときに、仮に認識認証の精度がよくなければ、さらに、認識認証の精度をよくするようなパラメータを画像送信装置１０に指定する。画像送信装置１０は、画像受信装置２０より指定されたパラメータに従ってデータ量削減画像を生成して画像受信装置２０に送信する。

また、上記の実施の形態の画像認識認証システム１０は、１つの画像送信装置１０と１つの画像受信装置２０とがネットワークＮＷを介して接続されていたが、システム構成はこれに限られない。図１２は、システム構成の他の例を示す図である。この例では、画像送信装置１０と画像受信装置２０とはネットワークを介さずに直接接続される。図１３は、システム構成のさらに他の例を示す図である。図１３に示すように、複数の画像送信装置１０と複数の画像受信装置２０がネットワークＮＷを介して接続されていてもよい。なお、画像送信装置１０のみが複数あって、１つの画像受信装置２０とネットワークＮＷを介して接続されてもよい。

本発明は、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができるという効果を有し、連続的に入力される画像の認識又は認識を行う画像認識認証システム等として有用である。

１００ 画像認識認証システム
１０ 画像送信装置
１１ 撮像部
１２ 画像入力部
１３ 対象検出部
１４ 対象追跡部
１５ データ削減部
１５１ ベストショット判定部
１５２ 画像データ量削減部
１５３ 対象特徴解析部
１５４ 帯域成分検出部
１５５ 画像選択部
１５６ 必要領域抽出部
１５７ 必要帯域検出部
１５８ 解像度変換部
１５９ 画像符号化部
１６ パラメータ記憶部
１７ 削減制御部
１８ 受信部
１９ 送信部
２０ 画像受信装置
２１ 受信部
２２ 画像復号部
２３ 対象解析部
２４ データベース
３０ 結果表示装置

Claims (9)

1. 複数の連続的な画像を入力する画像入力部と、
   前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、
   前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行う画像受信装置に送信する送信部と、
   を備え、
   前記データ量削減部は、前記画像受信装置にて行う前記認識認証処理に応じ、前記認識認証処理で一定の精度を得るために、前記認識認証処理毎に予め定められた複数のデータ削減方法を選択的に組み合わせて前記複数の画像のデータ量を削減する
   ことを特徴とする画像送信装置。
2. 前記データ量削減部の複数のデータ削減方法の一つには、前記画像受信装置にて行う前記認識認証処理に応じた基準で、前記複数の画像の中から一部の画像を選択することで、前記複数の画像のデータ量を削減することが含まれることを特徴とする請求項１に記載の画像送信装置。
3. 前記データ量削減部の複数のデータ削減方法の一つには、前記複数の画像の、前記画像受信装置にて行う前記認識認証処理に応じた領域をトリミングすることで、前記複数の画像のデータ量を削減することが含まれることを特徴とする請求項１に記載の画像送信装置。
4. 前記データ量削減部の複数のデータ削減方法の一つには、前記複数の画像の、前記画像受信装置にて行う前記認識認証処理に応じた帯域成分を抽出することで、前記複数の画像のデータ量を削減することが含まれる請求項１に記載の画像送信装置。
5. 前記データ量削減部の複数のデータ削減方法の一つには、前記画像受信装置にて行う前記認識認証処理に応じた解像度に、前記複数の画像を解像度変換することで、前記複数の画像のデータ量を削減することが含まれる請求項１に記載の画像送信装置。
6. 前記データ量削減部の複数のデータ削減方法の一つには、前記画像受信装置にて行う前記認識認証処理に応じた符号化率で、前記複数の画像を符号化することで、前記複数の画像のデータ量を削減することが含まれることを特徴とする請求項１に記載の画像送信装置。
7. 画像入力部とデータ量削減部と送信部を備える画像送信装置で実行される画像送信方法であって、
   前記画像送信方法は、
   前記画像入力部が、複数の連続的な画像を入力する画像入力ステップと、
   前記データ量削減部が、入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減ステップと、
   前記送信部が、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行う画像受信装置に送信する送信ステップと、
   を含み、
   前記データ量削減ステップでは、前記データ量削減部が、前記画像受信装置にて行う前記認識認証処理に応じ、前記認識認証処理で一定の精度を得るために、前記認識認証処理毎に予め定められた複数のデータ削減方法を選択的に組み合わせて前記複数の画像のデータ量を削減する
   ことを特徴とする画像送信方法。
8. コンピュータを、
   複数の連続的な画像を入力する画像入力部と、
   前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、
   前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行う画像受信装置に送信する送信部と、
   として機能させる画像送信プログラムであって、
   前記データ量削減部は、前記画像受信装置にて行う前記認識認証処理に応じ、前記認識認証処理で一定の精度を得るために、前記認識認証処理毎に予め定められた複数のデータ削減方法を選択的に組み合わせて前記複数の画像のデータ量を削減する
   ことを特徴とする画像送信プログラム。
9. 画像送信装置と画像受信装置とからなる画像認識認証システムであって、
   前記画像送信装置は、
   複数の連続的な画像を入力する画像入力部と、
   前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、
   前記データ量削減画像を前記画像受信装置に送信する送信部と、
   を備え、
   前記画像受信装置は、
   前記送信部にて送信された前記データ量削減画像を受信する受信部と、
   前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行う認識認証処理部と、
   を備え、
   前記データ量削減部は、前記認識認証処理部にて行う前記認識認証処理に応じ、前記認識認証処理で一定の精度を得るために、前記認識認証処理毎に予め定められた複数のデータ削減方法を選択的に組み合わせて前記複数の画像のデータ量を削減する
   ことを特徴とする画像認識認証システム。

Images