JP7439899B2 - 照合補助装置、照合補助方法及びプログラム - Google Patents

Description

本発明は、照合補助装置、照合補助方法及びプログラム記憶媒体に関する。

防犯カメラ等で撮像された人物と、データベースに登録された人物とを目視で照合することがあった。
特許文献１には、データベースに登録された人物の三次元像と、撮像した人物とをユーザが目視で照合するにあたり、三次元像の向きや大きさを変更することで、撮像した二次元画像とを照合しやすくする技術が開示されている。

実用新案登録第３２０４１７５号公報 特開２０１５－２５８５９号公報

特許文献１に記載された技術においては、データベースに登録された三次元像の向きや大きさを変えることで、ユーザによる照合を容易にする。しかし、撮像画像に映る人物が眼鏡を装着していると、レンズの屈折によりレンズ内に映る目の位置や大きさが裸眼のときと比較して異なって見える。これは人物の顔向き等に応じて顕著になるため、ユーザが目視で二次元画像と三次元画像とを比較するときに同一人物か否かの照合精度が低下する。特許文献１では上記の状況は考慮されていない。

そこで、本発明は上記の問題を鑑み、眼鏡の装着により生じる外観の変化を軽減させることで、照合精度を向上させることを課題とする。

本発明の一観点によれば、人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出する検出部と、前記入力画像において推定した前記レンズの度数を用いて当該レンズに映る目の位置及び大きさを補正した画像である補正後画像と、前記補正後画像との照合対象である三次元登録画像を出力する出力部と、を備える照合補助装置が提供される。

本発明の一観点によれば、人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出し、前記入力画像において推定した前記レンズの度数を用いて当該レンズに映る目の位置及び大きさを補正した画像である補正後画像と、前記補正後画像との照合対象である三次元登録画像を出力する、照合補助方法が提供される。

本発明の一観点によれば、コンピュータに、人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出する処理、前記入力画像において推定した前記レンズの度数を用いて当該レンズに映る目の位置及び大きさを補正した画像である補正後画像と、前記補正後画像との照合対象である三次元登録画像を出力する処理、を実行させるためのプログラムを記憶するプログラム記憶媒体が提供される。

本発明の一観点によれば、人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する検出部と、前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する出力部と、を備える照合補助装置が提供される。

本発明の一観点によれば、人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出し、前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する、照合補助方法が提供される。

本発明の一観点によれば、コンピュータに、人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する処理、前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する処理、を実行させるためのプログラムを記憶するプログラム記憶媒体が提供される。

本発明によれば、眼鏡の装着による外観の変化を軽減させることで、照合精度を向上することができる照合補助装置、照合補助方法及びプログラムが提供される。

第１の実施形態における照合補助システムの全体構成例を示す図である。 第１の実施形態における照合補助システムの機能を示すブロック図である。 第１から第４の実施形態における撮像対象の状態を説明する概念図である。 第１から第４の実施形態における撮像対象の状態を説明する概念図である。 第１の実施形態における度数推定部の機能を示すブロック図である。 第１から第４の実施形態における照合補助システムが実行する計算処理を説明するための概念図である。 第１から第４の実施形態における照合補助システムが実行する計算処理を説明するための概念図である。 第１の実施形態における画像処理の一例を示すフローチャートである。 第１の実施形態における機械照合の一例を示すフローチャートである。 第１の実施形態におけるユーザ入力受付の一例を示すフローチャートである。 第２の実施形態における照合補助システムの機能を示すブロック図である。 第２の実施形態における画像処理の一例を示すフローチャートである。 第２の実施形態におけるユーザ入力受付の一例を示すフローチャートである。 第３及び第４の実施形態における照合補助システムの機能を示すブロック図である。 第３の実施形態における処理の一例を示すフローチャートである。 第４の実施形態における処理の一例を示すフローチャートである。 第１から第４の実施形態における画像照合システムのハードウェア構成例を示すブロック図である。 本発明における処理に用いる計算式の一例である。 本発明の実施形態に適用可能な変形例を説明するブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

＜背景＞
視力矯正用の眼鏡を装着する人物は、眼鏡を装着していないときと比較して顔立ちが異なって見える。これはレンズの屈折現象により目の位置と大きさが変化して見えるためである。カメラが撮像した映像を確認する管理者にとって、眼鏡の装着により顔立ちが変化して見える人物が、データベースに登録された人物画像の何れかに該当するか否かを目視で判断することは容易ではない。後述する実施形態では、管理者（ユーザ）を補助するシステムについて説明する。

＜第１の実施形態＞
本実施形態の照合補助システム１の構成を図１及び図２を用いて説明する。図１は、本実施形態における照合補助システム１の全体構成例を示す。照合補助システムは、処理装置１００と、撮像装置２００と、ユーザ端末３００とを備える情報処理システムである。各装置及び端末は、ネットワークを介して接続される。図１が示す状況の具体例は、街頭に設置されたカメラで人物を撮像する状況である。

撮像装置２００は、人物を撮像して撮像画像を得る端末であり、例えば街頭に設置される防犯カメラである。撮像装置２００は撮像区画を通行する人物を撮像し、撮像画像を処理装置１００に出力する。

図２は、照合補助システム１の構成を示す機能ブロック図である。照合補助システム１は、処理装置１００と、撮像装置２００と、ユーザ端末３００とを備える。処理装置１００は、入力部１１０と、検出部１２０と、抽出部１３０と、度数推定部１４０と、画像処理部１５０と、記憶部１６０と、照合部１７０と、出力部１８０を備える。撮像装置２００は、撮像部２１０を備える。ユーザ端末３００は、表示部３１０と操作受付部３２０を備える。

撮像装置２００が備える撮像部２１０は、撮像区画を通行する人物を撮像し、撮像画像を処理装置１００に出力する。なお、撮像部２１０は、例えば、設定されたフレームレートに応じて撮像区画を時系列的に撮像する。撮像部２１０は、上記の具体例に限定されず、外部からの指示を受けたタイミングで撮像するものであってもよいし、所定のタイミングで静止画を撮像するものであってもよい。本実施形態において撮像画像は少なくとも人物の頭部が含まれていればよく、人物の全身を含まなくともよい。

入力部１１０は、撮像部２１０が出力した撮像画像の入力を受け付ける。ここで、入力部１１０が入力を受け付ける対象（入力画像）は、撮像部２１０が撮像した全ての撮像画像であってもよいし、一部であってもよい。例えば、撮像部２１０が時系列的に撮像した撮像画像のうち、所定の時間間隔で撮像画像を抽出し、順次入力を受け付けるものであってもよい。所定の時間間隔で撮像画像を抽出する一例として、所定のフレームレートに応じて撮像部２１０が撮像した撮像画像の中から一部を間引いた撮像画像を抽出するものであってもよい。入力部１１０が受け付ける対象は上記に限定されない。

検出部１２０は、入力部１１０が受け付けた撮像画像の中から、人間の頭部及び眼鏡を検出する。ここで人物の頭部及び眼鏡の検出には、例えば、機械学習により眼鏡を装着した頭部の画像を学習した学習済みモデルが用いられる。機械学習の手法は、例えば多層のニューラルネットワークを介したディープラーニングを用いてもよい。人物の頭部及び眼鏡の装着検出に用いられる手法は上記に限定されない。検出部１２０は、人間の頭部の検出と、眼鏡の装着とを、段階的に検出するものであってもよいし、それぞれ独立して検出するものであってもよい。この場合、人間の頭部を検出した後に、眼鏡の装着を検出してもよい。また、検出部１２０は、必ずしも頭部を検出する必要はなく、眼鏡を検出するものであってもよい。

検出部１２０は、眼鏡の装着を検出した撮像画像の中から、眼鏡が有するレンズの内側に顔の輪郭が映る画像を検出する。

次に、図３を用いて撮像画像に映る顔の状態を説明する。図３は眼鏡のレンズの内側に顔の輪郭が映っている顔の状態を示す一例である。図中のFLは人物の顔の輪郭を示し、ＧＬ１及びＧＬ２はレンズを示す。また、ＶＦＬはレンズの内側に映る顔の輪郭を示している。図３Ａは撮像部２１０に対し人物の顔が正面を向いた状態を（顔の傾斜角度が０度）示し、図３Ｂは撮像部２１０に対し顔向きが正面を向いていない状態（顔の傾斜角度が０度でない）を示す。図３Ｂでは一例として、人物が右を向いた状態を示す。顔が正面を向いた状態とは、撮像方向に対して顔の傾斜角度が０度に近く、所定の閾値よりも小さい状態である。顔が正面を向いていない状態とは、撮像方向に対する顔の傾斜角度が所定の閾値よりも大きい状態である。所定の閾値は任意に設定される。図３Ａに示すように、顔向きが撮像部２１０に対して正面である場合（顔の傾斜角度が０度）、レンズＧＬ１及びＧＬ２の内側に顔の輪郭が映りにくい。一方、図３Ｂに示すように、顔向きが撮像部２１０に対し正面でない場合は（顔の傾斜角度が０度でない）、顔向きが正面である場合と比較して、屈折現象の影響によりレンズＧＬ１の内側に顔の輪郭が映りやすい。

検出部１２０は、撮像画像に映る顔について、撮像方向に対する顔の傾斜角度を推定する。顔の傾斜角度とは、三次元空間において撮像部２１０と人物の頭部とを通る直線を基準に、当該人物の顔が向いている角度である。具体的には、人物の顔が撮像部２１０を向いている場合、傾斜角度は０度に近く所定の閾値よりも小さい。検出部１２０が顔を検出する対象の画像は、後述する抽出部１３０が抽出した二次元画像であってもよい。

抽出部１３０は、レンズの内側に顔の輪郭が映る撮像画像を二次元画像として抽出する。抽出部１３０は、図３Ｂに例示するように、レンズの内側に顔の輪郭が映っている画像を抽出する。換言すると、抽出部１３０は、撮像部２１０から見てレンズの内側に顔の輪郭が映る程度に人物の顔が斜めを向いている画像を抽出する。抽出部１３０は、顔の傾斜角度が任意に設定した第１の閾値以上である画像や、任意に設定した第２の閾値以下である画像を抽出してもよい。ここで第２の閾値は第１の閾値より大きい値を設定してもよい。

抽出部１３０が実行する「抽出」とは、複数ある撮像画像の中から、一部の撮像画像を抜き出す処理を指す。具体的には、所定のフレームレートに応じて時系列的に撮像された複数の撮像画像において、眼鏡の装着が検出された撮像画像のみを抽出するものであってもよい。なお、「抽出」とは、撮像画像内において、一部の領域を切り出す処理を含む概念であってもよい。例えば、複数の人物を含んだ撮像画像内において、眼鏡を装着した頭部が映る一領域を切り出す他、人物が映る一領域を切り出す処理であってもよい。「抽出」が指す処理は上記の具体例に限定されない。

度数推定部１４０は、抽出部１３０が抽出した二次元画像において、人物が装着する眼鏡の度数を推定する。図４を用いて度数推定部１４０の詳細を説明する。図４は、度数推定部１４０の機能ブロック図である。度数推定部１４０は、計算部１４１、学習モデル記憶部１４２、推定部１４３を有する。

計算部１４１は、撮像部２１０が撮像した人物の顔と撮像部２１０との三次元空間における距離を算出する。距離の算出には、例えば撮像画像上における顔を示す領域の大きさや、人物を示す領域の長さを用いてもよいが、距離の算出手法はこれに限定されず、当業者は適宜周知技術を適用することができる。

計算部１４１は、レンズの内側と外側のそれぞれに映る顔の輪郭の位置の差（本明細書において「輪郭差」と称する）を計算する。図５を用いて輪郭差の概念を詳細に説明する。図５は、レンズを装着した顔の一部を模式的に示した図である。計算部１４１は、レンズの内側の領域における、目の中心点の水平方向位置と顔の輪郭の位置Ｅ４との水平方向のピクセル間距離（第１走査距離Ｅ１）を計算する。計算部１４１は、レンズの外側の領域において、目の中心点の水平方向位置と顔の輪郭の位置Ｅ３との水平方向のピクセル間距離（第２走査距離Ｅ２）を計算する。

計算部１４１は、第１走査距離Ｅ１と第２走査距離Ｅ２の差分を、撮像部２１０と顔との距離を用いて正規化した輪郭差（正規化輪郭差）を計算する。正規化の具体的な手法は限定されず、例えば、第１走査距離Ｅ１と第２走査距離Ｅ２との差分は、撮像部２１０と顔との距離で除算することで正規化してもよい。輪郭差の正規化にあたり、撮像部２１０と顔との距離が考慮される計算式であればよい。

計算部１４１は、撮像画像上の任意のピクセルに映る物体から撮像部２１０へ入射する光の入射角を計算する。図６及び図１７を用いて撮像画像上の任意のピクセル位置に対応する実物体から撮像部２１０への入射角Ψの計算方法の一例を詳細に説明する。図６は人物を撮像する撮像部２１０の光学系を模式的に示す図である。ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサＣＳは、カメラレンズＰを介し、人物から入射した光を検出する。図１７の計算式（１）は入射角Ψの導出過程を示す式である。計算式（１）を構成する変数について説明する。入射角Ψは、撮像部２１０の撮像範囲全体を示す撮像画像における中心位置からの第１ピクセル距離ｘｓを変数として、撮像部２１０の撮像範囲全体を示す撮像画像の中心位置から当該撮像画像に映る顔の中心位置までの第２ピクセル距離ｃと、当該撮像画像の画素数ＸＬと、検出部１２０が検出した顔向きΘと、撮像部２１０の画角Φを用いた図１７に示す計算式（１）で表現できる。計算部１４１は、レンズの内側の領域に映る顔の輪郭の位置において、入射角を計算する。計算には例えば図１７に示す計算式（１）を用いることができる。

学習モデル記憶部１４２は、入射角と正規化輪郭差を入力するとレンズの度数を出力する回帰モデルを記憶する。回帰モデルは、予め入射角及び正規化輪郭差と、レンズの度数との組み合わせを学習した学習済みモデルである。

推定部１４３は、学習モデル記憶部１４２が記憶する回帰モデルに、計算部１４１が計算した入射角及び輪郭差を入力し、レンズの度数を推定する。

上述した回帰モデルは、入射角と、正規化する前の輪郭差と、撮像部２１０と顔との距離とを入力し、レンズの度数を出力するように学習したものであってもよい。この場合、輪郭差を正規化する必要が無いため処理負荷を軽減することができる。

上述した度数推定部１４０の機能の一例は、撮像画像におけるレンズの内側に映る輪郭と、レンズの外側に映る輪郭との位置関係と、レンズを装着する人物を撮影した撮影部２１０と人物との位置関係を用いてレンズの度数を推定するものである。他にも、度数推定部１４０はレンズの度数を推定するために、例えば、特許文献２（特開２０１５－２５８５９号公報）に記載されているように、眼鏡のレンズの内側に映る顔の輪郭の位置と、レンズの外側に見える顔の輪郭の位置及び顔の傾斜角度とに基づき、レンズの度数を推定する手法を用いてもよい。レンズの度数を推定する手法は上記に限定されない。

画像処理部１５０は、度数推定部１４０が推定したレンズの度数情報を用いて、二次元画像に対し画像の補正を行い、当該二次元画像に対応する補正後の画像（補正後画像）を生成する。補正の対象となる領域は画像内の当該レンズの内側及び周辺の領域であり、度数を推定した対象のレンズ内の領域に映る顔の輪郭、人物の目の位置及び大きさを補正する。具体的には、レンズの内側に映る輪郭と、レンズの外側に映る輪郭とが同一曲線上に位置するように、レンズの内側に映る領域を拡大表示するように補正する。

記憶部１６０は、複数の登録者の三次元画像（三次元登録画像）を登録者情報と関連付けて記憶する。登録者情報の項目の例として、登録者の識別情報、氏名、登録日時等が挙げられる。

照合部１７０は、抽出部１３０が抽出した二次元画像に映る人物と、記憶部１６０が格納する複数の三次元登録画像との照合を行い、撮像部２１０が撮像した人物と複数の三次元登録画像との類似度を算出する。ここで、照合部１７０は、類似度が閾値以上の三次元登録画像をユーザの目視による照合の対象として設定する。目視照合の対象として設定する三次元登録画像は複数であってもよい。

出力部１８０は、目視による照合の対象として設定された三次元登録画像と、画像処理部１５０により処理された補正後の画像（補正後画像）とを出力する。

ユーザ端末３００は表示部３１０と操作受付部３２０を備える。ユーザ端末３００は、ユーザに対して情報を提供し、あるいはユーザの操作を受け付ける端末である。具体的には、ユーザ端末３００は、ユーザに対して不図示のデータベースに登録された人物の三次元登録画像と、防犯カメラ等で撮像した人物とが同一人物であるか否かの判断を促す装置である。他にも、ユーザが防犯カメラ等で撮像した映像を確認する装置であってもよいが、これに限定されない。

表示部３１０は、出力部１８０により出力された三次元登録画像と画像処理部１５０により処理された補正後画像を表示する。表示部３１０は、三次元登録画像と補正後画像を同時に表示してもよい。このとき表示部３１０は、複数の三次元登録画像を同時に表示してもよいし、類似度に応じて複数の三次元登録画像を順次表示してもよい。表示部３１０は、複数の補正後画像を同時に表示してもよい。また、表示部３１０は、例えば、三次元登録画像と補正後画像を同一画面上に表示してもよい。

ユーザは、表示部３１０が表示した少なくとも一つの三次元登録画像と、補正後画像とが同一人物を示すか否かを判断し、操作受付部３２０に判断結果を入力する。操作受付部３２０は、ユーザの操作により、ユーザが判断した判断結果の入力を受け付ける。操作受付部３２０が受け付ける操作とは、例えば、表示部３１０に表示された三次元登録画像の中で、照合対象である補正後画像と同一人物である画像を選択する操作である。

次に、本実施形態の照合補助システムの動作について、図７～図９を用いて説明する。図７～図９は本実施形態における処理の一例を示すフローチャートである。

図７は画像処理に係るフローの一例を示す。まず、入力部１１０は、撮像装置２００が出力した撮像画像の入力を受け付ける（Ｓ１０１）。入力部１１０は、例えば、所定のフレームレートに応じて時系列的に撮像された画像の入力を順次受け付けるものであってもよい。

検出部１２０は、入力部１１０が受け付けた撮像画像の中から、人間の頭部及び眼鏡を検出する（Ｓ１０２）。検出部１２０は、人間の頭部の検出と、眼鏡の装着とを、段階的に検出するものであってもよいし、それぞれ独立して検出するものであってもよい。検出部１２０が撮像画像の中から眼鏡を検出しない場合は（Ｓ１０３、ＮＯ）、ステップＳ１０１の処理に戻り、次の撮像画像の入力を受け付ける（Ｓ１０１）。検出部１２０が撮像画像の中から眼鏡を検出した場合（Ｓ１０３、ＹＥＳ）、検出部１２０は、眼鏡の装着を検出した撮像画像の中から、眼鏡が有するレンズの内側に顔の輪郭が映っているか否かを判定する（Ｓ１０４）。

レンズの内側に輪郭が映ると判定した場合（Ｓ１０５、ＹＥＳ）、抽出部１３０は、撮像画像の中から、レンズの内側に輪郭が映る撮像画像を抽出する（Ｓ１０６）。レンズの内側に顔の輪郭が映っていないと判定した場合（Ｓ１０５、ＮＯ）、ステップＳ１０１の処理に戻る。

度数推定部１４０は、抽出部１３０が抽出した画像において、人物が装着するレンズの度数を推定する（Ｓ１０７）。

画像処理部１５０は、度数推定部１４０が推定したレンズの度数情報を用いて、抽出部１３０が抽出した画像において画像の補正を行い、補正後の画像（補正後画像）を生成する（Ｓ１０８）。

図８は、処理装置１００による照合に係る処理フローの一例を示す。照合部１７０は、抽出部１３０が抽出した二次元画像に映る人物と、記憶部１６０が格納する複数の三次元登録画像との照合を行い、撮像部２１０が撮像した人物と複数の登録者との類似度を算出する（Ｓ１０９）。ここで、類似度が閾値以上の三次元登録画像がある場合には（Ｓ１１０、ＹＥＳ）、当該三次元登録画像をユーザの目視による照合の対象として設定する（Ｓ１１１）。類似度が閾値以上の三次元登録画像が無い場合（Ｓ１１０、ＮＯ）、処理を終了する。

なお、本実施形態において、図８で示す装置による照合に係る処理フロー（Ｓ１０９～Ｓ１１１）の後に、図７で示す画像処理に係る一連のフロー（Ｓ１０１～Ｓ１０８）が実行されてもよい。その場合、レンズを認識した画像のみに対してレンズの度数推定を行うため、装置の処理負荷を軽減することができる。

照合に係るフロー（Ｓ１０９～Ｓ１１１）と、画像処理に係るフロー（Ｓ１０１～Ｓ１０８）とが並列で処理されてもよい。照合に係るフロー（Ｓ１０９～Ｓ１１１）の前に、画像処理に係るフロー（Ｓ１０１～Ｓ１０８）が実行されてもよい。図７で示す画像処理に係る一連のフロー（Ｓ１０１～Ｓ１０８）と、図８で示す装置による照合に係る処理フロー（Ｓ１０９～Ｓ１１１）の前後関係は限定されない。

図９は、画像の表示に係る処理フローの一例を示す。出力部１８０は、目視による照合の対象として設定された三次元登録画像と、画像処理部１５０により処理された補正後の画像（補正後画像）とを出力する（Ｓ１１２）。

表示部３１０は、出力部１８０により出力された三次元登録画像と画像処理部１５０により処理された補正後画像を表示する（Ｓ１１３）。

操作受付部３２０は、ユーザの操作により、ユーザが判断した判断結果の入力を受け付ける（Ｓ１１４）。操作受付部３２０が受け付ける操作とは、例えば、表示部３１０に表示された三次元登録画像の中で、照合対象である補正後画像と同一人物である画像を選択する操作である。

なお、図９で示す画像の表示に係る処理フロー（Ｓ１１２～Ｓ１１３）は、図７で示す画像処理に係る一連のフロー（Ｓ１０１～Ｓ１０８）と、図８で示す装置による照合に係る処理フロー（Ｓ１０９～Ｓ１１１）の後に実行される。

これにより、照合対象がレンズを装着した人物であっても、レンズの装着による外見の変化や、顔の印象の変化を軽減することができ、ユーザは目視での照合を効率的かつ精度良く行うことができる。

＜第２の実施形態＞
以下、本実施形態の照合補助システム１について説明する。第２の実施形態では、処理装置１００は、三次元画像処理部１９０を備え、推定したレンズの度数情報を基に三次元登録画像に対して補正を行う点で第１の実施形態とは相違する。なお、第１の実施形態と共通する箇所の説明は省略する。

図１０は、本実施形態における照合補助システム１の構成を示す機能ブロック図である。処理装置１００は、入力部１１０と、検出部１２０と、抽出部１３０と、度数推定部１４０と、画像処理部１５０と、記憶部１６０と、照合部１７０と、出力部１８０と、三次元画像処理部１９０とを備える。

三次元画像処理部１９０は、照合部１７０が目視照合の対象として設定した三次元登録画像において、人物の目の周辺の画像を補正し、三次元登録画像に対応する補正後の三次元画像（三次元補正後画像）を生成する。具体的には、度数推定部１４０が推定したレンズの度数情報に応じて、所定の三次元登録画像に対して補正を行う。所定の三次元登録画像とは、照合部１７０が目視照合の対象として設定した三次元登録画像である。この補正には、公知の三次元コンピュータグラフィックスが用いられる。レンズの度数情報に応じた補正の一例を説明する。例えば、近視矯正用の眼鏡には凹レンズが用いられるため、眼鏡を装着した人物の目は、レンズの屈折の影響により装着前と比較して小さく見える。この場合、三次元画像処理部１９０は、推定した凹レンズの度数情報を用いて、三次元登録画像が示す人物が凹レンズを装着した場合に、レンズにより屈折して見える顔立ちの変化を再現するように、目の周辺の画像を補正する。

記憶部１６０は、複数の三次元登録画像を登録者情報と関連付けて記憶する。登録者情報の項目の例として、登録者の識別情報、氏名、登録日時等が挙げられる。なお、記憶部１６０は、三次元画像処理部１９０が生成した、三次元補正後画像を記憶してもよい。

照合部１７０は、抽出部１３０が抽出した二次元画像に映る人物と、記憶部１６０が格納する複数の登録者を示す三次元登録画像との照合を行い、撮像部２１０が撮像した人物と複数の登録者との類似度を算出する。照合部１７０は、得られた類似度が閾値以上の三次元登録画像をユーザの目視による照合の対象として設定する。目視照合の対象として設定する三次元登録画像は複数であってもよい。

出力部１８０は、目視による照合の対象として設定された人物を示す三次元補正後画像と、抽出部１３０が抽出した画像を出力する。三次元補正後画像とは、画像処理部１５０により生成された三次元画像である。

表示部３１０は、目視による照合の対象として設定された人物を示す三次元補正後画像と、抽出部１３０が抽出した二次元画像を表示する。表示部３１０は、三次元補正後画像と二次元画像を同時に表示してもよい。このとき表示部３１０は、複数の三次元画像を同時に表示してもよいし、得られた類似度に応じて複数の三次元画像を順次表示してもよい。表示部３１０は、複数の二次元画像を同時に表示してもよい。また、表示部３１０は、例えば、三次元登録画像と補正後画像を同一画面上に表示してもよい。

ユーザは、表示部３１０が表示した少なくとも一つの三次元画像と、二次元画像とが同一人物を示すか否かを判断し、操作受付部３２０に判断結果を入力する。操作受付部３２０は、ユーザの操作により、ユーザが判断した判断結果の入力を受け付ける。操作受付部３２０が受け付ける操作とは、例えば、表示部３１０に表示された三次元画像の中で、照合対象である二次元画像と同一人物である画像を選択する操作である。

次に、本実施形態の照合補助システムの動作について、図１１及び図１２を用いて説明する。図１１は本実施形態における画像処理に係る処理フローの一例を示す。なお、第１の実施形態と重複する処理の説明は省略する。本実施形態において、装置による照合に係る処理フローは第１の実施形態と同様である（Ｓ１０９～Ｓ１１１）。

度数推定部１４０は、抽出部１３０が抽出した画像において、人物が装着する眼鏡の度数を推定する（Ｓ１０７）。次に、三次元画像処理部１９０は、照合部１７０が目視照合の対象として設定した三次元登録画像において、推定したレンズの度数情報を用いて人物の目の周辺の画像を補正し、三次元補正後画像を生成する（Ｓ２０８）。

記憶部１６０は、三次元補正後画像を登録者情報に関連付けて記憶する（Ｓ２０９）。

出力部１８０は、目視による照合の対象として設定された人物を示す三次元補正後画像と、抽出部１３０が抽出した画像を出力する（Ｓ２１２）。

表示部３１０は、目視による照合の対象として設定された人物を示す三次元補正後画像と、抽出部１３０が抽出した二次元画像を表示する（Ｓ２１３）。表示部３１０は、三次元補正後画像と二次元画像を同時に表示してもよい。このとき表示部３１０は、複数の三次元画像を同時に表示してもよいし、類似度に応じて複数の三次元画像を順次表示してもよい。表示部３１０は、複数の二次元画像を同時に表示してもよい。

ユーザは、表示部３１０が表示した少なくとも一つの三次元画像と、二次元画像とが同一人物を示すか否かを判断し、操作受付部３２０に判断結果を入力する。操作受付部３２０は、ユーザの操作により、ユーザが判断した判断結果の入力を受け付ける（Ｓ１１４）。

なお、本実施形態において、図８で示す装置による照合に係る処理フロー（Ｓ１０９～Ｓ１１１）の後に、図７及び図１１で示す画像処理に係る一連のフロー（Ｓ１０１～Ｓ１０７、Ｓ２０８～Ｓ２０９）が実行されてもよい。その場合、レンズを認識した画像のみに対してレンズの度数推定を行うため、装置の処理負荷を軽減することができる。

照合に係るフロー（Ｓ１０９～Ｓ１１１）と、画像処理に係るフロー（Ｓ１０１～Ｓ１０７、Ｓ２０８～Ｓ２０９）とが並列で処理されてもよい。照合に係るフロー（Ｓ１０９～Ｓ１１１）の前に、画像処理に係るフロー（Ｓ１０１～Ｓ１０７、Ｓ２０８～Ｓ２０９）が実行されてもよい。図７及び図１１で示す画像処理に係る一連のフロー（Ｓ１０１～Ｓ１０７、Ｓ２０８～Ｓ２０９）と、図８で示す装置による照合に係る処理フロー（Ｓ１０９～Ｓ１１１）の前後関係は限定されない。

以上のように、本実施形態の照合補助システムでは、撮像した人物が眼鏡を装着した状態である場合に、眼鏡の装着による外見の変化に応じて、データベースが持つ三次元登録画像を補正する。これにより、照合対象が眼鏡を装着した人物であっても、眼鏡の装着による外見の変化や、顔の印象の変化を軽減することができ、ユーザは目視での照合を効率的かつ精度良く行うことができる。

＜第３の実施形態＞
本実施形態の照合補助システム１の構成について図１３を用いて説明する。図１３は、本実施形態における照合補助システム１の機能ブロック図である。照合補助システム１は、検出部１２０と、出力部１８０とを備える。

検出部１２０は、人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出する。

出力部１８０は、検出部１２０が検出した入力画像から推定したレンズの度数情報を用いて入力画像を補正した画像である補正後画像と、当該補正後画像との照合対象である三次元登録画像とを出力する。補正後画像とは、例えば、入力画像において当該レンズに映る目の位置及び大きさを補正した画像である。

次に、本実施形態の照合補助システムの動作について、図１４を用いて説明する。図１４は本実施形態における処理の一例を示すフローチャートである。

検出部１２０は、撮像画像においてレンズを装着した人物を含む入力画像を検出する（Ｓ３０７）。

出力部１８０は、検出部１２０が検出した入力画像から推定したレンズの度数情報を用いて入力画像を補正した画像である補正後画像と、当該補正後画像との照合対象である三次元登録画像とを出力する（Ｓ３０８）。

これにより、照合対象が眼鏡を装着した人物であっても、眼鏡の装着による外見の変化や、顔の印象の変化を軽減することができ、ユーザは目視での照合を効率的かつ精度良く行うことができる。

＜第４の実施形態＞
本実施形態の照合補助システム１の構成について、第３の実施形態と同様に図１３を用いて説明する。本実施形態と第３の実施形態は、出力部１８０の機能が異なる点で相違する。図１３は、本実施形態における照合補助システム１の機能ブロック図である。照合補助システム１は、検出部１２０と、出力部１８０とを備える。

検出部１２０は、人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する。

出力部１８０は、入力画像から推定した前記レンズの度数を用いて、三次元登録画像を補正した三次元補正後画像と、当該入力画像と、を出力する。出力部１８０が出力する三次元補正後画像は、例えば、入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した画像である。

次に、本実施形態の照合補助システムの動作について、図１５を用いて説明する。図１５は本実施形態における処理の一例を示すフローチャートである。

検出部１２０は、人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する（Ｓ４０７）。

出力部１８０は、入力画像から推定した前記レンズの度数を用いて、三次元登録画像を補正した三次元補正後画像と、当該入力画像と、を出力する（Ｓ４０８）。

これにより、照合対象が眼鏡を装着した人物であっても、眼鏡の装着による外見の変化や、顔の印象の変化を軽減することができる。ユーザが目視での照合を効率的かつ精度良く行うための画像を生成することができる。

（ハードウェア構成）
次に、上述した各実施形態における、処理装置１００、撮像装置２００、ユーザ端末３００を、一つ以上のコンピュータを用いて実現するハードウェア構成の一例について説明する。処理装置１００、撮像装置２００、ユーザ端末３００が備える各機能部は、任意のコンピュータの少なくとも1つのＣＰＵ（Central Processing Unit）、少なくとも１つのメモリ、メモリにロードされるプログラム、そのプログラムを格納する少なくとも１つのハードディスク等の記憶ユニット、ネットワーク接続用インターフェース等を中心にハードウェアとソフトウエアの任意の組合せによって実現される。この実現方法、装置には種々の変形例があることは、当業者には理解されるところである。なお記憶ユニットは、装置の出荷以前から格納されているプログラムのほか、光ディスク、光磁気ディスク、半導体フラッシュメモリ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納可能である。

図１６は、処理装置１００、撮像装置２００、ユーザ端末３００のハードウェア構成を例示するブロック図である。図１６に示すように、処理装置１００、撮像装置２００、ユーザ端末３００は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェース３Ａ、周辺回路４Ａ、通信インターフェース５Ａ、バス６Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１００、撮像装置２００、ユーザ端末３００は周辺回路４Ａを有さなくてもよい。なお、処理装置１００、撮像装置２００、ユーザ端末３００は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記のハードウェア構成を備えることができる。

バス６Ａは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェース３Ａ、周辺回路４Ａ、通信インターフェース５Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）やマイクロプロセッサ等の演算処理装置である。プロセッサ１Ａは、例えば、メモリ２Ａに記憶された各種プログラムに従って処理を実行することが可能である。

メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリであり、プログラムや各種データを記憶する。

入出力インターフェース３Ａは、入力装置、外部装置、外部ストレージ部、外部センサ、カメラ等から情報を取得するためのインターフェースや、出力装置、外部装置、外部ストレージ部等に情報を出力するためのインターフェースなどを含む。入力装置は、例えばタッチパネル、キーボード、マウス、マイク、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンタ、ランプ等である。

プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

通信インターフェース５Ａは処理装置１００、撮像装置２００、ユーザ端末３００が外部装置と相互に通信することを実現する他、処理装置１００、撮像装置２００、ユーザ端末３００が相互に通信することを実現する。なお、処理装置１００、撮像装置２００、ユーザ端末３００の一部の機能をコンピュータで構成してもよい。

＜変形例＞
上述の実施形態に対して適用可能な変形例を説明する。度数推定部１４０が対象の撮像画像においてレンズの度数の推定に失敗した場合、当該撮像画像の前後に撮影された撮像画像に対して再度処理を行ってもよい。また、画像処理部１５０は、撮像画像に対し眼鏡の縁を除去するように画像処理を行ってもよい。

他の変形例を説明する。撮像部２１０は三次元的な深度情報（奥行き情報）を取得する装置を備えてもよい。その場合、計算部１４１は、二次元画像から撮像部２１０と人物（または人物の顔）との距離を計算する必要はなく、推定部１４３は、撮像部２１０が取得した深度情報を用いて、レンズの度数を推定してもよい。また、照合部１７０は、抽出部１３０が抽出した二次元画像に映る人物と、記憶部１６０が格納する複数の三次元登録画像との照合を行う他、画像処理部１５０が処理した補正後画像と三次元登録画像とを照合するように設計してもよい。

上記の実施形態に対して適用可能な他の変形例を説明する。撮像装置２００は、処理装置１００が実行する処理の一部あるいは全てを実行してもよい。撮像装置２００は、例えば、図１８に示すように、撮像部２１０に加えて検出部１２０と抽出部１３０と度数推定部１４０とを備えていてもよい。この場合、撮像装置２００において、レンズの度数を推定し、処理装置１００が備える画像処理部１５０は、レンズの度数に関する情報を撮像装置２００から取得してもよい。この場合、撮像装置２００がＳ１０１～Ｓ１０７の処理を実行してもよい。また、撮像装置２００は、撮像画像に映る人物の輪郭差が閾値以上である撮像画像のみを抽出し、レンズの度数を推定する処理や、処理装置１００に送信する処理の対象としてもよい。上記の変形例によれば、処理装置１００の処理負荷軽減や、本発明における照合補助システムの送信処理に係る負荷の軽減を図ることができる。

なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出する検出部と、
前記入力画像において推定した前記レンズの度数を用いて当該レンズに映る目の位置及び大きさを補正した画像である補正後画像と、前記補正後画像との照合対象である三次元登録画像を出力する出力部と、
を備える照合補助装置。

（付記２）
前記補正後画像及び前記三次元登録画像を同一画面上に表示する表示部、
をさらに備える付記１に記載の照合補助装置。

（付記３）
前記表示部は、前記補正後画像に対応する前記入力画像と、複数の登録者の前記三次元登録画像との照合により得られた類似度が閾値以上の三次元登録画像を表示する、
付記２に記載の照合補助装置。

（付記４）
人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する検出部と、
前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する出力部と、
を備える照合補助装置。

（付記５）
前記三次元補正後画像と、前記入力画像とを、同一画面上に表示する表示部と、を備える付記４に記載の照合補助装置。

（付記６）
前記表示部は、前記入力画像との照合により得られた類似度が閾値以上である三次元登録画像に対応する前記三次元補正後画像を表示する、
付記５に記載の照合補助装置。

（付記７）
前記入力画像における前記レンズの内側に映る輪郭と当該レンズの外側に映る輪郭との位置関係と、当該レンズを装着する人物を撮影した撮像部と当該人物との位置関係と、を用いて、当該レンズの度数を推定する推定部、をさらに備える付記１から６の何れか１項に記載の照合補助装置。

（付記８）
前記推定部は、人物を撮像した複数の入力画像において、当該人物が装着する前記レンズの内側と外側に映る輪郭の距離が閾値以上である画像を用いて、当該レンズの度数を推定する、付記７に記載の照合補助装置。

（付記９）
前記推定部は、複数の登録者の前記三次元登録画像の何れかとの照合により得られた類似度が閾値以上である前記入力画像を対象に、当該入力画像に映る前記レンズの度数を推定する、付記７または８に記載の照合補助装置。

（付記１０）
人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出し、
前記入力画像において推定した前記レンズの度数を用いて当該レンズに映る目の位置及び大きさを補正した画像である補正後画像と、前記補正後画像との照合対象である三次元登録画像を出力する、
照合補助方法。

（付記１１）
コンピュータに、
人物を撮像した少なくとも一つの入力画像において、レンズを装着した人物を含む入力画像を検出する処理、
前記入力画像において推定した前記レンズの度数を用いて当該レンズに映る目の位置及び大きさを補正した画像である補正後画像と、前記補正後画像との照合対象である三次元登録画像を出力する処理、
を実行させるためのプログラムを記憶するプログラム記憶媒体。

（付記１２）
人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出し、
前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する、
照合補助方法。

（付記１３）
コンピュータに、
人物を撮像した少なくとも一以上の入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する処理、
前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する処理、
を実行させるためのプログラムを記憶するプログラム記憶媒体。

１ 照合補助システム
１００ 処理装置
１１０ 入力部
１２０ 検出部
１３０ 抽出部
１４０ 度数推定部
１４１ 計算部
１４２ 学習モデル記憶部
１４３ 推定部
１５０ 画像処理部
１６０ 記憶部
１７０ 照合部
１８０ 出力部
１９０ 三次元画像処理部
２００ 撮像装置
２１０ 撮像部
３００ ユーザ端末
３１０ 表示部
３２０ 操作受付部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力インターフェース
４Ａ 周辺回路
５Ａ 通信インターフェース
６Ａ バス
Ｅ１ 第１走査距離
Ｅ２ 第２走査距離
Ｅ３、Ｅ４、ＦＬ 顔の輪郭
ＶＦＬ レンズ内の顔の輪郭
ＧＬ１、ＧＬ２ レンズ
Ψ 入射角
Θ 人物の顔向き
Φ 画角
ｘｓ 第１ピクセル距離
ｃ 第２ピクセル距離
ＸＬ 撮像画像の画素数
Ｐ カメラレンズ
ＣＳ ＣＣＤセンサ

Claims (8)

1. 人物を撮像した少なくとも１つの入力画像において、レンズを有する眼鏡を装着した人物を含む入力画像を検出する検出部と、
   前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である、眼鏡を装着していない前記人物を含む三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像と、を出力する出力部と、
   を備える照合補助装置。
2. 前記三次元補正後画像と、前記入力画像とを、同一画面上に表示する表示部と、を備える請求項１に記載の照合補助装置。
3. 前記表示部は、前記入力画像との照合により得られた類似度が閾値以上である三次元登録画像に対応する前記三次元補正後画像を表示する、
   請求項２に記載の照合補助装置。
4. 前記入力画像における前記レンズの内側に映る輪郭と当該レンズの外側に映る輪郭との位置関係と、当該レンズを装着する人物を撮影した撮像部と当該人物との位置関係と、を用いて、当該レンズの度数を推定する推定部、をさらに備える請求項１から３の何れか１項に記載の照合補助装置。
5. 前記推定部は、人物を撮像した複数の入力画像において、当該人物が装着する前記レンズの内側と外側に映る輪郭の距離が閾値以上である画像を用いて、当該レンズの度数を推定する、請求項４に記載の照合補助装置。
6. 前記推定部は、複数の登録者の前記三次元登録画像の何れかとの照合により得られた類似度が閾値以上である前記入力画像を対象に、当該入力画像に映る前記レンズの度数を推定する、請求項４または５に記載の照合補助装置。
7. コンピュータが、
   人物を撮像した少なくとも1つの入力画像において、レンズを装着した人物を含む入力画像を検出し、
   前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である、眼鏡を装着していない前記人物を含む三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像とを出力する、
   照合補助方法。
8. コンピュータに、
   人物を撮像した少なくとも1つの入力画像において、レンズを装着した人物を含む入力画像を検出する処理と、
   前記入力画像において推定した前記レンズの度数を用いて前記入力画像との照合対象である、眼鏡を装着していない前記人物を含む三次元登録画像の目の位置及び大きさを補正した三次元補正後画像と、前記入力画像とを出力する処理と、
   を実行させるためのプログラム。

Images