JP4337064B2

JP4337064B2 - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP4337064B2
Application number: JP2007098567A
Authority: JP
Inventors: 智弘角田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-04
Filing date: 2007-04-04
Publication date: 2009-09-30
Anticipated expiration: 2027-04-04
Also published as: US8107689B2; JP2008257460A; CN101281540B; CN101281540A; US20080247610A1

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、テレビジョン番組に代表される映像コンテンツに基づいて、人物とその顔の画像の対応関係を示すデータベースを生成するようにした情報処理装置、情報処理方法、およびプログラムに関する。

従来、動画像や静止画像から人物の顔を検出し、検出した顔が誰の顔であるのかを特定する技術が存在する（例えば、特許文献１参照）。

当該従来技術においては、予め人物とその人物の顔の特徴を示す特徴量モデルが対応付けて記録されているデータベース（以下、ＤＢと記述する）を参照し、検出した顔画像の特徴量モデルと比較して、その相関度が最も高い人物を、検出した顔画像の人物であると特定している。

特開２００２−１８９７２４号公報

ところで、上述した従来技術で用いられている人物とその顔の特徴量モデルが対応付けて記録されているＤＢは、通常、人が手作業で人物と特徴量モデルを対応付けて構築しているものである。よって、このＤＢをコンピュータなどによって自動的に構築することができれば、ＤＢに蓄積されているデータ数（人物と顔の特徴量モデルの数）を人力で構築していたときに比較して速やかに増加させることができるので、より多くの人物を認識することができるようになると期待できる。

また当然ながら、従来のＤＢでは、人物の加齢に伴う顔の変化、化粧や扮装による顔の特徴変化に対応することができず、このような変化に対しても、人が手作業でＤＢを更新する必要がある。

本発明はこのような状況に鑑みてなされたものであり、映像コンテンツに基づいて、人物と顔の特徴量モデルの対応関係を示すデータベースを自動的に構築するようにするものである。

本発明の一側面である情報処理装置は、人物と顔画像との対応関係を示すデータベースを生成する情報処理装置において、映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成手段と、映像コンテンツから人の顔画像を検出する検出手段と、検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成手段と、前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピング手段とを含み、マッピング手段は、注目人物を決定する決定手段と、登場人物リストに基づいて注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された特徴量モデルを取得する取得手段と、取得された特徴量モデルの中から互いに相関度の高い複数の特徴量モデルを判定する判定手段と、互いの相関度が高いと判定された複数の特徴量モデルの中心となる中心モデルを生成して注目人物に対応付ける対応付け生成手段とを含む。

前記リスト生成手段は、映像コンテンツのメタデータに基づいて、複数の人物から構成されるグループを含めて、前記登場人物リストを生成するようにすることができる。

前記検出手段は、映像コンテンツから人の顔画像をその角度に拘わらず検出し、前記マッピング手段は、同一人物に対して異なる角度から検出された顔画像に基づいて生成された複数の前記特徴量モデルを対応付けるようにすることができる。

本発明の一側面である情報処理方法は、人物と顔画像との対応関係を示すデータベースを生成する情報処理装置の情報処理方法において、映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成ステップと、映像コンテンツから人の顔画像を検出する検出ステップと、検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成ステップと、前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピングステップとを含み、マッピングステップは、注目人物を決定する決定ステップと、登場人物リストに基づいて注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された特徴量モデルを取得する取得ステップと、取得された特徴量モデルの中から互いに相関度の高い複数の特徴量モデルを判定する判定ステップと、互いの相関度が高いと判定された複数の特徴量モデルの中心となる中心モデルを生成して注目人物に対応付ける対応付け生成ステップとを含む。

本発明の一側面であるプログラムは、人物と顔画像との対応関係を示すデータベースを生成するコンピュータの制御用のプログラムであって、映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成ステップと、映像コンテンツから人の顔画像を検出する検出ステップと、検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成ステップと、前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピングステップとを含み、マッピングステップは、注目人物を決定する決定ステップと、登場人物リストに基づいて注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された特徴量モデルを取得する取得ステップと、取得された特徴量モデルの中から互いに相関度の高い複数の特徴量モデルを判定する判定ステップと、互いの相関度が高いと判定された複数の特徴量モデルの中心となる中心モデルを生成して注目人物に対応付ける対応付け生成ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストが生成され、映像コンテンツから人の顔画像が検出され、検出された前記顔画像の特徴を示す特徴量モデルが生成され、前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルが対応付けられる。

本発明の一側面によれば、映像コンテンツに基づいて、人物と顔の特徴量モデルの対応関係を示すデータベースを自動的に構築することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面である情報処理装置（例えば、図２の人物−特徴量モデルＤＢ生成装置２０）は、映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成手段（例えば、図２の登場人物リスト生成部２８）と、映像コンテンツから人の顔画像を検出する検出手段（例えば、図２の顔画像検出部２４）と、検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成手段（例えば、図２の特徴量モデル抽出部２５）と、前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピング手段（例えば、図２のマッピング部２９）とを含む。

本発明の一側面である情報処理装置は、前記映像コンテンツに基づいて生成された複数の前記特徴量モデルを類似度に応じて特徴量モデル群に分類し、特徴量モデル群毎に分類した複数の前記特徴量モデルを代表する代表モデルを生成する分類手段（例えば、図２の特徴量モデル分類部２６）をさらに含む。

前記マッピング手段は、注目人物を決定する決定手段（例えば、図７の注目人物決定部４１）と、前記登場人物リストに基づいて前記注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された前記特徴量モデルを取得する取得手段（例えば、図７の注目人物検索部４２および代表モデル群取得部４３）と、取得された前記特徴量モデルの中から互いに相関度の高い複数の前記特徴量モデルを判定する判定手段（例えば、図７の相関判定部４４）と、他外の相関度が高いと判定された複数の前記特徴量モデルの中心となる中心モデルを生成して前記注目人物に対応付ける対応付け生成手段（例えば、図７の中心モデル生成部４５）とを含むようにすることができる。

本発明の一側面である情報処理方法およびプログラムは、映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成ステップ（例えば、図８のステップＳ５）と、映像コンテンツから人の顔画像を検出する検出ステップ（例えば、図８のステップＳ２）と、検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成ステップ（例えば、図８のステップＳ３）と、前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピングステップ（例えば、図９のステップＳ１６）とを含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

初めに、本発明の一実施の形態である人物−特徴量モデルＤＢ生成装置により構築される人物−特徴量モデルＤＢが用いられる情報提供システムについて、図１を参照して説明する。

この情報提供システム１０は、顔写真や似顔絵イラストを入力として、入力された顔写真などに対応する人物に関連する情報を操作者に対して提供する情報提供装置１１、映像コンテンツに登場し得る芸能人、文化人、スポーツ選手、政治家などの人物とその人物に関連する情報である人物関連情報が対応付けて記録されている人物関連情報ＤＢ２３、および、人物とその顔の特徴を示す特徴量モデルが対応付けて記録されている人物−特徴量モデルＤＢ３０から構成される。

情報提供装置１１は、操作者から入力される顔写真や似顔絵イラストの特徴を示す特徴量モデルを生成し、人物−特徴量モデルＤＢ３０を参照することにより、生成した特徴量モデルと最も相関度が高い特徴量モデルを検索し、検索結果に対応する人物を特定する。そして、特定した人物に対応する人物関連情報を人物関連情報ＤＢ１３から取得して操作者に提供する。

人物関連情報ＤＢ２３は、予め用意すべきものである（詳細後述）。人物−特徴量モデルＤＢ３０は、図２に示す人物−特徴量モデルＤＢ生成装置によって構築されるものである。

図２は、人物−特徴量モデルＤＢ３０を構築するために、本発明の一実施の形態である人物−特徴量モデルＤＢ生成装置の構成例を示している。

この人物−特徴量モデルＤＢ生成装置２０は、映像コンテンツが蓄積されているコンテンツＤＢ２１、コンテンツＤＢ２１の映像コンテンツに対応するメタデータが蓄積されているメタデータＤＢ２２、人物関連情報が蓄積されている人物関連情報ＤＢ２３、映像コンテンツから顔画像を検出する顔画像検出部２４、検出される顔画像の特徴を示す特徴量モデルを生成する特徴量モデル抽出部２５、生成される無数の特徴量モデルをその類似度に応じて分類する特徴量モデル分類部２６、特徴量モデルが蓄積される特徴量モデルＤＢ２７、映像コンテンツのメタデータに基づいて映像コンテンツに登場する人物の一覧を示す登場人物リスト３１を生成する登場人物リスト生成部２８、および、登場人物リスト３１に含まれる人物に特徴量モデルを対応付けるマッピング部２９から構成される。

コンテンツＤＢ２１は、図３に示すように、テレビジョン番組などの動画像、報道写真、グラビア写真などの静止画像からなる映像コンテンツの固有識別情報であるコンテンツＩＤに、その映像コンテンツの実データ（動画データ、静止画データなど）が実際に記録されている場所を示す所在情報を対応付けて記憶しており、記憶している所在情報から映像コンテンツの実データを取得して顔画像検出部２４およびマッピング部２９に出力する。なお、コンテンツＤＢ２１に映像コンテンツの実データを保持するようにしてもよい。

メタデータＤＢ２２は、コンテンツＤＢ２１の映像コンテンツに対応するメタデータを、コンテンツＩＤに対応付けて記憶している。ここで、メタデータとは、映像コンテンツがテレビジョン番組である場合には、そのEPGデータ（番組名、放送日時、チャンネル、出演者、番組内容などからなる）などを指す。その他の場合、映像コンテンツに登場する人物名を含む一般的な属性情報を指す。また、メタデータＤＢ２２は、登場人物リスト生成部２８によって生成される登場人物リスト３１を、コンテンツＩＤに対応付けて記憶する。

人物関連情報ＤＢ２３には、映像コンテンツに登場し得る芸能人、文化人、スポーツ選手、政治家などの人物とその人物に関連する情報である人物関連情報が対応付けて記録されている。

図４は、人物関連情報ＤＢ２３に記録されている人物関連情報の項目を示している。人物関連情報は、各人物ＩＤに対応付けて、名称、名称のヨミガナ、名称の英文字表示、出身地、誕生日、デビュー時期、関連人物ＩＤ、当該人物の公式ホームページなどのURL(Uniform Resource Locator)、その他の情報が記録される。

なお、複数の人物から構成されるグループに対しても人物ＩＤを付与するようにする。当該グループの構成員がそれぞれ個別に映像コンテンツに登場し得るのであれば、各構成員に対してもそれぞれ個別の人物ＩＤを付与するようにする。例えば、グループの人物ＩＤに対応付けた関連人物ＩＤには、当該グループ構成員の人物ＩＤなどが記録される。また例えば、グループ構成員の人物ＩＤに対応付けた関連人物ＩＤには、当該グループの人物ＩＤや同じグループに属する他の構成員の人物ＩＤなどが記録される。このように、グループ構成員にグループを対応付けて記録するとともに、グループにその構成員を対応付けて記録することにより、例えば、登場人物リストにグループ名だけが記載されているような場合でも構成員個人の顔を個別に対応付けすることができる。

人物関連情報ＤＢ２３には、上述した項目の他、出演している映像コンテンツのコンテンツＩＤ、当該映像コンテンツに登場する時刻情報などを記録するようにしてもよい。

図２に戻る。顔画像検出部２４は、コンテンツＤＢ２１から映像コンテンツを取得し、取得した映像コンテンツの映像上の人の顔を検出する。この人の顔の検出は、顔が正面を向いている状態だけでなく、例えば、右１０度の状態、左４５度の状態など、左右の様々な方向を向いた状態（正対している被写体を左右の様々な方向から撮影した状態も同じ意味とする）でも行い、検出結果を特徴量モデル抽出部２５に出力する。なお、映像コンテンツが動画像であるならば、仮に出演者が一人だけであっても複数の顔画像が検出されることになるが、連続しているシーンでそれぞれ検出される顔はその角度が違っても同一人物であることが多いので、後段の特徴量モデル分類部２６で同一人物と認識されるように、連続して検出されたことを示す情報を保持するようにする。

特徴量モデル抽出部２５は、検出された人の顔の特徴を示す特徴量モデルを生成する。また、検出した顔の角度を検出して、特徴量モデルとその顔角度を特徴量モデル分類部２６および特徴量モデルＤＢ２７に出力する。なお、上述したように、検出した顔の顔角度毎に特徴量モデルを生成してもよいが、例えば検出された正面の顔画像に対して特徴量モデルを生成し、生成した正面の特徴量モデルに基づいて他の角顔度の特徴量モデルを生成するようにしてもよい。

なお、顔画像検出部２４および特徴量モデル抽出部２５の処理については、例えば特開２００２−１８９７２４号公報に開示されている技術を適用することができる。

特徴量モデル分類部２６は、１つの映像コンテンツに基づいて生成された同じ顔角度の複数の特徴量モデルの類似度を演算し、類似した特徴量モデルが特徴量モデル群を構成するように分類する。同一の特徴量モデル群に分類された複数の特徴量モデルは、同一の人物に対応するものであると考えられる。さらに、特徴量モデル分類部２６は、各特徴量モデル群の平均的なモデル（以下、代表モデルと称する）を生成して特徴量モデルＤＢ２７に出力する。通常、１つの映像コンテンツからは、その出演者たちの顔が類似していなければ、その出演者の数と同じ数以上の代表モデルが生成される。なお、様々な顔角度の特徴量モデルが生成されているならば、同一人物に対して様々な顔角度の代表モデルが生成されることになる。

以下、１つの映像コンテンツから生成される複数の代表モデルを代表モデル群３２と称する。つまり、代表モデル群３２には、１つの映像コンテンツに出演している各出演者の顔の特徴を示す代表モデルが含まれていることになる。なお、代表モデルを生成せず、特徴量モデルの分類結果である特徴量モデル群を特徴量モデルＤＢ２７に出力するようにしてもよいが、代表モデルを生成した方が後段における演算量を削減できる。

特徴量モデルＤＢ２７は、特徴量モデル抽出部２５によって生成された特徴量モデルと、特徴量モデル分類部２６によって生成された代表モデルを記憶する。あるいは、特徴量モデル分類部２６によって分類された特徴量モデル群を記憶する。

登場人物リスト生成部２８は、映像コンテンツのメタデータに基づき、映像コンテンツに関わる人物の一覧を示す登場人物リスト３１を生成し、生成した登場人物リスト３１をメタデータＤＢ２２に出力する。登場人物リスト３１には、図５に示すように、コンテンツＩＤに対応付けて、メタデータに記載されている人物の人物ＩＤ（人物関連情報ＤＢ２３から取得する）、その役割（男優、女優、演出家、脚本家など）、メタデータ（特にEPGデータ）における表示順序が記録される。メタデータにおける表示順序は、人物の出演時間の長さや重要度に関連する情報として、後段のマッピング部２９で利用される。

マッピング部２９は、特徴量モデルを対応付けたい人物（以下、注目人物と称する）を決定し、注目人物が出演している複数の映像コンテンツを特定し、特定した各映像コンテンツにそれぞれ対応する登場人物リスト３１と代表モデル群３２を比較することによりマッピングを行い、当該人物に対応付する特徴量モデル（中心モデル）を生成し、人物−特徴量モデルＤＢ３０に出力して記録させる。なお、複数の映像コンテンツを特定する場合、同一シリーズの映像コンテンツは単一の映像コンテンツとして扱うようにしてもよい。また、１つの映像コンテンツに対応する代表モデル群３２だけに基づいて、人物と特徴量モデル群３２のマッピングを行うようにしてもよい。

人物−特徴量モデルＤＢ３０は、マッピング部２９の出力に従い、人物ＩＤに特徴量モデルを対応付けて記録する。図６は、人物−特徴量モデルＤＢ３０のデータ構造を示している。各人物ＩＤには、映像コンテンツにおける顔の向きを示す顔角度（正面、右４５度など）、映像コンテンツが撮影された時期を示す撮影時期（年単位など）、特殊メークや扮装の有無を示すタイプ（通常、メーク１、メーク２など）、対応付けられた特徴量モデルの識別情報である特徴量モデルＩＤ、人物と特徴量モデルの対応付けの正確さを示す確率、当該項目が手動によって訂正や更新された場合の履歴を示す手動更新履歴が対応付けて記録される。なお、撮影時期が異なっても特徴量モデルの変化が小さい場合、これらを統合してもよい。これにより、人物−特徴量モデルＤＢ３０のデータサイズの肥大化を抑制することができる。

なお、人物−特徴量モデルＤＢ３０においては、一人の人物に対して複数の特徴量モデルを対応付けて記録することができる。すなわち、人物ＩＤは共通であるが、その他の項目が異なる情報を記録することができる。これにより、映像コンテンツの出演者の顔が年代によって変化したり、化粧を変更したり、扮装したりしても、それぞれの状態における各特徴量モデルには同一の人物ＩＤが対応付けられているので、同一人物として認識することが可能となる。

確率の項目については、通常、同一人物が多くの映像コンテンツに登場し、その顔が多く検出されるほど徐々に上昇するが、例えば人物Ａ，Ｂの二人組みグループが常に同時に映像コンテンツに登場するような場合、人物Ａ，Ｂのそれぞれに特徴量モデルａ，ｂが対応付けられ、人物Ａ−特徴量モデルａ、人物Ａ−特徴量モデルｂ、人物Ｂ−特徴量モデルａ、人物Ｂ−特徴量モデルｂの対応それぞれの確率はいずれも５０％となる。

次に、図７は、マッピング部２９の構成例を示している。

マッピング部２９は、注目人物を決定する注目人物決定部４１、メタデータＤＢ２２の登場人物リスト３１に基づいて注目人物が出演している複数の映像コンテンツを特定する注目人物検索部４２、特定された複数の映像コンテンツにそれぞれ対応する代表モデル群３２を特徴量モデルＤＢ２７から取得する代表モデル群取得部４３、取得された複数の代表モデル群３２に含まれる代表モデルの相関度に基づいて注目人物に対応する複数の代表モデルを選抜する相関判定部４４、選抜された複数の代表モデルから中心モデルを生成する中心モデル生成部４５、および、生成された中心モデルを注目人物に対応付けて人物−特徴量モデルＤＢ３０に記録させる記録部４６から構成される。

注目人物決定部４１は、例えばコンテンツＤＢ２１に新たな映像コンテンツが追加され、前段階の処理（後述）が終了した後、当該映像コンテンツの登場人物を順に選択するなどして、注目人物に決定する。注目人物検索部４２は、注目人物以外の人物も共通して登場する映像コンテンツは除外して、注目人物が出演している複数の映像コンテンツを特定する。

相関判定部４４は、取得した複数の代表モデル群３２の間で代表モデルの相関度を演算し、各代表モデル群の間で相関度が最も高い代表モデルの組み合わせを選抜する。なお、最も相関度が高い代表モデルを選抜する代わりに、相関度が所定の閾値を越えた代表モデルを選抜するようにしてもよい。また、各代表モデル群の全代表モデルの相関度を演算するとその演算量が膨大となるので、登場人物リスト３１の表記順序に基づき、表記順序の上位側数名に限定して相関度を演算するようにしてもよい。このようにすれば、選抜すべき代表モデルを速やかに検出できることが期待でき、相関度の演算量の削減も期待できる。

中心モデル生成部４５は、選抜された複数の代表モデルのいずれとも相関度が同等の特徴量モデルを中心モデルとして生成する。

次に、人物−特徴量モデルＤＢ３０を生成するための準備である前段階の処理について、図８のフローチャートを参照して説明する。

この前段階の処理は、各映像コンテンツに対して登場人物リスト３１と代表モデル群３２を生成する処理であり、例えば、コンテンツＤＢ２１に新たな映像コンテンツが追加されたとき、追加された映像コンテンツを処理対象として実行される。

ステップＳ１において、顔画像検出部２４は、コンテンツＤＢ２１から処理対象の映像コンテンツを取得し、取得した映像コンテンツの映像上の人の顔を検出して特徴量モデル抽出部２５に出力する。ステップＳ２において、特徴量モデル抽出部２５は、検出された人の顔の特徴を示す特徴量モデルを生成する。また、検出した顔の角度を検出して、特徴量モデルとその顔角度を特徴量モデル分類部２６および特徴量モデルＤＢ２７に出力する。

処理対象として映像コンテンツの全体から顔の検出が終了し、検出した顔にそれぞれ対応する特徴量モデルが生成されて特徴量モデルＤＢ２７に記録された後、処理はステップＳ３に進められる。

ステップＳ３において、特徴量モデル分類部２６は、処理対象の映像コンテンツに基づいて生成された同じ顔角度の複数の特徴量モデルの類似度を演算し、類似した特徴量モデルが同一の特徴量モデル群に属するように分類する。ステップＳ４において、特徴量モデル分類部２６は、各特徴量モデル群をそれぞれ代表する代表モデルを生成し、ここで生成した複数の代表モデルからなる代表モデル群３２を特徴量モデルＤＢ２７に出力する。特徴量モデルＤＢ２７は、入力された代表モデル群３２にコンテンツＩＤを対応付けて記録する。

ステップＳ５において、登場人物リスト生成部２８は、メタデータＤＢ２２から処理対象の映像コンテンツのメタデータを取得し、取得したメタデータに基づいて処理対象の映像コンテンツに関わる人物の一覧を示す登場人物リスト３１を生成し、生成した登場人物リスト３１をメタデータＤＢ２２に出力する。メタデータＤＢ２２は、入力された登場人物リスト３１にコンテンツＩＤを対応付けて記録する。

なお、ステップＳ１乃至Ｓ４による代表モデル群３２を生成する処理を、ステップＳ５における登場人物リスト３１を生成する処理は、その実行順序を逆にしてもよいし、あるいは同時に実行するようにしてもよい。

以上で、処理対象とした映像コンテンツに対する前段階の処理の説明を終了する。

次に、人物−特徴量モデルＤＢ３０を生成する人物−特徴量モデル生成処理について、図９のフローチャートを参照して説明する。

この人物−特徴量モデル生成処理は、上述した前段階の処理によって登場人物リスト３１と代表モデル群３２が生成済みの映像コンテンツの数がある程度確保された後に実行される。より具体的には、特徴量モデルを対応付けたい人物（注目人物）が共通して登場しており、注目人物以外に共通して登場する出演者がいない映像コンテンツの数が少なくとも２つ確保されている必要がある。

ステップＳ１１において、注目人物決定部４１は、例えばコンテンツＤＢ２１に新たな映像コンテンツＣ_Aが追加された登場人物リスト３１をメタデータＤＢ２２から取得し、登場人物リスト３１に記載されている人物を順に選択するなどして注目人物αを決定する。

ステップＳ１２において、注目人物検索部４２は、メタデータＤＢ２２の登場人物リスト３１を参照することにより、注目人物αが登場する映像コンテンツであって、注目人物α以外に共通して登場する出演者がいない映像コンテンツを特定し、特定した映像コンテンツに対応する登場人物リスト３１をメタデータＤＢ２２から取得する。

以下、映像コンテンツＣ_Aの他に映像コンテンツＣ_B，Ｃ_Cが特定されたと仮定する。特定された映像コンテンツＣ_A，Ｃ_B，Ｃ_Cにそれぞれ対応する代表モデル群３２には、それぞれ注目人物αの顔の特徴を示す代表モデルが含まれており、それらは相関度が高いはずであるとの考えに基づいて以下の処理が行われる。

ステップＳ１３において、代表モデル群取得部４３は、特定された映像コンテンツＣ_A，Ｃ_B，Ｃ_Cにそれぞれ対応する代表モデル群３２を特徴量モデルＤＢ２７から取得して相関判定部４４に出力する。

ステップＳ１４において、相関判定部４４は、取得した複数の代表モデル群３２の間で代表モデルの相関度を演算し、各代表モデル群の間で相関度が最も高い代表モデルの組み合わせを選抜し、選抜した代表モデルの組み合わせを中心モデル生成部４５に主力する。ここで、映像コンテンツＣ_Aの代表モデル群から選抜されたものを代表モデルＡα、映像コンテンツＣ_Bの代表モデル群から選抜されたものを代表モデルＢα、映像コンテンツＣ_Cの代表モデル群から選抜されたものを代表モデルＣαとする。

ステップＳ１５において、中心モデル生成部４５は、選抜された代表モデルＡα，Ｂα，Ｃαのいずれとも相関度が同等の中心モデルＭαを生成して記録部４６に出力する。ステップＳ１６において、記録部４６は、入力された中心モデルＭαに特徴量モデルＩＤを付与して人物−特徴量モデルＤＢ３０に記録する。さらに、記録部４６は、人物−特徴量モデルＤＢ３０に、注目人物αの人物ＩＤに中心モデルの特徴量モデルＩＤを対応付けて記録させる。なお、中心モデルＭαの特徴量モデルＩＤ以外の情報、顔角度、撮影時期、タイプ、確率などもこのときに記録させる。

以上で、人物−特徴量モデル生成処理は終了される。そして、この人物−特徴量モデル生成処理が繰り返し実行されることにより、人物−特徴量モデルＤＢ３０において、同一の人物に対応する特徴量モデルの精度を上げ、特徴量モデルの数を増やすことができる。

なお、このようにして生成した人物−特徴量モデルＤＢ３０は、人力によって情報を訂正、更新、追加したりできるようにしてかまわない。例えば、インタネット上に公開して訂正などの指摘を受け付け、同様の指摘が所定数以上あったときに実際に人物−特徴量モデルＤＢ３０を訂正などするようにしてもよい。

生成された人物−特徴量モデルＤＢ３０が適用される図１の情報提供システム１０では、操作者からの顔画像や似顔絵イラストの入力に対し、対応する人物の人物関連情報を出力したする他、対応する人物の商品（CD,DVD，本など）や対応する人物が宣伝している商品を購入できるWEBページを表示したりするようにしてもよい。また、一般人の顔画像などを入力として、似ている芸能人を探したり、その芸能人の化粧の仕方を伝授したりするサービスに適用してもよい。さらに、映像コンテンツと人物を入力として、当該人物が映像コンテンツにおいて出演しているシーンを出力したり、ある映像シーンを入力として、対応する映像コンテンツのコンテンツＩＤとその映像シーンの時刻情報（タイムスタンプ）を出力したりするサービスへの適用も想定される。

ところで、上述した一連の処理は、図２に示されたように構成されるハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)１０１，ROM(Read Only Memory)１０２，RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの記憶媒体１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明が適用される情報提供システムの構成例を示すブロック図である。人物−特徴量モデルＤＢ生成装置の構成例を示すブロック図である。図２のコンテンツＤＢの例を示す図である。図２の人物関連情報ＤＢの例を示す図である。図２の登場人物リストの例を示す図である。図２の人物−特徴量モデルＤＢの例を示す図である。図２のマッピング部の構成例を示すブロック図である。前段階の処理を説明するフローチャートである。人物−特徴量モデルＤＢ生成処理を説明するフローチャートである。コンピュータの構成例を示すブロック図である。

符号の説明

１０情報提供システム，１１情報提供装置，２０人物−特徴量モデルＤＢ生成装置，２１コンテンツＤＢ，２２メタデータＤＢ，２３人物関連情報ＤＢ，２４顔画像検出部，２５特徴量モデル抽出部，２６特徴量モデル分類部，２７特徴量モデルＤＢ，２８登場人物リスト生成部，２９マッピング部，３０人物−特徴量モデルＤＢ，３１登場人物リスト，３２代表モデル群，１００コンピュータ，１０１ CPU，１１１記録媒体

Claims

人物と顔画像との対応関係を示すデータベースを生成する情報処理装置において、
映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成手段と、
映像コンテンツから人の顔画像を検出する検出手段と、
検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成手段と、
前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピング手段と
を含み、
前記マッピング手段は、
注目人物を決定する決定手段と、
前記登場人物リストに基づいて前記注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された前記特徴量モデルを取得する取得手段と、
取得された前記特徴量モデルの中から互いに相関度の高い複数の前記特徴量モデルを判定する判定手段と、
互いの相関度が高いと判定された複数の前記特徴量モデルの中心となる中心モデルを生成して前記注目人物に対応付ける対応付け生成手段と
を含む
情報処理装置。
前記リスト生成手段は、映像コンテンツのメタデータに基づいて、複数の人物から構成されるグループを含めて、前記登場人物リストを生成する
請求項１に記載の情報処理装置。
前記検出手段は、映像コンテンツから人の顔画像をその角度に拘わらず検出し、
前記マッピング手段は、同一人物に対して異なる角度から検出された顔画像に基づいて生成された複数の前記特徴量モデルを対応付ける
請求項１に記載の情報処理装置。
人物と顔画像との対応関係を示すデータベースを生成する情報処理装置の情報処理方法において、
映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成ステップと、
映像コンテンツから人の顔画像を検出する検出ステップと、
検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成ステップと、
前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピングステップと
を含み、
前記マッピングステップは、
注目人物を決定する決定ステップと、
前記登場人物リストに基づいて前記注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された前記特徴量モデルを取得する取得ステップと、
取得された前記特徴量モデルの中から互いに相関度の高い複数の前記特徴量モデルを判定する判定ステップと、
互いの相関度が高いと判定された複数の前記特徴量モデルの中心となる中心モデルを生成して前記注目人物に対応付ける対応付け生成ステップと
を含む
情報処理方法。
人物と顔画像との対応関係を示すデータベースを生成するコンピュータの制御用のプログラムであって、
映像コンテンツのメタデータに基づいて前記映像コンテンツの登場人物の一覧を示す登場人物リストを生成するリスト生成ステップと、
映像コンテンツから人の顔画像を検出する検出ステップと、
検出された前記顔画像の特徴を示す特徴量モデルを生成するモデル生成ステップと、
前記登場人物リストに含まれる人物に、前記映像コンテンツに基づいて生成された前記特徴量モデルを対応付けるマッピングステップと
を含み、
前記マッピングステップは、
注目人物を決定する決定ステップと、
前記登場人物リストに基づいて前記注目人物が登場する映像コンテンツを検索し、検索した映像コンテンツに基づいて生成された前記特徴量モデルを取得する取得ステップと、
取得された前記特徴量モデルの中から互いに相関度の高い複数の前記特徴量モデルを判定する判定ステップと、
互いの相関度が高いと判定された複数の前記特徴量モデルの中心となる中心モデルを生成して前記注目人物に対応付ける対応付け生成ステップと
を含む
処理をコンピュータに実行させるプログラム。