JP2020074055A - 画像識別装置、分類システム、制作支援システム、それらの方法及びプログラム - Google Patents

Abstract

【課題】映像から精度よく識別対象を識別できる技術を提供すること。【解決手段】映像から特定の特定人物を識別する画像識別装置であって、映像から人物を認識し、認識された人物の映像上の位置を参照し、映像上の特定人物の向きを推定する向き推定部と、特定人物の向き毎に、特定人物を識別するための学習が行われた複数の特定人物識別部と、向き推定部により推定された特定人物の向きに対応する特定人物識別部を選択し、選択した特定人物識別部により、映像から特定人物を識別させる制御部とを有する画像識別装置である。【選択図】図６

Description

本発明は、画像識別装置、分類システム、制作支援システム、それらの方法及びプログラムに関する。

近年、画像認識の技術が発達し、競技の映像から選手を識別する技術が提案されている（例えば、特許文献１）。この技術は、映像中の選手が誰であるかの情報を取得するため、選手の顔、ユニフォームの色、背番号、番組用のスーパー（テロップ）などの特徴を認識に使用している。

特開２００２−２３６９１３号公報

ところで、映像の人物を識別する際、識別しようとする人物はかならずしも正面を向いているとは限らず、色々な方向を向いているのが通常である。

このような状況において、映像から特定の人物を、高精度で識別できる技術が求められていた。

そこで、本発明は、映像から特定の人物を高精度で識別できる画像識別装置、分類システム、制作支援システム、それらの方法及びプログラムを提供することにある。

本発明の一態様は、映像から特定の特定人物を識別する画像識別装置であって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、前記向き推定部により推定された前記特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させる制御部とを有する画像識別装置である。

本発明の一態様は、映像から特定の特定人物を識別する画像識別装置の教師データを分類する分類システムであって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、前記向き推定部により推定された前記特定人物の向きに対応する格納部に、前記特定人物の向きを推定した映像を格納する格納部とを有する分類システムである。

本発明の一態様は、カメラが積載された中継車と、カメラの映像から特定の特定人物を識別する画像識別装置と、特定人物の所定ポイントを通過したことを報告する報告システムとを備えた制作支援システムであって、前記中継車は、中継車のコース上の位置情報を取得する位置情報取得部を有し、前記画像識別装置は、前記中継車に積載されたカメラの映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、前記向き推定部により推定された前記特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させる制御部とを有し、前記特定人物識別部は、前記向き推定部により推定された前記特定人物の向きを参照し、前記特定人物の位置関係を特定し、前記報告システムは、前記報告の結果を集計する集計部を有し、前記制作支援システムは、前記中継車の位置情報と、前記画像識別装置が中継車に積載されたカメラの映像から識別した前記特定人物の位置関係と、前記報告システムの集計結果とを用いて、前記中継車及び前記特定人物の位置関係を視覚的に表現した画面を生成する画面生成部を有する制作支援システムである。

本発明の一態様は、映像から特定の特定人物を識別する画像識別方法であって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定し、前記推定された前記特定人物の向きに対応する特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させ、前記特定人物識別部は、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われたものである画像識別方法である。

本発明の一態様は、映像から特定の特定人物を識別する画像識別装置の教師データを分類する分類方法であって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定し、前記推定された前記特定人物の向きに対応する格納部に、前記特定人物の向きを推定した映像を格納する分類方法である。

本発明の一態様は、映像から特定の特定人物を識別する情報処理装置のプログラムであって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、前記向き推定部により推定された前記特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させる制御部として情報処理装置を機能させるプログラムである。

本発明の一態様は、映像から特定の特定人物を識別する画像識別装置の教師データを分類する情報処理装置のプログラムであって、映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、前記向き推定部により推定された前記特定人物の向きに対応する格納部に、前記特定人物の向きを推定した映像を格納する格納部として情報処理装置を機能させるプログラムである。

本発明は、精度良く、映像から特定の人物を識別できる。

図１は第１の実施の形態における映像制作システムの構成例を示すブロック図である。 図２は第１の実施の形態を説明するための図である。 図３は第１の実施の形態を説明するための図である。 図４は第１の実施の形態を説明するための図である。 図５は第１の実施の形態を説明するための図である。 図６は第１の実施の形態における画像識別装置２の構成例を示すブロック図である。 図７は時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。 図８は時刻ｔ＋１における画像フレームの画像内に存在する人物を検出した場合の概念図である。 図９は時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。 図１０は時刻ｔ＋１における画像フレームの画像内に存在する人物を検出した場合の概念図である。 図１１は注目領域を説明するための図である。 図１２は算出された識別対象（クラス）毎の尤度の一例を示した図である。 図１３は第１の実施の形態を説明するための図である。 図１４は第２の実施の形態における画像識別装置の構成例を示すブロック図である。 図１５は第２の実施の形態を説明するための図である。 図１６は第２の実施の形態を説明するための図である。 図１７は第３の実施の形態における分類システムのブロック図である。 図１８は第４の実施の形態のブロック図である。 図１９はメタデータの一例を示す図である。 図２０は第４の実施の形態を説明するための図である。 図２１は第５の実施の形態のブロック図である。 図２２は第５の実施の形態を説明するための図である。 図２３は第１の実施の形態の変形例２における映像制作システムの構成例を示すブロック図である。 図２４は第１の実施の形態の変形例２を説明するための図である。 図２５は第５の実施の形態の他の例を説明するための図である。

＜第１の実施の形態＞
以下、図面を参照して、本発明の第１の実施の形態における画像識別装置及びプログラムを含む映像制作システムを説明する。

本発明の第１の実施の形態では、映像から特定の特定人物を識別する例として、多くの観客（人物）が存在する映像から駅伝の競技中の選手（特定人物）を識別する例を説明する。但し、あくまでも例であり、本発明は本例に限定されるものではない。

図１は、本実施形態における映像制作システムの構成例を示すブロック図である。映像制作システムは、複数のカメラ１ａ〜１ｄと、画像識別装置２とを備える。

カメラ１ａ〜１ｄは、駅伝の競技中の選手の映像を撮影するカメラである。図１中では、４台のカメラを示している。

ここで、カメラ１ａは、図２に示す如く、選手の顔を正面から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが正面となる映像を撮影するカメラである。カメラ１ｂは、図３に示す如く、選手を背面から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが背面となる映像を撮影するカメラである。カメラ１ｃは、図４に示す如く、選手の顔を左側から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが左向きとなる映像を撮影するカメラである。カメラ１ｄは、図５に示す如く、選手の顔を右側から捉える撮影角度から選手を撮影するカメラである。すなわち、映像上の選手の向きが右向きとなる映像を撮影するカメラである。但し、１台のカメラで、選手を様々な撮影角度から撮影するようにしても良い。

図６は、本実施形態における画像識別装置２の構成例を示すブロック図である。画像識別装置２は、向き推定部２１と、制御部２２と、画像識別部２３ａ〜２３ｄとを備える。

向き推定部２１には、カメラ１ａ〜１ｄのいずれか一つの映像が入力される。向き推定部２１は、入力された映像から人物を認識し、認識された人物の映像上の位置を参照し、映像上の選手（特定人物）の向きを推定する。

ここで、映像上の人物の認識であるが、人物であることが認識できればよく、個々の人物の属性等まで認識できる必要はない。すなわち、映像中の木や車等の存在物と人物とが区別できるような認識ができれば良い。そして、認識した人物の個人を特定するような属性（氏名や、属するチーム等）まで、識別する必要はない。

向き推定部２１による向きの推定の具体的な一例を説明すると、向き推定部２１は、入力された映像の時刻ｔにおける画像フレームの画像中から人物を検出する。図７は、時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。図７、８では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを全て検出している。これらの映像上の人物の認識は、従来の画像認識技術を用いることができる。

次に、向き推定部２１の映像上の選手（特定人物）の向きの推定であるが、認識した人物の映像上の位置から特定する。推定する方法のひとつとして、認識された人物の映像上の位置の時間的変化を参照して、映像上の選手（特定人物）の向きを推定する。例えば、マラソンや駅伝等のスポーツでは、選手を一定の大きさで映るように、カメラは選手と一定の距離を保ちながら移動するケースが多い。この場合、選手はカメラと共に移動するが、観客はその場に留まる傾向が高い。

例えば、選手の顔が見える正面方向から撮影した映像において、特定の観客に着目して考えると、時刻ｔの画像フレームの映像が図７に示すような場合、時刻ｔ＋１の画像フレームの映像では、その特定の観客はその場に留まり、図８に示すような映像になる。つまり、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は離れるため、その特定の観客は、映像上後方に移動することになる。このような映像では、選手の向きは正面であると推定することができる。

一方、選手の背面方向から撮影した映像において、特定の観客に着目して考えると、時刻ｔの画像フレームの映像が図９に示すような場合、時刻ｔ＋１の画像フレームの映像では、その特定の観客はその場に留まり、図１０に示すような映像になる。つまり、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は近づくため、その特定の観客は、映像上前方に移動することになる。このような映像では、選手の向きは後ろを向いている（背面）であると推定することができる。

このように、異なる時刻で得られるフレーム画像中の人物に関して同一人物を対応付ける追跡処理を行うことにより、各人物のカメラとの相対的な移動ベクトルを推定することができる。そして、この移動ベクトルを用いることで、選手の向きを推定することができる。移動ベクトルは、対応付けられた異なる時刻に得られた画像内の人物の座標位置の差分ベクトルで表す。

具体的には、ある映像において、少数の人物の移動ベクトルの移動量が小さく、多数の人物の移動ベクトルの方向が映像上後方（遠ざかる方向）であり、その多数の人物の移動ベクトルの移動量が予め定めた閾値よりも移動量が大きい場合は、選手の顔が見える正面方向から撮影した映像であることが推定される。すなわち、選手の向きが正面であると推定される。

一方、ある映像において、少数の人物の移動ベクトルの移動量が小さく、多数の人物の移動ベクトルの方向が映像上前方（近づく方向）であり、その多数の人物の移動ベクトルの移動量が予め定めた閾値よりも移動量が大きい場合は、選手の背面から撮影した映像であることが推定される。すなわち、選手の向きが背面であると推定される。

このような移動ベクトルを用いて、選手の向きの推定を行う。

上述の例は、選手の向きが正面と背面との場合を説明したが、選手の向きが左向き、又は右向きの場合も同様の手法により推定することができる。例えば、選手の向きが左向きの場合は、選手以外の観客は、時間的な移動ベクトルが右方向に大きくなる。一方、選手の向きが右向きの場合は、選手以外の観客は、時間的な移動ベクトルが左方向に大きくなる。このようにして、選手の左右の向きを推定することができる。

また、上述の選手（特定人物）の向きの推定方法は一例であり、映像の種類によって適切な方法を選択する。例えば、バレーボールやサッカーなどのフィールド競技の映像では、上述したマラソンや駅伝等のスポーツとは逆に、選手は移動する一方、観客等のその場に留まる（例えば、観客席に座っている）映像が多い。このような競技では、移動量の大きい移動ベクトルの方向を用いることで、選手の向きを推定することができる。

また、移動ベクトルを用いず、識別した人物の映像上の配置から選手の向きを推定するようにしても良い。例えば、バレーボール等において、ネットが映る正面側から撮影した映像では、ネット越しに、前衛（ネットに近い側）として３人の選手（左からフロントレフト(FL)、フロントセンター(FC)、フロントライト(FR)）が立ち、後衛（ネットから遠い側）として３人の選手（左からバックレフト(BL)、バックセンター(BC)、バックライト(BR)）が立つ、特徴的な人物の配置パターンが検出される。このような場合は、選手の向きが正面であると推定することができる。一方、ネットを背面にした映像では、ネットを背面にし、前衛（ネットに近い側）として３人の選手（左からフロントレフト(FL)、フロントセンター(FC)、フロントライト(FR)）が立ち、後衛（ネットから遠い側）として３人の選手（左からバックレフト(BL)、バックセンター(BC)、バックライト(BR)）が立つ人物の配置パターンが検出される。このような場合は、選手の向きが背面であると推定することができる。

このように、選手（特定人物）の向きの推定方法は一例であり、映像の種類によって適切な方法を選択する。

制御部２２は、向き推定部２１の推定結果を受け、推定された選手の向きに対応する画像識別部２３ａ〜ｄのいずれかを選択し、選択した画像識別部２３ａ〜ｄに映像を出力する。

画像識別部２３ａ〜ｄは、選手の向き毎に、選手を識別するための学習が行われた画像識別部である。

第１の実施の形態では、画像識別部２３ａは、選手を正面から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で正面を向いている（選手の顔が見える向き）映像を教師データとして学習され、選手が映像上で正面を向いている（選手の顔が見える向き）映像から選手を識別するために用いられる画像識別部である。尚、教師データは、選手が映像上で真正面を向いている（選手の顔が見える向き）映像のみを教師データとするものではなく、選手が正面に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

また、画像識別部２３ｂは、選手を背面から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で後ろを向いている（選手の顔が見えない向き）映像を教師データとして学習され、選手が映像上で後ろを向いている（選手の顔が見えない向き）映像から選手を識別するために用いられる画像識別部である。尚、教師データは、選手が映像上で背面を向いている（選手の顔が見えない向き）映像のみを教師データとするものではなく、選手が背面に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

また、画像識別部２３ｃは、選手の左横側から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で左方向を向いている（選手の左顔が見える向き）映像を教師データとして学習され、選手が映像上で左方向を向いている（選手の左顔が見える向き）映像から選手を識別するために用いられる画像識別部である。尚、選手が映像上で左方向を向いている（選手の左顔が見える向き）映像のみを教師データとするものではなく、選手が左方向に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

また、画像識別部２３ｄは、選手の右横側から撮影した映像を用いて、選手を識別するための学習が行われた画像識別部である。別の言い方をすると、選手が映像上で右方向を向いている（選手の右顔が見える向き）映像を教師データとして学習され、選手が映像上で右方向を向いている（選手の右顔が見える向き）映像から選手を識別するために用いられる画像識別部である。尚、選手が映像上で右方向を向いている（選手の右顔が見える向き）映像のみを教師データとするものではなく、選手が右方向に近い左右方向を向いている（例えば、左右４５度）映像を教師データに加えても良い。

画像識別部２３ａ〜ｄの学習方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習などがある。

ここで、画像識別部２３ａ〜ｄが識別する識別対象は、例えば、映像中の選手（特定人物）及びその選手の属性である。選手の属性とは、選手個々の氏名や年齢のみならず、例えば、選手の属するチームや大学、役割（野球の場合には投手や野手等、サッカーの場合には、オフェンスやディフェンス）等である。尚、以下の説明では、便宜的に、識別対象をクラスと記載する場合がある。また、カテゴリーとは、選手及びその選手の属性を識別するために用いられる特徴量の種類である。代表的なカテゴリーとしては、例えば、選手の顔、選手が着ているユニフォーム、背番号、タスキ及びゼッケンに記載されている文字等である。

多数の人物が存在する映像から正しく選手及びその選手の属性を識別するためには、どのカテゴリーに着目して識別するかが重要である。例えば、映像中の選手の位置や選手の属するチームを識別するには、ユニフォームの色や模様、タスキ及びゼッケンに記載されている文字等が重要なカテゴリーとなる。一方、個々の選手（氏名等）まで特定したいのならば、各選手の顔のカテゴリーは重要である。更に、どのようなカテゴリーを用い、そのカテゴリーにどのような重みをかけるかは、競技毎に異なる。例えば、競技がマラソン、駅伝である場合、映像中に選手以外の観客等の人物が多数存在しており、選手が履いているシューズ等の特徴量に重点を置いて用いても、類似するシューズを履いている観客がおり、精度よく識別することはできない。一方、競技が野球やサッカー等の場合、映像中に存在する観客等の位置がほぼ決まっているので、観客等を識別前に識別対象から除くことは比較的容易であり、識別自体は主に選手が着ているユニフォームに着目すれば良い。

上記の理由から、画像識別部２３ａ〜ｄは、競技毎又は識別する選手毎に各カテゴリーに対して異なる重みのパラメータを記憶するように構成しても良い。

上述した画像識別装置２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサと、一時記憶としてのメモリと、不揮発性の記憶装置（ＥＥＰＲＯＭやハードディスク）とを含み構成される。記憶装置に記憶されたプログラムをメモリに読み出して実行することにより、ＣＰＵ等のプロセッサが、向き推定部２１、制御部２２及び画像識別部２３ａ〜ｄとして機能する。

次に、本発明の実施の形態における画像識別装置及びプログラムを含む映像制作システムの動作を説明する。尚、以下の説明では、競技が駅伝であり、識別する特定人物が選手であり、識別対象が選手の位置及びその選手が所属する大学名である例を説明する。

まず、カメラ１ａ〜１ｄは、観客及び選手を含む映像を撮影する。本例では、カメラ１ａは、選手の顔を正面から捉える撮影角度から選手を撮影するカメラである。カメラ１ｂは、選手を背面から捉える撮影角度から選手を撮影するカメラである。カメラ１ｃは、選手の顔を左側から捉える撮影角度から選手を撮影するカメラである。カメラ１ｄは、選手の顔を右側から捉える撮影角度から選手を撮影するカメラである。

これらのカメラ１ａ〜１ｄのうち、例えば、放送用にいずれかのひとつが選択されて使用される。ここでは、最初に、カメラ１ａの映像が使用されるものとする。従って、向き推定部２１に入力される映像は、カメラ１ａの映像である。

向き推定部２１は、カメラ１ａの映像を入力し、映像上の選手の向きを推定する。本例では、カメラ１ａの映像の時刻ｔの画像フレームの映像が図７に示すものとする。そして、カメラ１ａの映像の時刻ｔ＋１の画像フレームの映像が図８に示すものとする。すると、上述したように、特定の観客に着目して考えると、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は離れるため、その特定の観客は、映像上後方に移動することになる。このような映像では、選手の向きは正面であると推定される。推定された結果（選手の向きが正面）は、制御部２２に出力される。

制御部２２は、向き推定部２１の推定結果（選手の向きが正面）を受信し、選手及びその選手の属性を識別させる画像識別部を、画像識別部２３ａ〜ｄのいずれかから選択する。本例では、向き推定部２１の推定結果は選手の向きが正面であるので、選手の向きが正面用の画像識別部２３ａを選択する。そして、カメラ１ａの映像を、画像識別部２３ａに出力する。

画像識別部２３ａは、カメラ１ａの映像から、選手及びその選手の属性を識別する。まず、画像識別部２３ａは、フレームの画像中から人物を検出する。人物を検出する方法は限定するものではない。図７では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを検出している。尚、向き推定部２１により、映像における人物の識別は済んでいるので、これらの人物の識別は向き推定部２１の処理を引き継ぎ、人物の識別自体は行わなくても良いように構成することもできる。

次に、画像識別部２３ａは、検出した人物に関して、図１１に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、検出された人物が予め学習した識別対象（クラス）、すなわち特定の選手に属する尤度（信頼度）を算出する。画像識別部２３ａは、算出された尤度が予め定められた閾値より越え、最も尤度が高い人物をそのクラス（特定の選手）に属する人物と判定する。

図１２は、算出された識別対象（クラス）毎の尤度を、一例を示した図である。尚、図１２の例では、識別した選手の大学名以外にも精度を高めるために、白バイと観客のクラスを設けている。図１２の例では、人物Ａは観客である確からしさが最も高く、人物Ｂは大学Ｙの選手である確からしさが最も高く、人物Ｃは大学Ｘの選手である確からしさが最も高く、人物Ｄは大学Ｚの選手である確からしさが最も高い。ここで、閾値を０．７とすると、画像識別部２３ａは、人物Ａは観客のクラスに属し、人物Ｂは大学Ｙのクラスに属し、人物Ｃは大学Ｘのクラスに属し、人物Ｄは大学Ｚのクラスに属すると判定する。そして、人物Ｂの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｙとを出力する。同様に、人物Ｃの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｘとを出力する。同様に、人物Ｄの映像上の位置情報（例えば、注目領域を特定する座標情報）と大学名Ｚとを出力する。尚、人物Ａについては、選手ではないので、出力対象から除外するが、出力することを妨げるものではない。

本例では、選手の向きが正面の場合の識別に特化した画像識別部２３ａを用いて、選手の顔を正面から捉える撮影角度で選手を撮影した映像から、選手（クラス）を識別しているので、選手の向きを考慮しない画像認識に比較して、高精度に選手（特定人物）を識別することができる。

このようにして、映像から選手及び選手の属性を識別する。識別された選手の位置情報及びその選手の属性（上述した例では大学名）は、映像の加工に用いることができる。例えば、図１３に示されるように、識別された選手の大学名の画像をコンピュータグラフィックにより、各識別された選手の上に重畳するようにする。このような形態を取れば、映像制作は、映像を目視により確認して選手を識別する必要がなく、映像制作の自動化を図ることができる。

更に、駅伝では、区間ごとに走者が決まっているので、区間ごとにその区間を走る選手を識別するためのクラスに限定することもできる。更に、識別した選手の大学名が識別できれば、その区間を走る選手名も特定することもでき、その特定した選手名を、映像上の選手の上に表示することもできる。

続いて、時間が経過し、放送用の映像がカメラ１ｂの映像に切り替えられたものとする。この場合、向き推定部２１に入力される映像は、カメラ１ｂの映像である。

向き推定部２１は、カメラ１ｂの映像を入力し、映像上の選手の向きを推定する。本例では、カメラ１ｂの映像の時刻ｔの画像フレームの映像が図９に示すものとする。そして、カメラ１ｂの映像の時刻ｔ＋１の画像フレームの映像が図１０に示すものとする。すると、上述したように、特定の観客に着目して考えると、選手とカメラとの位置は時刻が進んでも維持されるが、その特定の観客とカメラとの距離は近づくため、その特定の観客は、映像上前方に移動することになる。このような映像では、選手の向きは後ろを向いている（背面）であると推定される。推定された結果（選手の向きが背面）は、制御部２２に出力される。

制御部２２は、向き推定部２１の推定結果（選手の向きが背面）を受信し、選手及びその選手の属性を識別させる画像識別部を、画像識別部２３ａ〜ｄのいずれかから選択する。本例では、向き推定部２１の推定結果は選手の向きが背面であるので、選手の向きが背面用の画像識別部２３ｂを選択する。そして、カメラ１ｂの映像を、画像識別部２３ｂに出力する。

画像識別部２３ｂは、カメラ１ｂの映像から、選手及びその選手の属性を識別する。まず、画像識別部２３ｂは、フレームの画像中から人物を検出する。人物を検出する方法は限定するものではない。図９は、時刻ｔにおける画像フレームの画像内に存在する人物を検出した場合の概念図である。図９では、四角で囲んだものが人物であると検出されたものであり、選手、観客にかかわらず、人物であると識別できるものを検出している。

画像識別部２３ｂは、上述したと同様に、検出した人物に関して、図１１に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。そして、検出された人物が予め学習した識別対象（クラス）に属する尤度（信頼度）を算出する。画像識別部２３ｂは、算出された尤度が予め定められた閾値より越え、最も尤度が高い人物をそのクラスに属する人物と判定する。

本例では、選手の向きが背面の場合の識別に特化した画像識別部２３ｂを用いて、選手を背面から捉える撮影角度で選手を撮影した映像から、選手（クラス）を識別しているので、選手の向きを考慮しない画像認識に比較して、高精度に選手（特定人物）を識別することができる。

尚、向き推定部２１の向きの判定によっては、選手（特定人物）の向きが確定することができない場合がある。例えば、選手が真正面を向いておらず、多少左方向を向いている場合等である。この場合、向き推定部２１は、選手の向きが正面であるとの判定結果と、選手の向きが左方向であるとの判定結果が出力される可能性がある。このような場合、制御部２２は、正面用の画像識別部２３ａと左方向の画像識別部２３ｃとの双方を選択し、画像識別部２３ａと画像識別部２３ｃとに画像識別を行わせるようにしても良い。

更に、向き推定部２１が選手（特定人物）の向きの確からしさ（例えば、正面の向きの確からしさ＝０．７、左向きの確からしさ＝０．３等）に基づいて、確からしさが高い向き用の画像識別部を選択するようにしても良い。

第１の実施の形態では、入力される映像から映像中の選手（特定人物）の向きを推定し、各選手（特定人物）の向きの識別に特化した画像認識部により、その映像から選手（特定人物）を識別しているので、選手（特定人物）の向きを考慮しない画像認識に比較して、高精度に選手（特定人物）を識別することができる。

＜第１の実施の形態の変形例１＞
次に、上述した第１の実施の形態の変形例１を説明する。

上述した第１の実施の形態では、向き推定部２１が選手の向きを推定する際に、認識された人物の移動ベクトルとの相違から、選手の向きを推定している。

そこで、第１の実施の形態の変形例１では、認識された人物の移動ベクトルを用いて、観客（人物）と選手（特定人物）とを区別する。

具体的には、向き推定部２１は、移動ベクトルの移動量と、各フレーム単位で算出された人物とを関連付けて記憶していく。そして、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報を、制御部２２に出力する。

制御部２２では、向き推定部２１の向きの推定結果を受信し、選手及びその選手の属性を識別させる画像識別部を、画像識別部２３ａ〜ｄのいずれかから選択する。そして、選択した画像識別部２３ａ〜ｄに、映像とともに、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報を出力する。

画像識別部２３ａ〜ｄは、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報に基づいて、移動ベクトルの移動量が予め定めた値以上である人物を観客とし、その人物を識別対象（特定人物）の候補から除外し、残った人物を識別対象（特定人物）として識別する。

このようにすれば、観客（人物）と選手（特定人物）とを精度よく識別可能であり、結果として、識別対象の選手（特定人物）を高精度で識別することができる。

＜第１の実施の形態の変形例２＞
次に、上述した第１の実施の形態の変形例２を説明する。

上述した第１の実施の形態では、各カメラ１ａ〜１ｄは、基本的に、選手とともに移動するカメラとして説明した。しかし、カメラの中には選手とともに移動せず、固定されたカメラもある（例えば、定点カメラ）。そこで、第１の実施の形態の変形例２では、カメラが選手とともに移動しない定点カメラの場合を説明する。

図２３は第１の実施の形態の変形例２における映像制作システムの構成例を示すブロック図である。第１の実施の形態の変形例２における映像制作システムは、カメラ１００と、向き推定部１０１と、制御部２２と、画像識別部２３ａ〜２３ｄとを備える。

第１の実施の形態の変形例２が第１の実施の形態と異なる点は、カメラ１００がある場所に設置されて撮影方向も固定された定点カメラであることと、向き推定部１０１による向き推定の方法が向き推定部２１と異なる点である。

ここで、カメラ１００は道がＵ字にカーブする道のＵ字の頂点に相当する位置に設置され、カメラ１００の撮影方向の中心はＵ字の頂点からＵ字の中心方向であり、カメラ１００の画角はＵ字の道の全体を撮影できるものとする。

すると、カメラ１００は、例えば、図２４のような映像を撮影することができる。具体的には、Ｕ字にカーブの左上方向の位置（地点Ａ）から選手が地点Ｂに移動し、Ｕ字にカーブの頂点である地点Ｃに到達する映像である。更に、地点Ｃから右上方向の地点Ｄに移動し、最後に右上方向の地点Ｅに到達する映像である。

このような映像の場合、定点カメラであるカメラ１００は選手と共に移動しないので、上述した第１の実施の形態とは逆の状況が起きる。すなわち、カメラ１００が撮影した映像では、選手は移動するが、観客はその場に留まるため、時刻が異なるフレーム間で選手の移動が検出でき、観客の移動は検出できない。更に、移動が検出できる人物において、その移動の方向（移動ベクトル）も異なる。

図２４を用いて具体的に説明すると、地点Ａでは観客の移動は検出できず、選手の画面下方向の移動ベクトルが検出できる。また、地点Ｂでは観客の移動は検出できず、選手の画面右下方向の移動ベクトルが検出できる。また、地点Ｃでは観客の移動は検出できず、選手の画面右方向の移動ベクトルが検出できる。また、地点Ｄでは観客の移動は検出できず、選手の画面右上方向の移動ベクトルが検出できる。また、地点Ｅでは観客の移動は検出できず、選手の画面上方向の移動ベクトルが検出できる。

このように、カメラ１００の映像の特殊性に鑑みて、向き推定部１０１はカメラ１００が撮影した映像の選手の向きを推定する。

具体的には、向き推定部１０１は、選手が地点Ａに存在している映像では、選手の画面下方向の移動ベクトルを検出することにより、選手の向きは正面であると推定する。

また、向き推定部１０１は、選手が地点Ｂに存在している映像では、選手の画面右下方向の移動ベクトルを検出し、そのベクトルの方向と所定の閾値とを比較する。そして、所定の閾値と比較して、ベクトルの方向が下方向に近いならば、選手の向きは正面であると推定する。一方、所定の閾値と比較して、ベクトルの方向が右方向に近いならば、選手の向きは右横方向であると推定する。

また、向き推定部１０１は、選手が地点Ｃに存在している映像では、選手の画面右方向の移動ベクトルを検出し、選手の向きは右方向（右向き）であると推定する。

また、向き推定部１０１は、選手が地点Ｄに存在している映像では、選手の画面右上方向の移動ベクトルを検出し、そのベクトルの方向と所定の閾値とを比較する。そして、所定の閾値と比較して、ベクトルの方向が上方向に近いならば、選手の向きは背面であると推定する。一方、所定の閾値と比較して、ベクトルの方向が右方向に近いならば、選手の向きは右横方向であると推定する。

また、向き推定部１０１は、選手が地点Ｅに存在している映像では、選手の画面上方向の移動ベクトルを検出し、選手の向きは背面であると推定する。

そして、制御部２２は、向き推定部２１の推定結果を受け、推定された選手の向きに対応する画像識別部２３ａ〜ｄのいずれかを選択し、選択した画像識別部２３ａ〜ｄに、カメラ１００の映像を出力する。

尚、向き推定部１０１の移動ベクトルの検出は、映像の所定フレーム分、例えば、５フレーム毎に検出を行う。

このようにすれば、設置位置及び撮影方向が固定されたカメラの映像であっても、精度よく人物の向きを推定することができる。

更に、本第１の実施の形態の変形例２の説明では、正面用の画像識別部２３ａと、背面用の画像識別部２３ｂと、左横側用の画像識別部２３ｃと、右横側用の画像識別部２３ｄとを用いたが、これらに加えて、正面と右横側との間の４５度方向を向いている人物の映像を教師データで学習した画像識別部と、背面と右横側との間の４５度方向を向いている人物の映像を教師データで学習した画像識別部とを用意し、選手が地点Ｂ、地点Ｄに存在している映像は、それらの画像識別部に識別させても良い。このようにすれば、更なる認識精度を得ることができる。

また、上述した第１の実施の形態の変形例１と同様に、認識された人物の移動ベクトルを用いて、観客（人物）と選手（特定人物）とを区別することも可能である。

上述したように、定点カメラで撮影された映像では、所定フレーム間の映像で、移動が検出できる人物が選手であり、移動を検出できない人物が観客である。このような性質を利用し、画像識別部２３ａ〜ｄは、移動ベクトルの移動量と各フレーム単位で算出された人物とが関連付けられた情報に基づいて、移動ベクトルの移動量が予め定めた値以下である人物を観客とし、その人物を識別対象（特定人物）の候補から除外し、残った人物を識別対象（特定人物）として識別する。

このようにすれば、観客（人物）と選手（特定人物）とを精度よく識別可能であり、結果として、識別対象の選手（特定人物）を高精度で識別することができる。

＜第２の実施の形態＞
第２の実施の形態は、識別された識別対象の映像上の大きさによって、識別対象の位置関係を識別する画像識別装置及びプログラムを含む映像制作システムを説明する。

２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影する場合が多い。この場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。

第２の実施の形態では、このような性質を利用し、識別した識別対象の位置関係を識別する。

図１４は、第２の実施形態における画像識別装置２の構成例を示すブロック図である。第２の実施形態における画像識別装置２は、第１の実施の形態における画像識別装置２に加えて、位置関係識別部２４を備える。

位置関係識別部２４は、識別した識別対象の映像上の大きさから各識別対象の位置関係を識別する。上述した第１の実施の形態では、識別対象の識別のため、検出した人物に関して、図１１に示す如く、頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向にＬ×２Ｌの注目領域を設定した。

位置関係識別部２４は、識別した識別対象の映像上の大きさの指標として、この注目領域の大きさに着目する。

更に、位置関係識別部２４は、注目領域の大きさに加えて、向き推定部２１が推定した選手の向き（特定人物）も着目する。

例えば、図１５の例は、選手の向きが正面の場合の映像である。そして、本映像では、人物Ｄの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。従って、選手の順位は、人物Ｄ（大学Ｚの選手）、人物Ｂ（大学Ｙの選手）、人物Ｃ（大学Ｘの選手）の順であり、その順番で走行していることが識別できる。一方、図１６に示すように、選手の向きが背面の場合の映像である場合、図１５と同様な人物の位置状況であっても、注目領域が小さい程、選手の順位が高いことになり、選手の順位は、人物Ｃ（大学Ｘの選手）、人物Ｂ（大学Ｙの選手）、人物Ｄ（大学Ｚの選手）の順であり、その順番で走行していることが識別できる。

このように、識別された選手の映像上の大きさと、識別された選手の向きとを考慮することにより、撮影方向に関係なく、識別した選手の映像上の位置関係を識別することができる。

尚、上述した例では、識別した選手の注目領域に着目して位置関係を識別したが、これに限られない。例えば、選手自体の映像内での選手の大きさでも良い。また、他の方法として、各選手が共通して装着している装着具に着目する方法がある。例えば、ゼッケン等は、選手間で共通の大きさなので、好適である。

更に、本例の応用例として、位置関係を識別するに用いた大きさから、相対的な距離も求めることが可能である。競技の撮影に用いられカメラには撮影した映像とともに、画角などの撮影情報を取得することができる。従って、画角などに対応付けて位置関係を識別するに用いた大きさと距離との関係を、予め学習しておけば、選手（識別対象）間の距離も算出することが可能である。

更に、求められた選手間の距離を用いて、選手の位置関係の変化を予測することも可能である。例えば、選手間の距離が時間とともに小さくなる場合は、後方の選手が先行する選手を追い抜く可能性がある。このような場合、警告を発することにより、制作側に選手の位置関係の変化を知らせることができる。

＜第３の実施の形態＞
第３の実施の形態を説明する。

第３の実施の形態は、上述した第１の実施の形態における画像識別部２３ａ〜ｄを学習させるための教師データの分類システムである。

上述した向き推定部２１は、入力された映像から人物を認識し、認識された人物の映像上の位置を参照し、映像上の選手（特定人物）の向きを推定するものである。この向き推定部２１を用いることにより、画像識別部２３ａ〜ｄに学習させる映像の教師データを、選手の向き毎に分類することができる。

図１７は、第３の実施の形態における分類システムのブロック図である。

向き推定部２１は、上述した第１の実施の形態で説明した向き推定部２１と同様な動作を行う。本例では、上述した第１の実施の形態と同様に、映像から選手（特定人物）の向きとして、正面、背面、左向き及び右向きのいずれかを推定する。

格納部３０は、向き推定部２１の推定結果を受信し、正面、背面、左向き及び右向きのいずれかの教師データ格納フォルダ３１ａ〜３１ｄに、その映像を格納する。

このようにすることにより、画像識別部２３ａ〜ｄを学習させるための教師データを、自動的に分類することができる。

＜第４の実施の形態＞
第４の実施の形態を説明する。

図１８は第４の実施の形態のブロック図である。

第４の実施の形態は、第１及び第２の実施の形態に加えて、メタデータ生成部４０と、メタデータ格納部４１と、シーン検索部４２とを備える。

メタデータ生成部４０は、各画像識別部２３ａ〜ｄの識別結果（選手（特定人物）の属性、選手（特定人物）の映像上の位置等）、及び位置関係識別部２４の識別結果（選手（特定人物）の位置関係等）と、カメラ１ａ〜１ｄの映像とを関連付けたメタデータを生成する。

各画像識別部２３ａ〜ｄ及び位置関係識別部２４は、所定の時間間隔（例えば、１秒間隔）で、識別結果を出力している。そこで、メタデータ生成部４０は、所定の時間間隔で受け取った識別結果と、識別を行った映像を識別する映像識別情報、識別結果に対応する映像のタイムコードとを関連付けてメタデータ格納部４１に格納する。メタデータ格納部４１は、メタデータのみならず、そのメタデータに対応する各映像も格納するようにしても良い。

具体的に説明すると、各画像識別部２３ａ〜ｄは、図１２に示したような各選手（特定人物）に対する識別結果を出力している。更に、注目領域を設定する際に、認識した選手（特定人物）の首元（首中点）の座標及び顔の長さ（Ｌ）を算出しているので、これらの情報も出力可能である。また、位置関係識別部２４は、認識した各選手（特定人物）の位置関係が出力できる。そこで、メタデータ生成部４０は、識別した各選手（特定人物）が各大学に属する信頼度と、識別した各選手（特定人物）の首元（首中点）の座標及び顔の長さ（Ｌ）と、その選手の順位と、識別を行った映像の映像識別情報と、その映像のタイムコードとを関連付けてメタデータ格納部４１に格納する。尚、識別した各選手（特定人物）が各大学に属する信頼度と、識別した各選手（特定人物）の首元（首中点）の座標及び顔の長さ（Ｌ）と、その選手の順位と、その識別の対象となった映像の映像識別情報と、映像のタイムコードとを、以下、メタデータの各インデックスと記載する。

図１９はメタデータの一例を示す図である。図１９の例では、インデックスとして、識別した各選手（特定人物）が各大学に属する信頼度と、識別した各選手（特定人物）の首元（首中点）の座標及び顔の長さ（Ｌ）と、その選手の順位と、その識別の対象となった映像の映像識別情報と、そのタイムコードとがあり、識別した各選手（特定人物）が各大学に属する信頼度と、識別した各選手（特定人物）の首元（首中点）の座標及び顔の長さ（Ｌ）と、その選手の順位と、識別を行った映像の映像識別情報と、その映像のタイムコードとが関連付けられ、メタデータが構成されている例である。例えば、人物Ｂでは、各大学に属する信頼度（大学Ｘ＝０．２、大学Ｙ＝０．９、大学Ｚ＝０．１、・・・）と、首元の座標（＝（７８１，４５０））と、顔の長さ（Ｌ）（＝５）と、順位（＝２）と、映像識別情報（カメラ１）と、タイムコード（＝０２：１０：０１）とが関連付けられ、メタデータが構成されている。尚、図１９の例では、識別された人物のうち、選手以外の観客等は除外している。

シーン検索部４２は、所定の検索条件に該当するシーンを、メタデータ格納部４１に格納されているメタデータを用いて検索する。検索条件は、メタデータの各インデックスから検索することができる条件であれば良い。

例えば、検索条件として、「大学Ｘ、大学Ｙの選手が映っているシーン」がシーン検索部４２に設定された場合、シーン検索部４２はメタデータ格納部４１に格納されているメタデータのインデックスのうち、映像識別情報が同一であり、「大学Ｘ」及び「大学Ｙ」の信頼度が所定の閾値（例えば、０，７）よりも大きい条件に該当するタイムコードを検索する。そして、該当する映像識別情報のタイムコードに対応する映像のシーンを抽出する。図１９の例において、「大学Ｘ、大学Ｙの選手が映っているシーン」の条件に該当するシーンは、図２０に示すように、「カメラ１の映像」のタイムコード「０２：１０：０１」のシーンである。そこで、「カメラ１の映像」のタイムコード「０２：１０：０１」のシーンを、「カメラ１の映像」から抽出し、そのシーンを表示する。尚、図２０の例は、「大学Ｘ、大学Ｙの選手が映っているシーン」を条件としているので、大学Ｘ及び大学Ｙの選手が映っていれば、他の大学の選手も映っても良い例を示している。しかし、検索条件を「大学Ｘ、大学Ｙの選手のみが映っているシーン」とすれば、大学Ｘ及び大学Ｙの選手のみが映っているシーンを検索することも可能である。

また、検索条件として、「大学Ｚの選手が大学Ｙの選手を追い抜くシーン」等の条件も設定することが可能である。この場合、上述のインデックに加えて、順位のインデックスを参照し、大学Ｚの信頼度が高い人物の順位と大学Ｙの信頼度が高い人物の順位とが入れ替わるタイムコードの前後のシーンを検索すれば良い。

第４の実施の形態は、識別結果を映像のメタデータ化することにより、特定の条件に該当する映像のシーンを検索することができる。

＜第５の実施の形態＞
第５の実施の形態を説明する。

第５の実施の形態は、第２の実施の形態における識別対象の位置関係を識別する画像識別装置と、距離計システムと、マラソン速報オンラインシステムとを利用した制作支援システムについて説明する。

まず、距離計システムとマラソン速報オンラインシステムとを説明する。

カメラが積載された中継車には、距離計が設けられている。この距離計は、中継車に設けられているセンサにより計測された走行距離と、GPSを用いた測位システムから得られる中継車の位置とを用いて、中継車のマラソンのコース上の距離を得ることが出来る。

一方、マラソン速報オンラインシステムは、マラソンのコース上の所定のポイントに人員を配置し、その人員がそのポイントを通過する選手(大学名)を確認し、集計システムに報告する。集計システムでは、各ポイントから報告される選手(大学名)の通過状況を集計し、各選手(大学名)が存在するおよその位置と順位とを推定する。このようなマラソン速報オンラインシステムは、従来から利用されていいたものである。

図２１は、第５の実施の形態のブロック図である。

図２１中、５１はカメラ１ａを積載した１号中継車であり、５２はカメラ１ｂを積載した２号中継車であり、５３はカメラ１ｃを積載した３号中継車であり、５４はカメラ１ｄを積載した４号中継車であり、５５は画像識別装置、５６はマラソン速報オンラインシステムであり、５７は位置関係特定部であり、５８はディスプレイである。

中継車５１から中継車５４には、上述した距離計が設けられている。この距離計は、中継車に設けられているセンサにより計測された走行距離と、GPSを用いた測位システムから得られる中継車の位置とを用いて、中継車のマラソンのコース上の距離を算出し、位置関係特定部５７に出力する。また、中継車５１から中継車５４に積載されたカメラ１ａからカメラ１ｄの撮影映像は、画像識別装置５５に出力される。

画像識別装置５５は、第２の実施の形態において説明した画像識別装置である。映像の識別結果及び位置関係は、位置関係特定部５７に出力される。

マラソン速報オンラインシステム５６は、マラソンのコース上の所定のポイントに配置された人員から報告される選手(大学名)の通過状況を集計システムが集計し、その結果を位置関係特定部５７に出力する。

次に、第５の実施の形態の動作を、具体例を用いて説明する。

まず、本動作例では、ＡＡ大学からＪＪ大学までの合計１２校の選手が走行する駅伝を想定する。そして、現在、ＡＡ大学からＪＪ大学の選手は、区間が２０ｋｍの６区を走行しており、各中継車５１から中継車５４は、６区を走行しているものとする。

中継車５１（１号車）は、距離計より、６区の１９．５ｋｍを走行している。そして、中継車５１（１号車）に積載されているカメラ１ａは、先頭を走行する選手を撮影している。中継車５２（２号車）は、距離計より、６区の１９．２ｋｍを走行している。そして、中継車５２（２号車）に積載されているカメラ１ｂは、走行する選手を撮影している。中継車５３（３号車）は、距離計より、６区の１８．６ｋｍを走行している。そして、中継車５３（３号車）に積載されているカメラ１ｃは、走行する選手を撮影している。中継車５４（４号車）は、距離計より、６区の１７．８ｋｍを走行している。そして、中継車５４（４号車）に積載されているカメラ１ｄは、走行する選手を撮影している。、距離計より得られた各中継車５１から５４が位置する距離は、位置関係特定部５７に出力される。また、各中継車５１から５４のカメラ１ａからカメラ１ｄにより撮影された映像は、画像識別装置５５に出力される。

画像識別装置５５は、カメラ１ａで撮影された映像から、選手とその選手の映像上の位置関係を識別する。ここで識別された選手は、ＡＡ大学の選手のみであるとする。この識別結果は、位置関係特定部５７に出力される。

画像識別装置５５は、カメラ１ｂで撮影された映像から、選手とその選手の映像上の位置関係を識別する。ここで識別された選手はＥＥ大学の選手及びＣＣ大学の選手であり、その位置関係は、ＥＥ大学の選手が先頭であり、次順位がＣＣ大学の選手であるものとする。この識別結果は、位置関係特定部５７に出力される。

画像識別装置５５は、カメラ１ｃで撮影された映像から、選手とその選手の映像上の位置関係を識別する。ここで識別された選手は、ＢＢ大学の選手、ＩＩ大学の選手及びＧＧ大学の選手であり、その位置関係は、ＢＢ大学の選手（先頭）、ＩＩ大学の選手、ＧＧ大学の選手の順であるものとする。この識別結果は、位置関係特定部５７に出力される。

画像識別装置５５は、カメラ１ｄで撮影された映像から、選手とその選手の映像上の位置関係を識別する。ここで識別された選手は、ＦＦ大学の選手のみであるとする。この識別結果は、位置関係特定部５７に出力される。

マラソン速報オンラインシステム５６では、各ポイントから以下の報告を受けているものとする。尚、選手の記載順序は、各ポイントの通過順序を示している。
（１）１９．５ｋｍ地点
ＡＡ大学の選手の通過
（２）１９．０ｋｍ地点
ＡＡ大学の選手、ＥＥ大学の選手、ＣＣ大学の選手の通過
（３）１８．５ｋｍ地点
ＡＡ大学の選手、ＥＥ大学の選手、ＣＣ大学の選手、ＫＫ大学の選手、ＢＢ大学の選手、ＩＩ大学の選手、ＧＧ大学の選手の通過
（４）１８．０ｋｍ地点
ＡＡ大学の選手、ＥＥ大学の選手、ＣＣ大学の選手、ＫＫ大学の選手、ＢＢ大学の選手、ＩＩ大学の選手、ＧＧ大学の選手、ＤＤ大学の選手、ＬＬ大学の選手、ＨＨ大学の選手の通過
（５）１７．５ｋｍ地点
ＡＡ大学の選手、ＥＥ大学の選手、ＣＣ大学の選手、ＫＫ大学の選手、ＢＢ大学の選手、ＩＩ大学の選手、ＧＧ大学の選手、ＤＤ大学の選手、ＬＬ大学の選手、ＨＨ大学の選手、ＦＦ大学の選手、ＪＪ大学の選手の通過
位置関係特定部５７は、各中継車５１から５４が位置する距離と、画像識別装置５５が識別した大学の選手及び位置関係（順位）と、マラソン速報オンラインシステム５６からの集計結果とを受け、ディスプレイ５８に表示する選手走行位置画面を生成する。

位置関係特定部５７は、まず、各中継車５１から５４の距離計より、各中継車が以下の位置を走行していることを判別する。
（１）中継車５１（１号車） ６区の１９．５ｋｍを走行
（２）中継車５２（２号車） ６区の１９．２ｋｍを走行
（３）中継車５３（３号車） ６区の１８．６ｋｍを走行
（４）中継車５４（４号車） ６区の１７．８ｋｍを走行
以上から、各中継車の位置関係が判別できる。
（１）先頭の中継車が中継車５１（１号車）であること
（２）中継車５２（２号車）は２番目を走行しており、中継車５１（１号車）と中継車５２（２号車）との距離が３０ｍであること
（３）中継車５３（３号車）は３番目を走行しており、中継車５２（２号車）と中継車５３（３号車）との距離が６００ｍであること
（４）中継車５４（４号車）は４番目を走行しており、中継車５３（３号車）と中継車５４（４号車）との距離が８００ｍであること
更に、カメラ１ａから１ｄの映像から、画像識別装置５５が識別した結果は、以下の通りのものであるとする。
（１）カメラ１ａの映像からの識別結果
ＡＡ大学の選手
（２）カメラ１ｂの映像からの識別結果
ＥＥ大学の選手、ＣＣ大学の選手（順位は記載順）
（３）カメラ１ｃの映像からの識別結果
ＢＢ大学の選手、ＩＩ大学の選手、ＧＧ大学の選手（順位は記載順）
（４）カメラ１ｄの映像からの識別結果
ＦＦ大学の選手
以上の結果より、図２２で示される選手走行位置画面のうち、距離計システム及び画像識別装置の結果を生成することができる。

図２２の選手走行位置画面のうち距離計システムの部分では、中継車５１（１号車）、中継車５２（２号車）、中継車５３（３号車）及び中継車５４（４号車）の区間内での距離と、各中継車間の距離と、トップ（中継車５１（１号車））との差とを表示している。

また、図２２の選手走行位置画面のうち画像識別装置５５が識別した各カメラの映像の識別結果が表示されている。尚、画像識別装置の結果の画面の選手の大学名は、上から順位順に表示している。

続いて、マラソン速報オンラインシステムの部分の画面であるが、画像識別装置５５により検出できなかった大学の選手を、位置関係特定部５７は選別する。ここでは、画像識別装置５５により検出できなかった大学の選手は、ＫＫ大学の選手、ＤＤ大学の選手、ＬＬ大学の選手、ＨＨ大学の選手、ＪＪ大学の選手である。これらの選手の位置は、マラソン速報オンラインシステムの集計結果より、以下のように推定できる。
（１）ＫＫ大学の選手
１９．０ｋｍ地点と１８．５ｋｍ地点との間を走行中
（２）ＤＤ大学の選手
１８．５ｋｍ地点と１８．０ｋｍ地点との間を走行中
（３）ＬＬ大学の選手
１８．５ｋｍ地点と１８．０ｋｍ地点との間を走行中
（４）ＨＨ大学の選手、
１８．５ｋｍ地点と１８．０ｋｍ地点との間を走行中
（５）ＪＪ大学の選手
１８．０ｋｍ地点と１７．５ｋｍ地点との間を走行中
以上の結果より、以下のことがわかる。
（１）中継車５１（１号車）と中継車５２（２号車）との間に位置する選手
なし
（２）中継車５２（２号車）と中継車５３（３号車）との間に位置する選手
ＫＫ大学の選手
（３）中継車５３（３号車）と中継車５４（４号車）との間に位置する選手
ＤＤ大学の選手、ＬＬ大学の選手、ＨＨ大学の選手
（４）中継車５４（４号車）より後ろに位置する選手
ＪＪ大学の選手
以上より、図２２の選手走行位置画面のうちマラソン速報オンラインシステムの部分の画面を作成することができる。尚、マラソン速報オンラインシステムの画面の選手の大学名は、上から順位順に表示している。

尚、図２２の例では、マラソン速報オンラインシステムの部分を、中継車の存在する位置にあわせて表示するようにした。しかし、図２５のように、マラソン速報オンラインシステムで得られる全大学の順位を表示するようにしても良い。

更に、ディスプレイ５８に表示する選手走行位置画面を、Ｗｅｂ上に公開し、関係者が見られるようにしても良い。この際、チャット機能を設け、各関係者がコミュニケーションを取れるようにしても良い。図２５の例では、選手走行位置画面の下にチャット画面を設け、各関係者の発言を表示できるようにしている。例えば、映像を選択するＸＸＸがＤＤＤ大学の選手の映像がほしい場合、４号車に対して移動を伝える。４号車では、選手走行位置画面見て、ＦＦ大学の選手の後ろに位置するＤＤ大学の選手の位置まで移動することができ、その移動の了解を伝えることができる。

第５の実施の形態によれば、各中継車の距離情報と、画像識別装置の識別結果及び位置関係と、マラソン速報オンラインシステムの集計結果とを連携することにより、中継車や参加選手の位置関係を視覚的に把握することができ、マラソン等を中継する製作者にとって有益な情報を提供することができる。

以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ａ〜１ｄ カメラ
２ 画像識別装置
２１ 向き推定部
２２ 制御部
２３ａ〜２３ｄ 画像識別部
２４ 位置関係識別部
３０ 格納部
３１ａ〜３１ｄ 教師データ格納フォルダ
４０ メタデータ生成部
４１ メタデータ格納部
４２ シーン検索部
５１〜５４ 中継車
５５ 画像識別装置
５６ マラソン速報オンラインシステム
５７ 位置関係特定部
５８ ディスプレイ
１００ カメラ
１０１ 向き推定部

Claims (14)

1. 映像から特定の特定人物を識別する画像識別装置であって、
   映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、
   前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、
   前記向き推定部により推定された前記特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させる制御部と
   を有する画像識別装置。
2. 前記向き推定部は、認識された人物の前記映像上の位置の時間的変化を参照し、前記映像上の前記特定人物の向きを推定する
   請求項１に記載の画像識別装置。
3. 前記向き推定部は、前記映像を撮影するカメラの移動可否に応じて、認識された人物の前記映像上の位置の時間的変化を参照し、前記映像上の前記特定人物の向きを推定する
   請求項２に記載の画像識別装置。
4. 前記特定人物識別部は、前記向き推定部による、認識された人物の前記映像上の位置を参照し、認識された人物を、前記特定人物と、前記特定人物以外の人物とを区別する
   請求項１から請求項３のいずれかに記載の画像識別装置。
5. 前記特定人物識別部は、前記向き推定部により推定された前記特定人物の向きを参照し、前記特定人物の位置関係を特定する
   請求項１から請求項４のいずれかに記載の画像識別装置。
6. 前記向き推定部は、前記特定人物の向きとして、正面、背面、左右のいずれかを推定する
   請求項１から請求項５のいずれかに記載の画像識別装置。
7. 前記特定人物識別部の識別結果と、前記識別結果の識別を行った映像の時刻情報とを、関連付け、前記映像のメタデータを生成するメタデータ生成部を有する
   請求項１から請求項６のいずれかに記載の画像識別装置。
8. 前記メタデータを参照し、所定の検索条件に合致する映像のシーンを検索するシーン検索部を有する
   請求項１から請求項７のいずれかに記載の画像識別装置。
9. 映像から特定の特定人物を識別する画像識別装置の教師データを分類する分類システムであって、
   映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、
   前記向き推定部により推定された前記特定人物の向きに対応する格納部に、前記特定人物の向きを推定した映像を格納する格納部と
   を有する分類システム。
10. カメラが積載された中継車と、カメラの映像から特定の特定人物を識別する画像識別装置と、特定人物の所定ポイントを通過したことを報告する報告システムとを備えた制作支援システムであって、
    前記中継車は、
    中継車のコース上の位置情報を取得する位置情報取得部を有し、
    前記画像識別装置は、
    前記中継車に積載されたカメラの映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、前記向き推定部により推定された前記特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させる制御部とを有し、前記特定人物識別部は、前記向き推定部により推定された前記特定人物の向きを参照し、前記特定人物の位置関係を特定し、
    前記報告システムは、前記報告の結果を集計する集計部を有し、
    前記制作支援システムは、前記中継車の位置情報と、前記画像識別装置が中継車に積載されたカメラの映像から識別した前記特定人物の位置関係と、前記報告システムの集計結果とを用いて、前記中継車及び前記特定人物の位置関係を視覚的に表現した画面を生成する画面生成部を
    有する制作支援システム。
11. 映像から特定の特定人物を識別する画像識別方法であって、
    映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定し、
    前記推定された前記特定人物の向きに対応する特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させ、
    前記特定人物識別部は、前記特定人物の向き毎に、前記特定人物を識別するための学習が行われたものである
    画像識別方法。
12. 映像から特定の特定人物を識別する画像識別装置の教師データを分類する分類方法であって、
    映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定し、
    前記推定された前記特定人物の向きに対応する格納部に、前記特定人物の向きを推定した映像を格納する
    分類方法。
13. 映像から特定の特定人物を識別する情報処理装置のプログラムであって、
    映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、
    前記特定人物の向き毎に、前記特定人物を識別するための学習が行われた複数の特定人物識別部と、
    前記向き推定部により推定された前記特定人物の向きに対応する前記特定人物識別部を選択し、選択した特定人物識別部により、前記映像から前記特定人物を識別させる制御部
    として情報処理装置を機能させるプログラム。
14. 映像から特定の特定人物を識別する画像識別装置の教師データを分類する情報処理装置のプログラムであって、
    映像から人物を認識し、認識された人物の前記映像上の位置を参照し、前記映像上の前記特定人物の向きを推定する向き推定部と、
    前記向き推定部により推定された前記特定人物の向きに対応する格納部に、前記特定人物の向きを推定した映像を格納する格納部
    として情報処理装置を機能させるプログラム。