JP4555690B2

JP4555690B2 - 軌跡付加映像生成装置及び軌跡付加映像生成プログラム

Info

Publication number: JP4555690B2
Application number: JP2005003721A
Authority: JP
Inventors: 正樹高橋; 俊彦三須; 眞蓼沼
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-01-11
Filing date: 2005-01-11
Publication date: 2010-10-06
Anticipated expiration: 2025-01-11
Also published as: JP2006195525A

Description

本発明は、映像制作の技術に係り、特に、オブジェクトの軌跡を示した映像を生成する軌跡付加映像生成装置及び軌跡付加映像生成プログラムに関する。

従来、時系列に撮影される、映像を構成する画像［ノンインタレース方式の場合はフレーム画像、インタレース方式の場合はフレーム画像あるいはフィールド画像（以下、単にフレーム画像という）］間の差分をとる方法によって、移動する物体の画像である映像オブジェクトを抽出し、その映像オブジェクトを重ね書きすることで、映像オブジェクトの軌跡を映像上に表現する装置が存在する。しかし、この技術では、例えば、野球中継等の映像において、抽出対象となる映像オブジェクトであるボールの軌跡を映像上に表現する場合に、ピッチャの腕やバットなどのボール以外の映像オブジェクトまでが抽出されてしまう。

そこで、特定の映像オブジェクトのみを安定して抽出する方法が開発されている（非特許文献１参照）。この方法では、時系列に入力されるフレーム画像ごとに、その直前に入力されたフレーム画像との差分画像と、直後に入力されたフレーム画像との差分画像とを求める。そして、この２つの差分画像で画素値の正負が異符号になる領域を映像オブジェクトの候補とする。更に、フレーム画像内において、誤検出されやすい映像オブジェクトが存在する領域を予めマスク領域として設定しておき、抽出された映像オブジェクトの候補から当該マスク領域内の映像オブジェクトを除外した後に、対象となる映像オブジェクトを選択して軌跡を表示する。

そのため、この方法では、野球のボールのような高速で移動する映像オブジェクトの軌跡を表示する場合に、低速で移動する映像オブジェクトを除去して対象となる映像オブジェクトを抽出できるとともに、誤検出されやすい映像オブジェクトが存在するマスク領域を除いて映像オブジェクトを抽出することができるため、安定して対象となる映像オブジェクトを追跡することができる。
高橋正樹、外３名、「野球の投球軌跡表示手法」、映像情報メディア学会技術報告、２００４年１０月２１日、ＶＯＬ．２８、ＮＯ．６１、ｐ．２５〜２８

しかし、非特許文献１の方法では、抽出された映像オブジェクトをフレーム画像に合成して、この映像オブジェクトの軌跡のみを表示するものであった。例えば、この方法を野球中継に適用した例では、投球後に球筋を振り返る軌跡映像において、各々のフレーム画像からボールが抽出された位置に、ボールの画像や、白い円の画像を合成することで、このボールの軌跡が表示される。しかし、このような軌跡映像からは、視聴者はそのボールの球威を判断することはできなかった。

一方で、従来の野球中継では、ボールのスピードをスピードガンにて計測して、結果を文字スーパで表示していた。しかし、野球に精通している視聴者であれば、表示された数字からボールのスピードを理解することができるが、そうでない視聴者には理解できない可能性があるとともに、スピードガンはある一点での速度しか計測できず、投球中に変化する速度を計測することは不可能であるという問題があった。

更に、従来の野球中継の投球の軌跡映像において、例えば、落差が大きい変化球の軌跡を表示した場合においても、その動きの特徴や他の投球との違いが示されなければ、どの程度の落差の変化球なのかが伝わりにくい。これによって、軌跡映像によって軌跡が示されても、球種やその投球の特徴は、視聴者には伝わりにくいという問題があった。そのため、視聴者に対してボールの球威や球種などを分かりやすく表示することが望まれていた。

また、ある投球と他の投球との違いを示すために、この投球の軌跡映像において他の投球の軌跡も同時に表示する場合において、投球の合間のカメラ操作によってカメラアングルが変化すると、２つの軌跡がフレーム画像内の異なるところに表示されてしまうという問題があった。

本発明は、前記従来技術の問題を解決するために成されたもので、映像オブジェクトの軌跡を表示する際に、映像オブジェクトの移動速度や、動きの特徴を分かりやすく表示できる軌跡付加映像生成装置及び軌跡付加映像生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の軌跡付加映像生成装置は、所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、映像オブジェクト検出装置と、映像遅延手段と、映像オブジェクト軌跡付加手段と、を備え、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段と、オブジェクト選定手段と、を備え、前記映像オブジェクト軌跡付加手段は、映像オブジェクト位置情報記憶手段と、軌跡画像情報記憶手段と、軌跡画像形態設定手段と、画像合成手段とを備える構成とした。

かかる構成によれば、軌跡付加映像生成装置は、映像オブジェクト検出装置によって、時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する。そして、軌跡付加映像生成装置は、映像遅延手段によって、前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する。そして、軌跡付加映像生成装置は、映像オブジェクト軌跡付加手段によって、前記映像オブジェクト検出装置から、前記映像オブジェクトの位置を示す位置情報を入力し、時系列に入力される複数の前記フレーム画像に連続して含まれる前記映像オブジェクトの軌跡を示す軌跡画像を、当該フレーム画像に付加する。そして、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段によって、前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成し、オブジェクト選定手段によって、前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出する。そして、映像オブジェクト軌跡付加装置は、映像オブジェクト位置情報記憶手段に、フレーム画像ごとの映像オブジェクトの位置を検出する映像オブジェクト検出装置から入力される映像オブジェクトの位置情報を記憶する。そして、映像オブジェクト軌跡付加装置は、軌跡画像情報記憶手段に、前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する。そして、映像オブジェクト軌跡付加装置は、軌跡画像形態設定手段によって、前記映像オブジェクト位置情報記憶手段から前記映像オブジェクトの位置情報を読み出し、当該位置情報によって示される位置に基づいて、前記複数のフレーム画像の映像オブジェクトの位置の変化量を解析する。ここで、この映像オブジェクトは、外部から時系列に入力される複数のフレーム画像に連続して含まれ、この各々のフレーム画像に対応する当該映像オブジェクトの位置が、映像オブジェクト検出装置から位置情報として入力されて映像オブジェクト位置情報記憶手段に記憶されている。そのため、映像オブジェクト軌跡付加装置は、フレーム画像ごとに、このフレーム画像の映像オブジェクトの位置と、このフレーム画像より前に入力されたフレーム画像の当該映像オブジェクトの位置との変化量を解析する。

そして、映像オブジェクト軌跡付加装置は、軌跡画像形態設定手段によって、この変化量に基づいて軌跡画像の色あるいは形を設定し、画像合成手段によって、この軌跡画像形態設定手段によって設定された軌跡画像を、連続して当該映像オブジェクトが含まれる複数のフレーム画像のうちのひとつのフレーム画像の、当該映像オブジェクトの位置情報によって示される位置に合成する。ここで、この位置の変化量は、この映像オブジェクトの所定時間ごとの移動量や、移動する方向を示している。そのため、映像オブジェクト軌跡付加装置は、この変化量に基づいて軌跡画像の色あるいは形を設定して、ひとつのフレーム画像の、各々の軌跡画像に対応する映像オブジェクトが検出された位置に合成することで、当該映像オブジェクトの軌跡を示し、かつ、軌跡画像の各々に対応する映像オブジェクトが撮影された時点における、映像オブジェクトの速度や移動する方向を示すフレーム画像を生成することができる。軌跡画像形態設定手段は、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記軌跡画像の色、形、大きさ、方向を設定する。

なお、入力される映像信号がインタレース方式で撮影されたものである場合は、映像オブジェクト軌跡付加装置は、各フレーム画像についての操作をフィールド画像について行うこととしてもよい。また、映像オブジェクト軌跡付加装置は、軌跡画像形態設定手段によって、映像オブジェクトの位置の変化量から所定の方法で算出することで軌跡画像の色や大きさ等を設定することとしてもよいし、映像オブジェクトの位置の変化量に基づいて予め記憶手段に記憶された画像、テクスチャや形状等を選択して軌跡画像の色や形を設定することとしてもよい。

また、請求項２に記載の軌跡付加映像生成装置は、所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、映像オブジェクト検出装置と、映像遅延手段と、映像オブジェクト軌跡付加手段と、を備え、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段と、オブジェクト選定手段と、を備え、前記映像オブジェクト軌跡付加手段は、映像オブジェクト位置情報記憶手段と、軌跡画像情報記憶手段と、軌跡画像位置設定手段と、軌跡画像形態設定手段と、画像合成手段とを備える構成とした。

かかる構成によれば、軌跡付加映像生成装置は、映像オブジェクト検出装置によって、時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する。そして、軌跡付加映像生成装置は、映像遅延手段によって、前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する。そして、軌跡付加映像生成装置は、映像オブジェクト軌跡付加手段によって、前記映像オブジェクト検出装置から、前記映像オブジェクトの位置を示す位置情報を入力し、時系列に入力される複数の前記フレーム画像に連続して含まれる前記映像オブジェクトの軌跡である過去軌跡を示す軌跡画像である過去軌跡画像と、当該フレーム画像が撮影された位置から撮影された他の複数のフレーム画像に連続して含まれる前記映像オブジェクトの軌跡を示す他フレーム軌跡画像とを、当該他の複数のフレーム画像のうちのひとつのフレーム画像に付加する。そして、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段によって、前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成し、オブジェクト選定手段によって、前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出する。そして、前記映像オブジェクト軌跡付加手段は、映像オブジェクト位置情報記憶手段に、映像オブジェクト検出装置から入力される映像オブジェクトの位置情報を、当該映像オブジェクトの軌跡を特定する軌跡情報と対応させて記憶し、軌跡画像情報記憶手段に、前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する。そして、軌跡画像位置設定手段によって、前記映像オブジェクト位置情報記憶手段から、過去軌跡を示す軌跡情報に対応する位置情報である過去軌跡位置情報を読み出して、この過去軌跡位置情報によって示される位置を過去軌跡位置とする。

そして、軌跡画像形態設定手段によって、過去軌跡位置に基づいて、当該映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記軌跡画像の色、形、大きさ、方向を設定するとともに、映像オブジェクト位置情報記憶手段から他の複数のフレーム画像に連続して含まれる映像オブジェクトの位置情報を読み出し、この位置情報によって示される位置である他フレーム軌跡位置に基づいて、当該映像オブジェクトの位置の変化量を同様に解析して、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて他フレーム軌跡画像の色、形、大きさ、方向を設定する。また、画像合成手段によって、他の複数のフレーム画像のうちのひとつのフレーム画像の過去軌跡位置に、軌跡画像形態設定手段によって設定された過去軌跡画像を合成するとともに、当該フレーム画像の他フレーム軌跡位置に、軌跡画像形態設定手段によって設定された他フレーム軌跡画像を合成する。

これによって、映像オブジェクト軌跡付加装置は、フレーム画像内の映像オブジェクトの軌跡とともに、以前に検出された映像オブジェクトの軌跡を当該フレーム画像に付加することができるとともに、これらの軌跡を示す他フレーム軌跡画像及び過去軌跡画像を、その各々に対応する映像オブジェクトが撮影された時点での、当該映像オブジェクトの速度や移動する方向を示す色あるいは形に設定して、フレーム画像に合成することができる。

更に、請求項３に記載の軌跡付加映像生成装置は、所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、映像オブジェクト検出装置と、映像遅延手段と、映像オブジェクト軌跡付加手段と、を備え、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段と、オブジェクト選定手段と、を備え、前記映像オブジェクト軌跡付加手段は、映像オブジェクト位置情報記憶手段と、軌跡画像情報記憶手段と、軌跡画像位置設定手段と、軌跡画像形態設定手段と、画像合成手段とを備える構成とした。

かかる構成によれば、軌跡付加映像生成装置は、映像オブジェクト検出装置によって、時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する。そして、軌跡付加映像生成装置は、映像遅延手段によって、前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する。そして、軌跡付加映像生成装置は、映像オブジェクト軌跡付加手段によって、前記映像オブジェクト検出装置から、前記映像オブジェクトの位置を示す位置情報を入力し、時系列に入力される複数の前記フレーム画像に連続して含まれる前記映像オブジェクトの軌跡である過去軌跡を示す軌跡画像である過去軌跡画像と、当該フレーム画像が撮影された位置から撮影された他の複数のフレーム画像に連続して含まれる前記映像オブジェクトの軌跡を示す他フレーム軌跡画像とを、当該他の複数のフレーム画像のうちのひとつのフレーム画像に付加する。そして、前記映像オブジェクト検出装置は、オブジェクト候補画像生成手段によって、前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成し、オブジェクト選定手段によって、前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出する。そして、前記映像オブジェクト軌跡付加手段は、映像オブジェクト位置情報記憶手段に、映像オブジェクト検出装置から入力される映像オブジェクトの位置情報を、当該映像オブジェクトの軌跡を特定する軌跡情報と対応させて記憶し、軌跡画像情報記憶手段に、前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する。そして、軌跡画像位置設定手段によって、前記映像オブジェクト位置情報記憶手段から、過去軌跡を示す軌跡情報に対応する位置情報である過去軌跡位置情報と、他の複数のフレーム画像の少なくともひとつの映像オブジェクトの位置情報とを読み出して、これらの位置情報に基づいて過去軌跡位置情報によって示される位置をシフトさせるシフト量を設定するとともに、このシフト量だけ過去軌跡位置情報によって示される位置をシフトさせた過去軌跡位置を設定する。

そして、軌跡画像形態設定手段によって、過去軌跡位置に基づいて、当該映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記過去軌跡画像の色、形、大きさ、方向を設定するとともに、映像オブジェクト位置情報記憶手段から他の複数のフレーム画像に連続して含まれる映像オブジェクトの位置情報を読み出し、この位置情報によって示される位置である他フレーム軌跡位置に基づいて、当該映像オブジェクトの位置の変化量を同様に解析して、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて他フレーム軌跡画像の色、形、大きさ、方向を設定する。また、画像合成手段によって、他の複数のフレーム画像のうちのひとつのフレーム画像の過去軌跡位置に、軌跡画像形態設定手段によって設定された過去軌跡画像を合成するとともに、当該フレーム画像の他フレーム軌跡位置に、軌跡画像形態設定手段によって設定された他フレーム軌跡画像を合成する。

これによって、映像オブジェクト軌跡付加装置は、フレーム画像内の映像オブジェクトあるいはこの映像オブジェクトの軌跡の位置に合わせて、以前に検出された映像オブジェクトの軌跡の位置をシフトさせて、当該軌跡をフレーム画像に合成することができるとともに、これらの軌跡を示す他フレーム軌跡画像及び過去軌跡画像を、その各々に対応する映像オブジェクトが撮影された時点での、当該映像オブジェクトの速度や移動する方向を示す色あるいは形に設定して、フレーム画像に合成することができる。

なお、過去軌跡を構成する映像オブジェクトを含む複数のフレーム画像と、軌跡画像が合成される他の複数のフレーム画像は、同じ位置に設置されたカメラによって撮影されたものであり、撮影したカメラのカメラアングルは異なっていてもよい。そして、この２つの軌跡を構成する映像オブジェクトを含む連続したフレーム画像が撮影される合間において、カメラアングルが変化することによって、一方の軌跡の位置と、他方の軌跡の位置とが対応しない場合においても、映像オブジェクト軌跡付加装置は、過去軌跡の位置をシフトさせて、他の複数のフレーム画像の映像オブジェクトの軌跡の位置と対応する位置に過去軌跡画像を付加することができる。

また、請求項４に記載の軌跡付加映像生成プログラムは、所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加するために、前記映像オブジェクト検出装置から入力される前記映像オブジェクトの位置情報を記憶する映像オブジェクト位置情報記憶手段と、前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する軌跡画像情報記憶手段と、を備えたコンピュータを、オブジェクト候補画像生成手段、オブジェクト選定手段、映像遅延手段、軌跡画像形態設定手段、画像合成手段として機能させることとした。

かかる構成によれば、軌跡付加映像生成プログラムは、オブジェクト候補画像生成手段によって、前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成する。そして、オブジェクト選定手段によって、前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出する。そして、映像遅延手段によって、前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する。そして、軌跡付加映像生成プログラムは、軌跡画像形態設定手段によって、映像オブジェクト位置情報記憶装置から映像オブジェクトの位置情報を読み出し、当該位置情報によって示される位置に基づいて、連続して映像オブジェクトが含まれている複数のフレーム画像の映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、軌跡画像の色、形、大きさ、方向を設定する。更に、軌跡付加映像生成プログラムは、画像合成手段によって、この軌跡画像形態設定手段によって設定された軌跡画像を、複数のフレーム画像のうちのひとつのフレーム画像の、位置情報によって示される位置に合成する。

これによって、軌跡付加映像生成プログラムは、映像オブジェクトの軌跡を示し、かつ、軌跡画像の各々に対応する映像オブジェクトが撮影された時点における、映像オブジェクトの速度や移動する方向を示すフレーム画像を生成することができる。

本発明に係る軌跡付加映像生成装置及び軌跡付加映像生成プログラムでは、以下のような優れた効果を奏する。

請求項１又は請求項４に記載の発明によれば、映像オブジェクトの移動速度や、動きの特徴を分かりやすく表示できる映像オブジェクトの軌跡映像を提供することができる。

請求項２に記載の発明によれば、映像内の映像オブジェクトの軌跡とともに、それ以前に抽出された映像オブジェクトの軌跡を表示でき、この両方の軌跡について、移動速度や、動きの特徴を分かりやすく表示することができる。そのため、以前に抽出された映像オブジェクトの軌跡を比較対象として表示して、この映像オブジェクトと、映像内の映像オブジェクトとの速度や動きの特徴の違いを明示でき、これによって、映像内の映像オブジェクトの速度や動きの特徴を視聴者に対して分かりやすく表示できる軌跡映像を提供することができる。

請求項３に記載の発明によれば、映像内の映像オブジェクトの軌跡とともに、この映像オブジェクトの軌跡と対比しやすい位置に、それ以前に抽出された映像オブジェクトの軌跡を表示することができ、この軌跡を比較対象として、以前に抽出された映像オブジェクトと、映像内の映像オブジェクトとの速度や動きの特徴の違いを明示できる。これによって、映像内の映像オブジェクトの速度や動きの特徴を視聴者に対して分かりやすく表示できる軌跡映像を提供することができる。

以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、本発明における映像オブジェクト軌跡付加手段（映像オブジェクト軌跡付加装置）を、追跡対象となる動きを伴う映像オブジェクトを抽出して追跡し、映像内の映像オブジェクトの軌跡（現在軌跡）と、以前に撮影された映像内の映像オブジェクトの軌跡（過去軌跡）とを付加した映像を生成する軌跡付加映像生成装置に適用する場合について説明する。

［軌跡付加映像生成装置の構成］
まず、図１を参照して、軌跡付加映像生成装置の構成について説明する。図１は本発明の映像オブジェクト軌跡付加手段を備える軌跡付加映像生成装置の構成を示したブロック図である。軌跡付加映像生成装置１は、入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を、当該映像オブジェクトの位置の変化量に応じた色と形に設定して、フレーム画像に付加するものである。軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０と、映像遅延手段２０と、映像オブジェクト軌跡付加手段３０とを備える。

映像オブジェクト抽出手段（映像オブジェクト検出装置）１０は、入力された映像から、フレーム画像ごとに追跡対象となる映像オブジェクトを抽出し、追跡するものである。映像オブジェクト抽出手段１０は、オブジェクト候補画像生成手段１１と、オブジェクト選定手段１２と、抽出条件記憶手段１３と、位置予測手段１４と、探索領域設定手段１５と、ＩＤ番号付加手段１６を備える。

オブジェクト候補画像生成手段１１は、入力された映像からフレーム画像ごとに、追跡対象となる映像オブジェクトの候補を抽出したオブジェクト候補画像を生成するものである。ここでは、オブジェクト候補画像生成手段１１は、映像オブジェクトの候補の抽出対象となるフレーム画像と、このフレーム画像より１フレーム後に入力されたフレーム画像との差分画像（差分画像１）、及び、抽出対象となるフレーム画像と、このフレーム画像より１フレーム前に入力されたフレーム画像との差分画像（差分画像２）を生成し、これらの差分画像（差分画像１、差分画像２）に基づいて、オブジェクト候補画像を生成することとした。オブジェクト候補画像生成手段１１は、画像遅延部１１１、１１２と、差分画像生成部１１３、１１４と、候補画像生成部１１５とを備える。

画像遅延部１１１、１１２は、入力された映像信号を１フレーム分遅延させるもので、例えば、一般的な遅延回路からなることとしてもよいし、入力された映像信号を１フレーム単位でデジタルデータとして記憶するメモリ等からなることとしてもよい。ここで、画像遅延部１１１は、外部から映像信号を入力し、この映像信号を１フレーム分だけ遅延させた映像信号として、画像遅延部１１２、差分画像生成部１１３、１１４及びオブジェクト選定手段１２の特徴量解析部１２２に出力する。また、画像遅延部１１２は、画像遅延部１１１から、１フレーム分遅延された映像信号が入力され、この映像信号を更に１フレーム分だけ遅延させることで、２フレーム分遅延された映像信号として、差分画像生成部１１４に出力する。

差分画像生成部１１３、１１４は、入力された２つの映像信号の輝度信号の信号レベルの差分を算出し、フレーム画像ごとに差分画像を生成するもので、一般的な減算回路等から構成することができる。ここで、画像遅延部１１１によって１フレーム分遅延された映像信号のフレーム画像を映像オブジェクトの候補の抽出対象とした。そして、差分画像生成部１１３は、画像遅延部１１１から入力された１フレーム分遅延された映像信号の輝度信号の信号レベルから、外部から入力された映像信号の輝度信号の信号レベルを減算することによって、差分画像１を生成する。また、差分画像生成部１１４は、画像遅延部１１２から入力された２フレーム分遅延された映像信号の輝度信号の信号レベルから、画像遅延部１１１から入力された１フレーム分遅延された映像信号の輝度信号の信号レベルを減算することで、差分画像２を生成する。ここで生成された差分画像（差分画像１及び差分画像２）は、候補画像生成部１１５に出力される。

候補画像生成部１１５は、後記する探索領域設定手段１５によって設定された探索領域について、差分画像生成部１１３、１１４から入力された差分画像（差分画像１及び差分画像２）の画素値（輝度信号の画素ごとの信号レベル）が所定の条件を満たすかを画素ごとに判定することで、オブジェクト候補画像を生成するものである。ここでは、画素ごとに、当該画素における差分画像１の画素値と差分画像２の画素値とが異符号であり、かつ、絶対値が所定の閾値以上となる場合に、画素値を“１（白）”、それ以外の場合に“０（黒）”とすることでオブジェクト候補画像を生成することとした。これによって、画素値が“１（白）”となる領域を映像オブジェクトの候補として抽出することができる。ここで生成されたオブジェクト候補画像は、オブジェクト選定手段１２に出力される。

オブジェクト選定手段１２は、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像の中から、抽出条件記憶手段１３に記憶されている抽出条件情報１３１によって示される抽出条件に基づいて、抽出（追跡）対象となる映像オブジェクトを選定し、その映像オブジェクトの位置及び映像オブジェクトを特徴付ける特徴量を抽出するものである。ここで、オブジェクト選定手段１２は、ラベリング部１２１と、特徴量解析部１２２と、フィルタ処理部１２３と、オブジェクト選択部１２４とを備える。

ラベリング部１２１は、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像の中で、映像オブジェクトの候補となる領域に対して番号（ラベル）を付すものである。すなわち、ラベリング部１２１は、映像オブジェクトの領域である“１（白）”の画素値を持つ連結した領域（連結領域）に対して１つの番号を付す。これによって、オブジェクト候補画像内の映像オブジェクトの候補が番号付けされたことになる。

特徴量解析部１２２は、ラベリング部１２１でラベリングされたラベルに対応する映像オブジェクトの候補を解析し、当該映像オブジェクトの候補の位置及び映像オブジェクトを特徴付ける特徴量を解析するものである。ここで、特徴量解析部１２２は、オブジェクト候補画像生成手段１１の画像遅延部１１１から入力された、１フレーム遅延されたフレーム画像における、ラベリング部１２１でラベリングされたラベルに対応する映像オブジェクトに対応する領域の各々について、特徴量を解析する。そして、解析された映像オブジェクトの位置及び特徴量は、フィルタ処理部１２３に出力される。

ここで、映像オブジェクトの位置としては、映像オブジェクトの重心位置、多角形近似の頂点座標、スプライン曲線の制御点座標等を用いることができる。また、映像オブジェクトの特徴量には、例えば、映像オブジェクトの面積、輝度、色、円形度を用いることができる。

面積は、例えば、映像オブジェクトの画素数を示す。また、輝度は、映像オブジェクトにおける各画素の輝度の平均値を示す。また、色は、映像オブジェクトにおける各画素の色（例えばＲＧＢ値）の平均値を示す。なお、この色については、予め背景となる画像の背景色を初期値として、その背景色からの変化量を閾値としてもよい。円形度は、形状の複雑さを示す指標であって、円形に近いほど大きな値を有するものである。この円形度ｅは、映像オブジェクトの面積をＳ、周囲長をＬとしたとき、以下の式（１）で表される。
ｅ＝４πＳ／Ｌ² …（１）

フィルタ処理部１２３は、ラベリング部１２１で番号付けされた映像オブジェクトの候補ごとに、特徴量解析部１２２から入力された特徴量に基づいて、抽出条件記憶手段１３に記憶されている抽出条件情報１３１によって示される抽出条件に合致する映像オブジェクトかどうかを判定することで、抽出（追跡）対象となる映像オブジェクトを絞り込むものである。ここで選択された映像オブジェクトのラベル及び位置は、オブジェクト選択部１２４に出力される。なお、抽出条件に適合する映像オブジェクトがない場合には、フィルタ処理部１２３は、その旨をＩＤ番号付加手段１６に通知する。

すなわち、このフィルタ処理部１２３は、映像オブジェクトの候補ごとに、抽出条件情報１３１によって示される抽出条件（例えば、面積、輝度、色及び円形度）や、フィルタ処理（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）を行うことで、抽出条件を満たす映像オブジェクトを選択する。

オブジェクト選択部１２４は、フィルタ処理部１２３から入力されたラベルの映像オブジェクトの位置に基づいて、後記する位置予測手段１４によって、１フレーム前のフレーム画像の映像オブジェクトの位置に基づいて算出された当該映像オブジェクトの予測位置に最も近い映像オブジェクトを、追跡対象となる映像オブジェクトとして選択するものである。ここで選択された映像オブジェクトの位置は、当該フレーム画像内における映像オブジェクトの軌跡を示す位置情報として、位置予測手段１４とＩＤ番号付加手段１６とに出力される。また、ここで選択された映像オブジェクトの特徴量は、画像合成手段３５の作画部３５１に出力される。

抽出条件記憶手段１３は、オブジェクト選定手段１２によって、抽出（追跡）対象となる映像オブジェクトを選択するための条件を記憶するもので、一般的なハードディスク等の記憶手段からなる。この抽出条件記憶手段１３には、種々の抽出条件を示す抽出条件情報１３１を記憶している。

抽出条件情報１３１は、抽出すべき映像オブジェクトの抽出条件を記述した情報であって、例えば、面積、輝度、色及び円形度の少なくとも１つ以上の抽出条件を記述したものである。この抽出条件情報１３１は、オブジェクト選定手段１２のフィルタ処理部１２３が、オブジェクト候補画像生成手段１１で生成されたオブジェクト候補画像から、抽出すべき映像オブジェクトを選択するためのフィルタ（面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタ）の条件となるものである。

なお、抽出条件情報１３１には、面積フィルタ、輝度フィルタ、色フィルタ及び円形度フィルタの条件として、予め定めた初期値と、その許容範囲を示す閾値とを記憶しておく。これによって、閾値外の特徴を持つ映像オブジェクトを抽出すべき映像オブジェクトの候補から外すことができる。

位置予測手段１４は、オブジェクト選定手段１２のオブジェクト選択部１２４から入力された映像オブジェクトの位置情報に基づいて、次のフレーム画像における映像オブジェクトの予測位置を解析するものである。ここで、位置予測手段１４は、線形予測部１４１と、曲線予測部１４２と、切替部１４３とを備える。

線形予測部１４１は、オブジェクト選定手段１２のオブジェクト選択部１２４から入力された映像オブジェクトの位置情報（重心座標等）に基づいて、線形予測を用いて、次のフレーム画像における映像オブジェクトの予測位置を算出するものである。ここで、線形予測部１４１は、例えば、重心座標にカルマンフィルタ（Ｋａｌｍａｎｆｉｌｔｅｒ）等を適用することで、次のフレーム画像における映像オブジェクトの予測位置を算出することができる。ここで算出された予測位置は、切替部１４３に出力される。

曲線予測部１４２は、オブジェクト選定手段１２のオブジェクト選択部１２４から入力された映像オブジェクトの位置情報（重心座標等）に基づいて、当該映像オブジェクトの軌跡を２次曲線近似して、次のフレーム画像における映像オブジェクトの予測位置を算出するものである。ここで算出された予測位置は、切替部１４３に出力される。

切替部１４３は、線形予測部１４１から入力された予測位置と、曲線予測部１４２から入力された予測位置とのいずれか一方を、次のフレーム画像の映像オブジェクトの予測位置として出力するものである。ここで、切替部１４３は、例えば、既に抽出された映像オブジェクトの位置情報が、曲線予測に必要となる所定数未満である場合には、線形予測部１４１から入力された予測位置を出力し、所定数以上である場合には、曲線予測部１４２から入力された予測位置を出力することとしてもよい。また、誤検出等によって、曲線予測部１４２における軌跡の２次曲線近似における係数の値が大きく変化した場合や、係数が所定値を超えた場合に、曲線予測部１４２から線形予測部１４１の予測位置に切り替えて出力することとしてもよい。ここで選択された予測位置は、オブジェクト選定手段１２のオブジェクト選択部１２４と、探索領域設定手段１５とに入力される。

探索領域設定手段１５は、位置予測手段１４によって算出された、次のフレーム画像における映像オブジェクトの予測位置に基づいて、次のフレーム画像における、映像オブジェクトの探索領域を設定するものである。なお、この探索領域とは、オブジェクト候補画像生成手段１１によって次のフレーム画像からオブジェクト候補画像が生成される領域である。ここで設定された探索領域の位置と大きさは、オブジェクト候補画像生成手段１１の候補画像生成部１１５に出力される。ここで、探索領域設定手段１５は、図示しない入力手段から入力された大きさの領域を設定することとしてもよい。

ＩＤ番号付加手段１６は、オブジェクト選定手段１２によって時系列に入力されるフレーム画像から連続して追跡された映像オブジェクトの位置情報を、同一の映像オブジェクトの一連の動きの軌跡を構成する位置情報であるとして、この軌跡を示す軌跡番号（軌跡情報）を設定し、更に、軌跡番号ごとに、位置情報に対して時系列に連続番号（ＩＤ番号）を付加するものである。ここで、ＩＤ番号付加手段１６は、フィルタ処理部１２３から入力される、抽出条件に適合する映像オブジェクトがない通知に基づいて、オブジェクト選定手段１２による一連の動きの映像オブジェクトの抽出が終了したと判断して、軌跡番号を設定することができる。そして、ＩＤ番号が付加された位置情報は、映像オブジェクト位置情報記憶手段３１に記憶される。

映像遅延手段２０は、外部から入力された映像信号のフレーム画像を、後記する画像合成手段３５によって合成される軌跡画像と同期させるために、所定数のフレーム分遅延させるものである。ここで遅延された映像信号は、映像オブジェクト軌跡付加手段３０の画像合成手段３５に出力される。

映像オブジェクト軌跡付加手段（映像オブジェクト軌跡付加装置）３０は、映像オブジェクト抽出手段１０から入力された映像オブジェクトの位置情報に基づいて、映像遅延手段２０から入力された映像信号のフレーム画像である現在フレーム画像に、当該フレーム画像に含まれる映像オブジェクトの軌跡（現在軌跡）を示す軌跡画像である現在軌跡画像（他フレーム軌跡画像）を、当該映像オブジェクトの位置の変化量に応じた色と形に設定して合成し、当該軌跡画像が合成されたフレーム画像から構成される軌跡映像を生成するものである。映像オブジェクト軌跡付加手段３０は、映像オブジェクト位置情報記憶手段３１と、軌跡画像位置設定手段３２と、軌跡画像形態設定手段３３と、軌跡画像情報記憶手段３４と、画像合成手段３５とを備える。

なお、ここでは映像オブジェクト軌跡付加手段３０は、図示しない入力手段から過去軌跡画像の合成の指令を入力された場合には、現在軌跡画像とともに、現在フレーム画像より前に撮影された映像オブジェクトの軌跡（過去軌跡）を示す軌跡画像である過去軌跡画像も現在フレーム画像に合成することとした。そして、過去軌跡における最初の映像オブジェクトの位置が、現在軌跡における最初の映像オブジェクトの位置と一致するように、過去軌跡の表示位置を全体的にずらして、過去軌跡の映像オブジェクトの位置の変化量に応じた色と形の過去軌跡画像を合成することとした。また、映像オブジェクト軌跡付加手段３０は、図示しない入力手段から過去軌跡画像の合成の指令が入力されない場合には、現在軌跡画像のみを現在フレーム画像に合成することとした。

映像オブジェクト位置情報記憶手段（映像オブジェクト位置情報記憶装置）３１は、ＩＤ番号付加手段１６から入力された映像オブジェクトの位置情報を記憶するもので、一般的なハードディスク等の記憶媒体である。ここで記憶される位置情報は、オブジェクト選定手段１２によって抽出された映像オブジェクトの位置を示す情報であり、例えば、映像オブジェクトの重心位置とする。この位置情報は、軌跡画像位置設定手段３２によって、過去軌跡画像を合成する位置を設定する際に参照されて用いられ、また、軌跡画像形態設定手段３３によって、現在軌跡画像の色と形を設定する際に参照されて用いられる。

なお、ここでは、映像オブジェクト位置情報記憶手段３１は、映像オブジェクトの位置情報と、軌跡番号（軌跡情報）とを対応させて記憶し、更に、各々の位置情報と、軌跡番号ごとに時系列に付されたＩＤ番号とを対応させて記憶することとした。ここで、図２を参照（適宜図１参照）して、映像オブジェクト位置情報記憶手段３１に記憶される位置情報について説明する。図２は、映像オブジェクト位置情報記憶手段に記憶された位置情報の例を説明するための説明図、（ａ）は、１つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例、（ｂ）は、２つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例である。

まず、映像オブジェクト位置情報記憶手段３１には、ＩＤ番号付加手段１６から、ＩＤ番号が付加された位置情報が入力される。ここで、映像オブジェクト位置情報記憶手段３１に、ＩＤ番号付加手段１６から、ＩＤ番号「１」が付加されている位置情報（ｘ₁，ｙ₁）が入力されたとする。なお、ここでは、例えば、フレーム画像の左下を原点とし、横方向にｘ軸、縦方向にｙ軸を設定したとする。そうすると、図２（ａ）に示すように、映像オブジェクト位置情報記憶手段３１は、入力された位置情報Ｃ１（ｘ₁，ｙ₁）を軌跡番号「１」（Ｔ１）とＩＤ番号「１」（Ｉ１）とに対応させて記憶する。

そして、オブジェクト選定手段１２によって、連続するフレーム画像から次の映像オブジェクトが抽出された場合には、映像オブジェクト位置情報記憶手段３１には、ＩＤ番号付加手段１６からＩＤ番号「２」が付加された位置情報（ｘ₂，ｙ₂）が入力される。そうすると、図２（ａ）に示すように、映像オブジェクト位置情報記憶手段３１は、この位置情報Ｃ２（ｘ₂，ｙ₂）を軌跡番号「１」（Ｔ１）とＩＤ番号「２」（Ｉ２）とに対応させて記憶する。

そして、オブジェクト選定手段１２によって、連続するフレーム画像から更にｎ₁−２個の映像オブジェクトが順次抽出されたとする。そうすると、図２（ａ）に示すように、映像オブジェクト位置情報記憶手段３１は、これらの位置情報Ｃ３、…、Ｃｎ（（ｘ₃，ｙ₃）、…、（ｘ_n，ｙ_n））を軌跡番号「１」（Ｔ１）とＩＤ番号「３」、…、「ｎ」（Ｉ３、…、Ｉｎ）とに対応させて記憶する。

ここで、映像オブジェクト抽出手段１０によって、連続するフレーム画像から映像オブジェクトが抽出されなかったとする。そうすると、この通知がＩＤ番号付加手段１６に入力され、この通知に基づいてＩＤ番号付加手段１６は、映像オブジェクト位置情報記憶手段３１に記憶された各々の軌跡番号に１を加えて書き換える。図２（ａ）では、映像オブジェクト位置情報記憶手段３１に記憶されている軌跡番号「１」（Ｔ１）を「２」（図２（ｂ）のＴ２）に書き換える。これによって、現在フレーム画像の映像オブジェクトの軌跡を示す軌跡番号が常に「１」になる。

その後、映像オブジェクト抽出手段１０によって、異なる軌跡を描く映像オブジェクトのうちの最初の映像オブジェクトが抽出された場合には、映像オブジェクト位置情報記憶手段３１には、ＩＤ番号付加手段１６からＩＤ番号「１」が付加された位置情報（ｘ_n+1，ｙ_n+1）が入力される。そして、図２（ｂ）に示すように、映像オブジェクト位置情報記憶手段３１は、この位置情報Ｃｎ＋１（ｘ_n+1，ｙ_n+1）を軌跡番号「１」（Ｔ１’）とＩＤ番号「１」（Ｉｎ＋１）とに対応させて記憶する。以上のようにして、映像オブジェクト位置情報記憶手段３１は、軌跡番号と、ＩＤ番号とを位置情報に対応させて記憶することができる。

図１に戻って説明を続ける。軌跡画像位置設定手段３２は、過去軌跡画像を、後記する画像合成手段３５によって作画して合成する位置（過去軌跡位置）を設定するものである。ここで、軌跡画像位置設定手段３２は、位置情報読み出し部３２１と、付加位置設定部３２２とを備える。

位置情報読み出し部３２１は、現在フレーム画像より前に撮影された映像オブジェクトの軌跡の位置情報（過去軌跡位置情報）と、現在フレーム画像の映像オブジェクトと同一の軌跡番号（ここでは軌跡番号「１」）の位置情報とを、映像オブジェクト位置情報記憶手段３１から読み出すものである。ここで、位置情報読み出し部３２１は、図示しない入力手段によって外部から過去軌跡画像の合成の指令とともに入力された軌跡番号に対応する位置情報を、映像オブジェクト位置情報記憶手段３１から読み出す。なお、ここでは、位置情報読み出し部３２１は、過去軌跡画像の合成の指令とともに軌跡番号が入力されなかった場合には、現在フレーム画像の映像オブジェクトの１つ前の軌跡を示す軌跡番号（ここでは軌跡番号「２」）の位置情報を、映像オブジェクト位置情報記憶手段３１から読み出すこととした。

また、ここでは、過去軌跡の最初の映像オブジェクトの位置を現在軌跡の最初の映像オブジェクトの位置に一致させるため、位置情報読み出し部３２１は、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報のうち、ＩＤ番号が１である位置情報を読み出す。ここで読み出された位置情報は、付加位置設定部３２２に出力される。

付加位置設定部３２２は、位置情報読み出し部３２１から入力された位置情報に基づいて、過去軌跡画像の位置（過去軌跡位置）を設定するものである。ここで、付加位置設定部３２２は、位置情報読み出し部３２１から入力された過去軌跡の映像オブジェクトの位置情報によって示される位置を、現在軌跡の最初の映像オブジェクトの位置に合わせてシフトして、過去軌跡位置を設定する。ここで設定された過去軌跡位置は、軌跡画像形態設定手段３３の位置変化量算出部３３１と、画像合成手段３５の合成部３５２に出力される。

ここでは、付加位置設定部３２２は、過去軌跡を示す位置情報と、現在軌跡の最初の映像オブジェクトの位置情報とに基づいて、過去軌跡位置を設定する。ここで、図３を参照（適宜図１参照）して、過去軌跡位置を設定する方法について説明する。図３は、付加位置設定部によって、過去軌跡位置を設定する方法の例を説明するための説明図、（ａ）は、位置情報読み出し部によって読み出された過去軌跡の映像オブジェクトの位置情報と、現在軌跡の最初の映像オブジェクトの位置情報によって示される位置を模式的に示した模式図、（ｂ）は、付加位置設定部によって設定された過去軌跡位置を模式的に示した模式図である。なお、ここでは、フレーム画像の横方向にｘ軸、縦方向にｙ軸を設定している。

位置情報読み出し部３２１によって、軌跡番号「ｋ」の位置情報（ここでは重心座標とする）がｎ_k個と、現在軌跡の最初（ＩＤ番号が「１」）の映像オブジェクトの位置情報とが読み出された場合に、図３（ａ）に示すように、軌跡番号が「ｋ」、ＩＤ番号が「１」の位置情報Ｃｋ１を（ｘｋ１，ｙｋ１）、ＩＤ番号が「２」の位置情報Ｃｋ２を（ｘｋ２，ｙｋ２）、ＩＤ番号が「ｎ_k」の位置情報Ｃｋｎ_kを（ｘｋｎ_k，ｙｋｎ_k）とし、現在軌跡の最初の映像オブジェクトの位置情報Ｃ１１を（ｘ１１，ｙ１１）とする。

そうすると、付加位置設定部３２２は、過去軌跡の最初（ＩＤ番号が「１」）の位置情報Ｃｋ１（ｘｋ１，ｙｋ１）を、現在軌跡の最初の映像オブジェクトの位置情報Ｃ１１（ｘ１１，ｙ１１）に一致させるため、ｘ、ｙ軸方向に（ｘ１１−ｘｋ１，ｙ１１−ｙｋ１）だけ移動させて、過去軌跡位置Ｄｋ１（ｘ１１，ｙ１１）に設定する。そして、過去軌跡のその他の位置情報Ｃｋ２、…、Ｃｋｎ_kによって示される位置も、ｘ、ｙ軸方向に（ｘ１１−ｘｋ１，ｙ１１−ｙｋ１）ずつ移動させ、過去軌跡位置Ｄｋ２（ｘｋ２＋ｘ１１−ｘｋ１，ｙｋ２＋ｙ１１−ｙｋ１）、…、Ｄｋｎ_k（ｘｋｎ_k＋ｘ１１−ｘｋ１，ｙｋｎ_k＋ｙ１１−ｙｋ１）とする。

これによって、付加位置設定部３２２は、過去軌跡における最初の映像オブジェクトの位置が、現在軌跡における最初の映像オブジェクトの位置と一致するように、全体的にずらした位置に過去軌跡画像を合成する位置を設定することができる。

なお、ここでは、付加位置設定部３２２は、過去軌跡における最初の映像オブジェクトの位置を、現在軌跡における最初の映像オブジェクトの位置に設定することとしたが、過去軌跡画像を合成する位置の設定方法はこれに限定されることはない。例えば、過去軌跡における最初の映像オブジェクトの位置が、現在軌跡における最初の映像オブジェクトの位置から所定距離だけ上の位置になるように設定することとしてもよいし、現在フレーム画像の映像オブジェクトとＩＤ番号が同一の過去軌跡の映像オブジェクトの位置が、現在フレーム画像の映像オブジェクトの位置になるように設定することとしてもよい。

図１に戻って説明を続ける。軌跡画像形態設定手段３３は、映像オブジェクト位置情報記憶手段３１から読み出された現在フレーム画像の映像オブジェクトの位置情報によって示される位置に基づいて、現在軌跡画像の色と形を設定するとともに、軌跡画像位置設定手段３２の付加位置設定部３２２によって設定された過去軌跡位置に基づいて、過去軌跡画像の色と形を設定するものである。軌跡画像形態設定手段３３は、位置変化量算出部３３１と、形態設定部３３２とを備える。

位置変化量算出部３３１は、現在フレーム画像の映像オブジェクトと同一の軌跡番号（ここでは軌跡番号「１」）の位置情報を読み出し、この位置情報によって示される位置である現在軌跡位置（他フレーム軌跡位置）に基づいて、当該映像オブジェクトの位置の変化量を算出するとともに、軌跡画像位置設定手段３２の付加位置設定部３２２によって設定された過去軌跡位置に基づいて、過去軌跡の映像オブジェクトの位置の変化量を算出するものである。ここで算出された変化量は、形態設定部３３２に出力される。また、ここで読み出された現在フレーム画像の映像オブジェクトと同一の軌跡番号（ここでは軌跡番号「１」）の位置情報は、画像合成手段３５の作画部３５１に出力される。

なお、ここでは、映像オブジェクトのフレーム画像上における位置の変化量が、この映像オブジェクトの所定時間当たりの移動距離（速度）に比例すると仮定し、位置変化量算出部３３１が、現在軌跡あるいは過去軌跡を構成する映像オブジェクトの各々について、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、この映像オブジェクトの動きベクトルＢと、この動きベクトルＢの長さ｜Ｂ｜を位置の変化量として算出することとした。そして、画面の左下を原点として横方向にｘ軸を、縦方向にｙ軸を設定し、映像オブジェクトの位置を（ｘ_t，ｙ_t）、１フレーム前の映像オブジェクトの位置を（ｘ_t-1，ｙ_t-1）とすると、動きベクトルＢと、この動きベクトルＢの長さ｜Ｂ｜は以下の式（２）、（３）によって示される。

形態設定部３３２は、位置変化量算出部３３１によって算出された位置の変化量と、軌跡画像情報記憶手段３４に記憶された軌跡画像情報３４１とに基づいて、軌跡画像（現在軌跡画像及び過去軌跡画像）の色及び形を設定するものである。ここで設定された色及び形の情報は、画像合成手段３５の作画部３５１に出力される。

ここで、図４及び図５を参照して、形態設定部３３２によって軌跡画像の色及び形を設定する方法について、野球中継等で映像上に投球の軌跡を表示する場合を例に挙げて説明する。図４は、形態設定部によって設定された現在軌跡画像が合成された現在フレーム画像の例を模式的に示す模式図である。また、図５は、形態設定部によって設定された現在軌跡画像と過去軌跡画像とが合成された現在フレーム画像の例を模式的に示す模式図である。

なお、ここでは、外部から野球中継等の投球の映像が入力され、位置変化量算出部３３１によってボールの位置の変化量が算出されることとする。そして、この位置変化量算出部３３１によって算出された動きベクトルＢの長さ｜Ｂ｜は、ボールの速度に比例する。また、ボールが直線的な動きである場合には動きベクトルＢのｘ成分が大きくなり、山なりの動きである場合にはｙ成分が大きくなる。そのため、ここでは、形態設定部３３２は、動きベクトルＢの長さ｜Ｂ｜とｘ成分とｙ成分との各々が所定の閾値を超えているかを判断し、後記する軌跡画像情報記憶手段３４に記憶された軌跡画像情報３４１に基づいて、軌跡画像の色及び形（形状、大きさ、方向）を設定することとした。

ここで、例えば、軌跡画像情報記憶手段３４には、炎の画像の画像データと、動きベクトルＢの長さ｜Ｂ｜が閾値を超えた場合には、軌跡画像の色及び形状を炎の画像とし、かつ、大きさをｃ・｜Ｂ｜（ｃは定数）、方向を動きベクトルＢの方向とすることと、動きベクトルＢの長さ｜Ｂ｜が閾値以下である場合には、特徴量解析部１２２で解析された特徴量の画像とすることとを軌跡画像情報３４１として記憶していることとした。

そして、例えば、現在軌跡位置に基づいて、位置変化量算出部３３１によって算出された動きベクトルＢの長さ｜Ｂ｜が閾値を超えている場合には、形態設定部３３２は、図４に示すように、動きベクトルＢの方向を向き、動きベクトルＢの長さ｜Ｂ｜に比例した大きさ（ｃ・｜Ｂ｜）の炎の画像（現在軌跡画像）ｇ、ｇ、…を設定する。このように設定することで、ボールが速球であることや、ボールの移動する方向や、ボールの速度の投球中の変化（例えば、図４ではボールが右に移動するにつれて現在軌跡画像ｇが大きくなり、次第に速度が大きくなっていることを示す）等を、視聴者に分かりやすく表示することができる。

更に、例えば、過去軌跡位置に基づいて、位置変化量算出部３３１によって算出された動きベクトルＢの長さ｜Ｂ｜が閾値以下である場合には、形態設定部３３２は、図５に示すように、図４に示した現在軌跡画像（炎の画像ｇ、ｇ、…）とともに、特徴量解析部１２２で解析された特徴量の画像（過去軌跡画像）ｇ’、ｇ’、…を設定する。このように設定することで、現在フレーム画像のボールの軌跡（現在軌跡）と過去軌跡の違いや、球威の違い等を、視聴者に分かりやすく表示することができる。

また、軌跡画像情報記憶手段３４が、映像オブジェクトの動きベクトルのｙ成分の値が閾値を超えた場合には所定の形状の画像とすることと、この画像の形状や色や大きさ等の情報を軌跡画像情報３４１として記憶し、形態設定部３３２が、山なりの動きの映像オブジェクトの軌跡画像を所定の形状の画像に設定することとしてもよい。

軌跡画像情報記憶手段３４は、形態設定部３３２によって、軌跡画像の色及び形を設定するための情報を記憶するもので、一般的なハードディスク等の記憶手段からなる。ここでは、軌跡画像情報記憶手段３４には、様々な形状の画像やテクスチャ等のデータと、軌跡画像の色及び形をフレーム画像ごとの映像オブジェクトの動きベクトルＢの長さ｜Ｂ｜、ｘ成分及びｙ成分の値に対応させたデータとを軌跡画像情報３４１として予め記憶している。

図１に戻って説明を続ける。画像合成手段３５は、映像遅延手段２０から入力されたフレーム画像に、軌跡画像形態設定手段３３によって設定された軌跡画像を作画して合成するものである。ここで、画像合成手段３５は、作画部３５１と、合成部３５２とを備える。

作画部３５１は、位置変化量算出部３３１から入力された、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報によって示される位置に、軌跡画像形態設定手段３３によって設定された現在軌跡画像を作画するとともに、付加位置設定部３２２から入力された位置に、軌跡画像形態設定手段３３によって設定された過去軌跡画像を作画するものである。ここで作画された画像は、合成部３５２に出力される。

合成部３５２は、作画部３５１から入力された画像を、映像遅延手段２０から入力された映像信号のフレーム画像に合成するものである。ここで合成されたフレーム画像からなる映像は、軌跡映像として外部に出力される。

以上、本発明に係る軌跡付加映像生成装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、野球中継の映像において、投球の軌跡を表示する場合を例に挙げて説明したが、本発明の軌跡付加映像生成装置は、野球の投球の軌跡に限らず、動きを伴う様々な映像オブジェクトの映像に適用し、その軌跡を、速度や動きの特徴に応じた軌跡画像によって示すことができる。更に、ここでは、映像オブジェクト抽出手段１０は、映像オブジェクトの抽出対象となるフレーム画像と、このフレーム画像より１フレーム前及び後に入力されたフレーム画像との２つの差分画像を生成して、映像オブジェクトを抽出することとしたが、映像オブジェクト抽出手段１０の映像オブジェクトの検出方法はこれに限定されることなく、フレーム画像ごとに映像オブジェクトの位置を検出できればよい。例えば、抽出対象となる映像オブジェクトの形状によって、映像オブジェクトをフレーム画像から検出することとしてもよいし、映像オブジェクトの色によって検出することとしてもよい。

また、ここでは、映像オブジェクト位置情報記憶手段３１が、映像オブジェクトの位置情報と、軌跡番号と、ＩＤ番号とを対応させて記憶することとし、位置情報読み出し部３２１が、過去軌跡の位置情報とともに、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報のうち、ＩＤ番号が１である位置情報を読み出すこととしたが、例えば、映像オブジェクト位置情報記憶手段３１が、位置情報と軌跡番号のみを対応させて記憶することとしてもよい。このとき、位置情報読み出し部３２１は、例えば、映像オブジェクトが映像中を左から右に移動する場合において、過去軌跡の位置情報とともに、現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報のうちの、ｘ座標の値が一番小さい位置情報を読み出すこととしてもよい。

更に、ここでは、ＩＤ番号付加手段１６によって、軌跡番号を設定し、映像オブジェクト位置情報記憶手段３１が、この軌跡番号と、映像オブジェクトの位置情報とを対応させて記憶することとしたが、軌跡情報は軌跡を特定できるものであればよい。例えば、軌跡付加映像生成装置１は、ＩＤ番号付加手段１６を備えず、映像オブジェクト位置情報記憶手段３１が、この映像オブジェクトが抽出されたフレーム画像の撮影された時刻等を軌跡情報とし、この軌跡情報と、位置情報とを対応させて記憶することとしてもよい。このとき、例えば、位置情報読み出し部３２１は、軌跡情報の時刻が連続する位置情報を一連の動きの軌跡を示す位置情報であるとして、外部から入力された指令に基づいて指定された軌跡の位置情報を読み出すことができる。また、映像オブジェクト位置情報記憶手段３１が、例えば、位置情報をテキストデータ等として記憶することとし、軌跡ごとに行を変えて記録することとしてもよい。このとき、位置情報読み出し部３２１は、行番号を軌跡情報として任意の軌跡の位置情報を読み出すことができる。

更に、ここでは、軌跡画像位置設定手段３２は、位置情報読み出し部３２１によって過去軌跡位置情報と現在フレーム画像の映像オブジェクトと同一の軌跡番号の位置情報とを、映像オブジェクト位置情報記憶手段３１から読み出し、付加位置設定部３２２によって、これらの位置情報から過去軌跡位置を設定することとしたが、軌跡画像位置設定手段３２は、位置情報読み出し部３２１によって過去軌跡位置情報を読み出して、付加位置設定部３２２によって、この過去軌跡位置情報によって示される位置を過去軌跡位置とすることとしてもよい。

また、ここでは、軌跡が付加される１つの映像を外部から入力し、映像オブジェクト位置情報記憶手段３１には、位置情報として、この映像のフレーム画像における映像オブジェクトの２次元座標が記憶されて、付加位置設定部３２２がこの２次元座標に基づいて過去軌跡位置を設定するとともに、軌跡画像形態設定手段３３がこの２次元座標に基づいて映像オブジェクトの位置の変化量を解析し、軌跡画像の色と形とを設定することとしたが、例えば、異なる場所から撮影された映像を更に外部から入力して、映像オブジェクトの３次元位置（３次元座標）を解析することとしてもよい。

このとき、映像オブジェクト抽出手段１０が、２つ以上の映像から抽出された映像オブジェクトの２次元座標と、撮影したカメラのカメラパラメータとに基づいて映像オブジェクトの３次元座標を解析して、この３次元座標を位置情報として映像オブジェクト位置情報記憶手段３１に記憶することとしてもよい。また、映像オブジェクト抽出手段１０によって２つ以上の映像から抽出された映像オブジェクトの２次元座標を位置情報として映像オブジェクト位置情報記憶手段３１に記憶することとし、位置情報読み出し部３２１及び軌跡画像形態設定手段３３の位置変化量算出部３３１が、撮影したカメラのカメラパラメータと、読み出した位置情報とに基づいて３次元座標を解析することとしてもよい。そして、付加位置設定部３２２は、過去軌跡と現在軌跡の位置に基づいて、過去軌跡の３次元座標をあるシフト量だけシフトさせ、シフトされた３次元座標を透視投影変換等によって、フレーム画像における２次元座標に変換することで、映像に更に正確な過去軌跡を付加することができる。また、形態設定部３３２は、３次元座標の位置の変化量に基づいて、軌跡画像の色や形を設定することで、更に正確な速度や動きの特徴を示す画像を軌跡画像として映像に付加することができる。

更に、ここでは、軌跡画像形態設定手段３３が、映像オブジェクトの位置の変化量を算出し、この変化量に対応する軌跡画像の色と形とを、軌跡画像情報記憶手段３４に記憶された軌跡画像情報３４１を参照して設定することとしたが、本発明の映像オブジェクト付加装置は、軌跡画像形態設定手段によって、映像オブジェクトの位置の変化量に基づいて色あるいは形のいずれかのみを設定することとしてもよい。例えば、軌跡画像形態設定手段が、軌跡画像を、所定の色の円形の画像として、動きベクトルＢの大きさ｜Ｂ｜に応じて大きさのみを変えて設定することとしてもよいし、あるいは、所定の大きさの所定の形状の画像として、動きベクトルＢの大きさ｜Ｂ｜に応じて色のみを変えて設定することとしてもよい。更に、本発明の映像オブジェクト付加装置は、軌跡画像情報記憶手段３４を必ずしも備えている必要はなく、映像オブジェクトの位置の変化量から直接、軌跡画像の色や形を算出して設定することとしてもよい。

なお、軌跡付加映像生成装置１の映像オブジェクト軌跡付加手段３０は、一般的なコンピュータにプログラム（映像オブジェクト軌跡付加プログラム）を実行させ、コンピュータ内の演算装置や記憶装置を動作させることで実現することができる。

［軌跡付加映像生成装置の動作］
次に、図６及び図７を参照（適宜図１参照）して、本発明における軌跡付加映像生成装置１の動作について説明する。図６は、本発明における軌跡付加映像生成装置が、フレーム画像から被写体の位置を抽出し、このフレーム画像に現在軌跡を示す現在軌跡画像と過去軌跡を示す過去軌跡画像とを付加した画像から構成される軌跡映像を生成する動作を示したフローチャートである。図７は、映像オブジェクト抽出手段が、フレーム画像から映像オブジェクトの位置を抽出する動作（映像オブジェクト抽出動作）を示したフローチャートである。

まず、図６を参照して、軌跡付加映像生成装置１の動作について説明する。軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０によって、後記する映像オブジェクト抽出動作によって、外部から入力されたフレーム画像から映像オブジェクトの位置及び特徴量を抽出する（ステップＳ１０）。そして、軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０によって、この映像オブジェクト抽出動作によって映像オブジェクトが抽出されたかを判断する（ステップＳ１１）。そして、抽出されなかった場合には（ステップＳ１１でＮｏ）、そのままステップＳ２５に進む。また、抽出された場合には（ステップＳ１１でＹｅｓ）、軌跡付加映像生成装置１は、映像オブジェクト軌跡付加手段３０の映像オブジェクト位置情報記憶手段３１に、ステップＳ１０において抽出された映像オブジェクトの位置情報を記憶する（ステップＳ１２）。

続いて、軌跡付加映像生成装置１は、軌跡画像位置設定手段３２の位置情報読み出し部３２１によって、フレーム画像への過去軌跡画像の合成の指令が外部から入力されたかを判断する（ステップＳ１３）。そして、フレーム画像への過去軌跡画像の合成の指令が外部から入力されていない場合には（ステップＳ１３でＮｏ）、軌跡付加映像生成装置１は、軌跡画像形態設定手段３３の位置変化量算出部３３１によって、映像オブジェクト位置情報記憶手段３１から現在軌跡の位置情報を読み出す（ステップＳ１４）。そして、軌跡付加映像生成装置１は、位置変化量算出部３３１によって、ステップＳ１４において読み出された位置情報に基づいて映像オブジェクトの位置の変化量を算出して、この変化量と軌跡画像情報記憶手段３４に記憶された軌跡画像情報３４１とに基づいて、現在軌跡画像の色と形とを設定する（ステップＳ１５）。更に、軌跡付加映像生成装置１は、画像合成手段３５の作画部３５１によって、ステップＳ１４において読み出された位置情報によって示される位置に、ステップＳ１５において設定された現在軌跡画像を作画して（ステップＳ１６）、ステップＳ２４に進む。

一方、過去軌跡画像の合成の指令を入力した場合には（ステップＳ１３でＹｅｓ）、位置情報読み出し部３２１は、指令とともに合成する軌跡の軌跡番号を入力したかを判断する（ステップＳ１７）。

そして、軌跡番号を入力していない場合には（ステップＳ１７でＮｏ）、軌跡付加映像生成装置１は、位置情報読み出し部３２１によって、映像オブジェクト位置情報記憶手段３１から現在フレーム画像の映像オブジェクトの１つ前の軌跡を示す軌跡番号の位置情報と、現在軌跡の最初の映像オブジェクトの位置情報とを読み出し（ステップＳ１８）、ステップＳ２０に進む。また、軌跡番号を入力した場合には（ステップＳ１７でＹｅｓ）、軌跡付加映像生成装置１は、位置情報読み出し部３２１によって、映像オブジェクト位置情報記憶手段３１から、入力された軌跡番号に対応する位置情報と、現在軌跡の最初の映像オブジェクトの位置情報とを読み出す（ステップＳ１９）。そして、軌跡付加映像生成装置１は、付加位置設定部３２２によって、ステップＳ１８又はステップＳ１９において読み出された位置情報に基づいて、現在フレーム画像内に過去軌跡画像を合成する位置を設定する（ステップＳ２０）。

更に、軌跡付加映像生成装置１は、軌跡画像形態設定手段３３の位置変化量算出部３３１によって、映像オブジェクト位置情報記憶手段３１から現在軌跡の位置情報を読み出す（ステップＳ２１）。そして、軌跡付加映像生成装置１は、位置変化量算出部３３１によって、ステップＳ２１において読み出された位置情報によって示される位置に基づいて映像オブジェクトの位置の変化量を算出して、この変化量と軌跡画像情報記憶手段３４に記憶された軌跡画像情報３４１とに基づいて、現在軌跡画像の色と形とを設定するとともに、ステップＳ１８又はステップＳ１９において読み出された位置に基づいて映像オブジェクトの位置の変化量を算出して、この変化量と軌跡画像情報記憶手段３４に記憶された軌跡画像情報３４１とに基づいて、過去軌跡画像の色と形とを設定する（ステップＳ２２）。

続いて、軌跡付加映像生成装置１は、作画部３５１によって、ステップＳ２１において読み出された位置情報によって示される位置に、ステップＳ２２において設定された現在軌跡画像を作画し、ステップＳ２０において設定された位置に、ステップＳ２２において設定された過去軌跡画像を作画する（ステップＳ２３）。更に、軌跡付加映像生成装置１は、合成部３５２によって、ステップＳ１６又はステップＳ２３において作画された画像を、現在フレーム画像に合成する（ステップＳ２４）。

そして、軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０によって、新たなフレーム画像が外部から入力されたかを判断する（ステップＳ２５）。そして、新たな画像が入力された場合には（ステップＳ２５でＹｅｓ）、ステップＳ１０に戻って、入力されたフレーム画像から映像オブジェクトを抽出する映像オブジェクト抽出動作以降の動作を行う。また、新たなフレーム画像が入力されなかった場合には（ステップＳ２５でＮｏ）、そのまま動作を終了する。

［映像オブジェクト抽出動作］
次に図７を参照（適宜図１参照）して、軌跡付加映像生成装置１が映像オブジェクト抽出手段１０（映像オブジェクト検出装置）によって、外部から入力されたフレーム画像から映像オブジェクトを抽出する、映像オブジェクト抽出動作（図６のステップＳ１０）について説明する。

まず、軌跡付加映像生成装置１は、映像オブジェクト抽出手段１０の探索領域設定手段１５によって、位置予測手段１４で、外部から入力されたフレーム画像の２つ前のフレーム画像（抽出対象となるフレーム画像の１つ前のフレーム画像）内の映像オブジェクトの位置から算出された予測位置に基づいて、映像オブジェクトの探索領域を設定する（ステップＳ４０）。なお、抽出対象となるフレーム画像の１つ前のフレーム画像の映像オブジェクトについて、位置予測手段１４によって予測位置が算出されていない場合には、軌跡付加映像生成装置１は、フレーム画像の全領域、あるいは、指定された領域を設定する。そして、軌跡付加映像生成装置１は、オブジェクト候補画像生成手段１１によって、差分画像１及び差分画像２を生成し、外部から入力されたフレーム画像の１つ前のフレーム画像（抽出対象となるフレーム画像）から、ステップＳ４０において設定された探索領域についてオブジェクト候補画像を生成する（ステップＳ４１）。

更に、軌跡付加映像生成装置１は、オブジェクト選定手段１２のラベリング部１２１によって、映像オブジェクトの候補となる領域に対してラベルを付す（ステップＳ４２）。そして、軌跡付加映像生成装置１は、特徴量解析部１２２によって、ステップＳ４２においてラベリングされたラベルに対応する映像オブジェクトの候補の位置と特徴量とを解析する（ステップＳ４３）。続いて、軌跡付加映像生成装置１は、フィルタ処理部１２３によって、ステップＳ４３において解析された特徴量に基づいて、ステップＳ４２においてラベリングされたラベルに対応する映像オブジェクトの候補から抽出対象となる映像オブジェクトを絞り込むフィルタ処理を行う（ステップＳ４４）。ここで、フィルタ処理部１２３は、各々の映像オブジェクトの候補の特徴量が、抽出条件記憶手段１３に記憶されている抽出条件情報１３１によって示される抽出条件に適合するかを判断することで、フィルタ処理を行う。

更に、軌跡付加映像生成装置１は、フィルタ処理部１２３によって、ステップＳ４４において行ったフィルタ処理において、抽出条件に適合する映像オブジェクトがないかを判断する（ステップＳ４５）。そして、抽出条件に適合する映像オブジェクトがない場合には（ステップＳ４５でＹｅｓ）、軌跡付加映像生成装置１は、フィルタ処理部１２３によって、このフレーム画像内には抽出対象となる映像オブジェクトがないと判断して、そのまま動作を終了する。また、抽出条件に適合する映像オブジェクトがある場合には（ステップＳ４５でＮｏ）、軌跡付加映像生成装置１は、オブジェクト選択部１２４によって、ステップＳ４４においてフィルタ処理された、抽出条件に適合する映像オブジェクトの中から、抽出対象となる映像オブジェクトを選択する（ステップＳ４６）。ここで、オブジェクト選択部１２４は、抽出条件に適合する映像オブジェクトのうち、位置予測手段１４によって抽出対象となるフレーム画像の１つ前のフレーム画像の映像オブジェクトの位置から算出された予測位置に最も近い映像オブジェクトを、抽出対象となる映像オブジェクトとして選択する。

そして、軌跡付加映像生成装置１は、ＩＤ番号付加手段１６によって、ステップＳ４６において選択された映像オブジェクトの位置を示す位置情報にＩＤ番号を付加する（ステップＳ４７）。また、軌跡付加映像生成装置１は、位置予測手段１４によって、ステップ４５において選択された映像オブジェクトの位置に基づいて次のフレーム画像における映像オブジェクトの予測位置を算出し（ステップＳ４８）、動作を終了する。なお、ここで算出された予測位置は、探索領域設定手段１５によって、次の抽出対象となるフレーム画像において探索領域を設定する際（ステップＳ４０）と、オブジェクト選定手段１２のオブジェクト選択部１２４によって、次の抽出対象となるフレーム画像において映像オブジェクトを選択する際（ステップＳ４６）に用いられる。

本発明における映像オブジェクト軌跡付加手段を備える軌跡付加映像生成装置の構成を示したブロック図である。本発明における軌跡付加映像生成装置の映像オブジェクト位置情報記憶手段に記憶された位置情報の例を説明するための説明図、（ａ）は、１つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例、（ｂ）は、２つの軌跡の映像オブジェクトの位置情報が入力された場合の、映像オブジェクト位置情報記憶手段に記憶された位置情報の例である。本発明における軌跡付加映像生成装置の付加位置設定部によって、過去軌跡位置を設定する方法の例を説明するための説明図、（ａ）は、位置情報読み出し部によって読み出された過去軌跡の映像オブジェクトの位置情報と、現在軌跡の最初の映像オブジェクトの位置情報によって示される位置を模式的に示した模式図、（ｂ）は、付加位置設定部によって設定された過去軌跡位置を模式的に示した模式図である。本発明における軌跡付加映像生成装置の形態設定部によって設定された現在軌跡画像が合成された現在フレーム画像の例を模式的に示す模式図である。本発明における軌跡付加映像生成装置の形態設定部によって設定された現在軌跡画像と過去軌跡画像とが合成された現在フレーム画像の例を模式的に示す模式図である。本発明における軌跡付加映像生成装置が、フレーム画像から被写体の位置を抽出し、このフレーム画像に現在軌跡を示す現在軌跡画像と過去軌跡を示す過去軌跡画像とを付加した軌跡映像を生成する動作を示したフローチャートである。本発明における軌跡付加映像生成装置の映像オブジェクト抽出手段が、フレーム画像から映像オブジェクトの位置を抽出する動作（映像オブジェクト抽出動作）を示したフローチャートである。

符号の説明

１軌跡付加映像生成装置
１０映像オブジェクト抽出手段（映像オブジェクト検出装置）
２０映像遅延手段
３０映像オブジェクト軌跡付加手段（映像オブジェクト軌跡付加装置）
３１映像オブジェクト位置情報記憶手段（映像オブジェクト位置情報記憶装置）
３２軌跡画像位置設定手段
３３軌跡画像形態設定手段
３５画像合成手段

Claims

所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、
時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する映像オブジェクト検出装置と、
前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する映像遅延手段と、
前記映像オブジェクト検出装置から、前記映像オブジェクトの位置を示す位置情報を入力し、時系列に入力される複数の前記フレーム画像に連続して含まれる前記映像オブジェクトの軌跡を示す軌跡画像を、当該フレーム画像に付加する映像オブジェクト軌跡付加手段と、を備え、
前記映像オブジェクト検出装置は、
前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト選定手段と、を備え、
前記映像オブジェクト軌跡付加手段は、
前記映像オブジェクト検出装置から入力される前記映像オブジェクトの位置情報を記憶する映像オブジェクト位置情報記憶手段と、
前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する軌跡画像情報記憶手段と、
前記映像オブジェクト位置情報記憶手段から前記映像オブジェクトの位置情報を読み出し、当該位置情報によって示される位置に基づいて、前記複数のフレーム画像の映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記軌跡画像の色、形、大きさ、方向を設定する軌跡画像形態設定手段と、
この軌跡画像形態設定手段によって設定された軌跡画像を、前記複数のフレーム画像のうちのひとつのフレーム画像の、前記位置情報によって示される位置に合成する画像合成手段とを備えることを特徴とする軌跡付加映像生成装置。
所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、
時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する映像オブジェクト検出装置と、
前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する映像遅延手段と、
前記映像オブジェクト検出装置から、前記映像オブジェクトの位置を示す位置情報を入力し、時系列に入力される複数の前記フレーム画像に連続して含まれる前記映像オブジェクトの軌跡である過去軌跡を示す軌跡画像である過去軌跡画像と、当該フレーム画像が撮影された位置から撮影された他の複数のフレーム画像に連続して含まれる前記映像オブジェクトの軌跡を示す他フレーム軌跡画像とを、当該他の複数のフレーム画像のうちのひとつのフレーム画像に付加する映像オブジェクト軌跡付加手段と、を備え、
前記映像オブジェクト検出装置は、
前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト選定手段と、を備え、
前記映像オブジェクト軌跡付加手段は、
前記映像オブジェクト検出装置から入力される前記映像オブジェクトの位置情報を、当該映像オブジェクトの軌跡を特定する軌跡情報と対応させて記憶する映像オブジェクト位置情報記憶手段と、
前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する軌跡画像情報記憶手段と、
前記映像オブジェクト位置情報記憶手段から、前記過去軌跡を示す軌跡情報に対応する位置情報である過去軌跡位置情報を読み出して、この過去軌跡位置情報によって示される位置を過去軌跡位置とする軌跡画像位置設定手段と、
前記過去軌跡位置に基づいて、当該映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記軌跡画像の色、形、大きさ、方向を設定するとともに、前記映像オブジェクト位置情報記憶手段から前記他の複数のフレーム画像に連続して含まれる映像オブジェクトの位置情報を読み出し、この位置情報によって示される位置である他フレーム軌跡位置に基づいて、当該映像オブジェクトの位置の変化量を同様に解析して、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて前記他フレーム軌跡画像の色、形、大きさ、方向を設定する軌跡画像形態設定手段と、
前記他の複数のフレーム画像のうちのひとつのフレーム画像の前記過去軌跡位置に、前記軌跡画像形態設定手段によって設定された過去軌跡画像を合成するとともに、当該フレーム画像の前記他フレーム軌跡位置に、前記軌跡画像形態設定手段によって設定された他フレーム軌跡画像を合成する画像合成手段とを備えることを特徴とする軌跡付加映像生成装置。
所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加する軌跡付加映像生成装置であって、
時系列に入力されるフレーム画像ごとの映像オブジェクトの位置を検出する映像オブジェクト検出装置と、
前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する映像遅延手段と、
前記映像オブジェクト検出装置から、前記映像オブジェクトの位置を示す位置情報を入力し、時系列に入力される複数の前記フレーム画像に連続して含まれる前記映像オブジェクトの軌跡である過去軌跡を示す軌跡画像である過去軌跡画像と、当該フレーム画像が撮影された位置から撮影された他の複数のフレーム画像に連続して含まれる前記映像オブジェクトの軌跡を示す他フレーム軌跡画像とを、当該他の複数のフレーム画像のうちのひとつのフレーム画像に付加する映像オブジェクト軌跡付加手段と、を備え、
前記映像オブジェクト検出装置は、
前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段と、
前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト選定手段と、を備え、
前記映像オブジェクト軌跡付加手段は、
前記映像オブジェクト検出装置から入力される前記映像オブジェクトの位置情報を、当該映像オブジェクトの軌跡を特定する軌跡情報と対応させて記憶する映像オブジェクト位置情報記憶手段と、
前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する軌跡画像情報記憶手段と、
前記映像オブジェクト位置情報記憶手段から、前記過去軌跡を示す軌跡情報に対応する位置情報である過去軌跡位置情報と、前記他の複数のフレーム画像の少なくともひとつの映像オブジェクトの位置情報とを読み出して、これらの位置情報に基づいて前記過去軌跡位置情報によって示される位置をシフトさせるシフト量を設定するとともに、前記シフト量だけ当該過去軌跡位置情報によって示される位置をシフトさせた過去軌跡位置を設定する軌跡画像位置設定手段と、
前記過去軌跡位置に基づいて、当該映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記過去軌跡画像の色、形、大きさ、方向を設定するとともに、前記映像オブジェクト位置情報記憶手段から前記他の複数のフレーム画像に連続して含まれる映像オブジェクトの位置情報を読み出し、この位置情報によって示される位置である他フレーム軌跡位置に基づいて、当該映像オブジェクトの位置の変化量を同様に解析して、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて前記他フレーム軌跡画像の色、形、大きさ、方向を設定する軌跡画像形態設定手段と、
前記他の複数のフレーム画像のうちのひとつのフレーム画像の前記過去軌跡位置に、前記軌跡画像形態設定手段によって設定された過去軌跡画像を合成するとともに、当該フレーム画像の前記他フレーム軌跡位置に、前記軌跡画像形態設定手段によって設定された他フレーム軌跡画像を合成する画像合成手段とを備えることを特徴とする軌跡付加映像生成装置。
所定位置に設置されたカメラによって撮影されて入力される映像を構成するフレーム画像から映像オブジェクトを抽出して追跡し、この映像オブジェクトの軌跡を示す軌跡画像を生成し、その後に入力された、同じ位置に設置されたカメラによって撮影されたフレーム画像に前記生成した軌跡画像を付加するために、
前記映像オブジェクト検出装置から入力される前記映像オブジェクトの位置情報を記憶する映像オブジェクト位置情報記憶手段と、
前記映像オブジェクトの動きベクトルの長さが閾値を超えたときに当該映像オブジェクトが高速であることを示すために用いられる軌跡画像の色および形状を示す所定の色及び形状の高速用画像の画像データと、前記動きベクトルの長さが閾値を超えた場合に軌跡画像として用いる前記高速用画像の大きさおよび方向を規定する条件、および、前記動きベクトルの長さが閾値以下である場合に前記オブジェクト選定手段で抽出された特徴量の画像を前記軌跡画像とすることを規定する条件を含む軌跡画像情報とを記憶する軌跡画像情報記憶手段と、を備えたコンピュータを、
前記時系列に入力されるフレーム画像の一部の領域を前記映像オブジェクトの候補として抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成手段、
前記生成されたオブジェクト候補画像の中から、予め定められた抽出条件に基づいて、抽出対象となる映像オブジェクトを選定し、前記選定した映像オブジェクトの位置及び当該映像オブジェクトを特徴付ける特徴量を抽出するオブジェクト選定手段、
前記入力されたフレーム画像を所定数のフレーム分遅延させたフレーム画像である現在フレーム画像を生成する映像遅延手段、
前記映像オブジェクト位置情報記憶手段から前記映像オブジェクトの位置情報を読み出し、当該位置情報によって示される位置に基づいて、前記複数のフレーム画像の映像オブジェクトの位置の変化量として、フレーム画像上における当該映像オブジェクトの位置と、その映像オブジェクトの１つ前のフレーム画像上における映像オブジェクトの位置とから、前記映像オブジェクトの動きベクトルと、この動きベクトルの長さとを算出し、当該変化量と前記軌跡画像情報記憶手段に記憶された軌跡画像情報とに基づいて、前記動きベクトルの長さが所定の閾値を超えているかを判断し、前記軌跡画像の色、形、大きさ、方向を設定する軌跡画像形態設定手段、
この軌跡画像形態設定手段によって設定された軌跡画像を、前記複数のフレーム画像のうちのひとつのフレーム画像の、前記位置情報によって示される位置に合成する画像合成手段として機能させることを特徴とする軌跡付加映像生成プログラム。