JP5035053B2 - ノンリニアビデオ再生制御方法およびノンリニアビデオ再生制御プログラム - Google Patents

Description

本発明は、ユーザがノンリニアビデオ再生で表示されるオブジェクトを直接操作することによってノンリニアビデオ再生を制御することを可能にする対話技法に関する。詳細には、ユーザがノンリニアビデオ再生で表示されるオブジェクトを直接操作することによって該ノンリニアビデオ再生を制御することを可能にする対話技法を用いた方法、ユーザがノンリニアビデオ再生で表示されるオブジェクトを直接操作することによって該ノンリニアビデオ再生を制御することを可能にする対話技法を用いた機能をコンピュータに実行させるプログラム、ユーザがノンリニアビデオ再生におけるテクスチャを有する位置の周囲のオプティカルフローを直接操作することによって該ノンリニアビデオ再生を制御することを可能にする対話技法を用いた方法、ユーザがノンリニアビデオ再生におけるテクスチャを有する位置の周囲のオプティカルフローを直接操作することによって該ノンリニアビデオ再生を制御することを可能にする対話技法を用いた機能をコンピュータに実行させるプログラムに関する。

デジタルビデオの重要な特徴は、所与の作業に最適な様式でのノンリニア再生をサポートすることである。特に、プロセス解析、スポーツ解析、法廷調査業務などの目的の場合には、ビデオのいくつかの部分は短時間にざっとしか見ず、他の部分は何度も繰り返し、様々な速度で、時間的に前進したり後退したりして、再生する場合がある。この微細レベルの制御には、スクラビング（タイムラインまたはスライダに沿ってのマウスモーションでビデオフレーム時刻を制御する方法）が用いられることが多く、これによってユーザは、ビデオにおいてオブジェクトまたは人が特定の注目場所にいたり、特定の様式で動いたりする時点にビデオを綿密に位置決めすることが可能になる。ビデオ「スクラビング」では、ユーザは、スライダに沿ってマウスを動かすことにより、再生時間を調節する。
Ｊ．フーテ（Ｊ．Ｆｏｏｔｅ）ら、「リーチスルースクリーン：遠隔コラボレーションのための新しいメタファー（Ｒｅａｃｈ−ｔｈｒｏｕｇｈ−ｔｈｅ−ｓｃｒｅｅｎ：Ａ Ｎｅｗ Ｍｅｔａｐｈｏｒ ｆｏｒ Ｒｅｍｏｔｅ Ｃｏｌｌａｂｏｒａｔｉｏｎ）」、マルチメディア情報処理における進展（Ａｄｖａｎｃｅｓ ｉｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ）、ＰＣＭ ２００４、ベルリン、２００４年、頁７３〜８０ Ａ．ギルゲンゾーン（Ａ．Ｇｉｒｇｅｎｓｏｈｎ）ら、「セキュリティにおける複数ビデオストリームの効果的使用のサポート（Ｓｕｐｐｏｒｔ ｆｏｒ Ｅｆｆｅｃｔｉｖｅ Ｕｓｅ ｏｆ Ｍｕｌｔｉｐｌｅ Ｖｉｄｅｏ Ｓｔｒｅａｍｓ ｉｎ Ｓｅｃｕｒｉｔｙ）」、ビデオ監視およびセンサーネットワークに関する第４回ＡＣＭ国際ワークショップ予稿（Ｐｒｏｃ． ｏｆ ｔｈｅ Ｆｏｕｒｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ ＆ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋｓ）、カリフォルニア、２００６年１０月 Ｔ．ヤン（Ｔ．Ｙａｎｇ）ら、「複数台のカメラによる室内ビジュアル監視システムにおけるロバストな人物検出および追跡（Ｒｏｂｕｓｔ Ｐｅｏｐｌｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｉｎ ａ Ｍｕｌｔｉ−Ｃａｍｅｒａ Ｉｎｄｏｏｒ Ｖｉｓｕａｌ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」、ＩＣＭＥ ２００７ Ｃ．スタウファー（Ｃ．Ｓｔａｕｆｆｅｒ）ら、「リアルタイム追跡を用いたアクティビティの学習パターン（Ｌｅａｒｎｉｎｇ ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、パターン解析および人工知能に関するＩＥＥＥトランザクション（ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）、２０００年、巻２２、号８、頁７４７〜７５７ Ｒ．クチアラ（Ｒ．Ｃｕｃｃｈｉａｒａ）ら、「室内監視における人物追跡微調整の追跡ベースおよびオブジェクトベース隠れ（Ｔｒａｃｋ−ｂａｓｅｄ ａｎｄ ｏｂｊｅｃｔ−ｂａｓｅｄ ｏｃｃｌｕｓｉｏｎ ｆｏｒ ｐｅｏｐｌｅ ｔｒａｃｋｉｎｇ ｒｅｆｉｎｅｍｅｎｔ ｉｎ ｉｎｄｏｏｒ ｓｕｒｖｅｉｌｌａｎｃｅ）」、ビデオ監視およびセンサーネットワークに関するＡＣＭ第２回国際ワークショップ予稿（Ｐｒｏｃ． ＡＣＭ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ ＆ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋｓ）、２００４年、頁８１〜８７

上記に鑑み、本発明の課題は、ユーザが容易に所望の位置のビデオを再生することができるようにすることである。

ユーザがノンリニアビデオ再生で表示されるオブジェクトを直接操作することによってノンリニアビデオ再生を制御することを可能にする対話技法の方法であって、該方法は、カメラ上を動くオブジェクトを追跡し、ビデオを記録し、記録されたビデオに対応する動くオブジェクトのオブジェクト痕跡を作成し、ユーザがオブジェクト痕跡内の位置を選択することを可能にし、オブジェクト痕跡内の選択された位置に対応する記録されたビデオのフレームを表示する。

本発明の第１の態様は、ユーザがノンリニアビデオ再生で表示装置に表示されるオブジェクトを直接操作することによって該ノンリニアビデオ再生を制御する方法であって、カメラ視野内を動くオブジェクトを追跡し、前記オブジェクトを含むビデオを記録し、前記記録されたビデオに対応する、前記動くオブジェクトのオブジェクト痕跡を生成し、前記ユーザが前記オブジェクト痕跡内の位置を選択することを可能にし、前記オブジェクト痕跡内の前記選択された位置に対応する、前記記録されたビデオを前記表示装置に表示する。

本発明の第２の態様は、第１の態様のノンリニアビデオ再生制御方法であって、前記オブジェクト痕跡を表示装置に表示する、ことをさらに含む。

本発明の第３の態様は、第１の態様のノンリニアビデオ再生制御方法であって、前記ユーザが、ポインティングデバイスを用いて、前記表示装置に表示された前記記録されたビデオの中で前記オブジェクト痕跡に沿って前記オブジェクトをドラッグするのに応じて前記オブジェクト痕跡の位置に対応する前記ビデオを前記表示装置に表示する、ことをさらに含む。

本発明の第４の態様は、第１の態様のノンリニアビデオ再生制御方法であって、前記対話技法はビデオ追跡システムに依存し、前記ビデオ追跡システムは、固定カメラでオブジェクトを追跡し、前記オブジェクトを三次元空間にマッピングし、カメラ間のハンドオフを処理する。

本発明の第５の態様は、第４の態様のノンリニアビデオ再生制御方法であって、前記ユーザは、前記表示装置に表示されたアイコンによるオブジェクト表現を間取り図上でドラッグすることが可能である。

本発明の第６の態様は、第５の態様のノンリニアビデオ再生制御方法であって、最良のビデオ表示がドラッグ対象オブジェクトとして選択される。

本発明の第７の態様は、第１の態様のノンリニアビデオ再生制御方法であって、複数のカメラにまたがる追跡を可能にするためにワールドジオメトリが用いられる。

本発明の第８の態様は、第１の態様のノンリニアビデオ再生制御方法であって、メタデータが、前記ビデオ内の人物およびオブジェクトの痕跡を定義する。

本発明の第９の態様は、第１の態様のノンリニアビデオ再生制御方法であって、各フレーム時刻において、各追跡対象オブジェクトが、イメージ領域バウンディングボックスに関連付けられ、前記関連付けが、前記追跡対象オブジェクトの識別子とともにデータベースに入力される。

本発明の第１０の態様は、第１の態様のノンリニアビデオ再生制御方法であって、単一カメラビデオ解析用に人物を背景からセグメンテーションするために、画素レベルの背景モデリングにガウス混合分布モデル方式が用いられる。

本発明の第１１の態様は、第１の態様のノンリニアビデオ再生制御方法であって、前景画素の候補集合を決定するために、各画素の周囲の前景密度を解析し、積分画像方法を用いて計算した正規化相互相関を使用して、近傍画像から差を求めることによって、前景セグメンテーションがなされる。

本発明の第１２の態様は、第１の態様のノンリニアビデオ再生制御方法であって、データ関連付けモジュールにおける単一カメラ追跡のために、１つのオブジェクトと他のオブジェクトとの相互作用を分類するために、対応行列が使用される。

本発明の第１３の態様は、第１２の態様のノンリニアビデオ再生制御方法であって、分類は、発生、消滅、存続、結合、分裂、を含む。

本発明の第１４の態様は、第１の態様のノンリニアビデオ再生制御方法であって、外観の特徴を使用する、追跡ベースのベイズのセグメンテーションアルゴリズムにより、隠れ近くの同一性の維持が行われる。

本発明の第１５の態様は、第１３の態様のノンリニアビデオ再生制御方法であって、結合および分裂はデータベースに入力される。

本発明の第１６の態様は、ユーザがノンリニアビデオ再生で表示装置に表示されるオブジェクトを直接操作することによって該ノンリニアビデオ再生を制御する機能をコンピュータに実行させるためのプログラムであって、前記機能は、カメラ視野内を動くオブジェクトを追跡し、前記オブジェクトを含むビデオを記録し、前記記録されたビデオに対応する、前記動くオブジェクトのオブジェクト痕跡を生成し、前記ユーザが前記オブジェクト痕跡内の位置を選択することを可能にし、前記オブジェクト痕跡内の前記選択された位置に対応する、前記記録されたビデオを前記表示装置に表示する、ことを含む。

第１６の態様のノンリニアビデオ再生制御プログラムにおいて、前記機能は、前記オブジェクト痕跡をユーザに対して表示する、ことをさらに含んでもよい。

本発明の第１７の態様は、第１６の態様のノンリニアビデオ再生制御プログラムであって、前記機能は、前記ユーザが、ポインティングデバイスを用いて、前記表示装置に表示された前記記録されたビデオの中で前記オブジェクト痕跡に沿って前記オブジェクトをドラッグするのに応じて前記オブジェクト痕跡の位置に対応する前記ビデオの中の前記オブジェクトを前記表示装置に表示する、ことをさらに含む。

本発明の第１８の態様は、第１６の態様のノンリニアビデオ再生制御プログラムであって、前記対話技法はビデオ追跡システムに依存し、前記ビデオ追跡システムは、固定カメラでオブジェクトを追跡し、前記オブジェクトを三次元空間にマッピングし、カメラ間のハンドオフを処理する。

本発明の第１９の態様は、第１６の態様のノンリニアビデオ再生制御プログラムであって、前記ユーザは、前記表示装置に表示されたアイコンによるオブジェクト表現を間取り図上でドラッグすることが可能である。

第１６の態様のノンリニアビデオ再生制御プログラムにおいて、最良のビデオ表示がドラッグ対象オブジェクトとして選択されるようにしてもよい。

第１６の態様のノンリニアビデオ再生制御プログラムにおいて、複数のカメラにまたがる追跡を可能にするためにワールドジオメトリが用いられてもよい。

本発明の第２０の態様は、ユーザがノンリニアビデオ再生で表示装置に表示されるテクスチャを有する位置の周囲のオプティカルフローを直接操作することによって該ノンリニアビデオ再生を制御する方法であって、前記テクスチャを画像に含むビデオを記録し、前記記録されたビデオに対応する、テクスチャを有する位置の周囲にオプティカルフローを生成し、前記ユーザが前記オプティカルフロー内の位置を選択することを可能にし、前記オプティカルフロー内の前記選択された位置に対応する、前記記録されたビデオを前記表示装置に表示する。

本発明の第２１の態様は、ユーザがノンリニアビデオ再生で表示装置に表示されるテクスチャを有する位置の周囲のオプティカルフローを直接操作することによって該ノンリニアビデオ再生を制御する機能をコンピュータに実行させるためのプログラムであって、前記機能は、前記テクスチャを画像に含むビデオを記録し、前記記録されたビデオに対応する、テクスチャを有する位置の周囲にオプティカルフローを生成し、前記ユーザが前記オプティカルフロー内の位置を選択することを可能にし、前記オプティカルフロー内の前記選択された位置に対応する、前記記録されたビデオを前記表示装置に表示する、ことを含む。

本発明は、カメラ視野内を動くオブジェクトを追跡し、ビデオを記録し、前記記録されたビデオに対応する、前記動くオブジェクトのオブジェクト痕跡を生成し、前記ユーザが前記オブジェクト痕跡内の位置を選択することを可能にし、前記オブジェクト痕跡内の前記選択された位置に対応する、前記記録されたビデオの中の位置を表示する、ようにしている。本発明では、これにより、ユーザが容易に所望の位置のビデオを再生することができる。

本発明の好ましい実施形態を、添付図面に基づき、詳細に説明する。

本発明の一実施形態は、ユーザがノンリニアビデオ再生で表示されるオブジェクトを直接操作することによってノンリニアビデオ再生を制御することを可能にする対話技法である。本発明の各実施形態は、ユーザが関心対象オブジェクトに集中でき、オブジェクトが表示内にどれだけ長く留まるかを推測する必要がないという点で、可変スケールスクラビングより優れている。この対話技法は、固定カメラでオブジェクトを追跡し、それらのオブジェクトを三次元（３Ｄ）空間にマッピングし、カメラ間でのハンドオフ(hand-off)を処理する、ビデオ追跡システムに依存する。ユーザは、可視オブジェクトをビデオウィンドウ内でドラッグすることのほかに、アイコンによるオブジェクト表現を間取り図上でドラッグすることも可能である。その場合、最良のビデオ表示がドラッグ対象オブジェクトのために選択される。

スクラビングやオフスピード再生（スローモーションや早送り）は、有用であるが、制限がある。具体的には、１つの再生速度またはマウスモーションを時間変化にマッピングする１つのスケールファクターが、すべての作業またはビデオのすべての部分に適切であるということはない。再生速度制御や、タイムラインのすべてまたは一部をズームインする機能は便利であるが、煩雑になり、手元の作業から注意を削がれる可能性がある。ユーザは、自分の目に見えるものを直接制御する代わりに、インターフェースの制御機能に焦点を置くことに時間を費やす。一部の研究者らが、ビデオの各時点における動きの量または新しい情報によって速度が自動的に決定される可変速度再生を用いて、この問題に対処しようとした。これらの方式は、時刻ｔから何らかの関数ｓ（ｔ）への再インデックス付けとして考えることができる（ここで、例えば、ｓ（ｔ）は、時刻ｔによる累積情報、すなわち、追跡対象オブジェクトが動いた距離である）。本出願人らは、そのような方式を、ユーザがタイムスライダに加えて、ｓ用の別のスライダを与えられる、可変スケールスクラビングについて実験した。様々な変化の測度があるので、または様々なオブジェクトを追跡することが可能なので、複数のスライダを提供することができる。

しかしながら、複数のスライダによる間接的なスクラビング制御よりも、リーチスルースクリーン(reach-through-the screen)メタファー（すなわち、単純に、ユーザがオブジェクトをそれらの痕跡（オブジェクトの移動経路を示す）に沿って直接つかんで動かすことを可能にすること）に基づくインターフェースの方が、より自然である。（非特許文献１を参照されたい。）図１は本発明の実施形態を示し、ここでは、ユーザは、ビデオウィンドウ１１６、または、人物の位置をアイコンで概略的に示した間取り図１０８において、直接、オブジェクトをつかみ、それらの痕跡に沿って動かすことが可能である。例えば、監視ビデオを吟味しているユーザが、人物１０４をその痕跡１００に沿ってドラッグして任意の所与の時点におけるビデオを再生したり、図３に示されるように、駐車中の自動車３０６をドラッグして、ビデオ内の、その自動車が駐車した時点、または去った時点まで動かしたりすることが可能である。このインターフェースの作用は、ユーザの経験を、時間ベースのビデオを受動的に見ることから、そのビデオと直接的にインターフェースすることにシフトすることである。動くオブジェクト１０４（この例では人物１０４）の周囲のボックス１０２は、ユーザが、動くオブジェクト１０４をビデオの背景から分離することを支援する。間取り図１０８は、動くオブジェクト１１２、オブジェクト痕跡１１０、およびカメラの視野角１０６および１１４を示している。ユーザインターフェースはさらに、１１６のような、動くオブジェクトの他のカメラ表示を示す。

図５では、間取り図５０２の全体にわたって多数のカメラ５００が配置されている。ユーザが、動くオブジェクトを最適な角度から見ることができるように、最適なカメラ５０６（の画像）が拡大されている。図６の間取り図は、動くオブジェクト６００のオブジェクト痕跡を示す。

本発明の実施形態において自動的であるプロセスとしては、追跡とラベル付けがある。本発明の各実施形態では、複数のカメラにまたがる追跡を可能にするワールドジオメトリ(world geometry、世界座標系：空間全体を表現するために用いられる座標系)を用いる。

直接ビデオ操作方法のいくつかの実施形態は、ビデオ内の人物およびオブジェクトの痕跡を定義するメタデータを必要とする。さらに、間取り図の操作、および複数のカメラにまたがる操作は、オブジェクトの複数カメラ間での関連付け、ならびに、一部の実施形態の場合は、ワールド座標軌跡(world coordinate trajectories)間での関連付けを必要とする。このメタデータは、様々な手段で取得可能である。一実施形態では、メタデータを取得するために、富士ゼロックス株式会社（Ｆｕｊｉ Ｘｅｒｏｘ Ｃｏ．，Ｌｔｄ．）で開発された、ＤＯＴＳ（動的オブジェクト追跡システム（Ｄｙｎａｍｉｃ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ））と呼ばれるビデオシステムを使用する。（非特許文献２を参照されたい。）一実施形態の全体的なシステムアーキテクチャを図２に示す。このアーキテクチャは、ビデオキャプチャ（すなわちライブカメラ）２１４またはインポート（すなわちビデオ記録）（手段）２１６、ビデオ解析（手段）２０６、およびユーザインターフェース２１８すなわち再生ツールからなる。解析は、セグメンテーション（手段）２００、単一カメラ追跡（手段）２０２、およびカメラ間融合（手段）２０４からなる。記憶手段２１０は、リレーショナルデータベース２０８およびデジタルビデオレコーダ２１２からなる。ユーザインターフェース２１８は、ビデオウィンドウ２２０、間取り図表示２２２、タイムライン２２４、およびマウスマッピング２２６からなる。いくつかの実施形態で用いられる解析アルゴリズムの詳細については、非特許文献３を参照されたい。

代替的な実施形態のシステムアーキテクチャを図７に示す。このアーキテクチャは、ライブカメラ７００、ビデオ記録（手段）７０２、解析（手段）７０４、データベース７０６、デジタルビデオレコーダー７０８、ユーザインターフェース７１０、および痕跡制御解析（手段）７１２からなる。

本発明は、図２および図７に示した例示的なシステムアーキテクチャに限定されるものではない。図２におけるビデオ解析２０６、記憶手段２１０、ビデオ記録２１６、図７におけるビデオ記録７０２、解析７０４、痕跡制御解析７１２などは別個のハードウェアであってもよいし、同一のハードウェアに含まれる構成要素であってもよい。また、本願発明はソフトウェア（プログラム）であってもよく、該プログラムは、たとえば、コンピュータに本発明の機能を実行させるものであってもよい。さらに、本発明は、ハードウェアとソフトウェアとの組み合わせによって実施されることもできる。

「単一カメラによるビデオ解析」
この解析の要件は、インデックス付けに適したオブジェクト追跡を生成することである。各フレーム時刻ｔにおいて、各追跡対象オブジェクトは、イメージ領域バウンディングボックスに関連付けられ、この関連付けが、そのオブジェクトの識別子とともにデータベースに入力される。

第１の処理ステップは、人物を背景からセグメンテーション（分離）することである。画素レベルの背景モデリングには、ガウス混合分布モデル方式が用いられる。（非特許文献４を参照されたい。）影、類似色、および照明の変化に対してロバストな前景セグメンテーションとして、新規な特徴レベル減算方式が用いられる。まず、各画素の周囲の前景密度を使用して、前景画素の候補集合を決定する。次に、各画素の輝度値の差を比較する代わりに、積分画像方法(integral image method)を用いて計算された正規化相互相関を使用して、近傍画像から差を求める。

データ関連付けモジュールにおける単一カメラ追跡の場合は、対応行列を使用して、オブジェクトの、他のオブジェクトとの相互作用を、「発生」、「消滅」、「存続」、「結合」、「分裂」の５つのクラスに分類する。（非特許文献５を参照されたい。）外観の特徴を使用する、追跡ベースのベイズセグメンテーションアルゴリズムにより、隠れ(occlusion)の同一性の維持が行われる。追跡対象オブジェクトの領域（ｒｅｇｉｏｎ）が結合されて新しい領域が形成され、その後、分裂して他の領域が形成される場合に、どの未来の領域が末裔であり、したがって、追跡対象オブジェクトであるべき候補であるかを決定することが可能であるように、「結合」および「分裂」は、データベースに入力される。ある領域が複数の領域に分裂した場合、元の領域は、分裂した各領域の親としてデータベースに入力される。同様に、複数の領域が結合して新しい領域ができた場合、元の各領域は、新しい領域の親として入力される。親（ｐＲｅｇｉｏｎ，ｃＲｅｇｉｏｎ）関係は、領域についての部分的な順序を定義する。親（．，．）の推移閉包は、領域ａＲｅｇｉｏｎが末裔領域ｄＲｅｇｉｏｎの祖先であることを示す、祖先（ａＲｅｇｉｏｎ，ｄＲｅｇｉｏｎ）関係を定義する。祖先関係の意義は、ｄＲｅｇｉｏｎが、ａＲｅｇｉｏｎと同じオブジェクトの観察であるという可能性を示すことである。

「複数カメラおよび間取り図ベースの追跡」
複数の異なるビデオ表示にまたがる操作、または概略間取り図上での操作をサポートするために、一実施形態では、オブジェクト位置をビデオからワールド座標にマッピングし、複数カメラにまたがるオブジェクト同士の関連付けを決定する。一実施形態では、カメラは、天井近くに取り付けられ、斜め下向きの視野を有する。ワールド位置の推定は、バウンディングボックスの底部が、床面上の位置からであるという前提に基づく。無意味な結果（例えば、結果として得られるワールド座標が壁によって隠される、という結果）を除外するために、ビルディングジオメトリ(building geometry)のモデルが用いられる。

カメラ間のオブジェクトの関連付けは、観察Ｏに対するＨの事後確率Ｐ（Ｈ｜Ｏ）を最大にするワールドオブジェクト軌跡の仮定Ｈを探すことによって処理される（Ｏは、すべてのカメラにおけるすべての追跡対象オブジェクトの領域の集合である）。これは、Ｈに対してＰ（Ｏ｜Ｈ）Ｐ（Ｈ）を最大にすることと等価である。事前のＰ（Ｈ）は、オブジェクトの発生および消滅に関して、ガウスマルコフオブジェクトダイナミクスモデルおよび学習済み確率を取り入れる。Ｐ（Ｏ｜Ｈ）は、所与のイメージ位置において追跡されている所与のワールド位置におけるオブジェクトについてのガウス誤差モデルに基づく。融合の結果が、追跡対象オブジェクトについてのワールド軌跡の推定、およびイメージ内のオブジェクトと追跡対象領域との関連付けである。

「ユーザインターフェースのコンポーネント」
ユーザインターフェースのコンポーネントとしては、様々な解像度のビデオ表示を結合するマルチストリームビデオプレーヤ、カメラおよび追跡対象オブジェクトの位置を示すマップ、すべてのビデオ表示を同期制御するタイムラインなどがある。（非特許文献２を参照されたい。）本システムは、ビデオ表示を自動的に選択し、より重要な表示（例えば、追跡対象オブジェクトをよりよく示す表示（図１を参照））を拡大する。

「オブジェクトの直接操作」
各実施形態は、単一カメラ視野においても、間取り図においても、オブジェクト痕跡情報が与えられた場合に、マウスを使用してオブジェクトをそれらの痕跡上の様々な位置に動かすことをサポートする。これにより、ユーザによって選択された位置をオブジェクトが占有した時点にビデオ再生位置が設定されるように、すべてのビデオ表示のビデオ再生位置が制御される。

何れかの表示においてオブジェクトをクリックすると、そのオブジェクトが選択され、その軌跡が表示される。マウスのクリックがオブジェクトの上ではなかった場合、本システムは、そのクリックの近傍の候補軌跡の集合を決定する。ユーザは、素早く複数回クリックして候補を循環することにより、候補を選択することが可能である。オブジェクトを選択したら、それを別の位置までドラッグすることが可能である。オブジェクトの動きは、オブジェクトがある時点で観察された場所にのみ動くことが可能であるように、オブジェクト痕跡によって制限される。

オブジェクトがそれ自体の痕跡と交差する状況、またはオブジェクトがループを描いて戻る状況では、オブジェクトがマウス位置に最も近づいた時点を選択することは、望ましくない結果になる可能性がある。そのような場合、本方法では、ポインタに最も近い場所が、オブジェクトの追跡の異なる場所の間でジャンプするので、再生に不連続が生じる。さらに、オブジェクトが、その経路を再トレースし始める場所に達したときに、ポインタをドラッグして戻すことは、時間的に順方向へのスクラビングを指定するのか、逆方向へのスクラビングを指定するのかが曖昧になる。

これらの問題を解決するために、位置および時間の重み付け距離と、単一ドラッグイベントの間に時間方向を変更するコストとを含む距離関数を用いる。図１０に示されるように、式（１）は、オブジェクト位置ｐ_o、マウス位置ｐ_m、オブジェクト時刻ｔ_o、およびビデオ時刻ｔ_vについて距離を決定する。オブジェクト時刻ｔ_vが再生方向を逆方向にする場合は、定数ｃ₃が加算される。ｐ_mへのマウスの動きに応答して、ビデオ時刻は、ｔ_vから、ｄを最小化するｔ₀に変更される。
この方式の１つの問題は、再生の時間および／または方向を変更することに関連するコストを克服するために、ユーザがカーソルをかなり遠くまでドラッグしなければならない場合があることである。これを克服するために、新しいビデオフレームが表示されていない間は、ｃ₁の値を０．５秒おきに倍にする。

ビデオ内のどのオブジェクトをドラッグすることが可能か、および、それらをどの位置までドラッグすることが可能かをユーザに示すために、表示内にオブジェクト痕跡を示すことが可能である。個々のビデオおよび作業に応じて、全時間にわたってすべての痕跡を表示すること、現在の再生時点で可視であるオブジェクトのみの痕跡を表示すること、現在ドラッグ中のオブジェクトのみの痕跡を表示すること、または現在マウスの下にあるオブジェクトの痕跡を表示することが適切である。また、複雑なシーンの場合には、未来または過去への一定時間の間、痕跡の一部だけを表示することが望ましい場合もある。これらの設定は、構成可能であり、キーを押すことで一時的に無効にすることが可能である。

「ビデオウィンドウ内での直接操作」
ビデオ表示および間取り図では、先導(trailblazing)インターフェース方法を用いることが可能である。しかしながら、アプリケーションによっては、カメラのキャリブレーションができないか、カメラ間融合を伴うロバストな追跡解析を行うにはシーンが複雑すぎるという理由で、間取り図を利用できない場合がある。これに対し、本方法は、そのような場合でもビデオウィンドウに適用することが可能である。

本方法は、異なる複数のオブジェクトが、様々なタイミングで、大きく変化するタイムスケールで動いている場合に、特に有効である。（ＰＥＴＳ ２０００テストセットからの）図３のシーンは、歩行者３０２、動いている自動車３０４、および駐車している自動車３０６を含む。ユーザが歩行者３０２を痕跡３０８に沿う任意の位置までドラッグすると、白い自動車３０４が素早く動くのが見られる。さらに、ユーザは、駐車している自動車３０６を、それが駐車した時点まで戻したり、その場所から動き出す時点まで進めたりすることが可能である。

シーンが複雑なために、追跡がオブジェクトの同一性をロバストに維持できない場合や、隠れによって領域が結合または分裂する場合でも、祖先チェーンを使用することにより、本方法を効果的に用いることが可能である。図４では、カメラ視野内に多数の動くオブジェクト（このケースでは、サッカー選手４００）が存在し、それぞれが独自のオブジェクト痕跡を有するが、見やすさのために、それらのオブジェクト痕跡は、ディスプレイスクリーン上に表示されていない。図８に示されたサッカーのシーンでは、２人の選手８００が互いに近接して動き、追跡アルゴリズムは、彼らの領域を結合している。その選手らの上にマウスを置くと、結合された追跡領域８０２と、未来および過去への数秒の間の経路８０２、８０６とが表示される。ユーザは、経路に沿ってドラッグして戻ることが可能であり、結合された選手らのいずれかの痕跡に沿う位置までマウスが動くと、ビデオは、その選手が所望の位置にいる時点まで動く。多くの場合、ユーザは、マウスでオブジェクトをドラッグすると、オブジェクトを追跡する領域が８０４および８０６に分裂する時点（例えば、選手らが互いに近接して歩いていて、トラッカによって単一領域にまとめられていたのが、それぞれに分かれる時点）に達する。この場合、ユーザは、ユーザが追従したいオブジェクトの方の経路に沿って、自由にマウスをドラッグすることが可能であり、再生時間はそれに応じて設定される。

「ビデオ内のオプティカルフローベースのドラッグ」
ビデオをスクラビングする基本的な方法は、オブジェクト追跡が不可能な場合でも用いることが可能である。オプティカルフローを用いて、テクスチャを有するイメージの様々な位置におけるフローベクトルを（例えば、ＯｐｅｎＣＶにあるＬｕｃａｓ−Ｋａｎａｄｅトラッカを用いて）計算することが可能である。その位置の周囲のオプティカルフロー、またはテクスチャを有する近傍位置におけるオプティカルフローによって、「局所位置軌跡」を決定することが可能である。マウスをドラッグすると、マウスモーションと近傍オプティカルフローとの内積(inner-product)で決定される速度(rate)で時間が動く。フローの方向にドラッグすると、ビデオは順方向に動き、ドラッグして戻ると、ビデオは逆方向に動く。本方法は、カメラが固定されていない場合でも用いることが可能である。例えば、カメラを３６０度にわたってゆっくりパンすることによって生成されるパノラマビデオを考える。ビデオ再生の直接操作制御は、ＱｕｉｃｋＴｉｍｅ ＶＲ （「ＱＴＶＲ」）のようなパノラマイメージビューアで表示をドラッグすることと非常によく似た体験をユーザに与え、なおかつ、パノラマを生成するためのイメージの継ぎ目や曲げをまったく必要としない。同様に、カメラを中心位置に向けて、そのまわりを動かすことによってビデオが収録された場合、このビデオをスクラビングする方法は、ＱＴＶＲでオブジェクトムービーを見ることとよく似た体験をユーザに与える。

「間取り図内での直接操作」
オブジェクトを、その位置の移動に基づいてマップ上でドラッグすることは、ビデオとの対話の別の自然な様式である。オブジェクトが、その痕跡に沿う様々な位置に置かれると、すべてのビデオ表示の再生位置が、対応する時点までスキップされる。使用可能なすべてのビデオ視野のうちの、表示されるビデオ視野は、最良として選択されたオブジェクト１０２を示す（図１）。この最良のビデオ視野は、より大きなサイズで表示される。オブジェクトをドラッグすると、ビデオ視野は入れ替わる。時刻が変化するにつれ、小さいウィンドウ（例えば、１１６）が拡大され、（拡大されていたウィンドウが）縮小されることが可能である。

間取り図は、複数のビデオ表示を結びつける。間取り図内または単一ビデオ表示内でオブジェクトをドラッグすることに加えて、ビデオ表示同士の間で、または間取り図からビデオ表示へ、オブジェクトをドラッグすることも可能である。本システムはこれを、ドラッグ操作の最終位置における目的のビデオ表示においてオブジェクトが可視である時点を検出するための要求として解釈する。

「候補痕跡からの選択」
多くの場合は、オブジェクトが特定の位置に到達した時点を特定すること、またはその位置の側にあったすべてのオブジェクトを表示することが望ましい。ユーザは、選択されたオブジェクトをドラッグすることのほかに、オブジェクトによって占有されていない場所をクリックすることも可能である。これによって、選択されたオブジェクトが、選択された場所に近づく。オブジェクトが選択されていなかった場合は、その位置の側にあったオブジェクトのうちの１つが選択される。同じ場所を繰り返しクリックすると、候補の時刻およびオブジェクトが循環する。

ある場所を右クリックすると、候補を提示する円形のメニューが表示される（図９を参照）。候補ごとに、見やすいようにビデオイメージがトリミングされた、オブジェクトの概略が表示される。廊下１(hall01)のカメラの、異なる時点が、９００、９０２、および９０６として表示され、廊下４(hall04)のカメラの異なる時点が、９０４および９０８として表示されている。候補の１つが選択された後に、対応するオブジェクトが選択され、ビデオ表示は、対応する時点までスキップされる。

直接操作により再生を制御することが可能であり、これは、本質的には、オブジェクトの動きについてのメタデータをデータベースに照会することに対応する（ただし、重要なこととして、ユーザは、それをデータベースアクセスまたは照会を行うことと考えず、単純に、自分が見たいものを直接指定している）。ここまで述べてきた照会は、データベースを変更しないという点において、すべて「読み出し照会」である。これらの方法のいくつかは、データベースがどのように変更されるべきかを、ユーザが指定することを可能にするために用いられることも可能である。例えば、トラッカが、追跡対象オブジェクトの同一性を正確に維持することはできないが、従属チェーン（すなわち、先述の祖先関係）を維持する程度にシーンが複雑である状況を考える。ユーザは、追従したい人物に対応する、ビデオ内のオブジェクトをドラッグすることが可能である。関心対象の人物が他の人物に近づいて、それらの人物の追跡対象領域が結合して１つのグループになった場合、ユーザは、関心対象人物がそのグループを離れるまでそのグループを、ドラッグし続けることが可能である。グループを離れる痕跡が複数ある位置でも、多くの場合、ユーザは、どれが関心対象人物かを見分けることが可能である。その痕跡に沿ってドラッグすることにより、ユーザは、暗黙のうちに、それが関心対象人物であると主張する。これを用いて、データベースを、正しい同一性メタデータで更新することが可能である。当然のことながら、本システムは、ユーザがデータベースを誤って修正しないように、ユーザがそのような主張をすることを、ユーザが明示的に指定するメカニズムを提供することが可能である。例えば、メタキーを押しながらドラッグすることを、ユーザが単一人物の痕跡を主張することを指定するコマンドにすることが可能である。

一実施形態は、ユーザが、ビデオ内に表示されたオブジェクトを直接操作することによってビデオ再生を制御することを可能にするシステムである。この対話技法は、タイムライン上のスライダをドラッグすることによってビデオ内をスクラビングすることに対し、複数の有利点がある。第１に、追跡対象オブジェクトが様々な速度で動く可能性があるので（例えば、歩行者と自動車）、ユーザは、スライダではなくオブジェクトを直接操作するのがより自然である。第２に、スライダは、長いビデオに対して、十分微細な制御を行うことができない。第３に、オブジェクトが可視である関心間隔の初めと終わりがユーザにとって明白である。最後に、本技法を、検索（例えば、人物が特定の場所にいた時刻のチェック、またはその場所の側にいたすべての人物の検出）の手段として用いることも可能である。本システムは、追跡に依拠しているが、追跡対象オブジェクトの祖先のチェーンを通してオブジェクトの結合および分裂を扱う。

本発明の実施形態の先述の説明は、例示および説明を目的として行われたものである。網羅的であることも、本発明を開示された厳密な形式に限定することも意図されていない。当業者であれば、様々な修正および変形形態が自明であろう。例えば、開示された本発明の実施形態において実施されるステップは、別の順序で実施されても良く、特定のステップを省略してもよく、新たなステップを追加してもよい。実施形態は、本発明の原理とその実用的応用とを最もよく説明し、それによって、他の当業者が、本発明の各種実施形態ならびに想定される特定用途に適した各種変形形態を理解することを可能にするために、選択および説明されている。本発明の範囲は、特許請求項およびそれらの均等物によって定義されるものとする。

「優先権の主張」
本出願は、参照により本明細書に組み込まれている、２００７年４月１８日に出願された米国特許仮出願第６０／９１２，６６２号（名称「オブジェクト痕跡の直接操作によるビデオ制御システム（ＳＹＳＴＥＭ ＦＯＲ ＶＩＤＥＯ ＣＯＮＴＲＯＬ ＢＹ ＤＩＲＥＣＴ ＭＡＮＩＰＵＬＡＴＩＯＮ ＯＦ ＯＢＪＥＣＴ ＴＲＡＩＬＳ）」、発明者：ドナルド・Ｇ．キンバー（Ｄｏｎａｌｄ Ｇ．Ｋｉｍｂｅｒ）ら）の優先権を主張するものである。

廊下を通って動く人物を追跡する一実施形態の例を示す図である。 一実施形態のシステムアーキテクチャを示す図である。 ２台の自動車および歩行者を追跡する一実施形態の例を示す図である。 サッカー場にいる複数の人物を追跡する例を示す図である。 複数の異なる廊下からのビデオを表示する一実施形態の例を示す図である。 間取り図およびカメラ位置の例を示す図である。 一実施形態のシステムアーキテクチャを示す図である。 一実施形態の例を示す図である。 複数の異なる廊下からのビデオを表示する一実施形態の例を示す図である。 位置および時間の重み付け距離と、単一ドラッグイベントの間に時間方向を変更するコストと、を含む距離関数を示す図である。

符号の説明

２００ セグメンテーション
２０２ 単一カメラ追跡
２０４ カメラ間融合
２０６ 解析
２０８ リレーショナルデータベース
２１０ 記憶手段
２１２ デジタルビデオレコーダ
２１４ ライブカメラ
２１６ ビデオ記録
２１８ ユーザインターフェース
２２０ ビデオウィンドウ
２２２ 間取り図
２２４ タイムライン
２２６ マウスマッピング

Claims (18)

1. ユーザがノンリニアビデオ再生で表示装置に表示されるオブジェクトを直接操作することによって該ノンリニアビデオ再生を制御する方法であって、
   カメラ視野内を動くオブジェクトを追跡し、
   前記オブジェクトを含むビデオを記録し、
   前記記録されたビデオに対応する、前記動くオブジェクトのオブジェクト痕跡を生成し、
   前記オブジェクト痕跡を前記表示装置に表示し、
   前記ユーザが、ポインティングデバイスを用いて、前記表示装置に表示された前記記録されたビデオの中で前記オブジェクト痕跡に沿ってドラッグした際に、当該ポインティングデバイスによる位置と当該痕跡上のオブジェクト位置との間の重み付け距離、当該オブジェクト位置におけるビデオの時刻と再生中のビデオの時刻との間の重み付け距離および時間方向を変更するコストを含む距離関数を最小化するオブジェクト位置を求めることにより、前記ユーザが前記オブジェクトの前記オブジェクト痕跡内の位置を選択することを可能にし、
   前記オブジェクト痕跡内の前記選択された位置に対応する、前記記録されたビデオを前記表示装置に表示する、
   ノンリニアビデオ再生制御方法。
2. 前記ユーザが、ポインティングデバイスを用いて、前記表示装置に表示された前記記録されたビデオの中で前記オブジェクト痕跡に沿って前記オブジェクトをドラッグするのに応じて前記オブジェクト痕跡の位置に対応する前記ビデオを前記表示装置に表示する、ことをさらに含む、請求項１に記載のノンリニアビデオ再生制御方法。
3. 前記対話技法はビデオ追跡システムに依存し、
   前記ビデオ追跡システムは、
   固定カメラでオブジェクトを追跡し、
   前記オブジェクトを三次元空間にマッピングし、
   カメラ間のハンドオフを処理する、
   請求項１に記載のノンリニアビデオ再生制御方法。
4. 前記ユーザは、前記表示装置に表示されたアイコンによるオブジェクト表現を間取り図上でドラッグすることが可能である、請求項３に記載のノンリニアビデオ再生制御方法。
5. 最良のビデオ表示がドラッグ対象オブジェクトとして選択される、請求項４に記載のノンリニアビデオ再生制御方法。
6. 複数のカメラにまたがる追跡を可能にするためにワールドジオメトリが用いられる、請求項１に記載のノンリニアビデオ再生制御方法。
7. メタデータが、前記ビデオ内の人物およびオブジェクトの痕跡を定義する、請求項１に記載のノンリニアビデオ再生制御方法。
8. 各フレーム時刻において、各追跡対象オブジェクトが、イメージ領域バウンディングボックスに関連付けられ、
   前記関連付けが、前記追跡対象オブジェクトの識別子とともにデータベースに入力される、
   請求項１に記載のノンリニアビデオ再生制御方法。
9. 単一カメラビデオ解析用に人物を背景からセグメンテーションするために、画素レベルの背景モデリングにガウス混合分布モデル方式が用いられる、請求項１に記載のノンリニアビデオ再生制御方法。
10. 前景画素の候補集合を決定するために、各画素の周囲の前景密度を解析し、積分画像方法を用いて計算した正規化相互相関を使用して、近傍画像から差を求めることによって、前景セグメンテーションがなされる、請求項１に記載のノンリニアビデオ再生制御方法。
11. データ関連付けモジュールにおける単一カメラ追跡のために、１つのオブジェクトと他のオブジェクトとの相互作用を分類するために、対応行列が使用される、請求項１に記載のノンリニアビデオ再生制御方法。
12. 分類は、発生、消滅、存続、結合、分裂、を含む、請求項１１に記載のノンリニアビデオ再生制御方法。
13. 前記記録されたビデオにおいて前記オブジェクトが物陰に隠れた場合に、外観の特徴を使用する、追跡ベースのベイズのセグメンテーションアルゴリズムにより、当該オブジェクトの同一性の維持が行われる、請求項１に記載のノンリニアビデオ再生制御方法。
14. 結合および分裂はデータベースに入力される、請求項１２に記載のノンリニアビデオ再生制御方法。
15. ユーザがノンリニアビデオ再生で表示装置に表示されるオブジェクトを直接操作することによって該ノンリニアビデオ再生を制御する機能をコンピュータに実行させるためのプログラムであって、
    前記機能は、
    カメラ視野内を動くオブジェクトを追跡し、
    前記オブジェクトを含むビデオを記録し、
    前記記録されたビデオに対応する、前記動くオブジェクトのオブジェクト痕跡を生成し、
    前記オブジェクト痕跡を前記表示装置に表示し、
    前記ユーザが、ポインティングデバイスを用いて、前記表示装置に表示された前記記録されたビデオの中で前記オブジェクト痕跡に沿ってドラッグした際に、当該ポインティングデバイスによる位置と当該痕跡上のオブジェクト位置との間の重み付け距離、当該オブジェクト位置におけるビデオの時刻と再生中のビデオの時刻との間の重み付け距離および時間方向を変更するコストを含む距離関数を最小化するオブジェクト位置を求めることにより、前記ユーザが前記オブジェクトの前記オブジェクト痕跡内の位置を選択することを可能にし、
    前記オブジェクト痕跡内の前記選択された位置に対応する、前記記録されたビデオを前記表示装置に表示する、
    ことを含む、
    ノンリニアビデオ再生制御プログラム。
16. 前記機能は、
    前記ユーザが、ポインティングデバイスを用いて、前記表示装置に表示された前記記録されたビデオの中で前記オブジェクト痕跡に沿って前記オブジェクトをドラッグするのに応じて前記オブジェクト痕跡の位置に対応する前記ビデオの中の前記オブジェクトを前記表示装置に表示する、
    ことをさらに含む、
    請求項１５に記載のノンリニアビデオ再生制御プログラム。
17. 前記対話技法はビデオ追跡システムに依存し、
    前記ビデオ追跡システムは、
    固定カメラでオブジェクトを追跡し、
    前記オブジェクトを三次元空間にマッピングし、
    カメラ間のハンドオフを処理する、
    請求項１５に記載のノンリニアビデオ再生制御プログラム。
18. 前記ユーザは、前記表示装置に表示されたアイコンによるオブジェクト表現を間取り図上でドラッグすることが可能である、請求項１５に記載のノンリニアビデオ再生制御プログラム。