JPH08511392A - 映像内における広告の検出、識別および編入のための装置および方法 - Google Patents

Abstract

(57)【要約】 例えば、スポーツ行事のような活動的な行事の映像送信のためのシステム（第７図および第８図）および方法（第１図）であって、背景の物理的画像に指定したターゲットを有し、前記物理的画像を予め選択してある仮想画像と電子的に交換し、実際に物理的画像の一部を遮っている物体または陰が、視聴者によって、仮想画像の同じ部分を遮っているものとして見えるようにする。物理的画像を遮っている競技者やボールの動きは、交換された仮想画像の対応する領域を遮るので、強調された電子画像が、正確に元の画像のように、競技の背景に残ることになる。

Description

【発明の詳細な説明】 映像内における広告の検出、識別および編入のための 装置および方法 本発明は、小さなビデオ画像を、それより大きなビデオ画像に重ね合わせる装 置および方法に関するものである。 国際的なスポーツ行事、または他の催し物は、一般的に多くの国で観衆の興味 や関心を引くものである。例えば、オリンピック、スーパーボール、ワールド・ カップ、主要な野球やサッカーの試合、自動車レースなどがこの範疇に該当する 。かかる行事は、通常映像によって、広く世界中の観衆に生で放送される。スタ ジアムやコートのような、かかる競技が行われる場所(locale)は、塀や広告掲示 板、そして、実際、競技用フィールドの一部も含む、何にも占領されていない適 当な場所のあらゆる空間に、掲示、ポスタまたはその他の表示物という形状で、 あたり一面に広告用空間を提供する。 表示物がほとんど印刷物であるという性質上、これらはそう頻繁に変えられず 、少なくとも１日、１シリーズ、またはシーズン全体の間変えられることがなく 、しかもほとんどがその土地の観衆を対象にしたものである。異なる国からの２ チームが互いに競技を行う場合、広告は通常、スタジアムの一方側は一方の国の 観衆に向けた広告を含み、他方側は他方の国の観衆に向けた広告を有している。 このような場合ビデオ・カメラは、それぞれの観衆用に、スタジアムの対向す る両側からその競技を撮影する。勿論、これは記号論理学上(logistically)複雑 であり、ゲームに参加している(represented)国のいずれにおいても、当該競技 を見ることができる角度が限られてしまうことになる。 現在の広告方法に対する他の制限は、ゲームを妨害せず、スタジアム内の観衆 の見物を邪魔せず、しかも競技者を危険に晒さないように、広告掲示板の配置に 厳重な(stringent)安全要求があることである。表示物は、競技者の注意をそら すことがないように、実際の活動領域に近すぎてはならない。 主要な世界のスポーツ行事における今日の広告システムの最も重大な欠点の１ つは、行事は世界中に生でテレビ放映されるが、スタジアム内の実際の物理的な 広告(actual physical advertisements)は、それらが広く国際的に放映されるた めに、世界的な市場を有する製品だけしか対象にできないと言う事実である。 地方の広告業者は、局所的にメッセージをＴＶ画面上に重ね合わせたり、ある いは行事の進行中に割り込むことによって、かかる世界的にテレビ放映される行 事を利用できるに過ぎない。 既存のシステムの他の欠点は、長い時間期間にわたって、ＴＶカメラの走査の ために、掲示(signs)が余りに不鮮明に現れ、ＴＶ視聴者には読みとれないこと である。多くの他の場合、掲示の一部分しかＴＶ視聴者には見えなかったり、掲 示が読めないことがある。 以下の参考文献は、ガウス・エッジ検出(Gaussian edge detection)について 記載したものである。この文献は、言及により本開示に含めるものとする。 J.F．Canny，"A computational approach to edge detection"，IEEETrans.Pa ttern Analysis and Machine Intelligence，Vol．8，pp679-698，November,198 6. 本発明は、ビデオ・フレーム内で、適切な別個のターゲットおよび領域を、検 出、識別、および倍率調整し、これらの領域にシステムのメモリに記憶してある 仮想画像を挿入することにより、前記別個領域の前にありその一部を視野から遮 っている全ての物体または陰が、映像の送信において、仮想画像を含む同一領域 部分の前に、それを遮るように見られるようにする、システムおよび方法に関す るものである。 本発明の固有の特徴は、システムをリアル・タイムで動作させることである。 本発明は、スポーツ用コートにおける広告活動に特に有用である。 本発明の目的は、背景物理画像(background physical image)に指定したター ゲットを有し、例えば、スポーツ行事のような活動的行事(active events)の映 像を送信するためのシステムおよび方法を提供することであり、前記物理的画像 を予め選択してある仮想画像と電子的に交換することにより、物理的画像の一部 を実際に遮っている物体または陰が、視聴者には、仮想画像の同一部分を遮って いるように見えるようにすると共に、前記物理的画像を遮る競技者の動きまたは ボールが、前記交換した仮想画像の対応する領域を遮り、交換した電子画像が、 正確に元の画像のように、行事(event)の背景に残るようにするものである。 本発明の好適実施例では、置換される物理的画像を検出し、認識し、自動的に 位置を確認し、１ＴＶフレーム内で置換して、元の画像をＴＶ視聴者には知覚で きないようにする。この実施例では、ライン放送(line broadcasting)の間、ル ープ内には人間を必要としない。 同一物理的画像が、コート周囲の種々の位置に配置された複数のＴＶカメラに よって捕獲され、各カメラは通常連続ズーム・レンズを有するので、システムは 、ある物理的ターゲットの可能な全空間的方位および倍率で、このターゲットを 検 出し識別することができる。 また、前記システムは物理的ターゲットのスケールおよび配景(perspective) を間違えることなく識別し、移植した仮想画像を同一配景に正規化することもで きる。 本発明の他の目的は、スポーツ用コート自体のように物理的掲示(physical si gns)を表示するには一般的に適さない所定の「空いている」背景領域に、仮想画 像を映像送信中に移植するシステムおよび方法を提供することである。 本発明の好適実施例では、これら空き領域の検出および識別を行うタスクは、 自動的に実行される。 本発明の更に別の目的は、物理的広告掲示板がカメラの走査またはジッタのた めに不鮮明に見える場合を自動的に識別し、かかる不鮮明な掲示をより明瞭なも のと交換するか、或いは代替的に同一不鮮明度を置換する掲示に適用し、隣接す る掲示と同様の外観を有するようにすることである。 本発明の更に他の目的は、カメラの視野では広告掲示板の小部分しか見えない 場合を自動的に識別し、この小部分を元の広告掲示板の全画像で置換することで ある。 本発明の更に他の目的は、捕獲された広告掲示板の画像の解像度がＴＶ視聴者 には十分でない場合を自動的に識別し、それらをより大きな仮想広告掲示板と電 子的に交換することにより、それらのメッセージが視聴者によって都合よく捕獲 されるようにすることである。 本発明の他の目的は、連続ビデオ・フレーム上に、上述の移植を実行すること である。 本発明の更に他の目的は、上述のシステム、およびリアル・タイムで仮想画像 の交換または移植を電子的に行う方法を提供することである。 本発明の更に別の目的は、物理的表示(physical display)によって占有されて いる空間に、異なる電子メッセージを置換し、同一行事を異なる人口数の視聴者 にリアル・タイムでビデオ放映するシステムおよび方法を提供することである。 本発明の更に他の目的は、物理的表示によって使用されていないスタジアム内 で使用可能な空間を利用し、スタジアム内で行われている行事のリアル・タイム 放映中に、電子的仮想画像を埋め込むことによって、広告活動のために利用する システムおよび方法を提供することである。 本発明の更にまた別の目的は、リアル・タイム映像送信中の行事の間に、実際 の行事の送信を妨害せずに、物理的画像を仮想画像と交換するか、或いは仮想画 像を不使用背景領域に埋め込むために、映像送信において用いる装置を提供する ことである。 本発明の好適実施例によれば、ＴＶカメラによって捕獲された活動的行事を放 映する際に、物理的表示および予め選択しておいた背景領域から選択したターゲ ットに、仮想画像を電子的に置換または重畳する、システムおよび方法を提供す る。このシステムは、行事の開催場所およびその中のターゲットの電子データ・ バンク、ターゲットにおいて置換するためのデジタル化した仮想画像を記憶する メモリ・ユニット、ビデオ・フレームを獲得しデジタル化する装置、デジタル化 したビデオ・フレームにおいて自動的にターゲットを検索し、その中でターゲッ トを検出する装置、ターゲットの位置を確認し、認証し、識別する装置、検出し たターゲットをデータ・バンク内の対応するターゲットと比較する装置、元のタ ーゲットの配景の縮尺調整および識別を行い、仮想置換画像を同一縮尺および配 景に変 形する装置、一連のフレームにわたって、検出したターゲットの映像をリアル・ タイムで追跡し、ターゲットの倍率（ズーム）または配景の変化を識別する装置 、非背景物体(non-background objects)と検出したターゲットの一部を遮る陰と の間で区別を行う装置、元のビデオ・フレームから置換フレームに、前記物体お よび陰を電子的に転送する装置、電子的に変形された仮想画像をビデオ・フレー ムに挿入し、この変形が視聴者に感知されないように、ターゲット内の元の画像 を置換する装置、仮想画像を受信し、記憶し、更に仮想画像データ・バンクを生 成する装置、ある行事に先だってまたはその最中に開催場所データ・バンク(loc ale data bank)を発生する装置（学習システム）、および映像信号入出力装置を 含む。 この目的のために、前記システムは、以下の属性の１つ以上を用いて、ターゲ ットの自動検出および識別を行う特別な方法を用いる。 −異なる角度および倍率で見た場合の広告掲示板の物理的構造（矩形形状また は平行線属性）のような、幾何学(geometry)。 −例えば、ポスタにおけるような、スローガンやグラフィクスのテクスチャ(t exture)。 −文字認識。 −空きコート領域を指定するための参照として役立つ、フィールドまたはコー ト線。 −ポスト、バックボード、バスケット、および／または競技者のシャツのよう な、典型的な形状および構成を有する標準的物体。 −色。および −交換しようとする画像の一部を一時的に遮っている物体および陰。 前記方法は、いかなる捕獲角度および範囲、ならびにいかなるズーム状態でも 、更に好ましくはリアル・タイムで、主題のターゲットを明瞭に識別し、元の広 告掲示板がＴＶ視聴者には感知されないようにする。前記方法は、典型的に、い かなるフレームにおいても、比較的多数のターゲット（極端な場合２０ターゲッ ト以上）を識別する。 遮っている物体および陰は、以下の手段によって、背景画像から区別する。 検出されたターゲット（部分的に遮られている）をシステムのデータ・バンク 内に記憶してある同一ターゲットと比較することによって、背景画像から識別す る。前記２つの間の滑らかな処理された差分画像(difference image)は、遮って いる物体の一部を形成する隠れた表面の画像である。この手順は、相関ウインド ウを用い、相関係数の低い値を隠蔽(occlusion)によるものとして識別すること によって、実施することもできる。 動き検出−背景に対して移動する物体を識別する。 テクスチャおよび幾何学的形状−競技者、ボールまたは陰を、掲示、スローガ ン、またはグラフィック画像等から区別する。および 色−および色調(shades of colour)。 感知可能な交換は通常ＴＶネットワークによって受け入れられないので、電子 的交換は一瞬に視聴者に気づかれないように行うことが好ましい。或いは、仮想 画像を強調しつつ、元の画像を連続的に「フェード」することも可能である。 ターゲットおよび画像の間違った識別は避けることが好ましい。 置換されるターゲットは、サブ画素精度(sub-pixel accuracy)で位置を確認し 、ターゲットがカメラの視野内部にある一連のＴＶフレーム全体の間、置換する ターゲットがフレームに関して空間的に固定されるようにすべきである。この精 度 は、人間の目はサブ画素精度に感応するという事実によるものである。 好ましくは、前記方法は、この処理に関与する多数の処理を同時に実行可能な 、空間並列およびパイプライン処理ハードウエアを採用する。 好ましくは、本発明の方法は、次にあげる任意の２サブシステムを用いる。 ａ）デジタル変換のための電−光スキャナと、広告のような画像のためのメモリ ・ユニットを構成するための仮想画像記憶部とから成る、デジタル画像変換およ び記憶装置。前記システムは、デジタル・インターフェース（磁気、光ディスク 、通信リンク）またはビデオ・ポートのような、他の方法で広告のような画像を 入力する可能性を有してもよく、更に、仮想画像（スローガンのような）を「即 座に」指定するための、グラフィックス・プログラムやマン−マシン・インター フェースを含んでもよい。 ｂ）ターゲットやスタジアムやフィールドのような開催場所における固定物体の データ・バンクを作成するための、開催場所「学習」および記憶システムであっ て、掲示（場所、形状、色およびタイプ（一時的、シーズン中等）、コート・マ ーカ（先、色、ゴール／バスケット、ポスト）、等を含む。 これら２つのサブシステムは、オフラインで動作することができ、或いは基本 システムの一部とすることもできる。前記システムは、生の競技の最中にコート の詳細を「学習し」、将来使用するためにそのデータ・バンクを作成／更新する 。これを行うには、競技が開始する前に取った試し撮り(trial shots)を用いる こともできる。 前記方法は、以下のステップを含む。 生のまたは前もって記録されたビデオ・フィルムが送信されているとき、以下 のステップが実行される。 １）フレーム獲得およびデジタル化 − 各ビデオ・フレームを獲得し、各画 素値をデジタル化しシステム・メモリに記憶する。 ２）検索 − 捕獲したビデオ・フレームを走査し、予め仕様が定義されてい る実施態様に相応しい、実際の物理的表示（メモリ内に記憶されているアイコン のような）、または背景領域のいずれかを検出する。検出後、識別が誤っていな いかについて、保留されているターゲット、即ち表示をチェックする。これを達 成するには、エッジ相関および領域比較方法、文字認識、ニューラル・ネットワ ーク技法等のような標準パターン認識技法を用いて、表示内のメッセージおよび グラフィックス、または色およびテクスチャの属性の識別を行う。ターゲット（ 表示）を識別し正確に位置を確認した後、その光学的倍率(magnification)およ び配景を計算し、データ・バンク内の開催場所のレイアウトを用いてフレーム内 に記憶されている他の全ターゲット（表示）の位置を連続的に予測し、同一ビデ オ・フレーム内の他のターゲットに対する明確な検索の糸口(positive search c lues)をシステムに与える。 ３）遮られている表面の識別 − 所与のメッセージ領域または表示領域をフ レーム内で明確に識別したなら、ターゲット（表示）をその適正に縮尺調整され 記憶された画像アイコンと比較し、結果の適切な平滑化および処理の後、競技者 の体、ボール、または陰等のような物体によって一時的に遮られている表示領域 を明らかにする。これらの表面を後に置換画像上に重ね合わせるために、これら の表面の画素アドレスを記憶しておく。 ４）スケーリング、配景変形および置換 − 物理的画像表示または空いた位 置を識別し、その位置を確認したなら、システムのメモリを検索し、置換または 移植すべき所望の仮想画像を探す。次に、交換される仮想画像（パッチ）をまず 正規化し、元の物理的画像の適切なサイズおよび配景を得て、次に識別した遮ら れている表面を除去することによって、交換される画像が背景表示のようにまた はコート上の描画表示(painted display)として見えるようにする。 ５）リアル・タイム映像追跡 − 典型的に、所与の表示は、それがカメラの 視野外に移動するまで、数秒の間見ることができる。好ましくは、前記システム は以前のフレームの情報を用いて、この一連のフレームにわたって所与の表示を 追跡する。これを行うために、エッジ、重心または相関追跡方法のような従来の 映像追跡技法を実行する。これらの方法は、サブ画素精度予測を組み込むべきで ある。競技者またはボールの追跡は、ターゲット・アイコンがシステム・メモリ 内に記憶されていない場合や、空き領域に移植する際に、遮っている部分を識別 する助けにもなり得る。 したがって、本発明の好適実施例によれば、スポーツ施設の少なくとも一部を 表わす少なくとも１フィールドを獲得しデジタル化するように動作するフィール ド獲得部と、内容が時間と共に変化する広告を少なくとも１フィールドに編入す る広告編入部とを含む、広告編入装置が提供される。 更に、本発明の好適実施例によれば、前記広告編入部は、スポーツ施設に対す る広告サイト(site)の場所以外の基準で、少なくとも１フィールドにおいて少な くとも１ヶ所の広告サイトを検出するように動作する広告サイト検出器を含む。 更にまた、本発明の好適実施例によれば、前記広告編入部は、スポーツ施設内 で少なくとも部分的に隠蔽されている広告サイトにおいて、少なくとも１フィー ルドに広告を編入するように動作する。 更にまた、本発明の好適実施例によれば、広告の内容は、所定の日程にしたが っ て変化する。 加えて、本発明の好適実施例によれば、広告の内容は、外部入力にしたがって 変化する。 更に、本発明の好適実施例によれば、前記広告編入部は、観衆によって発生さ れるノイズのレベルを検出し評価し、前記広告編入部に入力するノイズレベルを 発生し、入力されるノイズ・レベルに応じて広告の内容が変化するように動作す る観衆ノイズ評価部を含む。 更に、本発明の好適実施例によれば、スポーツ施設の少なくとも一部を表す少 なくとも１フレームを獲得しかつデジタル化し、内容が時間と共に変化する広告 を少なくとも１フレームに編入することを含む広告編入方法を提供する。 本発明は、図面および補足書類（Ａｐｐｅｎｄｉｘ）と関連付けた、以下の詳 細な説明から更によく理解され、認められよう。 第１図は、本発明方法の好適実施例によって要求されるプロセスおよびタスク の論理流れ図である。 第２図は、本発明の好適実施例による、基本およびサブシステム・モジュール のブロック図である。 第３図は、基本処理ユニットのブロック図である。 第４図は、本発明の好適実施例による最少基本オンライン・システムを示す。 第５図は、本発明による最少基本オフライン・システムを示す。 第６図は、ケーブルＴＶの用途に適用した、本発明の好適実施例によるシステ ムを示す。 第７図は、本発明の好適実施例にしたがって構成され動作する、広告サイト検 出および広告編入用リアル・タイム・システムの簡略ブロック図である。 第８図は、第７図の並列プロセッサおよび制御器の簡略ブロック図である。 第９図は、広告サイト検出および広告編入用リアル・タイム・システムの代替 実施例の簡略ブロック図である。 第１０Ａ図は、単一の広告サイトだけを識別し、単一の広告だけをそのサイト に編入する場合の、第７図の並列プロセッサおよび制御器の動作の好適な方法の 簡略流れ図である。 第１０Ｂ図は、複数の広告サイトを識別し、内容が異なったりまたは異ならな い場合もある、複数の広告をそれらのサイトに編入する場合の、第７図の並列プ ロセッサおよび制御器の動作の好適方法の簡略流れ図である。 第１１図は、第１０Ａ図および第１０Ｂ図の分割ステップを実行するための好 適な方法の簡略流れ図である。 第１２図は、第１０Ａ図および第１０Ｂ図の広告内容識別ステップを実行する ための、好適なモデル比較方法(model matching method)の簡略流れ図である。 第１３図は、第１０Ａ図および第１０Ｂ図の位置確認ステップを実行するため の、好適な方法の簡略流れ図である。 第１４図は、第１０Ａ図および第１０Ｂ図の追跡ステップを実行するための、 好適な方法の簡略流れ図である。 第１５図は、第１０Ａ図および第１０Ｂ図の隠蔽分析ステップを実行するため の、好適な方法の簡略流れ図である。 第１６図は、第１０Ａ図および第１０Ｂ図の広告編入ステップを実行するため の、好適な方法の簡略流れ図である。 第１７図は、第７図の広告サイト検出／編入装置と組み合わせて用いる、カメ ラ監視装置の簡略ブロック図である。 第１８図は、少なくとも１台の放送されていないカメラからの画像を考慮に入 れるために、第５図の隠蔽分析プロセスの出力を処理するための、好適な方法の 簡略流れ図である。 第１９図は、興味の中心である移動物体を検出し追跡するための、好適な方法 の簡略流れ図である。および 補足書類（Ａｐｐｅｎｄｉｘ）Ａは、本発明の代替実施例にしたがって構成さ れ動作する、広告サイト検出および広告編入のための、ソフトウエアで実施した 非リアル・タイム・システムのコンピュータ・リストである。 ここで第１図を参照する。本発明の好適実施例では、システムおよび方法は、 物理的ターゲットの合成画像との置換をリアルタイムに自動的に実行するように 設計してあるが、本発明をより簡単にしたものをオフラインで使用することもで きる。 システムを動作させるとき、必要なモジュールを第２図のブロック図に示す。 これらは、以下のものを含む。 基本処理ユニット、 静止写真から合成画像のデータ・バンクを作成するために用いる光学スキャナ ／デジタイザ、および スタジアム・データ・バンクを作成するためにの、ＴＶカメラ、デジタイザお よびメモリで構成された光学サブシステム。先に述べたように、合成画像のデー タ・バンクを作成するには、他にも方法がある。開催場所（スタジアム）のデー タ・バンクも、ゲームが開始される前に撮った試し撮から作成することができる 。あるいは、「学習」プロセスによって、またはスタジアムの所有者、広告業者 またはＴＶネットワークによって供給を受けたデータを用いて、ゲームの進行中 に徐々に作成することもできる。 第２図は、システムにおいて用いる装置のブロック図を示す。ここで、１、２ 、．．．、ｎは異なる位置にある複数のＴＶカメラであり、通常のＴＶネットワ ーク用カメラである。３は第３図に記載する基本処理ユニット、サブシステム４ は合成画像を変換し記憶する。サブシステム５は、行事の開催場所およびその中 のターゲットのための「学習」および記憶システムである。出力６は、ケーブル 、光ファイバ、または無線で送信することができる。また、これを表示および／ または記録することもできる。 このシステムをリアル・タイムで動作させるのに必要な基本処理ユニットを第 ３図に示す。このモジュールは、 カラー画像を取り込むためのフレーム獲得部、 複数の画像メモリ、 高速並列プロセッサ、 プログラム・メモリ 置換すべき合成画像ならびに開催場所のレイアウトおよびターゲット・アイコ ンのデータ・バンク、 制御および局所的表示および記録のためのマン／マシン・インターフェース、 および 画像デジタル／アナログ変換器、 から成る。 上記装置を用いて、リアル・タイムに、各ビデオ・フレームの中に、物理的表 示を有するまたはかかる表示を具現化するのに相応しいスタジアム内の適した領 域を確認し、かかる物理的表示を置換し、あるいはかかる領域に、システムのメ モリに記憶してある仮想画像を導入し、背景において広告として役割を果たすよ うにする。 これらの電子的挿入画像は、視聴者からは、これらがスタジアム内に配置され た物理的表示であるかのように見え、実際の物理的表示の前で行われている全て の動作(action)は、視聴者には、同様に仮想画像の前で行われているように見え る。 第４図は、本発明の一態様によるオンライン・システムを示し、ビデオ・カメ ラ１０、映像処理ユニット１２、および必要なマン／マシン・インターフェース を提供するワーク・ステーション１４で構成してある。 第５図は、本発明の一態様による基本オフライン・システムを示す。この場合 、ＴＶカメラではなく、ビデオ・テープ２０、ビデオ・カセット・レコーダまた はビデオ・デッキが入力であり、これが処理ユニット２２およびワーク・ステー ション２４によって処理され、置換画像を有するビデオ・テープ出力２６を供給 する。 第６図は、本発明のシステムの更に別の応用、即ち、ケーブルＴＶセンタを示 す。センタ３０は局３２および３４からの送信を受信する。これらの送信を、処 理ユニット２２およびワーク・ステーション２４によって処理し、センタ３０か ら加入者に、置換された広告と共に放送する。 本発明による好適なシステムは、遮っている物体および陰を仮想画面上で重ね 合わせるが、本発明の一部として、洗練度が低くかなり安価なシステムも考えら れる。これは、遮っている物体には関連させずに、仮想画像を物理的画像と交換 するシステムである。 かかるシステムは、例えば、スタジアムの高いところのような、遮られない領 域に画像を置換する際に非常に有用となり得る。 本発明の好適実施例は自動的に各ＴＶフレームにおいて所与の広告掲示板を検 出し認識するが、より洗練度が低いシステムも本発明の一部として考えられる。 かかる洗練度の低いシステムでは、置換すべき所与の掲示(sign)の選択は、ライ ト・ペンまたはカーソル（マウスによって作動される）のようなポインタによっ て、ループ内に人間のオペレータを配して、「手動式に」行うものである。 本システムは主にオフラインである。オンラインでリアル・タイムで用いると 、オペレータによる指示タスクを実行することが非常に困難である。典型的な筋 書きでは、掲示が連続して視聴可能なのは、各々数秒という短い期間に過ぎない からである。 かかる動作モードでは、しかしながら、置換がＴＶ視聴者に気づかれてしまう 。これは観衆の気分を害するので、多くの場合、ＴＶネットワークによって許さ れないことである。 本発明の先の記載から、上述のシステム、方法および装置には多数の応用があ り得ることは明白である。したがって、特に競技者が近接して写されるときに、 スローガンやグラフィック広告のような仮想画像を、競技者のユニフォーム上に 導入することも可能である。かかる場合、当該競技者の輪郭、または少なくとも 彼のシャツまたはヘルメットが、仮想画像を移植するターゲットとなろう。 他の可能な応用は、予め選択してある特定のターゲットが現われるシーケンス のみを示し、これらのターゲットが現れないシーケンスを除外する、連続ビデオ ・ フィルムの自動発生である。かかるビデオ・フィルムは、例えば、あるチーム・ ゲーム全体にわたる個々の競技者や彼らの活動のような、特定のターゲットの動 作(activity)を分析し監視するには有用となり得る。これによって、各競技者に ついてカセット全体を再生する必要なく、ゲーム全体にわたる各個人を追跡する ことができるようになる。 本発明の他の応用は、広告のようなターゲットの、例えば、ある広告が画面上 に現れる回数および累積時間のような統計的データを発生し、これにしたがって 請求(debit)することである。 移植した画像は、固定、点滅またはスクロール画像の形状とすることができ、 或いは動画フィルム(animated film)またはビデオ・クリップ(video clip)とし てもよい。 第７図は、本発明の好適実施例にしたがって構成され動作する、広告サイト検 出および広告編入のためのリアル・タイム・システムの簡略ブロック図である。 第７図の装置は、適当な接続器を介して、好ましくは、フィールド獲得部１１ ０、或いはフレーム獲得部に接続してある、ビデオ・カメラ、ビデオ・カセット 、放送、ビデオ・ディスク、またはケーブル送信のような映像入力源１００を含 む。以後、フィールド獲得部という用語を用いる場合、フレーム獲得部も含むこ とも意図することとする。 フィールド獲得部１１０は、獲得しデジタル化したフィールドを、並列プロセ ッサおよび制御器１２０に供給する。並列プロセッサおよび制御器１２０につい ては、後に第８図を参照しながら詳細に説明する。並列プロセッサおよび制御器 １２０は、好ましくは、システムの広告サイト検出および広告編入について、ユ ーザに会話形式で指示を与える映像表示装置１３０と連携する。好ましくは、ラ イ ト・ペン１４０を映像表示装置１３０と連動させる。 本発明の代替実施例によれば、システムは置換すべき１つ以上の広告およびそ の場所が視野内に存在するかについて、ユーザからの指示を受ける。ユーザの入 力は、例えば、ライト・ペン１４０によって与えてもよい。ユーザによって与え られる指示は、広告のほぼ中央(proximate center)のような広告の内部位置の単 一指示を含んだり、置換すべき広告の対向する２カ所の角または４カ所全ての角 といった２つ以上の指示を含んでもよい。 任意に、ユーザは広告の内容の指示も与える。例えば、置換すべき広告を識別 するキャプション(captions)のメニューを映像表示装置１３０上の、または競技 場の表示の隣またはその上に発生し、ユーザがライト・ペンを用いて、適切なキ ャプションを識別することができる。 広告画像および広告配列データベース１５０を設け、コンピュータ・メモリの ようないずれかの適切なタイプのメモリ、またはハード・ディスクのような二次 的メモリに記憶する。広告画像および配列データベース１５０は、典型的に、複 数の広告画像を記憶する。これらの広告画像は、典型的に静止画像であり、置換 すべき画像および／または競技場の画像に編入すべき画像を含み、既存の広告と 置き換えるか、或いは未だ今のところ広告に専有されていない場所に編入する。 データベース１５０は、配列が前もって分かっている場合、置換すべき複数の 広告の配列の指示を含むこともできる。典型的に、配列の指示は、競技場に対す る各広告の位置の指示を含んでおらず、代わりに置換すべき広告をフィールドに 配列する順序の指示を含む。例えば、２０の横に隣り合う(side-by-side)一連の 広告を、競技場の三方を囲むように配置することができる。また、データベース １５０は、広告を配置する順序(sequence)の指示を含むこともできる。 データベース１５０内の広告画像は、フィールド獲得部１１０によって、また は画像処理ワーク・ステーション、スキャナまたはその他の色読み取り装置のよ うな画像発生装置、ハード・ディスク、ＣＤＲＯＭ駆動装置のようないずれかの タイプの記憶装置、または上述のいずれかへの通信リンクのような、いずれかの 適切な広告画像源１６０から供給される。しかし、広告画像源１６０はこれらに 限定されるわけではない。 システムの映像出力は、適切な接続器を通じて、視聴者に無線または有線送信 を提供する適切な機器に供給される。 第８図は、第７図の並列プロセッサおよび制御器１２０の簡略ブロック図であ る。並列プロセッサ／制御器１２０は、好ましくは、広告サイト検出／内容識別 部１７０と、複数の並列追跡モジュール１８０と、隠蔽分析および広告編入部１ ９０と、ビデオ・エンコーダ２００と、制御器２１０とを含む。 第８図の広告サイト検出／内容識別部１７０は、アメリカ合衆国のArielから 商業的に入手可能なAriel Hydra基板のような、適切な数の適切な像処理基板に 基づいて実施することができる。これらの各々は、好ましくは、４つのTMS320C4 0デジタル信号プロセッサ、６４ＭＢのＤＲＡＭ、ＩＭＢのＳＲＡＭ、およびＶ ＭＥバス・インターフェースを内蔵する。好ましくは、特別に設計したコプロセ ッサをこれらの基板に付け加えて、分割タスクを実行させる。画像処理基板は、 第１１図および第１２図の広告サイト検出および内容識別方法に基づいてプログ ラムしてある。補足書類Ａは部分的にこの方法に基づいている。例えば、補足書 類Ａの適切な部分をアセンブラに変換し、得られたコードを画像処理基板のデジ タル信号プロセッサにロードすることができる。 並列追跡モジュール１８０の各々は、アメリカ合衆国のArielから商業的に入 手可能なAriel Hydra基板のような、１枚以上の画像処理基板に基づいて実施す ることができる。これらの各々は、好ましくは、４つのTMS532C40デジタル信号 プロセッサ、６４ＭＢのＤＲＡＭ、ＩＭＢのＳＲＡＭ、およびＶＭＥバス・イン ターフェースを内蔵する。画像処理基板は、第１４図の追跡方法に基づいた並列 動作のためにプログラムしてある。補足書類Ａは部分的に第１４図の方法に基づ いている。例えば、補足書類Ａのリストの適切な部分をアセンブラに変換し、得 られたコードを画像処理基板のデジタル信号プロセッサにロードすることができ る。 隠蔽分析および広告編入部１９０も、Fairchlld社のThru-D基板のような１枚 以上のテクスチャ割り付け基板(texture mapping board)に基づき、第１５図お よび第１６図の隠蔽分析および広告編入方法に基づいてプログラムしてある適切 なバス・ブリッジ(bus bridges)を備えている。補足書類Ａは、部分的に第１５ 図および第１６図の方法に基づいている。例えば、補足書類Ａのリストの適切な 部分をアセンブラに変換し、得られたコードをテクスチャ割り付け基板のプロセ ッサにロードすることができる。 ビデオ・エンコーダ２００は、Ｄ／Ａ変換を行うように動作する。 制御器２１０は、例えば、第１０Ａ図一第１０Ｂ図の制御方法に基づいてプロ グラムしてある486PCを含む。補足書類Ａは部分的にこの制御方法に基づいてい る。例えば、補足書類Ａの適切な部分は、Intel 486PCプロセッサとしてもよい 。 第９図は、広告サイト検出および広告編入のためのリアル・タイム・システム の代替実施例の簡略ブロック図である。第９図の装置において、従来のワークス テーション２１２はそれ自体の表示装置２２０と、映像基板と適切なソフトウエ アとを搭載したSilicon Grapics Onyxワークステーションのようなそれ自体のフ ィールド獲得部（図示せず）とを有し、第７図の部分、即ち、フィールド獲得部 １０、広告サイト検出および内容識別部１７０および追跡モジュール１８０以外 の並列プロセッサおよび制御器１２０、映像表示装置、およびデータベース１５ ０と置き換わる。 このワークステーション用のソフトウエアは、第１０Ａ図一第１０Ｂ図の方法 を実施した補足書類Ａに基づき、このワークステーションの環境に適合するよう に変換したものでよいが、補足書類Ａの機能のいくつかを除去することが好まし い。具体的には、 ａ．第１０Ａ図一第１０Ｂの分割、広告内容識別および追跡ステップ３２０、３ ３０および３１０にそれぞれ対応する、広告サイト検出および追跡機能を除去し 、代わりに第９図の専用ハードウエア２３０によってリアル・タイムに実施する 。および ｂ．好ましくは広告編入機能の一部を形成するテクスチャ割り付け機能（第１６ 図の第２および第３ステップ）を除去し、その代わりに、ワークステーション自 体によって提供されるテクスチャ割り付け機能によって実行させる。 第９図の専用ハードウエア２３０は、第８図の広告サイト検出／内容識別部１ ７０および並列追跡モジュール１０と同様でよい。 補足書類Ａは、本発明を非リアル・タイムでソフトウエアによって実施する場 合のコンピュータ・リストであり、これは、例えば、撮像ＭＦＧ基板のような従 来のフレーム獲得部を用いた486 PC上で動作する。補足書類Ａの方法について、 ここで第１０Ａ図−第１６図を参照して説明する。 第１０Ａ図は、単一の広告 サイトだけを識別し、単一の広告画像だけをそのサイトに編入する場合の、第７ 図の並列プロセッサおよび制御器１２０の動作の好適方法の簡略流れ図である。 第１０Ｂ図は、複数の広告サイトを識別し、内容が異なったり異ならない場合 もある、複数の広告をそれらのサイトにそれぞれ編入する場合の、第７図の並列 プロセッサおよび制御器１２０の動作の好適方法の簡略流れ図である。 第１０Ｂ図の方法は、典型的に、以下のステップを含む。これらは第１０Ａ図 のステップと同様なので、簡略化のために第１０Ａ図のステップを別個に説明し ないことにする。 ステップ２９０：デジタル化したビデオ・フレームを第１図のフィールド獲得 部１１から受け取る。 ステップ３００：現フィールドにある少なくとも１つの広告が、以前のフィー ルドにも存在するか否か（そして、同一カメラによって撮影されたか）について 決定を下す。存在するのであれば、現フィールドを「連続」フレームと名付け、 好ましくは、分割、内容識別および位置確認ステップ３２０、３３０および３４ ０を、追跡ステップ３１０のみで置換する。存在しなければ、現フィールドを「 新」フィールドと名付ける。 フィールドが「連続」フィールドの場合、現フィールドが「連続」フィールド なので、以前のフィールドに存在していた少なくとも１つの広告に基づいて、複 数の広告を追跡する（ステップ３１０）。 フィールドが「新」フィールドの場合、ステップ３２０、３３０および３４０ において広告を編入すべき広告サイトを識別する。処理すべき複数の広告からの 各広告に対して、１つのループを実行する。好ましくは、分割および内容識別ス テップ３２０および３３０は、最初に処理される広告に対してのみ実行する。 ステップ３２０において、典型的に、全体的に平行な一対の線を検出し、フィ ールドの画像を分割する。具体的には、典型的に一連の広告の上下の境界線に対 応する、検出した２本の平行線の間に位置するフィールド部分を、フィールドの 残りの部分から分割する。 典型的に、分割ステップ３２０は、撮像カメラに対するそれらの配景、ズーム 状態即ち撮像カメラのレンズ、視野（ビデオ・フィールド）内の広告の位置、撮 像カメラの地面に対する角度方位(angular orientation)、およびＴＶカメラの 位置には係わらずに、広告を分割するように動作する。 分割ステップ３２０は、典型的に、以下にあげるがこれらには限定されない、 場所以外のいずれかを別個にまたはそれらのいずれかの組み合わせに基づいて、 空のまたは占有された広告サイトを識別するように動作する。 ａ．実質的に平行な上下境界線のような、または実質的に矩形状に配置した４つ の頂点のような、広告の境界線の幾何学的属性。 ｂ．広告画像に現れる前に分かっている、色、色の組み合わせ、または色のパタ ーン。 ｃ．典型的に予めわかっている広告画像の空間周波数。典型的に、既知の空間周 波数帯を、例えば、広告のシーケンス(advertisement sequence)の上下の境界線 であることがわかっている、一対の検出された水平線間の距離を計算することに よって得られる、広告の高さによって正規化する。 ステップ３３０において、２本の実質的に平行な線間の部分の内容を、置換す べき広告の記憶してある表現と比較する(match)。 スポーツ行事の間にカット（このスポーツ行事を同時に撮影する複数のカメラ の出力間の、典型的に急激な、遷移）が生じても、ステップ３２０および３３０ によって、広告サイトが識別でき、その内容をその記憶してあるモデルと比較す ることができる。典型的に、各カットにおいて、そのカットの最初の数フィール ド内の広告を識別するように、ステップ３２０および３３０を実行する。次のカ ットが発生するまで、識別された広告を典型的に追跡する（ステップ３１０）。 ステップ３４０において、その広告をサブ画素精度で位置を確認する。 最後に、各広告について、隠蔽分析を実行し（ステップ３５０）、置換する広 告を広告サイトに編入する（ステップ３６０）。或いは、既存の広告を置換する のではなく、従来のエッジ先鋭化技術(edge sharpening techniques)を用いて既 存の広告を強調する、広告強調ステップ(advertisement enhancement step)で、 隠蔽分析および広告編入ステップを置き換える。 任意に、典型的に隠蔽分析ステップ３５０の後に、料金積算ステップ３６２を 実行する。料金積算ステップでは、各広告に対する料金を積算する。料金の計算 は、いずれかの適切な基準で行えばよい。例えば、広告が表示されていた全時間 量と、広告の少なくとも５０％が遮られていた全時間量とをカウントし、時間単 位当たり固定のドル・レートを乗算することによって、料金を決定することがで きる。或いは、広告の遮られていない領域の割合を、各秒毎のような各時間間隔 毎に計算してもよい。任意に、表示時間または表示領域の時間の合計を調節し、 ゲームの進展を考慮してもよい。例えば、表示時間または表示領域の時間の合計 を、広告表示中のゲームの緊張レベル(tension level)を示す、外部から供給す る指標と乗算してもよい。高い緊張レベルは、例えば、ゲームが延長に突入した こと、或いは表示中または表示のすぐ前で、ゴールのような重大な事象が起こっ たことを意味する。或いは、緊張レベル指標をシステム自体に供給してもよい。 例えば、音声認識装置が、スポーツ解説者によって発せられる、「ゴール」のよ うな、重大なことばを認識するようにしてもよい。 本発明の代替実施例によれば、内容が予めわかっている、置換すべき広告の位 置を識別する物理的ランドマークを配置し、競技場において前もって捕獲すれば 、分割および広告内容識別ステップ３２０および３３０は、それぞれ、除去して もよい。 第１１図は、第１０Ａ図および第１０Ｂ図の分割ステップ３２０を実行するた めの、好適な方法の簡略流れ図である。 第１１図の方法は、以下のステップを含むことが好ましい。 ステップ３８０：新フィールドを受信し、前述のステップは低い解像度で適当 に実行できるので、その解像度を低下させることが好ましい。例えば、ロー・パ ス・フィルタを用いて、７５０Ｘ５００画素フィールドを、１２８ｘ１２８画素 に減らす。 ステップ３９０：任意に、例えば、メジアン・フィルタ処理またはローパス・ フィルタによって低解像度の画像を平滑化して、長く実質的に水平な線を検索す るタスクに関連のない情報を除去する。 ステップ４００：J.F．Cannyが"A computational approach to edge detectio n",(IEEE Trans．Pattern Analysis and Machine Intelligence，Vol，3，pp.67 9-698,November，1986)に記載した、キャニイ法(Canny metod)のようないずれか の適したエッジ検出方法を用いて、エッジおよび線（２辺のエッジ）を検出する 。 ステップ４０４：ステップ４００で検出されたエッジを間引きし、接続性分析 の従来の技術を用いて、その成分を接続する。エッジは、傾斜が小さすぎるエッ ジを破棄するためのスレシホールドである。 ステップ４０８：ステップ４００および４１０で検出したエッジを対毎に比較 し、ストリップ、即ち、比較的長い並列なまたはほぼ並列な線の対を見つける。 かかる対がない場合、本方法を終了する。 ステップ４１２：各ストリップ内の空間周波数スペクトルを見つけ、空間周波 数内容が、広告に考えている空間周波数帯と一致しないストリップを除去する。 典型的に、除去の基準は、３または４本のストリップのような、１本より多いス トリップが残るようにするものである。 ステップ４１６：残ったストリップを整列し、最も高いランクのストリップを 選択する。ストリップに付随するランクは、当該ストリップが広告を含む確率に よって左右される。例えば、フィールドの上半分の最下位置のストリップには、 それより上のストリップより高いランクを与える。この理由は、それより高いス トリップはスタジアム部分の画像である可能性が高いからである。最も下に位置 するストリップは、典型的にスタジアムの下に位置付けられる広告である可能性 が更に高い。 競技場が全く示されていない場合、広告はビデオ・フィールドの底部に向かっ て写されるだけなので、フィールドの底部に隣接するストリップには、低いラン クを与える。ただし、この可能性は低い。 第１２図は、第１０Ａ図および第１０Ｂ図の広告内容識別ステップ３３０を実 行するための、好適なモデル比較方法(model matching method)の簡略流れ図で ある。或いは、広告内容の識別は、第１図を参照して先に述べたように、ユーザ が与えるようにしてもよい。 第１１図のステップ３８を参照して先に述べたように、第１２図の方法は低解 像度で実行することが好ましい。第１２図の方法は、好ましくは、以下のステッ プを含む。 ステップ４２０：前述のステップ４２４、４３０、４３６、４４０、４４４お よび４５２は、第１１図の分割ステップ３２０で識別したほぼ平行なストリップ 各々について実行する。 ステップ４２４：各ストリップの２線間の距離および角度を計算し、当該スト リップが撮像された倍率と大体の配景とをそれから判定する。 ステップ４３０：設定中、各広告モデルを複数のウインドウに分割する。ステ ップ４３６、４４０および４４４を、各広告モデルの各ウインドウについて実行 する。例えば、５個のモデルを６個のウインドウに分割する場合、このステップ を３０回実行する。 ステップ４３６：適切な倍率に調整された現モデル・ウインドウｋについて、 現在のほぼ平行なストリップに沿って、一次元類似度検索を実行する。典型的に 、現在のストリップに沿って、相互相関関数(cross-correlation function)を、 各画素について計算する。 ステップ４４０：ステップ４３６で得られた相互相関関数値はスレシホールド となる。例えば、０．６を越える値には値１（相関）を割り当て、０．６以下の 値には値０（無相関）を割り当てればよい。１には、それらの対応するウインド ウの「重要度」に応じて重み付けを行う。各ウインドウの「重要度」は、好まし くは、より多くの情報を含むウインドウが、含む情報が少ないウインドウよりも 「重要」となるように、設定中に決定する。 ステップ４４４：この段階では、重み付けした相互相関関数値が計算されてお り、ストリップに沿った各位置の内容（例えば、ある１つの画素からある距離離 れているストリップに沿った複数のウインドウの各々の）を、当該ストリップ内 で発生することがわかっている各モデル広告の各ウインドウと比較した結果を表 わす。 重み付けし、スレシホールドと比較した相互相関関数値を、モデル掲示または モデル・ストリップを構成する全てのウインドウ毎に積算する。 ステップ４５２：ストリップ内の広告モデル(advertising models)シーケンス の大体の位置について判定を行う。一旦各広告モデルの位置を判定したなら、同 一シーケンス内の他の広告モデルの位置も決定され、撮影されたストリップの倍 率および大体の配景も分かるることは認められよう。 第１３図は、第１０Ａ図および第１０Ｂ図の正確な位置確認ステップ３４０を 実行するための、好適な方法の簡略流れ図である。第１３図では、第１２図の方 法によってほぼ位置を確認した広告モデルを、更にサブ画素の精度で位置を確認 する。正確な位置確認は、典型的に、わずかなフィールドについてのみ実行する 。「連続」フィールドについては、広告の位置は、好ましくは、映像の追跡によ って測定する。 第１３図の方法は、好ましくは、次のステップを含む。 ステップ４６０：第１２図から、次の情報が、検出した広告毎に入手可能であ る。頂点の１つのような広告内の１箇所の位置、画像内の広告のスケール・ハイ ト(advertisement scale height)、およびその大体の配景。これらの情報を用い て、検出した各広告の４カ所の頂点を計算する。 ステップ４６４：配景の変形を計算し、典型的に矩形状のモデルを、撮像カメ ラに対するその姿勢(pose)のために、典型的に矩形状ではない、検出した広告領 域にどのように「変形するか」を記述する。 ステップ４６８：ステップ４６４で計算した配景の変形を用いて、設定中にモ デルの分割で得られた複数のモデル追跡ウインドウの各々の内容を、ビデオ・フ ィールドに割り付ける。 ステップ４７０：モデル追跡ウインドウの各々について、ステップ４７２およ び４７６を実行する。 ステップ４７２：現モデル追跡ウインドウを、ビデオ・フィールド内に定義し た検索領域を通じて変換(translate)する。検索領域内のモデル追跡ウインドウ の各位置について、類似度誤差関数（差の相互相関または絶対和のように）を計 算する。典型的に、モデル追跡ウインドウは、検索領域内に、８ｘ８または１６ ｘ１６カ所の異なる位置を有する。 ステップ４７６：現モデル追跡ウインドウの最少類似度誤差関数を見つける。 好ましくは、例えば、二次元放物線をステップ４７２で発生した類似度誤差関数 に適用し、放物線の最小値を計算することによって、最小値をサブ画素精度で見 つける。この最小値は、即ちビデオ・フィールド内の現モデル追跡ウインドウに 対する、「サブ画素精度」での最良の位置に対応する。 類似度誤差関数の最小値が全ての追跡ウインドウにおいて高い場合、即ち追跡 ウインドウにビデオ・フィールドにうまく一致できるものがない場合（ステップ ４８０）、現フレームの処理を終了し（ステップ４８２）、第１０Ａ図の方法の ステップ３２０以降を、次のフレームに対して実行する。 ステップ４８４：高い類似度誤差関数最小値を有する追跡ウインドウを除去す る。典型的に、約３０の追跡ウインドウが残る。 ステップ４８８は、追跡ウインドウを比較するすることによって、位置確認を もう１度繰り返し実行するか否かを判定する、終了基準である。典型的に、追跡 ウインドウの中心が、最後の繰り返しにおいて識別された中心に対して収束する (converge)することが発見されたなら、プロセスを終了する。その他の場合、本 方法はステップ４６４に戻る。 ステップ４９０：一旦追跡ウインドウの位置が収束したなら、画像広告とその モデルとの間の配景変形を再度計算する。 第１４図は、第１０Ａ図および第１０Ｂ図の追跡ステップ３１０を実行するた めの、好適な方法の簡略流れ図である。第１４図の方法は、好ましくは、次のス テップを含む。 ステップ４９２：モデル追跡ウインドウに配景変形を実行し、その内容をビデ オ・フィールドに割り付ける。このステップは、以前のフィールドにおける広告 の位置、および好ましくは、スポーツ行事を撮影するカメラの予測走査速度に関 するシステムの知識を用いる。 ステップ４９６：ステップ４９８および５００は、それぞれ第１３図のステッ プ４７２および４７６と同様であり、各モデル追跡ウインドウに対して実行する 。 ステップ５０８および５１２は、第１３図のステップ４８８および４９０と同 様でよい。 ステップ５１０：ウインドウの中央位置がまだ収束しない場合、ステップ４９ ２を再度実行するが、今回は、テクスチャ割り付けを以前の繰り返しの配景変形 に基づいて実行する。 ステップ５２０：カメラの走査動作の平滑性のため、配景変形の係数は、時間 的に平滑化することが好ましい。不連続はノイズと見なすことができる。 第１５図は、第１０Ａ図および第１０Ｂ図の隠蔽分析ステップ３５０を実行す るための、好適な方法の簡略流れ図である。第１５図の方法は、好ましくは、以 下のステップを含む。 ステップ５３０：ビデオ・フレーム内の広告画像を、第１４図のステップ５１ ２において、または、新フィールドに対して第１３図のステップ３９０において 、計算したその配景変形モデルから差し引く。 ステップ５３４：好ましくは、ステップ５３０において計算した差の値を調べ ることによって、広告画像および記憶してある広告との同一性を確認する。広告 画像と記憶してある広告とが同一でない場合、現フィールドをもはや処理しない 。代わりに、第１０Ｂ図のステップ３２０から開始して、次のフィールドを処理 する。 ステップ５３８：内部エッジはアーチファクトと見なされるので、内部エッジ 効果を、ステップ５４３０で計算した差分画像から除去する。 ステップ５４２：差分画像内の大きな非黒領域を、隠蔽の領域であると定義す る。 ステップ５４６：隠蔽のプロセスは連続であると仮定できるので、隠蔽マップ を時間的に平滑化することが好ましい。 第１６図は、第１０Ａ図および第１０Ｂ図の広告編入ステップ３６０を実行す るための、好適な方法の簡略流れ図である。第１６図の方法は、好ましくは、以 下のステップを含む。 ステップ５６０：置換する広告モデル、即ちメモリ内の広告の解像度を調節し 、置換される広告が撮影された解像度に対応させる。典型的に、単一の広告モデ ルを、いくつかの異なる解像度で記憶してある。 ステップ５７０：三線形補間方法(tri-linear interpolation methods)を用い て、置換する広告を変形し、ビデオ・フィールド・ポーズ(video field pose)の 中に、テクスチャ割り付けを行う。このステップは、典型的に、第１４図のステ ップ５１２の結果、または新フィールドに対しては第１３図のステップ３９０の 結果を基にしている。 ステップ５８０：エイリアシング効果を除去する。 ステップ５９０：隠蔽マップ(occlusion map)にしたがって、置換する画素を 固定する(key)。置換する画素の値は、既存の値と完全に完全に入れ替えるか、 あるいは、加重平均等を用いて、既存の値と組み合わせてもよい。例えば、第２ の代替案を縁側の画素に用い、一方第１の代替案を中間の画素に用いてもよい。 第１７図は、第７図の広告サイト検出／編入装置と組み合わせて用いる、カメ ラ監視装置の簡略ブロック図である。第７図の並列プロセッサおよび制御器が第 ８図に示したようなものである場合、第１７図の装置は不要で、その代わりに従 来のＴＶカメラを用いればよい。しかしながら、代替案として、第８図のユニッ ト１７０を除去することによって、システムの自動検出および内容識別機能を除 去してもよい。この場合、第１７図の装置は、好ましくは、スタジアムまたは競 技場のＴＶカメラと連動して動作するように設ける。 第１７図の装置は、「放映中」のカメラの識別、そのレンズのズーム状態、お よびそのＦＯＶの中心の検出を含む、カメラ情報を供給する。この情報を、スタ ジアム内の広告の位置および内容に関する既知の情報と組み合わせて用い、各広 告を検出し、識別し、さらに大まかな追跡まで行う。 第１７図の装置は以下のものを含む。 （ａ）複数の従来のＴＶカメラ６００。その内１台を第１７図に示す。 （ｂ）各カメラ６００に対して、カメラＦＯＶ（視野）中心方向測定ユニット６ １０。少なくともその一部は、典型的にＴＶカメラ６００の台座に取り付けてあ る。 （ｃ）各カメラ６００に対して、典型的にＴＶカメラ６００の台座に取り付けて ある、カメラ・レンズ・ズーム状態監視ユニット６２０。監視ユニット６２０は 、カメラのズーム機構から直接ズーム状態の出力指示を受ける。 （ｄ）複数のＴＶカメラ６００の中から放送しているカメラを識別するように動 作する、「放映中」カメラ識別ユニット６３０。この情報は、典型的に、放送シ ステム制御ユニットから得ることができる。放送システム制御ユニットは、典型 的に、プロデューサからの、放映中のカメラを選択する手動入力を受ける。およ び （ｅ）ユニット６１０、６２０および６３０の出力を放送に混合するように動作 する、カメラ情報映像混合器６４０。音声チャンネル上への混合、タイム・コー ド上への混合、またはビデオ信号自体への混合のような、あらゆる適切な混合を 採用することができる。 カメラＦＯＶ検出測定ユニット６１０は、以下の方法のどれを用いても実施す ることができる。中でも、 ａ．ＦＯＶ中心方向に対する局所的な重心ベクトル角(local gravity vector an gle)の２成分を測定するための２つの傾斜計(inclinometers)と接続した、カメ ラ上の北方指示モジュール。 ｂ．ＧＰＳ（全世界位置検出システム）に基づく方向測定システム。 ｃ．三角測量 − 競技場またはスタジアム内の既知の２地点にあるＲＦ源およ びカメラ上のＲＦ受信機の位置決め。 ｄ．レーザ指示器(laser designator)によって発生されたビーム・スポットの方 向を測定するように動作する、カメラから離れた位置感知検出器と組み合わせた 、カメラ上の照準規正レーザ指示器(on-camera boresighted laser designator) 。 第１８図は、少なくとも１台の放映中でないカメラからの画像を考慮に入れる ように、第１５図の隠蔽分析プロセスの出力を処理するための、好適な方法の簡 略流れ図である。第１８図の方法を用いる場合、映像圧縮器および混合器７００ を、第２図に示すように、競技場またはスタジアムにおいて行事を撮像している ＴＶカメラと連動するように設ける。圧縮器および混合器７００の出力は、「放 映中」のＴＶカメラ以外の全ＴＶカメラによって撮像される競技場の圧縮画像を 、放送信号と混合したもので構成され、第７図に示したもののような遠隔地にあ る広告サイト検出／編入システムに放送される。第２図の圧縮器および混合器７ ０ ０によって供給される送信は、第１８図のステップ７１０において、先ずデコー ドされ、そして伸張される。 ステップ７２０：「放映中」のカメラによって撮像された各広告サイトに対し て、ステップ７３０、７４０および７５０を繰り返す。 ステップ７３０：１台以上の「休止中(off-air)」のカメラからの情報を用い ることは可能であるが、好ましくは、１台の「休止中」カメラを用いて、各広告 サイトを処理し、この１台の「休止中」カメラをステップ７３０で選択する。例 えば、第１７図の装置を備える場合、各休止中カメラに対するカメラＦＯＶ方向 測定ユニット６１０の出力を比較し、ＦＯＶ方向が、「放映中」カメラのＦＯＶ 方向から最も異なる「休止中」カメラを識別する。或いは、特に第１７図の装置 を省略する場合、「休止中」カメラの各々によって発生される画像に対して暫定 的な分析を行って最も助けになる「休止中」カメラを選択することによって、１ 台の「休止中」カメラを選択してもよい。例えば、各「休止中」カメラによって 発生される画像を、現在処理中の広告の記憶された表現に一致させればよい。次 に、実際の画像をワープ(warp)し、各「休止中」カメラに対して、記憶されてい る表現から差し引き、当該カメラおよび当該広告の隠蔽領域の予測を得る。そし て、隠蔽領域が最少のカメラを選択すればよい。 ステップ７４０：選択した「休止中」カメラの広告画像を、「放映中」カメラ によって撮像された広告サイト上にワープさせる。 ステップ７５０：ワープされた「休止中」広告画像を、「放映中」の画像から 差し引き、差分画像をフィルタ処理し、隠蔽物体の境界を画素レベルの精度で計 算する。 本発明の好適実施例によれば、競技場または他の場所の特定位置に編入される 広告は、時間と共に変化することができる。この変化は、所定の予定にしたがっ て、または外部入力にしたがって行うことができる。例えば、音声認識装置を備 え、システムへの映像入力に付随する音声チャンネル上で、単語「ゴール」また は単語「オーバータイム」のようなキーワードを認識するように動作させること ができる。このように、丁度ゴールの後またはオーバータイムの間のような特定 の時間に、広告を編入するように予定を立てることができる。 本明細書では、「広告サイト」という用語は、広告を編入するべき場所のこと を意味する。既存の広告が広告サイトを占有する場合、新たな広告がこの既存の 広告に取って変わる。しかしながら、広告サイトが既存の広告によって占有され ている必要はない。「隠蔽された」という用語は、前にある物体、典型的に移動 体によって部分的にまたは完全に隠蔽される広告サイトのことを意味する。 本発明の固有の特徴は、より大きな画像内で広告サイトを追跡したいとき、全 画像ではなく、広告サイト自体のみを追跡できることである。 別の固有の特徴は、移動する、点滅する、またはその他の変化する広告、ビデ オ・フィルムの広告、背景が変化する広告、デジタル効果を有する広告のような 、「空間的な」広告を提供できることである。補足書類Ａに記載した特定の実施 例は、本発明の非常に詳細な開示を与えることのみを意図するものであって、限 定されることを意図するのではないことは認められよう。 上述の装置および方法の適用可能性は、広告の検出、追跡、および置換または 強調には限定されない。開示した装置および方法は、例えば、焦点となる競技者 のような、およびボール、ラケット、クラブおよびその他のスポーツ機材のよう に、第１９図に示すような、興味の中心である移動体の検出および追跡を検出し 、追跡するために用いることができる。次に、製造者のロゴのような広告を含む 「痕跡(trail)」を加えることによって、これら移動体の画像を変形することも できる。 明確化のために別個の実施例の文脈で記載した本発明の種々の構造は、組み合 わせて１つの実施例として供してもよいことは認められよう。逆に、簡潔化のた めに単一の実施例に即して記載した本発明の様々な構造は、別個にでも、或いは 適当なあらゆる二次的な組み合わせ(subcombination)でも供することができる。 本発明は、先に示し記載したことに限定されるのではないことは、当業者には 認められよう。むしろ、本発明の範囲は、以下に続く請求の範囲によってのみ定 義されるものである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，Ｇ Ｂ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＬＶ ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ， ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＵＳ，ＵＺ，Ｖ Ｎ

Claims (1)

1. 【特許請求の範囲】 １．広告サイト検出装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しデジ タル化するように動作するフィールド獲得部と、および 前記スポーツ施設に関する広告サイトの位置以外に基づいて、少なくとも１フ ィールド内で少なくとも１ヶ所の広告サイトを検出するように動作する広告サイ ト検出器と、 から成ることを特徴とする広告サイト検出装置。 ２．広告編入装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フレームを獲得しデジタ ル化するように動作するフィールド獲得部と、および 広告の一部を、少なくとも１フィールドの、前記スポーツ施設内の部分的に隠 蔽されている広告サイトに編入するように動作する広告編入部であって、前記編 入される広告の一部は、前記広告サイトの隠蔽されていない部分に対応する、前 記広告編入部と、 から成ることを特徴とする広告サイト検出装置。 ３．請求項２において、前記広告編入部は、前記スポーツ施設に関する広告サイ トの位置以外に基づいて、少なくとも１フィールド内の少なくとも１ヶ所の広告 サイトを検出するように動作する、広告サイト検出器を含むことを特徴とする装 置。 ４．広告サイト検出装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しデジ タル化するフィールド獲得部、 少なくとも１フィールドにおいて少なくとも１ヶ所の広告サイトを検出するよ うに動作する広告サイト検出器と、および フィールド全体を追跡することなく、前記広告サイト検出器によって検出され た少なくとも１ヶ所の広告サイトを追跡するように動作する広告サイト追跡部と 、 から成ることを特徴とする広告サイト検出装置。 ５．請求項２において、前記広告編入部は、 少なくとも１フィールドにおいて少なくとも１ヶ所の広告サイトを検出するよ うに動作する広告サイト検出器、および フィールド全体を追跡することなく、前記広告サイト検出器によって検出され た少なくとも１ヶ所の広告サイトを追跡するように動作する広告サイト追跡部と 、 を含むことを特徴とする装置。 ６．請求項４または５において、前記広告サイト検出器は、前記スポーツ施設に 対する広告サイトの位置以外に基づいて、少なくとも１フィールドにおいて少な くとも１ヶ所の広告サイトを検出するように動作することを特徴とする装置。 ７．広告放送方法であって、 少なくとも１つの広告画像を含むある行事の画像を放送するステップと、 前記行事の画像内の広告画像を識別し、前記広告画像のみを強調するステップ と、 を含むことを特徴とする方法。 ８．請求項７において、前記強調するステップは、前記広告画像の縁を先鋭化す るステップを含むことを特徴とする方法。 ９．映像処理方法であって、 複数のビデオ・フレームを含むビデオ・シーケンス内において移動体を検出す るステップと、および 前記複数のビデオ・フレームの各々の移動体に広告を付着するステップと、 を含むことを特徴とする方法。 １０．広告画像検出装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しデジ タル化するように動作するフィールド獲得部と、 少なくとも１フィールド内において少なくとも１つの広告画像を検出するよう に動作する広告画像検出器と、および 各広告画像の露出時間期間の長さをカウントするように動作する広告露出時間 カウンタと、 から成ることを特徴とする広告画像検出装置。 １１．請求項１０において、前記時間カウンタは、更に、各広告画像の前記露出 時間期間の、その長さ以外の少なくとも１つの特性を記憶するように動作し、前 記装置は、前記露出時間期間の長さと前記露出時間期間の少なくとも１つの他の 特性とにしたがって、広告料金を計算するように動作する広告料金計算部も含む ことを特徴とする装置。 １２．請求項１１において、前記長さ以外の前記露出時間期間の特性は、前記露 出時間期間がオーバータイムの間に起こったか否かの指示を含むことを特徴とす る装置。 １３．請求項１１において、前記長さ以外の前記露出時間期間の特性は、各露出 とゲーム開始との間の間隔の指示を含むことを特徴とする装置。 １４．請求項１１において、前記露出時間期間の長さ以外の特性は、重要な事象 に対する時間的至近度の指示を含むことを特徴とする装置。 １５．音声広告を、スポーツ行事を表わす音声チャンネルに編入する装置であっ て、 音声広告を記憶するように動作する音声広告メモリと、および 前記音声広告を前記スポーツ行事を表わす音声チャンネルに混合するように動 作する音声混合器と、 から成ることを特徴とする装置。 １６．請求項１５において、更に、 前記スポーツ行事が行われているスポーツ施設の少なくとも一部を表わす少な くとも１フィールドを獲得し、デジタル化するように動作するフィールド獲得部 と、および 少なくとも１フィールド内において可視合図(visual cue)を検出し、該可視合 図にしたがって前記音声混合器の動作を制御するように動作する可視合図検出器 と、 を含むことを特徴とする装置。 １７．請求項１６において、前記可視合図は、前記音声広告に対応する広告画像 を含むことを特徴とする装置。 １８．広告サイト検出装置であって、 置換される画像を記憶する広告画像メモリと、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するフィールド獲得部と、および 少なくともフィールドの一部を前記記憶されている置換される広告の画像の少 なくとも一部と比較し、これによって、前記フィールド内で置換される広告の少 なくとも一部の画像を識別するように動作するフィールド・メモリ比較器と、 から成ることを特徴とする広告サイト検出装置。 １９．請求項１８において、更に、少なくとも１フィールドにおいて少なくとも １ヶ所の広告サイトの少なくとも１つのエッジを識別するように動作する、広告 サイト検出器を含むことを特徴とする装置。 ２０．放送方法であって、 複数のＴＶカメラを用いてある行事を撮像するステップと、および 前記複数のＴＶカメラによって発生した画像を放送するステップと、 から成ることを特徴とする放送方法。 ２１．請求項２０において、前記放送するステップは、更に、各フレームについ て、前記カメラの台以外の全てによって発生された画像を圧縮し、該圧縮した画 像を、残りの１台のカメラによって発生された画像を表わす信号上に混合するス テップを含むことを特徴とする方法。 ２２．請求項２０または請求項２１において、更に、前記放送を遠隔地で受信し 、前記行事で表示された少なくとも１つの広告に関する情報をそこから得るステ ップを含むことを特徴とする方法。 ２３．広告サイト検出方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップと、および 前記スポーツ施設に関する広告サイトの位置以外に基づいて、少なくとも１フ ィールド内において少なくとも１ヶ所の広告サイトを検出するステップと、 から成ることを特徴とする広告サイト検出方法。 ２４．広告編入方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しかつ デジタル化するステップ、および 少なくとも１フィールドの前記スポーツ施設内の部分的に隠蔽されている広告 サイトに、広告の一部を編入するステップ、 から成ることを特徴とする方法。 ２５．広告サイト検出方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップと、 少なくとも１フィールド内において少なくとも１カ所の広告サイトを検出する ステップと、および 前記広告サイト検出器によって検出された少なくとも１カ所の広告サイトを、 フィールド全体を追跡することなく、追跡するステップ、 から成ることを特徴とする広告サイト検出方法。 ２６．請求項２２において、前記広告に関する情報は、前記広告の隠蔽に関する 情報を含むことを特徴とする方法。 ２７．広告画像検出方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップと、 少なくとも１フィールド内において少なくとも１つの広告画像を検出するステ ップと、および 各広告画像について、露出時間期間の長さをカウントするステップと、 から成ることを特徴とする広告画像検出方法。 ２８．音声広告をスポーツ行事を表す音声チャンネルに編入する方法において、 音声広告を記憶するステップと、および 前記音声広告を、前記スポーツ行事を表す音声チャンネルに混合するステップ と、 から成ることを特徴とする前記装置。 ２９．広告サイト検出方法であって、 置換される広告の画像を記憶するステップと、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップ、および フィールドの少なくとも一部を前記置換される広告の記憶されている画像と比 較することによって、前記フィールド内における、前記置換される広告の画像を 識別するステップと、 から成ることを特徴とする広告サイト検出方法。 ３０．請求項１において、前記広告サイト検出器は、前記スポーツ施設に関する 前記広告サイトの位置以外に基づいて、少なくとも１フィールド内で少なくとも １カ所の部分的に隠蔽された広告サイトを検出するように動作することを特徴と する装置。 ３１．請求項４において、前記広告サイト追跡部は、フィールド全体を追跡する ことなく、前記広告サイト検出器によって検出された少なくとも１カ所の部分的 に隠蔽された広告サイトを追跡するように動作することを特徴とする装置。 ３２．請求項１８において、前記広告は前記フィールド内で部分的に隠蔽されて おり、前記フィールドメモリ比較器は、フィールドの一部のみを、置換される広 告の記憶されている画像の一部のみと比較するように動作することによって、前 記フィールド内で置換される広告の一部のみの画像を識別することを特徴とする 装置。 ３３．ＴＶカメラが発生する放送すべき少なくとも１つの画像を含むＴＶカメラ ・アレイを監視するためのＴＶカメラ・アレイ監視システムであって、 各ＴＶカメラのための、カメラＦＯＶ中心方向測定ユニットと、 各ＴＶカメラのための、レンズ・ズーム状態監視ユニットと、および 前記ＦＯＶ方向測定およびレンズ・ズーム状態監視ユニットの出力を、放送さ れる信号上に混合するように動作する映像混合器と、 から成ることを特徴とするシステム。 ３４．請求項３３において、前記アレイは複数のＴＶカメラを含み、更に、前記 複数のＴＶカメラの中から、現在放映中のＴＶカメラを識別するように動作する 放映中カメラ識別ユニットを含むことを特徴とするシステム。 ３５．請求項３３または請求項３４において、更に、放送信号を受信しそこから 前記映像混合器の出力を抽出するように動作する遠隔広告検出器を含むことを特 徴とするシステム。