[go: up one dir, main page]

JPH08511392A - Device and method for detection, identification and incorporation of advertisements in video - Google Patents

Device and method for detection, identification and incorporation of advertisements in video

Info

Publication number
JPH08511392A
JPH08511392A JP7511729A JP51172995A JPH08511392A JP H08511392 A JPH08511392 A JP H08511392A JP 7511729 A JP7511729 A JP 7511729A JP 51172995 A JP51172995 A JP 51172995A JP H08511392 A JPH08511392 A JP H08511392A
Authority
JP
Japan
Prior art keywords
field
advertisement
advertising
image
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7511729A
Other languages
Japanese (ja)
Inventor
シャリル・アヴィ
タミール，ミカエル
Original Assignee
オーラッド・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーラッド・インコーポレーテッド filed Critical オーラッド・インコーポレーテッド
Priority claimed from PCT/US1994/001679 external-priority patent/WO1995010919A1/en
Publication of JPH08511392A publication Critical patent/JPH08511392A/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 例えば、スポーツ行事のような活動的な行事の映像送信のためのシステム（第７図および第８図）および方法（第１図）であって、背景の物理的画像に指定したターゲットを有し、前記物理的画像を予め選択してある仮想画像と電子的に交換し、実際に物理的画像の一部を遮っている物体または陰が、視聴者によって、仮想画像の同じ部分を遮っているものとして見えるようにする。物理的画像を遮っている競技者やボールの動きは、交換された仮想画像の対応する領域を遮るので、強調された電子画像が、正確に元の画像のように、競技の背景に残ることになる。 (57) [Summary] For example, a system (FIGS. 7 and 8) and a method (FIG. 1) for video transmission of an active event such as a sports event, in which a physical image of a background is used. An object or shade that has a specified target and that electronically replaces the physical image with a preselected virtual image and that actually obstructs a portion of the physical image is viewed by the viewer in the virtual image. Make it visible as if it is blocking the same part. The movement of the player or the ball obstructing the physical image obstructs the corresponding area of the exchanged virtual image, so that the enhanced electronic image remains in the background of the competition, exactly as the original image. become.

Description

【発明の詳細な説明】 映像内における広告の検出、識別および編入のための 装置および方法 本発明は、小さなビデオ画像を、それより大きなビデオ画像に重ね合わせる装 置および方法に関するものである。 国際的なスポーツ行事、または他の催し物は、一般的に多くの国で観衆の興味 や関心を引くものである。例えば、オリンピック、スーパーボール、ワールド・ カップ、主要な野球やサッカーの試合、自動車レースなどがこの範疇に該当する 。かかる行事は、通常映像によって、広く世界中の観衆に生で放送される。スタ ジアムやコートのような、かかる競技が行われる場所(locale)は、塀や広告掲示 板、そして、実際、競技用フィールドの一部も含む、何にも占領されていない適 当な場所のあらゆる空間に、掲示、ポスタまたはその他の表示物という形状で、 あたり一面に広告用空間を提供する。 表示物がほとんど印刷物であるという性質上、これらはそう頻繁に変えられず 、少なくとも１日、１シリーズ、またはシーズン全体の間変えられることがなく 、しかもほとんどがその土地の観衆を対象にしたものである。異なる国からの２ チームが互いに競技を行う場合、広告は通常、スタジアムの一方側は一方の国の 観衆に向けた広告を含み、他方側は他方の国の観衆に向けた広告を有している。 このような場合ビデオ・カメラは、それぞれの観衆用に、スタジアムの対向す る両側からその競技を撮影する。勿論、これは記号論理学上(logistically)複雑 であり、ゲームに参加している(represented)国のいずれにおいても、当該競技 を見ることができる角度が限られてしまうことになる。 現在の広告方法に対する他の制限は、ゲームを妨害せず、スタジアム内の観衆 の見物を邪魔せず、しかも競技者を危険に晒さないように、広告掲示板の配置に 厳重な(stringent)安全要求があることである。表示物は、競技者の注意をそら すことがないように、実際の活動領域に近すぎてはならない。 主要な世界のスポーツ行事における今日の広告システムの最も重大な欠点の１ つは、行事は世界中に生でテレビ放映されるが、スタジアム内の実際の物理的な 広告(actual physical advertisements)は、それらが広く国際的に放映されるた めに、世界的な市場を有する製品だけしか対象にできないと言う事実である。 地方の広告業者は、局所的にメッセージをＴＶ画面上に重ね合わせたり、ある いは行事の進行中に割り込むことによって、かかる世界的にテレビ放映される行 事を利用できるに過ぎない。 既存のシステムの他の欠点は、長い時間期間にわたって、ＴＶカメラの走査の ために、掲示(signs)が余りに不鮮明に現れ、ＴＶ視聴者には読みとれないこと である。多くの他の場合、掲示の一部分しかＴＶ視聴者には見えなかったり、掲 示が読めないことがある。 以下の参考文献は、ガウス・エッジ検出(Gaussian edge detection)について 記載したものである。この文献は、言及により本開示に含めるものとする。 J.F．Canny，"A computational approach to edge detection"，IEEETrans.Pa ttern Analysis and Machine Intelligence，Vol．8，pp679-698，November,198 6. 本発明は、ビデオ・フレーム内で、適切な別個のターゲットおよび領域を、検 出、識別、および倍率調整し、これらの領域にシステムのメモリに記憶してある 仮想画像を挿入することにより、前記別個領域の前にありその一部を視野から遮 っている全ての物体または陰が、映像の送信において、仮想画像を含む同一領域 部分の前に、それを遮るように見られるようにする、システムおよび方法に関す るものである。 本発明の固有の特徴は、システムをリアル・タイムで動作させることである。 本発明は、スポーツ用コートにおける広告活動に特に有用である。 本発明の目的は、背景物理画像(background physical image)に指定したター ゲットを有し、例えば、スポーツ行事のような活動的行事(active events)の映 像を送信するためのシステムおよび方法を提供することであり、前記物理的画像 を予め選択してある仮想画像と電子的に交換することにより、物理的画像の一部 を実際に遮っている物体または陰が、視聴者には、仮想画像の同一部分を遮って いるように見えるようにすると共に、前記物理的画像を遮る競技者の動きまたは ボールが、前記交換した仮想画像の対応する領域を遮り、交換した電子画像が、 正確に元の画像のように、行事(event)の背景に残るようにするものである。 本発明の好適実施例では、置換される物理的画像を検出し、認識し、自動的に 位置を確認し、１ＴＶフレーム内で置換して、元の画像をＴＶ視聴者には知覚で きないようにする。この実施例では、ライン放送(line broadcasting)の間、ル ープ内には人間を必要としない。 同一物理的画像が、コート周囲の種々の位置に配置された複数のＴＶカメラに よって捕獲され、各カメラは通常連続ズーム・レンズを有するので、システムは 、ある物理的ターゲットの可能な全空間的方位および倍率で、このターゲットを 検 出し識別することができる。 また、前記システムは物理的ターゲットのスケールおよび配景(perspective) を間違えることなく識別し、移植した仮想画像を同一配景に正規化することもで きる。 本発明の他の目的は、スポーツ用コート自体のように物理的掲示(physical si gns)を表示するには一般的に適さない所定の「空いている」背景領域に、仮想画 像を映像送信中に移植するシステムおよび方法を提供することである。 本発明の好適実施例では、これら空き領域の検出および識別を行うタスクは、 自動的に実行される。 本発明の更に別の目的は、物理的広告掲示板がカメラの走査またはジッタのた めに不鮮明に見える場合を自動的に識別し、かかる不鮮明な掲示をより明瞭なも のと交換するか、或いは代替的に同一不鮮明度を置換する掲示に適用し、隣接す る掲示と同様の外観を有するようにすることである。 本発明の更に他の目的は、カメラの視野では広告掲示板の小部分しか見えない 場合を自動的に識別し、この小部分を元の広告掲示板の全画像で置換することで ある。 本発明の更に他の目的は、捕獲された広告掲示板の画像の解像度がＴＶ視聴者 には十分でない場合を自動的に識別し、それらをより大きな仮想広告掲示板と電 子的に交換することにより、それらのメッセージが視聴者によって都合よく捕獲 されるようにすることである。 本発明の他の目的は、連続ビデオ・フレーム上に、上述の移植を実行すること である。 本発明の更に他の目的は、上述のシステム、およびリアル・タイムで仮想画像 の交換または移植を電子的に行う方法を提供することである。 本発明の更に別の目的は、物理的表示(physical display)によって占有されて いる空間に、異なる電子メッセージを置換し、同一行事を異なる人口数の視聴者 にリアル・タイムでビデオ放映するシステムおよび方法を提供することである。 本発明の更に他の目的は、物理的表示によって使用されていないスタジアム内 で使用可能な空間を利用し、スタジアム内で行われている行事のリアル・タイム 放映中に、電子的仮想画像を埋め込むことによって、広告活動のために利用する システムおよび方法を提供することである。 本発明の更にまた別の目的は、リアル・タイム映像送信中の行事の間に、実際 の行事の送信を妨害せずに、物理的画像を仮想画像と交換するか、或いは仮想画 像を不使用背景領域に埋め込むために、映像送信において用いる装置を提供する ことである。 本発明の好適実施例によれば、ＴＶカメラによって捕獲された活動的行事を放 映する際に、物理的表示および予め選択しておいた背景領域から選択したターゲ ットに、仮想画像を電子的に置換または重畳する、システムおよび方法を提供す る。このシステムは、行事の開催場所およびその中のターゲットの電子データ・ バンク、ターゲットにおいて置換するためのデジタル化した仮想画像を記憶する メモリ・ユニット、ビデオ・フレームを獲得しデジタル化する装置、デジタル化 したビデオ・フレームにおいて自動的にターゲットを検索し、その中でターゲッ トを検出する装置、ターゲットの位置を確認し、認証し、識別する装置、検出し たターゲットをデータ・バンク内の対応するターゲットと比較する装置、元のタ ーゲットの配景の縮尺調整および識別を行い、仮想置換画像を同一縮尺および配 景に変 形する装置、一連のフレームにわたって、検出したターゲットの映像をリアル・ タイムで追跡し、ターゲットの倍率（ズーム）または配景の変化を識別する装置 、非背景物体(non-background objects)と検出したターゲットの一部を遮る陰と の間で区別を行う装置、元のビデオ・フレームから置換フレームに、前記物体お よび陰を電子的に転送する装置、電子的に変形された仮想画像をビデオ・フレー ムに挿入し、この変形が視聴者に感知されないように、ターゲット内の元の画像 を置換する装置、仮想画像を受信し、記憶し、更に仮想画像データ・バンクを生 成する装置、ある行事に先だってまたはその最中に開催場所データ・バンク(loc ale data bank)を発生する装置（学習システム）、および映像信号入出力装置を 含む。 この目的のために、前記システムは、以下の属性の１つ以上を用いて、ターゲ ットの自動検出および識別を行う特別な方法を用いる。 −異なる角度および倍率で見た場合の広告掲示板の物理的構造（矩形形状また は平行線属性）のような、幾何学(geometry)。 −例えば、ポスタにおけるような、スローガンやグラフィクスのテクスチャ(t exture)。 −文字認識。 −空きコート領域を指定するための参照として役立つ、フィールドまたはコー ト線。 −ポスト、バックボード、バスケット、および／または競技者のシャツのよう な、典型的な形状および構成を有する標準的物体。 −色。および −交換しようとする画像の一部を一時的に遮っている物体および陰。 前記方法は、いかなる捕獲角度および範囲、ならびにいかなるズーム状態でも 、更に好ましくはリアル・タイムで、主題のターゲットを明瞭に識別し、元の広 告掲示板がＴＶ視聴者には感知されないようにする。前記方法は、典型的に、い かなるフレームにおいても、比較的多数のターゲット（極端な場合２０ターゲッ ト以上）を識別する。 遮っている物体および陰は、以下の手段によって、背景画像から区別する。 検出されたターゲット（部分的に遮られている）をシステムのデータ・バンク 内に記憶してある同一ターゲットと比較することによって、背景画像から識別す る。前記２つの間の滑らかな処理された差分画像(difference image)は、遮って いる物体の一部を形成する隠れた表面の画像である。この手順は、相関ウインド ウを用い、相関係数の低い値を隠蔽(occlusion)によるものとして識別すること によって、実施することもできる。 動き検出−背景に対して移動する物体を識別する。 テクスチャおよび幾何学的形状−競技者、ボールまたは陰を、掲示、スローガ ン、またはグラフィック画像等から区別する。および 色−および色調(shades of colour)。 感知可能な交換は通常ＴＶネットワークによって受け入れられないので、電子 的交換は一瞬に視聴者に気づかれないように行うことが好ましい。或いは、仮想 画像を強調しつつ、元の画像を連続的に「フェード」することも可能である。 ターゲットおよび画像の間違った識別は避けることが好ましい。 置換されるターゲットは、サブ画素精度(sub-pixel accuracy)で位置を確認し 、ターゲットがカメラの視野内部にある一連のＴＶフレーム全体の間、置換する ターゲットがフレームに関して空間的に固定されるようにすべきである。この精 度 は、人間の目はサブ画素精度に感応するという事実によるものである。 好ましくは、前記方法は、この処理に関与する多数の処理を同時に実行可能な 、空間並列およびパイプライン処理ハードウエアを採用する。 好ましくは、本発明の方法は、次にあげる任意の２サブシステムを用いる。 ａ）デジタル変換のための電−光スキャナと、広告のような画像のためのメモリ ・ユニットを構成するための仮想画像記憶部とから成る、デジタル画像変換およ び記憶装置。前記システムは、デジタル・インターフェース（磁気、光ディスク 、通信リンク）またはビデオ・ポートのような、他の方法で広告のような画像を 入力する可能性を有してもよく、更に、仮想画像（スローガンのような）を「即 座に」指定するための、グラフィックス・プログラムやマン−マシン・インター フェースを含んでもよい。 ｂ）ターゲットやスタジアムやフィールドのような開催場所における固定物体の データ・バンクを作成するための、開催場所「学習」および記憶システムであっ て、掲示（場所、形状、色およびタイプ（一時的、シーズン中等）、コート・マ ーカ（先、色、ゴール／バスケット、ポスト）、等を含む。 これら２つのサブシステムは、オフラインで動作することができ、或いは基本 システムの一部とすることもできる。前記システムは、生の競技の最中にコート の詳細を「学習し」、将来使用するためにそのデータ・バンクを作成／更新する 。これを行うには、競技が開始する前に取った試し撮り(trial shots)を用いる こともできる。 前記方法は、以下のステップを含む。 生のまたは前もって記録されたビデオ・フィルムが送信されているとき、以下 のステップが実行される。 １）フレーム獲得およびデジタル化 − 各ビデオ・フレームを獲得し、各画 素値をデジタル化しシステム・メモリに記憶する。 ２）検索 − 捕獲したビデオ・フレームを走査し、予め仕様が定義されてい る実施態様に相応しい、実際の物理的表示（メモリ内に記憶されているアイコン のような）、または背景領域のいずれかを検出する。検出後、識別が誤っていな いかについて、保留されているターゲット、即ち表示をチェックする。これを達 成するには、エッジ相関および領域比較方法、文字認識、ニューラル・ネットワ ーク技法等のような標準パターン認識技法を用いて、表示内のメッセージおよび グラフィックス、または色およびテクスチャの属性の識別を行う。ターゲット（ 表示）を識別し正確に位置を確認した後、その光学的倍率(magnification)およ び配景を計算し、データ・バンク内の開催場所のレイアウトを用いてフレーム内 に記憶されている他の全ターゲット（表示）の位置を連続的に予測し、同一ビデ オ・フレーム内の他のターゲットに対する明確な検索の糸口(positive search c lues)をシステムに与える。 ３）遮られている表面の識別 − 所与のメッセージ領域または表示領域をフ レーム内で明確に識別したなら、ターゲット（表示）をその適正に縮尺調整され 記憶された画像アイコンと比較し、結果の適切な平滑化および処理の後、競技者 の体、ボール、または陰等のような物体によって一時的に遮られている表示領域 を明らかにする。これらの表面を後に置換画像上に重ね合わせるために、これら の表面の画素アドレスを記憶しておく。 ４）スケーリング、配景変形および置換 − 物理的画像表示または空いた位 置を識別し、その位置を確認したなら、システムのメモリを検索し、置換または 移植すべき所望の仮想画像を探す。次に、交換される仮想画像（パッチ）をまず 正規化し、元の物理的画像の適切なサイズおよび配景を得て、次に識別した遮ら れている表面を除去することによって、交換される画像が背景表示のようにまた はコート上の描画表示(painted display)として見えるようにする。 ５）リアル・タイム映像追跡 − 典型的に、所与の表示は、それがカメラの 視野外に移動するまで、数秒の間見ることができる。好ましくは、前記システム は以前のフレームの情報を用いて、この一連のフレームにわたって所与の表示を 追跡する。これを行うために、エッジ、重心または相関追跡方法のような従来の 映像追跡技法を実行する。これらの方法は、サブ画素精度予測を組み込むべきで ある。競技者またはボールの追跡は、ターゲット・アイコンがシステム・メモリ 内に記憶されていない場合や、空き領域に移植する際に、遮っている部分を識別 する助けにもなり得る。 したがって、本発明の好適実施例によれば、スポーツ施設の少なくとも一部を 表わす少なくとも１フィールドを獲得しデジタル化するように動作するフィール ド獲得部と、内容が時間と共に変化する広告を少なくとも１フィールドに編入す る広告編入部とを含む、広告編入装置が提供される。 更に、本発明の好適実施例によれば、前記広告編入部は、スポーツ施設に対す る広告サイト(site)の場所以外の基準で、少なくとも１フィールドにおいて少な くとも１ヶ所の広告サイトを検出するように動作する広告サイト検出器を含む。 更にまた、本発明の好適実施例によれば、前記広告編入部は、スポーツ施設内 で少なくとも部分的に隠蔽されている広告サイトにおいて、少なくとも１フィー ルドに広告を編入するように動作する。 更にまた、本発明の好適実施例によれば、広告の内容は、所定の日程にしたが っ て変化する。 加えて、本発明の好適実施例によれば、広告の内容は、外部入力にしたがって 変化する。 更に、本発明の好適実施例によれば、前記広告編入部は、観衆によって発生さ れるノイズのレベルを検出し評価し、前記広告編入部に入力するノイズレベルを 発生し、入力されるノイズ・レベルに応じて広告の内容が変化するように動作す る観衆ノイズ評価部を含む。 更に、本発明の好適実施例によれば、スポーツ施設の少なくとも一部を表す少 なくとも１フレームを獲得しかつデジタル化し、内容が時間と共に変化する広告 を少なくとも１フレームに編入することを含む広告編入方法を提供する。 本発明は、図面および補足書類（Ａｐｐｅｎｄｉｘ）と関連付けた、以下の詳 細な説明から更によく理解され、認められよう。 第１図は、本発明方法の好適実施例によって要求されるプロセスおよびタスク の論理流れ図である。 第２図は、本発明の好適実施例による、基本およびサブシステム・モジュール のブロック図である。 第３図は、基本処理ユニットのブロック図である。 第４図は、本発明の好適実施例による最少基本オンライン・システムを示す。 第５図は、本発明による最少基本オフライン・システムを示す。 第６図は、ケーブルＴＶの用途に適用した、本発明の好適実施例によるシステ ムを示す。 第７図は、本発明の好適実施例にしたがって構成され動作する、広告サイト検 出および広告編入用リアル・タイム・システムの簡略ブロック図である。 第８図は、第７図の並列プロセッサおよび制御器の簡略ブロック図である。 第９図は、広告サイト検出および広告編入用リアル・タイム・システムの代替 実施例の簡略ブロック図である。 第１０Ａ図は、単一の広告サイトだけを識別し、単一の広告だけをそのサイト に編入する場合の、第７図の並列プロセッサおよび制御器の動作の好適な方法の 簡略流れ図である。 第１０Ｂ図は、複数の広告サイトを識別し、内容が異なったりまたは異ならな い場合もある、複数の広告をそれらのサイトに編入する場合の、第７図の並列プ ロセッサおよび制御器の動作の好適方法の簡略流れ図である。 第１１図は、第１０Ａ図および第１０Ｂ図の分割ステップを実行するための好 適な方法の簡略流れ図である。 第１２図は、第１０Ａ図および第１０Ｂ図の広告内容識別ステップを実行する ための、好適なモデル比較方法(model matching method)の簡略流れ図である。 第１３図は、第１０Ａ図および第１０Ｂ図の位置確認ステップを実行するため の、好適な方法の簡略流れ図である。 第１４図は、第１０Ａ図および第１０Ｂ図の追跡ステップを実行するための、 好適な方法の簡略流れ図である。 第１５図は、第１０Ａ図および第１０Ｂ図の隠蔽分析ステップを実行するため の、好適な方法の簡略流れ図である。 第１６図は、第１０Ａ図および第１０Ｂ図の広告編入ステップを実行するため の、好適な方法の簡略流れ図である。 第１７図は、第７図の広告サイト検出／編入装置と組み合わせて用いる、カメ ラ監視装置の簡略ブロック図である。 第１８図は、少なくとも１台の放送されていないカメラからの画像を考慮に入 れるために、第５図の隠蔽分析プロセスの出力を処理するための、好適な方法の 簡略流れ図である。 第１９図は、興味の中心である移動物体を検出し追跡するための、好適な方法 の簡略流れ図である。および 補足書類（Ａｐｐｅｎｄｉｘ）Ａは、本発明の代替実施例にしたがって構成さ れ動作する、広告サイト検出および広告編入のための、ソフトウエアで実施した 非リアル・タイム・システムのコンピュータ・リストである。 ここで第１図を参照する。本発明の好適実施例では、システムおよび方法は、 物理的ターゲットの合成画像との置換をリアルタイムに自動的に実行するように 設計してあるが、本発明をより簡単にしたものをオフラインで使用することもで きる。 システムを動作させるとき、必要なモジュールを第２図のブロック図に示す。 これらは、以下のものを含む。 基本処理ユニット、 静止写真から合成画像のデータ・バンクを作成するために用いる光学スキャナ ／デジタイザ、および スタジアム・データ・バンクを作成するためにの、ＴＶカメラ、デジタイザお よびメモリで構成された光学サブシステム。先に述べたように、合成画像のデー タ・バンクを作成するには、他にも方法がある。開催場所（スタジアム）のデー タ・バンクも、ゲームが開始される前に撮った試し撮から作成することができる 。あるいは、「学習」プロセスによって、またはスタジアムの所有者、広告業者 またはＴＶネットワークによって供給を受けたデータを用いて、ゲームの進行中 に徐々に作成することもできる。 第２図は、システムにおいて用いる装置のブロック図を示す。ここで、１、２ 、．．．、ｎは異なる位置にある複数のＴＶカメラであり、通常のＴＶネットワ ーク用カメラである。３は第３図に記載する基本処理ユニット、サブシステム４ は合成画像を変換し記憶する。サブシステム５は、行事の開催場所およびその中 のターゲットのための「学習」および記憶システムである。出力６は、ケーブル 、光ファイバ、または無線で送信することができる。また、これを表示および／ または記録することもできる。 このシステムをリアル・タイムで動作させるのに必要な基本処理ユニットを第 ３図に示す。このモジュールは、 カラー画像を取り込むためのフレーム獲得部、 複数の画像メモリ、 高速並列プロセッサ、 プログラム・メモリ 置換すべき合成画像ならびに開催場所のレイアウトおよびターゲット・アイコ ンのデータ・バンク、 制御および局所的表示および記録のためのマン／マシン・インターフェース、 および 画像デジタル／アナログ変換器、 から成る。 上記装置を用いて、リアル・タイムに、各ビデオ・フレームの中に、物理的表 示を有するまたはかかる表示を具現化するのに相応しいスタジアム内の適した領 域を確認し、かかる物理的表示を置換し、あるいはかかる領域に、システムのメ モリに記憶してある仮想画像を導入し、背景において広告として役割を果たすよ うにする。 これらの電子的挿入画像は、視聴者からは、これらがスタジアム内に配置され た物理的表示であるかのように見え、実際の物理的表示の前で行われている全て の動作(action)は、視聴者には、同様に仮想画像の前で行われているように見え る。 第４図は、本発明の一態様によるオンライン・システムを示し、ビデオ・カメ ラ１０、映像処理ユニット１２、および必要なマン／マシン・インターフェース を提供するワーク・ステーション１４で構成してある。 第５図は、本発明の一態様による基本オフライン・システムを示す。この場合 、ＴＶカメラではなく、ビデオ・テープ２０、ビデオ・カセット・レコーダまた はビデオ・デッキが入力であり、これが処理ユニット２２およびワーク・ステー ション２４によって処理され、置換画像を有するビデオ・テープ出力２６を供給 する。 第６図は、本発明のシステムの更に別の応用、即ち、ケーブルＴＶセンタを示 す。センタ３０は局３２および３４からの送信を受信する。これらの送信を、処 理ユニット２２およびワーク・ステーション２４によって処理し、センタ３０か ら加入者に、置換された広告と共に放送する。 本発明による好適なシステムは、遮っている物体および陰を仮想画面上で重ね 合わせるが、本発明の一部として、洗練度が低くかなり安価なシステムも考えら れる。これは、遮っている物体には関連させずに、仮想画像を物理的画像と交換 するシステムである。 かかるシステムは、例えば、スタジアムの高いところのような、遮られない領 域に画像を置換する際に非常に有用となり得る。 本発明の好適実施例は自動的に各ＴＶフレームにおいて所与の広告掲示板を検 出し認識するが、より洗練度が低いシステムも本発明の一部として考えられる。 かかる洗練度の低いシステムでは、置換すべき所与の掲示(sign)の選択は、ライ ト・ペンまたはカーソル（マウスによって作動される）のようなポインタによっ て、ループ内に人間のオペレータを配して、「手動式に」行うものである。 本システムは主にオフラインである。オンラインでリアル・タイムで用いると 、オペレータによる指示タスクを実行することが非常に困難である。典型的な筋 書きでは、掲示が連続して視聴可能なのは、各々数秒という短い期間に過ぎない からである。 かかる動作モードでは、しかしながら、置換がＴＶ視聴者に気づかれてしまう 。これは観衆の気分を害するので、多くの場合、ＴＶネットワークによって許さ れないことである。 本発明の先の記載から、上述のシステム、方法および装置には多数の応用があ り得ることは明白である。したがって、特に競技者が近接して写されるときに、 スローガンやグラフィック広告のような仮想画像を、競技者のユニフォーム上に 導入することも可能である。かかる場合、当該競技者の輪郭、または少なくとも 彼のシャツまたはヘルメットが、仮想画像を移植するターゲットとなろう。 他の可能な応用は、予め選択してある特定のターゲットが現われるシーケンス のみを示し、これらのターゲットが現れないシーケンスを除外する、連続ビデオ ・ フィルムの自動発生である。かかるビデオ・フィルムは、例えば、あるチーム・ ゲーム全体にわたる個々の競技者や彼らの活動のような、特定のターゲットの動 作(activity)を分析し監視するには有用となり得る。これによって、各競技者に ついてカセット全体を再生する必要なく、ゲーム全体にわたる各個人を追跡する ことができるようになる。 本発明の他の応用は、広告のようなターゲットの、例えば、ある広告が画面上 に現れる回数および累積時間のような統計的データを発生し、これにしたがって 請求(debit)することである。 移植した画像は、固定、点滅またはスクロール画像の形状とすることができ、 或いは動画フィルム(animated film)またはビデオ・クリップ(video clip)とし てもよい。 第７図は、本発明の好適実施例にしたがって構成され動作する、広告サイト検 出および広告編入のためのリアル・タイム・システムの簡略ブロック図である。 第７図の装置は、適当な接続器を介して、好ましくは、フィールド獲得部１１ ０、或いはフレーム獲得部に接続してある、ビデオ・カメラ、ビデオ・カセット 、放送、ビデオ・ディスク、またはケーブル送信のような映像入力源１００を含 む。以後、フィールド獲得部という用語を用いる場合、フレーム獲得部も含むこ とも意図することとする。 フィールド獲得部１１０は、獲得しデジタル化したフィールドを、並列プロセ ッサおよび制御器１２０に供給する。並列プロセッサおよび制御器１２０につい ては、後に第８図を参照しながら詳細に説明する。並列プロセッサおよび制御器 １２０は、好ましくは、システムの広告サイト検出および広告編入について、ユ ーザに会話形式で指示を与える映像表示装置１３０と連携する。好ましくは、ラ イ ト・ペン１４０を映像表示装置１３０と連動させる。 本発明の代替実施例によれば、システムは置換すべき１つ以上の広告およびそ の場所が視野内に存在するかについて、ユーザからの指示を受ける。ユーザの入 力は、例えば、ライト・ペン１４０によって与えてもよい。ユーザによって与え られる指示は、広告のほぼ中央(proximate center)のような広告の内部位置の単 一指示を含んだり、置換すべき広告の対向する２カ所の角または４カ所全ての角 といった２つ以上の指示を含んでもよい。 任意に、ユーザは広告の内容の指示も与える。例えば、置換すべき広告を識別 するキャプション(captions)のメニューを映像表示装置１３０上の、または競技 場の表示の隣またはその上に発生し、ユーザがライト・ペンを用いて、適切なキ ャプションを識別することができる。 広告画像および広告配列データベース１５０を設け、コンピュータ・メモリの ようないずれかの適切なタイプのメモリ、またはハード・ディスクのような二次 的メモリに記憶する。広告画像および配列データベース１５０は、典型的に、複 数の広告画像を記憶する。これらの広告画像は、典型的に静止画像であり、置換 すべき画像および／または競技場の画像に編入すべき画像を含み、既存の広告と 置き換えるか、或いは未だ今のところ広告に専有されていない場所に編入する。 データベース１５０は、配列が前もって分かっている場合、置換すべき複数の 広告の配列の指示を含むこともできる。典型的に、配列の指示は、競技場に対す る各広告の位置の指示を含んでおらず、代わりに置換すべき広告をフィールドに 配列する順序の指示を含む。例えば、２０の横に隣り合う(side-by-side)一連の 広告を、競技場の三方を囲むように配置することができる。また、データベース １５０は、広告を配置する順序(sequence)の指示を含むこともできる。 データベース１５０内の広告画像は、フィールド獲得部１１０によって、また は画像処理ワーク・ステーション、スキャナまたはその他の色読み取り装置のよ うな画像発生装置、ハード・ディスク、ＣＤＲＯＭ駆動装置のようないずれかの タイプの記憶装置、または上述のいずれかへの通信リンクのような、いずれかの 適切な広告画像源１６０から供給される。しかし、広告画像源１６０はこれらに 限定されるわけではない。 システムの映像出力は、適切な接続器を通じて、視聴者に無線または有線送信 を提供する適切な機器に供給される。 第８図は、第７図の並列プロセッサおよび制御器１２０の簡略ブロック図であ る。並列プロセッサ／制御器１２０は、好ましくは、広告サイト検出／内容識別 部１７０と、複数の並列追跡モジュール１８０と、隠蔽分析および広告編入部１ ９０と、ビデオ・エンコーダ２００と、制御器２１０とを含む。 第８図の広告サイト検出／内容識別部１７０は、アメリカ合衆国のArielから 商業的に入手可能なAriel Hydra基板のような、適切な数の適切な像処理基板に 基づいて実施することができる。これらの各々は、好ましくは、４つのTMS320C4 0デジタル信号プロセッサ、６４ＭＢのＤＲＡＭ、ＩＭＢのＳＲＡＭ、およびＶ ＭＥバス・インターフェースを内蔵する。好ましくは、特別に設計したコプロセ ッサをこれらの基板に付け加えて、分割タスクを実行させる。画像処理基板は、 第１１図および第１２図の広告サイト検出および内容識別方法に基づいてプログ ラムしてある。補足書類Ａは部分的にこの方法に基づいている。例えば、補足書 類Ａの適切な部分をアセンブラに変換し、得られたコードを画像処理基板のデジ タル信号プロセッサにロードすることができる。 並列追跡モジュール１８０の各々は、アメリカ合衆国のArielから商業的に入 手可能なAriel Hydra基板のような、１枚以上の画像処理基板に基づいて実施す ることができる。これらの各々は、好ましくは、４つのTMS532C40デジタル信号 プロセッサ、６４ＭＢのＤＲＡＭ、ＩＭＢのＳＲＡＭ、およびＶＭＥバス・イン ターフェースを内蔵する。画像処理基板は、第１４図の追跡方法に基づいた並列 動作のためにプログラムしてある。補足書類Ａは部分的に第１４図の方法に基づ いている。例えば、補足書類Ａのリストの適切な部分をアセンブラに変換し、得 られたコードを画像処理基板のデジタル信号プロセッサにロードすることができ る。 隠蔽分析および広告編入部１９０も、Fairchlld社のThru-D基板のような１枚 以上のテクスチャ割り付け基板(texture mapping board)に基づき、第１５図お よび第１６図の隠蔽分析および広告編入方法に基づいてプログラムしてある適切 なバス・ブリッジ(bus bridges)を備えている。補足書類Ａは、部分的に第１５ 図および第１６図の方法に基づいている。例えば、補足書類Ａのリストの適切な 部分をアセンブラに変換し、得られたコードをテクスチャ割り付け基板のプロセ ッサにロードすることができる。 ビデオ・エンコーダ２００は、Ｄ／Ａ変換を行うように動作する。 制御器２１０は、例えば、第１０Ａ図一第１０Ｂ図の制御方法に基づいてプロ グラムしてある486PCを含む。補足書類Ａは部分的にこの制御方法に基づいてい る。例えば、補足書類Ａの適切な部分は、Intel 486PCプロセッサとしてもよい 。 第９図は、広告サイト検出および広告編入のためのリアル・タイム・システム の代替実施例の簡略ブロック図である。第９図の装置において、従来のワークス テーション２１２はそれ自体の表示装置２２０と、映像基板と適切なソフトウエ アとを搭載したSilicon Grapics Onyxワークステーションのようなそれ自体のフ ィールド獲得部（図示せず）とを有し、第７図の部分、即ち、フィールド獲得部 １０、広告サイト検出および内容識別部１７０および追跡モジュール１８０以外 の並列プロセッサおよび制御器１２０、映像表示装置、およびデータベース１５ ０と置き換わる。 このワークステーション用のソフトウエアは、第１０Ａ図一第１０Ｂ図の方法 を実施した補足書類Ａに基づき、このワークステーションの環境に適合するよう に変換したものでよいが、補足書類Ａの機能のいくつかを除去することが好まし い。具体的には、 ａ．第１０Ａ図一第１０Ｂの分割、広告内容識別および追跡ステップ３２０、３ ３０および３１０にそれぞれ対応する、広告サイト検出および追跡機能を除去し 、代わりに第９図の専用ハードウエア２３０によってリアル・タイムに実施する 。および ｂ．好ましくは広告編入機能の一部を形成するテクスチャ割り付け機能（第１６ 図の第２および第３ステップ）を除去し、その代わりに、ワークステーション自 体によって提供されるテクスチャ割り付け機能によって実行させる。 第９図の専用ハードウエア２３０は、第８図の広告サイト検出／内容識別部１ ７０および並列追跡モジュール１０と同様でよい。 補足書類Ａは、本発明を非リアル・タイムでソフトウエアによって実施する場 合のコンピュータ・リストであり、これは、例えば、撮像ＭＦＧ基板のような従 来のフレーム獲得部を用いた486 PC上で動作する。補足書類Ａの方法について、 ここで第１０Ａ図−第１６図を参照して説明する。 第１０Ａ図は、単一の広告 サイトだけを識別し、単一の広告画像だけをそのサイトに編入する場合の、第７ 図の並列プロセッサおよび制御器１２０の動作の好適方法の簡略流れ図である。 第１０Ｂ図は、複数の広告サイトを識別し、内容が異なったり異ならない場合 もある、複数の広告をそれらのサイトにそれぞれ編入する場合の、第７図の並列 プロセッサおよび制御器１２０の動作の好適方法の簡略流れ図である。 第１０Ｂ図の方法は、典型的に、以下のステップを含む。これらは第１０Ａ図 のステップと同様なので、簡略化のために第１０Ａ図のステップを別個に説明し ないことにする。 ステップ２９０：デジタル化したビデオ・フレームを第１図のフィールド獲得 部１１から受け取る。 ステップ３００：現フィールドにある少なくとも１つの広告が、以前のフィー ルドにも存在するか否か（そして、同一カメラによって撮影されたか）について 決定を下す。存在するのであれば、現フィールドを「連続」フレームと名付け、 好ましくは、分割、内容識別および位置確認ステップ３２０、３３０および３４ ０を、追跡ステップ３１０のみで置換する。存在しなければ、現フィールドを「 新」フィールドと名付ける。 フィールドが「連続」フィールドの場合、現フィールドが「連続」フィールド なので、以前のフィールドに存在していた少なくとも１つの広告に基づいて、複 数の広告を追跡する（ステップ３１０）。 フィールドが「新」フィールドの場合、ステップ３２０、３３０および３４０ において広告を編入すべき広告サイトを識別する。処理すべき複数の広告からの 各広告に対して、１つのループを実行する。好ましくは、分割および内容識別ス テップ３２０および３３０は、最初に処理される広告に対してのみ実行する。 ステップ３２０において、典型的に、全体的に平行な一対の線を検出し、フィ ールドの画像を分割する。具体的には、典型的に一連の広告の上下の境界線に対 応する、検出した２本の平行線の間に位置するフィールド部分を、フィールドの 残りの部分から分割する。 典型的に、分割ステップ３２０は、撮像カメラに対するそれらの配景、ズーム 状態即ち撮像カメラのレンズ、視野（ビデオ・フィールド）内の広告の位置、撮 像カメラの地面に対する角度方位(angular orientation)、およびＴＶカメラの 位置には係わらずに、広告を分割するように動作する。 分割ステップ３２０は、典型的に、以下にあげるがこれらには限定されない、 場所以外のいずれかを別個にまたはそれらのいずれかの組み合わせに基づいて、 空のまたは占有された広告サイトを識別するように動作する。 ａ．実質的に平行な上下境界線のような、または実質的に矩形状に配置した４つ の頂点のような、広告の境界線の幾何学的属性。 ｂ．広告画像に現れる前に分かっている、色、色の組み合わせ、または色のパタ ーン。 ｃ．典型的に予めわかっている広告画像の空間周波数。典型的に、既知の空間周 波数帯を、例えば、広告のシーケンス(advertisement sequence)の上下の境界線 であることがわかっている、一対の検出された水平線間の距離を計算することに よって得られる、広告の高さによって正規化する。 ステップ３３０において、２本の実質的に平行な線間の部分の内容を、置換す べき広告の記憶してある表現と比較する(match)。 スポーツ行事の間にカット（このスポーツ行事を同時に撮影する複数のカメラ の出力間の、典型的に急激な、遷移）が生じても、ステップ３２０および３３０ によって、広告サイトが識別でき、その内容をその記憶してあるモデルと比較す ることができる。典型的に、各カットにおいて、そのカットの最初の数フィール ド内の広告を識別するように、ステップ３２０および３３０を実行する。次のカ ットが発生するまで、識別された広告を典型的に追跡する（ステップ３１０）。 ステップ３４０において、その広告をサブ画素精度で位置を確認する。 最後に、各広告について、隠蔽分析を実行し（ステップ３５０）、置換する広 告を広告サイトに編入する（ステップ３６０）。或いは、既存の広告を置換する のではなく、従来のエッジ先鋭化技術(edge sharpening techniques)を用いて既 存の広告を強調する、広告強調ステップ(advertisement enhancement step)で、 隠蔽分析および広告編入ステップを置き換える。 任意に、典型的に隠蔽分析ステップ３５０の後に、料金積算ステップ３６２を 実行する。料金積算ステップでは、各広告に対する料金を積算する。料金の計算 は、いずれかの適切な基準で行えばよい。例えば、広告が表示されていた全時間 量と、広告の少なくとも５０％が遮られていた全時間量とをカウントし、時間単 位当たり固定のドル・レートを乗算することによって、料金を決定することがで きる。或いは、広告の遮られていない領域の割合を、各秒毎のような各時間間隔 毎に計算してもよい。任意に、表示時間または表示領域の時間の合計を調節し、 ゲームの進展を考慮してもよい。例えば、表示時間または表示領域の時間の合計 を、広告表示中のゲームの緊張レベル(tension level)を示す、外部から供給す る指標と乗算してもよい。高い緊張レベルは、例えば、ゲームが延長に突入した こと、或いは表示中または表示のすぐ前で、ゴールのような重大な事象が起こっ たことを意味する。或いは、緊張レベル指標をシステム自体に供給してもよい。 例えば、音声認識装置が、スポーツ解説者によって発せられる、「ゴール」のよ うな、重大なことばを認識するようにしてもよい。 本発明の代替実施例によれば、内容が予めわかっている、置換すべき広告の位 置を識別する物理的ランドマークを配置し、競技場において前もって捕獲すれば 、分割および広告内容識別ステップ３２０および３３０は、それぞれ、除去して もよい。 第１１図は、第１０Ａ図および第１０Ｂ図の分割ステップ３２０を実行するた めの、好適な方法の簡略流れ図である。 第１１図の方法は、以下のステップを含むことが好ましい。 ステップ３８０：新フィールドを受信し、前述のステップは低い解像度で適当 に実行できるので、その解像度を低下させることが好ましい。例えば、ロー・パ ス・フィルタを用いて、７５０Ｘ５００画素フィールドを、１２８ｘ１２８画素 に減らす。 ステップ３９０：任意に、例えば、メジアン・フィルタ処理またはローパス・ フィルタによって低解像度の画像を平滑化して、長く実質的に水平な線を検索す るタスクに関連のない情報を除去する。 ステップ４００：J.F．Cannyが"A computational approach to edge detectio n",(IEEE Trans．Pattern Analysis and Machine Intelligence，Vol，3，pp.67 9-698,November，1986)に記載した、キャニイ法(Canny metod)のようないずれか の適したエッジ検出方法を用いて、エッジおよび線（２辺のエッジ）を検出する 。 ステップ４０４：ステップ４００で検出されたエッジを間引きし、接続性分析 の従来の技術を用いて、その成分を接続する。エッジは、傾斜が小さすぎるエッ ジを破棄するためのスレシホールドである。 ステップ４０８：ステップ４００および４１０で検出したエッジを対毎に比較 し、ストリップ、即ち、比較的長い並列なまたはほぼ並列な線の対を見つける。 かかる対がない場合、本方法を終了する。 ステップ４１２：各ストリップ内の空間周波数スペクトルを見つけ、空間周波 数内容が、広告に考えている空間周波数帯と一致しないストリップを除去する。 典型的に、除去の基準は、３または４本のストリップのような、１本より多いス トリップが残るようにするものである。 ステップ４１６：残ったストリップを整列し、最も高いランクのストリップを 選択する。ストリップに付随するランクは、当該ストリップが広告を含む確率に よって左右される。例えば、フィールドの上半分の最下位置のストリップには、 それより上のストリップより高いランクを与える。この理由は、それより高いス トリップはスタジアム部分の画像である可能性が高いからである。最も下に位置 するストリップは、典型的にスタジアムの下に位置付けられる広告である可能性 が更に高い。 競技場が全く示されていない場合、広告はビデオ・フィールドの底部に向かっ て写されるだけなので、フィールドの底部に隣接するストリップには、低いラン クを与える。ただし、この可能性は低い。 第１２図は、第１０Ａ図および第１０Ｂ図の広告内容識別ステップ３３０を実 行するための、好適なモデル比較方法(model matching method)の簡略流れ図で ある。或いは、広告内容の識別は、第１図を参照して先に述べたように、ユーザ が与えるようにしてもよい。 第１１図のステップ３８を参照して先に述べたように、第１２図の方法は低解 像度で実行することが好ましい。第１２図の方法は、好ましくは、以下のステッ プを含む。 ステップ４２０：前述のステップ４２４、４３０、４３６、４４０、４４４お よび４５２は、第１１図の分割ステップ３２０で識別したほぼ平行なストリップ 各々について実行する。 ステップ４２４：各ストリップの２線間の距離および角度を計算し、当該スト リップが撮像された倍率と大体の配景とをそれから判定する。 ステップ４３０：設定中、各広告モデルを複数のウインドウに分割する。ステ ップ４３６、４４０および４４４を、各広告モデルの各ウインドウについて実行 する。例えば、５個のモデルを６個のウインドウに分割する場合、このステップ を３０回実行する。 ステップ４３６：適切な倍率に調整された現モデル・ウインドウｋについて、 現在のほぼ平行なストリップに沿って、一次元類似度検索を実行する。典型的に 、現在のストリップに沿って、相互相関関数(cross-correlation function)を、 各画素について計算する。 ステップ４４０：ステップ４３６で得られた相互相関関数値はスレシホールド となる。例えば、０．６を越える値には値１（相関）を割り当て、０．６以下の 値には値０（無相関）を割り当てればよい。１には、それらの対応するウインド ウの「重要度」に応じて重み付けを行う。各ウインドウの「重要度」は、好まし くは、より多くの情報を含むウインドウが、含む情報が少ないウインドウよりも 「重要」となるように、設定中に決定する。 ステップ４４４：この段階では、重み付けした相互相関関数値が計算されてお り、ストリップに沿った各位置の内容（例えば、ある１つの画素からある距離離 れているストリップに沿った複数のウインドウの各々の）を、当該ストリップ内 で発生することがわかっている各モデル広告の各ウインドウと比較した結果を表 わす。 重み付けし、スレシホールドと比較した相互相関関数値を、モデル掲示または モデル・ストリップを構成する全てのウインドウ毎に積算する。 ステップ４５２：ストリップ内の広告モデル(advertising models)シーケンス の大体の位置について判定を行う。一旦各広告モデルの位置を判定したなら、同 一シーケンス内の他の広告モデルの位置も決定され、撮影されたストリップの倍 率および大体の配景も分かるることは認められよう。 第１３図は、第１０Ａ図および第１０Ｂ図の正確な位置確認ステップ３４０を 実行するための、好適な方法の簡略流れ図である。第１３図では、第１２図の方 法によってほぼ位置を確認した広告モデルを、更にサブ画素の精度で位置を確認 する。正確な位置確認は、典型的に、わずかなフィールドについてのみ実行する 。「連続」フィールドについては、広告の位置は、好ましくは、映像の追跡によ って測定する。 第１３図の方法は、好ましくは、次のステップを含む。 ステップ４６０：第１２図から、次の情報が、検出した広告毎に入手可能であ る。頂点の１つのような広告内の１箇所の位置、画像内の広告のスケール・ハイ ト(advertisement scale height)、およびその大体の配景。これらの情報を用い て、検出した各広告の４カ所の頂点を計算する。 ステップ４６４：配景の変形を計算し、典型的に矩形状のモデルを、撮像カメ ラに対するその姿勢(pose)のために、典型的に矩形状ではない、検出した広告領 域にどのように「変形するか」を記述する。 ステップ４６８：ステップ４６４で計算した配景の変形を用いて、設定中にモ デルの分割で得られた複数のモデル追跡ウインドウの各々の内容を、ビデオ・フ ィールドに割り付ける。 ステップ４７０：モデル追跡ウインドウの各々について、ステップ４７２およ び４７６を実行する。 ステップ４７２：現モデル追跡ウインドウを、ビデオ・フィールド内に定義し た検索領域を通じて変換(translate)する。検索領域内のモデル追跡ウインドウ の各位置について、類似度誤差関数（差の相互相関または絶対和のように）を計 算する。典型的に、モデル追跡ウインドウは、検索領域内に、８ｘ８または１６ ｘ１６カ所の異なる位置を有する。 ステップ４７６：現モデル追跡ウインドウの最少類似度誤差関数を見つける。 好ましくは、例えば、二次元放物線をステップ４７２で発生した類似度誤差関数 に適用し、放物線の最小値を計算することによって、最小値をサブ画素精度で見 つける。この最小値は、即ちビデオ・フィールド内の現モデル追跡ウインドウに 対する、「サブ画素精度」での最良の位置に対応する。 類似度誤差関数の最小値が全ての追跡ウインドウにおいて高い場合、即ち追跡 ウインドウにビデオ・フィールドにうまく一致できるものがない場合（ステップ ４８０）、現フレームの処理を終了し（ステップ４８２）、第１０Ａ図の方法の ステップ３２０以降を、次のフレームに対して実行する。 ステップ４８４：高い類似度誤差関数最小値を有する追跡ウインドウを除去す る。典型的に、約３０の追跡ウインドウが残る。 ステップ４８８は、追跡ウインドウを比較するすることによって、位置確認を もう１度繰り返し実行するか否かを判定する、終了基準である。典型的に、追跡 ウインドウの中心が、最後の繰り返しにおいて識別された中心に対して収束する (converge)することが発見されたなら、プロセスを終了する。その他の場合、本 方法はステップ４６４に戻る。 ステップ４９０：一旦追跡ウインドウの位置が収束したなら、画像広告とその モデルとの間の配景変形を再度計算する。 第１４図は、第１０Ａ図および第１０Ｂ図の追跡ステップ３１０を実行するた めの、好適な方法の簡略流れ図である。第１４図の方法は、好ましくは、次のス テップを含む。 ステップ４９２：モデル追跡ウインドウに配景変形を実行し、その内容をビデ オ・フィールドに割り付ける。このステップは、以前のフィールドにおける広告 の位置、および好ましくは、スポーツ行事を撮影するカメラの予測走査速度に関 するシステムの知識を用いる。 ステップ４９６：ステップ４９８および５００は、それぞれ第１３図のステッ プ４７２および４７６と同様であり、各モデル追跡ウインドウに対して実行する 。 ステップ５０８および５１２は、第１３図のステップ４８８および４９０と同 様でよい。 ステップ５１０：ウインドウの中央位置がまだ収束しない場合、ステップ４９ ２を再度実行するが、今回は、テクスチャ割り付けを以前の繰り返しの配景変形 に基づいて実行する。 ステップ５２０：カメラの走査動作の平滑性のため、配景変形の係数は、時間 的に平滑化することが好ましい。不連続はノイズと見なすことができる。 第１５図は、第１０Ａ図および第１０Ｂ図の隠蔽分析ステップ３５０を実行す るための、好適な方法の簡略流れ図である。第１５図の方法は、好ましくは、以 下のステップを含む。 ステップ５３０：ビデオ・フレーム内の広告画像を、第１４図のステップ５１ ２において、または、新フィールドに対して第１３図のステップ３９０において 、計算したその配景変形モデルから差し引く。 ステップ５３４：好ましくは、ステップ５３０において計算した差の値を調べ ることによって、広告画像および記憶してある広告との同一性を確認する。広告 画像と記憶してある広告とが同一でない場合、現フィールドをもはや処理しない 。代わりに、第１０Ｂ図のステップ３２０から開始して、次のフィールドを処理 する。 ステップ５３８：内部エッジはアーチファクトと見なされるので、内部エッジ 効果を、ステップ５４３０で計算した差分画像から除去する。 ステップ５４２：差分画像内の大きな非黒領域を、隠蔽の領域であると定義す る。 ステップ５４６：隠蔽のプロセスは連続であると仮定できるので、隠蔽マップ を時間的に平滑化することが好ましい。 第１６図は、第１０Ａ図および第１０Ｂ図の広告編入ステップ３６０を実行す るための、好適な方法の簡略流れ図である。第１６図の方法は、好ましくは、以 下のステップを含む。 ステップ５６０：置換する広告モデル、即ちメモリ内の広告の解像度を調節し 、置換される広告が撮影された解像度に対応させる。典型的に、単一の広告モデ ルを、いくつかの異なる解像度で記憶してある。 ステップ５７０：三線形補間方法(tri-linear interpolation methods)を用い て、置換する広告を変形し、ビデオ・フィールド・ポーズ(video field pose)の 中に、テクスチャ割り付けを行う。このステップは、典型的に、第１４図のステ ップ５１２の結果、または新フィールドに対しては第１３図のステップ３９０の 結果を基にしている。 ステップ５８０：エイリアシング効果を除去する。 ステップ５９０：隠蔽マップ(occlusion map)にしたがって、置換する画素を 固定する(key)。置換する画素の値は、既存の値と完全に完全に入れ替えるか、 あるいは、加重平均等を用いて、既存の値と組み合わせてもよい。例えば、第２ の代替案を縁側の画素に用い、一方第１の代替案を中間の画素に用いてもよい。 第１７図は、第７図の広告サイト検出／編入装置と組み合わせて用いる、カメ ラ監視装置の簡略ブロック図である。第７図の並列プロセッサおよび制御器が第 ８図に示したようなものである場合、第１７図の装置は不要で、その代わりに従 来のＴＶカメラを用いればよい。しかしながら、代替案として、第８図のユニッ ト１７０を除去することによって、システムの自動検出および内容識別機能を除 去してもよい。この場合、第１７図の装置は、好ましくは、スタジアムまたは競 技場のＴＶカメラと連動して動作するように設ける。 第１７図の装置は、「放映中」のカメラの識別、そのレンズのズーム状態、お よびそのＦＯＶの中心の検出を含む、カメラ情報を供給する。この情報を、スタ ジアム内の広告の位置および内容に関する既知の情報と組み合わせて用い、各広 告を検出し、識別し、さらに大まかな追跡まで行う。 第１７図の装置は以下のものを含む。 （ａ）複数の従来のＴＶカメラ６００。その内１台を第１７図に示す。 （ｂ）各カメラ６００に対して、カメラＦＯＶ（視野）中心方向測定ユニット６ １０。少なくともその一部は、典型的にＴＶカメラ６００の台座に取り付けてあ る。 （ｃ）各カメラ６００に対して、典型的にＴＶカメラ６００の台座に取り付けて ある、カメラ・レンズ・ズーム状態監視ユニット６２０。監視ユニット６２０は 、カメラのズーム機構から直接ズーム状態の出力指示を受ける。 （ｄ）複数のＴＶカメラ６００の中から放送しているカメラを識別するように動 作する、「放映中」カメラ識別ユニット６３０。この情報は、典型的に、放送シ ステム制御ユニットから得ることができる。放送システム制御ユニットは、典型 的に、プロデューサからの、放映中のカメラを選択する手動入力を受ける。およ び （ｅ）ユニット６１０、６２０および６３０の出力を放送に混合するように動作 する、カメラ情報映像混合器６４０。音声チャンネル上への混合、タイム・コー ド上への混合、またはビデオ信号自体への混合のような、あらゆる適切な混合を 採用することができる。 カメラＦＯＶ検出測定ユニット６１０は、以下の方法のどれを用いても実施す ることができる。中でも、 ａ．ＦＯＶ中心方向に対する局所的な重心ベクトル角(local gravity vector an gle)の２成分を測定するための２つの傾斜計(inclinometers)と接続した、カメ ラ上の北方指示モジュール。 ｂ．ＧＰＳ（全世界位置検出システム）に基づく方向測定システム。 ｃ．三角測量 − 競技場またはスタジアム内の既知の２地点にあるＲＦ源およ びカメラ上のＲＦ受信機の位置決め。 ｄ．レーザ指示器(laser designator)によって発生されたビーム・スポットの方 向を測定するように動作する、カメラから離れた位置感知検出器と組み合わせた 、カメラ上の照準規正レーザ指示器(on-camera boresighted laser designator) 。 第１８図は、少なくとも１台の放映中でないカメラからの画像を考慮に入れる ように、第１５図の隠蔽分析プロセスの出力を処理するための、好適な方法の簡 略流れ図である。第１８図の方法を用いる場合、映像圧縮器および混合器７００ を、第２図に示すように、競技場またはスタジアムにおいて行事を撮像している ＴＶカメラと連動するように設ける。圧縮器および混合器７００の出力は、「放 映中」のＴＶカメラ以外の全ＴＶカメラによって撮像される競技場の圧縮画像を 、放送信号と混合したもので構成され、第７図に示したもののような遠隔地にあ る広告サイト検出／編入システムに放送される。第２図の圧縮器および混合器７ ０ ０によって供給される送信は、第１８図のステップ７１０において、先ずデコー ドされ、そして伸張される。 ステップ７２０：「放映中」のカメラによって撮像された各広告サイトに対し て、ステップ７３０、７４０および７５０を繰り返す。 ステップ７３０：１台以上の「休止中(off-air)」のカメラからの情報を用い ることは可能であるが、好ましくは、１台の「休止中」カメラを用いて、各広告 サイトを処理し、この１台の「休止中」カメラをステップ７３０で選択する。例 えば、第１７図の装置を備える場合、各休止中カメラに対するカメラＦＯＶ方向 測定ユニット６１０の出力を比較し、ＦＯＶ方向が、「放映中」カメラのＦＯＶ 方向から最も異なる「休止中」カメラを識別する。或いは、特に第１７図の装置 を省略する場合、「休止中」カメラの各々によって発生される画像に対して暫定 的な分析を行って最も助けになる「休止中」カメラを選択することによって、１ 台の「休止中」カメラを選択してもよい。例えば、各「休止中」カメラによって 発生される画像を、現在処理中の広告の記憶された表現に一致させればよい。次 に、実際の画像をワープ(warp)し、各「休止中」カメラに対して、記憶されてい る表現から差し引き、当該カメラおよび当該広告の隠蔽領域の予測を得る。そし て、隠蔽領域が最少のカメラを選択すればよい。 ステップ７４０：選択した「休止中」カメラの広告画像を、「放映中」カメラ によって撮像された広告サイト上にワープさせる。 ステップ７５０：ワープされた「休止中」広告画像を、「放映中」の画像から 差し引き、差分画像をフィルタ処理し、隠蔽物体の境界を画素レベルの精度で計 算する。 本発明の好適実施例によれば、競技場または他の場所の特定位置に編入される 広告は、時間と共に変化することができる。この変化は、所定の予定にしたがっ て、または外部入力にしたがって行うことができる。例えば、音声認識装置を備 え、システムへの映像入力に付随する音声チャンネル上で、単語「ゴール」また は単語「オーバータイム」のようなキーワードを認識するように動作させること ができる。このように、丁度ゴールの後またはオーバータイムの間のような特定 の時間に、広告を編入するように予定を立てることができる。 本明細書では、「広告サイト」という用語は、広告を編入するべき場所のこと を意味する。既存の広告が広告サイトを占有する場合、新たな広告がこの既存の 広告に取って変わる。しかしながら、広告サイトが既存の広告によって占有され ている必要はない。「隠蔽された」という用語は、前にある物体、典型的に移動 体によって部分的にまたは完全に隠蔽される広告サイトのことを意味する。 本発明の固有の特徴は、より大きな画像内で広告サイトを追跡したいとき、全 画像ではなく、広告サイト自体のみを追跡できることである。 別の固有の特徴は、移動する、点滅する、またはその他の変化する広告、ビデ オ・フィルムの広告、背景が変化する広告、デジタル効果を有する広告のような 、「空間的な」広告を提供できることである。補足書類Ａに記載した特定の実施 例は、本発明の非常に詳細な開示を与えることのみを意図するものであって、限 定されることを意図するのではないことは認められよう。 上述の装置および方法の適用可能性は、広告の検出、追跡、および置換または 強調には限定されない。開示した装置および方法は、例えば、焦点となる競技者 のような、およびボール、ラケット、クラブおよびその他のスポーツ機材のよう に、第１９図に示すような、興味の中心である移動体の検出および追跡を検出し 、追跡するために用いることができる。次に、製造者のロゴのような広告を含む 「痕跡(trail)」を加えることによって、これら移動体の画像を変形することも できる。 明確化のために別個の実施例の文脈で記載した本発明の種々の構造は、組み合 わせて１つの実施例として供してもよいことは認められよう。逆に、簡潔化のた めに単一の実施例に即して記載した本発明の様々な構造は、別個にでも、或いは 適当なあらゆる二次的な組み合わせ(subcombination)でも供することができる。 本発明は、先に示し記載したことに限定されるのではないことは、当業者には 認められよう。むしろ、本発明の範囲は、以下に続く請求の範囲によってのみ定 義されるものである。 FIELD OF THE INVENTION The present invention relates to an apparatus and method for superimposing a small video image on a larger video image. International sporting events, or other entertainment, are generally of interest to many people in many countries. For example, the Olympics, the Super Bowl, the World Cup, major baseball and soccer games, and car races fall into this category. Such events are usually broadcast live by live video to a wide audience around the world. Locales where such competitions are held, such as stadiums and courts, can be found in any space in a suitable place not occupied by anything, including fences, billboards, and, in fact, some of the competition fields. In the form of a sign, poster, or other display object, provide advertising space on one side. Due to the fact that the indicia are mostly printed, they do not change so often, do not change for at least a day, a series, or the entire season, and are mostly intended for the local audience. Is. When two teams from different countries compete against each other, the advertisement usually includes one side of the stadium with an advertisement for the audience of one country and the other side with an advertisement for the audience of the other country. There is. In such cases, the video camera will capture the competition from opposite sides of the stadium for each spectator. Of course, this is logistically complex, which limits the angle at which the game can be viewed in any of the countries represented in the game. Other restrictions on current advertising methods are stringent safety requirements for the placement of billboards so that they do not interfere with the game, do not interfere with the audience's view of the stadium, and do not endanger competitors. Is there. The markings must not be too close to the actual area of activity so as not to distract the competitor. One of the most significant drawbacks of today's advertising system for major world sporting events is that while the event is televised live around the world, the actual physical advertisements in the stadium are The fact that they are widely broadcast internationally means that only products with a global market can be targeted. Local advertisers can only take advantage of such worldwide televised events by locally overlaying the message on the TV screen or interrupting the event as it progresses. Another drawback of existing systems is that over a long period of time, due to the scanning of the TV camera, the signs appear too blurry and unreadable to the TV viewer. In many other cases, only a portion of the bulletin may be visible to the TV viewer or the bulletin may not be readable. The following references describe Gaussian edge detection. This document is included in the present disclosure by reference. J. F. Canny, "A computational approach to edge detection", IEEETrans. Pattern Analysis and Machine Intelligence, Vol. 8, pp679-698, November, 198 6. The present invention detects, identifies, and scales appropriate discrete targets and regions within a video frame and inserts into these regions a virtual image stored in system memory. A system that allows all objects or shades in front of a region and obscuring a portion of it to be seen in the transmission of the image in front of the same region portion containing the virtual image so as to obstruct it. It is about the method. A unique feature of the present invention is that it allows the system to operate in real time. The invention is particularly useful for advertising on sports courts. It is an object of the present invention to provide a system and method for transmitting images of active events, such as sporting events, having targets specified in the background physical image. By electronically exchanging the physical image with a preselected virtual image, an object or shadow that actually obstructs a portion of the physical image is visible to the viewer. A player's movement or ball obscuring the physical image and obstructing the physical image obstructs the corresponding area of the exchanged virtual image so that the exchanged electronic image is exactly the original image. Like the above, it is intended to remain in the background of the event. In the preferred embodiment of the present invention, the physical image to be replaced is detected, recognized, automatically located and replaced within one TV frame so that the original image is imperceptible to the TV viewer. To do. In this embodiment, no humans are needed in the loop during line broadcasting. Since the same physical image is captured by multiple TV cameras placed at various locations around the court, each camera usually having a continuous zoom lens, the system is designed to allow all spatial orientations of a physical target. And the magnification allows to detect and identify this target. The system can also correctly identify the scale and perspective of the physical target and normalize the transplanted virtual image to the same scene. Another object of the invention is to transmit a virtual image to a predetermined "empty" background area that is generally not suitable for displaying physical signs like the sports court itself. To provide a system and method for porting to the. In the preferred embodiment of the invention, the tasks of detecting and identifying these free areas are performed automatically. Yet another object of the present invention is to automatically identify when a physical billboard looks blurry due to camera scanning or jitter and replace such blurry postings with a clearer one, or alternatively. It is applied to a bulletin that replaces the same blurriness with, so that it has the same appearance as an adjacent bulletin. Yet another object of the present invention is to automatically identify when only a small portion of the billboard is visible in the camera view and replace this small portion with the entire image of the original billboard. Yet another object of the present invention is to automatically identify when the resolution of captured billboard images is not sufficient for TV viewers and electronically exchange them for a larger virtual billboard. The goal is for those messages to be conveniently captured by the viewer. Another object of the present invention is to perform the above-described port on continuous video frames. Yet another object of the present invention is to provide a system as described above, and a method for electronically performing virtual image exchange or transplantation in real time. Yet another object of the present invention is a system for substituting different electronic messages in the space occupied by a physical display for the same event in real time to a different population of viewers. Is to provide a method. Yet another object of the present invention is to utilize the space available in the stadium not occupied by physical displays to embed electronic virtual images during the real-time broadcast of events taking place within the stadium. By providing a system and method utilized for advertising activities. Yet another object of the present invention is to replace the physical image with a virtual image or to avoid the virtual image during an event during real-time video transmission without disturbing the transmission of the actual event. An object is to provide a device used in video transmission for embedding in a background area. In accordance with a preferred embodiment of the present invention, a virtual image is electronically replaced by a physical display and a target selected from a preselected background area when an active event captured by a TV camera is shown. Also provided are systems and methods for overlapping. This system consists of an event's venue and an electronic data bank of the target within it, a memory unit to store the digitized virtual image for replacement at the target, a device for capturing and digitizing video frames, digitization A device that automatically searches for a target in a captured video frame, locates the target in it, locates, authenticates and identifies the target, compares the detected target with the corresponding target in the data bank Device, scales and identifies the original target scene, transforms the virtual replacement image to the same scale and scene, tracks the detected target image in real time over a series of frames, and A device that identifies changes in the magnification (zoom) or landscape of the A device that distinguishes between background objects) and a shadow that obscures part of the detected target, a device that electronically transfers the objects and shadows from the original video frame to a replacement frame, electronically modified A device that inserts a virtual image into a video frame and replaces the original image in the target so that this transformation is not perceived by the viewer, receives the virtual image, stores it, and creates a virtual image data bank. Includes devices, devices (learning systems) that generate a venue data bank prior to or during an event, and video signal input / output devices. To this end, the system uses a special method of automatic target detection and identification using one or more of the following attributes. Geometry, like the physical structure of the billboard (rectangular shape or parallel line attribute) when viewed at different angles and magnifications. -Slogans and graphics textures, such as in posters. -Character recognition. -A field or court line that serves as a reference for designating an empty court area. -Standard objects of typical shape and configuration, such as posts, backboards, baskets, and / or athlete shirts. -Color. And-objects and shades that temporarily block part of the image to be replaced. The method clearly identifies the subject's target, and in real time, at any capture angle and range, and at any zoom condition, and makes the original billboard invisible to TV viewers. The method typically identifies a relatively large number of targets (20 or more extreme cases) in any frame. The obstructing object and the shadow are distinguished from the background image by the following means. The detected target (partially occluded) is identified from the background image by comparing it to the same target stored in the system's data bank. The smooth processed difference image between the two is an image of the hidden surface that forms part of the obstructing object. This procedure can also be performed by using a correlation window and identifying low values of the correlation coefficient as due to occlusion. Motion Detection-Identify moving objects with respect to the background. Textures and Geometry-Distinguish the player, ball or shade from signs, slogans, graphic images, etc. And color-and shades of color. Since a perceptible exchange is usually not accepted by the TV network, it is preferable that the electronic exchange be instantaneously unnoticed by the viewer. Alternatively, it is possible to continuously "fade" the original image while emphasizing the virtual image. Incorrect identification of target and image is preferably avoided. The target to be replaced is located with sub-pixel accuracy so that the target to be replaced is spatially fixed with respect to the frame during the entire series of TV frames where the target is inside the field of view of the camera. Should be. This accuracy is due to the fact that the human eye is sensitive to sub-pixel accuracy. Preferably, the method employs spatial parallel and pipeline processing hardware that is capable of simultaneously executing the numerous processes involved in this process. Preferably, the method of the present invention uses any two subsystems listed below. a) A digital image conversion and storage device consisting of an electro-optical scanner for digital conversion and a virtual image storage for constituting a memory unit for images such as advertisements. The system may have the possibility of inputting images like advertisements in other ways, such as digital interfaces (magnetic, optical discs, communication links) or video ports, and also virtual images (slogan). A graphics program or a man-machine interface for "immediately" specification. b) A venue "learning" and storage system for creating a databank of fixed objects at a venue such as a target or stadium or field, which is a bulletin (place, shape, color and type (temporary, During the season), court markers (first, color, goal / basket, post), etc. These two subsystems can operate offline or can be part of the base system. The system "learns" the details of the court during the live competition and creates / updates its data bank for future use by doing a trial taken before the competition begins. Trial shots can also be used The method comprises the following steps: When a raw or pre-recorded video film is being transmitted, The following steps are performed: 1) Frame capture and digitization-Capture each video frame, digitize each pixel value and store in system memory. 2) Search-Scan the captured video frames and either the actual physical display (such as an icon stored in memory) or the background area, suitable for pre-defined implementations. To detect. After detection, the pending target, ie the display, is checked for incorrect identification. To achieve this, standard pattern recognition techniques such as edge correlation and area comparison methods, character recognition, neural network techniques, etc. are used to identify messages and graphics in the display, or color and texture attributes. To do. After identifying and accurately locating the target (display), its optical magnification and scene are calculated, and the other layouts stored in the frame using the venue layout in the data bank. It continuously predicts the position of all targets (displays) and gives the system a positive search clue to other targets in the same video frame. 3) Identification of obstructed surface-Once a given message or display area has been clearly identified in the frame, the target (display) is compared to its properly scaled and stored image icon and the resulting After proper smoothing and processing, reveal the display area that is temporarily occluded by an object such as the player's body, ball, or shadow. The pixel addresses of these surfaces are stored in order to superimpose these surfaces on the replacement image later. 4) Scaling, Landscape Deformation and Replacement-Once the physical image representation or vacant location is identified and confirmed, the system memory is searched for the desired virtual image to replace or populate. The virtual images (patches) to be swapped are then swapped by first normalizing to get the proper size and perspective of the original physical image and then removing the identified obstructed surface. Make the image look like a background display or as a painted display on the court. 5) Real-Time Video Tracking-Typically, a given display can be viewed for a few seconds before it moves out of the camera's field of view. Preferably, the system uses information from previous frames to track a given display over this series of frames. To do this, conventional video tracking techniques such as edge, centroid or correlation tracking methods are performed. These methods should incorporate sub-pixel accuracy prediction. Tracking the player or ball can also help identify obstructing areas when the target icon is not stored in system memory or when populating an empty area. Therefore, in accordance with a preferred embodiment of the present invention, a field acquisition unit operative to acquire and digitize at least one field representing at least a portion of a sports facility and an advertisement whose content changes over time in at least one field. An advertisement incorporation device including an advertisement incorporation unit for incorporation is provided. Furthermore, according to a preferred embodiment of the present invention, the ad incorporation unit operates to detect at least one advertising site in at least one field on a basis other than the location of the advertising site with respect to the sports facility. Includes advertising site detector. Still further in accordance with a preferred embodiment of the present invention, the ad incorporation unit operates to incorporate an ad into at least one field at an ad site that is at least partially hidden within a sports facility. Furthermore, according to a preferred embodiment of the present invention, the content of the advertisement changes according to a predetermined schedule. In addition, according to the preferred embodiment of the present invention, the content of the advertisement changes according to external input. Furthermore, according to a preferred embodiment of the present invention, the ad incorporation unit detects and evaluates the level of noise generated by the audience, generates a noise level to be input to the ad incorporation unit, and It includes an audience noise evaluation unit that operates so that the content of the advertisement changes according to the level. Further, in accordance with a preferred embodiment of the present invention, a method of ad incorporation that includes capturing and digitizing at least one frame representing at least a portion of a sports facility and incorporating an ad whose content changes over time into at least one frame. I will provide a. The present invention will be better understood and appreciated from the following detailed description in connection with the drawings and supplementary documents (Appendix). FIG. 1 is a logic flow diagram of the processes and tasks required by the preferred embodiment of the method of the present invention. FIG. 2 is a block diagram of the basic and subsystem modules according to the preferred embodiment of the present invention. FIG. 3 is a block diagram of the basic processing unit. FIG. 4 illustrates a minimal basic online system according to the preferred embodiment of the present invention. FIG. 5 shows a minimal basic offline system according to the present invention. FIG. 6 shows a system according to a preferred embodiment of the present invention as applied to cable TV applications. FIG. 7 is a simplified block diagram of a real-time system for advertisement site detection and advertisement incorporation constructed and operative in accordance with a preferred embodiment of the present invention. FIG. 8 is a simplified block diagram of the parallel processor and controller of FIG. FIG. 9 is a simplified block diagram of an alternative embodiment of a real-time system for advertising site detection and ad incorporation. FIG. 10A is a simplified flow diagram of a preferred method of operation of the parallel processor and controller of FIG. 7 when identifying only a single advertisement site and incorporating only a single advertisement into that site. FIG. 10B is a preferred operation of the parallel processor and controller of FIG. 7 when identifying multiple advertising sites and incorporating multiple ads into those sites, which may or may not be different in content. 6 is a simplified flow chart of a method. FIG. 11 is a simplified flow chart of a preferred method for performing the partitioning steps of FIGS. 10A and 10B. FIG. 12 is a simplified flow diagram of a preferred model matching method for performing the advertisement content identification steps of FIGS. 10A and 10B. FIG. 13 is a simplified flow chart of a preferred method for performing the localization steps of FIGS. 10A and 10B. FIG. 14 is a simplified flow chart of a preferred method for performing the tracking steps of FIGS. 10A and 10B. FIG. 15 is a simplified flow diagram of a preferred method for performing the concealment analysis step of FIGS. 10A and 10B. FIG. 16 is a simplified flow diagram of a preferred method for performing the ad incorporation step of FIGS. 10A and 10B. FIG. 17 is a simplified block diagram of a camera monitoring device used in combination with the advertising site detection / transfer device of FIG. 7. FIG. 18 is a simplified flow chart of a preferred method for processing the output of the concealment analysis process of FIG. 5 to take into account images from at least one non-broadcast camera. FIG. 19 is a simplified flow diagram of a preferred method for detecting and tracking moving objects of interest. And Appendix A is a software implemented non-real time system computer listing for ad site detection and ad incorporation configured and operative in accordance with an alternative embodiment of the present invention. Reference is now made to FIG. In the preferred embodiment of the invention, the system and method are designed to automatically perform the replacement of the physical target with the composite image in real time, although a simplified version of the invention is used offline. You can also do it. The modules required to operate the system are shown in the block diagram of FIG. These include: An optical subsystem consisting of a basic processing unit, an optical scanner / digitizer used to create a composite image data bank from still photos, and a TV camera, digitizer and memory to create a stadium data bank. . As mentioned earlier, there are other ways to create a data bank of composite images. The data bank of the venue (stadium) can also be created from trial shots taken before the game started. Alternatively, it can be created progressively during the course of the game, either by a "learning" process or with data supplied by the stadium owner, advertiser or TV network. FIG. 2 shows a block diagram of the devices used in the system. Here, 1, 2 ,. ． ． , N are a plurality of TV cameras at different positions, which are normal TV network cameras. Reference numeral 3 denotes a basic processing unit shown in FIG. 3, and subsystem 4 converts and stores a composite image. Subsystem 5 is a "learning" and memory system for the venue of the event and the targets within it. The output 6 can be transmitted by cable, fiber optics or wirelessly. It can also be displayed and / or recorded. The basic processing units required to operate this system in real time are shown in FIG. This module includes a frame grabber for capturing color images, multiple image memories, a high-speed parallel processor, program memory, synthetic images to be replaced and a data bank of venue layout and target icons, control and local display. And a man / machine interface for recording, and an image digital / analog converter. Using the above device, in real time, within each video frame, identify a suitable area within the stadium that has or is suitable for embodying such a display, and replace such physical display. Alternatively, a virtual image stored in the memory of the system is introduced into such an area so as to serve as an advertisement in the background. These electronically inserted images appear to the viewer as if they were physical displays placed within the stadium, and all actions that occur before the actual physical display. Appears to the viewer as well as being done in front of the virtual image. FIG. 4 shows an online system according to one aspect of the present invention, which comprises a video camera 10, a video processing unit 12, and a work station 14 which provides the necessary man / machine interface. FIG. 5 illustrates a basic offline system according to one aspect of the present invention. In this case, instead of a TV camera, a video tape 20, a video cassette recorder or a video deck is the input, which is processed by the processing unit 22 and the work station 24 to produce the video tape output 26 with the replacement image. Supply. FIG. 6 shows yet another application of the system of the present invention, namely a cable TV center. Center 30 receives transmissions from stations 32 and 34. These transmissions are processed by processing unit 22 and work station 24 and broadcast from center 30 to the subscriber with the replaced advertisement. A preferred system according to the present invention overlays obstructing objects and shadows on a virtual screen, but as a part of the present invention, less sophisticated and fairly inexpensive systems are also envisioned. This is a system that replaces a virtual image with a physical image without relating it to an obstructing object. Such a system can be very useful in replacing an image with an unobstructed area, such as, for example, in a high stadium. Although the preferred embodiment of the present invention automatically detects and recognizes a given billboard in each TV frame, less sophisticated systems are also contemplated as part of the present invention. In such a less sophisticated system, the selection of a given sign to be replaced involves placing a human operator in a loop with a pointer such as a light pen or cursor (actuated by a mouse). , "Manually". This system is mainly offline. When used in real time online, it is very difficult to perform operator directed tasks. In a typical scenario, the posts are continuously viewable for only short periods of a few seconds each. In such a mode of operation, however, the substitution will be noticed to the TV viewer. This offends the audience and is often not allowed by TV networks. From the above description of the invention, it is manifest that the system, method and apparatus described above may have numerous applications. Therefore, it is also possible to introduce virtual images, such as slogans and graphic advertisements, on the athlete's uniform, especially when the athlete is viewed in close proximity. In such a case, the athlete's outline, or at least his shirt or helmet, would be the target for implanting the virtual image. Another possible application is the automatic generation of continuous video film, showing only those sequences in which certain preselected targets appear, and excluding sequences in which these targets do not appear. Such video films can be useful for analyzing and monitoring the activity of particular targets, such as individual players and their activities throughout a team game. This allows each individual to be tracked throughout the game without having to play the entire cassette for each player. Another application of the present invention is to generate and debit according to the target, such as advertisement, statistical data such as, for example, the number of times an advertisement appears on the screen and the cumulative time. The implanted image may be in the form of a fixed, flashing or scrolling image, or it may be an animated film or a video clip. FIG. 7 is a simplified block diagram of a real-time system for advertisement site detection and advertisement incorporation constructed and operative in accordance with a preferred embodiment of the present invention. The apparatus of FIG. 7 is preferably a video camera, video cassette, broadcast, video disc, or cable connected to a field capture 110 or frame capture via a suitable connector. It includes a video input source 100 such as a transmitter. Hereinafter, when the term field acquisition unit is used, it is also intended to include a frame acquisition unit. The field acquisition unit 110 supplies the acquired and digitized field to the parallel processor and controller 120. The parallel processor and controller 120 will be described in detail later with reference to FIG. The parallel processor and controller 120 preferably cooperates with a video display device 130 that interactively prompts the user for system advertisement site detection and ad incorporation. Preferably, the light pen 140 is interlocked with the video display device 130. According to an alternative embodiment of the invention, the system is instructed by the user as to whether one or more advertisements to replace and their location are in view. User input may be provided, for example, by light pen 140. The instructions given by the user may include a single indication of the internal location of the advertisement, such as the proximate center of the advertisement, or two opposite corners of the advertisement to be replaced or all four corners. The above instructions may be included. Optionally, the user also gives an indication of the content of the advertisement. For example, a menu of captions identifying the advertisement to be replaced may be generated on the video display 130, or next to or on top of the stadium display, and the user may use the light pen to display the appropriate captions. Can be identified. An ad image and ad sequence database 150 is provided and stored in any suitable type of memory, such as computer memory, or secondary memory, such as a hard disk. Advertising image and sequence database 150 typically stores a plurality of advertising images. These advertising images are typically still images and include images to be replaced and / or images to be incorporated into the stadium images and either replace existing ads or are still proprietary to ads. Transfer to a place that does not exist. The database 150 may also include an indication of the sequence of ads to replace, if the sequence is known in advance. Typically, the ordering instructions do not include an indication of the location of each ad with respect to the playing field, but instead include an ordering order for arranging the ads to be replaced in the field. For example, a series of 20 side-by-side advertisements may be placed around three sides of the stadium. The database 150 may also include instructions for the sequence in which advertisements are arranged. The advertising images in the database 150 may be of any type, such as an image processing workstation, an image generating device such as a scanner or other color reading device, a hard disk, a CDROM drive, or by the field capture unit 110. It is provided by any suitable advertising image source 160, such as a storage device or a communication link to any of the above. However, the advertisement image source 160 is not limited to these. The video output of the system is provided through suitable connectors to suitable equipment providing wireless or wired transmission to the viewer. FIG. 8 is a simplified block diagram of the parallel processor and controller 120 of FIG. The parallel processor / controller 120 preferably includes an advertisement site detection / content identification unit 170, a plurality of parallel tracking modules 180, a concealment analysis and advertisement incorporation unit 190, a video encoder 200, and a controller 210. Including. The advertising site detector / content identifier 170 of FIG. 8 can be implemented based on any suitable number of suitable image-processing substrates, such as the Ariel Hydra substrates commercially available from Ariel, USA. Each of these preferably contains four TMS320C40 digital signal processors, 64 MB DRAM, IMB SRAM, and VMEbus interface. A specially designed coprocessor is preferably added to these boards to perform the splitting tasks. The image processing board is programmed based on the advertising site detection and content identification methods of FIGS. 11 and 12. Supplement A is based in part on this method. For example, the appropriate portions of Supplemental Document A can be converted to assembler and the resulting code loaded into the digital signal processor of the image processing board. Each of the parallel tracking modules 180 can be implemented based on one or more image processing substrates, such as the Ariel Hydra substrates commercially available from Ariel, USA. Each of these preferably contains four TMS532C40 digital signal processors, 64 MB DRAM, IMB SRAM, and VMEbus interface. The image processing board is programmed for parallel operation based on the tracking method of FIG. Supplement A is based in part on the method of FIG. For example, the appropriate portion of the list in Supplemental Document A can be converted to assembler and the resulting code loaded into the digital signal processor of the image processing board. The concealment analysis and ad incorporation section 190 is also based on one or more texture mapping boards, such as Fairchlld's Thru-D boards, and based on the concealment analysis and ad incorporation methods of Figures 15 and 16. It has the appropriate bus bridges programmed for it. Supplement A is based in part on the method of FIGS. 15 and 16. For example, the appropriate portion of the list in Appendix A can be converted to assembler and the resulting code loaded into the processor of the texture mapping board. Video encoder 200 operates to perform D / A conversion. Controller 210 includes, for example, a 486PC programmed according to the control method of FIGS. 10A-10B. Supplement A is based in part on this control method. For example, a suitable portion of Supplemental Document A may be an Intel 486 PC processor. FIG. 9 is a simplified block diagram of an alternative embodiment of a real-time system for advertisement site detection and advertisement incorporation. In the apparatus of FIG. 9, a conventional workstation 212 has its own display device 220 and its own field capture unit (not shown), such as a Silicon Grapics Onyx workstation with a video board and appropriate software. ), And replaces the portion of FIG. 7, ie, the parallel processor and controller 120 other than the field acquisition unit 10, the advertisement site detection and content identification unit 170, and the tracking module 180, the video display device, and the database 150. . The software for this workstation may be converted to suit the environment of this workstation based on Supplemental Document A which implements the method of FIGS. 10A-10B. It is preferable to remove some. Specifically, a. The advertising site detection and tracking functions corresponding to the segmentation, advertisement content identification and tracking steps 320, 330 and 310 of FIGS. 10A and 10B, respectively, have been removed and instead real time by the dedicated hardware 230 of FIG. To implement. And b. The texture allocation function (steps 2 and 3 of FIG. 16) that preferably forms part of the ad incorporation function is removed and instead performed by the texture allocation function provided by the workstation itself. The dedicated hardware 230 of FIG. 9 may be similar to the advertising site detection / content identification unit 170 and the parallel tracking module 10 of FIG. Supplemental Document A is a computer listing for implementing the present invention in software in non-real time, which runs on a 486 PC using a conventional frame acquisition unit, such as an imaging MFG board, for example. To do. The method of Supplemental Document A will now be described with reference to FIGS. 10A-16. FIG. 10A is a simplified flow diagram of a preferred method of operation of the parallel processor and controller 120 of FIG. 7 when identifying only a single advertising site and incorporating only a single advertising image into that site. . FIG. 10B illustrates the operation of the parallel processor and controller 120 of FIG. 7 when identifying multiple advertisement sites and the content of each advertisement may or may not be different. 3 is a simplified flow chart of the preferred method. The method of Figure 10B typically includes the following steps. Since these are similar to the steps of FIG. 10A, the steps of FIG. 10A will not be described separately for simplicity. Step 290: Receive the digitized video frame from the field acquisition unit 11 of FIG. Step 300: Make a decision as to whether at least one advertisement in the current field is also present in the previous field (and was taken by the same camera). If present, name the current field as a "sequential" frame and preferably replace the segmentation, content identification and localization steps 320, 330 and 340 with only the tracking step 310. If it does not exist, the current field is named the "new" field. If the field is a "sequential" field, then the current field is a "sequential" field, so multiple ads are tracked based on at least one ad that was present in the previous field (step 310). If the field is a "new" field, steps 320, 330 and 340 identify the ad site to which the ad should be incorporated. Perform one loop for each ad from the multiple ads to process. Preferably, the segmentation and content identification steps 320 and 330 are performed only for the first processed advertisement. In step 320, a pair of generally parallel lines are typically detected and the image of the field is segmented. Specifically, the portion of the field located between the two detected parallel lines, which typically corresponds to the upper and lower borders of a series of advertisements, is split from the rest of the field. Typically, the segmenting step 320 includes their view to the imaging cameras, zoom state or lens of the imaging cameras, position of the advertisement within the field of view (video field), angular orientation of the imaging cameras with respect to the ground, and It operates to divide the advertisement regardless of the position of the TV camera. The splitting step 320 typically identifies empty or occupied advertising sites based on any one of the following, including but not limited to, separately, but not by location or any combination thereof. To work. a. A geometric attribute of an ad's border, such as substantially parallel top and bottom borders, or four vertices arranged in a substantially rectangular shape. b. A color, a combination of colors, or a pattern of colors that you know before it appears in an advertising image. c. The spatial frequency of the advertisement image, which is typically known in advance. Typically, a known spatial frequency band is obtained, for example, by calculating the distance between a pair of detected horizon lines, which are known to be the upper and lower boundaries of an advertisement sequence, Normalize by ad height. In step 330, the content of the portion between the two substantially parallel lines is compared to the stored representation of the advertisement to be replaced. Even if there is a cut during the sporting event (typically a sudden transition between the outputs of multiple cameras shooting this sporting event at the same time), steps 320 and 330 allow the advertising site to be identified and its content identified. It can be compared with the stored model. Typically, for each cut, steps 320 and 330 are performed to identify the advertisement within the first few fields of that cut. The identified advertisements are typically tracked until the next cut occurs (step 310). At step 340, the advertisement is located with sub-pixel accuracy. Finally, a concealment analysis is performed for each advertisement (step 350) and the replacement advertisement is incorporated into the advertisement site (step 360). Alternatively, instead of replacing the existing advertisement, the existing edge sharpening techniques are used to enhance the existing advertisement, in an advertisement enhancement step, a concealment analysis and ad incorporation step. replace. Optionally, a charge accumulation step 362 is performed, typically after the concealment analysis step 350. In the charge accumulation step, the charge for each advertisement is accumulated. Charges may be calculated on any suitable basis. For example, determining the fee by counting the total amount of time that the ad was displayed and the total amount of time that at least 50% of the ad was blocked, and multiplying by a fixed dollar rate per unit of time. You can Alternatively, the percentage of unobstructed areas of the advertisement may be calculated at each time interval, such as every second. Optionally, the display time or the total time in the display area may be adjusted to take into account the progress of the game. For example, the display time or the total time in the display area may be multiplied by an externally supplied index indicating a tension level of the game in which the advertisement is displayed. A high tension level means, for example, that the game has entered an extension or that a serious event such as a goal has occurred during or immediately before the display. Alternatively, the tension level indicator may be provided to the system itself. For example, the speech recognizer may recognize a significant word, such as a "goal," issued by a sports commentator. In accordance with an alternative embodiment of the present invention, a physical landmark identifying the location of the advertisement to be replaced, of which the content is known in advance, may be placed and pre-captured at the stadium for the segmentation and advertisement content identification steps 320 and Each 330 may be removed. FIG. 11 is a simplified flow diagram of a preferred method for performing the split step 320 of FIGS. 10A and 10B. The method of FIG. 11 preferably includes the following steps. Step 380: It is preferable to reduce the resolution of the new field as it is received and the above steps can be properly performed at lower resolutions. For example, a low pass filter is used to reduce a 750x500 pixel field to 128x128 pixels. Step 390: Optionally, smooth the low resolution image, for example by median filtering or low pass filtering, to remove information not relevant to the task of finding long, substantially horizontal lines. Step 400: J. F. Canny is "A computational approach to edge detectio n", (IEEE Trans. Pattern Analysis and Machine Intelligence, Vol, 3, pp. Edges and lines (two-sided edges) are detected using any suitable edge detection method, such as the Canny metod, described in pp. 697-698, November, 1986). Step 404: Decimate the edges detected in step 400 and connect the components using conventional techniques of connectivity analysis. Edges are thresholds for discarding edges that are too slant. Step 408: Compare the edges detected in steps 400 and 410 pair-wise to find strips, ie pairs of relatively long parallel or nearly parallel lines. If there is no such pair, the method ends. Step 412: Find the spatial frequency spectrum within each strip and remove the strips whose spatial frequency content does not match the spatial frequency band considered for the advertisement. Typically, the criterion for removal is to leave more than one strip, such as 3 or 4 strips. Step 416: Align the remaining strips and select the highest ranked strip. The rank associated with a strip depends on the probability that the strip contains advertisements. For example, the bottom strip in the top half of the field is given a higher rank than the strips above it. The reason for this is that higher strips are likely to be images of the stadium portion. The strips located at the bottom are more likely to be ads typically located below the stadium. If no stadium is shown, the strips adjacent to the bottom of the field will be given a lower rank, as the advertisement will only be imaged towards the bottom of the video field. However, this is unlikely. FIG. 12 is a simplified flow chart of a preferred model matching method for performing the advertisement content identification step 330 of FIGS. 10A and 10B. Alternatively, the identification of the advertising content may be provided by the user, as described above with reference to FIG. As described above with reference to step 38 of FIG. 11, the method of FIG. 12 is preferably performed at low resolution. The method of FIG. 12 preferably includes the following steps. Step 420: The above steps 424, 430, 436, 440, 444 and 452 are performed for each of the substantially parallel strips identified in the split step 320 of FIG. Step 424: Calculate the distance and angle between the two lines of each strip and then determine the magnification at which the strip was imaged and the approximate scene. Step 430: Divide each advertising model into multiple windows during setup. Steps 436, 440 and 444 are performed for each window of each advertising model. For example, if 5 models are divided into 6 windows, this step is performed 30 times. Step 436: Perform a one-dimensional similarity search along the current approximately parallel strips for the current model window k adjusted to the appropriate scale factor. Along the current strip, a cross-correlation function is typically calculated for each pixel. Step 440: The cross-correlation function value obtained in step 436 becomes a threshold. For example, 0. A value of 1 (correlation) is assigned to a value exceeding 6, and 0. A value of 0 (no correlation) may be assigned to a value of 6 or less. 1 is weighted according to the "importance" of those corresponding windows. The "importance" of each window is preferably determined during the setting so that windows containing more information are "important" than windows containing less information. Step 444: At this stage, the weighted cross-correlation function value has been calculated and the contents of each position along the strip (eg, for each of the plurality of windows along the strip at a distance from one pixel). ) Is compared to each window of each model advertisement known to occur within the strip. The cross-correlation function values weighted and compared to the thresholds are integrated for every window that makes up the model bulletin or model strip. Step 452: Make a determination about the approximate position of the advertising models sequence in the strip. It will be appreciated that once the position of each advertising model has been determined, the positions of other advertising models within the same sequence are also determined, and the magnification and general view of the strip taken are known. FIG. 13 is a simplified flow chart of a preferred method for performing the accurate localization step 340 of FIGS. 10A and 10B. In FIG. 13, the position of the advertisement model whose position is almost confirmed by the method of FIG. 12 is confirmed with the accuracy of sub-pixels. Accurate localization is typically performed for only a few fields. For the "continuous" field, the position of the advertisement is preferably measured by video tracking. The method of FIG. 13 preferably includes the following steps. Step 460: From FIG. 12, the following information is available for each detected advertisement. A single location in the ad, such as one of the vertices, the advertisement scale height in the image, and its general view. Using these information, the four vertices of each detected advertisement are calculated. Step 464: Compute the deformation of the scene and how to “transform” the typically rectangular model into a detected advertising area, which is typically not rectangular due to its pose with respect to the imaging camera. Do? ” Step 468: Using the transformation of the scene calculated in step 464, assign the contents of each of the plurality of model tracking windows obtained by dividing the model during setting to the video field. Step 470: Perform steps 472 and 476 for each of the model tracking windows. Step 472: Translate the current model tracking window through the search area defined in the video field. For each position of the model tracking window within the search area, a similarity error function (such as cross-correlation or absolute sum of differences) is calculated. The model tracking window typically has 8x8 or 16x16 different positions within the search area. Step 476: Find the least similarity error function of the current model tracking window. Preferably, the minimum is found with sub-pixel accuracy, for example by applying a two-dimensional parabola to the similarity error function generated in step 472 and calculating the minimum of the parabola. This minimum value corresponds to the best position in "sub-pixel accuracy", i.e., for the current model tracking window within the video field. If the minimum value of the similarity error function is high in all tracking windows, that is, if no tracking window can match the video field well (step 480), the processing of the current frame is ended (step 482), and the 10th A is performed. Steps 320 onwards of the illustrated method are performed for the next frame. Step 484: Eliminate tracking windows with high similarity error function minima. Typically, about 30 tracking windows remain. Step 488 is a termination criterion that determines whether or not to repeat the location by comparing the tracking windows. Typically, if the center of the tracking window is found to converge with respect to the center identified in the last iteration, the process ends. Otherwise, the method returns to step 464. Step 490: Once the tracking window positions have converged, recalculate the scene transformation between the image ad and its model. FIG. 14 is a simplified flow chart of a preferred method for performing the tracking step 310 of FIGS. 10A and 10B. The method of FIG. 14 preferably includes the following steps. Step 492: Perform a landscape transformation on the model tracking window and assign its contents to the video field. This step uses the system's knowledge of the position of the advertisement in the previous field, and preferably the expected scan speed of the camera capturing the sporting event. Step 496: Steps 498 and 500 are similar to steps 472 and 476 of FIG. 13, respectively, and are performed for each model tracking window. Steps 508 and 512 may be similar to steps 488 and 490 of FIG. Step 510: If the center position of the window still does not converge, then step 492 is executed again, but this time the texture allocation is executed based on the previous iterative scene transformation. Step 520: Due to the smoothness of the scanning operation of the camera, the coefficient of scene deformation is preferably smoothed in time. Discontinuities can be considered noise. FIG. 15 is a simplified flow chart of a preferred method for performing the concealment analysis step 350 of FIGS. 10A and 10B. The method of FIG. 15 preferably includes the following steps. Step 530: Subtract the advertising image in the video frame from its calculated scene transformation model in step 512 of FIG. 14 or in step 390 of FIG. 13 for the new field. Step 534: Preferably, the identity of the advertisement image and the stored advertisement is verified by examining the difference value calculated in step 530. If the advertisement image and the stored advertisement are not the same, the current field is no longer processed. Instead, starting with step 320 of Figure 10B, the next field is processed. Step 538: Remove internal edge effects from the difference image calculated in step 5430, since internal edges are considered artifacts. Step 542: Define a large non-black area in the difference image as a hidden area. Step 546: Since the process of concealment can be assumed to be continuous, it is preferable to smooth the concealment map in time. FIG. 16 is a simplified flow chart of a preferred method for performing the ad incorporation step 360 of FIGS. 10A and 10B. The method of FIG. 16 preferably includes the following steps. Step 560: Adjust the advertisement model to be replaced, that is, the resolution of the advertisement in the memory so that the advertisement to be replaced corresponds to the captured resolution. A single advertising model is typically stored at several different resolutions. Step 570: Use tri-linear interpolation methods to distort the replacement advertisement and perform texture mapping into the video field pose. This step is typically based on the results of step 512 of FIG. 14 or, for new fields, of step 390 of FIG. Step 580: Remove the aliasing effect. Step 590: Fix the pixel to be replaced (key) according to the occlusion map. The pixel value to be replaced may be completely replaced with the existing value, or may be combined with the existing value by using a weighted average or the like. For example, the second alternative may be used for edge pixels, while the first alternative may be used for intermediate pixels. FIG. 17 is a simplified block diagram of a camera monitoring device used in combination with the advertising site detection / transfer device of FIG. 7. If the parallel processor and controller of FIG. 7 were such as shown in FIG. 8, then the apparatus of FIG. 17 would not be needed and a conventional TV camera could be used instead. However, as an alternative, the automatic detection and content identification features of the system may be eliminated by eliminating the unit 170 of FIG. In this case, the device of FIG. 17 is preferably provided to operate in conjunction with a TV camera in a stadium or stadium. The apparatus of FIG. 17 provides camera information, including identification of the camera "on air", zoom status of its lens, and detection of the center of its FOV. This information is used in combination with known information about the location and content of advertisements within the stadium to detect, identify, and even roughly track each advertisement. The apparatus of FIG. 17 includes: (A) A plurality of conventional TV cameras 600. One of them is shown in FIG. (B) For each camera 600, a camera FOV (field of view) center direction measurement unit 610. At least a portion of it is typically attached to the pedestal of the TV camera 600. (C) For each camera 600, a camera / lens / zoom state monitoring unit 620, typically attached to the pedestal of the TV camera 600. The monitoring unit 620 receives a zoom state output instruction directly from the zoom mechanism of the camera. (D) A "on-air" camera identification unit 630 that operates to identify the broadcasting camera among the plurality of TV cameras 600. This information is typically available from the broadcast system control unit. The broadcast system control unit typically receives a manual input from the producer to select the camera being broadcast. And (e) a camera information video mixer 640 operative to mix the outputs of units 610, 620 and 630 into the broadcast. Any suitable mixing can be employed, such as mixing on audio channels, mixing on time code, or mixing on the video signal itself. The camera FOV detection and measurement unit 610 can be implemented using any of the following methods. Among them, a. A north pointing module on the camera connected with two inclinometers for measuring two components of the local gravity vector angle with respect to the FOV center direction. b. Direction measuring system based on GPS (Global Positioning System). c. Triangulation-Positioning of RF sources and RF receivers on cameras at two known points in a stadium or stadium. d. An on-camera boresighted laser indicator on the camera in combination with a position-sensitive detector remote from the camera, which operates to measure the direction of the beam spot generated by the laser designator. designator). FIG. 18 is a simplified flow diagram of a preferred method for processing the output of the concealment analysis process of FIG. 15 to take into account images from at least one non-airing camera. When using the method of FIG. 18, a video compressor and mixer 700 is provided, as shown in FIG. 2, to work in conjunction with a TV camera capturing an event at a stadium or stadium. The output of the compressor and mixer 700 is composed of a compressed image of the stadium captured by all TV cameras except the "airing" TV camera mixed with the broadcast signal, as shown in FIG. It will be broadcast to the advertisement site detection / transfer system in the remote area. The transmission provided by the compressor and mixer 7 00 of FIG. 2 is first decoded and decompressed in step 710 of FIG. Step 720: Repeat steps 730, 740 and 750 for each advertising site imaged by the "on air" camera. Step 730: It is possible to use information from one or more "off-air" cameras, but preferably one "dormant" camera is used to process each advertising site. Then, this one “dormant” camera is selected in step 730. For example, if the apparatus of FIG. 17 is included, the outputs of the camera FOV direction measurement unit 610 for each dormant camera are compared to identify the "during" camera whose FOV direction differs most from the FOV direction of the "airing" camera. To do. Alternatively, by omitting the apparatus of FIG. 17 in particular, by performing a tentative analysis on the images produced by each of the “dormant” cameras and selecting the “dormant” camera that is most helpful, You may select one "dormant" camera. For example, the image produced by each "dormant" camera may be matched to the stored representation of the ad currently being processed. Next, the actual image is warped and for each “resting” camera, subtracted from the stored representation to get a prediction of the hidden area for that camera and that advertisement. Then, the camera with the smallest hidden area may be selected. Step 740: Warp the selected “pause” camera advertisement image onto the advertisement site imaged by the “airing” camera. Step 750: Subtract the warped "resting" advertising image from the "airing" image, filter the difference image, and compute the boundaries of the concealed object with pixel-level accuracy. According to a preferred embodiment of the present invention, the advertisements that are incorporated into a particular location on the stadium or other location may change over time. This change can be performed according to a predetermined schedule or according to an external input. For example, a voice recognizer may be included and operated to recognize keywords such as the word "goal" or the word "overtime" on the audio channel associated with the video input to the system. In this way, advertisements can be scheduled to be incorporated at specific times, such as just after a goal or during overtime. As used herein, the term "advertising site" means the place where an ad should be incorporated. If an existing ad occupies an advertising site, the new ad replaces this existing ad. However, the advertising site does not have to be occupied by existing advertising. The term "hidden" refers to an advertising site that is partially or completely obscured by an object in front, typically a mobile. A unique feature of the present invention is that when you want to track an advertising site within a larger image, you can only track the advertising site itself, rather than the entire image. Another unique feature is the ability to provide "spatial" advertising, such as moving, flashing, or other changing advertising, video film advertising, background changing advertising, or advertising with digital effects. Is. It will be appreciated that the particular embodiments described in Appendix A are intended only to provide a very detailed disclosure of the present invention, and not to be limiting. The applicability of the devices and methods described above is not limited to advertisement detection, tracking, and replacement or enhancement. The disclosed apparatus and method detects, for example, a moving object of interest, such as a focused player and as shown in Figure 19, such as balls, rackets, clubs and other sports equipment. And tracking can be used to detect and track. The images of these vehicles can then be distorted by adding a "trail" containing advertisements such as the manufacturer's logo. It will be appreciated that the various structures of the invention, which have been described in the context of separate embodiments for clarity, may be combined and provided as one embodiment. On the contrary, the various structures of the invention, which have been described in the context of a single example for the sake of brevity, may be provided separately or in any suitable subcombination. Those skilled in the art will appreciate that the present invention is not limited to what has been shown and described above. Rather, the scope of the present invention is defined only by the claims that follow.

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，Ｇ Ｂ，ＨＵ，ＪＰ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＵ，ＬＶ ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ，ＮＺ，ＰＬ，ＰＴ， ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＫ，ＵＡ，ＵＳ，ＵＺ，Ｖ Ｎ─────────────────────────────────────────────────── ─── Continued front page    (81) Designated countries EP (AT, BE, CH, DE, DK, ES, FR, GB, GR, IE, IT, LU, M C, NL, PT, SE), OA (BF, BJ, CF, CG , CI, CM, GA, GN, ML, MR, NE, SN, TD, TG), AT, AU, BB, BG, BR, BY, CA, CH, CN, CZ, DE, DK, ES, FI, G B, HU, JP, KP, KR, KZ, LK, LU, LV , MG, MN, MW, NL, NO, NZ, PL, PT, RO, RU, SD, SE, SK, UA, US, UZ, V N

Claims (1)

【特許請求の範囲】 １．広告サイト検出装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しデジ タル化するように動作するフィールド獲得部と、および 前記スポーツ施設に関する広告サイトの位置以外に基づいて、少なくとも１フ ィールド内で少なくとも１ヶ所の広告サイトを検出するように動作する広告サイ ト検出器と、 から成ることを特徴とする広告サイト検出装置。 ２．広告編入装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フレームを獲得しデジタ ル化するように動作するフィールド獲得部と、および 広告の一部を、少なくとも１フィールドの、前記スポーツ施設内の部分的に隠 蔽されている広告サイトに編入するように動作する広告編入部であって、前記編 入される広告の一部は、前記広告サイトの隠蔽されていない部分に対応する、前 記広告編入部と、 から成ることを特徴とする広告サイト検出装置。 ３．請求項２において、前記広告編入部は、前記スポーツ施設に関する広告サイ トの位置以外に基づいて、少なくとも１フィールド内の少なくとも１ヶ所の広告 サイトを検出するように動作する、広告サイト検出器を含むことを特徴とする装 置。 ４．広告サイト検出装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しデジ タル化するフィールド獲得部、 少なくとも１フィールドにおいて少なくとも１ヶ所の広告サイトを検出するよ うに動作する広告サイト検出器と、および フィールド全体を追跡することなく、前記広告サイト検出器によって検出され た少なくとも１ヶ所の広告サイトを追跡するように動作する広告サイト追跡部と 、 から成ることを特徴とする広告サイト検出装置。 ５．請求項２において、前記広告編入部は、 少なくとも１フィールドにおいて少なくとも１ヶ所の広告サイトを検出するよ うに動作する広告サイト検出器、および フィールド全体を追跡することなく、前記広告サイト検出器によって検出され た少なくとも１ヶ所の広告サイトを追跡するように動作する広告サイト追跡部と 、 を含むことを特徴とする装置。 ６．請求項４または５において、前記広告サイト検出器は、前記スポーツ施設に 対する広告サイトの位置以外に基づいて、少なくとも１フィールドにおいて少な くとも１ヶ所の広告サイトを検出するように動作することを特徴とする装置。 ７．広告放送方法であって、 少なくとも１つの広告画像を含むある行事の画像を放送するステップと、 前記行事の画像内の広告画像を識別し、前記広告画像のみを強調するステップ と、 を含むことを特徴とする方法。 ８．請求項７において、前記強調するステップは、前記広告画像の縁を先鋭化す るステップを含むことを特徴とする方法。 ９．映像処理方法であって、 複数のビデオ・フレームを含むビデオ・シーケンス内において移動体を検出す るステップと、および 前記複数のビデオ・フレームの各々の移動体に広告を付着するステップと、 を含むことを特徴とする方法。 １０．広告画像検出装置であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しデジ タル化するように動作するフィールド獲得部と、 少なくとも１フィールド内において少なくとも１つの広告画像を検出するよう に動作する広告画像検出器と、および 各広告画像の露出時間期間の長さをカウントするように動作する広告露出時間 カウンタと、 から成ることを特徴とする広告画像検出装置。 １１．請求項１０において、前記時間カウンタは、更に、各広告画像の前記露出 時間期間の、その長さ以外の少なくとも１つの特性を記憶するように動作し、前 記装置は、前記露出時間期間の長さと前記露出時間期間の少なくとも１つの他の 特性とにしたがって、広告料金を計算するように動作する広告料金計算部も含む ことを特徴とする装置。 １２．請求項１１において、前記長さ以外の前記露出時間期間の特性は、前記露 出時間期間がオーバータイムの間に起こったか否かの指示を含むことを特徴とす る装置。 １３．請求項１１において、前記長さ以外の前記露出時間期間の特性は、各露出 とゲーム開始との間の間隔の指示を含むことを特徴とする装置。 １４．請求項１１において、前記露出時間期間の長さ以外の特性は、重要な事象 に対する時間的至近度の指示を含むことを特徴とする装置。 １５．音声広告を、スポーツ行事を表わす音声チャンネルに編入する装置であっ て、 音声広告を記憶するように動作する音声広告メモリと、および 前記音声広告を前記スポーツ行事を表わす音声チャンネルに混合するように動 作する音声混合器と、 から成ることを特徴とする装置。 １６．請求項１５において、更に、 前記スポーツ行事が行われているスポーツ施設の少なくとも一部を表わす少な くとも１フィールドを獲得し、デジタル化するように動作するフィールド獲得部 と、および 少なくとも１フィールド内において可視合図(visual cue)を検出し、該可視合 図にしたがって前記音声混合器の動作を制御するように動作する可視合図検出器 と、 を含むことを特徴とする装置。 １７．請求項１６において、前記可視合図は、前記音声広告に対応する広告画像 を含むことを特徴とする装置。 １８．広告サイト検出装置であって、 置換される画像を記憶する広告画像メモリと、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するフィールド獲得部と、および 少なくともフィールドの一部を前記記憶されている置換される広告の画像の少 なくとも一部と比較し、これによって、前記フィールド内で置換される広告の少 なくとも一部の画像を識別するように動作するフィールド・メモリ比較器と、 から成ることを特徴とする広告サイト検出装置。 １９．請求項１８において、更に、少なくとも１フィールドにおいて少なくとも １ヶ所の広告サイトの少なくとも１つのエッジを識別するように動作する、広告 サイト検出器を含むことを特徴とする装置。 ２０．放送方法であって、 複数のＴＶカメラを用いてある行事を撮像するステップと、および 前記複数のＴＶカメラによって発生した画像を放送するステップと、 から成ることを特徴とする放送方法。 ２１．請求項２０において、前記放送するステップは、更に、各フレームについ て、前記カメラの台以外の全てによって発生された画像を圧縮し、該圧縮した画 像を、残りの１台のカメラによって発生された画像を表わす信号上に混合するス テップを含むことを特徴とする方法。 ２２．請求項２０または請求項２１において、更に、前記放送を遠隔地で受信し 、前記行事で表示された少なくとも１つの広告に関する情報をそこから得るステ ップを含むことを特徴とする方法。 ２３．広告サイト検出方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップと、および 前記スポーツ施設に関する広告サイトの位置以外に基づいて、少なくとも１フ ィールド内において少なくとも１ヶ所の広告サイトを検出するステップと、 から成ることを特徴とする広告サイト検出方法。 ２４．広告編入方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得しかつ デジタル化するステップ、および 少なくとも１フィールドの前記スポーツ施設内の部分的に隠蔽されている広告 サイトに、広告の一部を編入するステップ、 から成ることを特徴とする方法。 ２５．広告サイト検出方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップと、 少なくとも１フィールド内において少なくとも１カ所の広告サイトを検出する ステップと、および 前記広告サイト検出器によって検出された少なくとも１カ所の広告サイトを、 フィールド全体を追跡することなく、追跡するステップ、 から成ることを特徴とする広告サイト検出方法。 ２６．請求項２２において、前記広告に関する情報は、前記広告の隠蔽に関する 情報を含むことを特徴とする方法。 ２７．広告画像検出方法であって、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップと、 少なくとも１フィールド内において少なくとも１つの広告画像を検出するステ ップと、および 各広告画像について、露出時間期間の長さをカウントするステップと、 から成ることを特徴とする広告画像検出方法。 ２８．音声広告をスポーツ行事を表す音声チャンネルに編入する方法において、 音声広告を記憶するステップと、および 前記音声広告を、前記スポーツ行事を表す音声チャンネルに混合するステップ と、 から成ることを特徴とする前記装置。 ２９．広告サイト検出方法であって、 置換される広告の画像を記憶するステップと、 スポーツ施設の少なくとも一部を表わす少なくとも１フィールドを獲得し、デ ジタル化するステップ、および フィールドの少なくとも一部を前記置換される広告の記憶されている画像と比 較することによって、前記フィールド内における、前記置換される広告の画像を 識別するステップと、 から成ることを特徴とする広告サイト検出方法。 ３０．請求項１において、前記広告サイト検出器は、前記スポーツ施設に関する 前記広告サイトの位置以外に基づいて、少なくとも１フィールド内で少なくとも １カ所の部分的に隠蔽された広告サイトを検出するように動作することを特徴と する装置。 ３１．請求項４において、前記広告サイト追跡部は、フィールド全体を追跡する ことなく、前記広告サイト検出器によって検出された少なくとも１カ所の部分的 に隠蔽された広告サイトを追跡するように動作することを特徴とする装置。 ３２．請求項１８において、前記広告は前記フィールド内で部分的に隠蔽されて おり、前記フィールドメモリ比較器は、フィールドの一部のみを、置換される広 告の記憶されている画像の一部のみと比較するように動作することによって、前 記フィールド内で置換される広告の一部のみの画像を識別することを特徴とする 装置。 ３３．ＴＶカメラが発生する放送すべき少なくとも１つの画像を含むＴＶカメラ ・アレイを監視するためのＴＶカメラ・アレイ監視システムであって、 各ＴＶカメラのための、カメラＦＯＶ中心方向測定ユニットと、 各ＴＶカメラのための、レンズ・ズーム状態監視ユニットと、および 前記ＦＯＶ方向測定およびレンズ・ズーム状態監視ユニットの出力を、放送さ れる信号上に混合するように動作する映像混合器と、 から成ることを特徴とするシステム。 ３４．請求項３３において、前記アレイは複数のＴＶカメラを含み、更に、前記 複数のＴＶカメラの中から、現在放映中のＴＶカメラを識別するように動作する 放映中カメラ識別ユニットを含むことを特徴とするシステム。 ３５．請求項３３または請求項３４において、更に、放送信号を受信しそこから 前記映像混合器の出力を抽出するように動作する遠隔広告検出器を含むことを特 徴とするシステム。[Claims] 1. An advertising site detection device,   Acquire at least one field that represents at least part of the sports facility A field acquisition unit that acts like a tal, and   Based on the location other than the location of the advertising site regarding the sports facility, An advertising site that acts to detect at least one advertising site in the field. Detector, An advertising site detection device comprising: 2. An advertising transfer device,   At least one frame representing at least part of the sports facility has been acquired And a field acquisition unit that operates so that   Part of the advertisement is partially hidden within the sports facility in at least one field An ad insertion unit that operates to be incorporated into a concealed advertising site. The portion of the ad that is placed corresponds to an unobscured portion of the advertising site, Advertising section, An advertising site detection device comprising: 3. The advertisement admission section according to claim 2, wherein the advertisement site is related to the sports facility. At least one ad in at least one field based on other than location A device that includes an advertising site detector that operates to detect a site. Place. 4. An advertising site detection device,   Acquire at least one field that represents at least part of the sports facility The field acquisition department that turns into a tal,   Detect at least one advertising site in at least one field A working ad site detector, and   Detected by the ad site detector without tracking the entire field And an advertising site tracking unit that operates to track at least one advertising site , An advertising site detection device comprising: 5. In Claim 2, the advertisement incorporation section,   Detect at least one advertising site in at least one field An advertising site detector that works, and   Detected by the ad site detector without tracking the entire field And an advertising site tracking unit that operates to track at least one advertising site , An apparatus comprising: 6. The advertising site detector according to claim 4 or 5, Less than at least one field based on other than the location of the advertising site An apparatus that operates to detect at least one advertising site. 7. A method of broadcasting advertisements,   Broadcasting an image of an event including at least one advertising image;   Identifying ad images in the image of the event and highlighting only the ad images When, A method comprising: 8. The method of claim 7, wherein the step of emphasizing sharpens edges of the advertising image. A method comprising the steps of: 9. An image processing method,   Detects moving objects in a video sequence containing multiple video frames Step, and   Attaching an advertisement to each mobile of the plurality of video frames; A method comprising: 10. An advertisement image detecting device,   Acquire at least one field that represents at least part of the sports facility A field acquisition unit that acts like a tal,   To detect at least one advertising image in at least one field An advertising image detector that works with, and   Ad exposure time that works to count the length of the exposure time period for each ad image A counter, An advertisement image detecting device comprising: 11. The time counter according to claim 10, further comprising: the exposure of each advertisement image. Operative to store at least one characteristic of the time period other than its length, The device may include a length of the exposure time period and at least one other of the exposure time period. Also includes an advertising fee calculator that operates to calculate the advertising fee according to the characteristics An apparatus characterized in that: 12. 12. The characteristic of the exposure time period other than the length according to claim 11, Characterized by including an indication of whether the exit time period has occurred during overtime Device. 13. 12. The characteristic of the exposure time period other than the length according to claim 11, A device comprising an indication of the interval between the start of the game and the start of the game. 14. In Claim 11, the characteristics other than the length of the exposure time period are important events. A device characterized by including an indication of temporal proximity to. 15. A device that incorporates voice advertisements into voice channels that represent sports events. hand,   A voice advertisement memory operative to store a voice advertisement, and   Acts to mix the voice advertisement with a voice channel representing the sporting event. Audio mixer to make, A device comprising: 16. In Claim 15, Furthermore,   A small number representing at least part of the sports facility where the sporting event is held. Field acquisition unit that operates to acquire at least one field and digitize it And, and   Detect visual cues in at least one field and A visual cue detector operative to control the operation of said audio mixer according to the figures When, An apparatus comprising: 17． The visual image according to claim 16, wherein the visible signal is an advertisement image corresponding to the voice advertisement. An apparatus comprising: 18. An advertising site detection device,   An advertisement image memory for storing the image to be replaced,   At least one field representing at least part of the sports facility has been acquired and A field acquisition unit that digitizes, and   At least a portion of the field of the stored replacement advertisement image Compare with some, if not more, so that fewer ads are replaced in the field. A field memory comparator that operates to identify some images if not at all, An advertising site detection device comprising: 19. The method according to claim 18, further comprising at least one field. An ad that operates to identify at least one edge of an ad site An apparatus comprising a site detector. 20. A broadcasting method,   Capturing an event with a plurality of TV cameras, and   Broadcasting images generated by the plurality of TV cameras; A broadcasting method comprising: 21. 21. The broadcasting of claim 20, wherein the step of broadcasting further comprises: The images generated by all but the platform of the camera, The image is mixed onto a signal representing the image produced by the remaining one camera. A method comprising the step. 22. The method according to claim 20 or 21, further comprising receiving the broadcast at a remote location. , From which information about at least one advertisement displayed at the event may be obtained. A method comprising: 23. A method for detecting advertising sites,   At least one field representing at least part of the sports facility has been acquired and The step of digitizing, and   Based on the location other than the location of the advertising site regarding the sports facility, Detecting at least one advertising site in the field, A method for detecting an advertising site, comprising: 24. A method of ad incorporation,   Have at least one field representing at least part of the sports facility and Digitizing steps, and   At least one field of partially concealed advertising in the sports facility The steps to incorporate part of the ad into the site, A method comprising :. 25. A method for detecting advertising sites,   At least one field representing at least part of the sports facility has been acquired and The step of digitizing,   Detect at least one advertising site in at least one field Steps and, and   At least one advertising site detected by the advertising site detector, Steps to track without tracking the entire field, A method for detecting an advertising site, comprising: 26. The information according to claim 22, wherein the information regarding the advertisement is regarding hiding of the advertisement. A method characterized by including information. 27. A method of detecting an advertisement image,   At least one field representing at least part of the sports facility has been acquired and The step of digitizing,   A system for detecting at least one advertising image in at least one field. And   Counting the length of the exposure time period for each advertising image, An advertisement image detecting method comprising: 28. In the method of incorporating a voice advertisement into a voice channel that represents a sporting event,   Storing a voice advertisement, and   Mixing the voice advertisement with a voice channel representing the sporting event. When, The device as described above. 29. A method for detecting advertising sites,   Storing an image of the replaced advertisement,   At least one field representing at least part of the sports facility has been acquired and The step of digitizing, and   Ratio at least a portion of the field to the stored image of the replaced advertisement By comparing the image of the replaced advertisement in the field. An identifying step, A method for detecting an advertising site, comprising: 30. The advertisement site detector according to claim 1, wherein the advertisement site detector is related to the sports facility. At least within one field based on other than the location of the advertising site Characterized in that it operates to detect one partially hidden advertising site Device to do. 31. The advertising site tracking unit according to claim 4, tracks the entire field. At least one partial detected by the advertising site detector without An apparatus operative to track an advertising site hidden in. 32. 19. The advertisement according to claim 18, wherein the advertisement is partially hidden within the field. In the field memory comparator, only a part of the field is replaced with a wide memory. By operating to compare only part of the stored image of the Characterized by identifying images of only part of the advertisement that will be replaced in the field apparatus. 33. TV camera including at least one image to be broadcast generated by the TV camera A TV camera array monitoring system for monitoring the array,   A camera FOV center direction measurement unit for each TV camera,   A lens zoom condition monitoring unit for each TV camera, and   The output of the FOV direction measurement and lens / zoom state monitoring unit is broadcast. A video mixer that operates to mix on the signal being A system comprising: 34. The array of claim 33, wherein the array includes a plurality of TV cameras, and further comprising: Operates to identify the TV camera currently being broadcast from among multiple TV cameras A system including a camera identification unit during broadcast. 35. Claim 33 or claim 34 further comprising receiving a broadcast signal from the It includes a remote advertisement detector operative to extract the output of the video mixer. System to collect.
JP7511729A 1993-10-12 1994-02-14 Device and method for detection, identification and incorporation of advertisements in video Pending JPH08511392A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL107266A IL107266A0 (en) 1993-10-12 1993-10-12 Application and method for detecting, identifying and incorporating advertisements in a video image
IL107266 1993-10-12
PCT/US1994/001679 WO1995010919A1 (en) 1993-02-14 1994-02-14 Apparatus and method for detecting, identifying and incorporating advertisements in a video

Publications (1)

Publication Number Publication Date
JPH08511392A true JPH08511392A (en) 1996-11-26

Family

ID=11065338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7511729A Pending JPH08511392A (en) 1993-10-12 1994-02-14 Device and method for detection, identification and incorporation of advertisements in video

Country Status (2)

Country Link
JP (1) JPH08511392A (en)
IL (1) IL107266A0 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145673A (en) * 1996-11-12 1998-05-29 Sony Corp Video signal processing unit and video signal processing method
JP2002027423A (en) * 2000-07-04 2002-01-25 Matsushita Electric Ind Co Ltd Advertisement fee setting method, advertisement information providing method, advertisement information providing system, and receiver used therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145673A (en) * 1996-11-12 1998-05-29 Sony Corp Video signal processing unit and video signal processing method
JP2002027423A (en) * 2000-07-04 2002-01-25 Matsushita Electric Ind Co Ltd Advertisement fee setting method, advertisement information providing method, advertisement information providing system, and receiver used therefor

Also Published As

Publication number Publication date
IL107266A0 (en) 1994-01-25

Similar Documents

Publication Publication Date Title
US6297853B1 (en) Apparatus and method for detecting, identifying and incorporating advertisements in a video image
EP0683961B1 (en) Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5917553A (en) Method and apparatus for enhancing the broadcast of a live event
US9041722B2 (en) Updating background texture for virtual viewpoint animations
US8073190B2 (en) 3D textured objects for virtual viewpoint animations
US8049750B2 (en) Fading techniques for virtual viewpoint animations
US8154633B2 (en) Line removal and object detection in an image
US20190222776A1 (en) Augmenting detected regions in image or video data
US20070085908A1 (en) A method and apparatus for enhancing the broadcast of a live event
ES2306724T3 (en) PROCEDURE AND SYSTEM FOR MEASURING THE DURATION OF AN AREA INCLUDED IN AN IMAGE FLOW.
EP0595808B1 (en) Television displays having selected inserted indicia
US20090128548A1 (en) Image repair interface for providing virtual viewpoints
EP1366466B1 (en) Sport analysis system and method
HU220409B (en) Method, apparatus and system for implanting an image into a video stream
JP2009505553A (en) System and method for managing the insertion of visual effects into a video stream
KR20010025404A (en) System and Method for Virtual Advertisement Insertion Using Camera Motion Analysis
JPH08511392A (en) Device and method for detection, identification and incorporation of advertisements in video
Inamoto et al. Arbitrary viewpoint observation for soccer match video
JP2002325246A (en) Stadium relay system
KR20050008246A (en) An apparatus and method for inserting graphic images using camera motion parameters in sports video
IL104725A (en) System for exchanging sections of video background with virutal images
HK1064776B (en) Method and system for measurement of the duration an area is included in an image stream