JP2008544604A - 代替画像／映像挿入方法、装置及びシステム - Google Patents

Abstract

【課題】本発明は、代替画像又は映像コンテンツをリアルタイムでオリジナル映像に選択的に組み込むための、コンテンツ製作、コンテンツの後処理、新たな画像キャプチャ及び画像合成の方法、装置及びシステムを提供する。
【解決手段】本発明では、オリジナル映像コンテンツの作成時に、オリジナル映像内の代替画像／映像の組み込みに利用できる被写体／領域を記述するためと、代替映像のキャプチャを制御し、オリジナル映像内の代替画像／映像の組み込みに利用できる領域に、代替画像／映像を適合させる様に処理する手段を提供するために、十分なメタデータを作成する。その結果、一実施形態として、個人的な／代替の、映像／画像を、音楽映像（例えば、映像カラオケ）、ゲーム、放送映像、ＤＶＤ映像等の既存の映像コンテンツにリアルタイムで組み込むことができる。
【選択図】図３

Description

本発明は映像システムに関し、より具体的には、既存の映像に、代替画像／映像を挿入する方法、装置及びシステムに関する。

単一の合成映像信号を提供するため、２つ以上の映像信号をまとめる手段は公知である。その様な映像合成の例として、前景の気象予報士を背景の天気図に重ねる、テレビの天気予報における表示がある。

その様な従来技術の手段は、通常、必要な前景シーンを、色付けした背景（通常青又は緑）で記録する、カラー・キー合成技術を使用する。必要な背景シーンもまた記録する。カラー・キー映像合成技術は、その最も単純な形式において、前景及び背景の映像信号間の自動的な“ハード”切替え（つまり、２値切替え）のために、前景シーンの各点の色を使用する。カラー・キー映像合成技術は、前景及び背景の映像信号間を自動的に切り替えるために、前景シーンの各点の色を使用する。具体的には、青色画素が前景シーンで検出されると（青色をカラー・キーと仮定）、映像スイッチは、その点において、背景シーンからの映像信号を出力シーンに導く。青色画素が前景シーンで検出されなければ、映像スイッチは、その点において、前景シーンからからの映像を出力シーンに導く。総ての点において、この様に処理された後、入力された前景及び背景シーンの組合せである出力シーンが得られる。

カラー・キー映像合成技術のより複雑な形式では、切替えの影響が隠され、さらに自然な合成が達成される。例えば、前景の被写体の影が、背景に現れるように作成される。

カラー・キー合成技術は簡易であり、この方法に対する安価なハードウェアが、これまでの間、利用されている。その結果、カラー・キー挿入は、録画映像及びライブ映像の両方で実行可能である。カラー・キー挿入は、背景シーンの上側に、スポーツの結果又はレポーターの画像を重ね合わせるといった目的のために生放送のテレビにおいて、また、背景シーン（例えば、宇宙シーン）に、前景の被写体（例えば、宇宙船）を重ね合わせるといった目的のために映画産業で広く使用されている。

しかし、カラー・キー合成技術には２つの重要な制限が存在する。第１の制限は、シーン内の分離色（例えば、青又は緑）を、この技術を利用している者が制御できないところにおいては、映像ソースを組み合わせるために、この技術を使用できないということである。これにより、放送又は映画スタジオで録画された画像シーケンスに、カラー・キー挿入の使用は、しばしば制限される。第２の制限は、あるシーケンスから挿入されるパターンを、他のシーケンスの被写体（前景又は背景）の動きに追随させ、よって、挿入されたパターンが、これら被写体の一部と見える様に、自動的に映像信号を結合することが、現在のところ可能ではないということである。従来、背景及び前景シーンの動きの同期は、ごく限られた映画制作会社において手作業で行われているが、こうした手作業による同期は非常に高額、かつ、退屈であり、‘ライブ’ではなく、あらかじめ録画した映像素材を必要とする。

本発明は、代替画像／映像挿入方法、装置及びシステムを提供することにより、従来技術の欠陥を解決するための処置を行うものである。

本発明の一実施形態において、代替画像挿入方法は、代替画像／映像コンテンツに置換可能な特定領域を有する第１の映像コンテンツのキャプチャについてのメタデータを保存するステップと、第１の映像コンテンツについての保存されたメタデータを用いて代替画像／映像をキャプチャするステップと、代替画像／映像を、第１の映像コンテンツの所定領域へ組み込むことができる様に、キャプチャした代替画像／映像を拡大又は縮小するステップとを備えている。

本発明の他の実施形態において、代替画像挿入システムは、画像／映像をキャプチャする少なくとも１つの撮像装置と、プロセッサ及びメモリを含む処理制御部とを備えており、処理制御部は、代替画像／映像コンテンツに置換可能な特定領域を有する第１の映像コンテンツのキャプチャについてのメタデータを保存し、第１の映像コンテンツの置換可能な領域のためのタイムスタンプされたマットを記述する、新たなメタデータの作成のために、第１の映像コンテンツを後処理し、第１の映像コンテンツのキャプチャについての保存されたメタデータを用いて、代替画像／映像をキャプチャし、代替画像／映像を、第１の映像コンテンツの所定領域へ組み込むことができる様に、キャプチャした代替画像／映像を拡大又は縮小する様に構成されている。

本発明の教示は、図面を用いた以下の詳細な説明により容易に理解可能である。理解を促進するため、各図において、可能な限り、同一の参照符号を、同一要素を示すために使用する。

本発明は、代替画像又は映像コンテンツを、リアルタイムでオリジナル映像に、選択的に挿入することができる、画像合成方法、装置及びシステムを、有利に提供する。本発明は、撮像を行うカメラを含む代替画像／映像挿入処理システムという枠で主に記載されるが、本発明の教示より、本発明の概念を任意の撮像装置を含むシステムに、実質上、適用可能であることは、当業者には理解されるであろう。さらに、本発明の教示の間、被写体の画像を合成する態様にて、本発明を記載するが、ここで使用する被写体との用語は、映像、画像等を表すと解釈すべきものである。つまり、コンピュータが生成したアニメーションといった画像、映像等の、他のコンピュータが生成したアニメーションといった既存の画像、映像等への挿入を、本発明の教示が少なくとも部分的に対象としていると解釈すべきである。

図１は、本発明の一実施形態による代替画像／映像挿入処理（ＡＩＶＩＰ）システムの高レベルのブロック図である。図１のＡＩＶＩＰシステム１００は、具体的には、ソース撮像装置（具体的には第１のカメラ）１０２と、第２の撮像装置（具体的には第２のカメラ）１０４と、処理制御部１１０とを備えている。図１は、撮像されるソース被写体１０６と、撮像されて第１の撮像被写体に組み込まれる第２の被写体１０８も示している。ソース撮像装置１０２及び第２の撮像装置１０４は、カメラ等の、被写体を撮像可能な任意の装置を含む。図１のＡＩＶＩＰシステム１００は、具体的には、ソース撮像装置１０２と、第２の撮像装置１０４とを備えているが、本発明の他の実施形態において、本発明によるＡＩＶＩＰシステムは、ソース被写体と第２の被写体の両方を撮像する単一の撮像装置を含むものであって良い。

図２は、図１のＡＩＶＩＰシステム１００での使用に適した処理制御部１１０の一実施形態の、高レベルのブロック図を表している。図２の処理制御部１１０は、プロセッサ２１０と、制御プログラム及び保存画像等を保存するメモリ２２０とを備えている。プロセッサ２１０は、電源装置、クロック回路、キャッシュメモリ等と、メモリ２２０に保存されているソフトウェアルーチンを実行する際に支援する回路の様な、従来の支援回路２３０と協働する。よって、ソフトウェア処理として論じられる処理ステップの幾つかは、例えば、種々のステップを実行するプロセッサ２１０と協働する回路の様な、ハードウェア内で実行可能であることに熟慮すべきである。処理制御部１１０は、処理制御部１１０と通信する種々の機能要素間のインターフェースを形成する入出力回路２４０も備えている。例えば、図１に示す様に、処理制御部１１０は、ソース撮像装置１０２と第１の経路Ｓ１経由で通信し、第２の撮像装置１０４と第２の経路Ｓ２経由で通信する。

図２の処理制御部１１０は、本発明による種々の制御機能を実行する様にプログラミングされた汎用コンピュータとして描かれているが、本発明は、例えば、特定用途向け集積回路（ＡＳＩＣ）といった、ハードウェアで実行することもできる。よって、ここで記載されている処理ステップは、ソフトウェア、ハードウェア、又は、その組合せにより、等価的に実行されるものと広く解釈すべきである。

本発明によると、図１のＡＩＶＩＰシステム１００においては、代替画像又は映像コンテンツを、リアルタイムで、選択的に、オリジナル映像に組み込むことができる。つまり、図１のＡＩＶＩＰシステム１００の様な、本発明のＡＩＶＩＰシステムにおいては、オリジナル映像の作成時、オリジナル映像内の代替画像／映像の組み込みに使用できる被写体／領域を記述するためと、代替映像キャプチャを制御し、代替画像／映像の組み込みに使用可能と定義されたオリジナル映像の領域に、代替画像／映像を適合させる処理を行う手段を提供するために、十分なメタデータを作成して保存する。

図３は、図１のＡＩＶＩＰシステム１００の処理の高レベルの機能ブロック図である。より具体的には、図３は、コンテンツ製作処理ブロック３１０と、ポストプロセス処理ブロック３３０と、代替映像／画像キャプチャ処理ブロック３５０と、最終画像合成処理ブロック３７０とを備えている。

図１のＡＩＶＩＰシステム１００のコンテンツ制作処理３１０の間、画像取得中のソースカメラ１０２の位置と、画像取得中のソースカメラ１０２の周囲の環境条件に関する詳細が、記録され、かつ、タイムスタンプされる。同様に、撮像される被写体１０６の相対的な位置も記録され、かつ、それぞれタイムスタンプされる。つまり、本発明のＡＩＶＩＰシステム１００において、撮像された被写体１０６の位置と、カメラ１０２に対する被写体１０６の角度及び位置と、カメラ１０２の配置／角度と、照明位置及び光度といったものに関するメタデータが、記録されて、かつ、タインムスタンプされる。さらに、対象となる被写体は、物理的寸法、切点、色内容及び形状といったそれらの特徴により、事前に決定できるので、輪郭を、汎用画像キャプチャと近い時間に（又は同時に）記録しても良い。さらに、対象となる被写体を妨害するかもしれなものについての物理的情報もまた集めることができる。これら情報の総ては、対象である被写体の、周囲の背景からの区分け／分離を可能にするポストプロダクション処理に適切な情報を提供する。

ポストプロセス処理３３０の間、オリジナルコンテンツは、対象である各被写体に対する、タイムスタンプされたマットを記述する新たなメタデータを作成するために後処理される。つまり、例えば、オリジナル映像コンテンツ内の、代替画像コンテンツに置換可能な所定領域の位置が識別され、オリジナル映像コンテンツ内のそれらの位置が、例えば、オリジナル映像コンテンツに出現するときに記録される。さらに、新たなメタデータが、上述した様に、タイムスタンプされた情報のために作成される。被写体、カメラ、及びマットメタデータは、第２の被写体１０８に対する第２のカメラ１０４の位置を制御するために使用する。被写体の物理的特徴及びカメラからの距離／相対位置についての具体的な情報を用いることで、映像キャプチャにおいて、対象である被写体の、他の要素との境界を決定することが可能になる。被写体の境界を用いて、背景から独立した被写体を再生するために、或いは、下流における挿入用に被写体を除去するために使用可能なマットを作成することが可能になる。

代替映像／画像キャプチャ処理３５０において、第２の被写体１０８の画像が、第２のカメラ１０４と、ポストプロセス処理３３０で決定された第２の被写体１０８と第２のカメラ１０４の位置についての情報を用いてキャプチャされる。より具体的には、代替映像／画像キャプチャ処理３５０の間、第２の被写体１０８に対する第２のカメラ１０４の相対位置、環境要因（例えば、照明、温度等）等を、第１のカメラ１０２が、第１の被写体１０６を撮像したときの条件と、実質的に同じ条件で、第２のカメラ１０４が第２の被写体１０８を撮像する様に、制御する。本発明の様々な実施形態において、その一部又は全部が第１の被写体と組み合わされる第２の被写体１０８の画像は、カラー・キー合成技術を使用してキャプチャされ、色付けされた背景（通常、青又は緑）を用いて記録される。本発明のその様な実施形態では、カラー・キー映像合成技術は、挿入される被写体とオリジナル被写体間の自動的な“ハード”切替え（２値切り替え）のために、前景シーンの各点の色を使用する。カラー・キー映像合成技術は、オリジナル被写体と挿入される被写体とを自動的に合成するために、挿入される被写体の各点の色を使用する。

本発明の他の実施形態では、第２の被写体１０８の画像を、ＲＧＢ情報に加えて、距離を示す更なるパラメータの通信を行うカメラ又は技術を用いてキャプチャする。つまり、本発明のその様な実施形態において、カメラ又は技術は、単一の見晴らしの利く地点から見たときの視野（ＦＯＶ）の３次元画像を生成することができる。その独自のカメラは、映像速度でそれを行うことができ、総ての既存の標準及びフォーマットに適合している。動作概念は、ＦＯＶに沿って移動する適切な幅を有する“光の壁”を作り出すことに基づいている。光の壁は、例えば、ＦＯＶに等しい照射領域（ＦＯＩ）を有する、短期の矩形レーザパルスとして生成することができる。光の壁がＦＯＶ内の被写体に衝突すると、それは、被写体の像を運ぶカメラに向かって後方に反射する。その像は、深度図の再構成に必要な総ての情報を含んでいる。

本発明の一実施形態において、第２の被写体１０８の位置は、処理制御部１１０によって制御される。例えば、図４は、図１のＡＩＶＩＰシステムの様な、本発明のＡＩＶＩＰシステム４００の高レベルブロック図であり、ここで、第２のカメラに対する第２の被写体１０８の位置は、処理制御部１１０により制御される。つまり、図４の本発明の実施形態に示す様に、第２のカメラ１０４は固定され、第２の被写体１０８は、可動装置１１２（例えば可動ステージ）上に配置され、よって、第１のカメラ１０２が第１の被写体１０６の画像をキャプチャしたときの、第１のカメラ１０２と第１の被写体１０６間の位置のとおりに、第２のカメラ１０４及び第２の被写体１０８の相対位置を適切なものとするため、処理制御部１１０による第２の被写体の位置決め（例えば、回転、上昇、下降、角度付け等）が可能になる。つまり、第２の被写体１０８の移動は、コンテンツ製作処理３１０の間に記録されたメタデータを用いて処理制御部１１０により制御される。

本発明の他の実施形態において、第２のカメラ１０４の位置は、処理制御部１１０によって制御される。例えば、図５は、図１のＡＩＶＩＰシステムの様な、本発明のＡＩＶＩＰシステム５００の高レベルブロック図であり、ここで、第２の被写体１０８に対する第２のカメラ１０４の位置は、処理制御部１１０により制御される。つまり、図５の本発明の実施形態に示す様に、第２の被写体１０８は固定され、第１のカメラ１０２が第１の被写体１０６の画像をキャプチャしたときの、第１のカメラ１０２と第１の被写体１０６の位置のとおりに、第２のカメラ１０４及び第２の被写体１０８の相対位置を適切なものとするため、処理制御部１１０が第２のカメラ１０４の位置決め（例えば、回転、上昇、下降、角度付け等）をする。つまり、第２のカメラ１０４の移動は、コンテンツ製作処理３１０の間に記録されたメタデータを用いて処理制御部１１０により制御される。図５に示す様に、第２のカメラ１０４は、処理制御部１１０による第２のカメラ１０４の位置決め例えば、回転、上昇、下降、角度付け等）が可能な様に、例えば、可動装置１１２（例えば、可動ステージ）上に配置される。

さらに、本発明の他の実施形態では、第１のカメラ１０２が第１の被写体１０６の画像をキャプチャしたときの、第１のカメラ１０２と第１の被写体１０６の位置のとおりに、第２のカメラ１０４及び第２の被写体１０８の相対位置を適切なものとするために、第２のカメラ１０４若しくは第２の被写体１０８、又は、その任意の組合せの位置が、処理制御部１１０により制御される。

オプションとして、本発明の総ての実施形態において、処理制御部１１０は、照明、温度等の様な、撮像処理に影響を与える可能性がる他の条件を制御するように構成されるかもしれず、それにより、処理制御部１１０は、第２のカメラ１０４が、オリジナル画像に挿入する第２の被写体１０８の画像をキャプチャするときに、第１のカメラ１０２が、第１の被写体１０６の画像をキャプチャしたときの撮像条件を実質的に模倣することができる。

図１及び図３に戻り、最終画像合成処理ブロック３７０において、一旦新しい画像／映像をキャプチャすると、それをオリジナル映像から作製されたマットに組み込むことができる様に、拡大又は縮小と、適切な修正が為される。拡大又は縮小／修正プロセスは、“最良適合”プロセスである。つまり、挿入される画像の輪郭と、マット間の差分は、正確な一致の妨げである。よって、挿入される画像は、可能な限りマット領域を“覆う”様に比例的に拡大又は縮小される。画像合成後、最終合成画像においてもマットが依然出現する領域、つまりマット領域は、隣接する背景画素の“クローン”で置き換えられる。図３に示す様に、最終画像／映像は、オリジナル画像／映像と、続いて取得された代替画像／映像の組合せとなる。

図６は、本発明の一実施形態による代替映像挿入方法のフロー図である。図６の方法６００は、代替画像／映像コンテンツに置換可能な特定領域を有するオリジナル映像コンテンツのキャプチャについてのメタデータを保存するステップ６０２から始まる。方法６００は、その後、ステップ６０４に進む。

ステップ６０４において、オリジナル映像コンテンツは、オリジナル映像の置換可能な各領域のためのタイムスタンプされたマットを作成するために処理される。方法６００は、その後、ステップ６０６に進む。

ステップ６０６において、オリジナル映像コンテンツに挿入される代替画像／映像が、オリジナル映像コンテンツを識別する保存されたメタデータを用いてキャプチャされる。方法６００は、その後、ステップ６０８に進む。

ステップ６０８において、キャプチャされた代替画像／映像が、オリジナル映像から作成されたマットに組み込み可能となる様に、拡大又は縮小され、かつ、適切に修正される。それにより、方法６００は終了する。

前述した本発明の様々な実施形態以外に、本発明の基本的な範囲を逸脱しない、他の実施形態を考えることができる。よって、本発明の適切な範囲は特許請求の範囲により決定される。

本発明の一実施形態による代替画像／映像挿入処理（ＡＩＶＩＰ）システムの高レベルブロック図である。 図１のＡＩＶＩＰシステム１００の使用に適した、処理制御部の一実施形態の高レベルブロック図である。 図１のＡＩＶＩＰシステムの処理の高レベルの機能ブロック図である。 第２のカメラに対する第２の被写体の位置が、処理制御部により制御される、本発明のＡＩＶＩＰシステムの高レベルブロック図である。 第２の被写体に対する第２のカメラの位置が、処理制御部により制御される、本発明のＡＩＶＩＰシステムの高レベルブロック図である。 本発明の一実施形態による代替映像挿入の方法のフロー図である。

符号の説明

１００、４００、５００ ＡＩＶＩＰシステム
１０２、１０４ 撮像装置
１０６、１０８ 被写体
１１０ 処理制御部
１１２ 可動装置
２１０ プロセッサ
２２０ メモリ
２３０ 支援回路
２４０ 入出力回路
３１０ コンテンツ製作処理ブロック
３３０ ポストプロセス処理ブロック
３５０ 代替映像／画像キャプチャ処理ブロック
３７０ 最終画像合成処理ブロック

Claims (15)

1. 代替画像コンテンツに置換可能な所定領域を有する第１の映像コンテンツのキャプチャについてのメタデータを保存するステップと、
   第１の映像コンテンツについての保存したメタデータを用いて、代替画像をキャプチャするステップと、
   第１の映像コンテンツの所定領域の少なくとも１つに組み込むために、キャプチャした代替画像を拡大又は縮小するステップと、
   を備えている代替画像挿入方法。
2. 前記メタデータは、第１の映像コンテンツの、代替画像コンテンツに置換可能な各所定領域のための、タイムスタンプされたマットを含む、
   請求項１に記載の方法。
3. 前記代替画像をキャプチャするステップは、前記第１の映像コンテンツのキャプチャについての保存したメタデータに従い、代替画像を取得するときに、撮像する被写体の位置を制御する、
   請求項１に記載の方法。
4. 前記代替画像をキャプチャするステップは、前記第１の映像コンテンツのキャプチャについての保存したメタデータに従い、代替画像を取得するときに、撮像装置の位置を制御する、
   請求項１に記載の方法。
5. 前記メタデータは、第１の映像コンテンツ内の撮像された被写体の位置、撮像装置に対する撮像された被写体の角度及び位置、撮像装置の配置及び角度、環境条件、並びに、第１の映像コンテンツを撮像している間の照明位置及び光度に関するタイムスタンプされた情報を含む、
   請求項１に記載の方法。
6. プロセッサ及びメモリを含む代替画像挿入装置であって、
   代替画像コンテンツに置換可能な所定領域を有する第１の映像コンテンツのキャプチャについてのメタデータを保存するステップと、
   第１の映像コンテンツについての保存したメタデータを用いて、代替画像をキャプチャするステップと、
   第１の映像コンテンツの所定領域の少なくとも１つに組み込むために、キャプチャした代替画像を拡大又は縮小するステップと、
   を実行する様に構成された装置。
7. 代替画像をキャプチャする撮像装置の位置を制御する様に構成された、
   請求項６に記載の装置。
8. 代替画像をキャプチャするとき、撮像する被写体の位置を制御する様に構成された、
   請求項６に記載の装置。
9. 代替画像をキャプチャするとき、環境条件を制御する様に構成された、
   請求項６に記載の装置。
10. 前記環境条件は、照明の位置、照明光度及び環境温度の少なくとも１つを含む、
    請求項９に記載の装置。
11. 第１の映像コンテンツの、代替画像コンテンツに置換可能な各所定領域のためのタイムスタンプされたマットを作成する様に構成された、
    請求項６に記載の装置。
12. 第１の映像コンテンツ内の撮像された被写体の位置、撮像装置に対する撮像された被写体の角度及び位置、撮像装置の配置及び角度、環境条件、並びに、第１の映像コンテンツを撮像している間の照明位置及び光度に関するタイムスタンプされたマットを作成する様に構成された、
    請求項６に記載の装置。
13. 画像をキャプチャする少なくとも１つの撮像装置と、
    前記少なくとも１つの撮像装置と通信する処理制御部と、
    を備えており、
    前記処理制御部は、プロセッサ及びメモリを含み、
    代替画像コンテンツに置換可能な所定領域を有する第１の映像コンテンツのキャプチャについてのメタデータを保存するステップと、
    第１の映像コンテンツについての保存したメタデータを用いて、代替画像をキャプチャするステップと、
    第１の映像コンテンツ内の置換可能な所定領域のためのタイムスタンプされたマットを作成するステップと、
    第１の映像コンテンツについての保存したメタデータを用いて、代替画像をキャプチャするステップと、
    第１の映像コンテンツの所定領域の少なくとも１つに組み込むために、キャプチャした代替画像を拡大又は縮小するステップと、
    を実行する様に構成された、
    代替画像挿入システム。
14. 前記処理制御部は、前記第１の映像コンテンツのキャプチャについての保存されたメタデータに従い、代替画像をキャプチャするとき、前記少なくとも１つの撮像装置の位置を制御する様に構成された、
    請求項１３に記載のシステム。
15. 前記処理制御部は、代替画像をキャプチャするとき、撮像される被写体の位置を制御する様に構成された、
    請求項１３に記載のシステム。

Images