JP4427140B2

JP4427140B2 - オブジェクト映像表示装置

Info

Publication number: JP4427140B2
Application number: JP27382299A
Authority: JP
Inventors: 堅助上原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-09-28
Filing date: 1999-09-28
Publication date: 2010-03-03
Anticipated expiration: 2019-09-28
Also published as: JP2001103375A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ方式により符号化された複数のオブジェクト映像を表示できるオブジェクト映像表示装置に関するもので、特に、あるオブジェクト映像内の他の映像と貼付可能な領域を検出し、その領域に合わせた映像を選択して、その領域に貼付して表示する技術に関する。
【０００２】
【従来の技術】
表示対象となる画像に対して修正をする領域を設定し、その領域に別な素材データをはめ込んで、全体として新たな別の画像を作成する技術がある。例えば、特開平８−２８７２２５には、３次元で住宅を撮影した画像に対して、壁の一部を新たな別の素材データに置き換えて表示させる技術が開示されている。この従来例においては、画像において、壁を斜視している場合、素材データも元の壁領域に合わせて変更している。そして、素材データをはめ込む際には、そのはめ込む領域を予め手作業でマウス等により、対象となる画像上で選択することを前提としている。つまり、壁の頂点をマウスで設定して、多角形を生成し、その多角形に合わせて素材データを変形し、その素材データを該当する領域に貼り付けている。
【０００３】
図６はオブジェクト映像に対して他の映像を貼付させた例を示した説明図である。図６は、対象映像あるいは対象被写体である人物のオブジェクト映像１０２に数字、人名あるいはＣＭ等のロゴオブジェクト映像１０４を貼付した例を示している。人物オブジェクト映像１０２は汎用的に使われ、その一部領域にロゴオブジェクト映像１０４（例えばこの人物の名前）を貼り付けることで、オブジェクト映像１０２を色々な用途に使うことができる。また、別の人物のオブジエクト映像１０８は、顔領域を隠蔽するためマスクオブジェクト映像１１０が貼付されている。人物オブジェクト映像１０８の顔を隠蔽することで、誰のオブジェクト映像か分からなくなり、プライバシーの保護に役立つ。１１２は装飾枠オブジェクト映像である。装飾枠オブジェクト映像１１２に対して文字オブジェクト映像１１４を貼り付けることで、汎用の複数種類の装飾枠オブジェクト映像１１２を用意しておき、文字オブジェクト映像１１４の内容を適宜変えることで、場面場面で色々な表現手段が実現できる。
【０００４】
【発明が解決しようとする課題】
上述した特開平８−２８７２２５に開示された技術では、元の住宅画像に対して、素材画像を貼り付ける領域を人手によりマウス等で指定しなければならない。このため、人手がかかるため元の画像は静止画に限定されている。また、従来、図６のオブジェクト映像１０２に貼り付けるロゴオブジェクト映像１０４の位置、オブジェクト映像１０８に貼り付けるマスクオブジェクト映像１１０の位置、装飾枠オブジェクト映像１１２に貼り付ける文字オブジェクト映像１１４の位置は、人手により設定する必要があった。特に、オブジェクト映像１０２、オブジェクト映像１０８および装飾枠オブジェクト映像１１２が動画像の場合、時々刻々位置が変わり、形状も変わる可能性がある。そのため、人手によりロゴオブジェクト映像１０４、マスクオブジェクト映像１１０、文字オブジェクト映像１１４を貼り付ける作業は非常に手間がかかった。従って、実用的には上記オブジェクト映像１０２、オブジェクト映像１０８、装飾枠オブジェクト映像１１２をディスク等の蓄積メディアに格納しておき、人間が少しずつ読み出しながらオブジェクト映像Ａ１０２、オブジェクト映像Ｂ１０８および文字オブジェクト映像１１４の位置および形状を確認し、素材側のオブジェクト映像の形状を変えて、適切な位置に貼り付ける作業を行なう必要があった。
【０００５】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたもので、オブジェクト映像を供給するオブジェクト映像供給手段と、前記オブジェクト映像供給手段より供給された一つのオブジェクト映像からその形状の情報を抽出し、形状情報として出力する手段と、前記オブジェクト映像供給手段より供給されたオブジェクト映像上に貼付して表示させる素材オブジェクト映像が複数記憶されている素材オブジェクト映像記憶手段と、前記形状情報出力手段より出力されたオブジェクト映像の形状情報に基づいて、当該オブジェクト映像上に素材オブジェクト映像を貼付させる領域を検出する検出手段と、前記検出手段で検出された貼付領域の大きさに適合する素材オブジェクト映像を、前記素材オブジェクト映像記憶手段に記憶されている複数の素材オブジェクト映像の中から選択する選択手段と、前記選択手段で選択された素材オブジェクト映像と貼付される対象のオブジェクト映像とを貼付する貼付手段と、前記貼付手段で貼付された二つのオブジェクト映像を表示する表示手段とを具備したことを特徴としている。
【０００６】
また、本発明の前記選択手段は、前記検出手段で検出された貼付領域の大きさに近い素材オブジェクト映像を、前記素材オブジェクト映像記憶手段に記憶されている複数の素材オブジェクト映像の中から選択し、選択された素材オブジェクト映像を、前記貼付領域の大きさに適合するよう変形して出力することを特徴としている。
【０００７】
上記した本発明のオブジェクト表示装置にあっては、貼付対象となるオブジェクト映像の形状情報に基づいて自動的に素材オブジェクトの貼付領域を検出する。そして、検出された貼付領域に適合した素材オブジェクトを記憶手段から読み出して貼付領域に貼り付ける。あるいは素材オブジェクト映像の形状を変形して貼付領域に適合した素材オブジェクトを貼付領域に貼り付ける。こうすることにより、従来人手で行っていた作業が貼付自動化されると共に、動画像にも対応することができる。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は本発明によるオブジェクト映像表示装置の実施の形態を示すブロック図である。映像ソース２は、ディスクなどのメディアで映画等のシーンの出演者あるいは静物等がオブジェクト映像として格納されている。本発明では、ディスクに格納されたオブジェクト映像を再生する用途で説明するが、テレビカメラ等で撮影した映像から被写体を領域抽出してからオブジェクト映像符号化したようなリアルタイムでのオブジェクト映像を表示させてもよい。映像ソース２から読み出されたオブジェクト映像は直列符号化データ４として出力される。直列符号化データ４はオブジェクト映像選択部６に印加される。素材が貼付される対象となるオブジェクト映像１００とその他のオブジェクト映像１０１はオブジェクト映像選択部６で分類される。この分類はあらかじめ編集時に、当該オブジェクトが貼付される対象である旨を示すインデックスを付加することにより実現できる。あるいは、映像ソース２より供給されるシーン構成情報１２の中にどのオブジェクト映像を貼付対象とするか、どの時点で貼付するかの情報を含ませておくことでも実現可能である。あるいは、ユーザが、貼付対象とするオブジェクト映像の情報を設定部１６を介してオブジェクト映像選択部６に供給してもよい。
【０００９】
オブジェクト映像選択部６からはオブジェクト映像１００の形状情報８も出力される。ここで形状情報は一種の座標の情報で、当該オブジェクトが存在する座標位置がわかる情報である。したがって、この形状情報は当該オブジェクトの輪郭に関する情報も含んでいる。形状情報はアルファープレーンと呼ばれ、オブジェクト映像が存在する領域を論理値１、存在しない残りの領域を論理値０と表現したもので、論理値１の座標はオブジェクト映像がある領域、論理値０の座標は当該オブジェクト映像のない残りの領域を示す。なお、図１ではオブジェクト映像１００を１サンプルと仮定しているが実際の応用では複数のサンプルを対象としてもかまわない。
【００１０】
形状情報８は貼付領域検出部１８に印加される。貼付領域検出部１８では、貼付情報２０が算出される。貼付情報２０はオブジェクト映像上の素材オブジェクト映像が貼付される貼付領域の情報である。この貼付情報２０は素材オブジェクト変形部２６に印加される。素材オブジェクト変形部２６では貼付情報２０から適切な大きさの素材オブジェクト映像を素材オブジェクト記憶部２８から読み出す。素材オブジェクト記憶部２８には例えば登場人物の人名などの素材オブジェクト映像が複数記憶されている。素材オブジェクト記憶部２８に貼付領域と当てはまるちょうどよい大きさの素材オブジェクト映像がない場合、貼付領域に近い大きさの素材オブジェクト映像を読み出して、貼付領域に合うように拡大あるいは縮小して変形させる処理も行う。
【００１１】
素材オブジェクト変形部２６で生成された素材オブジェクト映像１０は、素材オブジェクト貼付部３０に印加される。素材オブジェクト貼付部３０では元のオブジェクト映像１００が印加されており、検出された貼付領域に素材オブジェクト映像を貼付して処理済オブジェクト映像３２として出力する。
【００１２】
映像合成部３４は、素材オブジェクト映像が貼付されていないオブジェクト映像１０１と処理済オブジェクト映像３２を重ね合わせ、合成直列データ３６として出力する。モニタ１４はオブジェクト映像１０１と処理済オブジェクト映像３２の合成映像を表示する。
【００１３】
次に、図２を用いて人物のオブジェクト映像から素材オブジェクト映像を貼付する領域を検出する方法（貼付領域検出部１８内の処理）を説明する。図２は人物オブジェクトの胸部に素材オブジェクト（例えば当該人物の名前）を貼付する例を説明するための図である。
【００１４】
まず、オブジェクトの輪郭を示す形状情報８の頭頂ｄを検出する。頭頂ｄを検出するには、形状情報８に対して、上側から水平線３８を降ろしていく。そして、形状情報８と接触した個所を頭頂としている。そして、頭頂から下側に向かい、形状情報８の周囲に沿って辿っていく。そして、辿る過程で最も大きく窪んだ個所を首とする（参照符号ｆ）。
【００１５】
そして、首から水平線４０を引く。水平線３８と水平線４０の間隔（参照符号ａ）を測定する。ａは頭部の縦方向の大きさになる。次に、頭部からαａだけ下側に水平線４２を引く。αａは頭部の大きさで正規化した素材オブジェクト映像を重複する位置になる。すなわち、シーンによってオブジェクト映像１０２が奥の方に引き下がると形状情報８も小さくなり、頭部も小さくなる。αを一定にしておくと、頭部の大きさａに合わせて、αａも小さくすることができる。
【００１６】
次に、水平線４２と形状情報８が交差した個所ｇとｈを検出する。そして、ｇとｈから垂直線を下側に引き、長さｃで図２のような貼付領域２４を生成する。ここでは、ｂが測定されれば、ｂと比率を同じくしてｃを決める。以上のように、形状情報８の座標が移動し、形状情報８そのものの大きさが変わっても、貼付領域２４を検出することができ、貼付領域２４は常に相似の大きさとして検出される。ちなみに従来では、人物の頭部から所定の距離だけ下側の胸の位置を検出することは容易でない。まず、映像に登場する人物そのものを検出しなければならない。例えば、ＭＰＥＧ２方式では、動きベクトルなどを使用して検出するが、人物が静止していれば動きベクトルが生じないため、人物そのものの頭部などを背景から識別するなど高度な画像処理を必要とする。本発明ではオブジェクト映像に伴う形状情報８から上述した方法により比較的容易に頭部が検出でき、頭部が検出できれば、胸の位置も容易に検出できる。
【００１７】
図１に戻ると、貼付領域検出部１８が、検出した上記貼付領域２４とｈの座標を貼付情報２０として出力し、これが素材オブジェクト変形部２６に印加される。素材オブジェクト変形部２６では貼付情報２０から適合する大きさの素材を素材オブジェクト記憶部２８から読み出す。
【００１８】
図５は本発明による素材オブジェクト記憶部２８に格納された色々な大きさの素材オブジェクト映像を示した図である。図５（Ａ）、（Ｂ）、（Ｃ）は貼付領域検出部１８で検出された貼付領域２４と同じ縦横比、大きさの異なる素材オブジェクト映像１０を示している。そして、図５（Ｄ）は現在検出された貼付領域２４を示している。図５（Ｄ）に大きさが最も近い素材オブジェクト映像１０を図５（Ａ）、（Ｂ）、（Ｃ）から選択する。素材オブジェクト記憶部２８に記憶されている素材オブジェクト映像１０の数に限りがあるため、大きさが最も近い素材オブジェクト映像１０を選択して、素材オブジェクト変形部２６で、重複領域２４に合致するように縦横の大きさを変形してもよい。素材オブジェクト変形部２６で素材が確定すると、素材オブジェクト映像１０は素材オブジェクト重複部３０に印加される。素材オブジェクト重複部３０ではオブジェクト映像１００の重複すべき領域に素材オブジェクト映像１０が重複されて、処理済オブジェクト映像３２として映像合成部３４に印加される。映像合成部３４では素材オブジェクト映像１０が貼付されていない、その他のオブジェクト映像１０１と処理済オブジェクト映像３２が決められた画面上の位置に配置されて、合成直列データ３６として出力し、モニタ４で表示される。
以下、本発明の他の実施形態を説明する。
（第２の実施形態）
図３を用いて装飾枠オブジェクト映像に素材オブジェクト映像を貼付する領域を検出する方法（貼付領域検出部１８内の処理）を説明する。なお、参照符号は図２に用いたものと同じものについては同じ符号を使用する。
【００１９】
まず、装飾枠オブジェクト映像の形状情報８の上端に接する水平線３８と下端に接する水平線４０を引く。次に、形状情報８の左端に接する垂直線４４と右端に接する垂直線４６を引く。水平線３８、水平線４０、垂直線４４、垂直線４６で囲まれた長方形を検出する。そして、水平線３８から下側にｃだけ下げ、水平線４０から上側にｃだけ上げる。また、右端から右側にｄだけずらし、左端から左側にｄだけずらすことで、貼付領域２４すなわちｂ×ｃの長方形を検出する。オブジェクト映像の貼付から合成、表示の処理については先の説明と同じなので省略する。
【００２０】
従来では、本実施形態のように装飾された枠内の文字などは、その都度人手で内容を変えていた。特に、装飾枠が表示面を動いたり、大きさが変わったりすると、人手で装飾枠内に文字をはめ込む作業は困難だった。本発明によると、オブジェクト映像選択部において該当する装飾枠オブジェクト映像１１２を選択し、シーン構成情報１２により貼付される素材オブジェクト映像１０を決めておけば、後は自動的に装飾枠オブジェクト映像１１２の枠内にバランスよく素材オブジェクト映像１０を変形して貼付することができる。さらに、本発明の特徴として、装飾枠オブジェクト映像１１２の大きさが変わったり、位置が変わっても自動的に素材オブジェクト映像１０を所定に位置に貼付することができる。
（第３の実施形態）
次に、人物のオブジェクト映像で顔面領域を自動抽出して素材オブジェクト映像を貼付する領域を検出する方法（貼付領域検出部１８内の処理）を図４を用いて説明する。なお、参照符号は図２、３に用いたものと同じものについては同じ符号を使用する。
【００２１】
まず、図２で説明した方法と同様に形状情報８に対して、上部から水平線３８を降ろしていき、頭頂ｄを検出する。そして、上記と同様に頭部の外周を辿っていき、首の部分ｆを検出する。次に、ｆから水平線４０を引く。そして、水平線４０から上で、水平線３８から下の区域すなわちａの区間で、左右から垂直線４４と垂直線４６を外周方向に移動して、外周に接触した位置で止める（区間ｂ）。これで矩形（ａｘｂ）が検出されたことになる。この矩形は大まかに顔面部分を囲っていることになる。そして、水平方向でβａだけ隙間を空けた水平線４２と水平線４８を引き、水平線４２と外周が交差した点から垂直方向に垂直線５０と垂直線５２を引く。矩形ｈ×ｉは顔面部分の目、鼻および口など、重要領域を含んでいる。前記矩形部分に対して、素材オブジェクト映像を貼付する。貼付する処理方法は図１に示した方法と同様なので省略する。素材オブジェクト映像はモザイクでもよい。あるいは、単色の素材オブジェクト映像で外周部分にフィルタをかけてぼかしてもかまわない。
【００２２】
従来は予め映像を見ながら人手で、顔面部分を選択して顔面に対してモザイク処理を施していた。従って、処理対象の被写体が動いていると正確に顔面に対して、モザイク処理ができず、背景までモザイク処理を行ってしまう欠点があった。しかし、本実施形態によると、モザイク対象となるオブジェクト映像を選択すれば、後は自動的に形状情報を利用して、顔面領域を検出し、その領域に合った素材オブジェクト映像を正確に貼付することができる。上述した実施形態は、貼付対象映像としてオブジェクト映像を貼付する例で説明した。しかし、貼付対象となる映像が形状情報を有している映像ならば、上述した方法により貼付領域を容易に検出できる。そして、貼付領域に対しては、アニメーション映像を作成する手法のようにレイヤー構造にし、貼付素材として上側のレイヤーに素材のビットマップ映像を配置して、下側のレイヤーに配置したオブジェクト映像に重ねあわせてもかまわない。このように本発明の趣旨を逸脱しない範囲で種々の変形が可能である。
【００２３】
【発明の効果】
以上詳述したように本発明のオブジェクト映像表示装置によれば、貼付対象となるオブジェクト映像の形状情報に基づいて自動的に素材オブジェクトの貼付領域を検出し、検出された貼付領域に適合した素材オブジェクトを記憶手段から読み出して貼付領域に貼り付けるので、従来人手で行っていた作業が貼付自動化されると共に、動画像にも対応することができる。
【図面の簡単な説明】
【図１】本発明によるオブジェクト映像表示装置の一実施形態を示すブロック構成図。
【図２】人物のオブジェクト映像から素材オブジェクト映像を貼付する領域を検出する方法を説明するための図。
【図３】装飾枠に素材オブジェクト映像を貼付する領域を検出する方法を説明するための図。
【図４】人物のオブジェクト映像で顔面領域を検出する方法を説明するための図。
【図５】素材オブジェクト記憶部に格納された色々な大きさの素材オブジェクト映像を示す図。
【図６】オブジェクト映像に対して他の映像を貼付させた例を説明するための図。
【符号の説明】
２映像ソース
６オブジェクト映像選択部
８形状情報
１２シーン構成情報
１４モニタ
１６設定部
１８貼付領域検出部
２０貼付情報
２６素材オブジェクト変形部
２８素材オブジェクト記憶部
３０素材オブジェクト貼付部
３２処理済オブジェクト映像
３４映像合成部

Claims

オブジェクト映像を供給するオブジェクト映像供給手段と、前記オブジェクト映像供給手段より供給された一つのオブジェクト映像からその形状の情報を抽出し、形状情報として出力する手段と、前記オブジェクト映像供給手段より供給されたオブジェクト映像上に貼付して表示させる素材オブジェクト映像が複数記憶されている素材オブジェクト映像記憶手段と、前記形状情報出力手段より出力されたオブジェクト映像の形状情報に基づいて、当該オブジェクト映像上に素材オブジェクト映像を貼付させる領域を検出する検出手段と、前記検出手段で検出された貼付領域の大きさに適合する素材オブジェクト映像を、前記素材オブジェクト映像記憶手段に記憶されている複数の素材オブジェクト映像の中から選択する選択手段と、前記選択手段で選択された素材オブジェクト映像と貼付される対象のオブジェクト映像とを貼付する貼付手段と、前記貼付手段で貼付された二つのオブジェクト映像を表示する表示手段とを具備したことを特徴とするオブジェクト映像表示装置。
前記選択手段は、前記検出手段で検出された貼付領域の大きさに近い素材オブジェクト映像を、前記素材オブジェクト映像記憶手段に記憶されている複数の素材オブジェクト映像の中から選択し、選択された素材オブジェクト映像を、前記貼付領域の大きさに適合するよう変形して出力することを特徴とする請求項１記載のオブジェクト映像表示装置。