JPH11317909A - 画像合成方法，画像合成装置，及びデ―タ記録媒体 - Google Patents
画像合成方法，画像合成装置，及びデ―タ記録媒体Info
- Publication number
- JPH11317909A JPH11317909A JP11023494A JP2349499A JPH11317909A JP H11317909 A JPH11317909 A JP H11317909A JP 11023494 A JP11023494 A JP 11023494A JP 2349499 A JP2349499 A JP 2349499A JP H11317909 A JPH11317909 A JP H11317909A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- signal
- synthesizing
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title 1
Landscapes
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 任意の形状を持つ物体を含む前景画像を背景
画像に合成する画像合成方法において、合成画像におけ
る前景の物体の境界部分での画質を向上する。 【解決手段】 前景画像と背景画像の境界部分に跨がっ
て並ぶ画素に対して、処理対象となる被処理画素の形状
データの平滑化を行った後（ステップ４１０）に、前景
画像と背景画像の間でテキスチャーデータの合成を行う
（ステップ４１２）。
画像に合成する画像合成方法において、合成画像におけ
る前景の物体の境界部分での画質を向上する。 【解決手段】 前景画像と背景画像の境界部分に跨がっ
て並ぶ画素に対して、処理対象となる被処理画素の形状
データの平滑化を行った後（ステップ４１０）に、前景
画像と背景画像の間でテキスチャーデータの合成を行う
（ステップ４１２）。
Description
【０００１】
【発明の属する技術分野】本発明は、画像合成装置，画
像合成方法，及びデータ記録媒体に関し、特に形状を有
する画像をその他の画像と合成する処理、及びこの合成
処理をソフトウェアにより実現するためのプログラムを
格納した記録媒体に関するものである。
像合成方法，及びデータ記録媒体に関し、特に形状を有
する画像をその他の画像と合成する処理、及びこの合成
処理をソフトウェアにより実現するためのプログラムを
格納した記録媒体に関するものである。
【０００２】
【従来の技術】近年、音声，画像，その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
【０００３】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合１文字当たりの情報量は１〜２バイトであるのに対
し、音声の場合１秒当たり６４kb（電話品質）、さらに
動画については１秒当たり１００Mb（現行テレビ受信品
質）以上の情報量が必要となり、テレビ等の情報メディ
アにて扱われる膨大な量の情報をディジタル形式でその
まま扱うことは現実的では無い。例えば、テレビ電話
は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総
合ディジタル網（ＩＳＤＮ:Integrated Services Digit
al Network）によってすでに実用化されているが、テレ
ビ・カメラの映像をそのままＩＳＤＮで送ることは不可
能である。
量をディジタル情報量として見積もってみると、文字の
場合１文字当たりの情報量は１〜２バイトであるのに対
し、音声の場合１秒当たり６４kb（電話品質）、さらに
動画については１秒当たり１００Mb（現行テレビ受信品
質）以上の情報量が必要となり、テレビ等の情報メディ
アにて扱われる膨大な量の情報をディジタル形式でその
まま扱うことは現実的では無い。例えば、テレビ電話
は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総
合ディジタル網（ＩＳＤＮ:Integrated Services Digit
al Network）によってすでに実用化されているが、テレ
ビ・カメラの映像をそのままＩＳＤＮで送ることは不可
能である。
【０００４】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格の動画圧縮技術が用いられてい
る。また、ＭＰＥＧ１規格の情報圧縮技術によると、通
常の音楽用ＣＤ（コンパクト・ディスク）に音声情報と
ともに画像情報を入れることも可能となる。
技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ
（国際電気通信連合 電気通信標準化部門）で国際標準
化されたＨ．２６１規格の動画圧縮技術が用いられてい
る。また、ＭＰＥＧ１規格の情報圧縮技術によると、通
常の音楽用ＣＤ（コンパクト・ディスク）に音声情報と
ともに画像情報を入れることも可能となる。
【０００５】ここで、ＭＰＥＧ（Moving Picture Exper
ts Group) とは、動画像のデータ圧縮の国際規格であ
り、ＭＰＥＧ１では、動画データが１．５Mbpsまで、つ
まりテレビ信号の情報が約１００分の１にまで圧縮され
る。また、ＭＰＥＧ１規格の対象とする伝送速度が主と
して約１．５Mbpsに制限されていることからさらなる高
画質化の要求をみたすべく規格化されたＭＰＥＧ２は、
動画データをその伝送速度が２〜１５Mbps程度になるよ
う圧縮し、現行テレビ品質を実現しようとするものであ
る。さらに現状では、ＭＰＥＧ１，ＭＰＥＧ２と標準化
を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11)
によって、物体単位で画像情報の符号化及び操作を可能
とし、マルチメディア時代に必要な新しい機能を実現す
るＭＰＥＧ４が規格化されつつある。
ts Group) とは、動画像のデータ圧縮の国際規格であ
り、ＭＰＥＧ１では、動画データが１．５Mbpsまで、つ
まりテレビ信号の情報が約１００分の１にまで圧縮され
る。また、ＭＰＥＧ１規格の対象とする伝送速度が主と
して約１．５Mbpsに制限されていることからさらなる高
画質化の要求をみたすべく規格化されたＭＰＥＧ２は、
動画データをその伝送速度が２〜１５Mbps程度になるよ
う圧縮し、現行テレビ品質を実現しようとするものであ
る。さらに現状では、ＭＰＥＧ１，ＭＰＥＧ２と標準化
を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11)
によって、物体単位で画像情報の符号化及び操作を可能
とし、マルチメディア時代に必要な新しい機能を実現す
るＭＰＥＧ４が規格化されつつある。
【０００６】ＭＰＥＧ４の特徴の一つとして、複数の物
体（オブジェクト）、例えば、図２３に示す前景画像
（オブジェクト）１０２及び背景画像（オブジェクト）
１００を表示するための画像信号に対して、別々に符号
化処理を施す点があげられる。
体（オブジェクト）、例えば、図２３に示す前景画像
（オブジェクト）１０２及び背景画像（オブジェクト）
１００を表示するための画像信号に対して、別々に符号
化処理を施す点があげられる。
【０００７】上記各物体に対応する画像信号は、各物体
の形状（shape ）をあらわす形状信号と、各物体の絵柄
（texture ）を表すテクスチャー信号とから構成されて
おり、上記画像信号の符号化処理の際には、形状信号に
対する符号化処理とテクスチャー信号に対する符号化処
理とが別々の符号化方法により行われる。
の形状（shape ）をあらわす形状信号と、各物体の絵柄
（texture ）を表すテクスチャー信号とから構成されて
おり、上記画像信号の符号化処理の際には、形状信号に
対する符号化処理とテクスチャー信号に対する符号化処
理とが別々の符号化方法により行われる。
【０００８】ここで、上記テクスチャー信号は、物体の
画像の明るさを示す情報としての輝度信号と、物体の画
像の色を表す情報としての色差信号とから構成されてお
り、該色差信号はその解像度が輝度信号の解像度とは異
なったものとなっている。つまり、輝度信号から得られ
る画像空間を構成する個々の画素の大きさ（表示画面上
で占める１画素の面積）は、色差信号から得られる画像
空間における１画素の大きさの１／４となっている。そ
して、該輝度信号及び色差信号は、それぞれの画像空間
における各画素に対応する画素値から構成されている。
画像の明るさを示す情報としての輝度信号と、物体の画
像の色を表す情報としての色差信号とから構成されてお
り、該色差信号はその解像度が輝度信号の解像度とは異
なったものとなっている。つまり、輝度信号から得られ
る画像空間を構成する個々の画素の大きさ（表示画面上
で占める１画素の面積）は、色差信号から得られる画像
空間における１画素の大きさの１／４となっている。そ
して、該輝度信号及び色差信号は、それぞれの画像空間
における各画素に対応する画素値から構成されている。
【０００９】また、上記形状信号はその解像度が輝度信
号の解像度と同一のものとなっており、つまり、上記形
状信号から得られる画像空間を構成する１画素の大きさ
は、上記輝度画素から得られる画像空間を構成する１画
素の大きさと同一である。そしてこの形状信号は、その
画像空間における各画素に対応する画素値から構成され
ている。従って、画面上の１つの物体を囲む領域（以
下、オブジェクト領域という。）に対する輝度信号と形
状信号は、同数の画素値が存在することとなる。
号の解像度と同一のものとなっており、つまり、上記形
状信号から得られる画像空間を構成する１画素の大きさ
は、上記輝度画素から得られる画像空間を構成する１画
素の大きさと同一である。そしてこの形状信号は、その
画像空間における各画素に対応する画素値から構成され
ている。従って、画面上の１つの物体を囲む領域（以
下、オブジェクト領域という。）に対する輝度信号と形
状信号は、同数の画素値が存在することとなる。
【００１０】なお、以下の説明では必要に応じて、輝度
信号，色差信号，及び形状信号から得られる画像空間
を、それぞれ輝度空間，色空間，及び形状空間と言い、
輝度空間，色空間，及び形状空間を構成する画素を輝度
画素，色画素，及び形状画素と言い、さらに輝度画素，
色画素，及び形状画素の画素値を輝度データ，色差デー
タ，及び形状データと言う。また、１つのオブジェクト
に対応する画像信号、つまり形状信号，輝度信号，及び
色差信号により形成される形状空間，輝度空間，及び色
空間は、その基準位置及びそのサイズが一致したものと
なっていることは言うまでもない。
信号，色差信号，及び形状信号から得られる画像空間
を、それぞれ輝度空間，色空間，及び形状空間と言い、
輝度空間，色空間，及び形状空間を構成する画素を輝度
画素，色画素，及び形状画素と言い、さらに輝度画素，
色画素，及び形状画素の画素値を輝度データ，色差デー
タ，及び形状データと言う。また、１つのオブジェクト
に対応する画像信号、つまり形状信号，輝度信号，及び
色差信号により形成される形状空間，輝度空間，及び色
空間は、その基準位置及びそのサイズが一致したものと
なっていることは言うまでもない。
【００１１】そして、この形状信号の画素値が「０値」
と「非０値」の２値により表される場合、画素値として
「０値」を有する形状画素は、形状空間における物体の
画像外に位置し、画素値として「非０値」を有する形状
画素は、形状空間における物体の画像内に位置するもの
とする。
と「非０値」の２値により表される場合、画素値として
「０値」を有する形状画素は、形状空間における物体の
画像外に位置し、画素値として「非０値」を有する形状
画素は、形状空間における物体の画像内に位置するもの
とする。
【００１２】一方、復号化の際には、図２３に示すよう
に、各物体（前景画像及び背景画像）に対応する符号化
情報（符号化テクスチャー信号及び符号化形状信号）を
復号化し、復号化された形状信号を用いて前景画像１０
０と背景画像１０２との間でテクスチャー信号の合成処
理を行い、合成画像１０６を再生する。なお図２３中、
１０４は上記形状信号から得られる物体の形状である。
また、このテクスチャー信号の合成処理では、輝度信号
に対する合成処理と色差信号に対する合成処理が行われ
る。
に、各物体（前景画像及び背景画像）に対応する符号化
情報（符号化テクスチャー信号及び符号化形状信号）を
復号化し、復号化された形状信号を用いて前景画像１０
０と背景画像１０２との間でテクスチャー信号の合成処
理を行い、合成画像１０６を再生する。なお図２３中、
１０４は上記形状信号から得られる物体の形状である。
また、このテクスチャー信号の合成処理では、輝度信号
に対する合成処理と色差信号に対する合成処理が行われ
る。
【００１３】ところで、上述したように、色差信号の解
像度は、輝度信号や形状信号の解像度の１／４であるた
め、色差信号の合成処理では、復号化した形状信号（以
下、変換前形状信号ともいう。）をそのまま用いること
ができず、該形状信号の解像度を変換して、色差信号の
解像度に対応した形状信号（以下、変換後形状信号とも
いう。）を生成する必要がある。ＭＰＥＧ４では、この
形状信号の解像度変換方法として、MPEG-4 Video Verif
ication Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796,
pp17) に記載された方法を用いる。
像度は、輝度信号や形状信号の解像度の１／４であるた
め、色差信号の合成処理では、復号化した形状信号（以
下、変換前形状信号ともいう。）をそのまま用いること
ができず、該形状信号の解像度を変換して、色差信号の
解像度に対応した形状信号（以下、変換後形状信号とも
いう。）を生成する必要がある。ＭＰＥＧ４では、この
形状信号の解像度変換方法として、MPEG-4 Video Verif
ication Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796,
pp17) に記載された方法を用いる。
【００１４】以下詳述すると、上述したように色差信号
の解像度は形状信号の解像度の１／４であるため、色空
間における１画素は、変換前形状信号から得られる画像
空間における隣接する４画素に対応することとなる。ま
た、復号した形状信号の解像度が色差信号の解像度に対
応するよう変換されるため、上記色空間における１画素
は、変換後形状信号から得られる画像空間における１画
素に対応することとなる。
の解像度は形状信号の解像度の１／４であるため、色空
間における１画素は、変換前形状信号から得られる画像
空間における隣接する４画素に対応することとなる。ま
た、復号した形状信号の解像度が色差信号の解像度に対
応するよう変換されるため、上記色空間における１画素
は、変換後形状信号から得られる画像空間における１画
素に対応することとなる。
【００１５】そこで、上記解像度変換方法では、１つの
色画素に対応する４つの形状画素のうちの１つが「０
値」でない画素値を有するものであれば、言い換える
と、ある１つの色画素に対応する４つの形状画素の１つ
として、画素値が「非０値」である形状画素が存在すれ
ば、上記変換後形状信号から得られる画像空間上の、上
記ある１つの色画素に対応する１つの形状画素の画素値
が「非０値」となるようにしている。
色画素に対応する４つの形状画素のうちの１つが「０
値」でない画素値を有するものであれば、言い換える
と、ある１つの色画素に対応する４つの形状画素の１つ
として、画素値が「非０値」である形状画素が存在すれ
ば、上記変換後形状信号から得られる画像空間上の、上
記ある１つの色画素に対応する１つの形状画素の画素値
が「非０値」となるようにしている。
【００１６】次に、上記画像合成方法について図２３を
用いて具体的に説明する。まず、形状信号が、画素値と
して「０値」と「非０値」のいずれかの値をとる２値信
号である場合の合成処理について説明する。上記前景画
像１０２の輝度信号をその形状信号を参照して背景画像
１００の輝度信号と合成する場合、画素値が「非０値」
である形状画素（つまり形状空間１０４における黒塗り
表示部内に位置する画素）に対応する輝度画素について
は、前景画像の画素値を合成画素の画素値とする。ま
た、画素値として「０値」を有する形状画素（つまり形
状空間１０４における黒塗り表示部外側に位置する画
素）に対応する輝度画素については、背景画像の画素値
を合成画像の画素値としている。また、このような合成
処理は、色差信号についても上記変換後形状信号を用い
て同様に行われる。
用いて具体的に説明する。まず、形状信号が、画素値と
して「０値」と「非０値」のいずれかの値をとる２値信
号である場合の合成処理について説明する。上記前景画
像１０２の輝度信号をその形状信号を参照して背景画像
１００の輝度信号と合成する場合、画素値が「非０値」
である形状画素（つまり形状空間１０４における黒塗り
表示部内に位置する画素）に対応する輝度画素について
は、前景画像の画素値を合成画素の画素値とする。ま
た、画素値として「０値」を有する形状画素（つまり形
状空間１０４における黒塗り表示部外側に位置する画
素）に対応する輝度画素については、背景画像の画素値
を合成画像の画素値としている。また、このような合成
処理は、色差信号についても上記変換後形状信号を用い
て同様に行われる。
【００１７】次に、上記形状信号が、画素値として、
０，１，２，３，・・・，２５５のいずれかの値を有す
る多値信号である場合の合成処理について説明する。上
記前景画像１０２の輝度信号をその形状信号を参照して
背景画像１００の輝度信号と合成する場合、上記多値信
号の最小値を画素値として有する形状画素に対応する、
合成画像における輝度画素は、その画素値として背景画
像の画素値を有し、上記多値信号の最大値を画素値とし
て有する形状画素に対応する、合成画像における輝度画
素は、その画素値として前景画像の画素値を有すること
となる。
０，１，２，３，・・・，２５５のいずれかの値を有す
る多値信号である場合の合成処理について説明する。上
記前景画像１０２の輝度信号をその形状信号を参照して
背景画像１００の輝度信号と合成する場合、上記多値信
号の最小値を画素値として有する形状画素に対応する、
合成画像における輝度画素は、その画素値として背景画
像の画素値を有し、上記多値信号の最大値を画素値とし
て有する形状画素に対応する、合成画像における輝度画
素は、その画素値として前景画像の画素値を有すること
となる。
【００１８】また、形状信号が多値信号である場合の色
差信号の合成処理も上記輝度信号の合成処理と同様に行
われ、解像度変換を行った変換後形状信号の最大値ある
いは最小値を画素値として有する形状画素に対応する、
合成画像における色画素は、その画素値として前景画像
あるいは背景画像の画素値を有することとなる。なお、
この場合は、ある１つの色画素に対応する４つの形状画
素の画素値の平均値を、変換後の形状信号から得られる
画像空間上の、上記ある１つの色画素に対応する１つの
形状画素の画素値とする。
差信号の合成処理も上記輝度信号の合成処理と同様に行
われ、解像度変換を行った変換後形状信号の最大値ある
いは最小値を画素値として有する形状画素に対応する、
合成画像における色画素は、その画素値として前景画像
あるいは背景画像の画素値を有することとなる。なお、
この場合は、ある１つの色画素に対応する４つの形状画
素の画素値の平均値を、変換後の形状信号から得られる
画像空間上の、上記ある１つの色画素に対応する１つの
形状画素の画素値とする。
【００１９】また、形状信号が多値信号である場合は、
形状信号が２値信号である場合とは異なる解像度変換処
理が行われる。つまり、上記形状信号が画素値として上
記多値信号における、最大値と最小値の中間値を持つ場
合は、形状データ（形状信号の画素値）を重み係数とし
て、前景画像とこれに対応する背景画像との間で、テク
スチャー信号（輝度信号，色差信号）の画素値の重み付
け平均をとって合成画素の画素値を求める。これによっ
て、背景画像が前景画像に透過させて表示されることと
なる。以下に、上記重み付け平均を行うための演算式の
例を示す。
形状信号が２値信号である場合とは異なる解像度変換処
理が行われる。つまり、上記形状信号が画素値として上
記多値信号における、最大値と最小値の中間値を持つ場
合は、形状データ（形状信号の画素値）を重み係数とし
て、前景画像とこれに対応する背景画像との間で、テク
スチャー信号（輝度信号，色差信号）の画素値の重み付
け平均をとって合成画素の画素値を求める。これによっ
て、背景画像が前景画像に透過させて表示されることと
なる。以下に、上記重み付け平均を行うための演算式の
例を示す。
【００２０】 pel ＝（alpha × fgpel ＋（MAX −alpha ）×bgpel ）／MAX …（式１） ここで、式１の各要素は以下に示す通りである。 pel ：合成後の画素値 alpha ：前景画像の画素値に対する合成比率（形状デ
ータ） fgpel ：前景画像の画素値（輝度データあるいは色差
データ） bgpel ：背景画像の画素値（輝度データあるいは色差
データ） MAX ：形状信号の最大値 なお、alpha が０から２５５までの値を持つ場合にはMA
X は２５５となる。またここでは上記式１により重み付
け平均を求める演算は、演算結果をまるめる処理を含ん
でいるものとしているが、式１による演算は、演算結果
における小数点以下を切り捨てるものでもよい。
ータ） fgpel ：前景画像の画素値（輝度データあるいは色差
データ） bgpel ：背景画像の画素値（輝度データあるいは色差
データ） MAX ：形状信号の最大値 なお、alpha が０から２５５までの値を持つ場合にはMA
X は２５５となる。またここでは上記式１により重み付
け平均を求める演算は、演算結果をまるめる処理を含ん
でいるものとしているが、式１による演算は、演算結果
における小数点以下を切り捨てるものでもよい。
【００２１】また、上記重み付け平均を求める演算で
は、あらかじめ前景画像の画素値（輝度データあるいは
色差データ）に、これに対応する形状信号の画素値（形
状データ）を掛け合わせておき、式１における乗算を削
減する方法もある。その場合、式１は下記の式２のよう
にあらわされる。 pel ＝fgpel' ＋（1 −alpha'）×bgpel …（式２） alpha' ：前景画像の画素値に対する合成比率（形状デ
ータ） fgpel' ：alpha'を掛けた前景画像の画素値（輝度デー
タあるいは色差データ） なお、alpha'は０／２５５から２５５／２５５の値を取
るものとする。上記式２は、fgpel'＝fgpel ×alpha'と
すれば、上記式1 のMAX ＝1 の場合と同一の演算結果が
得られるものである。
は、あらかじめ前景画像の画素値（輝度データあるいは
色差データ）に、これに対応する形状信号の画素値（形
状データ）を掛け合わせておき、式１における乗算を削
減する方法もある。その場合、式１は下記の式２のよう
にあらわされる。 pel ＝fgpel' ＋（1 −alpha'）×bgpel …（式２） alpha' ：前景画像の画素値に対する合成比率（形状デ
ータ） fgpel' ：alpha'を掛けた前景画像の画素値（輝度デー
タあるいは色差データ） なお、alpha'は０／２５５から２５５／２５５の値を取
るものとする。上記式２は、fgpel'＝fgpel ×alpha'と
すれば、上記式1 のMAX ＝1 の場合と同一の演算結果が
得られるものである。
【００２２】
【発明が解決しようとする課題】ところが、２値の形状
信号を用いて前景画像と背景画像の合成処理を行う場
合、合成画像における前景画像と背景画像の境界部分に
て、画素の画素値（輝度データや色差データ）がかけ離
れた値をとると、境界が不自然に見えてしまうという問
題がある。
信号を用いて前景画像と背景画像の合成処理を行う場
合、合成画像における前景画像と背景画像の境界部分に
て、画素の画素値（輝度データや色差データ）がかけ離
れた値をとると、境界が不自然に見えてしまうという問
題がある。
【００２３】この問題について図２４に示す例を用いて
説明する。図２４(a) には、上記前景画像と背景画像と
を合成して得られる合成画像１０６が示されており、ま
た図２４(b) では、該合成画像における前景画像と背景
画像の境界を含む所定サイズ（８×８画素）の領域２０
０がズームアップして示され、特に、上記領域２００に
含まれる各画素が示されている。
説明する。図２４(a) には、上記前景画像と背景画像と
を合成して得られる合成画像１０６が示されており、ま
た図２４(b) では、該合成画像における前景画像と背景
画像の境界を含む所定サイズ（８×８画素）の領域２０
０がズームアップして示され、特に、上記領域２００に
含まれる各画素が示されている。
【００２４】図２４(b) に示すように、合成画像１０６
における前景画像と背景画像の境界部分、例えば、画素
２０４と画素２０６の間では、両画素の画素値がかけ離
れた値をとると、境界が不自然に見えてしまうことがあ
る。
における前景画像と背景画像の境界部分、例えば、画素
２０４と画素２０６の間では、両画素の画素値がかけ離
れた値をとると、境界が不自然に見えてしまうことがあ
る。
【００２５】図２５(a) には、前景画像の形状信号から
得られる画像の、上記合成画像１０６内の境界の一部分
２００に相当する部分３００が画素単位で示されてい
る。また、図２５(b) には、この部分３００中の１画素
ライン３０２に含まれる各画素の画素値（形状データ）
が、横軸を画素位置、縦軸を形状データの値とする座標
平面上に示されている。ここで各画素の形状データのと
り得る値は０から２５５の値となっている。
得られる画像の、上記合成画像１０６内の境界の一部分
２００に相当する部分３００が画素単位で示されてい
る。また、図２５(b) には、この部分３００中の１画素
ライン３０２に含まれる各画素の画素値（形状データ）
が、横軸を画素位置、縦軸を形状データの値とする座標
平面上に示されている。ここで各画素の形状データのと
り得る値は０から２５５の値となっている。
【００２６】このような形状信号に基づいて、該形状画
素に対応する前景及び背景画素の画素値を合成する処理
を行った場合、合成画像を構成する各画素（合成画素）
に対応する画素値（合成データ）が得られる。このと
き、画素値が０でない形状画素に対応する合成画素は、
その画素値として、対応する前景画素の画素値、あるい
は前景及び背景の画素値を上述した重みづけ平均した値
を有することとなる。一方、画素値が０である形状画素
に対応する合成画素は、その画素値として、対応する背
景画素の画素値を有することとなる。
素に対応する前景及び背景画素の画素値を合成する処理
を行った場合、合成画像を構成する各画素（合成画素）
に対応する画素値（合成データ）が得られる。このと
き、画素値が０でない形状画素に対応する合成画素は、
その画素値として、対応する前景画素の画素値、あるい
は前景及び背景の画素値を上述した重みづけ平均した値
を有することとなる。一方、画素値が０である形状画素
に対応する合成画素は、その画素値として、対応する背
景画素の画素値を有することとなる。
【００２７】このとき、境界部分３０６にて、前景画素
と背景画素が不連続な値を画素値として持つ場合、例え
ば、上記境界部分において、前景画素の画素値（輝度デ
ータや色差データ）と背景画素の画素値（輝度データや
色差データ）とが極端に異なる値となった場合、合成画
像の表示画面では、上記境界部分にて前景画像と背景画
像の表示が不自然なものに見えてしまう。
と背景画素が不連続な値を画素値として持つ場合、例え
ば、上記境界部分において、前景画素の画素値（輝度デ
ータや色差データ）と背景画素の画素値（輝度データや
色差データ）とが極端に異なる値となった場合、合成画
像の表示画面では、上記境界部分にて前景画像と背景画
像の表示が不自然なものに見えてしまう。
【００２８】従って、境界部分の画素の画素値もしくは
合成の際に用いる合成比率を、合成画像における境界部
分が不自然に見えることがないように処理する必要があ
る。また、形状信号とテクスチャー信号の解像度が異な
る場合に、形状信号を用いて前景画像と背景画像の間で
テクスチャー信号の合成を行ったり、あるいは上記テク
スチャー信号の合成により得られる合成画像を、必要な
画面サイズ（解像度）に変換したりすると、画質が劣化
するといったことが生ずる。
合成の際に用いる合成比率を、合成画像における境界部
分が不自然に見えることがないように処理する必要があ
る。また、形状信号とテクスチャー信号の解像度が異な
る場合に、形状信号を用いて前景画像と背景画像の間で
テクスチャー信号の合成を行ったり、あるいは上記テク
スチャー信号の合成により得られる合成画像を、必要な
画面サイズ（解像度）に変換したりすると、画質が劣化
するといったことが生ずる。
【００２９】以下、図２６，２７を用いてこのような画
像劣化が生じる場合について説明する。図２６は、４×
４画素の画素値から構成される形状信号を用いて、２×
２画素の画素値から構成される前景画像及び背景画像を
合成する処理を概念的に示す図であり、図２７は、上記
合成処理、及びこれによる合成画像のテクスチャー信号
に対する解像度変換処理を行う構成を示すブロック図で
ある。
像劣化が生じる場合について説明する。図２６は、４×
４画素の画素値から構成される形状信号を用いて、２×
２画素の画素値から構成される前景画像及び背景画像を
合成する処理を概念的に示す図であり、図２７は、上記
合成処理、及びこれによる合成画像のテクスチャー信号
に対する解像度変換処理を行う構成を示すブロック図で
ある。
【００３０】従来の処理では、第１の入力端子２６００
に前景画像の形状信号２５００が入力され、第２，第３
の入力端子２６０２，２６０４に、前景画像の色差信号
２５０４、背景画像の色差信号２５０６が入力される。
ＭＰＥＧ４で使用されている画像フォーマットでは、色
差信号の解像度が、輝度信号または形状信号の解像度の
１／４であるため、形状信号２５００は、解像度が色差
信号に対応したものとなるよう解像度変換手段２６０６
により解像度変換される。
に前景画像の形状信号２５００が入力され、第２，第３
の入力端子２６０２，２６０４に、前景画像の色差信号
２５０４、背景画像の色差信号２５０６が入力される。
ＭＰＥＧ４で使用されている画像フォーマットでは、色
差信号の解像度が、輝度信号または形状信号の解像度の
１／４であるため、形状信号２５００は、解像度が色差
信号に対応したものとなるよう解像度変換手段２６０６
により解像度変換される。
【００３１】次に、解像度変換した形状信号２５０２を
用いて、入力された前景画像の色差信号２５０４と背景
画像の色差信号２５０６の合成処理が画素合成手段２６
０８にて行われる。そして合成された色差信号２５０８
は、上記のように輝度信号とは解像度が異なるので、表
示の際には、合成された色差信号２５０８は解像度変換
手段２６１０により、その解像度が対応する輝度信号と
同じ解像度となるよう変換され、解像度変換後の合成色
差信号２５１０が出力端子２６２０から出力される。
用いて、入力された前景画像の色差信号２５０４と背景
画像の色差信号２５０６の合成処理が画素合成手段２６
０８にて行われる。そして合成された色差信号２５０８
は、上記のように輝度信号とは解像度が異なるので、表
示の際には、合成された色差信号２５０８は解像度変換
手段２６１０により、その解像度が対応する輝度信号と
同じ解像度となるよう変換され、解像度変換後の合成色
差信号２５１０が出力端子２６２０から出力される。
【００３２】通常、解像度変換により追加された画素値
は、この追加画素値を有する画素に隣接する画素の画素
値に基づいて算出されたものであるが、解像度変換され
た合成色差信号２５１０における個々の画素値と、解像
度変換前の形状信号２５００における、物体内の部分
（黒色）以外の画素の画素値とを比較して見ると、上記
合成色差信号２５１０では、物体外の画素も、物体内の
画素の画素値を有していることがわかる。この結果、上
記色差信号に基づいて表示された画像は画質のぼけたも
のとなってしまう。
は、この追加画素値を有する画素に隣接する画素の画素
値に基づいて算出されたものであるが、解像度変換され
た合成色差信号２５１０における個々の画素値と、解像
度変換前の形状信号２５００における、物体内の部分
（黒色）以外の画素の画素値とを比較して見ると、上記
合成色差信号２５１０では、物体外の画素も、物体内の
画素の画素値を有していることがわかる。この結果、上
記色差信号に基づいて表示された画像は画質のぼけたも
のとなってしまう。
【００３３】なお上記のようなテクスチャー信号の合成
による画質の劣化は、色差信号だけでなく、輝度信号の
合成処理を行って解像度変換する際には、同様の理由
で、再生画像は境界部分で画質が劣化したものとなって
しまうという問題がある。
による画質の劣化は、色差信号だけでなく、輝度信号の
合成処理を行って解像度変換する際には、同様の理由
で、再生画像は境界部分で画質が劣化したものとなって
しまうという問題がある。
【００３４】本発明は、上記のような問題点を解決する
ためになされたもので、合成画像における境界部分での
画質を向上することができる画像合成装置及び画像合成
方法、並びに合成方法による画像合成処理をソフトウエ
アにより実現するためのプログラムを格納したデータ記
録媒体を提供することを目的とする。
ためになされたもので、合成画像における境界部分での
画質を向上することができる画像合成装置及び画像合成
方法、並びに合成方法による画像合成処理をソフトウエ
アにより実現するためのプログラムを格納したデータ記
録媒体を提供することを目的とする。
【００３５】
【課題を解決するための手段】この発明（請求項１）に
係る画像合成方法は、任意形状の物体を含む第１の画像
空間を形成する、上記物体の形状を示す形状信号及び物
体の絵柄を示すテクスチャー信号を含む第１の画像信号
と、第２の画像空間を形成する、画像の絵柄を示すテク
スチャー信号を含む第２の画像信号とを合成して、第３
の画像空間を形成する合成画像信号を生成する方法であ
って、上記第１の画像空間における、被処理画素を含む
対象領域内に位置する画素の形状信号に対する演算処理
により、上記被処理画素のテクスチャー信号に対する合
成比率を算出する合成比率算出ステップと、該算出され
た合成比率に基づいて、上記被処理画素と、これに対応
する第２の画像空間における対応画素との間でこれらの
画素のテクスチャー信号の合成処理を行う画素合成ステ
ップとを含み、該合成されたテクスチャー信号を、上記
第３の画像空間における、上記被処理画素に対応する画
素のテクスチャー信号として用いるものである。
係る画像合成方法は、任意形状の物体を含む第１の画像
空間を形成する、上記物体の形状を示す形状信号及び物
体の絵柄を示すテクスチャー信号を含む第１の画像信号
と、第２の画像空間を形成する、画像の絵柄を示すテク
スチャー信号を含む第２の画像信号とを合成して、第３
の画像空間を形成する合成画像信号を生成する方法であ
って、上記第１の画像空間における、被処理画素を含む
対象領域内に位置する画素の形状信号に対する演算処理
により、上記被処理画素のテクスチャー信号に対する合
成比率を算出する合成比率算出ステップと、該算出され
た合成比率に基づいて、上記被処理画素と、これに対応
する第２の画像空間における対応画素との間でこれらの
画素のテクスチャー信号の合成処理を行う画素合成ステ
ップとを含み、該合成されたテクスチャー信号を、上記
第３の画像空間における、上記被処理画素に対応する画
素のテクスチャー信号として用いるものである。
【００３６】この発明（請求項２）は、請求項１記載の
画像合成方法において、上記第１の画像空間における各
画素の形状信号に基づいて、該各画素が上記物体内に位
置するか否かを判定する形状判定ステップを含み、上記
合成比率算出ステップでは、上記判定の結果、上記被処
理画素が物体内に位置するとき、上記対象領域における
画素の形状信号を用いて上記合成比率を算出するもので
ある。
画像合成方法において、上記第１の画像空間における各
画素の形状信号に基づいて、該各画素が上記物体内に位
置するか否かを判定する形状判定ステップを含み、上記
合成比率算出ステップでは、上記判定の結果、上記被処
理画素が物体内に位置するとき、上記対象領域における
画素の形状信号を用いて上記合成比率を算出するもので
ある。
【００３７】この発明（請求項３）は、請求項１記載の
画像合成方法において、上記第１の画像空間における各
画素の形状信号に基づいて、該各画素が上記物体内部に
位置するか否かを判定する形状判定ステップを含み、上
記合成比率算出ステップでは、上記判定の結果、上記被
処理画素が物体内に位置するとき、上記対象領域におけ
る画素の形状信号の加算平均により上記合成比率を算出
するものである。
画像合成方法において、上記第１の画像空間における各
画素の形状信号に基づいて、該各画素が上記物体内部に
位置するか否かを判定する形状判定ステップを含み、上
記合成比率算出ステップでは、上記判定の結果、上記被
処理画素が物体内に位置するとき、上記対象領域におけ
る画素の形状信号の加算平均により上記合成比率を算出
するものである。
【００３８】この発明（請求項４）は、請求項１記載の
画像合成方法において、上記合成比率算出ステップで
は、上記形状信号に対する演算処理を、該演算処理にお
ける乗数あるいは除数が２の累乗の数となるよう変形し
た演算式に基づいて行うものである。
画像合成方法において、上記合成比率算出ステップで
は、上記形状信号に対する演算処理を、該演算処理にお
ける乗数あるいは除数が２の累乗の数となるよう変形し
た演算式に基づいて行うものである。
【００３９】この発明（請求項５）に係る画像合成方法
は、任意形状の物体を含む第１の画像空間を形成する、
上記物体の形状を示す形状信号及び物体の絵柄を示すテ
クスチャー信号を含む第１の画像信号と、第２の画像空
間を形成する、画像の絵柄を示すテクスチャー信号を含
む第２の画像信号とを合成して、第３の画像空間を形成
する合成画像信号を生成する方法であって、上記第１の
画像空間における各画素の形状信号に基づいて、該各画
素が上記物体内部に位置するか否かを判定する形状判定
ステップと、上記判定の結果、上記対象画素が物体内に
位置するとき、上記対象領域における画素のうちの物体
内に位置するものの個数に基づいて、上記被処理画素の
テクスチャー信号に対する合成比率を算出する合成比率
算出ステップと、該算出された合成比率に基づいて、上
記被処理画素と、これに対応する第２の画像空間におけ
る対応画素との間でこれらの画素のテクスチャー信号の
合成処理を行う画素合成ステップとを含み、該合成され
たテクスチャー信号を、上記第３の画像空間における、
上記被処理画素に対応する画素のテクスチャー信号とし
て用いるものである。
は、任意形状の物体を含む第１の画像空間を形成する、
上記物体の形状を示す形状信号及び物体の絵柄を示すテ
クスチャー信号を含む第１の画像信号と、第２の画像空
間を形成する、画像の絵柄を示すテクスチャー信号を含
む第２の画像信号とを合成して、第３の画像空間を形成
する合成画像信号を生成する方法であって、上記第１の
画像空間における各画素の形状信号に基づいて、該各画
素が上記物体内部に位置するか否かを判定する形状判定
ステップと、上記判定の結果、上記対象画素が物体内に
位置するとき、上記対象領域における画素のうちの物体
内に位置するものの個数に基づいて、上記被処理画素の
テクスチャー信号に対する合成比率を算出する合成比率
算出ステップと、該算出された合成比率に基づいて、上
記被処理画素と、これに対応する第２の画像空間におけ
る対応画素との間でこれらの画素のテクスチャー信号の
合成処理を行う画素合成ステップとを含み、該合成され
たテクスチャー信号を、上記第３の画像空間における、
上記被処理画素に対応する画素のテクスチャー信号とし
て用いるものである。
【００４０】この発明（請求項６）に係る画像合成方法
は、任意形状の物体を含む第１の画像空間を形成する、
上記物体の形状を示す形状信号及び物体の絵柄を示すテ
クスチャー信号を含む第１の画像信号と、第２の画像空
間を形成する、画像の絵柄を示すテクスチャー信号を含
む第２の画像信号とを合成して、第３の画像空間を形成
する合成画像信号を生成する方法であって、上記第１の
画像空間における各画素の形状信号に基づいて、該各画
素が上記物体内部に位置するか否かを判定する形状判定
ステップと、上記第１の画像空間における、被処理画素
を含む対象領域内に位置する画素の形状信号に基づい
て、上記被処理画素のテキスチャー信号に対する合成比
率を算出する合成比率算出ステップと、上記形状判定の
結果、上記被処理画素が物体外に位置するとき、上記被
処理画素のテクスチャー信号を、上記対象領域内の画素
のテクスチャー信号の加算平均により得られたテクスチ
ャー信号と置き替える画素情報生成ステップと、該算出
された合成比率に基づいて、上記被処理画素と、これに
対応する第２の画像空間における対応画素との間でこれ
らの画素のテキスチャー信号の合成処理を行う画素合成
ステップとを含み、該合成されたテクスチャー信号を、
上記第３の画像空間における、上記被処理画素に対応す
る画素のテクスチャー信号として用いるものである。
は、任意形状の物体を含む第１の画像空間を形成する、
上記物体の形状を示す形状信号及び物体の絵柄を示すテ
クスチャー信号を含む第１の画像信号と、第２の画像空
間を形成する、画像の絵柄を示すテクスチャー信号を含
む第２の画像信号とを合成して、第３の画像空間を形成
する合成画像信号を生成する方法であって、上記第１の
画像空間における各画素の形状信号に基づいて、該各画
素が上記物体内部に位置するか否かを判定する形状判定
ステップと、上記第１の画像空間における、被処理画素
を含む対象領域内に位置する画素の形状信号に基づい
て、上記被処理画素のテキスチャー信号に対する合成比
率を算出する合成比率算出ステップと、上記形状判定の
結果、上記被処理画素が物体外に位置するとき、上記被
処理画素のテクスチャー信号を、上記対象領域内の画素
のテクスチャー信号の加算平均により得られたテクスチ
ャー信号と置き替える画素情報生成ステップと、該算出
された合成比率に基づいて、上記被処理画素と、これに
対応する第２の画像空間における対応画素との間でこれ
らの画素のテキスチャー信号の合成処理を行う画素合成
ステップとを含み、該合成されたテクスチャー信号を、
上記第３の画像空間における、上記被処理画素に対応す
る画素のテクスチャー信号として用いるものである。
【００４１】この発明（請求項７）は、請求項６記載の
画像合成方法において、上記合成比率生成ステップで
は、上記対象領域に含まれる画素の形状信号の平均値を
上記合成比率として算出するものである。
画像合成方法において、上記合成比率生成ステップで
は、上記対象領域に含まれる画素の形状信号の平均値を
上記合成比率として算出するものである。
【００４２】この発明（請求項８）は、請求項６記載の
画像合成方法において、上記画素情報生成ステップで
は、上記被処理画素のテキスチャー信号を、上記対象領
域に含まれる画素のうち物体内に位置する画素のテキス
チャー信号の平均値と置き換えるものである。
画像合成方法において、上記画素情報生成ステップで
は、上記被処理画素のテキスチャー信号を、上記対象領
域に含まれる画素のうち物体内に位置する画素のテキス
チャー信号の平均値と置き換えるものである。
【００４３】この発明（請求項９）は、請求項５または
請求項６記載の画像合成方法において、上記合成比率算
出ステップでは、上記対象領域内の画素のうち物体内に
位置する画素の個数に応じて予め計算してテーブルに格
納した合成比率を、該対象領域内に位置する画素の形状
信号から得られる物体内の画素の個数に応じて上記テー
ブルから求めるものである。
請求項６記載の画像合成方法において、上記合成比率算
出ステップでは、上記対象領域内の画素のうち物体内に
位置する画素の個数に応じて予め計算してテーブルに格
納した合成比率を、該対象領域内に位置する画素の形状
信号から得られる物体内の画素の個数に応じて上記テー
ブルから求めるものである。
【００４４】この発明（請求項１０）は、請求項１また
は請求項６記載の画像合成方法において、上記画素合成
ステップでは、上記合成比率の値とテキスチャー信号の
値の組み合わせのすべてに対する該両者の乗算結果を格
納したテーブルを参照して、上記第３の画像空間におけ
る、上記被処理画素に対応する画素のテキスチャー信号
を求めるものである。
は請求項６記載の画像合成方法において、上記画素合成
ステップでは、上記合成比率の値とテキスチャー信号の
値の組み合わせのすべてに対する該両者の乗算結果を格
納したテーブルを参照して、上記第３の画像空間におけ
る、上記被処理画素に対応する画素のテキスチャー信号
を求めるものである。
【００４５】この発明（請求項１１）は、請求項５また
は請求項６記載の画像合成方法において、上記画素合成
ステップでは、上記対象領域における物体内に位置する
画素の数とテキスチャー信号の値の組み合わせのすべて
に対する該両者の乗算結果を格納したテーブルを参照し
て、上記第３の画像空間における、上記被処理画素に対
応する画素のテキスチャー信号を求めるものである。
は請求項６記載の画像合成方法において、上記画素合成
ステップでは、上記対象領域における物体内に位置する
画素の数とテキスチャー信号の値の組み合わせのすべて
に対する該両者の乗算結果を格納したテーブルを参照し
て、上記第３の画像空間における、上記被処理画素に対
応する画素のテキスチャー信号を求めるものである。
【００４６】この発明（請求項１２）に係る画像合成方
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の復号画像信号と、第２
の画像空間を形成する、画像の絵柄を示すテクスチャー
信号を含む第２の復号画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、上記第１の画像空間における、被処理画素を含む対
象領域内に位置する画素の形状信号に対する演算処理に
より、上記被処理画素のテキスチャー信号に対する合成
比率を算出する合成比率算出ステップと、該算出された
合成比率に基づいて、上記被処理画素と、これに対応す
る第２の画像空間における対応画素との間でこれらの画
素のテキスチャー信号の合成処理を行う画素合成ステッ
プとを含み、該画素合成ステップでは、上記第１の復号
画像信号に対応する符号化画像信号の生成の際に、この
符号化画像信号に付加された付加情報を参照して、上記
合成処理におけるテキスチャー信号の合成方法を切り換
えるものである。
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の復号画像信号と、第２
の画像空間を形成する、画像の絵柄を示すテクスチャー
信号を含む第２の復号画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、上記第１の画像空間における、被処理画素を含む対
象領域内に位置する画素の形状信号に対する演算処理に
より、上記被処理画素のテキスチャー信号に対する合成
比率を算出する合成比率算出ステップと、該算出された
合成比率に基づいて、上記被処理画素と、これに対応す
る第２の画像空間における対応画素との間でこれらの画
素のテキスチャー信号の合成処理を行う画素合成ステッ
プとを含み、該画素合成ステップでは、上記第１の復号
画像信号に対応する符号化画像信号の生成の際に、この
符号化画像信号に付加された付加情報を参照して、上記
合成処理におけるテキスチャー信号の合成方法を切り換
えるものである。
【００４７】この発明（請求項１３）は、請求項１２記
載の画像合成方法において、上記付加情報を、上記対象
領域のサイズを示す情報としたものである。
載の画像合成方法において、上記付加情報を、上記対象
領域のサイズを示す情報としたものである。
【００４８】この発明（請求項１４）に係る画像合成方
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像空間における各画素の形状信号に基づいて、上
記物体の境界位置を検出する境界検出ステップと、上記
第１の画像空間における、被処理画素を含む対象領域内
に位置する画素の形状信号に基づいて、上記被処理画素
のテクスチャー信号に対する合成比率を算出する処理
を、上記物体の境界付近の、該物体内及び物体外に位置
する画素に対してのみ行う合成比率算出ステップと、上
記境界付近の画素に対しては、該算出された合成比率に
基づいて、上記被処理画素と、これに対応する第２の画
像空間における対応画素との間でこれらの画素のテクス
チャー信号の合成処理を行う処理を行い、上記境界付近
以外の画素に対しては、これらの画素の形状データに基
づいて、上記被処理画素と、これに対応する第２の画像
空間における対応画素との間でこれらの画素のテクスチ
ャー信号の合成処理を行う処理を行う画素合成ステップ
とを含み、該合成されたテクスチャー信号を、上記第３
の画像空間における、上記被処理画素に対応する画素の
テクスチャー信号として用いるものである。
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像空間における各画素の形状信号に基づいて、上
記物体の境界位置を検出する境界検出ステップと、上記
第１の画像空間における、被処理画素を含む対象領域内
に位置する画素の形状信号に基づいて、上記被処理画素
のテクスチャー信号に対する合成比率を算出する処理
を、上記物体の境界付近の、該物体内及び物体外に位置
する画素に対してのみ行う合成比率算出ステップと、上
記境界付近の画素に対しては、該算出された合成比率に
基づいて、上記被処理画素と、これに対応する第２の画
像空間における対応画素との間でこれらの画素のテクス
チャー信号の合成処理を行う処理を行い、上記境界付近
以外の画素に対しては、これらの画素の形状データに基
づいて、上記被処理画素と、これに対応する第２の画像
空間における対応画素との間でこれらの画素のテクスチ
ャー信号の合成処理を行う処理を行う画素合成ステップ
とを含み、該合成されたテクスチャー信号を、上記第３
の画像空間における、上記被処理画素に対応する画素の
テクスチャー信号として用いるものである。
【００４９】この発明（請求項１５）に係る画像合成方
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記物
体のサイズ及び第１の画像空間における該物体の位置を
示す付加情報に基づいて、物体内または物体外であって
物体の境界付近に位置する特定画素に対しては、上記第
１の画像空間における被処理画素と、これに対応する第
２の画像空間における対応画素との間でこれらの画素の
テクスチャー信号の合成処理を行う処理を行い、上記第
１の画像空間における特定画素以外の周辺画素に対して
は、これらの周辺画素に対応する第２の画像空間におけ
る画素のテクスチャー信号を、上記第３の画像空間にお
ける、上記周辺画素に対応する画素のテキスチャー信号
とする画素合成ステップを含み、上記第３の画像空間に
おける、上記特定画素に対応する画素のテキスチャー信
号としては、上記画素合成ステップの合成処理により得
られたテクスチャー信号を用いるものである。
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記物
体のサイズ及び第１の画像空間における該物体の位置を
示す付加情報に基づいて、物体内または物体外であって
物体の境界付近に位置する特定画素に対しては、上記第
１の画像空間における被処理画素と、これに対応する第
２の画像空間における対応画素との間でこれらの画素の
テクスチャー信号の合成処理を行う処理を行い、上記第
１の画像空間における特定画素以外の周辺画素に対して
は、これらの周辺画素に対応する第２の画像空間におけ
る画素のテクスチャー信号を、上記第３の画像空間にお
ける、上記周辺画素に対応する画素のテキスチャー信号
とする画素合成ステップを含み、上記第３の画像空間に
おける、上記特定画素に対応する画素のテキスチャー信
号としては、上記画素合成ステップの合成処理により得
られたテクスチャー信号を用いるものである。
【００５０】この発明（請求項１６）に係る画像合成方
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像信号を構成するテキスチャー信号と形状信号の
解像度が等しくないとき、該テキスチャー信号に対し
て、その解像度が該形状情報の解像度と等しくなるよう
解像度変換処理を施す解像度変換ステップと、上記解像
度変換処理を施したテキスチャー信号と上記形状信号を
用いて、上記第１の画像信号と第２の画像信号との合成
処理を行う画像合成ステップとを含むものである。
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像信号を構成するテキスチャー信号と形状信号の
解像度が等しくないとき、該テキスチャー信号に対し
て、その解像度が該形状情報の解像度と等しくなるよう
解像度変換処理を施す解像度変換ステップと、上記解像
度変換処理を施したテキスチャー信号と上記形状信号を
用いて、上記第１の画像信号と第２の画像信号との合成
処理を行う画像合成ステップとを含むものである。
【００５１】この発明（請求項１７）に係る画像合成方
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像信号を構成するテキスチャー信号の解像度，第
２の画像信号を構成するテキスチャー信号の解像度，合
成画像信号を構成するテキスチャー信号を画像表示する
際の表示解像度が異なるとき、上記第１，第２の画像信
号のテキスチャー信号に対して、その解像度が上記表示
解像度と等しくなるよう解像度変換処理を施す解像度変
化ステップと、上記解像度変換処理を施した上記第１，
第２の画像信号のテキスチャー信号を用いて上記第１の
画像信号と第２の画像信号の合成処理を行う画像合成ス
テップとを含むものである。
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像信号を構成するテキスチャー信号の解像度，第
２の画像信号を構成するテキスチャー信号の解像度，合
成画像信号を構成するテキスチャー信号を画像表示する
際の表示解像度が異なるとき、上記第１，第２の画像信
号のテキスチャー信号に対して、その解像度が上記表示
解像度と等しくなるよう解像度変換処理を施す解像度変
化ステップと、上記解像度変換処理を施した上記第１，
第２の画像信号のテキスチャー信号を用いて上記第１の
画像信号と第２の画像信号の合成処理を行う画像合成ス
テップとを含むものである。
【００５２】この発明（請求項１８）に係る画像合成方
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像空間における、被処理画素を含む対象領域内に
位置する画素の形状信号に基づいて、上記被処理画素の
テクスチャー信号に対する合成比率を算出する合成比率
算出ステップと、該算出された合成比率に基づいて、上
記被処理画素と、これに対応する第２の画像空間におけ
る対応画素との間でこれらの画素のテクスチャー信号の
合成処理を行う画素合成ステップとを含み、該合成され
たテクスチャー信号を、上記第３の画像空間における、
上記被処理画素に対応する画素のテクスチャー信号とし
て用いる第１の画像合成処理と、上記第１の画像空間に
おける被処理画素と、これに対応する第２の画像空間に
おける対応画素との間でこれらの画素のテクスチャー信
号の合成処理を、上記第１の画像合成処理における合成
比率とは異なる比率でもって行う画素合成ステップを含
み、該合成されたテクスチャー信号を、上記第３の画像
空間における、上記被処理画素に対応する画素のテクス
チャー信号として用いる第２の画像合成処理とを含み、
上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記第１及
び第２の画像合成処理を切り換えるものである。
法は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する方法であって、上記第
１の画像空間における、被処理画素を含む対象領域内に
位置する画素の形状信号に基づいて、上記被処理画素の
テクスチャー信号に対する合成比率を算出する合成比率
算出ステップと、該算出された合成比率に基づいて、上
記被処理画素と、これに対応する第２の画像空間におけ
る対応画素との間でこれらの画素のテクスチャー信号の
合成処理を行う画素合成ステップとを含み、該合成され
たテクスチャー信号を、上記第３の画像空間における、
上記被処理画素に対応する画素のテクスチャー信号とし
て用いる第１の画像合成処理と、上記第１の画像空間に
おける被処理画素と、これに対応する第２の画像空間に
おける対応画素との間でこれらの画素のテクスチャー信
号の合成処理を、上記第１の画像合成処理における合成
比率とは異なる比率でもって行う画素合成ステップを含
み、該合成されたテクスチャー信号を、上記第３の画像
空間における、上記被処理画素に対応する画素のテクス
チャー信号として用いる第２の画像合成処理とを含み、
上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記第１及
び第２の画像合成処理を切り換えるものである。
【００５３】この発明（請求項１９）は、請求項１８記
載の画像合成方法において、上記第２の画像合成処理
を、上記画素合成ステップでは、上記第１の画像空間に
おける物体内の被処理画素のテクスチャー信号を、上記
第３の画像空間における、上記被処理画素に対応する画
素のテクスチャー信号として用い、上記第１の画像空間
における物体外の被処理画素に対応する、第２の画像空
間における対応画素のテクスチャー信号を、上記第３の
画像空間における、上記被処理画素に対応する画素のテ
クスチャー信号として用いる処理としたものである。
載の画像合成方法において、上記第２の画像合成処理
を、上記画素合成ステップでは、上記第１の画像空間に
おける物体内の被処理画素のテクスチャー信号を、上記
第３の画像空間における、上記被処理画素に対応する画
素のテクスチャー信号として用い、上記第１の画像空間
における物体外の被処理画素に対応する、第２の画像空
間における対応画素のテクスチャー信号を、上記第３の
画像空間における、上記被処理画素に対応する画素のテ
クスチャー信号として用いる処理としたものである。
【００５４】この発明（請求項２０）に係る画像合成装
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の復号画像信号と、第２
の画像空間を形成する、画像の絵柄を示すテクスチャー
信号を含む第２の復号画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、上記第１の画像空間における、被処理画素を含む対
象領域内に位置する画素の形状信号に対する演算処理に
より、上記被処理画素のテキスチャー信号に対する合成
比率を算出する合成比率算出手段と、該算出された合成
比率に基づいて、上記被処理画素と、これに対応する第
２の画像空間における対応画素との間でこれらの画素の
テキスチャー信号の合成処理を行う画素合成手段とを備
え、該画素合成手段を、上記第１の復号画像信号に対応
する符号化画像信号の生成の際に、この符号化画像信号
に付加された付加情報を参照して、上記合成処理におけ
るテキスチャー信号の合成方法を切り換えるよう構成し
たものである。
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の復号画像信号と、第２
の画像空間を形成する、画像の絵柄を示すテクスチャー
信号を含む第２の復号画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、上記第１の画像空間における、被処理画素を含む対
象領域内に位置する画素の形状信号に対する演算処理に
より、上記被処理画素のテキスチャー信号に対する合成
比率を算出する合成比率算出手段と、該算出された合成
比率に基づいて、上記被処理画素と、これに対応する第
２の画像空間における対応画素との間でこれらの画素の
テキスチャー信号の合成処理を行う画素合成手段とを備
え、該画素合成手段を、上記第１の復号画像信号に対応
する符号化画像信号の生成の際に、この符号化画像信号
に付加された付加情報を参照して、上記合成処理におけ
るテキスチャー信号の合成方法を切り換えるよう構成し
たものである。
【００５５】この発明（請求項２１）に係る画像合成装
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像空間における各画素の形状信号に基づいて、上
記物体の境界位置を検出する境界検出手段と、上記第１
の画像空間における、被処理画素を含む対象領域内に位
置する画素の形状信号に基づいて、上記被処理画素のテ
クスチャー信号に対する合成比率を算出する処理を、上
記物体の境界付近の、該物体内及び物体該に位置する画
素に対してのみ行う合成比率算出手段と、上記境界付近
の画素に対しては、該算出された合成比率に基づいて、
上記被処理画素と、これに対応する第２の画像空間にお
ける対応画素との間でこれらの画素のテクスチャー信号
の合成処理を行う処理を行い、上記境界付近以外の画素
に対しては、これらの画素の形状データに基づいて、上
記被処理画素と、これに対応する第２の画像空間におけ
る対応画素との間でこれらの画素のテクスチャー信号の
合成処理を行う処理を行う画素合成手段とを備え、該合
成されたテクスチャー信号を、上記第３の画像空間にお
ける、上記被処理画素に対応する画素のテクスチャー信
号として用いるものである。
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像空間における各画素の形状信号に基づいて、上
記物体の境界位置を検出する境界検出手段と、上記第１
の画像空間における、被処理画素を含む対象領域内に位
置する画素の形状信号に基づいて、上記被処理画素のテ
クスチャー信号に対する合成比率を算出する処理を、上
記物体の境界付近の、該物体内及び物体該に位置する画
素に対してのみ行う合成比率算出手段と、上記境界付近
の画素に対しては、該算出された合成比率に基づいて、
上記被処理画素と、これに対応する第２の画像空間にお
ける対応画素との間でこれらの画素のテクスチャー信号
の合成処理を行う処理を行い、上記境界付近以外の画素
に対しては、これらの画素の形状データに基づいて、上
記被処理画素と、これに対応する第２の画像空間におけ
る対応画素との間でこれらの画素のテクスチャー信号の
合成処理を行う処理を行う画素合成手段とを備え、該合
成されたテクスチャー信号を、上記第３の画像空間にお
ける、上記被処理画素に対応する画素のテクスチャー信
号として用いるものである。
【００５６】この発明（請求項２２）に係る画像合成装
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記物
体のサイズ及び第１の画像空間における該物体の位置を
示す付加情報に基づいて、物体内または物体外であって
物体の境界付近に位置する特定画素に対しては、上記第
１の画像空間における被処理画素と、これに対応する第
２の画像空間における対応画素との間でこれらの画素の
テクスチャー信号の合成処理を行う処理を行い、上記第
１の画像空間における特定画素以外の周辺画素に対して
は、これらの周辺画素に対応する第２の画像空間におけ
る画素のテクスチャー信号を、上記第３の画像空間にお
ける、上記周辺画素に対応する画素のテキスチャー信号
とする画素合成手段を備え、上記第３の画像空間におけ
る、上記特定画素に対応する画素のテキスチャー信号と
しては、上記画素合成ステップの合成処理により得られ
たテクスチャー信号を用いるものである。
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記物
体のサイズ及び第１の画像空間における該物体の位置を
示す付加情報に基づいて、物体内または物体外であって
物体の境界付近に位置する特定画素に対しては、上記第
１の画像空間における被処理画素と、これに対応する第
２の画像空間における対応画素との間でこれらの画素の
テクスチャー信号の合成処理を行う処理を行い、上記第
１の画像空間における特定画素以外の周辺画素に対して
は、これらの周辺画素に対応する第２の画像空間におけ
る画素のテクスチャー信号を、上記第３の画像空間にお
ける、上記周辺画素に対応する画素のテキスチャー信号
とする画素合成手段を備え、上記第３の画像空間におけ
る、上記特定画素に対応する画素のテキスチャー信号と
しては、上記画素合成ステップの合成処理により得られ
たテクスチャー信号を用いるものである。
【００５７】この発明（請求項２３）に係る画像合成装
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像信号を構成するテキスチャー信号と形状信号の
解像度が等しくないとき、該テキスチャー信号に対し
て、その解像度が該形状情報の解像度と等しくなるよう
解像度変換処理を施す解像度変換手段と、上記解像度変
換処理を施したテキスチャー信号と上記形状信号を用い
て、上記第１の画像信号と第２の画像信号との合成処理
を行う画像合成手段とを備えたものである。
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像信号を構成するテキスチャー信号と形状信号の
解像度が等しくないとき、該テキスチャー信号に対し
て、その解像度が該形状情報の解像度と等しくなるよう
解像度変換処理を施す解像度変換手段と、上記解像度変
換処理を施したテキスチャー信号と上記形状信号を用い
て、上記第１の画像信号と第２の画像信号との合成処理
を行う画像合成手段とを備えたものである。
【００５８】この発明（請求項２４）に係る画像合成装
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像信号を構成するテキスチャー信号の解像度，第
２の画像信号を構成するテキスチャー信号の解像度，合
成画像信号を構成するテキスチャー信号を画像表示する
際の表示解像度が異なるとき、上記第１，第２の画像信
号のテキスチャー信号に対して、その解像度が上記表示
解像度と等しくなるよう解像度変換処理を施す解像度変
化手段と、上記解像度変換処理を施した上記第１，第２
の画像信号のテキスチャー信号を用いて上記第１の画像
信号と第２の画像信号の合成処理を行う画像合成手段と
を備えたものである。
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像信号を構成するテキスチャー信号の解像度，第
２の画像信号を構成するテキスチャー信号の解像度，合
成画像信号を構成するテキスチャー信号を画像表示する
際の表示解像度が異なるとき、上記第１，第２の画像信
号のテキスチャー信号に対して、その解像度が上記表示
解像度と等しくなるよう解像度変換処理を施す解像度変
化手段と、上記解像度変換処理を施した上記第１，第２
の画像信号のテキスチャー信号を用いて上記第１の画像
信号と第２の画像信号の合成処理を行う画像合成手段と
を備えたものである。
【００５９】この発明（請求項２５）に係る画像合成装
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像空間における、被処理画素を含む対象領域内に
位置する画素の形状信号に基づいて、上記被処理画素の
テクスチャー信号に対する合成比率を算出する合成比率
算出手段と、該算出された合成比率に基づいて、上記被
処理画素と、これに対応する第２の画像空間における対
応画素との間でこれらの画素のテクスチャー信号の合成
処理を行う第１の画素合成手段とを有し、該合成された
テクスチャー信号を、上記第３の画像空間における、上
記被処理画素に対応する画素のテクスチャー信号として
出力する第１の画像合成処理部と、上記第１の画像空間
における被処理画素と、これに対応する第２の画像空間
における対応画素との間でこれらの画素のテクスチャー
信号の合成処理を、上記第１の画像合成処理における合
成比率とは異なる比率でもって行う第２の画素合成手段
を有し、該合成されたテクスチャー信号を、上記第３の
画像空間における、上記被処理画素に対応する画素のテ
クスチャー信号として出力する第２の画像合成処理部と
を備え、上記第１の画像空間における、被処理画素を含
む対象領域内に位置する画素の形状信号に基づいて、上
記第１及び第２の画像合成処理を切り換えるよう構成し
たものである。
置は、任意形状の物体を含む第１の画像空間を形成す
る、上記物体の形状を示す形状信号及び物体の絵柄を示
すテクスチャー信号を含む第１の画像信号と、第２の画
像空間を形成する、画像の絵柄を示すテクスチャー信号
を含む第２の画像信号とを合成して、第３の画像空間を
形成する合成画像信号を生成する装置であって、上記第
１の画像空間における、被処理画素を含む対象領域内に
位置する画素の形状信号に基づいて、上記被処理画素の
テクスチャー信号に対する合成比率を算出する合成比率
算出手段と、該算出された合成比率に基づいて、上記被
処理画素と、これに対応する第２の画像空間における対
応画素との間でこれらの画素のテクスチャー信号の合成
処理を行う第１の画素合成手段とを有し、該合成された
テクスチャー信号を、上記第３の画像空間における、上
記被処理画素に対応する画素のテクスチャー信号として
出力する第１の画像合成処理部と、上記第１の画像空間
における被処理画素と、これに対応する第２の画像空間
における対応画素との間でこれらの画素のテクスチャー
信号の合成処理を、上記第１の画像合成処理における合
成比率とは異なる比率でもって行う第２の画素合成手段
を有し、該合成されたテクスチャー信号を、上記第３の
画像空間における、上記被処理画素に対応する画素のテ
クスチャー信号として出力する第２の画像合成処理部と
を備え、上記第１の画像空間における、被処理画素を含
む対象領域内に位置する画素の形状信号に基づいて、上
記第１及び第２の画像合成処理を切り換えるよう構成し
たものである。
【００６０】この発明（請求項２６）に係るデータ記憶
媒体は、コンピュータにより画像合成処理を行わせるた
めのプログラムを格納したデータ記憶媒体であって、上
記プログラムとして、請求項１ないし請求項１９のいず
れかに記載の画像合成方法による画像合成処理をコンピ
ュータに行わせる画像合成プログラムを格納したもので
ある。
媒体は、コンピュータにより画像合成処理を行わせるた
めのプログラムを格納したデータ記憶媒体であって、上
記プログラムとして、請求項１ないし請求項１９のいず
れかに記載の画像合成方法による画像合成処理をコンピ
ュータに行わせる画像合成プログラムを格納したもので
ある。
【００６１】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。 実施の形態１．本発明の実施の形態１による画像合成方
法は、複数の物体の画像に対応する画像信号を受け、各
画像に対応する形状信号を参照して、画像信号の合成処
理を行う方法において、各物体の画像の境界内側、つま
り物体内に画像境界に隣接して位置する画素の形状デー
タ（形状信号の画素値）に平滑化処理を施した後、上記
各物体の画像信号に対する合成処理を行うものであり、
これにより合成画像の画質向上を図ることができるもの
である。
て説明する。 実施の形態１．本発明の実施の形態１による画像合成方
法は、複数の物体の画像に対応する画像信号を受け、各
画像に対応する形状信号を参照して、画像信号の合成処
理を行う方法において、各物体の画像の境界内側、つま
り物体内に画像境界に隣接して位置する画素の形状デー
タ（形状信号の画素値）に平滑化処理を施した後、上記
各物体の画像信号に対する合成処理を行うものであり、
これにより合成画像の画質向上を図ることができるもの
である。
【００６２】図１は本発明の実施の形態１による画像合
成方法における処理の流れを示す図である。図２は図１
に示すステップ４１０での具体的な処理を模式的に示す
図である。図２(a) において、３０２は、図２５に示す
物体の境界部分における１ライン分の画素３００に対応
する形状データで、横軸を画像における画素の位置、縦
軸を画素の形状データの値とする座標上に示されてい
る。ここでは、形状データは０〜２５５までのいずれか
の値をとる多値データとする。
成方法における処理の流れを示す図である。図２は図１
に示すステップ４１０での具体的な処理を模式的に示す
図である。図２(a) において、３０２は、図２５に示す
物体の境界部分における１ライン分の画素３００に対応
する形状データで、横軸を画像における画素の位置、縦
軸を画素の形状データの値とする座標上に示されてい
る。ここでは、形状データは０〜２５５までのいずれか
の値をとる多値データとする。
【００６３】以下、形状データ３０２のうちの、物体内
に物体境界に隣接して位置する境界画素（被処理画素）
の形状データ５００に対して、画素値変換処理を行う場
合について説明する。まず、未処理画像判定ステップ４
０２において、未処理の画素が残っているかどうかを判
定し、残っている場合には形状データ入力ステップ４０
４において、処理の対象となる前景画素（被処理画素）
の形状データを入力する。未処理の画素が残っていなけ
れば合成処理を終了する（ステップＳ４１４）。
に物体境界に隣接して位置する境界画素（被処理画素）
の形状データ５００に対して、画素値変換処理を行う場
合について説明する。まず、未処理画像判定ステップ４
０２において、未処理の画素が残っているかどうかを判
定し、残っている場合には形状データ入力ステップ４０
４において、処理の対象となる前景画素（被処理画素）
の形状データを入力する。未処理の画素が残っていなけ
れば合成処理を終了する（ステップＳ４１４）。
【００６４】次に形状データ判定ステップ４０６におい
て、処理の対象となる前景画素の形状データ５００が０
値かどうかを判定する。その判定の結果、形状データが
０値である場合は背景画素出力ステップ４０８におい
て、対象となる前景の画素位置に対応する背景の画素の
画素値（テキスチャーデータ）を合成画素のテキスチャ
データとして出力し、対象となる前景画素に対する合成
処理を終了する。ここで、合成画素のテキスチャーデー
タの出力先が、背景画素のテキスチャーデータの格納部
である場合には、上記ステップ４０８の処理は、無処理
となる。
て、処理の対象となる前景画素の形状データ５００が０
値かどうかを判定する。その判定の結果、形状データが
０値である場合は背景画素出力ステップ４０８におい
て、対象となる前景の画素位置に対応する背景の画素の
画素値（テキスチャーデータ）を合成画素のテキスチャ
データとして出力し、対象となる前景画素に対する合成
処理を終了する。ここで、合成画素のテキスチャーデー
タの出力先が、背景画素のテキスチャーデータの格納部
である場合には、上記ステップ４０８の処理は、無処理
となる。
【００６５】続いて、上記ステップ４０６での判定の結
果、対象となる前景画素の形状データ５００が非０値で
ある場合には、形状データ算出ステップ（合成比率算出
ステップ）４１０にて、所定の領域，つまり処理対象と
なる対象画素を含む所定サイズの領域（対象領域）内の
すべての画素の形状データを用いて、処理対象となる前
景画素の形状データを所定の方法で算出する。ここで、
上記対象領域は、図２(b) に示す、物体の画像の境界部
５００を含む黒い太線で囲まれた領域であり、中心に上
記対象画素が位置する、３×３画素からなる領域５０２
である。
果、対象となる前景画素の形状データ５００が非０値で
ある場合には、形状データ算出ステップ（合成比率算出
ステップ）４１０にて、所定の領域，つまり処理対象と
なる対象画素を含む所定サイズの領域（対象領域）内の
すべての画素の形状データを用いて、処理対象となる前
景画素の形状データを所定の方法で算出する。ここで、
上記対象領域は、図２(b) に示す、物体の画像の境界部
５００を含む黒い太線で囲まれた領域であり、中心に上
記対象画素が位置する、３×３画素からなる領域５０２
である。
【００６６】なお、この対象領域に含まれる画素の配置
は、３×３画素に限らずＭ×Ｎ（Ｍ，Ｎは自然数）で示
される画素配置であってもよく、また、合成を行う前景
の画像に応じて、上記対象領域における画素配置（縦横
サイズ、画素数など）を変更してもよいものとする。さ
らに、テキスチャーデータを構成している輝度データ及
び色差データそれぞれの処理においても、対象領域の画
素配置を異なるものとしてもよい。
は、３×３画素に限らずＭ×Ｎ（Ｍ，Ｎは自然数）で示
される画素配置であってもよく、また、合成を行う前景
の画像に応じて、上記対象領域における画素配置（縦横
サイズ、画素数など）を変更してもよいものとする。さ
らに、テキスチャーデータを構成している輝度データ及
び色差データそれぞれの処理においても、対象領域の画
素配置を異なるものとしてもよい。
【００６７】また、上記形状データを算出する具体的方
法は、ここでは、対象領域５０２内の９画素が持つ形状
データを加算平均したものを被処理画素の形状データと
する方法としている。これにより、被処理画素５０６の
形状データ５０４は図２(a)に示すように、レベル５０
４が小さくなる。このような方法では、対象領域５００
内の画素の形状データを考慮して、被処理画素の形状デ
ータを算出することによって、物体の画像境界の両側に
並ぶ複数の画素の形状データの変化を緩やかなものとす
ることができる。
法は、ここでは、対象領域５０２内の９画素が持つ形状
データを加算平均したものを被処理画素の形状データと
する方法としている。これにより、被処理画素５０６の
形状データ５０４は図２(a)に示すように、レベル５０
４が小さくなる。このような方法では、対象領域５００
内の画素の形状データを考慮して、被処理画素の形状デ
ータを算出することによって、物体の画像境界の両側に
並ぶ複数の画素の形状データの変化を緩やかなものとす
ることができる。
【００６８】最後に、画素合成ステップ４１２では、上
述のようにして算出された形状データ５０４を、テキス
チャデータの合成の際に用いる合成比率とし、対象とな
る前景画素と背景画素のテキスチャデータに対して、上
記式１を用いて重み付け平均処理を行い、前景画像と背
景画像との間で合成したテキスチャデータを、対象画素
に対応する合成画像の画素のテキスチャデータとして出
力する。
述のようにして算出された形状データ５０４を、テキス
チャデータの合成の際に用いる合成比率とし、対象とな
る前景画素と背景画素のテキスチャデータに対して、上
記式１を用いて重み付け平均処理を行い、前景画像と背
景画像との間で合成したテキスチャデータを、対象画素
に対応する合成画像の画素のテキスチャデータとして出
力する。
【００６９】このような本実施の形態１によれば、物体
の画像の内側にその境界に隣接して位置する画素の形状
データのみを用いて、該境界近傍での画素の形状データ
の分布が滑らかになるよう形状データの平滑化を行い、
この平滑化により得られた形状データを合成比率とし
て、境界内側近傍に位置する前景画素と、これに対応す
る背景画素との間で、テキスチャデータの合成を行うよ
うにしたので、合成した画像における前景画像と背景画
像の境界部分での画質を向上することができる。なお、
上記実施の形態１では、形状データは０〜２５５までの
いずれかの値をランダムにとる多値データであっても、
０値、非０値のいずれかの値を持つ２値データであって
もよい。
の画像の内側にその境界に隣接して位置する画素の形状
データのみを用いて、該境界近傍での画素の形状データ
の分布が滑らかになるよう形状データの平滑化を行い、
この平滑化により得られた形状データを合成比率とし
て、境界内側近傍に位置する前景画素と、これに対応す
る背景画素との間で、テキスチャデータの合成を行うよ
うにしたので、合成した画像における前景画像と背景画
像の境界部分での画質を向上することができる。なお、
上記実施の形態１では、形状データは０〜２５５までの
いずれかの値をランダムにとる多値データであっても、
０値、非０値のいずれかの値を持つ２値データであって
もよい。
【００７０】例えば、この形状データが０値、非０値の
いずれかの値を持つ２値データである場合については、
図２(c) の表５０８に示すように、上記対象領域５０２
内の画素のうち形状データが非０値の画素の数を求め、
非０値を持つ画素の数（count)を該対象領域５０２内の
画素の数（range-count)で除算した値（count/range-co
unt)に、非０値の形状データ（alpha-value)を掛けて、
被処理画素の形状データを算出することもできる。ここ
で、表５０８の式中に用いられているalpha-value につ
いては、図２の例では２５５となっているが、これに限
らず０〜２５５の範囲内の中間値の値をとってもよいも
のとする。また、上記形状データが上記のような多値デ
ータである場合には、対象領域内の各画素の形状データ
の加算平均を被処理画素の形状データとしてもよい。
いずれかの値を持つ２値データである場合については、
図２(c) の表５０８に示すように、上記対象領域５０２
内の画素のうち形状データが非０値の画素の数を求め、
非０値を持つ画素の数（count)を該対象領域５０２内の
画素の数（range-count)で除算した値（count/range-co
unt)に、非０値の形状データ（alpha-value)を掛けて、
被処理画素の形状データを算出することもできる。ここ
で、表５０８の式中に用いられているalpha-value につ
いては、図２の例では２５５となっているが、これに限
らず０〜２５５の範囲内の中間値の値をとってもよいも
のとする。また、上記形状データが上記のような多値デ
ータである場合には、対象領域内の各画素の形状データ
の加算平均を被処理画素の形状データとしてもよい。
【００７１】実施の形態２．図３は実施の形態２による
画像合成方法を説明するための図であり、この合成方法
における合成比率算出ステップ４１０の処理を模式的に
示している。この実施の形態２の画像合成方法は、上記
実施の形態１の画像合成方法の合成比率算出ステップ４
１０における形状データ算出の際に、境界部分近傍に位
置する画素の合成比率の分布がより滑らかになるように
追加処理を行うようにしたものである。そしてその他の
処理については、実施の形態１で述べた処理手順と全く
同様なので、説明を省略する。
画像合成方法を説明するための図であり、この合成方法
における合成比率算出ステップ４１０の処理を模式的に
示している。この実施の形態２の画像合成方法は、上記
実施の形態１の画像合成方法の合成比率算出ステップ４
１０における形状データ算出の際に、境界部分近傍に位
置する画素の合成比率の分布がより滑らかになるように
追加処理を行うようにしたものである。そしてその他の
処理については、実施の形態１で述べた処理手順と全く
同様なので、説明を省略する。
【００７２】図３(a) において、３００、３０２、５０
０、５０２はそれぞれ図２５及び図２に示すものと同一
のものである。この実施の形態２における合成比率算出
ステップ４１０では、物体の境界内に位置する画素の合
成比率（形状データ）を変更する処理が行われる。ま
た、被処理画素を含む対象領域（３×３画素からなる領
域）における画素配列のパターンは、図３(a) に示す３
×３画素からなる対象領域５０２のパターンの他に、図
３(d) に示す画素配列６１０、６１２、６１４のパター
ンとなる場合が大半である。
０、５０２はそれぞれ図２５及び図２に示すものと同一
のものである。この実施の形態２における合成比率算出
ステップ４１０では、物体の境界内に位置する画素の合
成比率（形状データ）を変更する処理が行われる。ま
た、被処理画素を含む対象領域（３×３画素からなる領
域）における画素配列のパターンは、図３(a) に示す３
×３画素からなる対象領域５０２のパターンの他に、図
３(d) に示す画素配列６１０、６１２、６１４のパター
ンとなる場合が大半である。
【００７３】このような画素配列のパターンを有する対
象領域については、形状データが非０値である画素の個
数を算出し、該算出した個数が一定数以下の値をとる場
合には、被処理画素の形状データを０とし、それ以外の
場合（算出個数が一定数を越える場合）には、被処理画
素の形状データが、０から形状データの最大値（図３
(b) では２５５）の中間値をとるように変換する。
象領域については、形状データが非０値である画素の個
数を算出し、該算出した個数が一定数以下の値をとる場
合には、被処理画素の形状データを０とし、それ以外の
場合（算出個数が一定数を越える場合）には、被処理画
素の形状データが、０から形状データの最大値（図３
(b) では２５５）の中間値をとるように変換する。
【００７４】具体的には、図３(c) の表６０８に示す条
件式を用いて、被処理画素の合成比率（形状データ）の
算出を行うこととする。表６０８に示す条件式による
と、被処理画素を含む対象領域内の、非０値の形状デー
タを持つ画素の画素数が閾値以下の値を示す場合には、
被処理画素の合成比率（形状データ）を０値にし、それ
以外の場合については、対象領域内に含まれる非０値の
形状データを持つ画素の個数と、対象領域内に含まれる
すべての画素の個数を用いて、被処理画素の形状データ
を０値から非０値（図３(b) では２５５）の中間値とな
るよう合成比率を算出する処理が行われる。この条件式
によって、物体の画像の境界に位置する画素に対応する
合成比率の値を変更することができ、前景画像と背景画
像を重ねあわせた合成画像における前景画像の境界部分
の画質を向上することができる。
件式を用いて、被処理画素の合成比率（形状データ）の
算出を行うこととする。表６０８に示す条件式による
と、被処理画素を含む対象領域内の、非０値の形状デー
タを持つ画素の画素数が閾値以下の値を示す場合には、
被処理画素の合成比率（形状データ）を０値にし、それ
以外の場合については、対象領域内に含まれる非０値の
形状データを持つ画素の個数と、対象領域内に含まれる
すべての画素の個数を用いて、被処理画素の形状データ
を０値から非０値（図３(b) では２５５）の中間値とな
るよう合成比率を算出する処理が行われる。この条件式
によって、物体の画像の境界に位置する画素に対応する
合成比率の値を変更することができ、前景画像と背景画
像を重ねあわせた合成画像における前景画像の境界部分
の画質を向上することができる。
【００７５】なお、表６０８に示す条件式で用いられて
いる閾値threshold は、上記対象領域の大きさによって
変更するものである。また、上記表６０８の条件式で用
いられているalpha ＿value については図３の例では２
５５となっているが、０から２５５の中間値の値をとっ
てもよい。
いる閾値threshold は、上記対象領域の大きさによって
変更するものである。また、上記表６０８の条件式で用
いられているalpha ＿value については図３の例では２
５５となっているが、０から２５５の中間値の値をとっ
てもよい。
【００７６】このような本実施の形態２では、物体の境
界を含む対象領域内における、形状データが非０値の画
素の数を判定して、物体の境界部分に位置する画素の形
状データに対してその値（つまり合成比率の値）の変化
がより滑らかなものとなるよう処理を施し、得られた合
成比率を用いて前景と背景の合成を行うので、合成画像
における前景画像と背景画像の境界部分の画質をより向
上することができる。
界を含む対象領域内における、形状データが非０値の画
素の数を判定して、物体の境界部分に位置する画素の形
状データに対してその値（つまり合成比率の値）の変化
がより滑らかなものとなるよう処理を施し、得られた合
成比率を用いて前景と背景の合成を行うので、合成画像
における前景画像と背景画像の境界部分の画質をより向
上することができる。
【００７７】実施の形態３．図４は本発明の実施の形態
３による画像合成方法を説明するための図であり、この
実施の形態３の画像合成方法の処理の流れを示す。図５
(a) 〜図５(e) は図４に示す形状情報生成ステップ７１
０、及び画素情報生成ステップ７１４における処理を模
式的に示す図である。
３による画像合成方法を説明するための図であり、この
実施の形態３の画像合成方法の処理の流れを示す。図５
(a) 〜図５(e) は図４に示す形状情報生成ステップ７１
０、及び画素情報生成ステップ７１４における処理を模
式的に示す図である。
【００７８】この実施の形態３による画像合成方法は、
複数の物体の画像信号を受け、画像信号の合成処理を行
う方法において、境界画素の形状データを参照して、前
景画像の境界部分の画素に対する合成比率を平滑化処理
によって求め、これにより得られた合成比率を用いて、
前景画像と背景画像の間でテキスチャー信号の合成を行
い、この際、上記前景画像の境界外画素のテクスチャー
データを境界内画素のテクスチャーデータを用いて生成
することにより、合成画像の画質の向上を図るものであ
る。
複数の物体の画像信号を受け、画像信号の合成処理を行
う方法において、境界画素の形状データを参照して、前
景画像の境界部分の画素に対する合成比率を平滑化処理
によって求め、これにより得られた合成比率を用いて、
前景画像と背景画像の間でテキスチャー信号の合成を行
い、この際、上記前景画像の境界外画素のテクスチャー
データを境界内画素のテクスチャーデータを用いて生成
することにより、合成画像の画質の向上を図るものであ
る。
【００７９】図５において、３０２は、図２５に示す領
域３００の境界部分を含む１ラインの画素であり、この
１ラインの画素３０２内の物体境界の外側に位置する境
界画素３０６について、形状データの変換処理を行う場
合について説明する。また、上記領域３００，つまり形
状空間における物体境界を含む領域に対応するテキスチ
ャー空間における領域８００を図５(d) に示す。
域３００の境界部分を含む１ラインの画素であり、この
１ラインの画素３０２内の物体境界の外側に位置する境
界画素３０６について、形状データの変換処理を行う場
合について説明する。また、上記領域３００，つまり形
状空間における物体境界を含む領域に対応するテキスチ
ャー空間における領域８００を図５(d) に示す。
【００８０】まず、最初に未処理画素判定ステップ７０
２にて、未処理の画素が存在するかどうかを判定し、存
在する場合は画素入力ステップ７０４において、対象と
なる前景画素を中心とする対象領域（図４中では所定領
域と記述）内の画素のテキスチャデータ及び形状データ
を入力する。ここで、３０６は処理対象となる形状画素
（被処理画素）、８０４は該形状画素に対応するテキス
チャー画素（テクスチャー空間における画素）である。
また、対象領域とは、上記画素３０６，８０４を中心と
する形状空間及びテキスチャー空間における所定サイズ
の領域である。図５(b) ，(d) には、これらの領域８０
２，８０６が、太線で囲まれた３×３画素からなる領域
として示されている。なお、この領域は、３×３画素か
らなるものに限らず、Ｍ×Ｎ（Ｍ，Ｎは自然数）画素か
らなるものでもよく、また、合成を行う前景の画像にし
たがって大きさ（領域の縦横サイズ、画素数など）を変
更してもよいものとする。さらに、上記テキスチャデー
タを構成している輝度データ及び色差データそれぞれの
処理においても、場合によっては上記所定領域のサイズ
を異なるものとしてもよい。
２にて、未処理の画素が存在するかどうかを判定し、存
在する場合は画素入力ステップ７０４において、対象と
なる前景画素を中心とする対象領域（図４中では所定領
域と記述）内の画素のテキスチャデータ及び形状データ
を入力する。ここで、３０６は処理対象となる形状画素
（被処理画素）、８０４は該形状画素に対応するテキス
チャー画素（テクスチャー空間における画素）である。
また、対象領域とは、上記画素３０６，８０４を中心と
する形状空間及びテキスチャー空間における所定サイズ
の領域である。図５(b) ，(d) には、これらの領域８０
２，８０６が、太線で囲まれた３×３画素からなる領域
として示されている。なお、この領域は、３×３画素か
らなるものに限らず、Ｍ×Ｎ（Ｍ，Ｎは自然数）画素か
らなるものでもよく、また、合成を行う前景の画像にし
たがって大きさ（領域の縦横サイズ、画素数など）を変
更してもよいものとする。さらに、上記テキスチャデー
タを構成している輝度データ及び色差データそれぞれの
処理においても、場合によっては上記所定領域のサイズ
を異なるものとしてもよい。
【００８１】次に、形状情報判定ステップ７０６では、
処理対象となる前景画素を中心とする対象領域８０２内
の画素のいずれかが非０値の形状データを持っているか
どうかを判定する。いずれの画素も非０値の形状情報を
持たない場合は、背景画素出力ステップ７０８にて、処
理対象となる前景画素８０４に対応する背景画素のテキ
スチャデータを合成画素のテキスチャデータとして出力
する。ここで、合成画素のテキスチャデータの出力先
が、背景画素のテキスチャデータを格納してある部分で
ある場合には、ステップ７０８の処理は無処理になる。
処理対象となる前景画素を中心とする対象領域８０２内
の画素のいずれかが非０値の形状データを持っているか
どうかを判定する。いずれの画素も非０値の形状情報を
持たない場合は、背景画素出力ステップ７０８にて、処
理対象となる前景画素８０４に対応する背景画素のテキ
スチャデータを合成画素のテキスチャデータとして出力
する。ここで、合成画素のテキスチャデータの出力先
が、背景画素のテキスチャデータを格納してある部分で
ある場合には、ステップ７０８の処理は無処理になる。
【００８２】一方、上記対象領域８０２内のいずれかの
画素が非０値の形状データを持つ場合には、合成比率算
出ステップ７１０にて、入力された対象領域８０２内の
画素すべての形状データを加算し、この加算値を、該対
象領域８０２内の画素数（図５中では９）で除算する。
除算した結果である合成比率（図５(c) の形状データ８
０８）は、後述の画素合成ステップ７１６において、前
景画像と背景画像の間でテキスチャデータの合成を行う
際の重み付け係数に用いられる。
画素が非０値の形状データを持つ場合には、合成比率算
出ステップ７１０にて、入力された対象領域８０２内の
画素すべての形状データを加算し、この加算値を、該対
象領域８０２内の画素数（図５中では９）で除算する。
除算した結果である合成比率（図５(c) の形状データ８
０８）は、後述の画素合成ステップ７１６において、前
景画像と背景画像の間でテキスチャデータの合成を行う
際の重み付け係数に用いられる。
【００８３】続く、形状情報判定ステップ７１２では、
被処理画素３０６の形状データが０値であるかどうかを
判定する。形状空間における被処理画素３０６の形状デ
ータが０値である場合は、この被処理画素に対応するテ
キスチャ空間の画素（対応テクスチャー画素）８０４の
テキスチャデータが不定であるので、画素情報生成ステ
ップ７１４にて、テキスチャ空間の所定領域（上記形状
空間の対象領域に対応する領域）８０６内の、形状デー
タが非０値である形状画素に対応するテキスチャー画素
のテキスチャデータを加算する。そして、対応する形状
画素の形状データが非０値であるテキスチャデータ画素
の個数で、上記テキスチャデータの加算値を平均化した
平均値を、上記テキスチャー画素８０４のテキスチャデ
ータとする。ここでは、対応する形状画素の形状データ
が非０値であるテキスチャー画素は、図５(d) に示す所
定領域８０６内の模様のついた２画素であり、上記テク
スチャーデータの加算値をで割った値を、対応テキスチ
ャー画素８０４のテキスチャデータとする。図５(e) に
は、この対応テキスチャー画素８０４のテキスチャデー
タの値（上記平均値）８２０が示されている。
被処理画素３０６の形状データが０値であるかどうかを
判定する。形状空間における被処理画素３０６の形状デ
ータが０値である場合は、この被処理画素に対応するテ
キスチャ空間の画素（対応テクスチャー画素）８０４の
テキスチャデータが不定であるので、画素情報生成ステ
ップ７１４にて、テキスチャ空間の所定領域（上記形状
空間の対象領域に対応する領域）８０６内の、形状デー
タが非０値である形状画素に対応するテキスチャー画素
のテキスチャデータを加算する。そして、対応する形状
画素の形状データが非０値であるテキスチャデータ画素
の個数で、上記テキスチャデータの加算値を平均化した
平均値を、上記テキスチャー画素８０４のテキスチャデ
ータとする。ここでは、対応する形状画素の形状データ
が非０値であるテキスチャー画素は、図５(d) に示す所
定領域８０６内の模様のついた２画素であり、上記テク
スチャーデータの加算値をで割った値を、対応テキスチ
ャー画素８０４のテキスチャデータとする。図５(e) に
は、この対応テキスチャー画素８０４のテキスチャデー
タの値（上記平均値）８２０が示されている。
【００８４】一方、処理対象となる形状画素（被処理画
素）３０６の形状データが非０値である場合は、対応す
る対象テキスチャー画素にはテキスチャデータが存在す
るので、ステップ７１４の処理は行われない。さらに、
対応テキスチャー画素のテキスチャデータがあらかじめ
何らかの値が補填されている場合には、ステップ７１４
の処理は行われない。例えば、復号化されたテキスチャ
ー信号に含まれる符号化歪みの値が保持されていて、か
つその値が隣接する画素の値とかけ離れた値ではない場
合、ステップ７１４の処理は行われなくてもよい。
素）３０６の形状データが非０値である場合は、対応す
る対象テキスチャー画素にはテキスチャデータが存在す
るので、ステップ７１４の処理は行われない。さらに、
対応テキスチャー画素のテキスチャデータがあらかじめ
何らかの値が補填されている場合には、ステップ７１４
の処理は行われない。例えば、復号化されたテキスチャ
ー信号に含まれる符号化歪みの値が保持されていて、か
つその値が隣接する画素の値とかけ離れた値ではない場
合、ステップ７１４の処理は行われなくてもよい。
【００８５】最後に、画素合成ステップ７１６では、ス
テップ７１０で算出された合成比率（図５(c) に示す被
処理画素の形状データ８０８）を重み付けの係数とし
て、処理対象となる前景画素と背景画素の間でテキスチ
ャデータを合成する。合成は上述した（式１）を用いて
行う。なお、図５では、対象となる画素の形状情報算出
ステップ７１０の後、被処理画素の形状データの判定ス
テップ７１２による処理を行っているが、これらの処理
は並列に行ってもよいものとする。
テップ７１０で算出された合成比率（図５(c) に示す被
処理画素の形状データ８０８）を重み付けの係数とし
て、処理対象となる前景画素と背景画素の間でテキスチ
ャデータを合成する。合成は上述した（式１）を用いて
行う。なお、図５では、対象となる画素の形状情報算出
ステップ７１０の後、被処理画素の形状データの判定ス
テップ７１２による処理を行っているが、これらの処理
は並列に行ってもよいものとする。
【００８６】このように本実施の形態３では、物体の境
界部分に位置する物体外の画素に対して、テキスチャデ
ータと形状データの平滑化を行うようにしたので、画像
によっては境界部の画質がぼけてしまうこともあるが、
実施の形態１や２のように、物体内の境界近傍の画素が
有する形状データの値を小さくすることはないため、物
体の大きさ（縦横サイズ、画素数など）が非常に小さい
場合等には、前景物体の画像を、これが縮んだようにな
るのを回避しつつ背景画像と合成することができる。従
って、実施の形態１，２の合成処理と、実施の形態３の
合成処理とを、入力される画像にしたがって切り替えて
使用してもよい。また、テキスチャデータは輝度データ
と色差データから構成されているため、輝度データと色
差データとで、実施の形態１，２の合成処理と実施の形
態３の合成処理の切換を独立して行うようにしてもよ
い。
界部分に位置する物体外の画素に対して、テキスチャデ
ータと形状データの平滑化を行うようにしたので、画像
によっては境界部の画質がぼけてしまうこともあるが、
実施の形態１や２のように、物体内の境界近傍の画素が
有する形状データの値を小さくすることはないため、物
体の大きさ（縦横サイズ、画素数など）が非常に小さい
場合等には、前景物体の画像を、これが縮んだようにな
るのを回避しつつ背景画像と合成することができる。従
って、実施の形態１，２の合成処理と、実施の形態３の
合成処理とを、入力される画像にしたがって切り替えて
使用してもよい。また、テキスチャデータは輝度データ
と色差データから構成されているため、輝度データと色
差データとで、実施の形態１，２の合成処理と実施の形
態３の合成処理の切換を独立して行うようにしてもよ
い。
【００８７】なお、上記実施の形態３では、形状データ
は０〜２５５までのいずれかの値をランダムにとる多値
データであっても、０値、非０値のいずれかの値を持つ
２値データであってもよい。また、上記実施の形態１〜
３で示した合成方法は、すべて式１を用いて行うもので
あるが、上記合成処理には式２を用いることもできる。
この場合、算出した合成比率（つまり、被処理画素を含
む対象領域内に位置する画素の形状データを用いて求め
たもの）をβとすると、β／alpha'を前景の値fgpel'に
掛け合わせることによって同様の処理を行うことができ
る。
は０〜２５５までのいずれかの値をランダムにとる多値
データであっても、０値、非０値のいずれかの値を持つ
２値データであってもよい。また、上記実施の形態１〜
３で示した合成方法は、すべて式１を用いて行うもので
あるが、上記合成処理には式２を用いることもできる。
この場合、算出した合成比率（つまり、被処理画素を含
む対象領域内に位置する画素の形状データを用いて求め
たもの）をβとすると、β／alpha'を前景の値fgpel'に
掛け合わせることによって同様の処理を行うことができ
る。
【００８８】実施の形態４．本発明の実施の形態４によ
る画像合成方法は、実施の形態１〜３に示す合成比率算
出ステップの処理が高速化されるよう構成したものであ
り、その他の処理の手順は実施の形態１〜３で述べた処
理手順と同様である。上記実施の形態１〜３で行う合成
方法では、合成比率を演算により求めているが、被処理
画素の形状データが０値と非０値の２値である場合につ
いては、図２(c) に示す表５０８における変換式、図３
(c) に示す表６０８における変換式に基づいて、形状デ
ータが非０値を持つ形状画素の数を算出してから求める
ことができる。この計算は除算、乗算を伴うものである
ため、各画素ごとに処理を行った場合に計算量が非常に
多くなってしまう。
る画像合成方法は、実施の形態１〜３に示す合成比率算
出ステップの処理が高速化されるよう構成したものであ
り、その他の処理の手順は実施の形態１〜３で述べた処
理手順と同様である。上記実施の形態１〜３で行う合成
方法では、合成比率を演算により求めているが、被処理
画素の形状データが０値と非０値の２値である場合につ
いては、図２(c) に示す表５０８における変換式、図３
(c) に示す表６０８における変換式に基づいて、形状デ
ータが非０値を持つ形状画素の数を算出してから求める
ことができる。この計算は除算、乗算を伴うものである
ため、各画素ごとに処理を行った場合に計算量が非常に
多くなってしまう。
【００８９】本実施の形態４においては、図６の黒い太
線で囲まれたような３×３画素からなる領域を対象領域
（所定の領域）とし、形状データとして非０値を持つ画
素の数（０〜９）に対応した合成比率をあらかじめ各々
計算してテーブル９００に保存しておく。
線で囲まれたような３×３画素からなる領域を対象領域
（所定の領域）とし、形状データとして非０値を持つ画
素の数（０〜９）に対応した合成比率をあらかじめ各々
計算してテーブル９００に保存しておく。
【００９０】実際の計算の際には、上記対象領域におけ
る形状データが非０値の画素の数をまず算出し、この画
素数をもとに、上記テーブルから、その対応する合成比
率を参照する（適用する）ことにより、除算、乗算を削
減することができる。なお、ここでは実施の形態１、３
の合成方法に対応した値をとるようなテーブルを例に挙
げているが、実施の形態２についても同様の処理を行う
ことができる。
る形状データが非０値の画素の数をまず算出し、この画
素数をもとに、上記テーブルから、その対応する合成比
率を参照する（適用する）ことにより、除算、乗算を削
減することができる。なお、ここでは実施の形態１、３
の合成方法に対応した値をとるようなテーブルを例に挙
げているが、実施の形態２についても同様の処理を行う
ことができる。
【００９１】実施の形態５．この実施の形態５の画像合
成方法は、合成比率だけでなく、合成比率と画素情報を
掛け合わせた値をテーブルとして保持するようにしたも
のであり、これにより上記式１により合成画素のテキス
チャデータを求める計算を簡略化することができる。一
般に、物体の境界部分においては、画素は同じような合
成比率（形状データ）の値をとる場合が多く、テキスチ
ャデータについてもにおいても同様のことが言える。
成方法は、合成比率だけでなく、合成比率と画素情報を
掛け合わせた値をテーブルとして保持するようにしたも
のであり、これにより上記式１により合成画素のテキス
チャデータを求める計算を簡略化することができる。一
般に、物体の境界部分においては、画素は同じような合
成比率（形状データ）の値をとる場合が多く、テキスチ
ャデータについてもにおいても同様のことが言える。
【００９２】そこで、あらかじめ合成比率とテキスチャ
データとの乗算値を計算により求めてテーブルに保持し
ておき、合成比率とテキスチャデータの値から上記テー
ブルの値を参照することによって、冗長な除算、乗算処
理を削減することができる。上記式１については、図７
に示すような展開を行い、この展開式における乗算処理
を、テーブル１０００を参照する処理に置き換えること
によって、計算量を削減することができる。
データとの乗算値を計算により求めてテーブルに保持し
ておき、合成比率とテキスチャデータの値から上記テー
ブルの値を参照することによって、冗長な除算、乗算処
理を削減することができる。上記式１については、図７
に示すような展開を行い、この展開式における乗算処理
を、テーブル１０００を参照する処理に置き換えること
によって、計算量を削減することができる。
【００９３】さらに、被処理画素の合成比率を、非０値
の形状データを持つ画素の個数から求める場合には、図
８のように上記式１を展開し、この展開式における乗算
部分の結果をテーブル１１００に格納しておくことによ
り、対象領域における非０値の形状データを持つ画素の
個数と、テキスチャデータの値から、被処理画素の合成
比率を算出できる。またこの場合、あらかじめ用意する
テーブルにおけるインデックスの個数についても削減す
ることができる。
の形状データを持つ画素の個数から求める場合には、図
８のように上記式１を展開し、この展開式における乗算
部分の結果をテーブル１１００に格納しておくことによ
り、対象領域における非０値の形状データを持つ画素の
個数と、テキスチャデータの値から、被処理画素の合成
比率を算出できる。またこの場合、あらかじめ用意する
テーブルにおけるインデックスの個数についても削減す
ることができる。
【００９４】例えば、上記テーブルにおけるインデック
スとして、「画素のテキスチャー値」と「合成比率」の
配列を用いるよりも、「画素のテキスチャー値」と「被
処理画素を含む対象領域における物体内に位置する画素
の画素数」の配列を用いる方が、インデックスとしての
配列の個数が少なくなる。具体的には、画素のテキスチ
ャー値と合成比率（形状データ）が０から２５５までの
値を取る場合、「画素のテキスチャー値」と「合成比
率」の配列を用いると、２５６×２５６＝６５５３６個
のインデックスの配列が必要になるのに対し、「画素の
テキスチャー値」と「画素数」の配列を用いると、画素
のテキスチャーデータが２５６個の値をとっても、物体
内画素の画素数が０〜９までの１０個であるため、イン
デックスの配列の個数は、２５６×１０＝２５６０個で
よいこととなる。
スとして、「画素のテキスチャー値」と「合成比率」の
配列を用いるよりも、「画素のテキスチャー値」と「被
処理画素を含む対象領域における物体内に位置する画素
の画素数」の配列を用いる方が、インデックスとしての
配列の個数が少なくなる。具体的には、画素のテキスチ
ャー値と合成比率（形状データ）が０から２５５までの
値を取る場合、「画素のテキスチャー値」と「合成比
率」の配列を用いると、２５６×２５６＝６５５３６個
のインデックスの配列が必要になるのに対し、「画素の
テキスチャー値」と「画素数」の配列を用いると、画素
のテキスチャーデータが２５６個の値をとっても、物体
内画素の画素数が０〜９までの１０個であるため、イン
デックスの配列の個数は、２５６×１０＝２５６０個で
よいこととなる。
【００９５】なお、上記図７，８中画素情報あるいは画
素の画素値はテクスチャーデータを意味し、形状情報は
形状データを意味している。また、上記式２について
も、背景の画素値（テクスチャーデータ）を掛け合わせ
る項の部分についてテーブルを参照することによって、
上記式１と同様に計算量を削減できる。また、上記実施
の形態４，５のようなテーブルを用いた合成処理は、実
施の形態２の合成方法に対しても適用することができる
ことは言うまでもない。
素の画素値はテクスチャーデータを意味し、形状情報は
形状データを意味している。また、上記式２について
も、背景の画素値（テクスチャーデータ）を掛け合わせ
る項の部分についてテーブルを参照することによって、
上記式１と同様に計算量を削減できる。また、上記実施
の形態４，５のようなテーブルを用いた合成処理は、実
施の形態２の合成方法に対しても適用することができる
ことは言うまでもない。
【００９６】実施の形態６．図１０は本発明の実施の形
態６による復号合成装置を説明するためのブロック図で
ある。この復号合成装置では、実施の形態１〜５に示す
ような、境界画素に対する形状データ等の平滑化処理を
するかどうかを示す付加情報が付加された、各物体に対
応する画像信号を符号化して得られる符号化データを復
号するものである。
態６による復号合成装置を説明するためのブロック図で
ある。この復号合成装置では、実施の形態１〜５に示す
ような、境界画素に対する形状データ等の平滑化処理を
するかどうかを示す付加情報が付加された、各物体に対
応する画像信号を符号化して得られる符号化データを復
号するものである。
【００９７】図９は、上記付加情報１２５０が付加され
た符号化データであるビットストリームのデータ構造を
示している。このデータ構造を有するビットストリーム
１２００には、まず最初に、データ構造に含まれるデー
タの個数等を記載したヘッダ情報１２０４があり、その
次に付加情報１２５０があって、さらにその次に物体の
単位時間毎における符号化データ１２０６、１２０８、
１２１０、１２１４が順に配置されている。
た符号化データであるビットストリームのデータ構造を
示している。このデータ構造を有するビットストリーム
１２００には、まず最初に、データ構造に含まれるデー
タの個数等を記載したヘッダ情報１２０４があり、その
次に付加情報１２５０があって、さらにその次に物体の
単位時間毎における符号化データ１２０６、１２０８、
１２１０、１２１４が順に配置されている。
【００９８】符号化データ１２０６は、データを復号化
するための情報を記述したヘッダ情報１２１８、符号化
された形状データ（形状情報）１２２０、符号化された
テキスチャデータ（画素情報）１２２２に分けられる。
ここで、形状データはJBIGなどの算術符号化方法で符号
化されさらに可変長符号化されたもの、テキスチャデー
タはＤＣＴ等の符号化方法で符号化されさらに可変長符
号化されたものである。
するための情報を記述したヘッダ情報１２１８、符号化
された形状データ（形状情報）１２２０、符号化された
テキスチャデータ（画素情報）１２２２に分けられる。
ここで、形状データはJBIGなどの算術符号化方法で符号
化されさらに可変長符号化されたもの、テキスチャデー
タはＤＣＴ等の符号化方法で符号化されさらに可変長符
号化されたものである。
【００９９】このデータ構造を有するビットストリーム
１２００において、ヘッダ情報１２０４の部分に、上述
の実施の形態１〜５で説明したような合成を行う際に、
境界部分で、テキスチャデータもしくは形状データの平
滑化を行うかどうかを示す付加情報（Blend flag）１２
５０を１ビット付加している。これにより各物体毎に実
施の形態１〜５に示すような画像合成処理を行うかどう
かを切り替えることができる。上記ヘッダ情報は、上記
各実施の形態で述べた対象領域（所定の領域）の縦横サ
イズ（例えば、３×３画素）や、画素数などを表すもの
とする。
１２００において、ヘッダ情報１２０４の部分に、上述
の実施の形態１〜５で説明したような合成を行う際に、
境界部分で、テキスチャデータもしくは形状データの平
滑化を行うかどうかを示す付加情報（Blend flag）１２
５０を１ビット付加している。これにより各物体毎に実
施の形態１〜５に示すような画像合成処理を行うかどう
かを切り替えることができる。上記ヘッダ情報は、上記
各実施の形態で述べた対象領域（所定の領域）の縦横サ
イズ（例えば、３×３画素）や、画素数などを表すもの
とする。
【０１００】また、上記付加情報を複数ビット付加する
ことにより、上述した平滑化処理の方法、および処理に
必要な情報を切り替えることも容易に実現できる。例え
ば、実施の形態１〜５で示した、対象領域の平面パター
ンなどを付加情報として加えることによって、合成を行
う各画像毎に対象領域の平面パターン（領域の縦横サイ
ズ、画素数など）を変更することができる。
ことにより、上述した平滑化処理の方法、および処理に
必要な情報を切り替えることも容易に実現できる。例え
ば、実施の形態１〜５で示した、対象領域の平面パター
ンなどを付加情報として加えることによって、合成を行
う各画像毎に対象領域の平面パターン（領域の縦横サイ
ズ、画素数など）を変更することができる。
【０１０１】さらに、付加情報（Blend flag) １２５０
はヘッダ情報１２０４と符号化データ１２０６の間に挿
入されているが、各符号化データ１２０６，１２０８，
１２１０，１２１４の途中に挿入することによって、途
中のデータから処理を切り替えることも可能となる。
はヘッダ情報１２０４と符号化データ１２０６の間に挿
入されているが、各符号化データ１２０６，１２０８，
１２１０，１２１４の途中に挿入することによって、途
中のデータから処理を切り替えることも可能となる。
【０１０２】さらに、各単位時間毎の符号化データ１２
０６，１２０８，１２１０，１２１４に含まれる各ヘッ
ダ情報１２１８の中にも同様の付加情報（Blend flag）
１２５０を付加することによって、特定の時間における
符号化データに対してのみ実施の形態１〜５に示すよう
な合成処理を行うこともできる。
０６，１２０８，１２１０，１２１４に含まれる各ヘッ
ダ情報１２１８の中にも同様の付加情報（Blend flag）
１２５０を付加することによって、特定の時間における
符号化データに対してのみ実施の形態１〜５に示すよう
な合成処理を行うこともできる。
【０１０３】なお、上述した付加情報はテキスチャデー
タのビットストリーム１２００の中に記述されている
が、上記ビットストリーム１２００とは別個のサイド情
報として与えてもよい。
タのビットストリーム１２００の中に記述されている
が、上記ビットストリーム１２００とは別個のサイド情
報として与えてもよい。
【０１０４】次に本実施の形態６の復号合成装置につい
て説明する。この実施の形態６の復号合成装置１４００
は、上記ビットストリーム１２００を受け、該ビットス
トリーム１２００に含まれるヘッダ情報，形状データ及
びテキスチャデータの符号化データを分離するデータ分
離手段１４０２と、該分離手段から出力される符号化デ
ータを復号化する画像復号手段１４０４と、複数の合成
手段を有し、上記符号化データをヘッダ情報に含まれる
付加情報に基づいて所定の合成手段により合成する合成
処理部１４０８とを有している。
て説明する。この実施の形態６の復号合成装置１４００
は、上記ビットストリーム１２００を受け、該ビットス
トリーム１２００に含まれるヘッダ情報，形状データ及
びテキスチャデータの符号化データを分離するデータ分
離手段１４０２と、該分離手段から出力される符号化デ
ータを復号化する画像復号手段１４０４と、複数の合成
手段を有し、上記符号化データをヘッダ情報に含まれる
付加情報に基づいて所定の合成手段により合成する合成
処理部１４０８とを有している。
【０１０５】ここで、上記合成処理部１４０８は、上記
付加情報に基づいて、上記画像復号手段１４０４の出力
を供給する合成手段を上記複数の合成手段から選択する
第１の選択スイッチ１４１２と、上記付加情報に基づい
て、上記複数の合成手段の出力の１つのを選択して出力
する第２のスイッチ１４１４とを有している。またこの
合成処理部１４０８にけおける複数の合成手段のうち少
なくとも１つが、上記実施の形態１〜５のいずれかによ
る画像合成方法による合成処理を行う構成となってい
る。
付加情報に基づいて、上記画像復号手段１４０４の出力
を供給する合成手段を上記複数の合成手段から選択する
第１の選択スイッチ１４１２と、上記付加情報に基づい
て、上記複数の合成手段の出力の１つのを選択して出力
する第２のスイッチ１４１４とを有している。またこの
合成処理部１４０８にけおける複数の合成手段のうち少
なくとも１つが、上記実施の形態１〜５のいずれかによ
る画像合成方法による合成処理を行う構成となってい
る。
【０１０６】次に動作について説明する。入力端子１４
００ａからビットストリーム１２００が入力されると、
このビットストリーム１２００は、データ分離手段１４
０２で形状データや、画素データ等の各符号化データに
分割される。分割された各符号化データは復号化手段１
４０４で復号化される。一方、上記ビットストリーム１
２００に含まれる付加情報１２５０は、合成処理部１４
０８に入力され、スイッチ１４１２、１４１４によっ
て、対応する合成方法を用いた合成手段を選択する。
００ａからビットストリーム１２００が入力されると、
このビットストリーム１２００は、データ分離手段１４
０２で形状データや、画素データ等の各符号化データに
分割される。分割された各符号化データは復号化手段１
４０４で復号化される。一方、上記ビットストリーム１
２００に含まれる付加情報１２５０は、合成処理部１４
０８に入力され、スイッチ１４１２、１４１４によっ
て、対応する合成方法を用いた合成手段を選択する。
【０１０７】なお、ここで復号化手段１４０４は複数設
け、入力された複数の物体に対するビットストリームに
対して復号化処理を並列で行うようにしてもよい。既に
復号化，生成，あるいは保持された背景の画素情報は、
第２の入力端子１４０６から入力され、合成処理部１４
０８に送られる。合成処理部１４０８では、上記画像復
号手段１４０４で復号化された各画素データ、形状デー
タに対応した合成方法で、前景画像と背景画像の合成処
理を行う。合成された合成データは出力端子１４１０か
ら出力される。
け、入力された複数の物体に対するビットストリームに
対して復号化処理を並列で行うようにしてもよい。既に
復号化，生成，あるいは保持された背景の画素情報は、
第２の入力端子１４０６から入力され、合成処理部１４
０８に送られる。合成処理部１４０８では、上記画像復
号手段１４０４で復号化された各画素データ、形状デー
タに対応した合成方法で、前景画像と背景画像の合成処
理を行う。合成された合成データは出力端子１４１０か
ら出力される。
【０１０８】次に上記実施の形態６の変形例による復号
合成装置について図１１を用いて説明する。この変形例
の復号合成装置１５００は、上記付加情報１２５０に、
上記各実施の形態の合成方法で用いる、対象領域の平面
パターンを示す、合成に必要な他の付加データを加えた
ビットストリームを復号化して、画像の合成を行うもの
である。
合成装置について図１１を用いて説明する。この変形例
の復号合成装置１５００は、上記付加情報１２５０に、
上記各実施の形態の合成方法で用いる、対象領域の平面
パターンを示す、合成に必要な他の付加データを加えた
ビットストリームを復号化して、画像の合成を行うもの
である。
【０１０９】つまり、この復号合成装置１５００は、前
景画像に対応する第１のビットストリームを受け、該ビ
ットストリームから、形状データ及びテキスチャデータ
を符号化した符号化データを分離するとともに、合成の
方法、及び合成を行う際に必要な付加情報を分離するす
るデータ分離手段１５０２と、該分離手段から出力され
る符号化データを復号化する画像復号手段１５０４とを
有している。
景画像に対応する第１のビットストリームを受け、該ビ
ットストリームから、形状データ及びテキスチャデータ
を符号化した符号化データを分離するとともに、合成の
方法、及び合成を行う際に必要な付加情報を分離するす
るデータ分離手段１５０２と、該分離手段から出力され
る符号化データを復号化する画像復号手段１５０４とを
有している。
【０１１０】また、上記復号合成装置１５００は、上記
付加情報を用いて合成に必要な情報を算出する合成方法
決定手段１５０６と、上記復号化された形状データ及び
テキスチャデータ、合成方法決定手段１５０６から入力
された合成方法の情報に基づいて、第２の入力端子１５
１２から入力された、既に復号化，生成，あるいは保持
されていた背景のテキスチャデータと上記前景画像のテ
クスチャーデータとを合成する画像合成手段１５０８と
を有している。
付加情報を用いて合成に必要な情報を算出する合成方法
決定手段１５０６と、上記復号化された形状データ及び
テキスチャデータ、合成方法決定手段１５０６から入力
された合成方法の情報に基づいて、第２の入力端子１５
１２から入力された、既に復号化，生成，あるいは保持
されていた背景のテキスチャデータと上記前景画像のテ
クスチャーデータとを合成する画像合成手段１５０８と
を有している。
【０１１１】ここで、上記画像合成手段１５０８は、上
記画像合成処理として、上記実施の形態１〜５のいずれ
かの画像合成方法による合成処理を行う構成となってい
る。
記画像合成処理として、上記実施の形態１〜５のいずれ
かの画像合成方法による合成処理を行う構成となってい
る。
【０１１２】次に動作について説明する。入力端子１５
００ａから上記ビットストリーム１２００が入力される
と、データ分離手段１５０２にて、該ビットストリーム
から、形状データ及びテキスチャデータを符号化した符
号化データが分割されるとともに、合成の方法、及び合
成を行う際に必要な付加情報が分離される。そしてこの
付加情報は合成方法決定手段１５０６に入力される。一
方、分割された符号化データは画像復号手段１５０４で
復号化される。
００ａから上記ビットストリーム１２００が入力される
と、データ分離手段１５０２にて、該ビットストリーム
から、形状データ及びテキスチャデータを符号化した符
号化データが分割されるとともに、合成の方法、及び合
成を行う際に必要な付加情報が分離される。そしてこの
付加情報は合成方法決定手段１５０６に入力される。一
方、分割された符号化データは画像復号手段１５０４で
復号化される。
【０１１３】そして、合成方法決定手段１５０６では、
入力された付加情報を用いて合成に必要な情報が算出さ
れる。また、画素合成手段１５０８では、復号化された
形状データ及びテキスチャデータ、合成方法決定手段１
５０６から入力された合成方法、及び第２の入力端子１
５１２から入力された、既に復号化，生成，あるいは保
持されていた背景のテキスチャデータを用いて合成処理
が行われる。合成されたデータは出力端子１５１０から
出力される。
入力された付加情報を用いて合成に必要な情報が算出さ
れる。また、画素合成手段１５０８では、復号化された
形状データ及びテキスチャデータ、合成方法決定手段１
５０６から入力された合成方法、及び第２の入力端子１
５１２から入力された、既に復号化，生成，あるいは保
持されていた背景のテキスチャデータを用いて合成処理
が行われる。合成されたデータは出力端子１５１０から
出力される。
【０１１４】実施の形態７．図１２〜図１５は本発明の
実施の形態７による画像合成方法を説明するための図で
ある。この実施の形態７の画像合成方法は、前景画像と
背景画像の間でテキスチャー信号を合成する際に、前景
の物体の形状を示す付加情報を参照して合成するもので
あり、これにより冗長な演算処理を削減するものであ
る。
実施の形態７による画像合成方法を説明するための図で
ある。この実施の形態７の画像合成方法は、前景画像と
背景画像の間でテキスチャー信号を合成する際に、前景
の物体の形状を示す付加情報を参照して合成するもので
あり、これにより冗長な演算処理を削減するものであ
る。
【０１１５】図１２は背景画像と前景画像の合成処理を
概念的に示しており、図において、１６００は背景のテ
キスチャー信号による背景画像画面（背景テキスチャー
空間）、１６０２は前景のテキスチャー信号による前景
画像画面（前景テキスチャー空間）、１６０４は前景の
形状信号による前景形状画面（前景形状空間）であり、
図２３における背景画像画面１００，前景画像画面１０
２，前景形状画面１０４と同一のものである。
概念的に示しており、図において、１６００は背景のテ
キスチャー信号による背景画像画面（背景テキスチャー
空間）、１６０２は前景のテキスチャー信号による前景
画像画面（前景テキスチャー空間）、１６０４は前景の
形状信号による前景形状画面（前景形状空間）であり、
図２３における背景画像画面１００，前景画像画面１０
２，前景形状画面１０４と同一のものである。
【０１１６】図１２では、前景画像画面１６０２内で物
体が占める割合は全体の半分以下となっている。このよ
うな場合、合成処理の判定が必要な箇所は物体を囲む領
域（以下物体領域ともいう。）１６０６内に含まれる画
素、もしくは該物体領域１６０６に隣接する物体外画素
のみであるので、それ以外の画素については背景画像１
６００のテキスチャーデータ（テキスチャー信号の各画
素に対応する値）をそのまま用いればよい。
体が占める割合は全体の半分以下となっている。このよ
うな場合、合成処理の判定が必要な箇所は物体を囲む領
域（以下物体領域ともいう。）１６０６内に含まれる画
素、もしくは該物体領域１６０６に隣接する物体外画素
のみであるので、それ以外の画素については背景画像１
６００のテキスチャーデータ（テキスチャー信号の各画
素に対応する値）をそのまま用いればよい。
【０１１７】従って、前景画像画面１６０４を形成する
形状信号から得られる物体領域１６０６の縦，横のサイ
ズ１６０８，１６１０、および該物体領域１６０６の前
景形状画面１６０４の左上からの距離を表す縦，横の変
位１６１２，１６１４などを示す情報を合成処理の際に
付加情報として受けるようにし、この付加情報を参照す
ることによって、前景画像画面１６０２内の物体を包含
する矩形領域１６０６の周辺のみについて合成処理が必
要かどうかの判定を行うようにしている。
形状信号から得られる物体領域１６０６の縦，横のサイ
ズ１６０８，１６１０、および該物体領域１６０６の前
景形状画面１６０４の左上からの距離を表す縦，横の変
位１６１２，１６１４などを示す情報を合成処理の際に
付加情報として受けるようにし、この付加情報を参照す
ることによって、前景画像画面１６０２内の物体を包含
する矩形領域１６０６の周辺のみについて合成処理が必
要かどうかの判定を行うようにしている。
【０１１８】図１３，１５は実施の形態７の合成方法に
より画像合成処理を行う装置のブロック構成を示す図で
ある。図１３に示す実施の形態７の画像合成装置１７０
０は、前景画像に対応する第１のビットストリームを受
け、該ビットストリームから、形状データ及びテキスチ
ャデータを符号化した符号化データを分離するととも
に、合成を行う際に必要な上記付加情報を分離するする
データ分離手段１７０２と、該分離手段から出力される
符号化データを復号化する画像復号手段１７０４と、上
記分離された付加情報を取得して出力する付加情報取得
手段１７０６とを有している。
より画像合成処理を行う装置のブロック構成を示す図で
ある。図１３に示す実施の形態７の画像合成装置１７０
０は、前景画像に対応する第１のビットストリームを受
け、該ビットストリームから、形状データ及びテキスチ
ャデータを符号化した符号化データを分離するととも
に、合成を行う際に必要な上記付加情報を分離するする
データ分離手段１７０２と、該分離手段から出力される
符号化データを復号化する画像復号手段１７０４と、上
記分離された付加情報を取得して出力する付加情報取得
手段１７０６とを有している。
【０１１９】また、上記復号合成装置１７００は、背景
画像と前景画像の間で上記物体領域内の画素に対応する
テキスチャー信号の合成を行う矩形領域内画素合成手段
１７１０を含み、上記付加情報取得手段１７０６からの
付加情報に基づいて、上記前景画像と背景画像の合成を
行う合成処理部１７０８を有している。
画像と前景画像の間で上記物体領域内の画素に対応する
テキスチャー信号の合成を行う矩形領域内画素合成手段
１７１０を含み、上記付加情報取得手段１７０６からの
付加情報に基づいて、上記前景画像と背景画像の合成を
行う合成処理部１７０８を有している。
【０１２０】ここで、上記画像合成手段１７１０は、上
記画像合成処理として、上記実施の形態１〜５のいずれ
かの画像合成方法による合成処理を行う構成となってい
る。また、上記合成処理部１７０８は、上記画像復号手
段１７０４からの復号化データの上記合成手段１７１０
への供給を上記付加情報取得手段１７０６からの付加情
報に基づいてオンオフする開閉スイッチ１７１６と、該
付加情報に基づいて、背景画像のテクスチャー信号と上
記合成手段１７１０の出力データの一方を選択する選択
スイッチ１７１８とを有している。
記画像合成処理として、上記実施の形態１〜５のいずれ
かの画像合成方法による合成処理を行う構成となってい
る。また、上記合成処理部１７０８は、上記画像復号手
段１７０４からの復号化データの上記合成手段１７１０
への供給を上記付加情報取得手段１７０６からの付加情
報に基づいてオンオフする開閉スイッチ１７１６と、該
付加情報に基づいて、背景画像のテクスチャー信号と上
記合成手段１７１０の出力データの一方を選択する選択
スイッチ１７１８とを有している。
【０１２１】次に動作について説明する。この画像合成
装置１７００の入力端子１７００ａには、テキスチャー
信号及び形状信号を符号化した、ビットストリーム１２
００のようなデータ構造を持つ符号化データが入力され
る。入力された符号化データはデータ分離手段１７０２
によって、各符号化データに分離される。一方、物体の
形状の大きさ、及び画面内の位置を示す情報は、付加情
報取得手段１７０６に入力される。
装置１７００の入力端子１７００ａには、テキスチャー
信号及び形状信号を符号化した、ビットストリーム１２
００のようなデータ構造を持つ符号化データが入力され
る。入力された符号化データはデータ分離手段１７０２
によって、各符号化データに分離される。一方、物体の
形状の大きさ、及び画面内の位置を示す情報は、付加情
報取得手段１７０６に入力される。
【０１２２】テキスチャー信号及び形状信号に対応する
各符号化データについては、画像復号手段１７０４にお
いて復号化される。なお、復号化手段１７０４について
は複数設け、複数の符号化データに対する復号処理を並
列で行ってもよい。
各符号化データについては、画像復号手段１７０４にお
いて復号化される。なお、復号化手段１７０４について
は複数設け、複数の符号化データに対する復号処理を並
列で行ってもよい。
【０１２３】復号化された形状信号及びテキスチャー信
号はスイッチ１７１６を介して画素合成手段１７０８に
入力され、また背景画像のテキスチャー信号は第２の入
力端子１７１４を介して合成処理部１７０８に入力さ
れ、背景画像と前景画像の間でテキスチャー信号の合成
が行われる。
号はスイッチ１７１６を介して画素合成手段１７０８に
入力され、また背景画像のテキスチャー信号は第２の入
力端子１７１４を介して合成処理部１７０８に入力さ
れ、背景画像と前景画像の間でテキスチャー信号の合成
が行われる。
【０１２４】つまり、合成処理部１７０８では、入力さ
れた物体の形状の大きさなどの情報を用いて、スイッチ
１７１６，１７１８により、矩形領域（物体領域）内の
画素である場合は、背景画像と前景画像の間でテキスチ
ャー信号の合成を行って出力し、矩形領域外の画素につ
いては、背景画像のテキスチャー信号をそのまま出力す
る。なお、ここでは、背景画像のテキスチャー信号は既
に復号化あるいは生成されてメモリに保持されたもので
あっても、符号化データを復号手段１７０４と同様な手
段で復号したものであってもよい。
れた物体の形状の大きさなどの情報を用いて、スイッチ
１７１６，１７１８により、矩形領域（物体領域）内の
画素である場合は、背景画像と前景画像の間でテキスチ
ャー信号の合成を行って出力し、矩形領域外の画素につ
いては、背景画像のテキスチャー信号をそのまま出力す
る。なお、ここでは、背景画像のテキスチャー信号は既
に復号化あるいは生成されてメモリに保持されたもので
あっても、符号化データを復号手段１７０４と同様な手
段で復号したものであってもよい。
【０１２５】上記合成処理部１７０８では、入力された
背景及び前景のテキスチャー信号及び前景の形状信号に
基づいて、別途入力された前景画面における物体の位置
及び大きさを表す付加情報を参照して、前景画面を構成
する画素に対する上記矩形領域内外の判定を行い、スイ
ッチ１７１６，１７１８を用いて、画素合成手段１７１
０による矩形領域内の合成処理と、該矩形領域外の合成
処理を切り替えて合成処理を行う。なお、矩形領域外の
画素については背景のテキスチャデータを用いればよ
い。
背景及び前景のテキスチャー信号及び前景の形状信号に
基づいて、別途入力された前景画面における物体の位置
及び大きさを表す付加情報を参照して、前景画面を構成
する画素に対する上記矩形領域内外の判定を行い、スイ
ッチ１７１６，１７１８を用いて、画素合成手段１７１
０による矩形領域内の合成処理と、該矩形領域外の合成
処理を切り替えて合成処理を行う。なお、矩形領域外の
画素については背景のテキスチャデータを用いればよ
い。
【０１２６】図１５は、上記実施の形態７の変形例によ
る画像合成装置の構成を示しており、この画像合成装置
１７０１は、図１３に示す画像合成装置の構成に加え
て、復号化した前景画面のテキスチャー信号及び形状信
号、並びに前景画面における物体の大きさの情報を保持
するメモリ１８０２を追加したものである。
る画像合成装置の構成を示しており、この画像合成装置
１７０１は、図１３に示す画像合成装置の構成に加え
て、復号化した前景画面のテキスチャー信号及び形状信
号、並びに前景画面における物体の大きさの情報を保持
するメモリ１８０２を追加したものである。
【０１２７】このメモリ１８０２を持つ画像合成装置１
７０１では、静止している画像を合成する際に、すでに
復号化されているデータを用いることによって処理量を
削減できる。メモリ１８０２では、復号化した形状信号
及びテキスチャー信号の他に、復号化の際に得られた形
状画面における矩形領域（物体領域）の大きさ、位置、
または該矩形領域の境界位置を示す付加情報を保持して
おり、画像の合成を行う際に、これらの情報を画素合成
手段１７１０に入力することによって、図１３に示す画
像合成装置１７００と同様の処理を行う。このように矩
形領域の境界の位置などの情報を合成処理部１７０８に
送ることによって、処理対象の画素が境界部分に位置す
るかどうかを判定する処理を削減することができる。
７０１では、静止している画像を合成する際に、すでに
復号化されているデータを用いることによって処理量を
削減できる。メモリ１８０２では、復号化した形状信号
及びテキスチャー信号の他に、復号化の際に得られた形
状画面における矩形領域（物体領域）の大きさ、位置、
または該矩形領域の境界位置を示す付加情報を保持して
おり、画像の合成を行う際に、これらの情報を画素合成
手段１７１０に入力することによって、図１３に示す画
像合成装置１７００と同様の処理を行う。このように矩
形領域の境界の位置などの情報を合成処理部１７０８に
送ることによって、処理対象の画素が境界部分に位置す
るかどうかを判定する処理を削減することができる。
【０１２８】また、上記画像合成を行う際に参照する矩
形領域の位置やサイズ等の情報は、付加情報取得手段１
７０６を用いずに復号化手段１７０４から合成処理部１
７０８に直接送られてもよいものとする。このような合
成処理によって、前景と背景との間でテキスチャーデー
タの合成処理を行うか否かの判定を行う必要のある前景
画面内の領域を限定することが可能となり、この判定に
必要な冗長な演算処理を削減することができる。さら
に、付加情報の中に、背景画面上に合成して表示する前
景画面のサイズ及び位置等の情報を記述してもよいもの
とする。
形領域の位置やサイズ等の情報は、付加情報取得手段１
７０６を用いずに復号化手段１７０４から合成処理部１
７０８に直接送られてもよいものとする。このような合
成処理によって、前景と背景との間でテキスチャーデー
タの合成処理を行うか否かの判定を行う必要のある前景
画面内の領域を限定することが可能となり、この判定に
必要な冗長な演算処理を削減することができる。さら
に、付加情報の中に、背景画面上に合成して表示する前
景画面のサイズ及び位置等の情報を記述してもよいもの
とする。
【０１２９】これについて図１４を用いて説明する。図
１４中、図１２と同一符号は上記実施の形態７で説明し
たものと同一のものである。背景テキスチャー信号（画
面１６００）、前景テキスチャー信号（画面１６０２）
及び前景形状信号（画面１６０４）を用いて、前景画像
と背景画像との合成する場合には、合成した画像を拡大
して表示したり、合成した画像を、別の合成用の画面に
表示したりする場合がある。その場合、合成画像１６０
０ａの、別の合成画面２７００ａ上での位置２７０４，
２７０２や画像サイズ２７０８，２７０６を同様に入力
することによって、合成画像に応じて表示位置及び表示
のサイズを変更することもできる。
１４中、図１２と同一符号は上記実施の形態７で説明し
たものと同一のものである。背景テキスチャー信号（画
面１６００）、前景テキスチャー信号（画面１６０２）
及び前景形状信号（画面１６０４）を用いて、前景画像
と背景画像との合成する場合には、合成した画像を拡大
して表示したり、合成した画像を、別の合成用の画面に
表示したりする場合がある。その場合、合成画像１６０
０ａの、別の合成画面２７００ａ上での位置２７０４，
２７０２や画像サイズ２７０８，２７０６を同様に入力
することによって、合成画像に応じて表示位置及び表示
のサイズを変更することもできる。
【０１３０】実施の形態８．図１６及び図１７は本発明
の実施の形態８による画像合成方法を説明するための図
である。この実施の形態８の画像合成方法は、合成処理
を行う際に、物体内及び物体外の画素の位置をあらかじ
め調べることによって、合成処理を行うか否かの冗長な
判定処理を削減するものである。図１６及び図１７は、
所定の画像の形状信号により得られる形状画面を示して
いる。図中の枡目１つが一画素に相当しており、色のつ
いている画素（例えば画素１９０２など）は物体内であ
ることを示し、色のついていない画素（例えば１９０４
など）は物体外であることを示している。
の実施の形態８による画像合成方法を説明するための図
である。この実施の形態８の画像合成方法は、合成処理
を行う際に、物体内及び物体外の画素の位置をあらかじ
め調べることによって、合成処理を行うか否かの冗長な
判定処理を削減するものである。図１６及び図１７は、
所定の画像の形状信号により得られる形状画面を示して
いる。図中の枡目１つが一画素に相当しており、色のつ
いている画素（例えば画素１９０２など）は物体内であ
ることを示し、色のついていない画素（例えば１９０４
など）は物体外であることを示している。
【０１３１】本発明の実施の形態１、２、３で述べた画
像合成方法は、合成処理の対象となる被処理画素を中心
とした対象領域１９１０，１９１０内の画素の情報を用
いて、被処理画素の合成比率及びテキスチャーデータを
算出するものである。
像合成方法は、合成処理の対象となる被処理画素を中心
とした対象領域１９１０，１９１０内の画素の情報を用
いて、被処理画素の合成比率及びテキスチャーデータを
算出するものである。
【０１３２】ところで、実施の形態１〜３で述べた、前
景と背景の境界部分における画素の形状データに対する
処理が必要な部分は、例えば、物体内のみの画素に対す
る処理については、図１６中の白抜きの矢印１９０６で
示した部分、もしくは白抜きの矢印１９０６で示した部
分に隣接する画素になる。また、図１７中の白抜きの矢
印２００２で示した、境界に隣接することなく物体内に
位置している画素、もしくは黒塗り矢印２００４で示し
た、物体外に位置する画素については、実施の形態１〜
３の画像合成方法による境界部分の画素に対する処理を
施す必要はない。
景と背景の境界部分における画素の形状データに対する
処理が必要な部分は、例えば、物体内のみの画素に対す
る処理については、図１６中の白抜きの矢印１９０６で
示した部分、もしくは白抜きの矢印１９０６で示した部
分に隣接する画素になる。また、図１７中の白抜きの矢
印２００２で示した、境界に隣接することなく物体内に
位置している画素、もしくは黒塗り矢印２００４で示し
た、物体外に位置する画素については、実施の形態１〜
３の画像合成方法による境界部分の画素に対する処理を
施す必要はない。
【０１３３】従って、図１６及び図１７に示すようにあ
らかじめ形状信号（該形状信号から得られる形状画面１
９００，２０００）を検索し、境界部分の画素に対する
処理が必要な部分の始点と終点、境界部分の画素に対す
る処理が不必要な画素位置の始点と終点を検索する。そ
して、検索した画素位置の情報を用いて境界部分とそれ
以外の箇所に対して処理を分けて行う。これにより、一
画素ずつ判定処理を行った場合と比べて冗長な処理を削
減することができる。
らかじめ形状信号（該形状信号から得られる形状画面１
９００，２０００）を検索し、境界部分の画素に対する
処理が必要な部分の始点と終点、境界部分の画素に対す
る処理が不必要な画素位置の始点と終点を検索する。そ
して、検索した画素位置の情報を用いて境界部分とそれ
以外の箇所に対して処理を分けて行う。これにより、一
画素ずつ判定処理を行った場合と比べて冗長な処理を削
減することができる。
【０１３４】図１８は、図１６及び図１７に示す形状信
号を検索処理して、画像の合成を行う画像合成装置を説
明するためのブロック図である。この画像合成装置２１
００は、入力端子２１００ａから入力される形状信号に
基づいて、物体の境界位置を判定する境界位置判定手段
２１０４と、境界位置判定手段２１０４での境界位置の
判定結果に基づいて、合成処理の対象となる被処理画素
の合成比率を算出する合成比率生成手段２１０６とを有
している。また、この画像合成装置２１００は、第２の
入力端子２１０２から入力された、処理対象となる前景
画像のテキスチャーデータ（テキスチャー信号の画素
値）と、第３の入力端子２１１６から入力された背景画
像のテキスチャーデータ（テキスチャー信号の画素値）
とを、合成比率生成手段２１０６によって算出された合
成比率に基づいて合成して、合成画像のテキスチャーデ
ータを求める合成処理部２１１０を有している。
号を検索処理して、画像の合成を行う画像合成装置を説
明するためのブロック図である。この画像合成装置２１
００は、入力端子２１００ａから入力される形状信号に
基づいて、物体の境界位置を判定する境界位置判定手段
２１０４と、境界位置判定手段２１０４での境界位置の
判定結果に基づいて、合成処理の対象となる被処理画素
の合成比率を算出する合成比率生成手段２１０６とを有
している。また、この画像合成装置２１００は、第２の
入力端子２１０２から入力された、処理対象となる前景
画像のテキスチャーデータ（テキスチャー信号の画素
値）と、第３の入力端子２１１６から入力された背景画
像のテキスチャーデータ（テキスチャー信号の画素値）
とを、合成比率生成手段２１０６によって算出された合
成比率に基づいて合成して、合成画像のテキスチャーデ
ータを求める合成処理部２１１０を有している。
【０１３５】また、上記合成処理部２１１０は、境界付
近に位置する画素の合成処理を行う境界付近の画素合成
手段２１１２と、境界付近以外に位置する画素の合成処
理を行う境界内の画素合成手段２１１４と、境界位置判
定手段２１０８からの境界位置の情報に基づいて、第２
の入力端子２１０２からの、処理対象となる前景画像の
テキスチャーデータを、画素合成手段２１１２と画素合
成手段２１１４の一方に供給するスイッチ２１２２と、
境界位置の情報に基づいて、上記画素合成手段２１１２
の出力，上記画素合成手段２１１４の出力，及び上記第
３の入力端子２１１６から入力された背景画像のテキス
チャーデータのいずれかを選択するスイッチ２１２４と
を有している。
近に位置する画素の合成処理を行う境界付近の画素合成
手段２１１２と、境界付近以外に位置する画素の合成処
理を行う境界内の画素合成手段２１１４と、境界位置判
定手段２１０８からの境界位置の情報に基づいて、第２
の入力端子２１０２からの、処理対象となる前景画像の
テキスチャーデータを、画素合成手段２１１２と画素合
成手段２１１４の一方に供給するスイッチ２１２２と、
境界位置の情報に基づいて、上記画素合成手段２１１２
の出力，上記画素合成手段２１１４の出力，及び上記第
３の入力端子２１１６から入力された背景画像のテキス
チャーデータのいずれかを選択するスイッチ２１２４と
を有している。
【０１３６】まず、この合成装置２１００の入力端子２
１００ａから形状信号が入力されると、入力された形状
信号は、境界位置判定手段２１０４によって、物体の境
界位置が判定される。境界位置判定手段２１０４でもし
境界位置の画素であると判定された場合は、合成比率生
成手段２１０６にて合成処理の対象となる被処理画素の
合成比率が算出される。合成処理部２１１０では、第２
の入力端子２１０２から入力された、処理対象となる前
景画像のテキスチャーデータ（テキスチャー信号の画素
値）と、第３の入力端子２１１６から入力された背景画
像のテキスチャーデータ（テキスチャー信号の画素値）
と、合成比率生成手段２１０６によって算出された合成
比率とを用いて、合成画像のテキスチャーデータが求め
られる。
１００ａから形状信号が入力されると、入力された形状
信号は、境界位置判定手段２１０４によって、物体の境
界位置が判定される。境界位置判定手段２１０４でもし
境界位置の画素であると判定された場合は、合成比率生
成手段２１０６にて合成処理の対象となる被処理画素の
合成比率が算出される。合成処理部２１１０では、第２
の入力端子２１０２から入力された、処理対象となる前
景画像のテキスチャーデータ（テキスチャー信号の画素
値）と、第３の入力端子２１１６から入力された背景画
像のテキスチャーデータ（テキスチャー信号の画素値）
と、合成比率生成手段２１０６によって算出された合成
比率とを用いて、合成画像のテキスチャーデータが求め
られる。
【０１３７】なお、上記合成処理の際には、境界位置判
定手段２１０８から入力された境界位置の情報に応じ
て、スイッチ２１２２，２１２４により、合成手段２１
１２による境界付近に位置する画素の合成処理と、合成
手段２１１４による境界付近以外の合成処理の切り換え
が行われる。
定手段２１０８から入力された境界位置の情報に応じ
て、スイッチ２１２２，２１２４により、合成手段２１
１２による境界付近に位置する画素の合成処理と、合成
手段２１１４による境界付近以外の合成処理の切り換え
が行われる。
【０１３８】このように、境界付近の画素に必要な合成
比率の算出処理を必要な画素にのみ行うことによって処
理量を削減することができる。なお、合成比率生成手段
２１０６による合成比率の算出処理は、合成比率生成手
段ではなく、境界付近の画素合成手段２１１２にて上記
合成比率を算出して、合成処理を行うようにしてもよ
い。
比率の算出処理を必要な画素にのみ行うことによって処
理量を削減することができる。なお、合成比率生成手段
２１０６による合成比率の算出処理は、合成比率生成手
段ではなく、境界付近の画素合成手段２１１２にて上記
合成比率を算出して、合成処理を行うようにしてもよ
い。
【０１３９】さらに、本実施の形態８の画像合成方法
を、実施の形態７の画像合成方法と組み合わせて、つま
り、実施の形態８の画像合成方法にて、物体の形状の大
きさ等を示す付加情報を用い、物体の形状を包含する矩
形領域内に対して、本実施の形態８の形状信号を検索す
る処理を行うことによって、物体内外の判定に要する冗
長な演算処理をさらに削減することができる。
を、実施の形態７の画像合成方法と組み合わせて、つま
り、実施の形態８の画像合成方法にて、物体の形状の大
きさ等を示す付加情報を用い、物体の形状を包含する矩
形領域内に対して、本実施の形態８の形状信号を検索す
る処理を行うことによって、物体内外の判定に要する冗
長な演算処理をさらに削減することができる。
【０１４０】実施の形態９．図１９は本発明の実施の形
態９による画像合成方法を説明するための図である。こ
の実施の形態９の画像合成方法は、テキスチャー信号と
形状信号の解像度が異なる前景画像の画像信号を、背景
画像の画像信号に合成する際、形状信号の解像度にあわ
せて上記テキスチャー信号としての色差信号を解像度変
換し、前景画像と背景画像との間で色差信号の合成処理
を行うものである。
態９による画像合成方法を説明するための図である。こ
の実施の形態９の画像合成方法は、テキスチャー信号と
形状信号の解像度が異なる前景画像の画像信号を、背景
画像の画像信号に合成する際、形状信号の解像度にあわ
せて上記テキスチャー信号としての色差信号を解像度変
換し、前景画像と背景画像との間で色差信号の合成処理
を行うものである。
【０１４１】図１９には、前景画像と背景画像の色差信
号を、解像度変換したのちに合成する処理が概念的に示
されている。図１９中の２２００、２２０４、２２０６
はそれぞれ、図２６中の前景画像の形状画素２５００、
前景画像の色画素２５０４、背景画像の色画素２５０６
と同じものである。
号を、解像度変換したのちに合成する処理が概念的に示
されている。図１９中の２２００、２２０４、２２０６
はそれぞれ、図２６中の前景画像の形状画素２５００、
前景画像の色画素２５０４、背景画像の色画素２５０６
と同じものである。
【０１４２】以下、図１９を用いて説明する。まず、前
景の形状画素２２００の画素値（形状データ）を参照し
て、対応する色画素２２０４の画素値（色差データ）
を、形状データと同じサイズ（解像度）に変換して、色
差画素２２０２を得る。なお、解像度変換の方法につい
てはMPEG4 で規定されている方法(MPEG-4 Video Verifi
cation Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796)
中2.2.2 filtering process)を用いるものとする。同
様に背景の色画素２２０６の画素値（色差データ）につ
いても、合成の際のサイズが異なる場合については、解
像度変換により上記２×２サイズの色画素２２０６から
４×４サイズの色画素２２０４を求める。
景の形状画素２２００の画素値（形状データ）を参照し
て、対応する色画素２２０４の画素値（色差データ）
を、形状データと同じサイズ（解像度）に変換して、色
差画素２２０２を得る。なお、解像度変換の方法につい
てはMPEG4 で規定されている方法(MPEG-4 Video Verifi
cation Model Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796)
中2.2.2 filtering process)を用いるものとする。同
様に背景の色画素２２０６の画素値（色差データ）につ
いても、合成の際のサイズが異なる場合については、解
像度変換により上記２×２サイズの色画素２２０６から
４×４サイズの色画素２２０４を求める。
【０１４３】解像度変換された前景，背景の色画素２２
０２，２２０４および形状画素２２０２の画素値を用い
て前景と背景との間で色差データの合成を行う。なお、
この合成により、合成色画素２２１０が得られるものと
する。上記合成色画素２２１０と、従来の合成してから
解像度変換を行った場合の合成色画素２５１０を比べた
場合、上記合成色画素２２１０のほうが物体内の画素の
画素値が物体外画素に影響していないことがわかる。
０２，２２０４および形状画素２２０２の画素値を用い
て前景と背景との間で色差データの合成を行う。なお、
この合成により、合成色画素２２１０が得られるものと
する。上記合成色画素２２１０と、従来の合成してから
解像度変換を行った場合の合成色画素２５１０を比べた
場合、上記合成色画素２２１０のほうが物体内の画素の
画素値が物体外画素に影響していないことがわかる。
【０１４４】従って、図２６に示すように解像度が高い
形状信号を一度解像度を落として、解像度を落とした形
状信号を用いて色差信号の合成を行い、合成した色差信
号の解像度を上げるという処理を行うよりも、図１９に
示すように高い解像度（この場合は形状信号）にあわせ
て、色差信号の合成を行ったほうが画像の劣化が少なく
なる。
形状信号を一度解像度を落として、解像度を落とした形
状信号を用いて色差信号の合成を行い、合成した色差信
号の解像度を上げるという処理を行うよりも、図１９に
示すように高い解像度（この場合は形状信号）にあわせ
て、色差信号の合成を行ったほうが画像の劣化が少なく
なる。
【０１４５】図２０は、形状信号を構成する形状データ
と、テキスチャー信号としての輝度信号を構成する輝度
データを画素毎に示す概念図である。図２０中の８×８
の形状画素８００、８×８の輝度画素３００は、図２５
に示した形状画素３００と図５に示したテキスチャー画
素８００と同じものを表している。
と、テキスチャー信号としての輝度信号を構成する輝度
データを画素毎に示す概念図である。図２０中の８×８
の形状画素８００、８×８の輝度画素３００は、図２５
に示した形状画素３００と図５に示したテキスチャー画
素８００と同じものを表している。
【０１４６】図２０において、２３０２，２３０４は輝
度画素８００に対応する２つの色画素を表している。図
２０に示す形状画素８００は輝度画素３００と同じ画素
数であるが、色画素２３０２，２３０４の画素数は、形
状画素８００や輝度画素３００の画素数の１／４である
ため、このままでは、色差信号と輝度信号及び形状信号
との間で画素の対応がとれない。
度画素８００に対応する２つの色画素を表している。図
２０に示す形状画素８００は輝度画素３００と同じ画素
数であるが、色画素２３０２，２３０４の画素数は、形
状画素８００や輝度画素３００の画素数の１／４である
ため、このままでは、色差信号と輝度信号及び形状信号
との間で画素の対応がとれない。
【０１４７】そこで、前景画像と背景画像の合成の際
に、色差信号を形状信号の画素数にあわせて解像度変換
を行って８×８の色画素２３０６，２３０８を得る。こ
の解像度変換の方法についてはMPEG4 で規定されている
方法(MPEG-4 Video Verification Model Ver8.0(ISO/IE
C JTC1/SC29/WG11 N1796) 中2.2.2 filtering proces
s)を用いてもよい。具体的には、隣接する画素を重み付
け平均することで、画素を補間して解像度変換を行う。
に、色差信号を形状信号の画素数にあわせて解像度変換
を行って８×８の色画素２３０６，２３０８を得る。こ
の解像度変換の方法についてはMPEG4 で規定されている
方法(MPEG-4 Video Verification Model Ver8.0(ISO/IE
C JTC1/SC29/WG11 N1796) 中2.2.2 filtering proces
s)を用いてもよい。具体的には、隣接する画素を重み付
け平均することで、画素を補間して解像度変換を行う。
【０１４８】なお、物体内外の境界部分の画素を解像度
変換する際には、物体外の画素の色差データは不定の値
を持っているので、物体内の画素の色差データを対応す
る色差データとして用いることによって解像度変換を行
う。そして、解像度変換した色差データに対して、対応
する形状データを参照して、前景画像と背景画像の間で
の合成処理を施す。合成の方法については上述した本発
明の実施の形態の合成方法を用いればよい。
変換する際には、物体外の画素の色差データは不定の値
を持っているので、物体内の画素の色差データを対応す
る色差データとして用いることによって解像度変換を行
う。そして、解像度変換した色差データに対して、対応
する形状データを参照して、前景画像と背景画像の間で
の合成処理を施す。合成の方法については上述した本発
明の実施の形態の合成方法を用いればよい。
【０１４９】本実施の形態では、色差信号と形状信号の
解像度が異なる場合には、解像度変換を行って合成を行
う合成方法について述べたが、テキスチャー信号（輝度
信号、色差信号）と形状信号を、それぞれ表示する画面
に適応する大きさに解像度変換した後に前景と背景を合
成し、表示してもよい。この場合のテキスチャー信号の
解像度変換の方法については前述の方法を用いればよ
い。また、形状信号の解像度変換についてはMPEG-4記載
の方法(MPEG-4 Video Verification Model Ver8.0(ISO/
IEC JTC1/SC29/WG11 N1796) 中3.2.5 size conversion)
を用いればよい。
解像度が異なる場合には、解像度変換を行って合成を行
う合成方法について述べたが、テキスチャー信号（輝度
信号、色差信号）と形状信号を、それぞれ表示する画面
に適応する大きさに解像度変換した後に前景と背景を合
成し、表示してもよい。この場合のテキスチャー信号の
解像度変換の方法については前述の方法を用いればよ
い。また、形状信号の解像度変換についてはMPEG-4記載
の方法(MPEG-4 Video Verification Model Ver8.0(ISO/
IEC JTC1/SC29/WG11 N1796) 中3.2.5 size conversion)
を用いればよい。
【０１５０】以下、図２１を用いて解像度変換を行った
後に合成処理を行う合成装置について説明する。この画
像合成装置２４００は、上記第１の入力端子２４００か
ら入力された形状信号に対して、表示する画面のサイズ
（解像度）に合わせて解像度変換を行う第１の解像度変
換手段（形状情報解像度変換手段）２４０６と、第２の
入力端子２４０２から入力されたテキスチャー信号に対
して、形状信号のサイズ（解像度）にあわせて解像度変
換を行う第２の解像度変換手段（画素情報解像度変換手
段）２４０８と、第３の入力端子２４０４から入力され
る背景のテキスチャー信号に対して解像度変換を行う第
３の解像度変換手段（画素情報解像度変換手段）２４１
０とを有している。また、上記画像合成装置２４００
は、上記第１，第２，第３の解像度変換手段２４０６、
２４０８、２４１０の出力を受け、前景画像と背景画像
との間でテキスチャー信号の合成処理を行う画素合成手
段２４１２を有し、合成されたテキスチャー信号を出力
端子２４２０に出力する構成となっている。
後に合成処理を行う合成装置について説明する。この画
像合成装置２４００は、上記第１の入力端子２４００か
ら入力された形状信号に対して、表示する画面のサイズ
（解像度）に合わせて解像度変換を行う第１の解像度変
換手段（形状情報解像度変換手段）２４０６と、第２の
入力端子２４０２から入力されたテキスチャー信号に対
して、形状信号のサイズ（解像度）にあわせて解像度変
換を行う第２の解像度変換手段（画素情報解像度変換手
段）２４０８と、第３の入力端子２４０４から入力され
る背景のテキスチャー信号に対して解像度変換を行う第
３の解像度変換手段（画素情報解像度変換手段）２４１
０とを有している。また、上記画像合成装置２４００
は、上記第１，第２，第３の解像度変換手段２４０６、
２４０８、２４１０の出力を受け、前景画像と背景画像
との間でテキスチャー信号の合成処理を行う画素合成手
段２４１２を有し、合成されたテキスチャー信号を出力
端子２４２０に出力する構成となっている。
【０１５１】次に動作について説明する。
【０１５２】まず、この装置２４００の第１の入力端子
２４００ａから物体の形状を表す前景画像の形状信号が
入力され、第２の入力端子２４０２から形状信号に対応
する前景画像のテキスチャー信号が入力される。また第
３の入力端子２４０４からは、背景画像のテキスチャー
信号が入力される。
２４００ａから物体の形状を表す前景画像の形状信号が
入力され、第２の入力端子２４０２から形状信号に対応
する前景画像のテキスチャー信号が入力される。また第
３の入力端子２４０４からは、背景画像のテキスチャー
信号が入力される。
【０１５３】上記第１の入力端子２４００から入力され
た形状信号は、必要であれば、第１の解像度変換手段２
４０６により、表示する画面のサイズ（解像度）に合わ
せて解像度変換処理が施される。第２の入力端子２４０
２から入力されたテキスチャー信号は、第２の解像度変
換手段２４０８により形状信号のサイズ（解像度）にあ
わせて解像度変換処理が施される。さらに第３の入力端
子２４０４から入力される背景のテキスチャー信号につ
いても必要であれば、第３の解像度変換手段２４１０に
より解像度変換処理が施される。そして、上記第１，第
２，第３の解像度変換手段２４０６、２４０８、２４１
０の出力は、画素合成手段２４１２に入力され、前景画
像と背景画像との間でテキスチャー信号の合成処理が行
われる。合成されたテキスチャー信号は出力端子２４２
０から出力される。
た形状信号は、必要であれば、第１の解像度変換手段２
４０６により、表示する画面のサイズ（解像度）に合わ
せて解像度変換処理が施される。第２の入力端子２４０
２から入力されたテキスチャー信号は、第２の解像度変
換手段２４０８により形状信号のサイズ（解像度）にあ
わせて解像度変換処理が施される。さらに第３の入力端
子２４０４から入力される背景のテキスチャー信号につ
いても必要であれば、第３の解像度変換手段２４１０に
より解像度変換処理が施される。そして、上記第１，第
２，第３の解像度変換手段２４０６、２４０８、２４１
０の出力は、画素合成手段２４１２に入力され、前景画
像と背景画像との間でテキスチャー信号の合成処理が行
われる。合成されたテキスチャー信号は出力端子２４２
０から出力される。
【０１５４】なお、解像度変換は上述のような拡大処理
だけではなく、表示する画面の大きさが小さい場合に
は、入力された形状信号及びテキスチャー信号を、適応
する画像サイズに縮小処理を行った後に合成処理を行っ
てもよいものとする。さらに必要に応じて前景のみ、も
しくは背景のみを拡大、縮小して合成することもでき
る。また、テキスチャー信号を構成する輝度信号と色差
信号とで、拡大や縮小処理を独立して行うようにしても
よい。
だけではなく、表示する画面の大きさが小さい場合に
は、入力された形状信号及びテキスチャー信号を、適応
する画像サイズに縮小処理を行った後に合成処理を行っ
てもよいものとする。さらに必要に応じて前景のみ、も
しくは背景のみを拡大、縮小して合成することもでき
る。また、テキスチャー信号を構成する輝度信号と色差
信号とで、拡大や縮小処理を独立して行うようにしても
よい。
【０１５５】また、上記実施の形態９では、色差信号の
解像度が輝度信号の解像度の１／４である場合，つまり
色差信号の解像度が水平方向及び垂直方向ともに輝度信
号の解像度の１／２である場合について説明したが、上
記実施の形態９のように、色差信号を解像度変換した
後、前景画像と背景画像との間で色差信号の合成処理を
行う画像合成方法において、輝度信号の解像度に対する
色差信号の解像度の割合は上記のものに限らない。例え
ば、色差信号の水平方向の解像度が輝度信号の解像度の
１／２であり、色差信号の垂直方向の解像度が輝度信号
の解像度と同一である場合でも、上記実施の形態９と同
様な画像合成処理を行うことができる。
解像度が輝度信号の解像度の１／４である場合，つまり
色差信号の解像度が水平方向及び垂直方向ともに輝度信
号の解像度の１／２である場合について説明したが、上
記実施の形態９のように、色差信号を解像度変換した
後、前景画像と背景画像との間で色差信号の合成処理を
行う画像合成方法において、輝度信号の解像度に対する
色差信号の解像度の割合は上記のものに限らない。例え
ば、色差信号の水平方向の解像度が輝度信号の解像度の
１／２であり、色差信号の垂直方向の解像度が輝度信号
の解像度と同一である場合でも、上記実施の形態９と同
様な画像合成処理を行うことができる。
【０１５６】実施の形態１０．さらに、上記各実施の形
態で示した画像合成方法による合成処理を実現するため
の画像合成プログラムを、フロッピーディスク等のデー
タ記憶媒体に記録するようにすることにより、上記各実
施の形態で示した処理を、独立したコンピュータシステ
ムにおいて簡単に実施することが可能となる。
態で示した画像合成方法による合成処理を実現するため
の画像合成プログラムを、フロッピーディスク等のデー
タ記憶媒体に記録するようにすることにより、上記各実
施の形態で示した処理を、独立したコンピュータシステ
ムにおいて簡単に実施することが可能となる。
【０１５７】図２２は、上記実施の形態１から９の画像
合成処理を、上記符号化あるいは復号化プログラムを格
納したフロッピーディスクを用いて、コンピュータシス
テムにより実施する場合の説明図である。図２２(a)
は、フロッピーディスクの正面からみた外観、断面構
造、及びフロッピーディスクを示し、図２２(b) は、記
録媒体本体であるフロッピーディスクＤの物理フォーマ
ットの例を示している。フロッピーディスクＤはケース
Ｆ内に内蔵され、該ディスクの表面には、同心円状に外
周からは内周に向かって複数のトラックＴｒが形成さ
れ、各トラックは角度方向に１５のセクタＳｅに分割さ
れている。従って、上記プログラムを格納したフロッピ
ーディスクでは、上記フロッピーディスクＤ上に割り当
てられた領域に、上記プログラムとしてのデータが記録
されている。
合成処理を、上記符号化あるいは復号化プログラムを格
納したフロッピーディスクを用いて、コンピュータシス
テムにより実施する場合の説明図である。図２２(a)
は、フロッピーディスクの正面からみた外観、断面構
造、及びフロッピーディスクを示し、図２２(b) は、記
録媒体本体であるフロッピーディスクＤの物理フォーマ
ットの例を示している。フロッピーディスクＤはケース
Ｆ内に内蔵され、該ディスクの表面には、同心円状に外
周からは内周に向かって複数のトラックＴｒが形成さ
れ、各トラックは角度方向に１５のセクタＳｅに分割さ
れている。従って、上記プログラムを格納したフロッピ
ーディスクでは、上記フロッピーディスクＤ上に割り当
てられた領域に、上記プログラムとしてのデータが記録
されている。
【０１５８】また、図２２(c) は、フロッピーディスク
Ｄに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクＦＤに記録す
る場合は、コンピュータシステムＣｓから上記プログラ
ムとしてのデータをフロッピーディスクドライブＦＤＤ
を介して書き込む。また、フロッピーディスクＦＤ内の
プログラムにより上記符号化あるいは復号化装置をコン
ピュータシステム中に構築する場合は、フロッピーディ
スクドライブＦＤＤによりプログラムをフロッピーディ
スクＦＤから読み出し、コンピュータシステムに転送す
る。
Ｄに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクＦＤに記録す
る場合は、コンピュータシステムＣｓから上記プログラ
ムとしてのデータをフロッピーディスクドライブＦＤＤ
を介して書き込む。また、フロッピーディスクＦＤ内の
プログラムにより上記符号化あるいは復号化装置をコン
ピュータシステム中に構築する場合は、フロッピーディ
スクドライブＦＤＤによりプログラムをフロッピーディ
スクＦＤから読み出し、コンピュータシステムに転送す
る。
【０１５９】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても同様に行うことができる。また、記録媒
体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プ
ログラムを記録できるものであれば同様に実施すること
ができる。
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても同様に行うことができる。また、記録媒
体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プ
ログラムを記録できるものであれば同様に実施すること
ができる。
【０１６０】また、上述した実施の形態の画像合成方法
では、境界部分に位置する画素に対して、境界部分に跨
がって並ぶ画素の形状データもしくはテキスチャーデー
タに対して平滑化を行った後に、合成を行っているが、
一画素ずつ境界部分に位置する画素かどうかを判定せず
に、あらかじめ境界部分の判定を行ってから境界部分に
ついては本発明の合成方法を適用し、それ以外の物体内
画素については従来の処理を行うことによって、冗長な
判定処理を削減することができる。
では、境界部分に位置する画素に対して、境界部分に跨
がって並ぶ画素の形状データもしくはテキスチャーデー
タに対して平滑化を行った後に、合成を行っているが、
一画素ずつ境界部分に位置する画素かどうかを判定せず
に、あらかじめ境界部分の判定を行ってから境界部分に
ついては本発明の合成方法を適用し、それ以外の物体内
画素については従来の処理を行うことによって、冗長な
判定処理を削減することができる。
【０１６１】また、テキスチャー信号は、輝度信号と色
差信号とから構成されているので、輝度信号に対する合
成処理における、被処理画素を含む対象領域を大きさ
と、色差信号に対する合成処理における、被処理画素を
含む対象領域を大きさとを独立して設定してもよく、ま
た、輝度信号と色差信号とで異なる合成処理を行うよう
にしてもよい。
差信号とから構成されているので、輝度信号に対する合
成処理における、被処理画素を含む対象領域を大きさ
と、色差信号に対する合成処理における、被処理画素を
含む対象領域を大きさとを独立して設定してもよく、ま
た、輝度信号と色差信号とで異なる合成処理を行うよう
にしてもよい。
【０１６２】さらに、上記各実施の形態では、前景画像
と背景画像の間での輝度データあるいは色差データの合
成処理を（式１）に定義される演算処理により行ってい
るが、この演算式として、該演算処理における乗数ある
いは除数が２の累乗の数となるよう変形したものを用い
ることにより、上記演算処理を簡単なものとすることが
できる。つまり、演算器での被乗数あるいは被除数のビ
ットシフト処理により、被乗数と乗数の積、あるいは被
除数の除数による商を簡単に求めることができる。
と背景画像の間での輝度データあるいは色差データの合
成処理を（式１）に定義される演算処理により行ってい
るが、この演算式として、該演算処理における乗数ある
いは除数が２の累乗の数となるよう変形したものを用い
ることにより、上記演算処理を簡単なものとすることが
できる。つまり、演算器での被乗数あるいは被除数のビ
ットシフト処理により、被乗数と乗数の積、あるいは被
除数の除数による商を簡単に求めることができる。
【０１６３】具体的には、上記（式１）は、alpha が0
＜alpha ＜255 の範囲の値である場合、以下の式３のよ
うに変形することができる。
＜alpha ＜255 の範囲の値である場合、以下の式３のよ
うに変形することができる。
【０１６４】 pel ＝（alpha ×fgpel ＋(256−alpha)×bgpel ）／256 …（式３） ただし、この式３では、alpha ＝０のときpel ＝bgpel
、alpha ＝255 のときpel ＝fgpel となる。
、alpha ＝255 のときpel ＝fgpel となる。
【０１６５】また、上記（式１）は、alpha がalpha ＜
0 の範囲の値である場合、以下の式４のように変形する
ことができる。 pel ＝((alpha ＋1)×fgpel ＋(255−alpha)×bgpel ）／256 …（式４） ただし、この式４では、alpha ＝０のときpel ＝bgpel
となる。また、図２(c) ，図３(c) ，図７，図８に示さ
れる合成後の画素値pel を求める式も、上記と同様な変
形を行うことにより、演算処理の簡略化を図ることがで
きる。
0 の範囲の値である場合、以下の式４のように変形する
ことができる。 pel ＝((alpha ＋1)×fgpel ＋(255−alpha)×bgpel ）／256 …（式４） ただし、この式４では、alpha ＝０のときpel ＝bgpel
となる。また、図２(c) ，図３(c) ，図７，図８に示さ
れる合成後の画素値pel を求める式も、上記と同様な変
形を行うことにより、演算処理の簡略化を図ることがで
きる。
【０１６６】( 実施の形態１１）図２８は本発明の実施
の形態１１による画像合成方法及び画像合成装置を説明
するための図である。この実施の形態１１の画像合成方
法は、上記実施の形態１の画像合成方法と同様、任意形
状の物体を含む第１の画像空間を形成する、上記物体の
形状を示す形状信号及び物体の絵柄を示すテクスチャー
信号を含む第１の画像信号と、第２の画像空間を形成す
る、画像の絵柄を示すテクスチャー信号を含む第２の画
像信号とを合成して、第３の画像空間を形成する合成画
像信号を生成する方法である。
の形態１１による画像合成方法及び画像合成装置を説明
するための図である。この実施の形態１１の画像合成方
法は、上記実施の形態１の画像合成方法と同様、任意形
状の物体を含む第１の画像空間を形成する、上記物体の
形状を示す形状信号及び物体の絵柄を示すテクスチャー
信号を含む第１の画像信号と、第２の画像空間を形成す
る、画像の絵柄を示すテクスチャー信号を含む第２の画
像信号とを合成して、第３の画像空間を形成する合成画
像信号を生成する方法である。
【０１６７】そしてこの実施の形態１１の画像合成方法
では、上記第１の画像空間における、被処理画素を含む
対象領域内に位置する画素の形状信号に基づいて、合成
方法の異なる第１及び第２の画像合成処理を切り換える
ようにしている。
では、上記第１の画像空間における、被処理画素を含む
対象領域内に位置する画素の形状信号に基づいて、合成
方法の異なる第１及び第２の画像合成処理を切り換える
ようにしている。
【０１６８】ここで、第１の画像合成処理は、上記実施
の形態１の画像合成方法と同様、合成比率算出ステップ
及び画素合成ステップを含み、合成されたテクスチャー
信号を、上記第３の画像空間における、上記被処理画素
に対応する画素のテクスチャー信号として用いるもので
ある。
の形態１の画像合成方法と同様、合成比率算出ステップ
及び画素合成ステップを含み、合成されたテクスチャー
信号を、上記第３の画像空間における、上記被処理画素
に対応する画素のテクスチャー信号として用いるもので
ある。
【０１６９】なお、上記合成比率算出ステップでは、上
記第１の画像空間における、被処理画素を含む対象領域
内に位置する画素の形状信号に基づいて、上記被処理画
素のテクスチャー信号に対する合成比率が算出される。
また、画素合成ステップでは、上記算出された合成比率
に基づいて、上記被処理画素と、これに対応する第２の
画像空間における対応画素との間でこれらの画素のテク
スチャー信号の合成処理が行われる。
記第１の画像空間における、被処理画素を含む対象領域
内に位置する画素の形状信号に基づいて、上記被処理画
素のテクスチャー信号に対する合成比率が算出される。
また、画素合成ステップでは、上記算出された合成比率
に基づいて、上記被処理画素と、これに対応する第２の
画像空間における対応画素との間でこれらの画素のテク
スチャー信号の合成処理が行われる。
【０１７０】また、上記第２の画像合成処理は、上記画
素合成ステップでは、上記第１の画像空間における物体
内の被処理画素のテクスチャー信号を、上記第３の画像
空間における、上記被処理画素に対応する画素のテクス
チャー信号として用いる合成処理を行うものである。
素合成ステップでは、上記第１の画像空間における物体
内の被処理画素のテクスチャー信号を、上記第３の画像
空間における、上記被処理画素に対応する画素のテクス
チャー信号として用いる合成処理を行うものである。
【０１７１】図２８は、上記実施の形態１１の画像合成
方法による合成処理を行う画像合成装置の構成を示すブ
ロック図である。この画像合成装置３５００は、前景の
画像信号から得れらる形状タイプ信号に基づいて、実施
の形態１における所定領域，つまり処理対象となる対象
画素を含む所定サイズの領域（対象領域）が、その全て
の画素が物体外に位置する領域（以下、物体外ブロック
という。）、その全ての画素が物体内に位置する領域
（以下、物体内ブロックという。）、及び物体外に位置
する画素と物体内に位置する画素を含む領域（以下、境
界ブロックという。）のいずれであるかを判定する境界
ブロック判定手段３５１０を有している。ここでは、物
体外の画素の形状データはその値が「０」、物体内画素
の形状データはその値が「２５５」となっている。
方法による合成処理を行う画像合成装置の構成を示すブ
ロック図である。この画像合成装置３５００は、前景の
画像信号から得れらる形状タイプ信号に基づいて、実施
の形態１における所定領域，つまり処理対象となる対象
画素を含む所定サイズの領域（対象領域）が、その全て
の画素が物体外に位置する領域（以下、物体外ブロック
という。）、その全ての画素が物体内に位置する領域
（以下、物体内ブロックという。）、及び物体外に位置
する画素と物体内に位置する画素を含む領域（以下、境
界ブロックという。）のいずれであるかを判定する境界
ブロック判定手段３５１０を有している。ここでは、物
体外の画素の形状データはその値が「０」、物体内画素
の形状データはその値が「２５５」となっている。
【０１７２】また、上記画像合成装置３５００は、前景
の形状信号を受け、上記境界ブロック判定手段３５１０
での判定結果に基づいて、上記境界ブロック内の各画素
が物体内画素か否かの判定を行う境界画素判定手段３５
２０と、該境界画素判定手段３５２０の判定結果に基づ
いて、上記境界ブロック内における物体内画素の数を算
出し、物体内画素の数が所定のしきい値以上か否かに応
じて合成制御信号３５０６を出力する合成方法判定手段
３５３０とを有している。
の形状信号を受け、上記境界ブロック判定手段３５１０
での判定結果に基づいて、上記境界ブロック内の各画素
が物体内画素か否かの判定を行う境界画素判定手段３５
２０と、該境界画素判定手段３５２０の判定結果に基づ
いて、上記境界ブロック内における物体内画素の数を算
出し、物体内画素の数が所定のしきい値以上か否かに応
じて合成制御信号３５０６を出力する合成方法判定手段
３５３０とを有している。
【０１７３】さらに、上記画像合成装置３５００は、背
景画像と前景画像の間で、それぞれのテクスチャー信号
（カラー信号）の合成を行う第１，第２の画素合成手段
３５４０，３５５０を有している。ここで、第１の画素
合成手段３５４０は、実施の形態１の画像合成方法によ
る合成処理を実現する構成となっている。
景画像と前景画像の間で、それぞれのテクスチャー信号
（カラー信号）の合成を行う第１，第２の画素合成手段
３５４０，３５５０を有している。ここで、第１の画素
合成手段３５４０は、実施の形態１の画像合成方法によ
る合成処理を実現する構成となっている。
【０１７４】つまり、この第１の画素合成手段３５４０
は、前景の形状信号に基づいて、前景の被処理画素のテ
クスチャー信号に対する合成比率を算出する合成比率算
出手段と、該算出された合成比率に基づいて、上記前景
の被処理画素と、これに対応する背景の対応画素との間
でこれらの画素のテクスチャー信号の合成処理を行う画
素合成手段とを有し、該合成されたテクスチャー信号
を、合成画像における、上記被処理画素に対応する画素
のテクスチャー信号として出力する構成となっている。
は、前景の形状信号に基づいて、前景の被処理画素のテ
クスチャー信号に対する合成比率を算出する合成比率算
出手段と、該算出された合成比率に基づいて、上記前景
の被処理画素と、これに対応する背景の対応画素との間
でこれらの画素のテクスチャー信号の合成処理を行う画
素合成手段とを有し、該合成されたテクスチャー信号
を、合成画像における、上記被処理画素に対応する画素
のテクスチャー信号として出力する構成となっている。
【０１７５】また、上記第２の画素合成手段３５５０
は、上記前景画像の物体内の被処理画素のテクスチャー
信号を、上記合成画像における、上記被処理画素に対応
する画素のテクスチャー信号として用い、上記前景画像
の物体外の被処理画素に対応する、背景画像における対
応画素のテクスチャー信号を、上記合成画像における、
上記被処理画素に対応する画素のテクスチャー信号とし
て用いる構成となっている。
は、上記前景画像の物体内の被処理画素のテクスチャー
信号を、上記合成画像における、上記被処理画素に対応
する画素のテクスチャー信号として用い、上記前景画像
の物体外の被処理画素に対応する、背景画像における対
応画素のテクスチャー信号を、上記合成画像における、
上記被処理画素に対応する画素のテクスチャー信号とし
て用いる構成となっている。
【０１７６】またさらに、上記画像合成装置３５００
は、上記合成方法判定手段３５３０からの合成制御信号
３５０６に基づいて、前景のカラー信号を上記第１及び
第２の画素合成手段３５４０及び３５５０の一方に供給
する前段スイッチ３５６０ａと、上記合成方法判定手段
３５３０からの合成制御信号３５０６に基づいて、上記
第１及び第２の画素合成手段３５４０及び３５５０の一
方の出力信号を選択し、選択された出力信号を合成画像
のカラー信号として出力端子３５００ｅに出力する後段
スイッチ３５６０ｂとを有している。
は、上記合成方法判定手段３５３０からの合成制御信号
３５０６に基づいて、前景のカラー信号を上記第１及び
第２の画素合成手段３５４０及び３５５０の一方に供給
する前段スイッチ３５６０ａと、上記合成方法判定手段
３５３０からの合成制御信号３５０６に基づいて、上記
第１及び第２の画素合成手段３５４０及び３５５０の一
方の出力信号を選択し、選択された出力信号を合成画像
のカラー信号として出力端子３５００ｅに出力する後段
スイッチ３５６０ｂとを有している。
【０１７７】なお、３５００ａ〜３５００ｄはそれぞれ
第１〜第４の入力端子である。第１の入力端子３５００
ａには形状タイプ信号が、第２の入力端子３５００ｂに
は前景の形状信号が、第３の入力端子３５００ｃには前
景のカラー信号が、第４の入力端子３５００ｄには背景
のカラー信号が入力されるようになっている。
第１〜第４の入力端子である。第１の入力端子３５００
ａには形状タイプ信号が、第２の入力端子３５００ｂに
は前景の形状信号が、第３の入力端子３５００ｃには前
景のカラー信号が、第４の入力端子３５００ｄには背景
のカラー信号が入力されるようになっている。
【０１７８】次に動作について説明する。この画像合成
装置３５００の第１の入力端子３５００ａに、前景の画
像信号から得れらる形状タイプ信号３５０１が入力され
ると、境界ブロック判定手段３５１０にて、処理対象と
なる対象画素を含む所定サイズの領域（ここでは３×３
画素からなるブロック）が、その全ての画素が物体外に
位置する領域（物体外ブロック）、その全ての画素が物
体内に位置する領域（物体内ブロック）、及び物体外に
位置する画素と物体内に位置する画素を含む領域（境界
ブロック）のいずれであるかの判定が行われる。
装置３５００の第１の入力端子３５００ａに、前景の画
像信号から得れらる形状タイプ信号３５０１が入力され
ると、境界ブロック判定手段３５１０にて、処理対象と
なる対象画素を含む所定サイズの領域（ここでは３×３
画素からなるブロック）が、その全ての画素が物体外に
位置する領域（物体外ブロック）、その全ての画素が物
体内に位置する領域（物体内ブロック）、及び物体外に
位置する画素と物体内に位置する画素を含む領域（境界
ブロック）のいずれであるかの判定が行われる。
【０１７９】また上記画像合成装置３５００の境界画素
判定手段３５２０では、第２の入力端子３５００ｂに入
力される前景の形状信号３５０２を受け、上記境界ブロ
ック判定手段３５１０での判定結果に基づいて、上記境
界ブロック内の各画素についてこれが物体内画素か否か
の判定の判定が行われる。
判定手段３５２０では、第２の入力端子３５００ｂに入
力される前景の形状信号３５０２を受け、上記境界ブロ
ック判定手段３５１０での判定結果に基づいて、上記境
界ブロック内の各画素についてこれが物体内画素か否か
の判定の判定が行われる。
【０１８０】すると、上記画像合成装置３５００の合成
方法判定手段３５３０では、該境界画素判定手段３５２
０の判定結果に基づいて、上記境界ブロックに対しての
み、該ブロック内における物体内画素の数が算出され、
物体内画素の数が所定のしきい値以上か否かに応じた合
成制御信号３５０６が出力される。
方法判定手段３５３０では、該境界画素判定手段３５２
０の判定結果に基づいて、上記境界ブロックに対しての
み、該ブロック内における物体内画素の数が算出され、
物体内画素の数が所定のしきい値以上か否かに応じた合
成制御信号３５０６が出力される。
【０１８１】このとき、上記画像合成装置３５００の前
段スイッチ３５６０ａは、第３の入力端子３５００ｃに
入力された前景のカラー信号を、上記合成制御信号３５
０６に応じて、上記第１及び第２の合成手段３５４０及
び３５５０の一方に供給するよう制御され、上記画像合
成装置３５００の後段スイッチ３５６０ｂは、上記合成
制御信号３５０６により上記第１及び第２の合成手段３
５４０及び３５５０の一方の出力を選択するよう制御さ
れる。
段スイッチ３５６０ａは、第３の入力端子３５００ｃに
入力された前景のカラー信号を、上記合成制御信号３５
０６に応じて、上記第１及び第２の合成手段３５４０及
び３５５０の一方に供給するよう制御され、上記画像合
成装置３５００の後段スイッチ３５６０ｂは、上記合成
制御信号３５０６により上記第１及び第２の合成手段３
５４０及び３５５０の一方の出力を選択するよう制御さ
れる。
【０１８２】例えば、上記合成方法判定手段３５３０で
の判定の結果、上記境界ブロックにおける物体内画素の
数が所定のしきい値以上である場合、上記前景のカラー
信号３５０３は上記前段スイッチ３５６０ａを介して第
１の画素合成手段３５４０に供給され、この画素合成手
段３５４０の出力が後段スイッチ３５６０ｂを介して合
成カラー信号３５０５として出力端子３５００ｅに出力
される。この第１の画素合成手段３５４０では、実施の
形態１の画像合成方法と同様、前景の形状信号に基づい
て、前景の被処理画素のテクスチャー信号に対する合成
比率が算出され、該算出された合成比率に基づいて、上
記前景の被処理画素と、これに対応する背景の対応画素
との間でこれらの画素のテクスチャー信号の合成処理が
行われる。
の判定の結果、上記境界ブロックにおける物体内画素の
数が所定のしきい値以上である場合、上記前景のカラー
信号３５０３は上記前段スイッチ３５６０ａを介して第
１の画素合成手段３５４０に供給され、この画素合成手
段３５４０の出力が後段スイッチ３５６０ｂを介して合
成カラー信号３５０５として出力端子３５００ｅに出力
される。この第１の画素合成手段３５４０では、実施の
形態１の画像合成方法と同様、前景の形状信号に基づい
て、前景の被処理画素のテクスチャー信号に対する合成
比率が算出され、該算出された合成比率に基づいて、上
記前景の被処理画素と、これに対応する背景の対応画素
との間でこれらの画素のテクスチャー信号の合成処理が
行われる。
【０１８３】一方、上記合成方法判定手段３５３０での
判定の結果、上記境界ブロックにおける物体内画素の数
が所定のしきい値以上でない場合、上記前景のカラー信
号３５０３は上記前段スイッチ３５６０ａを介して第２
の画素合成手段３５５０に供給され、この画素合成手段
３５５０の出力が後段スイッチ３５６０ｂを介して合成
カラー信号３５０５として出力端子３５００ｅに出力さ
れる。この第２の画素合成手段３５５０では、上記前景
画像の物体内の被処理画素のテクスチャー信号が、上記
合成画像における、上記被処理画素に対応する画素のテ
クスチャー信号として出力され、上記前景画像の物体外
の被処理画素に対応する、背景画像における対応画素の
テクスチャー信号が、上記合成画像における、上記被処
理画素に対応する画素のテクスチャー信号として出力さ
れる。
判定の結果、上記境界ブロックにおける物体内画素の数
が所定のしきい値以上でない場合、上記前景のカラー信
号３５０３は上記前段スイッチ３５６０ａを介して第２
の画素合成手段３５５０に供給され、この画素合成手段
３５５０の出力が後段スイッチ３５６０ｂを介して合成
カラー信号３５０５として出力端子３５００ｅに出力さ
れる。この第２の画素合成手段３５５０では、上記前景
画像の物体内の被処理画素のテクスチャー信号が、上記
合成画像における、上記被処理画素に対応する画素のテ
クスチャー信号として出力され、上記前景画像の物体外
の被処理画素に対応する、背景画像における対応画素の
テクスチャー信号が、上記合成画像における、上記被処
理画素に対応する画素のテクスチャー信号として出力さ
れる。
【０１８４】このような構成の実施の形態１１では、前
景画像と背景画像の境界部分に跨がって並ぶ画素に対し
て、処理対象となる被処理画素のテキスチャーデータの
平滑化を行った後に、前景画像と背景画像の間でテキス
チャーデータの合成を行う第1 の合成処理と、上記前景
画像の物体内の被処理画素のテクスチャーデータを、上
記合成画像における対応画素のテクスチャー信号として
出力し、上記前景画像の物体外の被処理画素に対応す
る、背景画像における対応画素のテクスチャー信号を、
上記合成画像における対応画素のテクスチャー信号とし
て出力する第２の合成処理とを、前景の形状信号に基づ
いて切り換えるようにしたので、合成画像における前景
画像と背景画像の境界部分の表示が不自然なものとなる
のを抑制しつつ、境界部分がぼけてしまうの回避するこ
とができるという効果がある。
景画像と背景画像の境界部分に跨がって並ぶ画素に対し
て、処理対象となる被処理画素のテキスチャーデータの
平滑化を行った後に、前景画像と背景画像の間でテキス
チャーデータの合成を行う第1 の合成処理と、上記前景
画像の物体内の被処理画素のテクスチャーデータを、上
記合成画像における対応画素のテクスチャー信号として
出力し、上記前景画像の物体外の被処理画素に対応す
る、背景画像における対応画素のテクスチャー信号を、
上記合成画像における対応画素のテクスチャー信号とし
て出力する第２の合成処理とを、前景の形状信号に基づ
いて切り換えるようにしたので、合成画像における前景
画像と背景画像の境界部分の表示が不自然なものとなる
のを抑制しつつ、境界部分がぼけてしまうの回避するこ
とができるという効果がある。
【０１８５】なお、この実施の形態１１では、上記第１
の画素合成手段として、実施の形態１の画像合成方法に
よる合成処理を行うものを示したが、上記第１の画素合
成手段は、実施の形態１以外の実施の形態、例えば、実
施の形態２ないし８のいずれかの画像合成方法による合
成処理を行うものであってもよい。
の画素合成手段として、実施の形態１の画像合成方法に
よる合成処理を行うものを示したが、上記第１の画素合
成手段は、実施の形態１以外の実施の形態、例えば、実
施の形態２ないし８のいずれかの画像合成方法による合
成処理を行うものであってもよい。
【０１８６】また、上記実施の形態１１で示した画像合
成方法による合成処理を実現するための画像合成プログ
ラムを、フロッピーディスク等のデータ記憶媒体に記録
するようにすることにより、上述した実施の形態１ない
し９の画像合成処理と同様、上記実施の形態１１の画像
合成処理を、独立したコンピュータシステムにおいて簡
単に実施することが可能である。
成方法による合成処理を実現するための画像合成プログ
ラムを、フロッピーディスク等のデータ記憶媒体に記録
するようにすることにより、上述した実施の形態１ない
し９の画像合成処理と同様、上記実施の形態１１の画像
合成処理を、独立したコンピュータシステムにおいて簡
単に実施することが可能である。
【０１８７】
【発明の効果】以上のように、本発明に係る画像合成方
法によれば、前景画像と背景画像の境界部分に跨がって
並ぶ画素に対して、処理対象となる被処理画素のテキス
チャーデータもしくは形状データの平滑化を行った後
に、前景画像と背景画像の間でテキスチャーデータの合
成を行うので、合成後の前景と背景の境界部分での画質
の向上を実現することができる。
法によれば、前景画像と背景画像の境界部分に跨がって
並ぶ画素に対して、処理対象となる被処理画素のテキス
チャーデータもしくは形状データの平滑化を行った後
に、前景画像と背景画像の間でテキスチャーデータの合
成を行うので、合成後の前景と背景の境界部分での画質
の向上を実現することができる。
【０１８８】また、本発明に係るデータ記憶媒体によれ
ば、上記画像合成方法による画像合成処理を、コンピュ
ータに行わせるためのプログラムを格納したので、該プ
ログラムをコンピュータにロードすることにより、合成
画像の画質を向上できる画像合成処理をソフトウエアに
より実現することができる。
ば、上記画像合成方法による画像合成処理を、コンピュ
ータに行わせるためのプログラムを格納したので、該プ
ログラムをコンピュータにロードすることにより、合成
画像の画質を向上できる画像合成処理をソフトウエアに
より実現することができる。
【図１】本発明の実施の形態１における画像合成方法に
おける処理の流れを説明するための図である。
おける処理の流れを説明するための図である。
【図２】上記実施の形態１の画像合成方法を概念的に説
明するための図である。
明するための図である。
【図３】本発明の実施の形態２による画像合成方法を概
念的に説明するための図である。
念的に説明するための図である。
【図４】本発明の実施の形態３における画像合成方法に
おける処理の流れを説明するための図である。
おける処理の流れを説明するための図である。
【図５】上記実施の形態３における画像合成方法を概念
的に説明するための図である。
的に説明するための図である。
【図６】本発明の実施の形態４における画像合成方法を
説明するための模式図である。
説明するための模式図である。
【図７】本発明の実施の形態５による画像合成方法を説
明するための図である。
明するための図である。
【図８】上記実施の形態５の変形例による画像合成方法
を説明するための図である。
を説明するための図である。
【図９】本発明の実施の形態６による画像合成方法で扱
われるビットストリームのデータ構造を示す図である。
われるビットストリームのデータ構造を示す図である。
【図１０】本発明の各実施の形態の画像合成方法による
処理をコンピュータシステムにより実現するためのプロ
グラムを格納したデータ記憶媒体を示す図である。
処理をコンピュータシステムにより実現するためのプロ
グラムを格納したデータ記憶媒体を示す図である。
【図１１】上記実施の形態６変形例による画像合成装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図１２】本発明の実施の形態７による画像合成方法を
概念的に説明するための模式図である。
概念的に説明するための模式図である。
【図１３】上記実施の形態７による画像合成装置を示す
ブロック図である。
ブロック図である。
【図１４】上記実施の形態７による画像合成方法の変形
例を概念的に説明するための図である。
例を概念的に説明するための図である。
【図１５】上記実施の形態７の変形例による画像合成装
置を示すブロック図である。
置を示すブロック図である。
【図１６】本発明の実施の形態８による画像合成方法を
概念的に説明するための図である。
概念的に説明するための図である。
【図１７】上記実施の形態８による画像合成方法を概念
的に説明するための図である。
的に説明するための図である。
【図１８】上記実施の形態８による画像合成装置を示す
ブロック図である。
ブロック図である。
【図１９】本発明の実施の形態９による画像合成方法を
説明するための模式図である。
説明するための模式図である。
【図２０】上記実施の形態９による画像合成方法を説明
するための模式図である。
するための模式図である。
【図２１】上記実施の形態９による画像合成装置を示す
ブロック図である。
ブロック図である。
【図２２】本発明の実施の形態６による画像合成装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図２３】従来の画像合成処理における、複数の画像を
合成する処理を説明するための図である。
合成する処理を説明するための図である。
【図２４】図２３に示す画像合成処理方法により合成し
た画像を説明するための図である。
た画像を説明するための図である。
【図２５】図２４に示す合成画像に対応する形状データ
を示す模式図である。
を示す模式図である。
【図２６】従来の画像合成方法における、画像を合成し
て解像度変換する処理を説明するための図である。
て解像度変換する処理を説明するための図である。
【図２７】図２６に示す解像度変換処理を行う装置を示
すブロック図である。
すブロック図である。
【図２８】本発明の実施の形態８による画像合成装置を
示すブロック図である。
示すブロック図である。
４０２ 未処理画像判定ステップ ４０４ 形状情報入力ステップ ４０６ 形状情報判定ステップ ４１０ 形状情報算出ステップ（合成比率算出ステッ
プ） ４１２ 画素合成ステップ １２００ ビットストリーム １４００，１５００，１７００，２１００，２４００，
３５００ 画像合成装置 １４０２，１５０２，１７０２ データ分離手段 １４０４，１５０４，１７０４ 画像復号手段 １４０８，１５０８，２１１０ 画像合成手段 １４１２，１４１４，１７１６，１７１８，２１２２，
２１２４ スイッチ １５０６ 合成方法決定手段 １７０６ 付加情報取得手段 １７０８ 合成処理部 １７１０ 画素合成処理手段 １８０２ メモリ ２１０４ 境界位置判定手段 ２１０６ 合成比率生成手段 ２１１２ 境界付近の画素合成手段 ２１１４ 境界内の画素合成手段 ２４０６ 形状情報解像度変換手段 ２４０８，２４０４ 画素情報解像度変換手段 ３５００ａ，３５００ｂ，３５００ｃ，３５００ｄ 第
１〜第４の入力端子 ３５００ｅ 出力端子 ３５０１ 境界ブロック判定手段３５１０ ３５２０ 境界画素判定手段 ３５３０ 合成方法判定手段 ３５４０ 第１の画素合成手段 ３５５０ 第２の画素合成手段 ３５６０ａ 前段スイッチ ３５６０ｂ 後段スイッチ Ｃｓ コンピュータ・システム ＦＤ フロッピディスク ＦDD フロッピディスクドライブ
プ） ４１２ 画素合成ステップ １２００ ビットストリーム １４００，１５００，１７００，２１００，２４００，
３５００ 画像合成装置 １４０２，１５０２，１７０２ データ分離手段 １４０４，１５０４，１７０４ 画像復号手段 １４０８，１５０８，２１１０ 画像合成手段 １４１２，１４１４，１７１６，１７１８，２１２２，
２１２４ スイッチ １５０６ 合成方法決定手段 １７０６ 付加情報取得手段 １７０８ 合成処理部 １７１０ 画素合成処理手段 １８０２ メモリ ２１０４ 境界位置判定手段 ２１０６ 合成比率生成手段 ２１１２ 境界付近の画素合成手段 ２１１４ 境界内の画素合成手段 ２４０６ 形状情報解像度変換手段 ２４０８，２４０４ 画素情報解像度変換手段 ３５００ａ，３５００ｂ，３５００ｃ，３５００ｄ 第
１〜第４の入力端子 ３５００ｅ 出力端子 ３５０１ 境界ブロック判定手段３５１０ ３５２０ 境界画素判定手段 ３５３０ 合成方法判定手段 ３５４０ 第１の画素合成手段 ３５５０ 第２の画素合成手段 ３５６０ａ 前段スイッチ ３５６０ｂ 後段スイッチ Ｃｓ コンピュータ・システム ＦＤ フロッピディスク ＦDD フロッピディスクドライブ
Claims (26)
- 【請求項１】 任意形状の物体を含む第１の画像空間を
形成する、上記物体の形状を示す形状信号及び物体の絵
柄を示すテクスチャー信号を含む第１の画像信号と、第
２の画像空間を形成する、画像の絵柄を示すテクスチャ
ー信号を含む第２の画像信号とを合成して、第３の画像
空間を形成する合成画像信号を生成する方法であって、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に対する演算処理によ
り、上記被処理画素のテクスチャー信号に対する合成比
率を算出する合成比率算出ステップと、 該算出された合成比率に基づいて、上記被処理画素と、
これに対応する第２の画像空間における対応画素との間
でこれらの画素のテクスチャー信号の合成処理を行う画
素合成ステップとを含み、 該合成されたテクスチャー信号を、上記第３の画像空間
における、上記被処理画素に対応する画素のテクスチャ
ー信号として用いることを特徴とする画像合成方法。 - 【請求項２】 請求項１記載の画像合成方法において、 上記第１の画像空間における各画素の形状信号に基づい
て、該各画素が上記物体内に位置するか否かを判定する
形状判定ステップを含み、 上記合成比率算出ステップでは、上記判定の結果、上記
被処理画素が物体内に位置するとき、上記対象領域にお
ける画素の形状信号を用いて上記合成比率を算出するこ
とを特徴とする画像合成方法。 - 【請求項３】 請求項１記載の画像合成方法において、 上記第１の画像空間における各画素の形状信号に基づい
て、該各画素が上記物体内部に位置するか否かを判定す
る形状判定ステップを含み、 上記合成比率算出ステップでは、上記判定の結果、上記
被処理画素が物体内に位置するとき、上記対象領域にお
ける画素の形状信号の加算平均により上記合成比率を算
出することを特徴とする画像合成方法。 - 【請求項４】 請求項１記載の画像合成方法において、 上記合成比率算出ステップでは、上記形状信号に対する
演算処理を、該演算処理における乗数あるいは除数が２
の累乗の数となるよう変形した演算式に基づいて行うこ
とを特徴とする画像合成方法。 - 【請求項５】 任意形状の物体を含む第１の画像空間を
形成する、上記物体の形状を示す形状信号及び物体の絵
柄を示すテクスチャー信号を含む第１の画像信号と、第
２の画像空間を形成する、画像の絵柄を示すテクスチャ
ー信号を含む第２の画像信号とを合成して、第３の画像
空間を形成する合成画像信号を生成する方法であって上
記第１の画像空間における各画素の形状信号に基づい
て、該各画素が上記物体内部に位置するか否かを判定す
る形状判定ステップと、 上記判定の結果、上記対象画素が物体内に位置すると
き、上記対象領域における画素のうちの物体内に位置す
るものの個数に基づいて、上記被処理画素のテクスチャ
ー信号に対する合成比率を算出する合成比率算出ステッ
プと、 該算出された合成比率に基づいて、上記被処理画素と、
これに対応する第２の画像空間における対応画素との間
でこれらの画素のテクスチャー信号の合成処理を行う画
素合成ステップとを含み、 該合成されたテクスチャー信号を、上記第３の画像空間
における、上記被処理画素に対応する画素のテクスチャ
ー信号として用いることを特徴とする画像合成方法。 - 【請求項６】 任意形状の物体を含む第１の画像空間を
形成する、上記物体の形状を示す形状信号及び物体の絵
柄を示すテクスチャー信号を含む第１の画像信号と、第
２の画像空間を形成する、画像の絵柄を示すテクスチャ
ー信号を含む第２の画像信号とを合成して、第３の画像
空間を形成する合成画像信号を生成する方法であって、 上記第１の画像空間における各画素の形状信号に基づい
て、該各画素が上記物体内部に位置するか否かを判定す
る形状判定ステップと、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記被処理
画素のテキスチャー信号に対する合成比率を算出する合
成比率算出ステップと、 上記形状判定の結果、上記被処理画素が物体外に位置す
るとき、上記被処理画素のテクスチャー信号を、上記対
象領域内の画素のテクスチャー信号の加算平均により得
られたテクスチャー信号と置き替える画素情報生成ステ
ップと、 該算出された合成比率に基づいて、上記被処理画素と、
これに対応する第２の画像空間における対応画素との間
でこれらの画素のテキスチャー信号の合成処理を行う画
素合成ステップとを含み、 該合成されたテクスチャー信号を、上記第３の画像空間
における、上記被処理画素に対応する画素のテクスチャ
ー信号として用いることを特徴とする画像合成方法。 - 【請求項７】 請求項６記載の画像合成方法において、 上記合成比率生成ステップでは、上記対象領域に含まれ
る画素の形状信号の平均値を上記合成比率として算出す
ることを特徴とする画像合成方法。 - 【請求項８】 請求項６記載の画像合成方法において、 上記画素情報生成ステップでは、上記被処理画素のテキ
スチャー信号を、上記対象領域に含まれる画素のうち物
体内に位置する画素のテキスチャー信号の平均値と置き
換えることを特徴とする画像合成方法。 - 【請求項９】 請求項５または請求項６記載の画像合成
方法において、 上記合成比率算出ステップでは、 上記対象領域内の画素のうち物体内に位置する画素の個
数に応じて予め計算してテーブルに格納した合成比率
を、該対象領域内に位置する画素の形状信号から得られ
る物体内の画素の個数に応じて上記テーブルから求める
ことを特徴とする画像合成方法。 - 【請求項１０】 請求項１または請求項６記載の画像合
成方法において、 上記画素合成ステップでは、上記合成比率の値とテキス
チャー信号の値の組み合わせのすべてに対する該両者の
乗算結果を格納したテーブルを参照して、上記第３の画
像空間における、上記被処理画素に対応する画素のテキ
スチャー信号を求めることを特徴とする画像合成方法。 - 【請求項１１】 請求項５または請求項６記載の画像合
成方法において、 上記画素合成ステップでは、上記対象領域における物体
内に位置する画素の数とテキスチャー信号の値の組み合
わせのすべてに対する該両者の乗算結果を格納したテー
ブルを参照して、上記第３の画像空間における、上記被
処理画素に対応する画素のテキスチャー信号を求めるこ
とを特徴とする画像合成方法。 - 【請求項１２】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の復号画像信号
と、第２の画像空間を形成する、画像の絵柄を示すテク
スチャー信号を含む第２の復号画像信号とを合成して、
第３の画像空間を形成する合成画像信号を生成する方法
であって、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に対する演算処理によ
り、上記被処理画素のテキスチャー信号に対する合成比
率を算出する合成比率算出ステップと、 該算出された合成比率に基づいて、上記被処理画素と、
これに対応する第２の画像空間における対応画素との間
でこれらの画素のテキスチャー信号の合成処理を行う画
素合成ステップとを含み、 該画素合成ステップでは、 上記第１の復号画像信号に対応する符号化画像信号の生
成の際に、この符号化画像信号に付加された付加情報を
参照して、上記合成処理におけるテキスチャー信号の合
成方法を切り換えることを特徴とする画像合成方法。 - 【請求項１３】 請求項１２記載の画像合成方法におい
て、 上記付加情報は、上記対象領域のサイズを示すものであ
ることを特徴とする画像合成方法。 - 【請求項１４】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、 上記第１の画像空間における各画素の形状信号に基づい
て、上記物体の境界位置を検出する境界検出ステップ
と、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記被処理
画素のテクスチャー信号に対する合成比率を算出する処
理を、上記物体の境界付近の、該物体内及び物体外に位
置する画素に対してのみ行う合成比率算出ステップと、 上記境界付近の画素に対しては、該算出された合成比率
に基づいて、上記被処理画素と、これに対応する第２の
画像空間における対応画素との間でこれらの画素のテク
スチャー信号の合成処理を行う処理を行い、上記境界付
近以外の画素に対しては、これらの画素の形状データに
基づいて、上記被処理画素と、これに対応する第２の画
像空間における対応画素との間でこれらの画素のテクス
チャー信号の合成処理を行う処理を行う画素合成ステッ
プとを含み、 該合成されたテクスチャー信号を、上記第３の画像空間
における、上記被処理画素に対応する画素のテクスチャ
ー信号として用いることを特徴とする画像合成方法。 - 【請求項１５】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、 上記物体のサイズ及び第１の画像空間における該物体の
位置を示す付加情報に基づいて、物体内または物体外で
あって物体の境界付近に位置する特定画素に対しては、
上記第１の画像空間における被処理画素と、これに対応
する第２の画像空間における対応画素との間でこれらの
画素のテクスチャー信号の合成処理を行う処理を行い、
上記第１の画像空間における特定画素以外の周辺画素に
対しては、これらの周辺画素に対応する第２の画像空間
における画素のテクスチャー信号を、上記第３の画像空
間における、上記周辺画素に対応する画素のテキスチャ
ー信号とする画素合成ステップを含み、 上記第３の画像空間における、上記特定画素に対応する
画素のテキスチャー信号としては、上記画素合成ステッ
プの合成処理により得られたテクスチャー信号を用いる
ことを特徴とする画像合成方法。 - 【請求項１６】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、 上記第１の画像信号を構成するテキスチャー信号と形状
信号の解像度が等しくないとき、該テキスチャー信号に
対して、その解像度が該形状情報の解像度と等しくなる
よう解像度変換処理を施す解像度変換ステップと、 上記解像度変換処理を施したテキスチャー信号と上記形
状信号を用いて、上記第１の画像信号と第２の画像信号
との合成処理を行う画像合成ステップとを含むことを特
徴とする画像合成方法。 - 【請求項１７】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、 上記第１の画像信号を構成するテキスチャー信号の解像
度，第２の画像信号を構成するテキスチャー信号の解像
度，合成画像信号を構成するテキスチャー信号を画像表
示する際の表示解像度が異なるとき、上記第１，第２の
画像信号のテキスチャー信号に対して、その解像度が上
記表示解像度と等しくなるよう解像度変換処理を施す解
像度変化ステップと、 上記解像度変換処理を施した上記第１，第２の画像信号
のテキスチャー信号を用いて上記第１の画像信号と第２
の画像信号の合成処理を行う画像合成ステップとを含む
ことを特徴とする画像合成方法。 - 【請求項１８】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する方法であっ
て、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記被処理
画素のテクスチャー信号に対する合成比率を算出する合
成比率算出ステップと、該算出された合成比率に基づい
て、上記被処理画素と、これに対応する第２の画像空間
における対応画素との間でこれらの画素のテクスチャー
信号の合成処理を行う画素合成ステップとを含み、該合
成されたテクスチャー信号を、上記第３の画像空間にお
ける、上記被処理画素に対応する画素のテクスチャー信
号として用いる第１の画像合成処理と、 上記第１の画像空間における被処理画素と、これに対応
する第２の画像空間における対応画素との間でこれらの
画素のテクスチャー信号の合成処理を、上記第１の画像
合成処理における合成比率とは異なる比率でもって行う
画素合成ステップを含み、該合成されたテクスチャー信
号を、上記第３の画像空間における、上記被処理画素に
対応する画素のテクスチャー信号として用いる第２の画
像合成処理とを含み、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記第１及
び第２の画像合成処理を切り換えることを特徴とする画
像合成方法。 - 【請求項１９】 請求項１８記載の画像合成方法におい
て、 上記第２の画像合成処理は、 上記画素合成ステップでは、上記第１の画像空間におけ
る物体内の被処理画素のテクスチャー信号を、上記第３
の画像空間における、上記被処理画素に対応する画素の
テクスチャー信号として用い、 上記上記第１の画像空間における物体外の被処理画素に
対応する、第２の画像空間における対応画素のテクスチ
ャー信号を、上記第３の画像空間における、上記被処理
画素に対応する画素のテクスチャー信号として用いるも
のであることを特徴とする画像合成方法。 - 【請求項２０】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の復号画像信号
と、第２の画像空間を形成する、画像の絵柄を示すテク
スチャー信号を含む第２の復号画像信号とを合成して、
第３の画像空間を形成する合成画像信号を生成する装置
であって、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に対する演算処理によ
り、上記被処理画素のテキスチャー信号に対する合成比
率を算出する合成比率算出手段と、 該算出された合成比率に基づいて、上記被処理画素と、
これに対応する第２の画像空間における対応画素との間
でこれらの画素のテキスチャー信号の合成処理を行う画
素合成手段とを備え、 該画素合成手段は、 上記第１の復号画像信号に対応する符号化画像信号の生
成の際に、この符号化画像信号に付加された付加情報を
参照して、上記合成処理におけるテキスチャー信号の合
成方法を切り換えるよう構成されていることを特徴とす
る画像合成装置。 - 【請求項２１】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、 上記第１の画像空間における各画素の形状信号に基づい
て、上記物体の境界位置を検出する境界検出手段と、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記被処理
画素のテクスチャー信号に対する合成比率を算出する処
理を、上記物体の境界付近の、該物体内及び物体該に位
置する画素に対してのみ行う合成比率算出手段と、 上記境界付近の画素に対しては、該算出された合成比率
に基づいて、上記被処理画素と、これに対応する第２の
画像空間における対応画素との間でこれらの画素のテク
スチャー信号の合成処理を行う処理を行い、上記境界付
近以外の画素に対しては、これらの画素の形状データに
基づいて、上記被処理画素と、これに対応する第２の画
像空間における対応画素との間でこれらの画素のテクス
チャー信号の合成処理を行う処理を行う画素合成手段と
を備え、 該合成されたテクスチャー信号を、上記第３の画像空間
における、上記被処理画素に対応する画素のテクスチャ
ー信号として用いることを特徴とする画像合成装置。 - 【請求項２２】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、 上記物体のサイズ及び第１の画像空間における該物体の
位置を示す付加情報に基づいて、物体内または物体外で
あって物体の境界付近に位置する特定画素に対しては、
上記第１の画像空間における被処理画素と、これに対応
する第２の画像空間における対応画素との間でこれらの
画素のテクスチャー信号の合成処理を行う処理を行い、
上記第１の画像空間における特定画素以外の周辺画素に
対しては、これらの周辺画素に対応する第２の画像空間
における画素のテクスチャー信号を、上記第３の画像空
間における、上記周辺画素に対応する画素のテキスチャ
ー信号とする画素合成手段を備え、 上記第３の画像空間における、上記特定画素に対応する
画素のテキスチャー信号としては、上記画素合成ステッ
プの合成処理により得られたテクスチャー信号を用いる
ことを特徴とする画像合成装置。 - 【請求項２３】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、 上記第１の画像信号を構成するテキスチャー信号と形状
信号の解像度が等しくないとき、該テキスチャー信号に
対して、その解像度が該形状情報の解像度と等しくなる
よう解像度変換処理を施す解像度変換手段と、 上記解像度変換処理を施したテキスチャー信号と上記形
状信号を用いて、上記第１の画像信号と第２の画像信号
との合成処理を行う画像合成手段とを備えたことを特徴
とする画像合成装置。 - 【請求項２４】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、 上記第１の画像信号を構成するテキスチャー信号の解像
度，第２の画像信号を構成するテキスチャー信号の解像
度，合成画像信号を構成するテキスチャー信号を画像表
示する際の表示解像度が異なるとき、上記第１，第２の
画像信号のテキスチャー信号に対して、その解像度が上
記表示解像度と等しくなるよう解像度変換処理を施す解
像度変化手段と、 上記解像度変換処理を施した上記第１，第２の画像信号
のテキスチャー信号を用いて上記第１の画像信号と第２
の画像信号の合成処理を行う画像合成手段とを備えたこ
とを特徴とする画像合成装置。 - 【請求項２５】 任意形状の物体を含む第１の画像空間
を形成する、上記物体の形状を示す形状信号及び物体の
絵柄を示すテクスチャー信号を含む第１の画像信号と、
第２の画像空間を形成する、画像の絵柄を示すテクスチ
ャー信号を含む第２の画像信号とを合成して、第３の画
像空間を形成する合成画像信号を生成する装置であっ
て、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記被処理
画素のテクスチャー信号に対する合成比率を算出する合
成比率算出手段と、該算出された合成比率に基づいて、
上記被処理画素と、これに対応する第２の画像空間にお
ける対応画素との間でこれらの画素のテクスチャー信号
の合成処理を行う第１の画素合成手段とを有し、該合成
されたテクスチャー信号を、上記第３の画像空間におけ
る、上記被処理画素に対応する画素のテクスチャー信号
として出力する第１の画像合成処理部と、 上記第１の画像空間における被処理画素と、これに対応
する第２の画像空間における対応画素との間でこれらの
画素のテクスチャー信号の合成処理を、上記第１の画像
合成処理における合成比率とは異なる比率でもって行う
第２の画素合成手段を有し、該合成されたテクスチャー
信号を、上記第３の画像空間における、上記被処理画素
に対応する画素のテクスチャー信号として出力する第２
の画像合成処理部とを備え、 上記第１の画像空間における、被処理画素を含む対象領
域内に位置する画素の形状信号に基づいて、上記第１及
び第２の画像合成処理を切り換えるよう構成したことを
特徴とする画像合成装置。 - 【請求項２６】 コンピュータにより画像合成処理を行
わせるためのプログラムを格納したデータ記憶媒体であ
って、 上記プログラムは、請求項１ないし請求項１９のいずれ
かに記載の画像合成方法による画像合成処理をコンピュ
ータが行うよう構成したものであることを特徴とするデ
ータ記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11023494A JPH11317909A (ja) | 1998-02-02 | 1999-02-01 | 画像合成方法，画像合成装置，及びデ―タ記録媒体 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2058698 | 1998-02-02 | ||
| JP10-55245 | 1998-03-06 | ||
| JP10-20586 | 1998-03-06 | ||
| JP5524598 | 1998-03-06 | ||
| JP11023494A JPH11317909A (ja) | 1998-02-02 | 1999-02-01 | 画像合成方法，画像合成装置，及びデ―タ記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11317909A true JPH11317909A (ja) | 1999-11-16 |
Family
ID=27283105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11023494A Pending JPH11317909A (ja) | 1998-02-02 | 1999-02-01 | 画像合成方法，画像合成装置，及びデ―タ記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11317909A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001043443A1 (en) * | 1999-12-07 | 2001-06-14 | Mitsubishi Denki Kabushiki Kaisha | Video encoding/transmitting device, video receiving/decoding device, video transmitting/receiving device, and video transmitting system |
| JP2011077850A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| JP2014146300A (ja) * | 2013-01-30 | 2014-08-14 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
-
1999
- 1999-02-01 JP JP11023494A patent/JPH11317909A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001043443A1 (en) * | 1999-12-07 | 2001-06-14 | Mitsubishi Denki Kabushiki Kaisha | Video encoding/transmitting device, video receiving/decoding device, video transmitting/receiving device, and video transmitting system |
| JP2011077850A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| JP2014146300A (ja) * | 2013-01-30 | 2014-08-14 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100292160B1 (ko) | 화상 합성 방법, 화상 합성 장치, 및 데이터 기록 매체 | |
| CN1230790C (zh) | 处理dvd视频的方法和装置 | |
| JP4357506B2 (ja) | クロミナンス形状情報発生装置 | |
| EP1271957B1 (en) | Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus | |
| US20180192063A1 (en) | Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions | |
| KR100518100B1 (ko) | 화상처리장치및방법,및화상부호화장치및방법 | |
| JPH10501107A (ja) | ビデオ映像復号化装置及び方法 | |
| JP4332246B2 (ja) | 画像処理装置、方法、及び記録媒体 | |
| JP3645922B2 (ja) | 画像処理方法及び装置 | |
| JPH11252559A (ja) | 透過度符号化装置および透過度復号化装置、ならびにその方法、並びに画像データ構造、並びにデータ記録媒体 | |
| JPH11178011A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像処理装置および画像処理方法、並びに記録媒体 | |
| KR100537123B1 (ko) | 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 | |
| JPH09331536A (ja) | 誤り訂正デコーダ及び誤り訂正デコーディング方法 | |
| JP4746560B2 (ja) | 動画像再生方法および動画像再生装置 | |
| JP2583627B2 (ja) | デジタルカラービデオ用の統計学的にエンコードされたデータを圧縮および伸張させるための方法および装置 | |
| EP0890921A2 (en) | Interpolation method for binary image | |
| Whybray et al. | Video coding—techniques, standards and applications | |
| JPH11317909A (ja) | 画像合成方法，画像合成装置，及びデ―タ記録媒体 | |
| JP2003264830A (ja) | 画像符号化装置および画像復号装置 | |
| US6144409A (en) | Method for producing a restored binary shape signal based on an interpolation technique | |
| WO2003045045A2 (en) | Encoding of geometric modeled images | |
| JPH11285001A (ja) | 動画像符号化装置及び動画像復号装置 | |
| CN1178512C (zh) | 图象解码方法、图象解码装置和图象解码程序记录媒体 | |
| EP0923250A1 (en) | Method and apparatus for adaptively encoding a binary shape signal | |
| JP2004048727A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 9 Free format text: PAYMENT UNTIL: 20081008 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20091008 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20091008 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 11 Free format text: PAYMENT UNTIL: 20101008 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 12 Free format text: PAYMENT UNTIL: 20111008 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 13 Free format text: PAYMENT UNTIL: 20121008 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 14 Free format text: PAYMENT UNTIL: 20131008 |
|
| LAPS | Cancellation because of no payment of annual fees |