JP2000078572A - オブジェクト符号化装置およびオブジェクト符号化装置のコマ落し制御方法およびプログラムを記録した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】動画像をオブジェクト単位に切出して符号化す
る場合に各オブジェクトのコマ落としにて生じる相互接
触オブジェクトの輪郭部分のジッタ防止を図る。 【解決手段】入力される動画像データからフレーム(FM)
内の画像についての複数の領域の形状を抽出し、領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化しこれを所定レートで回線に送出す
るオブジェクト符号化装置において、形状情報から相互
に輪郭が接触した１つ以上のオブジェクト(OJ)の組を分
類する手段114 と、各組単位で回線に対する割り当てレ
ートを制御する手段119 と、レート制御に際してコマ落
としを必要とするときは、同一の組に属するOJに対して
は同じFMで一斉にコマ落としを行う手段とを具備する。
相互に輪郭接触しているオブジェクト同士を組にして複
数の組単位で、その組を構成しているOJについて同時に
コマ落としを行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を圧縮して
得た動画像データを通信回線に送出する際に、通信回線
に対する伝送量を減少させるために、動画像のコマ落と
し行うオブジェクト符号化装置およびオブジェクト符号
化装置のコマ落し制御方法およびプログラムを記録した
記憶媒体に関する。

【０００２】

【従来の技術】従来、テレビ電話システムの一つとして
Ｈ．２６１方式では、動画像についてそのフレーム毎に
データを８×８画素のブロックとし、このブロックに対
して２次元ＤＣＴ変換（離散コサイン変換）するフレー
ム内符号化、前フレームと現フレームの同位置の画像ブ
ロックにおいて両者の相関が強いときにフレーム間の差
分をとり、その差分に対して８×８画素のブロックを２
次元ＤＣＴ変換するフレーム間符号化、前フレームから
現フレームヘ類似した動画像ブロックが相対的に隣接移
動した場合に、これを検知してその動画像ブロックの移
動量と移動方向の情報を送るのみで動画像データそのも
のを送らずに済ませることで発生データ量を減らす動き
補償、ＤＣＴ変換後の各周波数毎の係数値が低周波数領
域では値が発生するが、高周波領域では値が発生しにく
く、ゼロ値が続くことを利用したゼロ・ランレングス符
号化、データの発生量に応じてデータの量子化ステップ
幅を変更することでデータの発生量を調整する量子化、
発生頻度の高いデータ・パターンに対しては短い符号値
を、発生頻度の低いデータ・パターンに対しては長い符
号量を割り当てることで、トータル的に発生したデータ
量よりも少ないデータ量に変換する可変長符号化、等が
使用されている。

【０００３】そして、可変長符号化された圧縮データは
一旦、バッファメモリに保持された後、順次読み出され
て通信回線に送出させることになるが、バッファメモリ
がオーバーフローしないようにバッファメモリのデータ
蓄積量を基に、入力動画像の変化、シーン・チェンジに
応じて適応的に、量子化ステップ幅を変え、コマ落とし
を行い、バッファメモリから出力されるビットレートを
一定にしてから、通信回線に送出される。

【０００４】以上の動画像圧縮方式は、画面が単一で矩
形に限定されているが、上記の圧縮方式をＭＰＥＧ−４
のように、画面をオブジェクト単位で切り出してそれぞ
れを符号化するようにした任意形状の動画像圧縮符号化
方式に適用することが可能である。

【０００５】例えば、図９のようにテレビカメラなどで
撮影した動画像を入力して（１００）、原画像１０１に
ついてオブジェクト生成部１０２で領域抽出して、原画
像１０１からシーン毎に人物および背景などのオブジェ
クトを切り抜く。そして、各オブジェクトは符号化され
てから（１０３ａ、１０３ｂ）、多重化部１０４で多重
化されて、通信回線１０６に送出される。受信側では多
重化されたオブジェクトは多重分離部１０７で分離され
る。

【０００６】そして、各オブジェクトは復号化されて
（１０８ａ、１０８ｂ）、コンボジター部１０９で画面
上の各オブジェクトの配置位置などを考慮して、表示部
で再現画像１１０として表示される。原画像１０１から
オブジェクト単位に動画像を切り出すと、必要とするオ
ブジェクトのみ受信側に送ることができる。

【０００７】例えば、“オブジェクト１”のように重要
な人物像のみ送り、“オブジェクト２”のように必ずし
も重要でない背景動画像の伝送を停止し、受信側で別な
背景動画像に“オブジェクト１”を重ね合わせて表示す
ることができる。背景動画像を送らないことにより、ト
ータル的な伝送容量が少なくて済む利点がある。

【０００８】また、背景動画像を人物動画像より解像度
を下げて送ることにより、伝送容量を低減させることも
できる。ここで、図９に示した方式とは別の図１０に示
す如きの方式がある。これは、背景用と目的物用の撮像
装置を別個にして背景は背景のみ、目的物は目的物のみ
とした画像とする方式であって、人物などの目的物を無
地の背景においてテレビカメラなどの撮像装置で撮影し
て得た目的物の原画像１０１を入力して（１００）、オ
ブジェクト生成部１０２に取り込み、このオブジェクト
生成部１０２で画像中から当該目的物部分の画像である
“オブジェクト１”を切り抜いて、符号化する（１０３
ａ）。

【０００９】一方、別の撮像装置（テレビカメラ）で所
望の背景を撮影して得た背景画像１１２を入力し（１１
１）、これを矩形の背景画像まま“オブジェクト２”と
して符号化する（１０３ｂ）。そして、前記と同様に
“オブジェクト１”と“オブジェクト２”は多重化部１
０４にて多重化した後に、通信回線１０６を介して受信
側に送られ、受信側ではこれを多重分離部１０７で分離
して元の“オブジェクト１”の復号化画像１０８ａと
“オブジェクト２”の復号化画像１０８ｂに戻し、これ
をコンポジター部１０９で組み立てて再現画像１１０と
して表示部で表示させる。

【００１０】本方式は背景動画像を撮影するテレビカメ
ラが人物を撮影するテレビカメラと別なため、好みの背
景シーンを撮影することができ、解像度も任意に変える
ことができる利点がある。

【００１１】ところで、図１０の方式は背景動画像を撮
影するテレビカメラが人物を撮影するテレビカメラと別
なため、好みの背景シーンを撮影することができ、解像
度も任意に変えることができる利点がある反面、背景動
画像を入力するために別なテレビカメラあるいはビデオ
ソースを必要とする。それ故、装置として大掛かりにな
る。従って、特に、携帯用情報端末などのように大き
さ、重量などで制限を受けるような用途の機器には向か
ない。

【００１２】そこで、現状では図９の方式が実用的な方
式であり、本発明も図９のように一枚の動画像から必要
となるオブジェクトを切り抜いて、各オブジェクトを符
号化する方式を対象にしている。

【００１３】図１１は図９で説明した方式をハードウエ
アとして実現するための機器構成を示した構成図であ
る。図１１において、１１４は形状抽出部、１１７ａ，
１１７ｂ，〜１１７ｎは符号化部、１１９ａ，〜１１９
ｎはレート制御部、１２１ａ，〜１２１ｎはバッファメ
モリ、１２４は多重化部である。

【００１４】この構成において、テレビカメラなどの撮
像装置で撮影して得た動画像データ１１３は形状抽出部
１１４と複数の符号化部１１７ａ，１１７ｂ，〜１１７
ｎとにそれぞれ入力される。そして、動画像データ１１
３が形状抽出部１１４に入力されることにより、必要と
なる複数のオブジェクトの各形状情報１１６がこの形状
抽出部１１４によって生成される。そして、これらの形
状情報１１６は符号化部１１７ａ，１１７ｂ，〜１１７
ｎのうち、それぞれ所定の符号化部１１７ａ，１１７
ｂ，〜１１７ｎに送られて符号化される。符号化部は１
１７ａ，１１７ｂ，〜１１７ｎと複数あるが、これは同
時並行して符号化処理できるようにするためであり、各
オブジェクト毎に専用で符号化するためである。

【００１５】そして、各オブジェクトは符号化部１１７
ａ〜１１７ｎで並列に、形状情報１１６を使用して、動
画像データ１１３からそれぞれの形状情報に対応する動
画像部分を領域抽出してから符号化（符号化情報１２３
ａ，１２３ｂ，〜１２３ｎ）する。

【００１６】このようにして符号化部１１７ａ，１１７
ｂ，〜１１７ｎにて得られた符号化情報１２３ａ，１２
３ｂ，〜１２３ｎはそれぞれ符号化部１１７ａ，１１７
ｂ，〜１１７ｎに対応するバッファメモリ１２１ａ，１
２１ｂ，〜１２１ｎに与えられる。

【００１７】バッファメモリ１２１ａ，１２１ｂ，〜１
２１ｎは、上述したように、読み出し出力１２２ａ，１
２２ｂ，〜１２２ｎを一定の伝送レートに平滑化する目
的の一時保持用のメモリである。

【００１８】この構成においては、バッファメモリ１２
１ａ，１２１ｂ，〜１２１ｎのデータ蓄積量の情報をそ
れぞれのバッファメモリ１２１ａ，１２１ｂ，〜１２１
ｎに対応するレート制御部１１９ａ，１１９ｂ，〜１１
９ｎに与えている。

【００１９】そして、各レート制御部１１９ａ，１１９
ｂ，〜１１９ｎは自己の受け取った前記データ蓄積量の
情報から自己の対応するバッファメモリ１２１ａ，１２
１ｂ，〜１２１ｎの出力１２２ａ，〜１２２ｎを一定レ
ートにするために、符号化部１１７ａ，１１７ｂ，〜１
１７ｎにフィードバックして（１１８ａ，１１８ｂ，〜
１１８ｎ）、符号化部１１７の量子化ステップを変化さ
せることでバッファメモリ１２１ａ，１２１ｂ，〜１２
１ｎに入力されるフレームデータのデータ量を制御して
いる。

【００２０】そして、場合によってはバッファメモリ１
２１ａ，１２１ｂ，〜１２１ｎに送られて一時的に保持
されるフレームデータを、フレームスキップ（コマ落と
し）することにより、全体としてバッファメモリ１２１
ａ，１２１ｂ，〜１２１ｎの読み出し出力１２２ａ，１
２２ｂ，〜１２２ｎの伝送レートを一定にしている。

【００２１】各バッファメモリ１２１ａ〜１２１ｎの読
み出し出力１２２ａ〜１２２ｎは多重化部１２４で多重
化されて多重化出力１２５となり、通信回線に送出され
る。各オブジェクトに対応した符号化データの伝送レー
トが一定ならば、多重化出力１２５も一定の伝送レート
に制限される。そして、多重化出力１２５は通信回線の
伝送レートに相当している。

【００２２】また、各バッファメモリ１２１ａ，１２１
ｂ，〜１２１ｎの読み出し出力１２２ａ〜１２２ｎの伝
送レートの割り当ては、対応するオブジェクトをどの程
度圧縮するか、あるいはどの程度コマ落としを許容する
かにかかっている。

【００２３】すなわち、ユーザが各オブジェクトの重要
性、または、優先度をどのように配分するかにかかって
いる。例えば、あるオブジェクトは動きを忠実に再現し
たければ、そのオブジェクト全体について多少圧縮率を
高くし、できるだけコマ落としを避けるようにレート制
御部１１９ａ，１１９ｂ，〜１１９ｎでレート制御を行
う必要がある。

【００２４】反対に、オブジェクトの精細度を重視する
ならば、そのオブジェクトの全体の圧縮率を下げ、ある
程度のコマ落としを許容するようにレート制御部１１９
ａ，１１９ｂ，〜１１９ｎでレート制御を行う必要があ
る。

【００２５】従って、オブジェクトが注目対象物である
か否かでコマ落としの影響も様々となる。例えば、“オ
ブジェクト１”が注目対象物で“オブジェクト２”が背
景である場合、重要度は“オブジェクト１”の方が高い
から、コマ落としする必要が生じた場合には、当然のこ
とながら、そのコマ落とし対象は“オブジェクト２”の
方となる。そして、このような場合に、受信側で再生さ
れた画像には時としてジッタが発生するなど、不都合が
生じることになる。

【００２６】すなわち、図１１の構成は入力部が共通
で、同じ動画像データ１１３を受ける従来から公知の複
数の符号化部１１７ａ，〜１１７ｎ、バッファメモリ１
２１ａ，〜１２１ｎおよびレート制御部１１９ａ，〜１
１９ｎにより並列に符号化して、各読み出し出力１２２
ａ，〜１２２ｎを共通の多重化部１２４で多重化してい
る。

【００２７】しかし、各レート制御部１１９ａ，〜１１
９ｎはそれぞれが独立に動作しているため、各符号化部
１１７ａ，〜１１７ｎでのコマ落とし制御が同期しない
という問題がある。

【００２８】図１２（ａ）は図９における“オブジェク
ト１”（目的物）と“オブジェクト２”（背景画）につ
いて、フレーム毎の動画像の符号化状態を示したもので
ある。ｔ１，ｔ２およびｔ３はあるフレーム時間に相当
する。また、全体が一枚の矩形画面となっている動画像
中から、人物像部分（“オブジェクト１”）、背景動画
像部分（“オブジェクト２”）を切り出して、符号化し
ている。

【００２９】そして、人物像は画面中を左側に移動して
いる状態で、“オブジェクト１”がフレーム毎に左に移
動すれば、同じフレームに該当する背景画である“オブ
ジェクト２”においても、その人物部分を切り抜いた領
域部分は“オブジェクト１”と同様に、フレーム毎に一
緒に左に移動することになる。

【００３０】そして、受信側で“オブジェクト１”と
“オブジェクト２”の符号化されたデータは各々伸長処
理されて、元のオブジェクトに再現され、“オブジェク
ト２”における人物部分を切り抜いた領域部分に“オブ
ジェクト１”の画像が重ね合わされる、つまり、結果的
に嵌め込まれるかたちとなることから、隙間のない合成
画像が再現され、これが完成されたフレーム画像として
表示部に表示されて、観賞に供されることになる。

【００３１】ここで、“オブジェクト２”について、時
刻ｔ２の時点でコマ落としが発生したと仮定する。する
と、この時点での受信側の合成画像１２８（図１２
（ａ）参照）としては“オブジェクト１”については時
刻ｔ２での“オブジェクト１”１２６が使用されるが、
コマ落としにより“オブジェクト２”１２７については
当該時刻ｔ２についてのオブジェクトが存在しないた
め、受信側の受信バッファ（図示せず）に蓄積された時
刻ｔ１時点でのオブジェクト１２７がそのまま使用され
ることになる。

【００３２】そして、受信側の合成画像１２８としては
時刻ｔ２時点の“オブジェクト１”１２６がオブジェク
ト１２９に相当し、時刻ｔ１時点での“オブジェクト
２”１２７がオブジェクト１３０に相当していて、両者
がずれを起こして重なることになる結果、輪郭部分がジ
ッタを起こした状態になり、画質を低下させる。

【００３３】

【発明が解決しようとしする課題】例えば、ＭＰＥＧ−
４をターゲットとした従来の実用的な動画像圧縮装置
は、目的物と背景画像とが映し込まれた各フレーム画像
から目的物部分と背景画等のその他の部分とを切り出し
てそれぞれについて、圧縮符号化し、多重化して伝送す
るようにしている。

【００３４】しかし、使用する伝送路は伝送可能な容量
に制限があり、その許容される容量の範囲で伝送しなけ
ればならないことから、例えば、目的物と背景とで割り
当てる符号量を目的に応じて調整し、フレーム当たりの
符号量を伝送路の容量の範囲に収めるように符号量制御
して伝送するようにしている。

【００３５】しかしながら、これでも伝送量が容量をオ
ーバーすることが避けられない場合には、送るべき動画
像からコマ落としをして、伝送データ量を調整すること
になる。

【００３６】一方、目的物の画像と、その他の部分の画
像は別個に符号化処理され、コマ落とし制御も互いの同
期的な関係を考慮されることなく、それぞれ独自に実施
される。そのため、例えば、あるフレームにおいて目的
物の画像はコマ落としされず、その他の部分の画像がコ
マ落としされたとすると、コマ落としされた画像は、受
信側での再生の際に、直前の最新のものを以て代用する
ことになり、画面中で目的物が移動しているようなシー
ンであった場合に、目的物の画像の画面上の位置と、代
用することとなったその他の部分の画像における前記目
的物登場位置が一致しないと云った事態が生じる。

【００３７】目的物の画像は、その他の部分の画像にお
いて切り取られ除去された状態となっており、従って、
時点の異なる２つの画像を重ね合わせても、その両者の
位置のずれによる隙間が生じてこれが画像のジッタとな
って見苦しい再生画像となる。

【００３８】このように、コマ落としの影響として目的
物と背景画像との間に、両者の位置的なずれを起こす結
果、輪郭部分がジッタを起こした状態になり、画質を低
下させる。

【００３９】そこで、この発明の目的とするところは、
画像にジッタを起こすことのないようにして画質を維持
することができるようにしたオブジェクト符号化装置お
よびオブジェクト符号化装置のコマ落し制御方法および
プログラムを記録した記憶媒体を提供することにある。

【００４０】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、入力され
る動画像データからフレーム内の画像についての複数の
領域の形状を抽出し、前記領域のテクスチャ、動き補償
および形状情報を並列に符号化し、これらを多重化し、
これを所定のレートで通信回線に送出するようにしたオ
ブジェクト符号化装置において、 ［１］第１には、前記形状情報から相互に輪郭が接触し
た１つ以上のオブジェクトの組を分類する手段と、前記
各組単位で前記通信回線に対する割り当てレートを制御
する手段と、前記レートを制御するに際してコマ落とし
を必要とするときは、同一の組に属するオブジェクトに
対しては同じフレームで一斉にコマ落としを行う手段と
を具備することを特徴とする。

【００４１】［２］また、第２には、［１］の構成にお
ける前記オブジェクトの組を分類する手段は、前記オブ
ジェクトの形状を抽出する際、オブジェクトの中から静
止している１つ以上のオブジェクトの組を検出して同一
の組に分類する機能を更に有することを特徴とする。

【００４２】［３］また、第３には、前記形状情報から
相互に輪郭が接触した１つ以上のオブジェクトの組を分
類する手段と、前記各組単位で前記通信回線に対する割
り当てレートを制御する手段と、前記レートを制御する
際、同一の組に属するオブジェクトについては同じフレ
ームで一斉にコマ落としを行うと共に、前記画像から複
数の領域の形状を抽出する際に、一枚の画像から背景を
含めて複数のオブジェクトに符号化する場合には、コマ
落とし対象はその対象となるフレームに属する全てのオ
ブジェクトとするコマ落とし手段とを具備することを特
徴とする。

【００４３】［４］また、第４には、前記抽出した形状
情報に従い、並行して各オブジェクト毎にそれぞれ符号
化する符号化手段と、符号化手段により各オブジェクト
単位で符号化して得たデータを多重化する多重化手段
と、この多重化したデータを所定のレートで伝送する伝
送手段と、前記形状の抽出にあたり、輪郭の接するオブ
ジェクト同士を検出して、その輪郭の接するオブジェク
トの情報を取得する手段と、前記符号化手段での符号化
にあたり、発生符号量を制御するに際しては、輪郭の接
触するオブジェクト同士を一まとまりとして符号量制
御、あるいはコマ落とし制御するようにし、あるいは、
隣接せずとも静止オブジェクトである場合には静止オブ
ジェクト全てについてこれを同一組として発生符号量制
御、あるいはコマ落とし制御する制御手段とを備えるこ
とを特徴とする。

【００４４】すなわち、本発明は、入力される動画像デ
ータからフレーム内の画像についての複数の領域の形状
を抽出し、前記領域のテクスチャ、動き補償および形状
情報を並列に符号化し、これらを多重化し、これを所定
のレートで通信回線に送出するようにしたオブジェクト
符号化装置におけるレート制御のためののコマ落とし制
御にあたり、［１］の構成の場合、前記形状情報から相
互に輪郭が接触した１つ以上のオブジェクトの組を分類
し、前記各組単位で前記通信回線に対する割り当てレー
トを制御するが、前記レートを制御するにあたりコマ落
としをする際、同一の組に属するオブジェクトについて
は同じフレームで一斉にコマ落としをするようにする。

【００４５】また、［２］の構成の場合、前記オブジェ
クトの組を分類するにあたっては、前記オブジェクトの
形状を抽出する際、オブジェクトの中から静止している
１つ以上のオブジェクトの組を検出して同一の組に分類
する。すなわち、前記オブジェクトの形状を抽出する際
に、オブジェクトの中から静止している１つ以上のオブ
ジェクトの組を検出し、該オブジェクトは前記輪郭が接
触したオブジェクトの組と同じようにコマ落としを行う
ようにする。

【００４６】また、［３］の構成の場合、前記形状情報
から相互に輪郭が接触した１つ以上のオブジェクトの組
を分類し、前記各組単位で前記通信回線に対する割り当
てレートを制御する。そして、前記レートを制御する
際、同一の組に属するオブジェクトについては同じフレ
ームで一斉にコマ落としを行うと共に、前記画像から複
数の領域の形状を抽出する際に、一枚の画像から背景を
含めて複数のオブジェクトに符号化する場合には、コマ
落とし対象はその対象となるフレームに属する全てのオ
ブジェクトとする。

【００４７】また、［４］の構成の場合、符号化手段は
前記抽出した形状情報に従い、並行して各オブジェクト
毎にそれぞれ符号化する。そして、多重化手段は符号化
手段により各オブジェクト単位で符号化して得たデータ
を多重化し、伝送手段はこの多重化したデータを所定の
レートで伝送する。一方、オブジェクト情報取得手段は
前記形状の抽出にあたり、輪郭の接するオブジェクト同
士を検出し、前記符号化手段での符号化にあたり、制御
手段は発生符号量を制御するに際しては、輪郭の接触す
るオブジェクト同士を一まとまりとして符号量制御、あ
るいはコマ落とし制御するようにし、あるいは、隣接せ
ずとも静止オブジェクトである場合には静止オブジェク
ト全てについてこれを同一組として発生符号量制御、あ
るいはコマ落とし制御する。

【００４８】オブジェクト毎に符号化して他のオブジェ
クトと共に多重化し、伝送路にて伝送するに当たって、
伝送路での許容伝送容量の範囲でデータ伝送することに
なるが、オブジェクト毎の符号量は画像の内容に応じて
変化するので、時として多重化したオブジェクトの符号
量が伝送路の容量を超えてしまうことがある。その場
合、量子化幅を変えるなどして各オブジェクトの発生符
号量を調整することになるが、それでも間に合わないと
きは、コマ落としをして強制的に発生符号量を少なくす
る。

【００４９】しかし、このとき、各オブジェクトについ
てコマ落としのフレーム毎の同期がとれていないと、各
オブジェクトを受信側で元の位置に配置した場合にジッ
タを起こす。例えば、ある画像が“オブジェクト１”と
“オブジェクト２”の２つで構成される場合に、図１２
（ａ）のように時刻ｔ２で“オブジェクト２”をコマ落
とししたが、“オブジェクト１”についてはコマ落とし
しなかったとすると、再生側では時刻ｔ２に相当する画
像を合成して作成するには“オブジェクト２”が存在し
ないため、１時点前のフレーム時点であるｔ１時点での
“オブジェクト２”を用いなければならない。時刻ｔ２
での“オブジェクト１”はｔ１時点での“オブジェクト
２”と位置的にずれがあるから、両者を合成して得た画
像は両者の境界領域にずれの影響によるジッタが生じ
る。

【００５０】そこで、本発明では図１２（ｂ）のように
“オブジェクト１”についてもｔ２時点でコマ落としを
発生させる。そして、再生側での画像合成は、“オブジ
ェクト１”については前のフレーム時点であるｔ１時点
の、そして、“オブジェクト２”についても同じｔ１時
点のオブジェクトが使用されるようになり、異なるフレ
ーム時点のオブジェクト使用による合成画像のようなジ
ッタが起きない。

【００５１】すなわち、合成画像全体のオブジェクトか
ら輪郭が接触しているオブジェクトの組を抽出し、各組
について同じフレーム時間にコマ落としを発生させるよ
うにレート制御することにより、その組のオブジェクト
は全体として動いても輪郭部分が重ならず、従って、ジ
ッタの発生を防止できる。従って、この発明によれば、
画像にジッタを起こすことのないようにして画質を維持
できるようにしたコマ落とし制御装置を提供することが
できる。

【００５２】

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照して説明する。初めに、本発明の根底を
流れる基本的な考え方について、触れておく。例えば、
図１（ａ）のように、複数のオブジェクト１３１〜１３
５が配置されている動画像のフレームに注目してみる。
このフレームにおいては、画面はＡなるオブジェクト１
３１、Ｂなるオブジェクト１３２、Ｃなるオブジェクト
１３３、Ｄなるオブジェクト１３４、そして、背景に相
当するＥなるオブジェクト１３５の計５つに分けられ
る。

【００５３】各オブジェクト１３１〜１３５は、図１
（ｂ）のように分解される。Ｅなるオブジェクト１３５
は、オブジェクト１３１〜１３４部分を切り抜いた背景
動画像に相当する。また、オブジェクト１３５を除く
と、Ａなるオブジェクト１３１とＢなるオブジェクト１
３２は互いに輪郭の一部分が接触している。

【００５４】同様に、Ｃなるオブジェクト１３３とＤな
るオブジェクト１３４も互いに輪郭の一部分が接触して
いる。背景としてのオブジェクト１３５を考慮すると、
オブジェクト１３１〜１３４はオブジェクト１３５を介
して全体として輪郭部分が接触している。

【００５５】この場合、オブジェクト１３１〜１３５を
前記輪郭が接触したオブジェクトの１つの組として扱
う。ここで例えば、背景のオブジェクト１３５を受信側
に送信せず、受信側で背景用の別な動画像を用意して、
全体の動画像を組み立てる状態を仮定する。この場合、
前述のように、輪郭部分が接触したオブジェクトの組が
２組できる。つまり、Ａなるオブジェクト１３１とＢな
るオブジェクト１３２の組と、Ｃなるオブジェクト１３
３とＤなるオブジェクト１３４の組である。

【００５６】そして、本発明は、前記２組について、そ
の組を構成しているオブジェクトについて同時にレート
制御を行うようにすることを特徴としている。 （第１の実施形態） ＜システム構成図＞図２は上述の如き、輪郭が互いに接
触する状態にあるオブジェクトについては組として考え
てその、組み単位でレート制御するようにした画像符号
化装置を実現するためのシステム構成図である。

【００５７】図２において、１１４は形状抽出部、１１
７ａ，１１７ｂ，〜１１７ｎは符号化部、１３８および
１４４はレート制御部、１３９および１４５はマルチプ
レクサ、１４０および１４６はバッファメモリ、１２４
は多重化部である。

【００５８】これらのうち、形状抽出部１１４は、テレ
ビカメラなどの撮像装置で撮影して得た動画像データ１
１３から画面を構成している各オブジェクトについてそ
れぞれ輪郭を元にした領域抽出をして、各オブジェクト
の形状情報１１６を生成するものである。

【００５９】また、符号化部１１７ａ，１１７ｂ，〜１
１７ｎはテレビカメラなどの撮像装置で撮影して得た動
画像データ１１３とこの形状抽出部１１４から与えられ
るオブジェクトの形状情報１１６とを受け、形状情報１
１６を使用して、動画像データ１１３から形状情報に対
応する動画像部分を領域抽出し、その抽出した動画像部
分を用いて動き補償情報を求め、この動き補償情報と前
記抽出した動画像部分のテクスチャ情報とを符号化して
出力すると云った機能を備えている（符号化情報１２３
ａ，〜１２３ｎ）ものである。

【００６０】マルチプレクサ１３９は、符号化部１１７
ａの符号化情報１２３ａと符号化部１１７ｂの符号化情
報１２３ｂとを多重化してバッファメモリ１４０に出力
するものであり、マルチプレクサ１４５は、符号化部１
１７ｃの符号化情報１２３ｃと符号化部１１７ｄの符号
化情報１２３ｄとを多重化してバッファメモリ１４６に
出力するものである。

【００６１】レート制御部１３８は符号化部１１７ａお
よび符号化部１１７ｂにおける符号化出力のレートを制
御するためのものであって、バッファメモリ１４０のデ
ータ蓄積量の情報を得て、当該蓄積量の情報からバッフ
ァメモリ１４０の空き状熊を調べ、バッファメモリ１４
０の出力１４１が、割り当てレートになるように、符号
化部１１７ａと符号化部１１７ｂの量子化ステップを変
えたり、符号化情報１２３ａおよび１２３ｂについて、
コマ落とししたりするなどの調整制御をするものであ
る。

【００６２】また、レート制御部１４４は符号化部１１
７ｃおよび符号化部１１７ｄにおける符号化出力のレー
トを制御するためのものであって、バッファメモリ１４
６のデータ蓄積量の情報を得て、当該蓄積量の情報から
バッファメモリ１４６の空き状熊を調べ、バッファメモ
リ１４６の出力１４７が、割り当てレートになるよう
に、符号化部１１７ｃと符号化部１１７ｄの量子化ステ
ップを変えたり、符号化情報１２３ｃおよび１２３ｄに
ついて、コマ落とししたりするなどの調整制御をするも
のである。

【００６３】また、多重化部１２４はバッファメモリ１
４０の出力１４１とバッファメモリ１４６の出力１４７
とを多重化して多重化出力１２５を得、これを伝送路へ
と送り出すものである。

【００６４】このような構成において、テレビカメラな
どの撮像装置で撮影した動画像データ１１３を本システ
ムに入力すると、この動画像データ１１３は、形状抽出
部１１４と符号化部１１７ａ，１１７ｂ，〜１１７ｎと
に、それぞれ与えられる。

【００６５】動画像データ１１３を受けた形状抽出部１
１４は、この動画像データ１１３から画面を構成してい
る各オブジェクトについてそれぞれ輪郭を元にした領域
抽出をし、各オブジェクトの形状情報を生成する。

【００６６】一般的な動画像からオブジェクトの輪郭を
元に領域を抽出する技術は種々実現されており、それら
を利用すれば良いわけであって、一例をあげれば特開平
６−２５１１４８号公報に開示された技術等を用いて実
現することができる。

【００６７】形状抽出部１１４で生成されたこれら各オ
ブジェクトの形状情報１１６は符号化部１１７ａ，１１
７ｂ，〜１１７ｎのうち、それぞれ所定の符号化部１１
７ａ，１１７ｂ，〜１１７ｎに送られて符号化される。
符号化部は１１７ａ，１１７ｂ，〜１１７ｎと複数ある
が、これは同時並行して符号化処理できるようにするた
めであり、各オブジェクト毎に専用で符号化するためで
ある。

【００６８】符号化部１１７ａ，１１７ｂ，〜１１７ｎ
はテレビカメラなどの撮像装置で撮影した動画像データ
１１３とこのオブジェクトの形状情報１１６とを受け、
形状情報１１６を使用して、動画像データ１１３から形
状情報に対応する動画像部分を領域抽出し、その抽出し
た動画像部分を用いて動き補償情報を求め、この動き補
償情報と前記抽出した動画像部分のテクスチャ情報とを
符号化して出力する（符号化情報１２３ａ，〜１２３
ｎ）。

【００６９】＜符号化部の回路構成＞図３は、図２の符
号化部１１７ａ〜１１７ｎの詳細な回路構成ブロック図
を示している。図中、１５０は減算器（差分回路）、１
５０−１は符号化モード選択回路、１５０−３はマルチ
プレクサ、１５０−４は形状符号化部、１５１はＤＣＴ
回路、１５２は量子化回路、１５３は可変長符号回路、
１５４は逆量子化回路、１５５は逆ＤＣＴ回路、１５６
は加算器、１５７はフレームメモリ、１５８は動き補償
回路、１５９は動き検出回路である。マルチプレクサ１
５０−３と形状符号化部１５０−４を除くこれらの要素
で、動き補償／テクスチャ符号化部１５０‐６を構成す
る。

【００７０】形状符号化部１５０−４は形状情報１１６
を用いて形状そのものの符号化を行うものであり、動き
補償／テクスチャ符号化部１５０‐６は、動き補償及び
テクスチャ情報の符号化を行うものであって、形状情報
１１６を使用し、動画像データ１１３からその形状が指
定した領域を切り出して、その領域内部について動き補
償およびテクスチャ情報の符号化を行うものである。

【００７１】従来の動画像圧縮方式は外形形状が矩形に
限定されている。しかし、本発明の方式は例えば、ＭＰ
ＥＧ−４を対象としていて、オブジェクトは外形が任意
形状のため、形状情報１１６を使用して形状符号化部１
５０−４で形状そのものの符号化を行い、動き補償及び
テクスチャ情報の符号化を動き補償／テクスチャ符号化
部１５０‐６で行っている。

【００７２】動き補償／テクスチャ符号化部１５０‐６
は形状情報１１６を使用し、動画像データ１１３からそ
の形状が指定した領域を切り出して、その領域内部につ
いて動き補償およびテクスチャ情報の符号化を行ってい
る。そして、前記動き補償およびテクスチャ情報の符号
化は従来から公知である図１２で説明した矩形での動き
補償およびテクスチャ情報の符号化と類似している。

【００７３】なお、形状情報の符号化、動き補償及びテ
クスチャ情報の符号化の方法については、例えば、「IS
O/IEC JTC1/SC29/WG11 N1796, “MPEG-4 Video Verific
ation Model Version 8.0, ”July 1997 」に詳しく記
載されているので、それを参照するものとし、ここでは
この点には触れない。

【００７４】符号化モード選択回路１５０−１は、動画
像データ１１３からの画素値と当該画素値の予測誤差と
の間のエネルギ比較結果及び外部制御信号に従い、“Ｉ
ＮＴＲＡモード”又は“ＩＮＴＥＲモード”を選択する
ものである。

【００７５】符号化モード選択回路１５０−１は、“Ｉ
ＮＴＲＡモード”では動画像データ１１３からの画素値
をそのまま出力し、“ＩＮＴＥＲモード”では、その符
号化ブロックであるマクロブロック単位で予測値（前フ
レーム）との差分（予測誤差）を出力する。

【００７６】ＤＣＴ回路１５１は、符号化モード選択回
路１５０−１の出力を離散コサイン変換（直交変換）し
て各種周波数成分に分解し、これにより得た周波数成分
別のデータであるＤＣＴ係数データを出力するものであ
る。また、量子化回路１５２は、ＤＣＴ回路１５１から
出力されるＤＣＴ係数データを、量子化テーブルで指定
された量子化ステップサイズで量子化するものであり、
可変長符号回路１５３は、量子化回路１５２の出力を可
変長符号化処理して出力するものである。

【００７７】また、逆量子化回路１５４は、量子化回路
１５２の出力を逆量子化するものであり、逆ＤＣＴ回路
１５５は逆量子化回路１５４の出力を逆離散コサイン変
換するものである。

【００７８】加算器１５６は、“ＩＮＴＥＲモード”で
逆ＤＣＴ回路１５５の出力に予測値を加算して出力し、
“ＩＮＴＲＡモード”では逆ＤＣＴ回路１５５の出力を
そのまま出力するものである。

【００７９】また、フレームメモリ１５７は、動き補償
フレーム間予測に使用するための画像をフレーム単位で
保持するメモリであって、加算器１５６の出力（局部復
号値）を記憶するものである。

【００８０】動き検出回路１５９は、動画像データ１１
３から入力する動画像信号とフレームメモリ１５７に記
憶される前フレームの動画像信号とをマクロブロック単
位（１６×１６画素構成のブロック）で比較して動きベ
クトルを検出するものである。

【００８１】動き補償回路１５８は、動き検出回路１５
９により検出された動きベクトルに従い、フレームメモ
リ１５７からの前フレームのデータをマクロブロック単
位で画面内で移動させて動きを相殺するためのものであ
る。

【００８２】次に、この図３の構成の符号化部１１７ａ
（１１７ｂ，〜１１７ｎ）の動作を説明する。 ＜符号化部１１７の動作の概要＞本実施例の動き補償／
テクスチャ符号化部１５０‐６では、画面毎に前フレー
ム（予測値）との差分を符号化する“ＩＮＴＥＲモー
ド”と、差分をとらずにその画面内で符号化する“ＩＮ
ＴＲＡモード”を選択できる。例えば、動きの少ない動
画像や静止画では“ＩＮＴＥＲモード”を使用し、動き
の大きな動画像や、動きが少ない動画像でもシーン・チ
ェンジの際には“ＩＮＴＲＡモード”を使用する。ま
た、前述したように発生する符号化データ量に応じて量
子化ステップサイズも変更し、必要によりコマ落とし
（フレーム・スキップ）を行う。

【００８３】符号化モード選択回路１５０−１は、動画
像データ１１３からの画素値と当該画素値の予測誤差と
の間のエネルギ比較結果及び外部制御信号に従い、“Ｉ
ＮＴＲＡモード”または“ＩＮＴＥＲモード”を選択す
るが、この選択は、“ＩＮＴＲＡモード”では動画像デ
ータ１１３からの画素値をそのまま出力し、“ＩＮＴＥ
Ｒモード”では、その符号化ブロックであるマクロブロ
ック単位で予測値（前フレーム）との差分（予測誤差）
を出力すると云ったかたちで行う。

【００８４】この図３に示す符号化部１１７ａ（１１７
ｂ，〜１１７ｎ）には、テレビカメラ等の撮像装置で撮
像されて得られた動画像が動画像データ１１３として入
力されるが、この動画像データ１１３は符号化モード選
択回路１５０−１、減算器１５０及び動き検出回路１５
９に与えられる。

【００８５】すると減算器１５０は、当該与えられた動
画像データ１１３における画素データと、動き補償回路
１５８から出力される予測値との差分（予測誤差）を算
出し、符号化モード選択回路１５０‐１に与える。

【００８６】一方、符号化モード選択回路１５０‐１
は、動画像データ１１３の画素値と、減算器１５０から
の予測誤差とをエネルギ比較し、その比較結果に従い符
号化モードを選択する。そして、選択する符号化モード
が“ＩＮＴＲＡモード”であったときは動画像データ１
１３の入力画素値をそのままＤＣＴ回路１５１に出力
し、選択する符号化モードが“ＩＮＴＥＲモード”であ
ったときは、動画像データ１１３の画素値と減算器１５
０からの予測誤差をＤＣＴ回路１５１に出力する。

【００８７】ＤＣＴ回路１５１は、符号化モード選択回
路１５０‐１からのデータをブロック単位で離散コサイ
ン（ＤＣＴ）変換し、得られたＤＣＴ係数データを量子
化回路１５２に出力する。量子化回路１５２は、ＤＣＴ
回路１５１からのＤＣＴ係数データをレート制御部１３
８で指定される量子化ステップサイズ１３７で量子化す
る。そして、量子化結果（量子化ＤＣＴ係数）を可変長
符号回路１５３と逆量子化回路１５４とに与える。

【００８８】可変長符号回路１５３は、量子化回路１５
２の出力を参照しながら有意ブロックを判定し、量子化
ＤＣＴ係数を可変長符号化してマルチプレクサ１５０−
３に出力する。

【００８９】一方、逆量子化回路１５４は、量子化回路
１５２で選択されたのと同じ量子化ステップサイズで、
量子化回路１５２の出力を逆量子化し、ＤＣＴ係数の代
表値を出力して、逆ＤＣＴ回路１５５に与える。逆ＤＣ
Ｔ回路１５５は、逆量子化回路１５４の出力を逆離散コ
サイン変換し、加算器１５６に与える。加算器１５６
は、“ＩＮＴＥＲモード”では、逆ＤＣＴ回路１５５の
出力に予測値（動き補償回路１５８の出力）を加算し、
“ＩＮＴＲＡモード”では逆ＤＣＴ回路１５５の出力を
そのまま出力する。そして、この加算器１５６の出力
は、フレームメモリ１５７に格納される。

【００９０】フレームメモリ１５７は少なくとも２フレ
ーム分の記憶容量を具備し、加算器１５６の出力画素値
（即ち、局部復号値）を記憶する。動き検出回路１５９
は、動画像データ１１３からの現フレームの画素データ
とフレームメモリ１５７に記憶される前フレームの画素
データとを比較し、映像の動きを検出する。具体的に
は、現フレームの処理中のマクロブロック付近を動きベ
クトル・サーチ・ウィンドウとして前フレームの画素デ
ータをフレームメモリ１５７から読み出し、ブロック・
マッチング演算して動きベクトルを検出する。

【００９１】そして、可変長符号回路１５３の出力とし
て動き補償及びテクスチャ符号化した結果１５０‐２が
出力され、マルチプレクサ１５０‐３に与えられる。そ
して、動き補償及びテクスチャ符号化した結果１５０‐
２と形状符号化部１５０‐４の出力１５０‐５はこのマ
ルチプレクサ１５０‐３で多重化されて符号化部１１７
の出力になる。以上が、符号化部１１７ａ，〜１１７ｎ
の構成と作用である。

【００９２】再び、図２の構成に戻って説明を続ける。
図２の構成において、オブジェクト１３１は符号化部１
１７ａ、オブジェクト１３２は符号化部１１７ｂ、オブ
ジェクト１３３は符号化部１１７ｃ、オブジェクト１３
４は符号化部１１７ｄで符号化される。

【００９３】そして、符号化部１１７ａによりオブジェ
クト１３１を符号化して得た符号化情報１２３ａと、符
号化部１１７ｂによりオブジェクト１３２を符号化して
得た符号化情報１２３ｂはマルチプレクサ１３９で多重
化され、バッファメモリ１４０に送られる。

【００９４】バッファメモリ１４０のデータ蓄積量はレ
ート制御部１３８に送られる。レート制御部１３８は前
記蓄積量からバッファメモリ１４０の空き状熊を調べ、
バッファメモリ１４０の出力１４１が、割り当てレート
になるように、符号化部１１７ａと符号化部１１７ｂの
量子化ステップを変えたり、符号化情報１２３ａおよび
１２３ｂについて、コマ落とししたりして調整する。

【００９５】一方、符号化部１１７ｃによりオブジェク
ト１３３を符号化して得た符号化情報１２３ｃと、符号
化部１１７ｄによりオブジェクト１３４を符号化して得
た符号化情報１２３ｄはマルチプレクサ１４５で多重化
され、バッファメモリ１４６に送られる。

【００９６】バッファメモリ１４６のデータ蓄積量はレ
ート制御部１４４に送られる。レート制御部１４４は前
記蓄積量からバッファメモリ１４６の空き状熊を調べ、
バッファメモリ１４６の出力１４７が、割り当てレート
になるように、符号化部１１７ｃと符号化部１１７ｄの
量子化ステップを変えたり、符号化情報１２３ｃおよび
１２３ｄについて、コマ落とししたりして調整する。

【００９７】そして、多重化部１２４ではバッファメモ
リ１４０の出力１４１とバッファメモリ１４６の出力１
４７とを多重化して多重化出力１２５を得、これを伝送
路へと送り出す。

【００９８】以上のように本発明は、接触しているオブ
ジェクト１３１とオブジェクト１３２の組、オブジェク
ト１３３とオブジェクト１３４の組について、各々の組
のオブジェクトをまとめてレート制御を行うようにした
ことに特徴がある。

【００９９】この場合、組と組の間のオブジェクトは分
離されているため、各組のレート制御は別個に行うこと
ができると云うメリットが得られる。例えば、オブジェ
クト１３１とオブジェクト１３２の組は高精細にしたい
ため量子化ステップを細かくし、コマ落としを多く発生
させ、一方、オブジェクト１３３とオブジェクト１３４
は低精細にしたいため、量子化ステップを粗くして、そ
の代わりオブジェクトの動きによく追従するようにコマ
落としを少なくすると云った具合であり、オブジェクト
の組み毎に、所望とする精細度およびコマ落としを設定
することができる。

【０１００】そして、このような具合に各組で設定され
たレートでバッファメモリ１４０，１４６から読み出さ
れるデータは、多重化部１２４で多重化され、伝送され
ることになるが、多重化部１２４の多重化出力１２５は
回線のレートに相当している。

【０１０１】すなわち、多重化出力１２５のレートが決
まると、前記オブジェクトの各組に対してレートが配分
される。レートの配分は画面全体のシーンによりその画
面を構成しているオブジェクトの用途、重要性などを考
慮して決める。そして、設定されたレートに従って、そ
のオブジェクトの量子化ステッブ及びコマ落としの発生
頻度が決まってくる。

【０１０２】図４はマルチプレクサ１３９で多重化され
て出力された符号化データが、どのようにバッファメモ
リ１４０に蓄積されるか、時刻ｔｏ、ｔ１、ｔ２および
ｔ３時点での状況を示した図である。図における閾値Ｌ
は、バッファメモリ１４０から多重化部１２４に送られ
るフレーム当たりのデータ量を示している。

【０１０３】発生した情報はフレームメモリ１４０に蓄
積されるが、バッファメモリ１４０からはＬビット分の
量の符号が伝送路に送出されるため、バッファメモリ１
４０の滞留量をＢ（ｔ）とすると、フレームｔでの動画
像が符号化されてバッファメモリ１４０に送られ、次に
フレームｔ＋１での動画像が符号化されてバッファメモ
リ１４０に送られる時点でのデータ滞留量は Ｂ（ｔ＋１）＝Ｂ（ｔ）＋Ｒ（ｔ）−Ｌ となる。

【０１０４】ここで、Ｒ（ｔ）はフレームｔの入力動画
像を符号化した際の発生符号量である。一方、フレーム
ｔの入力動画像がコマ落としされた場合では、フレーム
ｔ＋１での動画像が符号化されてバッファメモリ１４０
に送られる時点でのデータ滞留量は、 Ｂ（ｔ＋１）＝Ｂ（ｔ）−Ｌ となる。

【０１０５】ここで、フレームｔ＋１の入力動画像を符
号化するか、コマ落としするかはバッファメモリ１４０
の滞留量Ｂ（ｔ）と閾値Ｌとの関係による。例えば、こ
こではＢ（ｔ）＞Ｌのときはコマ落としを実施し、Ｂ
（ｔ）がＬ以下のときは符号化すると決めている。

【０１０６】すなわち、コマ落とし制御は、「発生符号
量がバッファメモリの空き容量を超えるとオーバーフロ
ーを生じてしまい、動画像１フレームを正確に送れなく
なるために、動画像の品質が大幅に劣化する」と云うこ
とを避ける目的で、バッファメモリの滞留量Ｂ（ｔ）が
フレーム当たり伝送されるデータ量の閾値Ｌ以下になる
まで、コマ落としを行う。

【０１０７】図４はオブジェクトＡとオブジェクトＢの
２個のオブジェクトあり、それらの輪郭が接触している
ために１組にしてレート制御を行うようにすることを仮
定している。

【０１０８】まず、時刻ｔ０を見てみる。この時刻ｔ０
ではオブジェクトＡ０とオブジェクトＢ０がバッファメ
モリ１４０に蓄積されている。次の時刻ｔ１でバッファ
メモリ１４０の滞留量がＬを超えているので、オブジェ
クトＡ１とオブジェクトＢ１をコマ落としして、符号化
を停止する。

【０１０９】オブジェクトＡ１とオブジェクトＢ１と云
う２個の接触したオブジェクトがまとめてコマ落される
ことにより、両者の間でフレーム毎に同期がとれ、ジッ
タが起きなくなる。

【０１１０】次に、時刻ｔ１を見てみる。この時刻ｔ１
ではバッファメモリ１４０にはオブジェクトＡ０の一部
とオブジェクトＢ０の全部が残っているが、これは滞留
量としては閾値Ｌ以下なので、時刻ｔ２ではオブジェク
トＡ２とオブジェクトＢ２は符号化され、バッファメモ
リ１４０に書き込まれる。

【０１１１】時刻ｔ２ではバッファメモリ１４０の滞留
量が閾値Ｌを超えているので、オブジェクトＡ３とオブ
ジェクトＡ３はコマ落としされ、符号化は停止される。
以上説明したように、本発明では、輪郭が接するオブジ
ェクト１３１とオブジェクト１３２の符号化データが、
まとめてバッファメモリ１４０に書き込まれ、コマ落と
しが必要な場合には、オブジェクト１３１とオブジェク
ト１３２で同時に発生させるように制御するようにした
ことにより、受信側でフレーム単位に両方のオブジェク
トでコマ落としが同時に起こり、両オブジェクトを合成
して画像を表示する際に、オブジェクト間で取得時点の
異なるオブジェクトを用いて合成せざるを得ないと云っ
た事態が生じることを防止でき、従って、両オブジェク
トの互いに接触している輪郭部分にジッタが起こる心配
がない。

【０１１２】また、オブジェクト１３３とオブジェクト
１３４についても上述同様にバッファメモリ１４６でコ
マ落としを管理するようにすることにより、受信側で表
示する際に両方のオブジェクトの接触している輪郭にジ
ッタが起きることを防止できる。

【０１１３】以上、第１の実施形態においては、人物と
背景と云ったような一つの注目オブジェクトと背景オブ
ジェクトとからなる最も単純なオブジェクト構成の動画
像についてのレート制御例を説明した。しかし、動画像
はこのような単純なものばかりでなく、背景の他に多数
のオブジェクトが含まれるケースも多いから、このよう
な多数オブジェクト構成の動画像の場合についても、そ
の対処例を明らかにしておく必要がある。従って、次に
多数オブジェクト構成の動画像の場合についての実施形
態を第２の実施形態として説明する。

【０１１４】（第２の実施形態）図５は一つの画面で任
意の個数のオブジェクトが存在し、それらのオブジェク
トが複数の組で相互に輪郭が接触している場合に、前記
オブジェクトのコマ落としを制御するシステムの構成図
である。

【０１１５】図５において、１１４は形状抽出部、１１
７ａ，１１７ｂ，〜１１７ｎは符号化部、１６１はレー
ト制御部、１６４はマルチプレクサ、１６６はバッファ
メモリである。

【０１１６】形状抽出部１１４は、テレビカメラなどの
撮像装置で撮影して得た動画像データ１１３から画面を
構成している各オブジェクトについてそれぞれ輪郭を元
にした領域抽出をして、各オブジェクトの形状情報１１
６ａ，〜１１６ｎをそれぞれ生成するものであって、１
フレームの画面から複数のオブジェクト形状を抽出する
ものである。また、この形状抽出部１１４には抽出した
オブジェクトの形状情報１１６から相互の輪郭が接触し
ているオブジェクト同士を組として分類し、その情報
（分類表）をレート制御部１６１に出力すると云った機
能を備えている。

【０１１７】符号化部１１７ａ〜１１７ｎは前記各オブ
ジェクト毎に対応してそれぞれの受け持ちのオブジェク
トを符号化する符号化部であり、各オブジェクトに対応
した形状情報１１６ａ，〜１１６ｎを使用して符号化す
るものである。

【０１１８】マルチプレクサ１６４はデータを多重化す
るためのものであって、符号化部１１７ａ，〜１１７ｎ
により出力されるオブジェクトを符号化した符号化情報
１２３ａ，〜１２３ｎを受けて、これらを多重化し、バ
ッファメモリ１６６に送るものである。バッファメモリ
１６６の多重化出力１２５が伝送路への伝送出力とな
る。

【０１１９】レート制御部１６１はバッファメモリ１６
６よりそのデータ蓄積量の情報を受けて当該蓄積量の情
報からバッファメモリ１６６の空き状熊を調べ、バッフ
ァメモリ１６６の多重化出力１２５が割り当てレートに
なるように、符号化部１１７ａ，〜１１７ｎの各量子化
ステップを変えたり、符号化情報１２３ａ，〜１２３ｎ
について、コマ落とししたりすると云った調整制御をす
るためのものである。また、このレート制御部１６１に
は前記形状抽出部１１４からの分類表から各組に属して
いるオブジェクトをまとめてレート制御及びコマ落とし
を行うと云った調整制御機能をも備えている。

【０１２０】このような構成において、テレビカメラな
どの撮像装置で撮影した入力動画像データ１１３を本シ
ステムに入力すると、この動画像データ１１３は、形状
抽出部１１４と符号化部１１７ａ，１１７ｂ，〜１１７
ｎとに、それぞれ与えられる。

【０１２１】動画像データ１１３を受けた形状抽出部１
１４は、この動画像データ１１３から画面を構成してい
る各オブジェクトについてそれぞれ輪郭を元にした領域
抽出をし、各オブジェクト別の形状情報１１６を生成す
る。そして、各オブジェクト別にそのオブジェクトの形
状情報１１６を、そのオブジェクト用の符号化部１１７
ａ，１１７ｂ，〜１１７ｎに、それぞれ与える。

【０１２２】また、形状抽出部１１４は抽出したオブジ
ェクトの形状情報から相互の輪郭が接触しているオブジ
ェクト同士を組として分類する。そして、前記各組に対
してどのオブジェクトが属しているかの分類表情報を、
レート制御部１６１に送る。

【０１２３】また、動画像データ１１３を受けた符号化
部１１７ａ〜１１７ｎでは、それぞれ自己に与えられた
形状情報１１６を使用して、動画像データ１１３から形
状情報に対応する動画像部分を領域抽出し、その抽出し
た動画像部分を用いて動き補償情報を求め、この動き補
償情報と前記抽出した動画像部分のテクスチャ情報とを
符号化して出力する（符号化情報１２３ａ，〜１２３
ｎ）。

【０１２４】符号化部１１７ａ〜１１７ｎからの符号化
情報１２３ａ〜１２３ｎはマルチプレクサ１６４に送ら
れてここで多重化される。そして、このマルチプレクサ
１６４にて多重化された出力１６５はバッファメモリ１
６６に与えられる。バッファメモリ１６６はこれを取り
込み、一定レートで読み出す。

【０１２５】この結果、バッファメモリ１６６は全ての
オブジェクトの符号化データについて平滑化することに
なり、当該バッファメモリ１６６から読み出される多重
化出力１２５は一定レートで回線に出力されることにな
る。

【０１２６】また、バッファメモリ１６６のデータ滞留
量の情報はレート制御部１６１に送られる。そして、レ
ート制御部１６１は前記滞留量の情報から各符号化部１
１７ａ〜１１７ｎまでの量子化ステップを適宜に設定変
更して、発生符号量を調整し、バッファメモリ１６６に
入力される符号化データがオーバーフローしないように
制御する。

【０１２７】また一方、形状抽出部１１４は抽出したオ
ブジェクトの形状情報から相互の輪郭が接触しているオ
ブジェクト同士を組として分類しており、そして、前記
各組に対してどのオブジェクトが属しているかの分類表
を作成してレート制御部１６１に与えている。そして、
レート制御部１６１はレート制御及びコマ落としの必要
が生じたときは、この分類表の情報からそれぞれ組み単
位で、その組に属しているオブジェクトをまとめてレー
ト制御及びコマ落としを行う。

【０１２８】つまり、レート制御部１６１は分類表の情
報をもとに、レート制御及びコマ落としの制御を、組み
単位で行うようにする。以上説明したように、この第２
の実施形態においては、各オブジェクト毎の符号化を行
う符号化部を複数設けて形状抽出部による形状抽出情報
に従って各オブジェクト単位で各オブジェクトを同時並
行にそれぞれ符号化し、これら符号化して得たデータを
多重化してバッファメモリに与え、このバッファメモリ
より読み出して伝送に供すると共に、形状抽出部には輪
郭の接するオブジェクト同士を検出する機能を持たせ
て、その輪郭の接するオブジェクトの情報をレート制御
部に与え、レート制御やコマ落としを実施する場合に
は、各オブジェクト毎の符号化を行う符号化部に対し
て、輪郭の接触するオブジェクト同士を一まとまりとし
てレート制御、あるいはコマ落とし制御されるように
し、コマ落としが必要な場合には、輪郭が接するオブジ
ェクト同士が同時にコマ落としされるようにしたことに
より、輪郭が接するオブジェクトについては受信側でフ
レーム単位に同時にコマ落としが起こり、各オブジェク
トを合成して画像を表示する際に、輪郭が接するオブジ
ェクト間で取得時点の異なるオブジェクトを用いて合成
せざる得ないと云った事態が生じることを防止でき、従
って、両オブジェクトの互いに接触している輪郭部分に
ジッタが起こる心配がない。

【０１２９】従って、複数のオブジェクト同士が接触し
ている画像の場合に、接触しているオブジェクト間での
輪郭にジッタが起きることを防止できる。 ＜相互接触オブジェクトの検出方法＞ここで、形状抽出
部１１４の持つ、抽出オブジェクトのうちの相互に輪郭
が接触しているオブジェクトを検出する相互接触オブジ
ェクト検出方法の具体例について、図６を参照しながら
説明する。

【０１３０】［動きのあるオブジェクト同士の例］先ず
はじめに、相互に接触しているオブジェクト同士が静止
状態でなく、コマ毎に動きがある場合について説明す
る。

【０１３１】図６は抽出したオブジェクト１６７とオブ
ジェクト１６８が相互に接触している状態を示してい
る。まず、オブジェクト１６７の輪郭について幅Δの間
隔で、点をつける。これが図中の点…，Ａｍｎ−２，Ａ
ｍｎ−１，Ａｍｎ，Ａｍｎ＋１，…である。同様にオブ
ジェクト１６８の輪郭についても幅Δの間隔で、点をつ
ける。これが図中の点（…，Ｂｎ−２，Ｂｎ−１，Ｂ
ｎ，Ｂｎ＋１，…）である。

【０１３２】そして、オブジェクト１６７の所望の点、
例えば、点Ａｍからオブジェクト１６８の各点（…，Ｂ
ｎ−２，Ｂｎ−１，Ｂｎ，Ｂｎ＋１，…）とをそれぞれ
直線で結んでみる。そして、これら直線のうち、最も短
い直線を選び（図６ではＡｍとＢｎを結んだ直線が選ば
れる）、この直線の長さが閾値αより小さければ両者の
点は接触していると見做す。ここで、閾値αは二つのオ
ブジェクト間の接近距離が、接触と見做せる距離相当分
の値である。

【０１３３】同様にして、オブジェクト１６７の別の点
について前記と同様の処理を行い、最接近した点の組を
選ぶ。以下同様にして、オブジェクト１６７とオブジェ
クト１６８について最接近した点の組を選び、それらの
組を２つのオブジェクトが接触している点とする。

【０１３４】以上のように、全てのオブジェクトについ
て前記の処理を行い、輪郭が接触しているオブジェクト
の組を分類する。 ［動きのないオブジェクト同士の例］前述した例は、複
数のオブジェクトが１組になって一緒に動くようなオブ
ジェクト集団について、分類することを前提としてい
た。しかし、時間が経過しても動きがないオブジェクト
（すなわち、静止しているオブジェクト）も存在し得
る。このような静止オブジェクトの場合には、特に相互
のオブジェクトの輪郭が接触しても、あるいはオブジェ
クト同士が孤立していてもジッタを起こさない。

【０１３５】そこで、これら静止している複数のオブジ
ェクトを選択して一つのオブジェクトの組とすることが
できる。静止しているオブジェクトを形状抽出部１１４
で如何にして選択するかを説明する。

【０１３６】図７は、静止しているオブジェクトを検出
する方法を説明するための図である。まず、前記と同様
にオブジェクトの輪郭について幅Δの間隔で点をつけ
る。そして、各点について、複数フレームに亙って揺れ
具合を調べる。例えば、ある点を対象としてフレーム毎
に揺れた座標Ａ１１，Ａ１２， … ，Ａ１ｍをプロッ
トしてみる。同様に各点についても揺れた座標をプロッ
トしてみる。

【０１３７】そして、各点の揺れ具合が半径α以内に収
まっていれば、その点は静止していると見做す。同様に
このオブジェクトの輪郭上の全ての点について揺れが半
径α以内なら、このオブジェクトは静止していると見做
す。ここで、αは静止と見做せる距離相当分の値であ
る。

【０１３８】以下同様に、形状抽出部１１４は静止して
いるオブジェクトを選択してそれらオブジェクトをオブ
ジェクトの組とする。 ＜相互に接触したオブジェクトの組のレート制御方法＞
次に、図５において、形状抽出部１１４で検出した相互
に接触したオブジェクトの組についてどのようにレート
制御するかその方法について述べる。図８（ａ）はバッ
ファメモリ１６６に書き込まれる各オブジェクトのデー
タの流れについて説明している。

【０１３９】本方法は輪郭が接触したオブジェクトの組
の単位でレート制御を行うことを特徴としている。図８
（ｂ）は輪郭が接触したオブジェクトの組で、オブジェ
クトの構成について説明した図である。輪郭が接触した
オブジェクトのある組をＶｎとし、この組を構成してい
るオブジェクトをＶｎｍ，〜Ｖｎ２，Ｖｎ１としてい
る。

【０１４０】まず、フレーム時刻ｔｏでバッファメモリ
１６６には組Ｖ０と組Ｖ１が書き込まれていると仮定す
る。バッファメモリ１６６は閾値Ｌを超えている。尚、
閾値Ｌはバッファメモリ１６６からの多重化出力１２５
におけるフレーム毎のデータ量に相当している。時刻ｔ
１では組Ｖ２はコマ落としされ、組Ｖ２を構成している
オブジェクトの符号化は実行されない。

【０１４１】次に時刻ｔ２でバッファメモリ１６６に組
Ｖ３が書き込まれる。組Ｖ３のデータ量は閾値Ｌを超え
ているので、時刻ｔ３では組Ｖ４はコマ落としされる。
そして、組Ｖ４を構成しているオブジェクトは符号化さ
れない。

【０１４２】以上説明したように、レート制御部１６１
は形状抽出部１１４から出力される前記オブジェクトの
組情報１６０により、バッファメモリ１６６のコマ落と
し管理を組単位で行う。また、同時に各組を構成してい
るオブジェクトの量子化ステップを割り当てられたレー
トに収まるように制御する。

【０１４３】また、前記の説明でＶｎの構成要素は輪郭
が接触したオブジェクトに限定したが、上述したように
静止しているオブジェクトを組にしてもよい。形状抽出
部１１４はあるフレームの画面からオブジェクトの輪郭
を抽出し、輪郭が接触したオブジェクトの組を分類する
処理を行う。しかし、図１のように一枚の画面からオブ
ジェクト１３１〜１３５まで、背景を含めたオブジェク
トを切り出した場合、無条件にオブジェクト１３１〜１
３５が一つの組になり、特に形状抽出部１１４で輪郭が
接触したオブジェクトの組を分類する必要がない。

【０１４４】このように、第２の実施形態においては、
各オブジェクト毎の符号化を行う符号化部を複数設けて
形状抽出部による形状抽出情報に従って各オブジェクト
単位で各オブジェクトを同時並行にそれぞれ符号化し、
これら符号化して得たデータを多重化してバッファメモ
リに与え、このバッファメモリより読み出して伝送に供
すると共に、形状抽出部には輪郭の接するオブジェクト
同士を検出する機能を持たせて、その輪郭の接するオブ
ジェクトの情報をレート制御部に与え、レート制御やコ
マ落としを実施する場合には、各オブジェクト毎の符号
化を行う符号化部に対して、輪郭の接触するオブジェク
ト同士を一まとまりとしてレート制御、あるいはコマ落
とし制御されるようにし、あるいは、隣接せずとも静止
オブジェクトである場合には静止オブジェクト全てにつ
いてこれを組としてレート制御、あるいはコマ落とし制
御されるようにし、コマ落としが必要な場合には、輪郭
が接するオブジェクト同士、あるいは、隣接せずとも静
止オブジェクトである場合には静止オブジェクト全てが
同時にコマ落としされるようにしたものである。

【０１４５】これにより、輪郭が接するオブジェクトに
ついては動きのあるオブジェクト同士で、あるいは、隣
接せずとも静止オブジェクトである場合には静止オブジ
ェクト全てについてこれを組として、受信側でフレーム
単位に同時にコマ落としが起こり、所要の伝送レートに
なるように制御できるようになると共に、各オブジェク
トを合成して画像を表示する際に、輪郭が接するオブジ
ェクト間で取得時点の異なるオブジェクトを用いて合成
せざる得ないと云った事態が生じることを防止でき、従
って、輪郭が接触しているオブジェクトでの互いに接触
している輪郭部分にジッタが起こる心配がない。また、
静止オブジェクト全てが同時にコマ落としされるように
制御できることから、静止オブジェクトについては１度
送れば、後は変化の生じるまで、或いは必要が生じるま
では、そのオブジェクトの伝送をしないでその容量分を
他の動きのあるオブジェクトの伝送に転用するといった
ことが可能となり、伝送に余裕を持たせることが可能に
なるといった効果が期待できる。

【０１４６】尚、本発明は上述した実施形態に限定され
るものではなく、種々変形して実施可能である。また、
本発明の実施形態に記載した手法は、コンピュータに実
行させることのできるプログラムとして、磁気ディスク
（フロッピーディスク、ハードディスクなど）、光ディ
スク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなど
の記録媒体に格納して頒布することもできる。

【０１４７】

【発明の効果】以上、詳述したように、本発明は、動画
像画面で画面を構成しているオブジェクトについて、オ
ブジェクト単位に符号化する際に、相互に輪郭が接触し
ているオブジェクトを組にして、組単位にコマ落とし及
び量子化を行うことにより、前記輪郭部分にジッタが起
きるのを防止できる。また、静止オブジェクト全てが同
時にコマ落としされるように制御できることから、静止
オブジェクトについては１度送れば、後は変化の生じる
まで、或いは必要が生じるまでは、そのオブジェクトの
伝送をしないでその容量分を他の動きのあるオブジェク
トの伝送に転用するといったことが可能となり、伝送に
余裕を持たせることが可能になるといった効果が期待で
きる。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、動画像画
面からオブジェクトを抽出し、オブジェクトを分離した
例を示した図である。

【図２】本発明を説明するための図であって、本実施例
における符号化方式のブロック構成図である。

【図３】本発明を説明するための図であって、本実施例
における符号化部の構成例を示すブロック図である。

【図４】本発明を説明するための図であって、本実施例
におけるバッファメモリの格納状態を示した説明図であ
る。

【図５】本発明を説明するための図であって、本実施例
における変形例を示したブロック構成図である。

【図６】本発明を説明するための図であって、本実施例
における輪郭が接触した複数のオブジェクトを検出する
方法の説明図である。

【図７】本発明を説明するための図であって、本実施例
における静止したオブジェクトを検出する方法の説明図
である。

【図８】本発明を説明するための図であって、本実施例
におけるバッファメモリの格納状態を示した説明図であ
る。

【図９】従来におけるオブジェクト単位で動画像を符号
化する方式を説明した構成図である。

【図１０】従来のオブジェクト単位で動画像を符号化す
る方式の変形例を説明した構成図である。

【図１１】従来におけるオブジェクト単位で動画像を符
号化する方式の装置のブロック構成図である。

【図１２】従来におけるオブジェクト単位で動画像を符
号化する方式において、フレーム単位での各オブジェク
トの符号化および合成状態を説明した図である。

【符号の説明】

１１３…動画像データ １１４…形状抽出部 １１７ａ，〜１１７ｎ…符号化部 １２１ａ，〜１２１ｎ，１４０，１４６，１６６…バッ
ファメモリ １１９ａ，〜１１９ｎ，１３８，１４４，１６１…レー
ト制御部 １２４…多重化部 １３９，１４５，１５０−３，１６４…マルチプレクサ １５０−１…符号化モード選択回路 １５１…ＤＣＴ回路 １５２…量子化回路 １５３…可変長符号回路 １５４…逆量子化回路 １５５…逆ＤＣＴ回路 １５６…加算部 １５７…フレームメモリ １５８…動き補償回路 １５９…動き検出回路 １５０−４…形状符号化部 １５０−６…動き補償／テクスチャ符号化部 １３１，１３２，１３３，１３４，１３５…オブジェク
ト

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 GB17 GB32 HA06 HA33 LA14 5C059 KK01 KK13 KK35 LB07 MA00 MA05 MA23 MB03 MB14 MB16 MC11 MC38 ME02 NN01 NN28 PP05 PP06 PP07 PP27 SS07 TA07 TA25 TA46 TB18 TC14 TC20 TC37 TD12 UA02 UA05 UA32

Claims (9)

【特許請求の範囲】
1. 【請求項１】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化装置におい
   て、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
   ジェクトの組を分類する手段と、 前記各組単位で前記通信回線に対する割り当てレートを
   制御する手段と、 前記レートを制御するに際してコマ落としを必要とする
   ときは、同一の組に属するオブジェクトに対しては同じ
   フレームで一斉にコマ落としを行う手段とを具備するこ
   とを特徴とするオブジェクト符号化装置。
2. 【請求項２】前記オブジェクトの組を分類する手段は、
   前記オブジェクトの形状を抽出する際、オブジェクトの
   中から静止している１つ以上のオブジェクトの組を検出
   して同一の組に分類する機能を更に有することことを特
   徴とする請求項１記載のオブジェクト符号化装置。
3. 【請求項３】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化装置におい
   て、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
   ジェクトの組を分類する手段と、 前記各組単位で前記通信回線に対する割り当てレートを
   制御する手段と、 前記レートを制御する際、同一の組に属するオブジェク
   トについては同じフレームで一斉にコマ落としを行うと
   共に、前記画像から複数の領域の形状を抽出する際に、
   一枚の画像から背景を含めて複数のオブジェクトに符号
   化する場合には、コマ落とし対象はその対象となるフレ
   ームに属する全てのオブジェクトとするコマ落とし手段
   とを具備することを特徴とするオブジェクト符号化装
   置。
4. 【請求項４】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化装置におい
   て、 前記抽出した形状情報に従い、並行して各オブジェクト
   毎にそれぞれ符号化する符号化手段と、 符号化手段により各オブジェクト単位で符号化して得た
   データを多重化する多重化手段と、 この多重化したデータを所定のレートで伝送する伝送手
   段と、 前記形状の抽出にあたり、輪郭の接するオブジェクト同
   士を検出して、その輪郭の接するオブジェクトの情報を
   取得する手段と、 前記符号化手段での符号化にあたり、発生符号量を制御
   するに際しては、輪郭の接触するオブジェクト同士を一
   まとまりとして符号量制御、あるいはコマ落とし制御す
   るようにし、あるいは、隣接せずとも静止オブジェクト
   である場合には静止オブジェクト全てについてこれを同
   一組として発生符号量制御、あるいはコマ落とし制御す
   ることを特徴とするオブジェクト符号化装置。
5. 【請求項５】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化装置のコマ落
   とし制御方法として、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
   ジェクトの組を分類するステップと、 前記各組単位で前記通信回線に対する割り当てレートを
   制御するステップと、 前記レートを制御するにあたりコマ落としをする際、同
   一の組に属するオブジェクトについては同じフレームで
   一斉にコマ落としをするステップとを具備することを特
   徴とするオブジェクト符号化装置のコマ落し制御方法。
6. 【請求項６】前記オブジェクトの組を分類するステップ
   は、前記オブジェクトの形状を抽出する際、オブジェク
   トの中から静止している１つ以上のオブジェクトの組を
   検出して同一の組に分類する機能を更に有することを特
   徴とする請求項５に記載のオブジェクト符号化装置のコ
   マ落し制御方法。
7. 【請求項７】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化装置のコマ落
   とし制御方法として、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
   ジェクトの組を分類するステップと、 前記各組単位で前記通信回線に対する割り当てレートを
   制御するステップと、 前記レートを制御する際、同一の組に属するオブジェク
   トについては同じフレームで一斉にコマ落としを行うと
   共に、前記画像から複数の領域の形状を抽出する際に、
   一枚の画像から背景を含めて複数のオブジェクトに符号
   化する場合には、コマ落とし対象はその対象となるフレ
   ームに属する全てのオブジェクトとするコマ落としステ
   ップとを具備することを特徴とするオブジェクト符号化
   装置のコマ落し制御方法。
8. 【請求項８】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化方法におい
   て、 前記抽出した形状情報に従い、並行して各オブジェクト
   毎にそれぞれ符号化する符号化ステップと、 これら各オブジェクト単位で符号化して得たデータを多
   重化するステップと、 この多重化したデータを所定のレートで読み出して伝送
   するステップと、 前記形状の抽出にあたり、輪郭の接するオブジェクト同
   士を検出して、その輪郭の接するオブジェクトの情報を
   取得するステップと、 前記符号化ステップでの符号化にあたり、発生符号量を
   制御するに際しては、輪郭の接触するオブジェクト同士
   を一まとまりとして符号量制御、あるいはコマ落とし制
   御するようにし、あるいは、隣接せずとも静止オブジェ
   クトである場合には静止オブジェクト全てについてこれ
   を同一組として発生符号量制御、あるいはコマ落とし制
   御することを特徴とするオブジェクト符号化のコマ落と
   し制御方法。
9. 【請求項９】入力される動画像データからフレーム内の
   画像についての複数の領域の形状を抽出し、前記領域の
   テクスチャ、動き補償および形状情報を並列に符号化
   し、これらを多重化し、これを所定のレートで通信回線
   に送出するようにしたオブジェクト符号化方法におい
   て、 各オブジェクト毎にそれぞれ符号化を行う符号化手段を
   複数設けて抽出形状抽出情報に従い、各オブジェクト単
   位で各オブジェクトを同時並行に符号化し、これら符号
   化して得たデータを多重化してバッファメモリに与え、
   このバッファメモリより読み出して伝送に供すると共
   に、前記形状の抽出にあたっては輪郭の接するオブジェ
   クト同士を検出して、その輪郭の接するオブジェクトの
   情報を取得し、レート制御やコマ落としの実施に際して
   は、輪郭の接触するオブジェクト同士を一まとまりとし
   てレート制御、あるいはコマ落とし制御するようにし、
   あるいは、隣接せずとも静止オブジェクトである場合に
   は静止オブジェクト全てについてこれを同一組としてレ
   ート制御、あるいはコマ落とし制御することを特徴とす
   るコンピュータにて読み込み実行可能なプログラムを記
   録した記憶媒体。