JP3918447B2 - 動画像受信装置および動画像送信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、オブジェクト単位に符号化されたビットストリームデータを複数受信して復号画像を生成する動画像受信装置、オブジェクト単位に符号化されたビットストリームデータを送信する動画像送信装置に関し、特に、それらの装置における個々のオブジェクトに対する符号化の優先度を動的に変更する方法に関するものである。
【０００２】
【従来の技術】
動画像信号を複数のオブジェクトに分割して符号化する手法として、例えば国際標準化された符号化方式であるＭＰＥＧ−４（Ｍｏｖｉｎｇ ＰｉｃｔｕｒｅＥｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ−４）のＰａｒｔ−２ Ｖｉｓｕａｌが挙げられる。ＭＰＥＧ−４ Ｖｉｓｕａｌでは、矩形もしくは任意形状の画像オブジェクトを定義し、一つもしくは複数の画像オブジェクトの信号の復号方式と形状情報の復号方式に対する標準化がなされている。しかし、符号化方式に対しては標準化はなされておらず、この復号方式に正しく則ったビットストリームを出力できれば、どのような処理を行ってもよいことになっている。つまり、ＭＰＥＧ−４では、複数のオブジェクトの符号化手段が一つの符号化装置によって構成される必要はなく、ネットワーク上に配置された複数の符号化装置において、個々のオブジェクトの符号化を行い出力する構成も可能である。このため、例えば、特開2000−92489号公報記載の従来技術では、複数の符号化部を備えた画像符号化装置において、個々にオブジェクトの符号化制御について示している。
【０００４】
【発明が解決しようとする課題】
この特開2000−92489号公報記載の従来技術では、動画像信号の入力・符号化・多重化およびレート制御の処理をリアルタイムに行う手法について示しているが、リアルタイム符号化装置の代わりにあらかじめ符号化されたビットストリームを蓄積した蓄積サーバを使用する場合には、オブジェクト単位のビットストリームデータの品質を指示する優先度を動的に変更してレート制御を行うことができない。
【０００６】
本発明は、ビットストリームを蓄積した蓄積サーバから符号化ビットストリームを出力する場合にも、指定されたオブジェクトの優先度に応じて出力するストリームを制御することのできる動画像送信装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明では、動画像送信装置からオブジェクト単位に符号化されたビットストリームデータを複数受信して復号画像を生成する動画像受信装置において、上記ビットストリームデータを複数受信するビットストリーム受信手段と、上記受信したビットストリームデータを復号する復号手段と、上記オブジェクト毎の優先度情報を上記動画像送信装置に対し送信するデータ送信手段と、を備えたことを特徴とする。
【０００８】
特に、データ送信手段は、復号された複数個のオブジェクトが画面に表示され、各オブジェクトごとに優先度情報が指定された場合、その指定された優先度情報を上記動画像送信装置に対し送信する、ことを特徴とする。
【０００９】
また、データ送信手段は、ビットストリーム受信手段が各オブジェクトのビットストリームを受信した際、各オブジェクトのネットワークの品質を検出し、検出した各オブジェクトのネットワークの品質をオブジェクト毎の優先度情報として上記動画像送信装置に対し送信する、ことを特徴とする。
【００１０】
また、データ送信手段は、復号手段が各オブジェクトのビットストリームを復号した際、各オブジェクトのビットストリームデータの復号誤りを検出した場合、検出した各オブジェクトのビットストリームデータの復号誤りをオブジェクト毎の優先度情報として上記動画像送信装置に対し送信する、ことを特徴とする。
【００１１】
また、上記オブジェクトごとの優先度情報と、上記復号手段の復号能力に関する情報とに基づき受信可能なオブジェクトを選択して、上記ビットストリームデータから当該選択されたオブジェクトのビットストリームデータを受信する、ことを特徴とする。
【００１２】
また、上記オブジェクトごとの優先度情報と、上記復号手段の復号能力に関する情報とに基づき受信可能なオブジェクトの選択は、本装置および動画像送信装置とは独立して設けられた登録サーバが行ない、本装置に対し指示することを特徴とする。
【００１３】
また、オブジェクト単位に符号化されたビットストリームデータを送信する動画像送信装置において、オブジェクト単位に画像を符号化する符号化手段と、符号化されたビットストリームデータを送信するビットストリーム送信手段と、オブジェクトごとの優先度情報を受信するデータ受信手段と、上記データ受信手段が受信した情報をもとに上記符号化手段を制御する符号化制御手段と、を備えたことを特徴とする。
【００１４】
また、オブジェクト単位に符号化されたビットストリームデータを送信する動画像送信装置において、オブジェクト単位に画像を符号化したビットストリームを蓄積する複数のビットストリーム蓄積手段と、オブジェクトごとの優先度情報を受信するデータ受信手段と、上記データ受信手段が受信した情報をもとに上記複数のビットストリーム蓄積手段から一つを選択する選択手段と、上記選択された一つのビットストリーム蓄積手段からの符号化されたビットストリームデータを送信するビットストリーム送信手段と、を備えたことを特徴とする。
【００１５】
また、複数のビットストリーム蓄積手段は、それぞれ同一オブジェクトを異なるビットレートで符号化したビットストリームが蓄積されている、ことを特徴とする。
【００１６】
また、同一オブジェクトを異なるビットレートで符号化したビットストリームは、全て共通した所定のタイミングでフレーム内符号化を行い、かつ、フレーム内符号化されているフレームの先頭には所定のオーバーヘッド情報を付与する、ことを特徴とする。
【００１７】
また、選択手段は、ビットストリーム中のフレーム内符号化されているフレーム位置においてビットストリームを切り替える、ことを特徴とする。
【００１８】
また、複数のビットストリーム蓄積手段は、蓄積されているビットストリーム中のフレーム内符号化されている位置情報をあらかじめ作成しておく、ことを特徴とする。
【００１９】
また、ビットストリーム送信手段は、選択手段において別のビットストリームに切り替えたタイミングにおいてはそのままビットストリームを送信し、同じビットストリームが継続して選択されている場合にはオーバーヘッド情報を削除して送信する、ことを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図を用いて説明する。
実施の形態１．
本実施の形態１では、複数の動画像送信装置それぞれから送信される複数のオブジェクトを、動画像受信装置が受信するための構成および処理手順を示す。
【００２１】
図１は、本発明の主な構成例を示すブロック図である。図１において、１１〜１ｎはｎ個の動画像送信装置、２１は動画像受信装置、３１はネットワーク上にある動画像送信装置１１〜１ｎに関するデータおよび後述するコンテンツデータなどを登録する登録サーバ、４１はこれらの装置が接続される公衆回線網やパケット通信網などのネットワークである。
【００２２】
図２に、実施の形態１の動画像送信装置１１〜１ｎの構成を示す。図２において、１０１は画像入力部、１０２は画像符号化部、１０３は符号化されたビットストリーム（以下、ＢＳと記す）を送信するＢＳ送信部、１０４はオブジェクト毎にビットストリームデータの圧縮率やビットレート等の各ビットストリームデータの品質を示す優先度情報や、ネットワークの品質情報などの各種データを受信するデータ受信部、１０５は画像符号化部１０２を制御する符号化制御部、１０６は後述するコンテンツデータを送出するデータ送信部である。尚、実施の形態１の説明では、送信装置１１〜１ｎを複数設けて説明しているが、本発明では、これに限らず、一つの動画像送信装置内に、画像入力部１０１、画像符号化部１０２、ＢＳ送信部１０３、データ受信部１０４、符号化制御部１０５、およびデータ送信部１０６を複数備え、一つの動画像送信装置から複数オブジェクトの符号化ビットストリーム（ＢＳ）を生成して送出するようにしても勿論よい。また、このような場合でも、時分割処理を行う構成をとれば、これらの処理部１０１〜１０６の組みと、符号化されるオブジェクトの個数とは同数である必要はない。
【００２３】
図３に、実施の形態１の動画像受信装置２１の構成を示す。図３において、２０１はビットストリーム（ＢＳ）をネットワーク４１を介し受信するＢＳ受信部、２０２は受信したビットストリーム（ＢＳ）を復号する画像復号部、２０３は復号された画像信号を表示する画像表示部、２０４は符号化される優先度情報やネットワークの品質情報をネットワーク４１を介し送信するデータ送信部である。
【００２４】
図４に、実施の形態１の登録サーバ３１の構成を示す。図４において、３０１は動画像送信装置１１〜１ｎから送信される動画像送信装置２１に関するデータ、コンテンツデータ、および受信装置２１から送信される受信能力データをネットワーク４１を介し受信するデータ受信部、３０２は動画像送信装置１１〜１ｎに関するデータ、後述するコンテンツデータ、各オブジェクトの符号化に対する優先度情報を記憶する送信データ登録部、３０３は動画像受信装置２１の画像復号部２０２の復号能力などの受信能力データを記憶する受信装置登録部、３０４は動画像送信装置１１〜１ｎに関するデータ、コンテンツデータ、優先度情報を受信装置２１に向けて送信したり、優先度情報やネットワーク４１の品質情報をネットワーク４１を介し動画像送信装置１１〜１ｎに向けて送信するデータ送信部である。
【００２５】
次に動作を説明する。
まず、図２に示すように、動画像送信装置１１〜１ｎは、それぞれ、画像入力部１０１から入力される画像信号に対して、画像符号化部１０２で例えばＭＰＥＧ−４のような符号化方式を用いて符号化処理を行う。画像符号化部１０２より出力されたビットストリーム（ＢＳ）は、ＢＳ送信部１０３よりネットワーク４１に応じた形式に変換した後にネットワーク４１に出力される。例えばネットワーク４１がパケット通信網であった場合、ビットストリームを所定のサイズでパケット化し、所定のヘッダ情報（パケットの通し番号や時刻情報など）を付与する。また誤りが発生する可能性の高いネットワーク４１を使用する場合には、ビットストリームに必要に応じて誤り検出フラグが付与される。
【００２６】
データ受信部１０４では、登録サーバ３１や動画像受信装置２１から発信される優先度情報やネットワーク４１の品質情報を受信する。符号化制御部１０５は、データ受信部１０４が受信した優先度情報やネットワーク４１の品質情報に応じて、ビットレートやフレームレートなどの符号化に関するパラメータを設定し、画像符号化部１０２を制御する。
【００２７】
データ送信部１０６は、画像入力部１０１もしくは外部から入力されるオブジェクトに関する情報（例えばオブジェクトが人物であるとか背景であるといった内容に関わるものや、オブジェクトの画面上における位置や上下関係、サイズなど画像信号の状態に関わるものなど）や、符号化制御部１０５で設定されるビットレートや、フレームレートなどの符号化に関するパラメータをネットワーク４１を介し動画像受信装置２１へ送信する。なお、オブジェクトに関する情報と符号化に関するパラメータとをまとめてコンテンツデータと呼ぶこととする。
【００２８】
一方、図３に示すように、動画像受信装置２１では、以上のようにして複数の動画像送信装置１１〜１ｎから送信されたビットストリーム（ＢＳ）をＢＳ受信部２０１が受信する。このときパケット通信の場合には、ヘッダ情報に含まれる通し番号によりパケットの紛失の有無を検出したり、ヘッダ情報の時刻情報を用いて到着までの経過時間（伝送遅延）や各パケットごとの伝送遅延のゆらぎの大きさを検出する。また誤り検出フラグが付与されている場合には、データの誤り（ビットエラー）の検出を行う。
【００２９】
次に、画像復号部２０２は、受信したビットストリーム（ＢＳ）を復号し、画像表示部２０３で復号された画像を表示する。その際、画像復号部２０２では、ビットストリーム（ＢＳ）中に復号できないデータが含まれているかどうかのエラーチェックも同時に行ってもよい。尚、複数のオブジェクトを同時に受信する場合には、複数のＢＳ受信部２０１と画像復号部２０２を備えて並列処理を行ってもよいし、あるいは一つのＢＳ受信部２０１と画像復号部２０２を時分割で使用してもよい。これら複数のオブジェクトは、画像表示部２０３にて合成処理を行い表示される。
【００３０】
そして、データ送信部２０４は、ＢＳ受信部２０１で検出されたネットワーク４１の品質に関する情報や、画像復号部２０２で検出されたビットストリーム（ＢＳ）データの復号誤りに関する情報、またはこの動画像受信装置２１のユーザやこれに接続されたほかの装置等の外部から与えられる各オブジェクトごとの優先度情報をネットワーク４１を介し動画像送信装置１１〜１ｎに対し送信する。
【００３１】
また、データ送信部２０４は、動画像受信装置２１のＢＳ受信部２０１や画像復号部２０２の能力から規定される動画像受信装置２１の受信能力に関する情報、例えば、この動画像受信装置２１で復号できるオブジェクトの最大個数やサイズ、最大ビットレート、最大フレームレートなどをネットワーク４１を介し登録サーバ３１に対し送信する。
【００３２】
登録サーバ３１では、ネットワーク４１上に配置されている複数個の動画像送信装置１１〜１ｎに関する情報と、動画像受信装置２１に関する情報とを登録し、状況に応じて動画像送信装置１１〜１ｎや動画像受信装置２１に対して登録した情報を配信するもので、まず、データ受信部３０１がネットワーク４１を介し動画像送信装置１１〜１ｎからのオブジェクトに関する情報や符号化に関するパラメータ等であるコンテンツデータや、受信装置２１からの動画像受信装置２１の受信能力に関する情報を受信する。尚、コンテンツデータの受信は、動画像送信装置１１〜１ｎが登録サーバ３１をあらかじめ認識していて、動画像送信装置１１〜１ｎ側からコンテンツデータを送信する形態や、登録サーバ３１がネットワーク４１上に存在する動画像送信装置１１〜１ｎを探索して、コンテンツデータを要求する形態がある。
【００３３】
次に、送信データ登録部３０２は、受信したコンテンツデータと、そのコンテンツデータを送信してきた動画像送信装置１１〜１ｎに関するデータ、例えば、動画像送信装置を特定できるデータや、電話番号や動画像送信装置の名称、ＩＰアドレスなど、およびそのコンテンツデータに対する符号化オブジェクトの優先度情報を登録する。受信装置登録部３０３は、データ受信部３０１が受信した動画像受信装置２１の受信能力に関する情報を登録する。
【００３４】
データ送信部３０４は、送信データ登録部３０２に登録されているコンテンツデータ、動画像送信装置１１〜１ｎに関するデータ、優先度情報を動画像受信装置２１に対して送信する。これらデータの送信方法について、一例として以下に２通りの方法を示す。
【００３５】
一つ目の方法は、登録サーバ３１自身が登録しているデータの中から組み合わせを選択して動画像受信装置２１に送信する方法である。組み合わせは、受信装置登録部３０３に登録されている動画像受信装置２１の受信能力を超えないように、すなわち受信できるオブジェクト数を超えないよう、または受信可能なオブジェクトサイズを超えないよう、あるいは受信できる最大ビット数を超えないよう受信できる最大フレームレートを超えないよう、動画像送信装置１１〜１ｎすなわちオブジェクトの選択を行う。また、送信データ登録部３０２に登録されているコンテンツデータからオブジェクトに関する情報を読み取り、例えば背景を複数選択しないようにしたり、似たようなオブジェクトのものを同時に選択しないようにしたり、画面上同じ位置となるオブジェクトを複数選択しないようにしたりする、というようなオブジェクトの選択処理を行うようにしても勿論よい。
【００３６】
二つ目の方法は、動画像受信装置２１が登録サーバ３１に登録されているデータの中から選択を行う方法である。具体的には、例えばユーザが動画像受信装置２１を通して登録サーバ３１にアクセスする。登録サーバ３１は登録されているコンテンツデータを提示し、ユーザは動画像受信装置２１を通してその中から希望するコンテンツを組み合わせて選択する。その際、動画像受信装置２１は、受信能力を超えた組み合わせが選択されたときには、選択処理を再度行うようにユーザに対して警告を発する。尚、この二つ目の方法をとる場合には、登録サーバ３１における受信装置登録部３０３は不要となる。
【００３７】
動画像受信装置２１は、登録サーバ３１より、動画像送信装置１１〜１ｎからのオブジェクトに関する情報および符号化に関するパラメータであるコンテンツデータとともに、動画像送信装置１１〜１ｎに関するデータを受信する。動画像受信装置２１は、これらのデータを元に動画像送信装置１１〜１ｎからネットワーク４１を介してビットストリーム（ＢＳ）を受信する。
【００３８】
つまり、登録サーバ３１が送信データ登録部３０２に登録されているデータを解析するとともに、受信装置登録部３０３に登録されている復号能力に関する情報を解析して、動画像受信装置２１が受信可能なオブジェクトを選択し、選択されたオブジェクトを符号化する動画像送信装置１１〜１ｎを特定する情報と、符号化されるオブジェクトに関する情報を動画像受信装置２１に対し送信してくるので、動画像受信装置２１は、動画像送信装置１１〜１ｎを特定する情報を受信してその動画像送信装置１１〜１ｎからビットストリームデータを受信する。
【００３９】
従って、本実施の形態１によれば、動画像受信装置２１側から動画像送信装置１１〜１ｎに対し送信すべき各オブジェクトのビットストリームデータの品質を指示する優先度情報をインタラクティブに指定するようにしたので、動画像送信装置１１〜１ｎを適応的に制御して、オブジェクト単位のビットストリームデータを選択することができる。
【００４０】
尚、上記実施の形態１の説明では、動画像受信装置２１と登録サーバ３１とを独立して設けて説明したが、本発明では、これに限らず、動画像受信装置２１の中に登録サーバ３１を設けるなど、動画像受信装置２１と登録サーバ３１とを一つの装置として設けるようにしても良い。このことは、以下に説明する他の実施の形態でも同様である。
【００４１】
また、上記実施の形態１の説明では、動画像受信装置２１は、オブジェクト毎の優先度情報は動画像送信装置１１〜１ｎに対し送信する一方、動画像受信装置２１自身の復号能力等の受信能力データを登録サーバ３１に送信するように説明したが、本発明では、これに限らず、オブジェクト毎の優先度情報および動画像受信装置２１自身の受信能力データを動画像送信装置１１〜１ｎに対し送信するようにしてもよい。この場合には、登録サーバ３１が不要となる。このことは、以下に説明する他の実施の形態でも同様である。
【００４２】
実施の形態２．
本実施の形態２では、複数のオブジェクトのビットストリームデータを受信している動画像受信装置２１を通してユーザが各オブジェクトの優先度を動的に変更するための構成および処理手順を示す。
【００４３】
本実施の形態２では、図３に示す動画像受信装置２１のデータ送信部２０４に対して外部から入力されるオブジェクト毎に優先度を送信するようにする。
【００４４】
例えば、動画像受信装置２１を操作するユーザが画像表示部２０３に表示される復号画像を観察して、表示されているオブジェクトに対してユーザの好みに応じオブジェクト毎の優先度の設定を行うと、その優先度情報がデータ送信部２０４に入力して送信される。
【００４５】
このとき、動画像送信装置１１〜１ｎでは、通常、人物等の被写体オブジェクトの優先度を高め、背景オブジェクトなど動きの少ないものの優先度を低くした符号化制御を初期設定として行うが、ユーザが背景オブジェクトをより詳しく見たい、と要求した場合には、背景オブジェクトのデータ圧縮率を低減するよう背景オブジェクトの優先度を高めるよう設定する。データ送信部２０４は、このようなユーザからの操作に応じて優先度情報を変更し、登録サーバ３１や該当するオブジェクトを符号化している動画像送信装置１１〜１ｎに対して優先度情報を送信する。
【００４６】
動画像送信装置１１〜１ｎは、変更された優先度情報をデータ受信部１０４で受信すると、符号化制御部１０５に対して出力する。符号化制御部１０５は、ユーザからの変更要求に応じて符号化パラメータを変更し、符号化の制御を行う。
【００４７】
ここで、ユーザがあるオブジェクトの優先度情報を変更する指示を出した場合、動画像受信装置２１は、その変更分だけ他のオブジェクトの優先度情報を同時に変更するようにしてもよい。これにより、次に説明するようなさらなる効果が得られる。例えば、あるオブジェクトの優先度を低くした場合、そのオブジェクトの発生符号量は減少するため、その分だけ他のオブジェクトに符号量を回すことが可能となる。そこで、あるオブジェクトの優先度を低くする場合には、同時に他のオブジェクトの優先度を高くすることが有効である。また、逆にあるオブジェクトの優先度を高くする場合には、他のオブジェクトの優先度を低くする必要が生じる。このような優先度情報の調整は、動画像受信装置２１だけでなく、登録サーバ３１上で行っても同じ効果が得られる。
【００４８】
従って、本実施の形態２によれば、複数のオブジェクトを受信している動画像受信装置２１を通してユーザが登録サーバ３１や動画像送信装置１１〜１ｎに対して優先度情報の変更を送信できるようにしたため、ユーザの好みに併せて各オブジェクトの優先度を動的に変更することができる。
【００４９】
また、あるオブジェクトの優先度を変更した場合には、他のオブジェクトの優先度も変更するようにしたので、オブジェクト全体のビットストリームの発生符号量を一定にすることができる。
【００５０】
実施の形態３．
本実施の形態３では、ネットワーク４１の品質、例えば、伝送エラーや、パケットの紛失の頻度、伝送遅延などに応じて、優先度を動的に変更するための構成および処理手順を示す。
【００５１】
ここで、ネットワーク４１の品質を測定するには、例えば所定のビット数ごとに誤り検出コードを付与したり、パケット通信の場合には各パケットにシリアル番号を付与したりする方法が挙げられる。また伝送遅延の検出には、各所定のビット数ごとに時間情報を付与したり、パケット通信の場合には各パケットもしくは所定間隔のパケットごとに時間情報を付与することにより測定する。
【００５２】
本実施の形態３の動画像受信装置２１では、上記のような検出方法によって動画像送信装置１１〜１ｎごとのネットワーク４１の品質をＢＳ受信部２０１で測定し、測定結果に応じて優先度の設定の変更を行い、データ送信部２０４より各オブジェクトの動画像送信装置１１〜１ｎや登録サーバ３１に対し優先度情報を送信する。
【００５３】
優先度情報の設定の変更の一例を示すと、ネットワーク４１の品質があまり高くない場合、例えば、伝送エラーやパケットの紛失が発生したり、大きな伝送遅延が発生したり、遅延量のゆらぎが大きい等の場合には、その品質の低いネットワーク４１を使用してビットストリームデータを送信するオブジェクトに対しては、登録サーバ３１や動画像受信装置２１は、優先度を低くする指示を動画像送信装置１１〜１ｎに対して送る。すると、その動画像送信装置１１〜１ｎでは、優先度を低くする指示に基づき、送出するオブジェクトのビットストリームデータのビットレートを小さくするように制御を行う。これによりネットワーク４１上を流通するビット量が減少し、ネットワーク４１の混雑度を低下する効果が得られる。伝送エラーの発生に対する対策としては、送出するビットストリーム（ＢＳ）の誤り耐性能力を強化する方法も有効である。
【００５４】
これに対し、ネットワーク４１の品質が十分高い場合、例えば、伝送エラーやパケットの紛失が発生しない、伝送遅延が小さくかつゆらぎが少ない場合には、優先度を変更する必要は特にない。このため、ネットワーク４１の品質が高い場合には、変更した優先度情報等の優先度を変更する指示を各オブジェクトの動画像送信装置１１〜１ｎに対し送信する必要はないが、動画像受信装置２１の受信能力に余裕がある場合には、優先度をさらに高くする信号を動画像送信装置１１〜１ｎに対して送出することも有効である。すると、この指示を受信した動画像送信装置１１〜１ｎでは、ビットレートを高くするように制御を行い、動画像受信装置２１で復号される動画像信号の品質が高められる。
【００５５】
従って、本実施の形態３によれば、伝送エラーや、パケットの紛失の頻度、伝送遅延などのネットワーク４１の品質に応じて動画像受信装置２１が優先度を動的に変更して、各オブジェクトの動画像送信装置１１〜１ｎに対しその優先度の変更を指示するようにしたため、ネットワークの品質に応じて動画像送信装置１１〜１ｎを適応的に制御することができる。
【００５６】
尚、上記実施の形態３では、動画像受信装置２１がネットワーク４１の品質を測定し、その結果をもとに制御された優先度情報を動画像送信装置１１〜１ｎに対して送出する方法を示したが、動画像受信装置２１からネットワーク４１の品質に関する情報を直接動画像送信装置１１〜１ｎが受信し、ネットワーク４１の品質状況に応じて動画像送信装置１１〜１ｎの符号化制御部において符号化パラメータを変更する方法でも同じような効果が得られる。
【００５７】
また、上記実施の形態３の説明では、ＢＳ受信部２０１がネットワークの品質を検出して送信するように説明したが、本発明では、これに限らず、画像復号部２０２で検出されたビットストリーム（ＢＳ）データの復号誤りに関する情報を検出して送信するようにしても勿論よい。
【００５８】
実施の形態４．
本実施の形態４では、画像信号を入力し符号化する処理をリアルタイムに動画像送信装置内で行うのではなく、動画像送信装置内にあらかじめ符号化されたビットストリーム（ＢＳ）データを蓄積しておく場合に、動的に変更される優先度に応じた制御を行うための構成及び処理手順を示す。
【００５９】
図５に、本実施の形態４の動画像送信装置１１〜１ｎの構成を図５に示す。図５において、１２１〜１２ｍは同一オブジェクトに関しそれぞれビットレートの異なるビットストリーム（ＢＳ）データを予め記憶したＢＳデータ記憶部、１１１はＢＳデータ記憶部１２１〜１２ｍのビットストリーム（ＢＳ）データから送信すべきデータを選択するセレクタである。ＢＳ送信部１０３、データ受信部１０４、データ送信部１０６は図２のものと同じである。つまり、本実施の形態４の動画像送信装置１１〜１ｎは、あらかじめ符号化されたビットストリーム（ＢＳ）データを蓄積するものであり、特に優先度の変更処理に応じることを対象とするオブジェクトに対しては、図５に示すようにＢＳデータ記憶部１２１〜１２ｍに複数のビットレートで符号化したビットストリーム（ＢＳ）データを蓄積しておくものである。
【００６０】
次に動作について説明する。
動画像送信装置１１〜１ｎは、送信しているオブジェクトに対する優先度の情報を動画像受信装置２１あるいは登録サーバ３１よりデータ受信部１０４を用いて受信する。優先度が現在の状態より低くなった場合、セレクタ１１１は、ＢＳデータ記憶部１２１〜１２ｍの選択を行って、よりビットレートの小さいビットストリーム（ＢＳ）データを選択してＢＳ送信部１０３へ出力し送信させる。逆に優先度が現在の状態より高くなった場合、セレクタ１１１は、同様にＢＳデータ記憶部１２１〜１２ｍの選択を行って、よりビットレートの大きいビットストリーム（ＢＳ）データを選択してＢＳ送信部１０３へ出力し送信する。
【００６１】
ここで、ビットストリーム（ＢＳ）データの符号化方式としてＭＰＥＧ−４等で採用されているフレーム間予測符号化が使用されている場合には、ビットストリーム（ＢＳ）データの切り替えにより、途中の画像から復号処理を行おうとしても、フレーム間予測符号化フレームの場合には、正しく画像を復号することができない場合がある。つまり、途中の画像から正しく復号するためには、その途中の画像の画面全体がフレーム内予測符号化されていると都合がよく、ＭＰＥＧ−４の場合にはＩ−ＶＯＰとして定義されている。
【００６２】
このため、ＭＰＥＧ−４で採用されているフレーム間予測符号化を使用し、かつ、図５に示すように同一オブジェクトのビットストリーム（ＢＳ）データを複数用意して優先度に応じて切り替える場合には、所定の間隔でＩ−ＶＯＰを挿入しておくことようにする。このようにすれば、動画像受信装置２１では、Ｉ−ＶＯＰからビットストリーム（ＢＳ）データを復号・表示することにより、正しく画像を処理することが可能となる。
【００６３】
また、ビットストリーム（ＢＳ）データをセレクタ１１１を用いて切り替える際、同じフレームがＩ−ＶＯＰで符号化されていると、切り替えた際の表示をスムーズに行うことが可能となる。そこで、本実施の形態４の場合、同一オブジェクトを異なるビットレートで符号化する際には、同じフレームがＩ−ＶＯＰとして符号化されるように予め符号化しておくようにする。なお、定期的に挿入されるＩ−ＶＯＰの直前には、ＭＰＥＧ−４の規格で挿入することが許されているＧＯＶ（Ｇｒｏｕｐ Ｏｆ ＶｉｄｅｏＯｂｊｅｃｔＰｌａｉｎ）ヘッダや、ＶＯＬ（ＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒ）ヘッダ、ＶＯ（ＶｉｓｕａｌＯｂｊｅｃｔ）ヘッダ、ＶＯＳ（ＶｉｓｕａｌＯｂｊｅｃｔＳｅｑｕｅｎｃｅ）ヘッダなどのユニークワードを伴ったヘッダ情報を付与することも有効である。このようにすれば、動画像受信装置２１においては、これらのヘッダの検出により、正しく画像を処理できるビットストリーム（ＢＳ）データの先頭位置を容易に検出することが可能となる。
【００６４】
また、動画像送信装置１１〜１ｎが優先度の変更に関する指示を受信して、直ちにビットストリーム（ＢＳ）データを切り替えたとしても、上記の理由により動画像受信装置２１が復号できるのはＩ−ＶＯＰからのデータであり、それまでのビットストリーム（ＢＳ）データは復号できたとしても正常な画像を表示することは通常できない。そこで、動画像送信装置１１〜１ｎは、優先度の変更に関する指示を受信しても、直ちにビットストリーム（ＢＳ）データを切り替えるのではなく、そのままこれまで送信しているビットストリーム（ＢＳ）データを送信し続け、その後、最初に現れるＩ−ＶＯＰのタイミングから、ＢＳデータ記憶部１２１〜１２ｍに切り替えて別のビットレートのビットストリーム（ＢＳ）データを選択して出力するようにしてもよい。このようにすれば、正しく復号のできない不要なビットストリーム（ＢＳ）データを送信することが避けられる。これにより、動画像受信装置２１は、画像が乱れず、かつ、途切れることのない復号画像を表示することが可能となる。
【００６５】
そのため、動画像送信装置１１〜１ｎでは、現在送信しているビットストリーム（ＢＳ）データの次のＩ−ＶＯＰの位置と、切り替え対象となるビットストリーム（ＢＳ）データのＩ−ＶＯＰの位置の双方を事前に知っている必要がある。このため、セレクタ１１１は、優先度の変更に関する指示を受信次第、現在送信しているビットストリーム（ＢＳ）データを先読みして、次のＩ−ＶＯＰの位置を検出してそこまでの送信を行い、また同時に切り替え対象となるビットストリーム（ＢＳ）データのＩ−ＶＯＰの位置を検出してそこから送信を行うようにする。
【００６６】
あるいは、ビットストリーム（ＢＳ）データは前もって作成・蓄積されているものであるから、作成時あるいは蓄積時などにＩ−ＶＯＰの位置を事前に検出しておき、テーブルを作成しておく方法をとるようにしてもよい。この場合には、ビットストリーム（ＢＳ）データを送信しながら、セレクタ１１１が先読み・検出する処理を同時に行う必要がなくなるため、動画像送信装置１１〜１ｎの負荷を軽減することができる。
【００６７】
また、ビットストリーム（ＢＳ）データを作成する際に、上記のＩ−ＶＯＰの挿入にあわせて、ＶＯＳ／ＶＯ／ＶＯＬ／ＧＯＶヘッダを挿入するようにしてもよい。しかし、Ｉ−ＶＯＰの挿入にあわせてＶＯＳ／ＶＯ／ＶＯＬ／ＧＯＶヘッダが挿入されたビットストリーム（ＢＳ）データを動画像送信装置１１〜１ｎが送出する際には、セレクタ１１１やデータ送信部１０３において、優先度の変更が指示されていない場合、すなわちビットストリーム（ＢＳ）データの切り替え指示がない場合には、これら挿入されているＶＯＳ／ＶＯ／ＶＯＬ／ＧＯＶヘッダを削除するようにしてもよい。このようにすれば、動画像送信装置１１〜１ｎが不要なヘッダ情報を送出する必要がなくなるため、ネットワーク４１を効率的に使用できる効果が得られると共に、動画像受信装置２１においては、ヘッダ情報の削除されていないビットストリーム（ＢＳ）を受信したときにはビットレートの変更がされたビットストリーム（ＢＳ）データを受信したことを確認でき、ヘッダ情報の削除されたヘッダ情報を受け取ったときにはビットレートの変更の無いビットストリーム（ＢＳ）データを受信していることを確認できる効果が得られる。
【００６８】
また、通常、フレーム内予測符号化で発生するビット数は、フレーム間予測符号化で発生するビット数の２〜４倍くらいになる。そのため、複数のオブジェクトが同時にフレーム内予測で符号化されると、ネットワーク４１に出てくるビット量（パケット通信の場合はパケット数）が一時的に大量に発生し、ネットワーク４１を逼迫する危険性が生じる。ネットワーク４１が逼迫すると、伝送遅延が大きくなるとともに、パケットの紛失の可能性も高くなり、動画像受信装置２１におけるサービス低下が引き起こされる。
【００６９】
そこで、このような状況を避けるために、ネットワーク４１に出される複数のオブジェクトが同時にフレーム内予測で符号化されないように制御を行うことは有効である。その方法としては、フレーム内予測を挿入する間隔を固定値ではなく、例えば「固定値＋小さな乱数」としたり、単純にオブジェクト毎に異なる固定値としたり、さらにはフレーム内予測を挿入する間隔は同一であっても挿入する時刻をずらすこと等により、異なるオブジェクト間で同時にフレーム内予測符号化が発生しないようにする方法が挙げられる。
【００７０】
他に、登録サーバ３１や動画像受信装置２１等から動画像送信装置１１〜１ｎに対しフレーム内予測を挿入する間隔をオブジェクトごとに異なる値を与えることによりフレーム内予測符号化が同時に発生することを避ける方法や、フレーム内予測を挿入する間隔は同一であっても挿入する時刻をずらすことにより同時に発生することを避ける方法などが挙げられる。
【００７１】
尚、上記実施の形態１〜４の説明では、動画像受信装置２１に画像復号部２０２および画像表示部２０３を設けて説明したが、本発明では、これに限らず、動画像受信装置２１に、画像復号部２０２および画像表示部２０３の代わりに、受信したビットストリーム（ＢＳ）を蓄積する機能を設けたり、画像表示部２０３の代わりに復号した画像信号を蓄積する機能を有する構成をとる場合でも、本発明は有効である。
【００７２】
また、上記実施の形態１〜４では、図１に示すように、同じネットワーク４１上に複数の動画像送信装置１１〜１ｎ、動画像受信装置２１、登録サーバ３１が配置されたシステム構成で説明したが、本発明では、このようなシステム構成に限らず、例えば、図６に示すように、動画像送信装置１１〜１ｎと動画像受信装置２１とが、それぞれ異なるネットワーク４１，４２上に配置され、２つのネットワーク４１，４２間のゲートウェイの機能を兼ねた登録サーバ３２を設けるようなシステム構成も可能である。このような図６に示すシステム構成をとった場合、登録サーバ３２は、動画像送信装置１１〜１ｎ側のネットワーク４１の品質に関する情報を測定して、動画像送信装置１１〜１ｎに対しその情報を送付したり、動画像受信装置２１側のネットワーク４２の品質に関する情報を測定したりまた動画像受信装置２１から受信して、その情報を動画像送信装置２１に対して送付する構成をとるようにすればよい。
【００７４】
【発明の効果】
本発明では、オブジェクト単位に符号化されたビットストリームデータを送信する動画像送信装置において、オブジェクト単位に画像を符号化したビットストリームを複数蓄積しておき、オブジェクトごとの優先度情報をもとに上記複数のビットストリームを選択して送信するようにしたので、ビットストリームを蓄積した蓄積サーバから符号化ビットストリームを出力する場合にも、指定されたオブジェクトの優先度に応じて出力するストリームを制御することができる。
【図面の簡単な説明】
【図１】 本発明の主なシステム構成例を示すブロック図。
【図２】 動画像送信装置１１〜１ｎの構成を示す図。
【図３】 動画像受信装置２１の構成を示す図。
【図４】 登録サーバ３１の構成を示す図。
【図５】 実施の形態４の動画像送信装置１１〜１ｎの構成示す図。
【図６】 本発明の他のシステム構成例を示すブロック図。
【符号の説明】
１１〜１ｎ 動画像送信装置、２１ 動画像受信装置、３１ 登録サーバ、４１ ネットワーク。

Claims (1)

1. 画像信号を複数のオブジェクトに分割し、各オブジェクト単位に符号化されたビットストリームデータを送信する動画像送信装置において、
   各オブジェクト単位に画像を符号化したビットストリームを蓄積する複数のビットストリーム蓄積手段と、
   上記各オブジェクトに対する優先度情報を受信するデータ受信手段と、
   このデータ受信手段が受信した上記優先度情報をもとに上記複数のビットストリーム蓄積手段から一つを選択する選択手段と、
   この選択手段により選択された一つのビットストリーム蓄積手段に蓄積されたビットストリームデータを送信するビットストリーム送信手段とを備え、
   上記複数のビットストリーム蓄積手段では、同一オブジェクトに対してそれぞれ異なるビットレートで符号化したビットストリームを蓄積しており、
   かつ、上記同一オブジェクトに対して異なるビットレートで符号化したビットストリームは、同じフレームのオブジェクトについてはフレーム内符号化したビットストリームであるとともに、
   このフレーム内符号化されているオブジェクトの先頭にはフレーム内符号化されていることがわかる所定のオーバーヘッド情報を付与することを特徴とする動画像送信装置。

Images