JP4244394B2 - 多地点会議システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータやワークステーションなどの計算機を用いて行う多地点会議システムに関し、特に、会議に参加している端末の計算能力および表示能力に応じたフレキシブルな動画像の伝送及び表示が可能な多地点会議システムに関する。
【０００２】
【従来の技術】
近年、動画像信号や音声信号などをネットワークを介して伝達することで遠隔多地点間コミュニケーションを行う、所謂多地点会議システムが利用されるようになってきている。
図１４には、従来の多地点会議システムの一例を示してある。同図中で、１ａ〜１ｄは多地点会議システムに参加している端末、２はネットワーク、３は多地点間制御装置（ＭＣＵ）である。
【０００３】
通常、図１４に示すように、各会議参加端末１ａ〜１ｄからの動画像信号や音声信号などをＭＣＵ３に集め、それらのデータをＭＣＵ３が合成して各参加端末１ａ〜１ｄへ配信する。ＭＣＵ３は、図１５に４ａ〜４ｄとして示すように、Ａ〜Ｄ地点の端末１ａ〜１ｄより送信された動画像を縮小した後、一つの画面に合成して各端末へ配信し、当該動画像が各端末のディスプレイ５に表示される。
このようにすべての地点の会議参加者は同一の合成動画像を見る形式で、多地点会議がなされていた。
【０００４】
しかしながら、このような多地点会議システムでは、会議の参加者が自分が見たい他の参加者の動画像を選択して高品質で表示したり、自分の好む画面配列で表示することができない。
また、各端末ごとに画面サイズの違いがある場合には、各端末ごとに適した画像サイズで動画像を表示する必要がある。例えば、画面サイズが限られていて、すべての参加者の画像を同じ大きさで表示できない場合には、関心度の低い参加者の画像サイズを小さくして表示する必要がある。
【０００５】
特開平９−９２３０号公報に開示されている従来例では、図１６に示すように、会議に参加している端末１ａ〜１ｄがそれぞれ互いに動画像信号を発信し、それぞれの端末は会議に参加している端末の数の動画像信号を受信して、それぞれが自端末で復号および縮小処理することにより、図１７に示すように会議に参加している端末の動画像を個々に異なった画像サイズで独立して表示することを可能としている。
【０００６】
すなわち、図１７（ａ）に示すように、Ａ地点の端末１ａのディスプレイ６には、動画像４ｃは端末１ｃから送信された動画像データを復号してそのまま表示され、動画像４ｂおよび４ｄの画像はそれぞれ端末１ｂおよび１ｄより送信された画像データを復号した後に縮小して表示されている。また、図１７（ｂ）に示すように、別の端末１ｃのディスプレイ７には、動画像４ａは端末１ａから送信された動画像データを復号してそのまま表示され、動画像４ｂおよび４ｄの画像はそれぞれ端末１ｂおよび１ｄより送信された画像データを復号した後に縮小されてディスプレイ６とは異なった配列で表示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記した従来例の場合には、各端末から送られる動画像データは会議システムで扱うことのできる最大解像度の動画像データであり、例え動画像を低解像度で縮小表示する場合でも、各端末から送られた動画像データを一旦復号化する必要がある。そのため、扱う最大解像度や会議に参加している端末数が大きくなるにつれて各端末の計算能力が不足し、例え専用のハードウェアを用いてもすべての端末からの動画像をリアルタイムに復号化することは非常に困難になる。
【０００８】
従って、同じ端末数および同じフレームレートの条件下では扱う最大解像度が大きくできないという問題点があった。また、動画像を低解像度で縮小表示しても必要とされる処理能力は変わらないため、関心のある画像を高解像度で、その他の画像を低解像度で縮小表示して、計算能力の低い端末でも動画像表示できるようにするといったフレキシブルな表示が不可能であるといった問題点があった。
【０００９】
また、上記の問題点を解決するために、特開平６−２０９４６８号公報に開示されているような階層符号化を用い、各端末が階層化された複数の解像度の動画像を符号化して送信し、表示する端末はそのなかで必要な解像度の動画像データのみを受信して復号化する方法が考えられる。これによれば、計算能力の低い端末では解像度の低い画像を表示することで計算の負荷を低減できる。
しかしながら、階層符号化は実質的には階層化した数だけの符号化を行わなければならないため、復号化の計算量は減るものの、逆に符号化の計算量が増えてしまい、本質的な解決にはならない。
【００１０】
本発明は上記従来の事情に鑑みなされたもので、多地点会議において、符号化の計算量を増やすことなく、参加している端末の計算能力および表示能力に応じたフレキシブルな表示が可能な多地点会議システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明では、多地点会議に参加している端末が、他の会議参加者の動画像を端末の計算能力および表示能力に応じた任意な解像度でフレキシブルに表示できるようにするために、送信側の端末（すなわち、送信機能を有する端末）に複数の解像度の動画像を比較的低い負荷で符号化して送信する手段を設け、受信側の端末（すなわち、受信機能を有する端末）に受け取った動画像データから所望の解像度の動画像を生成して表示する手段を設けている。
【００１２】
すなわち、本発明の多地点会議システムでは、送信側の端末は、入力された動画像信号から第１の解像度で第１のフレームレートの第１の動画像信号を生成するとともに、第１の解像度より高い第２の解像度で第１のフレームレートより低い第２のフレームレートの第２の動画像信号を生成して、当該第１の動画像信号および第２の動画像信号を送出し、受信側の端末は、受信した第１の動画像信号および第２の動画像信号から第２の解像度で第１のフレームレートの第３の動画像信号を生成して表示する。
【００１３】
また、本発明の多地点会議システムでは、送信側の端末は、送出した第１の動画像信号および第２の動画像信号をメモリに保持し、送出する第１の動画像信号をメモリに保持した第１の動画像信号を参照画像とした動き補償を用いて符号化して送出するとともに、送出する第２の動画像信号をメモリに保持した第２の動画像信号を参照画像とした動き補償を用いて符号化して送出する。
【００１４】
また、本発明の多地点会議システムでは、送信側の端末は、送出した第１の動画像信号および第２の動画像信号をメモリに保持し、送出する第１の動画像信号をメモリに保持した第１の動画像信号を参照画像とした動き補償を用いて符号化して送出するとともに、第２の動画像信号を第１の動画像信号の符号化結果を用いて補完することによって第２の解像度および第１のフレームレートを持つ補完動画像信号を生成してメモリに保持し、送出する第２の動画像信号を補完動画像信号を参照画像とした動き補償を用いて符号化して送出する。
【００１５】
また、本発明の多地点会議システムでは、符号化された第１の動画像信号を再復号して得られた各画素の値と、直前の補完動画像信号の前記画素に対応した領域の平均値の差が所定値以上の場合に、直前の補完動画像信号の前記画素に対応した領域の値を前記画素の動画像信号の値で置き換えることによって、上記の補完動画像信号を生成する。
また、本発明の多地点会議システムでは、直前の補完動画像信号を第１の動画像信号の符号化の際に求められた動きベクトルによって変更し、第１の動画像信号の符号化の際に求められた残差信号を第２の解像度に解像度変換して加算することにより、上記の補完動画像信号を生成する。
【００１６】
また、本発明の多地点会議システムでは、第１の動画像信号の符号化の際に求められた動きベクトルを第２の動画像信号の動きベクトルとして用いて第２の動画像信号の符号化を行う。
また、本発明の多地点会議システムでは、受信側の端末において、第１の解像度で動画像を表示する場合は符号化された第１の動画像信号を復号して表示し、第２の解像度で動画像を表示する場合は符号化された第２の動画像信号を復号した動画像を、第１の動画像信号を復号した動画像を用いて補完して第３の動画像を生成して表示する。
【００１７】
また、本発明の多地点会議システムでは、符号化された第１の動画像信号を復号化して得られた各画素の値と、直前に表示された動画像の前記画素に対応した領域の動画像信号の平均値の差が所定値以上の場合に、前記画素に対応した領域の動画像信号の値を前記画素の動画像信号の値で置き換えることによって第３の動画像を生成して表示する。
また、本発明の多地点会議システムでは、受信側端末において、第１の解像度で動画像を表示する場合は符号化された第１の動画像信号を復号して表示し、第２の解像度で動画像を表示する場合は、第２の動画像信号が受信されたフレームでは符号化された第２の動画像信号を復号して表示し、第２の動画像信号が受信されないフレームでは、直前に表示された動画像を符号化された第１の動画像信号中の動きベクトルによって変更し、符号化された第１の動画像信号中の残差信号を第２の解像度に解像度変換して加算して第３の動画像を生成して表示する。
【００１８】
また、本発明の多地点会議システムでは、第１の動画像信号および第２の動画像信号の送出をマルチキャストで行い、また、送信側の端末は、第１の動画像信号を第１のマルチキャストチャネルで送出し、第２の動画像信号を第２のマルチキャストチャネルで送出し、受信側の端末は少なくとも第１のマルチキャストチャネルを常時受信し、必要に応じて第２のマルチキャストチャネルを受信する。
また、本発明の多地点会議システムでは、複数の受信側端末は、動画像を表示する解像度を送信側の端末に通知し、送信側の端末は、通信された解像度のうち最も低い解像度を第１の解像度に設定し、他の解像度を前記第２の解像度に設定する。
【００１９】
また、本発明の多地点会議システムでは、送信側の端末は、通信回線もしくはネットワークの使用状況を監視し、帯域が不足している場合は、複数の第２の動画像信号の一部もしくは全部の送出を規制する。
また、本発明の多地点会議システムでは、各受信側の端末が送信側の端末に優先度を付けて、自端末の計算能力もしくは表示領域が不足した場合に優先度の低い送信側端末からの動画像を第１の解像度もしくは第２の解像度のうちより低い解像度で表示し、また、現在発言している送信側の端末の優先度を、他の送信側の端末の優先度より高く設定する。
【００２０】
【発明の実施の形態】
以下、本発明に係る多地点会議システムを実施例に基づいて具体的に説明する。
図１には、多地点会議システムに用いられる送信側の端末の第１実施例を示してある。なお、多地点会議システムは通信端末を複数備えて、これら通信端末をネットワーク（或いは、通信回線）Ｎを介して接続して構成されており、各通信端末は以下に説明する送信側端末としての機能と受信側端末としての機能とを兼備している。
【００２１】
まず、符号化処理およびデータ送信処理について説明する。
送信側の端末に付属しているビデオカメラ８およびマイク９からそれぞれ動画像信号および音声信号が入力されると、これら動画像信号および音声信号に対する符号化処理およびデータ送信処理がなされる。
すなわち、動画像信号は後述するようにして符号化され、音声信号は、音声サンプリング部３５において例えば１６ｋＨｚでサンプリングされ、音声符号化部３６において符号化される。なお、符号化方法としては、例えばＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication）で規格化されているＧ．７１１、Ｇ．７２２やＧ．７２８を用いて符号化する。
【００２２】
一方、入力された動画像信号は画像サンプリング部１０に入力され、一定のフレームレート（例えば毎秒３０フレーム、以下、３０ｆｐｓと表す）でサンプリングされる。サンプリングされた動画像は複数に分岐され、そのままのフレームレートもしくはフレームを間引かれて異なったフレームレートの動画像となり、それぞれ別個の解像度変換部において複数の解像度に変換される。
【００２３】
本実施例においては、３つの解像度変換部１１、１２、１３が設けられている。なお、３つの解像度変換部１１、１２、１３の解像度は後述の手順に従い解像度指定部１４によって設定される。本例では、７２０×５７６画素の解像度の動画像が入力され、解像度変換部１１および１２によってそれぞれ１８０×１４４および３６０×２８８画素の解像度に変換され、解像度変換部１３は７２０×５７６画素の解像度のまま解像度変換しないように設定する。
【００２４】
また、解像度変換部１１には３０ｆｐｓの動画像がそのまま入力され、解像度変換部１２にはフレーム選択スイッチ１５によってフレームが例えば１／２に間引かれた１５ｆｐｓの動画像が入力され、解像度変換部１３にはフレーム選択スイッチ１６によってフレームが例えば１／３に間引かれた１０ｆｐｓの動画像が入力される。
この結果、３つの解像度変換部１３、１２、１１からは、図２（ａ）（ｂ）（ｃ）に示すように、７２０×５７６画素で１０ｆｐｓの動画像１９、３６０×２８８画素で１５ｆｐｓの動画像１８、１８０×１４４画素で３０ｆｐｓの動画像１７が出力される。なお、このような解像度変換は、画像信号を水平方向および垂直方向について一定の割合で間引いたり、隣り合った画素の平均値を計算して低解像度画像を生成することによって行われる。
【００２５】
このように解像度変換された３つの動画像１７、１８、１９は、それぞれ動画像符号化部２０、２１、２２に入力され、符号化される。
図３には、動画像符号化部の構成を示してあり、３つの動画像符号化部２０、２１、２２は、参照画像を保存する参照画像メモリ２３の容量の差を除けば同一の構成である。
【００２６】
動画像符号化部はライン間相関を利用した離散コサイン変換（ＤＣＴ）と、フレーム間相関を利用した動き補償の処理によって符号化を行う。図２に示すＩフレーム（図中でＩと記す）では離散コサイン変換（ＤＣＴ）のみを用いるフレーム内符号化を行い、Ｐフレーム（図中でＰと記す）では直前のフレームの画像から動き補償によって生成された予測画像と、現在の画像との差分を離散コサイン変換（ＤＣＴ）するフレーム間符号化を行う。
なお、本例では、動画像１７に対しては６フレーム毎に、動画像１８に対しては３フレーム毎に、動画像１９に対しては２フレーム毎に１フレームのＩフレームを設けている。Ｉフレームを設ける頻度は任意であり、伝送量や伝送誤りに対する耐性などから決定される。
【００２７】
ここで、動画像符号化部の動作について詳しく説明する。
フレーム内符号化の場合は、入力された動画像はＤＣＴ回路２４で離散コサイン変換され、量子化回路２５で量子化され、可変長符号化回路２６で符号化されて符号化データが生成される。また、量子化されたデータは逆量子化回路２７および逆ＤＣＴ回路２８によって符号化と逆の処理が行われ、復号化画像が生成される。この復号化画像は次のフレーム間符号化で用いられる参照画像として参照画像メモリ２３に保存される。
【００２８】
フレーム間符号化の場合は、参照画像メモリ２３に保存された参照画像と、入力された動画像が動き補償回路２９で比較され、動きベクトル３０の算出および予測画像３１の生成が行われる。入力画像は予測画像３１との差分が取られ、ＤＣＴ回路２４で離散コサイン変換され、量子化回路２５で量子化される。可変長符号化回路２６は動きベクトル３０および量子化データを符号化して符号化データを生成する。また、量子化されたデータは逆量子化回路２７および逆ＤＣＴ回路２８によって符号化と逆の処理が行われ、部分復号化画像が生成される。この部分復号化画像は予測画像３１と加算された後、次のフレーム間符号化で用いられる参照画像として参照画像メモリ２３に保存される。
【００２９】
上記のように異なる解像度の変換部１１、１２、１３を設けて、フレームレートをスイッチ１５、１６で切り替える構成により、動画像の符号化処理を行うようにしたため、符号化処理に要する計算量が大幅に低減される。
図４には階層符号化による従来例と本発明の符号化処理に要する計算量の比較結果を示してある。１８０×１４４画素、３６０×２８８画素、および７２０×５７６画素の動画像をそれぞれ３０ｆｐｓで符号化する従来例では、符号化の処理は画素数に比例するため、各画像の符号化に必要な処理量は同図中のそれぞれ３２、３３および３４のようになる。一方、本実施例では３６０×２８８画素、および７２０×５７６画素の画像のフレームレートがそれぞれ１５ｆｐｓおよび１０ｆｐｓと低減されるため、全体では従来例の半分以下の処理量に低減できる。
なお、以上の説明では、動画像符号化部を専用のハードウェアとして説明したが、ひとつの汎用プロセッサもしくはメディア処理に最適化されたメディアプロセッサを時分割で使用してもよい。
【００３０】
上記のようにして符号化された３つの動画像データと符号化された音声データはデータ送出部３７において多重化され、ネットワークＮに送出される。この符号化されたデータは、マルチキャスト技術によって会議に参加しているすべての端末に同報送信される。本実施例では図５に示すように３つのマルチキャストチャネルが用意され、チャネル１では音声データ３８および１８０×１４４画素の解像度の動画像データ３９が、チャネル２では３６０×２８８画素の解像度の動画像データ４０が、チャネル３では７２０×５７６画素の解像度の動画像データ４１が送信される。なお、各チャネルにおけるデータ送信が競合した場合は、チャネル１、チャネル２、チャネル３の順に送信する。
【００３１】
一方、受信側の端末では、最低限チャネル１のデータを受信し、音声および低解像度の画像を出力できる。さらに解像度の高い画像を要求する端末は、チャネル１と同時にチャネル２またはチャネル３のデータを受信し、高解像度の画像を出力することができる。
図６には、多地点会議システムに用いられる受信側の端末の第１実施例を示してある。
【００３２】
まず、受信側の端末が１８０×１４４画素の解像度で動画像を表示する場合について説明する。
ネットワークＮからは図５に示したチャネル１のデータが入力され、入力されたデータはデータ分離部４２において１８０×１４４画素の解像度の動画像データおよび音声データに分離される。この動画像データは動画像復号化部４３に入力され、復号化された後にディスプレイ４４内のウインドウに表示される。
【００３３】
動画像復号化部４３は図７に示すような構成となっており、入力された符号化データが可変長復号化回路４５に入力され、動きベクトル３０と量子化されたＤＣＴ係数４６が復号される。量子化されたＤＣＴ係数は逆量子化回路２７で復元された後、逆ＤＣＴ回路２８で画像に戻される。一方、動きベクトル３０は動き補償回路２９に入力され、動き補償回路２９は参照画像メモリ２３に保持された直前のフレームの画像と動きベクトル３０から予測画像を生成する。そして、逆ＤＣＴ変換された画像と予測画像が加算され、画像出力が得られる。なお、この画像は、参照画像メモリ２３に保存され、次のフレームの動き補償の参照画像となる。
【００３４】
一方、音声データはの音声復号化部４７で復号され、他の送信側端末からの音声と合成された後、スピーカー４８に出力される。
なお、本実施例では、通信端末は送信側と受信側との機能を兼備していることから、送信側の処理で用いる参照画像メモリ２３、逆量子化回路２７、逆ＤＣＴ回路２８、動き補償回路２９等を受信側での処理でも利用して、ハードウエア資源の有効利用を図っている。
【００３５】
次に、受信側の端末が３６０×２８８画素または７２０×５７６画素の解像度で動画像を表示する場合について説明する。
ここで、３６０×２８８画素の場合には、図５に示したチャネル１およびチャネル２のデータが入力され、７２０×５７６画素の場合には、すべてのチャネルのデータが入力されるが、両者の動作は以後同様なので、７２０×５７６画素の場合のみ説明する。
入力されたデータは図６に示すデータ分離部４２において音声データのほか、１８０×１４４画素、３６０×２８８画素および７２０×５７６画素の解像度の動画像データに分離され、それぞれ動画像復号化部４３、４９、５０に入力されて復号される。なお、動画像復号化部４９、５０は参照画像メモリ２３の容量を除いて動画像復号化部４３と同じである。
【００３６】
これら復号された画像は、それぞれ図８（ａ）（ｂ）（ｃ）に示すように、７２０×５７６画素で１０ｆｐｓ、３６０×２８８画素で１５ｆｐｓ、１８０×１４４画素で３０ｆｐｓ、の動画像となる。
そして、動画像補完部５１はフレームメモリ５２に保持された直前に表示された画像と、動画像復号化部４３または動画像復号化部４９からの低解像度復号画像から補完画像を生成する。例えば、図８（ｄ）に示すように、フレーム２ではフレーム１の再生画像とフレーム２の１８０×１４４画像から補完画像を生成し、フレーム３ではフレーム２の再生画像とフレーム３の３６０×２８８画像から補完画像を生成し、７２０×５７６画素の動画像では欠落していたタイミングのフレームを他の解像度の動画像データを用いて補っている。
【００３７】
上記した動画像補完部５１は、図９に示すような構成であり、フレームメモリ５２からの画像を画像ブロック化部５３で４×４（低解像度画像が１８０×１４４画素の場合）もしくは２×２（低解像度画像が３６０×２８８画素の場合）のブロックに分割し、平均値算出部５４でブロック内の画像信号の平均値を求める。そして、この値と、低解像度画像の前記ブロックに対応した画素の信号値とを比較器５５で比較し、両者の値の差があるしきい値より小さい場合はこのブロックの画像は前フレームと同じと見做してフレームメモリ５２内の信号をそのまま出力し、大きい場合はブロックの画像を低解像度画像の対応した画素の信号値で置き換えて出力する。
この処理による補完画像は、動きのある部分は低解像度で、動きのない部分は高解像度となるが、一般に動きのある画像に対する人間の視覚は鈍いため、画質の劣化は少ない。
【００３８】
上記のようにして復号された高解像度画像および補完画像はセレクタ５６（図６）に入力され、図８（ｄ）に示すように、フレーム１および４では７２０×５７６画素の復号画像を選択して表示し、他のフレームでは補完画像を選択して表示することにより、解像度７２０×５７６画素、フレームレート３０ｆｐｓの動画像をディスプレイ４４に表示する。
ここで、通常、複数の端末から動画像が送信されるが、上記の復号処理を複数の動画像に対して時分割で行うことによって対応できる。
また、上記の説明では、動画像復号化部を専用のハードウェアとして説明したが、ひとつの汎用プロセッサもしくはメディア処理に最適化されたメディアプロセッサを時分割で使用してもよい。
【００３９】
次に、送信側の端末における符号化解像度および受信側の端末における表示解像度の指定について説明する。
受信側の端末は、ある会議参加者の動画像の表示解像度をあらかじめ決められている複数の解像度の中から選択し、前記会議参加者のいる送信側の端末に通知する。送信側の端末では複数の受信側の端末から受け取った解像度要求のうち最も低い解像度を抽出して解像度変換部１１（図１）に設定する。また、要求された他の解像度は設けられた解像度変換部の数が許す限り、低解像度の要求から順に解像度変換部１２、解像度変換部１３に設定される。
【００４０】
これらの設定は解像度指定部１４で行われ、解像度変換部の数が不足する場合は、要求する受信側端末数が多い解像度が優先される。また、送信側端末はネットワークＮの使用状況および自端末の計算能力をモニターしており、ネットワーク帯域または計算能力が不足する場合は、高解像度の要求を受け付けない。
なお、受信側の端末では複数の会議参加者の動画像の表示解像度を決定するが、この解像度は、ユーザーが明示的に指定するほかに、受信側端末が自動的に設定することもできる。例えば、会議参加者のうち現在発言している参加者を音声信号のレベルによって検知し、他の参加者より高い解像度を自動的に設定する。また、自端末の計算能力をモニターし、計算能力が不足する場合は表示する解像度を自動的に落とすことも可能である。
また、上記した実施例では３つの解像度の動画像表示が可能な例を示したが、可能な解像度は３つでなくてもよいことは言うまでもない。
【００４１】
図１０には、本発明の第２実施例に係る復号化手段を示してある。
なお、第２実施例は、上記した第１実施例に較べて、復号化処理手段および補完画像生成手段の構成が異なっており、符号化処理、ネットワークＮへの送出、補完画像を用いた表示画像の生成、および解像度の設定方法は第１実施例と同じであるので重複する説明は省略する。
本実施例では高解像度動画像に対する動画像復号化部４９および５０が動画像補完部の機能を併せ持っている。以下では、第１実施例と同様に１８０×１４４画素および７２０×５７６画素の解像度の画像を表示する場合について説明する。
【００４２】
１８０×１４４画素の解像度の画像を表示する場合は第１実施例と同じであり、ネットワークＮからは図５に示したチャネル１のデータが入力され、入力されたデータはデータ分離部４２において１８０×１４４画素の解像度の動画像データおよび音声データに分離される。この動画像データは動画像復号化部４３に入力され、復号化された後にディスプレイ４４内のウインドウに表示される。ここで、動画像復号化部４３は、第１実施例（図７）と同様な構成であるが、第１実施例と異なる点は、後述する目的のために動きベクトルおよび逆ＤＣＴ回路２８の出力を高解像度画像復号化部４９および５０に供給できるようになっていることである。
【００４３】
７２０×５７６画素の解像度の画像を表示する場合は図５に示したすべてのチャネルのデータが入力され、入力されたデータはデータ分離部４２において音声データのほか、１８０×１４４画素、３６０×２８８画素および７２０×５７６画素の解像度の動画像データに分離され、それぞれ動画像復号化部４３、４９、５０に入力されて復号される。
動画像復号化部４９および５０はそれぞれ図１１に示すような構成であり、両者は参照画像メモリ２３の容量を除いて同じ構成である。これら動画像復号化部４９および５０は、下記のようにフレームに応じて符号化データの復号化と補完画像の生成を行うことができる。
【００４４】
符号化データを復号する場合は、入力された符号化データが可変長復号化回路４５に入力され、動きベクトル３０と量子化されたＤＣＴ係数４６が復号される。量子化されたＤＣＴ係数４６は逆量子化回路２７で復元された後、逆ＤＣＴ回路２８で画像に戻される。一方、動きベクトル３０は動き補償回路２９に入力され、動き補償回路２９は参照画像メモリ２３に保持された画像と動きベクトルから予測画像３１を生成する。そして、逆ＤＣＴ変換された画像と予測画像３１が加算され、画像出力が得られる。また、この画像は、参照画像メモリ２３に保存され、次の復号化時の動き補償の参照画像となる。
【００４５】
補完画像の生成を行う場合は、低解像度の動画像復号化部から動きベクトルおよび逆ＤＣＴ変換信号が入力され、フレームメモリ５２（図６）から直前のフレームの出力画像が入力される。低解像度の動画像復号化部からの逆ＤＣＴ変換信号は高解像度動画像復号化部の解像度の画像に変換される。
動き補償回路２９はフレームメモリ５２からの入力と低解像度動きベクトルから予測画像３１を生成する。両者の画像が加算されて補完画像となる。この処理による補完画像は動き補償された部分は高解像度で表示されるため、第１実施例の場合より高画質が期待できる。
【００４６】
符号化および補完画像の生成の切り替えは次のようにして行われる。
図８（ｄ）に示すフレーム１及び４では符号化データを復号化して７２０×５７６画素の画像を出力し、フレーム２及び５では動画像復号化部４３からの動きベクトルおよび逆ＤＣＴ変換信号を用いて補完画像を生成して出力し、フレーム３では動画像復号化部４９からの動きベクトルおよび逆ＤＣＴ変換信号を用いて補完画像を生成して出力する。また、出力された動画像はフレームメモリ５２に保存される。
以上の動作により、解像度７２０×５７６画素、フレームレート３０ｆｐｓの動画像が表示される。
【００４７】
ここで、通常、複数の端末から動画像が送信されるが、上記の復号処理を複数の動画像に対して時分割で行うことによって対応できる。
また、上記の説明では、動画像復号化部を専用のハードウェアとして説明したが、ひとつの汎用プロセッサもしくはメディア処理に最適化されたメディアプロセッサを時分割で使用してもよい。
【００４８】
図１２には、本発明の第３実施例に係る動画符号化部を示してある。
なお、本実施例は、上記した第１実施例および第２実施例に較べて、符号化処理手段の構成が異なっており、復号化処理手段および補完画像生成手段は第２実施例と同様であり、また、ネットワークＮへの送出、補完画像を用いた表示画像の生成、および解像度の設定方法は第１実施例および第２実施例と同じであるので、重複する説明は省略する。
また、本実施例における符号化処理手段の構成は図１に示した第１実施例の構成と概ね同じであり、入力された動画像は複数の解像度に変換されて動画像符号化部２０、２１、２２に入力される。また、解像度変換については第１実施例と同じであるのでその説明は省略する。
【００４９】
本実施例における動画像符号化部２０は、第１実施例と同様に１８０×１４４画素の動画像を符号化するが、後述の目的のために動きベクトルおよび逆ＤＣＴ回路２８の出力を高解像度の動画符号化部２１および２２に供給できるようになっている点が異なる。
本実施例における動画符号化部２１および２２は第１実施例と異なって、図１２に示すような構成となっている。
すなわち、動画符号化部２１および２２は低解像度画像１７（図２）のフレームに同期して動作し、高解像度の画像が入力されるフレームでは符号化を行い、入力されないフレームでは補完画像を生成して参照画像を随時更新する。なお、この符号化を行うときの動作は、フレーム内符号化の場合とフレーム間符号化の場合で異なる。
【００５０】
フレーム内符号化の場合は、入力された動画像はＤＣＴ回路２４で離散コサイン変換され、量子化回路２５で量子化され、可変長符号化回路２６で符号化されて符号化データが生成される。また、量子化されたデータは逆量子化回路２７および逆ＤＣＴ回路２８によって符号化と逆の処理が行われ、復号化画像が生成される。そして、この復号化画像は次のフレーム間符号化で用いられる参照画像として参照画像メモリ２３に保存される。
【００５１】
フレーム間符号化の場合は、参照画像と動画像符号化部２０から入力された低解像度動きベクトルを用いて予測画像３１の生成が行われる。入力画像は予測画像との差分が取られ、ＤＣＴ回路２４で離散コサイン変換され、量子化回路２５で量子化される。可変長符号化回路２６は量子化データを符号化して符号化データを生成する。なお、動きベクトルは動画像符号化部２０において符号化されているので新たに符号化はしない。
また、量子化されたデータは逆量子化回路２７および逆ＤＣＴ回路２８によって符号化と逆の処理が行われ、部分復号化画像が生成される。そして、この部分復号化画像は予測画像３１と加算された後、次のフレーム間符号化で用いられる参照画像として参照画像メモリ２３に保存される。
【００５２】
そして、補完画像を生成して参照画像を更新する動作では、まず、動画像符号化部２０から動きベクトルおよび逆ＤＣＴ変換信号が入力される。ここで、動画像符号化部２０からの逆ＤＣＴ変換信号は高解像度動画像符号化部の解像度の画像に変換される。
動き補償回路２９は参照画像メモリ２３からの入力と低解像度動きベクトルから予測画像３１を生成する。そして、これら参照画像と予測画像とが加算されて補完画像となり、この補完画像は参照画像メモリ２３に記憶される。
このように参照画像メモリ２３を低解像度画像１７のフレームに同期して更新することにより、符号化の際に動画像符号化部２０で求められた動きベクトルを再利用することができ、動きベクトルの計算は符号化処理のなかでも大きな計算量を要する処理であるため、符号化に必要な計算量が大幅に低減される。
【００５３】
次に、復号化の処理について説明する。復号化処理部の構成は図１０に示した第２実施例の構成とほぼ同様で、異なる点はフレームメモリ５２が不要な点である。これは符号化が補完画像を参照画像とした動き補償によって行われることにより、参照画像メモリ２３とフレームメモリ５２が共用できるためである。
以下に復号化処理部の動作を、第１実施例および第２実施例と同様に１８０×１４４画素および７２０×５７６画素の解像度の画像を表示する場合について説明する。
【００５４】
１８０×１４４画素の解像度の画像を表示する場合は第１実施例および第２実施例と同じであり、ネットワークＮからは図５に示したチャネル１のデータが入力され、入力されたデータは図１０に示したようなデータ分離部４２において１８０×１４４画素の解像度の動画像データおよび音声データに分離される。
動画像データは動画像復号化部４３（図１０）に入力され、復号化された後ディスプレイ４４内のウインドウに表示される。
ここで、動画像復号化部４３は第２実施例と同様に図７に示したような構成であり、また、動きベクトルおよび逆ＤＣＴ回路２８の出力を高解像度画像復号化部４９および５０に供給できるようになっている。
【００５５】
７２０×５７６画素の解像度の画像を表示する場合は図５に示したすべてのチャネルのデータが入力され、入力されたデータは図１０に示したようなデータ分離部４２において音声データのほか、１８０×１４４画素、３６０×２８８画素および７２０×５７６画素の解像度の動画像データに分離され、それぞれ動画像復号化部４３、４９、５０に入力されて復号される。
動画像復号化部４９および５０は図１３に示すような構成となっており、両者は参照画像メモリ２３の容量を除いて同じ構成である。なお、これら動画像復号化部４９および５０はフレームに応じて符号化データの復号化と補完画像の生成を行うことができる。
【００５６】
符号化データを復号する場合は、入力された符号化データが可変長復号化回路４５に入力され、量子化されたＤＣＴ係数が復号される。量子化されたＤＣＴ係数は逆量子化回路２７で復元された後、逆ＤＣＴ回路２４で画像に戻される。一方、動きベクトルは動画像復号化部４３から入力され、入力された動きベクトルは動き補償回路２９に入力され、動き補償回路２９は参照画像メモリ２３に保持された画像と動きベクトルから予測画像３１を生成する。そして、逆ＤＣＴ変換された画像と予測画像が加算され、画像出力が得られる。また、この画像は、参照画像メモリ２３に保存され、次の復号化時の動き補償の参照画像となる。
【００５７】
補完画像の生成を行う場合は、動画像復号化部４３から動きベクトルおよび逆ＤＣＴ変換信号が入力され、この動画像復号化部４３からの逆ＤＣＴ変換信号は動画像復号化部４９または５０の解像度の画像に変換される。そして、動き補償回路２９は参照画像メモリ２３からの入力と動きベクトルから予測画像３１を生成し、両者の画像が加算されて補完画像となる。また、この画像は、参照画像メモリ２３に保存され、次の復号化時の動き補償の参照画像となる。
この処理による補完画像は動き補償された部分が高解像度で表示されるため、第１実施例の場合より高画質となる。
【００５８】
復号化および補完画像の生成の切り替えは以下のように行われる。図８（ｄ）のフレーム１及び４では符号化データを復号化して７２０×５７６画素の画像を出力し、他のフレームでは動画像復号化部４３からの動きベクトルおよび逆ＤＣＴ変換信号を用いて補完画像を生成して出力する。
以上の動作により解像度７２０×５７６画素、フレームレート３０ｆｐｓの動画像が表示される。
ここで、通常、複数の端末から動画像が送信されるが、上記の復号処理を複数の動画像に対して時分割で行うことによって対応できる。また、上記の説明では、動画像復号化部を専用のハードウェアとして説明したが、ひとつの汎用プロセッサもしくはメディア処理に最適化されたメディアプロセッサを時分割で使用してもよい。
【００５９】
【発明の効果】
以上詳細に説明したように、本発明によると、送信側の端末では、第１の解像度で第１のフレームレートを有する第１の動画像信号と、第１の解像度より高い第２の解像度で第１のフレームレートより低い第２のフレームレートを有する第２の動画像信号とを送信し、受信側の端末では、第１の解像度と第２の解像度の内の所望の解像度で、第１のフレームレートの動画像を生成表示するようにしたため、多地点会議システムにおいて、符号化の計算量を増やすことなく、参加している端末の計算能力および表示能力に応じたフレキシブルな表示を行うことができる。
【図面の簡単な説明】
【図１】 本発明の第１実施例に係る符号化処理部の構成を示す図である。
【図２】 本発明の第１実施例に係る解像度変換部の出力画像を示す図である。
【図３】 本発明の第１実施例に係る動画像符号化部の構成を示す図である。
【図４】 本発明と従来例の符号化処理の計算量を比較する図である。
【図５】 本発明に係るのデータ送出方法を説明する図である。
【図６】 本発明の第１実施例に係る復号化処理部の構成を示す図である。
【図７】 本発明の第１実施例に係る動画像復号化部の構成を示す図である。
【図８】 本発明に係る補完画像生成方法を説明する図である。
【図９】 本発明の第１実施例に係る動画像補完部の構成を示す図である。
【図１０】 本発明の第２実施例に係る復号化処理部の構成を示す図である。
【図１１】 本発明の第２実施例に係る動画像復号化部の構成を示す図である。
【図１２】 本発明の第３実施例に係る動画像符号化部の構成を示す図である。
【図１３】 本発明の第３実施例に係る動画像復号化部の構成を示す図である。
【図１４】 ＭＣＵを用いた従来の多地点会議システムの構成を説明する図である。
【図１５】 ＭＣＵを用いた従来の多地点会議システムの表示画面を示す図である。
【図１６】 ＭＣＵを用いない従来の多地点会議システムの構成を説明する図である。
【図１７】 ＭＣＵを用いない従来の多地点会議システムの表示画面を示す図である。
【符号の説明】
１・・・会議端末、 ８・・・ビデオカメラ、 ９・・・マイク、 １１・・・第１の解像度変換部、 １２・・・第２の解像度変換部、 １３・・・第３の解像度変換部、 １４・・・解像度指定部、 １５・・・第１のフレーム選択スイッチ、 １６・・・第２のフレーム選択スイッチ、 １７・・・第１の解像度の動画像、 １８・・・第２の解像度の動画像、 １９・・・第３の解像度の動画像、 ２０・・・第１の動画像符号化部、 ２１・・・第２の動画像符号化部、 ２２・・・第３の動画像符号化部、 ２３・・・参照画像メモリ、 ２４・・・ＤＣＴ回路、 ２５・・・量子化回路、 ２６・・・可変長符号化回路、 ２７・・・逆量子化回路、 ２８・・・逆ＤＣＴ回路、 ２９・・・動き補償回路、 ３０・・・動きベクトル、 ３１・・・予測画像、 ３２・・・第１の解像度の画像の符号化処理量、 ３３・・・第２の解像度の画像の符号化処理量、３４・・・第３の解像度の画像の符号化処理量、 ３９・・・第１の動画像データ、 ４０・・・第２の動画像データ、 ４１・・・第３の動画像データ、 ４２・・・データ分離部、 ４３・・・第１の動画像復号化部、 ４４・・・ディスプレイ、 ４５・・・可変長復号化回路、 ４９・・・第２の動画像復号化部、 ５０・・・第３の動画像復号化部、 ５１・・・第１の動画像補完部、 ５２・・・フレームメモリ、 ５３・・・画像ブロック化部、 ５４・・・平均値算出部、 ５５・・・比較器、 ５６・・・セレクタ、

Claims (12)

1. 送信機能を有する通信端末から受信機能を有する通信端末へ、動画像を符号化した符号化データを送受信する多地点会議システムにおいて、
   前記送信機能を有する端末は、
   動画像信号を入力する手段と、
   前記入力された動画像信号から第１の解像度の第１動画像を第１のフレームレートで生成するとともに、第１の解像度より高い第２の解像度の第２動画像を第１のフレームレートより低い第２のフレームレートで生成する手段と、
   新たに生成した第１動画像を、直前に生成した第１動画像の符号化データに応じた参照画像を用いて動き補償して、当該新たな第１動画像の符号化データを生成する手段と、
   直前に生成した第２動画像の符号化データを復号して得た動画像を、前記新たな第１動画像の符号化に用いられた動きベクトル及び当該第１動画像の符号化データの逆ＤＣＴ変換信号を用いて補完することによって、第２の解像度の補完動画像を第１のフレームレートで生成する手段と、
   新たに生成した第２動画像を、直前に生成した補完動画像を参照画像に用いて動き補償して、当該新たな第２動画像の符号化データを生成する手段と、
   第１動画像の符号化データおよび第２動画像の符号化データを送出する手段とを有し、
   前記受信機能を有する端末は、
   受信した第２動画像の符号化データを復号して得た動画像を、受信した第１動画像の符号化に用いられた動きベクトル及び当該第１動画像の符号化データの逆ＤＣＴ変換信号を用いて補完することによって、第２の解像度の第３動画像を第１のフレームレートで生成する手段と、
   前記生成した第３動画像を表示する手段とを有することを特徴とする多地点会議システム。
2. 請求項１に記載の多地点会議システムにおいて、
   前記第２のフレームレートは、前記第１のフレームレートの整数分の１のフレームレートであることを特徴とする多地点会議システム。
3. 請求項１又は請求項２に記載の多地点会議システムにおいて、
   前記送信機能を有する端末は、新たに生成した第１動画像の符号化データを復号して得た動画像の各画素の値と、直前に生成した補完動画像の前記画素に対応した領域における各画素の値の平均値との差が所定値以上の場合に、直前に生成した補完動画像の前記画素に対応した領域の値を前記画素の値で置き換えることによって新たな補完動画像を生成し、
   前記受信機能を有する端末は、受信した第１動画像の符号化データを復号して得た動画像の各画素の値と、直前に表示された第３動画像の前記画素に対応した領域における各画素の値の平均値との差が所定値以上の場合に、直前に表示された第３動画像の前記画素に対応した領域の値を前記画素の値で置き換えることによって新たな第３動画像を生成して表示することを特徴とする多地点会議システム。
4. 請求項１又は請求項２に記載の多地点会議システムにおいて、
   前記送信機能を有する端末は、直前に生成した補完動画像を、新たに生成した第１動画像の符号化の際に求められた動きベクトルによって変更し、当該第１の解像度の動画像の符号化の際に求められた残差信号を第２の解像度に解像度変換して前記変更結果に加算することによって新たな補完動画像を生成すると共に、第１動画像の符号化データに前記動きベクトル及び残差信号を含めて送出し、
   前記受信機能を有する端末は、直前に表示された第３動画像を受信した第１動画像の符号化データ中の動きベクトルによって変更し、当該符号化データ中の残差信号を第２の解像度に解像度変換して前記変更結果に加算することによって新たな第３動画像を生成して表示することを特徴とする多地点会議システム。
5. 請求項１乃至請求項４のいずれか１項に記載の多地点会議システムにおいて、
   第１動画像の動き補償の際に求められた動きベクトルを第２動画像の動きベクトルとして用いて第２動画像の動き補償を行うことを特徴とする多地点会議システム。
6. 請求項１乃至請求項５のいずれか１項に記載の多地点会議システムにおいて、
   前記受信機能を有する端末は、第１の解像度で動画像を表示する場合、第１動画像の符号化データを復号して得た動画像を表示し、
   第２の解像度で動画像を表示する場合、受信した第２動画像の符号化データを復号して得た動画像を、受信した第１動画像の符号化に用いられた動きベクトル及び当該第１動画像の符号化データの逆ＤＣＴ変換信号を用いて補完することによって第３動画像を生成して表示することを特徴とする多地点会議システム。
7. 請求項１乃至請求項６のいずれか１項に記載の多地点会議システムにおいて、
   第１動画像の符号化データおよび第２動画像の符号化データの送出をマルチキャストで行うことを特徴とする多地点会議システム。
8. 請求項７に記載の多地点会議システムにおいて、
   前記送信機能を有する端末は、第１動画像の符号化データを第１のマルチキャストチャネルで送出し、第２動画像の符号化データを第２のマルチキャストチャネルで送出し、
   前記受信機能を有する端末は、少なくとも第１のマルチキャストチャネルを常時受信し、必要に応じて第２のマルチキャストチャネルを受信することを特徴とする多地点会議システム。
9. 請求項１乃至請求項８のいずれか１項に記載の多地点会議システムにおいて、
   前記受信機能を有する端末は、動画像を表示する解像度を、前記送信機能を有する端末に通知し、
   前記送信機能を有する端末は、通信された解像度のうち最も低い解像度を第１の解像度に設定し、他の解像度を前記第２の解像度に設定することを特徴とする多地点会議システム。
10. 請求項１乃至請求項９のいずれか１項に記載の多地点会議システムにおいて、
    前記送信機能を有する端末は、通信回線もしくはネットワークの使用状況を監視し、帯域が不足している場合は、第２動画像の符号化データの一部もしくは全部の送出を規制することを特徴とする多地点会議システム。
11. 請求項１乃至請求項９のいずれか１項に記載の多地点会議システムにおいて、
    前記受信機能を有する端末が前記送信機能を有する端末に優先度を付けて、自端末の計算能力もしくは表示領域が不足した場合に前記優先度の低い前記送信機能を有する端末からの動画像を第１の解像度もしくは第２の解像度のうちより低い解像度で表示することを特徴とする多地点会議システム。
12. 請求項１１に記載の多地点会議システムにおいて、
    現在発言している送信機能を有する端末の前記優先度を、他の送信機能を有する端末の優先度より高く設定することを特徴とする多地点会議システム。

Images