JP4522332B2 - 映像音声配信システムおよび方法およびプログラム - Google Patents

Description

本発明は、映像および音声の配信に利用する。特に、遠隔会議システムのように、多数の端末がネットワークを介して接続され、各端末が相互に受信要求を送信し、映像データまたは音声データを交換する映像音声配信技術に関する。

また、本発明は、先願（特願２００４−１２９０６０号、本願出願時に未公開）の改良に関する。

先願の映像音声配信技術では、各端末は次のようにして受信する映像を選択する。各端末は、他の端末から音声データを受信し、その音声データに基づいて端末の音量を算出する。全ての端末からの音声データについて、同様の計算を行い、音量の比較を行う。その結果、例えば、音量の大きな端末を発言中であると判断し、その端末から映像を受信して表示する。また、音量の小さな端末からの映像は、受信を停止する。このようにすることで、自動的に発言者の映像を表示することができる。

図３に映像音声配信システムの概略図を示す。複数の端末♯１〜♯３が、相互通信可能なネットワーク１４に接続されている。このシステムは、端末♯１〜♯３が相互に音声データと映像データとを交換し、テレビ会議を実現するものとする。

このシステムの特徴は、映像データを選択的に交換する点にある。端末は、他の全端末から継続的に音声データを受信する。その音声データから音量を計算し、音量の大小を比較する。音量が最大である端末を「発言中」であると判断し、その発言中の端末に映像要求を送信する。すると、発言中端末から映像データが配信され、発言者の映像が映し出される。発信者が変わると、音量が最大である端末が変わるため、映像の要求先が変更され、表示される発言者も切り替わる。

このようにすることで、自動的に発言者の映像を表示することができる。なお、同時に表示する発言者数は任意であるが、ここでは簡単のため一人のみ表示するとする。

図４に、先願に基づく端末の構成を示す。図４を用いて、端末の動作を説明する。太線の大きな矩形は、映像音声配信システムの端末機能を実現するソフトウェアの範疇である。通常、パケット送受信や外部入出力などの一般的な機能はＯＳに実装されているため、太矩形の外に描いた。映像復号機能や、音声復号機能については、端末機能を実現するソフトウェアの一部として実現する可能性も十分にあるが（太矩形の内側にある可能性もあるということで）、ここでは端末ソフトウェアの外部に実装されているとした。

また、端末ソフトウェアは、外部の音声復号部から音量データを取得できないとした。このため、端末ソフトウェア内部で音声復号を行い、音量データを算出する。

まず、音声データを受信した場合の動作を説明する。パケット受信部１から音声データを受信すると、パケット分別部２で仕分けられる。この例では、外部の音声復号・出力部３に送られて音声が再生されると同時に、端末プログラム内部の音声復号部１２にも送られる。音量データが２本の矢印で描かれているのは、図１のように端末数が３である場合を想定しているためである。受信する音量データ数は、端末数をｎとするとｎ−１となる。復号された音声データは、音量算出部１３に送られ、音量データに交換される。この例では、算出処理を２回行う。端末数をｎとするとｎ−１回行う。

音量データとは、音量を表す数値である。音量比較部４は、複数の端末の音量データを比較し、発言者を特定する。各端末からの音量データは異なる時刻に到着するため、必要に応じて音声データ記憶部５に記録しておき、比較のときに用いる。発言者が変更された場合には、映像要求部６は新たな発言者に映像要求を送信する。図２の例と同様に、映像の停止に関する処理は省略する。

次に、映像データを受信した場合の動作を説明する。パケット受信部１から映像データを受信すると、パケット分別部２で仕分けられ、映像復号・表示部７に送られる。そして、映像が再生される。また、マイク８からの音声入力は、音声符号部１０で音声データに符号化され、パケット送信部１１より他の端末へ送られる。映像データの符号化処理および送信処理は省略する。

図５のシーケンス図を用いて、先願に基づくシステムの動作を説明する。説明は、端末♯１を中心に行う。最初、端末♯２を利用している参加者が発言しているとする。このシーケンス図には、端末♯１が受信する音声データと映像データ、端末♯１が送信する映像要求のみを示す。

他の端末が受信する音声データと映像データや、他の端末が送信する映像要求は省略されている。凡例にあるように、送受信されるデータ種は矢印を変えて区別する。端末♯１は、端末♯２、♯３から音声データを受信している。シーケンス図は、音声データを一つしか受信していないように描かれているが、実際には連続するデータを受信している。

端末♯１は、端末♯２、♯３から受信した音声データを基に、それぞれの音量を算出する。この例では２回の音量算出処理を行っているが、端末数をｎとするとｎ−１回の音量算出処理を行うことになる。端末１は、算出した音量を比較し、端末♯２が発言していると判断する。すると、端末♯１は、端末♯２に映像要求を送出する。端末♯２は映像要求を受信すると、端末♯１に映像データの送信を開始する。シーケンス図は、映像データを一つしか送信していないように描かれているが、実際には連続してデータを送信している。端末♯１は映像データを受信すると、その映像データを表示する。

続いて、端末♯２を利用している参加者が発言を終え、端末♯３を利用している参加者が発言するとする。端末♯１は、端末♯２、♯３から受信している音声データを基に、それぞれの音量を算出する。ここでも、先ほどと同様に２回の音量算出処理を行う。端末♯１は、算出した音量を比較し、端末♯３が発言していると判断する。すると、端末♯１は、端末♯３に映像要求を送出する。ここで、端末♯１は端末♯２からの映像データを停止するために、端末♯２への映像停止要求を送信してもよい。あるいは、タイムアウトなどの機構により映像データの停止を待ってもよい。

シーケンス図では、図が煩雑になることを避けるために、端末♯２からの映像データを停止する方法については明記していない。端末♯３は映像要求を受信すると、端末♯１に映像データの送信を開始する。シーケンス図は、映像データを一つしか送信していないように描かれているが、実際には連続してデータを送信している。端末♯１は映像データを受信すると、その映像データを表示する。このようにすることで、自動的に発言者の映像を表示し、切り替えることができる。

ここで、先願の課題を確認する。参加者数をｎとすると、各端末はｎ−１の音声データに対して音量算出処理を行う。このため、映像音声配信システム全体での音量算出処理量は、ｎ（ｎ−１）となる。また、図４に示したように、端末プログラム外部に音声復号・出力部３を持ち、そこから音量データを取得できない場合には、端末プログラム内部で別途音声復号処理を行わなければならない。

すなわち、先願には、次のような課題がある。音量の算出を、各端末が個別に行わなければならない。例えば、遠隔会議システムを想定した場合に、端末数が十数台になれば、個々の端末がそれぞれ音量算出を行うべき音声データ数も十数個になり、その計算負荷は膨大である。

しかし、各端末が受信する音声データは同一であり、音量の算出結果も同一であることを考えると、システム全体での音量算出処理を軽減する余地がある。

また、先願では、符号化された音声データを受信し、そのデータを基に音量の算出を行う。通常、音量の算出を行うためには、音声データの復号化が必要となる。端末が音声復号モジュールを備えていれば、復号処理をそのモジュールに任せることができる。しかし、その音声復号モジュールから、音量データを取得できないという課題がある。この映像音声配信方法を実現するためには、音量を算出するために、別の音声復号モジュールを実装しなければならない。

本発明は、このような背景に行われたものであって、映像音声配信システム全体での音声算出処理量を軽減することができ、また、音量を算出するために音声を復号する必要を無くすることができる映像音声配信システムおよび方法およびプログラムを提供することを目的とする。

ネットワークに接続された複数の端末が相互に受信要求を送信し、映像データまたは音声データを交換する映像音声配信システムにおいて、映像音声配信システム全体での音量算出処理量を軽減し、また、音量を算出するために音声を復号する必要を無くするために、本発明は、第一の端末に、音声データの音量を含む特性を表す数値データを生成する数値データ生成手段と、当該数値データを他端末に配信する数値データ配信手段とを備え、その数値データを受信した第二の端末に、受信した数値データに基づき映像データを要求する端末を決定する要求端末決定手段を備えたことを特徴とする。

本発明によれば、映像音声配信システム全体での音量算出処理量を軽減することができる。また、音量を算出するために音声を復号する必要がなくなる。

本発明の実施例を説明する。映像音声配信システムの概略図は、図３を参照する。図１に、本発明に基づく端末の構成を示す。図１を用いて、端末の動作を説明する。太線の大きな矩形は、映像音声配信システムの端末機能を実現するソフトウェアの範疇である。通常、パケット送受信や外部入出力などの一般的な機能はＯＳに実装されているため、太矩形の外に描いた。映像復号機能や、音声復号機能については、端末機能を実現するソフトウェアの一部として実現される可能性も十分にあるが（太矩形の内側にある可能性もあるということ）、ここでは端末ソフトウェアの外部に実装されているとした。

まず、音声データを受信した場合の動作を説明する。パケット受信部１から音声データを受信すると、パケット分別部２で仕分けられ、音声復号・出力部３に送られる。そして、音声が再生される。次に、音量データを受信した場合の動作を説明する。パケット受信部１から音量データを受信すると、パケット分別部２で仕分けられ、音量比較部４に送られる。音量比較部４は、複数の端末の音量データを比較し、発言者を特定する。

各端末からの音量データは異なる時刻に到着するため、必要に応じて音声データ記憶部５に記憶しておき、比較のときに用いる。発言者が変更された場合には、映像要求部６は新たな発言者に映像要求を送信する。図４の例と同様に、映像の停止に関する処理は省略する。

次に、映像データを受信した場合の動作を説明する。パケット受信部１から映像データを受信すると、パケット分別部２で仕分けられ、映像復号・表示部７に送られる。

そして、映像が再生される。また、マイク８からの音声入力は、音量算出部９で音量データに変換され、他の端末へと送られる。並行して、音声符号部１０で音声データに符号化され、パケット送信部１１より他の端末へ送られる。映像データの符号化処理および送信処理は省略する。

ここで、先願と本発明とを比較する。先願では、参加者数をｎとすると、各端末はｎ−１の音声データに対して音量算出処理を行う。このため、映像音声配信システム全体での音量算出処理量は、ｎ（ｎ−１）となる。

一方、本発明では、各端末は自身の音声データに対してのみ音量を算出すればよい。このため、映像音声配信システム全体での音量算出処理量は、ｎとなる。また、先願では、図３に示したように、端末プログラム外部に音声復号・出力部３を持ち、そこから音量データを取得できない場合には、端末プログラム内部で別途音声復号処理を行わなければならない。本発明では、端末プログラム内部に音声復号処理は不要である。一方で、本発明では音声データを配信するため、トラフィックが増える。しかし、音声データは数値であり、データ量が少ないため、その影響は小さいことが多い。

図２のシーケンス図を用いて、本発明に基づくシステムの動作を説明する。説明は、端末♯１を中心に行う。最初、端末♯２を利用している参加者が発言しているとする。このシーケンス図には、端末♯１が受信する音声データと映像データ、端末♯１が送信する映像要求のみを示す。他の端末が受信する音声データと映像データや、他の端末が送信する映像要求は省略されている。

凡例にあるように、送受信されるデータ種は矢印を変えて区別する。端末♯１は、端末♯２、♯３から音声データおよび音量データを受信している。シーケンス図は、音声データおよび音量データを一つずつしか受信していないように描かれているが、実際には連続するデータを受信している。端末♯２、♯３は音量データを送信するために、自身の音声データを基に音量データを算出する。端末数ｎに関係なく、音量データの算出回数は１である。端末♯１は、端末♯２、♯３から受信した音量データを比較し、端末♯２が発言していると判断する。すると、端末♯１は、端末♯２に映像要求を送出する。端末♯２は映像要求を受信すると、端末♯１に映像データの送信を開始する。シーケンス図は、映像データを一つしか送信していないように描かれているが、実際には連続してデータを送信している。端末♯１は映像データを受信すると、その映像データを表示する。

続いて、端末♯２を利用している参加者が発言を終え、端末♯３を利用している参加者が発言するとする。端末♯１は、端末♯２、♯３から受信している音量データを比較し、端末♯３が発言していると判断する。すると、端末♯１は、端末♯３に映像要求を送出する。ここで、端末♯１は端末♯２からの映像データを停止するために、端末♯２へ映像停止要求を送信してもよい。あるいは、タイムアウトなどの機構により映像データの停止を待ってもよい。

シーケンス図では、図が煩雑になることを避けるために、端末♯２からの映像データを停止する方法については明記していない。端末♯３は映像要求を受信すると、端末♯１に映像データの送信を開始する。シーケンス図は、映像データを一つか送信していないように描かれているが、実際には連続してデータを送信している。端末♯１は映像データを受信すると、その映像データを表示する。このようにすることで、自動的に発言者の映像を表示し、切り替えることができる。

本実施例は、汎用の情報処理装置にインストールすることにより、その情報処理装置を本実施例の端末として機能させるプログラムとして実施することができる。このプログラムは、記録媒体に記録されて情報処理装置にインストールされ、あるいは通信回線を介して情報処理装置にインストールされることにより当該情報処理装置を本実施例の端末として機能させることができる。

本発明によれば、映像音声配信システム全体での音量算出処理量を軽減することができ、また、音量を算出するために音声を復号する必要がなくなるので、結果的に、端末に求められる能力が低くなり、経済性を増すことができる。

本実施例の端末の構成図。 本実施例の映像音声配信方法の手順を示すシーケンス図。 システムの概略を説明するための図。 先願の端末の構成図。 先願の映像配信方法の手順を示すシーケンス図。

符号の説明

１ パケット受信部
２ パケット分別部
３ 音声復号・出力部
４ 音量比較部
５ 音声データ記憶部
６ 映像要求部
７ 映像復号・表示部
８ マイク
９、１３ 音量算出部
１０ 音声符号部
１１ パケット送信部
１２ 音声復号部
１４ ネットワーク
♯１〜♯３ 端末

Claims (5)

1. ネットワークに接続された複数の端末が相互に受信要求を送信し、映像データおよび音声データを交換する映像音声配信システムにおいて、
   前記複数の端末のそれぞれが、
   自身の音声データの音量を表す数値データである音量データを生成する音量データ生成手段と、
   当該音量データを通信相手である他の全ての端末に配信する音量データ配信手段と、
   前記他の全ての端末から音量データを受信する音量データ受信手段と、
   受信した前記他の全ての端末からの音量データを比較して発言者の端末を特定する音量比較手段と、
   発言者の端末が変更された場合に、新たな発言者の端末に対し映像データを要求する映像要求を送信する映像要求手段とを備え、
   他の端末から映像要求を受信した場合に、要求元の端末に対し映像データの送信を開始する
   ことを特徴とする映像音声配信システム。
2. ネットワークに接続された複数の端末が相互に受信要求を送信し、映像データおよび音声データを交換する映像音声配信システムに適用される前記端末において、
   自身の音声データの音量を表す数値データである音量データを生成する音量データ生成手段と、
   当該音量データを通信相手である他の全ての端末に配信する音量データ配信手段と、
   前記他の全ての端末から音量データを受信する音量データ受信手段と、
   受信した前記他の全ての端末からの音量データを比較して発言者の端末を特定する音量比較手段と、
   発言者の端末が変更された場合に、新たな発言者の端末に対し映像データを要求する映像要求を送信する映像要求手段とを備え、
   他の端末から映像要求を受信した場合に、要求元の端末に対し映像データの送信を開始する
   ことを特徴とする端末。
3. ネットワークに接続された複数の端末が相互に受信要求を送信し、映像データおよび音声データを交換する映像音声配信方法において、
   前記複数の端末のそれぞれが、
   自身の音声データの音量を表す数値データである音量データを生成し、
   当該音量データを通信相手である他の全ての端末に配信し、
   前記他の全ての端末から音量データを受信し、
   受信した前記他の全ての端末からの音量データを比較して発言者の端末を特定し、
   発言者の端末が変更された場合に、新たな発言者の端末に対し映像データを要求する映像要求を送信し、
   他の端末から映像要求を受信した場合に、要求元の端末に対し映像データの送信を開始する
   ことを特徴とする映像音声配信方法。
4. ネットワークに接続された複数の端末が相互に受信要求を送信し、映像データおよび音声データを交換する映像音声配信システムに適用される前記端末を、汎用の情報処理装置にプログラムをインストールすることにより実現する場合のプログラムにおいて、
   前記複数の端末のそれぞれに相応する機能として、
   自身の音声データの音量を表す数値データである音量データを生成する音量データ生成機能と、
   当該音量データを通信相手である他の全ての端末に配信する音量データ配信機能と、
   前記他の全ての端末から音量データを受信する音量データ受信機能と、
   受信した前記他の全ての端末からの音量データを比較して発言者の端末を特定する音量比較機能と、
   発言者の端末が変更された場合に、新たな発言者の端末に対し映像データを要求する映像要求を送信する映像要求機能と、
   他の端末から映像要求を受信した場合に、要求元の端末に対し映像データの送信を開始する機能と
   を実現させることを特徴とするプログラム。
5. 請求項４記載のプログラムが記録された前記情報処理装置が読取可能な記録媒体。

Images