JPH07170290A - 通信システム - Google Patents

Abstract

(57)【要約】 【構成】 受信側９１は、映像データバッファメモリ１
４の内容量を測定しており、この内容量の測定値Ｖが上
限値Ｖｍａｘを越えたこと又は下限値Ｖｍｉｎを下回っ
たことを検出すると、その旨の制御信号を送信側９０に
送る。送信側９０は、受信側９１からの制御信号を受け
るとその内容に応じて動画の画質選択又はコマ落とし数
を可変する。すなわち、送信側９０が受信側９１からの
制御信号を受信すると、フレームバッファ６８において
動画の画質選択又はコマ落とし数を可変することで、受
信側９１に送る動画データの量を制御する。 【効果】 入力から出力までの時間遅れが少なく、ま
た、映像の途切れも防ぐことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、コンピュータ
ネットワークのような通信の技術分野で用いられる通信
システムに関し、特に、オーディオやビデオデータのよ
うなマルチメディアデータに対応できる通信システムに
関するものである。

【０００２】

【従来の技術】近年、パーソナルコンピュータやワーク
ステーションなどの性能は格段に向上し、また、身近に
普及しつつある。また、最近は、それらをテレビジョン
や電話と同じように日常的なコミュニケーションに利用
したいという要求や、これら情報処理システムをより広
範囲の用途に活用したいという要求が出てきている。し
たがって、上記パーソナルコンピュータやワークステー
ションなどにおいては、これらの要求を実現するため
に、音声や動画などのマルチメディアデータを分散環境
上でインタラクティブに扱えるようにする事が必要とな
っている。

【０００３】ここで、従来のマルチメディアの通信で用
いられる情報処理通信システムとしては、図１３に示す
構成のものが知られている。

【０００４】この図１３において、入力装置１００や１
０１からは例えば音声データ、動画データ等が供給され
る。この入力装置１００，１０１としては、例えばマイ
クロホンからのアナログの音声信号やビデオカメラから
のアナログの映像信号をディジタル信号に変換するＡ／
Ｄコンバータを挙げることができる。この入力装置１０
０，１０１からのデータは、それぞれ入力データ処理装
置１０２，１０３に送られ、それぞれ所定のデータ処理
が施される。この入力データ処理装置１０２，１０３で
のデータ処理としては、例えばデータ圧縮処理を挙げる
ことができる。上記入力データ処理装置１０２，１０３
からの圧縮データは、マルチプレクサ１０４によってマ
ルチプレクス処理され、送信バッファメモリ１０５に蓄
えられた後に読み出されて、ネットワーク送信部１０６
から例えばイーサーネットなどのネットワークを介して
受信側のネットワーク受信部１１１に送られる。

【０００５】上記ネットワーク受信部１１１で受信され
たデータは、受信バッファメモリ１１２に一旦蓄えられ
た後に読み出され、さらに分離装置１１３によって上記
送信側のマルチプレクス処理に対応する分離処理がなさ
れて、出力データ処理装置１１４，１１５に送られる。
当該出力データ処理装置１１４，１１５は上記入力デー
タ処理装置１０２，１０３に対応するデータ伸張処理を
施し、その後再生装置１１６，１１７に送る。なお、当
該再生装置１１６，１１７としては、Ｄ／Ａコンバータ
を例に挙げることができる。

【０００６】

【発明が解決しようとする課題】ところで、上述した従
来の情報処理通信システムにおいては、以下のような問
題点がある。

【０００７】先ず、上記従来の情報処理通信システムに
おいては、例えば受信側の上記出力データ処理装置１１
４，１１５などの負荷の変動によって処理が遅れ、受信
バッファメモリ１１２において内容が増えすぎるように
なる場合がある。このように、受信バッファメモリ１１
２の内容が増えすぎるようになると、当該受信バッファ
メモリ１１２におけるデータの入力から出力までの時間
遅れが大きくなる。

【０００８】また、図１３の例では、受信バッファメモ
リは単数となっているが、受信バッファメモリが複数あ
る様な場合において、例えばこの複数の受信バッファメ
モリの間で内容量の差が大きくなりすぎるようになる
と、これら複数の受信バッファメモリは本来同期してい
なければならないものであるにもかかわらず、出力の際
のバッファメモリ間の時間のずれ（すなわちメディア間
の時間のずれ）が大きくなる。

【０００９】この従来の欠点についてより具体的に説明
する。例えば、動画や音声などのマルチメディアデータ
は、コンピュータがこれまで処理してきた数値データや
テキストデータとは本質的に異なる性質を持っている。
すなわち、マルチメディアデータは、第一に、マルチメ
ディアデータは単なるバイト列ではなく、明示的あるい
は暗示的に時間の属性を持っていること、第二に、本質
的にデータ量が莫大かつ冗長で、ハードウェアの処理能
力が向上したとしても、効率良く扱うためにはデータ圧
縮をする必要があること、第三に、インタラクティブな
処理を必要とされ、スループットだけでなくレスポンス
や遅れなどの性能が重視されること、などの性質を持っ
ている。

【００１０】このため、これらを分散環境で扱うために
は、メディア間同期、通信、処理、リーソス管理などに
新たな手法を導入する必要がある。

【００１１】そこで、本発明は、上述のような実情に鑑
みてなされたものであり、入力から出力までの時間遅れ
が少なく、出力でのメディア間の時間のずれも小さい通
信システムを提供することを目的とするものである。

【００１２】

【課題を解決するための手段】本発明は上述した目的を
達成するために提案されたものであり、動画信号を、送
信側で取り込む時間と受信側で再生する時間との差が所
定時間以内である実時間の通信システムであり、送信側
は、動画信号を取り込む取り込み手段と、動画の画質を
選択又はコマ落とし数を可変する可変手段と、上記可変
手段を制御する制御手段と、上記制御手段への受信側か
らの制御信号が入力される制御信号入力手段とを備え、
受信側は、送信された動画信号を取り込む取り込み手段
と、動画信号を再生する再生手段と、動画信号の取り込
み時間と再生する時間との差が、上限としての第１の時
間内であることを検出する第１の検出手段と、動画信号
の取り込み時間と再生する時間との差が、下限としての
第２の時間内であることを検出する第２の検出手段と、
信号をバッファリングするバッファ手段と、信号の取り
込み時間と再生する時間との差が上記第１の時間内を越
えたこと及び／又は上記第２の時間内を下回ったことを
検出したときに、上記信号の取り込み時間と再生する時
間との差を上記第１の時間と第２の時間との間となすた
めに上記送信側に対して画質又は単位時間内の送信コマ
数を制御するための制御信号を送る制御信号送信手段と
を備えてなることを特徴とするものである。

【００１３】また、本発明の通信システムの受信側に
は、受信信号が動画信号を除く信号であることを検出す
る第３の検出手段を設け、受信側では動画信号を除く信
号をも受信すると共に、上記第３の検出手段によって受
信信号が動画信号を除く信号であることを検出したとき
には、当該動画信号を除く信号をそのまま処理するよう
にしている。

【００１４】さらに、受信側には動画信号の所定の部分
であることを検出する第４の検出手段を設け、当該受信
側では、上記第４の検出手段によって上記動画信号の所
定の部分を検出したときには当該所定の部分のみをその
まま処理し、他の部分を廃棄するようにする。

【００１５】

【作用】本発明の通信システムによれば、受信側におい
て、信号の取り込み時間と再生する時間との差が第１の
時間内を越えたこと及び／又は第２の時間内を下回った
ことを検出すると、信号の取り込み時間と再生する時間
との差を第１の時間と第２の時間との間となすために送
信側に対して画質又は単位時間内の送信コマ数を制御す
るための制御信号を送るようにする。これを受けた送信
側は、送信する動画信号に対して動画の画質を選択又は
コマ落とし数を可変する制御を行う。

【００１６】すなわち、本発明の通信システムによれ
ば、受信側において信号の取り込み時間と再生する時間
との差が上限である第１の時間内を越えると、バッファ
手段での入力から出力までの時間遅れが大きくなるの
で、受信側で信号の取り込み時間と再生する時間との差
が第１の時間内を越えるようになったときには、送信側
において送る動画の画質を落とすか又はコマ落としを行
うことで、受信側のバッファ手段の入力から出力までの
時間遅れを適正値に回復させるようにしている。

【００１７】さらに、本発明の通信システムによれば、
受信側において信号の信号の取り込み時間と再生する時
間との差が第２の時間内を下回ると、映像が途切れるお
それが出てくるので、受信側で信号の取り込み時間と再
生する時間との差が第２の時間内を下回るようになった
ときには、送信側において送る動画の画質を上げるか又
はコマ落とし数を無くす（若しくは少なくする）こと
で、受信側で映像が途切れるのを防ぐようにしている。

【００１８】また、本発明の通信システムによれば、受
信側に第３の検出手段を設け、この第３の検出手段によ
って受信信号が動画信号を除く信号であることを検出し
たときには、そのまま処理することで、受信信号が例え
ばテキストデータやプログラムデータ，数値データ，他
のバイナリデータなどである場合に、これらデータの内
容が変化することを防いでいる。

【００１９】さらに、本発明の通信システムによれば、
受信側にさらに第４の検出手段を設け、この第４の検出
手段によって受信信号の動画信号の所定の部分を検出し
たときには、その所定の部分を除く他の部分を廃棄する
ことで、バッファ手段の入力から出力までの時間遅れを
適正値に回復させるようにし、その所定の部分について
はそのまま処理することで、この所定の部分の信号につ
いては破棄しないようにする。

【００２０】

【実施例】以下、図面を参照し、本発明の実施例につい
て詳述する。

【００２１】図１には、本発明実施例の通信システムの
構成を示す。本実施例の通信システムは、図１に示すよ
うに、動画信号を、送信側９０で取り込む時間と受信側
９１で再生する時間との差が所定時間以内となるような
実時間の通信システムであり、送信側９０は、動画信号
を取り込む取り込み手段としてのＡ／Ｄ変換回路６６及
びフレームバッファ６８と、フレームバッファ６８にお
いて動画の画質を選択又はコマ落とし数を可変する可変
手段してのフレーム取り込みクロック発生回路７０と、
上記フレーム取り込みクロック発生回路７０を制御する
制御手段としての取り込み周期指定回路７１と、上記取
り込み周期指定回路７１への受信側９１からの制御信号
が入力される制御信号入力手段としてのネットワーク受
信部７２とを備えてなるものである。

【００２２】また、本実施例の通信システムの受信側９
１は、送信側９０から送信された動画信号を取り込む取
り込み手段としてのネットワーク受信部１１と、動画信
号を再生する再生手段としての分離回路１２及び伸張Ｄ
／Ａ変換回路１９と、動画信号の取り込み時間と再生す
る時間との差（後述する測定値Ｖ）が上限（後述するＶ
ｍａｘ）の第１の時間内であることを検出する第１の検
出手段、及び動画信号の取り込み時間と再生する時間と
の差（測定値Ｖ）が下限（後述するＶｍｉｎ）の第２の
時間内であることを検出する第２の検出手段としてのバ
ッファメモリ内容量測定回路２０と、分離された映像デ
ータ（動画データ）をバッファリングするバッファ手段
である映像データバッファメモリ１４と、信号の取り込
み時間と再生する時間との差が上記第１の時間内を越え
たこと（Ｖ＞Ｖｍａｘ）又は第２の時間内を下回ったこ
と（Ｖ＜Ｖｍｉｎ）を検出すると、上記信号の取り込み
時間と再生する時間との差を上記第１の時間と第２の時
間との間となすために、上記送信側９０に対して画質の
選択又は単位時間内の送信コマ数を制御するための制御
信号を送る制御信号送信手段としての演算判断回路８１
及びネットワーク送信部７３とを備えている。

【００２３】すなわち、本実施例の通信システムは、送
信側９０が上記受信側９１からの制御信号を受信する
と、フレームバッファ６８において動画の画質選択又は
コマ落とし数を可変することで、受信側９１に送る動画
データの量を制御するようにしている。

【００２４】なお、本実施例の通信システムでは、動画
データと共に、音声データをも扱うようにしている。

【００２５】また、本発明実施例の通信システムは、音
声及び動画の信号を除く信号をも受信可能であり、した
がって、送信側９０には音声及び動画の信号を除く信号
を処理するデータ処理回路９４を設けると共に、受信側
９１には受信信号が音声及び動画の信号を除く信号であ
ることを検出する第３の検出手段としての検出回路２５
をさらに設けている。なお、上記音声及び動画の信号を
除く信号としては、例えばテキストデータやプログラム
データや数値データ，他のバイナリデータ等を挙げるこ
とができる。受信側９１は、上記検出回路２５において
上記受信信号が動画の信号を除く信号であることを検出
したときには、当該検出回路２５からの検出出力に応じ
て分離回路１２でこのテキストデータなどの部分のみを
分離させ、当該分離したテキストデータなどの部分につ
いてはデータ処理回路２６によってそのまま処理するよ
うにしている。

【００２６】さらに、本発明実施例の通信システムの受
信側９１の上記検出回路２５は、受信信号から所定の部
分として例えば映像や音声の重要な部分を検出する第４
の検出手段としても動作し、当該第４の検出手段として
の検出回路２５からの検出出力を、上記演算判断回路８
１に送る。当該演算判断回路８１においては、音声デー
タバッファメモリ１３及び映像データバッファメモリ１
４に対して上記所定の部分のみはそのまま処理し、他の
部分を廃棄するような読み出し制御を行う。

【００２７】ここで、先ず、図１と図９〜図１２に示す
本発明実施例の通信システムの具体的に説明に先立ち、
本発明の通信システムが適用される情報処理通信システ
ムのマルチメディアデータ対応の情報処理装置の基本機
能と、該情報処理装置のモデルといわゆるアプリケーシ
ョン・プログラミング・インタフェース（ＡＰＩ:appli
cation programming interface) と、情報処理通信シス
テムにおける当該マルチメディア対応の情報処理装置の
位置付け、当該情報処理の評価について、以下に項目に
分けて説明する。

【００２８】１．情報処理通信システムにおけるマルチ
メディア対応の情報処理装置の機能 この情報処理装置が実現する目標は、(1) いろいろな制
約はあるが、標準のパーソナルコンピュータやワークス
テーションにおいて構築し、既存のシステムとの親和性
を保つこと、(2) 音声や動画の通信や特有の処理は、当
該情報処理装置にまかせ、クライアントプログラムはそ
のコントロールだけを行うこと、(3) メディアデータの
属性と、クライアントプログラムの目的に応じて柔軟に
対処できること、(4) プロセッサやネットワークなどの
リソースの負荷の変動に対して、対応できること、(5)
モデルが単純なこと、などである。

【００２９】これらの要求から、情報処理装置は以下に
述べるような機能を持つことが必要となる。

【００３０】１．１ メディアタイプ 情報処理装置で扱うメディアデータとして、基本的には
音声と動画がある。これらには、単位時間あたりのデー
タ量や生成時刻などの時間的な属性をつけ、これを情報
処理装置での処理に利用する。例えば、データ幅８ビッ
ト、サンプリング周波数８ｋＨｚの音声データの場合に
は、単位時間は１／８０００（ｓｅｃ）、単位時間あた
りのデータ量は１バイトという属性がつけられる。

【００３１】１．２ 情報処理装置とメディアデバイス 情報処理装置は、複数の入力デバイスからのデータを、
時間的な同期を取りながら、出力デバイスに出力する。

【００３２】入力デバイスとしては、(1) オーディオイ
ンタフェースやビデオ入力インタフェースなどのハード
ウェアデバイス、(2) サウンドファイルや動画ファイル
やムービーファイルのようなマルチメディアデータファ
イル、(3) マルチキャストアドレス、(4) クライアント
プロセスなどをサポートする。

【００３３】出力デバイスとしては、(1) オーディオイ
ンタフェースやウィンドウなどのデバイス、(2) マルチ
メディアファイル、(3) マルチキャストアドレス、(4)
クライアントプロセス、などをサポートする。

【００３４】あるホストには情報処理装置はただ一つだ
け存在し、それが直接に取り扱うデバイスは、そのホス
ト上にあることが必要である。入力デバイスと出力デバ
イスが別々のホストにあることを必要とする場合には、
クライアントがそれぞれのホスト上のそれぞれの情報処
理装置にアクセスして情報処理装置同志を接続させる。

【００３５】１．３ メディアデータの転送と同期 マルチメディアシステムとしてユーザに提供する物の品
質の評価規準として以下のものが考えられる。例えば、
(1) 転送の遅れの許容限度、(2) メディア間同期の許容
限度、(3) スループット、(4) データの欠損が許される
場合と許されない場合である。

【００３６】与えられた転送路で満足できる品質を得る
ために、データ量、圧縮方式、プロトコルやパケットサ
イズなどの転送の際の種々のパラメータをコントロール
する。情報処理装置は、品質の評価基準に従って、メデ
ィア間同期を行う。

【００３７】１．４ ネットワークプロトコール 上記情報処理装置が利用するマルチメディアデータのネ
ットワークプロトコールは、品質の評価基準を考慮しな
がらフローなどを動的にコントロールできる必要があ
る。現状のネットワーク環境のＩＥＥＥ ８０２．３規
格に準拠したいわゆるイーサ・ネット(Ethernet)や、国
際標準化機構（ＩＳＯ）のＳＣ１３において提案されて
いる光ファイバを用いた１００Ｍビット／秒トークンパ
ッシング方式のファイバ・ディストリィビューテッド・
データ・インタフェース（ＦＤＤＩ:fiber-distributed
data interface)などネットワークデバイスは、分散環
境上で個々に資源を取り合って共有しているため、あら
かじめネットワーク資源を確保するようなサービスが難
しい。しかし、現状のネットワーク環境との親和性を考
えるとインターネット・プロトコール（ＩＰ:internet
protocol) を利用する必要があり、今回はネットワーク
プロトコールとしていわゆるトランスミッション・コン
トロール・プロトコール（ＴＣＰ:transmission contro
l protocol) と、コネクションレス形式のプロトコール
であるいわゆるユーザ・データグラム・プロトコール
（ＵＤＰ:user datdgram protocol)を利用した。

【００３８】１．５ データの圧縮伸張 情報処理装置は、ソフトウェアまたはハードウェアによ
る、音声データや動画データの圧縮伸張機能を持つ。音
声の圧縮方式としては、国際電信電話通信諮問委員会
（ＣＣＩＴＴ）の音声符号化標準の勧告Ｇ．７１１，
Ｇ．７２１，Ｇ．７２２，Ｇ．７２８などの規格をサポ
ートする。また、画像の圧縮方式としては、国際電信電
話通信諮問委員会（ＣＣＩＴＴ）のカラー静止画像符号
化方式の国際標準化作業グループのいわゆるＪＰＥＧ(J
oint Picture Expert Group)や、テレビ会議システム用
映像符号化勧告Ｈ．２６１、カラー動画像符号化方式の
国際標準化作業グループのＭＰＥＧ（Moving Picture E
xpert Group)などの方式がある。圧縮方式ごとに特徴が
あるので、用途によって使い分ける必要がある。

【００３９】１．６ リソースのコントロール 情報処理装置は、複数のクライアントプログラムからの
入出力要求を処理する機能をもつ。例えば、音声入力デ
バイスは一つしかないのに複数のクライアントから音声
入力要求があった場合には、以下のような処理方法が考
えられる。 (1) すべての要求元にコピーして配る。 (2) 先着の要求を優先し、後着の要求を拒絶する。 (3) クライアントを順次切り替える。この機能は、ウィ
ンドウシステムでのウィンドウマネージャに相当するマ
ルチメディアマネージャなどのプログラムが利用する。

【００４０】１．７ 物理デバイスのコントロール 音声や動画などのマルチメディアデータを扱う場合に
は、ビデオカメラやビデオデッキのようないわゆるオー
ディオ・ビジュアル機器（ＡＶ機器）を接続することが
必要になる。情報処理装置は、これらのコントロールの
ために、ＡＶ機器制御用の所定のプロトコールをサポー
トする。

【００４１】２. 情報処理装置のモデルとＡＰＩ ２．１ ＡＶ機器が接続される情報処理装置のモデル 情報処理装置は、図２に示すように、クライアントそれ
ぞれに対し１つの実行制御単位(AVobj）を生成する。ク
ライアントがマルチメディアデータの入出力を行いたい
場合には、次のような手順で情報処理装置に要求をだ
す。まず、実行制御単位（AVobj)において仮想的なメデ
ィアデバイス(AVdev) をオープンする。当該仮想的なメ
ディアデバイス(AVdev) は物理的なデバイスではないた
め、排他制御や複数からのオープンなどが実現出来る。

【００４２】また、図３に示すように、入力用に上記仮
想的なメディアデバイス(AVdev) をオープンした実行制
御単位(AVobj) と出力用にメディアデバイス(AVdev) を
オープンした実行制御単位(AVobj) とを接続することに
よりマルチメディアデータの転送路が確保される。同一
の実行制御単位(AVobj) でオープンされているデバイス
間のメディアの同期は保証される。

【００４３】さらに、図４のようにネットワークでつな
がれた異なるホスト上の情報処理装置において実行制御
単位(AVobj) を生成し、接続することにより分散環境上
のワークステーションにおいてマルチメディアデータの
転送が行われる。

【００４４】送信、受信側の実行制御単位(AVobj) がオ
ープンするデバイス(AVdev) としてサウンドデバイスを
用いると電話が実現できる。さらに、ビデオデバイスを
オープンするとテレビ電話が実現できる。また、入力デ
バイスとして映画(Movie) ファイルを指定し、出力デバ
イスにサウンドデバイスとビデオデバイスをオープンす
ると映画(Movie) プレーヤとなる。このように入出力の
デバイスを組み替えることにより各種マルチメディアア
プリケーションを容易に作成することが可能となる。

【００４５】２．２ 情報処理装置のＡＰＩ 情報処理装置のライブラリには、例えば次のものが用意
されている。

【００４６】int avs ＿new(char *hostname);これは、
ホスト名(hostname)上で起動されている情報処理装置に
おいて実行制御単位(AVobj) を生成する。エラーが発生
した場合にはヌル(null)が返される。正常終了した場合
には実行制御単位(AVobj) のＩＤ（識別情報）が返され
る。実行制御単位(AVobj) に対する命令はすべてこの実
行制御単位(AVobj) のＩＤを用いて行なわれる。

【００４７】int avs ＿open(int net, char *devname,
int mode);これは、デバイス(AVdev) をオープンす
る。引数は実行制御単位(AVobj) のＩＤ、デバイス名、
モードである。

【００４８】int avs ＿connect(int net1, int net2);
これは、２つの実行制御単位(AVobj) をポイント・ツウ
・ポイント(point-to-point)接続する。これによって接
続した実行制御単位(AVobj) の一方が以下に述べる関数
（avs ＿transfer) によって転送状態になると、もう一
方の実行制御単位(AVobj) がそのデータを受けとれるよ
うになり自動的に受けとったデータを処理する。ひとつ
の送信実行制御単位(AVobj) に対して複数の受信実行制
御単位(AVobj) を接続することが可能なため、１対多の
データ転送を処理できる。

【００４９】int avs ＿transfer(int net, int dev, i
nt length);これは、実行制御単位(AVobj) の送信を制
御する。デバイスＩＤとして０を指定すると、実行制御
単位(AVobj) がオープンしたすべてのデバイスに対して
有効となる。長さ(length)に正の数を指定するとその長
さだけデータ転送が行なわれる（単位はｍｓｅｃ）。こ
こでゼロを指定すると、次の関数(av ＿transfer) が与
えられるまで転送します。負の数を指定すると即座に停
止する。

【００５０】int avs ＿destroy(int net);これは、関
数(av ＿new)によって生成した実行制御単位(AVobj) を
解放する。

【００５１】int avs ＿interval(int net, int dev, i
nt interval);これは、転送インターバルの設定を行な
う。単位はｍｓｅｃである。デバイスＩＤとしてゼロを
設定すると、その実行制御単位(AVobj) でオープンされ
たすべてのデバイスに対して適応される。

【００５２】int avs ＿resize(int net, int dev, int
width, int height);これは、ビデオデバイスに対して
サイズ変更を要求する。サイズの単位はピクセルであ
る。デバイスＩＤとしてゼロを設定すると、その実行制
御単位(AVobj)でオープンされたすべてのビデオデバイ
スに対して適応される。

【００５３】int avs ＿nettype(int net, char *typ
e);これは、実行制御単位(AVobj) 同志を接続するネッ
トワークのタイプを設定する。現在のところ前記ＴＣＰ
とＵＤＰがサポートされている。これは関数(avs＿conn
ect)を実行する以前に行なわなければならない。

【００５４】int avs ＿fd(int net);これは、クライア
ントと実行制御単位(AVobj) とのコントロール接続コネ
クションのファイル記述子を返す。

【００５５】int avs ＿codec(int net, char *type, i
nt quality);これは、メディアデータの圧縮方式を指定
する。ここでは、画像データに対して前記ＪＰＥＧの圧
縮伸張のみがサポートされている。

【００５６】その他、デバイス(AVdev) に対し直接メデ
ィアデータにアクセスするためのライブラリとして次の
ものがある。例えば、 int avs ＿read(int net, int dev, int shmid, int si
ze); int avs ＿write(int net, int dev, int shmid, int s
ize); int avs ＿ioctl(int net, int dev, int request, int
shmi); である。

【００５７】３．情報処理装置の実装 システム全体における情報処理装置の位置付けは次の図
５のようになる。 ３．１ スレッド(Thread)の利用 スレッドを用いると、複数プロセスを用いて実現するよ
りもコンテキスト・スイッチの時間が短く、各スレッド
間でメモリなどの環境を共有でき、プログラミングが容
易になる。情報処理装置を実現するにあたってスレッド
のモデルへの割り当て方法として次の２通りが考えられ
る。

【００５８】例えば、機能毎にスレッドに割り当てる、
データストリーム毎にスレッドを割り当てる、がある。
前者では画面入出力・音声入出力・ネットワークなどの
機能毎にスレッドを割り当て、パイプラインを形成する
方法であり、後者はメディアデータ毎の入力から出力ま
でを行う処理にスレッドに割り当てる方法である。

【００５９】機能毎にパイプラインを形成してもマルチ
プロセッサ環境下でないと利点はなく、複数のストリー
ムにおいてストリーム単位のスケジュール・プライオリ
ティ制御を行うには、後者が適しているため、今回の実
装ではデータストリーム毎にスレッドを割り当てる方法
も用いた。

【００６０】３．２ ＴＣＰ／ＩＰの送信受信バッファ
と遅延 前記ＴＣＰ／ＩＰでは高信頼性を実現するため、パケッ
トの順序付け、チェックサム、タイムアウトそして再転
送を行い、オーバヘッドが大きくデータの転送遅延が問
題となる。

【００６１】したがって、ここでは送信および受信のた
めにバッファが用意されている。例えばワークステーシ
ョンでは、デフォルトで８Ｋ（バイト）となっている。
このバッファにデータがたまることによって遅延が生じ
る。例えば、解像度が１６０×１２０、深さ１６ビット
の画面ならば、一画面でおよそ３８Ｋバイトとなり、送
信側と受信側両方のバッファを合わせても１フレームも
バッファリングされない。この場合にはバッファサイズ
を大きくすると転送効率は向上する。ところが、画像圧
縮をかけて１／１０程の４Ｋバイト程度の大きさにする
と両方のバッファ合わせておよそ４フレームが溜まるこ
ととなる。１秒間に５フレームのスピードで転送を行う
ならばこれだけで約１秒間の遅延となる。

【００６２】しかし、逆にあまりバッファを小さくする
と、転送効率が悪くなるため、ここにトレードオフがあ
る。この送信、受信バッファのサイズは関数(setsockop
t)で変更可能である。

【００６３】４． 情報処理装置の評価 情報処理装置をワークステーション上に実装した場合の
評価は以下のようになる。

【００６４】４．１ 送受信バッファと転送遅延、効率 実際に送受信バッファのサイズと転送遅延、効率の測定
をした例として、同一ネットワークに接続された２台の
ワークステーションの間で動画像データの転送を行なっ
た。ここで、ワークステーションをイーサネットで接続
し、解像度は１６０×１２０、１６ビットの深さの無圧
縮とＪＰＥＧ圧縮画像で転送して測定し、１フレームの
サイズは無圧縮でおよそ３８Ｋバイト、ＪＰＥＧ圧縮で
およそ５Ｋバイトとしている。

【００６５】また、転送遅延は関数(timed(8))を用いて
時計を合わせ、画像取り込みから転送を行いリモート側
で表示を行うまでの時間を測定した。さらに、転送効率
としては最大転送フレームレートを測定している。図６
には無圧縮、図７にはＪＰＥＧ圧縮の画像の送受信バッ
ファサイズと転送遅延、効率の関係を示す。

【００６６】図６に示すように、無圧縮で１フレームの
大きさが大きい場合には、送受信バッファに１フレーム
が入り切らないためバッファのサイズに対する転送遅延
の差はほとんど変わらない。バッファサイズが８Ｋバイ
トの時には、転送遅延、効率ともに良い結果が現れる。
この図６によれば、デフォルトの送受信バッファサイズ
が８ＫバイトということからもＴＣＰ／ＩＰでの転送が
その場合に一番効率が良くなるようになっていることが
わかる。

【００６７】それに比べ、図７に示すＪＰＥＧ圧縮を行
なった画像を転送する場合には、ソフトウェアでＪＰＥ
Ｇの圧縮伸張を行うため最大フレームレートは少ない。
また、送受信バッファに数フレームが溜まってしまうた
め、バッファのサイズが大きいほど遅延は増大する。そ
こでＪＰＥＧなどの圧縮を行い画像データがネットワー
クのバンド幅より充分小さい場合には、送受信のバッフ
ァサイズを転送効率が下がらない程度に小さくすること
により、メディアデータの転送遅延を短縮できる。

【００６８】４．２ 画面転送スピード 同様の環境で、画面サイズとフレームレートおよび転送
遅延を測定している。まず、ネットワークとしてイーサ
ネットを用いた場合は、次の表の結果が得られた。表１
には１６ビットの深さの無圧縮画像、表２にはＪＰＥＧ
圧縮した画像の転送最大フレームレートと遅延の性能を
示す。

【００６９】

【表１】

【００７０】

【表２】

【００７１】次に、ネットワークとしてサービス総合デ
ィジタル網（ＩＳＤＮ:integratedservice digitial ne
twork) の１Ｂ（６４Ｋ）を用いた場合の性能は表３の
ようになる。なお、ＩＳＤＭを用いた場合には、画像デ
ータを圧縮しないと最小の画面サイズ（８０×６０）に
おいてもフレームレートが０．２（fps)となり、実用的
でないため、深さ１６ビットの無圧縮画像の転送性能の
評価は省いた。

【００７２】

【表３】

【００７３】このような情報処理装置を用いることによ
り、画像と音声の取り込みや圧縮伸張、またネットワー
クプログラミングを意識することなく容易にマルチメデ
ィアアプリケーションが作成可能となった。

【００７４】４．４ メディア間同期の実現 この情報処理装置では同期をとりメディアデータは、単
一のストリームにインターリーブして転送している。ま
た、ネットワークプロトコルとしてＴＣＰ／ＩＰを用い
ているため、パケットの順序は保証される。さらに、複
数のメディアデータの取り込みを同時に行い、インター
リーブしてデータ送信時に同期を保証できれば、データ
受取側でも複数のメディアデータの同期はとれているも
のと仮定できる。実際この方法で単一ネットワーク上に
て転送した音声と動画のメディアデータの同期は満足の
いく結果となった。

【００７５】４．５ 遅延との関係 上述の実装では、ネットワークプロトコルとしてオペレ
ーティングシステムのＵＮＩＸで標準的なＴＣＰ／ＩＰ
を用いている。ここで、図８に示すように、メディアデ
ータを直接送ることの出来る環境では、送信側と受信側
のバッファの制御を情報処理装置が行うことができ、細
かな流量制御が行える。

【００７６】以下、図１に戻って、上述したようなこと
を具体的に実現する本発明実施例の通信システムについ
て説明する。

【００７７】図１において、マイクロホン１やビデオカ
メラ２からの音声信号や映像信号（動画信号）は、それ
ぞれ対応するＡ／Ｄ変換回路６５，６６に送られて、Ａ
／Ｄ変換される。Ａ／Ｄ変換回路６５からの音声データ
は、音声データ圧縮回路６７に送られ、ここで前述した
ように音声の圧縮方式として例えばＧ．７１１，Ｇ．７
２１，Ｇ．７２２，Ｇ．７２８などのうちのいずれかを
用いた圧縮が施される。また、上記Ａ／Ｄ変換回路６６
からの映像データは、後述のフレームバッファ６８を介
して映像データ圧縮回路６９に送られ、ここで前述した
ように動画の圧縮方式として例えばＪＰＥＧ，Ｈ．２６
１，ＭＰＥＧなどのうちのいずれかを用いた圧縮が施さ
れる。

【００７８】これら圧縮回路６７，６９からの圧縮され
た音声データと映像データは、マルチプレクサ５によっ
てマルチプレクスされ、その後データバッファメモリ
（例えばＦＩＦＯメモリ）６を介してネットワーク送信
部７に送られ、当該ネットワーク送信部７から例えばイ
ーサネットなどのネットワーク８を経て、受信側９１の
ネットワーク受信部１１に送られる。

【００７９】また、この図１の通信システムにおいて
は、入力端子８９には上記音声や動画を除く信号として
例えばテキストデータやプログラムデータ，数値デー
タ，他のバイナリデータ等が供給される。これらデータ
は、データ処理回路９４において例えば誤り訂正符号が
付加される等の処理が施された後、マルチプレクサ５を
介し、さらにネットワーク送信部７から出力されるよう
にもなっている。

【００８０】当該受信側９１のネットワーク受信部１１
で受信したデータは、分離回路１２によって上記圧縮さ
れた音声データと映像データとに分離され、それぞれ対
応する音声データバッファメモリ（ＦＩＦＯメモリ）１
３と映像データバッファメモリ（ＦＩＦＯメモリ）１４
に送られる。

【００８１】また、バッファメモリ内容量測定回路２０
は、映像データバッファメモリ１４の書き込みアドレス
及び読み出しアドレスから当該メモリ１４の内容量の測
定を行い、その測定結果（後述する測定値Ｖ）を演算判
断回路８１に送る。当該演算判断回路８１は、上記測定
回路２０からのメモリ１４の内容量測定結果から上記映
像データバッファメモリ１４の内容量が上記上限（後述
するＶｍａｘ）を越えたことが検出されると、その旨の
信号を制御信号としてネットワーク送信部７３を介して
送信側９１に送る。

【００８２】さらに、上記演算判断回路８１では、上記
測定回路２０からのメモリ１４の内容量測定結果（後述
する測定値Ｖ）から映像データバッファメモリ１４の内
容量が上記下限（後述するＶｍｉｎ）を下回ることが検
出されると、映像が途切れるおそれがあるので、その旨
（下限を下回った旨）の信号を制御信号としてネットワ
ーク送信部７３を介して送信側９０に送る。

【００８３】ここで、上記バッファメモリ内容量測定回
路２０及び演算判断回路８１においては、図９に示すよ
うなフローチャートによって、映像データバッファメモ
リ１４の内容量を測定し、上記制御信号を生成するよう
にしている。

【００８４】この図９において、ステップＳ１１では、
映像データのバッファメモリ１４の内容量の測定値Ｖ
（単位は再生時間）を求める。なお、上記測定値Ｖは以
下の式で求める。 Ｖ＝（バッファ読み出しアドレス）−（バッファ書き込
みアドレス）

【００８５】次のステップＳ２では、当該測定値Ｖと映
像データのバッファメモリ１４の内容量の適正範囲の上
限値ＶｍａｘとからＶ＞Ｖｍａｘを判定し、ノーと判定
した場合にはステップＳ３２に進み、逆にイエスと判定
した場合にはステップＳ３５に進む。

【００８６】上記ステップＳ３５では、送信側９０に対
して、Ｖ＞Ｖｍａｘである旨を表す信号を制御信号とし
て送り、その後ステップＳ１１に戻る。

【００８７】また、上記ステップＳ１２でノーと判断さ
れてステップＳ３２に進むと、このステップＳ３２で
は、上記測定値Ｖと映像データのバッファメモリ１４の
内容量の適正範囲の下限値ＶｍｉｎとからＶ＜Ｖｍｉｎ
を判定する。当該ステップＳ３２で、ノーと判定した場
合にはステップＳ１１に戻り、イエスと判断した場合に
はステップＳ３６に進む。

【００８８】ステップＳ３６では、送信側９０に対して
Ｖ＜Ｖｍｉｎである旨を表す信号を制御信号として送
り、その後ステップＳ１１に戻る。

【００８９】なお、映像データのバッファメモリ１４の
内容量の適正範囲の適正値をＶｓｔａとすると、上記上
限値Ｖｍａｘと上記適正値Ｖｓｔａと下限値Ｖｍｉｎと
の関係はＶｍｉｎ＜Ｖｓｔａ＜Ｖｍａｘとなる。

【００９０】上記受信側９１からの制御信号は、送信側
９０のネットワーク受信部７２にて受信され、取り込み
周期指定回路７１に送られる。当該取り込み周期指定回
路７１は、上記制御信号に基づいて、フレーム取り込み
クロック発生回路７０を制御する。当該フレーム取り込
みクロック発生回路７０は、上記取り込み周期指定回路
７１からの信号を受けると、フレームバッファ６８にお
いてコマ落とし数を可変させるようなフレーム取り込み
クロックを発生する。ここで例えば、コマ落としを行う
（若しくはコマ落とし数を増やす）ことで、送信する映
像データの量を減らすことができき、コマ落としを行わ
ないか若しくはコマ落とし数を減らすことで送信する映
像データの量を増やすことができる。

【００９１】すなわち、上記送信側９０では、上記受信
側９１からの制御信号によって図１０に示すようなフロ
ーチャートの処理を行う。

【００９２】この図１０において、ステップＳ４１では
受信側９１からの制御信号を受ける。

【００９３】次のステップＳ４２では、受信した制御信
号がＶ＞Ｖｍａｘを表す信号か否かを判断し、当該Ｖ＞
Ｖｍａｘを表す信号であると判断した場合には、ステッ
プＳ４３に進み、否と判断した場合にはステップＳ４４
に進む。

【００９４】ステップＳ４３では、上記取り込み周期指
定回路７１が、フレーム取り込みクロック発生回路７０
に対して、フレームバッファ６８におけるフレームの取
り込みクロックの周期をＰだけ長くさせるように制御す
る。このステップＳ４３の後はステップＳ４１に戻る。
なお、このＰの値は、例えば１％とする。

【００９５】一方、上記ステップＳ４２においてノーと
判断された場合のステップＳ４４では、上記受信した制
御信号がＶ＜Ｖｍｉｎを表す信号か否かを判断し、当該
Ｖ＜Ｖｍｉｎを表す信号であると判断した場合には、ス
テップＳ４５に進み、否と判断した場合にはステップＳ
４１に戻る。

【００９６】ステップＳ４４では、上記取り込み周期指
定回路７１が、フレーム取り込みクロック発生回路７０
に対して、フレームバッファ６８におけるフレームの取
り込みクロックの周期をＰだけ短くさせるように制御す
る。このステップＳ４４の後はステップＳ４１に戻る。
なお、このＰの値は、例えば１％とする。

【００９７】これにより、本実施例の通信システムにお
いては、受信側９１の映像データバッファメモリ１４の
内容量が多くなって当該映像データバッファメモリ１４
における入力から出力までの時間遅れ及び時間のずれが
適正な値を越えるようになっても、当該時間送り及び時
間のずれを適正な値に回復することができ、また、映像
データバッファメモリ１４の内容量が少なくなって映像
が途切れるおそれがでてきても、当該映像の途切れを防
ぐことができるようになる。

【００９８】また、受信側９１において、音声データバ
ッファメモリ１３や映像データバッファメモリ１４から
読み出された音声データと映像データは、それぞれ対応
する伸張処理及びＤ／Ａ変換を施す伸張Ｄ／Ａ変換回路
１８，１９に送られる。これら伸張Ｄ／Ａ変換回路１
８，１９では、前記Ａ／Ｄ変換圧縮回路３，４での各圧
縮処理に対応する伸張処理がそれぞれ施され、その後Ｄ
／Ａ変換して出力する。

【００９９】上記伸張Ｄ／Ａ変換回路１８からの音声信
号はスピーカ２７に送られ、上記伸張Ｄ／Ａ変換回路１
９からの映像信号はモニタディスプレイ２４に送られ
る。

【０１００】また、上記図１の構成では、送信側９０に
おいて映像のコマ落とし数を可変することで、上記映像
データバッファメモリ１４における入力から出力までの
時間遅れ及び時間のずれを適正な値に回復したり、映像
の途切れを防ぐようにしているが、例えば、送信側９０
から受信側９１に送る画像の画質を選択することでも同
様のことを行うことができる。

【０１０１】すなわち、この画質を選択する場合には、
例えば、フレームバッファ６８において取り込む各画素
データを間引くことで送信するデータ量を減らしたり、
逆に間引きを行わないようにすることで画質を確保す
る。この場合、受信側９１では、画素データを間引いた
ときには、例えば補間等の処理を行って画像を復元す
る。

【０１０２】また、この図１の通信システムにおいて、
受信側９１の上記分離回路１２に供給された受信信号
は、当該分離回路１２を介して前記検出回路２５にも送
られる。当該検出回路２５では、上記受信信号から音声
及び動画の信号を除く信号として例えばテキストデータ
やプログラムデータ，数値データ，他のバイナリデータ
のような信号を検出する。

【０１０３】この検出回路２５において上記音声や動画
の信号を除くデータを検出すると、当該検出回路２５か
らは、上記分離回路１２に対して検出信号が出力され
る。上記分離回路１２は、上記検出回路２５からの検出
信号が供給されると、上記受信信号から当該検出信号に
応じたデータのみを分離して、データ処理回路２６に送
る。

【０１０４】当該データ処理回路２６では、供給された
データに対して所定の処理を施した後、出力端子から出
力する。なお、上記所定の処理としては、例えば誤り訂
正処理等を挙げることができる。

【０１０５】このように、本実施例の受信側９１におい
ては、上記検出回路２５を有し、上記分離回路１２が当
該検出回路２５からの検出信号に応じて、受信信号から
音声や動画を除くデータを分離することによって、これ
ら音声や動画を除くデータに応じた処理を行うことが可
能となっている。

【０１０６】また、本実施例の受信側９１の分離回路１
２において分離された音声と映像のデータも、上記検出
回路２５に送られる。

【０１０７】このときの上記検出回路２５では、音声デ
ータに対しては例えば人間の聴覚特性を考慮して当該音
声データから低域の部分を検出したり、人間の声の部分
のように特に重要な音声部分を検出したりする。また、
映像データに対しては例えば人間の視覚特性を考慮して
当該映像データから特に視覚的に重要な映像部分を検出
したり、映像内容で特に重要な部分を検出したりする。
この検出回路２５からは、上記演算判断回路８１に対し
て上記映像データと音声データの各々に対応する検出信
号が送られる。

【０１０８】上記演算判断回路８１では、上記検出回路
２５からの音声データに対応する検出信号を受けると、
音声データバッファメモリ１３に対して上記検出信号に
対応した音声部分が破棄されないような制御を行う。す
なわち、上記検出信号に対応する音声の重要な部分につ
いては、上記音声データバッファメモリ１３からそのま
ま後段の音声データの伸張Ｄ／Ａ変換回路１８に送られ
るような制御を行う。一方、これら重要な部分以外の音
声のデータに対しては、バッファメモリ１３の内容量が
例えば適正値を越えた場合に破棄することで当該バッフ
ァメモリ１３の内容量の適正化を図っている。

【０１０９】これによっても、本実施例の通信システム
の受信側９１では、上記バッファメモリ１３の入力から
出力までの時間遅れを適正値に回復させることができ、
また、上記音声の重要部分については破棄されないため
に、後のスピーカ２７から出力される音声は、高品質を
保つことができるようになる。

【０１１０】一方、演算判断回路８１では、上記検出回
路２５からの映像データに対応する検出信号を受ける
と、映像データバッファメモリ１４に対して上記検出信
号に対応した映像部分が破棄されないような制御を行
う。すなわち、上記検出信号に対応する映像の重要な部
分については、上記映像データバッファメモリ１４から
そのまま後段の映像データの伸張Ｄ／Ａ変換回路１９に
送られるような制御を行う。また、これら重要な部分以
外の映像のデータに対しては、バッファメモリ１４の内
容量が適正値を越えた場合に破棄することで当該バッフ
ァメモリ１４の内容量の適正化を図っている。

【０１１１】これによっても、本実施例の通信システム
の受信側９１では、上記バッファメモリ１４の入力から
出力までの時間遅れを適正値に回復させることができ、
また、上記映像の重要部分については破棄されないため
に、後のモニタディスプレイ２４に表示される映像は、
高品質を保つことができるようになる。

【０１１２】さらに、本発明の通信システムにおいて、
送信側９０から受信側９１に送る画像の画質を選択する
具体例としては、例えば図１１に示すように、映像デー
タ圧縮回路６９における圧縮率を可変する構成とするこ
ともできる。なお、この図１１において、前述した図１
と同様の構成要素には同一の指示符号を付してその詳細
な説明については省略する。

【０１１３】すなわちこの図１１において、送信部９０
では、上記受信部９１からの制御信号を、圧縮のパラメ
ータを指定する圧縮パラメータ指定回路８５で受ける。
この圧縮パラメータ指定回路８５は、上記制御信号に応
じて映像データ圧縮回路６９における圧縮率を可変す
る。例えば、圧縮率を高くすることで受信側９１に送る
映像データの量を減らすことができ、また、圧縮率を低
くすることで受信側９１に送る映像データの量を増やす
ことができる。言い換えれば、圧縮率を高くすることは
画質を落とすことであり、圧縮率を低くすることは画質
を高めることである。なお、この図１１のように映像デ
ータの圧縮率を可変した場合には、その圧縮パラメータ
を受信側９１に送る必要があり、受信側９１の伸張Ｄ／
Ａ変換回路１９ではこの圧縮パラメータに基づいて圧縮
された映像データの伸張を行うことになる。

【０１１４】また、図１１の構成では、音声データを圧
縮する音声データ圧縮回路６７に対しても同様に可変し
た圧縮パラメータを送るようにすれば、受信側９１の音
声データバッファメモリ１３の内容量の制御が可能とな
る。

【０１１５】次に、本発明の他の実施例の構成を図１２
に示す。

【０１１６】この図１２において、送信側ホストコンピ
ュータには、モニタディスプレイ４０とマイクロホン４
１とビデオカメラ４２が接続され、またネットワーク４
３を介して受信側ホストコンピュータと接続される。

【０１１７】当該送信側ホストコンピュータにおいて、
ＣＰＵ３０は、メインメモリ３１に保持されているプロ
グラムデータを用いて各部を制御すると共に、動画の画
質選択又はコマ落とし数を可変する可変手段及び上記可
変手段を制御する制御手段としての機能を備えている。
すなわち、このＣＰＵ３０は、前記図１の取り込み周期
指定回路７１及びフレーム取り込みクロック発生回路７
０やデータ処理回路９４と同様の機能をも有する。

【０１１８】ビデオカメラ４２からの映像信号は、Ａ／
Ｄ変換圧縮処理部３８によってＡ／Ｄ変換されると共に
前述したような映像データ用の圧縮処理が施され、バッ
ファメモリ３４に一時蓄えられる。さらに、このバッフ
ァメモリ３４は、前記動画信号を取り込む取り込み手段
としても動作するものである。なお、図１の実施例で
は、前記取り込み手段としてのフレームバッファ６８に
は圧縮前の映像データが取り込まれる例を挙げている
が、この図１２に示すバッファメモリ３４の例では圧縮
後の映像データを取り込むようにしている。

【０１１９】一方、マイクロホン４１からの音声信号
は、Ａ／Ｄ変換圧縮処理部３７によってＡ／Ｄ変換され
ると共に前述したような音声データ用の圧縮処理が施さ
れ、バッファメモリ３３に一時蓄えられる。

【０１２０】また、フレームメモリ３２には、例えばＣ
ＰＵ３０によって形成された映像フレームデータや、ビ
デオカメラ４２によって撮影された映像に基づく映像フ
レームデータが記憶される。当該フレームメモリ３２か
らの映像フレームデータは、ディスプレイインタフェー
ス３６を介してモニタディスプレイ４０に送られて表示
される。

【０１２１】さらに、上記バッファメモリ３３，３４に
蓄えられた圧縮された音声データと映像データは、例え
ばＣＰＵ３０によってマルチプレクスされた後にバッフ
ァメモリ３５に一旦蓄えられてから読み出される。当該
バッファメモリ３５から読み出されたデータは、ネット
ワークインタフェース３９に接続されたネットワーク４
３を介して、受信側ホストコンピュータに送られる。こ
のネットワークインタフェース３９が、前記図１のネッ
トワーク送信部７及びネットワーク受信部７２と同様の
機能を有している。

【０１２２】次に、受信側ホストコンピュータには、モ
ニタディスプレイ６１とスピーカ６２が接続され、さら
にネットワーク４３を介して送信側ホストコンピュータ
と接続される。

【０１２３】当該受信側ホストコンピュータにおいて、
ＣＰＵ５２は、メインメモリ５３に保持されているプロ
グラムデータを用いて各部を制御したり、また、各種の
演算を行う。また、このＣＰＵ５２は、前記図１のバッ
ファメモリ内容量の測定回路２０及び演算判断回路８１
や検出回路２５，データ処理回路２６としての機能をも
有している。

【０１２４】上記ネットワーク４３を介して上記送信側
ホストコンピュータから送られてきたデータは、ネット
ワークインタフェース５０を介してバッファメモリ５１
に一旦蓄えられた後、読み出される。なお、このネット
ワークインタフェース５０は、前記図１のネットワーク
受信部１１及びネットワーク送信部７３と同様の機能を
有するものである。

【０１２５】当該バッファメモリ５１から読み出された
受信データからは、例えばＣＰＵ５２によって上記圧縮
された音声データと映像データとが分離され、それぞれ
対応するバッファメモリ５４，５５に送られる。

【０１２６】バッファメモリ５４に送られた圧縮された
映像データは、当該バッファメモリ５４から読み出され
てデータ伸張処理部５６に送られて上記送信側ホストコ
ンピュータでの圧縮に対応する伸張処理がなされる。当
該伸張された映像データは、フレームメモリに蓄えられ
てフレームとなされ、ディスプレイインタフェース５８
を介してモニタディスプレイ６１に送られて表示され
る。

【０１２７】また、バッファメモリ５５に送られた圧縮
された音声データは、当該メモリ５５から読み出されて
データ伸張処理部５９に送られて上記送信側ホストコン
ピュータでの圧縮に対応する伸張処理がなされる。当該
伸張された音声データは、Ｄ／Ａ変換処理部６０によっ
てアナログの音声信号に変換された後、スピーカ６２に
送られる。

【０１２８】上述したように、本発明の各実施例によれ
ば、受信側は、送信側から送られてくる動画信号の取り
込み時間と再生する時間との差である測定値Ｖが、上限
（Ｖｍａｘ）内を越えたこと又は下限（Ｖｍｉｖ）内を
下回ったことを検出すると、これら上限と下限との間に
あるように画質又は単位時間内の送信コマ数を制御する
ための制御信号を送信側に送るようにし、受信側ではこ
の制御信号を受けて画質又は送信コマ数制御を行うこと
で、入力から出力までの時間遅れ及び時間のずれを適正
な値に回復し、また映像の途切れを防ぐことを可能とし
ている。

【０１２９】また、本実施例の通信システムにおいて
は、受信側９１にデータ検出回路２５を設け、このデー
タ検出回路２５によって受信信号が音声又は動画のうち
いずれかの信号を除くデータであることを検出したとき
には、データ処理回路２６においてそのまま処理するよ
うにしたことで、受信信号が例えばテキストデータなど
である場合に、データの内容が変化することを防いでい
る。

【０１３０】さらに、本実施例の通信システムにおいて
は、検出回路２５によって受信信号から音声，映像にお
いて特に重要な部分を検出したときには、演算判断回路
８１においてこれら重要な部分を除く他の部分を音声デ
ータバッファメモリ１３及び映像データバッファメモリ
１４に対して廃棄させることで、これらバッファメモリ
１３及び１４の入力から出力までの時間遅れを適正値に
回復させるようにし、上記特に重要な部分についてはそ
のまま処理することで、この部分の信号については破棄
されることを防いでいる。

【０１３１】

【発明の効果】上述のように本発明の通信システムにお
いては、受信側において、動画信号の取り込み時間と再
生する時間との差が第１の時間内を越えたこと及び／又
は第２の時間内を下回ったことを検出すると、第１の時
間と第２の時間との間に画質又は単位時間内の送信コマ
数を制御するための制御信号を送信側に送るようにし、
これを受けた送信側は、送信する動画信号から動画の画
質選択又はコマ落とし数を可変する制御を行うようにし
ているため、受信側におけるバッファ手段の入力から出
力までの時間遅れを適正値に回復させることができ、ま
た、映像の途切れを防ぐことが可能となる。

【０１３２】また、本発明の通信システムにおいては、
受信側に第３の検出手段を設け、この第３の検出手段に
よって受信信号が動画信号を除く信号であることを検出
したときにはそのまま処理することで、受信信号が例え
ばテキストデータやプログラムデータなどである場合
に、データの内容が変化することを防止できる。

【０１３３】さらに、本発明の通信システムにおいて
は、受信側にさらに第４の検出手段を設け、この第４の
検出手段によって受信信号の動画信号の所定の部分を検
出したときには、その所定の部分を除く他の部分を廃棄
することで、バッファ手段の入力から出力までの時間遅
れを適正値に回復させるようにし、その所定の部分につ
いてはそのまま処理することで、この所定の部分の信号
については破棄されることを防止できる。

【図面の簡単な説明】

【図１】本発明実施例の通信システムの送信側及び受信
側の概略構成を示すブロック回路図である。

【図２】本発明通信システムが適用される情報処理通信
システムの情報処理装置のモデルを示す図である。

【図３】マルチメディアデータの転送について説明する
ための図である。

【図４】ネットワークでつながれたホスト間のマルチメ
ディアデータの転送について説明するための図である。

【図５】システム全体における情報処理装置の位置付け
について説明するための図である。

【図６】無圧縮の場合の送受信バッファサイズと転送遅
延、効率の関係を示す特性図である。

【図７】ＪＰＥＧ圧縮の画像の送受信バッファサイズと
転送遅延、効率の関係を示す特性図である。

【図８】情報処理装置と遅延との関係を説明するための
図である。

【図９】本実施例通信システムの受信側における映像デ
ータバッファメモリの内容量測定とこの測定値が上限を
越えた旨又は下限を下回った旨を示す制御信号の出力の
処理を説明するためのフローチャートである。

【図１０】本実施例通信システムの送信側における画質
選択又はコマ落とし制御の処理を説明するためのフロー
チャートである。

【図１１】本実施例の通信システムの送信側における画
質選択を行う具体的構成を示すブロック回路図である。

【図１２】本発明の他の実施例の送信側ホストコンピュ
ータと受信側ホストコンピュータの概略構成を示すブロ
ック回路図である。

【図１３】従来の送信側と受信側からなる通信システム
の概略構成を示すブロック回路図である。

【符号の説明】

１，４１・・・マイクロホン ２，４２・・・ビデオカメラ ５・・・マルチプレクサ ６・・・データバッファメモリ ７，７３・・・ネットワーク送信部 ８・・・ネットワーク ９，７２・・・ネットワーク受信部 １２・・・分離回路 １３・・・音声データバッファメモリ １４・・・映像データバッファメモリ ２０・・・バッファメモリ内容量測定回路 １８・・・音声データの伸張Ｄ／Ａ変換回路 １９・・・ビデオデータの伸張Ｄ／Ａ変換回路 ２４，４０，６１・・・モニタディスプレイ ２５・・・検出回路 ２６・・・受信側のデータ処理回路 ２７，６２・・・スピーカ ３０・・・ＣＰＵ ３１，５３・・・メインメモリ ３２，５７・・・フレームメモリ ３３，３４，３５，５１，５４，５５・・・バッファメ
モリ ３６，５８・・・ディスプレイインタフェース ３７・・・音声データＡ／Ｄ変換圧縮部 ３８・・・動画データＡ／Ｄ変換圧縮部 ５６・・・音声データ用データ伸張部 ５９・・・映像データ用データ伸張部 ６０・・・音声データＤ／Ａ変換部 ６５，６６・・・Ａ／Ｄ変換回路 ６７・・・音声データ圧縮回路 ６８・・・フレームバッファ ６９・・・映像データ圧縮回路 ７０・・・フレーム取り込みクロック発生回路 ７１・・・取り込み周期指定回路 ８１・・・演算判断回路 ９０・・・送信側 ９１・・・受信側 ９４・・・送信側のデータ処理回路

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｍ 11/06 8324−5Ｋ Ｈ０４Ｎ 1/41 Ｚ (72)発明者 田辺 充 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 動画信号を、送信側で取り込む時間と受
   信側で再生する時間との差が所定時間以内である実時間
   の通信システムにおいて、 送信側は、動画信号を取り込む取り込み手段と、動画の
   画質を選択又はコマ落とし数を可変する可変手段と、上
   記可変手段を制御する制御手段と、上記制御手段への受
   信側からの制御信号が入力される制御信号入力手段とを
   備え、 受信側は、送信された動画信号を取り込む取り込み手段
   と、動画信号を再生する再生手段と、動画信号の取り込
   み時間と再生する時間との差が上限としての第１の時間
   内であることを検出する第１の検出手段と、動画信号の
   取り込み時間と再生する時間との差が下限としての第２
   の時間内であることを検出する第２の検出手段と、信号
   をバッファリングするバッファ手段と、信号の取り込み
   時間と再生する時間との差が上記第１の時間内を越えた
   こと及び／又は上記第２の時間内を下回ったことを検出
   したときに、上記信号の取り込み時間と再生する時間と
   の差を上記第１の時間と第２の時間との間となすために
   上記送信側に対して画質又は単位時間内の送信コマ数を
   制御するための制御信号を送る制御信号送信手段とを備
   えてなることを特徴とする通信システム。
2. 【請求項２】 受信側には受信信号が動画信号を除く信
   号であることを検出する第３の検出手段を設け、受信側
   では動画信号を除く信号をも受信すると共に、上記第３
   の検出手段によって受信信号が動画信号を除く信号であ
   ることを検出したときには、当該動画信号を除く信号を
   そのまま処理することを特徴とする請求項１記載の通信
   システム。
3. 【請求項３】 受信側には動画信号の所定の部分である
   ことを検出する第４の検出手段を設け、 受信側では、上記第４の検出手段によって上記動画信号
   の所定の部分を検出したときには、当該所定の部分のみ
   をそのまま処理し、他の部分を廃棄することを特徴とす
   る請求項１又は２記載の通信システム。