JPH11163934A

JPH11163934A - 伝送システム及び伝送装置及び受信装置及び実時間動画像及び音声送信システム及び装置及びその制御方法及び記憶媒体

Info

Publication number: JPH11163934A
Application number: JP9326408A
Authority: JP
Inventors: Koichi Ueda; 浩市上田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-11-27
Filing date: 1997-11-27
Publication date: 1999-06-18

Abstract

(57)【要約】【課題】実時間に転送される符号化された動画像デー
タ及び符号化された音声データを１つのビットストリー
ムに時分割多重せずにそれぞれ別のストリームとしてネ
ットワークに送出し、少なくとも音声についての信頼性
を高くする。【解決手段】送信側装置では音声、動画を符号化回路
１、２で符号化し、音声データについてはそのままネッ
トワークを介して受信側に送信する。また、動画データ
は複数のパケットにして順次送信する。受信側装置のコ
ントロール回路６は、予め送信側から指示された通信条
件によって受信するべき音声データ及び動画像データの
時期が分かっているので、その時期（タイマ９、１０に
より計時する）になっても音声データを受信できない場
合には再送要求を出し、動画の場合には再送要求を出さ
ずに、正常受信したとしてＡｃｋを送信側に通知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は汎用コンピューター
ネットワークを用いた実時間でのデータ伝送に好適なシ
ステム及び装置及びその制御方法及び記憶媒体に関する
ものである。

【０００２】

【従来の技術】一般に、動画像符号化処理を用いた実時
間動画像及び音声伝送は図１２のブロック構成の装置間
で行われる。送信側装置では、音声及び画像データをそ
れぞれエンコード回路にて符号化した後、多重化回路に
て時分割多重し、送信回路へ送出する。ここで、多重化
回路及び送信回路は例えば図１３（ａ）に示すような形
で符号化された音声データと符号化された画像データを
時分割多重した後、ネットワークに適合する形に細分化
（同図（ｂ））し、ネットワークヘと送出する。

【０００３】受信側ではネットワークから受け取った細
分化されたストリームデータを元の時分割多重されたス
トリームデータに戻した後、音声符号化データと映像符
号化データとに分離し、それぞれの復号化回路に渡し、
音声データ及び映像データに復号化する。そして、復号
化されたデータが音声であれば所定の処理を行なってス
ピーカーから、映像であれば表示に際する処理を行なっ
て表示装置に出力することになる。

【０００４】また、一般にコンピューターで用いられて
いるネットワークでのデータ伝送は、伝送の信頼性を確
保するためにいくつかの手続きが決められている。例え
ば、コンピューターの世界で一般的に用いられているＴ
ＣＰ／ＩＰプロトコルでは図１４に示すような送信パケ
ットに対する確認応答が定義されていて、確認応答が得
られなかったパケット“Ｘ”に対しては送信側にて再送
という手続きがとられる。またネットワークの効率のた
め図１５に示すようなスライディングウィンドウといっ
た技術も導入されている。これは確認応答が得られない
うちにでも複数のパケットをネットワーク上に送出して
もよいといった技術でネットワーク帯域の有効活用に貢
献している。

【０００５】

【発明が解決しようとする課題】しかしながら、上記実
時間動画像及び音声伝送装置では信頼性の高いネットワ
ーク環境では問題がないが、コンピューターで主に用い
られているローカルエリアネットワーク（ＬＡＮ）の様
な不特定多数が共有するネットワーク環境では以下に述
べるような問題を有している。

【０００６】つまり、これらの信頼性を確保し、かつ帯
域の有効活用をはかるネットワーク上で何らかのエラー
が発生した場合、特に実時間で動画像及び音声を伝送し
ようとした場合には大量のデータの再送を引き起こすと
言った問題が発生する。

【０００７】例えば、先の図に示したようなＶｉｄｅｏ
ＣＤフォーマットで動画像及び音声データをパックし、
ネットワークを用いて送信しようとした場合、ＧＯＰパ
ターンをＩＢＢＰの１５フレーム、伝送レートを１．５
Ｍｂｐｓとすると１つのＧＯＰを送信するためには約４
２のパックが必要であり、ネットワークのフレームでは
約８４のフレームが必要になる。これらのフレームの中
のどこに音声データが含まれているかは受信したフレー
ムをパックに戻した後パック内のパケットを分離しなけ
ればわからない。また、再送の発生は送信側及びネット
ワーク上のデータ伝送条件をさらに悪化させる結果とな
り、また受信側においてはデータの滞りにより音声及び
映像がとぎれると言った問題となって現れる。

【０００８】本発明は、第１、第２のデータをリアルタ
イムに転送する場合において、少なくとも第２のデータ
についての信頼性を高くすることを可能ならしめる伝送
システム及び伝送装置及び受信装置及び記憶媒体を提供
しようとするものである。

【０００９】また、他の本発明は実時間に転送される符
号化された動画像データ及び符号化された音声データを
１つのビットストリームに時分割多重せずにそれぞれ別
のストリームとしてネットワークに送出し、少なくとも
音声についての信頼性を高くすることを可能ならしめる
実時間動画像及び音声送信システム及び装置及びその制
御方法及び記憶媒体を提供しようとするものである。

【００１０】

【課題を解決するための手段】この課題を解決するた
め、例えば本発明の伝送システムは以下の構成を備え
る。すなわち、夫々リアルタイムデータである、組み合
わせれ再生されるべき第１データ及び第２データをパケ
ット形式に、ネットワークを介して他の装置に送信する
送信側装置及びそれを受信する受信側装置で構成される
システムであって、前記送信側装置は、前記受信側装置
から、正常受信したことを示す情報を受信する限りは、
第２データの第１の所定数のパケットに対し、複数の第
１のデータの所定数の第２のパケットを前記ネットワー
クを介して前記受信側装置に送信する送信手段と、前記
受信側から再送要求があった場合に、該当するデータの
パケットを再送する再送手段とを備え、前記受信側装置
は、直前の第２のデータのパケットを受信してから第１
の許容時間内に該第２のデータに続く第２のデータのパ
ケットを受信した場合、或いは、直前の第１のデータの
パケットを受信してから第２の許容時間内に該第１のデ
ータに続く第１のデータのパケットを受信した場合、前
記送信側装置に正常受信したことを示す情報を返信する
第１の応答手段と、前記第１の許容時間経過後なっても
次の第２のデータのパケットを受信しない場合に、前記
送信側装置に再送要求を発する第２の応答手段とを備え
る。

【００１１】また、他の発明の実時間動画及び音声送信
システムは以下の構成を備える。すなわち、動画像デー
タ及び音声データをパケット形式に実時間で、ネットワ
ークを介して他の装置に送信する動画像及び音声伝送す
る送信側装置及びそれを受信する受信側装置で構成され
るシステムであって、前記送信側装置は、前記受信側装
置から、正常受信したことを示す情報を受信する限り
は、音声データのパケット１つに対し、複数の動画像デ
ータのパケットを前記ネットワークを介して前記受信側
装置に送信する動画像送信手段と、前記受信側から再送
要求があった場合に、該当するデータのパケットを再送
する再送手段とを備え、前記受信側装置は、直前の音声
データのパケットを受信してから第１の許容時間内に次
の音声データパケットデータを受信した場合、或いは、
直前の動画像データのパケットを受信してから第２の許
容時間内に次の動画像データのパケットを受信した場
合、前記送信側装置に正常受信したことを示す情報を返
信する第１の応答手段と、前記第１の許容時間以上にな
っても次の音声データのパケットを受信しない場合に、
前記送信側装置に再送要求を発する第２の応答手段と、
前記第２の許容時間時間以上になっても次の動画データ
のパケットを受信しない場合に、当該動画像データのパ
ケットを受信したものとし、前記送信側に正常受信した
ことを示す情報を返信する第３の応答手段とを備える。

【００１２】

【発明の実施の形態】以下、添付図面に従って本発明に
係る実施形態を詳細に説明する。

【００１３】尚、以下の説明から明らかになるが、実施
形態では、先ず、動画及び音声データを送信する側では
送信しようとしているデータの時間間隔（ＧＯＰパター
ン）、ビットレート、ネットワークフレーム数を受信側
に送信する。受信側では送信側より送られた時間間隔等
の情報を元に音声情報を受け取るであろう時間間隔をカ
ウントするタイマと、動画情報を受け取るであろう時間
間隔を保持するタイマの２つのタイマと、ネットワーク
で受け取るパケット数を保持するパケットカウンタの初
期化を行う。その後、送信側は先に送った情報に基づい
た時間間隔で音声データを送出し、また、動画像データ
を送出する。ネットワークが混雑していない場合にはこ
れらのデータは受信側に問題なく届けられるが、ネット
ワークが混雑している場合には、一部データがネットワ
ーク上で喪失或いは時間内に到達しない場合が発生す
る。この場合にも、先に設定した２つのタイマ及びパケ
ットカウンタにより、音声データが受信されない場合に
は再送要求を送信側に送信し、また、動画データが受信
されない場合にはタイマが示す一定時間ごとにＡｃｋを
強制的に送信し、かつエラー処理として例えば受信に成
功したときの画像データを表示し続けるといった対策を
行うものである。

【００１４】図１は実施形態におけるシステムブロック
構成図であり、送信側装置と受信側装置におけるそれぞ
れの機能ブロック図を示している。

【００１５】送信側装置では、例えばカメラから得られ
る動画像信号とマイクから得られる音声信号を各々の符
号化回路１、２にて符号化データに変換する。符号化さ
れた音声及び画像データは送信側コントロール回路３に
渡され、図２（ａ）の様に音声データは音声データのみ
で小さな固まりのまま、動画像データは適当な大きさの
固まり（パック）にした後、送信回路４に送出する。送
信回路４はネットワークの規格に適合する形で例えば図
２（ｂ）の様に、必要とあればさらにいくつかのブロッ
クに分割してネットワーク上に送出する。

【００１６】その後、送信側コントロール回路３は送信
回路４から得られる送信状態を元に音声データの到達確
認がなされない場合（再送要求が受信された場合）には
図３に示すように再送処理を実行する。

【００１７】送出された音声データ及び画像データは受
信側装置の受信回路５にて受信され、受信側コントロー
ル回路６を経由して音声復号回路７及び動画像復号回路
８にて復号され最終的に出力される。

【００１８】ここで、受信側コントロール回路６では先
に受信した送信情報（ＧＯＰパターン、送信間隔、ビッ
トレート、フレーム数等）を基に設定されているタイマ
９及び１０、カウンタ１１をチェックし、音声データの
受信間隔（タイマ９で計時される）が受信間隔＋α（＞
０）以内に受信されなかった場合（図３）には送信側に
再送要求を送信する。一方、図４のように動画像データ
が送信間隔及びビットレートから計算される受信間隔＋
β（＞０）以内に受信されなかった場合、コントロール
回路６は、強制的にＡＣＫを送信側に送出する（正常に
受信したものとしてＡＣＫを返す）と共に、動画像復号
回路８にエラー信号を渡す。動画像復号回路８はこのエ
ラー信号を受け取った場合には、直前の画面を維持す
る。尚、タイマ９は音声データの受信間隔をチェックす
るためのものであり、タイマ１０は動画データの受信間
隔をチェックするためのものである。

【００１９】以上のようにするのは、例えば動画の場合
には、設定した時間内（受信間隔＋β）に受信しなかっ
たとしても、それは連続する動画を構成するほんの一瞬
のフレームについてであるからである。つまり、直前の
映像を表示しつづけても（フリーズしても）、それはほ
んの一瞬であって人間の視覚にはさほど影響がないから
である。

【００２０】一方、音声についてであるが、双方の装置
にカメラ及びマイクを設けたシステムを構築する場合に
は、会話がとぎれたりするのは問題がある。理由は、映
像のように直前の出力状態を維持しても、受信できなか
った音声データを再生しなければ話者の意図が相手に伝
わらないからである。

【００２１】送信側の動作は、先に説明したようにデー
タを送信し、再送要求があった場合にのみ該当するデー
タを再送する処理を行なえば良いので、ここでの説明は
省略し、受信側のコントロール回路６の状態遷移を図５
に示し、説明する。尚、以下の説明において、タイマ
９、１０にセットした時間が経過した場合には、それぞ
れの割り込みを行なうものである。

【００２２】図５で、受信側コントロール回路は送信側
より送信される伝送条件に従い、タイマ９、タイマー１
０、カウンター１１を設定し、「Ｉｄｌｅ」状態に入
る。この状態は音声データを受信するまで維持され、そ
れ以外のデータを受信した場合には受信内容を破棄（無
視）する。音声データを受信するとコントロール回路６
の状態は「ＡＲｅｃｅｉｖｅ」状態へと移行する。こ
の状態ではタイマー９およぴタイマー１０をクリアー
し、動画伝送に要する受信パケット数を保持するカウン
ターにパケット数をセットし、動画復号回路８に受信エ
ラーが発生していないことを示すフラグ（Ｅｒｒｏｒ
ｍｅｓ）をクリアーする。つまり、この時点でタイマ
９、１０がその計時を開始することになる。また、送信
側に対し音声データを受け取った旨の返事（Ａｃｋ）を
送信し、「ＶｉｄｅｏＷａｉｔ」状態に移行する。

【００２３】「ＶｉｄｅｏＷａｉｔ」状態ではフラグ
（Ｅｒｒｏｒｍｅｓ）と送信側から送られてくる動画
データの時間をチェックし、タイマ１０で設定されてい
る時間内に動画データパケットが受信された場合には
「ＮｏｒｍａｌＰｒｏｃ」状態に移行する。ここで
は、受信された動画データを元のパックの状態に戻した
後、動画像復号回路８にデータを渡し、タイマ１０をク
リアし、カウンター値を１つ減らす。そして、送信側に
対し動画データを正常に受け取った旨の返事（Ａｃｋ）
を送信した後、元の状態ＶｉｄｅｏＷａｉｔに戻る。

【００２４】これ以降、「ＶｉｄｅｏＷａｉｔ」状態
において、タイマ１０の値が設定値以下であって、カウ
ンターの値が０以外の場合には、その状態を維持し、次
の動画データの受信に備える。

【００２５】また、もし、カウンタ１１の値が０以外で
あって、タイマ１０の値が設定値以上になっても画像デ
ータを受信しない場合には、「ＶｉｄｅｏＷａｉｔ」
状態から「ＶＥｒｒｏｒ」状態に移行する（Ｔｉｍｅｒ
１０Ｉｎｔの割り込み発生）。

【００２６】この「ＶＥｒｒｏｒ」状態では、タイマ１
０をクリアーし、該当する動画パケットを受け取ったも
のとしてカウンター値を１つ減らす。そして、動画像復
号回路８に直前の画像の表示を維持するよう指示するた
め、フラグＥｒｒｏｒｍｅｓをセットすると共に、送
信側には正常に受信したかの如く、Ａｃｋを送信し、
「ＶｉｄｅｏＷａｉｔ」状態に戻る。

【００２７】こうして、カウンタ１１の値が０になる
と、「Ｉｄｌｅ」状態に進むことになる。ここで注目す
る点は、タイマ９は、先に説明したように「ＡＲｅｃ
ｅｉｖｅ」状態でクリアした時点から計時を続けている
ことである。もし、タイマ９の値が設定された時間を越
えてしまうと、「Ｉｄｌｅ」状態から「ＡＥｒｒｏ
ｒ」状態へと移行する（Ｔｉｍｅｒ９Ｉｎｔの割り込
み発生）。「ＡＥｒｒｏｒ」状態では、タイマ９をク
リアすると共に、送信側に音声の再送要求を出し、「Ｉ
ｄｌｅ」状態に戻す。

【００２８】図６は、システムの具体的な構成を示して
いる。図示のシステムは、例えばネットワークに接続さ
れた２台の情報処理装置１０００、２０００（例えばパ
ーソナルコンピュータ）で構成され、所謂、テレビ会議
システムを構成する。

【００２９】先に説明した例は、一方が送信側で片方が
受信側装置として説明したが、図示の装置１０００及び
２０００のそれぞれは送信側及び受信側の両方として機
能することになる。１００〜１１１と２００〜２１１は
同じであるので、ここでは装置１０００について説明す
る。

【００３０】１００は装置全体の制御を司るＣＰＵ、１
０１はブートプログラムやＢＩＯＳ等を記憶しているＲ
ＯＭ、１０２はメインメモリとして機能するＲＡＭであ
る。１０３はＯＳやテレビ会議システムとして機能する
ためのアプリケーションプログラムを格納しているハー
ドディスクである。１０４はネットワークインタフェー
スであって、例えばイーサネットに接続するためのカー
ドである。１０５はキーボード、１０６はマウス、１０
７は表示装置である。１０８はビデオカメラ１０９で撮
影された映像をキャプチャし、符号化データを生成する
キャプチャ部である。１１０はマイク１１１からの音声
信号を符号化する音声入力部である。１１２は音声信号
を復号化し、スピーカ１１３に出力する音声出力部であ
る。１１４ａ，１１４ｂはタイマであって、先に説明し
たタイマ９、１０として機能させるものである。尚、カ
ウンタ１１はＣＰＵ１００内のレジスタもしくはＲＡＭ
１０２に確保された変数で代用する。

【００３１】上記構成において、装置１０００、２００
０に電源が投入され、それぞれが音声・動画転送処理を
行なうプログラムと受信した音声及び動画を表示するプ
ログラムを起動させるとテレビ開始システムが構築され
ることになる。

【００３２】装置１０００の送信処理を図７、図８のフ
ローチャートに従って説明する。

【００３３】まず、ステップＳ１では、接続の初期段階
での処理、すなわち、相手先の装置２０００に対して音
声及び動画の伝送条件（符号化音声データの転送周期、
符号化動画データのパケットの転送周期とそのパケット
数）を送信する。

【００３４】この後、ステップＳ２、Ｓ３、Ｓ４に進
み、その条件に従って動画を構成する各映像フレームの
キャプチャと音声入力を行なわせるべく、キャプチャ部
１１０及び音声入力部１１０を制御して、それぞれの符
号化データを入力する。

【００３５】先に説明したように音声符号化データにつ
いてはそのまま転送し、動画符号化データについては所
定の大きさの固まりにパックした後、音声データパケッ
ト、動画データパケット、動画データパケット…動画デ
ータパケット（設定したパケット数）、音声データ…と
転送する。

【００３６】この間、転送先である装置２０００からＡ
ｃｋ情報もしくは再送要求を受信するので、Ａｃｋを受
信したら転送を継続することになる。

【００３７】また、再送要求を受信したら、図８の割り
込み処理を行なう。具体的には、ステップＳ５で送信済
みの音声データの中で最新の音声データのパケットを再
送する。

【００３８】上記の説明から明らかなように、再送要求
を受けるのは、音声データパケットのみになるので、転
送済みの音声データパケットの中で最も新しいものを再
送すれば良い。すなわち、装置２０００は単純に再送要
求を発行すればよく、その再送して欲しいデータを特定
する情報は不要である。

【００３９】一方、装置１０００は装置２０００からも
音声データと動画像データのパケットを受信し再生出力
する。

【００４０】この場合の処理を図９に従って説明する。

【００４１】まず、ステップＳ１１において、装置２０
００から転送されてくる通信条件を受信する。次のステ
ップＳ１２では、受信した通信条件に従いタイマ１１４
ａ、１１４ｂが計時する許容時間を決定し、カウンタ
（ＣＰＵ１００のレジスタを用いるものとする）に与え
る初期値を決定する。

【００４２】ステップＳ１３に進むと、まず、音声デー
タパケットを受信し、それを再生出力すべく音声出力部
１１２に出力する。また、ステップＳ１４でタイマ１１
４ａ，１１４ｂをゼロクリアし、カウンタに先に決定さ
れた初期値をセットする。

【００４３】次いで、ステップＳ１５に進み、動画像デ
ータパケットを受信するのを待ち、それが受信できたら
再生処理を行なう。そして、ステップＳ１６でカウンタ
を“１”ディクリメントし、タイマ１１４ｂをゼロクリ
アする。この後、ステップＳ１７において、カウンタの
値が“０”になるまでステップＳ１５、１６を繰り返
す。カウンタが“０”になると、次に音声データパケッ
トを受信する時期になるのでステップＳ１３に戻り、上
記の処理を繰り返すことになる。

【００４４】さて、上記の処理中、タイマ１１４ａが設
定された時間を計時した場合、すなわち、音声データパ
ケットを受信する時期になったのに受信できなかった場
合には、図１０のタイマ１１４ａの割り込み処理を行な
う。

【００４５】ここでは、ステップＳ２１でタイマ１１４
ａをゼロクリアし、ステップＳ２２で再送要求を装置２
０００に送出する処理を行なう。

【００４６】また、タイマ１１４ｂからの割り込みがあ
った場合、すなわち、前回の動画像データのパケットを
受信してから、先に決定された時間経過しても動画像デ
ータを受信できなかった場合、図１１の処理を行なう。

【００４７】まず、ステップＳ３１でタイマ１１４ｂを
ゼロクリアし、ステップＳ３２で受信が行われたかの如
くするため、カウンタを“１”ディクリメントする。

【００４８】次いで、ステップＳ３３で前回のフレーム
の映像を再度表示するようにさせ、ステップＳ３４で装
置２０００には正常に受信されたかのごとく、Ａｃｋ情
報を送信する。

【００４９】以上説明したように実施形態によれば、コ
ンピューターネットワークのような不特定多数のユーザ
ーが共有するネットワーク環境での実時間動画及び音声
伝送においても音声についてはとぎれることが無く、良
好な状態を維持できる。

【００５０】また、伝送エラーが発生した場合でもネッ
トワークにかける負担が少なく良好なネットワーク状態
を供給できる。

【００５１】なお、本発明は、複数の機器（例えばカメ
ラ、マイク、スピーカ、表示装置、ホストコンピュー
タ）で構成される例を説明したが、これらが一体になっ
ている装置であっても勿論構わない。

【００５２】また、本発明の目的は、送信側の装置とし
ては映像及び音声入力するハードウェア、受信側装置と
しては音声出力のハードウェアを必要とするものの、基
本的にパーソナルコンピュータをベースにして構築でき
るものである。従って、前述した実施形態の機能を実現
するソフトウェアのプログラムコードを記録した記憶媒
体を、システムあるいは装置に供給し、そのシステムあ
るいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が
記憶媒体に格納されたプログラムコードを読出し実行す
ることによっても、達成されることは言うまでもない。

【００５３】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００５４】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００５５】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００５６】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００５７】以上説明したように本実施形態によれば、
実時間に伝送される符号化された動画像データ及び符号
化された音声データを１つのビットストリームに時分割
多重せずにそれぞれ別のストリームとしてネットワーク
に送出することで動画像及び音声のそれぞれに対する優
先度を自由に設定できるようなハード及びプロトコルと
し、再送の発生を押さえることにより上記のような音声
及び映像の両方がとぎれると言った問題の発生を抑制す
ることが可能になる。

【００５８】また、コンピューターネットワークのよう
な不特定多数のユーザーが共有するネットワーク環境で
の実時間動画及び音声伝送においても音声のとぎれるこ
とが無く比較的良好な状態を維持できる。また、伝送エ
ラーが発生した場合でもネットワークにかける負担が少
なく良好なネットワーク状態を供給できる。

【００５９】また、実施形態では、音声１パケットに対
して動画像を複数パケット送信したが、本発明はこれに
限らず、それら個数は種々の変形が可能である。また、
実施形態では、第１のデータとして動画像、第２のデー
タとして音声データを例に挙げたが、それに限らず、音
声どうしであも良いし、動画像どうしの組み合わせでも
良い。

【００６０】

【発明の効果】以上説明したように本発明によれば、第
１、第２のデータをリアルタイムに転送する場合におい
て、少なくとも第２のデータについての信頼性を高くす
ることが可能になる。

【００６１】また、他の発明によれば、実時間に転送さ
れる符号化された動画像データ及び符号化された音声デ
ータを１つのビットストリームに時分割多重せずにそれ
ぞれ別のストリームとしてネットワークに送出し、少な
くとも音声についての信頼性を高くすることが可能にな
る。

【００６２】

【図面の簡単な説明】

【図１】実施形態における実時間動画及び音声伝送装置
の例を表す図である。

【図２】実施形態における送信ビットストリームの例を
表す図である。

【図３】実施形態で音声データの送信にてエラーが発生
した場合の動作を示した例を表す図である。

【図４】実施形態で動画データの送信にてエラーが発生
した場合の動作を示した例を表す図である。

【図５】実施形態で用いられる受信側コントローラーの
動作を示す状態遷移図である。

【図６】実施形態における具体的なシステム構成図を示
す図である。

【図７】送信側装置における動作処理内容を示すフロー
チャートである。

【図８】送信側装置における動作処理内容を示すフロー
チャートである。

【図９】受信側装置における動作処理手順を示すフロー
チャートである。

【図１０】受信側装置における動作処理手順を示すフロ
ーチャートである。

【図１１】受信側装置における動作処理手順を示すフロ
ーチャートである。

【図１２】一般的な実時間音声及び動画像伝送システム
の構成例を示す図である。

【図１３】一般的な送信ビットストリームの例を表す図
である。

【図１４】コンピューターネットワークで行われる確認
応答と再送のシーケンスを示す図である。

【図１５】コンピューターネットワークで用いられてい
るスライディングウィンドウを示す図である。

【符号の説明】

１音声符号化回路２動画像符号化回路３送信側コントロール回路４送信回路５受信回路６受信側コントロール回路７音声復号回路８動画像復号回路９、１０タイマ１１カウンター２０多重化回路２１分離回路

Claims

【特許請求の範囲】

【請求項１】夫々リアルタイムデータである、組み合
わせれ再生されるべき第１データ及び第２データをパケ
ット形式に、ネットワークを介して他の装置に送信する
送信側装置及びそれを受信する受信側装置で構成される
システムであって、前記送信側装置は、前記受信側装置から、正常受信したことを示す情報を受
信する限りは、第２データの第１の所定数のパケットに
対し、複数の第１のデータの所定数の第２のパケットを
前記ネットワークを介して前記受信側装置に送信する送
信手段と、前記受信側から再送要求があった場合に、該当するデー
タのパケットを再送する再送手段とを備え、前記受信側装置は、直前の第２のデータのパケットを受信してから第１の許
容時間内に該第２のデータに続く第２のデータのパケッ
トを受信した場合、或いは、直前の第１のデータのパケ
ットを受信してから第２の許容時間内に該第１のデータ
に続く第１のデータのパケットを受信した場合、前記送
信側装置に正常受信したことを示す情報を返信する第１
の応答手段と、前記第１の許容時間経過後なっても次の第２のデータの
パケットを受信しない場合に、前記送信側装置に再送要
求を発する第２の応答手段と、を備えることを特徴とする伝送システム。
【請求項２】夫々リアルタイムデータである、組み合
わせれ再生されるべき第１データ及び第２データをパケ
ット形式に、ネットワークを介して他の装置に送信する
伝送装置であって、前記受信側装置から、正常受信したことを示す情報を受
信する限りは、第２データの第１の所定数のパケットに
対し、複数の第１のデータの所定数の第２のパケットを
前記ネットワークを介して前記受信側装置に送信する送
信手段と、前記受信側から再送要求があった場合に、該当するデー
タのパケットを再送する再送手段とを備えることを特徴
とする伝送装置。
【請求項３】夫々リアルタイムデータである、組み合
わせれ再生されるべき第１データ及び第２データをパケ
ット形式で、ネットワークを介して受信する受信装置で
あって、直前の第２のデータのパケットを受信してから第１の許
容時間内に該第２のデータに続く第２のデータのパケッ
トを受信した場合、或いは、直前の第１のデータのパケ
ットを受信してから第２の許容時間内に該第１のデータ
に続く第１のデータのパケットを受信した場合、前記送
信側装置に正常受信したことを示す情報を返信する第１
の応答手段と、前記第１の許容時間経過後なっても次の第２のデータの
パケットを受信しない場合に、前記送信側装置に再送要
求を発する第２の応答手段とを備えることを特徴とする
受信装置。
【請求項４】コンピュータが読み込み実行すること
で、夫々リアルタイムデータである、組み合わせれ再生
されるべき第１データ及び第２データをパケット形式
に、ネットワークを介して他の装置に送信する送信側装
置及びそれを受信する受信側装置で構成されるシステム
として機能させるプログラムを格納した記憶媒体であっ
て、前記送信側装置では、前記受信側装置から、正常受信したことを示す情報を受
信する限りは、第２データの第１の所定数のパケットに
対し、複数の第１のデータの所定数の第２のパケットを
前記ネットワークを介して前記受信側装置に送信する像
送信手段と、前記受信側から再送要求があった場合に、該当するデー
タのパケットを再送する再送手段として機能されるプロ
グラムコード、前記受信側装置では、直前の第２のデータのパケットを受信してから第１の許
容時間内に該第２のデータに続く第２のデータのパケッ
トを受信した場合、或いは、直前の第１のデータのパケ
ットを受信してから第２の許容時間内に該第１のデータ
に続く第１のデータのパケットを受信した場合、前記送
信側装置に正常受信したことを示す情報を返信する第１
の応答手段と、前記第１の許容時間経過後なっても次の第２のデータの
パケットを受信しない場合に、前記送信側装置に再送要
求を発する第２の応答手段として機能させるプログラム
コードを格納した記憶媒体。
【請求項５】動画像データ及び音声データをパケット
形式に実時間で、ネットワークを介して他の装置に送信
する動画像及び音声伝送する送信側装置及びそれを受信
する受信側装置で構成されるシステムであって、前記送信側装置は、前記受信側装置から、正常受信したことを示す情報を受
信する限りは、音声データのパケット１つに対し、複数
の動画像データのパケットを前記ネットワークを介して
前記受信側装置に送信する動画像送信手段と、前記受信側から再送要求があった場合に、該当するデー
タのパケットを再送する再送手段とを備え、前記受信側装置は、直前の音声データのパケットを受信してから第１の許容
時間内に次の音声データパケットデータを受信した場
合、或いは、直前の動画像データのパケットを受信して
から第２の許容時間内に次の動画像データのパケットを
受信した場合、前記送信側装置に正常受信したことを示
す情報を返信する第１の応答手段と、前記第１の許容時間以上になっても次の音声データのパ
ケットを受信しない場合に、前記送信側装置に再送要求
を発する第２の応答手段と、前記第２の許容時間時間以上になっても次の動画データ
のパケットを受信しない場合に、当該動画像データのパ
ケットを受信したものとし、前記送信側に正常受信した
ことを示す情報を返信する第３の応答手段とを備えるこ
とを特徴とする実時間動画像及び音声伝送システム。
【請求項６】前記送信側装置は、音声及び動画像のデ
ータを前記受信側装置に送信するに先立ち、前記第１の
許容時間、第２の許容時間、及び、１つの音声データの
パケットに対する動画像データのパケット数を前記受信
側装置に通知することを特徴とする請求項第４項に記載
の実時間動画像及び音声伝送システム。
【請求項７】前記送信側装置には、前記受信側装置に
送信するための音声データを音声入力手段と、動画像を
入力する動画像入力手段とを備えることを特徴とする請
求項第５項に記載の実時間動画像及び音声伝送システ
ム。
【請求項８】前記音声入力装置はマイクロホン、動画
像入力手段はビデオカメラを含むことを特徴とする請求
項第７項に記載の実時間動画像及び音声伝送システム。
【請求項９】前記受信側装置には、受信した音声デー
タのパケット及び動画像データのパケットに基づき再生
出力する再生手段を備えることを特徴とする請求項第５
項に記載の実時間動画像及び音声伝送システム。
【請求項１０】前記再生手段は、動画像データを再生
する際、前記第３の応答手段が付勢された場合には、直
前の画像の再生を維持することを特徴とする請求項第９
項に記載の実時間動画像及び音声伝送システム。
【請求項１１】ネットワークを介して受信したパケッ
ト形式の動画像データ及び音声データを再生出力する音
声及び動画再生装置であって、直前の音声データのパケットを受信してから第１の許容
時間内に次の音声データパケットデータを受信した場
合、或いは、直前の動画像データのパケットを受信して
から第２の許容時間内に次の動画像データのパケットを
受信した場合、送信元装置に正常受信したことを示す情
報を返信する第１の応答手段と、前記第１の許容時間以上になっても次の音声データのパ
ケットを受信しない場合に、前記送信元装置に再送要求
を発する第２の応答手段と、前記第２の許容時間時間以上になっても次の動画データ
のパケットを受信しない場合に、当該動画像データのパ
ケットを受信したものとし、前記送信元装置に正常受信
したことを示す情報を返信する第３の応答手段とを備え
ることを特徴とする音声及び動画再生装置。
【請求項１２】更に、受信した音声データのパケット
及び動画像データのパケットに基づき再生出力する再生
手段を備えることを特徴とする請求項第１１項に記載の
音声及び動画再生装置。
【請求項１３】前記再生手段は、動画像データを再生
する際、前記第３の応答手段が付勢された場合には、直
前の画像の再生を維持することを特徴とする請求項第１
２項に記載の音声及び動画再生装置。
【請求項１４】ネットワークを介して受信したパケッ
ト形式の動画像データ及び音声データを再生出力する音
声及び動画再生装置を制御する方法であって、直前の音声データのパケットを受信してから第１の許容
時間内に次の音声データパケットデータを受信した場
合、或いは、直前の動画像データのパケットを受信して
から第２の許容時間内に次の動画像データのパケットを
受信した場合、送信元装置に正常受信したことを示す情
報を返信する第１の応答工程と、前記第１の許容時間以上になっても次の音声データのパ
ケットを受信しない場合に、前記送信元装置に再送要求
を発する第２の応答工程と、前記第２の許容時間時間以上になっても次の動画データ
のパケットを受信しない場合に、当該動画像データのパ
ケットを受信したものとし、前記送信元装置に正常受信
したことを示す情報を返信する第３の応答工程とを備え
ることを特徴とする音声及び動画再生装置の制御方法。
【請求項１５】コンピュータが読み込み実行すること
で、動画像データ及び音声データをパケット形式に実時
間で、ネットワークを介して他の装置に送信する動画像
及び音声伝送する送信側装置及びそれを受信する受信側
装置で構成されるシステムとして機能させるプログラム
を格納した記憶媒体であって、前記送信側装置では、前記受信側装置から、正常受信したことを示す情報を受
信する限りは、音声データのパケット１つに対し、複数
の動画像データのパケットを前記ネットワークを介して
前記受信側装置に送信する動画像送信手段と、前記受信側から再送要求があった場合に、該当するデー
タのパケットを再送する再送手段として機能されるプロ
グラムコード、前記受信側装置では、直前の音声データのパケットを受信してから第１の許容
時間内に次の音声データパケットデータを受信した場
合、或いは、直前の動画像データのパケットを受信して
から第２の許容時間内に次の動画像データのパケットを
受信した場合、前記送信側装置に正常受信したことを示
す情報を返信する第１の応答手段と、前記第１の許容時間以上になっても次の音声データのパ
ケットを受信しない場合に、前記送信側装置に再送要求
を発する第２の応答手段と、前記第２の許容時間時間以上になっても次の動画データ
のパケットを受信しない場合に、当該動画像データのパ
ケットを受信したものとし、前記送信側に正常受信した
ことを示す情報を返信する第３の応答手段として機能さ
せるプログラムコードを格納した記憶媒体。
【請求項１６】ネットワークを介して受信したパケッ
ト形式の動画像データ及び音声データを再生出力する音
声及び動画再生装置として機能させるプログラムを格納
した記憶媒体であって、直前の音声データのパケットを受信してから第１の許容
時間内に次の音声データパケットデータを受信した場
合、或いは、直前の動画像データのパケットを受信して
から第２の許容時間内に次の動画像データのパケットを
受信した場合、送信元装置に正常受信したことを示す情
報を返信する第１の応答手段と、前記第１の許容時間以上になっても次の音声データのパ
ケットを受信しない場合に、前記送信元装置に再送要求
を発する第２の応答手段と、前記第２の許容時間時間以上になっても次の動画データ
のパケットを受信しない場合に、当該動画像データのパ
ケットを受信したものとし、前記送信元装置に正常受信
したことを示す情報を返信する第３の応答手段として機
能するプログラムを格納した記憶媒体。