JP2004135062A - 映像コミュニケーションシステム及び映像コミュニケーション方法 - Google Patents
映像コミュニケーションシステム及び映像コミュニケーション方法 Download PDFInfo
- Publication number
- JP2004135062A JP2004135062A JP2002297557A JP2002297557A JP2004135062A JP 2004135062 A JP2004135062 A JP 2004135062A JP 2002297557 A JP2002297557 A JP 2002297557A JP 2002297557 A JP2002297557 A JP 2002297557A JP 2004135062 A JP2004135062 A JP 2004135062A
- Authority
- JP
- Japan
- Prior art keywords
- time
- distribution
- terminal devices
- media data
- distribution server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】配信サーバから配信されたメディアデータの同じ場面を同時に複数の端末装置で視聴しながら映像コミュニケーションを行うことができる映像コミュニケーションシステムを提供する。
【解決手段】複数の端末装置１２０−１〜１２０−ｎに配信したテストパケットの配信時刻及び複数の端末装置１２０−１〜１２０−ｎからの応答パケットの受信時刻から各端末装置に配信するメディアデータの配信遅延時間を算出し、各端末装置１２０−１〜１２０−ｎ夫々にメディアデータの再生待ち時間の割り当てを行う。これにより、複数の端末装置１２０−１〜１２０−ｎで配信サーバ１００からのメディアデータを同じ時刻に同じ場面を視聴することが可能となり、複数の端末装置１２０−１〜１２０−ｎ間で常に同じメディアデータを見ながら楽しくコミュニケーションをとることができる。
【選択図】 図１
【解決手段】複数の端末装置１２０−１〜１２０−ｎに配信したテストパケットの配信時刻及び複数の端末装置１２０−１〜１２０−ｎからの応答パケットの受信時刻から各端末装置に配信するメディアデータの配信遅延時間を算出し、各端末装置１２０−１〜１２０−ｎ夫々にメディアデータの再生待ち時間の割り当てを行う。これにより、複数の端末装置１２０−１〜１２０−ｎで配信サーバ１００からのメディアデータを同じ時刻に同じ場面を視聴することが可能となり、複数の端末装置１２０−１〜１２０−ｎ間で常に同じメディアデータを見ながら楽しくコミュニケーションをとることができる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、像等のメディアデータを端末装置に配信する配信サーバと、この配信サーバに対してＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク等のネットワークを介して接続された複数の端末装置とを備えた映像コミュニケーションシステム及び映像コミュニケーション方法に関する。
【０００２】
【従来の技術】
図１７は、従来の映像コミュニケーションシステムの構成を示すブロック図である。
この図において、従来の映像コミュニケーションシステムは、端末装置にメディアデータを配信する配信サーバ１７０１と、ＩＰネットワーク１７２０を介して配信サーバ１７０１に接続された複数の端末装置１７１０−１、１７１０−２、１７１０−３、…、１７１０−ｎ（以下、１７１０−１〜１７１０−ｎと記載する）とを備えて構成される。配信サーバ１７０１は、各端末装置１７１０−１〜１７１０−ｎからのメディアデータの配信要求を獲得する配信要求獲得部１７０２と、メディアデータを保持するメディアデータ保持部１７０３と、各端末装置１７１０−１〜１７１０−ｎからの要求に応じてメディアデータを配信する配信部１７０４とを備えている。
【０００３】
端末装置１７１０−１〜１７１０−ｎは全て同一構成であり、端末装置１７１０−１を例に挙げると、配信サーバ１７０１に対してメディアデータの配信を要求する配信パケット管理部１７１１と、配信サーバ１７０１や他の端末装置１７１０−２〜１７１０−ｎからのメディアデータを受信するメディアデータ受信部１７１２と、メディアデータ受信部１７１２で受信されたメディアデータから映像信号を復号する復号化部１７１３と、複数のメディアデータで一画面を合成する必要がある場合に、復号化部１７１３で復号された複数のメディアデータを一画面に合成する映像合成部１７１４と、映像合成部１７１４からの映像情報を再生する映像再生部１７１５と、映像再生部１７１５で再生された映像を表示するテレビやモニタなどの映像出力部１７１６と、ビデオカメラ、ビデオデッキ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどの映像入力装置からの映像を取得する映像取得部１７１７と、この映像取得部１７１７で取得された映像を予め設定されたフレームサイズやフレームレートで圧縮符号化してメディアデータを生成する符号化部１７１８と、この符号化部１７１８で生成されたメディアデータにパケットヘッダを付与してパケット化し、ＩＰネットワーク１７２０へ送出するメディアデータ送信部１７１９とを備えて構成される。
【０００４】
次に、上記従来の映像コミュニケーションシステムの動作について説明する。但し、端末装置１７１０−１が他の端末装置１７１０−２〜１７１０−ｎと互いに映像コミュニケーションを行う場合について述べる。
【０００５】
映像取得部１７１７にてビデオカメラ、ビデオデッキ、ＣＣＤカメラなどの映像入力装置から取得された映像が符号化部１７１８にて符号化されてメディアデータが生成される。生成されたメディアデータはメディアデータ送信部１７１９にてパケットヘッダが付与されてパケット化される。そして、指定された相手先端末装置１７１０−２、１７１０−３、…又は１７１０−ｎに向けてＩＰネットワーク１７２０に送出される。
【０００６】
一方、メディアデータ受信部１７１２にて他の端末装置１７１０−２〜１７１０−ｎからのメディアデータが受信されると、受信されたメディアデータが復号化部１７１３で復号化される。そして、復号化された複数のメディアデータが必要に応じて一画面に合成された後、再生映像信号に変換されて映像出力部１７１６より映像出力される。以上の動作は端末装置１７１０−１〜１７１０−ｎの全てにおいて同様に行われる。これにより、各端末装置１７１０−１〜１７１０−ｎでは、互いに相手端末装置から送信された映像を見ながら会話などを行う映像コミュニケーションが可能となる。
【０００７】
次に、複数の端末装置による映像コミュニケーションが行われている最中に、配信サーバ１７０１から配信された同一のメディアデータを各端末装置１７１０−１〜１７１０−ｎで再生する場合について述べる。
【０００８】
例えば端末装置１７１０−１が前述した方法で他の端末装置１７１０−２、１７１０−３、…又は１７１０−ｎと映像コミュニケーションを行っている最中に、任意の端末装置から配信サーバ１７０１に向けて配信要求パケットが送信されると、配信サーバ１７０１はその配信要求を受けて、要求されたメディアデータをメディアデータ保持部１７０３から取り出す。そして、取り出したメディアデータにパケットヘッダを付加してパケット化し、ＩＰネットワーク１７２０に送出する。映像コミュニケーションを行っている端末装置１７１０−１〜１７１０−ｎは、配信サーバ１７０１から配信されたメディアデータの受信すると、それを復号して再生する。
【０００９】
以上より、端末装置１７１０−１〜１７１０−ｎは、配信サーバ１７０１から配信された同一のメディアデータを視聴しながら、他の複数の端末装置間で映像コミュニケーションを行うことが可能となる。
【００１０】
なお、上記技術内容に類似する技術として、要求獲得手段が、予め定められた規定時間内に、複数の端末局から同一の指定番組に対する配信要求を獲得し、チャネル決定手段が、複数の端末局に同一のチャネルを計時手段からの通知により規定時間経過時に割り当て、配信手段からのメディアデータの配信を同一チャネルで行う技術がある（例えば、特許文献１参考）。
【００１１】
【特許文献１】
特開平７−１１１６４８号公報（第４及び５頁、図１）
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の映像コミュニケーションシステムにおいては、次のような問題がある。
すなわち、各端末装置１７１０−１〜１７１０−ｎがメディアデータの再生を独立に行っているので、実時間で映像コミュニケーションを行っている複数の端末装置１７１０−１〜１７１０−ｎが配信サーバ１７０１から配信された同一のメディアデータを再生して視聴する場合、各端末装置１７１０−１〜１７１０−ｎが受信する時刻にずれが生じると、お互いの端末装置で視聴している場面がずれてしまう現象が起こる。各端末装置１７１０−１〜１７１０−ｎのユーザーがメディアデータのある場面についての意見を述べていても、他の端末装置１７１０−１〜１７１０−ｎのユーザーはメディアデータのどの場面に対する意見を述べているのか理解し難くなる。その結果、映像コミュニケーションが成り立たなくなってしまう。
【００１３】
また、例えばＲＦＣ９５８（Ｎｅｔｗｏｒｋ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ：９５８）のＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）などのネットワークに接続された端末装置や、サーバに内蔵される時計の時刻を設定する手段により配信サーバと複数の端末装置で時刻同期のとれているネットワークであれば、配信サーバから配信されたメディアデータを複数の端末装置で受信した時刻をそれぞれ比較することで受信時刻の一番遅い端末装置を求めてこの受信時刻を再生時間とし、他の端末装置は一番遅い端末装置の受信時刻と夫々の受信時刻との差分だけ待ってから再生を開始することで、全端末装置が同時に映像を再生することが可能となる。しかしながら、時刻同期がとれていないネットワークの場合は時刻を比較することができないため、この方法では求めることができない。
【００１４】
本発明は係る点に鑑みてなされたもので、配信サーバから配信されたメディアデータの同じ場面を同時に複数の端末装置で視聴しながら映像コミュニケーションを行うことができる映像コミュニケーションシステム及び映像コミュニケーション方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
請求項１に係る発明の映像コミュニケーションシステムは、ネットワークに接続された複数の端末装置に対してメディアデータを配信する配信サーバを具備する映像コミュニケーションシステムであって、前記配信サーバは、前記複数の端末装置夫々にテストパケットを配信した時刻を取得するテストパケット配信時刻取得手段と、前記複数の端末装置夫々にテストパケットを配信した後に前記複数の端末装置夫々から送信された応答パケットを受信した時刻を取得する応答パケット受信時刻取得手段と、前記テストパケット配信時刻取得手段で取得された前記複数の端末装置夫々に対するテストパケット配信時刻と前記応答パケット受信時刻取得手段で取得された前記複数の端末装置夫々からの応答パケット受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求める配信遅延時間導出手段と、前記配信遅延時間導出手段にて求められた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知する再生待ち時間通知手段とを具備し、前記複数の端末装置夫々は、前記配信サーバから配信されたテストパケットに対する応答パケットを送信する応答パケット送信手段と、前記配信サーバから配信されたメディアデータを前記配信サーバより通知された再生待ち時間経過後に再生を行うメディアデータ再生手段とを具備する構成を採る。
【００１６】
この構成によれば、配信サーバが各端末装置に配信するメディアデータの配信遅延時間を導出し、各端末装置へのメディアデータの再生待ち時間の割り当てを行うことにより、複数の端末装置で配信サーバからの共通のメディアデータを同時に再生でき、同じ時刻に同じ場面を視聴しながら複数の端末装置間で映像コミュニケーションを行うことが可能となる。
【００１７】
請求項２に係る発明の映像コミュニケーションシステムは、請求項１に係る発明の映像コミュニケーションシステムにおいて、前記配信サーバが複数あって、各配信サーバが前記複数の端末装置夫々に対してメディアデータの配信を行う場合、前記複数の端末装置夫々のメディアデータ再生手段は、各配信サーバ間の配信開始時刻の差分に応じてメディアデータ再生時刻を変更する構成を採る。
【００１８】
この構成によれば、配信サーバが複数ある場合、各端末装置が各配信サーバ間の配信開始時刻の差分に応じてメディアデータを再生する時刻を変更するので、配信サーバが複数あっても複数の端末装置で各配信サーバからの共通のメディアデータを同時に再生することができる。
【００１９】
請求項３に係る発明の映像コミュニケーションシステムは、請求項１又は請求項２のいずれかに係る発明の映像コミュニケーションシステムにおいて、前記複数の端末装置夫々のメディアデータ再生手段は、メディアデータ再生時刻をネットワークの伝送ゆらぎによる遅延を吸収するためのゆらぎ吸収時間に応じて変更する構成を採る。
【００２０】
この構成によれば、各端末装置がネットワークの伝送ゆらぎによる遅延を吸収するためのゆらぎ吸収時間に応じてメディアデータを再生する時刻を変更するので、ネットワークの伝送ゆらぎにより、各端末装置でのメディアデータの再生開始のずれを解消することができる。
【００２１】
請求項４に係る発明の映像コミュニケーションシステムは、ネットワークに接続された複数の端末装置と、メディアデータを配信する配信サーバと、前記配信サーバからのメディアデータを中継して前記複数の端末装置で受信可能とする中継装置と、を具備する映像コミュニケーションシステムであって、前記配信サーバは、前記中継装置にテストパケットを配信した時刻を取得する第１のテストパケット配信時刻取得手段と、前記中継装置にテストパケットを配信した後に当該中継装置から送信された応答パケットを受信した時刻を取得する第１の応答パケット受信時刻取得手段と、前記中継装置にテストパケットを配信したテストパケット配信時刻と前記中継装置から送信された応答パケットを受信した応答パケット受信時刻とにより前記中継装置へのメディアデータの配信遅延時間を求める第１の配信遅延時間導出手段と、前記第１の配信遅延時間導出手段にて求められた前記中継装置に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記中継装置に通知する第１の再生待ち時間通知手段とを具備し、前記中継装置は、前記複数の端末装置夫々にテストパケットを配信した時刻を取得する第２のテストパケット配信時刻取得手段と、前記複数の端末装置夫々に対して配信したテストパケットに対応して前記複数の端末装置夫々から送信された応答パケットを受信した時刻を取得する第２の応答パケット受信時刻取得手段と、前記複数の端末装置夫々へのテストパケット配信時刻と前記複数の端末装置夫々からの応答パケット受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求める第２の配信遅延時間導出手段と、前記第２の配信遅延時間導出手段にて求められた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知する第２の再生待ち時間通知手段と、前記配信サーバから配信されたテストパケットに対して応答パケットを送信する第１の応答パケット送信手段と、前記配信サーバから配信されたメディアデータを前記配信サーバから通知された再生待ち時間経過後に前記複数の端末装置夫々に配信する中継手段とを具備し、前記複数の端末装置夫々は、前記中継装置から配信されたテストパケットに対する応答パケットを送信する第２の応答パケット手段と、前記中継装置にて中継された前記配信サーバからのメディアデータを前記中継装置より通知された再生待ち時間経過後に再生するメディアデータ再生手段と、を具備する構成を採る。
【００２２】
この構成によれば、例えば配信サーバからの映像を多数の端末装置が配信を希望し、配信サーバ１台では全ての端末装置の配信遅延時間を算出するのに時間がかかってしまうような場合でも中継装置が配下の端末装置までの配信遅延時間を求めるので、配信サーバの負荷を軽減することができる。これにより、多数の端末装置間でメディアデータの同時再生が可能となる。
【００２３】
請求項５に係る発明の映像コミュニケーションシステムは、請求項４に係る発明の映像コミュニケーションシステムにおいて、前記配信サーバの第１の再生待ち時間通知手段は、前記中継装置が１つの場合には再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、前記中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知する構成を採る。
【００２４】
この構成によれば、中継装置が１つの場合、配信サーバは再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知する中継装置に数によらず複数の端末装置で各配信サーバからの共通のメディアデータを同時に再生することができる。
【００２５】
請求項６に係る発明の映像コミュニケーション方法は、配信サーバがネットワークに接続された複数の端末装置に対してメディアデータの配信を行う映像コミュニケーション方法であって、前記配信サーバは、前記複数の端末装置夫々へのテストパケット配信時刻と当該パケットの配信により前記複数の端末装置夫々から送信された応答パケットの受信時刻とにより前記複数の端末装置夫々に対するメディアデータの配信遅延時間を求め、求めた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知し、前記複数の端末装置夫々は、前記配信サーバより通知された再生待ち時間経過後に前記配信サーバから配信されたメディアデータの再生を行う。
【００２６】
この方法によれば、配信サーバが各端末装置に配信するメディアデータの配信遅延時間を導出し、各端末装置へのメディアデータの再生待ち時間の割り当てを行うことにより、複数の端末装置で配信サーバからの共通のメディアデータを同時に再生でき、同じ時刻に同じ場面を視聴しながら複数の端末装置間で映像コミュニケーションを行うことができる映像コミュニケーションシステムを提供できる。
【００２７】
請求項７に係る発明の映像コミュニケーション方法は、配信サーバがネットワークに接続された複数の端末装置に対して中継装置を介してメディアデータの配信を行う映像コミュニケーション方法であって、前記配信サーバは、前記中継装置へのテストパケット配信時刻と当該パケットの配信により前記中継装置から送信された応答パケットの受信時刻とにより前記中継装置に対するメディアデータの配信遅延時間を求め、求めた配信遅延時間から前記中継装置に対するメディアデータの再生待ち時間の割り当てを行い、前記中継装置は、前記複数の端末装置夫々へのテストパケット配信時刻と当該パケットの配信により前記複数の端末装置夫々から送信された応答パケットの受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求め、求めた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知し、更に前記配信サーバから配信されたメディアデータを前記配信サーバから通知された再生待ち時間経過後に前記複数の端末装置夫々に配信し、前記複数の端末装置夫々は、前記中継装置にて中継された前記配信サーバからのメディアデータを前記中継装置にて割り当てられた再生待ち時間経過後に再生する。
【００２８】
この方法によれば、例えば配信サーバからの映像を多数の端末装置が配信を希望し、配信サーバ１台では全ての端末装置の配信遅延時間を算出するのに時間がかかってしまうような場合でも、中継装置が配下の端末装置までの配信遅延時間を求めるので、配信サーバの負荷を軽減することができる。これにより、多数の端末装置間で同じメディアデータを見ながらコミュニケーションをとることができる映像コミュニケーションシステムを提供することが可能となる。
【００２９】
【発明の実施の形態】
本発明の骨子は、配信サーバが複数の端末装置夫々に配信するメディアデータの配信遅延時間を導出して、各端末装置へのメディアデータの再生待ち時間の割り当てを行うことにより、各端末装置で配信サーバからの共通のメディアデータを同時に再生できるようにすることである。
【００３０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３１】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像コミュニケーションシステムの構成を示すブロック図である。
この図において、本実施の形態に係る映像コミュニケーションシステムは、配信サーバ１００と、インターネットプロトコルに準拠するＩＰネットワーク１１０を介して配信サーバ１００に接続された複数の端末装置１２０−１、１２０−２、１２０−３、…、１２０−ｎとを備えている。
【００３２】
配信サーバ１００は、符号化されたメディアデータを保持し、任意の端末装置１２０−１〜１２０−ｎからの配信要求に応じてメディアデータをパケット化してＩＰネットワーク１１０へ送出するものであり、配信要求獲得部１０１と、メディアデータ保持部１０２と、メディアデータ配信部１０３と、再生待ち時間管理部１０４とを備えている。
【００３３】
配信要求獲得部１０１は、任意の端末装置１２０−１〜１２０−ｎから送信された配信要求パケットを受信することで、要求されたメディアデータをメディアデータ保持部１０２より取り出してメディアデータ配信部１０３に入力する。メディアデータ配信部１０３は、配信要求獲得部１０１によって選択されたメディアデータをパケット化してＩＰネットワーク１１０へ送出する。再生待ち時間管理部１０４は、配信サーバ１００から各端末装置１２０−１〜１２０−ｎまでの遅延時間情報を管理する。すなわち、各端末装置１２０−１〜１２０−ｎにパケットを配信した時刻と、このパケットを配信することで各端末装置１２０−１〜１２０−ｎから送信される応答パケットを受信した時刻とを夫々取得し、これらの時刻に基づいて各端末装置１２０−１〜１２０−ｎに対する配信遅延時間を導き出す。そして、導き出した各端末装置１２０−１〜１２０−ｎに対する配信遅延時間から最長配信遅延時間を求め、各端末装置１２０−１〜１２０−ｎにおける再生待ち時間を通知する。
【００３４】
各端末装置１２０−１〜１２０−ｎは、配信サーバ１００から配信されるメディアデータのパケットを受信し、これを所定の符号化方法に対応した復号化方法で復号した後、モニタやテレビなどの映像出力装置へ出力する。また、他の端末装置から送信されたメディアデータのパケットを受信し、これを所定の符号化方法に対応する復号化方法で復号した後、上記した映像出力装置へ出力する。また、ビデオカメラ、ビデオデッキ、ＣＣＤカメラなどで取得した映像を圧縮符号化してパケット化し、ＩＰネットワーク１１０へ送出する。
【００３５】
各端末装置１２０−１〜１２０−ｎは、上記したビデオカメラ、ビデオデッキ、ＣＣＤカメラなどの映像取得部１２１と、符号化部１２２と、メディアデータ送信部１２３と、メディアデータ受信部１２４と、復号化部１２５と、映像合成部１２６と、映像再生部１２７と、映像出力部１２８と、配信パケット管理部１２９と、再生待ち時間管理部１３０とを備えている。
【００３６】
符号化部１２２は、映像取得部１２１で取得されたメディアデータを予め決められた符号化方式で圧縮符号化し、その結果（符号化データ）をメディアデータ送信部１２３に入力する。メディアデータ送信部１２３は、符号化データをパケット化してメディアデータとして他の端末装置へ送信する。メディアデータ受信部１２４は、他の端末装置のメディアデータ送信部１２３から送信されたメディアデータを受信して復号化部１２５に入力する。また、配信サーバ１００から配信されたメディアデータを受信して復号化部１２５に入力する。復号化部１２５は、メディアデータ受信部１２４で受信されたメディアデータを所定の符号化方式に対応した復号化方法で復号化し、復号化したメディアデータを映像合成部１２６に入力する。
【００３７】
映像合成部１２６は、同一画面上に表示するメディアデータが複数受信された場合に、これらのメディアデータを一画面に合成して映像再生部１２７に入力する。映像再生部１２７は、メディアデータから再生映像信号を生成して映像出力部（テレビやモニタなど）１２８に入力する。配信パケット管理部１２９は、配信サーバ１００へのメディアデータの配信要求パケットの送信と配信サーバ１００からの配信パケットに対する応答パケットの送信を行う。再生待ち時間管理部１３０は、再生待ち時間経過後にメディアデータの再生を行う。
【００３８】
以上のように構成された映像コミュニケーションシステムについて、その動作を説明する。但し、端末装置１２０−１〜１２０−ｎが互いに映像コミュニケーションを行う場合について述べる。
【００３９】
各端末装置１２０−１〜１２０−ｎの映像取得部１２１にて映像が取得されると、その映像が予め設定されたフレームサイズやフレームレートで圧縮符号化されてメディアデータが生成される。そして、生成されたメディアデータにパケットヘッダが付与されパケット化されて、映像コミュニケーションを行っている他の端末装置に向けてＩＰネットワーク１１０へ送出される。そして、そのパケットデータが目的とする端末装置にて受信されると、復号化される。そして、更に必要に応じて一画面に合成された後、映像信号に変換される。
【００４０】
上述の動作は、端末装置１２０−１〜１２０−ｎの全てにおいて適用される。これにより、各端末装置１２０−１〜１２０−ｎは互いに相手端末装置からの送信映像を見ながら会話などを行う映像コミュニケーションが可能となる。
【００４１】
次に、複数の端末装置による映像コミュニケーション時に配信サーバ１００からのメディアデータを再生する場合の動作について述べる。但し、各部は相互に密接に関連して動作し、その動作は複雑であるため、以下の説明では図２及び図３を参照して説明する。また、図２及び図３では各動作に番号を付して動作順序を明確にしている。
【００４２】
まず、図２を参照して説明する。
例えば端末装置１２０−１が前述した方法で端末装置１２０−２、１２０−３、１２０−４と映像コミュニケーション行っているものとする。
【００４３】
配信サーバ１００から配信された共通のメディアデータを端末装置１２０−１、１２０−２、１２０−３、１２０−４（以下、１２０−１〜１２０−４と記載する）で同時に再生するために、まず端末装置１２０−１の配信パケット管理部１２９が配信サーバ１００に配信要求パケットを送信する。この配信要求パケットには端末装置１２０−１〜１２０−４までのアドレスと要求するコンテンツが含まれている（手順１）。
【００４４】
配信サーバ１００の配信要求獲得部１０１は、端末装置１２０−１から送信された配信要求パケットに対し、配信先の端末装置１２０−１〜１２０−４宛にテストパケットを送信する。このテストパケットにはこれを配信した時刻が含まれている（手順２）。
【００４５】
各端末装置１２０−１〜１２０−４の配信パケット管理部１２９は、配信サーバ１００からのテストパケットを受信した後、応答パケットを配信サーバ１００に送信する。この場合、応答パケットには配信サーバ１００がテストパケットを配信した時刻が含まれている（手順３）。
【００４６】
配信サーバ１００の再生待ち時間管理部１０４は、各端末装置１２０−１〜１２０−４からの応答パケットを受信すると、受信時の時刻を取得する。そして、各端末装置１２０−１〜１２０−４にテストパケットを配信した時刻と各端末装置１２０−１〜１２０−４からの応答パケットの受信時刻とより、各端末装置１２０−１〜１２０−４毎の配信サーバ１００から各端末装置１２０−１〜１２０−４までの配信遅延時間を算出する。
【００４７】
配信サーバ１００から各端末装置１２０−１〜１２０−４までの配信遅延時間は、以下のようにして求めることができる。
受信時刻と配信時刻の差分の時間は、配信サーバ１００と各端末装置１２０−１〜１２０−４との間のパケットの往復時間であり、式（１）のようになる。
【００４８】
（往復時間）＝（到着時刻）−（配信時刻） ・・・（１）
【００４９】
式（１）の（往復時間）とは、配信サーバ１００から各端末装置１２０−１〜１２０−４への伝送時間（下り方向伝送時間）と、各端末装置１２０−１〜１２０−４から配信サーバ１００への伝送時間（上り方向伝送時間）と、各端末装置１２０−１〜１２０−４でのテストパケット処理時間を合計した時間であるとも言える。すなわち、式（２）のようになる。
【００５０】
（往復時間）＝（上り伝送時間）＋（下り伝送時間）＋（処理時間）・・・（２）
【００５１】
ここで、ＩＰネットワーク１１０の上りと下りの配信遅延時間が同じであるとすると、往復時間は式（３）のようになる。
【００５２】
（往復時間）＝（伝送時間）×２＋（処理時間） ・・・（３）
【００５３】
ここで、各端末装置１２０−１〜１２０−４でのテストパケットの処理時間が、配信遅延時間に比べゼロに近いとすると、式（４）のようになる。
【００５４】
（往復時間）＝（配信遅延時間）×２ ・・・（４）
【００５５】
式（１）と式（４）より、配信遅延時間は式（５）で求められる。
【００５６】
（配信遅延時間）＝｛（受信時刻）−（配信時刻）｝÷２ ・・・（５）
【００５７】
算出された各端末装置１２０−１〜１２０−４の配信遅延時間は、例えば図４に示すようなテーブルデータとして、一時的に保存される。
【００５８】
次に、算出結果を相互に比較し、最長配信遅延時間を検出する。
図４に示すテーブルでは、最長配信遅延時間が端末装置１２０−１における配信遅延時間１，５００ｍｓｅｃとなっている。この最長配信遅延時間経過した時点で全ての端末装置１２０−１〜１２０−４が配信メディアデータを受信したことになる。
【００５９】
そして、この時点で各端末装置１２０−１〜１２０−４が再生を開始することで、メディアデータ配信してから最短時間で同時再生が可能となる。そこで、最長配信遅延時間経過後に各端末装置１２０−１〜１２０−４がメディアデータの再生ができるように、各端末装置１２０−１〜１２０−４がメディアデータを受信してから再生するまでの待ち時間を算出する（手順４）。
【００６０】
各端末装置１２０−１〜１２０−４が配信されたメディアデータを受信してから再生するまでの待ち時間は、式（６）で求めることができる。
【００６１】
（再生待ち時間）＝（全端末装置の最長配信遅延時間）−（各端末装置の配信遅延時間）・・・（６）
【００６２】
配信サーバ１００は、各端末装置１２０−１〜１２０−４に対して、算出した再生待ち時間を通知する（手順５）。
【００６３】
次に、図３を参照して説明する。
配信サーバ１００が各端末装置１２０−１〜１２０−４に再生待ち時間を通知した後、要求されたメディアデータをメディアデータ保持部１０２より取り出してメディアデータ配信部１０３に入力する。メディアデータ配信部１０３は、入力されたメディアデータにパケットヘッダを付加してパケット化し、各端末装置１２０−１〜１２０−４宛でＩＰネットワーク１１０へ送出する（手順６）。
【００６４】
各端末装置１２０−１〜１２０−４の再生待ち時間管理部１３０は、配信サーバ１００から送信されたメディアデータを受信した後、配信サーバ１００から通知された待ち時間だけ待機した後、メディアデータの再生を開始する（手順▲７▼）。
【００６５】
各端末装置１２０−１〜１２０−４における再生待ち時間の具体例を図５に示す。各端末装置１２０−１〜１２０−４は待ち時間の間だけ再生を停止し、その時間を経過した時点で（つまり、最長配信遅延時間が経過した時点で）再生を開始する。これにより、各端末装置１２０−１〜１２０−４間で共通のメディアデータを同じ時刻に同じ場面を視聴することが可能となる。そして、各端末装置１２０−１〜１２０−４間で共通のメディアデータを同じ時刻に同じ場面を視聴しながら意見交換などを行い、互いに映像コミュニケーションを楽しむことができる（手順８）。
【００６６】
以上説明した映像コミュニケーションシステムの特徴的な動作手順をまとめると図６に示すようになる。
まず、配信サーバ１００が各端末装置１２０−１〜１２０−４に向けてテストパケットを配信した時刻と各端末装置１２０−１〜１２０−４からの応答パケットを受信した時刻を取得する（ステップ１０）。
【００６７】
次いで、各端末装置１２０−１〜１２０−４毎の配信遅延時間を算出し、配信遅延時間の中で最長のものを検出する（ステップ１１）。次いで、最長配信遅延時間に合わせるように各端末装置１２０−１〜１２０−４における再生待ち時間を算出する（ステップ１２）。この場合、必要に応じてゆらぎ吸収時間を考慮する。次いで、各端末装置１２０−１〜１２０−４に向けて再生待ち時間を通知し、更に要求のあったメディアデータを配信する（ステップ１３）。
【００６８】
各端末装置１２０−１〜１２０−４では、受信したメディアデータを再生待ち時間経過後に再生を開始する（ステップ１４）。
【００６９】
このように、本実施の形態に係る映像コミュニケーションシステムは、複数の端末装置１２０−１〜１２０−ｎに配信したテストパケットの配信時刻及び複数の端末装置１２０−１〜１２０−ｎからの応答パケットの受信時刻から各端末装置に配信するメディアデータの配信遅延時間を算出し、各端末装置１２０−１〜１２０−ｎ夫々にメディアデータの再生待ち時間の割り当てを行うことにより、複数の端末装置１２０−１〜１２０−ｎで配信サーバ１００からのメディアデータを同じ時刻に同じ場面を視聴することが可能となる。したがって、複数の端末装置１２０−１〜１２０−ｎ間で常に同じメディアデータを見ながら楽しくコミュニケーションをとることができる。
【００７０】
なお、本実施の形態の映像コミュニケーションシステムは、様々な変形が可能である。例えばテストパケットをメディアデータ配信開始前だけではなく、配信開始後でも同様の待ち時間制御を行って各端末装置１２０−１〜１２０−ｎで共通のメディアデータを同時に再生することが可能である。これにより、共通のメディアデータを同時に視聴しながら映像コミュニケーションを行っている端末装置グループへの端末装置の参加及びグループからの端末装置の離脱による配信サーバ１００から各端末装置までの最大配信遅延時間が変更になった場合の再生待ち時間の再割当てが可能となる。
【００７１】
例えば、図４のように配信サーバ１００が端末装置１２０−１〜１２０−４へ配信を行っていて、端末装置１２０−１の遅延時間が最も大きいとする。この状態で端末装置１２０−１がグループから離脱した場合、再生待ち時間割当て機能は新たに最大遅延時間の割り当てを行う。この場合、残った端末装置中で端末装置１２０−２と端末装置１２０−４の遅延時間が最も大きいため、１，０００ｍｓｅｃを最大遅延時間として再生待ち時間を求め、全ての端末装置１２０−２、１２０−３及び１２０−４に通知する。
【００７２】
逆に、遅延時間１，８００ｍｓｅｃである端末装置１２０−５（図示略）が新たに参加した場合、グループ内の最大遅延時間１，５００ｍｓｅｃよりも遅延時間が大きくなることより、１，８００ｍｓｅｃを新たな最大遅延時間として再生待ち時間を求め、全端末装置１２０−１〜１２０−５に通知する。
【００７３】
なお、配信サーバ１００による端末装置グループからの離脱の有無の判断は、離脱する端末装置が配信サーバ１００に離脱する旨を通知するパケットを送信しても良いし、離脱したことを他の端末装置が配信サーバ１００に通知するパケットを送信しても良い。あるいは配信サーバ１００の定期的なテストパケットに対する応答パケットが一定時間返答無いことで離脱がおきたとみなしようにしても良い。
【００７４】
映像コミュニケーションを行っている端末装置グループ内の各端末装置の再生待ち時間を伝送時間が最も大きい端末装置が再生する時間に再生できるように割り当てると、常にグループ内が最適な遅延で配信メディアデータを再生することが可能である。
【００７５】
なお、配信サーバ１００への配信要求は任意の端末装置により行うことができる。また、再生待ち時間割当て機能は必ずしも配信サーバが持つ必要はなく、端末装置の一機能として持っても良い。
【００７６】
また、配信サーバ１００は、テストパケットやメディアデータを各端末装置宛に個別に配信するだけではなく、マルチキャスト宛に配信することも可能である。マルチキャスト宛に配信する場合、配信サーバ１００の配信要求獲得部１０１が端末装置１２０−１からの配信要求パケットを受信する。配信要求パケットには配信を要求する端末装置のアドレスが格納されており、各配信要求端末装置宛にメディアデータの配信先マルチキャストアドレスの割当てを行う。端末装置１２０−１〜１２０−ｎ宛に送信するテストパケットに配信時刻とともにマルチキャストアドレスを格納する。
【００７７】
そして、各端末装置１２０−１〜１２０−ｎは、受信するマルチキャストアドレスを設定し、またテストパケットに対する応答パケットを配信サーバ１００に送信する。配信サーバ１００は、割り当てたマルチキャストアドレス宛に各端末装置毎の再生待ち時間を通知したパケットを送信する。各端末装置１２０−１〜１２０−ｎは、待ち時間が通知されたパケットから当該端末装置に割り当てられた再生待ち時間を取得する。そして、メディアデータを受信してから待ち時間経過後に再生を開始する。
【００７８】
（実施の形態２）
図７は、本発明の実施の形態２に係る映像コミュニケーションシステムの構成を示すブロック図である。
この図において、本実施の形態に係る映像コミュニケーションシステムは、２つの配信サーバ１００、１４０から配信されるメディアデータを、同時に複数端末装置１２０−１〜１２０−ｎで再生できようにしたものである。なお、図１の実施の形態１に係る映像コミュニケーションシステムとの違いは、配信元が２つのサーバ１００及び１４０である点と、各端末装置１２０−１〜１２０−ｎが２つの配信元のサーバ１００及び１４０に対応できる機能を有する点である。
【００７９】
配信サーバ１００と配信サーバ１４０は再生時間を管理する機能を持ち、各端末装置１２０−１〜１２０−ｎに向けてテストパケットを送出することにより算出した最長配信遅延時間をもとに同時に再生ができるように、各端末装置１２０−１〜１２０−ｎ毎の再生待ち時間を通知する。
【００８０】
各端末装置１２０−１〜１２０−ｎは、配信サーバ１００及び１４０夫々からの配信メディアデータを受信した後、配信サーバ１００及び１４０夫々より通知された再生待ち時間が経過するまで再生を停止する。全配信メディアデータの再生待ち時間が経過した後に再生を開始する。これにより、配信サーバ１００、１４０からの配信メディアデータを同時に再生することが可能となる。
【００８１】
ここで、複数のサーバからの配信メディアデータを複数の端末装置で同時に再生するには、全配信サーバ中の最長配信遅延時間に合わせて再生を開始すればよい。しかしながら、時刻同期がとれていないネットワークの場合、複数の配信サーバはメディアデータの配信を独立して行っているため、他の配信サーバよりも遅く配信を始めた配信サーバの配信遅延時間は、その配信サーバの配信時刻と一番早く配信を始めた配信サーバの配信時刻との差分だけ配信遅延時間が延びることになる。
【００８２】
つまり、実施の形態１において配信サーバ単位に求めた配信遅延時間は、各端末装置１２０−１〜１２０−ｎに対する相対的な時間であるため、その中で最も遅い配信遅延時間が実際の全配信サーバ中の最長配信遅延時間とは必ずしも同じではない。遅く配信を始めた配信サーバの配信時刻によっては、全端末装置１２０−１〜１２０−ｎの受信時刻が実施の形態１において算出した配信遅延時間の最も遅い時間経過した時よりも遅くなることがあるからである。
【００８３】
例えば、配信サーバ１００の最長配信遅延時間が配信サーバ１４０の最長配信遅延時間よりも長く、また配信サーバ１４０の配信時刻が配信サーバ１００の配信時刻より遅れた場合で、配信サーバ１００の配信時刻との差分だけ配信遅延時間が延びたことで配信サーバ１４０の最長配信遅延時間が配信サーバ１００の最長配信遅延時間よりも大きくなった場合である。ここで、配信サーバ１４０に付加された遅延時間が各端末装置１２０−１〜１２０−ｎに一律にかかっているため、各端末装置１２０−１〜１２０−ｎでの配信サーバ１４０の配信メディアデータの再生待ち時間に影響はない。
【００８４】
配信サーバから通知された再生待ち時間経過後に再生を開始すると、実施の形態１で記述したように、その配信サーバから配信されたメディアデータを各端末装置１２０−１〜１２０−ｎで同時に再生することが可能である。つまり、メディアデータの再生待ち時間経過後の時刻は、他の端末装置もそのメディアデータの再生待ち時間が経過後の時刻となる。これにより、各端末装置１２０−１〜１２０−ｎが受信したメディアデータの再生待ち時間経過後の時刻が最も遅い時刻に合わせて再生を開始すれば、複数の配信サーバからの配信メディアデータを複数の端末装置１２０−１〜１２０−ｎで同時に再生することが可能となる。
【００８５】
以下、図８及び図９を参照して具体的に説明する。
配信サーバ１００と配信サーバ１４０は、共に図４と同様の再生待ち時間管理テーブルを有し、各配信先の端末装置１２０−１〜１２０−４の再生待ち時間を管理する。配信サーバ１００及び１４０は、各配信先の端末装置１２０−１〜１２０−４に再生待ち時間を通知する。各端末装置１２０−１〜１２０−４は、図９に示す再生待ち時間管理テーブルを持ち、配信サーバ１００及び１４０夫々から通知された再生待ち時間を格納する。
【００８６】
まず、配信サーバ１００及び１４０のメディアデータの配信時刻が同じ場合について述べる。
端末装置１２０−１は、配信開始から１，０００ｍｓｅｃ後に配信サーバ１４０からのメディアデータを受信するが、再生待ち時間１，５００ｍｓｅｃを経過するまで再生を行わない。そして、配信開始から１，５００ｍｓｅｃ後、すなわち配信サーバ１４０からのメディアデータを受信してから５００ｍｓｅｃ後に配信サーバ１００からのメディアデータを受信する。
【００８７】
端末装置１２０−１は、配信サーバ１００に対しては再生待ち時間が０ｍｓｅｃであるため、配信サーバ１００からのメディアデータのみ再生する場合は受信後すぐに再生を開始できるが、配信サーバ１４０の再生待ち時間がまだ経過していないため再生を待つことになる。この場合、端末装置１２０−３の配信サーバ１４０に対する遅延時間が２，５００ｍｓｅｃであるので、配信開始２，５００ｍｓｅｃ後、すなわち配信サーバ１００からのメディアデータを受信してから１，０００ｍｓｅｃ後、配信サーバ１４０からのメディアデータの再生待ち時間が経過したため、全メディアデータの再生を開始する。
【００８８】
他の端末装置１２０−２、１２０−３、１２０−４も同様に、全配信メディアデータの再生待ち時間が経過した後に全配信メディアデータの再生を開始する。配信開始２，５００ｍｓｅｃ後に全ての端末装置１２０−１〜１２０−４がメディアデータの再生を開始する。
【００８９】
次に、配信サーバ１００及び１４０のメディアデータの配信時刻が異なる場合について述べる。
配信サーバ１００の配信時刻が配信サーバ１４０の配信時刻より２，０００ｍｓｅｃ遅い場合、端末装置１２０−１は、まず配信サーバ１４０の配信開始から１，０００ｍｓｅｃ後に配信サーバ１４０からのメディアデータを受信する。そして、配信開始から２，０００ｍｓｅｃ後、すなわち端末装置１２０−１が配信サーバ１４０からのメディアデータを受信してから１，０００ｍｓｅｃ後に配信サーバ１４０が配信を開始する。
【００９０】
そして、配信サーバ１４０が配信開始から２，５００ｍｓｅｃ後、すなわち配信サーバ１００がメディアデータの配信開始から５００ｍｓｅｃ後に配信サーバ１４０のメディアデータの再生待ち時間が経過する。しかしこの場合、配信サーバ１００からのメディアデータを未だ受信していないために再生開始を待つ。すなわち、端末装置１２０−１は、配信サーバ１００との間の遅延時間が１，５００ｍｓｅｃあるので、配信サーバ１００からのメディアデータを受信することができない。そして、配信サーバ１４０の配信開始から３，５００ｍｓｅｃ後、すなわち配信サーバ１４０のメディアデータの再生待ち時間が経過してから１，０００ｍｓｅｃ後に配信サーバ１００からのメディアデータを受信する。端末装置１２０−１の配信サーバ１００に対する再生待ち時間は０ｍｓｅｃであるので、この時点でメディアデータの再生を開始する。
【００９１】
端末装置１２０−２、１２０−３、１２０−４も同様に、全配信メディアデータの再生待ち時間が経過した後、全配信メディアデータの再生を開始する。配信サーバ１４０が配信を開始してから３，５００ｍｓｅｃ後に全ての端末装置がメディアデータの再生を開始する。
【００９２】
複数の配信サーバは互いの存在を意識することなく、実施の形態１のように再生待ち時間のみを各端末装置に通知し、各端末装置では、全ての配信メディアデータの再生待ち時間が経過した時点で再生を開始することで複数の端末装置間で走りを比較しながら意見交換を行うなどの映像コミュニケーションが可能となる。
【００９３】
（実施の形態３）
本発明の実施の形態３に係る映像コミュニケーションシステムは、ネットワークの伝送ゆらぎを考慮して、映像再生時間を制御する機能を有するものである。なお、映像コミュニケーションシステム自体の基本的な構成は図１と同じであるので、図１を援用することとする。
【００９４】
ネットワークの伝送ゆらぎを考慮する場合、再生時刻はゆらぎを吸収するためにバッファにメディアデータを蓄積する時間だけ遅れることになる。伝送ゆらぎがないネットワークの場合、各端末装置１２０−１〜１２０−ｎの再生待ち時間は前述の（６）式で求められるが、ネットワークの伝送ゆらぎを考慮した場合の各端末装置１２０−１〜１２０−ｎにおける実際の再生待ち時間は（７）式で求めることができる。
【００９５】
（実際の再生待ち時間）＝（再生待ち時間）＋（ゆらぎ吸収時間）・・・（７）
【００９６】
ゆらぎ吸収時間は、ネットワークの伝送ゆらぎによる遅延を吸収するための時間である。各端末装置１２０−１〜１２０−ｎでは、配信サーバ１００から各端末装置１２０−１〜１２０−ｎ間のネットワークの伝送ゆらぎを吸収する時間が予め設定されている。
【００９７】
最適なネットワークの伝送ゆらぎ吸収時間を求める手段としては、例えば特開２００２−１８５４９８号公報で示されている手段がある。この手段によると、基準とする受信パケットに対する各受信パケットの相対的なゆらぎを（８）式より求めることができる。
【００９８】
（相対的なゆらぎ）＝｛（ｎ番目の受信時刻）−（基準パケット受信時刻）｝−｛（ｎ番目の送信時刻）−（基準パケット送信時刻）｝・・・（８）
【００９９】
（８）式で求まる相対的なゆらぎを元にゆらぎ吸収時間を最適化する技術が開示されている。このようにして求めたゆらぎ吸収時間をもとに（７）式により再生待ち時間を求め、再生待ち時間が最も遅い端末装置に合わせて他の端末装置も再生を行うことで、ゆらぎのあるネットワーク上のシステムでも各端末装置間で同時にメディアデータを視聴することができる。したがって、各端末装置間で、常に良好なコミュニケーションをとることが可能となる。
【０１００】
（実施の形態４）
図１０は、本発明の実施の形態４に係る映像コミュニケーションシステムの構成を示すブロック図である。
本実施の形態に係る映像コミュニケーションシステムは、今までとは逆に複数の端末装置夫々が配信したメディアデータを、１台の配信サーバで同時に録画し、その録画したメディアデータを各端末装置へ再配信するシステムである。
【０１０１】
図１０において、まず配信サーバ１４５が各端末装置１２０−１〜１２０−ｎに向けて配信遅延時間測定用のテストパケットを配信する。このテストパケットにはテストパケット配信時刻が格納されている。テストパケットを受信した各端末装置１２０−１〜１２０−ｎはテストパケットに対する応答パケットを送信する。この応答パケットにはテストパケット配信時刻と応答パケット配信時刻が格納されている。応答パケットを受信した配信サーバ１４５は、続けて２次テストパケットを各端末装置１２０−１〜１２０−ｎに配信する。２次テストパケットには応答パケット配信時刻が格納されている。
【０１０２】
各端末装置１２０−１〜１２０−ｎは、２次テストパケットに対する２次応答パケットを送信する。この２次応答パケットには２次テストパケットに格納されていた応答パケット配信時刻と２次テストパケットを受信した時刻とが格納されている。
【０１０３】
配信サーバ１４５は、テストパケット配信時刻と応答パケット受信時刻とにより各端末装置１２０−１〜１２０−ｎへのメディアデータの配信遅延時間及び各端末装置１２０−１〜１２０−ｎの再生待ち時間を管理し、また応答パケット配信時刻と２次テストパケット受信時刻に基づいて各端末装置１２０−１〜１２０−ｎから配信サーバ１４５へのメディアデータの配信遅延時間及び配信サーバ１４５の再生待ち時間を管理する。
【０１０４】
各端末装置１２０−１〜１２０−ｎから配信サーバ１４５への配信遅延時間の最も遅い時間に合わせるため、各端末装置１２０−１〜１２０−ｎの再生待ち時間経過後に他の端末装置からの配信メディアデータを再生すれば、全配信メディアデータの録画を配信サーバ１４５にて開始することが可能となる。
【０１０５】
例えば、複数の端末装置１２０−１〜１２０−ｎが別々に楽器を演奏し、配信サーバ１４５で再生待ち時間経過後に同時に演奏を録画や録音（ミキシング）すれば、オーケストラなどの演奏として再現することが可能である。配信サーバ１４５で１つの演奏にまとまったデータを配信サーバ１４５から配信すれば、各端末装置１２０−１〜１２０−ｎが別々の場所にいながら音合わせやそれに対する意見交換を行うなどの映像コミュニケーションが可能となる。
【０１０６】
（実施の形態５）
図１１は、本発明の実施の形態５に係る映像コミュニケーションシステムの構成を示すブロック図である。
上述した実施の形態４に係る映像コミュニケーションシステムでは、配信サーバ１４５からメディアデータを配信することを前提としていたが、必ずしもこれに限定されるものではなく、端末装置の１つがメディアデータの配信元となる場合でも本発明は適用可能である。
【０１０７】
図１１では、端末装置１２０−１から複数の端末装置１２０−２〜１２０−ｎにメディアデータを配信し、各端末装置１２０−２〜１２０−ｎにおいて、受信したメディアデータを同時に再生することを想定している。メディアデータの配信を行う端末装置１２０−１は、他の端末装置１２０−２〜１２０−ｎ夫々における再生待ち時間割当て機能を有している。
【０１０８】
つまり、メディアデータの配信を行う端末装置１２０−１は、自端末装置から他の端末装置１２０−２〜１２０−ｎ夫々までの配信遅延時間を算出して最長配信遅延時間を検出し、更に再生待ち時間を算出して各端末装置１２０−２〜１２０−ｎに再生待ち時間を通知する。例えば、端末装置１２０−１が撮影したビデオ映像などを複数の端末装置１２０−２〜１２０−ｎに送信し、複数の端末装置１２０−２〜１２０−ｎ間で映像を同時に見ながら感想を述べ合うなどの映像コミュニケーションが可能となる。
【０１０９】
（実施の形態６）
図１２は、本発明の実施の形態６に係る映像コミュニケーションシステムの構成を示すブロック図である。
上述した実施の形態１に係る映像コミュニケーションシステムとの違いは、複数の端末装置１２０−１〜１２０−ｎがローカルネットワーク上にある点と、ＮＡＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ）機能などによるアドレス変換を行い配信サーバ１４７からのメディアデータを中継して複数の端末装置１２０−１〜１２０−ｎに配信する機能、配信サーバ１４７が持つ再生待ち時間割当て機能及び複数の端末装置１２０−１〜１２０−ｎが持つ配信要求機能を備える中継装置１５０を有し、中継装置１５０を配信サーバ１４７と複数の端末装置１２０−１〜１２０−ｎとの間に介在させている点である。
【０１１０】
次に、本実施の形態に係る映像コミュニケーションシステムにおいて、複数の端末装置１２０−１〜１２０−ｎによる映像コミュニケーション時に配信サーバ１４７からのメディアデータを再生する場合の動作について述べる。なお、各部は相互に密接に関連して動作し、その動作は複雑であるため、以下の説明では図１３〜図１５を参照する。図１３〜図１５は各動作に番号を付して、動作順序を明確に示すための図である。
【０１１１】
まず、図１３を参照して説明する。
端末装置１２０−１は、実施の形態１に係る映像コミュニケーションシステムと同様に端末装置１２０−２〜１２０−ｎと映像コミュニケーション行っている。配信サーバ１４７から配信された共通のメディアデータを複数の端末装置１２０−１〜１２０−ｎで同時に再生するため、例えば端末装置１２０−１の配信パケット管理部１２９が中継装置１５０に配信要求パケットを送信する。この配信要求パケットには端末装置１２０−１〜１２０−ｎまでのアドレスと要求するコンテンツが格納されている（手順１１）。
【０１１２】
中継装置１５０の配信要求獲得部１５１は、端末装置１２０−１からの配信要求パケットに対し、配信先の端末装置１２０−１〜１２０−ｎ宛にテストパケットを送信する。このテストパケットには中継装置１５０がテストパケットを配信した時刻が格納されている（手順１２）。
【０１１３】
各端末装置１２０−１〜１２０−ｎの配信パケット管理部１２９は、中継装置１５０からのテストパケットを受信すると、これに対する応答パケットを中継装置１５０へ送信する。この応答パケットには中継装置１５０がテストパケットを配信した時刻が格納されている（手順１３）。
【０１１４】
中継装置１５０の再生待ち時間管理部１５４は、各端末装置１２０−１〜１２０−ｎからの応答パケットを受信すると、応答パケットを受信した時刻を取得する。そして、各端末装置１２０−１〜１２０−ｎへテストパケットを配信した時刻と各端末装置１２０−１〜１２０−ｎからの応答パケットを受信した時刻とにより各端末装置１２０−１〜１２０−ｎ毎の中継装置１５０から各端末装置１２０−１〜１２０−ｎまでの配信遅延時間を算出し、その結果を相互に比較して最長配信遅延時間を検出する。そして、検出した最長配信遅延時間に合わせて各端末装置１２０−１〜１２０−ｎがメディアデータの再生を開始することとして、各端末装置１２０−１〜１２０−ｎがメディアデータを受信してから再生するまでの待ち時間を算出する（手順１４）。そして、中継装置１５０の配信パケット管理部１５３が、算出した再生待ち時間を各端末装置１２０−１〜１２０−ｎに通知する（手順１５）。
【０１１５】
次に、図１４を参照して説明する。
中継装置１５０が各端末装置１２０−１〜１２０−ｎに再生待ち時間を通知した後、配信サーバ１４７に配信要求パケットを送信する（手順１６）。この配信要求パケットには端末装置１２０−１〜１２０−ｎまでのアドレスと要求するコンテンツが格納されている。配信サーバ１４７の配信要求獲得部１０１は、中継装置１５０からの配信要求パケットを受信すると、中継装置１５０宛にテストパケットを送信する。このテストパケットには配信サーバ１４７がテストパケットを配信した時刻が格納されている（手順１７）。中継装置１５０の配信パケット管理部１５３は、配信サーバ１４７からのテストパケットを受信すると、それに対する応答パケットを配信サーバ１４７へ送信する。このとき、各端末装置１２０−１〜１２０−ｎの最長再生待ち時間経過してから応答パケットを送信する（手順１８）。この応答パケットには配信サーバ１４７がテストパケットを配信した時刻が格納されている。
【０１１６】
配信サーバ１４７の再生待ち時間管理部１０４は、中継装置１５０からの応答パケットを受信すると、それを受信した時刻を取得する。そして、中継装置１５０へテストパケットを配信した時刻と中継装置１５０からの応答パケットを受信した時刻とにより配信遅延時間を算出し、中継装置１５０に再生待ち時間を通知する（手順１９）。このとき算出された配信遅延時間は、配信サーバ１４７から中継装置１５０までの配信遅延時間に中継装置１５０から複数の端末装置１２０−１〜１２０−ｎの最長配信遅延時間が加算された時間となっている。このため、実際は配信サーバ１４７から最も配信遅延時間のかかる端末装置までの配信遅延時間となる。なお、配信サーバ１４７は、中継装置が１つの場合には再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知する。
【０１１７】
次に、図１５を参照して説明する。
配信サーバ１４７が中継装置１５０に再生待ち時間を通知した後、要求されたメディアデータをメディアデータ保持部１０２より取り出してメディアデータ配信部１０３にてそのメディアデータにパケットヘッダを付加してパケット化し、中継装置１５０宛にＩＰネットワーク１０１へ送出する（手順２０）。
【０１１８】
中継装置１５０の再生待ち時間管理部１５４は、メディアデータを受信した後、中継装置１５０宛のアドレスを複数の端末装置１２０−１〜１２０−ｎ宛のアドレスに変換し、配信サーバ１４７から通知された再生待ち時間経過後に各端末装置１２０−１〜１２０−ｎへメディアデータを中継する（手順２１）。端末装置１２０−１〜１２０−ｎはメディアデータを受信した後、中継装置１５０から通知された待ち時間経過後に再生を開始する（手順２２）。これにより、各端末装置１２０−１〜１２０−ｎ間で共通のメディアデータを同じ時刻に同じ場面を視聴することが可能となる。そして、各端末装置１２０−１〜１２０−ｎ間で共通のメディアデータを同じ時刻に同じ場面を視聴しながら意見交換などを行い、互いに映像コミュニケーションを楽しむことができる（手順２３）。
【０１１９】
以上説明した、映像コミュニケーションシステムの特徴的な動作手順をまとめると、図１６に示すようになる。
【０１２０】
まず、中継装置１５０が、配信要求を受けた各端末装置１２０−１〜１２０−ｎにテストパケットを配信した時刻と応答パケットを受信した時刻を取得し、取得した時刻に基づいて算出した各端末装置１２０−１〜１２０−ｎ毎の再生待ち時間を通知する（ステップ２０）。次に、配信サーバ１４７が配信要求を受けた中継装置１５０へテストパケットを配信した時刻と応答パケットを受信した時刻を取得し、取得した時刻に基づいて算出した中継装置１５０の再生待ち時間を通知する（ステップ２１）。
【０１２１】
次いで、配信サーバ１４７が各端末装置１２０−１〜１２０−ｎに再生待ち時間を通知した後、要求されたメディアデータを配信する（ステップ２２）。次いで、中継装置１５０が、配信サーバ１４７より取得したメディアデータを再生待ち時間経過後に各端末装置１２０−１〜１２０−ｎ宛に中継する（ステップ２３）。各端末装置１２０−１〜１２０−ｎは、受信したメディアデータを再生待ち時間経過後に再生を開始する（ステップ２４）。
【０１２２】
以上より、配信サーバ１４７とローカルアドレスをもつ複数の端末装置１２０−１〜１２０−ｎとの間にあるグローバルアドレスをもつ中継装置１５０が、複数の端末装置１２０−１〜１２０−ｎへのテストパケットの配信時刻と応答パケットの到着時刻の情報から各端末装置１２０−１〜１２０−ｎに配信されるメディアデータの遅延を導出し、メディアデータの再生時間の割り当てを行うことにより、ＩＰネットワーク１１０上の配信サーバ１４７からは直接アクセスすることのできないローカルアドレスをもつ複数の端末装置１２０−１〜１２０−ｎでもメディアデータを同時に再生することが可能となる。また、配信サーバ１４７は中継装置１５０からの配信要求のみ受けるだけなので、同じメディアデータを複数配信する必要がなく、ネットワークの帯域を圧迫することがない。
【０１２３】
なお、上記実施の形態６では、中継装置１５０下の複数の端末装置１２０−１〜１２０−ｎがローカルネットワーク上にある場合としたが、ローカルネットワーク上になくとも構わない。つまり、中継装置１５０がＮＡＴ機能を持つことでローカルアドレスを持つ端末装置についても配信遅延時間を求めることができるのであって、ＮＡＴ機能を持たない場合は、中継装置１５０の配下には通常のグローバルアドレスを持つ端末装置となる。当然ながらこの場合も中継装置１５０が配下の端末装置までの配信遅延時間を求めるので、配信サーバ１４７の負荷を軽減することができる。
【０１２４】
【発明の効果】
以上説明したように、本発明によれば、配信サーバが複数の端末装置へのテストパケットの配信時刻と応答パケットの到着時刻から各端末装置に配信されるメディアデータの遅延を導出し、メディアデータの再生時間の割り当てを行うことにより、同期のとれていないネットワークを介しても複数の端末装置で配信サーバからのメディアデータを同じ時刻に同じ場面を見ることが可能となり、複数の端末装置間で同じメディアデータを見ながらコミュニケーションをとることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像コミュニケーションシステムの構成を示すブロック図
【図２】本発明の実施の形態１に係る映像コミュニケーションシステムの動作を説明するための図
【図３】本発明の実施の形態１に係る映像コミュニケーションシステムの動作を説明するための図
【図４】本発明の実施の形態１に係る映像コミュニケーションシステムの配信サーバが有する再生時刻管理テーブルを示す図
【図５】本発明の実施の形態１に係る映像コミュニケーションシステムの各端末装置が有する再生時刻管理テーブルを示す図
【図６】本発明の実施の形態１に係る映像コミュニケーションシステムの動作手順を示すフロー図
【図７】本発明の実施の形態２に係る映像コミュニケーションシステムの構成を示すブロック図
【図８】本発明の実施の形態２に係る映像コミュニケーションシステムの配信サーバが有する再生時刻管理テーブルを示す図
【図９】本発明の実施の形態２に係る映像コミュニケーションシステムの各端末装置が有する再生時刻管理テーブルを示す図
【図１０】本発明の実施の形態４に係る映像コミュニケーションシステムの構成を示すブロック図
【図１１】本発明の実施の形態５に係る映像コミュニケーションシステムの構成を示すブロック図
【図１２】本発明の実施の形態６に係る映像コミュニケーションシステムの構成を示すブロック図
【図１３】本発明の実施の形態６に係る映像コミュニケーションシステムの動作を説明するための図
【図１４】本発明の実施の形態６に係る映像コミュニケーションシステムの動作を説明するための図
【図１５】本発明の実施の形態６に係る映像コミュニケーションシステムの動作を説明するための図
【図１６】本発明の実施の形態６に係る映像コミュニケーションシステムの動作手順を示すフロー図
【図１７】従来の映像コミュニケーションシステムの構成を示すブロック図
【符号の説明】
１００、１４５、１４７ 配信サーバ
１０１ 配信要求獲得部
１０２ メディアデータ保持部
１０３ メディアデータ配信部
１０４ 再生待ち時間管理部
１１０ ＩＰネットワーク
１２０−１〜１２０−ｎ 端末装置
１２１ 映像取得部
１２２ 符号化部
１２３ メディアデータ送信部
１２４ メディアデータ受信部
１２５ 復号化部
１２６ 映像合成部
１２７ 映像再生部
１２８ 映像出力部
１２９ 配信パケット管理部
１３０ 再生待ち時間管理部
１５０ 中継装置
１５１ 配信要求獲得部
１５２ 中継部
１５３ 配信パケット管理部
１５４ 再生待ち時間管理部
１５５ アドレス変換部
【発明の属する技術分野】
本発明は、像等のメディアデータを端末装置に配信する配信サーバと、この配信サーバに対してＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク等のネットワークを介して接続された複数の端末装置とを備えた映像コミュニケーションシステム及び映像コミュニケーション方法に関する。
【０００２】
【従来の技術】
図１７は、従来の映像コミュニケーションシステムの構成を示すブロック図である。
この図において、従来の映像コミュニケーションシステムは、端末装置にメディアデータを配信する配信サーバ１７０１と、ＩＰネットワーク１７２０を介して配信サーバ１７０１に接続された複数の端末装置１７１０−１、１７１０−２、１７１０−３、…、１７１０−ｎ（以下、１７１０−１〜１７１０−ｎと記載する）とを備えて構成される。配信サーバ１７０１は、各端末装置１７１０−１〜１７１０−ｎからのメディアデータの配信要求を獲得する配信要求獲得部１７０２と、メディアデータを保持するメディアデータ保持部１７０３と、各端末装置１７１０−１〜１７１０−ｎからの要求に応じてメディアデータを配信する配信部１７０４とを備えている。
【０００３】
端末装置１７１０−１〜１７１０−ｎは全て同一構成であり、端末装置１７１０−１を例に挙げると、配信サーバ１７０１に対してメディアデータの配信を要求する配信パケット管理部１７１１と、配信サーバ１７０１や他の端末装置１７１０−２〜１７１０−ｎからのメディアデータを受信するメディアデータ受信部１７１２と、メディアデータ受信部１７１２で受信されたメディアデータから映像信号を復号する復号化部１７１３と、複数のメディアデータで一画面を合成する必要がある場合に、復号化部１７１３で復号された複数のメディアデータを一画面に合成する映像合成部１７１４と、映像合成部１７１４からの映像情報を再生する映像再生部１７１５と、映像再生部１７１５で再生された映像を表示するテレビやモニタなどの映像出力部１７１６と、ビデオカメラ、ビデオデッキ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどの映像入力装置からの映像を取得する映像取得部１７１７と、この映像取得部１７１７で取得された映像を予め設定されたフレームサイズやフレームレートで圧縮符号化してメディアデータを生成する符号化部１７１８と、この符号化部１７１８で生成されたメディアデータにパケットヘッダを付与してパケット化し、ＩＰネットワーク１７２０へ送出するメディアデータ送信部１７１９とを備えて構成される。
【０００４】
次に、上記従来の映像コミュニケーションシステムの動作について説明する。但し、端末装置１７１０−１が他の端末装置１７１０−２〜１７１０−ｎと互いに映像コミュニケーションを行う場合について述べる。
【０００５】
映像取得部１７１７にてビデオカメラ、ビデオデッキ、ＣＣＤカメラなどの映像入力装置から取得された映像が符号化部１７１８にて符号化されてメディアデータが生成される。生成されたメディアデータはメディアデータ送信部１７１９にてパケットヘッダが付与されてパケット化される。そして、指定された相手先端末装置１７１０−２、１７１０−３、…又は１７１０−ｎに向けてＩＰネットワーク１７２０に送出される。
【０００６】
一方、メディアデータ受信部１７１２にて他の端末装置１７１０−２〜１７１０−ｎからのメディアデータが受信されると、受信されたメディアデータが復号化部１７１３で復号化される。そして、復号化された複数のメディアデータが必要に応じて一画面に合成された後、再生映像信号に変換されて映像出力部１７１６より映像出力される。以上の動作は端末装置１７１０−１〜１７１０−ｎの全てにおいて同様に行われる。これにより、各端末装置１７１０−１〜１７１０−ｎでは、互いに相手端末装置から送信された映像を見ながら会話などを行う映像コミュニケーションが可能となる。
【０００７】
次に、複数の端末装置による映像コミュニケーションが行われている最中に、配信サーバ１７０１から配信された同一のメディアデータを各端末装置１７１０−１〜１７１０−ｎで再生する場合について述べる。
【０００８】
例えば端末装置１７１０−１が前述した方法で他の端末装置１７１０−２、１７１０−３、…又は１７１０−ｎと映像コミュニケーションを行っている最中に、任意の端末装置から配信サーバ１７０１に向けて配信要求パケットが送信されると、配信サーバ１７０１はその配信要求を受けて、要求されたメディアデータをメディアデータ保持部１７０３から取り出す。そして、取り出したメディアデータにパケットヘッダを付加してパケット化し、ＩＰネットワーク１７２０に送出する。映像コミュニケーションを行っている端末装置１７１０−１〜１７１０−ｎは、配信サーバ１７０１から配信されたメディアデータの受信すると、それを復号して再生する。
【０００９】
以上より、端末装置１７１０−１〜１７１０−ｎは、配信サーバ１７０１から配信された同一のメディアデータを視聴しながら、他の複数の端末装置間で映像コミュニケーションを行うことが可能となる。
【００１０】
なお、上記技術内容に類似する技術として、要求獲得手段が、予め定められた規定時間内に、複数の端末局から同一の指定番組に対する配信要求を獲得し、チャネル決定手段が、複数の端末局に同一のチャネルを計時手段からの通知により規定時間経過時に割り当て、配信手段からのメディアデータの配信を同一チャネルで行う技術がある（例えば、特許文献１参考）。
【００１１】
【特許文献１】
特開平７−１１１６４８号公報（第４及び５頁、図１）
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の映像コミュニケーションシステムにおいては、次のような問題がある。
すなわち、各端末装置１７１０−１〜１７１０−ｎがメディアデータの再生を独立に行っているので、実時間で映像コミュニケーションを行っている複数の端末装置１７１０−１〜１７１０−ｎが配信サーバ１７０１から配信された同一のメディアデータを再生して視聴する場合、各端末装置１７１０−１〜１７１０−ｎが受信する時刻にずれが生じると、お互いの端末装置で視聴している場面がずれてしまう現象が起こる。各端末装置１７１０−１〜１７１０−ｎのユーザーがメディアデータのある場面についての意見を述べていても、他の端末装置１７１０−１〜１７１０−ｎのユーザーはメディアデータのどの場面に対する意見を述べているのか理解し難くなる。その結果、映像コミュニケーションが成り立たなくなってしまう。
【００１３】
また、例えばＲＦＣ９５８（Ｎｅｔｗｏｒｋ Ｗｏｒｋｉｎｇ Ｇｒｏｕｐ Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ：９５８）のＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）などのネットワークに接続された端末装置や、サーバに内蔵される時計の時刻を設定する手段により配信サーバと複数の端末装置で時刻同期のとれているネットワークであれば、配信サーバから配信されたメディアデータを複数の端末装置で受信した時刻をそれぞれ比較することで受信時刻の一番遅い端末装置を求めてこの受信時刻を再生時間とし、他の端末装置は一番遅い端末装置の受信時刻と夫々の受信時刻との差分だけ待ってから再生を開始することで、全端末装置が同時に映像を再生することが可能となる。しかしながら、時刻同期がとれていないネットワークの場合は時刻を比較することができないため、この方法では求めることができない。
【００１４】
本発明は係る点に鑑みてなされたもので、配信サーバから配信されたメディアデータの同じ場面を同時に複数の端末装置で視聴しながら映像コミュニケーションを行うことができる映像コミュニケーションシステム及び映像コミュニケーション方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
請求項１に係る発明の映像コミュニケーションシステムは、ネットワークに接続された複数の端末装置に対してメディアデータを配信する配信サーバを具備する映像コミュニケーションシステムであって、前記配信サーバは、前記複数の端末装置夫々にテストパケットを配信した時刻を取得するテストパケット配信時刻取得手段と、前記複数の端末装置夫々にテストパケットを配信した後に前記複数の端末装置夫々から送信された応答パケットを受信した時刻を取得する応答パケット受信時刻取得手段と、前記テストパケット配信時刻取得手段で取得された前記複数の端末装置夫々に対するテストパケット配信時刻と前記応答パケット受信時刻取得手段で取得された前記複数の端末装置夫々からの応答パケット受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求める配信遅延時間導出手段と、前記配信遅延時間導出手段にて求められた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知する再生待ち時間通知手段とを具備し、前記複数の端末装置夫々は、前記配信サーバから配信されたテストパケットに対する応答パケットを送信する応答パケット送信手段と、前記配信サーバから配信されたメディアデータを前記配信サーバより通知された再生待ち時間経過後に再生を行うメディアデータ再生手段とを具備する構成を採る。
【００１６】
この構成によれば、配信サーバが各端末装置に配信するメディアデータの配信遅延時間を導出し、各端末装置へのメディアデータの再生待ち時間の割り当てを行うことにより、複数の端末装置で配信サーバからの共通のメディアデータを同時に再生でき、同じ時刻に同じ場面を視聴しながら複数の端末装置間で映像コミュニケーションを行うことが可能となる。
【００１７】
請求項２に係る発明の映像コミュニケーションシステムは、請求項１に係る発明の映像コミュニケーションシステムにおいて、前記配信サーバが複数あって、各配信サーバが前記複数の端末装置夫々に対してメディアデータの配信を行う場合、前記複数の端末装置夫々のメディアデータ再生手段は、各配信サーバ間の配信開始時刻の差分に応じてメディアデータ再生時刻を変更する構成を採る。
【００１８】
この構成によれば、配信サーバが複数ある場合、各端末装置が各配信サーバ間の配信開始時刻の差分に応じてメディアデータを再生する時刻を変更するので、配信サーバが複数あっても複数の端末装置で各配信サーバからの共通のメディアデータを同時に再生することができる。
【００１９】
請求項３に係る発明の映像コミュニケーションシステムは、請求項１又は請求項２のいずれかに係る発明の映像コミュニケーションシステムにおいて、前記複数の端末装置夫々のメディアデータ再生手段は、メディアデータ再生時刻をネットワークの伝送ゆらぎによる遅延を吸収するためのゆらぎ吸収時間に応じて変更する構成を採る。
【００２０】
この構成によれば、各端末装置がネットワークの伝送ゆらぎによる遅延を吸収するためのゆらぎ吸収時間に応じてメディアデータを再生する時刻を変更するので、ネットワークの伝送ゆらぎにより、各端末装置でのメディアデータの再生開始のずれを解消することができる。
【００２１】
請求項４に係る発明の映像コミュニケーションシステムは、ネットワークに接続された複数の端末装置と、メディアデータを配信する配信サーバと、前記配信サーバからのメディアデータを中継して前記複数の端末装置で受信可能とする中継装置と、を具備する映像コミュニケーションシステムであって、前記配信サーバは、前記中継装置にテストパケットを配信した時刻を取得する第１のテストパケット配信時刻取得手段と、前記中継装置にテストパケットを配信した後に当該中継装置から送信された応答パケットを受信した時刻を取得する第１の応答パケット受信時刻取得手段と、前記中継装置にテストパケットを配信したテストパケット配信時刻と前記中継装置から送信された応答パケットを受信した応答パケット受信時刻とにより前記中継装置へのメディアデータの配信遅延時間を求める第１の配信遅延時間導出手段と、前記第１の配信遅延時間導出手段にて求められた前記中継装置に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記中継装置に通知する第１の再生待ち時間通知手段とを具備し、前記中継装置は、前記複数の端末装置夫々にテストパケットを配信した時刻を取得する第２のテストパケット配信時刻取得手段と、前記複数の端末装置夫々に対して配信したテストパケットに対応して前記複数の端末装置夫々から送信された応答パケットを受信した時刻を取得する第２の応答パケット受信時刻取得手段と、前記複数の端末装置夫々へのテストパケット配信時刻と前記複数の端末装置夫々からの応答パケット受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求める第２の配信遅延時間導出手段と、前記第２の配信遅延時間導出手段にて求められた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知する第２の再生待ち時間通知手段と、前記配信サーバから配信されたテストパケットに対して応答パケットを送信する第１の応答パケット送信手段と、前記配信サーバから配信されたメディアデータを前記配信サーバから通知された再生待ち時間経過後に前記複数の端末装置夫々に配信する中継手段とを具備し、前記複数の端末装置夫々は、前記中継装置から配信されたテストパケットに対する応答パケットを送信する第２の応答パケット手段と、前記中継装置にて中継された前記配信サーバからのメディアデータを前記中継装置より通知された再生待ち時間経過後に再生するメディアデータ再生手段と、を具備する構成を採る。
【００２２】
この構成によれば、例えば配信サーバからの映像を多数の端末装置が配信を希望し、配信サーバ１台では全ての端末装置の配信遅延時間を算出するのに時間がかかってしまうような場合でも中継装置が配下の端末装置までの配信遅延時間を求めるので、配信サーバの負荷を軽減することができる。これにより、多数の端末装置間でメディアデータの同時再生が可能となる。
【００２３】
請求項５に係る発明の映像コミュニケーションシステムは、請求項４に係る発明の映像コミュニケーションシステムにおいて、前記配信サーバの第１の再生待ち時間通知手段は、前記中継装置が１つの場合には再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、前記中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知する構成を採る。
【００２４】
この構成によれば、中継装置が１つの場合、配信サーバは再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知する中継装置に数によらず複数の端末装置で各配信サーバからの共通のメディアデータを同時に再生することができる。
【００２５】
請求項６に係る発明の映像コミュニケーション方法は、配信サーバがネットワークに接続された複数の端末装置に対してメディアデータの配信を行う映像コミュニケーション方法であって、前記配信サーバは、前記複数の端末装置夫々へのテストパケット配信時刻と当該パケットの配信により前記複数の端末装置夫々から送信された応答パケットの受信時刻とにより前記複数の端末装置夫々に対するメディアデータの配信遅延時間を求め、求めた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知し、前記複数の端末装置夫々は、前記配信サーバより通知された再生待ち時間経過後に前記配信サーバから配信されたメディアデータの再生を行う。
【００２６】
この方法によれば、配信サーバが各端末装置に配信するメディアデータの配信遅延時間を導出し、各端末装置へのメディアデータの再生待ち時間の割り当てを行うことにより、複数の端末装置で配信サーバからの共通のメディアデータを同時に再生でき、同じ時刻に同じ場面を視聴しながら複数の端末装置間で映像コミュニケーションを行うことができる映像コミュニケーションシステムを提供できる。
【００２７】
請求項７に係る発明の映像コミュニケーション方法は、配信サーバがネットワークに接続された複数の端末装置に対して中継装置を介してメディアデータの配信を行う映像コミュニケーション方法であって、前記配信サーバは、前記中継装置へのテストパケット配信時刻と当該パケットの配信により前記中継装置から送信された応答パケットの受信時刻とにより前記中継装置に対するメディアデータの配信遅延時間を求め、求めた配信遅延時間から前記中継装置に対するメディアデータの再生待ち時間の割り当てを行い、前記中継装置は、前記複数の端末装置夫々へのテストパケット配信時刻と当該パケットの配信により前記複数の端末装置夫々から送信された応答パケットの受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求め、求めた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知し、更に前記配信サーバから配信されたメディアデータを前記配信サーバから通知された再生待ち時間経過後に前記複数の端末装置夫々に配信し、前記複数の端末装置夫々は、前記中継装置にて中継された前記配信サーバからのメディアデータを前記中継装置にて割り当てられた再生待ち時間経過後に再生する。
【００２８】
この方法によれば、例えば配信サーバからの映像を多数の端末装置が配信を希望し、配信サーバ１台では全ての端末装置の配信遅延時間を算出するのに時間がかかってしまうような場合でも、中継装置が配下の端末装置までの配信遅延時間を求めるので、配信サーバの負荷を軽減することができる。これにより、多数の端末装置間で同じメディアデータを見ながらコミュニケーションをとることができる映像コミュニケーションシステムを提供することが可能となる。
【００２９】
【発明の実施の形態】
本発明の骨子は、配信サーバが複数の端末装置夫々に配信するメディアデータの配信遅延時間を導出して、各端末装置へのメディアデータの再生待ち時間の割り当てを行うことにより、各端末装置で配信サーバからの共通のメディアデータを同時に再生できるようにすることである。
【００３０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３１】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像コミュニケーションシステムの構成を示すブロック図である。
この図において、本実施の形態に係る映像コミュニケーションシステムは、配信サーバ１００と、インターネットプロトコルに準拠するＩＰネットワーク１１０を介して配信サーバ１００に接続された複数の端末装置１２０−１、１２０−２、１２０−３、…、１２０−ｎとを備えている。
【００３２】
配信サーバ１００は、符号化されたメディアデータを保持し、任意の端末装置１２０−１〜１２０−ｎからの配信要求に応じてメディアデータをパケット化してＩＰネットワーク１１０へ送出するものであり、配信要求獲得部１０１と、メディアデータ保持部１０２と、メディアデータ配信部１０３と、再生待ち時間管理部１０４とを備えている。
【００３３】
配信要求獲得部１０１は、任意の端末装置１２０−１〜１２０−ｎから送信された配信要求パケットを受信することで、要求されたメディアデータをメディアデータ保持部１０２より取り出してメディアデータ配信部１０３に入力する。メディアデータ配信部１０３は、配信要求獲得部１０１によって選択されたメディアデータをパケット化してＩＰネットワーク１１０へ送出する。再生待ち時間管理部１０４は、配信サーバ１００から各端末装置１２０−１〜１２０−ｎまでの遅延時間情報を管理する。すなわち、各端末装置１２０−１〜１２０−ｎにパケットを配信した時刻と、このパケットを配信することで各端末装置１２０−１〜１２０−ｎから送信される応答パケットを受信した時刻とを夫々取得し、これらの時刻に基づいて各端末装置１２０−１〜１２０−ｎに対する配信遅延時間を導き出す。そして、導き出した各端末装置１２０−１〜１２０−ｎに対する配信遅延時間から最長配信遅延時間を求め、各端末装置１２０−１〜１２０−ｎにおける再生待ち時間を通知する。
【００３４】
各端末装置１２０−１〜１２０−ｎは、配信サーバ１００から配信されるメディアデータのパケットを受信し、これを所定の符号化方法に対応した復号化方法で復号した後、モニタやテレビなどの映像出力装置へ出力する。また、他の端末装置から送信されたメディアデータのパケットを受信し、これを所定の符号化方法に対応する復号化方法で復号した後、上記した映像出力装置へ出力する。また、ビデオカメラ、ビデオデッキ、ＣＣＤカメラなどで取得した映像を圧縮符号化してパケット化し、ＩＰネットワーク１１０へ送出する。
【００３５】
各端末装置１２０−１〜１２０−ｎは、上記したビデオカメラ、ビデオデッキ、ＣＣＤカメラなどの映像取得部１２１と、符号化部１２２と、メディアデータ送信部１２３と、メディアデータ受信部１２４と、復号化部１２５と、映像合成部１２６と、映像再生部１２７と、映像出力部１２８と、配信パケット管理部１２９と、再生待ち時間管理部１３０とを備えている。
【００３６】
符号化部１２２は、映像取得部１２１で取得されたメディアデータを予め決められた符号化方式で圧縮符号化し、その結果（符号化データ）をメディアデータ送信部１２３に入力する。メディアデータ送信部１２３は、符号化データをパケット化してメディアデータとして他の端末装置へ送信する。メディアデータ受信部１２４は、他の端末装置のメディアデータ送信部１２３から送信されたメディアデータを受信して復号化部１２５に入力する。また、配信サーバ１００から配信されたメディアデータを受信して復号化部１２５に入力する。復号化部１２５は、メディアデータ受信部１２４で受信されたメディアデータを所定の符号化方式に対応した復号化方法で復号化し、復号化したメディアデータを映像合成部１２６に入力する。
【００３７】
映像合成部１２６は、同一画面上に表示するメディアデータが複数受信された場合に、これらのメディアデータを一画面に合成して映像再生部１２７に入力する。映像再生部１２７は、メディアデータから再生映像信号を生成して映像出力部（テレビやモニタなど）１２８に入力する。配信パケット管理部１２９は、配信サーバ１００へのメディアデータの配信要求パケットの送信と配信サーバ１００からの配信パケットに対する応答パケットの送信を行う。再生待ち時間管理部１３０は、再生待ち時間経過後にメディアデータの再生を行う。
【００３８】
以上のように構成された映像コミュニケーションシステムについて、その動作を説明する。但し、端末装置１２０−１〜１２０−ｎが互いに映像コミュニケーションを行う場合について述べる。
【００３９】
各端末装置１２０−１〜１２０−ｎの映像取得部１２１にて映像が取得されると、その映像が予め設定されたフレームサイズやフレームレートで圧縮符号化されてメディアデータが生成される。そして、生成されたメディアデータにパケットヘッダが付与されパケット化されて、映像コミュニケーションを行っている他の端末装置に向けてＩＰネットワーク１１０へ送出される。そして、そのパケットデータが目的とする端末装置にて受信されると、復号化される。そして、更に必要に応じて一画面に合成された後、映像信号に変換される。
【００４０】
上述の動作は、端末装置１２０−１〜１２０−ｎの全てにおいて適用される。これにより、各端末装置１２０−１〜１２０−ｎは互いに相手端末装置からの送信映像を見ながら会話などを行う映像コミュニケーションが可能となる。
【００４１】
次に、複数の端末装置による映像コミュニケーション時に配信サーバ１００からのメディアデータを再生する場合の動作について述べる。但し、各部は相互に密接に関連して動作し、その動作は複雑であるため、以下の説明では図２及び図３を参照して説明する。また、図２及び図３では各動作に番号を付して動作順序を明確にしている。
【００４２】
まず、図２を参照して説明する。
例えば端末装置１２０−１が前述した方法で端末装置１２０−２、１２０−３、１２０−４と映像コミュニケーション行っているものとする。
【００４３】
配信サーバ１００から配信された共通のメディアデータを端末装置１２０−１、１２０−２、１２０−３、１２０−４（以下、１２０−１〜１２０−４と記載する）で同時に再生するために、まず端末装置１２０−１の配信パケット管理部１２９が配信サーバ１００に配信要求パケットを送信する。この配信要求パケットには端末装置１２０−１〜１２０−４までのアドレスと要求するコンテンツが含まれている（手順１）。
【００４４】
配信サーバ１００の配信要求獲得部１０１は、端末装置１２０−１から送信された配信要求パケットに対し、配信先の端末装置１２０−１〜１２０−４宛にテストパケットを送信する。このテストパケットにはこれを配信した時刻が含まれている（手順２）。
【００４５】
各端末装置１２０−１〜１２０−４の配信パケット管理部１２９は、配信サーバ１００からのテストパケットを受信した後、応答パケットを配信サーバ１００に送信する。この場合、応答パケットには配信サーバ１００がテストパケットを配信した時刻が含まれている（手順３）。
【００４６】
配信サーバ１００の再生待ち時間管理部１０４は、各端末装置１２０−１〜１２０−４からの応答パケットを受信すると、受信時の時刻を取得する。そして、各端末装置１２０−１〜１２０−４にテストパケットを配信した時刻と各端末装置１２０−１〜１２０−４からの応答パケットの受信時刻とより、各端末装置１２０−１〜１２０−４毎の配信サーバ１００から各端末装置１２０−１〜１２０−４までの配信遅延時間を算出する。
【００４７】
配信サーバ１００から各端末装置１２０−１〜１２０−４までの配信遅延時間は、以下のようにして求めることができる。
受信時刻と配信時刻の差分の時間は、配信サーバ１００と各端末装置１２０−１〜１２０−４との間のパケットの往復時間であり、式（１）のようになる。
【００４８】
（往復時間）＝（到着時刻）−（配信時刻） ・・・（１）
【００４９】
式（１）の（往復時間）とは、配信サーバ１００から各端末装置１２０−１〜１２０−４への伝送時間（下り方向伝送時間）と、各端末装置１２０−１〜１２０−４から配信サーバ１００への伝送時間（上り方向伝送時間）と、各端末装置１２０−１〜１２０−４でのテストパケット処理時間を合計した時間であるとも言える。すなわち、式（２）のようになる。
【００５０】
（往復時間）＝（上り伝送時間）＋（下り伝送時間）＋（処理時間）・・・（２）
【００５１】
ここで、ＩＰネットワーク１１０の上りと下りの配信遅延時間が同じであるとすると、往復時間は式（３）のようになる。
【００５２】
（往復時間）＝（伝送時間）×２＋（処理時間） ・・・（３）
【００５３】
ここで、各端末装置１２０−１〜１２０−４でのテストパケットの処理時間が、配信遅延時間に比べゼロに近いとすると、式（４）のようになる。
【００５４】
（往復時間）＝（配信遅延時間）×２ ・・・（４）
【００５５】
式（１）と式（４）より、配信遅延時間は式（５）で求められる。
【００５６】
（配信遅延時間）＝｛（受信時刻）−（配信時刻）｝÷２ ・・・（５）
【００５７】
算出された各端末装置１２０−１〜１２０−４の配信遅延時間は、例えば図４に示すようなテーブルデータとして、一時的に保存される。
【００５８】
次に、算出結果を相互に比較し、最長配信遅延時間を検出する。
図４に示すテーブルでは、最長配信遅延時間が端末装置１２０−１における配信遅延時間１，５００ｍｓｅｃとなっている。この最長配信遅延時間経過した時点で全ての端末装置１２０−１〜１２０−４が配信メディアデータを受信したことになる。
【００５９】
そして、この時点で各端末装置１２０−１〜１２０−４が再生を開始することで、メディアデータ配信してから最短時間で同時再生が可能となる。そこで、最長配信遅延時間経過後に各端末装置１２０−１〜１２０−４がメディアデータの再生ができるように、各端末装置１２０−１〜１２０−４がメディアデータを受信してから再生するまでの待ち時間を算出する（手順４）。
【００６０】
各端末装置１２０−１〜１２０−４が配信されたメディアデータを受信してから再生するまでの待ち時間は、式（６）で求めることができる。
【００６１】
（再生待ち時間）＝（全端末装置の最長配信遅延時間）−（各端末装置の配信遅延時間）・・・（６）
【００６２】
配信サーバ１００は、各端末装置１２０−１〜１２０−４に対して、算出した再生待ち時間を通知する（手順５）。
【００６３】
次に、図３を参照して説明する。
配信サーバ１００が各端末装置１２０−１〜１２０−４に再生待ち時間を通知した後、要求されたメディアデータをメディアデータ保持部１０２より取り出してメディアデータ配信部１０３に入力する。メディアデータ配信部１０３は、入力されたメディアデータにパケットヘッダを付加してパケット化し、各端末装置１２０−１〜１２０−４宛でＩＰネットワーク１１０へ送出する（手順６）。
【００６４】
各端末装置１２０−１〜１２０−４の再生待ち時間管理部１３０は、配信サーバ１００から送信されたメディアデータを受信した後、配信サーバ１００から通知された待ち時間だけ待機した後、メディアデータの再生を開始する（手順▲７▼）。
【００６５】
各端末装置１２０−１〜１２０−４における再生待ち時間の具体例を図５に示す。各端末装置１２０−１〜１２０−４は待ち時間の間だけ再生を停止し、その時間を経過した時点で（つまり、最長配信遅延時間が経過した時点で）再生を開始する。これにより、各端末装置１２０−１〜１２０−４間で共通のメディアデータを同じ時刻に同じ場面を視聴することが可能となる。そして、各端末装置１２０−１〜１２０−４間で共通のメディアデータを同じ時刻に同じ場面を視聴しながら意見交換などを行い、互いに映像コミュニケーションを楽しむことができる（手順８）。
【００６６】
以上説明した映像コミュニケーションシステムの特徴的な動作手順をまとめると図６に示すようになる。
まず、配信サーバ１００が各端末装置１２０−１〜１２０−４に向けてテストパケットを配信した時刻と各端末装置１２０−１〜１２０−４からの応答パケットを受信した時刻を取得する（ステップ１０）。
【００６７】
次いで、各端末装置１２０−１〜１２０−４毎の配信遅延時間を算出し、配信遅延時間の中で最長のものを検出する（ステップ１１）。次いで、最長配信遅延時間に合わせるように各端末装置１２０−１〜１２０−４における再生待ち時間を算出する（ステップ１２）。この場合、必要に応じてゆらぎ吸収時間を考慮する。次いで、各端末装置１２０−１〜１２０−４に向けて再生待ち時間を通知し、更に要求のあったメディアデータを配信する（ステップ１３）。
【００６８】
各端末装置１２０−１〜１２０−４では、受信したメディアデータを再生待ち時間経過後に再生を開始する（ステップ１４）。
【００６９】
このように、本実施の形態に係る映像コミュニケーションシステムは、複数の端末装置１２０−１〜１２０−ｎに配信したテストパケットの配信時刻及び複数の端末装置１２０−１〜１２０−ｎからの応答パケットの受信時刻から各端末装置に配信するメディアデータの配信遅延時間を算出し、各端末装置１２０−１〜１２０−ｎ夫々にメディアデータの再生待ち時間の割り当てを行うことにより、複数の端末装置１２０−１〜１２０−ｎで配信サーバ１００からのメディアデータを同じ時刻に同じ場面を視聴することが可能となる。したがって、複数の端末装置１２０−１〜１２０−ｎ間で常に同じメディアデータを見ながら楽しくコミュニケーションをとることができる。
【００７０】
なお、本実施の形態の映像コミュニケーションシステムは、様々な変形が可能である。例えばテストパケットをメディアデータ配信開始前だけではなく、配信開始後でも同様の待ち時間制御を行って各端末装置１２０−１〜１２０−ｎで共通のメディアデータを同時に再生することが可能である。これにより、共通のメディアデータを同時に視聴しながら映像コミュニケーションを行っている端末装置グループへの端末装置の参加及びグループからの端末装置の離脱による配信サーバ１００から各端末装置までの最大配信遅延時間が変更になった場合の再生待ち時間の再割当てが可能となる。
【００７１】
例えば、図４のように配信サーバ１００が端末装置１２０−１〜１２０−４へ配信を行っていて、端末装置１２０−１の遅延時間が最も大きいとする。この状態で端末装置１２０−１がグループから離脱した場合、再生待ち時間割当て機能は新たに最大遅延時間の割り当てを行う。この場合、残った端末装置中で端末装置１２０−２と端末装置１２０−４の遅延時間が最も大きいため、１，０００ｍｓｅｃを最大遅延時間として再生待ち時間を求め、全ての端末装置１２０−２、１２０−３及び１２０−４に通知する。
【００７２】
逆に、遅延時間１，８００ｍｓｅｃである端末装置１２０−５（図示略）が新たに参加した場合、グループ内の最大遅延時間１，５００ｍｓｅｃよりも遅延時間が大きくなることより、１，８００ｍｓｅｃを新たな最大遅延時間として再生待ち時間を求め、全端末装置１２０−１〜１２０−５に通知する。
【００７３】
なお、配信サーバ１００による端末装置グループからの離脱の有無の判断は、離脱する端末装置が配信サーバ１００に離脱する旨を通知するパケットを送信しても良いし、離脱したことを他の端末装置が配信サーバ１００に通知するパケットを送信しても良い。あるいは配信サーバ１００の定期的なテストパケットに対する応答パケットが一定時間返答無いことで離脱がおきたとみなしようにしても良い。
【００７４】
映像コミュニケーションを行っている端末装置グループ内の各端末装置の再生待ち時間を伝送時間が最も大きい端末装置が再生する時間に再生できるように割り当てると、常にグループ内が最適な遅延で配信メディアデータを再生することが可能である。
【００７５】
なお、配信サーバ１００への配信要求は任意の端末装置により行うことができる。また、再生待ち時間割当て機能は必ずしも配信サーバが持つ必要はなく、端末装置の一機能として持っても良い。
【００７６】
また、配信サーバ１００は、テストパケットやメディアデータを各端末装置宛に個別に配信するだけではなく、マルチキャスト宛に配信することも可能である。マルチキャスト宛に配信する場合、配信サーバ１００の配信要求獲得部１０１が端末装置１２０−１からの配信要求パケットを受信する。配信要求パケットには配信を要求する端末装置のアドレスが格納されており、各配信要求端末装置宛にメディアデータの配信先マルチキャストアドレスの割当てを行う。端末装置１２０−１〜１２０−ｎ宛に送信するテストパケットに配信時刻とともにマルチキャストアドレスを格納する。
【００７７】
そして、各端末装置１２０−１〜１２０−ｎは、受信するマルチキャストアドレスを設定し、またテストパケットに対する応答パケットを配信サーバ１００に送信する。配信サーバ１００は、割り当てたマルチキャストアドレス宛に各端末装置毎の再生待ち時間を通知したパケットを送信する。各端末装置１２０−１〜１２０−ｎは、待ち時間が通知されたパケットから当該端末装置に割り当てられた再生待ち時間を取得する。そして、メディアデータを受信してから待ち時間経過後に再生を開始する。
【００７８】
（実施の形態２）
図７は、本発明の実施の形態２に係る映像コミュニケーションシステムの構成を示すブロック図である。
この図において、本実施の形態に係る映像コミュニケーションシステムは、２つの配信サーバ１００、１４０から配信されるメディアデータを、同時に複数端末装置１２０−１〜１２０−ｎで再生できようにしたものである。なお、図１の実施の形態１に係る映像コミュニケーションシステムとの違いは、配信元が２つのサーバ１００及び１４０である点と、各端末装置１２０−１〜１２０−ｎが２つの配信元のサーバ１００及び１４０に対応できる機能を有する点である。
【００７９】
配信サーバ１００と配信サーバ１４０は再生時間を管理する機能を持ち、各端末装置１２０−１〜１２０−ｎに向けてテストパケットを送出することにより算出した最長配信遅延時間をもとに同時に再生ができるように、各端末装置１２０−１〜１２０−ｎ毎の再生待ち時間を通知する。
【００８０】
各端末装置１２０−１〜１２０−ｎは、配信サーバ１００及び１４０夫々からの配信メディアデータを受信した後、配信サーバ１００及び１４０夫々より通知された再生待ち時間が経過するまで再生を停止する。全配信メディアデータの再生待ち時間が経過した後に再生を開始する。これにより、配信サーバ１００、１４０からの配信メディアデータを同時に再生することが可能となる。
【００８１】
ここで、複数のサーバからの配信メディアデータを複数の端末装置で同時に再生するには、全配信サーバ中の最長配信遅延時間に合わせて再生を開始すればよい。しかしながら、時刻同期がとれていないネットワークの場合、複数の配信サーバはメディアデータの配信を独立して行っているため、他の配信サーバよりも遅く配信を始めた配信サーバの配信遅延時間は、その配信サーバの配信時刻と一番早く配信を始めた配信サーバの配信時刻との差分だけ配信遅延時間が延びることになる。
【００８２】
つまり、実施の形態１において配信サーバ単位に求めた配信遅延時間は、各端末装置１２０−１〜１２０−ｎに対する相対的な時間であるため、その中で最も遅い配信遅延時間が実際の全配信サーバ中の最長配信遅延時間とは必ずしも同じではない。遅く配信を始めた配信サーバの配信時刻によっては、全端末装置１２０−１〜１２０−ｎの受信時刻が実施の形態１において算出した配信遅延時間の最も遅い時間経過した時よりも遅くなることがあるからである。
【００８３】
例えば、配信サーバ１００の最長配信遅延時間が配信サーバ１４０の最長配信遅延時間よりも長く、また配信サーバ１４０の配信時刻が配信サーバ１００の配信時刻より遅れた場合で、配信サーバ１００の配信時刻との差分だけ配信遅延時間が延びたことで配信サーバ１４０の最長配信遅延時間が配信サーバ１００の最長配信遅延時間よりも大きくなった場合である。ここで、配信サーバ１４０に付加された遅延時間が各端末装置１２０−１〜１２０−ｎに一律にかかっているため、各端末装置１２０−１〜１２０−ｎでの配信サーバ１４０の配信メディアデータの再生待ち時間に影響はない。
【００８４】
配信サーバから通知された再生待ち時間経過後に再生を開始すると、実施の形態１で記述したように、その配信サーバから配信されたメディアデータを各端末装置１２０−１〜１２０−ｎで同時に再生することが可能である。つまり、メディアデータの再生待ち時間経過後の時刻は、他の端末装置もそのメディアデータの再生待ち時間が経過後の時刻となる。これにより、各端末装置１２０−１〜１２０−ｎが受信したメディアデータの再生待ち時間経過後の時刻が最も遅い時刻に合わせて再生を開始すれば、複数の配信サーバからの配信メディアデータを複数の端末装置１２０−１〜１２０−ｎで同時に再生することが可能となる。
【００８５】
以下、図８及び図９を参照して具体的に説明する。
配信サーバ１００と配信サーバ１４０は、共に図４と同様の再生待ち時間管理テーブルを有し、各配信先の端末装置１２０−１〜１２０−４の再生待ち時間を管理する。配信サーバ１００及び１４０は、各配信先の端末装置１２０−１〜１２０−４に再生待ち時間を通知する。各端末装置１２０−１〜１２０−４は、図９に示す再生待ち時間管理テーブルを持ち、配信サーバ１００及び１４０夫々から通知された再生待ち時間を格納する。
【００８６】
まず、配信サーバ１００及び１４０のメディアデータの配信時刻が同じ場合について述べる。
端末装置１２０−１は、配信開始から１，０００ｍｓｅｃ後に配信サーバ１４０からのメディアデータを受信するが、再生待ち時間１，５００ｍｓｅｃを経過するまで再生を行わない。そして、配信開始から１，５００ｍｓｅｃ後、すなわち配信サーバ１４０からのメディアデータを受信してから５００ｍｓｅｃ後に配信サーバ１００からのメディアデータを受信する。
【００８７】
端末装置１２０−１は、配信サーバ１００に対しては再生待ち時間が０ｍｓｅｃであるため、配信サーバ１００からのメディアデータのみ再生する場合は受信後すぐに再生を開始できるが、配信サーバ１４０の再生待ち時間がまだ経過していないため再生を待つことになる。この場合、端末装置１２０−３の配信サーバ１４０に対する遅延時間が２，５００ｍｓｅｃであるので、配信開始２，５００ｍｓｅｃ後、すなわち配信サーバ１００からのメディアデータを受信してから１，０００ｍｓｅｃ後、配信サーバ１４０からのメディアデータの再生待ち時間が経過したため、全メディアデータの再生を開始する。
【００８８】
他の端末装置１２０−２、１２０−３、１２０−４も同様に、全配信メディアデータの再生待ち時間が経過した後に全配信メディアデータの再生を開始する。配信開始２，５００ｍｓｅｃ後に全ての端末装置１２０−１〜１２０−４がメディアデータの再生を開始する。
【００８９】
次に、配信サーバ１００及び１４０のメディアデータの配信時刻が異なる場合について述べる。
配信サーバ１００の配信時刻が配信サーバ１４０の配信時刻より２，０００ｍｓｅｃ遅い場合、端末装置１２０−１は、まず配信サーバ１４０の配信開始から１，０００ｍｓｅｃ後に配信サーバ１４０からのメディアデータを受信する。そして、配信開始から２，０００ｍｓｅｃ後、すなわち端末装置１２０−１が配信サーバ１４０からのメディアデータを受信してから１，０００ｍｓｅｃ後に配信サーバ１４０が配信を開始する。
【００９０】
そして、配信サーバ１４０が配信開始から２，５００ｍｓｅｃ後、すなわち配信サーバ１００がメディアデータの配信開始から５００ｍｓｅｃ後に配信サーバ１４０のメディアデータの再生待ち時間が経過する。しかしこの場合、配信サーバ１００からのメディアデータを未だ受信していないために再生開始を待つ。すなわち、端末装置１２０−１は、配信サーバ１００との間の遅延時間が１，５００ｍｓｅｃあるので、配信サーバ１００からのメディアデータを受信することができない。そして、配信サーバ１４０の配信開始から３，５００ｍｓｅｃ後、すなわち配信サーバ１４０のメディアデータの再生待ち時間が経過してから１，０００ｍｓｅｃ後に配信サーバ１００からのメディアデータを受信する。端末装置１２０−１の配信サーバ１００に対する再生待ち時間は０ｍｓｅｃであるので、この時点でメディアデータの再生を開始する。
【００９１】
端末装置１２０−２、１２０−３、１２０−４も同様に、全配信メディアデータの再生待ち時間が経過した後、全配信メディアデータの再生を開始する。配信サーバ１４０が配信を開始してから３，５００ｍｓｅｃ後に全ての端末装置がメディアデータの再生を開始する。
【００９２】
複数の配信サーバは互いの存在を意識することなく、実施の形態１のように再生待ち時間のみを各端末装置に通知し、各端末装置では、全ての配信メディアデータの再生待ち時間が経過した時点で再生を開始することで複数の端末装置間で走りを比較しながら意見交換を行うなどの映像コミュニケーションが可能となる。
【００９３】
（実施の形態３）
本発明の実施の形態３に係る映像コミュニケーションシステムは、ネットワークの伝送ゆらぎを考慮して、映像再生時間を制御する機能を有するものである。なお、映像コミュニケーションシステム自体の基本的な構成は図１と同じであるので、図１を援用することとする。
【００９４】
ネットワークの伝送ゆらぎを考慮する場合、再生時刻はゆらぎを吸収するためにバッファにメディアデータを蓄積する時間だけ遅れることになる。伝送ゆらぎがないネットワークの場合、各端末装置１２０−１〜１２０−ｎの再生待ち時間は前述の（６）式で求められるが、ネットワークの伝送ゆらぎを考慮した場合の各端末装置１２０−１〜１２０−ｎにおける実際の再生待ち時間は（７）式で求めることができる。
【００９５】
（実際の再生待ち時間）＝（再生待ち時間）＋（ゆらぎ吸収時間）・・・（７）
【００９６】
ゆらぎ吸収時間は、ネットワークの伝送ゆらぎによる遅延を吸収するための時間である。各端末装置１２０−１〜１２０−ｎでは、配信サーバ１００から各端末装置１２０−１〜１２０−ｎ間のネットワークの伝送ゆらぎを吸収する時間が予め設定されている。
【００９７】
最適なネットワークの伝送ゆらぎ吸収時間を求める手段としては、例えば特開２００２−１８５４９８号公報で示されている手段がある。この手段によると、基準とする受信パケットに対する各受信パケットの相対的なゆらぎを（８）式より求めることができる。
【００９８】
（相対的なゆらぎ）＝｛（ｎ番目の受信時刻）−（基準パケット受信時刻）｝−｛（ｎ番目の送信時刻）−（基準パケット送信時刻）｝・・・（８）
【００９９】
（８）式で求まる相対的なゆらぎを元にゆらぎ吸収時間を最適化する技術が開示されている。このようにして求めたゆらぎ吸収時間をもとに（７）式により再生待ち時間を求め、再生待ち時間が最も遅い端末装置に合わせて他の端末装置も再生を行うことで、ゆらぎのあるネットワーク上のシステムでも各端末装置間で同時にメディアデータを視聴することができる。したがって、各端末装置間で、常に良好なコミュニケーションをとることが可能となる。
【０１００】
（実施の形態４）
図１０は、本発明の実施の形態４に係る映像コミュニケーションシステムの構成を示すブロック図である。
本実施の形態に係る映像コミュニケーションシステムは、今までとは逆に複数の端末装置夫々が配信したメディアデータを、１台の配信サーバで同時に録画し、その録画したメディアデータを各端末装置へ再配信するシステムである。
【０１０１】
図１０において、まず配信サーバ１４５が各端末装置１２０−１〜１２０−ｎに向けて配信遅延時間測定用のテストパケットを配信する。このテストパケットにはテストパケット配信時刻が格納されている。テストパケットを受信した各端末装置１２０−１〜１２０−ｎはテストパケットに対する応答パケットを送信する。この応答パケットにはテストパケット配信時刻と応答パケット配信時刻が格納されている。応答パケットを受信した配信サーバ１４５は、続けて２次テストパケットを各端末装置１２０−１〜１２０−ｎに配信する。２次テストパケットには応答パケット配信時刻が格納されている。
【０１０２】
各端末装置１２０−１〜１２０−ｎは、２次テストパケットに対する２次応答パケットを送信する。この２次応答パケットには２次テストパケットに格納されていた応答パケット配信時刻と２次テストパケットを受信した時刻とが格納されている。
【０１０３】
配信サーバ１４５は、テストパケット配信時刻と応答パケット受信時刻とにより各端末装置１２０−１〜１２０−ｎへのメディアデータの配信遅延時間及び各端末装置１２０−１〜１２０−ｎの再生待ち時間を管理し、また応答パケット配信時刻と２次テストパケット受信時刻に基づいて各端末装置１２０−１〜１２０−ｎから配信サーバ１４５へのメディアデータの配信遅延時間及び配信サーバ１４５の再生待ち時間を管理する。
【０１０４】
各端末装置１２０−１〜１２０−ｎから配信サーバ１４５への配信遅延時間の最も遅い時間に合わせるため、各端末装置１２０−１〜１２０−ｎの再生待ち時間経過後に他の端末装置からの配信メディアデータを再生すれば、全配信メディアデータの録画を配信サーバ１４５にて開始することが可能となる。
【０１０５】
例えば、複数の端末装置１２０−１〜１２０−ｎが別々に楽器を演奏し、配信サーバ１４５で再生待ち時間経過後に同時に演奏を録画や録音（ミキシング）すれば、オーケストラなどの演奏として再現することが可能である。配信サーバ１４５で１つの演奏にまとまったデータを配信サーバ１４５から配信すれば、各端末装置１２０−１〜１２０−ｎが別々の場所にいながら音合わせやそれに対する意見交換を行うなどの映像コミュニケーションが可能となる。
【０１０６】
（実施の形態５）
図１１は、本発明の実施の形態５に係る映像コミュニケーションシステムの構成を示すブロック図である。
上述した実施の形態４に係る映像コミュニケーションシステムでは、配信サーバ１４５からメディアデータを配信することを前提としていたが、必ずしもこれに限定されるものではなく、端末装置の１つがメディアデータの配信元となる場合でも本発明は適用可能である。
【０１０７】
図１１では、端末装置１２０−１から複数の端末装置１２０−２〜１２０−ｎにメディアデータを配信し、各端末装置１２０−２〜１２０−ｎにおいて、受信したメディアデータを同時に再生することを想定している。メディアデータの配信を行う端末装置１２０−１は、他の端末装置１２０−２〜１２０−ｎ夫々における再生待ち時間割当て機能を有している。
【０１０８】
つまり、メディアデータの配信を行う端末装置１２０−１は、自端末装置から他の端末装置１２０−２〜１２０−ｎ夫々までの配信遅延時間を算出して最長配信遅延時間を検出し、更に再生待ち時間を算出して各端末装置１２０−２〜１２０−ｎに再生待ち時間を通知する。例えば、端末装置１２０−１が撮影したビデオ映像などを複数の端末装置１２０−２〜１２０−ｎに送信し、複数の端末装置１２０−２〜１２０−ｎ間で映像を同時に見ながら感想を述べ合うなどの映像コミュニケーションが可能となる。
【０１０９】
（実施の形態６）
図１２は、本発明の実施の形態６に係る映像コミュニケーションシステムの構成を示すブロック図である。
上述した実施の形態１に係る映像コミュニケーションシステムとの違いは、複数の端末装置１２０−１〜１２０−ｎがローカルネットワーク上にある点と、ＮＡＴ（Ｎｅｔｗｏｒｋ Ａｄｄｒｅｓｓ Ｔｒａｎｓｌａｔｉｏｎ）機能などによるアドレス変換を行い配信サーバ１４７からのメディアデータを中継して複数の端末装置１２０−１〜１２０−ｎに配信する機能、配信サーバ１４７が持つ再生待ち時間割当て機能及び複数の端末装置１２０−１〜１２０−ｎが持つ配信要求機能を備える中継装置１５０を有し、中継装置１５０を配信サーバ１４７と複数の端末装置１２０−１〜１２０−ｎとの間に介在させている点である。
【０１１０】
次に、本実施の形態に係る映像コミュニケーションシステムにおいて、複数の端末装置１２０−１〜１２０−ｎによる映像コミュニケーション時に配信サーバ１４７からのメディアデータを再生する場合の動作について述べる。なお、各部は相互に密接に関連して動作し、その動作は複雑であるため、以下の説明では図１３〜図１５を参照する。図１３〜図１５は各動作に番号を付して、動作順序を明確に示すための図である。
【０１１１】
まず、図１３を参照して説明する。
端末装置１２０−１は、実施の形態１に係る映像コミュニケーションシステムと同様に端末装置１２０−２〜１２０−ｎと映像コミュニケーション行っている。配信サーバ１４７から配信された共通のメディアデータを複数の端末装置１２０−１〜１２０−ｎで同時に再生するため、例えば端末装置１２０−１の配信パケット管理部１２９が中継装置１５０に配信要求パケットを送信する。この配信要求パケットには端末装置１２０−１〜１２０−ｎまでのアドレスと要求するコンテンツが格納されている（手順１１）。
【０１１２】
中継装置１５０の配信要求獲得部１５１は、端末装置１２０−１からの配信要求パケットに対し、配信先の端末装置１２０−１〜１２０−ｎ宛にテストパケットを送信する。このテストパケットには中継装置１５０がテストパケットを配信した時刻が格納されている（手順１２）。
【０１１３】
各端末装置１２０−１〜１２０−ｎの配信パケット管理部１２９は、中継装置１５０からのテストパケットを受信すると、これに対する応答パケットを中継装置１５０へ送信する。この応答パケットには中継装置１５０がテストパケットを配信した時刻が格納されている（手順１３）。
【０１１４】
中継装置１５０の再生待ち時間管理部１５４は、各端末装置１２０−１〜１２０−ｎからの応答パケットを受信すると、応答パケットを受信した時刻を取得する。そして、各端末装置１２０−１〜１２０−ｎへテストパケットを配信した時刻と各端末装置１２０−１〜１２０−ｎからの応答パケットを受信した時刻とにより各端末装置１２０−１〜１２０−ｎ毎の中継装置１５０から各端末装置１２０−１〜１２０−ｎまでの配信遅延時間を算出し、その結果を相互に比較して最長配信遅延時間を検出する。そして、検出した最長配信遅延時間に合わせて各端末装置１２０−１〜１２０−ｎがメディアデータの再生を開始することとして、各端末装置１２０−１〜１２０−ｎがメディアデータを受信してから再生するまでの待ち時間を算出する（手順１４）。そして、中継装置１５０の配信パケット管理部１５３が、算出した再生待ち時間を各端末装置１２０−１〜１２０−ｎに通知する（手順１５）。
【０１１５】
次に、図１４を参照して説明する。
中継装置１５０が各端末装置１２０−１〜１２０−ｎに再生待ち時間を通知した後、配信サーバ１４７に配信要求パケットを送信する（手順１６）。この配信要求パケットには端末装置１２０−１〜１２０−ｎまでのアドレスと要求するコンテンツが格納されている。配信サーバ１４７の配信要求獲得部１０１は、中継装置１５０からの配信要求パケットを受信すると、中継装置１５０宛にテストパケットを送信する。このテストパケットには配信サーバ１４７がテストパケットを配信した時刻が格納されている（手順１７）。中継装置１５０の配信パケット管理部１５３は、配信サーバ１４７からのテストパケットを受信すると、それに対する応答パケットを配信サーバ１４７へ送信する。このとき、各端末装置１２０−１〜１２０−ｎの最長再生待ち時間経過してから応答パケットを送信する（手順１８）。この応答パケットには配信サーバ１４７がテストパケットを配信した時刻が格納されている。
【０１１６】
配信サーバ１４７の再生待ち時間管理部１０４は、中継装置１５０からの応答パケットを受信すると、それを受信した時刻を取得する。そして、中継装置１５０へテストパケットを配信した時刻と中継装置１５０からの応答パケットを受信した時刻とにより配信遅延時間を算出し、中継装置１５０に再生待ち時間を通知する（手順１９）。このとき算出された配信遅延時間は、配信サーバ１４７から中継装置１５０までの配信遅延時間に中継装置１５０から複数の端末装置１２０−１〜１２０−ｎの最長配信遅延時間が加算された時間となっている。このため、実際は配信サーバ１４７から最も配信遅延時間のかかる端末装置までの配信遅延時間となる。なお、配信サーバ１４７は、中継装置が１つの場合には再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知する。
【０１１７】
次に、図１５を参照して説明する。
配信サーバ１４７が中継装置１５０に再生待ち時間を通知した後、要求されたメディアデータをメディアデータ保持部１０２より取り出してメディアデータ配信部１０３にてそのメディアデータにパケットヘッダを付加してパケット化し、中継装置１５０宛にＩＰネットワーク１０１へ送出する（手順２０）。
【０１１８】
中継装置１５０の再生待ち時間管理部１５４は、メディアデータを受信した後、中継装置１５０宛のアドレスを複数の端末装置１２０−１〜１２０−ｎ宛のアドレスに変換し、配信サーバ１４７から通知された再生待ち時間経過後に各端末装置１２０−１〜１２０−ｎへメディアデータを中継する（手順２１）。端末装置１２０−１〜１２０−ｎはメディアデータを受信した後、中継装置１５０から通知された待ち時間経過後に再生を開始する（手順２２）。これにより、各端末装置１２０−１〜１２０−ｎ間で共通のメディアデータを同じ時刻に同じ場面を視聴することが可能となる。そして、各端末装置１２０−１〜１２０−ｎ間で共通のメディアデータを同じ時刻に同じ場面を視聴しながら意見交換などを行い、互いに映像コミュニケーションを楽しむことができる（手順２３）。
【０１１９】
以上説明した、映像コミュニケーションシステムの特徴的な動作手順をまとめると、図１６に示すようになる。
【０１２０】
まず、中継装置１５０が、配信要求を受けた各端末装置１２０−１〜１２０−ｎにテストパケットを配信した時刻と応答パケットを受信した時刻を取得し、取得した時刻に基づいて算出した各端末装置１２０−１〜１２０−ｎ毎の再生待ち時間を通知する（ステップ２０）。次に、配信サーバ１４７が配信要求を受けた中継装置１５０へテストパケットを配信した時刻と応答パケットを受信した時刻を取得し、取得した時刻に基づいて算出した中継装置１５０の再生待ち時間を通知する（ステップ２１）。
【０１２１】
次いで、配信サーバ１４７が各端末装置１２０−１〜１２０−ｎに再生待ち時間を通知した後、要求されたメディアデータを配信する（ステップ２２）。次いで、中継装置１５０が、配信サーバ１４７より取得したメディアデータを再生待ち時間経過後に各端末装置１２０−１〜１２０−ｎ宛に中継する（ステップ２３）。各端末装置１２０−１〜１２０−ｎは、受信したメディアデータを再生待ち時間経過後に再生を開始する（ステップ２４）。
【０１２２】
以上より、配信サーバ１４７とローカルアドレスをもつ複数の端末装置１２０−１〜１２０−ｎとの間にあるグローバルアドレスをもつ中継装置１５０が、複数の端末装置１２０−１〜１２０−ｎへのテストパケットの配信時刻と応答パケットの到着時刻の情報から各端末装置１２０−１〜１２０−ｎに配信されるメディアデータの遅延を導出し、メディアデータの再生時間の割り当てを行うことにより、ＩＰネットワーク１１０上の配信サーバ１４７からは直接アクセスすることのできないローカルアドレスをもつ複数の端末装置１２０−１〜１２０−ｎでもメディアデータを同時に再生することが可能となる。また、配信サーバ１４７は中継装置１５０からの配信要求のみ受けるだけなので、同じメディアデータを複数配信する必要がなく、ネットワークの帯域を圧迫することがない。
【０１２３】
なお、上記実施の形態６では、中継装置１５０下の複数の端末装置１２０−１〜１２０−ｎがローカルネットワーク上にある場合としたが、ローカルネットワーク上になくとも構わない。つまり、中継装置１５０がＮＡＴ機能を持つことでローカルアドレスを持つ端末装置についても配信遅延時間を求めることができるのであって、ＮＡＴ機能を持たない場合は、中継装置１５０の配下には通常のグローバルアドレスを持つ端末装置となる。当然ながらこの場合も中継装置１５０が配下の端末装置までの配信遅延時間を求めるので、配信サーバ１４７の負荷を軽減することができる。
【０１２４】
【発明の効果】
以上説明したように、本発明によれば、配信サーバが複数の端末装置へのテストパケットの配信時刻と応答パケットの到着時刻から各端末装置に配信されるメディアデータの遅延を導出し、メディアデータの再生時間の割り当てを行うことにより、同期のとれていないネットワークを介しても複数の端末装置で配信サーバからのメディアデータを同じ時刻に同じ場面を見ることが可能となり、複数の端末装置間で同じメディアデータを見ながらコミュニケーションをとることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像コミュニケーションシステムの構成を示すブロック図
【図２】本発明の実施の形態１に係る映像コミュニケーションシステムの動作を説明するための図
【図３】本発明の実施の形態１に係る映像コミュニケーションシステムの動作を説明するための図
【図４】本発明の実施の形態１に係る映像コミュニケーションシステムの配信サーバが有する再生時刻管理テーブルを示す図
【図５】本発明の実施の形態１に係る映像コミュニケーションシステムの各端末装置が有する再生時刻管理テーブルを示す図
【図６】本発明の実施の形態１に係る映像コミュニケーションシステムの動作手順を示すフロー図
【図７】本発明の実施の形態２に係る映像コミュニケーションシステムの構成を示すブロック図
【図８】本発明の実施の形態２に係る映像コミュニケーションシステムの配信サーバが有する再生時刻管理テーブルを示す図
【図９】本発明の実施の形態２に係る映像コミュニケーションシステムの各端末装置が有する再生時刻管理テーブルを示す図
【図１０】本発明の実施の形態４に係る映像コミュニケーションシステムの構成を示すブロック図
【図１１】本発明の実施の形態５に係る映像コミュニケーションシステムの構成を示すブロック図
【図１２】本発明の実施の形態６に係る映像コミュニケーションシステムの構成を示すブロック図
【図１３】本発明の実施の形態６に係る映像コミュニケーションシステムの動作を説明するための図
【図１４】本発明の実施の形態６に係る映像コミュニケーションシステムの動作を説明するための図
【図１５】本発明の実施の形態６に係る映像コミュニケーションシステムの動作を説明するための図
【図１６】本発明の実施の形態６に係る映像コミュニケーションシステムの動作手順を示すフロー図
【図１７】従来の映像コミュニケーションシステムの構成を示すブロック図
【符号の説明】
１００、１４５、１４７ 配信サーバ
１０１ 配信要求獲得部
１０２ メディアデータ保持部
１０３ メディアデータ配信部
１０４ 再生待ち時間管理部
１１０ ＩＰネットワーク
１２０−１〜１２０−ｎ 端末装置
１２１ 映像取得部
１２２ 符号化部
１２３ メディアデータ送信部
１２４ メディアデータ受信部
１２５ 復号化部
１２６ 映像合成部
１２７ 映像再生部
１２８ 映像出力部
１２９ 配信パケット管理部
１３０ 再生待ち時間管理部
１５０ 中継装置
１５１ 配信要求獲得部
１５２ 中継部
１５３ 配信パケット管理部
１５４ 再生待ち時間管理部
１５５ アドレス変換部
Claims (7)
- ネットワークに接続された複数の端末装置に対してメディアデータを配信する配信サーバを具備する映像コミュニケーションシステムであって、前記配信サーバは、前記複数の端末装置夫々にテストパケットを配信した時刻を取得するテストパケット配信時刻取得手段と、前記複数の端末装置夫々にテストパケットを配信した後に前記複数の端末装置夫々から送信された応答パケットを受信した時刻を取得する応答パケット受信時刻取得手段と、前記テストパケット配信時刻取得手段で取得された前記複数の端末装置夫々に対するテストパケット配信時刻と前記応答パケット受信時刻取得手段で取得された前記複数の端末装置夫々からの応答パケット受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求める配信遅延時間導出手段と、前記配信遅延時間導出手段にて求められた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知する再生待ち時間通知手段とを具備し、前記複数の端末装置夫々は、前記配信サーバから配信されたテストパケットに対する応答パケットを送信する応答パケット送信手段と、前記配信サーバから配信されたメディアデータを前記配信サーバより通知された再生待ち時間経過後に再生を行うメディアデータ再生手段とを具備することを特徴とする映像コミュニケーションシステム。
- 前記配信サーバが複数あって、各配信サーバが前記複数の端末装置夫々に対してメディアデータの配信を行う場合、前記複数の端末装置夫々のメディアデータ再生手段は、各配信サーバ間の配信開始時刻の差分に応じてメディアデータ再生時刻を変更することを特徴とする請求項１に記載の映像コミュニケーションシステム。
- 前記複数の端末装置夫々のメディアデータ再生手段は、メディアデータ再生時刻をネットワークの伝送ゆらぎによる遅延を吸収するためのゆらぎ吸収時間に応じて変更することを特徴とする請求項１又は請求項２のいずれかに記載の映像コミュニケーションシステム。
- ネットワークに接続された複数の端末装置と、メディアデータを配信する配信サーバと、前記配信サーバからのメディアデータを中継して前記複数の端末装置で受信可能とする中継装置と、を具備する映像コミュニケーションシステムであって、前記配信サーバは、前記中継装置にテストパケットを配信した時刻を取得する第１のテストパケット配信時刻取得手段と、前記中継装置にテストパケットを配信した後に当該中継装置から送信された応答パケットを受信した時刻を取得する第１の応答パケット受信時刻取得手段と、前記中継装置にテストパケットを配信したテストパケット配信時刻と前記中継装置から送信された応答パケットを受信した応答パケット受信時刻とにより前記中継装置へのメディアデータの配信遅延時間を求める第１の配信遅延時間導出手段と、前記第１の配信遅延時間導出手段にて求められた前記中継装置に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記中継装置に通知する第１の再生待ち時間通知手段とを具備し、前記中継装置は、前記複数の端末装置夫々にテストパケットを配信した時刻を取得する第２のテストパケット配信時刻取得手段と、前記複数の端末装置夫々に対して配信したテストパケットに対応して前記複数の端末装置夫々から送信された応答パケットを受信した時刻を取得する第２の応答パケット受信時刻取得手段と、前記複数の端末装置夫々へのテストパケット配信時刻と前記複数の端末装置夫々からの応答パケット受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求める第２の配信遅延時間導出手段と、前記第２の配信遅延時間導出手段にて求められた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知する第２の再生待ち時間通知手段と、前記配信サーバから配信されたテストパケットに対して応答パケットを送信する第１の応答パケット送信手段と、前記配信サーバから配信されたメディアデータを前記配信サーバから通知された再生待ち時間経過後に前記複数の端末装置夫々に配信する中継手段とを具備し、前記複数の端末装置夫々は、前記中継装置から配信されたテストパケットに対する応答パケットを送信する第２の応答パケット手段と、前記中継装置にて中継された前記配信サーバからのメディアデータを前記中継装置より通知された再生待ち時間経過後に再生するメディアデータ再生手段と、を具備することを特徴とする映像コミュニケーションシステム。
- 前記配信サーバの第１の再生待ち時間通知手段は、前記中継装置が１つの場合には再生待ち時間を０ｍｓｅｃとしてその中継装置に通知し、前記中継装置が複数ある場合には各中継装置の配信遅延時間より算出した各中継装置への再生待ち時間を各中継装置に通知することを特徴とする請求項４に記載の映像コミュニケーションシステム。
- 配信サーバがネットワークに接続された複数の端末装置に対してメディアデータの配信を行う映像コミュニケーション方法であって、前記配信サーバは、前記複数の端末装置夫々へのテストパケット配信時刻と当該パケットの配信により前記複数の端末装置夫々から送信された応答パケットの受信時刻とにより前記複数の端末装置夫々に対するメディアデータの配信遅延時間を求め、求めた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知し、前記複数の端末装置夫々は、前記配信サーバより通知された再生待ち時間経過後に前記配信サーバから配信されたメディアデータの再生を行うことを特徴とする映像コミュニケーション方法。
- 配信サーバがネットワークに接続された複数の端末装置に対して中継装置を介してメディアデータの配信を行う映像コミュニケーション方法であって、前記配信サーバは、前記中継装置へのテストパケット配信時刻と当該パケットの配信により前記中継装置から送信された応答パケットの受信時刻とにより前記中継装置に対するメディアデータの配信遅延時間を求め、求めた配信遅延時間から前記中継装置に対するメディアデータの再生待ち時間の割り当てを行い、前記中継装置は、前記複数の端末装置夫々へのテストパケット配信時刻と当該パケットの配信により前記複数の端末装置夫々から送信された応答パケットの受信時刻とにより前記複数の端末装置夫々へのメディアデータの配信遅延時間を求め、求めた前記複数の端末装置夫々に対するメディアデータの配信遅延時間に基づく再生待ち時間を前記複数の端末装置夫々に通知し、更に前記配信サーバから配信されたメディアデータを前記配信サーバから通知された再生待ち時間経過後に前記複数の端末装置夫々に配信し、前記複数の端末装置夫々は、前記中継装置にて中継された前記配信サーバからのメディアデータを前記中継装置にて割り当てられた再生待ち時間経過後に再生することを特徴とする映像コミュニケーション方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002297557A JP2004135062A (ja) | 2002-10-10 | 2002-10-10 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002297557A JP2004135062A (ja) | 2002-10-10 | 2002-10-10 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004135062A true JP2004135062A (ja) | 2004-04-30 |
Family
ID=32287230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002297557A Pending JP2004135062A (ja) | 2002-10-10 | 2002-10-10 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004135062A (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006050370A (ja) * | 2004-08-06 | 2006-02-16 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2006235897A (ja) * | 2005-02-24 | 2006-09-07 | Sony Corp | 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム |
| JP2007013658A (ja) * | 2005-06-30 | 2007-01-18 | Ricoh Co Ltd | 情報再生装置、画像処理装置および情報再生プログラム |
| JP2008244869A (ja) * | 2007-03-27 | 2008-10-09 | National Univ Corp Shizuoka Univ | ライブ配信システム、Ｗｅｂサーバ、エンコーダ及びライブ配信システムにおける配信管理方法 |
| JP2009505460A (ja) * | 2005-08-09 | 2009-02-05 | 華為技術有限公司 | ネットワーク通信の状態を検出する方法およびサーバ |
| JP2010062963A (ja) * | 2008-09-05 | 2010-03-18 | Hitachi Ltd | テレビ受像機およびテレビ受像機の処理方法 |
| WO2010146780A1 (ja) * | 2009-06-16 | 2010-12-23 | パナソニック株式会社 | 再生装置およびコンテンツ再生方法 |
| JP2011223060A (ja) * | 2010-04-02 | 2011-11-04 | Mitsubishi Electric Corp | 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置 |
| JP2013171415A (ja) * | 2012-02-21 | 2013-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 分散システム及びサーバ |
| JP2014149821A (ja) * | 2013-01-31 | 2014-08-21 | Sony Corp | オンラインイベントを待つための仮想ミーティングロビー |
| JP2014199651A (ja) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | 配信制御システム、配信システム、配信制御方法、及びプログラム |
| CN104160708A (zh) * | 2012-03-09 | 2014-11-19 | 汤姆逊许可公司 | 同步内容的分布式控制 |
| JPWO2012169175A1 (ja) * | 2011-06-09 | 2015-02-23 | パナソニック株式会社 | 通信端末、通信制御方法及びプログラム |
| US9350660B2 (en) | 2011-03-25 | 2016-05-24 | Ricoh Company, Limited | Transmission management system, transmission system, selection method, program product, program supply system, and maintenance system |
| JP2016517644A (ja) * | 2013-03-08 | 2016-06-16 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | オーディオ−ビデオ用のワイヤレスドッキングシステム |
| US9756288B2 (en) | 2013-04-10 | 2017-09-05 | Thomson Licensing | Tiering and manipulation of peer's heads in a telepresence system |
| US10284887B2 (en) | 2013-06-20 | 2019-05-07 | Interdigital Ce Patent Holdings | System and method to assist synchronization of distributed play out of content |
| CN110267031A (zh) * | 2019-05-16 | 2019-09-20 | 中国科学院西安光学精密机械研究所 | 一种摄像机输出图像延迟时间测试方法及系统 |
| WO2022244364A1 (ja) * | 2021-05-19 | 2022-11-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
| WO2023100487A1 (ja) * | 2021-12-03 | 2023-06-08 | ソニーグループ株式会社 | サービス提供サーバ、サービス提供方法及びサービス提供システム |
-
2002
- 2002-10-10 JP JP2002297557A patent/JP2004135062A/ja active Pending
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4655190B2 (ja) * | 2004-08-06 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2006050370A (ja) * | 2004-08-06 | 2006-02-16 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2006235897A (ja) * | 2005-02-24 | 2006-09-07 | Sony Corp | 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム |
| JP4706278B2 (ja) * | 2005-02-24 | 2011-06-22 | ソニー株式会社 | 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム |
| JP2007013658A (ja) * | 2005-06-30 | 2007-01-18 | Ricoh Co Ltd | 情報再生装置、画像処理装置および情報再生プログラム |
| JP4698302B2 (ja) * | 2005-06-30 | 2011-06-08 | 株式会社リコー | 情報再生装置、画像処理装置および情報再生プログラム |
| JP2009505460A (ja) * | 2005-08-09 | 2009-02-05 | 華為技術有限公司 | ネットワーク通信の状態を検出する方法およびサーバ |
| JP2008244869A (ja) * | 2007-03-27 | 2008-10-09 | National Univ Corp Shizuoka Univ | ライブ配信システム、Ｗｅｂサーバ、エンコーダ及びライブ配信システムにおける配信管理方法 |
| JP2010062963A (ja) * | 2008-09-05 | 2010-03-18 | Hitachi Ltd | テレビ受像機およびテレビ受像機の処理方法 |
| WO2010146780A1 (ja) * | 2009-06-16 | 2010-12-23 | パナソニック株式会社 | 再生装置およびコンテンツ再生方法 |
| JP2011223060A (ja) * | 2010-04-02 | 2011-11-04 | Mitsubishi Electric Corp | 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置 |
| US9350660B2 (en) | 2011-03-25 | 2016-05-24 | Ricoh Company, Limited | Transmission management system, transmission system, selection method, program product, program supply system, and maintenance system |
| US9456034B2 (en) | 2011-06-09 | 2016-09-27 | Panasonic Intellectual Property Management Co., Ltd. | Communication terminal, communication control method, and program |
| JPWO2012169175A1 (ja) * | 2011-06-09 | 2015-02-23 | パナソニック株式会社 | 通信端末、通信制御方法及びプログラム |
| JP2013171415A (ja) * | 2012-02-21 | 2013-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 分散システム及びサーバ |
| CN104160708A (zh) * | 2012-03-09 | 2014-11-19 | 汤姆逊许可公司 | 同步内容的分布式控制 |
| CN104160708B (zh) * | 2012-03-09 | 2018-12-11 | 汤姆逊许可公司 | 同步内容的分布式控制 |
| US10924582B2 (en) | 2012-03-09 | 2021-02-16 | Interdigital Madison Patent Holdings | Distributed control of synchronized content |
| KR101932793B1 (ko) * | 2012-03-09 | 2018-12-27 | 톰슨 라이센싱 | 동기화된 컨텐트의 분산형 제어 |
| JP2015515774A (ja) * | 2012-03-09 | 2015-05-28 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 同期されたコンテンツの分散型制御 |
| JP2014149821A (ja) * | 2013-01-31 | 2014-08-21 | Sony Corp | オンラインイベントを待つための仮想ミーティングロビー |
| JP2016517644A (ja) * | 2013-03-08 | 2016-06-16 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | オーディオ−ビデオ用のワイヤレスドッキングシステム |
| US10863233B2 (en) | 2013-03-08 | 2020-12-08 | Koninkllijke Philips N.V. | Wireliss docking system for audio-video |
| JP2014199651A (ja) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | 配信制御システム、配信システム、配信制御方法、及びプログラム |
| US9756288B2 (en) | 2013-04-10 | 2017-09-05 | Thomson Licensing | Tiering and manipulation of peer's heads in a telepresence system |
| US10284887B2 (en) | 2013-06-20 | 2019-05-07 | Interdigital Ce Patent Holdings | System and method to assist synchronization of distributed play out of content |
| CN110267031A (zh) * | 2019-05-16 | 2019-09-20 | 中国科学院西安光学精密机械研究所 | 一种摄像机输出图像延迟时间测试方法及系统 |
| WO2022244364A1 (ja) * | 2021-05-19 | 2022-11-24 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
| WO2023100487A1 (ja) * | 2021-12-03 | 2023-06-08 | ソニーグループ株式会社 | サービス提供サーバ、サービス提供方法及びサービス提供システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004135062A (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
| JP2003235027A (ja) | 配信映像の同時再生方法、映像配信システムおよび端末装置 | |
| US9538212B2 (en) | Generating a stream comprising synchronized content | |
| CN102668554B (zh) | 用于交互式同步视频观看的系统和方法 | |
| Sawchuk et al. | From remote media immersion to distributed immersive performance | |
| US9485467B2 (en) | Information processing system and information processing devices | |
| JP5335087B2 (ja) | 情報処理システムおよび情報処理装置 | |
| CN105491393A (zh) | 多人视频直播业务的实现方法 | |
| JP5086285B2 (ja) | 映像配信システム，映像配信装置，及び同期補正処理装置 | |
| JP2010093576A (ja) | 受信装置、受信方法およびコンピュータプログラム | |
| JP2003304511A (ja) | 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム | |
| JP5916244B2 (ja) | 映像再生システム | |
| CN111147362B (zh) | 多人即时通讯方法、系统、装置及电子设备 | |
| CN112584087B (zh) | 视频会议录制方法、电子装置和存储介质 | |
| JP7377352B2 (ja) | 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム | |
| US20070130314A1 (en) | Distribution apparatus, receiving apparatus tree-type distribution system, and information processing method etc. | |
| KR100948686B1 (ko) | 채널 전환시 지연을 줄이기 위한 ｉｐｔｖ 방송 시스템,가속 채널 스트림의 생성 및 재생방법 | |
| JP2009171294A (ja) | 映像配信システム、映像中継装置、及び映像中継方法 | |
| JP2009081654A (ja) | ストリーム同期再生システム及び方法 | |
| JP2008193500A (ja) | データ送信装置及びデータ中継装置 | |
| JP2008294663A (ja) | 受信装置、受信方法、プログラム、およびデータストリーム送受信システム | |
| WO2024057400A1 (ja) | メディア再生制御装置、メディア再生装置、メディア再生方法及びプログラム | |
| JP4930308B2 (ja) | リアルタイムメディア分配システム、方法、送信端末、および分配ルート決定方法 | |
| KR101810883B1 (ko) | 라이브 스트리밍 시스템 및 그의 스트리밍 클라이언트 | |
| JP6178893B1 (ja) | ユニキャスト配信装置、再生同期システム、ユニキャスト配信方法、およびユニキャスト配信プログラム |