JP2010011287A - 映像伝送方法および端末装置 - Google Patents

Abstract

【課題】一方の端末装置から送信された映像が他方の端末装置に確かに受信されているかを、その一方の端末装置のユーザが適切で且つ迅速に確認することができる映像伝送方法を提供することを目的とする。
【解決手段】映像伝送方法では、カメラ１００が映像データを送信してサーバ３００がその主映像データを受信し（Ｓ１０８）、サーバ３００が、受信した映像データに対応するプロキシ映像データを生成し（Ｓ１１０）、データ送受信の遅延時間を検出し（Ｓ１０６）、検出した遅延時間が長いほど、生成されるプロキシ映像データのデータ量が少なくなるようにそのデータ量を調整し（Ｓ１１０）、カメラ１００にそのプロキシ映像データを送信し、カメラ１００がサーバ３００からそのプロキシ映像データを受信する（Ｓ１１２）。
【選択図】図９

Description

本発明は、ビデオカメラなどの映像を記録する端末装置が、ネットワークを介し、記録した映像を遠隔地にある他の端末装置に送信する映像伝送方法に関する。

近年、携帯電話やＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）といった無線ネットワーク技術が急速に普及している。このような無線ネットワークを使用して、デジタルカメラで撮影した映像などのデジタルデータを送受信することが行われている。このような無線ネットワークによるデータ伝送の技術において、ＩＰ（Internet Protocol）技術がその代表として挙げられるように、データをパケット化して送受信を行うことが一般的となっている。パケット化は、ネットワークの帯域を効率よく複数のユーザで共有する有効な手段となっているものの、その時々の共有状況に応じて伝送レートが変動するため、パケット到着の遅延やパケット損失が発生する可能性がある。その結果、送信される映像に遅れや乱れが発生してしまう。

そこで、ネットワーク上での通信異常を検出し、一方の端末装置から送信されて他方の端末装置で現に再生されている送信映像の状態を、その一方の端末装置で再現表示する仕組みが提案されている（例えば、特許文献１参照。）。

具体的には、上記特許文献１の映像伝送方法では、映像の撮影、再生および送受信が可能な二つの端末装置が用いられる。これらの端末装置はそれぞれ、撮影して得られた映像を相手の端末装置に送信し、相手の端末装置から送信された映像を受信して再生する。さらに、それぞれの端末装置は、相手の端末装置から送信された映像とともに、自らの端末装置で撮影して得られた映像も確認用として再生する。その際、それぞれの端末装置は、ネットワーク状態の悪化によって生じる、受信した映像上の乱れなどを示す情報を相手の端末装置に送る。そして、それぞれの端末装置は、相手の端末装置からその情報を受け取ると、自らの端末装置で撮影して得られた確認用の映像の再生に、その受け取った情報により示される乱れなどを反映させる。

こうすることで、それぞれの端末装置は、自らの端末装置から送信されて相手の端末装置で再生されている映像を、その自らの端末装置にてリアルタイムで再現表示できる。さらに、それぞれの端末装置のユーザは、お互いのネットワーク状態をリアルタイムで確認することができる。
特開２００７−１５０９１６号公報

しかしながら、上記特許文献１の映像伝送方法では、一方の端末装置のユーザは、その一方の端末装置から送信された映像が他方の端末装置に確かに受信されているかを適切に確認することができないという問題がある。

つまり、上記特許文献１の映像伝送方法では、一方の端末装置は、撮影して得られた映像を確認用に再生するが、その映像は、その一方の端末装置によって得られた映像そのものであって、他方の端末装置に実際に受信された映像ではない。また、その確認用の映像には、上述の情報に基づいて乱れが反映されるが、その乱れが反映されても、確認用の映像は、他方の端末装置に実際に受信されている映像ではなく、他方の端末装置に受信されている映像の模擬的な映像である。

そこで、例えば、一方の端末装置が送信して他方の端末装置に受信された映像を、その他方の端末装置から一方の端末装置に送り返してもらう映像伝送方法が想定される。この映像伝送方法では、一方の端末装置は、他方の端末装置に受信されて送り返された映像を受信して確認用の映像として再生する。したがって、一方の端末装置のユーザは、その一方の端末装置によって撮影されて得られた映像を、他方の端末装置に確かに受信されていることを確認することができる。

ところが、このような映像伝送方法であっても、他方の端末装置に受信されているか否かの確認に遅れが生じてしまうという問題がある。

このような問題について、上述の一方の端末装置がビデオカメラであり、他方の端末装置がサーバであるとして、以下に説明する。

一般的に、ビデオカメラは、映像を記録する場合、映像を示す映像データをファイル化してＤＶＤ−Ｒ（Digital Versatile Disk Recordable）やＳＤ（Secure Digital）（登録商標）カードなどのランダムアクセス可能な記録メディアへ記録する。そして、このようなビデオカメラは、その映像を送信する場合には、ファイル化された映像データである映像ファイルをその記録メディアから読み出して送信する。

しかしながら、サーバは、一般的に、映像ファイルを利用する場合、その映像ファイルに元々格納されているデータをすべて受信しないと、その映像ファイルが途中までしか受信されていない、もしくは映像ファイルが壊れていると認識し、その映像ファイルを利用することができない。特に、ファイルのファイル形式には、ＳＭＰＴＥ−３７７Ｍに準拠したＭＸＦ（Material eXchange Format）などがあり、そのファイル形式のファイルでは、そのファイルの先頭や末尾にあるヘッダやフッタに、そのファイルに格納しているデータの種類、フレーム周波数、およびデータサイズなどの情報が含まれている。したがって、パケット損失や送信中断により映像ファイルの送信が途中で切れると、サーバは、そのヘッダまたはフッタに含まれる情報を得ることができずに、その映像ファイルのデータの種類を判明できないことが起こり得る。

一方で、前述のように無線ネットワークでは、伝送レートが変動するため、パケット到着の遅延やパケット損失が必然的に発生する。

したがって、ビデオカメラが撮影した映像をサーバに送信し、サーバがその映像を受信してビデオカメラに送り返すような映像伝送方法では、送受信される映像ファイルのデータ量が多いために伝送レートが低下し易く、パケットの遅延や損失が著しく生じることがある。さらに、上述のように、パケット損失が生じると、映像ファイルを利用することができないため、その損失したパケットを再送する必要がある。その結果、パケットの遅延、つまり、ビデオカメラにより再生される確認用の映像がさらに遅れてしまう。言い換えれば、ビデオカメラでは、撮影されて表示されている動画像に対して、サーバから送り返された確認用の動画像が大幅に遅れて再生されてしまう。

これにより、ビデオカメラでは映像の撮影および送信がとっくに完了しているにもかかわらず、ビデオカメラのユーザは、確認用の映像の再生が終了するまで待たされることになる。

さらに、テレビ放送や映像制作業界においては、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）やＤＶＣＰＲＯ−ＨＤ（ＳＭＰＴＥ−３７０Ｍ）など、ビットレートが５０Ｍｂｐｓを越す高レートな映像データが扱われており、そのような映像データを送信して確認するには非常に長い時間を要してしまう。

このような問題は、例えば、ビデオカメラのユーザがそのビデオカメラで撮影されたニュース映像を、放送局に無線ネットワークを使って一刻も早くかつ確実に送信し、次の撮影に取りかかりたいというような場合に深刻となる。

そこで、本発明は、かかる問題に鑑みてなされたものであって、一方の端末装置から送信された映像が他方の端末装置に確かに受信されているかを、その一方の端末装置のユーザが適切で且つ迅速に確認することができる映像伝送方法を提供することを目的とする。

上記目的を達成するために、本発明に係る映像伝送方法は、第１および第２の端末装置の間で映像に関するデータを送受信する映像伝送方法であって、前記第１の端末装置が前記第２の端末装置に主映像を示す主映像データを送信する主映像送信ステップと、前記第２の端末装置が前記第１の端末装置から前記主映像データを受信する主映像受信ステップと、前記第２の端末装置が、受信した前記主映像データの示す主映像に対応する副映像を示す副映像データを生成する副映像生成ステップと、前記第２の端末装置が、前記第１の端末装置との間でのデータ送受信の遅延時間を検出する遅延時間検出ステップと、前記第２の端末装置が、検出した前記遅延時間が長いほど、前記副映像生成ステップで生成される副映像データのデータ量が少なくなるように前記データ量を調整する調整ステップと、前記第２の端末装置が前記第１の端末装置に前記副映像データを送信する副映像送信ステップと、前記第１の端末装置が前記第２の端末装置から前記副映像データを受信する副映像受信ステップとを含むことを特徴とする。ここで、前記調整ステップでは、前記第２の端末装置は、検出した前記遅延時間が長いほど、前記副映像データのデータ量を少なくして、前記副映像送信ステップで送信される前記副映像データのビットレートを低下させる。

これにより、第１の端末装置が送信した主映像データが副映像データとして第２の端末装置から送り返されるため、第１の端末装置のユーザは、その送信された主映像データが第２の端末装置に確かに受信されていることを適切に確認することができる。さらに、データ送受信の遅延時間、つまり、第１および第２の端末装置がネットワークを介してデータの送受信をしているときには、ネットワークの遅延時間が検出され、その遅延時間が長いほど、第２の端末装置から第１の端末装置に送信される副映像データのデータ量が削減されるため、第１の端末装置によるその副映像データの受信が遅れるのを防ぐことができる。したがって、第１の端末装置のユーザは、第１の端末装置から送信された映像データが第２の端末装置に確かに受信されているかを、適切で且つ迅速に確認することができる。

また、前記副映像生成ステップでは、前記第２の端末装置は、前記主映像データの示す主映像の解像度を低下させることにより前記副映像データを生成することを特徴としてもよい。

これにより、主映像データの示す主映像が低解像度化されることにより、その主映像に対応する所謂プロキシ映像を示す副映像データが生成される。その結果、主映像データよりも副映像データの方がデータ量が少ないため、主映像データおよび副映像データの送受信によるトラフィックの輻輳を抑えることができ、その送受信の遅延をさらに抑えることができる。

また、前記映像伝送方法は、さらに、前記第２の端末装置が、検出した前記遅延時間が予め定められたしきい値以上であるか否かを判別する遅延判別ステップを含み、前記調整ステップでは、前記第２の端末装置は、前記遅延判別ステップで前記遅延時間が前記しきい値以上であると判別したときに、前記副映像データのデータ量を、前記遅延時間が前記しきい値未満であったときの前記副映像データのデータ量よりも少なくすることを特徴としてもよい。

これにより、第２の端末装置は、遅延時間がしきい値以上になったときだけ、副映像データのデータ量を少なくすればいいので、複雑な制御を行うことなく、副映像データのデータ量を簡単に調整することができる。

また、前記遅延時間検出ステップでは、前記第２の端末装置は、前記第１の端末装置に第１のデータを送信し、前記データが前記第１の端末装置に受信されたことを通知するための第２のデータ（例えば、ＡＣＫパケット）を前記第１の端末装置から受信し、前記第１のデータが送信されてから前記第２のデータが受信されるまでの時間を計測することにより前記遅延時間を検出することを特徴としてもよい。例えば、前記遅延時間検出ステップでは、前記第２の端末装置は、前記副映像生成ステップで生成された前記副映像データを前記第１のデータとして前記第１の端末装置に送信する。つまり、第２の端末装置は、この遅延時間検出ステップで副映像データを第１の端末装置に送信して遅延時間を検出し、次に、主映像データを再び受信したときに、その主映像データに対応して生成すべき副映像データのデータ量を、先に検出しておいた遅延時間に応じて調整する。

これにより、実際にデータを送受信して遅延時間を計測するため、第２の端末装置はその遅延時間を正確に検出することができる。

また、前記調整ステップでは、前記第２の端末装置は、受信した前記主映像データを構成する複数のピクチャから何れかのピクチャを間引くことにより、前記副映像データのデータ量を少なくする。

これにより、副映像データを生成する前に、その副映像データの元になる主映像データからピクチャが間引かれるため、副映像データを生成した後にその副映像データのデータ量を削減するよりも、副映像データを生成するための処理負担を軽減することができる。

また、前記映像伝送方法は、さらに、前記第１の端末装置が、受信した前記副映像データの示す副映像の画質がしきい値未満となっている、前記副映像データの時間軸上の区間を低画質区間として特定する区間特定ステップと、前記第１の端末装置が、特定した前記低画質区間を示す区間情報を記録媒体に記録する記録ステップとを含むことを特徴としてもよい。例えば、前記区間特定ステップでは、前記第１の端末装置は、前記副映像データを受信している間、前記副映像データのビットレートを検出し、前記ビットレートがレートしきい値未満となっている区間を前記低画質区間として特定する。

これにより、区間情報が記録媒体に記録されているため、第１の端末装置のユーザは、その区間情報の示す低画質区間を確認することができる。例えば、第１の端末装置が副映像データを再生して副映像を表示しているときに低画質区間があっても、ユーザはその低画質区間を十分に確認することができない場合がある。このような場合に、ユーザは記録されている区間情報を使って低画質区間を確認することができる。

また、前記映像伝送方法は、さらに、前記第１の端末装置が、前記記録媒体から前記区間情報を読み出す区間読出ステップと、前記第１の端末装置が、読み出した前記区間情報により示される低画質区間に対応する前記主映像データの区間の主映像を表示する区間表示ステップとを含むことを特徴としてもよい。

これにより、第１の端末装置のユーザは、低画質区間に対応する主映像データの区間の主映像を確認することができる。したがって、その主映像データが第１の端末装置に記録されていれば、ユーザは、その確認結果に基づいて、その区間の主映像は重要だから、その主映像データを保存しておくべきと判断したり、その区間の主映像は重要でないから、その主映像データを削除してもよいと判断することができる。このように、ユーザの利便性を向上することができる。

また、前記映像伝送方法は、さらに、前記第１の端末装置が撮影することにより前記主映像データを生成する主映像生成ステップを含むことを特徴としてもよい。

これにより、第１の端末装置のユーザは、第１の端末装置をビデオカメラとして利用し、そのビデオカメラで撮影して得られた主映像データを、第２の端末装置であるサーバなどに送信することができる。

また、前記映像伝送方法は、さらに、前記第１の端末装置が、撮影により生成される前記主映像データの主映像と、受信する前記副映像データの副映像とを表示する映像表示ステップを含むことを特徴としてもよい。

これにより、第１の端末装置のユーザは、主映像と副映像とを比較して見ることができ、撮影されている映像と、第２の端末装置で受信されている映像とを同時に確認することができる。さらに、ユーザは、副映像が主映像からどれだけ遅れているかを容易に把握することができる。つまり、ユーザは、第２の端末装置で受信される主映像データの進行状況を、その第１の端末装置に表示される副映像を見て容易に把握することができる。

なお、本発明は、このような映像伝送方法として実現することができるだけでなく、その方法に用いられる端末装置や、集積回路、その端末装置がデータを送受信する方法、その方法でデータを送受信するためのプログラム、そのプログラムを格納する記憶媒体としても実現することができる。

本発明に係る映像伝送方法では、一方の端末装置から送信された映像が他方の端末装置に確かに受信されているかを、その一方の端末装置のユーザが適切で且つ迅速に確認することができるという作用効果を奏する。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本発明の実施の形態における映像伝送システムの構成を示す図である。

この映像伝送システム１０は、無線ネットワーク４００を介して互いに通信するカメラ１００とサーバ３００とを備えている。

カメラ１００は、撮影することによって動画像を示す映像データを生成し、その映像データを記録メディアに記録する。ここで、映像データは、符号化された複数のピクチャからなる。つまり、カメラ１００は、映像データを構成する上述のピクチャを生成するごとに、そのピクチャを記録メディアに順次記録する。

なお、上述の映像データの示す動画像を、以下、撮影映像という。また、本実施の形態では、カメラ１００は第１の端末装置に相当し、映像データおよび撮影映像は、それぞれ主映像データおよび主映像に相当する。

さらに、カメラ１００は、無線通信機能を有し、無線ネットワーク４００を介して、その生成した映像データをサーバ３００に送信する。具体的には、カメラ１００は、映像データを構成するデータ単位を生成するごとに、そのデータ単位をパケット化してサーバ３００に送信する。つまり、映像データは、複数のパケットに分けられ、ストリームとしてサーバ３００に送信される。

また、カメラ１００は、映像データを生成しながら、その生成される映像データをリアルタイムで再生することにより撮影映像を表示する。具体的には、カメラ１００は、映像データを構成するピクチャを生成するごとに、既に生成されているピクチャを順次再生する。

さらに、カメラ１００は、無線ネットワーク４００を介してサーバ３００から後述するプロキシ映像データを受信すると、そのプロキシ映像データを再生することにより、そのプロキシ映像データにより示される動画像（以下、プロキシ映像という）を、上述の撮影映像とともに表示する。ここで、プロキシ映像データは、そのプロキシ映像データを構成するデータ単位ごとにパケット化されて、ストリームとしてカメラ１００に送信されている。つまり、カメラ１００は、プロキシ映像データのパケットを順次受信して、それらのパケットからピクチャを構成するごとに、そのピクチャを撮影映像のピクチャよりも小さいサイズで表示する。

なお、本実施の形態では、プロキシ映像データおよびプロキシ映像は、それぞれ副映像データおよび副映像に相当する。

サーバ３００は、無線ネットワーク４００を介してカメラ１００から送信される映像データを受信すると、その映像データをプロキシ映像データに変換する。プロキシ映像データは、複数の符号化されたピクチャからなり、そのピクチャの画素数は、映像データのピクチャの画素数よりも少ない。つまり、サーバ３００は、映像データのピクチャを復号して低解像度化し、さらに符号化することにより、その映像データをプロキシ映像データに変換している。

そして、サーバ３００は、そのプロキシ映像データを所定のデータ単位ごとにパケット化して、各パケットをカメラ１００に順次送信する。

なお、本実施の形態では、サーバ３００は第２の端末装置に相当する。

このような映像伝送システム１０では、カメラ１００が映像データを生成してサーバ３００に送信し、サーバ３００がその映像データをプロキシ映像データに変換してカメラ１００に送り返し、カメラ１００にプロキシ映像を表示させている。これにより、カメラ１００のユーザは、カメラ１００に表示されるプロキシ映像を見ることによって、カメラ１００から送信された映像データがサーバ３００に受信されていることを確認することができる。

また、本実施の形態では、サーバ３００がプロキシ映像データのデータ量を調整してそのビットレートを制御する点に特徴があり、これによって、プロキシ映像の表示が撮影映像の表示から遅れるのを防ぐことができる。

以下、本実施の形態におけるカメラ１００およびサーバ３００の構成および動作を詳細に説明する。

図２は、本実施の形態におけるカメラ１００の構成を示すブロック図である。

このカメラ１００は、システム制御部１１０と、Ｉ／Ｏバス１２０と、記録メディア１３１と、記録メディアＩ／Ｆ部１３０と、入力部１４０と、表示部１４１と、映像入力部１４３と、映像エンコーダ１４２と、映像デコーダ１４４と、送受信部１５０とを含む。

入力部１４０は、撮影の開始または終了の指示をユーザから受け付ける。

Ｉ／Ｏバス１２０は、カメラ１００に含まれる上記各構成要素間におけるデータの入力および出力を可能にする。

送受信部１５０は、ＷｉＭＡＸなどによって無線ネットワーク４００に接続し、記録メディア１３１に格納されている上述の映像データをパケット化してサーバ３００に送信したり、パケット化されたプロキシ映像データをサーバ３００から受信したりする。また、送受信部１５０は、サーバ３００から受信したプロキシ映像データをシステム制御部１１０に出力する。

さらに、送受信部１５０は、サーバ３００との間で行われる通信のプロトコルとして、例えばＴＣＰ（Transmission Control Protocol）を用い、サーバ３００からプロキシ映像データのパケットを正しく受信すると、正しく受け取ったことを通知するためのＡＣＫ（ACKnowledgement）パケットをサーバ３００に送信する。

記録メディア１３１は、例えばＰＣＭＣＩＡ（Personal Computer Memory Card International Association）によって定められた形状であって、カメラ１００に着脱可能に構成されている。つまり、記録メディア１３１は、カメラ１００に設けられた記録メディア装着部としてのカードスロットに挿入されることにより、記録メディアＩ／Ｆ部１３０と接続する。また、記録メディア１３１はＦＡＴ（File Allocation Tables）１６などのファイルシステムでフォーマットされている。

記録メディアＩ／Ｆ部１３０は、カードバス規格に準拠しており、記録メディア１３１と接続する。そして、記録メディアＩ／Ｆ部１３０は、システム制御部１１０と記録メディア１３１との間のインタフェースを図る。

映像入力部１４３は、例えばＣＣＤ（Charge Coupled Devices）などを備えて構成されており、光信号を電気信号である映像信号に変換して、その映像信号を映像エンコーダ１４２に出力する。

映像エンコーダ１４２は、映像入力部１４３から出力された映像信号を取得し、その映像信号を圧縮符号化する。その結果、映像エンコーダ１４２は、例えばＤＶＣＰＲＯ−ＨＤ（ＳＭＰＴＥ−３７０Ｍ）形式の圧縮データを上述の映像データとして出力する。

映像デコーダ１４４は、記録メディア１３１に格納されている映像データを復号して、その復号された映像データを表示部１４１に出力する。さらに、映像デコーダ１４４は、送受信部１５０からシステム制御部１１０を介してプロキシ映像データを取得すると、そのプロキシ映像データも符号化されているため、そのプロキシ映像データを復号し、その復号されたプロキシ映像データを表示部１４１に出力する。

表示部１４１は、例えば液晶画面を有し、映像デコーダ１４４から復号された映像データを取得すると、その映像データの示す撮影映像を表示する。さらに、表示部１４１は、映像デコーダ１４４から復号されたプロキシ映像データを取得すると、そのプロキシ映像データの示すプロキシ映像を表示する。ここで、表示部１４１は、撮影映像を表示しているときに、プロキシ映像を表示するときには、例えば、撮影映像の隅にプロキシ映像を表示する。

システム制御部１１０は、例えばＣＰＵ（Central Processing Unit）とメモリとを含むコンピュータによって実現され、カメラ１００に含まれる各構成要素を制御する。このシステム制御部１１０は、機能的な構成要素として、映像ファイル処理部１１１と、ファイルシステム管理部１１２とを備えている。

なお、これらの機能的な構成要素は、ＣＰＵが各種のプログラムを実行することによって実現される。また、システム制御部１１０に含まれる各メモリの実現形態は、１つの実現形態に限定されるものではない。例えば、システム制御部１１０は、用途ごとにそれぞれメモリを備えてもよく、単一のメモリだけを備えて、用途ごとにそのメモリの領域を分けて使ってもよい。

ファイルシステム管理部１１２は、記録メディア１３１に映像データがファイルとして書き込まれるときには、そのファイルを管理するためのＦＡＴの管理情報を更新する。

映像ファイル処理部１１１は、入力部１４０に撮影開始の指示が受け付けられると、映像入力部１４３および映像エンコーダ１４２に上述の処理を実行させて、映像データ（ＤＶＣＰＲＯ−ＨＤの圧縮データ）を出力させる。そして、映像ファイル処理部１１１は、入力部１４０に撮影終了の指示が受け付けられると、映像入力部１４３および映像エンコーダ１４２に上述の処理を終了させて、映像データの出力を停止させる。ここで、映像ファイル処理部１１１は、映像データが出力されてから停止されるまでの間、ファイルシステム管理部１１２にＦＡＴの管理情報を更新させながら、その映像データをファイルとして記録メディア１３１に書き込んでいく。

つまり、映像ファイル処理部１１１は、撮影開始の指示があった場合には、ファイルシステム管理部１１２を介して、ファイルをオープンし、そのファイルに映像データを記録していく。そして、映像ファイル処理部１１１は、撮影終了の指示があった場合には、そのファイルをクローズする。このような一連の記録動作の実行によって、映像データが映像ファイルとして新規に記録メディア１３１に作成される。

また、映像ファイル処理部１１１は、記録メディア１３１への映像データの書き込みと並行して、ファイルシステム管理部１１２を介して、記録メディア１３１からの映像データの読み出しを行い、その映像データを送受信部１５０からサーバ３００に送信させるとともに、その映像データの復号を映像デコーダ１４４に実行させる。さらに、映像ファイル処理部１１１は、送受信部１５０にプロキシ映像データが受信されると、そのプロキシ映像データの復号も映像デコーダ１４４に実行させる。その結果、表示部１４１に、撮影映像とプロキシ映像とが表示される。

図３は、表示部１４１に表示される撮影映像とプロキシ映像の一例を示す図である。

表示部１４１は、例えば図３に示すように、映像データの示す撮影映像Ｖ１を画面全体に表示し、プロキシ映像データの示すプロキシ映像Ｖ２を、画面の右隅（図３に向かって右隅）に、撮影映像Ｖ１の一部に重畳させて表示する。

カメラ１００のユーザは、このような表示部１４１に表示される撮影映像Ｖ１とプロキシ映像Ｖ２を見ることにより、カメラ１００によって撮影されて記録されている映像と、サーバ３００に受信されている映像とを確認することができる。さらに、ユーザは、現時点において表示されている撮影映像Ｖ１とプロキシ映像Ｖ２とが異なっている場合には、サーバ３００に受信されている映像データが、カメラ１００で記録されている映像データよりも遅れていることを把握することができる。また、ユーザは、現時点において表示されているプロキシ映像Ｖ２と、そのプロキシ映像Ｖ２に対応する過去の時点に表示された撮影映像Ｖ１との時間差から、映像データの受信がどの程度遅れているかを確認することができる。

図４は、本実施の形態におけるサーバ３００の構成を示すブロック図である。

このサーバ３００は、システム制御部３１０と、Ｉ／Ｏバス３２０と、記録メディア３３０と、映像エンコーダ３４１と、映像デコーダ３４０と、送受信部３５０とを含む。

記録メディア３３０は、例えばＨＤＤ（Hard Disk Drive）のような大容量でランダムアクセス可能な記録メディアであって、ＮＴＦＳ（New Technology File System）などのファイルシステムでフォーマットされている。

Ｉ／Ｏバス３２０は、サーバ３００に含まれる上記各構成要素間におけるデータの入力および出力を可能にする。

映像デコーダ３４０は、記録メディア３３０に格納されている映像データを復号して、その復号された映像データを映像エンコーダ３４１に出力する。

映像エンコーダ３４１は、映像デコーダ３４０から復号された映像データを取得すると、その復号された映像データに対して、低解像度化を行うとともに、カメラ１００で用いられた圧縮形式（例えばＤＶＣＰＲＯ−ＨＤ（ＳＭＰＴＥ−３７０Ｍ））よりも高い圧縮率の圧縮形式で符号化を行う。例えば、映像エンコーダ３４１は、その復号された映像データの画像サイズをＱＶＧＡ（Quarter VGA）サイズに低解像度化してから、その低解像度化された映像データをＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）形式で符号化することによって、画像サイズがＱＶＧＡサイズの圧縮データを上述のプロキシ映像データとして生成して出力する。

送受信部３５０は、カメラ１００から無線ネットワーク４００を介して送信された映像データを受信してシステム制御部３１０に出力する。

さらに、送受信部３５０は、記録メディア３３０に格納されるプロキシ映像データをパケット化し、無線ネットワーク４００を介して、そのプロキシ映像データのパケットをカメラ１００に順次送信する。また、送受信部３５０は、送信したプロキシ映像データのパケットに対してカメラ１００からＡＣＫパケットが送信されると、そのＡＣＫパケットを受信する。そして、送受信部３５０は、プロキシ映像データのパケットの送信のタイミングと、そのパケットに対応するＡＣＫパケットの受信のタイミングとをシステム制御部３１０に通知する。

システム制御部３１０は、例えばＣＰＵとメモリとを含むコンピュータによって実現され、サーバ３００に含まれる各構成要素を制御する。このシステム制御部３１０は、機能的な構成要素として、映像ファイル処理部３１１と、ファイルシステム管理部３１２と、送受信状況確認部３１３と、フレーム間引部３１４とを備えている。

なお、これらの機能的な構成要素の実現方法や、システム制御部３１０に含まれる各メモリの実現形態は、カメラ１００のシステム制御部１１０の実現方法または実現形態と同様である。

ファイルシステム管理部３１２は、記録メディア３３０に映像データやプロキシ映像データがファイルとして書き込まれるときには、それらのファイルを管理するためのファイルシステムの管理情報を更新する。

映像ファイル処理部３１１は、ファイルシステム管理部３１２にファイルシステムの管理情報を更新させながら、映像エンコーダ３４１から出力されるプロキシ映像データをファイルとして記録メディア３３０に書き込む。また、映像ファイル処理部３１１は、上述のプロキシ映像データの書き込みと並行して、ファイルシステム管理部３１２を介して、記録メディア３３０からのプロキシ映像データの読み出しを実行し、そのプロキシ映像データを送受信部３５０に出力する。

さらに、映像ファイル処理部３１１は、送受信部３５０から映像データを取得すると、ファイルシステム管理部３１２にファイルシステムの管理情報を更新させながら、その映像データをファイルとし記録メディア３３０に書き込む。また、映像ファイル処理部３１１は、上述の映像データの書き込みと並行して、ファイルシステム管理部３１２を介して、記録メディア３３０からの映像データの読み出しを実行し、その映像データを映像デコーダ３４０に出力する。

送受信状況確認部３１３は、送受信部３５０から通知されるタイミングに基づいて、プロキシ映像データのパケットが送信されてから、そのパケットに対応するＡＣＫパケットが受信されるまでの時間を計測することにより、無線ネットワーク４００を介したデータ送受信の遅延時間を検出する。

フレーム間引部３１４は、上述のように検出された遅延時間がしきい値以上であるか否かを判別し、しきい値以上であると判別すると、映像エンコーダ３４１により生成されるプロキシ映像データのピクチャ（またはフレーム）を間引く。具体的には、フレーム間引部３１４は、映像エンコーダ３４１に取得される復号された映像データに含まれるピクチャを間引き、残されたピクチャに対する低解像度化および符号化をその映像エンコーダ３４１に実行させる。例えば、フレーム間引部３１４は、映像データに含まれるピクチャを１ピクチャおきに間引き、２倍速再生に利用されるようなピクチャだけを残し、その残されたピクチャに対する低解像度化などを映像エンコーダ３４１に実行させる。以下、このようにピクチャが間引かれる処理をフレーム間引という。

したがって、プロキシ映像データに含まれる各ピクチャは、送受信部３５０からカメラ１００に順次送信されるが、遅延時間がしきい値以上になると、例えば、２枚に１枚の割合で間引かれて送信される。つまり、プロキシ映像データのビットレートが１／２に低下する。

さらに、フレーム間引部３１４は、しきい値以上になっていた遅延時間がしきい値未満になると、上述のフレーム間引を終了する。

なお、フレーム間引部３１４は、予め定められた上述のしきい値を保持していてもよく、利用される無線ネットワーク４００の帯域に応じて適応的にしきい値を変更してもよい。

ここで、サーバ３００の送受信状況確認部３１３による遅延時間の検出について詳細に説明する。

図５は、カメラ１００とサーバ３００との間におけるパケットの送受信を示すシーケンス図である。

カメラ１００は、映像データのパケットａ１，ａ２，…，ａｎをサーバ３００に順次送信する。

次に、サーバ３００は、それらのパケットａ１，ａ２，…，ａｎを受信すると、それらのパケットａ１，ａ２，…，ａｎに対応するプロキシ映像データのパケットｂ１，ｂ２，…，ｂｍを生成してカメラ１００に順次送信する。

ここで、サーバ３００は、プロキシ映像データのパケットを順次送信するときには、パケットを送信して、カメラ１００からそのパケットに対して送信されたＡＣＫパケットを受信した後に、プロキシ映像データの次のパケットを送信する。

具体的には、サーバ３００は、まず、プロキシ映像データのパケットｂ１をカメラ１００に送信する。カメラ１００は、そのパケットｂ１を正しく受信すると、そのパケットｂ１に対するＡＣＫパケットＢ１をサーバ３００に送信する。次に、サーバ３００は、そのＡＣＫパケットＢ１を受信すると、プロキシ映像データの次のパケットｂ２をカメラ１００に送信する。

このように、サーバ３００は、ＡＣＫパケットの受信によって、送信したプロキシ映像データのパケットがカメラ１００に正しく受信されたことを確認しながら、プロキシ映像データのパケットｂ１，ｂ２，…，ｂｍをカメラ１００に順次送信している。

ここで、サーバ３００の送受信状況確認部３１３は、プロキシ映像データのパケットｂ１が送信されると、そのパケットｂ１が送信されてから、そのパケットｂ１に対応するＡＣＫパケットＢ１が受信されるまでの時間を、遅延計測時間ｔｄ１として計測する。同様に、送受信状況確認部３１３は、プロキシ映像データのパケットｂ２が送信されると、そのパケットｂ２が送信されてから、そのパケットｂ２に対応するＡＣＫパケットＢ２が受信されるまでの時間を、遅延計測時間ｔｄ２として計測する。

このように、送受信状況確認部３１３は、プロキシ映像データのパケットが送信されるごとに、遅延計測時間ｔｄ１，ｔｂ２，…，ｔｄｎを計測し、例えば、それらの平均値を算出することによって、上述の遅延時間を検出する。

その後、カメラ１００は、上述と同様、映像データのパケットａ１１，ａ１２，…，ａ１ｎをサーバ３００に順次送信し、サーバ３００は、その送信されたパケットａ１１，ａ１２，…，ａ１ｎを順次受信する。

以上のように、カメラ１００とサーバ３００との間では、カメラ１００からの映像データの送信が終了するまで、映像データおよびプロキシ映像データのそれぞれのパケットとＡＣＫパケットとの送受信が繰り返し行われる。そして、送受信状況確認部３１３は、そのような送受信が行われている中で、上述の遅延時間を検出している。

また、サーバ３００の映像エンコーダ３４１およびフレーム間引部３１４は、このように送受信状況確認部３１３で検出された遅延時間に応じて、映像データに対する処理を変更し、プロキシ映像データを生成している。

図６は、映像データおよびプロキシ映像データに含まれるピクチャを示す図である。

映像エンコーダ３４１は、復号された映像データに含まれるピクチャｐ１，ｐ２，…を取得する。そして、映像エンコーダ３４１は、それらのピクチャｐ１，ｐ２，…を低解像度化して符号化することにより、ピクチャｐａ１，ｐａ２，…を含むプロキシ映像データを生成する。なお、プロキシ映像データのピクチャｐａ１，ｐａ２，…のそれぞれの表示時刻は、映像データのピクチャｐ１，ｐ２，…のそれぞれの表示時刻と一致している。

ここで、フレーム間引部３１４は、上述のように検出された遅延時間がしきい値以上であると判別すると、映像エンコーダ３４１に取得された映像データに対してフレーム間引を行う。例えば、フレーム間引部３１４は、映像データのピクチャｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６…のうち、２枚に１枚の割合でピクチャｐ２，ｐ４，ｐ６，…を間引き、ピクチャｐ１，ｐ３，ｐ５…を残す。

その結果、映像エンコーダ３４１は、遅延時間がしきい値以上のときには、残された映像データのピクチャｐ１，ｐ３，ｐ５…だけを低解像度化して符号化することにより、フレーム間引が行われたプロキシ映像データ、つまり、ピクチャｐａ１，ｐａ３，ｐａ５…を含むプロキシ映像データを生成する。

次に、カメラ１００に受信されるプロキシ映像データの遅延と、その遅延が短縮されることについて、図７および図８を用いて説明する。

図７は、ある時点においてカメラ１００およびサーバ３００により送受信された映像データおよびプロキシ映像データの一例を示す図である。

カメラ１００は、図７の（ａ）に示すように、映像データの先頭位置から位置５００までの区間を既に送信している。

このとき、サーバ３００は、図７の（ｂ）に示すように、映像データの先頭位置から位置５０１までの区間を受信している。つまり、映像データの位置５０１から上述の位置５００までの区間（遅延部分５１０）は、サーバ３００に受信されておらず遅延している。

また、サーバ３００は、受信した映像データの一部の区間を用い、その区間に対応する一部のプロキシ映像データを生成し、図７の（ｃ）に示すように、プロキシ映像データの先頭位置から位置５０２までの区間を既に送信している。

そして、このとき、カメラ１００は、図７の（ｄ）に示すように、プロキシ映像データの先頭位置から位置５０３までの区間を受信している。つまり、プロキシ映像データの位置５０３から上述の位置５０２までの区間（遅延部分５１１）は、カメラ１００に受信されておらず遅延している。また、図７の（ｂ）に示すように、サーバ３００には、映像データが先頭位置から位置５０１まで受信されているが、図７の（ｄ）に示すように、カメラ１００には、プロキシ映像データが先頭位置から位置５０３までしか受信されていない。したがって、カメラ１００のユーザは、映像データの位置５０３から位置５０１がサーバ３００に受信されているにもかかわらず、その受信を確認できていない。

そこで、サーバ３００の送受信状況確認部３１３は、プロキシ映像データの遅延部分５１１が全てカメラ１００に受信されるまでの時間を、上述の遅延時間として検出している。

なお、送受信状況確認部３１３は、プロキシ映像データのパケットを送信してから、そのパケットに対応するＡＣＫパケットを受信するまでの時間を計測し、その計測結果に基づいて遅延時間を検出したが、上述のような、プロキシ映像データの位置５０３および位置５０２に基づいて遅延時間を検出してもよい。

つまり、送受信状況確認部３１３は、サーバ３００からプロキシ映像データのパケットが送信されるときには、サーバ３００でのプロキシ映像データの送信位置（図７の位置５０２）を、そのパケットに相当するデータの末尾に移動させる。その後、送受信状況確認部３１３は、そのパケットに対応するＡＣＫパケットを受信すると、カメラ１００でのプロキシ映像データの受信位置（図７の位置５０３）を求める。そして、送受信状況確認部３１３は、プロキシ映像データの受信位置（図７の位置５０３）から送信位置（図７の位置５０２）までの区間を遅延部分５１１として算出し、その遅延部分５１１をカメラ１００が受信するのに要する時間を上述の遅延時間として検出する。

このように遅延時間が検出された結果、フレーム間引部３１４は、その遅延時間がしきい値以上であると判別すると、フレーム間引によってその遅延時間を縮める。つまり、フレーム間引部３１４は、サーバ３００による受信がカメラ１００側で確認されていない映像データの区間（位置５０３から位置５０１までの区間）を縮めようとする。

図８は、他の時点においてカメラ１００およびサーバ３００により送受信された映像データおよびプロキシ映像データの一例を示す図である。なお、この図８によって示される映像データおよびプロキシ映像データの状態は、図７に示すように映像データおよびプロキシ映像データが送受信された時点から、フレーム間引部３１４によってフレーム間引が開始され、所定時間経過した後の状態である。

具体的には、カメラ１００は、この時点では、図８の（ａ）に示すように、映像データの先頭位置から、上述の位置５００よりも後方の位置６００までの区間を既に送信している。

このとき、サーバ３００は、図８の（ｂ）に示すように、映像データの先頭位置から、上述の位置５０１よりも後方の位置６０１までの区間を受信している。つまり、映像データの位置６０１から上述の位置６００までの区間（遅延部分６１０）は、サーバ３００に受信されておらず遅延している。なお、このときの無線ネットワーク４００の伝送レートは、図７に示す状態のときと比べて回復しており、遅延部分６１０は、図７に示す遅延部分５１０よりも短くなっている。

また、サーバ３００は、受信された映像データの一部の区間を用い、その区間に対応する一部のプロキシ映像データを生成し、図８の（ｃ）に示すように、プロキシ映像データの先頭位置から位置６０２までの区間を既に送信している。

ここで、サーバ３００は、プロキシ映像データの先頭位置から位置５０２までの区間では、その区間に対応する映像データの区間に含まれる全てのピクチャを、プロキシ映像データのピクチャに変換して順次送信している。そして、サーバ３００は、プロキシ映像データのその位置５０２から位置６０２までの区間では、その区間に対応する映像データの区間に含まれる全てのピクチャから幾つかのピクチャを間引いて、残りのピクチャをプロキシ映像データのピクチャに変換して順次送信している。

つまり、フレーム間引部３１４は、プロキシ映像データが先頭位置から位置５０２まで送信されたときに、遅延時間がしきい値以上であると判別し、フレーム間引を開始している。その結果、サーバ３００の送受信部３５０は、位置５０２から位置６０２までの区間のプロキシ映像データを送信するときには、そのビットレートを、それまでのプロキシ映像データのビットレートよりも下げて送信している。

また、上述のように、プロキシ映像データの位置５０２から位置６０２までの区間では、映像データに含まれるピクチャのうち幾つかのピクチャが間引かれ、残りのピクチャに対して低解像度化および符号化が行われている。したがって、サーバ３００の映像エンコーダ３４１では、位置５０２以降のプロキシ映像データの生成にかかる処理負担が軽減されている。その結果、図８の（ｂ）に示す、サーバ３００に受信された映像データのうち、それに対応するプロキシ映像データが送信されていない区間（位置６０２から位置６０１までの区間）は、図７に示す区間（位置５０２から位置５０１までの区間）よりも短くなっている。

そして、このとき、カメラ１００は、図８の（ｄ）に示すように、プロキシ映像データの先頭位置から位置６０３までの区間を受信している。ここで、カメラ１００は、プロキシ映像データの先頭位置から位置５０２までの区間を、高ビットレートで受信し、その位置５０２から位置６０３までの区間を、低ビットレートで受信している。つまり、単位時間あたりに受信されるプロキシ映像データのピクチャの枚数が、プロキシ映像データの位置５０２から位置６０３までの区間では、それまでの区間よりも少なくなっている。

その結果、プロキシ映像データの位置６０３から位置６０２までの区間（遅延部分６１１）は、ビットレートの低下によって、図７に示す遅延部分５１１よりも短くなっている。なお、このときの無線ネットワーク４００の伝送レートは、上述のように、図７に示す状態のときと比べて回復している。したがって、遅延部分６１１は、この伝送レートの回復にも影響されて短くなっている。

このように、本実施の形態では、サーバ３００に受信された映像データのうち、それに対応するプロキシ映像データが送信されていない区間（位置６０２から位置６０１までの区間）を短くすることができるとともに、プロキシ映像データの遅延部分６１１を短くすることができる。その結果、サーバ３００による受信がカメラ１００側で確認されていない映像データの区間（位置６０３から位置６０１までの区間）を縮めることができる。

したがって、カメラ１００はプロキシ映像データを速く受信することができるとともに、プロキシ映像データのピクチャが間引かれた区間を速く再生することができるため、プロキシ映像の遅延を取り戻して、撮影映像の進行状況に近づけることが可能となる。

図９は、本実施の形態における全体的な映像伝送方法を説明するための図である。

カメラ１００は映像データのパケットをサーバ３００に順次送信し、サーバ３００はその送信されたパケットを順次受信する（ステップＳ１００）。

サーバ３００は、それらの受信されたパケットに含まれる部分の映像データを復号し、低解像度化および符号化することにより、その部分に対応する一部のプロキシ映像データを生成する（ステップＳ１０２）。

そして、サーバ３００は、その一部のプロキシ映像データをパケット化して、プロキシ映像データのパケットをカメラ１００に順次送信し、カメラ１００は、そのパケットを正しく受信するごとに、そのパケットに対応するＡＣＫパケットをサーバ３００に送信する（ステップＳ１０４）。

ここで、サーバ３００は、プロキシ映像データのパケットの送信およびＡＣＫパケットの受信のタイミングに基づいて遅延時間を検出する（ステップＳ１０６）。そして、サーバ３００は、その検出した遅延時間がしきい値以上であると判別すると、以後、プロキシ映像データを生成するときには、フレーム間引を行う。

次に、上記ステップＳ１００と同様、カメラ１００が映像データの続きのパケットをサーバ３００に順次送信すると、サーバ３００はその送信されたパケットを順次受信する（ステップＳ１０８）。

サーバ３００は、上記ステップＳ１０２と同様、それらの受信されたパケットに含まれる部分の映像データを復号し、低解像度化および符号化することにより、その部分に対応する一部のプロキシ映像データを生成する（ステップＳ１１０）。このとき、サーバ３００は、上述のようにステップＳ１０６で検出された遅延時間がしきい値以上であるため、その一部のプロキシ映像データを生成するときには、フレーム間引を行っている。

そして、サーバ３００は、その一部のプロキシ映像データをパケット化して、プロキシ映像データのパケットをカメラ１００に順次送信し、カメラ１００は、そのパケットを正しく受信するごとに、そのパケットに対応するＡＣＫパケットをサーバ３００に送信する（ステップＳ１１２）。このステップＳ１１２では、先のステップＳ１１０でフレーム間引が行われているため、サーバ３００は、上記ステップＳ１０４で送信されるプロキシ映像データのピクチャ数よりも少ない数のピクチャ分のプロキシ映像データをパケット化して送信している。つまり、サーバ３００は、低ビットレートでその一部のプロキシ映像データをカメラ１００に送信している。

また、サーバ３００は、上記ステップＳ１０６と同様、プロキシ映像データのパケットの送信およびＡＣＫパケットの受信のタイミングに基づいて遅延時間を検出する（ステップＳ１１４）。そして、前回と同様に、その検出した遅延時間がしきい値以上であるとサーバ３００で判別されると、カメラ１００およびサーバ３００は、ステップＳ１０８〜Ｓ１１４までの処理を繰り返し実行する。

その後、サーバ３００は、遅延時間を検出し（ステップＳ１１６）、その遅延時間がしきい値未満であると判別すると、以後、プロキシ映像データを生成するときには、フレーム間引を行わない。

したがって、カメラ１００から映像データの続きのパケットが送信されると（ステップＳ１１８）、カメラ１００およびサーバ３００は、ステップＳ１０２〜Ｓ１０６と同様の処理を繰り返し実行する（ステップＳ１２０〜Ｓ１２４）。

図１０は、本実施の形態におけるサーバ３００の動作を示すフローチャートである。

まず、サーバ３００は、遅延時間を０に初期設定しておく（ステップＳ２００）。そして、サーバ３００は、カメラ１００から映像データのパケットを受信したか否かを判別する（ステップＳ２０２）。ここで、サーバ３００は、受信していないと判別すると（ステップＳ２０２のＮ）、処理を終了し、受信したと判別すると（ステップＳ２０２のＹ）、さらに、遅延時間がしきい値以上であるか否かを判別する（ステップＳ２０６）。

サーバ３００は、遅延時間がしきい値未満であると判別すると（ステップＳ２０６のＮ）、その受信した映像データのパケットに対応する一部のプロキシ映像データを、フレーム間引することなく生成する（ステップＳ２０８）。一方、サーバ３００は、遅延時間がしきい値以上であると判別すると（ステップＳ２０６のＹ）、その受信した映像データのパケットに対応する一部のプロキシ映像データを、フレーム間引を行いながら生成する（ステップＳ２１０）。

そして、サーバ３００は、ステップＳ２０８またはステップＳ２１０で生成されたプロキシ映像データのパケットをカメラ１００に送信し（ステップＳ２１２）、そのパケットに対応するＡＣＫパケットをカメラ１００から受信する（ステップＳ２１４）。その後、サーバ３００は、ステップＳ２０８またはステップＳ２１０で生成された一部のプロキシ映像データの最後のパケットを送信したか否かを判別する（ステップＳ２１６）。

ここで、サーバ３００は、最後のパケットを送信していないと判別すると（ステップＳ２１６のＮ）、ステップＳ２１２からの処理を繰り返し実行する。一方、サーバ３００は、最後のパケットを送信したと判別すると（ステップＳ２１６のＹ）、ステップＳ２１２およびステップＳ２１４のタイミングに基づいて遅延時間を検出する（ステップＳ２１８）。ステップＳ２１８で遅延時間を検出すると、サーバ３００は、再びステップＳ２０２からの処理を繰り返し実行する。

以上のように、本実施の形態では、カメラ１００が送信した映像データがプロキシ映像データとしてサーバ３００から送り返されるため、カメラ１００のユーザは、その送信した映像データがサーバ３００に確かに受信されていることを適切に確認することができる。つまり、ユーザは、カメラ１００に映し出されるプロキシ映像を見て、サーバ３００に受信されている映像データの進行状況を適切に確認することができる。

さらに、無線ネットワーク４００の遅延時間が検出され、その遅延時間が長いほど、サーバ３００からカメラ１００に送信されるプロキシ映像データのデータ量が削減されるため、遅延時間が長くなっても、カメラ１００によるそのプロキシ映像データの受信が遅れるのを防ぐことができる。言い換えれば、プロキシ映像の画質を低くすることで、その遅れを取り戻すことができる。

したがって、カメラ１００のユーザは、カメラ１００から送信された映像データ（撮影映像）がサーバ３００に確かに受信されているかを、適切で且つ迅速に確認することができる。

また、本実施の形態では、フレーム間引部３１４が、フレーム間引を実行するときには、低解像度化および符号化が行われる前の映像データからピクチャを間引くため、生成されたプロキシ映像データからピクチャを間引く場合と比べて、低解像度化および符号化の処理負担を減らすことができる。その結果、サーバ３００はプロキシ映像データをカメラ１００に迅速に送信することができる。

（変形例）
上記実施の形態では、遅延時間が長くなった時に、ピクチャが間引かれながらプロキシ映像データが生成されて送信される。その結果、ピクチャが間引かれている区間では、そのプロキシ映像データの示すプロキシ映像の画質は低下してしまう。したがって、映像データがサーバ３００に受信されたことをユーザが十分に確認できない可能性がある。そこで、本変形例では、プロキシ映像データにおいて、低画質でプロキシ映像が表示された区間（以下、低画質区間という）を特定し、その区間を示す情報をリストファイル（区間情報）として記録する。これにより、ユーザは、そのリストファイルの示す低画質区間を利用し、映像データ（映像ファイル）を保存しておくべきか、削除してもよいかなどを判断することができ、ユーザの利便性を向上することができる。

このような本変形例について、以下、詳細に説明する。

図１１は、本変形例に係るカメラの構成を示すブロック図である。

本変形例に係るカメラ７００は、上記実施の形態のカメラ１００のシステム制御部１１０の代わりに、そのシステム制御部１１０と機能が異なるシステム制御部７１０を備え、カメラ１００のシステム制御部１１０を除く他の構成要素と同一の構成要素を有している。なお、カメラ７００に含まれる構成要素のうち、カメラ１００に含まれる構成要素と同一の構成要素については、詳細な説明を省略する。

システム制御部７１０は、上記実施の形態のシステム制御部１１０に含まれている映像ファイル処理部１１１およびファイルシステム管理部１１２を備えているとともに、リストファイル処理部７１３も備えている。

リストファイル処理部７１３は、送受信部１５０に受信されるプロキシ映像データのビットレートを監視する。そして、リストファイル処理部７１３は、プロキシ映像データにおいて、ビットレートが所定のレートしきい値よりも低くなっている区間を上述の低画質区間として特定し、その低画質区間を示すリストファイルを生成して記録メディア１３１に記録する。

図１２は、プロキシ映像データのビットレートとリストファイルの一例を示す図である。

リストファイル処理部７１３は、図１２（ａ）に示すように、送受信部１５０にプロキシ映像データが受信されている間、そのプロキシ映像データのビットレートを監視している。そして、リストファイル処理部７１３は、ビットレートがレートしきい値以上からレートしきい値未満に変化した低下時刻と、ビットレートがレートしきい値未満からレートしきい値以上に変化した上昇時刻とを特定する。具体的には、リストファイル処理部７１３は、低下時刻として時刻ｔ１，ｔ３，ｔ５を特定し、上昇時刻として時刻ｔ２，ｔ４，ｔ６を特定する。

なお、レートしきい値は、例えば、フレーム間引が行われることなく生成されたプロキシ映像データが受信されるときのビットレートを標準ビットレートとした場合、その標準ビットレートの１／２のビットレートである。

さらに、リストファイル処理部７１３は、図１２（ｂ）に示すように、上述のように特定された低下時刻から上昇時刻までの区間を低画質区間として示すリストファイルＬｆを生成する。例えば、リストファイル処理部７１３は、特定された低下時刻、およびその直後の上昇時刻を、それぞれＩＮ点およびＯＵＴ点として扱い、そのＩＮ点およびＯＵＴ点からなる組をリストファイルＬｆに順次記録していく。

具体的には、リストファイル処理部７１３は、１番目の組（ＩＮ点ｔ１，ＯＵＴ点ｔ２）、２番目の組（ＩＮ点ｔ３，ＯＵＴ点ｔ４）および３番目の組（ＩＮ点ｔ５，ＯＵＴ点ｔ６）をそれぞれ順にリストファイルＬｆに記録する。

このように生成されたリストファイルＬｆは、各組の示すＩＮ点からＯＵＴ点までの区間が、フレーム間引が行われて生成されたプロキシ映像データの区間、すなわちプロキシ映像が低画質で表示された低画質区間であることを示す。さらに、そのＩＮ点およびＯＵＴ点は、プロキシ映像の低画質区間、または、その低画質区間に対応する撮影映像（映像データ）の区間の始点および終点にあるピクチャに対応している。

また、リストファイル処理部７１３は、生成したリストファイルＬｆにファイル名を付けるときには、そのファイル名に含まれる拡張子以外の部分を、映像ファイルのファイル名に含まれる拡張子以外の部分と同じにしておく。なお、その映像ファイルは、そのリストファイルＬｆの生成に用いられたプロキシ映像データに対応する映像ファイルである。例えば、送信された映像ファイルのファイル名が００１ａ．ｍｘｆであった場合、リストファイル処理部７１３は、リストファイルＬｆのファイル名を００１ａ．ｔｘｔとしておく。こうすることで、リストファイルＬｆを映像ファイルに関連付けることができ、リストファイル処理部７１３は、リストファイルＬｆがどの映像ファイルのＩＮ点およびＯＵＴ点の組を示しているかを把握することができる。

さらに、リストファイル処理部７１３は、入力部１４０にユーザからの再確認の指示が受け付けられると、記録メディア１３１に記録されているリストファイルＬｆからＩＮ点およびＯＵＴ点の組を順次読み出し、各組を示すアイコンを表示部１４１に表示させる。

図１３は、表示部１４１に表示されるアイコンの一例を示す図である。

リストファイル処理部７１３は、例えば図１２（ｂ）に示すリストファイルＬｆを記録メディア１３１から読み出すと、そのリストファイルＬｆに配列さている１番目、２番目および３番目の組をそれぞれ示すアイコンＩ１，Ｉ２，Ｉ３を表示部１４１に表示させる。

ここで、ユーザが入力部１４０を操作することで何れかのアイコンを選択すると、リストファイル処理部７１３は、選択されたアイコンの示す組により特定される映像データの区間を記録メディア１３１から読み出し、その区間分の映像データを映像デコーダ１４４に復号させて撮影映像を表示部１４１に表示させる。

このように、本変形例では、ユーザは、映像データがサーバ３００に受信されたかをプロキシ映像で確認できなかった低画質区間を、記録されている映像データの撮影映像で確認することができる。したがって、ユーザは、サーバ３００に確実に受信されたか不安が残る映像ファイルを残したり、確実に受信されたかどうか不明だが重要なシーンがないので映像ファイルを削除したりと、ファイル削除の判断を容易に行うことができる。

以上、本発明に係る映像伝送方法について、上記実施の形態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。

例えば、本実施の形態およびその変形例では、無線ネットワークを利用したデータの伝送を行ったが、ＡＤＳＬ（Asymmetric Digital Subscriber Line）やＦＴＴｘ（Fiber To The x）などの有線ネットワークであっても、無線ネットワークと有線ネットワークの組み合わせであっても構わない。

また、本実施の形態およびその変形例では、映像データのパケットとＡＣＫパケットを同じ無線ネットワークで伝送したが、ＡＣＫパケットの伝送をネットワーク遅延が小さい別のネットワークで行ってもよい。例えば、携帯電話で採用されているＣＤＭＡ（Code Division Multiple Access）方式の無線ネットワークを利用してＡＣＫパケットを伝送してもよい。

また、本実施の形態およびその変形例では、ＡＣＫパケットを用いてデータの受信位置を把握すると説明したが、ＡＣＫパケットに限定されるものではなく、例えばデータの受信位置情報自体を送信してもよい。

なお、確認用映像のプロキシ映像データのフレーム間引では、ビットレートを１／２にしてエンコードすると説明したが、ネットワーク遅延（遅延時間）の値によって段階的にビットレートを変化させてもよい。

また、フレーム間引では、単に１ピクチャ（フレーム）おきにピクチャを間引くのではなく、ＭＰＥＧのようなフレーム間圧縮を行う形式ではＩピクチャだけを残してＰピクチャやＢピクチャを間引くようにしてもよい。さらに、フレーム間引の処理単位を１ＧＯＰ（Group Of Pictures）単位でもよく、複数のＧＯＰ単位としてもよい。

また、本実施の形態およびその変形例では、カメラが記録する映像データの圧縮形式をＤＶＣＰＲＯ−ＨＤ形式とし、プロキシ映像データの圧縮形式をＭＰＥＧ−４形式としたが、その圧縮形式に限定されるものではない。

また、本実施の形態およびその変形例では、プロキシ映像データの送信先を、その元となる映像データを送信したカメラとしたが、そのカメラ以外の装置としてもよく、複数の装置としてもよい。例えば、同じ撮影現場にある無線ネットワーク機能を持つモバイル編集機にプロキシ映像データを送信して、そのモバイル編集機で、映像データの送信進行状況を確認してもよい。

また、本実施の形態およびその変形例では、映像データの記録を行ったカメラがその映像を送信したが、映像データを記録した記録メディアを別の装置に移して、その装置から映像データを送信してプロキシ映像を受信してもよい。

また、本実施の形態およびその変形例では、図３に示すように確認用映像であるプロキシ映像を右下の小さな領域に表示したが、ユーザの指示によってその領域を移動したり、プロキシ映像の表示と非表示とを切り替えたりしてもよく、その小さな領域での表示を、撮影用の大きな画面での表示に切り替えるようにしてもよい。

また、本実施の形態および変形例では、映像データをファイルとして着脱可能な記録メディアに記録したが、記録メディアはカメラに内蔵されたＨＤやフラッシュメモリでもよく、ＵＳＢ（Universal Serial Bus）などのインタフェースでカメラに接続されたＨＤなどであってもよい。

また、上記変形例では、ビットレートが標準ビットレートの１／２未満であるかどうかに応じて、ＩＮ点とＯＵＴ点を設定したが、１／２という数字に限定されるものではなく、ユーザによって自由に設定できるようにしてもよい。

また、上記変形例では、リストファイルを記録メディアに記録すると説明したが、カメラに内蔵されているフラッシュメモリなどの不揮発メモリに記録してもよい。

また、上記変形例では、リストファイルと映像ファイルとの関連付けを、ファイル名の拡張子以外の部分を同じにすることで行ったが、リストファイル名は任意にしておいてリストファイル内に映像ファイルのファイル名を記録することで関連付けを行ってもよい。その場合、リストファイルを映像ファイル毎に作る必要がなく、一つのリストファイルだけを作成し、そのリストファイルに、映像ファイルごとに、その映像ファイルのファイル名と、その映像ファイルに対応するＩＮ点およびＯＵＴ点の組とを記録してもよい。

また、本変形例では、リストファイルに載っているＩＮ点およびＯＵＴ点の組をアイコンで表示させたが、単にリストファイルの内容を表示させるだけでもよい。また、アイコンとして、ＩＮ点に相当する映像データのピクチャ（フレーム）のサムネイルを表示させてもよく、さらには、ＩＮ点から数秒だけ再生した映像データのピクチャ（フレーム）のサムネイルを表示させてもよい。

また、本変形例では、カメラ７００は低画質区間に対応する映像データの区間を記録メディア１３１から読み出して再生したが、その映像データの区間をサーバ３００に再送してもよい。これにより、カメラ７００のユーザは、映像データを確実にサーバ３００に送信することができる。

本発明に係る映像伝送方法は、ファイルとして記録した映像データを確実にネットワーク送信する用途において有用であり、例えば、通信機能を有するカメラと、そのカメラと通信するサーバとを有するシステムなどに適用することができ、特に、放送用や業務用のビデオカメラで行われる撮影のように、放送局に撮影した映像データを確実に送信するとともに、すぐに次の撮影に取りかかりたい場合に適している。

本発明の実施の形態における映像伝送システムの構成を示す図である。 本発明の実施の形態におけるカメラの構成を示すブロック図である。 本発明の実施の形態における表示部に表示される撮影映像とプロキシ映像の一例を示す図である。 本発明の実施の形態におけるサーバの構成を示すブロック図である。 本発明の実施の形態のカメラとサーバとの間におけるパケットの送受信を示すシーケンス図である。 本発明の実施の形態の映像データおよびプロキシ映像データに含まれるピクチャを示す図である。 本発明の実施の形態のある時点においてカメラおよびサーバにより送受信された映像データおよびプロキシ映像データの一例を示す図である。 本発明の実施の形態の他の時点においてカメラおよびサーバにより送受信された映像データおよびプロキシ映像データの一例を示す図である。 本発明の実施の形態における全体的な映像伝送方法を説明するための図である。 本発明の実施の形態におけるサーバの動作を示すフローチャートである。 本発明の実施の形態の変形例に係るカメラの構成を示すブロック図である。 本発明の実施の形態の変形例に係るプロキシ映像データのビットレートとリストファイルの一例を示す図である。 本発明の実施の形態の変形例に係る表示部に表示されるアイコンの一例を示す図である。

符号の説明

１００ カメラ
１１０ システム制御部
１１１ 映像ファイル処理部
１１２ ファイルシステム管理部
１２０ Ｉ／Ｏバス
１３０ 記録メディアＩ／Ｆ部
１３１ 記録メディア
１４０ 入力部
１４１ 表示部
１４２ 映像エンコーダ
１４３ 映像入力部
１４４ 映像デコーダ
１５０ 送受信部
３００ サーバ
３１０ システム制御部
３１１ 映像ファイル処理部
３１２ ファイルシステム管理部
３１３ 送受信状況確認部
３１４ フレーム間引部
３２０ Ｉ／Ｏバス
３３０ 記録メディア
３４０ 映像デコーダ
３４１ 映像エンコーダ
３５０ 送受信部
７００ カメラ
７１０ システム制御部
７１３ リストファイル処理部

Claims (16)

1. 第１および第２の端末装置の間で映像に関するデータを送受信する映像伝送方法であって、
   前記第１の端末装置が前記第２の端末装置に主映像を示す主映像データを送信する主映像送信ステップと、
   前記第２の端末装置が前記第１の端末装置から前記主映像データを受信する主映像受信ステップと、
   前記第２の端末装置が、受信した前記主映像データの示す主映像に対応する副映像を示す副映像データを生成する副映像生成ステップと、
   前記第２の端末装置が、前記第１の端末装置との間でのデータ送受信の遅延時間を検出する遅延時間検出ステップと、
   前記第２の端末装置が、検出した前記遅延時間が長いほど、前記副映像生成ステップで生成される副映像データのデータ量が少なくなるように前記データ量を調整する調整ステップと、
   前記第２の端末装置が前記第１の端末装置に前記副映像データを送信する副映像送信ステップと、
   前記第１の端末装置が前記第２の端末装置から前記副映像データを受信する副映像受信ステップと
   を含む映像伝送方法。
2. 前記副映像生成ステップでは、
   前記第２の端末装置は、前記主映像データの示す主映像の解像度を低下させることにより前記副映像データを生成する
   請求項１記載の映像伝送方法。
3. 前記調整ステップでは、
   前記第２の端末装置は、検出した前記遅延時間が長いほど、前記副映像データのデータ量を少なくして、前記副映像送信ステップで送信される前記副映像データのビットレートを低下させる
   請求項１記載の映像伝送方法。
4. 前記映像伝送方法は、さらに、
   前記第２の端末装置が、検出した前記遅延時間が予め定められたしきい値以上であるか否かを判別する遅延判別ステップを含み、
   前記調整ステップでは、
   前記第２の端末装置は、
   前記遅延判別ステップで前記遅延時間が前記しきい値以上であると判別したときに、前記副映像データのデータ量を、前記遅延時間が前記しきい値未満であったときの前記副映像データのデータ量よりも少なくする
   請求項１記載の映像伝送方法。
5. 前記遅延時間検出ステップでは、
   前記第２の端末装置は、
   前記第１の端末装置に第１のデータを送信し、
   前記データが前記第１の端末装置に受信されたことを通知するための第２のデータを前記第１の端末装置から受信し、
   前記第１のデータが送信されてから前記第２のデータが受信されるまでの時間を計測することにより前記遅延時間を検出する
   請求項１記載の映像伝送方法。
6. 前記遅延時間検出ステップでは、
   前記第２の端末装置は、
   前記副映像生成ステップで生成された前記副映像データを前記第１のデータとして前記第１の端末装置に送信する
   請求項５記載の映像伝送方法。
7. 前記調整ステップでは、
   前記第２の端末装置は、
   受信した前記主映像データを構成する複数のピクチャから何れかのピクチャを間引くことにより、前記副映像データのデータ量を少なくする
   請求項１記載の映像伝送方法。
8. 前記映像伝送方法は、さらに、
   前記第１の端末装置が、受信した前記副映像データの示す副映像の画質がしきい値未満となっている、前記副映像データの時間軸上の区間を低画質区間として特定する区間特定ステップと、
   前記第１の端末装置が、特定した前記低画質区間を示す区間情報を記録媒体に記録する記録ステップとを含む
   請求項１記載の映像伝送方法。
9. 前記区間特定ステップでは、
   前記第１の端末装置は、
   前記副映像データを受信している間、前記副映像データのビットレートを検出し、前記ビットレートがレートしきい値未満となっている区間を前記低画質区間として特定する
   請求項８記載の映像伝送方法。
10. 前記映像伝送方法は、さらに、
    前記第１の端末装置が、前記記録媒体から前記区間情報を読み出す区間読出ステップと、
    前記第１の端末装置が、読み出した前記区間情報により示される低画質区間に対応する前記主映像データの区間の主映像を表示する区間表示ステップとを含む
    請求項８記載の映像伝送方法。
11. 前記映像伝送方法は、さらに、
    前記第１の端末装置が撮影することにより前記主映像データを生成する主映像生成ステップを含む
    請求項１記載の映像伝送方法。
12. 前記映像伝送方法は、さらに、
    前記第１の端末装置が、撮影により生成される前記主映像データの主映像と、受信する前記副映像データの副映像とを表示する映像表示ステップを含む
    請求項１１記載の映像伝送方法。
13. 端末装置が他の端末装置との間で映像に関するデータを送受信する映像伝送方法であって、
    前記他の端末装置から、主映像を示す主映像データを受信する主映像受信ステップと、
    受信した前記主映像データの示す主映像に対応する副映像を示す副映像データを生成する副映像生成ステップと、
    前記他の端末装置との間でのデータ送受信の遅延時間を検出する遅延時間検出ステップと、
    検出した前記遅延時間が長いほど、前記副映像生成ステップで生成される副映像データのデータ量が少なくなるように前記データ量を調整する調整ステップと、
    前記他の端末装置に前記副映像データを送信する副映像送信ステップと
    を含む映像伝送方法。
14. 他の端末装置との間で映像に関するデータを送受信する端末装置であって、
    前記他の端末装置から、主映像を示す主映像データを受信する主映像受信部と、
    受信した前記主映像データの示す主映像に対応する副映像を示す副映像データを生成する副映像生成部と、
    前記他の端末装置との間でのデータ送受信の遅延時間を検出する遅延時間検出部と、
    検出した前記遅延時間が長いほど、前記副映像生成部で生成される副映像データのデータ量が少なくなるように前記データ量を調整する調整部と、
    前記他の端末装置に前記副映像データを送信する副映像送信部と
    を備える端末装置。
15. 端末装置が他の端末装置との間で映像に関するデータを送受信するためのプログラムであって、
    前記他の端末装置から、主映像を示す主映像データを受信する主映像受信ステップと、
    受信した前記主映像データの示す主映像に対応する副映像を示す副映像データを生成する副映像生成ステップと、
    前記他の端末装置との間でのデータ送受信の遅延時間を検出する遅延時間検出ステップと、
    検出した前記遅延時間が長いほど、前記副映像生成ステップで生成される副映像データのデータ量が少なくなるように前記データ量を調整する調整ステップと、
    前記他の端末装置に前記副映像データを送信する副映像送信ステップと
    を前記端末装置のコンピュータに実行させるプログラム。
16. 端末装置との間で映像に関するデータを送受信する集積回路であって、
    前記端末装置から、主映像を示す主映像データを受信する主映像受信部と、
    受信した前記主映像データの示す主映像に対応する副映像を示す副映像データを生成する副映像生成部と、
    前記端末装置との間でのデータ送受信の遅延時間を検出する遅延時間検出部と、
    検出した前記遅延時間が長いほど、前記副映像生成部で生成される副映像データのデータ量が少なくなるように前記データ量を調整する調整部と、
    前記端末装置に前記副映像データを送信する副映像送信部と
    を備える集積回路。

Images