JP5224731B2

JP5224731B2 - 映像受信装置及び映像受信装置の制御方法

Info

Publication number: JP5224731B2
Application number: JP2007160222A
Authority: JP
Inventors: 由香歌川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-06-18
Filing date: 2007-06-18
Publication date: 2013-07-03
Anticipated expiration: 2027-06-18
Also published as: JP2008312125A; US8194758B2; US20080309825A1

Description

本発明は映像受信装置、映像受信装置の制御方法、及びプログラムに関し、特に、ネットワークを介した映像伝送において、通信によってデータが欠落した時に用いて好適な技術に関する。

近年、インターネットが普及し、ネットワークを介した情報伝達が頻繁に行われるようになった。これにより、文字、画像、音声といった様々な形態の情報がやり取りできるようになっており、動画像もその一種としてネットワークを介してやり取りできるようになっている。したがって、予め録画された映像だけでなく、ライブ中継や監視などのために撮影された映像をやり取りすることができる。そこで、映像をやり取りするだけでなく、ライブ中継や監視などのために撮影された映像を、情報を受け取る側に即時に伝送して、再生できるようにするといった需要が高まっている。

通常、インターネット通信にはＴＣＰ（Transmission Control Protocol）とＵＤＰ（User Datagram Protocol）という通信プロトコルが使われている。ＴＣＰは、正しいデータの伝送を保証するため、信頼性の高い通信をすることができる。しかし、コネクションを開設するために伝送帯域を大きく使い、また、すべての誤ったデータに対して再送処理を行うので、データの伝送に遅延が生じる可能性がある。

一方、ＵＤＰは信頼性の高い通信機能を保証するわけではなく、データに誤りや欠落が発生するため、信頼性が低くなる。しかし、コネクションを開設したり解放したりする手間がないために、高速に伝送処理を行うことができる。動画像はサイズの大きい連続データであるため、リアルタイムで再生する場合には、高速に送る必要がある。したがって、インターネットで動画像を伝送する場合は、高速に送信できるＵＤＰを使うことが多い。

映像データを生成する時間と同じ時間で映像データを再生する場合に、誤ったデータを再送することにより、映像のフレームレートが低下してしまう。そこで、誤ったデータに対して、すべてのデータを再送要求せずに、重要な情報の欠落を回避してデータの伝送を行う映像伝送再送装置が開示されている（例えば、特許文献１参照）。特許文献１に記載されている映像伝送再送装置は、送信するデータについて、以下の（１）〜（４）を基に重要度を算出し、重要度が高いものについては再送要求を行っている。
（１）再生時に画面上でどの位置に表示されるかという位置情報。
（２）伝送処理中であるフレームよりも１つ前のフレームにおいて、送信する映像データと同位置の映像データに変化があったかどうかという変化の度合い。
（３）伝送処理中であるフレームと１つ前のフレームとを比較してフレーム全体の映像シーンに変化があるかというシーンの相関関係。
（４）送信機が複数の異なる映像を読み出して映像データ送信する場合に、それぞれの映像を相対的に比較して映像として動きが大きいか少ないかという相関関係、等である。

なお、この場合、例えば、エラーを含むフレームにおいてエラー箇所がフレームの中心から外れていたり、１つ前のフレームと比較して変化が少なかったりした場合は、このフレームは再送要求の対象にならない。また、フレーム全体の映像シーンにおける変化が少ない場合も、再送要求の対象にならない。

特開平１１−３３１８３９号公報

しかしながら、前記特許文献１に記載の映像伝送再送装置は、エラーフレームに対するエラーの対応処理としては、再送要求を行うことしかできない。一方、サーバ側は、エラーと判定されたフレームを再送要求に従って全て再送するようにしていたので処理負荷が大きくなってしまう。特に、１つのサーバが複数のクライアントを管理している場合には、データを再送するための処理負荷が非常に大きくなってしまう。このため、再送によるトラフィックの増大を十分に防止することができないという問題点があった。

そこで、再送によるトラフィックの増大を防止するために、重要度の閾値を上げて再送要求するフレームを減らそうとすると、再送要求しないフレームについて何も対応を行うことができないため、重要な情報の欠落を十分に回避できないという問題点があった。

本発明は前述の問題点に鑑み、映像データにエラーが生じた場合に、データの再送によるトラフィックの増大を最小限に抑えながら、重要な情報が欠落してしまうのを回避できるようにすることを目的としている。

本発明の映像受信装置は、映像データのパケットをサーバから受信する映像受信装置であって、前記サーバから正常に受信しなかったエラーパケットを検出する検出手段と、前記エラーパケットの重要度を判定する判定手段と、前記エラーパケットが第１の重要度であると判定された場合、前記第１の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信させることを決定し、前記エラーパケットが前記第１の重要度よりも低い第２の重要度であると判定された場合、前記第２の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信せずに、前記第２の重要度であると判定されたエラーパケットのエラーの修復処理を前記映像受信装置で行わせることを決定する決定手段と、前記決定手段による決定に応じた処理を行う処理手段とを有することを特徴とする。

本発明の映像受信装置の制御方法は、映像データのパケットをサーバから受信する映像受信装置の制御方法であって、前記サーバから正常に受信しなかったエラーパケットを検出する検出工程と、前記エラーパケットの重要度を判定する判定工程と、前記エラーパケットが第１の重要度であると判定された場合、前記第１の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信させることを決定し、前記エラーパケットが前記第１の重要度よりも低い第２の重要度であると判定された場合、前記第２の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信せずに、前記第２の重要度であると判定されたエラーパケットのエラーの修復処理を前記映像受信装置で行わせることを決定する決定工程と、前記決定工程による決定に応じた処理を行う処理工程とを有することを特徴とする。

本発明のプログラムは、映像データのパケットをサーバから受信する映像受信装置を制御するためのプログラムであって、前記サーバから正常に受信しなかったエラーパケットを検出する検出手順と、前記エラーパケットの重要度を判定する判定手順と、前記エラーパケットが第１の重要度であると判定された場合、前記第１の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信させることを決定し、前記エラーパケットが前記第１の重要度よりも低い第２の重要度であると判定された場合、前記第２の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信せずに、前記第２の重要度であると判定されたエラーパケットのエラーの修復処理を前記映像受信装置で行わせることを決定する決定手順と、前記決定手順による決定に応じた処理を行う処理手順とをコンピュータに実行させることを特徴とする。

本発明によれば、映像データにエラーが生じた場合に、再送要求を行うフレームをできるだけ少なくすることができる。したがって、データの再送によるトラフィックの増大を最小限に抑えながら、重要な情報が欠落してしまうのを回避することが可能となり、視覚的に検知可能な範囲での画質劣化を最小限にとどめることができる。

（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。
本実施形態では、ファイル形式がISO Base Media File Format(mp4)であるの場合を一例に説明する。また、本実施形態では、図２に示すようにＭＰ４ファイル中のUser Data Box('udta')に重要度の判定を行うための各種パラメータが記録されている例について説明する。

図１は、本実施形態の映像受信装置の機能構成例を示すブロック図である。
図１に示すように、本実施形態に係るクライアント（映像受信装置）１００は、受信したパケットの誤りや欠落を調査するパケット解析部１０２と、誤りを含むまたはデータが欠落したパケットの重要度を判定するエラー重要度判定部１０３とを備えている。また、エラー重要度判定部１０３で判定した重要度に基づきエラー処理を判定するエラー処理判定部１０４を備えている。さらに、エラー処理判定部１０４における判定結果に基づいてパケットに対するエラー処理を行う（エラー処理のための指示も含む）エラー処理部１０５と、受信した映像データを再生するデータ再生部１０６とを備えている。

次に、本実施形態で扱う映像データ１１１及びパケットについて説明する。本実施形態では、ＤＶ（Digital Video）やＪＰＥＧ方式のように映像データがフレームごとに構成されるものを扱う。また、本実施形態で扱うパケットは、ヘッダ情報として、パケット番号、伝送するフレームの番号、符号量、参照するフレーム番号といった情報を有している。もちろん、ヘッダに記録する情報はこれらに限定するわけではなく、また、これ以外の情報が含まれていてもよい。

まず、サーバ１０１から送られた映像データ１１１にエラーが発生した場合は、エラーパケットを検出し、そのエラーに対してエラー処理するまでの一連の流れを図７のフローチャートを参照しながら説明する。

まず、パケット解析部１０２はエラー検出手段として機能し、サーバ１０１からクライアント１００に対してパケット化された映像データが送信される（図１中の矢印１０７）。パケット解析部１０２は、サーバ１０１から送られた映像データ１１１にエラーが発生したか否かを判定する（ステップＳ７０１）。この判定の結果、エラーが発生した場合は、パケット解析部１０２は、エラーパケットを検出する（ステップＳ７０２）。そして、検出したエラーパケットをエラー重要度判定部１０３に通知するとともに、データ再生部１０６に通知する（図１中の矢印１０８）。エラー重要度判定部１０３は、前後またはそれ自身のパケットに関する情報を記録したパケット付加情報等の情報を基に、そのエラーパケットの重要度を判定する（ステップＳ７０３）。

次に、エラー処理判定部１０４は、ステップＳ７０３で判定したエラーパケットの重要度によりエラー処理方法を判定（決定）する（ステップＳ７０４）。そして、エラー処理判定部１０４で決定したエラー処理方法に基づき、エラー処理部１０５は、エラー処理（エラー処理のために必要な指示）を行う（ステップＳ７０５）。この時、再送要求などを行う場合は、サーバ（送信機）１０１へ指示を出す（図１中の矢印１０９）。サーバ（送信機）１０１は、エラー処理部１０５からの指示に対応して、エラー処理のために必要なデータをデータ再生部１０６に出力する（図１中の矢印１１０）。データ再生部１０６は、サーバ（送信機）１０１から送られてきたデータを使用してエラー処理を行う。そして、エラー処理が行われたデータは、最終的にデータ再生部１０６により、表示装置１１２に表示される（ステップＳ７０６）。一方、ステップＳ７０１の判定の結果、エラーが発生しなかった場合は、そのままステップＳ７０６に進む。

図２は、ＭＰ４ファイルの「udta(User Data Box)」に記録されたパケット付加情報に含まれているパケット重要度判定要素の記述例を示す図である。以下、図２に示すパケット付加情報の各パラメータについて説明する。なお、図２においては、パケット付加情報２０１〜２０５の５つのパケット示している。

パケット付加情報２０１、２０２を例に挙げて具体的に説明する。「packet Num」はパケット番号を示し、パケット付加情報２０１の「＃７」は７番目のパケットであり、パケット付加情報２０２の「＃６」は６番目のパケットであることを示している。「frame Num」はそのパケットが構成するフレーム群の番号を示し、パケット付加情報２０１、２０２においては、フレーム群番号がともに「＃２」のパケットであることを表している。「encoding mode」は、パケットの符号化モードを示し、パケット付加情報２０１、２０２においては、ともにＰフレームであることを表している。

「Number of packets of remainder」は、同じＩフレームを参照するフレーム（パケット）の中で、自分のパケットを参照しているフレーム（パケット）がいくつあるかを表している。つまり、パケット付加情報２０１が付加されたパケットの場合は、自分を参照しているパケットは０個であり、パケット付加情報２０２が付加されたパケットの場合は１個であることを表している。

そして、具体的にどのパケットが自分のパケットを参照しているかを表しているのが「reference frame Num」である。パケット付加情報２０１が付加されたパケットの場合は参照しているパケットが無いので「０」となっており、パケット付加情報２０２が付加されたパケットの場合は７番目のパケットが参照しているので「＃７」と付されている。また、パケット付加情報２０４が付加されたパケット（Ｉフレーム）については、このＩフレームを参照するフレーム（パケット）は、自分のフレームから次のＩフレーム間に存在するフレームであるため、「＃５，＃６，＃７」と付されている。

これらの各パラメータに対して、エラー重要度判定部１０３は、閾値情報を基に各パラメータに対するパケットの重要度を判定する。なお、本実施形態ではISO Base Media File Formatを例に挙げてパケット重要度判定要素の記述方法を示したが、ファイルフォーマットもパケット重要度判定要素の記述項目・記述方法もこれに限定するものではない。

次に、具体的なパケットの重要度の判定方法について図３を参照しながら説明する。図３は、データを構成するフレームを視覚的に示す図である。本実施形態では、符号化の種類に関しては、重要度が高い順番をＩフレーム、Ｐフレーム、Ｂフレームの順とした。これは、Ｉフレームは、自分のフレームと次に登場するＩフレームとに挟まれたフレーム（ＰフレームまたはＢフレーム）が確実に参照するフレームであり、Ｉフレームで生じたエラーはその後のフレームに対しても確実に影響を与える。このため、Ｉフレームについては重要度を高く設定する。

Ｐフレームに関しても、自分のフレームの後に続くフレームに対してもエラーの影響を与えるが、Ｉフレームと比較した場合にエラーが伝搬するフレーム数はＩフレームよりも少ない。このため、Ｐフレームについては、Ｉフレームよりも重要度を低く設定する。

例えば、図３において、Ｉフレーム３０１と後続のＰフレーム３０２〜３０５に着目した場合、Ｉフレーム３０１で生じたエラーはすべてのＰフレーム３０２〜３０５にも伝搬するため、エラー伝搬距離が大きい。また、Ｐフレーム３０２〜３０４に関しては、自分のフレームを参照する後続フレームがあるため、自分のフレームで生じたエラーは後続のフレームに伝搬する。例えば、Ｐフレーム３０２で生じたエラーはＰフレーム３０３〜３０５に伝搬し、Ｐフレーム３０３で生じたエラーはＰフレーム３０４、３０５に伝搬し、Ｐフレーム３０４で生じたエラーはＰフレーム３０５に伝搬する。ところが、Ｉフレーム３０１に比べるとエラー伝搬距離は小さい。

ここで、エラー伝搬距離(number of error propagation)は、自分のフレームで生じたエラーが影響を与えるフレームの数を表す。本実施形態においては、このエラーの影響を与える（自分のフレームで生じたエラーが伝搬する）フレーム数が多いものほどパケットの重要度を高く設定する。エラー伝搬距離をカウントする際には、例えば、図２に示すように、各フレームに対して、自分のフレームが参照しているフレーム番号を記録する。その場合に、他フレームから参照されているフレーム数が多いものほど、エラーが伝搬する距離が大きいため、重要度は高い。

また、別の方法としては、同一のＩフレームを参照するフレーム群の中で、参照するＩフレームとの距離を基に重要度を設定する方法もある。Ｉフレームの場合は、次のＩフレームまでの全フレームが参照していることになるので、エラー伝搬距離は大きくなる。また、Ｐフレーム（Ｂフレーム）の場合は、Ｉフレームに近いものほど自分のフレームを参照するフレーム数が多くなるが、Ｉフレームの場合と比べるとその数は少ない。このため、Ｐフレーム（Ｂフレーム）の場合は、Ｉフレームの場合よりも重要度は低くなる。

このように、本実施形態では、パケット情報に記録されたエラー伝搬距離を基に重要度を決定することにより、例えば、通信時にデータが欠落した場合などに、その重要度に基づいたエラー処理を行うようにすることができる。これにより、映像再生時における視覚的な検知可能な画質劣化を回避することが可能となる。

次に、パケットを受信した際に、受信した映像データに関するパケット付加情報を取得し、そのパケット付加情報に基づき、エラーが生じたパケットの重要度を決定し、さらにエラー処理方法を決定する方法について説明する。

前述したように、パケット解析部１０２でエラー（パケットロスを含む）を検出し、そのパケットに対して、エラー重要度判定部１０３で判定した結果に基づき、エラー処理判定部１０４は、エラーパケットに対するエラー処理を決定する。

例えば、設定された閾値を基に決定したエラーパケットの重要度が最も高い場合には、そのパケットに対して再送要求を出す。これは、前述したようにそのパケットにおけるエラーが後続のパケットに与える影響が大きいからである。そこで、Ｉフレームを構成するパケットの場合は、そのパケットの重要度を高くして、再送要求を必ず出すようにする。

このように、エラー伝搬距離が大きくて重要度が高いパケットに関しては再送要求を行うが、回線容量に制限がある場合、すべてのエラーパケットに対して再送要求を行うと、重要なパケットの再送において再度エラーが発生する可能性がある。そこで、重要度の最も高いパケットに関してのみ再送処理を行うようにすることにより、重要なパケットの欠落を防ぐことができる。しかし、重要度の高いパケットに関してのみ再送処理を行い、他のエラーパケットに関しては何の処理も行わないとなると、視覚的に与えるエラーの影響が大きくなる。そこで、本実施形態においては、エラーパケットに応じて処理を変更するようにした。

例えば、図３に示すように、Ｉフレームを構成するパケットではないが、エラー伝搬距離が大きいパケット（図３に示すＰフレーム３０２）の場合は、エラーコンシールメント（誤りの修復：Error. Concealment）を行う。Ｐフレーム３０２の場合、Ｉフレームに比べると重要度はそれほど高くないが、Ｐフレーム３０２で生じたエラーは後続のＰフレーム３０３〜３０５にもエラーが伝搬する。つまり、エラー伝搬距離が大きいフレームなので、Ｐフレーム３０２で生じたエラーは視覚的に検知可能な画質劣化が発生する可能性が大きいので、再生画像の画質に与える影響は大きい。

それに対して、Ｐフレーム３０５で生じたエラーは他のどのフレームにも伝搬しない。すなわち、エラー伝搬距離が０である。そこで、エラー処理による負荷軽減のために、例えば、Ｐフレーム３０５のようにエラー伝搬距離が小さいフレームを構成するパケットに関しては、そのフレームを非表示にする。なお、エラー処理を行う側の処理能力や通信容量に余裕があるのであれば、エラーコンシールメント等のエラー処理を行うことも当然可能である。

本実施形態では、エラーパケットに対するエラー処理として、再送要求、エラーコンシールメント、及びフレームの非表示を例に説明したが、もちろんこれらに限定するものではない。

以上のように本実施形態においては、エラー伝搬距離を基にエラーが生じたパケットの重要度を判定し、エラーが生じた部分を含むパケットに対して、重要度に応じたエラーの対応処理を行うようにした。これにより、パケットにエラーが生じた場合に、重要度の高いＩフレームでは再送要求を行い、それ以外のＰフレーム等では、エラーコンシールメントや非表示等のエラーの対応処理を行うことにより、再送要求するフレーム数を少なくすることができる。したがって、データの再送によるトラフィックの増大を最小限にすることができるとともに、視覚的に検知可能な画質劣化につながる重要な情報の欠落を十分に回避できる。

（第２の実施形態）
本実施形態では、フレーム間の動きベクトル情報（変化量）、符号量により、重要度及びエラー処理を決定する例について、図６を参照しながら説明する。図６は、フレーム間の変化量を示す図である。
図６において、元のフレーム６０１と次のフレームとの変化量に着目する。例えば、元のフレーム６０１内のあるエリア６０４に着目した場合、フレーム６０２の場合は変化量が小さく、フレーム６０３の場合は変化量が大きい。変化量については色々な判断基準があるが、図６に示すように、ある領域に関する変化量をとってもよいし、動きベクトルをとって、あるポイントの動き量を基に変化量をとってもよい。これらの変化量を求める方法についてはここで挙げたものに限定しない。

本実施形態では、重要度の判定要素（項目）としてフレーム間の変化量を考慮し、この変化量が大きいフレームほど重要度を高く設定する。つまり、エラーの発生したパケットを検知すると、エラー重要度判定部１０３は、エラーの生じたパケットの前パケットとの動きベクトル情報を取得する。そして、取得した情報を基に、動きベクトルが大きい場合はそのパケットの重要度を高く設定し、動きベクトルが小さい場合は重要度を低く設定する。

これは、変化の大きいフレームにエラーが発生することにより、そこでのエラーにより視覚的に検知可能な画質に与える影響が大きいからである。前フレームからの変化量が小さいフレームにおいてエラーが発生して、その部分が欠落したとしても、前フレームとの変化量が小さいため、前フレームのブロックを補うことができる。そこで、前フレームからの変化量が小さいフレームについては重要度を低く設定した。

本実施例形態において重要度判定要素として用いている動きベクトル情報の取得方法としては、受信機側でパケット情報より算出してもよく、送信機側が動きベクトル情報を予め取得し、それを受信機側に送信するようにしてもよい。動きベクトル情報の取得方法については、これに限定するものではない。

また、フレーム内の重要なポイントに関する変化量を記録し、変化量が大きいポイントを多く含むフレームについて重要度を高く設定するようにしてもよい。これにより、視覚的に検知可能な画質に影響が大きい重要度の高いポイントの欠落を防止することが可能となる。

また、前述した前フレームの変化量とともに、パケット重要度判定要素として符号量がある。パケット解析部１０２は、取得したパケットの符号量を基に、閾値情報を参照しながら重要度を決定するようにしてもよい。この場合、閾値よりも符号量が大きいところは、そのパケットが構成する箇所の動きが大きいために重要度を高く設定し、閾値よりも符号量が小さいところは重要度を低く設定する。

このように、パケット重要度判定要素において、予め設定した重要度を決定する閾値情報を基に重要度を設定することにより、その重要度に応じたエラー処理を行うことが可能である。エラー処理に関しては、第１の実施形態と同様に、重要度の高いものは再送要求を出し、重要度がそれほど高くないものに関しては、エラーコンシールメントを行う。また、フレームで生じたエラーが他フレームに与える影響がほとんどない場合は、そのフレームを非表示にする。これにより、データの再送によるトラフィックの増大を最小限に抑えながら、重要な情報が欠落してしまうのを十分に回避できる。なお、第１の実施形態と同様に、重要度に基づくエラー処理は、本実施形態で説明したものに限定するものではない。

（第３の実施形態）
前述した第２の実施形態では、各パケット重要度判定要素に対して重要度を決めて、それを基にエラー発生時のエラー対応を決定することについて説明した。それに対して本実施形態では、映像データに係わる付加情報である各パケット重要度判定要素の重要度を数値化し、複数のパケット重要度判定要素から算出した値を基に、パケットの重要度を決定する例について説明する。

図４は、図２に示した各パケット重要度判定要素及び変化量に対する各パケットの重要度を数値で表した一例を示す図である。本実施形態では、エラー伝搬距離や符号化モード、前フレームからの変化量を例に説明する。また、本実施形態では、各パラメータ重要度判定要素に対する重要度の評価方法を５段階で行っているが、これに限定するものではない。また、図４に示す重要度判定要素についても、すべてを含む必要はなく、またこれ以外の重要度判定要素を用いてもよい。また、本実施形態で示した重要度判定要素以外のパケット情報を記録することも可能である。

各重要度判定要素について説明すると、エラー伝搬距離は、前述したように、自分のフレームで生じたエラーが影響を与えるフレームの数を表し、エラー伝搬距離が大きいフレームほど重要度を高く設定している。符号化モードは、Ｉフレームを最も重要度を高く設定し、Ｐフレーム（及びＢフレーム）はＩフレームよりも重要度を低く設定している。なお、図４に示す例では、Ｉフレームの場合は重要度を「５」とし、Ｐフレームの場合は重要度を「３」とした。また、前フレームからの変化量は、変化量の大きいものほどその箇所で発生したエラーが視覚的に与える影響が大きいために重要度を高く設定している。

以上のような方法で、図４に示すような結果が出た場合、各パケット重要度判定要素に対する重要度を足し合わせて、数値が高いものほど重要度が高いパケットと判定する。図４に示す例では、トータルが「１４」である「Pack１」及び「Pack６」の重要度が最も高い。このように数値で重要度を表すことにより、複数のパケット重要度判定要素を考慮した上での重要度の判定が容易となり、重要な情報の欠落を高精度に回避できる。

また、図４に示す例では、各重要度判定要素の重要度をすべて足して判定を行ったが、複数の要素を用いて重要度を判定する場合は、単純にすべての要素を足し合わせるだけではなく、条件に応じて使い分けてもよい。例えば、符号化モードがＩフレームの場合は他の条件に関わらず、重要度を高く設定する。そして、符号化モードがＰフレームやＢフレームの場合は、符号化モードに加えて、エラー伝搬距離や前フレームとの変化量を合わせて複合的な要素を考慮した重要度を設定する。

以上のように本実施形態においては、複数の重要度判定要素を条件に応じて組み合わせることにより、回線状況に応じた柔軟な重要度判定及びそれに基づくエラー処理が可能となる。

（第４の実施形態）
前述した第１の実施形態では、パケット付加情報より得られるエラー伝搬距離に基づき各パケットに重要度をつけ、それを基にエラー処理判定部１０４が誤りの生じたパケットに対するエラー処理を決定した。それに対して本実施形態では、サーバから予め送られてくる参照マップを基に、エラーパケットの検出、エラーパケットの重要度判定、及び重要度に基づくエラー処理の決定を行う例について説明する。

図５は、本実施形態におけるサーバ及び映像受信装置の機能構成例を示すブロック図である。
送信機（サーバ）５０２は、パケットが構成するフレームの番号や、そのフレームを参照する情報等を含んだ参照マップ・重要度マップ作成部５０５を備えている。

まず、データ解析部５０４は、データ入力部５０３において入力された映像データ５０１の解析を行う。次に、参照マップ・重要度マップ作成部５０５は、データ解析部５０４による解析に従って、映像データ５０１の参照マップ及び重要度マップを作成する。ここで参照マップとは、映像データ５０１をパケットに分割した場合のフレームの参照情報やパケットの構成情報などの一覧を示したものである。また、重要度マップとは、映像データ５０１を複数に分割した各パケットの重要度の一覧を示したものである。そして、作成した参照マップをデータ送信部５０８より映像受信装置５１５に送信する。また、重要度マップも同様にデータ送信部５０８より映像受信装置５１５に送信する。

そして、パケット生成部５０６は、入力された映像データ５０１をパケット単位に分割し、データ送信部５０８を介して映像受信装置５１５に送信する。また、データ受信部５０９は、映像受信装置５１５から再送要求を受け取り、エラーパケット処理部５０７は、受け取った再送要求に従って、パケットを再生する。

前述した第１の実施形態では、受け取ったパケットとそのパケットに関する情報が記録されたパケット付加情報とを基に、エラーが生じたパケットの検出やそのパケットの重要度を判定するという処理を行っていた。一方、本実施形態では、映像受信装置５１５は、サーバ５０２から送られた参照マップや重要度マップを基にエラーが生じたパケットの検出や重要度の判定を行うようにしている。

具体的には、本実施形態においては、参照マップを用いて判定を行うようにするので、エラーが生じたパケットの検出を行う負荷が軽減される。また、参照マップと同様に、各パケットの重要度判定要素に基づくパケットの重要度が記録されている重要度マップも送信されるため、重要度を判定する負荷が軽減される。

パケット解析部５１０は、参照マップを基にエラーが生じたパケットを検出する。エラー重要度判定部５１１は、パケット解析部５１０で取得したエラーを含むパケット番号を基に、そのパケットの重要度をサーバ５０２から送られる重要度マップより取得する。そして、エラー重要度判定部５１１での判定結果に基づき、エラー処理方法を決定する。なお、サーバ５０２側で作成される重要度マップについては、ある特定のパケット重要度判定要素に関する情報でも、複数の重要度判定要素を総合した重要度情報でもよい。また、参照マップに記録する情報としては、フレームの参照情報やパケットの構成情報を例に挙げたが、これだけに限るものではない。

本実施形態で示したように、送信するデータの解析をサーバ５０２側で行い、参照マップ及び重要度マップを作成して映像受信装置５１５側に送る。全パケットを解析した結果が参照マップに記録されるので、映像受信装置５１５はより確実なパケット付加情報を取得することができ、さらに映像受信装置５１５側でのパケット解析処理の負荷が軽減される。

（本発明に係る他の実施形態）
前述した本発明の実施形態における映像受信装置を構成する各手段、並びに映像受信装置の制御方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録（記憶）したコンピュータ読み取り可能な記録媒体（記憶媒体）は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体（記憶媒体）等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体（記憶媒体）にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体（記憶媒体）から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における映像受信装置の機能構成例を示すブロック図である。本発明の第１の実施形態において、パケット付加情報の記述例を示す図である。映像データを構成するフレーム（パケット）を示す図である。本発明の第３の実施形態における各パケットの重要度判定要素の重要度を数値一覧の例を示す図である。本発明の第４の実施形態における映像受信装置及びサーバの機能構成例を示すブロック図である。フレーム間の変化量を示す図である。本発明の第１の実施形態において、映像受信装置による処理手順の一例を示すフローチャートである。

符号の説明

１００映像受信装置
１０１サーバ（送信機）
１０２パケット解析部
１０３エラー重要度判定部
１０４エラー処理判定部
１０５エラー処理部
１０６データ再生部

Claims

映像データのパケットをサーバから受信する映像受信装置であって、
前記サーバから正常に受信しなかったエラーパケットを検出する検出手段と、
前記エラーパケットの重要度を判定する判定手段と、
前記エラーパケットが第１の重要度であると判定された場合、前記第１の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信させることを決定し、前記エラーパケットが前記第１の重要度よりも低い第２の重要度であると判定された場合、前記第２の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信せずに、前記第２の重要度であると判定されたエラーパケットのエラーの修復処理を前記映像受信装置で行わせることを決定する決定手段と、
前記決定手段による決定に応じた処理を行う処理手段とを有することを特徴とする映像受信装置。
前記決定手段は、前記エラーパケットが前記第２の重要度よりも低い第３の重要度であると判定された場合、前記第３の重要度であると判定されたエラーパケットに応じた映像データを再生させないことを決定することを特徴とする請求項１記載の映像受信装置。
前記判定手段は、前記エラーパケットを参照するフレーム数が第１のフレーム数の場合、前記エラーパケットを参照するフレーム数が前記第１のフレーム数よりも少ない第２のフレーム数の場合よりも、前記エラーパケットの重要度を高く判定することを特徴とする請求項１又は２記載の映像受信装置。
前記判定手段は、前記エラーパケットを参照するフレーム数に応じた第１の評価値と、前記エラーパケットの符号化モードに応じた第２の評価値との組み合わせに基づいて、前記エラーパケットの重要度を判定することを特徴とする請求項１乃至３のいずれか１項に記載の映像受信装置。
前記サーバから送信される各パケットの重要度を示す重要度マップを前記サーバから受信する受信手段を有し、
前記判定手段は、前記重要度マップを用いて、前記エラーパケットの重要度を判定することを特徴とする請求項１又は２記載の映像受信装置。
前記判定手段は、
前記エラーパケットがＩフレームのパケットの場合、当該エラーパケットを第１の重要度と判定し、
前記エラーパケットがＰフレームのパケットの場合であって、当該エラーパケットを参照するフレーム数が第１のフレーム数の場合、当該エラーパケットを前記第１の重要度よりも低い第２の重要度と判定し、
前記エラーパケットがＰフレームのパケットの場合であって、当該エラーパケットを参照するフレーム数が前記第１のフレーム数よりも少ない第２のフレーム数の場合、当該エラーパケットを前記第２の重要度よりも低い第３の重要度と判定することを特徴とする請求項１又は２記載の映像受信装置。
前記判定手段は、前記エラーパケットを参照するフレーム数に応じた第１の評価値と、前記エラーパケットの符号化モードに応じた第２の評価値と、前記エラーパケットに対応する映像データの動き量に応じた第３の評価値とのうち少なくともいずれかを含む複数の評価値の和と、設定された閾値との比較結果に基づいて前記エラーパケットの重要度を判定することを特徴とする請求項１又は２記載の映像受信装置。
映像データのパケットをサーバから受信する映像受信装置の制御方法であって、
前記サーバから正常に受信しなかったエラーパケットを検出する検出工程と、
前記エラーパケットの重要度を判定する判定工程と、
前記エラーパケットが第１の重要度であると判定された場合、前記第１の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信させることを決定し、前記エラーパケットが前記第１の重要度よりも低い第２の重要度であると判定された場合、前記第２の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信せずに、前記第２の重要度であると判定されたエラーパケットのエラーの修復処理を前記映像受信装置で行わせることを決定する決定工程と、
前記決定工程による決定に応じた処理を行う処理工程とを有することを特徴とする映像受信装置の制御方法。
前記決定工程は、前記エラーパケットが前記第２の重要度よりも低い第３の重要度であると判定された場合、前記第３の重要度であると判定されたエラーパケットに応じた映像データを再生させないことを決定することを特徴とする請求項８記載の映像受信装置の制御方法。
映像データのパケットをサーバから受信する映像受信装置を制御するためのプログラムであって、
前記サーバから正常に受信しなかったエラーパケットを検出する検出手順と、
前記エラーパケットの重要度を判定する判定手順と、
前記エラーパケットが第１の重要度であると判定された場合、前記第１の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信させることを決定し、前記エラーパケットが前記第１の重要度よりも低い第２の重要度であると判定された場合、前記第２の重要度であると判定されたエラーパケットの再送要求を前記サーバへ送信せずに、前記第２の重要度であると判定されたエラーパケットのエラーの修復処理を前記映像受信装置で行わせることを決定する決定手順と、
前記決定手順による決定に応じた処理を行う処理手順とをコンピュータに実行させることを特徴とするプログラム。
前記決定手順は、前記エラーパケットが前記第２の重要度よりも低い第３の重要度であると判定された場合、前記第３の重要度であると判定されたエラーパケットに応じた映像データを再生させないことを決定することを特徴とする請求項１０記載のプログラム。