JP4150951B2 - 動画配信システム、動画配信装置および方法、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画配信システム、動画配信装置および方法、並びにプログラムに関し、特に、異なる品質の画像を指定する複数のユーザに対して、対応する品質の画像をそれぞれ同時に配信することができるようにした動画配信システム、動画配信装置および方法、並びにプログラムに関する。
【０００２】
【背景技術】
ビデオオンデマンドやライブ映像等のストリーミング配信、またはビデオ会議やテレビ電話等に適用されるリアルタイム通信等の分野において、異なる能力を持つ複数の端末、例えば、解像度の低い表示装置と処理能力の低いCPU（Central Processing Unit）を有する携帯電話機等と、解像度の高い表示装置と処理能力の高いCPUを有するパーソナルコンピュータ等に対して、サーバが、同一のソース（動画）を、それぞれの端末に同時に配信することができるような動画配信システムが要求されている。
【０００３】
このような動画配信システムとして、例えば、動画データを、フレームを単位として階層符号化する階層符号化技術を用いた動画配信システムが研究および開発されている。この階層符号化技術が利用できる圧縮・伸張方式として、例えば、MPEG（Moving Picture Experts Group）４、または、静止画だけでなく動画も扱えるMotion JPEG（Joint Photographic Experts Group）2000等が知られている。
【０００４】
MPEG４においては、Fine Granularity Scalability技術と称される階層符号化技術が規格に取り込まれ、プロファイル化される予定であり、この階層符号化技術により、低いビットレートから高いビットレートまでの動画がスケーラブルに配信されることができるといわれている。
【０００５】
また、Motion JPEG2000においては、ウェーブレット（Wavelet）変換の技術が採用されており、このウェーブレット変換の特徴が生かされた階層符号化技術およびパケット化技術、即ち、空間解像度またはSNR（Signal to Noise Ratio）画質（以下、単に画質と記述する）等の所定の品質に基づいて、フレームのデータを階層符号化し、所定の順序に並べて、階層的にパケット化したりするような技術が利用できる。
【０００６】
さらに、Motion JPEG2000(Part 3)においては、階層化されたデータが、ファイルフォーマットで保存されることができる。
【０００７】
従って、従来の動画配信システムにおいては、サーバは、送信データ（配信する動画データ）として、それぞれの受信端末の能力に応じて異なるフォーマットの複数のデータ、または伝送レートに応じて異なる複数のデータを用意する必要があったが、上述したような階層符号化技術が適用された動画配信システムにおいては、サーバは、階層化された１つのファイルデータを用意することで、異なる能力を有するそれぞれの受信端末に対して、対応する送信データをそれぞれ同時に配信することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、Motion JPEG2000が動画配信システムに適用された場合、即ち、Motion JPEG2000がベースとされて、１つのサーバから複数の受信端末に対して動画データが配信される場合、受信端末が指定する品質によって、上述した階層化された１つのファイルデータに対する処理内容がそれぞれ異なるという課題があった。
【０００９】
例えば、いま、サーバに対して、第１の受信端末により空間解像度のプログレッシブが指定されるとともに、第２の受信端末により画質のプログレッシブが指定されたものとする。
【００１０】
この場合、例えば、サーバは、動画データを、フレームを単位として階層符号化するとともにパケット化して、１つのファイルデータ（複数のパケットから構成されるファイルデータ）を生成するが、サーバは、その後の処理として、次のようなプログレッシッブ毎に異なるそれぞれの処理を並行して行う必要があるといった課題があった。
【００１１】
即ち、サーバは、その１つのファイルデータを構成している複数のパケットのうち、それぞれのプログレッシブに該当するパケットをそれぞれ選別し、選別したパケットを、それぞれのプログレッシブ順序に従ってそれぞれ並べ替えて、それぞれのプログレッシブに該当するパケット群をそれぞれ生成し、さらに、生成したそれぞれのパケット群のうち、複数の受信端末が指定するそれぞれのパケットを選択し、複数の受信端末にそれぞれ送信するといった複雑な処理を行わなければならず、その結果、リアルタイムでこれらの処理を行うことは困難であるという課題があった。
【００１２】
なお、所定の符号化方式により符号化されるとともに、所定の順番に並べられたデータが復号され表示されるときに、最初に低い品質の画像が表示され、時間の経過とともに高い品質の画像が表示されていくような表示を、プログレッシブ表示と称しており、この所定の符号化方式（プログレッシブ表示を実現する符号化方式）を、プログレッシブ符号化方式と称し、また、この所定の順番（プログレッシブ表示を実現するために符号が並べられる順番）を、プログレッシブ順序と称している。
【００１３】
即ち、上述したMotion JPEG2000による符号化方式（ウェーブレット変換を利用した符号化方式）は、プログレッシブ符号化方式の１形態である。換言すると、Motion JPEG2000の符号化器は、対応する復号器により復号される画像の表示がプログレッシブ表示となるように、動画データを、フレームを単位として階層符号化する。
【００１４】
また、このプログレッシブ表示の対象となる品質を、以下、プログレッシブと称する。具体的には、プログレッシブ（品質）として、空間解像度、画質、およびカラーコンポーネント等が利用される。
【００１５】
ところで、本出願人であるソニー株式会社は、特開2000−341668において、上述したMotion JPEGを使用して、フレーム毎に異なる品質の画像をそれぞれ割り当てて、対応するフレームを複数の受信端末にそれぞれ配信する動画配信システムを開示した。
【００１６】
具体的には、サーバ内のエンコーダ（符号化器）が、あらかじめ設定されたフレーム間隔、かつフレーム毎に異なる品質（受信端末の表示能力、受信端末が指定するフレームレート、または、ネットワークの通信利用可能帯域等）に基づいて、それぞれのフレームをエンコードすることができるので、この動画配信システムのサーバは、複数の受信端末に対して、対応する品質の動画をそれぞれ配信することができる。
【００１７】
しかしながら、この動画配信システムにおいては、1つのフレーム（同一のフレーム）に対して割り当てられる品質の種類は1種類のみであるため、例えば、サーバが、30フレーム／秒でエンコードする能力があるものとすると、サーバは、15フレーム/秒の画像を指定する受信端末には、15フレーム分を割り当て、5フレーム/秒の画像を指定する他の受信端末には、残り15フレーム分の中から5フレーム分を割り当てるといったようにして、30フレームをそれぞれ割り振ることになる。
【００１８】
即ち、サーバが、この30フレームをどのように割り振るかで配信可能な受信端末の数が決定される。従って、この動画配信システムは、異なる品質の動画をそれぞれ受信することができる受信端末の数が限られているという課題を有している。
【００１９】
また、この動画配信システムにおいては、一度品質が割り当てられたフレームは、その品質でしか使用できないため、上述したように、例えば、サーバが、30フレーム／秒でエンコードする能力があり、かつ低解像度の15フレーム/秒の画像を指定する受信端末があったとすると、サーバは、高解像度の30フレーム/秒の画像を指定する他の受信端末には、動画を配信することができないという課題を有している。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、異なる品質の画像を指定する複数のユーザに対して、対応する品質の画像をそれぞれ同時に配信することができるようにするものである。
【００２１】
【課題を解決するための手段】
本発明の第１の動画配信システムは、入力された動画像を品質の各種類毎に階層符号化する符号化手段と、符号化手段により階層符号化された動画像のアクセスユニットをそれぞれパケット化して、品質の各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなるパケット群をそれぞれ生成するパケット化手段と、パケット化手段により生成されたパケット群のうち、品質の所定の種類に対応するパケット群に属し、品質の所定のレベルに対応するパケットを受信端末に送信する第１の通信手段と、前記受信端末に対する前記パケットの到達状況を監視する監視手段とを備える動画配信装置と、動画配信装置の第１の通信手段により送信されたパケットを受信する第２の通信手段と、第２の通信手段により受信されたパケットを復号する復号手段とを備える前記受信端末とからなり、受信端末は、品質の所定の種類および所定のレベルを、動画配信装置に対してそれぞれ指定する一方、動画配信装置の符号化手段は、監視手段により監視された前記パケットのパケット紛失率が閾値よりも低い場合に、受信端末に対して送信するパケット群の前記レベルをパケット紛失率に応じて可変させ、パケット紛失率が閾値を超えた場合に、受信端末に配信する前記動画像のアクセスユニット数をパケット紛失率に応じて可変させることを特徴とする。
【００２２】
本発明の第１の動画像配信システムにおいては、入力された動画像が品質の各種類毎に階層符号化され、階層符号化された動画像のアクセスユニットがそれぞれ動画配信装置によりパケット化されて、その結果として、品質の各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなるパケット群のそれぞれが生成される。受信端末により品質の所定の種類および所定のレベルが動画配信装置に対してそれぞれ指定されると、指定された品質の所定の種類に対応するパケット群に属し、指定された品質の所定のレベルに対応するパケットが受信端末に送信される。受信されたパケットは受信端末により復号される。その際、動画配信装置において、受信端末に対するパケットの到達状況が監視され、監視されたパケットのパケット紛失率が閾値よりも低い場合に、受信端末に対して送信するパケット群のレベルがパケット紛失率に応じて可変され、パケット紛失率が閾値を超えた場合に、受信端末に配信する動画像のアクセスユニット数がパケット紛失率に応じて可変される。
【００２３】
本発明の動画配信装置は、動画像を受信端末に配信する動画配信装置であって、入力された動画像を品質の各種類毎に階層符号化する符号化手段と、符号化手段により階層符号化された動画像のアクセスユニットをそれぞれパケット化して、品質の各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなるパケット群を生成するパケット化手段と、パケット化手段により生成されたパケット群のうち、受信端末により指定された品質の所定の種類に対応するパケット群に属し、受信端末により指定された品質の所定のレベルに対応するパケットを受信端末に送信する通信手段と、受信端末に対する前記パケットの到達状況を監視する監視手段とを備え、符号化手段は、監視手段により監視されたパケットのパケット紛失率が閾値よりも低い場合に、受信端末に対して送信するパケット群のレベルをパケット紛失率に応じて可変させ、パケット紛失率が閾値を超えた場合に、受信端末に配信する動画像のアクセスユニット数をパケット紛失率に応じて可変させることを特徴とする。
【００２４】
パケット化手段によりパケット化されるアクセスユニットは、プログレッシブ符号化方式により階層符号化されているようにすることができる。
【００２５】
受信端末は、品質の所定の種類として、空間解像度、画質、またはカラーコンポーネントのうちの少なくとも１つを指定し、品質のその所定の種類についての所定のレベルを指定するようにすることができる。
【００２６】
受信端末は、さらに、所定の単位時間あたりに復号できるアクセスユニットの数を、品質の所定の種類と所定のレベルとの組の１つとして指定するようにすることができる。
【００２７】
品質の各種類毎に符号化手段により階層符号化された動画像のアクセスユニットをそれぞれ記憶する記憶手段をさらに設け、パケット化手段は、記憶手段に記憶されたアクセスユニットのそれぞれをパケット化して、パケット群を生成するようにすることができる。
【００２８】
通信手段は、さらに、受信端末により指定された品質の所定の種類および所定のレベルを含む所定の情報が受信端末から送信されてきた場合、その所定の情報を受信し、符号化手段は、通信手段により受信された所定の情報に含まれる品質の所定の種類に基づいて、動画像を、アクセスユニットを単位として、複数のレベル毎に階層符号化し、パケット化手段は、符号化手段により階層符号化されたアクセスユニットをパケット化して、各レベルのそれぞれに対応するパケットからなるパケット群を生成し、通信手段は、パケット化手段により生成されたパケット群に属する前記各パケットのうちの、自分自身が先に受信した所定の情報に含まれる品質の所定のレベルに対応するパケットを受信端末に送信するようにすることができる。
【００２９】
通信手段は、ネットワークを介して受信端末と相互に接続しており、監視手段は、ネットワークの状況を監視することで、パケットのパケット紛失率を監視するようにすることができる。
【００３０】
本発明の動画配信方法は、動画像を受信端末に配信する動画配信装置の動画配信方法であって、入力された動画像を品質の各種類毎に階層符号化する符号化ステップと、符号化ステップの処理により階層符号化された動画像のアクセスユニットをそれぞれパケット化して、品質の各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなるパケット群を生成するパケット化ステップと、パケット化ステップの処理により生成されたパケット群のうち、受信端末により指定された品質の所定の種類に対応するパケット群に属し、受信端末により指定された品質の所定のレベルに対応するパケットを受信端末に送信する通信ステップと、受信端末に対するパケットの到達状況を監視する監視ステップとを含み、符号化ステップは、監視ステップの処理により監視されたパケットのパケット紛失率が閾値よりも低い場合に、受信端末に対して送信するパケット群のレベルをパケット紛失率に応じて可変させ、パケット紛失率が閾値を超えた場合に、受信端末に配信する動画像のアクセスユニット数をパケット紛失率に応じて可変させるステップを含むことを特徴とする。
【００３１】
本発明のプログラムは、動画像を受信端末に配信する動画配信装置を制御するコンピュータのプログラムであって、動画配信装置に入力された動画像を品質の各種類毎に階層符号化する符号化ステップと、符号化ステップの処理により階層符号化された動画像のアクセスユニットをそれぞれパケット化して、品質の各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなるパケット群を生成するパケット化ステップと、パケット化ステップの処理により生成されたパケット群のうち、受信端末により指定された品質の所定の種類に対応するパケット群に属し、受信端末により指定された品質の所定のレベルに対応するパケットを受信端末に送信する通信ステップと、受信端末に対するパケットの到達状況を監視する監視ステップとを含み、符号化ステップは、監視ステップの処理により監視されたパケットのパケット紛失率が閾値よりも低い場合に、受信端末に対して送信するパケット群のレベルをパケット紛失率に応じて可変させ、パケット紛失率が閾値を超えた場合に、受信端末に配信する動画像のアクセスユニット数をパケット紛失率に応じて可変させるステップを含むことを特徴とする。
【００３２】
本発明の動画配信装置および方法並びにプログラムにおいては、入力された動画像が、品質の各種類毎に階層符号化され、階層符号化された動画像のアクセスユニットがそれぞれパケット化されて、その結果、品質の各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなるパケット群が生成される。そして、受信端末により指定された品質の所定の種類に対応するパケット群に属し、受信端末により指定された品質の所定のレベルに対応するパケットが受信端末に送信される。その際、受信端末に対するパケットの到達状況が監視され、監視されたパケットのパケット紛失率が閾値よりも低い場合に、受信端末に対して送信するパケット群のレベルがパケット紛失率に応じて可変され、パケット紛失率が閾値を超えた場合に、受信端末に配信する動画像のアクセスユニット数がパケット紛失率に応じて可変される。
【００３８】
本発明の動画配信装置および方法、記録媒体、並びにプログラムにおいては、動画像が、受信端末により指定された品質に基づいて、アクセスユニットが単位とされて階層符号化され、階層符号化されたアクセスユニットがパケット化されて、それぞれの階層に対応する複数のパケットからなるパケット群が生成され、生成されたパケット群のうち、受信端末により指定された階層に対応するパケットが送信される。
【００３９】
【発明の実施の形態】
図１は、本発明が適用される動画配信システム１の構成例を表している。
【００４０】
なお、動画配信システム１において処理される単位は、例えば、上述したように、フレームが単位とされることも可能であるが、フィールドが単位とされることも可能である。そこで、本発明では、この単位を、アクセスユニットとも称する。
【００４１】
ビデオカメラ等により構成される動画入力装置１１は、映像や音声を入力し、それらを動画のデータに変換し、動画配信装置１２に供給する。
【００４２】
なお、この例においては、上述したように、映像のデータのみならず、音声のデータ等も併せて、動画データと称する。
【００４３】
動画配信装置１２は、供給された動画のデータを、ウェーブレット変換を使用した符号化方式（例えば、Motion JPEG200による符号化方式）により、フレームを単位として階層符号化し、階層符号化されたフレームをパケット化して、それぞれの階層に対応する複数のパケットからなるパケット群を生成する。
【００４４】
さらに、動画配信装置１２は、生成されたパケット群のうち、配信先（後述するユーザ端末１５ａ乃至ユーザ端末１５ｃのうちのいずれかの端末）より指定された階層に対応するパケットをネットワーク１３ａに供給する。
【００４５】
なお、この例においては、ネットワーク１３ａは、インターネットであるものとする。この場合、動画配信装置１２は、パケットを、ＩＰ（Internet protocol）パケットとしてネットワーク１３ａに供給する。
【００４６】
ネットワーク１３ａは、このIPパケットを、IPパケットに含まれているアドレスに対応する配信先に供給する。
【００４７】
即ち、ネットワーク１３ａに供給されたIPパケットは、配信先がユーザ端末１５ａであった場合、例えば、ダイアルアップサービスを提供するサービスプロバイダのネットワーク１３ｂを介してユーザ端末１５ａに、送信先が１５ｂであった場合、例えば、ADSL(Asymmetrical Digital Subscriber Line)を使ったサービスプロバイダのネットワーク１３ｃを介してユーザ端末１５ｂに、配信先がユーザ端末１５ｃであった場合、例えば、無線ネットワークにより基地局１４を介して移動端末（携帯電話機等の端末）であるユーザ端末１５ｃに、それぞれ供給（配信）される。
【００４８】
ユーザ端末１５ａ乃至ユーザ端末１５ｃのそれぞれは、ネットワーク１３ａに接続可能な処理速度を有するCPU、その処理速度の範囲内で符号化されたデータを復号できる復号器、および復号されたデータを所定の解像度で表示する表示装置等を設けている。
【００４９】
また、ユーザ端末１５ａ乃至ユーザ端末１５ｃのそれぞれは、それらの表示装置の解像度やCPUの処理能力に応じて、端末の能力やビットレート等からなる品質情報、即ちいわゆるQOS(Quality Of Service)情報（後述する、「setup要求」等の情報）をそれぞれ生成し、それぞれの対応する中継手段（ユーザ端末１５ａの場合、ネットワーク１３ｂ、ユーザ端末１５ｂの場合、ネットワーク１３ｃ、および、ユーザ端末１５ｃの場合、無線ネットワークと基地局１４）、並びにネットワーク１３ａを介して動画配信装置１２にそれぞれ供給する。
【００５０】
動画配信装置１２は、それぞれのユーザ端末１５ａ乃至ユーザ端末１５ｃに、ネットワーク１３ａの利用可能帯域、および対応するQOS情報（それぞれのユーザ端末１５ａ乃至ユーザ端末１５ｃより供給されたQOS情報のうちの対応する端末のQOS情報）に基づいて、上述したパケット群のうち、いずれのプログレッシブ順序かついずれの階層に対応するパケットを配信するのかをそれぞれ決定する。
【００５１】
次に、図２を参照して、動画配信システム１の動作の概略を説明する。
【００５２】
図２は、２種類の品質に対応する動画がそれぞれ配信される例を表している。
【００５３】
なお、図２においては、説明の簡略上、動画配信装置１２と各ユーザ端末１５ｄ乃至１５ｇとの間にある中継手段（例えば、ネットワーク１３ａ等）は省略されている。
【００５４】
例えば、いま、品質の要求方法が異なる２つのグループ２１と２２が存在するものとする。
【００５５】
グループ２１は、空間解像度がそれぞれ異なるユーザ端末１５ｄおよびユーザ端末１５ｅから構成され、それゆえに、動画配信装置１２に対しては、空間解像度のプログレッシブがユーザ端末１５ｄおよびユーザ端末１５ｅよりそれぞれ指定されるものとする。
【００５６】
グループ２２は、同じ空間解像度のユーザ端末１５ｆおよびユーザ端末１５ｇから構成されるが、それぞれのネットワークの帯域が異なるため、動画配信装置１２に対しては、画質のプログレッシブ、即ち、同じ空間解像度であるが、ビットレートが異なる品質が、ユーザ端末１５ｆおよびユーザ端末１５ｇよりそれぞれ指定されるものとする。
【００５７】
動画配信装置１２は、指定されたプログレッシブ毎（空間解像度と画質毎）に、プログレッシブ順序を変えたフレームをそれぞれ用意することにより、異なるグループ（グループ２１とグループ２２）に属する受信端末（ユーザ端末１５ｄ乃至１５ｇ）のそれぞれに対して、動画をスケーラブルにそれぞれ配信することができる。
【００５８】
具体的には、動画配信装置１２は、グループ２１には空間解像度のプログレッシブ順序で符号化したパケット３１−１乃至パケット３１−３を用意し、ユーザ端末１５ｄおよびユーザ端末１５ｅに対して、それぞれの端末に対応する空間解像度のパケットをそれぞれ送信する。
【００５９】
なお、パケット３１−１乃至パケット３１−３は、それぞれ空間解像度の小さい順にグループ化されており、それぞれ解像度１、２、および３と識別できるものであるとする。
【００６０】
この識別方法は、限定されないが、この例においては、例えば、パケット３１−１乃至パケット３１−３のそれぞれのヘッダ部分に、それぞれ解像度１、２、または３に対応する識別子が挿入されており、このヘッダ部分により解像度が識別されるものとする。
【００６１】
ユーザ端末１５ｄの表示装置が小さいものであり、いま、ユーザ端末１５ｄは、上述したQOS情報として、解像度１を指定する旨を含む情報を生成し、動画配信装置１２に送信したものとすると、動画配信装置１２は、空間解像度のプログレッシブ順序で符号化したパケット３１−１乃至パケット３１−３のうち、解像度１のパケット３１−１のみをユーザ端末１５ｄに供給する。従って、ユーザ端末１５ｄは、その小さな画面に対応する空間解像度、即ち、空間解像度のレベルが解像度１である動画を表示させることができる。
【００６２】
また、ユーザ端末１５ｅの表示装置が大きいものであり、いま、ユーザ端末１５ｅは、上述したQOS情報として、解像度３を指定する旨を含む情報を生成し、動画配信装置１２に送信したものとすると、動画配信装置１２は、空間解像度のプログレッシブ順序で符号化した解像度１のパケット３１−１乃至解像度３のパケット３１−３を、ユーザ端末１５ｅに供給する。従って、ユーザ端末１５ｅは、その大きな画面に対応する空間解像度、即ち、空間解像度のレベルが解像度３である動画を表示させることができる。
【００６３】
このように、動画配信装置１２は、グループ２１のユーザ端末１５ｄおよびユーザ端末１５ｅに、空間解像度に対してスケーラブルに動画をそれぞれ配信することができるので、動画配信装置１は、例えば、以下のような例に適用されることができる。
【００６４】
即ち、例えば、ユーザ端末１５ｄのような小さい画面を有する端末が、監視カメラ等に対する表示端末、即ち、動きを検出するための表示端末として要求され、かつ、ネットワークの輻輳等によって画質が落とされたり、またはフレームがスキップされたりするような動画ではなく、連続したフレームレートが確保された動画の表示が要求される場合、動画配信システム１は好適である。
【００６５】
また、HDTV（High-Definition-television）方式などの高ビットレートが要求される動画データが、インターネットのようなトラヒックが大きくかつ変動する通信路によりユーザに配信される場合であって、視覚的に違和感がない動画データとするために、その動画データの解像度がNTSC（National Television System Committee）方式程度に落とされることが要求されるとき、動画配信システム１は好適である。
【００６６】
ところで、グループ２２のユーザ端末１５ｆおよびユーザ端末１５ｇは、上述したように、表示装置のサイズは同じであるが、使用しているネットワーク環境、即ち利用可能な帯域幅がそれぞれ違うため、それぞれの帯域幅によってそれぞれ画質が変わることとなる。
【００６７】
従って、動画配信装置１２は、グループ２２に対して、画質のプログレッシブ順序で符号化したパケット３２−１乃至パケット３２−３を用意し、ユーザ端末１５ｆおよびユーザ端末１５ｇに対して、それぞれの端末に対応する画質のパケットをそれぞれ送信する。
【００６８】
なお、パケット３２−１乃至パケット３２−３は、それぞれ画質の低い順にグループ化されており、それぞれ画質１、２、および３と識別できるものであるとする。
【００６９】
この識別方法は、限定されないが、この例においては、パケット３１−１乃至パケット３１−３と同様に、パケット３２−１乃至パケット３２−３のそれぞれのヘッダ部分に、それぞれ画質１、２、または３に対応する識別子が挿入されており、このヘッダ部分により画質が識別されるものとする。
【００７０】
具体的には、いま、ユーザ端末１５ｆは、上述したQOS情報として、画質２を指定する旨を含む情報を生成し、動画配信装置１２に送信したものとすると、動画配信装置１２は、画質のプログレッシブ順序で符号化したパケット３２−１乃至パケット３２−３のうち、画質１のパケット３２−１および画質２のパケット３２−２をユーザ端末１５ｆに供給する。従って、ユーザ端末１５ｆは、画質のレベルが画質２である動画を表示させることができる。
【００７１】
また、ユーザ端末１５ｇは、いま、上述したQOS情報として、画質３を指定する旨を含む情報を生成し、動画配信装置１２に送信したものとすると、動画配信装置１２は、画質のプログレッシブ順序で符号化した画質１のパケット３２−１乃至画質３のパケット３２−３を、ユーザ端末１５ｇに供給する。従って、ユーザ端末１５ｇは、画質のレベルが画質３である動画を表示させることができる。
【００７２】
このように、動画配信装置１２は、グループ２２のユーザ（ユーザ端末１５ｆおよびユーザ端末１５ｇ）に対して、画質に対してスケーラブルに動画を送信（配信）することができるので、それぞれのユーザ端末１５ｆおよび１５ｇは、それぞれの回線速度に応じた画質の動画を受信することができる。
【００７３】
次に、図３を参照して、動画配信装置１２の構成を説明する。
【００７４】
主制御部４１は、動画配信装置１２全体の動作を制御する。
【００７５】
符号化部４２は、動画入力装置１１より供給された動画データを、主制御部４１より供給される制御パラメータ（例えば、各フレームをどのプログレッシブに基づいて階層符号化させるのかを示すパラメータ等）に基づいて、フレームを単位として階層符号化し、制御パラメータにより指定されているバッファ部４３ａまたはバッファ部４３ｂに供給する。
【００７６】
例えば、主制御部４１より供給された制御パラメータに、各フレームを２種類のプログレッシブ（第１および第２のプログレッシブ）に基づいて階層符号化させる旨の情報が含まれていたものとすると、符号化部４２は、フレーム毎に、第１のプログレッシブに基づいて階層符号化し、バッファ部４３ａに供給するとともに、第２のプログレッシブに基づいて階層符号化し、バッファ部４３ｂに供給する。
【００７７】
即ち、バッファ部４３ａは、第１のプログレッシブに基づいて階層符号化されたフレーム専用のバッファであり、バッファ部４３ｂは、第２のプログレッシブに基づいて階層符号化されたフレーム専用のバッファである。
【００７８】
従って、図３の例では、バッファの数は、バッファ部４３ａおよびバッファ部４３ｂの２つだけであるが、実際には、主制御部４２により供給される制御パラメータに含まれるプログレッシブの種類の数だけ必要となる。
【００７９】
換言すると、符号化部４２は、同一のフレーム（画像）を、プログレッシブ順序を変えてそれぞれ階層符号化し、対応するプログレッシブ専用のバッファ（バッファ部４３ａおよびバッファ部４３ｂ等）にそれぞれ供給する。
【００８０】
なお、符号化部４２の符号化方式は、階層符号化が可能な符号化方式であれば限定されないが、この例においては、上述したように、プログレッシッブ符号化方式の１つであるMotion JPEG2000による符号化方式（ウェーブレット変換を利用した符号化方式）であるものとする。
【００８１】
パケット化部４４は、主制御部４１の制御に基づいて、バッファ部４３ａまたはバッファ部４３ｂに記憶されているデータ（符号化部４２により階層符号化されたフレームのデータ）を解析して、プログレッシブの階層毎にデータ区切りを検出して、同一の階層毎にパケット化し、それぞれの階層に対応する複数のパケットからなるパケット群を生成する。この処理は、フレーム毎に、バッファ部４３ａおよびバッファ部４３ｂのそれぞれに対して行われる。
【００８２】
また、パケット化部４４は、これらのパケットのそれぞれに、各階層に対応する識別子を表すフラグをそれぞれ付与する。
【００８３】
この識別子は、動画配信装置１２が放送型の配信をする場合、受信端末（図１のユーザ端末１５ａ乃至ユーザ端末１５ｃ等）が、自身の能力に必要なパケットを指定するために必要なものであり、従って、１対１で通信される場合、この識別子は、必須とされない。
【００８４】
このように、パケット化部４４は、バッファ部４３ａおよびバッファ部４３ｂに記憶されているそれぞれの階層符号化されたフレームのデータを、対応するプログレッシブ順序でそれぞれパケット化し、各階層に対応する複数のパケット（各階層に対応する識別子がそれぞれ付与された複数のパケット）からなるパケット群をそれぞれ生成し、通信部４５に供給する。
【００８５】
通信部４５は、主制御部４１の制御に基づいて、供給されたパケット群のうち、主制御部４１より指示されたパケットを、ネットワーク１３ａに送信する。
【００８６】
なお、必要に応じて、パケット化部４４は、さらに、パケットをＩＰパケットにすることができる。この場合、パケット化部４４は、識別子に対応する優先度を示すフラグをＩＰパケットのヘッダにつけ直してもよい。
【００８７】
例えば、IP規格のバージョン４（IPv4）においては、TOS（Type Of Service）に対して優先度が示され、Diffservに対応したネットワークにおいて優先度のあるパケットの優先制御が可能となる。また、IP規格のバージョン６（IPv6）においては、フローラベルに対して優先度が示されることが可能である。
【００８８】
このように、ネットワーク層で利用されるプロトコルが異なると、優先度が示される数も異なるため、符号化部４２により階層符号化される場合の階層、アプリケーションが意識されたパケットにおける優先度、およびネットワーク層における優先度はそれぞれ対応付けられて指定されることが望ましく、その指定の制御を行うのが主制御部４１である。
【００８９】
この指定の制御は、あらかじめ優先度の対応付けが設定された制御であってもよいし、動的にネットワークのトラフィックや受信端末（図１のユーザ端末１５ａ乃至ユーザ端末１５ｃ等）の負荷を考慮して優先度の設定を変更する制御であってもよい。
【００９０】
ネットワークのトラフィック状態を監視する方法としては、例えば、IETF（Internet Engineering Task Force）のRFC(Request For Comments)1889におけるRTCP（RTP(Real-time Transport Protocol) Control Protocol）が適用された方法が知られている。
【００９１】
この方法においては、送信側は、一定時間毎に、送出RTPパケット数やタイムスタンプ情報等の情報、いわゆる「送信レポート」を受信側にパケットとして送信し、受信側は、この「送信レポート」に基づいて、送信側にRTPパケットの紛失率、紛失パケット数、受信した最大シーケンス番号、および到着間隔ジッタ等を含む情報、いわゆる「受信レポート」を返信する。
【００９２】
このように、RTCPは、送信側と受信側の間のプロトコルであり、送信側と受信側の間に介在するネットワークの種類、すなわちLAN（Local Area Network）やWAN(Wide Area Network)等に関わらず機能するプロトコルである。
【００９３】
そこで、この例においては、主制御部４１は、このRTCPに基づいて、ネットワークのトラフィック情報を監視し、上述した指定の制御を行うものとする。
【００９４】
即ち、通信部４５は、各受信端末（図１のユーザ端末１５ａ乃至ユーザ端末１５ｃ等）からネットワーク１３ａを介して供給されてくる受信レポートを、それぞれネットワーク監視・解析部４６に供給する。
【００９５】
ネットワーク監視・解析部４６は、供給されたこれらの各受信端末に対応する受信レポートに基づいて、ネットワークの輻輳状態を判定し、さらにその判定結果に基づいて、符号化部４２の符号化のレートを下げたり、送信フレーム数を下げたりさせるための制御に必要な各受信端末毎の情報を主制御部４１へそれぞれ供給する。
【００９６】
主制御部４１は、供給された各受信端末毎のこれらの情報のうち、所定の受信端末に対応する情報等に基づいて、上述したように、その所定の受信端末に対応する制御パラメータを生成し、符号化部４２に供給する。
【００９７】
また、主制御部４１は、供給された各受信端末毎のこれらの情報に基づいて、それぞれのプログレッシブに対応する上述した設定の制御を行う。即ち、主制御部４１は、各プログレッシブ毎に、上述した識別子に対応したIPの優先度を設定し、パケット化部４４にそれぞれ供給し、パケット化部４４は、これらのIPの優先度を示すフラグを、対応するプログレッシブのＩＰパケットのヘッダにそれぞれつけ直す。
【００９８】
このように、主制御部４１は、パケット化部４４を制御して優先度を設定することで、動画配信装置１２を使用するサービス提供者が最低限保証したい品質を確保するように制御することができる。
【００９９】
次に、図４および図５を参照して、上述したような、フレーム毎にプログレッシブ順序を変えてパケット化し、それぞれのパケットに識別子を付ける動作の詳細を説明する。
【０１００】
ここでは、説明の簡略上、プログレッシブは、空間解像度と画質の2種類であるものとする。
【０１０１】
また、符号化部４２は、動画入力装置１１より供給されてくる各フレームを、N（Nは、任意の整数値）フレーム／秒で階層符号化できるものとする。
【０１０２】
さらに、N個のフレームのそれぞれに対して、動画入力装置１１より供給される順番に従って、０からN-1までの番号がそれぞれ付与されているものとすると、符号化部４２は、付与された番号が偶数であるフレームの場合、即ち、n%2＝０（ｎは、上述した番号（０乃至Ｎ−１までの値）のうちのいずれかの値であり、％２は２で割った余りを示している）の場合、空間解像度に基づいて、また、付与された番号が奇数であるフレームの場合、即ち、n%2=1の場合、画質に基づいて、それぞれのフレームを階層符号化するものとする。
【０１０３】
具体的には、n%2＝０の場合、図４に示されるように、符号化部４２は、動画入力装置１１から入力されたフレームｎ（ｎは、上述した番号（０乃至Ｎ−１までの値）のうちのいずれかの偶数の番号）のデータを、空間解像度に基づいて階層符号化して、フレームｎの符号化データ５１とし、バッファ部４３ａに記憶させる。
【０１０４】
フレームｎの符号化データ５１は、空間解像度に対して５階層のうちのいずれかの階層に対応する符号化データにそれぞれ分割されている。
【０１０５】
即ち、フレームｎの符号化データ５１は、最低の空間解像度である空間解像度１の符号化データ６１−１、空間解像度１より１レベル（階層）上の空間解像度２の符号化データ６１−２、空間解像度２より１レベル上の空間解像度３の符号化データ６１−３、空間解像度３より１レベル上の空間解像度４の符号化データ６１−４、および最高の空間解像度である空間解像度５の符号化データ６１−５から構成される符号化データ群である。
【０１０６】
パケット化部４４は、符号化データ６１−１乃至符号化データ６１−５のそれぞれをパケット化し、パケット６２−１乃至パケット６２−５のそれぞれとし、即ち、パケット６２−１乃至パケット６２−５から構成されるパケット群を生成し、通信部４５へ供給する。
【０１０７】
なお、パケット６２−１乃至パケット６２−５は、いずれもRTPパケットであり、パケット６２−ｐ（ｐは、１乃至５の値のうちのいずれかの値）の拡張ヘッダ（RTPヘッダに続くアプリケーション依存のヘッダ）には、優先度として、符号化データ６１−ｐの空間解像度のレベル（階層）に対応する識別子ｐ（空間解像度ｐに対応する番号ｐ）が付与される（RTPHｐが付与される）。
【０１０８】
さらに、RTPパケットであるパケット６２−１乃至パケット６２−５は、IPにより転送される場合、IPパケットとされ、そのIPヘッダには、次表１に基づいて設定された優先度が付与される（IPｑ（ｑは、１乃至３の値のうちのいずれかの値）が付与される）。
【０１０９】
【表１】

【０１１０】
なお、このような階層符号化における階層（レベル）がRTPレベルの優先度に対応付けられる手法は、本願出願人により、特開平２００１−１９７４９９にて開示されている。
【０１１１】
通信部４５は、供給されたこれらのパケット群のうち、受信端末（例えば、図１のユーザ端末１５ａ）が指定する空間解像度ｒ（ｒは、１乃至５までのうちのいずれかの値））に対応するパケット、即ち、パケット６２−１乃至パケット６２−ｒをユーザ端末１５ａに送信（配信）する。
【０１１２】
ユーザ端末１５ａは、このパケット６２−１乃至パケット６２−ｒを受信するとともに復号することで、空間解像度ｒの動画を表示させることができる。
【０１１３】
従って、ユーザ端末１５ａは、パケット群のうちの全てのパケット、即ち、パケット６２−１乃至パケット６２−５を受信するとともに復号することで、最高の空間解像度（空間解像度５）の動画を表示させることができる。
【０１１４】
上述したn%2＝０の場合と同様に、n%2＝１の場合、図５に示されるように、符号化部４２は、動画入力装置１１から入力されたフレームｎ（ｎは、上述した番号（０乃至Ｎ−１までの値）のうちのいずれかの奇数の番号）のデータ（フレームn-1と同一の画像データ）を、画質に基づいて階層符号化して、フレームｎの符号化データ７１とし、バッファ部４３ｂ（図４のバッファ部４３ａとは別のバッファ部）に記憶させる。
【０１１５】
フレームｎの符号化データ７１は、画質に対して５階層のうちのいずれかの階層に対応する符号化データにそれぞれ分割されている。
【０１１６】
即ち、最低の画質である画質１の符号化データ８１−１、画質１より１レベル（階層）上の画質２の符号化データ８１−２、画質２より１レベル上の画質３の符号化データ８１−３、画質３より１レベル上の画質４の符号化データ８１−４、および最高の画質である画質５の符号化データ８１−５から構成される符号化データ群である。
【０１１７】
パケット化部４４は、符号化データ８１−１乃至符号化データ８１−５のそれぞれをパケット化し、パケット８２−１乃至パケット８２−５のそれぞれとし、即ち、パケット８２−１乃至パケット８２−５から構成されるパケット群を生成し、通信部４５へ供給する。
【０１１８】
なお、パケット８２−１乃至パケット８２−５は、図４のパケット６２−１乃至パケット６２−５と同様に、いずれもRTPパケットであり、パケット８２−ｐ（ｐは、１乃至５の値のうちのいずれかの値）の拡張ヘッダには、優先度として、符号化データ８１−ｐの画質のレベル（階層）に対応する識別子ｐ（画質ｐに対応する番号ｐ）が付与される（RTPHｐが付与される）。
【０１１９】
さらに、パケット８２−１乃至パケット８２−５は、図４のパケット６２−１乃至パケット６２−５と同様に、IPにより転送される場合、IPパケットとされ、そのIPヘッダには、上述した表１に基づいて設定された優先度が付与される（IPｑ（ｑは、１乃至３の値のうちのいずれかの値）が付与される）。
【０１２０】
通信部４５は、供給されたこれらのパケット群のうち、受信端末（例えば、図１のユーザ端末１５ａ）が指定する画質ｒ（ｒは、１乃至５までのうちのいずれかの値））に対応するパケット、即ち、パケット８２−１乃至パケット８２−ｒをユーザ端末１５ａに送信（配信）する。
【０１２１】
ユーザ端末１５ａは、このパケット８２−１乃至パケット８２−ｒを受信するとともに復号することで、画質ｒの動画を表示させることができる。
【０１２２】
従って、ユーザ端末１５ａは、パケット群のうちの全てのパケット、即ち、パケット８２−１乃至パケット８２−５を受信するとともに復号することで、最高の画質（画質５）の動画を表示させることができる。
【０１２３】
このように、動画配信装置１２は、各フレームを、プログレッシブ順序を変えて、それぞれ階層符号化するとともにパケット化し、複数のグループに対して、それぞれのグループが指定するプログレッシブに対応するパケットをそれぞれ配信することができる。
【０１２４】
従って、動画配信システム１は、１つのサーバ（例えば、図２の動画配信装置１２）から異なる品質をそれぞれ指定する複数のグループ（例えば、図２のグループ２１およびグループ２２）に対して、動画データを同時に配信することができる。
【０１２５】
さらに、動画配信システム１は、それぞれのグループ内のそれぞれの受信端末（例えば、図２のグループ２１内のユーザ端末１５ｄおよびユーザ端末１５ｅ、並びにグループ２２内のユーザ端末１５ｆおよびユーザ端末１５ｇ）に対して、プログレッシブ（空間解像度や品質等）のレベル（階層）が異なる動画データ、即ち、それぞれの受信端末の能力や、それぞれのネットワークの環境に応じた動画データを、対応する受信端末にそれぞれ配信することができる。
【０１２６】
次に、動画配信システム１で配信されるパケットの具体例を説明する。
【０１２７】
図６は、図３の符号化部４２が、フレームのデータを、ウェーブレット変換により、空間解像度に基づいて階層符号化し、それぞれのレベルの帯域に分割した例を表している。
【０１２８】
具体的には、図６においては、ウェーブレット変換により分割が３回行われたフレームが示されており、このフレームがバッファ部４３ａに記憶される。
【０１２９】
即ち、図６のフレーム（帯域９１−１乃至帯域９１−１０）のサイズが１とされると、最も重要度の高い低域（３ＬＬ）、即ち、帯域９１−１が１／８のサイズとされ、帯域９１−１乃至帯域９１−４で構成される次の低域（２ＬＬ）が１／４サイズとされ、帯域９１−１乃至帯域９１−７で構成される次の低域（ＬＬ）が１／２サイズとされるように、符号化部４２によりフレームが分割され、それらがバッファ部４３ａに記憶される。
【０１３０】
図７は、パケット化部４４が、図６のフレームを、空間解像度のプログレッシブ順序でパケット化した場合のレイヤ構造の例を表している。
【０１３１】
即ち、パケット化部４４は、帯域９１−１をパケット化したパケット１０１−１、帯域９１−２乃至帯域９２−４をパケット化したパケット１０１−２、帯域９１−５乃至帯域９１−７をパケット化したパケット１０１−３、および、帯域９１−８乃至帯域９１−１０をパケット化したパケット１０１−４のそれぞれが、図７に示される順番で、並べられたパケット群を生成する。
【０１３２】
従って、１フレームの画像は、このパケット群（パケット１０１−１乃至パケット１０１−４）で構成される。
【０１３３】
パケット１０１−１が、レイヤ１０２−１として、動画配信装置１２より受信端末（例えば、図１のユーザ端末１５ａ）に配信され、このレイヤ１０２−１がユーザ端末１５ａにより復号されると、空間解像度１／８の画像１０３−１が得られる。
【０１３４】
同様に、パケット１０１−１およびパケット１０１−２が、レイヤ１０２−２として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１０２−２がユーザ端末１５ａにより復号されると、空間解像度１／４の画像１０３−２が得られる。
【０１３５】
また、パケット１０１−１乃至パケット１０１−３が、レイヤ１０２−３として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１０２−３がユーザ端末１５ａにより復号されると、空間解像度１／２の画像１０３−３が得られる。
【０１３６】
さらに、パケット１０１−１乃至パケット１０１−４が、レイヤ１０２−４として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１０２−４がユーザ端末１５ａにより復号されると、空間解像度１、即ち元の画像１０３−４が得られる。
【０１３７】
図８は、パケット化部４４が、符号化部４２により画質に基づいて階層符号化されたフレーム（バッファ部４３ｂに記憶されたフレーム）を、画質のプログレッシブ順序でパケット化した場合のレイヤ構造の例を表している。
【０１３８】
即ち、パケット化部４４は、パケット１１１−１乃至パケット１１１−４からなるパケット群を生成する。従って、１フレームの画像は、このパケット群（パケット１１１−１乃至パケット１１１−４）で構成される。
【０１３９】
パケット１１１−１が、レイヤ１１２−１として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１１２−１がユーザ端末１５ａにより復号されると、最低画質（画質低）の画像１１３−１が得られる。
【０１４０】
同様に、パケット１１１−１およびパケット１１１−２が、レイヤ１１２−２として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１１２−２がユーザ端末１５ａにより復号されると、最低画質より１レベル上の画質（画質中）の画像１１３−２が得られる。
【０１４１】
また、パケット１１１−１乃至パケット１１１−３が、レイヤ１１２−３として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１１２−３がユーザ端末１５ａにより復号されると、画質中より１レベル上の画質（画質高）の画像１１３−３が得られる。
【０１４２】
さらに、パケット１１１−１乃至パケット１１１−４が、レイヤ１１２−４として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１１２−４がユーザ端末１５ａにより復号されると、最も高い画質（画質最高）の画像１１３−４が得られる。
【０１４３】
図９は、図７と図８のレイヤ構造と比較するための図であり、従来のサーバ（動画配信装置）が、フレームを、空間解像度と画質の２つのプログレッシブを組み合わせてパケット化した場合のレイヤ構造の例を表している。
【０１４４】
図９の例では、１フレームの画像はパケット群１２１−１乃至パケット群１２１−４から構成されている。また、パケット群１２１−１乃至パケット群１２１−４のそれぞれは、さらに、３レベル（階層）の画質（例えば、画質が低いものから、画質１、画質２、および画質３）のうちのいずれかのレベルに対応する３つのパケットからそれぞれ構成されている。
【０１４５】
パケット群１２１−１が、レイヤ１２２−１として、ユーザ端末１５ａに配信され、このレイヤ１２２−１がユーザ端末１５ａにより復号されると、空間解像度１／８の画像群（画質１、画質２、および画質３の画像から構成される画像群）１２３−１が得られる。
【０１４６】
同様に、パケット群１２１−１およびパケット群１２１−２が、レイヤ１２２−２として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１２２−２がユーザ端末１５ａにより復号されると、空間解像度１／４の画像群１２３−２が得られる。
【０１４７】
また、パケット群１２１−１乃至パケット群１２１−３が、レイヤ１２２−３として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１２２−３がユーザ端末１５ａにより復号されると、空間解像度１／２の画像群１２３−３が得られる。
【０１４８】
さらに、パケット群１２１−１乃至パケット群１２１−４が、レイヤ１２２−４として、動画配信装置１２よりユーザ端末１５ａに配信され、このレイヤ１２２−４がユーザ端末１５ａにより復号されると、空間解像度１の画像群１２３−４が得られる。
【０１４９】
ところが、例えば、ユーザ端末１５ａが最高画質の画像を再生できない機種であった場合、レイヤ１２２−１乃至レイヤ１２２−４のうちのいずれかのレイヤが配信されても、ユーザ端末１５ａは、最高画質の画像を表示させることができない。
【０１５０】
また、ユーザ端末１５ａが、図７に示されるような空間解像度のプログレッシブ順序で構成されたパケット群（レイヤ１０２−１乃至レイヤ１０２−４のうちのいずれかのレイヤ）を指定した場合、レイヤ１２２−１乃至レイヤ１２２−４のうちのいずれのレイヤも、その指定に対応することができない。
【０１５１】
そこで、従来は、このような場合、即ち、サーバ（動画配信装置）が、ユーザの要求に応じたパケットを送る場合、サーバは、図９のパケット群１２１−１乃至１２１−４を構成している複数のパケットのうち、必要なパケットのみを選別し、バッファからそれらを読み出すなどの複雑な処理を行っていたが、この処理は、サーバにとって重負荷の処理であり、長時間の処理時間が必要とされていた。
【０１５２】
従って、従来の動画配信システムにおいては、１つのサーバから、異なる品質を指定するそれぞれのユーザに対して、同時に（リアルタイムに）動画を配信することができなかった。
【０１５３】
一方、図１の動画配信装置１２は、上述したように（図７または図８に示されるように）、パケットをそれぞれ単純な構造に並べて、ユーザ毎に対応するパケットを送信する処理、例えば、フレーム毎にプログレッシッブを切り替え、異なる品質を指定するそれぞれのユーザグループに対して、対応するパケットのみをそれぞれ配信する処理を行うので、動画配信システム１は、１つの動画配信装置（サーバ）１２から複数のユーザグループ（例えば、図２のグループ２１およびグループ２２）に対して、動画をそれぞれ同時に提供することができる。
【０１５４】
次に、受信端末の構成例を説明する。
【０１５５】
受信端末は、上述したように、基本的に、図１の動画配信装置１２により送信されたパケットや「送信レポート」をネットワーク１３ａを介して受信するとともに、「受信レポート」等を動画配信装置１２にネットワーク１３ａを介して送信する通信部、通信部により受信されたパケットを復号する復号部、およぶ復号部により復号されたパケットを、フレームを単位として表示装置に表示させる表示制御部を設けていれば、その構成は限定されない。
【０１５６】
例えば、受信端末は、ユーザ端末１５ａおよびユーザ端末１５ｂに示されるように、パーソナルコンピュータ等から構成されたり、また、ユーザ端末１５ｃに示されるように、携帯電話機等から構成されたりすることができる。
【０１５７】
ここでは、図１０を参照して、受信端末がパーソナルコンピュータである場合、即ち、ユーザ端末１５ａである場合の構成例を説明する。
【０１５８】
図１０において、CPU１３１は、ROM１３２に記憶されているプログラム、または記憶部１３８からRAM１３３にロードされたプログラムに従って各種の処理を実行する。RAM１３３にはまた、CPU１３１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５９】
例えば、CPU１３１は、上述したように、通信部１３９により受信されたパケットを、入出力インタフェース１３５およびバス１３４を介して取得するとともに復号し、さらに、それを出力部１３７のディスプレイ等の表示装置にフレームを単位として表示させるように、バス１３４および入出力インタフェース１３５を介して出力部１３７を制御する。
【０１６０】
また、CPU１３１は、上述したように、動画配信装置１２より送信された「送信レポート」を、通信部１３９、入出力インタフェース１３５、および、バス１３４を介して取得するとともに解析し、それに対する「受信レポート」を生成し、動画配信装置１２に対して、バス１３４、入出力インタフェース１３５、および通信部１３９を介して送信する。
【０１６１】
さらに、CPU１３１は、後述するように、「setup要求」および「play要求」を生成し、動画配信装置１２に対して、バス１３４、入出力インタフェース１３５、および通信部１３９を介して送信するとともに、動画配信装置１２より送信された「setup要求応答」および「play要求応答」を、通信部１３９、入出力インタフェース１３５、および、バス１３４を介して取得し、それらに対応する処理を実行する。
【０１６２】
CPU１３１、ROM１３２、およびRAM１３３は、バス１３４を介して相互に接続されている。このバス１３４にはまた、入出力インタフェース１３５も接続されている。
【０１６３】
入出力インタフェース１３５には、キーボード、マウスなどよりなる入力部１３６、ディスプレイなどよりなる出力部１３７、ハードディスクなどより構成される記憶部１３８、モデム、ターミナルアダプタなどより構成される通信部１３９が接続されている。通信部１３９は、ネットワーク１３ｂおよびネットワーク１３ａを介して、動画配信装置１２と相互に通信する。
【０１６４】
入出力インタフェース１３５にはまた、必要に応じてドライブ１４０が接続され、磁気ディスク１４１、光ディスク１４２、光磁気ディスク１４３、或いは半導体メモリ１４４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１３８にインストールされる。
【０１６５】
以下、図１１、並びに図１２および図１３を参照して、ユーザ端末１５ａおよび動画配信装置１２の処理について、個別に説明するが、これらユーザ端末１５ａおよび動画配信装置１２の処理の関係は、図１４の対応するステップを参照することで、容易に理解することが可能である。
【０１６６】
はじめに、図１１を参照して、図１および図１０のユーザ端末１５ａの処理について説明する。なお、動画配信装置１２と対応する処理については、図１４を参照して説明する。また、ここでは、ユーザ端末１５ａの処理についてのみ説明するが、他の受信端末（例えば、ユーザ端末１５ｂおよびユーザ端末１５ｃ等）も、基本的に同様の処理である。
【０１６７】
ステップＳ１１において、CPU１３１は、RTSP（Real-Time Streaming Protocol）を利用して、「setup要求」のデータを生成し、バス１３４、入出力インタフェース１３５、および、通信部１３９を介して送信する。
【０１６８】
この「setup要求」のデータには、上述したユーザ端末１５ａが指定する品質例えば、空間解像度、画質、またはカラーコンポーネントといったプログレッシブ、それらのプログレッシブに対応する各階層（レベル）のうちの指定する階層、および、１秒間あたりに復号できるフレームの数（CPU１３１の処理能力）等が含まれている。
【０１６９】
即ち、この「setup要求」は、上述したQOS情報に相当する。
【０１７０】
通信部１３９より送信された「setup要求」のデータは、ネットワーク１３ｂおよびネットワーク１３ａを介して、動画配信装置１２に供給される。
【０１７１】
動画配信装置１２は、後述するように、供給された「setup要求」のデータに対応する応答のデータ（以下、「setup要求応答」データと称する）を生成し、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに送信してくる（図１２および図１４のステップＳ３１乃至Ｓ３５）。
【０１７２】
そこで、ステップＳ１２において、CPU１３１は、この「setup要求応答」のデータを通信部１３９、入出力インタフェース１３５、およびバス１３４を介して受信し、受信した「setup要求応答」のデータが「OK」のデータであるか否かを判定する。
【０１７３】
ステップＳ１２において、CPU１３１は、「setup要求応答」のデータが「OK」のデータではないと判定した場合（「setup要求応答」のデータが「NO」のデータであると判定した場合）、動画配信装置１２による動画サービスが不能であると認識し、ステップＳ１１に戻り、再度「setup要求」を動画配信装置１２に送信する。
【０１７４】
一方、ステップＳ１２において、CPU１３１は、「setup要求応答」のデータが「OK」のデータであると判定した場合、動画配信装置１２による動画サービスが可能であると認識し、RTSPを利用して、「play要求」のデータを生成し、バス１３４、入出力インタフェース１３５、および通信部１３９を介して送信する。
【０１７５】
通信部１３９より送信された「play要求」のデータは、ネットワーク１３ｂおよびネットワーク１３ａを介して、動画配信装置１２に供給される。
【０１７６】
動画配信装置１２は、後述するように、供給された「play要求」のデータに対応する応答のデータ（以下、「play要求応答」データと称する）を生成し、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに送信してくる（図１２および図１４のステップＳ３６）。
【０１７７】
そこで、ステップＳ１４において、CPU１３１は、この「play要求応答」のデータを通信部１３９、入出力インタフェース１３５、およびバス１３４を介して受信し、次のデータ（後述するパケット等）がさらに送信されてくるまで、その処理を待機する。
【０１７８】
このとき、動画配信装置１２は、後述するように、ユーザ端末１５ａにより指定された品質（「setup要求」のデータ）に基づいて、動画データを、フレームを単位として階層符号化するとともにパケット化して、パケット群を生成し、そのパケット群のうち、ユーザ端末１５ａに対応するパケットを、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに送信してくる（図１２および図１３、並びに図１４のステップＳ３７乃至Ｓ４５）。
【０１７９】
そこで、ステップＳ１５において、CPU１３１は、このパケットを通信部１３９、入出力インタフェース１３５、およびバス１３４を介して受信し、復号する。
【０１８０】
CPU１３１は、さらに、この復号したパケットを、バス１３４および入出力インタフェース１３５を介してフレームを単位としてディスプレィ（出力部１３７）に表示させる。
【０１８１】
このとき、動画配信装置１２は、RTCPに基づいて、一定間隔毎にタイムスタンプや送信パケット数を含む「送信レポート」のデータを生成し、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに送信してくる（図１３および図１４のステップＳ４６）。
【０１８２】
そこで、ステップＳ１６において、CPU１３１は、この「送信レポート」のデータを通信部１３９、入出力インタフェース１３５、およびバス１３４を介して受信し、ステップＳ１７において、RTCPに基づいて、その「送信レポート」に対応する「受信レポート」のデータ（例えば、紛失パケット率や紛失パケット数などの情報が含まれたデータ）を生成し、バス１３４、入出力インタフェース１３５、および、通信部１３９を介して送信する。
【０１８３】
通信部１３９より送信された「受信レポート」のデータは、ネットワーク１３ｂおよびネットワーク１３ａを介して、動画配信装置１２に供給される。
【０１８４】
動画配信装置１２は、後述するように、供給された「受信レポート」のデータに基づいて、ネットワーク１３ａの状態を解析して、動的に品質制御を行い、符号化部４２の設定データやフレーム数を変えて、次以降のフレームをパケット化し、対応するパケットを、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに送信してくる（図１３および図１４のステップＳ４１乃至Ｓ４５）。
【０１８５】
そこで、CPU１３１は、ステップＳ１８において、最後のフレームのパケットを受信したか否かを判定し、受信していないと判定した場合、ステップＳ１５に戻り、それ以降の処理を繰り返す。
【０１８６】
即ち、CPU１３１は、動画配信装置１２より送信されてくるパケットを、通信部１３９、入出力インタフェース１３５、およびバス１３４を介して受信するとともに復号し、さらにバス１３４および入出力インタフェース１３５を介してフレームを単位としてディスプレィ（出力部１３７）に表示させる。
【０１８７】
一方、CPU１３１は、ステップＳ１８において、最後のフレームのパケットを受信したと判定した場合、その処理を終了する。
【０１８８】
次に、図１２および図１３を参照して、図１および図３の動画配信装置１２の処理について説明する。なお、ユーザ端末１５ａと対応する処理については、図１４を参照して説明する。
【０１８９】
上述したように、図１１および図１４のステップＳ１１の処理で、ユーザ端末１５ａは、「setup要求」のデータを生成し、ネットワーク１３ｂおよびネットワーク１３ａを介して、動画配信装置１２に送信してくる。
【０１９０】
そこで、ステップＳ３１において、主制御部４１は、この「setup要求」のデータを、通信部４５およびネットワーク監視・解析部４６を介して受信する。
【０１９１】
このとき、主制御部４１は、複数の他の受信端末（例えば、ユーザ端末１５ｂ、およびユーザ端末１５ｃ等）より、それぞれ要求品質が異なる「setup要求」のデータを受信することができる。なお、これらの受信端末（ユーザ）の数は限定されない。
【０１９２】
いま、ユーザ端末１５ａより送信された「setup要求」のデータには、例えば、プログレッシブとして空間解像度を指定し、フレームレートとして３０フレーム/秒を指定する旨の情報が含まれていたものとする。
【０１９３】
また、符号化部４２は、最大で60フレーム/秒で、処理することができるものとする。
【０１９４】
ステップＳ３２において、主制御部４１は、ユーザ端末１５ａを含む複数の受信端末からの「setup要求」のデータに基づいて、データの処理量の合計が符号化部４２の処理能力以下であるか否かを判定し、処理能力以下ではないと判定した場合（処理能力を超えていると判定した場合）、ステップＳ３３において、RTSPを利用して、「setup要求応答」のデータとして「No」のデータ（サービス不能である旨のデータ）を生成し、通信部４５を介して、ネットワーク１３ａに送信する。
【０１９５】
一方、ステップＳ３２において、主制御部４１は、データの処理量の合計が符号化部４２の処理能力以下であると判定した場合、ステップＳ３４において、１秒間のフレーム処理数を決定する。
【０１９６】
この例においては、いま、それぞれ同一の30フレーム/秒を指定するとともに、空間解像度または画質のうちのいずれかのプログレッシブをそれぞれ指定する２つのユーザグループがあるものとし、また、主制御部４１が、フレーム処理数を、６０フレームに決定したものとする。
【０１９７】
なお、空間解像度を指定するユーザグループには、ユーザ端末１５ａが含まれているものとする。
【０１９８】
この場合、カメラ等の動画入力装置１１から符号化部４２へ、30フレーム／秒で、各フレームが入力されるものとすると、符号化部４２は、１つのフレーム（同一静止画像のフレーム）に対して、異なる２つのプログレッシブ順序（空間解像度および画質のプログレッシブ順序）でそれぞれ階層符号化し、合計で２つの階層符号化されたフレームを出力することができる。
【０１９９】
ステップＳ３５において、主制御部４１は、RTSPを利用して、「setup要求応答」のデータとして「OK」のデータ（サービス可能である旨のデータ）を生成し、通信部４５を介して、ネットワーク１３ａに送信する。
【０２００】
なお、動画配信装置１２が、画像（パケット）をユーザ端末１５ａに送信することで、ユーザ端末１５ａは、サービス可能であることを認識することができるので、このステップＳ３５の処理は必須な処理ではない。
【０２０１】
通信部４５より送信された「setup要求応答」のデータ（「OK」、または「No」のデータ）は、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに供給される。
【０２０２】
ユーザ端末１５ａは、上述したように、図１１と図１４のステップＳ１２の処理で、供給された「setup要求応答」が「ok」であるか否かを判定し、「ok」であると判定した場合、ステップS１３の処理で、「play要求」を生成し、ネットワーク１３ｂおよびネットワーク１３ａを介して動画配信装置１２に対して送信してくる。
【０２０３】
そこで、ステップＳ３６において、主制御部４１は、この「play要求」のデータを、通信部４５およびネットワーク監視・解析部４６を介して受信し、RTSPを利用して、「play要求応答」のデータを生成し、通信部４５を介して、ネットワーク１３ａに送信する。
【０２０４】
通信部４５より送信された「play要求応答」のデータは、上述した図１１と図１４のステップＳ１４の処理で、ネットワーク１３ａおよびネットワーク１３ｂを介して、ユーザ端末１５ａに供給（受信）される。
【０２０５】
ステップＳ３７において、主制御部４１は、符号化するフレームのデータのそそれぞれに対して、フレームナンバーを付与する。
【０２０６】
この例においては、１秒間に６０ずつカウントアップされるので、それに対応する番号がそれぞれのフレームに付与される。
【０２０７】
ステップＳ３８において、主制御部４１は、フレーム割り当てスケジューリングを行う。即ち、主制御部４１は、ステップＳ３７の処理でフレームナンバーが付与されたフレームのそれぞれに対して、どの受信端末（または、ユーザグループ）に割り当てるのか、また、どのプログレッシブ順序を割り当てるのかといったスケジューリングを行う。
【０２０８】
例えば、この例においては、ユーザ端末１５ａは、30フレーム/秒を指定するとともに、空間解像度を指定しているので、主制御部４１は、ユーザ端末１５ａ（ユーザ端末１５ａが含まれるグループ）に対応するフレームとして、図４の例で説明したように、偶数番号のフレームを割り当てるものとする。
【０２０９】
なお、主制御部４１は、ユーザ端末１５ａが含まれるユーザグループ内の他の受信端末のうち、より少ないフレームレートを指定する受信端末に対応するフレームとして、例えば偶数番号のうちの４の倍数の番号のフレームを割り当てるなどしてもよい。
【０２１０】
また、この例においては、図５の例で説明したように、主制御部４１は、画質を指定するユーザグループに対しては、奇数番号のフレームを割り当てるものとする。
【０２１１】
さらに、この例においては、上述したそれぞれのフレーム割り当てに加えて、それぞれの受信端末が必要とする品質レベル（階層）に対応するパケットをそれぞれ割り当てるものとする。
【０２１２】
例えば、図４に示されるように、空間解像度のレベル（階層）が空間解像度１乃至空間解像度５とされた場合、ユーザ端末１５ａが空間解像度３を指定しているものとすると、主制御部４１は、パケット６２−１乃至パケット６２−３（空間解像度１の符号化データ６１−１乃至空間解像度３の符号化データ６１−３がそれぞれパケット化されたパケット）を、ユーザ端末１５ａに対応するパケットとして割り当てる。
【０２１３】
図１３のステップＳ３９において、主制御部４１は、初期状態であるか否かを判定する。
【０２１４】
いま、動画配信装置１２は、まだパケットをいずれの受信端末に対しても送信（配信）していないものとすると、ステップＳ３９において、主制御部４１は、初期状態であると判定し、ステップＳ４０において、ステップＳ３８の処理で処理されたデータに基づいて、符号化部４２の制御パラメータの初期設定を行う。
【０２１５】
なお、この例においては、１フレーム毎に空間解像度と画質の２つのプログレッシブが交互に切り替えられて符号化されると設定されたものとする。
【０２１６】
ステップＳ４４において、符号化部４２は、各フレームのデータを符号化し、パケット化部４４は、それらをパケット化する。
【０２１７】
例えば、符号化部４２は、動画入力装置１１から供給されてくるフレームのデータのうち、ユーザ端末１５ａに対応するフレーム（偶数番号のフレーム）のデータを、Motion JPEG2000の符号化方式（ウェーブレット変換を利用した符号化方式）により、空間解像度に基づいて階層符号化し、バッファ部４３ａに記憶させる。
【０２１８】
即ち、バッファ部４３ａには、図４に示されるようなフレームの符号化データ５１、即ち、符号化データ６１−１乃至符号化データ６１−５が記憶される。
【０２１９】
パケット化部４４は、符号化データ６１−１乃至符号化データ６１−５のそれぞれをRTPパケット化するとともにIPパケット化して、パケット６２−１乃至６２−５とする（パケット群を生成する）。
【０２２０】
なお、主制御部４１は、パケット６２−ｐ（ｐは、１乃至５のうちのいずれかの値）の拡張ヘッダには、優先度として、符号化データ６１−ｐの空間解像度のレベル（階層）に対応する識別子ｐ（空間解像度ｐに対応する番号ｐ）を付与する（RTPHｐが付与する）とともに、パケット６２−ｐのIPヘッダには、上述した表１に基づいて設定した優先度を付与する（IPｑ（ｑは、１乃至３の値のうちのいずれかの値）を付与する）。
【０２２１】
ステップＳ４５において、主制御部４１は、ユーザ（受信端末）毎に、ステップＳ４４でパケット化されたパケット群のうち、それぞれのユーザに対応するパケットを、通信部４５を介してそれぞれ送信（配信）する。
【０２２２】
例えば、主制御部４１は、ユーザ端末１５ａに対しては、図４のパケット６２−１乃至パケット６２−３（ステップＳ３８の処理で設定されたパケット）を、通信部４５を介して配信する。
【０２２３】
このパケット６２−１乃至パケット６２−３は、上述したように、図１１と図１４のステップＳ１５の処理で、ユーザ端末１５ａにネットワーク１３ａおよびネットワーク１３ｂを介して受信され、復号される。
【０２２４】
ステップＳ４６において、主制御部４１は、上述したように、一定間隔毎に、RTCPを利用して、タイムスタンプや送信パケット数を含む「送信レポート」のデータを、各受信端末のそれぞれに対して生成し、対応する受信端末のそれぞれに、通信部４５を介して送信する。
【０２２５】
例えば、ユーザ端末１５ａに対する「送信レポート」のデータは、上述したように、図１１と図１４のステップＳ１６の処理で、ユーザ端末１５ａにネットワーク１３ａおよびネットワーク１３ｂを介して受信され、ステップＳ１７の処理で、その「送信レポート」に対応する「受信レポート」のデータが、ユーザ端末１５ａより送信されてくる。
【０２２６】
そこで、主制御部４１は、ステップＳ４７において、全てのパケットを送信したか否か判定し、送信していないと判定した場合、ステップＳ３９において、初期状態ではないと判定し、ステップＳ４１において、ネットワーク監視・解析部４６は、この「この受信レポート」のデータを、ネットワーク１３ｂ、ネットワーク１３ａ、および通信部４５を介して受信する。
【０２２７】
なお、ステップＳ４１において、ネットワーク監視・解析部４６は、他の受信端末からの「受信レポート」についてもそれぞれ受信する。
【０２２８】
ステップＳ４２において、ネットワーク監視・解析部４６は、受信した「受信レポート」のデータに基づいて、ネットワーク１３ａを解析し、その解析結果を主制御部４１に供給する。
【０２２９】
主制御部４１は、その解析結果に基づいて、ユーザ（受信端末）毎に品質レベルを決定する。
【０２３０】
即ち、「受信レポート」には、上述したように、RTCPにおけるRTPパケット紛失率、パケット紛失数等の情報が含まれており、ネットワーク監視・解析部４６は、それらの情報に基づいて、ネットワーク１３ａの輻輳状態を監視し、それぞれのユーザ（受信端末）へ送信可能な帯域幅を演算し、主制御部４１に供給する。
【０２３１】
さらに、ネットワーク監視・解析部４６は、RTCPパケットをモニターして解析し、その解析結果を主制御部４１に供給する。
【０２３２】
主制御部４１は、供給された各ユーザへ送信可能な帯域幅、およびRTCPパケットの解析結果等に基づいて、各ユーザ（受信端末）毎の品質レベルを決定する。
【０２３３】
例えば、いま、ユーザ端末１５ａが、ビットレートを下げる必要があると解析されたものとすると、主制御部４１は、ユーザ端末１５ａに対して、品質レベルを１つ落とし（空間解像度２とし）、それに伴い、送信パケット量を減らす決定をする。
【０２３４】
具体的には、品質レベルは、例えば、パケット紛失率がρであるものとすると、次式（１）、または後述する次式（２）に示されるように制御される。
（次の）品質 ＝ （要求品質の帯域）×（１−ρ） （１）
【０２３５】
図１５は、画質を３レベル（階層）に設定した場合の画質レベルの制御例（式（１）および後述する式（２）による制御例）を表しており、縦軸は、ディスとレーション（Distortion）、即ち画質の劣化の度合いを、横軸は、ビットレートをそれぞれ表している。
【０２３６】
曲線１５１に示されるように、パケット紛失率ρが低い状態では、ビットレートの変化に対しても、大きなディストーションの変化はなく、主制御部４１は、例えば、点（１−ρ）R（Ｒは、ビットレートの値）１５１−４が、代表的な画質、即ち、点１５１−１乃至点１５１−３のうち、いずれの点に近いかを判定し、近いと判定した点を、画質の代表値として使用する（図１５の例では、点１５１−４は、点１３１−３に近いと判定されるので、画質の代表値として点１５１−３に対応する値が使用される）。
【０２３７】
なお、この例においては、３段階の画質が設定されるため、図１５においては、画質の代表値として使用される点の個数は、点１５１−１乃至１５１−３の３点であったが、画質の代表値として使用される点の個数は限定されない。
【０２３８】
また、パケット紛失率が５０％を上回る場合、ディストーションの度合いが急激に悪化するため、画質が下げられるよりも、フレーム数が下げられた方が、ユーザにとっての品質が高く評価されることが多いので、この場合、次式（２）に示されるように品質レベルが制御される。
（次の）フレーム数 ≒ フレーム数 × （１−ρ） （２）
【０２３９】
ステップＳ４３において、主制御部４１は、ステップＳ４２の処理で設定された品質レベルに基づいて、符号化部４２の制御パラメータを再設定する。
【０２４０】
なお、この制御パラメータは、例えば、式（１）に基づいて設定される符号化部４２の設定ビットレート数、または、式（２）に基づいて設定される１秒あたりに処理されるフレームの数である。
【０２４１】
そして、上述したように、ステップＳ４４乃至Ｓ４６において、この新たに設定された制御パラメータに基づいて、フレームが符号化されるとともにパケット化され、ユーザ（受信端末）毎に対応するパケットが、それぞれのユーザに送信（配信）される。
【０２４２】
例えば、上述したように、ステップＳ４２において、ユーザ端末１５ａの品質レベルは、品質２に決定されたので、ユーザ端末１５ａには、図４のパケット６２−１およびパケット６２−２（空間解像度１の符号化データ６１−１および空間解像度２の符号化データ６１−２がパケット化されたパケット）が送信（配信）される。
【０２４３】
ステップＳ４７において、主制御部４１は、全てのパケットを送信したと判定した場合、その処理を終了する。
【０２４４】
このように、本発明の動画配信システム１は、１つのサーバ（動画配信装置）１２から、異なる品質を指定する多数の受信端末（例えば、ユーザ端末１５ａ乃至ユーザ端末１５ｃ）に対して、動画をそれぞれ同時に配信することができる。
【０２４５】
また、サーバ（動画配信装置）１２の符号化部４２は、フレーム毎にプログレッシブ順序を変えてそれぞれ階層符号化することができるので、サーバ（動画配信装置）１２は、複数の異なる品質を指定するそれぞれのユーザ（受信端末）に対して、少ない処理（必要なパケットのみを選択配信する処理等）で動画を配信することができる。
【０２４６】
さらに、符号化部４２は、ウェーブレット変換による階層符号化を利用することができるので、サーバ（動画配信装置）１２は、スケーラブルに配信するシステムを構築することができ、リアルタイムに動画を配信することができる。
【０２４７】
さらにまた、サーバ（動画配信装置）１２は、ネットワーク１３ａをモニターし、その輻輳状態に応じて、符号化部４２の制御パラメータを制御することができるので、最適な品質の動画を配信することができる。
【０２４８】
上述した動画配信装置の処理は、ハードウエアにより実行させることもできるが、ソフトウエアのみでも実行できる。
【０２４９】
この場合、例えば、動画配信装置１６１は、図１６に示されるように、パーソナルコンピュータ等により構成される。
【０２５０】
図１６において、CPU１７１は、ROM１７２に記憶されているプログラム、または記憶部１７８からRAM１７３にロードされたプログラムに従って各種の処理を実行する。RAM１７３にはまた、CPU１７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２５１】
CPU１７１、ROM１７２、およびRAM１７３は、バス１７４を介して相互に接続されている。このバス１７４にはまた、入出力インタフェース１７５も接続されている。
【０２５２】
入出力インタフェース１７５には、キーボード、マウスなどよりなる入力部１７６、ディスプレイなどよりなる出力１７７、ハードディスクなどより構成される記憶部１７８、モデム、ターミナルアダプタなどより構成される通信部１７９が接続されている。通信部１７９は、ネットワーク（図１では、インターネットであるネットワーク１３ａ）を介しての通信処理を行う。
【０２５３】
即ち、CPU１７１は、動画データを、アクセスユニットを単位として階層符号化するとともにパケット化して、パケット群を生成し、RAM１７３等に記憶させる。
【０２５４】
CPU１７１は、RAM１７３に記憶されたパケット群のうち、いま配信する受信端末に対応するパケットを読み出し、バス１７４、入出力インタフェース１７５、および通信部１７９を介して、ネットワーク１３ａに送信する。
【０２５５】
入出力インタフェース１７５にはまた、必要に応じてドライブ１８０が接続され、磁気ディスク１９１、光ディスク１９２、光磁気ディスク１９３、或いは半導体メモリ１９４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１７８にインストールされる。
【０２５６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２５７】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記憶されている磁気ディスク１９１（フロッピディスクを含む）、光ディスク１９２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク１９３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ１９４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM１７２や、記憶部１７８に含まれるハードディスクなどで構成される。
【０２５８】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５９】
また、本明細書において、システムとは、処理手段、および複数の装置により構成される装置全体を表すものである。
【０２６０】
【発明の効果】
以上のごとく、本発明によれば、異なる品質の画像を指定する複数のユーザに対して、対応する品質の画像をそれぞれ同時に配信することができる。
【図面の簡単な説明】
【図１】本発明が適用される動画配信システムの構成例を示す図である。
【図２】図１の動画配信システムにおける動画配信の例を示す図である。
【図３】図１の動画配信システムの動画配信装置の構成例を示す図である。
【図４】図３の動画配信装置により空間解像度に基づいてパケット化されたパケットの構成例を示す図である。
【図５】図３の動画配信装置により画質に基づいてパケット化されたパケットの構成例を示す図である。
【図６】図３の動画配信装置が、ウェーブレット変換を利用した符号化方式により、階層符号化したフレームの構成例を示す図である。
【図７】図３の動画配信装置により空間解像度に基づいてパケット化された場合におけるレイヤの構成例を示す図である。
【図８】図３の動画配信装置により画質に基づいてパケット化された場合におけるレイヤの構成例を示す図である。
【図９】従来の動画配信装置により空間解像度および画質の組み合わせに基づいてパケット化された場合におけるレイヤの構成例を示す図である。
【図１０】図１の動画配信システムのユーザ端末の構成例を示す図である。
【図１１】図１０のユーザ端末の処理を説明するフローチャートである。
【図１２】図３の動画配信装置の処理を説明するフローチャートである。
【図１３】図３の動画配信装置の処理を説明するフローチャートである。
【図１４】図１０のユーザ端末および図３の動画配信装置の関係を示すアローチャートである。
【図１５】図３の動画配信装置が、受信端末に対する画質レベルを制御するために使用される曲線例を示す図である。
【図１６】本発明が適用される動画配信システムの他の構成例を示す図である。
【符号の説明】
１，１６１ 動画配信システム， １１ 動画入力装置R， １２ 動画配信装置， １３ａ乃至１３ｃ ネットワーク， １５ａ乃至１５ｇ ユーザ端末，３１−１乃至３１−３，３２−１乃至３２−３，６２−１乃至６２−５，８２−１乃至８２−５，１０１−１乃至１０１−４，１１１−１乃至１１１−４ パケット， ４２ 符号化部， ４３ａ，４３ｂ バッファ部， パケット化部４４， ４５ 通信部， ４６ ネットワーク監視・解析部 ５１，７１ フレームの符号化データ， ６１−１乃至６１−５，８１−１乃至８１−５ 符号化データ， １０２−１乃至１０２−４，１１２−１乃至１１２−４ レイヤ， １０３−１乃至１０３−４，１１３−１乃至１１３−４ 画像

Claims (10)

1. 入力された動画像を品質の各種類毎に階層符号化する符号化手段と、
   前記符号化手段により階層符号化された前記動画像のアクセスユニットをそれぞれパケット化して、品質の前記各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなる前記パケット群をそれぞれ生成するパケット化手段と、
   前記パケット化手段により生成された前記パケット群のうち、品質の所定の種類に対応するパケット群に属し、品質の所定のレベルに対応するパケットを受信端末に送信する第１の通信手段と、
   前記受信端末に対する前記パケットの到達状況を監視する監視手段と
   を備える動画配信装置と、
   前記動画配信装置の前記第１の通信手段により送信された前記パケットを受信する第２の通信手段と、
   前記第２の通信手段により受信された前記パケットを復号する復号手段と
   を備える前記受信端末と
   からなり、
   前記受信端末は、品質の前記所定の種類および前記所定のレベルを、前記動画配信装置に対してそれぞれ指定する一方、
   前記動画配信装置の前記符号化手段は、前記監視手段により監視された前記パケットのパケット紛失率が閾値よりも低い場合に、前記受信端末に対して送信するパケット群の前記レベルを前記パケット紛失率に応じて可変させ、前記パケット紛失率が前記閾値を超えた場合に、前記受信端末に配信する前記動画像のアクセスユニット数を前記パケット紛失率に応じて可変させる
   ことを特徴とする動画配信システム。
2. 動画像を受信端末に配信する動画配信装置において、
   入力された動画像を品質の各種類毎に階層符号化する符号化手段と、
   前記符号化手段により階層符号化された動画像のアクセスユニットをそれぞれパケット化して、品質の前記各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなる前記パケット群を生成するパケット化手段と、
   前記パケット化手段により生成された前記パケット群のうち、前記受信端末により指定された品質の所定の種類に対応するパケット群に属し、前記受信端末により指定された品質の所定のレベルに対応するパケットを前記受信端末に送信する通信手段と、
   前記受信端末に対する前記パケットの到達状況を監視する監視手段と
   を備え、
   前記符号化手段は、前記監視手段により監視された前記パケットのパケット紛失率が閾値よりも低い場合に、前記受信端末に対して送信するパケット群の前記レベルを前記パケット紛失率に応じて可変させ、前記パケット紛失率が前記閾値を超えた場合に、前記受信端末に配信する前記動画像のアクセスユニット数を前記パケット紛失率に応じて可変させる
   ことを特徴とする動画配信装置。
3. 前記パケット化手段によりパケット化される前記アクセスユニットは、プログレッシブ符号化方式により階層符号化されている
   ことを特徴とする請求項２に記載の動画配信装置。
4. 前記受信端末は、品質の前記所定の種類として、空間解像度、画質、またはカラーコンポーネントのうちの少なくとも１つを指定し、品質の前記所定の種類についての前記所定のレベルを指定する
   ことを特徴とする請求項２に記載の動画配信装置。
5. 前記受信端末は、さらに、所定の単位時間あたりに復号できる前記アクセスユニットの数を、品質の前記所定の種類と前記所定のレベルとの組の１つとして指定する
   ことを特徴とする請求項４に記載の動画配信装置。
6. 品質の前記各種類毎に前記符号化手段により階層符号化された前記動画像の前記アクセスユニットをそれぞれ記憶する記憶手段をさらに備え、
   前記パケット化手段は、前記記憶手段に記憶された前記アクセスユニットのそれぞれをパケット化して、前記パケット群を生成する
   ことを特徴とする請求項２に記載の動画配信装置。
7. 前記通信手段は、さらに、前記受信端末により指定された品質の前記所定の種類および前記所定のレベルを含む所定の情報が前記受信端末から送信されてきた場合、その所定の情報を受信し、
   前記符号化手段は、前記通信手段により受信された前記所定の情報に含まれる品質の前記所定の種類に基づいて、前記動画像を、アクセスユニットを単位として、品質の各レベル毎に階層符号化し、
   前記パケット化手段は、前記符号化手段により階層符号化された前記アクセスユニットをパケット化して、前記各レベルのそれぞれに対応するパケットからなるパケット群を生成し、
   前記通信手段は、前記パケット化手段により生成された前記パケット群に属する前記各パケットのうちの、自分自身が先に受信した前記所定の情報に含まれる品質の前記所定のレベルに対応するパケットを前記受信端末に送信する
   ことを特徴とする請求項２に記載の動画配信装置。
8. 前記通信手段は、ネットワークを介して前記受信端末と相互に接続しており、
   前記監視手段は、前記ネットワークの状況を監視することで、前記パケットのパケット紛失率を監視する
   ことを特徴とする請求項７に記載の動画配信装置。
9. 動画像を受信端末に配信する動画配信装置の動画配信方法において、
   入力された動画像を品質の各種類毎に階層符号化する符号化ステップと、
   前記符号化ステップの処理により階層符号化された前記動画像のアクセスユニットをそれぞれパケット化して、品質の前記各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなる前記パケット群を生成するパケット化ステップと、
   前記パケット化ステップの処理により生成された前記パケット群のうち、前記受信端末により指定された品質の所定の種類に対応するパケット群に属し、前記受信端末により指定された品質の所定のレベルに対応するパケットを前記受信端末に送信する通信ステップと、
   前記受信端末に対する前記パケットの到達状況を監視する監視ステップと
   を含み、
   前記符号化ステップは、前記監視ステップの処理により監視された前記パケットのパケット紛失率が閾値よりも低い場合に、前記受信端末に対して送信するパケット群の前記レベルを前記パケット紛失率に応じて可変させ、前記パケット紛失率が前記閾値を超えた場合に、前記受信端末に配信する前記動画像のアクセスユニット数を前記パケット紛失率に応じて可変させるステップ
   を含むことを特徴とする動画配信方法。
10. 動画像を受信端末に配信する動画配信装置を制御するコンピュータのプログラムであって、
    前記動画配信装置に入力された動画像を品質の各種類毎に階層符号化する符号化ステップと、
    前記符号化ステップの処理により階層符号化された前記動画像のアクセスユニットをそれぞれパケット化して、品質の前記各種類のそれぞれに対応するパケット群であって、品質の各レベルのそれぞれに対応するパケットからなる前記パケット群を生成するパケット化ステップと、
    前記パケット化ステップの処理により生成された前記パケット群のうち、前記受信端末により指定された品質の所定の種類に対応するパケット群に属し、前記受信端末により指定された品質の所定のレベルに対応するパケットを前記受信端末に送信することを制御する通信制御ステップと、
    前記受信端末に対する前記パケットの到達状況を監視する監視ステップと
    を含み、
    前記符号化ステップは、前記監視ステップの処理により監視された前記パケットのパケット紛失率が閾値よりも低い場合に、前記受信端末に対して送信するパケット群の前記レベルを前記パケット紛失率に応じて可変させ、前記パケット紛失率が前記閾値を超えた場合に、前記受信端末に配信する前記動画像のアクセスユニット数を前記パケット紛失率に応じて可変させるステップ
    を含むことを特徴とするプログラム。

Images