JP4423301B2 - 多重化装置及び送受信装置 - Google Patents

Description

この発明は、入力される符号化ユニットを優先度の高いものから選択し多重化して出力する多重化装置及び多重化装置から出力されるデータを時系列に合成した後出力する受信装置を備える送受信装置に関するものである。

従来の多重化装置は、多重化バッファにおける遅延時間に各メディア種別による重み付けをした値によって、多重化における優先度を決定し、優先度の高いバッファから選択多重を行っていた（例えば、特許文献１参照）。

この従来の多重化装置では、メディア間の優先度しか考慮していないため、同一メディア内での符号化ユニット毎に優先度を変更することはできない。特に、メディア内で重要な部分とそうでない部分が存在する場合、符号化ユニット毎に優先度を付与できる機能が必要となる。

一方、符号化ユニット単位に優先度を付与して、優先度がある最も高い符号化ユニットのみを送信するようにした多重化装置がある（例えば、特許文献２参照）。

しかし、この多重化装置では、符号化ユニット毎に優先度が付与されるものの、同じタイミングの符号化ユニット間での比較で送信の可否が決まってしまうため、同じタイミングに複数の優先度が高いものが集まったときでも１つの符号化ユニットしか出力することはできなく、効果的な多重化制御のためには、符号化ユニットを多少遅延させても優先度の高いものを出力する機能が必要となる。

特開２０００−２０９１７７号公報 特開平８−２７９８３５号公報

従来の多重化装置は、符号化ユニット毎に優先度を付与するものの、同じタイミングの符号化ユニット間でのみ比較を行うため、その前後も含めた比較が行えず、長い時間で見た場合に優先度が高いものが選ばれるとは限らないという問題点があった。

さらに、従来の多重化装置では、１タイミングで１データ出力というような選択方法のため、５タイミングで３データ出力というような任意の出力レートで多重化データを選択することができないという問題点があった。

この発明は前記のような問題点を解決するためになされたもので、同一メディア間で優先度比較を行うとともに、任意の出力レートで多重化データを選択して出力することができる多重化装置及び多重化装置から出力されるデータを時系列に合成した後出力する受信装置を備える送受信装置を提供することを目的とする。

この発明に係る多重化装置は、優先度がそれぞれ付けされた複数の符号化ユニットからなるメディアデータを入力して一時蓄積する多重化バッファ手段と、前記優先度と前記符号化ユニットのデータ量とに基づいて単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する多重化制御手段と、前記多重化制御手段からの制御に基づいて前記多重化バッファ手段に蓄積された符号化ユニットから単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択し多重化して出力する多重化手段とを備えたものである。

また、この発明に係る送受信装置は、上述した多重化装置と、前記多重化装置から出力されるデータを時系列に合成した後出力する受信装置とを備え、前記受信装置は、複数の経路からの符号化ユニットデータを受信する受信手段と、前記受信手段で受信した複数の符号化ユニットを本来の時刻順に並び替えて出力する合成出力手段とを備えたものである。

この発明によれば、優先度比較を行うとともに、任意の出力レートで多重化データを選択して出力することができる多重化装置を得ることができ、また多重化装置から出力されるデータを時系列に合成した後出力する受信装置を得ることができる。

この発明の実施の形態１に係る多重化装置の構成を示すブロック図、 この発明の実施の形態１に係る多重化制御方法の例を示すもので、入力データと出力データを示した図、 この発明の実施の形態２に係る多重化装置の構成を示すブロック図、 この発明の実施の形態２に係る多重化制御方法の例を示した図、 この発明の実施の形態３及び４に係る多重化装置の構成を示すブロック図、 この発明の実施の形態３に係る多重化制御方法の例を示すもので、入力データと出力データを示した図、 この発明の実施の形態４に係る多重化制御方法の例を示すもので、入力データと出力データを示した図、 この発明の実施の形態５に係る多重化装置の構成を示すブロック図、 この発明の実施の形態５に係る多重化制御方法の例を示すもので、入力データ、主出力データ、補助出力データを示した図、 この発明の実施の形態６に係る受信装置の構成を示すブロック図である。 この発明の実施の形態６に係る受信装置の受信における合成処理の例を示した図である。

実施の形態１．
図１は、この発明の実施の形態１に係る多重化装置の構成を示すブロック図である。図１において、多重化装置１は、外部からメディアデータを取得しそれを多重化してネットワーク１０へ出力する。多重化装置１内の多重化バッファ２は、外部から転送されたメディアデータを多重化前に一時的に蓄積する。多重化部３は、多重化バッファ２内の符号化されたメディアデータの中から多重化すべきデータを選択して多重化を行いネットワーク１０に出力する。多重化制御部４は、多重化バッファ２内のメディアデータの優先度に基づき多重化すべきデータを決定し、その指示を多重化部３へ通知する。

次に動作について説明する。まず、多重化装置１は、外部からメディアデータ列を取得し、それを一時的に多重化バッファ２に蓄積する。この時、メディアデータ列は、複数の符号化ユニットからなり、それぞれに多重化のための優先度が付与されている。多重化制御部４は、ある単位時間周期で、多重化バッファ２の中から単位時間に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する。そして、多重化制御部４は、その情報を多重化部３に通知する。多重化部３では、多重化制御部４から指示のあった符号化ユニットをネットワーク１０に出力する。この時、多重化バッファ２内の選ばれなかった符号化ユニットは廃棄される。

このようにしてある単位時間内に取得した符号化ユニットを優先度の高いものから出力レート分のデータ量を選び出しそれらを送信することで、優先度の高い符号化ユニットが送信できる。

図２は、実施の形態１に係る多重化制御方法の例を示す入力データと出力データを示した図である。図２に示す外部からの入力メディアデータ列は、符号化ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ２に一旦蓄積される。多重化制御部４では、単位時間経過後（図では優先度が付された７ユニット時間分）に多重化バッファ３内の符号化ユニットの中から優先度の高いものを送信可能な情報量分だけ選択する。この図２では、網掛けのかかっていない符号化ユニットが選択される。この情報を多重化制御部４から多重化部３に通知し、多重化制御部３では、図２に示すように、選択された優先度１と２と１のデータを出力する。この時、選択されなかった優先度３と５と６と４のデータは廃棄される。

その後、引き続き入力データを多重化バッファ２に蓄積し、再び単位時間が経過したときに、多重化制御部４は、優先度の高い符号化ユニットを送信可能なデータ量だけ選択し、多重化部３に通知する。多重化部３では、その情報を基にデータを送信する。

以上のように、多重化装置１では、単位時間内の全ての符号化ユニットの優先度を比較するようにしたため、単位時間内で優先度の高い符号化ユニットのみを出力することができる。

また、単位時間内に選択する符号化ユニットの総情報量を任意に設定できるようにしたので、所望の出力レートにあわせることができる。

実施の形態２．
上述した実施の形態１では、入力するメディアデータは１種類であったが、この実施の形態２では、複数種類のメディアデータを入力する例について示す。

図３は、この発明の実施の形態２に係る多重化装置の構成を示すブロック図である。図３において、多重化装置１内にはメディアデータの種類別の複数の多重化バッファ２ａ〜２ｃが備えられ、複数の多重化バッファ２ａ〜２ｃは、外部から入力されるメディアデータを個別に蓄積する。多重化部３は、多重化制御部４からの制御に基づいて複数の多重化バッファ２ａ〜２ｃ内に蓄積された符号化ユニットから単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択して多重化を行いネットワーク１０に出力する。他の部分に関しては実施の形態１と同様なので省略する。なお、多重化バッファの数は、図３に示す構成では３つとしているがいくつでも可能である。

次に動作について説明する。３種類のメディアデータがそれぞれ多重化バッファ２ａ〜２ｃに入力され、各多重化バッファ２ａ〜２ｃで一時的に蓄積を行う。この時、メディアデータ列は、複数の符号化ユニットからなり、それぞれに多重化のための優先度が付与されている。多重化制御部４は、ある単位時間周期で、多重化バッファ２ａ〜２ｃの中から、単位時間に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する。そして、多重化制御部４は、その情報を多重化部３に通知する。多重化部３では、多重化制御部４から指示のあった符号化ユニットをネットワーク１０に出力する。この時、多重化バッファ２内の選ばれなかった符号化ユニットは廃棄される。

図４は、実施の形態２に係る多重化制御方法の例を示した図である。図４に示すように、外部からの２種類の入力メディアデータ列（オブジェクト１、オブジェクト２）は、符号化ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ２ａ、２ｂに一旦蓄積される。多重化制御部４では、単位時間経過後（図４では７ユニット時間分）に多重化バッファ２ａおよび２ｂ内の符号化ユニットの中から優先度の高いものを送信可能な情報量分だけ選択する。この時、優先度だけで送信する符号化ユニットを選択するため、選択されるオブジェクトに偏りが発生する可能性があるが、こうすることで、より優先度の高いユニットを選択することができる。この情報を多重化制御部４から多重化部３に通知し、多重化制御部３では、選択された優先度の高い符号化ユニットが次の単位時間で送信される。この時、選択されなかった符号化ユニットは廃棄される。

多重化部３で送信する際、通信プロトコルに則り、通信用のヘッダ情報を付与したり、複数のメディアを多重するための多重化プロトコルを使用したりすることもある。例えば、ＭＰＥＧ−２システム（ISO/IEC13818-1）に則って多重化を行うとすると、各オブジェクトは、アクセスユニット単位に優先度が付与され、アクセスユニット毎に多重の可否が決定される。そして、選択されたアクセスユニットはＰＥＳ（Packetized Elementarty Stream）化されＴＳ（Transport Stream）化されて、他のオブジェクトと多重化して送信される。

このようにしてある単位時間内に取得した符号化ユニットを優先度の高いものから出力レート分のデータ量を選び出し、それらを送信することで、メディアの種類や受信時刻に関わらず単に優先度の高い符号化ユニットのみが多重送信できる。

以上のように、多重化装置１では、複数の多重化バッファ設けたので、複数種類のメディアデータを多重出力することができる。

実施の形態３．
上述した実施の形態１、２では、単位時間内の多重化出力情報量を正確に制限していたが、この実施の形態３では、多重化出力情報量を多少増減できるようにした例について示す。

図５は、この発明の実施の形態３に係る多重化装置の構成を示すブロック図である。図５に示す実施の形態３に係る多重化装置１は、図３に示す実施の形態２の構成に対し、多重化部３の出力を一時的に蓄積する送信バッファ５と、送出レートにあわせて送信バッファ５内にある多重化データを送信する送信部６とをさらに備えている。その他の部分に関しては図３に示す実施の形態２の構成と同様なのでその説明は省略する。

次に動作について説明する。３種類のメディアデータがそれぞれ多重化バッファ２ａ〜２ｃに入力され、各多重化バッファ２ａ〜２ｃで一時的に蓄積を行う。この時、メディアデータ列は、複数の符号化ユニットからなり、それぞれに多重化のための優先度が付与されている。ある単位時間周期で多重化制御部４は、多重化バッファ２ａ〜２ｃの中から、単位時間に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する。そして、多重化制御部４は、その情報を多重化部３に通知する。多重化部３では、多重化制御部４から指示のあった符号化ユニットを送信バッファ５に出力する。この時、多重化バッファ２内の選ばれなかった符号化ユニットは廃棄される。送信部６では、送信バッファ５内の符号化ユニットを送出レートにあわせてネットワーク１０へ送信する。

多重化制御部４では、単位時間送信可能なデータ量を認識する際に、送信バッファ５に残量を用いる。多重化部３が出力したデータ量と、送信部６で実際に送信したデータ量の差異が、送信バッファ５のバッファ残量にあらわれるため、多重化制御部４では、送信バッファ５のバッファ残量が送信部６で単位時間に送信可能なデータ量となるように多重化バッファ２から選択するデータ量を決定する。

多重化制御部４で送信する符号化ユニットを選択する際、各符号化ユニットの情報量はまちまちであるため、選択した符号化ユニットのデータ量の総計が必ずしも送信部６で単位時間に送信可能なデータ量と一致しない。そのため、送信バッファ５には、送信部６で単位時間に送信可能なデータ量を超えるようなデータ量を蓄積しておくことで、送信部６では常に安定したレートでデータ送信が行えると同時に、多重化制御部４で選択する符号化ユニットの単位時間の総情報量を多少増減することが可能となる。

図６は、実施の形態３に係る多重化制御方法の例を示す入力データと出力データを示した図である。図６に示すように、外部からの２種類の入力メディアデータ列（オブジェクト１、オブジェクト２）は、符号化ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは多重化バッファ２ａ、２ｂに一旦蓄積される。多重化制御部４では、単位時間経過後（図６では７ユニット時間分）に多重化バッファ２ａおよび２ｂ内の符号化ユニットの中から優先度の高いものを送信可能な情報量分だけ選択する。図６では、優先度が１，２、３のものが選択され、送信部６で出力レートを一定にして出力されている。この時、最後の優先度１の符号化ユニットのように単位時間内に送信しきれなくても、次の単位時間で少し少なめにデータを選択することで、常に一定の出力レートで多重化を行うことが可能となる。

以上のように、送信バッファ５を設けたので、単位時間に選択する符号化ユニットの総情報量に揺らぎを持たせて選択することができる。

送信部６から一定のレートでデータを送信し続けるためには、送信バッファ５には単位時間当たりの送信データ量分のデータが貯められている必要がある。多重化制御部４で選択する符号化ユニットのデータ総量が多少増減できるように、送信バッファ５には、常に単位時間当たりの送信量以上のデータ、ここでは送信量のＮ倍のデータ（Ｎ：１より大きい実数）を入れておき、多重化制御部４では、送信バッファ５の残量が単位時間送信量×Ｎに近づくように制御を行う。

このように初期バッファ残量を多くしておくことで、一時的に選択する符号化ユニットの総情報量が少なくなっても一定のレートでデータを送信し続けることが可能となる。例えば、ある優先度を閾値にして選ぶと所望のデータ総量より少し足りなくなり、その次の優先度までを閾値とすると所望のデータ総量をはるかに超えてしまうような状況が発生したとき、データ総量が少し足りなくなっても所望のデータ総量に近づけるようにすることができる。

以上のように、送信バッファ残量が単位時間に送信可能な情報量のＮ倍に近づくように多重化制御部で制御するようにしたので、送信する符号化ユニットの総情報量が一時的に少なくなってもアンダーフローの発生を防ぐことができる。

また、送信バッファ５を設けることにより、多重化制御部４で選択する単位時間当たりの符号化ユニットのデータ量の総計は多少増減が可能となった。一方、多重化制御部４で選択する符号化ユニットの優先度の閾値（選択される一番低い優先度）は、その単位時間に含まれる符号化ユニットに依存する。

そのため、優先度の閾値は単位時間毎に変化していく。常に安定して優先度の高いものを送信するためには、優先度の閾値はあまり変化しない方がよい。そこで、多重化制御部４で符号化ユニットを選択する際に、優先度があまり変化しないようにする。その際、選択される符号化ユニットのデータ量の総量が多少増減しても、許容範囲とする。こうすることで優先度の閾値は安定する。

以上のように、優先度の閾値を安定させるように多重化制御を行うようにしたので、安定して優先度の高い符号化ユニットのみを送信することができる。

実施の形態４．
上述した実施の形態１、２、３では、単位時間毎に多重化制御を行ってきたが、この実施の形態４では、さらに短い周期で多重化制御を行う例について示す。

本実施の形態４に係る多重化装置は、図５に示す実施の形態３と基本的構成は同様なのでその説明を省略する。但し、本実施の形態４において、多重化制御部４は、送信バッファ５のバッファ残量がある閾値に近づくように、優先度と符号化ユニットのデータ量を基に、優先度の高いものから多重化バッファ２ａ〜２ｃ内の単位時間内に受信した符号化ユニットを１／Ｍ（Ｍ：１以上の整数）の単位時間毎に仮に選択し、単位時間内で最も古い１／Ｍ単位時間内に含まれる仮選択された符号化ユニットのみを送信バッファ５に出力するようにする。

次に動作について説明する。３種類のメディアデータがそれぞれ多重化バッファ２ａ〜２ｃに入力され、各多重化バッファ２で一時的に蓄積を行う。この時、メディアデータ列は、複数の符号化ユニットからなり、それぞれに多重化のための優先度が付与されている。多重化制御部４は、ある単位時間の１／Ｍ周期で、多重化バッファ２ａ〜２ｃの中から、単位時間に送信可能なデータ量分もしくは送信バッファ５の閾値までのデータ量分の符号化ユニットを優先度の高いものから仮に選択する。そして、多重化制御部４は、単位時間の中で最も古い１／Ｍ単位時間内に含まれている仮選択された符号化ユニットを多重化部３に通知する。多重化部３では、多重化制御部４から指示のあった符号化ユニットを送信バッファ５に出力する。この時、多重化バッファ２内の単位時間の中で最も古い１／Ｍ単位時間内の選ばれなかった符号化ユニットは廃棄される。送信部６では、送信バッファ５内の符号化ユニットを送出レートにあわせてネットワーク１０へ送信する。

図７は、実施の形態４に係る多重化制御方法の例を示す入力データと出力データを示した図である。図７に示すように、外部からの入力メディアデータ列は、符号化ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ２に一旦蓄積される。多重化制御部４では、１／Ｍ単位時間毎（図では１ユニット時間分）に、過去の単位時間（図では７ユニット時間分）に受信した多重化バッファ２内の符号化ユニットの中から優先度の高いものを送信可能な情報量分だけ仮選択する。図７では、網掛けのかかっていない符号化ユニットが仮選択される。そして、最も古い１／Ｍ単位時間内で選ばれた符号化ユニットのみを多重化制御部４から多重化部３に通知し、多重化制御部３では、選択された優先度１のデータを出力する。この時、選択されなかったデータ（今回はないが）は廃棄される。

さらに、１／Ｍ単位時間経過後、同様に過去の単位時間内の符号化ユニットから仮選択を行い、最古の１／Ｍ単位時間内の符号化ユニットに該当するものがあればそれを出力し、該当しなければ廃棄する（図７Ａでは優先度３の符号化ユニット）。

このようにすることで、優先度の閾値が急激に変化するのを避け、徐々に変化するようになるため、安定した優先度多重制御が行える。

以上のように、１／Ｍ単位時間毎に多重化制御を行うようにしたので、優先度の高いものを安定して選択多重することができる。

また、この実施の形態４では、通信状況等により、多重化時の単位時間やＭ値を動的に変更可能にする。ネットワークの混雑により、出力レートが制限されたり、ネットワークでの遅延時間が変動した場合、それらの状況に最適な多重化のための単位時間やＭ値を動的に変更できるようにしておく。例えば、もし出力レートが小さくなった場合、送信できる符号化ユニットは少なくなるため、より優先度の高い符号化ユニットを確実に選択できるように単位時間を大きくしたり、たまにしか送信しなくていいためＭの値を小さくして、多重化制御負荷を軽減することができる。なお、実施の形態１〜３においても、多重化時の単位時間を動的に変更可能であり、上述したのと同様な効果を奏する。

以上のように、多重化のための単位時間やＭの値を動的に変えるようにしたので、通信状況等に応じた最適な多重化制御を行うことができる。

実施の形態５．
上述した実施の形態１〜４では、多重化制御で優先度が低いと判断された符号化ユニットは廃棄していたが、この実施の形態５では、優先度の低い符号化ユニットを補助伝送路で送信するようにした例について示す。

図８は、この発明の実施の形態５に係る多重化装置の構成を示すブロック図である。図８に示す実施の形態５に係る多重化装置は、図５に示す実施の形態３及び４の構成に対し、多重化部３で選択出力されなかった多重化バッファ２ａ〜２ｃ内の符号化ユニットを送信する補助送信部７をさらに備え、２つのネットワーク１０と１１にデータの出力を行うようになされている。その他の部分に関しては実施の形態３及び４と同様なのでその説明は省略する。

次に動作について説明する。優先多重化制御の動作に関しては実施の形態３もしくは４と同じなので省略する。多重化部３で選択されなかった多重化バッファ２ａ〜２ｃ内の符号化ユニットは、補助送信部７へ送られる。補助送信部７ではそれらの符号化ユニットをネットワーク１１へ送信する。

なお、この例では、ネットワーク１０とネットワーク１１は異なるネットワークとして記されているが、同一のネットワークでも構わない。ただし、その場合、送信元のアドレスもしくは伝送プロトコルやそのパラメータなどが、送信部６から送られる場合と何らかの部分で異なっていることが必要である。

主となる伝送路であるネットワーク１０で送れるデータは、優先度の高いものを送り、優先度の低いデータは補助的な伝送路であるネットワーク１１を使用して送信することができる。こうすることで、優先度の低いデータも補助的な伝送路を使用して送信することができる。

図９は、実施の形態５に係る多重化制御方法の例を示した図である。外部からの２種類の入力メディアデータ列（オブジェクト１、オブジェクト２）は、符号化ユニット毎に優先度が付与され、それぞれ異なる情報量を有する。これらの入力データは、多重化バッファ２ａ、２ｂに一旦蓄積される。多重化制御部４では、単位時間経過後（図では７ユニット時間分）に多重化バッファ２ａおよび２ｂ内の符号化ユニットの中から優先度の高いものを送信可能な情報量分だけ選択する。図９では、優先度が１，２、３のものが選択され、送信部６で出力レートを一定にして出力されている。そして、選択されなかった優先度４、５、６、７の符号化ユニットは補助送信部７から出力される。なお、この実施の形態５は、実施の形態３及び４の他に実施の形態１及び２にも同様に実施できる。

以上のように、廃棄される予定の符号化ユニットを、補助伝送路を用いて送信するようにしたので、優先度の低いデータも送信することができる。

なお、上述した実施の形態１〜５に係る多重化装置において、多重化制御部４は、各符号化ユニットに与えられた優先度に対して、メディア毎に重み付けを変えながら、各符号化ユニットの多重化のための優先度を算出し、この多重化のための優先度を用いて多重化制御を行うようにすることができる。

実施の形態６．
上述した実施の形態１〜５では、送信側である多重化装置の動作について説明したが、この実施の形態６では、受信装置に関する例を示す。

図１０は、この発明の実施の形態６に係る受信装置の構成を示すブロック図である。図１０において、受信装置２０は、２つのネットワーク１０と１１からデータを受信する。主となるネットワーク１０より受信部２１でデータを受信する。同様に、補助ネットワーク１１より補助受信部２２でデータを受信する。合成出力部２３は、受信部２１と補助受信部２２から転送されたデータを時系列に合成した後に出力する。

次に動作について説明する。優先度に従い選択されたデータは、ネットワーク１０を介して受信部２１で受信される。受信されたデータは直ちに合成出力部２３へ送られる。一方、優先度により選択されなかったデータは、補助的なネットワークであるネットワーク１１を介して補助受信部２２で受信され、合成出力部２３へ送られる。合成出力部２３では、受信部２１および補助受信部２２より送られてくるデータを一緒にして符号化ユニットを本来の時間順に並べて出力する。

もし、補助受信部がない受信装置、もしくはネットワーク１１からデータを受信できない場合は、受信部２１からのデータのみを出力する。

このようにすることで、受信可能な全てのデータを時系列に出力でき、後続の復号器（図示せず）で時間順にメディアデータの復号が可能となる。

以上のように、補助受信部を設けて廃棄される予定の符号化ユニットも受信できるようにしたので、優先度の低いデータも受信することができる。

合成出力部２３で符号化ユニットを本来の時間順に並べる方法として、符号化ユニットに付属する時刻情報を使用することができる。この時刻情報は、符号化データ内に埋め込まれている場合も符号化データの外で伝送時に付与される場合もあるが、この時刻情報の古い順に、各符号化ユニットを並び替えれば、正確に符号化ユニット列は本来の時間順となる。

以上のように、符号化ユニットに付属する時刻情報を用いるようにしたので、正確に符号化ユニットを時間順に並べることかできる。

別の方法として、符号化ユニットに付随する順序情報を使用することも可能である。ここで順序情報とは、データの順序を示すためのインクリメントされる番号であり、符号化データ内に埋め込まれている場合も符号化データの外で伝送時に付与される場合もある。この順序番号の小さい順に符号化ユニットを並び替えれば、正確に符号化ユニット列は本来の時間順となる。

以上のように、符号化ユニットに付属する順序情報を用いるようにしたので、正確に符号化ユニットを時間順に並べることかできる。

これまでは１つのメディアの合成について説明してきたが、次に、複数のメディアが同時に送られている場合を示す。例えば、実施の形態５のように、複数のメディアを送信する多重化装置があった場合、受信装置２０の受信部２１および補助受信部２２で受信するデータにも複数のメディアが存在する。これを合成出力部２３で時系列に並び替える。そして、時系列に並んだデータを今度はメディア毎に分類し、それぞれ出力する。このように、メディア毎に分類されたデータはそれぞれ復号することが可能となる。

図１１は、実施の形態６に係る受信装置の受信における合成処理の例を示した図である。主入力と補助入力の２種類のデータを受信した時、メディア毎に各符号化ユニットに時刻情報もしくは順序情報が付与されている。図１１では、０１から０７までの順序情報が付与されている例を示している。

合成出力部２３では、メディア種別（ここでは色分けされているが）毎に分け、さらにこれらを順序番号順に並べる。そして、定期的に符号化ユニットを出力すると図の出力のようになり、オブジェクト毎に時刻順に出力することができる。

例えば、ＭＰＥＧ−２システム（ISO/IEC13818-1）に則って多重化を行うとすると、各オブジェクトは、ＴＳパケットのＰＩＤやＰＥＳパケットのstream idにより識別され、ＰＥＳのタイムスタンプ（ＰＴＳやＤＴＳ）により時間順が認識できる。

以上のように、合成出力部にメディア毎に分離する機能を付与したので、メディア毎に分離された符号化ユニット列を出力することかできる。

Claims (15)

1. 優先度がそれぞれ付けされた複数の符号化ユニットからなるメディアデータを入力して一時蓄積する多重化バッファ手段と、
   前記優先度と前記符号化ユニットのデータ量とに基づいて単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択する多重化制御手段と、
   前記多重化制御手段からの制御に基づいて前記多重化バッファ手段に蓄積された符号化ユニットから単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択し多重化して出力する多重化手段と
   を備えた多重化装置。
2. 請求項１に記載の多重化装置において、
   前記多重化バッファ手段は、優先度が付けされた符号化ユニットからなるデータ列を複数種類別々に蓄積する複数の多重化バッファ手段を有し、
   前記多重化手段は、前記多重化制御手段からの制御に基づいて前記複数の多重化バッファ手段に蓄積された符号化ユニットから単位時間内に送信可能なデータ量分の符号化ユニットを優先度の高いものから選択し多重化して出力する
   ことを特徴とする多重化装置。
3. 請求項２に記載の多重化装置において、
   前記多重化部の出力を一時的に蓄積する送信バッファ手段と、
   前記送信バッファ手段内にあるデータを任意のタイミングで送信する送信手段と
   をさらに備え、
   前記多重化制御手段は、前記送信バッファ手段のバッファ残量が単位時間内に送信可能なデータ量より多くなるように、前記優先度と符号化ユニットのデータ量に基づいて優先度の高いものから符号化ユニットを選択する
   ことを特徴とする多重化装置。
4. 請求項３に記載の多重化装置において、
   前記多重化制御手段は、前記送信バッファ手段のバッファ残量が単位時間内に送信可能なデータ量のＮ倍（Ｎ：１より大きい実数）に近づくように、前記優先度と符号化ユニットのデータ量に基づいて優先度の高いものから符号化ユニットを選択する
   ことを特徴とする多重化装置。
5. 請求項３に記載の多重化装置において、
   前記多重化制御手段は、選択される符号化ユニットの最も低い優先度のレベルが安定するように、前記送信バッファ残量の閾値を上下させながら、前記優先度と符号化ユニットのデータ量に基づいて優先度の高いものから符号化ユニットを選択する
   ことを特徴とする多重化装置。
6. 請求項４に記載の多重化装置において、
   前記多重化制御手段は、選択される符号化ユニットの最も低い優先度のレベルが安定するように、前記送信バッファ残量の閾値を上下させながら、前記優先度と符号化ユニットのデータ量に基づいて優先度の高いものから符号化ユニットを選択する
   ことを特徴とする多重化装置。
7. 請求項２に記載の多重化装置において、
   前記多重化部の出力を一時的に蓄積する送信バッファ手段と、
   前記送信バッファ手段内にあるデータを任意のタイミングで送信する送信手段と
   をさらに備え、
   前記多重化制御手段は、前記送信バッファ手段のバッファ残量がある閾値に近づくように、前記優先度と符号化ユニットのデータ量に基づいて優先度の高いものから前記多重化バッファ手段内の単位時間内に受信した符号化ユニットを１／Ｍ（１以上の整数）の単位時間毎に仮に選択し、単位時間内で最も古い１／Ｍ単位時間内に含まれる仮選択された符号化ユニットのみを前記送信バッファ手段に出力する
   ことを特徴とする多重化装置。
8. 請求項７に記載の多重化装置において、
   前記多重化制御手段は、前記Ｍの値を動的に変動させる
   ことを特徴とする多重化装置。
9. 請求項１から８のいずれか１項に記載の多重化装置において、
   前記多重化制御手段は、多重化時の前記単位時間を動的に変動させる
   ことを特徴とする多重化装置。
10. 請求項２から８のいずれか１項に記載の多重化装置において、
    前記多重化制御手段は、各符号化ユニットに与えられた優先度に対して、メディア毎に重み付けを変えながら、各符号化ユニットの多重化のための優先度を算出し、この多重化のための優先度を用いて多重化制御を行う
    ことを特徴とする多重化装置。
11. 請求項１から８のいずれか１項に記載の多重化装置において、
    前記多重化手段で選択出力されなかった前記多重化バッファ手段内の符号化ユニットを送信する補助送信手段をさらに備えた
    ことを特徴とする多重化装置。
12. 請求項１から１１までのいずれか１項に記載の多重化装置と、
    前記多重化装置から出力されるデータを時系列に合成した後出力する受信装置とを備え、
    前記受信装置は、
    複数の経路からの符号化ユニットデータを受信する受信手段と、
    前記受信手段で受信した複数の符号化ユニットを本来の時刻順に並び替えて出力する合成出力手段と
    を有することを特徴とする送受信装置。
13. 請求項１２に記載の送受信装置において、
    前記合成出力手段は、符号化ユニットに付属する時刻情報に基づいて時間順に符号化ユニットを並べ替えて出力する
    ことを特徴とする送受信装置。
14. 請求項１２に記載の送受信装置において、
    前記合成出力手段は、符号化ユニットが持つ順序情報に基づいて順序番号順に符号化ユニットを並べ替えて出力する
    ことを特徴とする送受信装置。
15. 請求項１２から１４のいずれか１項に記載の送受信装置において、
    前記合成出力手段は、複数の符号化ユニットをメディアデータ種別毎に分類して出力する
    ことを特徴とする送受信装置。

Images