JP3987541B2 - パケットストリーム受信装置 - Google Patents

Description

この発明は、パケットストリームを受信するパケットストリーム受信装置に係り、特に、パケットストリームを受信して最適化データとすることができるパケットストリーム受信装置に関する。

映像メディアの符号化・復号化技術は、近年、ますます進化しつつある。これは、動画像及び音声の高品質化が進み、情報量が多くなったこと、また、有線或いは無線によるネットワークが発展し、これらネットワークを通じて画像情報を伝送する要望が高くなったことに起因している。

特に動画像の情報量は大きいため，動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また、伝送効率が良いことなどが要望される。これらの要望に沿う動画像の符号化・復号化技術として国際標準として認められているＨ．２６４／ＡＶＣ(Advanced video coding)と称せられる技術（以下単にＨ２６４と称する。）があり、この動画像の符号化・復号化技術は、例えば、非特許文献１に開示されている。
IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003, Overview of the H.264/AVC Video Coding Standard, ThomasWiegand

ＩＳＢＴ−Ｔ（Integrated Services Digital Broadcasting-Terrestrial）における移動体向け地上波デジタル放送においても、動画像符号化方式としてＨ．２６４／ＡＶＣ(Advanced video coding)，音声符号化方式としてＭＰＥＧ−２ ＡＡＣ（Advanced-Audio-Coding）の規格が採用され、符号化ストリームがトランスポートストリーム（ＴＳストリーム）のパケットに多重化されて伝送されている。このようなトランスポートストリーム（ＴＳストリーム）の伝送において、伝送中にエラーが生じて一部パケットが失われた場合、即ち、パケット落ちが生じた場合には、トランスポートストリーム（ＴＳストリーム）から抽出されるエレメンタリーストリーム（ＥＳストリーム）に不連続が生じる。受信側のデコーダは、この不連続点を検出することが出来ず，連続してＥＳストリームをデコードするため、データが誤解釈される．
ここで、ＥＳストリームがＨ．２６４ストリームならば、再生画像に誤解釈による画質劣化が生ずる。同様に，ＥＳストリームがＡＡＣストリームならば、異音等が発生する。

このようにデータの誤解釈は，本来意味するデータとは異なった画像・音声が復号を発生させ、再生品質を大きく劣化させる。

尚、デコーダは，復号したデータが文法的に誤った場合に限り，誤りが混入したことを検出することができるが、一般に冗長度の小さい符号化方式ほど，誤解釈発生地点から誤り検出地点までの区間が長くなり，再生品質への影響が大きくなる。

同様にＲＴＰ(Real Time Protocol)を利用したストリーミングにおいても一部パケットが失われてデータが誤解釈され、再生データに誤解釈に起因する劣化が生ずる問題がある。

本発明は、上記問題点を解決するためになされてものであり、その目的は、伝送中に一部パケットが失われても適切なデータとすることができるパケットストリーム受信装置を提供することにある。

この発明によれば、
トランスポートストリームを構成するトランスポートストリームパケットを時系列的に入力する入力部と、
前記トランスポートストリームパケットのトランスポートストリームパケットヘッダに記述された巡回カウンタの不連続性を検出してトランスポートストリームパケットの喪失を判定する判定部と、
前記喪失されたトランスポートストリームパケット直前のトランスポートストリームパケットから取り出されるエレメンタリーストリームに残されたナルユニットに当該ナルユニットの終端を示すターミネータを付加する終端処理部と、
前記ターミネータを付加した後に同期点が検出されるエレメンタリーストリームまでの間のエレメンタリーストリームのデータを破棄する検出処理部と、
前記破棄されたデータを除く前記エレメンタリーストリームに含まれるナルユニットをデコードするデコーダと、
を具備することを特徴とするパケットストリーム受信装置が提供される。

また、この発明によれば、
ＲＴＰパケットヘッダ及びペイロードを有するＲＴＰパケットを次々に時系列的に入力する入力部と、
前記ペイロードに含まれる識別子から前記ＲＴＰパケットが分割ユニットパケットであることを判別する判別部と、
前記ＲＴＰヘッダに含まれるシークエンス番号の連続性を検出し、この番号が不連続であって前記識別子が分割ユニットパケットであれば、ＲＴＰパケットの喪失を判定する判定部と、
前記喪失されたＲＴＰパケット直前のパケットから取り出されるエレメンタリーストリームに残されたナルユニットに当該ナルユニットの終端を示すターミネータを付加する終端処理部と、
前記ターミネータを付加した後にＲＴＰパケットに含まれる同期点が検出されるエレメンタリーストリームまでの間のエレメンタリーストリームのデータを破棄する検出処理部と、
前記破棄されたデータを除く前記エレメンタリーストリームに含まれるナルユニットをデコードするデコーダと、
を具備することを特徴とするパケットストリーム受信装置が提供される。

この発明のパケットストリーム受信装置によれば、伝送中に一部パケットが失われても適切なデータとすることができる。

以下、必要に応じて図面を参照しながら、この発明の一実施の形態に係るパケットストリームを受信し、このパケットストリームで送られたデータを最適化する装置について説明する。

図１は、この発明の一実施例に係るトランスポートストリームを受信し、このトランスポートストリーム（ＴＳ）で送られた画像データ及び音声データを再生する装置を示すブロック図である。図２（Ａ）〜（Ｃ）は、図１に示す装置で受信されるこのトランスポートストリームの構造を示し、図３（Ａ）〜（Ｇ）は、図２に示されるトランスポートストリームから取り出されたＴＳパケットで構成されるパケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）の構造を示し、また、図４（Ａ）〜（Ｅ）は、図２（Ａ）に示すＴＳパケット、図３に示すＰＥＳパケット及びＨ．２６４／ＡＶＣで規定されるバイトストリームの関係を示している。

図１を参照しながら受信装置の構成を説明するとともに図２（Ａ）〜図４（Ｅ）を参照しながらトランスポートストリームのデータ構造について説明する。

図１に示す装置においては、図示しない送信部からＭＰＥＧ２で定められたトランスポートストリームが伝送され、受信部１１０において、このトランスポートストリームが受信される。トランスポートストリーム（ＴＳ）は、図２（Ａ）に示されるように夫々が１８８バイトを有するＴＳパケット１２の集合で構成され、このＴＳパケット１２が受信部１１０に時系列的に入力される。各ＴＳパケット１２は、図２（Ｂ）に示されるように４バイトを有するＴＳパケットヘッダ１４及び０から１８４の可変長バイトを有するアダプテーションフィールド５０及び残るデータを有するＴＳパケットデータ（ペイロード）１６で構成されている。このＴＳパケット１２は、図１に示すデータプロセッサ部１０２に送られてそのＴＳパケットヘッダ１４が取り出され、ＴＳパケットデータ（ペイロード）１６でパケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）が構成される。

図２（Ｃ）に示されるようにＴＳパケットヘッダ１４には、ＭＰＥＧ２で定められるように８ビットの同期信号が記述された同期バイト(sync byte)18、当該パケット中のビット・エラーの有無を示す誤り表示（transport error indicator）２０及びＴＳパケットデータ１６を意味するペイロードから図４（ｃ）に示すＰＥＳパケットが始まることを示すペイロードユニットの開始表示（payload unit start indicator)２２が記述されている。ここで、同期バイト(sync byte)18がデータプロセッサ部１０２で検出されることによってトランスポートストリームパケット（ＴＳ）１２の先頭が検出される。また、ペイロードユニットの開始表示（payload unit start indicator)２２を検出することによってデータプロセッサ部１０２は、ＰＥＳパケットを構成するペイロード、即ち、ＴＳパケットデータ１６を取り出すことができる。更に、誤り表示（transport error indicator）２０を検出することによって伝送中にトランスポートストリームパケット（ＴＳ）１６にエラーが混入したことを受信側で検出することができる。

また、ＴＳパケットヘッダ１４には、当該パケットの重要度を示すトランスポートプライオリティ（transport priority）２４、当該パケットの個別ストリームの属性を示すＰＩＤ(Packet Identification:パケット識別子）２６、当該パケットのスクランブルの有無及び種別を示すトランスポートスクランブル制御（transport scrambling control）２８、アダプテーションフィールドの有無及びペイロードの有無を示すアダプテーションフィールド制御（adaptation field control）３０、同一のＰＩＤを有するパケットが伝送の途中で一部棄却されているかを検出するための情報を示す巡回カウンタ（continuity counter）３２から構成されている。データプロセッサ部１０２は、ＰＩＤ(Packet Identification:パケット識別子）２６で当該ＴＳパケット１２のペイロード、即ち、ＴＳパケットデータがビデオ或いはオーディオであるかを検出することができ、当該ＴＳパケット１２から構成されるＰＥＳパケットの属性も特定することができる。データプロセッサ部１０２は、後に詳細に説明するように巡回カウンタ（continuity counter）３２で示されるカウント値を検証することによってＴＳパケット１２が伝送中に失われたかを判別することができる。ここで、巡回カウンタ（continuity counter）３２には、同一ＰＩＤを有するＴＳパケット１２について、ＴＳパケットの生成される順序で循環するカウント値（０,１，２,・・・,Ｆ,０,１，２）が付されている。

図２（Ｂ）に示すＴＳパケットデータ（ペイロード）１６は、図３（Ｂ）または図3（Ｆ）に示すようにメディア毎にパケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）を構成し、ペイロードユニットの開始表示（payload unit start indicator)２２を検出する毎に図３（Ｂ）に示すＰＥＳパケット４０，４２を構成する。即ち、ＰＥＳパケット４０，４２は、１又は複数のＴＳパケット１６から構成され、パケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）は、複数のＰＥＳパケット４０が時系列的に配列されて構成され、ペイロードユニットの開始表示（payload unit start indicator)２２が含まれるＴＳパケット１２から次のペイロードユニットの開始表示（payload unit start indicator)２２が含まれるＴＳパケット１２の前のＴＳパケット１２で１つのＰＥＳパケット４０，４２が構成される。また、パケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）は、ペイロードがビデオデータであるＰＥＳパケット４０及びペイロードがオーディオデータであるＰＥＳパケット４２をマルチプレクスして構成されている。データプロセッサ部１０２は、開始表示（payload unit start indicator)２２に従ってＴＳパケットデータ１６で構成されるビデオ用ＰＥＳパケット４０及びオーディオ用ＰＥＳパケット４２を分離部１０３（ＤＥＭＵＸ：ディマルチプレクサ）に供給している。ここで、ＰＥＳパケット４１、４２は、可変長バイトに定められている。

図３（Ａ）に示すようにビデオ用ＰＥＳパケット４０は、ＰＥＳヘッダ４４に続いてペイロードとして１又は複数のアクセスユニット（ＡＵ）４６で構成され、これらアクセスユニット（ＡＵ）４４は、Ｈ．２６４やＭＰＥＧ−２，ＭＰＥＧ−４などで定められるバイトストリームを構成する。また、オーディオ用ＰＥＳパケット４２は、同様にＰＥＳヘッダ４４に続いてオーディオ・ペイロードで構成される。このオーディオ・ペイロードは、種々の符号化方式で符号化されたオーディオデータ、例えば、ＡＣ３オーディオデータ、ＰＣＭオーディオデータ、ＭＰＥＧオーディオが格納されている。ＰＥＳヘッダ４４には、当該ＰＥＳパケット４０のペイロードがオーディオ或いはビデオである旨を示す属性識別子としてのストリームＩＤが記述され、ＰＥＳパケット４０の判別を可能としている。

分離部１０３（ＤＥＭＵＸ：ディマルチプレクサ）では、ＰＩＤ(Packet Identification:パケット識別子）２６によってオーディオ・ペイロードをオーディオデコーダ１１４及びアクセスユニット（ＡＵ）４４をＨ．２６４ビデオデコーダ１１１に供給している。従って、Ｈ．２６４ビデオデコーダ１１１では、アクセスユニット（ＡＵ）４４を単位としてアクセスユニット（ＡＵ）４４内のＮＡＬｓをピクチャにデコードしてフレーム毎にvideo信号として出力する。また、同様に、オーディオデコーダ１１４では、オーディオ・ペイロードの符号化方式に従ってオーディオ・ペイロードをデコードしてオーディオ信号として出力している。

図１に示されるデータプロセッサ１０２、分離部１０３、ビデオデコーダ１１１及びオーディオデコーダ１１４は、ＲＯＭ１２３に格納された処理プログラムに従ってＭＰＵ１２１及びメモリ部１２２によって制御されている。また、ＭＰＵ１２１には、ユーザインターフェスとしてのキー入力部１３１が接続され、キー入力部１３１からの入力に従ってもビデオ及びオーディオの再生を制御することができる。

上述したようにトランスポートストリームＴＳは、図４（Ａ）に示すように連続するＴＳパケット１６で構成され、図４（Ｂ）に示すように各パケット４０は、ＴＳヘッダ１４及びそのＴＳペイロード１６から構成される。ＰＥＳパケット４０を構成する１又は複数のＴＳパケット１６は、図４（Ｂ）に示すように、そのペイロードにＰＥＳヘッダ４４及び複数のＡＵ４６が格納されている。１つのＰＥＳパケット４０は、１８８バイトを有する１又は複数のＴＳパケット１６で構成され、また、１又は複数のＡＵ４６が含まれるように必要に応じてアダプテーションフィールド（Adaptation Field）５０が設けられてデータアラインされている。

データプロセッサ１０２では、１又は複数のＴＳパケット１６から図４（Ｃ）に示すようにＴＳヘッダ１４が除去されてＰＥＳパケット４０が構成される。図４（Ｃ）の例では、１つのＰＥＳパケット４０のペイロード４６に２枚のＡＵ４６が格納され、この２枚のＡＵ４６は、４つのＴＳパケット１６から取り出される例が示されている。ここで、アダプテーションフィールド（Adaptation Field）５０は、ＴＳパケット１６にデータアライメントの為に挿入されていることから、ＰＥＳパケット４０を構成するに際しては、捨てられることとなる。

分離部１０３では、ＰＥＳパケット４０は、ＰＥＳヘッダ４４が除去されてビデオデコーダ１１１にＡＵ４６が次々に送られてデコードされる。図４（Ｄ）には、ＰＥＳパケット４０から取り出され、ビデオデコーダ１１１でデコードされるＡＵ４６で構成されるバイトストリームが示されている。ビデオデコーダ１１１内では、図４（Ｅ）に示されるようにＡＵ内の同期点であるスタートコード（ＳＣ）６２を検出してＡＵ４６を構成するナルユニット６６を取り出し、このナルユニット６６からＡＵ４６単位で構成されるピクチャ、例えば、ピクチャフレームを生成している。Ｈ.２６４では、複数のナルユニット６６の情報に従ってスライスピクチャが構成され、１ピクチャが表示される。

次に、図５を参照してＨ．２６４ストリームが多重化されたトランスポートストリームＴＳの伝送中にＴＳパケットが失われた際の図１に示す受信装置の動作を説明する。

図４（Ｂ）及び図４（Ｃ）から明らかなように、１つのＴＳパケット１６には、１つのＡＵ４６或いはその一部がペイロード４６として格納され、このＡＵ４６に対応する１つ又は複数のナルユニット６６及び又はナルユニット６６の一部が格納されている。従って、トランスポートストリームＴＳの伝送中に１つのＴＳパケット１６が欠けると、１つ又は複数のナルユニット６６及び又はナルユニット６６の一部が失われることとなる。また、失われるナルユニットに対応したスタートコード（ＳＣ）６２も失われることがある。このＴＳパケット１６が失われると、失われたＴＳパケット１６に対応してナルユニット１６の一部のみが残り、他の部分が失われ、同様にこのナルユニット１６に続くナルユニットの一部が失われ、他の部分が失われることとなる。このままナルユニット１６が次々にＨ．２６４ビデオデコーダ１１１に供給されると、Ｈ．２６４ビデオデコーダ１１１では、バイトストリームのナルユニット１６の一部が他のナルユニット１６の残部に結合されてＨ．２６４ビデオデコーダ１１１では、不連続に結合された地点を検出することが出来ず，結合されたナルユニットのデータを誤解釈して画像を再生することから、画像にエラーによる雑音が生じてしまう。

図５（Ａ）には、トランスポートストリームＴＳの伝送中にＴＳパケット１６が失われた場合の一例を説明の便宜の為にデータ構造を簡略化して示している。図５（Ａ）に示すようにＴＳヘッダ１４の誤り表示（transport error indicator）２０がデータプロセッサ１０２で検知され、ＴＳパケット１６にエラーが混入しているかを判断することができる。図５では、ＴＳパケット１６にエラーが混入している場合には、ＴＳパケットヘッダ１４に“Err”と表示し、ＴＳパケット１６にエラーが混入していない場合には、ＴＳパケットヘッダ１４に“Free”と表示している。また、ＴＳパケットヘッダ１４の巡回カウンタ（continuity counter）３２には、ＴＳパケット１６が送信される順序で更新されるカウント値(０x０、０x１、０x２…）が記述されている。

あるタイミングで受信部１１０が図５（Ａ）に示すようなトランスポートストリームＴＳの受信を開始し、あるトランスポートストリームパケット１６―１がデータプロセッサ１０２に送られると、データプロセッサ１０２は、トランスポートストリームパケット１６―１のヘッダ１４―１から誤り表示２０からエラーの混入なし（“Free”）及び巡回カウンタ３２からカウント値“０x０”を検出することとなる。ここで、トランスポートストリームパケット１６―１には、ナルユニット（１）６６及びナルユニット（２）６６の一部がこのトランスポートストリームパケット１６―１によって運ばれていれば、これらナルユニット（１）６６及びナルユニット（２）６６の一部は、分離部１０３を介してビデオデコーダ１１１に送られる。伝送中にトランスポートストリームＴＳにおいてトランスポートストリームパケット１６―２にパケット落ちが発生している場合には、次のトランスポートストリームパケット１６―２は、受信部１１０で受信されず、更に次のトランスポートストリームパケット１６―３が受信部１１０に入力されることとなる。パケット落ちしたトランスポートストリームパケット１６―２にナルユニット（２）６６の残り及びナルユニット（３）６６の一部が格納されている場合には、これらナルユニット（２）６６の残り及びナルユニット（３）６６は、伝送中に失われることとなる。トランスポートストリームパケット１６―３がデータプロセッサ１０２に送られると、データプロセッサ１０２は、巡回カウンタ３２からカウント値“０x２”を検出する。従って、データプロセッサ１０２は、カウント値“０x１”を検出せずに、カウント値“０x２”を検出することから、データプロセッサ１０２は、トランスポートストリームパケット１６―２が伝送中に失われたことを検出する。従って、トランスポートストリームパケット１６―３の最初のナルユニット（３）６６の残部が分離部１０３を介してビデオデコーダ１１１に送られる場合には、エラーが生ずることから、このナルユニット（３）６６の残部を捨てる処理をすることとなる。ここで,このナルユニット（３）６６の残部の破棄に伴って図５（Ｂ）に示すようにナルユニット（２）６６の残りをビデオデコーダ１１１に送る際に，ナルユニット（２）６６中のデータがバイト単位で終端したと仮定し，ナルユニット（２）６６の一部に続いてナルユニットの終端を示すターミネータ“０x80”を挿入してビデオデコーダ１１１に送っても良い。

ビデオデコーダ１１１では、既に入力された他のナルユニット６６並びにナルユニット（１）６６及びナルユニット（２）６６の残部で画像を形成することとなる。従って、一例としてピクチャフレームのマクロブロックが欠けたように表示部（図示せず）に表示されることとなる。また、他の例として欠けたマクロブロックが既にデコードされた他の近似したマクロブロックに入れ替えられて正常なマクロブロックと入れ替えられたマクロブロックとが組み合わされた画像が表示部（図示せず）に表示されることとなる。

トランスポートストリームパケット１６―３の破棄されるナルユニット（３）６６に続くナルユニット（３）６６は、その先頭のスタートコード（ＳＣ）で検出されてビデオデコーダ１１１に送られる。

図６を参照して図５（Ａ）及び図５（Ｂ）に示されるトランスポートストリームの処理についてより詳細に説明する。ステップＳ１０に示すように処理が開始されると、データプロセッサ１０２において、スタートコード（ＳＣ）６２を検出する動作がオンされているか否かが確認される。ステップＳ１２において、スタートコード（ＳＣ）６２を検出しないオフ動作であれば、ステップＳ１４において、トランスポートストリーム（ＴＳ）中で巡回カウンタ（ＣＣ）３２の値が連続しているかが確認される。例えば、図５（Ａ）に示されるようにＴＳパケット１６−５、１６−６において、カウント値(０x４）からカウント値(０x５）に更新されていることが確認される。カウント値(０x０、０x１、０x２…）が連続すれば、パケット落ちがないとしてステップＳ１６に示すようにトランスポートストリーム（ＴＳ）の全データがビデオデコーダ１１１に当該トランスポートストリーム（ＴＳ）に対する処理が終了される。

ステップＳ１２において、スタートコード（ＳＣ）６２を検出する動作がオンされている場合には、ステップＳ２２において、スタートコード（ＳＣ）６２の有無が確認される。スタートコード（ＳＣ）６２が検出されなければ、ステップＳ３０でそのトランスポートストリーム（ＴＳ）の全データが破棄され、ステップＳ３２に示すようにスタートコード（ＳＣ）６２の検出動作をオンとしたままで当該トランスポートストリーム（ＴＳ）に付いては、巡回カウンタ（ＣＣ）３２の値が不連続で、スタートコード（ＳＣ）６２がないとして処理を終え、次のトランスポートストリーム（ＴＳ）の処理を待つこととなる。

ステップＳ１４において、スタートコード（ＳＣ）６２が不連続である場合には、ステップＳ２０において、当該ＴＳパケット１６及び当該ＴＳパケット直前のＴＳパケット１６にエラーがないことが確認される。即ち、当該ＴＳパケット１６及び当該ＴＳパケット直前のＴＳパケット１６の誤り表示２０に“Free”が記述されていることが確認される。誤り表示２０に“Free”が記述されず、当該ＴＳパケット１６及び当該ＴＳパケット直前のＴＳパケット１６の一方に”Err”が記述される場合には、巡回カウンタ（ＣＣ）３２の値自体も信頼性がないことから、パケット落ちの処理ができないとする。従って、パケット落ちに対する処理をしないまま当該トランスポートストリーム（ＴＳ）の全データを転送して画像表示処理するとともにスタートコード（ＳＣ）の検出処理をオフとしたまま次のトランスポートストリーム（ＴＳ）の処理に移行される。ステップＳ２０でＮｏとされる場合には、ＴＳパケット１６−３からＴＳパケット１６−４に移行するような場合、ＴＳパケット１６−４からＴＳパケット１６−５、或いは、ＴＳパケット１６−５からＴＳパケット１６−６に移行した場合における処理が該当している。

ステップＳ２０において、当該ＴＳパケット１６及び当該ＴＳパケット直前のＴＳパケット１６の誤り表示２０に“Free”が記述されていることが確認されると、ステップＳ２２に移行さる。ＴＳパケット１６−１、１６−３の誤り表示２０には、いずれも“Free”が記述され、その間にＴＳパケット１６−２のパケット落ちが発生しているが、ＴＳパケット１６−１、１６−３は、データプロセッサ１０２に連続して入力されることから、ステップＳ２０におけるYESに該当することとなる。ステップＳ２２においては、既に述べたようにスタートコード（ＳＣ）があるかが確認される。スタートコード（ＳＣ）がある場合には、ステップＳ２４に示すようにナルユニット（２）６６の一部にナルユニットの終端を示すターミネータ“０x80”を挿入する終端処理をし、ステップＳ２６に示すようにナルユニット（３）の残部を破棄して次のスタートコード（ＳＣ）を検出してこのスタートコード（ＳＣ）で始まるナルユニット（４）６６をデコーダ１１１に供給する。その後スタートコード（ＳＣ）の検出をオフとして再びステプＳ１２に戻されることとなる。

上述した説明では、ステップＳ２４において、データ終端の整合処理をした後にステップＳ２６において、次のスタートコードまでのデータを破棄して検出したスタートコード後のナルユニットによってピクチャを構成しているが、ナルユニットに含まれるナルタイプにエラーがないスタートコードまでのナルユニットのデータを破棄してナルタイプにエラーがないナルユニット及びこれに続くナルユニットを利用してピクチャが構成されて良い。また、次に検出されるスタートコードを有するナルユニットがフィラーナルユニットである場合には、このフィラーナルユニットのデータを破棄してフィラーナルユニット以外のナルユニット及びこれに続くナルユニットを利用してピクチャが構成されて良い。更に、ステップＳ２６において、次のスタートコードが検出されるナルユニットがランダムアクセスポイントに沿うとしない場合には次々にナルユニットを破棄してＩＤＲ―ＡＵを構成するナルユニットが検出するまでナルユニットを破棄し、ＩＤＲ―ＡＵ（Instantaneous Decoding Refresh Access Unit）を構成するナルユニットが検出されて初めてピクチャを構成するようにしても良い。ここで、ＩＤＲ（Instantaneous Decoding Refresh）を含むナルユニットは、ランダムアクセスが可能なナルユニットであり、このナルユニットを利用することによって１つの完成されたピクチャを表示することが可能であり、図２（Ｃ）に示されるアダプテーションフィールドコントロール３０に含まれるランダムアクセスインディケータ（random_access_indicator）にフラグ“１”が記述されることから、次々にＴＳヘッダを検索してアダプテーションフィールドコントロール３０を確認することでＩＤＲ（Instantaneous Decoding Refresh）を含むナルユニットを検索することができる。

上述したようにこの発明の一実施例に係るトランスポート受信装置においては、デマルチプレクサ(Demux）部（分離部）がトランスポートストリーム（TSストリーム）のトランスポートストリームヘッダ内に設けられた４bitのContinuity Counterを抽出してスタートコード(Start Code(0x000001))を検出し、スタートコード(Start Code(0x000001))に続くデータをビデオデコーダに転送する。これによりデータの連続点は、常にスタートコード(Start Code(0x000001))となり、不連続データの誤解を生ずることなくデコードが可能となり，不連続点から誤り検出点までのデータ誤解釈に起因する画質劣化のない再生画像を得ることが出来る．
なお一実施例として，Ｈ．２６４ストリームが多重化されたトランスポートストリームを対象に説明してきたが，この発明の適用範囲は，符号化方式，符号化対象メディアに依存せず，エレメンタリーストリームが同期点と符号化データから構成されれば良い．
以上のようにトランスポートストリームにおけるパケット落ちを検出して適切な再生画像を再生することができるが、トランスポートストリームに限らず、ＲＴＰ(Real Time Protocol)を利用したストリーミング伝送においても同様に適用することができる。ＲＴＰ(Real Time Protocol)を利用したストリーミング伝送におけるパケット落ちの検出について図７（Ａ）及び（Ｂ）を参照して説明する。

ＲＴＰ(Real Time Protocol)を利用したストリーミングでは、図７（Ａ）に示すようにＲＴＰパケット７０―１〜７０−４が次々に受信部１１０に供給される。ＲＴＰパケットには、単一ユニットパケット（Single NAL Unit Packet）、集合パケット（Aggregation Packet)及び分割（フラグメンテーション）ユニットパケット(Fragmentation Unit)がある。これらを識別する識別子がＲＴＰパケットヘッダ７２に続くペイロードヘッダ７４記述されている。ここで、単一ユニットパケット（Single NAL Unit Packet）には、１つのＮＡＬユニットのみが格納され、集合パケット（Aggregation Packet)には、複数のＮＡＬユニットが格納され、分割ユニットパケット(Fragmentation Unit) には、ＮＡＬユニットの一部が格納されている。しかも、単一ユニットパケット（Single NAL Unit Packet）及び集合パケット（Aggregation Packet)とその内のナルユニトは、互いに同期する関係にある。従って、単一ユニットパケット（Single NAL Unit Packet）或いは集合パケット（Aggregation Packet)が伝送中に欠けても、次々にパケットに同期してＮＡＬユニットがデコーダ１１１に供給されてデコードされる。これに対して、分割ユニットパケット(Fragmentation Unit)が欠けた際には、図６と同様の処理過程のステップＳ１４でＲＴＰヘッダのシークエンス番号が検出されて不連続である場合には、パケットが失われたと判断される。パケットの喪失があると、ステップＳ２４と同様に喪失パケットの前に送られた前パケットのナルユニットの一部に終端処理が施されてターミネーション“0x80”が挿入される。

図７（Ａ）に示されるようにＲＴＰパケット７０−１が入力されてペイロードヘッダ７４から分割ユニットパケット(Fragmentation Unit)が検出されると、シークエンス番号（“0x0”、“0x1”）が連続しているかが確認される。連続していれば、そのままナルユニット（１）の一部をデコーダ１１１に送ることとなる。図７Ａに示されるようにＲＴＰパケット７０−３が喪失されると、シークエンス番号（“0x1”）からシークエンス番号（“0x３”）に不連続となることから、ＲＴＰパケット７０−３が喪失していることが検出される。この場合には、図７（Ｂ）に示すストリームにおいて、喪失されたＲＴＰパケット７０−３より前のＲＴＰパケット７０−１及び７０−２のナルユニット（１）がデコーダ１１１に供給され，喪失されたＲＴＰパケット７０−３以降のナルユニット（１）は破棄され，デコーダには供給されない．
ここで連続して受信した最終ＲＴＰパケット７０−２に含まれるナルユニット（１）後段に，ターミネーション０ｘ８０を挿入しても良い．
これより、デコーダ１１１は、不連続なく供給されたナルユニット（１）でピクチャを構成するため,データ誤解釈による画質劣化のないピクチャを表示することとなる。

以上のように、この発明のストリーム受信装置では、トランスポートストリーム伝送中或いは他のＲＴＰ(Real Time Protocol)を利用したストリーミングで一部パ ケットが失われても，データ不連続のないエレメンタリーストリームをデコーダに供給することができる．

図１は、この発明の実施例に係るトランスポートストリームを受信してデコードする再生装置を概略的に示すブロック図である。 （Ａ）〜（Ｃ）は、図１に示される装置に伝送されるトランスポートストリーム（ＴＳ）のデータ構造を示す模式図である。 （Ａ）〜（Ｇ）は、図２（Ａ）及び（Ｂ）に示されるトランスポートストリームのパケットから生成されるパケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）の構造を示す模式図である。 （Ａ）〜（Ｅ）は、図２（Ａ）〜（Ｃ）に示されるトランスポートストリーム、図３（Ａ）〜（Ｇ）に示されるパケッタライズド・エレメンタリ・ストリーム（ＰＥＳ）及びＨ．２６４のバイトストリームとの関係を示す模式図である。 （Ａ）及び（Ｂ）は、図１に示される装置に伝送されるトランスポートストリーム（ＴＳ）においてパケットが失われた際の説明をする為のパケットヘッダとＨ．２６４バイトストリームを混在して示す模式図及びデコーダに送られるバイトストリームを示す模式図である。 図５（Ａ）及び図５（Ｂ）に示されるトランスポートストリームの処理を示すフローチャートである。 （Ａ）及び（Ｂ）は、図１に示される装置に伝送されるＲＴＰ(Real Time Protocol)ストリーミングを示す模式図及びデコーダに送られるバイトストリームを示す模式図である。

符号の説明

１２．．．ＴＳパケット、１４．．．ＴＳパケットヘッダ、１６．．．ＴＳパケットデータ、２０．．．誤り表示、２２．．．ペイロードユニットの開始表示、２６．．．ＰＩＤ、３２．．．巡回カウンタ、４０，４２．．．ＰＥＳパケット、１０２．．．データプロセッサ、１０３．．．分離部、１１０．．．受信部、１１４．．．ビデオデコーダ

Claims (6)

1. トランスポートストリームを構成するトランスポートストリームパケットを時系列的に入力する入力部と、
   前記トランスポートストリームパケットのトランスポートストリームパケットヘッダに記述された巡回カウンタの不連続性を検出してトランスポートストリームパケットの喪失を判定する判定部と、
   前記喪失されたトランスポートストリームパケット直前のトランスポートストリームパケットから取り出されるエレメンタリーストリームに残されたナルユニットに当該ナルユニットの終端を示すターミネータを付加する終端処理部と、
   前記ターミネータを付加した後に同期点が検出されるエレメンタリーストリームまでの間のエレメンタリーストリームのデータを破棄する検出処理部と、
   前記破棄されたデータを除く前記エレメンタリーストリームに含まれるナルユニットをデコードするデコーダと、
   を具備することを特徴とするパケットストリーム受信装置。
2. 前記検出される同期点を有するナルユニットは、エラー無しのナルタイプを有することを特徴とする請求項１のパケットストリーム受信装置。
3. 前記トランスポートストリームパケットのヘッダは、当該トランスポートストリームパケットにエラーが含まれているかを示すエラーインジケータを含み、このエラーインジケータがエラーなしを示す場合に前記終端処理部が前記エレメンタリーストリームに残されたナルユニットに前記ターミネータを付加することを特徴とする請求項１のパケットストリーム受信装置。
4. 前記検出処理部は、前記同期点を検出しないエレメンタリーストリームを全て破棄することを特徴とする請求項１のパケットストリーム受信装置。
5. 前記検出処理部は、前記巡回カウンタの値が不連続であり、前記エラーインジケータがエラーありを示す場合には、前記巡回カウンタの値にエラーが含まれるものとしてそのトランスポートストリームパケットに含まれるエレメンタリーストリームを全て転送することを特徴とする請求項１のパケットストリーム受信装置。
6. ＲＴＰパケットヘッダ及びペイロードを有するＲＴＰパケットを次々に時系列的に入力する入力部と、
   前記ペイロードに含まれる識別子から前記ＲＴＰパケットが分割ユニットパケットであることを判別する判別部と、
   前記ＲＴＰヘッダに含まれるシークエンス番号の連続性を検出し、この番号が不連続であって前記識別子が分割ユニットパケットであれば、ＲＴＰパケットの喪失を判定する判定部と、
   前記喪失されたＲＴＰパケット直前のパケットから取り出されるエレメンタリーストリームに残されたナルユニットに当該ナルユニットの終端を示すターミネータを付加する終端処理部と、
   前記ターミネータを付加した後にＲＴＰパケットに含まれる同期点が検出されるエレメンタリーストリームまでの間のエレメンタリーストリームのデータを破棄する検出処理部と、
   前記破棄されたデータを除く前記エレメンタリーストリームに含まれるナルユニットをデコードするデコーダと、
   を具備することを特徴とするパケットストリーム受信装置。

Images