JP2010239433A - 映像符号化装置、方法及びプログラム - Google Patents

Abstract

【課題】映像符号化処理において遅延時間を短くすることができる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供する。
【解決手段】映像符号化装置は、映像データを符号化する映像符号化手段と、映像符号化手段が符号化した符号化データのデータサイズが１パケット分に満たない場合に、符号化データにスタッフィングデータを付加するスタッフィングデータ付加手段と、スタッフィングデータ付加手段によってスタッフィングデータが付加された符号化データをパケットに重畳して出力するデータ出力手段とを備える。
【選択図】図８

Description

本発明は、映像データを符号化して出力する映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。

昨今、地上デジタル放送などにおいて、ハイビジョン信号が多く用いられている。そして、ハイビジョン信号を伝送する場合には、非圧縮のデータのままでは膨大なビットレートとなってしまうため、映像符号化を行ってから伝送することが多い。

このようなシステムとして、例えば、特許文献１には、ビデオ信号を符号化するビデオ符号化装置と、符号化したビデオ信号をパケット化して多重し、トランスポートストリームを得る多重化装置とを備えた放送システムが記載されている。

特開２０００−９２１２６号公報（段落００１８）

しかし、一般的な映像符号化装置による映像符号化処理では、映像フレーム単位かそれ以上の符号化や符号化データの伝送遅延が発生する。このように、映像符号化を行うことで数フレームかそれ以上の遅延が生じるため、視聴者が見ると明らかに遅延が分かる状態となる。例えば、映像符号化処理を行う通信を介して、スタジオの司会者と現場の取材記者とがやりとりを行う場面などである。

これらの遅延が発生する原因として、次のような事項が挙げられる。固定レートで伝送する映像符号化装置は、装置で設定された映像ビットレート以上の映像符号化データを瞬間的には出力することができない。例えば、映像ビットレートが１０Ｍｂｐｓの場合には、映像符号化装置は、１秒間に１０Ｍｂｉｔ、０．１秒間には１Ｍｂｉｔ以上出力することはできない。また、映像符号化を完結できる単位の映像信号を符号化した結果（符号化されたデータ量）が、映像符号化を完結することができる単位時間あたりの映像ビットレート量よりも少ない場合には、Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下、ＴＳ）パケットに重畳する符号化データが一時的になくなる状態となる。

この一時的に不足する状態において、ＴＳパケット化する符号化データのバイト数が、所定の単位バイト数（例えば、１８４の倍数）でない場合には、４バイトのＴＳヘッダと１８４バイトのペイロードとで構成されるＴＳパケットに対して、ペイロードを全て埋めることが出来ない。すなわち、符号化データを分割してＴＳパケット化する際に、１パケット分（１８４バイト）に満たない符号化データが残ると、単位バイト数に満たない状態でＴＳパケット化を行うことはできないので、残った符号化データをＴＳパケット化することができない。そのため、次の符号化単位の符号化が完了し、符号化データの準備できて単位バイト数を満たした状態となるまで、１パケット分に満たなかった符号化データをＴＳパケット化して出力することができない。

よって、映像符号化を完結することができる単位の符号化データを、ＴＳパケット化してすぐに出力できない場合には、デコードが必要な符号化データを送信する（映像符号化装置と接続されるデコーダからすれば受信する）タイミングが遅くなってしまう。従って、デコードするタイミングが遅れてしまい、伝送遅延が発生することとなる。

また、特許文献１に記載されたシステムでは、入力データはバッファメモリに書き込まれる。そして、バッファメモリに対して入力データの書き込みが開始されてからの経過時間が算出され、この経過時間が所定の閾値を越えるとき、バッファメモリに蓄積されているデータがパケットデータとして読み出されてパケット化される。これにより、パケット化遅延時間は最大でも閾値に制御することができる。しかし、遅延時間を閾値内に制御しているに過ぎず、装置の処理能力を最大限に生かしているとはいえない。

そこで、本発明は、映像符号化処理において遅延時間を短くすることができる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。

本発明による映像符号化装置は、映像データを符号化する映像符号化手段と、映像符号化手段が符号化した符号化データのデータサイズが１パケット分に満たない場合に、符号化データにスタッフィングデータを付加するスタッフィングデータ付加手段と、スタッフィングデータ付加手段によってスタッフィングデータが付加された符号化データをパケットに重畳して出力するデータ出力手段とを備えたことを特徴とする。

本発明による映像符号化方法は、映像データを符号化する映像符号化ステップと、符号化した符号化データのデータサイズが１パケット分に満たない場合に、符号化データにスタッフィングデータを付加するスタッフィングデータ付加ステップと、スタッフィングデータが付加された符号化データをパケットに重畳して出力するデータ出力ステップとを含むことを特徴とする。

本発明による映像符号化プログラムは、コンピュータに、映像データを符号化する映像符号化処理と、符号化した符号化データのデータサイズが１パケット分に満たない場合に、符号化データにスタッフィングデータを付加するスタッフィングデータ付加処理と、スタッフィングデータが付加された符号化データを、パケットに重畳して出力するデータ出力処理とを実行させることを特徴とする。

本発明による映像符号化装置は、符号化から復号化までを映像１フレーム以内で行うような、従来の映像符号化装置と比べて、短い遅延時間で映像圧縮符号化を実現する、ＴＳ形式で固定レートの伝送をする映像符号化装置である。

上記の映像符号化装置を実現するにあたって、短い処理時間で映像符号化を行う必要がある。そのため、映像１フレーム分のデータが符号化装置に入力し終わらないうちに符号化を開始し、映像符号化を最小の完結可能な単位ごとに行い、符号化が終了し出力できる符号化データからＴＳパケット化して多重することによって実現する。

本発明によれば、映像符号化処理において遅延時間を短くすることができる。

本発明による映像符号化装置の構成例を示すブロック図である。 映像符号化装置１０による映像入力１を符号化してＴＳ出力３として出力する処理の一例を示すタイミングチャートである。 ＴＳパケットの一例を示す説明図である。 スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレート量と同じ場合に、符合化データ２をＴＳパケット７に重畳するタイミングチャートである。 一般的な映像符号化装置において、スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレートよりも小さい場合に、符合化データ２をＴＳパケット７に重畳するタイミングチャートである。 本実施形態による映像符号化装置において、スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレートよりも小さい場合に、符合化データ２をＴＳパケット７に重畳するタイミングチャートである。 符号化データの補正を示す説明図である。 映像符号化装置の最小の構成例を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による映像符号化装置の構成例を示すブロック図である。本実施形態では、映像符号化装置１０は、具体的には、プログラムに従って動作する情報処理装置によって実現される。なお、映像符号化装置１０は、例えば、テレビジョン受信機やＤＶＤレコーダ等の映像処理装置に搭載される符号化装置（エンコーダ）によって実現されてもよい。図１に示すように、映像符号化装置は、映像符号化手段４と、ＴＳパケット化手段５とを含む。

映像符号化手段４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。映像符号化手段４は、図１に示すように、映像入力データ１を入力し、入力した映像データを符号化して符号化データ２を出力する機能を備えている。

ＴＳパケット化手段５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。ＴＳパケット化手段５は、映像符号化手段４によって符号化された符号化データ２をＴＳパケット７に重畳する機能を備えている。ＴＳパケット化手段５は、符号化データ２を重畳したＴＳパケット７をＴＳ出力データ３として出力する機能を備えている。ＴＳパケット化手段５は、所定の場合に、符号化データ２にスタッフィングデータ６を付加して、ＴＳパケット７に重畳する機能を備えている。具体的には、ＴＳパケット化手段５は、映像符号化手段が符号化した符号化データ２のデータサイズが１パケット分（例えば、１８４バイト）に満たない場合に、不足するデータサイズ分のスタッフィングデータ６を符号化データ２に付加する。そのようにすることによって、符号化データ２にスタッフィングデータ６を付加した全体のデータサイズが１パケット分となるように処理を行う。

次に、映像符号化装置１０の動作について説明する。図２は、映像符号化装置１０による映像入力１を符号化してＴＳ出力３として出力する処理の一例を示すタイミングチャートである。

一般に、完結可能な映像符号化は、ピクチャ又はスライスと呼ばれる符号化の単位で行われる。本実施形態では、１つの映像フレームあたり、４つのスライスとして符号化を実施する場合について説明するが、映像フレームあたりのスライスの数は、４つに限らず、例えば、５つ以上であっても構わない。

図２に示すように、映像入力データ１として映像データが映像符号化装置１０に入力されると、映像符号化装置１０は、入力された映像データの符号化を開始する。そして、１スライス分の符号化が完了すると、映像符号化装置１０は、ＴＳ出力データ３として出力するために、ＴＳパケット７に符号化データ２を重畳する。

次に、本実施形態で用いるＴＳパケットについて説明する。図３は、ＴＳパケットの一例を示す説明図である。図３に示すように、ＴＳパケット７は、ＴＳヘッダ８（４バイト）とペイロード９（１８４バイト）とを含む。本実施形態では、ＴＳパケット化手段５は、ペイロード９に符号化データ２を重畳する。なお、ペイロード９の後に１６バイトの付加データを有するＴＳパケットの形式も存在するが、本実施形態で示す映像符号化装置１０は、このような付加データを有するＴＳパケットを出力する場合にも適用可能である。なお、付加データを有するＴＳパケットのデータ形式の詳細については、周知技術であり、記載を省略する。

次に、完結可能な映像符号化単位として、スライス単位の符号化を行った場合に、符号化されたデータ量が、映像符号化単位の時間あたりのビットレート量と同じ場合について説明する。図４は、スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレート量と同じ場合に、符合化データ２をＴＳパケット７に重畳するタイミングチャートである。

図４に示すように、映像符号化手段４が、映像入力１による映像データのうち、スライスａ＿１の符合化を完了すると、ＴＳパケット化手段５は、ＴＳパケット７に、スライスａ＿１の符合化データ２を１８４バイト単位で重畳する。そして、ＴＳパケット化手段５は、符号化データ２を重畳したＴＳパケット７を、ＴＳ出力データ３として出力する。

ここで、スライスａ＿１の符合化データ２のバイト数が、１８４の倍数とは限らないため、スライスａ＿１を分割していくと、スライスａ＿１から分割された最後の符号化データ２は、１８４バイト未満の端数となる可能性が高い。この場合、ＴＳパケット化手段５は、端数となった符号化データ２を、１つのＴＳパケット７に納めて（重畳して）出力することが出来ない。すなわち、ＴＳパケット化手段５は、ＴＳパケット７のペイロード９に、１８４バイト分の符号化データ２を重畳してからでなければ、ＴＳ出力３として出力することができない。

しかし、図４に示す例では、映像符号化手段４は、ＴＳパケット化手段５が端数となった符号化データ２をＴＳパケット７に重畳する時点で、映像データのスライスａ＿２の符合化を完了している。そのため、ＴＳパケット化手段５は、スライスａ＿１から分割された最後の符号化データ２と、スライスａ＿２から分割された最初の符号化データ２とを合わせて、１８４バイトとなるように構成し、ＴＳパケット７に重畳することができる。よって、図４に示すケースでは、ＴＳパケット化手段５は、符号化データが単位バイト数（１８４バイト）を満たすまで待つ必要がなく、直ちに（連続して）ＴＳ出力データ３を出力することができる。

しかし、符号化データが単位バイト数を満たさない場合には、一般に、直ちにＴＳパケット化を行うことができず、伝送遅延を生じてしまうおそれがある。以下、符号化データが単位バイト数を満たさない場合の動作について、本実施形態における符号化方法と一般的な符号化方法とを対比して説明する。

まず、一般的な方法によって、完結可能な映像符号化単位として、スライス単位の符号化を行った場合に、符号化されたデータ量が、映像符号化単位の時間あたりのビットレート量よりも小さい場合について説明する。図５は、一般的な映像符号化装置において、スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレートよりも小さい場合に、符合化データ２をＴＳパケット７に重畳するタイミングチャートである。

図５に示すように、スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレートよりも小さい場合、一時的にＴＳ出力データ３において、符合化データ２が重畳されない区間が発生する。また、スライスａ＿１から分割された最後の符号化データ２のデータ量が、１８４バイト未満の端数となる場合には、スライスａ＿１から分割された最後の符号化データ２が一時的に出力されない状態となる。

この場合、一般的な映像符号化装置は、次のスライスａ＿２の符合化を完了した時点で、端数となった符号化データ２と、スライスａ＿２から分割された最初の符号化データ２とを合わせて、１８４バイトとなるように構成し、ＴＳパケット７に重畳する。そして、一般的な映像符号化装置は、ＴＳパケット７をＴＳ出力データ３として出力する。そのため、スライスａ＿２を出力することができるタイミングに至るまで、端数となったスライスａ＿１から分割された最後の符号化データ２を出力することができず、伝送遅延が生じる原因となる。

次に、本実施形態による映像符号化装置１０によって、完結可能な映像符号化単位として、スライス単位の符号化を行った場合に、符号化されたデータ量が、映像符号化単位の時間あたりのビットレート量よりも小さい場合について説明する。図６は、本実施形態による映像符号化装置１０おいて、スライス単位の符号化を行った結果（符号化されたデータ量）が、映像符号化単位の時間あたりのビットレートよりも小さい場合に、符合化データ２をＴＳパケット７に重畳するタイミングチャートである。

図６に示すように、映像符号化手段４が、映像入力１の映像データのうち、スライスａ＿１の符合化を完了すると、ＴＳパケット化手段５は、ＴＳパケット７に、スライスａ＿１の符合化データ２を１８４バイト単位で重畳する。そして、ＴＳパケット化手段５は、符号化データ２を重畳したＴＳパケット７を、ＴＳ出力データ３として出力する。

しかし、スライスａ＿１の符合化されたデータ量が、映像符号化単位の時間あたりのビットレート量よりも小さい場合には、映像符号化手段４によるスライスａ＿２の符号化処理が完了する前に、ＴＳパケット化手段５は、スライスａ＿１の符合化データ２をＴＳパケット７に重畳し終える。そのため、スライスａ＿１の符合化データ２のバイト数が１８４の倍数でない限り、スライスａ＿１から分割された最後の符合化データ２が端数として残る状態となる。

ここで、本実施形態では、ＴＳパケット化手段５は、残った符合化データ２に、合わせて１８４バイトのデータ量となるように、スタッフィングデータ６を付加する。そして、ＴＳパケット化手段５は、スタッフィングデータ６を付加した符号化データ２を、ＴＳパケット７に重畳する。そして、ＴＳパケット化手段５は、直前に出力したＴＳパケット７に続けて、重畳したＴＳパケット７をＴＳ出力データ３として出力する。

このようにすることで、本実施形態では、スライスａ＿２の符号化処理前であっても、端数となったスライスａ＿１から分割された最後の符号化データ２を、出力することができる。そのため、一般的な映像符号化装置のように、スライスａ＿２の符号化処理後でなければ、端数となった符号化データ２を出力することができないということがなく、遅延時間を短くすることができる。すなわち、符号化データが単位バイト数に満たない場合であっても、スタッフィングデータを付加して単位バイト数（１８４バイト）とすることによって、直ちにＴＳパケット化を行うことができ、遅延時間を短くすることができる。また、特許文献１に記載されたシステムのように、予め定めた所定の時間を経過しなくても、符号化したデータを出力することができる。

なお、スタッフィングデータの追加において、ＴＳパケット化手段５は、例えば、以下に示す式１を用いて、残っている符合化データ２のバイト数をｎ（バイト）とし、付加するスタッフィングデータをｓｔｕｆ＿ｂｙｔｅ（バイト）として、スタッフィングデータ６のバイト数を算出する。

ｓｔｕｆ＿ｂｙｔｅ＝１８４−ｎ ・・・（式１）

また、スタッフィングデータ６を付加した場合には、付加したスタッフィングデータ６のバイト数分だけ発生するデータ量が増える。そのため、図７に示すように、符合化データ量を補正する必要がある。

符号化データ量の補正において、ＴＳパケット化手段５は、例えば、以下に示す式２を用いて、スライスａ＿１から発生した符合化データ量をＳａ＿１とし、補正後の符合化データ量をＳとして、符号化データ２の符号量補正を算出する。

Ｓ＝Ｓａ＿１＋ｓｔｕｆ＿ｂｙｔｅ（ｂｉｔ） ・・・（式２）

以上のように、本実施形態では、映像符号化手段４は、映像入力１による映像データを最小の完結可能な映像符号化単位で符号化する。そして、ＴＳパケット化手段５は、符号化データ２をＴＳパケット７に重畳する。その結果、１８４バイト未満の符号化データ２が残り、かつ、次の符号化単位の符号化データ２がまだ準備されていない場合には、ＴＳパケット化手段５は、１８４バイト未満の符号化データ２の直後に、スタッフィングデータ６を付加する。そして、ＴＳパケット化手段５は、スタッフィングデータ６と残った１８４バイト未満の符号化データ２とをＴＳパケットに重畳する。そして、ＴＳパケット化手段５は、スタッフィングデータ６を付加した１８４バイト未満の符号化データ２を、ＴＳ出力３として、直前のＴＳパケット７に続けて出力することができる。

そのため、本実施形態によれば、完結可能な映像符号化単位として、例えば、スライス単位の符号化を行った結果（符号化データ量）が、映像符号化単位の時間あたりのビットレート量よりも小さい場合でも、スライス単位で符合化が完了した符合化データ２を出来る限り早く、かつ全てＴＳパケット７として出力することができる。そのため、従来の映像符号化装置と比べて、遅延時間を短くすることができる

次に、本発明による映像符号化装置の最小構成について説明する。図８は、映像符号化装置の最小の構成例を示すブロック図である。図８に示すように、映像符号化装置１０は、最小の構成要素として、映像データを符号化する映像符号化手段４と、１パケット分に満たない符号化データにスタッフィングデータを付加するスタッフィングデータ付加手段５１と、符号化データが重畳されたパケットを出力する符号化データ出力５２とを含む。

図８に示す最小構成の映像符号化装置１０では、符号化手段４は、映像符号化装置１０に入力された映像データを符号化する。そして、符号化手段が映像データを符号化した符号化データのデータサイズが１パケット分に満たない場合に、スタッフィングデータ付加手段５１は、符号化データにスタッフィングデータを付加する。そして、データ出力手段５２は、スタッフィングデータ付加手段５１によってスタッフィングデータが付加された符号化データを、パケットに重畳して出力する。

従って、図８に示す最小構成の映像符号化装置１０によれば、符号化手段４によって符号化された符号化データを連続して出力することができ、遅延時間を短くすることができる。

なお、本実施形態では、以下の（１）〜（５）に示すような映像符号化装置の特徴的構成が示されている。

（１）映像符号化装置は、映像データ（例えば、映像入力データ１）を符号化する映像符号化手段（例えば、映像符号化手段４によって実現される）と、符号化した符号化データ（例えば、符号化データ２）のデータサイズが１パケット分（例えば、１８４バイト）に満たない場合に、符号化データにスタッフィングデータ（例えば、スタッフィングデータ６）を付加するスタッフィングデータ付加手段（例えば、ＴＳパケット化手段５によって実現される）と、スタッフィングデータ付加手段によってスタッフィングデータが付加された符号化データをパケットに重畳して出力するデータ出力手段（例えば、ＴＳパケット化手段５によって実現される）とを備えたことを特徴とする。

（２）映像符号化装置において、映像符号化手段は、最小の完結可能な単位（例えば、スライスａ＿１）で映像データを符号化するように構成されていてもよい。

（３）映像符号化装置は、１パケット分に満たない符号化データのデータサイズと、１パケット分のデータサイズとの差分に基づいて、スタッフィングデータのデータサイズを算出するスタッフィングデータサイズ算出手段（例えば、ＴＳパケット化手段５が数１を用いて算出する）を備え、スタッフィングデータ付加手段は、スタッフィングデータサイズ算出手段が算出したデータサイズのスタッフィングデータを符号化データに付加するように構成されていてもよい。

（４）映像符号化装置は、スタッフィングデータ付加手段が付加したスタッフィングデータのデータサイズに基づいて、符号化手段が符号化した符号化データのデータサイズ（例えば、ＴＳパケット化手段５が式２を用いて算出する）を補正するデータサイズ補正手段を備えたことを特徴とする。

（５）映像符号化装置において、符号化データ出力手段は、スタッフィングデータが付加された符号化データを重畳したパケットを、直前に出力したパケットに続けて出力するように構成されていてもよい。

本発明は、ハイビジョン信号等を伝送する用途に適用可能である。

１ 映像入力データ
２ 符号化データ
３ ＴＳ出力データ
４ 映像符号化手段
５ ＴＳパケット化手段
６ スタフィングデータ
７ ＴＳパケット
８ ＴＳヘッダ
９ ペイロード
１０ 映像符号化装置
５１ スタッフィングデータ付加手段
５２ データ出力手段

Claims (9)

1. 映像データを符号化する映像符号化手段と、
   前記映像符号化手段が符号化した符号化データのデータサイズが１パケット分に満たない場合に、前記符号化データにスタッフィングデータを付加するスタッフィングデータ付加手段と、
   前記スタッフィングデータ付加手段によって前記スタッフィングデータが付加された前記符号化データをパケットに重畳して出力するデータ出力手段とを
   備えたことを特徴とする映像符号化装置。
2. 映像符号化手段は、最小の完結可能な単位で映像データを符号化する
   請求項１記載の映像符号化装置。
3. １パケット分に満たない符号化データのデータサイズと、１パケット分のデータサイズとの差分に基づいて、スタッフィングデータのデータサイズを算出するスタッフィングデータサイズ算出手段を備え、
   スタッフィングデータ付加手段は、前記スタッフィングデータサイズ算出手段が算出したデータサイズの前記スタッフィングデータを前記符号化データに付加する
   請求項１又は請求項２記載の映像符号化装置。
4. スタッフィングデータ付加手段が付加したスタッフィングデータのデータサイズに基づいて、映像符号化手段が符号化した符号化データのデータサイズを補正するデータサイズ補正手段を備えた
   請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
5. 符号化データ出力手段は、スタッフィングデータが付加された符号化データを重畳したパケットを、直前に出力したパケットに続けて出力する
   請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。
6. 映像データを符号化する映像符号化ステップと、
   符号化した符号化データのデータサイズが１パケット分に満たない場合に、前記符号化データにスタッフィングデータを付加するスタッフィングデータ付加ステップと、
   前記スタッフィングデータが付加された前記符号化データをパケットに重畳して出力するデータ出力ステップとを
   含むことを特徴とする映像符号化方法。
7. 映像符号化ステップで、最小の完結可能な単位で映像データを符号化する
   請求項６記載の映像符号化方法。
8. コンピュータに、
   映像データを符号化する映像符号化処理と、
   符号化した符号化データのデータサイズが１パケット分に満たない場合に、前記符号化データにスタッフィングデータを付加するスタッフィングデータ付加処理と、
   前記スタッフィングデータが付加された前記符号化データをパケットに重畳して出力するデータ出力処理とを
   実行させるための映像符号化プログラム。
9. コンピュータに、
   映像符号化処理で、最小の完結可能な単位で映像データを符号化する
   請求項８記載の映像符号化プログラム。

Images