JP2005142612A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 従来は、画像ＴＳレートから画像符号化のＥＳレートを求める際、ＴＳ多重化時に予想される最大のスタッフィング発生レートを想定し、その分低くする必要があり、特に低い画像ＴＳレートでは画質に影響する場合があった。
【解決手段】 画像符号化処理部は、画像ＥＳレートをもとにレートコントロールを行い、フレーム毎の予定発生符号量を決定し、この予定発生符号量分をＴＳ多重化した場合の予測スタッフィングサイズを、予定発生符号量から差し引いた分の画像データを出力するようなフレーム毎の画像符号化処理を行う（ステップＳ１１）。続いて、フレーム毎の追加スタッフィング処理にて、上式で求めた予測スタッフィングサイズ分のスタッフィングを付加する（ステップＳ１２）。これにより、画像符号化のＥＳレートを多く画像データに割り当てることができるため、特に低い画像ＴＳレート時の画質向上が期待できる。
【選択図】 図４

Description

本発明は画像符号化装置及び画像符号化方法に係り、特に画像データのＴＳ多重化効率を考慮した画像符号化装置及び画像符号化方法に関する。

２００３年１２月に開始が予定されている地上波ディジタル放送では、ＭＰＥＧ２−ＴＳ（Moving Picture Experts Group Phase 2-Transport Stream）規格が採用され、既に開始されているＢＳディジタル放送に比べ、より低い画像ＴＳ（Transport Stream）レートでの高画質化が要求されている。この要求を満たすため、従来は画像符号化効率に主眼をおいて開発が行われている（例えば、特許文献１参照）。

上記の特許文献１記載の従来の画像符号化装置は、入力画像をＮ個（Ｎは２以上の整数）の領域に分割して圧縮符号化する装置であり、Ｎ系統に分割された画像信号を与えられた量子化ステップで並列に圧縮符号化してＮチャンネルの符号データを出力し、そのＮチャンネルの符号データを多重化手段により多重化することにより、Ｎチャンネルの符号データから入力画像全体を復号可能な１本の合成ストリームを生成する。また、この合成ストリームを生成する多重化手段は、合成ストリームの発生符号量によってスタッフィング処理を制御し、合成ストリームの発生符号量が所望の符号量となるように、Ｎチャンネルの符号データを生成するＮ個の符号化手段すべてに対して、同一の量子化ステップをフィードバックするようにしたものである。

この従来の画像符号化装置によれば、並列符号化単位で不必要なスタッフィングを行わず、合成したストリームに対してのみスタッフィングを行うことで画像符号化効率を改善し、更に、同一の量子化ステップを用いて並列符号化するために並列処理間で自動的に最適なビット配分がなされる結果、高画質化を達成しようとするものである。

特開２０００−１３４６１７号公報

しかしながら、上記の画像符号化装置では、画像データのＴＳ多重化を行うに際し、ＴＳ多重化時に発生するスタッフィングによるＴＳ多重化効率の低下は考慮されていないため、最適なＥＳ（Elementary Stream）レートで動作しないという問題がある。

ここで、上記のＴＳ多重化時に発生するスタッフィングとは、ＴＳ（Transport Stream）の最小単位であるＴＳパケットが固定長であるために、フレーム単位の画像データをＴＳ多重化すると最後のＴＳパケットのデータ部分が余る場合があり、この部分をＴＳパケットのアダプテーションフィールドのスタッフィングバイトとして処理することをいう。

次に、従来の画像データのＴＳ多重化方法について、図５と共に説明する。ＭＰＥＧ２−ＴＳの画像データのＴＳ多重化は、フレーム毎の図５（ａ）に示す画像ＥＳデータ１に、同図（ｂ）に示すようにＰＥＳ(Packetized Elementary Stream)ヘッダ２を付加した後、同図（ｃ）に示すように、１８８バイト又は２０４バイト固定長のＴＳ化する。各ＴＳの先頭にはＴＳヘッダ３が付加される。

ここで、設定される画像ＴＳレート(Video_TS_rate)から画像符号化のＥＳ(Elementary Stream)レート(Video_ES_rate)を求めるには、ＰＥＳヘッダレート(PES_header_rate)、ＴＳヘッダレート(TS_header_rate)、ＴＳ多重化時に予想される図５（ｃ）に４で示す最大のスタッフィング発生レート(Max_stuffing_rate)を想定し、その分低くする必要がある。これを数式で表すと、次式のようになる。

Video_ES_rate＝Video_TS_rate−PES_header_rate−TS_header_rate
−Max_stuffing_rate
これにより、画像符号化装置は、Max_stuffing_rate分低いVideo_ES_rateで動作することになる。この画像符号化装置から出力される画像データをＴＳ多重化する際、実際に発生するスタッフィング発生レートをReal_stuffing_rateとすると、実際に出力される画像ＴＳレート(Real_video_TS_rate)は、
Real_video_TS_rate＝Video_TS_rate−Max_stuffing_rate＋Real_stuffing_rate
となり、設定される画像ＴＳレートより、
Max_stuffing_rate−Real_stuffing_rate
分低い画像ＴＳレートで動作することになる。

今までは、このＴＳ多重化効率の低下による画像符号化のＥＳレート低下分は、無視しても問題ない画像ＴＳレートで運用されてきたが、より低い画像ＴＳレートでの高画質化を実現するためには無視できなくなってきた。

従来は、画像ＴＳレートから画像符号化のＥＳレートを求める際、ＴＳ多重化時に予想される最大のスタッフィング発生レートを想定し、その分低くする必要があり、特に低い画像ＴＳレートでは画質に影響する場合があった。

本発明は以上の点に鑑みなされたもので、画像データのＴＳ多重化時に発生が予想されるスタッフィングの量を、画像符号化時に画像ＥＳデータのスタッフィングとして付加する処理ブロックを追加することにより、ＴＳ多重化時に予想される最大のスタッフィング発生レートを想定しない最適な画像符号化のＥＳレートで動作し、ＴＳ多重化効率の良い（ＴＳ多重化時にスタッフィングの発生することのない）画像符号化装置及び画像符号化方法を提供することを目的とする。

上記の目的を達成するため、本発明の画像符号化装置は、ＭＰＥＧ方式により画像信号を圧縮符号化して得られる所定期間毎の画像ＥＳデータに、第１のヘッダを付加して第１のストリームとし、この第１のストリームを各々第２のヘッダを含む所定の固定長の複数のＴＳパケットからなるＴＳ多重化を行って第２のストリームを出力する画像符号化装置において、画像ＥＳデータのレートをもとに求められる所定期間毎の予定発生符号量から、ＴＳ多重化した際の予測スタッフィングサイズを差し引いた符号量の画像データを出力する符号化処理を行う符号化処理手段と、符号化処理手段により符号化処理された画像データに、予測スタッフィングサイズ分のスタッフィングを付加して所定期間毎の画像ＥＳデータとして出力するスタッフィング処理手段とを具備した構成としたものである。

また、上記の目的を達成するため、本発明の画像符号化方法は、ＭＰＥＧ方式により画像信号を圧縮符号化して得られる所定期間毎の画像ＥＳデータに、第１のヘッダを付加して第１のストリームとし、この第１のストリームを各々第２のヘッダを含む所定の固定長の複数のＴＳパケットからなるＴＳ多重化を行って第２のストリームを出力する画像符号化方法において、画像ＥＳデータのレートをもとに求められる所定期間毎の予定発生符号量から、ＴＳ多重化した際の予測スタッフィングサイズを差し引いた符号量の画像データを出力する符号化処理を行う第１のステップと、第１のステップにより符号化処理された画像データに、予測スタッフィングサイズ分のスタッフィングを付加して所定期間毎の画像ＥＳデータとして出力する第２のステップとを含むことを特徴とする。

本発明の画像符号化装置及び方法では、第２のストリームのレートから画像ＥＳデータのレートを求める際に従来考慮していた画像データのＴＳ多重化時に予想される最大のスタッフィング発生レートを考慮することなく、所定期間毎の予定発生符号量から、ＴＳ多重化した際の予測スタッフィングサイズを差し引いた符号量の画像データに、上記の予測スタッフィングサイズ分のスタッフィングを付加して所定期間毎の画像ＥＳデータとして出力するようにしたため、ＴＳ多重化時に予想される最大のスタッフィング発生レートを想定する従来装置及び方法に比べて、画像符号化のＥＳレートを多く画像データに割り当てることができる。

本発明によれば、従来に比べ、画像符号化のＥＳレートを多く画像データに割り当てることができるため、特に低い画像ＴＳレート時の画質向上が期待できると共に、ＴＳ多重化時にスタッフィングが発生しなくなることから効率の良いＴＳ多重化を行うことができる。

次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる画像符号化装置の一実施の形態のブロック図を示す。ここで、ＭＰＥＧ２−ＴＳの画像データのＴＳ多重化は、一般には画像信号を圧縮符号化して得られた図２（ａ）に示すフレーム毎の画像エレメンタリ・ストリーム（ＥＳ：Elementary Stream）データに、同図（ｂ）に示すようにＰＥＳヘッダ２を付加してパケット化エレメンタリ・ストリーム（ＰＥＳ：Packetized Elementary Stream）化し、さらに同図（ｃ）に示すように１８８バイト又は２０４バイト固定長のトランスポート・ストリーム（ＴＳ：Transport Stream）パケット毎にＴＳヘッダ３を付加しＴＳ化することにより行われる。

このＴＳ多重化の際、フレーム毎の画像ＥＳデータの最後がＴＳパケットのデータサイズに満たない場合、図２（ｃ）に示すように、アダプテーションフィールドのスタッフィングバイト５を挿入することにより１ＴＳパケットを構成する。

ここで、前述したように、従来は設定される画像ＴＳレート(Video_TS_rate)から画像符号化のＥＳ(Elementary Stream)レート(Video_ES_rate)を求めるには、ＰＥＳヘッダレート(PES_header_rate)と、ＴＳヘッダレート(TS_header_rate)と、ＴＳ多重化時に予想される図５（ｃ）に４で示す最大のスタッフィング発生レート(Max_stuffing_rate)を想定し、その分低くしている。

これに対し、本実施の形態では、設定される画像ＴＳレート(Video_TS_rate)から画像符号化のＥＳレート(Video_ES_rate)を求める際、ＰＥＳヘッダレート(PES_header_rate)とＴＳヘッダレート(TS_header_rate)のみを考慮し、ＴＳ多重化時に予想される最大のスタッフィング発生レート(Max_stuffing_rate)を想定しない。これを数式で表すと、次式のようになる。

Video_ES_rate＝Video_TS_rate−PES_header_rate−TS_header_rate
これにより、画像符号化装置は、最適なVideo_ES_rateで動作することになる。

すなわち、図１に示す本実施の形態の画像符号化装置では、画像信号に対して画像入力処理部１１により所定の入力処理を施した後、画像符号化処理部１２により図３（ａ）に示すように、ＭＰＥＧ方式により圧縮符号化して得た１画像フレームの圧縮符号化データである画像ＥＳデータ１毎に、更に後述する予測スタッフィングサイズ分のスタッフィング６を追加する。

従来の画像符号化処理は、図４（ａ）にステップＳ１で示すように、画像ＥＳレート(Video_ES_rate)をもとにレートコントロールが行われ、フレーム毎の予定発生符号量(Frame_data_size)が決まり、この予定発生符号量分の画像データを出力するようなフレーム毎の画像符号化処理が行われていた。

これに対し、図１の本実施の形態の画像符号化処理部１２では、図４（ｂ）にステップＳ１１で示すように、画像ＥＳレート(Video_ES_rate)をもとにレートコントロールが行われ、フレーム毎の予定発生符号量(Frame_data_size)が決まる点は従来と同じであるが、本実施の形態では、この予定発生符号量分をＴＳ多重化した場合の予測スタッフィングサイズ(Frame_stuffing_size)を、予定発生符号量(Frame_data_size)から差し引いた
Frame_data_size−Frame_stuffing_size
分の画像データを出力するようなフレーム毎の画像符号化処理を行う。

ここで、１ＴＳパケットに入る固定長のデータサイズは（TS_packet_size−TS_header_size）であり（これをＡとする）、１フレーム単位のＰＥＳヘッダを含んだデータサイズ(Frame_data_size＋PES_header_size)をＢとすると、ＢをＴＳパケット化した際の最後のＴＳパケットのデータサイズは、ＢをＡで割った余りＣであるので、
Ｃ＝Ｂ％Ａ
と表される（％はＣ言語におけるモジュロ演算を示す）。従って、最後のＴＳパケットのデータ部分の余りのサイズは、
Ｄ＝Ａ−Ｃ
と表され、この部分が追加のスタッフィングサイズとなる。従って、上記の追加のスタッフィングサイズＤである予測スタッフィングサイズ(Frame_stuffing_size)は、
Frame_stuffing_size＝TS_packet_size−TS_header_size−
((Frame_data_size＋PES_header_size)％(TS_packet_size−TS_header_size))
となる。

続いて、画像符号化処理部１２は、図４（ｂ）にステップＳ１２で示すように、フレーム毎の追加スタッフィング処理にて、上式で求めた予測スタッフィングサイズ(Frame_stuffing_size)分のスタッフィングを付加する。

上記のようにして、図１の画像符号化処理部１２により図３（ａ）に示すように、上記の予測スタッフィングサイズ(Frame_stuffing_size)分のスタッフィング６が追加された画像ＥＳデータ１は、ＰＥＳ化処理部１３で図３（ｂ）に示すようにＰＥＳヘッダ２が付加されてＰＥＳ化された後、ＴＳ多重化処理部１４に供給され、固定長のＴＳパケット毎にＴＳヘッダ３を付加しＴＳ化することにより行われる。ここで、ＴＳパケットの一つには追加のスタッフィング６が付加されている。

これにより、画像符号化処理時に最低限のスタッフィングを含んだ最適なＥＳレートで動作するとともに、ＴＳ多重化時にスタッフィングが発生しなくなることから効率の良いＴＳ多重化を行うことが可能となる。

本実施の形態によれば、従来、画像ＴＳレートから画像符号化のＥＳレートを求める際に考慮していた画像データのＴＳ多重化時に予想される最大のスタッフィング発生レート(Max_stuffing_rate)を考慮する必要がなくなるため、その分を画像符号化のＥＳレートに割り当てることができるようになる。但し、従来の画像データのＴＳ多重化時に発生するスタッフィングが画像符号化時の画像データのスタッフィング(Video_stuffing_rate)になることを考慮すると、実質のＥＳレート向上分(Effect_video_ES_rate)は、
Effect_video_ES_rate＝Max_stuffing_rate−Video_stuffing_rate
となる。

また、画像符号化時の画像データのスタッフィング(Video_stuffing_rate)は、平均すると、画像データのＴＳ多重化時に予想される最大のスタッフィング発生レート(Max_stuffing_rate)の１／２倍程度となるため、実質のＥＳレート向上分(Effect_video_ES_rate)は、
Effect_video_ES_rate≒Max_stuffing_rate／２
に換算できる。

具体的には、ＴＳパケットサイズ＝１８８バイトの場合の実質のＥＳレート向上分(Effect_video_ES_rate)は、1080iフォーマットの画像データでは
Effect_video_ES_rate＝((188-4)×8×29.97)／２≒22057bps
であり、720Pフォーマットの画像データでは
Effect_video_ES_rate＝((188-4)×8×59.94)／２≒44115bps
である。

本発明の画像符号化装置の一実施の形態のブロック図である。 ＭＰＥＧ２−ＴＳの画像データの一般的な多重化時の信号の模式図である。 図１の動作説明用の信号の模式図である。 従来の一例のＴＳ多重化と本発明方法の一実施の形態のＴＳ多重化説明用フローチャートである。 従来の画像データのＴＳ多重化方法の説明用信号模式図である。

符号の説明

１ 画像ＥＳデータ
２ ＰＥＳヘッダ
３ ＴＳヘッダ
６ 追加スタッフィング
１１ 画像入力処理部
１２ 画像符号化処理部
１３ ＰＥＳ化処理部
１４ ＴＳ多重化処理部

Claims (2)

1. ＭＰＥＧ方式により画像信号を圧縮符号化して得られる所定期間毎の画像ＥＳデータに、第１のヘッダを付加して第１のストリームとし、この第１のストリームを各々第２のヘッダを含む所定の固定長の複数のＴＳパケットからなるＴＳ多重化を行って第２のストリームを出力する画像符号化装置において、
   前記画像ＥＳデータのレートをもとに求められる前記所定期間毎の予定発生符号量から、前記ＴＳ多重化した際の予測スタッフィングサイズを差し引いた符号量の画像データを出力する符号化処理を行う符号化処理手段と、
   前記符号化処理手段により符号化処理された画像データに、前記予測スタッフィングサイズ分のスタッフィングを付加して前記所定期間毎の画像ＥＳデータとして出力するスタッフィング処理手段と
   を具備したことを特徴とする画像符号化装置。
2. ＭＰＥＧ方式により画像信号を圧縮符号化して得られる所定期間毎の画像ＥＳデータに、第１のヘッダを付加して第１のストリームとし、この第１のストリームを各々第２のヘッダを含む所定の固定長の複数のＴＳパケットからなるＴＳ多重化を行って第２のストリームを出力する画像符号化方法において、
   前記画像ＥＳデータのレートをもとに求められる前記所定期間毎の予定発生符号量から、前記ＴＳ多重化した際の予測スタッフィングサイズを差し引いた符号量の画像データを出力する符号化処理を行う第１のステップと、
   前記第１のステップにより符号化処理された画像データに、前記予測スタッフィングサイズ分のスタッフィングを付加して前記所定期間毎の画像ＥＳデータとして出力する第２のステップと
   を含むことを特徴とする画像符号化方法。
   
   

Images