JP3933483B2 - 画像符号化方法及び画像復号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を符号化し通信回線を介して他の装置へ伝送する画像符号化方法、及び、伝送された符号化データを復号し元の画像情報を復元する画像復号化方法に関し、特に、無線通信網等、伝送誤り率の高い環境で符号化データの通信を行う画像符号化方法及び画像復号化方法に関するものである。
【０００２】
【従来の技術】
近年、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）やディジタルセルラー等の無線通信網を利用した画像通信サービスが期待され、実用化が進められつつある。
【０００３】
現状では、これらの無線通信網は伝送容量が大きくないため、音声、画像など情報量の多いマルチメディア情報を伝送する際には、符号化することによって伝送するデータ量を削減する。
【０００４】
ところで、無線通信での問題点の一つに伝送誤り率の高いことが挙げられる。上記のように符号化したデータは、元の情報から様々な冗長度を削減しているため、ビットあたりの情報量が符号化前のデータに比べて大きく、伝送中に生じた少量の誤りが復元後の品質に対して重大な影響を与える可能性がある。従って、これらの無線通信網を利用した画像通信においては、この伝送誤りによる情報の品質の劣化を防ぐための対策が非常に重要である。
【０００５】
図４に従来の画像通信で用いられている符号化器と復号化器とを備えたシステムの構成を示す。入力画像信号４１は、情報源符号化部４２で符号化されデータ量を削減される。符号化された画像データ４３は、送信制御部４４へ送られ、通信回線の伝送速度に従って符号化データ４５として順次送信される。
【０００６】
一方、通信回線から受信した符号化データ４５は、受信制御部４６に格納され、この受信制御部４６から符号化信号４７として符号化された単位毎に順次情報源復号部４８へ送られる。そして、この情報源復号化部４８で復号され、画像信号４９として出力される。
【０００７】
以下に、図４における符号化器（以下の説明では符号化装置と称す）の動作について、図４及び図５を参照しながら説明する。図５に図４の情報源符号化部４２の構成例を示す。
【０００８】
図５に示すように、入力画像信号４１は、そのまま、または前フレームの符号化再生信号との差分が変換／量子化部５１に送られる。変換／量子化部５１で画像信号の空間的な冗長度の除去を行い、その符号化信号４３を外部のバッファなどへ送信すると共に、逆量子化／逆変換部５２へ送る。
【０００９】
逆量子化／逆変換部５２では、前記変換／量子化部５１と逆の処理を行い復号化差分信号５３を生成する。復号化差分信号５３は、フレームメモリ５４に蓄積されている前フレームの復元信号５５と加算され、新たにフレームメモリ５４に格納される。
【００１０】
フレームメモリ５４に格納された復元画像信号５５は、次のフレームの入力画像信号４１との差分をとることで、時間的な冗長度の削減に使用される。
【００１１】
また、図４に示すように、情報源符号化部４２からの符号化信号４３は送信制御部４４に送られる。送信制御部４４では、符号化の条件等を示すヘッダ情報を符号化信号に付加し、通信回線の送信速度に合わせてバッファリングを行い順次送信する。
【００１２】
次に、図４における復号化器（以下の説明では復号化装置と称す）の動作について、図４及び図６を参照して説明する。図４に示すように、受信した符号化データ列は、受信制御部４６でヘッダ情報と画像情報とに分割され、画像情報は情報源復号化部４８へ送られる。
【００１３】
図６にこの情報源復号化部４８の構成例を示す。受信した画像情報の符号化信号４７は、逆量子化／逆変換部６１で復号される。ここで生成された復号化差分信号６２は、フレームメモリ６３に蓄積されている前フレームの復元信号６４と加算され新たにフレームメモリに格納されると共に、外部へ送信される。この出力信号４９が、復元された画像信号である。
【００１４】
前述のように、画像信号は送信データ量を削減するために符号化されて送信されるが、さらに符号化の効率を上げるため通常可変長符号化される。可変長符号化されると、符号化データ量は例えば画像のフレーム毎にそれぞれ異なり一定にはならない。
【００１５】
そこで、復号化装置側で画像フレームの開始位置等の判断を行うために、符号化装置側で符号化データ列中に同期ワードを挿入する。この同期ワードは、固定パターンであり他の画像情報の符号とは一致することのないユニークなコードが割り付けられ、検出のミスが無いように配慮されている。
【００１６】
この同期ワードがあることで、復号化装置は連続して受信する符号化データ列の中から画像情報の境界を判断することが可能になり、正しく画像信号を復元することができる。
【００１７】
ところで、画像信号の符号化を行う場合、符号化処理の遅延を低減するため、画像信号はブロック単位に分割して処理を行う。そのブロックの分割単位を図７に示す。画像の１フレームはいくつかのＧＯＢ（グループオブブロック）に分割される。ＧＯＢはさらにいくつかの１６画素×１６ライン単位のマクロブロックに分割される。
【００１８】
マクロブロックは、４つの輝度信号ブロックと２つの色差信号ブロックとに分割される。それぞれのブロックは８画素×８ラインのサイズである。なお、水平方向に１列分のマクロブロックの集合を指して、マクロブロックラインと呼ぶこともある。図７の場合は、１ＧＯＢが１マクロブロックラインに相当する。
【００１９】
符号化されたこれらのデータは、画像フレームの左上から右下へ向かってＧＯＢ単位に、ＧＯＢ内はマクロブロック単位に、マクロブロック内はブロック単位に、順次送信される。
【００２０】
この時、フレームの先頭及び各ＧＯＢの先頭毎に同期ワードを挿入し、復号化装置側でフレームとＧＯＢの位置が特定できるようになっている。マクロブロックとブロックとは、ＧＯＢのヘッダに続くマクロブロックのヘッダとブロック内のデータによって識別を行う。
【００２１】
このように、同期ワードを設定しているため、復号化装置側でそのパターンをサーチしていれば、途中で符号化データ内にエラーがあっても必ずＧＯＢの先頭で同期がとれるため、エラーの影響を後に波及させないようにすることができる。
【００２２】
【発明が解決しようとする課題】
しかしながら、復号化装置側では確実に同期をとるために常に同期ワードのサーチを行う必要があり、その分処理のオーバーヘッドが増すことになる。さらに、伝送誤りなどで、本来フレームやＧＯＢの先頭でないにもかかわらず、たまたま同じパターンが現れてしまったり、同期ワード自体に誤りが生じて別の符号として認識されてしまうような可能性があり、そのような場合は、その後の符号の復号に影響が及んでしまい、復元画像の甚だしい劣化を引き起こす結果になる。
【００２３】
本発明は、上記問題に鑑みてなされたものであり、符号化データの伝送中に誤りが生じた場合に、復号化装置側で誤りの検出を容易にし、復元画像への影響を軽減することが可能な画像符号化方法及び画像復号化方法を提供するものである。
【００２４】
【課題を解決するための手段】
本願の第１の発明は、入力された画像信号と前フレームの信号との差分を算出する差分算出ステップと、前記画像信号または前記差分を変換および量子化する変換／量子化ステップと、変換および量子化された画像信号を逆量子化および逆変換する逆量子化／逆変換ステップと、逆量子化および逆変換された画像信号を前フレームの復元信号と加算するステップと、加算された画像信号をフレームメモリに蓄積する蓄積ステップと、前記フレームメモリに蓄積された画像信号を入力画像信号の前フレームの信号として読み出す読み出しステップと、前記変換および量子化された画像信号の可変長符号化を行って符号化データを生成する可変長符号化ステップと、前記符号化データ中のマクロブロックの境界位置に、画像情報の境界を示す同期ワードを挿入する同期ワード挿入ステップと、入力された前記画像信号のフォーマット及びフレームレートに応じて、前記符号化データのビット数で表されるデータ長を決定するデータ長決定ステップを有し、前記同期ワードを挿入する前記マクロブロックの境界位置を、前記データ長より前の位置に定めることを特徴とする。
【００２６】
本願の第２の発明は、画像情報の境界を示す同期ワードを含む符号化データを受信する受信ステップと、前記符号化データ中のマクロブロックの境界位置に挿入されている、同期ワードを検出する同期ワード検出ステップと、前記符号化データに対応する画像信号のフォーマット及びフレームレートに応じて、前記符号化データのビット数で表されるデータ長を判定するデータ長判定ステップと、前記符号化データを可変長復号して符号化データを画像信号に復元する可変長復号化ステップと、可変長復号された画像信号を逆量子化および逆変換する逆量子化／逆変換ステップと、逆量子化および逆変換された画像信号を前フレームの復元信号と加算するステップと、逆量子化および逆変換された画像信号そのままもしくは、前フレームの復元信号と加算された画像信号をフレームメモリに蓄積する蓄積ステップと、前記フレームメモリに蓄積された画像信号を受信符号化データに対応する画像信号の前フレームの復元信号として読み出す読み出しステップを有し、前記同期ワード検出ステップにおいて、前記符号化データ中の、前記データ長より前の位置のマクロブロックの境界位置に挿入されている前記同期ワードを検出すると共に、前記データ長より前の位置で前記同期ワードを検出できなかった場合には伝送エラーが発生していると判定することを特徴とする。
【００２８】
【発明の実施の形態】
以下に、本発明の一実施形態について、図面を参照しながら説明する。なお、以下の説明において、上記した従来例と同一部分には、同一符号を付して説明する。また、以下の説明において、符号化装置及び復号化装置とは、それぞれ単独に存在するものばかりでなく、一つの符号化システムに備えられる符号化器及び復号化器も含むものとする。
【００２９】
図１は本発明による符号化装置の構成を示すブロック図である。１０は符号化制御部、１１は同期ワード挿入間隔選択部、１２は同期ワード挿入部、４２は情報源符号化部、４４は送信制御部である。
【００３０】
上記符号化装置において、符号化データの送信開始時に、同期ワード挿入間隔選択部１１は、入力画像信号のフォーマットとフレームレート及び通信回線の送信速度から、１マクロブロックライン分のおおよそのデータ長Ｎを決定し、同期ワード挿入部１２に通知する。
【００３１】
この時、決定するデータ長Ｎは、予め統計的に求めておいたものをテーブルに保存しておいても良いし、符号化の条件が決定した時に算出することも可能である。算出に必要な条件は、通信開始時に復号化装置側へも送信しておく。
【００３２】
データ長Ｎを通知された同期ワード挿入部１２は、各同期ワードの先頭からデータ長のカウントを開始し、データ長Ｎだけ経過した位置の前後で最も近傍のマクロブロックの先頭位置に同期ワードを挿入する。
【００３３】
ここで、同期ワードを挿入する位置は、各同期ワードからデータ長Ｎが経過した後最初に現れるマクロブロックの先頭か、または各同期ワードからデータ長Ｎの範囲内で最後に現れるマクロブロックの先頭のどちらかに決定する。
【００３４】
図２に本発明による復号化装置の構成図を示す。２０は復号化制御部、２１は同期ワード検出部、２２は同期ワード挿入間隔判定部、４６は受信制御部、４８は情報源復号化部である。
【００３５】
この復号化装置において、同期ワード挿入間隔判定部２２は、通信回線の伝送速度と受信した符号化データから１マクロブロックラインのおよその長さのデータ長Ｎを決定し、同期ワード検出部２１へ通知する。
【００３６】
このとき決定するデータ長Ｎは、予め統計的に求めておいたものをテーブルに保存しておいても良いし、通信先の符号化装置から通知された符号化の条件から算出することも可能であるが、いずれにしても、符号化装置側の同期ワード挿入間隔選択部１１と同一のアルゴリズムを採用する。
【００３７】
データ長Ｎを通知された同期ワード検出部２１は、各同期ワードの先頭からデータ長のカウントを開始し、データ長Ｎだけ経過した時から、正方向または逆方向に同期ワードの検索を開始する。
【００３８】
正方向と逆方向のどちらにサーチを開始するかは、符号化装置の動作と合わせて予め定めておいても良いし、両方向にサーチしてデータ長Ｎの位置からより近い位置に現れた同期ワードを採用することも可能である。
【００３９】
この復号化装置において、同期ワードが上記の位置に検出できなかった場合は伝送エラーが起きている状態と考えられるが、この時、復号化装置は、同期ワードの出現が予想される前後のマクロブロックを復号に使用しないことで、伝送エラーの復元画像に与える影響を軽減させることが可能である。
【００４０】
図３に上記符号化装置による符号化データ列の一例を示す。ＰＳＣ３１は、フレームの先頭を示すピクチャスタートコードである。ＳＹＮＣ３２は、同期ワードで、各同期ワード間の距離はＮ±α（α＝１マクロブロック分以内のデータ長）となっている。
【００４１】
以上のように、上記符号化装置によれば、同期ワード挿入間隔選択部１１は、通信回線の送信速度と入力画像信号の条件から適切な同期ワードのデータ長間隔を決定し、同期ワード挿入部１２に通知する。同期ワード挿入部１２は、符号化データのデータ長をカウントするとともに、前記同期ワード挿入間隔選択部１１から通知されたデータ長Ｎに従って同期ワードを挿入する。
【００４２】
このとき、データ長Ｎは一応の目安であり、実際に同期ワードを挿入する位置はマクロブロックの先頭とする。同期ワード挿入の位置をデータ長Ｎより後にするか前にするかは、予め決定しておくか、よりデータ長Ｎから近い方に決定するという条件を定めておくものとする。
【００４３】
また、上記復号化装置によれば、同期ワード挿入間隔判定部２２は、前記同期ワード挿入間隔選択部１１と同様のアルゴリズムで同期ワードのデータ長間隔を決定し、同期ワード検出部２１に通知する。同期ワード検出部２１は、符号化データのデータ長をカウントするとともに、前記同期ワード挿入間隔判定部２２から通知されたデータ長Ｎに従って、同期ワードの検出を実施する。
【００４４】
【発明の効果】
以上のように、本発明の画像符号化方法及び画像復号化方法によれば、符号化データ列中に同期ワードを半固定の間隔で、かつ必ずマクロブロックの境界位置に挿入することで、従来のブロック単位の処理手順は変えることなく、復号化装置側での同期ワードの位置の特定が容易になり、伝送エラーによる同期ワードの誤検出を減少させることができるとともに、その結果、伝送エラーによる復元画像の劣化を軽減することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像符号化装置の一実施形態を示すブロック図である。
【図２】本発明に係る画像復号化装置の一実施形態を示すブロック図である。
【図３】本発明に係る画像符号化装置の一実施形態による符号化データ列の構成を説明するための概念図である。
【図４】従来の符号化装置及び復号化装置の構成を示すブロック図である。
【図５】符号化装置における情報源符号化部の構成を示すブロック図である。
【図６】復号化装置における情報源復号化部の構成を示すブロック図である。
【図７】画像信号の符号化ブロックの構成を説明するための概念図である。
【符号の説明】
１１ 同期ワード挿入間隔選択部
１２ 同期ワード挿入部
２１ 同期ワード検出部
２２ 同期ワード挿入間隔判定部
３２ 同期ワード

Claims (2)

1. 入力された画像信号と前フレームの信号との差分を算出する差分算出ステップと、前記画像信号または前記差分を変換および量子化する変換／量子化ステップと、変換および量子化された画像信号を逆量子化および逆変換する逆量子化／逆変換ステップと、逆量子化および逆変換された画像信号を前フレームの復元信号と加算するステップと、加算された画像信号をフレームメモリに蓄積する蓄積ステップと、前記フレームメモリに蓄積された画像信号を入力画像信号の前フレームの信号として読み出す読み出しステップと、前記変換および量子化された画像信号の可変長符号化を行って符号化データを生成する可変長符号化ステップと、前記符号化データ中のマクロブロックの境界位置に、画像情報の境界を示す同期ワードを挿入する同期ワード挿入ステップと、入力された前記画像信号のフォーマット及びフレームレートに応じて、前記符号化データのビット数で表されるデータ長を決定するデータ長決定ステップを有し、前記同期ワードを挿入する前記マクロブロックの境界位置を、前記データ長より前の位置に定めることを特徴とする画像符号化方法。
2. 画像情報の境界を示す同期ワードを含む符号化データを受信する受信ステップと、前記符号化データ中のマクロブロックの境界位置に挿入されている、同期ワードを検出する同期ワード検出ステップと、前記符号化データに対応する画像信号のフォーマット及びフレームレートに応じて、前記符号化データのビット数で表されるデータ長を判定するデータ長判定ステップと、前記符号化データを可変長復号して符号化データを画像信号に復元する可変長復号化ステップと、可変長復号された画像信号を逆量子化および逆変換する逆量子化／逆変換ステップと、逆量子化および逆変換された画像信号を前フレームの復元信号と加算するステップと、逆量子化および逆変換された画像信号そのままもしくは、前フレームの復元信号と加算された画像信号をフレームメモリに蓄積する蓄積ステップと、前記フレームメモリに蓄積された画像信号を受信符号化データに対応する画像信号の前フレームの復元信号として読み出す読み出しステップを有し、前記同期ワード検出ステップにおいて、前記符号化データ中の、前記データ長より前の位置のマクロブロックの境界位置に挿入されている前記同期ワードを検出すると共に、前記データ長より前の位置で前記同期ワードを検出できなかった場合には伝送エラーが発生していると判定することを特徴とする画像復号化方法。

Images