JP2013009272A - 画像符号化装置、方法及びプログラム、並びに、画像復号化装置、方法及びプログラム - Google Patents

Abstract

【課題】効率よく符号化を行なうことができる画像符号化装置、方法及びプログラム、並びに、画像復号化装置、方法及びプログラムを提供する。
【解決手段】実施形態の画像符号化装置において、変換部は、画像を周波数変換して変換係数を得る。抽出部は、変換係数について、複数ビットずつ抽出する。符号化部は、少なくとも最上位の複数ビットを可変長符号化し、少なくとも最下位の複数ビットを固定長符号化する。実施形態の画像復号化装置において、抽出部は、取得した符号列について、複数ビットずつ抽出する。復号化部は、少なくとも最上位の前記複数ビットを可変長復号化し、少なくとも最下位の前記複数ビットを固定長復号化する。結合部は、復号された複数ビットを結合して、変換係数を得る。逆変換部は、変換係数を周波数逆変換して画像を生成する。
【選択図】図１

Description

本発明の実施形態は、画像符号化装置、方法及びプログラム、並びに、画像復号化装置、方法及びプログラムに関する。

従来のＳＮＲスケーラブルな画像符号化方法には、画像を周波数変換して得た変換係数を、１ビット毎のビットプレーンに分割し、ビットプレーン毎に算術符号化を行うものがある。しかしながら、このような画像符号化方法では、ビットプレーン毎に算術符号化を行うため、処理量が多いという課題がある。

また、他の従来の画像符号化方法には、画像を周波数変換して得た変換係数を上位ビットと下位ビットとに２分割し、下位ビットを符号化せず、上位ビットを符号化するものがある。しかしながら、このような画像符号化方法では、当該変換係数の上位ビットのみを符号化するため、符号化効率が低いという課題がある。

特開２００９−２５３４７1号公報

J. M. Shapiro, "Embedded image coding using zerotrees of wavelets coefficients", IEEE Trans. Signal Processing, vol.41, pp.3445-3462, 1993

発明が解決しようとする課題は、効率よく符号化を行なうことができる画像符号化装置、方法及びプログラム、並びに、画像復号化装置、方法及びプログラムを提供することである。

上記課題を解決するために、本発明の実施形態に係る画像符号化装置は、変換部と、抽出部と、符号化部とを備える。

変換部は、画像を周波数変換して変換係数を得る。抽出部は、前記変換係数について、複数ビットずつ抽出する。符号化部は、少なくとも最上位の前記複数ビットを可変長符号化し、少なくとも最下位の前記複数ビットを固定長符号化する。

また、本発明の他の実施形態に係る画像復号化装置は、抽出部と、復号化部と、結合部と、逆変換部とを備える。

抽出部は、取得した符号列について、複数ビットずつ抽出する。復号化部は、少なくとも最上位の前記複数ビットを可変長復号化し、少なくとも最下位の前記複数ビットを固定長復号化する。結合部は、復号された前記複数ビットを結合して、変換係数を得る。逆変換部は、前記変換係数を周波数逆変換して画像を生成する。

第１の実施形態に係る画像符号化装置１を表すブロック図。 画像符号化装置１の処理を表すフローチャート。 画像符号化装置１の変形例の処理を表すフローチャート。 変換係数の一例図。 第２の実施形態に係る画像復号化装置２を表すブロック図。 画像復号化装置２の処理を表すフローチャート。

（第１の実施形態）
第１の実施形態に係る画像符号化装置１は、入力画像を符号化した符号列を生成するものである。画像符号化装置１は、例えば、シンクライアントシステムにおける画像伝送等に好適である。

画像符号化装置１は、入力画像を周波数変換し、成分ごとにＮビットの変換係数を得る。画像符号化装置１は、Ｎビットの変換係数の各々について、上位ビット側から、複数ビットずつ順に抽出する。画像符号化装置１は、抽出した複数ビットが、所定のビット位置（Ｔビット目）から上位位置の場合、当該複数ビットを可変長符号化する。画像符号化装置１は、抽出した複数ビットが、所定のビット位置（Ｔビット目）から下位位置の場合、当該複数ビットを固定長符号化する。これにより、画像符号化装置１は、入力画像を符号化した符号列を生成する。

図１は、画像符号化装置１を表すブロック図である。画像符号化装置１は、取得部１１と、変換部１２と、抽出部１３と、符号化部１４と、出力部１５とを備える。符号化部１４は、可変長符号化部１４１と、固定長符号化部１４２とを含む。

取得部１１は、入力画像を取得する。入力画像は、動画像におけるフレーム画像でも、静止画像であっても構わない。

変換部１２は、入力画像を周波数変換し、成分ごとにＮビットの変換係数を得る。ここで、周波数変換とは、離散ウェーブレット変換（ＤＷＴ）や離散コサイン変換（ＤＣＴ）等の直交変換であってよい。

抽出部１３は、Ｎビットの変換係数の各々について、最上位ビット（ＭＳＢ）側から、複数ビットずつ順に抽出する。抽出部１３は、抽出した複数ビットが、所定のビット位置（Ｔビット目）から上位位置である場合、当該複数ビットを可変長符号化部１４１に供給する。抽出部１３は、抽出した複数ビットが、所定のビット位置（Ｔビット目）から下位位置である場合、当該複数ビットを固定長符号化部１４２に供給する。

可変長符号化部１４１は、供給された複数ビットを可変長符号化し、複数ビットごとに第１符号列を生成する。固定長符号化部１４２は、供給された複数ビットを固定長符号化し、複数ビットごとに第２符号列を生成する。

出力部１５は、第１符号列と第２符号列とを結合した符号列を出力する。

入力部１１と、変換部１２と、抽出部１３と、符号化部１４と、出力部１５とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。

図２は、画像符号化装置１の処理を表すフローチャートである。取得部１１は、入力画像を取得する（Ｓ１０１）。取得部１１は、取得した入力画像を変換部１２に供給する。変換部１２は、入力画像を周波数変換し、画素ごとにＮビットの変換係数を得る（Ｓ１０２）。

図３は、変換係数の一例図である。例えば、変換係数「＋６４」は、ＭＳＢ側から「０１００００００」（符合：＋）というビット列で表わされる。変換部１２は、変換係数を抽出部１３に供給する。

抽出部１３は、現在の変換係数のＭＳＢのビット位置ｎ（初めはｎ＝Ｎ）を求める（Ｓ１０３）。なお、抽出部１３は、記憶部（不図示）に変換係数を保持しておくのが望ましい。抽出部１３は、符号化済みでないビットがあるか否かを判定する（Ｓ１０４）。すなわち、現在の変換係数のＭＳＢのビット位置ｎが０より大きいか否かを判定する。

現在の変換係数のＭＳＢのビット位置ｎが０より大きい場合（ステップＳ１０４：ＹＥＳ）、抽出部１３は、変換係数のＭＳＢ側から、ｋビット（ｋは２以上の整数）を抽出する（Ｓ１０５）。

抽出部１３は、抽出したｋビットが、Ｔビット目から上位位置であるか否かを判定する（Ｓ１０６）。抽出したｋビットが、Ｔビット目から上位位置である場合（ステップＳ１０４：ＹＥＳ）、抽出部１３は、当該ｋビットを可変長符号化部１４１に供給する。可変長符号化部１４１は、供給されたｋビットを可変長符号化し、第１符号列を生成する（Ｓ１０７）。可変長符号化は、例えば、ハフマン符号化やランレングス符号化等であってよい。抽出したｋビットが、Ｔビット目から下位位置である場合（ステップＳ１０４：ＮＯ）、抽出部１３は、当該ｋビットを固定長符号化部１４２に供給する。固定長符号化部１４２は、供給されたｋビットを固定長符号化し、第２符号列を生成する（Ｓ１０８）。

抽出部１３は、ｋビットを抽出後における変換係数のＭＳＢのビット位置ｎを求める（Ｓ１０９）。すなわち、抽出部１３は、（ｎ−ｋ）を計算し、新たなｎを求める。そして、ステップＳ１０４に遷移する。

ステップＳ１０４において、現在の変換係数のＭＳＢのビット位置ｎが０である場合（ステップＳ１０４：ＮＯ）、出力部１５は、符号列を出力し（Ｓ１１０）、処理を終了する。

以下に、変換係数「＋１５６（１００１１１００、符号＋）」の符号化の処理について、Ｎ＝７、Ｔ＝４、ｋ＝２である場合について説明する。

１巡目のステップＳ１０４の判定において、ｎ＝７＞０であるため、ステップＳ１０５に遷移する。ステップＳ１０５において、抽出部１３は、変換係数「＋１５６」における７ビット目及び６ビット目の２ビット「１０」を抽出する。ステップＳ１０６の判定において、ｎ＝７、Ｔ＝４であるため、ステップＳ１０７に遷移する。ステップＳ１０９において、抽出部１３は、（７−２）を計算し、新たにｎを５と求める。

２巡目のステップＳ１０４の判定において、ｎ＝５＞０であるため、ステップＳ１０５に遷移する。ステップＳ１０５において、抽出部１３は、変換係数「＋１５６」における５ビット目及び４ビット目の２ビット「０１」を抽出する。ステップＳ１０６の判定において、ｎ＝５、Ｔ＝４であるため、ステップＳ１０７に遷移する。ステップＳ１０９において、抽出部１３は、（５−２）を計算し、新たにｎを３と求める。

３巡目のステップＳ１０４の判定において、ｎ＝３＞０であるため、ステップＳ１０５に遷移する。ステップＳ１０５において、抽出部１３は、変換係数「＋１５６」における３ビット目及び２ビット目の２ビット「１１」を抽出する。ステップＳ１０６の判定において、ｎ＝３、Ｔ＝４であるため、ステップＳ１０８に遷移する。ステップＳ１０９において、抽出部１３は、（３−２）を計算し、新たにｎを１と求める。

４巡目のステップＳ１０４の判定において、ｎ＝１＞０であるため、ステップＳ１０５に遷移する。ステップＳ１０５において、抽出部１３は、変換係数「＋１５６」における１ビット目及び０ビット目の２ビット「００」を抽出する。ステップＳ１０６の判定において、ｎ＝１、Ｔ＝４であるため、ステップＳ１０８に遷移する。ステップＳ１０９において、抽出部１３は、（１−２）を計算し、新たにｎを−１と求める。

５巡目のステップＳ１０４の判定において、ｎ＝−１＜０であるため、ステップＳ１１０に遷移する。これにより、変換係数「＋１５６」の符号列が生成される。

以上、画像符号化装置１の処理について説明した。

なお、出力部１５は、画像復号化装置２（後述）に符号列を出力する場合、変換係数のＭＳＢのビット位置Ｎの情報を符号列に付加して、画像復号化装置２（後述）に出力してよい。あるいは、当該ビット位置Ｎは、固定値に設定されていてもよい。

また、出力部１５は、画像復号化装置２（後述）に符号列を出力する場合、所定のビット位置（Ｔビット目）の情報を符号列に付加して、画像復号化装置２（後述）に出力してよい。

本実施形態によれば、複数ビットをまとめてエントロピー符号化を行うことにより、処理量を減らすことができ、かつ、スケーラビリティの低下を抑制することができる。

また、上位側の複数ビットに対して、算術符号化よりも処理量の少ない可変長符号化を行うことにより、符号化効率を維持しつつ処理量を減らすことができる。すなわち、ＭＳＢ側のビットでは各信号値の発生頻度の偏りが大きいため、ハフマン符号等の可変長符号化を用いることにより、効率の良い符号化を行なえる。一方、ＬＳＢ側のビットは各信号値の発生頻度の偏りが小さいため、エントロピー符号化による符号化効率の改善が期待できないので、固定長符号化を用いる。これにより、処理量をさらに減らすことができる。

なお、ステップＳ１０５において、抽出部１３が一度に抽出するビット数ｋは、常に同じでなくても構わない。例えば、抽出部１３は、変換係数が「０」〜「７」の８ビットである場合、１巡目には３ビット（ｋ＝３）を抽出し、２巡目には３ビット（ｋ＝３）を抽出し、３巡目には２ビット（ｋ＝２）を抽出してもよい。すなわち、抽出部１３は、ＭＳＢ側よりもＬＳＢ側で、少ないビットを抽出する。この場合、抽出部１３は、ステップＳ１０３で、変換係数のＭＳＢのビット位置ｎ（＝Ｎ）を求めた際に、各巡において抽出するビット数ｋを求めておくのが望ましい。これにより、圧縮率を高めつつ、処理量を抑制することができる。

（変形例）
有効なビットの桁数が、抽出するビット数(固定値)の倍数でない場合、抽出部１３は、以下のいずれかの処理を行うのが望ましい。

（１）図４は、本変形例の画像符号化装置１の処理を表すフローチャートである。本変形例では、ステップＳ１０３の後に、ステップＳ１１１が加わる。ステップＳ１１１において、抽出部１３は、最上位ビットを抽出ビット数の倍数に切り上げる（Ｓ１１１）。この際、抽出部１３は、切り上げられた桁の値は０にする。例えば、最上位ビットが、「６」で、２ビットずつ抽出する場合、抽出部１３は、最上位ビットを「７」に切り上げて、７〜６、５〜４、３〜２、１〜０ビットの順に抽出する。

（２）抽出部１３は、上述のように、抽出するビット数を途中で変更する。例えば、最上位ビットが「６」の場合、抽出部１３は、上位ビットを抽出する際のビット数を増やし、６〜４、３〜２、１〜０ビットのように、３ビット、２ビット、２ビットの順に抽出する。あるいは、抽出部１３は、下位ビットを抽出する際のビット数を減らし、６〜５、４〜３、２〜１、０ビットの様に、２ビット、２ビット、２ビット、１ビットの順に抽出する。

また、上述の可変長符号化及び固定長符号化は、非ゼロの値が存在しない領域をゼロツリーやクアッドツリー等を用いて除外した後の、非ゼロの値を含む領域に対して適応しても構わない。

（第２の実施形態）
第２の実施形態に係る画像復号化装置２は、入力された符号列を復号した画像を生成するものである。画像復号化装置２は、画像符号化装置１により生成された符号列を復号した画像を生成してよい。

図５は、画像復号化装置２を表すブロック図である。画像復号化装置２は、取得部２０と、抽出部２１と、復号化部２２と、結合部２３と、逆変換部２４と、出力部２５とを備える。復号化部２２は、可変長復号化部２２１と、固定長復号化部２２２とを含む。

取得部２０は、符号列を取得する。なお、取得部２０は、記憶部（不図示）に符号列を保持しておくのが望ましい。

抽出部２１は、取得された符号列において、変換係数のＭＳＢ側に対応するビットから、複数ビットずつ順に復号化部２２に抽出する。このとき、抽出部２１は、抽出する複数ビットが、所定のビット位置（Ｔビット目）から上位位置である場合、当該複数ビットを可変長復号化部２２１に供給する。抽出部２１は、抽出する複数ビットが、所定のビット位置（Ｔビット目）から下位位置である場合、当該複数ビットを固定長復号化部２２２に供給する。

可変長復号化部２２１は、供給された複数ビットを可変長復号化し、複数ビットごとに第１データを生成する。固定長復号化部２２２は、供給された複数ビットを固定長復号化し、複数ビットごとに第２データを生成する。

結合部２３は、第１データと第２データとを結合し、変換係数を得る。逆変換部２４は、変換係数を周波数逆変換し、画像を生成する。ここで、周波数逆変換とは、逆離散ウェーブレット変換（ＩＤＷＴ）や逆離散コサイン変換（ＩＤＣＴ）等の逆直交変換であってよい。なお、画像符号化装置１により生成された符号列を復号する場合、逆変換部２４は、変換部１２での周波数変化の逆変換を行なうのが望ましい。

出力部２５は、生成された画像を、例えば表示ディスプレイ（不図示）や、メモリ（不図示）等に出力する。

取得部２０と、抽出部２１と、復号化部２２と、結合部２３と、逆変換部２４と、出力部２５とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。

以上、画像復号化装置２の構成について説明した。

図６は、画像復号化装置２の処理を表すフローチャートである。取得部２０は、符号列を取得する（Ｓ２０１）。抽出部２１は、現在の変換係数のＭＳＢのビット位置ｎ（初めはｎ＝Ｎ）を求める（Ｓ２０２）。ＭＳＢのビット位置Ｎの情報は、符号列に付加されているか、あるいは、予め設定された固定値であってよい。

抽出部２１は、復号化済みでないビットがあるか否かを判定する（Ｓ２０３）。すなわち、現在の符号列のＭＳＢのビット位置ｎが０より大きいか否かを判定する。

現在の符号列のＭＳＢのビット位置ｎが０より大きい場合（ステップＳ２０３：ＹＥＳ）、抽出部２１は、復号対象の複数ビット（ｋビット）が、Ｔビット目から上位位置であるか否かを判定する（Ｓ２０４）。

復号対象のｋビットが、Ｔビット目から上位位置である場合（ステップＳ２０４：ＹＥＳ）、抽出部２１は、当該ｋビットを抽出し、可変長復号化部２２１に供給する。可変長復号化部２２１は、供給されたｋビットを可変長符号化し、第１データを生成する（Ｓ２０５）。可変長復号化は、例えばハフマン符号化やランレングス符号化であってよい。

復号対象のｋビットが、Ｔビット目から下位位置である場合（ステップＳ２０４：ＮＯ）、抽出部２１は、当該ｋビットを抽出し、固定長復号化部２２２に供給する。固定長復号化部２２２は、供給されたｋビットを固定長符号化し、第２データを生成する（Ｓ２０６）。

結合部２３は、第１データと第２データとを結合し、変換係数を得る（Ｓ２０７）。抽出部２１は、ｋビットの復号後における符号列のＭＳＢのビット位置ｎを求める（Ｓ２０８）。すなわち、抽出部２１は、（ｎ−ｋ）を計算し、新たなｎを求める。そして、ステップＳ２０３に遷移する。

ステップＳ２０３において、現在の符号列のＭＳＢのビット位置ｎが０より大きい場合（ステップＳ２０３：ＮＯ）、逆変換部２４は、変換係数を周波数逆変換し、画像を生成する（Ｓ２０９）。出力部２５は、生成された画像を出力し、（Ｓ２１０）処理を終了する。

なお、抽出部２１が一度に抽出するビット数ｋは、常に同じでなくても構わない。この場合、画像符号化装置１の出力部１５は、出力する符号列に、各順でのｋビットの情報を付加してよい。あるいは、予め設定されていてもよい。

また、上述の可変長復号化及び固定長復号化は、非ゼロの値が存在しない領域をゼロツリーやクアッドツリー等を用いて除外した後の、非ゼロの値を含む領域に対して適応しても構わない。

本実施形態によれば、複数ビットをまとめてエントロピー復号化を行うことにより、処理量を減らすことができる。また、上位側の複数ビットに対して、算術復号化よりも処理量の少ない可変長復号化を行うことにより、処理量を減らすことができる。

上述した実施形態によれば、効率よく符号化を行なうことができる。

なお、上述の実施形態は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このとき、上述の実施形態は、上記した処理のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、フレームメモリ１３やフレームメモリ４１は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１・・・画像符号化装置
２・・・画像復号化装置
１１、２０・・・取得部
１２・・・変換部
１３、２１・・・抽出部
１４・・・符号化部
１５、２５・・・出力部
２２・・・復号化部
２３・・・結合部
２４・・・逆変換部
１４１・・・可変長符号化部
１４２・・・固定長符号化部
２２１・・・可変長復号化部
２２２・・・固定長復号化部

Claims (9)

1. 画像を周波数変換して変換係数を得る変換部と、
   前記変換係数について、複数ビットずつ抽出する抽出部と、
   少なくとも最上位の前記複数ビットを可変長符号化し、少なくとも最下位の前記複数ビットを固定長符号化する符号化部と
   を備える画像符号化装置。
2. 前記符号化部は、
   抽出された前記複数ビットのビット位置が所定のビット位置から上位位置の場合、前記複数ビットを可変長符号化し、抽出された前記複数ビットのビット位置が所定のビット位置から下位位置の場合、前記複数ビットを固定長符号化する、
   請求項１記載の画像符号化装置。
3. 前記抽出部は、
   前記変換係数の最上位ビットが、前記複数ビットのサイズの整数倍となるように、前記最上位ビットを切り上げる、
   請求項２記載の画像符号化装置。
4. 取得した符号列について、複数ビットずつ抽出する抽出部と、
   少なくとも最上位の前記複数ビットを可変長復号化し、少なくとも最下位の前記複数ビットを固定長復号化する復号化部と、
   復号された前記複数ビットを結合して、変換係数を得る結合部と、
   前記変換係数を周波数逆変換して画像を生成する逆変換部と
   を備える画像復号化装置。
5. 前記復号化部は、
   抽出された前記複数ビットのビット位置が所定のビット位置から上位位置の場合、前記複数ビットを可変長復号化し、抽出された前記複数ビットのビット位置が所定のビット位置から下位位置の場合、前記複数ビットを固定長復号化する、
   請求項４記載の画像復号化装置。
6. 画像を周波数変換して変換係数を得、
   前記変換係数について、複数ビットずつ抽出し、
   少なくとも最上位の前記複数ビットを可変長符号化し、少なくとも最下位の前記複数ビットを固定長符号化する、画像符号化方法。
7. 取得した符号列について、複数ビットずつ抽出し、
   少なくとも最上位の前記複数ビットを可変長復号化し、少なくとも最下位の前記複数ビットを固定長復号化し、
   復号された前記複数ビットを結合して、変換係数を得、
   前記変換係数を周波数逆変換して画像を生成する、画像復号化方法。
8. コンピュータを、
   画像を周波数変換して変換係数を得る手段と、
   前記変換係数について、複数ビットずつ抽出する手段と、
   少なくとも最上位の前記複数ビットを可変長符号化し、少なくとも最下位の前記複数ビットを固定長符号化する手段と
   して機能させるための、画像符号化プログラム。
9. コンピュータを、
   取得した符号列について、複数ビットずつ抽出する手段と、
   少なくとも最上位の前記複数ビットを可変長復号化し、少なくとも最下位の前記複数ビットを固定長復号化する手段と、
   復号された前記複数ビットを結合して、変換係数を得る手段と、
   前記変換係数を周波数逆変換して画像を生成する手段と
   して機能させるための、画像復号化プログラム。

Images