JP5591838B2 - 画像符号化装置、及び方法 - Google Patents

Description

本発明の実施形態は、画像符号化装置、及び方法に関する。

画像を符号化する際、符号化の処理単位毎（例えば、ライン毎やブロック毎）に量子化幅を制御し、符号化データの符号量を調整する画像符号化装置がある。このような制御は、「ビットレート制御」と呼ばれる。

例えば、ビットレート制御には、符号化データの符号量を、処理単位毎に略一定にするＣＢＲ(Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ)制御がある。しかしながら、ＣＢＲ制御では、画像中で局所的に画質劣化が生じてしまうことがある。

局所的な画質劣化を抑制するため、従来の画像符号化装置では、処理単位毎に、圧縮率の異なる複数の可変長符号化モードで符号化した際の符号量と、固定長符号化モードで符号化した際の符号量との累計に応じて符号化モードを選択し、符号化を行なうものがある。

しかしながら、このような画像符号化装置では、ライン毎に符号化を行なう場合、選択される符号化モードによっては、効率よく符号化を行なうことが困難な場合がある。

国際公開第２０１０／０４１４８８号

発明が解決しようとする課題は、画像をライン毎に符号化する際に、局所的な画質劣化を抑制しつつ、効率よく符号化を行なうことができる画像符号化装置、及び方法を提供することである。

上記課題を解決するために、本発明の実施形態に係る画像符号化装置は、画像をライン単位で符号化する画像符号化装置であって、分割部と、符号化部と、結合部とを備える。

分割部は、前記画像を、少なくとも先頭の１ラインを含む第１グループと、前記第１グループ以外ラインを含む第２グループとに分割する。符号化部は、前記第１グループのラインを、第１目標符号量以下となるように符号化し、前記第２グループのラインを、前記第１目標符号量より小さい第２目標符号量以下となるように符号化する。

ＤＰＣＭ符号化の説明図。 第１の実施形態に係る画像符号化装置１を表すブロック図。 画像符号化装置１の処理を表すフローチャート。 第１符号化部１３１を表すブロック図。 仮符号化部１５２を表すブロック図。 本符号化部１５４を表すブロック図。 変形例における仮符号部１５２を表すブロック図。 第１の実施形態の変形例の効果の説明図。 第２の実施形態に係る画像符号化装置２を表すブロック図。 画像符号化装置２の処理を表すフローチャート。

（第１の実施形態）
第１の実施形態に係る画像符号化装置１は、例えば、ＣＴ装置やＭＲＩ等で撮影された医用画像データを蓄積あるいは伝送するＰＣサーバ等に好適である。

画像符号化装置１は、取得した入力画像に対して、ライン毎に符号量を制御し、各ラインに含まれる画素を符号化する。画像符号化装置１は、例えばＤＰＣＭ（差分パルス符号変調）のように、符号化対象画素について、その隣接画素との差分信号値を符号化する符号化方式を採用する。

図１は、ＤＰＣＭ符号化の説明図である。図１左のように、入力画像の１ライン目（先頭ライン）以外のライン（例えば２ライン目）については、左予測、上予測、ＤＣ予測、ＰＬＡＮＥ予測等の予測モードから、最適な予測モードを選択することができる。

ここで、最適な予測モードとは、符号化対象画素と、当該符号化対象画素に対応する予測画素との残差が最も小さくなる予測モードをいう。左予測とは、符号化対象画素の左の隣接画素から予測画素を求める予測モードである。上予測とは、符号化対象画素の上の隣接画素から予測画素を求める予測モードである。ＤＣ予測とは、符号化対象画素の上及び左の隣接画素から予測画素を求める予測モードである。ＰＬＡＮＥ予測とは、符号化対象画素の上、左及び左上の隣接画素から予測画素を求める予測モードである。

一方、図１右のように、先頭ラインでは、それより上方のラインが存在しないため、予測モードが左予測に限定されてしまう。このため、先頭ラインでは、符号化効率が低下する。

そこで、画像符号化装置１は、少なくとも先頭ラインを含む第１グループのラインを符号化する際の第１目標符号量を、当該第１グループ以外のラインを符号化する際の第２目標符号量よりも大きく設定し、各ラインに含まれる画素を符号化する。

図２は、画像符号化装置１を表すブロック図である。画像符号化装置１は、取得部１１と、分割部１２と、符号化部１３と、結合部１４と、出力部１５とを備える。符号化部１３は、第１符号化部１３１と、第２符号化部１３２とを含む。

取得部１１は、入力画像を取得する。入力画像は、静止画像でも、動画像のフレームでも構わない。

分割部１２は、取得された入力画像を、少なくとも先頭ラインを含む第１グループと、前記第１グループ以外の第２グループとに分割する。本実施形態では、第１グループに含まれるラインは先頭ラインのみであり、先頭ライン以外のラインは第２グループに含まれるものとする。

第１符号化部１３１は、第１グループのライン（先頭ライン）を符号化する。このとき、第１符号化部１３１は、生成される第１グループのラインの符号化データの符号量が、第１目標符号量以下となるように、第１グループのラインを符号化する。

第２符号化部１３２は、第２グループのライン（先頭ライン以外のライン）を符号化する。このとき、第２符号化部１３２は、生成される第２グループのラインの符号化データの符号量が、第２目標符号量以下となるように、第２グループのラインを符号化する。上述したように、第２目標符号量は、第１目標符号量より小さい。

結合部１４は、第１グループの符号化データと、第２グループの符号化データとを結合する。出力部１５は、結合された符号化データを出力する。

取得部１１と、分割部１２と、第１符号化部１３１と、第２符号化部１３２と、結合部１４と、出力部１５とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。

以上、画像符号化装置１の構成について説明した。

図３は、画像符号化装置１の処理を表すフローチャートである。取得部１１は、入力画像を取得する（Ｓ１０１）。分割部１２は、入力画像を、第１グループと第２グループとに分割する（Ｓ１０２）。

第１符号化部１３１は、第１グループのラインを符号化する。このとき、第１符号化部１３１は、生成される第１グループのラインの符号化データの符号量が、第１目標符号量以下となるように、第１グループのラインを符号化する（Ｓ１０３）。

第２符号化部１３２は、第２グループのラインを符号化する。このとき、第２符号化部１３２は、生成される第２グループのラインの符号化データの符号量が、第２目標符号量以下となるように、第２グループのラインを符号化する（Ｓ１０４）。なお、第２符号化部１３２は、第２グループの一ライン目のラインを符号化する際は、分割部１２から第１符号化部１３１に供給された第１グループのラインを用いるのが望ましい。例えば、分割部１２は、第１符号化部１３１に供給する第１グループを、第２符号化部１３２にも供給してよい。

結合部１４は、第１グループのラインの符号化データと、第２グループのラインの符号化データとを結合する（Ｓ１０５）。出力部１５は、結合された符号化データを出力する（Ｓ１０６）。

以上、画像符号化装置１の処理について説明した。

図４は、第１符号化部１３１を表すブロック図である。第１符号化部１３１は、第１グループに含まれるライン（本実施形態では先頭ライン）の各画素について、画素を符号化する際の予測モードを選択して符号化を行なう。なお、以下の説明は、第２符号化部１３２についても同様である。

第１符号化部１３１は、設定部１５１と、仮符号化部１５２と、判定部１５３と、本符号化部１５４とを含む。設定部１５１は、符号化対象画素を符号化する際の各予測モード（本実施形態では、左予測、上予測、ＤＣ予測、ＰＬＡＮＥ予測とする）のうち、最適な予測モードを選択する。例えば、設定部１５１は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最も小さくなる予測モードを最適な予測モードとして選択してよい。なお、ここでは、符号化対象画素は一つであるとして説明するが、複数の画素を含む画素ブロックを符号化対象画素としてもよい。

仮符号化部１５２は、予め設定された、互いに異なる複数の量子化パラメータ（ＱＰ）で、符号化対象画素を可変長符号化する。なお、可変長符号化としてゴロムライス符号化方法を用いる場合、仮符号化部１５２は、符号化対象画素の符号化とともに、符号化テーブルを生成する。

判定部１５３は、各ＱＰで符号化された符号化対象画素の符号量が、第１目標符号量以下となるかどうかを判定する。第１目標符号量以下となるＱＰが存在する場合、判定部１５３は、符号化対象画素の符号量が、第１目標符号量以下となるＱＰの中で最小のＱＰ（最も量子化幅の小さいパラメータ）を選択し、本符号化部１５４（後述）に選択したＱＰを示す判定情報を供給する。第１目標符号量以下となるＱＰが存在しない場合、判定部１５３は、ＱＰが存在しないとの判定情報を本符号化部１５４（後述）に供給する。また、判定部１５３は、選択したＱＰで符号化する符号化対象画素を仮符号化部１５２に供給する（詳細は後述する）。

本符号化部１５４は、設定された予測モードと判定情報とに従い、符号化対象画素を符号化する。すなわち、本符号化部１５４は、第１目標符号量以下となるＱＰが存在する場合、選択された予測モードと、判定部１５３から供給された判定情報におけるＱＰと、に基づいて、符号化対象画素を可変長符号化する。本符号化部１５４は、第１目標符号量以下となるＱＰが存在しない場合、第１目標符号量以下となるように符号化対象画素を固定長符号化する。

図５は、仮符号化部１５２を表すブロック図である。仮符号化部１５２は、第１量子化部５０１と、第２量子化部５０２と、予測部５０３と、残差算出部５０４と、第１符号量算出部５０５とを含む。

参照メモリ５５１は、現在より前に本符号化された画素の画素値であって、判定部１５３が選択したＱＰで符号化された符号化対象画素の画素値を記憶している。すなわち、判定部１５３は、選択したＱＰで符号化する符号化対象画素の画素値を、参照画素として参照メモリ５５１に書き込む。

第１量子化部５０１は、現在の符号化対象画素の画素値を量子化する。第２量子化部は、参照画素を参照メモリ５５１から読み出し、当該参照画素を量子化する。予測部５０３は、設定された予測モードに従って、符号化対象画素に対する予測画素を求める。

残差算出部５０４は、求められた予測画素と、符号化対象画素との残差を算出する。第１符号量算出部５０５は、算出された残差を各ＱＰで可変長符号化し、符号化した残差の符号量を各ＱＰについて算出する。

図６は、本符号化部１５４を表すブロック図である。本符号化部１５４は、第１量子化部６０１と、第２量子化部６０２と、予測部６０３と、残差算出部６０４と、可変長符号化部６０５と、固定長符号化部６０６とを含む。

第１量子化部６０１は、判定情報におけるＱＰにより、現在の符号化対象画素の画素値を量子化する。第２量子化部は、参照画素を参照メモリ６５１から読み出し、判定情報におけるＱＰにより、当該参照画素を量子化する。ここで、参照メモリ６５１は、後述の可変長符号化部６０１及び固定長符号化部６０６から供給された、符号化済みの画素の画素値が記憶されている。

予測部６０３は、設定された予測モードに従って、符号化対象画素に対する予測画素を求める。残差算出部６０４は、求められた予測画素と、符号化対象画素との残差を算出する。

可変長符号化部６０５は、判定された算出された残差を可変長符号化する。可変長符号化方法として、ゴロムライス符号化を用いる場合、可変長符号化部６０５は、仮符号化部１５２で生成された符号化テーブルを用いて、算出された残差を可変長符号化する。

固定長符号化部６０６は、判定部１５３が第１目標符号量以下となるＱＰが存在しないと判定した場合に、その判定情報に従って、符号化対象画素を固定長符号化する。このとき、固定長符号化部６０６は、符号化後の符号化対象画素の符号量が第１目標符号量以下となるように、符号化対象画素を固定長符号化する。ここで、固定長符号化は、例えば、第１目標符号量以下となるように上位ビットを抽出することにより実現する。

本実施形態では、少なくとも先頭ラインを含む第１グループのラインを符号化する際の第１目標符号量を、当該第１グループ以外のラインを符号化する際の第２目標符号量より大きく設定し、各ラインに含まれる画素を符号化する。

これにより、本実施形態によれば、画像をライン毎に符号化する際に、局所的な画質劣化を抑制しつつ、効率よく符号化を行なうことができる。

なお、本実施形態では、予測モードが左予測、上予測、ＤＣ予測、ＰＬＡＮＥ予測の４つである例を説明したが、これに限られない。例えば、２つでも８つでも構わない。しかしながら、予測モードが４つの場合が、予測モードの情報を２ビットで表すことができ、処理負荷も高くなく、かつ符号量効率も良い。

（変形例１）
本実施形態の変形例では、仮符号化部１５２はさらに第２符号量算出部５０６を含む。図７は、本変形例における仮符号部１５２を表すブロック図である。本変形例において、分割部１２は、第１符号化部１３１に供給する一の画素ラインのうち、先頭からＮ画素目までの画素を第１量子化部５０１に供給し、（Ｎ＋１）画素目より後方の画素を第２符号量算出部５０６に供給する。第２符号量算出部５０６は、供給された符号化対象画素を、予め定めた目標符号量で固定長符号化する。

図８は、本変形例の効果の説明図である。図８（ａ）は、仮符号化部１５２が可変長符号化により、符号化対象画素を符号化する場合の、仮符号化部１５２、判定部１５３、本符号化部１５４における、処理時間の関係を示す。図８（ａ）は、上述した第１の実施形態に相当する。図８（ｂ）は、仮符号化部１５２が可変長符号化又は固定長符号化により、符号化対象画素を符号化する場合の、仮符号化部１５２、判定部１５３、本符号化部１５４における、処理時間の関係を示す。図８（ｂ）は、本変形例に相当する。

図８（ａ）に示すように、第１の実施形態の場合、判定部１５３は、一のラインについて、仮符号化部１５２による可変長符号化が終了した後に、各ＱＰで符号化された符号化対象画素の符号量が、第１目標符号量以下となるかどうかを判定する。このため、仮符号化部１５２が一のラインの符号化を終了する時刻と、本符号化部１５４が当該ラインの符号化を開始する時刻との間に、タイムロスが発生する。

一方、図８（ｂ）に示すように、本変形例の場合、一のラインについて、仮符号化部１５２が先頭からＮ画素目までの画素を可変長符号化したときから、判定部１５３は各ＱＰで符号化された符号化対象画素の符号量が、第１目標符号量以下となるかどうかを判定することができるため、タイムロスは発生しない。これは、固定長符号化では、予め符号量が定まっているためである。

本変形例によれば、第１実施形態に比べ、さらに高速に符号化を行なうことができる。

（第２の実施形態）
第２の実施形態に係る画像符号化装置２は、取得した入力画像を先頭ラインと、２ライン目からｍライン目までを含む第３グループ（ｍは２以上の整数）と、（ｍ＋１）ライン目から末尾ラインまでを含む第４グループとに分割する。

画像符号化装置２は、先頭ラインを第１目標符号量以下となるように符号化し、第３グループの各ラインを第１目標符号量よりも小さい第３目標符号量以下となるように符号化し、第４グループの各ラインを第３目標符号量よりも小さい第４目標符号量以下となるように符号化する。

これにより、局所的な画質劣化を抑制しつつ、符号化データとの符号量を第１の実施の形態と比べ、さらに低減することができる。

図９は、画像符号化装置２を表すブロック図である。画像符号化装置１の分割部１２と符号化部１３と、結合部１４とが、各々、分割部２２と符号化部２３と結合部２４とに置き換わる。符号化部２３は、第１符号化部１３１と、第３符号化部２３３と、第４符号化部２３４とを含む。第１符号化部１３１は、第１の実施形態の場合と同様である（第１グループが先頭ラインのみを含む場合）。

分割部２２は、取得された入力画像を、取得した入力画像を先頭ラインと、２ライン目からｍライン目までを含む第３グループと、（ｍ＋１）ライン目から末尾ラインまでを含む第４グループとに分割する。

第３符号化部２３３は、第３グループのラインを符号化する。このとき、第３符号化部２３３は、生成される第３グループのラインの符号化データの符号量が、第３目標符号量以下となるように、第３グループのラインを符号化する。上述したように、第３目標符号量は、第１目標符号量より小さい。

第４符号化部２３４は、第４グループのラインを符号化する。このとき、第４符号化部２３４は、生成される第４グループのラインの符号化データの符号量が、第４目標符号量以下となるように、第４グループのラインを符号化する。上述したように、第４目標符号量は、第３目標符号量より小さい。

結合部２４は、先頭ラインの符号化データと、第３グループのラインの符号化データと第４グループのラインの符号化データとを結合する。

分割部２２と、第３符号化部２３３と、第４符号化部２３４と、結合部２４とは、ＣＰＵ、及びＣＰＵが用いるメモリにより実現されてよい。

以上、画像符号化装置２の構成について、画像符号化装置１と異なる点を説明した。

図１０は、画像符号化装置２の処理を表すフローチャートである。画像符号化装置１の処理を表すフローチャート（図３）と、ステップの符号が異なるものについて説明する。

ステップＳ２０１において、分割部２２は、取得した入力画像を先頭ラインと、第３グループと、第４グループとに分割する（Ｓ２０１）。

ステップＳ２０２において、第３符号化部２３３は、第３グループのラインを符号化する（Ｓ２０２）。このとき、第３符号化部２３３は、生成される第３グループのラインの符号化データの符号量が、第３目標符号量以下となるように、第３グループのラインを符号化する。

ステップＳ２０３において、第４符号化部２３４は、第４グループのラインを符号化する（Ｓ２０３）。このとき、第４符号化部２３４は、生成される第４グループのラインの符号化データの符号量が、第４目標符号量以下となるように、第４グループのラインを符号化する。

ステップＳ２０４において、結合部２４は、先頭ラインの符号化データと、第３グループのラインの符号化データと第４グループのラインの符号化データとを結合する（Ｓ２０４）。

以上、画像符号化装置２の処理について、画像符号化装置１と異なる点を説明した。

本実施形態によれば、局所的な画質劣化を抑制しつつ、符号化データとの符号量を第１の実施の形態と比べ、さらに低減することができる。

上述した実施形態によれば、高速かつ効率良く符号化を行なうことができる。なお、上述の画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。

上述の実施形態における、符号化データのフォーマットについて説明する。符号化方法として、例えば、ＤＰＣＭとゴロムライス符号化とを組み合わせた場合、符号化データには、ＱＰ値、符号化テーブルのインデックス、予測モードのインデックス、ゴロムライス符号のプレフィックス、サフィックス等が含まれる。

ＱＰ値、符号化テーブルのインデックス、予測モードのインデックスの対象とする画素数の範囲は、「ＱＰ値＞符号化テーブルのインデックス＞予測モードのインデックス」となるようにすると、符号効率が高まる。

また、ゴロムライス符号では、プレッフィクスが可変長のユーナリコード、サフィックス長がインデックス及びプレフィックス長によって決定される。

例えば、輝度信号YがY1、Y2、Y3に分割されるものとして、Y1のシンボルを0000011010(プレフィックス000001、サフィックス1010)、Y2のシンボルを0000111111(プレフィックス00001、サフィックス11111)、Y3のシンボルを01101(プレフィックス01、サフィックス101)とした場合に、Y1、Y2、Y3のプレフィックスを連続した一つのプレフィックス0000010000101、Y1、Y2、Y3のサフィックスを連続した一つのサフィックス101011111101とすることで、Y1、Y2、Y3のインターリーブ処理が可能となり、Yを分割しない場合と比較して、1サイクルあたり複数ブロック(この例ではY1、Y2、Y3の3ブロック)の高速な復号が可能となる。

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２ 画像符号化装置
１１ 取得部
１２、２２ 分割部
１３、２３ 符号化部
１４、２４ 結合部
１５ 出力部
１３１ 第１符号化部１３１
１３２ 第２符号化部１３２
１５１ 設定部
１５２ 仮符号化部
１５３ 判定部
１５４ 本符号化部
５０１、６０１ 第１量子化部
５０２、６０２ 第２量子化部
５０３、６０３ 予測部
５０４、６０４ 残差算出部
５０５ 第１符号量算出部
５０６ 第２符号量算出部
５５１、６５１ 参照メモリ
６０５ 可変長符号化部
６０６ 固定長符号化部

Claims (5)

1. 画像をライン単位で符号化する画像符号化装置であって、
   前記画像を、少なくとも先頭の１ラインを含む第１グループと、前記第１グループ以外のラインを含む第２グループとに分割する分割部と、
   前記第１グループのラインを、第１目標符号量以下となるように符号化し、前記第２グループのラインを、前記第１目標符号量より小さい第２目標符号量以下となるように符号化する符号化部と
   を備える、画像符号化装置。
2. 前記分割部は、
   前記画像を、先頭の１ラインと、前記先頭の１ライン以外のラインとに分割する、
   請求項１記載の画像符号化装置。
3. 前記分割部は、
   前記先頭の１ライン以外のラインを、２ライン目のラインからｍ（ｍは２以上の整数）ライン目のラインを含む第３グループと、（ｍ＋１）ライン目のラインから末尾のラインまでを含む第４グループとに、さらに分割し、
   前記符号化部は、
   前記先頭の１ラインを、前記第１目標符号量以下となるように符号化し、前記第３グループのラインを、前記第１目標符号量より小さい第３目標符号量以下となるように符号化し、前記第４グループのラインを、前記第３目標符号量より小さい第４目標符号量以下となるように符号化する、
   請求項２記載の画像符号化装置。
4. 符号化された前記第１グループのラインと、符号化された前記第２グループのラインとを結合する結合部を
   さらに備える、
   請求項１記載の画像符号化装置。
5. 分割部と、符号化部とを備える画像符号化装置が、画像をライン単位で符号化する画像符号化方法であって、
   前記分割部は、前記画像を、少なくとも先頭の１ラインを含む第１グループと、前記第１グループ以外のラインを含む第２グループとに分割し、
   前記符号化部は、前記第１グループのラインを、第１目標符号量以下となるように符号化し、前記第２グループのラインを、前記第１目標符号量より小さい第２目標符号量以下となるように符号化する、画像符号化方法。

Images