JP4042597B2

JP4042597B2 - Image encoding apparatus and method, program, and recording medium

Info

Publication number: JP4042597B2
Application number: JP2003070729A
Authority: JP
Inventors: 卓也北村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-03-28
Filing date: 2003-03-14
Publication date: 2008-02-06
Anticipated expiration: 2023-03-14
Also published as: JP2004007475A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ(Moving Picture image coding ExpertsGroup)等に適用され、例えばＤＣＴ（Discrete Cosine Transform）や、例えばＤＰＣＭ(Differential Pulse Code Modulation)を用いた符号化による発生情報量を制御可能な画像圧縮符号化装置及び方法に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいて、動画像信号をそのままディジタル化すると情報量が極めて多くなる。しかし、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化することによって情報量を減らすことができ、一度に多くの動画像を伝送することが可能となり、ひいては、記録媒体に対して長時間の動画像を記録することが可能となる。動画像の高能率符号化方式として代表的なものとしてＭＰＥＧ方式がある。このＭＰＥＧ方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行う。
【０００３】
図１０は、ＭＰＥＧ方式に代表される従来の画像圧縮符号化装置７の構成を示している。この従来の画像圧縮符号化装置７は、入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現する。この画像圧縮符号化装置７は、端子７１と、ブロック分割部７２と、ＤＣＴ部７３と、量子化部７４と、可変長符号化部７５と、バッファ７９とを備える。
【０００４】
この図１０において、端子７１には、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。
【０００５】
ブロック分割部７２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、ＤＣＴ部７３へ出力する。
【０００６】
ＤＣＴ部７３は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、量子化部７４へ出力する。量子化部７４は、ＤＣＴ部７３から入力されたＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化する。量子化部７４は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部７５へ供給する。可変長符号化部７５は、量子化部７４から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。
【０００７】
ちなみに、この画像圧縮符号化装置７における符号量制御は、量子化ステップを制御することにより行なう。この符号量制御は、例えば仮想バッファの残量と、以前エンコーダした際の量子化ステップと発生符号量の関係を用いてフィードバック制御することにより行なう場合もある。
【０００８】
なお、この画像圧縮符号化装置７では、１フレーム（等長化単位）において発生する総符号量が、常に設定された目標符号量を越えないように符号量制御を行なう必要がある。しかしながら、目標符号量を満たすために、総符号量を多量に残してしまうと、却って画像品質の悪化を招くことになる。このため、従来において、目標符号量を満たしつつ総符号量を使い切るための符号量制御方法が提案されている。この符号量制御方法では、等長化単位において発生する符号量を、複数の量子化ステップについて予め計算し、発生符号量が目標符号量を越えない範囲で適切な量子化ステップを決定するものであり、例えばフィードフォワード方式として提案されている（例えば、特許文献１参照。）。
【０００９】
この従来のフィードフォワード方式等の符号量制御方法において、量子化ステップを大きくすると量子化が粗くなり総符号量が小さくなり、一方量子化ステップを小さくすると、量子化は細かくなり総符号量も多くなる。また量子化では離散値のみ取得することしかできないため、総符号量も離散的になる。すなわち、この量子化ステップをブロック単位で制御することにより、総符号量を制御することが可能となる。目標符号量を満たしつつ総符号量を使い切るためには、目標符号量以下であり、かつ一番小さな量子化ステップをブロック毎に選択する必要がある。
【００１０】
ちなみにこのＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化するフィードフォワード方式は、画像の圧縮・伸張の過程において何らかの歪みが付加されるため、完全にもとの画像品質を保つことはできない。このため、理想的には、例えばＤＰＣＭのように、圧縮・伸張の過程を経てもとの情報を保存可能な可逆符号化(Lossless)方式を採用することにより、画質の劣化を防止する必要があった。
【００１１】
【特許文献１】
国際公開公報ＷＯ９６／２８９３７
【００１２】
【発明が解決しようとする課題】
ところで、上述した可逆符号化方式を採用した場合に、設定された目標符号量を越えないような符号量制御を実現することができない場合があるため、フィードフォワード方式と可逆符号化方式を組み合わせ、目標符号量を越えないようにフレーム総符号量を使い切る必要がある。
【００１３】
しかしながら、ブロック毎に各方式を効率良く選択することができず、目標符号量を参照しつつ、フレーム全体の総符号量を制御することができないという問題点があった。
【００１４】
そこで本発明は上述した実情に鑑みて提案されたものであり、各ブロック毎にフィードフォワード方式、或いは可逆符号化方式を効率よく選択することにより、フレーム全体の総符号量を効率良く制御可能な画像符号化装置及び方法、プログラム、記録媒体を提案することを目的とする。
【００１５】
【課題を解決するための手段】
本発明を適用した画像符号化装置は、上述の問題点を解決するために、入力画像信号を符号化方式選択単位で符号化する画像符号化装置において、上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力する選択手段と、上記選択手段により出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替える切替手段と、上記切替手段により切り替えられた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量を超える等長化単位の総符号量のうちの目標符号量に最も近い第１の総符号量と、等長化単位の目標符号量以下の等長化単位の総符号量のうちの目標符号量に最も近い第２の総符号量とを求め、これらの第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出すると共に、算出された割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力する演算処理手段と、上記演算処理手段により算出された割当符号量と上記演算処理手段により出力された選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化する符号化手段とを有することを特徴とする。
【００１６】
また、本発明を適用した画像符号化方法は、上述した問題点を解決するために、入力画像信号を符号化方式選択単位で符号化する画像符号化方法において、上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、上記切り替えられた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量を超える等長化単位の総符号量のうちの目標符号量に最も近い第１の総符号量と、等長化単位の目標符号量以下の等長化単位の総符号量のうちの目標符号量に最も近い第２の総符号量とを求め、これらの第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出すると共に、算出された割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、上記割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化することを特徴とする。
【００１７】
また、本発明を適用したプログラム並びにそのプログラムが記録された記録媒体では、上述した問題点を解決するために、入力画像信号を符号化方式選択単位で符号化する処理をコンピュータに実行させるためのプログラムが記録された記録媒体において、上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、上記切り替えられた符号量を符号化方式選択単位毎に加算することにより等長化単位の総符号量を演算し、上記量子化ステップ毎に演算された等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量を超える等長化単位の総符号量のうちの目標符号量に最も近い第１の総符号量と、等長化単位の目標符号量以下の等長化単位の総符号量のうちの目標符号量に最も近い第２の総符号量とを求め、これらの第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出すると共に、算出された割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、上記割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化することをコンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１９】
本実施の形態に係る画像圧縮符号化装置は、入力された画像信号を、例えばＤＣＴ（Discrete Cosine Transform）変換した上で量子化することにより非可逆的な画像圧縮を実現し、或いは入力された画像信号を、例えばＤＰＣＭ(Differential Pulse Code Modulation)等に基づき可逆的な符号化を実現する。
【００２０】
画像圧縮符号化装置１には、図１に示すように端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を、符号化方式選択単位で選択し、本線系２及び予測系４へ送信する。この符号化方式選択単位とは、例えば８×８のブロック単位、１６×１６のマクロブロック単位、スライス単位、又は複数の画素からなる画像領域に分割する場合を示すが、以下では、８×８のブロック単位で分割した場合を例にとり説明する。
【００２１】
本線系２は、ＦＩＦＯ(First In First Out)メモリ２１,ＤＣＴ部２２,ＦＩＦＯメモリ２３,二分探索部２４,量子化部２５,第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７,ＤＰＣＭ部２８,第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００２２】
先ずＤＣＴパスについて説明する。本線系２に供給されたデータは、予測系４から後述するセレクト信号と符号量が供給されるまでのインターバルを調整するためにＦＩＦＯメモリ２１に一時格納される。このＦＩＦＯメモリ２１に格納されたデータは、ＤＣＴ部２２及びＦＩＦＯメモリ２７へ供給される。
【００２３】
ＤＣＴ部２２は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、ＦＩＦＯメモリ２３及び二分探索部２４へ送信する。ＦＩＦＯメモリ２３に一時格納されたＤＣＴ係数は量子化部２５へ出力される。量子化部２５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で二分探索部２４により決められた量子化ステップにより量子化する。量子化部２５は、この量子化されたデータ（以下、量子化レベルと称する）を第１の可変長符号化部２６へ供給する。第１の可変長符号化部２６は、量子化部２５から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。ちなみに本実施の形態に係る画像圧縮符号化装置１では、この第１の可変長符号化部２６を省略した構成を適用してもよい。
【００２４】
すなわち、このＤＣＴパスを経ることにより、二分探索部２４を介して各ブロック毎に供給される量子化ステップに基づき、画像信号を符号化することができるため、１フレームの総符号量が目標符号量を越えないように制御することが可能となる。この二分探索部２４を用いる方法は、一例に過ぎず、他の方式を用いてもよい。
【００２５】
次にＤＰＣＭパスについて説明をする。ＤＰＣＭ部２８は、上述したＤＣＴパスにおける遅延素子的な役割を担うＦＩＦＯメモリ２７上に格納されたデータが供給され、当該データに対してブロック毎にＤＰＣＭを施して第２の可変長符号化部２９へ供給する。第２の可変長符号化部２９は、ＤＰＣＭが施されたデータに対して、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。なお、この第２の可変長符号化部２９における可変長符号化の方法は、上述の第１の可変長符号化部２６における方法と同様である必要はない。また、本実施の形態に係る画像圧縮符号化装置１では、この第２の可変長符号化部２９を省略した構成を適用してもよい。
【００２６】
セレクタ３０は、第１の可変長符号化部２６、又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる。
【００２７】
すなわち、このＤＰＣＭパスを経ることにより、何らかの歪みが付加されることなく、完全にもとの画像品質を保つことができるように可逆符号化することができる。
【００２８】
予測系４は、ＤＣＴ部４１,ｎ個の量子化器４２−１〜４２−ｎ,ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５,符号量変換器４６からなるＤＰＣＭパスと、演算部４４とを備える。この予測系４は、等長化単位で発生する総符号量を計算し、本線系２が目標符号量を越えない範囲で適切なＤＣＴパス或いはＤＰＣＭパスを選択できるように設けられたものである。この等長化単位とは、本実施の形態では１フレームを意味するが、係る場合に限定されるものではなく、例えば８×８のブロック、１６×１６のマクロブロック、それらの組み合わせたスライス単位としてもよい。またこの等長化単位は、複数の画素からなるいかなる画像領域であってもよく、さらにフレームを組み合わせたＧＯＰ単位としてもよい。
【００２９】
先ずＤＣＴパスについて説明をする。このＤＣＴパスは、例えば入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現するものであり、ＤＰＣＭパスと比較して高圧縮率でロスが大きい。またこのＤＣＴパスにおける変換符号化は、ＤＣＴに限定されるものではなく、他の変換符号化方式を用いてもよい。またこのＤＣＴパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。
【００３０】
ＤＣＴ部４１は、ＤＣＴ部２２と同様に、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、各量子化器４２−１〜４２−ｎへ送信する。量子化器４２−１〜４２−ｎは、ＤＣＴ部４１から供給されたＤＣＴ係数を夫々異なる量子化ステップで量子化する。これにより、生成したＤＣＴ係数をｎ個の量子化ステップにより試すことが可能となる。また、各量子化器４２−１〜４２−ｎは、生成した量子化レベルを夫々符号量変換器４３−１〜４３−ｎへ供給する。符号量変換器４３−１〜４３−ｎは、供給される量子化レベルを夫々ブロック毎の符号量に変換し、演算部４４へ送信する。即ち、この符号量変換器４３−１〜４３−ｎにおける符号量の変換では、量子化器４２−１〜４２−ｎにより生成された量子化レベルを可変長符号化して、その符号長を出力するようにしてもよい。
【００３１】
次にＤＰＣＭパスについて説明をする。このＤＰＣＭパスは、例えばＤＰＣＭのように、圧縮、伸張の過程を経てもとの情報を保存可能な可逆符号化(Lossless)方式に基づき、可逆的な画像圧縮を実現するものであり、ＤＣＴパスと比較して低圧縮率でロスが小さい。またこのＤＰＣＭパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。
【００３２】
ＤＰＣＭ部４５は、ブロック分割部１２からデータを受給し、これらについてブロック毎にＤＰＣＭを施し、符号量変換器４６へ送信する。符号量変換器４６は、これらＤＰＣＭ化された信号についてブロック毎に符号化して演算部４４へ送信する。即ち、この符号量変換器４６においても、ＤＰＣＭ化された信号を可変長符号化して、その符号長を出力するようにしてもよい。
【００３３】
演算部４４には、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４４は、入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて本線系２へ出力する。ちなみにこの演算部４４において等長化単位の総符号量を求める場合には、ブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。
【００３４】
次に、この演算部４４による割当符号量の算出について説明をする。図２は、演算部４４の構成例を示している。演算部４４は、ｎ個の比較部１０１−１〜１０１−ｎと、ｎ個のセレクタ１０２−１〜１０２−ｎと、ｎ個のメモリ１０３−１〜１０３−ｎと、ｎ個の加算器１０４−１〜１０４−ｎと、ｎ個の累積回路１０５−１〜１０５−ｎと、演算処理部１０６とを備える。
【００３５】
比較部１０１−１〜１０１−ｎは、ｋ番目のブロックに関して、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量length(1,k)〜length(n,k)が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量dpcm(k)が入力される。例えば、比較部１０１−１には、符号量変換部４３−１からの符号量length(1,k)と、ＤＰＣＭ処理された符号量dpcm(k)が入力される。この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、とＤＰＣＭパスを介して入力された符号量dpcm(k)との間で、それぞれ小さい方を選択する。そして、この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、及びＤＰＣＭパスを介して入力された符号量dpcm(k)のうち、いずれを選択したかを示すセレクト信号を出力する。
【００３６】
セレクタ１０２−１〜１０２−ｎは、比較部１０１−１〜１０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ１０２−１〜１０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ１０２−１〜１０２−ｎにより選択された符号量は、そのままメモリ１０３−１〜１０３−ｎ、加算器１０４−１〜１０４−ｎへ供給される。
【００３７】
メモリ１０３−１〜１０３−ｎは、各ブロック毎に、何れの符号量を選択したかを識別するためのセレクト信号と、セレクタ１０２−１〜１０２−ｎにおいて選択された符号量を格納する。すなわち等長化単位、例えば１フレーム分の処理が終了した段階で、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、１フレーム分格納されている状態となっている。換言すれば、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量として、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、又はＤＰＣＭパスを介して入力された符号量dpcm(k)のうち、いずれかが格納されている状態となる。従って、各メモリ１０３−１〜１０３−ｎを合わせると、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００３８】
加算器１０４−１〜１０４−ｎ及び累積回路１０５−１〜１０５−ｎは、セレクタ１０２−１〜１０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量total(1)〜total(n)とする。累積回路１０５−１〜１０５−ｎは、得られた総符号量total(1)〜total(n)を順次演算処理部１０６へ送信する。
【００３９】
演算処理部１０６は、各累積回路１０５−１〜１０５−ｎから夫々総符号量total(1)〜total(n)を受信した場合に、以下の図３に示す手順を実行する。先ずステップＳ１において、演算処理部１０６は、等長化単位の目標符号量とこれらの総符号量total(1)〜total(n)を比較する。そして、この演算処理部１０６は、目標符号量を超える総符号量のうち、目標符号量に最も近い総符号量total(j-1)を特定する。即ち、この総符号量total(j-1)は、目標符号量の直上の符号量であり、換言すれば、目標符号量を超える総符号量のうち最小の符号量からなる。また、この演算処理部１０６は、目標符号量以下の総符号量のうち、目標符号量に最も近い総符号量total(j)を特定する。即ち、この総符号量total(j-1)は、目標符号量の直下の符号量であり、換言すれば、目標符号量以下の総符号量のうち最大の符号量からなる。
【００４０】
次にステップＳ２へ移行し、演算処理部１０６は、この識別したtotal(j-1)と、total(j)に基づき、メモリ１０３−j-1、メモリ１０３−jに格納されている各ブロック毎の符号量とセレクト信号を読み出す。なお、メモリ１０３−j-1には、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量length(j-1,k)、又はＤＰＣＭパスを介して入力された符号量dpcm(k)が格納されている。このため、このステップＳ２において、メモリ１０３−j-1から読み出される符号量は、length(j-1,k)又はdpcm(k)となる。またメモリ１０３−jには、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量length(j,k)、又はＤＰＣＭパスを介して入力された符号量dpcm(k)が格納されている。このため、このステップＳ２におてメモリ１０３−jから読み出される符号量は、length(j,k)又はdpcm(k)となる。ちなみに、以後のステップでは、メモリ１０３−j-1、メモリ１０３−jから読み出した各ブロック毎の符号量とセレクト信号を用いる。
【００４１】
次にステップＳ３へ移行し、この演算処理部１０６は、線形補間を用いることにより、各ブロックに対する割当符号量assign(k)を算出する。
【００４２】
ここで、等長化単位の目標符号量をＭとし、またメモリ１０３−j-1から読み出された符号量がlength(j-1,k)であり、メモリ１０３−jから読み出された符号量がlength(j,k)である場合において、割当符号量assign(k)は、以下の式（１）により求められる。
assign(k)={(total(j-1)-M)*length(j,k)+(M-total(j))*length(j-1,k)}/{total(j-1)-total(j)}・・・・・・（１）
またメモリ１０３−j-1から読み出された符号量がdpcm(k)であり、メモリ１０３−jから読み出された符号量がlength(j,k)である場合において、割当符号量assign(k)は、以下の式（２）により求められる。
assign(k)={(total(j-1)-M)*length(j,k)+(M-total(j))*dpcm(k)}/{total(j-1)-total(j)}・・・・・・・・・（２）
またメモリ１０３−j-1から読み出された符号量がdpcm(k)であり、メモリ１０３−jから読み出された符号量がdpcm(k)である場合において、割当符号量assign(k)は、以下の式（３）により求められる。
assign(k)={(total(j-1)-M)*dpcm(k)+(M-total(j))*dpcm(k)}/{total(j-1)-total(j)}・・・・・・・・・・・（３）
上述のように各ブロック毎に割り当てる割当符号量assign(k)を求めることにより目標符号量に対して符号量のロスが少ない、高効率の符号量制御を実現することができる。
【００４３】
次にステップＳ４へ移行し、演算処理部１０６は、各ブロック毎に求めたassign(k)を、最後に各ブロック毎のdpcm(k)と比較する。その結果、assign(k)がdpcm(k)以上であれば、ステップＳ５へ移行し、またassign(k)がdpcm(k)を下回る場合には、ステップＳ６へ移行する。
【００４４】
ステップＳ５へ移行した場合には、ステップ当該ブロックkについて、画像品質の高いＤＰＣＭパスを介して符号化しても、総符号量を目標符号量以下に抑えることができることを意味する。かかる場合において、演算処理部１０６は、セレクト信号をＤＰＣＭ側に切り替え、assign(k)をdpcm(k)に置き換えて出力する。
【００４５】
ステップＳ６へ移行した場合には、当該ブロックkについては上述の如くassign(k)を求めることにより見積もった符号量よりも、ＤＰＣＭパスによる符号量の方が多いため、ＤＣＴ側を選択した方が、総符号量を目標符号量に対して低く抑えることができる。このため演算処理部１０６は、セレクト信号をＤＣＴ側にして、求めたassign(k)をそのまま出力する。
【００４６】
この演算処理部１０６において、このassign(k)と、dpcm(k)を、ＤＣＴパス又はＤＰＣＭパスの何れを選択するかについての優先度と考えることができる。この優先度に基づいて、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するものであれば、いかなる選択方法を適用してもよい。例えば、この優先度が等しい場合には、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するようにしてもよいし、ＤＰＣＭパスを選択するようにしてもよい。
【００４７】
またステップＳ４における優先度は、assign(k)、dpcm(k)に基づく場合に限定されるものではない。即ち、ステップＳ４における比較において、所定の優先度に基づくものであれば、例えば、assign(k)がdpcm(k)以上であっても、ステップＳ６へ移行する場合もある。
【００４８】
予測系４からは、この演算処理部から出力される割当符号量assign(k)と、セレクト信号が出力される。この出力された割当符号量assign(k)は、二分探索部２４へ供給される。
【００４９】
二分探索部２４は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。二分探索部２４は、この量子化ステップを決定する際に、特願平４−１１０８５８号公報に提案した方法を採用しても良い。発生符号量が量子化ステップの増大に対して単調減少することを利用して二分探索法によって量子化ステップを決定する。この決定された量子化ステップにより、量子化器２５により量子化される。なお二分探索法は一例に過ぎず、ブロックの発生符号量が目標符号量に収まるように量子化ステップが決定されるのであればどのような方式であってもよい。
【００５０】
一方、セレクト信号がＤＰＣＭ側に切り替わっている場合には、セレクタ３０がＤＰＣＭパスに切り替えられ、当該ブロックについては、ＤＰＣＭを介した符号化が行なわれることになる。
【００５１】
なお、演算処理部１０６は、それぞれ目標符号量の直上、直下にあるtotal(j-1)と、total(j)を識別することができない場合には、total(j-1)と、total(j)の間に目標符号量を挟み込むいわゆる内挿により割当符号量assign(k)を求めることができない。かかる場合には、目標符号量を挟まず、かつ目標符号量に最も近い、二つのtotal(j-1)とtotal(j)を用いるいわゆる外挿により、assign(k)を求める。かかる外挿においても、割当符号量assign(k)は、上式（１）〜（３）を用いて計算する。しかしながら、この場合においてＤＰＣＭパスの符号量が小さいという理由で、ＤＰＣＭパスを介して符号化しても、却って符号量が余る場合がある。かかる場合には、図４に示すフローチャートの如くassign(k)と総符号量total_tmp（assign(k)の１フレーム分の総数）を、total(j-1)及びtotal(j)の２つのうち、目標符号量からより遠い方と置き換えてassign(k)を計算するようにしてもよい。
【００５２】
この図４に示すフローチャートにおいて、先ずステップＳ１１で処理ループllを初期値に設定し、ステップＳ１２へ移行する。ステップＳ１２では、目標符号量に最も近いtotal(j-1)とtotal(j)を用いてassign(k)を上式により計算し、ステップＳ１３へ移行する。ステップＳ１３において全てのブロックにつきassign(k)を求めることにより、１フレーム分の総符号量total_tmpを求めることができたか判定する。総符号量total_tmpを求められている場合のみステップＳ１４へ移行し、それ以外はステップＳ１２の処理を繰り返す。
【００５３】
次にステップＳ１４へ移行し、現在のループllが処理ループの総数に達したか判断する。ここで現在のループllが処理ループの総数に達した場合は、繰り返し処理の末、所望のassign(k)が求められたことが示され、ループから抜ける。一方、現在のループllが処理ループの総数に達していない場合には、ステップＳ１５へ移行する。なお、この処理ループの総数は、例えば５回等任意に設定することができる。
【００５４】
ステップＳ１５において、抽出したtotal(j-1)とtotal(j)において、いずれが目標符号量に近いかを判定する。具体的には、abs(M-total(j))とabs(M-total(j-1))とを比較し、いずれが大きいか判定する。その結果、abs(M-total(j))＞abs(M-total(j-1))の場合には、変数jjをjに置き換える。一方、abs(M-total(j))≦abs(M-total(j-1))の場合には、変数jjをj-1に置き換える（なおこのabs()は絶対値を意味する）。すなわち、抽出したtotal(j-1)とtotal(j)のうち、総符号量Mと遠い方の値が選択され、変数jjにそれぞれ代入されることとなる。
【００５５】
次にステップＳ１６において、１フレーム分の総符号量total_tmpを、total(jj)とする。これにより、１フレーム分の総符号量total_tmpを、総符号量Mと遠い方のtotal(j-1)或いはtotal(j)に置き換えることができる。
【００５６】
次に、ステップＳ１７へ移行し、各ブロックについて求めたassign(k)を、各ブロック毎にlength(jj,k)へ割り振る。これにより、次のループllへ移行して再度assign(k)を求める場合には、値の割り振られたlength(jj,k)を参酌することが可能となる。
【００５７】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置１は、ブロック毎に、ＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、更には画像の圧縮過程における歪みを低減させることが可能となる。また、二分探索法を用いて量子化ステップを決定することができるため、予測部４における量子化ステップの数を抑えることができ、回路構成を簡単にできる分においてハード的に有利となる。
【００５８】
なお、本実施の形態は、上記記載に限定されるものではない。例えば図５に示す画像圧縮符号化装置５のように、二分探索部等の探索部を用いない構成にも適用可能である。以下、画像圧縮符号化装置５の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。
【００５９】
この画像圧縮符号化装置５は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。
【００６０】
本線系２は、ＦＩＦＯ(First In First Out)メモリ２１,ＤＣＴ部,量子化部３５,第１の可変長符号化部２６からなるＤＣＴパスと、ＤＰＣＭ部２８,第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００６１】
量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部２６へ供給する。
【００６２】
セレクタ３０は、第１の可変長符号化部２６、及び／又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる場合もある。
【００６３】
予測系４は、ＤＣＴ部４１,ｎ個の量子化器４２−１〜４２−ｎ,ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５,符号量変換器４６からなるＤＰＣＭパスと、演算部４８とを備える。ちなみに、この予測系４におけるＤＣＴパスの処理段数ｎは、量子化ステップの総数に相当する。これは二分探索法を採用する画像圧縮符号化装置１と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現するためである。
【００６４】
演算部４８は、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４８は、これらの入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて、本線系２へ出力する。本線系２に出力された割当符号量は量子化部３５へ送られ、またセレクト信号はセレクタ３０へ送られる。ちなみにこの演算部４８において、例えば１フレーム分の総符号量を求める場合にブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。
【００６５】
次に、この演算部４８による割当符号量の算出について説明をする。図６は、演算部４８の構成例を示している。演算部４８は、ｎ個の比較部２０１−１〜２０１−ｎと、ｎ個のセレクタ２０２−１〜２０２−ｎと、ｎ個のメモリ２０３−１〜２０３−ｎと、ｎ個の加算器２０４−１〜２０４−ｎと、ｎ個の累積回路２０５−１〜２０５−ｎと、演算処理部２０６とを備える。
【００６６】
比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量length(1,k)〜length(n,k)が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量dpcm(k)が入力される。例えば、比較部２０１−１には、符号量変換部４３−１からの符号量length(1,k)と、ＤＰＣＭ処理された符号量dpcm(k)が入力される。この比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、及びＤＰＣＭパスを介して入力された符号量dpcm(k)について小さい方を選択し、選択した情報を含むセレクト信号を出力する。
【００６７】
セレクタ２０２−１〜２０２−ｎは、比較部２０１−１〜２０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ２０２−１〜２０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ２０２−１〜２０２−ｎにより選択された符号量は、そのままメモリ２０３−１〜２０３−ｎ、加算器２０４−１〜２０４−ｎへ供給される。
【００６８】
メモリ２０３−１〜２０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ２０３−１〜２０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００６９】
加算器２０４−１〜２０４−ｎ及び累積回路２０５−１〜２０５−ｎは、セレクタ２０２−１〜２０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量total(1)〜total(n)とする。累積回路２０５−１〜２０５−ｎは、得られた総符号量total(1)〜total(n)を順次演算処理部２０６へ送信する。
【００７０】
演算処理部２０６は、各累積回路２０５−１〜２０５−ｎから夫々総符号量total(1)〜total(n)を受信する。この演算処理部２０６は、１フレーム分の目標符号量とこれらの総符号量total(1)〜total(n)を比較し、目標符号量以上である総符号量total(j-1)と、目標符号量以下である総符号量total(j)とを特定する。すなわち、このtotal(j-1)とtotal(j)は、目標符号量を挟むように存在するものを指し、jは、total(j-1)＞目標符号量を満たすjのうち、最大のものを示す。
【００７１】
演算処理部２０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、assign(k)を決定して上述した量子化部３５へ送信する。
【００７２】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置５は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、この演算処理部１０６において、assign(k)、dpcm(k)をいわゆる優先度とし、この優先度が同レベルの場合には、ＤＰＣＭパスを優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となり、更にＤＣＴパスにより符号化する際に、精度の良い量子化コントロールを期待することができる。なお、本実施の形態では、優先度に基づいて選択する場合に限定されるものではない。
【００７３】
なお、本実施の形態は、更に図７に示す画像圧縮符号化装置６のように、ＤＰＣＭについて量子化を伴う構成にも適用可能である。以下、画像圧縮符号化装置６の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。
【００７４】
この画像圧縮符号化装置６は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。
【００７５】
本線系２は、ＦＩＦＯ(First In First Out)メモリ２１,ＤＣＴ部２２,ＦＩＦＯメモリ２３,二分探索部２４,量子化部２５,第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７,量子化部３５,ＤＰＣＭ部２８,第２の可変長符号化部２９,二分探索部３６からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。
【００７６】
量子化部３５は、ＦＩＦＯメモリ２７に格納されたデータを受給し、ブロック単位で二分探索部３６により決められた量子化ステップにより量子化する。量子化部３５は、この量子化されたデータをＤＰＣＭ部２８へ供給する。
【００７７】
すなわち、この量子化を伴うＤＰＣＭパスを経ることにより、画像の圧縮の過程において何らかの歪みが付加されることになる。このためＤＣＴパスとＤＰＣＭパスのいずれかを選択する場合には、画像圧縮符号化装置１と同様に、符号量の小さい方を優先することに加え、圧縮の過程における歪みが小さい方をも優先的に選択する必要がある。具体的には、圧縮による歪みは、量子化により左右されるものであり、ＤＣＴとＤＰＣＭそれぞれに対して量子化ステップに応じて生じる。このため予測系４は、量子化を伴うＤＣＴパスからの符号量と、同じく量子化を伴うＤＰＣＭパスからの符号量に加え、画像の歪みを比較して、本線系２にセレクト信号を送る必要がある。
【００７８】
かかる予測系４の実現例について以下説明する。この予測系４は、図７に示すように、ＤＣＴ部４１,ｎ個の量子化器４２−１〜４２−ｎ,ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ｍ個の量子化器５１−１〜５１−ｍ,ｍ個のＤＰＣＭ部５２−１〜５２−ｍ,ｍ個の符号量変換部５３−１〜５３−ｍからなるＤＰＣＭパスと、演算部５４とを備える。
【００７９】
ｍ個の量子化器５１−１〜５１−ｍは、ブロック単位で画像信号を受給し、夫々異なる量子化ステップで量子化する。すなわち、ＤＰＣＭパスにおいてもｍ個の量子化ステップによりサンプリングすることが可能となる。
【００８０】
ＤＰＣＭ部５２−１〜５２−ｍは、量子化された画像信号についてブロック毎にＤＰＣＭを施し、符号量変換部５３−１〜５３−ｍへ供給する。符号量変換部５３−１〜５３−ｍは、これらのＤＰＣＭ化された信号についてブロック毎に符号化して演算部５４へ出力する。
【００８１】
演算部５４は、ＤＣＴパス側からは、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量等が入力され、ＤＰＣＭパス側からは、異なる量子化ステップにより量子化されＤＰＣＭ処理された符号量等が入力される。演算部５４は、これらの入力される各ブロック毎の符号量や画像の歪みを比較して、各ブロック毎の割当符号量とセレクト信号とを求め、本線系２へ出力する。なお、この予測系４においてＤＰＣＭ部５２−１〜５２−ｍと、量子化器５１−１〜５１−ｍとを入れ換えて構成してもよい。これにより、先ずＤＰＣＭ部５２−１〜５２−ｍにおいて、ＤＰＣＭ化された信号を夫々異なる量子化ステップで量子化することができる。
【００８２】
次に、この演算部５４による割当符号量の算出について説明をする。図８は、演算部５４の構成例を示している。演算部５４は、ｎ個の比較部３０１−１〜３０１−ｎと、ｎ個のセレクタ３０２−１〜３０２−ｎと、ｎ個のメモリ３０３−１〜３０３−ｎと、ｎ個の加算器３０４−１〜３０４−ｎと、ｎ個の累積回路３０５−１〜３０５−ｎと、演算処理部３０６とを備える。
【００８３】
比較部３０１−１〜３０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量length(1,k)〜length(n,k)が入力され、またＤＰＣＭパスを介して符号量変換器５３−１〜５３−ｍからＤＰＣＭ処理された符号量dpcm(1,k)〜dpcm(m,k)が入力される。なお、この比較部３０１−１〜３０１−ｎは、ＤＣＴパスにおける符号量と、当該ＤＣＴパスにおける符号量よりも歪みが小さくなるＤＰＣＭパスにおける符号量とを比較するようにする。ちなみに図８に示す例において、比較部３０１−１や比較部３０１−２に入力されるdpcm(1,k)は、length(1,k)やlength(2,k)よりも歪みが小さく、また比較部３０１−３に入力されるdpcm(3,k)は、length(3,k)よりも歪みが小さい。
【００８４】
比較部３０１−１〜３０１−ｎは、この入力されたＤＣＴパスからの符号量と、ＤＰＣＭパスからの符号量について小さい方を選択し、選択した情報を含むセレクト信号を出力する。これにより、画像の圧縮による歪みを抑えつつ、目標符号量を満たすように、セレクト信号を出力することが可能となる。
【００８５】
セレクタ３０２−１〜３０２−ｎは、比較部３０１−１〜３０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ３０２−１〜３０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ３０２−１〜３０２−ｎにより選択された符号量は、そのままメモリ３０３−１〜３０３−ｎ、加算器３０４−１〜３０４−ｎへ供給される。
【００８６】
メモリ３０３−１〜３０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ３０３−１〜３０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。
【００８７】
加算器３０４−１〜３０４−ｎ及び累積回路３０５−１〜３０５−ｎは、セレクタ３０２−１〜３０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量total(1)〜total(n)とする。累積回路３０５−１〜３０５−ｎは、得られた総符号量total(1)〜total(n)を順次演算処理部３０６へ送信する。
【００８８】
演算処理部３０６は、各累積回路３０５−１〜３０５−ｎから夫々総符号量total(1)〜total(n)を受信する。この演算処理部３０６は、１フレーム分の目標符号量とこれらの総符号量total(1)〜total(n)を比較し、目標符号量以上である総符号量total(j-1)と、目標符号量以下である総符号量total(j)とを特定する。これらの特定した符号量に基づく割当符号量assign(k)の計算については、画像圧縮符号化装置１における演算部４４の説明を引用し、説明を省略する。
【００８９】
このようにして予測系４からは、この演算処理部から出力される割当符号量assign(k)と、セレクト信号が出力される。この出力された割当符号量assign(k)は、二分探索部２４,３６へ供給される。
【００９０】
二分探索部２４,３６は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。決定された量子化ステップに基づき、本線系２における量子化部２５,３５はブロック単位で量子化を施す。
【００９１】
なおこの画像圧縮符号化装置６は、図７に示す構成に限定されるものではなく、例えば図９に示すように、二分探索法を用いない構成にも適用可能である。
【００９２】
この図９に示す画像圧縮符号化装置６の例では、量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータを可変長符号化部２６へ供給する。
【００９３】
演算処理部３０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、量子化ステップを決定して上述した量子化部３５へ送信する。これにより、二分探索法を採用する図７に示す画像圧縮符号化装置６と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現することが可能となる。
【００９４】
以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置６は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択した場合には、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【００９５】
なお、本実施の形態は、画像圧縮符号化装置１,５,６に適用される場合に限定されるものではない。例えば、この画像圧縮符号化装置１,５,６の各構成要素を伝送路上に配設することにより、伝送路上においても、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【００９６】
なお、本実施の形態ではブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成することにより可逆的な画像圧縮を行うが、かかる場合に限定されるものではない。また、非可逆的な画像圧縮方式についてもＤＰＣＭに限定されるものではない。即ち、第１の圧縮方式と、第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いるものであればよい。
【００９７】
またこの第１の圧縮方式と第２の圧縮方式とを切り替えることができる画像圧縮符号化装置及び方法、プログラムに対しても適用可能である。
【００９８】
この画像圧縮符号化装置は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化装置において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算手段と、上記演算手段により演算された総符号量と、等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択手段と、上記選択手段によって選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化手段とを備える。
【００９９】
このような画像圧縮符号化装置において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式としてもよい。また、上記演算手段により演算された総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定手段をさらに備え、上記選択手段は、上記決定手段により決定された量子化ステップにより上記量子化する第１の圧縮方式、或いは上記第２の圧縮方式の一方を符号化方式選択単位毎に選択するようにしてもよい。上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式を所定の優先度に基づいて選択するようにしてもよい。また上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、上記第１の圧縮方式、或いは上記第２の圧縮方式のうちいずれか一方を選択するようにしてもよい。また、上記選択手段は、上記第２の圧縮方式を優先的に選択するようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Discrete Cosine Transform）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化(Lossless)方式としてもよい。また、上記第２の圧縮方式は、上記画像信号をＤＰＣＭ(Differential Pulse Code Modulation)によって符号化する方式としてもよい。また、上記演算手段は、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量を上記符号化方式選択単位毎に加算することにより、等長化単位の総符号量を演算してもよい。
【０１００】
この画像圧縮符号化方法は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化方法において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算工程と、上記演算工程において演算された総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択工程と、上記選択工程において選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化工程とを有する。
【０１０１】
このような画像圧縮符号化方法において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式であり、上記演算した総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定工程をさらに備え、上記選択工程では、上記決定工程で決定された量子化ステップにより上記第１の圧縮方式、或いは上記第２の圧縮方式が、上記符号化方式選択単位毎に選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式が所定の優先度に基づいて選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、第１の圧縮方式或いは上記第２の圧縮方式のうちいずれか一方が選択されるようにしてもよい。また上記選択工程では、上記第２の圧縮方式が優先的に選択されるようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Discrete Cosine Transform）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化(Lossless)方式により符号化する方式としてもよい。また、上記第２の圧縮方式は、入力画像信号をＤＰＣＭ(Differential Pulse Code Modulation)によって符号化する方式としてもよい。また、上記演算工程では、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量が上記符号化方式選択単位毎に加算されることにより、等長化単位の総符号量が演算されるようにしてもよい。
【０１０２】
また、このプログラムでは、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位単位で選択して画像信号を圧縮符号化することをコンピュータに実行させるプログラムにおいて、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算し、演算した総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択し、上記選択した圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化することをコンピュータに実行させる。
【０１０３】
このような構成からなる画像圧縮符号化装置及び方法、プログラムでは、ブロック毎に、複数の量子化ステップにより量子化された第１の圧縮方式、或いは第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式からの符号量を効率よく、また目標符号量を満たすように選択することができる。また、第２の圧縮方式からの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【０１０４】
【発明の効果】
以上詳細に説明したように、本発明に係る画像圧縮符号化装置及び方法は、ブロック毎に、多くの量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、また目標符号量を満たすように選択することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像圧縮符号化装置の内部構成例を示した図である。
【図２】演算部の内部構成について説明するための図である。
【図３】演算処理部の処理手順を示すフローチャートである。
【図４】 total(j-1)及びtotal(j)のうち、目標符号量から離れたものと置き換えてassign(k)を計算する場合について説明するためのフローチャートである。
【図５】二分探索法を用いない画像圧縮符号化装置の構成を示した図である。
【図６】二分探索法を用いない画像圧縮符号化装置における演算部について説明するための図である。
【図７】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置の構成について示した図である。
【図８】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置における演算部について説明するための図である。
【図９】ＤＰＣＭについて量子化を伴う画像圧縮符号化装置において、二分探索法を用いない場合について説明するための図である。
【図１０】ＭＰＥＧ方式を利用した従来の画像圧縮符号化装置の構成を示した図である。
【符号の説明】
１,５,６画像圧縮符号化装置、２本線系、４予測系、１１端子、１２ブロック分割部、２１,２３,２７ＦＩＦＯメモリ、２２ＤＣＴ部、２４二分探索部、２５量子化部、２６第１の可変長符号化部、２８ＤＰＣＭ部、２９第２の可変長符号化部、３０セレクタ、３１バッファ[0001]
BACKGROUND OF THE INVENTION
The present invention is applied to, for example, MPEG (Moving Picture image coding Experts Group) and the like, and image compression capable of controlling the amount of information generated by encoding using, for example, DCT (Discrete Cosine Transform) or, for example, DPCM (Differential Pulse Code Modulation). The present invention relates to an encoding apparatus and method.
[0002]
[Prior art]
For example, in a system for transmitting a moving image signal to a remote place such as a video conference system and a videophone system, the amount of information becomes extremely large if the moving image signal is digitized as it is. However, it is possible to reduce the amount of information by compressing and encoding the image signal using the line correlation and inter-frame correlation of the video signal, and it becomes possible to transmit a large number of moving images at one time, and consequently, recording It is possible to record a long-time moving image on the medium. The MPEG system is a typical high-efficiency encoding system for moving images. In this MPEG system, code amount control is performed so that the bit stream sent to the transmission path has a desired rate.
[0003]
FIG. 10 shows a configuration of a conventional image compression coding apparatus 7 represented by the MPEG system. This conventional image compression encoding device 7 realizes irreversible image compression based on a DCT encoding method in which an input image signal is quantized after DCT conversion. The image compression encoding device 7 includes a terminal 71, a block division unit 72, a DCT unit 73, a quantization unit 74, a variable length encoding unit 75, and a buffer 79.
[0004]
In FIG. 10, an image signal composed of a luminance signal Y and color difference signals Pb and Pr is input to a terminal 71.
[0005]
The block dividing unit 72 divides the input image signal of one frame into, for example, 8 × 8 blocks, and outputs them to the DCT unit 73.
[0006]
The DCT unit 73 generates DCT coefficients by performing DCT for each 8 × 8 block, and outputs the DCT coefficients to the quantization unit 74. The quantization unit 74 quantizes the DCT coefficient input from the DCT unit 73 by a quantization step determined in units of blocks. The quantization unit 74 supplies the quantized data (hereinafter referred to as a quantization level) to the variable length coding unit 75. The variable length coding unit 75 performs variable length coding on the quantization level supplied from the quantization unit 74 by a method such as two-dimensional Huffman coding or arithmetic coding.
[0007]
Incidentally, the code amount control in the image compression encoding device 7 is performed by controlling the quantization step. This code amount control may be performed by feedback control using, for example, the remaining amount of the virtual buffer and the relationship between the quantization step and the generated code amount at the time of previous encoding.
[0008]
In this image compression coding apparatus 7, it is necessary to perform code amount control so that the total code amount generated in one frame (equal length unit) does not always exceed the set target code amount. However, if a large amount of the total code amount is left to satisfy the target code amount, the image quality is deteriorated. For this reason, conventionally, a code amount control method for using up the total code amount while satisfying the target code amount has been proposed. In this code amount control method, the code amount generated in the equal length unit is calculated in advance for a plurality of quantization steps, and an appropriate quantization step is determined within a range where the generated code amount does not exceed the target code amount. Yes, for example, it has been proposed as a feed-forward method (for example, see Patent Document 1).
[0009]
In this conventional code amount control method such as the feedforward method, if the quantization step is increased, the quantization becomes coarser and the total code amount is reduced. Become. Further, since only a discrete value can be obtained by quantization, the total code amount is also discrete. That is, the total code amount can be controlled by controlling this quantization step in units of blocks. In order to use up the total code amount while satisfying the target code amount, it is necessary to select the smallest quantization step that is equal to or smaller than the target code amount for each block.
[0010]
By the way, the feedforward method that quantizes this DCT coefficient by the quantization step determined in units of blocks adds some distortion in the process of image compression / decompression, so that the original image quality can be maintained. I can't. For this reason, ideally, it is necessary to prevent deterioration of image quality by adopting a lossless encoding (Lossless) method, such as DPCM, which can store the original information after the compression / decompression process. there were.
[0011]
[Patent Document 1]
International Publication WO 96/28937
[0012]
[Problems to be solved by the invention]
By the way, when adopting the above-described lossless encoding method, it may not be possible to realize code amount control that does not exceed the set target code amount, so the feedforward method and the lossless encoding method are combined, It is necessary to use up the total frame code amount so as not to exceed the target code amount.
[0013]
However, each method cannot be efficiently selected for each block, and the total code amount of the entire frame cannot be controlled while referring to the target code amount.
[0014]
Therefore, the present invention has been proposed in view of the above-described circumstances, and the total code amount of the entire frame can be efficiently controlled by efficiently selecting the feedforward method or the lossless encoding method for each block. image Coding An object is to propose an apparatus and method, a program, and a recording medium.
[0015]
[Means for Solving the Problems]
In order to solve the above problems, an image encoding apparatus to which the present invention is applied is an image encoding apparatus that encodes an input image signal in an encoding method selection unit. Of the first compression method that performs quantization by a plurality of quantization steps, or the second compression method that has a lower compression rate and lower loss than the first compression method. , The smaller code amount For each encoding method selection unit, and a selection means for outputting a select signal for the selected compression method, and a code amount according to the first compression method according to the select signal output by the selection means, or A switching means for switching the code amount according to the second compression method, and calculating the total code amount of the equal length unit by adding the code amount switched by the switching means for each encoding method selection unit. Based on the total code amount of equal length units calculated for each equalization step and the target code amount of equal length units, The first total code amount closest to the target code amount among the total code amounts of the equal length unit exceeding the target code amount of the equal length unit, and the equal length unit equal to or less than the target code amount of the equal length unit A second total code amount closest to the target code amount among the total code amounts is obtained, and a linear interpolation is performed on the code amount for each encoding method selection unit corresponding to each of the first and second total code amounts. To For each encoding method selection unit of Calculate the allocated code amount and calculate the allocated code amount Is compared with the code amount of the second compression method in the encoding method selection unit, and the compression method with the smaller code amount is selected. Based on the arithmetic processing means for outputting the selection signal, the allocated code amount calculated by the arithmetic processing means, and the selection signal output by the arithmetic processing means, the input image signal is determined by the encoding method selection unit. A first pass that is encoded using a first compression method that is quantized by a quantization step, and a second compression method that compresses the input image signal with a lower compression rate and less loss than the first compression method. One of the second pass to encode using In addition to selecting by the selection signal, the quantization step is performed by the allocated code amount And encoding means for selecting and encoding the input image signal in an encoding method selection unit.
[0016]
In addition, an image encoding method to which the present invention is applied is an image encoding method for encoding an input image signal in units of encoding method selection in order to solve the above-described problems. Of the first compression method that performs quantization by a plurality of quantization steps in a selected unit, or the second compression method that has a lower compression rate and lower loss than the first compression method. , The smaller code amount Is selected for each encoding method selection unit, a select signal is output for the selected compression method, and the code amount according to the first compression method or the second compression method is selected according to the output select signal. The total code amount of the equal length unit is calculated by switching the code amount by the above, and adding the switched code amount for each encoding scheme selection unit, and the equal length unit calculated for each quantization step is calculated. Based on the total code amount and the target code amount of equal length units, The first total code amount closest to the target code amount among the total code amounts of the equal length unit exceeding the target code amount of the equal length unit, and the equal length unit equal to or less than the target code amount of the equal length unit A second total code amount closest to the target code amount among the total code amounts is obtained, and a linear interpolation is performed on the code amount for each encoding method selection unit corresponding to each of the first and second total code amounts. To For each encoding method selection unit of Calculate the allocated code amount and calculate the allocated code amount Is compared with the code amount of the second compression method in the encoding method selection unit, and the compression method with the smaller code amount is selected. A selection signal is output, and an input image signal is encoded using a first compression scheme that is quantized by a quantization step determined by a coding scheme selection unit based on the allocated code amount and the selection signal. Either one of the first pass and the second pass for encoding the input image signal using the second compression method having a lower compression rate and smaller loss than the first compression method. In addition to selecting by the selection signal, the quantization step is performed by the allocated code amount. The input image signal is selected and encoded in units of encoding method selection.
[0017]
Further, in order to solve the above-described problems, a program to which the present invention is applied and a recording medium on which the program is recorded are provided for causing a computer to execute processing for encoding an input image signal in units of encoding method selection. In a recording medium on which a program is recorded, the first compression method for quantizing the input image signal by a plurality of quantization steps in encoding method selection units, or a lower compression ratio and loss than the first compression method. Of the small second compression method , The smaller code amount Is selected for each encoding method selection unit, a select signal is output for the selected compression method, and the code amount according to the first compression method or the second compression method is selected according to the output select signal. The total code amount of the equal length unit is calculated by switching the code amount by the above, and adding the switched code amount for each encoding scheme selection unit, and the equal length unit calculated for each quantization step is calculated. Based on the total code amount and the target code amount of equal length units, The first total code amount closest to the target code amount among the total code amounts of the equal length unit exceeding the target code amount of the equal length unit, and the equal length unit equal to or less than the target code amount of the equal length unit A second total code amount closest to the target code amount among the total code amounts is obtained, and a linear interpolation is performed on the code amount for each encoding method selection unit corresponding to each of the first and second total code amounts. To For each encoding method selection unit of Calculate the allocated code amount and calculate the allocated code amount Is compared with the code amount of the second compression method in the encoding method selection unit, and the compression method with the smaller code amount is selected. A selection signal is output, and an input image signal is encoded using a first compression scheme that is quantized by a quantization step determined by a coding scheme selection unit based on the allocated code amount and the selection signal. Either one of the first pass and the second pass for encoding the input image signal using the second compression method having a lower compression rate and smaller loss than the first compression method. In addition to selecting by the selection signal, the quantization step is performed by the allocated code amount. And selecting and encoding the input image signal in units of encoding method selection.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0019]
The image compression coding apparatus according to the present embodiment realizes irreversible image compression by quantizing an input image signal after DCT (Discrete Cosine Transform) conversion, for example, or the input image signal is input The image signal is reversibly encoded based on, for example, DPCM (Differential Pulse Code Modulation).
[0020]
As shown in FIG. 1, an image signal composed of a luminance signal Y and color difference signals Pb and Pr is input to the image compression encoding device 1 through a terminal 11. The block dividing unit 12 selects an input image signal of one frame in a coding method selection unit, and transmits it to the main line system 2 and the prediction system 4. The encoding method selection unit indicates, for example, an 8 × 8 block unit, a 16 × 16 macroblock unit, a slice unit, or a case of dividing into image regions including a plurality of pixels. A case where the data is divided in units of blocks will be described as an example.
[0021]
The main line 2 includes a first-in first-out (FIFO) memory 21, a DCT unit 22, a FIFO memory 23, a binary search unit 24, a quantization unit 25, a first variable length coding unit 26, and a FIFO memory. 27, a DPCM path including a DPCM unit 28 and a second variable length encoding unit 29, a selector 30, and a buffer 31.
[0022]
First, the DCT path will be described. Data supplied to the main line 2 is temporarily stored in the FIFO memory 21 in order to adjust an interval from the prediction system 4 until a select signal and code amount to be described later are supplied. The data stored in the FIFO memory 21 is supplied to the DCT unit 22 and the FIFO memory 27.
[0023]
The DCT unit 22 generates DCT coefficients by performing DCT for each 8 × 8 block, and transmits the DCT coefficients to the FIFO memory 23 and the binary search unit 24. The DCT coefficients temporarily stored in the FIFO memory 23 are output to the quantization unit 25. The quantization unit 25 quantizes the DCT coefficient input from the DCT unit 22 by a quantization step determined by the binary search unit 24 in units of blocks. The quantization unit 25 supplies the quantized data (hereinafter referred to as a quantization level) to the first variable length coding unit 26. The first variable length coding unit 26 performs variable length coding on the quantization level supplied from the quantization unit 25 by a method such as two-dimensional Huffman coding or arithmetic coding. Incidentally, in the image compression coding apparatus 1 according to the present embodiment, a configuration in which the first variable length coding unit 26 is omitted may be applied.
[0024]
That is, by passing through this DCT path, the image signal can be encoded based on the quantization step supplied to each block via the binary search unit 24, so the total code amount of one frame is the target code. It is possible to control so as not to exceed the amount. The method using the binary search unit 24 is merely an example, and other methods may be used.
[0025]
Next, the DPCM path will be described. The DPCM unit 28 is supplied with data stored on the FIFO memory 27 that plays a role of a delay element in the above-described DCT path, and performs DPCM on the data for each block to provide a second variable length encoding unit. 29. The second variable length coding unit 29 performs variable length coding on the data subjected to DPCM by a method such as two-dimensional Huffman coding or arithmetic coding. Note that the method of variable length coding in the second variable length coding unit 29 need not be the same as the method in the first variable length coding unit 26 described above. In addition, in the image compression encoding apparatus 1 according to the present embodiment, a configuration in which the second variable length encoding unit 29 is omitted may be applied.
[0026]
The selector 30 appropriately switches various data encoded by the first variable length encoding unit 26 or the second variable length encoding unit 29 and outputs the data together with the switching information to the buffer 31. Incidentally, the selector 30 is switched based on a select signal supplied from the prediction system 4.
[0027]
That is, through this DPCM pass, lossless encoding can be performed so that the original image quality can be maintained completely without any distortion being added.
[0028]
The prediction system 4 includes a DCT path 41, a DCT path including n quantizers 42-1 to 42-n and n code amount converters 43-1 to 43-n, a DPCM unit 45, and a code amount conversion. A DPCM path including a calculator 46 and a calculation unit 44. This prediction system 4 is provided so that the total code amount generated in the equal length unit can be calculated and an appropriate DCT path or DPCM path can be selected within a range in which the main line system 2 does not exceed the target code amount. . This equalization unit means one frame in the present embodiment, but is not limited to such a case. For example, an 8 × 8 block, a 16 × 16 macroblock, or a combination of slices thereof. It is good. Further, the equal length unit may be any image region composed of a plurality of pixels, and may further be a GOP unit in which frames are combined.
[0029]
First, the DCT path will be described. This DCT path realizes irreversible image compression based on, for example, a DCT encoding method in which an input image signal is quantized after DCT conversion, and has a higher compression rate than the DPCM path. Loss is great. Also, transform coding in this DCT path is not limited to DCT, and other transform coding methods may be used. Further, in this DCT pass, transform coding is performed in units of 8 × 8 blocks. However, the present invention is not limited to such a case, and the above macroblock units may be used, or an image area composed of a plurality of pixels may be used as one unit. It may be.
[0030]
Similar to the DCT unit 22, the DCT unit 41 generates DCT coefficients by performing DCT for each 8 × 8 block, and transmits the DCT coefficients to the quantizers 42-1 to 42-n. The quantizers 42-1 to 42-n quantize the DCT coefficients supplied from the DCT unit 41 in different quantization steps. As a result, the generated DCT coefficient can be tried by n quantization steps. Each quantizer 42-1 to 42-n supplies the generated quantization level to the code amount converters 43-1 to 43-n, respectively. The code amount converters 43-1 to 43-n convert the supplied quantization level into a code amount for each block, and transmit the code amount to the calculation unit 44. That is, in the code amount conversion in the code amount converters 43-1 to 43-n, the quantization level generated by the quantizers 42-1 to 42-n is variable-length encoded, and the code length is output. You may make it do.
[0031]
Next, the DPCM path will be described. This DPCM path realizes reversible image compression based on a lossless encoding (Lossless) method that can store original information through compression and decompression processes, such as DPCM. The loss is small with a low compression ratio. Further, in this DPCM pass, transform coding is performed in units of 8 × 8 blocks. However, the present invention is not limited to such a case, and the above macroblock units may be used, or an image area composed of a plurality of pixels may be used as one unit. It may be.
[0032]
The DPCM unit 45 receives data from the block dividing unit 12, performs DPCM for each block on these, and transmits them to the code amount converter 46. The code amount converter 46 encodes these DPCM signals for each block and transmits them to the arithmetic unit 44. That is, the code amount converter 46 may also perform variable length coding on the DPCM signal and output the code length.
[0033]
The code amount processed by different quantization steps is input from the code amount converters 43-1 to 43-n to the arithmetic unit 44, and the code amount subjected to DPCM processing is input from the code amount converter 46. Based on the input code amount for each block, the calculation unit 44 obtains the assigned code amount and select signal for each block and outputs them to the main line 2. Incidentally, when calculating the total code amount of the equal length unit in the calculation unit 44, it is necessary to calculate the accumulated value of the code amount for each block, so that calculation time for one frame is required.
[0034]
Next, calculation of the allocated code amount by the calculation unit 44 will be described. FIG. 2 shows a configuration example of the calculation unit 44. The calculation unit 44 includes n comparison units 101-1 to 101-n, n selectors 102-1 to 102-n, n memories 103-1 to 103-n, and n adders. 104-1 to 104-n, n accumulating circuits 105-1 to 105-n, and an arithmetic processing unit 106 are provided.
[0035]
The comparison units 101-1 to 101-n perform the code amount length (1, k) processed in different quantization steps from the code amount converters 43-1 to 43-n via the DCT path for the k-th block. ˜length (n, k) is input, and the code amount dpcm (k) subjected to DPCM processing is input from the code amount converter 46 via the DPCM path. For example, the code amount length (1, k) from the code amount conversion unit 43-1 and the DPCM-processed code amount dpcm (k) are input to the comparison unit 101-1. The comparison units 101-1 to 101-n include code amounts length (1, k) to length (n, k) input via the DCT path and code amounts dpcm (k) input via the DPCM path. ) To select the smaller one. Then, the comparison units 101-1 to 101-n receive the code amount length (1, k) to length (n, k) input through the DCT path and the code amount dpcm input through the DPCM path. A select signal indicating which one of (k) has been selected is output.
[0036]
The selectors 102-1 to 102-n respectively select the code amount supplied from the DCT path or the code amount supplied from the DPCM path according to the select signal supplied from the comparison units 101-1 to 101-n. . For example, when information indicating that the DCT path is selected is included in the select signal, the selectors 102-1 to 102-n are turned on to the DCT side. The code amount selected by the selectors 102-1 to 102-n is supplied to the memories 103-1 to 103-n and the adders 104-1 to 104-n as they are.
[0037]
The memories 103-1 to 103-n store, for each block, a select signal for identifying which code amount is selected and the code amount selected by the selectors 102-1 to 102-n. That is, at the stage where processing for an equal length unit, for example, one frame is completed, each of the memories 103-1 to 103-n stores a code amount selected in units of blocks and a select signal for one frame. It has become. In other words, in each of the memories 103-1 to 103-n, the code amount length (1, k) to length (n, k) input via the DCT path as the code amount selected in units of blocks, or One of the code amounts dpcm (k) input via the DPCM path is stored. Therefore, when the memories 103-1 to 103-n are combined, the code amount and the select signal selected in units of blocks are stored in the number n corresponding to the number of quantization steps.
[0038]
The adders 104-1 to 104-n and the accumulation circuits 105-1 to 105-n sequentially accumulate and add the code amount selected by the selectors 102-1 to 102-n for one frame. The code amounts added for one frame are defined as total code amounts total (1) to total (n), respectively. The accumulation circuits 105-1 to 105-n sequentially transmit the obtained total code amounts total (1) to total (n) to the arithmetic processing unit 106.
[0039]
The arithmetic processing unit 106 executes the procedure shown in FIG. 3 below when the total code amounts total (1) to total (n) are received from the accumulating circuits 105-1 to 105-n, respectively. First, in step S1, the arithmetic processing unit 106 compares the target code amount of equal length units with these total code amounts total (1) to total (n). Then, the arithmetic processing unit 106 specifies the total code amount total (j−1) closest to the target code amount among the total code amounts exceeding the target code amount. That is, the total code amount total (j−1) is a code amount immediately above the target code amount, and in other words, is composed of the minimum code amount among the total code amounts exceeding the target code amount. Further, the arithmetic processing unit 106 specifies the total code amount total (j) closest to the target code amount among the total code amounts equal to or less than the target code amount. That is, the total code amount total (j-1) is a code amount immediately below the target code amount, in other words, the maximum code amount among the total code amounts below the target code amount.
[0040]
Next, the process proceeds to step S2, and the arithmetic processing unit 106 determines each block stored in the memory 103-j-1 and the memory 103-j based on the identified total (j-1) and total (j). Read the code amount and select signal for each. Note that the code amount length (j−1, k) input via the DCT path or the code amount input via the DPCM path is stored in the memory 103-j−1 as the code amount of the kth block. dpcm (k) is stored. For this reason, in this step S2, the code amount read from the memory 103-j-1 is length (j-1, k) or dpcm (k). In addition, the code amount length (j, k) input through the DCT path or the code amount dpcm (k) input through the DPCM path is stored in the memory 103-j as the code amount of the kth block. Stored. Therefore, the code amount read from the memory 103-j in step S2 is length (j, k) or dpcm (k). Incidentally, in the subsequent steps, the code amount and the select signal for each block read from the memory 103-j-1 and the memory 103-j are used.
[0041]
Next, the process proceeds to step S3, and the arithmetic processing unit 106 calculates an assigned code amount assign (k) for each block by using linear interpolation.
[0042]
Here, the target code amount of the equal length unit is M, and the code amount read from the memory 103-j-1 is length (j-1, k), which is read from the memory 103-j. When the code amount is length (j, k), the assigned code amount assign (k) is obtained by the following equation (1).
assign (k) = {(total (j-1) -M) * length (j, k) + (M-total (j)) * length (j-1, k)} / {total (j-1) -total (j)} (1)
When the code amount read from the memory 103-j-1 is dpcm (k) and the code amount read from the memory 103-j is length (j, k), the assigned code amount assign ( k) is obtained by the following equation (2).
assign (k) = {(total (j-1) -M) * length (j, k) + (M-total (j)) * dpcm (k)} / {total (j-1) -total (j )} ... (2)
When the code amount read from the memory 103-j-1 is dpcm (k) and the code amount read from the memory 103-j is dpcm (k), the assigned code amount assign (k) Is obtained by the following equation (3).
assign (k) = {(total (j-1) -M) * dpcm (k) + (M-total (j)) * dpcm (k)} / {total (j-1) -total (j)} (3)
As described above, by obtaining the assigned code amount assign (k) to be assigned to each block, it is possible to realize highly efficient code amount control with little loss of code amount with respect to the target code amount.
[0043]
Next, the processing proceeds to step S4, and the arithmetic processing unit 106 finally compares assign (k) obtained for each block with dpcm (k) for each block. As a result, if assign (k) is greater than or equal to dpcm (k), the process proceeds to step S5. If assign (k) is less than dpcm (k), the process proceeds to step S6.
[0044]
When the process proceeds to step S5, it means that the total code amount can be suppressed to the target code amount or less even if the step block k is encoded through the DPCM path with high image quality. In such a case, the arithmetic processing unit 106 switches the select signal to the DPCM side, replaces assign (k) with dpcm (k), and outputs the result.
[0045]
When the process proceeds to step S6, since the code amount of the block k is larger by the DPCM path than the code amount estimated by obtaining assign (k) as described above, it is better to select the DCT side. The total code amount can be kept lower than the target code amount. For this reason, the arithmetic processing unit 106 sets the select signal to the DCT side and outputs the obtained assign (k) as it is.
[0046]
In the arithmetic processing unit 106, the assign (k) and dpcm (k) can be considered as priorities for selecting either the DCT path or the DPCM path. Any selection method may be applied as long as it selects either a DCT path or a DPCM path based on this priority. For example, when the priorities are equal, either the DCT path or the DPCM path may be selected, or the DPCM path may be selected.
[0047]
The priority in step S4 is not limited to the case based on assign (k) and dpcm (k). In other words, if the comparison in step S4 is based on a predetermined priority, for example, even if assign (k) is dpcm (k) or more, the process may move to step S6.
[0048]
The prediction system 4 outputs an assigned code amount assign (k) output from the arithmetic processing unit and a select signal. The output assigned code amount assign (k) is supplied to the binary search unit 24.
[0049]
The binary search unit 24 determines the quantization step so that the generated code amount of the block falls within the target code amount when the select signal is on the DCT side. The binary search unit 24 may adopt the method proposed in Japanese Patent Application No. 4-110858 when determining the quantization step. The quantization step is determined by the binary search method using the fact that the generated code amount monotonously decreases with respect to the increase of the quantization step. The quantizer 25 quantizes the determined quantization step. Note that the binary search method is merely an example, and any method may be used as long as the quantization step is determined so that the generated code amount of the block falls within the target code amount.
[0050]
On the other hand, when the select signal is switched to the DPCM side, the selector 30 is switched to the DPCM path, and the block is encoded via the DPCM.
[0051]
If the arithmetic processing unit 106 cannot identify total (j-1) and total (j) immediately above and below the target code amount, respectively, total (j-1) and total (j The assigned code amount assign (k) cannot be obtained by so-called interpolation that inserts the target code amount between j). In such a case, assign (k) is obtained by so-called extrapolation using two total (j-1) and total (j) that are closest to the target code amount without sandwiching the target code amount. Also in such extrapolation, the assigned code amount assign (k) is calculated using the above equations (1) to (3). However, in this case, because the code amount of the DPCM path is small, there may be a case where the code amount is excessive even if encoding is performed via the DPCM path. In such a case, as shown in the flowchart of FIG. 4, assign (k) and total code amount total_tmp (total of one frame of assign (k)) are set to two of total (j-1) and total (j). Alternatively, assign (k) may be calculated by substituting the code farther from the target code amount.
[0052]
In the flowchart shown in FIG. 4, first, in step S11, the processing loop ll is set to an initial value, and the process proceeds to step S12. In step S12, assign (k) is calculated by the above equation using total (j-1) and total (j) closest to the target code amount, and the process proceeds to step S13. In step S13, it is determined whether the total code amount total_tmp for one frame has been obtained by obtaining assign (k) for all blocks. Only when the total code amount total_tmp is obtained, the process proceeds to step S14, and otherwise, the process of step S12 is repeated.
[0053]
Next, the process proceeds to step S14 to determine whether the current loop ll has reached the total number of processing loops. Here, when the current loop ll reaches the total number of processing loops, it is indicated that a desired assign (k) has been obtained after repeated processing, and the process exits the loop. On the other hand, if the current loop ll has not reached the total number of processing loops, the process proceeds to step S15. Note that the total number of processing loops can be arbitrarily set, for example, five times.
[0054]
In step S15, it is determined which of the extracted total (j-1) and total (j) is closer to the target code amount. Specifically, abs (M-total (j)) and abs (M-total (j-1)) are compared to determine which is larger. As a result, if abs (M-total (j))> abs (M-total (j-1)), the variable jj is replaced with j. On the other hand, if abs (M-total (j)) ≤abs (M-total (j-1)), the variable jj is replaced with j-1 (note that abs () means an absolute value). That is, of the extracted total (j-1) and total (j), a value farther from the total code amount M is selected and assigned to the variable jj.
[0055]
Next, in step S16, the total code amount total_tmp for one frame is set to total (jj). As a result, the total code amount total_tmp for one frame can be replaced with total (j-1) or total (j) which is far from the total code amount M.
[0056]
Next, the process proceeds to step S17, and assign (k) obtained for each block is assigned to length (jj, k) for each block. As a result, when shifting to the next loop ll and obtaining assign (k) again, it is possible to take into account the assigned length (jj, k).
[0057]
As described in detail above, the image coding and compression apparatus 1 according to the present embodiment can select the code amount from the DCT path or the DPCM path efficiently for each block so as to satisfy the target code amount. it can. Further, by preferentially selecting the code amount from the DPCM pass, it is possible to prevent image quality deterioration. Accordingly, efficient code amount control can be realized without exceeding the capacity of a recording medium such as a VTR, and further, distortion in the image compression process can be reduced. Further, since the quantization step can be determined using the binary search method, the number of quantization steps in the prediction unit 4 can be suppressed, and the circuit configuration can be simplified, which is advantageous in terms of hardware.
[0058]
Note that the present embodiment is not limited to the above description. For example, the present invention can be applied to a configuration that does not use a search unit such as a binary search unit, such as the image compression encoding device 5 shown in FIG. Details of the image compression encoding device 5 will be described below. Note that the same circuit components as those of the above-described image compression encoding apparatus 1 are referred to for the description of the image compression encoding apparatus 1, and the description thereof is omitted.
[0059]
The image compression encoding device 5 receives an image signal composed of a luminance signal Y and color difference signals Pb and Pr via a terminal 11. The block dividing unit 12 divides the input image signal of one frame into, for example, 8 × 8 blocks, and transmits them to the main line system 2 and the prediction system 4.
[0060]
The main line 2 includes a DCT path including a FIFO (First In First Out) memory 21, a DCT unit, a quantization unit 35, and a first variable length coding unit 26, a DPCM unit 28, and a second variable length coding unit. 29, a DPCM path composed of 29, a selector 30, and a buffer 31.
[0061]
The quantization unit 35 quantizes the DCT coefficient input from the DCT unit 22 based on the quantization step determined in units of blocks. The quantization unit 35 supplies the quantized data (hereinafter referred to as a quantization level) to the variable length coding unit 26.
[0062]
The selector 30 appropriately switches various data encoded by the first variable length encoding unit 26 and / or the second variable length encoding unit 29, and outputs the data together with the switching information to the buffer 31. Incidentally, the selector 30 may be switched based on a select signal supplied from the prediction system 4.
[0063]
The prediction system 4 includes a DCT path 41, a DCT path including n quantizers 42-1 to 42-n and n code amount converters 43-1 to 43-n, a DPCM unit 45, and a code amount conversion. A DPCM path including a calculator 46 and a calculation unit 48. Incidentally, the number n of processing stages of the DCT path in the prediction system 4 corresponds to the total number of quantization steps. This is because the prediction can be attempted with many quantization steps as compared with the image compression encoding apparatus 1 that employs the binary search method, so that highly accurate quantization control is realized.
[0064]
The calculation unit 48 receives code amounts processed in different quantization steps from the code amount converters 43-1 to 43-n, and receives a code amount subjected to DPCM processing from the code amount converter 46. The calculation unit 48 obtains an assigned code amount and a select signal for each block based on the input code amounts for each block, and outputs them to the main line 2. The assigned code amount output to the main line 2 is sent to the quantization unit 35, and the select signal is sent to the selector 30. Incidentally, in this calculation unit 48, for example, when the total code amount for one frame is to be obtained, it is necessary to obtain the accumulated value of the code amount for each block, so that calculation time for one frame is required.
[0065]
Next, calculation of the allocated code amount by the calculation unit 48 will be described. FIG. 6 shows a configuration example of the calculation unit 48. The calculation unit 48 includes n comparison units 201-1 to 201-n, n selectors 202-1 to 202-n, n memories 203-1 to 203-n, and n adders. 204-1 to 204-n, n accumulating circuits 205-1 to 205-n, and an arithmetic processing unit 206 are provided.
[0066]
The comparison units 201-1 to 201-n receive code amounts length (1, k) to length (n, k) processed in different quantization steps from the code amount converters 43-1 to 43-n via the DCT path. ) And a code amount dpcm (k) subjected to DPCM processing is input from the code amount converter 46 via the DPCM path. For example, the code amount length (1, k) from the code amount conversion unit 43-1 and the DPCM-processed code amount dpcm (k) are input to the comparison unit 201-1. The comparison units 201-1 to 201-n include code amounts length (1, k) to length (n, k) input via the DCT path and code amounts dpcm (k) input via the DPCM path. ) Is selected, and a select signal including the selected information is output.
[0067]
The selectors 202-1 to 202-n respectively select the code amount supplied from the DCT path or the code amount supplied from the DPCM path in accordance with the select signal supplied from the comparison units 201-1 to 201-n. . For example, when information indicating that the DCT path is selected is included in the select signal, the selectors 202-1 to 202-n are turned on to the DCT side. The code amount selected by the selectors 202-1 to 202-n is supplied to the memories 203-1 to 203-n and the adders 204-1 to 204-n as they are.
[0068]
The memories 203-1 to 203-n store a select signal and a code amount for each block. That is, when the processing for one frame is completed, the memories 203-1 to 203-n store the code amount selected in units of blocks and select signals for n quantization steps. It has become.
[0069]
The adders 204-1 to 204-n and the accumulation circuits 205-1 to 205-n sequentially accumulate and add the code amount selected by the selectors 202-1 to 202-n for one frame. The code amounts added for one frame are defined as total code amounts total (1) to total (n), respectively. The accumulation circuits 205-1 to 205-n sequentially transmit the obtained total code amounts total (1) to total (n) to the arithmetic processing unit 206.
[0070]
The arithmetic processing unit 206 receives the total code amounts total (1) to total (n) from the accumulation circuits 205-1 to 205-n, respectively. The arithmetic processing unit 206 compares the target code amount for one frame with these total code amounts total (1) to total (n), and the total code amount total (j-1) that is equal to or larger than the target code amount, A total code amount total (j) that is less than or equal to the target code amount is specified. That is, the total (j-1) and total (j) are present so as to sandwich the target code amount, and j is the largest of j satisfying total (j-1)> target code amount. Show things.
[0071]
The arithmetic processing unit 206 estimates the optimum code amount for each block while referring to the n quantization steps based on the calculated total code amount. Based on the code amount estimated for each block, assign (k) is determined and transmitted to the quantization unit 35 described above.
[0072]
As described above in detail, the image coding / compression apparatus 5 according to the present embodiment efficiently and efficiently sets the code amount from the DCT path or DPCM path quantized by a plurality of quantization steps for each block. Selection can be made so as to satisfy the code amount. In this arithmetic processing unit 106, assign (k) and dpcm (k) are set as so-called priorities, and when the priorities are the same level, the DPCM path is preferentially selected, thereby degrading the image quality. Can be prevented. As a result, efficient code amount control can be realized without exceeding the capacity of a recording medium such as a VTR, and distortion in an image compression process can be reduced. Further, when encoding is performed by a DCT pass. Therefore, accurate quantization control can be expected. Note that the present embodiment is not limited to the selection based on the priority.
[0073]
In addition, this Embodiment is applicable also to the structure accompanied by quantization about DPCM like the image compression encoding apparatus 6 shown in FIG. Details of the image compression encoding device 6 will be described below. Note that the same circuit components as those of the above-described image compression encoding apparatus 1 are referred to for the description of the image compression encoding apparatus 1, and the description thereof is omitted.
[0074]
The image compression encoding device 6 receives an image signal composed of a luminance signal Y and color difference signals Pb and Pr via a terminal 11. The block dividing unit 12 divides the input image signal of one frame into, for example, 8 × 8 blocks, and transmits them to the main line system 2 and the prediction system 4.
[0075]
The main line 2 includes a first-in first-out (FIFO) memory 21, a DCT unit 22, a FIFO memory 23, a binary search unit 24, a quantization unit 25, a first variable length coding unit 26, and a FIFO memory. 27, a DPCM path including a quantization unit 35, a DPCM unit 28, a second variable length encoding unit 29, and a binary search unit 36, a selector 30, and a buffer 31.
[0076]
The quantization unit 35 receives the data stored in the FIFO memory 27, and quantizes the data by the quantization step determined by the binary search unit 36 in units of blocks. The quantization unit 35 supplies the quantized data to the DPCM unit 28.
[0077]
That is, some distortion is added in the process of image compression through the DPCM path with quantization. For this reason, when either the DCT path or the DPCM path is selected, in the same way as the image compression coding apparatus 1, in addition to giving priority to the smaller code amount, priority is given to the smaller distortion in the compression process. Must be selected. Specifically, the distortion due to compression depends on quantization, and occurs depending on the quantization step for each of DCT and DPCM. For this reason, the prediction system 4 needs to send a select signal to the main line system 2 by comparing the amount of code from the DCT path with quantization and the amount of code from the DPCM path with quantization in addition to image distortion. There is.
[0078]
An implementation example of the prediction system 4 will be described below. As shown in FIG. 7, the prediction system 4 includes a DCT path composed of a DCT unit 41, n quantizers 42-1 to 42-n, and n code amount converters 43-1 to 43-n. A DPCM path including m quantizers 51-1 to 51-m, m DPCM units 52-1 to 52-m, m code amount conversion units 53-1 to 53-m, and an arithmetic unit 54.
[0079]
The m quantizers 51-1 to 51-m receive image signals in units of blocks, and quantize them at different quantization steps. That is, it is possible to sample in the DPCM path by m quantization steps.
[0080]
The DPCM units 52-1 to 52-m perform DPCM on the quantized image signal for each block and supply the code signals to the code amount conversion units 53-1 to 53-m. The code amount conversion units 53-1 to 53-m encode these DPCM signals for each block and output the encoded signals to the calculation unit 54.
[0081]
From the DCT path side, the arithmetic unit 54 receives code amounts and the like processed in different quantization steps from the code amount converters 43-1 to 43-n, and from the DPCM path side, the quantization units perform different quantization steps. The code amount and the like subjected to DPCM processing are input. The computing unit 54 compares the input code amount and image distortion for each block, finds the assigned code amount and select signal for each block, and outputs them to the main line 2. In the prediction system 4, the DPCM units 52-1 to 52-m and the quantizers 51-1 to 51-m may be interchanged. Thereby, first, in the DPCM units 52-1 to 52-m, the DPCM signals can be quantized in different quantization steps.
[0082]
Next, calculation of the allocated code amount by the calculation unit 54 will be described. FIG. 8 shows a configuration example of the calculation unit 54. The calculation unit 54 includes n comparison units 301-1 to 301-n, n selectors 302-1 to 302-n, n memories 303-1 to 303-n, and n adders. 304-1 to 304-n, n accumulation circuits 305-1 to 305-n, and an arithmetic processing unit 306 are provided.
[0083]
The comparison units 301-1 to 301-n are code amounts length (1, k) to length (n, k) processed in different quantization steps from the code amount converters 43-1 to 43-n via the DCT path. ) And the code amounts dpcm (1, k) to dpcm (m, k) subjected to DPCM processing are input from the code amount converters 53-1 to 53-m via the DPCM path. The comparison units 301-1 to 301-n compare the code amount in the DCT path with the code amount in the DPCM path in which distortion is smaller than that in the DCT path. Incidentally, in the example shown in FIG. 8, dpcm (1, k) input to the comparison unit 301-1 and the comparison unit 301-2 is less distorted than length (1, k) and length (2, k). Further, dpcm (3, k) input to the comparison unit 301-3 has a smaller distortion than length (3, k).
[0084]
The comparison units 301-1 to 301-n select a smaller one of the input code amount from the DCT path and the code amount from the DPCM path and output a select signal including the selected information. As a result, it is possible to output the select signal so as to satisfy the target code amount while suppressing distortion due to image compression.
[0085]
The selectors 302-1 to 302-n respectively select the code amount supplied from the DCT path or the code amount supplied from the DPCM path in accordance with the select signal supplied from the comparison units 301-1 to 301-n. . For example, when information indicating that the DCT path is selected is included in the select signal, the selectors 302-1 to 302-n are turned on to the DCT side. The code amount selected by the selectors 302-1 to 302-n is supplied to the memories 303-1 to 303-n and the adders 304-1 to 304-n as they are.
[0086]
The memories 303-1 to 303-n store a select signal and a code amount for each block. That is, when the processing for one frame is completed, the memories 303-1 to 303-n store the code amount selected in units of blocks and select signals for n quantization steps. It has become.
[0087]
The adders 304-1 to 304-n and the accumulation circuits 305-1 to 305-n sequentially accumulate and add the code amount selected by the selectors 302-1 to 302-n for one frame. The code amounts added for one frame are defined as total code amounts total (1) to total (n), respectively. The accumulation circuits 305-1 to 305-n sequentially transmit the obtained total code amounts total (1) to total (n) to the arithmetic processing unit 306.
[0088]
The arithmetic processing unit 306 receives the total code amounts total (1) to total (n) from the accumulation circuits 305-1 to 305-n, respectively. The arithmetic processing unit 306 compares the target code amount for one frame with these total code amounts total (1) to total (n), and the total code amount total (j-1) that is equal to or larger than the target code amount, A total code amount total (j) that is less than or equal to the target code amount is specified. Regarding the calculation of the assigned code amount assign (k) based on these specified code amounts, the description of the calculation unit 44 in the image compression coding apparatus 1 is cited, and the description is omitted.
[0089]
In this way, the prediction system 4 outputs the assigned code amount assign (k) output from the arithmetic processing unit and the select signal. The output assigned code amount assign (k) is supplied to the binary search units 24 and 36.
[0090]
The binary search units 24 and 36 determine the quantization step so that the generated code amount of the block falls within the target code amount when the select signal is on the DCT side. Based on the determined quantization step, the quantization units 25 and 35 in the main line system 2 perform quantization in block units.
[0091]
Note that the image compression encoding device 6 is not limited to the configuration shown in FIG. 7, and can be applied to a configuration that does not use the binary search method, for example, as shown in FIG.
[0092]
In the example of the image compression encoding device 6 shown in FIG. 9, the quantization unit 35 quantizes the DCT coefficient input from the DCT unit 22 based on the quantization step determined in units of blocks. The quantizing unit 35 supplies the quantized data to the variable length coding unit 26.
[0093]
The arithmetic processing unit 306 estimates an optimal code amount for each block while referring to the n quantization steps based on the calculated total code amount. Based on the code amount estimated for each block, a quantization step is determined and transmitted to the quantization unit 35 described above. As a result, prediction can be attempted with more quantization steps as compared with the image compression encoding device 6 shown in FIG. 7 that employs the binary search method, and therefore it is possible to realize highly accurate quantization control. Become.
[0094]
As described above in detail, the image coding / compression apparatus 6 according to the present embodiment efficiently and efficiently sets the code amount from the DCT path or DPCM path quantized by a plurality of quantization steps for each block. Selection can be made so as to satisfy the code amount. In addition, when the code amount from the DPCM pass is preferentially selected, it is possible to prevent image quality deterioration. As a result, efficient code amount control can be realized without exceeding the capacity of a recording medium such as a VTR, and distortion in the image compression process can be reduced.
[0095]
Note that the present embodiment is not limited to the case where the present embodiment is applied to the image compression coding apparatuses 1, 5, and 6. For example, by disposing each component of the image compression coding apparatus 1, 5, 6 on the transmission line, efficient code amount control can be realized on the transmission line, and distortion in the image compression process is reduced. It becomes possible to make it.
[0096]
In the present embodiment, reversible image compression is performed by generating DCT coefficients by applying DCT to each block, but the present invention is not limited to this case. Further, the irreversible image compression method is not limited to the DPCM. In other words, the first compression method and the second compression method that has a lower compression rate and lower loss than the first compression method may be used.
[0097]
Further, the present invention can also be applied to an image compression encoding apparatus, method, and program that can switch between the first compression method and the second compression method.
[0098]
This image compression coding apparatus compresses an image signal by selecting a first compression method or a second compression method having a lower compression rate and smaller loss than the first compression method in units of coding method selection. In the image compression encoding apparatus for encoding, by adding either the code amount obtained by the first compression method or the code amount obtained by the second compression method for each encoding method selection unit, Based on the calculation means for calculating the total code amount of the encoding method selection unit, the total code amount calculated by the calculation means, and the target code amount in the equal length unit, the first compression method, or the above Selection means for selecting the second compression method for each encoding method selection unit, and compression encoding means for compressing and encoding the image signal of each encoding method selection unit using the compression method selected by the selection means And Obtain.
[0099]
In such an image compression coding apparatus, the first compression method and / or the second compression method may be a method of quantizing the image signal by a plurality of different quantization steps. Also, a determining unit that compares the total code amount calculated by the calculating unit with the target code amount in the equal length unit and determines a quantization step in the first compression method according to the comparison result. Further, the selection means selects one of the first compression method and the second compression method to be quantized by the quantization step determined by the determination means for each encoding method selection unit. May be. The selection unit may select the first compression method or the second compression method based on a predetermined priority. The selecting means selects either the first compression method or the second compression method when the priorities of the first compression method or the second compression method are equal. You may make it do. The selection unit may preferentially select the second compression method. The first compression method may be a method in which the image signal is subjected to DCT (Discrete Cosine Transform) conversion, and the DCT converted image signal is quantized. Further, the second compression method may be a lossless coding method. The second compression method may be a method of encoding the image signal by DPCM (Differential Pulse Code Modulation). In addition, the arithmetic means adds the smaller code amount of the code amount obtained by the first compression method or the code amount obtained by the second compression method for each encoding method selection unit. Thus, the total code amount of the equal length unit may be calculated.
[0100]
In this image compression coding method, the first compression method or the second compression method having a lower compression rate and lower loss than the first compression method is selected in the coding method selection unit, and the image signal is selected. In the image compression coding method for compression coding, either the code amount obtained by the first compression method or the code amount obtained by the second compression method is added for each coding method selection unit. Based on the calculation step of calculating the total code amount of the encoding method selection unit, the total code amount calculated in the calculation step, and the target code amount in the equal length unit, the first compression method Alternatively, a selection step of selecting the second compression method for each encoding method selection unit, and compression for compressing and encoding the image signal of each encoding method selection unit using the compression method selected in the selection step And a No. step.
[0101]
In such an image compression coding method, the first compression method and / or the second compression method is a method of quantizing the image signal by a plurality of different quantization steps, A decision step of comparing a code amount with a target code amount in the equal length unit and determining a quantization step in the first compression method according to the comparison result; The first compression method or the second compression method may be selected for each coding method selection unit according to the quantization step determined in the process. In the selection step, the first compression method or the second compression method may be selected based on a predetermined priority. In the selection step, if the priority of the first compression method or the second compression method is equal, either the first compression method or the second compression method is selected. You may make it do. In the selection step, the second compression method may be preferentially selected. The first compression method may be a method in which the image signal is subjected to DCT (Discrete Cosine Transform) conversion, and the DCT converted image signal is quantized. The second compression method may be a method of encoding by a lossless encoding (Lossless) method. Further, the second compression method may be a method of encoding an input image signal by DPCM (Differential Pulse Code Modulation). In the calculation step, the smaller code amount of the code amount obtained by the first compression method or the code amount obtained by the second compression method is added for each encoding method selection unit. Accordingly, the total code amount of the equal length unit may be calculated.
[0102]
In this program, the image signal is compressed by selecting the first compression method or the second compression method having a lower compression rate and lower loss than the first compression method in units of the encoding method selection unit. In a program for causing a computer to perform encoding, either the code amount obtained by the first compression method or the code amount obtained by the second compression method is added for each encoding method selection unit. Thus, the total code amount of the encoding method selection unit is calculated, and the first compression method or the second compression is calculated based on the calculated total code amount and the target code amount in the equal length unit. A method is selected for each coding method selection unit, and the computer is caused to execute compression coding of the image signal of each coding method selection unit using the selected compression method.
[0103]
In the image compression coding apparatus, method, and program having such a configuration, the first compression method quantized by a plurality of quantization steps for each block, or a lower compression rate and loss than the first compression method. It is possible to select the code amount from the second compression method with a small size so as to efficiently satisfy the target code amount. Further, by preferentially selecting the code amount from the second compression method, it is possible to prevent image quality deterioration. As a result, efficient code amount control can be realized without exceeding the capacity of a recording medium such as a VTR, and distortion in the image compression process can be reduced.
[0104]
【The invention's effect】
As described above in detail, the image compression encoding apparatus and method according to the present invention can efficiently generate a code amount from a DCT path or a DPCM path quantized by a number of quantization steps for each block. Selection can be made so as to satisfy the code amount. As a result, efficient code amount control can be realized without exceeding the capacity of a recording medium such as a VTR, and distortion in the image compression process can be reduced.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an internal configuration example of an image compression coding apparatus to which the present invention is applied.
FIG. 2 is a diagram for explaining an internal configuration of a calculation unit.
FIG. 3 is a flowchart illustrating a processing procedure of an arithmetic processing unit.
FIG. 4 is a flowchart for explaining a case where assign (k) is calculated by replacing one of total (j−1) and total (j) with a distance from a target code amount.
FIG. 5 is a diagram illustrating a configuration of an image compression encoding apparatus that does not use a binary search method.
FIG. 6 is a diagram for explaining a calculation unit in an image compression coding apparatus that does not use a binary search method;
FIG. 7 is a diagram illustrating a configuration of an image compression encoding apparatus with quantization for DPCM.
FIG. 8 is a diagram for explaining a calculation unit in an image compression coding apparatus with quantization for DPCM.
FIG. 9 is a diagram for explaining a case where a binary search method is not used in an image compression coding apparatus that involves quantization for DPCM.
FIG. 10 is a diagram showing a configuration of a conventional image compression coding apparatus using the MPEG method.
[Explanation of symbols]
1,5,6 Image compression encoding device, 2 main line system, 4 prediction system, 11 terminals, 12 block division unit, 21, 23, 27 FIFO memory, 22 DCT unit, 24 binary search unit, 25 quantization unit, 26 First variable length coding unit, 28 DPCM unit, 29 Second variable length coding unit, 30 selector, 31 buffer

Claims

In an image encoding device that encodes an input image signal in units of encoding method selection,
Of the first compression method for quantizing the input image signal by a plurality of quantization steps in encoding method selection units, or the second compression method having a lower compression rate and less loss than the first compression method, Selecting means for selecting the smaller code amount for each encoding method selection unit, and outputting a select signal for the selected compression method;
Switching means for switching a code amount according to the first compression method or a code amount according to the second compression method in accordance with a select signal output by the selection means;
The total code amount of the equal length unit is calculated for each quantization step by calculating the total code amount of the equal length unit by adding the code amount switched by the switching means for each encoding method selection unit. And the first total code amount closest to the target code amount among the total code amounts of the equal length unit exceeding the target code amount of the equal length unit based on the target code amount of the equal length unit, etc. The second total code amount closest to the target code amount among the total code amounts of equal length units equal to or less than the target code amount of the lengthening unit is obtained, and these correspond to the first and second total code amounts, respectively. Linearly interpolating the code amount for each coding scheme selection unit to calculate the allocated code amount for each coding scheme selection unit, and the calculated allocation code amount and the coding scheme selection unit in the coding scheme selection unit Compared with the code amount by the compression method of 2, the pressure of the smaller code amount And arithmetic processing means for outputting a selection signal for selecting the mode,
Based on the allocated code amount calculated by the arithmetic processing means and the selection signal output by the arithmetic processing means, a first quantizing the input image signal by a quantization step determined by the encoding method selection unit A first pass that encodes using a compression scheme, and a second pass that encodes the input image signal using a second compression scheme that has a lower compression rate and less loss than the first compression scheme. And an encoding means for selecting the quantization step based on the allocated code amount and encoding the input image signal in an encoding method selection unit. An image encoding device.

The first compression method performs DCT (Discrete Cosine Transform) conversion of an input image signal, quantizes the DCT-converted image signal,
The image encoding apparatus according to claim 1, wherein the second compression method is encoded by a lossless encoding (Lossless) method.

In an image encoding method for encoding an input image signal in units of encoding method selection,
Of the first compression method for quantizing the input image signal by a plurality of quantization steps in encoding method selection units, or the second compression method having a lower compression rate and less loss than the first compression method, Select the smaller code amount for each encoding method selection unit, and output a select signal for the selected compression method,
According to the output select signal, the code amount by the first compression method or the code amount by the second compression method is switched,
The total code amount of the equal length unit is calculated by adding the switched code amount for each encoding method selection unit, and is equal to the total code amount of the equal length unit calculated for each quantization step. A first total code amount closest to the target code amount among the total code amounts of the equal length units exceeding the target code amount of the equal length unit based on the target code amount of the equalization unit and the equal length unit The second total code amount closest to the target code amount among the total code amounts of equal length units equal to or less than the target code amount, and the codes corresponding to the first and second total code amounts, respectively. By linearly interpolating the code amount for each coding method selection unit, the allocated code amount for each coding method selection unit is calculated, and the calculated second assigned compression amount and the second compression in the coding method selection unit are calculated. Compare the code amount by the method, and select the compression method with the smaller code amount. And it outputs a selection signal,
A first pass that encodes using a first compression scheme that quantizes an input image signal by a quantization step determined in a coding scheme selection unit based on the allocated code amount and the selection signal; The input image signal is selected by using the selection signal to select either one of the second path for encoding using the second compression method having a lower compression rate and lower loss than the first compression method. An image encoding method, wherein the quantization step is selected according to an allocated code amount, and the input image signal is encoded in an encoding method selection unit.

In a program for causing a computer to execute processing for encoding an input image signal in units of encoding method selection,
Of the first compression method for quantizing the input image signal by a plurality of quantization steps in encoding method selection units, or the second compression method having a lower compression rate and less loss than the first compression method, Select the smaller code amount for each encoding method selection unit, and output a select signal for the selected compression method,
According to the output select signal, the code amount by the first compression method or the code amount by the second compression method is switched,
The total code amount of the equal length unit is calculated by adding the switched code amount for each encoding method selection unit, and is equal to the total code amount of the equal length unit calculated for each quantization step. A first total code amount closest to the target code amount among the total code amounts of the equal length units exceeding the target code amount of the equal length unit based on the target code amount of the equalization unit and the equal length unit The second total code amount closest to the target code amount among the total code amounts of equal length units equal to or less than the target code amount, and the codes corresponding to the first and second total code amounts, respectively. By linearly interpolating the code amount for each coding method selection unit, the allocated code amount for each coding method selection unit is calculated, and the calculated second assigned compression amount and the second compression in the coding method selection unit are calculated. Compare the code amount by the method, and select the compression method with the smaller code amount. And it outputs a selection signal,
A first pass that encodes using a first compression scheme that quantizes an input image signal by a quantization step determined in a coding scheme selection unit based on the allocated code amount and the selection signal; The input image signal is selected by using the selection signal to select either one of the second path for encoding using the second compression method having a lower compression rate and lower loss than the first compression method. A program for causing a computer to select the quantization step according to an assigned code amount and encode the input image signal in units of encoding method selection.

In a recording medium on which a program for causing a computer to execute processing for encoding an input image signal in units of encoding method selection is recorded,
Of the first compression method for quantizing the input image signal by a plurality of quantization steps in encoding method selection units, or the second compression method having a lower compression rate and less loss than the first compression method, Select the smaller code amount for each encoding method selection unit, and output a select signal for the selected compression method,
According to the output select signal, the code amount by the first compression method or the code amount by the second compression method is switched,
The total code amount of the equal length unit is calculated by adding the switched code amount for each encoding method selection unit, and is equal to the total code amount of the equal length unit calculated for each quantization step. A first total code amount closest to the target code amount among the total code amounts of the equal length units exceeding the target code amount of the equal length unit based on the target code amount of the equalization unit and the equal length unit The second total code amount closest to the target code amount among the total code amounts of equal length units equal to or less than the target code amount, and the codes corresponding to the first and second total code amounts, respectively. By linearly interpolating the code amount for each coding method selection unit, the allocated code amount for each coding method selection unit is calculated, and the calculated second assigned compression amount and the second compression in the coding method selection unit are calculated. Compare the code amount by the method, and select the compression method with the smaller code amount. And it outputs a selection signal,
A first pass that encodes using a first compression scheme that quantizes an input image signal by a quantization step determined in a coding scheme selection unit based on the allocated code amount and the selection signal; The input image signal is selected by using the selection signal to select either one of the second path for encoding using the second compression method having a lower compression rate and lower loss than the first compression method. A recording medium on which is recorded a program for causing a computer to select the quantization step according to an assigned code amount and encode the input image signal in units of encoding method selection.