JP2015146474A - Encoding device and decoding device - Google Patents
Encoding device and decoding device Download PDFInfo
- Publication number
- JP2015146474A JP2015146474A JP2014017600A JP2014017600A JP2015146474A JP 2015146474 A JP2015146474 A JP 2015146474A JP 2014017600 A JP2014017600 A JP 2014017600A JP 2014017600 A JP2014017600 A JP 2014017600A JP 2015146474 A JP2015146474 A JP 2015146474A
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- image data
- encoding
- memory
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、符号化装置及び復号化装置に関し、特に、予測符号化を採用して動画像情報を符号化及び復号化するに際して、予測参照用の画像情報を格納しておくメモリに対して、その画像情報を圧縮処理して格納するような符号化装置及び復号化装置に関する。 The present invention relates to an encoding device and a decoding device, and in particular, when encoding and decoding moving image information using predictive encoding, for a memory storing image information for prediction reference, The present invention relates to an encoding device and a decoding device that store the image information after compression processing.
時間的に連続する複数のフレームで構成された動画像情報の符号化処理においては、時間的に近い画像の類似性という特性を利用して符号化効率を上げるべく、動き補償を含めた予測符号化を行うことが極めて常識になっている。かかるフレーム間の予測符号化を実現するためには、既に符号化したフレームの情報を別のフレームの符号化に利用できるようにすべく、既に符号化したフレームの符号化情報を復号化により戻して一時的に記憶しておくメモリ(記憶手段)が必要となる。これは、復号化装置側においても同様であり、既に復号化したフレームの情報を別のフレームの復号化に利用できるようにすべく、既に復号化したフレームの復号化情報をメモリに一旦記憶しておく。 In the encoding process of moving picture information composed of a plurality of temporally continuous frames, a prediction code including motion compensation is used to increase the encoding efficiency by using the characteristic of similarity of images close in time. It is very common sense to make it. In order to realize such inter-frame predictive encoding, the encoded information of the already encoded frame is returned by decoding so that the information of the already encoded frame can be used for encoding of another frame. Thus, a memory (storage means) for temporarily storing the data is required. The same applies to the decoding device side, and the decoding information of the already decoded frame is temporarily stored in the memory so that the information of the already decoded frame can be used for decoding another frame. Keep it.
ところで、最近は、例えば“4K”と言われるように、動画像も極めて精細になってきており、1フレームを構成する情報量は極めて多くなってきている。従って、それに応じて上述のようなメモリの容量も大きくせざるを得ない状況となっている。 Recently, for example, “4K”, moving images have become extremely fine, and the amount of information constituting one frame has become extremely large. Accordingly, the memory capacity as described above must be increased accordingly.
一方、特にパチンコ機等の遊技機における動画像の表示においては、一画面又は複数の画面に複数の動画像のストリームが重ねられて、又は隣接させて、同時並行的に表示されるという処理が行われることも多い。かかる場合でも、上述した符号化装置(符号化処理)及び復号化装置においては、それぞれの動画像ごとに、同時並列的に必要なフレームの情報を記憶しておく必要がある。従って、このような観点からも、予測符号化のためのメモリのその限られた容量の使用の仕方には工夫が必要となる。特に、高速実時間処理を行うべくハードウェアで構成されることが典型的な復号化装置においては必要性が高い。 On the other hand, particularly in the display of moving images in a gaming machine such as a pachinko machine, there is a process in which a plurality of moving image streams are superimposed on one screen or a plurality of screens, or are displayed simultaneously in parallel. Often done. Even in such a case, in the encoding apparatus (encoding process) and decoding apparatus described above, it is necessary to store necessary frame information in parallel for each moving picture. Therefore, from this point of view, it is necessary to devise how to use the limited capacity of the memory for predictive coding. In particular, it is highly necessary in a typical decoding apparatus that is configured by hardware to perform high-speed real-time processing.
上述のような状況から、近年では、予測符号化に必要なフレームの情報を格納するメモリに、その情報を圧縮して格納しておき、使用する際には、読み出して伸長してから使用するというような手法も採用されている。必要な処理又は回路が増加するが、メモリの容量の削減又は有効活用という観点からは、こちらの方が有意義である。このような、予測符号化に必要なフレームの情報を圧縮してメモリに格納しておく技術は、例えば特許文献1に開示されている。当該文献は、復号化装置を開示しており、例えばその図1に示されているように、予測符号化に使用されるフレームの情報を格納するためのフレームメモリ102には、符号化回路101により圧縮符号化された情報が格納され、予測画像作成回路26において予測に使用する際には、第二のデータ伸長回路105bにより伸長されて供給されるように構成されている。図13及び図16に示された特定の工夫を実現する回路においても、そのベースとして同様である。
From the above situation, in recent years, the information is compressed and stored in a memory for storing information of a frame necessary for predictive coding, and when used, it is read and decompressed before use. Such a method is also adopted. Although the number of necessary processes or circuits increases, this is more meaningful from the viewpoint of reducing or effectively using the memory capacity. Such a technique of compressing frame information necessary for predictive encoding and storing it in a memory is disclosed in
ところで、特許文献1においては、予測符号化に必要なフレームの情報をメモリに格納するための圧縮技法として、非可逆圧縮が採用されている(図2等の直交変換回路201及び量子化器202)。この非可逆圧縮を採用する欠点としては、フレーム間で予測を復号化装置のみで累積的に行った場合に、それに応じて画像の歪も累積的に増加してしまうということである。従って、ある程度の画質を優先したい場合には、当該圧縮技法として、可逆圧縮を採用することも可能である。
By the way, in
しかしながら、圧縮技法として可逆圧縮を採用した場合、復号化装置のメモリの容量を念頭において、各動画ストリームを構成する各フレームが圧縮処理後にどの程度の容量を占めるかということを確認しつつそれらの設計を行わなければならない。一方、圧縮技法として非可逆圧縮を採用した場合には、量子化係数の選定により圧縮率を必要に応じて高めれば、限られたメモリ容量であっても、必ず格納させることが可能となる。しかも、量子化係数の選定は、各動画の設計時に予め行っておく必要はなく、メモリ格納時に決定することもできる。 However, when lossless compression is adopted as a compression technique, considering the capacity of the memory of the decoding device, confirming how much capacity each frame constituting each video stream will occupy after compression processing The design must be done. On the other hand, when irreversible compression is adopted as a compression technique, even if the memory capacity is limited, it is always possible to store it by increasing the compression rate as necessary by selecting the quantization coefficient. In addition, the selection of the quantization coefficient does not have to be performed in advance when designing each moving image, and can be determined when the memory is stored.
かかる技術は引用文献1に開示されており、復号化装置において、予測情報用のメモリに非可逆圧縮で格納する際に、メモリ容量に応じて行う工夫を提案している。その1つとして、当該文献の図13及び図16を参照すると、少ない量子化テーブルにより発生符号量の試算を行う試算回路1201を設け、試算結果を反映させて量子化器202により量子化を行うことにより、フレームメモリ102に圧縮データが収まるように制御している。例えばこのような工夫によれば、メモリ容量を気にすることなく、各動画の設計を行える。
Such a technique is disclosed in Cited
しかしながら、引用文献1においては、復号化装置において、復号化処理の過程において逐次実行する処理を実現するための特別な回路を加えている。これにより、メモリ容量の心配はないが、メモリ容量に収まるまで量子化係数を変化させながら圧縮処理を繰り返す必要があり、かかる処理により処理全体が重くなるという欠点がある。特に、予め符号化しておいた大量の動画を同時に再生する遊技機向けの用途においては、できるだけ高速に復号化できることは重要である。
However, in the cited
本発明は上述のような事情から為されたものであり、本発明の目的は、予測情報用のメモリへの格納に非可逆圧縮を採用して当該メモリの必要容量を削減することを前提としたうえで、復号化装置における復号化処理を無用に重くすることなく高速化できる符号化装置及び復号化装置を提供することにある。 The present invention has been made for the above-mentioned circumstances, and the object of the present invention is based on the premise that the required capacity of the memory is reduced by adopting irreversible compression for storing the prediction information in the memory. In addition, an object of the present invention is to provide an encoding device and a decoding device that can increase the speed without making the decoding processing in the decoding device unnecessarily heavy.
上記目的を達成するため、本発明の第一の符号化装置は、時間的に連続する複数のフレームで構成された動画像情報に対してフレーム間の予測符号化を行うために予測参照用の画像データを格納しておくためのメモリと、そのメモリに前記画像データを格納するために前記画像データに対して所定の非可逆圧縮処理を行う非可逆圧縮処理部と、前記メモリから圧縮画像データを入力して前記非可逆圧縮処理に対応した伸長処理を行う伸長処理部と、を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を符号化装置であって、前記非可逆圧縮処理部は、前記メモリに対応する復号化装置側のメモリに予め確保される各動画用の領域に各動画データが必ず収まるように、当該非可逆圧縮処理部に対応する前記復号化装置側の非可逆圧縮処理部における量子化のための量子化係数をフレームごとに決定して出力し、その各量子化係数は、圧縮符号化後の画像データと共に出力されることを要旨とする。 In order to achieve the above object, the first encoding device of the present invention uses a prediction reference for performing inter-frame predictive encoding on moving picture information composed of a plurality of temporally continuous frames. A memory for storing image data, an irreversible compression processing unit that performs predetermined irreversible compression processing on the image data in order to store the image data in the memory, and compressed image data from the memory And a decompression processing unit that performs decompression processing corresponding to the irreversible compression processing, and inputs a single video or a plurality of videos to be processed in parallel to perform predictive coding processing. The irreversible compression processing unit corresponds to the irreversible compression processing unit so that each moving image data is surely contained in a region for each moving image secured in advance in a memory on the decoding device side corresponding to the memory. Decryption device The quantized coefficients for quantization in lossy compression processing unit and outputs the determined for each frame, its respective quantized coefficient is summarized in that output together with the image data after compression coding.
ここで、具体的には、前記非可逆圧縮処理部は、設定される量子化係数に基づいて圧縮符号化して得られた符号化画像データに基づいて、フレームごとに圧縮率を算出し、その圧縮率に基づき、前記符号化画像データが、前記復号化装置側のメモリに予め確保される、当該フレームが含まれる動画用の領域に収まるか否かを判定する圧縮率算出判定部を有し、当該圧縮率算出判定部が収まらないと判定した場合には、前記量子化係数を情報量高削減方向に順次更新して圧縮符号化を繰り返す。 Here, specifically, the lossy compression processing unit calculates a compression rate for each frame based on encoded image data obtained by compression encoding based on a set quantization coefficient, A compression rate calculation determination unit that determines whether or not the encoded image data fits in a moving image area including the frame, which is secured in advance in a memory on the decoding device side, based on a compression rate; When it is determined that the compression rate calculation determination unit does not fit, the quantization coefficient is sequentially updated in the direction of high information amount reduction, and compression encoding is repeated.
あるいは、前記非可逆圧縮処理部は、量子化係数に基づいて圧縮符号化して得られた符号化画像データに基づいてフレームごとに圧縮率を算出し、その圧縮率に基づき、前記符号化画像データが、前記復号化装置側のメモリに予め確保される、当該フレームが含まれる動画用の領域に収まるか否かを、量子化係数を更新しつつ判定して、収まるような量子化係数を決定するに際し、2分探索法に基づいて量子化係数を更新する。 Alternatively, the lossy compression processing unit calculates a compression rate for each frame based on encoded image data obtained by compression encoding based on a quantization coefficient, and based on the compression rate, the encoded image data Is determined in advance while updating the quantization coefficient to determine whether or not the image can be stored in the moving image area including the frame, which is secured in advance in the memory on the decoding device side. In doing so, the quantization coefficient is updated based on the binary search method.
このとき、前記各量子化係数は、出力される符号化画像データが所定に配置される出力フォーマットにおける各フレームごとのオプションヘッダ内に格納されることが好適である。 At this time, each quantization coefficient is preferably stored in an option header for each frame in an output format in which encoded image data to be output is arranged in a predetermined manner.
また、上記目的を達成するため、本発明の第一の復号化装置は、第一の符号化装置から出力された符号化画像データを入力して、前記符号化装置における予測符号化処理に対応した復号化処理を行う復号化装置であって、前記符号化装置における前記非可逆圧縮処理部及び前記伸長処理部に対応した非可逆圧縮処理部及び伸長処理部を備え、両者は、前記符号化画像データと共に入力される、前記フレームごとの量子化係数に基づいて、フレームごとに量子化処理又は逆量子化処理を行うことを要旨とする。 In order to achieve the above object, the first decoding apparatus of the present invention inputs encoded image data output from the first encoding apparatus and supports predictive encoding processing in the encoding apparatus. A decoding device that performs the decoding processing, comprising: an irreversible compression processing unit and an expansion processing unit corresponding to the irreversible compression processing unit and the decompression processing unit in the encoding device, The gist is to perform quantization processing or inverse quantization processing for each frame based on the quantization coefficient for each frame input together with image data.
また、上記目的を達成するため、本発明の第二の符号化装置は、時間的に連続する複数のフレームで構成された動画像情報に対してフレーム間の予測符号化を行うために予測参照用の画像データを格納しておくためのメモリと、そのメモリに前記画像データを格納するために前記画像データに対して所定の非可逆圧縮処理を行う非可逆圧縮処理部と、前記メモリから圧縮画像データを入力して前記非可逆圧縮処理に対応した伸長処理を行う伸長処理部と、を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を符号化装置であって、前記非可逆圧縮処理部は、前記メモリに対応する復号化装置側のメモリに予め確保される各動画用の領域に各動画データが必ず収まるように、当該非可逆圧縮処理部に対応する前記復号化装置側の非可逆圧縮処理部における量子化のための量子化係数をフレームを構成するブロックごとに決定して出力し、その各量子化係数は、圧縮符号化後の画像データと共に出力されることを要旨とする。 In order to achieve the above object, the second encoding apparatus of the present invention performs prediction reference to perform interframe predictive encoding on moving image information composed of a plurality of temporally continuous frames. A memory for storing image data for use, a lossy compression processing unit that performs predetermined irreversible compression processing on the image data to store the image data in the memory, and compression from the memory A decompression processing unit that inputs image data and performs decompression processing corresponding to the lossy compression processing, and inputs predictive coding processing by inputting a single moving image or a plurality of moving images that are simultaneously processed in parallel by the encoding device. The irreversible compression processing unit corresponds to the irreversible compression processing unit so that each moving image data is surely contained in a region for each moving image secured in advance in a memory on the decoding device corresponding to the memory. Said decryption The quantization coefficient for quantization in the irreversible compression processing unit on the device side is determined and output for each block constituting the frame, and each quantization coefficient is output together with the image data after compression coding. Is the gist.
また、上記目的を達成するため、本発明の第二の復号化装置は、第二の符号化装置から出力された符号化画像データを入力して、前記符号化装置における予測符号化処理に対応した復号化処理を行う復号化装置であって、前記符号化装置における前記非可逆圧縮処理部及び前記伸長処理部に対応した非可逆圧縮処理部及び伸長処理部を備え、両者は、前記符号化画像データと共に入力される、前記フレームを構成するブロックごとの量子化係数に基づいて、ブロックごとに量子化処理又は逆量子化処理を行うことを要旨とする。 In order to achieve the above object, the second decoding apparatus of the present invention inputs encoded image data output from the second encoding apparatus and supports predictive encoding processing in the encoding apparatus. A decoding device that performs the decoding processing, comprising: an irreversible compression processing unit and an expansion processing unit corresponding to the irreversible compression processing unit and the decompression processing unit in the encoding device, The gist is to perform quantization processing or inverse quantization processing for each block based on the quantization coefficient for each block constituting the frame input together with the image data.
本発明の符号化装置及び復号化装置によれば、予測情報用のメモリへの格納に非可逆圧縮を採用して当該メモリの容量の制限を考慮不要とすることを前提としたうえで、復号化装置における復号化処理を無用に重くすることを回避できる。すなわち、予測用にメモリに非可逆圧縮符号化して動画データを格納する場合において、当該メモリに予め確保される各動画用の記憶領域に各動画データが必ず収まるように量子化係数をフレームごとに決定する処理を符号化装置側で行っているので、復号化装置に余計な負担を負わせることがない。 According to the encoding device and the decoding device of the present invention, decoding is performed on the assumption that lossy compression is adopted for storing the prediction information in the memory and the restriction on the capacity of the memory is not considered. It is possible to avoid unnecessarily increasing the decryption processing in the conversion apparatus. That is, when storing moving image data by irreversible compression encoding in a memory for prediction, the quantization coefficient is set for each frame so that each moving image data is surely stored in a storage area for each moving image reserved in advance in the memory. Since the determination process is performed on the encoding device side, an extra burden is not imposed on the decoding device.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本発明における符号化装置の一実施形態の構成を示す図である。同図に示す符号化装置1は、減算部11と、圧縮処理部12と、第1可変長符号化部13と、伸長処理部14と、加算部15と、非可逆圧縮処理部16と、ピクチャメモリ17と、対応伸長処理部18と、動き補償予測部19と、第2可変長符号化部21と、多重化部22とを備えている。なお、同図に示す符号化装置1は、時間的に連続する複数のフレームで構成された動画像情報をブロック単位で入力して、例えばH.264(MPEG(Moving Picture Experts Group)−4 AVC)のような規格に準拠した動画像符号化処理を行うものである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a configuration of an embodiment of an encoding apparatus according to the present invention. The
減算部11は、符号化対象フレームとしてのピクチャの符号化対象マクロブロックから、動き補償予測部19から送られてきたマクロブロックのピクチャ情報を減算し、残差予測信号として、圧縮処理部12に供給する。なお、MPEGの場合のIピクチャに係る符号化対象マクロブロックについては、減算部11を経ずにそのまま圧縮処理部12に送られる。
The
圧縮処理部12は、減算部11から送られてきた対象マクロブロックの残差予測信号に対して、非可逆圧縮処理を行う。ここで、この非可逆圧縮処理としては、静止画におけるJPEG(Joint Photographic Experts Group)のように直交変換処理及び量子化処理を行うアルゴリズムがある。なお、直交変換処理としては、離散コサイン変換(DCT:Discrete Cosine Transform)や、アダマール変換(Hadamard Transform)がある。また、直交変換処理の代わりとして、ウェーブレット変換を用いることもある。
The
第1可変長符号化部13は、圧縮処理部12から出力された圧縮画像データに対してブロックごとにハフマン符号化や算術符号化等の可変長符号化による可逆圧縮を行う。
The first variable
また、伸長処理部14は、圧縮処理部12から出力されたマクロブロック単位の圧縮画像データに対して、圧縮処理部12における非可逆圧縮処理に対応する非可逆伸長処理を行い、伸長により得られたマクロブロックを加算部15に送る。加算部15は、動き補償予測部61から出力された先行の最も相関の高いマクロブロックに係る情報に、伸長処理部14から出力されたマクロブロックに係る情報を加算することにより、後続の予測に供されるマクロブロックを復元する。なお、前述と同様に、MPEGの場合のIピクチャに係るマクロブロックについては、加算部15を経ない。
Further, the
非可逆圧縮処理部16は、加算部15から出力された、又は加算部15を経ない画像情報に対して所定の非可逆圧縮処理を行い、得られた圧縮画像データを、後続との比較処理のためにピクチャメモリ17に格納する。加えて、非可逆圧縮処理部16は、後述する復号化装置側において当該処理動画用に確保が予定されているピクチャメモリ領域の容量に収まるように、フレーム単位で量子化係数を決定し、出力する。但し、条件としては、ここでの非可逆圧縮処理の技法が復号化装置側での当該技法と一致していることは無論のこと、この符号化装置1側で、復号化装置側のピクチャメモリにおける各動画用に確保される領域の容量が分かっていなければならない。この容量は、復号化装置での管理を単純にするため、圧縮前の各動画の容量の3分の1など、所定の比率の容量に固定することが好ましい。
The irreversible
図2(a)は、非可逆圧縮処理部16の詳細構成を示す図である。同図(a)に示した非可逆圧縮処理部16は、加算部15から入力される画像データに対して所定の直交変換処理を行う直交変換部161と、直交変換後のデータに対して、量子化テーブル164から適宜量子化係数を選定して量子化処理を行う量子化部162と、量子化後のデータに対して、ハフマン符号化や算術符号化等の可変長符号化処理を行う可変長符号化部163と、可変長符号化後の画像データに対して、フレーム単位で圧縮率を算出し、所定の圧縮率以下か否かを判定する圧縮率算出判定部165とを有している。
FIG. 2A is a diagram illustrating a detailed configuration of the lossy
図3は、非可逆圧縮処理部16による処理手順を示すフローチャートである。図2(a)及び図3を参照して、非可逆圧縮処理部16の動作を説明する。まず、量子化部162は、初期設定の量子化係数として、量子化テーブル164から、量子化効果の十分小さい量子化係数を選定する(ステップS1)。そして、ブロックごとに、直交変換部161は所定の直交変換処理を行い(ステップS2)、量子化部162は量子化処理を行い(ステップS3)、可変長符号化部163は可変長符号化処理を行う(ステップS4)。そして、1フレーム分終了したか否かを判定し(ステップS5)、終了していない場合(否定判定)は、ステップS2〜ステップS4を繰り返す。一方、終了している場合(肯定判定)には、圧縮率算出判定部165が、圧縮率を算出し(ステップS6)、復号化装置において当該動画用に確保されるメモリ容量に対応する所定の圧縮率以下か否か判定する(ステップS7)。この判定において、所望の圧縮率に達していなければ(否定判定)、ステップS8に移行し、量子化部162が、量子化テーブル164から新たな量子化係数(量子化効果の一段高い)を選定し(ステップS8)、そして各部がステップS2〜ステップS6を繰り返す。一方、ステップS7の判定において、所望の圧縮率に達したならば(肯定判定)、量子化部162は、現在の量子化係数を出力する(ステップS9)。
FIG. 3 is a flowchart illustrating a processing procedure performed by the lossy
一方、動き補償予測部19は、符号化対象フレームとしてのピクチャを構成する各マクロブロックを順次入力し、ピクチャメモリ17に記憶された予測用のフレームに係るピクチャのマクロブロックから最も相関の高いマクロブロックを検索する。非可逆圧縮処理部16の処理に対応した対応伸長処理部18は、動き補償予測部19により検索されたマクロブロックに係るデータに対して、非可逆圧縮処理部16における可逆圧縮処理に対応した伸長処理を行い、結果を動き補償予測部19に供給する。
On the other hand, the motion compensated
図2(b)は、対応伸長処理部18の詳細構成を示す図である。同図に示した対応伸長処理部18は、ピクチャメモリ17から読み出された圧縮画像データに対して、可変長符号化部233における可変長符号化に対応した可変長復号化処理を行う可変長復号化部181と、量子化テーブル184に基づき、量子化部162における量子化に対応した逆量子化処理を行う逆量子化部182と、直交変換部161における直交変換に対応した逆直交変換処理を行う逆直交変換部183とを有している。なお、復号化装置3側に量子化係数が出力されるのと同様、逆量子化部182は、格納されている画像データに係る量子化係数が通知又は認識されていなければならない。
FIG. 2B is a diagram illustrating a detailed configuration of the corresponding
動き補償予測部19は、このようにして得られた、最も相関の高いマクロブロックに係る情報を、前述のように、減算部11及び加算部15に供給する。なお、図示していないが、動き補償予測部19は、比較に係る2つのマクロブロックの間で、ある固定領域として一体的に移動する部分がある場合に、その移動量を動きベクトルとして出力する。出力された動きベクトルは、同様に可変長符号化が行われ、多重化部22に供給される。
The motion
多重化部22は、第1可変長符号化部13からの符号化画像データと、第2可変長符号化部21からの各フレームごとの選定量子化係数QCの情報と、動きベクトル等のその他の情報を、多重化して出力する。このとき、量子化係数QCの情報を符号化画像データと共に出力する手法としては、いくつか考えられるが、好適には、例えばH.264規格に基づく符号データを格納できるMP4等のファイルフォーマットのオプションヘッダである部分に組み込むことが可能である。すなわち、この場合、フレームごとのオプションヘッダであるSEI(Supplemental Enhancement Information)に組み込めばよい。また、無論、画像データファイルとは別個の独立ファイルとしても出力可能である。
The multiplexing
なお、上述の一実施形態としての符号化装置においては、メモリ容量に収まる圧縮率の探索法として、圧縮率が低い方から高い方へ線形探索法で順に判定しているが、この手法に限らず、より効率的には、2分探索法を採用することも可能である。 In the encoding apparatus as one embodiment described above, as a search method for the compression rate that fits in the memory capacity, the linear search method sequentially determines from the lower compression rate to the higher compression rate. However, the binary search method can be adopted more efficiently.
次に、復号化装置側について説明する。図4は、本発明における復号化装置の一実施形態の構成を示す図である。同図に示す復号化装置3は、分離化部31と、第1可変長復号化部32と、伸長処理部33と、加算部34と、非可逆圧縮処理部35と、ピクチャメモリ36と、対応伸長処理部37と、動き補償予測部38と、第2可変長復号化部39とを備えている。
Next, the decoding device side will be described. FIG. 4 is a diagram showing a configuration of an embodiment of a decoding apparatus according to the present invention. The
分離化部31は、送られてくる符号化データを、符号化画像データと、量子化係数に係る符号化情報と、動きベクトル等に分離する。符号化画像データを入力した第1可変長復号化部32は、マクロブロック単位で、図1に示した第1可変長符号化部13による可変長符号化処理に対応した可変長復号化処理を行う。従って、例えばハフマン復号化や算術復号化である。同様に、第2可変長復号化部39は、量子化係数に係る符号化情報に対して可変長復号化処理を施して各フレームごとの量子化係数QCを再現する。また、図示しない動きベクトルも可変長復号化処理が施されて動き補償予測部38に供給される。
The
第1可変長復号化部32からの画像データを入力した伸長処理部33は、図1に示した符号化装置1の圧縮処理部12における非可逆圧縮処理に対応した非可逆伸長処理を行う。かかる処理により得られた残差予測信号は、加算部34及び動き補償予測部38に送られる。
The
動き補償予測部38は、伸長処理部33からの残差予測信号と、動きベクトルを用いて、ピクチャメモリ36に格納された先行する画像データのマクロブロックのデータを処理し、加算部34に送る。加算部34は、伸長処理部33からの残差予測信号と、動き補償予測部38からのマクロブロックデータとを加算し、復号化されたマクロブロック単位の画像データを出力する。
The motion
加算部34から出力された画像情報は、外部に出力されるのと並行して、図1に示した非可逆圧縮処理部16と同様の非可逆圧縮技法を採用する非可逆圧縮処理部35により非可逆圧縮処理が行われ、得られた圧縮画像データが、後続との比較処理のためにピクチャメモリ36に格納される。
The image information output from the
ここで、図5(a)を参照して、非可逆圧縮処理部35における処理を詳細に説明する。同図は、非可逆圧縮処理部35の詳細構成を示す図である。同図に示した非可逆圧縮処理部35は、加算部15から入力される画像データに対して所定の直交変換処理を行う直交変換部351と、直交変換後のデータに対して、量子化テーブル354から適切な量子化係数を選定して量子化処理を行う量子化部352と、量子化後のデータに対して、ハフマン符号化や算術符号化等の可変長符号化処理を行う可変長符号化部353とを有している。但し、本発明においては、量子化部352は、第2可変長復号化部39から各フレームごとに適用される各量子化係数を受け取っており、各フレームごとにその対応する量子化係数に基づいて量子化処理を行う。これにより、その結果得られた圧縮データは、ピクチャメモリ36に確保された当該動画用の領域に適切に収まることとなる。
Here, the processing in the lossy
動き補償予測部38は、伸長処理部33による伸長処理により得られた各マクロブロックを順次入力し、ピクチャメモリ36に記憶された予測用のフレームに係るピクチャのマクロブロックから最も相関の高いマクロブロックを検索する。図1に示した対応伸長処理部18と同様の伸長技法を採用する対応伸長処理部37は、動き補償予測部38により検索されたマクロブロックに係るデータに対して、非可逆圧縮処理部35における非可逆圧縮処理に対応した伸長処理を行い、結果を動き補償予測部19に供給する。
The motion
ここで、図5(b)を参照して、対応伸長処理部37における処理を詳細に説明する。同図は、対応伸長処理部37の詳細構成を示す図である。同図に示した対応伸長処理部37は、ピクチャメモリ36から読み出された圧縮画像データに対して、可変長符号化部353における可変長符号化に対応した可変長復号化処理を行う可変長復号化部371と、量子化テーブル374に基づき、量子化部352における量子化に対応した逆量子化処理を行う逆量子化部372と、直交変換部351における直交変換に対応した逆直交変換処理を行う逆直交変換部373とを有している。但し、本発明においては、逆量子化部372は、第2可変長復号化部39から各フレームごとに適用される各量子化係数を受け取っており、各フレームごとにその対応する量子化係数に基づいて逆量子化処理を行う。
Here, the processing in the corresponding
なお、上述においては、対応伸長処理部37は、各フレームごとに適用される各量子化係数を第2可変長復号化部39から直接受け取っているが、代わりに、非可逆圧縮処理部35から受け取ってもよい。
In the above description, the corresponding
以上のように、本発明の符号化装置及び復号化装置における一実施形態によれば、予測用にピクチャメモリに圧縮符号化して動画データを格納する場合において、当該メモリに予め確保される各動画用の記憶領域に各動画データが必ず収まるように量子化係数をフレームごとに決定する処理を符号化装置1側で行っているので、復号化装置に余計な負担を負わせることがない。すなわち、復号化装置3は、動画を構成する各フレームごと決定された各量子化係数を符号化装置1から受け取ってそれに基づいて上記圧縮符号化を行っている。
As described above, according to an embodiment of the encoding device and the decoding device of the present invention, when moving image data is stored in a picture memory by compression encoding for prediction, each moving image previously secured in the memory is stored. Since the
<他の実施形態>
図1〜図5に示した実施形態においては、符号化装置1がフレーム単位で量子化係数を決定して出力し、復号化装置3の非可逆圧縮処理部35が、送られてきた量子化係数によりフレーム単位で圧縮処理を行っているが、図3に示すようにブロック単位で量子化を施すのであれば、符号化装置1は、ブロック単位で量子化係数を決定して出力し、復号化装置3の非可逆圧縮処理部35は、送られてきた量子化係数によりブロック単位で圧縮処理を行うこともできる。また、フレームを構成するスライス単位で処理することもできる。これらの場合の量子化係数の送り方も、フレームごとのオプションヘッダであるSEIに、各ブロック又はスライスに係る複数の量子化係数を格納すればよいし、また、画像データファイルとは別個の独立ファイルとしてもよい。これにより前述の実施形態よりは、肌理細やかに処理が行える。
<Other embodiments>
In the embodiment shown in FIG. 1 to FIG. 5, the
本発明の符号化装置及び復号化装置は、パチンコ機やゲーム機等の遊技機に表示される動画像の処理に利用できる。 INDUSTRIAL APPLICABILITY The encoding device and decoding device of the present invention can be used for processing moving images displayed on a gaming machine such as a pachinko machine or a game machine.
1 符号化装置
11 減算部
12 圧縮処理部
13 第1可変長符号化部
14 伸長処理部
15 加算部
16 非可逆圧縮処理部
161 直交変換部
162 量子化部
163 可変長符号化部
164 量子化テーブル
165 圧縮率算出判定部
17 ピクチャメモリ
18 対応伸長処理部
19 動き補償予測部
21 第2可変長符号化部
22 多重化部
3 復号化装置
31 分離化部
32 第1可変長復号化部
33 伸長処理部
34 加算部
35 非可逆圧縮処理部
36 ピクチャメモリ
37 対応伸長処理部
38 動き補償予測部
39 第2可変長復号化部
DESCRIPTION OF
Claims (7)
そのメモリに前記画像データを格納するために前記画像データに対して所定の非可逆圧縮処理を行う非可逆圧縮処理部と、
前記メモリから圧縮画像データを入力して前記非可逆圧縮処理に対応した伸長処理を行う伸長処理部と、
を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を符号化装置であって、
前記非可逆圧縮処理部は、前記メモリに対応する復号化装置側のメモリに予め確保される各動画用の領域に各動画データが必ず収まるように、当該非可逆圧縮処理部に対応する前記復号化装置側の非可逆圧縮処理部における量子化のための量子化係数をフレームごとに決定して出力し、その各量子化係数は、圧縮符号化後の画像データと共に出力されることを特徴とする符号化装置。 A memory for storing image data for prediction reference in order to perform predictive encoding between frames for moving image information composed of a plurality of temporally continuous frames;
An irreversible compression processing unit that performs predetermined irreversible compression processing on the image data in order to store the image data in the memory;
A decompression processing unit that inputs compressed image data from the memory and performs decompression processing corresponding to the lossy compression processing;
An input device that inputs one moving image or a plurality of moving images that are processed in parallel, and performs predictive coding processing,
The irreversible compression processing unit includes the decoding unit corresponding to the irreversible compression processing unit so that each moving image data is surely stored in a region for each moving image that is secured in advance in a memory on a decoding device corresponding to the memory. The quantization coefficient for quantization in the irreversible compression processing unit on the encoding device side is determined and output for each frame, and each quantization coefficient is output together with the image data after compression encoding. Encoding device.
前記符号化装置における前記非可逆圧縮処理部及び前記伸長処理部に対応した非可逆圧縮処理部及び伸長処理部を備え、両者は、前記符号化画像データと共に入力される、前記フレームごとの量子化係数に基づいて、フレームごとに量子化処理又は逆量子化処理を行うことを特徴とする復号化装置。 A decoding device that inputs encoded image data output from the encoding device according to claim 1 and performs a decoding process corresponding to a predictive encoding process in the encoding device,
The irreversible compression processing unit and the decompression processing unit corresponding to the irreversible compression processing unit and the decompression processing unit in the encoding device, both of which are input together with the encoded image data, and the quantization for each frame A decoding apparatus characterized by performing a quantization process or an inverse quantization process for each frame based on a coefficient.
そのメモリに前記画像データを格納するために前記画像データに対して所定の非可逆圧縮処理を行う非可逆圧縮処理部と、
前記メモリから圧縮画像データを入力して前記非可逆圧縮処理に対応した伸長処理を行う伸長処理部と、
を備え、一動画又は同時並行処理される複数の動画を入力して予測符号化処理を符号化装置であって、
前記非可逆圧縮処理部は、前記メモリに対応する復号化装置側のメモリに予め確保される各動画用の領域に各動画データが必ず収まるように、当該非可逆圧縮処理部に対応する前記復号化装置側の非可逆圧縮処理部における量子化のための量子化係数をフレームを構成するブロックごとに決定して出力し、その各量子化係数は、圧縮符号化後の画像データと共に出力されることを特徴とする符号化装置。 A memory for storing image data for prediction reference in order to perform predictive encoding between frames for moving image information composed of a plurality of temporally continuous frames;
An irreversible compression processing unit that performs predetermined irreversible compression processing on the image data in order to store the image data in the memory;
A decompression processing unit that inputs compressed image data from the memory and performs decompression processing corresponding to the lossy compression processing;
An input device that inputs one moving image or a plurality of moving images that are processed in parallel, and performs predictive coding processing,
The irreversible compression processing unit includes the decoding unit corresponding to the irreversible compression processing unit so that each moving image data is surely contained in a region for each moving image that is secured in advance in a memory on the decoding device side corresponding to the memory. Quantization coefficients for quantization in the irreversible compression processing unit on the encoding device side are determined and output for each block constituting the frame, and each quantization coefficient is output together with the image data after compression encoding. An encoding apparatus characterized by that.
前記符号化装置における前記非可逆圧縮処理部及び前記伸長処理部に対応した非可逆圧縮処理部及び伸長処理部を備え、両者は、前記符号化画像データと共に入力される、前記フレームを構成するブロックごとの量子化係数に基づいて、ブロックごとに量子化処理又は逆量子化処理を行うことを特徴とする復号化装置。
A decoding device that inputs encoded image data output from the encoding device according to claim 6 and performs a decoding process corresponding to a predictive encoding process in the encoding device,
A block comprising the irreversible compression processing unit and the decompression processing unit corresponding to the irreversible compression processing unit and the decompression processing unit in the encoding device, both of which are input together with the encoded image data and constitute the frame A decoding apparatus characterized by performing a quantization process or an inverse quantization process for each block based on a quantization coefficient for each block.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014017600A JP2015146474A (en) | 2014-01-31 | 2014-01-31 | Encoding device and decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014017600A JP2015146474A (en) | 2014-01-31 | 2014-01-31 | Encoding device and decoding device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015146474A true JP2015146474A (en) | 2015-08-13 |
Family
ID=53890539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014017600A Pending JP2015146474A (en) | 2014-01-31 | 2014-01-31 | Encoding device and decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015146474A (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261635A (en) * | 1996-03-22 | 1997-10-03 | Mitsubishi Electric Corp | Data compression circuit, data expansion circuit and motion compensation prediction decoder |
JP2009130931A (en) * | 2007-11-19 | 2009-06-11 | Samsung Electronics Co Ltd | Method and apparatus for efficiently encoding / decoding moving image through adjustment of video resolution |
US20090245391A1 (en) * | 2008-03-31 | 2009-10-01 | Jeongnam Youn | Lossy frame memory compression using intra refresh |
JP2009260977A (en) * | 2008-04-15 | 2009-11-05 | Sony Corp | Video data compression using combination of irreversible compression and reversible compression |
JP2010098352A (en) * | 2008-10-14 | 2010-04-30 | Panasonic Corp | Image information encoder |
WO2011138912A1 (en) * | 2010-05-06 | 2011-11-10 | 日本電気株式会社 | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method and program |
WO2011148622A1 (en) * | 2010-05-26 | 2011-12-01 | パナソニック株式会社 | Video encoding method, video decoding method, video encoding device and video decoding device |
WO2012005106A1 (en) * | 2010-07-08 | 2012-01-12 | 日本電気株式会社 | Video decoding device, video coding device, video decoding method, video coding method and program |
WO2012017945A1 (en) * | 2010-08-03 | 2012-02-09 | 日本電気株式会社 | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
WO2012095487A1 (en) * | 2011-01-12 | 2012-07-19 | Siemens Aktiengesellschaft | Compression and decompression of reference images in a video coding device |
-
2014
- 2014-01-31 JP JP2014017600A patent/JP2015146474A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261635A (en) * | 1996-03-22 | 1997-10-03 | Mitsubishi Electric Corp | Data compression circuit, data expansion circuit and motion compensation prediction decoder |
JP2009130931A (en) * | 2007-11-19 | 2009-06-11 | Samsung Electronics Co Ltd | Method and apparatus for efficiently encoding / decoding moving image through adjustment of video resolution |
US20090245391A1 (en) * | 2008-03-31 | 2009-10-01 | Jeongnam Youn | Lossy frame memory compression using intra refresh |
JP2009260977A (en) * | 2008-04-15 | 2009-11-05 | Sony Corp | Video data compression using combination of irreversible compression and reversible compression |
JP2010098352A (en) * | 2008-10-14 | 2010-04-30 | Panasonic Corp | Image information encoder |
WO2011138912A1 (en) * | 2010-05-06 | 2011-11-10 | 日本電気株式会社 | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method and program |
WO2011148622A1 (en) * | 2010-05-26 | 2011-12-01 | パナソニック株式会社 | Video encoding method, video decoding method, video encoding device and video decoding device |
WO2012005106A1 (en) * | 2010-07-08 | 2012-01-12 | 日本電気株式会社 | Video decoding device, video coding device, video decoding method, video coding method and program |
WO2012017945A1 (en) * | 2010-08-03 | 2012-02-09 | 日本電気株式会社 | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
WO2012095487A1 (en) * | 2011-01-12 | 2012-07-19 | Siemens Aktiengesellschaft | Compression and decompression of reference images in a video coding device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6701391B2 (en) | Digital frame encoding/decoding by downsampling/upsampling with improved information | |
JP4908180B2 (en) | Video encoding device | |
CN108769678B (en) | Image encoding apparatus | |
CN105453570B (en) | Content adaptive entropy coding of partition data for next generation video | |
JP4991699B2 (en) | Scalable encoding and decoding methods for video signals | |
KR100952892B1 (en) | Intracoding method and apparatus of video data | |
US8611687B2 (en) | Method and apparatus for encoding and decoding image using flexible orthogonal transform | |
JP2011130410A (en) | Encoding method, decoding method and apparatus thereof | |
KR20060088461A (en) | Method and apparatus for deriving motion vector for video block from motion vector of base layer picture in encoding / decoding video signal | |
JP2013229674A (en) | Image coding device, image decoding device, image coding method, image decoding method, image coding program, and image decoding program | |
JPWO2013145021A1 (en) | Image decoding method and image decoding apparatus | |
KR20220074835A (en) | Apparatus and method for encoding and decoding to image of ultra high definition resoutltion | |
JPWO2008136164A1 (en) | Decoding circuit, decoding method, and image reproducing apparatus | |
JP2014007469A (en) | Image coding device and image coding method | |
JP2008271039A (en) | Image encoder and image decoder | |
KR20080084890A (en) | Video encoding and playback method and apparatus | |
JP5879571B2 (en) | Encoding device and decoding device | |
JP2015146474A (en) | Encoding device and decoding device | |
JP4708821B2 (en) | Moving picture coding apparatus, control method therefor, computer program, and storage medium | |
WO2017104010A1 (en) | Moving-image coding apparatus and moving-image coding method | |
JP6874844B2 (en) | Moving image coding device, moving image coding method, and moving image coding program | |
JP6838888B2 (en) | Coding device and program | |
KR20130126310A (en) | Video encoding method, decoding method | |
JP2018026726A (en) | Encoding apparatus and program | |
JP2016167853A (en) | Image decoding device, image encoding device and bit stream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination | ||
A131 | Notification of reasons for refusal | ||
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151013 |