JPH0888854A - Moving picture encoding system - Google Patents
Moving picture encoding systemInfo
- Publication number
- JPH0888854A JPH0888854A JP6224545A JP22454594A JPH0888854A JP H0888854 A JPH0888854 A JP H0888854A JP 6224545 A JP6224545 A JP 6224545A JP 22454594 A JP22454594 A JP 22454594A JP H0888854 A JPH0888854 A JP H0888854A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- image signal
- activity
- gop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 82
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000007906 compression Methods 0.000 claims abstract description 31
- 230000006835 compression Effects 0.000 claims abstract description 30
- 230000000694 effects Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 12
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 9
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 8
- 102100034718 Protein CLEC16A Human genes 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 4
- 101100122750 Caenorhabditis elegans gop-2 gene Proteins 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【発明の詳細な説明】Detailed Description of the Invention
【0001】[0001]
【産業上の利用分野】この発明は、動画像信号を圧縮/
符号化する装置に関し、特に圧縮符号化された信号の編
集を可能とする動画像符号化方式に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention compresses / compresses moving image signals.
The present invention relates to an encoding device, and more particularly to a moving image encoding system that enables editing of a compression encoded signal.
【0002】[0002]
【従来の技術】近年、情報源のもつ冗長度を取り除くこ
とにより、所要信号レートを低くする高効率圧縮/符号
化方式が実用化されつつある。この代表例として動画像
信号に対し、DCT等の直交変換により空間的冗長度を
取り除き、さらに、動き検出/動き補償を施し、時間的
冗長度を削減する、いわゆるハイブリット符号化方式が
ある。2. Description of the Related Art In recent years, a high-efficiency compression / encoding system for reducing a required signal rate by removing the redundancy of an information source has been put into practical use. As a typical example of this, there is a so-called hybrid coding system in which spatial redundancy is removed from a moving image signal by orthogonal transformation such as DCT, and motion detection / compensation is performed to reduce temporal redundancy.
【0003】図8にハイブリット符号化装置の構成例を
示す。入力端子100には、動画像信号が入力される。
前処理回路110において、フィルタリングやノイズリ
デュース等の処理を受けた原画像信号は、減算器120
及び動き検出器220に入力される。また前処理回路1
10では、後述する量子化器140における量子化ステ
ップを決めるための原画像の複雑さを検出するアクティ
ビティ検出を行なう。さらに前処理回路110では、原
画像信号の走査線順序を例えば水平8画素、垂直8画素
(8×8画素)ブロック単位(DCT処理ブロック単位
でもある)の走査(ブロック走査)に変換して出力す
る。FIG. 8 shows an example of the structure of a hybrid coding device. A moving image signal is input to the input terminal 100.
The original image signal that has undergone processing such as filtering and noise reduction in the preprocessing circuit 110 is subtracted by the subtractor 120.
And to the motion detector 220. In addition, the preprocessing circuit 1
At 10, activity detection is performed to detect the complexity of the original image for determining the quantization step in the quantizer 140 described later. Further, in the pre-processing circuit 110, the scanning line order of the original image signal is converted into a scan (block scan) in units of, for example, horizontal 8 pixels and vertical 8 pixels (8 × 8 pixels) block (also a DCT processing block unit) and outputs it. To do.
【0004】ここでハイブリット符号化装置における符
号化モードについて簡単に述べる。まずスイッチ210
及び200が開状態にあるモードであり、このモードで
は、減算器120の出力信号は、入力信号と等しくなり
DCT器130に入力される。DCT器130では、前
記ブロックに対し、DCT処理(Discret Co
sine Transform)を行なう。DCT処理
により、ブロックを形成する水平8サンプル/垂直8ラ
インから成る空間的な領域が周波数領域へ変換される。
ここで画像信号の一般的性質として、ブロック内にラン
ダムに配置されていたサンプル値信号は、DCT処理に
よりある特定の周波数領域に集中することが知られてい
る。量子化器140ではこの性質を利用し、DCT器1
30の出力信号の内で微少な成分を切り捨て、また、切
り捨ての行なわれない信号成分についても、離散的数値
へ変換する(ここで離散化の度合は、前記アクティビテ
ィ信号と後述する発生符号量の制約から適応的に決定さ
れている)。Here, the coding mode in the hybrid coding device will be briefly described. First switch 210
And 200 are in the open state, in which the output signal of the subtractor 120 becomes equal to the input signal and is input to the DCT unit 130. The DCT unit 130 performs DCT processing (Discrete Co) on the block.
sine Transform). The DCT process transforms the spatial domain of horizontal 8 samples / vertical 8 lines forming a block into the frequency domain.
Here, as a general property of the image signal, it is known that the sample value signals randomly arranged in the block are concentrated in a specific frequency region by the DCT process. The quantizer 140 utilizes this property and the DCT unit 1
Of the 30 output signals, the minute components are truncated, and the signal components that are not truncated are also converted into discrete numerical values (the degree of discretization here is the activity signal and the generated code amount described later). Determined adaptively from the constraints).
【0005】従ってDCT処理と量子化処理によりこの
ブロック領域を表現するのに必要となる信号数を削減で
きることになる。この様に、入力原画像の信号に対し、
その画像内の空間的性質のみを利用して、圧縮を行なう
モードをイントラ(intra)符号化モードと言う。Therefore, the number of signals required to express this block area can be reduced by the DCT processing and the quantization processing. In this way, for the signal of the input original image,
A mode in which compression is performed using only the spatial property in the image is called an intra coding mode.
【0006】次に、スイッチ220及び230を閉じた
符号化モードの動作について説明する。これらのスイッ
チ220及び230はモード制御器230により制御さ
れ閉じられたとする。すると量子化器140の出力であ
る、例えばイントラ符号化された原画像信号は、逆量子
化器150及びDCT-1器160(逆DCT処理)によ
り空間領域の信号に復号化される。(もちろん、復号化
された画像は量子化器140において非可逆な処理を施
されているので、原画像には等しくない)。遅延器18
0において、おおよそ1画面を構成する時間に相当する
信号遅延が行なわれ、その出力信号は動き補償器190
及び動き検出器220に供給される。Next, the operation in the coding mode in which the switches 220 and 230 are closed will be described. It is assumed that these switches 220 and 230 are closed by being controlled by the mode controller 230. Then, the output of the quantizer 140, for example, the intra-coded original image signal is decoded into a signal in the spatial domain by the inverse quantizer 150 and the DCT −1 unit 160 (inverse DCT processing). (Of course, the decoded image is irreversibly processed in the quantizer 140, and is not equal to the original image). Delay device 18
At 0, a signal delay corresponding to the time for forming one screen is performed, and the output signal is a motion compensator 190.
And the motion detector 220.
【0007】動き検出器220では、前記遅延器180
からの復号化画像信号と、前処理回路110からの原画
像信号を比較し、例えばブロックごとに動きベクトル値
を検出する。すなわち、静止領域に配置されているブロ
ックに対する動きベクトル値は零となり、動きのある領
域に配置されたブロックについては、動きの方向とその
距離に相当する動きベクトル値が検出される。動き検出
器220の出力信号である動きベクトル値は、モード制
御器230を介して、動き補償器190に入力される。
動き補償器190では、動きベクトル値に応じて、その
ブロック領域を移動させる。In the motion detector 220, the delay device 180 is used.
And the original image signal from the pre-processing circuit 110 are compared to detect the motion vector value for each block. That is, the motion vector value for the block arranged in the still region becomes zero, and for the block arranged in the moving region, the motion vector value corresponding to the motion direction and the distance thereof is detected. The motion vector value, which is the output signal of the motion detector 220, is input to the motion compensator 190 via the mode controller 230.
The motion compensator 190 moves the block area according to the motion vector value.
【0008】この動き補償された信号は、スイッチ21
0を経て減算器120に入力され、またスイッチ200
を経て加算器170に入力される。減算器120におい
ては、原画像信号と動き補償された復号画像信号の減算
が行なわれる。従ってこの減算器120の出力信号は、
動き補償が不十分であったブロックに相当する領域のみ
について、その差分信号が得られることになり、大部分
の領域については零の出力となる。一方、加算器170
においてはこの逆の処理が行なわれており、動き補償信
号に対し、その差分信号が加算されているので、加算器
170の出力は、原画像に近い復号画像信号が得られる
ことになる。また、減算器120の差分信号自体にも空
間的冗長度が含まれていると予想されるので、イントラ
符号化モードと同様のDCT処理と量子化が行なわれ
る。The motion-compensated signal is sent to the switch 21.
It is input to the subtractor 120 via 0, and the switch 200
And is input to the adder 170. The subtracter 120 subtracts the motion-compensated decoded image signal from the original image signal. Therefore, the output signal of the subtractor 120 is
The difference signal is obtained only for the area corresponding to the block for which the motion compensation is insufficient, and the output is zero for most areas. On the other hand, the adder 170
In the above, the reverse processing is performed, and the difference signal is added to the motion compensation signal, so that the output of the adder 170 is a decoded image signal close to the original image. Further, since it is expected that the difference signal itself of the subtractor 120 also includes spatial redundancy, DCT processing and quantization similar to those in the intra coding mode are performed.
【0009】この様に、スイッチ200及び210が閉
じた状態では過去の画像信号との相関性を利用し、時間
的冗長度も削減できる符号化モードでありこれをインタ
ー(inter)符号化モードと言う。As described above, when the switches 200 and 210 are closed, the correlation with the past image signal is utilized, and the temporal redundancy can be reduced. This is an encoding mode. To tell.
【0010】以上述べたハイブリット符号化方式を基に
した動画像符号化方式として、MPEG(Moving Pictu
re Image Coding Experts Group )方式が提案されてお
り、このMPEG方式につき説明する。As a moving picture coding method based on the above-described hybrid coding method, MPEG (Moving Pictu) is used.
re Image Coding Experts Group) system has been proposed, and this MPEG system will be described.
【0011】図8におけるハイブリット符号化方式にお
いては、インター符号化モードは過去の画像との相関性
を利用した符号化が行なわれている。つまり一度圧縮符
号化した情報を復号して、復号画像と入力画像との間で
動きベクトルを検出し、この動きベクトルに基づいて復
号画像の動き補償を行い予測画像信号を作成している。
そして、入力画像信号と予測画像信号との差分を得て圧
縮を行っている。これに対して、MPEGにおいては未
来の画像との相関性も利用される。従って、MPEGで
は画像内の空間的冗長度のみを利用するイントラ符号化
モード(これをI−Picture)と、過去の画像と
の時間的冗長度も合わせて利用するインター符号化モー
ド(これをP−Picture Predictive
−Pictureと言う)と、過去及び未来の画像との
時間的冗長度も合わせて利用するモード(これをB−P
icture Bidirectionally−Pr
edictive)がある。In the hybrid coding system shown in FIG. 8, the inter coding mode is coded by utilizing the correlation with the past image. That is, information that has been compression-encoded once is decoded, a motion vector is detected between the decoded image and the input image, and motion compensation of the decoded image is performed based on this motion vector to create a predicted image signal.
Then, the compression is performed by obtaining the difference between the input image signal and the predicted image signal. On the other hand, in MPEG, the correlation with future images is also used. Therefore, in MPEG, an intra coding mode that uses only spatial redundancy within an image (this is I-Picture) and an inter coding mode that also uses temporal redundancy with past images (this is called P -Picture Predictive
-Picture) and the temporal redundancy between the past and future images are also used together (this is BP
image Bidirectionally-Pr
There is editive).
【0012】図9(A)にはMPEG方式で行なわれて
いる各Pictureの配列順の一例を示す。Ixxは
I−Picture、PxxはP−Picture、B
xxはB−Pictureを示しており、この例では、
IあるいはPピクチャ間に2枚のBが挿入され、10枚
(フレーム)ごとにIピクチャを挿入している。FIG. 9A shows an example of the order of arrangement of each picture performed by the MPEG system. Ixx is I-Picture, Pxx is P-Picture, B
xx represents B-Picture, and in this example,
Two B's are inserted between I or P pictures, and an I picture is inserted every 10 (frames).
【0013】Bピクチャでは、未来の画像との時間的冗
長度の削減に利用されるために、原画像の入力順と、符
号化される画像の順とは異なってくる。すなわち、図9
(B)に示す様に、B2 やB3 についてはI1 とP4 と
を用いた時間的冗長度の探索が行なわれる。(B2 やB
3 に対し、I1 とP4 は過去及び未来の参照画像と呼ば
れる)。従って、B2 やB3 の符号化に先だってP4 の
符号化が行なわれる必要があり、図9(A)に示す様
に、符号化順は、原画像順とは異なり、I1 、P4 の符
号化がB2 やB3 の符号化に先だって行われる。Since the B picture is used for reducing the temporal redundancy with the future image, the input order of the original image and the order of the encoded image are different. That is, FIG.
As shown in (B), for B2 and B3, a temporal redundancy search using I1 and P4 is performed. (B2 and B
(3, I1 and P4 are called past and future reference images). Therefore, it is necessary to encode P4 prior to encoding B2 and B3. As shown in FIG. 9A, the encoding order is different from the original image order, that is, I1 and P4 are encoded. It is done prior to the encoding of B2 and B3.
【0014】図9(A)及び図9(B)においては、P
あるいはB−ピクチャにおいては画像全領域について、
動き補償が施されている様に記述されているが、実際に
は、前記ブロックをライン方向2個、垂直方向2個、合
計4個から成るマクロブロックを定義し、このマクロブ
ロックごとにイントラ符号化モード(I−マクロブロッ
ク)、過去の画像を参照とするP−マクロブロック、過
去及び未来の画像を参照とするB−マクロブロックを決
定している。In FIGS. 9A and 9B, P
Or in the B-picture, for the entire image area,
Although it is described that motion compensation is applied, in practice, a macroblock consisting of two blocks in the line direction and two in the vertical direction, that is, a total of four macroblocks is defined, and an intra code is defined for each macroblock. The I-macro block, the P-macro block that refers to the past image, and the B-macro block that refers to the past and future images are determined.
【0015】ここでIピクチャについてはP及びBマク
ロブロックの使用は禁止されており、従ってすべてIマ
クロブロックから構成されている。また、Pピクチャに
おいては、I及びPマクロブロックが使用され、Bピク
チャにおいては、I,P,Bのマクロブロックが使用可
能となっている。例えば、Bピクチャにおいて、画像内
で動体が移動している場合を想定すると、移動物体によ
って隠されていた領域は、未来の画像からの参照が行な
われBマクロブロックとなり、移動物体自体は過去から
の参照が可能となりPマクロブロックとなる。Here, for I pictures, the use of P and B macroblocks is prohibited, and thus all of them are composed of I macroblocks. In addition, I and P macroblocks are used in P pictures, and I, P, and B macroblocks can be used in B pictures. For example, assuming that a moving object is moving in an image in a B picture, a region hidden by a moving object is referred to by a future image to become a B macroblock, and the moving object itself is changed from the past. Can be referred to, and it becomes a P macroblock.
【0016】また、移動物体と背景の双方が含まれるマ
クロブロックについては、動き補償が十分に行なえない
ので、Iマクロブロックが選択されることになる。この
様なマクロブロックの選択は、次の様な装置構成により
達成される。Further, with respect to the macroblock including both the moving object and the background, the motion compensation cannot be sufficiently performed, so that the I macroblock is selected. The selection of such a macro block is achieved by the following device configuration.
【0017】図8において、動き検出器220は、注目
するマクロブロックにつき過去の画像からの動きベクト
ル(以降順方向動きベクトルと称す)、未来の画像から
の動きベクトル(以降逆方向動きベクトルと称す)の2
つの動きベクトルを検出する。次に、順方向動きベクト
ルによる動き補償を行なった時の原画像と復号化画像の
差分値を検出する。同様に、逆方向動きベクトルのみに
よる動き補償を行なった時の原画像と復号化画像との差
分値、及び順逆双方向の動きベクトルによる動き補償を
行ったときの原画像と復号化画像との差分値を検出す
る。また、動きベクトルを使用しない、すなわち、原画
像のみを使用したときの原画像と復号化画像との差分値
に相当する信号も作成する。これら、2種の動きベクト
ル値(順方向、逆方向)と4種の差分値がモード制御器
230に入力される。In FIG. 8, the motion detector 220 has a motion vector from a past image (hereinafter referred to as a forward motion vector) and a motion vector from a future image (hereinafter referred to as a backward motion vector) for a macroblock of interest. ) 2
Detect two motion vectors. Next, the difference value between the original image and the decoded image when motion compensation by the forward motion vector is performed is detected. Similarly, the difference value between the original image and the decoded image when the motion compensation is performed only by the backward motion vector, and the difference between the original image and the decoded image when the motion compensation is performed by the forward and backward bidirectional motion vectors. Detect the difference value. Also, a signal corresponding to the difference value between the original image and the decoded image when no motion vector is used, that is, when only the original image is used, is created. These two types of motion vector values (forward direction, backward direction) and four types of difference values are input to the mode controller 230.
【0018】モード制御器230では、Iピクチャにつ
いては、動きベクトル値等は使用できないので、動き補
償値=0として、スイッチ200及び210をオフする
信号を出力する。またPピクチャについては、個々のマ
クロブロックについて、順方向動きベクトルによる差分
値と、動きベクトルを使用しない場合の差分値信号を比
較し、小さい方を選択し、この選択された方の動きベク
トル値を動き補償器190に出力する。同様に、Bピク
チャについては、4種の差分値すべてが比較され最も小
さい差分値となる方の動きベクトル値を出力する。Since the motion vector value and the like cannot be used for the I picture in the mode controller 230, the motion compensation value = 0 is set and a signal for turning off the switches 200 and 210 is output. For P pictures, for each macroblock, the difference value based on the forward motion vector is compared with the difference value signal when the motion vector is not used, the smaller one is selected, and the selected motion vector value Is output to the motion compensator 190. Similarly, for the B picture, all four types of difference values are compared, and the motion vector value having the smallest difference value is output.
【0019】以上の構成により、各ピクチャ単位で使用
可能なマクロブロックを組み合わせて、最も差分値が小
さくなる様なマクロブロックを選択できる。すなわち最
も圧縮効率が高くなることが期待されるマクロブロック
を適応的に選択したことになる。With the above arrangement, macroblocks that can be used for each picture can be combined to select a macroblock having the smallest difference value. That is, it means that the macro block that is expected to have the highest compression efficiency is adaptively selected.
【0020】さて、上記MPEG方式に沿った動画像信
号の圧縮/符号化では、圧縮符号化された信号の単位と
して、GOP(Group of picture)と
いう階層がある。GOPの内には必ず1個以上のIピク
チャがある。Iピクチャは他の画像からの参照を必要と
しない符号化ピクチャであり、一方、PあるいはBピク
チャは参照画像を必要とする。言い換えると、復号化の
開始をIピクチャから行なう必要がある。(Pあるいは
Bピクチャから復号化を開始しても、差分画像信号なの
で十分な再生画像を得られない)。In the compression / encoding of a moving image signal according to the MPEG system, there is a hierarchy called GOP (Group of pictures) as a unit of the compression encoded signal. There is always one or more I pictures in a GOP. I-pictures are coded pictures that do not require reference from other pictures, while P- or B-pictures require reference pictures. In other words, it is necessary to start decoding from the I picture. (Even if decoding is started from a P or B picture, a sufficient reproduced image cannot be obtained because it is a differential image signal).
【0021】この様にGOPという階層を設けることに
より、復号化を開始することが可能なシーケンスを復号
器において発見しやすいメリットがある。符号化装置に
おいて、符号信号の編集を行なう単位としてもGOPは
必要である。すくなくともGOP単位で符号信号を切り
出したり、付加したり消去することにより、その一群の
符号内にはIピクチャが1個以上あり他の画像はこのI
ピクチャをもとに作成されているからである。By providing the hierarchy of GOP in this way, there is a merit that it is easy for the decoder to find a sequence capable of starting decoding. In the encoder, the GOP is necessary as a unit for editing the code signal. At least one I picture is present in the code of the group by cutting out, adding or deleting the code signal in units of GOP, and at least other images are I pictures.
This is because it is created based on the picture.
【0022】しかしながら、実際に符号信号において編
集を行なうには複数のGOPを単位として行なう必要が
ある場合がある。例えば、GOP1の最初のBピクチャ
B8とB9 については前のGOPの最後のPピクチャP7
も参照画像として使用されている可能性がある(図9
(B)参照)。この様にGOPの境目をまたぐかたちで
参照画像を作成するGOPをOPEN GOPと呼ぶ。
これに対して、B8 ,B9 についてP7 を参照しないよ
うな場合をCLOSED GOPと呼ぶ。一般的に、O
PEN GOPは参照画像の選択枝が多いので高い圧縮
効率が期待できる。However, in order to actually edit the code signal, it may be necessary to perform the editing in units of a plurality of GOPs. For example, for the first B picture B8 and B9 of GOP1, the last P picture P7 of the previous GOP.
May also be used as a reference image (FIG. 9).
(See (B)). A GOP that creates a reference image in such a manner that it crosses the boundary between GOPs is called an OPEN GOP.
On the other hand, the case where P7 is not referred to for B8 and B9 is called a CLOSED GOP. Generally, O
Since PEN GOP has many reference image selection branches, high compression efficiency can be expected.
【0023】しかしながら、OPEN GOPによる符
号化を行なった場合、例えばB8 とB9 の処理において
P7 の参照を許し、GOP2のB17,B18もP16の参照
を許す様に符号化を行なったとする。この符号信号に対
しGOP1について、再符号化を行ない、この再符号化
信号を元のGOP1と入れ換える様な操作を考えると、
次の様な手順が必要となる。However, when the encoding is performed by the OPEN GOP, it is assumed that the reference of P7 is permitted in the processing of B8 and B9, and the encoding of B17 and B18 of GOP2 is also permitted. Considering an operation of re-encoding GOP1 for this code signal and replacing the re-encoded signal with the original GOP1,
The following procedure is required.
【0024】まず、GOP0から符号化を開始し、I1
からP7 については、もとの符号化とまったく同一の状
態で符号化を行なう(これはGOP0については符号信
号の入れ換えを行なわないので必須の動作となる)。こ
れによりGOP0の最後のP7 を再生することができ
る。このP7 を使用して、GOP1の符号化を開始し、
GOP1の符号化を行なう。最後にGOP2については
P16より参照されるB17及びB18についてのみ変更を許
すように符号化を行なう。First, encoding is started from GOP0 and I1
From P to P7, the encoding is performed in exactly the same state as the original encoding (this is an essential operation for GOP0, since the code signals are not exchanged). As a result, the last P7 of GOP0 can be reproduced. This P7 is used to start encoding GOP1,
Encode GOP1. Finally, GOP2 is encoded so that only B17 and B18 referred to by P16 can be changed.
【0025】以上の操作によりGOP1の再符号化が行
なわれ、符号化信号の入れ換えが可能になる(正確には
GOP1に含まれるB8 からGOP2のB18までの入れ
換えを行なう必要がある)。ここでGOP0の符号化に
ついて考察すると、I1 からP7 については、もとの符
号化信号とまったく同一の信号を再び作成しなければな
らない。符号化装置に限定して、この実現性を検討した
場合、符号化に使用された量子化器における量子化パラ
メータ及び、各マクロブロックにおいて使用された動き
ベクトル値などを、前の符号化の時に使用されたものと
同一のものにする必要がある。これは、前の符号化にお
いてこれらの信号をすべて記憶しておくことにより可能
となる。一般にハイブリット符号化装置はディジタル回
路により実現されているので、前の符号化を再現するに
必要なる信号をすべて記憶し、再符号化時には、それら
の信号により符号化すればよいのである。これは装置の
故障がない限り、原理的には可能な操作である。しかし
ながら、この仮定で入力される原画像信号が前の符号化
時における画像信号と同一であるという条件がさらに必
要となる。符号化に必要となるパラメータ等の信号を同
一としても、2回の符号化で原画像信号が異なればP7
の再現は不可能となるからである。By the above operation, GOP1 is re-encoded and the encoded signals can be exchanged (to be precise, it is necessary to exchange B8 included in GOP1 to B18 included in GOP2). Considering the coding of GOP0 here, for I1 to P7, a signal exactly the same as the original coded signal must be created again. When considering this feasibility by limiting it to the encoding device, the quantization parameter in the quantizer used for encoding, the motion vector value used in each macroblock, etc. are set at the time of the previous encoding. Must be identical to the one used. This is possible by storing all these signals in the previous encoding. In general, the hybrid encoder is realized by a digital circuit, so that all the signals necessary for reproducing the previous encoding are stored, and at the time of re-encoding, the signals may be encoded. This is in principle a possible operation, as long as there is no equipment failure. However, the condition that the original image signal input under this assumption is the same as the image signal in the previous encoding is further required. Even if the signals such as parameters required for encoding are the same, if the original image signal is different by encoding twice, P7
It is impossible to reproduce.
【0026】一般に、圧縮/符号化される以前の原画像
信号の情報量は膨大である。例えば、現行のテレビジョ
ン信号等で使用している画像信号は水平720サンプル
垂直480ラインで1フレームを構成し、フレームレー
トは1/30秒である。1画素のサンプル値を8bit
で表現した場合の1秒間の情報量は、約83Mビットと
なる。これは、一種の信号についてのみであり、カラー
画像の場合、3種の信号が必要となり、その形式によっ
て情報量は異なるが、例えば、色信号成分の信号帯域幅
を輝度信号のそれの半分にする、いわゆる4:2:2フ
ォーマットのカラー画像信号での情報量はおおよそ16
0MB/Sとなる。この様に膨大な情報を長時間記録蓄
積できる装置として現在実現されているものとしては、
磁気テープを使用したディジタルVTR(VCR)があ
る。しかしながら、これら磁気記録された信号の再生は
通常誤りが混在している。(もちろん、半導体メモリ等
のノイズフリーの記録/蓄積装置も可能であるが長時間
の原動画信号を取扱うのは現時点では非現実的であ
る)。Generally, the amount of information of the original image signal before being compressed / encoded is enormous. For example, the image signal used in the current television signal or the like constitutes one frame with 720 horizontal samples and 480 vertical lines, and the frame rate is 1/30 second. The sample value of 1 pixel is 8 bits
The amount of information per second in the case of is about 83 Mbits. This is only for one type of signal, and in the case of a color image, three types of signals are required, and the amount of information varies depending on the format, but for example, the signal bandwidth of the color signal component is reduced to half that of the luminance signal. The amount of information in a so-called 4: 2: 2 format color image signal is about 16
It becomes 0MB / S. As a device that is currently realized as a device that can record and store a huge amount of information for a long time,
There is a digital VTR (VCR) using a magnetic tape. However, the reproduction of these magnetically recorded signals usually contains errors. (Of course, a noise-free recording / storing device such as a semiconductor memory is also possible, but it is unrealistic to handle a long-time original moving image signal).
【0027】従って前記仮定である2回の符号化で原画
像がまったく同一であるという仮定が成り立たなくな
る。すなわちOPEN−GOPで符号化された信号に対
し、再符号化し、その一部を入れ換える様な編集操作が
実現できなくなる。Therefore, the assumption that the original images are exactly the same cannot be established by the above-described two-time encoding. That is, it becomes impossible to realize an editing operation of re-encoding a signal encoded by OPEN-GOP and replacing a part thereof.
【0028】ここで、上記の様な一部を入れ換える編集
操作の必要性について触れておく。ハイブリット符号化
方式では符号化した信号の情報量(発生符号量)につい
て制約がある。これはそれら圧縮符号が伝送あるいは蓄
積されるチャネルの信号帯域幅が決められており、従っ
て、発生符号量もこれに合致する帯域にする必要があ
る。Here, the necessity of the editing operation for exchanging a part as described above will be mentioned. In the hybrid coding method, there is a restriction on the information amount (generated code amount) of the coded signal. In this case, the signal bandwidth of the channel for transmitting or accumulating those compression codes is determined, and therefore, it is necessary to set the amount of generated codes to a band that matches this.
【0029】一方、原画像信号の複雑さは刻々と変化す
るものでありこの変化に対し、発生符号量を制御する方
法としては、量子化器140における離散化ステップサ
イズ(量子化サイズ)や、モード制御器230における
符号化モードの選択アルゴリズムの変更等がある。On the other hand, the complexity of the original image signal changes from moment to moment, and as a method of controlling the generated code amount against this change, the discretization step size (quantization size) in the quantizer 140 or For example, the coding algorithm selection algorithm in the mode controller 230 may be changed.
【0030】これらのパラメータの制御方法について
は、一般化されたアルゴリズムがある訳ではなく、ま
た、この制御方法により復号画像信号の品質が大きく左
右される(これは例えば量子化の処理を考えた場合、こ
の非可逆な処理により、原画像と復号画像の距離の度合
が決定されることより理解できる)。従って、現時点で
は原画像信号に対し、上記パラメータを変更して、複数
回の符号化を行ない、もっとも復号画像品質のよいもの
を選ぶ必要がある。Regarding the control method of these parameters, there is no generalized algorithm, and the quality of the decoded image signal is greatly influenced by this control method (for example, considering the quantization processing). In this case, it can be understood that this irreversible processing determines the degree of distance between the original image and the decoded image). Therefore, at the present time, it is necessary to change the above parameters for the original image signal, perform encoding a plurality of times, and select the one having the best decoded image quality.
【0031】[0031]
【発明が解決しようとする課題】従来例に見られるハイ
ブリット符号化方式では、圧縮符号に対しその一部を再
符号化したものと取り替える様な編集操作ができなかっ
た。もちろん、すべてのGOPをCLOSED−GOP
にすることにより可能であるが、このモードでは十分な
圧縮効率が期待できない。そこでこの発明の目的は、圧
縮効率を比較的高く保ちつつ上記編集操作を可能とする
動画像符号化方式を提供するところにある。In the hybrid coding system found in the conventional example, it is not possible to perform an editing operation for replacing a part of the compressed code with a re-encoded one. Of course, all GOPs are CLOSED-GOP
However, it is not possible to expect sufficient compression efficiency in this mode. SUMMARY OF THE INVENTION An object of the present invention is to provide a moving picture coding system which enables the above editing operation while keeping the compression efficiency relatively high.
【0032】[0032]
【課題を解決するための手段】上記目的を達成するため
に、本発明では、定期的にCLOSED−GOPを発生
するハイブリット符号化装置を実現しており、符号化の
モード制御部において、外部あるいは内部より指示され
たGOP選択信号により、そのGOPをCLOSED−
GOPとする様に符号化モードを選択するものである。In order to achieve the above object, the present invention realizes a hybrid coder which periodically generates CLOSED-GOP, and a coding mode control unit is provided with an external or external device. The GOP selection signal instructed from the inside causes that GOP to be CLOSED-
The coding mode is selected so that GOP is set.
【0033】[0033]
【作用】上記の手段により、GOP単位での一部入れ替
えが容易となり編集に好都合な信号を得ることができ
る。By the above means, it is possible to easily replace a part of each GOP and obtain a signal convenient for editing.
【0034】[0034]
【実施例】以下、本発明の実施例を図面を参照して説明
する。図1には本発明の第1の実施例を示す。従来構成
におけるハイブリット符号化装置と同一の機能を有する
ユニットについては同一の番号を付し、その機能説明を
割愛する。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a first embodiment of the present invention. Units having the same functions as those of the hybrid encoding device in the conventional configuration are designated by the same reference numerals, and the description of the functions will be omitted.
【0035】図1においては、従来構成に対し、GOP
計測器250が追加されている。GOP計測器250
は、モード制御器230よりGOPの境界を示す信号を
信号線25bを介して受けとる。この信号によりGOP
計測器250内部においてある初期値(=a)からGO
Pの境界がカウントダウンされ、境界数がa回入力され
るとカウント値は零となり、信号線250aを介してモ
ード制御器230にCLOSED−GOP指示信号が入
力されることになる。In FIG. 1, the GOP is different from the conventional configuration.
A measuring instrument 250 is added. GOP measuring instrument 250
Receives a signal indicating the boundary of GOP from the mode controller 230 via the signal line 25b. GOP by this signal
GO from the initial value (= a) inside the measuring instrument 250
When the boundary of P is counted down and the number of boundaries is input a times, the count value becomes zero, and the CLOSED-GOP instruction signal is input to the mode controller 230 via the signal line 250a.
【0036】モード制御器230においては、CLOS
ED−GOP指示信号を受けると、GOP先頭の2枚の
Bピクチャに対し、その参照画像が次に来るIピクチャ
に限定される様に逆方向動ベクトルの選択を禁止する。
この動作により、前GOPからの参照がないCLOSE
D−GOPが形成されることになる。In the mode controller 230, the CLOS
When the ED-GOP instruction signal is received, the backward motion vector selection is prohibited for the two B pictures at the head of the GOP so that the reference picture is limited to the I picture that comes next.
By this operation, CLOSE without reference from the previous GOP
A D-GOP will be formed.
【0037】図7にはGOP1をCLOSED−GOP
にした参照画像の関係図を示してある。従来例でも述べ
た様に、CLOSED−GOPの選択により、圧縮効率
の低下が予想される。従って、GOP計測器250に与
える初期値aは比較的大きく設定されている。通常1G
OPを構成するピクチャ数は10〜30フレーム程度に
設定されている。これは従来例で示したGOPの復号化
装置での役割により決定されたものである。すなわち、
復号化装置では電源投入やチャンネルの変更等により復
号化する信号を切り換えた場合に、正常な画像を再生す
る単位としてGOPを基準にする。従って1GOPを構
成するピクチャ数を多くすると、正常画像を得るまでに
長い時間を要することになる。一方1GOP構成ピクチ
ャ数を少なくすると正常画像を得るまでの時間は短くな
るが、他の参照画像を必要としないIピクチャの発生頻
度が増すことになる。FIG. 7 shows GOP1 as CLOSED-GOP.
3 shows a relationship diagram of the reference image shown in FIG. As described in the conventional example, the compression efficiency is expected to decrease due to the selection of CLOSED-GOP. Therefore, the initial value a given to the GOP measuring device 250 is set relatively large. Usually 1G
The number of pictures forming the OP is set to about 10 to 30 frames. This is determined by the role of the GOP decoding device shown in the conventional example. That is,
In the decoding device, when the signal to be decoded is switched by turning on the power or changing the channel, GOP is used as a unit for reproducing a normal image. Therefore, if the number of pictures making up one GOP is increased, it takes a long time to obtain a normal image. On the other hand, if the number of 1-GOP constituent pictures is reduced, the time required to obtain a normal image will be shortened, but the frequency of occurrence of I-pictures that do not require other reference images will increase.
【0038】ハイブリット符号化装置は、動画像信号の
もつ時間的冗長性を利用して、圧縮効率を上げているの
でこのIピクチャ頻度の増大は効率の低下を意味するこ
とになる。Since the hybrid encoding apparatus uses the temporal redundancy of the moving image signal to improve the compression efficiency, the increase in the I picture frequency means the decrease in efficiency.
【0039】上記の観点から、1GOPを構成するピク
チャ数としては10〜30フレームすなわちある程度I
ピクチャの頻度を減らしかつ再生画像が違和感なく得ら
れる時間として設定されている。From the above viewpoint, the number of pictures constituting one GOP is 10 to 30 frames, that is, I to some extent.
The time is set so that the frequency of pictures is reduced and a reproduced image can be obtained without a feeling of strangeness.
【0040】上記ピクチャ数による1GOPの再生時間
は1/3秒〜1秒程度になる。また、原動画像を作成す
る単位としては、シーンという考え方で作成されてい
る。すなわち、一連の関連ある画像により、1つのシー
ンを構成し、これらのシーンを組み合わせて1つのプロ
グラムが作成されている。ここで1シーンの長さはプロ
グラム作成者により決められるものであるが、経験的に
は30秒程度が一般的である。またシーンにより画像の
複雑さが変化することが予想され、従って、再符号化に
よる圧縮符号信号のつけかえ等の編集操作もこのシーン
を単位とするのが妥当である。The reproduction time of 1 GOP depending on the number of pictures is about 1/3 second to 1 second. The unit of creating the moving image is created based on the concept of a scene. That is, one scene is composed of a series of related images, and one program is created by combining these scenes. Here, the length of one scene is determined by the program creator, but from experience, it is generally about 30 seconds. Further, it is expected that the complexity of the image will change depending on the scene. Therefore, it is appropriate that the editing operation such as replacement of the compressed code signal by re-encoding also takes this scene as a unit.
【0041】以上のことよりGOP計測器250におけ
る初期値aの設定値は30秒程度に1回CLOSED−
GOPが発生する様な値になっている。1GOP=30
ピクチャ=1秒とすればa=30にすることにより30
秒に1回の割においてCLOSED−GOPが発生す
る。From the above, the set value of the initial value a in the GOP measuring device 250 is once for about 30 seconds CLOSED-
The value is such that GOP occurs. 1 GOP = 30
Picture = 1 second, a = 30
CLOSED-GOP occurs at a rate of once per second.
【0042】さてCLOSED−GOPにより区切られ
た一連のGOPは前GOPからの参照も、後述するGO
Pからの参照も受けていないため従来例に見られる2回
の符号化においてまったく同一の原画像信号が供給され
なければならないという制約が無くなり従って上記編集
操作が可能になる。なお上述の動作では、CLOSED
−GOPの設定は正確にa毎に行われるが、これをほぼ
定期的な期間(略a)毎に設定するようにしてもかまわ
ない。A series of GOPs delimited by CLOSED-GOP is referred to from the previous GOP, and a GO which will be described later.
Since the reference from P is not received, there is no restriction that the same original image signal has to be supplied in the two encodings, which is seen in the conventional example, and therefore the editing operation can be performed. In the above operation, CLOSED
-GOP is set accurately for each a, but this may be set for each substantially regular period (approximately a).
【0043】図2には、本発明の第2の実施例を示す。
図1に示した第1の実施例に対し、参照マクロブロック
計測器260が追加されている。FIG. 2 shows a second embodiment of the present invention.
A reference macroblock measuring instrument 260 is added to the first embodiment shown in FIG.
【0044】ここでモード制御器230について再度説
明することにする。まず、動き検出器220は、注目す
るマクロブロックにつき過去の画像からの動きベクトル
(以降順方向動きベクトルと称す)、未来の画像からの
動きベクトル(以降逆方向動きベクトルと称す)の2つ
の動きベクトルを検出する。次に、順方向動きベクトル
による動き補償を行なった時の原画像と復号化画像の差
分値を検出する。同様に、逆方向動きベクトルのみによ
る動き補償を行なった時の原画像と復号化画像との差分
値、及び順逆双方向の動きベクトルによる動き補償を行
ったときの原画像と復号化画像との差分値を検出する。
また、動きベクトルを使用しない、すなわち、原画像の
みを使用したときの原画像と復号化画像との差分値に相
当する信号も作成する。これら、2種の動きベクトル値
(順方向、逆方向)と4種の差分値がモード制御器23
0に入力される。Here, the mode controller 230 will be described again. First, the motion detector 220 detects two motions of a macroblock of interest: a motion vector from a past image (hereinafter referred to as a forward motion vector) and a motion vector from a future image (hereinafter referred to as a backward motion vector). Detect a vector. Next, the difference value between the original image and the decoded image when motion compensation by the forward motion vector is performed is detected. Similarly, the difference value between the original image and the decoded image when the motion compensation is performed only by the backward motion vector, and the difference between the original image and the decoded image when the motion compensation is performed by the forward and backward bidirectional motion vectors. Detect the difference value.
Also, a signal corresponding to the difference value between the original image and the decoded image when no motion vector is used, that is, when only the original image is used, is created. These two types of motion vector values (forward direction, backward direction) and four types of difference values are used as the mode controller 23.
Input to 0.
【0045】モード制御器230では、Iピクチャにつ
いては、動きベクトル値等は使用できないので、動き補
償値=0として、スイッチ200及び210をオフする
信号を出力する。またPピクチャについては、個々のマ
クロブロックについて、順方向動きベクトルによる差分
値と、動きベクトルを使用しない場合の差分値信号を比
較し、小さい方を選択し、この選択された方の動きベク
トル値を動き補償器190に出力する。同様に、Bピク
チャについては、4種の差分値すべてが比較され最も小
さい差分値となる方の動きベクトル値を出力する。Since the motion vector value and the like cannot be used for the I picture in the mode controller 230, the motion compensation value is set to 0 and a signal for turning off the switches 200 and 210 is output. For P pictures, for each macroblock, the difference value based on the forward motion vector is compared with the difference value signal when the motion vector is not used, the smaller one is selected, and the selected motion vector value Is output to the motion compensator 190. Similarly, for the B picture, all four types of difference values are compared, and the motion vector value having the smallest difference value is output.
【0046】これにより、各ピクチャ単位で使用可能な
マクロブロックを組み合わせて、最も差分値が小さくな
る様なマクロブロックを選択できる。すなわち最も圧縮
効率が高くなることが期待されるマクロブロックを適応
的に選択できることになる。As a result, macroblocks that can be used for each picture unit can be combined to select a macroblock having the smallest difference value. That is, it is possible to adaptively select a macro block that is expected to have the highest compression efficiency.
【0047】ここで参照マクロブロック計測器260に
対しては、モード制御器230よりGOP境界を示す信
号と、各マクロブロックに対し、上記した動き補償後の
差分値及びそれに使用された動きベクトルが信号線26
0aにより供給されている。参照マクロブロック計測器
260では、GOP先頭の2つのBピクチャに対し、順
方向動きベクトルを採用したマクロブロック数を計測す
る。1画像単位で計測が行われる。順方向動きベクトル
を使用するマクロブロック数が少ないということは、前
のGOPの最後の画像との相関性が低いということであ
る。For the reference macroblock measuring device 260, the signal indicating the GOP boundary from the mode controller 230, the difference value after the above-described motion compensation and the motion vector used for it are given to each macroblock. Signal line 26
0a. In the reference macroblock measuring device 260, the two B pictures at the head of the GOP are sequentially processed.
Square measures the number of macro blocks which adopted countercurrent motion vector. The measurement is performed for each image. The small number of macroblocks that use the forward motion vector means low correlation with the last image of the previous GOP.
【0048】よって、このマクロブロック数がある設定
値(=b)より小なる場合には順方向動きベクトルの選
択を禁止する信号を信号線260bを通してモード制御
器230に供給する。つまり、過去の参照画像と復号画
像との間で検出した動きベクトルの採用に関しては止め
るということである。言い換えると過去の参照画像の参
照を止めて、他の参照画像による動き補償を行うという
ことである。[0048] Thus, supplying a signal for inhibiting the selection of the forward Direction motion vectors in the case of small consisting setting values that the number of macro blocks (= b) through the signal line 260b to the mode controller 230. That is, the adoption of the motion vector detected between the past reference image and the decoded image is stopped. In other words, the reference of the past reference image is stopped and the motion compensation is performed by another reference image.
【0049】上記のマクロブロック計測を行うことによ
り方式は、ある程度順方向動きベクトルの選択が少ない
GOP境界に対しCLOSED−GOPを選択する機能
があるので、図1に示した定期的なCLOSED−GO
Pの挿入よりも圧縮効率低下の度合が少ないと期待でき
る。もちろん順方向動きベクトル禁止信号は、信号線2
60bを介してGOP計測器250にも同時に入力され
ており、GOP計測器250ではこの信号の入力によ
り、カウンタを初期値aにもどす。By performing the above macroblock measurement, the method has a function of selecting CLOSED-GOP for a GOP boundary in which the selection of the forward motion vector is small to some extent. Therefore, the periodic CLOSED-GO shown in FIG. 1 is used.
It can be expected that the degree of reduction in compression efficiency will be less than the insertion of P. Of course, the forward motion vector prohibition signal is the signal line 2
It is also input to the GOP measuring device 250 via 60b at the same time, and the GOP measuring device 250 resets the counter to the initial value a by the input of this signal.
【0050】従って、参照マクロブロック計測器260
による順方向動きベクトル禁止信号が得られ、次の順方
向動きベクトル禁止信号が得られるまでの時間が初期設
定値aに相当する時間より長い場合には、自動的にCL
OSED−GOPが挿入されることになる。Therefore, the reference macroblock measuring device 260
If the time until the forward motion vector prohibition signal is obtained and the time until the next forward motion vector prohibition signal is obtained is longer than the time corresponding to the initial setting value a, CL is automatically set.
OSED-GOP will be inserted.
【0051】図3には、さらに本発明の第3の実施例が
示されている。図1の実施例に対し、シーンチェンジ検
出器270が付加されている。上記の様に、1シーンの
長さは経験的に30秒程度であるが、この長さは原画像
信号によりばらつくものである。通常、シーンが変わる
と画像内容が大幅に変化する。従って、シーンチェンジ
検出器270では入力画像とそれを遅延器271で1フ
レーム(あるいは1フィールド)遅延した信号とを減算
器272に入力して減算処理を行うことによりシーンチ
ェンジを検出することができる。減算器272の出力
は、平均化器273に入力され、この平均化器273で
は、検出されたシーンチェンジの長さを計測しその平均
値を出力するものである。シーンチェンジ検出器270
により検出された入力画像の平均的シーン長(=c)が
GOP計測器250に入力されており、このcを初期設
定値aにおきかえることにより、画像信号に応じて最適
な初期値を設定することができる。FIG. 3 further shows a third embodiment of the present invention. A scene change detector 270 is added to the embodiment of FIG. As described above, the length of one scene is empirically about 30 seconds, but this length varies depending on the original image signal. Normally, the image content changes significantly when the scene changes. Therefore, the scene change detector 270 can detect a scene change by inputting the input image and the signal obtained by delaying the input image by one frame (or one field) by the delay device 271 to the subtractor 272 to perform subtraction processing. . The output of the subtractor 272 is input to the averaging unit 273, and the averaging unit 273 measures the length of the detected scene change and outputs the average value. Scene change detector 270
The average scene length (= c) of the input image detected by is input to the GOP measuring device 250. By replacing this c with the initial setting value a, the optimum initial value is set according to the image signal. be able to.
【0052】図4は、本発明の第4の実施例を示す。図
1の実施例に対し、アクティビティ適応初期値器280
が追加されている。従来例で述べた様に、前処理回路1
10には、量子化器140での量子化ステップ・サイズ
を決定するパラメータとして、画像信号の複雑さを検出
するアクティビティ検出器112がある。この検出され
たアクティビティはおおきいほど画像信号の複雑さの度
合が大きいことを示している。もともと発生符号量には
制約があるので量子化器140ではアクティビティが大
きいほど量子化ステップサイズを大きくし、すなわち離
散化の度合を大きくし、発生符号量を少なくする操作を
行なっている。FIG. 4 shows a fourth embodiment of the present invention. Compared to the embodiment of FIG. 1, the activity adaptive initial value unit 280
Has been added. As described in the conventional example, the preprocessing circuit 1
10 has an activity detector 112 for detecting the complexity of the image signal as a parameter for determining the quantization step size in the quantizer 140. The detected activity indicates that the degree of complexity of the image signal is large. Since the generated code amount is originally limited, the quantizer 140 performs an operation to increase the quantization step size as the activity increases, that is, to increase the degree of discretization and reduce the generated code amount.
【0053】さて、アクティビティ適応初期値器280
では、まず画面ごとに検出されたアクティビティの平均
化を平均化器281で行ないその平均値を非線形変換器
282により非線形変換し、GOP計測器250の初期
値aをdに変更する。非線形変換器282の変換特性の
一例を図6(A)に示している。これにより平均化アク
ティビティが小さい、すなわち画像の複雑さの度合が小
さいときにはGOP計測初期値を大きく設定する機能が
得られる。これはもともとアクティビティが小さい時に
は、符号化が比較的容易であり従って、再符号化の要求
が少ないと予想されるからである。アクティビティの増
加によりGOP計測初期値は小さくなる。これはアクテ
ィビティの増大により再符号化し、圧縮符号の入れ換え
要求の頻度が増加することが予想されるからである。さ
らにアクティビティが増大すると、初期値設定値は逆に
大きくなる。これはアクティビティの増大により、符号
化の難易度が高く、CLOSED−GOPによる圧縮効
率の低下を極力さけるためである。この領域では最も再
符号化の要求が高いと予想されるが、もともと符号化難
易度が高いので圧縮効率を優先するようにCLOSED
−GOPを挿入するようなアルゴリズムを採用してい
る。これは再符号化の単位が長くなることを意味する
が、符号化難易度の高い領域では再符号化単位を長くす
ることにより、変更可能な符号量を多くしパラメータ変
更の自由度を高くすることができる。Now, the activity adaptive initial value unit 280
Then, first, the activity detected for each screen is averaged by the averaging device 281, and the average value is non-linearly converted by the non-linear converting device 282, and the initial value a of the GOP measuring device 250 is changed to d. An example of the conversion characteristic of the non-linear converter 282 is shown in FIG. This provides the function of setting the GOP measurement initial value to a large value when the averaging activity is small, that is, the degree of image complexity is small. This is because originally when the activity is low, the coding is relatively easy and therefore the requirement for re-coding is expected to be low. The initial value of GOP measurement decreases as the activity increases. This is because it is expected that re-encoding will be performed due to an increase in activity, and the frequency of requests for exchanging compression codes will increase. If the activity further increases, the initial value setting value will increase. This is because, due to the increase in activity, the degree of difficulty in encoding is high, and the decrease in compression efficiency due to CLOSED-GOP is prevented as much as possible. It is expected that the demand for re-encoding will be the highest in this area, but since encoding difficulty is originally high, CLOSED should be given priority to compression efficiency.
-Adopts an algorithm that inserts a GOP. This means that the unit of re-encoding becomes long, but in the region where the coding difficulty is high, the re-encoding unit is lengthened to increase the changeable code amount and increase the degree of freedom of parameter change. be able to.
【0054】図5に本発明の第5の実施例を示す。図1
の実施例に対しアクティビティ変換器290が追加され
ている。前述の様にCLOSED−GOPにより圧縮効
率の低下が予想される。本実施例ではGOP計測器25
0よりGOP計測カウンタの値がアクティビティ計測器
290に入力されており、例えば図6(B)に特性で示
す様に、GOPの計測値によりアクティビティ値を変更
して量子化器140に入力するようにしている。FIG. 5 shows a fifth embodiment of the present invention. FIG.
The activity converter 290 is added to the embodiment. As described above, CLOSED-GOP is expected to reduce the compression efficiency. In this embodiment, the GOP measuring device 25
From 0, the value of the GOP measurement counter is input to the activity measuring device 290. For example, as shown by the characteristics in FIG. 6B, the activity value is changed according to the measured GOP value and input to the quantizer 140. I have to.
【0055】例えば図6(B)の(a)に示す様に、G
OP計測値の大きい時すなわち、CLOSED−GOP
を発生してからの経過時間が短い時には、入力アクティ
ビティに対する出力アクティビティへ変換が小さく行な
われ、すなわち量子化器140における量子化ステップ
サイズを小さくし、発生符号量を大きくしカウント値の
減少にともない、入力対出力アクティビティの変換を大
きくすることにより発生符号量が小さくなる様な制御を
行なう。For example, as shown in (a) of FIG.
When the OP measurement value is large, that is, CLOSED-GOP
When the elapsed time from the occurrence of is short, the conversion from the input activity to the output activity is performed small, that is, the quantization step size in the quantizer 140 is reduced, the generated code amount is increased, and the count value is decreased. , The control is performed such that the amount of generated code is reduced by increasing the conversion of the input-to-output activity.
【0056】この様な操作によると、CLOSED−G
OPによって発生することが予想される極小的な圧縮効
率の低下を補うためCLOSED−GOPの発生以来よ
りあらかじめ発生符号量を抑え、その抑えられた符号量
をCLOSED−GOPに相当な領域に振り分けること
により、圧縮効率の低下による画像品質の劣化を軽減す
ることができる。すなわちCLOSED−GOPによる
圧縮効率の低下分をあらかじめ発生符号量を抑えること
により補うものである。According to such an operation, the CLOSED-G
In order to compensate for the minimal reduction in compression efficiency that is expected to occur due to OP, the generated code amount is suppressed in advance since the occurrence of CLOSED-GOP, and the suppressed code amount is distributed to a region corresponding to CLOSED-GOP. As a result, it is possible to reduce deterioration in image quality due to a decrease in compression efficiency. That is, the decrease in compression efficiency due to CLOSED-GOP is compensated by suppressing the generated code amount in advance.
【0057】また変換特性として、図6(B)の(b)
の様に、CLOSED−GOPが近づくと発生符号量を
抑える操作を開始するようにしても効果が期待できる。
以上のように、CLOSED−GOPをすくなくとも定
期的に挿入することにより圧縮符号の編集が可能になる
という本発明の主旨を逸脱しない範囲であれば種々の応
用例がある。As the conversion characteristic, (b) in FIG. 6 (B)
As described above, the effect can be expected even if the operation of suppressing the generated code amount is started when CLOSED-GOP approaches.
As described above, there are various application examples as long as the compression code can be edited by inserting the CLOSED-GOP at least periodically, without departing from the gist of the present invention.
【0058】なおGOPの先頭には、ヘッダー情報が付
加されるもので、このヘッダー情報内にCLOSED−
GOP、OPEN−GOPの識別情報が挿入されてい
る。したがって編集処理においてはこの識別情報を参照
してGOPの抽出等を行うようにすれば良い。Header information is added to the head of the GOP, and CLOSED- is included in this header information.
Identification information of GOP and OPEN-GOP is inserted. Therefore, in the editing process, the GOP may be extracted by referring to the identification information.
【0059】[0059]
【発明の効果】本発明では、複数回の符号化において入
力画像信号が異なるものであっても、圧縮符号の入れ換
え等の編集操作を容易にすることが可能になった。As described above, according to the present invention, it is possible to facilitate the editing operation such as the replacement of the compression code even if the input image signals are different in a plurality of encodings.
【図1】この発明の第1の実施例を示す図。FIG. 1 is a diagram showing a first embodiment of the present invention.
【図2】この発明の第2の実施例を示す図。FIG. 2 is a diagram showing a second embodiment of the present invention.
【図3】この発明の第3の実施例を示す図。FIG. 3 is a diagram showing a third embodiment of the present invention.
【図4】この発明の第4の実施例を示す図。FIG. 4 is a diagram showing a fourth embodiment of the present invention.
【図5】この発明の第5の実施例を示す図。FIG. 5 is a diagram showing a fifth embodiment of the present invention.
【図6】この発明の実施例で用いられたアクティビティ
変換特性の例を示す図。FIG. 6 is a diagram showing an example of activity conversion characteristics used in an embodiment of the present invention.
【図7】この発明の装置の動作例を説明するために示し
た図。FIG. 7 is a diagram shown for explaining an operation example of the apparatus of the present invention.
【図8】ハイブリット符号化装置の基本構成を示す図。FIG. 8 is a diagram showing a basic configuration of a hybrid encoding device.
【図9】MPEG方式における画像処理手順の例を示す
図。FIG. 9 is a diagram showing an example of an image processing procedure in the MPEG system.
【符号の説明】 110…前処理回路、120…減算器、130…DCT
器、140…量子化器、150…逆量子化器、160…
DCT-1器、170…加算器、180…遅延器、190
…動き補償器、200、210…スイッチ、220…動
き検出器、230…モード制御器、240…符号化器、
250…GOP計測器、260…参照マクロブロック計
測器、270…シーンチェンジ検出器、280…アクテ
ィビティ適応初期値器、290…アクティビティ変換
器。[Description of Reference Signs] 110 ... Preprocessing circuit, 120 ... Subtractor, 130 ... DCT
, 140 ... Quantizer, 150 ... Inverse quantizer, 160 ...
DCT- 1 device, 170 ... Adder, 180 ... Delay device, 190
... motion compensator, 200, 210 ... switch, 220 ... motion detector, 230 ... mode controller, 240 ... encoder,
250 ... GOP measuring device, 260 ... Reference macroblock measuring device, 270 ... Scene change detector, 280 ... Activity adaptive initial value device, 290 ... Activity converter.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/133 Z ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical indication H04N 7/133 Z
Claims (6)
る画像信号を、符号化圧縮処理時には、一定の割合で入
れ替えて入力画像信号を作成し、過去及び未来の参照画
像信号を用いて、画像動きベクトルを検出し、検出した
動きベクトルに基づいて、一度圧縮処理を施した画像の
復号画像信号から予測画像信号を作成し、前記入力画像
信号と予測画像信号との差分信号を得ることにより圧縮
処理を行う画像符号化方式において、 前記した過去の参照画像信号を用いることをほぼ定期的
な期間(略a)毎に一時禁止することを特徴とする動画
像符号化方式。1. An input image signal is created by replacing image signals that are sequentially arranged in time in the original image sequence at a fixed rate during coding and compression processing, and uses past and future reference image signals. An image motion vector is detected, a predicted image signal is created from a decoded image signal of an image that has been subjected to compression processing based on the detected motion vector, and a difference signal between the input image signal and the predicted image signal is obtained. In the image encoding method for performing the compression process according to, the moving image encoding method is characterized in that the use of the above-mentioned past reference image signal is temporarily prohibited at almost regular intervals (approximately a).
信号を得ることにより圧縮処理を行う方式は、1枚の画
像を複数の小領域に分割し、この領域毎に圧縮処理を行
う動画像符号化方式であり、 前記小領域の参照画像として前記過去の画像信号からの
参照画像を用いる領域の個数を検出する手段をもち、検
出結果がある自然数xより小なる場合には、過去の参照
画像信号による予測画像信号を用いるのを禁止する手段
を合わせ持つことを特徴とする請求項1記載の動画像符
号化方式。2. A method of performing compression processing by obtaining a difference signal between the input image signal and the predicted image signal is a moving image in which one image is divided into a plurality of small areas and the compression processing is performed for each area. It is an image coding method, has a means for detecting the number of areas using a reference image from the past image signal as a reference image of the small area, and if the detection result is smaller than a natural number x, The moving picture coding system according to claim 1, further comprising means for prohibiting the use of the predicted image signal based on the reference image signal.
よりシーンチェンジを計測し、このシーンチェンジの時
間間隔の平均値を算出する手段をもち、この算出結果
を、前記定期的な期間(略a)として設定する設定手段
をもつことを特徴とする第1項記載の動画像符号化方
式。3. A means for measuring a scene change by calculating a difference between an original image signal and a past image signal, and calculating an average value of the time intervals of the scene change. The moving picture coding system according to the first aspect, characterized in that the moving picture coding system has a setting means for setting as a).
手段は、画像成分等により画像の複雑さを検出するアク
ティビティ検出手段と、この検出手段の出力のアクティ
ビティ平均化手段をもち、平均化されたアクテイビティ
の度合により上記定期的な期間(略a)を算出して設定
することを特徴とする請求項1記載の動画像符号化方
式。4. The setting means for setting the regular period (substantially a) has an activity detecting means for detecting the complexity of an image based on image components and the like, and an activity averaging means for the output of the detecting means. 2. The moving picture coding method according to claim 1, wherein the periodical period (substantially a) is calculated and set according to the averaged degree of activity.
定期的な期間(略a)を算出する手段は、前記平均化さ
れたアクティビティの小なる領域ではaを大きく算出
し、前記平均化されたアクティビティの増加に伴ないa
を小さく算出し、さらに前記平均化されたアクティビテ
ィが増加すれば、aの値が再び増加させる算出であるこ
とを特徴とする請求項4項記載の動画像符号化方式。5. The means for calculating the periodical period (substantially a) from the averaged activity calculates a large value in a small area of the averaged activity, and the averaged activity is calculated. With the increase of
5. The moving picture coding method according to claim 4, wherein the value of a is increased again when the averaged activity is increased.
応じて、圧縮後の情報に応じて発生する発生符号量を制
御する経路を有し、前記定期的な期間毎の禁止に先だっ
て、前記経路は、前記発生符号量をあらかじめ小さくす
る様に、前記アクティビティ検出結果を変換する手段を
もつことを特徴とする請求項4記載の動画像符号化方
式。6. A path for controlling the amount of generated code generated according to the information after compression according to the detection result of the activity detecting means, and the path is controlled prior to the prohibition at each regular period. The moving picture coding system according to claim 4, further comprising means for converting the activity detection result so as to reduce the generated code amount in advance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6224545A JPH0888854A (en) | 1994-09-20 | 1994-09-20 | Moving picture encoding system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6224545A JPH0888854A (en) | 1994-09-20 | 1994-09-20 | Moving picture encoding system |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0888854A true JPH0888854A (en) | 1996-04-02 |
Family
ID=16815480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6224545A Pending JPH0888854A (en) | 1994-09-20 | 1994-09-20 | Moving picture encoding system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0888854A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006088092A1 (en) * | 2005-02-17 | 2006-08-24 | Pioneer Corporation | Two-layer recording disc recorder and method for recording video information on two-layer recording disc |
JP2006262159A (en) * | 2005-03-17 | 2006-09-28 | Canon Inc | Moving picture encoding device, control method thereof, computer program and storage medium |
WO2006112454A1 (en) * | 2005-04-18 | 2006-10-26 | Pioneer Corporation | Recording device and recording method for two-layer recording disc |
EP1852865A4 (en) * | 2005-02-17 | 2009-07-15 | Pioneer Corp | Method for recording video data onto two-layer recording disc and two-layer recording disc recorder |
EP1850588A4 (en) * | 2005-02-17 | 2009-07-22 | Pioneer Corp | Encoding device, encoding method, and computer program for encoding |
JP2012065352A (en) * | 2001-10-17 | 2012-03-29 | Panasonic Corp | Encoding and decoding device, and recording media |
-
1994
- 1994-09-20 JP JP6224545A patent/JPH0888854A/en active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9197894B2 (en) | 2001-10-17 | 2015-11-24 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
US9900616B2 (en) | 2001-10-17 | 2018-02-20 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
US10582216B2 (en) | 2001-10-17 | 2020-03-03 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
US8831100B2 (en) | 2001-10-17 | 2014-09-09 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
US9924195B2 (en) | 2001-10-17 | 2018-03-20 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
JP2012065352A (en) * | 2001-10-17 | 2012-03-29 | Panasonic Corp | Encoding and decoding device, and recording media |
US9191669B2 (en) | 2001-10-17 | 2015-11-17 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
US10257537B2 (en) | 2001-10-17 | 2019-04-09 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
WO2006088092A1 (en) * | 2005-02-17 | 2006-08-24 | Pioneer Corporation | Two-layer recording disc recorder and method for recording video information on two-layer recording disc |
EP1850588A4 (en) * | 2005-02-17 | 2009-07-22 | Pioneer Corp | Encoding device, encoding method, and computer program for encoding |
EP1852865A4 (en) * | 2005-02-17 | 2009-07-15 | Pioneer Corp | Method for recording video data onto two-layer recording disc and two-layer recording disc recorder |
EP1852866A4 (en) * | 2005-02-17 | 2009-07-08 | Pioneer Corp | Two-layer recording disc recorder and method for recording video information on two-layer recording disc |
JP2006262159A (en) * | 2005-03-17 | 2006-09-28 | Canon Inc | Moving picture encoding device, control method thereof, computer program and storage medium |
WO2006112454A1 (en) * | 2005-04-18 | 2006-10-26 | Pioneer Corporation | Recording device and recording method for two-layer recording disc |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6683987B1 (en) | Method and apparatus for altering the picture updating frequency of a compressed video data stream | |
US7224734B2 (en) | Video data encoding apparatus and method for removing a continuous repeat field from the video data | |
US6574274B2 (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
US8218949B2 (en) | Video information recording device, video information recording method, and recording medium containing the video information recording program | |
JP3189861B2 (en) | Video encoding apparatus and method | |
JPH10145798A (en) | System for processing digital coding signal | |
JP3147792B2 (en) | Video data decoding method and apparatus for high-speed playback | |
JP4342139B2 (en) | Signal processing device | |
JPH0818979A (en) | Image processor | |
JP3599942B2 (en) | Moving picture coding method and moving picture coding apparatus | |
JPH0888854A (en) | Moving picture encoding system | |
JP3227674B2 (en) | Video encoding apparatus and method | |
JP3895414B2 (en) | Video decoding device | |
JPH06350995A (en) | Video processing method | |
JP3487205B2 (en) | Image data editing device | |
JPH09168148A (en) | Dynamic image coding method and device and recording medium | |
JPH08251582A (en) | Encoded data editing device | |
JP3152268B2 (en) | Image information recording method and image information reproducing method | |
JPH0795536A (en) | Device and method for reversely reproducing moving image | |
JPH08140047A (en) | Picture data recorder | |
JPH11289515A (en) | Picture signal processor and its method, picture signal recorder and its method and recording medium | |
JP2004179683A (en) | Picture recording system | |
JPH0898142A (en) | Picture reproduction device | |
JP2002218470A (en) | Method for converting image encoded data rate and device for converting image encoding rate | |
JP2007228626A (en) | Image signal processing apparatus and method |