[go: up one dir, main page]

JP2011066592A - Coding mode selecting method, coding mode selecting device and coding mode selecting program - Google Patents

Coding mode selecting method, coding mode selecting device and coding mode selecting program Download PDF

Info

Publication number
JP2011066592A
JP2011066592A JP2009214192A JP2009214192A JP2011066592A JP 2011066592 A JP2011066592 A JP 2011066592A JP 2009214192 A JP2009214192 A JP 2009214192A JP 2009214192 A JP2009214192 A JP 2009214192A JP 2011066592 A JP2011066592 A JP 2011066592A
Authority
JP
Japan
Prior art keywords
coding
field
picture
unit
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009214192A
Other languages
Japanese (ja)
Inventor
Hisanori Ono
尚紀 小野
Akinori Misorizaki
暁経 三反崎
Kazuto Kamikura
一人 上倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009214192A priority Critical patent/JP2011066592A/en
Publication of JP2011066592A publication Critical patent/JP2011066592A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To adaptively select and switch frame coding or field coding in video coding in a small amount of operation processing. <P>SOLUTION: Each of a frame image with which fields are combined for an input image and a field image in which a field is divided by a field division section 10, is subjected to low-pass filtering in a vertical direction by a low-pass filter processing section 141, and a coding mode is selected from error information such as PSNR between video before filtering and video after filtering, without motion detection. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は,動画像符号化においてピクチャ単位またはブロック単位にフレーム符号化とフィールド符号化とを適応的に選択する方法とその装置に関する。   The present invention relates to a method and apparatus for adaptively selecting frame coding and field coding in units of pictures or blocks in moving picture coding.

H.264/AVCなどの映像符号化規格では,高効率的な符号化を実現するため,以下の4つの符号化方式がある。
(1)1ピクチャを1フレームとみなして符号化を行うフレーム符号化,
(2)1ピクチャをトップフィールドとボトムフィールドに分けて符号化を行うフィールド符号化,
(3)ピクチャごとにフィールド/フレーム符号化を切り替えて符号化を行うピクチャレベルフィールドフレーム適応符号化,
(4)マクロブロックペア単位でフィールド/フレーム符号化を切り替えて符号化するマクロブロックレベルフィールドフレーム適応符号化。
H. In video encoding standards such as H.264 / AVC, there are the following four encoding methods in order to realize highly efficient encoding.
(1) Frame encoding for encoding one picture as one frame,
(2) Field coding for coding one picture into a top field and a bottom field,
(3) Picture level field frame adaptive coding in which field / frame coding is switched for each picture to perform coding.
(4) Macroblock level field frame adaptive encoding in which field / frame encoding is switched in units of macroblock pairs.

(1)のフレーム符号化方式は,動きの少ない動画像を符号化するのに適しており,(2)のフィールド符号化方式は,動きのある動画像を符号化するのに適しているが,1つの動画像シーケンスの中にも動きの少ないシーン,動きのあるシーンが混在している。そのため,(3)のピクチャレベルでフィールド/フレーム符号化を適応的に切り替える符号化方式が用意されている。   The frame coding method (1) is suitable for coding a moving image with little motion, and the field coding method (2) is suitable for coding a moving image with motion. , A scene with little motion and a scene with motion are mixed in one moving image sequence. For this reason, an encoding method for adaptively switching field / frame encoding at the picture level (3) is prepared.

また,1つのピクチャ内にも動きの少ない領域と動きのある領域とが混在しており,これに対応するために,(4)の決まった領域レベル(マクロブロックレベル)でフィールド/フレーム符号化を適応的に切り替える符号化方式がある。   In addition, in a picture, a region with little motion and a region with motion are mixed, and in order to cope with this, field / frame coding is performed at a predetermined region level (macroblock level) in (4). There is an encoding method for adaptively switching between.

一般的に,(3)や(4)の適応切替え符号化方式を用い,ピクチャまたはマクロブロック毎に符号化効率が高くなる方式を選択することにより,符号化を改善することができる。   In general, encoding can be improved by using the adaptive switching encoding method (3) or (4) and selecting a method that increases the encoding efficiency for each picture or macroblock.

それに対し,特許文献1や特許文献2に記載されているような動き情報を用いたフィールド/フレーム符号化の切替え方法が知られている。しかし,動き情報の導出,すなわち動き検出処理は演算量が大きく,また動き検出誤差の影響を受けるという問題があり,できる限り軽い演算量で,切替え処理で用いる情報に含まれる誤差による影響が小さい処理が望ましい。   On the other hand, a field / frame coding switching method using motion information as described in Patent Document 1 and Patent Document 2 is known. However, there is a problem that derivation of motion information, that is, motion detection processing has a large calculation amount and is affected by motion detection error. The calculation amount is as light as possible, and the influence of errors included in information used in the switching processing is small. Processing is desirable.

また,(3),(4)のいずれが高効率となるかは,ピクチャに依存する。例えば,全体的に動きのあるピクチャに対し符号化を行う場合,(3)で選択されるピクチャフィールド符号化が最も高効率となるが,(4)を用いると,ヘッダー情報が増加するため効率は低下する。一方,局所的に動きのあるピクチャに対し符号化を行う場合,(4)で領域毎に選択されるフレームまたはフィールド符号化が最も高効率となるが,(3)を用いると,予測誤差が大きくなるため符号化効率は低下する。以上の観点から(3)と(4)とを組み合わせ,ピクチャによって適応的に切り替えることが望ましい。   Also, which of (3) and (4) is highly efficient depends on the picture. For example, when coding is performed on a picture with motion as a whole, the picture field coding selected in (3) is the most efficient, but when (4) is used, the header information increases, so the efficiency is increased. Will decline. On the other hand, when encoding a locally moving picture, the frame or field encoding selected for each region in (4) is the most efficient, but if (3) is used, the prediction error is Since it becomes large, encoding efficiency falls. From the above viewpoint, it is desirable to combine (3) and (4) and adaptively switch according to the picture.

図8は,従来の符号化モード選択方法を用いる動画像符号化装置の一例を示す図である。以下,図8に従って,従来の符号化モードを適応的に選択して切り替える方法の例を説明する。   FIG. 8 is a diagram illustrating an example of a moving picture coding apparatus using a conventional coding mode selection method. Hereinafter, an example of a method for adaptively selecting and switching the conventional coding mode will be described with reference to FIG.

まず,原画像データを入力すると,フィールド分割部50は,トップフィールド画像とボトムフィールド画像のフィールド画像に分割する。符号化モード判定基準算出部51は,原画像データのフレーム画像と,フィールド分割部50で分割した2つのフィールド画像とを入力し,ブロック分割部511によりそれぞれの画像を符号化単位のブロックに分割する。分割されたフレームブロック画像,フィールドブロック画像のそれぞれについて,フレーム/フィールド動き検出部512により,動き情報と,平均二乗誤差(MSE)等の所定の評価関数による評価関数値が算出される。また,ブロック単位でフレーム画像の評価関数値とフィールド画像の評価関数値との差分Difが算出される。動きベクトルなどの動き情報は,動きベクトル格納メモリ56に保存される。   First, when original image data is input, the field dividing unit 50 divides the field image into a top field image and a bottom field image. The encoding mode determination criterion calculation unit 51 receives the frame image of the original image data and the two field images divided by the field dividing unit 50, and divides each image into coding unit blocks by the block dividing unit 511. To do. For each of the divided frame block image and field block image, the frame / field motion detection unit 512 calculates motion information and an evaluation function value based on a predetermined evaluation function such as mean square error (MSE). Further, a difference Dif between the evaluation function value of the frame image and the evaluation function value of the field image is calculated for each block. Motion information such as motion vectors is stored in the motion vector storage memory 56.

ブロック数カウント部52は,1つのピクチャについて評価関数値の差分Difがある閾値以上のブロック数をカウントし,そのブロック数のフレーム内ブロック総数に対する割合Rを算出する。この割合Rがある範囲内であれば,ブロック単位フィールド/フレーム符号化選択部54が選ばれ,そうでなければ,ピクチャ単位フィールド/フレーム符号化選択部53が選ばれる。   The block number counting unit 52 counts the number of blocks with a difference Dif of the evaluation function value equal to or greater than a threshold value for one picture, and calculates a ratio R of the number of blocks to the total number of blocks in the frame. If the ratio R is within a certain range, the block unit field / frame encoding selection unit 54 is selected. Otherwise, the picture unit field / frame encoding selection unit 53 is selected.

ピクチャ単位フィールド/フレーム符号化選択部53は,割合Rの値によって,ピクチャ単位フレーム符号化かピクチャ単位フィールド符号化の符号化モードを選択し,スイッチSWを切り替えて,原画像データを符号化部60のピクチャ単位フレーム符号化部602またはピクチャ単位フィールド符号化部603へ送る。ピクチャ単位フレーム符号化部602は,動きベクトル格納メモリ56に格納している動き情報を用いて,ピクチャ単位でフレーム符号化を行う。また,ピクチャ単位フィールド符号化部603は,同様に動きベクトル格納メモリ56に格納している動き情報を用いて,ピクチャ単位でフレーム符号化を行う。   The picture unit field / frame coding selection unit 53 selects the coding mode of picture unit frame coding or picture unit field coding according to the value of the ratio R, switches the switch SW, and encodes the original image data. 60 pictures are transmitted to the frame unit 602 or the picture field encoding unit 603. The picture unit frame encoding unit 602 performs frame encoding on a picture basis using the motion information stored in the motion vector storage memory 56. Similarly, the picture unit field encoding unit 603 performs frame encoding in units of pictures using the motion information stored in the motion vector storage memory 56.

ブロック単位フィールド/フレーム符号化選択部54は,上記割合Rの値を判定して,ピクチャ内に動きの大きい部分と小さい部分とが混在しているような場合に,ブロックレベルの適応符号化を行うため,フレーム画像の評価関数値とフィールド画像の評価関数値との差分Difが,ある閾値以上であるかどうかによって,ブロック(マクロブロックペア)単位にフィールド符号化を行うかフレーム符号化を行うかを決定し,その符号化モードの選択情報を符号化モード格納メモリ55に格納する。このとき,原画像データは,ブロック単位符号化部601へ送られ,ブロック単位符号化部601では,符号化モード格納メモリ55に格納された符号化モードに従って,動きベクトル格納メモリ56に格納している動き情報を用いて,ブロック単位にフレーム符号化モードまたはフィールド符号化モードによる符号化を行う。   The block unit field / frame coding selection unit 54 determines the value of the ratio R, and performs block-level adaptive coding when a large motion portion and a small motion portion are mixed in the picture. Therefore, depending on whether or not the difference Dif between the evaluation function value of the frame image and the evaluation function value of the field image is equal to or larger than a certain threshold value, field encoding or frame encoding is performed in units of blocks (macroblock pairs). The coding mode selection information is stored in the coding mode storage memory 55. At this time, the original image data is sent to the block unit encoding unit 601, and the block unit encoding unit 601 stores it in the motion vector storage memory 56 according to the encoding mode stored in the encoding mode storage memory 55. Using the existing motion information, encoding is performed on a block-by-block basis in the frame encoding mode or the field encoding mode.

以上の従来技術では,フレーム/フィールド動き検出部512にて,符号化モードの選択前に,フレーム画像およびフィールド画像の全部について,必ず動き検出の処理を実行しなければならないので,その演算の負荷が大きい。   In the above prior art, the frame / field motion detection unit 512 must always execute motion detection processing for all frame images and field images before selecting an encoding mode. Is big.

特開平5−308627号公報JP-A-5-308627 特開平5−95545号公報Japanese Patent Laid-Open No. 5-95545

本発明は,上記問題を解決するために提案されたもので,その目的は,ピクチャの持つ周波数特性をもとに,少ない処理演算量で動画像符号化におけるフレーム符号化/フィールド符号化を適応的に切替え選択すること,すなわち適切な符号化のモード選択を,短時間で実施できるようにすることにある。   The present invention has been proposed to solve the above problems, and its purpose is to adapt frame coding / field coding in moving picture coding with a small amount of processing computation based on the frequency characteristics of pictures. It is to make it possible to perform switching selection automatically, that is, to select an appropriate encoding mode in a short time.

上記の課題を解決するため,本発明は,動き検出時に計算される平均二乗誤差(MSE)等の評価関数値をモード選択に用いる代わりに,入力画像についてフィールドを組み合わせたフレーム画像およびフィールド分割部でフィールドを分割したトップフィールド画像,ボトムフィールド画像のそれぞれに対して,垂直方向に低域フィルタをかけ,フィルタをかける前の映像とフィルタをかけた後の映像との間のPSNR(Peak Signal to Noise Ratio)等の誤差情報から符号化モードを選択することを最も主要な特徴とする。   In order to solve the above-described problems, the present invention provides a frame image and a field dividing unit that combine fields for an input image instead of using an evaluation function value such as a mean square error (MSE) calculated at the time of motion detection for mode selection. For each of the top field image and the bottom field image obtained by dividing the field in Step 1, a low-pass filter is applied in the vertical direction, and the PSNR (Peak Signal to) between the image before filtering and the image after filtering is applied. The main feature is to select an encoding mode from error information such as noise ratio.

すなわち,本発明は,インターレース映像に対してフレーム符号化とフィールド符号化とを適応的に選択して符号化する動画像符号化において,入力画像をトップフィールドおよびボトムフィールドのフィールドピクチャ(フィールド画像ともいう)に分割し,入力画像に対して所定の帯域幅により,フレームピクチャ単位およびフィールドピクチャ単位でそれぞれフィルタ処理を行う。また,入力画像を符号化単位の複数画素で構成されるブロックに分割し,フィルタ処理後のフレームピクチャ(フレーム画像ともいう)と入力画像との誤差情報(例えばPSNR)をブロック単位で算出するとともに,フィルタ処理後のフィールドピクチャと入力画像のフィールドピクチャとの誤差情報をブロック単位で算出し,そのフレームピクチャとフィールドピクチャとのブロック単位誤差情報の差分を符号化モード判定基準として算出する。算出した符号化モード判定基準を用いて,ピクチャ単位フレーム符号化,ピクチャ単位フィールド符号化,ブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれか複数を含む符号化モードの中から一つの符号化モードを選択する。   That is, according to the present invention, in moving picture coding in which frame coding and field coding are adaptively selected and coded for interlaced video, the input picture is a field picture (both field picture and top field). The input image is subjected to filter processing in frame picture units and field picture units with a predetermined bandwidth. In addition, the input image is divided into blocks each composed of a plurality of pixels in a coding unit, and error information (for example, PSNR) between the filtered frame picture (also referred to as a frame image) and the input image is calculated in units of blocks. The error information between the filtered field picture and the field picture of the input image is calculated in units of blocks, and the difference between the block unit error information between the frame picture and the field picture is calculated as a coding mode determination criterion. Using the calculated coding mode criterion, one coding mode is selected from among coding modes including any of picture unit frame coding, picture unit field coding, block unit frame coding, or block unit field coding. Select a mode.

また,上記発明において,符号化モードを選択する過程では,フレームピクチャとフィールドピクチャとのブロック単位誤差情報の差分が,所定の閾値以上となるブロック数をカウントし,そのカウントしたブロック数の総ブロック数に対する割合を算出し,その割合からピクチャ単位フレーム符号化およびピクチャ単位フィールド符号化のいずれかの符号化モードを選択する。   In the above invention, in the process of selecting the coding mode, the number of blocks in which the difference in block unit error information between the frame picture and the field picture is equal to or greater than a predetermined threshold is counted, and the total number of blocks counted. A ratio with respect to the number is calculated, and a coding mode of picture unit frame encoding or picture unit field encoding is selected from the ratio.

また,上記発明において,符号化モードを選択する過程では,フレームピクチャとフィールドピクチャとのブロック単位誤差情報の差分と,所定の閾値との大小をブロック単位で比較することにより,ブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかの符号化モードを選択する。   Further, in the above invention, in the process of selecting the coding mode, the block unit frame coding is performed by comparing the difference between the block unit error information between the frame picture and the field picture and the predetermined threshold value on a block basis. Alternatively, any coding mode of block unit field coding is selected.

上記発明において,量子化パラメータまたは目標符号量または発生符号量によって符号化モードの選択に用いる閾値を大きくしたり小さくしたり制御する実施も好適である。   In the above invention, it is also preferable to increase or decrease the threshold used for selecting the encoding mode according to the quantization parameter, the target code amount, or the generated code amount.

本発明によれば,ピクチャの持つ周波数特性をもとに,少ない処理演算量で動画像符号化におけるフレーム符号化/フィールド符号化を適応的に切替え選択することができるため,高速かつ高効率な符号化を行うことが可能となる。   According to the present invention, frame coding / field coding in moving picture coding can be adaptively switched and selected based on the frequency characteristics of a picture and with a small amount of processing computation. Encoding can be performed.

本発明の第1および第2の例に係る符号化モード選択方法を用いる動画像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the moving image encoder which uses the encoding mode selection method which concerns on the 1st and 2nd example of this invention. 符号化モード判定基準算出部の構成例を示す図である。It is a figure which shows the structural example of an encoding mode determination reference | standard calculation part. ブロック単位符号化部の構成例を示す図である。It is a figure which shows the structural example of a block unit encoding part. ピクチャ単位フレーム符号化部の構成例を示す図である。It is a figure which shows the structural example of the frame unit for a picture unit. 第1の例の処理フローチャートである。It is a process flowchart of the 1st example. 第2の例の処理フローチャートである。It is a processing flowchart of the 2nd example. 第3の例に係る符号化モード選択方法を用いる動画像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the moving image encoding apparatus using the encoding mode selection method which concerns on a 3rd example. 従来の符号化モード選択方法を用いる動画像符号化装置の一例を示す図である。It is a figure which shows an example of the moving image encoder which uses the conventional encoding mode selection method.

以下,図面を用いて本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

<動画像符号化装置の構成例>
図1は,後述する第1の例および第2の例におけるフレーム符号化,フィールド符号化を適応的に選択する符号化モード選択方法を用いる動画像符号化装置の構成例を示したブロック図であり,図1に示す動画像符号化装置は,フィールド分割部10と,符号化モード判定基準算出部14と,ブロック数カウント部15と,ピクチャ単位フィールド/フレーム符号化選択部16と,ブロック単位フィールド/フレーム符号化選択部17と,符号化モード格納メモリ18と,符号化部20とを備える。
<Configuration example of moving image encoding device>
FIG. 1 is a block diagram showing a configuration example of a moving picture coding apparatus using a coding mode selection method for adaptively selecting frame coding and field coding in a first example and a second example described later. 1 includes a field dividing unit 10, an encoding mode determination criterion calculating unit 14, a block number counting unit 15, a picture unit field / frame encoding selecting unit 16, and a block unit. A field / frame coding selection unit 17, a coding mode storage memory 18, and a coding unit 20 are provided.

符号化モード判定基準算出部14は,原画像のフィールドを組み合わせたフレーム画像11,およびフィールド分割部10で分離したトップフィールド画像(図では,1stフィールド画像と表記)12とボトムフィールド画像(図では,2ndフィールド画像と表記)13とにそれぞれ低域フィルタ処理を施す低域フィルタ処理部141,これらの画像を符号化単位の複数画素からなるブロックに分割するブロック分割部142,また,誤差情報・差分情報算出部143を備える。誤差情報・差分情報算出部143は,フィルタ処理後のフレーム画像と入力画像との誤差情報(例えばPSNR)をブロック単位で算出する処理,フィルタ処理後のフィールド画像と入力画像のフィールド画像との誤差情報をブロック単位で算出する処理,そのフレーム画像とフィールド画像とのブロック単位誤差情報の差分を符号化モード判定基準として算出する処理を行う。   The encoding mode determination criterion calculation unit 14 includes a frame image 11 obtained by combining the fields of the original image, a top field image (denoted as 1st field image in the drawing) 12 and a bottom field image (in the drawing, indicated in the drawing). , 2nd field image) 13, a low-pass filter processing unit 141 that performs low-pass filter processing on each of the 13, a block dividing unit 142 that divides these images into blocks composed of a plurality of pixels of coding units, and error information A difference information calculation unit 143 is provided. The error information / difference information calculation unit 143 performs processing for calculating error information (for example, PSNR) between the filtered frame image and the input image in units of blocks, and the error between the filtered field image and the input image field image. A process of calculating information in units of blocks and a process of calculating a difference in block unit error information between the frame image and the field image as an encoding mode determination criterion are performed.

符号化部20は,ブロックレベル適応符号化のときにブロック単位でフィールド符号化とフレーム符号化とを切り替えて符号化するブロック単位符号化部200と,ピクチャ単位フレーム符号化モードのときに,ピクチャ単位でフレーム符号化を行うピクチャ単位フレーム符号化部300と,ピクチャ単位フィールド符号化モードのときに,ピクチャ単位でフィールド符号化を行うピクチャ単位フィールド符号化部400とを備える。   The encoding unit 20 includes a block unit encoding unit 200 that performs encoding by switching between field encoding and frame encoding in block units during block level adaptive encoding, and a picture unit in picture unit frame encoding mode. A picture unit frame encoding unit 300 that performs frame encoding in units and a picture unit field encoding unit 400 that performs field encoding in units of pictures in the picture unit field encoding mode.

図1に示す装置が,従来技術と違うところは,主に符号化モード判定基準算出部14と,符号化部20であり,符号化モード判定基準算出部14では,演算負荷の大きい動き検出を行わないで符号化モード判定基準を算出する点と,符号化部20では,符号化時に必要なフィールド画像またはフレーム画像に対する動き検出だけを行って符号化する点が従来技術と異なる。   The apparatus shown in FIG. 1 differs from the prior art mainly in the encoding mode determination criterion calculation unit 14 and the encoding unit 20, and the encoding mode determination criterion calculation unit 14 performs motion detection with a large calculation load. The encoding mode determination criterion is calculated without performing this, and the encoding unit 20 is different from the prior art in that only encoding is performed by performing motion detection on a field image or a frame image necessary for encoding.

図2は,図1に示す符号化モード判定基準算出部14の構成例を示している。図1に示す低域フィルタ処理部141は,フレーム画像11に対して所定の帯域幅rの低域フィルタをかける低域フィルタ処理部1411,1stフィールド画像12に対して所定の帯域幅rの低域フィルタをかける低域フィルタ処理部1412,2ndフィールド画像13に対して所定の帯域幅rの低域フィルタをかける低域フィルタ処理部1413から構成される。   FIG. 2 shows a configuration example of the encoding mode determination criterion calculation unit 14 shown in FIG. A low-pass filter processing unit 141 shown in FIG. 1 applies a low-pass filter with a predetermined bandwidth r to the frame image 11, and a low-pass filter with a predetermined bandwidth r for the 1st field image 12. A low-pass filter processing unit 1412 that applies a low-pass filter and a low-pass filter processing unit 1413 that applies a low-pass filter having a predetermined bandwidth r to the 2nd field image 13 are configured.

図1に示すブロック分割部142は,フィルタ処理後のフレームフィルタ画像,1stフィールドフィルタ画像,2ndフィールドフィルタ画像をそれぞれブロックに分割するブロック分割部1421,1422,1423から構成される。   The block dividing unit 142 shown in FIG. 1 includes block dividing units 1421, 1422, and 1423 that divide the filtered frame filter image, 1st field filter image, and 2nd field filter image into blocks, respectively.

図1に示す誤差情報・差分情報算出部143は,誤差情報としてブロック単位でフレーム画像と原画像との間のPSNRを算出するSNR算出部1431と,1stフィールド画像と原画像との間のPSNRを算出するSNR算出部1432と,2ndフィールド画像と原画像との間のPSNRを算出するSNR算出部1433と,SNR算出部1432の出力とSNR算出部1433の出力との平均値を算出する平均値算出部1434と,SNR算出部1431の出力と平均値算出部1434の出力との差分を算出し,符号化モード判定基準とする誤差差分情報を出力する減算器1435から構成される。   The error information / difference information calculation unit 143 illustrated in FIG. 1 includes an SNR calculation unit 1431 that calculates a PSNR between the frame image and the original image in block units as error information, and a PSNR between the 1st field image and the original image. SNR calculation unit 1432 for calculating SNR, SNR calculation unit 1433 for calculating PSNR between the 2nd field image and the original image, and an average for calculating the average value of the output of SNR calculation unit 1432 and the output of SNR calculation unit 1433 The value calculation unit 1434 includes a subtracter 1435 that calculates a difference between the output of the SNR calculation unit 1431 and the output of the average value calculation unit 1434 and outputs error difference information as a coding mode determination criterion.

図3は,図1に示すブロック単位符号化部200の構成例を示している。ブロック単位符号化部200は,原画像データを入力すると,まず,ブロック分割部201において符号化モード格納メモリ18に格納されている符号化モードからフレームモードでブロックを分割するかフィールドモードでブロックを分割するかを決め,原画像データをブロックに分割する。その後の処理は,通常の動き補償を用いる符号化処理と同様であり,まず,動き検出部202で動きベクトルを検出し,その動きベクトルとローカルデコード画像208とから予測部203により予測信号を生成する。   FIG. 3 shows a configuration example of the block unit encoding unit 200 shown in FIG. When the original image data is input, the block unit encoding unit 200 first divides the block in the frame mode from the encoding mode stored in the encoding mode storage memory 18 in the block dividing unit 201 or the block in the field mode. Decide whether to divide, and divide the original image data into blocks. Subsequent processing is the same as encoding processing using normal motion compensation. First, a motion vector is detected by the motion detection unit 202, and a prediction signal is generated by the prediction unit 203 from the motion vector and the local decoded image 208. To do.

減算器220は,ブロック分割された原画像の信号と予測信号との差分である予測残差信号を算出し,DCT変換部204は,予測残差信号に対して離散コサイン変換の直交変換を行う。量子化部205は,直交変換係数を量子化し,可変長符号化部209と逆量子化部206に出力する。可変長符号化部209は,量子化の結果をエントロピ符号化する。多重化部210では,ブロック単位で符号化モードの符号化データと,直交変換係数を量子化した結果の符号化データと,動きベクトルの符号化データとを多重化し,バッファ部211に格納する。バッファ部211に格納された符号化データは,符号化ストリームとして出力される。制御部212は,バッファ部211に格納された符号化データの発生符号量と目標符号量とから量子化部205における発生符号量の制御を行う。   The subtractor 220 calculates a prediction residual signal that is the difference between the block-divided original image signal and the prediction signal, and the DCT transform unit 204 performs orthogonal transformation of discrete cosine transform on the prediction residual signal. . The quantization unit 205 quantizes the orthogonal transform coefficient and outputs it to the variable length coding unit 209 and the inverse quantization unit 206. The variable length coding unit 209 performs entropy coding on the quantization result. The multiplexing unit 210 multiplexes the encoded data of the encoding mode in block units, the encoded data obtained by quantizing the orthogonal transform coefficient, and the encoded data of the motion vector, and stores them in the buffer unit 211. The encoded data stored in the buffer unit 211 is output as an encoded stream. The control unit 212 controls the generated code amount in the quantization unit 205 from the generated code amount of the encoded data stored in the buffer unit 211 and the target code amount.

逆量子化部206は,量子化部205の出力を逆量子化し,逆直交変換部207は,逆量子化により得られた直交変換係数を逆直交変換して予測残差信号を算出する。この結果と予測信号とを加算器221により加算することにより,ローカルデコード画像208を生成して,後の予測符号化で参照画像として用いるためにメモリに格納する。   The inverse quantization unit 206 inversely quantizes the output of the quantization unit 205, and the inverse orthogonal transform unit 207 performs inverse orthogonal transform on the orthogonal transform coefficient obtained by the inverse quantization to calculate a prediction residual signal. The result and the prediction signal are added by the adder 221 to generate a local decoded image 208, which is stored in a memory for use as a reference image in later prediction encoding.

図4は,図1に示すピクチャ単位フレーム符号化部300の構成例を示している。図3に示すブロック単位符号化部200では,ブロック単位にフレーム符号化とフィールド符号化を切り替えるブロックレベルの適応符号化を行っていたが,ピクチャ単位フレーム符号化部300では,現在のピクチャの全体に対して,すなわちピクチャ内の全ブロックに対してフレーム符号化を行う。そのため,多重化部310では,図3の多重化部210と異なり,ブロック単位に符号化モードの符号化データを多重化することは行わない。他の部分の基本的な機能・動作は,図2に示すブロック単位符号化部200と同様である。   FIG. 4 shows a configuration example of the picture unit frame encoding unit 300 shown in FIG. The block unit encoding unit 200 shown in FIG. 3 performs block-level adaptive encoding that switches between frame encoding and field encoding on a block basis. However, the picture unit frame encoding unit 300 uses the entire current picture. In other words, frame coding is performed on all blocks in the picture. Therefore, unlike the multiplexing unit 210 in FIG. 3, the multiplexing unit 310 does not multiplex the encoded data of the encoding mode in units of blocks. The basic functions and operations of the other parts are the same as those of the block unit encoding unit 200 shown in FIG.

図1に示すピクチャ単位フィールド符号化部400は,原画像データの入力画像に対して,ピクチャ単位でトップフィールドとボトムフィールドのそれぞれのフィールド符号化を行うこと以外は,図4のピクチャ単位フレーム符号化部300の構成とまったく同様であるため,図を用いた説明は省略する。   The picture unit field encoding unit 400 shown in FIG. 1 performs the picture unit frame code shown in FIG. 4 except that the input field of the original image data is subjected to field encoding of the top field and the bottom field in units of pictures. Since the configuration is the same as that of the conversion unit 300, the description using the drawings is omitted.

<第1の例>
図5は,図1に示す動画像符号化装置の第1の例の処理フローチャートである。第1の例では,符号化部20として,ブロック単位符号化部200とピクチャ単位フィールド符号化部400とを用い,ピクチャ単位フレーム符号化部300は用いない。すなわち,第1の例は,ピクチャ単位フレーム符号化モードを選択しない場合の例である。
<First example>
FIG. 5 is a processing flowchart of the first example of the moving picture encoding apparatus shown in FIG. In the first example, the block unit encoding unit 200 and the picture unit field encoding unit 400 are used as the encoding unit 20, and the picture unit frame encoding unit 300 is not used. That is, the first example is an example in which the picture unit frame coding mode is not selected.

まず,ステップS100では,原画像データB_oを入力し,ステップS101では,フィールド分割部10において,原画像データB_oをトップフィールド画像データB_tfl と,ボトムフィールド画像データB_bfl に分割する。   First, in step S100, original image data B_o is input, and in step S101, the field dividing unit 10 divides the original image data B_o into top field image data B_tfl and bottom field image data B_bfl.

ステップS102では,分割されたフィールド画像を低域フィルタ処理部141へ入力し,所定の帯域幅rでフィルタ処理を行い,各フィールドフィルタ画像データB_tfl _fil およびB_bfl _fil を生成する。一方,分割をしないフレーム画像データB_frは,原画像データB_oそのものであり,それを直接,低域フィルタ処理部141へ入力し,上記帯域幅と同じrでフィルタ処理を行い,フレームフィルタ画像データB_fr_fil を生成する。   In step S102, the divided field images are input to the low-pass filter processing unit 141, and are subjected to filter processing with a predetermined bandwidth r to generate field filter image data B_tfl_fil and B_bfl_fil. On the other hand, the frame image data B_fr that is not divided is the original image data B_o itself, which is directly input to the low-pass filter processing unit 141, and subjected to filter processing with the same r as the bandwidth, so that the frame filter image data B_fr_fil Is generated.

ステップS103では,得られた各フィルタ画像データと原画像データをそれぞれブロック分割部142においてブロック単位に分割する。続いて,ステップS104では,分割されたブロックの誤差情報(例えばPSNRなど)を誤差情報・差分情報算出部143において算出する。ここで,Nを分割したブロックに与えるブロック番号とし,トップフィールドフィルタ画像データ,ボトムフィールドフィルタ画像データおよびフレームフィルタ画像データのブロック単位誤差情報を,それぞれP_tfl [N],P_bfl [N]およびP_fr[N]とする。また,P_fl[N]= (P_tfl [N]+P_bfl [N]) /2とする。これら誤差情報の差分Db=P_fr[N]−P_fl[N]を算出する。すなわち,この誤差情報の差分Dbは,ブロック単位でフレーム画像のPSNRからフィールド画像のPSNR(トップフィールド画像のPSNRとボトムフィールド画像のPSNRの平均値)を引いた値である。この差分Dbが大きいということは,フィルタ処理によるフィールド画像の画質劣化の程度が,フレーム画像の画質劣化の程度に比べてかなり大きいということである。   In step S103, the obtained filter image data and original image data are each divided into blocks by the block dividing unit 142. Subsequently, in step S104, error information (for example, PSNR) of the divided blocks is calculated by the error information / difference information calculation unit 143. Here, N is a block number given to the divided block, and block unit error information of top field filter image data, bottom field filter image data, and frame filter image data is P_tfl [N], P_bfl [N], and P_fr [ N]. Also, P_fl [N] = (P_tfl [N] + P_bfl [N]) / 2. A difference Db = P_fr [N] −P_fl [N] of these error information is calculated. That is, the error information difference Db is a value obtained by subtracting the PSNR of the field image (the average value of the PSNR of the top field image and the PSNR of the bottom field image) from the PSNR of the frame image in units of blocks. The fact that the difference Db is large means that the degree of image quality deterioration of the field image due to the filter processing is considerably larger than the degree of image quality deterioration of the frame image.

ステップS105では,ブロック数カウント部15において,以下の条件を満たすブロックの数をMとする。   In step S105, the number of blocks satisfying the following conditions is set to M in the block number counting unit 15.

Db≧Th1 …(a)
ここで,Th1は,閾値として与えられた定数であり,入力画像サイズ,用いるフィルタの特性などにより異なる値となる。Mのカウント結果から,ピクチャに含まれるブロックの総数に対する条件(a) を満たすブロックMの比率(割合)であるRを算出する。
Db ≧ Th1 (a)
Here, Th1 is a constant given as a threshold and varies depending on the input image size, the characteristics of the filter used, and the like. From the count result of M, R which is a ratio (ratio) of the block M satisfying the condition (a) with respect to the total number of blocks included in the picture is calculated.

R=M/ブロック総数
ステップS106では,Rがある閾値Tr以上かどうかを判定し,Rが閾値Trより小さい場合,ピクチャ単位フィールド/フレーム符号化選択部16において,ピクチャ単位フィールド符号化を選択し,ステップS107で,ピクチャ単位フィールド符号化部400によるピクチャ単位符号化を行う。Rが閾値Trより小さいということは,符号化対象ピクチャの全ブロックに対してフィールド符号化を行っても,画像品質の劣化は小さいと考えられるからである。なお,後述するように誤差情報としてPSNRではなく,例えば原画像とフィルタ後の画像との平均二乗誤差(MSE)等を用いることもでき,この場合には,閾値との大小関係がPSNRを用いる場合と逆になる。これは,以下に説明する他の例においても同様である。
R = M / total number of blocks In step S106, it is determined whether or not R is greater than a certain threshold value Tr. If R is smaller than the threshold value Tr, the picture unit field / frame coding selection unit 16 selects picture unit field coding. In step S107, the picture unit field encoding unit 400 performs picture unit encoding. The fact that R is smaller than the threshold value Tr is considered that degradation in image quality is considered to be small even when field coding is performed on all blocks of the picture to be coded. As will be described later, instead of PSNR as error information, for example, a mean square error (MSE) between the original image and the filtered image can be used. In this case, the magnitude relationship with the threshold value uses PSNR. The opposite is true. The same applies to other examples described below.

ステップS106の判定において,Rが閾値Tr以上の場合,第1の例では,ステップS108へ進み,ブロックレベル適応符号化を選択する。ブロックレベル適応符号化の場合,ブロックレベル単位フィールド/フレーム符号化選択部17が動作し,ステップS109により,誤差情報・差分情報算出部143で算出したフィールドフィルタ画像のブロック単位誤差情報およびフレームフィルタ画像のブロック単位誤差情報を参照して,以下の条件を満たすか否かを判定して,ブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかを選択する。   If it is determined in step S106 that R is greater than or equal to the threshold value Tr, in the first example, the process proceeds to step S108, and block level adaptive encoding is selected. In the case of block level adaptive coding, the block level unit field / frame coding selection unit 17 operates, and the block unit error information and the frame filter image of the field filter image calculated by the error information / difference information calculation unit 143 in step S109. The block unit error information is referred to to determine whether or not the following condition is satisfied, and either block unit frame encoding or block unit field encoding is selected.

Db≧Th2 …(b)
ここで,Th2は閾値として与えられた定数であり,条件(a) のTh1と同様に入力画像サイズ,用いるフィルタの特性などにより異なる値となる。この条件(b) を満たす場合には,ブロック単位フレーム符号化を選択し,その符号化モードの情報を符号化モード格納メモリ18に格納する。また,条件(b) を満たさない場合には,ブロック単位フィールド符号化を選択し,その符号化モードの情報を符号化モード格納メモリ18に格納する。
Db ≧ Th2 (b)
Here, Th2 is a constant given as a threshold value, and is different depending on the input image size, the characteristics of the filter to be used, and the like, similarly to Th1 in the condition (a). When this condition (b) is satisfied, block unit frame coding is selected, and information on the coding mode is stored in the coding mode storage memory 18. If the condition (b) is not satisfied, block-unit field encoding is selected, and information on the encoding mode is stored in the encoding mode storage memory 18.

ブロック単位符号化部200は,符号化対象のピクチャに対し,ブロックごとの符号化モードにより,ブロック単位フレーム符号化のときには,ステップS110により対象ブロックについてフレーム符号化を行い,ブロック単位フィールド符号化のときには,ステップS111により対象ブロックについてフィールド符号化を行う。   The block unit encoding unit 200 performs frame encoding on the target block in step S110 and performs block unit field encoding when a block unit frame encoding is performed on the encoding target picture using the encoding mode for each block. Sometimes, field encoding is performed on the target block in step S111.

以下では,上記第1の例の手法について具体例を用いて説明する。原画像の画像サイズを1920×1080とし,フィルタの帯域幅をr=0.5(水平垂直方向に対し周波数成分を半分にカットするローパスフィルタ),定数Th1=1,Th2=2,Tr=0.8とする。   Hereinafter, the technique of the first example will be described using a specific example. The image size of the original image is 1920 × 1080, the filter bandwidth is r = 0.5 (a low-pass filter that cuts frequency components in half in the horizontal and vertical directions), the constants Th1 = 1, Th2 = 2, and Tr = 0. .8.

まず,原画像をフィールド分割部10において,トップ(1st)フィールド,ボトム(2nd)フィールドに分割し,フィールド画像(1920×540)とする。これらを低域フィルタ処理部141へ入力し,0.5の帯域幅でフィルタ処理を行い,各フィールドフィルタ画像B_tfl _fil およびB_bfl _fil を得る。一方,原画像をフレーム画像とする場合,そのまま低域フィルタ処理部141へ入力し,0.5の帯域幅でフィルタ処理を行い,フレームフィルタ画像B_fr_fil を得る。   First, the original image is divided into a top (1st) field and a bottom (2nd) field by the field dividing unit 10 to obtain a field image (1920 × 540). These are input to the low-pass filter processing unit 141, and filter processing is performed with a bandwidth of 0.5 to obtain field filter images B_tfl_fil and B_bfl_fil. On the other hand, when the original image is a frame image, it is directly input to the low-pass filter processing unit 141 and subjected to filter processing with a bandwidth of 0.5 to obtain a frame filter image B_fr_fil.

次に,ブロック分割部142において,各フィールドフィルタ画像およびフレームフィルタ画像を16×16,16×32にそれぞれ分割し,誤差情報・差分情報算出部143において,例えば誤差情報として各フィルタ画像の原画像に対するPSNRを測定する。その結果が,P_tfl [1]=26(dB),P_tfl [2]=25(dB),……,P_bfl [1]=24(dB),P_bfl [2]=23(dB),……,P_fr[1]=27(dB),P_fr[2]=25(dB),……であったとする。なお,上記の場合の分割数は,120×34=4080となる。   Next, in the block dividing unit 142, each field filter image and frame filter image are divided into 16 × 16 and 16 × 32, respectively. Measure the PSNR for. The results are P_tfl [1] = 26 (dB), P_tfl [2] = 25 (dB),..., P_bfl [1] = 24 (dB), P_bfl [2] = 23 (dB),. Suppose that P_fr [1] = 27 (dB), P_fr [2] = 25 (dB),. Note that the number of divisions in the above case is 120 × 34 = 4080.

次に,ブロック数カウント部15において,これらを条件(a) に当てはめる。条件(a) を満たすブロック数Mが3000であったとする。この場合,R(=3500/4080)がTr(=0.8)未満となるため,ピクチャ単位フィールド/フレーム符号化選択部16において,ピクチャ単位フィールド符号化を選択し,符号化部20にて符号化を行い,処理を終了する。   Next, the block number counting unit 15 applies these to the condition (a). Assume that the number M of blocks that satisfy the condition (a) is 3000. In this case, since R (= 3500/4080) is less than Tr (= 0.8), the picture unit field / frame coding selection unit 16 selects picture unit field coding, and the coding unit 20 Encoding is performed and the process is terminated.

一方,ブロック数Mが3500であった場合,RがTr以上となるため,以下の処理を進める。先に誤差情報・差分情報算出部143において算出した誤差情報の差分Dbを参照し,ブロック単位フィールド/フレーム符号化選択部17において,各ブロックごとに,条件(b) に当てはめる。そうすると,1番目のブロックでは条件が満たされるためブロック単位フレーム符号化を,2番目のブロックでは条件が満たされないためブロック単位フィールド符号化を選択し,以降のブロックについても同様に選択し,ブロック単位符号化部200においてブロックレベルの適応符号化を行い,処理を終了する。   On the other hand, when the number of blocks M is 3500, since R is greater than or equal to Tr, the following processing proceeds. The error information difference Db previously calculated by the error information / difference information calculation unit 143 is referred to, and the block unit field / frame encoding selection unit 17 applies the condition (b) for each block. Then, since the condition is satisfied in the first block, the block unit frame encoding is selected, and in the second block, the condition is not satisfied, so the block unit field encoding is selected. The encoding unit 200 performs block-level adaptive encoding and ends the process.

<第2の例>
図6は,図1に示す動画像符号化装置の第2の例の処理フローチャートである。第2の例では,符号化部20として,ブロック単位符号化部200とピクチャ単位フィールド符号化部400の他に,ピクチャ単位フレーム符号化部300に用いる。すなわち,第2の例は,ピクチャ単位フレーム符号化モードについてもモード選択の対象とする場合の例である。
<Second example>
FIG. 6 is a processing flowchart of the second example of the moving picture encoding apparatus shown in FIG. In the second example, the coding unit 20 is used for the picture unit frame coding unit 300 in addition to the block unit coding unit 200 and the picture unit field coding unit 400. That is, the second example is an example in which a picture unit frame coding mode is also a mode selection target.

図6のステップS201からS207までの処理は,図5に示す第1の例のステップS101からS107までの処理と同様である。第2の例が第1の例と異なるのは,フレーム内のブロック総数に対する条件(a) を満たすブロック数Mの割合Rと比較する閾値が,Tr1とTr2の2つ用意されており,第2の例では,RとTr2の比較によって(ステップS208),R≦Tr2ではない場合に,対象ピクチャに対してピクチャ単位フレーム符号化を行う(ステップS209)という点である。以降のブロックレベル適応符号化の処理は,前述した第1の例と同様である。   The processing from step S201 to S207 in FIG. 6 is the same as the processing from step S101 to S107 in the first example shown in FIG. The second example is different from the first example in that two threshold values, Tr1 and Tr2, are prepared for comparison with the ratio R of the number M of blocks that satisfy the condition (a) with respect to the total number of blocks in the frame. In the example of 2, the comparison is made between R and Tr2 (step S208), and when R ≦ Tr2, the picture unit frame coding is performed on the target picture (step S209). Subsequent block level adaptive encoding processing is the same as in the first example described above.

なお,閾値Tr1は,第1の例の閾値Trと同じであり,Tr2は,Tr1より大きい値をとる閾値である(Tr2>Tr1)。   The threshold value Tr1 is the same as the threshold value Tr in the first example, and Tr2 is a threshold value that is larger than Tr1 (Tr2> Tr1).

すなわち,符号化モードは次のように選択される。
・R<Tr1の場合:
ピクチャ単位フィールド/フレーム符号化選択部16によって,ピクチャ単位フィールド符号化が選択され,ピクチャ単位フィールド符号化部400によって,対象ピクチャに対し,フィールド動き検出処理を含むピクチャ単位フィールド符号化が行われる。
・R>Tr2の場合:
ピクチャ単位フィールド/フレーム符号化選択部16によって,ピクチャ単位フレーム符号化が選択され,ピクチャ単位フレーム符号化部300によって,対象ピクチャに対し,フレーム動き検出処理を含むピクチャ単位フレーム符号化が行われる。
・Tr1≦R≦Tr2の場合:
ブロックレベル適応符号化が選択され,ブロック単位フィールド/フレーム符号化選択部17によって,ブロック単位に誤差情報の差分Dbと閾値Th2との比較により,ブロック単位フレーム符号化,ブロック単位フィールド符号化の選択を行う。すなわち,Db≧Th2であれば,対象ピクチャにおけるそのブロックに対し,ブロック単位フレーム符号化を選択し,Db<Th2であれば,対象ピクチャにおけるそのブロックに対し,ブロック単位フィールド符号化を選択して,ブロック単位符号化部200で符号化を行う。
That is, the encoding mode is selected as follows.
・ When R <Tr1:
The picture unit field / frame encoding selection unit 16 selects picture unit field encoding, and the picture unit field encoding unit 400 performs picture unit field encoding including field motion detection processing on the target picture.
・ When R> Tr2:
The picture unit field / frame coding selection unit 16 selects picture unit frame coding, and the picture unit frame coding unit 300 performs picture unit frame coding including frame motion detection processing on the target picture.
・ When Tr1 ≦ R ≦ Tr2:
Block level adaptive encoding is selected, and block unit field encoding / block encoding selection unit 17 selects block unit frame encoding and block unit field encoding by comparing error information difference Db and threshold value Th2 in units of blocks. I do. That is, if Db ≧ Th2, block unit frame encoding is selected for the block in the target picture, and if Db <Th2, block unit field encoding is selected for the block in the target picture. The block unit encoding unit 200 performs encoding.

<第3の例>
図7は,第3の例におけるフレーム符号化,フィールド符号化を適応的に選択する動画像符号化装置の一例を示したブロック図である。図1の動画像符号化装置に対して,さらに量子化パラメータ適応部19が設けられている。他の部分については,図1で説明した動画像符号化装置と同様であるので,説明を省略する。
<Third example>
FIG. 7 is a block diagram showing an example of a moving picture coding apparatus that adaptively selects frame coding and field coding in the third example. A quantization parameter adaptation unit 19 is further provided for the moving picture coding apparatus of FIG. The other parts are the same as those of the moving picture encoding apparatus described with reference to FIG.

第3の例は,量子化パラメータ適応部19を設けることにより,各符号化モードの選択に用いる閾値Th1,Th2およびTr(またはTr1,Tr2)を量子化パラメータに応じて可変とするものである。この第3の例は,つまり第1の例および第2の例で用いる閾値を量子化パラメータに応じて変化させることにより,より一層の高精度化を可能とする。   In the third example, by providing the quantization parameter adaptation unit 19, the thresholds Th1, Th2 and Tr (or Tr1, Tr2) used for selecting each coding mode are made variable according to the quantization parameter. . In the third example, that is, the threshold value used in the first example and the second example is changed in accordance with the quantization parameter, so that higher accuracy can be achieved.

この量子化パラメータ適応部19は,各モード選択の直前で閾値を適応的に変化させるようにしてもよいし,また,処理の最初の部分で各閾値を一括して決めるようにしてもよい。   The quantization parameter adaptation unit 19 may adaptively change the threshold immediately before each mode selection, or may determine the thresholds collectively in the first part of the process.

量子化パラメータが小さい場合,画像を細かく量子化することになる。細かく量子化することでその分だけ画質は向上する。すなわち,量子化パラメータが小さいと発生符号量は大きくなる。この前提のもとで,例えば閾値を次のように決める。   When the quantization parameter is small, the image is finely quantized. By finely quantizing, the image quality is improved accordingly. That is, if the quantization parameter is small, the generated code amount becomes large. Under this assumption, for example, the threshold is determined as follows.

・Th1およびTh2について
フィールド画像は,垂直方向に1ライン飛ばしとなっているため,フレーム画像に比べて相関が低く,垂直方向に同一帯域幅のフィルタを施した場合には,一般的にフレーム画像よりもSN比は悪くなる。このことからTh1およびTh2を符号化効率を考慮して適切な値に決める。この値については,量子化パラメータが変化しても影響は小さいため,量子化パラメータによって変化させなくてもよい。
Th1 and Th2 Since the field image is skipped by one line in the vertical direction, the correlation is lower than that of the frame image, and when a filter having the same bandwidth is applied in the vertical direction, the frame image is generally used. The SN ratio becomes worse than. Therefore, Th1 and Th2 are determined to appropriate values in consideration of the encoding efficiency. This value does not need to be changed depending on the quantization parameter because the influence is small even if the quantization parameter changes.

・Tr(Tr1,Tr2)について
ブロック単位でフレーム/フィールド符号化を切り替えた場合,フレーム単位で切り替えるよりも符号化効率は高くなる。しかし,どちらの符号化を実施するかを示すための情報をブロック単位に付加する必要があり,この付加情報が増加することで全体的な情報量が増加し,符号化効率が低下する可能性がある。そのため,Trは,大きめに設定するほうが効率が高い(例えばTr=0.8等)。ただし,量子化パラメータが小さい(画質が良い)場合,符号量が多くなるため,全体の情報量に占める付加情報の割合が小さくなる。そのため,Trは,量子化パラメータが小さい場合には,小さめに設定するほうがよい。
Tr (Tr1, Tr2) When frame / field encoding is switched in units of blocks, the encoding efficiency is higher than that in units of frames. However, it is necessary to add information for indicating which encoding is to be performed in units of blocks, and increasing this additional information may increase the overall amount of information and reduce the encoding efficiency. There is. Therefore, it is more efficient to set Tr larger (for example, Tr = 0.8). However, when the quantization parameter is small (the image quality is good), the amount of code increases, so the ratio of additional information to the total information amount decreases. Therefore, it is better to set Tr smaller when the quantization parameter is small.

<他の例について>
前述した例において,条件(a) の左辺はトップフィールド,ボトムフィールドの平均誤差情報値としているが,フィールド間での相関は高いため,どちらか一方の誤差情報値だけを用いて算出しても同様の効果を奏する。また,誤差情報としてPSNRを用いているが,平均二乗誤差などを用いる場合にも同様の効果を奏する。なお,モード選択における誤差差分情報などと閾値との比較では,誤差情報として何を用いるかによって大小関係が変わる。
<About other examples>
In the above example, the left side of condition (a) is the average error information value for the top field and bottom field, but since the correlation between the fields is high, it can be calculated using only one of the error information values. The same effect is produced. Further, although PSNR is used as error information, the same effect can be obtained when a mean square error or the like is used. Note that, in the comparison between the error difference information and the like in the mode selection and the threshold value, the magnitude relationship changes depending on what is used as the error information.

さらに,フィルタ処理で用いる帯域幅rは,0<r<1の値をとることができ,その値によってフィルタ特性は異なり,フィルタ定数もそれに応じ異なるものとなるが,同様の効果を奏する。フィルタ処理も垂直および水平方向に同じ帯域幅で行っているが,垂直水平方向で別々の帯域幅を用いたり,どちらか一方,特に垂直方向のみにフィルタ処理を施す場合にも同様の効果を奏する。   Further, the bandwidth r used in the filter processing can take a value of 0 <r <1, and the filter characteristics differ depending on the value, and the filter constants differ accordingly, but the same effect is obtained. Filtering is performed with the same bandwidth in the vertical and horizontal directions, but the same effect can be obtained when using separate bandwidths in the vertical and horizontal directions, or when filtering is performed only in the vertical direction. .

また,Rはブロック比率としているが,画像サイズ(解像度)とブロック数との関係を示す表などを用いる場合にも同様の効果を奏する。また,ブロック分割部142,誤差情報・差分情報算出部143およびブロック数カウント部15を経た結果により,ピクチャ単位フィールド符号化であるか否かを選択しているが,フィールドフィルタ画像およびフレームフィルタ画像の誤差情報(各ブロック単位誤差情報の平均値)のみからピクチャ単位フィールド符号化を選択する場合にも同様の効果を奏する。また,第3の例における量子化パラメータ適応部19においては,量子化パラメータの代わりに,目標符号量や発生符号量などを用いる場合にも同様の効果を奏する。   Further, although R is a block ratio, the same effect can be obtained when a table showing the relationship between the image size (resolution) and the number of blocks is used. In addition, whether or not to perform field-by-picture field coding is selected based on the result of passing through the block division unit 142, the error information / difference information calculation unit 143, and the block count unit 15, but the field filter image and the frame filter image The same effect can be obtained when the picture unit field coding is selected only from the error information (average value of the block unit error information). In addition, the quantization parameter adaptation unit 19 in the third example has the same effect when a target code amount, a generated code amount, or the like is used instead of the quantization parameter.

さらに,低域フィルタ処理部141におけるフィルタ処理をノイズ除去や符号化効率の改善を目的としたプレフィルタ処理とすることにより,プレフィルタ処理を具備する符号化装置プレフィルタ処理とフィールド/フレーム選択処理を一括して行うことができるため,非常に整合性が高く,演算量を増やすことなく高機能化が可能となり,有益なものとなる。   Further, the filtering process in the low-pass filter processing unit 141 is a prefiltering process for the purpose of noise removal and improvement of coding efficiency, so that the prefiltering process and the field / frame selection process including the prefiltering process are performed. Can be performed in a batch, so it is highly consistent and can be highly functional without increasing the amount of computation, which is beneficial.

以上の符号化モード選択処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。   The above encoding mode selection processing can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.

10 フィールド分割部
11 フレーム画像
12 1stフィールド画像
13 2ndフィールド画像
14 符号化モード判定基準算出部
15 ブロック数カウント部
16 ピクチャ単位フィールド/フレーム符号化選択部
17 ブロック単位フィールド/フレーム符号化選択部
18 符号化モード格納メモリ
19 量子化パラメータ適応部
20 符号化部
141 低域フィルタ処理部
142 ブロック分割部
143 誤差情報・差分情報算出部
200 ブロック単位符号化部
300 ピクチャ単位フレーム符号化部
400 ピクチャ単位フィールド符号化部
DESCRIPTION OF SYMBOLS 10 Field division | segmentation part 11 Frame image 12 1st field image 13 2nd field image 14 Encoding mode determination reference | standard calculation part 15 Block number count part 16 Picture unit field / frame encoding selection part 17 Block unit field / frame encoding selection part 18 Code | symbol Storage mode 19 Quantization parameter adaptation unit 20 Encoding unit 141 Low-pass filter processing unit 142 Block division unit 143 Error information / difference information calculation unit 200 Block unit encoding unit 300 Picture unit frame encoding unit 400 Picture unit field code Chemical department

Claims (9)

インターレース映像に対してフレーム符号化とフィールド符号化とを適応的に選択して符号化する動画像符号化における符号化モード選択方法において,
入力画像をトップフィールドおよびボトムフィールドのフィールドピクチャに分割する過程と,
入力画像に対して所定の帯域幅によりフレームピクチャ単位でフィルタ処理を行う過程と,
入力画像に対して所定の帯域幅によりフィールドピクチャ単位でフィルタ処理を行う過程と,
入力画像を符号化単位の複数画素で構成されるブロックに分割する過程と,
フィルタ処理後のフレームピクチャと入力画像との誤差情報をブロック単位で算出する過程と,
フィルタ処理後のフィールドピクチャと入力画像のフィールドピクチャとの誤差情報をブロック単位で算出する過程と,
前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分を符号化モード判定基準として算出する過程と,
前記符号化モード判定基準を用いて,ピクチャ単位フレーム符号化,ピクチャ単位フィールド符号化,またはブロックレベル適応符号化におけるブロック単位フレーム符号化もしくはブロック単位フィールド符号化のいずれか複数を含む符号化モードの中から一つの符号化モードを選択する過程とを有する
ことを特徴とする符号化モード選択方法。
In a coding mode selection method in moving picture coding for adaptively selecting and coding frame coding and field coding for interlaced video,
Dividing the input image into field pictures of top field and bottom field;
A process of performing a filtering process on an input image in units of frame pictures with a predetermined bandwidth;
A process of filtering an input image in a field picture unit with a predetermined bandwidth;
A process of dividing an input image into blocks composed of a plurality of pixels in a coding unit;
A process of calculating error information between the filtered frame picture and the input image in units of blocks;
Calculating error information between the filtered field picture and the field picture of the input image in units of blocks;
Calculating a difference in block unit error information between the frame picture and the field picture as a coding mode criterion,
Using the coding mode criterion, a coding mode including any one of block unit frame coding or block unit field coding in picture unit frame coding, picture unit field coding, or block level adaptive coding And a method of selecting one encoding mode from among them.
請求項1に記載の符号化モード選択方法において,
前記符号化モードを選択する過程では,前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分が,所定の閾値以上となるブロック数をカウントし,そのカウントしたブロック数の総ブロック数に対する割合を算出し,その割合からピクチャ単位フレーム符号化またはピクチャ単位フィールド符号化のいずれかの符号化モードを選択する
ことを特徴とする符号化モード選択方法。
In the encoding mode selection method according to claim 1,
In the process of selecting the coding mode, the number of blocks in which the difference in block unit error information between the frame picture and the field picture is equal to or greater than a predetermined threshold is counted, and the ratio of the counted number of blocks to the total number of blocks And a coding mode selection method, wherein either one of picture unit frame coding or picture unit field coding is selected from the ratio.
請求項1または請求項2に記載の符号化モード選択方法において,
前記符号化モードを選択する過程では,前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分と,所定の閾値との大小をブロック単位で比較することにより,ブロックレベル適応符号化におけるブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかの符号化モードを選択する
ことを特徴とする符号化モード選択方法。
In the encoding mode selection method according to claim 1 or 2,
In the process of selecting the coding mode, the difference between block unit error information between the frame picture and the field picture is compared with the predetermined threshold value in block units, thereby comparing the block unit in block level adaptive coding. A coding mode selection method comprising: selecting a coding mode of either frame coding or block unit field coding.
請求項2または請求項3に記載の符号化モード選択方法において,
量子化パラメータまたは目標符号量または発生符号量によって前記符号化モードの選択に用いる閾値を制御する過程を有する
ことを特徴とする符号化モード選択方法。
In the encoding mode selection method according to claim 2 or 3,
A coding mode selection method comprising a step of controlling a threshold used for selecting the coding mode according to a quantization parameter, a target code amount, or a generated code amount.
インターレース映像に対してフレーム符号化とフィールド符号化とを適応的に選択して符号化する動画像符号化における符号化モード選択装置において,
入力画像をトップフィールドおよびボトムフィールドのフィールドピクチャに分割する手段と,
入力画像に対して所定の帯域幅によりフレームピクチャ単位でフィルタ処理を行う手段と,
入力画像に対して所定の帯域幅によりフィールドピクチャ単位でフィルタ処理を行う手段と,
入力画像を符号化単位の複数画素で構成されるブロックに分割する手段と,
フィルタ処理後のフレームピクチャと入力画像との誤差情報をブロック単位で算出する手段と,
フィルタ処理後のフィールドピクチャと入力画像のフィールドピクチャとの誤差情報をブロック単位で算出する手段と,
前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分を符号化モード判定基準として算出する手段と,
前記符号化モード判定基準を用いて,ピクチャ単位フレーム符号化,ピクチャ単位フィールド符号化,またはブロックレベル適応符号化におけるブロック単位フレーム符号化もしくはブロック単位フィールド符号化のいずれか複数を含む符号化モードの中から一つの符号化モードを選択する手段とを備える
ことを特徴とする符号化モード選択装置。
In a coding mode selection apparatus in moving picture coding for adaptively selecting and coding frame coding and field coding for interlaced video,
Means for dividing the input image into field pictures of top and bottom fields;
Means for performing a filtering process on a frame picture basis with a predetermined bandwidth for an input image;
Means for performing filtering on the input image in units of field pictures with a predetermined bandwidth;
Means for dividing an input image into blocks composed of a plurality of pixels in a coding unit;
Means for calculating error information between the filtered frame picture and the input image in units of blocks;
Means for calculating error information between the filtered field picture and the field picture of the input image in units of blocks;
Means for calculating a difference in block unit error information between the frame picture and the field picture as a coding mode criterion;
Using the coding mode criterion, a coding mode including any one of block unit frame coding or block unit field coding in picture unit frame coding, picture unit field coding, or block level adaptive coding An encoding mode selection device comprising: means for selecting one encoding mode from among them.
請求項5に記載の符号化モード選択装置において,
前記符号化モードを選択する手段は,前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分が,所定の閾値以上となるブロック数をカウントし,そのカウントしたブロック数の総ブロック数に対する割合を算出し,その割合からピクチャ単位フレーム符号化またはピクチャ単位フィールド符号化のいずれかの符号化モードを選択する
ことを特徴とする符号化モード選択装置。
In the encoding mode selection device according to claim 5,
The means for selecting the encoding mode counts the number of blocks in which the difference in block unit error information between the frame picture and the field picture is equal to or greater than a predetermined threshold, and the ratio of the counted number of blocks to the total number of blocks And a coding mode selection device characterized by selecting a coding mode of picture unit frame coding or picture unit field coding from the ratio.
請求項5または請求項6に記載の符号化モード選択装置において,
前記符号化モードを選択する手段は,前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分と,所定の閾値との大小をブロック単位で比較することにより,ブロックレベル適応符号化におけるブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかの符号化モードを選択する
ことを特徴とする符号化モード選択装置。
In the encoding mode selection device according to claim 5 or 6,
The means for selecting the coding mode is configured to compare a difference between block unit error information between the frame picture and the field picture and a predetermined threshold value in block units, thereby comparing each block unit in block level adaptive coding. An encoding mode selection device that selects either one of frame encoding or block unit field encoding.
請求項6または請求項7に記載の符号化モード選択装置において,
量子化パラメータまたは目標符号量または発生符号量によって前記符号化モードの選択に用いる閾値を制御する手段を備える
ことを特徴とする符号化モード選択装置。
In the encoding mode selection device according to claim 6 or 7,
A coding mode selection apparatus comprising: means for controlling a threshold used for selecting the coding mode according to a quantization parameter, a target code amount, or a generated code amount.
請求項1から請求項4までのいずれか1項に記載の符号化モード選択方法を,コンピュータに実行させるための符号化モード選択プログラム。   An encoding mode selection program for causing a computer to execute the encoding mode selection method according to any one of claims 1 to 4.
JP2009214192A 2009-09-16 2009-09-16 Coding mode selecting method, coding mode selecting device and coding mode selecting program Pending JP2011066592A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009214192A JP2011066592A (en) 2009-09-16 2009-09-16 Coding mode selecting method, coding mode selecting device and coding mode selecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009214192A JP2011066592A (en) 2009-09-16 2009-09-16 Coding mode selecting method, coding mode selecting device and coding mode selecting program

Publications (1)

Publication Number Publication Date
JP2011066592A true JP2011066592A (en) 2011-03-31

Family

ID=43952377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009214192A Pending JP2011066592A (en) 2009-09-16 2009-09-16 Coding mode selecting method, coding mode selecting device and coding mode selecting program

Country Status (1)

Country Link
JP (1) JP2011066592A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008340A1 (en) * 2013-07-16 2015-01-22 富士通株式会社 Video image encoding device, video image encoding method, video image decoding device, and video image decoding method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032468A (en) * 1998-07-10 2000-01-28 Nippon Telegr & Teleph Corp <Ntt> Image encoding method and recording medium recording motion compensation mode selection program
JP2008514120A (en) * 2004-09-16 2008-05-01 トムソン ライセンシング Method and apparatus for high speed video frame / field coding
JP2008283595A (en) * 2007-05-14 2008-11-20 Nippon Telegr & Teleph Corp <Ntt> Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032468A (en) * 1998-07-10 2000-01-28 Nippon Telegr & Teleph Corp <Ntt> Image encoding method and recording medium recording motion compensation mode selection program
JP2008514120A (en) * 2004-09-16 2008-05-01 トムソン ライセンシング Method and apparatus for high speed video frame / field coding
JP2008283595A (en) * 2007-05-14 2008-11-20 Nippon Telegr & Teleph Corp <Ntt> Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200800126007; 三反崎  暁経、外3名: 'ピクチャ適応型フレーム/フィールド符号化モード高速選択手法の検討' 電子情報通信学会技術研究報告 第107巻、第231号, 20070920, p.37-42, 社団法人電子情報通信学会 *
JPN6012043375; 三反崎  暁経、外3名: 'ピクチャ適応型フレーム/フィールド符号化モード高速選択手法の検討' 電子情報通信学会技術研究報告 第107巻、第231号, 20070920, p.37-42, 社団法人電子情報通信学会 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008340A1 (en) * 2013-07-16 2015-01-22 富士通株式会社 Video image encoding device, video image encoding method, video image decoding device, and video image decoding method
JPWO2015008340A1 (en) * 2013-07-16 2017-03-02 富士通株式会社 Moving picture coding apparatus, moving picture coding method, moving picture decoding apparatus, and moving picture decoding method

Similar Documents

Publication Publication Date Title
CN102883159B (en) Method for encoding images and picture decoding method
KR101213704B1 (en) Method and apparatus for video coding and decoding based on variable color format
US8279923B2 (en) Video coding method and video coding apparatus
US20160007029A1 (en) Video encoding method and apparatus, and video decoding apparatus
US20070098067A1 (en) Method and apparatus for video encoding/decoding
US6574276B2 (en) Video coding method and corresponding video coder
EP1833256B1 (en) Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
KR20170021337A (en) Encoder decisions based on results of hash-based block matching
KR20010043395A (en) Method and apparatus for reducing breathing artifacts in compressed video
JP2013524740A (en) Rate control in video coding.
KR20190073553A (en) Low complexity mixed domain cooperative in-loop filter for lossy video coding
JPH09322176A (en) Encoding mode selecting method, moving image encoding device, encoding method, recording method and transmitting method
JP2007527642A (en) Video encoder for low complexity noise reduction
JP2001128179A (en) Device and method for encoding moving picture
JP4485996B2 (en) Image encoding apparatus and image encoding program
JP4277530B2 (en) Image processing apparatus and encoding apparatus and methods thereof
JP2011066592A (en) Coding mode selecting method, coding mode selecting device and coding mode selecting program
JP2000032468A (en) Image encoding method and recording medium recording motion compensation mode selection program
JP4695115B2 (en) Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program
JPH05130592A (en) Moving picture encoding device
JP6111556B2 (en) Moving picture re-encoding device, method and program
JP3877043B2 (en) Scene adaptive video encoder
JP2007020216A (en) Encoding apparatus, encoding method, filtering apparatus and filtering method
JP4359273B2 (en) Coding mode selection method
JPH09149420A (en) Method and device for compressing dynamic image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121218