[go: up one dir, main page]

JP4695115B2 - Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program - Google Patents

Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program Download PDF

Info

Publication number
JP4695115B2
JP4695115B2 JP2007127626A JP2007127626A JP4695115B2 JP 4695115 B2 JP4695115 B2 JP 4695115B2 JP 2007127626 A JP2007127626 A JP 2007127626A JP 2007127626 A JP2007127626 A JP 2007127626A JP 4695115 B2 JP4695115 B2 JP 4695115B2
Authority
JP
Japan
Prior art keywords
encoding
image
error information
field
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007127626A
Other languages
Japanese (ja)
Other versions
JP2008283595A (en
Inventor
暁経 三反崎
一人 上倉
尚紀 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007127626A priority Critical patent/JP4695115B2/en
Publication of JP2008283595A publication Critical patent/JP2008283595A/en
Application granted granted Critical
Publication of JP4695115B2 publication Critical patent/JP4695115B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法およびその装置と、その動画像符号化方法の実現に用いられる動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。   The present invention relates to a moving picture coding method and apparatus for adaptively selecting frame coding and field coding for interlaced video and executing the coding, and a moving picture used for realizing the moving picture coding method. The present invention relates to an image encoding program and a computer-readable recording medium on which the program is recorded.

近年、高効率な動画像符号化方式の1つとして、図5に示すような符号化構成を採るH.264/AVCが用いられている。   In recent years, H.264 / AVC which employs an encoding configuration as shown in FIG. 5 has been used as one of highly efficient moving picture encoding methods.

H.264/AVCでは、この図に示す符号化部200の構成に従い、動きベクトル検出部100で検出した動きベクトルに基づいて、予測部201で、逆量子化部205、逆直交変換部206および加算部207により作成された復号画像から動き予測を行って現画像を予測すると、減算部202で、現画像とその予測画像との予測誤差を算出し、DCT変換部203で、その予測誤差に対してDCT変換を施した後、量子化部204で、DCT変換係数を量子化し、可変長符号化部208で、その量子化値に対して可変長符号化を行い、多重化部209で、多重化を行ってから、制御部211の制御処理に従って、バッファ部210を介して一定の転送レートで符号化データを出力するようにしている。   In H.264 / AVC, according to the configuration of the encoding unit 200 shown in this figure, based on the motion vector detected by the motion vector detection unit 100, the prediction unit 201 includes an inverse quantization unit 205, an inverse orthogonal transform unit 206, and When motion prediction is performed from the decoded image created by the adder 207 to predict the current image, the subtractor 202 calculates a prediction error between the current image and the predicted image, and the DCT converter 203 calculates the prediction error. After performing the DCT transform on the quantization unit 204, the quantization unit 204 quantizes the DCT transform coefficient, the variable length coding unit 208 performs variable length coding on the quantized value, and the multiplexing unit 209 After multiplexing, the encoded data is output at a constant transfer rate via the buffer unit 210 in accordance with the control processing of the control unit 211.

このように構成されるH.264/AVCでは、より高効率的な符号化を実現するために、
(1)1ピクチャを1フレームとみなして符号化を行うフレーム符号化
(2)1ピクチャをトップフィールドとボトムフィールドとに分けて符号化を行うフィ ールド符号化
(3)ピクチャごとに、フィールド符号化とフレーム符号化とを切り替えて符号化を行 うピクチャレベルフィールドフレーム適応符号化
(4)マクロブロックペア単位で、フィールド符号化とフレーム符号化とを切り替えて 符号化を行うマクロブロックレベルフィールドフレーム適応符号化
という4つの符号化方式を採用している。
In H.264 / AVC configured in this way, in order to realize more efficient encoding,
(1) Frame coding in which one picture is regarded as one frame for encoding (2) Field coding in which one picture is divided into a top field and a bottom field (3) A field code for each picture Level frame adaptive coding that performs coding by switching between coding and frame coding (4) Macroblock level field frame that performs coding by switching between field coding and frame coding in units of macroblock pairs Four encoding methods called adaptive encoding are employed.

(1)のフレーム符号化方式は動きの少ない動画像を符号化するのに適し、(2)のフィールド符号化方式は動きのある動画像を符号化するのに適しているが、1つの動画像シーケンスの中にも、動きの少ないシーン、動きのあるシーンが混在している。   The frame coding method (1) is suitable for coding a moving image with little motion, and the field coding method (2) is suitable for coding a moving image with motion. In the image sequence, scenes with little motion and scenes with motion are mixed.

そのため、(3)のピクチャレベルでフィールド符号化とフレーム符号化とを適応的に切り替える符号化方式が用意されている。   For this reason, an encoding method is provided that adaptively switches between field encoding and frame encoding at the picture level (3).

また、1つのピクチャ内にも動きの少ない領域と動きのある領域とが混在しており、これに対処するために、(4)の決まった領域レベル(マクロブロックレベル)でフィールド符号化とフレーム符号化とを適応的に切り替える符号化方式が用意されている。   In addition, in one picture, a region with little motion and a region with motion are mixed, and in order to cope with this, field coding and frame are performed at a predetermined region level (macroblock level) in (4). An encoding method for adaptively switching between encoding is prepared.

一般的に(3)や(4)の適応的な切替制御方式を用い、ピクチャまたはマクロブロックごとに符号化効率が高くなる方式を選択することにより、符号化を改善することができる。   In general, the adaptive switching control schemes (3) and (4) are used, and by selecting a scheme that increases the coding efficiency for each picture or macroblock, the coding can be improved.

この点に関し、従来技術として、図5における動きベクトル検出部100を、図6に示すフィールド/フレーム符号化決定部300に置き換えることで構成される、動き情報を用いたフィールド/フレーム符号化の切替方法が知られている(例えば、特許文献1,2参照)。   In this regard, as a prior art, switching of field / frame encoding using motion information, which is configured by replacing the motion vector detection unit 100 in FIG. 5 with a field / frame encoding determination unit 300 shown in FIG. Methods are known (see, for example, Patent Documents 1 and 2).

この従来技術では、フィールド分割部301で、フレーム画像をフィールド画像に分割して、動きベクトル検出部302で、フレーム画像用の動きベクトルとフィールド画像用の動きベクトルとを検出し、評価関数算出部303で、その動きベクトルの検出の際に用いた算出値に基づいて評価関数値を算出して、フィールド/フレーム符号化判定部304で、その評価関数値に従って、フィールド画像で符号化を行うのかフレーム画像で符号化を行うのかを判定し、判定結果出力部305で、その判定結果を符号化部200に出力するようにしている。
特開平5−308627号公報 特開平5−95545号公報
In this prior art, the field dividing unit 301 divides the frame image into field images, the motion vector detecting unit 302 detects the motion vector for the frame image and the motion vector for the field image, and the evaluation function calculating unit In 303, whether or not the evaluation function value is calculated based on the calculated value used when detecting the motion vector, and the field / frame encoding determination unit 304 performs encoding with the field image according to the evaluation function value. It is determined whether the frame image is to be encoded, and the determination result output unit 305 outputs the determination result to the encoding unit 200.
JP-A-5-308627 Japanese Patent Laid-Open No. 5-95545

しかしながら、特許文献1,2に記載される従来技術では、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定するために、フィールドとフレームの2つのパターンに対して動き情報の導出すなわち動きベクトルの検出の処理を行う必要があることから、演算量が大きくなるという問題がある。   However, in the prior art described in Patent Documents 1 and 2, motions are performed on two patterns of a field and a frame in order to determine whether encoding is performed using field encoding or frame encoding. Since it is necessary to perform processing for deriving information, that is, motion vector detection, there is a problem that the amount of calculation increases.

また、従来技術では、動きベクトルの検出処理とフィールド/フレーム符号化の切替処理とが密接不可分であることから、その切替精度が動きベクトルの検出精度に依存し、動きベクトルの検出精度が低い場合には、その影響を受けて切替精度が低下するという問題がある。   In addition, in the prior art, since the motion vector detection process and the field / frame coding switching process are inseparable, the switching accuracy depends on the motion vector detection accuracy, and the motion vector detection accuracy is low. However, there is a problem that the switching accuracy decreases due to the influence.

以上の観点から、できる限り軽い演算量で、かつ、フィールド/フレーム符号化の切替処理で用いる情報の精度によってその切替精度が影響を受けないようにする新たなフィールド/フレーム符号化の切替技術を実現する必要がある。   In view of the above, a new field / frame coding switching technique that minimizes the amount of computation and prevents the switching accuracy from being affected by the accuracy of information used in the field / frame coding switching processing. It needs to be realized.

本発明はかかる事情に鑑みてなされたものであって、インターレース映像に対してフィールド符号化、フレーム符号化を適応的に切り替えるときに、少ない演算量で、かつ、その切り替えの精度が動きベクトルの検出精度などの影響を受けないようにする新たな動画像符号化技術の提供を目的とする。   The present invention has been made in view of such circumstances, and when adaptively switching between field coding and frame coding for interlaced video, the amount of calculation is small and the switching accuracy is the motion vector. An object of the present invention is to provide a new moving picture coding technique that is not affected by detection accuracy and the like.

〔i〕第1の構成
前記の目的を達成するために、本発明の動画像符号化装置は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行するために、(1)入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するフレームフィルタ画像生成手段と、(2)入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成するフィールドフィルタ画像生成手段と、(3)フレームフィルタ画像生成手段の生成したフレームフィルタ画像と入力画像との第1の誤差情報を算出するフレームフィルタ画像誤差情報算出手段と、(4)フィールドフィルタ画像生成手段の生成したフィールドフィルタ画像と入力画像との第2の誤差情報を算出するフィールドフィルタ画像誤差情報算出手段と、(5)第1の誤差情報と第2の誤差情報との大小関係に基づいて、第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する符号化決定手段とを備えるように構成する。
[I] First Configuration In order to achieve the above object, the moving image encoding apparatus of the present invention adaptively selects frame encoding and field encoding for interlaced video and executes encoding. For this purpose, (1) frame filter image generation means for generating a frame filter image by performing filter processing on an input image in units of a predetermined bandwidth, and (2) bandwidth of the input image (3) calculating first error information between the frame filter image generated by the frame filter image generation unit and the input image Frame filter image error information calculating means for performing, and (4) a field filter generated by the field filter image generating means Field filter image error information calculating means for calculating second error information between the image and the input image; and (5) first error information based on the magnitude relationship between the first error information and the second error information. A coding determining means for determining that the encoding is performed by frame encoding when the second error information is larger, and for performing the encoding by field encoding when the second error information is larger. To do.

以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。   The moving image encoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program, and this computer program is provided by being recorded on a suitable computer-readable recording medium. Alternatively, the present invention is realized by being provided via a network, installed when the present invention is carried out, and operating on a control means such as a CPU.

このように構成される本発明の動画像符号化装置では、入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するとともに、入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する。   In the moving image encoding apparatus of the present invention configured as described above, a filter process is performed on the input image in units of frames with a predetermined bandwidth, thereby generating a frame filter image and the input image. A field filter image is generated by performing filter processing in units of fields according to the bandwidth.

続いて、その生成したフレームフィルタ画像と入力画像との誤差情報を算出するとともに、その生成したフィールドフィルタ画像と入力画像との誤差情報を算出する。   Subsequently, error information between the generated frame filter image and the input image is calculated, and error information between the generated field filter image and the input image is calculated.

続いて、その算出した2つの誤差情報に基づいて、入力画像が動きの小さな動画像を示しているのか否かを判断して、動きの小さな動画像であることを示していることを判断する場合には、フレーム符号化で符号化を実行することを決定し、動きの大きな動画像であることを示していることを判断する場合には、フィールド符号化で符号化を実行することを決定する。   Subsequently, based on the calculated two pieces of error information, it is determined whether or not the input image indicates a moving image with small motion, and it is determined that the input image indicates a moving image with small motion. In this case, it is determined that encoding is performed by frame encoding, and when it is determined that the moving image has a large motion, it is determined that encoding is performed by field encoding. To do.

例えば、2つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値と補正しなかったもう一方の誤差情報の値との大きさを比較し、その比較結果に基づいて、フレームフィルタ画像がフィールドフィルタ画像と比べて高周波成分を多く含まないことを判断する場合には、入力画像が動きの小さな動画像であることを示していることを判断して、フレーム符号化で符号化を実行することを決定し、逆に、フレームフィルタ画像がフィールドフィルタ画像に比べて高周波成分を多く含むことを判断する場合には、入力画像が動きの大きな動画像であることを示していることを判断して、フィールド符号化で符号化を実行することを決定する。   For example, one of the two error information values is corrected with a preset constant value, and the magnitude of the corrected error information value is compared with the value of the other error information not corrected, Based on the comparison result, when it is determined that the frame filter image does not contain more high frequency components than the field filter image, it is determined that the input image indicates a moving image with a small motion. Thus, when it is determined that encoding is to be performed by frame encoding and, conversely, when it is determined that the frame filter image includes more high-frequency components than the field filter image, the input image is a moving image with a large motion. It is determined that this is the case, and it is determined that encoding is to be performed by field encoding.

このようにして、本発明の動画像符号化装置では、入力画像を単位にして符号化を行うときに、動きベクトルの検出処理を行わずに、入力画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定することができるようになる。   In this way, in the moving image encoding apparatus of the present invention, when encoding is performed in units of input images, the input image indicates a moving image with small motion without performing motion vector detection processing. As a result, it is possible to determine whether to perform encoding by field encoding or encoding by frame encoding without performing motion vector detection processing.

〔ii〕第2の構成
前記の目的を達成するために、本発明の動画像符号化装置は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行するために、(1)入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するフレームフィルタ画像生成手段と、(2)入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成するフィールドフィルタ画像生成手段と、(3)入力画像を所定の画素単位で構成される画素群に分割する分割手段と、(4)分割手段の分割した分割画素群ごとに、フレームフィルタ画像生成手段の生成したフレームフィルタ画像と入力画像との第1の誤差情報を算出するフレームフィルタ画像誤差情報算出手段と、(5)分割手段の分割した分割画素群ごとに、フィールドフィルタ画像生成手段の生成したフィールドフィルタ画像と入力画像との第2の誤差情報を算出するフィールドフィルタ画像誤差情報算出手段と、(6)分割手段の分割した分割画素群ごとに、第1の誤差情報と第2の誤差情報との大小関係に基づいて、第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する符号化決定手段とを備えるように構成する。
[Ii] Second Configuration In order to achieve the above object, the moving picture coding apparatus of the present invention adaptively selects frame coding and field coding for interlaced video and executes coding. For this purpose, (1) frame filter image generation means for generating a frame filter image by performing filter processing on an input image in units of a predetermined bandwidth, and (2) bandwidth of the input image (4) a field filter image generation unit that generates a field filter image by performing filtering processing in units of fields, and (3) a division unit that divides the input image into pixel groups configured in predetermined pixel units. for each divided divided pixel group dividing means, to calculate the first error information of an input image and generated frame filtered image frame filtered image generating unit Frame filter image error information calculating means (5) for each divided divided pixel group dividing means, field filtered image to calculate the second error information field filter image generated field filtered image generating means and the input image When the first error information is larger on the basis of the magnitude relationship between the first error information and the second error information for each of the divided pixel groups divided by the error information calculating means and (6) the dividing means , It is determined to include encoding determining means that determines that encoding is to be performed by frame encoding and determines that encoding is to be performed by field encoding when the second error information is larger .

以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。   The moving image encoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program, and this computer program is provided by being recorded on a suitable computer-readable recording medium. Alternatively, the present invention is realized by being provided via a network, installed when the present invention is carried out, and operating on a control means such as a CPU.

このように構成される本発明の動画像符号化装置では、入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するとともに、入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する。   In the moving image encoding apparatus of the present invention configured as described above, a filter process is performed on the input image in units of frames with a predetermined bandwidth, thereby generating a frame filter image and the input image. A field filter image is generated by performing filter processing in units of fields according to the bandwidth.

続いて、入力画像を所定の画素単位で構成される画素群に分割することで、分割画素群を生成する。   Subsequently, a divided pixel group is generated by dividing the input image into pixel groups configured in predetermined pixel units.

続いて、分割画素群ごとに、生成したフレームフィルタ画像と入力画像との誤差情報を算出するとともに、生成したフィールドフィルタ画像と入力画像との誤差情報を算出する。   Subsequently, error information between the generated frame filter image and the input image is calculated for each divided pixel group, and error information between the generated field filter image and the input image is calculated.

続いて、分割画素群ごとに、その算出した2つの誤差情報に基づいて、分割画素群の画像が動きの小さな動画像を示しているのか否かを判断して、動きの小さな動画像であることを示していることを判断する場合には、フレーム符号化で符号化を実行することを決定し、動きの大きな動画像であることを示していることを判断する場合には、フィールド符号化で符号化を実行することを決定する。   Subsequently, for each divided pixel group, based on the two pieces of calculated error information, it is determined whether or not the image of the divided pixel group indicates a moving image with a small motion. If it is determined that the image is to be encoded, it is determined that the encoding is performed by frame encoding, and if it is determined that the moving image has a large motion, the field encoding is performed. To perform encoding.

例えば、分割画素群ごとに、2つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値と補正しなかったもう一方の誤差情報の値との大きさを比較し、その比較結果に基づいて、フレームフィルタ画像がフィールドフィルタ画像と比べて高周波成分を多く含まないことを判断する場合には、分割画素群の画像が動きの小さな動画像であることを示していることを判断して、フレーム符号化で符号化を実行することを決定し、逆に、フレームフィルタ画像がフィールドフィルタ画像に比べて高周波成分を多く含むことを判断する場合には、分割画素群の画像が動きの大きな動画像であることを示していることを判断して、フィールド符号化で符号化を実行することを決定する。   For example, for each divided pixel group, one of two error information values is corrected with a preset constant value, and the corrected error information value and the other error information value not corrected When the sizes are compared and it is determined that the frame filter image does not contain a lot of high frequency components compared to the field filter image based on the comparison result, the image of the divided pixel group is a moving image with a small motion. In the case where it is determined that the frame encoding is to be performed, it is determined that the frame filter image includes more high-frequency components than the field filter image. Then, it is determined that the image of the divided pixel group indicates a moving image having a large motion, and it is determined to perform the encoding by field encoding.

このようにして、本発明の動画像符号化装置では、分割画素群の画像を単位として符号化を行うときに、動きベクトルの検出処理を行わずに、分割画素群の画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定することができるようになる。   As described above, in the moving image encoding device of the present invention, when encoding is performed in units of divided pixel group images, the motion of the divided pixel group is small in motion without performing motion vector detection processing. By being able to determine whether or not an image is shown, it is possible to determine whether to perform encoding using field encoding or frame encoding without performing motion vector detection processing. become able to.

本発明によれば、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して動画像符号化を行うときに、動きベクトルの検出処理を行わずに、符号化対象の画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フレーム符号化で符号化を行うのかフィールド符号化で符号化を行うのかを決定することができるようになる。   According to the present invention, when frame coding and field coding are adaptively selected for interlaced video and moving image coding is performed, a motion vector detection process is not performed, and an image to be coded is detected. Whether or not a moving image with a small amount of motion can be determined can be determined, so that whether to perform frame encoding or field encoding without performing motion vector detection processing. Will be able to decide.

これから、本発明によれば、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して動画像符号化を行うときに、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、フレーム符号化で符号化を行うのかフィールド符号化で符号化を行うのかを決定することができるようになる。   Thus, according to the present invention, when video encoding is performed by adaptively selecting frame coding and field coding for interlaced video, the amount of calculation is small and the detection accuracy of a motion vector or the like is low. Without being affected, it is possible to determine whether encoding is performed using frame encoding or field encoding.

以下、実施の形態に従って本発明を詳細に説明する。   Hereinafter, the present invention will be described in detail according to embodiments.

図1に、本発明を具備する動画像符号化装置1の一実施形態例を図示する。   FIG. 1 shows an embodiment of a moving picture encoding apparatus 1 having the present invention.

ここで、図中に示す動きベクトル検出部100は、図5に示した動きベクトル検出部100に相当し、図中に示す符号化部200は、図5に示した符号化部200に相当するものである。   Here, the motion vector detection unit 100 shown in the figure corresponds to the motion vector detection unit 100 shown in FIG. 5, and the encoding unit 200 shown in the figure corresponds to the encoding unit 200 shown in FIG. Is.

本発明の動画像符号化装置1は、インターレース映像に対してフィールド符号化、フレーム符号化を適応的に選択して符号化を行うものであって、入力される原画像を記憶する原画像記憶部400と動きベクトル検出部100との間に、本発明を実現すべく構成されて、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定するフィールド/フレーム符号化決定部10を備える。   The moving image encoding apparatus 1 according to the present invention performs encoding by adaptively selecting field encoding and frame encoding for interlaced video, and stores an input original image. Field / frame coding decision that is configured to realize the present invention between the unit 400 and the motion vector detection unit 100 and decides whether to perform coding by field coding or frame coding The unit 10 is provided.

このフィールド/フレーム符号化決定部10は、フィールド分割部11と、フィルタ処理部12と、フィルタ画像記憶部13と、誤差情報算出部14と、誤差情報記憶部15と、フィールド/フレーム符号化判定部16と、判定結果出力部17とを備える。   The field / frame encoding determination unit 10 includes a field dividing unit 11, a filter processing unit 12, a filter image storage unit 13, an error information calculation unit 14, an error information storage unit 15, and a field / frame encoding determination. Unit 16 and determination result output unit 17.

フィールド分割部11は、原画像記憶部400から読み出した原画像データB_oを、トップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割する。   The field dividing unit 11 divides the original image data B_o read from the original image storage unit 400 into top field image data B_tfl and bottom field image data B_bfl.

フィルタ処理部12は、原画像データB_oであるフレーム画像データB_frに対して、所定の帯域幅rでフィルタ処理を行うことでフレームフィルタ画像データB_fr_fil を生成してフィルタ画像記憶部13に格納し、フィールド分割部11の分割したトップフィールド画像データB_tfl に対して、その帯域幅rでフィルタ処理を行うことでトップフィールドフィルタ画像データB_tfl _fil を生成してフィルタ画像記憶部13に格納し、フィールド分割部11の分割したボトムフィールド画像データB_bfl に対して、その帯域幅rでフィルタ処理を行うことでボトムフィールドフィルタ画像データB_bfl _fil を生成してフィルタ画像記憶部13に格納する。   The filter processing unit 12 performs frame processing on the frame image data B_fr that is the original image data B_o with a predetermined bandwidth r to generate frame filter image data B_fr_fil and stores it in the filter image storage unit 13. By filtering the top field image data B_tfl divided by the field dividing unit 11 with the bandwidth r, the top field filter image data B_tfl_fil is generated and stored in the filter image storage unit 13, and the field dividing unit The bottom field filter image data B_bfl_fil is generated by performing a filtering process with the bandwidth r on the 11 divided bottom field image data B_bfl, and stored in the filter image storage unit 13.

誤差情報算出部14は、PSNR(Peak Signal to Noise Ratio) などに従って、フィルタ処理部12の生成したフレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出して誤差情報記憶部15に格納し、フィルタ処理部12の生成したトップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出して誤差情報記憶部15に格納し、フィルタ処理部12の生成したボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出して誤差情報記憶部15に格納する。   The error information calculation unit 14 calculates error information P_fr between the frame filter image data B_fr_fil generated by the filter processing unit 12 and the original image data B_o according to PSNR (Peak Signal to Noise Ratio) and the like, and stores the error information P_fr in the error information storage unit 15. The error information P_tfl between the top field filter image data B_tfl_fil generated by the filter processing unit 12 and the original image data B_o is calculated and stored in the error information storage unit 15, and the bottom field filter generated by the filter processing unit 12 is stored. Error information P_bfl between the image data B_bfl_fil and the original image data B_o is calculated and stored in the error information storage unit 15.

ここで、誤差情報算出部14は、PSNR以外の定義に従って誤差情報を算出することもあるが、以下では、説明の便宜上、PSNRに従って誤差情報を算出することを想定する。   Here, the error information calculation unit 14 may calculate the error information according to a definition other than the PSNR, but in the following, it is assumed that the error information is calculated according to the PSNR for convenience of explanation.

フィールド/フレーム符号化判定部16は、誤差情報算出部14の算出した誤差情報P_fr, P_tfl,P_bfl に基づいて、これらの誤差情報が、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断して、この条件式を満たす場合には、入力画像をフィールド符号化で符号化を行うことを判定し、この条件式を満たさない場合には、入力画像をフレーム符号化で符号化を行うことを判定する。
Based on the error information P_fr, P_tfl, and P_bfl calculated by the error information calculation unit 14, the field / frame coding determination unit 16
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
If this condition is satisfied, it is determined that the input image is to be encoded by field coding. If this condition is not satisfied, the input image is It is determined that encoding is performed by frame encoding.

ここで、数式(1)におけるaは定数であり、画像サイズや使用するフィルタの特性などにより設定されることになる。   Here, a in Equation (1) is a constant and is set according to the image size, the characteristics of the filter used, and the like.

判定結果出力部17は、フィールド/フレーム符号化判定部16の判定結果を動きベクトル検出部100に出力する。   The determination result output unit 17 outputs the determination result of the field / frame encoding determination unit 16 to the motion vector detection unit 100.

図2に、図1のように構成されるフィールド/フレーム符号化決定部10の実行するフローチャートを図示する。   FIG. 2 shows a flowchart executed by the field / frame encoding determination unit 10 configured as shown in FIG.

次に、このフローチャートに従って、図1のように構成されるフィールド/フレーム符号化決定部10の実行する処理について詳細に説明する。   Next, processing executed by the field / frame encoding determination unit 10 configured as shown in FIG. 1 will be described in detail according to this flowchart.

フィールド/フレーム符号化決定部10は、まず最初に、ステップS101で、原画像データB_oを入力すると、続いて、ステップS102で、その入力した原画像データB_oを、トップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割する。   First, the field / frame encoding determination unit 10 inputs the original image data B_o in step S101, and then in step S102, the input original image data B_o is converted into the top field image data B_tfl and the bottom field. The image data is divided into B_bfl.

続いて、ステップS103で、原画像データB_oであるフレーム画像データB_frに対して、所定の帯域幅rでフィルタ処理を行うことでフレームフィルタ画像データB_fr_fil を生成する。   Subsequently, in step S103, frame filter image data B_fr_fil is generated by performing filter processing with a predetermined bandwidth r on the frame image data B_fr that is the original image data B_o.

続いて、ステップS104で、ステップS102の処理で得たトップフィールド画像データB_tfl に対して、前記の帯域幅rでフィルタ処理を行うことでトップフィールドフィルタ画像データB_tfl _fil を生成する。   Subsequently, in step S104, the top field filter image data B_tfl_fil is generated by performing the filtering process on the top field image data B_tfl obtained in the process of step S102 with the bandwidth r.

続いて、ステップS105で、ステップS102の処理で得たボトムフィールド画像データB_bfl に対して、前記の帯域幅rでフィルタ処理を行うことでボトムフィールドフィルタ画像データB_bfl _fil を生成する。   Subsequently, in step S105, the bottom field filter image data B_bfl_fil is generated by performing the filtering process with the bandwidth r on the bottom field image data B_bfl obtained in the process of step S102.

続いて、ステップS106で、ステップS103の処理で生成したフレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出する。   Subsequently, in step S106, error information P_fr between the frame filter image data B_fr_fil generated in the process of step S103 and the original image data B_o is calculated.

続いて、ステップS107で、ステップS104の処理で生成したトップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出する。   Subsequently, in step S107, error information P_tfl between the top field filter image data B_tfl_fil generated in the process of step S104 and the original image data B_o is calculated.

続いて、ステップS108で、ステップS105の処理で生成したボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出する。   Subsequently, in step S108, error information P_bfl between the bottom field filter image data B_bfl_fil generated in the process of step S105 and the original image data B_o is calculated.

ここで、ステップS106〜ステップS108では、PSNRに従って誤差情報を算出することになる。   Here, in steps S106 to S108, error information is calculated according to the PSNR.

PSNRに従って誤差情報を算出する場合、フィルタ画像データが原画像データに近くなるほど(画質がよくなるほど)、フィルタ画像データと原画像データとの誤差情報であるPSNRは大きな値を示すことになる。一方、画像の動きが大きい場合には、トップフィールドとボトムフィールドとで画像のズレが大きくなるので、サンプリング時間間隔の長いフレーム画像データの方がフィールド画像データよりも隣接画素との相関が小さくなり(高周波成分を多く含み)、したがって、フレームフィルタ画像データの方がフィールドフィルタ画像データよりも画質が低下してPSNRは小さな値を示すことなる。   When the error information is calculated according to the PSNR, the closer the filter image data is to the original image data (the better the image quality), the larger the PSNR that is the error information between the filter image data and the original image data. On the other hand, when the movement of the image is large, the image shift between the top field and the bottom field increases, so that the frame image data having a longer sampling time interval has a smaller correlation with adjacent pixels than the field image data. Therefore, the image quality of the frame filter image data is lower than that of the field filter image data, and the PSNR shows a small value.

これから、続いて、ステップS109で、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断することで、画像の動きが大きいのか否かを判断する。ここで、aは上述したように定数である。
From now on, in step S109,
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
It is determined whether or not the motion of the image is large. Here, a is a constant as described above.

この判断処理に従って、数式(1)が成立することを判断する場合には、画像の動きが大きいことを判断して、ステップS110に進んで、入力画像をフィールド符号化で符号化することを決定して、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。   When it is determined that the mathematical expression (1) is established according to this determination process, it is determined that the motion of the image is large, and the process proceeds to step S110 to determine that the input image is to be encoded by field encoding. Then, control is passed to the motion vector detection process and the encoding process, and the process ends.

一方、この判断処理に従って、数式(1)が成立しないことを判断する場合には、画像の動きが小さいことを判断して、ステップS111に進んで、入力画像をフレーム符号化で符号化することを決定して、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。   On the other hand, when it is determined according to this determination processing that the mathematical expression (1) is not established, it is determined that the motion of the image is small, and the process proceeds to step S111 to encode the input image by frame encoding. , Control is passed to the motion vector detection process and the encoding process, and the process ends.

次に、図1のように構成されるフィールド/フレーム符号化決定部10の実行する処理について具体例を用いて説明する。   Next, processing executed by the field / frame coding determination unit 10 configured as shown in FIG. 1 will be described using a specific example.

原画像データの画像サイズを1920×1080とし、フィルタの帯域幅をr=0.5(水平垂直方向に対して周波数成分を半分にカットするローパスフィルタ)とし、定数aをa=2とする。   The image size of the original image data is 1920 × 1080, the filter bandwidth is r = 0.5 (a low-pass filter that cuts the frequency component in half in the horizontal and vertical directions), and the constant a is a = 2.

まず、フィールド分割部11において、原画像データをトップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割し、フィールドピクチャ(1920×540)を生成する。これらをフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、トップフィールドフィルタ画像データB_tfl _fil とボトムフィールドフィルタ画像データB_bfl _fil とを生成する。   First, the field dividing unit 11 divides the original image data into top field image data B_tfl and bottom field image data B_bfl to generate a field picture (1920 × 540). These are input to the filter processing unit 12 and subjected to filter processing with a bandwidth of 0.5 to generate top field filter image data B_tfl_fil and bottom field filter image data B_bfl_fil.

一方、原画像データをフレームピクチャとする場合、そのままフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、フレームフィルタ画像データB_fr_fil を生成する。   On the other hand, when the original image data is used as a frame picture, it is directly input to the filter processing unit 12 and is subjected to filter processing with a bandwidth of 0.5 to generate frame filter image data B_fr_fil.

続いて、誤差情報算出部14において、各フィルタ画像データの原画像データに対するPSNRを測定し、これにより、例えば、P_fr=20〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得る。   Subsequently, the error information calculation unit 14 measures the PSNR of each filter image data with respect to the original image data, thereby, for example, P_fr = 20 [dB], P_tfl = 26 [dB], P_bfl = 24 [dB]. obtain.

続いて、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立するのか否かを判断する。これらのPSNRの値の場合には、数式(1)が成立するので、フィールド/フレーム符号化判定部16はフィールド符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フィールド符号化で符号化を行うことを動きベクトル検出部100に出力する。   Subsequently, the field / frame encoding determination unit 16 determines whether or not Expression (1) is established according to these PSNR values. In the case of these PSNR values, since Equation (1) is established, the field / frame encoding determination unit 16 determines to perform encoding by field encoding, and in response to this, a determination result output unit 17 outputs to the motion vector detection unit 100 that encoding is performed by field encoding.

一方、誤差情報算出部14において、例えば、P_fr=30〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得た場合には、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立しないことを判断して、フレーム符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フレーム符号化で符号化を行うことを動きベクトル検出部100に出力する。   On the other hand, when the error information calculation unit 14 obtains, for example, P_fr = 30 [dB], P_tfl = 26 [dB], and P_bfl = 24 [dB], the field / frame encoding determination unit 16 In accordance with the PSNR value, it is determined that Equation (1) does not hold, and it is determined that encoding is performed by frame encoding. In response to this, the determination result output unit 17 performs encoding by frame encoding. Is output to the motion vector detection unit 100.

このようにして、フィールド/フレーム符号化決定部10は、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定できるようになることから、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、その決定を行うことができるようになる。   In this way, the field / frame coding determination unit 10 can determine whether to perform field coding or frame coding without performing motion vector detection processing. Therefore, the determination can be performed with a small amount of calculation and without being affected by the detection accuracy of the motion vector or the like.

図3に、本発明を具備する動画像符号化装置1の他の実施形態例を図示する。ここで、図1に示すものと同じものについては同一の記号で示してある。   FIG. 3 shows another embodiment of the moving picture encoding apparatus 1 comprising the present invention. Here, the same components as those shown in FIG. 1 are indicated by the same symbols.

この実施形態例に従う場合、本発明の動画像符号化装置1は、新たに画素群分割部18および分割画像記憶部19を備えるとともに、誤差情報算出部14、誤差情報記憶部15、フィールド/フレーム符号化判定部16および判定結果出力部17がそれに応じた処理を実行するという構成を採る。   In the case of following this embodiment, the moving image encoding apparatus 1 of the present invention newly includes a pixel group dividing unit 18 and a divided image storage unit 19, an error information calculation unit 14, an error information storage unit 15, a field / frame. The encoding determination unit 16 and the determination result output unit 17 adopt a configuration in which processing corresponding to the execution is performed.

画素群分割部18は、原画像記憶部400から原画像データB_oを読み出して所定の画素単位で構成される画素群に分割して分割画像記憶部19に格納し、フィルタ画像記憶部13からフレームフィルタ画像データB_fr_fil を読み出してそれらの画素群に分割して分割画像記憶部19に格納し、フィルタ画像記憶部13からトップフィールドフィルタ画像データB_tfl _fil を読み出してそれらの画素群に分割して分割画像記憶部19に格納し、フィルタ画像記憶部13からボトムフィールドフィルタ画像データB_bfl _fil を読み出してそれらの画素群に分割して分割画像記憶部19に格納する。   The pixel group dividing unit 18 reads the original image data B_o from the original image storage unit 400, divides it into pixel groups configured in predetermined pixel units, stores them in the divided image storage unit 19, and receives the frame from the filter image storage unit 13. The filter image data B_fr_fil is read out, divided into those pixel groups and stored in the divided image storage unit 19, and the top field filter image data B_tfl_fil is read out from the filter image storage unit 13 and divided into those pixel groups to be divided images. The data is stored in the storage unit 19, and the bottom field filter image data B_bfl_fil is read from the filter image storage unit 13, divided into those pixel groups, and stored in the divided image storage unit 19.

これを受けて、誤差情報算出部14は、PSNRに従って、画素群分割部18の分割した分割画素群ごとに、フレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出して誤差情報記憶部15に格納し、トップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出して誤差情報記憶部15に格納し、ボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出して誤差情報記憶部15に格納する。   In response to this, the error information calculation unit 14 calculates error information P_fr between the frame filter image data B_fr_fil and the original image data B_o for each divided pixel group divided by the pixel group dividing unit 18 in accordance with PSNR, thereby obtaining error information. The error information P_tfl between the top field filter image data B_tfl_fil and the original image data B_o is calculated and stored in the error information storage unit 15, and the bottom field filter image data B_bfl_fil and the original image data B_o are stored in the storage unit 15. Error information P_bfl is calculated and stored in the error information storage unit 15.

そして、これを受けて、フィールド/フレーム符号化判定部16は、画素群分割部18の分割した分割画素群ごとに、誤差情報P_fr, P_tfl,P_bfl が、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断して、この条件式を満たす場合には、その分割画素群の画像をフィールド符号化で符号化を行うことを判定し、この条件式を満たさない場合には、その分割画素群の画像をフレーム符号化で符号化を行うことを判定する。
In response to this, the field / frame encoding determination unit 16 determines that the error information P_fr, P_tfl, P_bfl for each divided pixel group divided by the pixel group dividing unit 18 is:
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
If this condition is satisfied, it is determined that the image of the divided pixel group is to be encoded by field encoding. If this condition is not satisfied, Then, it is determined that the image of the divided pixel group is to be encoded by frame encoding.

そして、これを受けて、判定結果出力部17は、フィールド/フレーム符号化判定部16の判定結果を動きベクトル検出部100に出力する。   In response to this, the determination result output unit 17 outputs the determination result of the field / frame encoding determination unit 16 to the motion vector detection unit 100.

図4に、図3のように構成されるフィールド/フレーム符号化決定部10の実行するフローチャートを図示する。   FIG. 4 shows a flowchart executed by the field / frame encoding determination unit 10 configured as shown in FIG.

次に、このフローチャートに従って、図3のように構成されるフィールド/フレーム符号化決定部10の実行する処理について詳細に説明する。   Next, processing executed by the field / frame coding determination unit 10 configured as shown in FIG. 3 will be described in detail according to this flowchart.

フィールド/フレーム符号化決定部10は、まず最初に、ステップS201で、原画像データB_oを入力すると、続いて、ステップS202で、その入力した原画像データB_oを、トップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割する。   The field / frame encoding determination unit 10 first inputs the original image data B_o in step S201, and then in step S202, the input original image data B_o is converted into the top field image data B_tfl and the bottom field. The image data is divided into B_bfl.

続いて、ステップS203で、原画像データB_oであるフレーム画像データB_frに対して、所定の帯域幅rでフィルタ処理を行うことでフレームフィルタ画像データB_fr_fil を生成する。   Subsequently, in step S203, frame filter image data B_fr_fil is generated by filtering the frame image data B_fr, which is the original image data B_o, with a predetermined bandwidth r.

続いて、ステップS204で、ステップS202の処理で得たトップフィールド画像データB_tfl に対して、前記の帯域幅rでフィルタ処理を行うことでトップフィールドフィルタ画像データB_tfl _fil を生成する。   Subsequently, in step S204, the top field filter image data B_tfl_fil is generated by filtering the top field image data B_tfl obtained in the process of step S202 with the bandwidth r.

続いて、ステップS205で、ステップS202の処理で得たボトムフィールド画像データB_bfl に対して、前記の帯域幅rでフィルタ処理を行うことでボトムフィールドフィルタ画像データB_bfl _fil を生成する。   Subsequently, in step S205, bottom field filter image data B_bfl_fil is generated by performing filter processing with the bandwidth r on the bottom field image data B_bfl obtained in step S202.

続いて、ステップS206で、原画像データB_oを所定の画素単位で構成される画素群に分割し、フレームフィルタ画像データB_fr_fil をそれらの画素群に分割し、トップフィールドフィルタ画像データB_tfl _fil をそれらの画素群に分割し、ボトムフィールドフィルタ画像データB_bfl _fil をそれらの画素群に分割する。   Subsequently, in step S206, the original image data B_o is divided into pixel groups configured in predetermined pixel units, the frame filter image data B_fr_fil is divided into those pixel groups, and the top field filter image data B_tfl_fil is converted into those pixel groups. Dividing into pixel groups, the bottom field filter image data B_bfl_fil is divided into these pixel groups.

続いて、ステップS207で、未処理の分割画素群があるのか否かを判断して、未処理の分割画素群があることを判断する場合には、ステップS208に進んで、未処理の分割画素群を1つ選択する。   Subsequently, in step S207, it is determined whether or not there is an unprocessed divided pixel group. If it is determined that there is an unprocessed divided pixel group, the process proceeds to step S208, and an unprocessed divided pixel group is obtained. Select one group.

続いて、ステップS209で、PSNRに従って、選択した分割画素群について、ステップS203の処理で生成したフレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出し、ステップS204の処理で生成したトップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出し、ステップS205の処理で生成したボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出する。   Subsequently, in step S209, the error information P_fr between the frame filter image data B_fr_fil generated in the process of step S203 and the original image data B_o is calculated for the selected divided pixel group according to the PSNR, and generated in the process of step S204. Error information P_tfl between the top field filter image data B_tfl_fil and the original image data B_o is calculated, and error information P_bfl between the bottom field filter image data B_bfl_fil and the original image data B_o generated in step S205 is calculated.

続いて、ステップS210で、選択した分割画素群について、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断することで、画像の動きが大きいのか否かを判断する。
Subsequently, in step S210, for the selected divided pixel group,
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
It is determined whether or not the motion of the image is large.

この判断処理に従って、数式(1)が成立することを判断する場合には、画像の動きが大きいことを判断して、ステップS211に進んで、選択した分割画素群の画像をフィールド符号化で符号化することを決定して、ステップS207の処理に戻る。   When it is determined that the mathematical expression (1) is established according to this determination processing, it is determined that the motion of the image is large, the process proceeds to step S211, and the image of the selected divided pixel group is encoded by field encoding. To return to step S207.

一方、この判断処理に従って、数式(1)が成立しないことを判断する場合には、画像の動きが小さいことを判断して、ステップS212に進んで、選択した分割画素群の画像をフレーム符号化で符号化することを決定して、ステップS207の処理に戻る。   On the other hand, if it is determined in accordance with this determination processing that Equation (1) does not hold, it is determined that the motion of the image is small, and the process proceeds to step S212 to frame-code the image of the selected divided pixel group. And the process returns to step S207.

このようにしてステップS207〜ステップS212の処理を繰り返していくことで、ステップS207で、全ての分割画素群を選択したことを判断するときには、ステップS213に進んで、各分割画素群の画像についてどちらの符号化を用いるのかを通知しつつ、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。   When it is determined in step S207 that all the divided pixel groups have been selected by repeating the processing of step S207 to step S212 in this way, the process proceeds to step S213, and which of the images of each divided pixel group is selected. Control is passed to the motion vector detection process and the encoding process while notifying whether or not encoding is to be used, and the process is terminated.

次に、図3のように構成されるフィールド/フレーム符号化決定部10の実行する処理について具体例を用いて説明する。   Next, processing executed by the field / frame encoding determination unit 10 configured as shown in FIG. 3 will be described using a specific example.

原画像データの画像サイズを1920×1080とし、フィルタの帯域幅をr=0.5(水平垂直方向に対して周波数成分を半分にカットするローパスフィルタ)とし、定数aをa=2とし、分割画素群は矩形ブロックとしてそのサイズを16×16とする。   The image size of the original image data is 1920 × 1080, the filter bandwidth is r = 0.5 (a low-pass filter that cuts frequency components in half in the horizontal and vertical directions), the constant a is a = 2, and the division is performed. The pixel group is a rectangular block with a size of 16 × 16.

まず、フィールド分割部11において、原画像データをトップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割し、フィールドピクチャ(1920×540)を生成する。これらをフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、トップフィールドフィルタ画像データB_tfl _fil とボトムフィールドフィルタ画像データB_bfl _fil とを生成する。   First, the field dividing unit 11 divides the original image data into top field image data B_tfl and bottom field image data B_bfl to generate a field picture (1920 × 540). These are input to the filter processing unit 12 and subjected to filter processing with a bandwidth of 0.5 to generate top field filter image data B_tfl_fil and bottom field filter image data B_bfl_fil.

一方、原画像データをフレームピクチャとする場合、そのままフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、フレームフィルタ画像データB_fr_fil を生成する。   On the other hand, when the original image data is used as a frame picture, it is directly input to the filter processing unit 12 and is subjected to filter processing with a bandwidth of 0.5 to generate frame filter image data B_fr_fil.

続いて、画素群分割部18において、原画像データB_oとフレームフィルタ画像データB_fr_fil とを16×16サイズのブロック単位に分割するとともに、トップフィールドフィルタ画像データB_tfl _fil とボトムフィールドフィルタ画像データB_bfl _fil とを16×8サイズのブロック単位に分割する。   Subsequently, the pixel group dividing unit 18 divides the original image data B_o and the frame filter image data B_fr_fil into 16 × 16 block units, and the top field filter image data B_tfl_fil and the bottom field filter image data B_bfl_fil and Is divided into 16 × 8 block units.

続いて、誤差情報算出部14において、各ブロック単位フィルタ画像データの原画像データに対するPSNRを測定し、これにより、例えば、P_fr=20〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得る。   Subsequently, the error information calculation unit 14 measures the PSNR with respect to the original image data of each block unit filter image data, and, for example, P_fr = 20 [dB], P_tfl = 26 [dB], P_bfl = 24 [dB]. ] Is obtained.

続いて、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立するのか否かを判断する。これらのPSNRの値の場合には、数式(1)が成立するので、フィールド/フレーム符号化判定部16はフィールド符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フィールド符号化で符号化を行うことを動きベクトル検出部100に出力する。   Subsequently, the field / frame encoding determination unit 16 determines whether or not Expression (1) is established according to these PSNR values. In the case of these PSNR values, since Equation (1) is established, the field / frame encoding determination unit 16 determines to perform encoding by field encoding, and in response to this, a determination result output unit 17 outputs to the motion vector detection unit 100 that encoding is performed by field encoding.

一方、誤差情報算出部14において、例えば、P_fr=30〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得た場合には、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立しないことを判断して、フレーム符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フレーム符号化で符号化を行うことを動きベクトル検出部100に出力する。   On the other hand, when the error information calculation unit 14 obtains, for example, P_fr = 30 [dB], P_tfl = 26 [dB], and P_bfl = 24 [dB], the field / frame encoding determination unit 16 In accordance with the PSNR value, it is determined that Equation (1) does not hold, and it is determined that encoding is performed by frame encoding. In response to this, the determination result output unit 17 performs encoding by frame encoding. Is output to the motion vector detection unit 100.

このようにして、フィールド/フレーム符号化決定部10は、動きベクトルの検出処理を行わずに、分割画素群に、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定できるようになることから、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、その決定を行うことができるようになる。   In this way, the field / frame encoding determination unit 10 determines whether to perform the encoding by the field encoding or the frame encoding on the divided pixel group without performing the motion vector detection process. Therefore, the determination can be performed with a small amount of calculation and without being affected by the detection accuracy of the motion vector or the like.

図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。   Although the present invention has been described according to the illustrated embodiment, the present invention is not limited to this.

例えば、実施形態例では、数式(1)の左辺において、トップフィールドフィルタ画像データとボトムフィールドフィルタ画像データの平均誤差情報値を用いているが、フィールド間での相関が高いことから、どちらか一方の誤差情報値を用いても同様の効果を奏することができる。   For example, in the embodiment, the average error information value of the top field filter image data and the bottom field filter image data is used on the left side of Equation (1). Even if the error information value is used, the same effect can be obtained.

また、定数aの値については、誤差情報の種類(PSNR,二乗平均誤差など)により異なる値となるが、各誤差情報値に対応させた値を用いることで、同様の効果を奏することができる。   The value of the constant a varies depending on the type of error information (PSNR, mean square error, etc.), but the same effect can be achieved by using a value corresponding to each error information value. .

また、帯域幅rについては0<r<1の値をとることができ、その値によってフィルタ特性が異なり、定数aもそれに応じて異なるものとなるが、同様の効果を奏することができる。   Further, the bandwidth r can take a value of 0 <r <1, and the filter characteristic varies depending on the value, and the constant a varies accordingly, but the same effect can be obtained.

本発明は、インターレース映像の動画像符号化を実行するときに適用できるものであり、ピクチャの持つ周波数特性に基づいて、動画像符号化におけるフィールド/フレーム符号化を適応的に切り替えることができるようになることから、少ない処理演算量で、かつ高精度に、その切り替えを実行することができるようになる。   The present invention can be applied when performing moving image coding of interlaced video, and can adaptively switch field / frame coding in moving image coding based on the frequency characteristics of a picture. Therefore, the switching can be executed with a small amount of processing calculation and with high accuracy.

しかも、フィルタ処理部12におけるフィルタ処理をノイズ除去や符号化効率の改善を目的としたプレフィルタ処理とすることにより、プレフィルタ処理とフィールド/フレーム判定処理とを一括して行うことができるようになることから、演算量を増やすことなく本発明による高機能化を実現することができるようになる。   In addition, the prefiltering process and the field / frame determination process can be performed collectively by performing the filtering process in the filter processing unit 12 as a prefiltering process for the purpose of removing noise and improving the encoding efficiency. Therefore, it is possible to realize high functionality according to the present invention without increasing the amount of calculation.

本発明の動画像符号化装置の一実施形態例である。It is an example of one Embodiment of the moving image encoder of this invention. フィールド/フレーム符号化決定部の実行するフローチャートである。It is a flowchart which a field / frame encoding determination part performs. 本発明の動画像符号化装置の他の実施形態例である。It is another example of embodiment of the moving image encoder of this invention. フィールド/フレーム符号化決定部の実行するフローチャートである。It is a flowchart which a field / frame encoding determination part performs. H.264/AVCの説明図である。It is explanatory drawing of H.264 / AVC. 従来技術の説明図である。It is explanatory drawing of a prior art.

符号の説明Explanation of symbols

1 動画像符号化装置
10 フィールド/フレーム符号化決定部
11 フィールド分割部
12 フィルタ処理部
13 フィルタ画像記憶部
14 誤差情報算出部
15 誤差情報記憶部
16 フィールド/フレーム符号化判定部
17 判定結果出力部
100 動きベクトル検出部
200 符号化部
400 原画像記憶部
DESCRIPTION OF SYMBOLS 1 Moving image encoder 10 Field / frame encoding determination part 11 Field division part 12 Filter processing part 13 Filter image memory | storage part 14 Error information calculation part 15 Error information memory | storage part 16 Field / frame encoding determination part 17 Determination result output part 100 motion vector detection unit 200 encoding unit 400 original image storage unit

Claims (8)

インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法であって、
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する段階と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する段階と、
前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する段階と、
前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する段階と、
前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行する決定する段階とを備えることを、
特徴とする動画像符号化方法。
A moving image coding method for adaptively selecting frame coding and field coding for interlaced video, and performing coding,
Generating a frame filter image by performing a filtering process on a frame basis with a predetermined bandwidth on the input image;
Generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Calculating first error information between the frame filter image and the input image;
Calculating second error information between the field filter image and the input image;
Based on the magnitude relationship between the two calculated error information , when the first error information is larger, it is determined that encoding is performed by frame coding, and when the second error information is larger. , further comprising a step of determining to perform coding in field coding,
A moving image encoding method as a feature.
インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法であって、
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する段階と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する段階と、
入力画像を所定の画素単位で構成される画素群に分割する段階と、
前記分割した分割画素群ごとに、前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する段階と、
前記分割した分割画素群ごとに、前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する段階と、
前記分割した分割画素群ごとに、前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行する決定する段階とを備えることを、
特徴とする動画像符号化方法。
A moving image coding method for adaptively selecting frame coding and field coding for interlaced video, and performing coding,
Generating a frame filter image by performing a filtering process on a frame basis with a predetermined bandwidth on the input image;
Generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Dividing the input image into pixel groups configured in predetermined pixel units;
Calculating first error information between the frame filter image and the input image for each of the divided divided pixel groups;
Calculating second error information between the field filter image and the input image for each of the divided divided pixel groups;
For each of the divided pixel groups, based on the magnitude relationship between the two calculated error information, when the first error information is larger, it is determined that encoding is performed by frame encoding, If more of the second error information is larger, that comprises the steps of: determining to perform coding in field coding,
A moving image encoding method as a feature.
請求項1または請求項2に記載の動画像符号化方法において、
前記第2の誤差情報は、トップフィールドフィルタ画像もしくはボトムフィールドフィルタ画像のいずれか一方と入力画像との誤差情報、または、トップフィールドフィルタ画像と入力画像との誤差情報と、ボトムフィールドフィルタ画像と入力画像との誤差情報の平均値であることを、
特徴とする動画像符号化方法。
In the moving image encoding method according to claim 1 or 2,
The second error information includes error information between one of the top field filter image and the bottom field filter image and the input image, or error information between the top field filter image and the input image, and the bottom field filter image and the input. It is the average value of error information with the image,
A moving image encoding method as a feature.
請求項1、請求項2又は請求項3に記載の動画像符号化方法において、
前記決定する段階では、前記算出した2つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値を前記大小関係の比較に用いることを、
特徴とする動画像符号化方法。
In the moving image encoding method according to claim 1, 2 or 3 ,
In the determining step, one of the two calculated error information values is corrected with a preset constant value, and the corrected error information value is used for the magnitude relation comparison .
A moving image encoding method as a feature.
インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化装置であって、
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する手段と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する手段と、
前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する手段と、
前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する手段と、
前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行する決定する手段とを備えることを、
特徴とする動画像符号化装置。
A video encoding apparatus that performs encoding by adaptively selecting frame encoding and field encoding for interlaced video,
Means for generating a frame filter image by performing a filtering process in units of frames with a predetermined bandwidth on the input image;
Means for generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Means for calculating first error information between the frame filter image and the input image;
Means for calculating second error information between the field filter image and the input image;
Based on the magnitude relationship between the two calculated error information , when the first error information is larger, it is determined that encoding is performed by frame coding, and when the second error information is larger. , further comprising a means for determining to perform coding in field coding,
A moving image encoding device.
インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化装置であって、
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する手段と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する手段と、
入力画像を所定の画素単位で構成される画素群に分割する手段と、
前記分割した分割画素群ごとに、前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する手段と、
前記分割した分割画素群ごとに、前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する手段と、
前記分割した分割画素群ごとに、前記算出した2つの誤差情報に基づいて、フレーム符号化で符号化を実行するのかフィールド符号化で符号化を実行するのかを決定する手段とを備えることを、
前記分割した分割画素群ごとに、前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行する決定する手段とを備えることを、
特徴とする動画像符号化装置。
A video encoding apparatus that performs encoding by adaptively selecting frame encoding and field encoding for interlaced video,
Means for generating a frame filter image by performing a filtering process in units of frames with a predetermined bandwidth on the input image;
Means for generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Means for dividing the input image into pixel groups configured in predetermined pixel units;
Means for calculating first error information between the frame filter image and the input image for each divided pixel group;
Means for calculating second error information between the field filter image and the input image for each of the divided divided pixel groups;
Means for determining whether to perform encoding by frame encoding or encoding by field encoding based on the calculated two pieces of error information for each divided pixel group,
For each of the divided pixel groups, based on the magnitude relationship between the two calculated error information, when the first error information is larger, it is determined that encoding is performed by frame encoding, If more of the second error information is larger, further comprising a means for determining to perform coding in field coding,
A moving image encoding device.
請求項1ないし請求項4のいずれか1項に記載の動画像符号化方法の実現に用いられる処理をコンピュータに実行させるための動画像符号化プログラム。 A moving picture coding program for causing a computer to execute processing used to realize the moving picture coding method according to any one of claims 1 to 4 . 請求項1ないし請求項4のいずれか1項に記載の動画像符号化方法の実現に用いられる処理をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium having recorded thereon a moving picture coding program for causing a computer to execute processing used to realize the moving picture coding method according to any one of claims 1 to 4 .
JP2007127626A 2007-05-14 2007-05-14 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program Expired - Fee Related JP4695115B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007127626A JP4695115B2 (en) 2007-05-14 2007-05-14 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007127626A JP4695115B2 (en) 2007-05-14 2007-05-14 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Publications (2)

Publication Number Publication Date
JP2008283595A JP2008283595A (en) 2008-11-20
JP4695115B2 true JP4695115B2 (en) 2011-06-08

Family

ID=40144016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007127626A Expired - Fee Related JP4695115B2 (en) 2007-05-14 2007-05-14 Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program

Country Status (1)

Country Link
JP (1) JP4695115B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066592A (en) * 2009-09-16 2011-03-31 Nippon Telegr & Teleph Corp <Ntt> Coding mode selecting method, coding mode selecting device and coding mode selecting program
JP5759269B2 (en) 2011-06-01 2015-08-05 株式会社日立国際電気 Video encoding device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1790171B1 (en) * 2004-09-16 2018-03-28 Thomson Licensing DTV Method and apparatus for rapid video frame and field coding

Also Published As

Publication number Publication date
JP2008283595A (en) 2008-11-20

Similar Documents

Publication Publication Date Title
US9699459B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP4901772B2 (en) Moving picture coding method and moving picture coding apparatus
US8189667B2 (en) Moving picture encoding apparatus
JP5717465B2 (en) Moving picture coding apparatus and moving picture coding method
KR100846774B1 (en) Filtering method and apparatus for removing blocking effect
WO2010067529A1 (en) Moving picture decoding method and device, and moving picture encoding method and device
JP5613319B2 (en) Video encoding apparatus, video encoding method, and video encoding program
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
CN115834882A (en) Intra-frame prediction method and device, electronic equipment and storage medium
CN111886860B (en) Image decoding device, image encoding device, image processing system, image decoding method and program
JPWO2006100946A1 (en) Image signal re-encoding device and image signal re-encoding method
JP4257789B2 (en) Video encoding device
JP4695115B2 (en) Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program
JP4130617B2 (en) Moving picture coding method and moving picture coding apparatus
JP5639444B2 (en) Motion vector generation apparatus, motion vector generation method, and computer program
JP4452733B2 (en) Motion evaluation apparatus, method and program for moving picture coding, and recording medium therefor
JP2005348008A (en) Moving picture coding method, moving picture coder, moving picture coding program and computer-readable recording medium with record of the program
JP5832263B2 (en) Image coding apparatus and image coding method
JP5913929B2 (en) Moving picture coding apparatus, control method therefor, and computer program
JP2009049969A (en) Device and method of coding moving image and device and method of decoding moving image
JP2008311824A (en) Image encoding device, and image encoding program
JP5509048B2 (en) Intra prediction apparatus, encoder, decoder, and program
JP2006191287A (en) Image coding device, image coding method and image coding program
JP2011066592A (en) Coding mode selecting method, coding mode selecting device and coding mode selecting program
CN118573902A (en) Image filtering processing method, system, device and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090715

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4695115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees