JP4695115B2 - Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program - Google Patents
Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program Download PDFInfo
- Publication number
- JP4695115B2 JP4695115B2 JP2007127626A JP2007127626A JP4695115B2 JP 4695115 B2 JP4695115 B2 JP 4695115B2 JP 2007127626 A JP2007127626 A JP 2007127626A JP 2007127626 A JP2007127626 A JP 2007127626A JP 4695115 B2 JP4695115 B2 JP 4695115B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image
- error information
- field
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行する動画像符号化方法およびその装置と、その動画像符号化方法の実現に用いられる動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。 The present invention relates to a moving picture coding method and apparatus for adaptively selecting frame coding and field coding for interlaced video and executing the coding, and a moving picture used for realizing the moving picture coding method. The present invention relates to an image encoding program and a computer-readable recording medium on which the program is recorded.
近年、高効率な動画像符号化方式の1つとして、図5に示すような符号化構成を採るH.264/AVCが用いられている。 In recent years, H.264 / AVC which employs an encoding configuration as shown in FIG. 5 has been used as one of highly efficient moving picture encoding methods.
H.264/AVCでは、この図に示す符号化部200の構成に従い、動きベクトル検出部100で検出した動きベクトルに基づいて、予測部201で、逆量子化部205、逆直交変換部206および加算部207により作成された復号画像から動き予測を行って現画像を予測すると、減算部202で、現画像とその予測画像との予測誤差を算出し、DCT変換部203で、その予測誤差に対してDCT変換を施した後、量子化部204で、DCT変換係数を量子化し、可変長符号化部208で、その量子化値に対して可変長符号化を行い、多重化部209で、多重化を行ってから、制御部211の制御処理に従って、バッファ部210を介して一定の転送レートで符号化データを出力するようにしている。
In H.264 / AVC, according to the configuration of the
このように構成されるH.264/AVCでは、より高効率的な符号化を実現するために、
(1)1ピクチャを1フレームとみなして符号化を行うフレーム符号化
(2)1ピクチャをトップフィールドとボトムフィールドとに分けて符号化を行うフィ ールド符号化
(3)ピクチャごとに、フィールド符号化とフレーム符号化とを切り替えて符号化を行 うピクチャレベルフィールドフレーム適応符号化
(4)マクロブロックペア単位で、フィールド符号化とフレーム符号化とを切り替えて 符号化を行うマクロブロックレベルフィールドフレーム適応符号化
という4つの符号化方式を採用している。
In H.264 / AVC configured in this way, in order to realize more efficient encoding,
(1) Frame coding in which one picture is regarded as one frame for encoding (2) Field coding in which one picture is divided into a top field and a bottom field (3) A field code for each picture Level frame adaptive coding that performs coding by switching between coding and frame coding (4) Macroblock level field frame that performs coding by switching between field coding and frame coding in units of macroblock pairs Four encoding methods called adaptive encoding are employed.
(1)のフレーム符号化方式は動きの少ない動画像を符号化するのに適し、(2)のフィールド符号化方式は動きのある動画像を符号化するのに適しているが、1つの動画像シーケンスの中にも、動きの少ないシーン、動きのあるシーンが混在している。 The frame coding method (1) is suitable for coding a moving image with little motion, and the field coding method (2) is suitable for coding a moving image with motion. In the image sequence, scenes with little motion and scenes with motion are mixed.
そのため、(3)のピクチャレベルでフィールド符号化とフレーム符号化とを適応的に切り替える符号化方式が用意されている。 For this reason, an encoding method is provided that adaptively switches between field encoding and frame encoding at the picture level (3).
また、1つのピクチャ内にも動きの少ない領域と動きのある領域とが混在しており、これに対処するために、(4)の決まった領域レベル(マクロブロックレベル)でフィールド符号化とフレーム符号化とを適応的に切り替える符号化方式が用意されている。 In addition, in one picture, a region with little motion and a region with motion are mixed, and in order to cope with this, field coding and frame are performed at a predetermined region level (macroblock level) in (4). An encoding method for adaptively switching between encoding is prepared.
一般的に(3)や(4)の適応的な切替制御方式を用い、ピクチャまたはマクロブロックごとに符号化効率が高くなる方式を選択することにより、符号化を改善することができる。 In general, the adaptive switching control schemes (3) and (4) are used, and by selecting a scheme that increases the coding efficiency for each picture or macroblock, the coding can be improved.
この点に関し、従来技術として、図5における動きベクトル検出部100を、図6に示すフィールド/フレーム符号化決定部300に置き換えることで構成される、動き情報を用いたフィールド/フレーム符号化の切替方法が知られている(例えば、特許文献1,2参照)。
In this regard, as a prior art, switching of field / frame encoding using motion information, which is configured by replacing the motion
この従来技術では、フィールド分割部301で、フレーム画像をフィールド画像に分割して、動きベクトル検出部302で、フレーム画像用の動きベクトルとフィールド画像用の動きベクトルとを検出し、評価関数算出部303で、その動きベクトルの検出の際に用いた算出値に基づいて評価関数値を算出して、フィールド/フレーム符号化判定部304で、その評価関数値に従って、フィールド画像で符号化を行うのかフレーム画像で符号化を行うのかを判定し、判定結果出力部305で、その判定結果を符号化部200に出力するようにしている。
しかしながら、特許文献1,2に記載される従来技術では、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定するために、フィールドとフレームの2つのパターンに対して動き情報の導出すなわち動きベクトルの検出の処理を行う必要があることから、演算量が大きくなるという問題がある。
However, in the prior art described in
また、従来技術では、動きベクトルの検出処理とフィールド/フレーム符号化の切替処理とが密接不可分であることから、その切替精度が動きベクトルの検出精度に依存し、動きベクトルの検出精度が低い場合には、その影響を受けて切替精度が低下するという問題がある。 In addition, in the prior art, since the motion vector detection process and the field / frame coding switching process are inseparable, the switching accuracy depends on the motion vector detection accuracy, and the motion vector detection accuracy is low. However, there is a problem that the switching accuracy decreases due to the influence.
以上の観点から、できる限り軽い演算量で、かつ、フィールド/フレーム符号化の切替処理で用いる情報の精度によってその切替精度が影響を受けないようにする新たなフィールド/フレーム符号化の切替技術を実現する必要がある。 In view of the above, a new field / frame coding switching technique that minimizes the amount of computation and prevents the switching accuracy from being affected by the accuracy of information used in the field / frame coding switching processing. It needs to be realized.
本発明はかかる事情に鑑みてなされたものであって、インターレース映像に対してフィールド符号化、フレーム符号化を適応的に切り替えるときに、少ない演算量で、かつ、その切り替えの精度が動きベクトルの検出精度などの影響を受けないようにする新たな動画像符号化技術の提供を目的とする。 The present invention has been made in view of such circumstances, and when adaptively switching between field coding and frame coding for interlaced video, the amount of calculation is small and the switching accuracy is the motion vector. An object of the present invention is to provide a new moving picture coding technique that is not affected by detection accuracy and the like.
〔i〕第1の構成
前記の目的を達成するために、本発明の動画像符号化装置は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行するために、(1)入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するフレームフィルタ画像生成手段と、(2)入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成するフィールドフィルタ画像生成手段と、(3)フレームフィルタ画像生成手段の生成したフレームフィルタ画像と入力画像との第1の誤差情報を算出するフレームフィルタ画像誤差情報算出手段と、(4)フィールドフィルタ画像生成手段の生成したフィールドフィルタ画像と入力画像との第2の誤差情報を算出するフィールドフィルタ画像誤差情報算出手段と、(5)第1の誤差情報と第2の誤差情報との大小関係に基づいて、第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する符号化決定手段とを備えるように構成する。
[I] First Configuration In order to achieve the above object, the moving image encoding apparatus of the present invention adaptively selects frame encoding and field encoding for interlaced video and executes encoding. For this purpose, (1) frame filter image generation means for generating a frame filter image by performing filter processing on an input image in units of a predetermined bandwidth, and (2) bandwidth of the input image (3) calculating first error information between the frame filter image generated by the frame filter image generation unit and the input image Frame filter image error information calculating means for performing, and (4) a field filter generated by the field filter image generating means Field filter image error information calculating means for calculating second error information between the image and the input image; and (5) first error information based on the magnitude relationship between the first error information and the second error information. A coding determining means for determining that the encoding is performed by frame encoding when the second error information is larger, and for performing the encoding by field encoding when the second error information is larger. To do.
以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。 The moving image encoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program, and this computer program is provided by being recorded on a suitable computer-readable recording medium. Alternatively, the present invention is realized by being provided via a network, installed when the present invention is carried out, and operating on a control means such as a CPU.
このように構成される本発明の動画像符号化装置では、入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するとともに、入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する。 In the moving image encoding apparatus of the present invention configured as described above, a filter process is performed on the input image in units of frames with a predetermined bandwidth, thereby generating a frame filter image and the input image. A field filter image is generated by performing filter processing in units of fields according to the bandwidth.
続いて、その生成したフレームフィルタ画像と入力画像との誤差情報を算出するとともに、その生成したフィールドフィルタ画像と入力画像との誤差情報を算出する。 Subsequently, error information between the generated frame filter image and the input image is calculated, and error information between the generated field filter image and the input image is calculated.
続いて、その算出した2つの誤差情報に基づいて、入力画像が動きの小さな動画像を示しているのか否かを判断して、動きの小さな動画像であることを示していることを判断する場合には、フレーム符号化で符号化を実行することを決定し、動きの大きな動画像であることを示していることを判断する場合には、フィールド符号化で符号化を実行することを決定する。 Subsequently, based on the calculated two pieces of error information, it is determined whether or not the input image indicates a moving image with small motion, and it is determined that the input image indicates a moving image with small motion. In this case, it is determined that encoding is performed by frame encoding, and when it is determined that the moving image has a large motion, it is determined that encoding is performed by field encoding. To do.
例えば、2つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値と補正しなかったもう一方の誤差情報の値との大きさを比較し、その比較結果に基づいて、フレームフィルタ画像がフィールドフィルタ画像と比べて高周波成分を多く含まないことを判断する場合には、入力画像が動きの小さな動画像であることを示していることを判断して、フレーム符号化で符号化を実行することを決定し、逆に、フレームフィルタ画像がフィールドフィルタ画像に比べて高周波成分を多く含むことを判断する場合には、入力画像が動きの大きな動画像であることを示していることを判断して、フィールド符号化で符号化を実行することを決定する。 For example, one of the two error information values is corrected with a preset constant value, and the magnitude of the corrected error information value is compared with the value of the other error information not corrected, Based on the comparison result, when it is determined that the frame filter image does not contain more high frequency components than the field filter image, it is determined that the input image indicates a moving image with a small motion. Thus, when it is determined that encoding is to be performed by frame encoding and, conversely, when it is determined that the frame filter image includes more high-frequency components than the field filter image, the input image is a moving image with a large motion. It is determined that this is the case, and it is determined that encoding is to be performed by field encoding.
このようにして、本発明の動画像符号化装置では、入力画像を単位にして符号化を行うときに、動きベクトルの検出処理を行わずに、入力画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定することができるようになる。 In this way, in the moving image encoding apparatus of the present invention, when encoding is performed in units of input images, the input image indicates a moving image with small motion without performing motion vector detection processing. As a result, it is possible to determine whether to perform encoding by field encoding or encoding by frame encoding without performing motion vector detection processing.
〔ii〕第2の構成
前記の目的を達成するために、本発明の動画像符号化装置は、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して符号化を実行するために、(1)入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するフレームフィルタ画像生成手段と、(2)入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成するフィールドフィルタ画像生成手段と、(3)入力画像を所定の画素単位で構成される画素群に分割する分割手段と、(4)分割手段の分割した分割画素群ごとに、フレームフィルタ画像生成手段の生成したフレームフィルタ画像と入力画像との第1の誤差情報を算出するフレームフィルタ画像誤差情報算出手段と、(5)分割手段の分割した分割画素群ごとに、フィールドフィルタ画像生成手段の生成したフィールドフィルタ画像と入力画像との第2の誤差情報を算出するフィールドフィルタ画像誤差情報算出手段と、(6)分割手段の分割した分割画素群ごとに、第1の誤差情報と第2の誤差情報との大小関係に基づいて、第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する符号化決定手段とを備えるように構成する。
[Ii] Second Configuration In order to achieve the above object, the moving picture coding apparatus of the present invention adaptively selects frame coding and field coding for interlaced video and executes coding. For this purpose, (1) frame filter image generation means for generating a frame filter image by performing filter processing on an input image in units of a predetermined bandwidth, and (2) bandwidth of the input image (4) a field filter image generation unit that generates a field filter image by performing filtering processing in units of fields, and (3) a division unit that divides the input image into pixel groups configured in predetermined pixel units. for each divided divided pixel group dividing means, to calculate the first error information of an input image and generated frame filtered image frame filtered image generating unit Frame filter image error information calculating means (5) for each divided divided pixel group dividing means, field filtered image to calculate the second error information field filter image generated field filtered image generating means and the input image When the first error information is larger on the basis of the magnitude relationship between the first error information and the second error information for each of the divided pixel groups divided by the error information calculating means and (6) the dividing means , It is determined to include encoding determining means that determines that encoding is to be performed by frame encoding and determines that encoding is to be performed by field encoding when the second error information is larger .
以上の各処理手段が動作することで実現される本発明の動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてCPUなどの制御手段上で動作することにより本発明を実現することになる。 The moving image encoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program, and this computer program is provided by being recorded on a suitable computer-readable recording medium. Alternatively, the present invention is realized by being provided via a network, installed when the present invention is carried out, and operating on a control means such as a CPU.
このように構成される本発明の動画像符号化装置では、入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成するとともに、入力画像に対してその帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する。 In the moving image encoding apparatus of the present invention configured as described above, a filter process is performed on the input image in units of frames with a predetermined bandwidth, thereby generating a frame filter image and the input image. A field filter image is generated by performing filter processing in units of fields according to the bandwidth.
続いて、入力画像を所定の画素単位で構成される画素群に分割することで、分割画素群を生成する。 Subsequently, a divided pixel group is generated by dividing the input image into pixel groups configured in predetermined pixel units.
続いて、分割画素群ごとに、生成したフレームフィルタ画像と入力画像との誤差情報を算出するとともに、生成したフィールドフィルタ画像と入力画像との誤差情報を算出する。 Subsequently, error information between the generated frame filter image and the input image is calculated for each divided pixel group, and error information between the generated field filter image and the input image is calculated.
続いて、分割画素群ごとに、その算出した2つの誤差情報に基づいて、分割画素群の画像が動きの小さな動画像を示しているのか否かを判断して、動きの小さな動画像であることを示していることを判断する場合には、フレーム符号化で符号化を実行することを決定し、動きの大きな動画像であることを示していることを判断する場合には、フィールド符号化で符号化を実行することを決定する。 Subsequently, for each divided pixel group, based on the two pieces of calculated error information, it is determined whether or not the image of the divided pixel group indicates a moving image with a small motion. If it is determined that the image is to be encoded, it is determined that the encoding is performed by frame encoding, and if it is determined that the moving image has a large motion, the field encoding is performed. To perform encoding.
例えば、分割画素群ごとに、2つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値と補正しなかったもう一方の誤差情報の値との大きさを比較し、その比較結果に基づいて、フレームフィルタ画像がフィールドフィルタ画像と比べて高周波成分を多く含まないことを判断する場合には、分割画素群の画像が動きの小さな動画像であることを示していることを判断して、フレーム符号化で符号化を実行することを決定し、逆に、フレームフィルタ画像がフィールドフィルタ画像に比べて高周波成分を多く含むことを判断する場合には、分割画素群の画像が動きの大きな動画像であることを示していることを判断して、フィールド符号化で符号化を実行することを決定する。 For example, for each divided pixel group, one of two error information values is corrected with a preset constant value, and the corrected error information value and the other error information value not corrected When the sizes are compared and it is determined that the frame filter image does not contain a lot of high frequency components compared to the field filter image based on the comparison result, the image of the divided pixel group is a moving image with a small motion. In the case where it is determined that the frame encoding is to be performed, it is determined that the frame filter image includes more high-frequency components than the field filter image. Then, it is determined that the image of the divided pixel group indicates a moving image having a large motion, and it is determined to perform the encoding by field encoding.
このようにして、本発明の動画像符号化装置では、分割画素群の画像を単位として符号化を行うときに、動きベクトルの検出処理を行わずに、分割画素群の画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定することができるようになる。 As described above, in the moving image encoding device of the present invention, when encoding is performed in units of divided pixel group images, the motion of the divided pixel group is small in motion without performing motion vector detection processing. By being able to determine whether or not an image is shown, it is possible to determine whether to perform encoding using field encoding or frame encoding without performing motion vector detection processing. become able to.
本発明によれば、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して動画像符号化を行うときに、動きベクトルの検出処理を行わずに、符号化対象の画像が動きの小さな動画像を示しているのか否かを判断できるようになることで、動きベクトルの検出処理を行わずに、フレーム符号化で符号化を行うのかフィールド符号化で符号化を行うのかを決定することができるようになる。 According to the present invention, when frame coding and field coding are adaptively selected for interlaced video and moving image coding is performed, a motion vector detection process is not performed, and an image to be coded is detected. Whether or not a moving image with a small amount of motion can be determined can be determined, so that whether to perform frame encoding or field encoding without performing motion vector detection processing. Will be able to decide.
これから、本発明によれば、インターレース映像に対してフレーム符号化、フィールド符号化を適応的に選択して動画像符号化を行うときに、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、フレーム符号化で符号化を行うのかフィールド符号化で符号化を行うのかを決定することができるようになる。 Thus, according to the present invention, when video encoding is performed by adaptively selecting frame coding and field coding for interlaced video, the amount of calculation is small and the detection accuracy of a motion vector or the like is low. Without being affected, it is possible to determine whether encoding is performed using frame encoding or field encoding.
以下、実施の形態に従って本発明を詳細に説明する。 Hereinafter, the present invention will be described in detail according to embodiments.
図1に、本発明を具備する動画像符号化装置1の一実施形態例を図示する。
FIG. 1 shows an embodiment of a moving
ここで、図中に示す動きベクトル検出部100は、図5に示した動きベクトル検出部100に相当し、図中に示す符号化部200は、図5に示した符号化部200に相当するものである。
Here, the motion
本発明の動画像符号化装置1は、インターレース映像に対してフィールド符号化、フレーム符号化を適応的に選択して符号化を行うものであって、入力される原画像を記憶する原画像記憶部400と動きベクトル検出部100との間に、本発明を実現すべく構成されて、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定するフィールド/フレーム符号化決定部10を備える。
The moving
このフィールド/フレーム符号化決定部10は、フィールド分割部11と、フィルタ処理部12と、フィルタ画像記憶部13と、誤差情報算出部14と、誤差情報記憶部15と、フィールド/フレーム符号化判定部16と、判定結果出力部17とを備える。
The field / frame encoding determination unit 10 includes a field dividing unit 11, a filter processing unit 12, a filter
フィールド分割部11は、原画像記憶部400から読み出した原画像データB_oを、トップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割する。 The field dividing unit 11 divides the original image data B_o read from the original image storage unit 400 into top field image data B_tfl and bottom field image data B_bfl.
フィルタ処理部12は、原画像データB_oであるフレーム画像データB_frに対して、所定の帯域幅rでフィルタ処理を行うことでフレームフィルタ画像データB_fr_fil を生成してフィルタ画像記憶部13に格納し、フィールド分割部11の分割したトップフィールド画像データB_tfl に対して、その帯域幅rでフィルタ処理を行うことでトップフィールドフィルタ画像データB_tfl _fil を生成してフィルタ画像記憶部13に格納し、フィールド分割部11の分割したボトムフィールド画像データB_bfl に対して、その帯域幅rでフィルタ処理を行うことでボトムフィールドフィルタ画像データB_bfl _fil を生成してフィルタ画像記憶部13に格納する。
The filter processing unit 12 performs frame processing on the frame image data B_fr that is the original image data B_o with a predetermined bandwidth r to generate frame filter image data B_fr_fil and stores it in the filter
誤差情報算出部14は、PSNR(Peak Signal to Noise Ratio) などに従って、フィルタ処理部12の生成したフレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出して誤差情報記憶部15に格納し、フィルタ処理部12の生成したトップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出して誤差情報記憶部15に格納し、フィルタ処理部12の生成したボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出して誤差情報記憶部15に格納する。 The error information calculation unit 14 calculates error information P_fr between the frame filter image data B_fr_fil generated by the filter processing unit 12 and the original image data B_o according to PSNR (Peak Signal to Noise Ratio) and the like, and stores the error information P_fr in the error information storage unit 15. The error information P_tfl between the top field filter image data B_tfl_fil generated by the filter processing unit 12 and the original image data B_o is calculated and stored in the error information storage unit 15, and the bottom field filter generated by the filter processing unit 12 is stored. Error information P_bfl between the image data B_bfl_fil and the original image data B_o is calculated and stored in the error information storage unit 15.
ここで、誤差情報算出部14は、PSNR以外の定義に従って誤差情報を算出することもあるが、以下では、説明の便宜上、PSNRに従って誤差情報を算出することを想定する。 Here, the error information calculation unit 14 may calculate the error information according to a definition other than the PSNR, but in the following, it is assumed that the error information is calculated according to the PSNR for convenience of explanation.
フィールド/フレーム符号化判定部16は、誤差情報算出部14の算出した誤差情報P_fr, P_tfl,P_bfl に基づいて、これらの誤差情報が、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断して、この条件式を満たす場合には、入力画像をフィールド符号化で符号化を行うことを判定し、この条件式を満たさない場合には、入力画像をフレーム符号化で符号化を行うことを判定する。
Based on the error information P_fr, P_tfl, and P_bfl calculated by the error information calculation unit 14, the field / frame coding determination unit 16
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
If this condition is satisfied, it is determined that the input image is to be encoded by field coding. If this condition is not satisfied, the input image is It is determined that encoding is performed by frame encoding.
ここで、数式(1)におけるaは定数であり、画像サイズや使用するフィルタの特性などにより設定されることになる。 Here, a in Equation (1) is a constant and is set according to the image size, the characteristics of the filter used, and the like.
判定結果出力部17は、フィールド/フレーム符号化判定部16の判定結果を動きベクトル検出部100に出力する。
The determination result output unit 17 outputs the determination result of the field / frame encoding determination unit 16 to the motion
図2に、図1のように構成されるフィールド/フレーム符号化決定部10の実行するフローチャートを図示する。 FIG. 2 shows a flowchart executed by the field / frame encoding determination unit 10 configured as shown in FIG.
次に、このフローチャートに従って、図1のように構成されるフィールド/フレーム符号化決定部10の実行する処理について詳細に説明する。 Next, processing executed by the field / frame encoding determination unit 10 configured as shown in FIG. 1 will be described in detail according to this flowchart.
フィールド/フレーム符号化決定部10は、まず最初に、ステップS101で、原画像データB_oを入力すると、続いて、ステップS102で、その入力した原画像データB_oを、トップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割する。 First, the field / frame encoding determination unit 10 inputs the original image data B_o in step S101, and then in step S102, the input original image data B_o is converted into the top field image data B_tfl and the bottom field. The image data is divided into B_bfl.
続いて、ステップS103で、原画像データB_oであるフレーム画像データB_frに対して、所定の帯域幅rでフィルタ処理を行うことでフレームフィルタ画像データB_fr_fil を生成する。 Subsequently, in step S103, frame filter image data B_fr_fil is generated by performing filter processing with a predetermined bandwidth r on the frame image data B_fr that is the original image data B_o.
続いて、ステップS104で、ステップS102の処理で得たトップフィールド画像データB_tfl に対して、前記の帯域幅rでフィルタ処理を行うことでトップフィールドフィルタ画像データB_tfl _fil を生成する。 Subsequently, in step S104, the top field filter image data B_tfl_fil is generated by performing the filtering process on the top field image data B_tfl obtained in the process of step S102 with the bandwidth r.
続いて、ステップS105で、ステップS102の処理で得たボトムフィールド画像データB_bfl に対して、前記の帯域幅rでフィルタ処理を行うことでボトムフィールドフィルタ画像データB_bfl _fil を生成する。 Subsequently, in step S105, the bottom field filter image data B_bfl_fil is generated by performing the filtering process with the bandwidth r on the bottom field image data B_bfl obtained in the process of step S102.
続いて、ステップS106で、ステップS103の処理で生成したフレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出する。 Subsequently, in step S106, error information P_fr between the frame filter image data B_fr_fil generated in the process of step S103 and the original image data B_o is calculated.
続いて、ステップS107で、ステップS104の処理で生成したトップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出する。 Subsequently, in step S107, error information P_tfl between the top field filter image data B_tfl_fil generated in the process of step S104 and the original image data B_o is calculated.
続いて、ステップS108で、ステップS105の処理で生成したボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出する。 Subsequently, in step S108, error information P_bfl between the bottom field filter image data B_bfl_fil generated in the process of step S105 and the original image data B_o is calculated.
ここで、ステップS106〜ステップS108では、PSNRに従って誤差情報を算出することになる。 Here, in steps S106 to S108, error information is calculated according to the PSNR.
PSNRに従って誤差情報を算出する場合、フィルタ画像データが原画像データに近くなるほど(画質がよくなるほど)、フィルタ画像データと原画像データとの誤差情報であるPSNRは大きな値を示すことになる。一方、画像の動きが大きい場合には、トップフィールドとボトムフィールドとで画像のズレが大きくなるので、サンプリング時間間隔の長いフレーム画像データの方がフィールド画像データよりも隣接画素との相関が小さくなり(高周波成分を多く含み)、したがって、フレームフィルタ画像データの方がフィールドフィルタ画像データよりも画質が低下してPSNRは小さな値を示すことなる。 When the error information is calculated according to the PSNR, the closer the filter image data is to the original image data (the better the image quality), the larger the PSNR that is the error information between the filter image data and the original image data. On the other hand, when the movement of the image is large, the image shift between the top field and the bottom field increases, so that the frame image data having a longer sampling time interval has a smaller correlation with adjacent pixels than the field image data. Therefore, the image quality of the frame filter image data is lower than that of the field filter image data, and the PSNR shows a small value.
これから、続いて、ステップS109で、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断することで、画像の動きが大きいのか否かを判断する。ここで、aは上述したように定数である。
From now on, in step S109,
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
It is determined whether or not the motion of the image is large. Here, a is a constant as described above.
この判断処理に従って、数式(1)が成立することを判断する場合には、画像の動きが大きいことを判断して、ステップS110に進んで、入力画像をフィールド符号化で符号化することを決定して、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。 When it is determined that the mathematical expression (1) is established according to this determination process, it is determined that the motion of the image is large, and the process proceeds to step S110 to determine that the input image is to be encoded by field encoding. Then, control is passed to the motion vector detection process and the encoding process, and the process ends.
一方、この判断処理に従って、数式(1)が成立しないことを判断する場合には、画像の動きが小さいことを判断して、ステップS111に進んで、入力画像をフレーム符号化で符号化することを決定して、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。 On the other hand, when it is determined according to this determination processing that the mathematical expression (1) is not established, it is determined that the motion of the image is small, and the process proceeds to step S111 to encode the input image by frame encoding. , Control is passed to the motion vector detection process and the encoding process, and the process ends.
次に、図1のように構成されるフィールド/フレーム符号化決定部10の実行する処理について具体例を用いて説明する。 Next, processing executed by the field / frame coding determination unit 10 configured as shown in FIG. 1 will be described using a specific example.
原画像データの画像サイズを1920×1080とし、フィルタの帯域幅をr=0.5(水平垂直方向に対して周波数成分を半分にカットするローパスフィルタ)とし、定数aをa=2とする。 The image size of the original image data is 1920 × 1080, the filter bandwidth is r = 0.5 (a low-pass filter that cuts the frequency component in half in the horizontal and vertical directions), and the constant a is a = 2.
まず、フィールド分割部11において、原画像データをトップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割し、フィールドピクチャ(1920×540)を生成する。これらをフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、トップフィールドフィルタ画像データB_tfl _fil とボトムフィールドフィルタ画像データB_bfl _fil とを生成する。 First, the field dividing unit 11 divides the original image data into top field image data B_tfl and bottom field image data B_bfl to generate a field picture (1920 × 540). These are input to the filter processing unit 12 and subjected to filter processing with a bandwidth of 0.5 to generate top field filter image data B_tfl_fil and bottom field filter image data B_bfl_fil.
一方、原画像データをフレームピクチャとする場合、そのままフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、フレームフィルタ画像データB_fr_fil を生成する。 On the other hand, when the original image data is used as a frame picture, it is directly input to the filter processing unit 12 and is subjected to filter processing with a bandwidth of 0.5 to generate frame filter image data B_fr_fil.
続いて、誤差情報算出部14において、各フィルタ画像データの原画像データに対するPSNRを測定し、これにより、例えば、P_fr=20〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得る。 Subsequently, the error information calculation unit 14 measures the PSNR of each filter image data with respect to the original image data, thereby, for example, P_fr = 20 [dB], P_tfl = 26 [dB], P_bfl = 24 [dB]. obtain.
続いて、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立するのか否かを判断する。これらのPSNRの値の場合には、数式(1)が成立するので、フィールド/フレーム符号化判定部16はフィールド符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フィールド符号化で符号化を行うことを動きベクトル検出部100に出力する。
Subsequently, the field / frame encoding determination unit 16 determines whether or not Expression (1) is established according to these PSNR values. In the case of these PSNR values, since Equation (1) is established, the field / frame encoding determination unit 16 determines to perform encoding by field encoding, and in response to this, a determination result output unit 17 outputs to the motion
一方、誤差情報算出部14において、例えば、P_fr=30〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得た場合には、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立しないことを判断して、フレーム符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フレーム符号化で符号化を行うことを動きベクトル検出部100に出力する。
On the other hand, when the error information calculation unit 14 obtains, for example, P_fr = 30 [dB], P_tfl = 26 [dB], and P_bfl = 24 [dB], the field / frame encoding determination unit 16 In accordance with the PSNR value, it is determined that Equation (1) does not hold, and it is determined that encoding is performed by frame encoding. In response to this, the determination result output unit 17 performs encoding by frame encoding. Is output to the motion
このようにして、フィールド/フレーム符号化決定部10は、動きベクトルの検出処理を行わずに、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定できるようになることから、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、その決定を行うことができるようになる。 In this way, the field / frame coding determination unit 10 can determine whether to perform field coding or frame coding without performing motion vector detection processing. Therefore, the determination can be performed with a small amount of calculation and without being affected by the detection accuracy of the motion vector or the like.
図3に、本発明を具備する動画像符号化装置1の他の実施形態例を図示する。ここで、図1に示すものと同じものについては同一の記号で示してある。
FIG. 3 shows another embodiment of the moving
この実施形態例に従う場合、本発明の動画像符号化装置1は、新たに画素群分割部18および分割画像記憶部19を備えるとともに、誤差情報算出部14、誤差情報記憶部15、フィールド/フレーム符号化判定部16および判定結果出力部17がそれに応じた処理を実行するという構成を採る。
In the case of following this embodiment, the moving
画素群分割部18は、原画像記憶部400から原画像データB_oを読み出して所定の画素単位で構成される画素群に分割して分割画像記憶部19に格納し、フィルタ画像記憶部13からフレームフィルタ画像データB_fr_fil を読み出してそれらの画素群に分割して分割画像記憶部19に格納し、フィルタ画像記憶部13からトップフィールドフィルタ画像データB_tfl _fil を読み出してそれらの画素群に分割して分割画像記憶部19に格納し、フィルタ画像記憶部13からボトムフィールドフィルタ画像データB_bfl _fil を読み出してそれらの画素群に分割して分割画像記憶部19に格納する。
The pixel group dividing unit 18 reads the original image data B_o from the original image storage unit 400, divides it into pixel groups configured in predetermined pixel units, stores them in the divided image storage unit 19, and receives the frame from the filter
これを受けて、誤差情報算出部14は、PSNRに従って、画素群分割部18の分割した分割画素群ごとに、フレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出して誤差情報記憶部15に格納し、トップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出して誤差情報記憶部15に格納し、ボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出して誤差情報記憶部15に格納する。 In response to this, the error information calculation unit 14 calculates error information P_fr between the frame filter image data B_fr_fil and the original image data B_o for each divided pixel group divided by the pixel group dividing unit 18 in accordance with PSNR, thereby obtaining error information. The error information P_tfl between the top field filter image data B_tfl_fil and the original image data B_o is calculated and stored in the error information storage unit 15, and the bottom field filter image data B_bfl_fil and the original image data B_o are stored in the storage unit 15. Error information P_bfl is calculated and stored in the error information storage unit 15.
そして、これを受けて、フィールド/フレーム符号化判定部16は、画素群分割部18の分割した分割画素群ごとに、誤差情報P_fr, P_tfl,P_bfl が、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断して、この条件式を満たす場合には、その分割画素群の画像をフィールド符号化で符号化を行うことを判定し、この条件式を満たさない場合には、その分割画素群の画像をフレーム符号化で符号化を行うことを判定する。
In response to this, the field / frame encoding determination unit 16 determines that the error information P_fr, P_tfl, P_bfl for each divided pixel group divided by the pixel group dividing unit 18 is:
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
If this condition is satisfied, it is determined that the image of the divided pixel group is to be encoded by field encoding. If this condition is not satisfied, Then, it is determined that the image of the divided pixel group is to be encoded by frame encoding.
そして、これを受けて、判定結果出力部17は、フィールド/フレーム符号化判定部16の判定結果を動きベクトル検出部100に出力する。
In response to this, the determination result output unit 17 outputs the determination result of the field / frame encoding determination unit 16 to the motion
図4に、図3のように構成されるフィールド/フレーム符号化決定部10の実行するフローチャートを図示する。 FIG. 4 shows a flowchart executed by the field / frame encoding determination unit 10 configured as shown in FIG.
次に、このフローチャートに従って、図3のように構成されるフィールド/フレーム符号化決定部10の実行する処理について詳細に説明する。 Next, processing executed by the field / frame coding determination unit 10 configured as shown in FIG. 3 will be described in detail according to this flowchart.
フィールド/フレーム符号化決定部10は、まず最初に、ステップS201で、原画像データB_oを入力すると、続いて、ステップS202で、その入力した原画像データB_oを、トップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割する。 The field / frame encoding determination unit 10 first inputs the original image data B_o in step S201, and then in step S202, the input original image data B_o is converted into the top field image data B_tfl and the bottom field. The image data is divided into B_bfl.
続いて、ステップS203で、原画像データB_oであるフレーム画像データB_frに対して、所定の帯域幅rでフィルタ処理を行うことでフレームフィルタ画像データB_fr_fil を生成する。 Subsequently, in step S203, frame filter image data B_fr_fil is generated by filtering the frame image data B_fr, which is the original image data B_o, with a predetermined bandwidth r.
続いて、ステップS204で、ステップS202の処理で得たトップフィールド画像データB_tfl に対して、前記の帯域幅rでフィルタ処理を行うことでトップフィールドフィルタ画像データB_tfl _fil を生成する。 Subsequently, in step S204, the top field filter image data B_tfl_fil is generated by filtering the top field image data B_tfl obtained in the process of step S202 with the bandwidth r.
続いて、ステップS205で、ステップS202の処理で得たボトムフィールド画像データB_bfl に対して、前記の帯域幅rでフィルタ処理を行うことでボトムフィールドフィルタ画像データB_bfl _fil を生成する。 Subsequently, in step S205, bottom field filter image data B_bfl_fil is generated by performing filter processing with the bandwidth r on the bottom field image data B_bfl obtained in step S202.
続いて、ステップS206で、原画像データB_oを所定の画素単位で構成される画素群に分割し、フレームフィルタ画像データB_fr_fil をそれらの画素群に分割し、トップフィールドフィルタ画像データB_tfl _fil をそれらの画素群に分割し、ボトムフィールドフィルタ画像データB_bfl _fil をそれらの画素群に分割する。 Subsequently, in step S206, the original image data B_o is divided into pixel groups configured in predetermined pixel units, the frame filter image data B_fr_fil is divided into those pixel groups, and the top field filter image data B_tfl_fil is converted into those pixel groups. Dividing into pixel groups, the bottom field filter image data B_bfl_fil is divided into these pixel groups.
続いて、ステップS207で、未処理の分割画素群があるのか否かを判断して、未処理の分割画素群があることを判断する場合には、ステップS208に進んで、未処理の分割画素群を1つ選択する。 Subsequently, in step S207, it is determined whether or not there is an unprocessed divided pixel group. If it is determined that there is an unprocessed divided pixel group, the process proceeds to step S208, and an unprocessed divided pixel group is obtained. Select one group.
続いて、ステップS209で、PSNRに従って、選択した分割画素群について、ステップS203の処理で生成したフレームフィルタ画像データB_fr_fil と原画像データB_oとの誤差情報P_frを算出し、ステップS204の処理で生成したトップフィールドフィルタ画像データB_tfl _fil と原画像データB_oとの誤差情報P_tfl を算出し、ステップS205の処理で生成したボトムフィールドフィルタ画像データB_bfl _fil と原画像データB_oとの誤差情報P_bfl を算出する。 Subsequently, in step S209, the error information P_fr between the frame filter image data B_fr_fil generated in the process of step S203 and the original image data B_o is calculated for the selected divided pixel group according to the PSNR, and generated in the process of step S204. Error information P_tfl between the top field filter image data B_tfl_fil and the original image data B_o is calculated, and error information P_bfl between the bottom field filter image data B_bfl_fil and the original image data B_o generated in step S205 is calculated.
続いて、ステップS210で、選択した分割画素群について、
(P_tfl +P_bfl )/2>P_fr+a ・・・・・ 数式(1)
という条件を満たすのか否かを判断することで、画像の動きが大きいのか否かを判断する。
Subsequently, in step S210, for the selected divided pixel group,
(P_tfl + P_bfl) / 2> P_fr + a Equation (1)
It is determined whether or not the motion of the image is large.
この判断処理に従って、数式(1)が成立することを判断する場合には、画像の動きが大きいことを判断して、ステップS211に進んで、選択した分割画素群の画像をフィールド符号化で符号化することを決定して、ステップS207の処理に戻る。 When it is determined that the mathematical expression (1) is established according to this determination processing, it is determined that the motion of the image is large, the process proceeds to step S211, and the image of the selected divided pixel group is encoded by field encoding. To return to step S207.
一方、この判断処理に従って、数式(1)が成立しないことを判断する場合には、画像の動きが小さいことを判断して、ステップS212に進んで、選択した分割画素群の画像をフレーム符号化で符号化することを決定して、ステップS207の処理に戻る。 On the other hand, if it is determined in accordance with this determination processing that Equation (1) does not hold, it is determined that the motion of the image is small, and the process proceeds to step S212 to frame-code the image of the selected divided pixel group. And the process returns to step S207.
このようにしてステップS207〜ステップS212の処理を繰り返していくことで、ステップS207で、全ての分割画素群を選択したことを判断するときには、ステップS213に進んで、各分割画素群の画像についてどちらの符号化を用いるのかを通知しつつ、動きベクトル検出処理および符号化処理に制御を渡して、処理を終了する。 When it is determined in step S207 that all the divided pixel groups have been selected by repeating the processing of step S207 to step S212 in this way, the process proceeds to step S213, and which of the images of each divided pixel group is selected. Control is passed to the motion vector detection process and the encoding process while notifying whether or not encoding is to be used, and the process is terminated.
次に、図3のように構成されるフィールド/フレーム符号化決定部10の実行する処理について具体例を用いて説明する。 Next, processing executed by the field / frame encoding determination unit 10 configured as shown in FIG. 3 will be described using a specific example.
原画像データの画像サイズを1920×1080とし、フィルタの帯域幅をr=0.5(水平垂直方向に対して周波数成分を半分にカットするローパスフィルタ)とし、定数aをa=2とし、分割画素群は矩形ブロックとしてそのサイズを16×16とする。 The image size of the original image data is 1920 × 1080, the filter bandwidth is r = 0.5 (a low-pass filter that cuts frequency components in half in the horizontal and vertical directions), the constant a is a = 2, and the division is performed. The pixel group is a rectangular block with a size of 16 × 16.
まず、フィールド分割部11において、原画像データをトップフィールド画像データB_tfl とボトムフィールド画像データB_bfl とに分割し、フィールドピクチャ(1920×540)を生成する。これらをフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、トップフィールドフィルタ画像データB_tfl _fil とボトムフィールドフィルタ画像データB_bfl _fil とを生成する。 First, the field dividing unit 11 divides the original image data into top field image data B_tfl and bottom field image data B_bfl to generate a field picture (1920 × 540). These are input to the filter processing unit 12 and subjected to filter processing with a bandwidth of 0.5 to generate top field filter image data B_tfl_fil and bottom field filter image data B_bfl_fil.
一方、原画像データをフレームピクチャとする場合、そのままフィルタ処理部12へ入力し、0.5の帯域幅でフィルタ処理を行い、フレームフィルタ画像データB_fr_fil を生成する。 On the other hand, when the original image data is used as a frame picture, it is directly input to the filter processing unit 12 and is subjected to filter processing with a bandwidth of 0.5 to generate frame filter image data B_fr_fil.
続いて、画素群分割部18において、原画像データB_oとフレームフィルタ画像データB_fr_fil とを16×16サイズのブロック単位に分割するとともに、トップフィールドフィルタ画像データB_tfl _fil とボトムフィールドフィルタ画像データB_bfl _fil とを16×8サイズのブロック単位に分割する。 Subsequently, the pixel group dividing unit 18 divides the original image data B_o and the frame filter image data B_fr_fil into 16 × 16 block units, and the top field filter image data B_tfl_fil and the bottom field filter image data B_bfl_fil and Is divided into 16 × 8 block units.
続いて、誤差情報算出部14において、各ブロック単位フィルタ画像データの原画像データに対するPSNRを測定し、これにより、例えば、P_fr=20〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得る。 Subsequently, the error information calculation unit 14 measures the PSNR with respect to the original image data of each block unit filter image data, and, for example, P_fr = 20 [dB], P_tfl = 26 [dB], P_bfl = 24 [dB]. ] Is obtained.
続いて、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立するのか否かを判断する。これらのPSNRの値の場合には、数式(1)が成立するので、フィールド/フレーム符号化判定部16はフィールド符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フィールド符号化で符号化を行うことを動きベクトル検出部100に出力する。
Subsequently, the field / frame encoding determination unit 16 determines whether or not Expression (1) is established according to these PSNR values. In the case of these PSNR values, since Equation (1) is established, the field / frame encoding determination unit 16 determines to perform encoding by field encoding, and in response to this, a determination result output unit 17 outputs to the motion
一方、誤差情報算出部14において、例えば、P_fr=30〔dB〕、P_tfl =26〔dB〕、P_bfl =24〔dB〕を得た場合には、フィールド/フレーム符号化判定部16において、これらのPSNRの値に従って数式(1)が成立しないことを判断して、フレーム符号化で符号化を行うことを判定し、これを受けて、判定結果出力部17は、フレーム符号化で符号化を行うことを動きベクトル検出部100に出力する。
On the other hand, when the error information calculation unit 14 obtains, for example, P_fr = 30 [dB], P_tfl = 26 [dB], and P_bfl = 24 [dB], the field / frame encoding determination unit 16 In accordance with the PSNR value, it is determined that Equation (1) does not hold, and it is determined that encoding is performed by frame encoding. In response to this, the determination result output unit 17 performs encoding by frame encoding. Is output to the motion
このようにして、フィールド/フレーム符号化決定部10は、動きベクトルの検出処理を行わずに、分割画素群に、フィールド符号化で符号化を行うのかフレーム符号化で符号化を行うのかを決定できるようになることから、少ない演算量で、かつ、動きベクトルなどの検出精度の影響を受けることなく、その決定を行うことができるようになる。 In this way, the field / frame encoding determination unit 10 determines whether to perform the encoding by the field encoding or the frame encoding on the divided pixel group without performing the motion vector detection process. Therefore, the determination can be performed with a small amount of calculation and without being affected by the detection accuracy of the motion vector or the like.
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。 Although the present invention has been described according to the illustrated embodiment, the present invention is not limited to this.
例えば、実施形態例では、数式(1)の左辺において、トップフィールドフィルタ画像データとボトムフィールドフィルタ画像データの平均誤差情報値を用いているが、フィールド間での相関が高いことから、どちらか一方の誤差情報値を用いても同様の効果を奏することができる。 For example, in the embodiment, the average error information value of the top field filter image data and the bottom field filter image data is used on the left side of Equation (1). Even if the error information value is used, the same effect can be obtained.
また、定数aの値については、誤差情報の種類(PSNR,二乗平均誤差など)により異なる値となるが、各誤差情報値に対応させた値を用いることで、同様の効果を奏することができる。 The value of the constant a varies depending on the type of error information (PSNR, mean square error, etc.), but the same effect can be achieved by using a value corresponding to each error information value. .
また、帯域幅rについては0<r<1の値をとることができ、その値によってフィルタ特性が異なり、定数aもそれに応じて異なるものとなるが、同様の効果を奏することができる。 Further, the bandwidth r can take a value of 0 <r <1, and the filter characteristic varies depending on the value, and the constant a varies accordingly, but the same effect can be obtained.
本発明は、インターレース映像の動画像符号化を実行するときに適用できるものであり、ピクチャの持つ周波数特性に基づいて、動画像符号化におけるフィールド/フレーム符号化を適応的に切り替えることができるようになることから、少ない処理演算量で、かつ高精度に、その切り替えを実行することができるようになる。 The present invention can be applied when performing moving image coding of interlaced video, and can adaptively switch field / frame coding in moving image coding based on the frequency characteristics of a picture. Therefore, the switching can be executed with a small amount of processing calculation and with high accuracy.
しかも、フィルタ処理部12におけるフィルタ処理をノイズ除去や符号化効率の改善を目的としたプレフィルタ処理とすることにより、プレフィルタ処理とフィールド/フレーム判定処理とを一括して行うことができるようになることから、演算量を増やすことなく本発明による高機能化を実現することができるようになる。 In addition, the prefiltering process and the field / frame determination process can be performed collectively by performing the filtering process in the filter processing unit 12 as a prefiltering process for the purpose of removing noise and improving the encoding efficiency. Therefore, it is possible to realize high functionality according to the present invention without increasing the amount of calculation.
1 動画像符号化装置
10 フィールド/フレーム符号化決定部
11 フィールド分割部
12 フィルタ処理部
13 フィルタ画像記憶部
14 誤差情報算出部
15 誤差情報記憶部
16 フィールド/フレーム符号化判定部
17 判定結果出力部
100 動きベクトル検出部
200 符号化部
400 原画像記憶部
DESCRIPTION OF
Claims (8)
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する段階と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する段階と、
前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する段階と、
前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する段階と、
前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する段階とを備えることを、
特徴とする動画像符号化方法。 A moving image coding method for adaptively selecting frame coding and field coding for interlaced video, and performing coding,
Generating a frame filter image by performing a filtering process on a frame basis with a predetermined bandwidth on the input image;
Generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Calculating first error information between the frame filter image and the input image;
Calculating second error information between the field filter image and the input image;
Based on the magnitude relationship between the two calculated error information , when the first error information is larger, it is determined that encoding is performed by frame coding, and when the second error information is larger. , further comprising a step of determining to perform coding in field coding,
A moving image encoding method as a feature.
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する段階と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する段階と、
入力画像を所定の画素単位で構成される画素群に分割する段階と、
前記分割した分割画素群ごとに、前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する段階と、
前記分割した分割画素群ごとに、前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する段階と、
前記分割した分割画素群ごとに、前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する段階とを備えることを、
特徴とする動画像符号化方法。 A moving image coding method for adaptively selecting frame coding and field coding for interlaced video, and performing coding,
Generating a frame filter image by performing a filtering process on a frame basis with a predetermined bandwidth on the input image;
Generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Dividing the input image into pixel groups configured in predetermined pixel units;
Calculating first error information between the frame filter image and the input image for each of the divided divided pixel groups;
Calculating second error information between the field filter image and the input image for each of the divided divided pixel groups;
For each of the divided pixel groups, based on the magnitude relationship between the two calculated error information, when the first error information is larger, it is determined that encoding is performed by frame encoding, If more of the second error information is larger, that comprises the steps of: determining to perform coding in field coding,
A moving image encoding method as a feature.
前記第2の誤差情報は、トップフィールドフィルタ画像もしくはボトムフィールドフィルタ画像のいずれか一方と入力画像との誤差情報、または、トップフィールドフィルタ画像と入力画像との誤差情報と、ボトムフィールドフィルタ画像と入力画像との誤差情報の平均値であることを、
特徴とする動画像符号化方法。 In the moving image encoding method according to claim 1 or 2,
The second error information includes error information between one of the top field filter image and the bottom field filter image and the input image, or error information between the top field filter image and the input image, and the bottom field filter image and the input. It is the average value of error information with the image,
A moving image encoding method as a feature.
前記決定する段階では、前記算出した2つの誤差情報の値のいずれか一方を予め設定した定数値で補正して、その補正した誤差情報の値を前記大小関係の比較に用いることを、
特徴とする動画像符号化方法。 In the moving image encoding method according to claim 1, 2 or 3 ,
In the determining step, one of the two calculated error information values is corrected with a preset constant value, and the corrected error information value is used for the magnitude relation comparison .
A moving image encoding method as a feature.
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する手段と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する手段と、
前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する手段と、
前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する手段と、
前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する手段とを備えることを、
特徴とする動画像符号化装置。 A video encoding apparatus that performs encoding by adaptively selecting frame encoding and field encoding for interlaced video,
Means for generating a frame filter image by performing a filtering process in units of frames with a predetermined bandwidth on the input image;
Means for generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Means for calculating first error information between the frame filter image and the input image;
Means for calculating second error information between the field filter image and the input image;
Based on the magnitude relationship between the two calculated error information , when the first error information is larger, it is determined that encoding is performed by frame coding, and when the second error information is larger. , further comprising a means for determining to perform coding in field coding,
A moving image encoding device.
入力画像に対して所定の帯域幅によりフレーム単位でフィルタ処理を行うことで、フレームフィルタ画像を生成する手段と、
入力画像に対して前記帯域幅によりフィールド単位でフィルタ処理を行うことで、フィールドフィルタ画像を生成する手段と、
入力画像を所定の画素単位で構成される画素群に分割する手段と、
前記分割した分割画素群ごとに、前記フレームフィルタ画像と入力画像との第1の誤差情報を算出する手段と、
前記分割した分割画素群ごとに、前記フィールドフィルタ画像と入力画像との第2の誤差情報を算出する手段と、
前記分割した分割画素群ごとに、前記算出した2つの誤差情報に基づいて、フレーム符号化で符号化を実行するのかフィールド符号化で符号化を実行するのかを決定する手段とを備えることを、
前記分割した分割画素群ごとに、前記算出した2つの誤差情報の大小関係に基づいて、前記第1の誤差情報のほうが大きい場合に、フレーム符号化で符号化を実行すると決定し、前記第2の誤差情報のほうが大きい場合に、フィールド符号化で符号化を実行すると決定する手段とを備えることを、
特徴とする動画像符号化装置。 A video encoding apparatus that performs encoding by adaptively selecting frame encoding and field encoding for interlaced video,
Means for generating a frame filter image by performing a filtering process in units of frames with a predetermined bandwidth on the input image;
Means for generating a field filter image by performing filtering on the input image in units of fields according to the bandwidth;
Means for dividing the input image into pixel groups configured in predetermined pixel units;
Means for calculating first error information between the frame filter image and the input image for each divided pixel group;
Means for calculating second error information between the field filter image and the input image for each of the divided divided pixel groups;
Means for determining whether to perform encoding by frame encoding or encoding by field encoding based on the calculated two pieces of error information for each divided pixel group,
For each of the divided pixel groups, based on the magnitude relationship between the two calculated error information, when the first error information is larger, it is determined that encoding is performed by frame encoding, If more of the second error information is larger, further comprising a means for determining to perform coding in field coding,
A moving image encoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007127626A JP4695115B2 (en) | 2007-05-14 | 2007-05-14 | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007127626A JP4695115B2 (en) | 2007-05-14 | 2007-05-14 | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008283595A JP2008283595A (en) | 2008-11-20 |
JP4695115B2 true JP4695115B2 (en) | 2011-06-08 |
Family
ID=40144016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007127626A Expired - Fee Related JP4695115B2 (en) | 2007-05-14 | 2007-05-14 | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4695115B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011066592A (en) * | 2009-09-16 | 2011-03-31 | Nippon Telegr & Teleph Corp <Ntt> | Coding mode selecting method, coding mode selecting device and coding mode selecting program |
JP5759269B2 (en) | 2011-06-01 | 2015-08-05 | 株式会社日立国際電気 | Video encoding device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1790171B1 (en) * | 2004-09-16 | 2018-03-28 | Thomson Licensing DTV | Method and apparatus for rapid video frame and field coding |
-
2007
- 2007-05-14 JP JP2007127626A patent/JP4695115B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008283595A (en) | 2008-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9699459B2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
JP4901772B2 (en) | Moving picture coding method and moving picture coding apparatus | |
US8189667B2 (en) | Moving picture encoding apparatus | |
JP5717465B2 (en) | Moving picture coding apparatus and moving picture coding method | |
KR100846774B1 (en) | Filtering method and apparatus for removing blocking effect | |
WO2010067529A1 (en) | Moving picture decoding method and device, and moving picture encoding method and device | |
JP5613319B2 (en) | Video encoding apparatus, video encoding method, and video encoding program | |
US20140233645A1 (en) | Moving image encoding apparatus, method of controlling the same, and program | |
CN115834882A (en) | Intra-frame prediction method and device, electronic equipment and storage medium | |
CN111886860B (en) | Image decoding device, image encoding device, image processing system, image decoding method and program | |
JPWO2006100946A1 (en) | Image signal re-encoding device and image signal re-encoding method | |
JP4257789B2 (en) | Video encoding device | |
JP4695115B2 (en) | Moving picture coding method, moving picture coding apparatus, moving picture coding program, and computer-readable recording medium recording the program | |
JP4130617B2 (en) | Moving picture coding method and moving picture coding apparatus | |
JP5639444B2 (en) | Motion vector generation apparatus, motion vector generation method, and computer program | |
JP4452733B2 (en) | Motion evaluation apparatus, method and program for moving picture coding, and recording medium therefor | |
JP2005348008A (en) | Moving picture coding method, moving picture coder, moving picture coding program and computer-readable recording medium with record of the program | |
JP5832263B2 (en) | Image coding apparatus and image coding method | |
JP5913929B2 (en) | Moving picture coding apparatus, control method therefor, and computer program | |
JP2009049969A (en) | Device and method of coding moving image and device and method of decoding moving image | |
JP2008311824A (en) | Image encoding device, and image encoding program | |
JP5509048B2 (en) | Intra prediction apparatus, encoder, decoder, and program | |
JP2006191287A (en) | Image coding device, image coding method and image coding program | |
JP2011066592A (en) | Coding mode selecting method, coding mode selecting device and coding mode selecting program | |
CN118573902A (en) | Image filtering processing method, system, device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4695115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |