[go: up one dir, main page]

JPH11289540A - Image coder and its method - Google Patents

Image coder and its method

Info

Publication number
JPH11289540A
JPH11289540A JP10543098A JP10543098A JPH11289540A JP H11289540 A JPH11289540 A JP H11289540A JP 10543098 A JP10543098 A JP 10543098A JP 10543098 A JP10543098 A JP 10543098A JP H11289540 A JPH11289540 A JP H11289540A
Authority
JP
Japan
Prior art keywords
image
search
motion
frame
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10543098A
Other languages
Japanese (ja)
Other versions
JP4003149B2 (en
Inventor
Hidefumi Ogura
英史 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP10543098A priority Critical patent/JP4003149B2/en
Publication of JPH11289540A publication Critical patent/JPH11289540A/en
Application granted granted Critical
Publication of JP4003149B2 publication Critical patent/JP4003149B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide the image coder and its method where remarkably deterioration in image quality is avoided even when the motion of an image is conspicuous. SOLUTION: In the image coder 20 and its method where motion in 2-way is detected by comparing a received past retrieval object image with a current image and a future retrieval object image with the current image in the unit of prescribed data at a retrieval address AR set respectively to them and an input image D10 is compression-coded based on a motion vector detected by the motion detection, the retrieval object image and the retrieved address AR are set optionally depending on a motion of the input image D10 to surely detect a one-way motion at least in the case that the motion of the image is conspicuous and the image quality of the coded image is enhanced.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【目次】以下の順序で本発明を説明する。[Table of Contents] The present invention will be described in the following order.

【0002】 発明の属する技術分野 従来の技術(図12〜図14) 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態(図1〜図11) 発明の効果[0002] 2. Description of the Related Art [0004] Prior Art (FIGS. 12 to 14) Problems to be Solved by the Invention Means for Solving the Problems Embodiments of the Invention (FIGS.

【0003】[0003]

【発明の属する技術分野】本発明は画像符号化装置及び
その方法に関し、入力画像の動きベクトルを検出し当該
動きベクトルに基づいて入力画像を符号化する画像符号
化装置及びその方法に適用して好適なものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image coding apparatus and method, and more particularly to an image coding apparatus and method for detecting a motion vector of an input image and coding the input image based on the motion vector. It is suitable.

【0004】[0004]

【従来の技術】従来、例えばMPEG(Moving Picture
Experts Group)規格に基づいて動画像を符号化する画像
符号化装置においては、例えば15フレームの動画像デ
ータをGOP(Group Of Pictures) と呼ばれる1つの処
理単位として符号化するようになされている。
2. Description of the Related Art Conventionally, for example, MPEG (Moving Picture)
2. Description of the Related Art In an image encoding apparatus that encodes a moving image based on the Experts Group) standard, for example, 15 frames of moving image data are encoded as one processing unit called a GOP (Group Of Pictures).

【0005】1つのGOPには、Iピクチヤ(Intra-Pic
ture:フレーム内符号化画像)、Pピクチヤ(Predictiv
e-Picture:フレーム間順方向予測符号化画像)、Bピク
チヤ(Bidirectionally Predictive-Picture:双方向予測
符号化画像)と呼ばれるフレーム単位の符号化タイプが
ある。
[0005] One GOP includes an I-Picture (Intra-Pic
ture: intra-frame coded image), P-picture (Predictiv
There are coding types in frame units called e-Picture: inter-frame forward predictive coded image) and B picture (Bidirectionally Predictive-Picture: bidirectional predictive coded image).

【0006】Iピクチヤは、GOPの独立性を保つため
のものであり、その画面全体が符号化されるものであ
る。
[0006] The I picture is for maintaining the independence of the GOP, and the entire picture is encoded.

【0007】Pピクチヤは、符号化しようとする現在の
フレーム(基準フレーム)内を例えば16×16画素の
マクロブロツク単位で分割し、当該分割されてなる各マ
クロブロツクを基準ブロツクする。そして、過去のIピ
クチヤ又はPピクチヤを検索フレームとして当該検索フ
レーム内の所定のサーチ範囲内を検索し、マクロブロツ
ク単位で基準ブロツクとのブロツクマツチングを行う。
この結果、最もマツチングするブロツクの距離を動きベ
クトルとして検出し、検索フレームとの差分データを符
号化する際に当該動きベクトルを用いて動き補償を行う
と共に、これを復号装置側に伝送し復号時の動き補償に
用いる。因みに、ブロツクマツチングの方法としては、
基準ブロツク及び検索ブロツク内のすべての画素同士の
引き算を行い、その絶対値和又は二乗和を求め、その演
算結果が最小の位置をマツチングしたブロツクとする方
法(フルサーチブロツクマツチング法)が用いられてい
る。
[0007] The P picture divides the current frame (reference frame) to be coded into macroblocks of, for example, 16 × 16 pixels, and uses each of the divided macroblocks as a reference block. Then, a past I-picture or P-picture is used as a search frame to search within a predetermined search range within the search frame, and block matching with the reference block is performed in macro block units.
As a result, the distance of the block that matches the most is detected as a motion vector, and motion compensation is performed using the motion vector when encoding difference data from the search frame. Used for motion compensation. By the way, as a method of block matching,
A method is used in which all pixels in the reference block and the search block are subtracted, the sum of absolute values or the sum of squares is calculated, and the position where the calculation result is the minimum is matched to the block (full search block matching method). Have been.

【0008】また、Bピクチヤは、符号化しようとする
現在のフレーム(基準フレーム)の各マクロブロツクを
基準ブロツクとして、過去及び未来の双方向のIピクチ
ヤ及びPピクチヤを検索する。そして当該検索フレーム
内の所定のサーチ範囲内においてマクロブロツク単位で
基準ブロツクとのブロツクマツチングを行う。この結
果、最もマツチングするブロツクの距離を動きベクトル
として検出し、検索フレームとの差分データを符号化す
る際に当該動きベクトルを用いて動き補償を行うと共
に、これを復号装置側に伝送し復号時の動き補償に用い
る。
[0008] The B-picture searches for past and future bidirectional I-pictures and P-pictures using each macroblock of the current frame (reference frame) to be encoded as a reference block. Then, block matching with the reference block is performed in macroblock units within a predetermined search range in the search frame. As a result, the distance of the block that matches the most is detected as a motion vector, and motion compensation is performed using the motion vector when encoding difference data from the search frame. Used for motion compensation.

【0009】ここで図12に示すように、双方向予測を
行う際には、始めにPピクチヤ(P6)を基準フレーム
とし、当該基準フレーム(P6)から3フレーム離れた
Iピクチヤ(I3)を検索フレームとして前方向のみの
動きベクトル検出を行う。次に、Bピクチヤ(B4)を
基準フレームとしてIピクチヤ(I3)を検索フレーム
とした前方向の動きベクトル検出とPピクチヤ(P6)
を検索フレームとした後方向の動きベクトル検出とから
なる双方向予測を行う。そして次に、Bピクチヤ(B
5)を基準フレームとしてIピクチヤ(I3)を検索フ
レームとした前方向の動きベクトル検出とPピクチヤ
(P6)を検索フレームとした後方向の動きベクトル検
出とからなる双方向予測を行う。
As shown in FIG. 12, when performing bidirectional prediction, first, a P-picture (P6) is used as a reference frame, and an I-picture (I3) three frames away from the reference frame (P6) is used. A motion vector is detected only in the forward direction as a search frame. Next, a forward motion vector detection and a P-picture (P6) using the B-picture (B4) as a reference frame and the I-picture (I3) as a search frame.
Is performed as a search frame, and a backward motion vector is detected. And then, B picture (B
Using the reference frame 5) as a reference frame, bidirectional prediction is performed, which includes forward motion vector detection using an I-picture (I3) as a search frame and backward motion vector detection using a P-picture (P6) as a search frame.

【0010】かかる双方向予測符号化における動きベク
トルの検出順序を図13に示す。図13において、入力
画像B1、B2、I3、B4、……はそれぞれピクチヤ
タイプ(Iピクチヤ、Bピクチヤ、Pピクチヤ)をアル
フアベツト(I、B、P)で表すと共にエンコードされ
る順序をフレーム番号で表している。
FIG. 13 shows a motion vector detection order in such bidirectional predictive coding. In FIG. 13, input images B1, B2, I3, B4,... Each represent a picture type (I picture, B picture, P picture) by alphabet (I, B, P) and an encoding order by a frame number. ing.

【0011】図13においては、双方向予測を行うBピ
クチヤを2枚使用した場合を示し、図中「○」印が付さ
れたフレームは、現在符号化されるフレームを示してい
る。また図中の矢印の始点は基準フレームを示し、当該
矢印の指すフレームは検索フレームを示している。因み
に図13において縦軸は時刻をフレーム単位で表してい
る。
FIG. 13 shows a case where two B-pictures for performing bidirectional prediction are used, and a frame marked with “○” in the figure indicates a frame to be currently encoded. The starting point of the arrow in the figure indicates a reference frame, and the frame indicated by the arrow indicates a search frame. Incidentally, the vertical axis in FIG. 13 represents the time in frame units.

【0012】この図13において、例えば時刻「3」に
おいて、現フレーム(B4)を基準のマクロブロツクと
して前方向予測の検索フレーム(I3)及び後方向予測
の検索フレーム(P6)への双方向予測を行い、2つの
動きベクトルを求めている。
In FIG. 13, for example, at time "3", bidirectional prediction is performed on a search frame (I3) for forward prediction and a search frame (P6) for backward prediction using the current frame (B4) as a reference macroblock. To obtain two motion vectors.

【0013】[0013]

【発明が解決しようとする課題】ところで、動きベクト
ルの検出を過去及び未来の双方向で行う場合、シーンチ
エンジ点が途中に存在すると双方向の動き検出のうち一
方の検出が困難になる場合があつた。また例えば図12
に示したように、2枚のBピクチヤを用いて符号化を行
う場合には、一方の動きベクトル検出が1フレーム間で
行われ、他方の動きベクトル検出が2フレーム間で行わ
れることになる。この場合、画像の動きが大きいと、2
フレーム間での動きベクトル検出において検索範囲が不
足したり、さらに画像の動きが大きくなると双方向での
動きベクトル検出が困難になる問題があつた。
When a motion vector is detected in both past and future directions, it may be difficult to detect one of the two-way motion detection if a scene change point exists in the middle. Atsuta. For example, FIG.
As shown in (2), when encoding is performed using two B pictures, one motion vector is detected in one frame and the other motion vector is detected in two frames. . In this case, if the motion of the image is large, 2
When the search range is insufficient in detecting the motion vector between frames, and when the motion of the image is further increased, it is difficult to detect the motion vector in both directions.

【0014】すなわち、図14に示すように、±A画素
の検索範囲AR1、AR2を有する動き検出回路が前方
向予測及び後方向予測用にそれぞれ2つある場合におい
て、例えばビデオカメラが高速でパン(移動)しており
実際の動きが1フレーム間でB画素分(B>A)あると
すると、例えばBピクチヤを基準フレームとした1フレ
ーム間の前方向予測においては、図14(A)に示すよ
うにブロツクマツチングすべきブロツクが検索範囲AR
1の外に外れることになり、正確な動きベクトルの検出
が困難になる。この場合、図14(B)に示すように、
2フレーム間の後方向予測においては当然のごとくブロ
ツクマツチングすべきブロツクは基準位置から2B画素
分移動することにより検索範囲AR2の外に外れ、正確
な動きベクトル検出は困難になる。
That is, as shown in FIG. 14, when there are two motion detection circuits each having a search range AR1 and AR2 of ± A pixels for forward prediction and backward prediction, for example, the video camera is panned at high speed. Assuming that (moving) and the actual motion is equivalent to B pixels (B> A) between one frame, for example, in forward prediction between one frame using B picture as a reference frame, FIG. As shown, the block to be matched is the search range AR.
Therefore, it is difficult to accurately detect a motion vector. In this case, as shown in FIG.
As a matter of course, in backward prediction between two frames, the block to be block-matched moves out of the search range AR2 by moving by 2B pixels from the reference position, and it becomes difficult to detect a motion vector accurately.

【0015】かかる問題点を解決するための一つの方法
として、図14(C)に示すように、探索範囲AR3を
広げる方法か考えられるが、この場合においても画像の
動きが大きいと動きベクトルの検出が困難になることを
避け得ず、符号化画像の画質劣化を招く問題があつた。
As a method for solving such a problem, as shown in FIG. 14C, a method of expanding the search range AR3 can be considered. There is a problem that it is inevitable that the detection becomes difficult and the image quality of the encoded image is deteriorated.

【0016】本発明は以上の点を考慮してなされたもの
で、画像の動きが大きい場合においても画質の大幅な劣
化を回避し得る画像符号化装置及びその方法を提案しよ
うとするものである。
The present invention has been made in view of the above points, and it is an object of the present invention to propose an image coding apparatus and a method thereof capable of avoiding a significant deterioration of the image quality even when the motion of the image is large. .

【0017】[0017]

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力された過去の検索対象画像及
び未来の検索対象画像に対してそれぞれ設定された所定
範囲の検索場所において所定データ単位で現画像との比
較を行うことにより双方向の動き検出を行い、当該動き
検出によつて検出された動きベクトルに基づいて入力画
像を圧縮符号化する画像符号化装置及び方法において、
入力画像の動きに応じて検索対象画像及び検索場所を任
意に設定することにより、画像の動きが大きい場合にお
いても少なくとも片方向の動き検出を確実に行うことが
でき、この分符号化画像の画質を向上し得る。
According to the present invention, in order to solve the above-mentioned problems, a predetermined data unit is set at a predetermined range of search locations set for an input past search target image and a future search target image. In the image coding apparatus and method for performing bidirectional motion detection by comparing the current image with the current image and compression-coding the input image based on the motion vector detected by the motion detection,
By arbitrarily setting the search target image and the search location according to the motion of the input image, even when the motion of the image is large, motion detection in at least one direction can be reliably performed. Can be improved.

【0018】[0018]

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below in detail with reference to the drawings.

【0019】図1において20は全体として画像符号化
装置を示し、入力画像データD10を動きベクトル検出
部21及び演算部24に受ける。動きベクトル検出部2
1は、内部に設けられたフレームメモリに格納された2
つのフレーム(ピクチヤ)間の動きベクトル情報D21
を検出し、これを動き補償部31に供給する。
In FIG. 1, reference numeral 20 denotes an image encoding apparatus as a whole, which receives input image data D10 to a motion vector detecting section 21 and an arithmetic section 24. Motion vector detector 2
1 is 2 stored in a frame memory provided therein.
Vector information D21 between two frames (pictures)
Is supplied to the motion compensation unit 31.

【0020】動き補償部31はこのときフレームメモリ
30に格納されている参照画像に対して動きベクトル情
報D21を用いた動き補償処理を施すことにより予測画
像データD31を生成し、これを演算部24に供給す
る。
At this time, the motion compensating unit 31 performs a motion compensation process using the motion vector information D21 on the reference image stored in the frame memory 30 to generate predicted image data D31. To supply.

【0021】演算部24は入力画像データD10と予測
画像データD31との差分を算出し、この差分データD
24をDCT(Discrete Cosine Transform) 部25に供
給する。DCT部25は差分データD24に対してDC
T(離散コサイン変換)処理を施すことにより、DCT
係数列D25を生成し、これを量子化部26に供給す
る。量子化部26は、DCT係数列D25を量子化する
ことにより量子化データD26を生成し、これを可変長
符号化部33及び逆量子化部27にそれぞれ供給する。
The arithmetic unit 24 calculates a difference between the input image data D10 and the predicted image data D31, and calculates the difference data D
24 is supplied to a DCT (Discrete Cosine Transform) unit 25. The DCT unit 25 applies a DC to the difference data D24.
By performing T (discrete cosine transform) processing, the DCT
A coefficient sequence D25 is generated and supplied to the quantization unit 26. The quantization unit 26 generates quantized data D26 by quantizing the DCT coefficient sequence D25, and supplies this to the variable-length coding unit 33 and the inverse quantization unit 27, respectively.

【0022】逆量子化部27は、量子化データD26を
逆量子化処理することによりDCT係数列D27を復元
する。DCT係数列D27は、さらに逆DCT部28に
供給され逆DCT処理が施される。かくして逆DCT部
28はピクチヤタイプに応じた差分データD28を復元
し、これを演算部29に出力する。
The inverse quantization unit 27 restores the DCT coefficient sequence D27 by performing an inverse quantization process on the quantized data D26. The DCT coefficient sequence D27 is further supplied to an inverse DCT unit 28 and subjected to inverse DCT processing. Thus, the inverse DCT unit 28 restores the difference data D28 corresponding to the picture type, and outputs this to the arithmetic unit 29.

【0023】演算部29は差分データD28に対して動
き補償部31から出力される予測画像データD31を加
算演算することにより、参照画像データD29を生成し
これをフレームメモリ30に格納する。
The arithmetic unit 29 generates reference image data D29 by adding the predicted image data D31 output from the motion compensating unit 31 to the difference data D28, and stores this in the frame memory 30.

【0024】かくしてDCT部25及び量子化部26を
介して量子化された差分データは、逆量子化部27及び
逆DCT部28によつて差分データD28として復元さ
れ、演算部29において予測画像データD31と加算さ
れることにより参照画像データD29となる。これによ
り続くフレーム(ピクチヤ)に対する参照画像がフレー
ムメモリ30に用意されることになる。
The difference data quantized through the DCT unit 25 and the quantization unit 26 is restored as the difference data D 28 by the inverse quantization unit 27 and the inverse DCT unit 28, and is predicted by the arithmetic unit 29. The addition to D31 results in reference image data D29. As a result, a reference image for a subsequent frame (picture) is prepared in the frame memory 30.

【0025】ここで動きベクトル検出部21は、図2に
示すように、入力画像データD10をフレームメモリ5
1に一旦格納し、制御判定部62から出力される読出し
制御信号D52に基づいて、符号化しようとする基準フ
レームの画像データを各マクロブロツク単位で読み出
し、これを基準ブロツクデータD53として2つの動き
検出部ME1及びME2に供給する。
Here, the motion vector detecting section 21 stores the input image data D10 in the frame memory 5 as shown in FIG.
1 based on the read control signal D52 output from the control determination unit 62, and reads out the image data of the reference frame to be coded in units of macroblocks. This is supplied to the detection units ME1 and ME2.

【0026】またフレームメモリ51は制御判定部62
から出力される読出し制御信号D52に基づいて検索フ
レームにおける所定の検索範囲の画像データを順次各マ
クロブロツク単位で読み出し、これを検索ブロツクデー
タD54として動き検出部ME1及びME2に供給す
る。
The frame memory 51 has a control judging unit 62
Based on a read control signal D52 output from the CPU, image data in a predetermined search range in a search frame is sequentially read out for each macroblock, and supplied to the motion detection units ME1 and ME2 as search block data D54.

【0027】この場合、制御判定部62は、双方向予測
において前方向予測に用いる検索フレームの検索ブロツ
クデータD54を一方の動き検出部ME1(又は動き検
出部ME2)に供給すると共に、後方向予測に用いる検
索フレームの検索ブロツクデータD54を他方の動き検
出部ME2(又は動き検出部ME1)に供給する。
In this case, the control determination section 62 supplies the search block data D54 of the search frame used for the forward prediction in the bidirectional prediction to one of the motion detecting sections ME1 (or ME2) and the backward predicting section. Is supplied to the other motion detection unit ME2 (or the motion detection unit ME1).

【0028】各動き検出部ME1及びME2は、基準ブ
ロツクデータD53及び検索ブロツクデータD54に基
づき、当該基準ブロツクと検索ブロツクとの距離を動き
ベクトルデータD56、D60としてそれぞれ制御判定
部62に供給すると共に、基準ブロツク及び検索ブロツ
クの画像データの差分を残差データD57及びD61と
して制御判定部62に供給する。
Based on the reference block data D53 and the search block data D54, each of the motion detection sections ME1 and ME2 supplies the distance between the reference block and the search block to the control determination section 62 as motion vector data D56 and D60, respectively. The difference between the image data of the reference block and the image data of the search block is supplied to the control determination unit 62 as residual data D57 and D61.

【0029】制御判定部62は、動き検出部ME1から
供給される動きベクトルデータD56及び残差データD
57に基づき、所定の検索範囲内でのブロツクマツチン
グを行う。このブロツクマツチングにおいて、制御判定
部62は、基準ブロツクと検索ブロツクのすべての画素
同士の引き算を行つた結果の絶対値和又は二乗和が最小
となるブロツクを検索し、当該ブロツクマツチングの結
果得られた検索ブロツクと基準ブロツクとの動きベクト
ルを前方向予測(又は後方向予測)における動きベクト
ルとして動き補償モード等の制御情報と共に動き情報D
63として動き補償部31(図1)及び可変長符号化部
33(図1)に供給する。
The control judging section 62 calculates the motion vector data D56 and the residual data D supplied from the motion detecting section ME1.
Based on 57, block matching within a predetermined search range is performed. In this block matching, the control judging section 62 searches for a block in which the sum of absolute values or the sum of squares of the result of subtraction between all pixels of the reference block and the search block is the smallest, and the result of the block matching is obtained. The obtained motion vector between the search block and the reference block is used as a motion vector in forward prediction (or backward prediction) together with control information such as a motion compensation mode and motion information D.
As 63, it is supplied to the motion compensator 31 (FIG. 1) and the variable length encoder 33 (FIG. 1).

【0030】また、これと同様にして、制御判定部62
は、動き検出部ME2から供給される動きベクトルデー
タD60及び残差データD61に基づき、所定の検索範
囲内でのブロツクマツチングを行う。このブロツクマツ
チングにおいて、制御判定部62は、基準ブロツクと検
索ブロツクのすべての画素同士の引き算を行つた結果の
絶対値和又は二乗和が最小となるブロツクを検索し、当
該ブロツクマツチングの結果得られた検索ブロツクと基
準ブロツクとの動きベクトルを後方向予測(又は前方向
予測)における動きベクトルとして動き補償モード等の
制御情報と共に動き情報D63として動き補償部31
(図1)及び可変長符号化部33(図1)に供給する。
In the same manner, the control determination section 62
Performs block matching within a predetermined search range based on the motion vector data D60 and the residual data D61 supplied from the motion detection unit ME2. In this block matching, the control judging section 62 searches for a block in which the sum of absolute values or the sum of squares of the result of subtraction between all pixels of the reference block and the search block is the smallest, and the result of the block matching is obtained. The obtained motion vector between the search block and the reference block is used as a motion vector in backward prediction (or forward prediction) together with control information such as a motion compensation mode and the like as motion information D63 as motion information D63.
(FIG. 1) and the variable length coding unit 33 (FIG. 1).

【0031】ここで、制御判定部62は、双方向予測を
行う際の検索フレームと、当該検索フレームにおける検
索範囲を動きベクトル及び残差等の動き情報に基づいて
決定し、これにより決定された検索フレーム及び検索範
囲を読出し制御信号D52によつて指定し、決定された
検索フレーム及び検索範囲のマクロブロツクを読み出す
ようになされている。
Here, the control determination unit 62 determines a search frame for performing bidirectional prediction and a search range in the search frame based on motion information such as a motion vector and a residual, and is determined by this. A search frame and a search range are designated by a read control signal D52, and the macroblock of the determined search frame and search range is read.

【0032】すなわち、この実施の形態の動きベクトル
検出部21における基本的動き予測方法を図3に示す。
この図3において、入力画像B1、B2、I3、B4、
……はそれぞれピクチヤタイプ(Iピクチヤ、Bピクチ
ヤ、Pピクチヤ)をアルフアベツト(I、B、P)で表
すと共にエンコードされる順序をフレーム番号で表して
いる。この実施の形態の場合、双方向予測を行うBピク
チヤを2枚使用するようにされており、図中「○」印が
付されたフレームは、現在符号化されるフレームを示し
ている。また図中の矢印の始点は基準フレームを示し、
当該矢印の指すフレームは検索フレームを示している。
因みに図3において縦軸は時刻をフレーム単位で表して
いる。
That is, FIG. 3 shows a basic motion prediction method in the motion vector detecting section 21 of this embodiment.
In FIG. 3, input images B1, B2, I3, B4,
.. Represent the picture types (I-picture, B-picture, P-picture) by alphabet (I, B, P) and the encoding order by the frame number. In the case of this embodiment, two B pictures for performing bidirectional prediction are used, and a frame marked with “○” in the figure indicates a frame to be currently encoded. The starting point of the arrow in the figure indicates the reference frame,
The frame indicated by the arrow indicates a search frame.
Incidentally, in FIG. 3, the vertical axis represents time in units of frames.

【0033】この図3において、例えば時刻「3」にお
いて、現フレームであるBピクチヤ(B4)を基準フレ
ームとして双方向予測を行う場合、時刻「0」において
予めIピクチヤ(I3)を検索フレームとする前方向予
測を行つておき、時刻「3」においてはPピクチヤ(P
6)を検索フレームとする後予測を行うようになされて
いる。
In FIG. 3, for example, at time “3”, when bidirectional prediction is performed using the current frame B picture (B4) as a reference frame, at time “0”, I picture (I3) is set as a search frame in advance. Forward prediction is performed, and at time “3”, the P picture (P
Post prediction is performed using 6) as a search frame.

【0034】また例えば時刻「4」において現フレーム
であるBピクチヤ(B5)を基準フレームとして双方向
予測を行う場合、時刻「1」において予めIピクチヤ
(I3)を検索フレームとする前方向予測を行つてお
き、時刻「4」においてはPピクチヤ(P6)を検索フ
レームとする後予測を行うようになされている。
For example, when performing bidirectional prediction using the B picture (B5), which is the current frame, as a reference frame at time "4", forward prediction using I picture (I3) as a search frame in advance at time "1" is performed. At time "4", post-prediction is performed using P picture (P6) as a search frame.

【0035】このように、動きベクトル検出部21の制
御判定部62(図2)は、Bピクチヤを基準フレームと
した場合の双方向予測を行う際に、一方の予測を予め行
うようになされている。
As described above, the control determining unit 62 (FIG. 2) of the motion vector detecting unit 21 performs one of the predictions in advance when performing the bidirectional prediction using the B picture as the reference frame. I have.

【0036】因みに、図3において例えば時刻「2」の
Pピクチヤ(P6)を基準フレームとした場合のIピク
チヤ(I3)への検索において同じ時刻に矢印が1本だ
け示されている場合、動きベクトル検出部21の2つの
動き検出部ME1及びME2に対して検索フレーム(I
3)の別々の検索範囲を割り当てて検索を行う。
In FIG. 3, for example, when only one arrow is shown at the same time in the search for the I picture (I3) when the P picture (P6) at time "2" is used as the reference frame, The search frame (I) is sent to the two motion detectors ME1 and ME2 of the vector detector 21.
The search is performed by assigning different search ranges in 3).

【0037】かかる基本的動き予測方法において、制御
判定部62は予め行われる一方の予測(例えば図3の時
刻「0」における基準フレーム(B4)から検索フレー
ム(I3)への検索)において、検索範囲が足りるか否
かを判定する。
In such a basic motion prediction method, the control determination unit 62 performs a search in one of the predictions performed in advance (for example, a search from the reference frame (B4) to the search frame (I3) at time “0” in FIG. 3). It is determined whether the range is sufficient.

【0038】すなわち、動き検出部ME1及びME2
は、それぞれフレームメモリ51から供給される基準フ
レームの基準ブロツクデータD53及び検索フレームの
検索ブロツクデータD54をそれぞれフイールドごとに
読み出し、当該フイールドごとに動きベクトル及び残差
を求め、これを動きベクトルデータD56、D60及び
残差データD57、D61として制御判定部62に供給
する。
That is, the motion detectors ME1 and ME2
Reads the reference block data D53 of the reference frame and the search block data D54 of the search frame supplied from the frame memory 51 for each field, obtains a motion vector and a residual for each field, and obtains the motion vector data D56. , D60 and the residual data D57, D61 to the control determination unit 62.

【0039】制御判定部62は、複数のフイールド間隔
の動きベクトル検出の残差を比較して、Mフイールド間
の動きベクトル検出時の残差がNフイールド間の残差よ
りも小さい時(M<N)、検索範囲が不足していると判
定する。
The control judging section 62 compares the residuals of the motion vector detection at a plurality of field intervals, and determines that the residual at the time of detecting the motion vector between the M fields is smaller than the residual between the N fields (M < N), it is determined that the search range is insufficient.

【0040】すなわち、図3において時刻「0」におけ
る基準フレーム(B4)から検索フレーム(I3)への
動きベクトル検出を行う場合には、図4に示すように、
4種類のフイールド動きベクトルV1〜V4が存在し、
フイールド間隔は、1フイールド間隔、2フイールド間
隔及び3フイールド間隔の3種類が存在する。
That is, in FIG. 3, when a motion vector is detected from the reference frame (B4) at time “0” to the search frame (I3), as shown in FIG.
There are four types of field motion vectors V1 to V4,
There are three types of field intervals: one field interval, two field intervals, and three field intervals.

【0041】ここで1フイールド間の残差をMAE1と
し、2フイールド間の残差をMAE2とし、3フイール
ド間の残差をMAE3とし、動き補償を行うことが可能
であるか否の閾値をThとする。閾値Thは一定ではな
く画像ごとやマクロブロツクごとにより変化する場合が
ある。この閾値Thの例としては、動き補償せずにその
ままマクロブロツクデータを伝送した場合に予測される
情報量が考えられる。
Here, the residual between one field is MAE1, the residual between two fields is MAE2, the residual between three fields is MAE3, and the threshold value for determining whether or not motion compensation can be performed is Th. And The threshold value Th is not constant but may change depending on each image or each macroblock. As an example of the threshold Th, the amount of information predicted when macroblock data is transmitted without performing motion compensation can be considered.

【0042】そして、制御判定部62は、フイールド間
隔ごとに得られる3つの残差MAE1、MAE2及びM
AE3の値に応じて検索範囲が足りているか否かを判定
する。
Then, the control judgment section 62 calculates three residuals MAE1, MAE2, and M obtained at each field interval.
It is determined whether or not the search range is sufficient according to the value of AE3.

【0043】すなわち、残差MAE1、MAE2及びM
AE3の各値が、次式、
That is, the residuals MAE1, MAE2 and M
Each value of AE3 is represented by the following equation:

【0044】[0044]

【数1】 (Equation 1)

【0045】を満足するとき、制御判定部62は検索範
囲が十分に足りていると判定する。
When the above condition is satisfied, the control determination section 62 determines that the search range is sufficient.

【0046】従つて、この場合図5(A)及び(B)に
示すように、予め設定されている検索範囲にブロツクマ
ツチングした検索ブロツクが存在していることになり、
制御判定部62は、図3の時刻「0」及び「3」におい
て前方向予測及び後方向予測を行うことにより、各動き
ベクトルを検出する。
Accordingly, in this case, as shown in FIGS. 5A and 5B, a search block having a block matching exists in a preset search range.
The control determination unit 62 detects each motion vector by performing forward prediction and backward prediction at times “0” and “3” in FIG.

【0047】これに対して、次式、In contrast, the following equation:

【0048】[0048]

【数2】 (Equation 2)

【0049】で表される場合、又は次式、Or the following formula:

【0050】[0050]

【数3】 (Equation 3)

【0051】で表されるように、1フイールド間の残差
MAE1及び2フイールド間の残差MAE2が3フイー
ルド間の残差MAE3よりも小さい場合が圧倒的に多い
とき、これは1フイールド間及び2フイールド間の動き
検出においては、検索範囲が足りているのに対して3フ
イールド間の動き検出において検索範囲が不足している
と判定される。因みに(3)式においてTh2は1フイ
ールド間の残差MAE1の比率を表す閾値である。
When the residual MAE1 between one field and the residual MAE2 between two fields is much smaller than the residual MAE3 between three fields as shown by In the motion detection between the two fields, it is determined that the search range is insufficient, whereas in the motion detection between the three fields, the search range is insufficient. Incidentally, in Expression (3), Th2 is a threshold value representing the ratio of the residual MAE1 between one field.

【0052】またこれに対して、次式、On the other hand, the following equation:

【0053】[0053]

【数4】 (Equation 4)

【0054】又は次式、Or the following formula:

【0055】[0055]

【数5】 (Equation 5)

【0056】で表されるように、1フイールド間の残差
MAE1が閾値よりも小さく、2フイールド間の残差M
AE2及び3フイールド間の残差MAE3が閾値Thよ
りも大きい場合か多いとき、制御判定部62は1フイー
ルド間の動き検出のみが検索範囲が足りていると判定す
る。
As shown in the following expression, the residual MAE1 between one field is smaller than the threshold value, and the residual ME1 between the two fields is
When the residual MAE3 between the AE2 and the three fields is larger or more than the threshold Th, the control determination unit 62 determines that only the motion detection for one field has a sufficient search range.

【0057】このようにして、少なくとも1フイールド
間の動き検出において探索範囲が足りていると判定され
た場合、制御判定部62は、探索範囲が足りている動き
ベクトル分布から1フイールド間の最大動き量を推定
し、必要なフイールド間隔分の検索範囲の予測を行う。
In this manner, when it is determined that the search range is sufficient in the motion detection for at least one field, the control determination unit 62 determines the maximum motion for one field from the motion vector distribution for which the search range is sufficient. The amount is estimated and the search range for the required field interval is predicted.

【0058】すなわち、1フイールド間の動きベクトル
をMV1、2フイールド間の動きベクトルをMV2、3
フイールド間の動きベクトルをMV3とすると、次式、
That is, the motion vector between one field is MV1 and the motion vector between two fields is MV2, 3
Assuming that the motion vector between the fields is MV3,

【0059】[0059]

【数6】 (Equation 6)

【0060】[0060]

【数7】 (Equation 7)

【0061】によつて表される関係があると推定する。It is assumed that there is a relationship represented by

【0062】そして少なくとも1フイールド間の動き検
出のみにおいて検索範囲が足りている状態では、図6
(A)に示すように、1フイールド間の動きベクトルM
V1のみが検索範囲AR1内に収まつており、2フイー
ルド間の動きベクトルMV2及び3フイールド間の動き
ベクトルMV3は、検索範囲AR1の外にあると予想さ
れる。
In a state where the search range is sufficient only in the motion detection for at least one field, FIG.
As shown in (A), a motion vector M for one field
Only V1 falls within the search range AR1, and the motion vector MV2 between the two fields and the motion vector MV3 between the three fields are expected to be outside the search range AR1.

【0063】従つて、このとき制御判定部62は、
(6)式及び(7)式に基づいて、2フイールド間の動
きベクトルMV2及び3フイールド間の動きベクトルM
V3を予測し、これに応じて検索範囲AR1の場所を変
更する。この結果、図6(B)に示すように動きベクト
ルMV2及びMV3を検索するために足りる検索範囲A
R1´が検索範囲AR1と同じ面積のまま異なる場所に
求まる。因みに、図6においては1つの動きベクトルの
みに注目して検索範囲AR1´を求めたが、本発明はこ
れに限らず、1画面すべてのマクロブロツクについて1
フイールド間における動きベクトルMV1の分布を求
め、これに基づいて2フイールド間及び3フイールド間
における多くの動きベクトルMV2及びMV3を求め、
当該求められた動きベクトルMV2及びMV3のうち、
できるだけ多くのベクトルが検出されるような検索範囲
を決定することもできる。
Accordingly, at this time, the control judgment section 62
Based on the equations (6) and (7), the motion vector MV2 between the two fields and the motion vector M between the three fields
V3 is predicted, and the location of the search range AR1 is changed accordingly. As a result, as shown in FIG. 6B, a sufficient search range A for searching for the motion vectors MV2 and MV3 is obtained.
R1 'is obtained at a different place with the same area as the search range AR1. Incidentally, in FIG. 6, the search range AR1 'is obtained by focusing on only one motion vector. However, the present invention is not limited to this, and the search range AR1' is not limited to this.
The distribution of the motion vector MV1 between the fields is obtained, and many motion vectors MV2 and MV3 between the two fields and between the three fields are obtained based on the distribution.
Of the obtained motion vectors MV2 and MV3,
It is also possible to determine a search range in which as many vectors as possible are detected.

【0064】このようにして図3の時刻「0」における
基準フレーム(B4)から検索フレーム(I3)への動
き検出において検索範囲が少なくとも2フイールド間で
不足していると判定され新たな検索範囲AR1´が求め
られると、制御判定部62は、図3の時刻「1」におけ
る基準フレーム(B5)から2フレーム離れた検索フレ
ーム(I3)への動き検出を行わず、これに代えて図7
に示すように、時刻「1」において再び基準フレームを
Bピクチヤ(B4)として検索フレーム(I3)への1
フレーム間での動き検出を新たに設定した検索範囲AR
1´を用いて実行する。
As described above, in the motion detection from the reference frame (B4) to the search frame (I3) at time "0" in FIG. 3, it is determined that the search range is insufficient for at least two fields, and a new search range is determined. When AR1 'is obtained, the control determination unit 62 does not perform the motion detection to the search frame (I3) two frames away from the reference frame (B5) at the time "1" in FIG.
As shown in (1), at time "1", the reference frame is again set to the B frame (B4) and 1
Search range AR with newly set motion detection between frames
1 '.

【0065】この結果、図8(A)に示すように、新た
に設定された検索範囲AR1´を用いて動きベクトルが
求められる。因みに図8(A)は、水平右方向に大きな
動きかあると判定された場合に設定された新たな検索範
囲AR1´を示す。かくして図7の時刻「1」における
基準フレーム(B4)の2回目の検索において、基準フ
レーム(B4)から検索フレーム(I3)への動きベク
トルが検出される。
As a result, as shown in FIG. 8A, a motion vector is obtained using the newly set search range AR1 '. FIG. 8A shows a new search range AR1 'set when it is determined that there is a large movement in the horizontal right direction. Thus, in the second search of the reference frame (B4) at time “1” in FIG. 7, a motion vector from the reference frame (B4) to the search frame (I3) is detected.

【0066】このようにして図7の時刻「1」において
基準フレーム(B4)の動きベクトルが検出されると、
時刻「3」において実行される予定の基準フレーム(B
4)から検索フレーム(P6)への検索は行われず、こ
れに代えて、新たな基準フレーム(B5)の1フレーム
後方の検索フレーム(P6)への検索が行われる。この
とき、図9(A)に示すように、検索範囲AR2内に検
出すべき動きベクトルが存在しないと、これに続く時刻
「4」において図3に示すように基準フレーム(B8)
から2フレーム前方の検索フレーム(P6)を検索して
も図9(B)に示すように、検索範囲AR2が不足する
ことが明らかである。従つて、このとき制御判定部62
は、図7の時刻「4」に示すように、基準フレーム(B
5)から1フレーム離れた検索フレーム(P6)への検
索と、基準フレーム(B7)から1フレーム離れた検索
フレーム(P6)への検索を行う。
When the motion vector of the reference frame (B4) is detected at time "1" in FIG.
The reference frame to be executed at time “3” (B
No search is performed from 4) to the search frame (P6). Instead, a search is performed to the search frame (P6) one frame behind the new reference frame (B5). At this time, as shown in FIG. 9A, if there is no motion vector to be detected in the search range AR2, at the subsequent time “4”, as shown in FIG. 3, the reference frame (B8)
It is clear that even if the search frame (P6) two frames ahead of the search range is searched, the search range AR2 is insufficient as shown in FIG. 9B. Therefore, at this time, the control determination unit 62
Represents the reference frame (B) as shown at time “4” in FIG.
The search for the search frame (P6) one frame away from 5) and the search for the search frame (P6) one frame away from the reference frame (B7) are performed.

【0067】この結果、図9(C)に示すように、新た
に検索範囲AR2´を設定して動きベクトルを求めるこ
とができる。
As a result, as shown in FIG. 9C, a new search range AR2 'can be set to obtain a motion vector.

【0068】因みに、全く検索を行わなかつた方向の動
きベクトルは、例えば強制的にゼロベクトルとして設定
し、静止画部分については、画質が当該操作によつて低
下しないようにする。
Incidentally, the motion vector in the direction in which no search is performed at all is, for example, forcibly set as a zero vector so that the image quality of the still image portion is not reduced by the operation.

【0069】かくして図7の時刻「1」、「3」、
「4」及び「6」においてそれぞれBピクチヤ(B4、
B5、B7及びB8)を基準フレームとする検索を、新
たに設定した検索範囲を用いて1フレーム間で行うこと
により、このとき2フレーム間の検索で検索範囲が不足
していても、1フレーム間の検索で確実に動きベクトル
を検出することができる。
Thus, at times "1", "3",
B picture (B4,
The search using B5, B7 and B8) as a reference frame is performed between one frame using the newly set search range. At this time, even if the search range is insufficient in the search between two frames, one frame is searched. A motion vector can be reliably detected by a search between the two.

【0070】ここで、図10は制御判定部62における
検索処理手順を示し、制御判定部62はステツプSP0
から当該処理手順に入ると、ステツプSP1において動
き検出部ME1から基準フレームを構成する2フイール
ド分の動きベクトルと残差を受け取り、また動き検出部
ME2から検索フレームを構成する2フイールド分の動
きベクトルと残差を受け取る。
FIG. 10 shows a search processing procedure in the control determination section 62, and the control determination section 62 executes step SP0.
In step SP1, the motion vector and the residual for two fields constituting the reference frame are received from the motion detector ME1 in step SP1, and the motion vectors for two fields constituting the search frame are received from the motion detector ME2. And receive the residual.

【0071】そして制御判定部62はステツプSP2に
移り、動き検出部ME1及びME2から受け取つた4フ
イールド分の動きベクトル及び残差から、1フイールド
間の残差MAE1と、2フイールド間の残差MAE2と
3フイールド間の残差MAE3とを求め、閾値Thとの
判定を上述の(1)式〜(5)式に基づいて行う。
Then, the control judging section 62 proceeds to step SP2, and based on the motion vectors and residuals for the four fields received from the motion detecting sections ME1 and ME2, the residual MAE1 between one field and the residual MAE2 between two fields. And the residual MAE3 between the three fields is determined, and the determination of the threshold value Th is performed based on the above-described equations (1) to (5).

【0072】そしてステツプSP2における判定結果
が、上述の(1)式を満足する場合(条件a)、制御判
定部62はステツプSP3に移つて、図3に示す通常の
双方向予測の検索範囲を設定し、当該設定された検索範
囲及び検索フレームに基づき、ステツプSP7において
読出し制御信号D52(図2)をフレームメモリ51
(図2)に供給することにより、動き検出部ME1及び
ME2で動き検出を行う。
If the result of the determination in step SP2 satisfies the above expression (1) (condition a), the control determining unit 62 proceeds to step SP3 to set the search range of the normal bidirectional prediction shown in FIG. The read control signal D52 (FIG. 2) is set in the frame memory 51 in step SP7 based on the set search range and search frame.
(FIG. 2), motion detection is performed by the motion detection units ME1 and ME2.

【0073】これに対してステツプSP2における判定
が、上述の(2)式又は(3)式を満足する場合(条件
b)、制御判定部62はステツプSP4に移り、図6に
ついて上述した1フイールド間の動きベクトルMV1及
び2フイールド間の動きベクトルMV2を用いて検索範
囲を決定し、図7について上述したように1フレーム間
の片方向予測のみを行うように設定する。かくしてステ
ツプSP7に移り、設定された検索範囲を用いて動き検
出を行う。
On the other hand, if the determination in step SP2 satisfies the above expression (2) or (3) (condition b), the control determination section 62 proceeds to step SP4 and executes the one-field described above with reference to FIG. The search range is determined using the motion vector MV1 between the two fields and the motion vector MV2 between the two fields, and is set so as to perform only one-way prediction for one frame as described above with reference to FIG. Thus, the process proceeds to step SP7, and motion detection is performed using the set search range.

【0074】これに対してステツプSP2における判定
が、上述の(4)式又は(5)式を満足する場合(条件
c)、制御判定部62はステツプSP5に移り、図6に
ついて上述した1フイールド間の動きベクトルMV1を
用いて検索範囲を決定し、図7について上述したように
1フレーム間の片方向予測のみを行うように設定する。
かくしてステツプSP7に移り、設定された検索範囲を
用いて動き検出を行う。
On the other hand, if the judgment in step SP2 satisfies the above-mentioned expression (4) or (5) (condition c), the control judgment section 62 proceeds to step SP5 and executes the one-field operation described in FIG. The search range is determined using the inter-motion vector MV1, and the setting is made such that only unidirectional prediction for one frame is performed as described above with reference to FIG.
Thus, the process proceeds to step SP7, and motion detection is performed using the set search range.

【0075】これに対してステツプSP2における判定
が、次式、
On the other hand, the judgment in step SP2 is as follows:

【0076】[0076]

【数8】 (Equation 8)

【0077】を満足する場合(条件d)、このことはす
べてのフイールド間の検索範囲が不足していることを表
しており、このとき制御判定部62はステツプSP6に
移り、通常の双方向予測における検索範囲を用い、ステ
ツプSP7において動き検出を行う。
If the condition is satisfied (condition d), this means that the search range between all the fields is insufficient. At this time, the control judgment unit 62 proceeds to step SP6 and executes the normal bidirectional prediction. The motion detection is performed in step SP7 using the search range in.

【0078】因みに、図7の時刻「7」においては、制
御判定部62は各残差が十分に小さくなつたと判断し、
図3に示す通常の処理に戻る。
At time "7" in FIG. 7, the control determining section 62 determines that each residual has become sufficiently small.
The processing returns to the normal processing shown in FIG.

【0079】以上の構成において、制御判定部62は、
双方向予測を行うBピクチヤについて、異なる時刻で片
方(前方向又は後方向)ごとに検索フレームに対する動
き予測を行う(図3)。このとき、例えば図3の時刻
「0」において始めに行つた片方の動きベクトルの検索
において、このとき設定されている検索範囲の残差が大
きく、検出すべき動きベクトルが見つからないと、制御
判定部62はこのときの検索フレームに対して最も短い
間隔で動きを検出し得る1フイールド間の動きベクトル
を基に2フイールド間での動きベクトルを検索し得る検
索場所を予測し、これを新たな検索範囲として設定す
る。
In the above configuration, the control determination section 62
With respect to the B picture for which bidirectional prediction is performed, motion prediction is performed on the search frame at one time (forward or backward) at different times (FIG. 3). At this time, for example, in the search for one of the motion vectors first performed at time “0” in FIG. 3, if the residual in the search range set at this time is large and a motion vector to be detected cannot be found, control determination is performed. The unit 62 predicts a search place where a motion vector between two fields can be searched based on a motion vector between one field where motion can be detected at the shortest interval with respect to the search frame at this time, and newly predicts this. Set as search range.

【0080】そして図3に示す双方向予測のうち、2フ
レーム離れた予測を1フレーム間の予測に変更して動き
ベクトルの検索を行う。このように、動画像の動きが大
きい場合でも、少なくとも1フイールド間における動き
ベクトルは正確に求められると予測される点と、動きが
大きい場合には2フレーム間での動きベクトルの検索は
困難である点とに着目し、双方向予測のうち2フレーム
間の予測を1フレーム間に変更すると共に、検索範囲
(場所)を変更して1フレーム間で動きベクトルを検索
することにより、確実に動きベクトルを検出することが
できる。
Then, in the bidirectional prediction shown in FIG. 3, a prediction two frames apart is changed to a prediction between one frame, and a motion vector search is performed. As described above, even when the motion of the moving image is large, it is predicted that the motion vector in at least one field is accurately obtained, and it is difficult to search for the motion vector between two frames when the motion is large. Focusing on a certain point, the prediction between two frames in bidirectional prediction is changed between one frame, and the search range (location) is changed to search for a motion vector between one frame, so that the motion vector can be surely determined. Vectors can be detected.

【0081】かくして以上の構成によれば、双方向予測
を行う符号化において画像の動きが大きい場合でも、少
なくとも片方向予測の動きベクトルを検出することがで
き、この結果符号化効率を向上し得ると共に符号化画像
の画質を向上できる。
Thus, according to the above arrangement, at least a unidirectional prediction motion vector can be detected even when the image motion is large in encoding for bidirectional prediction, and as a result, encoding efficiency can be improved. In addition, the image quality of the encoded image can be improved.

【0082】なお上述の実施の形態においては、図7に
ついて上述したように別々のタイミングで動き検出部M
E1及びME2を用いて1フレーム間の動き予測を行う
場合について述べたが、本発明はこれに限らず、例えば
図11に示すように、2つの動き検出部ME1及びME
2を用いて同時に異なる検索範囲を検索するようにして
も良い。この場合、図8(D)及び図9(D)に示すよ
うに、2つの動き検出部ME1及びME2の検索範囲が
設定される。
In the above-described embodiment, as described above with reference to FIG.
Although a case has been described in which motion prediction between one frame is performed using E1 and ME2, the present invention is not limited to this. For example, as shown in FIG.
2, different search ranges may be searched at the same time. In this case, as shown in FIGS. 8D and 9D, a search range of the two motion detection units ME1 and ME2 is set.

【0083】また上述の実施の形態においては、Bピク
チヤが2枚である場合(M=3)について述べたが、本
発明はこれに限らず、Bピクチヤの数は1枚又は3枚以
上であつても良い。
In the above embodiment, the case where the number of B pictures is two (M = 3) has been described. However, the present invention is not limited to this, and the number of B pictures is one or three or more. It may be hot.

【0084】また上述の実施の形態においては、マクロ
ブロツク単位でブロツクマツチングを行う場合について
述べたが、本発明はこれに限らず、他の種々のデータ単
位で検索を行うようにしても良い。
In the above-described embodiment, a case has been described in which block matching is performed in units of macro blocks. However, the present invention is not limited to this, and search may be performed in other various data units. .

【0085】[0085]

【発明の効果】上述のように本発明によれば、入力され
た過去の検索対象画像及び未来の検索対象画像に対して
それぞれ設定された所定範囲の検索場所において所定デ
ータ単位で現画像との比較を行うことにより双方向の動
き検出を行い、当該動き検出によつて検出された動きベ
クトルに基づいて入力画像を圧縮符号化する画像符号化
装置及び方法において、入力画像の動きに応じて検索対
象画像及び検索場所を任意に設定することにより、画像
の動きが大きい場合においても少なくとも片方向の動き
検出を確実に行うことができ、この分符号化画像の画質
を向上し得る。
As described above, according to the present invention, the present image is searched for in a predetermined data unit at a predetermined range of search locations set for the input past search target image and future search target image. In an image coding apparatus and method for performing bidirectional motion detection by performing comparison and compression-coding an input image based on a motion vector detected by the motion detection, a search is performed according to the motion of the input image. By arbitrarily setting the target image and the search location, even when the motion of the image is large, motion detection in at least one direction can be reliably performed, and the image quality of the encoded image can be improved by this amount.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による画像符号化装置の一実施の形態を
示すブロツク図である。
FIG. 1 is a block diagram showing an embodiment of an image encoding device according to the present invention.

【図2】本発明による画像符号化装置の動きベクトル検
出部の構成を示すブロツク図である。
FIG. 2 is a block diagram showing a configuration of a motion vector detection unit of the image encoding device according to the present invention.

【図3】通常状態における動き検出手順を示す略線図で
ある。
FIG. 3 is a schematic diagram illustrating a motion detection procedure in a normal state.

【図4】フイールド間の動き検出の説明に供する略線図
である。
FIG. 4 is a schematic diagram used for explaining motion detection between fields.

【図5】検索範囲が足りている状態を示す略線図であ
る。
FIG. 5 is a schematic diagram showing a state in which a search range is sufficient.

【図6】検索範囲の決定方法の説明に供する略線図であ
る。
FIG. 6 is a schematic diagram for explaining a method of determining a search range.

【図7】検索範囲が不足しているときの動き検出手順を
示す略線図である。
FIG. 7 is a schematic diagram illustrating a motion detection procedure when a search range is insufficient.

【図8】検索範囲の再設定の説明に供する略線図であ
る。
FIG. 8 is a schematic diagram for explaining the resetting of a search range.

【図9】検索範囲の再設定の説明に供する略線図であ
る。
FIG. 9 is a schematic diagram for explaining the resetting of a search range.

【図10】本発明による動き検出処理手順を示すフロー
チヤートである。
FIG. 10 is a flowchart showing a motion detection processing procedure according to the present invention.

【図11】他の実施の形態による動き検出手順を示す略
線図である。
FIG. 11 is a schematic diagram illustrating a motion detection procedure according to another embodiment.

【図12】双方向予測における動き検出の説明に供する
略線図である。
FIG. 12 is a schematic diagram for explaining motion detection in bidirectional prediction.

【図13】従来の動き検出手順を示す略線図である。FIG. 13 is a schematic diagram illustrating a conventional motion detection procedure.

【図14】従来の問題点の説明に供する略線図である。FIG. 14 is a schematic diagram for explaining a conventional problem.

【符号の説明】[Explanation of symbols]

20……画像符号化装置、21……動きベクトル検出
部、24、29……演算部、25……DCT部、26…
…量子化部、27……逆量子化部、28……逆DCT
部、30、51……フレームメモリ、31……動き補償
部、33……可変長符号化部、62……制御判定部、M
E1、ME2……動き検出部。
20 image encoding device, 21 motion vector detecting unit, 24, 29 arithmetic unit, 25 DCT unit, 26
... Quantization unit, 27... Inverse quantization unit, 28.
, 30, 51 ... frame memory, 31 ... motion compensation unit, 33 ... variable length coding unit, 62 ... control judgment unit, M
E1, ME2 ... Motion detecting unit.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】入力された過去の検索対象画像及び未来の
検索対象画像に対してそれぞれ設定された所定範囲の検
索場所において所定データ単位で現画像との比較を行う
ことにより双方向の動き検出を行い、当該動き検出によ
つて検出された動きベクトルに基づいて入力画像を圧縮
符号化する画像符号化装置において、 上記入力画像の動きに応じて上記検索対象画像及び上記
検索場所を任意に設定する検索制御手段を具えることを
特徴とする画像符号化装置。
1. Bidirectional motion detection by comparing an input past search target image and a future search target image with a current image in predetermined data units at predetermined search locations set respectively. And an image encoding apparatus for compressing and encoding the input image based on the motion vector detected by the motion detection, wherein the search target image and the search location are arbitrarily set according to the motion of the input image. An image coding apparatus, comprising:
【請求項2】上記検索制御手段は、 上記動き検出を2回に分けて行う動き検出手段と、 上記2回の動き検出のうち第1回目の動き検出における
上記検索対象画像及び検索場所と第2回目の動き検出に
おける上記検索対象画像及び検索場所とを上記入力画像
の動きに応じて設定する設定手段とを具えることを特徴
とする請求項1に記載の画像符号化装置。
2. A search control unit comprising: a motion detection unit that performs the motion detection in two parts; a search target image and a search location in a first one of the two motion detections; 2. The image coding apparatus according to claim 1, further comprising setting means for setting the search target image and the search location in the second motion detection according to the motion of the input image.
【請求項3】上記検索制御手段は、 上記検索対象画像に基づく複数フイールド間において動
きベクトルが検出される際の上記所定データ単位の差分
及び上記検出された動きベクトルの分布に応じて上記検
索場所を設定することを特徴とする請求項1に記載の画
像符号化装置。
3. The search control means according to claim 1, wherein said search location is determined in accordance with a difference of said predetermined data unit when a motion vector is detected among a plurality of fields based on said search target image and a distribution of said detected motion vector. The image encoding apparatus according to claim 1, wherein
【請求項4】入力された過去の検索対象画像及び未来の
検索対象画像に対してそれぞれ設定された所定範囲の検
索場所において所定データ単位で現画像との比較を行う
ことにより双方向の動き検出を行い、当該動き検出によ
つて検出された動きベクトルに基づいて入力画像を圧縮
符号化する画像符号化方法において、 上記入力画像の動きに応じて上記検索対象画像及び上記
検索場所を任意に設定することを特徴とする画像符号化
方法。
4. Bidirectional motion detection by comparing the inputted past search target image and future search target image with a current image in a predetermined data unit at a predetermined range of search locations. And an image encoding method for compressing and encoding the input image based on the motion vector detected by the motion detection, wherein the search target image and the search location are arbitrarily set according to the motion of the input image. Image encoding method.
【請求項5】上記画像符号化方法は、 上記動き検出を2回に分けて行い、上記2回の動き検出
のうち第1回目の動き検出における上記検索対象画像及
び検索場所と第2回目の動き検出における上記検索対象
画像及び検索場所とを上記入力画像の動きに応じて設定
することを特徴とする請求項4に記載の画像符号化方
法。
5. The image encoding method according to claim 1, wherein the motion detection is performed twice, and the search target image and the search location in the first motion detection of the two motion detections and the second are detected. The image encoding method according to claim 4, wherein the search target image and the search location in the motion detection are set according to the motion of the input image.
【請求項6】上記画像符号化方法は、 上記検索対象画像に基づく複数フイールド間において動
きベクトルが検出される際の上記所定データ単位の差分
及び上記検出された動きベクトルの分布に応じて上記検
索場所を設定することを特徴とする請求項4に記載の画
像符号化方法。
6. The image encoding method according to claim 1, wherein the search is performed in accordance with a difference of the predetermined data unit and a distribution of the detected motion vector when a motion vector is detected among a plurality of fields based on the search target image. The image encoding method according to claim 4, wherein a location is set.
JP10543098A 1998-03-31 1998-03-31 Image encoding apparatus and method Expired - Fee Related JP4003149B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10543098A JP4003149B2 (en) 1998-03-31 1998-03-31 Image encoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10543098A JP4003149B2 (en) 1998-03-31 1998-03-31 Image encoding apparatus and method

Publications (2)

Publication Number Publication Date
JPH11289540A true JPH11289540A (en) 1999-10-19
JP4003149B2 JP4003149B2 (en) 2007-11-07

Family

ID=14407390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10543098A Expired - Fee Related JP4003149B2 (en) 1998-03-31 1998-03-31 Image encoding apparatus and method

Country Status (1)

Country Link
JP (1) JP4003149B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183180A (en) * 2009-02-03 2010-08-19 Sanyo Electric Co Ltd Image processor and imaging device loaded with the same
JP2017118459A (en) * 2015-12-25 2017-06-29 日本電信電話株式会社 Video encoding apparatus, video encoding method, and video encoding program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183180A (en) * 2009-02-03 2010-08-19 Sanyo Electric Co Ltd Image processor and imaging device loaded with the same
JP2017118459A (en) * 2015-12-25 2017-06-29 日本電信電話株式会社 Video encoding apparatus, video encoding method, and video encoding program

Also Published As

Publication number Publication date
JP4003149B2 (en) 2007-11-07

Similar Documents

Publication Publication Date Title
EP1119975B1 (en) Motion vector detection with local motion estimator
US6542642B2 (en) Image coding process and motion detecting process using bidirectional prediction
US5894526A (en) Method and device for detecting motion vectors
US20130128980A1 (en) Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
KR100558583B1 (en) Image encoding apparatus and method
US20120177126A1 (en) Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
JP5426655B2 (en) Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method
RU2444856C2 (en) Method of encoding video signal and method of decoding, apparatus for realising said methods and data media storing programmes for realising said methods
JP2002543713A (en) Motion estimation for digital video
JPH09179987A (en) Motion vector detection method and motion vector detection device
JPH07162869A (en) Moving image encoder
KR20010099660A (en) Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
US7382417B2 (en) Method and algorithm for detection of scene cuts or similar images in video images
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
EP3131295A1 (en) Video encoding method and system
JP3778208B2 (en) Image coding apparatus and image coding method
JPH11289540A (en) Image coder and its method
US9253493B2 (en) Fast motion estimation for multiple reference pictures
US6788741B1 (en) Device and method of retrieving high-speed motion
JPH0262178A (en) Motion detection method for image processing equipment
WO1999044369A1 (en) Device and method for coding image
JPH10285603A (en) Image coding method
JPH10191347A (en) Motion detection device, motion detection method, and storage medium
JP2002344949A (en) Moving picture monitoring system
JPH0795590A (en) Method and device for processing video signal and image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070809

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees