JP2003143609A - 画像処理装置、画像処理方法、記録媒体及びプログラム - Google Patents
画像処理装置、画像処理方法、記録媒体及びプログラムInfo
- Publication number
- JP2003143609A JP2003143609A JP2002207399A JP2002207399A JP2003143609A JP 2003143609 A JP2003143609 A JP 2003143609A JP 2002207399 A JP2002207399 A JP 2002207399A JP 2002207399 A JP2002207399 A JP 2002207399A JP 2003143609 A JP2003143609 A JP 2003143609A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- search
- frame
- image data
- search range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 188
- 239000013598 vector Substances 0.000 claims abstract description 174
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】 (修正有)
【課題】 固定範囲探索型のブロックマッチング法に近
い効果を示しつつ、且つ簡易的手法で探索回数を低減さ
せた動きベクトル探索技術を提供する。 【解決手段】 入力された現在のフレームの画像データ
及び直前のフレームの画像データを基に固定の探索範囲
で動きベクトル探索を行う第1探査器105と、動きベ
クトル探索を行う探索範囲を前回検出された動きベクト
ルに応じて設定し、現在のフレームの画像データ及び直
前のフレームの画像データを基に前記設定された探索範
囲で動きベクトル探索を行う第2探索器106と、前記
第1探査器105による処理と前記第2探索器106に
よる処理とを選択する探索モード判定器100とを有す
る。
い効果を示しつつ、且つ簡易的手法で探索回数を低減さ
せた動きベクトル探索技術を提供する。 【解決手段】 入力された現在のフレームの画像データ
及び直前のフレームの画像データを基に固定の探索範囲
で動きベクトル探索を行う第1探査器105と、動きベ
クトル探索を行う探索範囲を前回検出された動きベクト
ルに応じて設定し、現在のフレームの画像データ及び直
前のフレームの画像データを基に前記設定された探索範
囲で動きベクトル探索を行う第2探索器106と、前記
第1探査器105による処理と前記第2探索器106に
よる処理とを選択する探索モード判定器100とを有す
る。
Description
【0001】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法、コンピュータ可読記録媒体及びプログラム
に関し、特に動きベクトルの探索処理に関するものであ
る。
像処理方法、コンピュータ可読記録媒体及びプログラム
に関し、特に動きベクトルの探索処理に関するものであ
る。
【0002】
【従来の技術】従来より、動き補償フレーム間予測符号
化方式における動きベクトルの探索手法として、ブロッ
クマッチング法がよく利用されている。このブロックマ
ッチング法は、動き探索対象ブロック(N×N画素領
域)を参照画像中の限られた探索範囲内の画像と画素単
位で全ての位置毎にマッチングをとり、マッチング評価
関数を計算し、最もマッチングのとれた位置を探索動き
ベクトルとする手法である。マッチング評価関数として
は、例えばブロック内の全画素について、画素毎の画素
値の差分の絶対値の和をとったもの(差分絶対値和)が
使われる。
化方式における動きベクトルの探索手法として、ブロッ
クマッチング法がよく利用されている。このブロックマ
ッチング法は、動き探索対象ブロック(N×N画素領
域)を参照画像中の限られた探索範囲内の画像と画素単
位で全ての位置毎にマッチングをとり、マッチング評価
関数を計算し、最もマッチングのとれた位置を探索動き
ベクトルとする手法である。マッチング評価関数として
は、例えばブロック内の全画素について、画素毎の画素
値の差分の絶対値の和をとったもの(差分絶対値和)が
使われる。
【0003】しかし、ブロックマッチング法は、その探
索範囲内で最も類似度が高いベクトルを探索できるが、
探索の回数が多いのでこのシステムを実現した場合に計
算量が膨大になるという問題がある。このため、多段階
に探索する方法(これを3ステップサーチ法という、例
えば「会議テレビ信号の動き補償フレーム間符号化」
(信学技報IE81−54 1981−7)を参照)な
どの簡略化手法が種々提案されている。
索範囲内で最も類似度が高いベクトルを探索できるが、
探索の回数が多いのでこのシステムを実現した場合に計
算量が膨大になるという問題がある。このため、多段階
に探索する方法(これを3ステップサーチ法という、例
えば「会議テレビ信号の動き補償フレーム間符号化」
(信学技報IE81−54 1981−7)を参照)な
どの簡略化手法が種々提案されている。
【0004】3ステップサーチ法は、全画素位置探索の
代わりに、まず第1段として、粗い探索点の間隔でサー
チを行い、最もマッチングのとれた位置を中心に、探索
点の間隔を、第1段のときの半分にして第2段の探索を
行う。同様の処理を複数段繰り返して、粗から密へ探索
点の間隔を絞っていき動きベクトルを探索する方法であ
る。
代わりに、まず第1段として、粗い探索点の間隔でサー
チを行い、最もマッチングのとれた位置を中心に、探索
点の間隔を、第1段のときの半分にして第2段の探索を
行う。同様の処理を複数段繰り返して、粗から密へ探索
点の間隔を絞っていき動きベクトルを探索する方法であ
る。
【0005】
【発明が解決しようとする課題】このように、前述した
ブロックマッチング法は計算量が膨大となる。また前述
した3ステップサーチ法は、全ての探索範囲を一つずつ
マッチングさせるよりも計算量を大幅に削減できるが、
最初の段階で誤探索すると、本来求めるべき方向と全く
異なる動きベクトルを探索してしまうという状態に陥
る。
ブロックマッチング法は計算量が膨大となる。また前述
した3ステップサーチ法は、全ての探索範囲を一つずつ
マッチングさせるよりも計算量を大幅に削減できるが、
最初の段階で誤探索すると、本来求めるべき方向と全く
異なる動きベクトルを探索してしまうという状態に陥
る。
【0006】さらに、テレビ電話、テレビ会議等の低速
度回線における多くの種類の画像は、用途の性質上、フ
レーム内で動いている領域を動領域、静止している領域
を静領域とした場合、1つの動画シーケンスの中でそれ
ぞれの領域が固定化されやすいことに着目すべきであ
る。
度回線における多くの種類の画像は、用途の性質上、フ
レーム内で動いている領域を動領域、静止している領域
を静領域とした場合、1つの動画シーケンスの中でそれ
ぞれの領域が固定化されやすいことに着目すべきであ
る。
【0007】本発明の目的は、従来よりも高速且つ簡便
に、しかも正確に動きベクトルを探索することができる
画像処理装置、画像処理方法、コンピュータ可読記録媒
体及びプログラムを提供することにある。
に、しかも正確に動きベクトルを探索することができる
画像処理装置、画像処理方法、コンピュータ可読記録媒
体及びプログラムを提供することにある。
【0008】
【課題を解決するための手段】本発明の一観点によれ
ば、入力された現在のフレームの画像データ及び直前の
フレームの画像データを基に固定の探索範囲で動きベク
トル探索を行う第1の動きベクトル検出手段と、動きベ
クトル探索を行う探索範囲を前回検出された動きベクト
ルに応じて設定し、現在のフレームの画像データ及び直
前のフレームの画像データを基に前記設定された探索範
囲で動きベクトル探索を行う第2の動きベクトル検出手
段と、前記第1の動きベクトル検出手段による処理と前
記第2の動きベクトル検出手段による処理とを選択する
選択手段とを有することを特徴とする画像処理装置が提
供される。
ば、入力された現在のフレームの画像データ及び直前の
フレームの画像データを基に固定の探索範囲で動きベク
トル探索を行う第1の動きベクトル検出手段と、動きベ
クトル探索を行う探索範囲を前回検出された動きベクト
ルに応じて設定し、現在のフレームの画像データ及び直
前のフレームの画像データを基に前記設定された探索範
囲で動きベクトル探索を行う第2の動きベクトル検出手
段と、前記第1の動きベクトル検出手段による処理と前
記第2の動きベクトル検出手段による処理とを選択する
選択手段とを有することを特徴とする画像処理装置が提
供される。
【0009】本発明の他の観点によれば、入力された現
在のフレームの画像データ及び直前のフレームの画像デ
ータを基に固定の探索範囲で動きベクトル探索を行う第
1の動きベクトル検出ステップと、動きベクトル探索を
行う探索範囲を前回検出された動きベクトルに応じて設
定し、現在のフレームの画像データ及び直前のフレーム
の画像データを基に前記設定された探索範囲で動きベク
トル探索を行う第2の動きベクトル検出ステップと、前
記第1の動きベクトル検出ステップによる処理と前記第
2の動きベクトル検出ステップによる処理とを選択する
選択ステップとを有することを特徴とする画像処理方法
が提供される。
在のフレームの画像データ及び直前のフレームの画像デ
ータを基に固定の探索範囲で動きベクトル探索を行う第
1の動きベクトル検出ステップと、動きベクトル探索を
行う探索範囲を前回検出された動きベクトルに応じて設
定し、現在のフレームの画像データ及び直前のフレーム
の画像データを基に前記設定された探索範囲で動きベク
トル探索を行う第2の動きベクトル検出ステップと、前
記第1の動きベクトル検出ステップによる処理と前記第
2の動きベクトル検出ステップによる処理とを選択する
選択ステップとを有することを特徴とする画像処理方法
が提供される。
【0010】本発明のさらに他の観点によれば、入力さ
れた現在のフレームの画像データ及び直前のフレームの
画像データを基に固定の探索範囲で動きベクトル探索を
行う第1の動きベクトル検出工程と、動きベクトル探索
を行う探索範囲を前回検出された動きベクトルに応じて
設定し、現在のフレームの画像データ及び直前のフレー
ムの画像データを基に前記設定された探索範囲で動きベ
クトル探索を行う第2の動きベクトル検出工程と、前記
第1の動きベクトル検出工程による処理と前記第2の動
きベクトル検出工程による処理とを選択する選択工程と
をコンピュータに実行させるためのプログラムを記録し
たコンピュータ読み取り可能な記録媒体が提供される。
れた現在のフレームの画像データ及び直前のフレームの
画像データを基に固定の探索範囲で動きベクトル探索を
行う第1の動きベクトル検出工程と、動きベクトル探索
を行う探索範囲を前回検出された動きベクトルに応じて
設定し、現在のフレームの画像データ及び直前のフレー
ムの画像データを基に前記設定された探索範囲で動きベ
クトル探索を行う第2の動きベクトル検出工程と、前記
第1の動きベクトル検出工程による処理と前記第2の動
きベクトル検出工程による処理とを選択する選択工程と
をコンピュータに実行させるためのプログラムを記録し
たコンピュータ読み取り可能な記録媒体が提供される。
【0011】本発明のさらに他の観点によれば、入力さ
れた現在のフレームの画像データ及び直前のフレームの
画像データを基に固定の探索範囲で動きベクトル探索を
行う第1の動きベクトル検出工程と、動きベクトル探索
を行う探索範囲を前回検出された動きベクトルに応じて
設定し、現在のフレームの画像データ及び直前のフレー
ムの画像データを基に前記設定された探索範囲で動きベ
クトル探索を行う第2の動きベクトル検出工程と、前記
第1の動きベクトル検出工程による処理と前記第2の動
きベクトル検出工程による処理とを選択する選択工程と
をコンピュータに実行させるためのプログラムが提供さ
れる。
れた現在のフレームの画像データ及び直前のフレームの
画像データを基に固定の探索範囲で動きベクトル探索を
行う第1の動きベクトル検出工程と、動きベクトル探索
を行う探索範囲を前回検出された動きベクトルに応じて
設定し、現在のフレームの画像データ及び直前のフレー
ムの画像データを基に前記設定された探索範囲で動きベ
クトル探索を行う第2の動きベクトル検出工程と、前記
第1の動きベクトル検出工程による処理と前記第2の動
きベクトル検出工程による処理とを選択する選択工程と
をコンピュータに実行させるためのプログラムが提供さ
れる。
【0012】
【発明の実施の形態】以下、本発明の実施形態を、図面
を用いて詳細に説明する。 (第1の実施形態)まず、本実施形態では、MPEG-4符号
化方式における実現方法を述べる。MPEG-4では、自然画
像をビデオオブジェクト(VO)と呼んでいる。VOは、所
定の時刻で撮影した複数のビデオオブジェクトプレーン
(VOP)から構成されている。VOPはフレームに相当する。
VOPは、MPEG-4で扱う映像データの基本単位である。VOP
は基本処理単位であるマクロブロック(MB)に分割され
る。MPEG-4 version 1の場合,4:2:0の画像フォーマット
をサポートするので、マクロブロックは4つの輝度ブロ
ックと2つの色差ブロックで構成される。MPEG−4のマ
クロブロック構成を図1に示す。
を用いて詳細に説明する。 (第1の実施形態)まず、本実施形態では、MPEG-4符号
化方式における実現方法を述べる。MPEG-4では、自然画
像をビデオオブジェクト(VO)と呼んでいる。VOは、所
定の時刻で撮影した複数のビデオオブジェクトプレーン
(VOP)から構成されている。VOPはフレームに相当する。
VOPは、MPEG-4で扱う映像データの基本単位である。VOP
は基本処理単位であるマクロブロック(MB)に分割され
る。MPEG-4 version 1の場合,4:2:0の画像フォーマット
をサポートするので、マクロブロックは4つの輝度ブロ
ックと2つの色差ブロックで構成される。MPEG−4のマ
クロブロック構成を図1に示す。
【0013】全てのMBをINTRA符号化(画面内符号化)
されたVOPをI-VOPと呼び、MBの符号化モードにINTER符
号化(画面間符号化)モードを含むフレームをP-VOPと
呼び。本実施形態ではこの2つの符号化モードのみを使
用する。
されたVOPをI-VOPと呼び、MBの符号化モードにINTER符
号化(画面間符号化)モードを含むフレームをP-VOPと
呼び。本実施形態ではこの2つの符号化モードのみを使
用する。
【0014】また、複数のフレームを1つのグループと
したものをGOV(Group of VOP)と呼び、I-VOPを必ず1
フレームだけ含む。また、以下で記載する第1の探索モ
ードとは、予め決められている固定の探索範囲に対して
ブロックマッチング法を施す動きベクトル探索方法(静
的指定範囲内ブロックマッチング)であり、第2の探索
モードとは、前に得られた動きベクトル値の絶対値に基
づいて設定された探索範囲(探索範囲が可変)に対して
ブロックマッチング法を施す動きベクトル探索方法(動
的指定範囲内ブロックマッチング)である。
したものをGOV(Group of VOP)と呼び、I-VOPを必ず1
フレームだけ含む。また、以下で記載する第1の探索モ
ードとは、予め決められている固定の探索範囲に対して
ブロックマッチング法を施す動きベクトル探索方法(静
的指定範囲内ブロックマッチング)であり、第2の探索
モードとは、前に得られた動きベクトル値の絶対値に基
づいて設定された探索範囲(探索範囲が可変)に対して
ブロックマッチング法を施す動きベクトル探索方法(動
的指定範囲内ブロックマッチング)である。
【0015】図2は、本発明の第1の実施形態としての
動きベクトル探索のための動きベクトル探索装置の構成
を示すブロック図である。図2において、探索モード判
定器100は、入力するGOV内フレーム数に応じて、入
力フレーム毎に第1の探索モードもしくは第2の探索モ
ードを判定する。フレームメモリ101は、直前のフレ
ームを格納する。動きベクトルメモリ102は、直前の
フレームにおいて動きベクトル探索を行った後、その動
きベクトルMV_lastを格納する。スイッチ103は、探
索モード判定器100からの制御信号に応じて、フレー
ムメモリ101から読み出されたフレームの出力先を切
り替える。
動きベクトル探索のための動きベクトル探索装置の構成
を示すブロック図である。図2において、探索モード判
定器100は、入力するGOV内フレーム数に応じて、入
力フレーム毎に第1の探索モードもしくは第2の探索モ
ードを判定する。フレームメモリ101は、直前のフレ
ームを格納する。動きベクトルメモリ102は、直前の
フレームにおいて動きベクトル探索を行った後、その動
きベクトルMV_lastを格納する。スイッチ103は、探
索モード判定器100からの制御信号に応じて、フレー
ムメモリ101から読み出されたフレームの出力先を切
り替える。
【0016】絶対値化器104は、動きベクトルメモリ
102から出力された直前フレームの動きベクトルの絶
対値AMV_lastを出力する。第1探索器105は、ブロッ
クマッチング法を用いて予め指定された固定的な範囲を
探索し、現フレームのMBとフレームメモリ101からの
参照フレームとに応じて動きベクトル探索を行う(前記
第1の探索モードに相当する)。
102から出力された直前フレームの動きベクトルの絶
対値AMV_lastを出力する。第1探索器105は、ブロッ
クマッチング法を用いて予め指定された固定的な範囲を
探索し、現フレームのMBとフレームメモリ101からの
参照フレームとに応じて動きベクトル探索を行う(前記
第1の探索モードに相当する)。
【0017】尚、本実施形態では、前記第1の探索モー
ドにおける探索範囲を水平方向で±16画素、垂直方向
で±16画素とする。図3は、本実施形態の前記第1の
探索モードにおけるブロックマッチング法を説明する図
である。図3において、301で示す範囲は動き検出の
対象となる基準ブロックを示し、302で示す範囲は基
準ブロック301の動き検出の対象となる範囲を示す。
ドにおける探索範囲を水平方向で±16画素、垂直方向
で±16画素とする。図3は、本実施形態の前記第1の
探索モードにおけるブロックマッチング法を説明する図
である。図3において、301で示す範囲は動き検出の
対象となる基準ブロックを示し、302で示す範囲は基
準ブロック301の動き検出の対象となる範囲を示す。
【0018】動きベクトルの検出は、現フレームの基準
ブロック301と参照フレームの範囲302内で抽出で
きる検査ブロック(8×8画素)との間でフレーム差分
の絶対値和から求める。すなわち、最小の差分の絶対値
和を発生する検査ブロックの位置を動きベクトルとす
る。尚、本実施形態では探索範囲を水平・垂直方向を±
16画素としたがそれに限るものではない。
ブロック301と参照フレームの範囲302内で抽出で
きる検査ブロック(8×8画素)との間でフレーム差分
の絶対値和から求める。すなわち、最小の差分の絶対値
和を発生する検査ブロックの位置を動きベクトルとす
る。尚、本実施形態では探索範囲を水平・垂直方向を±
16画素としたがそれに限るものではない。
【0019】また、第2探索器106は、絶対値化器1
04から得られたAMV_lastを基に探索範囲として、ブロ
ックマッチング法に基づき動きベクトル探索を行う(前
記第2の探索モードに相当する)。例えば、MV_lastが
(−13,+10)の場合、AMV_lastは(13,10)となり、そ
れに基づいて探索範囲を動きベクトル検出対象の基準ブ
ロックを中心として水平方向±13画素、垂直方向±1
0画素とする。更に詳細な説明は後述する。
04から得られたAMV_lastを基に探索範囲として、ブロ
ックマッチング法に基づき動きベクトル探索を行う(前
記第2の探索モードに相当する)。例えば、MV_lastが
(−13,+10)の場合、AMV_lastは(13,10)となり、そ
れに基づいて探索範囲を動きベクトル検出対象の基準ブ
ロックを中心として水平方向±13画素、垂直方向±1
0画素とする。更に詳細な説明は後述する。
【0020】次に、図2の動作について説明する。ま
ず、探索モード判定器100において、現在の処理対象
であるフレームの探索方法を判定する。判定はGOV内フ
レーム数を基に行う。
ず、探索モード判定器100において、現在の処理対象
であるフレームの探索方法を判定する。判定はGOV内フ
レーム数を基に行う。
【0021】尚、本実施形態では予め図4に示すような
規則で前記第1の探索モードと前記第2の探索モードと
を選択するように探索モード判定器100を設定してあ
る。この例ではI-VOPの直後のP-VOPに対して前記第1の
探索モードを実行し、その以外のP-VOPに対しては前記
第2の探索モードを実行している。尚、前記第1の探索
モードと前記第2の探索モードの切換えタイミングは図
4に限定されるものではなく、GOV内で前記第1の探索
モードを複数回行うように設定しても当然良い。
規則で前記第1の探索モードと前記第2の探索モードと
を選択するように探索モード判定器100を設定してあ
る。この例ではI-VOPの直後のP-VOPに対して前記第1の
探索モードを実行し、その以外のP-VOPに対しては前記
第2の探索モードを実行している。尚、前記第1の探索
モードと前記第2の探索モードの切換えタイミングは図
4に限定されるものではなく、GOV内で前記第1の探索
モードを複数回行うように設定しても当然良い。
【0022】図2の動作説明に戻る。GOV内フレーム数
が0の場合、I-VOPとなり、局部復号フレーム信号をフ
レームメモリ101へ格納する。GOV内フレーム数が1
の場合、GOV内先頭のP-VOPとなり、探索モード判定器1
00はフレームメモリ101からの画像信号が第1探索
器105に入力されるようにSW103に対して制御信号
を出力する。
が0の場合、I-VOPとなり、局部復号フレーム信号をフ
レームメモリ101へ格納する。GOV内フレーム数が1
の場合、GOV内先頭のP-VOPとなり、探索モード判定器1
00はフレームメモリ101からの画像信号が第1探索
器105に入力されるようにSW103に対して制御信号
を出力する。
【0023】第1探索器105は、参照フレームの画像
信号と現在のフレームの画像信号から符号化対象MBとを
入力し、予め決められている固定の探索範囲に対してブ
ロックマッチング法により動きベクトル探索し、探索し
た結果の動きベクトルMV_lastと同時に予測MBを出力す
る。同時に、動きベクトルMV_lastは動きベクトルメモ
リ102へ格納される。
信号と現在のフレームの画像信号から符号化対象MBとを
入力し、予め決められている固定の探索範囲に対してブ
ロックマッチング法により動きベクトル探索し、探索し
た結果の動きベクトルMV_lastと同時に予測MBを出力す
る。同時に、動きベクトルMV_lastは動きベクトルメモ
リ102へ格納される。
【0024】GOV内フレーム数がその他の場合、探索モ
ード判定器100はフレームメモリ101からの画像信
号が第2探索器106に入力されるようにSW103に対
して制御信号を出力する。
ード判定器100はフレームメモリ101からの画像信
号が第2探索器106に入力されるようにSW103に対
して制御信号を出力する。
【0025】第2探索器106は、フレームメモリ10
1から参照フレームの画像信号、現在のフレームの画像
信号から符号化対象MB及び動きベクトルメモリ102か
らの動きベクトルMV_lastを絶対値化器104により負
号を除いたAMV_lastが入力される。第2探索器106
は、AMV_lastに基づいて探索範囲を設定し、ブロックマ
ッチング法により動きベクトル探索する。その後、探索
結果の予測MBとその動きベクトルMV_nowを出力する。よ
って、第2探索器106が設定できる探索範囲の最大値
は、第1探索器105の探索範囲と同一となる。例え
ば、前回検出された動きベクトルが(-6,6)の場合、動
きベクトルメモリ102からは(−6,6)を示すデータが
出力される。絶対値化器104により(6,6)となり、第
2探索器106は動きベクトル検出対象の基準ブロック
を中心として水平方向±6画素、垂直方向±6画素まで
を探索範囲として、動きベクトルを探索する。更に詳し
い説明は後述する。
1から参照フレームの画像信号、現在のフレームの画像
信号から符号化対象MB及び動きベクトルメモリ102か
らの動きベクトルMV_lastを絶対値化器104により負
号を除いたAMV_lastが入力される。第2探索器106
は、AMV_lastに基づいて探索範囲を設定し、ブロックマ
ッチング法により動きベクトル探索する。その後、探索
結果の予測MBとその動きベクトルMV_nowを出力する。よ
って、第2探索器106が設定できる探索範囲の最大値
は、第1探索器105の探索範囲と同一となる。例え
ば、前回検出された動きベクトルが(-6,6)の場合、動
きベクトルメモリ102からは(−6,6)を示すデータが
出力される。絶対値化器104により(6,6)となり、第
2探索器106は動きベクトル検出対象の基準ブロック
を中心として水平方向±6画素、垂直方向±6画素まで
を探索範囲として、動きベクトルを探索する。更に詳し
い説明は後述する。
【0026】図5に、探索モード判定器100の動作を
説明するフローチャートである。フレームを処理する毎
にGOVフレーム数をカウントし、GOVフレーム数が1かど
うかを判定する(S501)。1となった場合に、第1探索
器105を選択するための選択信号を出力し(S503)、
その他の場合に第2探索器106を選択するための選択
信号を出力する(S502)。
説明するフローチャートである。フレームを処理する毎
にGOVフレーム数をカウントし、GOVフレーム数が1かど
うかを判定する(S501)。1となった場合に、第1探索
器105を選択するための選択信号を出力し(S503)、
その他の場合に第2探索器106を選択するための選択
信号を出力する(S502)。
【0027】図6は、図1の第2探索器106の動作を
説明するフローチャートである。ここでは説明を簡単に
するために水平方向のみの動きベクトル探索のみを説明
するが、垂直方向の動きベクトル探索も水平方向と同様
の処理によって達成できる。
説明するフローチャートである。ここでは説明を簡単に
するために水平方向のみの動きベクトル探索のみを説明
するが、垂直方向の動きベクトル探索も水平方向と同様
の処理によって達成できる。
【0028】まず、本実施形態では、動きベクトルの最
小探索範囲をMVm、次のフレームの探索範囲を現フレー
ムよりも拡張する探索拡張値MVpを定義する。まず動き
ベクトルメモリ内の動きベクトルMV_lastは絶対値化器
により負号のないAMV_lastとなる。次にAMV_lastとMVm
との比較を行う(S601)。
小探索範囲をMVm、次のフレームの探索範囲を現フレー
ムよりも拡張する探索拡張値MVpを定義する。まず動き
ベクトルメモリ内の動きベクトルMV_lastは絶対値化器
により負号のないAMV_lastとなる。次にAMV_lastとMVm
との比較を行う(S601)。
【0029】AMV_lastがMVm以下の場合、-MVm〜+MVm画
素の範囲で探索を行い、現MBでの動きベクトルMV_now及
び同値のMV_lastを決定する(S603)。AMV_lastがM
Vmより大きい場合、-AMV_last〜+AMV_last画素を探索範
囲としてMV_nowを決定する(S602)。例えば、最小
探索範囲MVmを3(画素)、MV_lastが2の場合は、最小
探索範囲は−3〜+3(画素)を探索する。MV_lastが
4(画素)の場合は、探索範囲は−4〜+4(画素)を
探索する。
素の範囲で探索を行い、現MBでの動きベクトルMV_now及
び同値のMV_lastを決定する(S603)。AMV_lastがM
Vmより大きい場合、-AMV_last〜+AMV_last画素を探索範
囲としてMV_nowを決定する(S602)。例えば、最小
探索範囲MVmを3(画素)、MV_lastが2の場合は、最小
探索範囲は−3〜+3(画素)を探索する。MV_lastが
4(画素)の場合は、探索範囲は−4〜+4(画素)を
探索する。
【0030】次に、探索範囲であるAMV_lastと前記処理
で得たMV_nowの値を比較する(S604)。もしAMV_la
stとMV_nowとの値が等しい場合は、MV_nowを出力すると
同時に、 MV_nowにMVpを加えた値を動きベクトルメモリ
102に格納する動きベクトルMV_lastを出力する(S
606)。等しくない場合は、MV_lastをMV_nowと同値
として出力する(S605)。
で得たMV_nowの値を比較する(S604)。もしAMV_la
stとMV_nowとの値が等しい場合は、MV_nowを出力すると
同時に、 MV_nowにMVpを加えた値を動きベクトルメモリ
102に格納する動きベクトルMV_lastを出力する(S
606)。等しくない場合は、MV_lastをMV_nowと同値
として出力する(S605)。
【0031】例えば、探索拡張値MVpを3とした時、AMV
_lastを5、MV_nowを5とした場合は、動きベクトルメ
モリ102に格納する動きベクトルは8(=5+3)と
なり、次フレームからの探索範囲は−8〜+8(画素)
となる。
_lastを5、MV_nowを5とした場合は、動きベクトルメ
モリ102に格納する動きベクトルは8(=5+3)と
なり、次フレームからの探索範囲は−8〜+8(画素)
となる。
【0032】同様に、垂直方向に対しても設定を行う。
MVm、MVpは上記水平方向の動きベクトル探索と同様の値
としてもよいし、別の値としてよい。例えば、ワイドな
画面の場合は垂直方向のMVm、MVpの値を水平方向よりも
小さい値とするとよい。つまり、アスペクト比の値に応
じてMVm、MVpの値を水平方向と垂直方向とで変えてもよ
い。
MVm、MVpは上記水平方向の動きベクトル探索と同様の値
としてもよいし、別の値としてよい。例えば、ワイドな
画面の場合は垂直方向のMVm、MVpの値を水平方向よりも
小さい値とするとよい。つまり、アスペクト比の値に応
じてMVm、MVpの値を水平方向と垂直方向とで変えてもよ
い。
【0033】図7は、図2の探索器を用いた符号化装置
である。図7において、MB化器700は入力されたフ
レーム画像をMBの単位に分割する。符号化器701は
探索器803から得られた予測MBにより現MBを符号
化する。また、符号化器701は、探索器803から得
られた動きベクトルも符号化をする。
である。図7において、MB化器700は入力されたフ
レーム画像をMBの単位に分割する。符号化器701は
探索器803から得られた予測MBにより現MBを符号
化する。また、符号化器701は、探索器803から得
られた動きベクトルも符号化をする。
【0034】GOV内フレームカウンタ802は、GOV先頭
のI-VOPでカウンタをリセットし、GOV内のフレーム数を
カウントする。探索器703は図2の動きベクトル探索
装置に相当する。
のI-VOPでカウンタをリセットし、GOV内のフレーム数を
カウントする。探索器703は図2の動きベクトル探索
装置に相当する。
【0035】次に図7のように構成された符号化装置の
動作を説明する。まず符号化の対象となるフレームを入
力し、入力されたフレーム画像をMB化器700におい
てMB毎に分割する。符号化器701は入力したMBを
MPEG-4のストリームへ符号化する。局部復号したMBは
次フレームの符号化時の参照フレームとして探索器70
2へ格納される。次のフレームでは、探索器702にお
いて格納した参照フレームと現フレームのMB、GOV内
フレーム数を入力し、前述の動きベクトル探索を行い、
予測MB、動きベクトルを出力する。
動作を説明する。まず符号化の対象となるフレームを入
力し、入力されたフレーム画像をMB化器700におい
てMB毎に分割する。符号化器701は入力したMBを
MPEG-4のストリームへ符号化する。局部復号したMBは
次フレームの符号化時の参照フレームとして探索器70
2へ格納される。次のフレームでは、探索器702にお
いて格納した参照フレームと現フレームのMB、GOV内
フレーム数を入力し、前述の動きベクトル探索を行い、
予測MB、動きベクトルを出力する。
【0036】符号化器701は、符号化と同時にVOPタ
イプ(IまたはP-VOP)をGOV内フレームカウンタ702
へ出力する。GOV内フレームカウンタ702は、GOV内の
フレームをカウントし、そのフレーム数を探索器703
へ出力する。以上の動作を繰り返す。
イプ(IまたはP-VOP)をGOV内フレームカウンタ702
へ出力する。GOV内フレームカウンタ702は、GOV内の
フレームをカウントし、そのフレーム数を探索器703
へ出力する。以上の動作を繰り返す。
【0037】図8は、図7の符号化装置を用いた応用シ
ステム構成である。撮像器800は、被写体像を撮像し
て画像信号を出力する。符号化装置801は図7に示す
符号化装置である。送信器802は符号化装置801か
らのストリームを伝送網であるネットワークに伝送する
信号へ変換する。受信器803はネットワークからの信
号を受信してストリームを出力する。復号装置804は
受信器803からのストリームを画像信号へ復号する。
表示器805は復号装置804で復号された画像信号を
表示する。
ステム構成である。撮像器800は、被写体像を撮像し
て画像信号を出力する。符号化装置801は図7に示す
符号化装置である。送信器802は符号化装置801か
らのストリームを伝送網であるネットワークに伝送する
信号へ変換する。受信器803はネットワークからの信
号を受信してストリームを出力する。復号装置804は
受信器803からのストリームを画像信号へ復号する。
表示器805は復号装置804で復号された画像信号を
表示する。
【0038】以上説明したことから明らかなように第1
の実施形態では、ある単位時間間隔におけるフレームの
動きベクトル探索において、予め決められた固定探索範
囲によるブロックマッチング法(前記第1の探索モー
ド)を適用し、それ以外はブロックマッチング法から得
られた動きベクトルから探索範囲を設定することで動き
ベクトルの探索範囲を縮小することができ、より高速且
つ簡便に動きベクトルを探索することができる(前記第
2の探索モード)。
の実施形態では、ある単位時間間隔におけるフレームの
動きベクトル探索において、予め決められた固定探索範
囲によるブロックマッチング法(前記第1の探索モー
ド)を適用し、それ以外はブロックマッチング法から得
られた動きベクトルから探索範囲を設定することで動き
ベクトルの探索範囲を縮小することができ、より高速且
つ簡便に動きベクトルを探索することができる(前記第
2の探索モード)。
【0039】固定探索範囲のブロックマッチング法(前
記第1の探索モード)によって、基本となる動きベクト
ル探索範囲を決定するために、前記第2の探索モード時
には高い確率で前記第1の探索モードと同様の効果を期
待できる。
記第1の探索モード)によって、基本となる動きベクト
ル探索範囲を決定するために、前記第2の探索モード時
には高い確率で前記第1の探索モードと同様の効果を期
待できる。
【0040】また、上記実施形態では前記第2の探索モ
ードでは、所定の探索範囲を決定した後で、条件により
さらに探索範囲の拡張を動的に決定しているので、より
高い信頼度で動きベクトルを探索することができる。前
記第1の探索モードのブロックマッチング法を適用して
いないフレームにて、画像内に大きな動きが発生した場
合でも、次のフレームの探索範囲を現フレームよりも拡
張する機能により対応できる。
ードでは、所定の探索範囲を決定した後で、条件により
さらに探索範囲の拡張を動的に決定しているので、より
高い信頼度で動きベクトルを探索することができる。前
記第1の探索モードのブロックマッチング法を適用して
いないフレームにて、画像内に大きな動きが発生した場
合でも、次のフレームの探索範囲を現フレームよりも拡
張する機能により対応できる。
【0041】尚、上記実施形態では、前記第2の探索モ
ードに対し、前記第1の探索モードを実行するフレーム
のタイミングをGOV単位としたが、これはその他の単位
でもかまわない。また、上記実施形態では、動きベクト
ルは符号化モードを切り替える単位としてMB単位とした
が、複数MB単位としてもかまわない。
ードに対し、前記第1の探索モードを実行するフレーム
のタイミングをGOV単位としたが、これはその他の単位
でもかまわない。また、上記実施形態では、動きベクト
ルは符号化モードを切り替える単位としてMB単位とした
が、複数MB単位としてもかまわない。
【0042】(第2の実施形態)図9は、本発明の第2
の実施形態としての動きベクトル探索のための動きベク
トル探索装置の構成を示すブロック図である。尚、図9
において図2と同一部分には同一符号を付加してその説
明を省略する。
の実施形態としての動きベクトル探索のための動きベク
トル探索装置の構成を示すブロック図である。尚、図9
において図2と同一部分には同一符号を付加してその説
明を省略する。
【0043】第2の実施形態において、第1の実施形態
と異なる部分は探索モード判定器及び第2探索器であ
る。よって、これら探索モード判定器、および第2探索
器の周辺の動作について説明する。第2の実施形態にお
いても第1の実施形態で説明した図7の符号化装置及び
図8の応用システムに対して同様に適用できる。
と異なる部分は探索モード判定器及び第2探索器であ
る。よって、これら探索モード判定器、および第2探索
器の周辺の動作について説明する。第2の実施形態にお
いても第1の実施形態で説明した図7の符号化装置及び
図8の応用システムに対して同様に適用できる。
【0044】図9において、探索モード判定器900
は、入力するGOV内フレーム数に応じて、且つ後述する
第2探索器からの各フレームにおける探索結果の累積誤
差値err(符号化対象MBと予測MBとの差分値を累積した
値)を入力し、入力フレーム毎に第1の実施形態で説明
した第1の探索モードもしくは第2の探索モードを判定
する。
は、入力するGOV内フレーム数に応じて、且つ後述する
第2探索器からの各フレームにおける探索結果の累積誤
差値err(符号化対象MBと予測MBとの差分値を累積した
値)を入力し、入力フレーム毎に第1の実施形態で説明
した第1の探索モードもしくは第2の探索モードを判定
する。
【0045】第2探索器901は、絶対値化器104を
経たAMV_lastを範囲として、ブロックマッチング法に基
づき動きベクトル探索を行い、また各フレームにおける
探索結果の累積誤差値errを出力する。
経たAMV_lastを範囲として、ブロックマッチング法に基
づき動きベクトル探索を行い、また各フレームにおける
探索結果の累積誤差値errを出力する。
【0046】次に図9のように構成された動きベクトル
探索装置の動作について説明する。まず探索モード判定
器900において、現在処理対象であるフレームの探索
方法を判定する。まずGOV内フレーム数を基に探索モー
ドの判定を行う。GOV内フレーム数が0の場合、I-VOPと
なり、局部復号フレーム信号をフレームメモリ101へ
格納する。GOV内フレーム数が1の場合、GOV内先頭のP-
VOPとなり、探索モード判定器900はSWの選択信号を
出力する。この選択信号により、第1探索器105にお
いて第1の実施形態で説明した第1の探索モードを行
う。第1探索器105は、参照フレーム信号と現在のフ
レーム信号から符号化対象MBを入力し、既定範囲を探索
し、探索した結果の動きベクトルMV_lastと同時に予測M
Bを出力する。同時に、動きベクトルMV_lastは動きベク
トルメモリ102へ格納される。
探索装置の動作について説明する。まず探索モード判定
器900において、現在処理対象であるフレームの探索
方法を判定する。まずGOV内フレーム数を基に探索モー
ドの判定を行う。GOV内フレーム数が0の場合、I-VOPと
なり、局部復号フレーム信号をフレームメモリ101へ
格納する。GOV内フレーム数が1の場合、GOV内先頭のP-
VOPとなり、探索モード判定器900はSWの選択信号を
出力する。この選択信号により、第1探索器105にお
いて第1の実施形態で説明した第1の探索モードを行
う。第1探索器105は、参照フレーム信号と現在のフ
レーム信号から符号化対象MBを入力し、既定範囲を探索
し、探索した結果の動きベクトルMV_lastと同時に予測M
Bを出力する。同時に、動きベクトルMV_lastは動きベク
トルメモリ102へ格納される。
【0047】ここで探索モード判定器900の処理動作
を図10のフローチャートを用いて説明する。GOV内フ
レーム数が2以上(先頭P-VOPの次フレーム以降)の場
合、第2探索器601からの累積誤差値errと、探索モ
ード判定器900内に予め持つ累積誤差比較値Merrとを
比較し(S1000)、累積誤差比較値Merrより累積誤差値e
rrが大きかった場合は第1探索器105を選択するため
の選択信号を出力し(S1002)、そうでない場合は第2
探索器901を選択するための選択信号を出力する(S1
001)。
を図10のフローチャートを用いて説明する。GOV内フ
レーム数が2以上(先頭P-VOPの次フレーム以降)の場
合、第2探索器601からの累積誤差値errと、探索モ
ード判定器900内に予め持つ累積誤差比較値Merrとを
比較し(S1000)、累積誤差比較値Merrより累積誤差値e
rrが大きかった場合は第1探索器105を選択するため
の選択信号を出力し(S1002)、そうでない場合は第2
探索器901を選択するための選択信号を出力する(S1
001)。
【0048】以上説明したことから明らかなように第2
の実施形態によれば、ある単位時間間隔におけるフレー
ムの動きベクトル探索において、予め決められた固体探
索範囲のブロックマッチング法(前記第1の探査モー
ド)を適用し、それ以外はブロックマッチング法から得
られた動きベクトルから探索範囲を決定することで探索
範囲を縮小することができ、より高速且つ簡便に動きベ
クトルを探索することができる(前記第2の探索モー
ド)。
の実施形態によれば、ある単位時間間隔におけるフレー
ムの動きベクトル探索において、予め決められた固体探
索範囲のブロックマッチング法(前記第1の探査モー
ド)を適用し、それ以外はブロックマッチング法から得
られた動きベクトルから探索範囲を決定することで探索
範囲を縮小することができ、より高速且つ簡便に動きベ
クトルを探索することができる(前記第2の探索モー
ド)。
【0049】また、フレーム内の累積誤差値を監視する
ことで、縮小すべきでない場合を判定することができ、
結果として復号画像品質の低下を防ぐことができる。
ことで、縮小すべきでない場合を判定することができ、
結果として復号画像品質の低下を防ぐことができる。
【0050】(第3の実施形態)図11は、本発明の第
3の実施形態としての動きベクトル探索装置の構成を示
すブロック図である。尚、図11において図2と同一部
分には同一符号を付加してその説明を省略する。
3の実施形態としての動きベクトル探索装置の構成を示
すブロック図である。尚、図11において図2と同一部
分には同一符号を付加してその説明を省略する。
【0051】第3の実施形態において、第1の実施形態
と異なる部分は探索モード判定器であり、そのほかは同
様の動作をする。よって、探索モード判定器周辺の動作
について説明する。
と異なる部分は探索モード判定器であり、そのほかは同
様の動作をする。よって、探索モード判定器周辺の動作
について説明する。
【0052】図11において、探査モード判定器110
0は、入力するカメラからの動きパラメータに応じて、
入力フレーム毎に第1の実施形態で説明した第1探索モ
ードもしくは第2の探索モードを判定する。前記動きパ
ラメータとは、監視カメラ等の据え置き型のカメラの方
向が変化した場合の変化値を示す。本実施形態では角度
変化値とする。
0は、入力するカメラからの動きパラメータに応じて、
入力フレーム毎に第1の実施形態で説明した第1探索モ
ードもしくは第2の探索モードを判定する。前記動きパ
ラメータとは、監視カメラ等の据え置き型のカメラの方
向が変化した場合の変化値を示す。本実施形態では角度
変化値とする。
【0053】次に探索モード判定器1100の動作につ
いて、図12のフローチャートを用いて説明する。まず
探索モード判定器1100において、現在処理対象であ
るフレームの探索モードを判定する。探索モード判定器
1100は入力するカメラからの動きパラメータを基に
探索モードの判定を行う。
いて、図12のフローチャートを用いて説明する。まず
探索モード判定器1100において、現在処理対象であ
るフレームの探索モードを判定する。探索モード判定器
1100は入力するカメラからの動きパラメータを基に
探索モードの判定を行う。
【0054】あらかじめ用意した比較用角度値Mpに対
し、入力した角度変化値とを比較し(S1200)、比較用
角度値Mpより入力した角度変化値が大きかった場合は第
1探索器105を選択するための選択信号を出力し(S1
202)、そうでない場合は第2探索器106を選択する
ための選択信号を出力する(S1201)。
し、入力した角度変化値とを比較し(S1200)、比較用
角度値Mpより入力した角度変化値が大きかった場合は第
1探索器105を選択するための選択信号を出力し(S1
202)、そうでない場合は第2探索器106を選択する
ための選択信号を出力する(S1201)。
【0055】図13は、第3の実施形態における図11
の動きベクトル探索装置を用いた符号化装置である。
尚、図13において、図7と同様な部分には同一符号を
付し、その説明を省略する。
の動きベクトル探索装置を用いた符号化装置である。
尚、図13において、図7と同様な部分には同一符号を
付し、その説明を省略する。
【0056】図13において、探索器1300は、図1
1の動きベクトル探索装置である。次に図13のように
構成された符号化装置の処理動作を説明する。まず符号
化の対象となるフレーム画像を入力し、MB化器700
においてMB毎に分割して出力する。符号化器701は
入力されたMBをMPEG-4のストリームへ符号化する。局
部復号したMBは次フレームの符号化時の参照フレーム
として探索器1300へ格納される。次のフレームで
は、探索器1300において格納した参照フレームと現
フレームのMB、カメラの動きパラメータを入力し、前
述の探索を行い、予測MB、動きベクトルを出力する。
以上の動作を繰り返す。
1の動きベクトル探索装置である。次に図13のように
構成された符号化装置の処理動作を説明する。まず符号
化の対象となるフレーム画像を入力し、MB化器700
においてMB毎に分割して出力する。符号化器701は
入力されたMBをMPEG-4のストリームへ符号化する。局
部復号したMBは次フレームの符号化時の参照フレーム
として探索器1300へ格納される。次のフレームで
は、探索器1300において格納した参照フレームと現
フレームのMB、カメラの動きパラメータを入力し、前
述の探索を行い、予測MB、動きベクトルを出力する。
以上の動作を繰り返す。
【0057】図14は、第3の実施形態における図13
の符号化装置を用いた応用システム構成である。図14
において、図8と同様な部分には同一符号を付加し、そ
の説明を省略する。
の符号化装置を用いた応用システム構成である。図14
において、図8と同様な部分には同一符号を付加し、そ
の説明を省略する。
【0058】撮像器1100はカメラであり、画像を撮
像し画像信号を出力する撮像器であり、同時にカメラの
動きを示すパラメータを出力する。符号化装置1401
は図13に示す符号化装置である。
像し画像信号を出力する撮像器であり、同時にカメラの
動きを示すパラメータを出力する。符号化装置1401
は図13に示す符号化装置である。
【0059】以上説明したことから明らかなように第3
の実施形態によれば、ある単位時間間隔におけるフレー
ムの動きベクトル探索において、予め決められた固体探
索範囲のブロックマッチング法(前記第1の探査モー
ド)を適用し、それ以外はブロックマッチング法から得
られた動きベクトルから探索範囲を決定することで探索
範囲を縮小することができ、より高速且つ簡便に動きベ
クトルを探索することができる(前記第2の探索モー
ド)。
の実施形態によれば、ある単位時間間隔におけるフレー
ムの動きベクトル探索において、予め決められた固体探
索範囲のブロックマッチング法(前記第1の探査モー
ド)を適用し、それ以外はブロックマッチング法から得
られた動きベクトルから探索範囲を決定することで探索
範囲を縮小することができ、より高速且つ簡便に動きベ
クトルを探索することができる(前記第2の探索モー
ド)。
【0060】また、カメラパラメータを入力すること
で、カメラの動きに探索範囲を追従させることで、探索
範囲を容易に判定することができ、結果として復号画像
品質の低下を防ぐことができる。
で、カメラの動きに探索範囲を追従させることで、探索
範囲を容易に判定することができ、結果として復号画像
品質の低下を防ぐことができる。
【0061】尚、第3の実施形態ではカメラパラメータ
を角度値としたが、カメラの動きを示すそのほかのパラ
メータでもかまわない。
を角度値としたが、カメラの動きを示すそのほかのパラ
メータでもかまわない。
【0062】(第4の実施形態)上記第1〜第3の実施
形態で説明した動きベクトル検索装置、符号化装置によ
る処理はコンピュータにより実行することができる。
形態で説明した動きベクトル検索装置、符号化装置によ
る処理はコンピュータにより実行することができる。
【0063】図15は、本発明に係わる実施形態のコン
ピュータの構成を示すブロック図である。中央演算装置
(CPU)1500はコンピュータ全体の制御、及び種々
の処理を行う。メモリ1501にはコンピュータ全体を
制御し、各種ソフトウエアを動作させるためのオペレー
ティングシステム(OS)や動作させるソフトウエアを格
納し、画像データを符号化のために読み込むエリア、一
時的に符号データを格納する符号エリア、各種演算のパ
ラメータ等を格納しておくワーキングエリアが存在す
る。バス1502は種々の装置をつなぎ、データ、制御
信号をやりとりする通信路である。
ピュータの構成を示すブロック図である。中央演算装置
(CPU)1500はコンピュータ全体の制御、及び種々
の処理を行う。メモリ1501にはコンピュータ全体を
制御し、各種ソフトウエアを動作させるためのオペレー
ティングシステム(OS)や動作させるソフトウエアを格
納し、画像データを符号化のために読み込むエリア、一
時的に符号データを格納する符号エリア、各種演算のパ
ラメータ等を格納しておくワーキングエリアが存在す
る。バス1502は種々の装置をつなぎ、データ、制御
信号をやりとりする通信路である。
【0064】第1記憶装置1503は各種のソフトウエ
アを蓄積する。第2記憶装置1504は動画像データを
蓄積する。モニタ1505は画像やコンピュータからの
システムメッセージなどを表示する。
アを蓄積する。第2記憶装置1504は動画像データを
蓄積する。モニタ1505は画像やコンピュータからの
システムメッセージなどを表示する。
【0065】通信インターフェース1507は通信回路
に符号化データを送信する通信インターフェースであ
り、装置外部のLAN、公衆回線、無線回線、放送電波等
と接続されている。端末1506はコンピュータを起動
したり、ビットレート等の各種条件を設定したりする。
に符号化データを送信する通信インターフェースであ
り、装置外部のLAN、公衆回線、無線回線、放送電波等
と接続されている。端末1506はコンピュータを起動
したり、ビットレート等の各種条件を設定したりする。
【0066】図15の動作を説明する。上記のような構
成において、処理に先立ち、端末1506から第2記憶
装置1504に蓄積されている動画像データから符号化
する動画像データを選択し、コンピュータの起動が指示
される。すると、第1記憶装置1503に格納されてい
るソフトウエアがバス1502を介してメモリ1501
に展開され、ソフトウエアが起動される。そして、CPU
1500による第2記憶装置504に格納されている動
画像データの符号化動作は図5及び図6、又は図10、
又は図12に示したフローチャートに従ったプログラム
コード(前述のソフトウエア)が実行されることにな
る。
成において、処理に先立ち、端末1506から第2記憶
装置1504に蓄積されている動画像データから符号化
する動画像データを選択し、コンピュータの起動が指示
される。すると、第1記憶装置1503に格納されてい
るソフトウエアがバス1502を介してメモリ1501
に展開され、ソフトウエアが起動される。そして、CPU
1500による第2記憶装置504に格納されている動
画像データの符号化動作は図5及び図6、又は図10、
又は図12に示したフローチャートに従ったプログラム
コード(前述のソフトウエア)が実行されることにな
る。
【0067】以上の説明により、第4の実施形態で示し
たコンピュータは、第1〜3の実施形態における動きベ
クトル探索を実現する装置として機能する。
たコンピュータは、第1〜3の実施形態における動きベ
クトル探索を実現する装置として機能する。
【0068】上記第1〜第4の実施形態は、テレビ電
話、テレビ会議等の低速度回線において、固体範囲探索
型のブロックマッチング法に近い効果を示し、且つ簡易
的手法で探索回数を低減させた動きベクトル探索方法を
提供できる。
話、テレビ会議等の低速度回線において、固体範囲探索
型のブロックマッチング法に近い効果を示し、且つ簡易
的手法で探索回数を低減させた動きベクトル探索方法を
提供できる。
【0069】なお、上記実施形態は、何れも本発明を実
施するにあたっての具体化の例を示したものに過ぎず、
これらによって本発明の技術的範囲が限定的に解釈され
てはならないものである。すなわち、本発明はその技術
思想、またはその主要な特徴から逸脱することなく、様
々な形で実施することができる。
施するにあたっての具体化の例を示したものに過ぎず、
これらによって本発明の技術的範囲が限定的に解釈され
てはならないものである。すなわち、本発明はその技術
思想、またはその主要な特徴から逸脱することなく、様
々な形で実施することができる。
【0070】
【発明の効果】以上説明したように、固定範囲探索型の
ブロックマッチング法に近い効果を示しつつ、且つ簡易
的手法で探索回数を低減させた動きベクトル探索技術を
提供することができる。
ブロックマッチング法に近い効果を示しつつ、且つ簡易
的手法で探索回数を低減させた動きベクトル探索技術を
提供することができる。
【図1】マクロブロックの構成を説明する図である。
【図2】本発明の第1の実施形態としての動きベクトル
探索装置の構成を示すブロック図である。
探索装置の構成を示すブロック図である。
【図3】ブロックマッチング法により動きベクトル検出
を説明するための図である。
を説明するための図である。
【図4】本発明の第1の実施形態としての動きベクトル
探索モードの切り替えタイミングの例を示す図である。
探索モードの切り替えタイミングの例を示す図である。
【図5】図1の探索モード判定器100の動作を示すフ
ローチャートである。
ローチャートである。
【図6】図1の第2探索器106の動作を説明するフロ
ーチャートである。
ーチャートである。
【図7】本発明に係わる符号化装置の構成を示すブロッ
ク図である。
ク図である。
【図8】図7の符号化装置を用いた応用システム構成を
説明する図である。
説明する図である。
【図9】本発明の第2の実施形態としての動きベクトル
探索装置の構成を示すブロック図である。
探索装置の構成を示すブロック図である。
【図10】図9の探索モード判定器900の動作を示す
フローチャートである。
フローチャートである。
【図11】本発明の第3の実施形態としての動きベクト
ル探索装置の構成を示すブロック図である。
ル探索装置の構成を示すブロック図である。
【図12】図11の探索モード判定器1100の動作を
示すフローチャートである。
示すフローチャートである。
【図13】第3の実施形態における図11の動きベクト
ル探索装置を用いた符号化装置を示す図である。
ル探索装置を用いた符号化装置を示す図である。
【図14】第3の実施形態における図13の符号化装置
を用いた応用システム構成を示す図である。
を用いた応用システム構成を示す図である。
【図15】本発明に係わる実施形態のコンピュータの構
成を示すブロック図である。
成を示すブロック図である。
100 探索モード判定器
101 フレームメモリ
102 動きベクトルメモリ
103 スイッチ
104 絶対値化器
105 第1探索器
106 第2探索器
700 MB化器
701 符号化器
702 GOV内フレームカウンタ
703 探索器
900 探索モード判定器
1100 探索モード判定器
1300 探索器
1500 CPU
1501 メモリ
1502 バス
1503 第1の記憶装置
1504 第2の記憶装置
1505 モニタ
1506 操作部
1507 通信I/F
─────────────────────────────────────────────────────
フロントページの続き
Fターム(参考) 5C059 KK19 MA00 MA05 NN01 NN03
NN08 NN11 NN28 NN41 PP05
PP06 PP16 RA08 SS07 SS20
TA63 TB03 TB07 TC00 TC12
TC31 TC41 TC42 TD05 TD06
TD12 UA02 UA31
5J064 AA03 BA13 BC01 BC08 BC14
BC29 BD03 BD04
Claims (16)
- 【請求項1】 入力された現在のフレームの画像データ
及び直前のフレームの画像データを基に固定の探索範囲
で動きベクトル探索を行う第1の動きベクトル検出手段
と、 動きベクトル探索を行う探索範囲を前回検出された動き
ベクトルに応じて設定し、現在のフレームの画像データ
及び直前のフレームの画像データを基に前記設定された
探索範囲で動きベクトル探索を行う第2の動きベクトル
検出手段と、 前記第1の動きベクトル検出手段による処理と前記第2
の動きベクトル検出手段による処理とを選択する選択手
段とを有することを特徴とする画像処理装置。 - 【請求項2】 前記第2の動きベクトル検出手段は、前
回検出された動きベクトルの絶対値に応じた探索範囲を
設定することを特徴とする請求項1に記載された画像処
理装置。 - 【請求項3】 前記選択手段は、前記第1の動きベクト
ル検出手段の処理を所定数のフレーム間隔で実行するこ
とを特徴とする請求項1又は2に記載された画像処理装
置。 - 【請求項4】 前記第1の動きベクトル検出手段及び前
記第2の動きベクトル検出手段は、フレーム画像をマク
ロブロック単位に分割してブロックマッチング法により
動きベクトルを検出することを特徴とする請求項1〜3
の何れか1項に記載された画像処理装置。 - 【請求項5】 前記第2の動きベクトル検出手段は、前
回検出された動きベクトルの水平或いは垂直方向の大き
さが所定値よりも小さい場合、前記所定値に応じて設定
されて探索範囲で動きベクトルを探索することを特徴と
する請求項1〜4の何れか1項に記載された画像処理装
置。 - 【請求項6】 前記第2の動きベクトル検出手段は、今
回検出されて動きベクトルの水平或いは垂直方向の大き
さが前回検出された動きベクトルの水平或いは垂直方向
の大きさと一致した場合、次回の探索範囲は今回検出さ
れた動きベクトルの大きさに所定値を加えた値に応じて
探索範囲を設定して動きベクトルを探索することを特徴
とする請求項1〜5のいずれか1項に記載された画像処
理装置。 - 【請求項7】 前記第2の動きベクトル検出手段は、各
フレームのおける探索結果の累積誤差値を演算し、前記
選択手段は、前記累積誤差値に応じて前記第1の動きベ
クトル検出手段による処理と前記第2の動きベクトル検
出手段による処理とを選択することを特徴とする請求項
1〜6のいずれか1項に記載された画像処理装置。 - 【請求項8】 前記選択手段は、前記累積誤差値が所定
値よりも大きいときには前記第1の動きベクトル検出手
段による処理を選択することを特徴とする請求項7に記
載された画像処理装置。 - 【請求項9】 前記選択手段は、前記フレーム画像を得
るために用いられたカメラの動きパラメータを入力し、
前記動きパラメータに応じて前記第1の動きベクトル検
出手段による処理と前記第2の動きベクトル検出手段に
よる処理とを選択することを特徴とする請求項1に記載
された画像処理装置。 - 【請求項10】 前記カメラの動きパラメータは、カメ
ラの角度変化値であることを特徴とする請求項9に記載
された画像処理装置。 - 【請求項11】 前記選択手段は、前記カメラの角度変
化値が所定値よりも大きいときには前記第1の動きベク
トル検出手段による処理を選択することを特徴とする請
求項10に記載された画像処理装置。 - 【請求項12】 前記第1の動きベクトル検出手段或い
は前記第2の動きベクトル検出手段により得られた動き
ベクトルに応じて前記フレーム画像を符号化する符号化
手段を有することを特徴とする請求項1〜11のいずれ
か1項に記載された画像処理装置。 - 【請求項13】 前記符号化手段により符号化された画
像データを、ネットワークを介して外部装置に伝送する
伝送手段を有することを特徴とする請求項12に記載さ
れた画像処理装置。 - 【請求項14】 入力された現在のフレームの画像デー
タ及び直前のフレームの画像データを基に固定の探索範
囲で動きベクトル探索を行う第1の動きベクトル検出ス
テップと、 動きベクトル探索を行う探索範囲を前回検出された動き
ベクトルに応じて設定し、現在のフレームの画像データ
及び直前のフレームの画像データを基に前記設定された
探索範囲で動きベクトル探索を行う第2の動きベクトル
検出ステップと、 前記第1の動きベクトル検出ステップによる処理と前記
第2の動きベクトル検出ステップによる処理とを選択す
る選択ステップとを有することを特徴とする画像処理方
法。 - 【請求項15】 入力された現在のフレームの画像デー
タ及び直前のフレームの画像データを基に固定の探索範
囲で動きベクトル探索を行う第1の動きベクトル検出工
程と、 動きベクトル探索を行う探索範囲を前回検出された動き
ベクトルに応じて設定し、現在のフレームの画像データ
及び直前のフレームの画像データを基に前記設定された
探索範囲で動きベクトル探索を行う第2の動きベクトル
検出工程と、 前記第1の動きベクトル検出工程による処理と前記第2
の動きベクトル検出工程による処理とを選択する選択工
程とをコンピュータに実行させるためのプログラムを記
録したコンピュータ読み取り可能な記録媒体。 - 【請求項16】 入力された現在のフレームの画像デー
タ及び直前のフレームの画像データを基に固定の探索範
囲で動きベクトル探索を行う第1の動きベクトル検出工
程と、 動きベクトル探索を行う探索範囲を前回検出された動き
ベクトルに応じて設定し、現在のフレームの画像データ
及び直前のフレームの画像データを基に前記設定された
探索範囲で動きベクトル探索を行う第2の動きベクトル
検出工程と、 前記第1の動きベクトル検出工程による処理と前記第2
の動きベクトル検出工程による処理とを選択する選択工
程とをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002207399A JP2003143609A (ja) | 2001-08-21 | 2002-07-16 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
US10/217,402 US7447265B2 (en) | 2001-08-21 | 2002-08-14 | Image processing apparatus, image processing method, computer-readable recording medium, and program for performing motion vector search processing |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001-250393 | 2001-08-21 | ||
JP2001250393 | 2001-08-21 | ||
JP2002207399A JP2003143609A (ja) | 2001-08-21 | 2002-07-16 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003143609A true JP2003143609A (ja) | 2003-05-16 |
Family
ID=26620731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002207399A Pending JP2003143609A (ja) | 2001-08-21 | 2002-07-16 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7447265B2 (ja) |
JP (1) | JP2003143609A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295528A (ja) * | 2005-04-11 | 2006-10-26 | Pioneer Electronic Corp | 画像信号処理方法 |
JP2008067353A (ja) * | 2006-08-08 | 2008-03-21 | Canon Inc | 動きベクトル検出装置及び動きベクトル検出方法 |
JP2009044337A (ja) * | 2007-08-07 | 2009-02-26 | Panasonic Corp | 画像符号化装置および方法 |
JP2009044350A (ja) * | 2007-08-07 | 2009-02-26 | Panasonic Corp | 画像符号化装置および方法 |
JP2009147807A (ja) * | 2007-12-17 | 2009-07-02 | Fujifilm Corp | 画像処理装置 |
JP2011217421A (ja) * | 2006-08-08 | 2011-10-27 | Canon Inc | 動きベクトル検出装置及び動きベクトル検出方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143609A (ja) * | 2001-08-21 | 2003-05-16 | Canon Inc | 画像処理装置、画像処理方法、記録媒体及びプログラム |
US20050002459A1 (en) * | 2003-07-04 | 2005-01-06 | Protocom Technology Corporation | Method for determining display order of VOPs in decoder end of MPEG image system and device for executing the same |
JP4015084B2 (ja) * | 2003-08-20 | 2007-11-28 | 株式会社東芝 | 動きベクトル検出装置及び動きベクトル検出方法 |
US8019000B2 (en) * | 2005-02-24 | 2011-09-13 | Sanyo Electric Co., Ltd. | Motion vector detecting device |
US8009923B2 (en) * | 2006-03-14 | 2011-08-30 | Celestial Semiconductor, Inc. | Method and system for motion estimation with multiple vector candidates |
WO2013095322A1 (en) * | 2011-12-19 | 2013-06-27 | Intel Corporation | Exhaustive sub-macroblock shape candidate save and restore protocol for motion estimation |
KR101347062B1 (ko) * | 2012-06-27 | 2014-01-10 | 숭실대학교산학협력단 | 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법 |
CN113177481B (zh) * | 2021-04-29 | 2023-09-29 | 北京百度网讯科技有限公司 | 目标检测方法、装置、电子设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
TW283289B (ja) * | 1994-04-11 | 1996-08-11 | Gen Instrument Corp | |
KR0148154B1 (ko) * | 1994-06-15 | 1998-09-15 | 김광호 | 움직임크기에 따른 동영상데이타의 부호화방법 및 장치 |
US5579050A (en) * | 1995-03-09 | 1996-11-26 | Daewoo Electronics Co., Ltd. | Apparatus for encoding a video signal using a search grid |
US5774593A (en) * | 1995-07-24 | 1998-06-30 | University Of Washington | Automatic scene decomposition and optimization of MPEG compressed video |
JP3994445B2 (ja) * | 1995-12-05 | 2007-10-17 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
US6005981A (en) * | 1996-04-11 | 1999-12-21 | National Semiconductor Corporation | Quadtree-structured coding of color images and intra-coded images |
JP3774954B2 (ja) * | 1996-10-30 | 2006-05-17 | 株式会社日立製作所 | 動画像の符号化方法 |
EP0889651B1 (en) * | 1996-12-12 | 2006-03-08 | Matsushita Electric Industrial Co., Ltd | Picture encoder and picture decoder |
AU5577398A (en) * | 1997-02-14 | 1998-09-08 | Nippon Telegraph & Telephone Corporation | Predictive coding method and decoding method for dynamic image |
JPH11275587A (ja) * | 1998-03-20 | 1999-10-08 | Pioneer Electron Corp | 動きベクトル生成装置、画像符号化装置、動きベクトル生成方法及び画像符号化方法 |
US6081209A (en) * | 1998-11-12 | 2000-06-27 | Hewlett-Packard Company | Search system for use in compression |
US6859494B2 (en) * | 2001-07-27 | 2005-02-22 | General Instrument Corporation | Methods and apparatus for sub-pixel motion estimation |
JP2003143609A (ja) * | 2001-08-21 | 2003-05-16 | Canon Inc | 画像処理装置、画像処理方法、記録媒体及びプログラム |
-
2002
- 2002-07-16 JP JP2002207399A patent/JP2003143609A/ja active Pending
- 2002-08-14 US US10/217,402 patent/US7447265B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295528A (ja) * | 2005-04-11 | 2006-10-26 | Pioneer Electronic Corp | 画像信号処理方法 |
JP2008067353A (ja) * | 2006-08-08 | 2008-03-21 | Canon Inc | 動きベクトル検出装置及び動きベクトル検出方法 |
JP2011217421A (ja) * | 2006-08-08 | 2011-10-27 | Canon Inc | 動きベクトル検出装置及び動きベクトル検出方法 |
US8345761B2 (en) | 2006-08-08 | 2013-01-01 | Canon Kabushiki Kaisha | Motion vector detection apparatus and motion vector detection method |
JP2009044337A (ja) * | 2007-08-07 | 2009-02-26 | Panasonic Corp | 画像符号化装置および方法 |
JP2009044350A (ja) * | 2007-08-07 | 2009-02-26 | Panasonic Corp | 画像符号化装置および方法 |
US8542740B2 (en) | 2007-08-07 | 2013-09-24 | Panasonic Corporation | Image coding apparatus and method for converting first coded data coded into second coded data based on picture type |
US8548058B2 (en) | 2007-08-07 | 2013-10-01 | Panasonic Corporation | Image coding apparatus and method for re-recording decoded video data |
JP2009147807A (ja) * | 2007-12-17 | 2009-07-02 | Fujifilm Corp | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US7447265B2 (en) | 2008-11-04 |
US20030039311A1 (en) | 2003-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5539469A (en) | Apparatus for determining motion vectors through the use of an adaptive median filtering technique | |
US9503735B2 (en) | Moving image coding apparatus and moving image decoding apparatus | |
JP2003143609A (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
JP2001169288A (ja) | 動きベクトル探索装置および方法 | |
JPH07193823A (ja) | 映像データ・ブロック変換システム | |
EP2675165A1 (en) | Video-image encoding/decoding method, encoding apparatus, decoding apparatus and system thereof | |
JPH05328333A (ja) | 動きベクトル検出装置 | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
JP2003324743A (ja) | 動きベクトル探索装置及び動きベクトル探索方法 | |
EP0720356B1 (en) | Apparatus for determining motion vectors | |
EP1460854A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
JPH0832969A (ja) | 動きベクトル検出装置 | |
KR20150060730A (ko) | 인터-이미지 예측 방법과 디바이스 및 대응하는 인코딩 방법과 디바이스 | |
JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
KR100397055B1 (ko) | 저전송율 영상통신을 위한 움직임 예측기 구조 | |
JP5299820B2 (ja) | 画像処理装置及び動画像符号化装置。 | |
JPH07240927A (ja) | 映像符号化装置 | |
KR100208984B1 (ko) | 물체의 윤곽선을 이용한 움직임 벡터 추정 장치 | |
JP2835252B2 (ja) | 画像信号の動き検出装置 | |
JPH1013836A (ja) | 動きベクトル検出装置 | |
JP4003149B2 (ja) | 画像符号化装置及びその方法 | |
KR0174936B1 (ko) | 적응적 메디안 필터링 기법을 사용한 움직임벡터 검출장치 | |
KR0174932B1 (ko) | 움직임 벡터 검출장치 | |
JP3694052B2 (ja) | 動きベクトル検知装置 | |
JPH0799645A (ja) | 動きベクトル検出回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070213 |