JPH0993581A - 動画像符号化装置の動き検出装置 - Google Patents
動画像符号化装置の動き検出装置Info
- Publication number
- JPH0993581A JPH0993581A JP24205795A JP24205795A JPH0993581A JP H0993581 A JPH0993581 A JP H0993581A JP 24205795 A JP24205795 A JP 24205795A JP 24205795 A JP24205795 A JP 24205795A JP H0993581 A JPH0993581 A JP H0993581A
- Authority
- JP
- Japan
- Prior art keywords
- arithmetic unit
- block
- search
- pixel
- motion detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000000593 degrading effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000006073 displacement reaction Methods 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】本発明は動き補償予測を行う動画像符号化装置
の動き検出装置に関し、動き検出の検索精度を低下させ
ることなく回路規模を削減することを目的とする。 【解決手段】ブロックマッチングにより動き検出を行う
動き補償予測型動画像符号化装置の動き検出装置であっ
て、現画面のブロックと前画面のブロックの各画素の差
分を計算する複数の演算器からなる第１の演算器群を備
え、該第１の演算器群の各演算器は画素桁精度よりも低
い計算精度で構成し、動き検出は、第１段階として該第
１の演算器群を用いて検索し、第２段階として該第１の
演算器群を２以上の演算器を互いに組み合わせて高精度
化した複数の演算器組に分けて第２の演算器群を構成し
てこの該第２の演算器群を用い複数回の演算を行うこと
で検索することで行うように構成した。
の動き検出装置に関し、動き検出の検索精度を低下させ
ることなく回路規模を削減することを目的とする。 【解決手段】ブロックマッチングにより動き検出を行う
動き補償予測型動画像符号化装置の動き検出装置であっ
て、現画面のブロックと前画面のブロックの各画素の差
分を計算する複数の演算器からなる第１の演算器群を備
え、該第１の演算器群の各演算器は画素桁精度よりも低
い計算精度で構成し、動き検出は、第１段階として該第
１の演算器群を用いて検索し、第２段階として該第１の
演算器群を２以上の演算器を互いに組み合わせて高精度
化した複数の演算器組に分けて第２の演算器群を構成し
てこの該第２の演算器群を用い複数回の演算を行うこと
で検索することで行うように構成した。
Description
【０００１】
【発明の属する技術分野】本発明は動き補償予測を行う
動画像符号化装置の動き検出装置に関する。
動画像符号化装置の動き検出装置に関する。
【０００２】Ｈ２６１やＭＰＥＧ−１，ＭＰＥＧ−２と
いった最近の国際標準動画像符号化方式では、動きをブ
ロックマッチングで検出するフレ−ム間動き補償予測が
採用されている。図５はこの動き検出のためのブロック
マッチングの概念を説明する図である。図示するよう
に、現画面中の画素のブロックを前画面中の所定の検索
範囲内の複数のブロックと比較して両者の各画素値の差
分合計値が最も少ないブロックを検索し、その検索した
ブロックが前画面から現画面のブロックに移動したとし
て動きを検出するものである。
いった最近の国際標準動画像符号化方式では、動きをブ
ロックマッチングで検出するフレ−ム間動き補償予測が
採用されている。図５はこの動き検出のためのブロック
マッチングの概念を説明する図である。図示するよう
に、現画面中の画素のブロックを前画面中の所定の検索
範囲内の複数のブロックと比較して両者の各画素値の差
分合計値が最も少ないブロックを検索し、その検索した
ブロックが前画面から現画面のブロックに移動したとし
て動きを検出するものである。
【０００３】ここで、実用的な、すなわち効果のある動
き補償予測を行うためには、探索範囲をある程度広くす
ることが必要であるが、これに伴って演算量と画像メモ
リからのデ−タ読出しが膨大なものとなる。
き補償予測を行うためには、探索範囲をある程度広くす
ることが必要であるが、これに伴って演算量と画像メモ
リからのデ−タ読出しが膨大なものとなる。
【０００４】具体的な数値をあげると、たとえば１画面
のサイズを７２０画素×４８０ライン、フレ−ム周波数
を３０Ｈｚ、１画素あたりの値（輝度値）を８ビット、
マッチングを行うブロックサイズを１６画素×１６ライ
ン、探索範囲をそれぞれ上下１５ライン、左右１５画素
とした場合、 ブロック数は 720×480 ×30÷(16 ×16) =40,500 ブロ
ック／秒 ベクトル数は (15×2+1)×(15 ×2+1)=961ベクトル／ブ
ロック となり、したがって差分演算は 16 ×16×961 ×40,500=9,963,648,000回／秒 が必要である。
のサイズを７２０画素×４８０ライン、フレ−ム周波数
を３０Ｈｚ、１画素あたりの値（輝度値）を８ビット、
マッチングを行うブロックサイズを１６画素×１６ライ
ン、探索範囲をそれぞれ上下１５ライン、左右１５画素
とした場合、 ブロック数は 720×480 ×30÷(16 ×16) =40,500 ブロ
ック／秒 ベクトル数は (15×2+1)×(15 ×2+1)=961ベクトル／ブ
ロック となり、したがって差分演算は 16 ×16×961 ×40,500=9,963,648,000回／秒 が必要である。
【０００５】この演算の動作速度を５０ＭＨｚと仮定す
ると、 9,963,648,000/50MHZ =199.27 となるから、２００以上の演算を並行して行わなければ
ならないことが判る。実際にはこの値を上回り、かつブ
ロックサイズである２５６とも整合性があり、さらにＬ
ＳＩの高集積化もあって、演算器を２５６個並べること
が多くなってきている。この演算器は画像の精度のビッ
ト精度でそれぞれ構成される。
ると、 9,963,648,000/50MHZ =199.27 となるから、２００以上の演算を並行して行わなければ
ならないことが判る。実際にはこの値を上回り、かつブ
ロックサイズである２５６とも整合性があり、さらにＬ
ＳＩの高集積化もあって、演算器を２５６個並べること
が多くなってきている。この演算器は画像の精度のビッ
ト精度でそれぞれ構成される。
【０００６】このように従来装置では演算器の回路規模
がかなり大きくなるので、回路規模を削減することが要
求される。そこで画像の精度を例えば８ビットとする
と、演算にはその８ビット中の例えば上位４ビットのみ
を用いることにすれば、各演算器を４ビットで構成する
ことができるので、回線規模はほぼ半分となる。しかし
下位ビットが表す詳細な情報を切り捨てることから、動
き検出性能が低下するという問題がある。
がかなり大きくなるので、回路規模を削減することが要
求される。そこで画像の精度を例えば８ビットとする
と、演算にはその８ビット中の例えば上位４ビットのみ
を用いることにすれば、各演算器を４ビットで構成する
ことができるので、回線規模はほぼ半分となる。しかし
下位ビットが表す詳細な情報を切り捨てることから、動
き検出性能が低下するという問題がある。
【０００７】一方、ＭＰＥＧ−１、ＭＰＥＧ−２では、
画素デ−タが存在する整数位置だけでなく、水平・垂直
それぞれの中間位置に周辺の画素の値を用いて画素を補
間し、それを予測値の候補とする方式が導入されてい
る。
画素デ−タが存在する整数位置だけでなく、水平・垂直
それぞれの中間位置に周辺の画素の値を用いて画素を補
間し、それを予測値の候補とする方式が導入されてい
る。
【０００８】図６はこの補間方式を説明する図である。
図６において、実線で示す○は整数位置にある参照画
素、点線の○は隣接する実線の画素から補間された参照
画素である。参照される画面にある実線の○画素から成
るブロックと、点線の○から成るブロックを合わせたも
のの中から最適なブロックが選択（探索）される。
図６において、実線で示す○は整数位置にある参照画
素、点線の○は隣接する実線の画素から補間された参照
画素である。参照される画面にある実線の○画素から成
るブロックと、点線の○から成るブロックを合わせたも
のの中から最適なブロックが選択（探索）される。
【０００９】ここで一般には、上述の補間方式における
動き検出では、演算量を減らすために、まず第１段階と
して整数画素（実線の○）のみを対象として最適位置を
探索し、次いで第２段階として第１段階で検索した最適
位置の周囲の８個の半画素精度の補間画素（点線の○）
を対象として更に探索が行われる。
動き検出では、演算量を減らすために、まず第１段階と
して整数画素（実線の○）のみを対象として最適位置を
探索し、次いで第２段階として第１段階で検索した最適
位置の周囲の８個の半画素精度の補間画素（点線の○）
を対象として更に探索が行われる。
【００１０】この整数画素単位、半画素単位の探索につ
いて説明する。以降、説明を簡単にするために１次元の
画素列の場合について考えることにする。２次元につい
ては同じ処理を垂直方向に並列に行うことによって可能
だからである。
いて説明する。以降、説明を簡単にするために１次元の
画素列の場合について考えることにする。２次元につい
ては同じ処理を垂直方向に並列に行うことによって可能
だからである。
【００１１】探索の元になる原画像の画素列をＡ0 〜Ａ
X 、参照する画像の画素列をＢ0 〜Ｂz とする。まず、
第１段階の整数画素単位探索とはＡ0 〜ＡX と最も近い
Ｂy〜Ｂy+x を求めることである。つまり図７で下式の
合計値Ｓｕｍが最小となる位置ｙを求めることである。 Ｓｕｍ（ｙ）＝Σ｜Ａi −Ｂy+i ｜ （１） 但し、Σはｉ＝０からｘまでの加算
X 、参照する画像の画素列をＢ0 〜Ｂz とする。まず、
第１段階の整数画素単位探索とはＡ0 〜ＡX と最も近い
Ｂy〜Ｂy+x を求めることである。つまり図７で下式の
合計値Ｓｕｍが最小となる位置ｙを求めることである。 Ｓｕｍ（ｙ）＝Σ｜Ａi −Ｂy+i ｜ （１） 但し、Σはｉ＝０からｘまでの加算
【００１２】ここで画素Ａ，Ｂの精度はそれぞれｎビッ
トとする。この探索に必要な回路を図８に示す。Ｓ0 〜
Ｓx はそれぞれ減算器であり、ｎビットの入力をもち、
画素Ａ，Ｂがそれぞれ入力されて両者の減算結果を絶対
値として出力する。加算器４は各減算器Ｓ0 〜Ｓx の減
算結果を加算して合計値Ｓｕｍとして出力する。この回
路では、比較する画素の個数ｘ＋１と同じ数の減算器が
必要になる。探索範囲内でｙを変化させ合計値Ｓｕｍが
最小である変位ｙを求め、これを検索結果の変位Ｙとす
る。
トとする。この探索に必要な回路を図８に示す。Ｓ0 〜
Ｓx はそれぞれ減算器であり、ｎビットの入力をもち、
画素Ａ，Ｂがそれぞれ入力されて両者の減算結果を絶対
値として出力する。加算器４は各減算器Ｓ0 〜Ｓx の減
算結果を加算して合計値Ｓｕｍとして出力する。この回
路では、比較する画素の個数ｘ＋１と同じ数の減算器が
必要になる。探索範囲内でｙを変化させ合計値Ｓｕｍが
最小である変位ｙを求め、これを検索結果の変位Ｙとす
る。
【００１３】次に、第２段階の半画素単位の探索とは、
図９に示す画素Ａ，Ｃについて下式に示す合計値Ｓｕｍ
が最小となる位置Ｕを求めることである。ここで画素Ｃ
は参照画素Ｂから補間により求めた半画素精度の補間画
素である。 Ｃi （ｕ）＝（Ｂi+u ＋Ｂi+u+1 ）／２ （２） Ｓｕｍ（ｕ）＝Σ｜Ａi −Ｃi （ｕ）｜ （３） Ｓｕｍ（ｕ）＝ minu Ｓｕｍ（ｕ) （４）
図９に示す画素Ａ，Ｃについて下式に示す合計値Ｓｕｍ
が最小となる位置Ｕを求めることである。ここで画素Ｃ
は参照画素Ｂから補間により求めた半画素精度の補間画
素である。 Ｃi （ｕ）＝（Ｂi+u ＋Ｂi+u+1 ）／２ （２） Ｓｕｍ（ｕ）＝Σ｜Ａi −Ｃi （ｕ）｜ （３） Ｓｕｍ（ｕ）＝ minu Ｓｕｍ（ｕ) （４）
【００１４】ここで、Ａ，Ｂ，Ｃの精度はそれぞれｎビ
ットとする。通常、半画素単位の探索は整数画素単位で
求められたＹの周辺の隣り合った位置（Ｙ−１≦ｕ≦Ｙ
＋１）につていてだけ計算する。この探索に必要な回路
を図１０に示す。やはり比較する画素の個数ｘ＋１と同
じ数の減算器が必要になり、各減算器の精度はｎビット
が必要である。
ットとする。通常、半画素単位の探索は整数画素単位で
求められたＹの周辺の隣り合った位置（Ｙ−１≦ｕ≦Ｙ
＋１）につていてだけ計算する。この探索に必要な回路
を図１０に示す。やはり比較する画素の個数ｘ＋１と同
じ数の減算器が必要になり、各減算器の精度はｎビット
が必要である。
【００１５】この補間方式の動き検出の場合にも、回路
規模の削減のために減算器の演算精度を落とすことが考
えられる。しかしその場合には前述同様に、探索精度が
著しく低下する。
規模の削減のために減算器の演算精度を落とすことが考
えられる。しかしその場合には前述同様に、探索精度が
著しく低下する。
【００１６】一方、これらの並列配置された演算器は同
一の構成をもつため、個々の演算器の回線規模を削減す
ることができれば演算器の数が多いだけその効果は大で
ある。例えば前述の例では１個の演算器の削減効果の２
５６倍にもなる。
一の構成をもつため、個々の演算器の回線規模を削減す
ることができれば演算器の数が多いだけその効果は大で
ある。例えば前述の例では１個の演算器の削減効果の２
５６倍にもなる。
【００１７】本発明は以上のような技術的諸問題に鑑み
てなされたものであり、動き検出の検索精度を低下させ
ることなく回路規模を削減することを目的とする。
てなされたものであり、動き検出の検索精度を低下させ
ることなく回路規模を削減することを目的とする。
【００１８】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明においては、ブロックマッチングにより動
き検出を行う動き補償予測型動画像符号化装置の動き検
出装置であって、現画面のブロックと前画面のブロック
の各画素の差分を計算する複数の演算器からなる第１の
演算器群を備え、該第１の演算器群の各演算器は画素桁
精度よりも低い計算精度で構成し、動き検出は、第１段
階として該第１の演算器群を用いて検索範囲内のブロッ
クのうちから差分の最も小さいブロックを検索し、第２
段階として該第１の演算器群を２以上の演算器を互いに
組み合わせて高精度化した複数の演算器組に分けて第２
の演算器群を構成し、該第１段階で検索したブロックを
含むその周辺のブロックに対して１ブロックの画素を複
数に分割して該第２の演算器群を用い複数回の演算を行
うことで差分の最も小さいブロックを検索することで行
うように構成した動画像符号化装置の動き検出装置が提
供される。
めに、本発明においては、ブロックマッチングにより動
き検出を行う動き補償予測型動画像符号化装置の動き検
出装置であって、現画面のブロックと前画面のブロック
の各画素の差分を計算する複数の演算器からなる第１の
演算器群を備え、該第１の演算器群の各演算器は画素桁
精度よりも低い計算精度で構成し、動き検出は、第１段
階として該第１の演算器群を用いて検索範囲内のブロッ
クのうちから差分の最も小さいブロックを検索し、第２
段階として該第１の演算器群を２以上の演算器を互いに
組み合わせて高精度化した複数の演算器組に分けて第２
の演算器群を構成し、該第１段階で検索したブロックを
含むその周辺のブロックに対して１ブロックの画素を複
数に分割して該第２の演算器群を用い複数回の演算を行
うことで差分の最も小さいブロックを検索することで行
うように構成した動画像符号化装置の動き検出装置が提
供される。
【００１９】回線規模の削減に直接的な効果があるの
は、演算精度の低減である。そこで、本発明の動き検出
装置では、第１段階の検索ではブロックの画素の下位桁
を省略して第１の演算器群で検索を行うことでこの検索
に必要な演算器の計算精度を低くして全体の回路規模を
削減している。そして、第２段階の検索では第２の演算
器群により第１段階の検索よりも多い桁を演算に用いる
ことで検索精度を上げている。
は、演算精度の低減である。そこで、本発明の動き検出
装置では、第１段階の検索ではブロックの画素の下位桁
を省略して第１の演算器群で検索を行うことでこの検索
に必要な演算器の計算精度を低くして全体の回路規模を
削減している。そして、第２段階の検索では第２の演算
器群により第１段階の検索よりも多い桁を演算に用いる
ことで検索精度を上げている。
【００２０】この動き検出装置による探索動作を説明す
る。ここでは前述同様に、説明を簡単化するために１次
元の画素列の場合を例にする。２次元については同じ処
理を垂直方向に並列に行うことによって行える。
る。ここでは前述同様に、説明を簡単化するために１次
元の画素列の場合を例にする。２次元については同じ処
理を垂直方向に並列に行うことによって行える。
【００２１】探索の元になる原画像の画素列をＡ0 〜Ａ
X 、参照する画像の画素列をＢ0 〜Ｂz とする。第１段
階の探索ではＡ0 〜ＡX と最も近いＢy 〜Ｂy+x を求め
る。つまり前記の（１）式のＳｕｍが最小となる位置ｙ
を求める。
X 、参照する画像の画素列をＢ0 〜Ｂz とする。第１段
階の探索ではＡ0 〜ＡX と最も近いＢy 〜Ｂy+x を求め
る。つまり前記の（１）式のＳｕｍが最小となる位置ｙ
を求める。
【００２２】ここでＡ，Ｂの桁精度はそれぞれｎビット
とする。この第１段階の探索に必要な回路を図２に示
す。第１段階の検索では、演算器Ｓ0 〜Ｓx に計算精度
（ｎ−ｍ）ビットのものを用いて行い、画素列Ａ，Ｂは
最上位桁（ＭＳＢ）側の（ｎ−ｍ）ビットを各演算器Ｓ
0 〜Ｓx に入力する。
とする。この第１段階の探索に必要な回路を図２に示
す。第１段階の検索では、演算器Ｓ0 〜Ｓx に計算精度
（ｎ−ｍ）ビットのものを用いて行い、画素列Ａ，Ｂは
最上位桁（ＭＳＢ）側の（ｎ−ｍ）ビットを各演算器Ｓ
0 〜Ｓx に入力する。
【００２３】第１段階の検索で差分が最小の画素列Ｂy
〜Ｂy+x が求められたら、その検索した画素列を含むそ
の周辺にある画素列を求め、これを画素列Ｃとする。
〜Ｂy+x が求められたら、その検索した画素列を含むそ
の周辺にある画素列を求め、これを画素列Ｃとする。
【００２４】第２段階の探索は１画素あたりの差分計算
に使用する演算器をｐ個にし、演算精度をＡ，Ｃそれぞ
れｐ倍｛ｐ×（ｎ−ｍ）ビット｝として行う（図１）。
この場合、同時に差分計算する画素数が１／ｐ個になる
ため（ｘ＋１）個画素の差分を求めるためにｐ回の演算
が必要になる。よって各回の演算結果を加算器４とメモ
リ７を用いて順次に累算していき、ｐ回演算した後に最
終結果を得る。
に使用する演算器をｐ個にし、演算精度をＡ，Ｃそれぞ
れｐ倍｛ｐ×（ｎ−ｍ）ビット｝として行う（図１）。
この場合、同時に差分計算する画素数が１／ｐ個になる
ため（ｘ＋１）個画素の差分を求めるためにｐ回の演算
が必要になる。よって各回の演算結果を加算器４とメモ
リ７を用いて順次に累算していき、ｐ回演算した後に最
終結果を得る。
【００２５】この方法では演算回数が増加するため処理
時間の増加は避けられない。しかし第２段階の検索は第
１段階の探索範囲より狭い範囲（第１段階で検索したブ
ロックとその周辺ブロック）で行うため、処理時間の増
加は少ない。例えば第１段階で２次元でブロックの探索
を水平、垂直方向の３１点について行い、第２段階の探
索は第１段階の探索で求めたＹの周辺の８点について行
う場合を考える。このとき第１段階の探索に３１2 ＝９
６１点での演算が必要となるのに対し、第２段階の探索
に必要な演算回数ｐの割合は全体の１％以下である。
時間の増加は避けられない。しかし第２段階の検索は第
１段階の探索範囲より狭い範囲（第１段階で検索したブ
ロックとその周辺ブロック）で行うため、処理時間の増
加は少ない。例えば第１段階で２次元でブロックの探索
を水平、垂直方向の３１点について行い、第２段階の探
索は第１段階の探索で求めたＹの周辺の８点について行
う場合を考える。このとき第１段階の探索に３１2 ＝９
６１点での演算が必要となるのに対し、第２段階の探索
に必要な演算回数ｐの割合は全体の１％以下である。
【００２６】このように第１段階の探索の演算精度だけ
を減らす一方、第２段階の探索の演算精度を上げること
で、第１段階と第２段階で演算器を共有しながら、最終
的に求まる探索誤差を少なく抑えることができる。
を減らす一方、第２段階の探索の演算精度を上げること
で、第１段階と第２段階で演算器を共有しながら、最終
的に求まる探索誤差を少なく抑えることができる。
【００２７】上述の動き検出装置は、第２段階での検索
を、第１段階で検索したブロックを含むその周辺の補間
により求めたブロックに対して行うように構成すること
ができる。
を、第１段階で検索したブロックを含むその周辺の補間
により求めたブロックに対して行うように構成すること
ができる。
【００２８】前述したように、ＭＰＥＧ−１、ＭＰＥＧ
−２では、画素デ−タが存在する整数位置だけでなく、
水平・垂直それぞれの中間位置に周辺の画素の値を用い
て画素を補間し、それを予測値の候補とする方式が導入
されている。本発明はこの方式にも適用できる。
−２では、画素デ−タが存在する整数位置だけでなく、
水平・垂直それぞれの中間位置に周辺の画素の値を用い
て画素を補間し、それを予測値の候補とする方式が導入
されている。本発明はこの方式にも適用できる。
【００２９】すなわち、第１段階の検索を図６に○で示
す整数位置にある参照画素に対して行い、第２段階の検
索を第１段階の検索で求めた参照画素とその周辺の点線
の○で示す隣接する実線の画素から補間された参照画素
に対して行う。第１段階の整数画素探索には下位ビット
を省略し、第２段階の半画素探索は全てビット、あるい
は整数画素探索よりも多いビットを演算に用いること
で、検出精度を上げ、画質向上を図る。
す整数位置にある参照画素に対して行い、第２段階の検
索を第１段階の検索で求めた参照画素とその周辺の点線
の○で示す隣接する実線の画素から補間された参照画素
に対して行う。第１段階の整数画素探索には下位ビット
を省略し、第２段階の半画素探索は全てビット、あるい
は整数画素探索よりも多いビットを演算に用いること
で、検出精度を上げ、画質向上を図る。
【００３０】また本発明の動き検出装置は、第１段階で
の検索を、検索範囲内における全ブロックに対して行う
ことに代えて画素複数個置き（例えば１画素置き）の各
ブロックに対して行うように構成できる。
の検索を、検索範囲内における全ブロックに対して行う
ことに代えて画素複数個置き（例えば１画素置き）の各
ブロックに対して行うように構成できる。
【００３１】
【発明の実施の形態】以下、本発明の実施例を図面を参
照して説明する。図３、図４には本発明の一実施例とし
ての動画像符号化装置の動き検出装置が示される。この
実施例装置は、画素デ−タが存在する整数位置だけでな
く、水平・垂直それぞれの中間位置に周辺の画素の値を
用いて画素を補間し、それを予測値の候補とする方式の
動画像符号化装置に本発明を適用したものである。
照して説明する。図３、図４には本発明の一実施例とし
ての動画像符号化装置の動き検出装置が示される。この
実施例装置は、画素デ−タが存在する整数位置だけでな
く、水平・垂直それぞれの中間位置に周辺の画素の値を
用いて画素を補間し、それを予測値の候補とする方式の
動画像符号化装置に本発明を適用したものである。
【００３２】図中、１は現画面の画像データを記憶する
フレームメモリ、２は前画面の画像データを記憶するフ
レームメモリであり、画像データの各画素は８ビットか
らなる。３はフレームメモリ２から検索範囲にあるブロ
ックを読み出すアドレスを発生するアドレス発生器であ
る。
フレームメモリ、２は前画面の画像データを記憶するフ
レームメモリであり、画像データの各画素は８ビットか
らなる。３はフレームメモリ２から検索範囲にあるブロ
ックを読み出すアドレスを発生するアドレス発生器であ
る。
【００３３】Ｓ0 〜Ｓ15はそれぞれ４ビットの減算器で
あり、フレームメモリ１からの画素データとフレームメ
モリ２からの画素データがそれぞれ入力されて両者の差
分を計算する。４は各減算器Ｓ0 〜Ｓ15からの差分値を
加算する加算器である。５は比較器、６はメモリであ
り、比較器５はメモリ６の内容（ＳumＭin）と加算器４
の加算値ＳumＴmpを比較し、加算値ＳumＴmpが小さい場
合にそれを新たな加算値ＳumＭinとしてメモリ６に送出
する。このメモリ６には加算値ＳumＭinとともにその加
算値ＳumＭinに対応する変位Ｙも記憶される。
あり、フレームメモリ１からの画素データとフレームメ
モリ２からの画素データがそれぞれ入力されて両者の差
分を計算する。４は各減算器Ｓ0 〜Ｓ15からの差分値を
加算する加算器である。５は比較器、６はメモリであ
り、比較器５はメモリ６の内容（ＳumＭin）と加算器４
の加算値ＳumＴmpを比較し、加算値ＳumＴmpが小さい場
合にそれを新たな加算値ＳumＭinとしてメモリ６に送出
する。このメモリ６には加算値ＳumＭinとともにその加
算値ＳumＭinに対応する変位Ｙも記憶される。
【００３４】また図４において、７は累算用のメモリで
あり、メモリ７の出力を加算器４の入力側に戻すことに
より、複数回の演算にわたる加算器４の加算結果をメモ
リ７に累算できるようになっている。また８は補間画素
生成回路であり、フレームメモリ２の画素を補間して半
画素精度の補間画素を生成し、各減算器Ｓ0 〜Ｓ15に供
給する。
あり、メモリ７の出力を加算器４の入力側に戻すことに
より、複数回の演算にわたる加算器４の加算結果をメモ
リ７に累算できるようになっている。また８は補間画素
生成回路であり、フレームメモリ２の画素を補間して半
画素精度の補間画素を生成し、各減算器Ｓ0 〜Ｓ15に供
給する。
【００３５】以下、図３と図４を参照して実施例装置の
動作を説明する。この図３と図４は同じ減算器Ｓ0 〜Ｓ
15を使って、整数画素単位の検索を行う時（図３）と、
半画素単位の探索を行う時（図４）のそれぞれの接続形
態を示したものである。説明を簡略化するため、ここで
はベクトル探索の対象とする画素の個数を水平方向の１
６個のみとする。２次元画像については同様の回路を垂
直方向に並列にならべることで実現する。またそれぞれ
の画素値は８ビットで表現されるものとする。
動作を説明する。この図３と図４は同じ減算器Ｓ0 〜Ｓ
15を使って、整数画素単位の検索を行う時（図３）と、
半画素単位の探索を行う時（図４）のそれぞれの接続形
態を示したものである。説明を簡略化するため、ここで
はベクトル探索の対象とする画素の個数を水平方向の１
６個のみとする。２次元画像については同様の回路を垂
直方向に並列にならべることで実現する。またそれぞれ
の画素値は８ビットで表現されるものとする。
【００３６】図３の接続形態での動作について説明す
る。まず原画像の格納されたフレ−ムメモリ１から画素
Ａ0 〜Ａ15を順次読み出し、それぞれを減算器Ｓ0 〜Ｓ
15の入力とする。ここで各減算器Ｓ0 〜Ｓ15は減算結果
の絶対値をとって出力するものとする。またそれぞれの
減算器Ｓ0 〜Ｓ15の入力は４ビットのものを使用する。
そのため８ビットの画素ＡのＭＳＢ側の４ビットを入力
する。
る。まず原画像の格納されたフレ−ムメモリ１から画素
Ａ0 〜Ａ15を順次読み出し、それぞれを減算器Ｓ0 〜Ｓ
15の入力とする。ここで各減算器Ｓ0 〜Ｓ15は減算結果
の絶対値をとって出力するものとする。またそれぞれの
減算器Ｓ0 〜Ｓ15の入力は４ビットのものを使用する。
そのため８ビットの画素ＡのＭＳＢ側の４ビットを入力
する。
【００３７】次に参照画像用のフレ−ムメモリ２から比
較する画素Ｂy ，Ｂy+1 , ・・・,Ｂy+15を読みだし、
やはり減算器Ｓ0 〜Ｓ15の入力とする。こちらもやはり
ＭＳＢ側の４ビットだけを使用する。減算器Ｓ0 〜Ｓ15
によって入力されたＡ，Ｂの差分計算を行い、この差分
累積和を加算器４で求める。この計算をｙの値を探索範
囲内で変化させながら減算器Ｓ0 〜Ｓ15に順次に入力し
て行い、加算器４で求めた差分累積和ＳumＴmpをメモリ
６に格納されているそれまでの最小の差分累積和ＳumＭ
inと比較器５で比較する。加算器４の差分累積値ＳumＴ
mpがそれまでの差分累積和の最小値より小さい場合、そ
の差分累積値ＳumＴmpとその時の変位ｙを新たに最小値
ＳumＭinとしてメモリ６に格納する。このようにして全
検索範囲について検索して求めた最小値をＳumＭin、そ
の時の変位をＹとする。
較する画素Ｂy ，Ｂy+1 , ・・・,Ｂy+15を読みだし、
やはり減算器Ｓ0 〜Ｓ15の入力とする。こちらもやはり
ＭＳＢ側の４ビットだけを使用する。減算器Ｓ0 〜Ｓ15
によって入力されたＡ，Ｂの差分計算を行い、この差分
累積和を加算器４で求める。この計算をｙの値を探索範
囲内で変化させながら減算器Ｓ0 〜Ｓ15に順次に入力し
て行い、加算器４で求めた差分累積和ＳumＴmpをメモリ
６に格納されているそれまでの最小の差分累積和ＳumＭ
inと比較器５で比較する。加算器４の差分累積値ＳumＴ
mpがそれまでの差分累積和の最小値より小さい場合、そ
の差分累積値ＳumＴmpとその時の変位ｙを新たに最小値
ＳumＭinとしてメモリ６に格納する。このようにして全
検索範囲について検索して求めた最小値をＳumＭin、そ
の時の変位をＹとする。
【００３８】次に同じ減算器Ｓ0 〜Ｓ15をつかって図４
のような構成に接続を切り替える。まず原画像の格納さ
れたフレ−ムメモリ１から画素Ａ0 〜Ａ15のうちの半分
にあたる画素Ａ0 〜Ａ7 を順次に読み出し、それぞれを
減算器Ｓ0 , Ｓ1 , ・・・Ｓ 14，Ｓ15の入力とする。今
度はＡの精度を８ビットのままにするが、かわりに減算
器を１画素あたり２個使用して接続することにより８ビ
ット計算精度の減算器を構成する。すなわち１６個の減
算器Ｓ0 〜Ｓ15をそれぞれ二つずつ組み合わせてキャリ
ー信号線を接続し８ビット精度の減算器ペアーＳ0 ＋Ｓ
1 、Ｓ2 ＋Ｓ3，・・・Ｓ14＋Ｓ15を８個構成する。こ
の減算器ペアーの一方に画素データのＭＳＢ側４ビット
を、もう一方にＬＳＢ側４ビットを入力する。
のような構成に接続を切り替える。まず原画像の格納さ
れたフレ−ムメモリ１から画素Ａ0 〜Ａ15のうちの半分
にあたる画素Ａ0 〜Ａ7 を順次に読み出し、それぞれを
減算器Ｓ0 , Ｓ1 , ・・・Ｓ 14，Ｓ15の入力とする。今
度はＡの精度を８ビットのままにするが、かわりに減算
器を１画素あたり２個使用して接続することにより８ビ
ット計算精度の減算器を構成する。すなわち１６個の減
算器Ｓ0 〜Ｓ15をそれぞれ二つずつ組み合わせてキャリ
ー信号線を接続し８ビット精度の減算器ペアーＳ0 ＋Ｓ
1 、Ｓ2 ＋Ｓ3，・・・Ｓ14＋Ｓ15を８個構成する。こ
の減算器ペアーの一方に画素データのＭＳＢ側４ビット
を、もう一方にＬＳＢ側４ビットを入力する。
【００３９】次に半画素単位の参照画素Ｃを生成するた
め、参照画像用のフレ−ムメモリ２から画素Ｂu ，Ｂ
u+1 （Ｙ−１≦ｕ≦Ｙ＋１）を読み出して補間画素生成
回路８に入力し、ここで平均値を算出することで補間画
素Ｃu 〜Ｃu+7 を生成し、やはり減算器Ｓ0 〜Ｓ15の入
力とする。Ａ0 〜Ａ7 とＣu 〜Ｃu+7 の差分を計算し、
絶対値累積和とその変位ｕをメモリ７に格納する。
め、参照画像用のフレ−ムメモリ２から画素Ｂu ，Ｂ
u+1 （Ｙ−１≦ｕ≦Ｙ＋１）を読み出して補間画素生成
回路８に入力し、ここで平均値を算出することで補間画
素Ｃu 〜Ｃu+7 を生成し、やはり減算器Ｓ0 〜Ｓ15の入
力とする。Ａ0 〜Ａ7 とＣu 〜Ｃu+7 の差分を計算し、
絶対値累積和とその変位ｕをメモリ７に格納する。
【００４０】画素Ａ0 〜Ａ15のうちの残り半分の画素Ａ
8 〜Ａ15についても同様に計算し、既に求めてメモリ７
に格納してあるＡ0 〜Ａ7 の結果と合わせることで、Ａ
0 〜Ａ15とＣu 〜Ｃu+15についての差分絶対値和ＳumＴ
mpを求め、これをメモリ７にその時の変位ｕとともに格
納する。このため演算回数は整数画素単位の探索時の２
倍になるが、探索単位が少ないので処理時間の増加は大
きくない。
8 〜Ａ15についても同様に計算し、既に求めてメモリ７
に格納してあるＡ0 〜Ａ7 の結果と合わせることで、Ａ
0 〜Ａ15とＣu 〜Ｃu+15についての差分絶対値和ＳumＴ
mpを求め、これをメモリ７にその時の変位ｕとともに格
納する。このため演算回数は整数画素単位の探索時の２
倍になるが、探索単位が少ないので処理時間の増加は大
きくない。
【００４１】このメモリ７の差分累積値ＳumＴmpとメモ
リ６のそれまでの最小値ＳumＭinと比較して、最小値Ｓ
umＭinよりも小さければその値を新たな最小値ＳumＭin
としてその時の変位Ｕと共にメモリ６に格納する。この
ようにしてＡ0 〜Ａ15にもっとも近いＣu 〜Ｃu+15とな
る変位Ｕを求めることができる。
リ６のそれまでの最小値ＳumＭinと比較して、最小値Ｓ
umＭinよりも小さければその値を新たな最小値ＳumＭin
としてその時の変位Ｕと共にメモリ６に格納する。この
ようにしてＡ0 〜Ａ15にもっとも近いＣu 〜Ｃu+15とな
る変位Ｕを求めることができる。
【００４２】本発明の実施にあたっては種々の変形形態
が可能である。例えば上述の実施例は補間画素を作って
半画素精度の動き検出を行える動画像符号化装置に本発
明を適用した場合のものであるが、もちろん本発明はか
かる半画素精度の動き検出を行わない方式の動画像符号
化装置にも適用できる。この場合、図６に○で示す整数
画素を対象として第１段階、第２段階の検索を行うこと
になる。またその場合、第１段階の検索は例えば画素一
つ置きにブロックを抽出してそれらのブロックに対して
行い、第２段階の検索で、第１段階で検索されたブロッ
クの周辺にある第１段階で一つ置きにより飛ばされたブ
ロックに対して検索を行うようにすれば、演算回数を削
減することができる。
が可能である。例えば上述の実施例は補間画素を作って
半画素精度の動き検出を行える動画像符号化装置に本発
明を適用した場合のものであるが、もちろん本発明はか
かる半画素精度の動き検出を行わない方式の動画像符号
化装置にも適用できる。この場合、図６に○で示す整数
画素を対象として第１段階、第２段階の検索を行うこと
になる。またその場合、第１段階の検索は例えば画素一
つ置きにブロックを抽出してそれらのブロックに対して
行い、第２段階の検索で、第１段階で検索されたブロッ
クの周辺にある第１段階で一つ置きにより飛ばされたブ
ロックに対して検索を行うようにすれば、演算回数を削
減することができる。
【００４３】
【発明の効果】以上に説明したように、本発明によれ
ば、動き検出の検索精度を低下させることなく回路規模
を削減することができる。
ば、動き検出の検索精度を低下させることなく回路規模
を削減することができる。
【図１】本発明に係る原理説明図（第２段階の接続）で
ある。
ある。
【図２】本発明に係る原理説明図（第１段階の接続）で
ある。
ある。
【図３】本発明の一実施例としての動画像符号化装置の
動き検出装置（第１段階の接続形態）を示す図である。
動き検出装置（第１段階の接続形態）を示す図である。
【図４】本発明の一実施例としての動画像符号化装置の
動き検出装置（第２段階の接続形態）を示す図である。
動き検出装置（第２段階の接続形態）を示す図である。
【図５】ブロックマッチングによる動き検出を説明する
図である。
図である。
【図６】補間画素による動き検出を説明する図である。
【図７】補間画素による動き検出方式の第１段階の整数
画素検索を説明する図である。
画素検索を説明する図である。
【図８】補間画素による動き検出方式の第１段階の整数
画素検索を行う回路を示す図である。
画素検索を行う回路を示す図である。
【図９】補間画素による動き検出方式の第２段階の半画
素検索を説明する図である。
素検索を説明する図である。
【図１０】補間画素による動き検出方式の第２段階の半
画素検索を行う回路を示す図である。
画素検索を行う回路を示す図である。
１、２ フレームメモリ ３ アドレス発生器 ４ 加算器 ５ 比較器 ６、７ メモリ ８ 補間画素生成回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤村 浩一 神奈川県横浜市港北区新横浜２丁目４番19 号 株式会社富士通プログラム技研内 (72)発明者 江口 勝博 福岡県福岡市博多区博多駅前三丁目22番８ 号 富士通九州ディジタル・テクノロジ株 式会社内 (72)発明者 小早川 隆洋 福岡県福岡市博多区博多駅前三丁目22番８ 号 富士通九州ディジタル・テクノロジ株 式会社内
Claims (3)
- 【請求項１】ブロックマッチングにより動き検出を行う
動き補償予測型動画像符号化装置の動き検出装置であっ
て、現画面のブロックと前画面のブロックの各画素の差
分を計算する複数の演算器からなる第１の演算器群を備
え、該第１の演算器群の各演算器は画素桁精度よりも低
い計算精度で構成し、動き検出は、第１段階として該第
１の演算器群を用いて検索範囲内のブロックのうちから
差分の最も小さいブロックを検索し、第２段階として該
第１の演算器群を２以上の演算器を互いに組み合わせて
高精度化した複数の演算器組に分けて第２の演算器群を
構成し、該第１段階で検索したブロックを含むその周辺
のブロックに対して１ブロックの画素を複数に分割して
該第２の演算器群を用い複数回の演算を行うことで差分
の最も小さいブロックを検索することで行うように構成
した動画像符号化装置の動き検出装置。 - 【請求項２】上記第２段階での検索は、上記第１段階で
検索したブロックを含むその周辺の補間により求めたブ
ロックに対して行うように構成した請求項１記載の動画
像符号化装置の動き検出装置。 - 【請求項３】上記第１段階での検索は、検索範囲内にお
ける全ブロックに対して行うことに代えて画素複数個置
きの各ブロックに対して行うように構成した請求項１記
載の動画像符号化装置の動き検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24205795A JP3580612B2 (ja) | 1995-09-20 | 1995-09-20 | 動画像符号化装置の動き検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24205795A JP3580612B2 (ja) | 1995-09-20 | 1995-09-20 | 動画像符号化装置の動き検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0993581A true JPH0993581A (ja) | 1997-04-04 |
| JP3580612B2 JP3580612B2 (ja) | 2004-10-27 |
Family
ID=17083646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24205795A Expired - Fee Related JP3580612B2 (ja) | 1995-09-20 | 1995-09-20 | 動画像符号化装置の動き検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3580612B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007201880A (ja) * | 2006-01-27 | 2007-08-09 | Victor Co Of Japan Ltd | 画像符号化装置および画像復号装置 |
| JP2011004051A (ja) * | 2009-06-17 | 2011-01-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法，動画像符号化装置および動画像符号化プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6502485B2 (ja) | 2015-05-21 | 2019-04-17 | オリンパス株式会社 | 撮像装置 |
-
1995
- 1995-09-20 JP JP24205795A patent/JP3580612B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007201880A (ja) * | 2006-01-27 | 2007-08-09 | Victor Co Of Japan Ltd | 画像符号化装置および画像復号装置 |
| JP2011004051A (ja) * | 2009-06-17 | 2011-01-06 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法，動画像符号化装置および動画像符号化プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3580612B2 (ja) | 2004-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3611507B2 (ja) | 動きベクトル検出装置 | |
| US4937666A (en) | Circuit implementation of block matching algorithm with fractional precision | |
| US5838828A (en) | Method and apparatus for motion estimation in a video signal | |
| JP3089165B2 (ja) | 動きベクトル探索装置 | |
| EP0643538A2 (en) | Motion vector detecting apparatus and methods | |
| KR20050097936A (ko) | 효과적인 예측 이미지 파라미터 추정 | |
| JPH04314290A (ja) | 動きベクトル検出装置 | |
| Baglietto et al. | Parallel implementation of the full search block matching algorithm for motion estimation | |
| JPH0993581A (ja) | 動画像符号化装置の動き検出装置 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP3627872B2 (ja) | 動きベクトル検出方法及び装置 | |
| JPH0478286A (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
| JP2005253015A (ja) | 動きベクトル検出装置、動きベクトル検出方法、及びプログラム | |
| JP2885039B2 (ja) | 動きベクトル検出回路 | |
| JP3611958B2 (ja) | 動画像信号の動きベクトル検出方法および動きベクトル検出回路 | |
| JP2001025021A (ja) | 動き検出方法および動き検出装置 | |
| JP3189655B2 (ja) | 動きベクトル検出装置およびその方法 | |
| KR100926440B1 (ko) | 영상부호화를 위한 블록 매칭 움직임 추정 장치 | |
| JP3698501B2 (ja) | 動きベクトル検出装置 | |
| JP2901848B2 (ja) | ベクトル相関検出回路 | |
| JPH05176314A (ja) | 画像の動き検出装置 | |
| JP4160855B2 (ja) | ブロックマッチング画像処理装置 | |
| JP3271387B2 (ja) | 動き量検出装置及び動き量検出方法 | |
| JP2866321B2 (ja) | 動きベクトル探索方法および装置 | |
| KR0179500B1 (ko) | 움직임 백터 결정 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040720 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |