JP4869045B2 - 補間フレーム作成方法および補間フレーム作成装置 - Google Patents

Description

本発明は動画像を構成するフレーム画像の間に補間フレームを作成および挿入し、物体の動きを滑らかで自然な動きとして表示する技術に関する。

液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。

ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。

動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。

上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。

ＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、入力フレーム内に周期的パターンが存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。下記特許文献２では、注目画像が周期的パターンであると判断した場合には、当該画像ブロックの動きベクトルを周辺の画像ブロックの動きベクトルで補正する技術が開示されている。このほか、動きベクトル検出のため２種類のサイズのブロックを用いるという技術が特願２００６−２０８７９２（２００６年７月３１日出願）として出願されている。
特開２００５−６２７５号公報 特開２００５−５６４１０号公報

前述のように周期的パターン内の画像ブロックの動きベクトルを周辺ブロックの動きベクトルで補正する方法では、周期的パターンの大きさが画像ブロックより遥かに大きい場合、あるいは周辺ブロックの動きベクトルの信頼性が低い場合、当該ブロックの動きベクトルを適切に補正することはできない。従って信頼性の高い動きベクトルが得られないという問題がある。このことは画像内に周期的パターンの絵柄を多く含む場合に顕著になり、何らかの解決策が要望されている。
この発明は上記事情によりなされたもので、その目的は、絵柄によらず動きベクトルを高い精度で検出できるようにした補間フレーム作成方法および補間フレーム作成装置を提供することにある。

上記目的を達成するためにこの発明の一態様によれば、連続するフレーム間に挿入される補間フレームを、複数の入力フレーム画像に設定されるブロック内の画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出するブロックマッチング処理、により得られる動きベクトルを用いて新たに作成する補間フレーム作成方法であって、固定されたサイズを持つ第１ブロックを用いた、前記複数の入力フレーム画像間でのブロックマッチング処理により動きベクトル候補を検出する第１検出工程と、前記第１ブロックよりも大きい範囲で固定されたサイズを持つ第２ブロックを用いた、前記複数の入力フレーム画像間でのブロックマッチング処理により動きベクトルを検出する第２検出工程と、前記第１検出工程において前記動きベクトル候補が唯一検出された場合に、この動きベクトル候補を用いて前記補間フレームを作成し、前記第１検出工程において前記動きベクトル候補が複数検出された場合に、これらの複数の動きベクトル候補のうち前記第２検出工程で検出された動きベクトルに最も近い動きベクトル候補を用いて前記補間フレームを作成する作成工程とを具備し、前記第１検出工程は、前記動きベクトル候補が複数検出された場合に、それぞれの動きベクトルに対応するＳＡＤと当該動きベクトルに隣接する複数の動きベクトルに対応するＳＡＤとをそれぞれの動きベクトル候補ごとに個別に比較し、隣接する複数の動きベクトルに対応するＳＡＤのいずれよりも小さいＳＡＤを持つ動きベクトル候補を、前記作成工程において用いられる動きベクトル候補として抽出する抽出工程を含むことを特徴とする補間フレーム作成方法が提供される。

このような手段を講じることにより、小ブロックを用いて複数の動きベクトル候補が検出された場合に、その検出の精度を高めることが可能になる。すなわち、周囲の複数の動きベクトルのいずれよりもＳＡＤの小さい動きベクトルのみが、候補として抽出される。従って周期的なパターンを含む画像に対して、動きベクトルの検出精度をさらに向上させることが可能になる。

この発明によれば、絵柄によらず動きベクトルを高い精度で検出できるようにした補間フレーム作成方法および補間フレーム作成装置を提供することができる。

図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。図１の補間フレーム作成装置１０は、フレームメモリ部１０、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。

補間画像作成部１３は、動きベクトル検出部１２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。

ところで動きベクトル検出部１２は、小ブロック処理部１２１と大ブロック処理部１２２とを備える。このうち小ブロック処理部１２１は、固定されたサイズのブロック（以下、小ブロックと称する）を用いたブロックマッチング処理により動きベクトル候補を検出する。具体的には小ブロック処理部１２１は、算出処理部１２１ａにより２つの入力フレーム画像における画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、この差分絶対値の累積加算値（ＳＡＤ）の極小値に対応する動きベクトルを動きベクトル候補として選択する。大ブロック処理部１２２は、小ブロックよりもサイズの大きい大ブロックを用いたブロックマッチング処理により動きベクトルを検出する。

補間画像作成部１３は、小ブロック処理部１２１において動きベクトル候補が唯一検出された場合には、この動きベクトル候補を用いて補間フレームを作成する。これに対し動きベクトル候補が複数検出された場合には、これらの複数の動きベクトル候補のうち、大ブロック処理部１２２で検出された動きベクトルに最も近い動きベクトル候補を用いて、補間フレームを作成する。

図２はブロックマッチング処理の一例を説明するための図である。図２に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対称の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。このときに用いられる画像ブロックのサイズが、ここでは２種類となる。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。

互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。

図２に示す方法では、補間フレーム画像の挿入位置を中心としそれを挟む前後２枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値（ＳＡＤ）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする。

図３は、小ブロックと大ブロックとをそれぞれ用いたブロックマッチング処理による、画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。図３において、横軸は画像ブロックの水平方向シフト量、縦軸はＳＡＤである。横軸のシフト量は、前フレーム２０上または後フレーム２２上の画像ブロックシフト量を示す。横軸のシフト量は、９つの領域（領域１〜領域９）に分割されおり、領域５はシフト量が０の領域である。曲線α２は小ブロックを用いて得られたブロックマッチング処理結果、曲線β２は大ブロックを用いて得られたブロックマッチング処理結果を示す。

図４は、図１の動きベクトル検出部１２の処理手順を示すフローチャートである。動きベクトル検出部１２は、小ブロック処理部１２１及び大ブロック処理部１２２から、それぞれの検出処理結果（極小点の情報）を取得する（ステップ（ＳＴ）１０１）。

曲線α２のように、小ブロックを−１２画素から＋１２画素までシフトすると、ここでは４個の極小点ＰＳ１０〜ＰＳ１３が生じている。動きベクトル検出部１２は、小ブロック処理部１２１から提供されるこれら極小点の極小値群から、さらに探索領域全体での最小値ＳＡＤｍｉｎを求める（ＳＴ１０２）。この最小値ＳＡＤｍｉｎから所定の範囲ＴＨに存在するＳＡＤ極小値（ＰＳ１０、ＰＳ１１、ＰＳ１２）が示す動きベクトル、すなわち「│最小値−極小値ｉ│＜ＴＨ」を満足する極小値を、信頼し得る動きベクトルの候補として選択する。なお、信頼し得る動きベクトルの候補が１つのみであった場合（ＳＴ１０３のＮＯ）、動きベクトル検出部１２は、当該ＳＡＤ極小点の情報を動きベクトルとして、補間画像作成部１３に供給する（ＳＴ１０４）。

信頼し得る動きベクトルが複数存在した場合には（ＳＴ１０３のＹＥＳ）、動きベクトル検出部１２は探索領域内に周期的パターンが存在すると判断し、大ブロック処理部１２２にて検出された動きベクトルを参照する（ＳＴ１０５）。動きベクトル検出部１２は、該複数存在する信頼し得る動きベクトル候補の中で、大ブロックを用いて検出した極小値ＰＬ２に最も近い極小値ＰＳ１が示すベクトルを、補間画像ブロック４１の作成に用いる動きベクトルして採用する（ＳＴ１０６）。

なお、ステップ１０６において、大ブロックを用いて検出した極小点が複数存在する場合は、該複数の極小点のうち、最も小さいＳＡＤを有する極小点を、最も信頼性の高い極小点（動きベクトル）と判断する。従って、動きベクトル検出部１２は、小ブロックを用いて検出した複数の極小点（動きベクトル候補）の中で、大ブロックを用いて検出した最も信頼性の高い極小点に最も近い極小点を、補間画像ブロック４１の作成に用いる動きベクトルして採用する。

ブロックマッチングを行うためには、物体の形状を識別できる画素値の変化がブロック内に含まれていることが必要である。しかしながら、例えばこのブロックサイズの水平サイズよりも幅の広い、水平方向の周期パターンが映像内に含まれている場合には、物体の動きと周期的な画像の繰り返しとが区別できず、動きベクトルの検出の精度が低くなる。

ところで、図３に示すように分割された領域ごとに極小値を求めると、あくまで領域内でのＳＡＤ最小値が選出されることから動きベクトル候補として望ましくないものが選ばれることがある。図４を用いてこのことを説明する。

図５は、動きベクトル候補として望ましくないものが選ばれる場合があることを説明するための図である。領域ごとにそのＳＡＤの極小値を求める手法では、例えば図５の領域５において、ＳＡＤ分布曲線の“傾斜”に相当するＷ５が動きベクトル候補として選択される。実際にはＳＡＤ分布曲線中“下に凸”の特徴を持つＬ５がベクトル候補として正しい可能性が高い。このような現象により動きベクトル候補を精度良く選択することができない場合がある。

そこでこの実施形態では、動きベクトル検出部１２は、その処理機能として抽出処理部１２１ｂを備える。抽出処理部１２１ｂは、動きベクトル候補が複数検出された場合に、それぞれの動きベクトルに対応するＳＡＤと当該動きベクトルに隣接する複数の動きベクトルに対応するＳＡＤとを、それぞれの動きベクトル候補ごとに、個別に比較する。そして、隣接する複数の動きベクトルに対応するＳＡＤのいずれよりもＳＡＤの小さい動きベクトル候補を、補間画像作成部１３において用いられる動きベクトル候補として抽出する。

図６および図７を参照して抽出処理部１２１ｂの機能につき説明する。抽出処理部１２１ｂの機能は、端的に言えば、動きベクトル候補の全てに対して隣接５点（対象となる点（ブロック）を除けば４点）比較により極小値判定を行うというものである。抽出処理部１２１ｂは、まず極小値判定の対象とする動きベクトルを選択する。次に、抽出処理部１２１ｂは選択した動きベクトルのＳＡＤ値と、その上下左右の４つの動きベクトルのＳＡＤ値とを比較する。次に抽出処理部１２１ｂは、選択した動きベクトルのＳＡＤ値が上下左右のＳＡＤ値よりも小さければ、グラフにおける下に凸の点であると判定し、これを動きベクトル候補として抽出する。以上の処理は、複数の動きベクトル候補の全てに対して実施される。

図６では３つの極小値が選択されることが示される。図７に示すように、動きベクトル候補を中央の座標（ａ，ｂ）の点としそのＳＡＤをＳＡＤ＝Ａとする。その周囲の４点のＳＡＤ値をそれぞれＢ，Ｃ，Ｄ，Ｅとすると、Ａ＜ＢかつＡ＜ＣかつＡ＜ＤかつＡ＜Ｅであれば、ベクトル（ａ，ｂ）が動きベクトル候補として抽出される。

このような処理により、図５の領域５におけるＷ５（グラフの“傾斜”に相当する）が動きベクトル候補から排除され、下に凸の点であるＬ５が動きベクトル候補として選択される。すなわち下に凸となる動きベクトルのみが動きベクトル候補として抽出されるようになる。このことから、絵柄によらず動きベクトルを高い精度で検出できるようにした補間フレーム作成方法および補間フレーム作成装置を提供することが可能となる。

なお、この発明は上記実施の形態に限定されるものではない。例えば隣接５点ではなく隣接３点比較、あるいは隣り合う点同士のＳＡＤを比較するのみでも良い。このようにすれば計算量を削減することができる。特に隣接３点比較においては、動きベクトルに対応するＳＡＤと、このブロックに水平（または垂直）に隣接する２個の動きベクトルに対応するＳＡＤとを比較するようにすればよい。

また、動きのある背景の上にＯＳＤ（On Screen Display）等の静止したオブジェクトが重なって表示されるような絵柄で、その中の静止オブジェクトの一部に対してブロックマッチングを行う場合には下記事項を考慮しても良い。すなわち複数の動きベクトル候補の選択後に大ブロックによる判定手順を設けると、（０，０）ベクトル近傍の、静止を示すベクトル候補が最終的な補間画像を生成する動きベクトルとして採用されない場合がある。

そこで、図４のステップＳＴ１０２において選択された複数の動きベクトル候補のうち、動きベクトル空間上の原点（０，０）の近傍に有るものがあれば、あとの処理を省略してこの処理を優先的に動きベクトル候補とすると良い。すなわち（０，０）から規定範囲内にＳＡＤの極小値を持つ動きベクトルが検出されれば、この動きベクトルを優先的に補間画像作成部１３に与えるようにする。このようにすることで誤ったベクトルによる静止オブジェクトの補間画像生成乱れを防ぐことができる。

さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

この発明による補間フレーム作成装置の一実施形態を示すブロック構成図。 ブロックマッチング処理の一例を説明するための図。 小ブロックと大ブロックとをそれぞれ用いたブロックマッチング処理によるＳＡＤ特性を示すグラフ。 図１の動きベクトル検出部１２の処理手順を示すフローチャート。 動きベクトル候補として望ましくないものが選ばれる場合があることを説明するための図。 図１の抽出処理部１２１ｂの機能につき説明するための図。 図６を補足する図。

符号の説明

１０…補間フレーム作成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部、１２１…小ブロック処理部、１２２…大ブロック処理部、１２１ａ…算出処理部、１２１ｂ…抽出処理部

Claims (10)

1. 連続するフレーム間に挿入される補間フレームを、複数の入力フレーム画像に設定されるブロック内の画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出するブロックマッチング処理、により得られる動きベクトルを用いて新たに作成する補間フレーム作成方法であって、
   固定されたサイズを持つ第１ブロックを用いた、前記複数の入力フレーム画像間でのブロックマッチング処理により動きベクトル候補を検出する第１検出工程と、
   前記第１ブロックよりも大きい範囲で固定されたサイズを持つ第２ブロックを用いた、前記複数の入力フレーム画像間でのブロックマッチング処理により動きベクトルを検出する第２検出工程と、
   前記第１検出工程において前記動きベクトル候補が唯一検出された場合に、この動きベクトル候補を用いて前記補間フレームを作成し、前記第１検出工程において前記動きベクトル候補が複数検出された場合に、これらの複数の動きベクトル候補のうち前記第２検出工程で検出された動きベクトルに最も近い動きベクトル候補を用いて前記補間フレームを作成する作成工程とを具備し、
   前記第１検出工程は、
   前記動きベクトル候補が複数検出された場合に、それぞれの動きベクトルに対応するＳＡＤと当該動きベクトルに隣接する複数の動きベクトルに対応するＳＡＤとをそれぞれの動きベクトル候補ごとに個別に比較し、隣接する複数の動きベクトルに対応するＳＡＤのいずれよりも小さいＳＡＤを持つ動きベクトル候補を、前記作成工程において用いられる動きベクトル候補として抽出する抽出工程を含むことを特徴とする補間フレーム作成方法。
2. 前記抽出工程は、前記動きベクトルに対応するＳＡＤと、この動きベクトルに隣接する４個の動きベクトルに対応するＳＡＤとを比較することを特徴とする請求項１に記載の補間フレーム作成方法。
3. 前記抽出工程は、前記動きベクトルに対応するＳＡＤと、この動きベクトルに水平に隣接する２個の動きベクトルに対応するＳＡＤとを比較することを特徴とする請求項１に記載の補間フレーム作成方法。
4. 前記抽出工程は、前記動きベクトルに対応するＳＡＤと、この動きベクトルに垂直に隣接する２個の動きベクトルに対応するＳＡＤとを比較することを特徴とする請求項１に記載の補間フレーム作成方法。
5. 前記抽出工程は、動きベクトル空間上で原点から規定範囲内にＳＡＤの極小値を持つ動きベクトルが前記第１検出工程において検出された場合に、この動きベクトルを前記作成工程において用いられる動きベクトル候補として抽出することを特徴とする請求項１に記載の補間フレーム作成方法。
6. 連続するフレーム間に挿入される補間フレームを、複数の入力フレーム画像に設定されるブロック内の画素値どうしの差分絶対値の累積加算値であるＳＡＤを算出するブロックマッチング処理、により得られる動きベクトルを用いて新たに作成する補間フレーム作成装置であって、
   固定されたサイズを持つ第１ブロックを用いた、前記複数の入力フレーム画像間でのブロックマッチング処理により動きベクトル候補を検出する第１検出処理部と、
   前記第１ブロックよりも大きい範囲で固定されたサイズを持つ第２ブロックを用いた、前記複数の入力フレーム画像間でのブロックマッチング処理により動きベクトルを検出する第２検出処理部と、
   前記第１検出処理部により前記動きベクトル候補が唯一検出された場合に、この動きベクトル候補を用いて前記補間フレームを作成し、前記第１検出処理部により前記動きベクトル候補が複数検出された場合に、これらの複数の動きベクトル候補のうち前記第２検出処理部で検出された動きベクトルに最も近い動きベクトル候補を用いて前記補間フレームを作成する作成処理部とを具備し、
   前記第１検出処理部は、
   前記動きベクトル候補が複数検出された場合に、それぞれの動きベクトルに対応するＳＡＤと当該動きベクトルに隣接する複数の動きベクトルに対応するＳＡＤとをそれぞれの動きベクトル候補ごとに個別に比較し、隣接する複数の動きベクトルに対応するＳＡＤのいずれよりも小さいＳＡＤを持つ動きベクトル候補を、前記作成処理部により用いられる動きベクトル候補として抽出する抽出処理部を備えることを特徴とする補間フレーム作成装置。
7. 前記抽出処理部は、前記動きベクトルに対応するＳＡＤと、この動きベクトルに隣接する４個の動きベクトルに対応するＳＡＤとを比較することを特徴とする請求項６に記載の補間フレーム作成装置。
8. 前記抽出処理部は、前記動きベクトルに対応するＳＡＤと、この動きベクトルに水平に隣接する２個の動きベクトルに対応するＳＡＤとを比較することを特徴とする請求項６に記載の補間フレーム作成装置。
9. 前記抽出処理部は、前記動きベクトルに対応するＳＡＤと、この動きベクトルに垂直に隣接する２個の動きベクトルに対応するＳＡＤとを比較することを特徴とする請求項６に記載の補間フレーム作成装置。
10. 前記抽出処理部は、動きベクトル空間上で原点から規定範囲内にＳＡＤの極小値を持つ動きベクトルが前記第１検出処理部により検出された場合に、この動きベクトルを前記作成処理部により用いられる動きベクトル候補として抽出することを特徴とする請求項６に記載の補間フレーム作成装置。

Images