JP5106203B2 - 補間画像生成装置、方法およびプログラム - Google Patents

Description

本発明は、対象画像と参照画像との間に内挿する補間画像を生成する補間画像生成装置、方法およびプログラムに関する。

動画像における対象画像と参照画像との間を補間する補間画像を生成して、動画像を滑らかにする技術として、例えば、特許文献１の技術が知られている。この従来技術では、対象画像と参照画像に内挿する内挿する内挿フレームに割り付けられた動きベクトルのばらつきと補間画像のアクティビティを求め、動きベクトルのばらつきとアクティビティとから、補間画像が破綻しているか否かを判定する。そして、フレームｔおよびフレームｔ＋１から０ベクトル補間画像を生成し、内挿フレームに、０ベクトル補間画像を混合する混合比を決定し、破綻箇所に、混合比に応じて０ベクトル補間画像を混合するものである。

すなわち、この特許文献１の技術では、誤差が含まれる動きベクトルなどによる補間フレームの破綻を防止するための破綻防止画像として静止画を用いて、動きベクトルの信頼度を算出し、この信頼度に応じて信頼できる領域では動き補償画像を用い、信頼できない領域については静止画像を混合（ブレンド）することにより、補間画像のロバスト性を向上させている。

特開２００７−７４５９０号公報

しかしながら、この従来技術では、動きベクトルは信頼できないが、静止画像は信頼できるという仮定を前提としており、この仮定が成立しない場合も多く存在する。例えば、画像に動いているオブジェクト（動オブジェクト）が存在する場合において、動オブジェクトの一部の動きベクトルに誤差が含まれているとその動きベクトルの信頼度は高くないため、静止画像が多く混合されることになる。その結果、動オブジェクトの一部に静止画像が混合され、その静止画像の部分が虚像（アーチファクト）として視認されてしまい、高画質でロバスト性のある補間画像を生成することができないという問題がある。

本発明は、上記に鑑みてなされたものであって、高画質でロバスト性をより向上させた補間画像を生成することができる補間画像生成装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる補間画像生成装置は、対象画像と参照画像との間に内挿する補間画像を生成する補間画像生成装置であって、前記対象画像から前記参照画像への動きベクトルを推定する動き推定部と、前記補間画像を内挿するために用いるベクトルとしての前記動きベクトルの信頼性を示し、前記動きベクトルによって対応づけられる前記対象画像の領域と前記参照画像の領域との相関が高い程、大きい値を有する動きベクトル信頼度を算出する第１算出部と、画像破綻を防止するための予め定められたベクトルである破綻防止ベクトルの信頼性を示す破綻防止ベクトル信頼度を算出する第２算出部と、前記動きベクトル信頼度と前記破綻防止ベクトル信頼度との比である信頼度比を算出し、前記信頼度比が１に近いほど、前記動きベクトル信頼度を小さい値に補正し、かつ前記破綻防止ベクトル信頼度を大きい値に補正する補正部と、前記動きベクトルに基づいて動き補償を行って動き補償画像を求め、前記破綻防止ベクトルに基づいて動き補償を行って破綻防止画像を求め、前記動きベクトル信頼度および前記破綻防止ベクトル信頼度に基づく重み係数を用いた前記動き補償画像および前記破綻防止画像に対する重み平均により前記動き補償画像と前記破綻防止画像とを混合することにより、前記補間画像を生成する混合部と、を備えたことを特徴とする。

また、本発明は、上記補間画像生成装置に対応した方法およびプログラムである。

本発明によれば、動オブジェクトに対して高画質でロバスト性をより向上させた補間画像を生成することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる補間画像生成装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（実施の形態１）
図１は、実施の形態１にかかる補間画像生成装置の機能的構成を示すブロック図である。実施の形態１にかかる補間画像生成装置１００は、図１に示すように、動き推定部１０１と、動きベクトル信頼度算出部１０２と、静止ベクトル信頼度算出部１０３と、画像混合部１０４と、フレームメモリ１１０とを主に備えている。

本実施の形態の補間画像生成装置１００は、動画像の対象画像のフレーム（以下、「対象フレーム」という）と参照画像のフレーム（以下、「参照フレーム」という）の間に内挿する補間画像のフレーム（以下、「補間フレーム」という）を生成して内挿し、単位時間あたりのフレーム数を増加させて動画を滑らかにするものである。このとき、動画の解像度、大きさ、フレームレート、補間フレーム数は特に限定されるものではない。

ここで、対象画像のフレームの画素値をＩ_src、参照画像のフレーム（以下、「参照フレーム」という）の画素値をＩ_dstと示す。また、対象フレームＩ_srcと参照フレームＩ_dstがとの間に内挿する補間画像のフレーム（以下、「補間フレーム」という）の時間的な位置を０≦Δｔ≦１とする。なお、０を対象フレームの時間位置とし、1を参照フレームの時間位置とする。

特許文献１の従来技術で開示されているαブレンディングの技術では、誤差を含んだ動きベクトルなどによる補間フレームの破綻を防止するために破綻防止画像として静止画像を用いて、動きベクトルが補間画像を内挿するために用いるベクトルとしてどの程度適切かの信頼度（動きベクトル信頼度）を算出し、この信頼度に応じて信頼度が所定値以上の信頼できる領域では動き補償画像を用い、信頼度が所定値より小さい信頼できない領域については静止画像を混合することによりロバスト性を向上させている。

しかし、この手法は、動きベクトルが信頼できない、すなわち静止画像が信頼できるという仮定の下では成立するが、この仮定が成立しない場合もある。例えば、動きのある動オブジェクトが画像中に存在する場合を考える。図２は、αブレンディングを説明するための模式図である。図２に示すように、動オブジェクトの一部の動きベクトル２０２に誤差が含まれている場合には、この動きベクトル２０２については、高い値の信頼度は算出されない。なお、図２において、符号２０１は、誤差を含まない動きベクトルである。

従来の技術では、動きベクトルが信頼できない場合には、多くの静止画像が破綻防止画像として混合されることになるため、動オブジェクトの一部に静止画像が混合され、当該一部が虚像（アーチファクト）２０３として視認されてしまう。

このため、本実施の形態では、動きベクトルが信頼できず、静止画像が信頼できるという仮定をとらず、破綻防止画像としての静止画像の信頼度（静止ベクトル信頼度）を算出する。そして、動きベクトル信頼度と静止ベクトル信頼度の重み平均を算出して補間フレームを生成することにより、静止画像を対象フレームと参照フレームとの間に内挿するのが尤もらしい程度に応じて静止画像を混合して補間画像をしている。

図３は、実施の形態１の補間フレーム生成を説明するための模式図である。図 3に示すように、誤差を含む動きベクトル２０２の動きベクトル信頼度が0．3程度の場合を考えると、従来技術のαブレンディングの技術では、（１．０−０．３）＝０．７程度の静止画像を動き補償画像に混合することになる。このため、混合する静止画像が多数となってしまい、この結果、アーチファクトが視認されてしまう。

これに対して、本実施の形態では、静止ベクトルの信頼度である静止ベクトル信頼度を算出し、動きベクトル信頼度の値のみから混合する静止画像の量を定めてはいない。例えば、図３の例で、動きベクトル信頼度が０．３であるが、動オブジェクトに対しては静止ベクトルは信頼度が低くなり、静止ベクトル信頼度が、例えば０．０５として算出された場合を考える。本実施の形態では、動きベクトル信頼度を動きベクトル信頼度と静止ベクトル信頼度の加算値で除算した値を動き補償画像の重み係数（従って、重み係数＝０．８６）とし、静止ベクトル信頼度を動きベクトル信頼度と静止ベクトル信頼度の加算値で除算した値を静止画像の重み係数（従って、重み係数＝０．１４）として用い、重み平均を算出した画像が補間フレームとして使用されることになり、動オブジェクトで誤差を含む動きベクトルが存在する場合でも、静止画像を必要以上に混合した補間フレームを生成してしまうことが回避され、その結果、多数の静止画像の混合に起因するアーチファクトの発生を防止することができるのである。

以下、このような本実施の形態の補間画像生成装置１００の詳細について説明する。図１に戻り、フレームメモリ１１０は、対象フレーム、参照フレームや補間フレーム等を一時的に補間する記憶媒体である。

動き推定部１０１は、対象フレーム上のブロックと相関のある参照フレーム上のブロックへの動きベクトルを求めるものである。動き推定部１０１では、対象フレームと参照フレームとから、ブロックマッチングの手法を用いて以下のように２つの画像間の動きを推定している。ここで、本実施の形態では、ブロックマッチングの手法を採用しているが、これに限定されるものではなく、例えば、オプティカルフロー推定、Ｐｅｌ−ｒｅｃｕｒｓiｖｅ法、ベイジアン法などの各手法を用いて動き推定を行ってもよい。

ブロックマッチングでは、対象フレームを（１）式であらかじめ設定された矩形領域のブロックに分割する。

動き探索の領域をＷ∈Ｒ²（Ｒ²はベクトル空間）とすると、差分二乗和基準（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）に従ったブロックマッチングアルゴリズムは（２）式で示される。

ｕ（i）が動きベクトル、すなわちブロックｉの動きである。なお、本実施の形態では、（２）式のように差分二乗和基準により動きベクトルｕ（ｉ）を示したが、差分絶対値和基準（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いて（３）式に示すように動きベクトルｕ（ｉ）を求めてもよい。

動きベクトル信頼度算出部１０２は、動きベクトルｕ（ｉ）が補間フレームを対象フレームと参照フレームとの間に内挿するために用いるベクトルとしてどの程度適切かを示す値、すなわち信頼性を示す動きベクトル信頼度を算出するものである。この動きベクトル信頼度は、対象フレームのブロックと参照フレームのブロックの相関が高い程、大きい値を有することになる。

以下では、まず確率モデルとしての定式化を示す。対象フレーム、参照フレームが与えられたときの動きベクトルの確率（信頼度）はベイズの定理を用いると、（４）式のようにモデル化することができる。

ここで、（４）式の右辺第１項は、動きベクトルｕ（ｉ）が画像にどの程度の確率で当てはまるかを示すものであり、尤度という。（４）式の右辺第２項は、動きベクトルｕ（ｉ）の事前確率で動きベクトル自体が有する特徴を示すものである。画像に含まれるノイズをガウス性ノイズと仮定すると、変位画素差分（ＤＰＤ：Ｄｉｓｐｌａｃｅｄ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅ）はガウス分布に従うため、尤度は（５）式に示すようにモデル化することができる。

ここで、（５）式において、ＭＳＥはＭｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒを意味し、σＩは画像に乗っているノイズの標準偏差である。

どのような動きベクトルｕ（ｉ）でも信頼することができると仮定すると、動きベクトルｕ（ｉ）の事前確率は（６）式のようにモデル化することができる。

このとき、動きベクトルｕ（ｉ）の確率、すなわち、動きベクトル信頼度α（ｉ，ｕ（ｉ））は、（７）式で示されることになる。

すなわち、動きベクトル信頼度算出部１０２は、（７）式により動きベクトル信頼度α（ｉ，ｕ（ｉ））を算出している。

次に、静止ベクトル信頼度算出部１０３は、画像破綻を防止するための予め定められたベクトルである破綻防止ベクトルとしての静止ベクトル（０ベクトル）を用い、破綻防止画像としての静止画像の信頼性を示す静止ベクトル信頼度を算出するものである。本実施の形態では、破綻防止ベクトルとして静止ベクトル（０ベクトル）を用いているため、静止ベクトル信頼度算出部１０３は、動きベクトル信頼度の算出と同様に（７）式に、ｕ（ｉ）＝０（０は、静止ベクトルを示す）を入力して算出される値を、静止ベクトル信頼度α（ｉ，０）として算出している。

次に、画像混合部１０４は、動きベクトルｕ（ｉ）に基づいて動き補償を行って動き補償画像を求め、静止ベクトルに基づいて動き補償を行って画像破綻の防止のための静止画像を求め、動き補償画像と静止画像とに対して、動きベクトル信頼度α（ｉ，ｕ（ｉ））および静止ベクトル信頼度α（ｉ，０）に基づく重み係数を用いた重み平均により動き補償画像と静止画像とを混合して、補間フレームを生成するものである。以下、画像混合部１０４の処理について具体的に説明する。

画像混合部１０４は、対象ブロックｉ内の画素位置ｘ∈Ｂ（ｉ）の補間フレームの補間画素Ｉ_int（ｘ）を算出するため、まず、（８−１）式に示すように、対象フレームの画素をそのまま用いて静止画素Ｉ_still（ｘ）を生成する。次に、画像混合部１０４は、動きベクトルｕ（ｉ）によって対象フレームの画素をシフトした動き補償画素Ｉ_mc（ｘ）を（８−２）式により生成する。

ここで、静止画素Ｉ_still（ｘ）は静止ベクトル信頼度α（ｉ，０）を有し、動き補償画素Ｉ_mc（ｘ）は動きベクトル信頼度α（ｉ，ｕ（ｉ））を有する。このため、画像混合部１０４は、これらの信頼度に基づく重み付け係数を用いて（９）式により静止画素Ｉ_still（ｘ）と動き補償画素Ｉ_mc（ｘ）の重み平均を算出することにより、静止画素Ｉ_still（ｘ）と動き補償画素Ｉ_mc（ｘ）とを混合し補間フレームを算出する。

すなわち、画像混合部１０４は、動きベクトル信頼度α（ｉ，ｕ（ｉ））を動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の加算値で除算した値を動き補償画素Ｉ_mc（ｘ）の重み係数とし、静止ベクトル信頼度α（ｉ，０）を動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の加算値で除算した値を静止画素Ｉ_still（ｘ）の重み係数として用い、重み平均を算出した画素が補間フレーム上の補間画素Ｉ_int（ｘ）として算出している。このような補間画素Ｉ_int（ｘ）の算出を、ブロック内の画素の全てについて行い、さらに対象フレームの全てのブロックについて繰り返し実行することにより、補間フレームが生成されることになる。

なお、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）がともに０の場合には、（９）式の重み平均は不定になってしまう。このため、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）がともに０の場合には、画像混合部１０４は、補間画素Ｉ_int（ｘ）を（１０−１）式あるいは（１０−２）式により算出するように構成すればよい。

次に、以上のように構成された実施の形態１の補間フレーム生成処理について説明する。図４は、実施の形態１の補間フレーム生成処理の手順を示すフローチャートである。まず、動き推定部１０１は、（２）式により、ブロックｉ内の動き推定を行い動きベクトルｕ（ｉ）を算出する（ステップＳ１１）。次に、動きベクトル信頼度算出部１０２が、動きベクトルｕ（ｉ）の動きベクトル信頼度α（ｉ，ｕ（ｉ））を（７）式により算出する（ステップＳ１２）。次いで、静止ベクトル信頼度算出部１０３が静止ベクトル信頼度α（ｉ，０）を、（７）式に静止ベクトルｕ（ｉ）＝０を代入することにより算出する（ステップＳ１３）。

次に、画像混合部１０４は、ブロックｉ内の画素位置ｘにおける静止画素Ｉ_still（ｘ）を（８−１）式により算出し（ステップＳ１４）、ブロックｉ内の画素位置ｘにおける動き補償画素Ｉ_mc（ｘ）を（８−２）式により算出する（ステップＳ１５）。そして、画像混合部１０４は、（９）式による重み平均により、補間画素Ｉ_int（ｘ）を算出する（ステップＳ１６）。これらのステップＳ１４からＳ１６までの補間画素Ｉ_int（ｘ）の算出処理は、ブロックｉ内の全ての画素について実行され、これによりブロックｉ単位で補間画像が生成される。

また、ステップＳ１１からＳ１６までの一連の処理は、対象フレームの全てのブロックに対して実行され、これにより補間フレームが生成される。

このように実施の形態１の補間画像生成装置１００では、動きベクトル信頼度α（ｉ，ｕ（ｉ））を動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の加算値で除算した値を動き補償画像の重み係数とし、静止ベクトル信頼度α（ｉ，０）を動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の加算値で除算した値を静止画像の重み係数として用い、重み平均を算出することにより静止画像と動き補償画像とを混合して、補間フレームを生成しているので、画像中の動オブジェクトに誤差を含む動きベクトルが存在する場合でも、静止画像を必要以上に混合した補間フレームを生成してしまうことが回避され、多数の静止画像の混合に起因するアーチファクトの発生を防止して、高画質でロバスト性をより向上させた補間画像を生成することができる。

なお、本実施の形態の動きベクトル信頼度算出部１０２では、動きベクトル信頼度α（ｉ，ｕ（ｉ））を（７）式で算出する際に、（６）式に示すように、動きベクトルの事前確率Ｐｒ（ｕ（ｉ））＝１としていたが、動きベクトルの事前確率として（１１）式に示すように、動きベクトルｕ（ｉ）の時間方向の連続性を加えることもできる。

（１１）式は、時間方向で連続している動きベクトルｕ（ｉ）は信頼性が高いとするものである。また、空間方向で連続している動きベクトルｕ（ｉ）が信頼性高いと判断するために、動きベクトルの事前確率Ｐｒ（ｕ（ｉ））を（１２）式で求めるように、動きベクトル信頼度算出部１０２を構成してもよい。

さらに、動きベクトルの事前確率Ｐｒ（ｕ（ｉ））を、（１１）式および（１２）式の双方を用いて、（１３）式で求めるように、動きベクトル信頼度算出部１０２を構成してもよい。

以上の（１１）〜（１３）式のように動きベクトルの事前確率Ｐｒ（ｕ（ｉ））を算出した場合、動きベクトル信頼度算出部１０２は、動きベクトル信頼度α（ｉ，ｕ（ｉ））を（１４）式で算出することになる。

また、動きベクトル信頼度算出部１０２は、動きベクトル信頼度α（ｉ，ｕ（ｉ））を逆数を用いて（１５）式のように算出してもよい。この場合には、（１５）式に示すようにＬ１ノルムを用いる。

（１５）式において、MADはMean Absolute Differenceであり絶対値差分和平均であり、ε（＞０）はゼロ除算を回避するための安全定数である。

また、動きベクトル信頼度算出部１０２は、動きベクトル信頼度α（ｉ，ｕ（ｉ））を、時間方向の動きベクトルの連続性を考慮して（１６）式で算出するように構成してもよい。

ここで、γ（＞０）は時間方向の連続性にどれくらいの重みを与えるかのパラメータである。

さらに、動きベクトル信頼度算出部１０２は、動きベクトル信頼度α（ｉ，ｕ（ｉ））を、空間方向の連続性を加えて（１７）式で算出するように構成してもよい。

ここで、η（＞０）は空間方向の連続性にどれくらいの重みを与えるかのパラメータである。

また、本実施の形態の画像混合部１０４では、静止画素Ｉ_still（ｘ）として（８−１）式に示すように対象フレームの画像Ｉ_srcの画素を用いているが、（１８−１）式に示すように、対象フレームの画素Ｉ_srcと参照フレームの画素Ｉ_dstの平均画素を用いて静止画素Ｉ_still（ｘ）を求めるように構成してもよい。

また、動き補償画素についても同様に、（１８−２）式に示すように、対象フレームの画素Ｉ_srcと参照フレームの画素Ｉ_dstの平均画素を用いて求めるように画像混合部１０４を構成してもよい。

（実施の形態２）
実施の形態１では、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）とに基づいた重み係数を用いて、静止画像と動き補償画像の重み平均を算出することにより静止画像と動き補償画像とを混合して、補間フレームを生成していたが、このような手法の場合、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）が近い値の場合には、静止画像と動き補償画像とが1対1で混合されることになる。1対1の混合は、高画質ではなく、補間処理自体が困難な状況であることが多い。

このため、この実施の形態２の補間画像生成装置では、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の信頼度比を算出し、この信頼度比が1に近い程、両者の信頼度の補正の度合いが大きくなる補正を行うことにより1対1の混合による画質劣化を防止している。

図５は、実施の形態２の補間画像生成装置の機能的構成を示すブロック図である。本実施の形態の補間画像生成装置５００は、図５に示すように、動き推定部１０１と、動きベクトル信頼度算出部１０２と、静止ベクトル信頼度算出部１０３と、信頼度補正部５０５と、画像混合部１０４と、フレームメモリ１１０とを主に備えている。ここで、動き推定部１０１、動きベクトル信頼度算出部１０２、静止ベクトル信頼度算出部１０３、画像混合部１０４、フレームメモリ１１０については実施の形態１と同様の機能を有している。

信頼度補正部５０５は、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）との比である信頼度比を算出し、信頼度比が１に近いほど、動きベクトル信頼度α（ｉ，ｕ（ｉ））を小さい値に補正し、かつ静止ベクトル信頼度α（ｉ，０）を大きい値に補正するものである。具体的には、信頼度補正部５０５は、信頼度比ｒ（ｉ）を（１９）式により算出する。

この（１９）式は、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の値により、信頼度比がｒ（ｉ）≧１となる算出式となっている。信頼度比ｒ（ｉ）が1に近いということは、動き補償画像と静止画像がほぼ等しく混合された補間画像が生成されることであり、このような補間画像は上述のように高画質でない。このため、本実施の形態では、信頼度比ｒ（ｉ）が1に近いほど動きベクトルｕ（ｉ）を用いずに、静止ベクトルｕ（ｉ）＝０を用いて混合処理を行うように二つの信頼度を補正して、高画質な補間画像を生成することとしている。

このため、本実施の形態の信頼度補正部５０５では、信頼度比ｒ（ｉ）が1に近いほど信頼度が低くなる絶対値信頼度α_r（ｉ）を（２０）式のように定義する。

（２０）式において、σ（＞０）は、絶対値信頼度の標準偏差であり、σの値が大きいほど信頼度比ｒ（ｉ）が大きくないと信頼することができないことを意味する。図６は、標準偏差σ＝1の場合の絶対値信頼度曲線を示す説明図である。このように、信頼度補正部５０５は、（２０）式により絶対値信頼度α_r（ｉ）を算出する。

次に、信頼度補正部５０５は、（２０）式により算出した絶対値信頼度α_r（ｉ）を用いて、動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）を補正する。

ここで、静止ベクトルのみを用いる重み平均を行う場合には、（２１）式のように、補正後の動きベクトル信頼度は、α_p（ｉ，ｕ（ｉ））、補正後の静止ベクトル信頼度は、α_p（ｉ，０）となる。

このため、信頼度補正部５０５は、補正後の動きベクトル信頼度α'（ｉ，ｕ（ｉ））および補正後の静止ベクトル信頼度α'（ｉ，０）を、（２１）式に示すα_p（ｉ，ｕ（ｉ））およびα_p（ｉ，０）と、補正前の動きベクトル信頼度α（ｉ，ｕ（ｉ））および補正前の静止ベクトル信頼度α（ｉ，０）と絶対値信頼度α_r（ｉ）とを用いた従来のαブレンディングにより、（２２）式のように算出する。

画像混合部１０４は、（２２）式で算出された補正後の動きベクトル信頼度α'（ｉ，ｕ（ｉ））および補正後の静止ベクトル信頼度α'（ｉ，０）を用いて、実施の形態１で説明した（９）式により、補間画素を算出する。すなわち、補正後の動きベクトル信頼度α'（ｉ，ｕ（ｉ））を（９）式のα（ｉ，u（ｉ））に代入し、補正後の静止ベクトル信頼度α'（ｉ，０）を（９）式のα（ｉ，０）に代入することにより、補間画素Ｉ_intを算出する。

次に、以上のように構成された実施の形態２の補間フレーム生成処理について説明する。図７は、実施の形態２の補間フレーム生成処理の手順を示すフローチャートである。動き推定処理（ステップＳ２１）、動きベクトル信頼度算出処理（ステップＳ２２）、静止ベクトル信頼度算出処理（ステップＳ２３）は、実施の形態１と同様に行われる。

動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）が算出されたら、信頼度補正部５０５は、両信頼度の比である信頼度比ｒ（ｉ）を（１９）式により算出する（ステップＳ２４）。そして、信頼度補正部５０５は、この信頼度比ｒ（ｉ）を用いて、絶対値信頼度α_r（ｉ）を（２０）式により算出する（ステップＳ２５）。

次に、信頼度補正部５０５は、補正前の動きベクトル信頼度α（ｉ，ｕ（ｉ））および補正前の静止ベクトル信頼度α（ｉ，０）を、（２１）式、（２２）式により補正して、補正後の動きベクトル信頼度α'（ｉ，ｕ（ｉ））および補正後の静止ベクトル信頼度α'（ｉ，０）を算出する（ステップＳ２６）。

これ以降の処理は、実施の形態１と同様に行われる。なお、上述したように、補間画像の生成の際に、（９）式では、補正後の動きベクトル信頼度α'（ｉ，ｕ（ｉ））および補正後の静止ベクトル信頼度α'（ｉ，０）が用いられることになる。

このように実施の形態２にかかる補間画像生成装置５００では、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）の信頼度比を算出し、この信頼度比が1に近い場合には両者の信頼度を補正し、補正後の各信頼度を用いて、重み平均による動き補償画像と静止画像の混合を行って補間画像を生成しているので、動き補償画像と静止画像の1対1の混合により生成される補間画像の画質劣化を防止することができる。

なお、本実施の形態の信頼度補正部５０５では、絶対値信頼度α_r（ｉ）を（２０）式で算出しているが、これに限定されるものではない。

すなわち、動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）の絶対値が小さい場合には、信頼度の値自体を信頼することができないため、このような動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）を用いて、（９）式による重み平均を算出しても、あまり信頼できるものではなく、高画質が補間画像を生成することができない。

この場合には、静止ベクトルを用いて混合を行って補間画像を生成した方が、画質劣化を防止できる。このため、動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）のうち大きい信頼度がある一定の閾値より小さい場合に、当該信頼度を信頼できないとする絶対値信頼度を（２３）式に示すようにロジスティック関数で定義し、この（２３）式により絶対値信頼度α_r（ｉ）を算出するように信頼度補正部５０５を構成してもよい。

ここで、（２３）式において、γ₁（＞０）は曲線の傾きを示し、γ₂（＞０）は曲線の変曲点を示す。図８は、γ₁＝１００、γ₂＝０．０５の場合の絶対値信頼度曲線を示す説明図である。

また、信頼度補正部５０５を、（２０）式と（２３）式の双方を加味した（２４）式により絶対値信頼度α_r（ｉ）を算出するように構成してもよい。

（実施の形態３）
実施の形態１にかかる補間画像生成装置１００では、対象フレームおよび参照フレームの中のブロックを単位に上述した重み平均を算出することにより補間フレームを生成していたが、ブロック単位に補間フレームを生成する手法では、ブロック歪みが発生してしまう場合がある。

このため、実施の形態２では、画素単位で動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）を算出し、画素単位で、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）に基づく重み係数を用いた動き補償画像と静止画像の重み平均を算出することにより、補間フレームを生成している。

図９は、実施の形態３の補間画像生成装置の機能的構成を示すブロック図である。本実施の形態の補間画像生成装置９００は、図９に示すように、動き推定部１０１と、動きベクトル信頼度算出部９０２と、静止ベクトル信頼度算出部９０３と、画像混合部９０４と、フレームメモリ１１０とを主に備えている。ここで、動き推定部１０１、フレームメモリ１１０については実施の形態１と同様の機能を有している。

本実施の形態では、ブロック歪みを抑制するために画素単位の動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）を算出する。図１０は、実施の形態３の補間画像生成の概要を示す模式図である。

図１０に示すように、画像中の物体境界のブロックを考えると、どちらの物体に属する画素の動きも基本的には周辺ブロックに存在する。このため、画素ごとの動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）は、対象ブロックの周辺ブロックの動きベクトルも考慮して算出し、その信頼度に応じて周辺ブロックの動きベクトルによる動き補償画素を重み平均することにより、ブロック歪みが無い補間フレームを生成することができる。

以下、対象ブロックｉ内の画素位置ｘについての処理について説明する。対象ブロックｉに対する周辺ベクトルの集合は、（２５）式で表すことができる。ここで、対象ブロックｉに対する周辺ベクトルとは、対象ブロックの動きベクトルと対象ブロックの周辺ブロックの動きベクトルである。

ここで、本実施の形態では、周辺ブロックを対象ブロックｉと上下左右の4ブロックの合計5ブロックとし、この５ブロックの動きベクトルを周辺ブロックの動きベクトルである周辺ベクトルとしている。ただし、周辺ベクトルはこれに限定されるものではない。例えば、周辺ブロックを、対象ブロックの上下左右のブロックの他、斜め方向のブロックを含めた合計9ブロックの領域とし、この９ブロックの動きベクトルを周辺ベクトルとするように構成してもよい。

動きベクトル信頼度算出部９０２は、上記周辺ベクトルも含めた動きベクトルの画素単位の動きベクトル信頼度を算出するものである。具体的には、動きベクトル信頼度算出部９０２は、周辺ベクトルｕ∈Ｕ（ｉ）に対して画素位置ｘの動きベクトル信頼度α（ｘ，ｕ）を（２６）式により算出する。

なお、実施の形態１と同様に、動きベクトルの事前確率を用いて画素位置ｘの動きベクトル信頼度α（ｘ，ｕ）を算出するように構成してもよい。

また、逆数を用いて、（２７）式により、画素位置ｘの動きベクトル信頼度α（ｘ，ｕ）を算出するように動きベクトル信頼度算出部９０２を構成してもよい。

静止ベクトル信頼度算出部９０３は、静止ベクトルの画素単位の動きベクトル信頼度を算出するものである。具体的には、静止ベクトル信頼度算出部９０３は、（２６）式に、静止ベクトルｕ＝０を代入することにより、静止ベクトル信頼度α（ｘ，０）を算出している。

画像混合部９０４は、周辺ベクトルを含めた画素単位の動きベクトル信頼度と画素単位の静止ベクトル信頼度に基づく重み係数を用いて、動き補償画素と静止画素の重み平均を算出し補間画素を決定し、これをフレーム内の全画素について実行することにより、補間フレームを生成するものである。

具体的に、画像混合部９０４は、（２８−１）式により、周辺ベクトルｕ∈Ｕ（ｉ）の動き補償画素Ｉ_mc（ｘ，ｕ）を算出し、（２８−２）式により、静止画素Ｉ_still（ｘ）を算出する。なお、実施の形態１の変形例と同様に、それぞれ平均画素を用いて算出してもよい。

そして、画像混合部９０４は、（２９）式により、補間画素Ｉ_int（ｘ）を算出する。

次に、以上のように構成された実施の形態３の補間画像生成処理について説明する。図１１は、実施の形態３の補間画像生成処理の手順を示すフローチャートである。まず、動き推定部１０１は、ブロックｉの動き推定を行い、周辺ベクトルを含めた動きベクトルを検出する（ステップＳ３１）。この処理は、全てのブロックについて繰り返し実行される。

次いで、変数等の初期化を行い（ステップＳ３２）、動きベクトル信頼度算出部９０２は、（２６）式により画素単位の動きベクトル信頼度α（ｘ，ｕ）を算出し（ステップＳ３３）、画像混合部９０４は（２８−１）により動き補償画像Ｉ_mc（ｘ，ｕ）を算出する（ステップＳ３４）。次いで、画像混合部９０４は、算出した画素単位の動きベクトル信頼度α（ｘ，ｕ）を前回の累積値αsumに累積して、さらに、画素単位の動きベクトル信頼度α（ｘ，ｕ）と動き補償画素Ｉ_mc（ｘ，ｕ）を乗算して前回の累積値Ｉsumに累積する（ステップＳ３５）。そして、ステップＳ３３からＳ３５までの処理を周辺ベクトルの数分について繰り返し実行する。

次に、画像混合部９０４は、（２８−２）により静止画像Ｉ_still（ｘ）を算出し（ステップＳ３６）、静止ベクトル信頼度算出部９０３は（２６）式に静止ベクトルｕ＝０を代入して画素単位の静止ベクトル信頼度α（ｘ，０）を算出する（ステップＳ３７）。そして、画像混合部９０４は、算出した画素単位の静止ベクトル信頼度α（ｘ，０）を累積値αsumに累積し、さらに、画素単位の静止ベクトル信頼度α（ｘ，０）と静止画像Ｉ_still（ｘ）を乗算して累積値Ｉsumに累積する（ステップＳ３８）。そして、画像混合部９０４は、累積値Ｉsumを累積値累積値αsumで除算することにより補間画素Ｉ_int（ｘ）を算出する（ステップＳ３９）。これにより、（２９）式により補間画素Ｉ_int（ｘ）を算出されたことになる。

ステップＳ３２からＳ２９までの処理は、ブロック内の全ての画素について、および全てのブロックについて繰り返し実行される。これにより、補間フレームが生成される。

このように実施の形態３の補間画像生成装置９００では、画素単位で動きベクトル信頼度α（ｉ，ｕ（ｉ））、静止ベクトル信頼度α（ｉ，０）を算出し、画素単位で、動きベクトル信頼度α（ｉ，ｕ（ｉ））と静止ベクトル信頼度α（ｉ，０）に基づく重み係数を用いた動き補償画像と静止画像の重み平均を算出することにより、補間フレームを生成しているので、ブロック歪みのない高画質な補間画像を生成することができる。

（実施の形態４）
実施の形態１〜３の補間画像生成装置では、破綻防止ベクトルとして静止ベクトルｕ＝０を用いて破綻防止ベクトル信頼度として静止ベクトル信頼度を算出し補間画像を生成していたが、破綻防止ベクトルとしては静止ベクトル以外のものを用いることができる。

実施の形態４では、破綻防止ベクトルとして、画面全体の動きを反映したグローバルモーションを用い、破綻防止ベクトル信頼度としてグローバルモーション信頼度を算出し、このグローバルモーション信頼度を用いた重み平均により補間画像を生成している。

図１２は、実施の形態４の補間画像生成装置の機能的構成を示すブロック図である。本実施の形態の補間画像生成装置１２００は、図１２に示すように、動き推定部１０１と、グローバルモーション推定部１２０１と、動きベクトル信頼度算出部１０２と、グローバルモーション信頼度算出部１２０３と、画像混合部１２０４と、フレームメモリ１１０とを主に備えている。ここで、動き推定部１０１、動きベクトル信頼度算出部１０２、フレームメモリ１１０については実施の形態１と同様の機能を有している。

グローバルモーション推定部１２０１は、動きベクトルからグローバルモーションを推定するものである。グローバルモーションは、２次元平面から２次元平面への幾何変換によってモデル化することができる。幾何変換の代表はアフィン変換である。これは並進、回転、拡大、せん断変形（正方形の菱形への変形）を表すことのできる幾何変換である。最も使用される幾何変換は、自由度が6であるため複雑となるため、本実施の形態では、並進のみを考慮した幾何変換を考える。並進のみを考慮した幾何変換は、（３０）式で示され、単一の２次元動きベクトルで表現することができ、自由度は２である。

グローバルモーション推定部１２０１は、グローバルモーションを、所定の領域内の代表となる動きベクトル（代表動きベクトル）を決定することにより推定する。グローバルモーション推定部１２０１は、代表動きベクトルを、平均値やメディアン値によって算出する。

与えられた動きベクトル領域から任意の数（K個）のグローバルモーション（３１）式を抽出する問題は、ｋ−ｍｅａｎｓ法を用いて解法することができる。

ｋ−ｍｅａｎｓ法は、領域をK個のクラスタにクラスタリングするアルゴリズムである。各動きベクトルｕ（ｉ）が属するクラスタを識別するために、動きベクトルｕ（ｉ）にラベルｚ（ｉ）を付与する。初期ラベルｚ⁽⁰⁾（ｉ）が付与されている場合、このとき各クラスタの平均値は、（３２）式で算出される。

次に、平均値からの距離が最小となるクラスタを決定し、（３３）式によりラベルを更新する。

ｋ−ｍｅａｎｓ法では（３２）式、（３３）式を任意の回数繰り返し、収束させる。初期ラベルｚ⁽⁰⁾（ｉ）の付与の手法としては種種あるが、例えばランダムにｋ＝１，２，・・・Ｋを割り当てることがあげられる。本実施の形態のグローバルモーション推定部１２０１では、対象フレームのｋ−ｍｅａｎｓ法によるクラスタリングの結果を初期ラベルｚ⁽⁰⁾（ｉ）としている。

グローバルモーション推定部１２０１は、まず、対象フレームの画像のブロック内の画素値の平均値を（３４−１）式により算出する。

次いで、グローバルモーション推定部１２０１は、各クラスタの平均値の初期値（３４−２）式を、例えば０−２５５をK個で分割した値等任意に設定する。

そして、グローバルモーション推定部１２０１は、（３５）式により、ラベリングを行いラベルを更新する。

次に、グローバルモーション推定部１２０１は、（３６）式により、各クラスタの対象フレームの画素値の平均値を算出する。

そして、グローバルモーション推定部１２０１は、（３５）式、（３６）式を複数回繰り返し実行する。次に、グローバルモーション推定部１２０１は、（３７）式により、対象フレームのクラスタリングの結果を動きベクトルのクラスタリングのラベル初期値に設定する。

グローバルモーション推定部１２０１は、このようにラベルｚ（ｉ）を算出した後、（３８）式により平均値を算出することにより、あるいは（３９）式によりベクトルメディアン値を算出することにより、Ｋ個のグローバルモーションを求める。また、（３８）式で求めた平均値を、（３９）式のｕに代入して、平均値を求めることにより、（３８）式と（３９）式の双方を用いてグローバルモーションを算出してもよい。

そして、グローバルモーション推定部１２０１は、このように算出されたK個のグローバルモーションの中から例えば要素数Ｎｕｍ（Ｕ_k）が最大のグローバルモーションを、破綻防止ベクトルｕ_gとして設定する。ここで、この破綻防止ベクトルをグローバルモーションベクトルｕ_gという。

グローバルモーション信頼度算出部１２０３は、グローバルモーション推定部１２０１で求めた破綻防止ベクトルとしてのグローバルモーションベクトルｕ_gが補間フレームを内挿するために用いるベクトルとして適切か否かを示すグローバルモーション信頼度を算出するものである。具体的には、グローバルモーション信頼度算出部１２０３は、動きベクトル信頼度算出部１０２と同様の手法で、グローバルモーション信頼度を算出する。

すなわち、実施の形態１における（７）式において、動きベクトルの代わりに、グローバルモーションベクトルｕ_gを入力することにより、（４０）式に示すグローバルモーション信頼度α（ｉ，ｕ_g）を算出する。

画像混合部１２０４は、動き補償画像とグローバルモーション画像を生成し、動きベクトル信頼度α（ｉ，ｕ（ｉ））とグローバルモーション信頼度α（ｉ，ｕ_g）に基づく重み係数を用いて、動き補償画像とグローバルモーション画像の重み平均により補間フレームを生成するものである。

具体的には、画像混合部１２０４は、まず、グローバルモーション画素Ｉ_g（ｘ）を（４１−１）式により生成する。画像混合部１２０４は、次に、対象フレームの画素を動きベクトルｕ（ｉ）によってシフトした動き補償画素Ｉ_mc（ｘ）を（４１−２）式により生成する。

なお、（４１−１）式では、対象フレームのみをグローバルモーション画像の生成に用いているが、（４２−１）、（４２−２）式に示すように、対象フレームと参照フレームの平均画像を用いても良い。

グローバルモーション画素Ｉ_g（ｘ）はグローバルモーション信頼度α（ｉ，ｕ_g）を有し、動き補償画素Ｉ_mc（ｘ）は動きベクトル信頼度α（ｉ，ｕ（ｉ））を有している。このため、画像混合部１２０４は、補間画素Ｉ_int（ｘ）を、これらに基づく重み係数を用いて、（４３）式により算出する。

ここで、グローバルモーション信頼度α（ｉ，ｕ_g）と動きベクトル信頼度α（ｉ，ｕ（ｉ））が共に０の場合には、（４３）式で算出される重み平均としての補間画素は不定になってしまう。このため、グローバルモーション信頼度α（ｉ，ｕ_g）と動きベクトル信頼度α（ｉ，ｕ（ｉ））がともに０である場合には、（４４−１）式により、または（４４−２）式により補間画素Ｉ_int（ｘ）を算出すればよい。

次に、以上のように構成された実施の形態４の補間画像生成処理について説明する。図１３は、実施の形態４の補間画像生成処理の手順を示すフローチャートである。まず、動き推定部１０１は、実施の形態１と同様に、（２）式により、ブロックｉ内の動き推定を行い動きベクトルｕ（ｉ）を算出する（ステップＳ４１）。次に、グローバルモーション推定部１２０１が、グローバルモーションの決定、すなわち、グローバルモーションベクトルｕ_gの算出を行う（ステップＳ４２）。

図１４は、グローバルモーションベクトルｕ_gの算出処理の手順を示すフローチャートである。グローバルモーション推定部１２０１は、まず、初期ラベルｚ⁽⁰⁾（ｉ）を（３７）式により設定する（ステップＳ５１）。そして、グローバルモーション推定部１２０１は、要素数を格納する変数および平均値を格納する変数の初期化を行い、クラスタ内の動きベクトルｕを累積加算し、クラスタ内の動きベクトルｕの要素数をカウントする（ステップＳ５２）。この処理をブロック内の全ての動きベクトルについて繰り返し行う。

次に、グローバルモーション推定部１２０１は、動きベクトルｕの累積値をカウントした要素数Ｎｕｍで除算し（ステップＳ５３）、この処理を全てのクラスタについて繰り返し実行する。これにより、（３８）式により平均値が算出されることになる。

次に、グローバルモーション推定部１２０１は、最小値を保存する変数の初期化を行って、ステップＳ５３で求めた動きベクトルの平均値と現在の処理対象の動きベクトルのＬ１ノルムを算出する（ステップＳ５４）。そして、この算出値が最小値であるか否かを調べ（ステップＳ５５）、最小値である場合には（ステップＳ５５：Ｙｅｓ）、この最小値とそのときのラベルｚ（ｉ）をメモリ等の記憶媒体に保存する（ステップＳ５６）。ステップＳ５５において、算出値が最小値でない場合には（ステップＳ５５：Ｎｏ）、ステップＳ５６の処理は行われない。このステップＳ５４およびＳ５５の処理は全てのクラスタに対して繰り返し実行され、その後、全てのブロックに対して繰り返し実行される。これにより、（３９）式によるクラスタごとの動きベクトルの平均値、すなわち、クラスタごとに代表的な動きベクトルであるグローバルモーションが算出されることになる。

そして、グローバルモーション推定部１２０１は、このように算出されたクラスタごとの代表的な動きベクトルの中から、例えば、要素数Ｎｕｍ（Ｕ_k）が最大の動きベクトルをグローバルモーションベクトルｕ_gとして決定する（ステップＳ５６）。

図１３に戻り、グローバルモーションベクトルｕ_gが算出されたら、実施の形態１と同様に、動きベクトル信頼度算出部１０２が（７）式により動きベクトル信頼度α（ｉ，ｕ（ｉ））を算出する（ステップＳ４３）。次いで、グローバルモーション信頼度算出部１２０３は、グローバルモーションベクトルｕ_gのを（７）式に代入することによりグローバルモーション信頼度α（ｉ，ｕ_g）を算出する（ステップＳ４４）。

次に、画像混合部１２０４は、（４１−１）式により、グローバルモーション画素Ｉ_g（ｘ）を算出し（ステップＳ４５）、（４１−２）式により動き補償画素Ｉ_mc（ｘ）を算出する（ステップＳ４６）。そして、画像混合部１２０４は、（４３）式による重み平均により、補間画素Ｉ_int（ｘ）を算出する（ステップＳ４７）。これらのステップＳ４５からＳ４７までの補間画素Ｉ_int（ｘ）の算出処理は、ブロックｉ内の全ての画素について実行され、ステップＳ４１からＳ４７までの一連の処理は、対象フレームの全てのブロックに対して実行され、これにより補間フレームが生成される。

このように実施の形態４にかかる補間画像生成装置１２００では、破綻防止ベクトルとして、画面全体の動きを反映したグローバルモーションを用い、破綻防止ベクトル信頼度としてグローバルモーション信頼度を算出し、このグローバルモーション信頼度を用いた重み平均により補間画像を生成しているので、画像全体が平行移動している動画像の場合でも、ずれを生じることなく破綻防止ベクトルを求めることができ、これにより、より高画質な補間画像を生成することができる。

（実施の形態５）
実施の形態１〜４の補間画像生成装置では、対象画像と参照画像の動きベクトル信頼度を算出し、この動きベクトル信頼度を用いて補間画像を生成していたが、この実施の形態５の補間画像生成装置では、オクルージョンが存在する場合でも高画質な補間画像を生成するために、さらに、対象画像より早い時刻の画像、参照画像より遅い時刻の画像を用いて複数の動きベクトル信頼度を算出し、これらの動きベクトル信頼度を用いて補間画像を生成している。

図１５は、実施の形態５の補間画像生成装置の機能的構成を示すブロック図である。本実施の形態の補間画像生成装置１５００は、図１５に示すように、動き推定部１０１と、動きベクトル信頼度算出部１４０２と、静止ベクトル信頼度算出部１０３と、画像混合部１４０４と、フレームメモリ１１０とを主に備えている。ここで、動き推定部１０１、静止ベクトル信頼度算出部１０２、フレームメモリ１１０については実施の形態１と同様の機能を有している。

本実施の形態では、対象フレームＩ_srcと参照フレームＩ_dstの他、対象フレームＩ_srcよりも早い時刻（後ろ）のフレームである後方参照フレームＩ_{dst_back}と、参照フレームＩ_dstよりも遅い時刻（先）のフレームである前方参照フレームＩ_{dst_for}を用いることを特徴とする。

すなわち、後方参照フレームＩ_{dst_back}の時刻をｔ−１、対象フレームの時刻をｔ、参照フレームの時刻をｔ＋１、前方参照フレームＩ_{dst_for}の時刻をｔ＋２とする。なお、補間フレームは、対象フレームと参照フレームとの間、すなわち、時刻ｔから時刻ｔ＋１の間に内挿するものとする。

図１６は、オクルージョンを説明するための模式図である。オクルージョンは、図１６に示すように、動オブジェクトの前後などに背景が現れたり隠れたりする領域である。オクルージョンは、通常２フレーム間で正しく解決することは難しい。このため、本実施の形態では、上述のように、対象フレームと参照フレームの他、これらの前後２つのフレームを用いることによってオクルージョンが生じた場合でも高画質な補間画像を生成している。

本実施の形態では、対象ブロックｉ内の画素位置ｘについての処理を説明する。対象ブロックと対象ブロックの周辺ブロックの動きベクトルである周辺ベクトルの集合は、（４５）式で表すものとする。

図１５に戻り、動きベクトル信頼度算出部１５０２は、実施の形態１と同様に、対象フレームの画素位置に対する動きベクトル信頼度を算出する他、後方参照フレームの画素位置に対する動きベクトル信頼度と、前方参照フレームの画素位置に対する動きベクトル信頼度を算出する。

また、本実施の形態の動きベクトル信頼度算出部１２０２では、対象ブロックｉと対象ブロックｉの周辺ブロックの動きベクトルを考慮して動きベクトル信頼度を算出している。本実施の形態では、周辺ブロックを対象ブロックｉと上下左右の4ブロックの合計5ブロックとし、この５ブロックの動きベクトルを周辺ブロックの動きベクトルである周辺ベクトルとしている。ただし、周辺ベクトルはこれに限定されるものではない。例えば、周辺ブロックを、対象ブロックの上下左右のブロックの他、斜め方向のブロックを含めた合計9ブロックの領域とし、この９ブロックの動きベクトルを周辺ベクトルとするように構成してもよい。

動きベクトル信頼度算出部１２０２は、画素位置ｘにおける周辺ベクトルｕ∈Ｕに対する動きベクトル信頼度α（ｘ，ｕ）は、（４６）式で算出される。

なお、実施の形態１と同様に、動きベクトルの事前確率から動きベクトル信頼度α（ｘ，ｕ）を算出するように構成してもよい。また、（４７）式に示すように、逆数を用いて動きベクトル信頼度α（ｘ，ｕ）を算出するように構成してもよい。

また、動きベクトル信頼度算出部１２０２は、図１７に示すように、前方参照フレームの周辺ベクトルに対する動きベクトル信頼度α_for（ｘ，ｕ）を（４８）式により算出し、後方参照フレームの周辺ベクトルに対する動きベクトル信頼度α_back（ｘ，ｕ）を（４９）式により算出する。

画像混合部１５０４は、周辺ベクトルに基づいて動き補償を行って動き補償画素を算出する。また、画像混合部１５０４は、後方参照フレームに対する周辺ベクトルに基づく動き補償画素、前方参照フレームに対する周辺ベクトルに基づ動き補償画素、静止画素をそれぞれ算出し、３つの動き補償画素と静止画素に対して、３つの動きベクトル信頼度と静止ベクトル信頼度とに基づく重み係数を用いた重み平均を算出して、補間フレームを生成する。

具体的には、画像混合部１５０４は、周辺ベクトルｕ∈Ｕ（ｉ）による動き補償画素Ｉ_mc（ｘ，ｕ）を（５０−１）式により算出し、静止画素Ｉ_still（ｘ）を（５１）式により算出する。

なお、対象フレームの画素Ｉ_srcと参照フレームの画素Ｉ_dstの平均画素を用いて動き補償画素Ｉ_mc（ｘ，ｕ）、静止画素Ｉ_still（ｘ）を求めるように画像混合部１５０４を構成してもよい。

さらに、本実施の形態の画像混合部１５０４は、前方参照フレームに対する周辺ベクトルに基づ動き補償画素Ｉ_{mc_for}（ｘ，ｕ）を（５１−１）式により算出し、動き補償画素Ｉ_{mc_back}（ｘ，ｕ）を（５１−２）式により算出する。

そして、画像混合部１５０４は、（５２）式により重み平均をおこない補間画素Ｉi_nt（ｘ）を算出する。

次に、以上のように構成された実施の形態４の補間画像生成処理について説明する。図１８は、実施の形態４の補間画像生成処理の手順を示すフローチャートである。まず、動き推定部１０１は、実施の形態１と同様に、（２）式により、ブロックｉ内の動き推定を行い動きベクトルｕ（ｉ）を算出する（ステップＳ６１）。

次に、動きベクトル信頼度算出部１５０２は、周辺ブロックの動きベクトル、すなわち周辺ベクトルを用いて、（４６）式により参照フレームに対する動きベクトル信頼度α（ｉ，ｕ（ｉ））を算出する（ステップＳ６２）。また、動きベクトル信頼度算出部１５０２は、周辺ベクトルを用いて、（４８）式により前方参照フレームに対する動きベクトル信頼度α_for（ｉ，ｕ（ｉ））を算出する（ステップＳ６３）。さらに、動きベクトル信頼度算出部１５０２は、周辺ベクトルを用いて、（４９）式により後方参照フレームに対する動きベクトル信頼度α_back（ｉ，ｕ（ｉ））を算出する（ステップＳ６４）。

次に、静止ベクトル信頼度算出部１０３が静止ベクトル信頼度α（ｉ，０）を、（７）式に静止ベクトルｕ（ｉ）＝０を代入することにより算出する（ステップＳ６５）。次に、画像混合部１５０４は、ブロックｉ内の画素位置ｘにおける静止画素Ｉ_still（ｘ）を（５０−２）式により算出する（ステップＳ６６）。

次に、画像混合部１５０４は、参照フレームのブロックｉ内の画素位置ｘにおける動き補償画素Ｉ_mc（ｘ，ｕ）を（５０−１）式により算出する（ステップＳ６７）。次いで、画像混合部１５０４は、前方参照フレームに対する動き補償画素Ｉ_{mc_for}（ｘ，ｕ）を（５１−１）式により算出し（ステップＳ６８）、後方参照フレームに対する動き補償画素Ｉ_{mc_back}（ｘ，ｕ）を（５１−２）式により算出し（ステップＳ６９）。

そして、画像混合部１５０４は、（５２）式による重み平均により、補間画素Ｉ_int（ｘ）を算出する（ステップＳ７０）。これらのステップＳ６６からＳ７０までの補間画素Ｉ_int（ｘ）の算出処理は、ブロックｉ内の全ての画素について実行され、これによりブロックｉ単位で補間画像が生成される。また、ステップＳ６１からＳ７０までの一連の処理は、対象フレームの全てのブロックに対して実行され、これにより補間フレームが生成される。

このように実施の形態５にかかる補間画像生成装置１５００では、対象フレーム、参照フレームの他、対象フレームより早い時刻の後方参照フレーム、参照フレームより遅い時刻の前方参照フレームを用いて複数の動きベクトル信頼度を算出し、これらの動きベクトル信頼度を用いて重み平均により補間画像を生成しているので、画像中にオクルージョンが存在する場合でも高画質な補間画像を生成することができる。

実施の形態１〜５の補間画像生成装置１００，５００，９００，１２００，１５００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

実施の形態１〜５の補間画像生成装置１００，５００，９００，１２００，１５００で実行される補間画像生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜５の補間画像生成装置１００，５００，９００，１２００，１５００で実行される補間画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１〜５の補間画像生成装置１００，５００，９００，１２００，１５００で実行される補間画像生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施の形態１〜５の補間画像生成装置１００，５００，９００，１２００，１５００で実行される補間画像生成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施の形態１〜５の補間画像生成装置１００，５００，９００，１２００，１５００で実行される補間画像生成プログラムは、上述した各部（動き推定部、動きベクトル信頼度算出部、静止ベクトル信頼度算出部と、信頼度補正部、画像混合部、グローバルモーション推定部、グローバルモーション信頼度算出部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から補間画像生成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、動き推定部、動きベクトル信頼度算出部、静止ベクトル信頼度算出部と、信頼度補正部、画像混合部、グローバルモーション推定部、グローバルモーション信頼度算出部が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかる補間画像生成装置の機能的構成を示すブロック図である。 αブレンディングを説明するための模式図である。 実施の形態１の補間フレーム生成を説明するための模式図である。 実施の形態１の補間フレーム生成処理の手順を示すフローチャートである。 実施の形態２の補間画像生成装置の機能的構成を示すブロック図である。 標準偏差σ＝1の場合の絶対値信頼度曲線を示す説明図である。 実施の形態２の補間フレーム生成処理の手順を示すフローチャートである。 γ₁＝１００、γ₂＝０．０５の場合の絶対値信頼度曲線を示す説明図である。 実施の形態３の補間画像生成装置の機能的構成を示すブロック図である。 実施の形態３の補間画像生成の概要を示す模式図である。 実施の形態３の補間画像生成処理の手順を示すフローチャートである。 実施の形態４の補間画像生成装置の機能的構成を示すブロック図である。 実施の形態４の補間画像生成処理の手順を示すフローチャートである。 グローバルモーションベクトルｕ_gの算出処理の手順を示すフローチャートである。 実施の形態５の補間画像生成装置の機能的構成を示すブロック図である。 オクルージョンを説明するための模式図である。 前方参照フレームに対する動きベクトル信頼度α_for（ｘ，ｕ）、後方参照フレームに対する動きベクトル信頼度を示すための説明図である。 実施の形態４の補間画像生成処理の手順を示すフローチャートである。

符号の説明

１００，５００，９００，１２００，１５００ 補間画像生成装置
１０１ 動き推定部
１０２，１５０２ 動きベクトル信頼度算出部
１０３，９０３ 静止ベクトル信頼度算出部
１０４，１４０４ 画像混合部
１２０１ グローバルモーション推定部
１２０３ グローバルモーション信頼度算出部
５０５ 信頼度補正部
９０３ 静止ベクトル信頼度算出部

Claims (7)

1. 対象画像と参照画像との間に内挿する補間画像を生成する補間画像生成装置であって、
   前記対象画像から前記参照画像への動きベクトルを推定する動き推定部と、
   前記補間画像を内挿するために用いるベクトルとしての前記動きベクトルの信頼性を示し、前記動きベクトルによって対応づけられる前記対象画像の領域と前記参照画像の領域との相関が高い程、大きい値を有する動きベクトル信頼度を算出する第１算出部と、
   画像破綻を防止するための予め定められたベクトルである破綻防止ベクトルの信頼性を示す破綻防止ベクトル信頼度を算出する第２算出部と、
   前記動きベクトル信頼度と前記破綻防止ベクトル信頼度との比である信頼度比を算出し、前記信頼度比が１に近いほど、前記動きベクトル信頼度を小さい値に補正し、かつ前記破綻防止ベクトル信頼度を大きい値に補正する補正部と、
   前記動きベクトルに基づいて動き補償を行って動き補償画像を求め、前記破綻防止ベクトルに基づいて動き補償を行って破綻防止画像を求め、前記動きベクトル信頼度および前記破綻防止ベクトル信頼度に基づく重み係数を用いた前記動き補償画像および前記破綻防止画像に対する重み平均により前記動き補償画像と前記破綻防止画像とを混合することにより、前記補間画像を生成する混合部と、
   を備えたことを特徴とする補間画像生成装置。
2. 前記第１算出部は、前記対象画像における所定の処理対象の領域の動きベクトルと、前記処理対象の領域に隣接する領域である周辺領域の動きベクトルに基づいて画素単位の前記動きベクトル信頼度を算出し、
   前記第２算出部は、画素単位で前記破綻防止ベクトル信頼度を算出することを特徴とする請求項１に記載の補間画像生成装置。
3. 前記破綻防止ベクトルは０ベクトルであり、
   前記破綻防止画像は、静止画像であることを特徴とする請求項１に記載の補間画像生成装置。
4. 前記動きベクトルに基づいて、画像全体の動きを示すグローバルモーションを前記破綻防止ベクトルとして求めるグローバルモーション推定部を更に備え、
   前記第２算出部は、前記破綻防止ベクトル信頼度を、前記グローバルモーションに基づいて算出することを特徴とする請求項１に記載の補間画像生成装置。
5. 前記第１算出部は、さらに、前記対象画像より時間的に早い画像である後方参照画像と前記対象画像の相関が高い程大きい値を有する第２動きベクトル信頼度と、前記参照画像と前記参照画像より時間的に遅い画像である前方参照画像の相関が高い程大きい値を有する第３動きベクトル信頼度を算出し、
   前記画像混合部は、さらに、前記後方参照画像に対する前記動きベクトルに基づく第２動き補償画像と、前記前方参照画像に対する前記動きベクトルに基づく第３動き補償画像とを求め、前記動きベクトル信頼度と前記第２動きベクトル信頼度と前記第３動きベクトル信頼度と前記破綻防止ベクトル信頼度とに基づく重み係数を用いた、前記動き補償画像と前記第２動き補償画像と前記第３動き補償画像と前記破綻防止画像とに対する重み平均を算出することにより、前記補間画像を生成することを特徴とする請求項１に記載の補間画像生成装置。
6. 対象画像と参照画像との間に内挿する補間画像を生成する補間画像生成方法であって、
   前記対象画像から前記参照画像への動きベクトルを推定するステップと、
   前記動きベクトルの信頼性を示し、前記動きベクトルによって対応付けられる前記対象画像の領域と前記参照画像の領域との相関が高い程、大きい値を有する動きベクトル信頼度を算出するステップと、
   画像破綻を防止するための予め定められたベクトルである破綻防止ベクトルの信頼性を示す破綻防止ベクトル信頼度を算出するステップと、
   前記動きベクトル信頼度と前記破綻防止ベクトル信頼度との比である信頼度比を算出し、前記信頼度比が１に近いほど、前記動きベクトル信頼度を小さい値に補正し、かつ前記破綻防止ベクトル信頼度を大きい値に補正するステップと、
   前記動きベクトルに基づいて動き補償を行って動き補償画像を求め、前記破綻防止ベクトルに基づいて動き補償を行って破綻防止画像を求め、前記動きベクトル信頼度および前記破綻防止ベクトル信頼度に基づく重み係数を用いた前記動き補償画像および前記破綻防止画像に対する重み平均により前記動き補償画像と前記破綻防止画像とを混合することにより、前記補間画像を生成するステップと、
   を含むことを特徴とする補間画像生成方法。
7. 対象画像と参照画像との間に内挿する補間画像を生成するためのコンピュータを、
   前記対象画像から前記参照画像への動きベクトルを推定する動き推定部と、
   前記動きベクトルの信頼性を示し、前記動きベクトルによって対応付けられる前記対象画像の領域と前記参照画像の領域との相関が高い程、大きい値を有する動きベクトル信頼度を算出する第１算出部と、
   画像破綻を防止するための予め定められたベクトルである破綻防止ベクトルの信頼性を示す破綻防止ベクトル信頼度を算出する第２算出部と、
   前記動きベクトル信頼度と前記破綻防止ベクトル信頼度との比である信頼度比を算出し、前記信頼度比が１に近いほど、前記動きベクトル信頼度を小さい値に補正し、かつ前記破綻防止ベクトル信頼度を大きい値に補正する補正部と、
   前記動きベクトルに基づいて動き補償を行って動き補償画像を求め、前記破綻防止ベクトルに基づいて動き補償を行って破綻防止画像を求め、前記動きベクトル信頼度および前記破綻防止ベクトル信頼度に基づく重み係数を用いた前記動き補償画像および前記破綻防止画像に対する重み平均により前記動き補償画像と前記破綻防止画像とを混合することにより、前記補間画像を生成する混合部と、
   して機能させることを特徴とする補間画像生成プログラム。

Images