JP5081898B2 - 補間画像生成方法及びシステム - Google Patents

Description

（発明の分野）
本発明は、ビデオストリーム中の前の画像と現在画像との間に補間画像を生成する方法に関するものである。本発明は、ビデオストリーム中の前の画像と現在画像との間の補間画像を生成する画像処理システムにも関するものである。

G. de Haan and P. W. A. C. Biezen: "Sub-pixel motion estimation with 3-D recursive search block-matching", Signal Processing: Image Communication 6, pp. 229-239, 1994

（発明の背景）
ここ２、３年、ＬＣＤテレビジョン用のフレームレートのアップコンバージョンは一般に、５０、６０フレーム／秒のような比較的低いフレームレートについて行われている。近年、市場は、ＬＣＤスクリーンのサンプル−ホールドの問題に応えようとしている。この問題に応える１つの方法は、９６、１００、１２０フレーム／秒のような、より高いフレームレートへのアップコンバージョンによるものである。不都合なことに、より大きい倍率でアップコンバージョンを行うことは、知覚されるビデオの画質もより悪化させる。このことはとりわけ、比較的長時間にわたって補間画像を表示することによって生じる。一般に使用されるフレームレートのアップコンバージョン用の動き推定アルゴリズムは、３ＤＲＳアルゴリズムであり、G. de Haan and P. W. A. C. Biezen: ”Sub-pixel motion estimation with 3-D recursive search block-matching”, Signal Processing: Image Communication 6, pp. 229-239, 1994に記載されている。このアルゴリズムは、ブロック依存性の候補の組からフェッチ（取得）したベクトルについての絶対差の総和（ＳＡＤ：Sum of Absolute Differences）を最小化することによって、現在フレーム中のブロック毎にベクトルを見つける。

G. de Haan: "Video Processing for Multimedia Systems", University Press Eindhoven, 2000

静的カスケード・メジアン（縦続中央値）のような、いくつかのアップコンバージョン技術が存在する。これらの詳細は、G. de Haan: ”Video Processing for Multimedia Systems”, University Press Eindhoven, 2000に記載されている。しかし、これらの技術にはいわゆるハロー・アーティファクトの問題がある。動き補償型画像レート変換器から生じる画像では、背景のカバリング（覆い隠し）またはアンカバリング（再出現）のいずれかが生じる所で、移動物体の境界にアーティファクトが目に付く。これらの影響はハローと称される。これらのハローには二つの理由が存在する。第１の原因は、動きベクトル場の解像度である。通常、動きベクトルが得られる格子の密度は、画素の格子の密度よりずっと小さい。例えば、８×８画素のブロック毎に動きベクトルが得られる場合には、移動物体の輪郭はベクトル格子の所で大まかに近似することしかできず、ブロック的なハロー効果が生じる。第２の原因は、ビデオ・シーケンス中の連続する２つの画像間の動きを推定する動き推定装置が、カバリング及びアンカバリングが生じる領域では良好に動作することができないことにある、というのは、こうした領域については、背景情報がこれら２つの画像のいずれかのみに背景情報が生じることが一般的であるからである。

米国特許出願公開第２００６／００７２７９０号明細書

アンカバリング−カバリング検出を実行する方法は、米国特許出願公開第２００６／００７２７９０号明細書に開示されている。G. de Haan and P. W. A. C. Biezen: ”Sub-pixel motion estimation with 3-D recursive search block-matching”, Signal Processing: Image Communication 6, pp. 229-239, 1994も参照されたい。

G. A. Lunter: "Occlusion-Insensitive Motion Estimation with 3-D Recursive Search Block-Matching", Signal Processing: Image Communication 6, pp. 229-239, 1994 国際公開第２００５／０２７５２５号パンフレット

近年、オクルージョン（カバリングまたはアンカバリング）問題を解決するための、いくつかの３フレーム変化（G. A. Lunter: “Occlusion-Insensitive Motion Estimation with 3-D Recursive Search Block-Matching”, Signal Processing: Image Communication 6, pp. 229-239, 1994）が提案されている。オクルージョンは、２、３の参照フレームの全てでなく一部のみにおいて可視である画像領域内に生じる。オクルージョンから生じるエラーをハロー・アーティファクトと称する。これらの３フレーム変化は、ベクトル場リタイマーを用いたフレームレートのアップコンバージョンに使用することができる。こうしたベクトル場リタイマーは特許文献２（国際公開第２００５／０２７５２５号パンフレット）から知ることができる。これらの文書は、Philips Researchによって開発された、プラットフォーム制約なしにハロー問題を解決するためのアルゴリズムを開示している。このアルゴリズムは２つの部分、即ち動き推定器及び時間的アップコンバータから成る。しかし、３フレーム推定器とベクトル場リタイマーとの組合せは、実現が非常に高価である。

より安価なハロー低減アルゴリズムは、米国特許出願公開第２００６／００７２７９０号明細書に記載されている。米国特許出願公開第２００６／００７２７９０号明細書は、オクルージョン領域内の適切な動きベクトルを容易に決定する方法を開示している。この方法は以下のようなステップを備えている：画素に対するモデルベースの動きベクトルを、画像の動きベクトル場の一部分に基づいて決まる動きモデルに基づいて計算するステップ；このモデルベースの動きベクトルを、一組の動きベクトル中の各動きベクトルと比較するステップ；この比較に基づいて、上記一組の動きベクトル中の特定の動きベクトルを選択し、この特定の運動ベクトルを背景動きベクトルとして割り当てるステップ。しかし、このアルゴリズムは新たなアーティファクトを映像中に導入する可能性が非常に高いことが判明しており、実際に、このアルゴリズムはほぼ完全に興味を失われている。このことはと別に、このアルゴリズムも実現が非常に高価である。

（発明の目的及び概要）
本発明の目的は、ハロー・アーティファクトを低減し、かつ比較的安価である、補間画像を生成する方法を提供することにある。この目的は、請求項１による方法によって達成される。

本発明の他の目的は、ハロー・アーティファクトを低減し、かつ比較的安価である、補間画像を生成する画像処理システムを提供することにある。この目的は、請求項７による画像処理システムによって達成される。

本発明のさらなる目的は、本発明による方法を実行するためのコンピュータプログラム製品を提供することにある。この目的は、請求項８によるコンピュータプログラム製品によって達成される。

本発明は、２フレーム動き推定器とともに適用することができ、それにより実現コストを低減することができる。この新規の方法は、第１に、その目標で他と区別される。本発明は、全てのハロー問題をなくすことは考えず、知覚されるハローのレベルを部分的方法で低減することを考え、例えば、２５フレーム／秒から１００フレーム／秒へのアップコンバージョンについては、カスケード・メジアン（縦続中央値）による２５フレーム／秒から５０フレーム／秒へのアップコンバージョンのレベルに低減することを考える。

本発明は次の原理に基づくものである：動き推定器は少なくとも２つのベクトル場を生成し、一方は１／２より小さい時間位置で生成し、他方は１／２より大きい時間位置で生成する。そして、オクルージョン検出を行ってカバリングおよびアンカバリング領域を検出する。第１ベクトル場から第１ベクトルをフェッチし、第２ベクトル場から第２ベクトルをフェッチする。カバリングが存在する場合には、アップコンバージョンベクトルは第２ベクトルであり、アンカバリングが存在する場合には、アップコンバージョンベクトルは第１ベクトルであり、アンカバリング−カバリングが存在しない場合には、アップコンバージョンベクトルは第１ベクトルまたは第２ベクトルのいずれかにすることができる。このようにして、アップコンバージョンベクトルは、前の画像及び現在画像中の正しい元のセグメント値を指示する。

本発明の好適例は、従属請求項に規定されている。

（実施例の説明）
以下、本発明の実施例について図面を参照しながら説明する。
時間的アップコンバージョンは、２つの入力画像を使用するアルゴリズムを含み、これらの入力画像間に補間画像を生成しなければならない。直前の画像を前の画像と称し、最新の画像を現在画像と称する。このアルゴリズムは一般に、補間画像を段階的に生成し：画像の複数セグメント（例えば複数ブロックまたは複数画素）について動きベクトルを生成し、そしてこれらの動きベクトルを用いてこれらのセグメントの補間値を計算して、前の画像及び現在画像中の正しい元の値をフェッチする。

図１に、本発明による方法の第１ステップを示す。アルゴリズムの第１ステップでは、動き推定器（例えば３ＤＲＳ的な推定器）によって、前の画像と現在画像の間で通常の２画像動き推定を２回行う。１回目の推定は１／２より小さい時間位置で行い；２回目の推定は１／２より大きい時間位置で行う。時間位置１／２は、前の画像と現在画像との中間の時間位置として定義される。第１ベクトル場中の背景（バックグラウンド）ベクトルは、その時間位置に起因して、アンカバリング領域内の前景物体に比較的近い。同様に、第２ベクトル場中の背景ベクトルは、カバリング領域内の前景物体に比較的近い。

次のステップはすべて、セグメント単位で、アップコンバート（した画像を生成）したい時間位置毎に行う。例えば、２５フレーム／秒から１００フレーム／秒へのアップコンバージョンについては、これらの時間位置は１／４、１／２、３／４であるが、このアルゴリズムはこれらの時間位置に限定されない。

図２に、本発明による方法の第２ステップを示す。第２ステップでは、アンカバリング−カバリング検出を、上記ベクトル場の一方または両方を分析することによって実行する。アンカバリング−カバリングの検出は次のように実行する。第２ステップでは、現在セグメントの左側のＮ個のセグメント位置におけるベクトルと、現在セグメントの右側のＮ個のセグメント位置におけるベクトルとの水平差分を計算する（ここにＮ≧１）。この差分をオクルージョン閾値と比較する。次式が成り立つ：
ｍｖ_x(ｘ−Ｎ，ｙ)−ｍｖ_x(ｘ＋Ｎ，ｙ)＞Ｔ_occlusion⇒アンカバリング (1)
ｍｖ_x(ｘ−Ｎ，ｙ)−ｍｖ_x(ｘ＋Ｎ，ｙ)＜−Ｔ_occlusion⇒カバリング (2)
この式では、ｍｖ_ｘ(ｘ，ｙ)は、位置(ｘ，ｙ)におけるベクトルの水平成分であり、Ｔ_occlusionはオクルージョン閾値である。

図３に、本発明による方法の第３ステップを示す。第３ステップは、上記ベクトル場の各々から２つのベクトルを動き補償の方法でフェッチする。カバリングを検出した場合には、前景（フォアグラウンド）ベクトルが選択される確率を高くするために、第１ベクトル場からのベクトルを補償に用いる。アンカバリングを検出した場合には、背景ベクトルが選択される確率を高くするために、第２ベクトル場からのベクトルを補償に用いる。カバリングもアンカバリングも検出しない場合には、ゼロベクトルを用いる。このベクトルと共に、ベクトルｍｖ^uncovを第１ベクトル場からフェッチし、ベクトルｍｖ^covを第２ベクトル場からフェッチする。

図４に、本発明による第４ステップを示す。第４ステップはロバスト性のステップである。ｍｖ^covの水平成分とｍｖ^uncovの水平成分との比較を行う。これらの差がＴ_occlusionよりも小さい場合には、残りの処理は、カバリングもアンカバリングも存在しないものと仮定する。

図５に、本発明による第５ステップを示す。第５ステップは、現在セグメントのアップコンバージョン用のアップコンバージョンベクトルｍｖ^upcを生成する。カバリングが存在する場合にはｍｖ^covを選択し、アンカバリングが存在する場合にはｍｖ^uncovを選択し、いずれも存在しない場合にはｍｖ(ｘ，ｙ)を選択する。アンカバリング−カバリングが存在しない場合には、アップコンバージョンベクトルはｍｖ^cov及びｍｖ^uncovから任意に選択することができる。また、オクルージョンマスクも生成する。このマスクは２次元の場であり、カバリングが存在するブロックでは１であり、アンカバリングが存在するブロックでは−１であり、いずれも存在しないブロックでは０である。このオクルージョンマスクはローパスフィルタ処理される。

図６に、本発明による方法の第６ステップを示す。第６ステップは実際のアップコンバージョンをベクトルｍｖ^upcで実行する。現在セグメントにおけるオクルージョンマスクが０である場合には、標準的なカスケード・メジアンを行う。オクルージョンマスクが０より大きい場合には、アップコンバージョンは、動的なメジアンと、現在画像からベクトルｍｖ^upcに沿った片側フェッチとの混合である。この混合は、オクルージョンマスクの値によって制御する。値が０からさらに遠く離れている場合には、片側フェッチをより多く混合する。オクルージョンマスクが０より小さい場合には、同様のアップコンバージョンを行うが、その際に片側フェッチを前の画像から取得する。

図７に、カバリングを検出した場合のアップコンバージョンベクトルの生成を示す。もし、カバリングを検出した場合には、アップコンバージョンベクトルを第２ベクトル場から取得する。この場合には背景ベクトルを選択する。

図８に、アンカバリングを検出した場合のアップコンバージョンベクトルの生成を示す。アンカバリングを検出した場合には、アップコンバージョンベクトルを第１ベクトル場から取得する。この場合には背景ベクトルを選択する。

図９に、アンカバリング−カバリングを検出しなかった場合のアップコンバージョンベクトルの生成を示す。アンカバリング−カバリングを検出しない場合には、アップコンバージョンベクトルは第１ベクトル場及び第２ベクトル場から任意に取得することができる。この場合には前景ベクトルを選択する。

以下では、いくつかの代案及び選択肢を説明する。１つの興味深い選択肢は、１／４以下の時間位置におけるアップコンバージョンについてはアンカバリング検出を無効にし、３／４以上の時間位置についてのカバリング検出を無効にすることである。このことはロバスト性を増加させ実現コストを減少させる。

他の選択肢は、動き補償的な方法によってベクトルをフェッチせず、０ベクトルを超えるベクトルを常にフェッチすることである。このことは、前景が移動している際にはハロー性能を低下させるが、ロバスト性を増加させ実現コストを減少させる。

他の選択肢は、動き補償的な方法でベクトルをフェッチする際に、ベクトルを空間的に内挿補間することである。このことはハロー領域のエッジを和らげ、より良好なハロー性能全体を可能にするが、実現コストを増加させる。推定の時間位置を１／２のより近く、またはより遠くに移動させることによって、ロバスト性とハロー性能との円滑なトレードオフ（妥協）を行うことができる。このことを動的に行うことは、実現コストを増加させるが、フォールバック制御の可能性を大きく増加させる。

本発明は、従来技術のアルゴリズムよりも有利な点をいくつか持つ。
効率的かつ安価な実現を可能にする。
比較的低いレイテンシでの実現を可能にする。
推定の時間位置を１／２のより近く、または遠くに移動させることによって、ロバスト性とハロー性能の円滑なトレードオフを行うことができる。
比較的ロバストなアルゴリズムである

本発明による方法は、コンピュータプログラム製品の制御下で実行することができる。実行中には、このコンピュータプログラム製品は通常、ＲＡＭのようなメモリにロードして、そこから実行する。このプログラムは、ＲＯＭ、ハードディスク、または磁気記憶装置および／または光学記憶装置のようなバックグラウンドメモリから読み込むことができ、あるいは、インターネットのようなネットワーク経由で読み込むことができる。随意的に、応用特定集積回路が開示された機能を得てもよい。

なお、本発明の保護範囲は、本明細書に記載した実施例に限定されない。「備えている
」等は、請求項に記載した以外の部分を排除するものではない。各要素は複数存在し得る。本発明の部分を形成する手段は、専用ハードウェアの形態でも、プログラムされた汎用プロセッサの形態でも実現することができる。本発明は、新たな特徴の各々、あるいはこれらの特徴の組合せに存在する。

本発明による方法の第１ステップを示す図である。 本発明による方法の第２ステップを示す図である。 本発明による方法の第３ステップを示す図である。 本発明による方法の第４ステップを示す図である。 本発明による方法の第５ステップを示す図である。 本発明による方法の第６ステップを示す図である。 カバリングを検出した場合のアップコンバージョンベクトルの生成を示す図である。 アンカバリングを検出した場合のアップコンバージョンベクトルの生成を示す図である。 アンカバリング−カバリングを検出しなかった場合のアップコンバージョンベクトルの発生を示す図である。

Claims (8)

1. ビデオストリーム中の前の画像と現在画像との間に補間画像を生成する方法において、
   （ａ）前記前の画像と前記現在画像との間で動き推定を実行して第１ベクトル場及び第２ベクトル場を生成するステップであって、前記動き推定の１回目は１／２より小さい時間位置で実行し、前記動き推定の２回目は１／２より大きい時間位置で実行するステップを備え、
   前記補間画像のセグメントの内容を、
   （ｂ）前記第１ベクトル場及び前記第２ベクトル場の少なくとも一方を分析することによって、アンカバリング−カバリングの検出を実行するステップと、
   （ｃ）前記第１ベクトル場から第１ベクトルをフェッチし、前記第２ベクトル場から第２ベクトルをフェッチするステップと、
   （ｄ）アップコンバージョンベクトルを発生するステップであって、
   （ｄ１）カバリングが存在する場合には、前記アップコンバージョンベクトルを前記第２ベクトルとし、
   （ｄ２）アンカバリングが存在する場合には、前記アップコンバージョンベクトルを前記第１ベクトルとし、
   （ｄ３）カバリング−アンカバリングが存在しない場合には、前記アップコンバージョンベクトルを、前記第１ベクトル及び前記第２ベクトルから任意に選択するステップと、
   （ｅ）前記アップコンバージョンベクトルを用いて、前記前の画像及び前記現在画像中の元のセグメント値をフェッチし、前記元のセグメント値から前記セグメントの補間値を計算するステップと、
   （ｆ）前記補間画像の前記セグメント毎に、ステップ（ｂ）〜（ｅ）を反復するステップと
   によって決定することを特徴とする補間画像の生成方法。
2. 請求項１に記載の方法において、ステップ(ｂ)における前記アンカバリング−カバリングの検出を、
   （ｂ１）前記セグメントの左側のＮ個のセグメント位置におけるベクトルと、前記セグメントの右側のＮ個のセグメント位置におけるベクトルとの水平差分を計算するステップと、
   （ｂ２）次式：
   ｍｖ_x(ｘ−Ｎ，ｙ)−ｍｖ_x(ｘ＋Ｎ，ｙ)＞Ｔ_occlusionであればアンカバリング (1)
   ｍｖ_x(ｘ−Ｎ，ｙ)−ｍｖ_x(ｘ＋Ｎ，ｙ)＜−Ｔ_occlusionであればカバリング (2)
   を用いて、前記水平差分をオクルージョン閾値と比較するステップであって、ここにＮ≧１であり、ｍｖ_x(ｘ，ｙ)は位置(ｘ，ｙ)におけるベクトルの水平成分であり、Ｔ_occlusionは前記オクルージョン閾値であるステップと
   によって実行することを特徴とする方法。
3. 請求項１に記載の方法において、前記動き推定を、３ＤＲＳ的な動き推定器によって実行することを特徴とする方法。
4. 請求項１に記載の方法において、ステップ(ｃ)においてフェッチすることを、
   （ｃ１）カバリングを検出した場合に、前記第１ベクトル場からのベクトルに沿って実行し、
   （ｃ２）アンカバリングを検出した場合に、前記第２ベクトル場からのベクトルに沿って実行し、
   （ｃ３）アンカバリング−カバリングを検出しなかった場合に、０ベクトルに沿って実行する
   ことを特徴とする方法。
5. 請求項２に記載の方法において、ステップ(ｃ)とステップ（ｄ）との間に、
   前記第１ベクトルの水平成分と前記第２ベクトルの水平成分とを比較し、前記水平成分どうしの差が前記オクルージョン閾値より小さい場合に、アンカバリング−カバリングが存在しないものとしてステップ（ｄ）及び（ｅ）を実行するステップを実行することを特徴とする方法。
6. 請求項１に記載の方法において、１／４以下の時間位置におけるアップコンバージョンについてはアンカバリングの検出を無効にし、３／４以上の時間位置におけるアップコンバージョンついてはカバリングの検出を無効にすることを特徴とする方法。
7. ビデオストリーム中の前の画像と現在画像との間に補間画像を生成する画像処理システムにおいて
   （ａ）前記前の画像と前記現在画像との間の動き推定を実行して第１ベクトル場及び第２ベクトル場を生成する手段であって、前記動き推定の１回目は１／２より小さい時間位置で実行し、前記動き推定の２回目は１／２より大きい時間位置で実行する手段と、
   前記補間画像のセグメントの内容を、
   （ｂ）前記第１ベクトル場及び前記第２ベクトル場の少なくとも一方を分析することによって、アンカバリング−カバリングの検出を実行するステップと、
   （ｃ）前記第１ベクトル場から第１ベクトルをフェッチし、前記第２ベクトル場から第２ベクトルをフェッチするステップと、
   （ｄ）アップコンバージョンベクトルを発生するステップであって、
   （ｄ１）カバリングが存在する場合には、前記アップコンバージョンベクトルを前記第２ベクトルとし、
   （ｄ２）アンカバリングが存在する場合には、前記アップコンバージョンベクトルを前記第１ベクトルとし、
   （ｄ３）カバリング−アンカバリングが存在しない場合には、前記アップコンバージョンベクトルを、前記第１ベクトル及び前記第２ベクトルから任意に選択するステップと、
   （ｅ）前記アップコンバージョンベクトルを用いて、前記前の画像及び前記現在画像中の元のセグメント値をフェッチし、前記元のセグメント値から前記セグメントの補間値を計算するステップと、
   （ｆ）前記補間画像の前記セグメント毎に、ステップ（ｂ）〜（ｅ）を反復するステップと
   によって決定する手段と、
   を備えていることを特徴とする補間画像生成システム。
8. 請求項１に記載の方法におけるステップ（ａ）〜（ｆ）をコンピュータに実行させるためのコンピュータプログラム。

Images