JP2005229600A

JP2005229600A - 重畳されたブロック基盤の動き推定による動き補償補間方法及びそれを適用したフレームレート変換装置

Info

Publication number: JP2005229600A
Application number: JP2005028088A
Authority: JP
Inventors: Tae-Hyeun Ha; 泰鉉河
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-02-11
Filing date: 2005-02-03
Publication date: 2005-08-25
Also published as: KR100565066B1; US7684486B2; US20050175102A1; KR20050080862A

Abstract

【課題】重畳されたブロック基盤のＭＥによるＭＣＩ方法及びそれを適用したフレームレート変換装置を提供する。
【解決手段】入力されるイメージをフレーム単位で保存する過程、保存されたイメージをＮｘＮブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、ＭｘＭブロック内のピクセルを所定倍数でサンプリングする過程、隣接フレーム間にサンプリングされたＭｘＭブロックをマッチングさせてＭＶを推定する過程、推定された方向ＭＶと隣接フレームとの間に互いにマッチングされるＮｘＮブロックのピクセル値とフレーム間の中間ピクセル値を生成する過程を含む。
【選択図】図２

Description

本発明はフレームレート変換システムに係り、特に重畳されたブロック基盤の動き推定による動き補償補間（ＭＣＩ）方法及びそれを適用したフレームレート変換装置に関する。

一般的に、ＰＣやＨＤＴＶでは、ＰＡＬまたはＮＴＳＣのような多様な放送信号規格を有するプログラムを互換するためにフレームレート変換を行う。フレームレート変換は、秒当たり出力されるフレーム数を変換させることを意味する。特に、フレームレートが上昇する場合に、新たなフレームを補間する過程が必要である。一方、最近には、放送技術の発達によってＭＰＥＧ、Ｈ.２６３のような映像圧縮方式によって映像データを圧縮した後、フレームレート変換を行っている。

フレーム間の映像信号は、ほとんどの場合、相関関係が大きいため、重複性を有している。したがって、データ圧縮時に重複性を除去することによって、データ圧縮効果を向上させうる。この時、経時的に変化するビデオフレームを効率的に圧縮するためには、時間軸方向の重複性の除去が必要である。すなわち、動きのないフレームや少しの動きのあるフレームは、以前フレームに代えることによって、伝送しなければならないデータ量を大幅に減らせる。動き推定（ＭＥ）は、以前フレームと現在フレームとの間で最も類似したブロックを探す作業である。動きベクトル（ＭＶ）は、ＭＥでブロックがどのくらい動いたかを表す。

一般的に、ＭＥ方法は、動き程度の正確度、リアルタイム処理可能性及びハードウェアの具現を考慮して、ブロックマッチングアルゴリズム（ＢＭＡ）を利用している。

このＢＭＡは、連続的に入力される映像を均一なサイズの画素ブロックに分割し、その分割されたそれぞれのブロックに対して、以前あるいは以後フレームで最も類似したブロックを探してＭＶと決定する。ＢＭＡで隣接したブロック間の類似性を判断するためにＭＡＤ（ＭｅａｎＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を主に利用する。

また、フレームとフレームとの間に挿し込まれる映像信号は、主にＢＭＡを使用して生成される。図１は、ＢＭＡを利用したフレーム間のＭＣＩ方法を示している。

図１で、フレームＦ_ｎ、フレームＦ_ｎ−１、フレームＦ_ｉに属するブロックＢ内のピクセル値をそれぞれｆ_ｎ、ｆ_ｎ−１、ｆ_ｉといい、フレームＦ_ｎに属する座標値をｘとする時、動き補償で補間される映像信号は、式（１）のように表すことができる。

このようなＢＭＡは、リアルタイム処理に適してＦＲＣだけでなくＭＰＥＧ２／４及びＨ.２６２／２６４の圧縮標準で使われる。しかし、ＢＭＡは、水平垂直成分のみを有するＭＥには、その性能が卓越しているが、映像の回転や縮少には、性能が良くない。したがって、ＢＭＡを使用して正確性を高めるために、マッチングブロックのサイズを大きくしなければならない。しかし、ブロックサイズが大きくなれば、正確度が高まる一方、精密な表現が難しく、ブロックサイズが少なくなれば、計算量が少なくなり、精密な表現が可能である一方、正確度が劣るという問題点がある。
韓国特許公開第２００３−０２０４６６号公報米国特許第６３４３０９９Ｂ１号米国特許第５１４２３６０号韓国特許公開第１９９９−０１６０８４号公報日本特許公開第２００２−９４９８７号公報韓国特許公開第２００３−０３９８１５号公報

本発明が解決しようとする技術的課題は、サンプリングされたブロックにＭＥを行い、サンプリングされていないブロックにＭＣＩを行うことによって、ブロック基盤のＭＥによる計算量を減らし、精密度を高めるＭＣＩ方法及びそれを適用したフレームレート変換装置を提供することである。

前記課題を解決するために、本発明は、ＭＣＩ方法において、（ａ）入力されるイメージをフレーム単位で保存する過程と、（ｂ）前記保存されたイメージをＮｘＮブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、前記ＭｘＭブロック内のピクセルをサンプリングする過程と、（ｃ）隣接フレーム間に前記サンプリングされたＭｘＭブロックをマッチングさせてＭＶを推定する過程と、（ｄ）前記推定された方向ＭＶと隣接フレーム間に互いにマッチングされる前記ＮｘＮブロックのピクセル値とでフレーム間の中間ピクセル値を生成する過程とを含むことを特徴とする。

前記他の課題を解決するために、本発明は、１フレームのピクセルをＮｘＮのブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割してフレームレートを変換する装置において、入力されるイメージを前記ＮｘＮブロック及び前記ＭｘＭブロックを含むフレーム単位に保存するフレームバッファ手段と、前記フレームバッファ手段に保存されたＭｘＭブロックのピクセルを所定倍数でサンプリングし、隣接フレーム間に前記ＭｘＭブロックをマッチングさせてＭＶを推定するＭＥ手段と、前記ＭＥ手段で推定されたＭＶと前記フレームバッファ部に保存されたＮｘＮブロックのピクセルとに基づいてフレーム間の中間ピクセル値を生成するＭＣＩ手段とを含むことを特徴とする。

本発明によれば、サンプリングされたＭＥブロックを利用してＭＶを推定することによってＭＥ計算量を減らし、推定されたＭＶとサンプリングされていないＭＣＩブロックとを利用してＭＣＩを行うことによって、イメージ精密度を向上させうる。

以下、添付された図面を参照として本発明の望ましい実施例を説明する。

図２は、本発明によるＭＣＩ方法を示すフローチャートである。

まず、入力されるイメージをフレーム単位で保存する（２１０過程）。

次いで、第ｎ−１フレームＦ_ｎ−１及び第ｎフレームＦ_ｎ内のピクセルをＮ_１ｘＮ_２のＭＣＩブロックと、そのＭＣＩブロックと同じ中心軸にそのブロックよりさらに大きいＭ_１ｘＭ_２のＭＥブロックとに分割する（２２０過程）。この時、Ｍ_１ｘＭ_２は、Ｎ_１ｘＮ_２より大きい値と設定される。例えば、ＭＥブロックは３２ｘ３２と、ＭＣＩブロックは１６ｘ１６と設定できる。また、Ｍ_１ｘＭ_２の任意のブロックは、左右上下の隣接ブロックに対して水平及び垂直方向にそれぞれＮ_１及びＮ_２ほど離れている。したがって、Ｍ_１ｘＭ_２のＭＥブロックは、隣接ブロックと重畳される特性を有する。

次いで、第ｎ−１フレームＦ_ｎ−１及び第ｎフレームＦ_ｎのＭＥブロック内のピクセルを１／２あるいはそれ以下にサブサンプリングする（２３０過程）。

図４を参照するに、（ａ）は、Ｍ_１ｘＭ_２のＭＥブロックをサンプリング係数２でサブサンプリングしたものであって、選択された画素と非選択の画素とに区分される。（ｂ）は、Ｎ_１ｘＮ_２のＭＣＩブロックを示す図である。

次いで、第ｎ−１フレームＦ_ｎ−１と第ｎフレームＦ_ｎとの間でサンプリングされたＭ_１ｘＭ_２のＭＥブロックを逆方向または順方向にマッチングさせて、フレーム間に補間されるフレームＦ_ｉに適用するＭＶを推定する（２４０過程）。

例えば、図３を参照して、サンプリングブロックを適用したＭＥ方法を説明する。第ｎ−１フレームＦ_ｎ−１と第ｎフレームＦ_ｎとが与えられた時、ＭＶは、式（２）及び式（３）のように、現在フレームＦ_ｎ−１の基準ブロックと以前フレームＦ_ｎの探索領域内の参照ブロックとのＭＡＤ値を計算した後、最小のＭＡＤ値を有するブロックに対する空間的な距離として決定される。まず、ＭＡＤは、式（２）のように計算される。

ここで、ｎは、時間領域での入力フレームの順序を表す変数である。（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる二つのブロック間の空間的な距離差を表す変数である。（ｋ,ｌ）は、Ｎ_１ｘＮ_２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、ここで、Ｎ_１及びＮ_２は、それぞれ二つの整合ブロックの水平及び垂直サイズを表す。また、式（３）のように、ＭＥ領域内で最小のＭＡＤ値を有するブロックについてのＭＶを求める。

ここで、Ｓは、ＭＥのための探索範囲を表し、（ｘ_ｍ,ｙ_ｍ）は、最小のＭＡＤ値を有するブロックについてのＭＶを表す。

この時、サンプリングされたＭＥブロックを利用したＭＡＤは、式（４）のように表すことができる。

ここで、αは、ＭＥブロック内ピクセルについてのサンプリング係数であり、［Ｍ／α］は、Ｍ／αより大きくない最大の整数値である。Ｍ_１ｘＭ_２は、ＭＥブロックのサイズであり、Ｍ_１及びＭ_２は、式（２）のＮ_１及びＮ_２より大きい値と設定される。式（４）を参照するに、Ｍ_１ｘＭ_２のブロックをサンプリング係数αのサイズほど水平及び垂直方向に均一にサンプリングされたピクセルよりなるブロックでＭＥを実行する。この時、サンプリングされたブロックでＭＥを実行することによって、計算量を減少させる。例えば、同じ映像フレームについてＭＥを実行し、ＭＣＩブロックのサイズが同じであり、ＭＥ範囲が同じであるという仮定下に、従来の技術及び本発明によるＭＥの計算量を比較すると、次の通りである。ＭＥ領域をＳとし、ＭＡＤを推定するための各ピクセルの単位計算量をＫとする時、従来に任意の１ＭＥブロックについてのＭＶの計算量は、ＳＫＮ_１Ｎ_２と表すことができ、本発明は、ＳＫ（Ｍ_１Ｍ_２／α^２）と表すことができる。

次いで、ＭＥブロックで推定されたＭＶに基づいてフレーム間のＭＣＩブロックを利用して、図３に示されたように、補間フレームＦ_ｉの画素値を生成する（２５０過程）。すなわち、補間フレームを生成する実施例を挙げれば、第ｎフレームから第ｎ−１フレームの中間時点で補間されるフレームを仮定し、補間されるフレームに基づいて第ｎフレームから第ｎ−１フレームに向かうＭＶが与えられれば、それぞれ第ｎフレームと第ｎ−１フレームとで互いにマッチングされる地点のピクセル平均値を補間されるフレームのピクセルとして生成する。

ここで、補間されるフレームの画素値は、式（５）のように表すことができる。

結局、サンプリングされたＭＥブロックを利用してＭＶを推定することによって、ＭＥ計算量を減らし、推定されたＭＶとサンプリングされていないＭＣＩブロックとを利用してＭＣＩを行うことによって、イメージ精度を向上させうる。

図５は、本発明によるＭＣＩ方法を適用したフレームレート変換装置のブロック図である。図５を参照するに、フレームバッファ５１０は、入力されるイメージ信号をフレーム単位で保存する。例えば、フレームバッファ５１０には、第ｎフレーム及び第ｎ−１フレームが保存されている。

ＭＥ部５２０は、サンプリング部５２４及びＭＶ（動きベクトル）検出部５２６を備えてサンプリングされたＭｘＭブロックからＭＶを抽出する。すなわち、サンプリング部５２４は、フレームバッファ５１０で保存された第ｎフレーム及び第ｎ−１フレームのＭｘＭブロックを所定のサンプル係数でサブサンプリングする。ＭＶ検出部５２６は、第ｎフレーム及び第ｎ−１フレーム間にそのサンプリングされたＭ_１ｘＭ_２ブロックをバックワードまたはフォーワード方向にマッチングさせてＭＶを推定する。

ＭＣ補間部２４０は、ＭＶ検出部５２６から検出されたＭＶをフレームバッファ５１０で保存された第ｎフレーム及び第ｎ−１フレームのＮ_１ｘＮ_２ブロックに適用してフレーム間に補間されるピクセル値を生成する。

本発明は、前述した実施例に限定されず、本発明の思想内で当業者による変形が可能である。

また、本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読取れるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードとして保存されかつ実行されうる。

本発明は、重畳されたブロック基盤のＭＥによるＭＣＩ方法及びそれを適用したフレームレート変換装置に係り、一般的に、ＰＣやＨＤＴＶに適用されうる。

従来のＭＣＩ方法を示す概念図である。本発明によるＭＣＩ方法を示すフローチャートである。本発明によるＭＥブロックとＭＣＩブロックとを利用したＭＣＩ方法を示す概念図である。図３のＭＥブロックとＭＣＩブロックとを示す図である。本発明によるＭＣＩ方法を適用したフレームレート変換装置のブロック図である。

符号の説明

５１０フレームバッファ
５２０ＭＥ部
５２４サンプリング部
５２６ＭＶ検出部
５４０ＭＩＣ補間部

Claims

動き補償補間方法において、
（ａ）入力されるイメージをフレーム単位で保存する過程と、
（ｂ）前記保存されたイメージをＮｘＮブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、前記ＭｘＭブロック内のピクセルをサンプリングする過程と、
（ｃ）隣接フレーム間に前記サンプリングされたＭｘＭブロックをマッチングさせて動きベクトルを推定する過程と、
（ｄ）前記推定された動きベクトルと隣接フレーム間に互いにマッチングされる前記ＮｘＮブロックのピクセル値とでフレーム間の中間ピクセル値を生成する過程とを含む動き補償補間方法。
前記（ｂ）過程のＭｘＭブロックは、動き推定用ブロックであり、前記ＮｘＮブロックは、動き補償補間用ブロックであることを特徴とする請求項１に記載の動き補償補間方法。
前記（ｃ）過程は、
（ｃ−１）現在フレームのサンプリングされた基準ＭｘＭブロックと以前フレームのサンプリングされた参照ＭｘＭブロックとのＭＡＤ値を計算する過程と、
（ｃ−２）前記過程で計算されたＭＡＤ値のうち最小値を有するＭＡＤを動きベクトルと決定する過程とを含むことを特徴とする請求項１に記載の動き補償補間方法。
前記ＭＡＤは、

であり、
ここで（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる二つのブロック間の空間的な距離差を表す変数であり、（ｋ,ｌ）は、Ｎ_１×Ｎ_２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、αは、ＭＥブロック内のピクセルに対するサンプリング係数であり、［Ｍ／α］は、Ｍ／αより大きくない最大の整数値であり、Ｍ_１×Ｍ_２は、動き推定用ブロックのサイズであり、Ｍ_１及びＭ_２は、Ｎ_１及びＮ_２より大きい値と設定されるを特徴とする請求項３に記載の動き補償補間方法。
前記（ｄ）過程で補間されるフレームの画素値は、

であり、
ここで、ｘ_ｍ、ｙ_ｍは、最小のＭＡＤ値を有するブロックに対する動きベクトルの垂直水平成分であることを特徴とする請求項１に記載の動き補償補間方法。
動き推定方法において、
（ａ）入力されるイメージをフレーム単位に保存する過程と、
（ｂ）前記保存されたイメージをＮｘＮブロックと、そのブロックと同じ中心軸でそのブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、前記ＭｘＭブロック内のピクセルをサンプリングする過程と、
（ｃ）隣接フレーム間に前記サンプリングされたＭｘＭブロックをマッチングさせて動きベクトルを推定する過程とを含む動き推定方法。
１フレームのピクセルをＮｘＮのブロックと、そのＮｘＮブロックと同じ中心軸にそれより大きい相互重畳されるＭｘＭブロックとに分割してフレームレートを変換する装置において、
入力されるイメージを前記ＮｘＮブロック及び前記ＭｘＭブロックを含むフレーム単位で保存するフレームバッファ手段と、
前記フレームバッファ手段に保存されたＭｘＭブロックのピクセルをサンプリングし、隣接フレーム間に前記ＭｘＭブロックをマッチングさせて動きベクトルを推定する動き推定手段と、
前記動き推定手段で推定された動きベクトルと前記フレームバッファ部に保存されたＮｘＮブロックのピクセルとに基づいてフレーム間の中間ピクセル値を生成する動き補償補間手段とを含むフレームレート変換装置。
前記動き推定部は、
前記フレームバッファ手段で保存された第ｎフレーム及び第ｎ−１フレーム内のＭｘＭブロックのピクセルを所定のサンプル係数でサブサンプリングするサンプリング部と、
前記第ｎフレーム及び第ｎ−１フレーム間にサンプリングされたＭｘＭブロックのピクセルをバックワード及び／またはフォーワード方向にマッチングさせて、動きベクトルを推定する動きベクトル検出部とを含むことを特徴とする請求項７に記載のフレームレート変換装置。