JP2006165602A - フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 - Google Patents

Abstract

【課題】映像の動きをより滑らかにして高画質な映像を表示可能にしたフレームレート変換に関する技術を提供する。
【解決手段】補間フレームを挿入する時間を基準にして、補間フレームよりも前の時間に出現した第１のフレームと、該第１のフレームよりも前の時間に出現した第２のフレーム、及び該挿入時間よりも後の時間に出現した第３のフレームと、該第３のフレームよりも後の時間に出現した第４のフレームの情報を用いて、補間方向を決定する。この補間方向にある第２のフレーム及び第３のフレームの画素から補間画素を作成し、補間フレームを生成する。これを入力映像信号に挿入してフレームレート変換を行う。
【選択図】図２

Description

本発明は、例えば映像表示装置に用いられる、映像のフレーム数を変換するフレームレート変換技術に関する。

映像表示装置において、例えばテレビジョン放送で送信された映像信号のフレームレート（フレーム周波数）を所望のフレームレートに変換して表示する技術としては、例えば特許文献１に記載のものが知られている。

特開２００１−１１１９６８号公報

上記従来技術は、例えば映像信号のフレームレートを増加させる変換を行う場合、同じフレームを複数回繰り返す処理を行う。例えば、フレーム列（Ｆ１、Ｆ２…）を有する映像信号のフレームレートを２倍にする場合、（Ｆ１、Ｆ１、Ｆ２、Ｆ２…）と、各フレームを２回ずつ繰り返す処理を行う。従って、変換後の映像信号において、画面内を移動する物体の位置は、繰り返される２つのフレーム間で同じとなる。このため、従来技術では、フレームレート変換後の映像の動きを滑らかにすることが困難となる。

上記の問題は、２−３プルダンウン化されたインターレース形式の映像信号を毎秒６０フレームで表示する場合においてより顕著になる。２−３プルダンウン方式の映像信号は、映像表示装置において、逆プルダウン処理により一旦毎秒２４フレームの映像信号に変換され、これを２枚、３枚、２枚、３枚…の順で同じフレーム映像を繰り返すことで毎秒６０フレームの映像信号に変換される。よって、変換後の映像は、２／６０、３／６０秒間隔で映像内容が切り換わるため、物体が画面内を等速で移動する映像であっても、変換後の映像における物体の単位時間当りの動き量は一定でなくなる。また、同一フレームが表示される時間も長くなるため、より動きが滑らかにならない。

本発明は、上記課題に鑑みて為されたものであって、その目的は、映像の動きをより滑らかにして高画質な映像を表示可能にしたフレームレート変換に関する技術を提供することにある。

上記目的を達成するために、本発明は、映像信号に補間フレームを挿入してフレームレートを変換する場合に、この補間フレームを、映像信号の少なくとも３つのフレームの情報を用いて生成することを特徴とするものである。この３つのフレームは、前記補間フレームが挿入される位置を挟む前後フレーム、及び該前後フレームの何れか一方と隣接するフレームである。上記補間フレームは、４つのフレームの情報を用いることが好ましい、この４つのフレームは、上記補間フレームの挿入時間よりも前の時間に出現した第１のフレーム、該第１のフレームよりも前の時間に出現した第２のフレーム、該挿入時間よりも後の時間に出現した第３のフレームと、該第３のフレームよりも後の時間に出現した第４のフレームである。

本発明に係るフレームレート変換は、具体的には次の処理を行う。すなわち、上記補間フレーム内のある補間画素を中心に前記第１乃至第４のフレームを通る複数の直線を設定し、該複数の直線毎に、各直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第２のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を求める。この合計値を補間フレーム生成のための情報、すなわち映像の動きの情報として用いる。そして、上記差分の合計値が最小となる直線を映像が動いた方向、すなわち上記ある補間画素を生成するための補間方向の基準とし、この補間方向に位置する前記第１のフレーム及び第３のフレーム（つまり補間フレームに隣接する前後のフレーム）の画素情報を用いて補間画素を作成する。上記補間方向は、上記差分の合計が最小となる直線の方向そのものでもよいし、この直線と、上記ある補間画素よりも前の時間に作成された少なくとも１つ以上の補間画素の補間方向、及び／または当該補間フレームよりも前の時間に生成された補間フレームにおける１つまたは複数の補間方向とを用いて決定してもよい。

本発明によれば、フレームレート変換後の映像の動きを滑らかにし、高画質な映像を得ることが可能になる。

本発明を実施するための好ましい形態について、図面を参照しつつ以下に説明する。

まず、本発明の第１実施例について、図１及び図２を用いて説明する。図１は、映像表示装置に用いられるフレームレート変換部の第１実施例を示すブロック図である。この第１実施例では、毎秒６０枚（フレーム）の順次走査方式の映像信号が入力され、これを倍のフレーム、すなわち毎秒１２０フレームの映像信号にフレームレート変換を行う場合を例にして説明する。当然ながら、上記入力映像信号のフレーム周波数は他の周波数でもよい。また、本実施例は、入力映像信号のフレーム周波数を、２倍とは異なる倍率（例えば１．５倍、３倍の周波数）でフレームレート変換する場合にも同様に適用できることは言うまでもない。また、以下の説明においては、入力される映像信号はデジタル形式であるものとする。よって、映像表示装置がアナログ映像信号を受信した場合は、これをデジタル映像信号に変換して図１に示される回路に供給される。

本実施例に係るフレームレート変換部は、フレームメモリ２２〜２４及び３１、相関検出・補間画素生成部１１、及び切換回路３１を備えている。映像信号の入力部１に入力された映像信号は、相関検出・補間画素生成部１１及びフレームメモリ２２へ供給される。フレームメモリ２２は、１フレーム分の映像信号を保持することにより映像信号を１フレーム分遅延する。この１フレーム分遅延された信号は、相関検出・補間画素生成部１１及びフレームメモリ２３へ供給される。フレームメモリ２３は、フレームメモリ２２と同様に１フレーム分の映像信号を保持することにより、映像信号を更に１フレーム分遅延する。従って、フレームメモリ２３の出力信号は、信号入力部１の映像信号に対し、２フレーム遅延される。この２フレーム遅延された映像信号は、相関検出・補間画素生成部１１及びフレームメモリ２４、並びに切換回路３１へ供給される。フレームメモリ２４は、フレームメモリ２２及び２３と同様に１フレーム分の映像信号を保持することにより、映像信号を更に１フレーム分遅延する。従って、フレームメモリ２３の出力信号は、信号入力部１の映像信号に対し、３フレーム遅延される。この３フレーム遅延された信号も同様に、相関検出・補間画素生成部１１に供給される。

相関検出・補間画素生成部１１は、信号入力部１及びフレームメモリ２２〜２３の、計４フレーム分の映像信号が入力され、これらを用いて補間フレームを生成する。この補間フレームは、この第１実施例においては、時間的に、フレームメモリ２２によって１フレーム遅延された信号と、フレームメモリ２３によって２フレーム遅延された信号との間に挿入される。従って、フレームメモリ２３によって２フレーム遅延された信号は、補間フレームから見て時間的に前に存在するので、これを前フレーム１１３と呼ぶこととする。またフレームメモリ２４によって３フレーム遅延された信号は、前フレーム１１３からみて時間的に前、すなわち補間フレームから見て２フレーム前に存在するので、これを前々フレーム１１４と呼ぶこととする。一方、フレームメモリ２２３によって１フレーム遅延された信号は、補間フレームから見て時間的に後に存在するので、これを後フレーム１１２と呼ぶこととする。信号入力部１からの遅延されない信号は、後フレーム１１２からみて時間的に後、すなわち補間フレームから見て２フレーム後に存在するので、これを後々フレーム１１１と呼ぶこととする。上記後々フレーム１１１、後フレーム１１２、前フレーム１１３、前々フレーム１１４の４つのフレームは、連続したフレームである。

相関検出・補間画素生成部１１では、上記後々フレーム１１１、後フレーム１１２、前フレーム１１３、前々フレーム１１４の４つのフレームから、生成しようとする補間フレーム内のある補間画素（補間しようとする画素）について、相関性の強い方向、すなわち当該補間画素の動き方向を検出する。そして、この動き方向に位置する前フレーム１１３及び後フレーム１１２内の画素のデータを用いて補間画素を作成する。この動き方向の検出並びに補間画素の作成は、１補間フレーム内の全ての画素ついて行われる。例えば、１フレームの画素数が６４０×４８０ならば、その個数分、動き方向の検出及び補間画素の作成が行われ、その結果、１枚の補間フレームが生成される。

このようにして、相関検出・補間画素生成部１１で生成された補間フレームは、フレームメモリ２５に供給される。フレームメモリ２５は、相関検出・補間画素生成部１１からの補間フレームを１フレーム分保持し、切換回路３１に供給する。切換回路３１は、フレームメモリ２５からの補間フレームとフレームメモリ２３からの前フレーム１１３とを、１／１２０秒周期で切り換えて出力する。これにより、入力映像信号の隣接する２つのフレーム間に補間フレームが挿入され、入力映像信号は、その２倍のフレーム周波数、つまり１２０Ｈｚのフレーム周波数を持つ映像信号にフレームレート変換される（すなわち倍速変換される）。切換回路３１からのフレームレート変換された映像信号は、図示しない表示パネルに供給され、フレームレート変換された映像が表示される。ここで、表示パネルは、例えばプラズマディスプレイパネル（ＰＤＰ）、液晶パネルまたはフィールドエミッションディスプレイ（ＦＥＤ）等の平面型の表示デバイスであるものとする。

次に、図２を参照しつつ、上記相関検出・補間画素生成部１１における相関性（動き方向）の検出及び補間画素作成の詳細について説明する。相関検出・補間画素生成部１１は、図２に示されるように、補間フレーム１００上のある補間画素１０１に対し、次の相関検索用のウィンドウを設定する。前フレーム映像１１３及び後フレーム映像１１２には、それぞれ、フレーム内での補間画素１０１の位置を中心に、横２Ｍ＋１画素、縦２Ｎ＋１画素(Ｍ、Ｎは自然数)の範囲を持つ検索ウィンドウ１２３、１２２を設定する。ここでは、Ｍ＝２、Ｎ＝１とする。前々フレーム映像１１４及び後々フレーム映像１１１には、それぞれ、フレーム内での補間画素１０１の位置を中心に横６Ｍ＋１画素、横６Ｎ＋１画素の範囲を持つ検索ウィンドウ１２４、１２１を設定する。これらの検索ウィンドウ上において、補間画素の位置を(０，０)とする。そして、この補間画素を中心として、この補間画素を通るとともに、後々フレーム１１１、後フレーム１１２、前フレーム１１３及び前々フレーム１１４を通過する複数の直線を設定する。本実施例では、この複数の直線として、以下に記述する１５本の直線を設定する。下記において、括弧前の数字は各検索ウィンドウの符号、括弧内の数字はその検索ウィンドウにおける座標(Ｘ,Ｙ)を示している。つまり、下記の各直線は、それぞれの座標に位置する各画素を通過する直線である。尚、各直線は、いずれも補間画素１０１を通過するものとする。

(a) 124(-6,3)-123(-2,1)-122(2,-1)-121(6,-3)
(b) 124(-3,3)-123(-1,1)-122(1,-1)-121(3,-3)
(c) 124(0,3)-123(0,1)-122(0,-1)-121(0,-3)
(d) 124(3,3)-123(1,1)-122(-1,-1)-121(-3,-3)
(e) 124(6,3)-123(2,1)-122(-2,-1)-121(-6,-3)
(f) 124(-6,0)-123(-2,0)-122(2,0)-121(6,0)
(g) 124(-3,0)-123(-1,0)-122(1,0)-121(3,0)
(h) 124(0,0)-123(0,0)-122(0,0)-121(0,0)
(i) 124(3,0)-123(1,0)-122(-1,0)-121(-3,0)
(j) 124(6,0)-123(2,0)-122(-2,0)-121(-6,0)
(k) 124(-6,-3)-123(-2,-1)-122(2,1)-121(6,3)
(l) 124(-3,-3)-123(-1,-1)-122(1,1)-121(3,3)
(m) 124(0,-3)-123(0,-1)-122(0,1)-121(0,3)
(n) 124(3,-3)-123(1,-1)-122(-1,1)-121(-3,3)
(o) 124(6,-3)-123(2,-1)-122(-2,1)-121(-6,3)
そして、上記(a)〜(o)に示された１５本の直線のそれぞれについて、補間画素１０１との相関に関する次のパラメータを演算して求める。(1)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と前フレーム検索ウィンドウ１２３上の座標(-Ｘ,-Ｙ)にある画素との差分の絶対値；(2)前フレーム検索ウィンドウ１２３上の座標(-Ｘ,-Ｙ)にある画素と前々フレーム検索ウィンドウ１２４上の座標(-３Ｘ,-３Ｙ)にある画素との差分の絶対値；(3)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と後々フレーム検索ウィンドウ１２１上の座標(３Ｘ,３Ｙ)にある画素との差分の絶対値。

例えば、直線(a)の場合、検索ウィンドウ１２２の座標(2,-1)にある画素と検索ウィンドウ１２３の座標(-2,1)にある画素との差分の絶対値、検索ウィンドウ１２３の座標(-2,1)にある画素と検索ウィンドウ１２４の座標(-6,3)にある画素との差分の絶対値、及び検索ウィンドウ１２２の座標(2,-1)にある画素と検索ウィンドウ１２１の座標(6,-3)にある画素との差分の絶対値を求める。尚、前フレーム検索ウィンドウ１２３上の座標を(-Ｘ,-Ｙ)で表しているのは、後フレーム検索ウィンドウ１２２上の座標を(Ｘ,Ｙ)としたときに、検索ウィンドウ１２３上の座標が検索ウィンドウ１２２上の座標に対して、Ｘ方向及びＹ方向とも逆方向になることを意味する。また、前々フレーム検索ウィンドウ１２４上の座標を(-3Ｘ,-3Ｙ)表しているのは、後フレーム検索ウィンドウ１２２上の座標を(Ｘ,Ｙ)としたときに、検索ウィンドウ１２３上の座標が検索ウィンドウ１２２上の座標に対して、Ｘ方向及びＹ方向とも３倍になることを意味する。

相関検出・補間画素生成部１１は、後フレーム検索ウィンドウ１２２内において、Ｘを−ＭからＭまで、Ｙを−ＮからＮまでスキャンする。これにより、上記(1)〜(3)の演算を上記１５本の直線それぞれについて行い、(1)〜(3)の演算で求めた各差分の絶対値の合計を直線毎に算出する。そして、その合計値が小さいほど、相関が強い方向、すなわち動きの方向として判断する。本実施例では、上記１５本の直線のうち、上記(1)〜(3)の合計値が最も小さい直線を物体の動きの方向としている。ここでは、図２において灰色で示された画素を通る直線、すなわち直線(b)が最も合計値が小さい直線としている。つまり、この直線(b)で示される方向が、補間画素１０１を通過する物体の動き方向となる。相関検出・補間画素生成部１１は、上記合計値が最も小さい直線(b)上に位置する後フレーム１１２上の画素、及び前フレーム１１３上の画素を用いて補間画素１０１を作成する。すなわち、相関検出・補間画素生成部１１は、この直線(b)を、補間画素１０１を作成するための補間方向として判定し、この補間方向にある前フレーム及び後フレームの画素が補間画素１０１について最も相関が強い画素の組として、補間画素１０１作成のためのデータとして用いる。ここでは、補間方向が直線(b)の方向なので、この直線(b)上に位置する前フレームの座標(-1,1)の画素(検索ウィンドウ１２３内の灰色の画素)と、後フレームの座標(1,-1)の画素(検索ウィンドウ１２２内の灰色の画素)とを用いて補間画素１０１が作成される。ここで、前フレームの画素データ(レベル)をα、後フレームの画素データをβ、補間画素１０１のデータをγとすれば、補間画素１０１は、例えば下式により求められる。

（数１） γ＝（α＋β）／２
つまり、補間画素１０１は、前フレームの画素データと後フレームの画素データとの平均（中間値）を演算することにより作成される。

上記のような動き方向の検出及び補間画素の作成を、現補間フレーム１００の全体にわたって行うことにより、１枚の補間フレーム１００を生成する。つまり、このような処理を、フレームを構成する画素数分実行する。生成された補間フレーム１００は、上述したように、フレームメモリ２５に書き込まれ、切換回路３１により入力映像信号の２フレーム間に挿入される。これによりフレームレート変換が行われ、最終的に１２０Ｈｚのフレーム周波数を持つ映像信号が生成される。フレームレートを１２０Ｈｚにした映像信号は、表示パネルとして液晶パネルを用いた表示装置に特に有効である。すなわち、液晶パネルは残像が目立つため、映像信号のフレームレートを１２０Ｈｚにすると残像が目立たなくなる。また、本実施例では、フレームメモリ２３の出力、すなわち前フレーム１１３と補間フレーム１００とを切換回路３１で切り換えてフレームレート変換したが、後フレーム１１２と補間フレームを切り換えてフレームレート変換してもよい。

本実施例では、検索ウィンドウの大きさを決めるＭ及びＮの値として、Ｍ＝２，Ｎ＝１とした。しかしながら、この値は任意であり、補間の効果や演算量、回路規模などに応じて適宜決定すればよい。例えばＭ＝７、Ｎ＝３とすれば、１０５本の直線が設定される。また、本実施例では、上記差分の合計値が最も小さい直線を補間方向として決定したが、これに限定されるものではない。例えば、上記合計値が最小の直線を基準にして、他の条件を組み合わせて最終的に補間方向を決定してもよい。そのような補間方向の決定の方法は、例えば次のものが挙げられる。

第１の方法：補間画素１０１を通過する１５本の直線それぞれについて算出した合計値に基づき、(a)〜(o)の各直線にポイントを付与する。このポイントは、合計値が少ないほど高くする。更に、この補間画素１０１の前において既に作成された、複数の他の補間画素における補間方向を最終的な補間方向判定のために使用する。上記複数の他の補間画素は、補間画素１０１に隣接する画素が好ましい。この他の補間画素における補間方向が、上記(a)〜(o)の直線のどれに該当するか判定し、その該当直線に所定ポイントを加算する。この加算の結果、最も高いポイントのものを補間方向として決定する。例えば、上記合計値により、直線(b)：１５点、直線(c)：１４点、直線(f)１３点、直線(b)：１２点、直線(e)：１１点が付与されたとする（ここでは、説明の簡略化のためポイント上位５本のみを例示する）。補間画素１０１の左隣にある補間画素の補間方向が(c)、左上にある補間画素の補間方向が(c)、真上にある補間画素の補間方向が(a)、右上にある補間画素の補間方向が(b)であるならば、直線(a)、(b)、(c)対し、例えば５点づつ加算する。その結果、直線(c)のポイントが２４点となって最大となるので、これを補間方向として決定する。上記他の補間画素は４つとして説明したが、１つでもよく、また２つもしくは３つでもよい。１つの場合は、左隣の補間画素のみを用い、２つの場合は、左隣と真上の補間画素のみを用いる。

第２の方法：各直線へのポイントの付与は上記第１の方法と同じとする。補間画素１０１の１フレーム前において既に作成された、補間フレームで用いられた補間方向をその種類毎に計数する。そして。この計数値の上位３つの方向に該当する直線に、それぞれ所定ポイントを加算する。勿論、計数値の大きいものほど高いポイントとする。この加算の結果、最も高いポイントのものを補間方向として決定する。例えば、上記合計値に基づく各直線へのポイントが、上記第１の方法と同じとする。前の補間フレームに用いられた補間方向の計数値の上位が、計数値の大きい順に、直線(f)、直線(c)、直線(a)とする。この場合、直線(f)に５ポイント、(c)に３ポイント、直線(a)に１ポイントを加算する。その結果、直線(f)のポイントが１８点となって最大となるので、これを補間方向として決定する。

上記第１の方法及び第２の方法は、それぞれ個別に用いてもよく、またこれらを組み合わせてもよい。いずれを用いるかは、補間方向の決定の精度向上に関する要求により定められる。

このように、本実施例は、従来技術のように単に前フレームと同じフレーム補間フレームとして映像信号に挿入するのではなく、映像の動きに基づいて補間方向を決定し、この補間方向に基づき画素補間して補間フレームを生成している。従って、フレームレート変換後の映像の動きを滑らかにすることができる。また本実施例では、動き方向を検出する際、４つのフレームを用いて動き方向を検出している。このため、２つのフレームから動きを検出するものに比べ、動き方向をより正確に検出できる。本実施例では、前フレーム、後フレーム、前々フレーム及び後々フレームの４つのフレームで動きを検出しているが、３つのフレームで検出してもよい。このとき、動き方向の検出に用いる３つのフレームとしては、前フレームと後フレームの他に、前々フレームまたは後々フレームの何れか１つを用いる。すなわち、少なくとも３つのフレームを用いれば、動き方向の検出精度を向上させることができる。動き検出精度をより向上させるには、本実施例にように４つのフレームを用いることが好ましいが、回路規模やコストの制約上、多くのフレームメモリを使用することが困難な場合は、３つのフレームを用いてもよい。その場合でも本発明を実現できることは、上述したとおりである。この場合、動き検出に用いられる検索ウィンドウとしては、後々フレーム検索ウィンドウ１２１、または前々フレーム検索ウィンドウ１２４の何れか一方が削除される。

次に、本発明の第２実施例について図３〜図６を用いて説明する。本実施例は、本実施例について、２−３プルダウン化された毎秒６０フィールドのインターレース信号(以下、単に「２−３信号」と呼ぶ)が入力され、これを毎秒６０フレームの映像へと変換する場合を例にして説明する。

図３は、本発明の第２実施例を示す回路ブロック図であり、図１に示された第１実施例と大きく異なる点は、順次走査変換部２が追加された点にある。この順次走査変換部は、フィールドメモリ４１及び４２、減算器８１、制御部６１、ラインメモリ５１及び５２、及びセレクタ３２を含んでいる。信号入力部１から入力された映像信号（２−３信号）は、フィールドメモリ４１及び減算器８１に供給される。フィールドメモリ４１は、入力された映像信号を１フィールド保持して遅延し、フィールドメモリ４２及びラインメモリ５１へ出力する。フィールドメモリ４２は、フィールドメモリ４１からの出力信号を保持して更に１フィールド遅延してラインメモリ５２及び減算器８１へ出力する。従って、フィールドメモリ４２の出力は、入力映像信号に対して２フィールド（１フレーム）遅延される。ラインメモリ５１、５２は、それぞれフィールドメモリ４１、４２から出力される映像信号を１ライン分保持し、セレクタ３２へ出力する。

一方、減算器６１は、信号入力部１に入力された映像信号とフィールドメモリ４２から出力された２フィールド遅延された映像信号とを減算し、その減算結果を制御部６１に出力する。図４の「入力信号」に示されるように、２−３信号の映像２０１〜２４３は、毎秒６０フィールドのインターレース映像信号であり、奇数はトップフィールドの映像信号を、偶数はボトムフィールドの映像信号を示している。また、十の桁が同じ映像は、元となる毎秒２４枚の同じフレームから生成された映像信号であることを示す。このため、映像２０１と２０３は同じである。同様に映像２２２と２２４、映像２４１と２４３もそれぞれ同じである。このように、２−３信号は、５フィールドに１回、１フィールドを挟んだ２つのフィールド間の映像内容が等しくなる。従って、入力映像信号と２フィールド遅延された映像信号との差分（フレーム差分）は、５フィールドに１回の割合でほぼ０となる。上記制御部６１は、５フィールドに１回差分が０となるシーケンス（差分が、例えば有、有、有、無(０)、有と出現する一連の流れ）が、連続して所定回数（例えば３回）以上出現した場合に、入力映像信号が２−３信号であると検出する。入力映像信号が２−３信号であると検出された場合、制御部６１は、セレクタ３２に対し制御信号を出力する。この制御信号によって、セレクタ３２は、ラインメモリ５１からの信号とラインメモリ５２からの信号とを周期的に切り換えて出力するように制御される。従って、セレクタ３２からは、フィールドメモリ４１に格納された第１フィールドの第１ライン、フィールドメモリ４２に格納された第２フィールドの第１ライン、第１フィールドの第２ライン、第２フィールドの第２ライン…の順に出力される。この結果、２−３信号の２つのフィールドから、図４の中段に示されるような順次走査信号（１フレームの信号）が生成される。例えば、図４に示すように、フィールドメモリ４１及び４２に、それぞれ映像２０３、２０２が保持されているときは映像３０１が生成され、それぞれ映像２１２、２１３が保持されているときは、映像３１１が生成される処理となる。制御部６１からセレクタ３２への制御信号は、２−３信号の５フィールドから２フレームを作成するようなタイミングで出力される。このように、順次走査変換部２は、２−３プルダウン化された毎秒６０フィールドのインターレース信号を、毎秒２４フレームのノンインターレース（順次走査）信号に変換する処理を行うものである。

この順次走査変換部２から出力された毎秒２４フレームのノンインターレース信号は、フレームメモリ２１に供給される。この第２実施例は、第１実施例と異なり、フレームメモリ２１が新たに付け加えられている。その理由について、図４を用いて説明する。第１実施例は、映像信号のフレーム数を２倍に変換する処理である。しかしながら、本実施例は、毎秒２４フレームの映像を毎秒６０フレームの映像にする処理であるため、同一の組み合わせの映像から、２種類の映像を生成しなければならない。例えば図４の映像３０１、映像３１１、映像３２１、映像３３１の４フレームから、映像３１１と映像３２１の間の映像４０４と映像４０５の２種類の映像を生成する必要がある。そのため、相関検出・補間画素生成部１２で２度の処理を行う必要が存在する。第１実施例では、１度の処理であるため、外部から入力される信号をそのまま用いることが可能であった。しかしながら、本実施例ではセレクタ３２からの信号を２度使用する必要がある。このため、本実施例では、フレームメモリ２１を新たに追加し、このフレームメモリ２１にセレクタ３２からの信号を書き込み、２度読出すようにしている。

次に、図５も参照しつつ、例えば図４の映像４０５を生成する際の補間処理の詳細について説明する。図３のフレームメモリ２１〜２４は、第１実施例と同様なフレームメモリであり、映像を１フレーム分保持する。フレームメモリ２１はセレクタ３２からの信号を１フレーム分保持し、補間フレーム１００から見て時間的に後々フレーム１１１となる映像データ３３１を、相関・補間処理部１２に出力する。フレームメモリ２２、２３及び２４は、それぞれ第一の実施例と同様に１フレーム分のデータを保持し、後フレーム１１２である映像３２１、前フレーム１１３である映像３１１、及び前々フレーム１１４である映像３０１を出力する。相関検出・補間処理部１１は、フレームメモリ２１〜２４から出力された４フィールドのデータを用いて、第１実施例と同様に、補間方向の検出処理、及び補間画素と補間フレームの生成処理を行う。ただし、本実施形態は第１実施例と異なり、生成する補間フレーム１００と前フレーム１１３との時間的距離、及び補間フレーム１００と後フレーム１１２との時間的距離が、互いに異なる。例えば、図４の映像４０５を生成する際、前フレーム１１３である映像３１１と後フレーム１１２である映像３２１の映像４０５に対する時間的距離の比は、３：２になる。よって、補間画素１０１について相関をとる画素の位置も３：２にする必要があり、検索ウィンドウの大きさも変更する必要がある。従って、本実施例では、補間画素１０１を中心に上記４つのフレームを通る複数の直線の各々について、補間画素１０１とのの相関に関する次のパラメータを演算により求める。(1)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と前フレーム検索ウィンドウ１２３上の座標(-1.5Ｘ,-1.5Ｙ)にある画素との差分の絶対値；(2)前フレーム検索ウィンドウ１２３上の座標(-1.5Ｘ,-1.5Ｙ)にある画素と前々フレーム検索ウィンドウ１２４上の座標(-4Ｘ,-4Ｙ)にある画素との差分の絶対値；(3)後フレーム検索ウィンドウ１２２上の座標(Ｘ,Ｙ)にある画素と後々フレーム検索ウィンドウ１２１上の座標(3.5Ｘ,3.5Ｙ)にある画素との差分の絶対値。

なお、画素位置が整数にならず、実際に画素が存在しない位置になった場合には、周囲の画素の加重平均にてその位置の画素値として処理を行う。例えば図５に示された前フレーム検索ウィンドウ１２３上の灰色の位置が画素位置となった場合、この画素位置は周囲４つの画素の中心にあるため、この画素位置のデータを、周囲４つの画素データの総和／４で求める。そして、第１実施例で説明したものと同様な処理で、上記(1)〜(3)の合計が最小となる直線から、又はその直線を基準にして補間画素１０１の補間方向を決定する。この補間方向に位置する前フレーム１１３上の画素と後フレーム１１２上の画素とを用いて補間画素１０１を作成する。ここで、補間フレーム１００と前フレーム１１３との時間的距離と、補間フレーム１００と後フレーム１１３との時間的距離が異なるため、両者の比に応じて補間方向にある２つの画素の加重平均を求める。本実施例では、上記時間的距離の比が３：２なので、前フレームの画素データをα、後フレームの画素データをβ、補間画素１０１のデータをγとすれば、補間画素１０１は、例えば下式により求められる。

（数２） γ＝（２α＋３β）／５
また、補間に用いる画素、及び画素データαと画素データβは、相関が強いために似たレベルの値である。従って、演算量や回路規模を削減するため、画素データαと画素データβの平均から（例えば数１による演算から）補間画素γのデータを求めてもよい。

図５においては、前フレーム１１３である映像３１１と映像４０５との時間的距離と、後フレーム１１２である映像３２１と映像４０５との時間的距離との比は３：２であるが、補間の画像の時間的位置によって、その比率は変化する。また、本実施例では、２−３信号を毎秒６０フレームの信号に変換する場合を例にして説明したが、毎秒７２、９６または１２０フレームに変換する場合も同様な処理が行われる。この場合、上記時間的距離の比率が変化するが、フレームメモリ２１〜２４から映像信号を読出し、補間画像を生成する回数が変化するだけで、他の部分については同一の処理である。

また、相関検出・補間画素生成部１２では、上記の処理以外にフレームメモリ２１、２２からの信号を用い、シーンチェンジの検出を行う。図６に示すように、ある時間において、フレームメモリ２４に映像５０１、フレームメモリ２３に映像５０２、フレームメモリ２２に映像５０３、フレームメモリ２１に映像５０４が保持されているものとする。この時、映像５０１〜５０３は同一シーンであり、Ａ、Ｂ、Ｃと違いが少ない映像であるとする。一方、映像５０４は別シーンであり、Ａ〜Ｃとは大きく異なる映像ｄであるとする。この様な状態で、相関検出・補間画素生成部１２では、フレームメモリ２１からの信号とフレームメモリ２３からの信号との差分を演算する。この差分は、このフレーム間の同位置（同座標の画素）同士の差分である。この演算は、１フレームの全画素、もしくは設定領域（例えば、画面全体の、画面中央を中心として設定された８０％の領域）の全画素について行われる。そして１フレームの各画素同士の差分を累積し、その累積値が所定値を越えた場合にシーンチェンジが発生したものと判断する。そのシーンチェンジの情報は、相関検出・補間画素生成部１２に保持される。時間が経過すると、フレームメモリ２４に映像５０２、フレームメモリ２３に映像５０３、フレームメモリ２２に映像５０４、フレームメモリ２１に映像５０５が保持されている状態になる。このとき、相関検出・補間画素生成部１２にはシーンチェンジの情報が保持されているため、この情報を用いて補間方法の変更を行う。すなわち、本実施例においては、検出されたシーンチェンジの情報を、検出時点における補間処理ではなく、その次の補間処理に反映させるようにしている。補間方法の変更は、例えば次のようにする。すなわち、シーンチェンジ前は、第１実施例のように４フレームのデータから補間方向を検出して補間処理していたものを、シーンチェンジ後は、そのような補間方向の検出を行わず、映像５０３と５０４との平均から補間画素を生成する。このとき、映像５０３または５０４のデータをそのまま用いて補間勝利を行ってもよい。上記説明では、シーンチェンジの検出に、１フレーム分における画素同士の差分を累積したものを用いた。しかしながら、差分値が一定値以上の画素の数を１フレームにわたって積算し、その積算値が所定値以上の場合にシーンチェンジが発生したものと判断してもよい。

フレームメモリ２５では、上記のようにして生成された補間フレームの映像を格納し、切換回路３１に出力する。切換回路３１は、フレームメモリ２５からの補間フレームとフレームメモリ２３からの前フレーム１１３とを周期的に切り換えて、毎秒６０フレームの映像信号を出力する。このとき、切換回路３１における補間フレームの選択時間と前フレームの選択時間とは等しくない。すなわち、図４の「出力信号」に示されるように、切換回路は、映像４０１、４０６、４１１を出力するときはフレームメモリ２３からの信号を選択し、映像４０２〜４０５及び映像４０７〜４１０を出力するときはフレームメモリ２５からの信号を選択する。つまり切り替え回路３１は、順次走査変換部で映像３０１、３２１及び３４１が生成されるタイミングにおいてはフレームメモリ２３からの信号を選択し、それ以外はフレームメモリ２５からの信号を選択するように動作する。

本実施例は、フレームメモリ２５と切換回路３１の動作は、毎秒６０フレームに対する処理を例にして説明されている。映像の出力フレーム周波数が変更された場合も、動作速度やフレームメモリの読み出し順が変わる以外は同様の処理である。

また、音声遅延部７１は、映像信号とともに入力される音声信号を遅延するためのものである。上述したフレームレート変換処理において、映像はフィールドメモリ及びフレームメモリを使用するため遅延が生じるが、音声は遅延が発生しない。このため、映像と音声との間に時間的なずれが生じる。音声遅延部７１は、この時間的なずれを補正するためのものである。音声遅延部７１は、音声をデジタル的に処理し、例えばＦＩＦＯにより映像と同じだけの遅延をつけることで映像と音声のずれを補償する。

本発明は、フレームレート変換処理を行う映像表示装置に適用される。特に、フレームレート変換後の映像の動きを滑らかにしたい場合に有用である。

本発明に係る第１実施例の回路ブロックを示す図。 第１実施例における相関・補間処理装置の処理を説明する図。 本発明に係る第２実施例の回路ブロックを示す図。 第２実施例における相関・補間処理装置の処理を説明する図。 第２実施例における相関・補間処理装置の処理を説明する図。 第２実施例において、シーンチェンジが発生した際の処理を示す図。

符号の説明

１…信号入力部、２…順次走査変換部、１１、１２…相関検出・補間画素生成部、２１〜２５…フレームメモリ、３１…切換回路、３２…セレクタ、４１、４２…フィールドメモリ、５１、５２…ラインメモリ、１００…補間フレーム、１０１…補間画素、１１１…後々フレーム、１１２…後フレーム、１１３…前フレーム、１１４…前々フレーム。

Claims (25)

1. フレームレート変換装置において、
   映像信号が入力される信号入力部と、
   前記信号入力部に入力された映像信号のフレーム数を変換するフレームレート変換部と、を備え、
   前記フレームレート変換部は、前記映像信号の少なくとも３つのフレームの情報を用いてフレームレート変換を行うことを特徴とするフレームレート変換装置。
2. フレームレート変換装置において、
   映像信号が入力される信号入力部と、
   前記信号入力部に入力された映像信号を用いて補間フレームを生成し、該補間フレームを該映像信号に挿入してフレーム数を変換するフレームレート変換部と、を備え、
   前記フレームレート変換部は、前記映像信号の少なくとも３つのフレームの情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換装置。
3. 請求項２に記載のフレームレート変換装置において、前記３つのフレームは、前記補間フレームが挿入される位置を挟む前後フレーム、及び該前後フレームの何れか一方と隣接するフレームあることを特徴とするフレームレート変換装置。
4. フレームレート変換装置において、
   映像信号が入力される信号入力部と、
   前記信号入力部に入力された映像信号を用いて補間フレームを生成し、該補間フレームを該映像信号に挿入してフレーム数を変換するフレームレート変換部と、を備え、
   前記フレームレート変換部は、前記補間フレームを挿入する時間を基準にして、該挿入時間よりも前の時間に出現した連続する２つのフレーム、及び該挿入時間よりも後の時間に出現した連続する２つのフレームの、４つのフレームの情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換装置。
5. フレームレート変換装置において、
   映像信号が入力される信号入力部と、
   前記信号入力部に入力された映像信号を用いて補間フレームを生成し、該補間フレームを該映像信号に挿入してフレーム数を変換するフレームレート変換部と、を備え、
   前記フレームレート変換部は、前記補間フレームを挿入する時間を基準にして、該挿入時間よりも前の時間に出現した第１のフレームと、該第１のフレームよりも前の時間に出現した第２のフレーム、及び該挿入時間よりも後の時間に出現した第３のフレームと、該第３のフレームよりも後の時間に出現した第４のフレームの情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換装置。
6. 請求項５に記載のフレームレート変換装置において、前記第１ないし第４のフレームは連続して出現したフレームであることを特徴とするフレームレート変換装置。
7. 請求項５に記載のフレームレート変換装置において、
   前記フレームレート変換部は、前記補間フレームのある補間画素を中心に前記第１乃至第４のフレームを通る直線を設定し、該直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第２のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を、前記補間フレーム生成のための情報とすることを特徴とするフレームレート変換装置。
8. 請求項５に記載のフレームレート変換装置において、
   前記フレームレート変換部は、前記補間フレーム内のある補間画素を中心に前記第１乃至第４のフレームを通る複数の直線を設定し、
   該複数の直線毎に、各直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第２のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を求め、
   前記差分の合計が最も小さい直線上に位置する前記第１のフレーム及び第３のフレームの画素情報を用いて前記ある補間画素を作成し、前記補間フレームを生成することを特徴とするフレームレート変換装置。
9. 請求項５に記載のフレームレート変換装置において、
   前記フレームレート変換部は、前記補間フレームのある補間画素を中心に前記第１乃至第４のフレームを通る複数の直線を設定し、
   該複数の直線毎に、各直線上に位置する該第１のフレームの画素と第２のフレームの画素との差分、該直線上に位置する該第２のフレームの画素と第３のフレームの画素との差分、及び該直線上に位置する該第３のフレームの画素と第４のフレームの画素との差分の合計を求め、
   前記差分の合計が最も小さい直線を、補間方向を決定するための基準として用いるとともに、該決定された補間方向にある前記第１のフレーム及び第３のフレームの画素情報を用いて前記ある補間画素を作成し、前記補間フレームを生成することを特徴とするフレームレート変換装置。
10. 請求項９に記載のフレームレート変換装置において、
    前記フレームレート変換部は、前記差分の合計が最も小さい直線と、前記ある補間画素よりも前の時間に作成された少なくとも１つ以上の補間画素の補間方向とを用いて、当該ある補間画素の補間方向を決定することを特徴とするフレームレート変換装置。
11. 請求項９に記載のフレームレート変換装置において、
    前記フレームレート変換部は、前記差分の合計が最も小さい直線と、前記補間フレームよりも前の時間に生成された補間フレームにおける１つまたは複数の補間方向とを用いて、当該ある補間画素の補間方向を決定することを特徴とするフレームレート変換装置。
12. 請求項５に記載のフレームレート変換装置において、
    映像信号を１フレーム遅延して前記第３のフレームを生成する第１のフレームメモリと、
    該第１のフレームメモリの出力を更に１フレーム遅延して前記第１のフレームを生成する第２のフレームメモリと、
    該第２のフレームメモリの出力を更に１フレーム遅延して前記第２のフレームを生成する第３のフレームメモリと、
    前記映像信号を前記第４のフレームとして用いるとともに、前記第１のフレームメモリから出力された前記第３のフレームと、第２のフレームメモリから出力された前記第１のフレームと、前記第３のフレームメモリから出力された前記第２のフレームとを用いて、前記補間フレームを作成する補間フレーム生成部と、
    該補間フレーム生成部からの出力を１フレーム遅延する第４のフレームメモリと、
    該第４のフレームメモリからの出力と前記第２のフレームメモリの出力とを周期的に切り換える切換部と、を備えることを特徴とするフレームレート変換装置。
13. 請求項１２に記載のフレームレート変換装置において、
    前記切換部は、映像信号のフレームレートの、２倍の周期で前記第４のフレームメモリからの出力と前記第２または第３のフレームメモリの出力とを切り換えることにより、前記映像信号のフレームレートを２倍に変換することを特徴とするフレームレート変換装置。
14. 請求項５に記載のフレームレート変換装置において、
    映像信号を１フレーム遅延して前記第４のフレームを生成する第１のフレームメモリと、
    該第１のフレームメモリの出力を更に１フレーム遅延して前記第３のフレームを生成する第２のフレームメモリと、
    該第２のフレームメモリの出力を更に１フレーム遅延して前記第１のフレームを生成する第３のフレームメモリと、
    該第３のフレームメモリの出力を更に１フレーム遅延して前記第２のフレームを生成する第４のフレームメモリと、
    前記第１乃至第４のフレームメモリから出力された前記第１乃至第４のフレームを用いて、前記補間フレームを作成する補間フレーム生成部と、
    該補間フレーム生成部からの出力を１フレーム遅延する第５のフレームメモリと、
    該第５のフレームメモリからの出力と前記第３のフレームメモリの出力とを周期的に切り換える切換部と、を備えることを特徴とするフレームレート変換装置。
15. 請求項１４に記載のフレームレート変換装置において、
    前記映像信号がインターレース形式の場合、該映像信号を順次走査形式に変換して前記第１のフレームメモリに供給する順次走査変換部を更に備えることを特徴とするフレームレート変換装置。
16. 請求項１４に記載のフレームレート変換装置において、
    2-3プルダウン方式でインターレース形式の映像信号が入力された場合、該映像信号を、毎秒24フレームの順次走査形式の映像信号に変換して前記第１のフレームメモリに供給する順次走査変換部を更に備えることを特徴とするフレームレート変換装置。
17. 請求項１６に記載のフレームレート変換装置において、
    前記順次走査変換部は、入力された映像信号が2-3プルダウン方式かを判定するとともに、入力された映像信号が2-3プルダウン方式と判定した場合に、前記順次走査変換処理を実行する制御部を含むことを特徴とするフレームレート変換装置。
18. 請求項９に記載のフレームレート変換装置において、
    映像信号のシーンチェンジを検出する検出部を設け、該シーンチェンジを検出した場合は補間処理を変更することを特徴とするフレームレート変換装置。
19. 請求項１８に記載のフレームレート変換装置において、
    前記検出部でシーチェンジを検出した場合、前記補間フレームのある補間画素と同一位置にある、前記第１フレーム及び第３フレームの画素の情報を用いて当該ある補間画素を作成することを特徴とするフレームレート変換装置。
20. 請求項５に記載のフレームレート変換装置において、
    前記フレームレートの変換処理によって発生する映像の遅延に対応して、前記映像信号とともに入力される音声信号を遅延する音声遅延部を更に備えることを特徴とするフレームレート変換装置。
21. 請求項１〜２０に記載のフレームレート変換装置を備えた映像表示装置。
22. フレームレート変換方法において、
    入力された映像信号から、連続した４つのフレームを生成し、
    該生成された４つのフレームの情報を用いて補間フレームを生成し、
    前記生成された４つのフレームのうち、２番目と３番目のフレームとの間に前記補間フレームを挿入して、入力映像信号のフレームレートを変換することを特徴とするフレームレート変換方法。
23. 請求項２２に記載のフレームレート変換方法において、
    前記連続した４つのフレームから前記補間フレームを生成する際の補間方向を決定し、前記２番目と３番目のフレームの、前記決定された補間方向にある画素の情報を用いて前記補間フレームを生成することを特徴とするフレームレート変換方法。
24. 請求項２３に記載のフレームレート変換方法において、
    前記補間フレーム内のある補間画素を中心として、前記連続した４つのフレームを通過する複数の直線を設定し、
    該複数の直線毎に、各直線上に位置する１番目のフレームと２番目のフレームとの差分の絶対値と、２番目のフレームと３番目のフレームとの差分の絶対値と、３番目のフレームと４番目のフレームとの差分の絶対値との合計値を求め、
    該合計値が最も小さい直線を前記補間方向として決定することを特徴とするフレームレート変換方法。
25. 請求項２３に記載のフレームレート変換方法において、
    前記補間フレーム内のある補間画素を中心として、前記連続した４つのフレームを通過する複数の直線を設定し、
    該複数の直線毎に、各直線上に位置する１番目のフレームと２番目のフレームとの差分の絶対値と、２番目のフレームと３番目のフレームとの差分の絶対値と、３番目のフレームと４番目のフレームとの差分の絶対値との合計値を求め、
    該合計値が最も小さい直線を基準として前記補間方向を決定し、
    該決定された補間方向にある前記２番目のフレームの画素と３番目のフレームの画素との平均値により前記ある補間画素を作成することを特徴とするフレームレート変換方法。
    

Images