JP4003713B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、インターレース画像の動きを検出し、その結果に応じた補間方法によりノンインターレース画像とするためにラインを補完するデータを生成する画像処理装置と画像処理方法とに関するものである。

現行のテレビジョン信号方式は、インターレース走査を前提としたインターレース信号方式と、ノンインターレース走査を前提としたノンインターレース信号方式とに大別される。インターレース走査とは、飛び越し走査とも呼ばれ、テレビジョン画像の１画面を構成する５２５本または１１２５本の走査線中、１本ずつ走査線を飛び越して走査する方式である。この方式では、１つの表示画面（１フレーム）は２回のインターレース走査により生成され、走査線が互い違いの２つの走査画面（第１および第２フィールド）により１フレームが構成される。一方、ノンインターレース走査は飛び越し走査ではなく、走査線１本ずつ順次に走査する方法である。

画像表示装置では、たとえば動画中の一部に別の静止画を表示させる場合、静止画でちらつきを抑え、かつ高画質化するために、インターレース信号をノンインターレース信号に変換して静止画像を表示させる必要がある。この変換はＩＰ(Interlace-Progressive)変換とも呼ばれており、多画面表示のためのＩＰ変換機能を有する画像表示装置が知られている。以下、インターレースとノンインターレースの変換をＩＰ変換という呼び方で統一して用いる。

また、画像表示パネルの種類によって、とくに自発光のＰＤＰ(Plasma Display Panel)やＬＥＤ(Light Emitting Diode)を用いた画像表示パネルなどのように、ノンインターレースのプログレッシブ信号により駆動されるものがあり、これらの画像表示パネルもＩＰ変換機能を有している。

ＩＰ変換の手法はさまざまなものが存在するが、とくに最近では高画質化のために、フィールド間の画素データの違いから画像の動きを検出して、動画はフィールド内補間、静止画はフィールド間補間を行うことにより画像の種類（動画か静止画か）に応じて適応的にラインデータを生成する動き適応型ＩＰ変換手法が多く用いられている。この手法では、ラインデータを生成すべきフィールド内の画像から補間し動画に適した画像データ（以下、動画用補間データという）と、ラインを生成すべきフィールドを含む２つのフィールド間の画像から補間し静止画に適した画像データ（以下、静止画補間データという）とを、適応的に混合して新たなラインの画像データを生成している。その混合比を決める際に、補間する画素の前後フィールドのフレーム差分をもとに、フレーム差分が大きいときは動画用補間データの混合比を高くし、小さいときは静止画用補間データの混合比を高くする手法がとられている。

この動き適応型ＩＰ変換の方法では、混合比を決める際に、動画寄りの判定（すなわち、動画用補間データの混合比を高くするとの判定）をすれば、動画用補間が同じフィールド内での処理であるため画面に大きな破綻は起きない。これに対し、動画を誤って静止画と判定すると、動きに応じて異なったデータとなった２枚のフィールドから１枚の画面を作成することになることから、像の輪郭がギザギザとなり、あるいは横筋が目立ち、ひどいときは画像が２重に見えるなど絵として破綻してしまう。そこで、従来の動き適応型ＩＰ変換では、動画寄りの判定を行う傾向になっていた。
しかし、静止画を正しく静止画と判定しないと垂直解像度が高い静止画像が生成できないことから、動画寄りの判定を行う従来の動き適応型ＩＰ変換では、静止画の垂直解像度を犠牲にして絵としての破綻を防止していた。

この基本的なＩＰ変換方法を発展させて、隣接した２フィールドだけでなく、たとえば６フィールドとさらに多くのフィールドの情報を用いて、補間する画素の時間的あるいは空間的に異なる画素の情報を反映させるＩＰ変換方法が提案されている（たとえば、特許文献１参照）。
この特許文献１に記載された方法で時間的に異なる多くの画素情報を反映させる方法としては、たとえば、現フィールドと２フィールド遅延データとの差分、１フィールド遅延データと３フィールド遅延データとの差分、２フィールド遅延データと６フィールド遅延データとの差分、現フィールド遅延データと６フィールド遅延データとの差分といった広範で複雑に組み合わせたフィールド差分を計算する。この各差分を、あらかじめ決められたしきい値と比較してフラグを立て、得られたフラグデータの論理和を算出し、このフラグデータの論理和によって動画と静止画の混合比を決めている。また、空間的に異なる画素の情報を用いる場合としては、特許文献１に記載されているように、補間したい画素の上下合わせて４ラインで補間演算を行う場合などが、これにあたる。

これらの方法では、補間画素の時間的あるいは空間的に異なる画素の情報を反映させて混合比を決定することから、たとえば、周期的なパターンがその周期にほぼ適合した速さで動く場合に、ある時間間隔でみるとミクロ的にはデータがほとんど変化しないことから静止画と誤検出がされやすい動画部分に対して確実に「動画である」との検出がなされる。また、たとえば、アルファベットなどの文字（テロップ）が画面内を移動する場合でも、一部の画素で動画を静止画と誤って検出されることが減る。よって、この特許文献１に記載されたＩＰ変換方法を用いれば、動画が静止画と誤って検出され、画像のエッジがギザギザに見えるなどの画質劣化が防止できる。

ところが、この特許文献１に記載されたＩＰ変換方法では、動画と静止画の判定に参照するフィールドが多く、大容量のフィールドメモリが必要となりコストがかかる、また、処理も複雑で高速な処理装置が必要となるといった不利益がある。

また、たとえば、ＴＶ番組においてカメラで撮影された動画に対し、ＰＣ（パーソナルコンピュータ）などで作成され静止したテロップが重ねて表示される場合に、余りに広い範囲の周辺画素あるいは多くのフィールドを参照すると、このような広範な検出結果の影響がマイナスの効果として顕れる場合がある。つまり、同じデータが表示されるべき静止画（テロップ）のエッジ部分で、周囲が動画であるため必要以上に動画寄りの判定がなされる可能性がある。この場合、静止したテロップのエッジ部分だけが他のテロップ部分よりくっきりと見えたり、逆にぼやけて見えたりすることがある。テロップは、背景の動画像に比べると水平および垂直の方向の周波数成分が高いのでエッジがぼやけたりすると非常に目立つことから、この意味で画質が低下する。

一方、背景が動画である静止画のエッジ部分を目立たなくする方法として、静止画と動画の境界を判定する処理を含むＩＰ変換方法が知られている（たとえば、特許文献２）。
この方法では、動き検出の結果から、現ライン、１ライン前の出力および１ライン後の出力を用いて３ラインとも動きあり、または、３ラインとも動きなし以外の場合、境界ありと判断する。この境界判定の結果と、動き検出の結果が矛盾する箇所がなくなるようにラインデータの置き換えを行う。

この特許文献２に記載されたＩＰ変換方法は、大容量のフィールドメモリを用いることなく、背景が動画である静止画のエッジ部分を目立たなくすることができるという点では優れた方法である。
しかし、この特許文献２に記載された方法では、広範な画素情報が反映されないことから、前記した特許文献１が解決しようとした課題、すなわち一定速度で動く周期的なパターンあるいは動くテロップを有する画面で、動画部分（動く周期的パターンおよび動くテロップ）が誤って静止画と判断される課題を解決することができない。
特開２００２−１８５９３３号公報 特許第３３４７２３４号公報

解決しようとする問題点は、上記特許文献１および２の課題を同時に解決すること、すなわち、一定速度で動く周期的なパターンあるいは動くテロップなどを有する画面で動画部分が誤って静止画と判断されることと、背景が動画である静止画のエッジ部分が動画処理されて目立つこととを同時に防止することである。

本発明にかかる画像処理装置は、インターレース画像をノンインターレース画像に変換する画像処理装置であって、インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出部と、当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなデータを作成する画素データ補間部と、前記動き検出部からの動き検出の結果で静止画と連続して判断された回数を示す履歴値を生成する履歴値生成部とを有し、前記画素データ補間部は、前記動き検出の結果と前記履歴値を入力し、動き検出の結果に応じた補間方法を、前記静止画と連続して判断された回数を示す履歴値が大きいほど静止画用の補間方法に近い補間方法に変化させ、当該変化後の補間方法によって前記インターレース画像のライン間に新たなデータを作成するため、フィールド内でインターレースの映像信号のデータが存在しないラインの画素データを当該フィールド内の画素データからの補間により生成するフィールド内補間部と、前記ラインの画素データを複数のフィールド内のデータからの補間により生成するフィールド間補間部と、前記フィールド内補間部からの補間データと、前記フィールド間補間部からの補間データとを所定の比率で混合する画素データ混合部と、前記動き検出部の検出結果と前記静止画と連続して判断された回数を示す履歴値を入力し、検出結果により決まる混合比を、前記静止画と連続して判断された回数を示す履歴値が大きいほどフィールド間補間部からの補間データの比率が高まるように変化させる混合比設定部と、を有する。

本発明にかかる画像処理方法は、インターレース画像をノンインターレース画像に変換する画像処理方法であって、インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出ステップと、当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなデータを作成する画素データの補間ステップと、前記動き検出の結果で静止画と連続して判断された回数を示す履歴値を生成する履歴値生成ステップとを含み、前記補間ステップは、前記動き検出の結果と前記静止画と連続して判断された回数を示す履歴値を入力し、動き検出の結果に応じた補間方法を、前記静止画と連続して判断された回数を示す履歴値が大きいほど静止画用の補間方法に近い補間方法に変化させ、当該変化後の補間方法によって前記インターレース画像のライン間に新たなデータを作成するため、フィールド内でインターレースの映像信号のデータが存在しないラインの画素データを当該フィールド内の画素データからの補間により生成するフィールド内補間のステップと、前記ラインの画素データを複数のフィールド内のデータからの補間により生成するフィールド間補間のステップと、前記フィールド内補間による補間データと、前記フィールド間補間による補間データとを所定の比率で混合する画素データ混合のステップと、前記動き検出の結果と前記静止画と連続して判断された回数を示す履歴値を入力し、検出結果により決まる混合比を、前記静止画と連続して判断された回数を示す履歴値が大きいほどフィールド間補間による補間データの比率が高まるように変化させる混合比設定のステップと、を有する。

本発明では、インターレースの映像信号が動き検出部に（あるいは、動き検出ステップで）入力されると、たとえばフレーム間の画素データの比較により動き検出が実行される。動き検出で画素データに差がないあるいは差が小さい場合、静止画と判断され、差が大きい場合、動画と判断される。履歴値生成部（あるいは、履歴値生成ステップ）では、この動き検出結果を入力し、連続して静止画と判断される回数である履歴値を画素ごとに生成する。画素データ補間部（あるいは、補間ステップで）は、この生成した履歴値に応じて、データを新たに作成すべき画素の補間方法が決定される。より詳細に、画素データ補間部が、動画に適合したフィールド内補間部と、静止画に適合したフィールド間補間部と、両補間部の出力を所定の比率で混合する画素データ混合部と、この混合の比率（混合比）を設定する混合比設定部とを有する。この場合、混合比設定部は、履歴値が大きいほど静止画寄りの補間となるように、つまりフィールド間補間により生成された画素データの比率が高くなるように上記混合比を決める。

このような画像処理では、たとえば、所定周期の繰り返しパターンが当該周期に適合した速さで動く場合、そのパターンが繰り返し表示される画素位置では、ある時間間隔でみると常に静止画と判断されるパターン部分が存在する。ところが、本発明では画素ごとに静止画との判断が連続して起こる回数（履歴値）がカウントされていることから、その静止画の履歴値がパターンの幅に対応した周期で途切れ途切れになる。つまり、履歴値を用いて大局的にみると、このような所定周期の繰り返しパターンは完全な静止画と判断されないし、完全な動画とも判断されない。このため、繰り返しパターンの周期や動く速さに適合した混合比となり、その混合比で、当該画素位置に新たな画素データが生成される。
また、アルファベットなどのテロップが流れるように移動する場合、文字の間で履歴値が途切れ途切れとなることから、同様に、この文字間隔や動く速さに適合した混合比で、テロップを表示する位置に画素データが生成される。
さらに、周囲が動画である静止画テロップのエッジ部分では、周辺の画素情報は反映されずに、当該画素での履歴値のみが判断材料となるため、当該画素での履歴値はテロップの表示時間に依存して十分大きく完全な静止画に近い判断がなされる。よって、この静止画テロップのエッジ部分では静止画寄りの混合比で新たな画素データが生成される。

本発明にかかる画像処理装置および画像処理方法は、所定周期の繰り返しパターンが動く場合、アルファベットなどのテロップが移動する場合、静止画テロップの背景が動画である場合のすべてに適応し、それぞれ適切な補間方法により画素データの生成ができる。インターレース信号からノンインターレース信号に変換する従来の方法では、何れかの場合に適合できても他の場合に適応できないなど、すべてに適応が難しかったが、本発明では、かかる問題を解決した画像処理装置および画像処理方法を新たに提案できた。しかも、本発明では、大容量なフィールドメモリを用いることなく、静止画であるか否かであるので１ビットからなるデータを数桁ならべた履歴値を画素ごとに保持し、更新させる程度のメモリ容量で済む。このため、画像処理装置の規模およびコストも抑制されたものとなり、また、画像処理方法が複雑でなく、処理速度が実施化への制限要因となりにくい。

以下、本発明に係る画像処理装置および画像処理方法の実施の形態を、図面を参照して説明する。この画像処理装置は、動き適応型ＩＰ変換機能を有した装置あるいは集積回路（ＩＣ）として実現される。

［第１の実施の形態］
図１に、第１の実施の形態にかかる画像処理装置のブロック図を示す。
図１に示す画像処理装置１Ａは、大別すると、フィールド遅延部２、フレーム差分演算部３、画素データ補間部４、および、静止画の履歴値生成部５から構成されている。

フィールド遅延部２は、入力したフィールド画面Ｐｉ（０）を１フィールド遅延させて出力する第１のフィールド遅延部２１と、第１のフィールド遅延部２１から入力した１フィールド（１Ｆ）遅延後の画面Ｐｉ（＋Ｆ）をさらに１フィールド遅延させる第２のフィールド遅延部２２とを有する。第２のフィールド遅延部２２からは２フィールド（２Ｆ）、すなわち１フレームだけ遅延されたフィールド画面Ｐｉ（＋２Ｆ）が出力される。
ここで１フィールドの表示時間（または時間軸上でのフィールド画面間隔）を「Ｆ」で表し、位相が進んでいることを「＋」、位相が遅れていることを「−」の符号で示す。また、現時点を「０」で表記する。図１に示す状態では、フィールド画像Ｆｉ（０）が入力されている時（現時点）において、それより１フィールド表示時間（以下、単に１Ｆという）だけ前に第１のフィールド遅延部２１に入力され、１Ｆだけ位相が進んだ隣のフィールド画面Ｐｉ（＋Ｆ）が第１のフィールド遅延部２１から出力されている。また、２フィールド表示時間（以下、単に２Ｆという）だけ現時点より前に第１のフィールド遅延部２１に入力され、２Ｆだけ位相が進んださらに隣のフィールド画面Ｐｉ（＋２Ｆ）が第２のフィールド遅延部２２から出力されている。

この３つのフィールド画面Ｐｉ（０）、Ｐｉ（＋Ｆ）、Ｐｉ（＋２Ｆ）の位置関係を、図２に示している。図２は、画面の２次元空間に時間軸を導入して３次元的に示すものであり、時間軸を「→ｔ」により示している。また図３〜図５に、図２に示す正面Ａの側から３画面の位置関係を見た図を示す。
インターレース表示画面は、絵として完成された画面（１フレーム）を２回の飛び越し走査を経て表示することは先に述べたが、図２において、第１回目の走査による第１フィールド画面に属する画素（あるいは画素データ）を白丸で表示し、第２回目の走査による第２フィールド画面に属する画素（あるいは画素データ）を黒丸で表示しているものとする。この場合、現時点の入力画面Ｐｉ（０）と、これより１Ｆだけ位相が進んだ画面Ｐｉ（＋Ｆ）との組み合わせで１フレームが構成され、そのさらに位相が進んだ隣の画像の組、すなわちＰｉ（＋２Ｆ）と不図示のＰｉ（＋３Ｆ）とにより他の１フレームが構成される。図３に示すように、画素を黒丸で示した第２フィールド画面Ｐｉ（＋Ｆ）と、その両側の第１フィールド画面Ｐｉ（０）およびＰｉ（＋２Ｆ）とは、１ライン走査間隔Ｌだけずれた垂直方向の位置関係にある。また、飛び越し走査であることから、各画面の画素データラインの間隔は２ライン走査間隔（２Ｌ）に設定されている。

図１に示すフレーム差分演算部（図中、「ΔＰ」と表記）３は、入力した現時点のフィールド画面Ｐｉ（０）と、第２のフィールド遅延部２２からの１フレーム遅延後のフィールド画面Ｐｉ（＋２Ｆ）とを入力し、フレーム間で画素ごとに、たとえば輝度データの差分の絶対値（以下、フレーム差分という）を演算により求める。たとえば図３に示すように、フィールド画面Ｐｉ（０）内の画素データＤｋ（０）と、フィールド画面Ｐｉ（＋２Ｆ）内の画素データＤｋ（＋２Ｆ）とからフレーム差分Ｄｉｆ（０）を求め、この処理を画素ごとに繰り返す。フレーム差分Ｄｉｆ（０）は画素ごとに演算によって順次生成され、画素データ補間部４と履歴値生成部５のそれぞれに入力される。

画素データ補間部４は、図１に示すように、フィールド内補間部４１、フィールド間補間部４２、画素データ混合部（図中「ＭＩＸ．」と表記）４３、および、混合比Ｒｍｉｘの設定部４４を有する。

フィールド内補間部４１は、とくに図示しないが、入力したフィールド画像データをラインごとに遅延させるライン遅延部と、遅延後のラインデータ等を用いた補間により、インターレース画像のライン間に新たなラインデータを生成する補間部とを有する。これにより、フィールド内補間部４１は動画に適した補間方法、すなわち同一フィールド内のデータのみでノンインターレース画像に必要なラインの画素データを新たに生成することができる。

フィールド内補間方法に限定はないが、たとえば図４に示す例のように、１Ｆ遅延後のフィールド画面Ｐｉ（＋Ｆ）内で、注目しているラインの画素データＤｋ（＋Ｆ）と、その１ライン（フレーム内でみると２走査ライン）遅延後の画素データＤｋ−２（＋Ｆ）とにそれぞれ０．５の係数をかけて混合することにより、画素データがなかった中間の走査ラインに新たな画素データＤｋ−１（＋Ｆ）を生成する。
以下、このように同じフィールド内の複数の画素データから生成された動画用の新たな画素データからなるフィールド画面を「動画補間画面Ｐｍ」という。

フィールド間補間部４２は、互いに１フィールド分だけ位相がずれた２系統の画素データ列（２つのフィールド画面）を入力する。フィールド間補間部４２は、とくに図示しないが、この入力した２系統の画素データ列から補間によりインターレース画像のライン間に新たなラインデータを生成する補間部を有する。これにより、フィールド間補間４２は静止画に適した補間方法、すなわち時間的に隣接した異なるフィールド内のデータからノンインターレース画像に必要なラインの画素データを新たに生成することができる。

フィールド間補間方法に限定はないが、たとえば図５に示す例のように、１Ｆ遅延後のフィールド画面Ｐｉ（＋Ｆ）に属し注目しているラインの画素データＤｋ（＋Ｆ）と、２Ｆ遅延後のフィールド画面Ｐｉ（＋２Ｆ）の対応する画素データＤｋ（＋２Ｆ）とにそれぞれ０．５の係数をかけて混合することにより、１Ｆ遅延後のフィールド画面Ｐｉ（＋Ｆ）で画素データがなかった走査ラインに新たな画素データＤｋ−１（＋Ｆ）を生成する。
以下、このように異なるフィールドに属する複数の画素データから生成された静止画用の新たな画素データからなるフィールド画面を「静止画補間画面Ｐｓ」という。

画素データ混合部４３は、動画補間画面Ｐｍをフィールド内補間部４１から入力し、静止画補間画面Ｐｓをフィールド間補間部４２から入力し、２つの補間画面ＰｍとＰｓの画素データを、画素ごとに決められる所定の混合比Ｒｍｉｘによって順次混合し、新たな画素データ列（出力画面）Ｐｏを出力する。このような画素データ混合部４３の機能は、とくに図示しないが、たとえば、各補間データに混合比Ｒｍｉｘを実現するために適した係数をかける２つの乗算器と、２つの乗算器の出力を加算する加算器とにより実現される。
本実施の形態における画素データ混合部４３の混合比Ｒｍｉｘは変更可能となっている。たとえば上記構成では、２つの乗算器の係数が変更可能になっている。

混合比Ｒｍｉｘを設定し、変更する手段としての混合比設定部４４は、混合比Ｒｍｉｘを、入力した履歴値に応じて制御する。混合比設定部４４は、通常、フレーム差分演算部３からフレーム差分Ｄｉｆ（０）を入力し、フレーム差分Ｄｉｆ（０）に応じた混合比を基準とし、この基準となる混合比を、入力した履歴値Ｈに応じて変化させる。このように混合比設定部４４が履歴値Ｈに応じて混合比を制御することと、履歴値生成部５を有することが本実施の形態の大きな特徴の一つである。

履歴値生成部５は、入力したフレーム差分Ｄｉｆ（０）と基準ＲＥＦとの大小関係を比較し、動画または静止画を判定する動き比較部（図中、「ＣＯＭＰ．」と表記）５１と、動き比較部５１で「静止画」と連続して判断された回数を履歴値Ｈとして画素ごとに保持し、更新する履歴値メモリ（図中、「Ｈメモリ」と表記）５２と、保持している履歴値Ｈを２フィールド（２Ｆ）分、すなわち１フレーム分遅延させる履歴値遅延部５３とを有する。履歴値メモリ５２は、画素ごとにアドレスが割り当てられたメモリ空間を有し、アドレスにより指定された画素ごとの保持データ（履歴値）をインクリメント可能に構成されている。なお、図１においては、注目している画素の現時点の履歴値をＨｋ（０）と表記し、２Ｆ遅延後の履歴値をＨｋ（＋２Ｆ）と表記している。

より詳細に、動き比較部５１は、入力したフレーム差分Ｄｉｆ（０）を、動画と静止画の境界を定める所定の基準ＲＥＦと比較して、入力したフレーム差分Ｄｉｆ（０）が基準ＲＥＦより大きければ（または以上であれば）「動画」、入力したフレーム差分Ｄｉｆ（０）が基準ＲＥＦ以下（または未満）であれば「静止画」といった判断を行う。動き比較部５１は、「静止画」との判断を行うたびに、たとえばハイレベルのパルスを出力するような信号Ｓ５１を出力しており、履歴値メモリ５２は、この信号Ｓ５１でハイレベルのパルスが立つたびに、記憶している１フレーム前（位相が１フレーム分進んだ）当該画素の履歴値Ｈｋ（０）をインクリメントし、出力する。履歴値Ｈｋ（０）は順次２Ｆだけ遅延され、遅延後の履歴値Ｈｋ（＋２Ｆ）が混合比設定部４４に順次入力される。履歴値メモリ５２の記憶内容は、混合比設定部４４に出力された履歴値Ｈｋ（＋２Ｆ）により書き換えられる。このため、混合比設定部４４に出力された履歴値Ｈｋ（＋２Ｆ）を基礎として静止画と判断されるたびに履歴値が１つずつ加算される仕組みになっている。履歴値算出がフレーム差分Ｄｉｆ（０）にもとづいて行われることから、この点では、図３に示す画素Ｄｋ（０）またはＤｋ（＋２Ｆ）で履歴値をカウントすることが望ましい。一方、図５に示すようにフィールド間補間で画素Ｄｋ（＋２Ｆ）が用いられ、画素Ｄｋ（０）は用いられない。その意味で、画素Ｄｋ（＋２Ｆ）で履歴値をカウントすることが望ましく、本実施の形態では、履歴値Ｈｋ（０）を２Ｆ遅延させた後、混合比設定に用いることとしている。
なお、この動き比較部５１と前述したフレーム差分演算部３とは、本発明の「動き検出部」の一実施態様を構成する。

図６に、この履歴値生成処理のフローチャートを示す。
図６に示す処理がスタートする時点では、履歴値メモリ５２に記憶されている履歴値がＨｋ（−２Ｆ）であるとする。ステップＳＴ１において、前回の処理で１フレーム、すなわち２フィールド（２Ｆ）遅延された履歴値、すなわちＨｋ（０）が履歴値メモリ５２に入力される。
ステップＳＴ２でフレーム差分Ｄｉｆ（０）が入力されると、つぎのステップＳＴ３で、フレーム差分Ｄｉｆ（０）を基準ＲＥＦと比較する。フレーム差分Ｄｉｆ（０）が基準ＲＥＦ以上なら、当該画素が動画に属すると判断し、ステップＳＴ４Ａで履歴値メモリ５２の該当するアドレスに記憶された画素の履歴値Ｈｋ（０）をリセットする。これにより処理対象の画像部分が静止状態から脱し動画状態に入ったとの判断がなされる。一方、フレーム差分Ｄｉｆ（０）が基準ＲＥＦ未満なら、当該画素が静止画に属すると判断し、ステップＳＴ４Ｂで履歴値メモリ５２の該当するアドレスに記憶された静止画の履歴値Ｈｋ（０）をインクリメントし、処理対象の画像部分で静止画状態が続いていると判断される。
その後、ステップＳＴ５において、この履歴値Ｈｋ（０）が履歴値遅延部５３によって２Ｆだけ遅延され、遅延後の履歴値Ｈｋ（＋２Ｆ）が混合比設定部４４に送られるとともに、この遅延後の履歴値Ｈｋ（＋２Ｆ）の値によって、履歴値メモリ５２の当該画素に対応したアドレスの記憶領域の内容が書き換えられる。
この処理は、画素ごとにフレーム差分Ｄｉｆが入力されるたびに繰り返し実行される。

図７に、混合比設定処理のフローチャートを示す。
混合比設定部４４は、ステップＳＴ１０でフレーム差分Ｄｉｆ（０）を入力し、ステップＳＴ１１でフレーム差分Ｄｉｆ（０）に対応する履歴値Ｈｋ（＋２Ｆ）を入力すると、つぎのステップＳＴ１２で動画補間画面Ｐｍと静止画補間画面Ｐｓとの混合比Ｒｍｉｘを求める。逐一演算を行ってもよいが、ここでは、フレーム差分および履歴値の２つの入力パラメータによって混合比が特定されるテーブルを内蔵しており、そのテーブルを参照することによって混合比Ｒｍｉｘを求めるとする。

図８に、このテーブルにおける２つの入力パラメータと混合比との関係の一例をグラフによって示す。
従来は、静止画と判断された回数に関係なくフレーム差分のみで混合比が決められていたが、本実施の形態で図８に示す例では、履歴値がある値より小さいときはフレーム差分に関係なく混合比を一定とするように決められている。このグラフは一例であり混合比の決め方は様々考えられる。大局的にみると、同じフレーム差分なら履歴値が大きいほど混合比が静止画寄りに決められ、同じ履歴値ならフレーム差分が小さいほど混合比が静止画寄りに決められる。ここで、同じフレーム差分なら履歴値が大きいと必ず履歴値も静止画寄りでなければならいないというわけではない。図８の例のように、履歴値が変化しても混合比が変化しない部分を一部に含んでいてもよい。「大局的にみると」は、大きなスパンでみると履歴値にともなって混合比が変化しているという意味である。
なお、本発明で「履歴値が大きいほど静止画用の補間方法に近い補間方法に変化させ」とは、このように大局的にみる場合も含む。すなわち、本発明では、履歴値が大きいほど漸次静止画寄りの補間方法をとる場合のほかに、途中で履歴値が変化しても補間方法は変わらない部分が存在するが、大局的にみると履歴値が大きくなるにしたがって補間方法が静止画寄りに変化している場合も含む。
なお、図８には、静止画の混合比の数値を例示している。この場合、完全な動画の場合はＲｍｉｘ＝０、完全な静止画の場合Ｒｍｉｘ＝１．０をとり、その間は静止画寄りにするほどＲｍｉｘの値を１に近い値に設定することができる。

本実施の形態では、フレーム差分Ｄｉｆにもとづいて動画補間画面Ｐｍと静止画補間画面Ｐｓの混合比を決定する際に、静止画と連続して判断された回数である履歴値を参照することによって、多くのフィールド遅延メモリを用いた場合と同様に、多くの過去のフィールドの動き状態を参照することができる。そのため、動画であるか静止画であるかの判断が確実なものとなる。また、補間画面の混合比をよりなだらかに変化できるので、静止したばかりの画像が、急に静止画処理をされ、突然、解像度が上がった様に見えることが防止できる。
さらに、図８に示す静止画の履歴値を演算する際に用いる静止画履歴のしきい値（基準ＲＥＦ）は、フレーム差分のノイズ成分に比べ十分大きく設定することができるため、履歴値はフレーム差分のノイズに影響され難い。

本実施の形態で導入されている履歴値というパラメータは、その値が大きいほど静止画である可能性が高いことを意味する。したがって、静止画の履歴値が大きい場合は、フィールド差分のみの判定に比べ静止画寄りの判定を行うことができる。その結果、さまざまなケースに対応し、動き適応型のインターレースとノンインターレースとの変換の効果を高められる。

たとえば、所定周期の繰り返しパターンが当該周期に適合した速さで動く場合、そのパターンが繰り返し表示される画素位置では、ある時間間隔でみると常に静止画と判断されるパターン部分が存在する。ところが、本実施の形態では画素ごとに静止画との判断が連続して起こる回数（履歴値）がカウントされていることから、その静止画の履歴値がパターンの幅に対応した周期で途切れ途切れになる。つまり、履歴値がある程度大きくなるとリセットされることから、履歴値を用いて大局的にみると、このような所定周期の繰り返しパターンは完全な静止画と判断されないし、完全な動画とも判断されない。このため、繰り返しパターンの周期や動く速さに適合した混合比となり、その混合比で、当該画素位置に新たな画素データが生成される。また、図９に示すように、最初は静止画寄りに判断されていても、あるパターンが動く時間が長いと動画寄りに判断される利点がある。
また、アルファベットなどのテロップが流れるように移動する場合、文字の間で履歴値が途切れ途切れとなることから、同様に、この文字の間隔や動く速さに適合した混合比で、テロップを表示する位置に画素データが生成される。
さらに、図１０に示すように、周囲が動画である静止画テロップ（アルファベットの文字）のエッジ部分では、周辺の画素情報は反映されずに、当該画素での履歴値のみが判断材料となるため、当該画素での履歴値はテロップの表示時間に依存して十分大きく完全な静止画に近い判断がなされる。よって、この静止画テロップのエッジ部分では静止画寄りの混合比で新たな画素データが生成される。

［第２の実施の形態］
本実施の形態は、履歴値生成部の変更に関する。
図１１に、第２の実施の形態にかかる画像処理装置のブロック図を示す。
この画像処理装置１Ｂが、図１に示す画像処理装置１Ａ（第１の実施の形態）と異なる点は、履歴値生成部５の履歴値遅延部が１フィールドずつ遅延させる第１の履歴値フィールド遅延部５４と第２の履歴値フィールド遅延部５５に分離され、その中間接続点から１Ｆ遅延後の履歴値Ｈｋ（＋Ｆ）が出力されていることである。この１Ｆ遅延後の履歴値Ｈｋ（＋Ｆ）は、第２の履歴値フィールド遅延部５５から出力される２Ｆ遅延後の履歴値Ｈｋ（＋２Ｆ）とともに混合比設定部４４に入力される。

その結果、本実施の形態における混合比設定部４４は、１Ｆ遅延画面Ｐｉ（＋Ｆ）内の補間に用いる画素、たとえば図４に示す例では、画素Ｄｋ（＋Ｆ）および／またはＤｋ−２（＋Ｆ）の履歴値Ｈｋ（＋Ｆ）も参照している。このため、より複雑できめ細かな判断が可能となる。

第１の実施の形態では、同じフレーム差分Ｄｉｆで履歴値Ｈｋ（＋２Ｆ）ならば混合比Ｒｍｉｘは１つに決められていたが、本実施の形態では、さらに履歴値Ｈｋ（＋Ｆ）の値によって、混合比を細かく変える制御ができる。また、たとえば図４に示す画素Ｄｋ（＋Ｆ）とＤｋ−２（＋Ｆ）の履歴値Ｈｋ（＋Ｆ）がともに「０」のとき、言い換えると共に動画である傾向が高いと判断する。そして、これらの画素に挟まれた補間する画素は、たとえ第１の実施の形態に示す履歴値Ｈｋ（＋２Ｆ）による判断で静止画であるとされても、動画である画素に上下を挟まれているので、動画寄りの混合比を出力する判定を追加することができる。このように、第２の実施の形態では、より多くの履歴値を組み合わせて様々な判断を行うことができる、その結果、信頼性が高い動き適応制御が可能となる。

なお、第１および第２の実施の形態では、フレーム差分を、図２の「Ｂ」で示す矢印の方向（走査方向）に隣接する画素でもとって、動画と静止画の判断の精度を高めることができる。また、履歴値もこの走査方向に隣接する画素でカウントするようにして、履歴値の精度を高めることもできる。

本発明は、種々の画像表示装置、または、画像表示装置に信号処理ＩＣとして内蔵されている画像処理装置において、インターレース画面をノンインターレース画面に変換する用途に適用できる。

第１の実施の形態にかかる画像処理装置のブロック図 ３つの連続したフィールド画面の位置関係を示す図 図２に示す正面Ａの側から見た３画面の位置関係でフレーム差分のとりかたを示す図 図３と同様な３画面の位置関係でフィールド内補間を示す図 図３と同様な３画面の位置関係でフィールド間補間を示す図 履歴値生成処理のフローチャート 混合比設定処理のフローチャート 混合比参照テーブルにおける２つの入力パラメータと混合比との関係の一例を示すグラフ 静止した背景内で円形画像が動く場合の混合比の推移を説明する図 周囲が動画である静止画テロップ（アルファベットの文字）を有する画面を示す図 第２の実施の形態にかかる画像処理装置のブロック図

符号の説明

１Ａ，１Ｂ…画像処理装置、２…フィールド遅延部、２１…第１のフィールド遅延部、２２…第２のフィールド遅延部、３…フレーム差分演算部（動き検出部）、４…画素データ補間部、４１…フィールド内補間部、４２…フィールド間補間部、４３…画素データ混合部、４４…混合比設定部、５…履歴値生成部、５１…動き比較部（動き検出部）、５２…履歴値メモリ、５３…履歴値遅延部、５４…第１の履歴値フィールド遅延部、５５…第２の履歴値フィールド遅延部、Ｐｉ…入力フィールド画面、Ｐｏ…出力フィールド画面、Ｐｍ…動画補間画面、Ｐｓ…静止画補間画面、Ｄｉｆ…フレーム差分、Ｈｋ…履歴値、ＲＥＦ…基準、Ｒｍｉｘ…混合比

Claims (4)

1. インターレース画像をノンインターレース画像に変換する画像処理装置であって、
   インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出部と、
   当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなデータを作成する画素データ補間部と、
   前記動き検出部からの動き検出の結果で静止画と連続して判断された回数を示す履歴値を生成する履歴値生成部と
   を有し、
   前記画素データ補間部は、前記動き検出の結果と前記履歴値を入力し、動き検出の結果に応じた補間方法を、前記静止画と連続して判断された回数を示す履歴値が大きいほど静止画用の補間方法に近い補間方法に変化させ、当該変化後の補間方法によって前記インターレース画像のライン間に新たなデータを作成するため、
   フィールド内でインターレースの映像信号のデータが存在しないラインの画素データを当該フィールド内の画素データからの補間により生成するフィールド内補間部と、
   前記ラインの画素データを複数のフィールド内のデータからの補間により生成するフィールド間補間部と、
   前記フィールド内補間部からの補間データと、前記フィールド間補間部からの補間データとを所定の比率で混合する画素データ混合部と、
   前記動き検出部の検出結果と前記静止画と連続して判断された回数を示す履歴値を入力し、検出結果により決まる混合比を、前記静止画と連続して判断された回数を示す履歴値が大きいほどフィールド間補間部からの補間データの比率が高まるように変化させる混合比設定部と、
   を有する、
   画像処理装置。
2. 前記履歴値生成部は、補間データを作成するフィールドより１フィールド遅延したフィールドでの隣接画素の補間時の履歴値を生成し、補間ごとに更新する、
   請求項１に記載の画像処理装置。
3. 前記履歴値生成部は、補間データを作成するフィールドと異なるフィールドでの隣接画素の補間時の履歴値と、補間データを作成するフィールドと同じフィールド内での隣接画素の補間時の履歴値とを生成し、それぞれ補間ごとに更新する、
   請求項１に記載の画像処理装置。
4. インターレース画像をノンインターレース画像に変換する画像処理方法であって、
   インターレースの映像信号を入力し、当該映像信号の画素データの比較により動き検出を行う動き検出ステップと、
   当該動き検出の結果に応じた補間方法によって、前記インターレースの映像信号のライン間に補間演算で新たなデータを作成する画素データの補間ステップと、
   前記動き検出の結果で静止画と連続して判断された回数を示す履歴値を生成する履歴値生成ステップと
   を含み、
   前記補間ステップは、前記動き検出の結果と前記静止画と連続して判断された回数を示す履歴値を入力し、動き検出の結果に応じた補間方法を、前記静止画と連続して判断された回数を示す履歴値が大きいほど静止画用の補間方法に近い補間方法に変化させ、当該変化後の補間方法によって前記インターレース画像のライン間に新たなデータを作成するため、
   フィールド内でインターレースの映像信号のデータが存在しないラインの画素データを当該フィールド内の画素データからの補間により生成するフィールド内補間のステップと、
   前記ラインの画素データを複数のフィールド内のデータからの補間により生成するフィールド間補間のステップと、
   前記フィールド内補間による補間データと、前記フィールド間補間による補間データとを所定の比率で混合する画素データ混合のステップと、
   前記動き検出の結果と前記静止画と連続して判断された回数を示す履歴値を入力し、検出結果により決まる混合比を、前記静止画と連続して判断された回数を示す履歴値が大きいほどフィールド間補間による補間データの比率が高まるように変化させる混合比設定のステップと、
   を有する、
   画像処理方法。

Images