JP5149725B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、入力した動画像データを、更に高いフレームレートの動画像データに変換する技術に関するものである。

テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが長年用いられてきたが、近年では液晶デバイスを用いた薄型パネルが主流となりつつある。図１０を用いて液晶デバイスの特徴を説明する。図１０の水平軸は時間を、垂直軸は画素の明るさを示している。ここでのフレームレートは６０フレーム／秒である。同図が示すように、液晶デバイスの場合は、１フレームに対して１／６０秒の期間、発光を持続する。このため、液晶デバイスは「ホールド型」のデバイスと呼ばれている。

ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。図１１はその説明図である。図１１の水平軸は画面上の位置を、垂直軸は時間を示している。この図は矩形の波形が画面の左から右に向かって移動する例である。このような動きを眼で追う場合、眼が追従する動きに対して、１／６０秒の間、画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図１１の一番下の図は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケが検知されることを示している。

動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図１２は、２倍の１２０Ｈｚで表示する例である。

また、２倍のフレームレートにするために、入力画像を高域成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する手法も知られている。図１３は、この方法により駆動分配した画像の動特性である。図１１と比較してわかるように、動きボケは大幅に低減されている。

また、ＣＲＴと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。図１４は、これらデバイスの発光特性の説明図である。図１０と同様、水平軸が時間、垂直軸が画素の明るさを示している。このタイプの表示装置は、１／６０秒のうちの或る一瞬だけ発光するので、「インパルス型」と呼ばれている。

インパルス型のデバイスは、１／６０の周期で、発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年活発な、表示装置大画面化の流れの中では、特に問題となりやすい。

図１５は、インパルス型デバイスの動特性を示している。ホールド型の特性と違い、残像となるような動きボケが発生しないことが最大の特徴となっている。

フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図１６は、２倍の１２０Ｈｚで表示する例である。インパルス型の場合は、１回の明るさの半分のレベルを２回表示することで、同等の明るさを得ることができる。

図１７は、高域成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する場合の動特性である。単純に２回ずつ同じフレームを表示すると、２重写りとなってしまうが、高域側のみを１回表示させることにより、低周波成分に起因するボケのみで、視覚的な劣化は抑制される。

上記の通り、ホールド型の表示装置における動きボケ対策、及び、インパルス型の表示装置におけるフリッカ対策としての周波数成分によりフレーム画像を２つのサブフレームに分配する方法は、効果的である。

ホールド型の倍速駆動を実現する方法の一例としては、特許文献１が知られている。この特許文献１における回路構成の一部を図１８に示す。入力フレームに対し、ローパスフィルタ処理部１０２では、低周波成分のみを含むサブフレームを生成する。この低周波成分のみのサブフレームは一旦フレームメモリ１００４に格納される。一方、差分検出部１００３は、入力フレームからローパスフィルタ処理部１００２で生成した低周波成分のみを含むサブフレームを減算、すなわち、差分を検出し、高周波成分を抽出する。ここで生成された高周波成分を入力フレームに足すことにより、高周波成分を強調したサブフレームを得る。切替回路１００５では、フレームメモリ１００４に格納された低周波サブフレームと、高周波サブフレームとを、１２０Ｈｚの周期で切り替えて後段の処理に送る。高周波成分を除いたサブフレームと高周波成分を強調したサブフレームを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
特開２００６−１８４８９６号公報

しかしながら、２つのサブフレームを合成した見かけのフレーム画像が、元のフレーム画像と同じにならない場合がある。以下、図１９（ａ）乃至（ｆ）を用いて説明する。

図１９（ａ）は、入力フレーム画像の波形例を示している。図１９（ｂ）は、この入力フレーム画像に、図１８のローパスフィルタ処理部１００２で得られた出力波形である。図１９（ｃ）は、図１８の差分検出部１００３が検出した出力波形である。高周波成分であるため、正負の値を取る。図１９（ｄ）は、元の入力波形（図１９（ａ））に高周波成分（図１９（ｃ））を足した波形である。理論上は、１２０Ｈｚの周期で、図１９（ｂ）の波形と図１９（ｄ）の波形とを交互に表示することで、見かけ上の波形は、図１９（ａ）の波形と同じになる。しかしながら、図１９（ａ）の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図１９（ｄ）の波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図１９（ｄ）ではなく、図１９（ｅ）のように、負の値はゼロとして表示されることになる。すると、見かけの合成波形は、図１９（ｂ）と図１９（ｅ）とを交互表示することになるので、人間には、図１９（ｆ）のような波形が視覚されることになる。図１９（ｆ）に示す波形は、黒の背景に白の文字があるような場合（字幕等がこれに対応する）に、文字の輪郭がにじんだ画像として知覚されることを意味する。このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。

本発明は、かかる問題点に鑑みなされたものであり、より高いフレームレートに変換した場合であっても、動画像中の静止物のエッジが劣化することを抑制する技術を提供しようとするものである。

かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
前記ローパスフィルタ手段は、
前記隣接画素データの輝度値Ｘ１から、前記着目画素データの輝度値Ｘ２を減算する減算手段と、
該減算手段の減算結果ｄ１と、予め設定された０以上の閾値Ｔｈとを比較する比較手段と、
該比較手段の比較結果が、ｄ１≦Ｔｈを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数Ｖ０を選択し、
前記比較手段の比較結果が、ｄ１＞Ｔｈであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数Ｖ０よりも小さい、正の乗算係数Ｖ１を選択する選択手段とを備える。

本発明によれば、単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
本第１の実施形態では、特にホールド型表示装置に好適な例を説明する。

図１は、本第１の実施形態の画像処理装置のブロック構成図である。本装置は装置全体の制御を司る制御部５００、入力端子１０１、ローパスフィルタ処理部１０２、減算器１０３、加算器１０４、フレームメモリ１０５、切替回路１０６を有する。なお、図示の各処理部の間には、タイミングを合せるためのバッファメモリが存在するが、それらは省略していることに注意されたい。

本装置は、フレームレートＦ／秒の動画像を、２倍のフレームレート２Ｆ／秒の動画画像に変換する例を説明する。Ｆ／秒は例えば６０フレーム／秒である。従って、１フレームの画像を入力毎に、２つのサブフレームを生成し、出力する。２つのサブフレームのうち、一方は高周波成分を含むサブフレームであるので、以降、高周波サブフレームと表現する。もう一方は、低周波成分のみを含むサブフレームであるので、以降、低周波サブフレームと表現する。

なお、動画像の入力源としては、ビデオカメラとするが、例えばＤＶＤメディアの映像のデコード処理後の動画像データで良く、その種類は問わない。

また、実施形態では説明を簡単なものとするため、動画像データはモノクロ（輝度成分のみの画像）であるものとして説明する。また、１画素は８ビット（２５６階調）であるものとする。但し、Ｒ、Ｇ、Ｂ等のカラー動画像の場合には、各色成分毎に以下に示す処理を行なえば良いので、必ずしもモノクロである必要もない。

先ず、低周波サブフレームの生成処理について説明する。

ＬＰＦ（ローパスフィルタ）処理部１０２では、入力端子１０１から入力した１フレームの画像データを入力し、その高周波成分を除去するフィルタ処理を行なう。このフィルタ処理の関数は、ガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。ただし、以下の説明のように、制御部５００が、フィルタリング処理する際の各値（パラメータ）が設定できるようになっている。

図７は、第１の実施形態におけるローパスフィルタ処理部１０２の具体的な構成を示している。

ローパスフィルタ１０２の入力端子２００には、上記の通り１フレーム中の画素データがラスタースキャン順に供給される。

遅延回路（ＤＬ）２０１、２０２は、それぞれ１画素分の遅延処理を行う。入力端子２００に供給された画素データをＸ１、遅延回路２０１に格納された画素データをＸ２、遅延回路２０２に格納された画素データをＸ３とする。なお、以下の説明で、画素データＸ１、Ｘ２、Ｘ２の値も輝度値Ｘ１、Ｘ２、Ｘ３と表わすことする。実施形態におけるフィルタリング処理対象は画素データＸ２である。以降、この画素データＸ２を着目画素とも言う。

画素データＸ１は、着目画素データＸ２の１つ後に位置するので、この画素データＸ１は画面上では着目画素の右隣の画素になる。また、画素データＸ３は、画面上では着目画素データＸ２の左隣の画素になる。フィルタ処理部１０２は、これら連続する３つの画素データに基づき、フィルタ処理を行なう。すなわち、本実施形態のフィルタ処理部１０２は、水平３タップ分の画素を参照してフィルタ処理を行なうものである。

乗算器２０２乃至２０４は、輝度値Ｘ１、輝度値Ｘ２、輝度値Ｘ３に対して、以下に説明する乗算係数を乗算する。そして、加算器２０５は各乗算結果を加算して、着目画素Ｘ２に対するローパスフィルタ処理結果の画素データＸ２’を出力することになる。

差分器３００は、隣接画素データＸ１から着目画素データＸ２を減算し、その減算結果ｄ１を算出する。
ｄ１＝Ｘ１−Ｘ２
そして、差分器３００は、減算結果ｄ１を差分として比較器３０２に出力する。なお、差分ｄ１は正、負のいずれの値も取り得ることに注意されたい。

比較器３０２は、制御部５００により設定された閾値Ｔｈと、差分ｄ１とを比較し、その比較結果を選択回路３０４に出力する。この閾値Ｔｈは、不図示の操作部からの入力に従って、制御部５００が設定するものであり、“０”以上の値である。

説明を単純にするため、ここでは閾値Ｔｈ＝０として説明すると、比較器３０２は、着目画素データＸ２が、それに隣接する画素データＸ１に対して輝度が小さいか否かを判定するものと言える。特に、閾値Ｔｈが大きければ大きいほど、隣接画素データＸ１に対して、着目画素データＸ２の輝度が十分に小さい場合を判定できることになる。

実施形態では、ｄ１＞Ｔｈの場合（着目画素データＸ２の値が隣接画素データＸ１よりも輝度が小さい場合）、比較器３０２は“１”の信号を選択回路３０４に出力する。一方、ｄ１≦Ｔｈの場合、比較器３０２は“０”の信号を選択回路３０４に出力する。

選択回路３０４の端子３０７、３０８には、予め制御部５００からフィルタ処理用の乗算係数Ｖ０、Ｖ１（いずれも正の値）が設定されている。このうち、乗算係数Ｖ０は通常の高周波成分を除去するのに十分な値である。一方、乗算係数Ｖ１は乗算係数Ｖ０よりも小さな値な値が設定されている。乗算係数Ｖ０は固定値で良いが、乗算係数Ｖ１は０≦Ｖ１＜Ｖ０の範囲で、ユーザの指示に従って制御部５００が設定するものとする。

選択回路３０４は、比較器３０２からの信号が“０”の場合には、乗算係数Ｖ０を選択し、乗算器２０２に出力する。また、比較器３０２からの信号が“１”の場合には、乗数Ｖ０よりも小さな値である乗算係数Ｖ１を選択し、乗算器２０２に出力する。

乗算器２０２は、着目画素データＸ２に後続して入力された隣接画素データＸ１に、選択回路３０４から供給された乗算係数（Ｖ０、Ｖ１のいずれか）を乗算する。

上記を平たく言えば次の通りである。

選択回路３０４は、着目画素データＸ２が、白文字のエッジの１つ外側の暗い領域に位置し、その隣の画素データＸ１が白文字のエッジ上に存在する場合に、小さな乗算係数Ｖ１を選択し、それ以外の条件の場合には乗算係数Ｖ０を選択する。

上記は差分器３０１、比較器３０３、選択回路３０５、及び乗算器２０４でも同様である。すなわち、差分器３０１は、着目画素データＸ２とそれに隣接する画素データＸ３との差分ｄ２：
ｄ２＝Ｘ３−Ｘ２
を算出し、算出した差分ｄ２を比較器３０３に出力する。

比較器３０３は、閾値Ｔｈと差分ｄ２とを比較し、その比較結果を選択回路３０５に出力する。選択回路３０５には、選択回路３０４と同様に、比較器３０３の比較結果に基づき、制御部５００から設定された乗算係数Ｖ０、Ｖ１のいずれか一方を選択し、乗算器２０４に出力する。より詳しくは、ｄ２≦Ｔｈの場合には、乗算係数Ｖ０を選択し、ｄ２＞Ｔｈの場合には乗算係数Ｖ１を選択する。

乗算器２０４は、着目画素データＸ２よりも先に入力された隣接画素データＸ３に、選択回路３０５から供給された乗算係数（Ｖ０、Ｖ１のいずれか）を乗算する。

乗算器２０３は着目画素データＸ２に対して予め設定された乗算係数を乗算する。

加算器２０５は、乗算器２０２、２０３、２０４の乗算結果を加算し、着目画素データＸ２に対するローパスフィルタ処理後の画素データＸ２’を出力する。

先に説明したように入力端子２００には、ラスタースキャン順に画素データが入力されるので、加算器２０４による加算結果の画素データで表わされるフレームは低周波サブフレームとなる。この低周波サブフレームはフレームメモリ１０５に一旦、格納される（図１参照）。

要するに、閾値Ｔｈの設定によるが、着目画素データＸ２が白文字のエッジの１画素隣の暗い領域に位置しない場合、着目画素データＸ２は通常のローパスフィルタ乗算係数Ｖ０が用いられて、フィルタ処理が行われる（以下、通常ケースという）。

一方、着目画素データＸ２が白文字のエッジの１画素だけ隣の暗い領域に位置する場合には、着目画素データＸ２は通常のローパスフィルタ乗算係数Ｖ０よりも小さな乗算係数Ｖ１が用いられて、フィルタ処理が行われる。従って、この場合、着目画素Ｘ２の値（輝度）は、上記の通常ケースと比較して、その値が大きくなることを抑制できることになる。

次に高周波サブフレームの生成処理を説明する。

図１に示すように、減算器１０３は、入力したフレームから、上記説明したローパスフィルタ処理部１０２で生成された低周波サブフレームを減じることで、高周波成分データ、換言すれば、高周波差分フレームを生成する。つまり、減算器１０３は、高周波差分フレーム生成部として機能することになる。加算器１０４は、この高周波差分フレームを、入力端子１０１からの入力フレームに加算することで、高周波成分を含む高周波サブフレームを生成し、切替回路１０６に出力する。つまり、減算器１０３、加算器１０４が高周波サブフレーム生成部として機能することになる。

切替回路１０６は、入力した動画像のフレーム周波数の２倍、すなわち、１／１２０秒毎に、選択対象として供給された高周波サブフレームと低周波サブフレームを交互に出力する。出力先には、ホールド型表示装置が接続されることになる。

次に、上記の処理を図２（ａ）乃至（ｂ）の波形に基づいて説明する。

図２（ａ）は入力端子１０１から入力したフレームの或るラインの波形を示している。同図（ｂ）は本第１の実施形態におけるローパスフィルタ処理部１０２によるフィルタ処理後の低周波サブフレームの波形を示している。図示の通り、フィルタ処理後の低周波成分サブフレームの高輝度部分の幅は、入力フレームの高輝度部分の幅とほぼ等しいものとすることができる点に注意されたい。

図２（ｃ）は、同図（ａ）から同図（ｂ）の波形を減じた波形であり、減算器１０３から出力される差分フレームである。また、同図（ｄ）は加算器１０４が加算処理して得られた高周波サブフレームの波形を示している。

切替回路１０６では、例えば入力される動画像のフレームレートが６０フレーム／秒（６０Ｈｚ）の場合、１／１２０秒（１２０Ｈｚ）の間隔で、図２（ｂ）、（ｄ）の２つのサブフレームを交互に出力する。従って、切替回路１０６に、ホールド型表示装置を接続した場合には、高速に２つのサブフレームが表示されるので、人間には図２（ａ）のような波形の映像が視覚されることになる。すなわち、６０Ｈｚの表示における入力フレームである図２（ａ）と同一の波形として知覚させることが可能になる。

なお、上記はモノクロの例であったが、カラー画像の場合にも適用できる。カラー表示装置の場合、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒといった３種類の色成分に分けて処理することが多い。従って、Ｒ，Ｇ，Ｂの場合には、それぞれの色成分の輝度値に対して上記処理を行なえば良い。また、Ｙ，Ｃｂ，Ｃｒの場合、人間の視覚感度上、輝度成分Ｙに対してのみ行えば十分であろう。

次に、本第１の実施形態における画像処理装置の制御部５００の処理内容を図３のフローチャートに従って説明する。

まず、ステップＳ３０１で、必要な初期設定を行う。ここでは、ローパスフィルタ処理部１０２で利用する乗数の設定も行われる。ステップＳ３０２では、１フレーム画像を入力する。波形の例では、図２（ａ）がこれに相当する。次にステップＳ３０３として、ローパスフィルタ処理部１０２内の差分器３００、３０１、比較器３０２、３０３等の処理回路にて制御信号を生成させることで、乗算器２０２、２０４で用いる乗算係数を決定する。次いで、ステップＳ３０４にて、ローパスフィルタ処理部１０２内の乗算器２０２、２０３、２０４、及び、加算器２０５によるフィルタ処理を実行することで、低周波サブフレームの生成処理を行なわせる。これにより、図２（ｂ）の波形を有する低周波サブフレームが生成される。

次いで、ステップＳ３０５にて、減算器１０３が、入力したフレームから、ローパスフィルタ処理部１０２で生成した低周波サブフレームを減算することで、高周波差分フレームを生成させる（図２（ｃ）参照）。そして、ステップＳ３０６にて、加算器１０４が入力したフレームに、高周波サブフレームを加算することで、高周波サブフレームを生成する（図２（ｄ）参照）。

ステップＳ３０７にて、切替回路１０６は、高周波サブフレームの出力タイミングを判断し、ステップＳ３０８にて、高周波サブフレームを出力する。高周波サブフレームの出力後、切替回路１０６は、ステップＳ３０９にて、低周波サブフレームの出力タイミングを判断し、ステップＳ３１０にて、低周波サブフレームを出力する。ホールド型の表示装置の場合、１／１２０秒の間に高周波サブフレームを表示し、次の１／１２０秒の間に低周波サブフレームを表示することになる。１／６０秒の時間平均での見かけの波形は、図２（ｅ）のようになり、入力フレームと同じ波形となる。液晶の応答特性の改善や、バックライトを制御するなどの方法により、１／１２０秒よりも、短い時間でサブフレームを表示させることも可能であるが、１／６０秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。なお、低周波サブフレーム、高周波サブフレームの出力順は、上記と逆でも構わない。

以上説明したように本第１の実施形態によれば、入力した動画像を２倍にフレームレートの動画像に変換した場合に、その変換後の動画像をホールド型表示装置で表示させた場合、動画像中の静止物のエッジがボケることを抑制することが可能になる。

［第２の実施形態］
次に、インパルス型表示装置に適用する例を第２の実施形態として説明する。

図４は第２の実施形態の画像処理装置のブロック構成図である。図４において、図１と同じ機能を持つ部分には同符号を付した。図４において、図１と異なる点は分配率処理部１１０が追加された点と、減算器１０３、加算器１０４の代りに、減算器１０７が追加された点である。

ローパスフィルタ処理部１０２は、第１の実施形態と同じであるので、その処理内容については第１の実施形態を参照されたい。但し、本第２の実施形態の場合、ローパスフィルタ処理部１０２からの低周波サブフレームが最終的なサブフレームになるものではない。すなわち、分配率処理部１１０で、予め設定された分配率乗数を乗算した結果が、最終的な低周波サブフレームとなる。

インパルス型表示装置に、通常のフレームレートの２倍のフレームレートで動画像データを出力する際、２つのサブフレームによって、オリジナルの１つのフレームを再現することになるので、明るさを２つのサブフレームに分配する必要がある。そこで、分配処理部１１０は、ローパスフィルタ処理部１０２からの低周波サブフレームに乗算係数“０．５”を乗算し、その結果をフレームメモリ１０５に格納する。このフレームメモリ１０５に格納されたサブフレームが最終的な低周波サブフレームとなる。

図５（ａ）は、入力したフレームの或るラインの画像データの波形を示している。ローパスフィルタ処理部１０２による処理結果は同図（ｂ）のようになる。このような波形になる理由は、第１の実施形態を参照されたい。分配率処理部１１０は、同図（ｂ）の波形に乗算係数“０．５”を乗算することで、明るさを１／２にした低周波サブフレームを生成し、フレームメモリ１０５に格納する。

次に本第２の実施形態における高周波成分を含むサブフレーム（高周波サブフレーム）の生成処理を説明する。

減算器１０７は、入力フレームからフレームから、分配率処理部１１０で生成された低周波サブフレームを減じる。図５を用いて説明すると、減算器１０７は、図５（ａ）の波形から、同図（ｃ）の波形を減じる処理を行なうことになる。この減算結果は、同図（ｄ）の波形、すなわち、高周波サブフレームとなる。

切替回路１０６では、所望のタイミング、例えば入力した動画像が６０Ｈｚの場合、１２０Ｈｚの周期で、２つのサブフレームを交互に表示する。図５（ｄ）の高周波サブフレームと図５（ｃ）の低周波サブフレームを高速に交互表示すると、人間には図５（ｅ）のように見えることとなり、６０Ｈｚ表示における入力フレーム図５（ａ）と同一の波形として知覚されることになる。

このように、ホールド型とインパルス型では、サブフレームの生成形態が異なるが、入力フレームから低周波成分のみを含むサブフレームを減じた場合に、負値を取らないという点が、本発明に共通する処理である。

次に、本第２の実施形態における制御部５００の処理内容を図６のフローチャートに従って説明する。

まず、ステップＳ６０１で、必要な初期設定を行う。これは、ローパスフィルタ処理部１０２における乗算係数や閾値の設定が含まれる。なお、フィルタのタップ数が設定できるのであれば、それも併せて設定する。

次に、ステップＳ６０２では、１フレーム分の画像を入力する。波形の例では、図５（ａ）がこれに相当する。次にステップＳ６０３として、ローパスフィルタ処理部１０２によるフィルタ処理を実行させる。図５（ｂ）は、図５（ａ）にローパスフィルタ処理した結果の波形である。

次にステップＳ６０５で分配率処理部１１０による分配率処理を行なわせる。この処理は、低周波サブフレームを全体の何％にするかを決定する処理でもある。ここでは、画素値に関係なく一律５０％として説明する。図５（ｃ）は、図５（ｂ）の波形に０．５を乗じて、半分の明るさに減じた波形であり、最終的な低周波サブフレームでもある。

次に、ステップＳ６０６にて、もうひとつのサブフレームである高周波サブフレームを生成する。このため、減算器１０７は、入力フレームから、分配率処理部１１０で生成された低周波サブフレームを減じる処理を行なう。図５（ｄ）が、その減算結果の波形を示しており、これが高周波サブフレームとなる。この差分波形には、負の値を生じないという点が、本発明の特徴部分である。

次にステップＳ６０７にて、切替回路１０６は、高周波サブフレームの出力タイミングを判断し、ステップＳ６０８にて、高周波サブフレームを出力する。この高周波サブフレームを出力後にステップＳ６０９にて、今度は低周波サブフレームの出力タイミングを判断し、ステップＳ６１０にて、低周波サブフレームを出力する。各サブフレームは、どちらを先に表示しなければならない、ということはない。インパルス型の表示装置の場合、最初の１／１２０秒の瞬間に一方のサブフレームを表示し、次の１／１２０秒の瞬間にもう１つのサブフレームを表示することになる。結果、１／６０秒の時間平均での見かけの波形は、図５（ｅ）のようになり、入力フレームと同じ波形となる。

以上説明したように、本第２の実施形態の場合、インパルス型表示装置に適用した場合であっても、第１の実施形態と同様の作用効果を奏することが可能になる。

［第３の実施形態］
第１，第２の実施形態におけるローパスフィルタ処理部１０２の他の構成を図８に示す。

図８と図７の違いは、その配線にある。以下、図８の構成について説明する。

差分器３００、３０１、比較器３０２、３０５については、図７と同じである。

選択回路３０４は、比較器３０２からの信号が“１”の場合、すなわち、着目画素データＸ２が、その隣の画素データＸ１よりも小さい場合、着目画素データＸ２を選択し、乗算器２０２に出力する。また、選択回路３０４は、比較器３０２からの信号が“０”の場合、すなわち、着目画素データＸ２が、その隣の画素データＸ１の値以上の場合には、隣接画素データＸ１を選択し、乗算器２０２に出力する。

一方、選択回路３０５は、比較器３０３からの信号が“１”の場合、すなわち、着目画素データＸ２が、その隣の画素データＸ３よりも小さい場合、着目画素データＸ２を選択し、乗算器２０４に出力する。また、選択回路３０５は、比較器３０３からの信号が“０”の場合、すなわち、着目画素データＸ２が、その隣の画素データＸ３の値以上の場合には、隣接画素データＸ３を選択し、乗算器２０４に出力する。

乗算器２０２、２０３、２０４はそれぞれ、予め設定された固定の乗算係数（いずれも０以上１未満の値）を、入力した画素データの値に乗算する。加算器２０５は、各乗算器の乗算結果を入力し、それらを合算し、その結果を着目画素データＸ２のローパスフィルタ処理後の画素データＸ２’として出力する。

上記の構成によれば、図７の構成と同様、着目画素データＸ２が白文字のエッジの１画素だけ隣の暗い領域に位置する場合には、着目画素データＸ２の値（輝度）が、大きくなることを抑制できることになる。従って、第１，第２の実施形態に適用した場合、動画像中の静止物のエッジがボケることを改善できる。

なお、図８の構成中の差分器３００、３０１では、差分ｄ１、ｄ２を算出したが、その絶対値を算出しても良い。

［第４の実施形態］
上記第１乃至第３の実施形態をコンピュータが読込み実行するコンピュータプログラムでもって処理する例を、第４の実施形態として説明する。

図９は、一般的なコンピュータ（パーソナルコンピュータ）のブロック構成図である。このコンピュータは、図示の通り、装置全体の制御を司るＣＰＵ２００２、ＢＩＯＳ及びブートプログラムを格納したＲＯＭ２００３、ＣＰＵ２００２のワークエリアや実行すべきアプリケーションプログラムをロードするためのＲＡＭ２００４を備える。また、コンピュータは、ネットワークインタフェース２００５、キーボードやマウス等の入力装置２００６、表示装置等の出力装置２００７、ハードディスク等の外部記憶装置２００８も備える。これらの構成要素は、システムバス２００１を介して互いに接続されている。

本装置の電源をＯＮにすると、ＣＰＵ２００２はＲＯＭ２００３に格納されたブートプログラムに従って、外部記憶装置２００８内のＯＳ（オペレーティングシステム）をＲＡＭ２００４にロードし、そのＯＳを起動する。この結果、本装置が情報処理装置として機能する。その後、ユーザが入力装置２００６を操作し、動画像変換用のアプリケーションの起動指示を与えると、ＣＰＵ２００２は外部記憶装置２００８から該当する動画像変換用のアプリケーションプログラムをＲＡＭ２００４にロードし、実行する。この結果、本装置が画像処理装置として機能する。

画像処理装置として機能した場合、ＣＰＵ２００２は、例えば、外部記憶装置２００８に格納された変換対象の動画像データファイル（ユーザが指定するものとする）から１フレームずつ入力する。そして。ＣＰＵ２００２は、第１乃至第３の実施形態と同様な処理で得られた低周波サブフレーム、高周波サブフレームを生成し、動画像ファイルとしてハードディスク等に格納する処理を行なう。なお、２倍速の出力先はファイルとして保存するのではなく、表示装置に出力しても良い。

特に、２倍速に変換した動画像をファイルとして保存する場合には、リアルタイム再生は不要である。従って、ＣＰＵ２００２の処理能力に依存した速度で２倍速動画像ファイルを作成すれば良い。従って、図３のステップＳ３０７、Ｓ３０９、又は、図６のステップＳ６０７、Ｓ６０９のタイミング合せのステップは不要となる。

以上説明したように、コンピュータプログラムにしたがってコンピュータが、第１乃至第３の実施形態と同様の処理を行なうことが可能である。

また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭやメモリカード等、コンピュータ可読記憶媒体に格納されている。そして、そのコンピュータ可読記憶媒体をコンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブやメモリカードリーダ）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータプログラムを格納したコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

第１の実施形態における画像処理装置のブロック構成図である。 第１の実施形態における各処理段階での波形を示す図である。 第１の実施形態における処理の流れを示すフローチャートである。 第２の実施形態における画像処理装置のブロック構成図である。 第２の実施形態における各処理段階での波形を示す図である。 第３の実施形態における処理の流れを示すフローチャートである。 第１，第２の実施形態におけるローパスフィルタ処理部のブロック構成図である。 第３の実施形態におけるローパスフィルタ処理部のブロック構成図である。 第４の実施形態のコンピュータのハードウエア構成例を示すブロック図である。 ホールド型表示装置の発光時間を説明する図である。 ホールド型表示装置の動特性を説明する図である。 ホールド型表示装置の倍速駆動における発光時間を説明する図である。 ホールド型表示装置の倍速駆動における動特性を説明する図である。 インパルス型表示装置の発光時間を説明する図である。 インパルス型表示装置の動特性を説明する図である。 インパルス型表示装置の倍速駆動における発光時間を説明する図である。 インパルス型表示装置の倍速駆動における動特性を説明する図である。 従来の回路構成を説明する図である。 従来方法による処理波形を説明する図である。

Claims (10)

1. 単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
   フレームを単位に動画像データを入力する入力手段と、
   該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
   前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
   前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
   前記ローパスフィルタ手段は、
   前記隣接画素データの輝度値Ｘ１から、前記着目画素データの輝度値Ｘ２を減算する減算手段と、
   該減算手段の減算結果ｄ１と、予め設定された０以上の閾値Ｔｈとを比較する比較手段と、
   該比較手段の比較結果が、ｄ１≦Ｔｈを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数Ｖ０を選択し、
   前記比較手段の比較結果が、ｄ１＞Ｔｈであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数Ｖ０よりも小さい、正の乗算係数Ｖ１を選択する選択手段とを備える
   ことを特徴とする画像処理装置。
2. 前記高周波サブフレーム生成手段は、
   前記ローパスフィルタ手段で生成された低周波サブフレームを、前記入力手段で入力したフレームから減算して差分フレームを生成する差分フレーム生成手段と、
   該差分フレーム生成手段で生成した差分フレームを、前記入力手段で入力したフレームに加算する加算手段と
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 更に、前記ローパスフィルタ手段で生成された低周波サブフレームに１未満の正の乗算係数を乗算し、前記出力手段の選択対象として出力する乗算手段を備え、
   前記高周波サブフレーム生成手段は、前記乗算手段の乗算結果を、前記入力手段で入力したフレームから減算することで、前記高周波サブフレームを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置であって、
   フレームを単位に動画像データを入力する入力手段と、
   該入力手段が入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ手段と、
   前記入力手段で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力手段で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
   前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備え、
   前記ローパスフィルタ手段は、
   前記隣接画素データの輝度値Ｘ１から、前記着目画素データの輝度値Ｘ２を減算する減算手段と、
   該減算手段の減算結果ｄ１と、予め設定された０以上の閾値Ｔｈとを比較する比較手段と、
   該比較手段の比較結果が、ｄ１≦Ｔｈを示す場合、前記着目画素データＸ２、前記隣接画素データＸ１を用いて、前記着目画素データＸ２に対するローパスフィルタ処理を行ない、
   該比較手段の比較結果が、ｄ１＞Ｔｈを示す場合、前記着目画素データＸ２、前記隣接画素データＸ１の代りとしての前記着目画素データＸ２を用いて、前記着目画素データＸ２に対するローパスフィルタ処理を行なう処理手段とを備える
   ことを特徴とする画像処理装置。
5. 前記高周波サブフレーム生成手段は、
   前記ローパスフィルタ手段で生成された低周波サブフレームを、前記入力手段で入力したフレームから減算して差分フレームを生成する差分フレーム生成手段と、
   該差分フレーム生成手段で生成した差分フレームを、前記入力手段で入力したフレームに加算する加算手段と
   を含むことを特徴とする請求項４に記載の画像処理装置。
6. 更に、前記ローパスフィルタ手段で生成された低周波サブフレームに１未満の正の乗算係数を乗算し、前記出力手段の選択対象として出力する乗算手段を備え、
   前記高周波サブフレーム生成手段は、前記乗算手段の乗算結果を、前記入力手段で入力したフレームから減算することで、前記高周波サブフレームを生成する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
   フレームを単位に動画像データを入力する入力工程と、
   該入力工程で入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ工程と、
   前記入力工程で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力工程で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
   前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程とを備え、
   前記ローパスフィルタ工程は、
   前記隣接画素データの輝度値Ｘ１から、前記着目画素データの輝度値Ｘ２を減算する減算工程と、
   該減算工程の減算結果ｄ１と、予め設定された０以上の閾値Ｔｈとを比較する比較工程と、
   該比較工程の比較結果が、ｄ１≦Ｔｈを示す場合、前記隣接画素データに乗算する乗算係数として、予め設定された正の乗算係数Ｖ０を選択し、
   前記比較工程の比較結果が、ｄ１＞Ｔｈであった場合、前記隣接画素データに乗算する乗算係数として、前記乗算係数Ｖ０よりも小さい、正の乗算係数Ｖ１を選択する選択工程とを備える
   ことを特徴とする画像処理装置の制御方法。
8. 単位時間当たりＦ個のフレームで構成される動画像データを、単位時間当たり２Ｆ個のサブフレームで構成される動画像データに変換する画像処理装置の制御方法であって、
   フレームを単位に動画像データを入力する入力工程と、
   該入力工程で入力したフレーム中の着目画素データと当該着目画素データに隣接する隣接画素データに、それぞれ乗算係数を乗算し、乗算した結果を加算することで、低周波サブフレームを生成するローパスフィルタ工程と、
   前記入力工程で入力したフレームから、高周波成分データを抽出し、当該高周波成分データを前記入力工程で入力したフレームに加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
   前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程とを備え、
   前記ローパスフィルタ工程は、
   前記隣接画素データの輝度値Ｘ１から、前記着目画素データの輝度値Ｘ２を減算する減算工程と、
   該減算工程の減算結果ｄ１と、予め設定された０以上の閾値Ｔｈとを比較する比較工程と、
   該比較工程の比較結果が、ｄ１≦Ｔｈを示す場合、前記着目画素データＸ２、前記隣接画素データＸ１を用いて、前記着目画素データＸ２に対するローパスフィルタ処理を行ない、
   該比較工程の比較結果が、ｄ１＞Ｔｈを示す場合、前記着目画素データＸ２、前記隣接画素データＸ１の代りとしての前記着目画素データＸ２を用いて、前記着目画素データＸ２に対するローパスフィルタ処理を行なう処理工程とを備える
   ことを特徴とする画像処理装置の制御方法。
9. コンピュータに読込ませ、実行させることで、前記コンピュータを請求項１乃至６のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images