JP2006031003A - サブピクセルサンプリングおよび視覚のエラー補償を使用しているディスプレイ解像度を改善するための方法とシステム - Google Patents

Abstract

【課題】 可視エラーを用いて、高解像度画像を好適に低解像度画像に変換する方法を提供する。
【解決手段】 本発明の方法は以下を含む。サブピクセルサンプリングシミュレーション（７２）は、サブピクセルサンプリングの結果として高解像度画像に導入されるエラーを決定する高解像度画像（７０）に実行される。このエラーは、エラー画像を作成するために高解像度画像から分離され得る。エラー画像は、不可視エラーを取り除くために視覚モデル（７６）を用いて修正され得、それによって可視エラー画像を作成する。視覚エラー画像は、次いで、高解像度画像と結合し得て補償画像（８２）を作成し、サブピクセルサンプリング（８０）が起こるときに、その後のサブピクセルサンプリングの結果として、補償画像は導入されるエラーを実質的にキャンセルする。
【選択図】 図８

Description

（関連出願の参照）
本出願は、Ｓｃｏｔｔ Ｊ．Ｄａｌｙによる発明で２０００年１２月１２日に出願された米国特許出願シリアルナンバー０９／７３５，４５４の継続出願であり、本出願はまた、Ｄｅａｎ Ｍｅｓｓｉｎｇ、Ｓｃｏｔｔ Ｊ．Ｄａｌｙ、Ｒａｊｅｓｈ Ｒｅｄｄｙ Ｋｏｖｖｕｒｉによる発明で２００３年５月２７日に出願された米国特許出願シリアルナンバー１０／４４７、１８６の継続出願であり、両出願は２０００年６月１２日に出願された米国仮特許出願番号６０／２１１、０２０の利益を主張する。

本発明の実施形態は、より低い解像度を用いてディスプレイに高解像度画像を表示する分野に関連する。この場合、ディスプレイは、画像のＲ，Ｇ，Ｂ構成成分を表示するためにトライアドを用いる。このトライアドは、たとえば、直視型ＬＣＤディスプレイにおいて一般的であり、そのような配置においては、単一ピクセルが３つの隣り合うサブピクセルを構成する。サブピクセルはそれぞれ３原色（つまり、Ｒ，Ｇ，Ｂ）の１つのみを制御し、通常デジタル画像表示の原色によって単独的に制御される。高解像度画像は、記憶装置において、またはアルゴリズム（ベクトル・グラフィックス、いくつかのフォント設計、コンピュータグラフィックス）から直接的に、利用可能であり得る。

より低い解像度ディスプレイに高解像度を表示するのに用いられるもっとも一般的な方法は、図１に示されるように、高解像度４のピクセル２を低解像度ディスプレイ６の解像度にサンプリングすることである。そして、ダウンサンプルされたそれぞれのカラーピクセル８の値Ｒ，Ｇ，Ｂは、各ディスプレイピクセル１６の別々のＲ，Ｇ，Ｂ要素１０，１２，１４にマッピングされる。これらの、ディスプレイピクセルのＲ，Ｇ，Ｂ要素１０，１２，１４はまた、サブピクセルと呼ばれる。ディスプレイ装置は、カラー要素のオーバーラップが不可能なのでサブピクセルのみが３つのＲ，Ｇ，Ｂカラーのうち１つを獲得できるが、カラーの振幅は全体のグレースケール範囲（たとえば、０〜２５５）を通して変わる。サブピクセルは通常１：３のアスペクト比（幅：高さ）を有する結果、ピクセル１６は正方形になる。サブサンプリング／マッピング技術は、ディスプレイのＲ，Ｇ，Ｂサブピクセルが空間的に変位される事実を考慮に入れない。実際、それらのサブピクセルは、高解像度画像にあるのと同様にオーバーラップしていると考えられる。このサンプリングのタイプは、サブサンプリング、または従来のサブサンプリングと呼ばれ得る。

高解像度画像４のピクセルは３つのわずかにオフセットして積み重ねられた正方形８として示され、ＲＧＢ値が同一の空間的位置（つまり、ピクセル）と関連していることを示している。それぞれ１つのＲ，Ｇ，Ｂサブピクセル１０，１２，１４から成る１つのディスプレイピクセル１６が、暗い線を用いて図１のより低い解像度トライアドディスプレイ６の一部として示されている。他のディスプレイピクセルがより明るいグレイ線で示されている。

この例では、高解像度画像はディスプレイより３倍多い解像度を有する（平行および垂直の両方向において）。この直接サブサンプリング技術はエイリアシングアーティファクトの原因となるため、たとえば、サンプリングされたピクセルを用いて隣接するサンプリングされていないピクセルを平均する、などのさまざまな方法が用いられる。ここで留意すべきは、サブサンプリングしながら隣接する要素を平均化するという一般的な技術は、矩形（ｒｅｃｔ）フィルタを用いて高解像度画像をプレフィルタリングすることと数学的に等しいということである。また留意すべきは、一番左のピクセル（この図に示される）と異なるピクセルを選択する技術は、位相のみに影響を及ぼすプレフィルタリングと考えられるという点である。このように、エイリアシング防止に関連する処理のほとんどは、たとえカーネル（核）がサンプルされたピクセル位置のみに適用されたとしても、高解像度へのフィルタリング動作と考えられる。

前述の技術は潜在的なディスプレイ解像度を利用しないということが認識される。この分野の背景情報は、Ｒ．Ｆｉｅｇｅｎｂｌａｔｔ著（１９８９年）「Ｆｕｌｌ ｃｏｌｏｒ ｉｍａｇｉｎｇ ｏｎ ａｍｐｌｉｔｕｄｅ ｃｏｌｏｒ ｍｏｓａｉｃ ｄｉｓｐｌａｙｓ」 Ｐｒｏｃ．ＳＰＩＥ Ｖ．１０７５，１９〜２０５；およびＪ．Ｋｒａｎｚおよび Ｌ．Ｓｉｌｖｅｒｓｔｅｉｎ著（１９９０年）「Ｃｏｌｏｒ ｍａｔｒｉｘ ｄｉｓｐｌａｙ ｉｍａｇｅ ｑｕａｌｉｔｙ：Ｔｈｅ ｅｆｆｅｃｔｓ ｏｆ ｌｕｍｉｎａｎｃｅ ａｎｄ ｓｐａｔｉａｌ ｓａｍｐｌｉｎｇ，」、ＳＩＤ Ｓｙｍｐ．Ｄｉｇｅｓｔ ２９〜３２を参照することによって得ることができる。この２つの著書は参考文献としてここに援用される。

たとえば、図１に示されるディスプレイでは、ディスプレイピクセル１６解像度が高解像度画像（源画像）４の解像度の３分の１である一方、サブピクセル１０、１２および１４の解像度は、源（水平方向）のサブピクセルの解像度に等しい。このディスプレイが色に鈍感な者のみに用いられる場合、サブピクセルの空間的位置を利用することは可能である。このアプローチは以下の図２に示される。ここで、ディスプレイのＲ、Ｇ、Ｂサブピクセル１０、１２、１４は、高解像度画像の異なるピクセル１１、１３、１５の対応するカラーから取り込まれている。これによって、水平解像度は、ディスプレイピクセル解像度の３倍であるサブピクセル解像度であることが可能になる。

しかし、色に鈍感ではないディスプレイのビューアはどうであろう？つまり、ビューアの大多数である。幸いなことに、ディスプレイエンジニアは、完全な色覚を有する観察者でさえ、最高空間周波数では色に鈍感である。このことは以下の図３に示される。ここでは、人間の視覚系の理想的な空間周波数反応を示している。

ここで、輝度１７は表示された画像のアクロマティック接触に関連し、クロミナンス１９はカラー含有に関連している。カラー含有は赤〜緑および青〜黄からの同等の輝きとして視覚系によって処理される。映像の色差信号Ｒ−ＹおよびＢ−Ｙはこれらの変調とおよそ等しい。ほとんどの観察者には、色周波数応答の帯域幅は輝度周波数応答の２分の１である。ときどき、青〜黄変調応答の帯域幅はより狭くなり、輝度のおよそ３分の１に減少する。異なる画像ピクセルからディスプレイピクセルトライアドのカラー要素のマッピングを構成するサンプリングは、サブピクセルサンプリングとして言及され得る。

図４を参照すると、ディスプレイの水平方向では、ディスプレイピクセル１６のナイキスト（ディスプレイピクセル＝トライアドピクセルで、トライアドピクセルあたり０．５サイクルでトライアドナイキストを提供する）およびサブピクセル要素１０、１２、１４のナイキスト周波数（サブピクセルあたり０．５サイクル＝トライアドピクセルあたり１．５サイクル）の間に周波数範囲が置かれている。この部分は図４で長方形部分２０として示されている。ディスプレイサンプルスペーシングに等しい幅を有するｒｅｃｔ（矩形）関数を用いて高解像度画像を巻き込む結果生じるｓｉｎｃ関数が薄い破線−点曲線２２として示される。これが、ディスプレイがＬＣＤの場合にディスプレイＭＴＦ（変調伝達関数）を変調するのにとられる最も一般的なアプローチである。

サブピクセルスペーシングに等しいｒｅｃｔを用いて高解像度源画像を巻き込む結果生じるｓｉｎｃ関数が、破線の曲線２４として示されている。これはより広い帯域幅を有する。これは、サブピクセルは１Ｄにおいてｒｅｃｔであるという考えのもと、ディスプレイによって課せられた制限である。示される長方形部分２０では、サブピクセルは輝度情報を表示できるが色情報は表示できない。実際、この部分での色情報は、エイリアスされている。このように、この部分に色エイリアシングを許容することで、トライアド（つまり、ディスプレイ）ピクセルよりもより高い周波数輝度情報を達成することができる。これはサブピクセルサンプリングを用いることで生じる「有利な」部分である。

フォントディスプレイを有するアプリケーションでは、図５に示されるように、白黒のフォントは典型的に前処理される。標準の前処理はヒンティングを含む。ヒンティングはピクセルの中心のフォントストロークの中心化に関連する。つまり、フォントストローク特異的位相シフトである。これは通常、低域通過フィルタリングに続いて起こる。低域通過フィルタリングはまたグレイスケールアンチエイリアス処理と呼ばれる。

図３に示される視覚周波数応答（ＣＳＦ）は理想化される。実際には、図６Ａに示されるように有限フォールオフ勾配を有する。輝度ＣＳＦ３０は、ｃｙ／ｄｅｇ単位からディスプレイピクセルドメイン（１２８０ピクセルの見える距離と想定する）にマッピングされる。これは、ピクセル（ディスプレイピクセル）あたり１．５ｃｙ近くの最大周波数を有する実線３０として示され、ピクセルトライアドあたり２ｃｙ近くのピークを有する帯域通過である。Ｒ：Ｇ ＣＳＦ３２が破線として示される。これは、ピクセルあたり０．５ｃｙ近くの最大周波数を有する低域通過である。Ｂ：Ｙ変調ＣＳＦ３４が、Ｒ：Ｇ ＣＳＦと同様の最大周波数を有する破線−点ＬＰＦ曲線として示されているが、より低い最大応答を有する。色度ＣＳＦ３２および３４の遮断周波数と輝度ＣＳＦ３０の間の範囲は、輝度帯域幅を改善するために色エイリアシングを許可する部分である。

図６Ａはまた、理想化した画像電力スペクトル３６を１／ｆ関数として示し、図で−１の勾配を有する直線として表される（図は対数軸を用いているため）。この範囲はサンプリング周波数で反復される。これらの反復は水平方向のピクセル３８およびサブピクセル４０のサンプリング率を示している。より低い周波数３８での発生はピクセルサンプリングによって起こり、より高い周波数４０での発生はサブピクセルサンプリングによって起こる。対数周波数軸にプロットするので形が変わるという点に留意すべきである。ナイキスト以下のより低い周波数にまで伸びるこれらの反復範囲の周波数はエイリアシングと呼ばれる。ピクセルサンプリング比のため、最も左は色エイリアシング３８である。その一方で、より高いサブピクセルサンプリング比に関係するのでより高い周波数で輝度エイリアシング４０が発生する。

図６Ａでは、源範囲にプレフィルタリングが適用されていない。したがって、ピクセルサンプリング（つまり、色エイリアシング）によるエイリアシングは低周波数３５にまで伸びている。このように、色ＣＳＦが輝度ＣＳＦよりも狭い帯域幅を有していたとしても、カラーアーチファクトは依然可視であり得る（ノイズおよびディスプレイのコントラストによる）。

図６Ｂでは、破線−点線２２として図４に示されていたプレフィルター（３つの源画像ピクセルに等しいｒｅｃｔ関数）を源電力スペクトルに適用した。そして、ピクセルあたり０．５ｃｙを過ぎたベースバンド範囲４２に影響を及ぼしているように見え、４４で見られる−１よりも急な勾配スロープを引き起こす。反復はまたこのプレフィルターの効果を示す。このフィルタを用いてさえも、２つの色ＣＳＦ ３２ａおよび３４ａの遮断周波数より低い周波数４６で色エイリアシング（より低い周波数で反復された範囲）がいくつか発生するのが見られる。このように、ピクセルあたり０．５ｃｙ（つまり、「有利な」部分）を過ぎたすべての輝度周波数を取り除かなければ、単純な輝度プレフィルタリングは色エイリアシングを取り除くのに困難であるのが見てとれるであろう。

「有利な」部分２０で輝度帯域幅を広げる輝度または色の関数としての帯域幅における視覚系の違いに依存しているため、視覚系モデルを基にプレフィルタリングを設計することが１つの可能性である。これは、ここに参考文献として援用され、図７に示される、Ｃ．Ｂｅｔｒｉｓｅｙら著（２０００年）”Ｄｉｓｐｌａｃｅｄ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｐａｔｔｅｒｎｅｄ ｄｉｓｐｌａｙｓ”、ＳＩＤ Ｓｙｍｐｏｓｉｕｍ ｄｉｇｅｓｔ、２９６〜２９９に記載されている。

この技術は、カラー層の種類および画像がサンプリングされるカラーサブピクセルによって異なるフィルタを理想的に用いる。つまり９つのフィルタがある。これは、人間の視覚差異モデルを用いて設計された。このことは、ここに援用され、図７に示される、次の著作に記載される：Ｘ．ＺｈａｎｇおよびＢ．Ｗａｎｄｅｌｌ著（１９９６年）”Ａ ｓｐａｔｉａｌ ｅｘｔｅｎｓｉｏｎ ｏｆ ＣＩＥＬＡＢ ｆｏｒ ｄｉｇｉｔａｌ ｃｏｌｏｒ ｉｍａｇｅ ｒｅｐｒｏｄｕｃｔｉｏｎ”、ＳＩＤ Ｓｙｍｐ．Ｄｉｇｅｓｔ ７３１−７３４。これは、画像は常に白黒であるという想定のもと、オフラインで行われた。最終的な実行段階で、結果として生じるフィルタではなくｒｅｃｔ関数が用いられ、計算を保存する。さらに、依然としていくつかの残留色エラーが見られるのは、色エイリアシングが色ＣＳＦ遮断（図６Ｂに見られるように）よりも低い周波数にまで伸びているからである。

しかしながら、用いられる視覚モデルは、輝度が中〜高のコントラストレベルの時に、輝度によって色のマスキングを引き起こす視覚系のプロパティのマスキングを考慮に入れていない。それゆえ、フォントのエッジに沿って設置されるより大きなフォントの色アーチファクトは、フォントの高輝度コントラストによってマスクされる。しかしながら、フォントサイズが縮小されるとフォント輝度が減少し、同一の色アーチファクトは非常に可視的になる（たとえば非常に小さなフォントでも、フォントのｂ／ｗ部分はなくなり、ローカライズされたカラースペックルのみが残される）。

本発明の実施形態は、フィルタリングおよびその線形性の想定にほとんど依存しない方法およびシステムを構成する。これらの実施形態は、さまざまなフォントストロークまたは他の画像特性を特定的にローカライズした位相を考慮に入れている。本発明の実施形態の方法は補償を基にしていて、信号が画像に加えられ、画像がサブピクセルアドレシングによって引き起こされる色エラーを無効にする。いくつかの実施形態では、より低い周波数色アーチファクトのみが無効にされる。なぜなら、図６Ａに示されるように、高周波アーチファクトは色ＣＳＦのより低い帯域幅によって見えないからである。

本発明の実施形態は、ディスプレイが設計された仕様より近くで見られない場合には、特に、より高い解像度輝度信号を提供し、色エイリアシングの視感度は減少する。さらに、本発明のモデルは、白黒源画像またはテキスト文書の使用に制限されていない。これらの方法は通常カラー画像の水平解像度を高める。また、より進んだ実施形態を使用することで、人間のマスクングの視覚効果が考慮に入れられ、高コントラスト輝度エッジ近くのより多くの色エイリアシングが使用できることでより高い輝度エッジがいっそう高められる。

本発明の実施形態は、元の高解像度画像をより正確に表すより低い解像度画像を生じるエラー減少方法によって、高解像度画像をより低い解像度画像に変換させる。高解像度画像は、サンプリングシミュレーションでサンプリングされ、サブピクセルサンプリングによって生じる可視エラーをシミュレートすることがあり得る。サンプリングはシミュレートされるのみであるため、解像度は変化する必要がない。エラーが決定されると、エラーは元の画像から引かれてエラー画像を作る。それから、エラー画像から不可視検知可能情報を取り除くために視覚モデルが用いられ得て、可視エラーを表す修正されたエラー画像を作る。

それからこの補償画像が元の画像に加えられ得ることによって、そのエラーが元の画像に加えられる。そのエラーは引き続いてサブピクセルサンプリングの間取り除かれる。補償画像は、次いでサブピクセルサンプリング処理を用いてサンプリングされる。サブピクセルサンプリング処理では、処理の結果、および改善されたより低い解像度画像の結果によって加えられたエラーが取り除かれる。
（項目１）
画像を再サンプリングする方法であって、
ａ）該画像の輝度の少なくとも６０％を備える該画像のチャンネルを提供するステップと、
ｂ）該チャンネルのより高い周波数輝度情報の少なくとも一部に対してより低い周波数輝度情報の少なくとも一部を減衰するステップと、
ｃ）該画像の輝度情報を再サンプリングするステップと
を包含する、方法。

（項目２）
上記輝度情報の再サンプリングの結果、より高い周波数色情報の少なくとも一部に対してより低い周波数色情報の少なくとも一部を減衰することをさらに包含する、項目１に記載の方法。

（項目３）
画像を再サンプリングする方法であって、
（ａ）該画像の輝度情報を再サンプリングするステップであって、該輝度情報は該画像の輝度の少なくとも６０％である、ステップと、
（ｂ）該輝度情報の再サンプリングの結果、より高い周波数色情報の少なくとも一部に対してより低い周波数色情報の少なくとも一部を減衰するステップと
を包含する、方法。

（項目４）
上記輝度情報を再サンプリングすることがピクセルの再サンプリングを含む、項目３に記載の方法。

（項目５）
上記減衰することが高域通過フィルタを用いることである、項目３に記載の方法。

（項目６）
上記輝度情報を再サンプリングすることにより、２つの色チャンネルを生じる結果となり、該色チャンネルのそれぞれは異なる様態で減衰する、項目３に記載の方法。

（項目７）
複数のチャンネルを備えた画像を再サンプリングする方法であって、該複数のチャンネルの第１のチャンネルは、該画像の輝度の少なくとも６０％を備える輝度成分を有し、該複数のチャンネルの第２のチャンネルは、色成分を有し、該方法は、
（ａ）該画像の該第１のチャンネルを再サンプリングするステップと、
（ｂ）該画像の該第１のチャンネルの再サンプリングの結果、高い周波数色情報の少なくとも一部に対してより低い周波数色情報の少なくとも一部を減衰するステップと、
（ｃ)該画像の該第２のチャンネルを再サンプリングするステップと
を包含する方法。

（項目８）
上記輝度成分が上記画像の輝度の少なくとも７０％を備える、項目７に記載の方法。

（項目９）
上記輝度成分が上記画像の輝度の少なくとも８０％を備える、項目７に記載の方法。

（項目１０）
上記輝度成分が上記画像の輝度の少なくとも９０％を備える、項目７に記載の方法。

（項目１１）
上記複数のチャンネルがカラーの異なるチャンネルである、項目７に記載の方法。
（要約）
本発明の実施形態は、減少した可視エラーを用いて、高解像度画像を低解像度画像に変換するシステム及び方法提供する。これらのシステム及び方法は以下を含む：サブピクセルサンプリングシミュレーションは、サブピクセルサンプリングの結果として高解像度画像に導入されるエラーを決定する高解像度画像に実行される。このエラーは、不可視エラーを取り除くために視覚モデルを用いて修正され得ることで可視エラーイメージを作成する、エラー画像を作成するために高解像度画像から分離され得る。視覚エラー画像は、それから、高解像度画像と結合し得て補償画像を作成し、サブピクセルサンプリングが起こるときに、その後のサブピクセルサンプリングの結果として、補償画像は導かれるエラーを実質的にキャンセルする。

本発明の好ましい実施形態は、同様の番号が同様の部分を示す図を参照することでもっともよく理解される。

一般的にここに図示されるように、本発明の構成成分は多様な異なる構成で配置され設計されるということが容易に理解される。このように、本発明の方法およびシステムの実施形態の以下の詳細は、発明の範囲を制限する意図はなく、発明の現在の好ましい実施形態の代表的なものに過ぎない。

本発明の実施形態の要素は、ハードウエア、ファームウエアおよび／またはソフトウエアに具体化され得る。ここに開示される例示的な実施形態はこれらの形の１つを記載するのみであり得て、当業者は、本発明の範囲内にとどまりながらも、これらの形式のいずれにおいてもこれらの要素を達成することができるであろうということを理解するべきである。

本発明のいくつかの実施形態は図８に示されるブロック図で要約される。ここでは、ＲＧＢ高解像度画像７０のような高解像度画像が修正される。高解像度画像７０はサブピクセルサンプリングシミュレーション７２でサンプリングされ、サブピクセルサンプリングによって引き起こされる可視エラーがシミュレートされる。サンプリングはシミュレートされるのみなので、解像度は変化しない。エラーが確認されると、エラーは元の画像７０から引かれる（７４）。次いで、視覚モデル７６は、可視エラーを表す修正されたエラー画像を作るエラー画像から、検知不可情報を取り除く。この修正されたエラー画像は、補償画像（ｃｏｍｐｅｎｓａｔｅｄ ｉｍａｇｅ）と呼ばれ得、源画像７０の０〜２５５Ｒ、Ｇ、Ｂ範囲に限定されていない。なぜなら、マイナス値の使用を認めるからである。

次いで、補償画像は元の画像７０に加えられ、それによって元の画像７０に、サブピクセルサンプリングの間に取り除かれるエラーを加える。補償画像８２は、次いでサブピクセルサンプリング処理８０を用いてサンプリングされる。サブピクセルサンプリング処理８０では、処理の結果、および改善されたより低い解像度画像の結果、加えられたエラーが取り除かれる。

サブピクセルサンプリングによって引き起こされる可視エラーがシミュレートされ、次いで高解像度源画像から切り離されることが、主要な観点である。シミュレーションは、より高い解像度源画像と同じ解像度で維持される。サブピクセルサンプリング処理によってそのようなエラーが加えられると、最終画像で無効にされる。

本発明の実施形態の方法は、より低い周波数で発生する色エイリアシングを無効にする。色エイリアシング周波数はもともと非常に高いので、ナイキストで非常に低い周波数にフォールドオーバーする。色エイリアシング周波数は最も可視的なので、主要な懸念事項の１つである。

本発明の実施形態の視覚モデル７６は、Ｂｅｔｒｉｓｅｙアプローチで用いられる周知のモデルとは異なる形態である。Ｂｅｔｒｉｓｅｙのような周知のモデルにおいて、視覚モデルは、２つの画像が入力され、出力は視覚差異が発生する場所を示す画像であるという、異なった距離関数（ｍｅｔｒｉｉｃ）である。Ｂｅｔｒｉｓｅｙアプローチでは、この可視差異の画像は二乗の形態で積分され、単一の距離関数に到達する。これらの周知のモデルは次に記載される；Ｘ．ＺｈａｎｇおよびＢ Ｗａｎｄｅｌｌ著（１９９６年）、「Ａ ｓｐａｔｉａｌ ｅｘｔｅｎｓｉｏｎ ｏｆ ＣＩＥＬＡＢ ｆｏｒ ｄｉｇｉｔａｌ ｃｏｌｏｒ ｉｍａｇｅ ｒｅｐｒｏｄｕｃｔｉｏｎ」，ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ７３１−７３４；Ｃ．Ｂａｔｒｉｓｅｙら著（２０００年）、「Ｄｉｓｐｌａｃｅｄ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｐａｔｔｅｒｎｅｄ ｄｉｓｐｌａｙｓ」、ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ、２９６−２９９；Ｓ．Ｄａｌｙ著（１９９３年）、「Ｖｉｓｉｂｌｅ Ｄｉｆｆｅｒｅｎｃｅｓ Ｐｒｅｄｉｃｔｏｒ」、Ｃｈ．１４ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ ａｎｄ Ｈｕｍａｎ Ｖｉｓｉｏｎ、Ａ．Ｂ．Ｗａｔｓｏｎ（編）、ＭＩＴ Ｐｒｅｓｓ。これらの文献は本明細書中に援用される。

しかしながら、本発明の実施形態では、視覚モデル７６の形態は、目にとって可視ではない画像内容を除去する。したがって、視覚モデルは画像間の可視差異を算出せずに、むしろ、単一画像に作用する。これを達成する１つの方法は、適切なＣＳＦによるフィルタリングとしきい値によるコアリングである。図８では、視覚モデル７６が一般的な形態で示されている。

図９を参照すると、本発明の方法は、ヒンティングや低域通過フィルタといったより従来的な技術などの標準的前処理方法８４と共に使用される。標準的前処理方法８４が実行されると、画像は標準的前処理方法がない方法と同様に処理される。つまり、高解像度画像７０が前処理（８４）された後、サブピクセルサンプリングシミュレーション７２においてサンプリングされて、サブピクセルサンプリングによって生じる可視エラーをシミュレートする。エラーが確認されると、エラーは元の画像７０から引かれる（７４）。それから、視覚モデル７６はエラー画像から検出不可情報を取り除き、可視エラーを表す修正エラー画像を作る。そして、補償画像が元の画像７０に加えられることで、実際のサブピクセルサンプリング８０の間に取り除かれるエラーを加える。補償画像８２は、次いでサブピクセルサンプリング処理８０を用いてサンプリングされる。サブピクセルサンプリング処理８０では、処理の結果、および改善されたより低い解像度画像の結果、加えられたエラーが取り除かれる。

視覚モデル７６の多くの実施形態は、本発明の実施形態と共に用いられ得る。図１０を参照すると、本発明の第１の実施形態が説明されている。高解像度画像７０が処理されている。画像７０は、必要に応じてユーザーによって前処理８４され得るか、または前処理なしに直接処理され得る。画像７０はサブピクセルサンプリングシミュレーション７２に伝わり、サブピクセルサンプリングに関連するエラーが決定される。それからエラーが元の画像７０から引かれ（７４）、エラー画像が生成され、視覚モデル７６を介して処理される。この実施形態において、視覚モデル７６はＲＧＢからＬＡＢへの変換９０を含む。変換９０の結果、３つのチャンネルで表現される画像が生じ、それによって、色特性から輝度特性を切り離す。いくつかのカラーモデルが使用され得る一方で、ＣＩＥＬＡＢモデルは例示的であり、このシンプルな実施形態では同等のモデルが好まれる。線形Ｙ、Ｒ−Ｙ、Ｂ−Ｙ信号を用いるよりシンプルな実施形態もまた可能である。

エラー画像が変換されると、輝度チャンネル９２、色チャンネル９４および９６はフィルターにかけられ、エラー画像から不可視エラーが取り除かれる。好ましい実施形態では、これらのフィルタリング作動は典型的にフィルタリングと空間的コアニング動作を備え、振幅が見えないほど小さいローカライズ化された周波数を取り除く。それぞれのチャンネルで異なるフィルターが使われ得る。所与のアプリケーションで必要とされるためフィルターにかけられないチャンネルもあるが、フィルタリングは一般的に周波数特定動作である。典型的に、輝度チャンネル９２は、色チャンネル９４および９６とは別にフィルタにかけられる。

フィルタにかけられた後、チャンネル９２、９４および９６は、結合されて（９８）、サブピクセルサンプリングに関連する可視エラーを表す単一のＬＡＢフォーマット画像になる。このＬＡＢ可視エラー画像は、引き続いて再変換（１００）されてＲＧＢフォーマット可視エラー画像１０１に戻される。ＲＧＢ可視エラー画像１０１は、次いで元の画像７０と結合して（７８）、サブピクセルサンプリングを介して導入されたエラーを補償する、補償画像８２を形成する。次いで、この補償画像８２はサブピクセルサンプリング８０を用いてサンプリングされる。サブピクセルサンプリング８０では、加えられた可視エラー補償１０１はサンプリング処理で無効にされ、単純なサブピクセルサンプリングのみを介して作られた画像より少ないエラーを有するより低い解像度画像を生成する。

本発明の第２の実施形態では、図１１に示されているように、エッジ効果またはマスキングおよび周波数効果が処理される。通常、本発明の実施形態の方法は、ＲＧＢ高解像度画像１１０のような高解像度画像で実行される。前処理１１２は、本発明の実施形態の方法を適用する前に実行され得るが、要求されない。

高解像度画像１１０はサブピクセルサンプリングシミュレーション１１４に伝わる。サブピクセルサンプリングシミュレーション１１４は、サブピクセルサンプリングの間にサンプリングシミュレーションを実行し、元の画像と比較するためにサンプリングされた画像を元の解像度に変換することで導入されるエラーを決定する。サンプリングされ変換された画像は元の画像と比較され（１１６）、サブピクセルサンプリングに関連するエラーを決定する。このエラーは、元の画像から減算して、さらなる処理のため視覚モデル７６に送られるエラー画像１１８を作る。

視覚モデル７６内で、ＲＧＢまたは同様のフォーマットのエラー画像はＬＡＢまたは同様のフォーマットに変換され（１２０）、それによって輝度データを色データから分離させる。ＬＡＢのような輝度分離フォーマットに変換した後、輝度１２２、色１２４および１２６の別々のチャンネルは、他の実施形態のために上記されたように周波数に応じてフィルターにかけられる。

フィルタリング１２２、１２４および１２６の後に、本発明のこの実施形態はマスキングの可視特性、特に、輝度による色のマスキングを考慮に入れる。マスキング信号は、エラー画像からというよりは源画像１１０内容から得られる。源画像１１０は、輝度データが抽出される（１３０）ＬＡＢのような輝度分離フォーマットに変換（１２８）される。一部の実施形態においては、輝度チャンネル１３６のみがマスキングされるが、色チャンネル１３４および１３２もまたマスキングされ得る。マスキングは、ピクセルに関した（ｐｉｘｅｌ−ｗｉｓｅ）比較として、エッジ効果を生じるように実行される。コントラストはたとえば振幅差動信号で、Ｌ画像から全体のＬ画像の平均を引いたもので、その絶対値はコントラストに比例する。ある位置でのＬにおけるより高いコントラスト信号レベルは、同じ位置のＬ、Ｒ／Ｇ、Ｂ／Ｙ信号のより多いマスキングを生じる。マスキングは、ステップ１３０からのマスク信号出力によってこれらの信号を分離させ、次いでコアリングすることによってシミュレートされる。コアリングは、信号振幅の絶対値が特定のしきい値より小さくなる場合に、信号値がゼロに変化する処理である。

マスキングが生じると、分離されたチャンネルは１３８で結合して、ＬＡＢ１３８のような結合されたフォーマットに戻され、結合されたフォーマットファイルはそれから変換され（１４０）たとえばＲＧＢのような元の画像フォーマットに戻される。結果として生じる画像は、サブピクセルサンプリングに関連する可視エラー１４２を表す。

この結果として生じるエラー画像１４２は、引き続いて元の高解像度画像１４４と結合し、補償画像１４６を生成する。補償画像１４６では、実質的に同様の訂正が導入されるが、サブピクセルサンプリング間に導入されるエラーとは逆である。この補償画像１４６は、実際にサンプリングされ（１４８）、その結果、エラー訂正なしに直接サンプリングされた画像よりも少ないエラーを含むディスプレイ画像１５０が生じる。これは、サンプリング１４８の前に導入される（１４４）可視エラー（１４２）によって、サンプリングエラーが無効になるためである。

実際の視覚マスキング処理では、同様のマスク周波数近くの制限された範囲内また制限された空間的部分内の信号のみがマスクされるので、図１１に示されるように、本発明の第２の実施形態は、マスク効果をそのままモデル化できるのみである。しかしながら、エッジおよびラインからのみなる画像に対して１／ｆパワー（電力）スペクトルが想定され得る。このように特定の周波数および方向で、同じ方向でより高い周波数の信号成分はより少ない。このように、このアプローチはマスキングを過大評価するが、その結果、補償画像でより多くのエラーが生じるので、正味効果はより多くの色エイリアシングが必要以上に取り除かれる。この結果、輝度シャープネスは、より小さくなるが、マスキングを用いない方法よりは依然として大きい。

図１２を説明する。図１２は複数の周波数チャンネルを用いてより正確にマスキングを予測できるより完全な視覚モデルを用いる本発明の第３の実施形態である。４つのチャンネルのみが示されているが、それらの実際の数は多いことも少ないこともあり得て、典型的に帯域通過で方向が制限されている。例示的なチャンネルが、Ｓ．Ｄａｌｙ（１９９３年）、「Ｖｉｓｉｂｌｅ Ｄｉｆｆｅｒｅｎｃｅｓ Ｐｒｅｄｉｃｔｏｒ」、Ｃｈ．１４ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ ａｎｄ Ｈｕｍａｎ Ｖｉｓｉｏｎ Ａ．Ｂ．Ｗａｔｓｏｎら(編）、ＭＩＴ Ｐｒｅｓｓ；Ｊ．Ｌｕｂｉｎ（１９９５年）、「Ａ Ｖｉｓｕａｌ Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ Ｍｏｄｅｌ ｆｏｒ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ」、Ｃｈ．１０ Ｖｉｓｉｏｎ Ｍｏｄｅｌｓ ｆｏｒ Ｔａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ Ｅ．Ｐｅｌｉ(編） Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｒｅｓｓに記載され、これらの文献は本明細書中で援用される。このバージョンは処理集中的であるが、計算技術の高まりによってより実用的になり得る。

第３の本実施形態では、高解像度画像１１０は、サブピクセルサンプリングシミュレーション（１１４）の前に随意的に前処理（１１２）され得る。既に記載された実施形態におけるように、サブピクセルサンプリングシミュレーション１１４は、サブピクセルサンプリングから導入されるエラー１１８を決定するのに用いられる。このエラー画像は、元の画像解像度において「処理された後の」画像と元の画像１１０を直接比較する画像から抽出される（１１６）。通常、より低い解像度の「処理された後の」画像は、比較のために解像度において増大される。このエラー画像１１８が獲得されると、エラー画像１１８は本実施形態の視覚モデル１５１で処理され得る。

他の実施形態におけるように、エラー画像１１８はＲＧＢまたは同様のフォーマットからＬＡＢ１５２などの輝度分離フォーマットに変換される。このタイプのフォーマットを用いることで、輝度および色データはチャンネルに分離され、各チャンネルはフィルタバンク分割１５４，１５６，１５８を用いて周波数範囲に分割される。各チャンネル内のそれぞれの周波数範囲は、次いで帯域スケーリング１６０，１６２，１６４を用いてフィルタにかけられる。

エッジ効果もまた次のように生じる。元の源画像をＬＡＢ１６６のような輝度分離フォーマットに変換させ、その後、源画像１１０から輝度チャンネル１６８をフィルタバンク分割することによる。一般的に、分離された色チャンネル１６５は、マスキング処理で使用されない。その後のフィルタバンク分割１６８で、周波数範囲は、メインエラー画像チャンネル１６０，１６２，１６４で実行されるように、帯域スケーリングまたは同様の手順を介して、フィルタリングされる。輝度チャンネル帯域スケーリング１７０を介して生成されるこれらの信号は、さまざまな輝度および色チャンネル１７２、１７４および１７６をマスキングするのに使用され得る。マスキング計算は図１１に関連する記載に類似するが、本実施形態の計算では、特定の周波数帯域からのマスキング信号は、エラー画像の対応する周波数帯域に影響を及ぼすのみである。

それぞれのチャンネルのそれぞれの周波数範囲へのマスキングが完了すると、チャンネルは結合されて（１７８）、標準的ＬＡＢまたは同様のフォーマットファイルを形成し得る。この結合されたファイルは、次いでＲＧＢ１８０のような元の画像フォーマットに変換され戻され得る。このＲＧＢまたは同様のファイル１８０は、サブピクセルサンプリング間に導入された可視エラーを表す。可視エラー１８０は続いて元の高解像度源ファイル１１０から引かれるか（１８８）、そうでなければ元の高解像度源ファイル１１０を考慮し、それによって補償画像１８２が生成される。

補償画像１８２がサブピクセルサンプリング１８４を介して伝わるとき、サンプリング処理に導入されるエラーは、元の画像１１０に結合される（１８８）可視エラーを無効にし、訂正なしに直接サンプリングされる画像よりも少ないエラーを有するディスプレイ画像１８６を生じる。この第３の実施形態は、輝度によって色度のマスキングを提供するマルチチャンネル性能を有するより正確な視覚モデルを用いる。

本発明は、本発明の精神または基本的な特性から逸脱することなく他の特定の形態で具体化され得る。記載された実施形態は、例証されたすべての観点で考慮されるべきであって、限定的に考慮されるべきではない。それゆえ、発明の範囲は、前述の記載ではなく、付属の請求項によって示される。請求項と均等の意味および範囲内の変更のすべてはそれらの範囲内に包含されるべきである。

トライアドピクセル構成を有する表示に従来の画像サンプリングを示す図である。 トライアドピクセル構成を有する表示にサブピクセル画像サンプリングを示す図である。 デジタル周波数平面にマッピングされた理想的なＣＳＦを示すグラフである。 ピクセルナイキストおよび有利な部分を示すサブピクセルナイキスト部分の分析を示すグラフである。 典型的な前処理技術を示す。 ピクセルサンプリングで反復される１／ｆ電力スペクトルおよびサブピクセルサンプリング周波数を用いる分析を示すグラフである。 ピクセルサンプリングで反復される１／ｆ電力スペクトルおよび前処理によって改善されたサブピクセルサンプリング周波数を用いる分析を示すグラフである。 視覚モデルの周知の使用を示すブロック図である。 本発明の包括的な実施形態を示すブロック図である。 前処理を使用する本発明の実施形態を示すブロック図である。 分離した輝度および色チャンネルのフィルタリングを用いる本発明の実施形態を示すブロック図である。 輝度による色度のマスキングを利用する視覚モデルを用いる本発明の実施形態のブロック図である。 より正確なマルチチャンネル、分割された周波数範囲視覚モデルを備える輝度による色度のマスキングを利用する視覚モデルを用いる本発明の実施形態のブロック図である。

符号の説明

７０ 高解像度画像
７２ サブピクセルサンプリングシミュレーション
７６ 視覚モデル（不可視エラーの除去）
８０ サブピクセルサンプリング
８２ 補償画像

Claims (11)

1. 画像を再サンプリングする方法であって、
   ａ）該画像の輝度の少なくとも６０％を備える該画像のチャンネルを提供するステップと、
   ｂ）該チャンネルのより高い周波数輝度情報の少なくとも一部に対してより低い周波数輝度情報の少なくとも一部を減衰するステップと、
   ｃ）該画像の輝度情報を再サンプリングするステップと
   を包含する、方法。
2. 前記輝度情報の再サンプリングの結果、より高い周波数色情報の少なくとも一部に対してより低い周波数色情報の少なくとも一部を減衰することをさらに包含する、請求項１に記載の方法。
3. 画像を再サンプリングする方法であって、
   （ａ）該画像の輝度情報を再サンプリングするステップであって、該輝度情報は該画像の輝度の少なくとも６０％である、ステップと、
   （ｂ）該輝度情報の再サンプリングの結果、より高い周波数色情報の少なくとも一部に対してより低い周波数色情報の少なくとも一部を減衰するステップと
   を包含する、方法。
4. 前記輝度情報を再サンプリングすることがピクセルの再サンプリングを含む、請求項３に記載の方法。
5. 前記減衰することが高域通過フィルタを用いることである、請求項３に記載の方法。
6. 前記輝度情報を再サンプリングすることにより、２つの色チャンネルを生じる結果となり、該色チャンネルのそれぞれは異なる様態で減衰する、請求項３に記載の方法。
7. 複数のチャンネルを備えた画像を再サンプリングする方法であって、該複数のチャンネルの第１のチャンネルは、該画像の輝度の少なくとも６０％を備える輝度成分を有し、該複数のチャンネルの第２のチャンネルは、色成分を有し、該方法は、
   （ａ）該画像の該第１のチャンネルを再サンプリングするステップと、
   （ｂ）該画像の該第１のチャンネルの再サンプリングの結果、高い周波数色情報の少なくとも一部に対してより低い周波数色情報の少なくとも一部を減衰するステップと、
   （ｃ)該画像の該第２のチャンネルを再サンプリングするステップと
   を包含する方法。
8. 前記輝度成分が前記画像の輝度の少なくとも７０％を備える、請求項７に記載の方法。
9. 前記輝度成分が前記画像の輝度の少なくとも８０％を備える、請求項７に記載の方法。
10. 前記輝度成分が前記画像の輝度の少なくとも９０％を備える、請求項７に記載の方法。
11. 前記複数のチャンネルがカラーの異なるチャンネルである、請求項７に記載の方法。

Images