JP6101817B2 - 画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像を高画質化する方法に関し、より詳しくは、スパース表現を利用した学習型の画像高画質化方法を実行する画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラムに関する。

画像を表示する際等、画像を扱う際には、画像を拡大することがある。単純に画素数を増やして画像を拡大した場合は、解像度が低下し、画質が劣化するという問題が発生する。この問題を解決するために、画像を高画質化する技術が開発されている。例えば、学習型超解像の技術が開発されている。学習型超解像の技術では、低画質の画像と高画質の画像との対応関係を予め学習させた辞書を作成しておき、実際の低画質の画像に対応する高画質の画像を辞書から抽出することで画像を高画質化する。

学習型超解像の一手法として、非特許文献１には、スパース表現を利用した学習型の画像高画質化方法が開示されている。非特許文献１では、以下のような手順によって画像高画質化を行っている。画像中の各画素を中心とした小領域（以下、パッチと言う）から輝度の高周波成分を抽出する。ここで、高周波成分とは、パッチ内の輝度分布の内で、所定の空間周波数以上の高周波で変化している成分である。抽出した輝度の高周波成分はパッチ内での輝度分布を示している。画質の劣化はダウンサンプリング又は拡大によって発生し、この画質の劣化は輝度の高周波成分に生じる。輝度の高周波成分は画像の特徴を表しているので、抽出した輝度の高周波成分を画像の特徴量とする。任意の画像の特徴量は、予め定められている複数の基礎的な特徴量の組み合わせで表すことができる。特徴量はベクトルで表現され、予め定められている複数の基礎的な特徴量を基底ベクトルという。任意の画像の特徴量は、複数の基底ベクトルの線形和で表される。低画質の基底ベクトルと高画質の基底ベクトルとの一対一の対応関係を予め学習しておき、学習した内容を記録した辞書データを作成しておく。画像の特徴量に基づき、特徴量を複数の低画質の基底ベクトルの線形和で表すための各基底ベクトルの係数を決定する。このとき、係数がゼロでない基底ベクトルの数を可及的に小さくするように係数を決定する。係数がゼロでない基底ベクトルの数を可及的に小さくすることをスパース表現という。高画質の基底ベクトルの夫々に、対応する低画質の基底ベクトルの係数を乗じ、係数を乗じた高画質の基底ベクトルの和を計算することにより、輝度の高周波成分を再構築する。再構築された高周波成分は、高画質の画像の輝度の高周波成分である。輝度の低周波成分と再構築された輝度の高周波成分とを組み合わせることにより、高画質の画像が生成される。

画像の特徴量は係数がゼロでない基底ベクトルの線形和で表されることになる。スパース表現を用いることにより、ほとんどの基底ベクトルの係数がゼロになるので、演算量が減少する。また、スパース表現によって、画像の特徴量は最も影響度の高い基底ベクトルによって表されるので、ノイズによって画像の特徴量が多少変動したとしても、選ばれる基底ベクトルは変わらない。従って、ノイズに対してロバストな結果が得られる。そこで、いかにしてスパース表現を実現するかが重要となる。

複数の基底ベクトルの集合をＤ、基底ベクトルの係数からなる係数行列をα、画像の特徴量をｙとする。ｍ及びｎを自然数として、Ｄはｍ行ｎ列の行列であり、αはｎ行１列の行列であり、ｙはｍ行１列の行列である。画像の特徴量を複数の基底ベクトルの線形和で表すので、Ｄα＝ｙが成り立つ。ｍ＝ｎである場合は、αの解が一意的に得られる。しかしながら、ここで得られたαの解は、スパースな解である保証は無い。また、ｍ＜ｎである場合は、αのＬ２ノルムが最小になる解を一般逆行列を用いた解法で得ることができる。しかしながら、この場合でも、スパースなαの解が得られる保証は無い。

非特許文献１では、Ｄα＝ｙを厳密な条件とするのではなく、Ｄα≒ｙであるαの中からよりスパースなαを選ぶことを行っている。具体的には、下記の（１）式で表される条件式を解く演算を行っている。

（１）式中の||・|| ₁ はＬ１ノルム、||・|| ₂ はＬ２ノルムであり、λはスパース制約項と呼ばれるパラメータである。（１）式の意味は、なるべく||α|| ₁ が小さく、かつ基底ベクトルの線形和と特徴量との差分が小さくなるように、αを求めよという意味である。｜α｜1 が可及的に小さくなるαは、スパースな解である。一般にＬ１ノルムの微分は困難であり、（１）式を解析的に解くことは困難である。非特許文献１では、反復法によって解を収束させることで（１）式の解を得ている。

Jianchao Yang, et al., "Image Super-Resolution Via Sparse Representation", IEEE Transactions on Image Processing, IEEE, 2010-11, vol.19, no.11, p.2861-2873

非特許文献１での反復法によって係数行列のスパースな解を得る方法は、リアルタイム性が要求されない状況では利用が可能である。しかしながら、画像を画像表示装置で表示する際に画像を拡大し、拡大した画像を高画質化する場合等、リアルタイム性が要求される場合には、処理の遅延が発生する。また処理の遅延を小さくするためには、処理を実行する回路のコストが増大する。従って、現状では、スパース表現を利用した学習型の画像高画質化方法は実用的でないという問題がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、スパースな解を求めるための処理量を削減することにより、スパース表現を利用した学習型の画像高画質化方法を実用的にした画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラムを提供することにある。

本発明に係る画像高画質化装置は、任意の画像内の高周波成分である特徴量をその線形和で表すことができる複数の第１特徴量を記憶している手段と、前記第１特徴量に対応する高画質の高周波成分を示す複数の第２特徴量を記憶している手段と、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算手段と、該係数計算手段が計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した高画質化画像の高周波成分を生成する手段とを備える画像高画質化装置において、前記係数計算手段は、前記複数の第１特徴量の内、前記画像の特徴量を線形和で表すための係数の値をゼロ以外の値にすべき第１特徴量の数を決定する決定手段と、前記複数の第１特徴量の中から、前記決定手段が決定した数の第１特徴量を選択する選択手段と、前記特徴量を前記線形和で表すための係数の内、前記選択手段が選択した第１特徴量以外の第１特徴量に乗じられる係数をゼロとし、前記選択手段が選択した第１特徴量に乗じられる係数を計算する手段とを有することを特徴とする。

本発明に係る画像高画質化装置は、任意の画像の特徴量と、該特徴量を前記複数の第１特徴量の総数よりも少数の第１特徴量の線形和で表すために必要な第１特徴量の数との対応関係を記憶している対応関係記憶手段を更に備え、前記決定手段は、前記対応関係に基づいて、前記高画質化対象の画像の特徴量に対応する第１特徴量の数を決定するように構成してあることを特徴とする。

本発明に係る画像高画質化装置は、前記対応関係記憶手段は、任意の画像に含まれるノイズの大きさ別に、前記対応関係を記憶してあり、前記決定手段は、前記高画質化対象の画像に含まれるノイズの大きさを計算する手段と、該手段が計算したノイズの大きさに応じた前記対応関係を特定する手段と、該手段が特定した前記対応関係に基づいて、前記画像の特徴量に対応する第１特徴量の数を決定する手段とを特徴とする。

本発明に係る画像高画質化装置は、前記対応関係記憶手段は、ノイズの大きさが大きいほど、任意の画像の特徴量に対応する第１特徴量の数が少数になるような対応関係を記憶していることを特徴とする。

本発明に係る画像高画質化装置は、低画質の基底ベクトルを複数記憶している手段と、前記低画質の基底ベクトルに対応している高画質の基底ベクトルを複数記憶している手段と、画像の特徴量を複数の前記低画質の基底ベクトルの線形和で表すための係数のスパースな解を計算する係数計算手段と、該係数計算手段が計算した係数を用いた前記線形和に含まれる前記低画質の基底ベクトルの夫々を対応する前記高画質の基底ベクトルに置き換えることにより、前記画像の高画質化画像を生成する手段とを備える画像高画質化装置において、前記係数計算手段は、複数の前記低画質の基底ベクトルの内で計算に用いる前記低画質の基底ベクトルの数を決定する決定手段と、複数の前記低画質の基底ベクトルの中から、前記決定手段が決定した数の低画質の基底ベクトルを選択する選択手段と、該選択手段が選択した低画質の基底ベクトル及び前記特徴量に基づいて係数を計算する手段とを有することを特徴とする。

本発明に係る画像高画質化装置は、前記高画質化対象の画像内の輝度分布の空間周波数成分の内で所定の空間周波数以上の高周波成分を抽出することにより、前記画像の特徴量を生成する手段と、前記決定手段が決定した数がゼロを超過する場合に、前記空間周波数成分の内で前記高周波成分よりも低周波の低周波成分を抽出する手段と、該手段が抽出した低周波成分と高画質化画像の特徴量とを足し合わせることにより、高画質化画像を生成する手段と、前記決定手段が決定した数がゼロである場合に、エッジ保存型フィルタにより前記高画質化対象の画像に含まれるノイズを除去する手段と、該手段によりノイズを除去した後の画像を、高画質化画像とする手段とを更に備えることを特徴とする。

本発明に係る画像高画質化装置は、任意の画像に含まれる所定のノイズの各画素での値と該値を有する画素数との関係を示すヒストグラムに基づいて、前記高画質化対象の画像の特徴量の各画素での値に相当する前記所定のノイズの値に応じた前記ヒストグラムでの画素数が大きいほどゼロに近づき、前記画素数が小さいほど１に近づくゼロ以上１以下の増幅率を計算する手段と、該手段が計算した増幅率を、前記高画質化対象の画像の特徴量の各画素での値に乗じる手段とを更に備えることを特徴とする。

本発明に係る画像高画質化装置は、前記所定のノイズはガウシアンノイズであることを特徴とする。

本発明に係る画像表示装置は、本発明に係る画像高画質化装置と、該画像高画質化装置が高画質化した画像を表示する手段とを備えることを特徴とする。

本発明に係る画像高画質化方法は、任意の画像内の高周波成分である特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の高周波成分を示す複数の第２特徴量を記憶しておき、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算し、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像の高周波成分を生成する画像高画質化方法において、前記複数の第１特徴量の内、前記画像の特徴量を線形和で表すための係数の値をゼロ以外の値にすべき第１特徴量の数を決定し、前記複数の第１特徴量の中から、決定した数の第１特徴量を選択し、前記特徴量を前記線形和で表すための係数の内、選択した第１特徴量以外の第１特徴量に乗じられる係数をゼロとし、選択した第１特徴量に乗じられる係数を計算することを特徴とする。

本発明に係るコンピュータプログラムは、任意の画像内の高周波成分である特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の高周波成分を示す複数の第２特徴量を記憶してあるコンピュータに、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算ステップと、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像の高周波成分を生成するステップとを実行させるコンピュータプログラムにおいて、前記係数計算ステップは、前記複数の第１特徴量の内、前記画像の特徴量を線形和で表すための係数の値をゼロ以外の値にすべき第１特徴量の数を決定するステップと、前記複数の第１特徴量の中から、決定した数の第１特徴量を選択するステップと、前記特徴量を前記線形和で表すための係数の内、選択した第１特徴量以外の第１特徴量に乗じられる係数をゼロとし、選択した第１特徴量に乗じられる係数を計算するステップとを含むことを特徴とする。

本発明においては、画像高画質化装置は、画像の特徴量から、特徴量を低画質の第１特徴量の線形和で表すための係数を計算し、計算した係数を用いて高画質の第２特徴量の線形和を計算して高画質化した画像を生成する。画像表示装置は高画質化した画像を表示する。このとき、画像高画質化装置は、複数の第１特徴量の中から係数をゼロでない値にする第１特徴量の数を決定し、決定した数の第１特徴量を選択し、選択した第１特徴量以外の第１特徴量の係数をゼロとして、係数を計算する。係数がゼロでない第１特徴量の数を少数に限定した上で係数を計算するので、少数の係数以外の係数をゼロにしたスパースな解を得ることができる。

また、本発明においては、画像高画質化装置は、任意の画像の特徴量とその特徴量を線形和で表すために必要な第１特徴量の数との対応関係を予め記憶しておき、処理対処の画像の特徴量に対応する第１特徴量の数を、係数がゼロでない第１特徴量の数とする。エッジを含まない場合等、画像の特徴量を線形和で表すために必要な第１特徴量の数が少ない場合に、係数がゼロでない第１特徴量の数をより少数に決定することで、よりスパースな係数行列の解を得ることができる。

また、本発明においては、画像高画質化装置は、特徴量と第１特徴量の数との対応関係をノイズの大きさ別に記憶しておき、処理対象の画像に含まれるノイズの大きさに応じた対応関係に基づいて、係数がゼロでない第１特徴量の数を決定する。ノイズの状況に応じて、係数がゼロでない第１特徴量の数を調整することができる。

また、本発明においては、画像高画質化装置は、ノイズの大きさが大きいほど第１特徴量の数が少数になるように、特徴量と第１特徴量の数との対応関係をノイズの大きさ別に記憶している。これにより、ノイズが大きいほど、係数がゼロでない第１特徴量の数が少数になる。ノイズが大きい場合には、ノイズの影響を受け難いよりスパースな係数行列の解を得ることができる。

本発明においては、画像高画質化装置は、画像の特徴量を低画質の基底ベクトルの線形和で表すための係数のスパースな解を計算し、計算した係数を用いて高画質の基底ベクトルの線形和を計算して高画質化した画像を生成する。このとき、画像高画質化装置は、計算に用いる基底ベクトルの数を決定し、決定した数の低画質の基礎ベクトルを選択し、選択した低画質の基底ベクトル及び画像の特徴量に基づいて係数を計算する。

また、本発明においては、画像高画質化装置は、係数がゼロでない第１特徴量の数がゼロでない場合に、第２特徴量の線形和で表した高画質の特徴量と画像の低周波成分とを足し合わせることにより、高画質化画像を生成する。また、画像高画質化装置は、係数がゼロでない第１特徴量の数がゼロである場合に、エッジ保存型フィルタによるノイズ除去を行った画像を高画質化画像とする。係数がゼロでない第１特徴量の数がゼロとなって、画像の特徴量を第２特徴量の線形和で表すことができない場合でも、画像中のエッジ又はテクスチャが消失しない。

また、本発明においては、画像高画質化装置は、画素単位で特徴量をノイズに応じて減衰させる。画素での特徴量がノイズである確率が高いほど、特徴量を大きく減衰させて、係数行列の解に対するノイズの影響を小さくする。また画素での特徴量がエッジ等のノイズ以外のものである確率が高いほど、特徴量の減衰を小さくする。このようにして、画像高画質化装置は、画素単位でノイズを除去する。

また、本発明においては、画像高画質化装置は、一般的なガウシアンノイズを画素単位で画像から除去する。

本発明にあっては、画像高画質化装置は、画像の特徴量を第１特徴量の線形和で表すための係数のスパースな解を計算する処理の量を減らすことができる。このため、係数の計算に必要な処理時間が短くなり、リアルタイム性が要求される場合であっても、画像の高画質化による処理の遅延が小さくなる。従って、スパース表現を利用した学習型の画像高画質化方法は十分に実用的となる等、本発明は優れた効果を奏する。

実施の形態１において係数行列αのスパースな解を計算する方法の概略を示す概念図である。 画像の特徴量と複数の基底ベクトルの関係とを概念的に表す模式図である。 係数行列の厳密解とスパースな解とを比較するための模式図である。 本発明に係る画像表示装置の内部の機能構成を示すブロック図である。 実施の形態１に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態１に係る画像高画質化装置が実行する画像高画質化の処理の手順を示すフローチャートである。 画像の特徴量と特徴量を線形和で表す基底ベクトルの数との関係を示す特性図である。 特徴量のＬ１ノルムと基底ベクトルの最大数との関係を示す特性図である。 実施の形態２に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態２に係る画像高画質化装置が実行する画像高画質化の処理の手順を示すフローチャートである。 実施の形態３に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態４に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態４に係る画像高画質化装置が実行する画像高画質化の処理の手順を示すフローチャートである。 実施の形態５に係る画像高画質化装置の内部の機能構成を示すブロック図である。 ヒストグラムｈ（ｆ）及び増幅率ξ（ｆ）の例を示す特性図である。 実施の形態２に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態６に係る画像高画質化装置が実行する画像高画質化の処理の手順を示すフローチャートである。 実施の形態７に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態６に係る画像高画質化装置が実行する画像高画質化の処理の手順を示すフローチャートである。 実施の形態８に係る画像高画質化装置の内部の機能構成を示すブロック図である。 実施の形態９に係る画像高画質化装置の内部の機能構成を示すブロック図である。

以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
（実施の形態１）
本実施の形態では、反復法を用いずに係数行列αのスパースな解を計算する。図１は、実施の形態１において係数行列αのスパースな解を計算する方法の概略を示す概念図である。本実施の形態では、辞書データに記録されているｎ個の基底ベクトルの中から、画像の特徴量に影響度の高いＴ個の基底ベクトルを選択する。ここで、Ｔ＜ｎである。次に、選択したＴ個の基底ベクトルを用いて、係数行列αの評価関数を最小にする解析解を計算することにより、係数行列αのスパースな解を計算する。

図２は、画像の特徴量ｙと複数の基底ベクトルの関係とを概念的に表す模式図である。ｍ行ｎ列の行列Ｄは、ｍ個の要素からなる基底ベクトルＤ＿ｉがｎ個集まったものであり（ｉ＝１〜ｎ）、特徴量ｙはｍ個の要素からなるベクトルである。図２には、簡易的に特徴量ｙと複数の基底ベクトルＤ＿ｉとを２次元平面上に示した。特徴量ｙと複数の基底ベクトルＤ＿ｉとは正規化されているとして、図２中には単位円を破線で示している。係数行列αの解を求めることは、ｎ個の基底ベクトルＤ＿ｉの中からいくつかの基底ベクトルＤ＿ｉを選択し、選択した基底ベクトルＤ＿ｉの線形和で特徴量ｙを表すことと同じである。このとき、特徴量ｙを表すために用いられる基底ベクトルＤ＿ｉの数が少ないほど、よりスパースな解となる。

図３は、係数行列αの厳密解とスパースな解とを比較するための模式図である。図中には、特徴量ｙを太い矢印で示し、基底ベクトルＤ＿ｉを細い矢印で示している。図３Ａは、係数行列αの厳密解を示している。特徴量ｙは複数の基底ベクトルＤ＿ｉの線形和で厳密に表されている。図３Ｂは、係数行列αのスパースな解を示している。スパースな解では、複数の基底ベクトルＤ＿ｉの線形和は厳密には特徴量ｙには一致しないものの、特徴量ｙを近似している。また、厳密解に比べて少数の基底ベクトルＤ＿ｉの線形和で特徴量ｙが表されている。スパースな解を得るためには、特徴量ｙのベクトルに近い基底ベクトルを選択すれば良いことが明らかである。本実施の形態では、画像の特徴量に影響度の高い基底ベクトルとして、特徴量ｙのベクトルに最も近いＴ個の基底ベクトルを選択する。具体的には、全ての基底ベクトルと特徴量ｙとの内積を計算し、内積の値が大きい方からＴ個の基底ベクトルを選択する。そして、選択した基底ベクトルの集合Ａを生成する。Ａはｍ行Ｔ列の行列である。

係数行列αの解析解を計算する段階では、||Ｄα−ｙ|| ₂ と||α|| ₂ とをコスト関数とみなした評価関数Ｊ(α)を定義し、Ｊ(α)を最小にする解を計算する。評価関数Ｊ(α)は下記の（２）式で定義される。

（２）式中のパラメータλは定数である。（１）式と（２）式とを比較すると、（１）式でのαのＬ１ノルムが、（２）式ではαのＬ２ノルムの二乗に置き換わっている。Ｊ(α)を最小にするαを求めれば、なるべく||α|| ₂ が小さく、かつ基底ベクトルの線形和と特徴量ｙとの差分が小さくなるようなαが得られる。また、パラメータλの値を調整することによって、αのＬ２ノルムとＤα＝ｙからの誤差とのバランスを調整することができる。λが大きいほど、αのＬ２ノルムの影響が大きくなり、αのＬ２ノルムをより小さくするべくゼロでない係数の数が小さくなる。λは１未満の値であり、例えば０．１である。（２）式の極値条件は、下記の（３）式で表される。

（３）式をαについて整理すればαを下記の（４）式で得ることができる。

このように解析解が（４）式で得られるものの、（１）式ではαのＬ１ノルムに対して制約をかけていたものを（２）式ではＬ２ノルムに対して制約をかけているので、（４）式で得られる解がスパースな解である保証は無い。そこで、前述したように、特徴量ｙに影響度の高いＴ個の基底ベクトルを選択し、選択した基底ベクトルの集合Ａを用いて解を計算する。具体的には、（４）式のＤをＡに置き換えた下記の（５）式を用いて、解を計算する。

（５）式で得られる解ｘは、Ｔ行１列の行列であり、係数行列αに含まれる係数の内で特徴量ｙに影響度の高いＴ個の基底ベクトルの係数からなる。係数行列αに含まれる係数の内、ｘに含まれる係数以外の係数はゼロである。解ｘは、特徴量ｙに影響度の高いＴ個の基底ベクトルの集合Ａから計算された解であるので、スパースな解である。以上のように、本実施の形態では、ｎ個の基底ベクトルの中から、画像の特徴量ｙに影響度の高いＴ個の基底ベクトルを選択し、選択した基底ベクトルの集合Ａを用いた（５）式により解ｘを計算することにより、係数行列のスパースな解を計算する。このため、反復法を用いずに係数行列αのスパースな解を計算することが可能となる。行列Ｄよりも基底ベクトルの数を減らした行列Ａを用いた行列計算を行い、また計算の反復を行わないので、必要な計算量が減少する。

図４は、本発明に係る画像表示装置の内部の機能構成を示すブロック図である。画像表示装置は、画像を表示する表示部４と、画像を表す画像信号を入力される入力部３と、画像高画質化装置１と、各部を制御する制御部２とを備えている。表示部４は、液晶パネル又はＥＬ（Electro Luminescence）パネル等の画像表示デバイスを用いて画像を表示する構成となっている。入力部３は、画像に含まれる夫々の画素の色を表現するＲ（赤）、Ｇ（緑）及びＢ（青）の色信号を含む画像信号を外部から入力されるインタフェースである。例えば、画像表示装置はコンピュータのモニタであり、入力部３にはコンピュータの本体から画像信号が入力される。入力部３は、画像信号を画像高画質化装置１へ入力する。また、入力部３は、各種の制御信号を入力され、制御信号を制御部２へ入力する。画像高画質化装置１は、入力部３から画像信号を入力され、画像信号が表す画像を高画質化する処理を実行し、高画質化した画像を表す画像信号を表示部４へ入力する。表示部４は、画像高画質化装置１から入力された画像信号に基づいた画像を表示する。制御部２は、演算部と、制御プログラム及び各種の情報を記憶する記憶部とを含んで構成されている。制御部２は、高画質化していない画像を表示部４に表示させる制御を行ってもよい。画像表示装置は、静止画又は動画の何れか一方を表示する装置であってもよく、両方を表示する装置であってもよい。また、画像表示装置は、アンテナで受信した放送信号に基づいた画像を表示するテレビジョン受像機等のように、画像信号を生成する機能を備え、生成した画像を入力部３へ入力する形態であってもよい。

図５は、実施の形態１に係る画像高画質化装置１の内部の機能構成を示すブロック図である。画像高画質化装置１は、画像信号を変換する第１変換部１０１を備えている。第１変換部１０１は、入力部３から画像信号を入力され、画像信号に含まれるＲＧＢの色信号を、輝度信号Ｙ並びに色差信号Ｕ及びＶへ変換する。第１変換部１０１には、メモリで構成されたラインバッファ１０２が接続されている。第１変換部１０１は、ラインバッファ１０２へ変換後の画像信号を入力する。ラインバッファ１０２は、画像に含まれる各画素の画像信号を所定数のライン分記憶する。ラインバッファ１０２には、画像の輝度分布を示す特徴量を計算する特徴量計算部１０３と、フィルタ部１０８と、ラインバッファ１１２とが接続されている。ラインバッファ１０２は、画像中の一つのパッチに含まれる複数の画素の輝度信号Ｙを特徴量計算部１０３及びフィルタ部１０８へ入力する。一つのパッチは、画像中の一つの画素を中心とした複数画素からなる小画像である。ラインバッファ１０２は、画像中の各画素を中心としたパッチの輝度信号を特徴量計算部１０３へ順次入力する。また、ラインバッファ１０２は、画像中の各画素の色差信号Ｕ及びＶを順次ラインバッファ１１２へ入力する。

特徴量計算部１０３は、入力されたパッチの輝度信号から、パッチの特徴量を計算する。具体的には、特徴量計算部１０３は、パッチの輝度信号の水平方向及び垂直方向の一次微分成分及び二次微分成分をＳｏｂｅｌフィルタを用いて計算する。計算によって得られた成分は、パッチ内の輝度分布の高周波成分であり、本発明における特徴量である。ここで、特徴量計算部１０３は、特徴量として、パッチ内の輝度分布の空間周波数成分の内、所定の空間周波数以上の高周波成分を抽出する。例えば、特徴量計算部１０３は、直流成分以外の成分を抽出する。特徴量計算部１０３は、計算した高周波成分を成分とした特徴量ｙのベクトルを生成する。特徴量ｙのベクトルはｍ次元のベクトルである。なお、特徴量計算部１０３は、ラプラシアンフィルタ等のＳｏｂｅｌフィルタ以外のフィルタを用いて高周波成分を計算してよく、複数のフィルタを用いて高周波成分を計算してよい。

フィルタ部１０８は、入力されたパッチの輝度信号から、パッチ内の輝度分布の低周波成分を計算する。ここで、フィルタ部１０８は、パッチ内の輝度分布の空間周波数成分の内、所定の空間周波数以下の低周波成分を抽出する。例えば、フィルタ部１０８は、直流成分を抽出する。具体的には、フィルタ部１０８は、パッチの輝度信号の水平方向及び垂直方向の平均を計算するフィルタを用いて、パッチ内の輝度分布の直流成分を計算する。このようにして、画像高画質化装置１は、パッチの輝度信号を高周波成分と低周波成分とに分離する。

特徴量計算部１０３には、ベクトルの内積を計算する内積計算部１０５が接続されている。内積計算部１０５には、予め学習された低画質の基底ベクトル（第１特徴量に対応）を記録した辞書データを記憶している第１辞書部１０６が接続されている。第１辞書部１０６が記憶している辞書データには、低画質のｍ次元の基底ベクトルがｎ個記録されている。各基底ベクトルは、所定の基礎的な画像の特徴量である。一般的に、ｍ＜ｎである。特徴量計算部１０３は、特徴量ｙを内積計算部１０５へ入力する。内積計算部１０５は、第１辞書部１０６が記憶している辞書データに記録されたｎ個の基底ベクトルの夫々と特徴量ｙのベクトルとの内積を計算する。

内積計算部１０５には、特徴量に影響度の高い基底ベクトルを選択するベクトル選択部１０７が接続されている。内積計算部１０５は、計算した内積をベクトル選択部１０７へ入力する。ベクトル選択部１０７は、ｎ個の基底ベクトルと特徴量ｙのベクトルとの内積を比較し、ｎ個の基底ベクトルの内、特徴量ｙのベクトルとの内積の値が大きい方からＴ個の基底ベクトルを選択する。ここで、Ｔ＜ｎであり、Ｔの値は予めベクトル選択部１０７に記憶されている。特徴量ｙは、選択されたＴ個の基底ベクトルの線形和で表される。

特徴量計算部１０３及びベクトル選択部１０７には、係数行列αを計算する係数行列計算部１０４が接続されている。特徴量計算部１０３は、特徴量ｙのベクトルを係数行列計算部１０４へ入力し、ベクトル選択部１０７は、選択したＴ個の基底ベクトルを係数行列計算部１０４へ入力する。係数行列計算部１０４は、Ｔ個の基底ベクトルが集合したｍ行Ｔ列の行列Ａを生成し、特徴量ｙのベクトル及び行列Ａから、係数行列αのＬ２ノルムが最小になる解析解を計算することにより、係数行列αのスパースな解ｘを計算する。具体的には、係数行列計算部１０４は、（５）式を用いて解ｘを計算する。解ｘには、Ｔ個の係数が含まれる。計算に必要なλの値は、予め係数行列計算部１０４に記憶されている。高画質なパッチの高周波成分は、解ｘに含まれる係数に対応する高画質のＴ個の基底ベクトルの線形和で表される。

フィルタ部１０８及び係数行列計算部１０４には、パッチの輝度の高周波成分と低周波成分とを合成する合成部１０９が接続されている。フィルタ部１０８は、パッチの輝度の低周波成分を合成部１０９へ入力し、係数行列計算部１０４は、係数行列αのスパースな解ｘを合成部１０９へ入力する。また、合成部１０９には、予め学習された高画質の基底ベクトル（第２特徴量に対応）を記録した辞書データを記憶している第２辞書部１１０が接続されている。第２辞書部１１０が記憶している辞書データには、第１辞書部１０６が記憶している辞書データに記録されたｎ個の基底ベクトルに対応する高画質のｍ次元の基底ベクトルがｎ個記録されている。高画質の基底ベクトルは、対応する低画質の基底ベクトルが輝度分布を示す所定の基礎的な画像を高画質化した画像の高周波成分である。合成部１０９は、第２辞書部１１０が記憶している辞書データに記録されたｎ個の基底ベクトルの中から、係数行列αのスパースな解ｘに含まれるＴ個の係数に対応するＴ個の基底ベクトルを選択する。より詳しくは、基底ベクトルの線形和において解ｘに含まれるＴ個の係数の夫々が乗じられる低画質の基底ベクトルと対応する高画質の基底ベクトルを選択する。合成部１０９は、次に、選択した基底ベクトルの夫々に対応する係数を乗じ、係数を乗じた基底ベクトルの和を計算することにより、高画質の高周波成分を計算する。合成部１０９は、次に、計算した高画質の高周波成分と、フィルタ部１０８から入力された低周波成分とを足し合わせることにより、高画質なパッチの輝度信号を計算する。以上のように、特徴量計算部１０３、係数行列計算部１０４、内積計算部１０５、第１辞書部１０６、ベクトル選択部１０７及び合成部１０９により、スパース表現を利用した学習型画像高画質化の処理が実行される。画像高画質化の処理は、画像に含まれるパッチの夫々について順次実行される。

合成部１０９には、ラインバッファ１１１が接続されている。合成部１０９は、計算したパッチの輝度信号をラインバッファ１１１へ入力し、ラインバッファ１１１は、入力されたパッチの輝度信号を記憶する。合成部１０９は、画像に含まれるパッチの夫々について輝度信号を順次ラインバッファ１１１へ入力し、ラインバッファ１１１は、順次入力された輝度信号を記憶する。ラインバッファ１１１には、オーバーラップ部１１３が接続されている。ラインバッファ１１１は、複数のパッチの輝度信号をオーバーラップ部１１３へ入力する。オーバーラップ部１１３は、画像中の一つの画素に対応する画素が含まれる複数のパッチから、画像中の一つの画素に対応する画素の輝度信号を抽出し、抽出した複数の輝度信号を重ね合わせることにより、画像中の一つの画素の輝度信号を計算する。例えば、オーバーラップ部１１３は、複数の輝度信号の平均又は加重平均を計算することにより、一つの画素の輝度信号を計算する。オーバーラップ部１１３は、画像中の各画素の輝度信号を順次計算する。

オーバーラップ部１１３及びラインバッファ１１２には、画像信号を変換する第２変換部１１４が接続されている。オーバーラップ部１１３は、画像中の各画素の輝度信号を順次第２変換部１１４へ入力する。ラインバッファ１１２は、ラインバッファ１０２から入力された色差信号を記憶し、画像中の各画素の色差信号を順次第２変換部１１４へ入力する。第２変換部１１４は、オーバーラップ部１１３から入力された輝度信号Ｙとラインバッファ１１２から入力された色差信号Ｕ及びＶとを、ＲＧＢの色信号へ変換する。第２変換部１１４は、表示部４に接続されており、ＲＧＢの色信号を含む画像信号を表示部４へ入力する。表示部４は、画像高画質化装置１から入力された画像信号に基づいた画像を表示する。このようにして、高画質化された画像が表示される。例えば、画像表示装置は、画素数を増やして拡大した画像の画像信号が入力された場合に、拡大によって画質が劣化した画質を高画質化した上で画像を表示する。

図６は、実施の形態１に係る画像高画質化装置１が実行する画像高画質化の処理の手順を示すフローチャートである。特徴量計算部１０３はパッチの輝度の高周波成分である特徴量を計算し、フィルタ部１０８はパッチの輝度の低周波成分を計算する（Ｓ１１）。内積計算部１０５及びベクトル選択部１０７は、低画質のｎ個の基底ベクトルの中から、特徴量に影響度の高いＴ個の基底ベクトルを選択する（Ｓ１２）。係数行列計算部１０４は、選択されたＴ個の基底ベクトル及び特徴量ｙから、（５）式を用いて、係数行列αのスパースな解ｘを計算する（Ｓ１３）。合成部１０９は、係数行列のスパースな解に含まれる係数を乗じた高画質のＴ個の基底ベクトルの線形和を計算することにより、パッチの高周波成分を計算し、計算した高周波成分とＳ１１で計算した低周波成分とを合成する（Ｓ１４）。Ｓ１１〜Ｓ１４の処理により、画像高画質化装置１は高画質化した画像を生成する。

以上詳述した如く、本実施の形態においては、画像高画質化装置１は、画像の特徴量から、特徴量を線形和で表す低画質の基底ベクトルの係数を計算し、計算した係数を用いて高画質の基底ベクトルの線形和を計算して高画質化した画像を生成する。画像高画質化装置１は、係数を計算する際に、複数の基底ベクトルの中から、特徴量に影響度の高い所定数の基底ベクトルを選択し、選択した基底ベクトル以外の基底ベクトルの係数をゼロとして、係数行列の解を計算する。なるべく係数の二乗和が小さく、かつ基底ベクトルの線形和と特徴量との差分が小さくなるように係数行列の解を計算することにより、スパースな解に近い解が得られる。選択した基底ベクトルは特徴量に影響度の高い基底ベクトルであるので、選択した基底ベクトルの線形和で特徴量をほぼ表すことが可能である。このため、係数がゼロでない基底ベクトルを、特徴量に影響度の高い少数の基底ベクトルに限定した上で、係数行列の解を計算することにより、少数の基底ベクトルの係数以外の係数をゼロにしたスパースな解を得ることができる。このように、本実施の形態では、反復法を用いること無く、画像の特徴量を複数の基底ベクトルの線形和であらわすための係数行列のスパースな解を得ることができる。画像にノイズが含まれている場合でも、係数行列のスパースな解は変化し難く、画像高画質化装置１は、安定して画像を高画質化することができる。

本実施の形態においては、係数がゼロでない基底ベクトルを少数の基底ベクトルに限定した上で係数行列を計算するので、計算に用いる基底ベクトルの数が減少し、係数行列の計算に必要な処理量が減少する。また、反復法を用いること無く係数行列のスパースな解を計算することができるので、係数行列の計算に必要な処理時間が反復法を用いる場合に比べて短くなる。このため、画像を画像表示装置で表示する場合等のリアルタイム性が要求される場合であっても、画像の高画質化による処理の遅延は小さくなる。また、必要な処理量の減少及び処理時間に短縮により、画像高画質化装置１の回路のコストが抑制される。従って、スパース表現を利用した学習型の画像高画質化方法は十分に実用的となり、実用的な画像高画質化装置１が実現可能となる。

（実施の形態２）
実施の形態２においては、画像の特徴量を線形和で表す基底ベクトルの数を調整する形態を示す。実施の形態１では、係数がゼロでない基底ベクトルの数Ｔを一定の値としている。非特許文献１に記載の反復法によって（１）式の条件式を解く方法では、係数がゼロでない基底ベクトルの数は、画像中でのパッチの位置によって異なる。具体的には、画像中のエッジの部分で基底ベクトルの数が大きくなっている。従って、エッジ以外の部分では、基底ベクトルの数を減らすことが可能である。また、画像にノイズが多い場合、基底ベクトルの数が多いほど、基底ベクトルの線形和がノイズをより表現し易くなり、高画質化した画像にもノイズが再現されやすくなる。従って、ノイズが多い画像については、係数がゼロでない基底ベクトルの数を減らすことが望ましい。

図７は、画像の特徴量と特徴量を線形和で表す基底ベクトルの数との関係を示す特性図である。非特許文献１に記載の反復法によって（１）式の条件式を解く方法で実際に得られた基底ベクトルの数と、画像中の各パッチでの特徴量のＬ１ノルムとの関係を示している。特徴量のＬ１ノルムは、特徴量ｙのベクトルの成分の絶対値の和である。図中の横軸は特徴量のＬ１ノルムを示し、縦軸は基底ベクトルの数を示している。また、図７Ａには、パラメータλ＝０．１の場合について、特徴量のＬ１ノルムと基底ベクトルの数との関係を示しており、図７Ｂにはλ＝０．３の場合について示し、図７Ｂにはλ＝０．５の場合について示している。λが何れの値でも、特徴量のＬ１ノルムが小さいほど基底ベクトルの最大数は小さくなる傾向がある。図７中には、特徴量のＬ１ノルムと基底ベクトルの最大数との関係を示す直線を破線で示している。特徴量のＬ１ノルムに対応する基底ベクトルの最大数を、特徴量を線形和で表す基底ベクトルの数Ｔとすれば、基底ベクトルの線形和で特徴量を十分に表すことができる。

図８は、特徴量のＬ１ノルムと基底ベクトルの最大数との関係を示す特性図である。図中には、λ＝０．１、λ＝０．３及びλ＝０．５の場合について、特徴量のＬ１ノルムと基底ベクトルの最大数との関係を示す直線を示している。λが大であるほど、特徴量のＬ１ノルムに対応する基底ベクトルの最大数は小さくなる。特徴量のＬ１ノルムに対応する基底ベクトルの最大数を、特徴量を線形和で表す基底ベクトルの数Ｔとする。図８に示すように、基底ベクトルの数Ｔと特徴量ｙのＬ１ノルム||ｙ|| ₁ との関係は、直線状であり、下記の（６）式で表される。

（６）式中のａ及びｂは定数であり、λの値に応じて異なる。非特許文献１に記載の反復法によって（１）式の条件式を解く方法で実際の画像について特徴量のＬ１ノルムと基底ベクトルの最大数との関係を調べることによって、λの値に応じたａ及びｂの値を予め定めておくことができる。予め定めたａ及びｂの値を用いることにより、画像の特徴量ｙに対応する基底ベクトルの数Ｔを（６）式から計算することができる。実際には、Ｔ＿ｍａｘを予め定めた値として、下記の（７）式で計算を行う。

（７）式は、Ｔの値が大きくなりすぎるオーバーフローとゼロ未満の値になるアンダーフローとを防止するための式である。画像中のエッジの部分では、特徴量のＬ１ノルムの値が大きくなり、基底ベクトルの数Ｔは増大する。エッジ以外の部分では、特徴量のＬ１ノルムの値は小さくなり、基底ベクトルの数Ｔを小さくすることができる。また、画像にノイズが多く、基底ベクトルの数Ｔを減らすことが望ましい場合には、より大きい値のλに応じたａ及びｂの値を用いればよい。

実施の形態２に係る画像表示装置の構成は、実施の形態１と同様である。図９は、実施の形態２に係る画像高画質化装置１の内部の機能構成を示すブロック図である。特徴量計算部１０３には、ベクトル数計算部１１５が接続されており、ベクトル数計算部１１５には、ベクトル選択部１０７が接続されている。ベクトル数計算部１１５は、ベクトル選択部１０７が選択する基底ベクトルの数Ｔを計算する。ベクトル数計算部１１５は、λの値に応じて予め定められているａ及びｂの値を記憶している。

画像表示装置の制御部２は、λの値を画像高画質化装置１へ入力する。例えば、画像表示装置が表示すべき画像に含まれるノイズの大きさを示す制御信号が入力部３へ入力され、制御部２は、制御信号が示すノイズの大きさに応じたλの値を画像高画質化装置１へ入力する。制御部２は、ノイズの大きさが大きいほど増大するようにλの値を決定し、決定したλの値を画像高画質化装置１へ入力する処理を行う。また例えば、制御部２は、入力部３へ入力された画像信号に基づいてノイズの大きさを計算し、計算したノイズの大きさに応じたλの値を画像高画質化装置１へ入力する処理を行う。また例えば、使用者の操作等によってλの値を指定した制御信号が入力部３へ入力され、制御部２は、制御信号が示すλの値を画像高画質化装置１へ入力する。

特徴量計算部１０３は、計算した特徴量ｙのベクトルをベクトル数計算部１１５へ入力する。また、ベクトル数計算部１１５は、制御部２からのλの値が入力される。ベクトル数計算部１１５は、入力されたλの値に対応して記憶しているａ及びｂの値を読み出し、入力された特徴量ｙから特徴量ｙのＬ１ノルム||ｙ|| ₁ を計算し、（７）式を用いて基底ベクトルの数Ｔを計算する。ベクトル数計算部１１５は、計算した基底ベクトルの数Ｔをベクトル選択部１０７へ入力する。ベクトル選択部１０７は、ｎ個の基底ベクトルの内、入力された数Ｔ個の基底ベクトルを特徴量ｙのベクトルとの内積の値が大きい方から選択する処理を行う。画像高画質化装置１のその他の構成及び処理は実施の形態１と同様である。

なお、ベクトル数計算部１１５は、ａ及びｂの値を１種類に固定した形態であってもよい。この形態では、画像高画質化装置１は、λの値を固定した処理を行う。また、画像高画質化装置１は、制御部２からλの値を入力されること無く、画像のパッチに含まれるノイズの大きさに応じた処理を行う形態であってもよい。この形態では、ベクトル数計算部１１５は、特徴量計算部１０３から入力されたパッチの特徴量ｙから、所定のノイズ推定方法により、パッチのノイズ標準偏差を計算する。ベクトル数計算部１１５は、ノイズ標準偏差の値と予め定められたａ及びｂの値とを対応づけて記憶している。ａ及びｂの値は、ノイズ標準偏差の値が大きいほど基底ベクトルの数Ｔが小さくなるように定められている。ベクトル数計算部１１５は、計算したノイズ標準偏差に対応づけたａ及びｂの値を読み出し、（７）式を用いて基底ベクトルの数Ｔを計算する。この形態では、画像高画質化装置１は、画像に含まれる各パッチのノイズに応じて基底ベクトルの数Ｔを調整することができる。

図１０は、実施の形態２に係る画像高画質化装置１が実行する画像高画質化の処理の手順を示すフローチャートである。特徴量計算部１０３はパッチの輝度の高周波成分である特徴量を計算し、フィルタ部１０８はパッチの輝度の低周波成分を計算する（Ｓ２１）。ベクトル数計算部１１５は、パッチの特徴量ｙを線形和で表す基底ベクトルの数Ｔを、（７）式を用いて計算する（Ｓ２２）。内積計算部１０５及びベクトル選択部１０７は、低画質のｎ個の基底ベクトルの中から、特徴量に影響度の高いＴ個の基底ベクトルを選択する（Ｓ２３）。係数行列計算部１０４は、選択されたＴ個の基底ベクトル及び特徴量ｙから、（５）式を用いて、係数行列αのスパースな解ｘを計算する（Ｓ２４）。合成部１０９は、解ｘに含まれる係数を用いて高画質のＴ個の基底ベクトルの線形和を計算することにより、パッチの高周波成分を計算し、計算した高周波成分と低周波成分とを合成する（Ｓ２５）。Ｓ２１〜Ｓ２５の処理により、画像高画質化装置１は高画質化した画像を生成する。

以上詳述した如く、本実施の形態においては、画像高画質化装置は、係数行列のスパースな解を計算するために選択する基底ベクトルの数を状況に応じて調整する。パッチの特徴量の絶対値が小さくエッジを含まないパッチでは選択する基底ベクトルの数を少なくすることによって、よりスパースな係数行列の解を得ることができる。また、パッチの特徴量の絶対値が大きくエッジを含むパッチでは選択する基底ベクトルの数を多めにすることによって、エッジを減衰させることなく画像の高画質化を行うことができる。また、本実施の形態においては、画像高画質化装置１は、ノイズの量に応じて、係数行列のスパースな解を計算するために選択する基底ベクトルの数を状況に応じて調整することができる。ノイズが大きい場合に選択する基底ベクトルの数を少なくすることによって、ノイズの影響を受けにくいよりスパースな係数行列の解を得ることができ、ノイズの影響を排除して画像の高画質化を行うことが可能となる。

（実施の形態３）
実施の形態３に係る画像表示装置の構成は、実施の形態２と同様である。図１１は、実施の形態３に係る画像高画質化装置１の内部の機能構成を示すブロック図である。画像高画質化装置１は、内積計算部１０５とベクトル選択部１０７とを備えておらず、ベクトル数計算部１１５は係数行列計算部１０４に接続されており、第１辞書部１０６は係数行列計算部１０４に接続されている。

ベクトル数計算部１１５は、実施の形態２と同様の方法で、係数がゼロでない基底ベクトルの数Ｔを計算する。即ち、ベクトル数計算部１１５は、制御部２から入力されたλの値、又はパッチのノイズ標準偏差に基づいて、基底ベクトルの数Ｔを計算する。ベクトル数計算部１１５は、計算した基底ベクトルの数Ｔを係数行列計算部１０４へ入力する。係数行列計算部１０４は、反復法によって係数行列のスパースな解を計算する。具体的には、係数行列計算部１０４は、ベクトル数計算部１１５から入力された基底ベクトルの数Ｔを、係数行列に含まれるゼロでない係数の数の初期値に定め、非特許文献１に記載の反復法によって（１）式の条件式を解く処理を行う。画像高画質化装置１のその他の構成及び処理は実施の形態１と同様である。

以上のように、本実施の形態においては、λの値又はパッチのノイズ標準偏差に基づいて、係数行列に含まれるゼロでない係数の数の初期値を定め、反復法によって係数行列のスパースな解を計算する。ノイズの大きさに応じて、画像の特徴量を線形和で表す基底ベクトルの数を調整することができる。また、係数行列に含まれるゼロでない係数の数の初期値を制限することで、反復法によって係数行列を計算する処理の回数を減らすことができる。処理時間が減少し、リアルタイム性が要求される場合でも処理の遅延が小さくなるので、反復法を用いた場合でも画像高画質化の実用性が向上する。

（実施の形態４）
実施の形態４においては、画像の特徴量を線形和で表す基底ベクトルの数がゼロである場合の画像を調整する形態を示す。実施の形態２では、係数がゼロでない基底ベクトルの数Ｔを調整しており、基底ベクトルの数Ｔがゼロになることがある。この場合は、高画質の基底ベクトルの線形和はゼロになるので、高画質の輝度の高周波成分はゼロとなり、高画質のパッチは、輝度の高周波成分を含まない低周波成分から構成される。輝度の低周波成分は直流成分であり、パッチ内の全ての輝度値がパッチの平均輝度値で表されることになる。パッチ内にエッジ又はテクスチャが含まれていた場合には、パッチが輝度の直流成分から構成されることにより、エッジ又はテクスチャが消失し、画質が劣化する。本実施の形態では、この問題を解決するために、係数がゼロでない基底ベクトルの数がゼロである場合に、エッジを保存するように画像を調整する。

実施の形態４に係る画像表示装置の構成は、実施の形態２と同様である。図１２は、実施の形態４に係る画像高画質化装置１の内部の機能構成を示すブロック図である。フィルタ部１０８は、ベクトル数計算部１１５に接続されている。ベクトル数計算部１１５は、計算した基底ベクトルの数Ｔをフィルタ部１０８へ入力する。フィルタ部１０８は、入力された基底ベクトルの数Ｔの値がゼロであるか否かを判定する。基底ベクトルの数Ｔの値がゼロではない場合は、フィルタ部１０８は、実施の形態１と同様に、ラインバッファ１０２から入力されたパッチの輝度信号から、パッチ内の輝度分布の低周波成分を計算し、計算した低周波成分を合成部１０９へ入力する。合成部１０９は、実施の形態１と同様に、パッチの輝度の高周波成分を計算し、計算した輝度の高周波成分と低周波成分とを合成する。基底ベクトルの数Ｔの値がゼロである場合は、フィルタ部１０８は、入力されたパッチの輝度信号に対して、エッジ保存型フィルタによるノイズ除去処理を行い、ノイズ除去処理後の輝度信号を合成部１０９へ入力する。合成部１０９は、フィルタ部１０８から入力されたパッチの輝度信号をラインバッファ１１１へ入力する。エッジ保存型フィルタは、エッジを保存しながらパッチ内の輝度分布の平滑化を行うフィルタである。計算に用いるエッジ保存型フィルタは、エッジを保存する性質を有する一般的なフィルタでよく、例えば、バイラテラルフィルタ又はトータルバリエーションフィルタであってもよい。画像高画質化装置１のその他の構成及び処理は実施の形態２と同様である。

なお、フィルタ部１０８は、ノイズに応じてエッジ保存型フィルタのパラメータを調整する形態であってもよい。ベクトル数計算部１１５は、ノイズ標準偏差をフィルタ部１０８へ入力する。フィルタ部１０８は、入力されたノイズ標準偏差に応じてエッジ保存型フィルタのパラメータを調整する。例えば、フィルタ部１０８は、ノイズが多いほど平滑化の強度を大きくするようにエッジ保存型フィルタのパラメータを調整する。これにより、パッチ内のエッジを保存しながらも効果的にノイズを除去することができる。

図１３は、実施の形態４に係る画像高画質化装置１が実行する画像高画質化の処理の手順を示すフローチャートである。特徴量計算部１０３はパッチの輝度の高周波成分である特徴量を計算する（Ｓ３１）。ベクトル数計算部１１５は、パッチの特徴量ｙを線形和で表す基底ベクトルの数Ｔを計算する（Ｓ３２）。基底ベクトルの数Ｔがゼロである場合は（Ｓ３３：ＹＥＳ）、フィルタ部１０８は、パッチの輝度信号に対して、エッジ保存型フィルタによるノイズ除去を行う（Ｓ３４）。このようにして、画像高画質化装置１は、高画質化した画像を生成する。基底ベクトルの数Ｔがゼロでない場合は（Ｓ３３：ＮＯ）、フィルタ部１０８はパッチの輝度の低周波成分を計算する（Ｓ３５）。低周波成分は例えば直流成分である。内積計算部１０５及びベクトル選択部１０７は、低画質のｎ個の基底ベクトルの中から、特徴量に影響度の高いＴ個の基底ベクトルを選択する（Ｓ３６）。係数行列計算部１０４は、選択されたＴ個の基底ベクトル及び特徴量ｙから、係数行列αのスパースな解ｘを計算する（Ｓ３７）。画像高画質化装置１は、Ｓ３５の処理とＳ３６及びＳ３７の処理とを並列に実行する。なお、画像高画質化装置１は、Ｓ３５〜Ｓ３７の処理を順次的に実行する形態であってもよい。合成部１０９は、解ｘに含まれる係数を用いてパッチの輝度の高周波成分を計算し、計算した高周波成分と低周波成分とを合成する（Ｓ３８）。このようにして、画像高画質化装置１は、高画質化した画像を生成する。

以上のように、本実施の形態においては、画像高画質化装置１は、画像の特徴量を線形和で表す基底ベクトルの数がゼロである場合に、エッジ保存型フィルタによるノイズ除去を行うことで、画像を調整する。基底ベクトルの数がゼロであったとしても、画像中のエッジ又はテクスチャが消失するという画質の劣化が発生することは無い。

（実施の形態５）
実施の形態５に係る画像表示装置の構成は、実施の形態３と同様である。図１４は、実施の形態５に係る画像高画質化装置１の内部の機能構成を示すブロック図である。画像高画質化装置１は、内積計算部１０５とベクトル選択部１０７とを備えておらず、ベクトル数計算部１１５は係数行列計算部１０４に接続されており、第１辞書部１０６は係数行列計算部１０４に接続されている。フィルタ部１０８は、ベクトル数計算部１１５に接続されている。

ベクトル数計算部１１５は、計算した基底ベクトルの数Ｔを、係数行列計算部１０４及びフィルタ部１０８へ入力する。フィルタ部１０８は、実施の形態４と同様に、入力された基底ベクトルの数Ｔの値がゼロであるか否かを判定し、基底ベクトルの数Ｔの値がゼロではない場合は、パッチ内の輝度分布の低周波成分を計算し、計算した低周波成分を合成部１０９へ入力する。係数行列計算部１０４は、実施の形態３と同様に、ベクトル数計算部１１５から入力された基底ベクトルの数Ｔを、係数行列に含まれるゼロでない係数の数の初期値に定め、反復法によって係数行列のスパースな解を計算する。合成部１０９は、係数行列の解からパッチの輝度の高周波成分を計算し、輝度の高周波成分と低周波成分とを合成する。基底ベクトルの数Ｔの値がゼロである場合は、実施の形態４と同様に、フィルタ部１０８は、入力されたパッチの輝度信号に対して、エッジ保存型フィルタによるノイズ除去処理を行い、ノイズ除去処理後の輝度信号を合成部１０９へ入力する。合成部１０９は、入力されたパッチの輝度信号をラインバッファ１１１へ入力する。画像高画質化装置１のその他の構成及び処理は実施の形態３と同様である。

以上のように、本実施の形態においては、画像高画質化装置１は、係数行列に含まれるゼロでない係数の数の初期値を定め、初期値がゼロでない場合は反復法によって係数行列のスパースな解を計算し、初期値がゼロである場合は、エッジ保存型フィルタによるノイズ除去を行うことで画像を調整する。反復法によって係数行列を計算する形態において、画像の特徴量を線形和で表す基底ベクトルの数がゼロであった場合でも、画像中のエッジ又はテクスチャが消失するという画質の劣化が発生することは無い。

（実施の形態６）
実施の形態６においては、ノイズに応じて画素単位でパッチの特徴量を調整する形態を示す。実施の形態２では、パッチの特徴量を線形和で表す基底ベクトルの数をノイズに応じて調整することにより、ノイズ除去の強度を調整している。一つのパッチ内にエッジとノイズとが混在している場合は、パッチ単位でノイズ除去の強度を調整すると、エッジと共にノイズが残留するか、或いはノイズが除去されると共にエッジが減衰することがある。本実施の形態においては、輝度の高周波成分であるパッチの特徴量を画素単位で調整することにより、画素単位でノイズの除去を行う。

本実施の形態では、各画素での特徴量の値を減衰させ、ノイズが含まれている画素については減衰を大きくし、ノイズが含まれていない画素については減衰を小さくすることによって、ノイズの除去を行う。画素にノイズが含まれているか否かは、輝度の高周波成分の大きさから推定することができる。各画素での輝度の高周波成分である特徴量ｙに増幅率ζ（０≦ζ≦１）を乗じることによって特徴量を減衰させることを考える。ノイズの強度がガウシアン分布に従うとすると、強度が小さいノイズほど発生する数が多くなる。このため、輝度の高周波成分の絶対値が小さいほど、その高周波成分がノイズによるものである確率が高くなり、輝度の高周波成分の絶対値が大きいほど、その高周波成分がエッジ等のノイズ以外によるものである確率が高くなる。画像のノイズ標準偏差が所定のｓである場合のノイズによる輝度の高周波成分の絶対値ｆのヒストグラムをｈ（ｆ）とする。実際の画像について、ヒストグラムｈ（ｆ）は求めることができる。ヒストグラムｈ（ｆ）の最大値をｍａｘ（ｈ（ｆ））として、ノイズ標準偏差がｓであり輝度の高周波成分の絶対値がｆである場合の増幅率ξ（ｆ）を以下の（８）式で定義する。
ξ（ｆ）＝１−ｈ（ｆ）／ｍａｘ（ｈ（ｆ）） …（８）

図１５は、ヒストグラムｈ（ｆ）及び増幅率ξ（ｆ）の例を示す特性図である。図中の横軸は、輝度の高周波成分の絶対値ｆであり、縦軸は画素数又は増幅率である。図１５には、ノイズの強度がガウシアン分布に従った例を示している。ｆの値が小さいほど、成分がノイズである確率が高くなる。増幅率ξ（ｆ）を小さくすることで、特徴量ｙの減衰を大きくし、ノイズの影響を小さくすることができる。逆に、ｆの値が大きいほど、成分がエッジ等のノイズ以外のものである確率が高くなる。増幅率ξ（ｆ）を大きくすることで、特徴量ｙの減衰を小さくし、エッジの減衰を防止することができる。ヒストグラムｈ（ｆ）及び増幅率ξ（ｆ）は予め定めておくことができる。一般に、画像高画質化対象となる画像のノイズ標準偏差は、所定のｓとは異なる値となる。画像高画質化対象となる画像のノイズ標準偏差をσとし、各画素における特徴量の絶対値をｇとして、増幅率ζを下記の（９）式で定義する。
ζ＝ξ（ｓｇ／σ） …（９）

一般に、（８）式中のｆの値は整数値である。従って、（９）式中のｓｇ／σが小数である場合は、ｓｇ／σを整数値に丸める処理を行う必要がある。この処理では、小数第１位以下切り捨て、小数第１位以下切り捨て、又は小数第１位四捨五入の何れの処理を行ってもよい。また、ｓｇ／σの直近の整数値２つの夫々を（９）式に代入して得られた値を線形補間することによってζを計算する処理を行ってもよい。

実施の形態６に係る画像表示装置の構成は、実施の形態１と同様である。図１６は、実施の形態２に係る画像高画質化装置１の内部の機能構成を示すブロック図である。特徴量計算部１０３、係数行列計算部１０４及び内積計算部１０５には、パッチの特徴量を減衰させる減衰部１１６が接続されている。減衰部１１６は、所定のノイズ標準偏差ｓを予め記憶しており、更に、予め定められたヒストグラムｈ（ｆ）及び（８）式、又は予め定められた増幅率ξ（ｆ）の値を記憶している。ヒストグラムｈ（ｆ）を記憶している形態では、減衰部１１６は、ｆの値と画素数の値とを対応づけたテーブルを記憶している。増幅率ξ（ｆ）の値を記憶している形態では、減衰部１１６は、ｆの値とξ（ｆ）の値とを対応づけたテーブルを記憶している。

特徴量計算部１０３は、パッチの特徴量ｙを減衰部１１６へ入力する。減衰部１１６は、入力されたパッチの特徴量ｙから、所定のノイズ推定方法により、パッチのノイズ標準偏差σを計算する。なお、減衰部１１６は、制御部２から、画像全体のノイズ標準偏差σを入力される形態であってもよい。減衰部１１６は、次に、パッチの特徴量ｙから各画素での特徴量の値を抽出し、パッチに含まれる各画素について、特徴量の絶対値ｇを計算し、（９）式を用いて増幅率ζを計算する。減衰部１１６は、次に、パッチに含まれる各画素について、特徴量に増幅率ζを乗じることにより、特徴量を減衰させる。減衰部１１６は、各画素について減衰させた特徴量ｙを、内積計算部１０５及び係数行列計算部１０４へ入力する。内積計算部１０５は、第１辞書部１０６が記憶している辞書データに記録されたｎ個の基底ベクトルの夫々と減衰部１１６から入力された特徴量ｙのベクトルとの内積を計算する。係数行列計算部１０４は、減衰部１１６から入力された特徴量ｙを用いて係数行列のスパースな解を計算する。画像高画質化装置１のその他の構成及び処理は実施の形態１と同様である。

なお、減衰部１１６は、ノイズの強度がガウシアン分布に従うガウシアンノイズ以外のノイズに応じて特徴量を減衰させる形態であってもよい。例えば、減衰部１１６は、ごま塩ノイズに応じて特徴量を減衰させる形態であってもよい。この形態では、減衰部１１６は、ノイズ標準偏差ではなくノイズ密度を利用する。減衰部１１６は、所定のノイズ密度を予め記憶しており、更に、予め定められたヒストグラムｈ（ｆ）及び（８）式、又は予め定められた増幅率ξ（ｆ）の値を記憶している。減衰部１１６は、各画素について、パッチのノイズ密度を計算し、計算したノイズ密度から所定の方法で増幅率を計算し、特徴量に増幅率を乗じることにより、特徴量を減衰させる。

図１７は、実施の形態６に係る画像高画質化装置１が実行する画像高画質化の処理の手順を示すフローチャートである。特徴量計算部１０３はパッチの輝度の高周波成分であ特徴量を計算し、フィルタ部１０８はパッチの輝度の低周波成分を計算する（Ｓ４１）。
減衰部１１６は、特徴量を各画素についてノイズに応じて減衰させる（Ｓ４２）。内積計算部１０５及びベクトル選択部１０７は、低画質のｎ個の基底ベクトルの中から、ノイズに応じて減衰された特徴量に影響度の高いＴ個の基底ベクトルを選択する（Ｓ４３）。係数行列計算部１０４は、選択されたＴ個の基底ベクトル及びノイズに応じて減衰された特徴量から、係数行列αのスパースな解ｘを計算する（Ｓ４４）。合成部１０９は、解ｘに含まれる係数を用いてパッチの輝度の高周波成分を計算し、計算した高周波成分と低周波成分とを合成する（Ｓ４５）。Ｓ４１〜Ｓ４５の処理により、画像高画質化装置１は高画質化した画像を生成する。

以上のように、本実施の形態においては、画像高画質化装置１は、画素単位で特徴量をノイズに応じて減衰させ、減衰させた特徴量に基づいて、スパース表現を利用した学習型画像高画質化の処理を行う。画素での特徴量がノイズである確率が高いほど、特徴量を大きく減衰させて、係数行列の解に対するノイズの影響を小さくする。また画素での特徴量がエッジ等のノイズ以外のものである確率が高いほど、特徴量の減衰を小さくして、係数行列の解に対してエッジの影響が小さくなることを防止する。画素単位でノイズ除去の強度を調整しているので、画像高画質化装置１は、画像に含まれるエッジを保存しながらノイズを除去することが可能となり、画像を著しく高画質化することが可能となる。

（実施の形態７）
実施の形態７に係る画像表示装置の構成は、実施の形態３と同様である。図１８は、実施の形態７に係る画像高画質化装置１の内部の機能構成を示すブロック図である。特徴量計算部１０３、係数行列計算部１０４、内積計算部１０５及びベクトル数計算部１１５には、減衰部１１６が接続されている。特徴量計算部１０３は、パッチの特徴量ｙを減衰部１１６へ入力する。減衰部１１６は、実施の形態６と同様に、パッチに含まれる各画素について、（９）式を用いて増幅率ζを計算し、特徴量に増幅率ζを乗じることにより特徴量を減衰させる。減衰部１１６は、各画素について減衰させたパッチの特徴量を、内積計算部１０５、ベクトル数計算部１１５及び係数行列計算部１０４へ入力する。内積計算部１０５は、第１辞書部１０６が記憶している辞書データに記録されたｎ個の基底ベクトルの夫々と減衰部１１６から入力された特徴量ｙのベクトルとの内積を計算する。ベクトル数計算部１１５は、減衰部１１６から入力された特徴量を線形和で表す基底ベクトルの数Ｔを計算する。係数行列計算部１０４は、減衰部１１６から入力された特徴量ｙを用いて係数行列のスパースな解を計算する。画像高画質化装置１のその他の構成及び処理は実施の形態２と同様である。

図１９は、実施の形態６に係る画像高画質化装置１が実行する画像高画質化の処理の手順を示すフローチャートである。特徴量計算部１０３はパッチの輝度の高周波成分である特徴量を計算し、フィルタ部１０８はパッチの輝度の低周波成分を計算する（Ｓ５１）。減衰部１１６は、特徴量を各画素についてノイズに応じて減衰させる（Ｓ５２）。ベクトル数計算部１１５は、ノイズに応じて減衰された特徴量を線形和で表す基底ベクトルの数Ｔを計算する（Ｓ５３）。内積計算部１０５及びベクトル選択部１０７は、低画質のｎ個の基底ベクトルの中から、ノイズに応じて減衰された特徴量に影響度の高いＴ個の基底ベクトルを選択する（Ｓ５４）。係数行列計算部１０４は、選択されたＴ個の基底ベクトル及びノイズに応じて減衰された特徴量から、係数行列αのスパースな解ｘを計算する（Ｓ５５）。合成部１０９は、解ｘに含まれる係数を用いてパッチの輝度の高周波成分を計算し、計算した高周波成分と低周波成分とを合成する（Ｓ５６）。Ｓ５１〜Ｓ５６の処理により、画像高画質化装置１は高画質化した画像を生成する。

以上のように、本実施の形態においても、画像高画質化装置１は、実施の形態６と同様に、画素単位で特徴量をノイズに応じて減衰させ、スパース表現を利用した学習型画像高画質化の処理を行う。画素単位で特徴量をノイズに応じて調整すると共に、画像の特徴量を線形和で表す基底ベクトルの数をノイズに応じて調整するので、ノイズに応じた画像高画質化をより効果的に行うことが可能となる。なお、画像高画質化装置１は、実施の形態４と同様に、係数がゼロでない基底ベクトルの数がゼロである場合にエッジ保存型フィルタによるノイズ除去を行う機能を更に備えた形態であってもよい。

（実施の形態８）
実施の形態８に係る画像表示装置の構成は、実施の形態３と同様である。図２０は、実施の形態８に係る画像高画質化装置１の内部の機能構成を示すブロック図である。画像高画質化装置１は、内積計算部１０５とベクトル選択部１０７とを備えておらず、特徴量計算部１０３、及び係数行列計算部１０４には、減衰部１１６が接続されている。また、ベクトル数計算部１１５は減衰部１１６及び係数行列計算部１０４に接続されており、第１辞書部１０６は係数行列計算部１０４に接続されている。

特徴量計算部１０３は、パッチの特徴量ｙを減衰部１１６へ入力する。減衰部１１６は、実施の形態６と同様に、パッチに含まれる各画素について、（９）式を用いて増幅率ζを計算し、特徴量に増幅率ζを乗じることにより特徴量を減衰させる。減衰部１１６は、各画素について減衰させたパッチの特徴量をベクトル数計算部１１５及び係数行列計算部１０４へ入力する。ベクトル数計算部１１５は、減衰部１１６から入力された特徴量を線形和で表す基底ベクトルの数Ｔを計算する。係数行列計算部１０４は、減衰部１１６から入力された特徴量を用いて係数行列のスパースな解を計算する。計算の際、係数行列計算部１０４は、実施の形態３と同様に、ベクトル数計算部１１５から入力された基底ベクトルの数Ｔを、係数行列に含まれるゼロでない係数の数の初期値に定め、反復法によって係数行列のスパースな解を計算する。画像高画質化装置１のその他の構成及び処理は実施の形態３と同様である。

以上のように、本実施の形態においては、画像高画質化装置１は、画素単位で画像の特徴量をノイズに応じて減衰させ、減衰させた特徴量に基づいて、反復法によって係数行列のスパースな解を計算する。画素単位でノイズ除去の強度を調整することにより、画像高画質化装置１は、反復法によって係数行列を計算する形態においても、画像に含まれるエッジを保存しながらノイズを除去することが可能となり、画像を著しく高画質化することが可能となる。なお、画像高画質化装置１は、実施の形態５と同様に、画像の特徴量を線形和で表す基底ベクトルの数がゼロである場合にエッジ保存型フィルタによるノイズ除去を行う機能を更に備えた形態であってもよい。

以上の実施の形態１〜８においては、画像高画質化装置１に必要な処理をハードウェアで実行する形態を示したが、これに限るものでは無く、画像高画質化装置１は、処理の一部又は全部をソフトウェアを用いて実行する形態であってもよい。また実施の形態１〜８においては、画像高画質化装置１が画像表示装置に内蔵されている形態を示したが、画像高画質化装置１は、画像表示装置に内蔵されていない形態であってもよい。例えば、画像高画質化装置１は、画像表示装置へ画像信号を入力する入力装置に備えられている形態であってもよい。また例えば、画像高画質化装置１は、プリンタ又はファクシミリ装置等の画像形成装置に備えられている形態であってもよい。

（実施の形態９）
実施の形態９においては、コンピュータを用いて画像高画質化装置を構成した形態を示す。図２１は、実施の形態９に係る画像高画質化装置５の内部の機能構成を示すブロック図である。画像高画質化装置５は、パーソナルコンピュータ等の汎用のコンピュータで構成されており、演算を行うＣＰＵ（Central Processing Unit）５１と、演算に伴って発
生する一時的な情報を記憶するＲＡＭ（Random Access Memory）５２と、光ディスク等の記録媒体６１から情報を読み取るＣＤ−ＲＯＭドライブ等のドライブ部５３と、画像表示部５４と、ハードディスク等の記憶部５５とを備えている。ＣＰＵ５１は、記録媒体６１からコンピュータプログラム６をドライブ部５３に読み取らせ、読み取ったコンピュータプログラム６を記憶部５５に記憶させる。コンピュータプログラム６は必要に応じて記憶５５からＲＡＭ５２へロードされ、ロードされたコンピュータプログラム６に基づいてＣＰＵ５１は画像高画質化装置５に必要な処理を実行する。記憶部５５は、第１辞書データ及び第２辞書データを記憶しており、更に、ＣＰＵ５１が実行すべき処理に必要なデータを記憶している。

コンピュータプログラム６は、実施の形態１〜８の何れかの画像高画質化装置１と同様の処理をＣＰＵ５１に実行させるためのコードを含んでいる。ＣＰＵ５１は、コンピュータプログラム６に従って、画像高画質化の処理を実行する。例えば、ＣＰＵ５１は、コンピュータプログラム６に従って、図６のフローチャートで示した処理を実行する。ＣＰＵ５１は、高画質化した画像を画像表示部５４に表示させる。

なお、画像高画質化装置５は、ドライブ部５３で記録媒体６１からコンピュータプログラム６を読み取る以外の方法でコンピュータプログラム６を取り込む形態であってもよい。例えば、画像高画質化装置５は、外部から送信されたコンピュータプログラム６を受信して記憶する形態であってもよい。また、画像高画質化装置５は、予めコンピュータプログラム６が記憶された記憶部５５を備えた形態であってもよい。また、画像高画質化装置５は、スマートフォン又はゲーム機であってもよい。また、画像高画質化装置５は、画像表示部５４を備えた形態に限るものでは無く、高画質化した画像を外部の画像表示装置に表示させる形態であってもよい。

１ 画像高画質化装置
１０３ 特徴量計算部
１０４ 係数行列計算部
１０５ 内積計算部
１０６ 第１辞書部
１０７ ベクトル選択部
１０８ フィルタ部
１０９ 合成部
１１５ ベクトル数計算部
１１６ 減衰部
２ 制御部
３ 入力部
４ 表示部
５ 画像高画質化装置
５１ ＣＰＵ
５２ ＲＡＭ
５３ ドライブ部
５４ 画像表示部
５５ 記憶部
６ コンピュータプログラム
６１ 記録媒体

Claims (16)

1. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶している手段と、
   前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶している手段と、
   高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算手段と、
   該係数計算手段が計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した高画質化画像を生成する手段とを備える画像高画質化装置において、
   前記係数計算手段は、
   任意の画像の特徴量と、該特徴量を前記複数の第１特徴量の総数よりも少数の第１特徴量の線形和で表すために必要な第１特徴量の数との対応関係に基づいて、前記複数の第１特徴量の内で、計算に用いる第１特徴量の数を決定する決定手段と、
   前記複数の第１特徴量の中から、前記決定手段が決定した数の第１特徴量を選択する選択手段と、
   前記特徴量及び前記選択手段が選択した第１特徴量に基づいて前記係数を計算する手段と
   を有することを特徴とする画像高画質化装置。
2. 前記計算する手段は、前記特徴量を前記線形和で表すための係数の内、前記選択手段が選択した第１特徴量以外の第１特徴量に乗じられる係数をゼロとし、前記選択手段が選択した第１特徴量に乗じられる係数を計算することを特徴とする請求項１に記載の画像高画質化装置。
3. 前記任意の画像の特徴量と、該特徴量を前記複数の第１特徴量の総数よりも少数の第１特徴量の線形和で表すために必要な前記第１特徴量の数との前記対応関係を記憶している対応関係記憶手段を更に備え、
   前記決定手段は、
   前記対応関係に基づいて、前記高画質化対象の画像の特徴量に対応する第１特徴量の数を決定するように構成してあること
   を特徴とする請求項１に記載の画像高画質化装置。
4. 前記対応関係記憶手段は、
   任意の画像に含まれるノイズの大きさ別に、前記対応関係を記憶してあり、
   前記決定手段は、
   前記高画質化対象の画像に含まれるノイズの大きさを計算する手段と、
   該手段が計算したノイズの大きさに応じた前記対応関係を特定する手段と、
   該手段が特定した前記対応関係に基づいて、前記画像の特徴量に対応する第１特徴量の数を決定する手段と
   を特徴とする請求項３に記載の画像高画質化装置。
5. 前記対応関係記憶手段は、
   ノイズの大きさが大きいほど、任意の画像の特徴量に対応する第１特徴量の数が少数になるような対応関係を記憶していること
   を特徴とする請求項４に記載の画像高画質化装置。
6. 前記高画質化対象の画像内の輝度分布の空間周波数成分の内で所定の空間周波数以上の高周波成分を抽出することにより、前記画像の特徴量を生成する手段と、
   前記決定手段が決定した数がゼロを超過する場合に、前記空間周波数成分の内で前記高周波成分よりも低周波の低周波成分を抽出する手段と、
   該手段が抽出した低周波成分と高画質化画像の特徴量とを足し合わせることにより、高画質化画像を生成する手段と、
   前記決定手段が決定した数がゼロである場合に、エッジ保存型フィルタにより前記高画質化対象の画像に含まれるノイズを除去する手段と、
   該手段によりノイズを除去した後の画像を、高画質化画像とする手段と
   を更に備えることを特徴とする請求項１から５の何れか一つに記載の画像高画質化装置。
7. 任意の画像に含まれる所定のノイズの各画素での値と該値を有する画素数との関係を示すヒストグラムに基づいて、前記高画質化対象の画像の特徴量の各画素での値に相当する前記所定のノイズの値に応じた前記ヒストグラムでの画素数が大きいほどゼロに近づき、前記画素数が小さいほど１に近づくゼロ以上１以下の増幅率を計算する手段と、
   該手段が計算した増幅率を、前記高画質化対象の画像の特徴量の各画素での値に乗じる手段と
   を更に備えることを特徴とする請求項１から６の何れか一つに記載の画像高画質化装置。
8. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶している手段と、
   前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶している手段と、
   高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算手段と、
   該係数計算手段が計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した高画質化画像を生成する手段とを備える画像高画質化装置において、
   前記係数計算手段は、
   前記複数の第１特徴量の内で計算に用いる第１特徴量の数を決定する決定手段と、
   前記複数の第１特徴量の中から、前記決定手段が決定した数の第１特徴量を選択する選択手段と、
   前記特徴量及び前記選択手段が選択した第１特徴量に基づいて前記係数を計算する手段と
   を有し、
   前記画像高画質化装置は、
   前記高画質化対象の画像内の輝度分布の空間周波数成分の内で所定の空間周波数以上の高周波成分を抽出することにより、前記画像の特徴量を生成する手段と、
   前記決定手段が決定した数がゼロを超過する場合に、前記空間周波数成分の内で前記高周波成分よりも低周波の低周波成分を抽出する手段と、
   該手段が抽出した低周波成分と高画質化画像の特徴量とを足し合わせることにより、高画質化画像を生成する手段と、
   前記決定手段が決定した数がゼロである場合に、エッジ保存型フィルタにより前記高画質化対象の画像に含まれるノイズを除去する手段と、
   該手段によりノイズを除去した後の画像を、高画質化画像とする手段と
   を更に備えることを特徴とする画像高画質化装置。
9. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶している手段と、
   前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶している手段と、
   高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算手段と、
   該係数計算手段が計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した高画質化画像を生成する手段とを備える画像高画質化装置において、
   前記係数計算手段は、
   前記複数の第１特徴量の内で計算に用いる第１特徴量の数を決定する決定手段と、
   前記複数の第１特徴量の中から、前記決定手段が決定した数の第１特徴量を選択する選択手段と、
   前記特徴量及び前記選択手段が選択した第１特徴量に基づいて前記係数を計算する手段と
   を有し、
   前記画像高画質化装置は、
   任意の画像に含まれる所定のノイズの各画素での値と該値を有する画素数との関係を示すヒストグラムに基づいて、前記高画質化対象の画像の特徴量の各画素での値に相当する前記所定のノイズの値に応じた前記ヒストグラムでの画素数が大きいほどゼロに近づき、前記画素数が小さいほど１に近づくゼロ以上１以下の増幅率を計算する手段と、
   該手段が計算した増幅率を、前記高画質化対象の画像の特徴量の各画素での値に乗じる手段と
   を更に備えることを特徴とする画像高画質化装置。
10. 請求項１から９の何れか一つに記載の画像高画質化装置と、
    該画像高画質化装置が高画質化した画像を表示する手段と
    を備えることを特徴とする画像表示装置。
11. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶しておき、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算し、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像を生成する画像高画質化方法において、
    任意の画像の特徴量と、該特徴量を前記複数の第１特徴量の総数よりも少数の第１特徴量の線形和で表すために必要な第１特徴量の数との対応関係に基づいて、前記複数の第１特徴量の内で、計算に用いる第１特徴量の数を決定し、
    前記複数の第１特徴量の中から、決定した数の第１特徴量を選択し、
    選択した第１特徴量及び前記特徴量に基づいて前記係数を計算すること
    を特徴とする画像高画質化方法。
12. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶しておき、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算し、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像を生成する画像高画質化方法において、
    前記複数の第１特徴量の内で、計算に用いる第１特徴量の数を決定し、
    前記複数の第１特徴量の中から、決定した数の第１特徴量を選択し、
    前記特徴量及び選択した第１特徴量に基づいて前記係数を計算すること
    を特徴とし、
    前記画像高画質化方法は、
    前記高画質化対象の画像内の輝度分布の空間周波数成分の内で所定の空間周波数以上の高周波成分を抽出することにより、前記画像の特徴量を生成することと、
    決定した第１特徴量の数がゼロを超過する場合に、前記空間周波数成分の内で前記高周波成分よりも低周波の低周波成分を抽出することと、
    抽出した低周波成分と高画質化画像の特徴量とを足し合わせることにより、高画質化画像を生成することと、
    決定した第１特徴量の数がゼロである場合に、エッジ保存型フィルタにより前記高画質化対象の画像に含まれるノイズを除去することと、
    ノイズを除去した後の画像を、高画質化画像とすることと
    を有する、画像高画質化方法。
13. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶しておき、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算し、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像を生成する画像高画質化方法において、
    前記複数の第１特徴量の内で、計算に用いる第１特徴量の数を決定し、
    前記複数の第１特徴量の中から、決定した数の第１特徴量を選択し、
    前記特徴量及び選択した第１特徴量に基づいて前記係数を計算すること
    を特徴とし、
    前記画像高画質化方法は、
    任意の画像に含まれる所定のノイズの各画素での値と該値を有する画素数との関係を示すヒストグラムに基づいて、前記高画質化対象の画像の特徴量の各画素での値に相当する前記所定のノイズの値に応じた前記ヒストグラムでの画素数が大きいほどゼロに近づき、前記画素数が小さいほど１に近づくゼロ以上１以下の増幅率を計算することと、
    計算した増幅率を、前記高画質化対象の画像の特徴量の各画素での値に乗じることと
    を有する、画像高画質化方法。
14. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶してあるコンピュータに、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算ステップと、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像を生成するステップとを実行させるためのコンピュータプログラムにおいて、
    前記係数計算ステップは、
    任意の画像の特徴量と、該特徴量を前記複数の第１特徴量の総数よりも少数の第１特徴量の線形和で表すために必要な第１特徴量の数との対応関係に基づいて、前記複数の第１特徴量の内で、計算に用いる第１特徴量の数を決定するステップと、
    前記複数の第１特徴量の中から、決定した数の第１特徴量を選択するステップと、
    選択した第１特徴量及び前記特徴量に基づいて前記係数を計算するステップと
    を含むことを特徴とするコンピュータプログラム。
15. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶してあるコンピュータに、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算ステップと、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像を生成するステップとを実行させるためのコンピュータプログラムにおいて、
    前記係数計算ステップは、
    前記複数の第１特徴量の内で計算に用いる第１特徴量の数を決定するステップと、
    前記複数の第１特徴量の中から、決定した数の第１特徴量を選択するステップと、
    選択した第１特徴量及び前記特徴量に基づいて前記係数を計算するステップと
    を含み
    前記コンピュータプログラムは、
    前記高画質化対象の画像内の輝度分布の空間周波数成分の内で所定の空間周波数以上の高周波成分を抽出することにより、前記画像の特徴量を生成するステップと、
    前記決定するステップが決定した数がゼロを超過する場合に、前記空間周波数成分の内で前記高周波成分よりも低周波の低周波成分を抽出するステップと、
    抽出した低周波成分と高画質化画像の特徴量とを足し合わせることにより、高画質化画像を生成するステップと、
    前記決定するステップが決定した数がゼロである場合に、エッジ保存型フィルタにより前記高画質化対象の画像に含まれるノイズを除去するステップと、
    ノイズを除去した後の画像を、高画質化画像とするステップと
    を前記コンピュータに更に実行させることを特徴とするコンピュータプログラム。
16. 任意の画像内の特徴量をその線形和で表すことができる複数の第１特徴量を記憶し、前記第１特徴量に対応する高画質の特徴量を示す複数の第２特徴量を記憶してあるコンピュータに、高画質化対象の画像の特徴量から、該特徴量を前記複数の第１特徴量の線形和で表すための係数を計算する係数計算ステップと、計算した係数を用いた前記線形和に含まれる第１特徴量の夫々を対応する第２特徴量に置き換えることにより、前記画像を高画質化した画像を生成するステップとを実行させるためのコンピュータプログラムにおいて、
    前記係数計算ステップは、
    前記複数の第１特徴量の内で計算に用いる第１特徴量の数を決定するステップと、
    前記複数の第１特徴量の中から、決定した数の第１特徴量を選択するステップと、
    選択した第１特徴量及び前記特徴量に基づいて前記係数を計算するステップと
    を含み、
    前記コンピュータプログラムは、
    任意の画像に含まれる所定のノイズの各画素での値と該値を有する画素数との関係を示すヒストグラムに基づいて、前記高画質化対象の画像の特徴量の各画素での値に相当する前記所定のノイズの値に応じた前記ヒストグラムでの画素数が大きいほどゼロに近づき、前記画素数が小さいほど１に近づくゼロ以上１以下の増幅率を計算するステップと、
    計算した増幅率を、前記高画質化対象の画像の特徴量の各画素での値に乗じるステップと
    を前記コンピュータに更に実行させることを特徴とするコンピュータプログラム。

Images