JP4253910B2

JP4253910B2 - 画像情報変換装置および変換方法

Info

Publication number: JP4253910B2
Application number: JP10669499A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-04-14
Filing date: 1999-04-14
Publication date: 2009-04-15
Anticipated expiration: 2019-04-14
Also published as: JP2000299862A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像信号に対して例えば解像度の向上等を目的とする画像情報変換を施す画像情報変換装置および変換方法に関する。
【０００２】
【従来の技術】
近年、入力画像の解像度を向上させるためにクラス分類適応処理を用いる方法が提案されている。かかる方法の概要は以下のようである。すなわち、入力画像信号から幾つかの画素（クラスタップ）を切り出し、クラスタップのデータに基づいてクラス分類を行い、分類されたクラス毎に予め決定されている予測係数と、入力画像信号から別途を切り出した画素（予測タップ）との線形一次結合演算の結果として、入力画像信号に比べて解像度が向上させられた画像信号を得る方法である。
【０００３】
【発明が解決しようとする課題】
上述したような方法においては、ぼけが小さい部分に比べて、ぼけが大きい部分で解像度の向上の程度が小さいという問題がある。
【０００４】
入力画像上でぼけが大きい部分に対して解像度をより向上させるためには、および／または予測タップのタップ構造においてタップ間の間隔を広とることが有効であることは実験的、経験的に知られている。しかしながら、最適な間引き間隔を判定する方法は知られていなかった。
【０００５】
従って、この発明の目的は、ぼけが大きい部分等においても良好な解像度を得ることが可能な画像情報変換装置および変換方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、
入力画像信号のうち、処理対象である注目画素とその周辺の画素とに対して、直交変換を施す直交変換手段と、
直交変換手段によって生成される直交変換係数を周波数の順に複数の領域に分割し、各領域において直交変換係数の分散値を計算し、計算した各領域の分散値と、所定のしきい値とを順次比較し、しきい値に対する大小関係から間引き率を決定する間引き率決定手段と、
入力画像信号のうち、処理対象である注目画素とその周辺の画素とを、間引き率決定手段で決定された間引き率でクラスタップとして切り出すクラスタップ切り出し手段と、
入力画像信号のうち、処理対象である注目画素とその周辺の画素とを、間引き率決定手段で決定された間引き率で予測タップとして切り出す予測タップ切り出し手段と、
クラスタップ切り出し手段の出力に基づいて、クラスコードを発生するクラスコード発生手段と、
所定の入力画像信号を用いてクラス毎に予め学習によって生成されている予測係数を予め記憶し、クラスコード発生手段の出力に対応する予測係数を出力する係数記憶手段と、
係数記憶手段から出力される予測係数と、予測タップ切り出し手段から出力される予測タップのデータとの積和演算により、注目画素の画素値を予測推定するクラス分類適応処理手段と
を備える画像情報変換装置である。
【０００７】
請求項５の発明は、
入力画像信号のうち、処理対象である注目画素とその周辺の画素とに対して、直交変換を施す直交変換ステップと、
直交変換ステップによって生成される直交変換係数を周波数の順に複数の領域に分割し、各領域において直交変換係数の分散値を計算し、計算した各領域の分散値と、所定のしきい値とを順次比較し、しきい値に対する大小関係から間引き率を決定する間引き率決定ステップと、
入力画像信号のうち、処理対象である注目画素とその周辺の画素とを、間引き率決定ステップで決定された間引き率でクラスタップとして切り出すクラスタップ切り出しステップと、
入力画像信号のうち、処理対象である注目画素とその周辺の画素とを、間引き率決定ステップで決定された間引き率で予測タップとして切り出す予測タップ切り出しステップと、
クラスタップ切り出しステップの結果に基づいて、クラスコードを発生するクラスコード発生ステップと、
所定の入力画像信号を用いてクラス毎に予め学習によって生成されている予測係数から、クラスコード発生ステップの結果に対応する予測係数を出力する予測係数出力ステップと、
予測係数出力ステップにより出力される予測係数と、予測タップ切り出しステップにより得られる予測タップのデータとを積和演算することにより、注目画素の画素値を予測推定するクラス分類適応処理ステップと、
を備える画像情報変換方法である。
【０００８】
以上のような発明によれば、入力画像信号に基づいて生成される直交変換係数に基づいてクラスタップおよび／または予測タップの間引き率が決定される。
【０００９】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、理解を容易とするために、一般的なクラス分類適応処理について説明する。まず、図１を参照して、予測推定に係る構成について説明する。入力画像信号が領域切り出し回路１、２に供給される。領域切り出し回路１は、入力画像信号から所定の画素領域をクラスタップとして、切り出したクラスタップのデータをクラスコード発生回路４に供給する。クラスコード発生回路４は、供給されるデータにＡＤＲＣ(Adaptive Dynamic Range Coding) 等の処理を施し、処理結果に基づいて、分類されるクラスに対応するクラスコードを発生して予測演算部５に供給する。
【００１０】
一方、領域切り出し回路２は、入力画像信号から所定の画素領域を予測タップとして切り出し、切り出した予測タップのデータを予測演算部５に供給する。予測演算部５は、供給されるデータと、クラスコード発生回路４から供給されるクラスコードに対応する予測係数とに基づいて以下の式（１）に従う積和演算を行うことによって出力画像信号を生成する。予測係数は後述するようにして予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする等の形態で予測演算部５内の所定のメモリに記憶されている。
【００１１】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋‥‥＋ｗ_n×ｘ_n （１）
ここで、ｘ₁，‥‥，ｘ_nが各予測タップであり、ｗ₁，‥‥，ｗ_nが各予測係数である。
【００１２】
次に、図２を参照して、学習、すなわちクラス毎の予測係数を求める処理について説明する。ノイズを含まない所定の入力画像信号（教師信号と称する）がＬＰＦ(Low Pass Filter) ２１と、正規方程式演算部２７とに供給される。ＬＰＦ２１は、教師信号に対して、例えば解像度を低下させる等の画像情報変換の目的に対応する処理を施す。ＬＰＦ２１の出力が領域切り出し回路２２、２３に供給される。領域切り出し回路２２は、供給される信号から所定の画素領域をクラスタップとして切り出し、切り出したクラスタップのデータをクラスコード発生回路２５に供給する。クラスコード発生回路２５は、供給されるデータにＡＤＲＣ等の処理を施し、処理結果に基づいてクラスコードを発生する。発生したクラスコードは、正規方程式演算部２７に供給される。
【００１３】
一方、領域切り出し回路２３は、供給される画像信号から所定の画素領域を予測タップとして切り出し、予測タップのデータを正規方程式演算部２７に供給する。正規方程式演算部２７は、領域切り出し回路２３から供給されるデータと、教師信号とに基づいて所定の演算処理を行うことにより、クラスコード発生回路２５から供給されるクラスコードに対応する予測係数を算出する。算出された予測係数がメモリ２９に供給される。メモリ２９の記憶内容が図１中の予測演算部５内の所定のメモリにロードされる。
【００１４】
予測係数は、最小自乗法を含む演算処理によって算出することができる。より具体的には、正規方程式を解くことによって予測係数が算出される。正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数ｗ₁，‥‥，ｗ_nが未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００１５】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn （２）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ₁，‥‥，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅ_kを以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００１６】
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝（３）
（ｋ＝１，２，‥‥ｍ）
【００１７】
【数１】

【００１８】
式（４）のｅ²を最小とする予測係数を求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i(i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを定めれば良い。
【００１９】
【数２】

【００２０】
式（５）から各予測係数ｗ_iを定める具体的な手順について説明する。式（６）、（７）のようにＸ_ji，Ｙ_iを定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２１】
【数３】

【００２２】
【数４】

【００２３】
【数５】

【００２４】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定部２８は、領域切り出し回路２３から供給されるデータと、教師信号とに基づいて正規方程式（８）中の各パラメータを算出する。予測係数決定部２８は、さらに、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くことにより、予測係数ｗ_iを算出する。
【００２５】
上述したようなクラス分類適応処理において、クラスタップおよび／または予測タップのタップ構造における好適な間引き間隔は、入力画像信号の性質によって異なる。この点について以下に説明する。図３に、入力画像信号からの画素のサンプリングの一例を示す。ここでは、注目画素の周辺に高域成分が多い場合に、クラスタップおよび予測タップとして間引き無しのタップ構造を用いる場合を図示した。すなわち、注目画素の周辺に、５個のクラスタップ（すなわち、注目画素自身とその前後の２個ずつの画素）と、１３個の予測タップ（すなわち、クラスタップとして用いられる５個の画素とその前後の４個ずつの画素）とが配置される。
【００２６】
一般に、注目画素の近傍に高域成分がある程度以上の比率で含まれる場合には、クラスタップおよび／または予測タップのタップ構造における間引き間隔を詰めてクラス分類適応処理を行うことにより、解像度向上の程度を高めることができることが知られている。これに対し、注目画素の近傍に高域成分が少なくなだらかな変化しかない場合には、クラスタップおよび／または予測タップのタップ構造における間引き間隔を詰めても解像度向上の程度が高くならないことが知られている。
【００２７】
また、注目画素の近傍に高域成分が少ない場合には、例えば図４に示すように、クラスタップおよび／または予測タップの間引き間隔を広くとって入力画像信号中の広い領域をカバーするようなタップ構造を用いることにより、解像度向上の程度を高めることができる。そして、注目画素の近傍における入力画像信号のアクティビティ、すなわちレベル変化の程度と、間引き率および解像度の改善の程度との間には、何らかの最適な関係があることも、経験的、実験的に知られている。
【００２８】
ここでは、説明を簡明とするために、１次元のクラスタップおよび予測タップを用いてクラス分類適応処理を行う場合を例として説明したが、上述した点は、２次元、３次元等のクラスタップ、予測タップについての間引き間隔についても同様である。
【００２９】
この発明は、入力画像信号に基づいて計算される直交変換係数に基づいて、クラスタップおよび／または予測タップについての最適な間引き率を決定するようにしたものである。この発明の一実施形態について、図５に示すような、注目画素を中心として１次元上に分布するｎ画素について直交変換を行う場合を例として説明する。より具体的には、ｎ＝１６の場合について説明する。直交変換としては、例えば離散コサイン変換（以下、ＤＣＴと表記する），離散フーリエ変換、アダマール変換等を用いることができる。但し、上述したように、２次元、３次元等のクラスタップ、予測タップを使用する場合についての間引き間隔についてもこの発明を適用することは可能である。なお、以下の説明においては、入力画像信号が標準テレビジョン画像信号であり、且つ、出力画像信号も標準テレビジョン画像信号であることを前提とする。
【００３０】
この場合において、図６に示すように、直交変換係数を左からＤＣ値→高域の順に例えば１６個（ＤＣ値１個とＡＣ１〜ＡＣ１５までの１５個のＡＣ成分）に区切って並べ、重複部分を有する複数の領域に分割する。ここでは領域１、領域２、領域３、領域４の４個の領域に分割する場合を例として説明する。領域４はＤＣ値以外の全ての全てのＡＣ成分を含む領域とされ、領域３はＡＣ２〜ＡＣ１５のＡＣ成分を含む。領域２はＡＣ４〜ＡＣ１５のＡＣ成分を含む。また、領域１はＡＣ８〜ＡＣ１５のＡＣ成分を含む。そして、領域１、領域２、領域３、領域４の各々における係数値の分散値ｖａｒ１、ｖａｒ２、ｖａｒ３、ｖａｒ４が以下の式（９）、式（１０）、式（１１）、式（１２）に従って計算される。
【００３１】
【数６】

【００３２】
【数７】

【００３３】
【数８】

【００３４】
【数９】

【００３５】
図４等を参照して上述したようにして計算される分散値に基づいて、以下のような論理式（１３）に従ってしきい値ｔｈを参照する処理を行うことにより、最適間引き率を決定する。
【００３６】

上述したように、ｖａｌ１，ｖａｌ２，ｖａｌ３，ｖａｌ４の順に低域の直交係数値の比率が順次大きくなる。このため、論理式（１３）により、間引き率が以下のように決められると考えられる。すなわち、注目画素の周囲で高域成分がある程度以上の比率を占める場合には間引き無しとされ、注目画素の周囲で高域成分が占める比率が小さくなるにつれて間引き幅が大きく（すなわち間引き率が大きく）なされる。注目画素の周囲で高域成分が占める比率が小さい状況としては、注目画素の周囲が変化が小さい画像部分である場合、注目画素の周囲がぼけを含む場合等がある。このようにして決定した最適間引き率の下でタップ構造を設定してクラス分類適応処理を行うようにすれば、ぼけの大きい部分を含め、画像全体についてより一層の解像度の向上を実現することができる。
【００３７】
次に、この発明の一実施形態の構成について図７を参照して説明する。入力画像信号が直交変換演算処理回路３１および遅延回路３２に供給される。直交変換演算処理回路３１は、供給される信号にＤＣＴ変換等の直交変換を施し、直交変換係数を間引き率決定部３３に供給する。間引き率決定部３３は、直交変換演算処理回路３１の出力に基づいて上述の論理式（１３）に従う演算処理を行う。かかる処理によって間引き率が決定され、決定された間引き率がタップ切り出し部３４に供給される。
【００３８】
一方、遅延回路３２は、供給される入力画像信号を直交変換演算処理回路３１および間引き率決定部３３の動作時間に相当する分だけ遅延させてタップ切り出し部３４に供給する。タップ切り出し部３４は、間引き率決定部１３から供給される間引き率の下でクラスタップおよび予測タップを切り出し、クラスタップおよび予測タップのデータをクラス分類適応処理部３５に供給する。クラス分類適応処理部３５は、供給されるデータに基づいて図１等を参照して上述したようなクラス分類適応処理を施すことにより、解像度の向上等を目的とする画像情報変換を行う。
【００３９】
次に、間引き率決定部３３の構成について図８を参照して詳細に説明する。間引き率決定部３３は、分散値計算回路１３１、１３２、１３３、１３４を有し、また、論理演算回路１３５等を有する。分散値計算回路１３１、１３２、１３３、１３４は、上述の式（９）〜式（１２）のそれぞれに従って直交変換係数の周波数領域毎に分散を計算し、分散値ｖａｌ１，ｖａｌ２，ｖａｌ３，ｖａｌ４を計算する。分散値計算回路１３１の構成についてより詳細に説明する。分散値計算回路１３１は、積算平均回路１４１、遅延回路１４２、減算器１４３、２乗計算回路１４４、積算平均回路１４５等を有する。直交変換演算処理部３１から出力される直交変換係数が積算平均回路１４１および遅延回路１４２に供給される。
【００４０】
積算平均回路１４１は、領域１内の直交変換係数を積算し、積算値を領域１内の直交変換係数の個数（ここでは８）で割る計算を行うことにより、式（９）におけるＡＣ_iの平均値を計算する。積算平均回路１４１の出力が減算器１４３に供給する。一方、遅延回路１４２は、供給される直交変換係数を、積算平均回路１４１の動作時間分だけ遅延させて減算器１４３に供給する。減算器１４３は、式（９）における括弧内の減算を行い、減算結果を２乗計算回路１４４に供給する。２乗計算回路１４４は、減算器１４３の出力を２乗する計算を行い、計算結果を積算平均回路１４５に供給する。積算平均回路１４５は、２乗計算回路１４４の出力を積算し、積算値を領域１内の直交変換係数の個数（ここでは８）で割る計算を行うことにより、ｖａｒ１を最終的に算出する。
【００４１】
分散値計算回路１３２、１３３、１３４としては、分散値計算回路１３１と同様な構成を使用することができる。但し、分散値計算回路１３２、１３３、１３４中の第１および第２の積算平均回路では、それぞれ、領域２、３、４内の直交変換係数の個数で割る計算が行われる。分散値計算回路１３１〜１３４によって計算される分散値ｖａｌ１〜ｖａｌ４が論理演算回路１３５に供給される。また、論理演算回路１３５は、論理式（１３）に従う論理演算を行う。論理演算回路１３５は、例えば４個の比較器を有する構成等によって実現することができる。
【００４２】
上述したこの発明の一実施形態においては、入力画像信号が標準テレビジョン画像信号であり、且つ、出力画像信号も標準テレビジョン画像信号であることを前提としている。これに対し、出力画像信号がＨＤ(High Definition) 画像信号である場合等においても、この発明を適用することができる。
【００４３】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４４】
【発明の効果】
この発明によれば、クラス分類適応処理を行う際に切り出すクラスタップおよび／または予測タップのタップ構造における間引き率を、ＤＣＴ等の直交変換によって入力画像信号に基づいて生成される直交変換係数に基づいて最適に設定することができる。
【００４５】
このため、特にぼけの大きい部分等において解像度をより大きく向上させることが可能となる。
【００４６】
従って、ぼけの大きい部分等を含めて画像全体についてより一層の解像度の向上を実現することができる。
【図面の簡単な説明】
【図１】クラス分類適応処理における予測推定に係る一般的な構成について説明するためのブロック図である。
【図２】クラス分類適応処理における学習に係る一般的な構成について説明するためのブロック図である。
【図３】入力画像信号に高域成分が多い場合に好適なタップ構造について説明するための略線図である。
【図４】入力画像信号に高域成分が少ない場合に好適なタップ構造について説明するための略線図である。
【図５】この発明の一実施形態における直交変換について説明するための略線図である。
【図６】この発明の一実施形態における直交変換係数の領域分けについて説明するための略線図である。
【図７】この発明の一実施形態の全体的な構成の一例を示すブロック図である。
【図８】この発明の一実施形態の一部の構成の一例を示すブロック図である。
【符号の説明】
３１・・・直交変換処理回路、３３・・・間引き率決定回路

Claims

入力画像信号のうち、処理対象である注目画素とその周辺の画素とに対して、直交変換を施す直交変換手段と、
上記直交変換手段によって生成される直交変換係数を周波数の順に複数の領域に分割し、各領域において上記直交変換係数の分散値を計算し、計算した各領域の分散値と、所定のしきい値とを順次比較し、上記しきい値に対する大小関係から間引き率を決定する間引き率決定手段と、
上記入力画像信号のうち、処理対象である上記注目画素とその周辺の画素とを、上記間引き率決定手段で決定された間引き率でクラスタップとして切り出すクラスタップ切り出し手段と、
上記入力画像信号のうち、処理対象である上記注目画素とその周辺の画素とを、上記間引き率決定手段で決定された間引き率で予測タップとして切り出す予測タップ切り出し手段と、
上記クラスタップ切り出し手段の出力に基づいて、クラスコードを発生するクラスコード発生手段と、
所定の入力画像信号を用いてクラス毎に予め学習によって生成されている予測係数を予め記憶し、上記クラスコード発生手段の出力に対応する予測係数を出力する係数記憶手段と、
上記係数記憶手段から出力される予測係数と、上記予測タップ切り出し手段から出力される予測タップのデータとの積和演算により、上記注目画素の画素値を予測推定するクラス分類適応処理手段と
を備える画像情報変換装置。
請求項１において、
上記直交変換は、離散コサイン変換である画像情報変換装置。
請求項１において、
上記直交変換は、離散フーリエ変換である画像情報変換装置。
請求項１において、
上記直交変換は、アダマール変換である画像情報変換装置。
入力画像信号のうち、処理対象である注目画素とその周辺の画素とに対して、直交変換を施す直交変換ステップと、
上記直交変換ステップによって生成される直交変換係数を周波数の順に複数の領域に分割し、各領域において上記直交変換係数の分散値を計算し、計算した各領域の分散値と、所定のしきい値とを順次比較し、上記しきい値に対する大小関係から間引き率を決定する間引き率決定ステップと、
上記入力画像信号のうち、処理対象である上記注目画素とその周辺の画素とを、上記間引き率決定ステップで決定された間引き率でクラスタップとして切り出すクラスタップ切り出しステップと、
上記入力画像信号のうち、処理対象である上記注目画素とその周辺の画素とを、上記間引き率決定ステップで決定された間引き率で予測タップとして切り出す予測タップ切り出しステップと、
上記クラスタップ切り出しステップの結果に基づいて、クラスコードを発生するクラスコード発生ステップと、
所定の入力画像信号を用いてクラス毎に予め学習によって生成されている予測係数から、上記クラスコード発生ステップの結果に対応する予測係数を出力する予測係数出力ステップと、
上記予測係数出力ステップにより出力される予測係数と、上記予測タップ切り出しステップにより得られる予測タップのデータとを積和演算することにより、上記注目画素の画素値を予測推定するクラス分類適応処理ステップと、
を備える画像情報変換方法。