JP3781203B2

JP3781203B2 - 画像信号補間装置及び画像信号補間方法

Info

Publication number: JP3781203B2
Application number: JP31905494A
Authority: JP
Inventors: 邦雄川口; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-28
Filing date: 1994-11-28
Publication date: 2006-05-31
Anticipated expiration: 2021-05-31
Also published as: JPH08154251A; US6016164A; US6285714B1

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図６〜図８）
発明が解決しようとする課題
課題を解決するための手段（図１及び図２）
作用（図１）
実施例
（１）全体構成（図１及び図２）
（２）クラス分類処理（図３及び図４）
（３）予測係数メモリの作成（図５）
（４）実施例の動作（図１）
（５）実施例の効果
（６）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号補間装置に関し、例えばサブサンプリングにより間引かれた画素を補間することにより画像の解像度を向上させる画像信号補間装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、画像信号を記録、伝送する際の帯域圧縮あるいは情報量削減のための方法としてサブサンプリングによつて原画像の画素を所定間隔おきに間引く方法が広く用いられている。その一例としては、ＭＵＳＥ（MUltiple Sub-nyquist Sampling Encoding）方式における多重サブナイキストサンプリングエンコーデイング方式がある。
【０００４】
またサブサンプリングの一例としてオフセツトサブサンプリングが広く用いられている。このオフセツトサブサンプリングにおいては、２次元の場合には図６に示すように水平方向（ｘ方向）及び垂直方向（ｙ方向）のサンプリング間隔（Ｔｘ、Ｔｙ）をそれぞれ原信号における画素間隔（Ｈｘ、Ｈｙ）の２倍に設定することにより、１画素おきにサブサンプル（×）する。またオフセツトサブサンプリングでは、垂直方向に隣合うサンプリング点（○）を互いにサンプリング間隔の半分（Ｔｘ／２）だけオフセツトする。この結果オフセツトサブサンプリング後の画像信号の伝送帯域は、図７に示すように斜め方向の空間周波数に対して水平あるいは垂直方向の空間周波数成分を広帯域化することができ、この結果視覚上画質劣化の目立たない間引き処理を行うことができる。
【０００５】
ここでオフセツトサブサンプリングされた画像信号をモニタに表示したりプリントアウトする場合には、図８に示すように各サンプリング点間の画素を隣接画素を用いて補間する必要がある。このような補間処理は、図７に示す斜線領域の周波数成分を通過させると共に、折り返し点Ａを含む領域の周波数成分の通過を阻止する空間フイルタとして機能するものであり、この補間処理はサンプリング理論上では後置フイルタとして位置付けられる。
【０００６】
【発明が解決しようとする課題】
ところで、オフセツトサブサンプリングは、サブサンプリング前の前置フイルタが正しくかけられている場合には非常に有効な手法であるが、例えばハードウエア上の制約によつて前置フイルタを十分にかけられない場合や伝送帯域の広帯域化をはかるために前置フイルタを十分にかけない場合等には折り返し歪みに基づく画像劣化が発生する問題がある。
【０００７】
この折り返し歪みの発生を軽減する一つの方法として、適応型補間方法が提案されている。この方法は、サブサンプリングされた画像信号に対して補間処理を行う際に、補間画素の周辺で相関の強い方向を検出し、当該検出結果に応じて複数の異なつた補間手段を選択的に用いて補間処理を行うものである。
【０００８】
ところで、適応型補間方法においては、補間精度が相関の強い方向を検出する際の検出精度と個々の補間手段の能力とに大きく依存する。そのため、個々の補間手段の能力が十分でなく適切な補間ができない場合や、相関の強い方向を誤判定した場合には、本来の信号成分を減少させるばかりでなく、逆に折り返し歪みを増大させてしまう問題点があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、折り返し歪みの発生を未然に回避して真値に近い補間画素値を求めることができる簡易な構成の画像信号補間装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明は、所定画素が間引かれた伝送画像データを入力し、当該間引かれた画素を補間する装置又は方法であって、補間対象画素の近傍画素を用いて、補間対象画素の近傍における平坦度を検出し、この平坦度の大きさが所定の基準以下であった場合には、補間対象画素から第１の範囲内に分布する画素を選択し、基準を超えていた場合には、補間対象画素から第１の範囲よりも広い第２の範囲内に分布する画素を選択し、選択された画素のレベル分布のパターンに応じて、補間対象画素をクラス分類し、当該クラスに対応する予測係数を発生し、その予測係数と、補間対象画素の周辺における伝送画像データの画素とを用いて、線形結合に基づく演算により補間対象画素を算出するようにした。
【００１１】
また本発明は、所定画素が間引かれた伝送画像データを入力し、当該間引かれた画素を補間する装置又は方法であって、補間対象画素の近傍画素を用いて、補間対象画素の近傍における平坦度を検出し、この平坦度の大きさが所定の基準以下であった場合には、補間対象画素から第１の範囲内に分布する画素を選択し、基準を超えていた場合には、補間対象画素から第１の範囲よりも広い第２の範囲内に分布する画素を選択し、選択された画素のレベル分布のパターンに応じて、補間対象画素をクラス分類し、当該クラスに対応する代表値を発生し、この代表値を補間対象画素に対応するデータとした。
【００１２】
【作用】
クラスに対応した予測係数又は代表値を使って補間対象画素を求めるようにしたことにより、真値に近い補間画素値を得ることができる。加えて、補間対象画素近傍の平坦度を検出し、当該検出結果に応じてクラス分類に用いる周辺画素を選択するようにしたことにより、補間対象画素を少ないクラス数で的確にクラス分類できるようになる。
【００１３】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１４】
（１）全体構成
図１において、１は全体として画像信号補間装置を示し、オフセツトサブサンプリングによつて情報量が削減された入力画像データＤ１に対してクラス分類による適応補間処理を施すことにより真値に近い補間データＤ２を生成するようになされている。
【００１５】
具体的には、画像信号補間装置１は、補間対象画素の周辺のサンプリング画素（すなわち入力画像データＤ１に含まれている画素）のレベル分布のパターンに応じて補間対象画素（すなわち間引かれた画素）をクラス分類し、予め各クラス毎に学習により求められている予測係数を読み出し、この予測係数を使つて補間画素値を求める。
これにより画像信号補間装置１においては、補間対象画素を単にその周辺のサンプリング画素を用いた平均補間によつて求める場合と比較して、格段に真値に近い補間画素値を求めることができる。
【００１６】
画像信号補間装置１は入力画像データＤ１をブロツク化回路２に入力し、当該ブロツク化回路２において入力画像データＤ１を所定の大きさのブロツクに分割する。実際上ブロツク化回路２は、図２に示すように、補間対象画素（×印）を中心としてその周辺の１２個の周辺画素ａ〜ｌによつて各ブロツクを形成するようになされている。
【００１７】
平坦度検出回路３はブロツク化画像データＤ３を入力し、そのブロツク内の補間対象画素を含む領域での局所的な平坦度を検出する。具体的には、平坦度検出回路３は、補間対象画素（×印）に隣接する４個の周辺画素ａ〜ｄを用いて平坦度を検出する。
【００１８】
そして周辺画素ａ〜ｄの平坦度が小さかった場合には、補間対象画素（×印）のクラスをこの４画素ａ〜ｄのみで十分に推定し得ると判断し、続く画素選択回路４にこのことを表わす平坦度検出信号Ｄ４を送出する。これに対して、周辺画素ａ〜ｄの平坦度が大きかつた場合には、補間対象画素のクラスをこの４画素ａ〜ｄのみでは推定し得ないと判断し、続く画素選択回路４にこのことを表わす平坦度検出信号Ｄ４を送出する。因に、実施例の平坦度検出回路３では、４画素ａ〜ｄの画素値の最大値と最小値の差が２０を越えていた場合に平坦度が小さいとし、２０以下であつた場合に平坦度が大きいするようになされている。
【００１９】
画素選択回路４は平坦度検出信号Ｄ４に基づいて、平坦度が小さかつた場合には選択画素データＤ５としてブロツク内画素ａ〜ｌのうち４画素ａ〜ｄの画素データのみを適応ダイナミツクレンジ符号化（ＡＤＲＣ（Adaptive Dynamic Range Coding ））回路５に送出する。これに対して画素選択回路４は平坦度が大きかつた場合には選択画素データＤ５として、４画素ａ〜ｄの平均値Ｍと共に周辺画素ｅ〜ｌの合計９個の画素データをＡＤＲＣ回路５に送出する。
【００２０】
ＡＤＲＣ回路４は画素選択回路４からの選択画素データＤ５を受け、当該選択画素データＤ５に対して適応ダイナミツクレンジ符号化処理を施すことにより各画素値をビツト圧縮することによりパターン圧縮データＤ６を形成する。
【００２１】
このように画像信号補間装置１においては、常にブロツク化回路２により切り出された周辺画素ａ〜ｌ全てを用いてクラス分類するのではなく、局所的な周辺画素ａ〜ｄの平坦度に応じてクラス分類に用いる画素数を適応的に選択するようにしたことにより、クラス数を有効に削減することができる。
【００２２】
この結果、続くＡＤＲＣ回路５を例えば１ビツトの適応量子化を行うもので構成すると、平坦度が小さいときには補間対象画素の周辺の状態を２⁴個のパターンで表現し得、平坦度が大きいときには２⁹個のパターンで表現し得る。従つて周辺の１２画素全てを用いたときのパターンが２¹²個であることを考えると、補間対象画素を非常に少ないパターンで表現できることが分かる。
【００２３】
これに加えて、ＡＤＲＣ回路５は平坦度検出回路３からの平坦度検出信号Ｄ４に基づいてビツト圧縮率を切り換えるようになされている。具体的には、平坦度が小さいことを表わす平坦度検出結果信号Ｄ４を受けると４画素ａ〜ｄに対して１画素当り８ビツトの各画素値を２ビツトに圧縮する。これに対して平坦度が大きいことを示す平坦度検出信号Ｄ４を受けると平均画素値Ｍ及び周辺８画素ｅ〜ｌの合計９画素をそれぞれ１ビツトに圧縮する。
【００２４】
従つて周辺画素の状態は、平坦度が小さい場合には４⁴個のパターンで表され、平坦度が大きい場合には２⁹個のパターンで表わされる。これによりＡＤＲＣ回路５は、周辺画素の特徴量を残しながら効率の良い圧縮処理を施すことができる。
【００２５】
パターン圧縮データＤ６はクラスコード発生回路６に与えられる。クラスコード発生回路６はパターン圧縮データＤ６に基づいたクラスコードＤ６を発生し、これを予測係数メモリ７に与える。予測係数メモリ７はクラスコードＤ６を読み出しアドレスとして、予めクラス毎に後述する学習によつて求められて記憶されている予測係数Ｄ８を出力する。
【００２６】
予測演算回路８はブロツク化画像データＤ３に含まれる各画素値ａ〜ｌと予測係数Ｄ８とを用いて線形一次結合式に基づく演算を行うことにより、補間対象画素の画素値を算出し、これを補間データＤ２として出力する。
【００２７】
かくして画像信号補間装置１においては、予め学習により求めた予測係数を用いて補間画素を形成するようにしたことにより真値に近い補間画素値を得ることができる。また平坦度に応じてクラス分類に用いる画素を選択すると共にクラス分類の際の圧縮率を変化させるようにしたことによりクラス分類の効率を格段に改善し得る。この結果クラス数が減ることにより、予測係数メモリ７の構成を簡易化し得る。
【００２８】
（２）クラス分類処理
次にＡＤＲＣ回路５及びクラスコード発生回路６によるクラス分類処理について説明する。ＡＤＲＣ回路５は画像のもつ局所的特徴としてブロツク内ダイナミツクレンジを定義し、主としてレベル方向の冗長度を適応的に除去する。例えば図３に示すように、１画素当り８ビツトの画素データの持つ０〜 255のダイナミツクレンジの中で、各ブロツク毎に再量子化するために必要なブロツク内ダイナミツクレンジＡ、Ｂは大幅に小さくなることが分かる。従つてこの小さなダイナミツクレンジＡ、Ｂ内で再量子化を行えば、必要なビツト数を大幅に低減することができるのである。
【００２９】
具体的には、ＡＤＲＣ回路５は先ずブロツク内ダイナミツクレンジをＤＲ、ビツト割当をｐ、ブロツク内の各画素レベルをｘ、再量子化コードをＱとして、次式
【数１】

により、図４（Ａ）に示すようにブロツク内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等に分割して再量子化を行う。因に、図４は３ビツトで再量子化した場合（すなわちｐ＝３の場合）を表わす。
【００３０】
次に、図４（Ａ）の最上位の階調レベル（２^p−１）に相当するデータレベル内に存在するブロツク内画素の平均値をとり、これを図４（Ｂ）に示すように最大値ＭＡＸ′とする。また図４（Ａ）の最下位の階調レベル０に相当するデータレベル内に存在するブロツク内画素の平均値をとり、これを図４（Ｂ）に示すように最小値ＭＩＮ′とする。
【００３１】
次に新しく求めた最大値ＭＡＸ′及び最小値ＭＩＮ′によりブロツク内ダイナミツクレンジＤＲ′を新たに定義し直して、再量子化コードをｑとして、新しく求めたブロツク内の最大値ＭＡＸ′及び最小値ＭＩＮ′に基づいて、次式
【数２】

により図４（Ｂ）に示すような再量子化を行う。
このようにＡＤＲＣ回路５は二重の再量子化を行うことにより、ノイズによる悪影響を低減して効率の良い情報量圧縮を行いパターン圧縮データＤ６を形成する。但し実施例のＡＤＲＣ回路５は３ビツトで再量子化を行うのではなく、上述したように平坦度検出信号Ｄ４に応じて１ビツト又は２ビツトで再量子化を行う。
【００３２】
クラス分類回路６は、このようにＡＤＲＣ回路５によつてｐビツトにデータ圧縮された結果の再量子化データをｑ₁〜ｑ_nとして、次式
【数３】

を実行することにより、そのブロツクの属するクラスすなわち補間対象画素のクラスを表わすクラスコードｃ（Ｄ７）を決定する。
【００３３】
（３）予測係数メモリの作成
次に予測係数メモリ７に記憶させる予測係数の求め方を、図５に従つて説明する。先ずステツプＳＰ１において予測係数を学習するために、既に知られている画像に対応した学習データを形成する。具体的には、図２におけるサンプリング画素ａ〜ｌと、補間対象画素（×印）のサブサンプル以前の画素値を一組の学習データとする。
【００３４】
なお、このように学習データを形成する際に、１つの画像のみを用いるのではなく複数の画像を用いることで非常に多数の学習データを形成すれば、より正確な予測係数を得ることができる。
【００３５】
ステツプＳＰ２では必要上十分な学習データが形成されたか否か判定する。そして更に学習データが必要であると判定した場合にはステツプＳＰ３に進み、十分な学習データが得られた判定した場合にはステツプＳＰ４に移る。
【００３６】
ステツプＳＰ３では学習データをクラス分類する。このとき上述した画像信号補間装置１でしたのと同様のクラス分類を行うようにする。具体的には、先ず学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択し、選択した画素をＡＤＲＣ符号化により圧縮した後にクラスコードを形成することにより各学習データをクラス分類する。
【００３７】
次にステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ₁、……、ｘ_nと注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス（ｃ）毎に予測係数ｗ₁、……、ｗ_nによるｎタツプの線型一次予測式で表現することにより、次式
【数４】

を形成する。
【００３８】
この（４）式における予測係数ｗ₁、……、ｗ_nを求めれば良い。そこで実際の補間対象画素と補間処理結果の誤差が最小になるような予測係数ｗ₁、……、ｗ_nを求める。ここで学習はクラス毎に複数の学習データに対して行うので、学習データ数がｍとすると一般的なｍ＞ｎである場合には予測係数ｗ₁、……、ｗ_nは一意に決定できない。そこで誤差ベクトルｅの要素を、それぞれの学習データｘ_k1、……、ｘ_kn、ｙ_k（ｋ＝１、２、……、ｍ）における予測誤差をｅ_kとして、次式
【数５】

のように定義して、次式
【数６】

を最小にする予測係数ｗ₁、……、ｗ_nを求める。いわゆる最小二乗法による解法である。
【００３９】
ここで（６）式のｗ_iによる偏微分係数を求めると、次式
【数７】

となる。（７）式が０になるような各ｗ_iを決めればよい。そこで次式
【数８】

及び
【数９】

のように、Ｘ_ij、Ｙ_iを定義すると、上述した（７）式は行列を用いて、次式
【数１０】

の正規化方程式に書き換えることができる。
【００４０】
ここで（１０）式の正規化方程式は未知数がｎ個の連立方程式であるから、これにより最確値である各未定係数ｗ₁、……、ｗ_nを求めることができる。すなわちこの予測係数算出処理手順では、ステツプＳＰ５において各クラス毎に未定係数ｗ₁、……、ｗ_nを求めることができるような正規化方程式を形成できるまでステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ５−ＳＰ１のループを繰り返す。
【００４１】
やがてステツプＳＰ５において各クラス毎に（１０）式で表わされる正規化方程式が形成され、ステツプＳＰ２において肯定結果が得られると、ステツプＳＰ４に進んで、ここで（１０）式の正規化方程式を解いて各クラス毎の予測係数ｗ₁、……、ｗ_nを決定する。具体的には、一般に（１０）式の左辺の行列は正定値対称なので、コレスキー法により解くことができる。
【００４２】
次にステツプＳＰ６において、各クラス毎に決定された予測係数ｗ₁、……、ｗ_nを予測係数メモリ７の対応するクラスのアドレスに格納し、続くステツプＳＰ７において当該予測係数算出処理手順を終了する。
【００４３】
（４）実施例の動作
以上の構成において、画像信号補間装置１は間引かれた画素を補間対象画素として、当該補間対象画素をその周辺のブロツク化データＤ３の状態に応じてクラス分類する。このとき画像信号補間装置１はクラス分類の前処理として、補間対象画素近傍の画素ａ〜ｄの平坦度を検出し、この平坦度の大きさによつてクラス分類に用いる周辺画素を選択する。この結果画像の特徴量をできるだけ残しながら必要最小限の画素を用いてクラス分類できるようになり、不必要なクラス数の増加を抑制し得、効率の良いクラス分類ができるようになる。
【００４４】
次に、画像信号補間装置１は選択された画素を圧縮することによりパターン圧縮データＤ６を形成し、当該パターン圧縮データＤ６に基づいてクラスコードＤ７を形成する。このとき画像信号補間装置１は平坦度の大きさにより圧縮率を変化させる。この結果画像の特徴量を残しながら十分な圧縮処理を施すことができるようになり、ここでも不必要なクラス数の増加を抑制し得る。
【００４５】
次に、画像信号補間装置１はクラスコードＤ７を読み出しアドレスとして、予測係数メモリ７に記憶された予測係数Ｄ８を読み出す。そして予測演算回路８によつてこのクラスｃに対応した予測係数ｗ₁（ｃ）〜ｗ₁₂（ｃ）とブロツク化データＤ３に含まれるサンプリング画素ａ〜ｌの画素データｘ₁〜ｘ₁₂とを、次式
【数１１】

のように線形一次結合することにより、補間対象画素に対応する補間値ｙ′を算出し、これを補間データＤ２として出力する。
【００４６】
このようにして画像補間装置１においては、原画に含まれる画素データとほとんど変わらない補間データＤ２を形成することができる。この補間データＤ２は図示しない合成回路により入力画像データＤ１と合成された後、例えばテレビジヨン受像装置やビデオテープレコーダ装置等に供給される。
【００４７】
（５）実施例の効果
以上の構成によれば、補間対象画素を含む周辺画素の局所的な平坦度を検出し、当該平坦度検出結果に応じて、クラス分類に用いる画素を選択すると共にクラス分類の際の圧縮率を変化させるようにしたことにより、補間対象画素を少ないクラス数で的確にクラス分類できる。これにより真値に近い補間データを形成し得る簡易な構成の画像信号補間装置１を実現できる。
【００４８】
（６）他の実施例
なお上述の実施例においては、補間対象画素の近傍４画素ａ〜ｄにより平坦度を検出し、平坦度が小さかつた場合にはこの４画素ａ〜ｄのみをクラス分類に用い、平坦度が大きかつた場合には４画素ａ〜ｄの平均値Ｍとさらに広い範囲に分布する周辺画素ｅ〜ｌを用いてクラス分類する場合について述べたが、平坦度検出に用いる画素数及び平坦度検出結果に応じて選択する画素数はこれに限らず、要は補間対象画素の近傍画素を用いて平坦度を検出し、平坦度が大きかつた場合には、平坦度が小さかつた場合に用いた画素よりも多くの画素を用いてクラス分類するようにすれば良い。
【００４９】
また上述の実施例においては、平坦度検出結果に応じて、クラス分類に用いる画素数を変えると共にＡＤＲＣ回路５の圧縮率も変化させる場合について述べたが、クラス分類に用いる画素数のみを変えるようにしても良い。また圧縮率を変化させる場合には、上述のように１ビツトと２ビツトで切り換える場合に限らない。
【００５０】
また上述の実施例においては、画像選択回路４によつて選択された選択画素データＤ５をＡＤＲＣ回路５及びクラスコード発生回路６を用いてビツト圧縮することによりクラス分類する場合について述べたが、クラス分類手段はＡＤＲＣ回路５及びクラスコード発生回路６に限らず、例えば離散コサイン変換（ＤＣＴ）、差分量子化（ＤＰＣＭ）、サブバンド符号化やウエーブレツト変換等の種々の圧縮手段を用いることができる。さらにクラス分類の方法はビツト圧縮によるものに限らず、例えば補間対象画素の周辺画像において相関性の強い方向を検出し、当該検出結果に基づいてクラス分類するようにしても良い。
【００５１】
また上述の実施例においては、クラス毎の予測係数を最小二乗法による学習により求めた場合について述べたが、予測係数の求め方はこれに限らず、種々の学習方法を用いることができる。
【００５２】
また上述の実施例においては、予測係数メモリ７及び予測演算回路８を設け、予め学習により予測係数メモリ７に記憶された予測係数Ｄ８をクラスコードＤ７に応じて読出し、読出した予測係数Ｄ８とブロツク化データＤ３を線形一次結合することにより補間データを求めるようにした場合について述べたが、本発明はこれに限らず、予測係数メモリ７及び予測演算回路８に代えて、予め学習により求めたクラス毎の代表値を格納するメモリを設け、クラスに応じた代表値を読み出して、読み出した代表値を補間データとするようにしても良い。
【００５３】
この場合、メモリに格納するを求める第１の方法としては、加重平均による学習がある。詳述すれば、補間対象画素に対応する真の画素値をクラス毎に積算し、この積算結果を積算した画素値の個数によつて割るといた処理を様々な画像に対して行うことによりクラス毎の代表値を得るといつた学習である。
【００５４】
また代表値を求める第２の方法としては、正規化による学習がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、当該ブロツク内のダイナミツクレンジによつて、補間対象画素に対応する真の画素値からブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で割るといつた処理を様々な画像に対して行うことによりクラス毎の代表値を得るといつた学習である。
【００５５】
【発明の効果】
上述のように本発明によれば、補間対象画素の近傍画素を用いて、補間対象画素の近傍における平坦度を検出し、この平坦度の大きさが所定の基準以下であった場合には、補間対象画素から第１の範囲内に分布する画素を選択し、基準を超えていた場合には、補間対象画素から第１の範囲よりも広い第２の範囲内に分布する画素を選択し、選択された画素のレベル分布のパターンに応じて、補間対象画素をクラス分類する。
そして該クラスに対応する予測係数を発生し、その予測係数と、補間対象画素の周辺における伝送画像データの画素とを用いて、線形結合に基づく演算により補間対象画素を算出する、又は当該クラスに対応する代表値を発生し、この代表値を補間対象画素に対応するデータとするようにした。
【００５６】
クラスに対応した予測係数又は代表値を使って補間対象画素を求めるようにしたことにより、真値に近い補間画素値を得ることができる。加えて、補間対象画素近傍の平坦度を検出し、当該検出結果に応じてクラス分類に用いる周辺画素を選択するようにしたことにより、補間対象画素を少ないクラス数で的確にクラス分類できる。
【図面の簡単な説明】
【図１】本発明による画像信号補間装置の一実施例の構成を示すブロツク図である。
【図２】実施例のクラス分類処理に用いる周辺画素の説明に供する略線図である。
【図３】ＡＤＲＣ回路によるビツト圧縮の説明に供する略線図である。
【図４】ＡＤＲＣ回路によるビツト圧縮の説明に供する略線図である。
【図５】学習による予測係数算出処理手順を示すフローチヤートである。
【図６】オフセツトサブサンプリングの説明に供する略線図である。
【図７】２次元のオフセツトサブサンプリングにより伝送可能な帯域の空間周波数スペクトラムを示す略線図である。
【図８】補間処理の説明に供する略線図である。
【符号の説明】
１……画像信号補間装置、３……平坦度検出回路、４……画素選択回路、５……ＡＤＲＣ回路、６……クラスコード発生回路、７……予測係数メモリ、８……予測演算回路、Ｄ１……入力画像データ、Ｄ２……補間データ、Ｄ３……ブロツク化データ、Ｄ４……平坦度検出信号、Ｄ５……選択画素データ、Ｄ６……パターン圧縮データ、Ｄ７……クラスコード、Ｄ８……予測係数、ａ〜ｌ……周辺画素。

Claims

所定画素が間引かれた伝送画像データを入力し、当該間引かれた画素を補間する画像信号補間装置において、
補間対象画素の近傍画素を用いて、上記補間対象画素の近傍における平坦度を検出する平坦度検出手段と、
上記平坦度検出手段により検出された平坦度の大きさが所定の基準以下であった場合には、上記補間対象画素から第１の範囲内に分布する画素を選択すると共に、上記基準を超えていた場合には、上記補間対象画素から上記第１の範囲よりも広い第２の範囲内に分布する画素を選択する画素選択手段と、
上記画素選択手段により選択された画素のレベル分布のパターンに応じて、上記補間対象画素をクラス分類するクラス分類手段と、
上記クラス分類手段により分類されたクラスに対応する予測係数を発生する予測係数発生手段と、
上記予測係数と、上記補間対象画素の周辺における上記伝送画像データの画素とを用いて、線形結合に基づく演算により上記補間対象画素を算出する画素算出手段と
を具えることを特徴とする画像信号補間装置。
上記画素選択手段は、
上記第２の範囲内に分布する画素を選択した場合には、当該第２の範囲内に分布する画素のうち上記第１の範囲に対応する画素の平均を平均画素として生成し、
上記クラス分類手段は、
上記第２の範囲内に分布する画素のうち上記第１の範囲に対応する画素以外の画素及び上記平均画素のレベル分布のパターンに応じて、上記補間対象画素をクラス分類する
ことを特徴とする請求項１に記載の画像信号補間装置。
上記クラス分類手段は、
上記画素選択手段により選択された画素の情報量を減らし、当該減らされた画素のレベル分布のパターンに応じて、上記補間対象画素をクラス分類する
ことを特徴とする請求項１に記載の画像信号補間装置。
上記クラス分類手段は、
上記画素選択手段により選択された画素の情報量を適応ダイナミツクレンジ符号化（ＡＤＲＣ）により減らす
ことを特徴とする請求項３に記載の画像信号補間装置。
上記予測係数発生手段は、
予め学習により求められたクラス毎の予測係数を格納するメモリを有し、上記クラス分類手段により分類されたクラスに対応する予測係数を発生する
ことを特徴とする請求項１に記載の画像信号補間装置。
所定画素が間引かれた伝送画像データを入力し、当該間引かれた画素を補間する画像信号補間装置において、
補間対象画素の近傍画素を用いて、上記補間対象画素の近傍における平坦度を検出する平坦度検出手段と、
上記平坦度検出手段により検出された平坦度の大きさが所定の基準以下であつた場合には、上記補間対象画素から第１の範囲内に分布する画素を選択すると共に、上記基準を超えていた場合には、上記補間対象画素から上記第１の範囲よりも広い第２の範囲内に分布する画素を選択する画素選択手段と、
上記画素選択手段により選択された画素のレベル分布のパターンに応じて、上記補間対象画素をクラス分類するクラス分類手段と、
上記クラス分類手段により分類されたクラスに対応する代表値を発生する代表値発生手段と
を具え、
上記代表値発生手段により発生された代表値を上記補間対象画素に対応するデータとする
ことを特徴とする画像信号補間装置。
上記画素選択手段は、
上記第２の範囲内に分布する画素を選択した場合には、当該第２の範囲内に分布する画素のうち上記第１の範囲に対応する画素の平均を平均画素として生成し、
上記クラス分類手段は、
上記第２の範囲内に分布する画素のうち上記第１の範囲に対応する画素以外の画素及び上記平均画素のレベル分布のパターンに応じて、上記補間対象画素をクラス分類する
ことを特徴とする請求項６に記載の画像信号補間装置。
上記クラス分類手段は、
上記画素選択手段により選択された画素の情報量を減らし、当該減らされた画素のレベル分布のパターンに応じて、上記補間対象画素をクラス分類する
ことを特徴とする請求項６に記載の画像信号補間装置。
上記クラス分類手段は、
上記画素選択手段により選択された画素の情報量を適応ダイナミツクレンジ符号化（ＡＤＲＣ）により減らす
ことを特徴とする請求項８に記載の画像信号補間装置。
上記代表値発生手段は、
予め学習により求められたクラス毎の予測係数を格納するメモリを有し、上記クラス分類手段により分類されたクラスに対応する予測係数を発生する
ことを特徴とする請求項６に記載の画像信号補間装置。
所定画素が間引かれた伝送画像データを入力し、当該間引かれた画素を補間する画像信号補間方法において、
補間対象画素の近傍画素を用いて、上記補間対象画素の近傍における平坦度を検出する第１の工程と、
上記第１の工程で検出された平坦度の大きさが所定の基準以下であつた場合には、上記補間対象画素から第１の範囲内に分布する画素を選択すると共に、上記基準を超えていた場合には、上記補間対象画素から上記第１の範囲よりも広い第２の範囲内に分布する画素を選択する第２の工程と、
上記第２の工程で選択された画素のレベル分布のパターンに応じて、上記補間対象画素のクラスを分類する第３の工程と、
上記第３の工程で分類されたクラスに対応する予測係数を発生する第４の工程と、
上記第４の工程で発生された予測係数と、上記補間対象画素の周辺における上記伝送画像データの画素とを用いて、線形結合に基づく演算により上記補間対象画素を算出する第５の工程と
を具えることを特徴とする画像信号補間方法。
所定画素が間引かれた伝送画像データを入力し、当該間引かれた画素を補間する画像信号補間方法において、
補間対象画素の近傍画素を用いて、上記補間対象画素の近傍における平坦度を検出する第１の工程と、
上記第１の工程で検出された平坦度の大きさが所定の基準以下であつた場合には、上記補間対象画素から第１の範囲内に分布する画素を選択すると共に、上記基準を超えていた場合には、上記補間対象画素から上記第１の範囲よりも広い第２の範囲内に分布する画素を選択する第２の工程と、
上記第２の工程で選択された画素のレベル分布のパターンに応じて、上記補間対象画素のクラスを分類する第３の工程と、
上記第３の工程で分類されたクラスに対応する代表値を発生する第４の工程と
を具え、
上記第４の工程で発生された代表値を上記補間対象画素に対応するデータとする
ことを特徴とする画像信号補間方法。