JP3746305B2

JP3746305B2 - 画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法

Info

Publication number: JP3746305B2
Application number: JP23712193A
Authority: JP
Inventors: 健治高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-08-11
Filing date: 1993-08-11
Publication date: 2006-02-15
Anticipated expiration: 2021-02-15
Also published as: JPH0759061A

Description

【０００１】
【発明の属する技術分野】
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるＭＵＳＥ方式のデコーダに適用される画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮することができる。
【０００３】
【発明が解決しようとする課題】
従来のＭＵＳＥ方式では、エンコード時に、１回あるいは２回サブサンプリングされたデータをデコードする際に、補間のために２次元の空間フィルタを用いている。しかしながら、ＭＵＳＥ方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。
【０００４】
従って、この発明の目的は、ＭＵＳＥ方式のデコーダに対して適用され、上述の問題点が解決された画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、入力ディジタル画像信号から、ディジタル画像信号より高解像度のディジタル画像信号の画素値を生成するためのディジタル画像信号生成装置において、
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類手段と、
画素を生成するために、予め学習により獲得されたクラス毎の第１および第２の係数が格納されたメモリ手段と、
注目画素の静止判定を行う静止判定手段と、
メモリ手段と結合され、複数の画素と第１および第２の係数の一方との演算によって画素値を生成する画素値生成手段とを有し、
静止判定手段によって、注目画素が動き部分であると判定される場合には、画素値生成手段が注目画素と空間的に近傍である複数の画素とクラスに対応する第１の係数との演算によって画素値を生成し、
静止判定手段によって、注目画素が静止部分であると判定される場合には、画素値生成手段が注目画素と時間的および空間的に近傍である複数の画素とクラスに対応する第２の係数との演算によって画素値を生成し、
第１の係数は、学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習され、第２の係数は、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習される
ことを特徴とするディジタル画像信号生成装置である。
【０００６】
【作用】
係数と周辺画素の値との線形１次結合により補間値を生成する。この係数を予め学習によって、クラス毎に求める。学習時に、周辺画素として、フィールド内のものおよびフレーム内のものをそれぞれ使用して第１および第２の係数を求める。補間時には、注目画素の静止判定を行ない、注目画素が動きのときは、第１の係数とフィールド内の周辺画素の値との線形１次結合により補間値を形成し、これが静止のときは、第２の係数を使用する。この選択によって、精度が高い補間を行なうことができ、復号画像の画質を向上できる。
【０００７】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。まず、ＭＵＳＥ方式のエンコーダの主要部を図１を参照して説明する。ハイビジョン信号をＡ／Ｄ変換器によってディジタル信号へ変換し、マトリクス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号、Ｐｂ（Ｂ−Ｙ成分）信号が形成され、図１中の１、２、３で示す入力端子にそれぞれ供給される。
【０００８】
Ｙ信号がフィールド間前置フィルタ４に供給される。このフィルタ４に対して、フィールドオフセットサブサンプリング回路５、ローパスフィルタ６およびサンプリング周波数変換回路７が接続される。フィールドオフセットサブサンプリング回路５は、フィールド間でサブサンプリングの位相が１画素ずらされるもので、その出力がローパスフィルタ８に供給される。原Ｙ信号のサンプリング周波数は、４８．６ＭＨｚで、サブサンプリング回路５のサンプリング周波数が２４．３ＭＨｚで、ローパスフィルタ８によって、１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が４８．６ＭＨｚに戻される。
【０００９】
ローパスフィルタ８に対して、サンプリング周波数変換回路９が接続され、サンプリング周波数がサンプリング周波数変換回路９によって、３２．４ＭＨｚに変換される。この回路９の出力信号がＴＣＩ(Time Compressed Integration) スイッチ１０に供給される。サブサンプリング回路５から変換回路９までの信号路は、静止領域の処理のために設けられている。
【００１０】
帯域制限用のローパスフィルタ６に対してサンプリング周波数変換回路１１が接続され、４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。この回路１１の出力がＴＣＩスイッチ１２に供給される。ＴＣＩスイッチ１２からの信号が２次元サブサンプリングフィルタ１６を介して混合回路１７に供給される。ローパスフィルタ６からサブサンプリングフィルタ１６に至る信号路が動き領域の処理のために設けられている。混合回路１７では、フィルタ１６の出力信号とＴＣＩスイッチ１０の出力信号とが混合される。
【００１１】
サンプリング周波数変換回路７に対しては、動きベクトル検出回路１３が接続される。動きベクトル検出回路１３に対して、動きフィルタ１４および動き検出回路１５が接続される。動きフィルタ１４には、サンプリング周波数変換回路１１の出力信号も供給される。動きフィルタ１４の出力が動き検出回路１５に供給される。動き検出回路１５での検出結果（動き量）に基づいて混合回路１７の混合比を制御する制御信号が生成される。
【００１２】
入力端子２、３からの色信号Ｐｒ、Ｐｂが垂直ローパスフィルタ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がローパスフィルタ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のローパスフィルタ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。サブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１３】
ローパスフィルタ２４およびサブサンプリング回路２６は、静止領域用の処理回路であり、ローパスフィルタ２５、サブサンプリング回路２７および時間圧縮回路２８は、動き領域用の処理回路である。サブサンプリング回路２６および時間圧縮回路２８の出力信号がＴＣＩスイッチ１０および１２へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００１４】
混合回路１７の出力信号がフレーム，ラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が１６．２ＭＨｚとされる。サブサンプリング回路３１の出力信号が伝送用ガンマ補正回路３２を介してＭＵＳＥのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出される。
【００１５】
上述のＭＵＳＥエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。静止領域の処理が上側に示され、動き量子化の処理が下側に示されている。図１の各点の信号に関して、そのサンプリング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路５の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００１６】
ローパスフィルタ１２の出力（Ｃ点）には、内挿処理された信号（サンプリング周波数が４８．６ＭHz）が発生する。サンプリング周波数変換回路９の出力（Ｄ点）もサンプリング周波数が３２．４ＭＨｚに変換された信号が現れる。
【００１７】
一方、ローパスフィルタ６の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数変換回路１１の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００１８】
静止領域および動き領域のそれぞれの処理を受けたＹ信号が混合回路１７で混合され、混合回路１７の出力がフレーム，ラインオフセットサブサンプリング回路３１に供給される。この回路３１の出力（Ｅ点）では、フレーム間およびライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００１９】
図３は、この発明を適用できるＭＵＳＥデコーダの一部を示す。受信されベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号がフレーム間内挿回路４１、フィールド間内挿回路４２および動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２０】
すなわち、静止領域は、フレーム間内挿回路４１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路４１の出力信号がローパスフィルタ４４、サンプリング周波数変換回路（３２．４ＭＨｚから４８．６ＭＨｚへ）４５、フィールドオフセットサブサンプリング回路４６およびフィールド間内挿回路４７を介して混合回路４８に供給される。サブサンプリング回路４６からは、２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２１】
動き領域は、フィールド内内挿回路４２によって、空間的内挿がなされる。内挿回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４９が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２２】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域がフレーム間内挿回路４を介され、その出力（Ｆ点）で間引き画素が内挿されたビデオ信号が生じる。サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が４８．６ＭＨｚに変換されたビデオ信号が現れる。
【００２３】
フィールドオフセットサブサンプリング回路４６の出力（Ｈ点）では、フィールド毎に１画素ずれたオフセットサンプリングがなされた信号が発生する。次のフィールド間内挿回路４７の出力（Ｉ点）に画素が内挿された信号が生じる。これが混合回路４８に供給される。
【００２４】
動き領域の処理のためのフィールド内内挿回路４２の出力（ｆ点）にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路４９によって、その出力（ｈ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２５】
さて、上述のＭＵＳＥ方式では、静止領域に関して２回のサブサンプリングがなされ、２回の補間がなされ、また、動き領域に関しては、１回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のＭＵＳＥデコーダにおけるフレーム間内挿回路４１、フィールド内内挿回路４２およびフィールド間内挿回路４７の何れに対しても適用できる。
【００２６】
一例として、動き領域のためのフィールド内内挿回路４２に対してこの発明を適用した一実施例を図５に示す。図５において、５１は、オフセットサブサンプリングされたディジタル画像信号の入力端子である。５２は、入力信号をブロック構造の信号に変換するための時系列変換回路である。すなわち、時系列変換回路５２によって、クラス分けと補間演算に必要な複数の画素が同時化される。
【００２７】
時系列変換回路５２の出力信号が補間演算回路５３およびクラス分類回路５５に供給される。補間演算回路５３には、後述のように予め学習により獲得された係数が格納されている係数メモリ５４が接続されている。係数メモリ５４内には、第１の係数が格納されたテーブル５４ａと第２の係数が格納されたテーブル５４ｂとが含まれる。
【００２８】
クラス分類回路５５からクラスコードｃが発生する。補間の対象である、注目画素を含むブロックのブロックの２次元的（フィールド内またはフレーム内）レベル分布のパターン、すなわち、クラスが決定される。クラスコードｃがこのクラスを指示し、クラスコードｃが係数メモリ５４に対してそのアドレスとして供給される。
【００２９】
図５において、５７で示す入力端子から注目画素の動き量を示す信号が比較回路５８に供給される。この動き量の信号としては、例えばＭＵＳＥデコーダ（図３）の動き部分検出回路４３の出力信号を利用できる。動き量を示す信号は、具体的には、動き量と比例した例えば０〜１６の範囲の値を有している。比較回路５８では、しきい値ＴＨと比較され、動き量の信号がしきい値ＴＨより大きいときは、注目画素を動き画素と判定し、これがしきい値ＴＨ以下のときは、注目画素を静止画素と判定する。ＴＨは、適宜設定されるが、一例は、ＴＨ＝３である。
【００３０】
比較回路５８の出力信号（判定信号）が時系列変換回路５２および係数メモリ５４に供給される。判定信号によって、時系列変換回路５２が出力する周辺画素が切り換えられる。すなわち、注目画素が動き画素であることを判定信号が指示する時に、時系列変換回路５２がフィールド内の周辺画素を出力し、それが静止画素であることを判定信号が指示する時に、これがフレーム内の周辺画素を出力する。より具体的には、時系列変換回路５２内には、判定信号で制御されるセレクタあるいはアドレス発生回路が設けられている。
【００３１】
また、判定信号によって、係数メモリ５４のテーブル５４ａ、５４ｂが選択的に使用される。すなわち、動き画素のときは、テーブル５４ａの第１の係数が補間演算回路５３に出力され、静止画素のときは、テーブル５４ｂの第２の係数が補間演算回路５３に出力される。後述する学習時には、テーブル５４ａの第１の係数がフィールド内の周辺画素を参照して決定されており、テーブル５４ｂの第２の係数がフレーム内の周辺画素を参照して決定されている。
【００３２】
クラス分類回路５５からのクラスコードｃが係数メモリ５４に供給されると、そのクラスと対応する係数が係数メモリ５４のテーブル５４ａまたは５４ｂから読出される。メモリ５４からの係数と時系列変換回路５２からの周辺画素の値との線形１次結合によって、注目画素の補間値が形成される。補間演算回路５３から出力端子５６に間引き画素の補間値が出力される。補間演算回路５３では、下式の線形１次結合によって、補間値ｙ´が生成される。
【００３３】
ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （１）
ｘ₁ 〜ｘ_nは、注目画素の周囲の画素の値であり、ｗ₁ 〜ｗ_nは、クラス毎に予め決定された係数である。
【００３４】
上述の係数メモリ５４には、予め学習により作成された第１および第２の係数が格納されている。図６は、学習ための構成の一例を示す。６１で示す入力端子から学習用の高解像度ディジタル画像信号が供給される。この入力信号としては、異なる絵柄の静止画像信号を使用できる。
【００３５】
入力ディジタル画像信号がＭＵＳＥのエンコーダにおけるのと同様に、２次元サブサンプルフィルタ６２を介してフレーム，ラインオフセットサブサンプリング回路６３に供給される。この回路６３の出力が時系列変換回路６４ａ、６４ｂに供給され、複数の参照画素のデータが同時化される。時系列変換回路６４ａ、６４ｂの出力信号が最小二乗法の演算回路６５ａ、６５ｂとクラス分類回路６６ａ、６６ｂにそれぞれ供給される。
【００３６】
時系列変換回路６４ａは、注目画素と同一フィールド内の画素であって、注目画素の周辺の複数の画素を同時化する。他の時系列変換回路６４ｂは、注目画素と同一フレーム内の画素であって、注目画素の周辺の複数の画素を同時化する。そして、クラス分類回路６６ａは、図７に示すように、注目画素（補間画素）の周囲の同一フィールド内の４個の参照画素（そのレベルをａ、ｂ、ｃ、ｄとする）のレベル分布に基づいて行われる。すなわち、クラス分類回路６６ａは、図８に示すように、参照画素ａ〜ｄの平均値Ａｖを計算し、次に、参照画素の各値と平均値Ａｖとを比較し、比較結果に応じたクラスコードｃを発生する。図８の例では、（ａ＜Ａｖ，ｂ≧Ａｖ，ｃ＜Ａｖ，ｄ≧Ａｖ）の比較結果に基づいて、（０１０１）のクラスコードｃが形成される。
【００３７】
クラス分類回路６６ｂも同様にしてクラスコードｃを発生する。但し、クラス分類回路６６ｂは、同一フレーム内の３個の参照画素ｂ、ｄ、ｅ（図７）を使用してクラス分けを行なう。なお、参照画素として、どのようなものを選ぶかは、任意であって、単なる一例を述べたにすぎない。クラス分類回路６６ａ、６６ｂが発生したクラスコードｃが最小二乗法の演算回路６５ａおよび６５ｂに供給される。これらの演算回路６５ａおよび６５ｂに対しては、時系列変換回路６４ａ、６４ｂの出力信号と入力端子６１からの注目画素の真値とがそれぞれ供給される。
【００３８】
なお、図５の補間装置のクラス分類回路５５は、上述のクラス分類回路６６ａ、６６ｂと同様に注目画素のクラス分けを行なう。図５では、時系列変換回路５２が判定信号によって、フィールド内の複数画素またはフレーム内の複数画素を出力するので、一つのクラス分類回路５５がフィールド内の画素を使用したクラス分けとフレーム内の画素を使用したクラス分けとを選択的に行なう。若し、必要があれば、クラス分類回路５５に対して判定信号を供給しても良い。
【００３９】
クラス分類回路５５、６６ａ、６６ｂの他の例は、ＡＤＲＣ（Adaptive Dynamic Range Coding)である。ＡＤＲＣは、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。より具体的には、１ビットＡＤＲＣを使用できる。すなわち、上述の参照画素を含むブロックの最大値および最小値が検出され、最大値および最小値の差であるダイナミックレンジが検出され、参照画素の値がダイナミックレンジで割算され、その商が０．５と比較され、０．５以上のものが`1' 、それより小さいものが`0' に符号化される。
【００４０】
１ビット以外のビット数の出力を発生するＡＤＲＣを採用しても良い。ＡＤＲＣに限らず、ＤＰＣＭ(Differential pulse code modulation)、ＢＴＣ(Block Trancation Coding) 等の圧縮符号化のエンコーダをクラス分類回路５５、６６ａ、６６ｂとして使用することができる。さらに、クラス分けのために、参照画素の値をそのまま使用することも可能である。また、情報圧縮のために、ＶＱ（ベクトル量子化）も使用できる。
【００４１】
最小二乗法の演算回路６５ａ、６５ｂは、クラス毎に、周辺の画素の値と係数の線形１次結合で表された注目画素の推定値ｙ´とその真値ｙとの誤差の二乗を最小とするように、係数を確定する。そして、確定された係数が係数メモリ６７のメモリ６７ａ、６７ｂにそれぞれ格納される。このメモリ６７ａに格納されたものが図５の補間装置におけるテーブル５４ａとして使用され、メモリ６７ｂに格納されたものがテーブル５４ｂとして使用される。
【００４２】
最小二乗法による係数の決定について、図９のフローチャートを参照して説明する。ステップ７１から学習処理の制御が開始され、ステップ７２の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内（演算回路６５ａの場合）またはフレーム内（演算回路６５ｂの場合）の周辺画素の値が学習データとして採用される。注目画素の真値ｙと周辺画素の値ｘ₁ 〜ｘ_nとが一組の学習データである。
【００４３】
ここで、周辺画素で構成されるブロックのダイナミックレンジがしきい値よりも小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップ７３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ７６の予測係数決定へ、終了していなければ、ステップ７４のクラス決定へ制御が移る。
【００４４】
ステップ７４のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値に基づいたクラス決定がなされる。ステップ７５の正規方程式加算では、後述する式（９）の正規方程式が作成される。全データの処理が終了後、ステップ７３のデータ終了から制御がステップ７６に移る。このステップ７６の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップ７７の予測係数ストアで、予測係数をメモリにストアし、ステップ７８で学習処理の制御が終了する。
【００４５】
図９中のステップ７５（正規方程式生成）およびステップ７６（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その推定値をｙ´とし、その周囲の画素の値をｘ₁ 〜ｘ_nとしたとき、クラス毎に係数ｗ₁ 〜ｗ_nによるｎタップの線形１次結合
ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_nｘ_n （２）
を設定する。学習前はｗ_iが未定係数である。
【００４６】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（２）は、式（３）で表される。
ｙ_j´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn （３）
（但し、ｊ＝１，２，‥‥ｍ）
【００４７】
ｍ＞ｎの場合、ｗ₁ 〜ｗ_nは一意には決まらないので、誤差ベクトルＥの要素をそれぞれの学習データｘ_j1，ｘ_j2，‥‥ｘ_jn，ｙ_jにおける予測誤差をｅ_jとして、次の式（４）のごとく定義する。
ｅ_j＝ｙ_j−（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_nｘ_jn）（４）
（但し、ｊ＝１，２，‥‥ｍ）
次に、次の式（５）を最小にする係数を求め、最小二乗法における最適な予測係数ｗ₁ ，ｗ₂ ，‥‥，ｗ_nを決定する。
【００４８】
【数１】

【００４９】
すなわち、式（５）のｗ_iによる偏微分係数を求めると、次の式（６）のごとくになる。式（６）で（ｉ＝１，２，・・・，ｎ）である。
【００５０】
【数２】

【００５１】
式（６）を０にするように各ｗ_iを決めればよいから、
【００５２】
【数３】

【００５３】
として、行列を用いると、
【００５４】
【数４】

【００５５】
となる。この方程式は一般に正規方程式と呼ばれている。正規方程式は、丁度、未知数がｎ個だけある連立方程式である。これにより最確値たる各未定係数ｗ₁ ，ｗ₂ ，‥‥，ｗ_nを求めることができる。具体的には、一般的に式（９）の左辺の行列は、正定値対称なので、コレスキー法という手法により式（９）の連立方程式を解くことができ、未定係数ｗ_iが求まり、クラスコードをアドレスとして、この係数ｗ_iをメモリに格納しておく。
【００５６】
【発明の効果】
この発明は、予め学習によって決定された動き部分用の第１の係数と静止部分の第２の係数とを使用して正確な値で補間することができ、斜め方向の解像度を復元できる。然も、この発明は、注目画素の静止判定を行ない、動き画素の時には、時間的および空間的近傍の複数の画素を補間に使用し、静止画素の時には、空間的近傍の複数の画素を補間に使用しているので、精度が高い補間を行なうことができる。
【図面の簡単な説明】
【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック図である。
【図２】ＭＵＳＥ方式のエンコーダのサブサンプリングを説明するための略線図である。
【図３】この発明を適用できるＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図４】ＭＵＳＥ方式のデコーダの補間処理を説明するための略線図である。
【図５】この発明をサブサンプリング信号の補間装置に対して適用した一実施例のブロック図である。
【図６】この発明における係数を決定するするための学習時の構成の一例のブロック図である。
【図７】クラス分類に使用する画素の配列の一例の略線図である。
【図８】クラス分類の一例を示す略線図である。
【図９】係数を求めるための学習を説明するためのフローチャートである。
【符号の説明】
４１フレーム間内挿回路
４２フィールド内内挿回路
４７フィールド間内挿回路
５３補間演算回路
５４係数メモリ
５８静止判定のための比較回路

Claims

入力ディジタル画像信号から、上記ディジタル画像信号より高解像度のディジタル画像信号の画素値を生成するためのディジタル画像信号生成装置において、
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類手段と、
画素を生成するために、予め学習により獲得された上記クラス毎の第１および第２の係数が格納されたメモリ手段と、
上記注目画素の静止判定を行う静止判定手段と、
上記メモリ手段と結合され、複数の画素と上記第１および第２の係数の一方との演算によって画素値を生成する画素値生成手段とを有し、
上記静止判定手段によって、上記注目画素が動き部分であると判定される場合には、上記画素値生成手段が上記注目画素と空間的に近傍である複数の画素と上記クラスに対応する上記第１の係数との演算によって上記画素値を生成し、
上記静止判定手段によって、上記注目画素が静止部分であると判定される場合には、上記画素値生成手段が上記注目画素と時間的および空間的に近傍である複数の画素と上記クラスに対応する上記第２の係数との演算によって上記画素値を生成し、
上記第１の係数は、学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習され、上記第２の係数は、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習される
ことを特徴とするディジタル画像信号生成装置。
上記クラス分類手段は、参照画素の値をそのまま使用するようにした請求項１に記載のディジタル画像信号生成装置。
上記クラス分類手段は、参照画素をＡＤＲＣ符号化することによってそのビット数が圧縮されたものを使用するようにした請求項１に記載のディジタル画像信号生成装置。
上記クラス分類手段は、参照画素をＤＰＣＭ符号化することによってそのビット数が圧縮されたものを使用するようにした請求項１に記載のディジタル画像信号生成装置。
上記クラス分類手段は、参照画素をＢＴＣ符号化することによってそのビット数が圧縮されたものを使用するようにした請求項１に記載のディジタル画像信号生成装置。
上記第１および第２の係数は、注目画素の真値と上記演算によって生成された上記画素値との誤差の二乗を最小とするように、最小二乗法により決定された請求項１に記載のディジタル画像信号生成装置。
上記静止判定手段によって、上記注目画素が動き部分であると判定される場合には、上記クラス分類手段が上記注目画素と空間的に近傍である複数の画素に基づいてクラスを決定し、
上記静止判定手段によって、上記注目画素が静止部分であると判定される場合には、上記クラス分類手段が上記注目画素と時間的および空間的に近傍である複数の画素に基づいてクラスを決定するようにした請求項１記載のディジタル画像信号生成装置。
入力ディジタル画像信号から、上記ディジタル画像信号より高解像度のディジタル画像信号の画素値を生成するためのディジタル画像信号生成方法において、
生成対象としての注目画素のクラスを複数の参照画素に基づいて決定するためのクラス分類ステップと、
上記注目画素の静止判定を行う静止判定ステップと、
複数の画素と上記第１および第２の係数の一方との演算によって画素値を生成する画素値生成ステップとからなり、
上記静止判定ステップによって、上記注目画素が動き部分であると判定される場合には、上記画素値生成ステップにおいて上記注目画素と空間的に近傍である複数の画素と上記クラスに対応する上記第１の係数との演算によって上記画素値が生成され、
上記静止判定ステップによって、上記注目画素が静止部分であると判定される場合には、上記画素値生成ステップにおいて上記注目画素と時間的および空間的に近傍である複数の画素と上記クラスに対応する上記第２の係数との演算によって上記画素値が生成され、
上記第１の係数は、学習用の画像信号において、注目画素の真値と、注目画素と空間的に近傍の複数の画素を用いて学習され、上記第２の係数は、学習用の画像信号において、注目画素の真値と、注目画素と時間的および空間的に近傍の複数の画素を用いて学習される
ことを特徴とするディジタル画像信号生成方法。
第１のディジタル画像信号と、上記第１のディジタル画像信号より解像度の低い第２のディジタル画像信号とに基づいて、上記第２のディジタル画像信号より高解像度のディジタル画像信号の画素を生成する際に用いられる係数を生成するディジタル画像信号処理装置において、
生成対象としての注目画素のクラスを、上記第２のディジタル画像信号中の複数の参照画素に基づいて決定するためのクラス分類手段と、
上記第１のディジタル画像信号中の上記注目画素の真値と、上記注目画素と空間的に近傍の上記第２のディジタル画像信号中の複数の画素に基づき、最小二乗法によって上記クラス毎に上記係数のうちの第１の係数を生成する第１の係数生成手段と、
上記注目画素の真値と、上記注目画素と時間的および空間的に近傍の上記第２のディジタル画像信号中の複数の画素に基づいて最小二乗法によって上記クラス毎に上記係数のうちの第２の係数を生成する第２の係数生成手段と、
生成された上記第１および第２の係数が格納されるメモリ手段と
を有することを特徴とするディジタル画像信号処理装置。
第１のディジタル画像信号と、上記第１のディジタル画像信号より解像度の低い第２のディジタル画像信号とに基づいて、上記第２のディジタル画像信号より高解像度のディジタル画像信号の画素を生成する際に用いられる係数を生成するディジタル画像信号処理方法において、
生成対象としての注目画素のクラスを、上記第２のディジタル画像信号中の複数の参照画素に基づいて決定するためのクラス分類ステップと、
上記第１のディジタル画像信号中の上記注目画素の真値と、上記注目画素と空間的に近傍の上記第２のディジタル画像信号中の複数の画素に基づき、最小二乗法によって上記クラス毎に上記第１の係数を生成し、
上記注目画素の真値と、上記注目画素と時間的および空間的に近傍の上記第２のディジタル画像信号中の複数の画素に基づいて最小二乗法によって上記クラス毎に上記第２の係数を生成する係数生成ステップと、
生成された上記第１および第２の係数を格納するステップと
を有することを特徴とするディジタル画像信号処理方法。