JP3864444B2

JP3864444B2 - 画像信号処理装置および方法

Info

Publication number: JP3864444B2
Application number: JP34913995A
Authority: JP
Inventors: 健治高橋; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-12-20
Filing date: 1995-12-20
Publication date: 2006-12-27
Anticipated expiration: 2015-12-20
Also published as: JPH09172621A

Description

【０００１】
【産業上の利用分野】
この発明は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ例えばハイビジョン信号の圧縮方式であるＭＵＳＥ方式のデコーダに適用される画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
ディジタル画像信号を記録したり、伝送する際の帯域圧縮あるいは情報量削減のための一つの方法として、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムは、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮することができる。
【０００３】
【発明が解決しようとする課題】
従来のＭＵＳＥ方式では、エンコード時に、１回あるいは２回サブサンプリングされたデータをデコードする際に、補間のために２次元の空間フィルタを用いている。しかしながら、ＭＵＳＥ方式では、斜め方向の解像度が低いという視覚特性を利用して伝送情報量を圧縮しているので、エンコード時に失われた斜め方向の解像度を取り戻すことができない問題点があった。
【０００４】
従って、この発明の目的は、ＭＵＳＥ方式のデコーダに対して適用され、伝送された画素データと、検出されたエッジデータとを用いてクラス分けを行うことによって、予め用意した最適な予測式より出力を予測するようにした画像信号処理装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、画像信号を受け取り、前記画像信号から新たな画素値を予測生成する画像信号処理装置において、値が予測生成される画素である注目画素に関してエッジを検出し、エッジデータを発生するエッジ検出手段と、注目画素の周辺の複数の画素のレベル分布のパターンとエッジデータの値の大きさとに応じて注目画素のクラスを決定するためのクラス分類手段と、注目画素の予測値を生成するために、予め学習により獲得され、クラス毎に格納された係数が読み出されるメモリと、メモリと結合され、注目画素の空間的および／または時間的に近傍の複数の画素と係数との線形１次結合によって予測値を生成する予測値生成手段とを有し、エッジ検出手段は、注目画素に隣接する垂直方向の画素間の複数の差分の最大差分絶対値を水平方向のエッジとして出力する水平方向エッジ検出手段と、注目画素に隣接する水平方向の画素間の複数の差分の最大差分絶対値を垂直方向のエッジとして出力する垂直方向エッジ検出手段とを含み、水平方向のエッジおよび／または垂直方向のエッジをエッジデータとして発生することを特徴とした画像信号処理装置である。
【０００６】
また、請求項４に記載の発明は、画像信号を受け取り、前記画像信号から新たな画素値を予測生成する画像信号処理方法において、値が予測生成される画素である注目画素に関してエッジを検出し、エッジデータを発生するエッジ検出ステップと、注目画素の周辺の複数の画素のレベル分布のパターンとエッジデータの値の大きさとに応じて注目画素のクラスを決定するためのクラス分類ステップと、注目画素の予測値を生成するために、予め学習により獲得され、クラス毎に格納された係数がメモリから読み出されるステップと、メモリと結合され、注目画素の空間的および／または時間的に近傍の複数の画素と係数との線形１次結合によって予測値を生成する予測値生成ステップとを有し、エッジ検出ステップは、注目画素に隣接する垂直方向の画素間の複数の差分の最大差分絶対値を水平方向のエッジとして出力する水平方向エッジ検出ステップと、注目画素に隣接する水平方向の画素間の複数の差分の最大差分絶対値を垂直方向のエッジとして出力する垂直方向エッジ検出ステップとを含み、水平方向のエッジおよび／または垂直方向のエッジをエッジデータとして発生することを特徴とした画像信号処理方法である。
【０００７】
係数と周辺画素の値との線形１次結合により補間値を生成する。この係数を予め学習によって、クラス毎に求める。このクラスは、周辺画素および／または注目画素のレベル分布のパターンとエッジデータを用いて表現される。学習時に、周辺画素として、フィールド内のものおよびフレーム内のものをそれぞれ使用して第１および第２の係数を求める。補間時には、注目画素の静止判定を行ない、注目画素が動きのときは、第１の係数とフィールド内の周辺画素の値との線形１次結合により補間値を形成し、これが静止のときは、第２の係数を使用する。この選択によって、精度が高い補間を行なうことができ、復号画像の画質を向上できる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。まず、ＭＵＳＥ方式のエンコーダの主要部を図１を参照して説明する。１で示す入力端子からハイビジョン信号が入力され、入力されたハイビジョン信号は、白クリップ回路２へ供給される。白クリップ回路２では、白レベルがクリップされ、〔−１ｄＢ〕回路３において、−１ｄＢの補正が行われる。逆γ補正回路４では、γ補正の逆補正が供給された信号に対してなされ、Ｙ、Ｐｒ、Ｐｂ変換回路５において、マトリックス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号、Ｐｂ（Ｂ−Ｙ成分）信号が形成される。Ｙ、Ｐｒ、Ｐｂ変換回路５において、変換されたＹ信号は、フィールド間フィルタ６へ供給され、Ｐｒ信号は、垂直ＬＰＦ（ローパスフィルタ）２１へ供給され、Ｐｂ信号は、垂直ＬＰＦ２２へ供給される。
【０００９】
Ｙ信号が供給されたフィールド間フィルタ６に対して、フィールドオフセットサブサンプリング回路７、ＬＰＦ８およびサンプリング周波数変換回路９が接続される。フィールドオフセットサブサンプリング回路７は、フィールド間でサブサンプリングの位相が１画素ずらされるもので、その出力がＬＰＦ１０に供給される。原Ｙ信号のサンプリング周波数は、４８．６ＭＨｚで、サブサンプリング回路７のサンプリング周波数が２４．３ＭＨｚで、ＬＰＦ１０によって、１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが内挿されてサンプリング周波数が４８．６ＭＨｚに戻される。
【００１０】
ＬＰＦ１０に対して、サンプリング周波数変換回路１１が接続され、サンプリング周波数がサンプリング周波数変換回路１１によって、３２．４ＭＨｚに変換される。この回路１１の出力信号がＴＣＩ(Time Compressed Integration) スイッチ１２に供給される。サブサンプリング回路７から変換回路１１までの信号路は、静止領域の処理のために設けられている。
【００１１】
帯域制限用のＬＰＦ８に対してサンプリング周波数変換回路１３が接続され、４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。この回路１３の出力がＴＣＩスイッチ１４に供給される。ＴＣＩスイッチ１４からの信号が２次元サブサンプリングフィルタ１８を介して混合（ＭＩＸ）回路１９に供給される。ＬＰＦ８から２次元サブサンプリングフィルタ１８に至る信号路が動き領域の処理のために設けられている。混合回路１９では、フィルタ１８の出力信号とＴＣＩスイッチ１２の出力信号とが混合される。
【００１２】
サンプリング周波数変換回路９に対しては、動きベクトル検出回路１５が接続される。動きベクトル検出回路１５に対して、動きフィルタ１６および動き検出回路１７が接続される。動きフィルタ１６には、サンプリング周波数変換回路１３の出力信号も供給される。動きフィルタ１６の出力が動き検出回路１７に供給される。動き検出回路１７での検出結果（動き量）に基づいて混合回路１９の混合比を制御する制御信号が生成される。
【００１３】
Ｙ、Ｐｒ、Ｐｂ変換回路５からの色信号Ｐｒ、Ｐｂが垂直ＬＰＦ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がＬＰＦ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のＬＰＦ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。サブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１４】
ＬＰＦ２４およびサブサンプリング回路２６は、静止領域用の処理回路であり、ＬＰＦ２５、サブサンプリング回路２７および時間圧縮回路２８は、動き領域用の処理回路である。サブサンプリング回路２６および時間圧縮回路２８の出力信号がＴＣＩスイッチ１２および１４へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００１５】
混合回路１９の出力信号がフレーム，ラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間およびライン間で反転され、また、サンプリング周波数が１６．２ＭＨｚとされる。サブサンプリング回路３１の出力信号が伝送用γ補正回路３２を介してＭＵＳＥのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出される。
【００１６】
上述のＭＵＳＥエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。静止領域の処理が上側に示され、動き領域の処理が下側に示されている。図１の各点の信号に関して、そのサンプリング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信号と同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路７の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００１７】
ＬＰＦ１０の出力（Ｃ点）には、内挿処理された信号（サンプリング周波数が４８．６ＭHz）が発生する。サンプリング周波数変換回路１１の出力（Ｄ点）もサンプリング周波数が３２．４ＭHzに変換された信号が現れる。
【００１８】
一方、ＬＰＦ８の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数回路１３の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００１９】
静止領域および動き領域のそれぞれの処理を受けたＹ信号が混合回路１９で混合され、混合回路１９の出力がフレーム、ラインオフセットサブサンプリング回路３１に供給される。この回路３１の出力（Ｅ点）では、フレーム間およびライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００２０】
図３は、この発明を適用できるＭＵＳＥデコーダの一部を示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号がフレーム間内挿回路４１、フィールド内内挿回路４２および動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２１】
すなわち、静止領域は、フレーム間内挿回路４１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路４１の出力信号がＬＰＦ４４、サンプリング周波数変換回路（３２．４ＭＨｚから２４．３ＭＨｚへ）４５およびフィールド間内挿回路４６を介して混合回路４８に供給される。サブサンプリング周波数変換回路４５からは、２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２２】
動き領域は、フィールド内内挿回路４２によって、空間的内挿がなされる。内挿回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４７が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２３】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域がフレーム間内挿回路４１を介され、その出力（Ｆ点）で間引き画素が内挿されたビデオ信号が生じる。
【００２４】
サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が２４．３ＭHzに変換されたビデオ信号が現れる。そのビデオ信号は、フィールド毎に１画素ずれたオフセットサンプリングがなされたものである。次のフィールド間内挿回路４６の出力（Ｈ点）に画素が内挿された信号が生じる。これが混合回路４８に供給される。
【００２５】
動き領域の処理のためのフィールド内内挿回路４２の出力（ｆ点）にフィールド内の画素により内挿されたビデオ信号が発生する。サンプリング周波数変換回路４７によって、その出力（ｇ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２６】
さて、上述のＭＵＳＥ方式では、静止領域に関して２回のサブサンプリングがなされ、２回の補間がなされ、また、動き領域に関しては、１回のサブサンプリングと補間がなされる。これらの補間のために、従来では、フィルタを使用していたが、その結果、最初に述べたように、斜め方向の解像度が失われる問題があった。この問題点を解決するのがこの発明であり、従って、この発明は、上述のＭＵＳＥデコーダにおけるフレーム間内挿回路４１、フィールド内内挿回路４２およびフィールド間内挿回路４６の何れに対しても適用できる。
【００２７】
一例として、フィールド内内挿回路４２に対してこの発明を適用した一実施例を図５に示す。受信されたベースバンド信号に変換され、ディジタル信号に変換されたＭＵＳＥ信号は、動き部分・動き量検出回路５３、フレーム間内挿回路５１およびクラス分類適応補間回路５２へ供給される。動き部分・動き量検出回路５３では、供給される画面全体の動きベクトルに基づいて、供給された画像データの動き領域および動き量が検出される。この動き部分・動き量検出回路５３で検出される動き領域および動き量は、混合（ＭＩＸ）回路５８において、静止領域と動き領域との画素毎の混合比の基準となるものである。また、この動き部分・動き量検出回路５３で求められる動き量は、クラス分類適応補間回路５２へ供給される。同様に、検出された動き領域および動き量は、混合回路５８へ供給される。
【００２８】
画像データからの静止領域は、フレーム間内挿回路５１により１フレーム前の画像データを使用したフレーム間内挿がなされる。但し、カメラのパニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間内挿回路５１の出力信号がＬＰＦ５４へ供給される。ＬＰＦ５４では、供給された画像データに対して１２ＭHzの帯域制限が施され、サンプリング周波数変換回路５５では、画像データのサンプリング周波数が３２．４ＭHzから２４．３ＭHzへ周波数変換される。フィールド間内挿回路５６では、フレーム間内挿回路５１と同様に、１フィールド前の画像データを使用したフィールド間内挿がなされる。フィールド間内挿回路５６の出力信号は、混合回路５８へ供給される。
【００２９】
画像データからの動き領域は、クラス分類適応補間回路５２により、動き部分・動き量検出回路５３からのエッジデータと周辺画素および／または注目画素のレベル分布のパターンとからクラス分類が行われ、後述するように空間的内挿、すなわちフレーム内内挿またはフィールド内内挿がなされる。クラス分類適応補間回路５２の出力信号がサンプリング周波数変換回路５７へ供給される。サンプリング周波数変換回路５７では、画像データのサンプリング周波数が３２．４ＭHzから４８．６ＭHzへ周波数変換される。その出力信号が混合回路５８へ供給される。この混合回路５８は、動き部分・動き量検出回路５３からの信号に基づいて、静止画像と動き画像の混合比が制御される。この混合回路５３の出力信号は、図示しないがＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変化され、逆マトリクス演算され、γ補正がなされた後、Ｒ、Ｇ、Ｂ信号が得られる。
【００３０】
ここで、この動き部分・動き量検出回路５３の詳細なブロック図を図６に示す。この動き部分・動き量検出回路５３に供給されるＭＵＳＥ信号のフレームは、入力端子６１から供給される。横線エッジ検出回路６２では、供給されたフレームから後述するように横線となるエッジ、すなわち水平方向のエッジが検出される。検出された水平方向のエッジは、２フレーム検出エッジ回路７０へ供給される。縦線エッジ検出回路６３では、供給されたフレームから後述するように縦線となるエッジ、すなわち垂直方向のエッジが検出される。検出された垂直方向のエッジは、２フレーム検出エッジ回路７０へ供給される。上述のように検出された水平方向のエッジおよび垂直方向のエッジの両者または一方がクラス分類適応補間回路５２へ供給され、クラス分類のために使用される。
【００３１】
ノンリニアエッジ検出回路６４では、供給されたフレームからエッジであると判断された部分に対して、所定のレベルに重み付けがなされる。１フレーム検出エッジ回路６５では、供給されたフレームと、ノンリニアエッジ検出回路６４の出力と、横線エッジ検出回路６２からの水平方向のエッジとが加算される。ここでは、横線エッジ検出回路６２の出力が用いられているが、縦線エッジ検出回路６３からの垂直方向のエッジを用いることも可能である。
【００３２】
ＬＰＦ６６および６７は、カットオフ周波数が４ＭHzであり、ＬＰＦ６６では、供給されたＭＵＳＥ信号のフレームが帯域制限され、ＬＰＦ６７では、１フレーム前のＭＵＳＥ信号のフレームが帯域制限される。帯域制限されたそれぞれの信号は、１フレーム差分回路６８へ供給される。１フレーム差分回路６８では、４ＭHzの帯域制限がなされた１フレーム間の差分が算出される。算出された１フレーム差分は、感度設定回路６９へ供給される。感度設定回路６９では、供給された１フレーム差分と、１フレーム検出エッジ回路６５からの出力によって、動き部分・動き量検出の感度が設定される。この感度設定回路６９では、エッジ部分では、フレーム差が大きくなるため、動き部分・動き量検出の感度が落とされる。
【００３３】
２フレーム検出エッジ回路７０では、供給されたＭＵＳＥ信号のフレームと、横線エッジ検出回路６２からの水平方向のエッジと、縦線エッジ検出回路６３からの垂直方向のエッジとが加算される。加算結果は、感度設定回路７２へ供給される。２フレーム差分回路７１では、供給されたフレームと、２フレーム前のフレームとの２フレーム差分が算出される。感度設定回路７２では、供給された２フレーム差分と、２フレーム検出エッジ回路７０からの加算結果に基づいて動き部分・動き量検出の感度が設定される。この感度設定回路７２も感度設定回路６９と同様に動き部分・動き量検出の感度が落とされる。
【００３４】
孤立点除去回路７３では、供給された２フレーム差分から孤立点の除去が行われる。フレーム補間回路７４では、孤立点が除去された２フレーム差分と、１フレームディレイ回路７５から１フレーム遅延がなされた２フレーム差分とを用いて２フレーム差分の補間処理がなされる。１フレームディレイ回路７５では、フレーム補間された２フレーム差分を１フレームの時間だけ遅延が行われた後、保持された２フレーム差分は、フレーム補間回路７４へ供給される。２次元ＬＰＦ７６では、フレーム補間された２フレーム差分に対して２次元の帯域制限が行われる。帯域制限が行われたフレームは、ミキシング回路７７へ供給される。
【００３５】
ミキシング回路７７では、感度設定回路６９からの１フレーム差分と、２次元ＬＰＦ７６からの２フレーム差分とが加算される。フィールド補間回路７８では、フィールド毎の合成フレーム差分が作られ、フィールドの補間が行われる。フィールドの補間が行われた信号は、しきい値処理回路７９において、合成フレーム差分に対してしきい値処理が行われ、１６段階にて表現された動き量が得られる。この動き量は、出力端子８０を介してクラス分類適応補間回路５２および混合回路５８へ供給される。
【００３６】
ここで、横線エッジ検出回路６２の一例を図７に示す。また、縦線エッジ検出回路６３も同様の構成である。８１で示す入力端子からＭＵＳＥ信号のフレームが供給される。画素抽出回路８２では、供給されたフレームから画素が抽出される。抽出された画素は、差分検出回路８３₁〜８３₃において、差分が検出される。検出された差分は、最大差分検出回路８４において、絶対値へ変換され、最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして、出力端子８５を介して１フレーム検出エッジ回路６５および／または２フレーム検出エッジ回路７０へ供給される。また、上述したように検出されたエッジデータは、クラス分類適応補間回路５２にも供給される。
【００３７】
このエッジ検出回路を図８および図９に示す伝送された画素を用いて説明する。まず、図８は、水平方向のエッジを検出する場合に抽出される画素のパターンを示す。さらに、図８Ａは、注目画素が伝送された画素ｅに相当する場合、差分検出回路８３₁では、抽出された画素ａと画素ｄの差分が検出され、差分検出回路８３₂では、抽出された画素ｂと画素ｅの差分が検出され、差分検出回路８３₃では、抽出された画素ｃと画素ｆの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００３８】
図８Ｂは、注目画素が伝送された画素ｈと画素ｋの間にある場合、差分検出回路８３₁では、抽出された画素ｇと画素ｊの差分が検出され、差分検出回路８３₂では、抽出された画素ｈと画素ｋの差分が検出され、差分検出回路８３₃では、抽出された画素ｉと画素ｌの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００３９】
また、図９は、垂直方向のエッジを検出する場合に抽出される画素のパターンを示す。図９Ａは、注目画素が伝送された画素ｐに相当する場合、差分検出回路８３₁では、抽出された画素ｍと画素ｎの差分が検出され、差分検出回路８３₂では、抽出された画素ｏと画素ｐの差分が検出され、差分検出回路８３₃では、抽出された画素ｐと画素ｑの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００４０】
図９Ｂは、注目画素が伝送された画素ｕと画素ｖの間にある場合、差分検出回路８３₁では、抽出された画素ｒと画素ｓの差分が検出され、差分検出回路８３₂では、抽出された画素ｓと画素ｔの差分が検出され、差分検出回路８３₃では、抽出された画素ｕと画素ｖの差分が検出される。最大差分検出回路８４において、検出されたこれら３つの差分が絶対値に変換され、３つの差分絶対値から最大となる差分絶対値が検出される。検出された差分絶対値は、エッジデータとして伝送される。
【００４１】
ここで、この発明が適用されるクラス分類適応補間回路５２の一例を図１０に示す。入力端子９１から画像データの動き領域が供給される。この動き領域は、レベル検出回路９３および補間回路９６へ供給される。レベル検出回路９３では、供給された動き領域、例えば３画素×３ライン（以下、（３×３）ブロックと称する）毎のレベル分布のパターンが検出される。ブロック毎のレベル分布のパターンは、一例として（３×３）ブロックの各画素のレベルを、例えばそのブロックの平均値と比較することによって２値化し、さらに４ビットへ圧縮され、検出される。
【００４２】
クラス作成回路９４では、端子９２を介して動き部分・動き量検出回路５３から供給されるエッジデータと、検出された（３×３）ブロック毎のレベル分布のパターンとからクラスが作成される。ここで、水平方向のエッジと、垂直方向のエッジの両者をクラス分類のために使用した場合の一例を示す。横線エッジ検出回路６２からの水平方向のエッジ（２ビット）、縦線エッジ検出回路６３からの垂直方向のエッジ（２ビット）からなり、レベル分布のパターン（４ビット）と共に合計８ビットでブロックのクラスが作成される。この２ビットからなる横線エッジおよび縦線エッジは、検出されたエッジの方向に関する差分値を段階的に分けたものであり、例えば `00' はエッジ無し、 `01' は差分値が小、 `10' は差分値が中、 `11' は差分値が大となる。これらの８ビットからなるクラスがクラス作成回路９４から係数ＲＯＭ９５へ供給される。
【００４３】
係数ＲＯＭ９５では、供給されたクラスをアドレスとして、そのアドレスに対応する係数データが読み出される。この係数データは、後述するように予め演算により求められている。読み出された係数データは、係数ＲＯＭ９５から補間回路９６へ供給される。補間回路９６では、供給された係数データから補間データを作成するために、例えば線形一次結合式が用いられ、空間内内挿、すなわちフレーム内内挿またはフィールド内内挿が行われる。補間が行われた画像データは、出力端子９７を介してサンプリング周波数変換回路５７へ供給される。
【００４４】
ここでは、８ビットからなるクラスをレベル分布のパターン（４ビット）、横線エッジ（２ビット）および縦線エッジ（２ビット）からなるとしたが、レベル分布のパターン（４ビット）、横線エッジ（１ビット）、縦線エッジ（１ビット）および４ビットからなる動き量を２ビットへ丸め２ビットとし、８ビットとすることも可能である。このとき、横線エッジおよび縦線エッジは、エッジの有無を表現する。また、エッジデータとして、エッジ量（２ビット）およびエッジの方向（３ビット）をレベル分布のパターン（４ビット）と組み合わせることによって、クラスを表しても良い。
【００４５】
次に、上述した係数ＲＯＭ９５に記憶される係数データの学習の一例を図１１のフローチャートを用いて説明する。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、既知の画像に対応した学習データが形成される。フィールド内またはフレーム内の周辺画素の値が学習データとして採用される。注目画素の真値と複数の周辺画素の値とが一組の学習データである。
【００４６】
ここで、周辺画素で構成されるブロックのダイナミックレンジが所定のしきい値より小さいものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップＳ２のデータ終了では、入力された全データ、例えば１フレームのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。
【００４７】
ステップＳ３のクラス決定は、上述のように、フィールド内またはフレーム内の所定の画素の値およびエッジデータに基づいたクラス決定がなされる。ステップＳ４の正規方程式生成では、後述する式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５に移る。このステップＳ５の予測係数決定では、この正規方程式を行列解法を用いて解いて、予測係数を決める。ステップＳ６の予測係数ストアで、予測係数をメモリにストアし、この学習のフローチャートが終了する。
【００４８】
図１１中のステップＳ４（正規方程式生成）およびステップＳ５（予測係数決定）の処理をより詳細に説明する。注目画素の真値をｙとし、その推定値をｙ´とし、その周囲の画素の値をｘ₁〜ｘ_nとしたとき、クラス毎に係数ｗ₁〜ｗ_nによるｎタップの線形１次結合
ｙ´＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_nｘ_n （１）
を設定する。学習前は、ｗ_iが未定係数である。
【００４９】
上述のように、学習はクラス毎になされ、データ数がｍの場合、式（１）は、式（２）で表される。
ｙ_j´＝ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋・・・＋ｗ_nｘ_jn （２）
（但し、ｊ＝１，２，・・・，ｍ）
【００５０】
ｍ＞ｎの場合、ｗ₁〜ｗ_nは、一意には決まらないので、誤差ベクトルＥの要素をそれぞれの学習データｘ_j1，ｘ_j2，・・・，ｘ_jn，ｙ_jにおける予測誤差をｅ_jとして、次の式（３）のごとく定義する。
ｅ_j＝ｙ_j−（ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋・・・＋ｗ_nｘ_jn）（３）
（但し、ｊ＝１，２，・・・，ｍ）
次に、式（４）を最小にする係数を求め、最小自乗法における最適な予測係数ｗ₁，ｗ₂，・・・，ｗ_nを決定する。
【００５１】
【数１】

【００５２】
すなわち、式（４）のｗ_iによる偏微分係数を求めると、式（５）に示すようになる。式（５）で（ｉ＝１，２，・・・，ｎ）である。
【００５３】
【数２】

【００５４】
式（５）を０にするように各ｗ_iを決めればよいから、
【００５５】
【数３】

【００５６】
として、行列を用いると、
【００５７】
【数４】

【００５８】
となる。この方程式は、一般に正規方程式と呼ばれている。正規方程式は、丁度未知数がｎ個だけある連立方程式である。これにより最確値たる各未定係数ｗ₁，ｗ₂，・・・ｗ_nを求めることができる。具体的には、一般的に式（８）の左辺の行列は、正定値対称なので、コレスキー法という手法により式（８）の連立方程式を解くことができ、未定係数ｗ_iが求まり、クラスコードをアドレスとして、この係数ｗ_iをメモリに格納しておく。
【００５９】
上述の係数ＲＯＭ９５に記憶される係数データの学習を概略的に説明する。図１２Ａに示すように、例えば（３×３）ブロックの注目画素、すなわち間引かれた注目画素ｙの周囲にある画素ｘ₁〜ｘ₄のレベル方向およびエッジデータを用いてクラスが生成される。画素ｘ₁〜ｘ₄のレベル方向（図１２Ｂ）に対して施す正規化の一例として、４つの画素の平均と４つの画素との大小関係が２値化され、表現される（図１２Ｃ）。すなわち、４つの画素の平均をしきい値として画素毎に大小の判定が行われ、大きいと判断された場合、 `１' とし、小さいと判断された場合、 `０' とする。この４つの画素の判断結果、図１２Ｃに示すように `0101' をクラスとし、クラス分けが行われる。また、画素の値をそのまま、クラス分け用のビットとして用いることも可能である。
【００６０】
このようにクラス分けを行った後、画素ｘ₁〜ｘ₄を用いて間引かれた画素を式（９）を用いて、注目画素ｙの予測が行われる。
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋ｗ₃×ｘ₃＋ｗ₄×ｘ₄ （９）
（ただし、ｗ₁〜ｗ₄は、係数データとする）
この式（９）の各画素に係る係数データを上述した最小自乗法によって求める。
【００６１】
このように学習によって、求められた係数データは、デコード時に各クラスに応じた出力を周囲の画素から予測することができる。図１３Ａに示すように、学習時と同じようにサブサンプリングされて間引かれた画素の周辺データ（図１３Ｂ）のレベル分布のパターンと動き量を用いてクラスが求められる。このようにして、式（１０）に示すように、クラスと周辺画素のデコード値を求めることにより、補間値を予測することができる。
【００６２】
ｙ´＝ｗ₁´×ｘ₁´＋ｗ₂´×ｘ₂´＋ｗ₃´×ｘ₃´＋ｗ₄´×ｘ₄´（１０）
（ただし、ｗ₁´〜ｗ₄´は、学習によって求められた係数データとする）
【００６３】
また、デコード時に求めるエッジデータ以外との組み合わせでも良い。さらに、正規化の方法は、この手法以外にもビット数を増やす方法や、ＡＤＲＣ（適応型ダイナミックレンジ符号化）のようにエンコードしたものを用いる方法などが考えられる。
【００６４】
【発明の効果】
この発明に依れば、伝送された周辺画素および／または注目画素のレベル分布のパターンとエッジデータからクラスを生成することで、予め学習によって決定された正確な値で補間することができ、斜め方向の解像度を復元できる。然も、この発明は、注目画素の静止判定を行い、動き画素の時には、フィールド内の画素を補間に使用し、静止画素の時には、フレーム内の画素を補間に使用しているので、精度が高い補間を行うことができる。また、学習時に、アクティビティーが低いデータを学習対象から除外しているので、精度の高い補間値を生成できる。
【図面の簡単な説明】
【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック図である。
【図２】ＭＵＳＥ方式のエンコーダのサブサンプリングを説明するための略線図である。
【図３】この発明を適用できるＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図４】ＭＵＳＥ方式のデコーダの補間処理を説明するための略線図である。
【図５】この発明のＭＵＳＥ方式のデコーダの部分的なブロック図である。
【図６】この発明の動き部分・動き量検出回路の一例を示すブロック図である。
【図７】この発明の動き部分・動き量検出回路に含まれるエッジデータを検出する一例を示すブロック図である。
【図８】この発明のエッジデータ検出を説明するための略線図である。
【図９】この発明のエッジデータ検出を説明するための略線図である。
【図１０】この発明を適用できる補間処理を行うためのクラス分類適応補間回路の一例を示すブロック図である。
【図１１】係数を求めるための学習を説明するためのフローチャートである。
【図１２】係数を求めるための学習を説明するための略線図である。
【図１３】学習により得た係数を用いた補間を説明するための略線図である。
【符号の説明】
５１フレーム間内挿回路
５２クラス分類適応補間回路
５３動き部分・動き量検出回路
５４ＬＰＦ
５５、５７サンプリング周波数変換回路
５６フィールド間内挿回路
５８混合回路

Claims

画像信号を受け取り、前記画像信号から新たな画素値を予測生成する画像信号処理装置において、
値が予測生成される画素である注目画素に関してエッジを検出し、エッジデータを発生するエッジ検出手段と、
上記注目画素の周辺の複数の画素のレベル分布のパターンと上記エッジデータの値の大きさとに応じて上記注目画素のクラスを決定するためのクラス分類手段と、
上記注目画素の予測値を生成するために、予め学習により獲得され、上記クラス毎に格納された係数が読み出されるメモリと、
上記メモリと結合され、上記注目画素の空間的および／または時間的に近傍の複数の画素と上記係数との線形１次結合によって予測値を生成する予測値生成手段とを有し、
上記エッジ検出手段は、
上記注目画素に隣接する垂直方向の画素間の複数の差分の最大差分絶対値を水平方向のエッジとして出力する水平方向エッジ検出手段と、
上記注目画素に隣接する水平方向の画素間の複数の差分の最大差分絶対値を垂直方向のエッジとして出力する垂直方向エッジ検出手段とを含み、
上記水平方向のエッジおよび／または上記垂直方向のエッジを上記エッジデータとして発生することを特徴とした画像信号処理装置。
上記エッジ検出手段は、生成対象としての上記注目画素の動き量を検出するために、上記注目画素に関してのエッジを検出することを特徴とする請求項１に記載した画像信号処理装置。
上記エッジ検出手段で検出されたエッジデータと、上記ディジタル画像信号と１フレーム前のディジタル画像信号との差分と、上記ディジタル画像信号と２フレーム前のディジタル画像信号との差分とから上記注目画素の動き量を検出することを特徴とする請求項２に記載の画像信号処理装置。
画像信号を受け取り、前記画像信号から新たな画素値を予測生成する画像信号処理方法において、
値が予測生成される画素である注目画素に関してエッジを検出し、エッジデータを発生するエッジ検出ステップと、
上記注目画素の周辺の複数の画素のレベル分布のパターンと上記エッジデータの値の大きさとに応じて上記注目画素のクラスを決定するためのクラス分類ステップと、
上記注目画素の予測値を生成するために、予め学習により獲得され、上記クラス毎に格納された係数がメモリから読み出されるステップと、
上記メモリと結合され、上記注目画素の空間的および／または時間的に近傍の複数の画素と上記係数との線形１次結合によって予測値を生成する予測値生成ステップとを有し、
上記エッジ検出ステップは、
上記注目画素に隣接する垂直方向の画素間の複数の差分の最大差分絶対値を水平方向のエッジとして出力する水平方向エッジ検出ステップと、
上記注目画素に隣接する水平方向の画素間の複数の差分の最大差分絶対値を垂直方向のエッジとして出力する垂直方向エッジ検出ステップとを含み、
上記水平方向のエッジおよび／または上記垂直方向のエッジを上記エッジデータとして発生することを特徴とした画像信号処理方法。