JP3617080B2

JP3617080B2 - 信号処理装置及び信号処理方法

Info

Publication number: JP3617080B2
Application number: JP20695994A
Authority: JP
Inventors: 哲二郎近藤; 丈晴西片
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-31
Filing date: 1994-08-31
Publication date: 2005-02-02
Anticipated expiration: 2020-02-02
Also published as: JPH0879712A

Description

【０００１】
【産業上の利用分野】
本発明は、入力信号に対してクラス分類に応じた適応処理を施す信号処理装置及び信号処理方法に関する。
【０００２】
【従来の技術】
従来、標準解像度（以下、ＳＤという。）信号から高解像度（以下、ＨＤという。）信号へ、アップコンバートする画像信号変換装置は、図１２に示すような装置であった。すなわち、従来の画像信号変換装置の入力端子１２０から入力されたＳＤ信号は、水平補間フィルタ１２１により水平方向の画素数が２倍とされ、垂直補間フィルタ１２２により垂直方向のライン数が２倍とされ、出力端子１２３からＨＤ信号として出力されていた。
【０００３】
しかし、上記従来の画像信号変換装置から出力される信号は、単に補間された信号に過ぎず、解像度は入力されたＳＤ信号と何ら変わらなかった。
そこで、本件出願人は、特願平５−１６７５１８号明細書及び図面にて、単に補間するのではなく、既知のＨＤ信号から学習を行うことによって、予測式の予測係数を用いてＳＤ信号からＨＤ信号へアップコンバートできる画像信号変換装置を提案した。
【０００４】
この画像信号変換装置は、図１３に示すような構成とされていた。先ず、入力端子１３０から入力されたＳＤ信号は、ブロック化回路１３１に供給されブロック単位のデータがＳＤ画像中から取り出され、適応ダイナミックレンジ符号化（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ、以下、ＡＤＲＣという。）回路１３２と予測演算回路１３５に供給される。ＡＤＲＣ符号化は、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であり、信号レベルの局所的な代表値を短い語長で効率的に表現できる。このＡＤＲＣ符号化回路１３２では、供給されたブロック単位のデータに例えば１ビットＡＤＲＣ符号化処理を施し、クラスを決定する。クラスコード発生回路１３３では、決定されたクラスに対応するクラスコードを発生し、このクラスコードを予測係数メモリ１３４にアドレスとして供給する。予測係数メモリ１３４は、上記アドレスに応じたクラスの予測係数を予測演算回路１３５に供給する。予測演算回路１３５は、ブロック化回路１３１から供給されたブロック単位のデータに、予測係数メモリ１３４からの予測係数を用いた予測式による演算を施し、推定ＨＤデータを出力端子１３６から出力する。
【０００５】
すなわち、この画像信号変換装置では、ＡＤＲＣ符号化回路１３２と、クラスコード発生回路１３３と、予測係数メモリ１３４と予測演算回路１３５にて構成されるクラス分類適応処理装置により、ＳＤ信号をＨＤ信号にアップコンバートしている。
【０００６】
【発明が解決しようとする課題】
ところで、上記図１３に示したような画像信号変換装置のＡＤＲＣ符号化回路１３２と、クラスコード発生回路１３３と、予測係数メモリ１３４と予測演算回路１３５で構成されるクラス分類適応処理装置では、固定領域における画像信号の波形パターン分類、すなわちクラス分類に対応したクラスコードを用いて予測係数メモリ１３４から予測係数を出力させており、この固定領域に属さないクラスの影響を考慮していなかった。
【０００７】
そこで、本発明は、上記実情に鑑みてなされたものであり、上記固定領域に属さないクラスの影響にも対応して、高精度のクラス分類適応処理を行うことのできる信号処理装置及び信号処理方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る信号処理装置は、入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力する複数のクラス分類手段と、上記複数のクラス分類手段の複数の上記クラス分類情報信号の一を選択処理する選択手段と、上記ブロック内の変化の度合を示す信号に応じて上記選択手段の選択処理を切り替え制御する切り替え制御手段と、上記選択手段から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を上記入力信号に施す適応フィルタ手段を備える信号出力手段とを有し、上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することにより上記課題を解決する。
【０００９】
この場合、上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理する。
【００１０】
本発明に係る信号処理方法は、入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力するクラス分類工程と、上記クラス分類工程から出力された複数の上記クラス分類情報信号の一を選択処理する選択工程と、上記ブロック内の変化の度合を示す信号に応じて上記選択工程の選択処理を切り替え制御する切り替え制御工程と、上記選択工程から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を、上記入力信号に施す適応フィルタ工程を備える信号出力工程とを有し、上記信号出力工程の上記適応フィルタ処理工程は、上記選択工程から得られた上記クラス分類情報信号の一に応じて、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することにより上記課題を解決する。
【００１１】
【作用】
本発明に係る信号処理装置は、複数のクラス分類手段が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択手段が複数のクラス分類手段の複数のクラス分類情報信号の一を選択処理し、切り替え制御手段がブロック内の変化の度合いを示す信号に応じて選択手段の選択処理を切り替え制御し、信号出力手段が適応フィルタ手段により、選択手段から得られたクラス分類情報信号の一に応じて、入力信号に適応フィルタ処理を施す。
また、本発明に係る信号処理方法は、クラス分類工程が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択工程がクラス分類工程から出力された複数のクラス分類情報信号の一を選択処理し、切り替え制御工程がブロック内の変化の度合いを示す信号に応じて選択工程の選択処理を切り替え制御し、信号出力工程が選択工程により選択されたクラス分類情報信号に対応して適応フィルタ係数記憶手段から出力されたフィルタ係数を用いて入力信号に適応フィルタ処理を施す。
【００１２】
【実施例】
以下、本発明に係る信号処理装置及び信号処理方法の好ましい実施例を図面を参照しながら説明する。この実施例は、サブサンプリングにより伝送情報量を圧縮するような高解像度ビデオ信号のデコーダ、例えばハイビジョン信号の圧縮方式である多重サブサンプリングエンコード（ＭｕｌｔｉｐｌｅＳｕｂ−Ｎｙｑｕｉｓｔ−ＳａｍｐｌｉｎｇＥｎｃｏｄｉｎｇ、ＭＵＳＥ）方式のデコーダの要部に適用されるクラス分類適応処理装置である。
【００１３】
先ず、この実施例のクラス分類適応処理装置を説明する前に、多重サブサンプリングエンコード方式のエンコーダ及びデコーダの主要部を図１乃至図４を参照しながら説明しておく。
図１には多重サブサンプリングエンコード方式のエンコーダの主要部を示す。このエンコーダの主要部には、入力端子１、２及び３を介して、図示しないＡ／Ｄ変換器によってディジタル信号に変換され、図示しないマトリクス演算回路によって形成された高解像度（以下、ＨＤという。）信号のＹ（輝度）信号、Ｐｒ（Ｒ−Ｙ成分）信号及びＰｂ（Ｂ−Ｙ成分）信号が供給される。
【００１４】
入力端子１を介したＹ信号は、フィールド間前置フィルタ４に供給される。このフィールド間前置フィルタ４に対して、フィールドオフセットサブサンプリング回路５、ローパスフィルタ６及びサンプリング周波数変換回路７（図中、４８→３２と記す。）が接続される。
フィールドオフセットサブサンプリング回路５は、フィールド間でサブサンプリングの位相を１画素ずらすもので、その出力がローパスフィルタ８に供給される。原Ｙ信号のサンプリング周波数は例えば４８．６ＭＨｚで、フィールドオフセットサブサンプリング回路５のサンプリング周波数が例えば２４．３ＭＨｚで、ローパスフィルタ８によって、例えば１２．１５ＭＨｚ以上の周波数成分が除去されるとともに、データが補間されてサンプリング周波数が４８．６ＭＨｚに戻される。
【００１５】
ローパスフィルタ８に対して、サンプリング周波数変換回路９（図中、４８→３２と記す。）が接続される。このサンプリング周波数変換回路９は、サンプリング周波数を例えば３２．４ＭＨｚに変換する。このサンプリング周波数変換回路９の出力信号は、ＴＣＩ（ＴｉｍｅＣｏｍｐｒｅｓｓｅｄＩｎｔｅｇｒａｔｉｏｎ）スイッチ１０に供給される。フィールドオフセットサブサンプリング回路５からサンプリング周波数変換回路９までの信号路は、静止領域の処理のために設けられている。
【００１６】
帯域制限用のローパスフィルタ６に対してサンプリング周波数変換回路１１（図中、４８→３２と記す。）が接続され、例えば４８．６ＭＨｚから３２．４ＭＨｚへサンプリング周波数が変換される。このサンプリング周波数変換回路１１の出力がＴＣＩスイッチ１２に供給される。ＴＣＩスイッチ１２からの信号が２次元サブサンプリングフィルタ１６を介して混合回路１７に供給される。ローパスフィルタ６から２次元サブサンプリングフィルタ１６に至る信号路が動き領域の処理のために設けられている。混合回路１７では、２次元サブサンプリングフィルタ１６の出力信号とＴＣＩスイッチ１０の出力信号とが混合される。
【００１７】
サンプリング周波数変換回路７に対しては、動きベクトル検出回路１３が接続される。動きベクトル検出回路１３に対して、動きフィルタ１４及び動き検出回路１５が接続される。動きフィルタ１４には、サンプリング周波数変換回路１１の出力信号も供給される。動きフィルタ１４の出力が動き検出回路１５に供給される。動き検出回路１５での検出結果（動き量）に基づいて混合回路１７の混合比を制御する制御信号が生成される。
【００１８】
入力端子２、３からの色差信号Ｐｒ、Ｐｂが垂直ローパスフィルタ２１、２２をそれぞれ介して線順次化回路２３に供給される。線順次化回路２３からの線順次色信号がローパスフィルタ２４に供給され、７ＭＨｚ以上の成分が除去され、そして、フィールドオフセットサブサンプリング回路２６に供給される。線順次色信号が帯域制限用のローパスフィルタ２５を介してフィールドオフセットサブサンプリング回路２７に供給される。フィールドオフセットサブサンプリング回路２７に対して時間圧縮回路２８が接続される。
【００１９】
ローパスフィルタ２４及びフィールドオフセットサブサンプリング回路２６は、静止領域用の処理回路であり、ローパスフィルタ２５、フィールドオフセットサブサンプリング回路２７及び時間圧縮回路２８は、動き領域用の処理回路である。フィールドオフセットサブサンプリング回路２６及び時間圧縮回路２８の出力信号がＴＣＩスイッチ１０及び１２へそれぞれ供給され、上述のように処理された輝度信号成分と時間軸多重化される。
【００２０】
混合回路１７の出力信号がフレームラインオフセットサブサンプリング回路３１に供給される。ここでのサブサンプリングのパターンは、フレーム間及びライン間で反転され、また、サンプリング周波数が例えば１６．２ＭＨｚとされる。フレームラインオフセットサブサンプリング回路３１の出力信号が伝送用ガンマ補正回路３２を介して多重サブサンプリングエンコードのフォーマット化回路３３に供給される。図では省略されているが、時間軸圧縮されたオーディオ信号、同期信号、ＶＩＴ信号等がフォーマット化回路３３に加えられ、出力端子３４に約８ＭＨｚの多重サブサンプリングエンコード信号が取り出される。
【００２１】
上述の多重サブサンプリングエンコード方式のエンコーダのサブサンプリングについて、図２を参照して概略的に説明する。図２では、静止領域の処理が上側に示され、動き領域の処理が下側に示されている。すなわち、図１の各点の信号に関して、そのサンプリング状態を図２に示している。また、色信号の処理は、輝度信号Ｙと同様であるため、その説明を省略する。フィールドオフセットサブサンプリング回路５の入力（Ａ点）からディジタルＹ信号が供給され、フィールド毎にサンプリング位相が１画素ずれたパターンでサブサンプリングされた出力信号がＢ点に発生する。
【００２２】
ローパスフィルタ１２の出力（Ｃ点）には、補間された信号（サンプリング周波数が４８．６ＭＨｚ）が発生する。サンプリング周波数変換回路９の出力（Ｄ点）もサンプリング周波数が３２．４ＭＨｚに変換された信号が現れる。
一方、ローパスフィルタ６の入力（ａ点）には、Ａ点と同様のディジタルＹ信号が供給される。動き領域では、フィールドオフセットサブサンプリングがなされず、サンプリング周波数変換回路１１の出力（ｂ点）には、Ｄ点と同様のＹ信号が発生する。
【００２３】
静止領域及び動き領域のそれぞれの処理を受けたＹ信号が混合回路１７で混合され、混合回路１７の出力がフレームラインオフセットサブサンプリング回路３１に供給される。このフレームラインオフセットサブサンプリング回路３１の出力（Ｅ点）では、フレーム間及びライン間で水平方向に１画素のオフセットを持つようにサンプリングされた出力信号が発生する。
【００２４】
図３には本発明の実施例となるクラス分類適応処理装置を適用できる多重サブサンプリングエンコード方式のデコーダの主要部を示す。このデコーダの主要部には、受信されベースバンド信号に変換され、ディジタル信号に変換された多重サブサンプリングエンコード信号と、動きベクトルとが入力される。多重サブサンプリングエンコード信号は、フレーム間補間回路４１、フィールド内補間回路４２及び動き部分検出回路４３にそれぞれ供給される。動き部分検出回路４３によって、動き領域を検出し、動き領域と静止領域との処理がそれぞれなされた信号の混合比が制御される。
【００２５】
すなわち、静止領域では、フレーム間補間回路４１により１フレーム前の画像データを使用したフレーム間補間がなされる。ただし、カメラのパンニングのように、画像の全体が動く時には、コントロール信号として伝送される動きベクトルに応じて１フレーム前の画像を動かして重ね合わせる処理がなされる。フレーム間補間回路４１の出力信号がローパスフィルタ４４、サンプリング周波数変換回路４５、フィールドオフセットサブサンプリング回路４６及びフィールド間補間回路４７を介して混合回路４８に供給される。フィールドオフセットサブサンプリング回路４６からは、例えば２４．３ＭＨｚのサンプリング周波数の信号が得られる。
【００２６】
動き領域では、フィールド内補間回路４２によって、空間的補間がなされる。フィールド内補間回路４２に対して、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリング周波数変換回路４９が接続され、その出力信号が混合回路４８に供給される。この混合回路４８の混合比は、動き部分検出回路４３の出力信号により制御される。混合回路４８の出力信号が図示しないが、ＴＣＩデコーダに供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ補正がされてからＲ、Ｇ、Ｂ信号が得られる。
【００２７】
上述のデコーダの処理を図４のサンプリングパターンを参照して概略的に説明する。入力信号（Ｅ点）のサンプリング状態は、上述のエンコーダの出力（Ｅ点）と同一である。静止領域ではフレーム間補間回路４１が介され、その出力（Ｆ点）で間引き画素が補間されたビデオ信号が生じる。サンプリング周波数変換回路４５（Ｇ点）では、サンプリング周波数が４８．６ＭＨｚに変換されたビデオ信号が現れる。
【００２８】
フィールドオフセットサブサンプリング回路４６の出力（Ｈ点）では、フィールド毎に１画素ずれたオフセットサンプリングがなされた信号が発生する。次のフィールド間補間回路４７の出力（Ｉ点）に画素が補間された信号が生じる。これが混合回路４８に供給される。
動き領域の処理のためのフィールド内補間回路４２の出力（ｆ点）にフィールド内の画素により補間されたビデオ信号が発生する。サンプリング周波数変換回路４９によって、その出力（ｈ点）には、４８．６ＭＨｚのサンプリング周波数のビデオ信号が発生する。これが混合回路４８に供給される。
【００２９】
この多重サブサンプリングエンコード方式のデコーダでは、静止領域及び動き領域に関して補間とサブサンプリング処理が施される。ここで、本実施例のクラス分類適応処理装置は、フィールド内補間回路４２に適用できる。すなわち、本実施例のクラス分類適応処理装置は、図５に示すように、碁の目抜きされた状態で供給された多重サブサンプリングエンコード動画信号を碁の目補間してフィールド内補間する補間処理部５１からの補間多重サブサンプリングエンコード動画信号に、クラス分類適応処理を施してアップコンバージョンするクラス分類適応処理装置５２である。
【００３０】
図６に、本実施例のクラス分類適応処理装置５２の詳細な構成を示す。
補間処理部５１によって補間された後の多重サブサンプリングエンコード動画信号は、４種類の１ビット適応ダイナミックレンジ符号化（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ、以下、ＡＤＲＣという。）回路６１、６２、６３及び６４に供給される。ＡＤＲＣ符号化は、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。１ビットＡＤＲＣ符号化回路６１は、補間処理部５１で補間された後の多重サブサンプリングエンコード動画信号を３×３の領域にブロック化し、該３×３の領域の多重サブサンプリングエンコード動画信号の中の最大値と最小値からダイナミックレンジＤＲ_３を検出すると共に、クラスコードＣ_３を出力する。同様に、１ビットＡＤＲＣ符号化回路６２は、５×５の領域にブロック化された多重サブサンプリングエンコード動画信号からダイナミックレンジＤＲ_５を検出すると共に、クラスコードＣ_５を出力する。以下、１ビットＡＤＲＣ符号化回路６３も、７×７の領域の多重サブサンプリングエンコード動画信号からダイナミックレンジＤＲ_７を検出すると共に、クラスコードＣ_７を出力し、１ビットＡＤＲＣ符号化回路６４も、９×９の領域の多重サブサンプリングエンコード動画信号からダイナミックレンジＤＲ_９を検出すると共に、クラスコードＣ_９を出力する。
【００３１】
各１ビットのＡＤＲＣ符号化回路６１、６２、６３及び６４から出力されたダイナミックレンジＤＲ_３、ＤＲ_５、ＤＲ_７及びＤＲ_９は、図中破線で示すように、ダイナミックレンジ判定回路６５に供給される。ダイナミックレンジ判定回路６５は、後述するように、各ダイナミックレンジＤＲ_３、ＤＲ_５、ＤＲ_７及びＤＲ_９を基に、２ビットのクラスコード選択信号を生成し、クラスコード選択回路６６に供給すると共にフィルタ係数用ＲＯＭ６７に供給する。
【００３２】
フィルタ係数用ＲＯＭ６７には、予め学習により作成された適応フィルタ係数が格納されている。このフィルタ係数用ＲＯＭ６７は、クラスコード選択回路６６から供給されるクラスコードとＤＲ判定回路６５から供給されるクラスコード選択信号によりアドレスを決定されて、そのクラスに対応するフィルタ係数を適応フィルタ６８に出力する。適応フィルタ６８は、補間された多重サブサンプリングエンコード動画信号に上記フィルタ係数を用いた適応フィルタ処理を施し、アップコンバージョンした多重サブサンプリングエンコード動画信号を出力する。ここで、このフィルタ係数用ＲＯＭ６７と適応フィルタ６８とは、クラスコード選択回路６６により切り替え選択されて得られたクラスコードに応じて適応的に目的とする出力信号を出力する信号出力手段を形成している。
【００３３】
１ビットＡＤＲＣ符号化回路６１、６２、６３及び６４の詳細な構成を図７、８、９及び１０に示す。先ず、１ビットＡＤＲＣ符号化回路６１は、図７に示すように、３×３の領域内で補間多重サブサンプリングエンコード動画信号である各画素データの最大（ＭＡＸ）値を算出するＭＡＸ計算部７１と、３×３の領域内で上記各画素データの最小（ＭＩＮ）値を算出するＭＩＮ計算部７２と、上記ＭＡＸ値と上記ＭＩＮ値から３×３領域のダイナミックレンジＤＲ_３を算出するＤＲ計算部７３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_３で除算して、３×３の領域内で上記各画素データを正規化する正規化部７４と、この正規化部７４からの各正規化値と所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部７５とを有する。このビット割り当て部７５では、上記所定のしきい値を例えば０．５とし、上記各正規化値が上記しきい値以上である場合には２値化信号“１”を、上記各正規化値が上記しきい値より小さい場合には２値化信号“０”を、上記３×３の領域内で割り当てる。
【００３４】
また、１ビットＡＤＲＣ符号化回路６２は、図８に示すように、５×５の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのＭＡＸ値を算出するＭＡＸ計算部８１と、５×５の領域内で上記各画素データのＭＩＮ値を算出するＭＩＮ計算部８２と、上記ＭＡＸ値と上記ＭＩＮ値から５×５領域のダイナミックレンジＤＲ_５を算出するＤＲ計算部８３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_５で除算して、３×３の領域内で上記各画素データを正規化する正規化部８４と、この正規化部８４からの各正規化値と上記例えば０．５である所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部８５とを有する。このビット割り当て部８５が行うビット割り当て処理は、上記ビット割り当て部７５が行うビット割り当て処理と同様である。
【００３５】
さらに、１ビットＡＤＲＣ符号化回路６３は、図９に示すように７×７の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのＭＡＸ値を算出するＭＡＸ計算部９１と、７×７の領域内で上記各画素データのＭＩＮ値を算出するＭＩＮ計算部９２と、上記ＭＡＸ値と上記ＭＩＮ値から７×７領域のダイナミックレンジＤＲ_７を算出するＤＲ計算部９３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_７で除算して、３×３の領域内で上記各画素データを正規化する正規化部９４と、この正規化部９４からの各正規化値と上記例えば０．５である所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部９５とを有する。このビット割り当て部９５が行うビット割り当て処理も、上記ビット割り当て部７５が行うビット割り当て処理と同様である。
【００３６】
またさらに、１ビットＡＤＲＣ符号化回路６４は、図１０に示すように９×９の領域内で補間多重サブサンプリングエンコード動画信号である各画素データのＭＡＸ値を算出するＭＡＸ計算部１０１と、９×９の領域内で上記各画素データのＭＩＮ値を算出するＭＩＮ計算部１０２と、上記ＭＡＸ値と上記ＭＩＮ値から９×９領域のダイナミックレンジＤＲ_９を算出するＤＲ計算部１０３と、上記ＭＩＮ値を上記各画素データから減算した後、該減算値を上記ダイナミックレンジＤＲ_９で除算して、３×３の領域内で上記各画素データを正規化する正規化部１０４と、この正規化部１０４からの各正規化値と上記例えば０．５である所定のしきい値とを比較し、１画素当り１ビットの２値化信号とし、計９ビットを割り当てるビット割り当て部１０５とを有する。このビット割り当て部１０５が行うビット割り当て処理も、上記ビット割り当て部７５が行うビット割り当て処理と同様である。
【００３７】
図１１には、図６に示したダイナミックレンジ判定回路６５の詳細な構成を示す。このダイナミックレンジ判定回路６５は、上記１ビットＡＤＲＣ符号化回路６１のＤＲ計算部７３から供給されるダイナミックレンジＤＲ_３と上記１ビットＡＤＲＣ符号化回路６２から供給されるダイナミックレンジＤＲ_５との比（＝ＤＲ_３／ＤＲ_５）を所定のしきい値と比較して、２値化信号“１”又は“０”を出力する比較部１１１と、上記ダイナミックレンジＤＲ_３と上記１ビットＡＤＲＣ符号化回路６３から供給されるダイナミックレンジＤＲ_７との比（＝ＤＲ_３／ＤＲ_７）を所定のしきい値と比較して、２値化信号“１”又は“０”を出力する比較部１１２と、
上記ダイナミックレンジＤＲ_３と上記１ビットＡＤＲＣ符号化回路６４から供給されるダイナミックレンジＤＲ_９との比（＝ＤＲ_３／ＤＲ_９）を所定のしきい値と比較して、２値化信号“１”又は“０”を出力する比較部１１３と、上記比較部１１１、１１２及び１１３の出力を加算することによって２ビットのクラスコード選択信号を出力する加算部１１４とを有してなる。比較部１１１、１１２及び１１３では、上記ダイナミックレンジＤＲ_３と上記ダイナミックレンジＤＲ_５、ＤＲ_７及びＤＲ_９との比（ＤＲ_３／ＤＲ_ｎ）が所定のしきい値より大きいときに２値化信号“１”を、上記比が上記所定のしきい値以下のときに２値化信号“０”を出力する。
【００３８】
そして、クラスコード選択部６６は、上記ＤＲ判定部６５の加算器１１４が出力する２ビットのクラスコード選択信号に応じて、各１ビットのＡＤＲＣ符号化回路６１、６２、６３及び６４が出力した９ビットの割り当てデータ、すなわちクラスコードＣ_３、Ｃ_５、Ｃ_７及びＣ_９を選択的に切り替えてＲＯＭ６７に出力する。ここで、上記クラスコード選択信号が“１１”（＝３）のときには、上記クラスコードＣ_９が、上記クラスコード選択信号が“１０”（＝２）のときには、上記クラスコードＣ_７が、上記クラスコード選択信号が“０１”（＝１）のときには、上記クラスコードＣ_５が、上記クラスコード選択信号が“００”（＝０）のときには、上記クラスコードＣ_３が選択されるようにすればよい。
【００３９】
以上より、本実施例のクラス分類適応処理装置は、ダイナミックレンジに応じたクラスコード選択信号に応じてクラスコードを切り替え、該クラスコードをアドレスとしてフィルタ係数用ＲＯＭ６７からフィルタ係数を適応フィルタ６８に供給するので、固定領域に属さないクラスの影響にも対応して、予測係数用メモリ６７から予測係数を出力できる。さらに、該クラス分類適応処理装置を多重サブサンプリングエンコード方式のデコーダのフィールド内補間回路４２に適用すると、画像の局所的性質に追従したアップコンバージョンが可能となる。
【００４０】
【発明の効果】
本発明に係る信号処理装置は、複数のクラス分類手段が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択手段が複数のクラス分類手段の複数のクラス分類情報信号の一を選択処理し、切り替え制御手段がブロック内の変化の度合いを示す信号に応じて選択手段の選択処理を切り替え制御し、信号出力手段が適応フィルタ手段により、選択手段から得られたクラス分類情報信号の一に応じて、入力信号に適応フィルタ処理を施すので、固定領域に属さないクラスの影響にも対応できる。このため、本発明に係る信号処理装置は、高精度のクラス分類適応処理を行うことができる。
また、本発明に係る信号処理方法は、クラス分類工程が入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力し、選択工程がクラス分類工程から出力された複数のクラス分類情報信号の一を選択処理し、切り替え制御工程がブロック内の変化の度合いを示す信号に応じて選択工程の選択処理を切り替え制御し、信号出力工程が選択工程により選択されたクラス分類情報信号に対応して適応フィルタ係数記憶手段から出力されたフィルタ係数を用いて入力信号に適応フィルタ処理を施すので、固定領域に属さないクラスの影響にも対応できる。このため、本発明に係る信号処理装置は、高精度のクラス分類適応処理を行うことができる。
【図面の簡単な説明】
【図１】多重サブサンプリングエンコード方式のエンコーダの部分的なブロック図である。
【図２】多重サブサンプリングエンコード方式のエンコーダのサブサンプリングを説明するための図である。
【図３】本発明の実施例のクラス分類適応処理装置を適用できる多重サブサンプリングエンコード方式のデコーダの部分的なブロック図である。
【図４】多重サブサンプリングエンコード方式のデコーダの補間処理を説明するための図である。
【図５】本発明の実施例のクラス分類適応処理装置を概略的に説明するための図である。
【図６】本発明の実施例のクラス分類適応処理装置の詳細なブロック図である。
【図７】図６に示したクラス分類適応処理装置の３×３の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図８】図６に示したクラス分類適応処理装置の５×５の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図９】を図６に示したクラス分類適応処理装置の７×７の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図１０】図６に示したクラス分類適応処理装置の９×９の領域の１ビットＡＤＲＣ符号化回路の詳細なブロック図である。
【図１１】図６に示したクラス分類適応処理装置のダイナミックレンジ判定部の詳細なブロック図である。
【図１２】従来の画像信号変換装置のブロック図である。
【図１３】従来の他の画像信号変換装置のブロック図である。
【符号の説明】
４２フィールド内補間回路
５１補間処理部
５２クラス分類適応処理装置
６１３×３の領域の１ビットＡＤＲＣ符号化回路
６２５×５の領域の１ビットＡＤＲＣ符号化回路
６３７×７の領域の１ビットＡＤＲＣ符号化回路
６４９×９の領域の１ビットＡＤＲＣ符号化回路
６５ダイナミックレンジ判定回路
６６クラスコード選択回路
６７フィルタ係数用ＲＯＭ
６８適応フィルタ

Claims

入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力する複数のクラス分類手段と、
上記複数のクラス分類手段の複数の上記クラス分類情報信号の一を選択処理する選択手段と、
上記ブロック内の変化の度合を示す信号に応じて上記選択手段の選択処理を切り替え制御する切り替え制御手段と、
上記選択手段から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を上記入力信号に施す適応フィルタ手段を備える信号出力手段とを有し、
上記信号出力手段は、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段をさらに有し、上記適応フィルタ処理手段は上記選択手段から得られた上記クラス分類情報信号の一に応じて上記適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することを特徴とする信号処理装置。
上記クラス分類手段は、適応ダイナミックレンジ符号化手段であることを特徴とする請求項１記載の信号処理装置。
上記ブロック内の変化の度合いを示す信号は、ダイナミックレンジであることを特徴とする請求項１記載の信号処理装置。
上記切り替え制御信号は、上記相互に異なる大きさの複数のブロックから得られる上記ブロック内の変化の度合いを示す信号のうちの一の信号と残りの他の信号の各々に対する信号比と、所定の閾値との比較により得られる２値化信号に基づき得られる切り替え制御信号によって、上記選択手段の一を切り替え制御することを特徴とする請求項１記載の信号処理装置。
上記一の信号は、上記相互に異なる大きさの複数のブロックのうち、最も小さいブロックから得られる変化の度合いを示す信号であることを特徴とする請求項４記載の信号処理装置。
上記切り替え制御信号は、上記得られた２値化信号の全ての加算により得られることを特徴とする請求項４記載の信号処理装置。
上記複数の信号は、動画信号であることを特徴とする請求項１記載の信号処理装置。
入力信号を相互に重なり且つ異なる大きさの複数の領域にブロック化し、相互に異なる大きさの複数のブロックの各ブロック毎にそれぞれクラス分類処理を施して各クラス分類情報信号及び各ブロック内の変化の度合を示す信号をそれぞれ出力するクラス分類工程と、
上記クラス分類工程から出力された複数の上記クラス分類情報信号の一を選択処理する選択工程と、
上記ブロック内の変化の度合を示す信号に応じて上記選択工程の選択処理を切り替え制御する切り替え制御工程と、
上記選択工程から得られた上記クラス分類情報信号の一に基づいて出力されるフィルタ係数を用いたフィルタ処理を、上記入力信号に施す適応フィルタ工程を備える信号出力工程とを有し、
上記信号出力工程の上記適応フィルタ処理工程は、上記選択工程から得られた上記クラス分類情報信号の一に応じて、予め学習により獲得されたクラス毎の適応フィルタ係数を格納する適応フィルタ係数記憶手段から出力された上記適応フィルタ係数を用いて処理することを特徴とする信号処理方法。