[go: up one dir, main page]

JP4311258B2 - 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 - Google Patents

係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 Download PDF

Info

Publication number
JP4311258B2
JP4311258B2 JP2004109718A JP2004109718A JP4311258B2 JP 4311258 B2 JP4311258 B2 JP 4311258B2 JP 2004109718 A JP2004109718 A JP 2004109718A JP 2004109718 A JP2004109718 A JP 2004109718A JP 4311258 B2 JP4311258 B2 JP 4311258B2
Authority
JP
Japan
Prior art keywords
data
signal
information data
information
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004109718A
Other languages
English (en)
Other versions
JP2005295355A (ja
Inventor
哲二郎 近藤
大介 菊地
志津男 近岡
岳志 宮井
崇 中西
継彦 芳賀
芳晃 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004109718A priority Critical patent/JP4311258B2/ja
Priority to US11/096,044 priority patent/US7672914B2/en
Priority to KR20050027601A priority patent/KR101089853B1/ko
Priority to CNB2005100637932A priority patent/CN100361527C/zh
Publication of JP2005295355A publication Critical patent/JP2005295355A/ja
Application granted granted Critical
Publication of JP4311258B2 publication Critical patent/JP4311258B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはこの係数データを生成するための生成式における係数データである係数種データを生成する装置および方法、これら係数データあるいは係数種データを用いて第１の情報信号を第２の情報信号に変換する装置、並びに係数データあるいは係数種データの生成方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体に関する。

詳しくは、この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはその係数データを生成するための係数種データを、第１の情報信号に対応した生徒信号および第２の情報信号に対応した教師信号を用いた学習により得る場合、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いることによって、当該所定の特徴を持つ特徴位置の情報データを忠実に再現し得る係数データあるいは係数種データを得ることができ、第２の情報信号によって得られる出力の質の向上を図ることができるようにした係数データあるいは係数種データの生成装置等に係るものである。
近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の補間処理による手法よりも、クラス分類適応処理による手法の方が、性能的に良好な結果が得られることが知られている。
このクラス分類適応処理は、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＨＤ信号の注目画素位置の画素データが属するクラスを検出し、このクラスに対応した推定式の係数データを用い、当該推定式に基づいて、ＳＤ信号の複数の画素データから、ＨＤ信号の注目画素位置の画素データを生成するものである。そして、このクラス分類を伴う変換処理で使用される推定式の係数データは、クラス毎に最小二乗法等の学習によって決定される。
例えば、特許文献１には、学習の教師となる教師データと、学習の生徒となる生徒データとを用い、その教師データと生徒データに対して、生徒データから生成される予測タップのアクティビティ（ダイナミックレンジ）に基づく重み付けを行いながら、教師データと生徒データとの関係を学習することにより、予測タップのダイナミックレンジの全体に亘って、予測精度を高くする、タップ係数（係数データ）を得ることが記載されている。
また例えば、特許文献２には、低Ｓ／Ｎ画像から高Ｓ／Ｎ画像を得るための予測係数（係数データ）を、学習の教師となる高Ｓ／Ｎ画像と学習の生徒となる低Ｓ／Ｎ画像とを用いた学習によって得るものであって、最初は高Ｓ／Ｎ画像を構成する高Ｓ／Ｎ画素の全てに対応した学習データを用いて予測係数を取得し、次に、その取得された予測係数を用いて得られる予測値の予測誤差が小さくない予測値が得られる高Ｓ／Ｎ画素のみに対応した学習データを用いて予測係数を取得し、以下同様の処理を繰り返すことで、高Ｓ／Ｎ画像を構成する高Ｓ／Ｎ画素の全てについて、幾つかの高Ｓ／Ｎ画素のグループごとに、予測誤差を小さくする予測係数を求めることが記載されている。
特開２００３−３１６７６０号公報（１３頁〜１７頁、図４〜図７参照） 特開２００１−８０５６号公報（１５頁〜２０頁、図９〜図１２参照）
特許文献１、特許文献２に記載されるように、従来の係数データの生成装置（学習装置）では、教師画像の各画素の特徴を無視して、教師画像を構成する各画素に対応した学習データを区別せずに用いて係数データを取得するものであり、ＨＤ画像あるいは高Ｓ／Ｎ画像の各画素が平均的な性能で予測される係数データを得る構造となっていた。
しかし、ＨＤ画像あるいは高Ｓ／Ｎ画像を構成する各画素の画質に対する寄与度は均一なものではない。そのため、画質への寄与の低い画素の予測性能を下げ、画質への寄与の高い画素の予測性能をその分上げることで、全体の画質を上げることができる。
この発明の目的は、第１の情報信号から係数データあるいは係数種データを用いた変換される第２の情報信号によって得られる出力の質の向上を図ることにある。
この発明に係る係数データ生成装置は、複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成手段と、上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定手段と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択手段で選択された複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に求める演算手段とを備え、上記判定手段は、上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定するものである。
また、この発明に係る係数データ生成方法は、複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、上記判定工程では、上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定するものである。
また、この発明に係るプログラムは上述した係数データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な記録媒体は、上述したプログラムを記録したものである。
また、この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号から、上記第１の情報信号よりも質の高い第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、上記第１の情報信号のレベル分布から、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、上記第２の情報信号を示す教師信号における、情報データへの寄与の高い特徴を持つ特徴位置の情報データと、上記第１の情報信号を示す生徒信号から選択された、上記教師信号における特徴位置の周辺に位置する複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に記憶する記憶手段と、上記データ選択手段で選択された複数の情報データと、上記記憶手段に記憶されている係数データとを積和演算して、上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、上記特徴位置は、上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置が該特徴位置であると判定され、又は、上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置が該特徴位置であると判定されるものである。
この発明においては、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かが判定される。ここで、情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
例えば、教師信号に基づいて選択された、教師信号における注目位置の情報データおよびその周辺に位置する複数の情報データが用いられて、当該注目位置が特徴位置であるか否かが判定される。この場合、注目位置の情報データおよび周辺に位置する情報データを、低域遮断フィルタを介して取得したものとすることで、高域成分のみで特徴位置であるか否かの判定が可能となる。
その場合、例えば注目位置の情報データが、周辺に位置する複数の情報データの最大値より大きいか、あるいは周辺に位置する複数の情報データの最小値より小さいとき、当該注目位置は特徴位置であると判定される。
また例えば、注目位置の情報データが、周辺に位置する複数の情報データの中央値と一致、あるいは注目位置の情報データおよび周辺に位置する複数の情報データの中央値と一致するとき、当該注目位置は特徴位置であると判定される。ここで、一致は、完全に一致する場合の他、注目位置の情報データが中央値の上下所定範囲内にある場合も含むものとする。
また、第１の情報信号に対応した生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データが選択される。そして、特徴位置であると判定された教師信号における注目位置の情報データおよびこの注目位置に対応して選択された複数の情報データを用いて、係数データが求められる。この場合、教師信号における注目位置の情報データが属するクラスがさらに検出されることで、クラス毎に、係数データが求められる。
例えば、特徴位置であると判定された教師信号における注目位置の情報データおよびこの注目位置に対応して選択された複数の情報データを用いて、係数データを求めるための正規方程式が生成されると共に、この正規方程式が解かれて係数データが求められる。
上述したように生成された係数データは、第１の情報信号を第２の情報信号に変換する際に使用される。この場合、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび上述した係数データが用いられ、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
このように、この発明においては、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いて係数データを生成するものであり、その特徴を持つ特徴位置の情報データを忠実に再現し得る係数データを得ることができ、第１の情報信号から当該係数データを用いて変換された第２の情報信号によって得られる出力の質の向上を図ることができる。
この発明に係る係数種データ生成装置は、複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成手段と、上記生徒信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定手段と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、上記パラメータ入力手段に入力されたパラメータの値と積和演算されて、上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択手段で選択された複数の情報データとの誤差を最小にする係数種データを、上記クラス検出手段で検出されたクラス毎に求める演算手段とを備え、上記判定手段は、上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定するものである。
また、この発明に係る係数種データ生成方法は、複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、上記生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、上記パラメータ取得工程で取得されたパラメータの値と積和演算されて、上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数種データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、上記判定工程は、上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定するものである。
また、この発明に係るプログラムは上述した係数種データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な記録媒体は、上述したプログラムを記録したものである。
また、この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号から、上記第１の情報信号よりも質の高い第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、上記第２の情報信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、上記第１の情報信号のレベル分布から、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、上記生徒信号によって得られる出力の質を定めるパラメータの値と積和演算されて、上記第２の情報信号を示す教師信号における、情報データへの寄与の高い特徴を持つ特徴位置の情報データと、上記第１の情報信号を示す生徒信号から選択された、上記教師信号における特徴位置の周辺に位置する複数の情報データとの誤差を最小にする係数種データを記憶する記憶手段と、上記記憶手段に記憶されている係数種データと上記パラメータ入力手段に入力されたパラメータの値を積和演算して、上記パラメータ入力手段に入力されたパラメータの値に対応した係数データを生成する係数データ生成手段と、上記データ選択手段で選択された複数の情報データと上記係数データ生成手段で生成された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、上記特徴位置は、上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置が該特徴位置であると判定され、又は、上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置が該特徴位置であると判定されるものである。
この発明においては、第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値が入力される。また、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かが判定される。ここで、情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
例えば、教師信号に基づいて選択された、教師信号における注目位置の情報データおよびその周辺に位置する複数の情報データが用いられて、当該注目位置が特徴位置であるか否かが判定される。この場合、注目位置の情報データおよび周辺に位置する情報データを、低域遮断フィルタを介して取得したものとすることで、高域成分のみで特徴位置であるか否かの判定が可能となる。
その場合、例えば注目位置の情報データが、周辺に位置する複数の情報データの最大値より大きいか、あるいは周辺に位置する複数の情報データの最小値より小さいとき、当該注目位置は特徴位置であると判定される。
また例えば、注目位置の情報データが、周辺に位置する複数の情報データの中央値と一致、あるいは注目位置の情報データおよび周辺に位置する複数の情報データの中央値と一致するとき、当該注目位置は特徴位置であると判定される。ここでいう一致は、完全に一致する場合の他、注目位置の情報データが中央値の上下所定範囲内にある場合も含むものとする。
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データが選択される。そして、特徴位置であると判定された教師信号における注目位置の情報データ、この注目位置に対応して選択された複数の情報データ、およびパラメータの値を用いて、係数種データが求められる。この場合、教師信号における注目位置の情報データが属するクラスがさらに検出されることで、クラス毎に、係数データが求められる。
例えば、特徴位置であると判定された教師信号における注目位置の情報データ、この注目位置に対応して選択された複数の情報データ、およびパラメータの値を用いて、係数種データを求めるための正規方程式が生成されると共に、この正規方程式が解かれて係数種データが求められる。
上述したように生成された係数種データは、第１の情報信号を第２の情報信号に変換する際に使用される。この場合、第２の情報信号によって得られる出力の質を定めるパラメータの値が入力される。そして、このパラメータの値および上述した係数種データが用いられ、生成式に基づいて、パラメータの値に対応した推定式の係数データが生成される。
また、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび上述した係数データが用いられ、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
このように、この発明においては、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いて係数種データを生成するものであり、その特徴を持つ特徴位置の情報データを忠実に再現し得る係数種データを得ることができ、第１の情報信号から当該係数種データを用いて変換された第２の情報信号によって得られる出力の質の向上を図ることができる。
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはその係数データを生成するための係数種データを、第１の情報信号に対応した生徒信号および第２の情報信号に対応した教師信号を用いた学習により得る場合、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いるものであり、その特徴を持つ特徴位置の情報データを忠実に再現し得る係数データあるいは係数種データを得ることができ、第２の情報信号によって得られる出力の質の向上を図ることができる。
この発明の第１の実施の形態について説明する。図１は、第１の実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、５２５ｉ信号というＳＤ(Standard Definition)信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ(High Definition)信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の情報信号を構成し、画像信号Ｖｂは第２の情報信号を構成している。５２５ｉ信号は、１フレームのライン数が５２５本である、インタレース方式の画像信号である。１０５０ｉ信号は、１フレームのライン数が１０５０本である、インタレース方式の画像信号である。
図２は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図２から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。
ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
図１に戻って、画像信号処理装置１００は、入力端子１０１と、予測タップ選択回路１０２と、クラスタップ選択回路１０３とを有している。入力端子１０１は、画像信号Ｖａを入力するための端子である。これらタップ選択回路１０２，１０３は、それぞれ、入力端子に入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。
図３Ａは、予測タップのデータとして抽出される複数の画素データのパターン例を示している。図３Ｂは、クラスタップのデータとして抽出される複数の画素データ（実線部分）のパターン例を示している。なお、この図３Ａ，Ｂでは、注目画素位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドからも抽出することも考えられる。
また、画像信号処理装置１００は、クラス検出回路１０４を有している。このクラス検出回路１０４は、クラスタップ選択回路１０３で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
すなわち、クラス検出回路１０４は、まず、複数の画素データにデータ圧縮処理を施し、例えば各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。このデータ圧縮は、例えばＡＤＲＣ(Adaptive Dynamic Range Coding)によって行われる。このデータ圧縮を、ＡＤＲＣ以外、例えばＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いて行ってもよい。
ＡＤＲＣを使用する場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、（１）式の演算式に基づいて、圧縮データとしての再量子化コードｑｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２P／ＤＲ］ ・・・（１）
クラス検出回路１０４は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（２）式の演算により、クラスコードＣＬを生成する。
Figure 0004311258
また、画像信号処理装置１００は、記憶手段としての係数メモリ１０５を有している。この係数メモリ１０５は、後述する推定予測演算回路１０６で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納している。この係数データＷｉは、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。
なお、上述の図２に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。
図４は、奇数、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素における中心予測タップからの位相ずれを示している。奇数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１〜ＨＤ４の位置は、それぞれ、中心予測タップＳＤ０の位置から、水平方向にｋ１〜ｋ４、垂直方向にｍ１〜ｍ４だけずれている。偶数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１′〜ＨＤ４′の位置は、それぞれ、中心予測タップＳＤ０′の位置から、水平方向にｋ１′〜ｋ４′、垂直方向にｍ１′〜ｍ４′だけずれている。
そのため、上述した各クラスの係数データＷｉは、８種類の出力画素（ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）にそれぞれ対応した係数データＷｉからなっている。結局、係数メモリ１０５には、クラスおよび出力画素の組み合わせ毎に、係数データＷｉが格納されている。
この係数データＷｉは、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。そしてその場合、係数データＷｉは、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。これにより、画像信号Ｖｂにおける画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データを忠実に再現できるようになっており、画像信号Ｖｂによって得られる画像の画質の向上が図られている。この係数データＷｉの生成方法の詳細については後述する。
この係数メモリ１０５には、上述したクラス検出回路１０４で生成されたクラスコードＣＬが、読み出しアドレス情報として供給される。この係数メモリ１０５からはクラスコードＣＬで示されるクラスに対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算回路１０６に供給される。
また、画像信号処理装置１００は、推定予測演算回路１０６と、後処理回路１０７と、出力端子１０８とを有している。推定予測演算回路１０６は、予測タップ選択回路１０２で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１０５から読み出された係数データＷｉとを用い、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを求める。
Figure 0004311258
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する際には、各フィールドにおいて、５２５ｉ信号の１画素（図４のＳＤ０またはＳＤ０′）に対して、１０５０ｉ信号の４画素（図４のＨＤ１〜ＨＤ４、またはＨＤ1′〜ＨＤ４′）を得る必要がある。この推定予測演算回路１０６は、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ毎に、画素データを求める。
すなわち、この推定予測演算回路１０６には、予測タップ選択回路１０２より単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉが供給され、また係数メモリ１０５からその単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉが供給される。そして、この推定予測演算回路１０６は、単位画素ブロックＵＢを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（３）式の推定式で、個別に演算する。
後処理回路１０７は、推定予測演算回路１０６より順次出力される、単位画素ブロックＵＢ内の４画素の画素データｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。出力端子１０８は、後処理回路１０７から出力される画像信号Ｖｂ（１０５０ｉ信号）を出力するための端子である。
次に、画像信号処理装置１００の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａに基づいて、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。
すなわち、クラスタップ選択回路１０３では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出回路１０４に供給される。クラス検出回路１０４では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対して、例えばＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（１）式、（２）式参照）。
このクラスコードＣＬは、係数メモリ１０５に読み出しアドレス情報として供給される。この係数メモリ１０５からは、各フィールドにおいて、クラスコードＣＬで示されるクラスに対応した４出力画素（図４のＨＤ１〜ＨＤ４、またはＨＤ１′〜ＨＤ４′）分の係数データＷｉが読み出される。この係数データＷｉは、推定予測演算回路１０６に供給される。
また、予測タップ選択回路１０２では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算回路１０６に供給される。
推定予測演算回路１０６では、予測タップ選択回路１０２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１０５から読み出された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ1〜ｙ4が、（３）式の推定式に基づいて、個別に演算される。
この推定予測演算回路１０６より順次出力される、画像信号Ｖｂを構成する各単位画素ブロック内の４画素の画素データｙ1〜ｙ4は、後処理回路１０７に供給される。この後処理回路１０７では、推定予測演算回路１０６より順次供給される単位画素ブロック内の４画素のデータｙ1〜ｙ4が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理回路１０７からは画像信号Ｖｂ（０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子１０８に出力される。
上述したように、係数メモリ１０５に格納されている係数データＷｉ（ｉ＝１〜ｎ）は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、図１に示す画像信号処理装置１００によれば、画像信号Ｖｂにおける画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現されるため、この画像信号Ｖｂによって得られる画像の画質が向上する。
次に、上述した画像信号処理装置１００の係数メモリ１０５に格納される、係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、学習によって生成される。
まず、学習方法について説明する。上述の（３）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗnは未定係数である。学習は、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（３）式に従って、以下に示す（４）式が設定される。ｎは予測タップの数を示している。
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn ・・・（４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（５）式で定義し、（６）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（５）
（ｋ＝１，２，‥‥ｍ）
Figure 0004311258
（６）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（７）式に示すように、ｅ2を係数データＷｉ(ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
Figure 0004311258
（８）式、（９）式のようにＸji，Ｙiを定義すると、（７）式は、（１０）式の行列式の形に書くことができる。この（１０）式が、係数データＷｉを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉを求めることができる。
Figure 0004311258
Figure 0004311258
次に、図５を参照して、係数データＷｉを生成する係数データ生成装置１５０を説明する。
この係数データ生成装置１５０は、入力端子１５１と、ＳＤ信号生成回路１５２とを有している。入力端子１５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成回路１５２は、この画像信号Ｖｂ′に対して水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。
また、係数データ生成装置１５０は、予測タップ選択回路１５３と、クラスタップ選択回路１５４とを有している。これらタップ選択回路１５３，１５４は、それぞれ、ＳＤ信号生成回路１５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択回路１５３，１５４は、それぞれ、上述した画像信号処理装置１００のタップ選択回路１０２，１０３に対応している。
また、係数データ生成装置１５０は、クラス検出回路１５５を有している。このクラス検出回路１５５は、クラスタップ選択回路１５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１５５は、上述した画像信号処理装置１００のクラス検出回路１０４に対応している。
また、係数データ生成装置１５０は、教師タップ選択回路１５６を有している。この教師タップ選択回路１５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データを選択的に抽出する。
また、係数データ生成装置１５０は、特徴タップ選択回路１５７と、特徴画素判定部１５８とを有している。特徴タップ選択回路１５７は、入力端子１５１に入力される画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データ、およびその周辺に位置する複数の画素データを、特徴タップのデータとして選択的に抽出する。
図６は、特徴タップのデータとして抽出される複数の画素データのパターン例を示している。この例では、特徴タップのデータは、注目画素位置の画素データｄ0、およびその周辺に位置する８個の画素データｄ1〜ｄ8で構成されている。特徴タップのパターンは、図６に示すパターンに限定されるものではない。しかし、説明の便宜上、以下では、特徴タップ選択回路１５７で選択される特徴タップのパターンが図６に示すものであるとして説明する。
特徴画素判定部１５８は、特徴タップ選択回路１５７で選択的に抽出された特徴タップのデータとしての複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定し、その結果を示す判定信号ＪＲを出力する。
図７は、特徴画素判定部１５８の構成例を示している。この構成例では、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。ここで、特徴画素判定部１５８は、入力端子１６０と、分離回路１６１と、最大値・最小値検出回路１６２と、比較器１６３と，１６４と、オア回路１６５と、出力端子１６６とから構成されている。
入力端子１６０は、特徴タップ選択回路１５７で特徴タップのデータとして抽出された画素データｄ0〜ｄ8を入力するための端子である。分離回路１６１は、入力端子１６０に入力された画素データｄ0〜ｄ8を、注目画素位置の画素データｄ0、およびその周辺に位置する８個の画素データｄ1〜ｄ8に分離する。最大値・最小値検出回路１６２は、分離回路１６１で分離された周辺位置の画素データｄ1〜ｄ8から、最大値ＭＡＸおよび最小値ＭＩＮを検出する。
比較器１６３は、分離回路１６１で分離された注目画素位置の画素データｄ0と最大値・最小値検出回路１６２で検出された最大値ＭＡＸとを比較し、画像データｄ0が最大値ＭＡＸより大きいとき「１」を出力し、それ以外のとき「０」を出力する。一方、比較器１６４は、分離回路１６１で分離された注目画素位置の画素データｄ0と最大値・最小値検出回路１６２で検出された最小値ＭＩＮとを比較し、画像データｄ0が最小値ＭＩＮより小さいとき「１」を出力し、それ以外のとき「０」を出力する。
オア回路１６５は、比較器１６３，１６４の出力を入力とし、それらの出力の論理和を判定信号ＪＲとして出力する。この判定信号ＪＲは、「１」であるとき注目画素位置は特徴位置であると判定されたことを示し、「０」であるときは注目画素位置は特徴位置でないと判定されたことを示す。出力端子１６６は、オア回路１６５から出力される判定信号ＪＲを出力する端子である。
図７に示す特徴画素判定部１５８の動作を説明する。入力端子１６０に入力された特徴タップのデータとしての画素データｄ0〜ｄ8は分離回路１６１に供給される。この分離回路１６１では、画素データｄ0〜ｄ8が、注目画素位置の画素データｄ0、および周辺位置の画素データｄ1〜ｄ8に分離される。
分離回路１６１で分離された周辺位置の画素データｄ1〜ｄ8は、最大値・最小値検出回路１６２に供給される。この検出回路１６２では、画素データｄ1〜ｄ8から、最大値ＭＡＸおよび最小値ＭＩＮが検出される。この検出回路１６２で検出された最大値ＭＡＸおよび最小値ＭＩＮは、それぞれ比較器１６３および比較器１６４に供給される。これら比較器１６３，１６４には、それぞれ分離回路１６１で分離された注目画素位置の画素データｄ0も供給される。
そして、比較器１６３では、画素データｄ0が最大値ＭＡＸと比較され、ｄ0＞ＭＡＸであるとき「１」が出力され、それ以外のとき「０」が出力される。また、比較器１６４では、画素データｄ0が最小値ＭＩＮと比較され、ｄ0＜ＭＩＮであるとき「１」が出力され、それ以外のとき「０」が出力される。これら比較器１６３，１６４の出力の論理和がオア回路１６５でとられて判定信号ＪＲが得られ、この判定信号ＪＲが出力端子１６６に出力される。
この場合、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、比較器１６３の出力または比較器１６４の出力が「１」となることから、オア回路１６５から出力される判定信号ＪＲは「１」となり、従って当該注目画素位置は特徴位置であると判定される。
図５に戻って、係数データ生成装置１５０は、正規方程式生成回路１７１を有している。この正規方程式生成回路１７１は、教師タップ選択回路１５６で選択的に抽出された、画像信号Ｖｂ′における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択回路１５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出回路１５５で生成されたクラスコードＣＬとから、クラス毎に、係数データＷｉを得るための正規方程式（（１０）式参照）を生成する。ここで、画像信号Ｖｂ′における各注目画素位置は、特徴画素判定部１５８で特徴位置であると判定された注目画素位置である。
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成回路１７１では、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データｙからなる学習データのみを用いて、クラス毎に、係数データＷｉを得るための正規方程式が生成される。
またこの場合、正規方程式生成部１７１では、出力画素（図４のＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成部１７１では、クラスおよび出力画素の組み合わせ毎に、係数データＷｉを得るための正規方程式が生成される。
また、係数データ生成装置１５０は、係数データ決定回路１７２と、係数メモリ１７３とを有している。係数データ決定回路１７２は、正規方程式生成回路１７１から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の各組み合わせの係数データＷｉを求める。係数メモリ１７３は、その係数データＷｉを格納する。
図５に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。
クラスタップ選択回路１５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出回路１５５に供給される。そして、クラス検出回路１５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（１）式、（２）式参照）。このクラスコードＣＬは、正規方程式生成回路１７１に供給される。
予測タップ選択回路１５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成回路１７１に供給される。また、教師タップ選択回路１５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成回路１７１に供給される。
また、特徴タップ選択回路１５７では、画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データｄ0、およびその周辺に位置する複数の画素データｄ1〜ｄ8が、特徴タップのデータとして選択的に抽出される。この画素データｄ0〜ｄ8は、特徴画素判定部１５８に供給される。特徴画素判定部１５８では、複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かが判定され、その結果を示す判定信号ＪＲが得られる。例えば、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。この判定信号ＪＲは、正規方程式生成回路１７１に供給される。
正規方程式生成回路１７１では、特徴画素判定部１５８で特徴位置であると判定された、画像信号Ｖｂ′における各注目画素位置を対象として、当該各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬとから、クラスおよび出力画素（図４のＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１０）式参照）が生成される。
このように生成された正規方程式のデータは、係数データ決定回路１７２に供給される。この係数データ決定回路１７２では、それぞれの正規方程式が解かれ、クラスおよび出力画素の組み合わせ毎に、係数データＷｉが求められる。そして、この係数データＷｉは、係数メモリ１７３に格納される。
このように、図５の係数データ生成装置１５０においては、上述した画像信号処理装置１００の係数メモリ１０５に格納すべき、クラスおよび出力画素の各組み合わせの係数データＷｉを生成できる。
上述したように、この係数データＷｉは、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、この係数データＷｉが図１に示す画像信号処理装置１００の係数メモリ１０５に格納されて使用されることで、画像信号処理装置１００では、画像信号Ｖｂにおける画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現され、この画像信号Ｖｂによって得られる画像の画質の向上を図ることができる。
なお、図５に示す係数データ生成装置１５０の特徴画素判定部１５８として図７の構成例を示したが、これに限定されるものではなく、注目画素位置が画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定できるものであれば、他の構成であってもよい。
図８は、特徴画素判定部１５８の他の構成例を示している。この構成例では、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の中央値と一致、あるいは注目画素位置の画素データｄ0および周辺位置の画素データｄ1〜ｄ8の中央値と一致するとき、当該注目画素位置は特徴位置であると判定される。ここで、特徴画素判定部１５８は、入力端子１９０と、分離回路１９１と、中央値検出回路１９２と、比較器１９３と、出力端子１９４とから構成されている。
入力端子１９０は、特徴タップ選択回路１５７で特徴タップのデータとして抽出された画素データｄ0〜ｄ8を入力するための端子である。分離回路１９１は、入力端子１９０に入力された画素データｄ0〜ｄ8を、注目画素位置の画素データｄ0、およびその周辺に位置する８個の画素データｄ1〜ｄ8に、あるいは画素データｄ0、および画素データｄ0〜ｄ8に分離する。
中央値検出回路１９２は、分離回路１９１で分離された画素データｄ1〜ｄ8、あるいは画素データｄ0〜ｄ8から、中央値ＣＥＮを検出する。ここで、画素データｄ1〜ｄ8の中央値は、４番目および５番目に大きな画素データの平均値とされる。また、画素データｄ0〜ｄ8の中央値は、５番目に大きな画素データとされる。
比較器１９３は、分離回路１９１で分離された注目画素位置の画素データｄ0と中央値検出回路１９２で検出された中央値ＣＥＮとを比較し、画像データｄ0と中央値ＣＥＮが一致したとき「１」を出力し、それ以外のとき「０」を出力する。ここでいう一致は、完全に一致する場合の他、注目画素位置の画素データｄ0が中央値ＣＥＮの上下所定範囲内にある場合も含むものとする。
出力端子１９４は、比較器１９３の出力を、判定信号ＪＲとして出力する。この判定信号ＪＲは、図７に示す特徴判定部１５８におけると同様に、「１」であるとき注目画素位置は特徴位置であると判定されたことを示し、「０」であるときは注目画素位置は特徴位置でないと判定されたことを示す。
図８に示す特徴画素判定部１５８の動作を説明する。入力端子１９０に入力された特徴タップのデータとしての画素データｄ0〜ｄ8は分離回路１９１に供給される。この分離回路１９１では、画素データｄ0〜ｄ8が、注目画素位置の画素データｄ0、および周辺位置の画素データｄ1〜ｄ8に、あるいは画素データｄ0、および画素データｄ0〜ｄ8に分離される。
分離回路１９１で分離された周辺位置の画素データｄ1〜ｄ8、あるいは画素データｄ0〜ｄ8は、中央値検出回路１９２に供給される。この検出回路１９２では、画素データｄ1〜ｄ8、あるいは画素データｄ0〜ｄ8から、中央値ＣＥＮが検出される。この検出回路１９２で検出された中央値ＣＥＮは比較器１９３に供給される。この比較器１９３には、分離回路１９１で分離された注目画素位置の画素データｄ0も供給される。
そして、比較器１９３では、画素データｄ0が中央値ＣＥＮと比較され、ｄ0＝ＣＥＮであるとき「１」が出力され、それ以外のとき「０」が出力される。この比較器１９３の出力は判定信号ＪＲとして出力端子１９４に出力される。
この場合、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の中央値ＣＥＮと一致、あるいは注目画素位置の画素データｄ0および周辺位置の画素データｄ1〜ｄ8の中央値ＣＥＮと一致するとき、比較器１９３の出力は「１」となって判定信号ＪＲは「１」となり、従って当該注目画素位置は特徴位置であると判定される。
また、図５に示す係数データ生成装置１５０において、特徴タップ選択回路１５７では、入力端子１５１に入力される画像信号Ｖｂ′そのものに基づいて、特徴タップのデータとしての画素データｄ0〜ｄ8を選択的に抽出するものである。しかし、図５に破線で示すように、特徴タップ選択回路１５７の前段に、低域遮断フィルタ１８１を設け、特徴タップ選択回路１５７で選択的に抽出される画素データｄ0〜ｄ8が、低域遮断フィルタ１８１を介したものとすることもできる。
この場合、画素データｄ0〜ｄ8のそれぞれは高域成分のみとなり、特徴画素判定部１５８では、画質に特に寄与する高域成分のみで注目画素位置が特徴位置であるか否かの判定が行われるものであり、画質への寄与の高い所定の特徴を持つ特徴位置を、効果的に判定できる。
なお、図１の画像信号処理装置１００における処理を、例えば図９に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。
まず、図９に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムや係数データ等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、光ディスク、磁気ディスク、メモリカード等のリムーバブルな記憶媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＬＣＤ（liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ＳＤ信号である画像信号Ｖａを入力するための入力端子５１５と、ＨＤ信号である画像信号Ｖｂを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
ここで、上述したようにＲＯＭ５０２に制御プログラムや係数データ等を予め格納しておく代わりに、これら制御プログラムや係数データを例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ５０３に格納して使用することもできる。また、これら制御プログラムや係数データ等をリムーバブルな記憶媒体で提供するようにしてもよい。
また、処理すべき画像信号Ｖａを入力端子５１５より入力する代わりに、予めハードディスクドライブ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
図１０のフローチャートを参照して、図９に示す画像信号処理装置５００における、画像信号Ｖａから画像信号Ｖｂを得るための処理手順を説明する。
まず、ステップＳＴ１０で、処理を開始し、ステップＳＴ１１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳＴ１２で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１４に進む。
このステップＳＴ１４では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ１５で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ１６で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ１７で、ステップＳＴ１５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ１６で取得された複数の画素データｘｉを使用して、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを生成する。
次に、ステップＳＴ１８で、ステップＳＴ１１で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１１に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１４に戻って、次の注目画素位置についての処理に移る。
このように、図１０に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。このように処理して得られた画像信号Ｖｂは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
また、処理装置の図示は省略するが、図５の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
図１１のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ２０で、処理を開始し、ステップＳＴ２１で、教師信号としての画像信号Ｖｂ′を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２２で、画像信号Ｖｂ′の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２３で、ステップＳＴ２１で入力された画像信号Ｖｂ′に対して水平および垂直の間引き処理を行って、生徒信号としての画像信号Ｖａ′を生成する。
次に、ステップＳＴ２４で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｄ0およびその周辺位置の画素データｄ1〜ｄ8を、特徴タップのデータとして取得する。そして、ステップＳＴ２５で、ステップＳＴ２４で取得された画素データｄ0〜ｄ8に基づいて、注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定する。例えば、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。
注目画素位置が特徴位置であると判定されるとき、ステップＳＴ２６に進む。このステップＳＴ２６で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ２７で、このクラスタップのデータに基づいて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ２８で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳＴ２９で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙを教師タップのデータとして取得する。
そして、ステップＳＴ３０で、ステップＳＴ２７で生成されたクラスコードＣＬ、ステップＳＴ２８で取得された複数の画素データｘｉ、およびステップＳＴ２９で取得された画素データｙを用いて、クラスおよび出力画素の組み合わせ毎に、（１０）式に示す正規方程式を得るための加算（足し込み）をする（（８）式、（９）式参照）。
このステップＳＴ３０の処理の後、ステップＳＴ３１に進む。なお、上述したステップＳＴ２５で注目画素位置は特徴位置でないと判定されるときは、直ちにステップＳＴ３１に進む。これにより、上述のステップＳＴ３０では、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて正規方程式が生成されている。
ステップＳＴ３１では、ステップＳＴ２１で入力された１フレーム分または１フィールド分の画像信号Ｖｂ′の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ２１に戻って、次の１フレーム分または１フィールド分の画像信号Ｖｂ′の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ２４に戻って、次の注目画素位置についての処理に移る。
上述したステップＳＴ２２で、処理が終了したときは、ステップＳＴ３２で、上述のステップＳＴ３０の加算処理によって生成された、正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数データＷｉを求める。そして、ステップＳＴ３３で、その係数データＷｉを係数メモリにストアし、ステップＳＴ３４で処理を終了する。
このように、図１１に示すフローチャートに沿って処理をすることで、図５に示す係数データ生成装置１５０と同様の手法によって、係数データＷｉを生成できる。
次に、この発明の第２の実施の形態について説明する。図１２は、第２の実施の形態としての画像信号処理装置２００の構成を示している。この画像信号処理装置２００も、５２５ｉ信号というＳＤ信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の情報信号を構成し、画像信号Ｖｂは第２の情報信号を構成している。この図１２において、図１と対応する部分には同一符号を付して示し、適宜説明を省略する。
画像信号処理装置２００は、入力端子１０１と、予測タップ選択回路１０２と、クラスタップ選択回路１０３とを有している。入力端子１０１は、画像信号Ｖａを入力するための端子である。タップ選択回路１０２，１０３は、それぞれ、入力端子に入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これら入力端子１０１およびタップ選択回路１０２，１０３は、図１に示す画像信号処理装置１００におけるものと同様のものである。
また、画像信号処理装置２００は、クラス検出回路１０４を有している。このクラス検出回路１０４は、クラスタップ選択回路１０３で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１０４は、図１に示す画像信号処理装置１００におけるものと同様のものである。
また、画像信号処理装置２００は、係数データ生成回路１０９と、記憶手段としてのＲＯＭ１１０とを有している。ＲＯＭ１１０は、各クラスの係数種データを、格納している。この係数種データは、上述した（３）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、パラメータｒ，ｚを含む生成式の係数データである。（１１）式は、その生成式の一例を示しており、ｗi0〜ｗi9が係数種データである。ここで、パラメータｒは解像度を決めるパラメータであり、パラメータｚはノイズ除去度を決めるパラメータである。この係数種データｗi0〜ｗi9は、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。
Figure 0004311258
上述の図２に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている（図４参照）。そのため、上述した各クラスの係数種データｗi0〜ｗi9は、８種類の出力画素（ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）にそれぞれ対応した係数種データｗi0〜ｗi9からなっている。結局、ＲＯＭ１１０には、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が格納されている。
この係数種データｗi0〜ｗi9は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。そしてその場合、係数種データｗi0〜ｗi9は、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。これにより、画像信号Ｖｂにおける、画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データを忠実に再現できるようになっており、画像信号Ｖｂによって得られる画像の画質の向上が図られている。この係数種データｗi0〜ｗi9の生成方法の詳細については後述する。
係数データ生成回路１０９は、奇数、偶数の各フィールドにおいて、クラス検出回路１０４で得られたクラスコードＣＬが表すクラスの、４出力画素（図４のＨＤ１〜ＨＤ４、またはＨＤ1′〜ＨＤ４′）にそれぞれ対応した４画素分の係数種データｗi0〜ｗi9をＲＯＭ１１０から取得し、さらにユーザによって調整されたパラメータｒ，ｚの値を用い、（１１）式の生成式に基づいて、４画素分の係数データＷｉを生成する。
また、画像信号処理装置２００は、推定予測演算回路１０６を有している。この推定予測演算回路１０６は、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ毎に、画素データを求める。すなわち、推定予測演算回路１０６は、予測タップ選択回路１０２で抽出される単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉ、および係数データ生成回路１０９で生成される、その単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉとを用い、その単位画素ブロックＵＢを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（３）式の推定式で、個別に演算する。この推定予測演算回路１０６は、図１に示す画像信号処理装置１００におけるものと同様のものである。
また、画像信号処理装置２００は、後処理回路１０７と、出力端子１０８とを有している。後処理回路１０７は、推定予測演算回路１０６より順次出力される、単位画素ブロックＵＢ内の４画素の画素データｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。出力端子１０８は、後処理回路１０７から出力される画像信号Ｖｂ（１０５０ｉ信号）を出力するための端子である。これら後処理回路１０７および出力端子１０８は、図１に示す画像信号処理装置１００におけるものと同様のものである。
次に、図１２に示す画像信号処理装置２００の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａに基づいて、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。
すなわち、クラスタップ選択回路１０３では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出回路１０４に供給される。クラス検出回路１０４では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対して、例えばＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（１）式、（２）式参照）。このクラスコードＣＬは、係数データ生成回路１０９に供給される。
この係数データ生成回路１０９では、奇数、偶数の各フィールドにおいて、クラスコードＣＬが表すクラスの、４出力画素（図４のＨＤ１〜ＨＤ４、またはＨＤ1′〜ＨＤ４′）にそれぞれ対応した４画素分の係数種データｗi0〜ｗi9が、ＲＯＭ１１０から取得される。また、この係数データ生成回路１０９には、ユーザによって調整されたパラメータｒ，ｚの値が供給される。そして、この係数データ生成部１０９では、各フィールドにおいて、４画素分の係数種データｗi0〜ｗi9およびパラメータｒ，ｚの値が用いられ、（１１）式の生成式に基づいて、４出力画素分の係数データＷｉが生成される。この係数データＷｉは、推定予測演算回路１０６に供給される。
また、予測タップ選択回路１０２では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算回路１０６に供給される。
推定予測演算回路１０６では、予測タップ選択回路１０２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成回路１０９で生成された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ1〜ｙ4が、（３）式の推定式に基づいて、個別に演算される。
この推定予測演算回路１０６より順次出力される、画像信号Ｖｂを構成する各単位画素ブロック内の４画素の画素データｙ1〜ｙ4は、後処理回路１０７に供給される。この後処理回路１０７では、推定予測演算回路１０６より順次供給される単位画素ブロック内の４画素のデータｙ1〜ｙ4が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理回路１０７からは画像信号Ｖｂ（０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子１０８に出力される。
上述したように、ＲＯＭ１１０に格納されている係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、図１２に示す画像信号処理装置２００によれば、画像信号Ｖｂにおける、画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現されるため、この画像信号Ｖｂによって得られる画像の画質が向上する。
次に、上述した画像信号処理装置２００のＲＯＭ１１０に格納される、係数種データの生成方法について説明する。この係数種データは、学習によって生成される。ここでは、（１１）式の生成式における係数データである係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を求める例を示すものとする。
ここで、以下の説明のため、（１２）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｒ，ｔ2＝ｚ，ｔ3＝ｒ2，ｔ4＝ｒｚ，ｔ5＝ｚ2，ｔ6＝ｒ3，
ｔ7＝ｒ2ｚ，ｔ8＝ｒｚ2，ｔ9＝ｚ3
・・・（１２）
この（１２）式を用いると、（１１）式は、（１３）式のように書き換えられる。
Figure 0004311258
最終的に、学習によって未定係数ｗijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（３）式および（１１）式を用いて、Ｅは（１４）式で表される。ここで、ｘikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ信号の画素データを表している。
Figure 0004311258
最小二乗法による解法では、（１４）式のｗijによる偏微分が０になるようなｗijを求める。これは、（１５）式で示される。
Figure 0004311258
ここで、（１６）式、（１７）式のように、Ｘipjq、Ｙipを定義すると、（１５）式は、行列を用いて、（１８）式のように書き換えられる。
Figure 0004311258
Figure 0004311258
この（１８）式が、係数種データｗi0〜ｗi9を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗi0〜ｗi9を求めることができる。
図１３は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
ノイズを加える量としては、例えば（１９）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１９）
例えば、周波数特性を可変するパラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変するパラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図１２の係数データ生成回路１０９に供給されるパラメータｒ，ｚに対応したものである。
次に、上述した係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を生成するための係数種データ生成装置２５０について説明する。図１４は、この係数種データ生成装置２５０の構成を示している。この図１４において、図５と対応する部分には同一符号を付して示し、適宜説明を省略する。
この係数種データ生成装置２５０は、入力端子１５１と、ＳＤ信号生成回路１５２Ａとを有している。入力端子１５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成回路１５２Ａは、この画像信号Ｖｂ′に対して、水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。このＳＤ信号生成回路１５２Ａには、パラメータｒ，ｚが供給される。パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａを生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、ＳＤ信号に加えるノイズの量が可変される。
また、係数種データ生成装置２５０は、予測タップ選択回路１５３と、クラスタップ選択回路１５４とを有している。これらタップ選択回路１５３，１５４は、それぞれ、ＳＤ信号生成回路１５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択回路１５３，１５４は、それぞれ、上述した画像信号処理装置２００のタップ選択回路１０２，１０３に対応している。
また、係数種データ生成装置２５０は、クラス検出回路１５５を有している。このクラス検出回路１５５は、クラスタップ選択回路１５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１５５は、上述した画像信号処理装置２００のクラス検出回路１０４に対応している。
また、係数データ生成装置２５０は、教師タップ選択回路１５６を有している。この教師タップ選択回路１５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データを選択的に抽出する。
また、係数種データ生成装置２５０は、特徴タップ選択回路１５７と、特徴画素判定部１５８とを有している。特徴タップ選択回路１５７は、入力端子１５１に入力される画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データｄ0、およびその周辺に位置する複数の画素データｄ1〜ｄ8を、特徴タップのデータとして選択的に抽出する(図６参照）。特徴画素判定部１５８は、特徴タップ選択回路１５７で選択的に抽出された特徴タップのデータとしての複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定し、その結果を示す判定信号ＪＲを出力する。
これら特徴タップ選択回路１５７および特徴画素判定部１５８は、図５に示す係数データ生成装置１５０におけるものと同様のものである。特徴画素判定部１５８は、例えば上述の図７あるいは図８に示すように構成される。また、特徴タップ選択回路１５７の前段に、低域遮断フィルタ１８１を設け（図５参照）、特徴タップ選択回路１５７で選択的に抽出される画素データｄ0〜ｄ8が、低域遮断フィルタ１８１を介したものとすることもできる。
また、係数種データ生成装置２５０は、正規方程式生成回路１８５を有している。この正規方程式生成回路１８５は、教師タップ選択回路１５６で選択的に抽出された、画像信号Ｖｂ′における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択回路１５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出回路１５５で生成されたクラスコードＣＬと、パラメータｒ，ｚの値とから、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（１８）式参照）を生成する。ここで、画像信号Ｖｂ′における各注目画素位置は、特徴画素判定部１５８で特徴位置であると判定された注目画素位置である。
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成回路１８５では、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データｙからなる学習データのみを用いて、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
またこの場合、正規方程式生成回路１８５では、出力画素（図４のＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成回路１８５では、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
また、係数種データ生成装置２５０は、係数種データ決定回路１８６と、係数種メモリ１８７とを有している。係数種データ決定回路１８６は、正規方程式生成回路１８５から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を求める。係数種メモリ１８７は、係数種データ決定回路１８６で求められた係数種データｗi0〜ｗi9を格納する。
次に、図１４に示す係数種データ生成装置２５０の動作を説明する。
入力端子１５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成回路１５２Ａで水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。この場合、ＳＤ信号生成回路１５２Ａにはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数の画像信号Ｖａ′が順次生成されていく。
クラスタップ選択回路１５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出回路１５５に供給される。そして、クラス検出回路１５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（１）式、（２）式参照）。このクラスコードＣＬは、正規方程式生成回路１８５に供給される。
予測タップ選択回路１５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成回路１８５に供給される。また、教師タップ選択回路１５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成回路１８５に供給される。
また、特徴タップ選択回路１５７では、画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データｄ0、およびその周辺に位置する複数の画素データｄ1〜ｄ8が、特徴タップのデータとして選択的に抽出される。この画素データｄ0〜ｄ8は、特徴画素判定部１５８に供給される。特徴画素判定部１５８では、複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かが判定され、その結果を示す判定信号ＪＲが得られる。この判定信号ＪＲは、正規方程式生成回路１８５に供給される。
正規方程式生成回路１８５では、特徴画素判定部１５８で特徴位置であると判定された、画像信号Ｖｂ′における各注目画素位置を対象として、当該各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬと、ＳＤ信号生成回路１５２Ａに供給されているパラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（１８）式参照）が生成される。
そして、係数種データ決定回路１８６では、正規方程式生成回路１８５から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が求められる。この係数種データｗi0〜ｗi9は、係数種メモリ１８７に格納される。
このように、図１４に示す係数種データ生成装置２５０においては、上述した画像信号処理装置２００のＲＯＭ１１０に格納すべき、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を生成できる。
上述したように、この係数種データｗi0〜ｗi9は、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、この係数種データｗi0〜ｗi9が図１２に示す画像信号処理装置２００のＲＯＭ１１０に格納されて使用されることで、画像信号処理装置２００では、画像信号Ｖｂにおける、画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現され、この画像信号Ｖｂによって得られる画像の画質の向上を図ることができる。
なお、図１２の画像信号処理装置２００における処理を、上述した図９に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。図１５のフローチャートを参照して、その処理手順を説明する。
まず、ステップＳＴ４０で、処理を開始し、ステップＳＴ４１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳＴ４２で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ４４に進む。
このステップＳＴ４４では、ユーザが調整し、ＲＡＭ５０３に記憶されている、パラメータｒ，ｚの値を取得する。そして、ステップＳＴ４５で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ４６で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ４７で、ステップＳＴ４６で生成されたクラスコードＣＬで示されるクラスの係数種データｗi0〜ｗi9およびステップＳＴ４４で取得されたパラメータｒ，ｚの値を使用し、（１１）式の生成式に基づいて、推定式の係数データＷｉを生成する。
次に、ステップＳＴ４８で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ４９で、ステップＳＴ４７で生成された係数データＷｉおよびステップＳＴ４８で取得された複数の画素データｘｉを使用して、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを生成する。
次に、ステップＳＴ５０で、ステップＳＴ４１で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ４１に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ４５に戻って、次の注目画素位置についての処理に移る。
このように、図１５に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。このように処理して得られた画像信号Ｖｂは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
また、処理装置の図示は省略するが、図１４の係数種データ生成装置２５０における処理も、ソフトウェアで実現可能である。
図１６のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ６０で、処理を開始し、ステップＳＴ６１で、画質パターンを特定するパラメータｒ，ｚの値を選択する。そして、ステップＳＴ６２で、パラメータｒ，ｚの値の全組み合わせに対して学習が終わったか否かを判定する。全組み合わせに対して学習が終わっていないときは、ステップＳＴ６３で、教師信号としての画像信号Ｖｂ′を１フレーム分または１フィールド分だけ入力する。
そして、ステップＳＴ６４で、画像信号Ｖｂ′の全フレームまたは全フィールドの処理が終了したか否かを判定する。処理が終了したときは、ステップＳＴ６１に戻って、次のパラメータｒ，ｚの値を選択し、上述したと同様の処理を繰り返す。一方、処理が終了していないときは、ステップＳＴ６５で、ステップＳＴ６３で入力された画像信号Ｖｂ′に対して水平および垂直の間引き処理を行って、生徒信号としての画像信号Ｖａ′を生成する。この場合、パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａを生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、画像信号Ｖａ′に加えるノイズの量が可変される。
次に、ステップＳＴ６６で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｄ0およびその周辺位置の画素データｄ1〜ｄ8を、特徴タップのデータとして取得する。そして、ステップＳＴ６７で、ステップＳＴ６６で取得された画素データｄ0〜ｄ8に基づいて、注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定する。例えば、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。
注目画素位置が特徴位置であると判定されるとき、ステップＳＴ６８に進む。このステップＳＴ６８で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ６９で、このクラスタップのデータに基づいて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ７０で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳＴ７１で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙを教師タップのデータとして取得する。
そして、ステップＳＴ７２で、ステップＳＴ６９で生成されたクラスコードＣＬ、ステップＳＴ７０で取得された複数の画素データｘｉ、ステップＳＴ７１で取得された画素データｙ、およびステップＳＴ６１で選択されたパラメータｒ，ｚの値を用いて、クラスおよび出力画素の組み合わせ毎に、（１８）式に示す正規方程式を得るための加算をする（（１６）式、（１７）式参照）。
このステップＳＴ７２の処理の後、ステップＳＴ７３に進む。なお、上述したステップＳＴ６７で注目画素位置が特徴位置でないと判定されるときは、直ちにステップＳＴ７３に進む。これにより、上述のステップＳＴ７２では、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて正規方程式が生成される。
ステップＳＴ７３では、ステップＳＴ６３で入力された１フレーム分または１フィールド分の画像信号Ｖｂ′の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ６３に戻って、次の１フレーム分または１フィールド分の画像信号Ｖｂ′の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ６６に戻って、次の注目画素位置についての処理に移る。
また、上述したステップＳＴ６２で、パラメータｒ，ｚの値の組み合わせに対して学習が終わっているときは、ステップＳＴ７４で、上述のステップＳＴ７２の加算処理によって生成された、正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を求める。そして、ステップＳＴ７５で、その係数種データｗi0〜ｗi9を係数種メモリにストアし、ステップＳＴ７６で処理を終了する。
このように、図１６に示すフローチャートに沿って処理をすることで、図１４に示す係数データ生成装置２５０と同様の手法によって、係数種データｗi0〜ｗi9を生成できる。
なお、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはその係数データを生成するための係数種データを、所定の特徴を持つ特徴位置の情報データを忠実に再現し得るように得ることができ、例えばＳＤ信号をＨＤ信号に変換する際に使用する係数データあるいは係数種データを生成する用途に適用できる。
第１の実施の形態としての画像信号処理装置の構成を示すブロック図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示す図である。 予測タップ、クラスタップのパターン例を示す図である。 ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。 係数データ生成装置の構成を示すブロック図である。 特徴タップのパターン例を示す図である。 特徴画素判定部の構成を示すブロック図である。 特徴画素判定部の他の構成を示すブロック図である。 ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。 画像信号処理の処理手順を示すフローチャートである。 係数データ生成処理の処理手順を示すフローチャートである。 第２の実施の形態としての画像信号処理装置の構成を示すブロック図である。 係数種データ生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。 画像信号処理の処理手順を示すフローチャートである。 係数種データ生成処理の処理手順を示すフローチャートである。
符号の説明
１００，２００・・・画像信号処理装置、１０１・・・入力端子、１０２・・・予測タップ選択回路、１０３・・・クラスタップ選択回路、１０４・・・クラス検出回路、１０５・・・係数メモリ、１０６・・・推定予測演算回路、１０７・・・後処理回路、１０８・・・出力端子、１０９・・・係数データ生成回路、１１０・・・ＲＯＭ、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２，１５２Ａ・・・ＳＤ信号生成回路、１５３・・・予測タップ選択回路、１５４・・・クラスタップ選択回路、１５５・・・クラス検出回路、１５６・・・教師タップ選択回路、１５７・・・特徴タップ選択回路、１５８・・・特徴画素判定部、１６０・・・入力端子、１６１・・・分離回路、１６２・・・最大値・最小値検出回路、１６３，１６４・・・比較器、１６５・・・オア回路、１６６・・・出力端子、１７１・・・正規方程式生成回路、１７２・・・係数データ決定回路、１７３・・・係数メモリ、１８５・・・正規方程式生成回路、１８６・・・係数種データ決定回路、１８７・・・係数種メモリ、１９０・・・入力端子、１９１・・・分離回路、１９２・・・中央値検出回路、１９３・・・比較器、１９４・・・出力端子、２５０・・・係数種データ生成装置

Claims (14)

  1. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成手段と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定手段と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
    上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択手段で選択された複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に求める演算手段とを備え、
    上記判定手段は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数データ生成装置。
  2. 上記演算手段は、
    上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データと該注目位置に対応して上記データ選択手段で選択された複数の情報データとの誤差を最小にする係数データを求めるための正規方程式を生成する正規方程式生成部と、
    上記正規方程式生成部で生成された上記正規方程式を解いて、上記係数データを求める係数データ演算部とを有する請求項１に記載の係数データ生成装置。
  3. 上記注目位置の情報データおよび上記周辺に位置する情報データは、低域遮断フィルタを介して取得される請求項１に記載の係数データ生成装置。
  4. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、
    上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、
    上記判定工程では、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数データ生成方法。
  5. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、
    上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、
    上記判定工程では、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、
    上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、
    上記判定工程では、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数データ生成方法をコンピュータに実行させるためのプログラム。
  7. 複数の情報データからなる第１の情報信号から、上記第１の情報信号よりも質の高い第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
    上記第１の情報信号のレベル分布から、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
    上記第２の情報信号を示す教師信号における、情報データへの寄与の高い特徴を持つ特徴位置の情報データと、上記第１の情報信号を示す生徒信号から選択された、上記教師信号における特徴位置の周辺に位置する複数の情報データとの誤差を最小にする係数データを、上記クラス検出手段で検出されたクラス毎に記憶する記憶手段と、
    上記データ選択手段で選択された複数の情報データと、上記記憶手段に記憶されている係数データとを積和演算して、上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、
    上記特徴位置は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置が該特徴位置であると判定され、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置が該特徴位置であると判定される情報信号処理装置。
  8. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成手段と、
    上記生徒信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定手段と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
    上記パラメータ入力手段に入力されたパラメータの値と積和演算されて、上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択手段で選択された複数の情報データとの誤差を最小にする係数種データを、上記クラス検出手段で検出されたクラス毎に求める演算手段とを備え、
    上記判定手段は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数種データ生成装置。
  9. 上記演算手段は、
    上記パラメータ入力手段に入力されたパラメータの値と積和演算されて、上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択手段で選択された複数の情報データとの誤差を最小にする係数種データを求めるための正規方程式を生成する正規方程式生成部と、
    上記正規方程式生成部で生成された上記正規方程式を解いて、上記係数種データを求める係数種データ演算部とを有する請求項８に記載の係数種データ生成装置。
  10. 上記注目位置の情報データおよび上記周辺に位置する情報データは、低域遮断フィルタを介して取得される請求項８に記載の係数種データ生成装置。
  11. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、
    上記生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、
    上記パラメータ取得工程で取得されたパラメータの値と積和演算されて、上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数種データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、
    上記判定工程は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数種データ生成方法。
  12. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、
    上記生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、
    上記パラメータ取得工程で取得されたパラメータの値と積和演算されて、上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数種データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、
    上記判定工程は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数種データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  13. 複数の情報データからなる第２の情報信号を示す教師信号から、上記第２の情報信号よりも質の低い複数の情報データからなる第１の情報信号を示す生徒信号を生成する信号生成工程と、
    上記生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、
    上記教師信号における注目位置が情報データへの寄与の高い特徴を持つ特徴位置であるか否かを判定する判定工程と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
    上記生徒信号のレベル分布から、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出工程と、
    上記パラメータ取得工程で取得されたパラメータの値と積和演算されて、上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データと、該注目位置に対応して上記データ選択工程で選択された複数の情報データとの誤差を最小にする係数種データを、上記クラス検出手段で検出されたクラス毎に求める演算工程とを備え、
    上記判定工程は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定し、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する係数種データ生成方法をコンピュータに実行させるためのプログラム。
  14. 複数の情報データからなる第１の情報信号から、上記第１の情報信号よりも質の高い第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
    上記第２の情報信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、
    上記第１の情報信号のレベル分布から、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
    上記生徒信号によって得られる出力の質を定めるパラメータの値と積和演算されて、上記第２の情報信号を示す教師信号における、情報データへの寄与の高い特徴を持つ特徴位置の情報データと、上記第１の情報信号を示す生徒信号から選択された、上記教師信号における特徴位置の周辺に位置する複数の情報データとの誤差を最小にする係数種データを記憶する記憶手段と、
    上記記憶手段に記憶されている係数種データと上記パラメータ入力手段に入力されたパラメータの値を積和演算して、上記パラメータ入力手段に入力されたパラメータの値に対応した係数データを生成する係数データ生成手段と、
    上記データ選択手段で選択された複数の情報データと上記係数データ生成手段で生成された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、
    上記特徴位置は、
    上記教師信号における注目位置の情報データが、該注目位置の周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置が該特徴位置であると判定され、又は、
    上記教師信号における注目位置の情報データが、上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置が該特徴位置であると判定される情報信号処理装置。
JP2004109718A 2004-04-02 2004-04-02 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 Expired - Fee Related JP4311258B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004109718A JP4311258B2 (ja) 2004-04-02 2004-04-02 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体
US11/096,044 US7672914B2 (en) 2004-04-02 2005-03-31 Apparatus and method for generating coefficient data, apparatus and method for generating coefficient-seed data, information-signal processing apparatus, program, and medium having recorded the program thereon
KR20050027601A KR101089853B1 (ko) 2004-04-02 2005-04-01 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의 생성 장치 및 생성 방법, 정보 신호 처리 장치, 및 프로그램을 기록한 매체
CNB2005100637932A CN100361527C (zh) 2004-04-02 2005-04-04 数据产生设备和方法、信号处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004109718A JP4311258B2 (ja) 2004-04-02 2004-04-02 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2005295355A JP2005295355A (ja) 2005-10-20
JP4311258B2 true JP4311258B2 (ja) 2009-08-12

Family

ID=35050329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004109718A Expired - Fee Related JP4311258B2 (ja) 2004-04-02 2004-04-02 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体

Country Status (4)

Country Link
US (1) US7672914B2 (ja)
JP (1) JP4311258B2 (ja)
KR (1) KR101089853B1 (ja)
CN (1) CN100361527C (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596770B2 (ja) * 2001-12-28 2004-12-02 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP5029869B2 (ja) * 2006-11-09 2012-09-19 ソニー株式会社 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP4978378B2 (ja) * 2007-08-31 2012-07-18 セイコーエプソン株式会社 画像処理装置
GB2534790B (en) 2013-12-03 2020-06-03 Mitsubishi Electric Corp Image processing apparatus and image processing method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4881270A (en) * 1983-10-28 1989-11-14 The United States Of America As Represented By The Secretary Of The Navy Automatic classification of images
KR0171146B1 (ko) * 1995-03-18 1999-03-20 배순훈 특징점을 이용한 움직임 벡터 검출 장치
DE69838536T2 (de) * 1997-05-06 2008-07-24 Sony Corp. Bildwandler und bildwandlungsverfahhren
US6519715B1 (en) * 1998-05-22 2003-02-11 Hitachi, Ltd. Signal processing apparatus and a data recording and reproducing apparatus including local memory processor
JP4131048B2 (ja) * 1998-10-01 2008-08-13 ソニー株式会社 画像情報変換装置、変換方法および画像表示装置
JP4078806B2 (ja) * 1998-10-26 2008-04-23 ソニー株式会社 画像処理装置、画像処理方法、学習装置および学習方法
JP4337186B2 (ja) 1998-10-29 2009-09-30 ソニー株式会社 画像情報変換装置および画像情報変換方法、学習装置および学習方法
US6987884B2 (en) * 2000-08-07 2006-01-17 Sony Corporation Image processing device and method, and recorded medium
JP4670169B2 (ja) * 2000-11-15 2011-04-13 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体
JP4517264B2 (ja) * 2000-12-26 2010-08-04 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
JP4691835B2 (ja) * 2001-06-12 2011-06-01 ソニー株式会社 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Also Published As

Publication number Publication date
US7672914B2 (en) 2010-03-02
CN100361527C (zh) 2008-01-09
CN1678058A (zh) 2005-10-05
KR101089853B1 (ko) 2011-12-05
JP2005295355A (ja) 2005-10-20
US20050226537A1 (en) 2005-10-13
KR20060045430A (ko) 2006-05-17

Similar Documents

Publication Publication Date Title
JP4696388B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体
JP4670169B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体
JP4277446B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
JP4311258B2 (ja) 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体
JP4310689B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP4055655B2 (ja) 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム
WO2002058386A1 (fr) Dispositif et procede de traitement de signal d'information, dispositif de traitement de signal d'image, procede de traitement de signal d'image et procede d'affichage d'image l'utilisant, dispositif de generation de donnees de type coefficient et procede associe, support informatique de lecture et logiciel
JP4691835B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体
JP4441860B2 (ja) 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP4311166B2 (ja) 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4265291B2 (ja) 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
JP2001298713A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP4692800B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体
JP4534422B2 (ja) 半導体装置
JP4692798B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体
JP2001203986A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2004140559A (ja) コンテンツ処理装置および方法、記録媒体、並びに、プログラム
JP2002359821A (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数情報の生成装置および生成方法、並びに情報提供媒体
JP2006067346A (ja) 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体
JP2004208045A (ja) 動き判定装置および動き判定方法、それを使用した画像信号処理装置、および各方法を実行するためのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060502

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090504

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees