JP4093114B2 - 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム - Google Patents
情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム Download PDFInfo
- Publication number
- JP4093114B2 JP4093114B2 JP2003153432A JP2003153432A JP4093114B2 JP 4093114 B2 JP4093114 B2 JP 4093114B2 JP 2003153432 A JP2003153432 A JP 2003153432A JP 2003153432 A JP2003153432 A JP 2003153432A JP 4093114 B2 JP4093114 B2 JP 4093114B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- tap
- code
- vector
- information signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 75
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000013598 vector Substances 0.000 claims description 200
- 238000000605 extraction Methods 0.000 claims description 57
- 238000013139 quantization Methods 0.000 claims description 32
- 230000005236 sound signal Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- DNTFEAHNXKUSKQ-RFZPGFLSSA-N (1r,2r)-2-aminocyclopentane-1-sulfonic acid Chemical compound N[C@@H]1CCC[C@H]1S(O)(=O)=O DNTFEAHNXKUSKQ-RFZPGFLSSA-N 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する際に適用して好適な情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量を用いて、第２の情報信号を構成する複数個の情報データを生成することによって、第１の情報信号を高解像度の第２の情報信号に良好に変換できるようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
例えば、画像信号について、その画像信号を、複数のクラスのうちのいずれかにクラス分けするクラス分類を行い、そのクラスに対応する処理を行う画像信号処理方法がある（特許文献１、特許文献２参照）。
【０００４】
このような画像信号処理方法によれば、例えば、画像信号のアクティビティに基づいてクラス分類を行うこととした場合、変化の激しい画像信号などのアクティビティの高い画像信号と、平坦な画像信号などのアクティビティの低い画像信号とを別のクラスにクラス分類することができ、その結果、アクティビティの高い画像信号およびアクティビティの低い画像信号に対し、それぞれに適した処理を施すことが可能となる。
【０００５】
【特許文献１】
特開平７−９５５９１号公報
【特許文献２】
特開２０００−５９７４０号公報
【０００６】
【発明が解決しようとする課題】
上述のようなクラス分類を行う画像信号処理によれば、各クラスに分類される画像信号毎に、そのクラスの画像信号に適した画像信号処理を施すことができる。したがって、理論的には、クラス数が多いほど、各クラスに分類される画像信号に対して、より適した処理を施すことができる。しかし、クラス数が膨大になると、クラスに応じて行われる処理のパターンも膨大になり、装置が大規模化するいうことになる。
【０００７】
例えば、上述のように、アクティビティに基づいてクラス分類を行う場合には、そのアクティビティが取り得る値の数と同一のクラスを用意することになり、各アクティビティの画像信号に対して、そのアクティビティに適した処理を施すことができる。しかし、アクティビティとして、例えば、水平方向に並ぶ複数の画素の隣接するものどうしのＮ個の差分値を採用した場合、その差分値がＫビットであれば、全クラス数は、（２K）Nクラスという膨大な数になる。
【０００８】
このため、クラス分類は、例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)等の、何らかの圧縮処理を利用して行われる。ＡＤＲＣを利用したクラス分類では、クラス分類に用いられるデータ（以下、適宜、「クラスタップ」という）としての、例えば、上述したような、Ｎ個の差分値が、ＡＤＲＣ処理され、その結果得られるＡＤＲＣコードに従ってクラス決定が行われる。
【０００９】
なお、ＫビットＡＤＲＣにおいては、例えば、クラスタップを構成するデータの値の最大値ＭＡＸと最小値ＭＩＮが検出され、ＤＲ＝ＭＡＸ−ＭＩＮを、集合の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成するデータの値の中から、最小値ＭＩＮが減算され、その減算値がＤＲ／２Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するデータについてのＫビットの値を、所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【００１０】
したがって、クラスタップが、例えば１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各データは、最小値ＭＩＮが減算された後に、（ＭＡＸ−ＭＩＮ）／２で除算され、これにより、各データが１ビットとされる。そして、その１ビットのデータを所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【００１１】
ここで、クラス分類は、ＡＤＲＣ処理の他、例えば、ベクトル量子化等によって行うことも可能である。上述のように、圧縮処理を利用してクラス分類を行う場合には、クラス数を少なくすることができる。しかしながら、その反面、圧縮処理を行わずにクラス分類を行う場合に比較して、細かなクラス分けを行うことができなくなり、画像信号に適切な処理を施すことができなくなることがある。
【００１２】
例えば、第１の画像信号のクラス分類をベクトル量子化を利用して行い、各クラス毎に、第２の画像信号を生成する画像信号処理を考える。
【００１３】
この場合、第１の画像信号が、複数の画素データのブロックに分割され、各ブロックについて、そのブロックを構成する複数の画素データをコンポーネントとするベクトル（以下、適宜、「ブロックベクトル」という）が構成される。さらに、そのブロックベクトルが、予め求められたコードブックを用いてベクトル量子化され、そのベクトル量子化結果としてのコード（シンボル）が、そのブロックベクトルのクラスを表すクラスコードとして出力される。
【００１４】
そして、クラスコード毎に、第２の画像信号の画素データが生成される。すなわち、クラスコードが、コードブックを用いてベクトル逆量子化され、そのクラスコードに対応するブロックベクトルが求められる。そして、そのブロックベクトルのコンポーネントを画素データとして含むブロックが求められ、そのブロックを対応する位置に配置することで、第２の画像信号が生成される。
【００１５】
しかしながら、いま、ベクトル逆量子化によって得られる第２の画像信号を高画質の画像信号というと共に、ベクトル量子化の対象となる第１の画像信号を低画質の画像信号というものとすると、上述の処理では、低画質の画像信号のブロックベクトルのうちの、同一のクラスコードにベクトル量子化されるものは、全て、同一のコードベクトル、すなわち、同一の高画質の画像信号のブロックベクトルにベクトル逆量子化される。つまり、ベクトル逆量子化で求められるブロックベクトルは、いわゆる量子化誤差を有する。したがって、上述の処理で生成される画像信号は、高画質であるといっても、ベクトル逆量子化用のコードブック作成に用いられた高画質の画像信号の画質からすれば、量子化誤差分だけ画質が劣化したものとなる。
【００１６】
この発明の目的は、第１の情報信号を第２の情報信号に良好に変換することにある。
【００１７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、このブロックに含まれる情報データをクラスタップとして抽出するクラスタップ抽出手段と、このクラスタップ抽出手段で抽出されたクラスタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類手段と、クラスタップ抽出手段で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めてこのクラスタップに係る特徴量を取得する特徴量取得手段と、クラス分類手段で得られたクラスコードおよび特徴量取得手段で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、クラスタップに対応した、第２の情報信号を構成する複数個の情報データを生成するデータ生成手段とを備え、クラス分類手段は、クラスタップ抽出手段で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得るものである。
【００１８】
また、この発明に係る情報信号処理方法は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、このブロックに含まれる情報データをクラスタップとして抽出するクラスタップ抽出工程と、このクラスタップ抽出工程で抽出されたクラスタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、クラスタップ抽出工程で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該クラスタップに係る特徴量を取得する特徴量取得工程と、クラス分類工程で得られたクラスコードおよび特徴量取得工程で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、クラスタップに対応した、第２の情報信号を構成する複数個の情報データを生成するデータ生成工程とを有し、クラス分類工程には、クラスタップ抽出工程で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得る処理が含まれるものである。
【００１９】
また、この発明に係るプログラムは、上述の情報信号処理方法をコンピュータに実行させるためのものである。
【００２０】
この発明においては、複数個の情報データからなる第１の情報信号を、複数個の情報データからなる第２の情報信号に変換する。ここで、情報信号は、例えば複数個の画素データ（サンプルデータ）からなる画像信号、あるいは複数個のサンプルデータからなる音声信号等である。
【００２１】
第１の情報信号が複数個の情報データからなるブロックに分割され、ブロック毎に、このブロックに含まれる情報データがクラスタップとして抽出される。そして、このクラスタップが、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類され、該ブロックの特徴を表すクラスコードが得られる。例えば、クラスタップに含まれる情報データをコンポーネントとするタップベクトルが、データ生成用コードブックを用いて、ベクトル量子化され、このクラスタップに対応したクラスコードが得られる。
【００２２】
また、クラスタップに基づいて、このクラスタップに係る特徴量が取得される。この特徴量は、クラスタップ内の情報データのダイナミックレンジ、分散値、標準偏差、波形パターン、あるいはタップベクトルとクラスコードに対応したコードベクトルとの差分データ等とされる。
【００２３】
そして、上述したようにクラスタップに基づいて得られたクラスコードおよび特徴量を用いて、当該クラスタップに対応した、第２の情報信号を構成する複数個の情報データが生成される。例えば、このクラスコードが、データ生成用コードブックを用いて逆量子化され、第２の情報信号を構成する複数個の情報データをコンポーネントとするコードベクトルが得られる。このコードブックは、予め学習によって求められる。
【００２４】
このように、この発明は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、第２の情報信号を構成する複数個の情報データを生成するものであり、クラスコードのみに基づく場合に比べて適切な変換処理を行うことができ、第１の情報信号を第２の情報信号に良好に変換できる。
【００２５】
また、この発明に係るコードブック生成装置は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに、第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するコードブック生成装置において、第１の情報信号に対応した生徒信号を分割して得られた、複数個の情報データからなる各第１のブロックに含まれる情報データを第１のタップとして抽出する第１のタップ抽出手段と、第２の情報信号に対応した教師信号を、第１のブロックに対応して分割して得られた、複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出手段と、第１のタップ抽出手段で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類手段と、第１のタップ抽出手段で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得手段と、第２の情報信号についての、それぞれ第２のタップ抽出手段で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを記憶する記憶手段と、クラス分類手段で得られたクラスコード、特徴量取得手段で取得されたダイナミックレンジからなる特徴量、第２のタップ抽出手段で抽出された第２のタップおよび記憶手段に記憶されている複数個の代表ベクトルに基づいて、クラスコードおよび特徴量の組み合わせのそれぞれに、複数個の代表ベクトルから選択された一個の代表ベクトルを割り当ててデータ生成用コードブックを生成するコードブック生成手段とを備え、クラス分類手段は、第１のクラスタップ抽出手段で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該第１のタップに対応したクラスコードを得るものである。
【００２６】
また、この発明に係るコードブック生成方法は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに、第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するコードブック生成方法において、第１の情報信号に対応した生徒信号を分割して得られる複数個の情報データからなる各第１のブロックに含まれる情報データを第１のタップとして抽出する第１のタップ抽出工程と、第２の情報信号に対応した教師信号を、第１のブロックに対応して分割して得られる複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出工程と、第１のタップ抽出工程で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、第１のタップ抽出工程で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得工程と、クラス分類工程で得られたクラスコード、特徴量取得工程で取得されたダイナミックレンジからなる特徴量、第２のタップ抽出工程で抽出された第２のタップ、および第２の情報信号についての、それぞれ第２のタップ抽出工程で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを用いて、クラスコードおよび特徴量の組み合わせのそれぞれに、複数個の代表ベクトルから選択された一個の代表ベクトルを割り当ててデータ生成用コードブックを生成するコードブック生成工程とを有し、クラス分類工程には、第１のクラスタップ抽出工程で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該第１のタップに対応したクラスコードを得る処理が含まれるものである。
【００２７】
また、この発明に係るプログラムは、上述したコードブック生成方法をコンピュータに実行させるためのものである。
【００２８】
この発明においては、第１の情報信号を第２の情報信号に変換する際に使用されるデータ生成用コードブックを生成するものである。ここで、第１の情報信号から第２の情報信号への変換は、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量を用いて、第２の情報信号を構成する複数個の情報データをコンポーネントとする代表ベクトルを求めることで行われる。
【００２９】
第１の情報信号に対応した生徒信号を分割して得られる複数個の情報データからなる各第１のブロックに含まれる情報データが第１のタップとして抽出される。また、第２の情報信号に対応した教師信号を、第１のブロックに対応して分割することにより得られる複数個の情報データからなる各第２のブロックに含まれる情報データが第２のタップとして抽出される。
【００３０】
そして、この第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードが得られる。例えば、第１のタップに含まれる情報データをコンポーネントとするタップベクトルが、クラス分類用コードブックを用いて、ベクトル量子化され、この第１のタップに対応したクラスコードが得られる。
【００３１】
また、第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量が取得される。この特徴量は、第１のタップ内の情報データのダイナミックレンジの他、分散値、標準偏差、波形パターン、あるいはタップベクトルとクラスコードに対応したコードベクトルとの差分データ等とされる。
【００３２】
そして、上述したように第１のタップに基づいて得られたクラスコードおよび特徴量、第２のタップ、および第２の情報信号についての、それぞれ第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを用いて、クラスコードおよび特徴量の組み合わせのそれぞれに、複数個の代表ベクトルから選択された一個の代表ベクトルを割り当てることで、データ生成用コードブックが生成される。
【００３３】
例えば、クラスコードおよび特徴量の組み合わせ毎に、その組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについて該第２のタップに含まれる情報データと代表ベクトル内のコンポーネントとの誤差が求められ、この求められた複数の誤差が加算されて誤差和が得られ、これが複数個の代表ベクトル分だけ繰り返され、誤差和を最小にする代表ベクトルがその組み合わせに割り当てられる。
【００３４】
これにより、この発明によれば、第１の情報信号を画素数の多い第２の情報信号に変換する際に使用されるコードブックであって、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、クラスコードおよびダイナミックレンジからなる特徴量の組み合わせに、第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを良好に生成できる。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、低解像度または標準解像度の画像信号（以下、「ＳＤ(Standard Definition)信号」という）を、高解像度の画像信号（以下、「ＨＤ(High Definition )信号に変換する。
【００３６】
図２は、ＳＤ信号とＨＤ信号の画素位置関係を示している。「×」がＳＤ信号の画素位置を表し、「○」がＨＤ信号の画素位置を表している。この場合、ＳＤ信号の２画素にＨＤ信号の４画素が対応している。
【００３７】
図１に戻って、画像信号処理装置１００は、タップ抽出部１０１を有している。このタップ抽出部１０１には、変換対象としてのＳＤ信号が供給される。このＳＤ信号は、複数個の８ビットの画素データからなるものである。タップ抽出部１０１は、ＳＤ信号を複数個、本実施の形態においては水平方向に隣接する２個の画素データｐ１，ｐ２からなるブロックに分割し（図２参照）、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２をクラスタップとして抽出する。
【００３８】
また、画像信号処理装置１００は、クラス分類部１０２を有している。このクラス分類部１０２は、タップ抽出部１０１で抽出されたクラスタップを複数のクラスのうちのいずれかのクラスに分類し、このクラスタップに対応したクラスコードを求める。
【００３９】
このクラス分類部１０２は、例えばクラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、クラス分類用コードブックを用いて、ベクトル量子化し、クラスタップに対応したクラスコードを求める。クラス分類部１０２は、例えば、図３に示すように、コードブック記憶部１０２ａおよびベクトル量子化部１０２ｂからなっている。
【００４０】
コードブック記憶部１０２ａには、予め求められたクラス分類用コードブックが記憶されている。このクラス分類用コードブックは、図４に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＳＤ信号についての代表ベクトルとしてのＳＤコードベクトル（Ｐ１，Ｐ２）に、対応するクラスを示すクラスコード（ＳＤコード）＃ｃを割り当てた割り当て情報である。
【００４１】
本実施の形態において、ベクトル量子化の対象となるタップベクトル（ｐ1，ｐ２）が二次元ベクトルであるので、ＳＤコードベクトル（Ｐ１，Ｐ２）も二次元ベクトルである。クラス分類用コードブックの生成方法については後述する。
【００４２】
ベクトル量子化部１０２ｂは、コードブック記憶部１０２ａに記憶されているクラス分類用コードブックに基づいて、上述したタップベクトル（ｐ1，ｐ２）と複数のクラスのＳＤコードベクトル（Ｐ１，Ｐ２）それぞれとの間の距離を求め、この距離を最小にするＳＤコードベクトル（Ｐ１，Ｐ２）に割り当てられたクラスコード＃ｃを出力する。
【００４３】
図１に戻って、また、画像信号処理装置１００は、特徴量取得部１０３を有している。この特徴量取得部１０３は、タップ抽出部１０１で抽出されるクラスタップに基づいて、このクラスタップに係る特徴量を取得する。この特徴量は、例えばクラスタップ内の画素データのダイナミックレンジＤＲである。このダイナミックレンジＤＲは、クラスタップ内の画素データの最大値と最小値との差分である。なお、特徴量は、上述したダイナミックレンジＤＲの他に、クラスタップ内の画素データの分散値、標準偏差、波形パターン、あるいはタップベクトルとクラスコードに対応したコードベクトルとの差分データ等であってもよい。
【００４４】
また、画像信号処理装置１００は、データ生成部１０４を有している。このデータ生成部１０４は、クラス分類部１０２で得られたクラスコードおよび特徴量取得部１０３で取得された特徴量を用いて、タップ抽出部１０１で抽出されたクラスタップに対応した、ＨＤ信号を構成する複数個、本実施の形態においては水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）を生成する。
【００４５】
このデータ生成部１０４は、例えばクラスコードおよびダイナミックレンジからなる特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを用いて、このクラスコードをベクトル逆量子化し、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を得る。データ生成部１０４は、例えば、図３に示すように、コードブック記憶部１０４ａおよびベクトル逆量子化部１０４ｂからなっている。
【００４６】
コードブック記憶部１０４ａには、予め求められたデータ生成用コードブックが記憶されている。このデータ生成用コードブックは、図５に示すように、クラスコードおよび特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を割り当てた割り当て情報である。図５において、ＨＤコード＃Ｃは、ＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に対応するクラスコードである。
【００４７】
なお、図５に示すデータ生成用コードブックにおいては、特徴量がダイナミックレンジＤＲである場合の例である。またこの例では、特徴量は、各ＳＤコード＃ｃに対して２個あるいは３個で切り分けられているが、この切り分け数はこれに限定されるものではない。この切り分け数は、特徴量を一番細かいところで設定しておいて、対応するＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）が同じくなれば結合していき、最終的に結合できなくなった数として定義することもできる。
【００４８】
本実施の形態において、ベクトル逆量子化で得られるＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）が四次元ベクトルであるので、ＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）も四次元ベクトルである。データ生成用コードブックの生成方法については後述する。
【００４９】
ベクトル量子化部１０４ｂは、コードブック記憶部１０４ａに記憶されているデータ生成用コードブックを用いて、クラス分類部１０２で得られたクラスコードおよび特徴量取得部１０３で取得された特徴量の組み合わせに割り当てられているＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を求め、これをＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）として出力する。
【００５０】
次に、図１の画像信号処理装置１００の動作を説明する。
ＳＤ信号がタップ抽出部１０１に供給される。タップ抽出部１０１では、ＳＤ信号が、水平方向に隣接する２個の画素データからなるブロックに分割され、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２（図２参照）がクラスタップとして抽出される。
【００５１】
クラスタップ抽出部１０１で抽出されたクラスタップは、クラス分類部１０２および特徴量取得部１０３に供給される。クラス分類部１０２では、クラスタップが複数のクラスのうちのいずれかのクラスに分類され、このクラスタップに対応したクラスコードが得られる。この場合、例えばクラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）が、クラス分類用コードブックを用いて、ベクトル量子化され、クラスタップに対応したクラスコードが得られる。
【００５２】
また、特徴量取得部１０３では、クラスタップ内の画素データの最大値と最小値との差分を求めて、このクラスタップに係る特徴量、例えばクラスタップ内の画素データのダイナミックレンジＤＲが取得される。
【００５３】
クラス分類部１０２で得られたクラスコードおよび特徴量取得部１０３で取得された特徴量は、データ生成部１０４に供給される。このデータ生成部１０４では、クラスコードおよび特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックが用いられて、タップ抽出部１０１で抽出されたクラスタップに対応した、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４（図２参照）が生成される。
【００５４】
この場合、このクラスコードが、データ生成用コードブックを用いられて、ベクトル逆量子化され、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）が得られる。
【００５５】
このように、図１に示す画像信号処理装置１００においては、ＳＤ信号をＨＤ信号に変換する際に、ＳＤ信号を分割して得られる２個の画素データｐ１，ｐ２からなるブロック毎に、このブロックに含まれる画素データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量を用いて、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４を生成するものであり、クラスコードのみに基づく場合に比べて適切な変換処理を行うことができ、ＳＤ信号をＨＤ信号に良好に変換できる。この画像信号処理装置１００は、例えば、テレビ受信機、画像信号再生装置等の画像信号を出力する装置等に適用できる。
【００５６】
次に、上述したコードブック記憶部１０２ａに記憶されるクラス分類用コードブックおよびコードブック記憶部１０４ａに記憶されるデータ生成用コードブックの生成について説明する。
【００５７】
図６は、クラス分類用コードブック及びデータ生成用コードブックを生成するコードブック生成装置２００の構成を示している。
このコードブック生成装置２００は、学習用データベース２０１を有している。この学習用データベース２０１には、ＨＤ信号に対応した教師信号としての学習用画像信号が記憶されている。
【００５８】
また、コードブック生成装置２００は、第１のタップ抽出手段としての生徒データ生成部２０２を有している。この生徒データ生成部２０２は、学習用画像信号（教師信号）の画素データ数を水平方向に１／２となるように間引きフィルタ（ローパスフィルタ）を用いて間引き、ＳＤ信号に対応した生徒信号を得、この生徒信号を水平方向に隣接する２個の画素データｐ１，ｐ２（図２参照）からなる第１のブロックに分割し、ブロック毎に、この第１のブロックに含まれる画素データを第１のタップ（生徒データ）として抽出する。
【００５９】
また、コードブック生成装置２００は、第２のタップ抽出手段としての教師データ生成部２０３を有している。この教師データ生成部２０３は、学習用画像信号（教師信号）を、上述した生徒データ生成部２０２で分割して得られる第１のブロックに対応した、水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）からなる第２のブロックに分割し、ブロック毎に、この第２のブロックに含まれる画素データを第２のタップ（教師データ）として抽出する。
【００６０】
ここで、生徒データ生成部２０２で抽出される一個の第１のタップ（生徒データ）と、これに対応する、教師データ生成部２０３で抽出される一個の第２のタップ（教師データ）とで、一個の学習対が構成される。このコードブック生成装置２００では、複数個の学習対を用いて、クラス分類用コードブックおよびデータ生成用コードブックが生成される。
【００６１】
なお、生徒データ生成部２０２は、学習用画像信号（教師信号）の画素データ数を水平方向に１／２となるように間引いてＳＤ信号に対応した生徒信号を得て用いるものであるが、学習用データベース２０１にＳＤ信号に対応した生徒信号としての学習用画像信号も記憶しておき、この学習用画像信号（生徒信号）を用いる構成としてもよい。
【００６２】
また、コードブック生成装置２００は、クラス分類部２０４を有している。このクラス分類部２０４は、生徒データ生成部２０２で抽出される第１のタップを複数のクラスのうちのいずれかのクラスに分類し、この第１のタップに対応したクラスコードを求める。
【００６３】
このクラス分類部２０４は、例えば第１のタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、クラス分類用コードブックを用いて、ベクトル量子化し、第１のタップに対応したクラスコードを求める。クラス分類部２０４は、クラス分類用コードブック生成部２０４ａおよびベクトル量子化部２０４ｂからなっている。
【００６４】
クラス分類用コードブック生成部２０４ａには、生徒データ生成部２０２で抽出される第１のタップが供給される。このコードブック生成部２０４ａは、第１のタップに含まれる２個の画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ１，ｐ２）を用いて、例えばＬＢＧ(Linde Buzo Gray)アルゴリズムに従い、クラス分類用コードブックを生成する。
【００６５】
このクラス分類用コードブックは、コードブック生成部２０４ａに内蔵された記憶部２０４ｃに記憶され、必要に応じてこの記憶部２０４ｃから読み出されて使用される。このクラス分類用コードブックは、上述の図３のコードブック記憶部１０２ａに記憶されて使用されるものであり、図４に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＳＤ信号についての代表ベクトルとしてのＳＤコードベクトル（Ｐ１，Ｐ２）に、対応するクラスを示すクラスコード（ＳＤコード）＃ｃを割り当てた割り当て情報である。
【００６６】
ベクトル量子化部２０４ｂは、上述の図３のベクトル量子化部１０２ｂと同様に構成されており、コードブック生成部２０４ａの記憶部２０４ｃに記憶されているクラス分類用コードブックを用いて、上述したタップベクトル（ｐ1，ｐ２）と、複数のクラスのＳＤコードベクトル（Ｐ１，Ｐ２）それぞれとの間の距離を求め、この距離を最小にするＳＤコードベクトル（Ｐ１，Ｐ２）に割り当てられたクラスコード＃ｃを出力する。
【００６７】
また、コードブック生成装置２００は、特徴量取得部２０５を有している。この特徴量取得部２０５は、上述の図１、図３の特徴量取得部１０３と同様に構成されており、生徒データ生成部２０２で抽出される第１のタップに係る特徴量を取得する。この特徴量は、例えばクラスタップ内の画素データのダイナミックレンジＤＲ等である。
【００６８】
また、コードブック生成装置２００は、コードブック生成部２０６を有している。このコードブック生成部２０６には、教師データ生成部２０３で抽出される第２のタップが供給される。このコードブック生成部２０６は、第２のタップに含まれる４個の画素データｑ１〜ｑ４をコンポーネントとするタップベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を用いて、例えばＬＢＧアルゴリズムに従い、ＨＤ信号に係るコードブックを生成する。
【００６９】
このコードブックは、図７に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に、対応するクラスを示すクラスコード（ＨＤコード）＃Ｃを割り当てた割り当て情報である。このコードブックは、ＨＤ信号についてのクラス分類用コードブックに相当する。このコードブックは、コードブック生成部２０６に内蔵された記憶部２０６ａに記憶され、必要に応じてこの記憶部２０６ａから読み出されて使用される。
【００７０】
また、コードブック生成装置２００は、コードブック生成手段としての最適リンク検出部２０７を有している。この最適リンク検出部２０７は、クラス分類部２０４で得られたクラスコード、特徴量取得部２０５で取得された特徴量、教師データ生成部２０３で抽出された第２のタップ、およびコードブック生成部２０６で生成されたコードブックを用いて、クラスコードおよびダイナミックレンジからなる特徴量の組み合わせのそれぞれに、複数個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）から選択された一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を割り当ててデータ生成用コードブックを生成する。
【００７１】
この最適リンク検出部２０７で生成されたデータ生成用コードブックは、この最適リンク検出部２０７に内蔵された記憶部２０７ａに記憶され、必要に応じてこの記憶部２０７ａから読み出されて使用される。このデータ生成用コードブックは、上述の図３のコードブック記憶部１０４ａに記憶されて使用されるものであり、図５に示すように、クラスコードおよび特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を割り当てた割り当て情報である。
【００７２】
この場合、最適リンク検出部２０７は、具体的には、例えば以下のような処理をする。すなわち、クラスコードおよび特徴量の組み合わせ毎に、その組み合わせに該当する、つまりその組み合わせのクラスコードおよび特徴量が得られる複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４とＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差（例えば、画素データ毎の差分をそれぞれ自乗して加算した差分自乗和）を求め、この求められた複数の誤差を加算して誤差和を得ることを、複数個のＨＤコードベクトル分だけ繰り返し、誤差和を最小にするＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を、その組み合わせに割り当てる。
【００７３】
ここで、ある組み合わせとなる第１のタップがＭ個存在するとして、そのｍ番目の第１のタップに対応した第２のタップに含まれる画素データをｑ１(m)〜ｑ４(m)と表すこととする。この場合、ある一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に対応した誤差和は、例えば（１）式で表される。ここで、Σはｍを１からＭに変えてのサメーションを表している。
誤差和＝Σ｛（ｑ１(ｍ)−Ｑ１）2＋（ｑ２(ｍ)−Ｑ２）2＋（ｑ３(ｍ)−Ｑ３）2＋（ｑ４(ｍ)−Ｑ４）2｝・・・（１）
【００７４】
次に、図６に示すコードブック生成装置２００の動作を説明する。
学習用データベース２０１に記憶されているＨＤ信号に対応した教師信号としての学習用画像信号が生徒データ生成部２０２に供給される。この生徒データ生成部２０２では、学習用画像信号（教師信号）に基づいて、第１のタップが抽出される。
【００７５】
すなわち、学習用画像信号の画素データ数が水平方向に１／２となるように間引きフィルタを用いて間引かれ、ＳＤ信号に対応した生徒信号が得られ、さらにこの生徒信号が水平方向に隣接する２個の画素データｐ１，ｐ２（図２参照）からなる第１のブロックに分割され、ブロック毎に、この第１のブロックに含まれる画素データが第１のタップ（生徒データ）として抽出される。
【００７６】
また、学習用データベース２０１に記憶されているＨＤ信号に対応した教師信号としての学習用画像信号が教師データ生成部２０３に供給される。この教師データ生成部２０３では、学習用画像信号（教師信号）に基づいて、第２のタップが抽出される。すなわち、学習用画像信号（教師信号）が、上述した生徒データ生成部２０２で分割して得られる第１のブロックに対応した、水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）からなる第２のブロックに分割され、ブロック毎に、この第２のブロックに含まれる画素データが第２のタップ（教師データ）として抽出される。
【００７７】
生徒データ生成部２０２で抽出された第１のタップはクラス分類部２０４を構成するクラス分類用コードブック生成部２０４ａに供給される。このコードブック生成部２０４ａでは、第１のタップに含まれる２個の画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ１，ｐ２）を用いて、例えばＬＢＧアルゴリズムに従い、クラス分類用コードブック（図４参照）が生成される。
【００７８】
このクラス分類用コードブックは、上述の図３のコードブック記憶部１０２ａに記憶されて使用されるものである。このクラス分類用コードブックは、コードブック生成部２０４ａに内蔵された記憶部２０４ｃに記憶され、必要に応じてこの記憶部２０４ｃから読み出されて使用される。
【００７９】
また、教師データ生成部２０３で抽出された第２のタップはコードブック生成部２０６に供給される。このコードブック生成部２０６は、第２のタップに含まれる４個の画素データｑ１〜ｑ４をコンポーネントとするタップベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を用いて、例えばＬＢＧアルゴリズムに従い、コードブック（図７参照）が生成される。このコードブックは、コードブック生成部２０６に内蔵された記憶部２０６ａに記憶され、必要に応じてこの記憶部２０６ａから読み出されて使用される。
【００８０】
また、生徒データ生成部２０２で抽出された第１のタップは、クラス分類部２０４を構成するベクトル量子化部２０４ｂに供給される。クラス分類部２０４では、第１のタップが複数のクラスのうちのいずれかのクラスに分類され、この第１のタップに対応したクラスコードが得られる。すなわち、ベクトル量子化部２０４ｂでは、第１のタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）が、コードブック生成部２０４ａの記憶部２０４ｃに記憶されているクラス分類用コードブックを用いて、ベクトル量子化され、第１のタップに対応したクラスコードが得られる。
【００８１】
また、生徒データ生成部２０２で抽出された第１のタップは、特徴量取得部２０５に供給される。特徴量取得部２０５では、第１のタップに係る特徴量、例えば第１のタップ内の画素データのダイナミックレンジＤＲが取得される。
【００８２】
ベクトル量子化部２０４ｂで得られたクラスコードおよび特徴量取得部２０５で取得された特徴量は、最適リンク検出部２０７に供給される。また、この最適リンク検出部２０７には、教師データ生成部２０３で抽出された第２のタップおよびコードブック生成部２０６の記憶部２０６ａに記憶されたコードブックも供給される。
【００８３】
最適リンク検出部２０７では、クラスコード、特徴量、第２のタップ、およびコードブックを用いて、クラスコードおよびダイナミックレンジからなる特徴量の組み合わせのそれぞれに、複数個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）から選択された一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）が割り当てられてデータ生成用コードブック（図５参照）が生成される。
【００８４】
この場合、クラスコードおよび特徴量の組み合わせ毎に、その組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４とＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差が求められ、この求められた複数の誤差が加算されて誤差和（（１）式参照）が得られ、これが複数個のＨＤコードベクトル分だけ繰り返され、誤差和を最小にするＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）がその組み合わせに割り当てられる。
【００８５】
このデータ生成用コードブックは、上述の図３のコードブック記憶部１０４ａに記憶されて使用されるものである。このデータ生成用コードブックは、コードブック生成部２０７に内蔵された記憶部２０７ａに記憶され、必要に応じてこの記憶部２０７ａから読み出されて使用される。
【００８６】
このように、図６に示すコードブック生成装置２００によれば、図１の画像信号処理装置１００で使用されるクラス分類用コードブックおよびデータ生成用コードブックを良好に生成できる。
【００８７】
なお、図６に示すコードブック生成装置２００においては、クラス分類部２０４のクラス分類用コードブック生成部２０４ａおよびコードブック生成部２０６では、例えばＬＢＧアルゴリズムに従い、コードブックを生成するものを示したが、このコードブックを、ベクトル量子化に用いられるコードブック生成に利用される手法以外の手法で生成してもよい。
【００８８】
すなわち、クラス分類用コードブックは、例えば、図８に示すようにして生成することが可能である。
【００８９】
ここで、図８においては、第１のタップに含まれる２個の画素データｐ１，ｐ２を表現する２次元空間（ＳＤ画像空間）が格子状に区切られることにより、矩形状の領域ｒ(i,j)が構成されている、なお、図８では、画素データｐ１，ｐ２の画素値が、それぞれ横軸と縦軸に取られている。
【００９０】
本実施の形態では、画素データｐ１，ｐ２は、上述したように、８ビットのデータであるから、ＳＤ画像空間における横軸および縦軸が取り得る値は、０〜２５５（＝２8−１）である。また、図８において、ｒ(i,j)は、ＳＤ画像空間において、左からｉ番目で、下からｊ番目の領域を表し、各領域ｒ(i,j)には、クラスを表すユニークなクラスコード＃ｃが割り当てられている。
【００９１】
クラス分類用コードブック生成部２０４ａは、各領域ｒ(i,j)について、その領域ｒ(i,j)内に含まれる第１のタップを求め、さらに、例えば、それらの第１のタップの重心を求める。すなわち、いま、領域ｒ(i,j)内に含まれる第１のタップがＫ個あり、そのｋ番目の第１のタップを、（ｐ1,r(i,j)(k)，ｐ2,r(i,j)(k)）と表すと、クラス分類用コードブック生成部２０４ａは、（Σｐ1,r(i,j)(k)／Ｋ，Σｐ,r(i,j)(k)／Ｋ）で表される、領域ｒ(i,j)に割り当てられたクラスコード＃ｃの第１のタップの重心を求める。ここで、Σは、ｋを１からＫに変えてのサメーションを表している。
【００９２】
そして、クラス分類用コードブック生成部２０４ａは、クラスコード＃ｃの第１のタップの重心を、そのクラスコード＃ｃで表されるクラスを代表する、ＳＤ信号についてのＳＤコードベクトル（Ｐ１，Ｐ２）として、クラスコード＃ｃに対応付ける。これにより、図４に示すような、クラス分類用コードブックが生成される。
【００９３】
なお、詳細説明は省略するが、コードブック生成部２０６で生成されるコードブック（図７参照）についても、上述したクラス分類用コードブックと同様にして生成できる。
【００９４】
その場合には、第２のタップに含まれる４個の画素データｑ１〜ｑ４を表現する４次元空間（ＨＤ画像空間）が区切られることにより、領域ｒ(i,j,s,t)が構成される。
【００９５】
この場合、ｒ(i,j,s,t)は、ＨＤ画像空間において、画像データｑ１の画素値の軸ではｉ番目で、画像データｑ２の画素値の軸ではｊ番目で、画像データｑ３の画素値の軸ではｓ番目で、画像データｑ４の画素値の軸ではｔ番目の領域を表し、各領域ｒ(i,j,s,t)には、クラスを表すユニークなクラスコード＃Ｃが割り当てられる。
【００９６】
コードブック生成部２０６は、各領域ｒ(i,j,s,t)について、その領域ｒ(i,j,s,t)内に含まれる第２のタップを求め、それらの第２のタップの重心を求める。そして、コードブック生成部２０６は、クラスコード＃Ｃの第２のタップの重心を、そのクラスコード＃Ｃで表されるクラスを代表する、ＨＤ信号についてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）として、クラスコード＃Ｃに対応付ける。これにより、図７に示すような、コードブックが生成される。
【００９７】
なお、上述した図１の画像信号処理装置１００における処理を、例えば図９に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウェアにより行うこともできる。
【００９８】
まず、図９に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムやコードブック等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
【００９９】
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
【０１００】
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
【０１０１】
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＣＲＴ（Cathode-Ray Tube）、ＬＣＤ（liquid Crystal Display）等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
【０１０２】
また、画像信号処理装置５００は、ＳＤ信号を入力するための入力端子５１５と、ＨＤ信号を出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
【０１０３】
ここで、上述したようにＲＯＭ５０２に制御プログラムやコードブック等を予め格納しておく代わりに、例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ３０３に格納して使用することもできる。また、これら制御プログラムやコードブック等をリムーバブル記録媒体で提供するようにしてもよい。
【０１０４】
また、処理すべきＳＤ信号を入力端子５１５より入力する代わりに、リムーバブル記録媒体で供給し、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
【０１０５】
図１０のフローチャートを参照して、図９に示す画像信号処理装置５００における、ＳＤ信号からＨＤ信号を得るための処理手順を説明する。
【０１０６】
まず、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分のＳＤ信号を入力する。このように入力されるＳＤ信号はＲＡＭ５０３に一時的に記憶される。
【０１０７】
そして、ステップＳＴ１３で、ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１５に進む。
【０１０８】
ステップＳＴ１５では、ＳＤ信号が、水平方向に隣接する２個の画素データからなるブロックに分割され、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２（図２参照）がクラスタップとして抽出される。
【０１０９】
そして、ステップＳＴ１６で、クラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを求める。この場合、クラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、ＲＯＭ５０２に格納されているクラス分類用コードブック（図４参照）を用いて、ベクトル量子化し、クラスタップに対応したクラスコードを求める。
【０１１０】
次に、ステップＳＴ１７で、クラスタップに係る特徴量、例えばクラスタップ内の画素データｐ１，ｐ２のダイナミックレンジＤＲを取得する。
【０１１１】
次に、ステップＳＴ１８で、ステップＳＴ１６で得られたクラスコードおよびステップＳＴ１７で取得されたダイナミックレンジからなる特徴量を用いて、ステップＳＴ１５で抽出されたクラスタップに対応した、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４（図２参照）を生成する。この場合、このクラスコードを、ＲＯＭ５０２に格納されているデータ生成用コードブック（図５参照）を用いて、ベクトル逆量子化し、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を求める。
【０１１２】
次に、ステップＳＴ１９で、ステップＳＴ１２で入力された１フレーム分または１フィールド分のＳＤ信号の画素データの全領域において、ＨＤ信号の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１５に戻って、次のクラスタップについての処理に移る。
【０１１３】
このように、図１０に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号の画素データを処理して、ＨＤ信号の画素データを得ることができる。このように処理して得られたＨＤ信号は出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０１１４】
また、処理装置の図示は省略するが、図６に示すコードブック生成装置２００における処理も、ソフトウェアにより行うこともできる。
【０１１５】
図１１のフローチャートを参照して、クラス分類用コードブックおよびデータ生成用コードブックを生成するための処理手順を説明する。
まず、ステップＳＴ２１で処理を開始し、ステップＳＴ２２で、ＨＤ信号に対応した教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２３で、ステップＳＴ２２で入力された教師信号から、ＳＤ信号に対応した生徒信号を生成する。この場合、ＨＤ信号に対応した教師信号の画素データ数を水平方向に１／２となるように間引いて、ＳＤ信号に対応した生徒信号を生成する。
【０１１６】
次に、ステップＳＴ２４で、ステップＳＴ２３で生成された生徒信号を第１のタップ（生徒データ）として抽出する。この場合、生徒信号を水平方向に隣接する２個の画素データｐ１，ｐ２（図２参照）からなる第１のブロックに分割し、ブロック毎に、この第１のブロックに含まれる画素データを第１のタップとして抽出する。
【０１１７】
次に、ステップＳＴ２５で、ステップＳＴ２２で入力された教師信号を第２のタップ（教師データ）として抽出する。この場合、教師信号を、上述したステップＳＴ２４で分割して得られる第１のブロックに対応した、水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）からなる第２のブロックに分割し、ブロック毎に、この第２のブロックに含まれる画素データを第２のタップとして抽出する。
【０１１８】
このステップＳＴ２４およびステップＳＴ２５の処理により、１フレーム分または１フィールド分の教師信号および生徒信号から、複数対の学習データが生成される。因みに、一個の学習データは、一個の第１のタップ（生徒データ）および一個の第２のタップ（教師データ）で構成される。
【０１１９】
次に、ステップＳＴ２６で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２２に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、終了しているときは、ステップＳＴ２７に進む。
【０１２０】
ステップＳＴ２７では、クラス分類用コードブックを生成する。この場合、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第１のタップ（生徒データ）に基づき、この第１のタップに含まれる２個の画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ１，ｐ２）を用いて、例えばＬＢＧアルゴリズムに従い、クラス分類用コードブックを生成する。
【０１２１】
このクラス分類用コードブックは、図４に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＳＤ信号についての代表ベクトルとしてのＳＤコードベクトル（Ｐ１，Ｐ２）に、対応するクラスを示すクラスコード（ＳＤコード）＃ｃを割り当てた割り当て情報である。
【０１２２】
次に、ステップＳＴ２８で、ＨＤ信号に係るコードブックを生成する。この場合、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第２のタップ（教師データ）に基づき、この第２のタップに含まれる４個の画素データｑ１〜ｑ４をコンポーネントとするタップベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を用いて、例えばＬＢＧアルゴリズムに従い、コードブックを生成する。
【０１２３】
このクラスコードは、図７に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に、対応するクラスを示すクラスコード（ＨＤコード）＃Ｃを割り当てた割り当て情報である。
【０１２４】
次に、ステップＳＴ２９で、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第１のタップ（生徒データ）に基づき、各第１のタップを複数のクラスのうちのいずれかのクラスに分類し、各第１のタップに対応したクラスコードを求める。
【０１２５】
この場合、第１のタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、ステップＳＴ２７で生成されたクラス分類用コードブックを用いて、ベクトル量子化し、第１のタップに対応したクラスコード＃ｃを求める。
【０１２６】
次に、ステップＳＴ３０で、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第１のタップ（生徒データ）に基づき、各第１のタップに係る特徴量、例えば第１タップ内の画素データのダイナミックレンジを取得する。
【０１２７】
次に、ステップＳＴ３１で、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データ、ステップＳＴ２８で生成されたコードブック（図７参照）、ステップＳＴ２９およびステップＳＴ３０で生成された複数対の学習データを構成する各第１のタップ（生徒データ）に対応したクラスコード＃ｃおよび特徴量＃ａを用いてデータ作成用コードブックを生成し、ステップＳＴ３２で、処理を終了する。
【０１２８】
なおここで、特徴量＃ａは、ステップＳＴ３０で取得される特徴量の最も細かな切り分けにおける、各切り分け範囲の番号を示している。例えば、特徴量がダイナミックレンジＤＲで、このダイナミックレンジＤＲが０〜２５５の範囲にあって、最も細かな切り分けが「１」毎に行われる場合、切り分け範囲は２５６個存在し、従って特徴量＃ａは０〜２５５に変化していく。
【０１２９】
このデータ生成用コードブックは、図５に示すように、クラスコード＃ｃおよび特徴量＃ａの組み合わせのそれぞれに、ステップＳＴ２８で生成されたコードブック（図７参照）に登録されている複数個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）から選択された一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）が割り当てられた割り当て情報である。
【０１３０】
ステップＳＴ３１の処理では、クラスコード＃ｃおよび特徴量＃ａの組み合わせ毎に、その組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４とＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差を求め、この求められた複数の誤差を加算して誤差和（（１）式参照）を得ることを、複数個のＨＤコードベクトル分だけ繰り返し、誤差和を最小にするＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を、その組み合わせに割り当てる。
【０１３１】
すなわち、まず、ステップＳＴ４１で、クラスコード（ＳＤコード）＃ｃを０に設定し、ステップＳＴ４２で、特徴量＃ａを０に設定し、ステップＳＴ４３で、クラスコード（ＨＤコード）＃Ｃを０に設定する。
【０１３２】
そして、ステップＳＴ４４で、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせにおける、設定されたクラスコード＃Ｃに対応した誤差和を算出する。この場合、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４と、設定されたクラスコード＃Ｃに対応したＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差を求め、この求められた複数の誤差を加算して誤差和を求める。
【０１３３】
次に、ステップＳＴ４５で、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を算出する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ４６で、クラスコード＃Ｃをインクリメントし、その後にステップＳＴ４４に戻り、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせにおける、次のクラスコード＃Ｃに対応した誤差和を得る処理に移る。一方、処理が終了したときは、ステップＳＴ４７に進む。
【０１３４】
ステップＳＴ４７では、設定されたクラスコード（ＳＤコード）＃ｃと全ての特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を算出する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ４８で、特徴量＃ａをインクリメントし、その後にステップＳＴ４３に戻り、設定されたクラスコード（ＳＤコード）＃ｃと次の特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を得る処理に移る。一方、処理が終了したときは、ステップＳＴ４９に進む。
【０１３５】
ステップＳＴ４９では、全てのクラスコード（ＳＤコード）＃ｃで、全ての特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を算出する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ５０で、クラスコード＃ｃをインクリメントし、その後にステップＳＴ４２に戻り、次のクラスコード（ＳＤコード）＃ｃで、全ての特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を得る処理に移る。一方、処理が終了したときは、ステップＳＴ５１に進む。
【０１３６】
ステップＳＴ４９で、処理が終了したと判定されるとき、クラスコード＃ｃおよび特徴量＃ａの各組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和が得られている。ステップＳＴ５１では、クラスコード＃ｃおよび特徴量＃ａの組み合わせ毎に、誤差和を最小とするクラスコード＃Ｃに対応したＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を求め、これをその組み合わせに割り当て、データ生成用コードブック（図５参照）を生成する。
【０１３７】
このように、図１１に示すフローチャートに沿って処理をすることで、図６に示すコードブック生成装置２００と同様の手法によって、クラス分類用コードブックおよびデータ生成用コードブックを生成できる。
【０１３８】
なお、図１に示す画像信号処理装置１００においては、ＳＤ信号を、水平方向に隣接する２個の画素データからなるブロックに分割し、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２（図２参照）をクラスタップとして抽出し、このクラスタップ毎に、ＨＤ信号を構成する水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）を生成するものであるが、クラスタップおよびこのクラスタップに対応して生成されるＨＤ信号の画素データの個数や配置はこれに限定されるものではない。すなわち、クラスタップに含まれる画素データの個数は２個に限定されるものではなく、さらに水平方向に隣接していなくてもよい。また、クラスタップに対応して生成されるＨＤ信号の画素データは４個の限定されるものではなく、さらに水平方向に隣接していなくてもよい。
【０１３９】
また、図１に示す画像信号処理装置１００においては、クラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、クラス分類用コードブックを用いて、ベクトル量子化し、クラスタップに対応したクラスコードを求めるものを示したが、クラスタップに対応したクラスコードを求める手法は、これに限定されるものではない。すなわち、このクラス分類を、クラスタップを構成する画素データそのもの、あるいはそれを加工して得られたデータ、例えば隣接する画素データどうしの差分値に、上述したＡＤＲＣ処理等を施して求めることも可能である。その場合、図６に示すコードブック生成装置２００におけるクラス分類部２０４も同様の構成とする。
【０１４０】
また、図１に示す画像信号処理装置１００においては、クラスコードをデータ生成用コードブックを用いて、ベクトル逆量子化し、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を得るものを示したが、クラスコードおよびダイナミックレンジからなる特徴量に対応した、ＨＤ信号を構成する画素データを生成する手法は、これに限定されるものではない。例えば、クラスコードおよび特徴量から、所定の関係式をもってＨＤ信号を構成する画素データを算出することも可能である。この場合、所定の関係式の係数は、予め学習により生成することができる。
【０１４１】
また、図１に示す画像信号処理装置１００においては、ＳＤ信号を水平方向に画素数を２倍としたＨＤ信号に変換するものを示したが、画素数を増やす方向は、水平方向に限定されるものではなく、垂直方向、さらには時間方向（フレーム方向）も考えられる。また、逆に、ＨＤ信号から画素数を減らしたＳＤ信号を得る場合にも、この発明を同様に適用できる。すなわち、この発明は、一般に第１の画像信号を、この第１の画像信号と同一または異なる画素数の第２の画像信号に変換する場合に適用できる。
【０１４２】
また、上述実施の形態においては、複数個の情報データからなる情報信号が、複数個の画素データからなる画像信号であるものを示したが、この発明は情報信号がその他、例えば音声信号であるものにも同様に適用できる。音声信号の場合、複数個のサンプルデータからなっている。
【０１４３】
【発明の効果】
この発明に係る情報信号処理装置、情報信号処理方法およびプログラムによれば、複数個の情報データからなる第１の情報信号をサンプルの画素数の多い複数個の情報データからなる第２の情報信号に変換する際に、本発明に係るコードブック作成装置、コードブック作成方法およびプログラムによって作成されたデータ生成用コードブックが使用されるので、第１の情報信号を高解像度の第２の情報信号に良好に変換できるようになる。
【図面の簡単な説明】
【図１】画像信号処理装置の構成を示すブロック図である。
【図２】ＳＤ信号とＨＤ信号の画素位置関係を示す図である。
【図３】クラス分類部およびデータ生成部の構成を示すブロック図である。
【図４】クラス分類用コードブックの一例を示す図である。
【図５】データ生成用コードブックの一例を示す図である。
【図６】コードブック生成装置の構成を示すブロック図である。
【図７】ＨＤ信号に係るコードブックの一例を示す図である。
【図８】コードブック生成方法の他の例を説明するための図である。
【図９】ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。
【図１０】画像信号処理を示すフローチャートである。
【図１１】コードブック生成処理を示すフローチャートである。
【符号の説明】
１００・・・画像信号処理装置、１０１・・・タップ抽出部、１０２・・・クラス分類部、１０２ａ・・・コードブック記憶部、１０２ｂ・・・ベクトル量子化部、１０３・・・特徴量取得部、１０４・・・データ生成部、１０４ａ・・・コードブック記憶部、１０４ｂ・・・ベクトル逆量子化部、２００・・・コードブック生成装置、２０１・・・学習用データベース、２０２・・・生徒データ生成部、２０３・・・教師データ生成部、２０４・・・クラス分類部、２０４ａ・・・クラス分類用コードブック生成部、２０４ｂ・・・ベクトル量子化部、２０４ｃ・・・記憶部、２０５・・・特徴量取得部、２０６・・・コードブック生成部、２０６ａ・・・記憶部、２０７・・・最適リンク検出部、２０７ａ・・・記憶部、５００・・・画像信号処理装置
【発明の属する技術分野】
この発明は、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する際に適用して好適な情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量を用いて、第２の情報信号を構成する複数個の情報データを生成することによって、第１の情報信号を高解像度の第２の情報信号に良好に変換できるようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
例えば、画像信号について、その画像信号を、複数のクラスのうちのいずれかにクラス分けするクラス分類を行い、そのクラスに対応する処理を行う画像信号処理方法がある（特許文献１、特許文献２参照）。
【０００４】
このような画像信号処理方法によれば、例えば、画像信号のアクティビティに基づいてクラス分類を行うこととした場合、変化の激しい画像信号などのアクティビティの高い画像信号と、平坦な画像信号などのアクティビティの低い画像信号とを別のクラスにクラス分類することができ、その結果、アクティビティの高い画像信号およびアクティビティの低い画像信号に対し、それぞれに適した処理を施すことが可能となる。
【０００５】
【特許文献１】
特開平７−９５５９１号公報
【特許文献２】
特開２０００−５９７４０号公報
【０００６】
【発明が解決しようとする課題】
上述のようなクラス分類を行う画像信号処理によれば、各クラスに分類される画像信号毎に、そのクラスの画像信号に適した画像信号処理を施すことができる。したがって、理論的には、クラス数が多いほど、各クラスに分類される画像信号に対して、より適した処理を施すことができる。しかし、クラス数が膨大になると、クラスに応じて行われる処理のパターンも膨大になり、装置が大規模化するいうことになる。
【０００７】
例えば、上述のように、アクティビティに基づいてクラス分類を行う場合には、そのアクティビティが取り得る値の数と同一のクラスを用意することになり、各アクティビティの画像信号に対して、そのアクティビティに適した処理を施すことができる。しかし、アクティビティとして、例えば、水平方向に並ぶ複数の画素の隣接するものどうしのＮ個の差分値を採用した場合、その差分値がＫビットであれば、全クラス数は、（２K）Nクラスという膨大な数になる。
【０００８】
このため、クラス分類は、例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)等の、何らかの圧縮処理を利用して行われる。ＡＤＲＣを利用したクラス分類では、クラス分類に用いられるデータ（以下、適宜、「クラスタップ」という）としての、例えば、上述したような、Ｎ個の差分値が、ＡＤＲＣ処理され、その結果得られるＡＤＲＣコードに従ってクラス決定が行われる。
【０００９】
なお、ＫビットＡＤＲＣにおいては、例えば、クラスタップを構成するデータの値の最大値ＭＡＸと最小値ＭＩＮが検出され、ＤＲ＝ＭＡＸ−ＭＩＮを、集合の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成するデータの値の中から、最小値ＭＩＮが減算され、その減算値がＤＲ／２Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するデータについてのＫビットの値を、所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【００１０】
したがって、クラスタップが、例えば１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各データは、最小値ＭＩＮが減算された後に、（ＭＡＸ−ＭＩＮ）／２で除算され、これにより、各データが１ビットとされる。そして、その１ビットのデータを所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【００１１】
ここで、クラス分類は、ＡＤＲＣ処理の他、例えば、ベクトル量子化等によって行うことも可能である。上述のように、圧縮処理を利用してクラス分類を行う場合には、クラス数を少なくすることができる。しかしながら、その反面、圧縮処理を行わずにクラス分類を行う場合に比較して、細かなクラス分けを行うことができなくなり、画像信号に適切な処理を施すことができなくなることがある。
【００１２】
例えば、第１の画像信号のクラス分類をベクトル量子化を利用して行い、各クラス毎に、第２の画像信号を生成する画像信号処理を考える。
【００１３】
この場合、第１の画像信号が、複数の画素データのブロックに分割され、各ブロックについて、そのブロックを構成する複数の画素データをコンポーネントとするベクトル（以下、適宜、「ブロックベクトル」という）が構成される。さらに、そのブロックベクトルが、予め求められたコードブックを用いてベクトル量子化され、そのベクトル量子化結果としてのコード（シンボル）が、そのブロックベクトルのクラスを表すクラスコードとして出力される。
【００１４】
そして、クラスコード毎に、第２の画像信号の画素データが生成される。すなわち、クラスコードが、コードブックを用いてベクトル逆量子化され、そのクラスコードに対応するブロックベクトルが求められる。そして、そのブロックベクトルのコンポーネントを画素データとして含むブロックが求められ、そのブロックを対応する位置に配置することで、第２の画像信号が生成される。
【００１５】
しかしながら、いま、ベクトル逆量子化によって得られる第２の画像信号を高画質の画像信号というと共に、ベクトル量子化の対象となる第１の画像信号を低画質の画像信号というものとすると、上述の処理では、低画質の画像信号のブロックベクトルのうちの、同一のクラスコードにベクトル量子化されるものは、全て、同一のコードベクトル、すなわち、同一の高画質の画像信号のブロックベクトルにベクトル逆量子化される。つまり、ベクトル逆量子化で求められるブロックベクトルは、いわゆる量子化誤差を有する。したがって、上述の処理で生成される画像信号は、高画質であるといっても、ベクトル逆量子化用のコードブック作成に用いられた高画質の画像信号の画質からすれば、量子化誤差分だけ画質が劣化したものとなる。
【００１６】
この発明の目的は、第１の情報信号を第２の情報信号に良好に変換することにある。
【００１７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、このブロックに含まれる情報データをクラスタップとして抽出するクラスタップ抽出手段と、このクラスタップ抽出手段で抽出されたクラスタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類手段と、クラスタップ抽出手段で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めてこのクラスタップに係る特徴量を取得する特徴量取得手段と、クラス分類手段で得られたクラスコードおよび特徴量取得手段で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、クラスタップに対応した、第２の情報信号を構成する複数個の情報データを生成するデータ生成手段とを備え、クラス分類手段は、クラスタップ抽出手段で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得るものである。
【００１８】
また、この発明に係る情報信号処理方法は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、このブロックに含まれる情報データをクラスタップとして抽出するクラスタップ抽出工程と、このクラスタップ抽出工程で抽出されたクラスタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、クラスタップ抽出工程で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該クラスタップに係る特徴量を取得する特徴量取得工程と、クラス分類工程で得られたクラスコードおよび特徴量取得工程で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、クラスタップに対応した、第２の情報信号を構成する複数個の情報データを生成するデータ生成工程とを有し、クラス分類工程には、クラスタップ抽出工程で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得る処理が含まれるものである。
【００１９】
また、この発明に係るプログラムは、上述の情報信号処理方法をコンピュータに実行させるためのものである。
【００２０】
この発明においては、複数個の情報データからなる第１の情報信号を、複数個の情報データからなる第２の情報信号に変換する。ここで、情報信号は、例えば複数個の画素データ（サンプルデータ）からなる画像信号、あるいは複数個のサンプルデータからなる音声信号等である。
【００２１】
第１の情報信号が複数個の情報データからなるブロックに分割され、ブロック毎に、このブロックに含まれる情報データがクラスタップとして抽出される。そして、このクラスタップが、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類され、該ブロックの特徴を表すクラスコードが得られる。例えば、クラスタップに含まれる情報データをコンポーネントとするタップベクトルが、データ生成用コードブックを用いて、ベクトル量子化され、このクラスタップに対応したクラスコードが得られる。
【００２２】
また、クラスタップに基づいて、このクラスタップに係る特徴量が取得される。この特徴量は、クラスタップ内の情報データのダイナミックレンジ、分散値、標準偏差、波形パターン、あるいはタップベクトルとクラスコードに対応したコードベクトルとの差分データ等とされる。
【００２３】
そして、上述したようにクラスタップに基づいて得られたクラスコードおよび特徴量を用いて、当該クラスタップに対応した、第２の情報信号を構成する複数個の情報データが生成される。例えば、このクラスコードが、データ生成用コードブックを用いて逆量子化され、第２の情報信号を構成する複数個の情報データをコンポーネントとするコードベクトルが得られる。このコードブックは、予め学習によって求められる。
【００２４】
このように、この発明は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、第２の情報信号を構成する複数個の情報データを生成するものであり、クラスコードのみに基づく場合に比べて適切な変換処理を行うことができ、第１の情報信号を第２の情報信号に良好に変換できる。
【００２５】
また、この発明に係るコードブック生成装置は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに、第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するコードブック生成装置において、第１の情報信号に対応した生徒信号を分割して得られた、複数個の情報データからなる各第１のブロックに含まれる情報データを第１のタップとして抽出する第１のタップ抽出手段と、第２の情報信号に対応した教師信号を、第１のブロックに対応して分割して得られた、複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出手段と、第１のタップ抽出手段で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類手段と、第１のタップ抽出手段で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得手段と、第２の情報信号についての、それぞれ第２のタップ抽出手段で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを記憶する記憶手段と、クラス分類手段で得られたクラスコード、特徴量取得手段で取得されたダイナミックレンジからなる特徴量、第２のタップ抽出手段で抽出された第２のタップおよび記憶手段に記憶されている複数個の代表ベクトルに基づいて、クラスコードおよび特徴量の組み合わせのそれぞれに、複数個の代表ベクトルから選択された一個の代表ベクトルを割り当ててデータ生成用コードブックを生成するコードブック生成手段とを備え、クラス分類手段は、第１のクラスタップ抽出手段で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該第１のタップに対応したクラスコードを得るものである。
【００２６】
また、この発明に係るコードブック生成方法は、複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに、第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するコードブック生成方法において、第１の情報信号に対応した生徒信号を分割して得られる複数個の情報データからなる各第１のブロックに含まれる情報データを第１のタップとして抽出する第１のタップ抽出工程と、第２の情報信号に対応した教師信号を、第１のブロックに対応して分割して得られる複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出工程と、第１のタップ抽出工程で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、第１のタップ抽出工程で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得工程と、クラス分類工程で得られたクラスコード、特徴量取得工程で取得されたダイナミックレンジからなる特徴量、第２のタップ抽出工程で抽出された第２のタップ、および第２の情報信号についての、それぞれ第２のタップ抽出工程で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを用いて、クラスコードおよび特徴量の組み合わせのそれぞれに、複数個の代表ベクトルから選択された一個の代表ベクトルを割り当ててデータ生成用コードブックを生成するコードブック生成工程とを有し、クラス分類工程には、第１のクラスタップ抽出工程で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該第１のタップに対応したクラスコードを得る処理が含まれるものである。
【００２７】
また、この発明に係るプログラムは、上述したコードブック生成方法をコンピュータに実行させるためのものである。
【００２８】
この発明においては、第１の情報信号を第２の情報信号に変換する際に使用されるデータ生成用コードブックを生成するものである。ここで、第１の情報信号から第２の情報信号への変換は、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、このブロックに含まれる情報データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量を用いて、第２の情報信号を構成する複数個の情報データをコンポーネントとする代表ベクトルを求めることで行われる。
【００２９】
第１の情報信号に対応した生徒信号を分割して得られる複数個の情報データからなる各第１のブロックに含まれる情報データが第１のタップとして抽出される。また、第２の情報信号に対応した教師信号を、第１のブロックに対応して分割することにより得られる複数個の情報データからなる各第２のブロックに含まれる情報データが第２のタップとして抽出される。
【００３０】
そして、この第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードが得られる。例えば、第１のタップに含まれる情報データをコンポーネントとするタップベクトルが、クラス分類用コードブックを用いて、ベクトル量子化され、この第１のタップに対応したクラスコードが得られる。
【００３１】
また、第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量が取得される。この特徴量は、第１のタップ内の情報データのダイナミックレンジの他、分散値、標準偏差、波形パターン、あるいはタップベクトルとクラスコードに対応したコードベクトルとの差分データ等とされる。
【００３２】
そして、上述したように第１のタップに基づいて得られたクラスコードおよび特徴量、第２のタップ、および第２の情報信号についての、それぞれ第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを用いて、クラスコードおよび特徴量の組み合わせのそれぞれに、複数個の代表ベクトルから選択された一個の代表ベクトルを割り当てることで、データ生成用コードブックが生成される。
【００３３】
例えば、クラスコードおよび特徴量の組み合わせ毎に、その組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについて該第２のタップに含まれる情報データと代表ベクトル内のコンポーネントとの誤差が求められ、この求められた複数の誤差が加算されて誤差和が得られ、これが複数個の代表ベクトル分だけ繰り返され、誤差和を最小にする代表ベクトルがその組み合わせに割り当てられる。
【００３４】
これにより、この発明によれば、第１の情報信号を画素数の多い第２の情報信号に変換する際に使用されるコードブックであって、第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、クラスコードおよびダイナミックレンジからなる特徴量の組み合わせに、第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを良好に生成できる。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、低解像度または標準解像度の画像信号（以下、「ＳＤ(Standard Definition)信号」という）を、高解像度の画像信号（以下、「ＨＤ(High Definition )信号に変換する。
【００３６】
図２は、ＳＤ信号とＨＤ信号の画素位置関係を示している。「×」がＳＤ信号の画素位置を表し、「○」がＨＤ信号の画素位置を表している。この場合、ＳＤ信号の２画素にＨＤ信号の４画素が対応している。
【００３７】
図１に戻って、画像信号処理装置１００は、タップ抽出部１０１を有している。このタップ抽出部１０１には、変換対象としてのＳＤ信号が供給される。このＳＤ信号は、複数個の８ビットの画素データからなるものである。タップ抽出部１０１は、ＳＤ信号を複数個、本実施の形態においては水平方向に隣接する２個の画素データｐ１，ｐ２からなるブロックに分割し（図２参照）、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２をクラスタップとして抽出する。
【００３８】
また、画像信号処理装置１００は、クラス分類部１０２を有している。このクラス分類部１０２は、タップ抽出部１０１で抽出されたクラスタップを複数のクラスのうちのいずれかのクラスに分類し、このクラスタップに対応したクラスコードを求める。
【００３９】
このクラス分類部１０２は、例えばクラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、クラス分類用コードブックを用いて、ベクトル量子化し、クラスタップに対応したクラスコードを求める。クラス分類部１０２は、例えば、図３に示すように、コードブック記憶部１０２ａおよびベクトル量子化部１０２ｂからなっている。
【００４０】
コードブック記憶部１０２ａには、予め求められたクラス分類用コードブックが記憶されている。このクラス分類用コードブックは、図４に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＳＤ信号についての代表ベクトルとしてのＳＤコードベクトル（Ｐ１，Ｐ２）に、対応するクラスを示すクラスコード（ＳＤコード）＃ｃを割り当てた割り当て情報である。
【００４１】
本実施の形態において、ベクトル量子化の対象となるタップベクトル（ｐ1，ｐ２）が二次元ベクトルであるので、ＳＤコードベクトル（Ｐ１，Ｐ２）も二次元ベクトルである。クラス分類用コードブックの生成方法については後述する。
【００４２】
ベクトル量子化部１０２ｂは、コードブック記憶部１０２ａに記憶されているクラス分類用コードブックに基づいて、上述したタップベクトル（ｐ1，ｐ２）と複数のクラスのＳＤコードベクトル（Ｐ１，Ｐ２）それぞれとの間の距離を求め、この距離を最小にするＳＤコードベクトル（Ｐ１，Ｐ２）に割り当てられたクラスコード＃ｃを出力する。
【００４３】
図１に戻って、また、画像信号処理装置１００は、特徴量取得部１０３を有している。この特徴量取得部１０３は、タップ抽出部１０１で抽出されるクラスタップに基づいて、このクラスタップに係る特徴量を取得する。この特徴量は、例えばクラスタップ内の画素データのダイナミックレンジＤＲである。このダイナミックレンジＤＲは、クラスタップ内の画素データの最大値と最小値との差分である。なお、特徴量は、上述したダイナミックレンジＤＲの他に、クラスタップ内の画素データの分散値、標準偏差、波形パターン、あるいはタップベクトルとクラスコードに対応したコードベクトルとの差分データ等であってもよい。
【００４４】
また、画像信号処理装置１００は、データ生成部１０４を有している。このデータ生成部１０４は、クラス分類部１０２で得られたクラスコードおよび特徴量取得部１０３で取得された特徴量を用いて、タップ抽出部１０１で抽出されたクラスタップに対応した、ＨＤ信号を構成する複数個、本実施の形態においては水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）を生成する。
【００４５】
このデータ生成部１０４は、例えばクラスコードおよびダイナミックレンジからなる特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを用いて、このクラスコードをベクトル逆量子化し、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を得る。データ生成部１０４は、例えば、図３に示すように、コードブック記憶部１０４ａおよびベクトル逆量子化部１０４ｂからなっている。
【００４６】
コードブック記憶部１０４ａには、予め求められたデータ生成用コードブックが記憶されている。このデータ生成用コードブックは、図５に示すように、クラスコードおよび特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を割り当てた割り当て情報である。図５において、ＨＤコード＃Ｃは、ＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に対応するクラスコードである。
【００４７】
なお、図５に示すデータ生成用コードブックにおいては、特徴量がダイナミックレンジＤＲである場合の例である。またこの例では、特徴量は、各ＳＤコード＃ｃに対して２個あるいは３個で切り分けられているが、この切り分け数はこれに限定されるものではない。この切り分け数は、特徴量を一番細かいところで設定しておいて、対応するＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）が同じくなれば結合していき、最終的に結合できなくなった数として定義することもできる。
【００４８】
本実施の形態において、ベクトル逆量子化で得られるＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）が四次元ベクトルであるので、ＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）も四次元ベクトルである。データ生成用コードブックの生成方法については後述する。
【００４９】
ベクトル量子化部１０４ｂは、コードブック記憶部１０４ａに記憶されているデータ生成用コードブックを用いて、クラス分類部１０２で得られたクラスコードおよび特徴量取得部１０３で取得された特徴量の組み合わせに割り当てられているＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を求め、これをＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）として出力する。
【００５０】
次に、図１の画像信号処理装置１００の動作を説明する。
ＳＤ信号がタップ抽出部１０１に供給される。タップ抽出部１０１では、ＳＤ信号が、水平方向に隣接する２個の画素データからなるブロックに分割され、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２（図２参照）がクラスタップとして抽出される。
【００５１】
クラスタップ抽出部１０１で抽出されたクラスタップは、クラス分類部１０２および特徴量取得部１０３に供給される。クラス分類部１０２では、クラスタップが複数のクラスのうちのいずれかのクラスに分類され、このクラスタップに対応したクラスコードが得られる。この場合、例えばクラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）が、クラス分類用コードブックを用いて、ベクトル量子化され、クラスタップに対応したクラスコードが得られる。
【００５２】
また、特徴量取得部１０３では、クラスタップ内の画素データの最大値と最小値との差分を求めて、このクラスタップに係る特徴量、例えばクラスタップ内の画素データのダイナミックレンジＤＲが取得される。
【００５３】
クラス分類部１０２で得られたクラスコードおよび特徴量取得部１０３で取得された特徴量は、データ生成部１０４に供給される。このデータ生成部１０４では、クラスコードおよび特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックが用いられて、タップ抽出部１０１で抽出されたクラスタップに対応した、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４（図２参照）が生成される。
【００５４】
この場合、このクラスコードが、データ生成用コードブックを用いられて、ベクトル逆量子化され、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）が得られる。
【００５５】
このように、図１に示す画像信号処理装置１００においては、ＳＤ信号をＨＤ信号に変換する際に、ＳＤ信号を分割して得られる２個の画素データｐ１，ｐ２からなるブロック毎に、このブロックに含まれる画素データからなるクラスタップのクラスコードおよびダイナミックレンジからなる特徴量を用いて、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４を生成するものであり、クラスコードのみに基づく場合に比べて適切な変換処理を行うことができ、ＳＤ信号をＨＤ信号に良好に変換できる。この画像信号処理装置１００は、例えば、テレビ受信機、画像信号再生装置等の画像信号を出力する装置等に適用できる。
【００５６】
次に、上述したコードブック記憶部１０２ａに記憶されるクラス分類用コードブックおよびコードブック記憶部１０４ａに記憶されるデータ生成用コードブックの生成について説明する。
【００５７】
図６は、クラス分類用コードブック及びデータ生成用コードブックを生成するコードブック生成装置２００の構成を示している。
このコードブック生成装置２００は、学習用データベース２０１を有している。この学習用データベース２０１には、ＨＤ信号に対応した教師信号としての学習用画像信号が記憶されている。
【００５８】
また、コードブック生成装置２００は、第１のタップ抽出手段としての生徒データ生成部２０２を有している。この生徒データ生成部２０２は、学習用画像信号（教師信号）の画素データ数を水平方向に１／２となるように間引きフィルタ（ローパスフィルタ）を用いて間引き、ＳＤ信号に対応した生徒信号を得、この生徒信号を水平方向に隣接する２個の画素データｐ１，ｐ２（図２参照）からなる第１のブロックに分割し、ブロック毎に、この第１のブロックに含まれる画素データを第１のタップ（生徒データ）として抽出する。
【００５９】
また、コードブック生成装置２００は、第２のタップ抽出手段としての教師データ生成部２０３を有している。この教師データ生成部２０３は、学習用画像信号（教師信号）を、上述した生徒データ生成部２０２で分割して得られる第１のブロックに対応した、水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）からなる第２のブロックに分割し、ブロック毎に、この第２のブロックに含まれる画素データを第２のタップ（教師データ）として抽出する。
【００６０】
ここで、生徒データ生成部２０２で抽出される一個の第１のタップ（生徒データ）と、これに対応する、教師データ生成部２０３で抽出される一個の第２のタップ（教師データ）とで、一個の学習対が構成される。このコードブック生成装置２００では、複数個の学習対を用いて、クラス分類用コードブックおよびデータ生成用コードブックが生成される。
【００６１】
なお、生徒データ生成部２０２は、学習用画像信号（教師信号）の画素データ数を水平方向に１／２となるように間引いてＳＤ信号に対応した生徒信号を得て用いるものであるが、学習用データベース２０１にＳＤ信号に対応した生徒信号としての学習用画像信号も記憶しておき、この学習用画像信号（生徒信号）を用いる構成としてもよい。
【００６２】
また、コードブック生成装置２００は、クラス分類部２０４を有している。このクラス分類部２０４は、生徒データ生成部２０２で抽出される第１のタップを複数のクラスのうちのいずれかのクラスに分類し、この第１のタップに対応したクラスコードを求める。
【００６３】
このクラス分類部２０４は、例えば第１のタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、クラス分類用コードブックを用いて、ベクトル量子化し、第１のタップに対応したクラスコードを求める。クラス分類部２０４は、クラス分類用コードブック生成部２０４ａおよびベクトル量子化部２０４ｂからなっている。
【００６４】
クラス分類用コードブック生成部２０４ａには、生徒データ生成部２０２で抽出される第１のタップが供給される。このコードブック生成部２０４ａは、第１のタップに含まれる２個の画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ１，ｐ２）を用いて、例えばＬＢＧ(Linde Buzo Gray)アルゴリズムに従い、クラス分類用コードブックを生成する。
【００６５】
このクラス分類用コードブックは、コードブック生成部２０４ａに内蔵された記憶部２０４ｃに記憶され、必要に応じてこの記憶部２０４ｃから読み出されて使用される。このクラス分類用コードブックは、上述の図３のコードブック記憶部１０２ａに記憶されて使用されるものであり、図４に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＳＤ信号についての代表ベクトルとしてのＳＤコードベクトル（Ｐ１，Ｐ２）に、対応するクラスを示すクラスコード（ＳＤコード）＃ｃを割り当てた割り当て情報である。
【００６６】
ベクトル量子化部２０４ｂは、上述の図３のベクトル量子化部１０２ｂと同様に構成されており、コードブック生成部２０４ａの記憶部２０４ｃに記憶されているクラス分類用コードブックを用いて、上述したタップベクトル（ｐ1，ｐ２）と、複数のクラスのＳＤコードベクトル（Ｐ１，Ｐ２）それぞれとの間の距離を求め、この距離を最小にするＳＤコードベクトル（Ｐ１，Ｐ２）に割り当てられたクラスコード＃ｃを出力する。
【００６７】
また、コードブック生成装置２００は、特徴量取得部２０５を有している。この特徴量取得部２０５は、上述の図１、図３の特徴量取得部１０３と同様に構成されており、生徒データ生成部２０２で抽出される第１のタップに係る特徴量を取得する。この特徴量は、例えばクラスタップ内の画素データのダイナミックレンジＤＲ等である。
【００６８】
また、コードブック生成装置２００は、コードブック生成部２０６を有している。このコードブック生成部２０６には、教師データ生成部２０３で抽出される第２のタップが供給される。このコードブック生成部２０６は、第２のタップに含まれる４個の画素データｑ１〜ｑ４をコンポーネントとするタップベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を用いて、例えばＬＢＧアルゴリズムに従い、ＨＤ信号に係るコードブックを生成する。
【００６９】
このコードブックは、図７に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に、対応するクラスを示すクラスコード（ＨＤコード）＃Ｃを割り当てた割り当て情報である。このコードブックは、ＨＤ信号についてのクラス分類用コードブックに相当する。このコードブックは、コードブック生成部２０６に内蔵された記憶部２０６ａに記憶され、必要に応じてこの記憶部２０６ａから読み出されて使用される。
【００７０】
また、コードブック生成装置２００は、コードブック生成手段としての最適リンク検出部２０７を有している。この最適リンク検出部２０７は、クラス分類部２０４で得られたクラスコード、特徴量取得部２０５で取得された特徴量、教師データ生成部２０３で抽出された第２のタップ、およびコードブック生成部２０６で生成されたコードブックを用いて、クラスコードおよびダイナミックレンジからなる特徴量の組み合わせのそれぞれに、複数個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）から選択された一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を割り当ててデータ生成用コードブックを生成する。
【００７１】
この最適リンク検出部２０７で生成されたデータ生成用コードブックは、この最適リンク検出部２０７に内蔵された記憶部２０７ａに記憶され、必要に応じてこの記憶部２０７ａから読み出されて使用される。このデータ生成用コードブックは、上述の図３のコードブック記憶部１０４ａに記憶されて使用されるものであり、図５に示すように、クラスコードおよび特徴量の組み合わせに、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を割り当てた割り当て情報である。
【００７２】
この場合、最適リンク検出部２０７は、具体的には、例えば以下のような処理をする。すなわち、クラスコードおよび特徴量の組み合わせ毎に、その組み合わせに該当する、つまりその組み合わせのクラスコードおよび特徴量が得られる複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４とＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差（例えば、画素データ毎の差分をそれぞれ自乗して加算した差分自乗和）を求め、この求められた複数の誤差を加算して誤差和を得ることを、複数個のＨＤコードベクトル分だけ繰り返し、誤差和を最小にするＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を、その組み合わせに割り当てる。
【００７３】
ここで、ある組み合わせとなる第１のタップがＭ個存在するとして、そのｍ番目の第１のタップに対応した第２のタップに含まれる画素データをｑ１(m)〜ｑ４(m)と表すこととする。この場合、ある一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に対応した誤差和は、例えば（１）式で表される。ここで、Σはｍを１からＭに変えてのサメーションを表している。
誤差和＝Σ｛（ｑ１(ｍ)−Ｑ１）2＋（ｑ２(ｍ)−Ｑ２）2＋（ｑ３(ｍ)−Ｑ３）2＋（ｑ４(ｍ)−Ｑ４）2｝・・・（１）
【００７４】
次に、図６に示すコードブック生成装置２００の動作を説明する。
学習用データベース２０１に記憶されているＨＤ信号に対応した教師信号としての学習用画像信号が生徒データ生成部２０２に供給される。この生徒データ生成部２０２では、学習用画像信号（教師信号）に基づいて、第１のタップが抽出される。
【００７５】
すなわち、学習用画像信号の画素データ数が水平方向に１／２となるように間引きフィルタを用いて間引かれ、ＳＤ信号に対応した生徒信号が得られ、さらにこの生徒信号が水平方向に隣接する２個の画素データｐ１，ｐ２（図２参照）からなる第１のブロックに分割され、ブロック毎に、この第１のブロックに含まれる画素データが第１のタップ（生徒データ）として抽出される。
【００７６】
また、学習用データベース２０１に記憶されているＨＤ信号に対応した教師信号としての学習用画像信号が教師データ生成部２０３に供給される。この教師データ生成部２０３では、学習用画像信号（教師信号）に基づいて、第２のタップが抽出される。すなわち、学習用画像信号（教師信号）が、上述した生徒データ生成部２０２で分割して得られる第１のブロックに対応した、水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）からなる第２のブロックに分割され、ブロック毎に、この第２のブロックに含まれる画素データが第２のタップ（教師データ）として抽出される。
【００７７】
生徒データ生成部２０２で抽出された第１のタップはクラス分類部２０４を構成するクラス分類用コードブック生成部２０４ａに供給される。このコードブック生成部２０４ａでは、第１のタップに含まれる２個の画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ１，ｐ２）を用いて、例えばＬＢＧアルゴリズムに従い、クラス分類用コードブック（図４参照）が生成される。
【００７８】
このクラス分類用コードブックは、上述の図３のコードブック記憶部１０２ａに記憶されて使用されるものである。このクラス分類用コードブックは、コードブック生成部２０４ａに内蔵された記憶部２０４ｃに記憶され、必要に応じてこの記憶部２０４ｃから読み出されて使用される。
【００７９】
また、教師データ生成部２０３で抽出された第２のタップはコードブック生成部２０６に供給される。このコードブック生成部２０６は、第２のタップに含まれる４個の画素データｑ１〜ｑ４をコンポーネントとするタップベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を用いて、例えばＬＢＧアルゴリズムに従い、コードブック（図７参照）が生成される。このコードブックは、コードブック生成部２０６に内蔵された記憶部２０６ａに記憶され、必要に応じてこの記憶部２０６ａから読み出されて使用される。
【００８０】
また、生徒データ生成部２０２で抽出された第１のタップは、クラス分類部２０４を構成するベクトル量子化部２０４ｂに供給される。クラス分類部２０４では、第１のタップが複数のクラスのうちのいずれかのクラスに分類され、この第１のタップに対応したクラスコードが得られる。すなわち、ベクトル量子化部２０４ｂでは、第１のタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）が、コードブック生成部２０４ａの記憶部２０４ｃに記憶されているクラス分類用コードブックを用いて、ベクトル量子化され、第１のタップに対応したクラスコードが得られる。
【００８１】
また、生徒データ生成部２０２で抽出された第１のタップは、特徴量取得部２０５に供給される。特徴量取得部２０５では、第１のタップに係る特徴量、例えば第１のタップ内の画素データのダイナミックレンジＤＲが取得される。
【００８２】
ベクトル量子化部２０４ｂで得られたクラスコードおよび特徴量取得部２０５で取得された特徴量は、最適リンク検出部２０７に供給される。また、この最適リンク検出部２０７には、教師データ生成部２０３で抽出された第２のタップおよびコードブック生成部２０６の記憶部２０６ａに記憶されたコードブックも供給される。
【００８３】
最適リンク検出部２０７では、クラスコード、特徴量、第２のタップ、およびコードブックを用いて、クラスコードおよびダイナミックレンジからなる特徴量の組み合わせのそれぞれに、複数個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）から選択された一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）が割り当てられてデータ生成用コードブック（図５参照）が生成される。
【００８４】
この場合、クラスコードおよび特徴量の組み合わせ毎に、その組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４とＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差が求められ、この求められた複数の誤差が加算されて誤差和（（１）式参照）が得られ、これが複数個のＨＤコードベクトル分だけ繰り返され、誤差和を最小にするＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）がその組み合わせに割り当てられる。
【００８５】
このデータ生成用コードブックは、上述の図３のコードブック記憶部１０４ａに記憶されて使用されるものである。このデータ生成用コードブックは、コードブック生成部２０７に内蔵された記憶部２０７ａに記憶され、必要に応じてこの記憶部２０７ａから読み出されて使用される。
【００８６】
このように、図６に示すコードブック生成装置２００によれば、図１の画像信号処理装置１００で使用されるクラス分類用コードブックおよびデータ生成用コードブックを良好に生成できる。
【００８７】
なお、図６に示すコードブック生成装置２００においては、クラス分類部２０４のクラス分類用コードブック生成部２０４ａおよびコードブック生成部２０６では、例えばＬＢＧアルゴリズムに従い、コードブックを生成するものを示したが、このコードブックを、ベクトル量子化に用いられるコードブック生成に利用される手法以外の手法で生成してもよい。
【００８８】
すなわち、クラス分類用コードブックは、例えば、図８に示すようにして生成することが可能である。
【００８９】
ここで、図８においては、第１のタップに含まれる２個の画素データｐ１，ｐ２を表現する２次元空間（ＳＤ画像空間）が格子状に区切られることにより、矩形状の領域ｒ(i,j)が構成されている、なお、図８では、画素データｐ１，ｐ２の画素値が、それぞれ横軸と縦軸に取られている。
【００９０】
本実施の形態では、画素データｐ１，ｐ２は、上述したように、８ビットのデータであるから、ＳＤ画像空間における横軸および縦軸が取り得る値は、０〜２５５（＝２8−１）である。また、図８において、ｒ(i,j)は、ＳＤ画像空間において、左からｉ番目で、下からｊ番目の領域を表し、各領域ｒ(i,j)には、クラスを表すユニークなクラスコード＃ｃが割り当てられている。
【００９１】
クラス分類用コードブック生成部２０４ａは、各領域ｒ(i,j)について、その領域ｒ(i,j)内に含まれる第１のタップを求め、さらに、例えば、それらの第１のタップの重心を求める。すなわち、いま、領域ｒ(i,j)内に含まれる第１のタップがＫ個あり、そのｋ番目の第１のタップを、（ｐ1,r(i,j)(k)，ｐ2,r(i,j)(k)）と表すと、クラス分類用コードブック生成部２０４ａは、（Σｐ1,r(i,j)(k)／Ｋ，Σｐ,r(i,j)(k)／Ｋ）で表される、領域ｒ(i,j)に割り当てられたクラスコード＃ｃの第１のタップの重心を求める。ここで、Σは、ｋを１からＫに変えてのサメーションを表している。
【００９２】
そして、クラス分類用コードブック生成部２０４ａは、クラスコード＃ｃの第１のタップの重心を、そのクラスコード＃ｃで表されるクラスを代表する、ＳＤ信号についてのＳＤコードベクトル（Ｐ１，Ｐ２）として、クラスコード＃ｃに対応付ける。これにより、図４に示すような、クラス分類用コードブックが生成される。
【００９３】
なお、詳細説明は省略するが、コードブック生成部２０６で生成されるコードブック（図７参照）についても、上述したクラス分類用コードブックと同様にして生成できる。
【００９４】
その場合には、第２のタップに含まれる４個の画素データｑ１〜ｑ４を表現する４次元空間（ＨＤ画像空間）が区切られることにより、領域ｒ(i,j,s,t)が構成される。
【００９５】
この場合、ｒ(i,j,s,t)は、ＨＤ画像空間において、画像データｑ１の画素値の軸ではｉ番目で、画像データｑ２の画素値の軸ではｊ番目で、画像データｑ３の画素値の軸ではｓ番目で、画像データｑ４の画素値の軸ではｔ番目の領域を表し、各領域ｒ(i,j,s,t)には、クラスを表すユニークなクラスコード＃Ｃが割り当てられる。
【００９６】
コードブック生成部２０６は、各領域ｒ(i,j,s,t)について、その領域ｒ(i,j,s,t)内に含まれる第２のタップを求め、それらの第２のタップの重心を求める。そして、コードブック生成部２０６は、クラスコード＃Ｃの第２のタップの重心を、そのクラスコード＃Ｃで表されるクラスを代表する、ＨＤ信号についてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）として、クラスコード＃Ｃに対応付ける。これにより、図７に示すような、コードブックが生成される。
【００９７】
なお、上述した図１の画像信号処理装置１００における処理を、例えば図９に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウェアにより行うこともできる。
【００９８】
まず、図９に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムやコードブック等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
【００９９】
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
【０１００】
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
【０１０１】
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＣＲＴ（Cathode-Ray Tube）、ＬＣＤ（liquid Crystal Display）等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
【０１０２】
また、画像信号処理装置５００は、ＳＤ信号を入力するための入力端子５１５と、ＨＤ信号を出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
【０１０３】
ここで、上述したようにＲＯＭ５０２に制御プログラムやコードブック等を予め格納しておく代わりに、例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ３０３に格納して使用することもできる。また、これら制御プログラムやコードブック等をリムーバブル記録媒体で提供するようにしてもよい。
【０１０４】
また、処理すべきＳＤ信号を入力端子５１５より入力する代わりに、リムーバブル記録媒体で供給し、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
【０１０５】
図１０のフローチャートを参照して、図９に示す画像信号処理装置５００における、ＳＤ信号からＨＤ信号を得るための処理手順を説明する。
【０１０６】
まず、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分のＳＤ信号を入力する。このように入力されるＳＤ信号はＲＡＭ５０３に一時的に記憶される。
【０１０７】
そして、ステップＳＴ１３で、ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１５に進む。
【０１０８】
ステップＳＴ１５では、ＳＤ信号が、水平方向に隣接する２個の画素データからなるブロックに分割され、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２（図２参照）がクラスタップとして抽出される。
【０１０９】
そして、ステップＳＴ１６で、クラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを求める。この場合、クラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、ＲＯＭ５０２に格納されているクラス分類用コードブック（図４参照）を用いて、ベクトル量子化し、クラスタップに対応したクラスコードを求める。
【０１１０】
次に、ステップＳＴ１７で、クラスタップに係る特徴量、例えばクラスタップ内の画素データｐ１，ｐ２のダイナミックレンジＤＲを取得する。
【０１１１】
次に、ステップＳＴ１８で、ステップＳＴ１６で得られたクラスコードおよびステップＳＴ１７で取得されたダイナミックレンジからなる特徴量を用いて、ステップＳＴ１５で抽出されたクラスタップに対応した、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４（図２参照）を生成する。この場合、このクラスコードを、ＲＯＭ５０２に格納されているデータ生成用コードブック（図５参照）を用いて、ベクトル逆量子化し、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を求める。
【０１１２】
次に、ステップＳＴ１９で、ステップＳＴ１２で入力された１フレーム分または１フィールド分のＳＤ信号の画素データの全領域において、ＨＤ信号の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１５に戻って、次のクラスタップについての処理に移る。
【０１１３】
このように、図１０に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号の画素データを処理して、ＨＤ信号の画素データを得ることができる。このように処理して得られたＨＤ信号は出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０１１４】
また、処理装置の図示は省略するが、図６に示すコードブック生成装置２００における処理も、ソフトウェアにより行うこともできる。
【０１１５】
図１１のフローチャートを参照して、クラス分類用コードブックおよびデータ生成用コードブックを生成するための処理手順を説明する。
まず、ステップＳＴ２１で処理を開始し、ステップＳＴ２２で、ＨＤ信号に対応した教師信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２３で、ステップＳＴ２２で入力された教師信号から、ＳＤ信号に対応した生徒信号を生成する。この場合、ＨＤ信号に対応した教師信号の画素データ数を水平方向に１／２となるように間引いて、ＳＤ信号に対応した生徒信号を生成する。
【０１１６】
次に、ステップＳＴ２４で、ステップＳＴ２３で生成された生徒信号を第１のタップ（生徒データ）として抽出する。この場合、生徒信号を水平方向に隣接する２個の画素データｐ１，ｐ２（図２参照）からなる第１のブロックに分割し、ブロック毎に、この第１のブロックに含まれる画素データを第１のタップとして抽出する。
【０１１７】
次に、ステップＳＴ２５で、ステップＳＴ２２で入力された教師信号を第２のタップ（教師データ）として抽出する。この場合、教師信号を、上述したステップＳＴ２４で分割して得られる第１のブロックに対応した、水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）からなる第２のブロックに分割し、ブロック毎に、この第２のブロックに含まれる画素データを第２のタップとして抽出する。
【０１１８】
このステップＳＴ２４およびステップＳＴ２５の処理により、１フレーム分または１フィールド分の教師信号および生徒信号から、複数対の学習データが生成される。因みに、一個の学習データは、一個の第１のタップ（生徒データ）および一個の第２のタップ（教師データ）で構成される。
【０１１９】
次に、ステップＳＴ２６で、教師信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２２に戻って、次の１フレーム分または１フィールド分の教師信号の入力を行って、上述したと同様の処理を繰り返す。一方、終了しているときは、ステップＳＴ２７に進む。
【０１２０】
ステップＳＴ２７では、クラス分類用コードブックを生成する。この場合、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第１のタップ（生徒データ）に基づき、この第１のタップに含まれる２個の画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ１，ｐ２）を用いて、例えばＬＢＧアルゴリズムに従い、クラス分類用コードブックを生成する。
【０１２１】
このクラス分類用コードブックは、図４に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＳＤ信号についての代表ベクトルとしてのＳＤコードベクトル（Ｐ１，Ｐ２）に、対応するクラスを示すクラスコード（ＳＤコード）＃ｃを割り当てた割り当て情報である。
【０１２２】
次に、ステップＳＴ２８で、ＨＤ信号に係るコードブックを生成する。この場合、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第２のタップ（教師データ）に基づき、この第２のタップに含まれる４個の画素データｑ１〜ｑ４をコンポーネントとするタップベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を用いて、例えばＬＢＧアルゴリズムに従い、コードブックを生成する。
【０１２３】
このクラスコードは、図７に示すように、複数のクラスのそれぞれについて、各クラスを代表する、ＨＤ信号についての代表ベクトルとしてのＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）に、対応するクラスを示すクラスコード（ＨＤコード）＃Ｃを割り当てた割り当て情報である。
【０１２４】
次に、ステップＳＴ２９で、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第１のタップ（生徒データ）に基づき、各第１のタップを複数のクラスのうちのいずれかのクラスに分類し、各第１のタップに対応したクラスコードを求める。
【０１２５】
この場合、第１のタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、ステップＳＴ２７で生成されたクラス分類用コードブックを用いて、ベクトル量子化し、第１のタップに対応したクラスコード＃ｃを求める。
【０１２６】
次に、ステップＳＴ３０で、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データを構成する複数の第１のタップ（生徒データ）に基づき、各第１のタップに係る特徴量、例えば第１タップ内の画素データのダイナミックレンジを取得する。
【０１２７】
次に、ステップＳＴ３１で、ステップＳＴ２２〜ステップＳＴ２６の処理で生成された複数対の学習データ、ステップＳＴ２８で生成されたコードブック（図７参照）、ステップＳＴ２９およびステップＳＴ３０で生成された複数対の学習データを構成する各第１のタップ（生徒データ）に対応したクラスコード＃ｃおよび特徴量＃ａを用いてデータ作成用コードブックを生成し、ステップＳＴ３２で、処理を終了する。
【０１２８】
なおここで、特徴量＃ａは、ステップＳＴ３０で取得される特徴量の最も細かな切り分けにおける、各切り分け範囲の番号を示している。例えば、特徴量がダイナミックレンジＤＲで、このダイナミックレンジＤＲが０〜２５５の範囲にあって、最も細かな切り分けが「１」毎に行われる場合、切り分け範囲は２５６個存在し、従って特徴量＃ａは０〜２５５に変化していく。
【０１２９】
このデータ生成用コードブックは、図５に示すように、クラスコード＃ｃおよび特徴量＃ａの組み合わせのそれぞれに、ステップＳＴ２８で生成されたコードブック（図７参照）に登録されている複数個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）から選択された一個のＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）が割り当てられた割り当て情報である。
【０１３０】
ステップＳＴ３１の処理では、クラスコード＃ｃおよび特徴量＃ａの組み合わせ毎に、その組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４とＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差を求め、この求められた複数の誤差を加算して誤差和（（１）式参照）を得ることを、複数個のＨＤコードベクトル分だけ繰り返し、誤差和を最小にするＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を、その組み合わせに割り当てる。
【０１３１】
すなわち、まず、ステップＳＴ４１で、クラスコード（ＳＤコード）＃ｃを０に設定し、ステップＳＴ４２で、特徴量＃ａを０に設定し、ステップＳＴ４３で、クラスコード（ＨＤコード）＃Ｃを０に設定する。
【０１３２】
そして、ステップＳＴ４４で、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせにおける、設定されたクラスコード＃Ｃに対応した誤差和を算出する。この場合、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせに該当する複数の第１のタップに対応した複数の第２のタップのそれぞれについてこの第２のタップに含まれる画素データｑ１〜ｑ４と、設定されたクラスコード＃Ｃに対応したＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）のコンポーネントＱ１〜Ｑ４との間で誤差を求め、この求められた複数の誤差を加算して誤差和を求める。
【０１３３】
次に、ステップＳＴ４５で、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を算出する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ４６で、クラスコード＃Ｃをインクリメントし、その後にステップＳＴ４４に戻り、設定されたクラスコード＃ｃおよび特徴量＃ａの組み合わせにおける、次のクラスコード＃Ｃに対応した誤差和を得る処理に移る。一方、処理が終了したときは、ステップＳＴ４７に進む。
【０１３４】
ステップＳＴ４７では、設定されたクラスコード（ＳＤコード）＃ｃと全ての特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を算出する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ４８で、特徴量＃ａをインクリメントし、その後にステップＳＴ４３に戻り、設定されたクラスコード（ＳＤコード）＃ｃと次の特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を得る処理に移る。一方、処理が終了したときは、ステップＳＴ４９に進む。
【０１３５】
ステップＳＴ４９では、全てのクラスコード（ＳＤコード）＃ｃで、全ての特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を算出する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ５０で、クラスコード＃ｃをインクリメントし、その後にステップＳＴ４２に戻り、次のクラスコード（ＳＤコード）＃ｃで、全ての特徴量＃ａとの組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和を得る処理に移る。一方、処理が終了したときは、ステップＳＴ５１に進む。
【０１３６】
ステップＳＴ４９で、処理が終了したと判定されるとき、クラスコード＃ｃおよび特徴量＃ａの各組み合わせにおける、全てのクラスコード（ＨＤコード）＃Ｃに対応した誤差和が得られている。ステップＳＴ５１では、クラスコード＃ｃおよび特徴量＃ａの組み合わせ毎に、誤差和を最小とするクラスコード＃Ｃに対応したＨＤコードベクトル（Ｑ１，Ｑ２，Ｑ３，Ｑ４）を求め、これをその組み合わせに割り当て、データ生成用コードブック（図５参照）を生成する。
【０１３７】
このように、図１１に示すフローチャートに沿って処理をすることで、図６に示すコードブック生成装置２００と同様の手法によって、クラス分類用コードブックおよびデータ生成用コードブックを生成できる。
【０１３８】
なお、図１に示す画像信号処理装置１００においては、ＳＤ信号を、水平方向に隣接する２個の画素データからなるブロックに分割し、ブロック毎に、このブロックに含まれる画素データｐ１，ｐ２（図２参照）をクラスタップとして抽出し、このクラスタップ毎に、ＨＤ信号を構成する水平方向に隣接する４個の画素データｑ１〜ｑ４（図２参照）を生成するものであるが、クラスタップおよびこのクラスタップに対応して生成されるＨＤ信号の画素データの個数や配置はこれに限定されるものではない。すなわち、クラスタップに含まれる画素データの個数は２個に限定されるものではなく、さらに水平方向に隣接していなくてもよい。また、クラスタップに対応して生成されるＨＤ信号の画素データは４個の限定されるものではなく、さらに水平方向に隣接していなくてもよい。
【０１３９】
また、図１に示す画像信号処理装置１００においては、クラスタップに含まれる画素データｐ１，ｐ２をコンポーネントとするタップベクトル（ｐ1，ｐ２）を、クラス分類用コードブックを用いて、ベクトル量子化し、クラスタップに対応したクラスコードを求めるものを示したが、クラスタップに対応したクラスコードを求める手法は、これに限定されるものではない。すなわち、このクラス分類を、クラスタップを構成する画素データそのもの、あるいはそれを加工して得られたデータ、例えば隣接する画素データどうしの差分値に、上述したＡＤＲＣ処理等を施して求めることも可能である。その場合、図６に示すコードブック生成装置２００におけるクラス分類部２０４も同様の構成とする。
【０１４０】
また、図１に示す画像信号処理装置１００においては、クラスコードをデータ生成用コードブックを用いて、ベクトル逆量子化し、ＨＤ信号を構成する４個の画素データｑ１〜ｑ４をコンポーネントとするＨＤコードベクトル（ｑ１，ｑ２，ｑ３，ｑ４）を得るものを示したが、クラスコードおよびダイナミックレンジからなる特徴量に対応した、ＨＤ信号を構成する画素データを生成する手法は、これに限定されるものではない。例えば、クラスコードおよび特徴量から、所定の関係式をもってＨＤ信号を構成する画素データを算出することも可能である。この場合、所定の関係式の係数は、予め学習により生成することができる。
【０１４１】
また、図１に示す画像信号処理装置１００においては、ＳＤ信号を水平方向に画素数を２倍としたＨＤ信号に変換するものを示したが、画素数を増やす方向は、水平方向に限定されるものではなく、垂直方向、さらには時間方向（フレーム方向）も考えられる。また、逆に、ＨＤ信号から画素数を減らしたＳＤ信号を得る場合にも、この発明を同様に適用できる。すなわち、この発明は、一般に第１の画像信号を、この第１の画像信号と同一または異なる画素数の第２の画像信号に変換する場合に適用できる。
【０１４２】
また、上述実施の形態においては、複数個の情報データからなる情報信号が、複数個の画素データからなる画像信号であるものを示したが、この発明は情報信号がその他、例えば音声信号であるものにも同様に適用できる。音声信号の場合、複数個のサンプルデータからなっている。
【０１４３】
【発明の効果】
この発明に係る情報信号処理装置、情報信号処理方法およびプログラムによれば、複数個の情報データからなる第１の情報信号をサンプルの画素数の多い複数個の情報データからなる第２の情報信号に変換する際に、本発明に係るコードブック作成装置、コードブック作成方法およびプログラムによって作成されたデータ生成用コードブックが使用されるので、第１の情報信号を高解像度の第２の情報信号に良好に変換できるようになる。
【図面の簡単な説明】
【図１】画像信号処理装置の構成を示すブロック図である。
【図２】ＳＤ信号とＨＤ信号の画素位置関係を示す図である。
【図３】クラス分類部およびデータ生成部の構成を示すブロック図である。
【図４】クラス分類用コードブックの一例を示す図である。
【図５】データ生成用コードブックの一例を示す図である。
【図６】コードブック生成装置の構成を示すブロック図である。
【図７】ＨＤ信号に係るコードブックの一例を示す図である。
【図８】コードブック生成方法の他の例を説明するための図である。
【図９】ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。
【図１０】画像信号処理を示すフローチャートである。
【図１１】コードブック生成処理を示すフローチャートである。
【符号の説明】
１００・・・画像信号処理装置、１０１・・・タップ抽出部、１０２・・・クラス分類部、１０２ａ・・・コードブック記憶部、１０２ｂ・・・ベクトル量子化部、１０３・・・特徴量取得部、１０４・・・データ生成部、１０４ａ・・・コードブック記憶部、１０４ｂ・・・ベクトル逆量子化部、２００・・・コードブック生成装置、２０１・・・学習用データベース、２０２・・・生徒データ生成部、２０３・・・教師データ生成部、２０４・・・クラス分類部、２０４ａ・・・クラス分類用コードブック生成部、２０４ｂ・・・ベクトル量子化部、２０４ｃ・・・記憶部、２０５・・・特徴量取得部、２０６・・・コードブック生成部、２０６ａ・・・記憶部、２０７・・・最適リンク検出部、２０７ａ・・・記憶部、５００・・・画像信号処理装置
Claims (13)
- 複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
上記第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、該ブロックに含まれる情報データをクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップ抽出手段で抽出されたクラスタップを、各クラスタップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類手段と、
上記クラスタップ抽出手段で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該クラスタップに係る特徴量を取得する特徴量取得手段と、
上記クラス分類手段で得られたクラスコードおよび上記特徴量取得手段で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、上記クラスタップに対応した、第２の情報信号を構成する複数個の情報データを生成するデータ生成手段とを備え、
上記クラス分類手段は、
上記クラスタップ抽出手段で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得ることを特徴とする情報信号処理装置。 - 上記クラス分類手段は、
上記複数のクラスのそれぞれについて、各クラスを代表する、上記第１の情報信号についての代表ベクトルに、対応するクラスを示すクラスコードを割り当てたクラス分類用コードブックを記憶する記憶手段と、
上記クラス分類用コードブックを用いて、上記タップベクトルと複数のクラスの代表ベクトルそれぞれとの間の距離を求め、該距離を最小にする上記代表ベクトルに割り当てられたクラスコードを出力するベクトル量子化手段とを有する
ことを特徴とする請求項１に記載の情報信号処理装置。 - 上記データ生成手段は、
上記クラス分類手段で得られたクラスコードおよび特徴量取得手段で取得されたダイナミックレンジからなる特徴量の組み合わせに、上記第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを用いて、該クラスコードを、ベクトル逆量子化し、上記第２の情報信号を構成する複数個の情報データをコンポーネントとするコードベクトルを得る
ことを特徴とする請求項１に記載の情報信号処理装置。 - 上記データ生成手段は、
上記データ生成用コードブックを記憶する記憶手段と、
上記データ生成用コードブックを用いて、上記クラス分類手段で得られたクラスコードおよび上記特徴量取得手段で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている上記代表ベクトルを求め、該求められた代表ベクトルを上記コードベクトルとして出力するベクトル逆量子化手段とを有する
ことを特徴とする請求項３に記載の情報信号処理装置。 - 上記データ生成用コードブックは、予め学習によって求められたものである
ことを特徴とする請求項３に記載の情報信号処理装置。 - 上記第１及び第２の情報信号は、画像信号または音声信号である
ことを特徴とする請求項１に記載の情報信号処理装置。 - 複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
上記第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、該ブロックに含まれる情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップを、各クラスタップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、
上記クラスタップ抽出工程で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該クラスタップに係る特徴量を取得する特徴量取得工程と、
上記クラス分類工程で得られたクラスコードおよび上記特徴量取得工程で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、上記クラスタップに対応した、上記第２の情報信号を構成する複数個の情報データを生成するデータ生成工程とを有し、
上記クラス分類工程には、
上記クラスタップ抽出工程で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得る処理が含まれることを特徴とする情報信号処理方法。 - 複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換するためのプログラムであって、
上記第１の情報信号を複数個の情報データからなるブロックに分割し、ブロック毎に、該ブロックに含まれる情報データをクラスタップとして出力するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップを、各クラスタップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、
上記クラスタップ抽出工程で抽出されたクラスタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該クラスタップに係る特徴量を取得する特徴量取得工程と、
上記クラス分類手段で得られたクラスコードおよび上記特徴量取得手段で取得されたダイナミックレンジからなる特徴量の組み合わせに割り当てられている代表ベクトルをデータ生成用コードブックから求め、上記クラスタップに対応した、上記第２の情報信号を構成する複数個の情報データを生成するデータ生成工程とを有し、
上記クラス分類工程には、
上記クラスタップ抽出工程で抽出されたクラスタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得る処理が含まれる情報信号処理方法をコンピュータで実行可能とすることを特徴とするプログラム。 - 複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、上記第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、該ブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに、上記第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するコードブック生成装置において、
上記第１の情報信号に対応した生徒信号を分割して得られた、複数個の情報データからなる各第１のブロックに含まれる情報データを第１のタップとして抽出する第１のタップ抽出手段と、
第２の情報信号に対応した教師信号を、上記第１のブロックに対応して分割して得られた、複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出手段と、
上記第１のタップ抽出手段で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類手段と、
上記第１のタップ抽出手段で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得手段と、
上記第２の情報信号についての、それぞれ上記第２のタップ抽出手段で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルを記憶する記憶手段と、
上記クラス分類手段で得られたクラスコード、上記特徴量取得手段で取得されたダイナミックレンジからなる特徴量、上記第２のタップ抽出手段で抽出された第２のタップおよび上記記憶手段に記憶されている複数個の代表ベクトルに基づいて、上記クラスコードおよび特徴量の組み合わせのそれぞれに、上記複数個の代表ベクトルから選択された一個の代表ベクトルを割り当てて上記データ生成用コードブックを生成するコードブック生成手段とを備え、
上記クラス分類手段は、
上記第１のクラスタップ抽出手段で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得ることを特徴とするコードブック生成装置。 - 上記コードブック生成手段は、
上記クラスコードおよび上記特徴量の組み合わせ毎に、その組み合わせに該当する複数の上記第１のタップに対応した複数の上記第２のタップのそれぞれについて該第２のタップに含まれる情報データと上記代表ベクトル内のコンポーネントとの誤差を求め、該求められた複数の誤差を加算して誤差和を得ることを、上記複数個の代表ベクトル分だけ繰り返し、該誤差和を最小にする一個の代表ベクトルをその組み合わせに割り当てる
ことを特徴とする請求項９に記載のコードブック生成装置。 - 上記クラス分類手段は、
上記複数のクラスのそれぞれについて、各クラスを代表する、上記第１の情報信号についての代表ベクトルに、対応するクラスを示すクラスコードを割り当てたクラス分類用コードブックを記憶する記憶手段と、
上記クラス分類用コードブックを用いて、上記第１のタップに含まれる情報データをコンポーネントとするベクトルと上記複数のクラスの代表ベクトルそれぞれとの間の距離を求め、該距離を最小にする上記代表ベクトルに割り当てられたクラスコードを出力するベクトル量子化手段とを有する
ことを特徴とする請求項９に記載のコードブック生成装置。 - 複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、上記第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、該ブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに、上記第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するコードブック生成方法において、
上記第１の情報信号に対応した生徒信号を分割して得られる複数個の情報データからなる各第１のブロックに含まれた情報データを第１のタップとして抽出する第１のタップ抽出工程と、
上記第２の情報信号に対応した教師信号を、上記第１のブロックに対応して分割することにより得られる複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出工程と、
上記第１のタップ抽出工程で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、
上記第１のタップ抽出工程で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得工程と、
上記クラス分類工程で得られたクラスコード、上記特徴量取得工程で取得されたダイナミックレンジからなる特徴量、上記第２のタップ抽出工程で抽出された第２のタップ、および上記第２の情報信号についての、それぞれ上記第２のタップ抽出工程で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルに基づいて、上記クラスコードおよび上記特徴量の組み合わせのそれぞれに、上記複数個の代表ベクトルから選択された一個の代表ベクトルを割り当てて上記データ生成用コードブックを生成するコードブック生成工程とを有し、
上記クラス分類工程には、
上記第１のクラスタップ抽出手段で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得る処理が含まれることを特徴とするコードブック生成方法。 - 複数個の情報データからなる第１の情報信号を当該第１の情報信号よりもサンプルの画素数が多い複数個の情報データからなる第２の情報信号に変換する際に使用されるコードブックであって、上記第１の情報信号を分割して得られる複数個の情報データからなるブロック毎に、該ブロックに含まれる情報データからなるクラスタップのクラスコードおよび特徴量の組み合わせに上記第２の情報信号についての代表ベクトルとしてのコードベクトルを割り当てたデータ生成用コードブックを生成するためのプログラムであって、
上記第１の情報信号に対応した生徒信号を分割して得られる複数個の情報データからなる各第１のブロックに含まれる情報データを第１のタップとして抽出する第１のタップ抽出工程と、
上記第２の情報信号に対応した教師信号を、上記第１のブロックに対応して分割することにより得られる複数個の情報データからなる各第２のブロックに含まれる情報データを第２のタップとして抽出する第２のタップ抽出工程と、
上記第１のタップ抽出工程で抽出された第１のタップを、当該各タップの信号値に基づいて複数のクラスのうちのいずれかのクラスに分類して、該ブロックの特徴を表すクラスコードを得るクラス分類工程と、
上記第１のタップ抽出工程で抽出された第１のタップ内の画素データの最大値と最小値との差分であるダイナミックレンジを求めて該第１のタップに係る特徴量を取得する特徴量取得工程と、
上記クラス分類工程で得られたクラスコード、特徴量取得工程で取得されたダイナミックレンジからなる特徴量、上記第２のタップ抽出工程で抽出された第２のタップ、および上記第２の情報信号についての、それぞれ上記第２のタップ抽出工程で抽出される第２のタップに対応して複数個の情報データをコンポーネントとする複数個の代表ベクトルに基づいて、上記クラスコードおよび上記特徴量の組み合わせのそれぞれに、上記複数個の代表ベクトルから選択された一個の代表ベクトルを割り当てて上記データ生成用コードブックを生成するコードブック生成工程とを有し、
上記クラス分類工程には、
上記第１のクラスタップ抽出手段で抽出された第１のタップに含まれる情報データをコンポーネントとするタップベクトルを、クラス分類用コードブックを用いて、ベクトル量子化し、該クラスタップに対応したクラスコードを得る処理が含まれるコードブック生成方法をコンピュータで実行可能とすることを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153432A JP4093114B2 (ja) | 2003-05-29 | 2003-05-29 | 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| US10/852,577 US7627198B2 (en) | 2003-05-29 | 2004-05-25 | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153432A JP4093114B2 (ja) | 2003-05-29 | 2003-05-29 | 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004357062A JP2004357062A (ja) | 2004-12-16 |
| JP4093114B2 true JP4093114B2 (ja) | 2008-06-04 |
Family
ID=34048387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003153432A Expired - Fee Related JP4093114B2 (ja) | 2003-05-29 | 2003-05-29 | 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4093114B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012772A (ja) * | 2003-05-29 | 2005-01-13 | Sony Corp | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5099429B2 (ja) | 2007-12-21 | 2012-12-19 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム、並びに学習装置 |
| CN104509117A (zh) | 2012-08-24 | 2015-04-08 | I3研究所股份有限公司 | 接收装置、传送装置以及影像传送方法 |
-
2003
- 2003-05-29 JP JP2003153432A patent/JP4093114B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012772A (ja) * | 2003-05-29 | 2005-01-13 | Sony Corp | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| JP4552506B2 (ja) * | 2003-05-29 | 2010-09-29 | ソニー株式会社 | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004357062A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7477786B2 (en) | Data conversion device, data conversion method, learning device, learning method, program, and recording medium | |
| US7305618B2 (en) | Methods for multimedia content repurposing | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2008234479A (ja) | 画像高品質化装置、方法、及びプログラム | |
| JPH09502586A (ja) | データ分析方法及び装置 | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4093114B2 (ja) | 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US7679675B2 (en) | Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium | |
| US7627198B2 (en) | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods | |
| JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP3834805B2 (ja) | 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 | |
| WO1999055007A1 (en) | Method and apparatus for making code book, vector quantizing device, device and method for data compression, device and method for data decompression, system for data compression/decompression | |
| CN1822676B (zh) | 编码设备和方法、解码设备和方法、图像处理系统和方法 | |
| JP4552506B2 (ja) | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| US20110243462A1 (en) | Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium | |
| US6831992B2 (en) | Data processing apparatus and data processing method, decoding apparatus and method thereof, and recording medium | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JPH10112844A (ja) | 画像処理装置および画像処理方法 | |
| JP5029869B2 (ja) | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム | |
| JP2000201078A (ja) | デ―タ圧縮装置および方法、デ―タ伸長装置および方法、デ―タ圧縮伸長システムおよび方法、コ―ドブックの作成方法、記録媒体 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| Kim et al. | Color image vector quantization using an enhanced self-organizing neural network | |
| CN116992844A (zh) | 基于人工智能的金融知识课程生成方法及装置 | |
| CN119545091A (zh) | 用于基于机器学习的缩放及超分辨率的方法及设备 | |
| JP2003330807A (ja) | 半導体装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050317 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |