JP4310691B2 - 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関し、特に、各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができるようにする画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関する。

本出願人は、SD(Standard Definition)画像をHD(High Definition)画像に変換する技術として、クラス分類適応処理を先に提案している（例えば、特許文献１）。

クラス分類適応処理によれば、例えば、水平ライン数が５２５ラインのインターレース方式のSD画像や、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のSD画像等を、その横および縦の画素数をいずれも２倍にした、水平ライン数が５２５ラインのプログレッシブ方式のHD画像等に変換し、その解像度を向上させることができる。
特開平８−３１７３４６号公報

しかしながら、特許文献１などで提案されているクラス分類適応処理のうちのクラス分類処理においては、それを画素値に基づいて行っているのみであり、連続する画像の内容を考慮した処理が行われていないという課題があった。

本発明はこのような状況に鑑みてなされたものであり、各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができるようにするものである。

本発明の画像処理装置は、第１の画像に圧縮処理を施し、第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮手段と、圧縮手段による圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶する記憶手段と、記憶手段に記憶されたブロック内の画素値の圧縮データに基づいて、第１の画像を復号する復号手段と、第２の画像の画素のうちの注目画素に対応する位置にある復号手段により復号された第１の画像の画素の周辺に位置する複数の画素を、注目画素を予測するのに用いる予測タップとして抽出する抽出手段と、注目画素に対応する位置の画素を含むブロックの記憶手段に記憶されている圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力手段と、出力手段により出力された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、第２の画像に相当する教師画像と、第１の画像に相当する生徒画像とを用い、教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される教師画像の画素のうちの注目画素と予測タップとして生徒画像の画素から抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎に学習することにより決定されたクラス毎の予測係数のうちの、クラス分類手段によりクラス分類された注目画素のクラスに対応する予測係数と、抽出手段により抽出された予測タップの画素との線形結合により、注目画素を予測する予測手段とを備える。

圧縮処理は、ADRC(Adaptive Dynamic Range Coding)処理であり、圧縮データは、ダイナミックレンジ、最小値、および再量子化コードであるようにすることができる。
出力手段は、遷移情報として、注目画素に対応する位置を含む第１の画像の所定の範囲の画素のダイナミックレンジの遷移のパターンを表すデータを出力するようにすることができる。

本発明の画像処理装置は、圧縮処理の対象となる画像と同じ第１の画像を高解像度の画像に変換する高画質化手段と、予測手段により予測された注目画素からなる第２の画像を、高画質化手段による変換によって得られた画像に重ねて表示させる表示制御手段とをさらに備えるようにすることができる。

本発明の画像処理方法は、第１の画像に圧縮処理を施し、第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶する記憶ステップと、記憶ステップの処理により記憶されたブロック内の画素値の圧縮データに基づいて、第１の画像を復号する復号ステップと、第２の画像の画素のうちの注目画素に対応する位置にある復号ステップの処理により復号された第１の画像の画素の周辺に位置する複数の画素を、注目画素を予測するのに用いる予測タップとして抽出する抽出ステップと、注目画素に対応する位置の画素を含むブロックの記憶手段に記憶されている圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力ステップと、出力ステップの処理により出力された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、第２の画像に相当する教師画像と、第１の画像に相当する生徒画像とを用い、教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される教師画像の画素のうちの注目画素と予測タップとして生徒画像の画素から抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎に学習することにより決定されたクラス毎の予測係数のうちの、クラス分類ステップの処理によりクラス分類された注目画素のクラスに対応する予測係数と、抽出ステップの処理により抽出された予測タップの画素との線形結合により、注目画素を予測する予測ステップとを含む。

本発明の第１の記録媒体に記録されているプログラム、および、本発明の第１のプログラムは、第１の画像に圧縮処理を施し、第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶する記憶ステップと、記憶ステップの処理により記憶されたブロック内の画素値の圧縮データに基づいて、第１の画像を復号する復号ステップと、第２の画像の画素のうちの注目画素に対応する位置にある復号ステップの処理により復号された第１の画像の画素の周辺に位置する複数の画素を、注目画素を予測するのに用いる予測タップとして抽出する抽出ステップと、注目画素に対応する位置の画素を含むブロックの記憶手段に記憶されている圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力ステップと、出力ステップの処理により出力された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、第２の画像に相当する教師画像と、第１の画像に相当する生徒画像とを用い、教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される教師画像の画素のうちの注目画素と予測タップとして生徒画像の画素から抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎に学習することにより決定されたクラス毎の予測係数のうちの、クラス分類ステップの処理によりクラス分類された注目画素のクラスに対応する予測係数と、抽出ステップの処理により抽出された予測タップの画素との線形結合により、注目画素を予測する予測ステップとを含む処理をコンピュータに実行させる。

本発明の学習装置は、第１の画像に圧縮処理を施し、第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮手段と、圧縮手段による圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて第１の画像を復号し、予測係数の学習の生徒となる生徒画像として生成する復号手段と、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、復号手段により復号された生徒画像の画素のうちの、注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出手段と、教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される注目画素と予測タップとして抽出手段により抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎に学習することにより、クラス毎の予測係数を決定する決定手段とを備える。

圧縮処理は、ADRC(Adaptive Dynamic Range Coding)処理であり、圧縮データは、ダイナミックレンジ、最小値、および再量子化コードであるようにすることができる。

本発明の学習方法は、第１の画像に圧縮処理を施し、第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて第１の画像を復号し、予測係数の学習の生徒となる生徒画像として生成する復号ステップと、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、復号ステップの処理により復号された生徒画像の画素のうちの、注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出ステップと、教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される注目画素と予測タップとして抽出ステップの処理により抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎に学習することにより、クラス毎の予測係数を決定する決定ステップとを含む。

本発明の第２の記録媒体に記録されているプログラム、および、本発明の第２のプログラムは、第１の画像に圧縮処理を施し、第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて第１の画像を復号し、予測係数の学習の生徒となる生徒画像として生成する復号ステップと、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、復号ステップの処理により復号された生徒画像の画素のうちの、注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出ステップと、教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される注目画素と予測タップとして抽出ステップの処理により抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎に学習することにより、クラス毎の予測係数を決定する決定ステップとを含む処理をコンピュータに実行させる。

本発明の画像処理装置および方法、並びに第１のプログラムにおいては、第１の画像に圧縮処理が施され、第１の画像が、所定のブロック単位で圧縮データに圧縮される。また、圧縮処理で得られた、ブロック内の画素値の圧縮データが記憶され、記憶されたブロック内の画素値の圧縮データに基づいて、第１の画像が復号される。第２の画像の画素のうちの注目画素に対応する位置にある復号された第１の画像の画素の周辺に位置する複数の画素が、注目画素を予測するのに用いる予測タップとして抽出され、注目画素に対応する位置の画素を含むブロックの記憶手段に記憶されている圧縮データの時間的遷移のパターンを表すデータが遷移情報として出力される。遷移情報に基づいて、注目画素が、複数のクラスのうちのいずれかのクラスにクラス分類され、クラス毎の予測係数のうちの、注目画素のクラスに対応する予測係数と、抽出された予測タップの画素との線形結合により、注目画素が予測される。

本発明の学習装置および方法、並びに第２のプログラムにおいては、第１の画像に圧縮処理が施され、第１の画像が、所定のブロック単位で圧縮データに圧縮される。また、圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて第１の画像が復号され、予測係数の学習の生徒となる生徒画像として生成される。第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、注目画素が、複数のクラスのうちのいずれかのクラスにクラス分類され、復号された生徒画像の画素のうちの、注目画素に対応する位置の画素の周辺に位置する複数の画素が予測タップとして抽出される。教師画像の画素と生徒画像の画素と予測係数との関係を示す正規方程式内の、教師画像の画素と生徒画像の画素とから構成される各項に、順に設定される注目画素と予測タップとして抽出された複数の画素を代入して正規方程式を解くことで、教師画像の画素と生徒画像の画素との関係をクラス毎が学習されることにより、クラス毎の予測係数が決定される。

本発明によれば、高画質な画像を得ることができる。

また、本発明によれば、高画質化する処理の一部である各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができる。

さらに、本発明によれば、リプレイ画像を表示させるためのデータを、少ないデータ量で記憶させておくことができる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明を適用した画像処理装置１の構成例を示すブロック図である。

画像処理装置１は、高画質化回路１１、リプレイ画像生成回路１２、合成回路１３から構成される。画像処理装置１は、図示せぬアンテナで受信されたテレビジョン放送波より得られるSD(Standard Definition)画像を高画質化回路１１においてHD(High Definition)画像に変換し、HD画像を外部に出力する。例えば、画像処理装置１は、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のSD画像等を、その横および縦の画素数をいずれも２倍にした、水平ライン数が５２５ラインのプログレッシブ方式のHD画像等に変換し、出力する。

また、画像処理装置１は、そのリプレイ画像生成回路１２において、入力されるSD画像に対して所定の処理を施すことで、後から、SD画像を復号するために用いるデータを記憶しておき、ユーザから直前の画像（複数の連続する画像）のリプレイが要求されたとき、記憶しておいたデータから元のSD画像を復号し、それを、高画質化回路１１から出力される画像に合成回路１３で重ねて表示させる（PinP(Picture in Picture)表示させる）。

図２は、表示装置２１が表示する画面の例を示す図である。図１の画像処理装置１から出力された画像は、この表示装置２１により表示される。

図２の画像２１Ａは、図１の高画質化回路１１により高画質化処理が施されて得られたスポーツ番組のある時刻の画像である。また、画像２１Ｂは、リプレイ画像生成回路１２により生成された、画像２１Ａの表示時刻より前の時刻のスポーツ番組の画像である。

なお、リプレイ画像生成回路１２においては、ユーザからリプレイが要求されたとき、記憶しておいたデータから元のSD画像を単に復号するだけでなく、復号した画像に対して、それを高画質化するための処理も施される。即ち、図２の画像２１Ｂは、記憶していたデータから得られた画像を高画質化した画像である。

以下、適宜、リプレイが要求されるまでに記憶しておいたデータから復号された画像をデコード画像といい、それに高画質化処理を施して得られる、高画質化回路１１からの画像にPinP表示させる画像（図２の画像２１Ｂ）をリプレイ画像という。

後に詳述するように、高画質化回路１１においてSD画像に対して施される高画質化処理と、リプレイ画像生成回路１２においてデコード画像に対して施される高画質化処理は、その一部の処理内容が異なるようにすることができる。

ここで、高画質化回路１１とリプレイ画像生成回路１２のそれぞれにおいて行われるクラス分類適応処理の一般的な事項について説明する。

クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。

即ち、適応処理では、例えば、低画質または標準画質の画像であるSD画像データが、所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像であるHD画像というデータに変換される。

いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、HD画像データを構成する画素（以下、適宜、HD画素という）の画素値ｙは、SD画像データを構成する画素（以下、適宜、SD画素という）から、HD画素を予測するための予測タップとして抽出される複数のSD画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。

但し、式（１）において、ｘ_nは、HD画素ｙについての予測タップを構成する、ｎ番目のSD画像データの画素の画素値を表し、ｗ_nは、ｎ番目のSD画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のSD画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

ここで、HD画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルのHD画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k'と表すと、その予測誤差ｅ_kは、次式で表される。

式（２）の予測値ｙ_k'は、式（１）にしたがって求められるため、式（２）のｙ_k'を、式（１）にしたがって置き換えると、次式が得られる。

但し、式（３）において、ｘ_n,kは、第ｋサンプルのHD画素についての予測タップを構成するｎ番目のSD画素を表す。

式（３）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、HD画素を予測するのに最適なものとなるが、すべてのHD画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。

そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

但し、式（４）において、Ｋは、HD画素ｙ_kと、そのHD画素ｙ_kについての予測タップを構成するSD画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。

式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。

そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。

式（５）と（６）から、次式が得られる。

式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）で示される正規方程式で表すことができる。

式（８）の正規方程式は、HD画素ｙ_kとSD画素ｘ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_nの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_nを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。

以上のように、多数のHD画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各HD画素ｙ_kについての予測タップを構成するSD画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき（学習については後に詳述する）、さらに、そのタップ係数ｗ_nを用い、式（１）により、SD画像データを、HD画像データにマッピング（変換）するのが適応処理である。

なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての学習により求められたものであるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。

また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。

図３は、以上のようなクラス分類適応処理を用いて、SD画像からHD画像の予測値を求める処理を行う図１の高画質化回路１１の構成例を示すブロック図である。

フレームメモリ３１には、解像度を向上させる対象としてのSD画像が、例えば、１フレーム単位で供給されるようになっており、フレームメモリ３１は、そのSD画像を所定の期間記憶する。なお、フレームメモリ３１は、複数バンクを有しており、これにより、複数フレームのSD画像を同時に記憶しておくことができるようになっている。

予測タップ抽出回路３２は、フレームメモリ３１に記憶されたSD画像の解像度を向上させたHD画像（予測タップ抽出回路３２では、このHD画像は実際には存在しないが、仮想的に想定される）を構成する画素を、順次、注目画素とし、その注目画素の位置に対応するSD画像の位置から、空間的または時間的に近い位置にある幾つかのSD画素を、フレームメモリ３１のSD画像から選択する。予測タップ抽出回路３２は、その選択したSD画素を、予測係数との乗算に用いる予測タップとする。

即ち、予測タップ抽出回路３２は、図４に示されるように、注目画素の位置に最も近い、SD画像の画素（図４では、Ｐ₃₃とＰ₃₄の２つあるが、ここでは、例えば、Ｐ₃₃とする）、およびその上下左右に隣接する４個のSD画素Ｐ₂₃，Ｐ₄₃，Ｐ₃₂，Ｐ₃₄、並びに、SD画素Ｐ₃₃に対応する、１フレーム前のSD画素および１フレーム後のSD画素の合計７画素を予測タップとして選択する。

予測タップ抽出回路３２は、このようにして選択した注目画素についての予測タップとなるSD画素を、フレームメモリ３１に記憶されたSD画像から抽出し、抽出したSD画素を注目画素の予測タップとして予測演算回路３６に出力する。

なお、予測タップとして選択するSD画素は、上述したものに限定されるものではない。また、上述の場合には、７個のSD画素で予測タップを構成するようにしたが、予測タップを構成するSD画素の数も、適宜変更することが可能である。

クラスタップ抽出回路３３は、注目画素の位置に対応するSD画像の位置から、空間的または時間的に近い位置にある幾つかのSD画素を、フレームメモリ３１のSD画像から選択し、その選択したSD画素を、注目画素を幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップとする。

例えば、クラスタップ抽出回路３３は、図４に示されるように、注目画素の位置に最も近いSD画像の画素Ｐ₃₃、およびその上下左右、左上、右上、左下、右下に隣接する８個のSD画素Ｐ₂₃，Ｐ₄₃，Ｐ₃₂，Ｐ₃₄，Ｐ₂₂，Ｐ₂₄，Ｐ₄₂，Ｐ₄₄、並びにSD画素Ｐ₃₃に対応する、１フレーム前のSD画素および１フレーム後のSD画素の合計１１画素を、クラスタップとして選択する。

クラスタップ抽出回路３３は、このようにして選択した注目画素についてのクラスタップとなるSD画素を、フレームメモリ３１に記憶されたSD画像から選択し、そのようなSD画素で構成されるクラスタップをクラス分類処理回路３４に出力する。

なお、クラスタップとして選択するSD画素も、上述したものに限定されるものではない。また、上述の場合には１１個のSD画素でクラスタップを構成するようにしたが、クラスタップを構成するSD画素の数も適宜変更することが可能である。

クラス分類処理回路３４は、クラスタップ抽出回路３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ３５に対してアドレスとして供給する。

ここで、クラス分類処理回路３４においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。

ADRCを用いる方法では、クラスタップを構成するSD画素がADRC処理され、その結果得られるADRCコードにしたがって注目画素のクラスが決定される。

例えば、ＫビットADRCにおいては、クラスタップを構成するSD画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するSD画素がＫビットに再量子化される。即ち、クラスタップを構成するSD画素の画素値から、最小値MINが減算され、その減算値がDR／２^Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成する各SD画素についてのＫビットの画素値を所定の順番で並べたビット列がADRCコード（再量子化コード）として出力される。

従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各SD画素の画素値は、最小値MINが減算された後にDR／２で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。

ここで、クラス分類処理回路３４には、例えば、クラスタップを構成するSD画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のSD画素で構成され、各SD画素にＫビットが割り当てられているとすると、クラス分類処理回路３４が出力するクラスコードの数は（２^N）^K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。

従って、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってからクラス分類を行うのが好ましい。例えば、クラス分類処理回路３４において、１ビットADRC処理によるクラス分類を行うことにより、クラスタップが、上述のように１１個のSD画素で構成される場合でも、そのクラスコードの数は（２¹¹）¹通りとなる。

なお、クラス分類処理回路３４における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。

図３の説明に戻り、係数メモリ３５は、後述するような学習処理が行われることで得られる予測係数を記憶し、クラス分類処理回路３４から供給されるクラスコードに対応するアドレスに記憶されている予測係数を予測演算回路３６に供給する。

予測演算回路３６は、予測タップ抽出回路３２から供給される予測タップと、係数メモリ３５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、SD画像の解像度を向上させたHD画像の予測値とする。予測演算回路３６は、注目画素を切り替えて順次得られる予測値から、例えば、１フレームの５２５ｐ（水平ライン数が５２５のプログレッシブ方式）のHD画像を構成し、出力する。

次に、図５のフローチャートを参照して、図３の高画質化回路１１により行われる高画質化処理について説明する。

処理すべきSD画像は、例えば、フレーム単位でフレームメモリ３１に順次供給され、記憶される。

ステップＳ１において、予測タップ抽出回路３２は、フレームメモリ３１に記憶されたSD画像の解像度を向上させたHD画像を構成する画素のうちの、まだ、注目画素とされていないものを注目画素とし、フレームメモリ３１に記憶されたSD画像の画素を用いて、注目画素についての予測タップを抽出する。また、ステップＳ１において、クラスタップ抽出回路３３は、フレームメモリ３１に記憶されたSD画像の画素を用いて、注目画素についてのクラスタップを抽出する。

予測タップ抽出回路３２により抽出された予測タップは予測演算回路３６に供給され、クラスタップ抽出回路３３により抽出されたクラスタップはクラス分類処理回路３４に供給される。

ステップＳ２において、クラス分類処理回路３４は、クラスタップ抽出回路３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ３５に対してアドレスとして供給する。係数メモリ３５からは、記憶される各クラスの予測係数のうち、クラス分類処理回路３４からのクラスコードで表されるアドレスに記憶されている予測係数が予測演算回路３６に出力される。

予測演算回路３６は、ステップＳ３において、予測タップ抽出回路３２から供給される予測タップと、係数メモリ３５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を注目画素の予測値とする。

予測演算回路３６は、ステップＳ４において、１フレーム分のHD画像を構成する画素の予測値が得られたか否かを判定し、まだ１フレーム分の予測値が得られていないと判定した場合、ステップＳ１に戻り、それ以降の処理を実行させる。これにより、HD画像のフレームを構成する画素のうち、まだ注目画素とされていないものが新たに注目画素とされ、同様の処理が繰り返される。

一方、ステップＳ４において、１フレーム分の予測値が得られたと判定した場合、予測演算回路３６は、ステップＳ５に進み、その１フレーム分の予測値でなるHD画像を合成回路１３（図１）に出力する。

ステップＳ６において、予測タップ抽出回路３２からの入力などに基づいて、予測演算回路３６は、SD画像の入力が終わりか否かを判定し、終わりではないと判定した場合、ステップＳ１に戻る。その後、次のHD画像のフレームを対象にして、ステップＳ１以降の処理が繰り返される。ステップＳ６において、SD画像の入力が終わりであると判定された場合、処理は終了される。

以上のようにして高画質化回路１１により生成されたHD画像は、リプレイ画像生成回路１２からのリプレイ画像が合成回路１３に供給されていない場合には、そのまま表示装置２１により表示される。

図６は、図１のリプレイ画像生成回路１２の構成例を示すブロック図である。

ADRCエンコーダ／デコーダ５１は、入力されるSD画像を、例えば、９×９の画素からなる複数のブロックに分割し、各ブロックの画素に対して上述した１ビットADRC処理を施す。ADRC処理により得られたADRCコード、ダイナミックレンジDR、最小値MINを表わすデータは、バッファ５２に供給され、記憶される。

ここでバッファ５２に記憶される各ブロックについてのADRCコード、ダイナミックレンジDR、最小値MINを表わすデータの量は、例えば、８１画素（９×９画素）がそれぞれ１ビットのADRCコード（１または０）で表されるから、その８１ビットに、ダイナミックレンジDRと最小値MINがそれぞれ８ビットで表されるとすると１６ビットを加えた合計９７ビットである。

なお、ADRCコードのビット数、ダイナミックレンジDR、最小値MINを表すビット数は、バッファ５２の容量に応じて、またはADRCエンコーダ／デコーダ５１のエンコード、デコード能力等に応じて適宜変更可能である。

ADRCエンコーダ／デコーダ５１は、また、例えば、ユーザがリモートコントローラに設けられるリプレイボタンを操作したときに出力されるリプレイ要求を受信したとき、バッファ５２に記憶されているADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて各ブロックの画素をデコードし、それを繰り返すことで１フレームのデコード画像を生成する。上述したように、ADRC処理はいわば画像の圧縮であり、この圧縮は不可逆圧縮であるから、ADRCエンコーダ／デコーダ５１によりデコードされて得られたデコード画像は、リプレイ画像生成回路１２に入力されたSD画像より画質が劣るものである。

なお、ADRCコード、ダイナミックレンジDR、最小値MINを表すデータからは、例えば、ADRCコードＱ×（DR／２^K）＋MINにより各画素の画素値をデコードすることができる。時間履歴クラス分類処理回路５４の構成（例えば、後述する図１５の構成）によっては、ADRCエンコーダ／デコーダ５１によりデコードされた画素の画素値は、図６の点線矢印で示されるように時間履歴クラス分類処理回路５４にも供給される。

このように、ADRC処理により得られるADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファに記憶させておき、リプレイが要求されたときには、それらのデータに基づいて画像をデコードするようにしたため、入力されるSD画像をそのままバッファに記憶させておく場合に較べて、同じ容量のバッファに対してより長い時間のリプレイ画像を表示させる分のデータを記憶させておくことが可能になる。ADRC処理を行わない場合（SD画像を表すデータをそのままバッファに記憶させる場合）、例えば、９×９の画素からなる１つのブロックのデータの量は、各画素の画素値を８ビットで表したときには６４８ビット（９×９×８）であるから、ADRC処理を行った場合の上述した９７ビットに較べて多い。

予測タップ抽出回路５３は、ADRCエンコーダ／デコーダ５１によりデコードされることで得られたデコード画像の、例えば、解像度を向上させたリプレイ画像（予測タップ抽出回路５３では、このリプレイ画像は実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するデコード画像の位置から空間的または時間的に近い位置にある幾つかのデコード画像の画素（以下、適宜、デコード画素という）を選択する。予測タップ抽出回路５３は、その選択したデコード画素を、予測係数との乗算に用いる予測タップとする。

図７は、予測タップ抽出回路５３により抽出される予測タップの例を示す図である。

図７において、○はデコード画素を表し、×はリプレイ画像の画素を表す。また、図７において、画像７１は、注目画素を含むフレームの画像であり、その表示時刻は時刻Ｔである。また、画像７２は、注目画素を含むフレーム（画像７１）の１フレーム前のフレームの画像であり、その表示時刻は時刻Ｔ−１である。さらに、画像７３は、注目画素を含むフレームの１フレーム後のフレームの画像であり、その表示時刻は時刻Ｔ＋１である。

即ち、予測タップ抽出回路５３は、図７に示されるように、注目画素の位置に最も近いデコード画素（図７では、Ｐ₂₂とＰ₂₃の２つあるが、ここでは、例えば、Ｐ₂₂とする）、およびその左上、上、右上、左、右、左下、右下に隣接する８個のデコード画素Ｐ₁₁，Ｐ₁₂，Ｐ₁₃，Ｐ₂₁，Ｐ₂₃，Ｐ₃₁，Ｐ₃₂，Ｐ₃₃、並びに、注目画素に対応する位置のデコード画素Ｐ₂₂に対応する位置にある、１フレーム前のデコード画素Ｐ₂₂を中心とした９画素（画素Ｐ₂₂を含む）、および１フレーム後のデコード画素Ｐ₂₂を中心とした９画素（画素Ｐ₂₂を含む）の、合計２７画素を予測タップとして選択する。

予測タップ抽出回路５３は、このようにして選択した注目画素についての予測タップとなるデコード画素を、ADRCエンコーダ／デコーダ５１によりデコードされることで得られたデコード画像から抽出し、抽出したデコード画素で構成される予測タップを予測演算回路５６に出力する。

なお、図４を参照して説明した場合と同様に、予測タップとして選択するデコード画素は、上述したものに限定されるものではない。

ADRCエンコーダ／デコーダ５１に入力されるリプレイ要求は、時間履歴クラス分類処理回路５４にも入力されるようになされており、時間履歴クラス分類処理回路５４は、リプレイ要求が入力されたとき、注目画素に対応する位置に最も近いSD画素のADRCコード、ダイナミックレンジDR、最小値MIN（注目画素に対応する位置を含むブロックのダイナミックレンジDR、最小値MIN）を表すデータ、および、そのSD画素に対応する、前後１フレームのSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファ５２から読み出し、クラス分類を行う。後述するように、時間履歴クラス分類処理回路５４は、注目画素に対応する位置におけるダイナミックレンジDRの遷移と、ADRCコードの遷移に基づいてクラス分類を行う。

時間履歴クラス分類処理回路５４は、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを係数メモリ５５に対してアドレスとして供給する。以下、時間履歴クラス分類処理回路５４が出力するクラスコードを、適宜、時間履歴クラスコードという。

係数メモリ５５は、後述するような学習処理により得られる予測係数を記憶し、時間履歴クラス分類処理回路５４から供給される時間履歴クラスコードに対応するアドレスに記憶されている予測係数を予測演算回路５６に供給する。

予測演算回路５６は、予測タップ抽出回路５３から供給される予測タップ（例えば、図７の２７画素）と、係数メモリ５５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、デコード画像の解像度を向上させたリプレイ画像の予測値とする。予測演算回路５６は、注目画素を切り替えて順次得られる予測値から、例えば、１フレームのリプレイ画像を構成し、合成回路１３（図１）に出力する。

図８は、図６の時間履歴クラス分類処理回路５４の構成例を示すブロック図である。

時間履歴クラス分類処理回路５４は、DR履歴算出回路８１、波形履歴算出回路８２、クラスコード算出回路８３から構成される。

DR履歴算出回路８１は、バッファ５２から読み出されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRを表すデータに基づいて、注目画素に対応する位置のSD画素のダイナミックレンジDRの時間的な遷移を表す履歴DR_histを算出する。

例えば、DR履歴算出回路８１は、図９に示されるように、時刻ｔのフレームの注目画素に対応する位置のSD画素を含むADRCブロック（ADRC処理の単位となる例えば９×９の画素のブロック）のダイナミックレンジDR_tと、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素を含むADRCブロックのダイナミックレンジDR_t-1と、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素を含むADRCブロックのダイナミックレンジDR_t+1とから履歴DR_histを算出する。

ダイナミックレンジDR_t-1，DR_t，DR_t+1の遷移のパターンは、図１０Ａ乃至Ｄにそれぞれ示される４パターン（２²パターン）に分類される。時間履歴クラス分類処理回路５４は、例えば、そのパターンを表す２ビットを、注目画素のダイナミックレンジDRの時間的な遷移を表す履歴DR_hist（遷移情報）としてクラスコード算出回路８３に出力する。

ダイナミックレンジDR_tをDR_t、ダイナミックレンジDR_t-1をDR_t-1、ダイナミックレンジDR_t+1をDR_t+1でそれぞれ表した場合、図１０Ａは、DR_t-1＞DR_t＜DR_t+1となるパターンを表し、図１０Ｂは、DR_t-1＜DR_t＜DR_t+1となるパターンを表す。また、図１０Ｃは、DR_t-1＞DR_t＞DR_t+1となるパターンを表し、図１０Ｄは、DR_t-1＜DR_t＞DR_t+1となるパターンを表す。

なお、以上においては、フレーム間で同じダイナミックレンジDRをとる場合については考慮していないが、当然、それも考慮し、図１０Ａ乃至Ｄの４パターンに加えて、DR_t-1＝DR_t＝DR_t+1，DR_t-1＝DR_t＜DR_t+1，DR_t-1＝DR_t＞DR_t+1，DR_t-1＞DR_t＝DR_t+1，DR_t-1＜DR_t＝DR_t+1の５パターンも、履歴DR_histとして算出されるようにしてもよい。

波形履歴算出回路８２は、バッファ５２から読み出されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコード（波形）の時間的な遷移を表す履歴Ｗ_histを算出する。

例えば、波形履歴算出回路８２は、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素のADRCコード、時刻ｔのフレームの注目画素のに対応する位置のSD画素のADRCコード、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素のADRCコードの並びを、履歴Ｗ_histとしてクラスコード算出回路８３に出力する。1ビットADRC処理が行われている場合、それぞれの画素は１ビットのADRCコードで表されるから、合計３ビットの履歴Ｗ_histがクラスコード算出回路８３に出力される。

クラスコード算出回路８３は、DR履歴算出回路８１から入力される履歴DR_histと、波形履歴算出回路８２から入力される履歴Ｗ_histからクラス分類を行い、その結果得られるクラスに対応する時間履歴クラスコードを係数メモリ５５に出力する。

このように、時間履歴クラス分類処理回路５４においては、注目画素に対応する位置の時間的な遷移を表す情報に基づくクラス分類が行われることから、連続する画像の内容に応じて、注目画素のクラス分けが行われ、好適な予測値を求めることができる。

次に、以上のような構成を有するリプレイ画像生成回路１２の動作についてフローチャートを参照して説明する。

始めに、図１１のフローチャートを参照して、リプレイ画像生成回路１２により行われるSD画像の圧縮処理について説明する。

この処理は、例えば、画像処理装置１の外部にあるアンテナなどからSD画像が入力されたときに開始される。また、この処理は、例えば、後述する図１２の処理と時間的に並行して実行される。

ステップＳ２１において、ADRCエンコーダ／デコーダ５１は、入力される１フレームのSD画像を、例えば、９×９の画素からなる複数のブロックに分割し、ステップＳ２２に進み、選択した１つのブロックに対して１ビットADRC処理を施すことでSD画像のエンコードを行う。

ADRCエンコーダ／デコーダ５１は、ステップＳ２３において、エンコードにより得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファ５２に記憶させ、ステップＳ２４に進み、１フレームを構成する全てのブロックについてADRC処理を行ったか否かを判定する。ADRCエンコーダ／デコーダ５１は、ステップ２４において、１フレームを構成する全てのブロックについてADRC処理を行っていないと判定した場合、ステップＳ２２に戻り、処理対象のブロックを切り替えてADRC処理を繰り返す。

一方、ADRCエンコーダ／デコーダ５１は、ステップＳ２４において、１フレームを構成する全てのブロックについてADRC処理を行ったと判定した場合、ステップＳ２５に進み、SD画像の入力が終了したか否かを判定する。ADRCエンコーダ／デコーダ５１は、ステップＳ２５において、SD画像の入力が終了していないと判定した場合、ステップＳ２１に戻り、それ以降の処理を繰り返し、SD画像の入力が終了したと判定した場合、処理を終了させる。

以上の処理が繰り返されることで、バッファ５２には、ある期間連続してリプレイ画像を復号することが可能な量のADRCコード、ダイナミックレンジDR、最小値MINを表すデータが記憶される。なお、バッファ５２の容量には限りがあることから、記憶されているデータの量がバッファ５２の容量の限界近くになった場合には、リプレイ画像生成回路１２に先に入力されたSD画像から得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータから順に消去され、時間的により新しい画像から得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータがバッファ５２に記憶される。

次に、図１２のフローチャートを参照して、リプレイ画像生成回路１２により行われるリプレイ画像生成処理について説明する。

ステップＳ３１において、ADRCエンコーダ／デコーダ５１は、ユーザからのリプレイ要求があったか否かを判定し、リプレイ要求があったと判定するまで待機する。リプレイ要求があったと判定されるまでの時間においては、図１１の処理が繰り返される。

例えば、ユーザがリモートコントローラに設けられるリプレイボタンを操作したため、ステップＳ３１において、リプレイ要求が入力されたと判定した場合、ステップＳ３２に進み、ADRCエンコーダ／デコーダ５１は、バッファ５２に記憶されているADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて画像のデコード（ADRCデコード）を行う。ADRCエンコーダ／デコーダ５１は、デコードにより得られた１フレームのデコード画像を予測タップ抽出回路５３に出力する。

ステップＳ３３において、予測タップ抽出回路５３は、ADRCエンコーダ／デコーダ５１によりデコードされることで得られたデコード画像の解像度を向上させたリプレイ画像を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するデコード画像の位置から空間的または時間的に近い位置にある幾つかのデコード画素を、予測係数との乗算に用いる予測タップとする。

予測タップ抽出回路５３は、予測タップとなるデコード画素をデコード画像から抽出し、抽出したデコード画素で構成される予測タップを予測演算回路５６に出力する。ここでは、例えば、図７に示される合計２７画素の予測タップが予測演算回路５６に出力される。

ステップＳ３４において、時間履歴クラス分類処理回路５４は、注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータ、および、注目画素に対応する、前後１フレームのSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファ５２から読み出す。読み出されたそれらのデータは、時間履歴クラス分類処理回路５４のDR履歴算出回路８１、波形履歴算出回路８２にそれぞれ入力される。

また、時間履歴クラス分類処理回路５４は、ステップＳ３５において、時間履歴クラスコードを算出する時間履歴クラス分類処理を行う。時間履歴クラス分類処理の詳細については図１３のフローチャートを参照して後述する。

ステップＳ３５で行われる時間履歴クラス分類処理により得られた時間履歴クラスコードに対応する予測係数が係数メモリ５５から供給されてきたとき、予測演算回路５６は、ステップＳ３６において、その予測係数と、予測タップ抽出回路５３から供給される予測タップとを用いて、式（１）に示した線形予測演算（積和演算）を行う。

予測演算回路５６は、予測演算の結果得られる画素値を、デコード画像の解像度を向上させたリプレイ画像の予測値とし、ステップＳ３７に進み、１フレーム分の予測値が得られたか否かを判定する。ステップ３７において、１フレーム分の予測値が得られていないと判定された場合、ステップＳ３３に戻り、それ以降の処理が繰り返される。

一方、ステップＳ３７において、１フレーム分の予測値が得られたと判定した場合、ステップＳ３８に進み、予測演算回路５６は、１フレーム分の予測値からリプレイ画像を構成し、それを合成回路１３（図１）に出力する。

ステップＳ３９において、ADRCエンコーダ／デコーダ５１は、リプレイ終了か否かを判定し、終了でないと判定した場合、ステップＳ３２に戻り、それ以降の処理を繰り返す。例えば、ユーザにより指定された期間のリプレイ画像を生成して出力した場合、或いは、リプレイが要求されるまでにバッファ５２に記憶されていたADRCコード、ダイナミックレンジDR、最小値MINを表すデータの全てを用いてリプレイ画像を生成して出力した場合、ステップＳ３９において、リプレイ終了であることがADRCエンコーダ／デコーダ５１により判定され、処理は終了される。

次に、図１３のフローチャートを参照して、図１２のステップＳ３５において行われる時間履歴クラス分類処理について説明する。

ステップＳ５１において、DR履歴算出回路８１と波形履歴算出回路８２は、注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータ、および、注目画素を含むフレームの前後１フレームの注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータを取得する。

ステップＳ５２において、波形履歴算出回路８２は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコード（波形）の時間的遷移を表す履歴Ｗ_histを算出し、算出した履歴Ｗ_histを表すデータをクラスコード算出回路８３に出力する。例えば、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素のADRCコード、時刻ｔのフレームの注目画素に対応する位置のSD画素のADRCコード、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素のADRCコードを並べた３ビットのビット列が履歴Ｗ_histとしてクラスコード算出回路８３に出力される。

ステップＳ５３において、DR履歴算出回路８１は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRを表すデータに基づいて、ダイナミックレンジDRの時間的遷移を表す履歴DR_histを算出する。

上述したように、例えば、DR履歴算出回路８１は、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素のダイナミックレンジDR_t-1、時刻ｔのフレームの注目画素に対応する位置のSD画素のダイナミックレンジDRｔ、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素のダイナミックレンジDR_t+1の遷移のパターンが、図１０Ａ乃至Ｄのいずれのパターンであるかを確認し、その遷移のパターンを表す２ビットを履歴DR_histとしてクラスコード算出回路８３に出力する。

クラスコード算出回路８３は、ステップＳ５４において、DR履歴算出回路８１から入力される履歴DR_histを表すデータと、波形履歴算出回路８２から入力される履歴Ｗ_histを表すデータからクラス分類を行い、その結果得られるクラスに対応する時間履歴クラスコードを係数メモリ５５に出力する。

その後、図１２のステップＳ３６に進み、各フレームの注目画素毎に以上の処理が行われる。

次に、図１４のフローチャートを参照して、画像を出力する図１の合成回路１３の処理について説明する。

合成回路１３には、図５の処理により高画質化されたHD画像と、図１２の処理により生成されたリプレイ画像が適宜入力される。

ステップＳ６１において、合成回路１３は、高画質化回路１１からのHD画像の入力があるか否かを判定し、入力があると判定するまで待機する。合成回路１３は、ステップＳ６１において、高画質化回路１１からのHD画像の入力があると判定した場合、ステップＳ６２に進み、リプレイ画像生成回路１２からのリプレイ画像の入力があるか否かを判定する。

ステップＳ６２において、合成回路１３は、リプレイ画像生成回路１２からのリプレイ画像の入力がないと判定した場合、ステップＳ６３に進み、高画質化回路１１から入力されるHD画像をそのまま外部の表示装置２１（図２）に出力する。

一方、合成回路１３は、ステップＳ６２において、高画質化回路１１からのHD画像の他に、リプレイ画像生成回路１２からのリプレイ画像の入力もあると判定した場合、ステップＳ６４に進み、高画質化回路１１から入力されるHD画像に対して、リプレイ画像をPinP表示させる。これにより、図２に示されるような画面が表示装置２１に表示される。

また、表示されるリプレイ映像は、ADRCコード等の履歴に基づいたクラス分類処理が行われ、高画質化された画像からなるものである。従って、ADRCコード等から生成された画像がそのままリプレイ表示用の画像として表示される場合に較べて、より画質のよいものが表示されることになる。

なお、以上においては、高画質化回路１１ではクラスタップに基づいたクラス分類処理が行われ、一方、リプレイ画像生成回路１２ではADRCコードやダイナミックレンジDRの履歴に基づいたクラス分類処理が行われるとしたが、リプレイ画像生成回路１２と同様に、高画質化回路１１においてもADRCコード等の履歴に基づいたクラス分類処理が行われ、入力されるSD画像の高画質化が図られるようにしてもよい。

また、以上においては、リプレイ画像生成回路１２において、解像度を創造することでデコード画像の高画質化が図られるとしたが、デコード画像のブロックノイズを除去することやエッジを強調することでデコード画像の高画質化が図られるようにしてもよい。この場合、係数メモリ５５に記憶される予測係数を学習する後述する学習処理において、教師となる画像がそれぞれ異なるものとされ、予測係数が求められる。

なお、時間履歴クラス分類処理回路５４において、履歴が算出される画素の特徴を表すデータは、ADRCコードやダイナミックレンジDRに限られず、これらの他、例えば、動きベクトルの履歴などの様々なデータに基づいて履歴が算出され、クラス分類が行われるようにしてもよい。また、履歴を算出するためのフレームの数は、図９に示されるように３フレームに限られず、それ以上の数のフレームから履歴が算出され、クラス分類が行われるようにしてもよい。

図１５は、時間履歴クラス分類処理回路５４の他の構成例を示すブロック図である。

図１５の時間履歴クラス分類処理回路５４は、図８の時間履歴クラス分類処理回路５４と較べて、履歴情報メモリ９１と合成回路９２が付加されている点が異なる。重複する説明については適宜省略する。

履歴情報メモリ９１は、ADRCエンコーダ／デコーダ５１から入力されるそれぞれの画素の画素値の平均値を算出し、記憶している。図７を参照すると、例えば、画素Ｐ₁₁乃至Ｐ₃₃のそれぞれの画素の画素値の平均値が、各画素がADRCエンコーダ／デコーダ５１によりデコードされる毎に履歴情報メモリ９１により算出（更新）され、記憶される。その平均値は所定のビット数で表され、例えば、注目画素に対応する位置のSD画素の画素値の平均値が合成回路９２に出力される。

なお、ADRCエンコーダ／デコーダ５１から入力される画素値に基づいて各画素の画素値の平均値が算出されるのではなく、履歴情報メモリ９１自身が、バッファ５２から入力されるデータに基づいて各画素を復号し、その画素値から平均値を算出するようにしてもよい。

合成回路９２は、クラスコード算出回路８３により算出された時間履歴クラスコードを表すビット列に、履歴情報メモリ９１から供給される平均値を表すビット列を付加し、それを注目画素のクラスコードとして係数メモリ５５に出力する。係数メモリ５５からは、合成回路９２から供給されてきたクラスコードに対応する予測係数が予測演算回路５６に出力される。

このように、注目画素の時間履歴クラスコードを表すビット列に、ある期間の注目画素に対応する位置のSD画素の画素値の平均値を表すビット列が付加されたものがクラスコードを表すビット列として算出されるから、画像の内容に応じた予測係数に基づいてより好適な予測値が得られる。例えば、１００フレームなどのように、比較的長い期間の画素値の平均値が用いられることで、特に、動きの少ない画像の画質を向上させることができる。

ここで、図１６のフローチャートを参照して、図１５の時間履歴クラス分類処理回路５４により行われる時間履歴クラス分類処理について説明する。この処理も、上述した図１３の処理と同様に、図１２のステップＳ３５において行われるものである。

ステップＳ７１乃至Ｓ７４の処理は、図１３のステップＳ５１乃至Ｓ５４とそれぞれ同じである。即ち、バッファ５２から、注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータ、および、そのSD画素に対応する前後１フレームのSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータが読み出されたとき、ステップＳ７１において、DR履歴算出回路８１、波形履歴算出回路８２は、それぞれ、読み出されたそれらのデータを取得する。

ステップＳ７２において、波形履歴算出回路８２は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコードの時間的な遷移を表す履歴Ｗ_histを算出する。また、ステップＳ７３において、DR履歴算出回路８１は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRに基づいて、注目画素に対応する位置のSD画素のダイナミックレンジDRの時間的な遷移を表す履歴DR_histを算出する。

クラスコード算出回路８３は、ステップＳ７４において、DR履歴算出回路８１から入力される履歴DR_histと、波形履歴算出回路８２から入力される履歴Ｗ_histに基づいて時間履歴クラスコード算出し、算出した時間履歴クラスコードを合成回路９２に出力する。

ステップＳ７５において、履歴情報メモリ９１は、ADRCエンコーダ／デコーダ５１から入力される、注目画素に対応する位置のSD画素の画素値に基づいて、それまでに記憶している、その画素の画素値の平均値を更新する。

ステップＳ７６において、履歴情報メモリ９１は、更新した平均値を表す所定の数のビット列を生成し、合成回路９２に出力する。

合成回路９２は、ステップＳ７７において、履歴情報メモリ９１から供給されるビット列を、波形履歴算出回路８２によりステップＳ７４で算出された時間履歴クラスコードを表すビット列に付加し、それを係数メモリ５５に出力する。その後、図１１のステップＳ３６に進み、各フレームの注目画素毎に上述した処理が行われる。

このように、上述したような３フレームなどの比較的短い期間のダイナミックレンジDRの履歴（遷移）に基づいて予測係数が決定される場合と較べて、長い期間の履歴を考慮して予測係数を決定するようにすることもできる。また、長い期間の履歴を考慮する場合でも、図１５の時間履歴クラス分類処理回路５４では、画素値の平均値が、その長い期間の履歴を表すものとして用いられていることから、少ないデータ量（平均値を表すだけのビット数）で、それを表すことができる。

図１７は、図３の係数メモリ３５に記憶させる予測係数を学習する学習装置１０１の構成例を示すブロック図である。

教師データとしてのHD画像（図１７、図１８の説明において、以下、教師画像という）は、例えば、フレーム単位でフレームメモリ１１１に供給され、フレームメモリ１１１は、供給される教師画像を順次記憶する。

なお、図３の高画質化回路１１において求められるHD画像は５２５ｐの画像であるとしたため、学習装置１０１で用いられる教師画像としては、そのような５２５ｐの画像とされる。

生徒データ生成回路１１２は、フレームメモリ１１１に記憶された教師画像を、例えば、フレーム単位で読み出し、LPF(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の水平方向の間引きおよび垂直方向の間引きを行うことによって、画素数を減少させる。これにより、生徒データ生成回路１１２は、教師画像の解像度を低下させ、生徒データとしてのSD画像（図１７、図１８の説明において、以下、生徒画像という）を生成し、生徒データメモリ１１３に記憶させる。生徒データ生成回路１１２により生成されるSD画像である生徒画像は、図２の高画質化回路１１に入力されるSD画像に対応する。

予測タップ抽出回路１１４は、フレームメモリ１１１に記憶されている教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を予測タップとする。

即ち、予測タップ抽出回路１１４は、図３の予測タップ抽出回路３２と同様のパターンで、例えば、注目画素の位置に最も近い、生徒画像（SD画像）の生徒画素、およびその上下左右に隣接する４個の生徒画素、並びに、注目画素の位置に最も近い生徒画素に対応する、前後１フレームの生徒画素の合計７画素を予測タップとして設定する。予測タップ抽出回路１１４は、そのような生徒画素で構成される予測タップを足し込み回路１１５に出力する。

クラスタップ抽出回路１１６は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を生徒データメモリ１１３から読み出し、クラス分類に用いるクラスタップを設定する。クラスタップ抽出回路１１６は、そのような生徒画素で構成されるクラスタップをクラス分類処理回路１１７に出力する。

クラス分類処理回路１１７は、図３のクラス分類処理回路３４と同様に、クラスタップ抽出回路１１６からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを足し込み回路１１５に供給する。

足し込み回路１１５は、注目画素となっている教師画素をフレームメモリ１１１から読み出し、予測タップ抽出回路１１４からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。

即ち、足し込み回路１１５は、クラス分類処理回路１１７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）のタップ係数にかかる左辺の行列における各コンポーネントとなっている、生徒画素どうしの乗算（ｘ_n,kｘ_n,k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み回路１１５は、やはり、クラス分類処理回路１１７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）の右辺における各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

足し込み回路１１５は、以上の足し込みを、フレームメモリ１１１に記憶された教師画素すべてを注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。

予測係数決定回路１１８は、足し込み回路１１５においてクラスごとに生成された正規方程式を解くことによりクラスごとの予測係数を求め、それを出力する。出力された予測係数は、係数メモリ３５の、各クラスに対応するアドレスに記憶される。

次に、図１８のフローチャートを参照して、図１７の学習装置１０１の学習処理について説明する。

ステップＳ９１において、フレームメモリ１１１は、予測係数の学習用のものとして入力される教師画像を記憶する。

生徒データ生成回路１１２は、ステップＳ９２において、フレームメモリ１１１に記憶された教師画像を処理することにより、生徒画像としての５２５ｉ（水平ライン数が５２５のインタレース方式）または２６２ｐ（水平ライン数が２６２のプログレッシブ方式）のSD画像を生成する。生徒データ生成回路１１２により生成された生徒画像は、生徒データメモリ１１３に供給され、記憶される。

ステップＳ９３において、フレームメモリ１１１に記憶された教師画素のうちの、まだ、注目画素とされていないものが注目画素とされ、予測タップ抽出回路１１４は、生徒データメモリ１１３に記憶された生徒画素を上述したようにして選択することにより、注目画素についての予測タップを抽出する。また、ステップＳ９３において、クラスタップ抽出回路１１６は、生徒データメモリ１１３に記憶された生徒画素を上述したようにして選択することにより、注目画素についてのクラスタップを抽出する。

予測タップ抽出回路１１４により抽出された予測タップは足し込み回路１１５に供給され、クラスタップ抽出回路１１６により抽出されたクラスタップはクラス分類処理回路１１７に供給される。

クラス分類処理回路１１７は、ステップＳ９４において、クラスタップ抽出回路１１６からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを足し込み回路１１５に供給する。

ステップＳ９５において、足し込み回路１１５は、注目画素となっている教師画素をフレームメモリ１１１から読み出し、予測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とし、式（８）の各コンポーネントの、上述したような足し込みを、クラス分類処理回路１１７からのクラスごとに行う。

ステップＳ９６において、フレームメモリ１１１に記憶された教師画像を構成する教師画素すべてを注目画素として足し込みを行ったかどうかが判定される。ステップＳ９６において、まだ、教師画素のすべてを注目画素として足し込みを行っていないと判定された場合、ステップＳ９３に戻り、それ以降の処理が繰り返される。この場合、まだ、注目画素されていない教師画素のうちの１つが新たに注目画素とされ、ステップＳ９３乃至Ｓ９５の処理が繰り返される。

一方、ステップＳ９６において、教師画素すべてを注目画素として足し込みを行ったと判定された場合、即ち、足し込み回路１１５においてクラスごとの正規方程式が得られた場合、ステップＳ９７に進み、予測係数決定回路１１８は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を決定する。予測係数決定回路１１８により決定された予測係数は外部に出力され、処理が終了される。

図１９は、図６の係数メモリ５５に記憶させる予測係数を学習する学習装置１３１の構成例を示すブロック図である。

なお、学習装置１３１で用いられる教師データは、図６のリプレイ画像生成回路１２において求められるリプレイ画像に相当する画像である（図６のリプレイ画像生成回路１２において求められるリプレイ画像が、学習装置１３１で用いられる教師データに相当する）。

教師データとしての画像（図１９、図２０の説明においては、以下、教師画像という）は、例えば、フレーム単位でフレームメモリ１４１に供給され、フレームメモリ１４１は、供給される教師画像を順次記憶する。

ADRCエンコーダ１４２は、図６のADRCエンコーダ／デコーダ５１と同様に、フレームメモリ１４１に記憶されている教師画像を、例えば、９×９の画素からなるブロックに分割し、各ブロックを構成する画素に対して１ビットADRC処理を施す。ADRCエンコーダ１４２は、ADRC処理により得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータを時間履歴クラス分類処理回路１４３とADRCデコーダ１４４に出力する。

時間履歴クラス分類処理回路１４３は、フレームメモリ１４１に記憶されている教師画像を構成する画素（図１９、図２０の説明においては、以下、教師画素という）を、順次、注目画素とし、その注目画素のADRCコード、注目画素を含むブロック（ADRC処理の単位となるブロック）のダイナミックレンジDR、最小値MINを表すデータ、および、注目画素に対応する位置にある、前後１フレームの画素のADRCコード、その画素を含むブロックのダイナミックレンジDR、最小値MINを表すデータをADRCエンコーダ１４２の出力から取得し、クラス分類を行う。

時間履歴クラス分類処理回路１４３においては、図８を参照して説明したように、注目画素に対応する位置のダイナミックレンジDRの遷移と、ADRCコードの遷移に基づいてクラス分類が行われ、その結果得られるクラスに対応する時間履歴クラスコードが足し込み回路１４６に出力される。

ADRCデコーダ１４４は、図６のADRCエンコーダ／デコーダ５１がユーザからのリプレイ要求を受けたときと同様に、ADRCエンコーダ１４２により生成されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて各ブロックを構成する画素をデコードし、それを繰り返すことで１フレームのデコード画像を生成する。ADRCデコーダ１４４により生成されたデコード画像は、学習装置１３１に入力されるリプレイ画像と同じ解像度の画像に較べて劣化しているものであり、学習装置１３１においては生徒画像となる。

予測タップ抽出回路１４５は、ADRCデコーダ１４４により生成された生徒画像を構成する画素（図１９、図２０の説明においては、以下、生徒画素という）のうち、注目画素に対応する位置から空間的または時間的に近い位置にある幾つかの生徒画素を予測タップとする。

予測タップ抽出回路１４５は、図６の予測タップ抽出回路５３と同様に、注目画素に対応する位置に最も近い生徒画素、およびその左上、上、右上、左、右、左下、右下に隣接する８個の生徒画素、並びに、注目画素に対応する位置に最も近い生徒画素に対応する位置にある、１フレーム前の生徒画素を中心とした９画素（その生徒画素を含む）、および１フレーム後の生徒画素を中心とした９画素（その生徒画素を含む）の合計２７画素を予測タップとして設定する。予測タップ抽出回路１４５は、そのような２７画素からなる予測タップを足し込み回路１４６に出力する。

足し込み回路１４６は、注目画素となっている教師画素をフレームメモリ１４１から読み出し、予測タップ抽出回路１４５からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。

即ち、足し込み回路１４６は、時間履歴クラス分類処理回路１４３から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）のタップ係数にかかる左辺の行列における各コンポーネントとなっている、生徒画素どうしの乗算（ｘ_n,kｘ_n,k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み回路１４６は、やはり、時間履歴クラス分類処理回路１４３から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）の右辺における各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

足し込み回路１４６は、以上の足し込みを、フレームメモリ１４１に記憶された教師画素すべてを注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。

予測係数決定回路１４７は、足し込み回路１４６においてクラスごとに生成された正規方程式を解くことによりクラスごとの予測係数を求め、それを出力する。出力された予測係数は、係数メモリ５５の、各クラスに対応するアドレスに記憶される。

次に、図２０のフローチャートを参照して、図１９の学習装置１３１の学習処理について説明する。

ステップＳ１１１において、フレームメモリ１４１は、予測係数の学習用のものとして入力される教師画像となるリプレイ画像と同じ解像度の画像を記憶する。

ADRCエンコーダ１４２は、ステップＳ１１２において、フレームメモリ１４１に記憶されている教師画像を、所定の画素からなる複数のブロックに分割し、各ブロックに対して１ビットADRC処理（ADRCエンコード）を施す。ADRCエンコーダ１４２は、ADRC処理により得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータを時間履歴クラス分類処理回路１４３とADRCデコーダ１４４に出力する。

ステップＳ１１３において、ADRCデコーダ１４４は、ADRCエンコーダ１４２により生成されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて各ブロックの画素をデコードし、それを繰り返すことで、生徒画像となる１フレームのデコード画像を生成する。

ステップＳ１１４において、ADRCエンコーダ１４２からADRCコード、ダイナミックレンジDR、最小値MINを表すデータが供給されてきたとき、教師画素のうちの、まだ、注目画素とされていないものが注目画素とされ、時間履歴クラス分類処理回路１４３は、注目画素に対応する位置のダイナミックレンジDRの遷移と、ADRCコードの遷移に基づいてクラス分類を行う。その結果得られるクラスに対応する時間履歴クラスコードは、足し込み回路１４６に出力される。

ステップＳ１１５において、予測タップ抽出回路１４５は、ADRCデコーダ１４４により生成された生徒画像を構成する生徒画素のうち、注目画素の位置に対応する位置から空間的または時間的に近い位置にある幾つかの生徒画素を予測タップとして抽出し、抽出した予測タップを足し込み回路１４６に出力する。

ステップＳ１１６において、足し込み回路１４６は、注目画素となっている教師画素をフレームメモリ１４１から読み出し、予測タップ、注目画素である教師画素を対象とし、式（８）の各コンポーネントの上述したような足し込みを、時間履歴クラス分類処理回路１４３からのクラスごとに行う。

ステップＳ１１７において、フレームメモリ１４１に記憶された教師画像を構成する教師画素すべてを注目画素として足し込みを行ったかどうかが判定される。ステップＳ１１７において、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ１１４に戻り、それ以降の処理が繰り返される。この場合、まだ、注目画素されていない教師画素のうちの１つが新たに注目画素とされ、ステップＳ１１４乃至Ｓ１１６の処理が繰り返される。

一方、ステップＳ１１７において、教師画素すべてを注目画素として足し込みを行ったと判定された場合、即ち、足し込み回路１４６においてクラスごとの正規方程式が得られた場合、ステップＳ１１８に進み、予測係数決定回路１４７は、そのクラスごとに生成された正規方程式を解くことによりクラスごとの予測係数を決定する。予測係数決定回路１４７により決定された予測係数は外部に出力され、処理が終了される。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアによって行う場合、そのソフトウエアを構成するプログラムが、記録媒体等を介して汎用のコンピュータにインストールされる。

図２１は、上述した一連の処理を実行するプログラムがインストールされるパーソナルコンピュータ１６１の構成例を示すブロック図である。

パーソナルコンピュータ１６１に装着される記録媒体であるリムーバブルメディア１８１は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどより構成される。

図２１において、CPU(Central Processing Unit)１７１は、ROM(Read Only Memory)１７２に記憶されているプログラム、または、記憶部１７８からRAM(Random Access Memory)１７３にロードされたプログラムに従って各種の処理を実行する。RAM１７３にはまた、CPU１７１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU１７１、ROM１７２、およびRAM１７３は、バス１７４を介して相互に接続されている。このバス１７４にはまた、入出力インタフェース１７５も接続されている。

入出力インタフェース１７５には、キーボード、マウスなどよりなる入力部１７６、CRT(Cathode Ray Tube)，LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部１７７、ハードディスクなどより構成される記憶部１７８、ネットワークを介しての通信処理を行う通信部１７９が接続されている。

入出力インタフェース１７５にはまた、必要に応じてドライブ１８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１８１が適宜装着され、それから読み出されたコンピュータプログラムが記憶部１７８にインストールされる。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した画像処理装置の構成例を示すブロック図である。 表示装置が表示する画面の例を示す図である。 図１の高画質化回路の構成例を示すブロック図である。 予測タップを構成する画素の例を示す図である。 高画質化回路の高画質化処理について説明するフローチャートである。 図１のリプレイ画像生成回路の構成例を示すブロック図である。 予測タップを構成する画素の例を示す図である。 図６の時間履歴クラス分類処理回路の構成例を示すブロック図である。 ダイナミックレンジDRの遷移について示す図である。 ダイナミックレンジDRの遷移のパターンについて示す図である。 リプレイ画像生成回路の圧縮処理について説明するフローチャートである。 リプレイ画像生成回路のリプレイ画像生成処理について説明するフローチャートである。 図１２のステップＳ３５において実行される時間履歴クラス分類処理について説明するフローチャートである。 合成回路の出力処理について説明するフローチャートである。 図６の時間履歴クラス分類処理回路の他の構成例を示すブロック図である。 時間履歴クラス分類処理回路の時間履歴クラス分類処理について説明するフローチャートである。 図３の係数メモリに記憶させる予測係数を学習する学習装置の構成例を示すブロック図である。 図１７の学習装置の学習処理について説明するフローチャートである。 図６の係数メモリに記憶させる予測係数を学習する学習装置の構成例を示すブロック図である。 図１９の学習装置の学習処理について説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像処理装置， １１ 高画質化回路， １２ リプレイ画像生成回路， １３ 合成回路， ５１ ADRCエンコーダ／デコーダ， ５２ バッファ， ５３ 予測タップ抽出回路， ５４ 時間履歴クラス分類処理回路， ５５ 係数メモリ， ５６ 予測演算回路， ８１ DR履歴算出回路， ８２ 波形履歴算出回路， ８３ クラスコード算出回路， ９１ 履歴情報メモリ， ９２ 合成回路

Claims (12)

1. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成する画像処理装置において、
   前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮手段と、
   前記圧縮手段による圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶する記憶手段と、
   前記記憶手段に記憶されたブロック内の画素値の圧縮データに基づいて、前記第１の画像を復号する復号手段と、
   前記第２の画像の画素のうちの注目画素に対応する位置にある前記復号手段により復号された前記第１の画像の画素の周辺に位置する複数の画素を、前記注目画素を予測するのに用いる予測タップとして抽出する抽出手段と、
   前記注目画素に対応する位置の画素を含むブロックの前記記憶手段に記憶されている前記圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力手段と、
   前記出力手段により出力された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
   前記第２の画像に相当する教師画像と、前記第１の画像に相当する生徒画像とを用い、前記教師画像の画素と前記生徒画像の画素と予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記教師画像の画素のうちの注目画素と予測タップとして前記生徒画像の画素から抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより決定されたクラス毎の前記予測係数のうちの、前記クラス分類手段によりクラス分類された前記注目画素のクラスに対応する前記予測係数と、前記抽出手段により抽出された前記予測タップの画素との線形結合により、前記注目画素を予測する予測手段と
   を備える画像処理装置。
2. 前記圧縮処理は、ADRC(Adaptive Dynamic Range Coding)処理であり、
   前記圧縮データは、ダイナミックレンジ、最小値、および再量子化コードである
   請求項１に記載の画像処理装置。
3. 前記出力手段は、前記遷移情報として、前記注目画素に対応する位置を含む前記第１の画像の所定の範囲の画素のダイナミックレンジの遷移のパターンを表すデータを出力する
   請求項２に記載の画像処理装置。
4. 前記圧縮処理の対象となる画像と同じ前記第１の画像を高解像度の画像に変換する高画質化手段と、
   前記予測手段により予測された前記注目画素からなる前記第２の画像を、前記高画質化手段による変換によって得られた画像に重ねて表示させる表示制御手段と
   をさらに備える請求項３に記載の画像処理装置。
5. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成する画像処理方法において、
   前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、
   前記圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶手段に記憶する記憶ステップと、
   前記記憶ステップの処理により前記記憶手段に記憶されたブロック内の画素値の圧縮データに基づいて、前記第１の画像を復号する復号ステップと、
   前記第２の画像の画素のうちの注目画素に対応する位置にある前記復号ステップの処理により復号された前記第１の画像の画素の周辺に位置する複数の画素を、前記注目画素を予測するのに用いる予測タップとして抽出する抽出ステップと、
   前記注目画素に対応する位置の画素を含むブロックの前記記憶手段に記憶されている前記圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力ステップと、
   前記出力ステップの処理により出力された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
   前記第２の画像に相当する教師画像と、前記第１の画像に相当する生徒画像とを用い、前記教師画像の画素と前記生徒画像の画素と予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記教師画像の画素のうちの注目画素と予測タップとして前記生徒画像の画素から抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより決定されたクラス毎の前記予測係数のうちの、前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する前記予測係数と、前記抽出ステップの処理により抽出された前記予測タップの画素との線形結合により、前記注目画素を予測する予測ステップと
   を含む画像処理方法。
6. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
   前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、
   前記圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶手段に記憶する記憶ステップと、
   前記記憶ステップの処理により前記記憶手段に記憶されたブロック内の画素値の圧縮データに基づいて、前記第１の画像を復号する復号ステップと、
   前記第２の画像の画素のうちの注目画素に対応する位置にある前記復号ステップの処理により復号された前記第１の画像の画素の周辺に位置する複数の画素を、前記注目画素を予測するのに用いる予測タップとして抽出する抽出ステップと、
   前記注目画素に対応する位置の画素を含むブロックの前記記憶手段に記憶されている前記圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力ステップと、
   前記出力ステップの処理により出力された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
   前記第２の画像に相当する教師画像と、前記第１の画像に相当する生徒画像とを用い、前記教師画像の画素と前記生徒画像の画素と予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記教師画像の画素のうちの注目画素と予測タップとして前記生徒画像の画素から抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより決定されたクラス毎の前記予測係数のうちの、前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する前記予測係数と、前記抽出ステップの処理により抽出された前記予測タップの画素との線形結合により、前記注目画素を予測する予測ステップと
   を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
7. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成する処理をコンピュータに実行させるプログラムにおいて、
   前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、
   前記圧縮処理で得られた、ブロック内の画素値の圧縮データを記憶手段に記憶する記憶ステップと、
   前記記憶ステップの処理により前記記憶手段に記憶されたブロック内の画素値の圧縮データに基づいて、前記第１の画像を復号する復号ステップと、
   前記第２の画像の画素のうちの注目画素に対応する位置にある前記復号ステップの処理により復号された前記第１の画像の画素の周辺に位置する複数の画素を、前記注目画素を予測するのに用いる予測タップとして抽出する抽出ステップと、
   前記注目画素に対応する位置の画素を含むブロックの前記記憶手段に記憶されている前記圧縮データの時間的遷移のパターンを表すデータを遷移情報として出力する出力ステップと、
   前記出力ステップの処理により出力された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
   前記第２の画像に相当する教師画像と、前記第１の画像に相当する生徒画像とを用い、前記教師画像の画素と前記生徒画像の画素と予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記教師画像の画素のうちの注目画素と予測タップとして前記生徒画像の画素から抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより決定されたクラス毎の前記予測係数のうちの、前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する前記予測係数と、前記抽出ステップの処理により抽出された前記予測タップの画素との線形結合により、前記注目画素を予測する予測ステップと
   を含む処理をコンピュータに実行させるプログラム。
8. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成するために用いられる予測係数を学習する学習装置において、
   前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮手段と、
   前記圧縮手段による圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて前記第１の画像を復号し、前記予測係数の学習の生徒となる生徒画像として生成する復号手段と、
   前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの前記圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
   前記復号手段により復号された前記生徒画像の画素のうちの、前記注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出手段と、
   前記教師画像の画素と前記生徒画像の画素と前記予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記注目画素と前記予測タップとして前記抽出手段により抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより、クラス毎の前記予測係数を決定する決定手段と
   を備える学習装置。
9. 前記圧縮処理は、ADRC(Adaptive Dynamic Range Coding)処理であり、
   前記圧縮データは、ダイナミックレンジ、最小値、および再量子化コードである
   請求項８に記載の学習装置。
10. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成するために用いられる予測係数を学習する学習方法において、
    前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、
    前記圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて前記第１の画像を復号し、前記予測係数の学習の生徒となる生徒画像として生成する復号ステップと、
    前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの前記圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
    前記復号ステップの処理により復号された前記生徒画像の画素のうちの、前記注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記教師画像の画素と前記生徒画像の画素と前記予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記注目画素と前記予測タップとして前記抽出ステップの処理により抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより、クラス毎の前記予測係数を決定する決定ステップと
    を含む学習方法。
11. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成するために用いられる予測係数を学習する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
    前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、
    前記圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて前記第１の画像を復号し、前記予測係数の学習の生徒となる生徒画像として生成する復号ステップと、
    前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの前記圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
    前記復号ステップの処理により復号された前記生徒画像の画素のうちの、前記注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記教師画像の画素と前記生徒画像の画素と前記予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記注目画素と前記予測タップとして前記抽出ステップの処理により抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより、クラス毎の前記予測係数を決定する決定ステップと
    を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
12. 第１の画像から、前記第１の画像より解像度の高い第２の画像を生成するために用いられる予測係数を学習する処理をコンピュータに実行させるプログラムにおいて、
    前記第１の画像に圧縮処理を施し、前記第１の画像を、所定のブロック単位で圧縮データに圧縮する圧縮ステップと、
    前記圧縮処理で得られた、ブロック内の画素値の圧縮データに基づいて前記第１の画像を復号し、前記予測係数の学習の生徒となる生徒画像として生成する復号ステップと、
    前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の画素を含むブロックの前記圧縮データの時間的遷移のパターンを表すデータである遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
    前記復号ステップの処理により復号された前記生徒画像の画素のうちの、前記注目画素に対応する位置の画素の周辺に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記教師画像の画素と前記生徒画像の画素と前記予測係数との関係を示す正規方程式内の、前記教師画像の画素と前記生徒画像の画素とから構成される各項に、順に設定される前記注目画素と前記予測タップとして前記抽出ステップの処理により抽出された複数の画素を代入して前記正規方程式を解くことで、前記教師画像の画素と前記生徒画像の画素との関係を前記クラス毎に学習することにより、クラス毎の前記予測係数を決定する決定ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images