JP4123452B2

JP4123452B2 - Image processing apparatus and image processing method

Info

Publication number: JP4123452B2
Application number: JP16785598A
Authority: JP
Inventors: 哲二郎近藤; 智紀奥脇
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-06-16
Filing date: 1998-06-16
Publication date: 2008-07-23
Anticipated expiration: 2018-06-16
Also published as: JP2000004436A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、動画像の画質等の劣化を低減することができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来より、動画像を表示するときの走査方法の１つとして、インターレース走査がある。
【０００３】
即ち、例えば、ビデオカメラなどで画像を撮影した場合に、本来ならば、図１４に示すように、その内蔵するＣＣＤ（Charge Coupled Device）などの光電変換素子が有する画素と同一配置の画素（同図において、○印で示す）で、各フレームを構成し、伝送や記録を行うのが、画質や解像度などの面からは理想的である。
【０００４】
しかしながら、これでは、伝送や記録等する情報量が多くなる。そこで、情報量の低減のために、図１５に示すように、最初の画面（インターレース走査では、フィールド）は、奇数ラインの画素（同図において●印で示す）を間引いて、偶数ラインの画素（同図において○印で示す）だけで構成され、次の画面は、偶数ラインの画素（同図において●印で示す）を間引いて、奇数ラインの画素（同図において○印で示す）だけで構成され、さらに次の画面は、最初の画面と同様に構成され、以下、同様にして、画面が構成される。
【０００５】
ここで、インターレース走査は、上述したことから、情報量を低減するための画素を間引く手法の１つと考えることができるので、このような間引きの手法を、以下、適宜、インターレース間引きという。
【０００６】
【発明が解決しようとする課題】
ところで、画像の垂直方向の解像度は、そのライン数に依存する。従って、インターレース間引きを行うと、その間引き後の画像の垂直方向の解像度は、間引き前の画像の垂直方向の解像度の１／２になる。その結果、垂直方向の速い変化を表現するのが困難となり、そのような動きがあると、画質が劣化する課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、画素（画素データ）のレベル方向におけるビット間引きによる画質の劣化を低減することができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すビット間引き手段を備えることを特徴とする。
【０００９】
請求項３に記載の画像処理方法は、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことを特徴とする。
【００１２】
請求項４に記載の画像処理装置は、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２の画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元手段を備えることを特徴とする。
【００１３】
請求項１に記載の画像処理装置においては、ビット間引き手段が、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すようになされている。
【００１４】
請求項３に記載の画像処理方法においては、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すようになされている。
【００１７】
請求項４に記載の画像処理装置においては、復元手段が、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２の画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元するようになされている。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００１９】
即ち、請求項１に記載の画像処理装置は、動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理装置において、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施し、所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなるビット間引き画像データを生成するビット間引き手段（例えば、図１に示すレベル方向ビットサブサンプリング回路２など）と、ビット間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する復元処理、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元処理によって、元の画像データに復元されるビット間引き画像データを出力する出力手段（例えば、図１に示す送信処理回路４など）とを備え、ビット間引き手段が、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことを特徴とする。
【００２０】
請求項４に記載の画像処理装置は、動画像を構成する画像データの画素を間引くことにより生成されたビット間引き画像データを伸張する画像処理装置において、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られるビット間引き画像データを受信する受信手段（例えば、図１に示す受信処理回路８など）と、ビット間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元手段（例えば、図１に示すクラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、および画素データ生成回路１４など）とを備えることを特徴とする。
【００２１】
請求項６に記載の画像処理装置は、復元手段が、ビット間引き画像データの所定の注目画素に対して、注目画素の周辺に位置する周辺画素に基づいて、注目画素の特徴を表す所定のクラスを決定する決定手段（例えば、図１に示すクラスタリング回路１２など）と、決定手段が出力するクラスに対応するデータであって、かつ、ビット間引きが施される前の一方の画素の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素である注目画素に対応するビット間引きが施される前の画素の画素値を予測し、その画素値を発生する発生手段（例えば、図１に示すメモリ１３や画素データ生成回路１４など）とを有することを特徴とする。
【００２２】
請求項７に記載の画像処理装置は、発生手段が、学習用の動画像を構成する画像データを用いて、あらかじめ学習を行うことにより生成されたクラスごとの所定の予測データを、クラスごとに記憶する記憶手段（例えば、図１に示すメモリ１３など）を有し、決定手段が出力するクラスに対応する予測データを、記憶手段から読み出し、その読み出された予測データと、他方の画素の画素値との積和演算によって、注目画素に対応するビット間引きが施される前の画素の画素値を発生することを特徴とする。
【００２３】
請求項８に記載の画像処理装置は、記憶手段が、予測データとして、積和演算に用いる、クラスごとの所定の予測係数のセットを記憶しており、発生手段が、決定手段が出力するクラスに対応する予測係数のセットを、記憶手段から読み出し、その読み出された予測係数のセットと、注目画素の周辺に位置する、ビット間引き画像データの複数の画素の画素値であって、かつ、他方の画素の画素値との積和演算によって、注目画素に対応するビット間引きが施される前の画素の画素値を算出する演算手段（例えば、図１に示す画素データ生成回路１４など）をさらに有することを特徴とする。
【００２４】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２５】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２６】
この送受信システムは、送信装置１００と受信装置２００とで構成されている。そして、送信装置１００は、入力端子１、レベル方向ビットサブサンプリング回路２、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像の各画素（画素データ）のレベル方向の所定のビットを間引くことにより圧縮して送信するようになされており、受信装置２００は、入力端子７、受信処理回路８、デコーダ９、クラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、画素データ生成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像を伸張するようになされている。
【００２７】
即ち、送信装置１００には、例えば、図示せぬビデオカメラなどで撮影され、その内蔵するＣＣＤなどの光電変換素子が有する画素と同一配置の画素で、各フレームが構成される動画像（以下、適宜、全画素動画像という）のディジタル画像データが供給される。ここで、このような全画素動画像は、いわゆるプログレッシブカメラ（光電変換素子上の画素すべてを、いわゆるラスタスキャン順に走査して、１フレームの画像信号として出力するビデオカメラ）や、全画素カメラ（光電変換素子上の画素すべてにおける信号を、一度に、１フレームの画像信号として出力するビデオカメラ）などによって得ることができる。
【００２８】
このディジタル画像データは、入力端子１を介して、レベル方向ビットサブサンプリング回路２に供給される。レベル方向ビットサブサンプリング回路２に供給されるディジタル画像データとしての動画像を構成する各フレームの画素（画素データ）は、例えば８ビットで構成されており、レベル方向ビットサブサンプリング回路２では、その８ビットの各画素が、図２に示すように、空間方向および時間方向の両方向に、五の目格子状に、画素のレベル方向に対して異なるビット間引きにより間引かれることにより圧縮される。
【００２９】
ここで、図２において（後述する図３乃至図６および図１２においても同様）、●印および○印の両方が、全画素動画像を構成するフレームの画素（画素データ）を示している。そして、図３（Ａ）に示されるように、レベル方向ビットサブサンプリング回路２は、そのうちの●印の８ビットの画素データについては、そのレベル方向のＭＳＢ（Most Significant Bit）から２番目、４番目、６番目及び８番目（ＬＳＢ（Least Significant Bit））のビットを間引き、ＭＳＢから１番目、３番目、５番目及び７番目のビットから構成される４ビットの画素データ（以下、第１のビット間引き画素（画素データ）という）を構成する。また、レベル方向ビットサブサンプリング回路２は、○印の８ビットの画素データについては、そのレベル方向のＭＳＢから１番目、３番目、５番目及び７番目のビットを間引き、ＭＳＢから２番目、４番目、６目及び８番目のビットから構成される４ビットの画素データ（以下、第２のビット間引き画素（画素データ）という）を構成する。
【００３０】
従って、レベル方向ビットサブサンプリング回路２では、全画素動画像の第１フレームについては、例えば、図４（Ａ）に示すように、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ａ）に●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、また、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ａ）に○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。以下、同様にして、奇数フレームについては、第１または第２のビット間引き画素それぞれが、空間方向に、五の目格子状に並ぶように、各画素のレベル方向に対してビット間引きが行われる。
【００３１】
また、第２フレームについては、例えば、図４（Ｂ）に示すように、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ｂ）に●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ｂ）に○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。以下、同様にして、偶数フレームについても、第１または第２のビット間引き画素それぞれが、空間方向に、五の目格子状に並ぶように、各画素のレベル方向のビット間引きが行われる。
【００３２】
この場合、ある１ラインまたは１列に注目すれば、例えば、図５に示すように、第１フレームについては、その注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、第２フレームについては、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。そして、第３フレームについては、再び、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる
【００３３】
さらに、第１フレームについては、その注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、第２フレームについては、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。そして、第３フレームについては、再び、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。
【００３４】
以下、同様にして、ビット間引きが行われることにより、レベル方向ビットサブサンプリング回路２では、時間方向にも、第１または第２のビット間引き画素それぞれが、五の目格子状に並ぶように、各画素のレベル方向のビット間引きが行われる。
【００３５】
全画素動画像の各フレームについて、以上のように、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に、五の目格子状に並ぶように、各画素のレベル方向のビット間引き（以下、適宜、空間／時間五の目レベル方向ビット間引きという）が行われることにより、空間方向および時間方向のいずれの方向にも、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）が交互（１つおき）に存在するようになる。従って、空間／時間五の目レベル方向ビット間引き後の情報量は、単純には、従来技術のインターレース間引きを行った場合と同様に、元の情報量の１／２になる。
【００３６】
空間／時間五の目レベル方向ビット間引きは、このように情報量を低減することができる。さらに、間引き後の画素数自体は、元の画素数と変わらないから、水平方向、垂直方向、および斜め方向のいずれの解像度も維持することができ、その結果、これらのいずれの方向の速い変化をも表現することが可能となり、そのような動きがある場合の画質の劣化を低減（防止）することが可能となる。従って、空間／時間五の目レベル方向ビット間引きによれば、ディジタル画像データについて、いわば均一な間引きを実現できる。
【００３７】
図１に戻り、レベル方向ビットサブサンプリング回路２において、空間／時間五の目レベル方向ビット間引きが施されることにより得られるビット間引き画像データは、エンコーダ３に供給される。エンコーダ３では、レベル方向ビットサブサンプリング回路２からのビット間引き画像データ（第１のビット間引き画素と第２のビット間引き画素で構成される画像データ）が高能率符号化される。ここで、高能率符号化方式としては、例えば、ＤＣＴ（Discrete Cosine Transform）などの直交変換と動き補償を組み合わせたハイブリッド方式、ＤＣＴと量子化を組み合わせたハイブリッド方式、ＡＤＲＣ（Adaptive Dynamic Range Coding）などを用いることが可能である。なお、ＡＤＲＣについては、例えば、本出願人が先に出願している特開昭６１-１４４９８９号公報などに、その詳細が記載されている。なお、場合によっては（例えば、伝送路６の容量が充分大きい場合など）、このエンコーダ３は省略することが可能である。
【００３８】
エンコーダ３において、ビット間引き画像データが高能率符号化されることにより得られる符号化データは、送信処理回路４に供給される。送信処理回路４では、エンコーダ３からの符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、所定の伝送路６を介して送信される。なお、伝送路６には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスク、相変化ディスクその他の記録媒体も含まれる。
【００３９】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、送信装置のエンコーダ３に対応するデコーダ９に供給される。デコーダ９では、その符号化データがエンコーダ３の符号化処理に対応する復号処理によりデコードされ、第１のビット間引き画素と第２のビット間引き画素で構成されるビット間引き画像データとされ、クラスタップ／予測タップ切り出し回路１１に供給される。
【００４０】
クラスタップ／予測タップ切り出し回路１１は、例えば、図６に示すように、４ビットにレベル方向のビット間引きが施された所定のビット間引き画素（画素データ）ｘ’を注目画素（注目ビット間引き画素）としたとき、その注目ビット間引き画素ｘ’と、その空間方向の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄとを後述するクラスタリング回路１２でクラスを決定するのに用いる画素（以下、適宜、クラスタップという）として切り出すとともに、後述する画素データ生成回路１４で注目ビット間引き画素ｘ’を元の８ビットの画素データｘに復元するのに用いる画素（以下、予測タップという）として切り出す。この切り出されたクラスタップまたは予測タップは、クラスタリング回路１２または画素データ生成回路１４にそれぞれ供給される。なお、ここでは、ある注目ビット間引き画素について、クラスタップと予測タップを同一のビット間引き画素から構成することとしたが、異なるビット間引き画素から構成することも可能である。クラスタップ／予測タップ切り出し回路１１は、すべてのビット間引き画素（つまり、第１のビット間引き画素（画素データ）及び第２のビット間引き画素（画素データ））について、その上下左右に隣接するビット間引き画素でなるクラスタップまたは予測タップを構成し、クラスタリング回路１２または画素データ生成回路１４に、それぞれ供給する。
【００４１】
クラスタリング回路１２は、クラスタップ／予測タップ切り出し回路１１からのクラスタップを受け取り、そのクラスタップを構成する４ビットのビット間引き画素の性質に応じてクラスタリングを行い、注目ビット間引き画素に対する所定のクラスを発生する。
【００４２】
ここで、クラスタリングについて簡単に説明する。いま、例えば、図７（Ａ）に示すように、２×２画素でなるクラスタップを考え、各画素が、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとすると、この２×２の４画素のクラスタップは、各画素のレベル分布により、図７（Ｂ）に示すように、１６（＝（２¹）⁴）パターンにクラス分けすることができる。このようなクラス分けがクラスタリングであり、このような処理がクラスタリング回路１２において行われる。なお、ここでは、説明の簡略化を考え、各画素を１ビットで表現した場合について説明したが、本実施の形態では、クラスタップを構成する各画素を、例えば２ビットで表現し、そのようなクラスタップを対象にクラスタリングが行われるようになされている。
【００４３】
即ち、本実施の形態では、各画素（ビット間引き画素）には、４ビットが（その画素値を表現するために）割り当てられている。また、本実施の形態においては、上述したように、クラスタップは５画素（ビット間引き画素ｘ’，ａ，ｂ，ｃ，ｄ）で構成される。従って、このようなクラスタップを対象にクラスタリングを行ったのでは、（２⁴）⁵という膨大な数のクラスが生じることになる。
【００４４】
そこで、クラスタリング回路１２は、図８に示すように、２ビットＡＤＲＣ回路１６を有しており、この２ビットＡＤＲＣ回路１６において、クラスタップに対して、２ビットＡＤＲＣ処理が施されるようになされている。これにより、クラスタップを構成する各画素(ビット間引き画素)のビット数を４ビットから２ビットに減少させ、クラス数を削減するようになされている。
【００４５】
即ち、例えば、いま、説明を簡単にするため、図９（Ａ）に示すように、直線上に並んだ４画素で構成されるクラスタップを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４６】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、２ビットＡＤＲＣ回路１６では、Ｋ＝２として、図９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００４７】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００４８】
また、クラスタリングは、上述したように、クラスタップを構成する各画素（ビット間引き画素）のレベルそのものに基づいて行う他、例えば、クラスタップを構成する画素のレベルの傾向（例えば、すべての画素のレベルがほぼ揃っているとか、右にある画素のレベルが他の画素のレベルよりも高いまたは低いとかなど）など基づいて行うことも可能である。
【００４９】
２ビットＡＤＲＣ回路１６において、５画素のクラスタップに、２ビットＡＤＲＣ処理が施されることにより、５画素それぞれのビット数が２ビットにされたクラスタップが得られる。２ビットＡＤＲＣ回路１６は、このビット数が２ビットの５画素の画素値を並べた１０ビットのデータを、注目ビット間引き画素に対する仮のクラスとして出力する。
【００５０】
クラスタリング回路１２は、図８に示すように、２ビットＡＤＲＣ回路１６の他、ビット付加回路１７も有しており、２ビットＡＤＲＣ回路１６が出力する１０ビットの仮のクラスコードは、ビット付加回路１７に供給される。
【００５１】
ビット付加回路１７は、２ビットＡＤＲＣ回路１６からの仮のクラスコードに対して１ビットを付加し、最終的なクラスコードを生成する。即ち、ビット付加回路１７は、クラスタップに対する注目ビット間引き画素が第１のビット間引き画素（画素データ）であるかもしくは第２のビット間引き画素（画素データ）であるかによって異なる１ビットを付加ビットとして仮のクラスコードに付加する。例えば、注目ビット間引き画素が第１のビット間引き画素（画素データ）である場合には、ビット“０”を、注目ビット間引き画素が第２のビット間引き画素（画素データ）である場合には、ビット“１”を付加する。そして、この１ビットが付加された合計１１ビットが、注目ビット間引き画素に対する最終的なクラスとして、クラスタリング回路１２から出力される。
【００５２】
再び、図１に戻り、以上のようなクラスタリングにより得られた注目ビット間引き画素に対するクラス（クラスコード）は、メモリ１３に対して、アドレスとして与えられる。メモリ１３は、全画素動画像を構成する画素からレベル方向に対して空間／時間五の目レベル方向ビット間引きの施されたビット間引き画素（注目ビット間引き画素）ｘ’に対応する元の画素ｘを予測するための予測データを、クラスごとに記憶しており、クラスタリング回路１２からアドレスとしてのクラス（クラスコード）が与えられると、そのクラスに対応する予測データを読み出し、画素データ生成回路１４に供給する。
【００５３】
ここで、いまの場合、メモリ１３においては、例えば、注目画素（注目ビット間引き画素）ｘ’に対応する元の画素ｘを、その注目ビット間引き画素ｘ’と、その上下左右に隣接するビット間引き画素（画素データ）ａ乃至ｄ（図６）からなる予測タップを用いた線形一次式により予測するための、その線形一次式の係数（予測係数）のセットｗ₁，ｗ₂，ｗ₃，ｗ₄，ｗ₅が、予測データとして記憶されている。従って、メモリ１３から画素データ生成回路１４には、注目ビット間引き画素のクラスに対応する係数のセットｗ₁乃至ｗ₅が、予測データとして供給される。
【００５４】
画素データ生成回路１４は、予測データｗ₁乃至ｗ₅を受信すると、その予測データである係数のセットｗ₁乃至ｗ₅と、クラスタップ／予測タップ切り出し回路１１から供給された予測タップを構成するビット間引き画素（画素データ）の画素値ｘ’，ａ乃至ｄとを用いて、次の線形一次式を演算することにより、注目ビット間引き画素ｘ’に対応する元の８ビットの画素（画素データ）ｘを生成（予測）する。
【００５５】
ｘ＝ｗ₁ａ＋ｗ₂ｂ＋ｗ₃ｃ＋ｗ₄ｄ＋ｗ₅ｘ’
・・・（１）
【００５６】
画素データ生成回路１４で求められた８ビットの画素（画素データ）ｘは、出力端子１５に供給されて順次出力される。この結果、出力端子１５からは、元の全画素動画像を構成するフレームのデータが出力される。
【００５７】
次に、クラス毎の予測データの生成について説明する。注目ビット間引き画素である４ビットのビット間引き画素ｘ’から元の８ビットの画素（画素データ）ｘを求めるのに、式（１）の線形一次式を構成するための予測データである係数のセットｗ₁，ｗ₂，ｗ₃，ｗ₄，ｗ₅は、学習により求められるようになされている。
【００５８】
図１０は、予測データである係数のセットｗ₁乃至ｗ₅を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【００５９】
学習では、学習用の全画素動画像が複数用意され、入力端子２０には、その学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データとして係数のセットｗ₁乃至ｗ₅の作成を考慮した標準的なものであるのが望ましい。
【００６０】
入力端子２０に入力された全画素動画像の各フレームは、レベル方向ビットサンプリング回路２１に供給されるとともに、タップ切り出し回路２２に供給される。レベル方向ビットサンプリング回路２１では、上述した図１に示されるレベル方向ビットサブサンプリング回路２と同様に、全画素動画像に対して空間／時間方向五の目レベル方向ビット間引きが施され、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）でなるビット間引き画像データが生成される。このビット間引き画像データは、タップ切り出し回路２２に供給される。
【００６１】
タップ切り出し回路２２は、入力端子２０から供給された全画素動画像の各フレームを構成する画素から、図６に示した注目ビット間引き画素ｘ’に対応する８ビットの画素ｘを教師画素（画素データ）として切り出すとともに、レベル方向ビットサブサンプリング回路２１から供給されたビット間引き画像データから注目ビット間引き画素ｘ’と、その上下左右に隣接する４つのビット間引き画素（画素データ）ａ乃至ｄをクラスタップ及び予測タップとして切り出す。そして、タップ切り出し回路２２で切り出された５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなるクラスタップはクラスタリング回路２４に供給される。さらに、タップ切り出し回路２２で切り出された５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなる予測タップと８ビットの教師画素（画素データ）ｘはデータメモリ２３の入力端子ＩＮに供給される。
【００６２】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるクラスタップをＡＤＲＣ処理することによりクラスタリングする。さらに、その結果得られる仮のクラスコードに、注目ビット間引き画素が第１のビット間引き画素（画素データ）であるか、または第２のビット間引き画素（画素データ）であるかどうかを示す１ビットを付加し、それにより得られる最終的なクラスコードを注目ビット間引き画素のクラスとして、スイッチ２５の端子２５ａに供給する。ここで、スイッチ２５は、学習用の全画素動画像から得られるすべてのビット間引きについて、上述したクラスタリング処理及びデータメモリ２３への供給処理が終了するまでは、端子２５ａを選択しており、従って、クラスタリング回路２４が出力する注目ビット間引き画素に対するクラスは、スイッチ２５を介して、データメモリ２３のアドレス端子ＡＤに供給される。
【００６３】
データメモリ２３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給されるデータを記憶する。
【００６４】
ここで、例えば、所定のクラスＣｌａｓｓに分類される注目ビット間引き画素ｘ₁’，ｘ₂’，・・・，ｘ_n’について、その各注目ビット間引き画素ｘ₁’，ｘ₂’，・・・，ｘ_n’の位置に対応する、学習用の全画素動画像から得られる教師画素（画素データ）をｘ₁，ｘ₂，・・・，ｘ_nとする。また、注目ビット間引き画素ｘ₁’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ₁，ｂ₁，ｃ₁，ｄ₁と、注目ビット間引き画素ｘ₂’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ₂，ｂ₂，ｃ₂，ｄ₂と、・・・、注目ビット間引き画素ｘ_n’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ_n，ｂ_n，ｃ_n，ｄ_nと、それぞれする。この場合、上述の処理により、メモリ２３の、クラスＣｌａｓｓに対応するアドレスには、教師画素（画素データ）ｘ₁，ｘ₂，・・・，ｘ_n，予測タップを構成するビット間引き画素（画素データ）ａ₁，ａ₂，・・・，ａ_n，ｂ₁，ｂ₂，・・・，ｂ_n，ｃ₁，ｃ₂，・・・，ｃ_n，ｄ₁，ｄ₂，・・・，ｄ_n，ｘ₁’，ｘ₂’，・・・，ｘ_n’が記憶される。
【００６５】
学習用の全画素動画像から得られるすべての教師画素についてのクラスタリング処理及びデータメモリ２３への記憶処理が終了すると、スイッチ２５は端子２５ｂを選択する。端子２５ｂには、カウンタ２６の出力が供給されるようになされており、カウンタ２６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ２６が発生するアドレスは、スイッチ２５を介して出力される。カウンタ２６からスイッチ２５を介して出力されるアドレスは、データメモリ２３のアドレス端子ＡＤと、メモリ２８のアドレス端子ＡＤとに供給される。
【００６６】
データメモリ２３においては、そのアドレス端子ＡＤに供給される、カウンタ２６からのアドレスにしたがって、そのアドレスに対応する記憶内容（教師画素（画素データ）と予測タップを構成する５つのビット間引き画素（画素データ））が読み出され、最小自乗法演算回路２７に供給される。最小自乗法演算回路２７では、データメモリ２３から供給される教師画素（画素データ）と予測タップを構成するビット間引き画素（画素データ）に基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ₁乃至ｗ₅が求められる。
【００６７】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路２７では、データメモリ２３の、クラスＣｌａｓｓに対応するアドレスに記憶された教師画素（画素データ）ｘ₁，ｘ₂，・・・，ｘ_n、予測タップを構成する５つのビット間引き画素（画素データ）ａ₁，ａ₂，・・・，ａ_n，ｂ₁，ｂ₂，・・・，ｂ_n，ｃ₁，ｃ₂，・・・，ｃ_n，ｄ₁，ｄ₂，・・・，ｄ_n，ｘ₁’，ｘ₂’，・・・，ｘ_n’を用いて、式（１）に対応する、以下のような連立方程式がたてられる。
ｘ₁＝ｗ₁ａ₁＋ｗ₂ｂ₁＋ｗ₃ｃ₁＋ｗ₄ｄ₁＋ｗ₅ｘ₁’
ｘ₂＝ｗ₁ａ₂＋ｗ₂ｂ₂＋ｗ₃ｃ₂＋ｗ₄ｄ₂＋ｗ₅ｘ₂’
・
・
・
ｘ_n＝ｗ₁ａ_n＋ｗ₂ｂ_n＋ｗ₃ｃ_n＋ｗ₄ｄ_n＋ｗ₅ｘ_n’
・・・（２）
【００６８】
そして、最小自乗法演算回路２７は、式（２）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ₁乃至ｗ₅を求める。他のクラスについての予測データとしての係数のセットも同様にして求められる。
【００６９】
最小自乗法演算回路２７で求められた予測データとしての係数のセットｗ₁乃至ｗ₅は、メモリ２８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ₁乃至ｗ₅は、メモリ２３において、データｘ₁，ｘ₂，・・・，ｘ_n，ａ₁，ａ₂，・・・，ａ_n，ｂ₁，ｂ₂，・・・，ｂ_n，ｃ₁，ｃ₂，・・・，ｃ_n，ｄ₁，ｄ₂，・・・，ｄ_n，ｘ₁’，ｘ₂’，・・・，ｘ_n’が記憶されていたアドレスと同一のメモリ２８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ２８に記憶される。
【００７０】
図１のメモリ１３には、以上のようにしてメモリ２８に記憶された予測データとしての係数のセットが記憶されている。
【００７１】
次に、図１のメモリ１３には、予測データとして、式（１）に示した線形一次式を計算するための係数ではなく、８ビットの画素値そのものを記憶させておくようにすることができる。
【００７２】
図１１は、８ビットの画素値を予測データとしてメモリ１３に記憶させる場合の、その予測データを求める学習装置の一実施の形態の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。
【００７３】
入力端子２０に入力された全画素動画像の各フレームは、レベル方向ビットサンプリング回路２１に供給されるとともに、タップ切り出し回路２２に供給される。レベル方向ビットサンプリング回路２１では、上述した図１に示されるレベル方向ビットサブサンプリング回路と同様に、全画素動画像に対して空間／時間方向五の目レベル方向ビット間引きが施され、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）でなるビット間引き画像データが生成される。このビット間引き画像データは、タップ切り出し回路２２に供給される。
【００７４】
タップ切り出し回路２２は、入力端子２０から供給された全画素動画像の各フレームを構成する画素から、図６に示した注目ビット間引き画素ｘ’に対応する８ビットの画素ｘを教師画素（画素データ）として切り出すとともに、レベル方向ビットサブサンプリング回路２１から供給されたビット間引き画像データから注目ビット間引き画素ｘ’と、その上下左右に隣接する４つのビット間引き画素（画素データ）ａ乃至ｄをクラスタップとして切り出す。そして、タップ切り出し回路２２は、その５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなるクラスタップをクラスタリング回路２４に供給するとともに、８ビットの教師画素（画素データ）ｘを演算器３４に供給する。
【００７５】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるクラスタップをクラスタリングし、その結果得られるクラスを、データメモリ３０のアドレス端子ＡＤと、度数メモリ３１のアドレス端子ＡＤとに供給する。ここで、データメモリ３０および度数メモリ３１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【００７６】
度数メモリ３１では、そのアドレス端子ＡＤに、アドレスとしてのクラス（クラスコード）が供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ３１から出力された度数は、演算器３２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ３１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【００７７】
一方、データメモリ３０では、そのアドレス端子ＡＤに、アドレスとしてのクラス（クラスコード）が供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ３０の出力は、演算器３３に供給される。演算器３３には、さらに、度数メモリ３１が出力する度数も供給されており、そこでは、この度数と、データメモリ３０の出力とが乗算される。この乗算結果は、演算器３４に供給される。
【００７８】
演算器３４では、演算器３３における乗算結果と、タップ切り出し回路２２からの注目画素（８ビットの画素値）とが加算され、その加算値は、演算器３５に供給される。演算器３５には、さらに、演算器３２による度数のインクリメント結果も供給されており、そこでは、演算器３４の加算結果を被除数とするとともに、加算器３２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ３０の入力端子ＩＮに供給され、クラスタリング回路２４が出力するクラス（クラスコード）に対応するアドレスに記憶される（上書きされる）。
【００７９】
図１１の学習装置において、データメモリ３０および度数メモリ３１のあるアドレスａｄへのアクセスが最初に行われる場合には、タップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）ｘ１がそのまま、データメモリ３０のアドレスａｄに書き込まれ、また、度数メモリ３１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにタップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）がｘ２であったとすると、演算器３２の出力は２となり、また、演算器３４の出力はｘ１＋ｘ２となるから、演算器３５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ３０のアドレスａｄに書き込まれる。そして、度数メモリ３１のアドレスａｄには、演算器３２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにタップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）がｘ３であったとすると、同様の処理により、データメモリ３０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ３１のアドレスａｄには、３が書き込まれる。
【００８０】
以上のようにして、データメモリ３０には、各クラスに分類されるビット間引き画素に対応する教師画素（画素データ）の８ビットの画素値の平均値が記憶される。
【００８１】
なお、図１のメモリ１３に、データメモリ３０に記憶された８ビットの画素値を、予測データとして記憶させる場合には、その予測データとしての８ビットの画素値を、メモリ１３から読み出して出力することが８ビットの画素を予測することになるから、画素データ生成回路１４は設ける必要がなく、さらに、クラスタップ／予測タップ切り出し回路１１でも予測タップの生成、出力を行わずに済むようになる。
【００８２】
ところで、上述の場合には、図１のクラスタップ／予測タップ切り出し回路１１において、図６に示したように、ビット間引き画素（注目ビット間引き画素）ｘ’と、その空間方向の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄで１つのクラスタップ及び予測タップを構成するようにしたが、クラスタップ及び予測タップは、注目ビット間引き画素としてのビット間引き画素ｘ’の時間方向に隣接するビット間引き画素も含めて構成することが可能である。
【００８３】
即ち、例えば、図１２に示すように、第ｎフレームのある注目ビット間引き画素ｘ’についてクラスタップ及び予測タップを構成する場合においては、注目ビット間引き画素ｘ’、その同一フレーム内の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄ、並びに第ｎ−１フレームの、注目ビット間引き画素ｘ’と同一位置にあるビット間引き画素（画素データ）ｅ、および第ｎ＋１フレームの、注目ビット間引き画素ｘ’と同一位置にあるビット間引き画素（画素データ）ｆの合計７つのビット間引き画素（画素データ）などでクラスタップ及び予測タップを構成することが可能である。
【００８４】
この場合、時間方向のビット間引き画素（画素データ）ｅ，ｆをも考慮してクラスタリングや、式（１）の演算が行われるので、注目ビット間引き画素ｘ’を、より元のものに近い画素ｘに復元することが可能となる。なお、この場合、学習時においても、同様にクラスタップを構成する必要がある。また、クラスタップは、注目ビット間引き画素ｘ’の時間方向にある間引き後画素だけで構成することも可能である。
【００８５】
次に、以上では、受信装置２００において、学習を行うことにより得られた予測データを用いて、ビット間引き画素から元の８ビットの画素を予測するようにしたので、ビット間引き画素で構成される画像に含まれていない高周波成分も復元することができるが、ビット間引画素に対する元の画素の復元は、単純なビット補間によって行うことも可能である。
【００８６】
図１３は、そのような送受信システムの一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この送受信システムは、クラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、および画素データ生成回路１４に代えて、補間フィルタ４０が設けられている他は、図１の送受信システムと同様に構成されている。
【００８７】
補間フィルタ４０は、デコーダ９からの注目ビット間引き画素（画素データ）の間引かれたビットを、その周辺にあるビット間引き画素（画素データ）を用いて補間して出力する。この場合、図１における場合のように、ビット間引き画素で構成される画像に含まれていない高周波成分を復元することはできないが、受信装置２００の構成を簡単化することができる。
【００８８】
以上、本発明を適用した送受信システムについて説明したが、このような送受信システムは、テレビジョン放送は勿論、画像を記録／再生する場合などにも用いることができる。
【００８９】
なお、本実施の形態では、あるビット間引き画素に注目した場合において、クラスタリングで使用されるクラスタップに用いるビット間引き画素（画素データ）と、式（１）に示した線形一次式を計算するのに使用される予測タップに用いるビット間引き画素（画素データ）とを同一のものとしたが、これらは、同一である必要はなく、クラスタップと予測タップとには、それぞれ別々のビット間引き画素の集合を用いることができる。即ち、クラスタップを構成する画素と、予測タップを構成する画素とは、それぞれ、クラスタップ／予測タップ切り出し回路１１に適応的に切り出させることができる。なお、予測タップ、クラスタップの切り出し方は、画像の空間的な特徴（アクティビティ）や動き等に応じて適応的に変えてもよい。
【００９０】
また、本実施の形態においては、クラスタップや予測タップに、注目ビット間引き画素（画素データ）を含めるようにしたが、注目ビット間引き画素を含めないようにすることも可能である。この場合、クラス毎の予測データを生成する学習時においても同様に、クラスタップや予測タップに注目ビット間引き画素（画素データ）を含めないようにする必要がある。
【００９１】
さらに、クラスタップとしてのビット間引き画素（画素データ）や、予測タップとしてのビット間引き画素（画素データ）は、注目ビット間引き画素に対して、空間的または時間的に隣接している必要はない。但し、注目ビット間引き画素の周辺にあるビット間引き画素（画素データ）を用いるのが望ましい。
【００９２】
また、本実施の形態においては、動画像を構成する各フレームの８ビットの画素を４ビットの画素にビット間引きするようにしたが、本発明はこれに限らず、例えば、１２ビットの画素を６ビットの画素にビット間引きしたり、１２ビットの画素を８ビットや４ビットに間引いてもよい。即ち、オリジナルの動画像や空間／時間五の目レベル方向ビット間引き後のビット間引き画像データの各画素のビット数は、特に限定されるものではない。
【００９３】
さらに、本実施の形態においては、動画像データの画素の８ビットの画素値を、１ビットおきに間引き、４ビットの画素値とするようにしたが、本発明はこれに限らず、例えば、第１のビット間引き画素は、元の画素のレベル方向のＭＳＢから３番目、４番目、５番目及び６番目のビットを間引き、ＭＳＢから１番目、２番目、７番目及び８番目のビットの４ビットの画素データから構成し、第２のビット間引き画素は、元の画素のレベル方向のＭＳＢから１番目、２番目、７番目及び８番目（ＬＳＢ）のビットを間引き、ＭＳＢから３番目、４番目、５番目及び６番目のビットの４ビットの画素データから構成してもよい。
【００９４】
また、本実施の形態では、第１と第２のビット間引き画素それぞれを生成するのにあたって、元の画素から、それぞれ相補的な関係にあるビットを間引くようにしたが、即ち、第１のビット間引き画素は、元の画素のＭＳＢから偶数番目のビットを間引くことによって、第２のビット間引き画素は、元の画素のＭＳＢから奇数番目のビットを間引くことによって、それぞれ生成するようにしたが、第１または第２のビット間引き画素それぞれを生成するにあたっては、元の画素から、一部重複するビットを間引くようにすることも可能である。
【００９５】
さらに、本実施の形態においては、予測タップとして５ビットのビット間引き画素データを用い、係数との線形一時結合により元の画素データを復元することとしたが、その他、例えば、４ビットのビット間引き画素データを一時的に８ビットの画素データに変換し、その８ビットの画素データと係数とを用いた線形一時結合により元の画素データを復元してもよい。４ビットのビット間引き画素を、一時的に８ビットの画素に変換する方法としては、例えば、間引かれたビット位置に、一時的にビット“０”または“１”を補間して、８ビットの画素データにする方法がある。この場合、クラス毎の予測データとしての係数のセットを生成する学習時においても同様に、４ビットのビット間引き画素データから８ビットの画素データに一時的に変換したものを用いる必要がある。
【００９６】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法によれば、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きが施される。従って、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【００９８】
請求項４に記載の画像処理装置によれば、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値が復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した送受信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図３】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図４】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図５】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図６】図１のクラスタップ／予測タップ切り出し回路１１の処理を説明するための図である。
【図７】図１のクラスタリング回路１２の処理を説明するための図である。
【図８】図１のクラスタリング回路１２の構成例を示す図である。
【図９】ＡＤＲＣを説明するための図である。
【図１０】予測用データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１１】予測用データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１のクラスタップ／予測タップ切り出し回路１１の他の処理を説明するための図である。
【図１３】本発明を適用した送受信システムの第２実施の形態の構成例を示すブロック図である。
【図１４】インターレース間引きがされる前の画像を示す図である。
【図１５】インターレース間引きがされる後の画像を示す図である。
【符号の説明】
１入力端子，２レベル方向ビットサブサンプリング回路，３エンコーダ，４送信処理装置，５出力端子，６伝送路，７入力端子，８受信処理回路，９デコーダ，１１クラスタップ／予測タップ切り出し回路，１２クラスタリング回路，１３メモリ，１４画素データ生成回路，１５出力端子，２０入力端子，２１レベル方向サブサンプリング回路，２２タップ切り出し回路，２３データメリ，２４クラスタリング回路，２５スイッチ，２５ａ，２５ｂ端子，２６カウンタ，２７最小自乗法演算回路，２８メモリ，３０データメモリ，３１度数メモリ，３２乃至３５演算器，４０補間フィルタ，１００送信装置，２００受信装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method. Law In particular, an image processing apparatus and an image processing method capable of reducing deterioration in image quality and the like of moving images Law About.
[0002]
[Prior art]
Conventionally, interlaced scanning is one of scanning methods for displaying moving images.
[0003]
That is, for example, when an image is taken with a video camera or the like, as shown in FIG. 14, pixels (same as the pixels) of the same arrangement as the pixels of a photoelectric conversion element such as a built-in CCD (Charge Coupled Device), It is ideal in terms of image quality, resolution, etc. that each frame is configured and transmitted and recorded by (indicated by circles in the figure).
[0004]
However, this increases the amount of information to be transmitted and recorded. Therefore, in order to reduce the amount of information, as shown in FIG. 15, the first screen (field in the case of interlaced scanning) is obtained by thinning out odd-numbered pixels (indicated by ● in the figure) to obtain even-numbered pixels. The next screen is composed of only even-line pixels (indicated by a circle in the figure) by thinning out even-line pixels (indicated by a circle in the figure). The next screen is configured in the same manner as the first screen, and the screen is configured in the same manner.
[0005]
Here, since the interlaced scanning can be considered as one of the methods for thinning out pixels for reducing the information amount as described above, such a thinning-out method is hereinafter referred to as interlaced thinning as appropriate.
[0006]
[Problems to be solved by the invention]
Incidentally, the vertical resolution of an image depends on the number of lines. Therefore, when interlace decimation is performed, the vertical resolution of the image after decimation is ½ of the vertical resolution of the image before decimation. As a result, it is difficult to express a fast change in the vertical direction, and there is a problem that image quality deteriorates when there is such a movement.
[0007]
The present invention has been made in view of such circumstances, and is intended to reduce image quality degradation due to bit thinning in the level direction of a pixel (pixel data).
[0008]
[Means for Solving the Problems]
The image processing apparatus according to claim 1 includes bit thinning means for performing bit thinning so that each of the first or second bit thinned pixels is arranged in a five-mesh lattice pattern in both the spatial direction and the time direction. It is characterized by.
[0009]
Claim 3 The image processing method described in (1) is characterized in that bit thinning is performed so that each of the first or second bit thinning pixels is arranged in a five-mesh lattice pattern in both the spatial direction and the temporal direction.
[0012]
Claim 4 Is obtained by performing bit thinning out in the level direction on the pixels of each frame constituting the moving image. A pixel with a predetermined bit thinned out A first bit decimation pixel and , A pixel with bits different from the predetermined bit thinned out Thinned-out image data composed of second bit-thinned pixels, by performing bit-thinning so that the first or second bit-thinned pixels are arranged in a five grid pattern in both the spatial and temporal directions Thinned image data obtained Constituting the first and second About pixels The original pixel value of one pixel is restored by interpolating the bits decimated by the one pixel using the pixel value of the other pixel, or the original pixel value of one pixel is predicted The original pixel value of one pixel is obtained by multiply-and-accumulate the prediction data, which is data used for the above, and the pixel value of the other pixel. It is characterized by comprising a restoring means for restoring.
[0013]
2. The image processing apparatus according to claim 1, wherein the bit thinning means performs bit thinning so that each of the first or second bit thinned pixels is arranged in a five-dot lattice in both the spatial direction and the time direction. It is made like that.
[0014]
Claim 3 In the image processing method described in 1), bit thinning is performed so that each of the first or second bit thinning pixels is arranged in a five-mesh lattice pattern in both the spatial direction and the temporal direction.
[0017]
Claim 4 In the image processing apparatus described in (2), the restoration means is obtained by performing bit thinning out in the level direction for the pixels of each frame constituting the moving image. A pixel with a predetermined bit thinned out A first bit decimation pixel and , A pixel with bits different from the predetermined bit thinned out Thinned-out image data composed of second bit-thinned pixels, by performing bit-thinning so that the first or second bit-thinned pixels are arranged in a five grid pattern in both the spatial and temporal directions Thinned image data obtained Constituting the first and second About pixels The original pixel value of one pixel is restored by interpolating the bits decimated by the one pixel using the pixel value of the other pixel, or the original pixel value of one pixel is predicted The original pixel value of one pixel is obtained by multiply-and-accumulate the prediction data, which is data used for the above, and the pixel value of the other pixel. Has been made to restore.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below, but before that, in order to clarify the correspondence between the respective means of the invention described in the claims and the following embodiments, after each means, A corresponding embodiment (however, an example) is added in parentheses to describe the characteristics of the present invention, and the following is obtained.
[0019]
That is, the image processing apparatus according to claim 1 restores image data constituting a moving image. processing In an image processing apparatus that compresses while suppressing deterioration of image quality at the time, bits are thinned out in the level direction for pixels of each frame constituting a moving image, and predetermined bits are thinned out. Is a pixel Bit thinning means (for example, a level shown in FIG. 1) for generating bit thinned image data composed of a first bit thinned pixel and a second bit thinned pixel that is a pixel from which a bit different from a predetermined bit is thinned. Direction bit sub-sampling circuit 2 etc.), For the first and second bit-thinned pixels constituting the bit-thinned image data, by interpolating the bit thinned out in one pixel using the pixel value of the other pixel, The original processing of one pixel is performed by a sum-of-products operation of the prediction data, which is data used to predict the original pixel value of one pixel, and the pixel value of the other pixel The original image data is restored by the restoration process that restores the pixel values. Output means (for example, the transmission processing circuit 4 shown in FIG. 1) that outputs bit-thinned image data, and the bit-thinning means includes each of the first and second bit-thinned pixels in both the spatial direction and the time direction. In addition, bit thinning is performed so as to be arranged in a five-lattice grid.
[0020]
Claim 4 The image processing apparatus described in the above is an image processing apparatus that decompresses bit-thinned image data generated by thinning out the pixels of image data constituting a moving image. Predetermined bits obtained by thinning out bits in the level direction were thinned out Is a pixel Thinned-out image data composed of a first bit-thinned pixel and a second bit-thinned pixel that is a pixel from which a bit different from a predetermined bit is thinned, wherein the first or second bit-thinned pixel is Receiving means (for example, the reception processing circuit 8 shown in FIG. 1) for receiving bit-thinned image data obtained by performing bit-thinning so as to be arranged in the form of a five grid in both the spatial direction and the time direction; Configure thinned image data First and second bit decimation About pixels One Bit thinned out by pixel The other Pixel value of the pixel Restore original pixel value of one pixel by interpolating with , Or, by calculating the sum of products of prediction data, which is data used to predict the original pixel value of one pixel, and the pixel value of the other pixel, Pixels The original pixel value of For example, a class tap / predictive tap cut-out circuit 11, a clustering circuit 12, a memory 13, and a pixel data generation circuit 14 shown in FIG. 1).
[0021]
Claim 6 In the image processing apparatus described in (1), the restoration unit determines a predetermined class representing a feature of the target pixel based on peripheral pixels located around the target pixel with respect to the predetermined target pixel of the bit-thinned image data. The data corresponding to the class output by the determining means (for example, the clustering circuit 12 shown in FIG. 1) and the determining means, and before the bit thinning is performed One Pixel pixel value Predictive data that is used to predict And the sum of products of the pixel value of the other pixel , One of the pixels Pixel before bit thinning corresponding to the target pixel Pixel value of Predict that pixel value And generating means (for example, the memory 13 and the pixel data generation circuit 14 shown in FIG. 1).
[0022]
Claim 7 In the image processing apparatus described in the above, the generation unit stores, for each class, predetermined prediction data for each class generated by performing learning in advance using image data constituting a moving image for learning. The prediction data corresponding to the class output by the determining means is read out from the storage means, and the read prediction data is provided (for example, the memory 13 shown in FIG. 1). And the sum of products of the pixel value of the other pixel The pixel of the pixel before the bit thinning corresponding to the target pixel is performed value It is characterized by generating.
[0023]
Claim 8 In the image processing apparatus described in the above, the storage unit has the prediction data as Used for multiply-accumulate operations, A set of predetermined prediction coefficients for each class is stored, and the generation unit reads a set of prediction coefficients corresponding to the class output by the determination unit from the storage unit, and the read set of prediction coefficients, Multiple pixels of bit-thinned image data located around the pixel of interest And the pixel value of the other pixel When By multiply-and-accumulate The pixel of the pixel before the bit thinning corresponding to the target pixel is performed value Further, it is characterized by further comprising a calculation means (for example, the pixel data generation circuit 14 shown in FIG.
[0024]
Of course, this description does not mean that the respective means are limited to those described above.
[0025]
FIG. 1 shows an embodiment of a transmission / reception system to which the present invention is applied (a system is a logical collection of a plurality of devices, regardless of whether or not each component device is in the same casing). The example of a structure of the form is shown.
[0026]
This transmission / reception system includes a transmission device 100 and a reception device 200. The transmission apparatus 100 includes an input terminal 1, a level direction bit sub-sampling circuit 2, an encoder 3, a transmission processing circuit 4, and an output terminal 5, and a predetermined bit in the level direction of each pixel (pixel data) of the image. The reception device 200 is configured to compress and transmit by thinning out the input terminal 7, the reception processing circuit 8, the decoder 9, the class tap / prediction tap cutout circuit 11, the clustering circuit 12, the memory 13, and the pixel data. The generation circuit 14 and the output terminal 15 are configured to expand the compressed image from the transmission apparatus 100.
[0027]
That is, for example, the transmission apparatus 100 captures a moving image (hereinafter, referred to as “video”), which is captured by a video camera (not shown), and each frame is composed of pixels arranged in the same manner as pixels included in a photoelectric conversion element such as a built-in CCD. Digital image data of all pixel moving images is supplied as appropriate. Here, such an all-pixel moving image is a so-called progressive camera (a video camera that scans all the pixels on the photoelectric conversion element in a so-called raster scan order and outputs them as a one-frame image signal) or an all-pixel camera ( The signal in all the pixels on the photoelectric conversion element can be obtained by a video camera that outputs the image signal as one frame at a time.
[0028]
This digital image data is supplied to the level direction bit sub-sampling circuit 2 via the input terminal 1. The pixels (pixel data) of each frame constituting a moving image as digital image data supplied to the level direction bit sub-sampling circuit 2 are composed of, for example, 8 bits. As shown in FIG. 2, each 8-bit pixel is compressed by being thinned by different bit thinning out in the direction of the level of the pixel in a grid pattern in both the spatial direction and the temporal direction.
[0029]
Here, in FIG. 2 (the same applies to FIGS. 3 to 6 and FIG. 12 described later), both the ● mark and the ○ mark indicate the pixels (pixel data) of the frame constituting the all-pixel moving image. Then, as shown in FIG. 3A, the level direction bit sub-sampling circuit 2 takes the second and fourth from the MSB (Most Significant Bit) in the level direction for the 8-bit pixel data marked with ●. The fourth, sixth and eighth (LSB (Least Significant Bit)) bits are thinned out, and 4-bit pixel data (hereinafter referred to as the first bit) composed of the first, third, fifth and seventh bits from the MSB. A bit thinned pixel (pixel data)). Further, the level direction bit sub-sampling circuit 2 thins out the first, third, fifth and seventh bits from the MSB in the level direction for the 8-bit pixel data marked with ○, and the second, 4th from the MSB. 4-bit pixel data (hereinafter referred to as second-bit thinned-out pixels (pixel data)) composed of the sixth, eighth, and eighth bits is configured.
[0030]
Therefore, in the level direction bit sub-sampling circuit 2, for the first frame of all pixel moving images, as shown in FIG. 4A, for example, the second, fourth, and sixth columns of the first line , 8th row,..., Pixels in the 1st row, 3rd row, 5th row, 7th row,. Of the 8 bits of each pixel data, 4 bits are thinned out so as to be configured as bit thinned pixels (pixel data), and the first, third, fifth, and seventh lines of the first line are also thinned out. Pixels in the second row, second row, fourth row, sixth row, eighth row,... In the second row,. Of the 8 bits of each pixel data, 4 bits are thinned out so as to be configured as a pixel (pixel data). Hereinafter, similarly, for odd frames, bit thinning is performed in the level direction of each pixel so that the first or second bit thinned pixels are arranged in the form of a fifth grid in the spatial direction. .
[0031]
For the second frame, for example, as shown in FIG. 4B, the first, third, fifth, seventh,... The pixels in the 4th, 4th, 6th, 8th,... Columns (indicated by the ● marks in FIG. 5B) are configured as the first bit thinned pixels (pixel data). Of the 8 bits of each pixel data, 4 bits are thinned out, and the second, fourth, sixth, eighth,...,. The pixels in the fifth column, the seventh column, the seventh column,... (Shown by circles in FIG. 5B) are configured as second bit thinned pixels (pixel data). Of the 8 bits, 4 bits are skipped. Similarly, for even frames, bit thinning is performed in the level direction of each pixel so that the first or second bit thinned pixels are arranged in a grid pattern in the spatial direction.
[0032]
In this case, if attention is paid to a certain line or column, for example, as shown in FIG. 5, for the first frame, the second, fourth, sixth, eighth, .. (Indicated by a black circle in the figure) is configured as a first bit-thinned pixel (pixel data), 4 bits of the 8 bits of each pixel data are thinned, and the second As for the frame, the first, third, fifth, seventh,... Pixels (indicated by ● in the figure) constituting the target line or target column are the first bit thinned pixels (pixel data). As configured, 4 bits out of 8 bits of each pixel data are thinned out. Then, with respect to the third frame, the second, fourth, sixth, eighth,... Pixels (indicated by the mark ● in the figure) constituting the target line or target column are again reduced to the first bit. 4 bits out of 8 bits of each pixel data are thinned out so as to be configured as a pixel (pixel data).
[0033]
Further, for the first frame, the first, third, fifth, seventh,... Pixels (indicated by circles in the figure) constituting the target line or target column are the second bit thinned pixels. 4 bits out of 8 bits of each pixel data are thinned out so as to be configured as (pixel data), and for the second frame, the second, fourth, sixth, 4 bits out of 8 bits of each pixel data are thinned out so that the eighth,... Pixel (indicated by a circle in the figure) is configured as a second bit thinned pixel (pixel data). . For the third frame, the first, third, fifth, seventh,... Pixels (indicated by a circle in the figure) constituting the target line or target column are again thinned by the second bit. Of the 8 bits of each pixel data, 4 bits are thinned out so as to be configured as pixels (pixel data).
[0034]
Hereinafter, in the same manner, by performing bit thinning, in the level direction bit sub-sampling circuit 2, the first or second bit thinned pixels are also arranged in a five-point grid in the time direction. Bit thinning is performed in the level direction of each pixel.
[0035]
For each frame of all pixel moving images, as described above, the level direction of each pixel is such that the first or second bit-thinned pixels are arranged in a five-point grid in both the spatial direction and the temporal direction. Bit thinning (hereinafter referred to as space / time fifth eye level direction bit thinning as appropriate), the first bit thinned pixel (pixel data) and the first bit thinned in both the spatial direction and the temporal direction. Two bit-thinned pixels (pixel data) are present alternately (every other). Therefore, the information amount after the space / time fifth eye level direction bit decimation is simply ½ of the original information amount as in the case of the interlace decimation in the prior art.
[0036]
Space / time fifth eye level direction bit decimation can thus reduce the amount of information. Furthermore, since the number of pixels after thinning is not different from the original number of pixels, it is possible to maintain any resolution in the horizontal direction, the vertical direction, and the diagonal direction, and as a result, fast change in any of these directions. Can also be expressed, and it is possible to reduce (prevent) degradation of image quality when there is such movement. Therefore, according to space / time fifth eye level direction bit thinning, so-called uniform thinning can be realized for digital image data.
[0037]
Returning to FIG. 1, the bit direction thinned image data obtained by performing the space level / time fifth level direction bit thinning in the level direction bit sub-sampling circuit 2 is supplied to the encoder 3. In the encoder 3, the bit-thinned image data (image data composed of the first bit-thinned pixel and the second bit-thinned pixel) from the level direction bit sub-sampling circuit 2 is subjected to high efficiency coding. Here, as a high-efficiency encoding method, for example, a hybrid method combining orthogonal transform and motion compensation such as DCT (Discrete Cosine Transform), a hybrid method combining DCT and quantization, ADRC (Adaptive Dynamic Range Coding), etc. Can be used. The details of ADRC are described in, for example, Japanese Patent Application Laid-Open No. 61-144989 previously filed by the present applicant. In some cases (for example, when the capacity of the transmission line 6 is sufficiently large), the encoder 3 can be omitted.
[0038]
In the encoder 3, encoded data obtained by high-efficiency encoding of the bit-thinned image data is supplied to the transmission processing circuit 4. In the transmission processing circuit 4, for example, necessary signal processing such as error correction, packetization, and channel coding is performed on the encoded data from the encoder 3, and transmission data obtained as a result is sent to the output terminal 5. Is output via. This transmission data is transmitted via a predetermined transmission path 6. The transmission path 6 includes, for example, a satellite line, a communication line such as a terrestrial wave, a CATV network, a public network, and the Internet, for example, a magnetic recording / reproducing process, and a magnetic disk, an optical disk, a magnetic tape Also included are magneto-optical disks, phase change disks and other recording media.
[0039]
Transmission data from the transmission path 6 is received by the reception processing circuit 8 via the input terminal 7 of the reception device 200. The reception processing circuit 8 performs necessary signal processing such as channel decoding, unpacketization, and error correction on the transmission data, and the encoded data obtained as a result is a decoder corresponding to the encoder 3 of the transmission apparatus. 9 is supplied. In the decoder 9, the encoded data is decoded by a decoding process corresponding to the encoding process of the encoder 3, and is converted into bit-thinned image data composed of a first bit-thinned pixel and a second bit-thinned pixel. / The prediction tap cut-out circuit 11 is supplied.
[0040]
For example, as illustrated in FIG. 6, the class tap / predictive tap cutout circuit 11 converts a predetermined bit thinned pixel (pixel data) x ′ obtained by performing bit thinning in the level direction to four bits to a target pixel (target bit thinned pixel). ), The class is determined by the clustering circuit 12 which will be described later with respect to the target bit thinned pixel x ′ and four bit thinned pixels (pixel data) a, b, c, and d adjacent in the spatial direction. A pixel (hereinafter referred to as a class tap as appropriate) that is used to perform the extraction, and a pixel (hereinafter referred to as “pixel tap”) that is used to restore the target bit thinned pixel x ′ to the original 8-bit pixel data x by the pixel data generation circuit 14 described later. Cut out as a prediction tap). The extracted class tap or prediction tap is supplied to the clustering circuit 12 or the pixel data generation circuit 14, respectively. Note that here, for a certain bit-thinned pixel, the class tap and the prediction tap are configured from the same bit-thinned pixel, but can be configured from different bit-thinned pixels. The class tap / prediction tap cutout circuit 11 performs bit thinning on all the bit thinned pixels (that is, the first bit thinned pixel (pixel data) and the second bit thinned pixel (pixel data)) adjacent to each other in the vertical and horizontal directions. A class tap or a prediction tap composed of pixels is formed and supplied to the clustering circuit 12 or the pixel data generation circuit 14, respectively.
[0041]
The clustering circuit 12 receives the class tap from the class tap / predictive tap cut-out circuit 11, performs clustering according to the properties of the 4-bit bit thinned pixels constituting the class tap, and selects a predetermined class for the target bit thinned pixel. appear.
[0042]
Here, the clustering will be briefly described. Now, for example, as shown in FIG. 7A, a class tap composed of 2 × 2 pixels is considered, and each pixel is represented by 1 bit (takes a level of 0 or 1). Then, as shown in FIG. 7B, the class tap of 2 × 2 4 pixels is 16 (= (2 ¹ ) ^Four ) Can be classified into patterns. Such classification is clustering, and such processing is performed in the clustering circuit 12. Here, in consideration of simplification of the description, the case where each pixel is expressed by 1 bit has been described. However, in this embodiment, each pixel constituting the class tap is expressed by 2 bits, for example. Clustering is performed for various class taps.
[0043]
That is, in this embodiment, 4 bits are allocated to each pixel (bit thinned pixel) (in order to express the pixel value). In the present embodiment, as described above, the class tap is composed of five pixels (bit thinned pixels x ′, a, b, c, d). Therefore, when clustering is performed for such class taps, (2 ^Four ) ^Five A huge number of classes will be generated.
[0044]
Therefore, the clustering circuit 12 has a 2-bit ADRC circuit 16 as shown in FIG. 8, and the 2-bit ADRC circuit 16 performs 2-bit ADRC processing on the class tap. ing. As a result, the number of bits of each pixel (bit thinned pixel) constituting the class tap is reduced from 4 bits to 2 bits to reduce the number of classes.
[0045]
That is, for example, for the sake of simplicity, as shown in FIG. 9A, when a class tap composed of four pixels arranged on a straight line is considered, in ADRC processing, the maximum pixel value is A value MAX and a minimum value MIN are detected. Then, DR = MAX−MIN is set as the local dynamic range of the block, and the pixel values of the pixels constituting the block are requantized to K bits based on the dynamic range DR.
[0046]
That is, the minimum value MIN is subtracted from each pixel value in the block, and the subtracted value is converted into DR / 2. ^K Divide by. Then, it is converted into a code (ADRC code) corresponding to the division value obtained as a result. Specifically, in the 2-bit ADRC circuit 16, as shown in FIG. 9B, assuming that K = 2, the division value has a dynamic range DR of 4 (= 2 ² ) It is determined which range is obtained by equally dividing, and the division value is, for example, the range of the lowest level, the range of the second level from the bottom, the range of the third level from the bottom, or the highest In the case of belonging to the upper level range, for example, it is coded into 2 bits such as 00B, 01B, 10B, or 11B (B represents a binary number).
[0047]
The decoding is performed by dividing the ADRC code 00B, 01B, 10B, or 11B, for example, by dividing the dynamic range DR into four equal parts, the center value L00 of the lowest level range, and the second level range from the bottom. Is converted to the center value L10 of the range of the third level from the bottom, or the center value L11 of the range of the uppermost level, and the minimum value MIN is added to that value.
[0048]
Further, as described above, the clustering is performed based on the level of each pixel (bit thinned pixel) constituting the class tap as described above. For example, the tendency of the level of the pixel constituting the class tap (for example, all the pixels) It is also possible to perform the determination based on whether the levels are almost the same or the level of the pixel on the right is higher or lower than the level of other pixels.
[0049]
In the 2-bit ADRC circuit 16, by performing 2-bit ADRC processing on the class tap of 5 pixels, a class tap in which the number of bits of each 5 pixel is 2 bits is obtained. The 2-bit ADRC circuit 16 outputs 10-bit data in which the pixel values of 5 pixels having 2 bits are arranged as a temporary class for the target bit thinned-out pixel.
[0050]
As shown in FIG. 8, the clustering circuit 12 has a bit addition circuit 17 in addition to the 2-bit ADRC circuit 16, and the 10-bit provisional class code output from the 2-bit ADRC circuit 16 is a bit addition circuit. 17 is supplied.
[0051]
The bit addition circuit 17 adds one bit to the temporary class code from the 2-bit ADRC circuit 16 and generates a final class code. That is, the bit addition circuit 17 adds one bit depending on whether the target bit thinning pixel for the class tap is the first bit thinning pixel (pixel data) or the second bit thinning pixel (pixel data). Is added to the temporary class code. For example, when the target bit thinned pixel is a first bit thinned pixel (pixel data), bit “0” is set. When the target bit thinned pixel is a second bit thinned pixel (pixel data), Bit “1” is added. Then, a total of 11 bits to which this 1 bit is added is output from the clustering circuit 12 as the final class for the target bit thinned pixel.
[0052]
Returning to FIG. 1 again, the class (class code) for the target bit thinned pixel obtained by the clustering as described above is given to the memory 13 as an address. The memory 13 stores the original pixel x corresponding to the bit thinned pixel (the target bit thinned pixel) x ′ subjected to bit thinning in the space level / time of the fifth level in the level direction from the pixels constituting the all-pixel moving image. Prediction data for predicting is stored for each class, and when a class (class code) as an address is given from the clustering circuit 12, the prediction data corresponding to the class is read out to the pixel data generation circuit 14 Supply.
[0053]
Here, in this case, in the memory 13, for example, the original pixel x corresponding to the target pixel (target bit thinning pixel) x ′ is replaced with the target bit thinning pixel x ′ and the bit thinning adjacent to the upper, lower, left, and right sides thereof. A set w of coefficients (prediction coefficients) of the linear linear expression for prediction by a linear linear expression using prediction taps composed of pixels (pixel data) a to d (FIG. 6). ₁ , W ₂ , W _Three , W _Four , W _Five Is stored as prediction data. Therefore, the coefficient set w corresponding to the class of the pixel of interest thinning-out is sent from the memory 13 to the pixel data generation circuit 14. ₁ Thru w _Five Are supplied as prediction data.
[0054]
The pixel data generation circuit 14 calculates the prediction data w ₁ Thru w _Five Is received, the coefficient set w which is the prediction data ₁ Thru w _Five And the pixel values x ′ and a to d of the bit thinned pixels (pixel data) constituting the prediction tap supplied from the class tap / prediction tap cutout circuit 11 to calculate the following linear linear expression The original 8-bit pixel (pixel data) x corresponding to the target bit thinning pixel x ′ is generated (predicted).
[0055]
x = w ₁ a + w ₂ b + w _Three c + w _Four d + w _Five x '
... (1)
[0056]
The 8-bit pixel (pixel data) x obtained by the pixel data generation circuit 14 is supplied to the output terminal 15 and sequentially output. As a result, the output terminal 15 outputs the data of the frames constituting the original all-pixel moving image.
[0057]
Next, generation of prediction data for each class will be described. In order to obtain the original 8-bit pixel (pixel data) x from the 4-bit bit-thinned pixel x ′, which is the target bit-thinned pixel, the coefficient of prediction data for constructing the linear linear expression of Expression (1) Set w ₁ , W ₂ , W _Three , W _Four , W _Five Is required by learning.
[0058]
FIG. 10 shows a coefficient set w which is prediction data. ₁ Thru w _Five 2 shows an example of the configuration of an embodiment of a learning device that performs learning for obtaining the above.
[0059]
In learning, a plurality of learning all-pixel moving images are prepared, and the learning all-pixel moving images are input to the input terminal 20 in units of frames, for example. Here, the learning all-pixel moving image is a coefficient set w as prediction data. ₁ Thru w _Five It is desirable that the standard is taken into consideration.
[0060]
Each frame of the all-pixel moving image input to the input terminal 20 is supplied to the level direction bit sampling circuit 21 and also to the tap cutout circuit 22. In the level direction bit sampling circuit 21, like the level direction bit sub-sampling circuit 2 shown in FIG. 1 described above, the fifth level direction bit thinning is performed on all the pixel moving images in the space / time direction. Bit-thinned image data composed of the second bit-thinned pixel (pixel data) and the second bit-thinned pixel (pixel data) is generated. The bit thinned image data is supplied to the tap cutout circuit 22.
[0061]
The tap cut-out circuit 22 converts the 8-bit pixel x corresponding to the target bit thinning-out pixel x ′ shown in FIG. 6 from the pixels constituting each frame of the all-pixel moving image supplied from the input terminal 20 as a teacher pixel (pixel). Data) and classifying the target bit-thinned pixel x ′ from the bit-thinned image data supplied from the level direction bit sub-sampling circuit 21 and the four bit-thinned pixels (pixel data) a to d adjacent in the vertical and horizontal directions Cut out as a tap and prediction tap. Then, the class tap composed of the five bit thinned pixels (pixel data) x ′, a to d cut out by the tap cutout circuit 22 is supplied to the clustering circuit 24. Further, the prediction tap composed of the five bit thinned pixels (pixel data) x ′, a to d and the 8-bit teacher pixel (pixel data) x cut out by the tap cutout circuit 22 are supplied to the input terminal IN of the data memory 23. Is done.
[0062]
Similar to the clustering circuit 12 of FIG. 1, the clustering circuit 24 performs clustering by subjecting the class taps supplied thereto to ADRC processing. Further, in the temporary class code obtained as a result, 1 bit indicating whether the target bit thinned pixel is the first bit thinned pixel (pixel data) or the second bit thinned pixel (pixel data) And the final class code obtained as a result is supplied to the terminal 25a of the switch 25 as the class of the target bit thinning pixel. Here, the switch 25 selects the terminal 25a until the above-described clustering process and the supply process to the data memory 23 are completed for all the bit thinning obtained from the all-pixel moving image for learning. The class for the target bit thinned pixel output from the clustering circuit 24 is supplied to the address terminal AD of the data memory 23 via the switch 25.
[0063]
The data memory 23 stores data supplied to the input terminal IN at an address corresponding to the class supplied to the address terminal AD.
[0064]
Here, for example, a target bit thinning pixel x classified into a predetermined class Class ₁ ', X ₂ ', ..., x _n For each pixel of interest, ₁ ', X ₂ ', ..., x _n X represents the teacher pixel (pixel data) obtained from the learning all-pixel moving image corresponding to the position of x ₁ , X ₂ , ..., x _n And In addition, the target bit thinning pixel x ₁ 4 bits thinned out pixels (pixel data) constituting prediction taps adjacent to the top, bottom, left and right of ' ₁ , B ₁ , C ₁ , D ₁ And the target bit thinning pixel x ₂ 4 bits thinned out pixels (pixel data) constituting prediction taps adjacent to the top, bottom, left and right of ' ₂ , B ₂ , C ₂ , D ₂ ..., The target bit thinning pixel x _n 4 bits thinned out pixels (pixel data) constituting prediction taps adjacent to the top, bottom, left and right of ' _n , B _n , C _n , D _n And do each. In this case, the address corresponding to the class Class in the memory 23 is assigned to the teacher pixel (pixel data) x by the above processing. ₁ , X ₂ , ..., x _n , Bit thinned pixels (pixel data) a constituting the prediction tap ₁ , A ₂ , ..., a _n , B ₁ , B ₂ , ..., b _n , C ₁ , C ₂ , ..., c _n , D ₁ , D ₂ , ..., d _n , X ₁ ', X ₂ ', ..., x _n 'Is remembered.
[0065]
When the clustering process and the storage process in the data memory 23 for all the teacher pixels obtained from the learning all-pixel moving image are completed, the switch 25 selects the terminal 25b. The output of the counter 26 is supplied to the terminal 25b, and the counter 26 generates a sequentially changing address by counting a predetermined clock CK. Therefore, the address generated by the counter 26 is output via the switch 25. The address output from the counter 26 via the switch 25 is supplied to the address terminal AD of the data memory 23 and the address terminal AD of the memory 28.
[0066]
In the data memory 23, in accordance with the address from the counter 26 supplied to the address terminal AD, the storage contents (teacher pixel (pixel data) corresponding to the address and five bit thinned pixels (pixels) constituting the prediction tap are provided. Data)) is read out and supplied to the least squares operation circuit 27. In the least squares operation circuit 27, an equation is established based on the teacher pixels (pixel data) supplied from the data memory 23 and the bit thinned pixels (pixel data) constituting the prediction tap. Set of coefficients w as prediction data by being solved by multiplication ₁ Thru w _Five Is required.
[0067]
That is, when attention is focused on the above-described class class, the least squares method arithmetic circuit 27 in the data memory 23 stores the teacher pixel (pixel data) x stored in the address corresponding to the class class. ₁ , X ₂ , ..., x _n , 5 bit thinned pixels (pixel data) a constituting the prediction tap ₁ , A ₂ , ..., a _n , B ₁ , B ₂ , ..., b _n , C ₁ , C ₂ , ..., c _n , D ₁ , D ₂ , ..., d _n , X ₁ ', X ₂ ', ..., x _n Using ', the following simultaneous equations corresponding to equation (1) are established.
x ₁ = W ₁ a ₁ + W ₂ b ₁ + W _Three c ₁ + W _Four d ₁ + W _Five x ₁ '
x ₂ = W ₁ a ₂ + W ₂ b ₂ + W _Three c ₂ + W _Four d ₂ + W _Five x ₂ '
・
・
・
x _n = W ₁ a _n + W ₂ b _n + W _Three c _n + W _Four d _n + W _Five x _n '
... (2)
[0068]
Then, the least square method arithmetic circuit 27 solves the simultaneous equations of Equation (2) by the least square method, thereby setting a coefficient set w as prediction data for the class Class. ₁ Thru w _Five Ask for. A set of coefficients as prediction data for other classes is obtained in the same manner.
[0069]
Coefficient set w as prediction data obtained by the least squares arithmetic circuit 27 ₁ Thru w _Five Is supplied to the memory 28. Therefore, the set of coefficients w as prediction data for class Class w ₁ Thru w _Five Is stored in the memory 23 with data x ₁ , X ₂ , ..., x _n , A ₁ , A ₂ , ..., a _n , B ₁ , B ₂ , ..., b _n , C ₁ , C ₂ , ..., c _n , D ₁ , D ₂ , ..., d _n , X ₁ ', X ₂ ', ..., x _n 'Is stored at the same address of the memory 28 as the stored address. A set of coefficients as prediction data for other classes is stored in the memory 28 in the same manner.
[0070]
The memory 13 in FIG. 1 stores a set of coefficients as prediction data stored in the memory 28 as described above.
[0071]
Next, the memory 13 in FIG. 1 may store an 8-bit pixel value itself as prediction data, not a coefficient for calculating the linear linear expression shown in Expression (1). it can.
[0072]
FIG. 11 shows a configuration example of an embodiment of a learning device for obtaining prediction data when an 8-bit pixel value is stored in the memory 13 as prediction data. In the figure, parts corresponding to those in FIG. 10 are denoted by the same reference numerals.
[0073]
Each frame of the all-pixel moving image input to the input terminal 20 is supplied to the level direction bit sampling circuit 21 and also to the tap cutout circuit 22. In the level direction bit sampling circuit 21, as in the above-described level direction bit sub-sampling circuit shown in FIG. 1, the fifth level direction bit thinning is performed on all the pixel moving images in the space / time direction. Bit-thinned image data composed of bit-thinned pixels (pixel data) and second bit-thinned pixels (pixel data) is generated. The bit thinned image data is supplied to the tap cutout circuit 22.
[0074]
The tap cut-out circuit 22 converts an 8-bit pixel x corresponding to the target bit thinning-out pixel x ′ shown in FIG. 6 from the pixels constituting each frame of the all-pixel moving image supplied from the input terminal 20 as a teacher pixel (pixel). Data) and classifying the target bit-thinned pixel x ′ from the bit-thinned image data supplied from the level direction bit sub-sampling circuit 21 and the four bit-thinned pixels (pixel data) a to d adjacent in the vertical and horizontal directions Cut out as a tap. The tap cut-out circuit 22 supplies the class tap composed of the five bit thinned-out pixels (pixel data) x ′ and a to d to the clustering circuit 24 and outputs the 8-bit teacher pixel (pixel data) x to the arithmetic unit. 34.
[0075]
Similar to the clustering circuit 12 of FIG. 1, the clustering circuit 24 clusters the class taps supplied thereto, and class obtained as a result is assigned to the address terminal AD of the data memory 30 and the address terminal AD of the frequency memory 31. To supply. Here, the stored contents of the data memory 30 and the frequency memory 31 are cleared to 0 before learning is started.
[0076]
In the frequency memory 31, when a class (class code) as an address is supplied to the address terminal AD, the frequency as the stored contents of the address is read and output from the output terminal OUT. The frequency output from the frequency memory 31 is supplied to the calculator 32 and incremented by one. This increment result is supplied to the input terminal IN of the frequency memory 31 and stored (overwritten) at the address where the frequency before the increment was stored.
[0077]
On the other hand, in the data memory 30, when a class (class code) as an address is supplied to the address terminal AD, the stored contents of the address are also read out and output from the output terminal OUT. The output of the data memory 30 is supplied to the calculator 33. The computing unit 33 is also supplied with the frequency output from the frequency memory 31, where the frequency is multiplied by the output of the data memory 30. The multiplication result is supplied to the calculator 34.
[0078]
In the computing unit 34, the multiplication result in the computing unit 33 and the target pixel (8-bit pixel value) from the tap cutout circuit 22 are added, and the added value is supplied to the computing unit 35. The arithmetic unit 35 is also supplied with the frequency increment result from the arithmetic unit 32, where the addition result of the arithmetic unit 34 is used as a dividend, and the increment result of the adder 32 is used as a divisor to perform division. Is called. This division result is supplied to the input terminal IN of the data memory 30 and stored (overwritten) at an address corresponding to the class (class code) output from the clustering circuit 24.
[0079]
In the learning apparatus shown in FIG. 11, when an address ad in the data memory 30 and the frequency memory 31 is first accessed, an 8-bit teacher pixel (pixel data) supplied from the tap cutout circuit 22 to the computing unit 34 is obtained. ) X1 is written as it is to the address ad of the data memory 30, and 1 is written to the address ad of the frequency memory 31. Thereafter, access to the address ad is performed again. At this time, if the 8-bit teacher pixel (pixel data) supplied from the tap cutout circuit 22 to the calculator 34 is x2, the output of the calculator 32 is 2 and the output of the calculator 34 is x1 + x2, the output of the calculator 35 is (x1 + x2) / 2, which is written to the address ad of the data memory 30. Then, 2 that is the output of the arithmetic unit 32 is written in the address ad of the frequency memory 31. Furthermore, if access to the address ad is performed again, and the 8-bit teacher pixel (pixel data) supplied from the tap cutout circuit 22 to the computing unit 34 is x3, (X1 + x2 + x3) / 3 is written to the address ad of the memory 30, and 3 is written to the address ad of the frequency memory 31.
[0080]
As described above, the data memory 30 stores an average value of 8-bit pixel values of teacher pixels (pixel data) corresponding to the bit thinned pixels classified into the respective classes.
[0081]
When the 8-bit pixel value stored in the data memory 30 is stored as prediction data in the memory 13 of FIG. 1, the 8-bit pixel value as the prediction data is read from the memory 13 and output. Therefore, it is not necessary to provide the pixel data generation circuit 14, and the class tap / prediction tap cutout circuit 11 does not need to generate and output a prediction tap. Become.
[0082]
By the way, in the above case, in the class tap / predictive tap cutout circuit 11 in FIG. 1, as shown in FIG. The four bit thinned pixels (pixel data) a, b, c, and d constitute one class tap and a prediction tap, and the class tap and the prediction tap are bit thinned pixels x as a target bit thinned pixel. It is possible to include a bit-thinned pixel adjacent in the time direction.
[0083]
That is, for example, as shown in FIG. 12, in the case of configuring a class tap and a prediction tap for a target bit thinning pixel x ′ in the nth frame, the target bit thinning pixel x ′ is vertically and horizontally in the same frame. Four adjacent bit-thinned pixels (pixel data) a, b, c, d, and bit-thinned pixel (pixel data) e at the same position as the target bit-thinned pixel x ′ in the (n−1) th frame, and n + 1th A class tap and a prediction tap can be configured by a total of seven bit thinned pixels (pixel data) of bit thinned pixels (pixel data) f located in the same position as the target bit thinned pixel x ′ in the frame.
[0084]
In this case, since the clustering and the calculation of Expression (1) are performed in consideration of the bit-thinned pixels (pixel data) e and f in the time direction, the target bit-thinned pixel x ′ is a pixel closer to the original one. It is possible to restore to x. In this case, it is necessary to configure a class tap in the same manner during learning. Further, the class tap can also be configured by only the pixels after decimation in the time direction of the target bit decimation pixel x ′.
[0085]
Next, in the above, since the receiving apparatus 200 predicts the original 8-bit pixel from the bit-thinned pixel using the prediction data obtained by performing learning, it is configured by the bit-thinned pixel. High-frequency components not included in the image can also be restored, but the original pixel can be restored to the bit-thinned pixel by simple bit interpolation.
[0086]
FIG. 13 shows a configuration example of an embodiment of such a transmission / reception system. In the figure, parts corresponding to those in FIG. 1 are denoted by the same reference numerals. That is, this transmission / reception system is the same as the transmission / reception system of FIG. 1 except that an interpolation filter 40 is provided instead of the class tap / prediction tap extraction circuit 11, the clustering circuit 12, the memory 13, and the pixel data generation circuit 14. It is constituted similarly.
[0087]
The interpolation filter 40 interpolates the bit thinned out pixel (pixel data) of interest from the decoder 9 using the bit thinned pixel (pixel data) around it, and outputs the result. In this case, as in the case of FIG. 1, high-frequency components that are not included in the image composed of bit-thinned pixels cannot be restored, but the configuration of the receiving device 200 can be simplified.
[0088]
The transmission / reception system to which the present invention is applied has been described above. However, such a transmission / reception system can be used not only for television broadcasting but also for recording / reproducing images.
[0089]
In this embodiment, when attention is paid to a certain bit-thinned pixel, the bit-thinned pixel (pixel data) used for the class tap used in clustering and the linear linear expression shown in Expression (1) are calculated. The bit-thinned pixels (pixel data) used for the prediction taps used in the above are the same, but they need not be the same. The class tap and the prediction tap have different bit-thinned pixels. Sets can be used. That is, the pixel constituting the class tap and the pixel constituting the prediction tap can be adaptively cut out by the class tap / prediction tap cutout circuit 11 respectively. Note that the method of extracting the prediction tap and the class tap may be adaptively changed according to the spatial characteristics (activity) and movement of the image.
[0090]
In the present embodiment, the target bit thinning pixel (pixel data) is included in the class tap or the prediction tap, but it is also possible not to include the target bit thinning pixel. In this case, it is also necessary to prevent the target bit thinning pixel (pixel data) from being included in the class tap or the prediction tap during learning for generating prediction data for each class.
[0091]
Furthermore, the bit-thinned pixel (pixel data) as the class tap and the bit-thinned pixel (pixel data) as the prediction tap need not be spatially or temporally adjacent to the target bit-thinned pixel. However, it is desirable to use a bit thinned pixel (pixel data) around the target bit thinned pixel.
[0092]
In the present embodiment, the 8-bit pixels of each frame constituting the moving image are thinned out to 4-bit pixels. However, the present invention is not limited to this, and for example, a 12-bit pixel is used. Bits may be thinned out to 6-bit pixels, or 12-bit pixels may be thinned out to 8 bits or 4 bits. That is, the number of bits of each pixel of the original moving image or the bit thinned image data after the space / time fifth eye level direction bit thinning is not particularly limited.
[0093]
Furthermore, in the present embodiment, the 8-bit pixel value of the pixel of the moving image data is thinned out every other bit to be a 4-bit pixel value. However, the present invention is not limited to this, for example, The first bit-thinned pixel thins out the third, fourth, fifth, and sixth bits from the MSB in the level direction of the original pixel, and 4th of the first, second, seventh, and eighth bits from the MSB. The second bit thinned pixel is composed of bit pixel data, and the first, second, seventh and eighth (LSB) bits are thinned from the MSB in the level direction of the original pixel, and the third, fourth, You may comprise from 4 bits pixel data of the 5th, 5th, and 6th bits.
[0094]
In the present embodiment, when generating the first and second bit thinned pixels, the complementary bits are thinned from the original pixels. That is, the first bit The decimation pixel is generated by decimation of even-numbered bits from the MSB of the original pixel, and the second bit decimation pixel is generated by decimation of odd-numbered bits from the MSB of the original pixel. In generating each of the first or second bit thinned pixels, it is possible to thin out partially overlapping bits from the original pixels.
[0095]
Furthermore, in this embodiment, 5-bit bit thinned pixel data is used as a prediction tap, and the original pixel data is restored by linear temporary combination with a coefficient. However, for example, 4-bit bit thinning is performed. The pixel data may be temporarily converted into 8-bit pixel data, and the original pixel data may be restored by linear temporary combination using the 8-bit pixel data and a coefficient. As a method for temporarily converting a 4-bit bit-thinned pixel into an 8-bit pixel, for example, the bit “0” or “1” is temporarily interpolated at the thinned-out bit position, and then 8-bit There is a method of making the pixel data. In this case, it is necessary to use data obtained by temporarily converting 4-bit bit-thinned pixel data into 8-bit pixel data in learning to generate a coefficient set as prediction data for each class.
[0096]
【The invention's effect】
An image processing apparatus according to claim 1 and a claim 3 According to the image processing method described in 1), bit thinning is performed so that each of the first or second bit thinned pixels is arranged in a five-mesh lattice pattern in both the spatial direction and the time direction. Accordingly, it is possible to reduce the amount of information while maintaining the horizontal, vertical, and diagonal resolution of the moving image.
[0098]
Claim 4 According to the image processing device described in the above, it is obtained by performing bit thinning out in the level direction for each frame pixel constituting the moving image. A pixel with a predetermined bit thinned out A first bit decimation pixel and , A pixel with bits different from the predetermined bit thinned out Thinned-out image data composed of second bit-thinned pixels, by performing bit-thinning so that the first or second bit-thinned pixels are arranged in a five grid pattern in both the spatial and temporal directions Thinned image data obtained First and second bit thinning out About pixels The original pixel value of one pixel is restored by interpolating the bits decimated by the one pixel using the pixel value of the other pixel, or the original pixel value of one pixel is predicted The original pixel value of one pixel is obtained by multiply-and-accumulate the prediction data, which is data used for the above, and the pixel value of the other pixel. Is restored. Therefore, it is possible to obtain an image with little deterioration in image quality.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a first embodiment of a transmission / reception system to which the present invention is applied.
FIG. 2 is a diagram for explaining processing of a level direction bit sub-sampling circuit 2 in FIG. 1;
3 is a diagram for explaining processing of a level direction bit sub-sampling circuit 2 in FIG. 1; FIG.
4 is a diagram for explaining processing of a level direction bit sub-sampling circuit 2 in FIG. 1; FIG.
5 is a diagram for explaining processing of a level direction bit sub-sampling circuit 2 of FIG. 1; FIG.
6 is a diagram for explaining processing of a class tap / predicted tap cutout circuit 11 in FIG. 1; FIG.
7 is a diagram for explaining processing of the clustering circuit 12 of FIG. 1; FIG.
FIG. 8 is a diagram illustrating a configuration example of the clustering circuit 12 of FIG. 1;
FIG. 9 is a diagram for explaining ADRC;
FIG. 10 is a block diagram illustrating a configuration example of a first embodiment of a learning device for obtaining prediction data.
FIG. 11 is a block diagram illustrating a configuration example of a second embodiment of a learning device that obtains prediction data;
12 is a diagram for explaining another process of the class tap / predicted tap cutout circuit 11 of FIG. 1; FIG.
FIG. 13 is a block diagram showing a configuration example of a second embodiment of a transmission / reception system to which the present invention is applied.
FIG. 14 is a diagram illustrating an image before interlace thinning is performed.
FIG. 15 is a diagram illustrating an image after interlace thinning is performed.
[Explanation of symbols]
1 input terminal, 2 level direction bit sub-sampling circuit, 3 encoder, 4 transmission processing device, 5 output terminal, 6 transmission path, 7 input terminal, 8 reception processing circuit, 9 decoder, 11 class tap / predictive tap cut-out circuit, 12 Clustering circuit, 13 memory, 14 pixel data generation circuit, 15 output terminal, 20 input terminal, 21 level direction sub-sampling circuit, 22 tap extraction circuit, 23 data merit, 24 clustering circuit, 25 switch, 25a, 25b terminal, 26 counter, 27 Least Squares Arithmetic Circuit, 28 Memory, 30 Data Memory, 31 Frequency Memory, 32 to 35 Calculator, 40 Interpolation Filter, 100 Transmitter, 200 Receiver

Claims

In an image processing apparatus that compresses image data constituting a moving image while suppressing deterioration in image quality during restoration processing ,
Bits are thinned out in the level direction for pixels of each frame constituting a moving image, and a first bit thinned pixel that is a pixel from which a predetermined bit is thinned, and a bit different from the predetermined bit Bit thinning means for generating bit thinned image data composed of second thinned pixels which are thinned pixels;
For the first and second bit thinned pixels constituting the bit thinned image data, the one pixel is obtained by interpolating the bit thinned by one pixel using the pixel value of the other pixel. By the product-sum operation of the restoration process for restoring the original pixel value of the pixel, or prediction data that is data used to predict the original pixel value of the one pixel and the pixel value of the other pixel, Output means for outputting the bit-thinned image data restored to the original image data by the restoration processing for restoring the original pixel value of the one pixel ;
The image processing apparatus according to claim 1, wherein the bit thinning unit performs bit thinning so that the first or second bit thinning pixels are arranged in a five-mesh lattice pattern in both a spatial direction and a temporal direction.

The bit decimation means generates the first bit decimation pixel by decimation of even-numbered or odd-numbered bits from the most significant bit of the level of the pixel, and decimation of the other bit to decipher the first bit. The image processing apparatus according to claim 1, wherein two bit-thinned pixels are generated.

In an image processing method for compressing image data constituting a moving image while suppressing deterioration in image quality during restoration processing ,
Bits are thinned out in the level direction for pixels of each frame constituting a moving image, and a first bit thinned pixel that is a pixel from which a predetermined bit is thinned, and a bit different from the predetermined bit A bit thinning step for generating bit thinned image data comprising a second bit thinned pixel that is a thinned pixel ;
For the first and second bit thinned pixels constituting the bit thinned image data, the one pixel is obtained by interpolating the bit thinned by one pixel using the pixel value of the other pixel. By the product-sum operation of the restoration process for restoring the original pixel value of the pixel, or prediction data that is data used to predict the original pixel value of the one pixel and the pixel value of the other pixel, An output step of outputting the bit-thinned image data restored to the original image data by the restoration processing for restoring the original pixel value of the one pixel ;
Including
In the bit thinning step, the first or second bit thinning pixel is subjected to bit thinning so that each of the first and second bit thinning pixels is arranged in a five-dimensional lattice pattern in both the spatial direction and the temporal direction.

In an image processing apparatus for decompressing bit-thinned image data generated by thinning out pixels of image data constituting a moving image,
The first bit thinned pixel, which is a pixel obtained by thinning a predetermined bit obtained by performing bit thinning in the level direction with respect to the pixel of each frame constituting the moving image, and the predetermined bit The bit-thinned image data comprising second bit-thinned pixels that are pixels from which different bits are thinned, wherein the first or second bit-thinned pixel has five bits in both the spatial direction and the time direction. Receiving means for receiving the bit-thinned image data obtained by performing bit-thinning so as to be arranged in a grid pattern;
For the first and second bit sampling pixel constituting the bit thinned image data, the one pixel by the bits are thinned out in one of its pixels is interpolated using the pixel values of other pixel The original pixel value of the one pixel is restored , or prediction data, which is data used to predict the original pixel value of the one pixel, and the pixel value of the other pixel are obtained by a product-sum operation. An image processing apparatus comprising: restoration means for restoring an original pixel value of a pixel .

Each of the first bit thinned pixels is generated by thinning one of the even-numbered and odd-numbered bits from the most significant bit of the level of the pixel, and the second bit thinned pixel is the other The image processing apparatus according to claim 4 , wherein the image processing apparatus is generated by thinning out the bits.

The restoration means includes
Determining means for determining a predetermined class representing a feature of the target pixel based on peripheral pixels located around the target pixel with respect to the predetermined target pixel of the bit-thinned image data;
A data corresponding to the class in which the determining means outputs, and the prediction data is data used for predicting the pixel value of the one pixel before the bit thinning is performed, the other of by the product-sum operation between the pixel values of the pixels, and generating means for bit thinned corresponding to the pixel of interest the which is one pixel predicts the pixel value of the previous pixel to be subjected, to generate the pixel value the image processing apparatus according to any one of claims 4 or 5, characterized in that it has a.

The generating means includes
Using image data constituting a moving image for learning, and having a storage means for storing, for each class, predetermined prediction data for each class generated by performing learning in advance.
The prediction data corresponding to the class output by the determining unit is read from the storage unit, and the pixel-of-interest is calculated by the product-sum operation of the read prediction data and the pixel value of the other pixel. The image processing apparatus according to claim 6 , wherein a pixel value of a pixel before corresponding bit thinning is generated is generated.

The storage means stores, as the prediction data, a set of predetermined prediction coefficients for each class used for the product-sum operation ,
The generation means reads the set of prediction coefficients corresponding to the class output by the determination means from the storage means, and is located around the read prediction coefficient set and the pixel of interest. Pixel values of a plurality of pixels of the bit-thinned image data , and the pixel values before the bit-thinning corresponding to the target pixel is performed by the product-sum operation with the pixel value of the other pixel The image processing apparatus according to claim 7 , further comprising a calculation unit that calculates the value.

The determining means determines the class using a plurality of pixels of the bit-thinned image data located in either one or both of a spatial direction and a temporal direction with respect to the target pixel. The image processing apparatus according to claim 6 .