JP2005160108A - カラー映像の剰余変換／逆変換方法と装置及びそれを利用したカラー映像符号化／復号化方法及び装置 - Google Patents

Abstract

【課題】 カラー映像の剰余変換／逆変換方法と装置、及びカラー映像符号化／復号化方法及び装置を提供する。
【解決手段】 剰余変換は、（ｉ）原映像と予測映像との差にである剰余を求める段階と、カラー映像成分の剰余相互間の関連性により前記剰余を変換する段階を含む剰余変換と；（ｉｉ）剰余変換された原映像に対して剰余逆変換を行って各成分別の剰余を生成する段階と、各成分別の剰余に予測映像を加えて原映像を復元する段階を含む逆変換と；（ｉｉｉ）原映像と予測映像との差である剰余を求める段階と、所定成分の剰余相互間の関連性を利用して剰余を変換して符号化する段階を含む剰余変換によるカラー映像無損失符号化と；（ｉｖ）原映像の符号化データから剰余変換された映像データを抽出する段階と、剰余変換された映像データに対して剰余逆変換により各成分別の剰余を生成する段階と、各成分別の剰余に予測映像を加えて原映像を復元する段階を含む。
【選択図】 図１４

Description

本発明は映像符号化／復号化に係り、特にカラー映像の剰余変換（Ｒｅｓｉｄｕｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）／逆変換（Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）方法及び装置とそれを利用したカラー映像符号化／復号化方法及び装置に関する。

一般的に、カラー映像を符号化する時にカラー変換を行った後で符号化する。カラー座標系は多種があるが、そのうち基本になる座標系として、ＲＧＢ（Ｒ：Ｒｅｄ，Ｇ：Ｇｒｅｅｎ，Ｂ：Ｂｌｕｅ）座標系を挙げられる。ＲＧＢ映像をＹＣｂＣｒ映像に変換して輝度成分と色相成分とに分離した後で符号化する。このようにすれば符号化効率が高まるが、その理由は、各カラー映像成分間に多くの冗長性（Ｒｅｄｕｎｄａｎｃｙ）があり、変換を介して冗長性を除去したためである。特に最近には、リフティング方法（Ｌｉｆｔｉｎｇ Ｍｅｔｈｏｄ）を使用した整数変換方法が研究されたが、例えばＭｉｃｒｏｓｏｆｔ社で開発したＹＣｏＣｇ−Ｒのような方法がある。

一方、このように変換された映像を符号化するときには、時空間（Ｓｐａｔｉｏｔｅｍｐｏｒａｌ）予測を介して各成分内部の冗長性を除去する過程を経て、その結果剰余映像（Ｒｅｓｉｄｕｅ Ｉｍａｇｅ）を得る。最近、標準化が進んだＩＳＯ／ＩＥＣ ＭＰＥＧ及びＩＴＵ−Ｔ ＶＣＥＧのＪｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）のＨ．２６４／ＭＰＥＧ−４ ｐｔ．１０ ＡＶＣ標準化技術（非特許文献１参照）では、さまざまな多様な方法で空間及び時間予測符号化を行って符号化効率を向上させた。しかし、時空間予測を各カラー映像成分間に同じ方法で行った場合、各カラー映像成分の剰余映像間に多くの冗長性が存在するようになる。このような冗長性は映像符号化による映像データの圧縮効率を低下させ、映像データ処理の低下と映像データ通信容量の増大させるものである。
"Ｔｅｘｔ ｏｆ ＩＳＯ／ＩＥＣ ＦＤＩＳ １４４９６−１０：Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ"，ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１，Ｎ５５５５，Ｍａｒｃｈ，２００３

本発明が解決しようとする技術的課題は、上記の予測符号化に伴う冗長性の発生を抑制することを実現させることであり、その実現のためのカラー映像の剰余変換／逆変換方法並びに装置を提供することである。

本発明が解決しようとする他の技術的課題は、前記実現のためのカラー映像の剰余変換／逆変換方法と装置、及びこれらを利用した無損失映像符号化／復号化方法及び装置を提供することである。

本発明が解決しようとするさらに他の技術的課題は、前記実現のためのカラー映像の剰余変換／逆変換方法と装置、及びこれらを利用したカラー映像符号化／復号化方法及び装置を提供することである。

前記技術的課題を解決するために本発明によるカラー映像変換方法は、少なくとも２種類以上の成分からなる原映像を剰余変換する方法において、（ａ）前記原映像の各成分に対し、原映像と予測映像との差に該当する剰余を求める段階と、（ｂ）前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する段階とを含むことを特徴とする。前記原映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つにより実行できる。

前記（ａ）段階は、前記原映像の各成分に対し、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得る段階と、原映像から前記予測映像を差し引いた空間剰余を求める段階とを備えることより成る。前記（ａ）段階は、前記原映像の各成分に対し、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る段階と、原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えている。ここで、現在フレームとは現時点でのそのカラー映像成分を含む映像フレームのことを意味し、以前フレームとは現在フレームより一期前の時点での映像フレームであってそのカラー映像成分を含む映像フレームのことを意味する。

前記（ｂ）段階の剰余変換は、カラー映像の３つの成分をＸ１，Ｘ２，Ｘ３とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ１，Ｘ２，Ｘ３に対する剰余とするとき、

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）

数式（１）、（２）、（３）のうち一つを利用して変換することができる。

前記（ｂ）段階の剰余変換は、既設定の複数の剰余変換式のうち一つを選択して剰余変換することができる。

前記技術的課題を解決するために本発明によるカラー映像変換装置は、少なくとも２種類以上の成分からなる原映像を剰余変換する装置において、前記原映像の各成分に対し、原映像と予測映像との差に該当する剰余を生成する剰余生成部と、前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する剰余変換部とを含むことを特徴とする。前記剰余生成部は、前記原映像の各成分に対し、イントラ（ｉｎｔｒａ）方式ならば、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、さらに原映像から前記予測映像を差し引いた空間剰余を生成する空間剰余生成部と、前記原映像の各成分に対し、インター（ｉｎｔｅｒ）方式ならば、各カラー映像成分についての以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、さらに原映像から前記予測映像を差し引いた時間剰余を生成する時間剰余生成部とを備えることができる。

前記技術的課題を解決するために本発明によるカラー映像逆変換方法は、少なくとも２種類以上の成分からなる原映像と予測映像との差を剰余とするとき、前記原映像成分の各剰余間の相関関係を利用し、剰余変換された映像を逆変換する方法において、（ｘ）前記剰余変換された原映像に対して剰余逆変換を行い、前記各成分別の剰余を生成する段階と、（ｙ）前記各成分別の剰余に予測映像を加えて原映像を復元する段階とを含むことを特徴とする。

前記原映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることにより実現できる。前記（ｙ）段階はイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元し、インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元することにより実現できる。

前記（ｘ）段階の逆変換は、

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）

前記数式（４）、（５）、（６）いずれか一つを使用して逆変換することができる。

前記（ｙ）段階の逆変換は、変換された剰余の生成時に使われた剰余変換式情報をデコーディング（復調）し、それに相応する逆変換式を利用して逆変換することにより実現できる。

前記技術的課題を解決するために本発明によるカラー映像逆変換装置は、少なくとも２種類以上の成分からなる原映像と予測映像との差を剰余とするとき、前記原映像成分の各剰余間の相関関係を利用し、剰余変換された映像を逆変換する装置において、前記剰余変換された原映像に対して剰余逆変換を行い、前記各成分別の剰余を生成する剰余逆変換部と、前記各成分別の剰余に予測映像を加えて原映像を復元する原映像復元部とを含むことを特徴とする。

前記原映像復元部はイントラ方式とインター方式の処理方式の選択肢を有し、イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元する空間補償映像復元部と、インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元する時間補償映像復元部とを含むことにより実現できる。

前記他の技術的課題を解決するために本発明による剰余変換を利用した無損失カラー映像符号化方法は、少なくとも２種類以上の成分からなる原映像を符号化する方法において、（ａ）前記原映像の各成分に対し、原映像と予測映像との差に該当する剰余を求める段階と、（ｂ）前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する段階とを含むことを特徴とする。前記原映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることにより実現できる。

前記（ｂ）段階の剰余変換されたデータをエントロピ符号化し、ビット列を生成する段階をさらに備えることにより実現できる。前記（ｂ）段階は、前記カラー映像の成分別の剰余相互間の関連性を利用し、剰余変換するか否かを選択する段階と、前記剰余変換を選択すれば、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する段階と、前記剰余変換を選択しなければ、前記カラー映像の成分別の剰余を符号化する段階とを含むことにより実現できる。

前記（ａ）段階は、前記原映像の各成分に対し、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得る段階と、原映像から前記予測映像を差し引いた空間剰余を求める段階とを備えることにより実現できる。前記（ａ）段階は、前記原映像の各成分に対し、各カラー映像成分についての以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る段階と、原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えることにより実現できる。前記（ｂ）段階の剰余変換は、前記数式（１）、（２）、（３）を利用して変換することにより実現できる。

前記他の技術的課題を解決するために本発明による剰余変換を利用した無損失カラー映像符号化装置は、少なくとも２種類以上の成分からなる原映像を符号化する装置において、前記原映像の各成分に対し、原映像と予測映像との差に該当する剰余を求める剰余生成部と、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する剰余変換／符号化部とを含むことを特徴とする。前記剰余変換／符号化部は、剰余変換されたデータをエントロピ符号化し、ビット列を生成するエントロピ符号化部をさらに備えることにより実現できる。

前記剰余生成部は、前記原映像の各成分に対し、イントラ方式ならば、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、原映像から前記予測映像を差し引いた空間剰余を求める空間剰余生成部と、前記原映像の各成分に対しイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、インター方式ならば、各カラー映像成分についての以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を求める時間剰余生成部とを備えることにより実現できる。

前記他の技術的課題を解決するために本発明による剰余変換を利用した無損失カラー映像復号化方法は、符号化された少なくとも２種類以上の成分からなる原映像を無損失復号化する方法において、（ｘ）前記原映像と予測映像との差を剰余とするとき、前記原映像の符号化データから剰余変換された映像データを抽出する段階と、（ｙ）前記剰余変換された映像データに対して剰余逆変換を行い、前記各成分別の剰余を生成する段階と、（ｚ）前記各成分別の剰余に予測映像を加えて原映像を復元する段階とを含むことを特徴とする。前記原映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることにより実現できる。

前記（ｚ）段階は、イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元し、インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元することにより実現できる。さらに部位前記（ｙ）段階の逆変換は、数式（４）、（５）、（６）を利用して逆変換することにより実現できる。

前記他の技術的課題を解決するために本発明による剰余変換を利用した無損失カラー映像復号化方法は、符号化された少なくとも２種類以上の成分からなる原映像を無損失復号化する方法において、前記符号化されたデータが剰余変換されたか否かをチェックする段階と、剰余変換されたならば、前記剰余変換された映像データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する段階と、剰余変換されていなければ、前記逆量子化されたデータから前記カラー映像の各成分別の剰余を生成する段階と、前記各成分別の剰余に予測映像を加えて原映像を復元する段階とを含むことを特徴とする。

前記他の技術的課題を解決するために本発明による剰余変換を利用した無損失カラー映像復号化装置は、符号化された少なくとも２種類以上の成分からなる原映像を無損失復号化する装置において、前記原映像と予測映像との差を剰余とするとき、前記原映像の符号化データから剰余変換された映像データを抽出する剰余変換データ抽出部と、前記剰余変換された映像データに対して剰余逆変換し、各成分別の剰余を生成する剰余逆変換部と、前記各成分別の剰余に予測映像を加えて原映像を復元する原映像復元部とを含むことを特徴とする。

前記原映像復元部はイントラ方式とインター方式の処理方式の選択肢を有し、イントラ方式の場合、前記各カラー映像成分の剰余に現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償する前記空間補償部と、インター方式の場合、前記各カラー映像成分の剰余に以前映像から予測映像を得て、時間予測された値を補償する時間補償部と、原映像の各成分別の剰余に前記空間補償部または時間補償部で補償された予測映像を加えて原映像を復元する無損失映像復元部とを含むことにより実現できる。また前記復号化装置は、符号化されたビット列をエントロピ復号化するエントロピ復号化部をさらに備えることにより実現できる。

前記他の技術的課題を解決するために本発明による剰余変換を利用した無損失カラー映像復号化装置は、符号化された少なくとも２種類以上の成分からなる原カラー映像を無損失復号化する装置において、原カラー映像の符号化データから剰余データに対して剰余変換を行うか否かを示す剰余変換選択情報を抽出し、剰余変換されたデータであるか否かを判断する剰余変換判断部と、剰余変換されたデータであると判断されれば、原カラー映像の符号化データから剰余変換された映像データを抽出する剰余変換データ抽出部と、前記剰余変換された映像データに対して剰余逆変換し、各成分別の剰余を生成する剰余逆変換部と、前記判断結果、剰余変換されていないと判断されれば、原カラー映像の符号化データから各成分別の剰余データを抽出する剰余データ抽出部と、前記各成分別の剰余に予測映像を加えて原映像を復元する原映像復元部とを含むことを特徴とする。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像符号化方法は、少なくとも２種類以上の成分からなる原カラー映像を符号化する方法において、（ａ）前記原カラー映像の各成分に対し、原カラー映像と復元された映像から生成した予測映像との差に該当する剰余を求める段階と、（ｂ）前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する段階と、（ｃ）前記剰余変換されたデータを少なくとも量子化を含んで符号化する段階とを含むことを特徴とする。

前記原映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることにより実現できる。前記符号化方法は、前記量子化されたデータをエントロピ符号化し、ビット列を生成する段階をさらに備えることにより実現できる。

前記（ａ）段階は、前記原映像の各成分に対し、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して損失予測映像を得る段階と、原映像から前記損失予測映像を差し引いた損失空間剰余を求める段階とを備えることにより実現できる。前記（ａ）段階は、前記原映像の各成分に対し、各カラー映像成分についての復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る段階と、原映像から前記予測映像を差し引いた損失時間剰余を求める段階とを備えることにより実現できる。前記（ａ）段階の予測映像は、前記（ｃ）段階で変換及び量子化を経て生成された信号を逆量子化及び逆変換をした後、予測補償をして復元された映像を使用して生成されることにより実現できる。前記（ｂ）段階の剰余変換は、数式（１)、（２)、（３）を利用し、剰余変換することにより実現できる。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像符号化方法は、少なくとも２種類以上の成分からなる原カラー映像を符号化する方法において、前記原カラー映像の各成分に対し、原カラー映像と復元された映像から生成した予測映像との差に該当する剰余を求める段階と、前記カラー映像の成分別の剰余相互間の関連性を利用し、剰余変換するか否かを選択する段階と、前記剰余変換を選択すれば、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して損失符号化する段階と、前記剰余変換を選択しなければ、前記カラー映像の成分別の剰余を損失符号化する段階とを含むことを特徴とする。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像符号化装置は、少なくとも２種類以上の成分からなる原カラー映像を符号化する装置において、前記原カラー映像の各成分に対し、現在映像と復元された以前映像とを利用して時間予測映像及び復元された現在映像を利用し、空間予測映像のうち少なくとも一つを生成する時空間予測部と、イントラ方式とインター方式の選択肢を有する処理方式がある場合において、イントラ方式ならば、原映像から前記空間予測映像を差し引いた空間剰余を生成し、インター方式ならば、原映像から前記時間予測映像を差し引いた時間剰余を生成する剰余生成部と、前記カラー映像の成分別の剰余相互間関連性を利用し、前記剰余を変換する剰余変換部と、前記変換された剰余を少なくとも量子化を含んで符号化する剰余符号化部とを含むことを特徴とする。前記符号化装置は、前記量子化されたデータをエントロピ符号化し、ビット列を生成するエントロピ符号化部をさらに備えることが可能である。

前記時空間予測部は、イントラ方式の場合、前記原カラー映像の各成分に対して各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して予測映像を得る前記空間予測部と、インター方式の場合、前記原カラー映像の各成分に対して各カラー映像成分についての復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る時間予測部とを備えることにより実現できる。前記時空間予測部の予測映像は、前記剰余符号化部で変換及び量子化を経て生成された信号を逆量子化及び逆変換をした後、予測補償をして復元された映像を使用して生成されることにより実現できる。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像符号化装置は、少なくとも２種類以上の成分からなる原カラー映像を符号化する装置において、前記原カラー映像の各成分に対し、原カラー映像と復元されたカラー映像から生成した予測映像との差に該当する剰余を生成する剰余生成部と、前記剰余生成部で生成されたカラー映像の成分別の剰余相互間の関連性を利用し、剰余変換するか否かを選択する剰余変換選択部と、前記剰余変換選択部で剰余変換することを選択すれば、前記カラー映像の成分別の剰余相互間関連性を利用し、前記剰余を変換する剰余変換部と、前記剰余変換部で変換された剰余または前記剰余変換選択部で剰余変換しないように選択すれば、前記剰余生成部で生成された剰余を少なくとも量子化を含んで符号化する剰余符号化部とを含むことを特徴とする。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像復号化方法は、符号化された少なくとも２種類以上の成分からなる原カラー映像を復号化する方法において、（ｘ）前記原カラー映像の符号化データに対して損失復号化を行って剰余変換された映像データを復元する段階と、（ｙ）前記剰余変換された映像データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する段階と、（ｚ）前記各成分別の剰余に、復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する段階とを含むことを特徴とする。

前記原映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることにより実現できる。前記（ｚ）段階は、イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した復元された画素を利用し、空間予測された値を補償して原カラー映像を復元することにより実現できる。前記（ｚ）段階は、インター方式の場合、前記各カラー映像成分の剰余に対して復元された以前映像から予測映像を得て、時間予測された値を補償して原映像を復元することにより実現できる。

前記（ｙ）段階の逆変換は、数式（４)、（５)、（６）を使用して逆変換することにより実現できる。前記復号化方法は、前記原カラー映像の入力ビット列に対してエントロピ復号化する段階をさらに備えることにより実現できる。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像復号化方法は、符号化された少なくとも２種類以上の成分からなる原映像を復号化する方法において、前記原カラー映像の符号化されたデータに対して少なくとも逆量子化を行う段階と、前記逆量子化されたデータが剰余変換されたか否かをチェックする段階と、剰余変換されたならば、前記剰余変換された映像データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する段階と、剰余変換されていなければ、前記逆量子化されたデータから前記カラー映像の各成分別の剰余を生成する段階と、前記各成分別の剰余に予測映像を加えて原カラー映像を復元する段階とを含むことを特徴とする。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像復号化装置は、符号化された少なくとも２種類以上の成分からなる原カラー映像を復号化する装置において、前記原カラー映像の損失符号化データから剰余変換された映像データを復元する剰余変換データ復元部と、前記剰余変換データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する剰余逆変換部と、前記各成分別の剰余に復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する原カラー映像復元部とを含むことを特徴とする。前記剰余変換データ復元部は、符号化されたビット列をエントロピ復号化するエントロピ復号化部と、前記エントロピ復号化されたデータを逆量子化及び逆変換する逆量子化／逆変換部とを備えることにより実現できる。

前記さらに他の技術的課題を解決するために本発明による剰余変換を利用したカラー映像復号化装置は、カラー映像の損失符号化されたビット列に対して少なくとも逆量子化を行う損失復号化部と、前記損失復号化部で損失復号化されたデータから剰余変換を行うか否かを示す剰余変換選択情報を抽出して解釈する剰余変換判断部と、前記剰余変換選択情報の解釈結果、前記損失復号化されたデータが剰余変換されたならば、前記損失復号化されたデータから剰余変換データを抽出する剰余変換データ抽出部と、前記剰余変換データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する剰余逆変換部と、前記剰余変換選択情報の解釈結果、前記損失復号化されたデータが剰余変換されていなければ、前記損失復号化されたデータから剰余データを抽出する剰余データ抽出部と、前記各成分別の剰余に復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する原カラー映像復元部とを含むことを特徴とする。

そして、前記記載された発明をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、符号化する前に、各カラー映像成分間の冗長性よりも、符号化過程中に時空間予測を介して各カラー映像成分の剰余映像を作った後で各カラー映像成分の剰余間で変換を行い、各カラー映像成分の剰余間の冗長性を除去することによってカラー映像を符号化するときに、さらに高い圧縮効率を有することができる。

以下、本発明の実施例について添付された図面を参照して詳細に説明する。まず、本発明の明細書で使われる用語を定義する。剰余（ｒｅｓｉｄｕｅ）とは、原カラー映像と予測映像との差を指す。剰余値は、前記カラー映像がＲＧＢ信号で表現される時、数式（７）のように示すことができる。

ここで、前記Ｒ，Ｇ，Ｂは、前記カラー映像の各成分別映像を示し、前記Ｒ_p，Ｇ_p，Ｂ_pは前記Ｒ，Ｇ，Ｂの予測映像を示す。前記予測映像は、各カラー映像成分内部の重複した情報を除去するために使われ、重複する情報が除去されて残った信号を剰余という。

一般的に、カラー映像を符号化する時に、各色相成分別に予測符号化を行って各成分内で重複する情報を除去する。このような方法では、色相成分相互間に重複する情報については考慮されない。これは、各色相成分の値が相異なって効率的に重複を除去できないためである。しかし、各成分別に各成分内で時間または空間予測符号化を行った後で生じた剰余信号の場合、各成分別に互いに類似した値を有するために、重複する情報を除去して圧縮効率を大きく向上させることができる。

表１及び表２は、カラー映像実験に一般的に使われるＫｏｄａｋセット映像２４枚について相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を求めた結果である。表１は、予測符号化を行わずに原本ＲＧＢ映像に対して各成分間の相関関係を求めたものであり、表２は、図８で説明した空間予測符号化を行った後で各成分の剰余映像間の相関関係を求めたものである。

表１及び表２から分かるように、相関関係値が原本映像のＲＧＢ間より剰余映像間でさらに高まることが分かる。これにより、ＲＧＢ映像の剰余映像を変換して重複を除去した時に、高い圧縮効率を得られることが分かる。

図１は、本発明による剰余変換装置の構成を図示したブロック図である。剰余変換装置１は剰余生成部１００及び剰余変換部１２０を含んでいる。

前記剰余生成部１００は、原カラー映像の各成分に対して原カラー映像成分と予測映像成分との差に該当する剰余を生成し、空間剰余生成部１０２及び時間剰余生成部１０４のうち少なくとも一つを備えることにより実現できる。前記原カラー映像は、少なくとも２種類以上の成分からなる。例えば、Ｒ，Ｇ，Ｂからなり、Ｙ−Ｃｂ−Ｃｒ形式やＸ−Ｙ−Ｚ形式の映像からもなりうる。

前記空間剰余生成部１０２は、前記原カラー映像の各成分に対し、イントラ方式ならば、前記各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得た後、前記原カラー映像で前記予測映像を差し引いた空間剰余を生成する。前記時間剰余生成部１０４は、前記原カラー映像の各成分に対しイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、インター方式ならば、各カラー映像成分についての以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を生成する。

前記予測映像は、無損失符号化である場合には、現在映像と以前映像とを利用し、空間予測または時間予測をして生成し、損失符号化である場合には、現在映像と復元された現在映像及び復元された以前映像を利用し、空間予測または時間予測をして生成する。

前記剰余変換部１２０は、前記カラー映像成分別の剰余相互間の関連性を利用し、前記剰余を変換する。前記剰余変換は、多様な変換式により行われうる。また前記剰余変換は、既設定の複数の剰余変換式のうち一つを選択し、剰余変換させる適応性を有する方式を使用することもある。

例えば、前記剰余変換は、カラー映像の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、数式（１）のように、前記３つの成分のうち２つの成分の剰余値から残りの１成分の剰余値を差し引くことにより剰余変換できる。

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）

前記数式（１）について、その一例は次の通りである。カラー映像がＲＧＢ信号で表現される時、△Ｇを予測子として使用し、△Ｒ及び△Ｂから△Ｇを差し引いて変換する方法を変換式に示せば数式（８）で表せる。

ここで、Δ²Ｒ，Δ²Ｇ及びΔ²Ｂは、剰余変換された信号である。

また、前記剰余変換式として数式（２）を使用することもある。

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）

前記数式（２）は、各成分間の重複をさらに効率的に除去するために各色相成分間の相関を考慮して作ったカラー変換式を示したものである。すなわち、数式（２）についての一例は数式（９）のように表現されるＹＣｏＣｇ変換式である。

そして数式（１０）は、前記数式（９）のＹＣｏＣｇ変換式を剰余変換に適用した場合である。

ただし、ＹＣｏＣｇ変換式の場合、変換時にラウンドエラー（丸め誤差）を発生するために、無損失に変換するためには、ΔＲ，ΔＧ及びΔＢのうちＣｏ及びＣｇに該当する成分にそれぞれ４を掛け合わせて使用せねばならない。

また、前記剰余変換式としては、数式（３）を使用することもある。

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）

前記数式（３）は、ＹＣｏＣｇ−Ｒを一般化したものである。前記ＹＣｏＣｇ−Ｒは、ＹＣｏＣｇ変換をリフティング方法の使用により改善したものであり、数式（１１）で表せる。

このような変換式も、同様に剰余変換式に適用できる。この場合、変換時にΔＲ，ΔＧ及びΔＢのうちＣｏ及びＣｇに該当する成分にそれぞれ２が掛け合わされてラウンドエラーなしに無損失変換が可能になる。

図２は、本発明によるカラー映像の剰余変換方法をフローチャートで図示したものである。図１及び図２を参照して本発明によるカラー映像の剰余変換装置の動作を説明する。

まず、カラー映像の剰余を求めるために予測映像を生成する（２００段階）。前記予測映像は、イントラ方式ならば、原カラー映像の各成分に対して現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得る。そして、インター方式ならば、前記原カラー映像の各成分に対して以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る。

その次に、剰余生成部１００で前記原カラー映像の成分別の剰余を生成する（２２０段階）。前記剰余は、原カラー映像と前記予測映像との差により求められる。前記剰余生成は、具体的に空間剰余生成部１０２では、原カラー映像と空間予測映像との差により空間剰余を求め、時間剰余生成部１０４では、原カラー映像と時間予測映像との差により時間剰余を求める。前記剰余が求められれば、前記剰余変換部１２０で前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する（２４０段階）。前記剰余変換は、前述のように、例えばＲＧＢ映像である場合、Ｒ及びＢ成分の剰余値からＧ成分の剰余値を差し引いて符号化する。または、ＹＣｏＣｇ変換式を利用するか、またはＹＣｏＣｇ−Ｒ変換式を使用して剰余変換可能である。

図３は、本発明によるカラー映像の剰余逆変換装置の構成を図示したブロック図であり、剰余逆変換部３００及び原映像復元部３２０を含んでいる。前記剰余逆変換部３００は、原カラー映像が少なくとも２種類以上の成分からなる時、前記剰余変換された原カラー映像に対して剰余逆変換を行い、前記各成分別の剰余を生成する。前記原映像復元部３２０は、前記各成分別の剰余に予測映像を加えて原カラー映像を復元し、空間補償映像復元部３２２及び時間補償映像復元部３２４を少なくとも一つ備えることにより実現される。

前記空間補償映像復元部３２２は、イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元する。前記時間補償映像復元部３２４は、インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元する。

図４は、本発明によるカラー映像の剰余逆変換方法をフローチャートで図示したものである。図３及び図４を参照して本発明によるカラー映像の剰余逆変換装置の動作を説明する。

まず、前記剰余変換された原カラー映像に対して剰余逆変換を行い、前記各成分別の剰余を生成する（４００段階）。前記原カラー映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることにより実現できる。

前記剰余逆変換は、前記剰余変換に対する逆過程であり、前記剰余変換時に使用した剰余変換式の逆変換式を使用する。従って、剰余変換時、変換式数式（１）についての逆変換式は数式（４）、変換式数式（２）は逆変換式数式（５）、変換式数式（３）は逆変換式数式（６）を使用して剰余逆変換する。

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）

（ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）

そして、前記剰余逆変換がなされた後、前記各成分別の剰余に予測映像を加えて原映像を復元する（４２０段階）。もしイントラ方式符号化の場合には、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元する。もしインター方式の符号化の場合には、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元する。

一方、前記剰余逆変換は、複数の剰余変換式のうち特定の変換式を選択して使用した場合、前記剰余変換式情報をデコーディングし、それに相応する逆変換式を利用して逆変換できる。

次に、本発明による剰余変換を利用した無損失映像符号化方法及び装置について説明する。基本的に、前記剰余変換を利用した無損失映像符号化方法及び装置は、前述の本発明によるカラー映像の剰余変換方法及び装置を利用して映像符号化を行う。

図５は、本発明による剰余変換を利用した無損失映像符号化装置の一実施例を示した構成のブロック図である。無損失映像符号化装置は、無損失剰余生成部５００、無損失剰余変換部５２０を含んでいる。そして、エントロピ符号化部５４０をさらに備えることにより実現できる。また、適応性機能を提供するためには、無損失剰余変換選択部５１０をさらに備えることにより実現できる。

図６は、前記無損失剰余生成部５００を詳細に示した無損失映像符号化装置の構成を図示したものである。前記無損失剰余生成部５００は、前記原カラー映像の各成分に対して剰余を生成するものであり、空間予測部６００、時間予測部６２０及び無損失剰余計算部６４０からなる。前記空間予測部６００は、前記原カラー映像の各成分に対し、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得る。前記時間予測部６２０は、前記原映像の各成分に対し、各カラー映像成分についての以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る。前記無損失剰余計算部６４０は、イントラ方式ならば、原映像から前記空間予測映像を差し引いた空間剰余を生成し、インター方式ならば、原映像から前記時間予測映像を差し引いた時間剰余を生成する。

前記無損失剰余変換部５２０は、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する。前記無損失剰余変換部５２０の剰余変換は、ＲＧＢ映像である場合、Ｒ及びＢ成分の剰余値からＧ成分の剰余値を差し引いて符号化する。または、ＹＣｏＣｇ変換式を利用するか、またはＹＣｏＣｇ−Ｒ変換式を使用して剰余変換可能である。

前記エントロピ符号化部５４０は、前記無損失剰余変換部５２０の出力値をエントロピ符号化してビット列を生成する。ここで、前記原カラー映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つになる。

前記剰余変換選択部５１０は、前記無損失剰余生成部５００で生成された剰余を剰余変換して符号化するか、あるいは剰余変換せずに剰余生成部５００で生成された剰余を符号化するかを選択する。

図７は、本発明による剰余変換を利用した無損失映像符号化方法をフローチャートで図示したものであり、図７を参照して本発明による剰余変換を利用した無損失映像符号化装置の動作を説明する。

本実施例では、図６で無損失映像符号化装置のカラー入力映像Ｆ_nとしてＲＧＢ映像を使用することにする。映像は、無損失映像符号化装置で一定サイズのブロック単位に処理される。符号化装置は、符号化効率を上げるために、空間的に隣接しているブロックで予測する空間予測部６００を使用するイントラ方法と、以前フレーム映像Ｆ_n-1で動きを推定して予測する時間予測部６２０を使用するインター方法とを使用して予測する。時間または空間で予測符号化を行う時に、各カラー映像成分は同じカラー映像成分についての映像でのみ予測をする。予測結果として剰余値を得る。前記剰余値が各カラー映像成分についてそれぞれ求められる。

その後、剰余変換選択部５１０で剰余変換することを選択すれば、前記３成分間の相関関係を利用するために、無損失剰余変換部５２０を介して剰余変換する。剰余変換された情報は、エントロピ符号化部５４０を経て圧縮されてビット列が生成される。

図７を参照すれば、まず各カラー映像成分は既存の符号化装置と同様に、無損失剰余生成部５００により予測映像を生成した後（７００段階）、原カラー映像と予測映像との差を求めて剰余を生成する（７２０段階）。

これは、さらに具体的に空間剰余と時間剰余とを求めることにより達成される。前記空間剰余は、空間予測部６００で前記原映像の各成分に対し、イントラ方式ならば、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、無損失剰余計算部６４０により原映像から前記予測映像を差し引くことにより求められる。前記時間剰余は、前記時間予測部６２０で前記原映像の各成分に対し、インター方式ならば、各カラー映像成分についての以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、前記無損失剰余計算部６４０により原映像から前記予測映像を差し引くことにより求められる。

その後、無損失剰余変換選択部５１０により剰余変換を選択すれば（７４０段階において「はい」）、各色相成分の剰余間の重複する情報を除去するために、前記無損失剰余変換部５２０により剰余変換を行う（７６０段階）。剰余変換時には、損失が発生してはならない。例えば、簡単な方法として、△Ｇを予測子として使用して△Ｒ及び△Ｂから△Ｇを差し引いて変換する方法がある。この方法を変換式で表せば、前記数式（８）で表せる。

そして、各成分間の重複をさらに効率的に除去するために、各色相成分間の相関を考慮して作ったカラー変換式を適用できる。数式（９）は、ＹＣｏＣｇ変換式である。また数式（１１）は、前記数式（９）のＹＣｏＣｇ変換式を剰余変換に適用した場合である。ただし、ＹＣｏＣｇ変換式の場合、変換時にラウンドエラーが発生するために、無損失に変換するためには、△Ｒ、△Ｇ、△ＢのうちＣｏ及びＣｇに該当する成分にそれぞれ４を掛け合わせて使用しなければならない。ＹＣｏＣｇ変換をリフティング方法を使用して改善したのがＹＣｏＣｇ−Ｒであるが、変換式は数式（１１）で表せる。このような変換式も、同様に剰余変換式に適用できる。この場合、変換時に、△Ｒ、△Ｇ、△ＢのうちＣｏ及びＣｇに該当する成分にそれぞれ２が掛け合わされ、ラウンドエラーなしに無損失変換が可能になる。前記剰余変換されたデータは、エントロピ符号化部５４０によりエントロピ符号化されてビット列として生成される（７８０段階）。一方、剰余変換選択部５１０により剰余変換を選択しなければ（７４０段階にて「いいえ」）、前記生成された剰余を直ちにエントロピ符号化する（７８０段階）。

図８は、本発明でのカラー平面間で剰余変換を利用した無損失映像復号化装置の構成を図示したブロック図である。無損失映像複号化装置は、剰余変換データ抽出部８２０、剰余逆変換部８３０、原映像復元部８５０を含んでいる。入力されるビット列が符号化時にエントロピ符号化されたビット列ならば、エントロピ復号化部８００をさらに備える必要がある。また、適応性機能を提供し、前記ビット列が剰余変換選択情報であれば、剰余変換判断部８１０及び剰余データ抽出部８４０をさらに備える必要がある。

前記剰余変換データ抽出部８２０は、原カラー映像の符号化データから剰余変換された映像データを抽出する。前記剰余逆変換部８３０は、前記剰余変換された映像データに対して剰余逆変換し、各成分別の剰余を生成する。

前記原映像復元部８５０は、前記各成分別の剰余に予測映像を加えて原映像を復元する。図９は、前記原映像復元部８５０を詳細にブロック図で図示したものである。原映像復元部８５０は、空間補償部９００、時間補償部９２０及び無損失映像復元部９４０を備える。

前記空間補償部９００は、前記各カラー映像成分の剰余に現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償する。前記時間補償部９４０は、前記各カラー映像成分の剰余に以前映像から予測映像を得て、時間予測された値を補償する。前記無損失映像復元部９４０は、前記剰余逆変換部８３０で逆変換された原映像の各成分別の剰余、または前記剰余データ抽出部８４０で抽出された各成分別の剰余に前記空間補償部９００、または時間補償部９２０で補償された予測映像を加えて原映像を復元する。

前記剰余変換判断部８１０は、エントロピ復号化されたデータに対して剰余変換を行うか否かを示す剰余変換選択情報を抽出し、剰余変換されているかどうかを判断する。前記剰余データ抽出部８４０は、前記剰余変換選択情報デコーディング結果、剰余変換されていないと判断されれば、前記ビット列から剰余データを抽出する。前記エントロピ復号化部８００は、入力されるビット列をエントロピ復号化する。

図１０は、本発明による剰余変換を利用した無損失映像復号化方法についての一実施例をフローチャートで図示したものである。図８及び図１０を参照して剰余変換を利用した無損失映像復号化装置の動作を説明する。

まず、入力されるビット列をエントロピ復号化する（１０００段階）。エントロピ復号化されたデータから符号化時に剰余変換過程を経ているのか知るために、剰余変換選択情報をデコーディングする（１０１０段階）。剰余変換過程を経ているならば（１０２０段階において「はい」）、前記原カラー映像の符号化データから剰余変換された映像データを抽出する（１０３０段階）。

その後、前記剰余変換された映像データに対して剰余逆変換を行い、前記各成分別の剰余を生成する（１０４０段階）。前記剰余逆変換は、前述の剰余変換に対する逆過程であり、前記剰余変換時に使用した剰余変換式の逆変換式を使用する。従って、剰余変換時、変換式数式（１）に対する逆変換式は数式（４）、変換式数式（２）は逆変換式数式（５）、変換式数式（３）は逆変換式数式（６）を使用して剰余逆変換する。

もし剰余変換過程を経ていなければ（１０２０段階「いいえ」）、前記原カラー映像の符号化データから剰余データを抽出する（１０５０段階）。その後、前記各成分別の剰余データに予測映像を加えて原映像を復元する（１０６０段階）。

これをさらに詳細に説明すれば、イントラ方式の場合には、空間補償部９００で現在映像Ｆ_nから空間的に隣接したブロック値を空間予測方法で予測した値を求め、またはインター方式の場合には、時間補償部９２０で前映像Ｆ_n-1を時間予測方法で予測した値を求める。そして、前記無損失映像復元部９４０で前記予測した値に剰余値を加えて復元映像Ｆ_nを得る（１０６０段階）。

図１１は、図６で映像の時間予測をするために映像を一定サイズのブロックに分割する方法の一例を示す図面である。この方法は、ＩＳＯ／ＩＥＣ １４４９６−１０及びＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４標準技術で使用する方法である。この方法では、基本的に横／縦に１６画素サイズのマクロブロックを１６×１６、１６×８、８×１６、８×８の多様なサイズに分け、それぞれ動きベクトルを求めて時間上で映像値を予測する。特に、８×８サイズのブロックは、さらに８×８、８×４、４×８、４×４サイズに分けて精密な動きも正確に感知できるようにする。

図１２Ａは、図６で空間予測のための隣接画素の位置と、予測する現在ブロックの画素の位置とを示した図面である。この方法は、ＩＳＯ／ＩＥＣ １４４９６−１０及びＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４標準技術において使用する方法である。図面では、４×４サイズのブロックデータＰ_a， Ｐ_b， ．．． ，Ｐ_qを予測するために、以前に符号化されて復元された空間の隣接したデータＰ₀， Ｐ₁， ．．．， Ｐ₁₂を利用する。図１２Ｂは、空間の隣接した画素から投影（ｐｒｏｊｅｃｔｉｏｎ）し、現在ブロックを予測するための０から８までの９種類の予測方向を示す。例えば、０の方向の場合は、隣接した画素値Ｐ₁，Ｐ₂，Ｐ₃及びＰ₄を垂直方向に投影し、Ｐ_a，Ｐ_e，Ｐ_i及びＰ_mはＰ₁値、Ｐ_b，Ｐ_f，Ｐ_j及びＰ_nはＰ₂値、Ｐ_c，Ｐ_g，Ｐ_k及びＰ_oはＰ₃値、Ｐ_d，Ｐ_h，Ｐ_l及びＰ_qはＰ₄値と予測する。他の方向の場合も同様に投影を介して予測する。

このような時／空間予測方法は、既存の標準技術を一例に説明したものであり、他の方法を使用することも可能である。

そして、既存の損失符号化及び復号化方法及び装置で無損失符号化及び復号化方法及び装置を使用するためには、無損失符号化を知らせる信号を符号化する必要がある。このような信号はヘッダ情報として符号化され、Ｓｅｑｕｅｎｃｅ，Ｐｉｃｔｕｒｅ，Ｓｌｉｃｅなど上位レベルのヘッダに挿入されて符号化することができる。または、量子化の程度を示すＱｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ（ＱＰ）値を使用して知らせることができる。例えば、ＱＰ値が最小値を示す場合などの特定場合を決めておき、その場合には、変換及び量子化を行わずに無損失符号化を行うようにする。

図１３は、本発明の一実施例によるカラー映像符号化装置を示したものであり、時空間予測部１３００、剰余生成部１３１０、剰余変換選択部１３２０、剰余変換部１３３０、変換／量子化部１３４０、エントロピ符号化部１３５０、映像復元部１３６０を含んでいる。

前記時空間予測部１３００は、時間予測映像及び空間予測映像のうち少なくとも一つを生成し、空間予測部及び時間予測部を備える。前記空間予測部は、イントラ方式の場合、前記原カラー映像の各成分に対して各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して予測映像を得る。前記時間予測部は、インター方式の場合、前記原カラー映像の各成分に対して各カラー映像成分についての復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る。

前記剰余生成部１３１０は、イントラ方式ならば、原映像から前記空間予測映像を差し引いた空間剰余を生成し、インター方式ならば、原映像から前記時間予測映像を差し引いた時間剰余を生成する。

前記剰余変換選択部１３２０は、前記剰余生成部１３１０で生成された剰余を剰余変換して符号化するか、あるいは剰余変換せずに剰余生成部１３１０で生成された剰余を符号化するかを選択する。前記剰余変換選択部１３２０は選択事項として、前記剰余変換選択部１３２０が使われなければ、剰余生成部１３１０で生成された剰余は、剰余変換部１３３０により剰余変換される。

前記剰余変換部１３３０は、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する。前記剰余変換部１３３０の剰余変換は、数式（１）のようにＲＧＢ映像である場合、Ｒ及びＢ成分の剰余値からＧ成分の剰余値を差し引いて符号化できる。また、数式（２）及び数式（３）のように、ＹＣｏＣｇ変換式を利用するか、またはＹＣｏＣｇ−Ｒ変換式を使用して剰余変換が可能である。

前記変換／量子化部１３４０は、前記剰余変換部１３３０で剰余変換されたデータ、または前記剰余生成部１３１０で生成された剰余データをＤＣＴ（離散コサイン変換）などの変換及び量子化を行う。

前記エントロピ符号化部１３５０は、前記変換／量子化部１３４０の出力値をエントロピ符号化し、ビット列を生成する。ここで、前記原カラー映像はＲ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つになりうる。

前記映像復元部１３６０は、損失符号化のために復元された現在映像を生成し、逆量子化／逆変換部１２、剰余変換情報解釈部１４、剰余逆変換部１６及び時空間予測補償部１８を備える。

前記逆量子化／逆変換部１２は、前記変換／量子化部１３４０で変換及び量子化されたデータを逆量子化及び逆変換する。前記剰余変換情報解釈部１４は、前記逆量子化及び逆変換されたデータが剰余変換過程を経ているか否かを解釈する。前記剰余逆変換部１８は、前記剰余変換情報解釈部１４で剰余変換されたデータであると解釈されれば、前記剰余変換部１３３０での変換の逆過程を経て剰余逆変換する。前記時空間予測補償部１８は、前記剰余逆変換されたデータまたは剰余データについて時空間予測補償をして復元された現在映像を生成する。

図１４は、本発明の一実施例による剰余変換を利用したカラー映像符号化方法をフローチャートで図示したものである。図１３及び図１４を参照して本発明による剰余変換を利用したカラー映像符号化装置の動作を説明する。

符号化装置の入力映像Ｆ_n １０１は、符号化装置で一定サイズの単位に処理される。各単位サイズのブロックを符号化する時に、各カラー映像成分は、既存の符号化装置と同様に時空間予測部１３００により予測映像を求める（１４００段階）。

前記予測映像は、映像復元部１３６０で、前記変換／量子化部１３４０で変換及び量子化された値を逆量子化及び逆変換、剰余逆変換及び時空間予測補償を介して復元された現在映像を利用して求められる。予測映像が求められれば、原カラー映像と予測映像との差を求めて剰余を生成する（１４１０段階）。

これは、さらに具体的に、空間剰余と時間剰余とを求めることにより達成される。前記空間剰余は、空間予測部で前記原映像の各成分に対し、イントラ方式ならば、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して空間予測映像を得る。その後、剰余生成部１３１０により、原映像から前記空間予測映像を差し引くことにより空間剰余を生成する。

前記時間剰余は、前記時間予測部で前記原映像の各成分に対し、インター方式ならば、各カラー映像成分についての復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して時間予測映像を得る。その後、前記剰余生成部１３１０により原映像から前記時間予測映像を差し引いて時間剰余を生成する。

そして、剰余変換選択部１３２０により剰余変換を選択すれば（１４２０段階）、各色相成分の剰余間の重複する情報を除去するために前記剰余変換部１３３０により剰余変換を行う（１４３０段階）。

例えば、簡単な方法として、△Ｇを予測子として使用し、△Ｒ及び△Ｂから△Ｇを差し引いて変換する方法がある。この方法を変換式で示せば前記数式（８）で表せる。

そして、各成分間の重複をさらに効率的に除去するために各色相成分間の相関を考慮して作ったカラー変換式を適用できる。数式（９）は、ＹＣｏＣｇ変換式である。また数式（１１）は、前記数式（９）のＹＣｏＣｇ変換式を剰余変換に適用した場合である。ＹＣｏＣｇ変換をリフティング方法を使用して改善したのがＹＣｏＣｇ−Ｒであるが、変換式は数式（１１）で表せる。このような変換式も、同様に剰余変換式に適用できる。

前記剰余変換されたデータは、変換／量子化部１３４０により所定サイズのブロック単位で変換及び量子化されて損失圧縮される（１４４０段階）。その後、エントロピ符号化部５４０によりエントロピ符号化され、ビット列として生成される（１４５０段階）。

一方、剰余変換選択部１３２０により剰余変換を選択しなければ（１４２０段階において「いいえ」）、すぐに前記剰余生成部１３１０で生成された剰余を変換及び量子化し（１４４０段階）、エントロピ符号化する（１４５０段階）。

図１５は、本発明の一実施例による剰余変換を利用したカラー映像復号化装置の構成をブロック図で図示したものである。カラー映像複合化装置は、損失復号化部１５００、剰余変換判断部１５２０、剰余変換データ抽出部１５３０、剰余逆変換部１５４０、剰余データ抽出部１５５０、カラー映像復元部１５６０を含んでいる。

前記損失復号化部１５００は、カラー映像の損失符号化されたビット列に対して少なくとも逆量子化を行って損失復号化するものであり、エントロピ復号化部１５０２及び逆量子化／逆変換部１５０４を備える。前記エントロピ復号化部１５０２は、符号化されたビット列をエントロピ復号化して変換係数にする。前記逆量子化／逆変換部１５０４は、前記エントロピ復号化されたデータを逆量子化及び逆変換する。

前記剰余変換判断部１５２０は、前記原カラー映像の逆量子化されたデータから剰余変換を行うか否かを示す剰余変換選択情報を抽出し、剰余変換されているかどうかを解釈する。前記剰余変換判断部１５２０は、原カラー映像が符号化される時、剰余変換が選択事項でなくして必須事項である場合には必要ないブロックであり、この場合は、直ちに逆量子化及び逆変換されたデータに対して剰余逆変換する。

前記剰余変換データ抽出部１５３０は、前記剰余変換選択情報の解釈の結果、前記逆量子化／逆変換部１５０４で損失復号化されたデータが剰余変換されたならば、前記逆量子化及び逆変換されたデータから剰余変換データを抽出する。

剰余逆変換部１５４０は、前記剰余変換データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する。

前記剰余データ抽出部１５５０は、前記剰余変換選択情報の解釈の結果、前記逆量子化／逆変換部１５０４の損失復号化されたデータが剰余変換されていなければ、前記逆量子化及び逆変換されたデータから剰余データを抽出する。

前記カラー映像復元部１５６０は、前記各成分別の剰余に復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する。

図１６は、本発明による剰余変換を利用したカラー映像復号化方法についての一実施例をフローチャートで図示したものである。図１５及び図１６を参照して本発明による剰余変換を利用したカラー映像復号化装置の動作を説明する。

まず、圧縮されたビット列はエントロピ復号化部１５０２を介して変換係数に復号化され（１６００段階）、この変換係数の係数値は逆量子化／逆変換部１５０４で逆量子化及び逆変換されて復元される（１６１０段階）。前記復元されたデータは、剰余変換判断部１５２０で剰余変換選択情報を抽出し、剰余変換されているかどうかを検査する（１６２０段階）。剰余変換されていると判断されれば、剰余変換データ抽出部１５３０で前記逆量子化及び逆変換されたデータから剰余変換データを抽出し（１６４０段階）、剰余逆変換を行って成分別の剰余を復元する（１６５０段階）。前記剰余逆変換は、前述の剰余変換に対する逆過程であり、前記剰余変換時に使用した剰余変換式の逆変換式を使用する。従って、剰余変換時、変換式数式（１）に対する逆変換式は数式（４）、変換式数式（２）は逆変換式数式（５）、変換式数式（３）は逆変換式数式（６）を使用して剰余逆変換する。

もし剰余変換されていないと判断されれば、剰余データ抽出部１５５０で前記逆量子化及び逆変換されたデータから剰余データを復元する（１６６０段階）。

復元された映像から予測映像を生成すれば（１６７０段階）、前記復元された剰余は、カラー映像復元部１５６０を介して時空間予測補償を介して前記予測映像を加えて原カラー映像に復元される（１６８０段階）。

図１１，図１２Ａ及び図１２Ｂは、前述の本発明による剰余変換を利用した映像符号化／復号化方法及び装置で予測符号化をする時に、インターモード及びイントラモードの場合、予測方法を説明するための図面である。前記図１１、図１２Ｂ及び図１２Ｂは、前述の無損失映像符号化／復号化方法及び装置での説明と同一なので説明を省略する。

図１７は、本発明による剰余変換を利用したカラー映像符号化方法と既存の方法について実験を介して多様なビット率で圧縮効率を比較したものである。実験映像は、国際標準化機構ＭＰＥＧ，ＪＶＴなどでテスト用として使用するＨＤクラス映像である“Ｃｒｅｗ”映像を使用した。符号化は、図１２Ａ及び図１２Ｂで説明した空間予測符号化を使用した。図面で、既存の方法についてのものがＹＣｂＣｒ及びＹＣｏＣｇ−Ｒである。

まず、ＹＣｂＣｒについての変換及び逆変換式は、次の数式（１２）で表せる。この変換式は、ＳＭＰＴＥ ２７４Ｍ方式によるものである。

そして、Ｍｉｃｒｏｓｏｆｔ社で開発したＹＣｏＣｇ変換及び逆変換式は数式（１３）で表せる。

ＹＣｏＣｇ変換をリフト方法を使用して改善したものがＹＣｏＣｇ−Ｒであるが、この変換及び逆変換式は次の数式（１４）で表せる。

そして、図１７で“ＲＥＳ−”と表示されたのが剰余変換を使用したものである。まず、“ＲＥＳ−ＩＰＰ”では、次の数式（１５）のような変換及び逆変換式を使用した。

前記式で、Ｒ，Ｇ，Ｂは各成分の剰余映像を示す。この方法は、Ｇを符号化した後でこの値を使用し、Ｒ及びＢを予測して符号化する方法である。

そして、“ＲＥＳ−ＹＣｏＣｇ”は、剰余映像をＹＣｏＣｇ変換を使用して変換したものであり、“ＲＥＳ−ＹＳｂＳｒ”は、剰余映像を色相変換の一種であるＹＳｂＳｒ変換を使用して変換したものである。

このように、剰余変換はさまざまな色相変換式を適用して使用できる。従って、映像の特性により、各カラー映像成分の剰余の相関により、またはビット率によって適した変換式を適用して使用できる。そして、各成分間の相関が小さい時には、ｉｄｅｎｔｉｔｙ変換を適用して剰余変換なしに符号化することもある。映像または環境によって適応的に適した変換式を適用するために、特定変換式にインデックスを付与して使用した変換式のインデックスを符号化した後、復号化時に該当インデックスの変換式を使用できる。または、変換係数をビット列に符号化し、ユーザが所望の変換式を使用することもある。このような適応方法は、スライス単位、あるいはマクロブロック単位など特定単位を定めて適用できる。

実験結果から分かるように、剰余変換をした場合、既存の方法より圧縮効率が高まることが分かる。

一方、前記の本発明は、またコンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして具現することが可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み込まれうるデータが保存されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形で具現されることも含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが保存されて実行されることも含む。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは本発明が属する技術分野のプログラマらにより容易に適用が可能であると推論される。

以上、図面及び明細書で最適実施例が開示された。ここで、特定の用語が用いられたが、それは単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。従って、本技術分野の当業者ならば、これから多様な変形及び均等な他実施例が可能であるという点が理解されるであろう。従って、本発明の真の技術的保護範囲は、特許請求範囲の技術的思想により決まるものである。

本発明のカラー映像の剰余変換／逆変換方法及び装置、それを利用したカラー映像符号化／復号化方法及び装置は、例えば映像符号化／復号化に関わる技術分野に効果的に適用可能である。

本発明による剰余変換装置の構成をブロック図で図示した図面である。 本発明によるカラー映像の剰余変換方法をフローチャートで図示した図面である。 本発明によるカラー映像の剰余逆変換装置の構成をブロック図で図示した図面である。 本発明によるカラー映像の剰余逆変換方法をフローチャートで図示した図面である。 本発明による剰余変換を利用した無損失映像符号化装置の一実施例についての構成をブロック図で図示した図面である。 無損失剰余生成部のさらに詳細な構成を含んだ本発明による無損失映像符号化装置の構成を図示した図面である。 本発明による剰余変換を利用した無損失映像符号化方法をフローチャートで図示した図面である。 本発明でのカラー平面間で剰余変換を利用した無損失映像復号化装置の構成をブロック図で図示した図面である。 図８の原映像復元部をさらに詳細にブロック図で図示した図面である。 本発明による剰余変換を利用した無損失映像復号化方法についての一実施例をフローチャートで図示した図面である。 図６で、映像の時間予測をするために映像を一定サイズのブロックに分割する方法の一例を示す図面である。 図６で、空間予測のための隣接画素の位置と予測する現在ブロックの画素の位置とを示した図面である。 図６で、空間隣接した画素から投影して現在ブロックを予測するための０から８までの９種類の予測方向を示す図面である。 本発明の一実施例によるカラー映像符号化装置を示した図面である。 本発明の一実施例による剰余変換を利用したカラー映像符号化方法をフローチャートで図示した図面である。 本発明の一実施例による剰余変換を利用したカラー映像復号化装置の構成をブロック図で図示した図面である。 本発明による剰余変換を利用したカラー映像復号化方法についての一実施例をフローチャートで図示した図面である。 本発明による剰余変換を利用したカラー映像符号化方法と既存の方法とについて実験を介して多様なビット率で圧縮効率を比較したグラフである。

符号の説明

１００ 剰余生成部
１０２ 空間剰余生成部
１０４ 時間剰余生成部
１２０ 剰余変換部

Claims (76)

1. 少なくとも２種類以上のカラー映像成分からなる原映像を剰余変換する方法において、
   （ａ）前記原映像の各カラー映像成分に対し、原映像と予測映像との差に該当する剰余
   を求める段階と、
   （ｂ）前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する段階とを含むことを特徴とするカラー映像の剰余変換方法。
2. 前記原映像は、
   Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする請求項１に記載のカラー映像の剰余変換方法。
3. 前記（ａ）段階は、
   前記原映像の各カラー映像成分に対し、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得る段階と、
   原映像から前記予測映像を差し引いた空間剰余を求める段階とを備えることを特徴とする請求項１に記載のカラー映像の剰余変換方法。
4. 前記（ａ）段階は、
   前記原映像の各カラー映像成分に対し、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る段階と、
   原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えることを特徴とする請求項１に記載のカラー映像の剰余変換方法。
5. 前記（ａ）段階は、
   前記原映像の各カラー映像成分に対しイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、イントラ方式ならば、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、原映像から前記予測映像を差し引いた空間剰余を求める段階と、
   前記原映像の各カラー映像成分に対し、インター方式ならば、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えることを特徴とする請求項１に記載のカラー映像の剰余変換方法。
6. 前記（ｂ）段階の剰余変換は、
   カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つのカラー映像成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
   

   

   （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は、剰余変換された信号である）
   数式（１）のように、前記３つのカラー映像成分のうち２成分の剰余値から残りの１成分の剰余値を差し引いて符号化することを特徴とする請求項１に記載のカラー映像の剰余変換方法。
7. 前記（ｂ）段階の剰余変換は、
   カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
   

   

   （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は、剰余変換された信号である）
   数式（２）を利用して変換することを特徴とする請求項１に記載のカラー映像の剰余変換方法。
8. 前記（ｂ）段階の剰余変換は、
   カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
   

   

   （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）
   数式（３）を利用して変換することを特徴とする請求項１に記載のカラー映像の剰余変換方法。
9. 前記（ｂ）段階の剰余変換は、
   既設定の複数の剰余変換式のうち一つを選択して剰余変換することを特徴とする請求項１に記載のカラー映像の剰余変換方法。
10. 少なくとも２種類以上の成分からなる原映像を剰余変換する装置において、
    前記原映像の各成分に対し、原映像と予測映像との差に該当する剰余を生成する剰余生成部と、
    前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する剰余変換部とを含むことを特徴とするカラー映像の剰余変換装置。
11. 前記剰余生成部は、
    前記原映像の各成分に対しイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、イントラ方式ならば、各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、原映像から前記予測映像を差し引いた空間剰余を生成する空間剰余生成部と、
    前記原映像の各成分に対し、インター方式ならば、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を生成する時間剰余生成部とを備えることを特徴とする請求項１０に記載のカラー映像の剰余変換装置。
12. 少なくとも２種類以上の成分からなる原映像と予測映像との差を剰余とするとき、前記原映像成分の各剰余間の相関関係を利用して剰余変換された映像を逆変換する方法において、
    （ｘ）前記剰余変換された原映像に対して剰余逆変換を行い、前記各成分別の剰余を生成する段階と、
    （ｙ）前記各成分別の剰余に予測映像を加えて原映像を復元する段階とを含むことを特徴とするカラー映像の剰余逆変換方法。
13. 前記原映像は、
    Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
14. 前記（ｙ）段階は、
    イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元することを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
15. 前記（ｙ）段階は、
    インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元することを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
16. 前記（ｘ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は、剰余変換された信号である）
    前記数式（４）を利用して逆変換することを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
17. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記数式（５）を利用して逆変換することを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
18. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）
    前記数式（６）を使用して逆変換することを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
19. 前記（ｙ）段階の逆変換は、
    変換された剰余の生成時に使われた剰余変換式情報をデコーディングし、それに相応する逆変換式を利用して逆変換することを特徴とする請求項１２に記載のカラー映像の剰余逆変換方法。
20. 少なくとも２種類以上の成分からなる原映像と予測映像との差を剰余とするとき、前記原映像成分の各剰余間の相関関係を利用して剰余変換された映像を逆変換する装置において、
    前記剰余変換された原映像に対して剰余逆変換を行い、前記各成分別の剰余を生成する剰余逆変換部と、
    前記各成分別の剰余に予測映像を加えて原映像を復元する原映像復元部とを含むことを特徴とするカラー映像の剰余逆変換装置。
21. 前記原映像復元部は、イントラ方式とインター方式の処理方式の選択肢を有し、
    イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元する空間補償映像復元部と、
    インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元する時間補償映像復元部とを含むことを特徴とする請求項２０に記載のカラー映像の剰余逆変換装置。
22. 少なくとも２種類以上の成分からなる原映像を符号化する方法において、
    （ａ）前記原映像の各成分に対し、原映像と予測映像との差に該当する剰余を求める段階と、
    （ｂ）前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する段階とを含むことを特徴とする剰余変換を利用した無損失映像符号化方法。
23. 前記原映像は、
    Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
24. 前記（ｂ）段階の剰余変換されたデータをエントロピ符号化し、ビット列を生成する段階をさらに備えることを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
25. 前記（ｂ）段階は、
    前記カラー映像成分の成分別の剰余相互間の関連性を利用し、剰余変換するか否かを選択する段階と、
    前記剰余変換を選択すれば、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する段階とし、前記剰余変換を選択しなければ、前記カラー映像成分の成分別の剰余を符号化する段階とを含むことを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
26. 前記（ａ）段階は、
    前記原映像の各カラー映像成分に対し、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得る段階と、
    原映像から前記予測映像を差し引いた空間剰余を求める段階とを備えることを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
27. 前記（ａ）段階は、
    前記原映像の各カラー映像成分に対し、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る段階と、
    原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えることを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
28. 前記（ａ）段階は、
    前記原映像の各カラー映像成分に対し、イントラ方式ならば、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、原映像から前記予測映像を差し引いた空間剰余を求める段階と、
    前記原映像の各カラー映像成分に対し、インター方式ならば、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えることを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
29. 前記（ｂ）段階の剰余変換は、
    カラー映像の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    数式（１）のように、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記３つの成分のうち２つの成分の剰余値から残りの１成分の剰余値を差し引いて符号化することを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
30. 前記（ｂ）段階の剰余変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記数式（２）を利用して変換することを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
31. 前記（ｂ）段階の剰余変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）
    前記数式（３）を利用して変換することを特徴とする請求項２２に記載の剰余変換を利用した無損失映像符号化方法。
32. 少なくとも２種類以上の成分からなる原映像を符号化する装置において、
    前記原映像の各カラー映像成分に対し、原映像と予測映像との差に該当する剰余を求める剰余生成部と、
    前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して符号化する剰余変換／符号化部とを含むことを特徴とする剰余変換を利用した無損失映像符号化装置。
33. 前記剰余変換／符号化部は、
    剰余変換されたデータをエントロピ符号化し、ビット列を生成するエントロピ符号化部をさらに備えることを特徴とする請求項３２に記載の剰余変換を利用した無損失映像符号化装置。
34. 前記剰余生成部は、
    前記原映像の各カラー映像成分に対しイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、イントラ方式ならば、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、原映像から前記予測映像を差し引いた空間剰余を求める空間剰余生成部と、
    前記原映像の各カラー映像成分に対し、インター方式ならば、各カラー映像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を求める時間剰余生成部とを備えることを特徴とする請求項３２に記載の剰余変換を利用した無損失映像符号化装置。
35. 符号化された少なくとも２種類以上のカラー映像成分からなる原映像を無損失復号化する方法において、
    （ｘ）前記原映像と予測映像との差を剰余とするとき、前記原映像の符号化データから剰余変換された映像データを抽出する段階と、
    （ｙ）前記剰余変換された映像データに対して剰余逆変換を行い、前記各成分別の剰余を生成する段階と、
    （ｚ）前記各成分別の剰余に予測映像を加えて原映像を復元する段階とを含むことを特徴とする剰余変換を利用した無損失映像復号化方法。
36. 前記原映像は、
    Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする請求項３５に記載の剰余変換を利用した無損失映像復号化方法。
37. 前記（ｚ）段階は、
    イントラ方式の場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償して原映像を復元することを特徴とする請求項３５に記載の剰余変換を利用した無損失映像復号化方法。
38. 前記（ｚ）段階は、
    インター方式の場合、前記各カラー映像成分の剰余に対して以前映像から予測映像を得て、時間予測された値を補償して原映像を復元することを特徴とする請求項３５に記載の剰余変換を利用した無損失映像復号化方法。
39. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記数式（４）を利用して逆変換することを特徴とする請求項３５に記載の剰余変換を利用した無損失映像復号化方法。
40. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記数式（５）を利用して逆変換することを特徴とする請求項３５に記載の剰余変換を利用した無損失映像復号化方法。
41. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）は(²Ａを２進表示しさらに右シフトした後の値を意味する）
    数式（６）を使用して逆変換することを特徴とする請求項３５に記載の剰余変換を利用した無損失映像復号化方法。
42. 符号化された少なくとも２種類以上の成分からなる原映像を無損失復号化する方法において、
    前記符号化されたデータが剰余変換されたか否かをチェックする段階と、
    剰余変換されたならば、前記剰余変換された映像データに対して剰余逆変換を行い、前記カラー映像成分の各成分別の剰余を生成する段階とし、剰余変換されていなければ、前記逆量子化されたデータから前記カラー映像成分の各成分別の剰余を生成する段階と、
    前記各成分別の剰余に予測映像を加えて原映像を復元する段階とを含むことを特徴とする剰余変換を利用した映像無損失復号化方法。
43. 符号化された少なくとも２種類以上の成分からなる原映像を無損失復号化する装置において、
    前記原映像と予測映像との差を剰余とするとき、前記原映像の符号化データから剰余変換された映像データを抽出する剰余変換データ抽出部と、
    前記剰余変換された映像データに対して剰余逆変換して各成分別の剰余を生成する剰余逆変換部と、
    前記各成分別の剰余に予測映像を加えて原映像を復元する原映像復元部とを含むことを特徴とする剰余変換を利用した無損失映像復号化装置。
44. 前記原映像復元部はイントラ方式とインター方式の処理方式の選択肢を有し、
    イントラ方式の場合、前記各カラー映像成分の剰余に現在映像の画素ブロックと空間的に近接した画素を利用し、空間予測された値を補償する前記空間補償部と、
    インター方式の場合、前記各カラー映像成分の剰余に以前映像から予測映像を得て、時間予測された値を補償する時間補償部と、
    原映像の各成分別の剰余に前記空間補償部または時間補償部で補償された予測映像を加えて原映像を復元する無損失映像復元部とを含むことを特徴とする請求項４３に記載の剰余変換を利用した無損失映像復号化装置。
45. 符号化されたビット列をエントロピ復号化するエントロピ復号化部をさらに備えることを特徴とする請求項４３に記載の剰余変換を利用した無損失映像復号化装置。
46. 符号化された少なくとも２種類以上の成分からなる原カラー映像成分を無損失復号化する装置において、
    原カラー映像成分の符号化データから剰余データに対して剰余変換を行うか否かを示す剰余変換選択情報を抽出し、剰余変換されたデータであるか否かを判断する剰余変換判断部と、
    剰余変換されたデータであると判断されれば、原カラー映像成分の符号化データから剰余変換された映像データを抽出する剰余変換データ抽出部と、
    前記剰余変換された映像データに対して剰余逆変換し、各成分別の剰余を生成する剰余逆変換部と、
    前記判断結果、剰余変換されていないと判断されれば、原カラー映像成分の符号化データから各成分別の剰余データを抽出する剰余データ抽出部と、
    前記各成分別の剰余に予測映像を加えて原映像を復元する原映像復元部とを含むことを特徴とする剰余変換を利用した無損失映像復号化装置。
47. 少なくとも２種類以上の成分からなる原カラー映像成分を符号化する方法において、
    （ａ）前記原カラー映像成分の各成分に対し、原カラー映像成分と復元された映像から生成した予測映像との差に該当する剰余を求める段階と、
    （ｂ）前記カラー映像成分の剰余相互間の関連性を利用し、前記剰余を変換する段階と、
    （ｃ）前記剰余変換されたデータを少なくとも量子化を含んで符号化する段階とを含むことを特徴とする剰余変換を利用したカラー映像符号化方法。
48. 前記原映像は、
    Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする請求項４７に記載の剰余変換を利用したカラー映像符号化方法。
49. 前記量子化されたデータをエントロピ符号化し、ビット列を生成する段階をさらに備えることを特徴とする請求項４７に記載の剰余変換を利用したカラー映像符号化方法。
50. 前記（ａ）段階は、
    前記原映像の各カラー映像成分に対し、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して損失予測映像を得る段階と、
    原映像から前記損失予測映像を差し引いた損失空間剰余を求める段階とを備えることを特徴とする請求項４７に記載の剰余変換を利用したカラー映像符号化方法。
51. 前記（ａ）段階は、
    前記原映像の各カラー映像成分に対し、各カラー映像成分の復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る段階と、
    原映像から前記予測映像を差し引いた損失時間剰余を求める段階とを備えることを特徴とする請求項４８に記載の剰余変換を利用したカラー映像符号化方法。
52. 前記（ａ）段階は、
    前記原映像の各カラー映像成分に対しイントラ方式とインター方式の選択肢を有する処理方式がある場合であって、イントラ方式ならば、各カラー映像成分の現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して損失予測映像を得て、原映像から前記損失予測映像を差し引いた空間剰余を求める段階と、
    前記原映像の各成分に対し、インター方式ならば、各カラー映像成分についての復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して損失予測映像を得て、原映像から前記予測映像を差し引いた時間剰余を求める段階とを備えることを特徴とする請求項４８に記載の剰余変換を利用したカラー映像符号化方法。
53. 前記（ａ）段階での予測映像は、
    前記（ｃ）段階で変換及び量子化を経て生成された信号を逆量子化及び逆変換をした後、予測補償をして復元された映像を使用して生成することを特徴とする請求項４８に記載の剰余変換を利用したカラー映像符号化方法。
54. 前記（ｂ）段階の剰余変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    数式（１）のように、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記３つの成分のうち２つの成分の剰余値から残りの１成分の剰余値を差し引いて符号化することを特徴とする請求項４８に記載の剰余変換を利用したカラー映像符号化方法。
55. 前記（ｂ）段階の剰余変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    数式（２）を利用して変換することを特徴とする請求項４８に記載の剰余変換を利用したカラー映像符号化方法。
56. 前記（ｂ）段階の剰余変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）
    数式（３）を利用して変換することを特徴とする剰余変換を利用した請求項４８に記載のカラー映像符号化方法。
57. 少なくとも２種類以上の成分からなる原カラー映像成分を符号化する方法において、
    前記原カラー映像成分の各成分に対し、原カラー映像成分と復元された映像から生成した予測映像との差に該当する剰余を求める段階と、
    前記カラー映像成分の成分別の剰余相互間の関連性を利用し、剰余変換するか否かを選択する段階と、
    前記剰余変換を選択すれば、前記所定成分の剰余相互間の関連性を利用し、前記剰余を変換して損失符号化する段階と、
    前記剰余変換を選択しなければ、前記カラー映像成分の成分別の剰余を損失符号化する段階とを含むことを特徴とする剰余変換を利用したカラー映像符号化方法。
58. 少なくとも２種類以上の成分からなる原カラー映像成分を符号化する装置において、
    前記原カラー映像成分の各成分に対し、現在映像と復元された以前映像とを利用して時間予測映像及び復元された現在映像を利用し、空間予測映像のうち少なくとも一つを生成する時空間予測部と、
    イントラ方式ならば、原映像から前記空間予測映像を差し引いた空間剰余を生成し、インター方式ならば、原映像から前記時間予測映像を差し引いた時間剰余を生成する剰余生成部と、
    前記カラー映像成分の成分別の剰余相互間関連性を利用し、前記剰余を変換する剰余変換部と、
    前記変換された剰余を少なくとも量子化を含んで符号化する剰余符号化部とを含むことを特徴とする剰余変換を利用したカラー映像符号化装置。
59. 前記量子化されたデータをエントロピ符号化し、ビット列を生成するエントロピ符号化部をさらに備えることを特徴とする請求項５８に記載の剰余変換を利用したカラー映像符号化装置。
60. 前記時空間予測部はイントラ方式とインター方式の処理方式の選択肢を有し、
    イントラ方式の場合、前記原カラー映像成分の各成分に対して各カラー映像成分についての現在フレームの画素ブロックと空間的に近接した復元された画素から予測方向を推定して予測映像を得る前記空間予測部と、
    インター方式の場合、前記原カラー映像成分の各成分に対して各カラー映像成分についての復元された以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測映像を得る時間予測部とを備えることを特徴とする請求項５８に記載の剰余変換を利用したカラー映像符号化装置。
61. 前記時空間予測部の予測映像は、
    前記剰余符号化部で変換及び量子化を経て生成された信号を逆量子化及び逆変換をした後、予測補償をして復元された映像を使用して生成されることを特徴とする請求項５８に記載の剰余変換を利用したカラー映像符号化装置。
62. 少なくとも２種類以上の成分からなる原カラー映像成分を符号化する装置において、
    前記原カラー映像成分の各成分に対し、原カラー映像と復元されたカラー映像から生成した予測映像との差に該当する剰余を生成する剰余生成部と、
    前記剰余生成部で生成されたカラー映像成分の成分別の剰余相互間の関連性を利用し、剰余変換するか否かを選択する剰余変換選択部と、
    前記剰余変換選択部で剰余変換することを選択すれば、前記カラー映像成分の成分別の剰余相互間関連性を利用し、前記剰余を変換する剰余変換部と、
    前記剰余変換部で変換された剰余または前記剰余変換選択部で剰余変換しないように選択すれば、前記剰余生成部で生成された剰余を少なくとも量子化を含んで符号化する剰余符号化部とを含むことを特徴とする剰余変換を利用したカラー映像符号化装置。
63. 符号化された少なくとも２種類以上の成分からなる原カラー映像を復号化する方法において、
    （ｘ）前記原カラー映像成分の符号化データに対して損失復号化を行って剰余変換された映像データを復元する段階と、
    （ｙ）前記剰余変換された映像データに対して剰余逆変換を行い、前記カラー映像成分の各成分別の剰余を生成する段階と、
    （ｚ）前記各成分別の剰余に、復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する段階とを含むことを特徴とする剰余変換を利用したカラー映像復号化方法。
64. 前記原映像は、
    Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
65. 前記（ｚ）段階は、
    イントラ方式である場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した復元された画素を利用し、空間予測された値を補償して原カラー映像を復元することを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
66. 前記（ｚ）段階は、
    インター方式である場合、前記各カラー映像成分の剰余に対して復元された以前映像から予測映像を得て、時間予測された値を補償して原映像を復元することを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
67. 前記（ｚ）段階は、
    イントラ方式である場合、前記各カラー映像成分の剰余に対して現在映像の画素ブロックと空間的に近接した復元された画素を利用し、空間予測された値を補償して原映像を復元する段階と、
    インター方式である場合、前記各カラー映像成分の剰余に対して復元された以前映像から予測映像を得て、時間予測された値を補償して原映像を復元する段階とであることを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
68. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    前記数式（４）を利用して逆変換することを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
69. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号である）
    数式（５）を利用して逆変換することを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
70. 前記（ｙ）段階の逆変換は、
    カラー映像成分の３つの成分をＸ₁，Ｘ₂，Ｘ₃とし、ΔＸ₁，ΔＸ₂，ΔＸ₃を前記３つの成分Ｘ₁，Ｘ₂，Ｘ₃に対する剰余とするとき、
    

    

    （ここで、Δ²Ｘ₁，Δ²Ｘ₂，Δ²Ｘ₃は剰余変換された信号であり、さらに（Δ²Ａ＞＞１）はΔ²Ａを２進表示しさらに右シフトした後の値を意味する）
    数式（６）を使用して逆変換することを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
71. 前記原カラー映像成分の入力ビット列に対してエントロピ復号化する段階をさらに備えることを特徴とする請求項６３に記載の剰余変換を利用したカラー映像復号化方法。
72. 符号化された少なくとも２種類以上の成分からなる原映像を復号化する方法において、
    前記原カラー映像成分の符号化されたデータに対して少なくとも逆量子化を行う段階と、
    前記逆量子化されたデータが剰余変換されたか否かをチェックする段階と、
    剰余変換されたならば、前記剰余変換された映像データに対して剰余逆変換を行い、前記カラー映像成分の各成分別の剰余を生成する段階と、
    剰余変換されていなければ、前記逆量子化されたデータから前記カラー映像成分の各成分別の剰余を生成する段階と、
    前記各成分別の剰余に予測映像を加えて原カラー映像を復元する段階とを含むことを特徴とする剰余変換を利用したカラー映像復号化方法。
73. 符号化された少なくとも２種類以上の成分からなる原カラー映像を復号化する装置において、
    前記原カラー映像成分の損失符号化データから剰余変換された映像データを復元する剰余変換データ復元部と、
    前記剰余変換データに対して剰余逆変換を行い、前記カラー映像の各成分別の剰余を生成する剰余逆変換部と、
    前記各成分別の剰余に復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する原カラー映像復元部とを含むことを特徴とする剰余変換を利用したカラー映像復号化装置。
74. 前記剰余変換データ復元部は、
    符号化されたビット列をエントロピ復号化するエントロピ復号化部と、
    前記エントロピ復号化されたデータを逆量子化及び逆変換する逆量子化／逆変換部とを備えることを特徴とする請求項７３に記載の剰余変換を利用したカラー映像復号化装置。
75. カラー映像成分の損失符号化されたビット列に対して少なくとも逆量子化を行う損失復号化部と、
    前記損失復号化部で損失復号化されたデータから剰余変換を行うか否かを示す剰余変換選択情報を抽出して解釈する剰余変換判断部と、
    前記剰余変換選択情報の解釈結果、前記損失復号化されたデータが剰余変換されたならば、前記損失復号化されたデータから剰余変換データを抽出する剰余変換データ抽出部と、
    前記剰余変換データに対して剰余逆変換を行い、前記カラー映像成分の各成分別の剰余を生成する剰余逆変換部と、
    前記剰余変換選択情報の解釈結果、前記損失復号化されたデータが剰余変換されていなければ、前記損失復号化されたデータから剰余データを抽出する剰余データ抽出部と、
    前記各成分別の剰余に復元された映像を利用して生成された予測映像を加えて原カラー映像を復元する原カラー映像復元部とを含むことを特徴とする剰余変換を利用したカラー映像復号化装置。
76. 請求項１ないし請求項９、請求項１２ないし請求項１９、請求項２２ないし請求項３１、請求項３５ないし請求項４２、請求項４７ないし請求項５７、請求項６２ないし請求項７２のうちいずれか１項に記載の発明をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images