JP3557657B2 - Signal processing system - Google Patents

Description

【００１０】
そして、上記２次元行列形式のＤＣＴ変換を一般的な形で表わすと、次のようになる。
【００１１】
【数２】

【００１２】
また、２次元逆ＤＣＴ変換は、次式で表わされる。
【００１３】
【数３】

【００１４】
そして、上記２次元行列形式の逆ＤＣＴ変換を一般的な形で表わすと、次のようになる。
【００１５】
【数４】

【００１６】
このことから、ＤＣＴ変換→再量子化→逆量子化→逆変換の一連の流れを一般的な形で表わすと、以下のようになる。
【００１７】
変換
［Ｘ］＝（２／Ｎ）［ａ］［ｘ］［ｂ］^ｔ
再量子化（特に式の上では示さないが、整数部で丸めるものとする）
［ＸＬ］＝［Ｘ］（１／［Ｑｎ］）
［Ｑｎ］：再量子化マトリクス
逆量子化
［ｉＸ］＝［ＸＬ］［Ｑｎ］
逆変換
［ｉｘ］＝（２／Ｎ）［ａ］^ｔ ［ｉＸ］［ｂ］
【００１８】
ここで、［Ｑ０］のとき、［ｉｘ］＝［ｘ］を満足する限界の再量子化値としたとき、［Ｑ０］に対して１桁多い再量子化マトリクス［Ｑ１］における上記一連の流れ（ＤＣＴ変換→再量子化→逆量子化→逆変換）は、以下のようになる。
【００１９】
変換
［２Ｘ’］＝（２／Ｎ）［ａ］［２ｘ’］［ｂ］^ｔ
再量子化
［ＸＬ’］＝［２Ｘ’］（１／［Ｑ１］）＝［Ｘ’］（１／［Ｑ０］）
（［Ｑ１］＝２・［Ｑ０］）より
ここで、再量子化の条件が［Ｑ０］のときと同じになる。
逆量子化
［２ｉＸ’］＝［ＸＬ’］［Ｑ１］＝［ＸＬ’］［２Ｑ０］
逆変換
［２ｉｘ’］＝（２／Ｎ）［ａ］^ｔ ［２ｉＸ’］［ｂ］
【００２０】
次に、［Ｑ０］に対して２桁多い再量子化マトリクス［Ｑ２］における上記一連の流れ（ＤＣＴ変換→再量子化→逆量子化→逆変換）は、以下のようになる。
【００２１】
変換
［４Ｘ’］＝（２／Ｎ）［ａ］［４ｘ’］［ｂ］^ｔ
再量子化
［ＸＬ’］＝［４Ｘ’］（１／［Ｑ２］）＝［Ｘ’］（１／［Ｑ０］）
（［Ｑ２］＝４・［Ｑ０］）より
ここで、再量子化の条件が［Ｑ０］のときと同じになる。
逆量子化
［４ｉＸ’］＝［ＸＬ’］［Ｑ２］＝［ＸＬ’］［４Ｑ０］
逆変換
［４ｉｘ’］＝（２／Ｎ）［ａ］^ｔ ［４ｉＸ’］［ｂ］
【００２２】
以下同様である。
【００２３】
具体的に、５回の演算を経て係数を得るような直交変換を想定した場合を図２１（ａ）に基づいて説明する。なお、簡単のため、変換側では各演算によってダイナミックレンジが２倍、即ち毎回桁上がりが起こるものとする。
【００２４】
上記直交変換では、逆変換は、ＤＣＴ変換との相関関係からダイナミックレンジの変化による繰り上りが生じず、最終段のワードの入力語長分を上位ビットから切り出すことによって逆変換を得る。
【００２５】
いま、再量子化器において、１２ビットに再量子化したときを考えると、逆変換では各演算でダイナミックレンジの変化による繰り上りはないが、再量子化による歪みには変換との相関関係がなく演算のたびにその最大値は倍になる。その様子を図２１（ｂ）に示す。この図２１（ｂ）において、斜線で示す部分が再量子化による歪みを示し、この歪みが演算ごとに積み重なっていくのがわかる。この場合、結果的に再量子化による歪みが出力信号に含まれることになる。
【００２６】
このように、変換符号化処理（ビットレートリダクション処理）は、基本的に映像情報の冗長度を削減することによって実現しようとするが、それだけで、常に所望の固定レートに収めることはできない。従って、歪みを伴う再量子化によって、情報量を圧縮し、該圧縮データの総量調整を行なう必要が出てくる。なお、該当する直交変換にとって難しい絵柄であるほど再量子化によって圧縮する量が大きい。
【００２７】
そのため、どこか視覚的に影響の少ない事象で歪ませることが画像データの圧縮上都合がよい。直交変換前の事象は空間面であるが、この空間面で再量子化を行なうと、階調の欠落となって現われる。空間面上の階調の欠落は人の目は敏感である。このことから、空間面での再量子化は採用できない。
【００２８】
直交変換後の事象は係数面であるが、係数面での再量子化は係数の欠落となるが、これを空間面上で見ると、ブロックを構成する各サンプル間の相関関係の欠落となる。即ち、波形歪みとなって現われることになる。人の目は、波形歪みには寛容である。このことから、歪みを伴う再量子化は係数面で行なうのが有利である。
【００２９】
【発明が解決しようとする課題】
ところで、最近では、通信路を通して伝送される、あるいは記録媒体に記録される圧縮データに、表示装置の切換えや映像信号に対して各種特殊効果を行なわせるための各種情報信号を含めたいという要求がある。
【００３０】
これらの情報信号は、画像表示において影響のない、例えば垂直ブランキング期間に挿入して伝送することが考えられる。
【００３１】
しかし、従来の変換符号化処理においては、上述したように、歪みを伴う再量子化を行なうことから、映像信号に付加した情報信号が上記再量子化による歪みによって変化してしまい、付加した情報の内容が失われるという問題がある。
【００３２】
また、変換符号化処理において、入力語長と再量子化ステップの関係によっては、信号符号さえも保存されないサンプルが存在する可能性がある。このため、従来は、上記情報信号を入力時に付加して、そのまま変換符号化処理に通すことができなかった。
【００３３】
本発明は、上記の課題に鑑みてなされたもので、その目的とするところは、変換符号化によるビットリダクションを行なう画像システムにおいて、無効画像表示期間、例えば垂直ブランキング期間中に映像信号以外の情報信号（制御信号等）を付加してそのまま変換符号化処理に通しても、情報信号の内容が破壊されることがなく、画像情報のほかに、上記制御信号等の画像情報以外の情報を伝送・蓄積することができ、画像システムの多機能化を促進させることができる信号処理装置を提供することにある。
【００３４】
【課題を解決するための手段】
本発明は、入力されたデジタル映像データＤｖに対して変換符号化処理を含むデータ圧縮処理を施して圧縮映像データを出力するデータ圧縮処理手段４を有し、圧縮映像データｄｖを伝送又は蓄積する符号化処理装置１を具備した信号処理システムにおいて、符号化処理装置１におけるデータ圧縮処理手段４の変換符号化処理の前段に配置され、デジタル映像データ中の映像データＤｖの無効画像表示期間（例えば垂直ブランキング期間又は水平ブランキング期間）に対応する部分に、データ圧縮処理に対する量子化歪みの影響を受けないデータ列で構成された制御用情報ＤｃＢを挿入する制御用情報挿入手段３１を有する。
【００３５】
この場合、符号化処理装置１におけるデータ圧縮処理回路４を、映像データＤｖを所定のブロック単位に分割するブロッキング回路１１と、このブロッキング回路１１からのデータブロックを直交変換して係数データブロックに変換する直交変換回路１２と、この直交変換回路１２からの係数データブロックに対し、再量子化処理を行なって量子化レベルを得る再量子化処理回路１３と、この再量子化処理回路１３からの量子化レベルをエントロピー符号化処理して圧縮映像データｄｖとするエントロピー符号化回路１４とを設けて構成し、上記制御用情報挿入回路３１を、ブロッキング回路１１と直交変換回路１２との間に挿入接続して構成する。
【００３６】
そして、この制御用情報挿入回路３１を、所定の規則に基づいて作成された多数のデータブロックが制御データＤｃの内容に対応させて配列登録された変換テーブルを有し、この変換テーブルにおける多数のデータブロック中、入力される制御データＤｃの内容に対応したデータブロックを選択して、制御データブロックＤｃＢとして出力するデータブロック変換回路３３を設けて構成する。
【００３７】
また、本発明は、映像データの無効画像表示期間に対応する部分にデータ圧縮処理に対する量子化歪みの影響を受けないデータ列で構成された制御用情報を挿入する制御用情報挿入手段を介して、入力されたデジタル映像データに対して変換符号化処理を含むデータ圧縮処理を施して圧縮映像データを出力するデータ圧縮処理手段を有し、圧縮映像データを伝送又は蓄積する符号化処理装置によって伝送又は蓄積された圧縮映像データを、元の映像データに復元する変換復号処理を含むデータ伸長処理手段を有する復号化処理装置を具備した信号処理システムにおいて、データ伸長処理手段の変換復号処理の後段に配置され、変換復号処理を含むデータ伸張処理手段によって復元されたデジタル映像データから制御用情報を抽出する制御用情報抽出手段を有する。
また、復号化処理装置２におけるデータ伸長処理回路２２を、上記圧縮映像データｄｖをエントロピー復号化処理して量子化レベルを得るエントロピー復号化回路２６と、このエントロピー復号化回路２６からの量子化レベルに対し、逆量子化処理を行なって係数データブロックを得る逆量子化回路２７と、逆量子化回路２７からの係数データブロックを逆直交変換して映像データブロックに変換する逆直交変換回路２８と、この逆直交変換回路２８からの映像データブロックのブロックをほどいて映像データＤｖに復元するデブロッキング回路２９とを設けて構成し、上記制御用情報抽出回路４１を、逆直交変換回路２８とデブロッキング回路２９との間に挿入接続して構成する。
【００３８】
そして、上記制御用情報抽出回路４１を、所定の規則に基づいて作成された多数のデータブロックが制御データＤｃの内容に対応させて配列登録された変換テーブルを有し、この変換テーブルにおける上記多数の制御データ中、復号化された制御データブロックＤｃＢに対応した制御データＤｃを選択して出力する制御データ変換回路４３を設けて構成する。
【００３９】
上記所定の規則は、入力データの空間面での語長をＬｉｎ、入力データ＝復元後のデータを満たすための係数面の語長をＬｃｏｅｆ、再量子化ステップによる再量子化を行なったときの有効語長をＬｑ、再量子化ステップレベルの語長をＬｇとし、語長（Ｌｉｎ＋Ｌｇ）が語長Ｌｃｏｅｆと同じである場合、係数データの上記有効語長における値をＸｎ’とし、関係式［Ｘ］_Ｌ を係数面における最上位ビットからの語長Ｌにおける値として定義したとき、入力データＸｎが以下の関係式を満足するようにする。
［Ｘ_ｎ ］_Ｌｉｎ ＝［Ｘ_ｎ ’・２^{（Ｌｃｏｅｆ−Ｌｑ）}］_Ｌｉｎ
【００４０】
また、上記所定の規則は、最大の再量子化ステップレベルの係数面での語長をＬｇとしたとき、制御データブロックＤｃＢ内の各入力データを全部加算したときの結果がＬｇ倍になる組合せとなるようにする。
【００４１】
また、本発明は、デジタル映像データに対して変換符号化処理を含むデータ圧縮処理を施して圧縮映像データを出力する符号化処理装置において、制御用情報をデータ圧縮処理に対する量子化歪の影響を受けないデータ列に変換する変換手段と、変換符号処理の前段に配置され、デジタル映像データ中の映像データの無効画像表示期間に対応する部分に、データ列を挿入する挿入手段とを有する。
また、本発明は、デジタル映像データに対して変換符号処理を含むデータ圧縮処理を施すことによって出力された圧縮映像データを受信し、映像データの無効画像表示期間に対応する部分に、データ圧縮処理に対する量子化歪みの影響を受けないデータ列に変換された制御用情報が挿入された圧縮映像データを復号する復号処理装置において、圧縮映像データに対して変換復号処理を含むデータ伸張処理を施してデジタル映像データを伸張するデータ伸張処理手段と、伸張処理手段の変換復号処理の後段に配置され、デジタル映像データからデータ列を抽出する抽出手段と、データ列を制御用情報に変換する変換手段とを備える。
また、本発明は、デジタル映像データに対して変換符号化処理を含むデータ圧縮処理を施して圧縮映像データを出力する符号化処理方法において、制御用情報をデータ圧縮処理に対する量子化歪の影響を受けないデータ列に変換し、デジタル映像データに対して変換符号処理が施される前に、デジタル映像データ中の映像データの無効画像表示期間に対応する部分に、データ列を挿入する。
また、本発明は、デジタル映像データに対して変換符号処理を含むデータ圧縮処理を施すことによって出力された圧縮映像データを受信し、映像データの無効画像表示期間に対応する部分に、データ圧縮処理に対する量子化歪みの影響を受けないデータ列に変換された制御用情報が挿入された圧縮映像データを復号する復号処理方法において、圧縮映像データに対して変換復号処理を含むデータ伸張処理を施してデジタル映像データを伸張し、変換復号処理後に、デジタル映像データからデータ列を抽出し、データ列を制御用情報に変換する。
【００４２】
【作用】
本発明に係る信号処理システムにおいては、まず、符号化処理装置１に入力された映像データＤｖは、通常は、データ圧縮処理回路４にて変換符号化処理されてデータ圧縮されるが、本発明では、この変換符号化処理に先立って、制御用情報挿入回路３１にて、上記映像データＤｖの無効画像表示期間、例えば垂直ブランキング期間に対応する部分に量子化歪みを受けないデータ列で構成された制御用情報ＤｃＢが挿入される。
【００４３】
上記制御用情報挿入回路３１にて制御用情報ＤｃＢが挿入された映像データＤｖは、後段のデータ圧縮処理回路４における変換符号化処理にてデータ圧縮されて圧縮映像データｄｖとなる。このとき、上記変換符号化処理において、再量子化処理が施されてデータ圧縮量の調整が行なわれるが、この再量子化処理において、上記挿入された制御用情報ＤｃＢは、該再量子化処理における歪みの影響を受けることがなく、データの内容が破壊されるということがない。
【００４４】
そして、上記データ圧縮処理回路４からの圧縮映像データｄｖは、制御用情報ＤｃＢとともに通信路を通して伝送され、あるいは記録媒体Ｔに蓄積されることになる。
【００４５】
上記符号化処理装置１にて伝送・蓄積された圧縮映像データｄｖは、復号化処理装置２において、まず、データ伸長処理回路２２にて変換復号化処理が施されて元の映像データＤｖに復元される。そして、本発明では、制御用情報抽出回路４１にて上記映像データＤｖから制御用情報ＤｃＢが抽出される。この制御用情報ＤｃＢは、変換符号化処理に先立って上記映像データＤｖの垂直ブランキング期間に対応する部分に挿入されたデータであり、特に、量子化歪みを受けないデータ列で構成されている。
【００４６】
従って、上記データ伸長処理回路２２にて復号化処理された場合、量子化歪みが復号化演算のたびに積み重なるということがなく、挿入した状態のデータ構成のまま抽出されることになる。
【００４７】
このように、本発明の信号処理装置においては、変換符号化によるビットリダクションを行なう画像システムにおいて、例えば垂直ブランキング期間中に映像信号以外の情報信号（制御信号等）を付加してそのまま変換符号化処理に通しても、情報信号の内容が破壊されることがなく、画像情報のほかに、上記制御信号等の画像情報以外の情報を伝送・蓄積することができ、画像システムの多機能化を促進させることができる画像情報のほかに、上記制御信号等の画像情報以外の情報を伝送・蓄積することができ、画像システムの多機能化を促進させることができる。
【００４８】
特に、上記データ圧縮処理回路４を、上記映像データＤｖを所定のブロック単位に分割するブロッキング回路１１と、このブロッキング回路１１からのデータブロックを直交変換して係数データブロックに変換する直交変換回路１２と、この直交変換回路１２からの係数データブロックに対し、再量子化処理を行なって量子化レベルを得る再量子化処理回路１３と、この再量子化処理回路１３からの量子化レベルをエントロピー符号化処理して圧縮映像データｄｖとするエントロピー符号化回路１４とを設けて構成し、制御用情報挿入回路３１を、上記ブロッキング回路１１と直交変換回路１２との間に挿入接続した場合においては、以下の動作を行なうことになる。
【００４９】
まず、入力された映像データＤｖは、ブロッキング回路１１において所定のブロック単位に分割されてデータブロックとして出力される。そして、映像データＤｖの垂直ブランキング期間に対応する部分において、制御用情報挿入回路３１を通じて制御用情報ＤｃＢが挿入されることになる。
【００５０】
具体的には、映像データＤｖがブロッキング回路１１にてデータブロックに変換されることから、上記制御用情報ＤｃＢもデータブロックの形にされて挿入されることになる。ブロッキング回路１１からのデータブロックや制御用情報挿入回路３１からの制御用情報（データブロック）ＤｃＢは、後段の直交変換回路１２にてそれぞれ直交変換されて係数データブロックに変換される。この係数データブロックは、後段の再量子化処理回路１３にて再量子化処理が施され、データ圧縮量の調整が行なわれる。
【００５１】
このとき、ブロッキング回路１１からのデータブロック（映像情報）は、この再量子化処理によって歪みを受けることになるが、制御用情報挿入回路３１からのデータブロック（制御用情報）ＤｃＢは、量子化歪みを受けないデータ列で構成されているため、上記再量子化処理において歪みを受けることがなく、データの内容が破壊されるということがない。
【００５２】
この再量子化処理回路１３からは、直流成分と交流成分とが別々とされた２値系列（量子化レベル）が出力される。この再量子化処理回路１３からの量子化レベルは、後段のエントロピー符号化回路１４にてエントロピー符号化処理が施されて、圧縮映像データｄｖが作成される。この圧縮映像データｄｖは、その後通信路を通じて伝送されるか、あるいは記録媒体Ｔに蓄積されることになる。上記圧縮映像データｄｖ中、映像情報に関するデータ成分は、先の再量子化処理及びエントロピー符号化処理によって十分に圧縮された形で伝送・蓄積されるが、制御用情報ＤｃＢに関するデータ成分は、データの内容が保持されたまま伝送・蓄積されることになる。
【００５３】
また、上記制御用情報挿入回路３１として、所定の規則に基づいて作成された多数のデータブロックが制御データＤｃの内容に対応させて配列登録された変換テーブルを有し、この変換テーブルにおける多数のデータブロック中、入力される制御データＤｃの内容に対応したデータブロックを選択して、制御データブロックＤｃＢとして出力するデータブロック変換回路３３を設けた場合においては、以下の動作を行なうことになる。
【００５４】
上記構成において、Ａ／Ｄ変換器３によるデジタル変換後の映像データＤｖが、ブロッキング回路１１において所定のブロック単位に分割されてデータブロックとして出力されることになるが、このとき、映像データＤｖの垂直ブランキング期間に対応する部分において、制御用情報挿入回路３１を通じて制御データブロックＤｃＢが挿入されることになる。
【００５５】
このときの制御用情報挿入回路３１における動作を説明すると、まず、データブロック変換回路３３において、変換テーブルに配列登録されている多数のデータブロック中、入力された制御データＤｃに対応するデータブロックが選択される。この変換テーブルに配列登録されている多数のデータブロックは、量子化歪みの影響を受けないデータ列にて構成されるように、所定の規則に従って作成されている。そして、制御用情報挿入回路３１におけるデータブロック変換回路３３から入力制御データＤｃに対応した制御データブロックＤｃＢが出力され、該制御データブロックＤｃＢが映像データＤｃの垂直ブランキング期間に対応する部分に挿入されることになる。
【００５６】
ブロッキング回路１１からのデータブロックや制御用情報挿入回路３１からの制御データブロックＤｃＢは、後段の直交変換回路１２にてそれぞれ直交変換されて係数データブロックに変換される。この係数データブロックは、後段の再量子化処理回路１３にて再量子化処理が施され、データ圧縮量の調整が行なわれる。
【００５７】
このとき、ブロッキング回路１１からのデータブロック（映像情報）は、この再量子化処理によって歪みを受けることになるが、制御用情報挿入回路３１からの制御データブロックＤｃＢは、量子化歪みを受けないデータ列で構成されているため、上記再量子化処理において歪みを受けることがなく、データの内容が破壊されるということがない。
【００５８】
次に、上記所定の規則について説明する。この規則は、ＤＣ係数の利用によって歪を受けないようにする場合と、ＡＣ係数の利用によって歪を受けないようにする場合とがある。
【００５９】
まず、ＤＣ係数の利用とＡＣ係数の利用とで共通する規則は、入力データの空間面での語長をＬｉｎ、入力データ＝復元後のデータを満たすための係数面の語長をＬｃｏｅｆ、再量子化ステップによる再量子化を行なったときの有効語長をＬｑ、再量子化ステップレベルの語長をＬｇとし、語長（Ｌｉｎ＋Ｌｇ）が語長Ｌｃｏｅｆと同じである場合、係数データの上記有効語長における値をＸｎ’とし、関係式［Ｘ］_Ｌ を係数面における最上位ビットからの語長Ｌにおける値として定義したとき、入力データＸｎが以下の関係式を満足するようにする。
［Ｘ_ｎ ］_Ｌｉｎ ＝［Ｘ_ｎ ’・２^{（Ｌｃｏｅｆ−Ｌｑ）}］_Ｌｉｎ
【００６０】
そして、上記規則において、ＤＣ係数を利用した場合のデータ処理は以下のようになる。
【００６１】
まず、上記関係式からわかることは、入力語長Ｌｉｎにおける入力データの内容と直交変換後の係数データの入力語長Ｌｉｎ分の内容とが一致していることである。そして、係数データの入力語長Ｌｉｎ以外の語長分のデータの内容はすべて０となっていることを示す。即ち、語長（Ｌｃｏｅｆ−Ｌｑ）分がすべて０となることを示す。語長（Ｌｃｏｅｆ−Ｌｑ）は、この場合、再量子化処理にて使用される再量子化ステップの語長Ｌｇを示すもので、再量子化処理にて上記係数データをこの再量子化ステップで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じない。
【００６２】
このことから、上記所定の規則にて作成されたデータブロックを制御用情報ＤｃＢとして映像データＤｖの垂直ブランキング期間に挿入したとしても、その後の再量子化処理にて量子化歪みによる影響を受けるということがなくなる。これは、通信路を通して伝送した圧縮映像データｄｖあるいは記録媒体Ｔに蓄積した圧縮映像データｄｖを復号化して元の映像データＤｖに復元させる際に、量子化歪みに基づくデータの破壊（波形歪み）は生じないということを示すものであり、復元後の映像データＤｖからデータ内容がそのまま保持された制御用情報Ｄｃを取り出すことができることにつながる。
【００６３】
次に、上記規則において、ＡＣ係数を利用した場合のデータ処理は以下のようになる。
【００６４】
直交変換後の係数データ、特に量子化位置以下のデータがすべて０になるとは限らないため、この場合、量子化による歪を持つことになる。従って、直交変換の演算のたびに量子化歪の最大値が２倍になるため、逆直交変換後の出力で有効となるビット数（歪を受けないビット数）はＤＣ係数を利用した場合よりも少なくなるが、再量子化ステップの最悪値がわかっていれば、データ伝送として利用できる係数上のビット数がわかり、同時に出力で有効となるビット数も判断できる。従って、この有効となるビット数を利用しての情報のデータ伝送が可能となる。
【００６５】
また、上記所定の規則として、最大の再量子化ステップの係数面での語長をＬｇとしたとき、制御データブロックＤｃＢ内の各入力データを全部加算したときの結果がＬｇ倍になる組合せとなるようにした場合は、ＤＣ係数を利用する場合において、特に、入力語長Ｌｉｎと語長Ｌｇとを加算した語長が、語長Ｌｃｏｅｆよりも大きい場合に有効である。
【００６６】
即ち、入力語長Ｌｉｎと語長Ｌｇとを加算した語長が、語長Ｌｃｏｅｆよりも大きい場合、通常は、再量子化ステップにて係数データの下位ビット部分を除算してしまい、量子化歪みを生じさせることになる。
【００６７】
しかし、制御データブロックＤｃＢ内の各入力データを全部加算したときの結果がＬｇ倍になる組合せとなるようにした場合、係数データの下位ビットに０が挿入されることになり、疑似的に再量子化ステップの語長Ｌｇ分０が並ぶことになる。その結果、再量子化処理にて上記係数データをこの再量子化ステップレベルで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【００６８】
また、上記所定の規則として、最大の再量子化ステップレベルの係数面での語長をＬｇとしたとき、制御データブロックＤｃＢ内の各入力データを直交変換した後の値がＬｇ倍になる組合せにした場合は、ＡＣ係数を利用する場合において、特に、入力語長Ｌｉｎと語長Ｌｇとを加算した語長が、語長Ｌｃｏｅｆよりも大の場合に有効である。
【００６９】
上記規則に従って作成された制御データブロックＤｃＢを直交変換した場合、係数データに桁上げが生じることになり、以下の場合に有効となる。即ち、最大の再量子化ステップの語長Ｌｇが入力語長Ｌｉｎよりも大きい場合、通常は、入力語長Ｌｉｎと語長Ｌｇとを加算した語長が、語長Ｌｃｏｅｆよりも大となる。この場合、通常は、再量子化ステップにて係数データの下位ビット部分を除算してしまい、量子化歪みを生じさせることになる。
【００７０】
しかし、上記規則に従った制御データブロックＤｃＢの場合、係数データに桁上げが生じるため、再量子化処理にて上記係数データをこの再量子化ステップで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【００７１】
一方、上記復号化処理装置２におけるデータ伸長処理回路２２を、圧縮映像データｄｖをエントロピー復号化処理して量子化レベルを得るエントロピー復号化回路２６と、このエントロピー復号化回路２６からの量子化レベルに対し、逆量子化処理を行なって係数データブロックを得る逆量子化回路２７と、この逆量子化回路２７からの係数データブロックを逆直交変換して映像データブロックに変換する逆直交変換回路２８と、この逆直交変換回路２８からの映像データブロックのブロックをほどいて映像データに復元するデブロッキング回路２９とを設けて構成し、制御用情報抽出回路４１を、逆直交変換回路２８とデブロッキング回路２９との間に挿入接続した場合においては、以下の動作を示すことになる。
【００７２】
まず、上記符号化処理装置１によって、伝送・蓄積された圧縮映像データｄｖがエントロピー復号化回路２６にて復号化処理されて量子化レベルに変換される。その後、逆量子化回路２７において、上記量子化レベルに対し、逆量子化処理が行なわれて係数データブロックが得られる。この係数データブロックは、後段の逆直交変換回路２８にて逆直交変換されて映像データブロックに変換される。
【００７３】
その後、通常は、上記映像データブロックが後段のデブロッキング回路２９にてそのブロックがほどかれることになるが、本発明においては、逆直交変換回路２８からの映像データブロック、特に垂直ブランキング期間に対応する部分に挿入されている制御データブロックＤｃＢを制御用情報抽出回路４１にて抽出する。
【００７４】
この場合、垂直ブランキング期間に対応する部分に挿入されている制御用情報ＤｃＢが、上記符号化処理装置１における制御用情報挿入回路３１によって量子化歪みの影響を受けないデータ列にて構成されるようになっているため、上記逆直交変換回路２８での逆直交変換を実行するための演算処理のたびに量子化歪みが積み重なるということがなく、挿入した状態のデータ内容がそのまま維持されて抽出されることになる。
【００７５】
次に、上記制御用情報抽出回路４１として、上記所定の規則に基づいて作成された多数のデータブロックが制御データＤｃの内容に対応させて配列登録された変換テーブルを有し、この変換テーブルにおける多数の制御データＤｃ中、復号化された制御データブロックＤｃＢに対応した制御データＤｃを選択して出力する制御データ変換回路４３を設けた場合においては、以下の動作を行なうことになる。
【００７６】
まず、逆直交変換回路２８から逆直交変換後の映像データブロックが出力されることになるが、このとき、垂直ブランキング期間に対応する部分に挿入されているデータブロック（制御用情報）ＤｃＢが、制御用情報抽出回路４１を通じて抽出されることになる。
【００７７】
このときの制御用情報抽出回路４１における動作を説明すると、まず、制御データ変換回路４３において、変換テーブルに配列登録されている多数のデータブロック中、抽出されたデータブロックＤｃＢに対応する制御データＤｃが選択される。この変換テーブルに配列登録されている多数のデータブロックは、量子化歪みの影響を受けないデータ列にて構成されるように、上述した所定の規則に従って作成されている。そして、制御用情報抽出回路４１における制御データ変換回路４３から上記データブロックＤｃＢに対応した制御データＤｃが出力されることになる。この制御データＤｃは符号化処理装置１における制御用情報挿入回路３１に入力された制御データＤｃの内容と同じかそれと関連するデータ内容となっている。
【００７８】
このように、符号化処理装置１において垂直ブランキング期間に挿入した制御用情報ＤｃＢがデータ破壊を受けることなくそのままの状態で復号化処理装置にて取り出されることになる。
【００７９】
【実施例】
以下、本発明に係る信号処理システムを、画像圧縮方式のデジタルＶＴＲに適用した実施例（以下、単に実施例に係るＶＴＲと記す）を図１〜図１８を参照しながら説明する。
【００８０】
この実施例に係るＶＴＲは、図１及び図２に示すように、アナログ信号用入力端子φｉｎ１を介して入力されたアナログコンポーネント映像信号（Ｙ，Ｒ−Ｙ，Ｂ−Ｙ：以下、単に映像信号と記す）Ｓｖをデジタル変換した後のデジタルコンポーネント映像データ（以下、単に映像データと記す）Ｄｖ、あるいはデジタル信号用入力端子φｉｎ２に直接入力された映像データＤｖを画像圧縮して圧縮映像データｄｖとして記録媒体である磁気テープＴに記録する記録系１と、磁気テープＴに記録されている圧縮映像データｄｖを再生し、この再生した圧縮映像データｄｖに対してデータ伸張処理（エラー訂正及びデータ復号化処理）して再生映像データＤｖとし、該再生映像データＤｖを直接デジタル信号用出力端子φｏｕｔ２に出力する、あるいは更に上記再生映像データＤｖをアナログ変換して元の映像信号Ｓｖに復元してアナログ信号用出力端子φｏｕｔ１より出力する再生系２とを有して構成されている。
【００８１】
記録系１は、図示するように、アナログ信号用入力端子φｉｎ１及びスイッチング回路ＳＷを介して入力された映像信号Ｓｖをデジタル変換して例えば１０ビットの映像データＤｖとするＡ／Ｄ変換器３と、このＡ／Ｄ変換器３から出力される映像データＤｖ、あるいはデジタル信号入力端子φｉｎ２及びスイッチング回路ＳＷを介して入力された映像データＤｖを圧縮処理するデータ圧縮処理回路４と、このデータ圧縮処理回路４から出力される圧縮映像データＤｖを磁気テープＴに磁気的に記録する記録用磁気ヘッド５とを有して構成される。
【００８２】
データ圧縮処理回路４は、Ａ／Ｄ変換器３からの映像データＤｖをフィールドメモリあるいはフレームメモリを用いて水平方向４サンプル、垂直方向４ライン（以下、４×４単位という）を１つのブロックとするデータにまとめるブロッキング回路１１と、このブロッキング回路１１にてまとめられた４×４単位のデータを、離散コサイン変換するＦＤＣＴ回路１２と、このＦＤＣＴ回路１２から出力される係数データを再量子化する再量子化回路１３と、この再量子化回路１３からの量子化レベルを可変長符号化してデータ圧縮を行なう可変長符号化器（ＶＬＣ）１４と、このＶＬＣ１４からの可変長符号化データをＥＣＣ（ＥｒｒｏｒＣｏｒｅｃｔｉｏｎ Ｃｏｄｅ）の積符号構成となるようにブロック化し、更にこのブロック化されたデータにアウターパリティ符号及びインナーパリティ符号を付加するＥＣＣエンコーダ１５と、各パリティ符号が付加されたデータをシリアルデータに変換するチャンネルエンコーダ１６とを有して構成されている。
【００８３】
この記録系１には、ＦＤＣＴ変換後の情報量を検出し、更に可変長符号化後のデータ量を受け取って、再量子化回路１３における量子化のパラメータ（量子化テーブル内の量子化ステップレベル）を調節する情報量制御回路１７が接続されている。この情報量制御回路１７によって、可変長符号化後のデータ量が調節されることになる。
【００８４】
上記ブロッキング回路１１は、タイミング発生回路１８からのタイミング信号に基づいてフレームメモリ（図示せず）に保持された映像データを４×４単位にブロック化する。このブロック化に用いられるタイミング信号は、映像データの入力タイミング（例えば水平同期信号や垂直同期信号）に基づいてタイミング発生回路１８にて作成される。
【００８５】
また、この記録系１は、上記データ圧縮処理回路４の後段に、チャンネルエンコーダ１７から出力されるシリアルデータを増幅する増幅器（図示せず）と、この増幅器からの増幅されたシリアルデータを磁気テープＴに例えばヘリカルスキャン方式で磁気的に記録する記録用磁気ヘッド５を有する。
【００８６】
一方、再生系２は、図２に示すように、磁気テープＴに磁気記録された圧縮映像データｄｖを再生してシリアルデータとして再生する再生用磁気ヘッド２１と、この再生用磁気ヘッド２１からのシリアルデータを増幅する増幅器（図示せず）と、この増幅器からの増幅されたシリアルデータに対してデータ伸張処理（エラー訂正及びデータ復号化）処理して圧縮処理前の映像データ、即ち再生映像データＤｖに変換するデータ伸長処理回路２２と、このデータ伸長処理回路２２からの１０ビットの再生映像データＤｖをアナログ変換して元の映像信号（即ち、再生映像信号）Ｓｖに復元するＤ／Ａ変換器２３とを有して構成されている。Ｄ／Ａ変換器２３からの再生映像信号Ｓｖは出力端子φｏｕｔ１より取り出される。また、データ伸長処理回路２２からの１０ビットの再生映像データＤｖは、直接デジタル信号用出力端子φｏｕｔ２より取り出されるようになっている。
【００８７】
データ伸長処理回路２２は、上記増幅器からのシリアルデータ（圧縮映像データ）ｄｖをデータ検出してシリアル／パラレル変換するチャンネルデコーダ２４と、このチャンネルデコーダ２４からのパラレルデータに付加されているインナーパリティ符号及びアウターパリティ符号に基づいてエラー訂正を行ない、更にエラー訂正されたデータを可変長符号のワード単位に分解するＥＣＣデコーダ２５と、このＥＣＣデコーダ２５からのワード単位の分解データに対し、可変長復号化を行なう復号化器（ＶＬＤ）２６と、このＶＬＤ２６からの量子化レベルを逆量子化して係数データを得る逆量子化器２７と、この逆量子化器２７からの係数データを逆離散コサイン変換して４×４単位のデータに変換する逆離散コサイン変換回路（ＩＤＣＴ回路）２８と、このＩＤＣＴ回路２８からの４×４単位のデータに対し、デシャフリング、データ補間等を行なって再生映像データ（デジタルコンポーネント映像データ）Ｄｖに変換するデブロッキング回路２９とを有して構成されている。
【００８８】
そして、この実施例に係るＶＴＲは、記録系１におけるブロッキング回路１１とＦＤＣＴ回路１２の間に、ブロッキング回路１１から出力されるデータブロック群に対して４×４単位のデータブロックにて構成される制御データブロックＤｃＢを挿入するための制御データブロック挿入回路３１が挿入接続され、再生系２におけるＩＤＣＴ回路２８とデブロッキング回路２９の間に、ＩＤＣＴ回路２８から出力されるデータブロック群から４×４単位のデータブロックにて構成される制御データブロックＤｃＢを抽出するための制御データブロック抽出回路４１が挿入接続されて構成されている。
【００８９】
上記記録系１における制御データブロック挿入回路３１は、外部からの制御データＤｃが入力される入力端子φ１と、この入力端子φ１に供給された制御データＤｃを所定期間保持するメモリ３２と、このメモリ３２から読み出された制御データＤｃの内容に対応する制御データブロックＤｃＢを出力するデータブロック変換回路３３と、ブロッキング回路１１とＦＤＣＴ回路１２の信号ライン間に挿入接続され、上記データブロック変換回路３３からの制御データブロックＤｃＢを信号ラインに供給する挿入回路３４を有して構成されている。
【００９０】
上記メモリ３２は、入力端子φ１に供給された制御データＤｃを順次保持し、この保持している制御データＤｃをタイミング発生回路１８からの読出しクロックに基づいて順次後段のデータブロック変換回路３３に出力する。タイミング発生回路１８からの読出しクロックは、垂直ブランキング期間のうち、磁気テープＴに記録される有効な水平走査線（記録ライン）が出現するタイミングで出力される。
【００９１】
具体的には、ブロッキング回路１１におけるブロッキング処理にフィールドメモリを用いた場合、例えば６２５システムにおいては、図３（ａ）及び図５に示すように、垂直ブランキング期間における記録ラインが、奇数フィールドについて、７，８，９・・・であり、偶数フィールドについて、３２０，３２１，３２２・・・となっている。また、５２５システムの場合は、図３（ｂ），図４及び図６に示すように、垂直ブランキング期間における記録ラインが、奇数フィールドについて、１０，１１，１２・・・であり、偶数フィールドについて、２７３，２７４，２７５・・・となっている。
【００９２】
また、１つの制御データＤｃに対して、４×４単位の制御データブロックＤｃＢに変換されることから、上記読出しクロックの最初の出力は、６２５システムの場合、奇数フィールドにおいては、まず、図５に示すように、７ライン目にて１つのクロックを出力し、その後、この７ラインが終了するまで、４画素読み出す毎に１つのクロックを出力する。
【００９３】
上記７ライン目が終了した後は、次に、１１ライン目にて１つのクロックを出力し、以下同様に、この１１ラインが終了するまで、４画素読み出す毎に１つのクロックを出力する。
【００９４】
このように、読出しクロックの出力タイミングを制御することにより、最初に入力された制御データＤｃがデータブロック変換回路３３にて対応する４×４のデータブロックに変換され、後段の挿入回路３４において、上記変換されたデータブロックが、７ライン目における最初の４画素を水平方向とし、７ライン目から１０ライン目までの４つの画素を垂直方向とする４×４の制御データブロックＤｃＢとして挿入される。
【００９５】
そして、２番目に入力された制御データＤｃが、上記と同様にして、対応するデータブロックに変換されて、７ライン目における５〜８画素を水平方向とし、７ライン目から１０ライン目までの４つの画素を垂直方向とする４×４の制御データブロックＤｃＢとして挿入される。以下同様に、３番目以降の制御データＤｃが順次対応する４×４のデータブロックに変換されて垂直ブランキング期間における記録ラインの所定の制御データブロックＤｃＢとして挿入される。
【００９６】
７ライン目を１行目とする制御データブロックＤｃＢの挿入が終了した後、今度は、１１ライン目を１行目とする制御データブロックＤｃＢが制御データＤｃの供給に従って順次挿入される。以下同様に、当該ラインを１行目とする制御データブロックＤｃＢの挿入が終了した後は、順次４ライン飛びに、制御データブロックＤｃＢが挿入されていくことになる。
【００９７】
一方、偶数フィールドにおいては、３２０ライン目にて１つのクロックを出力し、その後、この３２０ラインが終了するまで、４画素読み出す毎に１つのクロックを出力する。
【００９８】
上記３２０ライン目が終了した後は、次に、３２４ライン目にて１つのクロックを出力し、以下同様に、この３２４ラインが終了するまで、４画素読み出す毎に１つのクロックを出力する。
【００９９】
このように、読出しクロックの出力タイミングを制御することにより、最初に入力された制御データがデータブロック変換回路３３にて対応する４×４のデータブロックに変換され、後段の挿入回路３４において、上記変換されたデータブロックが、３２０ライン目における最初の４画素を水平方向とし、３２０ライン目から３２３ライン目までの４つの画素を垂直方向とする４×４の制御データブロックＤｃＢとして挿入される。
【０１００】
そして、２番目に入力された制御データＤｃが、上記と同様にして、対応するデータブロックに変換されて、３２０ライン目における５〜８画素を水平方向とし、３２０ライン目から１０ライン目までの４つの画素を垂直方向とする４×４の制御データブロックＤｃＢとして挿入される。以下同様に、３番目以降の制御データが順次対応する４×４のデータブロックに変換されて垂直ブランキング期間における記録ラインの所定の制御データブロックＤｃＢとして挿入される。
【０１０１】
３２０ライン目を１行目とする制御データブロックＤｃＢの挿入が終了した後、今度は、３２４ライン目を１行目とする制御データブロックＤｃＢが制御データの供給に従って順次挿入される。以下同様に、当該ラインを１行目とする制御データブロックＤｃＢの挿入が終了した後は、順次４ライン飛びに、制御データブロックＤｃＢが挿入されていくことになる。
【０１０２】
なお、５２５システムについては、図６に示すように、奇数フィールドが１０ラインから始まり、偶数フィールドが２７３ラインから始まる点で異なるほかは、上記６２５システムと同じである。
【０１０３】
また、ブロッキング回路１１におけるブロッキング処理において、フレームメモリを用いた場合は、図７に示すように、奇数フィールドの画素データと偶数フィールドの画素データがすべてフレームメモリに展開されるため、例えば５２５システムにおいては、１０ライン目にて１つのクロックを出力し、その後、この１０ラインが終了するまで、４画素読み出す毎に１つのクロックを出力する。
【０１０４】
上記１０ライン目が終了した後は、次に、１２ライン目にて１つのクロックを出力し、以下同様に、この１２ラインが終了するまで、４画素読み出す毎に１つのクロックを出力する。
【０１０５】
このように、読出しクロックの出力タイミングを制御することにより、最初に入力された制御データＤｃがデータブロック変換回路３３にて対応する４×４のデータブロックに変換され、後段の挿入回路３４において、上記変換されたデータブロックが、１０ライン目における最初の４画素を水平方向とし、１０，２７３，１１及び２７４ラインにおける４つの画素を垂直方向とする４×４の制御データブロックＤｃＢとして挿入される。
【０１０６】
そして、２番目に入力された制御データＤｃが、上記と同様にして、対応するデータブロックに変換されて、１０ライン目における５〜８画素を水平方向とし、１０，２７３，１１及び２７４ラインにおける４つの画素を垂直方向とする４×４の制御データブロックＤｃＢとして挿入される。以下同様に、３番目以降の制御データＤｃが順次対応する４×４のデータブロックに変換されて垂直ブランキング期間における記録ラインの所定の制御データブロックＤｃＢとして挿入される。
【０１０７】
１０ライン目を１行目とする制御データブロックＤｃＢの挿入が終了した後、今度は、１２ライン目を１行目とする制御データブロックＤｃＢが制御データＤｃの供給に従って順次挿入される。以下同様に、当該ラインを１行目とする制御データブロックＤｃＢの挿入が終了した後は、順次４ライン飛びに、制御データブロックが挿入されていくことになる。
【０１０８】
上記例は、４×４単位のデータブロックに変換する例を示したが、その他、８×８単位の制御データブロックＤｃＢに変換する場合もある。この８×８単位の制御データブロックＤｃＢに関しては、上記例において、８×８単位の制御データブロックとして挿入されるほかは、上記例と同じであるため、その図示及び説明は省略する。
【０１０９】
一方、再生系２における制御データブロック抽出回路４１は、ＩＤＣＴ回路２８とデブロッキング回路２９の信号ライン間に挿入接続され、ＩＤＣＴ回路２８からのデータブロック群のうち、垂直ブランキング期間における制御データブロックＤｃＢを抽出する抽出回路４２と、この抽出回路４２からの制御データブロックＤｃＢの内容に対応する制御データＤｃを出力するデータ変換回路と、このデータ変換回路４２からの制御データＤｃを所定期間保持するメモリ４４とを有して構成されている。このメモリ４４から読み出された制御データＤｃは出力端子φ２を介してシリーズに取り出されることになる。
【０１１０】
メモリ４４から制御データＤｃを読み出すタイミングは、タイミング発生器４５からの読出しクロックの入力に基づいて行なわれる。読出しクロックは、デブロッキング回路２９から出力される映像データの出力タイミング（例えば水平同期信号や垂直同期信号）に基づいて作成される。
【０１１１】
そして、上記データ変換回路４３は、その内部に変換テーブルが格納されたメモリ（図示せず）を有する。この変換テーブルは、上記記録系１のデータブロック変換回路３３における変数テーブルとその構成がほぼ同じとされ、制御データＤｃのデータ値に対応して多数の制御データブロックＤｃＢが配列されて構成されている。
【０１１２】
そして、このデータ変換回路４３にて制御データブロックＤｃＢを制御データＤｃに変換する場合は、変換テーブルに配列登録されている多数の制御データブロックＤｃＢから、抽出回路４２から供給された制御データブロックＤｃＢの内容と一致する制御データブロックＤｃＢを検索し、検索完了時の検索用パラメータの値を制御データＤｃとして出力する。
【０１１３】
データ変換回路４３からの制御データＤｃは、一旦メモリ４４に格納され、垂直ブランキング期間のうち、対応する記録ラインが再生された段階で出力端子φ２より取り出される。
【０１１４】
ここで、上記変換テーブルに配列登録される制御データブロックＤｃＢの内容について以下に説明する。
【０１１５】
上記変換テーブルに配列登録される制御データブロックＤｃＢは、記録系１の再量子化処理において生じる量子化歪みの影響を受けないデータ列が選ばれている。このデータ列は、以下に示す規則に従って作成される。
【０１１６】
（規則１）
制御データブロックＤｃＢを構成する入力データ（サンプル）の空間面での語長をＬｉｎ、入力データ＝復元後のデータを満たすための係数面の語長をＬｃｏｅｆ、再量子化ステップによる再量子化を行なったときの有効語長をＬｑ、再量子化ステップの語長をＬｇとし、語長（Ｌｉｎ＋Ｌｇ）が語長Ｌｃｏｅｆと同じである場合、係数データの上記有効語長Ｌｑにおける値をＸｎ’とし、関係式［Ｘ］_Ｌ を係数面における最上位ビットからの語長Ｌにおける値として定義したとき、入力データＸｎが以下の関係を示すようにする。
【０１１７】
［Ｘ_ｎ ］_Ｌｉｎ ＝［Ｘ_ｎ ’・２^{（Ｌｃｏｅｆ−Ｌｑ）}］_Ｌｉｎ
【０１１８】
（規則２）
最大の再量子化ステップの係数面での語長をＬｇとしたとき、制御データブロックＤｃＢ内の各入力データを全部加算したときの結果がＬｇ倍になる組合せにする。
【０１１９】
（規則３）
最大の再量子化ステップの係数面での語長をＬｇとしたとき、制御データブロックＤｃＢ内の各入力データをＦＤＣＴ変換後の値がＬｇ倍になる組合せにする。
【０１２０】
まず、規則１について詳細に説明する。デジタルＶＴＲは、例えば４０ブロックを等長化の単位としているが、この場合、映像データＤｖは、再量子化によって、全体の歪みとなって上記再量子化の影響を受けることになる。そのため、映像そのものが失われることはないが、単純に映像データＤｖに該映像データＤｖとは異なる例えば制御データＤｃを付加した場合、この付加した制御データＤｃはデータビットそのものに意味があるため、上記再量子化による歪みによって、内容が全て失われることになる。従って、最悪のケースでは、上記制御データＤｃの１ビットさえもそのまま伝送できないことになる。
【０１２１】
しかしながら、デジタルＶＴＲ、特に、そのＦＤＣＴ変換等の直交変換を用いたビットレートリダクションにおいては、ＤＣ係数を特別扱いにし、上記のような条件にあるのはＡＣ係数のみである。これは、ＤＣ係数に冗長度が多く含まれるのに対し、重要な情報であるにも拘らずＤＣ係数にはほとんど含まれないからである。上記特別扱いの方法としては、ＤＣ係数の量子化に上限を持たせるのが一般的である。例えば、１０ビット以下には量子化しないなどである。ＡＣ係数の量子化ステップの上限が例えば４ビットとＤＣ係数に比べ非常に大きいことを考えれば、特別扱いと言える。システムによっては、上限を設定しない場合も有り得る。
【０１２２】
また、ＤＣ係数は、統計的な分布に偏りを持たないため、可変長符号化を適用しない。可変長符号化は、統計的な分布の偏りを利用することによって冗長度を削減する手法だからである。従って、ＤＣ係数は、固定長のデータとして扱う。固定長というのは、可変長のテーブルによって可変長符号に置き換えないという意味である。このことは、ＤＣ係数の量子化が、ビットシフトによるものだけである理由である。このように、量子化がビットシフトによるものだけということと、ＤＣ係数そのものの生成過程に乗算を含まないことがＤＣ係数の活用に大きな意味を持つ。
【０１２３】
このことから、ＤＣ係数の語長を１０ビット固定とした場合、そのＤＣ１０ビット分がデータ伝送に利用できることになる。具体的には、符号ビットを設定しない場合は、制御データＤｃとして、値０〜１０２４を伝送することができ、符号ビットを設定した場合は、値−５１１〜０〜＋５１１を伝送することができる。
【０１２４】
そして、ＤＣ係数の取り扱いは、図８に示すように、ＤＣ係数は固定長符号化し、ＡＣ係数は可変長符号化する。この場合、ＡＣ係数は再量子化による総量調整が行なわれて、さらなるデータ圧縮が実現される。このとき、ＡＣ係数は再量子化によって歪むが、ＤＣ係数は変化しない。
【０１２５】
このようなことから、映像データと異なる制御データ等の付加データを伝送する場合は、ＤＣ係数を利用することが有効であることがわかる。ＤＣ係数を利用するためには、空間面における同一変換ブロック内の入力データ（サンプル）を全て同じ値に設定する。図９に示すように、４×４の１６サンプルで１つのＤＣ係数が利用できる。換言すれば、１６サンプルで１０ビットのデータを伝送できるということになる。また、入力８ビットを想定した場合、８ビットの伝送となる。
【０１２６】
映像信号を８ビットの映像データとする場合において、垂直ブランキング期間中にどの位のデータ容量の制御データを挿入することができるか、簡単に計算すると、以下のようになる。
【０１２７】
・１６サンプルで８ビット
・ＹとＣが同数のブロックを持つから１６ビット
・４ライン中のブロック数＝７２０×４／１６

【０１２８】
ところで、ＤＣ係数を利用する場合、垂直ブランキング期間中に挿入されるデータブロックを構成する１６サンプルは全て同じ値でなければならないが、これは以下の理由による。
【０１２９】
これまで、ＤＣ係数を固定長符号として扱ってきたが、実際は、ＤＣ係数もまた再量子化を受けている。ところが、ＤＣ係数に限って再量子化によって１０ビット以下にならないように再量子化ステップに上限を設けていることと、可変長符号化を掛けずにそのまま使っていることから固定長符号として説明してきたのである。従って、ＤＣ係数を利用するとき、再量子化歪みの影響を受けないために、上記条件、即ち、「データブロックを構成する１６サンプルは全て同じ値でなければならない」という条件が必要になる。
【０１３０】
ここで、簡単のため、空間面の同一ブロック内の入力データ（サンプル）が全て同じ値をとるときについて説明する。いま、例えば、５回の演算でＤＣ係数が求まり、更に各演算でダイナミックレンジが２倍になるとする。ＤＣ係数の量子化の上限が８ビットのときの例を図１０に示す。
【０１３１】
上記前提のもとでは、演算のたびに２倍であるから、下位ビットに０が詰まることになる。そして、直交変換による演算の結果、量子化位置まで０が詰まる、即ち量子化ステップの語長分０が詰まると、後の再量子化による歪みは生じないものとなる。
【０１３２】
その結果、再生系におけるＩＤＣＴ回路での演算において、量子化歪みの積み重なりは生じなくなり、入力データ（サンプル）が保存されることになる。
【０１３３】
一方、ＡＣ係数を利用する場合を図１１を参照しながら説明すると、この場合、量子化がビットシフト演算でないため、ＦＤＣＴ変換後の係数データ、特に量子化位置以下のデータがすべて０になるとは限らない。そのため、量子化によって歪みを持つことになり、ＩＤＣＴ変換の演算のたびに量子化歪みの最大値が２倍になる。図１１の例では、最終的に上位３ビットが利用できることになる。従って、ＡＣ係数を利用する場合は、再量子化ステップの最悪値がわかっていれば、データ伝送として利用できる係数上のビット数がわかり、同時に出力で有効となるビット数も判断できる。その結果、この有効となるビット数を利用しての情報のデータ伝送が可能となる。
【０１３４】
このように、上記関係式からわかることは、入力語長Ｌｉｎにおける入力データＸｎの内容と直交変換後の係数データの入力語長分の内容Ｘｎ’とが一致していることである。そして、ＤＣ係数を利用する場合は、係数データの入力語長以外の語長分のデータの内容はすべて０となっていることを示す。即ち、語長（Ｌｃｏｅｆ−Ｌｑ）分がすべて０となることを示す。語長（Ｌｃｏｅｆ−Ｌｑ）は、この場合、再量子化処理にて使用される再量子化ステップの語長を示すもので、再量子化処理にて上記係数データをこの再量子化ステップで除算したとしても、そのまま入力語長分の係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【０１３５】
また、ＡＣ係数を利用する場合は、ある程度の歪は受けるが、必要な出力精度以下の歪みであるため、その後の再量子化処理にて上記係数データをこの再量子化ステップで除算したとしても、そのまま入力語長分の係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【０１３６】
このことから、ＤＣ係数を利用した場合及びＡＣ係数を利用した場合において、上記規則１にて作成されたデータブロックを制御データブロックＤｃＢとして映像データの垂直ブランキング期間に挿入したとしても、その後の再量子化処理にて量子化歪みによる影響を受けるということがなくなる。これは、磁気テープＴに記録した圧縮映像データｄｖを復号化して元の映像データＤｖに復元させる際に、量子化歪みに基づく制御データブロックＤｃＢの破壊（波形歪み）は生じないということを示すものであり、復元後の映像データＤｖからデータ内容がそのまま保持された制御データＤｃを取り出すことができることにつながる。
【０１３７】
次に、規則２について詳細に説明する。この規則２については、ＤＣ係数を利用する場合において、入力語長Ｌｉｎと語長Ｌｇとを加算した語長が、語長Ｌｃｏｅｆよりも大きい場合に有効となる。
【０１３８】
具体的に、まず、入力語長Ｌｉｎと語長Ｌｇとを加算した語長が、語長Ｌｃｏｅｆよりも大きい場合の不都合点について図１２（ａ）及び（ｂ）に基づいて説明する。
【０１３９】
前提として、図１２（ａ）に示すように、ＦＤＣＴ変換によってＤＣ係数が求まった段階で、ＤＣ係数の下位５ビットに０が詰まった場合を想定する。そして、この場合の量子化位置が下位７ビット目にあるとき、即ち、量子化ステップの語長が７ビットであるとき、その後の再量子化処理にて、ＤＣ係数を再量子化ステップにて除算した場合、ＤＣ係数における有効語長の下位２ビットを除算してしまい、量子化歪みを生じさせることになる。
【０１４０】
この場合、再生系のＩＤＣＴ変換において、上記再量子化による歪みが、図１２（ａ）中、斜線で示すように順次積み重なってしまい、情報を効率よく送れないという問題が生じる。この例では、１ビットのみしか送れないことになり実用的でない。
【０１４１】
そこで、この規則２においては、再量子化ステップの語長をＬｇとしたとき、変換ブロック内の１６サンプルを全て加算したときの結果が、Ｌｇ倍になる組合せとする。
【０１４２】
この組合せを簡単に実現させる一手法としては、サンプルに所定の桁数ほど０を挿入する方法がある。この手法は、サンプルに所定の桁数ほど０を挿入することによって、疑似的に規則１を満足させる方法である。上記所定の桁数は、語長（Ｌｉｎ＋Ｌｇ）−語長Ｌｃｏｅｆにて求めることができる。
【０１４３】
この方法によれば、例えば所定の桁数が２の場合、図１２（ｂ）に示すように、予め入力データの下位２ビットに０が挿入されたデータとなり、その後のＦＤＣＴ変換（５回の演算を想定）によって、ＤＣ係数データの下位７ビット全てに０が詰まることになる。即ち、量子化位置まで０が詰まることになり、その後の再量子化によって歪みは生じなくなる。
【０１４４】
このように、制御データブロックＤｃＢ内の各入力データを全部加算したときの結果が２Ｌｇ倍になる組合せとなるようにした場合、係数データの下位ビットに０が挿入されることになり、疑似的に再量子化ステップレベルの語長分０が並ぶことになる。その結果、再量子化処理にて上記係数データをこの再量子化ステップで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【０１４５】
次に、規則３について詳細に説明する。この規則３においては、ＡＣ係数を利用する場合において、特に、入力データの語長Ｌｉｎに対して最大量子化ステップの語長Ｌｇが１桁多い場合に有効となる。
【０１４６】
具体的に、入力データの語長Ｌｉｎに対して最大量子化ステップの語長Ｌｇが１桁多い場合においては、そのまま係数データを最大量子化ステップで除算して再量子化を行なった場合、再量子化による歪みが生じることになる。そこで、変換関数の基底を利用して係数面上の再量子化ステップに対する桁上げをおこなうような入力データ（サンプル）の組合せを選ぶことで、結果的に規則１の条件を満足させるようにする。
【０１４７】
４×４単位のデータブロックに対するＦＤＣＴ変換関数の基底は、以下の行列式で表わされる。
【０１４８】
【数５】

【０１４９】
以下、上記規則３を満足する組合せを作成する手順について説明する。その前提として、簡単のために、最悪ケースの再量子化ステップにより、図１３に示すように、係数データの有効語長Ｌｑが４ビット、最悪ケースの再量子化ステップの語長Ｌｇが８ビット（図示せず）である場合を想定して説明する。４ビットの内訳は、この場合、−４，−３，−２，−１，０，１，２，３，４である。なお、制御データブロックの各入力データ（サンプル）の語長Ｌｉｎは１０ビットであり、係数データブロックの各係数データの語長Ｌｃｏｅｆは１２ビットである。
【０１５０】
上記４ビットの内訳のうち、４，−４は、変換全体が１箇所に集まったときに作られるＤＣ係数の場合であるため、結果的に−３〜３で総当たりの係数の組合せ（第１の組合せ）を作って、図１３に示すように、逆変換（ＩＤＣＴ変換）する。もちろん、上記４及び−４を含めた第１の組合せを作るようにしてもよい。
【０１５１】
そして、上記第１の組合せの中から空間面で−１，０，１（データ値としては、−２５６，０，＋２５６である）による組合せになるものを選ぶ（第２の組合せ）。その後、この第２の組合せをＦＤＣＴ変換し、得られた係数面上での組合せと第１の組合せとが全く同じになる組合せを選ぶ（第３の組合せ）。そして、この第３の組合せをＩＤＣＴ変換して求めたものが、規則３を満足する入力データ（サンプル）の組合せとなる。
【０１５２】
具体的な組合せの例を図１４〜図１８に示す。５２９組あるため、制御データＤｃとして、約９ビット分の情報を割り当てることができる。つまり、制御データＤｃの値として、符号ビットを設定しない場合は、例えば０〜５２８を用いることができ、符号ビットを設定した場合は、例えば−２６４〜０〜２６３を用いることができる。
【０１５３】
そして、上記組合せによるデータブロックを制御データブロックＤｃＢとして用いれば、ＦＤＣＴ変換において桁上がりが生じることになる。
【０１５４】
上記規則３に従った制御データブロックＤｃＢによれば、ＦＤＣＴ変換の際に、桁上がりが生じるため、最大の再量子化ステップの語長Ｌｇが入力語長Ｌｉｎよりも大きい場合においても、ある程度の歪は受けるが、必要な出力精度以下の歪みであるため、その後の再量子化処理にて上記係数データをこの再量子化ステップで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【０１５５】
次に、再生系２の動作について簡単に説明する。まず、上記記録系１によって磁気テープＴに記録された圧縮映像データｄｖが再生用磁気ヘッド２１にて再生され、その後、ＶＬＤ２６にて復号化処理されて量子化レベルに変換される。その後、逆量子化回路２７において、上記量子化レベルに対し、逆量子化処理が行なわれて係数データブロックが得られる。この係数データブロックは、後段のＩＤＣＴ回路２８にてＩＤＣＴ変換されて映像データブロックに変換される。
【０１５６】
その後、通常は、上記映像データブロックが後段のデブロッキング回路２９にてそのブロックがほどかれることになるが、本実施例においては、ＩＤＣＴ変換回路２８からの映像データブロック、特に垂直ブランキング期間に対応する部分に挿入されている制御データブロックを抽出回路４２にて抽出する。
【０１５７】
この場合、垂直ブランキング期間に対応する部分に挿入されている制御データブロックＤｃＢが、上記記録系１における制御データブロック挿入回路３１によって量子化歪みの影響を受けないデータ列にて構成されて挿入されるようになっているため、ＩＤＣＴ変換回路２８でのＩＤＣＴ変換を実行するための演算処理のたびに量子化歪みが積み重なるということがなく、挿入した状態のデータ内容がそのまま維持されて抽出されることになる。
【０１５８】
抽出回路４２で抽出された制御データブロックＤｃＢは、制御データ変換回路４３に供給されて、該制御データ変換回路４３において、変換テーブルに配列登録されている多数のデータブロック中、抽出された制御データブロックＤｃＢに対応する制御データＤｃが選択される。この変換テーブルに配列登録されている多数のデータブロックは、記録系１における制御データブロック変換回路３３のメモリ（図示せず）内に格納された変換テーブルと同じデータブロックが配列登録されている。即ち、上記多数のデータブロックは、量子化歪みの影響を受けないデータ列にて構成されるように、上述した規則１，規則２又は規則３に従って作成されている。
【０１５９】
そして、上記制御データブロック抽出回路４１におけるデータ変換回路４３から上記抽出された制御データブロックＤｃＢに対応した制御データＤｃが出力されることになる。この制御データＤｃは記録系１における制御データブロック挿入回路３１に入力された制御データＤｃの内容と同じかそれと関連するデータ内容となっている。
【０１６０】
このように、記録系１における制御データブロック挿入回路３１において垂直ブランキング期間に挿入した制御データブロックＤｃＢがデータ破壊を受けることなくそのままの状態で再生系２における制御データブロック抽出回路４１にて取り出されることになり、これは、記録系１において垂直ブランキング期間のタイミングで挿入した制御データＤｃが、データ圧縮処理にて破壊されることなく、データ内容が維持された状態で再生系２にて読み出されることになることと等価となる。
【０１６１】
上述のように、この実施例に係るデジタルＶＴＲによれば、変換符号化によるビットリダクションを行なう場合において、例えば垂直ブランキング期間中に映像信号以外の情報信号（制御信号等）を付加してそのまま変換符号化処理に通しても、情報信号の内容が破壊されることがなく、従って、画像情報のほかに、上記制御信号等の画像情報以外の情報を伝送・蓄積することができ、デジタルＶＴＲの多機能化を促進させることができる。
【０１６２】
上記例は、制御データブロックＤｃＢを垂直ブランキング期間に対応する位置に挿入した例を示したが、その他水平ブランキング期間に対応する位置に挿入するようにしてもよい。
【０１６３】
上記例は、記録系１において作成された圧縮映像データｄｖを磁気テープＴに記録し、この記録された圧縮映像データｄｖを再生系２にて再生して元の映像信号Ｓｖに復元させるデジタルＶＴＲに適用した例を示したが、その他、圧縮映像データｄｖを光ファイバ等の通信路を通して伝送し、伝送された圧縮映像データｄｖを元の映像信号Ｓｖに復元するデータ通信装置にも適用することができる。
【０１６４】
この場合、通信路符号化処理を行なうＥＣＣエンコーダ１５と通信路復号化処理を行なうＥＣＣデコーダ２５の各符号化処理及び復号化処理の変換パラメータを、使用される通信路の特性に合わせて作成すればよい。
【０１６５】
【発明の効果】
上述のように、本発明に係る信号処理システムによれば、符号化処理装置におけるデータ圧縮処理回路の変換符号化処理の前段に、映像データの無効画像表示期間（例えば垂直ブランキング期間又は水平ブランキング期間）に対応する部分に量子化歪みを受けないデータ列で構成された制御用情報を挿入する制御用情報挿入回路を接続し、復号化処理装置におけるデータ伸長処理回路の変換復号化処理の後段に、上記制御用情報を抽出する制御用情報抽出回路を接続するようにしたので、変換符号化によるビットリダクションを行なう画像システムにおいて、例えば垂直ブランキング期間中に映像信号以外の情報信号（制御信号等）を付加してそのまま変換符号化処理に通しても、情報信号の内容が破壊されることがなく、画像情報のほかに、上記制御信号等の画像情報以外の情報を伝送・蓄積することができ、画像システムの多機能化を促進させることができる画像情報のほかに、上記制御信号等の画像情報以外の情報を伝送・蓄積することができ、画像システムの多機能化を促進させることができる。
【０１６６】
また、本発明に係る信号処理システムは、上記構成において、上記符号化処理装置におけるデータ圧縮処理回路を、上記映像データを所定のブロック単位に分割するブロッキング回路と、このブロッキング回路からのデータブロックを直交変換して係数データブロックに変換する直交変換回路と、この直交変換回路からの係数データブロックに対し、再量子化処理を行なって量子化レベルを得る再量子化処理回路と、この再量子化処理回路からの量子化データブロックをエントロピー符号化処理して圧縮映像データとするエントロピー符号化回路とを設けて構成し、上記制御用情報挿入回路を、ブロッキング回路と直交変換回路との間に挿入接続するようにしたので、ブロッキング回路からのデータブロック（映像情報）は、その後の再量子化処理によって歪みを受けることになるが、制御用情報挿入回路からのデータブロック（制御用情報）は、量子化歪みを受けないデータ列で構成されているため、その後の再量子化処理において歪みを受けることがなく、データの内容が破壊されるということがない。
【０１６７】
従って、上記圧縮映像データ中、映像情報に関するデータ成分は、先の再量子化処理及びエントロピー符号化処理によって十分に圧縮された形で伝送・蓄積されるが、制御用情報に関するデータ成分は、データの内容が保持されたまま伝送・蓄積されることになる。
【０１６８】
また、本発明に係る信号処理システムは、上記構成において、上記制御用情報挿入回路を、所定の規則に基づいて作成された多数のデータブロックが制御データの内容に対応させて配列登録された変換テーブルを有し、この変換テーブルにおける上記多数のデータブロック中、入力される制御データの内容に対応したデータブロックを選択して、制御データブロックとして出力するデータブロック変換回路を設けるようにしたので、上記ブロッキング回路からのデータブロック（映像情報）は、その後の再量子化処理によって歪みを受けることになるが、制御用情報挿入回路からのデータブロック（制御用情報）は、量子化歪みを受けないデータ列で構成されているため、上記再量子化処理において歪みを受けることがなく、データの内容が破壊されるということがない。
【０１６９】
また、本発明に係る信号処理システムは、上記構成において、上記復号化処理装置における上記データ伸長処理回路を、上記データ再生手段からの再生データをエントロピー復号化処理して量子化レベルを得るエントロピー復号化回路と、上記エントロピー復号化回路からの量子化レベルに対し、逆量子化処理を行なって係数データブロックを得る逆量子化回路と、上記逆量子化回路からの上記係数データブロックを逆直交変換して映像データブロックに変換する逆直交変換回路と、上記逆直交変換回路からの上記映像データブロックのブロックをほどいて映像データに復元するデブロッキング回路とを設けて構成し、上記制御用情報抽出回路を、上記逆直交変換回路とデブロッキング回路との間に挿入接続するようにしたので、通常は、上記映像データブロックが後段のデブロッキング回路にてそのブロックがほどかれることになるが、本発明においては、逆直交変換回路からの映像データブロック、特に無効画像表示期間（例えば垂直ブランキング期間又は水平ブランキング期間）に対応する部分に挿入されているデータブロックを制御用情報抽出回路にて抽出することとなる。この場合、上記符号化処理装置における制御用情報挿入回路によって量子化歪みの影響を受けないデータ列にて構成されるようになっているため、上記逆直交変換回路での逆直交変換を実行するための演算処理のたびに量子化歪みが積み重なるということがなく、挿入した状態のデータ内容がそのまま維持されて抽出されることになる。
【０１７０】
また、本発明に係る信号処理システムは、上記構成において、上記制御用情報抽出回路を、所定の規則に基づいて作成された多数のデータブロックが制御データの内容に対応させて配列登録された変換テーブルを有し、この変換テーブルにおける上記多数の制御データ中、復号化された制御データブロックに対応した制御データを選択して出力する制御データ変換回路を設けるようにしたので、信号変換回路において、変換テーブルに配列登録されている多数のデータブロック中、抽出されたデータブロックに対応する制御データが選択されることになる。この場合、変換テーブルに配列登録されている多数のデータブロックは、量子化歪みの影響を受けないデータ列にて構成されるように、上述した所定の規則に従って作成されているため、制御用情報抽出回路における信号変換回路からデータブロックに対応した制御データが出力されることになる。
【０１７１】
また、本発明に係る信号処理システムは、上記構成において、上記所定の規則を、入力データの空間面での語長をＬｉｎ、入力データ＝復元後のデータを満たすための係数面の語長をＬｃｏｅｆ、再量子化ステップによる再量子化を行なったときの有効語長をＬｑ、再量子化ステップレベルの語長をＬｇとし、語長（Ｌｉｎ＋Ｌｇ）が語長Ｌｃｏｅｆと同じである場合、係数データの上記有効語長における値をＸｎ’とし、関係式［Ｘ］_Ｌ を係数面における最上位ビットからの語長Ｌにおける値として定義したとき、入力データＸｎが関係式［Ｘ_ｎ ］_Ｌｉｎ ＝［Ｘ_ｎ ’・２^{（Ｌｃｏｅｆ−Ｌｑ）}］_Ｌｉｎ を満足するようにしたので、上記所定の規則にて作成されたデータブロックを制御用情報として映像データの例えば垂直ブランキング期間に挿入したとしても、その後の再量子化処理にて量子化歪みによる影響を受けるということがなくなる。これは、通信路を通して伝送した圧縮映像データあるいは記録媒体に蓄積した圧縮映像データを復号化して元の映像データに復元させる際に、量子化歪みに基づくデータの破壊（波形歪み）は生じないということを示すものであり、復元後の映像データからデータ内容がそのまま保持された制御用情報を取り出すことができることにつながる。
【０１７２】
また、本発明に係る信号処理システムは、上記構成において、上記所定の規則を、最大の再量子化ステップレベルの係数面での語長をＬｇとしたとき、制御データブロック内の各入力データを全部加算したときの結果がＬｇ倍になる組合せとなるようにしたので、特にＤＣ係数を利用した場合において、係数データの下位ビットに０が挿入されることになり、疑似的に再量子化ステップレベルの語長分０が並ぶことになる。その結果、再量子化処理にて上記係数データをこの再量子化ステップレベルで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないこととなる。
【０１７３】
また、本発明に係る信号処理システムは、上記構成において、上記所定の規則を、上記所定の規則を、最大の再量子化ステップレベルの係数面での語長をＬｇとしたとき、制御データブロック内の各入力データを直交変換した後の値がＬｇ倍になる組合せとなるようにしたので、特に、ＡＣ係数を利用した場合において、ある程度の歪は受けるが、必要な出力精度以下の歪みであるため、その後の再量子化処理にて上記係数データをこの再量子化ステップレベルで除算したとしても、そのまま係数データが量子化レベル（整数値）としてまるめられ、再量子化による歪みは生じないことになる。
【図面の簡単な説明】
【図１】本発明に係る信号処理システムを、画像圧縮方式のデジタルＶＴＲに適用した実施例（以下、単に実施例に係るＶＴＲと記す）の記録系の構成を示すブロック図である。
【図２】本実施例に係るＶＴＲの再生系の構成を示すブロック図である。
【図３】本実施例に係るデジタルＶＴＲに入力される映像信号の垂直ブランキング期間における記録ラインの入力タイミングを示すタイミングチャートであり、同図（ａ）は６２５システムを示し、同図（ｂ）は５２５システムを示す。
【図４】本実施例に係るデジタルＶＴＲ（５２５システムの場合）に入力される映像信号の垂直ブランキング期間における奇数フィールド及び偶数フィールドでの記録ラインの入力タイミングを示すタイミングチャートである。
【図５】６２５システム（フィールドメモリを使用した場合）での制御データブロックの挿入位置を示す概念図である。
【図６】５２５システム（フィールドメモリを使用した場合）での制御データブロックの挿入位置を示す概念図である。
【図７】５２５システム（フレームメモリを使用した場合）での制御データブロックの挿入位置を示す概念図である。
【図８】ＡＣ係数に対する再量子化による総量調整を示す概念図である。
【図９】空間面における変換ブロック内の１６サンプルに対する直交変換（ＦＤＣＴ）を示す概念図である。
【図１０】ＤＣＴ変換（５回演算）によってＤＣ係数を求めるまでの加算処理と、ＤＣＴ変換後のＤＣ係数データの語調Ｌｃｏｅｆが有効語調Ｌｑと量子化ステップの語調Ｌｇを合わせたものである場合の規則１の効果を示す概念図である。
【図１１】再量子化によって量子化歪みが生じた場合の不都合点を示す概念図である。
【図１２】ＤＣＴ変換（５回演算）後のＤＣ係数データの語調Ｌｃｏｅｆが、有効語調Ｌｑと量子化ステップの語調Ｌｇを合わせた語調よりも小さい場合の効果を示す概念図であり、同図（ａ）は再量子化にて量子化歪みが生じた場合の不都合を示し、同図（ｂ）は規則２による効果を示す概念図である。
【図１３】規則３のうち、サンプルが−１，０，１（−２５６，０，＋２５６）のみで構成された組合せの作成手順を示す概念図である。
【図１４】規則３のうち、サンプルが−１，０，１（−２５６，０，＋２５６）のみで構成された組合せの例を示す図（その１）である。
【図１５】規則３のうち、サンプルが−１，０，１（−２５６，０，＋２５６）のみで構成された組合せの例を示す図（その２）である。
【図１６】規則３のうち、サンプルが−１，０，１（−２５６，０，＋２５６）のみで構成された組合せの例を示す図（その３）である。
【図１７】規則３のうち、サンプルが−１，０，１（−２５６，０，＋２５６）のみで構成された組合せの例を示す図（その４）である。
【図１８】規則３のうち、サンプルが−１，０，１（−２５６，０，＋２５６）のみで構成された組合せの例を示す図（その５）である。
【図１９】ＤＣＴ変換−逆変換（ＩＤＣＴ）における有効語長のイメージを示す概念図である。
【図２０】再量子化ステップによる歪みの出力への影響のイメージを示す概念図である。
【図２１】ＤＣＴ変換（５回演算）によってＤＣ係数を求め、量子化・逆量子化の後、逆変換を行なって出力を得るまでの語調の変化を示す概念図を示し、同図（ａ）は全体の流れを示し、同図（ｂ）は再量子化によって量子化歪みが生じた場合の不都合点を示す。
【符号の説明】
１ 記録系
２ 再生系
３ Ａ／Ｄ変換器
４ データ圧縮処理回路
５ 記録用磁気ヘッド
１１ ブロッキング回路
１２ ＦＤＣＴ（離散コサイン変換）回路
１３ 再量子化回路
１４ ＶＬＣ（可変長符号化器）
１５ ＥＣＣエンコーダ
１６ チャンネルエンコーダ
１７ 情報量制御回路
１８ タイミング発生器
２１ 再生用磁気ヘッド
２２ データ伸長処理回路
２３ Ｄ／Ａ変換器
２４ チャンネルデコーダ
２５ ＥＣＣデコーダ
２６ ＶＬＤ（可変長復号化器）
２７ 逆量子化回路
２８ ＩＤＣＴ（逆離散コサイン変換）回路
２９ デブロッキング回路
３１ 制御データブロック挿入回路
３２ メモリ
３３ データブロック変換回路
３４ 挿入回路
４１ 制御データブロック抽出回路
４２ 抽出回路
４３ データ変換回路
４４ メモリ
４５ タイミング発生器[0001]
[Industrial applications]
The present invention relates to a signal processing system, in particular, after sampling and quantizing an input video signal to convert it into digital video data, encoding and compressing the converted video data, and transmitting the compressed data. An encoding device that supplies compressed data to a channel or stores the data in a recording medium, and a decoding device that reads compressed data from a transmission channel or stored in a recording medium, decodes the read compressed data, and returns the original video signal And a signal processing system having:
[0002]
[Prior art]
2. Description of the Related Art Recently, an image system for transmitting a high-definition image or storing the image on a recording medium such as a magneto-optical disk has been proposed. This image system realizes data compression of image information by transform coding (block coding) and variable length coding.
[0003]
It can be said that the appearance probability of each image sample in the image signal on the spatial plane is uniform in the amplitude direction when various images are viewed statistically. That is, there is no bias. On the other hand, when viewed on the coefficient plane after transform coding, for example, discrete cosine transform (DCT), the lower the order, the higher the energy concentration and the higher the order, reflecting the properties of the image viewed on the frequency plane. And rapidly decreases as That is, the bias is large.
[0004]
Variable-length coding uses the bias to efficiently compress image information, and orthogonal transform such as DCT creates the bias.
[0005]
By the way, the degree of the above-mentioned bias changes depending on the type of the image signal used by us. Therefore, the information resulting from the variable length coding also changes accordingly. For example, requantization in a coefficient plane exists as a process for keeping this in a fixed amount for each field. Whereas the former variable-length coding is a distortionless transform, this requantization process is a process involving distortion.
[0006]
FIG. 19 shows an image of the effective word length in the DCT-inverse transform (IDCT). Performing the DCT transform is a task of calculating the inner product of the DCT transform base matrix and the block-divided video signal, and there is a carry every time the addition is performed. The same should be true for the inverse transform, but because of the relationship between DCT and inverse transform, they cancel each other out during the inverse transform and do not cause a carry. If this relationship and normalization are performed so that a unit matrix is obtained by DCT-inverse transform, an image having an effective word length shown in FIG. 19 is obtained. Note that the decimal part is necessary to obtain the accuracy of the output word length. The sum of the integer part and the decimal part is the effective word length.
[0007]
Next, FIG. 20 shows an image of the influence of the requantization step on the output of distortion. FIG. 20 shows the relationship between the requantization step and the effect of the distortion on the output, the input / output word length, and the coefficient word length.
[0008]
Now, for example, a two-dimensional DCT transform in the case where an 8-bit video signal (luminance signal Y and color difference signals PB, PR) is divided into blocks of 4 × 4 pixels in the horizontal and vertical directions, respectively, is as follows: Is represented by
[0009]
(Equation 1)

[0010]
Then, the DCT transform in the two-dimensional matrix format is represented in a general form as follows.
[0011]
(Equation 2)

[0012]
The two-dimensional inverse DCT transform is represented by the following equation.
[0013]
(Equation 3)

[0014]
When the inverse DCT transform in the two-dimensional matrix format is expressed in a general form, it is as follows.
[0015]
(Equation 4)

[0016]
From this, a series of flows of DCT transform → requantization → inverse quantization → inverse transform is expressed in a general form as follows.
[0017]
conversion
[X] = (2 / N) [a] [x] [b]^t
Requantization (not specifically shown in the equation, but rounded to an integer)
[XL] = [X] (1 / [Qn])
[Qn]: Requantization matrix
Inverse quantization
[IX] = [XL] [Qn]
Inverse transformation
[Ix] = (2 / N) [a]^t[IX] [b]
[0018]
Here, in the case of [Q0], assuming that the limit requantization value satisfying [ix] = [x], the above series of flows in the requantization matrix [Q1] which is one digit larger than [Q0] (DCT transformation → requantization → inverse quantization → inverse transformation) is as follows.
[0019]
conversion
[2X '] = (2 / N) [a] [2x'] [b]^t
Requantization
[XL '] = [2X'] (1 / [Q1]) = [X '] (1 / [Q0])
([Q1] = 2 · [Q0])
Here, the condition of requantization is the same as when [Q0].
Inverse quantization
[2iX '] = [XL'] [Q1] = [XL '] [2Q0]
Inverse transformation
[2ix '] = (2 / N) [a]^t[2iX '] [b]
[0020]
Next, the above-mentioned sequence (DCT transformation → requantization → inverse quantization → inverse transformation) in the requantization matrix [Q2], which is two digits larger than [Q0], is as follows.
[0021]
conversion
[4X '] = (2 / N) [a] [4x'] [b]^t
Requantization
[XL '] = [4X'] (1 / [Q2]) = [X '] (1 / [Q0])
([Q2] = 4 · [Q0])
Here, the condition of requantization is the same as when [Q0].
Inverse quantization
[4iX '] = [XL'] [Q2] = [XL '] [4Q0]
Inverse transformation
[4ix '] = (2 / N) [a]^t[4iX '] [b]
[0022]
The same applies hereinafter.
[0023]
Specifically, a case will be described with reference to FIG. 21A in which an orthogonal transformation that obtains a coefficient through five calculations is assumed. For the sake of simplicity, it is assumed that the dynamic range is doubled by each operation, that is, a carry occurs every time on the conversion side.
[0024]
In the orthogonal transform described above, the inverse transform is obtained by cutting out the input word length of the word at the last stage from the upper bits without causing carryover due to a change in the dynamic range due to the correlation with the DCT transform.
[0025]
Now, when the requantizer re-quantizes to 12 bits, there is no carry-over due to a change in the dynamic range in each operation in the inverse transform, but the distortion due to the requantization has a correlation with the transform. And the maximum value doubles with each operation. This is shown in FIG. In FIG. 21B, a hatched portion indicates distortion due to requantization, and it can be seen that this distortion is accumulated for each operation. In this case, as a result, distortion due to requantization is included in the output signal.
[0026]
As described above, the conversion encoding process (bit rate reduction process) is basically intended to be realized by reducing the redundancy of the video information, but it is not always possible to always achieve the desired fixed rate. Therefore, it becomes necessary to compress the amount of information by requantization with distortion and to adjust the total amount of the compressed data. Note that the more the pattern is difficult for the corresponding orthogonal transform, the larger the amount of compression by requantization.
[0027]
Therefore, it is convenient for image data compression to distort somewhere with an event having little visual influence. The event before the orthogonal transformation is a spatial plane, but if requantization is performed in this spatial plane, it will appear as a lack of gradation. The lack of gradation on the spatial plane is sensitive to human eyes. For this reason, requantization in the space plane cannot be adopted.
[0028]
The event after the orthogonal transformation is the coefficient plane, but requantization in the coefficient plane results in a missing coefficient, but looking at this on the spatial plane, the correlation between each sample constituting the block is lost. . That is, it appears as waveform distortion. The human eye is tolerant of waveform distortion. From this, it is advantageous to perform the requantization with distortion on the coefficient plane.
[0029]
[Problems to be solved by the invention]
By the way, recently, there has been a demand that compressed data transmitted through a communication path or recorded on a recording medium include various information signals for switching display devices and performing various special effects on video signals. is there.
[0030]
It is conceivable that these information signals are inserted and transmitted during, for example, a vertical blanking period which has no effect on image display.
[0031]
However, in the conventional transform coding processing, as described above, since requantization with distortion is performed, the information signal added to the video signal changes due to the distortion due to the requantization, and the added information is changed. Is lost.
[0032]
In the transform coding process, there is a possibility that there is a sample in which even the signal code is not stored depending on the relationship between the input word length and the requantization step. For this reason, conventionally, it has not been possible to add the information signal at the time of input and pass it through the transform encoding process as it is.
[0033]
The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image system that performs bit reduction by transform coding in an invalid image display period, for example, during a vertical blanking period, except for a video signal. Even if an information signal (such as a control signal) is added and the transform signal is passed through as it is, the content of the information signal is not destroyed, and in addition to the image information, information other than the image information such as the control signal is transmitted. It is an object of the present invention to provide a signal processing device that can transmit and store data, and can promote multi-functionality of an image system.
[0034]
[Means for Solving the Problems]
The present invention has beenDigitalTransform coding processing for video data DvData compression processing includingGivingOutput compressed video dataIn the signal processing system having the data compression processing means 4 and the coding processing device 1 for transmitting or storing the compressed video data dv, the signal processing system is provided with the data compression processing means 4 in the coding processing device 1 before the conversion coding process.Placed,In digital video dataA portion of the video data Dv corresponding to an invalid image display period (for example, a vertical blanking period or a horizontal blanking period), For data compression processingQuantization distortionImpact ofControl information inserting means 31 for inserting control information DcB composed of a data string not subject toHaving.
[0035]
In this case, the data compression processing circuit 4 in the encoding processing device 1 is divided into a blocking circuit 11 for dividing the video data Dv into predetermined block units, and a data block from the blocking circuit 11 is orthogonally transformed into a coefficient data block. An orthogonal transformation circuit 12, a re-quantization processing circuit 13 for performing a re-quantization process on the coefficient data block from the orthogonal transformation circuit 12 to obtain a quantization level, and a quantizer from the re-quantization processing circuit 13. And an entropy encoding circuit 14 for entropy encoding the encoding level to produce compressed video data dv. The control information insertion circuit 31 is inserted and connected between the blocking circuit 11 and the orthogonal transformation circuit 12. And configure.
[0036]
The control information insertion circuit 31 has a conversion table in which a large number of data blocks created based on a predetermined rule are arrayed and registered in correspondence with the contents of the control data Dc. A data block corresponding to the content of the input control data Dc is selected from the data blocks, and a data block conversion circuit 33 for outputting the selected data block as the control data block DcB is provided.
[0037]
Further, the present invention provides a control information inserting unit that inserts control information composed of a data string that is not affected by quantization distortion in a data compression process into a portion corresponding to an invalid image display period of video data. Having data compression processing means for performing data compression processing including transformation coding processing on input digital video data and outputting compressed video data, and transmitting the compressed video data by an encoding processing device for transmitting or storing the compressed video data Alternatively, in a signal processing system including a decoding processing device having a data decompression processing unit including a conversion decoding process for restoring the stored compressed video data to the original video data, Control information for extracting control information from digital video data arranged and restored by data decompression processing means including conversion decoding processing; With the extraction means.
Further, the data decompression processing circuit 22 in the decoding processing device 2 performs an entropy decoding process on the compressed video data dv to obtain a quantization level, and a quantization level from the entropy decoding circuit 26. In contrast, an inverse quantization circuit 27 that performs an inverse quantization process to obtain a coefficient data block, and an inverse orthogonal transform circuit 28 that performs an inverse orthogonal transform on the coefficient data block from the inverse quantization circuit 27 and converts it into a video data block. And a deblocking circuit 29 for unblocking the video data blocks from the inverse orthogonal transform circuit 28 and restoring the video data Dv to the video data Dv. It is constructed by inserting and connecting between the blocking circuit 29 and the circuit.
[0038]
The control information extraction circuit 41 has a conversion table in which a large number of data blocks created based on a predetermined rule are registered in an array in correspondence with the contents of the control data Dc. Is provided with a control data conversion circuit 43 for selecting and outputting the control data Dc corresponding to the decoded control data block DcB from the control data.
[0039]
The predetermined rule is that the word length in the space plane of the input data is Lin, the word length of the coefficient plane for satisfying the input data = data after restoration is Lcoef, and the requantization in the requantization step is performed. When the effective word length is Lq, the word length at the requantization step level is Lg, and the word length (Lin + Lg) is the same as the word length Lcoef, the value of the coefficient data at the effective word length is Xn ′, and the relational expression [ X]_LIs defined as a value in the word length L from the most significant bit in the coefficient plane, the input data Xn is set to satisfy the following relational expression.
[X_n]_Lin= [X_n’· 2^(Lcoef-Lq)]_Lin
[0040]
Further, the above-mentioned predetermined rule is such that when the word length in the coefficient plane at the maximum requantization step level is Lg, the result of adding all the input data in the control data block DcB is Lg times. So that
[0041]
Also,According to the present invention, in an encoding apparatus that performs data compression processing including conversion encoding processing on digital video data and outputs compressed video data, the control information is not affected by quantization distortion caused by the data compression processing. The image processing apparatus includes a conversion unit that converts the data string into a data string, and an insertion unit that is arranged at a stage before the conversion code processing and inserts the data string into a portion corresponding to an invalid image display period of video data in digital video data.
Further, the present invention receives compressed video data output by performing data compression processing including conversion coding processing on digital video data, and performs data compression processing on a portion corresponding to an invalid image display period of the video data. In a decoding processing device that decodes compressed video data into which control information converted to a data sequence that is not affected by quantization distortion is inserted, a data expansion process including a conversion decoding process is performed on the compressed video data. Data decompression processing means for decompressing digital video data, extraction means arranged at the latter stage of the conversion decoding process of the decompression processing means, for extracting a data sequence from the digital video data, and conversion means for converting the data sequence into control information. Is provided.
Further, the present invention provides an encoding method for outputting compressed video data by performing a data compression process including a conversion encoding process on digital video data, wherein the control information is controlled by the influence of quantization distortion on the data compression process. Before the digital video data is converted into an unreceived data sequence and subjected to conversion coding processing, the data sequence is inserted into a portion of the digital video data corresponding to the invalid image display period of the video data.
Further, the present invention receives compressed video data output by performing data compression processing including conversion coding processing on digital video data, and performs data compression processing on a portion corresponding to an invalid image display period of the video data. In a decoding method for decoding compressed video data in which control information converted to a data string not affected by quantization distortion is inserted, a data expansion process including a conversion decoding process is performed on the compressed video data. After the digital video data is decompressed and converted and decoded, a data sequence is extracted from the digital video data, and the data sequence is converted into control information.
[0042]
[Action]
In the signal processing system according to the present invention, first, the video data Dv input to the encoding processing device 1 is usually subjected to transform encoding processing in the data compression processing circuit 4 and data compression is performed. Prior to the conversion encoding process, the control information insertion circuit 31 forms a data string that is not subjected to quantization distortion in a portion corresponding to an invalid image display period of the video data Dv, for example, a vertical blanking period. The inserted control information DcB is inserted.
[0043]
The video data Dv into which the control information DcB has been inserted by the control information insertion circuit 31 is data-compressed by the conversion encoding process in the data compression processing circuit 4 at the subsequent stage to become compressed video data dv. At this time, in the transform coding process, the amount of data compression is adjusted by performing a requantization process. In the requantization process, the inserted control information DcB is replaced by the requantization process. And the contents of data are not destroyed.
[0044]
Then, the compressed video data dv from the data compression processing circuit 4 is transmitted through a communication path together with the control information DcB, or is stored in the recording medium T.
[0045]
The compressed video data dv transmitted and accumulated by the encoding processing device 1 is first converted and decoded by the data decompression processing circuit 22 in the decoding processing device 2 to restore the original video data Dv. Is done. In the present invention, the control information extracting circuit 41 extracts the control information DcB from the video data Dv. The control information DcB is data inserted in a portion corresponding to the vertical blanking period of the video data Dv prior to the transform coding processing, and is particularly configured by a data string which is not subjected to quantization distortion. .
[0046]
Therefore, when the data decompression processing circuit 22 performs the decoding processing, the quantization distortion is not accumulated every time the decoding operation is performed, and the data is extracted as it is in the inserted data configuration.
[0047]
As described above, according to the signal processing apparatus of the present invention, in an image system that performs bit reduction by transform coding, for example, an information signal (control signal or the like) other than a video signal is added during a vertical blanking period and the transform code Even if the image signal is passed through, the contents of the information signal are not destroyed, and in addition to the image information, information other than the image information such as the above-mentioned control signal can be transmitted and stored. In addition to the image information capable of promoting the image information, information other than the image information such as the control signal can be transmitted and stored, and the multi-functionality of the image system can be promoted.
[0048]
In particular, the data compression processing circuit 4 includes a blocking circuit 11 for dividing the video data Dv into predetermined block units, and an orthogonal transformation circuit 12 for orthogonally transforming the data block from the blocking circuit 11 into a coefficient data block. A requantization processing circuit 13 for performing a requantization process on the coefficient data block from the orthogonal transformation circuit 12 to obtain a quantization level; and entropy coding the quantization level from the requantization processing circuit 13 When the control information insertion circuit 31 is inserted and connected between the blocking circuit 11 and the orthogonal transformation circuit 12, The following operation will be performed.
[0049]
First, the input video data Dv is divided by the blocking circuit 11 into predetermined block units and output as data blocks. Then, the control information DcB is inserted through the control information insertion circuit 31 in a portion corresponding to the vertical blanking period of the video data Dv.
[0050]
Specifically, since the video data Dv is converted into a data block by the blocking circuit 11, the control information DcB is also inserted in the form of a data block. The data block from the blocking circuit 11 and the control information (data block) DcB from the control information inserting circuit 31 are orthogonally transformed by the orthogonal transformation circuit 12 at the subsequent stage, and are transformed into coefficient data blocks. The coefficient data block is re-quantized by a re-quantization processing circuit 13 at the subsequent stage, and the amount of data compression is adjusted.
[0051]
At this time, the data block (video information) from the blocking circuit 11 is distorted by the requantization process, but the data block (control information) DcB from the control information insertion circuit 31 is quantized. Since the data sequence is composed of a data string that is not subject to distortion, the data sequence is not subject to distortion in the requantization process, and the data content is not destroyed.
[0052]
The requantization processing circuit 13 outputs a binary sequence (quantization level) in which a DC component and an AC component are separated. The quantization level from the requantization processing circuit 13 is subjected to entropy encoding processing in the entropy encoding circuit 14 at the subsequent stage, and compressed video data dv is created. The compressed video data dv is then transmitted through a communication path or stored in the recording medium T. In the compressed video data dv, data components related to video information are transmitted and accumulated in a form sufficiently compressed by the re-quantization process and entropy coding process, but the data component related to the control information DcB is a data component. Is transmitted and stored while the contents of the data are maintained.
[0053]
The control information insertion circuit 31 has a conversion table in which a number of data blocks created based on a predetermined rule are registered in an array corresponding to the contents of the control data Dc. In the case where a data block corresponding to the content of the input control data Dc is selected from the data blocks and the data block conversion circuit 33 for outputting the selected data block as the control data block DcB is provided, the following operation is performed.
[0054]
In the above configuration, the video data Dv after digital conversion by the A / D converter 3 is divided into predetermined blocks by the blocking circuit 11 and output as data blocks. In a portion corresponding to the vertical blanking period, the control data block DcB is inserted through the control information insertion circuit 31.
[0055]
The operation of the control information insertion circuit 31 at this time will be described. First, in the data block conversion circuit 33, a data block corresponding to the input control data Dc among a large number of data blocks arrayed and registered in the conversion table is set. Selected. A large number of data blocks arrayed and registered in this conversion table are created according to a predetermined rule so as to be constituted by a data string which is not affected by quantization distortion. Then, a control data block DcB corresponding to the input control data Dc is output from the data block conversion circuit 33 in the control information insertion circuit 31, and the control data block DcB is inserted into a portion corresponding to the vertical blanking period of the video data Dc. Will be done.
[0056]
The data block from the blocking circuit 11 and the control data block DcB from the control information insertion circuit 31 are orthogonally transformed by the orthogonal transformation circuit 12 at the subsequent stage, and are transformed into coefficient data blocks. The coefficient data block is re-quantized by a re-quantization processing circuit 13 at the subsequent stage, and the amount of data compression is adjusted.
[0057]
At this time, the data block (video information) from the blocking circuit 11 is distorted by the requantization process, but the control data block DcB from the control information insertion circuit 31 is not subjected to quantization distortion. Since it is composed of a data string, it does not suffer from distortion in the requantization process, and the data content is not destroyed.
[0058]
Next, the predetermined rule will be described. This rule includes a case where no distortion is caused by using a DC coefficient and a case where distortion is not caused by using an AC coefficient.
[0059]
First, the rules common to the use of DC coefficients and the use of AC coefficients are that the word length in the space plane of input data is Lin, the word length of the coefficient plane for satisfying input data = data after restoration is Lcoef, and When the effective word length at the time of performing requantization by the quantization step is Lq, the word length at the requantization step level is Lg, and when the word length (Lin + Lg) is the same as the word length Lcoef, the effective word length of the coefficient data is obtained. The value in the word length is Xn ', and the relational expression [X]_LIs defined as a value in the word length L from the most significant bit in the coefficient plane, the input data Xn is set to satisfy the following relational expression.
[X_n]_Lin= [X_n’· 2^(Lcoef-Lq)]_Lin
[0060]
Then, in the above rule, data processing when a DC coefficient is used is as follows.
[0061]
First, it can be understood from the above relational expression that the content of the input data at the input word length Lin matches the content of the input word length Lin of the coefficient data after the orthogonal transformation. Then, it shows that the contents of the data for the word length other than the input word length Lin of the coefficient data are all 0. That is, the word length (Lcoef-Lq) is all zero. In this case, the word length (Lcoef-Lq) indicates the word length Lg of the requantization step used in the requantization process, and the coefficient data is re-quantized in the requantization process. Even if the division is performed, the coefficient data is rounded as a quantization level (integer value) as it is, and distortion due to requantization does not occur.
[0062]
For this reason, even if the data block created according to the predetermined rule is inserted as the control information DcB in the vertical blanking period of the video data Dv, it is affected by the quantization distortion in the subsequent requantization processing. It will not be. This is because when the compressed video data dv transmitted through the communication path or the compressed video data dv stored in the recording medium T is decoded and restored to the original video data Dv, data destruction (waveform distortion) based on quantization distortion occurs. Does not occur, which means that the control information Dc in which the data content is held as it is can be extracted from the restored video data Dv.
[0063]
Next, in the above rule, data processing when an AC coefficient is used is as follows.
[0064]
Since the coefficient data after the orthogonal transformation, especially the data below the quantization position, is not always 0, in this case, there is a distortion due to the quantization. Therefore, the maximum value of the quantization distortion is doubled every time the orthogonal transform is performed. Therefore, the number of effective bits (the number of bits that are not subject to distortion) in the output after the inverse orthogonal transform is greater than when the DC coefficient is used. However, if the worst value of the requantization step is known, the number of bits on the coefficient that can be used for data transmission can be known, and at the same time, the number of bits effective in output can be determined. Therefore, data transmission of information using the effective number of bits becomes possible.
[0065]
Further, as the above-mentioned predetermined rule, when the word length in the coefficient plane of the maximum requantization step is Lg, a combination in which the result when all the input data in the control data block DcB are added is Lg times is used. This is effective when the DC coefficient is used, particularly when the word length obtained by adding the input word length Lin and the word length Lg is larger than the word length Lcoef.
[0066]
That is, when the word length obtained by adding the input word length Lin and the word length Lg is larger than the word length Lcoef, the lower bit portion of the coefficient data is normally divided in the requantization step, and the quantization distortion is reduced. Will occur.
[0067]
However, if the result of adding all the input data in the control data block DcB is a combination that becomes Lg times, 0 is inserted into the lower bit of the coefficient data, and the data is simulated again. The word lengths Lg of the quantization steps are zero. As a result, even if the coefficient data is divided by the requantization step level in the requantization processing, the coefficient data is rounded as a quantization level (integer value) without any distortion due to the requantization. Become.
[0068]
As the predetermined rule, when the word length in the coefficient plane of the maximum requantization step level is Lg, a combination in which the value after orthogonally transforming each input data in the control data block DcB becomes Lg times. Is effective when the AC coefficient is used, particularly when the word length obtained by adding the input word length Lin and the word length Lg is larger than the word length Lcoef.
[0069]
When the control data block DcB created according to the above rule is orthogonally transformed, a carry occurs in the coefficient data, which is effective in the following cases. That is, when the word length Lg of the maximum requantization step is larger than the input word length Lin, the word length obtained by adding the input word length Lin and the word length Lg is usually larger than the word length Lcoef. In this case, usually, the lower bit portion of the coefficient data is divided in the requantization step, thereby causing quantization distortion.
[0070]
However, in the case of the control data block DcB according to the above rule, a carry occurs in the coefficient data. Therefore, even if the coefficient data is divided by this requantization step in the requantization process, the coefficient data is not quantized. It is rounded as a level (integer value), and no distortion due to requantization occurs.
[0071]
On the other hand, the data decompression processing circuit 22 in the decoding processing device 2 performs an entropy decoding process on the compressed video data dv to obtain a quantization level, and a quantization level from the entropy decoding circuit 26. Inversely, an inverse quantization circuit 27 that performs an inverse quantization process to obtain a coefficient data block, and an inverse orthogonal transform circuit 28 that inversely orthogonally transforms the coefficient data block from the inverse quantization circuit 27 and converts it into a video data block And a deblocking circuit 29 for unblocking the video data block from the inverse orthogonal transform circuit 28 and restoring the video data into video data. When the connection is made between the circuit 29 and the circuit 29, the following operation is performed.
[0072]
First, the encoded video data dv transmitted and stored is decoded by the entropy decoding circuit 26 by the encoding processing device 1 and is converted into a quantization level. Thereafter, the inverse quantization circuit 27 performs an inverse quantization process on the quantization level to obtain a coefficient data block. This coefficient data block is subjected to inverse orthogonal transformation by a subsequent inverse orthogonal transformation circuit 28 to be converted into a video data block.
[0073]
Thereafter, normally, the video data block is unblocked by the subsequent deblocking circuit 29. In the present invention, however, the video data block from the inverse orthogonal transform circuit 28, particularly during the vertical blanking period, is used. The control data extraction circuit 41 extracts the control data block DcB inserted in the corresponding part.
[0074]
In this case, the control information DcB inserted in the portion corresponding to the vertical blanking period is constituted by a data string that is not affected by quantization distortion by the control information insertion circuit 31 in the encoding processing device 1. Therefore, the quantization distortion does not accumulate each time the arithmetic processing for executing the inverse orthogonal transform in the inverse orthogonal transform circuit 28 is performed, and the data content in the inserted state is maintained as it is. Will be extracted.
[0075]
Next, the control information extraction circuit 41 has a conversion table in which a large number of data blocks created based on the predetermined rule are registered in an array corresponding to the contents of the control data Dc. When the control data conversion circuit 43 for selecting and outputting the control data Dc corresponding to the decoded control data block DcB among a large number of control data Dc is provided, the following operation is performed.
[0076]
First, a video data block after the inverse orthogonal transform is output from the inverse orthogonal transform circuit 28. At this time, the data block (control information) DcB inserted in a portion corresponding to the vertical blanking period is output. , Through the control information extraction circuit 41.
[0077]
The operation of the control information extraction circuit 41 at this time will be described. First, in the control data conversion circuit 43, the control data Dc corresponding to the extracted data block DcB among the many data blocks arrayed and registered in the conversion table is described. Is selected. Many data blocks arrayed and registered in the conversion table are created in accordance with the above-described predetermined rule so as to be constituted by a data string which is not affected by quantization distortion. Then, the control data conversion circuit 43 in the control information extraction circuit 41 outputs the control data Dc corresponding to the data block DcB. The control data Dc is the same as the content of the control data Dc input to the control information insertion circuit 31 in the encoding processing device 1 or a data content related thereto.
[0078]
As described above, the control information DcB inserted in the vertical blanking period in the encoding processing device 1 is taken out by the decoding processing device as it is without being damaged.
[0079]
【Example】
Hereinafter, an embodiment in which a signal processing system according to the present invention is applied to a digital VTR of an image compression system (hereinafter, simply referred to as a VTR according to the embodiment) will be described with reference to FIGS.
[0080]
As shown in FIGS. 1 and 2, the VTR according to this embodiment includes an analog component video signal (Y, RY, BY: hereinafter simply referred to as a video signal) input via an analog signal input terminal φin1. The digital component video data (hereinafter simply referred to as video data) Dv after digitally converting Sv or the video data Dv directly input to the digital signal input terminal φin2 is subjected to image compression as compressed video data dv. The recording system 1 for recording on the magnetic tape T, which is a recording medium, and the compressed video data dv recorded on the magnetic tape T are reproduced, and the reproduced compressed video data dv is subjected to data expansion processing (error correction and data decoding). And outputs the reproduced video data Dv directly to the digital signal output terminal φout2. There is constituted and a reproducing system 2 is outputted from the analog signal output terminal φout1 further restore the reproduced video data Dv into the original video signal Sv into analog.
[0081]
The recording system 1 includes an A / D converter 3 which converts a video signal Sv input via an analog signal input terminal φin1 and a switching circuit SW into 10-bit video data Dv as shown in FIG. A data compression processing circuit 4 for compressing the video data Dv output from the A / D converter 3 or the video data Dv input via the digital signal input terminal φin2 and the switching circuit SW; And a recording magnetic head 5 for magnetically recording the compressed video data Dv output from the circuit 4 on the magnetic tape T.
[0082]
The data compression processing circuit 4 converts the video data Dv from the A / D converter 3 into four blocks in the horizontal direction and four lines in the vertical direction (hereinafter referred to as 4 × 4 units) using a field memory or a frame memory as one block. And an FDCT circuit 12 that performs discrete cosine transform of the data of 4 × 4 units collected by the blocking circuit 11, and requantizes the coefficient data output from the FDCT circuit 12. A re-quantization circuit 13, a variable-length encoder (VLC) 14 for performing variable-length encoding on the quantization level from the re-quantization circuit 13 and compressing the data, and applying an ECC to the variable-length encoded data from the VLC 14. (Error Correction Code), and block the data into a product code configuration. An ECC encoder 15 for adding an outer parity code and an inner parity code to the data, and is configured of data in which each parity code is added and a channel encoder 16 which converts the serial data.
[0083]
The recording system 1 detects the information amount after the FDCT transformation, further receives the data amount after the variable-length coding, and sets the quantization parameter (the quantization step level in the quantization table in the quantization table) in the requantization circuit 13. ) Is connected to the information amount control circuit 17 for adjusting the information amount. The information amount control circuit 17 adjusts the data amount after variable length coding.
[0084]
The blocking circuit 11 blocks video data held in a frame memory (not shown) into 4 × 4 units based on a timing signal from the timing generation circuit 18. The timing signal used for the blocking is generated by the timing generation circuit 18 based on the input timing of the video data (for example, a horizontal synchronization signal or a vertical synchronization signal).
[0085]
The recording system 1 further includes an amplifier (not shown) for amplifying serial data output from the channel encoder 17 at a stage subsequent to the data compression processing circuit 4, and a magnetic tape for amplifying the serial data from the amplifier. T has a recording magnetic head 5 for magnetically recording, for example, by a helical scan method.
[0086]
On the other hand, as shown in FIG. 2, the reproduction system 2 reproduces the compressed video data dv magnetically recorded on the magnetic tape T and reproduces it as serial data. An amplifier (not shown) for amplifying serial data, and video data before compression processing by performing data decompression processing (error correction and data decoding) on the amplified serial data from the amplifier, ie, reproduced video data A data decompression processing circuit 22 for converting the data to Dv, and a D / A conversion for converting the 10-bit reproduced video data Dv from the data decompression processing circuit 22 to an original video signal (that is, a reproduced video signal) Sv. And a container 23. The reproduced video signal Sv from the D / A converter 23 is taken out from the output terminal φout1. The 10-bit reproduced video data Dv from the data decompression processing circuit 22 is directly taken out from the digital signal output terminal φout2.
[0087]
The data decompression processing circuit 22 detects a serial data (compressed video data) dv from the amplifier and performs a serial / parallel conversion on the data, and an inner parity code added to the parallel data from the channel decoder 24. And an ECC decoder 25 that performs error correction based on the outer parity code and further decomposes the error-corrected data into word units of a variable-length code. (VLD) 26 for performing quantization, an inverse quantizer 27 for inversely quantizing the quantization level from the VLD 26 to obtain coefficient data, and an inverse discrete cosine transform of the coefficient data from the inverse quantizer 27 Discrete cosine transform circuit (IDCT) Path) 28 and a deblocking circuit 29 that performs deshuffling, data interpolation, and the like on the data in 4 × 4 units from the IDCT circuit 28 to convert the data into reproduced video data (digital component video data) Dv. It is configured.
[0088]
The VTR according to this embodiment is configured between the blocking circuit 11 and the FDCT circuit 12 in the recording system 1 by 4 × 4 data blocks for a data block group output from the blocking circuit 11. A control data block insertion circuit 31 for inserting the control data block DcB is inserted and connected, and between the IDCT circuit 28 and the deblocking circuit 29 in the reproduction system 2, a 4 × 4 data block group output from the IDCT circuit 28 is output. A control data block extraction circuit 41 for extracting a control data block DcB composed of unit data blocks is inserted and connected.
[0089]
The control data block insertion circuit 31 in the recording system 1 includes an input terminal φ1 to which control data Dc from the outside is input, a memory 32 for holding the control data Dc supplied to the input terminal φ1 for a predetermined period, 32, a data block conversion circuit 33 that outputs a control data block DcB corresponding to the content of the control data Dc read from the block 32, and is inserted and connected between the signal lines of the blocking circuit 11 and the FDCT circuit 12; Is provided with an insertion circuit 34 for supplying the control data block DcB from the control line to the signal line.
[0090]
The memory 32 sequentially holds the control data Dc supplied to the input terminal φ1, and sequentially outputs the held control data Dc to the subsequent data block conversion circuit 33 based on the read clock from the timing generation circuit 18. I do. The read clock from the timing generation circuit 18 is output at the timing when an effective horizontal scanning line (recording line) recorded on the magnetic tape T appears during the vertical blanking period.
[0091]
Specifically, when a field memory is used for the blocking process in the blocking circuit 11, for example, in a 625 system, as shown in FIG. 3A and FIG. , 7, 8, 9..., And 320, 321, 322. In the case of the 525 system, as shown in FIG. 3B, FIG. 4 and FIG. 6, the recording lines in the vertical blanking period are 10, 11, 12,. Are 273, 274, 275,.
[0092]
In addition, since one control data Dc is converted into a control data block DcB of 4 × 4 units, the first output of the read clock is, in the case of the 625 system, first in an odd field in FIG. As shown in (1), one clock is output on the seventh line, and thereafter, one clock is output every time four pixels are read out until the end of the seventh line.
[0093]
After the end of the seventh line, one clock is output on the eleventh line, and thereafter, one clock is output every time four pixels are read out until the end of the eleventh line.
[0094]
As described above, by controlling the output timing of the read clock, the first input control data Dc is converted into the corresponding 4 × 4 data block by the data block conversion circuit 33, and The converted data block is inserted as a 4 × 4 control data block DcB in which the first four pixels on the seventh line are in the horizontal direction and the four pixels from the seventh to tenth lines are in the vertical direction. .
[0095]
Then, the control data Dc input second is converted into the corresponding data block in the same manner as described above, and 5 to 8 pixels on the seventh line are set in the horizontal direction, and the control data Dc on the seventh to tenth lines is set. It is inserted as a 4 × 4 control data block DcB having four pixels in the vertical direction. Similarly, the third and subsequent control data Dc are sequentially converted into corresponding 4 × 4 data blocks and inserted as predetermined control data blocks DcB of the recording line in the vertical blanking period.
[0096]
After the insertion of the control data block DcB with the seventh line as the first line is completed, the control data block DcB with the eleventh line as the first line is sequentially inserted according to the supply of the control data Dc. Similarly, after the insertion of the control data block DcB in which the line is the first row is completed, the control data block DcB is inserted every four lines sequentially.
[0097]
On the other hand, in the even field, one clock is output on the 320th line, and thereafter, one clock is output every four pixels read out until the 320th line is completed.
[0098]
After the completion of the 320th line, one clock is output next to the 324th line, and similarly, one clock is output every time four pixels are read out until the completion of the 324th line.
[0099]
As described above, by controlling the output timing of the read clock, the first input control data is converted into the corresponding 4 × 4 data block by the data block conversion circuit 33, and the data is converted by the insertion circuit 34 at the subsequent stage. The converted data block is inserted as a 4 × 4 control data block DcB having the first four pixels on the 320th line in the horizontal direction and the four pixels from the 320th line to the 323rd line in the vertical direction.
[0100]
Then, the control data Dc input second is converted into a corresponding data block in the same manner as described above, and 5 to 8 pixels on the 320th line are set in the horizontal direction. It is inserted as a 4 × 4 control data block DcB having four pixels in the vertical direction. Similarly, the third and subsequent control data are sequentially converted into corresponding 4 × 4 data blocks and inserted as predetermined control data blocks DcB of the recording line in the vertical blanking period.
[0101]
After the insertion of the control data block DcB with the 320th line as the first line is completed, the control data block DcB with the 324nd line as the first line is sequentially inserted according to the supply of the control data. Similarly, after the insertion of the control data block DcB in which the line is the first row is completed, the control data block DcB is inserted every four lines sequentially.
[0102]
As shown in FIG. 6, the 525 system is the same as the 625 system except that the odd field starts from line 10 and the even field starts from line 273.
[0103]
When a frame memory is used in the blocking process in the blocking circuit 11, as shown in FIG. 7, all the pixel data of the odd field and the pixel data of the even field are developed in the frame memory. Outputs one clock for the tenth line, and thereafter outputs one clock for every four pixels read out until the tenth line is completed.
[0104]
After the end of the tenth line, one clock is output on the twelfth line, and thereafter, one clock is output every time four pixels are read out until the end of the twelfth line.
[0105]
As described above, by controlling the output timing of the read clock, the first input control data Dc is converted into the corresponding 4 × 4 data block by the data block conversion circuit 33, and The converted data block is inserted as a 4 × 4 control data block DcB with the first four pixels on the tenth line in the horizontal direction and four pixels on the 10, 273, 11 and 274 lines in the vertical direction. .
[0106]
Then, the control data Dc input second is converted into a corresponding data block in the same manner as described above, and 5 to 8 pixels on the 10th line are set in the horizontal direction, and the control data Dc on the 10, 273, 11 and 274 lines is set. It is inserted as a 4 × 4 control data block DcB having four pixels in the vertical direction. Similarly, the third and subsequent control data Dc are sequentially converted into corresponding 4 × 4 data blocks and inserted as predetermined control data blocks DcB of the recording line in the vertical blanking period.
[0107]
After the insertion of the control data block DcB with the tenth line as the first row is completed, the control data blocks DcB with the twelfth line as the first row are sequentially inserted according to the supply of the control data Dc. Similarly, after the insertion of the control data block DcB having the line as the first row is completed, the control data blocks are inserted one by one every four lines.
[0108]
The above example shows an example in which the data block is converted into a data block of 4 × 4 units. However, the data may be converted into a control data block DcB of 8 × 8 units. The control data block DcB in units of 8 × 8 is the same as the above example except that it is inserted as a control data block in units of 8 × 8 in the above example, so that illustration and description thereof are omitted.
[0109]
On the other hand, the control data block extraction circuit 41 in the reproduction system 2 is inserted and connected between the signal lines of the IDCT circuit 28 and the deblocking circuit 29, and of the data block group from the IDCT circuit 28, the control data block in the vertical blanking period. An extraction circuit 42 for extracting DcB, a data conversion circuit for outputting control data Dc corresponding to the content of the control data block DcB from the extraction circuit 42, and holding the control data Dc from the data conversion circuit 42 for a predetermined period. And a memory 44. The control data Dc read from the memory 44 is taken out in series through the output terminal φ2.
[0110]
The timing of reading the control data Dc from the memory 44 is performed based on the input of the read clock from the timing generator 45. The read clock is created based on the output timing of the video data output from the deblocking circuit 29 (for example, a horizontal synchronization signal or a vertical synchronization signal).
[0111]
The data conversion circuit 43 has a memory (not shown) in which a conversion table is stored. This conversion table has substantially the same configuration as the variable table in the data block conversion circuit 33 of the recording system 1, and is configured by arranging a large number of control data blocks DcB corresponding to the data values of the control data Dc. I have.
[0112]
When the control data block DcB is converted into control data Dc by the data conversion circuit 43, the control data block DcB supplied from the extraction circuit 42 is converted from a large number of control data blocks DcB registered in the conversion table. Is searched for, and the value of the search parameter at the time of completion of the search is output as control data Dc.
[0113]
The control data Dc from the data conversion circuit 43 is temporarily stored in the memory 44, and is taken out from the output terminal φ2 when the corresponding recording line is reproduced during the vertical blanking period.
[0114]
Here, the contents of the control data block DcB arrayed and registered in the conversion table will be described below.
[0115]
As the control data block DcB arrayed and registered in the conversion table, a data string that is not affected by quantization distortion generated in the requantization processing of the recording system 1 is selected. This data string is created according to the following rules.
[0116]
(Rule 1)
The word length in the space plane of the input data (sample) constituting the control data block DcB is Lin, the word length of the coefficient plane for satisfying the input data = restored data is Lcoef, and the requantization by the requantization step is performed. When the effective word length at the time of performing is Lq, the word length of the requantization step is Lg, and when the word length (Lin + Lg) is the same as the word length Lcoef, the value of the coefficient data in the effective word length Lq is Xn ′. , Relational expression [X]_LIs defined as a value in the word length L from the most significant bit in the coefficient plane, the input data Xn has the following relationship.
[0117]
[X_n]_Lin= [X_n’· 2^(Lcoef-Lq)]_Lin
[0118]
(Rule 2)
When the word length in the coefficient plane of the maximum requantization step is Lg, the combination is such that the result of adding all the input data in the control data block DcB is Lg times.
[0119]
(Rule 3)
Assuming that the word length of the largest requantization step in the coefficient plane is Lg, each input data in the control data block DcB is set to a combination in which the value after the FDCT transform is Lg times.
[0120]
First, rule 1 will be described in detail. The digital VTR uses, for example, 40 blocks as equal length units. In this case, the video data Dv becomes an entire distortion due to the requantization and is affected by the requantization. Therefore, although the video itself is not lost, if, for example, control data Dc different from the video data Dv is simply added to the video data Dv, the added control data Dc has significance in the data bit itself. Due to the distortion caused by the requantization, all the contents are lost. Therefore, in the worst case, even one bit of the control data Dc cannot be transmitted as it is.
[0121]
However, in a digital VTR, particularly in a bit rate reduction using an orthogonal transform such as the FDCT transform, a DC coefficient is specially treated, and only the AC coefficient is in the above-described condition. This is because the DC coefficient contains a lot of redundancy, but it is hardly included in the DC coefficient despite important information. As a special treatment method, it is general to give an upper limit to the quantization of the DC coefficient. For example, quantization is not performed for 10 bits or less. Considering that the upper limit of the quantization step of the AC coefficient is, for example, 4 bits, which is much larger than that of the DC coefficient, it can be regarded as special treatment. Depending on the system, the upper limit may not be set.
[0122]
Further, since the DC coefficient has no bias in the statistical distribution, variable length coding is not applied. This is because variable-length coding is a technique for reducing redundancy by using a statistical distribution bias. Therefore, the DC coefficient is handled as fixed-length data. The fixed length means that the variable length code is not replaced by a variable length table. This is why the quantization of the DC coefficients is only due to the bit shift. As described above, the fact that the quantization is based only on the bit shift and the fact that the multiplication is not included in the generation process of the DC coefficient itself has a great significance in utilizing the DC coefficient.
[0123]
From this, when the word length of the DC coefficient is fixed to 10 bits, the DC 10 bits can be used for data transmission. Specifically, when the code bit is not set, the value 0 to 1024 can be transmitted as the control data Dc, and when the code bit is set, the value −511 to 0 to +511 can be transmitted. .
[0124]
As for the handling of DC coefficients, as shown in FIG. 8, DC coefficients are fixed-length coded, and AC coefficients are variable-length coded. In this case, the total amount of the AC coefficient is adjusted by requantization, and further data compression is realized. At this time, the AC coefficient is distorted by the requantization, but the DC coefficient does not change.
[0125]
From this, it can be seen that it is effective to use DC coefficients when transmitting additional data such as control data different from video data. In order to use the DC coefficient, all input data (samples) in the same transform block on the space plane are set to the same value. As shown in FIG. 9, one DC coefficient can be used for 16 4 × 4 samples. In other words, 16 bits can transmit 10-bit data. Also, assuming an input of 8 bits, the transmission is 8 bits.
[0126]
In a case where the video signal is 8-bit video data, a simple calculation of how much control data can be inserted during the vertical blanking period is as follows.
[0127]
8 bits in 16 samples
16 bits because Y and C have the same number of blocks
-Number of blocks in four lines = 720 x 4/16

[0128]
By the way, when the DC coefficient is used, all 16 samples forming the data block inserted during the vertical blanking period must have the same value, for the following reason.
[0129]
So far, DC coefficients have been treated as fixed-length codes, but in practice, DC coefficients have also been requantized. However, since the upper limit is set for the requantization step so that the DC coefficient is not reduced to 10 bits or less by requantization, and the DC coefficient is used without being subjected to variable length coding, it is described as a fixed length code. It has been. Therefore, when using DC coefficients, the above-mentioned condition, that is, the condition that "all 16 samples constituting a data block must have the same value" is required in order not to be affected by the requantization distortion.
[0130]
Here, for simplicity, a case will be described in which all input data (samples) in the same block on the space plane take the same value. Now, for example, it is assumed that the DC coefficient is obtained by five calculations, and the dynamic range is doubled by each calculation. FIG. 10 shows an example in which the upper limit of the quantization of the DC coefficient is 8 bits.
[0131]
Under the above premise, since the value is doubled every time the operation is performed, the lower bits are filled with 0. Then, as a result of the operation by the orthogonal transformation, if the zeros are filled up to the quantization position, that is, if the word length of the quantization step is clogged with zeros, the distortion due to the subsequent requantization does not occur.
[0132]
As a result, in the calculation by the IDCT circuit in the reproducing system, the accumulation of the quantization distortion does not occur, and the input data (sample) is stored.
[0133]
On the other hand, the case where the AC coefficient is used will be described with reference to FIG. 11. In this case, since the quantization is not a bit shift operation, the coefficient data after the FDCT transformation, in particular, all the data below the quantization position become 0. Not exclusively. Therefore, distortion is caused by the quantization, and the maximum value of the quantization distortion is doubled every time the IDCT transform operation is performed. In the example of FIG. 11, the upper three bits can be finally used. Therefore, when the AC coefficient is used, if the worst value of the requantization step is known, the number of bits on the coefficient that can be used for data transmission can be known, and at the same time, the number of bits valid for output can be determined. As a result, data transmission of information using the effective number of bits becomes possible.
[0134]
Thus, it can be understood from the above relational expression that the content of the input data Xn at the input word length Lin matches the content Xn 'of the input word length of the coefficient data after the orthogonal transformation. When the DC coefficient is used, it indicates that the contents of the data for the word length other than the input word length of the coefficient data are all 0. That is, the word length (Lcoef-Lq) is all zero. In this case, the word length (Lcoef-Lq) indicates the word length of the requantization step used in the requantization processing, and the coefficient data is divided by the requantization step in the requantization processing. Even if this is done, the coefficient data for the input word length is rounded as a quantization level (integer value), and no distortion due to requantization occurs.
[0135]
When the AC coefficient is used, although a certain degree of distortion is received, since the distortion is lower than the required output accuracy, even if the coefficient data is divided by this requantization step in the subsequent requantization processing, The coefficient data for the input word length is rounded as a quantization level (integer value) as it is, so that distortion due to requantization does not occur.
[0136]
Therefore, in the case where the DC coefficient is used and the case where the AC coefficient is used, even if the data block created according to the above rule 1 is inserted as the control data block DcB in the vertical blanking period of the video data, It is not affected by the quantization distortion in the requantization process. This means that when the compressed video data dv recorded on the magnetic tape T is decoded and restored to the original video data Dv, no destruction (waveform distortion) of the control data block DcB based on the quantization distortion occurs. That is, the control data Dc in which the data content is held as it is can be extracted from the restored video data Dv.
[0137]
Next, rule 2 will be described in detail. This rule 2 is effective when the DC coefficient is used and the word length obtained by adding the input word length Lin and the word length Lg is larger than the word length Lcoef.
[0138]
Specifically, first, a disadvantage when the word length obtained by adding the input word length Lin and the word length Lg is larger than the word length Lcoef will be described with reference to FIGS.
[0139]
As a premise, it is assumed that, as shown in FIG. 12A, at the stage where the DC coefficient is obtained by the FDCT transform, 0 is filled in the lower 5 bits of the DC coefficient. Then, when the quantization position in this case is in the lower 7th bit, that is, when the word length of the quantization step is 7 bits, in the subsequent requantization processing, the DC coefficient is re-quantized in the requantization step. In the case of division, the lower 2 bits of the effective word length in the DC coefficient are divided, thereby causing quantization distortion.
[0140]
In this case, in the IDCT transform of the reproducing system, the distortion due to the requantization is sequentially accumulated as shown by the hatched portion in FIG. 12A, and there is a problem that information cannot be transmitted efficiently. In this example, only one bit can be sent, which is not practical.
[0141]
Therefore, in this rule 2, when the word length of the requantization step is Lg, the combination obtained by adding all 16 samples in the transform block is Lg times.
[0142]
As one method for easily realizing this combination, there is a method of inserting a predetermined number of digits into a sample. This method is a method of artificially satisfying Rule 1 by inserting zeros into a sample by a predetermined number of digits. The predetermined number of digits can be obtained by the word length (Lin + Lg) −the word length Lcoef.
[0143]
According to this method, for example, when the predetermined number of digits is 2, as shown in FIG. 12 (b), the input data becomes data in which 0 is inserted in the lower two bits in advance, and the subsequent FDCT transform (five times) As a result, the lower 7 bits of the DC coefficient data are all filled with 0. That is, zeros are filled up to the quantization position, and no distortion is caused by the subsequent requantization.
[0144]
As described above, if the result of adding all the input data in the control data block DcB is a combination that becomes 2Lg times, 0 is inserted in the lower bit of the coefficient data, and the pseudo data is inserted. Are equal to the word length 0 of the requantization step level. As a result, even if the coefficient data is divided in this requantization step in the requantization process, the coefficient data is rounded as a quantization level (integer value) as it is, and no distortion due to requantization occurs. .
[0145]
Next, rule 3 will be described in detail. This rule 3 is effective when the AC coefficient is used, particularly when the word length Lg of the maximum quantization step is one digit larger than the word length Lin of the input data.
[0146]
Specifically, when the word length Lg of the maximum quantization step is one digit larger than the word length Lin of the input data, if the coefficient data is divided by the maximum quantization step and re-quantized, Distortion due to quantization will occur. Therefore, by selecting a combination of input data (samples) that carries over the requantization step on the coefficient plane using the basis of the transform function, the condition of Rule 1 is satisfied as a result. .
[0147]
The basis of the FDCT transform function for the 4 × 4 data block is expressed by the following determinant.
[0148]
(Equation 5)

[0149]
Hereinafter, a procedure for creating a combination that satisfies Rule 3 will be described. As a premise, for the sake of simplicity, the effective word length Lq of the coefficient data is 4 bits and the word length Lg of the worst case requantization step is 8 bits as shown in FIG. (Not shown). In this case, the breakdown of the four bits is -4, -3, -2, -1, 0, 1, 2, 3, 4. The word length Lin of each input data (sample) of the control data block is 10 bits, and the word length Lcoef of each coefficient data of the coefficient data block is 12 bits.
[0150]
Of the 4-bit breakdown, 4 and -4 are DC coefficients created when the entire transform is gathered at one location, and consequently, combinations of brute force coefficients of -3 to 3 (No. 1) and inversely transformed (IDCT transformed) as shown in FIG. Of course, a first combination including the above 4 and -4 may be made.
[0151]
Then, from the first combinations, a combination which is a combination of -1, 0, 1 (the data value is -256, 0, +256) in the space plane is selected (second combination). After that, the second combination is subjected to FDCT transformation, and a combination in which the obtained combination on the coefficient plane is exactly the same as the first combination is selected (third combination). The result obtained by performing the IDCT conversion on the third combination is a combination of input data (samples) that satisfies Rule 3.
[0152]
Examples of specific combinations are shown in FIGS. Since there are 529 sets, information of about 9 bits can be allocated as the control data Dc. That is, when the sign bit is not set, for example, 0 to 528 can be used as the value of the control data Dc, and when the sign bit is set, for example, −264 to 0 to 263 can be used.
[0153]
If a data block based on the above combination is used as the control data block DcB, a carry occurs in the FDCT transform.
[0154]
According to the control data block DcB according to the above rule 3, a carry occurs at the time of the FDCT transform. Therefore, even when the word length Lg of the maximum requantization step is larger than the input word length Lin, a certain amount is obtained. Although the distortion is received, the distortion is lower than the required output precision. Therefore, even if the coefficient data is divided by this requantization step in the subsequent requantization processing, the coefficient data is kept at the quantization level (integer value). Therefore, distortion due to requantization does not occur.
[0155]
Next, the operation of the reproduction system 2 will be briefly described. First, the compressed video data dv recorded on the magnetic tape T by the recording system 1 is reproduced by the reproducing magnetic head 21, and then decoded by the VLD 26 to be converted to a quantization level. Thereafter, the inverse quantization circuit 27 performs an inverse quantization process on the quantization level to obtain a coefficient data block. This coefficient data block is subjected to IDCT conversion by an IDCT circuit 28 at the subsequent stage and is converted into a video data block.
[0156]
Thereafter, normally, the video data block is unblocked by the subsequent deblocking circuit 29. In this embodiment, however, the video data block from the IDCT conversion circuit 28, particularly during the vertical blanking period, is used. The control data block inserted in the corresponding portion is extracted by the extraction circuit 42.
[0157]
In this case, the control data block DcB inserted in the portion corresponding to the vertical blanking period is inserted by the control data block insertion circuit 31 in the recording system 1 as a data string that is not affected by quantization distortion. Therefore, the quantization distortion does not accumulate each time the arithmetic processing for executing the IDCT conversion in the IDCT conversion circuit 28 is performed, and the data content in the inserted state is maintained and extracted. Will be.
[0158]
The control data block DcB extracted by the extraction circuit 42 is supplied to the control data conversion circuit 43, and the control data conversion circuit 43 extracts the control data blocks among the many data blocks registered in the conversion table. Control data Dc corresponding to block DcB is selected. As for a large number of data blocks registered in the conversion table, the same data blocks as the conversion table stored in the memory (not shown) of the control data block conversion circuit 33 in the recording system 1 are registered in the array. That is, the large number of data blocks are created in accordance with the above-described rule 1, rule 2 or rule 3 so as to be constituted by a data string which is not affected by quantization distortion.
[0159]
Then, the control data Dc corresponding to the extracted control data block DcB is output from the data conversion circuit 43 in the control data block extraction circuit 41. The control data Dc is the same as the content of the control data Dc input to the control data block insertion circuit 31 in the recording system 1 or has a data content related thereto.
[0160]
As described above, the control data block DcB inserted in the vertical blanking period in the control data block insertion circuit 31 in the recording system 1 is taken out by the control data block extraction circuit 41 in the reproduction system 2 without being damaged. This is because the control data Dc inserted at the timing of the vertical blanking period in the recording system 1 is not destroyed by the data compression process, and the control system Dc maintains the data content in the reproduction system 2. This is equivalent to being read.
[0161]
As described above, according to the digital VTR according to this embodiment, when performing bit reduction by transform coding, for example, an information signal other than a video signal (such as a control signal) is added during a vertical blanking period, and the digital VTR is left as it is. Even if the information is passed through the conversion encoding process, the content of the information signal is not destroyed. Therefore, in addition to the image information, information other than the image information such as the control signal can be transmitted and stored. Multi-function can be promoted.
[0162]
In the above example, the control data block DcB is inserted at a position corresponding to the vertical blanking period. However, the control data block DcB may be inserted at a position corresponding to the horizontal blanking period.
[0163]
The above example is a digital VTR in which the compressed video data dv created in the recording system 1 is recorded on the magnetic tape T, and the recorded compressed video data dv is reproduced in the reproducing system 2 to restore the original video signal Sv. However, the present invention is also applicable to a data communication device that transmits compressed video data dv through a communication path such as an optical fiber and restores the transmitted compressed video data dv to the original video signal Sv. Can be.
[0164]
In this case, the conversion parameters of the encoding and decoding processes of the ECC encoder 15 that performs the channel coding process and the ECC decoder 25 that performs the channel decoding process are created in accordance with the characteristics of the channel used. Just fine.
[0165]
【The invention's effect】
As described above, according to the signal processing system of the present invention, an invalid image display period (for example, a vertical blanking period or a horizontal blanking period) of video data is provided before the conversion coding process of the data compression processing circuit in the coding processing device. (A ranking period) is connected to a control information insertion circuit that inserts control information composed of a data string that is not subjected to quantization distortion in a portion corresponding to the quantization distortion. Since a control information extraction circuit for extracting the control information is connected at a subsequent stage, in an image system that performs bit reduction by transform coding, for example, an information signal (control signal) other than a video signal during a vertical blanking period is used. Signal, etc.) and pass through the transform encoding process as it is, without destroying the content of the information signal, in addition to the image information. Information other than image information such as the control signal can be transmitted and stored, and in addition to image information that can promote multi-functionality of the image system, information other than image information such as the control signal is transmitted and stored. It is possible to accumulate and promote multi-functionality of the image system.
[0166]
Further, in the signal processing system according to the present invention, in the above configuration, the data compression processing circuit in the encoding processing device includes a blocking circuit that divides the video data into predetermined block units, and a data block from the blocking circuit. An orthogonal transform circuit for orthogonally transforming the data into coefficient data blocks; a requantization processing circuit for performing a requantization process on the coefficient data blocks from the orthogonal transform circuit to obtain a quantization level; An entropy encoding circuit that performs entropy encoding on the quantized data block from the processing circuit to generate compressed video data, and inserts the control information insertion circuit between the blocking circuit and the orthogonal transformation circuit. Because of the connection, the data block (video information) from the blocking circuit is Although the data block is distorted by the processing, the data block (control information) from the control information insertion circuit is composed of a data string that is not subjected to quantization distortion. No data content is destroyed.
[0167]
Therefore, in the compressed video data, the data component related to video information is transmitted and stored in a form that is sufficiently compressed by the re-quantization process and the entropy coding process, but the data component related to control information is a data component. Is transmitted and stored while the contents of the data are maintained.
[0168]
Further, in the signal processing system according to the present invention, in the above-described configuration, the control information insertion circuit may be configured so that a large number of data blocks created based on a predetermined rule are arrayed and registered in correspondence with the contents of the control data. It has a data block conversion circuit for selecting a data block corresponding to the content of the input control data from among the many data blocks in the conversion table and outputting the selected data block as a control data block. The data block (video information) from the blocking circuit is distorted by the subsequent requantization process, but the data block (control information) from the control information insertion circuit is not subjected to quantization distortion. Since it is composed of a data sequence, it is not subject to distortion in the requantization process, and the content of the data is There is no fact that is broken.
[0169]
Further, in the signal processing system according to the present invention, in the above configuration, the data decompression processing circuit in the decoding processing device may perform entropy decoding on the reproduced data from the data reproducing unit to obtain a quantization level. Quantization circuit, an inverse quantization circuit for performing an inverse quantization process on the quantization level from the entropy decoding circuit to obtain a coefficient data block, and an inverse orthogonal transform of the coefficient data block from the inverse quantization circuit And an inverse orthogonal transform circuit for converting the video data into a video data block, and a deblocking circuit for unblocking the video data block from the inverse orthogonal transform circuit and restoring the video data block, to thereby extract the control information. The circuit is inserted and connected between the inverse orthogonal transform circuit and the deblocking circuit. Although the video data block is unblocked by the subsequent deblocking circuit, in the present invention, the video data block from the inverse orthogonal transform circuit, particularly an invalid image display period (for example, a vertical blanking period or a horizontal blanking period) is used. The data block inserted in the portion corresponding to (ranking period) is extracted by the control information extraction circuit. In this case, since the control information insertion circuit in the encoding processing device is configured of a data string that is not affected by the quantization distortion, the inverse orthogonal transform is performed by the inverse orthogonal transform circuit. Therefore, the quantization distortion does not accumulate every time the calculation processing is performed, and the data content in the inserted state is maintained and extracted.
[0170]
Further, in the signal processing system according to the present invention, in the above-described configuration, the control information extraction circuit may be configured so that a plurality of data blocks created based on a predetermined rule are arrayed and registered in correspondence with the contents of the control data. A control data conversion circuit for selecting and outputting control data corresponding to the decoded control data block among the large number of control data in the conversion table. The control data corresponding to the extracted data block is selected from a large number of data blocks registered in the conversion table. In this case, since a large number of data blocks arrayed and registered in the conversion table are created in accordance with the above-described predetermined rule so as to be constituted by a data string that is not affected by quantization distortion, the control information The control data corresponding to the data block is output from the signal conversion circuit in the extraction circuit.
[0171]
In the signal processing system according to the present invention, in the above configuration, the predetermined rule is such that a word length in a space plane of input data is Lin, and a word length of a coefficient plane for satisfying input data = restored data is Lin. Lcoef, the effective word length when requantization is performed by the requantization step is Lq, the word length at the requantization step level is Lg, and when the word length (Lin + Lg) is the same as the word length Lcoef, the coefficient data Let Xn 'be the value of the above effective word length, and the relational expression [X]_LIs defined as a value in the word length L from the most significant bit in the coefficient plane, the input data Xn is expressed by the relational expression [X_n]_Lin= [X_n’· 2^(Lcoef-Lq)]_LinIs satisfied, even if a data block created according to the above predetermined rule is inserted as control information in, for example, a vertical blanking period of video data, even if the data block is generated due to quantization distortion in a re-quantization process thereafter. You will not be affected. This means that when decoding the compressed video data transmitted through the communication path or the compressed video data stored in the recording medium to restore the original video data, data destruction (waveform distortion) based on quantization distortion does not occur. This means that control information in which the data content is held as it is can be extracted from the restored video data.
[0172]
Further, in the signal processing system according to the present invention, in the above configuration, when the predetermined rule is a word length Lg on the coefficient plane of the maximum requantization step level, each input data in the control data block is Since the result of the total addition is set to be a combination that becomes Lg times, especially when the DC coefficient is used, 0 is inserted in the lower bit of the coefficient data, and the pseudo requantization step is performed. The word length 0 of the level is arranged. As a result, even if the coefficient data is divided by the requantization step level in the requantization process, the coefficient data is rounded as it is as a quantization level (integer value), and distortion due to requantization does not occur. Become.
[0173]
In the signal processing system according to the present invention, in the above configuration, when the predetermined rule is a word length Lg on a coefficient plane of a maximum requantization step level, the control data block Is set to be a combination in which the value after orthogonal transformation of each input data in L is multiplied by Lg. In particular, when the AC coefficient is used, a certain amount of distortion is received. Therefore, even if the coefficient data is divided by the re-quantization step level in the subsequent re-quantization processing, the coefficient data is rounded as a quantization level (integer value), and no distortion due to re-quantization occurs. Will be.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a recording system of an embodiment (hereinafter, simply referred to as a VTR according to an embodiment) in which a signal processing system according to the present invention is applied to a digital VTR of an image compression system.
FIG. 2 is a block diagram showing a configuration of a reproduction system of the VTR according to the embodiment.
FIGS. 3A and 3B are timing charts showing recording line input timings during a vertical blanking period of a video signal input to a digital VTR according to the embodiment. FIG. 3A shows a 625 system, and FIG. ) Indicates a 525 system.
FIG. 4 is a timing chart showing input timings of recording lines in odd and even fields during a vertical blanking period of a video signal input to a digital VTR (525 system) according to the present embodiment.
FIG. 5 is a conceptual diagram showing a control data block insertion position in a 625 system (when a field memory is used).
FIG. 6 is a conceptual diagram showing an insertion position of a control data block in a 525 system (when a field memory is used).
FIG. 7 is a conceptual diagram showing a control data block insertion position in a 525 system (when a frame memory is used).
FIG. 8 is a conceptual diagram illustrating total amount adjustment by requantization of an AC coefficient.
FIG. 9 is a conceptual diagram showing an orthogonal transform (FDCT) for 16 samples in a transform block in a space plane.
FIG. 10 shows an addition process until a DC coefficient is obtained by DCT conversion (five operations), and a case where the word tone Lcoef of DC coefficient data after DCT conversion is a combination of the effective word tone Lq and the word tone Lg of the quantization step. 3 is a conceptual diagram showing the effect of Rule 1 of FIG.
FIG. 11 is a conceptual diagram showing inconvenience points when quantization distortion occurs due to requantization.
FIG. 12 is a conceptual diagram showing the effect when the tone Lcoef of DC coefficient data after DCT transformation (five operations) is smaller than the tone of the effective tone Lq and the tone Lg of the quantization step; (A) shows an inconvenience when quantization distortion occurs in requantization, and (b) is a conceptual diagram showing an effect by rule 2.
FIG. 13 is a conceptual diagram showing a procedure for creating a combination of rules 3 in which samples are composed of only −1, 0, 1 (−256, 0, +256).
FIG. 14 is a diagram (part 1) showing an example of a combination of rules 3 in which samples are composed of only −1, 0, 1 (−256, 0, +256).
FIG. 15 is a diagram (No. 2) illustrating an example of a combination of rules 3 in which samples are composed of only −1, 0, 1 (−256, 0, +256).
FIG. 16 is a diagram (part 3) illustrating an example of a combination of rules 3 in which samples are composed of only −1, 0, 1 (−256, 0, +256).
FIG. 17 is a diagram (part 4) illustrating an example of a combination of rules 3 in which samples are composed of only −1, 0, 1 (−256, 0, +256).
FIG. 18 is a diagram (No. 5) illustrating an example of a combination of rules 3 in which samples are composed of only −1, 0, 1 (−256, 0, +256).
FIG. 19 is a conceptual diagram showing an image of an effective word length in DCT-inverse transform (IDCT).
FIG. 20 is a conceptual diagram showing an image of an influence of distortion on an output by a requantization step.
FIG. 21 is a conceptual diagram showing a change in word tone from a DCT transform (calculated five times) to obtain a DC coefficient, to perform an inverse transform after quantization and inverse quantization, and to obtain an output. ) Shows the entire flow, and FIG. 4B shows a disadvantage when quantization distortion occurs due to requantization.
[Explanation of symbols]
1 Recording system
2 Reproduction system
3 A / D converter
4 Data compression processing circuit
5 Magnetic head for recording
11 Blocking circuit
12. FDCT (Discrete Cosine Transform) Circuit
13 Requantization circuit
14 VLC (variable length encoder)
15 ECC encoder
16 channel encoder
17 Information amount control circuit
18 Timing generator
21 Reproduction magnetic head
22 Data decompression processing circuit
23 D / A converter
24 channel decoder
25 ECC decoder
26 VLD (Variable Length Decoder)
27 Inverse quantization circuit
28 IDCT (Inverse Discrete Cosine Transform) Circuit
29 Deblocking circuit
31 Control Data Block Insertion Circuit
32 memories
33 Data Block Conversion Circuit
34 Insertion Circuit
41 Control Data Block Extraction Circuit
42 Extraction circuit
43 Data Conversion Circuit
44 memory
45 Timing generator

Claims (14)

And a data compression processing means for outputting the compressed image data by performing data compression processing including transform coding process for the input digital video data, the coding processing apparatus for transmitting or storing over SL compressed video data In the equipped signal processing system,
In the encoding apparatus, the data compression processing means is disposed at a stage prior to the transform encoding processing, and a portion corresponding to an invalid image display period of video data in the digital video data has a quantization distortion caused by the data compression processing. a signal processing system characterized in that it has a control information insertion means for inserting the control information configured in the unaffected data sequence. The data compression processing means in the encoding processing device, blocking means for dividing the video data into predetermined block units,
Orthogonal transform means for orthogonally transforming the data block from the blocking means and converting it into a coefficient data block,
Re-quantization processing means for performing a re-quantization process on the coefficient data block from the orthogonal transformation means to obtain a quantization level,
Entropy encoding means for performing the entropy encoding processing on the quantization level from the requantization processing means to produce the compressed video data,
2. The signal processing system according to claim 1, wherein said control information insertion means is inserted and connected between said blocking means and said orthogonal transformation means. The control information inserting means has a conversion table in which a number of data blocks created based on a predetermined rule are registered in an array corresponding to the content of the control data. 3. The signal processing system according to claim 2, further comprising a data block conversion unit that selects a data block corresponding to the content of the input control data and outputs the selected data block as a control data block. Via the control information insertion means for inserting the control information consists of data sequence that is not affected by the quantization distortion for data compression in a portion corresponding to disable the image display period of the video data, the input digital video and a data compression processing means for outputting the compressed image data by performing data compression processing including conversion coding on data transmitted or stored by the encoding apparatus for transmitting or storing over SL compressed video data In the signal processing system including a decoding processing device having a data decompression processing unit including a conversion decoding process of restoring the compressed video data to the original video data,
And characterized in that it has the data decompression processing is arranged downstream of the transform decoding processing means, control information extracting means for extracting the control information from the digital video data restored by the data decompression means, including transformation decoding process Signal processing system. The data decompression processing means in the decoding processing device, entropy decoding means for entropy decoding the compressed video data to obtain a quantization level,
Inverse quantization means for performing an inverse quantization process on the quantization level from the entropy decoding means to obtain a coefficient data block;
Inverse orthogonal transform means for inverse orthogonally transforming the coefficient data block from the inverse quantization means and converting it into a video data block,
Deblocking means for unblocking the video data block from the inverse orthogonal transform means and restoring the video data block,
5. The signal processing system according to claim 4, wherein said control information extracting means is inserted and connected between said inverse orthogonal transform means and deblocking means. The control information extracting means has a conversion table in which a number of data blocks created based on a predetermined rule are registered in an array corresponding to the contents of the control data. 6. The signal processing system according to claim 5, further comprising control data conversion means for selecting and outputting control data corresponding to the decoded control data block. The predetermined rule is that the word length of the input data in the space plane is Lin, the word length of the coefficient plane for satisfying the input data = data after restoration is Lcoef, and the requantization by the requantization step is performed. If the effective word length is Lq, the word length at the requantization step level is Lg, and the word length (Lin + Lg) is the same as the word length Lcoef, the value of the coefficient data at the effective word length is Xn ′, and the relational expression [ 7. The signal processing system according to claim 5, wherein when X] _L is defined as a value in a word length L from the most significant bit in the coefficient plane, the input data Xn has the following relationship.
[Xn] _Lin = [Xn '· 2 ^(Lcoef-Lq) ] _Lin The above predetermined rule is that, when the word length in the coefficient plane of the maximum requantization step level is Lg, the result of adding all the input data in the control data block is Lg times. 7. The signal processing system according to claim 3, wherein: The above-mentioned predetermined rule is that, when the word length in the coefficient plane at the maximum requantization step level is Lg, the value obtained by orthogonally transforming each input data in the control data block is Lg times. 7. The signal processing system according to claim 3, wherein: 2. The signal processing system according to claim 1, wherein the invalid image display period is a vertical blanking period. An encoding processing device that performs data compression processing including conversion encoding processing on digital video data and outputs compressed video data,
Conversion means for converting the control information into a data string that is not affected by quantization distortion for the data compression processing,
Insertion means that is arranged before the conversion code processing and inserts the data string into a portion corresponding to an invalid image display period of video data in the digital video data.
An encoding processing device comprising: The compressed video data output by performing the data compression process including the conversion coding process on the digital video data is received, and the portion corresponding to the invalid image display period of the video data is subjected to quantization distortion for the data compression process. In the decoding processing apparatus for decoding the compressed video data in which the control information converted into a data string that is not affected is inserted,
Data expansion processing means for performing data expansion processing including conversion decoding processing on the compressed video data to expand digital video data,
Extraction means arranged at a stage after the conversion decoding processing of the decompression processing means, and extracting a data string from the digital video data,
Conversion means for converting the data string into control information;
A decoding processing device comprising: In an encoding method for outputting compressed video data by performing a data compression process including a conversion encoding process on digital video data,
Convert the control information into a data string that is not affected by quantization distortion for the data compression processing,
Before the conversion code processing is performed on the digital video data, the data sequence is inserted into a portion of the digital video data corresponding to an invalid image display period of video data.
An encoding processing method comprising: The compressed video data output by performing the data compression process including the conversion coding process on the digital video data is received, and the portion corresponding to the invalid image display period of the video data includes a quantization distortion for the data compression process. In the decoding method for decoding the compressed video data in which the control information converted into a data string that is not affected is inserted,
Digital video data is expanded by performing data expansion processing including conversion decoding processing on the compressed video data,
After the conversion decoding process, extract a data string from the digital video data,
Convert the above data string into control information
A decoding processing device characterized by the above-mentioned.

Images