JP3991249B2

JP3991249B2 - 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体

Info

Publication number: JP3991249B2
Application number: JP20009398A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-07-15
Filing date: 1998-07-15
Publication date: 2007-10-17
Anticipated expiration: 2018-07-15
Also published as: EP0973265A2; KR20000011716A; JP2000031831A; CN1162003C; KR100647022B1; EP0973265A3; US6690831B1; CN1243390A

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体に関し、特に、復号のためのオーバヘッドなしで復号可能な符号化データを提供することができるようにする符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、画像や、音声、テキストその他の情報の符号化方法としては、従来より、様々な手法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の符号化方法により得られる符号化データには、基本的に、その復号のために、何らかのオーバヘッドが含まれる。従って、符号化データは、そのオーバヘッドの分だけ、データ量が多くなり、圧縮率が劣化する。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、復号のためのオーバヘッドなしで復号可能な符号化データを提供し、また、オーバヘッドのない符号化データを復号することができるようにするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の符号化装置は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化する符号化手段を備えることを特徴とする。
【０００６】
請求項１１に記載の符号化方法は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化することを特徴とする。
【０００７】
請求項１２に記載の復号装置は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号する復号手段を備えることを特徴とする。
【０００８】
請求項１９に記載の復号方法は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することを特徴とする。
【０００９】
請求項２０に記載の情報処理装置は、符号化装置が、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化し、符号化データを出力する符号化手段を有し、復号装置が、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号する復号手段を有することを特徴とする。
【００１０】
請求項３０に記載の情報処理方法は、符号化装置において、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化して、符号化データを出力し、復号装置において、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することを特徴とする。
【００１１】
請求項３１に記載の記録媒体は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化した符号化データが記録されることを特徴とする。
【００１２】
請求項１に記載の符号化装置においては、符号化手段が、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化するようになされている。
【００１３】
請求項１１に記載の符号化方法においては、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化するようになされている。
【００１４】
請求項１２に記載の復号装置においては、復号手段が、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号するようになされている。
【００１５】
請求項１９に記載の復号方法においては、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号するようになされている。
【００１６】
請求項２０に記載の情報処理装置においては、符号化手段は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化し、符号化データを出力し、復号手段は、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号するようになされている。
【００１７】
請求項３０に記載の情報処理方法においては、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化して、符号化データを出力し、その符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号するようになされている。
【００１８】
請求項３１に記載の記録媒体においては、符号化データを、第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、第１の情報に復号すると共に、復号の操作に応じて第２の情報に復号することができるように、第１の情報を、第２の情報にしたがって第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化した符号化データが記録されるようになされている。
【００１９】
【発明の実施の形態】
図１は、本発明を適用した画像伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２０】
この画像伝送システムは、符号化装置１０および復号装置２０で構成されており、符号化装置１０は、符号化対象としての、例えば、画像（第１の情報）を符号化して符号化データを出力し、復号装置２０は、その符号化データを、元の画像に復号するようになされている。
【００２１】
即ち、画像データベース１は、符号化すべき画像（例えば、ディジタル画像）を記憶している。そして、画像データベース１からは、そこに記憶されている画像が読み出され、埋め込み符号化器３に供給される。
【００２２】
また、付加情報データベース２は、符号化対象の画像に埋め込むべき情報としての付加情報（第２の情報）としてのディジタルデータを記憶している。そして、付加情報データベース２からも、そこに記憶されている付加情報が読み出され、埋め込み符号化器３に供給される。
【００２３】
埋め込み符号化器３（受信手段）（符号化手段）では、画像データベース１からの画像、および付加情報データベース２からの付加情報が受信される。さらに、埋め込み符号化器３は、画像データベース１からの画像が有するエネルギの偏りを利用して復号することができるように、その画像を、付加情報データベース２からの付加情報にしたがって符号化して出力する。即ち、埋め込み符号化器３は、画像が有するエネルギの偏りを利用して復号を行うことができるように、画像に付加情報を埋め込むことで、その画像を符号化し、符号化データを出力する。埋め込み符号化器３が出力する符号化データは、例えば、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体４に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体５を介して伝送され、復号装置２０に提供される。
【００２４】
復号装置２０は、埋め込み復号器６（受信手段）（復号手段）で構成され、そこでは、記録媒体４または伝送媒体５を介して提供される符号化データが受信される。さらに、埋め込み復号器６は、その符号化データを、画像が有するエネルギの偏りを利用して、元の画像および付加情報に復号する。復号された画像は、例えば、図示せぬモニタに供給されて表示される。また、復号された付加情報は、例えば、所定の処理を行うのに用いられる。
【００２５】
次に、図１の埋め込み符号化器３における符号化、および埋め込み復号器６における復号の原理について説明する。
【００２６】
一般に、情報と呼ばれるものは、エネルギ（エントロピー）の偏り（普遍性）を有し、この偏りが、情報（価値ある情報）として認識される。即ち、例えば、ある風景を撮影して得られる画像が、そのような風景の画像であると認識されるのは、画像（画像を構成する各画素の画素値など）が、その風景に対応したエネルギの偏りを有するからであり、エネルギの偏りがない画像は、雑音等にすぎず、情報としての利用価値はない。
【００２７】
従って、価値ある情報に対して、何らかの操作を施し、その情報が有する本来のエネルギの偏りを、いわば破壊した場合でも、その破壊されたエネルギの偏りを元に戻すことで、何らかの操作が施された情報も、元の情報に戻すことができる。即ち、情報を符号化して得られる符号化データは、その情報が有する本来のエネルギの偏りを利用して、元の情報に復号することができる。
【００２８】
ここで、情報が有するエネルギ（の偏り）を表すものとしては、例えば、相関性、連続性、相似性などがある。
【００２９】
情報の相関性とは、その情報の構成要素（例えば、画像であれば、その画像を構成する画素やラインなど）どうしの相関（例えば、自己相関や、ある構成要素と他の構成要素との距離など）を意味する。
【００３０】
即ち、例えば、いま、図２に示すようなＨラインでなる画像があった場合に、その上から１行目のライン（第１ライン）と、他のラインとの相関は、一般に、図３（Ａ）に示すように、第１ラインとの距離が近いライン（図２における画面の上の行のライン）ほど大きくなり、第１ラインとの距離が遠いライン（図２における画面の下の行のライン）ほど小さくなる（第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りがある）。
【００３１】
そこで、いま、図２の画像において、第１ラインから近い第Ｍラインと、第１ラインから遠い第Ｎラインとを入れ替え（１＜Ｍ＜Ｎ≦Ｈ）、その入れ替え後の画像について、第１ラインと、他のラインとの相関を計算すると、それは、例えば、図３（Ｂ）に示すようになる。
【００３２】
即ち、入れ替え後の画像では、第１ラインから近い第Ｍライン（入れ替え前の第Ｎライン）との相関が小さくなり、第１ラインから遠い第Ｎライン（入れ替え前の第Ｍライン）との相関が大きくなる。
【００３３】
従って、図３（Ｂ）では、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りが破壊されている。しかしながら、画像については、一般に、第１ラインから近いほど相関が大きくなり、遠いほど相関が小さくなるという相関の偏りを利用することにより、破壊された相関の偏りを、元に戻すことができる。即ち、図３（Ｂ）において、第１ラインから近い第Ｍラインとの相関が小さく、第１ラインから遠い第Ｎラインとの相関が大きいのは、画像が有する本来の相関の偏りからすれば、明らかに不自然であり（おかしく）、第Ｍラインと第Ｎラインとは入れ替えるべきである。そして、図３（Ｂ）における第Ｍラインと第Ｎラインとを入れ替えることで、図３（Ａ）に示すような相関、即ち、元の画像を復号することができる。
【００３４】
ここで、図２および図３で説明した場合においては、ラインの入れ替えが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、何ライン目を移動するかや、どのラインどうしを入れ替えるかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の画像、即ち、ラインの入れ替えられた画像を、その相関を利用して、ラインを元の位置に入れ替えることにより、元の画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、何ライン目を移動したかや、どのラインどうしを入れ替えたかなどを検出することが、画像に埋め込まれた付加情報を復号することになる。
【００３５】
なお、符号化は、ラインを入れ替える他、例えば、所定の位置にある画素の画素値の、例えば、最上位ビットを、付加情報にしたがって反転することなどによって行うことも可能である。この場合、画素値の最上位ビットを、画素間の相関を利用して元に戻すことが、元の画像を復号することとなり、その復号に際し、どの画素の画素値の最上位ビットが反転していたかを検出することが、付加情報を復号することになる。
【００３６】
次に、連続性についてであるが、例えば、画像のある１ラインについては、一般に、図４（Ａ）に示すような、周波数の変化が連続している（周波数が滑らかに変化する）信号波形が観察される。即ち、１ラインの周波数に注目すると、一般に、その変化の仕方は連続している。
【００３７】
そこで、いま、図４（Ａ）に示した周波数の変化が連続している信号波形の一部を、例えば、図４（Ｂ）に示すように、周波数が極端に低いものに入れ替える。
【００３８】
この場合、周波数の変化が連続しているという連続性が破壊される。しかしながら、信号波形については、一般に、周波数の変化が連続しているという連続性を利用することにより、破壊された連続性を元に戻すことができる。即ち、図４（Ｂ）において、信号波形の一部の周波数が、他の部分の周波数に比較して急激に低くなっているのは、信号波形が有する本来の連続性からすれば、明らかに不自然であり、周波数の極端に低い部分は、他の部分の周波数と同様の周波数の信号波形に入れ替えるべきである。そして、そのような入れ替えを行うことで、図４（Ｂ）に示した信号波形から、図４（Ａ）に示した信号波形、即ち、元の信号波形を復号することができる。
【００３９】
ここで、図４で説明した場合においては、信号波形の一部について、周波数を大きく変化させること（周波数の大きく異なるものに入れ替えること）が、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、信号波形のどの部分の周波数を大きく変化させるのかや、周波数をどの程度大きく変化させるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、大きく異なる周波数を一部に有する信号波形を、その連続性を利用して、元の信号波形に戻すことが、その元の信号波形を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、信号波形のどの部分の周波数が大きく変化していたのかや、周波数がどの程度大きく変化していたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００４０】
次に、相似性についてであるが、例えば、風景を撮影した画像などについては、その拡大画像を、フラクタル（自己相似性）を利用して生成することができることが知られている。即ち、例えば、図５（Ａ）に示すような、海を撮影した画像を、フラクタルを利用して拡大すると、元の画像と同様の特性を有する画像（拡大画像）を得ることができ、従って、風景等を撮影した画像は、相似性を有する。
【００４１】
そこで、いま、図５（Ａ）に示した海を撮影した画像の一部を、例えば、図５（Ｂ）に示すように、森を撮影した画像の一部（図５（Ｂ）において、斜線を付してある部分）に入れ替える。
【００４２】
この場合、図５（Ｂ）において、森を撮影した画像に入れ替えられた部分については、海を撮影した画像の相似性が破壊される。しかしながら、海を撮影した画像については、一般に、その、どの部分を拡大しても、海を撮影した画像と同様の特性を有する画像が得られるという相似性を利用することにより、破壊された相似性を元に戻すことができる。即ち、図５（Ｂ）において、海を撮影した画像の一部が、森を撮影した画像になっているのは、海を撮影した画像が有する本来の相似性からすれば、明らかに不自然であり、森を撮影した画像になっている部分は、その周辺の海の画像と同様の特性を有する画像に入れ替えるべきである。そして、そのような入れ替えを行うことで、図５（Ｂ）に示した画像から、図５（Ａ）に示した海のみの画像、即ち、元の画像を復号することができる。
【００４３】
ここで、図５で説明した場合においては、海の画像の一部を、森の画像に入れ替えることが、画像の符号化を行うこととなる。また、その符号化に際し、埋め込み符号化器３では、例えば、海の画像のどの部分（画面上の位置）を、森の画像に入れ替えるのかなどが、付加情報にしたがって決定されることになる。一方、埋め込み復号器６では、符号化後の信号、即ち、一部に森の画像を有する海の画像を、その相似性を利用して、元の海のみの画像に戻すことが、その元の画像を復号することとなる。さらに、その復号に際し、埋め込み復号器６において、例えば、海の画像のどの部分が、森の画像に入れ替えられていたのかなどを検出することが、埋め込まれた付加情報を復号することになる。
【００４４】
次に、図６を参照して、相似性について、さらに説明する。
【００４５】
いま、例えば、図６（Ａ）に示すようなフラクタル画像を符号化対象として符号化を行うとした場合、埋め込み符号化器３では、付加情報に対応して、フラクタル画像の一部が、そのフラクタル画像とは相似でない画像に入れ替えられることで、フラクタル画像の符号化が行われる。即ち、埋め込み符号化器３では、図６（Ａ）に示した、樹木の葉の形状をしたフラクタル画像の一部が、例えば、図６（Ｂ）に示すように、三角形に入れ替えられる。なお、図６では、図６（Ｂ）においてＤ１およびＤ２で示す部分が三角形になっている。また、埋め込み符号化器３では、例えば、三角形に入れ替えられるフラクタル画像の位置や、フラクタル画像と入れ替える三角形の大きさ、数などが、付加情報にしたがって決定される。
【００４６】
この場合、埋め込み復号器６では、例えば、次のようにして、フラクタル画像と付加情報とが復号される。即ち、例えば、図６（Ｂ）において、点線の四角形で囲んである部分については、三角形との入れ替えを行わないこととしておき、埋め込み復号器６では、その点線の四角形で囲んである部分を、教師画像として、その教師画像と相似でない部分（ここでは、三角形）が検索される。さらに、埋め込み復号器６は、教師画像と相似でない部分である三角形を、教師画像に含まれる、フラクタル画像の基準図形から生成される画像（フラクタル画像）に入れ替え、元のフラクタル画像（図６（Ａ））を復号する。そして、検索された三角形の位置や、大きさ、数などに基づいて、埋め込まれた付加情報を復号する。
【００４７】
なお、上述の場合においては、埋め込み復号器６で、教師画像に含まれる、フラクタル画像の基準図形を検出する必要があるが、これは、例えば、次のようにして行われる。即ち、図６（Ｂ）の画像のうちの、教師画像と、それ以外の部分との相似性、および教師画像の自己相似性に基づいて、図６（Ｂ）の画像を対象に、フラクタル画像の基準図形が検索され、教師画像以外の部分を、最も効率良く表すことができる図形が、基準図形として検出される。
【００４８】
また、ここでは、埋め込み復号器６において、元のフラクタル画像の生成規則が認識されており、その生成規則に基づいて、三角形と入れ替える画像が、基準図形を用いて生成される。即ち、埋め込み復号器６では、三角形と入れ替える画像を生成するための、基準図形の大きさや、位置、回転量などが、生成規則に基づいて特定され、その特定された基準図形の大きさや、位置、回転量などにしたがって、基準図形が操作され、三角形と入れ替える画像（フラクタル画像）が生成される。
【００４９】
以上のように、埋め込み符号化器３において、符号化対象の画像が有するエネルギの偏りを利用して復号を行うことができるように、その画像を、付加情報にしたがって符号化して、符号化データを出力するようにしたので、埋め込み復号器６では、その符号化データを、画像が有するエネルギの偏りを利用することにより、復号のためのオーバヘッドなしで、元の画像および付加情報に復号することができる。
【００５０】
また、符号化対象の画像には、付加情報が埋め込まれることで、その画像は、元の状態と異なる状態とされることから、符号化対象の画像については、オーバヘッドなしの暗号化を実現することができる。
【００５１】
さらに、完全可逆の電子透かしを実現することができる。即ち、従来の電子透かしでは、例えば、画質にあまり影響のない画素値の下位ビットが、電子透かしに対応する値に変更されていたが、この場合、その下位ビットを、元の値に戻すことは行われない。従って、復号画像の画質は、電子透かしとしての下位ビットの変更により、少なからず劣化する。これに対して、符号化データを、元の画像が有するエネルギの偏りを利用して復号する場合には、元の画像および付加情報を得ることができ、従って、付加情報を電子透かしとして用いることで、電子透かしに起因して復号画像の画質が劣化することはない。
【００５２】
また、埋め込まれた付加情報は、符号化データから画像を復号することで取り出すことができるので、画像の符号化結果とともに、オーバヘッドなしでサイドインフォメーションを提供することができる。言い換えれば、付加情報を取り出すためのオーバヘッドなしで、その付加情報を画像に埋め込むことができるので、その埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮（埋め込み圧縮）されているということができる。従って、例えば、ある画像の半分を符号化対象とするとともに、残りの半分を付加情報とすれば、符号化対象である半分の画像に、残りの半分の画像を埋め込むことができるから、この場合、画像は、１／２に圧縮されることになる。
【００５３】
さらに、符号化データは、元の画像が有するエネルギの偏りという、いわば統計量を利用して復号されるため、誤りに対する耐性の強いものとなる。即ち、ロバスト性の高い符号化であるロバスト符号化（統計的符号化）を実現することができる。
【００５４】
また、符号化データは、元の画像が有するエネルギの偏りを利用して復号されるため、そのエネルギの偏りに特徴があるほど、即ち、例えば、画像については、そのアクティビティが高いほど、あるいは、冗長性が低いほど、多くの付加情報を埋め込むことができる。ここで、上述したように、付加情報の埋め込みの結果得られる符号化データは、付加情報の分だけ圧縮されているということができるが、この圧縮という観点からすれば、符号化対象の情報が有するエネルギの偏りを利用して復号を行うことができるように、その情報を、付加情報にしたがって符号化する方式（埋め込み符号化方式）においては、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率が高くなる。この点、埋め込み符号化方式は、従来の符号化方式と大きく異なる（従来の符号化方式では、画像のアクティビティが高いほど、あるいは、画像の冗長性が低いほど、圧縮率は低くなる）。
【００５５】
さらに、例えば、上述したように、画像を符号化対象とする一方、付加情報として、画像とは異なるメディアの、例えば、音声を用いるようにすることで、音声をキーとして、画像の提供を行うようなことが可能となる。即ち、符号化装置１０側において、例えば、契約者が発話した音声「開けゴマ」など付加情報として画像に埋め込んでおき、復号装置２０側では、ユーザに、音声「開けゴマ」を発話してもらい、その音声と、画像に埋め込まれた音声とを用いて話者認識を行うようにする。そして、話者認識の結果、ユーザが契約者である場合にのみ、自動的に、画像を提示するようなことが可能となる。なお、この場合、付加情報としての音声は、いわゆる特徴パラメータではなく、音声波形そのものを用いることが可能である。
【００５６】
また、例えば、音声を符号化対象とする一方、付加情報として、音声とは異なるメディアの、例えば、画像を用いるようにすることで、画像をキーとして、音声の提供を行うようなこと（例えば、顔認識音声応答）が可能となる。即ち、符号化装置１０側において、例えば、ユーザへの応答としての音声に、そのユーザの顔の画像を埋め込み、復号装置２０側では、ユーザの顔を撮影し、その結果得られる画像とマッチングする顔画像が埋め込まれている音声を出力するようにすることで、ユーザごとに異なる音声応答を行う音声応答システムを実現することが可能となる。
【００５７】
さらに、音声に、音声を埋め込んだり、画像に、画像を埋め込んだりするような、あるメディアの情報に、それと同一メディアの情報を埋め込むようなことも可能である。あるいは、また、画像に、契約者の音声と顔画像を埋め込んでおけば、ユーザの音声と顔画像とが、画像に埋め込まれているものと一致するときのみ、その画像を提示するようにする、いわば二重鍵システムなどの実現も可能となる。
【００５８】
また、例えば、テレビジョン放送信号を構成する、いわば同期した画像と音声のうちのいずれか一方に、他方を埋め込むようなことも可能であり、この場合、異なるメディアの情報どうしを統合した、いわば統合符号化を実現することができる。
【００５９】
さらに、埋め込み符号化方式では、上述したように、情報には、そのエネルギの偏りに特徴があるほど、多くの付加情報を埋め込むことができる。従って、２つの情報については、エネルギの偏りに特徴がある方を適応的に選択し、その選択した方に、他方を埋め込むようにすることで、全体のデータ量を制御することが可能となる。即ち、２つの情報どうしの間で、他方の情報量を、いわば吸収するようなことが可能となる。そして、このように全体のデータ量を制御することができる結果、伝送路の伝送帯域や使用状況、その他の伝送環境にあったデータ量による情報伝送（環境対応ネットワーク伝送）が可能となる。
【００６０】
また、例えば、画像に、その画像を縮小した画像を埋め込むことで（あるいは、音声に、その音声を間引いたものを埋め込むことで）、データ量を増加することなく、いわゆる階層符号化を実現することができる。
【００６１】
さらに、例えば、画像に、その画像を検索するためのキーとなる画像を埋め込んでおくことで、そのキーとなる画像に基づいて、画像の検索を行うデータベースを実現することが可能となる。
【００６２】
次に、図１の埋め込み復号器６では、埋め込み符号化器３からの符号化データを、画像の相関性、連続性、または相似性のうちの複数を利用して復号し、また、埋め込み符号化器３では、そのような復号を行うことができるように、画像の符号化を行うことが可能である。
【００６３】
即ち、埋め込み符号化器３には、例えば、図７に示すような、Ｈラインでなる画像を符号化対象とし、第１ラインは固定して、第２乃至第Ｈラインを、付加情報にしたがって入れ替えることにより符号化を行わせることができる。
【００６４】
この場合に、図７の画像の各ラインについて、そのラインを構成する画素の画素値を要素とするベクトル（以下、適宜、ラインベクトルという）ｖを用い、そのラインベクトルどうしの距離を、相関として定義し、この相関のみを利用して、符号化データの復号を行うこととすると、埋め込み復号器６では、まず、符号化データから、第１ライン（第１ラインは、上述したように固定）のラインベクトルと最も距離の近いラインベクトルが検出され、そのラインベクトルに対応するラインが、第２ラインとされる。さらに、埋め込み復号器６では、符号化データから、第２ラインのラインベクトルと最も距離の近いラインベクトルが検出され、そのラインベクトルに対応するラインが、第３ラインとされる。以下、同様にして、符号化データから、第Ｈラインまでが検出され、これにより、元の画像が復号されるとともに、第２乃至第Ｈラインが、どのように入れ替えられていたかが、埋め込まれた付加情報として復号される。
【００６５】
一方、図７の画像の第ｈライン（ｈ＝１，２，・・・，Ｈ）のラインベクトルをｖ_hと表し、ラインベクトルｖ₁，ｖ₂，・・・、Ｖ_Hがラインベクトル空間内に描く軌跡が、例えば、図８に、細い点線で示すようであったとする。
【００６６】
この場合、上述したように、第１ラインから、最も距離の近いラインベクトルを順次検出していくと、図８に太い点線で示す軌跡が描かれる。即ち、ｖ₁，ｖ₂，ｖ₁₃，ｖ₃，ｖ₁₄，ｖ₁₅，ｖ₄，ｖ₅，ｖ₆，・・・といった順番で、ラインベクトルが検出されていく。従って、相関（ここでは、ラインベクトルどうしの距離）だけでは、ラインベクトルは、正しい順序で検出されず、その結果、画像および付加情報も正しく復号することができないことになる。
【００６７】
そこで、第１ラインのラインベクトルｖ₁と最も距離の近いラインベクトルを検出し、そのラインベクトルに対応するラインを、第２ラインとした後は、例えば、図９に示すように、第２ラインのラインベクトルｖ₂と、第１ラインのラインベクトルｖ₁との差分ベクトル△ｖ₁₂を求める。そして、ラインベクトルｖ₂に、その差分ベクトル△ｖ₁₂を加算したベクトルによって表される点Ｐ₁₂に最も近いラインベクトルを検出し、そのラインベクトルに対応するラインを第３ラインとする。
【００６８】
さらに、第４ラインについては、第３ラインのラインベクトルｖ₃と、第２ラインのラインベクトルｖ₂との差分ベクトルを求めて、その差分ベクトルを、ラインベクトルｖ₃に加算したベクトルによって表される点に最も近いラインベクトルを検出し、そのラインベクトルに対応するラインを第４ラインとする。以下、同様にして、第Ｈラインまでを求めていくようにする。
【００６９】
以上のように、第ｈラインと第ｈ＋１ラインとの間の相関性だけでなく、第ｈラインのラインベクトルｖ_hと、第ｈ＋１ラインのラインベクトルｖ_h+1との間の連続性、即ち、ここでは、差分ベクトルｖ_h+1−ｖ_hをも利用することで、図８において、細い点線で示した軌跡が描かれるような順番で、ラインベクトルが検出され、その結果、画像および付加情報を正しく復号することができる。
【００７０】
なお、本発明の符号化対象は、画像に限定されるものではなく、例えば、音声や文字などであっても良い。また、符号化対象の情報に埋め込む付加情報も特に限定されるものではない（例えば、上述したように、情報の一部分に、その情報の他の部分を埋め込むようなことも可能である）。
【００７１】
【発明の効果】
以上の如く、本発明の符号化装置および符号化方法によれば、第１の情報が有するエネルギの偏りを利用して復号を行うことができるように、第１の情報が、第２の情報にしたがって符号化される。従って、オーバヘッドなしに、第１および第２の情報を復号することが可能となる。
【００７２】
本発明の復号装置および復号方法によれば、符号化データが、第１の情報が有するエネルギの偏りを利用して、第１および第２の情報に復号される。従って、オーバヘッドなしに、第１および第２の情報を復号することが可能となる。
【００７３】
本発明の情報処理装置および情報処理方法によれば、第１の情報が有するエネルギの偏りを利用して復号を行うことができるように、第１の情報が、第２の情報にしたがって符号化されて、符号化データが出力される。そして、その符号化データが、第１の情報が有するエネルギの偏りを利用して、第１および第２の情報に復号される。従って、オーバヘッドなしに、第１および第２の情報を復号することが可能となる。
【００７４】
本発明の記録媒体によれば、第１の情報が有するエネルギの偏りを利用して復号を行うことができるように、第１の情報を、第２の情報にしたがって符号化した符号化データが記録される。従って、オーバヘッドなしに復号可能な符号化データを、記録媒体を介して、提供することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図２】符号化対象の画像を示す図である。
【図３】相関性を利用した符号化／復号を説明するための図である。
【図４】連続性を利用した符号化／復号を説明するための図である。
【図５】相似性を利用した符号化／復号を説明するための図である。
【図６】相似性を利用した符号化／復号を説明するための図である。
【図７】ラインベクトルを説明するための図である。
【図８】相関性および連続性を利用した符号化／復号を説明するための図である。
【図９】ラインベクトル空間を示す図である。
【符号の説明】
１画像データベース，２付加情報データベース，３埋め込み符号化器（受信手段）（符号化手段），４記録媒体，５伝送媒体，６埋め込み復号器（受信手段）（復号手段），１０符号化装置，２０復号装置

Claims

第１の情報を、第２の情報にしたがって符号化し、符号化データを出力する符号化装置であって、
前記第１および第２の情報を受信する受信手段と、
前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号することができるように、前記第１の情報を、前記第２の情報にしたがって前記第１の情報が有する前記本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化する符号化手段と
を備えることを特徴とする符号化装置。
前記第１と第２の情報は、同一または異なるメディアの情報である
ことを特徴とする請求項１に記載の符号化装置。
前記第１の情報は、画像情報である
ことを特徴とする請求項１に記載の符号化装置。
前記符号化手段は、前記第１の情報としての画像情報を、前記第２の情報としての音声情報にしたがって符号化する
ことを特徴とする請求項３に記載の符号化装置。
前記音声情報は、ユーザが発話した音声情報である
ことを特徴とする請求項４に記載の符号化装置。
前記符号化手段は、前記第１の情報としての画像情報を、前記第２の情報としての、前記画像情報を検索するためのキーとなる画像情報にしたがって符号化する
ことを特徴とする請求項３に記載の符号化装置。
前記第１の情報は、所定の情報の一部であり、
前記第２の情報は、前記所定の情報から、前記所定の情報の一部を除いた情報である
ことを特徴とする請求項１に記載の符号化装置。
前記符号化手段は、前記第１の情報としての音声情報を、前記第２の情報としての画像情報にしたがって符号化する
ことを特徴とする請求項１に記載の符号化装置。
前記第２の情報は、ユーザの顔画像情報である
ことを特徴とする請求項８に記載の符号化装置。
前記符号化手段は、前記第１の情報を、前記第２の情報としての前記第１の情報の縮小情報にしたがって符号化する
ことを特徴とする請求項１に記載の符号化装置。
第１の情報を、第２の情報にしたがって符号化し、符号化データを出力する符号化方法であって、
前記第１および第２の情報を受信し、
前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号することができるように、前記第１の情報を、前記第２の情報にしたがって前記第１の情報が有する前記本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化する
ことを特徴とする符号化方法。
第１の情報を、第２の情報にしたがって符号化した符号化データを復号する復号装置であって、
前記符号化データを受信する受信手段と、
前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号する復号手段と
を備えることを特徴とする復号装置。
前記第１と第２の情報は、同一または異なるメディアの情報である
ことを特徴とする請求項１２に記載の復号装置。
前記第１の情報は、画像情報である
ことを特徴とする請求項１２に記載の復号装置。
前記復号手段は、前記符号化データを、前記第１の情報としての画像情報に復号すると共に、前記第２の情報としての音声情報に復号する
ことを特徴とする請求項１２に記載の復号装置。
前記音声情報は、ユーザが発話した音声情報である
ことを特徴とする請求項１５に記載の復号装置。
前記復号手段は、前記符号化データを、前記第１の情報としての音声情報に復号すると共に、前記第２の情報としての画像情報に復号する
ことを特徴とする請求項１２に記載の復号装置。
前記第２の情報は、ユーザの顔画像情報である
ことを特徴とする請求項１７に記載の復号装置。
第１の情報を、第２の情報にしたがって符号化した符号化データを復号する復号方法であって、
前記符号化データを受信し、
前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号する
ことを特徴とする復号方法。
第１の情報を、第２の情報にしたがって符号化し、符号化データを出力する符号化装置と、
前記符号化データを復号する復号装置と
を備える情報処理装置であって、
前記符号化装置は、前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号することができるように、前記第１の情報を、前記第２の情報にしたがって前記第１の情報が有する前記本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化し、符号化データを出力する符号化手段を有し、
前記復号装置は、前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号する復号手段を有する
ことを特徴とする情報処理装置。
前記第１と第２の情報は、同一または異なるメディアの情報である
ことを特徴とする請求項２０に記載の情報処理装置。
前記第１の情報は、画像情報である
ことを特徴とする請求項２０に記載の情報処理装置。
前記符号化手段は、前記第１の情報としての画像情報を、前記第２の情報としての音声情報にしたがって符号化し、
前記復号手段は、前記符号化データを、前記第１の情報としての画像情報に復号すると共に、前記第２の情報としての音声情報に復号する
ことを特徴とする請求項２０に記載の情報処理装置。
前記音声情報は、ユーザが発話した音声情報である
ことを特徴とする請求項２３に記載の情報処理装置。
前記符号化手段は、前記第１の情報としての画像情報を、前記第２の情報としての、前記画像情報を検索するためのキーとなる画像情報にしたがって符号化する
ことを特徴とする請求項２０に記載の情報処理装置。
前記第１の情報は、所定の情報の一部であり、
前記第２の情報は、前記所定の情報から、前記所定の情報の一部を除いた情報である
ことを特徴とする請求項２０に記載の情報処理装置。
前記符号化手段は、前記第１の情報としての音声情報を、前記第２の情報としての画像情報にしたがって符号化し、
前記復号手段は、前記符号化データを、前記第１の情報としての音声情報に復号すると共に、前記第２の情報としての画像情報に復号する
ことを特徴とする請求項２０に記載の情報処理装置。
前記第２の情報は、ユーザの顔画像情報である
ことを特徴とする請求項２７に記載の情報処理装置。
前記符号化手段は、前記第１の情報を、前記第２の情報としての前記第１の情報の縮小情報にしたがって符号化する
ことを特徴とする請求項２０に記載の情報処理装置。
第１の情報を、第２の情報にしたがって符号化し、符号化データを出力する符号化装置と、
前記符号化データを復号する復号装置と
を備える情報処理装置の情報処理方法であって、
前記符号化装置において、前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号することができるように、前記第１の情報を、前記第２の情報にしたがって前記第１の情報が有する前記本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化して、
符号化データを出力し、
前記復号装置において、前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号する
ことを特徴とする情報処理方法。
第１の情報を、第２の情報にしたがって符号化した符号化データが記録される記録媒体であって、
前記符号化データを、前記第１の情報が有する本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を利用して、前記第１の情報に復号すると共に、当該復号の操作に応じて前記第２の情報に復号することができるように、前記第１の情報を、前記第２の情報にしたがって前記第１の情報が有する前記本来のエネルギの偏りである、相関性、連続性、または相似性のうちのいずれか１以上を変更することにより符号化した前記符号化データが記録される
ことを特徴とする記録媒体。
前記第１と第２の情報は、同一または異なるメディアの情報である
ことを特徴とする請求項３１に記載の記録媒体。
前記第１の情報は、画像情報である
ことを特徴とする請求項３１に記載の記録媒体。