JP4483983B2 - 画像圧縮装置及び画像圧縮方法 - Google Patents

Description

本発明は、画像を撮影する際に被写体までの距離を計測する画像圧縮装置及び方法に関する。

動画像データに臨場感を与えるために、様々な技術が開発されている。
動画像データに臨場感を与えるための手段の１つとして、３次元画像の再生が挙げられる。
３次元画像は、例えば、同一の被写体を左右それぞれの眼の視点から２つの画像データを撮影することにより生成される。そして、再生時には、左目用の画像データを左目に、右目用の画像データを右目によって見ることが可能であるように構成されている。以下、左右それぞれの眼の視点から撮影された画像データを視差画像と称する。

視差画像を生成するための最も単純な方法は、左右の眼に相当する位置に２台のカメラを用意して２種類の画像を撮影することである。しかし、この方法では、画像の撮影時に多大な労力とコストが必要であるため、１つのカメラで撮影した２次元動画像データを基に３次元画像データを生成できる技術が所望されている。

１枚の２次元画像を基に３次元画像データを生成する場合、１枚の２次元画像データから２枚の視差画像を生成する必要がある。
従来、１枚の２次元画像から２枚の視差画像を生成する場合には、２次元の画像データ内の各被写体までの距離を示す距離情報が必要となる。
距離情報は、例えば、人間が画像を見て画像データ生成時の視点（カメラの位置）から被写体までの距離を推測することにより得られる。しかし、この場合は人間が距離情報を推測する必要があるため、自動化することができない、という不利益があった。

そのため、２次元画像の生成時に被写体までの距離を自動的に計測する技術が要求されていた。
特許文献１には、１枚の２次元画像データを生成する際、自動的に被写体までの距離を計測して距離情報を画像データに付与する技術が開示されている。

特開平０８−７０４７３号公報

特許文献１に開示された技術等を利用して距離情報を付与された画像データを何らかの記憶媒体に記憶する場合、その容量の大きさが問題となる。なぜなら、特許文献１に開示された技術では、画素単位で距離情報が付与されているため、距離情報が画像データそのものと同程度の情報量を有することになるためである。このため、画像データに距離情報を付加して圧縮するとしても、情報量は距離情報を付加しない画像データと比較して非常に大きくなってしまう、という不利益があった。
また、特許文献１に開示された技術では、画素単位の距離情報を測定するための測量処理が非常に負荷の大きい処理となり、動画像データへの対応が困難である、という不利益があった。

上述した不利益を解消するために、測距処理の処理負荷を軽減し、さらに距離情報を付加した画像データの情報量を抑える画像圧縮装置及び画像圧縮方法を提供することを目的とする。

上記した不利益を解消するために、第１の発明の画像圧縮装置は、被写体を撮影し第１の画像信号を生成する第１の撮像部と、被写体を撮影し第２の画像信号を生成する第２の撮像部と、前記第１の撮像部が生成した第１の画像信号を符号化して第１の画像データを生成する第１の符号化部と、前記第２の撮像部が生成した第２の画像信号を符号化して第２の画像データを生成する第２の符号化部と、前記第１の撮像部が撮影を実行する時、同時に画像のブロックごとに被写体までの距離を計測して第１の距離情報を生成する第１の測距部と、前記第２の撮像部が撮影を実行する時、同時に画像のブロックごとに被写体までの距離を計測して第２の距離情報を生成する第２の測距部と、前記第１の符号化部が符号化して生成した前記第１の画像データと、前記第１の測距部が計測した距離とを基に、前記第１の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第１の距離情報を基に生成された第１の距離データを前記第１の画像データに多重化した第１の多重化データを生成する第１の多重化部と、前記第２の符号化部が符号化して生成した前記第２の画像データと、前記第２の測距部が計測した距離とを基に、前記第２の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第２の距離情報を基に生成された第２の距離データを前記第２の画像データに多重化した第２の多重化データを生成する第２の多重化部と、前記第１の多重化データ及び前記第２の多重化データの情報量を削減して圧縮データを生成する圧縮処理部と、を有し、前記圧縮処理部は、前記第１の多重化部が生成した前記第１の多重化データと、前記第２の多重化部が生成した前記第２の多重化データにおいて、前記第１の多重化データに含まれる第１の距離データを基に、前記第１の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、前記第２の多重化データに含まれる第２の距離データを基に、前記第２の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、第１の多重化データの遠距離ブロックと第２の多重化データの遠距離ブロックの差分を取り、他方との差がない第１の多重化データの遠距離ブロックあるいは第２の多重化データの遠距離ブロックのいずれかのデータを削除して前記圧縮データを生成する。

第２の発明の画像圧縮方法は、被写体を撮影し第１及び第２の画像信号を生成すると同時に、画像のブロックごとに被写体までの距離を計測して第１及び第２の距離情報を生成する第１の工程と、前記第１の工程において生成された第１及び第２の画像信号を符号化して第１及び第２の画像データを生成する第２の工程と、前記第１の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第１の距離情報を基に生成された第１の距離データを前記第１の画像データに多重化した第１の多重化データを生成し、前記第２の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第２の距離情報を基に生成された第２の距離データを前記第２の画像データに多重化した第２の多重化データを生成する第３の工程と、前記第１の多重化データに含まれる第１の距離データを基に、前記第１の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、前記第２の多重化データに含まれる第２の距離データを基に、前記第２の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、第１の多重化データの遠距離ブロックと第２の多重化データの遠距離ブロックの差分を取り、他方との差がない第１の多重化データの遠距離ブロックあるいは第２の多重化データの遠距離ブロックのいずれかのデータを削除して圧縮データを生成する第４の工程と、を有する。

本発明は、測距処理の処理負荷を軽減し、さらに距離情報を付加した画像データの情報量を抑える画像圧縮装置及び画像圧縮方法を提供する。

以下、本発明の実施形態について説明する。
＜第１実施形態＞
図１は、第１実施形態の実施形態の画像圧縮装置１００の構成の一例を示したブロック図である。
図１に示したように、第１実施形態の画像圧縮装置１００は、撮像部１Ａ（本発明の第１の撮像部に対応）、撮像部１Ｂ（本発明の第２の撮像部に対応）、符号化部２Ａ（本発明の第１の符号化部に対応）、符号化部２Ｂ（本発明の第２の符号化部に対応）、測距センサ３Ａ（本発明の第１の測距部に対応）、測距センサ３Ｂ（本発明の第２の測距部に対応）、距離情報処理部４Ａ、距離情報処理部４Ｂ、多重化部５Ａ（本発明の第１の多重化部に対応）、多重化部５Ｂ（本発明の第２の多重化部に対応）、圧縮処理部６（本発明の圧縮処理部に対応）、記憶部７、出力部８を有する。

上述したように、第１実施形態の画像圧縮装置１００は、撮像部、符号化部、測距センサ、距離情報処理部、多重化部をそれぞれ２つずつ有する。これらの構成により、右目視点の画像データと左目視点の画像データの２つの画像データを得ることができる。
以下、各構成の詳細について説明する。
撮像部１Ａは、例えばデジタルスチルカメラ、デジタルビデオカメラ等の撮像デバイスであり、被写体を撮影して画像信号２０１Ａを生成する。
符号化部２Ａは、撮像部１Ａが撮像した画像信号２０１Ａを圧縮してデジタル画像データ２０２Ａに変換する。符号化部２Ａが使用する画像符号化技術は、例えばＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＤｉｖＸ（Divx,Inc.の登録商標）、Ｘｖｉｄ、ＷＭＶ９等である。本実施形態では、符号化部２Ａが使用する符号化技術はＭＰＥＧ方式であるとする。

測距センサ３Ａは、撮像部１Ａに取り付けられており、撮像部１Ａの撮影時には被写体までの距離を計測し、距離情報２０３Ａとして出力する。測距センサ３Ａは、例えば赤外線や超音波により距離を計測するセンサである。測距センサ３Ａは、撮像部１Ａの各画素のうち、一定画素ブロックごとに抽出された画素が撮影する被写体までの距離を計測する。
なお、測距センサ３Ａは、例えばＭＰＥＧ１やＭＰＥＧ２におけるマクロブロック（１６×１６画素）やブロック（８×８画素）を上述した一定画素ブロックに対応させてもよい。すなわち、例えばマクロブロックごとに測距する場合には、撮像部１Ａの１６×１６画素ごとに測距センサ３Ａの１つの測距成分が配設されればよい。
すなわち、例えばマクロブロックごとに測距をする場合には、例えば符号化部２Ａが圧縮したデジタル画像データ２０２Ａのマクロブロック数と同数の測距成分を有する測距センサ３Ａを用意し、各マクロブロックに対応するように複数の測距センサ３Ａの測距成分をマトリクス状に配置すればよい。

距離情報処理部４Ａは、測距センサ３Ａが生成した距離情報２０３Ａを基に距離データ２０４Ａを生成する。距離情報処理部４Ａが生成する距離データ２０４Ａは、測距センサ３Ａが生成する距離情報２０３Ａを元にしているため、符号化部２Ａが生成するデジタル画像データ２０２Ａの一定画素ブロックごとに生成される。
多重化部５Ａは、符号化部２Ａが生成したデジタル画像データ２０２Ａと、距離情報処理部４Ａが生成した距離データ２０４Ａとを多重化させ、多重化データ２０５Ａを生成する。多重化データ２０５Ａは、例えばデジタル画像データ２０２Ａの一定画素ごとに形成されたブロックに、当該ブロックに対応する距離データ２０４Ａを埋め込んだデータである。

撮像部１Ｂ〜多重化部５Ｂの各構成の詳細は、上述した撮像部１Ａ〜多重化部５Ａの各構成とほぼ同様である。ただし、撮像部１Ｂは画像信号２０１Ｂを、符号化部２Ｂはデジタル画像データ２０２Ｂを、測距センサ３Ｂは距離情報２０３Ｂを、距離情報処理部４Ｂは距離データ２０４Ｂを、多重化部５Ｂは多重化データ２０５Ｂを生成する。
また、撮像部１Ａと撮像部１Ｂとは、同時に撮影を行うことができるように構成されている。これは、２枚の視差画像を基に３次元画像を生成するために、例えば撮像部１Ａが被写体を右目から見た画像、撮像部１Ｂが被写体を左目から見た画像とする必要があるからである。また、撮像部１Ａ及び１Ｂは、被写体からの距離が等距離となるように配置される。

圧縮処理部６は、多重化データ２０５Ａ及び２０５Ｂを再度圧縮し、情報量を削減した圧縮データ２０６を生成する。圧縮処理部６の圧縮方法については、詳しくは後述する。
記憶部７は、圧縮処理部６が生成した圧縮データ２０６を記憶するメモリである。
出力部８は、圧縮処理部６が生成した圧縮データ２０６を所定の伝送経路にて外部へと出力する。出力された圧縮データ２０６を基に、例えば図示しない３次元画像生成装置が３次元画像データを生成することになる。ただし、本発明では圧縮データ２０６を基に３次元画像データを生成する方法については限定しない。３次元画像データの生成方法としては、例えば従来の技術を利用することができる。

次に、圧縮処理部６における、２枚の多重化データ２０５Ａ及び２０５Ｂを再度圧縮する方法について説明する。
図２は、２枚の多重化データ２０５Ａ及び２０５Ｂを、距離データ２０４Ａ及び２０４Ｂを基に圧縮する方法を説明するための図である。
図２（ａ）は、多重化データ２０５Ａの画像部分を示した図である。図２（ａ）に示す多重化データ２０５Ａは、本実施形態では２枚の視差画像のうち左目から見た画像（以下左目画像）とする。
図２（ａ）に示す画像は、符号化部２Ａによりすでに圧縮符号化（本実施形態では、ＭＰＥＧによる圧縮符号化であるとする）がなされている。図２（ａ）に示す各ブロック（本実施形態では１６画素×１６画素のマクロブロック）には、ブロックごとに当該ブロックに写る被写体までの距離に関する距離データ２０４Ａが付加されている。

図２（ａ）においては、被写体までの距離が近いブロックを灰色で、被写体までの距離が遠いブロックを白色で示している。被写体までの距離が近いか遠いかは、圧縮処理部６が各ブロックの距離データ２０４Ａを参照することにより判定している。距離データ２０４Ａが示す被写体までの距離が近いか遠いかは、例えば２０ｍ等、固定のしきい値よりも近いか遠いかにより判定すればよい。また、しきい値は固定である必要はなく、例えば画像内の全ブロックの被写体までの平均距離を算出してその２倍の距離をしきい値としてもよい。なお、１ブロック内で近距離の被写体と遠距離の背景とが混在する場合は、そのブロックは近距離であると判定すればよい。

図２（ｂ）は、多重化データ２０５Ｂの画像部分を示した図である。図２（ｂ）に示す多重化データ２０５Ｂは、本実施形態では２枚の視差画像のうち右目から見た画像（以下右目画像）とする。図２（ｂ）においても、被写体までの距離が近いブロックを灰色で、被写体までの距離が遠いブロックを白色で示している。

圧縮処理部６は、図２（ｂ）に示す右目画像において、被写体が遠距離であるブロック（以下遠距離ブロック）について、図２（ａ）に示す左目画像内の遠距離ブロックとの差分をとる。図２（ｂ）に示す×印が付されたブロックが、差分として抽出された遠距離ブロック、すなわち図２（ｂ）に示す右目画像にのみ存在する遠距離ブロックである。

次に、圧縮処理部６は、図２（ｂ）に示す右目画像において、図２（ａ）に示す左目画像との差がない遠距離ブロック、すなわち右目画像と左目画像の両方に存在する遠距離ブロックに関しては、片方の画像内の遠距離ブロックを破棄してしまう。そして、破棄した各遠距離ブロックの解凍処理時には、破棄した遠距離ブロックに対応するもう一方の画像の遠距離ブロックを参照して、当該ブロックをコピーすることにより破棄した遠距離ブロックを補完するようにしておく。ここで、破棄した遠距離ブロックに対応した、破棄されていない遠距離ブロックを参照するための情報を、参照情報と称する。参照情報の形式や書式、記述方法は本発明では限定しない。

したがって、圧縮処理部６により生成される圧縮データには、画像部分として、近距離ブロックに関するデータ、左右で共通する遠距離ブロックに関するデータ、共通しない遠距離ブロックに関するデータが含まれることになる。
このような方法により、２枚の視差画像のうち１枚の遠距離ブロックのデータ（画像データ及び距離データ）を破棄できるため、大幅に情報量を低減させることができるようになる。
なお、上述した説明では右目画像の共通する遠距離ブロックを破棄し、左目画像の遠距離ブロックを参照するとしたが、本発明はこれには限定されず、反対に左目画像の共通する遠距離ブロックを破棄して右目画像の対応する遠距離ブロックを参照するようにしてもよい。

圧縮処理部６が行う圧縮処理は、時間方向の圧縮処理においても有効である。
図３は、圧縮処理部６の圧縮処理の時間方向の効果について説明するための図である。
図３（ａ）は、多重化データ２０５Ａのある時刻（第１の時刻）において生成された画像部分を示した図であり、以下左目画像Ｔ１と称する。図３（ｂ）は、図３（ａ）の左目画像と同時刻に生成された多重化データ２０５Ｂのある時刻における画像部分を示した図であり、以下右目画像Ｔ１と称する。
図３（ｃ）は、多重化データ２０５Ａの第１の時刻よりも後である第２の時刻（例えば次のフレーム）において生成された画像部分を示した図であり、以下左目画像Ｔ２と称する。図３（ｄ）は、図３（ｃ）の左目画像と同時刻に生成された多重化データ２０５Ｂのある時刻における画像部分を示した図であり、以下右目画像Ｔ２と称する。

圧縮処理部６は、図３（ａ）に示す左目画像Ｔ１と、図３（ｃ）に示す左目画像Ｔ２とにおいて、差分をとり、動き補償等の技術により時間方向の圧縮を行う。すなわち、左目画像Ｔ２における遠距離ブロックのうち、左目画像Ｔ１と差がないブロックは破棄され、左目画像Ｔ２の破棄された遠距離ブロックから左目画像Ｔ１の対応するブロックへの参照情報が付加されている。

一方、右目画像Ｔ１及びＴ２に関しては、圧縮処理部６は差分をとらず、左目画像を参照した遠距離ブロックの破棄による圧縮のみにとどめる。
右目画像Ｔ１と右目画像Ｔ２間において、差分をとり時間方向の圧縮をしようとした場合、右目画像Ｔ２の破棄されたブロックの復号化時に参照するべき右目画像Ｔ１のブロックの情報を、さらに左目画像Ｔ１を参照して得ることになる。この場合、差分をとったときの誤差データが蓄積され、差分補完の精度が落ちて再生する画像の画質が低下する恐れがある。このため、上述したように圧縮処理部６は右目画像については時間方向の差分をとらず、左目画像を参照することにより圧縮を行い、情報量削減の効果を得ている。

次に、第１実施形態の画像圧縮装置１００の３次元画像を生成する場合の動作例について説明する。
図４は、第１実施形態の画像圧縮装置１００の３次元画像を生成する場合の動作例について説明するためのフローチャートである。
ステップＳＴ１：
撮像部１Ａと測距センサ３Ａが同期して動作し、被写体の撮影と被写体までの距離の測定を同時に行う。撮像部１Ａは画像信号２０１Ａを、測距センサ３Ａは距離情報２０３Ａを生成する。また、同時に、撮像部１Ｂと測距センサ３Ｂが同期して動作し、画像信号２０１Ｂと距離情報２０３Ｂとを生成する。
ステップＳＴ２：
符号化部２Ａ（２Ｂ）は、ステップＳＴ１において撮像部１Ａ（１Ｂ）が生成した画像データ２０１Ａ（２０１Ｂ）をＭＰＥＧ等の符号化方法で圧縮符号化し、デジタル画像データ２０２Ａ（２０２Ｂ）を生成する。

ステップＳＴ３：
距離情報処理部４Ａ（４Ｂ）は、ステップＳＴ１において測距センサ３Ａ（３Ｂ）が計測した距離を示す距離情報２０３Ａ（２０３Ｂ）を距離データ２０４Ａ（２０４Ｂ）に変換する。
ステップＳＴ４：
多重化部５Ａ（５Ｂ）は、ステップＳＴ２において生成されたデジタル画像データ２０２Ａ（２０２Ｂ）と、ステップＳＴ３において変換された距離データ２０４Ａ（２０４Ｂ）とを、一定画素ブロック及びフレームごとに多重化し、多重化データ２０５Ａ（２０５Ｂ）を生成する。多重化の方法は、例えばデジタル画像データ２０２Ａ（２０２Ｂ）のヘッダ部分等に距離データ２０４Ａ（２０４Ｂ）を埋め込む方法がある。

ステップＳＴ５：
圧縮処理部６は、ステップＳＴ４において生成された多重化データ２０５Ａ及び２０５Ｂを基に、上述した方法で圧縮（情報量の削減）を行い、圧縮データ２０６を生成する。
ステップＳＴ６：
記憶部７は、ステップＳＴ５において生成された圧縮データ２０６を記憶する。

ステップＳＴ７：
出力部８は、ステップＳＴ５において生成された圧縮データ２０６を所定の伝送経路より出力する。
なお、ステップＳＴ６及びステップＳＴ７は、必ずしもこの順序で実行される必要はない。すなわち、出力部８による圧縮データ２０６の出力が記憶部７による圧縮データ２０６の記憶よりも先に行われてもよいし、これらが同時に実行されてもよい。

以上説明したように、第１実施形態の画像圧縮装置１００では、撮像部１Ａ（１Ｂ）が撮影した画像信号２０１Ａ（２０１Ｂ）を符号化部２Ａ（２Ｂ）が圧縮してデジタル画像データ２０２Ａ（２０２Ｂ）を生成する。そして、測距センサ３Ａ（３Ｂ）は撮像部１Ａ（１Ｂ）の撮像と同時に被写体までの距離を計測し、距離情報２０３Ａ（２０３Ｂ）を生成する。距離情報処理部４Ａ（４Ｂ）が距離情報２０３Ａ（２０３Ｂ）を基に距離データ２０４Ａ（２０４Ｂ）を生成し、多重化部５Ａ（５Ｂ）がデジタル画像データ２０２Ａ（２０２Ｂ）に距離データ２０４Ａ（２０４Ｂ）を多重化して多重化データ２０５Ａ（２０５Ｂ）を生成する。ここで、圧縮処理部６が、多重化データ２０５Ａ及び２０５Ｂを基に、どちらか片方の画像の遠距離部分を破棄して、情報量を削減した圧縮データ２０６を生成する。
すなわち、第１実施形態の画像圧縮装置１００によれば、２枚の視差画像の画像データ及び画像データに対応する距離データを多重化した多重化データを生成する場合に、どちらかの視差画像の遠距離部分の画像データ及びこれに対応する距離データが破棄される。従って、多重化データの情報量を大幅に削減することができ、記憶部７が圧縮データ２０６を記憶する場合に記憶部７の容量を圧迫する恐れや、出力部８が圧縮データ２０６を出力する場合も出力伝送経路の帯域を圧迫する恐れを低減することができる。

＜第２実施形態＞
以下、本発明の第２実施形態の画像圧縮装置１０１について説明する。
第２実施形態の画像圧縮装置１０１の構成の一例を図５に示す。
図５は、第２実施形態の画像圧縮装置１０１の構成の一例を示す図である。
図５に示すように、第２実施形態の画像圧縮装置１０１は、撮像部１Ｃ，１Ｄ，１Ｅ,１Ｆ、符号化部２Ｃ，２Ｄ，２Ｅ，２Ｆ、測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆ、距離情報処理部４Ｃ，４Ｄ，４Ｅ，４Ｆ、多重化部５Ｃ，５Ｄ，５Ｅ，５Ｆ、圧縮処理部６’、記憶部７、出力部８を有する。
図５に示すように、第２実施形態の画像圧縮装置１０１は、撮像部、符号化部、測距センサ、処理情報処理部、多重化部をそれぞれ４個ずつ有する点において第１実施形態の画像圧縮装置１００と異なる。これら以外の構成（圧縮処理部６’、記憶部７、出力部８）は、第２実施形態の画像圧縮装置１０１と第１実施形態の画像圧縮装置１００の両方においてほぼ同様の構成である。

以下、第２実施形態の画像圧縮装置１０１の各構成の詳細について、第１実施形態の画像圧縮装置１００の各構成との相違点を中心に説明する。

撮像部１Ｃ，１Ｄ，１Ｅ，１Ｆは、デジタルスチルカメラ、デジタルビデオカメラ等の撮像デバイスであり、被写体を撮影して画像信号２０１Ｃ，２０１Ｄ，２０１Ｅ，２０１Ｆを生成する。
ここで、撮像部１Ｃ及び１Ｄは被写体からの距離が等しくなるように配置される。撮像部１Ｅ及び１Ｆについても同様である、ただし、撮像部１Ｃ（１Ｄ）と撮像部１Ｅ（１Ｆ）とは被写体からの距離が異なるように配置される。具体的には、例えば、撮像部１Ｃ及び１Ｄより所定の距離だけ手前（撮影者側）に撮像部１Ｅ及び１Ｆが配置される。このような構成とすることにより、同一の被写体を撮影した際に２種類の距離の画像信号を生成することができる。

符号化部２Ｃ，２Ｄ，２Ｅ，２Ｆは、撮像部１Ｃ，１Ｄ，１Ｅ，１Ｆが撮像した画像信号２０１Ｃ，２０１Ｄ，２０１Ｅ，２０１Ｆを圧縮してデジタル画像データ２０２Ｃ，２０２Ｄ，２０２Ｅ，２０２Ｆに変換する。符号化部２Ｃ，２Ｄ，２Ｅ，２Ｆが使用する画像圧縮技術は、例えばＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＤｉｖＸ（Divx,Inc.の登録商標）、Ｘｖｉｄ、ＷＭＶ９等である。

測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆは、撮像部１Ｃ，１Ｄ，１Ｅ，１Ｆに取り付けられており、撮像部１Ｃ，１Ｄ，１Ｅ，１Ｆの撮影時には被写体までの距離を計測し、距離情報２０３Ｃ，２０３Ｄ，２０３Ｅ，２０３Ｆとして出力する。測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆは、例えば赤外線や超音波により距離を計測するセンサである。測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆは、撮像部１Ｃ，１Ｄ，１Ｅ，１Ｆの各画素のうち、一定画素ブロックごとに抽出された画素が撮影する被写体までの距離を計測する。
なお、測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆは、第１実施形態の測距センサ３Ａ及び３Ｂと同様に、例えばＭＰＥＧ１やＭＰＥＧ２におけるマクロブロック（１６×１６画素）やブロック（８×８画素）を上述した一定画素ブロックに対応させてもよい。すなわち、例えばマクロブロックごとに測距する場合には、撮像部１Ｃ，１Ｄ，１Ｅ，１Ｆの１６×１６画素ごとに測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆの１つの測距成分が配設されればよい。
すなわち、例えばマクロブロックごとに測距をする場合には、例えば符号化部２Ｃ，２Ｄ，２Ｅ，２Ｆが圧縮したデジタル画像データ２０２Ｃ，２０２Ｄ，２０２Ｅ，２０２Ｆのマクロブロック数と同数の測距成分を有する測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆを用意する。そして、各マクロブロックに対応するように複数の測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆの測距成分をマトリクス状に配置すればよい。
測距センサ３Ｃ及び３Ｄと、３Ｅ及び３Ｆについては、それぞれ被写体からの距離が異なっている。このため、例えば距離に応じて測距センサの測距成分数を変化させてもよい。すなわち、被写体までの距離が近い方が測距成分数を多く、遠い方が測距成分を少なくなるようにしてもよい。

距離情報処理部４Ｃ，４Ｄ，４Ｅ，４Ｆは、測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆが生成した距離情報２０３Ｃ，２０３Ｄ，２０３Ｅ，２０３Ｆを基に距離データ２０４Ｃ，２０４Ｄ，２０４Ｅ，２０４Ｆを生成する。距離情報処理部４Ｃ，４Ｄ，４Ｅ，４Ｆが生成する距離データ２０４Ｃ，２０４Ｄ，２０４Ｅ，２０４Ｆは、測距センサ３Ｃ，３Ｄ，３Ｅ，３Ｆが生成する距離情報２０３Ｃ，２０３Ｄ，２０３Ｅ，２０３Ｆを元にしているため、符号化部２Ｃ，２Ｄ，２Ｅ，２Ｆが生成するデジタル画像データ２０２Ｃ，２０２Ｄ，２０２Ｅ，２０２Ｆの一定画素ブロックごとに生成される。

多重化部５Ｃ，５Ｄ，５Ｅ，５Ｆは、符号化部２Ｃ，２Ｄ，２Ｅ，２Ｆが生成したデジタル画像データ２０２Ｃ，２０２Ｄ，２０２Ｅ，２０２Ｆと、距離情報処理部４Ｃ，４Ｄ，４Ｅ，４Ｆが生成した距離データ２０４Ｃ，２０４Ｄ，２０４Ｅ，２０４Ｆとを多重化させ、多重化データ２０５Ｃ，２０５Ｄ，２０５Ｅ，２０５Ｆを生成する。多重化データ２０５Ｃ，２０５Ｄ，２０５Ｅ，２０５Ｆは、例えばデジタル画像データ２０２Ｃ，２０２Ｄ，２０２Ｅ，２０２Ｆの一定画素ごとに形成されたブロックに、当該ブロックに対応する距離データ２０４Ｃ，２０４Ｄ，２０４Ｅ，２０４Ｆを埋め込んだデータである。

圧縮処理部６’は、多重化データ２０５Ｃ，２０５Ｄ，２０５Ｅ，２０５Ｆを再度圧縮し、情報量を削減した圧縮データ２０６’を生成する。圧縮処理部６’の圧縮方法については、詳しくは後述する。
記憶部７は、圧縮処理部６’が生成した圧縮データ２０６’を記憶するメモリである。
出力部８は、圧縮処理部６’が生成した圧縮データ２０６’を所定の伝送経路にて外部へと出力する。

第２実施形態の画像圧縮装置１０１では、上述したような構成により、２通りの距離における２枚の視差画像を得ることができる。これにより、第２実施形態の画像圧縮装置１０１が生成した圧縮データを基に３次元画像が生成される場合に、より立体的な画像を生成することができる。

以下、第２実施形態の圧縮処理部６’による圧縮処理の方法について説明する。
図６は、４枚の多重化データ２０５Ｃ，２０５Ｄ，２０５Ｅ，２０５Ｆを、それぞれに埋め込まれた距離データ２０４Ｃ，２０４Ｄ，２０５Ｅ，２０５Ｆを基に圧縮する方法を説明するための図である。
図６（ａ）は、多重化データ２０５Ｃの画像部分を示した図である。図６（ａ）に示す多重化データ２０５Ｃは、第２実施形態では４枚の視差画像のうち、左目から見た画像（左目画像）とする。
図６（ａ）に示す画像は、符号化部２Ｃによりすでに圧縮符号化（本実施形態では、ＭＰＥＧによる圧縮符号化であるとする）がなされている。図６（ａ）に示す各ブロック（本実施形態では１６画素×１６画素のマクロブロック）には、ブロックごとに当該ブロックに写る被写体までの距離に関する距離データ２０４Ｃが付加されている。

図６（ａ）においては、被写体までの距離が近いブロックを灰色で、被写体までの距離が遠いブロックを白色で示している。被写体までの距離が近いか遠いかは、圧縮処理部６’が各ブロックの距離データ２０４Ｃを参照することにより判定している。距離データ２０４Ａが示す被写体までの距離が近いか遠いかは、例えば２０ｍ等、固定のしきい値よりも近いか遠いかにより判定すればよい。また、しきい値は固定である必要はなく、例えば画像内の全ブロックの被写体までの平均距離を算出してその２倍の距離をしきい値としてもよい。なお、１ブロック内で近距離の被写体と遠距離の背景とが混在する場合は、そのブロックは近距離であると判定すればよい。

図６（ｂ）は、多重化データ２０５Ｄの画像部分を示した図である。図６（ｂ）に示す多重化データ２０５Ｄは、本実施形態では４枚の視差画像のうち右目から見た画像（以下右目画像）とする。図６（ｂ）においても、被写体までの距離が近いブロックを灰色で、被写体までの距離が遠いブロックを白色で示している。

図６（ｃ）は、多重化データ２０５Ｅの画像部分を示した図である。図６（ｃ）に示す多重化データ２０５Ｅは、本実施形態では多重化データ２０５Ｃとは異なる距離から撮影された左目画像とする。ここで、多重化データ２０５Ｃ及び２０５Ｄの画像信号生成時の撮像部１Ｃ及び１Ｄから被写体までの距離を第１の距離Ｌ１、多重化データ２０５Ｅの画像信号生成時の撮像部１Ｅから被写体までの距離を第２の距離Ｌ２とする。Ｌ１＜Ｌ２である。図６（ｃ）においても、被写体までの距離が近いブロックを灰色で、被写体までの距離が遠いブロックを白色で示している。

図６（ｄ）は、多重化データ２０５Ｆの画像部分を示した図である。図６（ｄ）に示す多重化データ２０５Ｆは、本実施形態では多重化データ２０５Ｅと同様の第２の距離Ｌ２から撮影された右目画像である。図６（ｄ）においても、被写体までの距離が近いブロックを灰色で、被写体までの距離が遠いブロックを白色で示している。

圧縮処理部６’は、図６（ａ）及び（ｂ）に示すように、第１の距離Ｌ１から撮影した画像信号を含む多重化データ２０５Ｃ及び２０５Ｄの画像部分から、第１実施形態と同様の圧縮処理により、遠距離ブロックを抽出する。そして、多重化データ２０５Ｃと２０５Ｄの画像部分の差分をとり、多重化データ２０５Ｄにおける、多重化データ２０５Ｃとの差がない遠距離ブロックを破棄する。このとき、破棄した遠距離ブロックに対応する破棄しない遠距離ブロックへの参照情報を付加する。勿論、差があったブロックに関してはそのまま残す。
同様に、圧縮処理部６’は、図６（ｃ）及び（ｄ）に示すように、第２の距離Ｌ２から撮影した画像信号を含む多重化データ２０５Ｅ及び２０５Ｆの画像部分から遠距離ブロックを抽出する。そして差分を取り、片方の多重化データの画像部分の差がない遠距離ブロックを破棄して情報量の削減を行う。破棄した遠距離ブロックに対応する破棄しない遠距離ブロックへの参照情報の付加も行う。

次に、圧縮処理部６’は、図６（ａ）に示す多重化データ２０５Ｃの画像部分と、図６（ｃ）に示す多重化データ２０５Ｅの画像部分の差分をとり、どちらか片方多重化データの差がない遠距離ブロックの破棄を行う。これは、第１の距離Ｌ１と第２の距離Ｌ２との差がそれほど大きくないことを前提に、第１の距離Ｌ１で撮影された多重化データ２０５Ｃの遠距離ブロックと第２の距離Ｌ２で撮影された多重化データ２０５Ｅの遠距離ブロックとにそれほど差異がないことを想定している。従って、第２実施形態の画像圧縮装置１０１においては、撮像部１Ｃ（１Ｄ）から被写体までの距離Ｌ１と撮像部１Ｅ（１Ｆ）から被写体までの距離Ｌ２との差が大きくならないように、撮像部１Ｃ（１Ｄ）と撮像部１Ｅ（１Ｆ）とが配置される。

本実施形態では、例えば図６（ｃ）に示す多重化データ２０５Ｅの差がない遠距離ブロックが破棄されるとする。このとき、圧縮処理部６’は、破棄した多重化データ２０５Ｅの遠距離ブロックに対応する多重化データ２０５Ｃの遠距離ブロックへの参照情報を生成して付加する。

以上説明したように、第２実施形態の画像圧縮装置１０１によれば、圧縮処理部６’の圧縮処理により、４枚の多重化データ２０５Ｃ，２０５Ｄ，２０５Ｅ，２０５Ｆの画像部分の遠距離ブロックのうち、３枚分が破棄され、対応する破棄されていない遠距離ブロックへの参照情報が付加される。このため、破棄された遠距離ブロック分だけ情報量が大幅に削減される。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。

上述した第２実施形態の画像圧縮装置１０１において、撮像部を被写体までの距離が同じである位置に２つ、これとは異なる位置にさらに２つ配置する例について説明したが、本発明はこれには限定されない。すなわち、撮像部は２つ１組とすれば、何個配置されてもよい。また、撮像部の数にあわせて、画像処理部、測距センサ、距離情報処理部、多重化部を適宜配置すればよい。

図１は、第１実施形態の実施形態の画像圧縮装置１００の構成の一例を示したブロック図である。 図２は、第１実施形態の圧縮処理部が、２枚の多重化データを、距離データを基に圧縮する方法を説明するための図である。 図３は、圧縮処理部の圧縮処理の時間方向の効果について説明するための図である。 図４は、第１実施形態の画像圧縮装置の３次元画像を生成する場合の動作例について説明するためのフローチャートである。 図５は、第２実施形態の画像圧縮装置の構成の一例を示す図である。 図６は、第２実施形態の圧縮処理部が、４枚の多重化データを、それぞれに埋め込まれた距離データを基に圧縮する方法を説明するための図である。

符号の説明

１００，１０１…画像圧縮装置、１Ａ−１Ｆ…撮像部、２Ａ−２Ｆ…符号化部、３Ａ−３Ｆ…測距センサ、４Ａ−４Ｆ…距離情報処理部、５Ａ−５Ｆ…多重化、６…圧縮処理部、７…記憶部、８…出力部

Claims (3)

1. 被写体を撮影し第１の画像信号を生成する第１の撮像部と、
   被写体を撮影し第２の画像信号を生成する第２の撮像部と、
   前記第１の撮像部が生成した第１の画像信号を符号化して第１の画像データを生成する第１の符号化部と、
   前記第２の撮像部が生成した第２の画像信号を符号化して第２の画像データを生成する第２の符号化部と、
   前記第１の撮像部が撮影を実行する時、同時に画像のブロックごとに被写体までの距離を計測して第１の距離情報を生成する第１の測距部と、
   前記第２の撮像部が撮影を実行する時、同時に画像のブロックごとに被写体までの距離を計測して第２の距離情報を生成する第２の測距部と、
   前記第１の符号化部が符号化して生成した前記第１の画像データと、前記第１の測距部が計測した距離とを基に、前記第１の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第１の距離情報を基に生成された第１の距離データを前記第１の画像データに多重化した第１の多重化データを生成する第１の多重化部と、
   前記第２の符号化部が符号化して生成した前記第２の画像データと、前記第２の測距部が計測した距離とを基に、前記第２の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第２の距離情報を基に生成された第２の距離データを前記第２の画像データに多重化した第２の多重化データを生成する第２の多重化部と、
   前記第１の多重化データ及び前記第２の多重化データの情報量を削減して圧縮データを生成する圧縮処理部と、
   を有し、
   前記圧縮処理部は、前記第１の多重化部が生成した前記第１の多重化データと、前記第２の多重化部が生成した前記第２の多重化データにおいて、前記第１の多重化データに含まれる第１の距離データを基に、前記第１の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、前記第２の多重化データに含まれる第２の距離データを基に、前記第２の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、第１の多重化データの遠距離ブロックと第２の多重化データの遠距離ブロックの差分を取り、他方との差がない第１の多重化データの遠距離ブロックあるいは第２の多重化データの遠距離ブロックのいずれかのデータを削除して前記圧縮データを生成する
   画像圧縮装置。
2. 前記圧縮処理部は、他方との差がない第１の多重化データの遠距離ブロックあるいは第２の多重化データの遠距離ブロックのいずれかのデータを削除する時に、削除した遠距離ブロックと差がない他方の多重化データの遠距離ブロックを参照可能な情報である参照情報を生成し、前記圧縮データに含める
   請求項１に記載の画像圧縮装置。
3. 被写体を撮影し第１及び第２の画像信号を生成すると同時に、画像のブロックごとに被写体までの距離を計測して第１及び第２の距離情報を生成する第１の工程と、
   前記第１の工程において生成された第１及び第２の画像信号を符号化して第１及び第２の画像データを生成する第２の工程と、
   前記第１の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第１の距離情報を基に生成された第１の距離データを前記第１の画像データに多重化した第１の多重化データを生成し、前記第２の画像データの一定画素ブロックごとに、当該ブロックにおける被写体までの距離を示す、前記第２の距離情報を基に生成された第２の距離データを前記第２の画像データに多重化した第２の多重化データを生成する第３の工程と、
   前記第１の多重化データに含まれる第１の距離データを基に、前記第１の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、前記第２の多重化データに含まれる第２の距離データを基に、前記第２の画像データのブロックごとの距離が所定のしきい値よりも大きいブロックである遠距離ブロックを抽出し、第１の多重化データの遠距離ブロックと第２の多重化データの遠距離ブロックの差分を取り、他方との差がない第１の多重化データの遠距離ブロックあるいは第２の多重化データの遠距離ブロックのいずれかのデータを削除して圧縮データを生成する第４の工程と、
   を有する画像圧縮方法。

Images